CN105338479B - 基于场所的信息处理方法及装置 - Google Patents

基于场所的信息处理方法及装置 Download PDF

Info

Publication number
CN105338479B
CN105338479B CN201410253628.2A CN201410253628A CN105338479B CN 105338479 B CN105338479 B CN 105338479B CN 201410253628 A CN201410253628 A CN 201410253628A CN 105338479 B CN105338479 B CN 105338479B
Authority
CN
China
Prior art keywords
information
image
user
place
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410253628.2A
Other languages
English (en)
Other versions
CN105338479A (zh
Inventor
蒋雪婷
董雨林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201410253628.2A priority Critical patent/CN105338479B/zh
Priority to TW103134020A priority patent/TWI671502B/zh
Priority to EP18211390.2A priority patent/EP3474586B1/en
Priority to PCT/US2015/034670 priority patent/WO2015191448A1/en
Priority to EP15807102.7A priority patent/EP3152948B1/en
Priority to US14/733,294 priority patent/US10922480B2/en
Priority to KR1020167033934A priority patent/KR102319621B1/ko
Priority to JP2016571383A priority patent/JP6753785B2/ja
Publication of CN105338479A publication Critical patent/CN105338479A/zh
Priority to HK16106245.2A priority patent/HK1218364A1/zh
Priority to US16/387,260 priority patent/US20190243888A1/en
Application granted granted Critical
Publication of CN105338479B publication Critical patent/CN105338479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H04W4/185Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals by embedding added-value information into content, e.g. geo-tagging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00Indexing scheme associated with group H04L61/00
    • H04L2101/60Types of network addresses
    • H04L2101/69Types of network addresses using geographic information, e.g. room number
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instructional Devices (AREA)

Abstract

本申请公开了基于场所的信息处理方法及装置,其中,所述方法包括:接收用户输入的标注信息;获取所述移动终端设备所在的地理位置信息;将所述标注信息以及所述地理位置信息发送到服务器,以便服务器根据所述地理位置信息确定用户所在的场所信息,建立标注信息与场所信息之间的对应关系并保存,用于将该标注信息提供给该场所内的查询方用户。通过本申请,使得场所中能够留下用户的“痕迹”,并且不会受到具体场所中实际条件的限制,不需要真正的纸和笔,不会影响到场所的实际景观。

Description

基于场所的信息处理方法及装置
技术领域
本申请涉及移动终端设备中的应用技术领域,特别是涉及基于场所的信息处理方法及装置。
背景技术
现实生活中,人们经常有在某场所留言的需求。例如,当人们到某饭店用餐时,一般可能会需要对某菜品进行评价,或者抒发就餐时的心情、记录就餐当天有纪念意义的事件,等等。为此,有些店主会为顾客提供一些贴纸和笔,顾客可以将其想要写的评价、心情、事件等写在纸上,并粘贴在饭店的墙壁等处。以后再有顾客到该饭店用餐时,可以查看之前的其他顾客在此地的留言,或者同一顾客以后再到同一饭店用餐时,还可以查看自己之前在此地的留言,等等。类似的场所还有很多,例如,当游客到某旅游名胜地旅游时,有时也会有留言的需求,或者想要留下自己的名字,证明自己曾经来到过这里,例如,“某某到此一游”等等。
但是,对于店主没有提供纸笔或者不允许在墙壁上粘贴的情况下,顾客将无法及时将其在店内想要书写的留言表达出来,对于在旅游景点而言,出于保护景观等目的,现在的游客们也一般不会再将自己的名字等刻在景点处,但是这样也使得游客们想要对自己曾经到过此处进行记录等需求无法实现。
因此,在用户需要在某场所进行留言的情况下,如何为用户提供帮助,使得用户可以随时随地进行留言,同时又不会受到书写场地所提供条件的限制,成为需要本领域技术人员解决的技术问题。
发明内容
本申请提供了基于场所的信息处理方法及装置,使得场所中能够留下用户的“痕迹”,并且不会受到具体场所中实际条件的限制,不需要真正的纸和笔,不会影响到场所的实际景观。
本申请提供了如下方案:
一种基于场所的信息处理方法,包括:
接收用户输入的标注信息;
获取所述移动终端设备所在的地理位置信息;
将所述标注信息以及所述地理位置信息发送到服务器,以便服务器根据所述地理位置信息确定用户所在的场所信息,建立标注信息与场所信息之间的对应关系并保存,用于将该标注信息提供给该场所内的查询方用户。
一种基于场所的信息处理方法,包括:
接收查询方用户发出的查看周边标注信息的请求;
获取所述查询方用户所在的地理位置信息;
将所述地理位置信息发送到服务器,以便服务器根据该地理位置信息确定查询方用户所在的目标场所,并根据预先保存的各条标注信息与场所信息之间的对应关系,确定该目标场所对应的各条标注信息并返回;
将服务器返回的各条标注信息提供给该查询方用户。
一种基于场所的信息处理方法,包括:
接收标注方客户端上传的标注信息以及用户移动终端设备所在的地理位置信息;
根据所述地理位置信息确定该用户所在的场所信息;
建立所述标注信息与所述场所信息之间的对应关系并保存,以便在接收到查询方客户端发送的查询标注信息的请求时,根据请求中携带的地理位置信息,确定查询方用户所在的目标场所,并将该目标场所对应的标注信息返回给该查询方客户端。
一种基于场所的信息处理方法,包括:
接收查询方客户端发送的查询标注信息的请求时,该请求中携带有查询方用户所在的地理位置信息;
根据所述地理位置信息确定查询方用户所在的目标场所;
根据预先建立的标注信息与场所信息之间的对应关系,确定该目标场所对应的标注信息,并返回给该查询方客户端。
一种基于场所的信息处理装置,包括:
标注信息接收单元,用于接收用户输入的标注信息;
第一地理位置信息获取单元,用于获取所述移动终端设备所在的地理位置信息;
第一发送单元,用于将所述标注信息以及所述地理位置信息发送到服务器,以便服务器根据所述地理位置信息确定用户所在的场所信息,建立标注信息与场所信息之间的对应关系并保存,用于将该标注信息提供给该场所内的查询方用户。
一种基于场所的信息处理装置,包括:
查看请求接收单元,用于接收查询方用户发出的查看周边标注信息的请求;
第二地理位置信息获取单元,用于获取所述查询方用户所在的地理位置信息;
第二发送单元,用于将所述地理位置信息发送到服务器,以便服务器根据该地理位置信息确定查询方用户所在的目标场所,并根据预先保存的各条标注信息与场所信息之间的对应关系,确定该目标场所对应的各条标注信息并返回;
标注信息提供单元,用于将服务器返回的各条标注信息提供给该查询方用户。
一种基于场所的信息处理装置,包括:
信息接收单元,用于接收标注方客户端上传的标注信息以及用户移动终端设备所在的地理位置信息;
场所信息确定单元,用于根据所述地理位置信息确定该用户所在的场所信息;
保存单元,用于建立所述标注信息与所述场所信息之间的对应关系并保存,以便在接收到查询方客户端发送的查询标注信息的请求时,根据请求中携带的地理位置信息,确定查询方用户所在的目标场所,并将该目标场所对应的标注信息返回给该查询方客户端。
一种基于场所的信息处理装置,包括:
请求接收单元,用于接收查询方客户端发送的查询标注信息的请求时,该请求中携带有查询方用户所在的地理位置信息;
目标场所确定单元,用于根据所述地理位置信息确定查询方用户所在的目标场所;
标注信息返回单元,用于根据预先建立的标注信息与场所信息之间的对应关系,确定该目标场所对应的标注信息,并返回给该查询方客户端。
根据本申请提供的具体实施例,本申请公开了以下技术效果:
通过本申请实施例,用户可以利用其移动终端设备中安装的应用,实现在其所在的场所中标注具体的信息内容,这种信息内容可以不限于文字,还可以是图片,或者语音等等,通过各种形式的信息内容,使得该场所中能够留下关于该用户的“痕迹”,并且不会受到具体场所中实际条件的限制,不需要真正的纸和笔,不会影响到场所的实际景观。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的第一方法的流程图;
图2是本申请实施例中的第一用户界面示意图;
图3是本申请实施例中的第二用户界面示意图;
图4是本申请实施例中的第三用户界面示意图;
图5是本申请实施例提供的第二方法的流程图;
图6是本申请实施例中的第四用户界面示意图;
图7是本申请实施例中的第五用户界面示意图;
图8是本申请实施例提供的第三方法的流程图;
图9是本申请实施例提供的第四方法的流程图;
图10是本申请实施例提供的第一装置的示意图;
图11是本申请实施例提供的第二装置的示意图;
图12是本申请实施例提供的第三装置的示意图;
图13是本申请实施例提供的第四装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中,可以通过开发移动终端设备(例如手机、平板电脑等移动终端)中的应用,来实现用户将其想要表达的心情、想要描写的故事等信息“放置”在某场所的需求,这样,即使该场所没有提供纸和笔,或者不允许粘贴、不允许刻划,也可以使得用户在该场所留下曾经到过这里的“痕迹”,虽然这种“痕迹”是虚拟的,无法直接用肉眼查看到,但是可以通过用户的移动终端设备查看到,也相当于是一种实际的存在,并且更加顺应信息化时代的潮流。下面对具体的实现方式进行详细地介绍。
实施例一
参见图1,本申请实施例一首先提供了一种基于场所的信息处理方法,该方法可以包括以下步骤:
S101:接收用户输入的标注信息;
在本申请实施例中,各个步骤的执行主体可以是为移动终端设备开发的应用,该应用可以为客户端-服务器架构。其中的客户端可以安装在用户的移动终端设备中,用于与用户之间进行交互,服务器运行于后台服务器中,在数据库等方面提供服务。在具体实现时,该应用也可以集成在其他的应用中,例如,也可以在现有的即时通讯、社交网络等应用中标注本申请实施例中的相关功能。其中,该实施例一主要从客户端角度对本申请实施例的方案进行介绍。
无论应用本身具体以何种形式存在,对于应用的客户端而言,都可以为用户提供标注信息内容的操作入口。例如,参见图2,在用户进入该应用之后,可以为用户显示出如图2所示的用户界面,在该用户界面中,如果用户点击“留下自己”则可以进入到图3所示的用户界面。该图3所示的用户界面中,可以为用户提供一个用于编辑信息内容的编辑界面,具体的,可以为用户提供文本输入、语音输入等多种输入方式。也即,本申请实施例中所述的标注信息,就是指用户需要在其所在场所中“留下”的信息,这种信息以文本、语音等多种形式存在,可以通过终端设备中的应用,与用户所在场所建立关联关系。例如,在文本输入编辑界面中,可以提供用于输入文本内容的键盘、编辑框等控件,还可以提供用于添加图片、表情等元素的控件(如按钮)。当用户输入完成之后,例如,输入文本“尝尝老板新到的越南咖啡,很好味~”,则可以点击用户界面中的“放哪”按钮,相应的,应用客户端就可以将用户当前输入的信息内容确定为需要在当前场所中留下的标注信息。
S102:获取所述移动终端设备所在的地理位置信息;
在确定了用户需要在当前场所标注的信息内容之后,还可以确定出当前用户所在的地理位置信息。当然,在实际应用中,该步骤S102也可以在S101之前进行,例如,只要用户进入该应用的客户端,在用户输入具体的标注信息之前,就可以获取用户所在的地理位置信息。
具体在获取地理位置信息时可以有多种方式,例如,现有的移动终端设备中一般都带有GPS等定位系统,可以通过这种定位系统获取到用户所在位置的坐标。此外,还可以采用通信基站定位、WIFI定位等多种定位方式,以确定地理位置信息。当然,在具体实现时,还可以为用户提供手动输入其所在地理位置信息的操作入口,在用户未开启GPS定位功能,或者其移动终端设备上未带有GPS定位功能的情况下,可以由用户手动编辑其所在的地理位置信息。
S103:将所述标注信息以及所述地理位置信息发送到服务器,以便服务器根据所述地理位置信息确定用户所在的场所信息,建立标注信息与场所信息之间的对应关系并保存,并将该标注信息提供给之后到该场所的用户。
客户端在接收到用户的标注信息以及所在的地理位置信息之后,可以将这些信息上传到服务器,在服务器可以对这些信息进行保存。在保存之前,服务器还可以首先根据地理位置信息确定出用户所在的场所,这样,最终在保存时,保存的是标注信息与场所之间的对应关系,以此实现基于场所的信息标注以及查询。
其中,本申请实施例中所谓的“场所”,一般可以包括一些餐厅、咖啡厅等室内场所,或者也可以包括旅游景点等室外场所,这种场所所在的位置一般不会发生变化,有明显的区域界限,并且场所内的装饰、布景、物品等发生变化的概率也比较低。对于这些场所,可以预先建立一个地图数据库,记录有各个场所与所在地理区域范围之间的对应关系。这样,在接收到当前用户所在的地理位置信息之后,可以与地图数据库中保存的各个场所的区域范围信息进行匹配,如果发现用户当前所在位置位于某场所的区域范围内,则可以确定出该用户当前正位于该场所内。
服务器在确定了用户当前所在场所的信息之后,就可以将标注信息与该场所信息之间的对应关系保存到服务器数据库中。这样,对于服务器的数据库而言,可以保存多条类似的对应关系,后续如果有其他用户到达该场所,则可以查看该用户之前在该场所标注的信息内容。例如,这种对应关系在数据库中的保存形式可以如表1所示:
表1
标注信息 场所信息
信息内容1 场所A
信息内容2 场所B
...... ......
其中,信息内容的具体形式可以有文本、图片、语音等多种,或者还可以是多种形式的结合,例如,文本+图片,等等。具体如,某用户在某餐厅用餐时,可以用文字形式抒发自己的心情,同时拍摄一张照片,此时,这段用于描述心情的文字以及这张照片,就相当于是该用户想要留在在该餐厅的标注信息。
在具体实现时,随着使用该功能的用户的增多,用户在各个场所中标注的信息内容会不断增加,使得数据库的规模会不断增大,此时,还可以对保存的各条对应关系按照场所进行管理。例如,可以按照场所进行分表保存,也即,将同一场所中标注的信息内容放在同一数据表中进行保存,相应的,不同场所中标注的信息内容则会出现在不同的数据表中,每个场所对应一个数据表,这样,后续在向某场所的用户提供其他用户标注的信息内容时,就可以首先确定出场所,然后找到该场所对应的数据表,从该数据表中提取匹配的信息内容并返回,这样可以便于进行快速的检索。
在以上所述的实现方式中,在一个用户在某场所标注了某条标注信息之后,其他用户只要到了该场所,就可以使用其移动终端设备中安装的本申请实施例的应用客户端,查看到该用户标注在该场所的标注信息内容(关于查看标注信息的具体实现过程,后文中会有详细介绍)。
如前文所述,随着时间的累积,同一个场所中被标注的信息内容可能会非常多,此时,如何提供一种有效的信息筛选机制,进而也更加提高该功能的趣味性,成为需要进一步考虑的问题。
为此,在本申请的优选实施例中,除了可以记录用户的标注信息与场所信息之间的对应关系,还可以记录标注信息在场所中的具体标注位置信息之间对应关系。例如,某用户将其标注信息标注在了某场所的某张桌子上,则其他用户或者该用户自己后续再查看标注信息时,也可以在发现该标注信息在该桌子上,而不会出现在场所内的其他位置。这样更符合实际在某场所留一张纸条或者刻字的情况。具体实现时,标注信息与具体标注位置之间的对应关系,可以做得很精确,例如精确到具体某个点,或者也可以粗略地精确到某个范围内,下面对具体的实现方式进行详细介绍。
具体实现方式一
在该具体实现方式一中,可以将标注信息的标注位置精确到某个区域范围内。在记录位置信息时,可以使用放置位置所在场景区域内的图像特征信息来描述标注位置信息。具体的,可以如下进行:在接收到一个用户输入的需要标注的信息内容之后,可以捕捉场所内的场景图像信息,当用户触发放置操作后,则在上传标注信息以及当前的地理位置信息时,还可以将当前捕捉到的图像的特征信息上传到服务器。这样,服务器在记录标注信息与场所之间的对应关系时,可以将对应的图像特征信息也记录在该对应关系中。
例如,为了捕捉场所内的场景图像信息,可以自动启动用户移动终端设备的图像摄取装置,这样,移动终端设备的用户界面中会出现图像摄取装置捕捉到的场所内场景的图像,随着视角的改变,用户界面中的图像内容也在不断发生变化。例如,在用户点击了图3所示的“放哪”按钮之后,可以启动图像摄取装置,其中,某时刻的显示状态可以如图4所示,该用户界面中显示捕捉到的图像的过程中,还为用户提供一个可操作对象。例如,图4中所示的“here”按钮,该按钮在屏幕中的绝对位置可以是不变的,随着用户改变摄像装置的视角,该按钮与映像之间的相对位置可以不变发生变化。当用户调整好视角之后,就可以按下该按钮,通过操作该可操作对象,通知应用客户端,将其输入的信息内容标注到该位置。相对应的,对于应用客户端而言,在接收到用户确认标注的消息之后,可以提取图像摄取装置当前捕捉到的图像的特征信息,作为该标注位置的图像特征信息,进而,可以将该标注位置的图像特征信息发送到服务器。
其中,具体在提取图像特征信息时,可以提取多个维度上的特征信息,例如,图像各个像素点的颜色、图像中可识别物体的形状或轮廓、图像的纹理、局部特征等等。其中,所谓图像中的可识别物体,一般可以是图像中的电器(如显示器、电脑、电视等)、家具(如桌子、椅子、凳子、留言板等)、工艺品(如花瓶、装饰品等)等有比较固定形状的物体,还可以是雕像、房门、墙壁等结构建筑。现有的图像识别技术中,可以从摄取到图像中识别出这种物体的部分或全部形状和/或轮廓。而这种物体一般还具有以下特点:第一,其在场所中的位置一般不会发生变化;第二,对识别具体的位置信息具有比较明显的标识性作用;第三,用户在标注信息时,可能会根据在现实世界中的习惯,寻找到某件物体,并将信息标注该物体上,或者该物体旁边。例如,用户在通过摄像头查看当前场所的影响时,发现该场所中有台电脑的显示器,于是就可能会将其想要标注的信息内容标注在该显示器的右上角,等等。类似地,用户也可以将想要标注的信息内容标注在电器、家具、工艺品等有比较固定形状的物体,还可以标注在结构建筑上。
总之,在针对各条标注信息在提取标注位置出的图像特征信息时,各条标注信息都可以对应一个图像特征集合,也即,从多个维度上的特征来描述一幅图像。在将该图像特征集合上传到服务器之后,服务器就可以将其添加到标注信息与场所信息的对应关系中进行保存。如表2所示。
表2
标注信息 场所信息 标注位置图像特征
信息内容1 场所A 图像特征集合1
信息内容2 场所A 图像特征集合2
信息内容3 场所B 图像特征集合3
信息内容4 场所B 图像特征集合4
信息内容5 场所B 图像特征集合5
...... ...... ......
这样,服务器后续在向查询方用户提供标注信息时,不仅可以考虑场所信息,还可以考虑标注信息具体放置位置的图像特征信息。例如,后续在为进入该场所的其他用户提供标注在该场所的信息内容时,也可以先启动用户的图像摄取装置,利用捕捉到的图像特征信息与该场所中各个信息内容的标注位置的图像特征进行匹配,匹配成功后,将相应的信息内容提供给用户。也就是说,在同一场所内,用户在不同的拍摄范围内看到的信息内容可能是不同的,通过具体标注位置以及拍摄范围对信息内容进行筛选,避免用户收到过多的信息,并且也使得整个实现过程更加有趣,也更接近现实世界中“在某位置标注了‘纸条’,只能在该位置才能看到”的实际情况。
具体的,为了实现后续的查询操作,服务器在收到各条标注信息的图像特征集合之后,可以根据各个维度上的图像特征建立索引。在具体收到一查询请求时,可以从请求中提取出查询方图像信息中的特征,将该图像信息的图像特征集合与数据库中记录的各条标注信息对应的图像特征集合进行匹配。在进行匹配时,可以从各个维度上对图像特征分别进行匹配。为了提高检索的效率,在提取图像的特征信息时,可以将特征信息区分为一级特征信息和二级特征信息,其中,一级特征信息一般是比较浅显的信息,例如,颜色、图像中物体的形状、轮廓等信息;二级特征信息则一般是比较深层的信息,包括纹理、局部特征等。这样,在后续为其他用户提供信息内容时,可以从当前所在场所的各条信息内容中,首先根据所述一级特征信息建立信息内容的一级索引,在进行初步检索后,再根据二级特征信息建立二级索引,最终检索出匹配的信息内容。
通过上述具体实现方式一,使得标注信息可以精确到其放置位置所在场景区域范围内,例如,某标注信息的图像特征集合对应的是图像A,而查询者用户在上传其图像特征信息时,该图像特征对应的是图像B,图像A与图像B可能并不是完全相同,但是其中的图像特征具有比较高的相似度,则可以将该标注信息提供给该查询者用户,以此类推。这样,对于某个查询者用户而言,在某视域范围内可能会收到很多条标注信息(因为只要能与该视域范围内的图像特征集合之间的相似度符合一定的要求,都可以认为是符合条件)。但是,由于没有进一步的位置信息,因此,在向查询者用户显示这些符合条件的标注信息时,各个标注信息在查询者用户视域范围内的图像中的位置可以是随机放置的。也即,只能将标注信息显示在一个大致的范围内。
具体实现方式二
在前述具体实现方式一中,能够将标注信息的放置位置精确到一个范围内,在该具体实施方式二中,为了能够进一步提高放置位置的精确度,还可以在保存图像特征时,进行进一步的处理。具体的,由于在提取图像特征时,能够提取出图像中的可识别物体,而用户在标注信息时,一般都会选择一个有比较明显特点的物体,并放置在该物体的某个位置上。基于此,在本具体实现方式二中,在提取图像特征的基础上时,如果发现图像中包括某可识别物体,则可以记录标注信息与该可识别物体之间的关联关系,并发送到服务器,这样,服务器可以在保存标注信息与场所、图像特征集合之间的对应关系时,将与可识别物体之间的关联关系也添加进去。
具体的,服务器保存对应关系时,可以如以下表3所示:
表3
标注信息 场所信息 可识别物体的图像特征
信息内容1 场所A 可识别物体1的图像特征
信息内容2 场所A 可识别物体2的图像特征
...... ...... ......
在按照表3保存了上述对应关系之后,在向查询者用户提供标注信息时,可以将标注信息显示在这种可识别物体的附近。具体的,接收到查询者用户发送的请求之后,可以首先利用实现方式一中的各种图像特征,将查询者用户捕捉到的图像中的特征,与各条标注信息对应的可识别物体的图像特征进行匹配,确定出匹配的标注信息,并将匹配的标注信息以及对应的可识别物体的图像特征返回给查询方客户端;查询方客户端可以据此从当前捕捉到的图像中定位到可识别物体,并在该可识别物体的附近提供各条标注信息。例如,假设有用户在某场所中某显示器附近标注了一条信息,则其他用户的图像摄取装置捕捉到该显示器时,则可以将这条标注信息提供给查看者用户,并仍然显示在显示器附近。当然,在这种方式下,标注信息具体在可识别物体的什么位置处,是无法确定的,也即,假设某用户将标注信息放置在了某显示器的右上角,但最终在向查询者用户提供时,可能出现在显示器的左下角,等等,但都显示在显示器的附件。
具体实现方式三
在该具体实现方式三中,为了实现更精确的定位,在上传标注信息时,还可以进一步确定出标注信息与该可识别物体之间的相对位置关系,并将该相对位置关系信息上传到服务器,这样,服务器在保存标注信息与场所、关联的可识别物体的图像特征之间的对应关系时,还可以将前述相对位置关系信息添加进去,以便后续在向查询者用户提供标注信息时,实现更精确位置的匹配。
其中,具体在确定标注信息与图像中可识别物体之间的相对位置关系时,可以首先确定出具体的图像,在用户指定确定放置的动作时,还可以记录下放置的点在终端设备显示屏中的坐标。由于拍摄的图像中各个像素的坐标与显示屏的坐标是相对应的,因此,在已知了放置的点在显示屏中的坐标后,相当于确定了放置的点在拍摄到的图像中的具体坐标,接下来,可以从拍摄到的图像中确定出可识别物体,由于一个物体一般都会占多个像素,因此可以从众多的像素点中选取出一个像素点来代表该可识别物体的位置。例如,在圈定出一个可识别物体所在的区域之后,可以通过一定的算法计算出该区域的中心点,用该中心点来代表该可识别物体所在的位置。之后,可以以该中心点为原点建立坐标系,再根据标注信息在图像中的位置,确定出标注信息在该坐标系中的坐标。这样,就可以用该坐标来表达标注信息与图像中可识别物体之间的相对位置关系,并将其发送到服务器进行保存。如表4所示:
表4
Figure BDA0000518030370000131
上述表2中的坐标,就是指标注信息所在的位置点在以可识别物体所在位置点为原点的坐标系下的坐标。需要说明的是,关于可识别物体所在的位置点,也可以是通过其他的规则确定,例如,除了可以如前文所述选取所在区域中心点之外,还可以选取所在区域的左上角,或者右下角,等等。但具体的选取方式最好与后续查询时使用的选取方式一致,以保证匹配的精度。
通过上述实现方式二,后续其他用户在来到该场所,并且需要查看周边标注的信息内容时,如果用其图像摄取装置捕捉到图像之后,可以首先利用实现方式一中的各种图像特征进行匹配,在匹配成功之后,可以将各个匹配的标注信息在图像中关联的可识别物体以及对应的坐标信息返回给查询方客户端,查询方客户端当前摄取到的图像中可识别物体所在的区域,确定出可识别物体所在的位置点,再根据坐标信息,确定出需要将标注信息显示该可识别物体的什么位置。这样,假设有用户在某场所中某显示器附近(例如,右上角)标注了一条信息,则其他用户的图像摄取装置捕捉到该显示器时,如果经过比对发现图像中的其他特征与该条信息内容的标注位置图像特征之间的相似度很高,则可以将这条标注在显示器右上角的标注信息,仍然在显示器的右上角提供给查看者用户。
以上所述的方式中,服务器是直接将客户端上传的图像特征信息添加到标注信息与场所之间的对应关系中,这样,后续在有用户查询标注信息时,都可将查询方用户上传的图像信息与各个标注信息对应的图像特征信息进行匹配。但是在前述各种实现方式下,需要为每条标注信息都对应保存一个图像特征集合,会占用服务器的存储空间,并且,随着数据库规模的不断增大,检索所需的时间也会增长,导致响应速度变慢。另外,在前述各种实现方式下,标注者用户可以随意选择标注位置,这样虽然增大了放置操作的灵活性,但是也可能存在以下缺点:第一,如果用户选择的标注位置所在场景的图像不具有显著的区分度,则后续在进行匹配时,可能会出现匹配错误等情况;例如,用户标注的地方可能是一面白墙,这样的图像提取出的特征会很单一,不太容易根据图像特征确定出标注信息的标注位置。第二,在服务器端保存用户自行拍摄的图像,则一方面由于用户的拍摄质量等原因,可能导致图像质量不高,后续匹配时难度较高,另一方面,不同用户使用的终端设备由于像素等因素的影响,在进行匹配时,也可能无法得到准确的结果。考虑到上述各种因素,在本申请实施例中提供了其他的实现方式,以下进行介绍。
具体实现方式四
在该实现方式下,服务器可以预先对各个场所进行建模,分别为各个场所建立起图像特征库,在该图像特征库中,针对每个场所,可以保存场所内一个或多个标志性物体的图像特征,其中,标志性物体就可以是一些家具、电器等等,这些图像特征可以是预先到场所内对标志性物体进行拍摄并提取的。在拍摄标志性物体时,可以根据场所内的实际布局情况等,预测用户可能会希望将其标注信息放置在什么物体附近,然后将这些物体作为该场所内比较有代表性的标志性物体进行拍照,并分别对进行特征提取,用提取出的图像特征集合来代表各个标志性物体。总之,服务器可以预先建立表5所示的标志性物体的图像特征库:
表5
场所信息 标志性物体的图像特征
场所A 标志性物体1的图像特征
场所A 标志性物体2的图像特征
...... ......
其中,每个场所中可以有多个标志性物体,每个标志性物体的图像特征也可以由多个维度上的特征集合来表示。这样,在收到标注者用户上传的标注信息以及对应场景的图像特征信息时,服务器可以首先判断场景的图像中是否存在与某标志性物体的图像特征相匹配的内容,如果是,则可以保存标注信息与场所之间的对应关系,并将相匹配的标志性物体的标识到该对应关系中。例如,假设某场所中包含桌子、显示器、空调等标志性物体,某用户需要将某标注信息放置在显示器附近,则可以将终端设备的摄像头对准该显示器,客户端上传标注信息以及该场所的图像特征之后,服务器分析出该图像中包含显示器这一标志性物体,于是就可以从图像特征库中取出该显示器对应的标识,并添加到当前标注信息与场所之间的对应关系中。例如,如表6所示:
表6
标注信息 场所信息 标志性物体的标识
信息内容1 场所A 标志性物体1
信息内容2 场所A 标志性物体2
...... ...... ......
后续在接收到查询方用户发送的查询某场所内的标注信息的请求时,可以首先识别查询方用户上传的图像中是否包含当前场所内的某标志性物体,如果包括,则可以从对应关系中提取出匹配的标志性物体对应的标注信息,并返回给查询方用户。在提供标注信息时,也可以将标注信息显示在该标志性物体的附近。可见,通过上述表6所记录的对应关系,与表3中记录的对应关系所能达到的效果类似甚至比其更好,但是存储结构上更简单,对应关系中不需要再保存图像特征信息,只需要保存关联的标志性物体即可。
通过这种方式,使得一个场所内哪些地方可以放置标注信息是预先设定好的,避免用户随意标注引起的各种可能的问题。并且,不需要每条标注信息都对应保存一个用户上传的图像特征集合,可以节省存储空间。对于一个场所而言,保存的标志性物体的数目并不会非常多,并且是固定的,这样可以使得每次针对该场所的查询请求进行图像特征的匹配时,所需的工作量基本是固定的。当然,在这种方式下,仍然只能确定标注信息与标志性物体之间的关联关系,但是关于两者之间具体的相对位置关系并没有确定,因此,在向查询者用户展示标注信息时,可以随机显示在标志性物体附近,与最初放置的位置可能并不是完全一致的。
具体实现方式五
为了使得标注信息与标志性物体之间的相对位置关系更加准确的提供给查询者用户,也可以采用类似具体实现方式三中的方式,也即,在上传图像特征信息的过程中,计算出标注信息的放置点相对于可识别物体的坐标,并在服务器端进行保存,或者,为了简化该过程,在本具体实现五中还提供了进一步的优化方法。
具体实现方式五是在具体实现方式四的基础上实现的,具体的,在对各个场所进行建模的过程中,除了针对各个场所保存标志性物体的图像特征之外,还可以为各个标志性物体指定可选择的标注点,并保存在图像特征库中。其中,各个标注点的位置也可以由标注点相对于标志性物体的中心点等位置的坐标来表示。这样,图像特征库保存的对应关系可以如以下表7所示:
表7
Figure BDA0000518030370000161
也就是说,同一个场所内的同一个标志性物体,可以存在多个可选的标注点,并在图像特征库中分别记录各个标注点相对于标志性物体的坐标。
这样,在接收到标注者用户的标注请求时,首先从标注者用户上传的图像特征集合中识别出其中包含的标志性物体,然后将该标志性物体的图像特征以及该标志性物体中各个可选的标注点的相对坐标返回给标注者客户端。这样,标注者客户端可以根据返回的图像特征定位到当前摄取到的图像中包含的可识别物体,并根据坐标在该可识别物体对应的位置处显示出可选择的标注点图标,并提供选择操作入口。这样,标注者用户就可以选择标注点,相应的,客户端可以将用户选择的标注点的标识上传给服务器,这样服务器就可以将用户选择的标注点的信息,添加到标注信息与场所以及标志性物体之间的对应关系中。如表8所示:
表8
标注信息 场所信息 标志性物体的标识 标注点标识
信息内容1 场所A 标志性物体1 标注点1
信息内容2 场所A 标志性物体1 标注点2
...... ...... ...... ......
其中,同一个场所的同一个标志性物体附近的不同位置可能标注了多条标注信息,关于其他标志性物体以及其他场所的记录以上表8中省略。
通过这种方式,服务器端在之后在接收到查询标注信息的请求时,可以首先判断查询方客户端上传的场景图像信息是否存在匹配的标志性物体,如果存在,则可以将与该标志性物体关联的各个标注信息返回,并返回对应的标注点的坐标信息。查询方客户端在收到之后,可以根据标志性物体信息以及标注点的坐标信息,确定出各个标注信息应该显示的位置,并在对应位置上提供各条标注信息即可。
可见,通过这种方式最终的标注信息与标注位置匹配的精确程度与表4所示的方式是相似的甚至更好,但是,表8所示的存储结构更简单,可以提高实现效率。
以上对各种实现方式分别进行了详细地介绍,在实际应用中,可以根据实际的需要选择其中任意一种方式来实现,这里不做限定。
另外,具体实现时,一般情况下,可以是在用户登录的情况下,进行标注信息内容的操作,此时,还可以将标注者用户的身份标识信息也发送给服务器,服务器可以将身份标识信息也加入到对应关系中进行保存。这样,使得数据库中保存了以下信息:各个场所中标注了哪些信息内容,这些信息内容分别是由哪个用户标注的,以及被标注在了具体什么位置。后续在为其他用户提供这种信息内容时,除了可以参考标注位置信息,还可以根据标注者的身份标识信息进行筛选。例如,只有在具有好友关系的情况下,才能查看标注的信息内容的详细信息;或者只有相同偏好的用户可才可以查看到,等等。对于标注者用户而言,还可以向其反馈查看信息,例如,统计有多少好友查看了其发布的标注信息等等。当然,在实际应用中,也可以设置为:非好友用户之间也可以互相查看对方的标注信息,此时,也可以将查看者的身份标识信息显示给标注者,并且可以提示用户加对方为好友,等等。
在保存了用户身份标识信息的情况下,数据库中的对应关系可以如表9所示:
表9
信息内容 场所信息 标注位置图像特征 标注者用户身份标识
信息内容1 场所A 图像特征集合1 用户X
信息内容2 场所A 图像特征集合2 用户Y
...... ...... ...... ......
总之,通过本申请实施例,用户可以利用其移动终端设备中安装的应用,实现在其所在的场所中标注具体的信息内容,这种信息内容可以不限于文字,还可以是图片,或者语音等等,通过各种形式的信息内容,使得该场所中能够留下关于该用户的“痕迹”,这种“痕迹”可以体现出用户在过去某时刻在该场所中发表的感想,或者记录的所见所闻等等,并且不会受到具体场所中实际条件的限制,不需要真正的纸和笔,不会影响到场所的实际景观。
实施例二
以上实施例一主要从如何进行信息内容的标注的角度对本申请实施例进行了详细的介绍,在该实施例二中,主要从如何查询标注信息的角度进行介绍。各个步骤的执行主体仍然是应用的客户端。在实际应用中华,该客户端与实施例一中所提到的客户端可以是相同的,也就是说,同一客户端,既可以实现在场所中标注信息的功能,也能够实现查看场所中其他用户的标注信息的功能。
参见图5,本申请实施例二提供了一种基于场所的信息处理方法,该方法可以包括以下步骤:
S501:接收查询方用户发出的查看周边标注信息的请求;
当用户启动应用客户端时,客户端就可以接收到用户需要查看当前场所内的标注信息的请求。当然,也可以是进入该应用的用户界面之后,在该界面中分别提供两种功能的操作入口。例如,参见图2,其中除了显示有“留下自己”这一操作入口外,还显示有“查找周边”操作入口,也可以将用户在图2所示的用户界面中点击该“查找周边”操作入口的操作,确定为用户发出的查看周边信息内容的请求。
S502:获取所述查询方用户所在的地理位置信息;
接收到查看周边信息内容的请求后,同样可以首先获取到用户所在的地理位置信息。当然,在实际应用中,该步骤S502也可以说在步骤S501之前进行的。具体的实现过程与实施例一中类似,这里不再赘述。
S503:将所述地理位置信息发送到服务器,以便服务器根据该地理位置信息确定查询方用户所在的目标场所,并根据预先保存的各条标注信息与场所信息之间的对应关系,确定该目标场所对应的各条标注信息并返回;
由于在用户标注信息内容的过程中,服务器的数据库中保存了各个用户标注的信息内容与所在场所之间的对应关系,因此,在查看当前场所中标注的信息内容的请求时,就可以将该请求发送到服务器,服务器在确定了场所信息之后,就可以获取到该场所对应的各条标注信息,并返回给查询方客户端。
S504:接收服务器返回的各条标注信息,以供用户查询方用户查看。
在获取到该场所中对应的各条标注信息之后,就可以将其提供给当前用户。具体在提供这种信息内容信息时,可以有多种形式。例如,可以直接将各条信息内容展示出现,或者也可以先在用户界面中以列表等形式提供各个信息内容的提示信息(例如,图标等,不同类型的标注信息可以用不同的图标,例如,音频的标注信息可以用“喇叭”等图案的图标表示,文本的标注信息可以用“省略号”等图案的图标表示),当用户点击查看某提示信息后,再将该提示信息对应的信息内容的详细内容展现给用户。
当然,如果数据库中还保存有信息内容在场所中的具体标注位置信息,则在向用户提供其他用户在该场所标注的信息内容时,同样可以首先捕捉到场所内的图像信息,并发送到服务器,服务器在查询该场所的标注信息时,还可以根据该图像信息,找出对应标注位置上的标注信息并返回。例如,如果服务器保存的是各条标注信息对应的图像特征信息,则可以从数据库中获取用户当前所在场所中各条标注信息的标注位置的图像特征信息,并将当前捕捉到的图像的特征信息与各条标注信息对应的标注位置的图像特征信息进行匹配。或者,可以接收服务器返回的各条标注信息关联的可识别物体的图像特征信息,并据此将各条标注信息显示在当前捕捉到的场景图像中该可识别物体的附近。或者,还可以接收服务器返回的各条标注信息关联的可识别物体的图像特征信息,以及各条标注信息与该可识别物体之间的相对位置关系信息,并据此将各条标注信息显示在当前捕捉到的场景图像中该可识别物体的对应位置处。
在上述根据信息内容的具体标注位置图像,来向查看方用户提供其他用户标注在当前场所中的信息内容时,可以在捕捉到的图像图层上层创建另一个图层,在该图层中显示出当前视域范围内的标注信息的标识。例如,如图6中所示,在用户点击了图2中的“查看周边”按钮之后,就可以自动启动移动终端设备的图像摄取装置,图6中的背景图即为当前拍摄范围内的图像,在其上层显示的标识信息601、602、603均为该拍摄范围内标注的信息内容的标识信息。假设在用户点击了标识信息601对应的标识信息之后,就可以将信息内容的详细信息展示出来,如图7所示,其中可以包括标注者用户的用户名,如“Rachel”,该用户当时标注在该场所的是一段语音信息,因此,在该详细内容页面中还可以提供一个播放该语音信息的播放按钮,等等。
如果检索的结果是没有找到相似的标注位置图像,相当于没有其他用户曾在该用户当前拍摄范围内标注过信息内容,此时,可以提示用户调整拍摄角度,改变拍摄范围,其他拍摄范围内可能能够找到用户标注的信息内容。
另外,在具体实现时,对于本申请实施例提供的应用的各个用户而言,一般都可以在应用中注册自己的账户,在使用自己账户的身份标识信息登录之后,才进行具体的标注信息内容或者查看其他用户信息内容的操作,也就是说,对于各个用户而言,无论是信息内容的标注者,还是查看者,系统都可以获知用户的身份标识信息。并且,在实际应用中,用户与用户之间还可以建立好友关系,因此,在本申请的其他实施例中,还可以实现在好友用户之间的信息内容的查看。也就是说,对于一个用户标注在某场所的信息内容而言,只有该用户的好友才能查看到。相应的,当一个用户需要在某场所内查看其他用户标注的信息内容时,该用户只能看到其好友标注在该场所内的信息内容。具体实现时,在保存标注的信息内容与场所信息之间的对应关系的同时,还可以保存标注者用户的身份标识信息,如表3所示。这样,当接收到某用户查看当前场所标注的信息内容的请求是,可以首先获取当前用户的各个好友用户的身份标识信息,然后从服务器的数据库中获取用户当前所在场所中各条信息内容的标注者用户的身份标识信息,并判断其中是否包含当前查看者用户的好友用户,如果存在,则可以将当前用户的好友用户在当前所在场所标注的信息内容提供给该用户。
实施例三
以上实施例一以及实施例二主要从客户端的角度对本申请的具体技术方案进行了介绍,下面从服务器的角度对该方案进行介绍,其中,在该实施例三中,主要介绍在标注者用户进行标注的过程中,服务器端的具体实现过程。
参见图8,该实施例三提供了一种基于场所的信息处理方法,该方法可以包括以下步骤:
S801:接收标注方客户端上传的标注信息以及用户移动终端设备所在的地理位置信息;
S802:根据所述地理位置信息确定该用户所在的场所信息;
S803:建立所述标注信息与所述场所信息之间的对应关系并保存,以便在接收到查询方客户端发送的查询标注信息的请求时,根据请求中携带的地理位置信息,确定查询方用户所在的目标场所,并将该目标场所对应的标注信息返回给该查询方客户端。
为了能够精确到具体的标注位置进行更准确的匹配,服务器还可以接收标注方客户端上传的标注信息在该场所内的标注位置信息息,将标注位置信息添加到所述对应关系中并保存;这样,在接收到所述查询标注信息的请求时,可以将查询方客户端上传的场景位置信息与目标场所内各个标注信息对应的标注位置信息进行匹配,然后将匹配成功的标注信息返回给该查询方客户端。
其中,具体实现时,标注位置信息可以是标注方客户端上传场所内的场景图像的图像特征信息。或者,标注位置信息也可以是标注方客户端上传场所内的场景图像中包含的可识别物体的图像特征信息,这样可以将标注信息的位置精确到一个具体的可识别物体的附近。或者,标注位置信息还可以是标注方客户端上传场所内的场景图像中包含的可识别物体的图像特征信息,以及所述标注信息与该可识别物体之间的相对位置关系信息。
在另一种实现方式下,服务器端可以预先针对所述场所建立第一图像特征库,所述第一图像特征库中保存有场所内至少一个标志性物体的标识以及对应的图像特征。此时,在接收到标注方客户端上传场所内的场景图像的图像特征信息时,可以判断其中是否包含该场所内其中某标志性物体,如果是,则将该标志性物体的标识确定为所述标注信息在该场所内的标注位置信息。
或者,还可以预先针对所述场所建立第二图像特征库,该第二图像特征库中保存有场所内至少一个标志性物体的标识、对应的图像特征,以及各个标志性物体中至少一个可选的标注点与所述标志性物体的相对坐标信息。在这种情况下,在接收标注方客户端上传场所内的场景图像的图像特征信息时,可以判断其中是否包含该场所内其中某标志性物体,如果是,则返回该标志性物体的图像特征以及所述标注点的相对坐标信息,后续在接收到标注方客户端上传的被选中的标注点的信息后,将该标志性物体的标识以及标注点的信息确定为该标注信息的标注位置信息。
实施例四
在该实施例四中,主要是在支持查询方查询方面,对服务器端的具体实现进行详细介绍。
参见图9,该实施例四提供了一种基于场所的信息处理方法,该方法可以包括以下步骤:
S901:接收查询方客户端发送的查询标注信息的请求时,该请求中携带有查询方用户所在的地理位置信息;
S902:根据所述地理位置信息确定查询方用户所在的目标场所;
S903:根据预先建立的标注信息与场所信息之间的对应关系,确定该目标场所对应的标注信息,并返回给该查询方客户端。
其中,该对应关系中还可以包括标注信息在该场所内的标注位置信息,在这种情况下,还可以获取查询方用户在当前场所内的场景位置信息,然后根据各条标注信息对应的标注位置信息获取匹配的标注信息,并将匹配的标注信息返回给查询方客户端,以便查询方客户端在对应的标注位置提供所述标注信息。
其中,具体的标注位置信息可以是标注方客户端上传场所内的场景图像的图像特征信息,此时,可以接收查询方客户端上传的场所内场景图像的图像特征信息,并根据接收到的图像特征信息与各条标注信息对应的图像特征信息进行比对,获取匹配的标注信息。
或者,标注位置信息也可以是场所内可识别物体的图像特征信息,此时,可以接收查询方客户端上传的场所内场景图像的图像特征信息,然后根据接收到的图像特征信息,判断是否存在可识别物体;如果是,将该可识别物体的图像特征与各条标注信息对应的可识别物体的图像特征进行比对,获取匹配的标注信息。其中,可识别物体的图像特征信息可以是标注者客户端上传的,或者也可以是保存在服务器端预先建立的图像特征库中,在所述对应关系中保存可识别物体的标识。
标注位置信息还可以是场所内可识别物体的图像特征信息,以及标注信息与该可识别物体之间的相对位置信息,此时,可以接收查询方客户端上传的场所内场景图像的图像特征信息,根据接收到的图像特征信息,判断是否存在可识别物体;如果是,将该可识别物体的图像特征与各条标注信息对应的可识别物体的图像特征进行比对,获取匹配的标注信息,并将匹配的标注信息对应的可识别物体的图像特征信息以及相对位置关系信息返回给所述查询方客户端。其中,可识别物体的图像特征信息以及所述相对位置关系信息,可以是标注者客户端上传的,或者也可以是保存在服务器端预先建立的图像特征库中,在所述对应关系中保存可识别物体的标识,以及标注点的标识。
需要说明的是,关于上述实施例二、三、四,其具体实现中的细节均可参见实施例一中的介绍,这里不再赘述。
与本申请实施例一提供的基于场所的信息处理方法相对应,本申请实施例还提供了一种基于场所的信息处理装置,参见图10,该系统可以包括:
标注信息接收单元1001,用于接收用户输入的标注信息;
第一地理位置信息获取单元1002,用于获取所述移动终端设备所在的地理位置信息;
第一发送单元1003,用于将所述标注信息以及所述地理位置信息发送到服务器,以便服务器根据所述地理位置信息确定用户所在的场所信息,建立标注信息与场所信息之间的对应关系并保存,用于将该标注信息提供给该场所内的查询方用户。
具体实现时,为了能够提供位置更精准的标注信息,该装置还可以包括:
标注位置信息发送单元,用于将标注信息在该场所内的标注位置信息发送到服务器,以便将所述标注位置信息添加到所述对应关系中进行保存,用于将标注信息提供给该场所内且视域范围包含了该标注位置的查询方用户。
其中,标注位置信息发送单元具体可以包括:
场景图像信息捕捉子单元,用于接收所述用户输入的标注信息之前或之后,捕捉场所内的场景图像信息;
图像特征信息发送单元,用于当接收到确认标注的消息时,提取当前捕捉到的场景图像的特征信息,并作为所述标注位置信息发送到服务器。
其中,服务器将接收到的图像特征信息添加到所述对应关系中进行保存。
或者,服务器预先针对所述场所建立第一图像特征库,所述第一图像特征库中保存有场所内至少一个标志性物体的标识以及对应的图像特征;服务器收到所述场景图像的图像特征之后,判断其中是否包含该场所内其中某标志性物体,如果是,则将该标志性物体的标识添加到所述对应关系中进行保存。
或者,服务器预先针对所述场所建立第二图像特征库,所述第二图像特征库中保存有场所内至少一个标志性物体的标识、对应的图像特征,以及各个标志性物体中至少一个可选的标注点与所述标志性物体的相对坐标信息;服务器收到所述场景图像的图像特征之后,判断其中是否包含该场所内其中某标志性物体,如果是,则返回该标志性物体的图像特征以及所述标注点的相对坐标信息;
所述装置还可以包括:
标志性物体定位单元,用于根据接收到的标志性物体的图像特征,在当前捕捉到的场景图像中定位所述标志性物体,并根据所述相对坐标信息,在所述场景图像的上层展示各个可选的标注点;
标注点信息发送单元,用于在接收到用户的选择操作之后,将被选中的标注点的信息发送到服务器,以便服务器将所述标志性物体的标识以及标注点的信息作为该标注信息的标注位置信息,添加到所述对应关系中进行保存。
在另一种实现方式下,标注位置信息发送单元具体可以包括:
图像信息捕捉子单元,用于接收所述用户输入的标注信息之前或之后,捕捉场所内的场景图像信息;
特征信息提取子单元,用于当接收到确认标注的消息时,提取当前捕捉到的场景图像的特征信息;
判断子单元,用于判断所述特征信息中是否包含可识别物体的图像特征,如果是,则将所述可识别物体的图像特征作为所述标注位置信息发送到服务器。
再或者,在另一种实现方式下,标注位置信息发送单元具体可以包括
图像信息捕捉子单元,用于接收所述用户输入的标注信息之前或之后,捕捉场所内的场景图像信息;
特征信息提取子单元,用于当接收到确认标注的消息时,提取当前捕捉到的场景图像的特征信息;
判断子单元,用于判断所述特征信息中是否包含可识别物体的图像特征;
相对位置关系获取子单元,用于如果判断子单元的判断结果为是,则获取所述标注信息与该可识别物体之间的相对位置关系信息;
发送子单元,用于将所述可识别物体的图像特征信息以及所述相对位置关系信息作为所述标注位置信息发送到服务器。
其中,相对位置关系信息获取子单元具体可以用于:
确定能够代表所述可识别物体的位置点在所述场景图像中的位置,并根据用户的操作确定所述标注信息的标注位置点在终端设备显示屏上的位置;
以所述可识别物体的位置点为原点创建坐标系,并确定所述标注位置点在该坐标系中的坐标,将该坐标作为标注信息与该可识别物体之间的相对位置关系信息。
在实际应用中,该装置还可以包括:
用户身份信息获取单元,用于获取该用户的身份标识信息;
用户身份信息发送单元,用于将该用户的身份标识信息发送到服务器,以便服务器将所述身份标识信息添加到所述对应关系中并保存。
与本申请实施例二提供的基于场所的信息处理方法相对应,本申请实施例还提供了一种基于场所的信息处理装置,参见图11,该装置可以包括:
查看请求接收单元1101,用于接收查询方用户发出的查看周边标注信息的请求;
第二地理位置信息获取单元1102,用于获取所述查询方用户所在的地理位置信息;
第二发送单元1103,用于将所述地理位置信息发送到服务器,以便服务器根据该地理位置信息确定查询方用户所在的目标场所,并根据预先保存的各条标注信息与场所信息之间的对应关系,确定该目标场所对应的各条标注信息并返回;
标注信息提供单元1104,用于将服务器返回的各条标注信息提供给该查询方用户。
其中,所述服务器还保存有各条标注信息对应的标注位置信息;所述装置还可以包括:
图像信息捕捉并发送单元,用于捕捉场所内的场景图像信息,并发送到服务器,以便所述服务器根据接收到的场景图像信息确定该场所内位于查询方用户视域范围内的标注信息并返回。
具体实现时,该装置还可以包括:
可识别物体信息接收单元,用于接收服务器返回的各条标注信息关联的可识别物体的图像特征信息,并据此将各条标注信息显示在当前捕捉到的场景图像中该可识别物体的附近。
另外,该装置还可以包括:
相对位置关系信息接收单元,用于接收服务器返回的各条标注信息关联的可识别物体的图像特征信息,以及各条标注信息与该可识别物体之间的相对位置关系信息,并据此将各条标注信息显示在当前捕捉到的场景图像中该可识别物体的对应位置处。
另外,该装置还可以包括:
第一提示信息提供单元,用于如果服务器返回的信息为不存在匹配的标注信息,则提供第一提示信息,所述第一提示信息用于提示用户改变视域范围。
其中,如果所述服务器还保存有信息内容的标注者用户的身份标识信息;则所述装置还可以包括:
身份标识信息发送单元,用于将查询方用户的身份标识信息发送到服务器,以便服务器获取查询方用户的好友用户的身份标识信息,获取用户当前所在场所中各条信息内容的标注者用户的身份标识信息,并判断其中是否包含当前用户的好友用户,
返回单元,用于如果是,返回查询方用户的好友用户在该场所的标注信息。
另外,该装置还可以包括:
第二提示信息提供单元,用于向所述查询方用户提供第二提示信息,所述第二提示信息用于提示所述查询方用户可在当前场所内留下其标注信息。
与本申请实施例三提供的基于场所的信息处理方法相对应,本申请实施例还提供了一种基于场所的信息处理装置,参见图12,该装置具体可以包括:
信息接收单元1201,用于接收标注方客户端上传的标注信息以及用户移动终端设备所在的地理位置信息;
场所信息确定单元1202,用于根据所述地理位置信息确定该用户所在的场所信息;
保存单元1203,用于建立所述标注信息与所述场所信息之间的对应关系并保存,以便在接收到查询方客户端发送的查询标注信息的请求时,根据请求中携带的地理位置信息,确定查询方用户所在的目标场所,并将该目标场所对应的标注信息返回给该查询方客户端。
具体实现时,该装置还可以包括:
标注位置信息接收单元,用于接收标注方客户端上传的标注信息在该场所内的标注位置信息,并将所述标注位置信息添加到所述对应关系中进行保存,以便将标注信息提供给该场所内且视域范围包含了该标注位置的查询方用户,
其中,所述标注位置信息包括标注方客户端上传场所内的场景图像的图像特征信息。
或者,所述标注位置信息包括标注方客户端上传场所内的场景图像中包含的可识别物体的图像特征信息。
再或者,所述标注位置信息包括标注方客户端上传场所内的场景图像中包含的可识别物体的图像特征信息,以及所述标注信息与该可识别物体之间的相对位置关系信息。
具体实现时,可以预先针对所述场所建立第一图像特征库,所述第一图像特征库中保存有场所内至少一个标志性物体的标识以及对应的图像特征,所述标注位置信息接收单元具体可以包括:
图像特征信息接收子单元,用于接收标注方客户端上传场所内的场景图像的图像特征信息;
判断子单元,用于判断其中是否包含该场所内其中某标志性物体,如果是,则将该标志性物体的标识确定为所述标注信息在该场所内的标注位置信息。
或者,预先针对所述场所建立第二图像特征库,所述第二图像特征库中保存有场所内至少一个标志性物体的标识、对应的图像特征,以及各个标志性物体中至少一个可选的标注点与所述标志性物体的相对坐标信息,所述标注位置信息接收单元具体可以包括:
图像特征信息接收子单元,用于接收标注方客户端上传场所内的场景图像的图像特征信息;
判断子单元,用于判断其中是否包含该场所内其中某标志性物体,如果是,则返回该标志性物体的图像特征以及所述标注点的相对坐标信息;
标注点信息接收单元,用于接收标注方客户端上传的被选中的标注点的信息,将所述标志性物体的标识以及标注点的信息确定为该标注信息的标注位置信息。
与本申请实施例四提供的基于场所的信息处理方法相对应,本申请实施例还提供了一种基于场所的信息处理装置,参见图13,该装置具体可以包括:
请求接收单元1301,用于接收查询方客户端发送的查询标注信息的请求时,该请求中携带有查询方用户所在的地理位置信息;
目标场所确定单元1302,用于根据所述地理位置信息确定查询方用户所在的目标场所;
标注信息返回单元1303,用于根据预先建立的标注信息与场所信息之间的对应关系,确定该目标场所对应的标注信息,并返回给该查询方客户端。
其中,所述对应关系中还包括标注信息在该场所内的标注位置信息;所述装置还可以包括:
场景位置信息获取单元,用于获取查询方用户在当前场所内的场景位置信息;
匹配标注信息获取单元,用于根据各条标注信息对应的标注位置信息获取匹配的标注信息,并将匹配的标注信息返回给查询方客户端,以便所述查询方客户端在对应的标注位置提供所述标注信息。
其中,所述标注位置信息包括标注方客户端上传场所内的场景图像的图像特征信息;
所述场景位置信息获取单元具体用于:
接收查询方客户端上传的场所内场景图像的图像特征信息;
所述匹配标注信息获取单元具体可以用于:
根据接收到的图像特征信息与各条标注信息对应的图像特征信息进行比对,获取匹配的标注信息。
或者,所述标注位置信息包括场所内可识别物体的图像特征信息;
所述场景位置信息获取单元具体用于:
接收查询方客户端上传的场所内场景图像的图像特征信息;
所述匹配标注信息获取单元具体可以用于:
根据接收到的图像特征信息,判断是否存在可识别物体;
如果是,将该可识别物体的图像特征与各条标注信息对应的可识别物体的图像特征进行比对,获取匹配的标注信息。
再或者,所述标注位置信息包括场所内可识别物体的图像特征信息,以及标注信息与该可识别物体之间的相对位置信息;
所述场景位置信息获取单元具体用于:
接收查询方客户端上传的场所内场景图像的图像特征信息;
所述匹配标注信息获取单元具体可以用于:
根据接收到的图像特征信息,判断是否存在可识别物体;
如果是,将该可识别物体的图像特征与各条标注信息对应的可识别物体的图像特征进行比对,获取匹配的标注信息;
此时,所述装置还可以包括:
将匹配的标注信息对应的所述可识别物体的图像特征信息以及所述相对位置关系信息返回给所述查询方客户端。
通过本申请实施例,用户可以利用其移动终端设备中安装的应用,实现在其所在的场所中标注具体的信息内容,这种信息内容可以不限于文字,还可以是图片,或者语音等等,通过各种形式的信息内容,使得该场所中能够留下关于该用户的“痕迹”,并且不会受到具体场所中实际条件的限制,不需要真正的纸和笔,不会影响到场所的实际景观。
总之,通过本申请实施例,用户可以利用其移动终端设备中安装的应用,实现在其所在的场所中标注具体的信息内容,这种信息内容可以不限于文字,还可以是图片,或者语音等等,通过各种形式的信息内容,使得该场所中能够留下关于该用户的“痕迹”,并且不会受到具体场所中实际条件的限制,不需要真正的纸和笔,不会影响到场所的实际景观。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本申请所提供的基于场所的信息处理方法及装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本申请的限制。

Claims (33)

1.一种基于场所的信息处理方法,其特征在于,包括:
接收用户输入的标注信息;获取用户移动终端设备所在的地理位置信息;
将所述标注信息以及所述地理位置信息发送到服务器,以便服务器根据所述地理位置信息确定用户所在的场所信息,建立标注信息与场所信息之间的对应关系并保存,用于将该标注信息提供给该场所内的查询方用户;其中,在所述标注信息为语音信息的情况下,通过在图像中提供的播放按钮将所述标注信息提供给该场所内的查询方用户;
其中,所述对应关系中记录有标注信息对应的图像特征信息;所述图像特征信息包括一级特征信息和二级特征信息,所述一级特征信息用于建立信息内容的一级索引,所述二级特征信息建立二级索引;所述一级索引先被检索、二级索引后被检索;所述一级特征信息包括:颜色、图像中可识别物体的形状、图像中可识别物体的轮廓其中至少一种,所述二级特征信息包括纹理、局部特征其中至少一种;
其中,所述图像为场所内的场景图像。
2.根据权利要求1所述的方法,其特征在于,还包括:
将标注信息在该场所内的标注位置信息发送到服务器,以便将所述标注位置信息添加到所述对应关系中进行保存,用于将标注信息提供给该场所内且视域范围包含了该标注位置的查询方用户。
3.根据权利要求2所述的方法,其特征在于,所述将标注信息在该场所内的标注位置信息发送到服务器,包括:
接收所述用户输入的标注信息之前或之后,捕捉场所内的场景图像信息;
当接收到确认标注的消息时,提取当前捕捉到的场景图像的特征信息,并作为所述标注位置信息发送到服务器。
4.根据权利要求3所述的方法,其特征在于,服务器将接收到的图像特征信息添加到所述对应关系中进行保存。
5.根据权利要求3所述的方法,其特征在于,服务器预先针对所述场所建立第一图像特征库,所述第一图像特征库中保存有场所内至少一个标志性物体的标识以及对应的图像特征;服务器收到所述场景图像的图像特征之后,判断其中是否包含该场所内其中某标志性物体,如果是,则将该标志性物体的标识添加到所述对应关系中进行保存。
6.根据权利要求3所述的方法,其特征在于,服务器预先针对所述场所建立第二图像特征库,所述第二图像特征库中保存有场所内至少一个标志性物体的标识、对应的图像特征,以及各个标志性物体中至少一个可选的标注点与所述标志性物体的相对坐标信息;服务器收到所述场景图像的图像特征之后,判断其中是否包含该场所内其中某标志性物体,如果是,则返回该标志性物体的图像特征以及所述标注点的相对坐标信息;
所述方法还包括:
根据接收到的标志性物体的图像特征,在当前捕捉到的场景图像中定位所述标志性物体,并根据所述相对坐标信息,在所述场景图像的上层展示各个可选的标注点;
在接收到用户的选择操作之后,将被选中的标注点的信息发送到服务器,以便服务器将所述标志性物体的标识以及标注点的信息作为该标注信息的标注位置信息,添加到所述对应关系中进行保存。
7.根据权利要求2所述的方法,其特征在于,所述将标注信息在该场所内的标注位置信息发送到服务器,包括:
接收所述用户输入的标注信息之前或之后,捕捉场所内的场景图像信息;
当接收到确认标注的消息时,提取当前捕捉到的场景图像的特征信息;
判断所述特征信息中是否包含可识别物体的图像特征,如果是,则将所述可识别物体的图像特征作为所述标注位置信息发送到服务器。
8.根据权利要求2所述的方法,其特征在于,所述将标注信息在该场所内的标注位置信息发送到服务器,包括:
接收所述用户输入的标注信息之前或之后,捕捉场所内的场景图像信息;
当接收到确认标注的消息时,提取当前捕捉到的场景图像的特征信息;
判断所述特征信息中是否包含可识别物体的图像特征;
如果是,则获取所述标注信息与该可识别物体之间的相对位置关系信息;
将所述可识别物体的图像特征信息以及所述相对位置关系信息作为所述标注位置信息发送到服务器。
9.根据权利要求8所述的方法,其特征在于,所述获取所述标注信息与该可识别物体之间的相对位置关系信息,包括:
确定能够代表所述可识别物体的位置点在所述场景图像中的位置,并根据用户的操作确定所述标注信息的标注位置点在终端设备显示屏上的位置;
以所述可识别物体的位置点为原点创建坐标系,并确定所述标注位置点在该坐标系中的坐标,将该坐标作为标注信息与该可识别物体之间的相对位置关系信息。
10.根据权利要求1所述的方法,其特征在于,还包括:
获取该用户的身份标识信息;
将该用户的身份标识信息发送到服务器,以便服务器将所述身份标识信息添加到所述对应关系中并保存。
11.一种基于场所的信息处理方法,其特征在于,包括:
接收查询方用户发出的查看周边标注信息的请求;
获取所述查询方用户所在的地理位置信息;
将所述地理位置信息发送到服务器,以便服务器根据该地理位置信息确定查询方用户所在的目标场所,并根据预先保存的各条标注信息与场所信息之间的对应关系,确定该目标场所对应的各条标注信息并返回;
将服务器返回的各条标注信息提供给该查询方用户;其中,在所述标注信息为语音信息的情况下,通过在图像中提供的播放按钮将所述标注信息提供给该场所内的查询方用户;
其中,所述对应关系中记录有标注信息对应的图像特征信息;所述图像特征信息包括一级特征信息和二级特征信息,所述一级特征信息用于建立信息内容的一级索引,所述二级特征信息建立二级索引;所述一级索引先被检索、二级索引后被检索;所述一级特征信息包括:颜色、图像中可识别物体的形状、图像中可识别物体的轮廓其中至少一种,所述二级特征信息包括纹理、局部特征其中至少一种;
其中,所述图像为场所内的场景图像。
12.根据权利要求11所述的方法,其特征在于,所述服务器还保存有各条标注信息对应的标注位置信息;所述方法还包括:
捕捉场所内的场景图像信息,并发送到服务器,以便所述服务器根据接收到的场景图像信息确定该场所内位于查询方用户视域范围内的标注信息并返回。
13.根据权利要求12所述的方法,其特征在于,还包括:
接收服务器返回的各条标注信息关联的可识别物体的图像特征信息,并据此将各条标注信息显示在当前捕捉到的场景图像中该可识别物体的附近。
14.根据权利要求12所述的方法,其特征在于,还包括:
接收服务器返回的各条标注信息关联的可识别物体的图像特征信息,以及各条标注信息与该可识别物体之间的相对位置关系信息,并据此将各条标注信息显示在当前捕捉到的场景图像中该可识别物体的对应位置处。
15.根据权利要求11所述的方法,其特征在于,还包括:
如果服务器返回的信息为不存在匹配的标注信息,则提供第一提示信息,所述第一提示信息用于提示用户改变视域范围。
16.根据权利要求11所述的方法,其特征在于,所述服务器还保存有信息内容的标注者用户的身份标识信息;所述方法还包括:
将查询方用户的身份标识信息发送到服务器,以便服务器获取查询方用户的好友用户的身份标识信息,获取用户当前所在场所中各条信息内容的标注者用户的身份标识信息,并判断其中是否包含当前用户的好友用户;
如果是,返回查询方用户的好友用户在该场所的标注信息。
17.根据权利要求11至16任一项所述的方法,其特征在于,还包括:
向所述查询方用户提供第二提示信息,所述第二提示信息用于提示所述查询方用户可在当前场所内留下其标注信息。
18.一种基于场所的信息处理方法,其特征在于,包括:
接收标注方客户端上传的标注信息以及用户移动终端设备所在的地理位置信息;
根据所述地理位置信息确定该用户所在的场所信息;
建立所述标注信息与所述场所信息之间的对应关系并保存,以便在接收到查询方客户端发送的查询标注信息的请求时,根据请求中携带的地理位置信息,确定查询方用户所在的目标场所,并将该目标场所对应的标注信息返回给该查询方客户端;其中,在所述标注信息为语音信息的情况下,通过在图像中提供的播放按钮将所述标注信息提供给该场所内的查询方用户;
其中,所述对应关系中记录有标注信息对应的图像特征信息;所述图像特征信息包括一级特征信息和二级特征信息,所述一级特征信息用于建立信息内容的一级索引,所述二级特征信息建立二级索引;所述一级索引先被检索、二级索引后被检索;所述一级特征信息包括:颜色、图像中可识别物体的形状、图像中可识别物体的轮廓其中至少一种,所述二级特征信息包括纹理、局部特征其中至少一种;
所述图像特征信息包括多个维度的特征信息,具体包括图像中各个像素点的颜色、图像中可识别物体的形状或轮廓、图像的纹理、局部特征中的至少一种;
其中,所述图像为场所内的场景图像。
19.根据权利要求18所述的方法,其特征在于,还包括:
接收标注方客户端上传的标注信息在该场所内的标注位置信息,并将所述标注位置信息添加到所述对应关系中进行保存,以便将标注信息提供给该场所内且视域范围包含了该标注位置的查询方用户。
20.根据权利要求19所述的方法,其特征在于,所述标注位置信息包括标注方客户端上传场所内的场景图像的图像特征信息。
21.根据权利要求19所述的方法,其特征在于,所述标注位置信息包括标注方客户端上传场所内的场景图像中包含的可识别物体的图像特征信息。
22.根据权利要求19所述的方法,其特征在于,所述标注位置信息包括标注方客户端上传场所内的场景图像中包含的可识别物体的图像特征信息,以及所述标注信息与该可识别物体之间的相对位置关系信息。
23.根据权利要求19所述的方法,其特征在于,预先针对所述场所建立第一图像特征库,所述第一图像特征库中保存有场所内至少一个标志性物体的标识以及对应的图像特征,所述接收标注方客户端上传的标注信息在该场所内的标注位置信息,包括:
接收标注方客户端上传场所内的场景图像的图像特征信息;
判断其中是否包含该场所内其中某标志性物体,如果是,则将该标志性物体的标识确定为所述标注信息在该场所内的标注位置信息。
24.根据权利要求19所述的方法,其特征在于,预先针对所述场所建立第二图像特征库,所述第二图像特征库中保存有场所内至少一个标志性物体的标识、对应的图像特征,以及各个标志性物体中至少一个可选的标注点与所述标志性物体的相对坐标信息,所述接收标注方客户端上传的标注信息在该场所内的标注位置信息,包括:
接收标注方客户端上传场所内的场景图像的图像特征信息;
判断其中是否包含该场所内其中某标志性物体,如果是,则返回该标志性物体的图像特征以及所述标注点的相对坐标信息;
接收标注方客户端上传的被选中的标注点的信息,将所述标志性物体的标识以及标注点的信息确定为该标注信息的标注位置信息。
25.一种基于场所的信息处理方法,其特征在于,包括:
接收查询方客户端发送的查询标注信息的请求时,该请求中携带有查询方用户所在的地理位置信息;
根据所述地理位置信息确定查询方用户所在的目标场所;
根据预先建立的标注信息与场所信息之间的对应关系,确定该目标场所对应的标注信息,并返回给该查询方客户端;其中,在所述标注信息为语音信息的情况下,通过在图像中提供的播放按钮将所述标注信息提供给该场所内的查询方用户;
其中,所述对应关系中记录有标注信息对应的图像特征信息;所述图像特征信息包括一级特征信息和二级特征信息,所述一级特征信息用于建立信息内容的一级索引,所述二级特征信息建立二级索引;所述一级索引先被检索、二级索引后被检索;所述一级特征信息包括:颜色、图像中可识别物体的形状、图像中可识别物体的轮廓其中至少一种,所述二级特征信息包括纹理、局部特征其中至少一种;
所述图像特征信息包括多个维度的特征信息,具体包括图像中各个像素点的颜色、图像中可识别物体的形状或轮廓、图像的纹理、局部特征中的至少一种;
其中,所述图像为场所内的场景图像。
26.根据权利要求25所述的方法,其特征在于,所述对应关系中还包括标注信息在该场所内的标注位置信息;所述方法还包括:
获取查询方用户在当前场所内的场景位置信息;
根据各条标注信息对应的标注位置信息获取匹配的标注信息,并将匹配的标注信息返回给查询方客户端,以便所述查询方客户端在对应的标注位置提供所述标注信息。
27.根据权利要求26所述的方法,其特征在于,所述标注位置信息包括标注方客户端上传场所内的场景图像的图像特征信息;
所述获取查询方用户在当前场所内的场景位置信息,包括:
接收查询方客户端上传的场所内场景图像的图像特征信息;
所述根据各条标注信息对应的标注位置信息获取匹配的标注信息,包括:
根据接收到的图像特征信息与各条标注信息对应的图像特征信息进行比对,获取匹配的标注信息。
28.根据权利要求26所述的方法,其特征在于,所述标注位置信息包括场所内可识别物体的图像特征信息;
所述获取查询方用户在当前场所内的场景位置信息,包括:
接收查询方客户端上传的场所内场景图像的图像特征信息;
所述根据各条标注信息对应的标注位置信息获取匹配的标注信息,包括:
根据接收到的图像特征信息,判断是否存在可识别物体;
如果是,将该可识别物体的图像特征与各条标注信息对应的可识别物体的图像特征进行比对,获取匹配的标注信息。
29.根据权利要求26所述的方法,其特征在于,所述标注位置信息包括场所内可识别物体的图像特征信息,以及标注信息与该可识别物体之间的相对位置信息;
所述获取查询方用户在当前场所内的场景位置信息,包括:
接收查询方客户端上传的场所内场景图像的图像特征信息;
所述根据各条标注信息对应的标注位置信息获取匹配的标注信息,包括:
根据接收到的图像特征信息,判断是否存在可识别物体;
如果是,将该可识别物体的图像特征与各条标注信息对应的可识别物体的图像特征进行比对,获取匹配的标注信息;
还包括:
将匹配的标注信息对应的所述可识别物体的图像特征信息以及所述相对位置关系信息返回给所述查询方客户端。
30.一种基于场所的信息处理装置,其特征在于,包括:
标注信息接收单元,用于接收用户输入的标注信息;
第一地理位置信息获取单元,用于获取用户移动终端设备所在的地理位置信息;
第一发送单元,用于将所述标注信息以及所述地理位置信息发送到服务器,以便服务器根据所述地理位置信息确定用户所在的场所信息,建立标注信息与场所信息之间的对应关系并保存,用于将该标注信息提供给该场所内的查询方用户;其中,在所述标注信息为语音信息的情况下,通过在图像中提供的播放按钮将所述标注信息提供给该场所内的查询方用户;
其中,所述对应关系中记录有标注信息对应的图像特征信息;所述图像特征信息包括一级特征信息和二级特征信息,所述一级特征信息用于建立信息内容的一级索引,所述二级特征信息建立二级索引;所述一级索引先被检索、二级索引后被检索;所述一级特征信息包括:颜色、图像中可识别物体的形状、图像中可识别物体的轮廓其中至少一种,所述二级特征信息包括纹理、局部特征其中至少一种;
所述图像特征信息包括多个维度的特征信息,具体包括图像中各个像素点的颜色、图像中可识别物体的形状或轮廓、图像的纹理、局部特征中的至少一种;
其中,所述图像为场所内的场景图像。
31.一种基于场所的信息处理装置,其特征在于,包括:
查看请求接收单元,用于接收查询方用户发出的查看周边标注信息的请求;
第二地理位置信息获取单元,用于获取所述查询方用户所在的地理位置信息;
第二发送单元,用于将所述地理位置信息发送到服务器,以便服务器根据该地理位置信息确定查询方用户所在的目标场所,并根据预先保存的各条标注信息与场所信息之间的对应关系,确定该目标场所对应的各条标注信息并返回;
标注信息提供单元,用于将服务器返回的各条标注信息提供给该查询方用户;其中,在所述标注信息为语音信息的情况下,通过在图像中提供的播放按钮将所述标注信息提供给该场所内的查询方用户;
其中,所述对应关系中记录有标注信息对应的图像特征信息;所述图像特征信息包括一级特征信息和二级特征信息,所述一级特征信息用于建立信息内容的一级索引,所述二级特征信息建立二级索引;所述一级索引先被检索、二级索引后被检索;所述一级特征信息包括:颜色、图像中可识别物体的形状、图像中可识别物体的轮廓其中至少一种,所述二级特征信息包括纹理、局部特征其中至少一种;
所述图像特征信息包括多个维度的特征信息,具体包括图像中各个像素点的颜色、图像中可识别物体的形状或轮廓、图像的纹理、局部特征中的至少一种;
其中,所述图像为场所内的场景图像。
32.一种基于场所的信息处理装置,其特征在于,包括:
信息接收单元,用于接收标注方客户端上传的标注信息以及用户移动终端设备所在的地理位置信息;
场所信息确定单元,用于根据所述地理位置信息确定该用户所在的场所信息;
保存单元,用于建立所述标注信息与所述场所信息之间的对应关系并保存,以便在接收到查询方客户端发送的查询标注信息的请求时,根据请求中携带的地理位置信息,确定查询方用户所在的目标场所,并将该目标场所对应的标注信息返回给该查询方客户端;其中,在所述标注信息为语音信息的情况下,通过在图像中提供的播放按钮将所述标注信息提供给该场所内的查询方用户;
其中,所述对应关系中记录有标注信息对应的图像特征信息;所述图像特征信息包括一级特征信息和二级特征信息,所述一级特征信息用于建立信息内容的一级索引,所述二级特征信息建立二级索引;所述一级索引先被检索、二级索引后被检索;所述一级特征信息包括:颜色、图像中可识别物体的形状、图像中可识别物体的轮廓其中至少一种,所述二级特征信息包括纹理、局部特征其中至少一种;
所述图像特征信息包括多个维度的特征信息,具体包括图像中各个像素点的颜色、图像中可识别物体的形状或轮廓、图像的纹理、局部特征中的至少一种;
其中,所述图像为场所内的场景图像。
33.一种基于场所的信息处理装置,其特征在于,包括:
请求接收单元,用于接收查询方客户端发送的查询标注信息的请求时,该请求中携带有查询方用户所在的地理位置信息;
目标场所确定单元,用于根据所述地理位置信息确定查询方用户所在的目标场所;
标注信息返回单元,用于根据预先建立的标注信息与场所信息之间的对应关系,确定该目标场所对应的标注信息,并返回给该查询方客户端;其中,在所述标注信息为语音信息的情况下,通过在图像中提供的播放按钮将所述标注信息提供给该场所内的查询方用户;
其中,所述对应关系中记录有标注信息对应的图像特征信息;所述图像特征信息包括一级特征信息和二级特征信息,所述一级特征信息用于建立信息内容的一级索引,所述二级特征信息建立二级索引;所述一级索引先被检索、二级索引后被检索;所述一级特征信息包括:颜色、图像中可识别物体的形状、图像中可识别物体的轮廓其中至少一种,所述二级特征信息包括纹理、局部特征其中至少一种;
所述图像特征信息包括多个维度的特征信息,具体包括图像中各个像素点的颜色、图像中可识别物体的形状或轮廓、图像的纹理、局部特征中的至少一种;
其中,所述图像为场所内的场景图像。
CN201410253628.2A 2014-06-09 2014-06-09 基于场所的信息处理方法及装置 Active CN105338479B (zh)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN201410253628.2A CN105338479B (zh) 2014-06-09 2014-06-09 基于场所的信息处理方法及装置
TW103134020A TWI671502B (zh) 2014-06-09 2014-09-30 基於場所的資訊處理方法及裝置
PCT/US2015/034670 WO2015191448A1 (en) 2014-06-09 2015-06-08 Place-based information processing method and apparatus
EP15807102.7A EP3152948B1 (en) 2014-06-09 2015-06-08 Place-based information processing method and apparatus
US14/733,294 US10922480B2 (en) 2014-06-09 2015-06-08 Place-based information processing method and apparatus
KR1020167033934A KR102319621B1 (ko) 2014-06-09 2015-06-08 장소 기반 정보 처리 방법 및 장치
EP18211390.2A EP3474586B1 (en) 2014-06-09 2015-06-08 Place-based information processing method and apparatus
JP2016571383A JP6753785B2 (ja) 2014-06-09 2015-06-08 場所に基づいた情報処理の方法及び装置
HK16106245.2A HK1218364A1 (zh) 2014-06-09 2016-06-02 基於場所的信息處理方法及裝置
US16/387,260 US20190243888A1 (en) 2014-06-09 2019-04-17 Place-based information processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410253628.2A CN105338479B (zh) 2014-06-09 2014-06-09 基于场所的信息处理方法及装置

Publications (2)

Publication Number Publication Date
CN105338479A CN105338479A (zh) 2016-02-17
CN105338479B true CN105338479B (zh) 2020-03-10

Family

ID=54769695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410253628.2A Active CN105338479B (zh) 2014-06-09 2014-06-09 基于场所的信息处理方法及装置

Country Status (8)

Country Link
US (2) US10922480B2 (zh)
EP (2) EP3152948B1 (zh)
JP (1) JP6753785B2 (zh)
KR (1) KR102319621B1 (zh)
CN (1) CN105338479B (zh)
HK (1) HK1218364A1 (zh)
TW (1) TWI671502B (zh)
WO (1) WO2015191448A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338479B (zh) 2014-06-09 2020-03-10 阿里巴巴集团控股有限公司 基于场所的信息处理方法及装置
CN105610868B (zh) * 2016-03-03 2019-08-06 腾讯科技(深圳)有限公司 一种信息交互的方法、设备及系统
US11044393B1 (en) * 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
US10108859B1 (en) * 2016-06-20 2018-10-23 Pipbin, Inc. System for curation, distribution and display of location-dependent augmented reality content
US11876941B1 (en) * 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11785161B1 (en) * 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US10638256B1 (en) 2016-06-20 2020-04-28 Pipbin, Inc. System for distribution and display of mobile targeted augmented reality content
US11201981B1 (en) * 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US10334134B1 (en) * 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US10805696B1 (en) * 2016-06-20 2020-10-13 Pipbin, Inc. System for recording and targeting tagged content of user interest
CN106447433B (zh) * 2016-09-13 2020-09-18 北京三快在线科技有限公司 用于选择桌位的方法及装置
CN106982387B (zh) * 2016-12-12 2020-09-18 阿里巴巴集团控股有限公司 弹幕的显示、推送方法及装置及弹幕应用系统
CN107292248B (zh) * 2017-06-05 2023-04-07 广州诚予国际市场信息研究有限公司 一种基于图像识别技术的商品管理方法及系统
CN107333087B (zh) 2017-06-27 2020-05-08 京东方科技集团股份有限公司 一种基于视频会话的信息共享方法和装置
US9980100B1 (en) 2017-08-31 2018-05-22 Snap Inc. Device location based on machine learning classifications
CN109728995A (zh) * 2017-10-31 2019-05-07 百步资讯有限公司 一种基于地理位置的信息发送方法及其装置
CN108810422B (zh) * 2018-06-11 2020-11-20 北京小米移动软件有限公司 拍摄环境的补光方法、装置及计算机可读存储介质
JP7091940B2 (ja) * 2018-08-27 2022-06-28 日本電信電話株式会社 照合装置、照合方法および照合プログラム
US11218639B1 (en) * 2018-10-12 2022-01-04 Staples, Inc. Mobile interface for marking and organizing images
CN109800329B (zh) * 2018-12-28 2021-07-02 上海依图网络科技有限公司 一种监控方法及装置
CN110569265A (zh) * 2019-09-10 2019-12-13 浪潮商用机器有限公司 一种服务器配件信息显示方法、装置、ar眼镜及介质
US10848920B1 (en) * 2019-09-17 2020-11-24 Microsoft Technology Licensing, Llc Generation of precise geospatial coordinates
CN110491090B (zh) * 2019-09-20 2021-07-09 苏州智博汇能电子科技股份有限公司 基于手机终端的中老年人群监护方法
CN110650573A (zh) * 2019-09-27 2020-01-03 阿里巴巴集团控股有限公司 交互方法、装置、智能镜子、电子设备及计算机存储介质
US11157763B2 (en) * 2020-02-07 2021-10-26 Wipro Limited System and method for identifying target sections within images
EP4352976A1 (en) * 2021-06-06 2024-04-17 Apple Inc. Presenting labels in augmented reality
US12039672B2 (en) 2021-06-06 2024-07-16 Apple Inc. Presenting labels in augmented reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101918983A (zh) * 2008-01-15 2010-12-15 谷歌公司 街道视图数据的三维注释
CN102340594A (zh) * 2010-07-19 2012-02-01 Lg电子株式会社 移动终端及其控制方法
CN102598064A (zh) * 2009-10-12 2012-07-18 Metaio有限公司 用于在真实环境的视图中描绘虚拟信息的方法
CN103765929A (zh) * 2011-09-01 2014-04-30 高通股份有限公司 使用移动装置的涉及增强菜单的系统和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8432414B2 (en) 1997-09-05 2013-04-30 Ecole Polytechnique Federale De Lausanne Automated annotation of a view
US20020143769A1 (en) 2001-03-23 2002-10-03 Kirk Tecu Automatic content generation for images based on stored position data
US20070032244A1 (en) * 2005-08-08 2007-02-08 Microsoft Corporation Group-centric location tagging for mobile devices
JP2007164534A (ja) * 2005-12-14 2007-06-28 Matsushita Electric Ind Co Ltd 電子機器および撮像装置
US20070161382A1 (en) * 2006-01-09 2007-07-12 Melinger Daniel J System and method including asynchronous location-based messaging
US7844229B2 (en) * 2007-09-21 2010-11-30 Motorola Mobility, Inc Mobile virtual and augmented reality system
US8676001B2 (en) 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
KR101661269B1 (ko) 2008-09-02 2016-09-29 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) 휴대용 디바이스 상의 이미지 주석
US7966024B2 (en) * 2008-09-30 2011-06-21 Microsoft Corporation Virtual skywriting
US8194102B2 (en) 2008-10-06 2012-06-05 Microsoft Corporation Rendering annotations for images
TWI416928B (zh) * 2009-01-21 2013-11-21 Htc Corp 管理與顯示行動裝置影像及關聯地理位置資料的方法、系統及裝置
US9980692B2 (en) 2011-11-08 2018-05-29 Koninklijke Philips N.V. System and method for interactive annotation of an image using marker placement command with algorithm determining match degrees
US20140081904A1 (en) 2012-09-14 2014-03-20 David H. Sitrick Systems And Methods Of Collaboration Comprising, Providing A Presentation Of An Underlying Image; Generating Annotation Data Representative Of Annotations Made By A Respective User, Generating Events Comprising Event Content, Then Defining A Selected Set Of Events, And Generating A Display Presentation Responsive To Processing Said Selected Set Of Events
US20140156787A1 (en) 2012-12-05 2014-06-05 Yahoo! Inc. Virtual wall for writings associated with landmarks
CN105338479B (zh) 2014-06-09 2020-03-10 阿里巴巴集团控股有限公司 基于场所的信息处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101918983A (zh) * 2008-01-15 2010-12-15 谷歌公司 街道视图数据的三维注释
CN102598064A (zh) * 2009-10-12 2012-07-18 Metaio有限公司 用于在真实环境的视图中描绘虚拟信息的方法
CN102340594A (zh) * 2010-07-19 2012-02-01 Lg电子株式会社 移动终端及其控制方法
CN103765929A (zh) * 2011-09-01 2014-04-30 高通股份有限公司 使用移动装置的涉及增强菜单的系统和方法

Also Published As

Publication number Publication date
EP3152948B1 (en) 2019-03-06
EP3474586B1 (en) 2021-02-17
US20150356063A1 (en) 2015-12-10
WO2015191448A1 (en) 2015-12-17
EP3474586A1 (en) 2019-04-24
EP3152948A1 (en) 2017-04-12
TW201546420A (zh) 2015-12-16
JP2017526032A (ja) 2017-09-07
US20190243888A1 (en) 2019-08-08
CN105338479A (zh) 2016-02-17
EP3152948A4 (en) 2018-01-03
JP6753785B2 (ja) 2020-09-09
HK1218364A1 (zh) 2017-02-10
TWI671502B (zh) 2019-09-11
KR102319621B1 (ko) 2021-11-03
KR20170015313A (ko) 2017-02-08
US10922480B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
CN105338479B (zh) 基于场所的信息处理方法及装置
JP6706647B2 (ja) 画像に表されたオブジェクトの認識及び照合のための方法及び装置
CN103620600B (zh) 用于实现虚拟标记的方法及设备
CN111638796A (zh) 虚拟对象的展示方法、装置、计算机设备及存储介质
JP2017526032A5 (zh)
CN110019599A (zh) 获取兴趣点poi信息的方法、系统、装置及电子设备
US9288636B2 (en) Feature selection for image based location determination
CN109522503B (zh) 基于ar与lbs技术的旅游景点虚拟留言板系统
CN108462732A (zh) 旅游用导游方法及装置
CN111078982B (zh) 一种电子页面的检索方法、电子设备及存储介质
WO2015069560A1 (en) Image based location determination
EP3300020A1 (en) Image based location determination
US20150134689A1 (en) Image based location determination
CN117991950A (zh) 内容交互方法、装置、电子设备及计算机存储介质
US8819534B2 (en) Information processing system and information processing method
JP2010074437A (ja) アノテーション付与方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
CN114332426A (zh) 增强现实场景下的数据展示方法、装置、设备以及介质
CN110796715A (zh) 电子地图标注方法、装置、服务器及存储介质
KR20150085259A (ko) 컴퓨팅 장치를 이용한 투표 시스템, 물체 인식 시스템 및 그 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1218364

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant