CN105009120A - 基于客户端-服务器的动态搜索 - Google Patents

基于客户端-服务器的动态搜索 Download PDF

Info

Publication number
CN105009120A
CN105009120A CN201480012935.XA CN201480012935A CN105009120A CN 105009120 A CN105009120 A CN 105009120A CN 201480012935 A CN201480012935 A CN 201480012935A CN 105009120 A CN105009120 A CN 105009120A
Authority
CN
China
Prior art keywords
mobile device
environment
pose
relative
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480012935.XA
Other languages
English (en)
Other versions
CN105009120B (zh
Inventor
潘琪
丹尼尔·瓦格纳
若尔特·邵洛瓦里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105009120A publication Critical patent/CN105009120A/zh
Application granted granted Critical
Publication of CN105009120B publication Critical patent/CN105009120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了用于执行搜索的方法、移动装置、计算机程序产品以及设备。所述执行搜索的方法包括：接收从移动装置所观看到的环境的一或多个图像；使用所述一或多个图像来生成所述环境的同时定位与测绘，其中所述环境的所述同时定位与测绘包括表示在所述环境的三维坐标系统中的多个表面的多个地图点；将一组所述多个地图点作为搜索查询而发送到服务器；从所述服务器接收查询响应；以及至少部分地基于所述查询响应来识别在所述环境中的对象。

Description

基于客户端-服务器的动态搜索
相关申请的交叉引用
本申请要求2013年3月15日提交的题为“基于客户端-服务器的动态搜索”的第No.13/843,607号美国申请的权益和优先权，所述申请被转让给本申请受让人，并且明确地通过引用被并入本文中。
技术领域
本发明涉及无线通信领域。特别地，本发明涉及在客户端-服务器环境下执行搜索。
背景技术
随着移动装置(例如智能手机)的增加，它们可以用于检测对象和执行扩增的现实应用。然而，由于在这种移动装置上的存储空间有限，本地数据库(如果存在的话)可以仅仅存储用于支持这种视觉搜索的有限数量的对象，这可能非常不利地影响到对象识别的准确性。为了获得更好的搜索品质，移动装置可以将捕获的图像发送到服务器以执行对象识别。
图1示出了执行视觉搜索的常规方法。如图1中所示，移动装置102将查询图像104作为查询数据发送到服务器106(也称为云)。然后服务器106可以从查询图像104中提取二维(2D)特征和相关描述符，并且将这些描述符与带有服务器106中的对象数据库(未示出)的三维(3D)位置的描述符相匹配，发现2D到3D的对应关系。所述方法可以用于识别对象，并且在采集查询图像104时产生相对于移动装置102的位姿。
以上常规方法的问题之一是，在将查询数据发送到服务器106、处理查询以及将响应数据返回移动装置102方面存在长的延迟。在此期间，移动装置102可从捕获查询图像104的位置移动。结果，通过服务器106计算的移动装置102的位姿可能已经过时。
图1中所示的常规方法的另一问题是，查询图像104包含需要从移动装置102发送到服务器106的大量数据。当移动装置102的图像分辨率继续增加(例如从2兆像素到4兆像素等)时，所述问题可能变得更糟。这种增加的查询数据可能进一步使查询图像104可以被发送的时间与查询响应可以从服务器106接收的时间之间的持续时间延迟。
因此，需要能够解决常规方法的以上问题的方法、设备和计算机程序产品。
发明内容
本发明涉及用于执行搜索的方法、设备和计算机程序产品。在一个实施例中，执行搜索的方法包括：接收从移动装置所观看到的环境的一或多个图像，使用一或多个图像来生成环境的同时定位与测绘，其中环境的同时定位与测绘包括表示在环境的三维坐标系统中的多个表面的多个地图点，将一组多个地图点作为搜索查询而发送到服务器，从服务器接收查询响应，以及至少部分地基于查询响应来识别环境中的对象。根据本发明的方面，多个地图点包括由移动装置从不同角度采集的多个表面的视图。
根据本发明的方面，多个地图点包括由移动装置从不同角度捕获的多个表面的视图。在多个地图点中的每个地图点可包括三维位置、三维位置的一或多个描述符，以及三维位置的对应表面法线。在其它方法中，在多个地图点中的每个地图点可包括来自与所述地图点的法线方向正交的方向的表示。
所述方法进一步包括在第一时刻将一组多个地图点作为搜索查询而发送到服务器，以及在第二时刻从服务器接收查询响应，且其中移动装置在第一时刻具有相对于对象的第一位姿，并且移动装置在第二时刻具有相对于对象的第二位姿。所述方法可以进一步包括至少部分地基于在第二时刻接收的查询响应来确定移动装置相对于环境中的对象的第二位姿。
确定移动装置相对于在环境中的对象的第二位姿的方法包括：从查询响应来获得对象相对于环境的原点的位姿；跟踪移动装置相对于环境的原点的位姿；以及使用对象相对于环境的原点的位姿和移动装置相对于环境的原点的位姿来确定移动装置相对于对象的第二位姿。
所述方法进一步包括响应于移动装置相对于环境中的对象的第二位姿来致使呈现扩增。所述方法可以进一步包括跟踪移动装置相对于环境的原点的移动，以及确定移动装置已经相对于环境的原点移动。确定移动装置已经移动的方法包括以下至少一者：确定移动装置已经旋转超过预定角度，以及确定移动装置已经平移超过预定距离。
所述方法进一步包括：响应于移动装置的移动来识别由移动装置捕获的增量地图点；使用由移动装置捕获的增量地图点来生成环境的更新的同时定位与测绘；以及将由移动装置捕获的增量地图点在更新的搜索查询中发送到服务器。环境的更新的同时定位与测绘包含比从移动装置的所观看到的环境的视场更大的环境的视图；且其中环境的原点在移动装置的视场之外。
在另一个实施例中，移动装置包括：控制单元，其包含处理逻辑，所述处理逻辑包括：经配置以接收从移动装置所观看到的环境的一或多个图像的逻辑；经配置以使用一或多个图像来生成环境的同时定位与测绘的逻辑，其中环境的同时定位与测绘包括表示在环境的三维坐标系统中的多个表面的多个地图点；经配置以将一组多个地图点作为搜索查询而发送到服务器的逻辑；经配置以从服务器接收查询响应的逻辑；以及至少部分地基于查询响应来识别环境中的对象的逻辑。
在另一个实施例中，计算机程序产品包括存储用于由一或多个计算机系统执行的指令的非暂时性媒体；所述指令包括：用于接收从移动装置所观看到的环境的一或多个图像的指令；用于使用一或多个图像来生成环境的同时定位与测绘的指令，其中环境的所述同时定位与测绘包括表示在环境的三维坐标系统中的多个表面的多个地图点；用于将一组多个地图点作为搜索查询而发送到服务器的指令；用于从服务器接收查询响应的指令；以及用于至少部分地基于查询响应来识别在环境中的对象的指令。
在另一个实施例中，设备包括：用于接收从移动装置所观看到的环境的一或多个图像的装置；用于使用一或多个图像来生成环境的同时定位与测绘的装置，其中环境的同时定位与测绘包括表示在环境的三维坐标系统中的多个表面的多个地图点；用于将一组多个地图点作为搜索查询而发送到服务器的装置；用于从服务器接收查询响应的装置；以及用于至少部分地基于查询响应来识别在环境中的对象的装置。
附图说明
在结合以下附图阅读本发明实施例的详细说明之后，将更清楚地理解本发明的前述特征和优点以及它们的另外特征和优点。
图1示出执行基于客户端-服务器搜索的常规方法。
图2示出根据本发明一些方面执行基于客户端-服务器搜索的方法。
图3示出根据本发明一些方面确定移动装置相对于对象的位姿的方法。
图4示出根据本发明一些方面经配置以执行基于客户端-服务器搜索的移动装置的示例性框图。
图5示出根据本发明的一些方面用于执行基于客户端-服务器的搜索的服务器的框图。
图6A和图6B示出根据本发明的一些方面执行基于客户端-服务器的搜索的示例性方法。
贯穿附图使用类似的标号。
具体实施方式
公开了用于基于客户端-服务器的搜索的方法和设备的实施例。给出以下描述使得本领域任何技术人员能够作出和使用本发明。对特定实施例和应用的描述仅作为实例来提供。对于本领域技术人员而言，本文所述的示例的各种修改和组合将是显而易见的，并且在不脱离本发明的精神和范围的情况下，可以将本文限定的一般原理应用于其它示例和应用。因此，本发明不旨在局限于描述和示出的示例，而是应给予与本文所公开的原理和特征一致的最宽范围。本文使用的词“示例性”或“示例”意指“作为示例、实例或说明”。本文作为“示例性”或“示例”描述的任何方面或实施例不必被解释为优于或胜过其它方面或实施例。
图2示出根据本发明的一些方面执行基于客户端-服务器的搜索的方法。根据本发明的方面，同时定位与跟踪(SLAM)框架可以通过移动装置结合基于服务器的检测系统来使用。在图2所示的示例性方法中，移动装置202(也称为客户端装置或简称为客户端，由黑色圆点表示)可以经配置以建立SLAM环境203，同时使移动装置相对于SLAM环境203的位姿能够由服务器206计算。SLAM环境203可以是致密网格或致密/稀疏点云，例如，具有相对于SLAM环境203坐标框架原点的3D位置(在图3中示出)。每一地图点可以包含一或多个描述符，其描述地图点的视觉外观，和/或如果地图是网格，则描述关于点的3D结构信息。例如，表面204a和它的对应表面法线204b、表面206a和它的对应表面法线206b、表面208a和它的对应表面法线208b、表面210a和它的对应表面法线210b，以及表面212a和它的对应表面法线212b描述SLAM环境203中的各种示例性地图点。
应注意，地图点可由移动装置202捕获在一系列图像帧上。例如，地图点204a和206a可被捕获在第一图像帧中；地图点208a和210a可被捕获在第二图像帧中；且地图点212a可被捕获在第三图像帧中。随着移动装置202到处移动，另外的地图点可以被捕获并被添加到SLAM环境，且更新的SLAM环境可以随后被发送到服务器。
根据本发明的方面，构成SLAM环境的地图点可以作为搜索查询被发送。每一地图点可以包含表示所述地图点的3D位置、表面法线和一或多个描述符。然后，服务器上的对象和位姿检测可涉及将来自SLAM地图的描述符与来自对象数据库的描述符进行匹配，形成3D到3D的对应关系。然后可以估计相似性变换以便获得对象相对于SLAM环境原点的位姿，因为地图点在SLAM环境坐标框架中具有3D位置。
根据本发明的方面，可以相对于SLAM环境坐标框架跟踪移动装置202的位姿。通过累积SLAM环境并将地图点作为查询信息而发送到服务器，查询响应可以包含构成搜索查询时相对于SLAM环境原点而不是相对于移动装置202的检测的对象位姿。使用SLAM框架，所公开的方法可以降低从移动装置202发送到服务器206的数据量，并且可以因此降低网络延时，允许从查询响应计算对象的实时位姿。与图1中描述的常规方法中的单个查询图像相反，所述方法还使来自多个观察点的信息能够作为搜索查询被发送，并且因此可以在对象检测和跟踪方面产生更好的结果。
根据本发明的方面，SLAM是计算传感器相对于环境的位置与定向，而同时创建环境地图的过程。前述的传感器可以是从场景捕获信息的一或多个照相机阵列。所述信息可以是视觉信息(例如标准成像装置)或直接深度信息(例如无源立体或有源深度照相机)中的一个或组合。来自SLAM系统的输出可以是相对于环境的传感器位姿(位置和定向)，以及某一形式的地图，包括至少稀疏点(其可以包含法线信息)，和/或密集表面网格。
图3示出了根据本发明的一些方面确定移动装置相对于对象的位姿的方法。如图3所示，也称为客户端(C)装置的移动装置202由黑色圆点表示；对象304由字母X表示；以及服务器206由灰色的云表示。XCquery表示在时间t＝tquery时对象304相对于客户端装置202的位姿；XClive表示在时间t＝tlive时对象304相对于客户端装置202的位姿；OXquery表示在时间t＝tquery时对象304相对于SLAM环境的原点308(也简称为原点)的位姿；OCquery表示在t＝tquery时客户端装置202相对于原点308的位姿；OClive表示在t＝tlive时客户端装置202相对于原点308的位姿。
在时间t＝tquery时，搜索查询(由箭头303表示)可被发送到服务器206。当搜索查询303正在被处理时，移动客户端202可继续移动。移动客户端202上的SLAM框架可以用于计算客户端装置202相对于SLAM环境的原点308的位姿(OC)。在时间t＝tlive时，客户端装置202从服务器206接收查询响应(由箭头305表示)。注意发回的查询响应可以是对象相对于Cquery和XCquery的坐标框架的位姿，从当前的客户端装置的视角Clive来看，这是过时的位姿。如图1的描述所示，所述差异可能是由于网络和处理延迟，对于传统的基于图像的搜索这可能是没用的。另一方面，根据本发明的方面，从服务器206接收的查询响应305仍然能够被使用，因为它可相对于SLAM环境的原点308(OXquery)被观察到或利用。因而，当当前客户端装置202的位姿被确定时，为了对象增强的目的，可计算从对象坐标框架到客户端装置坐标框架(XClive)的转换。
在一种方法中，对象304相对于客户端装置202的实时位姿(XClive)可以从查询响应305(OXquery)计算。这是因为从客户端装置202到SLAM环境的原点308(OClive)的转换可以被跟踪并确定。对象304相对于客户端装置202(XClive)的位姿也可通过关系式：XClive＝OClivex(OXquery)-1，来确定。
根据本发明的方面，多个地图点可以被作为搜索查询而发送。在一个实施例中，只有在上一次查询以来被添加到所述地图的地图点在所述查询中被发送。应注意，先前被发送的搜索查询可以通过服务器206被存储及高速缓存。这使服务器206能够在来自移动装置202的全部地图点上进行搜索，而无需每次将这些点发送到服务器206。在另一种方法中，移动装置202可以每次发送整个地图，这意味着不需要在服务器206上进行暂时存储。
根据本发明的方面，服务器206可以包含关键点和具有3D位置信息(和潜在表面法线)的描述符的数据库，类似于在查询中传输的地图点。然而，服务器206上的关键点和描述符可与数据库对象的部分相对应，并且可在离线过程中提前产生。在一些实施方案中，在服务器206上可以创建有效的用于搜索的数据结构，以使得可以快速地计算描述符之间的最近邻搜索。这些数据结构可以采用树状(诸如K-手段、kD-树、二叉树)、散列表或最近邻分类器的形式。用以识别是否存在由移动装置202发送的SLAM地图中的任何数据库对象的搜索涉及，在服务器描述符数据库内找出地图点描述符的最近邻居。服务器206和移动装置202上的描述符是表示对象或场景部分外观的向量。可能的描述符可包含但不限于SIFT和SURF。
通过移动装置202发送的每个地图点可具有一组0至N的最近邻对应关系，所述对应关系通过搜索查询过程识别。考虑到效率，这些对应关系可以通过服务器206存储，以使得它们在下一个搜索查询时可不用被再次计算。在识别这些对应关系之后投票步骤可发生，其中所发现的某些对象的对应关系数量可以导致做出决定，即某些对象高度可能存在于SLAM地图中。对于这些高度可能存在的对象的每个，几何校验过程可被用于将内层对应关系从外层对应关系过滤出。所述几何校验可以涉及相对的3D位置限制、描述符旋转限制和法线方向限制。几何校验的结果是在从装置发送的地图点和服务器数据库中对象之间的一组对应关系。
地图点可以包括相对于SLAM地图原点的至少一个3D位置和描述符，因此与服务器206(也具有3D位置)中的描述符的匹配可以产生一系列3D到3D的对应关系。这可使相似性转换(7-自由度：3D旋转、3D位置、比例)能够在服务器的数据库点和对应的SLAM地图点之间被计算，所述地图点被认为表示所述对象。所述相似性转换可以编码相对于SLAM地图原点的对象的位置、定向和比例。连同其它有用信息，诸如SLAM中地图中哪些地图点与服务器对象相对应，以及与数据库对象相关联的内容，这可以作为查询响应被传输回移动装置202。在SLAM地图和对象地图两者的比例都已知的情况下(例如二者都是绝对米制刻度比例)，则可能不存在比例差别，并且仅仅3D位姿就足够表示对象和SLAM地图原点之间的关系。
使用服务器206的搜索过程与照相机的帧速率相比相对较慢，通常在查询响应接收之前占用10秒的帧。然而，当服务器206处理搜索查询时，客户端可以使用相对于SLAM地图原点308的SLAM来执行视觉位姿跟踪。因此，由于搜索查询计算相对于SLAM地图原点308的转换，在计算了查询响应之后，对象和照相机的相对转换可以通过链接从照相机至SLAM地图原点308的转换以及从SLAM地图原点308至对象304的转换来计算。
除了使用SLAM框架跟踪移动装置202的位姿外，其还可用于确定何时将搜索查询发送到服务器206。当使用地图点作为查询数据时，可以做出几种优化。例如，SLAM环境的某些部分可增量发送到服务器206，其相较于使用专用的单个图像查询的常规方法可带来显著的改进。在一些实施方案中，随着新的地图点被添加到SLAM地图，可采用后台过程使得新地图点从客户端装置202流入服务器206。服务器206可经配置以具有会话处理能力，且可经配置以通过对先前结果(例如来自描述符匹配)的高速缓存的方式使用整个地图(包括新地图点)来执行查询，同时不要求对整个SLAM地图进行重新处理。相比于查询相同尺寸的全新地图，这种方法可以支持待处理的增量查询，其进而可提高对象检测以及扩增的现实应用的效率。采用这一方法，随着SLAM地图延伸，在新信息变可用时可能会有新的信息流，而非具有发送查询图像时不同的的判定点。因此，随着新信息可被发送，所公开的方法将发送到服务器206的信息量优化；与其中不同的图像被发送到服务器206的基于图像的查询相比，尽管所述不同图像可能主要呈现同一场景的视图。所公开方法的另一个好处是，相较于基于图像的方法，其中整个图像可能被上传并且对其进行重新处理，所述方法可以减少到达服务器的往返处理时间。
在对象非常大的情况下(例如建筑物)，可能不适于使用单个照相机的图像查询，这可能使得使用如上图1所述的常规方法检测所述对象的任务变得困难。另一方面，根据本发明的各个方面，增量更新SLAM环境的能力可以使所公开的方法能够映射大的对象，诸如增量映射足球场，即使整个足球场可能不能被单个照相机视野所捕获。此外，发送SLAM环境至服务器的一些部分作为搜索查询的能力可以提高大对象的识别率，因为所公开的方法可以能够使用来自搜索查询中整个对象的信息。
当检测3D对象时，常规方法使用照相机图像作为搜索查询，其存在严重不利，因为所述图像是3D场景的2D投影，因而可能只代表单一的视点。使用SLAM环境作为查询数据，对象可能从多角度被映射，且所捕获的信息可能作为搜索查询被提交。因而，使用从多种角度所捕获的信息的公开方法在分辨一个对象与从某些视点看可能相同的其它对象方面可产生更好的结果。
图4示出了移动装置的示例性框图，所述移动装置经配置以根据本发明的一些方面执行基于客户端-服务器的查询。移动装置202包含用于捕获环境图像的照相机108，其既可以是独立照片也可以是视频帧。移动装置202还可包含传感器116，其可以用于提供数据，使用所述数据移动装置202可以确定其位置和定向，即位姿。可以与移动装置202一起使用的传感器的示例包含加速度计、石英传感器、陀螺仪、用作线性加速度计的微电子机械系统(MEMS)传感器以及磁力计。
移动装置202还可以包含用户界面110，其包含能够显示图像的显示器112。用户界面110还可以包含键盘114或其它输入装置，通过它们用户可以将信息输入至移动装置202中。根据需要，通过将虚拟键盘整合至具有触摸式传感器的显示器112中，键盘114可以被排除。例如，如果移动平台是蜂窝电话，则用户界面110还可以包含麦克风117以及一或多个扬声器118。当然，移动装置202可以包含与本发明无关的其它组件。
移动装置202进一步包含控制单元120，所述控制单元120与照相机108和传感器116，以及用户界面110，连同任何其它所需的功能连接并通信。控制单元120可以通过一或多个处理器122和相关联存储器/存储装置124提供。控制单元120也可以包含软件126以及硬件128和固件130。控制单元120包含SLAM环境生成模块132，所述SLAM环境生成模块132经配置以基于移动装置202所捕获的信息生成SLAM地图。控制单元120进一步包含基于客户端-服务器的动态搜索模块134，所述基于客户端-服务器的动态搜索模块经配置以检测感兴趣的对象并经配置以确定或跟踪移动装置202相对于感兴趣对象的位姿。为了清晰起见，SLAM环境生成模块132和基于客户端-服务器的动态搜索模块134与处理器122和/或硬件128分别说明，但可以基于软件126和固件130中的指令在处理器122和/或硬件128中进行组合和/或实施。应注意，控制单元120可以经配置以实施执行基于客户端-服务器的动态搜索的方法。例如，控制单元120可以经配置以实施图2、图3和图6A-6B中所述的移动装置202的功能。
图5示出了根据本发明一些方面用于执行基于客户端-服务器搜索的服务器的框图。在图5所示的示例中，服务器206包含一或多个处理器502、网络接口504、SLAM地图数据库506、SLAM地图搜索模块508以及存储器510。一或多个处理器502可以经配置以控制服务器206的操作。网络接口504可以经配置以与网络(未示出)通信，所述网络可以经配置以与其它服务器、计算机和移动装置通信。SLAM地图数据库506可以经配置以存储不同地点、地标、地图以及其它用户定义的信息的SLAM地图。SLAM地图搜索模块508可以经配置以使用SLAM地图数据库506实施执行基于客户端-服务器的动态搜索的方法。例如，SLAM地图搜索模块508可以经配置以实施在图2、图3和图6A-6B中所述的服务器206的功能。存储器510可以经配置以存储用于服务器206的程序代码、指令和数据。
根据本发明的实施例，SLAM地图数据库506可以以空间方式组织。对于每一个对象，移动装置定向可以使用在移动装置中嵌入的传感器来确定。在搜索SLAM地图数据库506方面，所述方法可首先专注于搜索移动装置定向邻居内的地图点。在另一种方法中，搜索可以专注于匹配移动装置所捕获对象的地图点，并使用初始搜索结果来辅助SLAM地图数据库的后继搜索。在另一种方法中，可以通过使用由GPS、A-GPS或Skyhook式WiFi位置获取的大致位置信息来辅助搜索SLAM地图数据库。可以施用如上所述的各种方法以改善对SLAM地图数据库中对象的搜索效率。
图6A和图6B示出了根据本发明一些方面执行基于客户端-服务器的搜索的示例性方法。根据本发明的一些方面，对象识别方法示于图6A中，而跟踪方法示于图6B中。应注意，在图6A和图6B中描述的方法可以由移动装置202并行执行。虽然在图6A和图6B中所示的某些框块执行相同方法(因而用相同的数字标记)，但是出于图示的目的，所述方法的流程图被分别示出。在其它实施方案中，两个流程图可以组合形成单个的流程图。
参考图6A，在方框602中，控制单元120可以经配置以经由一或多个无线通信协议从移动装置202的照相机108接收一或多个图像或从其它装置接收一或多个图像。根据本发明的各个方面，可以间断地或连续地接收图像。在方框604中，控制单元120可以经配置以跟踪移动装置。例如，控制单元120可以经配置以跟踪移动装置相对于环境原点的移动，并确定移动装置已相对于环境原点移动。此外，控制单元120可以经配置以确定移动装置是否已经旋转超过预定角度，和/或确定移动装置是否已经平移超过预定距离。在方框605中，控制单元120可以经配置以确定是否更新SLAM地图。如果确定更新SLAM地图(605_是)，则方法前进到方框606。相反地，如果确定不更新SLAM地图(605_否)，则方法返回到方框602。
在方框606中，控制单元120可以经配置以使用接收到的一或多个图像来生成或更新环境的SLAM地图。根据本发明的各个方面，SLAM地图可以包含表示环境的三维坐标系统中的多个表面的多个地图点。多个地图点可以包括移动装置从不同角度捕获到的多个表面的视图。在一些实施方案中，多个地图点中的每个地图点包括三维位置、三维位置的一或多个描述符以及三维位置的对应表面法线。一或多个描述符的示例可以包括一组尺度不变的特征变换(SIFT)描述符和多个表面的表面法线，和/或一组加速稳健特征(SURF)描述符和多个表面的表面法线。在一些其它实施方案中，多个地图点中的每个地图点包括来自与地图点的法线方向正交的方向的表示。
根据本发明的各个方面，控制单元120可以经配置以响应于移动装置的移动来识别由移动装置捕获的增量地图点；使用由移动装置捕获的增量地图点来生成环境的更新的同时定位与测绘；以及将由移动装置捕获的增量地图点在更新的搜索查询中发送到服务器。应注意，环境的更新的同时定位与测绘包含比从移动装置的角度看的环境的视场更大的环境的视图；且其中环境的原点在移动装置的视场之外。
在方框608中，控制单元120可以经配置以将一组多个地图点作为搜索查询而发送到服务器。在方框609中，控制单元120可以经配置以确定是否存在来自服务器206的响应。如果存在响应(609_是)，则方法前进到方框610。相反地，如果无响应(609_否)，则方法返回到方框602。在方框610中，控制单元120可以经配置以从服务器206接收查询响应。在方框612中，控制单元120可以经配置以将正在被搜索的对象登记到SLAM地图。
参考图6B，注意方框中的一些与图6A中描述的方框相同，并且因此图6A中提供的相同方框的描述也可以适用于图6B中的相同方框。为简便起见，下面结合图6B描述相同的方框，以保持方法的整体结构。在方框602中，控制单元120可以经配置以经由一或多个无线通信协议从移动装置202的照相机108接收一或多个图像或从其它装置接收一或多个图像。在方框604中，控制单元120可以经配置以跟踪移动装置。
在方框609中，控制单元120可以经配置以确定是否存在来自服务器206的响应。如果存在响应(609_是)，则方法前进到方框610。相反地，如果无响应(609_否)，则方法返回到方框605。在方框610中，控制单元120可以经配置以接收来自服务器206的查询响应。在方框612中，控制单元120可以配置成将正在被搜索的对象登记到SLAM地图上。在方框605中，控制单元120可以经配置以确定是否更新SLAM地图。如果确定更新SLAM地图(605_是)，则方法前进到方框606。相反地，如果确定不更新SLAM地图(605_否)，则方法返回到方框614。在方框606中，控制单元120可以经配置以使用从服务器206接收的一或多个图像和/或采用查询响应生成或更新环境的SLAM地图。在方框608中，控制单元120可以经配置以将一组多个地图点作为搜索查询而发送到服务器。
在方框614中，控制单元120可以经配置以计算相对于SLAM地图环境的对象位姿。在一些实施方案中，控制单元120可以经配置以根据查询响应获得相对于环境原点的对象位姿，跟踪相对于环境原点的移动装置位姿，以及使用相对于环境原点的对象位姿和相对于环境原点的移动装置位姿来确定相对于对象的移动装置位姿。在方框616中，控制单元120可以经配置以使用方框614中所确定的对象位姿来呈现扩增。
应注意，流程图仅仅用于说明的目的。在一些其它实施方案中，流程图的方框可以被安排以形成其它的实施方案，例如，方框604的方法可以在方框606的方法之前、之后或与其并行进行。在一些其它的实施方案中，例如，方法可以从方框602前进到方框605，而不执行方框604的方法。
所公开的方法的一个好处是检测相似的目标。因为服务器上的SLAM地图数据库通常可能非常大，且可能包含许多视觉外观相似但不相同的对象。考虑到来自移动装置的搜索查询与这些视觉上相似的对象之一有关，因此服务器可以能够成功地识别正确的对象。然而，采用传统搜索系统(其使用驻留在本地移动装置的检测数据库)，很可能检测到具有相似外观的错误对象。如果本地数据库内存在具有真实对象的多个视觉上相似的对象，且对于客户端装置而言这些视觉上相似的对象可能不是真实对象时，则这种错误检测的可能性会变大。
在图1所示的常规方法中，只要移动装置在服务器数据库中不具有所有对象的数据，则可能无法保证数据库中的正确对象可以被检测出。这是因为希望对封闭情况和由于对象的制作工艺和照相机成像过程的变化而导致的外观细小变化的本地检测具有鲁棒性。所述问题可以由公开的方法解决，其不仅执行对象检测，而且还在服务器上进行位姿估算，在所述服务器上可以存储更完整的对象集的信息。
本发明的另一个好处是解决了何时将搜索查询(或捕获的其它信息)从移动装置发送到服务器的问题。所公开的方法解决了优化所发送的数据量和对象检测速度之间的平衡，其可以影响移动装置的用户体验。根据本发明的各个方面，可以采用不同的方法，诸如使用场景变化算法去检测客户端图像的外观何时变得足以保证发送查询。使用SLAM框架可以提供相对于对象或场景的移动装置位姿的连续信息，这种信息可以用于决定何时向服务器发送查询。
本发明的另一个好处是检测大型对象。在一些情况下，大型对象可能不适合于在单一的照相机视图内，也就是说，如果照相机图像被用作图1中所述的搜索查询，则使用视觉搜索查询来检测大型对象可能很自然地存在不利。另一方面，所公开的方法可以经配置以增量累积描述大型对象的数据(SLAM地图点)，并发送包含更新后的SLAM地图点的搜索查询，以使大型对象的检测能够更加可靠。
本发明的另一个好处是二义性消除3D对象。在图1所述的常规方法中，采用照相机图像作为查询数据意味着从单个视点来发送3D对象的2D投影，这可能很难检测到3D对象，因为许多3D对象从某些视点来看可以是相似的。另一方面，所公开的方法可以从不同的视点累积对象的信息，并将此信息作为搜索查询而发送，以使相似的3D对象可以彼此消除。
应注意，至少段落[0061]-[0065]、图4、图5、图6A和图6B以及它们对应的描述提供了用于接收从移动装置角度看到的环境的一或多个图像的装置，用于使用一或多个图像来生成环境的同时定位与测绘的装置，其中环境的同时定位与测绘包括表示在环境的三维坐标系统中的多个表面的多个地图点，用于将一组多个地图点作为搜索查询而发送到服务器的装置，用于从服务器接收查询响应的装置，以及用于至少部分地基于查询响应来识别在环境中的对象的装置。
本文所述的方法和移动装置可以取决于应用而由各种装置来实现。例如，这些方法可以在硬件、固件、软件或其组合中实现。对于硬件实施方案，处理单元可以在一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置以及设计用于执行本文中所述功能的其它电子单元或其组合内实现。在此，术语“控制逻辑”包括软件、硬件、固件或其组合实现的逻辑。
对于固件和/或软件实施方案，可以用执行本文所述功能的模块(例如程序、功能等)来实现所述方法。有形地体现指令的任何机器可读媒体可以用于实现本文所述的方法。例如，软件代码可以存储在存储器上，并由处理单元执行。存储器可以在处理单元内部或处理单元的外部实现。如本文所使用的，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存储设备，且不限于任何特定类型的存储器或任何特定数量的存储器，或存储存储器的媒体类型。
如果在固件和/或软件中实现，则功能可以作为一或多个指令或代码被存储在计算机可读媒体上。示例包含用数据结构编码的计算机可读媒体，以及用计算机程序编码的计算机可读媒体。计算机可读媒体可以采用制造商的产品的形式。计算机可读媒体包含物理计算机存储媒体和/或其它非暂时性媒体。存储媒体可以是可由计算机访问的任何可用媒体。通过示例而非限制的方式，这种计算机可读媒体可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储设备，或可以用于以指令或数据结构的形式存储所需程序代码、且可以被计算机访问的任何其它媒体；如本文所使用的，磁盘和光盘包含压缩盘(CD)、激光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述的组合也应当包含在计算器可读媒体的范围内。
除了存储在计算机可读媒体上之外，指令和/或数据还可以作为包含在通信设备中的传输媒体上的信号来提供。例如，通信设备可以包含收发器，所述收发器具有指示指令和数据的信号。这些指令和数据经配置以使一或多个处理器执行权利要求书中所概述的功能。也就是说，所述通信设备包含传输媒体，所述传输媒体具有指示执行所公开功能的信息的信号。在第一时间，包含在通信设备中的传输媒体可以包含执行所公开功能的信息的第一部分，而在第二时间，包含在所述通信设备中的传输媒体可以包含执行所公开功能的信息的第二部分。
本发明可以结合各种无线通信网络来实施，诸如无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等。术语“网络”和“系统”通常可互换地使用。术语“位置”和“定位”通常可互换地使用。WWAN可以是码分多址(CDMA)网络、时分多址接入(TDMA)网络、频分多址接入(FDMA)网络、正交频分多址接入(OFDMA)网络、单载波频分多址接入(SC-FDMA)网络、长期演进(LTE)网络、WiMAX(IEEE 802.16)网络等。CDMA网络可以实施一或多个无线电接入技术(RAT)，诸如cdma2000、宽带-CDMA(W-CDMA)等。Cdma2000包含IS-95、IS2000和IS-856标准。TDMA网络可以实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或一些其它RAT。在来自命名为“第三代合作项目”(3GPP)的联盟的文件中描述了GSM和W-CDMA。在命名为“第三代合作项目2”(3GPP2)的联盟的文件中描述了Cdma2000。3GPP和3GPP2文件是公众可获得的。WLAN可以是IEEE 802.11x网络，并且WPAN可以是蓝牙网络、IEEE 802.15x或一些其它类型的网络。所述技术也可以结合WWAN、WLAN和/或WPAN的任意组合而被实施。
移动台指代这样的装置，诸如蜂窝或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、笔记本或者能够接收无线通信和/或导航信号的合适的其它移动装置。术语“移动台”也旨在包含诸如通过短程无线、红外、有线连接或其它连接而与个人导航装置(PND)通信的装置，无论在所述装置或在PND处是否发生卫星信号接收、辅助数据接收和/或位置相关处理。此外，“移动台”旨在包含能够诸如通过互联网、Wi-Fi或其它网络与服务器通信(且无论在所述装置处、在服务器处或在与所述网络相关联的另一个装置处卫星信号接收、辅助数据接收和/或位置相关处理是否发生)的所有装置，包含无线通信装置、计算机、笔记本等。以上的任何可操作组合也被认为是一个“移动台”。
指定某物是“优化的”、“所需的”或者其它指定并不表示本发明仅仅适用于优化的系统或者其中存在“所需的”元件(或由于其它指定导致的其它限制)的系统。这些指定仅仅指代所描述的特定实施方案。当然，多种实施方案是可能的。这些技术可以与除了那些在本文中讨论的协议之外的其它协议一起使用，包含处于开发中或有待开发的协议。
本领域的技术人员将意识到，可以使用公开实施例的多种可能修改和组合，同时仍采用相同的基本关键性机制和方法。出于阐释的目的，已结合特定实施例撰写了以上描述内容。然而，以上说明性的讨论并不旨在是排他的或者将本发明限制为所公开的确切形式。考虑到上述教导，多种修改和变体是可能的。选择并描述实施例是为了解释本发明的原理及它们的实际应用，并且使本领域的技术人员能够最佳地利用本发明和具有各种修改的各种实施例以适用于预期的具体用途。

Claims (37)

1.一种执行搜索的方法，其包括：
接收从移动装置所观看到的环境的一或多个图像；
使用所述一或多个图像来生成所述环境的同时定位与测绘，其中所述环境的所述同时定位与测绘包括表示在所述环境的三维坐标系统中的多个表面的多个地图点；
将一组所述多个地图点作为搜索查询而发送到服务器；
从所述服务器接收查询响应；以及
至少部分地基于所述查询响应来识别在所述环境中的对象。
2.根据权利要求1所述的方法，其中所述多个地图点包括：
由所述移动装置从不同角度捕获的所述多个表面的视图。
3.根据权利要求2所述的方法，其中所述多个地图点中的每个地图点包括三维位置、所述三维位置的一或多个描述符，以及所述三维位置的对应表面法线。
4.根据权利要求2所述的方法，其中所述多个地图点中的每个地图点包括来自与所述地图点的法线方向正交的方向的表示。
5.根据权利要求1所述的方法，其进一步包括：
在第一时间实例将所述一组所述多个地图点作为搜索查询而发送到所述服务器；以及
在第二时间实例从所述服务器接收查询响应；且其中所述移动装置在所述第一时间实例具有相对于所述对象的第一位姿，并且所述移动装置在所述第二时间实例具有相对于所述对象的第二位姿。
6.根据权利要求5所述的方法，其进一步包括：
至少部分地基于在所述第二时间实例接收的所述查询响应来确定所述移动装置相对于所述环境中的所述对象的所述第二位姿。
7.根据权利要求6所述的方法，其中确定所述移动装置相对于所述环境中的所述对象的所述第二位姿包括：
从所述查询响应来获得所述对象相对于所述环境的原点的位姿；
跟踪所述移动装置相对于所述环境的所述原点的位姿；以及
使用所述对象相对于所述环境的所述原点的所述位姿和所述移动装置相对于所述环境的所述原点的所述位姿来确定所述移动装置相对于所述对象的所述第二位姿。
8.根据权利要求6所述的方法，其进一步包括：
响应于所述移动装置相对于所述环境中的所述对象的所述第二位姿来致使呈现扩增。
9.根据权利要求1所述的方法，其进一步包括：
跟踪所述移动装置相对于所述环境的原点的移动；以及
确定所述移动装置已经相对于所述环境的所述原点移动。
10.根据权利要求9所述的方法，其中确定所述移动装置已经移动包括以下至少一者：
确定所述移动装置已经旋转超过预定角度；以及
确定所述移动装置已经平移超过预定距离。
11.根据权利要求9所述的方法，其进一步包括：
响应于所述移动装置的所述移动来识别由所述移动装置捕获的增量地图点；
使用由所述移动装置捕获的所述增量地图点来生成所述环境的更新的同时定位与测绘；以及
将由所述移动装置捕获的所述增量地图点在更新的搜索查询中发送到所述服务器。
12.根据权利要求11所述的方法，其中所述环境的所述更新的同时定位与测绘包含比从所述移动装置的所观看到的所述环境的视场更大的所述环境的视图；且其中所述环境的所述原点在所述移动装置的所述视场之外。
13.一种移动装置，其包括：
控制单元，其包含处理逻辑，所述处理逻辑包括：
经配置以接收从所述移动装置所观看到的环境的一或多个图像的逻辑；
经配置以使用所述一或多个图像来生成所述环境的同时定位与测绘的逻辑，其中所述环境的所述同时定位与测绘包括表示在所述环境的三维坐标系统中的多个表面的多个地图点；
经配置以将一组所述多个地图点作为搜索查询而发送到服务器的逻辑；
经配置以从所述服务器接收查询响应的逻辑；以及
至少部分地基于所述查询响应来识别所述环境中的对象的逻辑。
14.根据权利要求13所述的移动装置，其中所述多个地图点包括：
由所述移动装置从不同角度捕获的所述多个表面的视图。
15.根据权利要求14所述的移动装置，其中在所述多个地图点中的每个地图点包括三维位置、所述三维位置的一或多个描述符，以及所述三维位置的对应表面法线。
16.根据权利要求14所述的移动装置，其中在所述多个地图点中的每个地图点包括来自与所述地图点的法线方向正交的方向的表示。
17.根据权利要求13所述的移动装置，其进一步包括：
经配置以在第一时间实例将所述一组所述多个地图点作为搜索查询而发送到所述服务器的逻辑；以及
经配置以在第二时间实例从所述服务器接收查询响应的逻辑；且其中所述移动装置在所述第一时间实例具有相对于所述对象的第一位姿，并且所述移动装置在所述第二时间实例具有相对于所述对象的第二位姿。
18.根据权利要求17所述的移动装置，其进一步包括：
经配置以至少部分地基于在所述第二时间实例接收的所述查询响应来确定所述移动装置相对于所述环境中的所述对象的所述第二位姿的逻辑。
19.根据权利要求18所述的移动装置，其中经配置以确定所述移动装置相对于在所述环境中的所述对象的所述第二位姿的逻辑包括：
经配置以从所述查询响应来获得所述对象相对于所述环境的原点的位姿的逻辑；
经配置以跟踪所述移动装置相对于所述环境的所述原点的位姿的逻辑；以及
经配置以使用所述对象相对于所述环境的所述原点的所述位姿和所述移动装置相对于所述环境的所述原点的所述位姿来确定所述移动装置相对于所述对象的所述第二位姿的逻辑。
20.根据权利要求18所述的移动装置，其进一步包括：
经配置以响应于所述移动装置相对于所述环境中的所述对象的所述第二位姿来致使呈现扩增的逻辑。
21.根据权利要求13所述的移动装置，其进一步包括：
经配置以跟踪所述移动装置相对于所述环境的原点的移动的逻辑；以及
经配置以确定所述移动装置已经相对于所述环境的所述原点移动的逻辑。
22.根据权利要求21所述的移动装置，其中经配置以确定所述移动装置已经移动的逻辑包括以下至少一者：
经配置以确定所述移动装置已经旋转超过预定角度的逻辑；以及
经配置以确定所述移动装置已经平移超过预定距离的逻辑。
23.根据权利要求21所述的移动装置，其进一步包括：
经配置以响应于所述移动装置的所述移动来识别由所述移动装置捕获的增量地图点的逻辑；
经配置以使用由所述移动装置捕获的所述增量地图点来生成所述环境的更新的同时定位与测绘的逻辑；以及
经配置以将由所述移动装置捕获的所述增量地图点在更新的搜索查询中发送到所述服务器的逻辑。
24.根据权利要求23所述的移动装置，其中所述环境的所述更新的同时定位与测绘包含比从所述移动装置的所观看的所述环境的视场更大的所述环境的视图；且其中所述环境的所述原点在所述移动装置的所述视场之外。
25.一种计算机程序产品，其包括存储用于由一或多个计算机系统执行的指令的非暂时性媒体，所述指令包括：
用于接收从移动装置所观看到的环境的一或多个图像的指令；
用于使用所述一或多个图像来生成所述环境的同时定位与测绘的指令，其中所述环境的所述同时定位与测绘包括表示在所述环境的三维坐标系统中的多个表面的多个地图点；
用于将一组所述多个地图点作为搜索查询而发送到服务器的指令；
用于从所述服务器接收查询响应的指令；以及
用于至少部分地基于所述查询响应来识别所述环境中的对象的指令。
26.根据权利要求25所述的计算机程序产品，其中所述多个地图点包括：
由所述移动装置从不同角度捕获的所述多个表面的视图。
27.根据权利要求26所述的计算机程序产品，其中在所述多个地图点中的每个地图点包括三维位置、所述三维位置的一或多个描述符，以及所述三维位置的对应表面法线。
28.根据权利要求26所述的计算机程序产品，其中在所述多个地图点中的每个地图点包括来自与所述地图点的法线方向正交的方向的表示。
29.根据权利要求25所述的计算机程序产品，其进一步包括：
用于在第一时间实例将所述一组所述多个地图点作为搜索查询而发送到所述服务器的指令；以及
用于在第二时间实例从所述服务器接收查询响应的指令；且其中所述移动装置在所述第一时间实例具有相对于所述对象的第一位姿，并且所述移动装置在所述第二时间实例具有相对于所述对象的第二位姿。
30.根据权利要求29所述的计算机程序产品，其进一步包括：
用于至少部分地基于在所述第二时间实例接收的所述查询响应来确定所述移动装置相对于在所述环境中的所述对象的所述第二位姿的指令。
31.根据权利要求30所述的计算机程序产品，其中用于确定所述移动装置相对于所述环境中的所述对象的所述第二位姿的指令包括：
用于从所述查询响应来获得所述对象相对于所述环境的原点的位姿的指令；
用于跟踪所述移动装置相对于所述环境的所述原点的位姿的指令；以及
用于使用所述对象相对于所述环境的所述原点的所述位姿和所述移动装置相对于所述环境的所述原点的所述位姿来确定所述移动装置相对于所述对象的所述第二位姿的指令。
32.根据权利要求30所述的计算机程序产品，其进一步包括：
用于响应于所述移动装置相对于所述环境中的所述对象的所述第二位姿来致使呈现扩增的指令。
33.根据权利要求25所述的计算机程序产品，其进一步包括：
用于跟踪所述移动装置相对于所述环境的原点的移动的指令；以及
用于确定所述移动装置已经相对于所述环境的所述原点移动的指令。
34.根据权利要求33所述的计算机程序产品，其中用于确定所述移动装置已经移动的指令包括以下至少一者：
用于确定所述移动装置已经旋转超过预定角度的指令；以及
用于确定所述移动装置已经平移超过预定距离的指令。
35.根据权利要求33所述的计算机程序产品，其进一步包括：
用于响应于所述移动装置的所述移动来识别由所述移动装置捕获的增量地图点的指令；
用于使用由所述移动装置捕获的所述增量地图点来生成所述环境的更新的同时定位与测绘的指令；以及
用于将在更新的搜索查询中由所述移动装置捕获的所述增量地图点发送到所述服务器的指令。
36.根据权利要求35所述的计算机程序产品，其中所述环境的所述更新的同时定位与测绘包含比从所述移动装置的所观看到的所述环境的视场更大的所述环境的视图；且其中所述环境的所述原点在所述移动装置的所述视场之外。
37.一种设备，其包括：
用于接收从移动装置所观看到的环境的一或多个图像的装置；
用于使用所述一或多个图像来生成所述环境的同时定位与测绘的装置，其中所述环境的所述同时定位与测绘包括表示在所述环境的三维坐标系统中的多个表面的多个地图点；
用于将一组所述多个地图点作为搜索查询而发送到服务器的装置；
用于从所述服务器接收查询响应的装置；以及
用于至少部分地基于所述查询响应来识别所述环境中的对象的装置。
CN201480012935.XA 2013-03-15 2014-02-13 基于客户端-服务器的动态搜索 Active CN105009120B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/843,607 US9495389B2 (en) 2013-03-15 2013-03-15 Client-server based dynamic search
US13/843,607 2013-03-15
PCT/US2014/016273 WO2014149262A1 (en) 2013-03-15 2014-02-13 Client-server based dynamic search

Publications (2)

Publication Number Publication Date
CN105009120A true CN105009120A (zh) 2015-10-28
CN105009120B CN105009120B (zh) 2018-09-21

Family

ID=50272695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480012935.XA Active CN105009120B (zh) 2013-03-15 2014-02-13 基于客户端-服务器的动态搜索

Country Status (5)

Country Link
US (1) US9495389B2 (zh)
EP (1) EP2973007A1 (zh)
JP (1) JP6215442B2 (zh)
CN (1) CN105009120B (zh)
WO (1) WO2014149262A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016120A (zh) * 2017-04-21 2017-08-04 北京视据科技有限公司 一种基于检索条件的电子地图生成方法及系统
CN107223244A (zh) * 2016-12-02 2017-09-29 深圳前海达闼云端智能科技有限公司 定位方法和装置
CN108508887A (zh) * 2017-02-27 2018-09-07 德国福维克控股公司 用于操作自行走机器人的方法
CN117745988A (zh) * 2023-12-20 2024-03-22 亮风台（上海）信息科技有限公司 一种用于呈现ar标签信息的方法与设备

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9965893B2 (en) * 2013-06-25 2018-05-08 Google Llc. Curvature-driven normal interpolation for shading applications
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US9478029B2 (en) * 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
US9613273B2 (en) * 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
CN108604237B (zh) * 2015-12-01 2022-10-14 英特吉姆公司股份有限公司 个性化交互式智能搜索方法和系统
US9964955B2 (en) * 2016-08-04 2018-05-08 Canvas Technology, Inc. System and methods of determining a geometric pose of a camera based on spatial and visual mapping
US10163227B1 (en) 2016-12-28 2018-12-25 Shutterstock, Inc. Image file compression using dummy data for non-salient portions of images
US20180181844A1 (en) * 2016-12-28 2018-06-28 Facebook, Inc. Systems and methods for presenting content based on unstructured visual data
US10298837B2 (en) 2016-12-28 2019-05-21 Facebook, Inc. Systems and methods for presenting content based on unstructured visual data
US20180190033A1 (en) * 2016-12-30 2018-07-05 Facebook, Inc. Systems and methods for providing augmented reality effects and three-dimensional mapping associated with interior spaces
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US11907423B2 (en) * 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
EP3853698A4 (en) 2018-09-20 2021-11-17 Facebook Technologies, LLC NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器系统的自动校准的方法和装置
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848201A (en) * 1993-06-30 1998-12-08 Sega Enterprises Image processing system and its method and electronic system having an image processing system
US20080086236A1 (en) * 2006-10-02 2008-04-10 Honda Motor Co., Ltd. Mobile robot and controller for same
US20090021351A1 (en) * 2007-07-17 2009-01-22 Hitachi, Ltd. Information Collection System and Information Collection Robot
US8396254B1 (en) * 2012-02-09 2013-03-12 Google Inc. Methods and systems for estimating a location of a robot

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801210B2 (en) * 2001-07-12 2004-10-05 Vimatix (Bvi) Ltd. Method and apparatus for image representation by geometric and brightness modeling
US8249302B2 (en) * 2009-06-30 2012-08-21 Mitsubishi Electric Research Laboratories, Inc. Method for determining a location from images acquired of an environment with an omni-directional camera
KR101619076B1 (ko) * 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
TWI391874B (zh) 2009-11-24 2013-04-01 Ind Tech Res Inst 地圖建置方法與裝置以及利用該地圖的定位方法
JP5471626B2 (ja) * 2010-03-09 2014-04-16 ソニー株式会社 情報処理装置、マップ更新方法、プログラム及び情報処理システム
US8971610B2 (en) * 2010-04-28 2015-03-03 Osaka Prefecture University Public Corporation Method and apparatus of compiling image database for three-dimensional object recognition
AU2011305154B2 (en) 2010-09-24 2015-02-05 Irobot Corporation Systems and methods for VSLAM optimization
IL208600A (en) 2010-10-10 2016-07-31 Rafael Advanced Defense Systems Ltd Real-time network-based laminated reality for mobile devices
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
EP3680863B1 (en) * 2011-08-24 2024-01-10 Sony Group Corporation Information processing device, information processing method, and program
US8830512B2 (en) * 2012-07-19 2014-09-09 Xerox Corporation Systems and methods for detecting a location of an image forming device using mobile device localization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848201A (en) * 1993-06-30 1998-12-08 Sega Enterprises Image processing system and its method and electronic system having an image processing system
US20080086236A1 (en) * 2006-10-02 2008-04-10 Honda Motor Co., Ltd. Mobile robot and controller for same
US20090021351A1 (en) * 2007-07-17 2009-01-22 Hitachi, Ltd. Information Collection System and Information Collection Robot
US8396254B1 (en) * 2012-02-09 2013-03-12 Google Inc. Methods and systems for estimating a location of a robot

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107223244A (zh) * 2016-12-02 2017-09-29 深圳前海达闼云端智能科技有限公司 定位方法和装置
CN108508887A (zh) * 2017-02-27 2018-09-07 德国福维克控股公司 用于操作自行走机器人的方法
CN108508887B (zh) * 2017-02-27 2022-12-20 德国福维克控股公司 用于操作自行走机器人的方法
CN107016120A (zh) * 2017-04-21 2017-08-04 北京视据科技有限公司 一种基于检索条件的电子地图生成方法及系统
CN117745988A (zh) * 2023-12-20 2024-03-22 亮风台（上海）信息科技有限公司 一种用于呈现ar标签信息的方法与设备

Also Published As

Publication number Publication date
EP2973007A1 (en) 2016-01-20
US20140279860A1 (en) 2014-09-18
WO2014149262A1 (en) 2014-09-25
JP2016515254A (ja) 2016-05-26
US9495389B2 (en) 2016-11-15
CN105009120B (zh) 2018-09-21
JP6215442B2 (ja) 2017-10-18

Similar Documents

Publication Publication Date Title
CN105009120A (zh) 基于客户端-服务器的动态搜索
Chen et al. Crowd map: Accurate reconstruction of indoor floor plans from crowdsourced sensor-rich videos
CA2982044C (en) Method and device for real-time mapping and localization
Chen et al. Rise of the indoor crowd: Reconstruction of building interior view via mobile crowdsourcing
Vo et al. A survey of fingerprint-based outdoor localization
EP2915138B1 (en) Systems and methods of merging multiple maps for computer vision based tracking
EP3134870B1 (en) Electronic device localization based on imagery
US9330471B2 (en) Camera aided motion direction and speed estimation
US20140323148A1 (en) Wide area localization from slam maps
US9646384B2 (en) 3D feature descriptors with camera pose information
JP5722502B2 (ja) モバイルデバイスのための平面マッピングおよびトラッキング
EP3053100B1 (en) Dynamic extension of map data for object detection and tracking
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
CN111046752B (zh) 一种室内定位方法、计算机设备和存储介质
KR20140121861A (ko) 반대쌍 카메라들을 이용하여 디바이스의 위치를 결정하는 시스템 및 방법
CN108700946A (zh) 用于并行测距和建图的故障检测和恢复的系统和方法
CN104428817A (zh) 移动装置上的传感器辅助广域定位
CN112750203A (zh) 模型重建方法、装置、设备及存储介质
CN114120301A (zh) 一种位姿确定方法、装置及设备
CN114185073A (zh) 一种位姿显示方法、装置及系统
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
Ren et al. The emergence of visual-based localization and navigation using smartphone sensing
Yang Indoor Positioning System for Smart Devices
Reinhardt et al. DETERMINATION OF DEVICE POSE USING TEXT MATCHING FROM CAPTURED IMAGES

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant