CN105637560B - 优化基于增强现实的定位系统的定位的方法 - Google Patents
优化基于增强现实的定位系统的定位的方法 Download PDFInfo
- Publication number
- CN105637560B CN105637560B CN201480055667.XA CN201480055667A CN105637560B CN 105637560 B CN105637560 B CN 105637560B CN 201480055667 A CN201480055667 A CN 201480055667A CN 105637560 B CN105637560 B CN 105637560B
- Authority
- CN
- China
- Prior art keywords
- frame
- pattern
- recording equipment
- positioning
- external
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 11
- 230000002708 enhancing effect Effects 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 8
- 230000007704 transition Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000004615 ingredient Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 235000011464 Pachycereus pringlei Nutrition 0.000 description 1
- 240000006939 Pachycereus weberi Species 0.000 description 1
- 235000011466 Pachycereus weberi Nutrition 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
公开了用于优化基于增强现实(AR)的定位系统的定位的方法，其中，该基于AR的定位系统包括记录设备和图案，其中图案具有多个框以及在框内部的至少一个图形。该方法包括：识别在记录设备的观察范围内出现的多个框中的每个；选择所识别的框中的任一个作为图案的外部框；确定所选择的外部框内部的框以及至少一个图形作为图案的完整内部图形；以及基于完整内部图形辨认图案从而扩大系统的定位范围。此外，公开了基于AR的定位系统。
Description
技术领域
本申请总体涉及增强现实(AR)领域，更具体地涉及用于优化基于AR的定位系统的定位的方法以及基于AR的定位系统。
背景技术
增强现实(AR)是涉及现实世界与虚拟世界混合的基于计算机的感知。AR是利用通过计算机系统提供的信息来提高对现实世界的用户感知的技术。目前，AR技术广泛用于诸如GPS的定位系统。通常，在传统的基于AR的定位系统中，根据AR定位系统设计的图案包括在平面上的外部框和内部图形。外部框用于计算图案相对于相机的位置和定向；内部图形用于辨认图案和定位整个记录设备。
现在基于AR的定位优化主要集中于通过信息共享来改善图像处理方法或使得系统更加实用。通过以上方法虽然可改善系统性能，但是定位范围仍然受限于图案的尺寸。明显地，由于在传统AR中使用仅具有一个框以及绘制在框内的一个图形的图案，定位范围将被限制在几米之内。当相机与图案之间的距离增加例如3米或4米时，仅大型图案将被应用；反之，当距离足够短时，例如0.5m乃至更近时，仅小型图案将被应用，这使得系统具有非期望的距离范围。
发明内容
本申请提出了扩大基于AR的定位系统的定位范围并且更精确地相对于记录设备定位图案的技术方案。
根据本申请的一方面，公开了一种基于增强现实(AR)的定位系统。该系统包括记录设备和图案，图案具有多个框以及在框内部的至少一个图形。记录设备包括处理器，该处理器配置为：识别在记录设备的观察范围内出现的多个框中的每个；选择所识别的框中的任一个作为图案的外部框；确定所选择的外部框内部的框以及至少一个图形作为图案的完整内部图形；以及基于完整内部图形辨认图案从而扩大系统的定位范围。
根据本申请的又一方面，公开了一种用于优化基于增强现实(AR)的定位系统的定位的方法，其中，基于AR的定位系统包括记录设备以及图案，图案具有多个框和在框内部的至少一个图形，以及该方法包括：识别在记录设备的观察范围内出现的多个框中的每个；选择所识别的框中的任一个作为图案的外部框；以及确定所选择的外部框内部的框以及至少一个图形作为图案的完整内部图形；以及基于完整内部图形辨认图案从而扩大系统的定位范围。
根据本申请的另一方面，公开了一种基于增强现实(AR)的定位系统。该系统包括记录设备和图案，图案具有多个框以及在框内部的至少一个图形。记录设备包括：识别模块，配置为识别在记录设备的观察范围内出现的多个框中的每个；选择模块，配置为选择所识别的框中的任一个作为图案的外部框；确定模块，配置为确定所选择的外部框内部的框以及至少一个图形作为图案的完整内部图形；以及辨认模块，配置为基于完整内部图形辨认图案从而扩大系统的定位范围。
根据本申请的方法可改善当记录设备(例如，相机)与图案之间的距离增加或减少太多时图案可能不被记录设备辨认的问题。因此，能够扩大距离范围并且能够采集更多的数据，这使得这种基于AR的定位系统被更广泛和实际地应用。
附图说明
以下参照附图描述了本发明的示例性非限制实施方式。附图是说明性的并且一般不按照精确的尺寸。
图1是示出了根据一些公开的实施方式的基于AR的定位系统的示意图。
图2是示出了根据一些公开的实施方式的用于优化基于AR的定位系统的定位的方法的流程图。
图3是示出了根据一些公开的实施方式的记录设备的示意图。
图4(a)至图4(e)是根据一些公开的实施方式的基于AR的定位系统的图案的示意性示例。
具体实施方式
现在将具体参照示例性实施方式，其中，在附图中示出了示例性实施方式的示例。适当时，在全部附图中，相同的附图标记用于指代相同或相似的部件。
图1是示出了根据一些公开的实施方式的基于AR的定位系统1000的示意图。如图1中所示，系统1000可包括图案100和记录设备200。
如图1中所示，图案100可具有多个框101以及在框内部的至少一个图形102。框101用于计算图案相对于相机的位置和定向，而图形用于辨认图案和定位整个记录设备。这种图案也可用于缩放视觉系统，这将改善系统性能。图案100可预存在记录设备200中或预存在设备200外部的系统数据库中。根据本申请的实施方式，框101可具有相同或不同的宽度并且在多个框101中的每两个之间应具有一定的空间。根据本申请的另一个示出的示例，如图4(b)中所示，图案可配置为非对称图案。在实施方式中，如图4(c)中所示，图案的框配置为相对于彼此转动一定角度。根据本申请的另一个示例，如图4(d)中所示，图案的多个框配置为具有重叠的角107。
记录设备200是记录图像的设备，其中，图像可被直接储存、可被传输到另一位置，或者两者皆可。这些图像可以是静止的照片或诸如视频或电影的动图。在本申请的实施方式中，记录设备200可以是相机或具有相机的移动设备(例如智能电话)或者具有相机的通用计算机、计算机群、主流计算机、计算设备。记录设备200的固有参数是预定的。
在本申请的一个实施方式中，设备200可至少包括处理器(未示出)，其中，处理器配置为执行储存在存储器中的计算机程序指令从而实施如图2中所示的过程2000。
在步骤S201，处理器可识别在记录设备200的观察范围(例如，被围在虚线框104中的范围)中出现的多个框中的每个。在实施方式中，如图4(a)中所示，当使用具有两个框的图案时，两个框101a和101b都可用于计算图案相对于记录设备的定向和位置。例如，在记录设备与图案之间的距离很大的情况下，具有两个框的完整图案可完整地出现在记录设备的观察范围中，框101a和框101b都可被识别以将图案100相对于记录设备200定位。然而，在记录设备200与图案100之间的距离很短的情况下，最外侧框101b无法显示在记录设备的观察范围中，并且仅内部框101a将被识别为参照物以计算图案相对于记录设备的定向和位置。
根据本申请的另一实施方式，如图4(e)中所示，可在最外侧框中添加不嵌套的更多一些的框。在这种情况下，当记录设备与图案之间的距离变得足够大以使得多个框出现在观察范围中时，则具有多个框的完整图案可完整地出现在记录设备的观察范围中，所有的框均可被识别。然而，在本实施方式中，当记录设备与图案之间的距离很短时，最外侧框无法显示在记录设备的观察范围中，然后仅各个内部框将被识别为参照物以计算图案相对于记录设备的定向和位置。
在步骤S202，处理器可选择识别的框101中的任一个作为图案100的外部框。例如，在图4(a)中示出的实施方式中，在记录设备与图案之间的距离很大的情况下，可选择识别的框101a和101b中的任一个作为图案100的外部框。但是在记录设备与图案之间的距离很短的情况下，可仅选择识别的框101b作为图案100的外部框。
然后，在步骤S203，处理器可确定选择的外部框内部的框以及至少一个图形作为图案100的完整内部图形。如图4(a)中所示，在记录设备与图案之间的距离很大的情况下，可将被围在虚线框103中的成分作为整体确定为完整内部图形。但是在记录设备与图案之间的距离很短的情况下，可将被围在虚线框105中的成分作为整体确定为完整内部图形；即，可仅通过内部图形102来辨认图案100。在一个实施方式中，处理器可对识别的框中的每个框101重复进行选择(步骤S202)的过程和确定(步骤S203)的过程，直到全部识别的框均已有一次被选作外部框。
在步骤S204，处理器可基于完整内部图形辨认图案从而扩大系统的定位范围。
此外，处理器可基于选择的外部框确定图案100相对于记录设备200的位置和定向。例如，可使用本领域中所公知的图像处理技术来提取选择的外部框的角的参数。提取的角所约束的区域被归一化并与预存图案作比较从而定位与辨认的图案对应的图案。然后，基于由提取的角约束的区域估算在记录设备200的坐标系与定位的图案之间的转换矩阵。
例如，识别的图案与预存图案可被看作空间中相同平坦表面的两个不同的图像。实际上，这两个图像通过转换矩阵关联。在此，转换矩阵可以是单应性矩阵，该单应性矩阵代表记录设备的运动(相对于这两个图像的转动和平移)。通过使用这种概念，记录设备200外部参数的计算变为求解具有8个独立变量的单应性矩阵，例如3×3矩阵。由于从识别的图案可识别四个角并且每个角可贡献两个独立的方程，所以可利用四个角来求解单应性矩阵。实际上，估算的转换矩阵代表记录设备相对于图案的外部参数，因此估算的转换矩阵可用于定位。
在上文中，过程2000由运行计算机程序指令的处理器执行。可替代地，过程2000可由具有电路的硬件执行或者由与软件结合的硬件执行。如图3中所示，记录设备200可包括识别模块301、选择模块302、确定模块303和辨认模块304。
根据本申请的实施方式，识别模块301可配置为识别在记录设备200的观察范围中出现的多个框101中的每个。选择模块302可配置为选择识别的框101中的任一个作为图案100的外部框。确定模块303可配置为确定外部框内部的框以及至少一个图形102作为图案100的完整内部图形。辨认模块304可配置为基于完整内部图形辨认图案100从而将图案100相对于记录设备200定位。
在本申请的实施方式中，确定模块303还可配置为基于选择的外部框确定图案100相对于记录设备200的位置和定向。
在本申请的实施方式中，选择模块302和确定模块303可对识别的框中的每个框101重复进行选择的过程和确定的过程，直到全部识别的框均已有一次被选作外部框。
可使用一定的硬件、软件或硬件与软件的组合来实施本发明的实施方式。此外，本发明的实施方式可适于实现在包含计算机程序代码的一个或多个计算机可读储存介质(包括但不限于磁盘储存器、CD-ROM、光存储器等)上的计算机程序产品。
在以上描述中，为了说明的目的，在单个实施方式中结合了多个方面、步骤或部件。本公开不被解释为需要对所要求保护的主题所公开的所有变型。所附权利要求并入到该示例性实施方式的描述中，其中，每个权利要求单独作为本公开的独立的实施方式。
此外，通过考虑本说明书以及通过对本公开的实践而对本领域技术人员显而易见的是，在不背离如所声明的本公开的范围的情况下，可对公开的系统和方法作出各种修改和变型。因此，旨在仅将本说明书和示例考虑为示例性的，而本公开的实际范围由以下权利要求及其等同指出。
Claims (19)
1.基于增强现实的定位系统，包括：
图案，具有多个框以及位于所述多个框内部的至少一个图形；以及
记录设备，包括处理器，所述处理器配置为：
识别所述多个框中的、在所述记录设备的观察范围内出现的每个框；
选择识别出的框中的任一个作为所述图案的外部框；
确定选择出的外部框内部的框以及所述至少一个图形作为所述图案的完整内部图形；以及
基于所述完整内部图形辨认所述图案从而扩大所述系统的定位范围。
2.根据权利要求1所述的系统，其中，所述处理器还配置为基于所述选择出的外部框确定所述图案相对于所述记录设备的位置和定向。
3.根据权利要求1所述的系统，其中，所述处理器还配置为对所述识别出的框中的每个框重复所述选择的过程和所述确定的过程，直到全部所述识别出的框均已有一次被选作所述外部框。
4.根据权利要求2所述的系统，其中，所述框中的每个具有相同的宽度。
5.根据权利要求2所述的系统，其中，所述框中的每个具有彼此不同的宽度。
6.根据权利要求1所述的系统，其中，所述多个框配置为相对于彼此转动预定角度。
7.根据权利要求1所述的系统，其中，所述多个框配置为具有重叠的角。
8.根据权利要求1所述的系统，其中，所述图案配置为非对称图案。
9.用于优化基于增强现实的定位系统的定位的计算机实施方法，其中，所述基于增强现实的定位系统包括记录设备以及图案，所述图案具有多个框和在所述框内部的至少一个图形，所述方法包括：
识别所述多个框中的、在所述记录设备的观察范围内出现的每个框；
选择识别出的框中的任一个作为所述图案的外部框；以及
确定选择出的外部框内部的框以及所述至少一个图形作为所述图案的完整内部图形；以及
基于所述完整内部图形辨认所述图案从而扩大所述系统的定位范围。
10.根据权利要求9所述的方法，还包括：
基于所述选择出的外部框确定所述图案相对于所述记录设备的位置和定向。
11.根据权利要求10所述的方法，其中，对于所述识别出的框中的每个框重复进行所述选择的步骤和所述确定的步骤，直到全部所述识别出的框均已有一次被选作所述外部框。
12.根据权利要求10所述的方法，其中，所述框中的每个具有相同的宽度。
13.根据权利要求10所述的方法，其中，所述框中的每个具有彼此不同的宽度。
14.根据权利要求10所述的方法，其中，所述多个框配置为相对于彼此转动预定角度。
15.根据权利要求10所述的方法，其中，所述多个框配置为具有重叠的角。
16.根据权利要求10所述的方法，其中，所述图案配置为非对称图案。
17.基于增强现实的定位系统，包括：
图案，具有多个框以及在所述框内部的至少一个图形；以及
记录设备，包括：
识别模块，配置为识别所述多个框中的、在所述记录设备的观察范围内出现的每个框；
选择模块，配置为选择识别出的框中的任一个作为所述图案的外部框；
确定模块，配置为确定选择出的外部框内部的框以及所述至少一个图形作为所述图案的完整内部图形；以及
辨认模块，配置为基于所述完整内部图形辨认所述图案从而扩大所述系统的定位范围。
18.根据权利要求17所述的系统，其中，所述确定模块还配置为基于所述选择出的外部框确定所述图案相对于所述记录设备的位置和定向。
19.根据权利要求18所述的系统，其中，所述选择模块和所述确定模块配置为对所述识别出的框中的每个框重复进行所述选择的过程和所述确定的过程，直到全部所识别的框均已有一次被选作所述外部框。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361898032P | 2013-10-31 | 2013-10-31 | |
| US61/898,032 | 2013-10-31 | ||
| PCT/CN2014/000788 WO2015062164A1 (en) | 2013-10-31 | 2014-08-22 | Method for optimizing localization of augmented reality-based location system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105637560A CN105637560A (zh) | 2016-06-01 |
| CN105637560B true CN105637560B (zh) | 2019-02-15 |
Family
ID=53003219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480055667.XA Active CN105637560B (zh) | 2013-10-31 | 2014-08-22 | 优化基于增强现实的定位系统的定位的方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105637560B (zh) |
| WO (1) | WO2015062164A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11133993B2 (en) | 2019-02-28 | 2021-09-28 | At&T Intellectual Property I, L.P. | Augmented/mixed reality virtual venue pipeline optimization |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101101505A (zh) * | 2006-07-07 | 2008-01-09 | 华为技术有限公司 | 一种实现三维增强现实的方法及系统 |
| CN103003843A (zh) * | 2010-05-28 | 2013-03-27 | 高通股份有限公司 | 用于跟踪具有动态变化部分的目标的数据集创建 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011048497A2 (en) * | 2009-10-19 | 2011-04-28 | National University Of Singapore | Computer vision based hybrid tracking for augmented reality in outdoor urban environments |
| WO2012071466A2 (en) * | 2010-11-24 | 2012-05-31 | Aria Glassworks, Inc. | System and method for acquiring virtual and augmented reality scenes by a user |
| US9721387B2 (en) * | 2010-12-21 | 2017-08-01 | Cyberlink Corp. | Systems and methods for implementing augmented reality |
| US9245307B2 (en) * | 2011-06-01 | 2016-01-26 | Empire Technology Development Llc | Structured light projection for motion detection in augmented reality |
| CN102509104B (zh) * | 2011-09-30 | 2013-03-20 | 北京航空航天大学 | 基于置信度图的增强现实场景虚拟对象判别和检测方法 |
-
2014
- 2014-08-22 WO PCT/CN2014/000788 patent/WO2015062164A1/en active Application Filing
- 2014-08-22 CN CN201480055667.XA patent/CN105637560B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101101505A (zh) * | 2006-07-07 | 2008-01-09 | 华为技术有限公司 | 一种实现三维增强现实的方法及系统 |
| CN103003843A (zh) * | 2010-05-28 | 2013-03-27 | 高通股份有限公司 | 用于跟踪具有动态变化部分的目标的数据集创建 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015062164A1 (en) | 2015-05-07 |
| CN105637560A (zh) | 2016-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11051000B2 (en) | Method for calibrating cameras with non-overlapping views | |
| US8942418B2 (en) | Method of providing a descriptor for at least one feature of an image and method of matching features | |
| US10284875B2 (en) | Systems and methods for determining feature point motion | |
| JP6609640B2 (ja) | 電子デバイス上における環境マッピング用のフィーチャ・データの管理 | |
| EP3566172A1 (en) | Systems and methods for lane-marker detection | |
| JP2018507476A (ja) | コンピュータビジョンに関する遮蔽処理 | |
| US8369578B2 (en) | Method and system for position determination using image deformation | |
| CN104519239A (zh) | 用于视频防抖的方法和装置 | |
| US20150262343A1 (en) | Image processing device and image processing method | |
| US20120033873A1 (en) | Method and device for determining a shape match in three dimensions | |
| EP3039647A1 (en) | Expanding a digital representation of a physical plane | |
| WO2017014933A1 (en) | Systems and methods for selecting an image transform | |
| JP6017343B2 (ja) | データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム | |
| US20150104105A1 (en) | Computing device and method for jointing point clouds | |
| US8917289B2 (en) | Methods and arrangements for augmented reality | |
| CN111179347B (zh) | 基于区域性特征的定位方法、定位设备及存储介质 | |
| EP2458558B1 (en) | Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method, and program therefor | |
| CN110673607A (zh) | 动态场景下的特征点提取方法、装置、及终端设备 | |
| CN105637560B (zh) | 优化基于增强现实的定位系统的定位的方法 | |
| JP2015045919A (ja) | 画像認識方法及びロボット | |
| CN113192123B (zh) | 一种图像处理方法、装置及设备 | |
| JP6278757B2 (ja) | 特徴量生成装置、特徴量生成方法、およびプログラム | |
| JP2013238987A (ja) | 情報表示装置、情報入力装置、情報表示プログラム及び情報入力プログラム | |
| US20200058135A1 (en) | System and method of object positioning in space for virtual reality | |
| AU2016273872A1 (en) | Method, system and apparatus for determining a pose of an object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |