CN106355647A - 增强现实系统和方法 - Google Patents

增强现实系统和方法 Download PDF

Info

Publication number
CN106355647A
CN106355647A CN201610729016.5A CN201610729016A CN106355647A CN 106355647 A CN106355647 A CN 106355647A CN 201610729016 A CN201610729016 A CN 201610729016A CN 106355647 A CN106355647 A CN 106355647A
Authority
CN
China
Prior art keywords
depth
dimensional
augmented reality
dimensional map
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610729016.5A
Other languages
English (en)
Inventor
乔羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Storm Mirror Technology Co Ltd
Original Assignee
Beijing Storm Mirror Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Storm Mirror Technology Co Ltd filed Critical Beijing Storm Mirror Technology Co Ltd
Priority to CN201610729016.5A priority Critical patent/CN106355647A/zh
Publication of CN106355647A publication Critical patent/CN106355647A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Abstract

本发明提供一种增强现实系统和方法，所述系统包括：彩色深度图像采集单元，用于采集当前场景的深度点云数据和对应的二维彩色图像；重力传感单元，用于采集重力传感数据；处理单元，用于根据第一深度点云数据生成当前场景的初始的三维地图，根据所述重力传感数据校准所述三维地图的重力方向，对扫描当前场景所采集的第二深度点云数据和对应的二维彩色图像进行点云配准以完善所述三维地图，对实时采集的二维彩色图像和所述三维地图进行特征匹配以获得实时姿态信息，根据所述实时姿态信息进行增强现实显示。本发明实现了适用于小型智能移动设备且无需采用标记对象或在使用场景中额外设置定位装置的增强现实显示，具有适用范围广的优点。

Description

增强现实系统和方法
技术领域
本申请涉及增强现实技术领域，具体涉及一种增强现实系统和方法。
背景技术
定位与跟踪是增强现实应用领域中最为关键的技术，是实现更好的交互体验或更为复杂功能的基础，同时也是制约目前发展的瓶颈。准确、高效，低体积，低功耗成本要求的定位和跟踪技术是当前该领域研究发展的重点方向。
一般大型设备方案中的定位方法比较复杂，需要用到多种传感器，如惯性测量单元(IMU)、激光雷达、超声波雷达、立体摄像头、红外光摄像头、GPS等，并且需要性能强大的数据处理单元进行数据融合处理，以实现精确的定位，成本通常非常昂贵，同时设备的体积较大，便携性较差。
而针对小型智能移动设备的定位方法一般功能较弱，并具有较大的局限性。常见的智能移动设备实时定位方案有以下几种：
预设标记对象(marker)的图像，通过识别marker在图像中的位置反向恢复出相机三维位置姿态。该方案的缺陷在于，需要画面中始终存在marker才能进行定位，较丰富的场景需要事先布置多张marker。
使用外置的追踪设备，事先在场景中进行布置，例如在场景各处布置定位信号发射源，智能移动设备通过接收特定的定位信号判断自身位置和姿态；或，在智能移动设备上安装信号(如红外光)发射装置，在场景内布置信号接收器来定位设备位置。这类方案的缺陷在于需要在场景中设置额外的计算处理单元和外部传感器，并且只能在一定的距离范围内工作。
GPS结合IMU进行定位，只适用于室外大场景中的定位，且通常局部定位精度较低，若在增强现实(AR)或虚拟现实(VR)中使用，会频繁出现虚拟物体跳跃和漂移的现象；而高精度的GPS和IMU设备目前的价格非常昂贵，成本在数十万人民币的量级，并且体积较大，无法集成在注重便携性的智能移动设备上。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种适用于小型智能移动设备且无需采用标记对象或在场景中额外设置装置的增强现实系统和方法。
第一方面，本发明提供一种增强现实系统，所述系统包括：
彩色深度图像采集单元，用于采集当前场景的深度点云数据和对应的二维彩色图像；
重力传感单元，用于采集重力传感数据；
处理单元，用于根据第一深度点云数据生成当前场景的初始的三维地图，根据所述重力传感数据校准所述三维地图的重力方向，对扫描当前场景所采集的第二深度点云数据和对应的二维彩色图像进行点云配准以完善所述三维地图，对实时采集的二维彩色图像和所述三维地图进行特征匹配以获得实时姿态信息，根据所述实时姿态信息进行增强现实显示。
第二方面，本发明提供一种增强现实方法，所述方法包括：
采集当前场景的第一深度点云数据，根据所述第一深度点云数据生成当前场景的初始的三维地图；
采集重力传感数据，根据所述重力传感数据校准所述三维地图的重力方向；
扫描当前场景以采集第二深度点云数据和对应的二维彩色图像，对所述第二深度点云数据和对应的二维彩色图像进行点云配准以完善所述三维地图；
对实时采集的二维彩色图像和所述三维地图进行特征匹配以获得实时姿态信息；
根据所述实时姿态信息进行增强现实显示。
本发明诸多实施例提供的增强现实系统和方法根据当前场景的深度点云数据生成三维地图，根据重力传感数据校准所述三维地图的重力方向，通过扫描当前场景所采集的深度点云数据和对应的二维彩色图像进行点云配准以完善所述三维地图，实现了当前场景的三维地图构建和优化；再通过对实时采集的二维彩色图像和所述三维地图进行特征匹配以获得实时姿态信息，并根据所述实时姿态信息进行增强现实显示，最终实现了适用于小型智能移动设备且无需采用标记对象或在使用场景中额外设置定位装置的增强现实显示；
本发明一些实施例提供的增强现实系统和方法进一步通过为现有的配置有重力传感器的智能移动设备(例如手机等)配置一固定连接的RGBD深度摄像头，同时在智能移动设备中安装对应的应用程序，即可配置实现本发明提供的增强现实系统和方法，具有适用范围广的优点。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中增强现实系统的结构示意图。
图2为本发明一实施例中增强现实方法的流程图。
图3为图2所示方法的一种优选实施方式中步骤S50的流程图。
图4为图3所示步骤S50的一种优选实施方式的流程图。
图5为图2所示方法的一种优选实施方式中步骤S70的流程图。
图6为图1所示系统的一种优选实施方式的应用场景示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为本发明一实施例中增强现实系统的结构示意图。
如图1所示，在本实施例中，本发明提供的增强现实系统包括彩色深度图像采集单元10、重力传感单元30和处理单元50。
其中，彩色深度图像采集单元10用于采集当前场景的深度点云数据和对应的二维彩色图像。
重力传感单元30用于采集重力传感数据。
处理单元50用于根据第一深度点云数据生成当前场景的初始的三维地图，根据所述重力传感数据校准所述三维地图的重力方向，对扫描当前场景所采集的第二深度点云数据和对应的二维彩色图像进行点云配准以完善所述三维地图，对实时采集的二维彩色图像和所述三维地图进行特征匹配以获得实时姿态信息，根据所述实时姿态信息进行增强现实显示。
图2为本发明一实施例中增强现实方法的流程图。图2所示方法可对应应用于图1所示的系统中。
如图2所示，在本实施例中，本发明提供的增强现实方法包括：
S10：采集当前场景的第一深度点云数据，根据所述第一深度点云数据生成当前场景的初始的三维地图；
S30：采集重力传感数据，根据所述重力传感数据校准所述三维地图的重力方向；
S50：扫描当前场景以采集第二深度点云数据和对应的二维彩色图像，对所述第二深度点云数据和对应的二维彩色图像进行点云配准以完善所述三维地图；
S70：对实时采集的二维彩色图像和所述三维地图进行特征匹配以获得实时姿态信息；
S90：根据所述实时姿态信息进行增强现实显示。
在本实施例中，彩色深度图像采集单元10为RGBD深度传感器和对应的摄像头，重力传感单元30为重力传感器，处理单元50为安装在智能移动设备中的应用程序。在更多实施例中，彩色深度图像采集单元10和重力传感单元30可根据实际需求设置为不同的采集装置，只要能分别采集当前场景的深度点云数据和对应的二维彩色图像，以及重力传感数据，即可实现相同的技术效果；处理单元50可根据实际需求设置为实现本发明提供的增强现实方法的硬件芯片装置，亦可实现相同的技术效果。
具体地，在步骤S10中，彩色深度图像采集单元10采集当前场景的第一深度点云数据，处理单元50接收所述第一深度点云数据之后进行滤波处理，并生成当前场景的高精度的、第一视角的、初始的三维地图。
在步骤S30中，重力传感单元30采集所述系统实时的重力传感数据，处理单元50接收所述重力传感数据之后，计算彩色深度图像采集单元10的采集视点和重力方向的夹角，将所述三维地图的高度坐标轴z轴方向同重力方向保持一致，从而实现校准所述三维地图的重力方向。
在步骤S50中，所述系统对当前场景进行扫描以完善优化所述三维地图。具体地，彩色深度图像采集单元10扫描当前场景以采集第二深度点云数据和对应的二维彩色图像(在本实施例中为RGB图像)，处理单元50对所述第二深度点云数据和对应的RGB图像进行点云配准，根据点云配准的结果添加新的地图点至所述三维地图中，从而完善所述三维地图。
在步骤S70中，彩色深度图像采集单元10采集实时的RGB图像，处理单元50对实时采集的RGB图像和所述三维地图进行特征匹配以建立二维彩色图像中特征点与三维地图中特征点的对应关系，最终获得实时姿态信息。
在步骤S90中，处理单元50根据所述实时姿态信息运算增强现实算法，最终通过智能移动设备的屏幕进行增强现实显示。
上述实施例根据当前场景的深度点云数据生成初始的三维地图，根据重力传感数据校准所述三维地图的重力方向，通过扫描当前场景所采集的深度点云数据和对应的二维彩色图像进行点云配准以完善所述三维地图，实现了当前场景的三维地图构建和优化；再通过对实时采集的二维彩色图像和所述三维地图进行特征匹配以获得实时姿态信息，并根据所述实时姿态信息进行增强现实显示，最终实现了适用于小型智能移动设备且无需采用标记对象或在场景中额外设置装置的增强现实显示。
在一优选实施例中，对于处理单元50，所述对扫描当前场景所采集的第二深度点云数据和对应的二维彩色图像进行点云配准以完善所述三维地图包括：
通过三维特征初匹配和迭代最近点(Iterative Closest Point，简称ICP)算法对扫描当前场景所采集的第二深度点云数据和对应的二维彩色图像进行相邻帧之间的姿态求解和点云配准；
选取所述第二深度点云数据的关键帧，并在所述三维地图中添加新的地图点；
判断是否完成场景扫描，若未完成则控制彩色深度图像采集单元10继续扫描当前场景并循环上述各步骤。
图3为图2所示方法的一种优选实施方式中步骤S50的流程图。图3所示方法可对应应用于上述优选实施例提供的系统。
如图3所示，在一优选实施例中，步骤S50包括：
S51：扫描当前场景以采集第二深度点云数据和对应的二维彩色图像；
S53：通过三维特征初匹配和迭代最近点(Iterative Closest Point，简称ICP)算法对所述第二深度点云数据和对应的二维彩色图像进行相邻帧之间的姿态求解和点云配准；
S55：选取所述第二深度点云数据的关键帧，并在所述三维地图中添加新的地图点；
S57：判断是否完成场景扫描，若未完成则返回步骤S51进行循环。
在一优选实施例中，处理单元50还用于通过光束平差法(Bundle Adjustment)对所述三维地图进行全局地图精度优化。
图4为图3所示步骤S50的一种优选实施方式的流程图。图4所示方法可对应应用于上述优选实施例提供的系统。
如图4所示，在一优选实施例中，步骤S55之后还包括：
S56：通过光束平差法(Bundle Adjustment)对所述三维地图进行全局地图精度优化。
在一优选实施例中，对于处理单元50，所述对实时采集的二维彩色图像和所述三维地图进行特征匹配以获得实时姿态信息包括：
提取实时采集的二维彩色图像中的特征点，与所述三维地图中的关键帧进行匹配和跟踪，建立二维彩色图像特征点与三维地图特征点之间的对应关系；
利用透视n点(Perspective n Points，简称PnP)算法对所述对应关系求解，获得实时姿态信息。
图5为图2所示方法的一种优选实施方式中步骤S70的流程图。图5所示的方法可对应应用于上述优选实施例提供的系统。
如图5所示，在一优选实施例中，步骤S70包括：
S71：提取实时采集的二维彩色图像中的特征点，与所述三维地图中的关键帧进行匹配和跟踪，建立二维彩色图像特征点与三维地图特征点之间的对应关系；
S73：利用透视n点(Perspective n Points，简称PnP)算法对所述对应关系求解，获得实时姿态信息。
在一优选实施例中，所述实时姿态信息[R,T]包括所述系统的坐标系相对于所述三维地图的坐标系的旋转关系R和平移关系T。
图6为图1所示系统的一种优选实施方式的应用场景示意图。
如图6所示，在一优选实施例中，所述系统包括集成重力传感单元30和处理单元50的智能移动设备70。
彩色深度图像采集单元10包括与智能移动设备70固定连接的RGBD深度摄像头。
如图6所示，在本实施例中，智能移动设备70为手机，在更多实施例中，所述智能移动设备还可根据实际需求设置为集成了重力传感单元30和处理单元50的平板等不同智能移动设备，具有相同的技术效果。
上述实施例进一步通过为现有的配置有重力传感器的智能移动设备(例如手机等)配置一固定连接的RGBD深度摄像头，同时在智能移动设备中安装对应的应用程序，即可配置实现本发明提供的增强现实系统和方法，具有适用范围广的优点。
在另一优选实施例中，所述系统包括集成重力传感单元30、处理单元50以及彩色深度图像采集单元10的智能移动设备。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，处理单元50可以是设置在智能移动设备中的软件程序，也可以是单独进行增强现实数据处理的硬件芯片。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，处理单元50还可以被描述为“用于运行增强现实相关算法的AR单元”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种增强现实系统，其特征在于，所述系统包括：
彩色深度图像采集单元，用于采集当前场景的深度点云数据和对应的二维彩色图像；
重力传感单元，用于采集重力传感数据；
处理单元，用于根据第一深度点云数据生成当前场景的初始的三维地图，根据所述重力传感数据校准所述三维地图的重力方向，对扫描当前场景所采集的第二深度点云数据和对应的二维彩色图像进行点云配准以完善所述三维地图，对实时采集的二维彩色图像和所述三维地图进行特征匹配以获得实时姿态信息，根据所述实时姿态信息进行增强现实显示。
2.根据权利要求1所述的增强现实系统，其特征在于，所述对扫描当前场景所采集的第二深度点云数据和对应的二维彩色图像进行点云配准以完善所述三维地图包括：
通过三维特征初匹配和迭代最近点(Iterative Closest Point，简称ICP)算法对扫描当前场景所采集的第二深度点云数据和对应的二维彩色图像进行相邻帧之间的姿态求解和点云配准；
选取所述第二深度点云数据的关键帧，并在所述三维地图中添加新的地图点；
判断是否完成场景扫描，若未完成则控制所述彩色深度图像采集单元继续扫描当前场景并循环上述各步骤。
3.根据权利要求2所述的增强现实系统，其特征在于，所述处理单元还用于通过光束平差法(Bundle Adjustment)对所述三维地图进行全局地图精度优化。
4.根据权利要求1所述的增强现实系统，其特征在于，所述对实时采集的二维彩色图像和所述三维地图进行特征匹配以获得实时姿态信息包括：
提取实时采集的二维彩色图像中的特征点，与所述三维地图中的关键帧进行匹配和跟踪，建立二维彩色图像特征点与三维地图特征点之间的对应关系；
利用透视n点(Perspective n Points，简称PnP)算法对所述对应关系求解，获得实时姿态信息。
5.根据权利要求4所述的增强现实系统，其特征在于，所述实时姿态信息包括所述系统的坐标系相对于所述三维地图的坐标系的旋转关系和平移关系。
6.根据权利要求1-5任一项所述的增强现实系统，其特征在于，所述系统包括集成所述重力传感单元和所述处理单元的智能移动设备；
所述彩色深度图像采集单元包括与所述智能移动设备固定连接的RGBD深度摄像头。
7.根据权利要求1-5任一项所述的增强现实系统，其特征在于，所述系统包括集成所述重力传感单元、所述处理单元以及所述彩色深度图像采集单元的智能移动设备；
其中，所述彩色深度图像采集单元包括RGBD深度摄像头。
8.一种增强现实方法，其特征在于，所述方法包括：
采集当前场景的第一深度点云数据，根据所述第一深度点云数据生成当前场景的初始的三维地图；
采集重力传感数据，根据所述重力传感数据校准所述三维地图的重力方向；
扫描当前场景以采集第二深度点云数据和对应的二维彩色图像，对所述第二深度点云数据和对应的二维彩色图像进行点云配准以完善所述三维地图；
对实时采集的二维彩色图像和所述三维地图进行特征匹配以获得实时姿态信息；
根据所述实时姿态信息进行增强现实显示。
9.根据权利要求8所述的增强现实方法，其特征在于，所述扫描当前场景以采集第二深度点云数据和对应的二维彩色图像，对所述第二深度点云数据和对应的二维彩色图像进行点云配准以完善所述三维地图包括：
扫描当前场景以采集第二深度点云数据和对应的二维彩色图像；
通过三维特征初匹配和迭代最近点(Iterative Closest Point，简称ICP)算法对所述第二深度点云数据和对应的二维彩色图像进行相邻帧之间的姿态求解和点云配准；
选取所述第二深度点云数据的关键帧，并在所述三维地图中添加新的地图点；
判断是否完成场景扫描，若未完成则循环上述各步骤。
10.根据权利要求9所述的增强现实方法，其特征在于，所述选取所述第二深度点云数据的关键帧，并在所述三维地图中添加新的地图点之后还包括：
通过光束平差法(Bundle Adjustment)对所述三维地图进行全局地图精度优化。
11.根据权利要求8所述的增强现实方法，其特征在于，所述对实时采集的二维彩色图像和所述三维地图进行特征匹配以获得实时姿态信息包括：
提取实时采集的二维彩色图像中的特征点，与所述三维地图中的关键帧进行匹配和跟踪，建立二维彩色图像特征点与三维地图特征点之间的对应关系；
利用透视n点(Perspective n Points，简称PnP)算法对所述对应关系求解，获得实时姿态信息。
12.根据权利要求11所述的增强现实方法，其特征在于，所述实时姿态信息包括所述系统的坐标系相对于所述三维地图的坐标系的旋转关系和平移关系。
CN201610729016.5A 2016-08-25 2016-08-25 增强现实系统和方法 Pending CN106355647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610729016.5A CN106355647A (zh) 2016-08-25 2016-08-25 增强现实系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610729016.5A CN106355647A (zh) 2016-08-25 2016-08-25 增强现实系统和方法

Publications (1)

Publication Number Publication Date
CN106355647A true CN106355647A (zh) 2017-01-25

Family

ID=57854287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610729016.5A Pending CN106355647A (zh) 2016-08-25 2016-08-25 增强现实系统和方法

Country Status (1)

Country Link
CN (1) CN106355647A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292965A (zh) * 2017-08-03 2017-10-24 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法
CN108053491A (zh) * 2017-12-12 2018-05-18 重庆邮电大学 动态视角条件下实现平面目标三维跟踪和增强现实的方法
CN109683699A (zh) * 2019-01-07 2019-04-26 深圳增强现实技术有限公司 基于深度学习实现增强现实的方法、装置及移动终端
WO2019114653A1 (zh) * 2017-12-15 2019-06-20 阿里巴巴集团控股有限公司 一种导航引导图的生成方法和装置
CN109949422A (zh) * 2018-10-15 2019-06-28 华为技术有限公司 用于虚拟场景的数据处理方法以及设备
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN111148967A (zh) * 2017-09-29 2020-05-12 松下电器（美国）知识产权公司 三维数据制作方法、客户端装置以及服务器
CN111179341A (zh) * 2019-12-09 2020-05-19 西安交通大学 一种增强现实设备与移动机器人的配准方法
CN112154486A (zh) * 2018-06-27 2020-12-29 北京京东尚科信息技术有限公司 用于多用户增强现实购物的系统和方法
CN112601975A (zh) * 2018-05-31 2021-04-02 奇跃公司 雷达头部姿势定位
WO2021082801A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
US11585917B1 (en) 2021-08-24 2023-02-21 Google Llc Systems and methods for generating three-dimensional maps of an indoor space

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568026A (zh) * 2011-12-12 2012-07-11 浙江大学 一种多视点自由立体显示的三维增强现实方法
CN102609941A (zh) * 2012-01-31 2012-07-25 北京航空航天大学 基于ToF深度相机的三维注册方法
US20130083008A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Enriched experience using personal a/v system
CN103530881A (zh) * 2013-10-16 2014-01-22 北京理工大学 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN103607493A (zh) * 2013-11-29 2014-02-26 哈尔滨工业大学 智能手机的方向校正方法
CN103679506A (zh) * 2013-12-02 2014-03-26 小米科技有限责任公司 一种获取信息的方法、装置、终端及服务器
CN104392045A (zh) * 2014-11-25 2015-03-04 沈阳建筑大学 一种基于智能移动终端的实时增强虚拟现实系统及方法
CN105004342A (zh) * 2015-07-15 2015-10-28 成都万维图新信息技术有限公司 一种基于互联网的旅游数据处理方法
CN105021189A (zh) * 2014-04-25 2015-11-04 广州市香港科大霍英东研究院 一种综合利用加速度计和陀螺仪校准移动设备姿态的方法
KR20160034513A (ko) * 2014-09-19 2016-03-30 한국전자통신연구원 Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법
CN105856230A (zh) * 2016-05-06 2016-08-17 简燕梅 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083008A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Enriched experience using personal a/v system
CN102568026A (zh) * 2011-12-12 2012-07-11 浙江大学 一种多视点自由立体显示的三维增强现实方法
CN102609941A (zh) * 2012-01-31 2012-07-25 北京航空航天大学 基于ToF深度相机的三维注册方法
CN103530881A (zh) * 2013-10-16 2014-01-22 北京理工大学 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN103607493A (zh) * 2013-11-29 2014-02-26 哈尔滨工业大学 智能手机的方向校正方法
CN103679506A (zh) * 2013-12-02 2014-03-26 小米科技有限责任公司 一种获取信息的方法、装置、终端及服务器
CN105021189A (zh) * 2014-04-25 2015-11-04 广州市香港科大霍英东研究院 一种综合利用加速度计和陀螺仪校准移动设备姿态的方法
KR20160034513A (ko) * 2014-09-19 2016-03-30 한국전자통신연구원 Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법
CN104392045A (zh) * 2014-11-25 2015-03-04 沈阳建筑大学 一种基于智能移动终端的实时增强虚拟现实系统及方法
CN105004342A (zh) * 2015-07-15 2015-10-28 成都万维图新信息技术有限公司 一种基于互联网的旅游数据处理方法
CN105856230A (zh) * 2016-05-06 2016-08-17 简燕梅 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐德 等: "《机器人视觉测量与控制》", 31 January 2016, pages: 140 *
黄志恒: "基于深度摄像机的增强现实系统研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
黄志恒: "基于深度摄像机的增强现实系统研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 January 2014 (2014-01-15), pages 138 - 1918 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292965A (zh) * 2017-08-03 2017-10-24 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法
CN107292965B (zh) * 2017-08-03 2020-10-13 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法
CN111148967B (zh) * 2017-09-29 2024-03-08 松下电器（美国）知识产权公司 三维数据制作方法、客户端装置以及服务器
CN111148967A (zh) * 2017-09-29 2020-05-12 松下电器（美国）知识产权公司 三维数据制作方法、客户端装置以及服务器
CN108053491A (zh) * 2017-12-12 2018-05-18 重庆邮电大学 动态视角条件下实现平面目标三维跟踪和增强现实的方法
WO2019114653A1 (zh) * 2017-12-15 2019-06-20 阿里巴巴集团控股有限公司 一种导航引导图的生成方法和装置
US11170574B2 (en) 2017-12-15 2021-11-09 Alibaba Group Holding Limited Method and apparatus for generating a navigation guide
CN112601975A (zh) * 2018-05-31 2021-04-02 奇跃公司 雷达头部姿势定位
CN112154486B (zh) * 2018-06-27 2024-04-16 北京京东尚科信息技术有限公司 用于多用户增强现实购物的系统和方法
CN112154486A (zh) * 2018-06-27 2020-12-29 北京京东尚科信息技术有限公司 用于多用户增强现实购物的系统和方法
WO2020078250A1 (zh) * 2018-10-15 2020-04-23 华为技术有限公司 用于虚拟场景的数据处理方法以及设备
CN109949422A (zh) * 2018-10-15 2019-06-28 华为技术有限公司 用于虚拟场景的数据处理方法以及设备
CN109683699B (zh) * 2019-01-07 2022-03-29 深圳增强现实技术有限公司 基于深度学习实现增强现实的方法、装置及移动终端
CN109683699A (zh) * 2019-01-07 2019-04-26 深圳增强现实技术有限公司 基于深度学习实现增强现实的方法、装置及移动终端
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
WO2021082801A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
CN111179341B (zh) * 2019-12-09 2022-05-20 西安交通大学 一种增强现实设备与移动机器人的配准方法
CN111179341A (zh) * 2019-12-09 2020-05-19 西安交通大学 一种增强现实设备与移动机器人的配准方法
US11585917B1 (en) 2021-08-24 2023-02-21 Google Llc Systems and methods for generating three-dimensional maps of an indoor space
WO2023028449A3 (en) * 2021-08-24 2023-04-06 Google Llc Systems and methods for generating three-dimensional maps of an indoor space

Similar Documents

Publication Publication Date Title
CN106355647A (zh) 增强现实系统和方法
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN108510592B (zh) 真实物理模型的增强现实展示方法
CN207117844U (zh) 多vr/ar设备协同系统
US10297074B2 (en) Three-dimensional modeling from optical capture
US20190026400A1 (en) Three-dimensional modeling from point cloud data migration
CN104217439B (zh) 一种室内视觉定位系统及方法
CN102368810B (zh) 一种半自动化对齐的视频融合系统和方法
CN104330074B (zh) 一种智能测绘平台及其实现方法
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN109541535A (zh) 一种基于uwb和视觉slam的agv室内定位及导航的方法
CN103226838A (zh) 地理场景中移动监控目标的实时空间定位方法
CN104933704B (zh) 一种三维立体扫描方法及系统
CN114299390A (zh) 一种确定维修部件演示视频的方法及装置、安全帽
US20230236280A1 (en) Method and system for positioning indoor autonomous mobile robot
CN103759724B (zh) 一种基于灯饰特征的室内导航方法及系统
RU2562368C1 (ru) Способ трёхмерного (3d) картографирования
Mi et al. A vision-based displacement measurement system for foundation pit
Trzeciak et al. Conslam: Periodically collected real-world construction dataset for SLAM and progress monitoring
CN104599231A (zh) 一种基于Kinect和网络摄像机的动态人像合成方法
WO2023103883A1 (zh) 对象自动标注方法、装置、电子设备及存储介质
US20240087166A1 (en) Aligning multiple coordinate systems for informaton model rendering
Baca et al. Automated data annotation for 6-dof ai-based navigation algorithm development
CN111399634B (zh) 一种手势引导物体识别的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination