CN107223269B - 三维场景定位方法和装置 - Google Patents
三维场景定位方法和装置 Download PDFInfo
- Publication number
- CN107223269B CN107223269B CN201680006928.8A CN201680006928A CN107223269B CN 107223269 B CN107223269 B CN 107223269B CN 201680006928 A CN201680006928 A CN 201680006928A CN 107223269 B CN107223269 B CN 107223269B
- Authority
- CN
- China
- Prior art keywords
- visual
- dimensional
- point cloud
- visual information
- dimensional scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000000007 visual effect Effects 0.000 claims abstract description 281
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 230000004807 localization Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000000956 alloy Substances 0.000 description 3
- 229910045601 alloy Inorganic materials 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请实施例公开了一种三维场景定位方法和装置，涉及混合现实技术领域，用于共享三维地图数据。三维场景定位方法包括：根据当前场景的第一视觉信息以及与所述第一视觉信息对应的深度信息生成三维地图数据，所述三维地图数据中包括三维场景模型；对当前场景的第二视觉信息进行特征提取得到第二视觉特征；根据所述第二视觉特征与所述三维地图数据的映射关系，在所述第二视觉信息上加载对应的三维场景模型，实现所述第二视觉信息在所述三维场景模型中的定位。本申请实施例应用于三维场景定位时的三维地图数据共享。
Description
技术领域
本申请涉及混合现实技术领域，尤其涉及一种三维场景定位方法和装置。
背景技术
混合现实技术(mixed reality，MR)是一种实时地计算摄影机影像的位置及角度并在影像上叠加图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界叠加在现实世界并进行互动。目前市场上已经比较成熟的MR技术产品包括微软的全息眼镜HoloLens，因特尔的VR(virtual reality，虚拟现实)/AR(augmented reality，增强现实)一体头显Alloy等。
微软的HoloLens采用了四颗摄像头即两组双目摄像头作为传感器，结合头盔正中央的TOF(time of flight，飞行时间)传感器实现当前场景的三维重建。因特尔的Alloy工作原理与HoloLens类似，不过它采用因特尔自己开发的RealSense 3D结构光实感摄像头作为传感器。除了一对双目摄像头以外还内置了两套结构光深度摄像头，能够直接采集深度图像恢复三维场景。
上述MR头显设备，均是由头盔上集成的专用彩色和深度传感器采集真实世界的图像和深度数据，而没有采用集成度更高的单目，双目视觉传感器，其原因是现有的单目和双目传感器无法实现密集和高精度的三维重建，而且对于计算资源要求很高，无法集成在移动终端设备上。此外，上述两款设备之间无法共享三维地图数据，也就是说HoloLens构建的三维场景无法用Alloy设备体验，反之亦然。另外，在高精度3D地图导航应用领域，往往高精度3D地图街景扫描设备复杂，体积庞大和昂贵，普通消费者不便携带这些专业的设备去定位和导航。
发明内容
本申请的实施例提供一种三维场景定位方法和装置，用于共享三维地图数据。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，提供了一种三维场景定位方法，包括：
根据当前场景的第一视觉信息以及与所述第一视觉信息对应的深度信息生成三维地图数据，所述三维地图数据中包括三维场景模型；对当前场景的第二视觉信息进行特征提取得到第二视觉特征；根据所述第二视觉特征与所述三维地图数据的映射关系，在所述第二视觉信息上加载对应的三维场景模型，实现所述第二视觉信息在所述三维场景模型中的定位。
第二方面，提供了一种三维场景定位装置，包括：
生成单元，用于根据当前场景的第一视觉信息以及与所述第一视觉信息对应的深度信息生成三维地图数据，所述三维地图数据中包括三维场景模型；
提取单元，用于对当前场景的第二视觉信息进行特征提取得到第二视觉特征；
定位单元，用于根据所述第二视觉特征与所述三维地图数据的映射关系，在所述第二视觉信息上加载对应的三维场景模型，实现所述第二视觉信息在所述三维场景模型中的定位。
第三方面，提供了一种计算机存储介质，用于储存为三维场景定位装置所用的计算机软件指令，其包含执行第一方面所述的三维场景定位方法所设计的程序代码。
第四方面，提供了一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现第一方面所述的三维场景定位方法。
第五方面，提供了一种三维场景定位装置，包括：存储器、通信接口和处理器，所述存储器用于存储计算机执行代码，所述处理器用于执行所述计算机执行代码控制执行第一方面所述三维场景定位方法，所述通信接口用于所述三维场景定位装置与外部设备的数据传输。
本申请实施例提供的三维场景定位方法和装置，通过根据第一视觉信息以及与所述第一视觉信息对应的深度信息生成三维地图数据；对第二视觉信息进行特征提取得到第二视觉特征；根据第二视觉特征与三维地图数据的映射关系，在第二视觉信息上加载对应的三维场景模型，实现第二视觉信息在三维场景模型中的定位。使得根据第一视觉信息和对应深度信息生成的三维地图数据可以用于第二视觉信息的定位，实现了三维地图数据的共享。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的三维场景定位系统的结构示意图；
图2为本申请实施例提供的第一视觉采集设备的结构示意图；
图3为本申请实施例提供的服务器的结构示意图；
图4为本申请实施例提供的第二视觉采集设备的结构示意图；
图5为本申请实施例提供的一种三维场景定位方法的流程示意图；
图6为本申请实施例提供的另一种三维场景定位方法的流程示意图；
图7为本申请实施例提供的更新视觉特征库以及进行三维场景重建得到三维场景模型的流程示意图；
图8为本申请实施例提供的一种三维场景模型结果的示意图；
图9为本申请实施例提供的得到第二视觉采集设备的实时位姿的流程示意图；
图10为本申请实施例提供的对ORB特征进行特征匹配的结果的示意图；
图11为本申请实施例提供的对整体灰度分布特征进行特征匹配的结果的示意图；
图12为本申请实施例提供的对ORB特征进行三维场景定位的结果的示意图；
图13为本申请实施例提供的对整体灰度分布特征进行三维场景定位的结果的示意图；
图14为本申请实施例提供的另一种三维场景定位方法的流程示意图；
图15为本申请实施例提供的对三维密集点云与vSLAM稀疏点云配准对齐以重建三维场景模型的流程示意图；
图16为本申请实施例提供的vSLAM稀疏点云和三维密集点云融合形成三维点云的示意图；
图17为本申请实施例提供的根据实时位姿和三维场景模型对第二视觉采集设备进行定位的示意图；
图18为本申请实施例提供的一种三维场景定位装置的结构示意图；
图19为本申请实施例提供的又一种三维场景定位装置的结构示意图；
图20为本申请实施例提供的另一种三维场景定位装置的结构示意图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种三维场景定位系统，参照图1中所示，包括：第一视觉采集设备11、服务器12、第二视觉采集设备13。
第一视觉采集设备11包括具有专用的彩色和深度传感器器件的移动设备，例如RGB-D(red green blue-depth，红绿蓝——深度)设备、RGB-TOF(red green blue-time offlight，红绿蓝——飞行时间)设备、微软的Kinect或者因特尔的RealSense、三维激光雷达设备等，可以同时采集当前场景的视觉信息和深度信息。参照图2中所示，该第一视觉采集设备11可以包括彩色和深度传感器1101、处理器1102、存储器1103和通信接口1104，它们通过总线方式进行连接。其中，存储器1103用于存储供处理器1102执行的代码以及数据等，由处理器1102控制彩色和深度传感器1101采集当前位置的视觉信息和深度信息后经过初步处理，然后通过通信接口1104以有线或无线方式发送给服务器12。
服务器12用于存储三维场景模型，以实现不同设备之间共享三维场景模型。参照图3中所示，服务器12包括：处理器1202、存储器1203和通信接口1204，它们通过总线方式进行连接。其中，存储器1203用于存储供处理器1202执行的代码以及数据等，通信接口1204用于以有线或无线方式与第一视觉采集设备11和第二视觉采集设备13进行通信。
第二视觉采集设备13包括任意带有普通视觉传感器的移动设备，例如具有普通单目或者双目摄像头的手机、平板电脑、AR/MR眼镜等设备，可以采集当前场景的视觉信息。参照图4中所示，该第二视觉采集设备13可以包括视觉传感器1301、处理器1302、存储器1303和通信接口1304，它们通过总线方式进行连接。其中，存储器1303用于存储供处理器1302执行的代码以及数据等，由处理器1302控制视觉传感器1101采集当前位置的视觉信息，并且控制通过通信接口1104以有线或无线方式从服务器12接收三维场景模型。
本申请实施例所述的视觉信息包括当前图像帧的RGB图像帧或灰度色阶图像帧，深度信息包括景深。本申请实施例所述的位姿指视觉采集设备的位置和姿态。本申请实施例所述的三维场景模型包括具有三维坐标点的点云。本申请实施例所述的点云是指通过测量仪器得到的当前场景中物体表面的点数据集合，对于点数量比较少并且点与点的间距比较大的点云称为稀疏点云，对于点数量比较大并且比较密集的点云称为密集点云。
本申请实施例提供了一种三维场景定位方法，参照图5中所示，包括：步骤S101-S103。
S101、根据当前场景的第一视觉信息以及与所述第一视觉信息对应的深度信息生成三维地图数据，三维地图数据中包括三维场景模型。
第一视觉信息以及对应的深度信息可以在一个设备上获取，也可以在不同设备上获取，但要保证数据的一一对应关系，优选的采用如上所述的第一视觉采集设备来获取，以便根据视觉信息和深度信息形成三维地图数据。
生成三维地图数据的过程可以直接在上述第一视觉采集设备上实现也可以由服务器来实现，本申请实施例在此不做限定。
三维地图数据可以存储于服务器上，使得其他用于定位的设备可以共享该三维地图数据。
S102、对当前场景的第二视觉信息进行特征提取得到第二视觉特征。
获取第二视觉信息的设备可以与获取第一视觉信息的设备不同，由于第一视觉信息用于生成三维地图数据，因此其精度要求较高，可以由专用的视觉采集设备例如如上所述的第一视觉采集设备来获取。而第二视觉信息仅用于根据上述三维地图数据进行定位，因此其精度要求较低，可以为如上所述的第二视觉采集设备来获取。
对视觉信息可以进行多种特征提取，例如提取角点特征、直线特征、形状特征或vSLAM特征等。对第二视觉信息进行特征提取的过程可以直接在上述第二视觉采集设备上实现也可以由服务器来实现，本申请实施例在此不做限定。
S103、根据第二视觉特征与三维地图数据的映射关系，在第二视觉信息上加载对应的三维场景模型，实现第二视觉信息在三维场景模型中的定位。
可以将第二视觉特征与三维地图数据中不同三维场景模型进行映射匹配，在显示第二视觉信息时同时显示对应的三维场景模型，实现混合现实，同时实现第二视觉信息在三维场景模型中的定位。
本申请实施例提供的三维场景定位方法，通过根据第一视觉信息以及与所述第一视觉信息对应的深度信息生成三维地图数据；对第二视觉信息进行特征提取得到第二视觉特征；根据第二视觉特征与三维地图数据的映射关系，在第二视觉信息上加载对应的三维场景模型，实现第二视觉信息在三维场景模型中的定位。使得第二视觉信息根据第一视觉信息和对应深度信息生成的三维地图数据可以用于第二视觉信息的定位，实现了三维地图数据的共享。
本申请实施例提供了另一种三维场景定位方法，参照图6中所示，该方法包括：步骤S201-S114。
S201、第一视觉采集设备采集当前场景的第一视觉信息和对应的深度信息。
第一视觉采集设备每次采集当前帧图像时会同时获取对应的深度信息即景深。
S202、第一视觉采集设备对第一视觉信息进行特征提取得到第一视觉特征。
根据图像特征的描述方式不同，可以选择不同方式提取视觉特征后汇集为视觉特征库。视觉特征库可以包括角点特征、直线特征、形状特征等。
对于角点特征描述方式来说，视觉特征库可以包括关键帧ORB(oriented binaryrobust independent elementary features，面向二进制鲁棒独立基本特征)特征库，第一视觉采集设备对第一视觉信息提取ORB特征得到第一视觉信息的ORB特征。
对于线性描述方式来说，可以对第一视觉信息提取整体灰度分布信息，比较常用的特征提取和定位方法包括LSD-SLAM(large scale direct simultaneous localizationand mapping，大尺度直接即时定位与地图构建)，本申请实施例在此不赘述。
S203、第一视觉采集设备将第一视觉特征与视觉特征库进行特征匹配计算得到第一视觉信息的旋转矩阵和位移矩阵，根据第一视觉信息的旋转矩阵和位移矩阵计算得到第一视觉信息的实时位姿，并且用第一视觉特征更新视觉特征库。
将第一视觉信息的ORB特征与现有的关键帧ORB特征库进行匹配，计算得到第一视觉信息的旋转矩阵和位移矩阵，从而根据第一视觉信息的旋转矩阵和位移矩阵计算得到第一视觉采集设备采集第一视觉信息时的实时位姿。同时判定是否需要用第一视觉信息对关键帧ORB特征数据库进行更新。即是否将第一视觉信息加入关键帧ORB特征库，或者是否将第一视觉信息替换关键帧ORB特征库中的某一帧。例如，可以比较第一视觉信息与关键帧ORB特征数据库的公共特征点数目是否小于预设门限，如果小于则将第一视觉信息加入关键帧ORB特征库。
S204、根据深度信息以及第一视觉信息的实时位姿进行三维场景重建得到三维场景模型。
对于角点特征描述方式来说，参照图7中所示，对第一视觉采集设备的实时位姿和深度信息进行三维场景重建得到三维场景模型具体包括：
S2041、利用计算的实时位姿以及采集的深度信息进行三维场景重建以生成第一视觉信息的三维点云。
三维场景重建得到的三维点云效果如图8中所示(图中去除了颜色信息)。
S2042、对第一视觉信息的三维点云进行融合、去噪、删除重复点等运算最终得到三维场景模型。
步骤S202-S204对应于步骤S101。
S205、第一视觉采集设备将更新的视觉特征库和三维场景模型发送给服务器进行存储。
此时三维地图数据包括视觉特征库和三维场景模型。
S206、服务器从第一视觉采集设备接收视觉特征库和三维场景模型。
S207、第二视觉采集设备对第二视觉采集设备的视觉传感器进行标定以得到第二视觉采集设备的视觉传感器的相机参数，并根据相机参数对第二视觉采集设备的视觉传感器进行矫正。
用户在使用第二视觉采集设备采集视觉信息之前，需要对该设备进行标定以确定视觉传感器的相机参数，相机参数包括主点、焦距和畸变校正参数等参数信息，其中畸变校正参数用于标识第二视觉采集设备的视觉传感器拍摄图像时产生的图像畸变。主点、焦距等参数用于对相机进行对焦。首先选定第二视觉采集设备的摄像头类型(深度、双目或单目)，然后用第二视觉采集设备对摄像头标定图案拍摄多张(例如20至30张)不同角度的照片。通过对标定图案的检测和配准，计算出该第二视觉采集设备所采用视觉传感器的相机参数，然后用该相机参数对应视觉传感器进行矫正即得到经矫正的第二视觉采集设备。
S208、服务器将视觉特征库和三维场景模型发送给第二视觉采集设备。
S209、第二视觉采集设备从服务器接收视觉特征库和三维场景模型。
S210、第二视觉采集设备采集当前场景的第二视觉图像信息。
S211、第二视觉采集设备对第二视觉图像信息进行特征提取得到第二视觉特征。
对于角点特征描述方式来说，对第二视觉信息提取ORB特征得到第二视觉信息的ORB特征作为第二视觉特征。对于直线特征描述方式来说，对第二视觉信息提取整体灰度分布信息得到第二视觉信息的整体灰度分布特征作为第二视觉特征。
步骤S211对应于步骤S102。
S212、根据第二视觉特征、视觉特征库得到第二视觉采集设备采集第二视觉信息时的实时位姿。
参照图9中所示，步骤S212具体包括：
S2121、根据视觉特征库对第二视觉特征进行特征匹配。
示例性的，对于角点特征描述方式来说，根据关键帧ORB特征库对第二视觉信息的ORB特征进行特征匹配。示例性的，参照图10中所示为ORB特征进行特征匹配的一种示例，其中的小方框为ORB特征点。参照图11中所示为整体灰度分布特征进行特征匹配的一种示例。
S2122、对经特征匹配的第二视觉特征进行PnP(perspective n point problem，透视N点问题)位姿计算得到第二视觉信息的实时位姿。
示例性的，对于角点特征描述方式来说，对经特征匹配的第二视觉信息的ORB特征进行PnP位姿计算得到第二视觉采集设备的实时位姿。
S213、根据第二视觉信息的实时位姿与三维地图数据中对应的三维场景模型的映射关系，在第二视觉信息上加载三维场景模型，以实现第二视觉信息在三维场景模型中的定位。
示例性的，参照图12中所示为对ORB特征进行三维场景定位的结果的示意图，图中的星型符号表示定位位置。参照图13中所示为对整体灰度分布特征进行三维场景定位的结果的示意图，图中的白色箭头表示定位位置和方向。步骤S212-S213对应于步骤S103。
本申请实施例提供的三维场景定位方法，第一视觉采集设备用当前场景的第一视觉信息更新视觉特征库并获取第一视觉采集设备的实时位姿，对第一视觉采集设备的实时位姿和与第一视觉信息对应的深度信息进行三维场景重建得到三维场景模型，然后将视觉特征库和三维场景模型发送给服务器；第二视觉采集设备从服务器获取视觉特征库和三维场景模型，然后对第二视觉信息提取视觉特征信息，根据视觉特征信息和视觉特征库得到实时位姿，根据实时位姿和三维场景模型实现定位，实现了第一视觉采集设备与第二视觉采集设备之间共享三维场景模型和视觉特征库，达到了共享三维地图数据的目的。
并且，本申请实施例可以实现高精度的三维地图数据共享，在离线的三维场景重建阶段，利用具有专用的彩色和深度传感器的视觉采集设备实现密集的三维重建，甚至可以通过高速计算单元进行智能地融合、去噪、删除重复点等运算，优化生成的三维点云数量，使得三维重建点云精度更高，以满足MR应用中的图形渲染要求。同时，将提取出这些高精度点云的视觉特征信息做为共享数据。在在线视觉采集设备定位阶段，可以使用任意视觉采集设备的视觉传感器(包括单目，双目摄像头等)进行定位，极大地拓展了MR的应用平台，成本大为降低，更易普及。
对于第一视觉信息包括第三视觉信息和第四视觉信息时，本申请实施例提供了又一种三维场景定位，参照图14中所示，包括：
S301、第一视觉采集设备采集当前场景的第三视觉信息和对应的深度信息。
S302、第一视觉采集设备对第三视觉信息和对应的深度信息进行三维场景重建以生成三维密集点云，或者对深度信息进行三维场景重建以生成所述三维密集点云。
例如在室内可以采用具有专用的彩色和深度传感器器件的移动设备(例如RGB-D，微软的Kinect或者因特尔的RealSense)采集RGB图像和其对应的深度图像数据形成三维密集点云(x，y，z)RGBD，在室外可利用三维激光雷达扫描深度信息形成三维密集点云(x，y，z)Radar。
S303、第一视觉采集设备将三维密集点云发送给服务器。
S304、服务器从第一视觉采集设备接收三维密集点云。
S305、第二视觉采集设备采集当前场景的第四视觉信息。
S306、第二视觉采集设备对当前场景的第四视觉信息进行三维场景重建以生成vSLAM(visual simultaneous localization and mapping，视觉即时定位与地图构建)稀疏点云。
需要说明的是，第四视觉信息也可以为第三视觉信息，此时，由第一视觉采集设备对第三视觉信息进行三维场景重建以生成vSLAM稀疏点云。
vSLAM稀疏点云中的每个三维点(x，y，z)vSLAM对应视觉信息的特征信息FvSLAM(例如角点特征、直线特征或者形状特征等)。
S307、第二视觉采集设备将vSLAM稀疏点云发送给服务器。
S308、服务器从第二视觉采集设备接收vSLAM稀疏点云。
S309、服务器对三维密集点云与vSLAM稀疏点云配准对齐以重建三维场景模型。参照图15中所示，具体包括步骤S3091-S3093：
S3091、对vSLAM稀疏点云提取点云特征得到vSLAM稀疏点云特征，对三维密集点云提取点云特征得到三维密集点云特征。
示例性的，点云特征可以采用常见的点特征直方图(point feature histograms，PFH)、快速点特征直方图(fast point feature histograms，FPFH)、视点特征直方图(viewpoint feature histogram，VFH)，方向直方图签名(signature of histograms oforientations，SHOT)等等。
S3092、对vSLAM稀疏点云特征和三维密集点云特征进行三维点云配准计算得到vSLAM稀疏点云与三维密集点云之间的转换关系RT。
S3093、根据vSLAM稀疏点云与三维密集点云之间的转换关系将vSLAM稀疏点云与三维密集点云三维密集点配准对齐以重建三维场景模型。此时三维地图数据为三维场景模型。
最终，位于不同坐标系下的vSLAM稀疏点云和三维密集点云最终融合在一起形成一个三维点云，示例性的如图16中所示，vSLAM稀疏点云1601与三维密集点云1602融合成新的三维点云1603。步骤S302、S306、S309对应于步骤S101。
S310、服务器将三维场景模型发送给第二视觉采集设备。
S311、第二视觉采集设备从服务器接收三维场景模型。
S312、第二视觉采集设备采集第二视觉信息。
S313、第二视觉采集设备对第二视觉信息提取vSLAM视觉特征，vSLAM视觉特征中包含第二视觉采集设备采集第二视觉信息时的实时位姿。步骤S313对应于步骤S102。
S314、第二视觉采集设备根据第二视觉信息的实时位姿与三维地图数据中对应的三维场景模型的映射关系，在第二视觉信息上加载三维场景模型，以实现第二视觉信息在三维场景模型中的定位。
例如将当前设备的视角映射到三维场景模型中，在第二视觉采集设备上即可呈现高精度的三维地图环境信息。示例性的，参照图17中所示，可以将实时采集的第五视觉信息1701与对应的虚拟的三维场景模型1702显示在同一界面中。
另外，根据定位的结果，还可以进行路径规划和3D导航应用，最终呈现给用户或者客服。步骤S314对应于步骤S103。
本申请实施例提供的三维场景定位方法，第一视觉采集设备对第三视觉信息和对应的深度信息进行三维场景重建以生成三维密集点云，并将三维密集点云发送给服务器；第二视觉采集设备对第四视觉信息进行三维场景重建以生成vSLAM稀疏点云，并将vSLAM稀疏点云发送给服务器；由服务器对三维密集点云与vSLAM稀疏点云配准对齐以重建三维场景模型；第二视觉采集设备从服务器获取三维场景模型，对第五视觉信息提取vSLAM视觉特征，vSLAM视觉特征中包含第二视觉采集设备的实时位姿，然后根据第二视觉采集设备的实时位姿和三维场景模型对第二视觉采集设备进行定位，实现了第一视觉采集设备与第二视觉采集设备之间共享三维场景模型，达到了共享三维地图数据的目的。
本申请实施例可以根据上述方法示例对各设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图18示出了上述实施例中所涉及的三维场景定位装置的一种可能的结构示意图，三维场景定位装置10包括：生成单元1011、提取单元1012、定位单元1013、标定单元1014。生成单元1011用于支持三维场景定位装置执行图5中的过程S101，图6中的过程S202-S204，图7中的过程S2041和S2042，图14中的过程S302、S306、S309，图15中的过程S3091-S3093；提取单元1012用于支持三维场景定位装置执行图5中的过程S102，图6中的过程S211，图14中的过程S313；定位单元1013用于支持三维场景定位装置执行图5中的过程S103，图6中的过程S212和S213，图9中的过程S2121和S2122，图14中的过程S314；标定单元1014用于支持三维场景定位装置执行图6中的过程S207。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在采用集成的单元的情况下，图19示出了上述实施例中所涉及的三维场景定位装置的一种可能的结构示意图。三维场景定位装置10包括：处理模块1022和通信模块1023。处理模块1022用于对三维场景定位装置的动作进行控制管理，例如，处理模块1022用于支持三维场景定位装置执行图5中的过程S101-S103。通信模块1013用于支持三维场景定位装置与其他实体的通信，例如与图1中示出的功能模块或网络实体之间的通信。三维场景定位装置10还可以包括存储模块1021，用于存储三维场景定位装置的程序代码和数据。
其中，处理模块1022可以是处理器或控制器，例如可以是中央处理器(centralprocessing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块1023可以是收发器、收发电路或通信接口等。存储模块1021可以是存储器。
当处理模块1022为处理器，通信模块1023为收发器，存储模块1021为存储器时，本申请实施例所涉及的三维场景定位装置可以为图20所示的三维场景定位装置。
参阅图20所示，该三维场景定位装置10包括：处理器1032、收发器1033、存储器1031、总线1034。其中，收发器1033、处理器1032、存储器1031通过总线1034相互连接；总线1034可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。本申请实施例还提供一种存储介质，该存储介质可以包括存储器1031，用于储存为三维场景定位装置所用的计算机软件指令，其包含执行三维场景定位方法所设计的程序代码。具体的，软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read only memory，ROM)、可擦除可编程只读存储器(erasable programmable ROM，EPROM)、电可擦可编程只读存储器(electrically EPROM，EEPROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于三维场景定位装置中。当然，处理器和存储介质也可以作为分立组件存在于三维场景定位装置中。
本申请实施例还提供一种计算机程序，该计算机程序可直接加载到存储器1031中，并含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述的三维场景定位方法。
Claims (14)
1.一种三维场景定位方法，其特征在于，包括：
根据当前场景的第一视觉信息以及与所述第一视觉信息对应的深度信息生成三维地图数据，所述三维地图数据中包括三维场景模型；
所述根据当前场景的第一视觉信息和与所述第一视觉信息对应的深度信息生成三维地图数据，包括：
对所述第一视觉信息进行特征提取得到第一视觉特征；
将所述第一视觉特征与视觉特征库进行特征匹配计算得到所述第一视觉信息的旋转矩阵和位移矩阵，根据所述第一视觉信息的旋转矩阵和位移矩阵计算得到所述第一视觉信息的实时位姿，并且用所述第一视觉特征更新所述视觉特征库；
根据所述深度信息以及所述第一视觉信息的实时位姿进行三维场景重建得到所述三维场景模型；
对当前场景的第二视觉信息进行特征提取得到第二视觉特征；
根据所述第二视觉特征与所述三维地图数据的映射关系，在所述第二视觉信息上加载对应的三维场景模型，实现所述第二视觉信息在所述三维场景模型中的定位；
所述第一视觉信息包括第三视觉信息和第四视觉信息；
所述根据当前场景的第一视觉信息以及与所述第一视觉信息对应的深度信息生成三维地图数据，包括：
对所述第三视觉信息和对应的深度信息进行三维场景重建以生成三维密集点云，或者对所述深度信息进行三维场景重建以生成所述三维密集点云；
对所述第四视觉信息进行三维场景重建以生成视觉即时定位与地图构建vSLAM稀疏点云；
对所述三维密集点云与所述vSLAM稀疏点云进行配准对齐以重建所述三维场景模型；
在所述对当前场景的第二视觉信息进行特征提取得到第二视觉特征之前，还包括：
对采集所述第二视觉信息的视觉传感器进行标定以得到所述视觉传感器的相机参数，并根据所述相机参数对所述视觉传感器进行矫正，所述相机参数包括主点、焦距和畸变校正参数；
所述根据所述实时位姿和所述深度信息进行三维场景重建得到所述三维场景模型，包括：
对所述实时位姿与所述深度信息进行三维场景重建以生成所述第一视觉信息的三维点云；
对所述第一视觉信息的三维点云进行融合、去噪、删除重复点以得到所述三维场景模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第二视觉特征与所述三维地图数据的映射关系，以在所述第二视觉信息上加载对应的三维场景模型，包括：
根据所述第二视觉特征、所述视觉特征库得到所述第二视觉信息的实时位姿；
根据所述第二视觉信息的实时位姿与所述三维地图数据中对应的三维场景模型的映射关系，在所述第二视觉信息上加载所述三维场景模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二视觉特征、所述视觉特征库得到所述第二视觉信息的实时位姿，包括：
根据所述视觉特征库对所述第二视觉特征进行特征匹配；
对经特征匹配的第二视觉特征进行透视N点问题PnP位姿计算得到所述第二视觉信息的实时位姿。
4.根据权利要求1所述的方法，其特征在于，所述对所述三维密集点云与所述vSLAM稀疏点云进行配准对齐以重建三维场景模型，包括：
对所述vSLAM稀疏点云提取点云特征得到vSLAM稀疏点云特征，对所述三维密集点云提取点云特征得到三维密集点云特征；
对所述vSLAM稀疏点云特征和所述三维密集点云特征进行三维点云配准计算得到vSLAM稀疏点云与三维密集点云之间的转换关系；
根据所述vSLAM稀疏点云与三维密集点云之间的转换关系将所述vSLAM稀疏点云与所述三维密集点云进行三维密集点配准对齐以生成新的三维点云作为所述三维场景模型。
5.根据权利要求1所述的方法，其特征在于，所述对当前场景的第二视觉信息进行特征提取得到第二视觉特征，包括：
对所述第二视觉信息进行特征提取得到vSLAM视觉特征。
6.根据权利要求5所述的方法，其特征在于，所述vSLAM视觉特征中包含所述第二视觉信息的实时位姿；
所述根据所述第二视觉特征与所述三维地图数据的映射关系，加载对应的三维场景模型，包括：
根据所述第二视觉信息的实时位姿与所述三维地图数据中对应的三维场景模型的映射关系，在所述第二视觉信息上加载所述三维场景模型。
7.一种三维场景定位装置，其特征在于，包括：
生成单元，用于根据当前场景的第一视觉信息以及与所述第一视觉信息对应的深度信息生成三维地图数据，所述三维地图数据中包括三维场景模型；
提取单元，用于对当前场景的第二视觉信息进行特征提取得到第二视觉特征；
定位单元，用于根据所述第二视觉特征与所述三维地图数据的映射关系，在所述第二视觉信息上加载对应的三维场景模型，实现所述第二视觉信息在所述三维场景模型中的定位；
所述生成单元，具体用于：
对所述第一视觉信息进行特征提取得到第一视觉特征；
将所述第一视觉特征与视觉特征库进行特征匹配计算得到所述第一视觉信息的旋转矩阵和位移矩阵，根据所述第一视觉信息的旋转矩阵和位移矩阵计算得到所述第一视觉信息的实时位姿，并且用所述第一视觉特征更新所述视觉特征库；
根据所述深度信息以及所述第一视觉信息的实时位姿进行三维场景重建得到所述三维场景模型；
所述第一视觉信息包括第三视觉信息和第四视觉信息；
所述生成单元具体用于：
对所述第三视觉信息和对应的深度信息进行三维场景重建以生成三维密集点云，或者对所述深度信息进行三维场景重建以生成所述三维密集点云；
对所述第四视觉信息进行三维场景重建以生成视觉即时定位与地图构建vSLAM稀疏点云；
对所述三维密集点云与所述vSLAM稀疏点云进行配准对齐以重建所述三维场景模型；
标定单元，用于在所述对当前场景的第二视觉信息进行特征提取得到第二视觉特征之前，对采集所述第二视觉信息的视觉传感器进行标定以得到所述视觉传感器的相机参数，并根据所述相机参数对所述视觉传感器进行矫正，所述相机参数包括主点、焦距和畸变校正参数；
所述生成单元，具体用于：
对所述实时位姿与所述深度信息进行三维场景重建以生成所述第一视觉信息的三维点云；
对所述第一视觉信息的三维点云进行融合、去噪、删除重复点以得到所述三维场景模型。
8.根据权利要求7所述的装置，其特征在于，所述定位单元，具体用于：
根据所述第二视觉特征、所述视觉特征库得到所述第二视觉信息的实时位姿；
根据所述第二视觉信息的实时位姿与所述三维地图数据中对应的三维场景模型的映射关系，在所述第二视觉信息上加载所述三维场景模型。
9.根据权利要求8所述的装置，其特征在于，所述定位单元，具体用于：
根据所述视觉特征库对所述第二视觉特征进行特征匹配；
对经特征匹配的第二视觉特征进行透视N点问题PnP位姿计算得到所述第二视觉信息的实时位姿。
10.根据权利要求7所述的装置，其特征在于，所述生成单元具体用于：
对所述vSLAM稀疏点云提取点云特征得到vSLAM稀疏点云特征，对所述三维密集点云提取点云特征得到三维密集点云特征；
对所述vSLAM稀疏点云特征和所述三维密集点云特征进行三维点云配准计算得到vSLAM稀疏点云与三维密集点云之间的转换关系；
根据所述vSLAM稀疏点云与三维密集点云之间的转换关系将所述vSLAM稀疏点云与所述三维密集点云进行三维密集点配准对齐以生成新的三维点云作为所述三维场景模型。
11.根据权利要求7所述的装置，其特征在于，所述提取单元具体用于：
对所述第二视觉信息进行特征提取得到vSLAM视觉特征。
12.根据权利要求11所述的装置，其特征在于，所述vSLAM视觉特征中包含所述第二视觉信息的实时位姿；
所述定位单元具体用于：
根据所述第二视觉信息的实时位姿与所述三维地图数据中对应的三维场景模型的映射关系，在所述第二视觉信息上加载所述三维场景模型。
13.一种计算机存储介质，其特征在于，用于储存为三维场景定位装置所用的计算机软件指令，其包含执行权利要求1-6中任一项所述的三维场景定位方法所设计的程序代码。
14.一种三维场景定位装置，其特征在于，包括：存储器、通信接口和处理器，所述存储器用于存储计算机执行代码，所述处理器用于执行所述计算机执行代码控制执行权利要求1-6中任一项所述三维场景定位方法，所述通信接口用于三维场景定位装置与外部设备的数据传输。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2016/113060 WO2018119889A1 (zh) | 2016-12-29 | 2016-12-29 | 三维场景定位方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107223269A CN107223269A (zh) | 2017-09-29 |
| CN107223269B true CN107223269B (zh) | 2021-09-28 |
Family
ID=59928231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680006928.8A Active CN107223269B (zh) | 2016-12-29 | 2016-12-29 | 三维场景定位方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107223269B (zh) |
| WO (1) | WO2018119889A1 (zh) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107767450B (zh) * | 2017-10-31 | 2021-05-28 | 南京维睛视空信息科技有限公司 | 一种基于sparse-slam的实时建图方法 |
| CN108320334B (zh) * | 2018-01-30 | 2021-08-17 | 公安部物证鉴定中心 | 基于点云的三维场景漫游系统的建立方法 |
| WO2019148311A1 (zh) * | 2018-01-30 | 2019-08-08 | 深圳前海达闼云端智能科技有限公司 | 信息处理方法和系统、云处理设备及计算机程序产品 |
| CN108389264B (zh) * | 2018-02-07 | 2022-03-29 | 杭州易现先进科技有限公司 | 坐标系统确定方法、装置、存储介质及电子设备 |
| CN109102533A (zh) * | 2018-06-19 | 2018-12-28 | 黑龙江拓盟科技有限公司 | 一种基于混合现实的特征点定位方法 |
| CN109117718B (zh) * | 2018-07-02 | 2021-11-26 | 东南大学 | 一种面向道路场景的三维语义地图构建和存储方法 |
| CN109074757B (zh) * | 2018-07-03 | 2021-11-09 | 达闼机器人有限公司 | 一种建立地图的方法、终端和计算机可读存储介质 |
| CN109949422B (zh) * | 2018-10-15 | 2020-12-15 | 华为技术有限公司 | 用于虚拟场景的数据处理方法以及设备 |
| CN109636917B (zh) * | 2018-11-02 | 2023-07-18 | 北京微播视界科技有限公司 | 三维模型的生成方法、装置、硬件装置 |
| CN110070617B (zh) * | 2018-11-02 | 2023-01-10 | 北京微播视界科技有限公司 | 数据同步方法、装置、硬件装置 |
| CN109857111B (zh) * | 2019-02-18 | 2020-11-13 | 广州小鹏汽车科技有限公司 | 基于共享slam地图的高精度定位方法及系统 |
| CN111815709B (zh) * | 2019-04-10 | 2023-04-21 | 四川大学 | 一种基于普通数码相机的单位姿多像面三维重建方法 |
| CN110268225B (zh) * | 2019-05-09 | 2022-05-10 | 深圳阿科伯特机器人有限公司 | 一种多设备之间协同操作的方法、服务端及电子设备 |
| CN110298912B (zh) * | 2019-05-13 | 2023-06-27 | 深圳市易恬技术有限公司 | 三维场景的复现方法、系统、电子装置及存储介质 |
| CN110221276B (zh) * | 2019-05-31 | 2023-09-29 | 文远知行有限公司 | 激光雷达的标定方法、装置、计算机设备和存储介质 |
| CN112146645B (zh) * | 2019-06-28 | 2022-07-22 | 浙江商汤科技开发有限公司 | 一种坐标系对齐的方法及装置、电子设备和存储介质 |
| CN110389348B (zh) * | 2019-07-30 | 2020-06-23 | 四川大学 | 基于激光雷达与双目相机的定位与导航方法及装置 |
| CN112348885B (zh) * | 2019-08-09 | 2024-07-26 | 华为技术有限公司 | 视觉特征库的构建方法、视觉定位方法、装置和存储介质 |
| CN112907659B (zh) * | 2019-11-19 | 2024-07-12 | 浙江菜鸟供应链管理有限公司 | 移动设备定位系统、方法及设备 |
| CN110940316B (zh) * | 2019-12-09 | 2022-03-18 | 国网智能科技股份有限公司 | 复杂环境下变电站消防机器人的导航方法及系统 |
| CN110989599B (zh) * | 2019-12-09 | 2022-06-24 | 国网智能科技股份有限公司 | 一种变电站消防机器人自主作业控制方法及系统 |
| CN110930456A (zh) * | 2019-12-11 | 2020-03-27 | 北京工业大学 | 基于pcl点云库的钣金零件的三维立体识别及定位方法 |
| CN111862337B (zh) * | 2019-12-18 | 2024-05-10 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
| CN111862205B (zh) * | 2019-12-18 | 2024-06-21 | 北京嘀嘀无限科技发展有限公司 | 一种视觉定位方法、装置、设备及存储介质 |
| CN111260789B (zh) * | 2020-01-07 | 2024-01-16 | 青岛小鸟看看科技有限公司 | 避障方法、虚拟现实头戴设备以及存储介质 |
| CN111415388B (zh) * | 2020-03-17 | 2023-10-24 | Oppo广东移动通信有限公司 | 一种视觉定位方法及终端 |
| CN111311742B (zh) * | 2020-03-27 | 2023-05-05 | 阿波罗智能技术(北京)有限公司 | 三维重建方法、三维重建装置和电子设备 |
| CN111559314B (zh) * | 2020-04-27 | 2021-08-24 | 长沙立中汽车设计开发股份有限公司 | 深度与图像信息融合的3d增强全景环视系统及实现方法 |
| CN111553844B (zh) | 2020-04-29 | 2023-08-29 | 阿波罗智能技术(北京)有限公司 | 用于更新点云的方法及装置 |
| CN111652929A (zh) * | 2020-06-03 | 2020-09-11 | 全球能源互联网研究院有限公司 | 一种视觉特征的识别定位方法及系统 |
| CN111882590A (zh) * | 2020-06-24 | 2020-11-03 | 广州万维创新科技有限公司 | 一种基于单张图片定位的ar场景应用方法 |
| CN111784754B (zh) * | 2020-07-06 | 2024-01-12 | 浙江得图网络有限公司 | 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质 |
| CN112135091A (zh) * | 2020-08-27 | 2020-12-25 | 杭州张量科技有限公司 | 监控场景标记方法、装置、计算机设备和存储介质 |
| CN113487732B (zh) * | 2021-04-21 | 2023-02-28 | 中国地质大学（武汉） | 基于手机众包成像终端的室内地下应急场景三维建模方法 |
| CN113643422B (zh) * | 2021-07-09 | 2023-02-03 | 北京三快在线科技有限公司 | 一种信息展示方法及装置 |
| CN113643431A (zh) * | 2021-08-06 | 2021-11-12 | 舵敏智能科技(苏州)有限公司 | 一种用于视觉算法迭代优化的系统及方法 |
| CN113820697B (zh) * | 2021-09-09 | 2024-03-26 | 中国电子科技集团公司第五十四研究所 | 一种基于城市建筑特征与三维地图的视觉定位方法 |
| CN114399597B (zh) * | 2022-01-12 | 2022-10-28 | 贝壳找房(北京)科技有限公司 | 场景空间模型的构建方法、装置以及存储介质 |
| CN114494594B (zh) * | 2022-01-18 | 2023-11-28 | 中国人民解放军63919部队 | 基于深度学习的航天员操作设备状态识别方法 |
| CN114509782A (zh) * | 2022-02-17 | 2022-05-17 | 广州大学 | 一种基于三维激光slam实现混合现实的方法 |
| CN114822026A (zh) * | 2022-04-22 | 2022-07-29 | 南京泛在地理信息产业研究院有限公司 | 一种全息地图场景数据采集智能融合方法 |
| CN115100813B (zh) * | 2022-06-07 | 2023-02-17 | 慧之安信息技术股份有限公司 | 基于数字孪生的智慧社区系统 |
| CN116580099A (zh) * | 2023-07-14 | 2023-08-11 | 山东艺术学院 | 一种基于视频与三维模型融合的林地目标定位方法 |
| CN117437290B (zh) * | 2023-12-20 | 2024-02-23 | 深圳市森歌数据技术有限公司 | 一种多传感器融合的自然保护区无人机三维空间定位方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574386A (zh) * | 2014-12-26 | 2015-04-29 | 速感科技（北京）有限公司 | 一种基于三维环境模型匹配的室内定位方法 |
| CN106127739A (zh) * | 2016-06-16 | 2016-11-16 | 华东交通大学 | 一种结合单目视觉的rgb‑d slam方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6084592A (en) * | 1998-06-18 | 2000-07-04 | Microsoft Corporation | Interactive construction of 3D models from panoramic images |
| CN101441769A (zh) * | 2008-12-11 | 2009-05-27 | 上海交通大学 | 单目摄像机实时视觉定位方法 |
| CN103177475B (zh) * | 2013-03-04 | 2016-01-27 | 腾讯科技（深圳）有限公司 | 一种街景地图展现方法及系统 |
| US9400930B2 (en) * | 2013-09-27 | 2016-07-26 | Qualcomm Incorporated | Hybrid photo navigation and mapping |
| CN103716586A (zh) * | 2013-12-12 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 一种基于三维空间场景的监控视频融合系统和方法 |
| CN104504671B (zh) * | 2014-12-12 | 2017-04-19 | 浙江大学 | 一种用于立体显示的虚实融合图像生成方法 |
| CN106097243A (zh) * | 2016-05-31 | 2016-11-09 | 上海美迪索科电子科技有限公司 | 一种利用摄像头拍摄的3d地图快速成型方法 |
-
2016
- 2016-12-29 CN CN201680006928.8A patent/CN107223269B/zh active Active
- 2016-12-29 WO PCT/CN2016/113060 patent/WO2018119889A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574386A (zh) * | 2014-12-26 | 2015-04-29 | 速感科技（北京）有限公司 | 一种基于三维环境模型匹配的室内定位方法 |
| CN106127739A (zh) * | 2016-06-16 | 2016-11-16 | 华东交通大学 | 一种结合单目视觉的rgb‑d slam方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于ORB关键帧匹配算法的机器人SLAM实现;艾青林等;《机电工程》;20160520;第33卷(第5期);第513-520页 * |
| 基于RGB-D相机的室内环境3D地图创建;王亚龙等;《计算机应用研究》;20150413;第32卷(第8期);第2533-2537页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018119889A1 (zh) | 2018-07-05 |
| CN107223269A (zh) | 2017-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107223269B (zh) | 三维场景定位方法和装置 | |
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| WO2019127445A1 (zh) | 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 | |
| US10726580B2 (en) | Method and device for calibration | |
| CN109993793B (zh) | 视觉定位方法及装置 | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| CN108288292A (zh) | 一种三维重建方法、装置及设备 | |
| CN110361005B (zh) | 定位方法、定位装置、可读存储介质及电子设备 | |
| CN110276774B (zh) | 物体的绘图方法、装置、终端和计算机可读存储介质 | |
| CN110866977A (zh) | 增强现实处理方法及装置、系统、存储介质和电子设备 | |
| CN113361365B (zh) | 定位方法和装置、设备及存储介质 | |
| CN112967344B (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
| CN108430032B (zh) | 一种实现vr/ar设备位置共享的方法及设备 | |
| CN114494388B (zh) | 一种大视场环境下图像三维重建方法、装置、设备及介质 | |
| WO2023093739A1 (zh) | 一种多视图三维重建的方法 | |
| CN111161398B (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN113379815A (zh) | 基于rgb相机与激光传感器的三维重建方法、装置及服务器 | |
| CN115830135A (zh) | 一种图像处理方法、装置及电子设备 | |
| JP7432793B1 (ja) | 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器 | |
| CN113362445B (zh) | 基于点云数据重建对象的方法及装置 | |
| CN114494582A (zh) | 一种基于视觉感知的三维模型动态更新方法 | |
| CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
| WO2023088127A1 (zh) | 室内导航方法、服务器、装置和终端 | |
| CN115880448B (zh) | 基于双目成像的三维测量方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210207 Address after: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai Applicant after: Dalu Robot Co.,Ltd. Address before: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong Applicant before: CLOUDMINDS (SHENZHEN) ROBOTICS SYSTEMS Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai Patentee after: Dayu robot Co.,Ltd. Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai Patentee before: Dalu Robot Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231020 Address after: Room 318, No. 9, Zhifeng Street, Huangpu District, Guangzhou, Guangdong 510799 Patentee after: Data Robotics (Guangzhou) Co.,Ltd. Address before: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai Patentee before: Dayu robot Co.,Ltd. |
|
| TR01 | Transfer of patent right |