CN112083403A - 用于虚拟场景的定位追踪误差校正方法及系统 - Google Patents

用于虚拟场景的定位追踪误差校正方法及系统 Download PDF

Info

Publication number
CN112083403A
CN112083403A CN202010704288.6A CN202010704288A CN112083403A CN 112083403 A CN112083403 A CN 112083403A CN 202010704288 A CN202010704288 A CN 202010704288A CN 112083403 A CN112083403 A CN 112083403A
Authority
CN
China
Prior art keywords
point
matching point
initial
matching
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010704288.6A
Other languages
English (en)
Other versions
CN112083403B (zh
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010704288.6A priority Critical patent/CN112083403B/zh
Publication of CN112083403A publication Critical patent/CN112083403A/zh
Application granted granted Critical
Publication of CN112083403B publication Critical patent/CN112083403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于虚拟场景的定位追踪误差校正方法及系统，包括：采用两个追踪摄像头扫描用户使用环境，分别获得左目图像和右目图像，根据双目立体成像原理构建对应的三维虚拟场景；将两个追踪摄像头当前帧的世界坐标系转换到当前帧对应的虚拟场景的世界坐标系之下，并获得转换矩阵；通过转换矩阵和当前帧的6DOF信息，通过图像匹配方法获得虚拟场景的世界坐标系下每一个三维特征点投影到当前帧上的最佳位置信息，从而实时修正6DOF定位追踪精度。上述方法及系统定位追踪精度高、功耗低。

Description

用于虚拟场景的定位追踪误差校正方法及系统
技术领域
本发明涉及人机交互技术领域，更为具体地，涉及一种用于虚拟场景的定位追踪误差校正方法及系统。
背景技术
VR头戴的6DoF(三轴的旋转和三轴的平移信息)定位追踪精度在VR的沉浸式体验中影响非常重要，也是评价VR头戴式一体机性能的主要参数之一。
目前各大VR头戴式一体机厂商解决VR头戴6DoF的定位追踪主要是通过在VR头戴内置一个，或者二个及两个以上的环境捕捉追踪摄像头，和内置一个IMU9轴惯性导航传感器，通过计算机视觉技术和多传感器融合技术解决VR头戴式一体机在三维环境空间中的6DoF信息，目前常规使用的算法为VIO(visual-inertialodometry)视觉惯性里程计算法。
VIO算法主要是通过环境追踪摄像头实时捕捉外部环境的图像信息，对实时获取的图像信息进行图像特征提取检测，然后通过特征追踪信息，结合IMU惯性导航传感器信息，实时估计环境追踪摄像头的移动轨迹信息和环境追踪摄像头的姿态信息。众所周知，如果环境追踪摄像头的追踪范围和追踪距离在累计变大时，相应的追踪累计误差也会变大。比如需要追踪摄像头重新回到初始追踪位置时，VIO算法估计出的摄像头的移动轨迹信息是不能和物理的实际位置相重合，这样用户在VR场景体验时，就会发觉有场景漂移现象。
目前各大VR头戴式一体机厂商，主要通过增加各种优化方法解决诸如场景漂移问题。比如有些希望增加追踪摄像头的个数使尽可能捕捉更多的空间环境信息以此优化场景漂移问题，比如有些厂商会用到2个追踪摄像头，有些会用到3个或者甚至更多。还有一些通过一些算法上的优化，比如改进环境特征提取算法精度，还有通过改进解算摄像头移动轨迹和摄像头在空间姿态信息问题的优化算法，常规使用通过卡尔曼滤波模型算法进行摄像头移动轨迹和姿态信息估算，现在使用扩展卡尔曼滤波模型算法试图优化摄像头移动轨迹和姿态信息估算精度等一些方法；但是在有些使用场景下，VR头戴式一体机的头戴6DOF追踪精度还是不尽人意，特别是在家庭使用这样的场景下，由于家里的家具，屋里的灯光等多种因素，使其6DoF的追踪精度不能满足大多数家庭使用场景的需求。而且如果把追踪摄像头的个数增加到2个以上，对整体系统的功耗，散热，成本和结构设计等方面是个诸多挑战。
发明内容
鉴于上述问题，本发明的目的是提供一种定位追踪精度高、功耗低的用于虚拟场景的定位追踪误差校正方法及系统。
根据本发明的一个方面，提供一种用于虚拟场景的定位追踪误差校正方法，包括：
采用两个追踪摄像头扫描用户使用环境，分别获得左目图像和右目图像，根据双目立体成像原理构建对应的三维虚拟场景；
将两个追踪摄像头当前帧的世界坐标系转换到当前帧对应的虚拟场景的世界坐标系之下，并获得转换矩阵；
通过转换矩阵和当前帧的6DOF信息，通过图像匹配方法获得虚拟场景的世界坐标系下每一个三维特征点投影到当前帧上的最佳位置信息，从而实时修正6DOF定位追踪精度，
其中，所述实时修正6DOF定位追踪精度的步骤包括：
结合转换矩阵和当前帧的6DOF信息，将虚拟场景中世界坐标系下的地图点投影到当前帧的左目图像的二维坐标点；
通过归一化查找匹配方法获取每一个二维坐标点在左目图像上对应的最相似的匹配块和初始匹配点；
通过亚像素匹配方法获取每一个初始匹配点在最相似的匹配块上的最优匹配点；
基于多视图几何关系，通过位姿估算方法，获得每一个最优匹配点的当前帧的世界坐标系下的最佳6DOF信息。
优选地，所述根据双目立体成像原理构建对应的三维虚拟场景的步骤包括：
对分别作为左目和右目的两个追踪摄像头进行标定，获得两个追踪摄像头的内参以及左目对应的追踪摄像头相对于右目对应的追踪摄像头的旋转平移矩阵；
根据双目立体成像原理，通过图像匹配方法以及上述旋转平移矩阵，获得左目图像上每一个特征点对应在右目图像上的位置；
通过立体三角定位原理，获得左目图像和右目图像上的特征点相对相机坐标系下的空间三维坐标；
追踪上述特征点，通过三维重建方法获取世界坐标下被追踪的特征点的三维坐标；
将6DOF信息融合到被追踪的特征点的相关属性信息；
通过两个追踪摄像头对用户使用环境的整体扫描，获得虚拟场景地图。
优选地，所述将两个追踪摄像头当前帧的世界坐标系转换到当前帧对应的虚拟场景的世界坐标系之下，并获得转换矩阵的步骤包括：
通过特征点匹配方法将左目图像和右目图像上的特征点与虚拟场景地图进行匹配，获得设定个数的相似度最大的特征点和地图点；
通过当前帧上所述设定个数的相似度最大的特征点的世界坐标系下的三维坐标以及对应的虚拟场景地图的地图点的世界坐标系下的三维坐标，通过位姿估算的方法，获得当前帧的世界坐标系转换到当前帧对应的虚拟场景的世界坐标系之下的转换矩阵。
优选地，所述通过归一化查找匹配方法获取每一个二维坐标点在左目图像上对应的最相似的匹配块和初始匹配点的步骤包括：
采用滑动窗口的方法，通过归一化查找匹配方法获取每一个二维坐标点在左目图像上对应的最相似的匹配块和初始匹配点。
优选地，所述通过亚像素匹配方法获取每一个初始匹配点在最相似的匹配块上的最优匹配点的步骤包括：
获取每一个二维坐标点在虚拟场景地图对应的二维图形属性梯度值；
以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点，
其中，所述在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点的步骤包括：
设定迭代步长、迭代范围和所述窗口区域的多个边缘特征点；
将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
根据多个边缘特征点的像素值以及迭代权重获得初始匹配点的像素值；
根据初始匹配点的像素值和所述二维图形属性梯度值获得此次迭代的搜索精度；
判断搜索精度是否大于设定阈值；
如果所述搜索精度大于设定阈值，将初始匹配点为最优匹配点；
如果所述搜索精度不大于设定阈值，采用设定步长对初始匹配点进行更新，通过更新后的初始匹配点更新初始匹配点的像素值，直至搜索精度大于设定阈值。
优选地，所述通过亚像素匹配方法获取每一个初始匹配点在最相似的匹配块上的最优匹配点的步骤包括：
以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点，
其中，所述在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点的步骤包括：
设定迭代步长、迭代范围、迭代次数和所述窗口区域的多个边缘特征点；
将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
按照设定迭代步长对初始匹配点进行设定迭代次数的更新，将达到迭代次数的更新后的初始匹配点作为最优匹配点。
进一步优选地，所述图像窗口区域为矩形，以初始匹配点为中心，水平方向向左和向右设定范围，垂直向上和向下设定范围作为矩形的水平轴线和垂直轴线，在最相似的匹配块上构建图像窗口区域；所述多个边缘特征点为以初始匹配点为中心的图像窗口区域的四个顶点；所述迭代权重根据所述初始最优匹配点在水平方向和垂直方向上的小数点数值获得。
根据本发明的另一个方面，提供一种用于虚拟场景的定位追踪误差校正系统，包括：
两个追踪摄像头，扫描用户使用环境，分别获得左目图像和右目图像；
虚拟场景构建部，通过两个追踪摄像头获得的左目图像和右目图像根据双目立体成像原理构建对应的三维虚拟场景；
坐标转换部，将两个追踪摄像头的当前帧的世界坐标系转换到当前帧对应的虚拟场景构建部构建的虚拟场景的世界坐标系之下，并获得转换矩阵；
修正部，通过坐标转换部的转换矩阵和当前帧的6DOF信息，通过图像匹配方法获得虚拟场景的世界坐标系下每一个三维特征点投影到当前帧上的最佳位置信息，从而实时修正6DOF定位追踪精度，
其中，所述修正部包括：
投影模块，结合转换矩阵和当前帧的6DOF信息，将虚拟场景中世界坐标系下的地图点投影到当前帧的左目图像的二维坐标点；
第一匹配模块，通过归一化查找匹配方法获取投影模块获得的每一个二维坐标点在左目图像上对应的最相似的匹配块和初始匹配点；
第二匹配模块，通过亚像素匹配方法获取第一匹配模块获得的每一个初始匹配点在最相似的匹配块上的最优匹配点；
6DOF修正模块，基于多视图几何关系，通过位姿估算方法，获得第二匹配模块的每一个最优匹配点的当前帧的世界坐标系下的最佳6DOF信息。
优选地，所述第二匹配模块包括：
属性梯度值获得单元，获取每一个二维坐标点在虚拟场景地图对应的二维图形属性梯度值；
图像窗口区域构建单元，以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
设定单元，设定迭代步长、迭代范围和所述窗口区域的多个边缘特征点；
初始化单元，将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
迭代权重获得单元，根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
像素值获得单元，根据多个边缘特征点的像素值以及迭代权重获得初始匹配点的像素值；
搜索精度获得单元，根据初始匹配点的像素值和所述二维图形属性梯度值获得此次迭代的搜索精度；
判断单元，判断搜索精度是否大于设定阈值，如果所述搜索精度大于设定阈值，发送信号给最优匹配点获得单元；如果所述搜索精度不大于设定阈值，发送信号给更新单元；
更新单元，采用设定步长对初始匹配点进行更新；
最优匹配点获得单元，将满足判断单元的判断条件初始匹配点为最优匹配点。
优选地，所述第二匹配模块包括：
图像窗口区域构建单元，以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
设定单元，设定迭代步长、迭代范围、迭代次数和所述窗口区域的多个边缘特征点；
初始化单元，将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
迭代权重获得单元，根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
计数单元，按照设定迭代步长对初始匹配点进行设定迭代次数的更新，将达到迭代次数的更新后的初始匹配点作为最优匹配点。
本发明所述用于虚拟场景的定位追踪误差校正方法基于两个追踪摄像头，通过对用户环境的深度感知，重构用户的三维数字空间场景地图，实时修正定位追踪误差，定位追踪精度高、功耗低。
附图说明
图1是本发明所述用于虚拟场景的定位追踪误差校正方法的流程图的示意图；
图2是本发明所述基于VR虚拟办公的手势识别方法的流程图的示意图；
图3是本发明所述用于虚拟场景的定位追踪误差校正系统的构成框图的示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下将结合附图对本发明的具体实施例进行详细描述。
图1是本发明所述用于虚拟场景的定位追踪误差校正方法的流程图的示意图，如图1所示，所述定位追踪误差校正方法包括：
步骤S1，采用两个追踪摄像头扫描用户使用环境，分别获得左目图像和右目图像，根据双目立体成像原理构建对应的三维虚拟场景；
步骤S2，将两个追踪摄像头当前帧的世界坐标系转换到当前帧对应的虚拟场景的世界坐标系之下，并获得转换矩阵；
步骤S3，通过转换矩阵和当前帧的6DOF信息，通过图像匹配方法获得虚拟场景的世界坐标系下每一个三维特征点投影到当前帧上的最佳位置信息，从而实时修正6DOF定位追踪精度。
在步骤S1中，所述根据双目立体成像原理构建对应的三维虚拟场景的步骤包括：
对分别作为左目和右目的两个追踪摄像头进行标定，获得两个追踪摄像头的内参以及左目对应的追踪摄像头相对于右目对应的追踪摄像头的旋转平移矩阵；
根据双目立体成像原理，通过图像匹配方法以及上述旋转平移矩阵，获得左目图像上每一个特征点对应在右目图像上的位置；
通过立体三角定位原理，获得左目图像和右目图像上的特征点相对相机坐标系下的空间三维坐标；
追踪上述特征点，通过三维重建方法获取世界坐标下被追踪的特征点的三维坐标；
将6DOF信息融合到被追踪的特征点的相关属性信息；
通过两个追踪摄像头对用户使用环境的整体扫描，获得虚拟场景地图。
在步骤S2中，包括：
通过特征点匹配方法将左目图像和右目图像上的特征点与虚拟场景地图进行匹配，获得设定个数的相似度最大的特征点和地图点；
通过当前帧上所述设定个数的相似度最大的特征点的世界坐标系下的三维坐标以及对应的虚拟场景地图的地图点的世界坐标系下的三维坐标，通过位姿估算的方法，获得当前帧的世界坐标系转换到当前帧对应的虚拟场景的世界坐标系之下的转换矩阵。
在步骤S3中，所述实时修正6DOF定位追踪精度的步骤包括：
步骤S31，结合转换矩阵和当前帧的6DOF信息，将虚拟场景中世界坐标系下的地图点投影到当前帧的左目图像的二维坐标点；
步骤S32，通过归一化查找匹配方法获取每一个二维坐标点在左目图像上对应的最相似的匹配块和初始匹配点；
步骤S33，通过亚像素匹配方法获取每一个初始匹配点在最相似的匹配块上的最优匹配点；
步骤S34，基于多视图几何关系，通过位姿估算方法，获得每一个最优匹配点的当前帧的世界坐标系下的最佳6DOF信息。
在步骤S32中，包括：
采用滑动窗口的方法，通过归一化查找匹配方法获取每一个二维坐标点在左目图像上对应的最相似的匹配块和初始匹配点。
在步骤S33中，包括：
以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点，
其中，所述在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点的步骤包括：
设定迭代步长、迭代范围、迭代终止条件和所述窗口区域的多个边缘特征点；
将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
按照设定迭代步长对初始匹配点进行更新，重复上述步骤，直到满足迭代终止条件，满足迭代终止条件的初始匹配点作为最优匹配点。
在一个实施例中，所述迭代终止条件为搜索精度大于设定阈值，步骤S33包括：
获取每一个二维坐标点在虚拟场景地图对应的二维图形属性梯度值；
以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点，
其中，所述在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点的步骤包括：
设定迭代步长、迭代范围和所述窗口区域的多个边缘特征点；
将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
根据多个边缘特征点的像素值以及迭代权重获得初始匹配点的像素值；
根据初始匹配点的像素值和所述二维图形属性梯度值获得此次迭代的搜索精度；
判断搜索精度是否大于设定阈值；
如果所述搜索精度大于设定阈值，将初始匹配点为最优匹配点；
如果所述搜索精度不大于设定阈值，采用设定步长对初始匹配点进行更新，通过更新后的初始匹配点更新初始匹配点的像素值，直至搜索精度大于设定阈值。
在一个实施例中，所述迭代终止条件为达到设定的迭代次数，步骤S33包括：
以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点，
其中，所述在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点的步骤包括：
设定迭代步长、迭代范围、迭代次数和所述窗口区域的多个边缘特征点；
将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
按照设定迭代步长对初始匹配点进行设定迭代次数的更新，将达到迭代次数的更新后的初始匹配点作为最优匹配点。
在一个优选实施例中，所述图像窗口区域为矩形，以初始匹配点为中心，水平方向向左和向右设定范围，垂直向上和向下设定范围作为矩形的水平轴线和垂直轴线，在最相似的匹配块上构建图像窗口区域；所述多个边缘特征点为以初始匹配点为中心的图像窗口区域的四个顶点；所述迭代权重根据所述初始最优匹配点在水平方向和垂直方向上的小数点数值获得。
在上述各实施例中迭代步长、迭代范围、搜索精度的设定阈值和窗口区域根据追踪定位精度和效率平衡设定，例如，追踪定位精度误差为1像素，窗口区域为矩形，迭代范围中为初始匹配点-0.5到初始匹配点+0.5，迭代步长为0.2，搜索精度的设定阈值为0.95。
本发明所述用于虚拟场景的定位追踪误差校正方法通过计算机视觉和图像处理技术，通过对用户环境的深度感知，重构用户的三维数字空间场景地图，实时修正定位追踪误差。
在本发明的一个具体实施例中，所述虚拟场景显示在VR头戴式一体机,所述用于虚拟场景的定位追踪误差校正方法包括：
步骤S100，三维数字空间场景地图(虚拟场景地图)构建阶段，具体地包括：
当用户初次在该场景下进行VR体验时，需要构建三维数字空间场景地图。
需要用户戴上VR头戴式一体机，预先对该使用场景进行环境扫描，空间中的任何位置尽量让VR头戴上的追踪摄像头都扫描过。
步骤S110，左目和右目的标定参数，对VR头戴式显示设备上内置的左右目摄像头进行标定，例如，采用张正友标定法，可以获取到左，右目相机的内参Kleft和Krightt，左目相对右目的旋转平移矩阵TLeft2Right。获取当前帧的左右目摄像头环境捕捉数据，对环境捕捉的左目摄像头数据，进行特征点和特征向量获取，比如FAST检测，SIFT，SURF特点提取等方法，优选地，特征点检测算法为FAST检测。然后对检测的特征点进行特征向量提取，特征向量提取常规使用的方法如区域梯度提取法(对特征点的邻域5*5窗口，窗口中的每一个像素灰度值和特征点对应的像素灰度值计算像素梯度，依次遍历窗口中所像素，即可计算所有窗口像素的梯度，然后对梯度值进行归一化，可获得特征点的特征向量)等方法。通过双目立体成像原理，通过NCC(Normalized cross correlation)匹配算法和左目相对右目的旋转平移矩阵参数TLeft2Right(4*4矩阵)，获取到左目每一个特征点对应在右目图像上的位置，同时通过立体三角定位原理，计算出左右目图像上的特征点相对相机坐标系下的空间三维坐标Pointinit。
步骤S120，对步骤S110的特征点进行追踪，通过SFM(Structure From Motion)算法获取到世界坐标下被追踪的特征点的三维坐标Pointw。
步骤S130，通过每一帧获取到VR头戴式的6DoF追踪数据，把该6DoF信息赋给该帧图像上检测到的特征点相关属性信息。
步骤S140，通过步骤S110，步骤S120，和步骤S130，基于VR头戴上的追踪摄像头对整个环境空间进行扫描，当整个空间通过追踪摄像头扫描结束之后，把通过步骤S110，步骤S120获取的场景中的特征点信息按照一定数据结构(多叉树数据结构)保存在本地文件虚拟场景地图(RoomMapping)中。
步骤S200，实时修正定位追踪精度误差，包括物理与三维数字空间场景地图相关性对应和VR头戴式6DoF追踪精度实时修正，具体地：
步骤S210，物理与三维数字空间场景地图相关性对应，这个过程的目的是在用户开始启动VR头戴式一体机设备之后，在开始阶段，需要把当前6DOF的坐标系和三维数字空间场景地图的坐标系进行对应，具体地，包括：
步骤S211，按照步骤S100的方法，实时获取追踪摄像头的图像特征点和特征向量信息，和RoomMapping做快速匹配，查找出在三维空间环境中相同或者相似的特征点信息，常规的特征点匹配方法如汉明距离匹配，KNN匹配，RANSAC匹配等匹配方法，优选地，采用KNN匹配算法，取出和RoomMapping中相似度最大的50个特征点。
步骤S212，通过相机立体几何成像和透视投影关系，把当前帧图像的世界坐标系转换到当前帧对应的三维数字空间场景地图世界坐标系下，计算转换矩阵，
Figure BDA0002594079060000131
其中，
Figure BDA0002594079060000141
表示RoomMapping中地图点的对应在世界坐标系下的三维坐标；
Figure BDA0002594079060000142
表示当前帧图像上特征点对应在世界坐标系下的三维坐标；ΔT表示相机坐标系下的
Figure BDA0002594079060000143
相对
Figure BDA0002594079060000144
旋转和平移矩阵(转换矩阵)。通过步骤S211即可获得50个
Figure BDA0002594079060000145
与之对应的
Figure BDA0002594079060000146
点，然后通过PNP算法(pespective-n-point)求解出ΔT。
步骤S220，VR头戴式6DoF追踪精度实时修正，包括：
步骤S221，依次实时追踪摄像头的环境捕捉数据；结合步骤S210计算的ΔT，和实时获取的当前帧的6DOF信息，把RoomMapping中的世界坐标系下的三维图像特征点坐标，可投影到当前左目摄像头捕捉的图像的二维坐标位置Point2D。
步骤S222，对步骤S221获取到RoomMapping中的三维点云投影到当前图像上的二维坐标位置Point2D，通过归一化查找匹配策略(NCC(Normalized Cross Correlation))，获取每一个Point2D(u,v)图像位置在左目摄像头上对应的最相似的匹配块PatchLeft和初始的匹配位置Point2D；为了效率和匹配精度的平衡考虑，选择滑动查找的窗口大小为：5*5。
步骤S223，通过步骤S222，获取到Point2D和对应的最相似的匹配块PatchLeft，对该位置和对应的匹配块进一步进行亚像素匹配的亚像素匹配算法，获取最优的匹配位置MaxPosition。首先获取到每一个Point2D在RoomMapping对应的二维图像属性梯度值Meanref，然后依次用下面的方式进行迭代计算，如图2所示，迭代计算对应的图像窗口区域范围以Point2D位置为中心，水平方向往左2个像素，往右2个像素，垂直方向上往上2个像素，往下2个像素，在该图像区域进行迭代窗口迭代计算，MaxPosition的初始位置为Point2D的位置，每一次水平方向上的位置迭代步长为0.2，垂直方向上的位置迭代步长为0.2，水平方向和垂直方向上的迭代范围为[LocalPointu,v-0.5,LocalPointu,v+0.5]，其中，LocalPointu,v＝Point2D+ns，n为迭代次数，s为迭代步长；先获取MaxPosition初始位置的水平方向和垂直方向上的小数点数值Subpix_x,Subpix_y；计算迭代权重wTL,wTR,wBL,wBR，
wTL＝(1-Subpix_x)*(1-Subpix_y)
wTR＝Subpix_x*(1-Subpix_y)
wBL＝(1-Subpix_x)*Subpix_y
wBR＝Subpix_x*Subpix_y
其中，wTL,wTR,wBL,wBR分别为边缘特征点Point1,Point2,Point3,Point4的迭代权重；
然后对PatchLeft匹配块依次进行块的查找和匹配计算，每一次的匹配
GrayPoint＝wTL*GrayPoint1+wTR*GrayPoint2+wBL*
GrayPoint3+wBR*GrayPoint4
其中，GrayPoint1,GrayPoint2,GrayPoint3,GrayPoint4是按照顺序迭代中心点Point的左上位置，右上位置，左下位置和右下位置对应的像素值，GrayPoint为中心点的像素值；
当搜索精度search_ratio＝GrayPoint/Meanref>0.95，即图像上的Point2D在左目摄像头图像上找到了最优匹配点MaxPosition(x,y),迭代结束，或者迭代次数满足4，停止迭代，
MaxPosition(x)＝wTL*Point1(x)+wTR*Point2(x)+wBL*
Point3(x)+wBR*Point4(x)
MaxPosition(y)＝wTL*Point1(y)+wTR*Point2(y)+wBL*
Point3(y)+wBR*Point4(y)
其中，MaxPosition(x),MaxPosition(y)表示最优匹配点在水平方向和垂直方向上的坐标；Point1(x),Point1(y),Point2(x),Point2(y)，Point3(x),Point3(y),Point4(x),Point4(y)分别表示点Point1,Point2,Point3,Point4在水平方向上和垂直方向上的位置坐标信息。
步骤S224，按照步骤S223依次获取到RoomMapping中的每一个三维点信息投影到当前帧图像上最优匹配点MaxPosition。
步骤S225，基于多视图几何关系，通过PNP算法(pespective-n-point)求解出当前帧图像的相对空间世界坐标系下的最佳6DoF追踪信息。
上述用于虚拟场景的定位追踪误差校正方法中，根据VR头戴式一体机的一个主要使用场景，家庭场景，根据其环境的特点，一般家庭场景的可玩空间范围距离有限，而且用户一般在体验VR头戴式一体机时，基本上会在客厅或者卧室，或者客厅、卧室之间的空间范围内重复自由走动。基于该特点，设计出一种VR头戴式一体机定位追踪误差校正方法。
图3是本发明所述用于虚拟场景的定位追踪误差校正系统的构成框图的示意图，如图3所示，所述定位追踪误差校正系统，包括：
两个追踪摄像头1，扫描用户使用环境，分别获得左目图像和右目图像；
虚拟场景构建部2，通过两个追踪摄像头获得的左目图像和右目图像根据双目立体成像原理构建对应的三维虚拟场景；
坐标转换部3，将两个追踪摄像头的当前帧的世界坐标系转换到当前帧对应的虚拟场景构建部构建的虚拟场景的世界坐标系之下，并获得转换矩阵；
修正部4，通过坐标转换部的转换矩阵和当前帧的6DOF信息，通过图像匹配方法获得虚拟场景的世界坐标系下每一个三维特征点投影到当前帧上的最佳位置信息，从而实时修正6DOF定位追踪精度。
上述虚拟场景构建部2包括：
标定单元，对分别作为左目和右目的两个追踪摄像头进行标定，获得两个追踪摄像头的内参以及左目对应的追踪摄像头相对于右目对应的追踪摄像头的旋转平移矩阵；
图像采集单元，获取两个追踪摄像头的当前帧的环境捕捉图像，作为左目图像和右目图像；
特征提取单元，提取左目对应的追踪摄像头当前帧的左目图像的特征点和特征向量；
映射单元，根据双目立体成像原理，通过图像匹配方法以及上述旋转平移矩阵，获得左目图像上每一个特征点对应在右目图像上的位置；
第一坐标获得单元，通过立体三角定位原理，获得左目图像和右目图像上的特征点相对相机坐标系下的空间三维坐标；
第二坐标获得单元，追踪上述特征点，通过三维重建方法获取世界坐标下被追踪的特征点的三维坐标；
融合单元，将6DOF信息融合到被追踪的特征点的相关属性信息；
地图构建单元，通过两个追踪摄像头对用户使用环境的整体扫描，获得虚拟场景地图。
上述坐标转换部3包括：
相似度匹配单元，通过特征点匹配方法将左目图像和右目图像上的特征点与虚拟场景地图进行匹配，获得设定个数的相似度最大的特征点和地图点；
转换矩阵获得单元，通过当前帧上所述设定个数的相似度最大的特征点的世界坐标系下的三维坐标以及对应的虚拟场景地图的地图点的世界坐标系下的三维坐标，通过位姿估算的方法，获得当前帧的世界坐标系转换到当前帧对应的虚拟场景的世界坐标系之下的转换矩阵。
上述修正部4包括：
投影模块41，结合转换矩阵和当前帧的6DOF信息，将虚拟场景中世界坐标系下的地图点投影到当前帧的左目图像的二维坐标点；
第一匹配模块42，通过归一化查找匹配方法获取投影模块获得的每一个二维坐标点在左目图像上对应的最相似的匹配块和初始匹配点；
第二匹配模块43，通过亚像素匹配方法获取第一匹配模块获得的每一个初始匹配点在最相似的匹配块上的最优匹配点；
6DOF修正模块44，基于多视图几何关系，通过位姿估算方法，获得第二匹配模块的每一个最优匹配点的当前帧的世界坐标系下的最佳6DOF信息。
在一个实施例中，上述第二匹配模块43包括：
属性梯度值获得单元430，获取每一个二维坐标点在虚拟场景地图对应的二维图形属性梯度值；
图像窗口区域构建单元431，以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
设定单元432，设定迭代步长、迭代范围和所述窗口区域的多个边缘特征点；
初始化单元433，将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
迭代权重获得单元434，根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
像素值获得单元435，根据多个边缘特征点的像素值以及迭代权重获得初始匹配点的像素值；
搜索精度获得单元436，根据初始匹配点的像素值和所述二维图形属性梯度值获得此次迭代的搜索精度；
判断单元437，判断搜索精度是否大于设定阈值，如果所述搜索精度大于设定阈值，发送信号给最优匹配点获得单元；如果所述搜索精度不大于设定阈值，发送信号给更新单元；
更新单元438，采用设定步长对初始匹配点进行更新；
最优匹配点获得单元439，将满足判断单元的判断条件初始匹配点为最优匹配点。
在一个可选实施例中，上述第二匹配模块43包括：
图像窗口区域构建单元431，以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
设定单元432，设定迭代步长、迭代范围、迭代次数和所述窗口区域的多个边缘特征点；
初始化单元433，将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
迭代权重获得单元434，根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
计数单元，按照设定迭代步长对初始匹配点进行设定迭代次数的更新，将达到迭代次数的更新后的初始匹配点作为最优匹配点。
本发明提供的用于虚拟场景的定位追踪误差校正可以应用于电子装置，电子装置可以是服务器、手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端客户端。
电子装置可以包括存储器、处理器、网络接口和通信总线，其中：
存储器包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置的内部存储单元，例如该电子装置的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置的外部存储器，例如所述电子装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
所述存储器的可读存储介质通常用于存储安装的用于虚拟场景的定位追踪误差校正程序等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
处理器在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行存储器中存储的程序代码或处理数据，例如执行所述用于虚拟场景的定位追踪误差校正程序，实现上述各实施例中用于虚拟场景的定位追踪误差校正方法的步骤。
网络接口可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置与其他电子客户端之间建立通信连接。
通信总线用于实现这些组件之间的连接通信。
需要说明的是，在本发明中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端客户端(可以是手机，计算机，服务器，或者网络客户端等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种用于虚拟场景的定位追踪误差校正方法，其特征在于，包括：
采用两个追踪摄像头扫描用户使用环境，分别获得左目图像和右目图像，根据双目立体成像原理构建对应的三维虚拟场景；
将两个追踪摄像头当前帧的世界坐标系转换到当前帧对应的虚拟场景的世界坐标系之下，并获得转换矩阵；
通过转换矩阵和当前帧的6DOF信息，通过图像匹配方法获得虚拟场景的世界坐标系下每一个三维特征点投影到当前帧上的最佳位置信息，从而实时修正6DOF定位追踪精度，
其中，所述实时修正6DOF定位追踪精度的步骤包括：
结合转换矩阵和当前帧的6DOF信息，将虚拟场景中世界坐标系下的地图点投影到当前帧的左目图像的二维坐标点；
通过归一化查找匹配方法获取每一个二维坐标点在左目图像上对应的最相似的匹配块和初始匹配点；
通过亚像素匹配方法获取每一个初始匹配点在最相似的匹配块上的最优匹配点；
基于多视图几何关系，通过位姿估算方法，获得每一个最优匹配点的当前帧的世界坐标系下的最佳6DOF信息。
2.根据权利要求1所述的用于虚拟场景的定位追踪误差校正方法，其特征在于，所述根据双目立体成像原理构建对应的三维虚拟场景的步骤包括：
对分别作为左目和右目的两个追踪摄像头进行标定，获得两个追踪摄像头的内参以及左目对应的追踪摄像头相对于右目对应的追踪摄像头的旋转平移矩阵；
根据双目立体成像原理，通过图像匹配方法以及上述旋转平移矩阵，获得左目图像上每一个特征点对应在右目图像上的位置；
通过立体三角定位原理，获得左目图像和右目图像上的特征点相对相机坐标系下的空间三维坐标；
追踪上述特征点，通过三维重建方法获取世界坐标下被追踪的特征点的三维坐标；
将6DOF信息融合到被追踪的特征点的相关属性信息；
通过两个追踪摄像头对用户使用环境的整体扫描，获得虚拟场景地图。
3.根据权利要求1所述的用于虚拟场景的定位追踪误差校正方法，其特征在于，所述将两个追踪摄像头当前帧的世界坐标系转换到当前帧对应的虚拟场景的世界坐标系之下，并获得转换矩阵的步骤包括：
通过特征点匹配方法将左目图像和右目图像上的特征点与虚拟场景地图进行匹配，获得设定个数的相似度最大的特征点和地图点；
通过当前帧上所述设定个数的相似度最大的特征点的世界坐标系下的三维坐标以及对应的虚拟场景地图的地图点的世界坐标系下的三维坐标，通过位姿估算的方法，获得当前帧的世界坐标系转换到当前帧对应的虚拟场景的世界坐标系之下的转换矩阵。
4.根据权利要求1所述的用于虚拟场景的定位追踪误差校正方法，其特征在于，所述通过归一化查找匹配方法获取每一个二维坐标点在左目图像上对应的最相似的匹配块和初始匹配点的步骤包括：
采用滑动窗口的方法，通过归一化查找匹配方法获取每一个二维坐标点在左目图像上对应的最相似的匹配块和初始匹配点。
5.根据权利要求1所述的用于虚拟场景的定位追踪误差校正方法，其特征在于，所述通过亚像素匹配方法获取每一个初始匹配点在最相似的匹配块上的最优匹配点的步骤包括：
获取每一个二维坐标点在虚拟场景地图对应的二维图形属性梯度值；
以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点，
其中，所述在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点的步骤包括：
设定迭代步长、迭代范围和所述窗口区域的多个边缘特征点；
将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
根据多个边缘特征点的像素值以及迭代权重获得初始匹配点的像素值；
根据初始匹配点的像素值和所述二维图形属性梯度值获得此次迭代的搜索精度；
判断搜索精度是否大于设定阈值；
如果所述搜索精度大于设定阈值，将初始匹配点为最优匹配点；
如果所述搜索精度不大于设定阈值，采用设定步长对初始匹配点进行更新，通过更新后的初始匹配点更新初始匹配点的像素值，直至搜索精度大于设定阈值。
6.根据权利要求1所述的用于虚拟场景的定位追踪误差校正方法，其特征在于，所述通过亚像素匹配方法获取每一个初始匹配点在最相似的匹配块上的最优匹配点的步骤包括：
以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点，
其中，所述在所述图像窗口区域内采用设定的迭代步长进行迭代获得最优匹配点的步骤包括：
设定迭代步长、迭代范围、迭代次数和所述窗口区域的多个边缘特征点；
将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
按照设定迭代步长对初始匹配点进行设定迭代次数的更新，将达到迭代次数的更新后的初始匹配点作为最优匹配点。
7.根据权利要求5或6所述的用于虚拟场景的定位追踪误差校正方法，其特征在于，所述图像窗口区域为矩形，以初始匹配点为中心，水平方向向左和向右设定范围，垂直向上和向下设定范围作为矩形的水平轴线和垂直轴线，在最相似的匹配块上构建图像窗口区域；所述多个边缘特征点为以初始匹配点为中心的图像窗口区域的四个顶点；所述迭代权重根据所述初始最优匹配点在水平方向和垂直方向上的小数点数值获得。
8.一种用于虚拟场景的定位追踪误差校正系统，其特征在于，包括：
两个追踪摄像头，扫描用户使用环境，分别获得左目图像和右目图像；
虚拟场景构建部，通过两个追踪摄像头获得的左目图像和右目图像根据双目立体成像原理构建对应的三维虚拟场景；
坐标转换部，将两个追踪摄像头的当前帧的世界坐标系转换到当前帧对应的虚拟场景构建部构建的虚拟场景的世界坐标系之下，并获得转换矩阵；
修正部，通过坐标转换部的转换矩阵和当前帧的6DOF信息，通过图像匹配方法获得虚拟场景的世界坐标系下每一个三维特征点投影到当前帧上的最佳位置信息，从而实时修正6DOF定位追踪精度，
其中，所述修正部包括：
投影模块，结合转换矩阵和当前帧的6DOF信息，将虚拟场景中世界坐标系下的地图点投影到当前帧的左目图像的二维坐标点；
第一匹配模块，通过归一化查找匹配方法获取投影模块获得的每一个二维坐标点在左目图像上对应的最相似的匹配块和初始匹配点；
第二匹配模块，通过亚像素匹配方法获取第一匹配模块获得的每一个初始匹配点在最相似的匹配块上的最优匹配点；
6DOF修正模块，基于多视图几何关系，通过位姿估算方法，获得第二匹配模块的每一个最优匹配点的当前帧的世界坐标系下的最佳6DOF信息。
9.根据权利要求8所述的用于虚拟场景的定位追踪误差校正系统，其特征在于，所述第二匹配模块包括：
属性梯度值获得单元，获取每一个二维坐标点在虚拟场景地图对应的二维图形属性梯度值；
图像窗口区域构建单元，以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
设定单元，设定迭代步长、迭代范围和所述窗口区域的多个边缘特征点；
初始化单元，将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
迭代权重获得单元，根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
像素值获得单元，根据多个边缘特征点的像素值以及迭代权重获得初始匹配点的像素值；
搜索精度获得单元，根据初始匹配点的像素值和所述二维图形属性梯度值获得此次迭代的搜索精度；
判断单元，判断搜索精度是否大于设定阈值，如果所述搜索精度大于设定阈值，发送信号给最优匹配点获得单元；如果所述搜索精度不大于设定阈值，发送信号给更新单元；
更新单元，采用设定步长对初始匹配点进行更新；
最优匹配点获得单元，将满足判断单元的判断条件初始匹配点为最优匹配点。
10.根据权利要求8所述的用于虚拟场景的定位追踪误差校正系统，其特征在于，所述第二匹配模块包括：
图像窗口区域构建单元，以初始匹配点为中心，在最相似的匹配块上构建图像窗口区域；
设定单元，设定迭代步长、迭代范围、迭代次数和所述窗口区域的多个边缘特征点；
初始化单元，将初始匹配点作为初始最优匹配点，获得初始最优匹配点在初始匹配点和多个边缘特征点构成的向量方向上的小数点数值；
迭代权重获得单元，根据所述初始最优匹配点在向量方向上的小数点数值获得多个边缘特征点的迭代权重；
计数单元，按照设定迭代步长对初始匹配点进行设定迭代次数的更新，将达到迭代次数的更新后的初始匹配点作为最优匹配点。
CN202010704288.6A 2020-07-21 2020-07-21 用于虚拟场景的定位追踪误差校正方法及系统 Active CN112083403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010704288.6A CN112083403B (zh) 2020-07-21 2020-07-21 用于虚拟场景的定位追踪误差校正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010704288.6A CN112083403B (zh) 2020-07-21 2020-07-21 用于虚拟场景的定位追踪误差校正方法及系统

Publications (2)

Publication Number Publication Date
CN112083403A true CN112083403A (zh) 2020-12-15
CN112083403B CN112083403B (zh) 2023-10-10

Family

ID=73735140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010704288.6A Active CN112083403B (zh) 2020-07-21 2020-07-21 用于虚拟场景的定位追踪误差校正方法及系统

Country Status (1)

Country Link
CN (1) CN112083403B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259649A (zh) * 2021-05-06 2021-08-13 青岛小鸟看看科技有限公司 基于场景摄像头重定位的虚拟现实方法、系统
CN114396944A (zh) * 2022-01-18 2022-04-26 西安塔力科技有限公司 一种基于数字孪生的自主定位误差矫正方法
CN114624688A (zh) * 2022-03-15 2022-06-14 电子科技大学 一种基于多传感器联合的跟踪定位方法
TWI812369B (zh) * 2021-07-28 2023-08-11 宏達國際電子股份有限公司 控制方法、追蹤系統以及非暫態電腦可讀取媒體

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120084635A (ko) * 2011-01-20 2012-07-30 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN109143214A (zh) * 2018-07-26 2019-01-04 上海乐相科技有限公司 一种采用激光扫描的目标定位方法及装置
WO2019157925A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120084635A (ko) * 2011-01-20 2012-07-30 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
WO2019157925A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN109143214A (zh) * 2018-07-26 2019-01-04 上海乐相科技有限公司 一种采用激光扫描的目标定位方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
党彦辉;刘国忠;: "一种基于双目立体视觉追踪眼球运动的方法", 电子世界, no. 11, pages 103 - 105 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259649A (zh) * 2021-05-06 2021-08-13 青岛小鸟看看科技有限公司 基于场景摄像头重定位的虚拟现实方法、系统
TWI812369B (zh) * 2021-07-28 2023-08-11 宏達國際電子股份有限公司 控制方法、追蹤系統以及非暫態電腦可讀取媒體
CN114396944A (zh) * 2022-01-18 2022-04-26 西安塔力科技有限公司 一种基于数字孪生的自主定位误差矫正方法
CN114396944B (zh) * 2022-01-18 2024-03-22 西安塔力科技有限公司 一种基于数字孪生的自主定位误差矫正方法
CN114624688A (zh) * 2022-03-15 2022-06-14 电子科技大学 一种基于多传感器联合的跟踪定位方法
CN114624688B (zh) * 2022-03-15 2023-04-07 电子科技大学 一种基于多传感器联合的跟踪定位方法

Also Published As

Publication number Publication date
CN112083403B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN112083403B (zh) 用于虚拟场景的定位追踪误差校正方法及系统
CN107990899B (zh) 一种基于slam的定位方法和系统
CN107705333B (zh) 基于双目相机的空间定位方法及装置
US9928656B2 (en) Markerless multi-user, multi-object augmented reality on mobile devices
US9420265B2 (en) Tracking poses of 3D camera using points and planes
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
EP2614487B1 (en) Online reference generation and tracking for multi-user augmented reality
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
US8953847B2 (en) Method and apparatus for solving position and orientation from correlated point features in images
US20160239976A1 (en) Photogrammetric methods and devices related thereto
CN110176032B (zh) 一种三维重建方法及装置
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
CN107646109B (zh) 管理电子设备上的环境映射的特征数据
JP6985897B2 (ja) 情報処理装置およびその制御方法、プログラム
CN113052907B (zh) 一种动态环境移动机器人的定位方法
KR101869605B1 (ko) 평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법
JP2006234703A (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
CN114981845A (zh) 图像扫描方法及装置、设备、存储介质
WO2014203743A1 (en) Method for registering data using set of primitives
US11417063B2 (en) Determining a three-dimensional representation of a scene
CN112767482B (zh) 一种多传感器融合的室内外定位方法及系统
US20230410451A1 (en) Augmented reality implement apparatus and method using mobile scanned object model scaling
JP6835665B2 (ja) 情報処理装置及びプログラム
CN115516524A (zh) 基于视觉的重定位方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant