CN112053447B - 一种增强现实三维注册方法及装置 - Google Patents

一种增强现实三维注册方法及装置 Download PDF

Info

Publication number
CN112053447B
CN112053447B CN202010745429.9A CN202010745429A CN112053447B CN 112053447 B CN112053447 B CN 112053447B CN 202010745429 A CN202010745429 A CN 202010745429A CN 112053447 B CN112053447 B CN 112053447B
Authority
CN
China
Prior art keywords
camera
points
pose
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010745429.9A
Other languages
English (en)
Other versions
CN112053447A (zh
Inventor
张建富
冯平法
赵甘霖
吴志军
郁鼎文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010745429.9A priority Critical patent/CN112053447B/zh
Publication of CN112053447A publication Critical patent/CN112053447A/zh
Application granted granted Critical
Publication of CN112053447B publication Critical patent/CN112053447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种增强现实三维注册方法及装置，方法包括：标定相机，获取相机的内参及输入模板图像；通过相机采集环境实时的彩色图与深度图，同时提取彩色图中的特征点与输入模板图像进行特征点匹配，并计算相机初始位姿；在已初始化的帧上均匀选取预设数量的具有像素灰度梯度和深度值的像素点，并剔除因前景物体遮挡区域的点，在获取新的一帧上追踪这些像素点，且计算获得相机相对于模板图像的位姿；利用相机相对于模板图像的位姿和相机内参构建投影矩阵和模型矩阵，将绘制的虚拟物体投影到当前帧的图像上，生成三维注册的虚拟显示结果。该方法整体计算速度快、帧间注册稳定、且抗遮挡能力强，适用于对帧率和稳定性要求高且存在较多遮挡的场景。

Description

一种增强现实三维注册方法及装置
技术领域
本发明涉及增强现实技术领域，特别涉及一种增强现实三维注册方法及装置。
背景技术
增强现实(Augmented Reality，AR)是一种实时计算摄像机影像的位置及角度并加上相应视觉特效的技术。这种技术的目标是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过计算机技术模拟后叠加，在屏幕上把虚拟影像叠加在现实场景中，从而达到超越现实的感官体验。目前，增强现实技术在装配与维修、教育与培训、医疗、设计等方面具有广阔的应用与发展前景。
在增强现实的应用中，最关键的技术为三维注册技术：为了实现虚拟场景与真实场景的无缝叠加，将虚拟场景准确定位到真实环境中，并且在真实场景中根据目标位置的变化来实时获取位姿态的过程。其中，基于计算机视觉的三维注册方法因其具有成本低、通用性好、布置简单等特点成为三维注册中的主流方法。
基于计算机视觉的三维注册方法主要分为基于标志物和基于无标志物两种方法。传统基于标志物的方法具有实时性好，计算复杂度低的优势，但因其需要在场景中提前布置标志物，流程复杂，并不适用于大多自然场景。而基于无标志物的方法不需要在环境中进行提前布置，可以依据环境中的自然特征进行匹配定位和注册，是目前相关领域研究的热点。
传统基于无标志物的方法一般采取SIFT、SURF、ORB等特征点提取算法进行逐帧提取和匹配，但这种方法存在因特征点逐帧提取导致计算开销大、注册帧率低、位姿矩阵计算稳定性差等问题。同时若特征点提取区域被前景物体遮挡，则会导致注册失效，抗遮挡能力不好。
相关技术中，(1)一种基于ORB算子的无标志三维注册方法，所述方法通过构建图像金字塔在不同分辨率图像中提取ORB特征点并计算描述子，在最高两层金字塔中跟踪特征点并计算单应性矩阵，在下两层金字塔中对位姿矩阵进行优化。该方法具有以下不足：1、在每一层金字塔上提取ORB特征点导致计算效率和注册帧率低。2、当特征点被遮挡时会使参考点数量减少，导致注册精度下降乃至注册失效。3、由于该方法通过计算单应性矩阵得到相机位姿，所以只适用于平面物体注册场景，应用范围较窄。(2)一种基于ORB算子的无标志三维注册方法，所述方法通过在每一帧提取ORB特征并计算描述子，通过栅格化处理优化提取特征点对的分布，再利用平面检测剔除误匹配点，最后计算出单应性矩阵或基本矩阵完成三维注册。该方法具有以下不足：1、逐帧提取ORB特征点并进行栅格化处理计算开销大，导致注册帧率低。2、逐帧提取ORB特征点使得位姿矩阵值不稳定，导致注册画面抖动。3、当特征点被遮挡时会使参考点数量减少，导致注册精度下降乃至注册失效。
综上所述，在目前的基于无标志物的三维注册方法中，主要存在以下三种不足：1、由于特征点提取算法的计算开销大，逐帧提取特征点会导致注册帧率很低，影响增强现实系统人机交互效果。2、由于特征点提取的数量和区域限制，导致注册方法对前景物体的遮挡很敏感，在存在遮挡时容易发生注册误差增大和注册失效的情况。3、特征点匹配过程由于存在大量误匹配点需要利用特定算法进行误匹配点对剔除，但这样会使得匹配点对数量和稳定性下降，导致位姿计算误差较大且稳定性较差。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一目的在于提出一种增强现实三维注册方法，解决了现有无标记增强现实三维注册方法存在的帧率低、注册画面抖动大、抗遮挡能力较弱的问题，整体计算速度快、帧间注册稳定、且具有较强的抗遮挡能力，适用于对帧率和稳定性要求高，且存在较多遮挡的场景，如增强现实辅助装配场景。
本发明的第二个目的在于提出一种增强现实三维注册装置。
为达到上述目的，本发明第一方面实施例提供一种增强现实三维注册方法，包括以下步骤：离线步骤：标定RGB-D相机，获取所述RGB-D相机的内参，并且获取输入模板图像，提取输入RGB图像中的特征点，并计算特征点的描述子；初始化步骤：通过所述RGB-D相机采集环境实时的彩色图与深度图，同时提取所述彩色图中的特征点与所述输入模板图像进行特征点匹配，其中，在经过误匹配剔除后特征点的匹配数量大于预设阈值，则计算相机初始化位姿，并结束所述初始化步骤；跟踪步骤：在已初始化的帧上均匀选取预设数量的具有像素灰度梯度和深度值的像素点，并剔除因前景物体遮挡区域的点，在获取新的一帧上追踪这些像素点，且对追踪点利用半稠密直接法进行追踪计算相机位姿，及结合所述初始化位姿，获得相机相对于模板图像的位姿；注册步骤：利用所述相机相对于模板图像的位姿和所述相机内参构建投影矩阵和模型矩阵，将绘制的虚拟物体投影到当前帧的图像上，生成三维注册的虚拟显示结果。
根据本发明实施例的增强现实三维注册方法，利用复合ICP与PnP算法迭代优化求解相机位姿的方法，通过结合3D-3D和3D-2D特征点保证了图片信息获取完整，从而得到基于RGB-D信息下更为准确的初始化位姿估计值；利用半稠密直接法跟踪计算帧间位姿变化，相比传统特征点法提高了三维注册过程中的稳定性和计算速度；利用一种基于均布半稠密梯度像素点的跟踪选点方式，通过剔除环境中前景物体的遮挡区域，从而实现在遮挡环境下的稳定准确注册效果。
另外，根据本发明上述实施例的增强现实三维注册方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述离线步骤具体包括：利用张正友标定法标定所述RGB-D相机，并获取所述RGB-D相机的内参；读取所述输入模板图像的彩色图和深度图；在所述输入模板图像的彩色图上提取Oriented FAST特征点；计算所述OrientedFAST特征点的Rotated BRIEF描述子。
进一步地，在本发明的一个实施例中，所述初始化步骤包括：开启所述RGB-D相机，以获取所述彩色图与深度图；提取当前帧彩色图的Oriented FAST特征点，并计算RotatedBRIEF描述子；通过预设的Flann匹配器对所述输入模板图像和所述当前帧图像中的特征点进行knn匹配，获得最近邻及次近邻匹配点；利用比值判别法删除离群匹配点，当最近邻匹配和次近邻匹配的距离比值小于0.6阈值时，则认为该最近邻匹配为最优匹配；判断若获得的最优匹配点数量大于第一预设阈值，则分别在所述模板图像和当前深度图上提取所有特征点对的深度值，并通过所述内参计算出全部特征点对的空间三维坐标，以获取3D-3D特征点对；在获取到匹配特征点的三维空间点坐标后，利用复合PnP及ICP优化迭代算法求解所述相机初始化位姿。
进一步地，在本发明的一个实施例中，所述跟踪步骤具体包括：在当前已通过初始化或跟踪计算出相机位姿的帧上均匀随机选取预设数量具有像素灰度梯度的点；剔除深度值小于所述第二预设阈值和帧间深度值变化大于第三预设阈值的像素点；若剔除后追踪点数量大于第四预设阈值，则通过半稠密直接法计算当前帧和下一帧之间的位姿变化关系，否则返回所述初始化步骤；将通过所述半稠密直接法计算得到的帧间相对位姿乘上当前帧的位姿得到新的一帧相对于模板图像的位姿变化矩阵。
进一步地，在本发明的一个实施例中，所述注册步骤具体包括：在OpenGL中根据所述内参计算出投影矩阵，并根据相机位姿计算出视景矩阵；绘制虚拟物体，并显示在图像坐标系中。
为达到上述目的，本发明第二方面实施例提供一种增强现实三维注册装置，包括：离线模块，用于标定RGB-D相机，获取所述RGB-D相机的内参，并且获取输入模板图像，提取输入RGB图像中的特征点，并计算特征点的描述子；初始化模块，用于通过所述RGB-D相机采集环境实时的彩色图与深度图，同时提取所述彩色图中的特征点与所述输入模板图像进行特征点匹配，其中，在经过误匹配剔除后特征点的匹配数量大于预设阈值，则计算相机初始化位姿，所述初始化模块结束；跟踪模块，用于在已初始化的帧上均匀选取预设数量的具有像素灰度梯度和深度值的像素点，并剔除因前景物体遮挡区域的点，在获取新的一帧上追踪这些像素点，且对追踪点利用半稠密直接法进行追踪计算相机位姿，及结合所述初始化位姿，获得相机相对于模板图像的位姿；注册模块，用于利用所述相机相对于模板图像的位姿和所述相机内参构建投影矩阵和模型矩阵，将绘制的虚拟物体投影到当前帧的图像上，生成三维注册的虚拟显示结果。
根据本发明实施例的增强现实三维注册装置，利用复合ICP与PnP算法迭代优化求解相机位姿的方法，通过结合3D-3D和3D-2D特征点保证了图片信息获取完整，从而得到基于RGB-D信息下更为准确的初始化位姿估计值；利用半稠密直接法跟踪计算帧间位姿变化，相比传统特征点法提高了三维注册过程中的稳定性和计算速度；利用一种基于均布半稠密梯度像素点的跟踪选点方式，通过剔除环境中前景物体的遮挡区域，从而实现在遮挡环境下的稳定准确注册效果。
另外，根据本发明上述实施例的增强现实三维注册装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述离线模块进一步用于利用张正友标定法标定所述RGB-D相机，并获取所述RGB-D相机的内参；读取所述输入模板图像的彩色图和深度图；在所述输入模板图像的彩色图上提取Oriented FAST特征点；计算所述OrientedFAST特征点的Rotated BRIEF描述子。
进一步地，在本发明的一个实施例中，所述初始化模块进一步用于开启所述RGB-D相机，以获取所述彩色图与深度图；提取当前帧彩色图的Oriented FAST特征点，并计算Rotated BRIEF描述子；通过预设的Flann匹配器对所述输入模板图像和所述当前帧图像中的特征点进行knn匹配，获得最近邻及次近邻匹配点；利用比值判别法删除离群匹配点，当最近邻匹配和次近邻匹配的距离比值小于0.6阈值时，则认为该最近邻匹配为最优匹配；判断若获得的最优匹配点数量大于第一预设阈值，则分别在所述模板图像和当前深度图上提取所有特征点对的深度值，并通过所述内参计算出全部特征点对的空间三维坐标，以获取3D-3D特征点对；在获取到匹配特征点的三维空间点坐标后，利用复合PnP及ICP优化迭代算法求解所述相机初始化位姿。
进一步地，在本发明的一个实施例中，所述跟踪模块进一步用于在当前已通过初始化或跟踪计算出相机位姿的帧上均匀随机选取预设数量具有像素灰度梯度的点；剔除深度值小于所述第二预设阈值和帧间深度值变化大于第三预设阈值的像素点；若剔除后追踪点数量大于第四预设阈值，则通过半稠密直接法计算当前帧和下一帧之间的位姿变化关系，否则返回所述初始化步骤；将通过所述半稠密直接法计算得到的帧间相对位姿乘上当前帧的位姿得到新的一帧相对于模板图像的位姿变化矩阵。
进一步地，在本发明的一个实施例中，所述注册模块进一步用于在OpenGL中根据所述内参计算出投影矩阵，并根据相机位姿计算出视景矩阵；绘制虚拟物体，并显示在图像坐标系中。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例提供的增强现实三维注册方法的流程示意图；
图2为根据本发明一个实施例提供的增强现实三维注册方法的流程示意图；
图3为根据本发明实施例提供的模板图像彩色图示意图；
图4为根据本发明实施例提供的模板图像深度图示意图；
图5为根据本发明实施例提供的采集的环境图像与模板图像的特征点匹配结果示意图；
图6为根据本发明实施例提供的复合ICP与PnP算法示意图；
图7为根据本发明实施例提供的半稠密直接法算法示意图；
图8为根据本发明实施例提供的半稠密直接法跟踪像素点的示意图；
图9为根据本发明实施例提供的存在前景遮挡情况下半稠密直接法跟踪像素点的示意图；
图10为根据本发明实施例提供的三维注册效果示意图；
图11为根据本发明实施例提供的存在前景遮挡情况下三维注册效果示意图；
图12为根据本发明实施例的增强现实三维注册装置的示例图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的增强现实三维注册方法及装置，首先将参照附图描述根据本发明实施例提出的增强现实三维注册方法。
具体而言，图1为本发明实施例所提供的一种增强现实三维注册方法的流程示意图。
如图1所示，该增强现实三维注册方法包括以下步骤：
在步骤S101中，离线步骤：标定RGB-D相机，获取RGB-D相机的内参，并且获取输入模板图像，提取输入RGB图像中的特征点，并计算特征点的描述子。
可以理解的是，如图2所示，离线阶段首先标定RGB-D相机并获取相机内参。然后获取输入模板图像，为三维注册提供参照。进一步地，提取输入RGB图像中的特征点，并计算特征点的描述子。
具体而言，离线阶段具体步骤如下：
①利用张正友标定法标定RGB-D相机并获取相机内参；
②读取模板图像的彩色图和深度图；
③在模板图像的彩色图上提取Oriented FAST特征点；
④计算Oriented FAST特征点的Rotated BRIEF描述子。
在步骤S102中，初始化步骤：通过RGB-D相机采集环境实时的彩色图与深度图，同时提取彩色图中的特征点与输入模板图像进行特征点匹配，其中，在经过误匹配剔除后特征点的匹配数量大于预设阈值，则计算相机初始化位姿，并结束初始化步骤。
可以理解的是，如图2所示，初始化阶段首先开启RGB-D相机获取环境实时彩色图与深度图，同时提取环境彩色图中的特征点与离线阶段获取的模板图像进行特征点匹配，若经过误匹配剔除后特征点匹配数量大于阈值，则计算相机初始化位姿并结束初始化阶段。
具体而言，初始化阶段步骤如下：
①开启RGB-D相机获取环境实时彩色图与深度图；
②提取当前帧彩色图的Oriented FAST特征点并计算Rotated BRIEF描述子；
③创建Flann(快速最近邻逼近搜索函数库)匹配器对模板图像和当前帧图像中的特征点进行knn(k近邻算法)匹配，取k＝2，获得最近邻及次近邻匹配点。
④利用比值判别法删除离群匹配点，当最近邻匹配和次近邻匹配的距离比值小于阈值0.6时，则认为该最近邻匹配是一个优秀的匹配。
⑤判断若获得的优秀的匹配点数量大于阈值，则分别在模板和当前帧的深度图上提取所有特征点对的深度值，并通过相机内参计算出全部特征点对的空间三维坐标，获取3D-3D特征点对。由于深度相机本身获取深度的特点，可能存在当前帧无法读取某点深度值的情况，对于无法读取深度值的点则获取3D-2D特征点对。另一方面若匹配点数量小于100，则获取新的一帧重新进行初始化阶段。
⑥获取到匹配特征点的三维空间点坐标后，利用复合PnP及ICP优化迭代算法求解初始化相机位姿，至此完成初始化阶段。
需要说明的是，复合PnP及ICP优化迭代算法具体实现原理和流程如下：
由于在深度摄像机获取环境点深度时会由于距离、角度、材料、光照等原因获取深度失败无法构建三维点的情况，在不损失特征点信息的情况下，分别获取3D-3D和3D-2D点对，利用非线性优化方法牛顿高斯法构建PnP与ICP模型叠加优化计算位姿矩阵。
考虑N个三维空间点P及匹配好的投影二维像素点p，和M个空间三维点Q及匹配好的三维空间点q。为了计算相机位姿R，t，设相机位姿的李群表示为T。则匹配点的对应关系为：
Figure BDA0002608178340000071
其中K为相机内参矩阵，si为空间点Pi投影到当前帧上的点对应的深度值。
根据上述关系构建最小化重投影误差问题，寻找最佳的相机位姿使误差最小化，最小二乘问题的形式如下所示：
3D-2D特征点对：
Figure BDA0002608178340000072
3D-3D特征点对：
Figure BDA0002608178340000073
整体叠加：
Figure BDA0002608178340000074
为了利用牛顿高斯法求解该非线性优化问题需要计算重投影误差关于相机位姿李代数的一阶变化关系。记点Pi经过位姿变化后的点为P′i＝(X′Pi,Y′Pi,Z′Pi)，点Qj经过位姿变化后的点为Q′j＝(X′Qj,Y′Qj,Z′Qj)，李代数扰动量为δξ，相机焦距在x,y方向的分量分别为fx和fy，则根据李代数扰动模型可以推出如下雅克比矩阵：
Figure BDA0002608178340000075
Figure BDA0002608178340000076
根据上述计算得到的重投影误差函数和雅克比矩阵，利用牛顿高斯法求解相机初始化位姿，具体步骤如下：
给定位姿估计的初值T0(N≥M时由PnP算法计算T0，N<M时由ICP算法计算T0)；
对于第k次迭代，对每一个3D-3D和3D-2D特征点对求出当前的雅克比矩阵
Figure BDA0002608178340000081
和
Figure BDA0002608178340000082
及重投影误差
Figure BDA0002608178340000083
和
Figure BDA0002608178340000084
求解增量方程HkΔξk＝gk,其中
Figure BDA0002608178340000085
若Δξk小于规定的阈值，则停止迭代，输出优化计算的相机位姿结果Tk。否则，令
Figure BDA0002608178340000086
并进行第k+1次迭代。
在步骤S103中，跟踪步骤：在已初始化的帧上均匀选取预设数量的具有像素灰度梯度和深度值的像素点，并剔除因前景物体遮挡区域的点，在获取新的一帧上追踪这些像素点，且对追踪点利用半稠密直接法进行追踪计算相机位姿，及结合初始化位姿，获得相机相对于模板图像的位姿。
可以理解的是，如图2所示，在已初始化的帧上均匀选取一定数量的具有像素灰度梯度和深度值的像素点，并在其中剔除因前景物体遮挡区域的点，从而实现抗遮挡效果。进一步获取新的一帧对追踪点利用半稠密直接法进行追踪计算相机位姿。结合初始化的相机位姿，最终获得相机相对于模板图像的位姿。
具体而言，完成初始化阶段并计算出相机初始化位姿后，开始进行逐帧跟踪，跟踪阶段具体步骤如下：
①在当前已通过初始化或跟踪计算出相机位姿的帧上均匀随机选取一定数量具有像素灰度梯度的点；
②剔除深度值小于阈值和帧间深度值变化大于一定值的像素点，通过这样的剔除点方式保证注册的抗遮挡能力，利用未被遮挡的点进行相机位姿计算；
③若剔除后追踪点数量大于阈值，则通过半稠密直接法计算当前帧和下一帧之间的位姿变化关系，否则认为存在大范围遮挡或丢失视野，返回初始化阶段重新进行初始化；
④将通过半稠密直接法计算得到的帧间相对位姿乘上当前帧的位姿即可得到新的一帧相对于初始模板图像的位姿变化矩阵，至此完成跟踪阶段的计算过程。
半稠密直接法计算帧间位姿的具体实现原理和流程如下：
由于特征点法计算连续帧位姿时会存在计算开销大、稳定性不好、易被遮挡等情况，会导致注册画面抖动、帧率低、容易注册失败等问题。故本发明采用半稠密直接法来计算帧间位姿变化，其基本假设为同一空间三维点在各个视角下测到的灰度值不变，对于室内很定光源场景较为适用。
考虑N个三维空间点P及其在两帧图像上的投影点p1与p2，以第一帧作为相机位姿参考，设第二帧相对第一帧的位姿对应的李群为T，相机内参为K。
基于基本假设，通过灰度误差优化相机位姿计算，最小二乘问题形式如下：
Figure BDA0002608178340000091
其中I1(p1)，I2(p2)分别为两帧上投影点的灰度值。
类似于复合PnP及ICP优化迭代算法的解法，利用牛顿高斯法求解。记点Pi＝(Xi,Yi,Zi)，p2i＝(ui,vi)，李代数扰动量为δξ，相机焦距在x,y方向的分量分别为fx和fy，则根据李代数扰动模型可以推出如下雅克比矩阵：
Figure BDA0002608178340000092
其中：
Figure BDA0002608178340000093
Figure BDA0002608178340000094
本发明实施例利用牛顿高斯法求解半稠密直接法的步骤如下：
首先构建输入两帧图像的图像金字塔，使计算过程具有一定的尺寸不变性；
由于单个像素点的灰度值区分性较差，故本发明对每个像素点取周围的5×5像素块中每个像素进行迭代计算，保证了跟踪的准确性；
利用双线性差值法计算像素块灰度值；
给定位姿估计的初值T0；
对于第k次迭代，对每一个跟踪点求出当前的雅克比矩阵Ji k和灰度误差
Figure BDA0002608178340000095
求解增量方程：HkΔξk＝gk,其中，
Figure BDA0002608178340000101
若Δξk小于规定的阈值，则停止迭代，输出优化计算的相机位姿结果Tk。否则，令
Figure BDA0002608178340000102
并进行第k+1次迭代。
在步骤S104中，注册步骤：利用相机相对于模板图像的位姿和相机内参构建投影矩阵和模型矩阵，将绘制的虚拟物体投影到当前帧的图像上，生成三维注册的虚拟显示结果。
可以理解的是，如图2所示，利用跟踪阶段计算得到的相机相对于模板图像的位姿和相机内参在OpenGL中构建投影矩阵和模型矩阵，将绘制的虚拟物体投影到当前帧的图像上，从而完成三维注册的虚拟显示
具体而言，完成追踪阶段并得到新的一帧相对于初始模板图像的位姿变化矩阵后，即进行注册阶段，注册阶段具体步骤如下：
①在OpenGL中根据相机内参计算出投影矩阵，根据相机位姿计算出视景矩阵；
②绘制虚拟物体并显示在图像坐标系中。
至此完成全部三维注册流程。
下面将通过一个具体实施例对增强现实三维注册方法进行进一步阐述。
本发明实施例可以基于Ubuntu 18.04操作系统，使用Kinectv2作为RGB-D相机，开发语言为C++，并引用OpenCV、OpenGL、Eigen、Sophus、libfreenect2等库。所有代码均可以在Clion下完成编写与调试。如图2所示，本发明实施例的方法包括(1)离线阶段、(2)初始化阶段、(3)跟踪阶段和(4)注册阶段，具体如下：
在步骤(1)中，本发明实施例离线阶段具体步骤如下：
①利用张正友标定法标定Kinectv2相机并获取相机内参；
②读取模板图像的彩色图和深度图；
③在模板图像的彩色图上提取500个Oriented FAST特征点；
④计算Oriented FAST特征点的Rotated BRIEF描述子；
其中模板图像彩色图如图3所示，模板图像深度图如图4所示。
在步骤(2)中，初始化阶段步骤如下：
①开启Kinectv2相机获取环境实时彩色图与深度图；
②提取当前帧彩色图的Oriented FAST特征点并计算Rotated BRIEF描述子；
③创建Flann(快速最近邻逼近搜索函数库)匹配器对模板图像和当前帧图像中的特征点进行knn(k近邻算法)匹配，取k＝2，获得最近邻及次近邻匹配点。
④利用比值判别法删除离群匹配点，当最近邻匹配和次近邻匹配的距离比值小于阈值0.6时，则认为该最近邻匹配是一个优秀的匹配。经过匹配和误差剔除后的匹配结果如图5所示。
⑤判断若获得的优秀的匹配点数量大于50，则分别在模板和当前帧的深度图上提取所有特征点对的深度值，并通过相机内参计算出全部特征点对的空间三维坐标，获取3D-3D特征点对。由于深度相机本身获取深度的特点，可能存在当前帧无法读取某点深度值的情况，对于无法读取深度值的点则获取3D-2D特征点对。另一方面若匹配点数量小于100，则获取新的一帧重新进行初始化阶段。
⑥获取到匹配特征点的三维空间点坐标后，利用复合PnP及ICP优化迭代算法求解初始化相机位姿，至此完成初始化阶段。
复合PnP及ICP优化迭代算法具体实现原理和流程如下：
由于在深度摄像机获取环境点深度时会由于距离、角度、材料、光照等原因获取深度失败无法构建三维点的情况，在不损失特征点信息的情况下，分别获取3D-3D和3D-2D点对，利用非线性优化方法牛顿高斯法构建PnP与ICP模型叠加优化计算位姿矩阵。
如图6所示，考虑N个三维空间点P及匹配好的投影二维像素点p，和M个空间三维点Q及匹配好的三维空间点q。为了计算相机位姿R，t，设相机位姿的李群表示为T，则匹配点的对应关系为：
Figure BDA0002608178340000111
其中K为相机内参矩阵，si为空间点Pi投影到当前帧上的点对应的深度值。
根据上述关系构建最小化重投影误差问题，寻找最佳的相机位姿使误差最小化，最小二乘问题的形式如下所示：
3D-2D特征点对：
Figure BDA0002608178340000112
3D-3D特征点对：
Figure BDA0002608178340000113
整体叠加：
Figure BDA0002608178340000114
为了利用牛顿高斯法求解该非线性优化问题需要计算重投影误差关于相机位姿李代数的一阶变化关系。记点Pi经过位姿变化后的点为P′i＝(X′Pi,Y′Pi,Z′Pi)，点Qj经过位姿变化后的点为Q′j＝(X′Qj,Y′Qj,Z′Qj)，李代数扰动量为δξ，相机焦距在x,y方向的分量分别为fx和fy，则根据李代数扰动模型可以推出如下雅克比矩阵：
Figure BDA0002608178340000121
Figure BDA0002608178340000122
根据上述计算得到的重投影误差函数和雅克比矩阵，利用牛顿高斯法求解相机初始化位姿，具体步骤如下：
给定位姿估计的初值T0(N≥M时由PnP算法计算T0，N<M时由ICP算法计算T0)；
对于第k次迭代，对每一个3D-3D和3D-2D特征点对求出当前的雅克比矩阵
Figure BDA0002608178340000123
和
Figure BDA0002608178340000124
及重投影误差
Figure BDA0002608178340000125
和
Figure BDA0002608178340000126
求解增量方程：HkΔξk＝gk,其中
Figure BDA0002608178340000127
Figure BDA0002608178340000128
若Δξk小于规定的阈值，则停止迭代，输出优化计算的相机位姿结果Tk。否则，令
Figure BDA0002608178340000129
并进行第k+1次迭代。
完成初始化阶段并计算出相机初始化位姿后，开始进行逐帧跟踪，在步骤(3)中，跟踪阶段具体步骤如下：
①在当前已通过初始化或跟踪计算出相机位姿的帧上均匀随机选取2000个具有像素灰度梯度的点；
②剔除深度值小于阈值和帧间深度值变化大于一定值的像素点，通过这样的剔除点方式保证注册的抗遮挡能力，利用未被遮挡的点进行相机位姿计算；
③若剔除后追踪点数量大于1000，则通过半稠密直接法计算当前帧和下一帧之间的位姿变化关系，否则认为存在大范围遮挡或丢失视野，返回初始化阶段重新进行初始化；
④将通过半稠密直接法计算得到的帧间相对位姿乘上当前帧的位姿即可得到新的一帧相对于初始模板图像的位姿变化矩阵，至此完成跟踪阶段的计算过程。
半稠密直接法计算帧间位姿的具体实现原理和流程如下：
由于特征点法计算连续帧位姿时会存在计算开销大、稳定性不好、易被遮挡等情况，会导致注册画面抖动、帧率低、容易注册失败等问题。故本发明采用半稠密直接法来计算帧间位姿变化，其基本假设为同一空间三维点在各个视角下测到的灰度值不变，对于室内很定光源场景较为适用。
如图7所示，考虑N个三维空间点P及其在两帧图像上的投影点p1与p2，以第一帧作为相机位姿参考，设第二帧相对第一帧的位姿对应的李群为T，相机内参为K。
基于基本假设，通过灰度误差优化相机位姿计算，最小二乘问题形式如下：
Figure BDA0002608178340000131
其中I1(p1)，I2(p2)分别为两帧上投影点的灰度值。
类似于复合PnP及ICP优化迭代算法的解法，利用牛顿高斯法求解。记点Pi＝(Xi,Yi,Zi)，p2i＝(ui,vi)，李代数扰动量为δξ，相机焦距在x,y方向的分量分别为fx和fy，则根据李代数扰动模型可以推出如下雅克比矩阵：
Figure BDA0002608178340000132
其中：
Figure BDA0002608178340000133
Figure BDA0002608178340000134
本发明实施例利用牛顿高斯法求解半稠密直接法的步骤如下：
首先构建输入两帧图像的图像金字塔，使计算过程具有一定的尺寸不变性；
由于单个像素点的灰度值区分性较差，故本发明实施例对每个像素点取周围的5*5像素块中每个像素进行迭代计算，保证了跟踪的准确性；
利用双线性差值法计算像素块灰度值；
给定位姿估计的初值T0；
对于第k次迭代，对每一个跟踪点求出当前的雅克比矩阵Ji k和灰度误差
Figure BDA0002608178340000141
求解增量方程：HkΔξk＝gk,其中，
Figure BDA0002608178340000142
若Δξk小于规定的阈值，则停止迭代，输出优化计算的相机位姿结果Tk。否则，令
Figure BDA0002608178340000143
并进行第k+1次迭代。
如图8所示，为本发明实施例中半稠密直接法跟踪像素点的示意图。
如图9所示，为本发明实施例中存在前景遮挡情况下半稠密直接法跟踪像素点的示意图。
由以上两图可以看出本发明实施例在未遮挡和遮挡环境中均能稳定、快速地跟踪未被遮挡的半稠密像素点。
完成追踪阶段并得到新的一帧相对于初始模板图像的位姿变化矩阵后，即进行注册阶段，在步骤(4)中，注册阶段具体步骤如下：
①在OpenGL中根据相机内参计算出投影矩阵，根据相机位姿计算出视景矩阵；
②绘制虚拟的立方体并以相对模板图像不变的位姿显示在当前帧的图像中。
至此完成本发明实施例的全部三维注册流程。
如图10所示，为本发明实施在不同角度的三维注册效果示意图，算法实现将一个三维的立方体注册到笔记本电脑的触控板处。
如图11所示，为本发明实施例在遮挡情况下的三维注册效果示意图，可以看出本发明实施例在遮挡环境下依然可以稳定、快速注册虚拟物体，体现出较强的抗遮挡能力。
根据本发明实施例提出的增强现实三维注册方法，利用复合ICP与PnP算法迭代优化求解相机位姿的方法，通过结合3D-3D和3D-2D特征点保证了图片信息获取完整，从而得到基于RGB-D信息下更为准确的初始化位姿估计值；利用半稠密直接法跟踪计算帧间位姿变化，相比传统特征点法提高了三维注册过程中的稳定性和计算速度；利用一种基于均布半稠密梯度像素点的跟踪选点方式，通过剔除环境中前景物体的遮挡区域，从而实现在遮挡环境下的稳定准确注册效果。
其次参照附图描述根据本发明实施例提出的增强现实三维注册装置。
图12是本发明实施例的增强现实三维注册装置的方框示意图。
如图12所示，该增强现实三维注册装置10包括：离线模块100、初始化模块200、跟踪模块300和注册模块400。
其中，离线模块100用于标定RGB-D相机，获取RGB-D相机的内参，并且获取输入模板图像，提取输入RGB图像中的特征点，并计算特征点的描述子；初始化模块200用于通过RGB-D相机采集环境实时的彩色图与深度图，同时提取彩色图中的特征点与输入模板图像进行特征点匹配，其中，在经过误匹配剔除后特征点的匹配数量大于预设阈值，则计算相机初始化位姿，初始化模块结束；跟踪模块300用于在已初始化的帧上均匀选取预设数量的具有像素灰度梯度和深度值的像素点，并剔除因前景物体遮挡区域的点，在获取新的一帧上追踪这些像素点，且对追踪点利用半稠密直接法进行追踪计算相机位姿，及结合初始化位姿，获得相机相对于模板图像的位姿；注册模块400用于利用相机相对于模板图像的位姿和相机内参构建投影矩阵和模型矩阵，将绘制的虚拟物体投影到当前帧的图像上，生成三维注册的虚拟显示结果。本发明实施例的装置10解决了现有无标记增强现实三维注册方法存在的帧率低、注册画面抖动大、抗遮挡能力较弱的问题，整体计算速度快、帧间注册稳定、且具有较强的抗遮挡能力，适用于对帧率和稳定性要求高，且存在较多遮挡的场景，如增强现实辅助装配场景。
进一步地，在本发明的一个实施例中，离线模块100进一步用于利用张正友标定法标定RGB-D相机，并获取RGB-D相机的内参；读取输入模板图像的彩色图和深度图；在输入模板图像的彩色图上提取Oriented FAST特征点；计算Oriented FAST特征点的RotatedBRIEF描述子。
进一步地，在本发明的一个实施例中，初始化模块200进一步用于开启RGB-D相机，以获取彩色图与深度图；提取当前帧彩色图的Oriented FAST特征点，并计算RotatedBRIEF描述子；通过预设的Flann匹配器对输入模板图像和当前帧图像中的特征点进行knn匹配，获得最近邻及次近邻匹配点；利用比值判别法删除离群匹配点，当最近邻匹配和次近邻匹配的距离比值小于0.6阈值时，则认为该最近邻匹配为最优匹配；判断若获得的最优匹配点数量大于第一预设阈值，则分别在模板图像和当前深度图上提取所有特征点对的深度值，并通过内参计算出全部特征点对的空间三维坐标，以获取3D-3D特征点对；在获取到匹配特征点的三维空间点坐标后，利用复合PnP及ICP优化迭代算法求解相机初始化位姿。
进一步地，在本发明的一个实施例中，跟踪模块300进一步用于在当前已通过初始化或跟踪计算出相机位姿的帧上均匀随机选取预设数量具有像素灰度梯度的点；剔除深度值小于第二预设阈值和帧间深度值变化大于第三预设阈值的像素点；若剔除后追踪点数量大于第四预设阈值，则通过半稠密直接法计算当前帧和下一帧之间的位姿变化关系，否则返回初始化步骤；将通过半稠密直接法计算得到的帧间相对位姿乘上当前帧的位姿得到新的一帧相对于模板图像的位姿变化矩阵。
进一步地，在本发明的一个实施例中，注册模块400进一步用于在OpenGL中根据内参计算出投影矩阵，并根据相机位姿计算出视景矩阵；绘制虚拟物体，并显示在图像坐标系中。
需要说明的是，前述对增强现实三维注册方法实施例的解释说明也适用于该实施例的增强现实三维注册装置，此处不再赘述。
根据本发明实施例提出的增强现实三维注册装置，利用复合ICP与PnP算法迭代优化求解相机位姿的方法，通过结合3D-3D和3D-2D特征点保证了图片信息获取完整，从而得到基于RGB-D信息下更为准确的初始化位姿估计值；利用半稠密直接法跟踪计算帧间位姿变化，相比传统特征点法提高了三维注册过程中的稳定性和计算速度；利用一种基于均布半稠密梯度像素点的跟踪选点方式，通过剔除环境中前景物体的遮挡区域，从而实现在遮挡环境下的稳定准确注册效果。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

Claims (10)

1.一种增强现实三维注册方法，其特征在于，包括以下步骤：
离线步骤：标定RGB-D相机，获取所述RGB-D相机的内参，并且获取输入模板图像，提取输入RGB图像中的特征点，并计算特征点的描述子；
初始化步骤：通过所述RGB-D相机采集环境实时的彩色图与深度图，同时提取所述彩色图中的特征点与所述输入模板图像进行特征点匹配，其中，在经过误匹配剔除后特征点的匹配数量大于预设阈值，则计算相机初始化位姿，并结束所述初始化步骤；
跟踪步骤：在已初始化的帧上均匀选取预设数量的具有像素灰度梯度和深度值的像素点，并剔除因前景物体遮挡区域的点，在获取新的一帧上追踪这些像素点，且对追踪点利用半稠密直接法进行追踪计算相机位姿，及结合所述初始化位姿，获得相机相对于模板图像的位姿；以及
注册步骤：利用所述相机相对于模板图像的位姿和所述相机内参构建投影矩阵和模型矩阵，将绘制的虚拟物体投影到当前帧的图像上，生成三维注册的虚拟显示结果。
2.根据权利要求1所述的方法，其特征在于，所述离线步骤具体包括：
利用张正友标定法标定所述RGB-D相机，并获取所述RGB-D相机的内参；
读取所述输入模板图像的彩色图和深度图；
在所述输入模板图像的彩色图上提取Oriented FAST特征点；
计算所述Oriented FAST特征点的Rotated BRIEF描述子。
3.根据权利要求1所述的方法，其特征在于，所述初始化步骤包括：
开启所述RGB-D相机，以获取所述彩色图与深度图；
提取当前帧彩色图的Oriented FAST特征点，并计算Rotated BRIEF描述子；
通过预设的Flann匹配器对所述输入模板图像和所述当前帧图像中的特征点进行knn匹配，获得最近邻及次近邻匹配点；
利用比值判别法删除离群匹配点，当最近邻匹配和次近邻匹配的距离比值小于0.6阈值时，则认为该最近邻匹配为最优匹配；
判断若获得的最优匹配点数量大于第一预设阈值，则分别在所述模板图像和当前深度图上提取所有特征点对的深度值，并通过所述内参计算出全部特征点对的空间三维坐标，以获取3D-3D特征点对；
在获取到匹配特征点的三维空间点坐标后，利用复合PnP及ICP优化迭代算法求解所述相机初始化位姿。
4.根据权利要求1所述的方法，其特征在于，所述跟踪步骤具体包括：
在当前已通过初始化或跟踪计算出相机位姿的帧上均匀随机选取预设数量具有像素灰度梯度的点；
剔除深度值小于所述第二预设阈值和帧间深度值变化大于第三预设阈值的像素点；
若剔除后追踪点数量大于第四预设阈值，则通过半稠密直接法计算当前帧和下一帧之间的位姿变化关系，否则返回所述初始化步骤；
将通过所述半稠密直接法计算得到的帧间相对位姿乘上当前帧的位姿得到新的一帧相对于模板图像的位姿变化矩阵。
5.根据权利要求1所述的方法，其特征在于，所述注册步骤具体包括：
在OpenGL中根据所述内参计算出投影矩阵，并根据相机位姿计算出视景矩阵；
绘制虚拟物体，并显示在图像坐标系中。
6.一种增强现实三维注册装置，其特征在于，包括：
离线模块，用于标定RGB-D相机，获取所述RGB-D相机的内参，并且获取输入模板图像，提取输入RGB图像中的特征点，并计算特征点的描述子；
初始化模块，用于通过所述RGB-D相机采集环境实时的彩色图与深度图，同时提取所述彩色图中的特征点与所述输入模板图像进行特征点匹配，其中，在经过误匹配剔除后特征点的匹配数量大于预设阈值，则计算相机初始化位姿，所述初始化模块结束；
跟踪模块，用于在已初始化的帧上均匀选取预设数量的具有像素灰度梯度和深度值的像素点，并剔除因前景物体遮挡区域的点，在获取新的一帧上追踪这些像素点，且对追踪点利用半稠密直接法进行追踪计算相机位姿，及结合所述初始化位姿，获得相机相对于模板图像的位姿；以及
注册模块，用于利用所述相机相对于模板图像的位姿和所述相机内参构建投影矩阵和模型矩阵，将绘制的虚拟物体投影到当前帧的图像上，生成三维注册的虚拟显示结果。
7.根据权利要求6所述的装置，其特征在于，所述离线模块进一步用于利用张正友标定法标定所述RGB-D相机，并获取所述RGB-D相机的内参；读取所述输入模板图像的彩色图和深度图；在所述输入模板图像的彩色图上提取Oriented FAST特征点；计算所述OrientedFAST特征点的Rotated BRIEF描述子。
8.根据权利要求6所述的装置，其特征在于，所述初始化步骤模块进一步用于开启所述RGB-D相机，以获取所述彩色图与深度图；提取当前帧彩色图的Oriented FAST特征点，并计算Rotated BRIEF描述子；通过预设的Flann匹配器对所述输入模板图像和所述当前帧图像中的特征点进行knn匹配，获得最近邻及次近邻匹配点；利用比值判别法删除离群匹配点，当最近邻匹配和次近邻匹配的距离比值小于0.6阈值时，则认为该最近邻匹配为最优匹配；判断若获得的最优匹配点数量大于第一预设阈值，则分别在所述模板图像和当前深度图上提取所有特征点对的深度值，并通过所述内参计算出全部特征点对的空间三维坐标，以获取3D-3D特征点对；在获取到匹配特征点的三维空间点坐标后，利用复合PnP及ICP优化迭代算法求解所述相机初始化位姿。
9.根据权利要求6所述的装置，其特征在于，所述跟踪模块进一步用于在当前已通过初始化或跟踪计算出相机位姿的帧上均匀随机选取预设数量具有像素灰度梯度的点；剔除深度值小于所述第二预设阈值和帧间深度值变化大于第三预设阈值的像素点；若剔除后追踪点数量大于第四预设阈值，则通过半稠密直接法计算当前帧和下一帧之间的位姿变化关系，否则返回所述初始化步骤；将通过所述半稠密直接法计算得到的帧间相对位姿乘上当前帧的位姿得到新的一帧相对于模板图像的位姿变化矩阵。
10.根据权利要求6所述的装置，其特征在于，所述注册步骤进一步用于在OpenGL中根据所述内参计算出投影矩阵，并根据相机位姿计算出视景矩阵；绘制虚拟物体，并显示在图像坐标系中。
CN202010745429.9A 2020-07-29 2020-07-29 一种增强现实三维注册方法及装置 Active CN112053447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010745429.9A CN112053447B (zh) 2020-07-29 2020-07-29 一种增强现实三维注册方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010745429.9A CN112053447B (zh) 2020-07-29 2020-07-29 一种增强现实三维注册方法及装置

Publications (2)

Publication Number Publication Date
CN112053447A CN112053447A (zh) 2020-12-08
CN112053447B true CN112053447B (zh) 2022-10-25

Family

ID=73602583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010745429.9A Active CN112053447B (zh) 2020-07-29 2020-07-29 一种增强现实三维注册方法及装置

Country Status (1)

Country Link
CN (1) CN112053447B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819892B (zh) * 2021-02-08 2022-11-25 北京航空航天大学 图像处理方法和装置
CN112884049A (zh) * 2021-02-24 2021-06-01 浙江商汤科技开发有限公司 在输入图像中检测注册图像的方法及相关装置、设备
CN112884048A (zh) * 2021-02-24 2021-06-01 浙江商汤科技开发有限公司 在输入图像中确定注册图像的方法及相关装置、设备
CN112884047B (zh) * 2021-02-24 2024-03-01 浙江商汤科技开发有限公司 在输入图像中确定注册图像的方法及相关装置、设备
CN113034617B (zh) * 2021-04-09 2024-05-28 北京爱笔科技有限公司 相机的焦距的获取方法及装置、设备
CN113269729B (zh) * 2021-05-10 2022-10-11 青岛理工大学 一种基于深度图像对比的装配体多视角检测方法和系统
CN114596432A (zh) * 2022-03-10 2022-06-07 山东大学 基于前景区域对应模板特征的视觉跟踪方法及系统
CN115645044A (zh) * 2022-11-04 2023-01-31 福州大学 一种基于无标记物的口腔种植图像叠加方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292965B (zh) * 2017-08-03 2020-10-13 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法
CN109523589B (zh) * 2018-11-13 2021-06-08 浙江工业大学 一种更鲁棒的视觉里程计的设计方法
CN110288657B (zh) * 2019-05-23 2021-05-04 华中师范大学 一种基于Kinect的增强现实三维注册方法

Also Published As

Publication number Publication date
CN112053447A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN112053447B (zh) 一种增强现实三维注册方法及装置
Tjaden et al. A region-based gauss-newton approach to real-time monocular multiple object tracking
CN110288657B (zh) 一种基于Kinect的增强现实三维注册方法
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
Ke et al. Transforming camera geometry to a virtual downward-looking camera: Robust ego-motion estimation and ground-layer detection
CN103503025B (zh) 基于对对象的模型进行变换来确定模型参数
AU2018292610A1 (en) Method and system for performing simultaneous localization and mapping using convolutional image transformation
EP3182370B1 (en) Method and device for generating binary descriptors in video frames
CN108717709A (zh) 图像处理系统及图像处理方法
CN113160421B (zh) 一种基于投影的空间式实物交互虚拟实验方法
Grinvald et al. TSDF++: A multi-object formulation for dynamic object tracking and reconstruction
EP3185212B1 (en) Dynamic particle filter parameterization
Frohlich et al. Absolute pose estimation of central cameras using planar regions
Chen et al. A stereo visual-inertial SLAM approach for indoor mobile robots in unknown environments without occlusions
Ito et al. Accurate and robust planar tracking based on a model of image sampling and reconstruction process
Masson et al. Robust real time tracking of 3d objects
Zhang et al. A visual-inertial dynamic object tracking SLAM tightly coupled system
Belghit et al. Tracking color marker using projective transformation for augmented reality application
Kurz et al. Bundle adjustment for stereoscopic 3d
Shao A Monocular SLAM System Based on the ORB Features
Bushnevskiy et al. Multimode camera calibration
Fu et al. Interior dense 3D reconstruction system with RGB-D camera for complex large scenes
Guo et al. Real-time augmented reality with occlusion handling based on RGBD images
Vallino et al. Augmenting reality using affine object representations
Yang et al. A hybrid 3D registration method of augmented reality for intelligent manufacturing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant