CN109636854A - 一种基于line-mod模板匹配的增强现实三维跟踪注册方法 - Google Patents
一种基于line-mod模板匹配的增强现实三维跟踪注册方法 Download PDFInfo
- Publication number
- CN109636854A CN109636854A CN201811549589.5A CN201811549589A CN109636854A CN 109636854 A CN109636854 A CN 109636854A CN 201811549589 A CN201811549589 A CN 201811549589A CN 109636854 A CN109636854 A CN 109636854A
- Authority
- CN
- China
- Prior art keywords
- camera
- line
- gradient
- template matching
- descriptor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 10
- 239000013256 coordination polymer Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000004919 topotaxy Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 15
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明请求保护一种基于LINE‑MOD模板匹配的增强现实三维跟踪注册方法，引入深度信息，使LINE‑MOD模板匹配方法能完成任意尺度下的物体识别与匹配。以改进的LINE‑MOD模板匹配为基础，通过当前视角图像和离线不同视角参考视图的匹配，获取与当前视角最接近的关键帧及关键帧对应位姿。通过参考视图之间的拓扑关系，利用插值的方法对零部件位姿进行精确估计。本方法优于Hinterstoisser在ACCV上提出的无纹理目标物体跟踪与位姿估计精度，且算法实时性好，可较好地满足AR系统跟踪注册的需求。
Description
技术领域
本发明属于增强现实技术领域，具体涉及一种基于LINE-MOD模板匹配的增强现实三维跟踪注册方法。
背景技术
刚性物体检测和位姿估计是近年来增强现实技术中研究的热点也是研究难点。根据物体表观特征，可以将其划分为无纹理刚性物体检测与位姿估计和有纹理刚性物体检测与位姿估计。当刚性物体表面纹理丰富时，能够提取到数量稳定的特征点和特征描述符，基于这些稳定的特征点和特征描述符，物体的位姿就能被准确的检测和描述。其中SIFT(Scale Invariant Feature Transform)、 PCA-SIFT、SURF(Speeded Up RobustFeatures)等特征点和特征描述符对刚性纹理物体的检测和位姿估计方法的发展起到了积极的推动作用。SIFT将多尺度空间上提取的高斯差分图极值点作为特征点，并将每个特征点邻域内计算获得的梯度方向直方图作为特征描述子。由于SIFT具有良好的尺度、旋转以及一定视角和光照不变性，并且具有很强的可区分性，因此自被提出以来，在物体检测与位姿估计领域获得到了广泛应用。SURF是SIFT的改进算法，它利用Haar 小波替换SIFT方法中的梯度直方图计算，利用积分图技术对运算过程进行加速，使SURF的运算速度较SIFT提高了3-7倍，同时在性能上维持与SIFT相当，因此它在很多应用中得到了推广，尤其是在对运行速度要求高的场景。BRIEF (Binary Robust Independent Element Feature)利用图像邻域内随机点对的灰度大小差异测试，将图像块表示为二进制字符串，此描述符的构造和匹配不仅速度快，而且具有更高的识别率，因此在运算能力有限的手机等移动设备上具有很好的应用前景。除了BRIEF特征描述子，近几年还提出了许多二进制特征描述子，例如ORB、BRISK、FREAK。Gordon采用SIFT特征描述符以及从运动中恢复结构的理论框架，并利用已知对象模型完成物体位姿估计。Collet等利用SIFT特征描述符在离线训练阶段构建的三维局部描述符，在线运行时，通过SIFT 特征提取与匹配，对物体姿态进行估计。Lowe等采用SIFT特征进行物体检测，该方法通过对待检测物体提取特征点，并利用快速邻域法(fastnearest-neighbor algorithm)与已知物体数据库进行特征匹配。然后用Hough变换鉴别物体的类属，最后通过姿态参数一致性进行物体确认。但是由于机械零件表面缺少足够的纹理特征，导致很难提取到稳定且判别力强的特征点，因此上述方法描述的基于特征点的刚性物体检测和跟踪方法难以直接适用于机械产品装配现场。
模板匹配近年来在刚性物体检测和位姿估计中发挥了重要作用，该类方法操作过程简单、具有强大的处理不同对象的能力。它既不需要一个庞大的训练集，也不需要一个耗时的训练阶段，并且对于纹理刚性物体和无纹理刚性物体都能处理。然而，模板匹配鲁棒性的增加往往伴随着计算负荷的增大，导致模板匹配难以满足实时性要求。到目前为止，许多学者试图降低这种复杂性。早期的模板匹配方法和它的扩展使用Chamfer距离度量模板和输入图像轮廓之间的差异。例如Gavrila介绍了一个在形状和参数空间上的由粗到精的二值边缘图像 Chamfer距离度量。Chamfer匹配能最大限度地减少了两组边缘点之间的广义距离，实时性较好，但这种方法对遮挡等造成的外点极为敏感。另一种二值图像的距离度量方式是Hausdorff距离，它测量从图像中的每个边缘点到模板中最近邻的所有距离的最大值。但是它易受遮挡和复杂背景的影响。Huttenlocher等试图引入广义Hausdorff距离来克服这一缺陷，该方法在一定程度上克服了遮挡和杂乱背景的影响，但是该方法需要预先对背景杂波进行估计，此外，当模板较多时，计算代价很高。上述这些方法使用的二值图像大多是通过类似Canny的边缘提取算法得到的，因此它们对光照变化、噪声和模糊极为敏感。为了避免上述算法的缺陷，Hinterstoisser等提出使用图像梯度而非图像轮廓作为匹配特征的LINE-MOD方法，方法采用梯度方向特征的二进制方式表示，巧妙地运用了现代计算机的超高速缓存进行并行处理。该方法能够在背景复杂环境下实时对多类无纹理刚性物体进行检测。然而，该方法只能在固定尺度对刚性物体进行检测与跟踪，同时该方法对物体位姿估计精度较低。
综上所述，基于特征点的刚性物体检测和位姿估计方法需要物体表面具有丰富的纹理特征，对于表面光滑的机械零部件该方法难以直接适用。模板匹配是解决无纹理刚性物体检测和位姿估计的有效方法，该类方法实时性好，不需要物体表面有足够的纹理特征。其中，LINE-MOD方法是近年来最先进的模板匹配方法之一，本文的刚性物体检测与位姿估计是在LINE-MOD的启发下开展的，但是该方法只能在固定尺度对刚性物体进行检测与位姿估计，同时该方法对物体位姿估计精度较低。如何提高算法多尺度检测与位姿估计精度，仍有待研究。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种提高算法多尺度检测与位姿估计精度的一种基于LINE-MOD模板匹配的增强现实三维跟踪注册方法。本发明的技术方案如下：
一种基于LINE-MOD模板匹配的增强现实三维跟踪注册方法，其包括离线阶段和在线阶段，具体包括以下步骤：
设计改进的LINE-MOD模板匹配，并以改进的LINE-MOD模板匹配为基础，离线阶段在CAD环境中对待装配零部件进行训练，采集多视角下的参考图像，并在采集过程中记录相机的采集位置和姿态，然后对采集的参考图像进行描述符提取并存储到XML文件中；在在线阶段，采集真实物体视频帧，并对每一帧图像进行物体梯度方向提取，然后将在线提取的梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配，获取与当前输入视频帧最相似的关键帧和关键帧对应的相机位姿，最后利用关键帧的空间拓扑关系，采用插值的方法对待装配对象的姿态角和位置进行估计，完成对待装配对象的跟踪和位姿估计。
进一步的，所述离线阶段在CAD环境中对待装配零部件进行训练，采集多视角下的参考图像，并在采集过程中记录相机的采集位置和姿态，具体包括：首先在CAD环境中，通过虚拟相机采集装配对象不同视角下的投影视图，每一幅视图中包含了装配对象轮廓的不同形状及每一幅视图对应相机采集位姿，采用在正二十面体表面进行采样，将正二十面体的每一个面平均分成四份并进行迭代划分，迭代2次，使每一个面上形成16个等边三角形，在CAD环境中，将物体CAD模型放置在正二十面体中心，虚拟相机光轴始终通过中心。采样视点位于每一个三角形顶点处。
进一步的，当机械零件存在大量的对称结构时，对于这类特殊零件，降低采样数量；对于轴套类的某些零件，只需在经度0°，纬度0～90°区间进行采样；对于轮盘类的某些零件，在经度上的采样区间为0～90°，纬度上的采样区间为 0～90°；对于叉架类、盖板类和箱壳类的某些零件，在经度上的采样区间为0～180°，纬度上的采样区间为0～90°；对于其他非对称零件，在经度上的采样区间为 0～360°，纬度上的采样区间为0～90°；对于每一个视点，在-45°～45°旋转区域内形成四个旋转角度，用以表示同一位置不同视角的情况。最后提取所有视图中零件轮廓的形状特征描述符，保存所有零件轮廓的形状特征描述符和对应的位姿参数到XML文件中。
进一步的，所述在线阶段，采集真实物体视频帧，并对每一帧图像进行物体梯度方向提取，然后将在线提取的梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配，具体包括：
对于每一幅采样得到的视图，计算目标物体轮廓每一个位置{R,G,B}三个颜色通道上的梯度向量，并将三个通道中的梯度向量最大值作为该点处的梯度方向，一幅输入图像I，在位置x处的梯度方向为：
其中：
式中：R,G,B是视图I中位置x处的三个颜色通道。C是R,G,B三个颜色通道上的某一颜色通道。ori()表示梯度方向；将梯度向量方向共线的作为一个方向所有的梯度向量方向被统一到0～180°区间范围。然后将0～180°的梯度向量方向空间平均分成8份，将每一个位置x的3×3像素邻域内出现次数最多且梯度向量的模大于给定阈值的方向作为该点处的梯度方向。
进一步的，在离线阶段提取物体的轮廓梯度后，对每一个梯度方向进行发散处理。
进一步的，在线阶段待装配对象在线识别具体包括：
为了完成待装配物体在任意尺度下的识别，将深度信息引入相似性评价方法，使其具有尺度不变性，改进后的相似性评价公式为：
式中：ori(O,So(c′o,r′))—在参考图像O位置点处的梯度方向的弧度表示；ori(I,t)—在输入图像I位置t点处的梯度方向的弧度表示；
表示以为中心，τ为邻域的区域；p—是位置r的列表；T＝(O,p)—表示物体的模板；D(c′x)—表示在点c′x处的深度值；D(c'o)—表示离线训练时参考图像O相机到正多面体中心的距离。
进一步的，所述.姿态角估计包括：在模板训练时，相机光轴始终通过零件坐标系原点，但在线匹配时，相机光轴可能出现在空间任意位置，(1)首先对相机相对关键帧的姿态角进行求解；(2)为了简化相机姿态角计算过程，假设一个虚拟成像平面，C-X1Y1Z1是当前相机的坐标系，Z1为相机的光轴，与虚拟像平面1相交于点O1，C-X2Y2Z2为零件训练时相机坐标系，Z2为零件训练时相机的光轴，它穿过零件坐标系原点，与像平面1和像平面2分别交于点O1'和 O2，Z2与X1Z1平面夹角为θ2，在X1Z1平面的投影为直线CP，CP与Z1轴的夹角为θ1；(3)变换相机坐标系(4)除了相机光轴偏转带来的姿态角变化外，还有零件绕自身坐标系旋转带来的相机相对姿态角的变化；(5)对零件绕自身坐标系旋转带来的姿态角变化进行计算。
进一步的，所述位置估计包括：
为了更加准确的获得相机位置，采用插值方法进行精确计算：(1)首先采用姿态角中方法将“轴侧”视图变成“轴向”视图并提取形状描述符D'，然后将其与数据库中的所有训练视图的形状描述符N(D,K)进行匹配，其中，Dk(k＝1,2,3...n)表示训练图像形状描述符集合，K表示采样视点之间的拓扑关系；(2)从而获得与D'最相似的对应网格上的图相描述符Di及其相邻节点形状描述符Dj；相机位置目标优化函数为:(3)这里通过计算可以得到权因子ωi及ωij的值，优化计算出来的权因子ωi及ωij是表示离线零件形状描述符库N中与当前输入轴向视图描述符D'最接近的图像描述符Di的重心坐标数据，再根据权因子ωi及ωij的值来完成相机位置的插值计算，ωi和ωij是加权因子的形状描述符，因此公式能被写成：这里可以得到加权因子ωi和ωij；(4)最后，根据权因子ωi及ωij的值来完成相机在正二十面体表面位置的插值计算；
(5)摄像机位置通过将经过正二十面体表面位置0的点进行平移获得，其平移位置可以通过深度相机获得，因此摄像机的最终位置和姿态可以用公式表示:P＝fm(Do,R,T,Mr)式中:Do——深度传感器获取的O点的深度信息，R，T ——深度传感器和颜色传感器的相对位置，可以通过标定获得，Mr——是相机相对零件的姿态，可以通过姿态角估计获得。
本发明的优点及有益效果如下：
本发明设计了一种基于无纹理目标物体跟踪与位姿估计的刚性待装配对象与虚拟装配引导信息的虚实遮挡处理方法。首先对算法的基本思想进行了介绍，概述了本章方法的整体思路。引入深度信息，使LINE-MOD模板匹配方法能完成任意尺度下的物体识别与匹配。以改进的LINE-MOD模板匹配为基础，通过当前视角图像和离线不同视角参考视图的匹配，获取与当前视角最接近的关键帧及关键帧对应位姿。通过参考视图之间的拓扑关系，利用插值的方法对零部件位姿进行精确估计。基于跟踪与位姿估计结果在待装配零部件表面叠加相应透明几何模型，通过模型之间空间位置关系的判断，完成遮挡关系处理。实验结果表明，本方法优于Hinterstoisser在ACCV上提出的无纹理目标物体跟踪与位姿估计精度，且算法实时性好(≥15帧/s)，可较好地满足AR装配系统待装配对象和引导信息之间的虚实遮挡应用的需求。
附图说明
图1是本发明提供优选实施例工作流程示意图；
图2是待装配零件位姿估计示意图；
图3是相机小孔成像模型；
图4是相机自身坐标系变换示意图；
图5是当前视角下物体在虚拟平面1上的投影。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
1.算法基本思想和工作流程
系统总体方案流程图如图1所示。首先离线阶段在CAD环境中对待装配零部件进行训练，采集多视角下的参考图像，并在采集过程中记录相机的采集位置和姿态。然后对采集的参考图像进行描述符提取并存储到XML文件中。在在线阶段，采集真实物体视频帧，并对每一帧图像进行物体梯度方向提取，然后将在线提取的梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配，获取与当前输入视频帧最相似的关键帧和关键帧对应的相机位姿。最后利用关键帧的空间拓扑关系，采用插值的方法对待装配对象的姿态角和位置进行估计，完成对待装配对象的跟踪和位姿估计。最后基于跟踪结果，在待装配对象表面叠加相应的三维几何模型，通过模型之间空间位置判断，完成装配对象和虚拟装配引导信息之间的虚实遮挡关系处理。
2.多视角零件图像采集
目标物体的训练主要有在线和离线两种方式，但由于在线学习需要人工采集样本训练集，过程复杂，且在线学习采用的贪心法很难在速度和鲁棒性之间得到很好的权衡。因此，本文采用离线的方式，利用物体的CAD模型生成不同视角下的参考图像。
首先在CAD环境中，通过虚拟相机采集装配对象不同视角下的投影视图，每一幅视图中包含了装配对象轮廓的不同形状及每一幅视图对应相机采集位姿。为了实现采样视角的均匀分布，避免出现半球表面采样极点处采样密度过大导致的视图冗余问题，本文采用在正二十面体表面进行采样。将正二十面体的每一个面平均分成四份并进行迭代划分。为了权衡运算速度和精度，最终选择迭代2次，使每一个面上形成16个等边三角形。在CAD环境中，将物体CAD模型放置在正二十面体中心，虚拟相机光轴始终通过中心。采样视点位于每一个三角形顶点处。
由于机械零件存在大量的对称结构，对于这类特殊零件，可降低采样数量，以提高识别和跟踪速度。对于轴套类的某些零件，只需在经度0°，纬度0～90°区间进行采样。对于轮盘类的某些零件，在经度上的采样区间为0～90°，纬度上的采样区间为0～90°。对于叉架类、盖板类和箱壳类的某些零件(e))，在经度上的采样区间为0～180°，纬度上的采样区间为0～90°。对于其他非对称零件，在经度上的采样区间为0～360°，纬度上的采样区间为0～90°。对于每一个视点，在 -45°～45°旋转区域内形成四个旋转角度，用以表示同一位置不同视角的情况。最后提取所有视图中零件轮廓的形状特征描述符，保存所有零件轮廓的形状特征描述符和对应的位姿参数到XML文件中。
3.梯度向量描述符提取
在计算梯度向量之前，首先简单介绍使用梯度向量和梯度向量作为描述符的优势。相比于其他形式的局部描述符，图像梯度具有良好的可识别性，并且对光照强度变化和噪音具有良好的鲁棒性。特别是针表面光滑且无纹理的机械零部件时，图像梯度通常是唯一可靠的特征，因此本文将物体的梯度向量作为特征描述符。
对于每一幅采样得到的视图，计算目标物体轮廓每一个位置{R,G,B}三个颜色通道上的梯度向量，并将三个通道中的梯度向量最大值作为该点处的梯度方向。例如，一幅输入图像I，在位置x处的梯度方向为：
其中：
式中：
R,G,B是视图I中位置x处的三个颜色通道。C是R,G,B三个颜色通道上的某一颜色通道。ori()表示梯度方向。
由于背景、光照等因素的影响，物体轮廓像素点的梯度方向可能发生反转。为了量化这些梯度向量，同时提高对背景、光照等因素的鲁棒性，将梯度向量方向共线的作为一个方向，因此所有的梯度向量方向被统一到0～180°区间范围。然后将0～180°的梯度向量方向空间平均分成8份。同时为了提高对噪声的鲁棒性，将每一个位置x的3×3像素邻域内出现次数最多且梯度向量的模大于给定阈值的方向作为该点处的梯度方向。
4.梯度方向发散
在线匹配过程中可能会由于输入图像的微小形变和位置偏移，导致提取的物体轮廓梯度方向与离线提取的物体轮廓梯度方向不匹配。为了提高匹配过程的鲁棒性，在离线阶段提取物体的轮廓梯度后，对每一个梯度方向进行发散处理，。例如将零部件表面某一位置x的梯度方向发散，就是以当前位置为中心的 3×3像素坐标邻域内，都采用位置x的梯度方向进行表示。梯度方向发散后形成模板。为在线过程提取到的同一物体同一视角的轮廓梯度方向。可以看出，由于透视形变或视角微小偏差，提取到的轮廓梯度方向与离线阶段提取到的物体轮廓梯度方向不一致。但由于采用了梯度方向发散的方法，当输入图像在模板图像上进行滑动时，仍能与模板图形获得良好的匹配效果，从而提高了方法对微小形变和位置偏移的鲁棒性。
5.待装配对象在线识别
为了将在线阶段提取的物体表面梯度向量与离线阶段产生的梯度向量模板进行匹配，Hinterstoisser等提出采用式(3)对其相似性进行度量(后文称 LINE-MOD)：
式中：
ε——表示待识别零部件与离线训练阶段获得的零部件训练模板之间的相似性。
ori(O,r)—在参考图像O位置r点处的梯度方向的弧度表示；
ori(I,t)—在输入图像I位置t点处的梯度方向的弧度表示；
—表示c+r为中心，τ为邻域的区域。
p—是位置r的列表；
T＝(O,p)—表示物体的模板。
式3表示，在模板匹配过程中，包含零部件训练模板的滑动窗口在输入图像上进行滑动，并统计零部件表面轮廓处每一个位置与训练模板对应位置的相似性。当所有位置的梯度方向相似性总和大于阈值δ，则待识别零部件在图像中的初始位置以滑动窗口中心为中心，以零部件训练模板最小包围盒为边界框进行确定。在搜索结束后，对所有具有重叠阈值为0.5的潜在边界框执行非极大值抑制，剩余边界框即为输入图像中零部件的位置，从而完成物体的识别。
虽然上述方法能很好地在具有微小位置移动和形变的图像中识别出待装配对象，但是该方法只能在固定尺度对待装配对象进行识别。例如，如果离线阶段生成模板的图像采集时远离相机，而在线运行时采集的图像距离相机较近，那么即使在线采集的图像中物体与模板中物体具有相同的梯度方向，上述方法仍然会显示不匹配。
为了完成待装配物体在任意尺度下的识别，将深度信息引入相似性评价方法，使其具有尺度不变性。改进后的相似性评价公式为：
式中：
ori(O,So(c′o,r′))—在参考图像O位置点处的梯度方向的弧度表示；
ori(I,t)—在输入图像I位置t点处的梯度方向的弧度表示；
表示以为中心，τ为邻域的区域。
p—是位置r的列表；
T＝(O,p)—表示物体的模板。
D(c′x)—表示在点c′x处的深度值。
D(c'o)—表示离线训练时参考图像O相机到正多面体中心的距离。
为了避免直接进行max运算符的运算，本文采用与LINE-MOD相同的方法，对max操作进行简化。同时预先计算响应图，建立查阅表，并将内存线性化以便并行处理，从而实现对相似性评价过程的加速。
从式4中不难看出，由于在离线训练时物体距离相机每一个采样位置都已知，所以根据在线深度信息就能获取到模板的缩放尺度。
采用原始LINE-MOD的相似性评价方法无法完成零件识别。采用本文改进的相似性评价方法，首先利用深度信息获取模板的缩放尺度，然后通过滑动窗口在输入图像上进行滑动。在滑动窗口内，将位置列表p处的所有相似度相加，从而确定出输入图像和参考图像之间的相似度，完成物体的识别过程。
6.待装配对象位姿精确计算
待装配零件位姿估计示意图如图2所示。通过当前视角采集图像与离线训练的物体模板库的匹配，便可识别出与当前视角采集的图像最相似的参考视图 (后文称之为关键帧)和其对应的训练时标记的相机3D位姿。然后通过关键帧周边投影视图的空间拓扑关系，确定出相机在待装配对象坐标系下的位置和姿态。最后通过坐标系变换，求解待装配对象在相机坐标系下的位姿。本文将对相机相对零件的姿态和位置分别求解。
7.姿态角估计
在模板训练时，相机光轴始终通过零件坐标系原点。但在线匹配时，相机光轴可能出现在空间任意位置。本部分将首先对相机相对关键帧的姿态角进行求解。图3为相机小孔成像模型，光线从P(x,y,z)经过透镜c在像平面呈倒立像 p(x,y)，为了简化相机姿态角计算过程，我们假设一个虚拟成像平面。
图4为在线匹配过程中待装配零件与相机坐标系的关系示意图，图中 C-X1Y1Z1当前相机的坐标系，Z1为相机的光轴，与虚拟像平面1相交于点O1， C-X2Y2Z2为零件训练时相机坐标系，Z2为零件训练时相机的光轴，它穿过零件坐标系原点，与像平面1和像平面2分别交于点O1'和O1'，Z2与X1Z1平面夹角为θ2，在X1Z1平面的投影为直线CP，CP与Z1轴的夹角为θ1。变换相机坐标系使其光轴从Z2旋转到Z1，过程如下：相机绕X2旋转θ2使得光轴CZ2与CP重合，再绕Y2旋转θ1使得光轴Z2与Z1重。相机的变换矩阵R为：
为了简化θ1和θ2的计算，光轴CZ1和光轴CZ1与虚拟像平面1的交点关系如图5所示，其中Xc表示在O1X方向上的距离，Yc表示在O1Y方向上的距离，则θ1和θ2分别为：
除了相机光轴偏转带来的姿态角变化外，还有零件绕自身坐标系旋转带来的相机相对姿态角的变化。本文采用对零件绕自身坐标系旋转带来的姿态角变化进行计算。
8.位置估计
上文不仅能识别出待装配物体，还能识别出与当前视角输入图像接近的训练图像对应的相机位置和姿态。但是受采集投影图像时视点密度的影响，相机位置并不一定出现在交点位置，更多的情况是出现在空间任意位置。为了更加准确的获得相机位置，本文采用插值方法进行精确计算。
首先采用方法将“轴侧”视图变成“轴向”视图并提取形状描述符D'，然后将其与数据库中的所有训练视图的形状描述符N(D,K)进行匹配，其中， Dk(k＝1,2,3...n)表示训练图像形状描述符集合，K表示采样视点之间的拓扑关系。从而获得与D'最相似的对应网格上的图相描述符Di及其相邻节点形状描述符Dj。位置0是当前相机视角所在位置，点4位置是与当前视角图像形状描述符最相似离线训练视角位置，其他位置点为相邻节点，则相机位置目标优化函数为:
这里通过计算可以得到权因子ωi及ωij的值，优化计算出来的权因子ωi及ωij是表示离线零件形状描述符库N中与当前输入轴向视图描述符D' 最接近的图像描述符Di的重心坐标数据，我们再根据权因子ωi及ωij的值来完成相机位置的插值计算，ωi和ωij是加权因子的形状描述符，因此公式(8)能被写成：
这里可以得到加权因子ωi和ωij。最后，根据权因子ωi及ωij的值来完成相机在正二十面体表面位置的插值计算。
在前面的步骤中，我们始终假设摄像机在正二十面体表面进行移动，但在实际中摄像机可能会出现在任意位置。
此时摄像机位置可以通过将经过正二十面体表面位置0的点进行平移获得，其平移位置可以通过深度相机获得。因此摄像机的最终位置和姿态可以用公式 (10)表示:
P＝fm(Do,R,T,Mr) (12)
式中:
Do——深度传感器获取的O点的深度信息，
R，T——深度传感器和颜色传感器的相对位置，可以通过标定获得。
Mr——是相机相对零件的姿态。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (8)
1.一种基于LINE-MOD模板匹配的增强现实三维跟踪注册方法，其特征在于，包括离线阶段和在线阶段，具体包括以下步骤：
设计改进的LINE-MOD模板匹配，并以改进的LINE-MOD模板匹配为基础，离线阶段在CAD环境中对待装配零部件进行训练，采集多视角下的参考图像，并在采集过程中记录相机的采集位置和姿态，然后对采集的参考图像进行描述符提取并存储到XML文件中；在在线阶段，采集真实物体视频帧，并对每一帧图像进行物体梯度方向提取，然后将在线提取的梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配，获取与当前输入视频帧最相似的关键帧和关键帧对应的相机位姿，最后利用关键帧的空间拓扑关系，采用插值的方法对待装配对象的姿态角和位置进行估计，完成对待装配对象的跟踪和位姿估计。
2.根据权利要求1所述的一种基于LINE-MOD模板匹配的增强现实三维跟踪注册方法，其特征在于，所述离线阶段在CAD环境中对待装配零部件进行训练，采集多视角下的参考图像，并在采集过程中记录相机的采集位置和姿态，具体包括：首先在CAD环境中，通过虚拟相机采集装配对象不同视角下的投影视图，每一幅视图中包含了装配对象轮廓的不同形状及每一幅视图对应相机采集位姿，采用在正二十面体表面进行采样，将正二十面体的每一个面平均分成四份并进行迭代划分，迭代2次，使每一个面上形成16个等边三角形，在CAD环境中，将物体CAD模型放置在正二十面体中心，虚拟相机光轴始终通过中心。采样视点位于每一个三角形顶点处。
3.根据权利要求2所述的一种基于LINE-MOD模板匹配的增强现实三维跟踪注册方法，其特征在于，当机械零件存在大量的对称结构时，对于这类特殊零件，降低采样数量；对于轴套类的某些零件，只需在经度0°，纬度0～90°区间进行采样；对于轮盘类的某些零件，在经度上的采样区间为0～90°，纬度上的采样区间为0～90°；对于叉架类、盖板类和箱壳类的某些零件，在经度上的采样区间为0～180°，纬度上的采样区间为0～90°；对于其他非对称零件，在经度上的采样区间为0～360°，纬度上的采样区间为0～90°；对于每一个视点，在-45°～45°旋转区域内形成四个旋转角度，用以表示同一位置不同视角的情况。最后提取所有视图中零件轮廓的形状特征描述符，保存所有零件轮廓的形状特征描述符和对应的位姿参数到XML文件中。
4.根据权利要求3所述的一种基于LINE-MOD模板匹配的增强现实三维跟踪注册方法，其特征在于，所述在线阶段，采集真实物体视频帧，并对每一帧图像进行物体梯度方向提取，然后将在线提取的梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配，具体包括：
对于每一幅采样得到的视图，计算目标物体轮廓每一个位置{R,G,B}三个颜色通道上的梯度向量，并将三个通道中的梯度向量最大值作为该点处的梯度方向，一幅输入图像I，在位置x处的梯度方向为：
其中：
式中：R,G,B是视图I中位置x处的三个颜色通道。C是R,G,B三个颜色通道上的某一颜色通道。ori()表示梯度方向；将梯度向量方向共线的作为一个方向所有的梯度向量方向被统一到0～180°区间范围。然后将0～180°的梯度向量方向空间平均分成8份，将每一个位置x的3×3像素邻域内出现次数最多且梯度向量的模大于给定阈值的方向作为该点处的梯度方向。
5.根据权利要求4所述的一种基于LINE-MOD模板匹配的增强现实三维跟踪注册方法，其特征在于，在离线阶段提取物体的轮廓梯度后，对每一个梯度方向进行发散处理。
6.根据权利要求4所述的一种基于LINE-MOD模板匹配的增强现实三维跟踪注册方法，其特征在于，在线阶段待装配对象在线识别具体包括：
为了完成待装配物体在任意尺度下的识别，将深度信息引入相似性评价方法，使其具有尺度不变性，改进后的相似性评价公式为：
式中：ori(O,So(c′o,r′))—在参考图像O位置点处的梯度方向的弧度表示；ori(I,t)—在输入图像I位置t点处的梯度方向的弧度表示；
表示以为中心，τ为邻域的区域；p—是位置r的列表；T＝(O,p)—表示物体的模板；D(c′x)—表示在点c′x处的深度值；D(c'o)—表示离线训练时参考图像O相机到正多面体中心的距离。
7.根据权利要求4所述的一种基于LINE-MOD模板匹配的增强现实三维跟踪注册方法，其特征在于，所述.姿态角估计包括：在模板训练时，相机光轴始终通过零件坐标系原点，但在线匹配时，相机光轴可能出现在空间任意位置，(1)首先对相机相对关键帧的姿态角进行求解；(2)为了简化相机姿态角计算过程，假设一个虚拟成像平面，C-X1Y1Z1是当前相机的坐标系，Z1为相机的光轴，与虚拟像平面1相交于点O1，C-X2Y2Z2为零件训练时相机坐标系，Z2为零件训练时相机的光轴，它穿过零件坐标系原点，与像平面1和像平面2分别交于点O1'和O2，Z2与X1Z1平面夹角为θ2，在X1Z1平面的投影为直线CP，CP与Z1轴的夹角为θ1；(3)变换相机坐标系(4)除了相机光轴偏转带来的姿态角变化外，还有零件绕自身坐标系旋转带来的相机相对姿态角的变化；(5)对零件绕自身坐标系旋转带来的姿态角变化进行计算。
8.根据权利要求4所述的一种基于LINE-MOD模板匹配的增强现实三维跟踪注册方法，其特征在于，.所述位置估计包括：
为了更加准确的获得相机位置，采用插值方法进行精确计算：(1)首先采用姿态角中方法将“轴侧”视图变成“轴向”视图并提取形状描述符D'，然后将其与数据库中的所有训练视图的形状描述符N(D,K)进行匹配，其中，Dk(k＝1,2,3...n)表示训练图像形状描述符集合，K表示采样视点之间的拓扑关系；(2)从而获得与D'最相似的对应网格上的图相描述符Di及其相邻节点形状描述符Dj；相机位置目标优化函数为:(3)这里通过计算可以得到权因子ωi及ωij的值，优化计算出来的权因子ωi及ωij是表示离线零件形状描述符库N中与当前输入轴向视图描述符D'最接近的图像描述符Di的重心坐标数据，再根据权因子ωi及ωij的值来完成相机位置的插值计算，ωi和ωij是加权因子的形状描述符，因此公式能被写成：这里可以得到加权因子ωi和ωij；(4)最后，根据权因子ωi及ωij的值来完成相机在正二十面体表面位置的插值计算；
(5)摄像机位置通过将经过正二十面体表面位置0的点进行平移获得，其平移位置可以通过深度相机获得，因此摄像机的最终位置和姿态可以用公式表示:P＝fm(Do,R,T,Mr)式中:Do——深度传感器获取的O点的深度信息，R，T——深度传感器和颜色传感器的相对位置，可以通过标定获得，Mr——是相机相对零件的姿态，可以通过姿态角估计获得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811549589.5A CN109636854A (zh) | 2018-12-18 | 2018-12-18 | 一种基于line-mod模板匹配的增强现实三维跟踪注册方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811549589.5A CN109636854A (zh) | 2018-12-18 | 2018-12-18 | 一种基于line-mod模板匹配的增强现实三维跟踪注册方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109636854A true CN109636854A (zh) | 2019-04-16 |
Family
ID=66074958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811549589.5A Pending CN109636854A (zh) | 2018-12-18 | 2018-12-18 | 一种基于line-mod模板匹配的增强现实三维跟踪注册方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109636854A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647925A (zh) * | 2019-09-06 | 2020-01-03 | 重庆邮电大学 | 基于改进的line-mod模板匹配的刚性物体识别方法及装置 |
| CN110688905A (zh) * | 2019-08-30 | 2020-01-14 | 中山大学 | 一种基于关键帧的三维物体检测与跟踪方法 |
| CN110689573A (zh) * | 2019-09-06 | 2020-01-14 | 重庆邮电大学 | 一种基于边缘模型的增强现实无标识跟踪注册方法及装置 |
| CN110825234A (zh) * | 2019-11-11 | 2020-02-21 | 江南大学 | 一种面向工业场景的投影式增强现实跟踪显示方法和系统 |
| CN111079565A (zh) * | 2019-11-27 | 2020-04-28 | 深圳市华汉伟业科技有限公司 | 视图二维姿态模板的构建方法及识别方法、定位抓取系统 |
| CN111311679A (zh) * | 2020-01-31 | 2020-06-19 | 武汉大学 | 一种基于深度相机的自由漂浮目标位姿估计方法 |
| CN111462179A (zh) * | 2020-03-26 | 2020-07-28 | 北京百度网讯科技有限公司 | 三维物体跟踪方法、装置及电子设备 |
| CN112059983A (zh) * | 2019-06-11 | 2020-12-11 | 中国航发商用航空发动机有限责任公司 | 一种用于装配工件的方法、装置及计算机可读介质 |
| CN112613123A (zh) * | 2020-12-25 | 2021-04-06 | 成都飞机工业（集团）有限责任公司 | 一种飞机管路ar三维注册方法及装置 |
| CN112734945A (zh) * | 2021-03-30 | 2021-04-30 | 上海交大智邦科技有限公司 | 一种基于增强现实的装配引导方法、系统及应用 |
| CN112802098A (zh) * | 2021-01-16 | 2021-05-14 | 北京化工大学 | 一种基于tm-src的三维无纹理目标位姿估计方法 |
| CN115393620A (zh) * | 2022-09-21 | 2022-11-25 | 齐鲁工业大学 | 一种光笔式三坐标测量系统零件姿态识别方法及光笔结构 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
| KR20150093536A (ko) * | 2014-02-07 | 2015-08-18 | 엘지전자 주식회사 | 이동 단말기 및 그의 증강현실 제공 방법 |
| CN106022304A (zh) * | 2016-06-03 | 2016-10-12 | 浙江大学 | 一种基于双目相机的实时人体坐姿情况检测方法 |
| CN106296742A (zh) * | 2016-08-19 | 2017-01-04 | 华侨大学 | 一种结合特征点匹配的在线目标跟踪方法 |
| CN106326892A (zh) * | 2016-08-01 | 2017-01-11 | 西南科技大学 | 一种旋翼式无人机的视觉着陆位姿估计方法 |
| JP2017182600A (ja) * | 2016-03-31 | 2017-10-05 | トヨタ自動車株式会社 | 物体認識装置 |
| CN108024116A (zh) * | 2016-10-28 | 2018-05-11 | 腾讯科技（深圳）有限公司 | 一种数据缓存方法及装置 |
| CN108492017A (zh) * | 2018-03-14 | 2018-09-04 | 河海大学常州校区 | 一种基于增强现实的产品质量信息传递方法 |
-
2018
- 2018-12-18 CN CN201811549589.5A patent/CN109636854A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
| KR20150093536A (ko) * | 2014-02-07 | 2015-08-18 | 엘지전자 주식회사 | 이동 단말기 및 그의 증강현실 제공 방법 |
| JP2017182600A (ja) * | 2016-03-31 | 2017-10-05 | トヨタ自動車株式会社 | 物体認識装置 |
| CN106022304A (zh) * | 2016-06-03 | 2016-10-12 | 浙江大学 | 一种基于双目相机的实时人体坐姿情况检测方法 |
| CN106326892A (zh) * | 2016-08-01 | 2017-01-11 | 西南科技大学 | 一种旋翼式无人机的视觉着陆位姿估计方法 |
| CN106296742A (zh) * | 2016-08-19 | 2017-01-04 | 华侨大学 | 一种结合特征点匹配的在线目标跟踪方法 |
| CN108024116A (zh) * | 2016-10-28 | 2018-05-11 | 腾讯科技（深圳）有限公司 | 一种数据缓存方法及装置 |
| CN108492017A (zh) * | 2018-03-14 | 2018-09-04 | 河海大学常州校区 | 一种基于增强现实的产品质量信息传递方法 |
Non-Patent Citations (3)
| Title |
|---|
| WANG Y 等: "A LINE-MOD-based markerless tracking approach for AR applications", 《INTERNATIONAL JOURNAL OF ADVANCED MANUFACTURING TECHNOLOGY》 * |
| 王月 等: "基于模型的增强现实无标识三维注册追踪方法", 《上海交通大学学报》 * |
| 陈靖等: "基于特征识别的增强现实跟踪定位算法", 《中国科学:信息科学》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112059983A (zh) * | 2019-06-11 | 2020-12-11 | 中国航发商用航空发动机有限责任公司 | 一种用于装配工件的方法、装置及计算机可读介质 |
| CN110688905A (zh) * | 2019-08-30 | 2020-01-14 | 中山大学 | 一种基于关键帧的三维物体检测与跟踪方法 |
| CN110647925A (zh) * | 2019-09-06 | 2020-01-03 | 重庆邮电大学 | 基于改进的line-mod模板匹配的刚性物体识别方法及装置 |
| CN110689573A (zh) * | 2019-09-06 | 2020-01-14 | 重庆邮电大学 | 一种基于边缘模型的增强现实无标识跟踪注册方法及装置 |
| CN110689573B (zh) * | 2019-09-06 | 2022-07-01 | 重庆邮电大学 | 一种基于边缘模型的增强现实无标识跟踪注册方法及装置 |
| CN110825234A (zh) * | 2019-11-11 | 2020-02-21 | 江南大学 | 一种面向工业场景的投影式增强现实跟踪显示方法和系统 |
| CN111079565A (zh) * | 2019-11-27 | 2020-04-28 | 深圳市华汉伟业科技有限公司 | 视图二维姿态模板的构建方法及识别方法、定位抓取系统 |
| CN111079565B (zh) * | 2019-11-27 | 2023-07-07 | 深圳市华汉伟业科技有限公司 | 视图二维姿态模板的构建方法及识别方法、定位抓取系统 |
| CN111311679B (zh) * | 2020-01-31 | 2022-04-01 | 武汉大学 | 一种基于深度相机的自由漂浮目标位姿估计方法 |
| CN111311679A (zh) * | 2020-01-31 | 2020-06-19 | 武汉大学 | 一种基于深度相机的自由漂浮目标位姿估计方法 |
| CN111462179A (zh) * | 2020-03-26 | 2020-07-28 | 北京百度网讯科技有限公司 | 三维物体跟踪方法、装置及电子设备 |
| CN111462179B (zh) * | 2020-03-26 | 2023-06-27 | 北京百度网讯科技有限公司 | 三维物体跟踪方法、装置及电子设备 |
| CN112613123A (zh) * | 2020-12-25 | 2021-04-06 | 成都飞机工业（集团）有限责任公司 | 一种飞机管路ar三维注册方法及装置 |
| CN112802098A (zh) * | 2021-01-16 | 2021-05-14 | 北京化工大学 | 一种基于tm-src的三维无纹理目标位姿估计方法 |
| CN112734945A (zh) * | 2021-03-30 | 2021-04-30 | 上海交大智邦科技有限公司 | 一种基于增强现实的装配引导方法、系统及应用 |
| CN112734945B (zh) * | 2021-03-30 | 2021-08-17 | 上海交大智邦科技有限公司 | 一种基于增强现实的装配引导方法、系统及应用 |
| CN115393620A (zh) * | 2022-09-21 | 2022-11-25 | 齐鲁工业大学 | 一种光笔式三坐标测量系统零件姿态识别方法及光笔结构 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636854A (zh) | 一种基于line-mod模板匹配的增强现实三维跟踪注册方法 | |
| CN109059895B (zh) | 一种基于手机摄像头和传感器的多模态室内测距及定位方法 | |
| CN108564616B (zh) | 快速鲁棒的rgb-d室内三维场景重建方法 | |
| Zubizarreta et al. | A framework for augmented reality guidance in industry | |
| Zhu et al. | Single image 3D object detection and pose estimation for grasping | |
| US9189855B2 (en) | Three dimensional close interactions | |
| Drost et al. | 3d object detection and localization using multimodal point pair features | |
| Shotton et al. | Real-time human pose recognition in parts from single depth images | |
| CN102612704B (zh) | 用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法 | |
| CN108052942B (zh) | 一种飞机飞行姿态的视觉图像识别方法 | |
| CN103988226B (zh) | 用于估计摄像机运动以及用于确定实境三维模型的方法 | |
| Choi et al. | Robust 3D visual tracking using particle filtering on the SE (3) group | |
| Li et al. | 3D object recognition and pose estimation from point cloud using stably observed point pair feature | |
| Zhang et al. | A practical robotic grasping method by using 6-D pose estimation with protective correction | |
| US20170287162A1 (en) | Method and system for scanning an object using an rgb-d sensor | |
| Wiedemann et al. | Recognition and tracking of 3D objects | |
| Chen et al. | Survey on 6D pose estimation of rigid object | |
| Pire et al. | Online object detection and localization on stereo visual SLAM system | |
| Ao et al. | A repeatable and robust local reference frame for 3D surface matching | |
| Ekekrantz et al. | Adaptive iterative closest keypoint | |
| Alam et al. | Pose estimation algorithm for mobile augmented reality based on inertial sensor fusion. | |
| Kanaujia et al. | Part segmentation of visual hull for 3d human pose estimation | |
| CN108447092A (zh) | 视觉定位标识物的方法及装置 | |
| Álvarez et al. | Junction assisted 3d pose retrieval of untextured 3d models in monocular images | |
| Zhang et al. | Kinect-based universal range sensor for laboratory experiments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20231215 |
|
| AD01 | Patent right deemed abandoned |