CN110689573A - 一种基于边缘模型的增强现实无标识跟踪注册方法及装置 - Google Patents
一种基于边缘模型的增强现实无标识跟踪注册方法及装置 Download PDFInfo
- Publication number
- CN110689573A CN110689573A CN201910841769.9A CN201910841769A CN110689573A CN 110689573 A CN110689573 A CN 110689573A CN 201910841769 A CN201910841769 A CN 201910841769A CN 110689573 A CN110689573 A CN 110689573A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- pose
- model
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明请求保护一种基于边缘模型的增强现实无标识跟踪注册方法及装置，涉及领域在增强现实无标识中跟踪注册的实时性和鲁棒性问题。目前针对三维物体表面缺少足够的纹理特征，因特征点少而引起的位姿抖动或扰动，并且算法搜索空间太大的缺陷。针对这些问题，该方法是采用保持旋转和尺度不变形的线性并行多模态LINE‑MOD模板匹配方法快速识别目标物体、获取与当前视角接近的参考视图而完成相机位姿的估计，并将该位姿作为基于边缘模型跟踪注册方法的初始化位姿，从而避免人工手动给定初始化位姿。因此，本发明能够进行快速跟踪注册，具有良好的实时性和鲁棒性。
Description
技术领域
本发明属于计算机视觉处理领域，尤其涉及一种高效的基于边缘模型的增强现实无标识跟踪注册方法。
背景技术
增强现实是一种将真实世界与虚拟世界“无缝”集成的技术，通过将计算机生成的信息叠加到真实世界而使用户达到超越现实的感官体验。为了实现这种“无缝”融合，需要检测增强的对象和估计虚拟信息的位置及旋转。现阶段的增强现实系统是通过在感兴趣物体上设置人工标识的方法来实现的，这种方法的计算量小，且在恶劣的光照条件下仍具有较好的鲁棒性，但基于人工标识的方法存在视觉污染和操作过程复杂等缺陷。
随着科学技术的发展和计算机运算能力的提高，无标识追踪依靠场景中物体的自身特征完成追踪已成为增强现实技术的研究热点，并取得了很大发展，但仍然存在缺陷。例如：基于特征点的方法会因物体表面缺少足够的纹理特征而出现追踪抖动或扰动；基于点云的注册追踪方法对无纹理目标物体的鲁棒性较好，但庞大的点云数据量对计算机的运算能力和硬件配置提出了较高要求；基于模型的方法已广泛用于增强现实无标识三维注册追踪系统，但实时处理由不同视角采集的大量参考图像，将会产生巨大的搜索空间和庞大的计算量，从而大幅降低系统的实时性和可用性。最近，以kinect Fu-sion、Large-ScaleDirect Monocular Simultane-ous Localization and Mapping(LSD-SLAM)等为代表的即时定位与地图构建方法取得了长足进展.这些方法不需要场景的先验知识，免去了训练过程，但其仅能估计相机的相对位姿而不能识别场景中的物体，不适用于许多增强现实系统，而且在动态场景中容易造成追踪失败。
本发明提出一种高效的基于边缘模型的增强现实无标识跟踪注册方法，针对三维物体表面缺少足够的纹理特征，因特征点少而引起的位姿抖动或扰动，并且算法搜索空间太大的缺陷。该方法是采用保持旋转和尺度不变形的线性并行多模态LINE-MOD模板匹配方法快速识别目标物体、获取与当前视角接近的参考视图而完成相机位姿的估计，并将该位姿作为基于边缘模型跟踪注册方法的初始化位姿，从而避免人工手动给定初始化位姿。因此，能够进行快速跟踪注册，具有良好的实时性和鲁棒性。
发明内容
本发明旨在克服现有技术中，三维物体表面缺少足够的纹理特征，因特征点少而引起的位姿抖动或扰动，并且避免人工手动给定初始化位姿的问题。提出了一种从而能够进行快速跟踪注册，具有良好的实时性和鲁棒性的基于边缘模型的增强现实无标识跟踪注册方法及装置。本发明的技术方案如下：
一种基于边缘模型的增强现实无标识跟踪注册方法，其包括以下步骤：
目标物体特征离线提取步骤：离线阶段在CAD计算机辅助设计环境中对目标物体3D模型进行训练，对目标物体3D模型进行多视角下的图像采集并将采集图像作为参考图像，同时在图像采集的过程中记录相机的采集位置和姿态，对获取到的参考图像进行梯度方向描述符提取并存储到XML文件中；
基于改进LINE-MOD模板匹配对目标物体在线识别步骤：在线阶段采集目标物体处在真实场景中的视频帧，对每一帧图像进行图像预处理以及图像梯度方向描述符提取，然后通过改进的LINE-MOD模板匹配方法将在线提取的图像梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配，改进的LINE-MOD模板匹配方法改进主要在于，将深度信息引入相似性评价方法，使其具有尺度不变性，改进后的算法如下：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c′I表示输入图像与模板图像在同一个位置c′I处，O表示参考图象O位置，So(c′o,r′)表示参考图像的梯度方向，ori(O,So(c′o,r′))表示在参考图像O位置点处的梯度方向的弧度，ori(I,t)表示在输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表，y表示图像梯度沿着y轴方向的距离，D(c′x)表示在点c′x处的深度值，D(c′o)表示离线训练时参考图像O相机到正多面体中心的距离；
模型投影步骤：将关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿，通过该初始化位姿将目标物体3D模型进行投影，计算出模型投影图像；
位姿更新步骤：获取模型投影图像之后，识别对象的可见边缘并且沿着这些边缘以规则间隔的方式来分配采样点，对于模型上每一采样点，沿着该采样点在模型线段的法线方向搜索视频图像中一阶差分极大值点，作为采样点对应的图像边缘点，通过采样点与图像中检测到的边缘之间的距离得到新的位姿。
进一步的，所述基于改进LINE-MOD模板匹配对目标物体在线识别步骤具体过程如下：
(1)采用相似性进行度量公式将在线阶段提取的物体表面梯度方向与离线阶段产生的梯度方向模板进行匹配，如下所示：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c表示输入图像与模板图像在同一个位置c处，ori(O,r)表示在参考图像O位置r点处的梯度方向的弧度，
表示以c+r为中心，τ为邻域的区域，R(c+r)表示图像以c+r为中心的半径区域，ori(I,t)表示输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表；
(2)为了完成目标物体在任意尺度下的识别，将深度信息引入相似性度量的方法中，使其具有尺度不变性，改进后的相似性度量公式，如下所示：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c′I表示输入图像与模板图像在同一个位置c′I处，O表示参考图象O位置，So(c′o,r′)表示参考图像的梯度方向，ori(O,So(c′o,r′))表示在参考图像O位置
点处的梯度方向的弧度，r′、c′o表示模板图像在位置r′处、模板图像在位置c′o处，ori(I,t)表示在输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表，y表示图像梯度沿着y轴方向的距离，D(c′x)表示在点c′x处的深度值，D(c′o)表示离线训练时参考图像O相机到正多面体中心的距离。
进一步的，所述模型投影步骤中，关键帧是指在线对目标物体别时，获取与当前输入视频帧最相似的图像作为关键帧，该关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿，通过初始化位姿将目标物体3D模型进行投影，计算出模型投影图像，具体包括：
设目标物体3D模型表面上一点Q在世界坐标系下的坐标为(Xw,Yw,Zw)，其理想的模型投影图像像素坐标为q(x,y)，可令如下式所示：
式中u、v、w表示图像像素坐标，Zc表示尺度因子，x、y也表示图像像素坐标，由实际图像坐标可得到如下式所示：
式中x、y表示图像像素坐标，u、v、w也表示图像像素坐标，根据上式得，图像平面上点q(x,y)的速度矢量
其表达式如下式所示：
由上式可得到如下式所示：
式中u、v、w表示图像像素坐标，Zc表示尺度因子，x、y也表示图像像素坐标，Xw、Yw、Zw表示世界坐标系下的坐标，M表示透视投影矩阵，m表示透视投影矩阵中的一个数，由上式可得到如下式所示：
式中
图像像素坐标的速度矢量，m表示透视投影矩阵中的一个数，
表示世界坐标系下坐标的速度矢量。
进一步的，计算出模型投影图像后，将模型投影图像文件导入系统中并且进行解析，提取结构性可见边缘线段、消除虚假边缘，然后对模型进行采样，使得采样点等间隔地分布在模型线段的投影线段上，同时记录每个采样点的3D坐标和其投影后的图像2D坐标，断这些采样点的可见性，保留可见采样点，清除不可见的采样点。
进一步的，所述位姿更新步骤中，通过建立模型边缘点和图像边缘点之间的对应关系后，
σ为标准方差，x为一个未知量。根据对应关系迭代求解运动位姿，将求解出的运动位姿来估计位姿改正量；见具体算法过程，根据位姿改正量计算其投影矩阵，并更新位姿，具体算法过程如下：
假设更新前的位姿参数为Me t-1，根据该位姿参数可求解得到位姿参数改正量
从而可推导出更新后的位姿参数Me t；
令运动前后目标表面上一点Q在世界坐标系下的坐标分别为：Q＝(X,Y,Z)和Q′＝(X′,Y′,Z′)，则可得到如下式所示：
式中Q′、Q、
表示世界坐标系的坐标矩阵，Ω表示反对称矩阵，t表示平移向量，I表示单位矩阵，使用齐次坐标
和
可将上式表示为下如式所示：
式中
表示世界坐标系的坐标矩阵，Ω表示反对称矩阵，t表示平移向量，I表示单位矩阵，0T表示常数0矩阵；
假设运动前目标物体位姿为
M为透视投影矩阵，R表示旋转矩阵，T表示平移矩阵，可将求解得到的位姿改正量用矩阵表示为ΔM表示位姿改正量矩阵，Ω表示反对称矩阵，t表示平移向量，I表示单位矩阵，则上式可表示为如下式所示：
式中
表示世界坐标系的坐标矩阵，ΔM表示位姿改正量矩阵，M为透视投影矩阵，Ω表示反对称矩阵，t表示平移向量，I表示单位矩阵，R表示旋转矩阵，T表示平移矩阵，根据上式可得到当前的位姿矩阵更新为如下式所示：
式中M′表示当前的位姿矩阵，ΔM表示位姿改正量矩阵，M为透视投影矩阵，Ω表示反对称矩阵，t表示平移向量，I表示单位矩阵，R表示旋转矩阵，T表示平移矩阵，(I+Ω)R表示当前时刻旋转矩阵，(I+Ω)T+t表示当前时刻平移向量。
一种基于边缘模型的增强现实无标识跟踪注册装置，其包括：
目标物体特征离线提取模块：用于离线阶段在CAD计算机辅助设计环境中对目标物体3D模型进行训练，对目标物体3D模型进行多视角下的图像采集并将采集图像作为参考图像，同时在图像采集的过程中记录相机的采集位置和姿态，对获取到的参考图像进行梯度方向描述符提取并存储到XML文件中；
目标物体在线识别装置：用于在线阶段采集目标物体处在真实场景中的视频帧，对每一帧图像进行图像预处理以及图像梯度方向描述符提取，然后通过改进的LINE-MOD模板匹配方法将在线提取的图像梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配，改进的LINE-MOD模板匹配方法，改进主要在于将深度信息引入相似性评价方法，使其具有尺度不变性，改进后的算法如下：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c′I表示输入图像与模板图像在同一个位置c′I处，O表示参考图象O位置，So(c′o,r′)表示参考图像的梯度方向，ori(O,So(c′o,r′))表示在参考图像O位置
点处的梯度方向的弧度，ori(I,t)表示在输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表，y表示图像梯度沿着y轴方向的距离，D(c′x)表示在点c′x处的深度值，D(c′o)表示离线训练时参考图像O相机到正多面体中心的距离；
模型投影模块：将关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿，通过该初始化位姿将目标物体3D模型进行投影，计算出模型投影图像；
位姿更新模块：用于获取模型投影图像之后，识别对象的可见边缘并且沿着这些边缘以规则间隔的方式来分配采样点，对于模型上每一采样点，沿着该采样点在模型线段的法线方向搜索视频图像中一阶差分极大值点，作为采样点对应的图像边缘点，通过采样点与图像中检测到的边缘之间的距离得到新的位姿。
进一步的，所述目标物体在线识别装置的识别步骤如下：
(1)采用相似性进行度量公式将在线阶段提取的物体表面梯度方向与离线阶段产生的梯度方向模板进行匹配，如下所示：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c表示输入图像与模板图像在同一个位置c处，ori(O,r)表示在参考图像O位置r点处的梯度方向的弧度，
表示以c+r为中心，τ为邻域的区域，R(c+r)表示图像以c+r为中心的半径区域，ori(I,t)表示输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表；
(2)为了完成目标物体在任意尺度下的识别，将深度信息引入相似性度量的方法中，使其具有尺度不变性，改进后的相似性度量公式，如下所示：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c′I表示输入图像与模板图像在同一个位置c′I处，O表示参考图象O位置，So(c′o,r′)表示参考图像的梯度方向，ori(O,So(c′o,r′))表示在参考图像O位置
点处的梯度方向的弧度，r′、c′o表示模板图像在位置r′处、模板图像在位置c′o处，ori(I,t)表示在输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表，y表示图像梯度沿着y轴方向的距离，D(c′x)表示在点c′x处的深度值，D(c′o)表示离线训练时参考图像O相机到正多面体中心的距离。
本发明的优点及有益效果如下：
本发明的创新点是提出一种高效的基于边缘模型的增强现实无标识跟踪注册方法，该方法是采用LINE-MOD模板匹配方法快速识别目标物体、获取与当前视角接近的参考视图而完成相机位姿的估计，并将该位姿作为基于边缘模型跟踪注册方法的初始化位姿，从而克服了三维物体表面缺少足够的纹理特征，因特征点少而引起的位姿抖动或扰动，并且避免人工手动给定初始化位姿等问题。因此，该方法能够进行快速跟踪注册，具有良好的实时性和鲁棒性。
具体步骤是：
(1)目标物体特征离线提取，离线阶段在CAD环境中对目标物体3D模型进行训练，对该模型进行多视角下的图像采集并作为参考图像，同时在图像采集的过程中记录相机的采集位置和姿态，对获取到的参考图像进行梯度方向描述符提取并存储到XML文件中。
(2)基于LINE-MOD模板匹配对目标物体在线识别，在线阶段采集目标物体处在真实场景中的视频帧，对每一帧图像进行图像预处理以及图像梯度方向描述符提取，然后通过改进的LINE-MOD模板匹配方法将在线提取的图像梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配,完成对目标物体的识别。
(3)模型投影，将关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿，通过该初始化位姿将目标物体3D模型进行投影，计算出该模型的模型投影图像。
(4)位姿更新，获取模型投影图像之后，需要识别对象的可见边缘并且沿着这些边缘以规则间隔的方式来分配采样点。对于模型上每一采样点，需要沿着该采样点在模型线段的法线方向搜索视频图像中一阶差分极大值点，可作为该采样点对应的图像边缘点。通过采样点与图像中检测到的边缘之间的距离可得到新的位姿。
具体创新点是步骤(2)、(3)，其创新在于采用LINE-MOD模板匹配方法快速识别目标物体、获取与当前视角接近的参考视图而完成相机位姿的估计，并将该位姿作为基于边缘模型跟踪注册方法的初始化位姿，从而避免依靠手动初始化，特别是在跟踪失败时还需要重新初始化，给实际应用带来了诸多不便。
该方法的优点是：采用了LINE-MOD模板匹配对目标物体在线识别，该方法既不需要一个庞大的训练集，也不需要一个耗时的训练阶段，并且能快速识别目标物体，以达到实时性。克服了物体表面缺少足够的纹理特征、算法搜索空间太大的缺陷以及人工手动给定初始化位姿等问题。使用该方法可满足增强现实的装配引导系统的需求。
附图说明
图1是本发明提供优选实施例的一种高效的基于边缘模型的增强现实无标识跟踪注册方法流程图；
图2为本发明的基于边缘模型的三维物体跟踪注册方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
本发明提出了一种高效的基于边缘模型的增强现实无标识跟踪注册方法，其特征在于：克服了三维物体表面缺少足够的纹理特征，因特征点少而引起的位姿抖动或扰动，并避免人工手动给定初始化位姿。采用了LINE-MOD模板匹配方法快速识别目标物体、获取与当前视角接近的参考视图而完成相机位姿的估计，并将该位姿作为基于边缘模型跟踪注册方法的初始化位姿，从而能够进行快速跟踪注册，具有良好的实时性和鲁棒性。以下将参照附图并结合实例对本发明作进一步详细说明。
如图1所示，本发明的一种高效的基于边缘模型的增强现实无标识跟踪注册方法流程图，具体是这样实现的：
1.目标物体特征离线提取，离线阶段在CAD环境中对目标物体3D模型进行训练，对该模型进行多视角下的图像采集并作为参考图像，同时在图像采集的过程中记录相机的采集位置和姿态，对获取到的参考图像进行梯度方向描述符提取并存储到XML文件中。
2.基于LINE-MOD模板匹配对目标物体在线识别，在线阶段采集目标物体处在真实场景中的视频帧，对每一帧图像进行图像预处理以及图像梯度方向描述符提取，然后通过改进的LINE-MOD模板匹配方法将在线提取的图像梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配,完成对目标物体的识别，具体过程如下：
(1)为了将在线阶段提取的物体表面梯度方向与离线阶段产生的梯度方向模板进行匹配，Hinterstoisser等提出相似性进行度量公式，如下所示：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c表示输入图像与模板图像在同一个位置c处，ori(O,r)表示在参考图像O位置r点处的梯度方向的弧度，
表示以c+r为中心，τ为邻域的区域，ori(I,t)表示输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表。
(2)为了完成目标物体在任意尺度下的识别，将深度信息引入相似性度量的方法中，使其具有尺度不变性。改进后的相似性度量公式，如下所示：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c′I表示输入图像与模板图像在同一个位置c′I处，O表示参考图象O位置，So(c′o,r′)表示参考图像的梯度方向，ori(O,So(c′o,r′))表示在参考图像O位置
点处的梯度方向的弧度，ori(I,t)表示在输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表，y表示图像梯度沿着y轴方向的距离，D(c′x)表示在点c′x处的深度值，D(c′o)表示离线训练时参考图像O相机到正多面体中心的距离。
表示以
为中心，τ为邻域的区域。
3.模型投影，将关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿，通过该初始化位姿将目标物体3D模型进行投影，计算出该模型的模型投影图像。
4.位姿更新，获取模型投影图像之后，需要识别对象的可见边缘并且沿着这些边缘以规则间隔的方式来分配采样点。对于模型上每一采样点，需要沿着该采样点在模型线段的法线方向搜索视频图像中一阶差分极大值点，可作为该采样点对应的图像边缘点。通过采样点与图像中检测到的边缘之间的距离可得到新的位姿。使用法向距离迭代加权最小二乘法对位姿进行计算，具体算法过程如下：
式中pe表示位姿改正量，wi表示每个采样点的权值，n(xi)表示当前位姿下，xi处模型线段的单位法向矢量，Je表示Jaclbian矩阵，是相机内外参数的函数，d(xi)表示法向距离。
如图2所示，本发明的基于边缘模型的三维物体跟踪注册方法流程图，图2是对图1一种高效的基于边缘模型的增强现实无标识跟踪注册方法流程图进一步更详细的描述。具体是这样实现的：
(a)图像预处理
利用高斯滤波和拉普拉斯算子先后对图像进行平滑去噪和锐化处理，使得有效去除图像的噪声并且能够更好的保留图像的边缘信息。
(b)模型投影
将关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿，通过该初始化位姿将目标物体3D模型进行投影，计算出该模型的模型投影图像。。
(c)识别可见边缘并分配采样点
通过对三维物体3D模型进行投影后，需要对模型进行解析，提取结构性可见边缘线段、消除虚假边缘，然后对模型进行采样，使得采样点等间隔地分布在模型线段的投影线段上。同时记录每个采样点的3D坐标和其投影后的图像2D坐标。判断这些采样点的可见性，保留可见采样点，清除不可见的采样点。
(d)搜索图像的边缘点
根据每个采样点位置沿法线方向搜索图像一阶导数的极大值点作为边缘点，然后建立模型边缘点和图像边缘点之间的对应关系。
(e)计算运动位姿
通过建立模型边缘点和图像边缘点之间的对应关系后，可根据对应关系迭代求解运动位姿。将求解出的运动位姿来估计位姿改正量。
(f)计算运动位姿
根据位姿改正量可计算其投影矩阵，并更新位姿。如果满足迭代终止条件，则进入下一步；否则，转(b)。
(g)输出位姿参数
如果继续跟踪，输入下一幅图像，转(a)；否则，退出。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (7)
1.一种基于边缘模型的增强现实无标识跟踪注册方法及装置，其特征在于，包括以下步骤：
目标物体特征离线提取步骤：离线阶段在CAD计算机辅助设计环境中对目标物体3D模型进行训练，对目标物体3D模型进行多视角下的图像采集并将采集图像作为参考图像，同时在图像采集的过程中记录相机的采集位置和姿态，对获取到的参考图像进行梯度方向描述符提取并存储到XML文件中；
基于改进LINE-MOD模板匹配对目标物体在线识别步骤：在线阶段采集目标物体处在真实场景中的视频帧，对每一帧图像进行图像预处理以及图像梯度方向描述符提取，然后通过改进的LINE-MOD模板匹配方法将在线提取的图像梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配，改进的LINE-MOD模板匹配方法改进主要在于，将深度信息引入相似性评价方法，使其具有尺度不变性，改进后的算法如下：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c′I表示输入图像与模板图像在同一个位置c′I处，O表示参考图象O位置，So(c′o,r′)表示参考图像的梯度方向，ori(O,So(c′o,r′))表示在参考图像O位置
点处的梯度方向的弧度，ori(I,t)表示在输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表，y表示图像梯度沿着y轴方向的距离，D(c′x)表示在点c′x处的深度值，D(c′o)表示离线训练时参考图像O相机到正多面体中心的距离；
模型投影步骤：将关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿，通过该初始化位姿将目标物体3D模型进行投影，计算出模型投影图像；
位姿更新步骤：获取模型投影图像之后，识别对象的可见边缘并且沿着这些边缘以规则间隔的方式来分配采样点，对于模型上每一采样点，沿着该采样点在模型线段的法线方向搜索视频图像中一阶差分极大值点，作为采样点对应的图像边缘点，通过采样点与图像中检测到的边缘之间的距离得到新的位姿。
2.根据权利要求1所述的一种基于边缘模型的增强现实无标识跟踪注册方法及装置，其特征在于，所述基于改进LINE-MOD模板匹配对目标物体在线识别步骤具体过程如下：
(1)采用相似性进行度量公式将在线阶段提取的物体表面梯度方向与离线阶段产生的梯度方向模板进行匹配，如下所示：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c表示输入图像与模板图像在同一个位置c处，ori(O,r)表示在参考图像O位置r点处的梯度方向的弧度，
表示以c+r为中心，τ为邻域的区域，R(c+r)表示图像以c+r为中心的半径区域，ori(I,t)表示输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表；
(2)为了完成目标物体在任意尺度下的识别，将深度信息引入相似性度量的方法中，使其具有尺度不变性，改进后的相似性度量公式，如下所示：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c′I表示输入图像与模板图像在同一个位置c′I处，O表示参考图象O位置，So(c′o,r′)表示参考图像的梯度方向，ori(O,So(c′o,r′))表示在参考图像O位置
点处的梯度方向的弧度，r′、c′o表示模板图像在位置r′处、模板图像在位置c′o处，ori(I,t)表示在输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表，y表示图像梯度沿着y轴方向的距离，D(c′x)表示在点c′x处的深度值，D(c′o)表示离线训练时参考图像O相机到正多面体中心的距离。
3.根据权利要求2所述的一种基于边缘模型的增强现实无标识跟踪注册方法及装置，其特征在于，所述模型投影步骤中，关键帧是指在线对目标物体别时，获取与当前输入视频帧最相似的图像作为关键帧，该关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿，通过初始化位姿将目标物体3D模型进行投影，计算出模型投影图像，具体包括：
设目标物体3D模型表面上一点Q在世界坐标系下的坐标为(Xw,Yw,Zw)，其理想的模型投影图像像素坐标为q(x,y)，可令如下式所示：
式中u、v、w表示图像像素坐标，Zc表示尺度因子，x、y也表示图像像素坐标，由实际图像坐标可得到如下式所示：
式中x、y表示图像像素坐标，u、v、w也表示图像像素坐标，根据上式得，图像平面上点q(x,y)的速度矢量其表达式如下式所示：
由上式可得到如下式所示：
式中u、v、w表示图像像素坐标，Zc表示尺度因子，x、y也表示图像像素坐标，Xw、Yw、Zw表示世界坐标系下的坐标，M表示透视投影矩阵，m表示透视投影矩阵中的一个数，由上式可得到如下式所示：
式中
图像像素坐标的速度矢量，m表示透视投影矩阵中的一个数，
表示世界坐标系下坐标的速度矢量。
4.根据权利要求3所述的一种基于边缘模型的增强现实无标识跟踪注册方法及装置，其特征在于，计算出模型投影图像后，将模型投影图像文件导入系统中并且进行解析，提取结构性可见边缘线段、消除虚假边缘，然后对模型进行采样，使得采样点等间隔地分布在模型线段的投影线段上，同时记录每个采样点的3D坐标和其投影后的图像2D坐标，断这些采样点的可见性，保留可见采样点，清除不可见的采样点。
5.根据权利要求4所述的一种基于边缘模型的增强现实无标识跟踪注册方法及装置，其特征在于，所述位姿更新步骤中，通过建立模型边缘点和图像边缘点之间的对应关系后，σ为标准方差，x为一个未知量。根据对应关系迭代求解运动位姿，将求解出的运动位姿来估计位姿改正量；见具体算法过程，根据位姿改正量计算其投影矩阵，并更新位姿，具体算法过程如下：
假设更新前的位姿参数为Me t-1，根据该位姿参数可求解得到位姿参数改正量
从而可推导出更新后的位姿参数Me t；
令运动前后目标表面上一点Q在世界坐标系下的坐标分别为：Q＝(X,Y,Z)和Q′＝(X′,Y′,Z′)，则可得到如下式所示：
式中Q′、Q、
表示世界坐标系的坐标矩阵，Ω表示反对称矩阵，t表示平移向量，I表示单位矩阵，使用齐次坐标
和可将上式表示为下如式所示：
式中
表示世界坐标系的坐标矩阵，Ω表示反对称矩阵，t表示平移向量，I表示单位矩阵，0T表示常数0矩阵；
假设运动前目标物体位姿为
M为透视投影矩阵，R表示旋转矩阵，T表示平移矩阵，可将求解得到的位姿改正量用矩阵表示为ΔM表示位姿改正量矩阵，Ω表示反对称矩阵，t表示平移向量，I表示单位矩阵，则上式可表示为如下式所示：
式中
表示世界坐标系的坐标矩阵，ΔM表示位姿改正量矩阵，M为透视投影矩阵，Ω表示反对称矩阵，t表示平移向量，I表示单位矩阵，R表示旋转矩阵，T表示平移矩阵，根据上式可得到当前的位姿矩阵更新为如下式所示：
式中M′表示当前的位姿矩阵，ΔM表示位姿改正量矩阵，M为透视投影矩阵，Ω表示反对称矩阵，t表示平移向量，I表示单位矩阵，R表示旋转矩阵，T表示平移矩阵，(I+Ω)R表示当前时刻旋转矩阵，(I+Ω)T+t表示当前时刻平移向量。
6.一种基于边缘模型的增强现实无标识跟踪注册装置，其特征在于，包括：
目标物体特征离线提取模块：用于离线阶段在CAD计算机辅助设计环境中对目标物体3D模型进行训练，对目标物体3D模型进行多视角下的图像采集并将采集图像作为参考图像，同时在图像采集的过程中记录相机的采集位置和姿态，对获取到的参考图像进行梯度方向描述符提取并存储到XML文件中；
目标物体在线识别装置：用于在线阶段采集目标物体处在真实场景中的视频帧，对每一帧图像进行图像预处理以及图像梯度方向描述符提取，然后通过改进的LINE-MOD模板匹配方法将在线提取的图像梯度方向描述符与离线阶段提取的梯度方向描述符进行匹配，改进的LINE-MOD模板匹配方法，改进主要在于将深度信息引入相似性评价方法，使其具有尺度不变性，改进后的算法如下：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c′I表示输入图像与模板图像在同一个位置c′I处，O表示参考图象O位置，So(c′o,r′)表示参考图像的梯度方向，ori(O,So(c′o,r′))表示在参考图像O位置
点处的梯度方向的弧度，ori(I,t)表示在输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表，y表示图像梯度沿着y轴方向的距离，D(c′x)表示在点c′x处的深度值，D(c′o)表示离线训练时参考图像O相机到正多面体中心的距离；
表示以
为中心，τ为邻域的区域，完成对目标物体的识别；
模型投影模块：将关键帧对应的相机位姿作为基于边缘模型跟踪注册的初始化位姿，通过该初始化位姿将目标物体3D模型进行投影，计算出模型投影图像；
位姿更新模块：用于获取模型投影图像之后，识别对象的可见边缘并且沿着这些边缘以规则间隔的方式来分配采样点，对于模型上每一采样点，沿着该采样点在模型线段的法线方向搜索视频图像中一阶差分极大值点，作为采样点对应的图像边缘点，通过采样点与图像中检测到的边缘之间的距离得到新的位姿。
7.根据权利要求6所述的一种基于边缘模型的增强现实无标识跟踪注册装置，其特征在于，所述目标物体在线识别装置的识别步骤如下：
(1)采用相似性进行度量公式将在线阶段提取的物体表面梯度方向与离线阶段产生的梯度方向模板进行匹配，如下所示：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c表示输入图像与模板图像在同一个位置c处，ori(O,r)表示在参考图像O位置r点处的梯度方向的弧度，
表示以c+r为中心，τ为邻域的区域，R(c+r)表示图像以c+r为中心的半径区域，ori(I,t)表示输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表；
(2)为了完成目标物体在任意尺度下的识别，将深度信息引入相似性度量的方法中，使其具有尺度不变性，改进后的相似性度量公式，如下所示：
式中，ε表示待识别目标物体与离线训练阶段获得的目标物体训练模板之间的相似性，I表示输入图像，T＝(O,p)表示目标物体的模板，c′I表示输入图像与模板图像在同一个位置c′I处，O表示参考图象O位置，So(c′o,r′)表示参考图像的梯度方向，ori(O,So(c′o,r′))表示在参考图像O位置
点处的梯度方向的弧度，r′、c′o表示模板图像在位置r′处、模板图像在位置c′o处，ori(I,t)表示在输入图像I位置t点处的梯度方向的弧度，p表示位置r的列表，y表示图像梯度沿着y轴方向的距离，D(c′x)表示在点c′x处的深度值，D(c′o)表示离线训练时参考图像O相机到正多面体中心的距离；
表示以
为中心，τ为邻域的区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910841769.9A CN110689573B (zh) | 2019-09-06 | 2019-09-06 | 一种基于边缘模型的增强现实无标识跟踪注册方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910841769.9A CN110689573B (zh) | 2019-09-06 | 2019-09-06 | 一种基于边缘模型的增强现实无标识跟踪注册方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110689573A true CN110689573A (zh) | 2020-01-14 |
| CN110689573B CN110689573B (zh) | 2022-07-01 |
Family
ID=69107866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910841769.9A Active CN110689573B (zh) | 2019-09-06 | 2019-09-06 | 一种基于边缘模型的增强现实无标识跟踪注册方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110689573B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275827A (zh) * | 2020-02-25 | 2020-06-12 | 北京百度网讯科技有限公司 | 基于边缘的增强现实三维跟踪注册方法、装置和电子设备 |
| CN112613123A (zh) * | 2020-12-25 | 2021-04-06 | 成都飞机工业（集团）有限责任公司 | 一种飞机管路ar三维注册方法及装置 |
| CN113407027A (zh) * | 2021-06-04 | 2021-09-17 | 浙江商汤科技开发有限公司 | 位姿获取方法及装置和电子设备、存储介质 |
| CN113781525A (zh) * | 2021-09-13 | 2021-12-10 | 陕西铁路工程职业技术学院 | 一种基于原始cad模型的三维目标跟踪算法研究 |
| CN114138501A (zh) * | 2022-02-07 | 2022-03-04 | 杭州智现科技有限公司 | 用于现场安全监控的边缘智能服务的处理方法和装置 |
| CN114288673A (zh) * | 2022-03-09 | 2022-04-08 | 龙旗电子(惠州)有限公司 | 游戏地图的创建方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102385512A (zh) * | 2010-08-25 | 2012-03-21 | 株式会社泛泰 | 通过使用标记来提供增强现实（ar）的装置和方法 |
| CN107145224A (zh) * | 2017-04-07 | 2017-09-08 | 清华大学 | 基于三维球面泰勒展开的人眼视线跟踪方法和装置 |
| CN108492017A (zh) * | 2018-03-14 | 2018-09-04 | 河海大学常州校区 | 一种基于增强现实的产品质量信息传递方法 |
| CN109636854A (zh) * | 2018-12-18 | 2019-04-16 | 重庆邮电大学 | 一种基于line-mod模板匹配的增强现实三维跟踪注册方法 |
-
2019
- 2019-09-06 CN CN201910841769.9A patent/CN110689573B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102385512A (zh) * | 2010-08-25 | 2012-03-21 | 株式会社泛泰 | 通过使用标记来提供增强现实（ar）的装置和方法 |
| CN107145224A (zh) * | 2017-04-07 | 2017-09-08 | 清华大学 | 基于三维球面泰勒展开的人眼视线跟踪方法和装置 |
| CN108492017A (zh) * | 2018-03-14 | 2018-09-04 | 河海大学常州校区 | 一种基于增强现实的产品质量信息传递方法 |
| CN109636854A (zh) * | 2018-12-18 | 2019-04-16 | 重庆邮电大学 | 一种基于line-mod模板匹配的增强现实三维跟踪注册方法 |
Non-Patent Citations (2)
| Title |
|---|
| WANG Y 等: "A LINE-MOD-based markerless tracking approach for AR applications", 《INTERNATIONAL JOURNAL OF ADVANCED MANUFACTURING TECHNOLOGY》 * |
| 王月 等: "点云和视觉特征融合的增强现实装配系统三维跟踪注册方法", 《西北工业大学学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275827A (zh) * | 2020-02-25 | 2020-06-12 | 北京百度网讯科技有限公司 | 基于边缘的增强现实三维跟踪注册方法、装置和电子设备 |
| CN111275827B (zh) * | 2020-02-25 | 2023-06-16 | 北京百度网讯科技有限公司 | 基于边缘的增强现实三维跟踪注册方法、装置和电子设备 |
| CN112613123A (zh) * | 2020-12-25 | 2021-04-06 | 成都飞机工业（集团）有限责任公司 | 一种飞机管路ar三维注册方法及装置 |
| CN113407027A (zh) * | 2021-06-04 | 2021-09-17 | 浙江商汤科技开发有限公司 | 位姿获取方法及装置和电子设备、存储介质 |
| CN113781525A (zh) * | 2021-09-13 | 2021-12-10 | 陕西铁路工程职业技术学院 | 一种基于原始cad模型的三维目标跟踪算法研究 |
| CN113781525B (zh) * | 2021-09-13 | 2024-01-23 | 陕西铁路工程职业技术学院 | 一种基于原始cad模型的三维目标跟踪方法 |
| CN114138501A (zh) * | 2022-02-07 | 2022-03-04 | 杭州智现科技有限公司 | 用于现场安全监控的边缘智能服务的处理方法和装置 |
| CN114138501B (zh) * | 2022-02-07 | 2022-06-14 | 杭州智现科技有限公司 | 用于现场安全监控的边缘智能服务的处理方法和装置 |
| CN114288673A (zh) * | 2022-03-09 | 2022-04-08 | 龙旗电子(惠州)有限公司 | 游戏地图的创建方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110689573B (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110689573B (zh) | 一种基于边缘模型的增强现实无标识跟踪注册方法及装置 | |
| CN109166149B (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
| CN108764048B (zh) | 人脸关键点检测方法及装置 | |
| CN109544677B (zh) | 基于深度图像关键帧的室内场景主结构重建方法及系统 | |
| CN109506658B (zh) | 机器人自主定位方法和系统 | |
| US11928800B2 (en) | Image coordinate system transformation method and apparatus, device, and storage medium | |
| CN108711166A (zh) | 一种基于四旋翼无人机的单目相机尺度估计方法 | |
| WO2017099097A1 (en) | Method and system for detecting and localizing object and slam method | |
| CN108229416B (zh) | 基于语义分割技术的机器人slam方法 | |
| Wang et al. | Point cloud and visual feature-based tracking method for an augmented reality-aided mechanical assembly system | |
| CN104050475A (zh) | 基于图像特征匹配的增强现实的系统和方法 | |
| CN110751097B (zh) | 一种半监督的三维点云手势关键点检测方法 | |
| CN112613123A (zh) | 一种飞机管路ar三维注册方法及装置 | |
| CN110895683A (zh) | 一种基于Kinect的单视点手势姿势识别方法 | |
| CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
| Zhang et al. | A stereo SLAM system with dense mapping | |
| CN112200917A (zh) | 一种高精度增强现实方法及系统 | |
| CN110647925A (zh) | 基于改进的line-mod模板匹配的刚性物体识别方法及装置 | |
| CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
| CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其系统 | |
| Neubert et al. | Semi-autonomous generation of appearance-based edge models from image sequences | |
| CN110458177A (zh) | 图像深度信息的获取方法、图像处理装置以及存储介质 | |
| CN115309113A (zh) | 一种零件装配的引导方法及相关设备 | |
| CN110910418B (zh) | 基于旋转不变性图像特征描述子的目标跟踪算法 | |
| Ling et al. | Aircraft pose estimation based on mathematical morphological algorithm and Radon transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |