CN106952312A - 一种基于线特征描述的无标识增强现实注册方法 - Google Patents

Abstract

本发明提供一种基于线特征描述的无标识增强现实注册方法，该方法利用颜色差分直方图获取当前帧中兴趣目标所在的局部区域，然后对当前帧中的兴趣目标使用高斯滤波来除去噪声和图像亮度调整；再对区域中目标进行轮廓特征提取，按检测到的线特征提取描述符，进行线特征匹配；再通过当前帧中二维和三维的对应关系计算虚实坐标系变换矩阵，获取采集当前帧的计算摄像机外部参数并确定摄像机位姿；最后根据计算摄像机计算的上一帧得到的计算摄像机外部参数和摄像机位姿以及当前帧中目标的线特征信息更新当前的投影矩阵，进而实现实时注册；该方法缩小了当前帧对于目标所在区域的检测范围，提高了目标检测的效率和虚实物体位置匹配的效率。

Description

一种基于线特征描述的无标识增强现实注册方法

技术领域

本发明涉及增强现实系统领域，更具体地，涉及一种基于线特征描述的无标识增强现实注册方法。

背景技术

近年来，增强现实技术作为一个新的研究领域，是一种在虚拟现实的基础上发展起来的，并通过计算机产生的图像等虚拟信息融合到真实世界中的技术，即对人的视觉系统进行景象增强或者扩张，可广泛应用到军事，建筑，医疗，工程，娱乐等领域。在基于视觉的增强现实系统中，需具备虚实空间的一致性结合，实时交互性和物体注册三个特点。其中，物体注册技术作为增强现实系统中的核心技术，又可分为有标志和无标识注册方法。基于标志的注册方法存在有需要在场景中放置标记，其中放置标记必须是黑色和白色相间的矩形图像，会造成视觉外观的不美观及视觉环境污染，在应用场景上受到较大的局限等问题。无标识注册方法是基于现实世界的对象识别技术，例如可使用在LOGO，广告牌，杂志书籍封面，视频等无需提前预设的场景，基于此，无标识注册方法成为增强现实技术领域中有待深入研究的课题之一。

基于无标识场景的增强现实虚实物体注册过程主要包括特征提取，特征匹配，计算摄像机位姿，物体渲染等方面。目前，传统研究的无标识注册方法主要是对场景中的自然特征进行特征点提取及检测，并跟踪这些特征点，通常每一帧有500个特征点，通过这些自然特征点对摄像机位姿进行估计，把这些特征点的三维坐标投影到观察二维图像的坐标系中，并建立起二维图像平面与三维真实世界中坐标的对应关系，从而实现实时注册。目前，以特征点检测为主的无标记注册方法主要是基于特征不变描述子的方法，该方法利用特征描述子来做局部区域表达，具有旋转不变性等特性，解决目标检测最常用的算法有SIFT、SUFT等。现有传统的检测特征点的无标识注册方法存在诸多问题，主要在于系统对视频图像需要全部都检测计算特征点，这使得特征点检测所耗时间很大，另外对成对立体图像的特征点匹配过程较为耗时，难以完全达到实时性的要求。特别地，场景检测到过多的特征点时将增加注册过程的迭代次数和总计算量，特征点在匹配过程中,误差会随着时间的推移而逐渐累加,误匹配容易造成注册结果的失败以及FPS(每秒传输帧数，Frames PerSecond)不流畅等问题。

发明内容

本发明提供一种基于线特征描述的无标识增强现实注册方法，该方法可实现虚实物体快速且精确叠加。

为了达到上述技术效果，本发明的技术方案如下：

一种基于线特征描述的无标识增强现实注册方法，包括以下步骤：

S1：利用颜色差分直方图获取当前帧中兴趣目标所在的局部区域；

S2：对当前帧中的兴趣目标使用高斯滤波来除去噪声和图像亮度调整；

S3：对区域中目标进行轮廓特征提取，按检测到的线特征提取描述符，进行线特征匹配；

S4：通过当前帧中二维和三维的对应关系计算虚实坐标系变换矩阵，获取采集当前帧的计算摄像机外部参数并确定摄像机位姿；

S5：根据计算摄像机计算的上一帧得到的计算摄像机外部参数和摄像机位姿以及当前帧中目标的线特征信息更新当前的投影矩阵，进而实现实时注册。

进一步地，所述步骤S1中：

首先获取视频流中兴趣目标完整出现的第一帧，并以该帧作为关键帧序列，在该关键帧图像中进行目标所在感兴趣区域分割，以此关键帧作为模版图像，然后同样在当前帧中对感兴趣区域中检测目标，将目标所在区域进行框定。

进一步地，所述步骤S3的具体过程如下：

对当前帧进行二值化处理，然后对目标进行Canny边缘检测，计算最小链码的长度及相应点的曲率，并删除小于该曲率值的链码，保留各条线段的端点计算出各条线段的中点，利用线特征的几何分布特性进行线特征描述：

采用直线的两个端点，坐标分别记为(x₁,y₁)和(x₂,y₂)，一般方程为用极点到直线的距离ρ和直线与极轴的夹角θ作为表示直线的参数，以这两个参数所建立的坐标系和图像中的直线存在一一对应的关系；极点方程为ρ＝y cosθ+xsinθ，对兴趣目标进行轮廓提取后，通过逼近算法对轮廓形状分析，然后对模版图像及待配准图像比较两者的轮廓矩：

对轮廓上所有点进行积分运算获取形状特征，定义一个轮廓的(p,q)矩：

其中，p对应x维度上的矩，q对应y维度上的矩，阶数表示对应部分的指数，对轮廓边界上所有像素进行求和。

进一步地，所述步骤S4中，计算摄像机外部参数，选取相邻4条直线的中点作为空间坐标的三维空间点，并获取摄像机内部参数K，具体地：

采用RANSAC算法建立当前帧关键点m_c和模版图像关键点m_s间的对应关系：

采用Tukey M-估计算法计算摄像机的位姿，其初始值为当前帧的前一帧的视点参数，该算法利用最小化误差残差：

获得参数的最优估计，ρ为连续对称函数，r_i＝||m_i-λP_iM_i||为图像的反投影误差，通过迭代优化求解摄像机的旋转和平移矩阵。

进一步地，所述步骤S2中采用3×3的高斯滤波器来进行去噪声处理和图像亮度调整。

与现有技术相比，本发明技术方案的有益效果是：

本发明利用颜色差分直方图获取当前帧中兴趣目标所在的局部区域，然后对当前帧中的兴趣目标使用高斯滤波来除去噪声和图像亮度调整；再对区域中目标进行轮廓特征提取，按检测到的线特征提取描述符，进行线特征匹配；再通过当前帧中二维和三维的对应关系计算虚实坐标系变换矩阵，获取采集当前帧的计算摄像机外部参数并确定摄像机位姿；最后根据计算摄像机计算的上一帧得到的计算摄像机外部参数和摄像机位姿以及当前帧中目标的线特征信息更新当前的投影矩阵，进而实现实时注册；该方法直接在视频中进行虚实物体注册，保证了画面每秒传输帧数的数量，保证了注册的实时性；缩小了当前帧对于目标所在区域的检测范围，提高了目标检测的效率和虚实物体位置匹配的效率；该方法明获取当前帧中线特征出现的位置，获得更多的图像信息，获取线段上的关键点，不需要复杂的矩阵计算，减少当前帧注册时的计算量，有较快的计算速度和较好的鲁棒性。

附图说明

图1为本发明具体实施内容的注册方法流程示意图；

图2为在当前帧中获取兴趣目标所在的局部区域；

图3为当前帧进行线特征检测及其边缘检测的灰度图；

图4为图像坐标系与摄像机坐标系转换对应。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于线特征描述的无标识增强现实注册方法，包括以下步骤：

1)利用颜色差分直方图获取关键帧和当前帧中兴趣目标所在的局部区域，如附图2所示；

2)对当前帧中的兴趣目标使用3×3高斯滤波器去噪声处理、图像亮度调整处理等图像预处理相关步骤；

3)对区域中目标进行轮廓特征提取，按检测到的线特征提取描述符，进行线特征匹配，如附图3所示；

4)通过图像中二维和三维的对应关系计算虚实坐标系变换矩阵，获取计算摄像机外部参数并确定摄像机位姿；

5)根据上一帧摄像机计算结果和当前帧中目标的线特征信息更新当前的投影矩阵，进而实现实时注册；

步骤1)中，首先获取视频流中兴趣目标完整出现的第一帧，并以该帧作为关键帧序列，在该关键帧图像中进行目标所在感兴趣区域分割，以此关键帧作为模版图像，然后同样在当前帧中对感兴趣区域中检测目标，将目标所在区域进行框定，如附图2所示。

步骤3)中，对当前帧进行二值化处理，然后对目标进行Canny边缘检测，计算最小链码的长度及相应点的曲率，并删除小于该曲率值的链码，保留各条线段的端点计算出各条线段的中点。利用线特征的几何分布特性进行线特征描述，具体地：

采用直线的两个端点，坐标分别记为：(x₁，y₁)、(x₂，y₂)

一般方程为：

用极点到直线的距离ρ和直线与极轴的夹角θ作为表示直线的参数,以这两个参数所建立的坐标系和图像中的直线存在一一对应的关系。

极点方程为：ρ＝y cosθ+x sinθ

对兴趣目标进行轮廓提取后，通过逼近算法对轮廓形状分析，然后对模版图像及待配准图像比较两者的轮廓矩，具体地：

对轮廓上所有点进行积分运算获取形状特征，定义一个轮廓的(p,q)矩：

其中，p对应x维度上的矩，q对应y维度上的矩，阶数表示对应部分的指数，对轮廓边界上所有像素进行求和。

步骤4)中，计算摄像机外部参数，选取相邻4条直线的中点作为空间坐标的三维空间点，并获取摄像机内部参数K，具体地：

采用RANSAC算法建立当前帧关键点m_c和模版图像关键点m_s间的对应关系：

建立起当前帧图像关键点与其三维空间坐标点的对应关系，转换关系如附图4所示，采用Tukey M-估计算法计算摄像机的位姿，其初始值为当前帧的前一帧的视点参数。该算法利用最小化误差残差：

获得参数的最优估计，ρ为连续对称函数，r_i＝||m_i-λP_iM_i||为图像的反投影误差，通过迭代优化求解摄像机的旋转和平移矩阵。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于线特征描述的无标识增强现实注册方法，其特征在于，包括以下步骤：

S1：利用颜色差分直方图获取当前帧中兴趣目标所在的局部区域；

S2：对当前帧中的兴趣目标使用高斯滤波来除去噪声和图像亮度调整；

S3：对区域中目标进行轮廓特征提取，按检测到的线特征提取描述符，进行线特征匹配；

S4：通过当前帧中二维和三维的对应关系计算虚实坐标系变换矩阵，获取采集当前帧的计算摄像机外部参数并确定摄像机位姿；

S5：根据计算摄像机计算的上一帧得到的计算摄像机外部参数和摄像机位姿以及当前帧中目标的线特征信息更新当前的投影矩阵，进而实现实时注册。

2.根据权利要求1所述的基于线特征描述的无标识增强现实注册方法，其特征在于，所述步骤S1中：

首先获取视频流中兴趣目标完整出现的第一帧，并以该帧作为关键帧序列，在该关键帧图像中进行目标所在感兴趣区域分割，以此关键帧作为模版图像，然后同样在当前帧中对感兴趣区域中检测目标，将目标所在区域进行框定。

3.根据权利要求2所述的基于线特征描述的无标识增强现实注册方法，其特征在于，所述步骤S3的具体过程如下：

对当前帧进行二值化处理，然后对目标进行Canny边缘检测，计算最小链码的长度及相应点的曲率，并删除小于该曲率值的链码，保留各条线段的端点计算出各条线段的中点，利用线特征的几何分布特性进行线特征描述：

采用直线的两个端点，坐标分别记为(x₁,y₁)和(x₂,y₂)，一般方程为用极点到直线的距离ρ和直线与极轴的夹角θ作为表示直线的参数，以这两个参数所建立的坐标系和图像中的直线存在一一对应的关系；极点方程为ρ＝ycosθ+xsinθ，对兴趣目标进行轮廓提取后，通过逼近算法对轮廓形状分析，然后对模版图像及待配准图像比较两者的轮廓矩：

对轮廓上所有点进行积分运算获取形状特征，定义一个轮廓的(p,q)矩：

$m(p,q)=\underset{i=1}{\overset{n}{\Σ}}I(x,y)x^p{y}^q$

其中，p对应x维度上的矩，q对应y维度上的矩，阶数表示对应部分的指数，对轮廓边界上所有像素进行求和。

4.根据权利要求3所述的基于线特征描述的无标识增强现实注册方法，其特征在于，所述步骤S4中，计算摄像机外部参数，选取相邻4条直线的中点作为空间坐标的三维空间点，并获取摄像机内部参数K，具体地：

采用RANSAC算法建立当前帧关键点m_c和模版图像关键点m_s间的对应关系：

$m_c^j\↔m_s^j$

采用Tukey M-估计算法计算摄像机的位姿，其初始值为当前帧的前一帧的视点参数，该算法利用最小化误差残差：

$min\underset{i=1}{\overset{n}{\Σ}}\mathrm{\ρ}\left(r_i\right)$

获得参数的最优估计，ρ为连续对称函数，r_i＝||m_i-λP_iM_i||为图像的反投影误差，通过迭代优化求解摄像机的旋转和平移矩阵。

5.根据权利要求1-4任一项所述的基于线特征描述的无标识增强现实注册方法，其特征在于，所述步骤S2中采用3×3的高斯滤波器来进行去噪声处理和图像亮度调整。