CN106875431A - 具有移动预测的图像追踪方法及扩增实境实现方法 - Google Patents

Abstract

本发明公开了一种具有移动预测的图像追踪方法及扩增实境实现方法，其图像追踪方法包括A1、获取目标标志物；A2、计算目标标志物的初始位姿矩阵；A3、读入目标标志物的下一帧数据，利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法进入追踪执行线程，以确定新的位姿矩阵；A4、根据新的位姿矩阵对图像进行相应的位置变换；A5、采用A3至A4的步骤直至目标标志物消失；采用该方法有效的解决现有图像追踪方法在图像位移量较大时追踪计算量增大、实时性下降甚至丢失的情况。

Description

具有移动预测的图像追踪方法及扩增实境实现方法

技术领域

本发明涉及计算器视觉领域，具体涉及一种具有移动预测的图像追踪方法及基于该方法的扩增实境实现方法。

背景技术

扩增实境技术即AR，全称为Augmented Reality，其将虚拟世界的视效、音效及空间信息等信息整合至真实环境信息的技术，扩增实境技术不仅展现真实环境的信息，亦同时将虚拟的信息显示出来，藉由两种信息相互补充、迭加，藉此让使用者可获得更丰富的感知信息，通常，搭载扩增实境技术的电子装置可透过配置于其上的摄像镜头捕捉真实环境的影像，并实时地计算所捕捉影像的位置、角度，同时加上相应虚拟图像，其目的是在显示屏幕上把虚拟世界信息套在现实环境信息中，让用户透过所捕捉的影像与虚拟世界的信息进行互动。

现今扩增实境技术主要应用于智能手机、平板计算机等移动装置，近年来由于虚拟现实(Virtual Reality，VR)技术的发展，也开始将扩增实境技术应用于智能头盔、智能眼镜等穿戴式设备上。透过3D图像动画的渲染，多媒体视频、音频的播放，扩增实境技术被广泛地应用于电玩游戏、媒体传播及教育等领域。

扩增实境技术利用虚拟特效增强真实环境中的场景，将需要被展示或被突显的目标事物更加生动且具体，带给用户强烈鲜明的视觉效果。经典的扩增现实应用通常利用模板匹配的方式做图像的追踪。当图像位移量较大时，模板在指定范围内没有搜到匹配的区域，因此扩大搜索的区域，但是，此时有可能依然搜寻不到匹配的区域，因此在图像追踪时容易造成图像的追踪计算量增大、实时性下降甚至丢失的情况。

发明内容

本发明为了解决上述技术问题提供一种具有移动预测的图像追踪方法及基于该方法的扩增实境实现方法。

本发明通过下述技术方案实现：

具有移动预测的图像追踪方法，包括：

A1、获取目标标志物；

A2、计算目标标志物的初始位姿矩阵；

A3、读入目标标志物的下一帧数据，利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法进入追踪执行线程，以确定新的位姿矩阵；

A4、根据新的位姿矩阵对图像进行相应的位置变换；

A5、采用A3至A4的步骤直至目标标志物消失。

本方法在现有的图像追踪方法上做了改进，利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法开始追踪执行线程，有效的解决现有图像追踪方法在图像位移量较大时追踪计算量增大、实时性下降甚至丢失的情况。

在步骤A3的具体方法为：

当读入的影像至少大于两帧时，利用前两帧位姿矩阵计算一个预测矩阵，预先将跟踪组的点从上一帧的位置投影到预测矩阵的位置范围，再在预测矩阵中搜索模板；

根据上一帧的位姿矩阵将跟踪组的点投影至屏幕上，在点附近的一定范围内做模板匹配，譬如在该点周围15*15像素方形范围内进行搜索，判断模板的匹配度由模板所有像素值的归一化互相关系数决定；

对之前的数帧位姿矩阵进行加权，之后对当前帧求得的新的位姿矩阵做最优化估计处理。最优化估计处理即采用最优化方法对位姿矩阵进行估计。

一种基于图像追踪方法的扩增实境实现方法，包括：

1)、生成目标标志物；

2)、初始化扩增实境系统；

3)、获取真实场景图像；

4)、检测并匹配目标标志物，获取目标标志物的初始位姿矩阵；

5)、渲染3D引擎动画特效；

6)、采用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法开始进入追踪执行线程，确定目标标志物新的位姿矩阵；

7)、根据新的位姿矩阵更新扩增实境动画特效；

8)、重复5)至7)直至目标标志物在屏幕中消失、重新获取真实场景图像或扩增实境系统停止运作。

所述模板匹配的方法为：扩增实境系统根据上一帧的位姿矩阵将跟踪组的点投影至屏幕上，在点附近的一定范围内做模板匹配，判断模板是否匹配的分数由模板所有像素值的归一化互相关系数决定。

采用矢量运动模型预测的方法为：当读入的影像至少大于两帧时，利用前两帧位姿矩阵计算一个预测矩阵，预先将跟踪组的点从上一帧的位置投影到预测矩阵的位置范围，再在预测矩阵内搜索模板。将上一帧的点投影到当前帧，并比较两帧特征点的位置移动，算出运动的预测矩阵，在预测矩阵内搜索模板，从而减小图像的追踪计算量、避免实时性下降甚至丢失的情况。

采用卡尔曼滤波算法的方法为：对之前的数帧位姿矩阵进行加权，之后对当前帧求得的新的位姿矩阵做最优化估计处理。

生成目标标志物的步骤为：

生成目标标志物的方法包括：

选取图像；

运用线性插值的方法对图像进行不同尺度的缩小，建立图层塔，使增强现实系统可以匹配到摄像头获取的图像中多种尺寸的标志物；

生成跟踪组的点；

生成匹配组的特征点及描述子。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法开始追踪执行线程，有效的解决现有图像追踪方法在图像位移量较大时追踪计算量增大、实时性下降甚至丢失的情况。

2、本发明将上述图像追踪方法应用到扩增实境中，有效的解决了虚拟三维模型中当图像位移量大时追踪计算量增大、实时性下降甚至丢失的情况，增强了用户体验。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

具有移动预测的图像追踪方法，包括：

A1、获取目标标志物；

A2、计算目标标志物的初始位姿矩阵；

A3、读入目标标志物的下一帧数据，利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法进入追踪执行线程，以确定新的位姿矩阵；

A4、根据新的位姿矩阵对图像进行相应的位置变换；

A5、采用A3至A4的步骤直至目标标志物消失。

具体的，步骤A3的具体方法为：

对之前的数帧位姿矩阵进行加权，之后对当前帧求得的新的位姿矩阵做最优化估计处理；

当读入的影像至少大于两帧时，利用前两帧位姿矩阵计算一个预测矩阵，预先将跟踪组的点从上一帧的位置投影到当前帧的点可能出现的位置范围，再在这些位置附近搜索模板；

根据上一帧的位姿矩阵将跟踪组的点投影至屏幕上，在点附近的一定范围内做模板匹配，譬如在该点周围15*15像素方形范围内进行搜索，判断模板是否匹配的分数由模板所有像素值的归一化互相关系数决定。

上述图像追踪方法可应用到很多很多系统应用中。下面以扩增实境系统的应用对本方法的详细步骤进行阐述。

实施例2

一种基于图像追踪方法的扩增实境实现方法，其特征在于，包括：

1)、生成目标标志物；

2)、初始化扩增实境系统；

3)、获取真实场景图像；

4)、检测并匹配目标标志物，获取目标标志物的初始位姿矩阵；

5)、渲染3D引擎动画特效；

6)、采用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法开始进入追踪执行线程，确定目标标志物新的位姿矩阵；

7)、根据新的位姿矩阵更新扩增实境动画特效；

8)、重复5)至7)直至目标标志物在屏幕中消失、重新获取真实场景图像或扩增实境系统停止运作。

具体的，步骤2)中，扩增实境系统可以在带有摄像头的设备上实现，譬如手机、平板计算机、智能眼镜或头盔等。初始化扩增实境系统主要包括两方面：1.摄像头的校准及初始化，用于获取真实场景图像，初始化摄像头具体指将摄像头的焦距和形变等内部固有参数读取到内存中；2.扩增实境系统读取实现技术需要的预存好的本地数据，包括目标标志物文件，3D模型的信息。

步骤3)通过摄像头获取一个真实场景的图像。

检测图像内是否含有目标标志物，若有流程继续进行，否则重新获取图像与检测。

建立目标标志物在摄像头中的屏幕坐标与目标标志物在真实场景中的位姿坐标的2D-3D位姿矩阵，确定3D模型在屏幕中的摆放位置、大小，以及在每一维上的旋转角度，然后用3D引擎画出带动画的3D模型。

将跟踪组的点在真实场景中的位姿坐标根据2D-3D位姿矩阵投影到屏幕上的二维坐标系。

当读入的影像至少大于两帧时，利用前两帧位姿矩阵计算一个预测矩阵，并将跟踪组的点通过预测矩阵投影到屏幕上。

进行模板匹配，找到跟踪组的点在当前帧对应的坐标，并计算新的位姿矩阵和目标标志物的当前状态，若匹配到的点不足，则三维模型消失，重新获取真实场景的图像。

利用卡尔曼滤波器优化当前帧的位姿矩阵，并根据该矩阵更新三维模型的位姿，具体优化方法为对之前的数帧位姿矩阵进行加权，之后对当前帧求得的新的位姿矩阵做最优化估计处理。

持续以上步骤直至扩增实境系统结束。

上述步骤的目标标志物生成具体的可采用下述方法：

选取一张图像，为了达到稳定的增强现实效果，图像的像素数量不能过低，图像不能过于简单和单调，理想情况是有足够多的特征点；

运用线性插值的方法对图像进行不同尺度的缩小，建立图层塔，使增强现实系统可以匹配到摄像头获取的图像中多种尺寸的标志物；

生成跟踪组的点，先对图像提取角点，之后再对提取出来的角点做x,y方向上梯度的计算，留下梯度最大的20％数量的角点作为跟踪组的点；

生成匹配组的特征点及描述子，图像做特征点提取及生成对应的描述子，用于检测和匹配。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.具有移动预测的图像追踪方法，其特征在于，包括：

A1、获取目标标志物；

A2、计算目标标志物的初始位姿矩阵；

A3、读入目标标志物的下一帧数据，利用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法进入追踪执行线程，以确定新的位姿矩阵；

A4、根据新的位姿矩阵对图像进行相应的位置变换；

A5、采用A3至A4的步骤直至目标标志物消失。

2.根据权利要求1所述的具有移动预测的图像追踪方法，其特征在于，在步骤A3的具体方法为：

当读入的影像至少大于两帧时，利用前两帧位姿矩阵计算一个预测矩阵，预先将跟踪组的点从上一帧的位置投影到预测矩阵的位置范围，再在预测矩阵中搜索模板；

根据上一帧的位姿矩阵将跟踪组的点投影至屏幕上，在点附近的一定范围内做模板匹配，判断模板的匹配度由模板所有像素值的归一化互相关系数决定；

对之前的数帧位姿矩阵进行加权，之后对当前帧求得的新的位姿矩阵做最优化估计处理。

3.一种基于图像追踪方法的扩增实境实现方法，其特征在于，包括：

1)、生成目标标志物；

2)、初始化扩增实境系统；

3)、获取真实场景图像；

4)、检测并匹配目标标志物，获取目标标志物的初始位姿矩阵；

5)、渲染3D引擎动画特效；

6)、采用模板匹配、矢量运动模型预测、卡尔曼滤波算法的方法开始进入追踪执行线程，确定目标标志物新的位姿矩阵；

7)、根据新的位姿矩阵更新扩增实境动画特效；

8)、重复5)至7)直至目标标志物在屏幕中消失、重新获取真实场景图像或扩增实境系统停止运作。

4.根据权利要求3述的一种基于图像追踪方法的扩增实境实现方法，其特征在于，所述模板匹配的方法为：扩增实境系统根据上一帧的位姿矩阵将跟踪组的点投影至屏幕上，在点附近的一定范围内做模板匹配，判断模板是否匹配的分数由模板所有像素值的归一化互相关系数决定。

5.根据权利要求3述的一种基于图像追踪方法的扩增实境实现方法，其特征在于，采用矢量运动模型预测的方法为：当读入的影像至少大于两帧时，利用前两帧位姿矩阵计算一个预测矩阵，预先将跟踪组的点从上一帧的位置投影到预测矩阵的位置范围，再在预测矩阵内搜索模板。

6.根据权利要求3述的一种基于图像追踪方法的扩增实境实现方法，其特征在于，采用卡尔曼滤波算法的方法为：对之前的数帧位姿矩阵进行加权，之后对当前帧求得的新的位姿矩阵做最优化估计处理。

7.根据权利要求3述的一种基于图像追踪方法的扩增实境实现方法，其特征在于，

生成目标标志物的步骤为：

生成目标标志物的方法包括：

选取图像；

运用线性插值的方法对图像进行不同尺度的缩小，建立图层塔，使增强现实系统可以匹配到摄像头获取的图像中多种尺寸的标志物；

生成跟踪组的点；

生成匹配组的特征点及描述子。