CN104966307A - 一种基于实时跟踪的ar算法 - Google Patents

Abstract

本发明涉及图像识别跟踪领域，提供了一种基于实时跟踪的AR算法，步骤包括：设置目标图像；计算目标图像的特征码；设置最大跟踪点数；获取一帧新图像；判断是否有目标跟踪点，若“是”则继续；若“否”则计算目标跟踪点；计算新图像跟踪数据；计算映射四边形；补充跟踪点；更新目标跟踪图像数据；合成图像，并显示在屏幕上。本发明适以实现对目标跟踪图像的有效跟踪，增强了跟踪的实时性和可靠性，同时提高计算的准确性。

Description

一种基于实时跟踪的AR算法

技术领域

本发明涉及图像识别跟踪领域，特别是涉及到利用AR技术实现图像实时跟踪。

背景技术

近年来，随着科技的进步，智能手机、平板等移动设备已经成为人们必不可少的数字娱乐工具。AR(增强现实)技术自提出以来一直是研究热点。增强现实是一种利用辅助信息对用户所处的真实场景进行补充和丰富的计算机系统，这种系统通过生成与用户所处的现实相关的图形图像、声音等信息，并将这些信息所构成的虚拟世界与用户在现实中感觉的真实世界融合为一个虚拟与真实混合并存的世界，使用户产生新的视觉、听觉以及触觉等。增强现实作为虚拟现实技术的一个重要分支，不仅继承了虚拟现实(VR)的特点，而且更显著地突出于其对真实场景的增强效果，即虚实结合的独特性，在某些应用领域逐渐显示出比 VR 更加明显的优势。AR技术要求能实时的呈现合成的场景，其技术的实现离不开场景的检测，但鲁棒的检测算法往往比较耗时，如David G.Lowe提出的sift算法以及Herbert Bay提出的SURF算法在手持设备上都不能达到实时效果。

将实时性较好的跟踪算法引入AR算法中能克服检测算法的不足，但是在实际应用中，跟踪算法的精度往往受到复杂环境的影响。正因如此，寻找一种基于实时跟踪的、鲁棒的AR算法以提高图像跟踪的精度。

发明内容

针对现有技术的缺点的基础上，本发明所要解决的技术问题是提供一种基于实时跟踪的、鲁棒的AR算法，以实现对目标图像的有效跟踪，增强了跟踪的实时性和可靠性，同时提高计算的准确性。

本发明提供一种基于实时跟踪的AR算法，主要包括以下几个步骤：

(1)            设置目标图像；

(2)            计算目标图像的特征码；

(3)            设置最大跟踪点数；

(4)            获取一帧新图像；

(5)            判断是否有目标跟踪点，若“是”则继续；，若“否”则计算目标跟踪点；

(6)            计算新图像跟踪数据；

(7)            计算映射四边形；

(8)            补充跟踪点；

(9)            更新目标跟踪图像数据；

(10)       合成图像，并显示在屏幕上；

(11)       重复步骤(4)到步骤(10)直到摄像头关闭。

进一步，步骤(1)中，设置目标图像宽度高度，单位为像素，并将目标图像转换成灰度图像。

进一步，步骤(2)中，所述特征码是由一系列图像坐标上的点与其SURF特征描述符组成。

进一步，步骤(4)中，将新图像转换成灰度图像。

进一步，步骤(5)中，确定新图像的灰度图像是否存在与目标图像的灰度图像相匹配的场景，包括以下几个步骤：

(5.1) 用SURF算法提取新图像的特征码；

(5.2) 将新图像的特征码与目标图像的特征码进行匹配，若匹配成功表示场景中存在目标图像则继续，否则跳出步骤(5)进入步骤(4)；

(5.3) 提取新图像的特征码与目标图像的特征码中相匹配的新图像特征点和目标图像特征点，构成映射矩阵；

(5.4) 用映射矩阵分别乘以目标图像的四边形中4个顶点坐标的齐次坐标，并对结果归一化得到新图像中四边形的4个顶点；

(5.5) 检测结果裁定，即计算新图像特征点在四边形中的张开程度，当张开程度小于扩张阈值时跳出步骤(5)进入步骤(4)，否则继续；

(5.6) 设置目标跟踪点，即将新图像的特征点作为跟踪起始点；复制新图像为目标跟踪图像，复制新图像特征点为目标跟踪图像特征点，进入步骤(4)。

进一步，步骤(6)中，包括以下几个步骤：

(6.1) 以目标跟踪图像特征点作为跟踪起始点，目标跟踪图像的灰度图像作为前一帧图像，新图像的灰度图像作为当前帧图像，利用金字塔光流算法进行跟踪，得到新图像的灰度图像中对应的跟踪点；

(6.2) 以上述跟踪点作为跟踪起始点，目标跟踪图像的灰度图像作为前一帧图像，新图像的灰度图像作为当前帧图像，再次利用金字塔光流算法跟踪得到跟踪终止点；

(6.3) 利用欧式距离函数，计算前向后向跟踪误差；

(6.4) 利用误差阈值限定跟踪误差，重置目标跟踪图像跟踪点，计算新图像跟踪点；

(6.5) 计算跟踪丢失比率。

进一步，步骤(7)中，若跟踪丢失比率大于丢失比率阈值，则清空目标跟踪图像跟踪点，跳出步骤(7)，进入步骤(4)；否则计算新图像特征点和目标跟踪图像特征点的映射矩阵， 用其计算得到映射后的四边形的顶点。

进一步，步骤(8)中，若新图像特征点数小于最大跟踪点数，则进行补充跟踪点，否则继续。

进一步，步骤(9)中，更新新图像为目标跟踪图像，更新新图像四边形顶点为目标跟踪图像四边形顶点，更新新图像跟踪点和补充跟踪点为的合集为目标跟踪点。

进一步，步骤(10)中读取目标跟踪图像数据，使用Opengl将其绘制到新图像中的四边形内得到最终的合成图像，并显示在屏幕上。

本发明方法通过在子线程中使用SURF检测算法得到稳定的特征点的同时不影响跟踪实时性；通过计算检测到的特征点的“张开程度”判断检测结果的可靠性；通过双向跟踪使得跟踪结果更加可靠；通过在四边形周围合理补点，增加跟踪可靠性的同时提高计算映射矩阵的准确性。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明

下面结合附图与具体实施方式对本发明作进一步详细的说明：

图1 为本发明的用于基于实时跟踪的AR算法的流程图；

图2 为本发明的用于实施例中计算目标跟踪点的子流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将对本发明的具体实施方式作进一步的详细描述。

图1为本发明基于实时跟踪的AR算法的流程图，如图1所示，本实施例中基于实时跟踪的AR算法包括以下步骤：

(1)            设置目标图像。

设置目标图像宽度I_width，高度为I_heigh，单位为像素，并将目标图像转换成灰度图像 I_init。

(2)            计算目标图像的特征码F_target。

F_target是由一系列图像坐标上的点与其SURF特征描述符组成。

(3)            设置最大跟踪点数max_tracking_num，范围为［0,256］，本发明设置为128。

(4)            获取一帧新图像V,并将V转换成灰度图像I_cur。

(5)            判断是否有目标跟踪点，若“是”则继续，若“否”则计算目标跟踪点。

图2为计算目标跟踪点的子流程图，用于计算目标跟踪点，如图2所示，包括以下几个步骤：

 (5.1) 用SURF算法提取新图像V的特征码F_detect。

(5.2) 将特征码F_detect与F_target进行匹配，若匹配成功表示场景中存在目标图像则继续，否则跳出步骤(5)进入步骤(4)。

(5.3) 提取新图像的特征码F_detect与目标图像的特征码F_target中相匹配的新图像特征点Points_detect和目标图像特征点Points_target，计算Points_target到Points_detect的映射矩阵H_detect，其中H_detect为3x3的矩阵，Points_detect与Points_target为一系列点形成的集合。

(5.4) 用映射矩阵H_detect分别乘以目标图像的四边形中4个顶点坐标的齐次坐标(0,0,1)T、 (I_width – 1,0,1) T 、(I_width – 1, I_height – 1,1) T 、(0, I_height– 1,1) T ，并对结果归一化得到新图像I_cur中对应的坐标P _LT、P_RT、P_RB、P_LB，即四边形ABCD的4个顶点。

(5.5) 检测结果裁定，计算Points_detect中的点在四边形ABCD中的张开程度（Points_Expansion）。

设点O为四边形ABCD对角线的交点，通过向量关系                                                与, 求得O点坐标，进而求得与，其中lamda1与lamda2为未知实数；

对Points_detect中的所有点Pi (i = 0,1,2,…,n - 1)，分别计算向量在 、、与上的投影Li_OA, Li_OB, Li_OC, Li_OD；

然后计算比率Ratio_OA = max({Li_OA, i = 0,1,2,…,n - 1})/ ||，Ratio_OB = max({Li_OB, i = 0,1,2,…,n – 1})/ ||，Ratio_OC = max({Li_OC i = 0,1,2,…,n – 1})/ ||，Ratio_OD = max({Li_OD, i = 0,1,2,…,n – 1})/ ||；

 最后Points_Expansion = min(Ratio_OA, Ratio_OB, Ratio_OC, Ratio_OD)，当Points_Expansion < expandThreshold时步骤(5)进入步骤(4)，否则继续下步，其中min 为最小值运算符,max为最大值运算符，expandThreshold范围为［0，1］本发明取0.2。

(5.6) 设置目标跟踪点，即将新图像的特征点作为跟踪起始点：即将Points_detect中的n个点Pi(i = 0,1,2,…,n - 1)作为跟踪起始点，复制I_cur为I_pre，复制Points_detect为Points_pre，进入步骤(4)。

(1)            计算新图像跟踪数据。

(6.1) 以目标跟踪图像Points_pre中的点Pi作为跟踪起始点，n =num(Points_pre)，目标跟踪图像的灰度图像I_pre作为前一帧图像，新图像的灰度图像I_cur作为当前帧图像，利用金字塔光流算法进行跟踪，得到I_cur中对应的跟踪点Qi；

(6.2) 以上述跟踪点Qi作为跟踪起始点，I_cur作为前一帧图像， I_pre作为当前帧图像，再次利用金字塔光流算法跟踪得到跟踪终止点Pi_reverse；

(6.3) 计算前向后向跟踪误差Errori = distance(Pi , Pi_reverse)，其中distance( )为欧式距离函数；

(6.4) 利用误差阈值限定跟踪误差，重置目标跟踪图像跟踪点Points_pre = ｛Pi, Errori < distanceThreshold｝，计算新图像跟踪点Points_cur = ｛Qi, Errori < distanceThreshold｝，其中distanceThreshold为误差阈值，范围为(0,1),本发明取0.5；

(6.5) 计算跟踪丢失比率n_lossRatio = (n - num(Points_cur))/n，其中 num( )为计算集合的元素个数的函数。

（7）           计算映射四边形。

若n_lossRatio> LossRatioThreshold，清空Points_pre，即清空目标跟踪点，跳出步骤(7)进入步骤(4)，否则计算Points_pre到Points_cur的映射矩阵H_tracking，用H_tracking 分别乘以(A_pre，1)T、(B_pre,1)T、(C_pre,1)T、(D_pre,1)T并对结果坐标归一化得到A_cur、B_ cur、C_ cur、D_ cur，即映射后的四边形的顶点，其中丢失比率阈值LossRatioThreshold范围为［0，1］，本发明设置为0.6，H_tracking为3x3的矩阵。

（8）          补充跟踪点。

若num(Points_cur) < max_tracking_num，则进行补充跟踪点，否则继续；

补充跟踪点的原则是使补充的点尽可能分布在A_cur、B_cur、C_cur、D_cur周围并且在其形成的四边形内部，详细描述如下：

a)  令A_cur、B_cur、C_cur、D_cur形成的四边形为ABCD，需要补充的点数：

Adding_point_num=max_tracking_num－num(Points_cur)，

在ABCD四个顶点附近补充的点数为：

R (x) = Adding_point_num * Weight(x)/(ΣWeight(x)), Weight(x) = distance(x, P_center)，

其中x分别代表点A、B、C、D；P_center 为Points_cur中所有点的重心。

b) 设PA_new为A点附近的补充点，则PA_new = k1 * + k2 *，

 k1、k2范围为(0,0.4)，在此范围内随机取k1、k2的值生成新的补充点直到补充点数达到R (A)，

 B、C、D点附近的补点同理，

所有补充的跟踪点形成集合Points_new。

（9）更新目标跟踪图像数据：更新新图像为目标跟踪图像，更新新图像四边形顶点为目标跟踪图像四边形顶点，更新新图像跟踪点和补充跟踪点为的合集为目标跟踪点，本实施例中更新A_pre=A_cur、B_pre=B_cur、C_pre= C_cur、D_pre=D_cur、I_pre=I_cur；更新Points_pre=Points_cur ∪ Points_new。

（10）合成图像，将读取目标跟踪图像数据V_draw使用Opengl将其绘制到新图像V中的四边形内得到最终的合成图像V_FINAL，并显示在屏幕上。

（11）重复步骤(4)到步骤(10)直到摄像头关闭。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于实时跟踪的AR算法，其特征在于包括以下几个步骤：

（1）设置目标图像；

（2）计算目标图像的特征码；

（3）设置最大跟踪点数；

（4）获取一帧新图像；

（5）判断是否有目标跟踪点，若“是”则继续，若“否”则计算目标跟踪点；

（6）计算新图像跟踪数据；

（7）计算映射四边形；

（8）补充跟踪点；

（9）更新目标跟踪图像数据；

（10）合成图像，并显示在屏幕上；

（11）重复步骤(4)到步骤(10)直到摄像头关闭。

2.根据权利要求1所述一种基于实时跟踪的AR算法，其特征在于，步骤(1)中，设置目标图像宽度高度，单位为像素，并将目标图像转换成灰度图像。

3.根据权利要求1所述一种基于实时跟踪的AR算法，其特征在于，步骤(2)中，所述特征码是由一系列图像坐标上的点与其SURF特征描述符组成。

4.根据权利要求1所述一种基于实时跟踪的AR算法，其特征在于，步骤(4)中，将新图像转换成灰度图像。

5.根据权利要求1至4所述一种基于实时跟踪的AR算法，其特征在于，步骤(5)中，确定新图像的灰度图像是否存在与目标图像的灰度图像相匹配的场景，包括以下几个步骤：

(5.1)用SURF算法提取新图像的特征码；

(5.2)将新图像的特征码与目标图像的特征码进行匹配，若匹配成功表示场景中存在目标图像则继续，否则跳出步骤(5)进入步骤(4)；

(5.3)提取新图像的特征码与目标图像的特征码中相匹配的新图像特征点和目标图像特征点，构成映射矩阵；

(5.4)用映射矩阵分别乘以目标图像的四边形中4个顶点坐标的齐次坐标，并对结果归一化得到新图像中四边形的4个顶点；

(5.5)检测结果裁定，即计算新图像特征点在四边形中的张开程度，当张开程度小于扩张阈值时跳出步骤(5)进入步骤(4)，否则继续；

(5.6)设置目标跟踪点，即将新图像的特征点作为跟踪起始点；复制新图像为目标跟踪图像，复制新图像特征点为目标跟踪图像特征点，进入步骤(4)。

6.根据权利要求1所述一种基于实时跟踪的AR算法，其特征在于，步骤(6)中，包括以下几个步骤：

(6.1)以目标跟踪图像特征点作为跟踪起始点，目标跟踪图像的灰度图像作为当前帧图像，新图像的灰度图像作为前一帧图像，利用金字塔光流算法进行跟踪，得到新图像的灰度图像中对应的跟踪点；

(6.2)以上述跟踪点作为跟踪起始点，目标跟踪图像的灰度图像作为前一帧图像，新图像的灰度图像作为当前帧图像，再次利用金字塔光流算法跟踪得到跟踪终止点；

(6.3)利用欧式距离函数，计算前向后向跟踪误差；

(6.4)利用误差阈值限定跟踪误差，重置目标跟踪图像跟踪点，计算新图像跟踪点；

(6.5)计算跟踪丢失比率。

7.根据权利要求1或6所述一种基于实时跟踪的AR算法，其特征在于，步骤(7)中，若跟踪丢失比率大于丢失比率阈值，则清空目标跟踪图像跟踪点，跳出步骤(7)，进入步骤(4)；否则计算新图像特征点和目标跟踪图像特征点的映射矩阵， 用其计算得到映射后的四边形的顶点。

8.根据权利要求1或7所述一种基于实时跟踪的AR算法，其特征在于，步骤(8)中，若新图像特征点数小于最大跟踪点数，则进行补充跟踪点，否则继续。

9.根据权利要求1或8所述一种基于实时跟踪的AR算法，其特征在于，步骤(9)中，更新新图像为目标跟踪图像，更新新图像四边形顶点为目标跟踪图像四边形顶点，更新新图像跟踪点和补充跟踪点为的合集为目标跟踪点。

10.根据权利要求1或9所述一种基于实时跟踪的AR算法，其特征在于，步骤(10)中读取目标跟踪图像数据，使用Opengl将其绘制到新图像中的四边形内得到最终的合成图像，并显示在屏幕上。