CN106250938A - 目标跟踪方法、增强现实方法及其装置 - Google Patents

Abstract

本发明涉及一种目标跟踪方法，包括：获取跟踪模板数据；获取图像数据；根据当前时刻的所述图像数据和所述跟踪模版数据进行特征匹配获取匹配结果；对所述匹配结果进行筛选选取筛选后匹配结果；根据所述筛选后匹配结果确定所述图像数据中的目标的位置信息。还涉及了一种增强现实方法，包括了上述的目标跟踪方法，在获取了所述目标的位置信息后，根据所述目标的位置信息在所述目标所在的位置区域显示与所述目标相关的虚拟信息。通过本发明实施例的技术方案，能够有效确定目标的位置信息，保证结果的可靠性，增强显示运行效率高，实时性好。

Description

目标跟踪方法、增强现实方法及其装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种目标跟踪方法及其装置和一种增强现实方法及其装置。

背景技术

增强现实(Augmented Reality，简称AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。它把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。而要实现此技术，需要获取实体的在真实世界中的信息，确定被寻找的目标，确定目标的位置，实现对目标的跟踪，现有的跟踪方法，需要昂贵的跟踪设备，使用的便携性差，不能广泛地应用在智能终端上；或者计算复杂，耗时长，误差率较大，难以达到实时性的要求。

发明内容

本发明为了解决上述问题中的至少一个提供了目标跟踪方法及装置、增强现实方法及装置和终端，其带来了简单快速稳定，对硬件要求低中的至少一个技术效果。

本发明的第一方面，提供了一种目标跟踪方法，其特征在于，包括：a)获取跟踪模板数据；b)获取图像数据；c)根据当前时刻的所述图像数据和所述跟踪模版数据进行特征匹配获取匹配结果；对所述匹配结果进行筛选选取筛选后匹配结果；根据所述筛选后匹配结果确定所述图像数据中的目标的位置信息。

可选地，还包括：d)确定当前时刻的所述目标的位置信息与所述跟踪模版的位置信息的差异值，当所述差异值大于阈值、所述目标不被遮挡且跟踪精度大于阈值时，将当前时刻的所述目标确定为跟踪模版；e)重复步骤b)至步骤d)获取不同时刻所述图像数据中所述目标的位置信息。

可选地，所述步骤c)包括对当前时刻之前的时间段内的所述目标的位置信息进行分析获取轨迹信息，根据所述轨迹信息在当前时刻的所述图像数据中获取特征提取区域，在所述特征提取区域中提取ORB特征，将所述ORB特征与所述跟踪模板中的ORB特征进行匹配获取匹配点对，对所述匹配点对进行筛选，判定筛选后的所述匹配点对的个数大于阈值时，基于筛选后的所述匹配点对计算出所述目标的位置信息。

可选地，所述对所述匹配点对进行筛选，判定筛选后的所述匹配点对的个数大于阈值时，基于筛选后的所述匹配点对计算出所述目标的位置信息的步骤包括：对所述匹配点对中的特征点对进行反向检查,去除反向匹配失败的所述匹配点对；去除所述匹配点对中点对距离大于阈值的所述匹配点对；判定所述匹配点对的最近邻和次近邻的匹配点对的距离的比值大于阈值时，去除所述匹配点对；判定剩余的所述匹配点对的数量大于阈值时，利用去除误匹配算法对剩余的所述匹配点对进行筛选，确定用去除误匹配算法筛选后剩余的所述匹配点对的个数大于阈值时，根据用去除误匹配算法筛选后剩余的所述匹配点对计算出所述目标为位置信息。

本发明的第二方面，提供了一种增强现实方法，上述的目标跟踪方法，在获取了所述目标的位置信息后，根据所述目标的位置信息在所述目标所在的位置区域显示与所述目标相关的虚拟信息。

本发明的第三方面，提供了一种目标跟踪装置，包括：跟踪模板获取模块，用于获取跟踪模版数据；图像数据获取模块，用于获取图像数据；目标位置信息获取模块，用于根据当前时刻的所述图像数据和所述跟踪模版数据进行特征匹配获取匹配结果；对所述匹配结果进行筛选选取筛选后匹配结果；根据所述筛选后匹配结果确定所述图像数据中的目标的位置信息。

本发明的第四方面，提供了一种增强现实系统，上述的目标跟踪装置，还包括虚拟信息获取装置，所述虚拟信息获取装置用于获取与目标相关的虚拟信息；渲染显示装置，用于根据所述目标跟踪装置提供的目标的位置信息，在与所述目标对应的位置区域显示与所述目标相关的虚拟信息。

本发明的第五方面，提供了一种终端，其特征在于，包括了上述的增强现实系统或上述的目标跟踪装置，所述终端为手机或平板电脑。

本发明提供的目标跟踪方法及装置、增强现实方法及装置和终端，能够有效去除误匹配，保证精确性，跟踪时计算量少，实时性好。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了根据本发明一个实施例的目标跟踪方法的方法流程示意图；

图2示出了根据本发明一个实施例的目标跟踪方法的方法流程示意图；

图3示出了根据本发明一个实施例的目标跟踪方法中的S101步骤的方法流程示意图；

图4示出了根据本发明一个实施例的目标跟踪方法的方法流程示意图；

图5示出了根据本发明一个实施例的目标跟踪方法中的S201步骤的方法流程示意图；

图6示出了根据本发明一个实施例的目标跟踪方法中的S202步骤的方法流程示意图；

图7示出了根据本发明一个实施例的目标跟踪方法中的S203步骤的方法流程示意图；

图8示出了根据本发明一个实施例的目标跟踪方法中的S204和S205步骤的方法流程示意图；

图9示出了根据本发明一个实施例的目标跟踪方法的方法流程示意图；

图10示出了根据本发明一个实施例的增强现实方法的方法流程示意图；

图11示出了根据本发明一个实施例的增强现实方法的方法流程示意图；

图12示出了根据本发明一个实施例的目标跟踪装置的结构组成示意图；

图13示出了根据本发明一个实施例的增强现实系统的结构组成示意图；

图14示出了根据本发明一个实施例的目标跟踪方法的方法流程示意图；

附图标记：

100目标跟踪装置；101跟踪模板获取模块；102图像数据获取模块；103目标位置信息获取模块；104跟踪模板更新模块；200增强现实系统；201虚拟信息获取装置；202渲染显示装置。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

增强现实技术将真实世界中的信息与虚拟世界中信息融合呈现，具有很大的运用前景，随着智能终端的普及，增强现实技术的应用愈加广泛，可以通过在智能终端上安装增强现实应用进行体验。具体的，本发明提供的增强现实应用实施例的工作流程如下：终端通过摄像头拍摄图像帧；对图像帧进行识别，确定目标；跟踪目标，确定目标位置；获取与所述目标相关联的虚拟信息，对图像帧进行渲染，将所述虚拟信息叠加在目标上；在终端屏幕上同时显示目标和虚拟内容以供用户进行交互。

在本发明实施例提供的增强现实系统中，目标的跟踪，即如何快速直接使虚拟场景与真实世界精确对齐，对于增强现实系统实时性很重要。一般地，增强现实系统主要采用基于硬件设备的跟踪定位和基于计算机视觉的跟踪定位。基于硬件设备的跟踪方式有很多，比如在基准物上安装LED灯发光，通过CCD传感器，接收发出的光线来测量目标距离和方位；或者利用机械装置、陀螺仪、惯性装置等设备测量观察者位置信息等方式。该类方法一般定位速度快，实时性好，测量范围大；但是需要昂贵的跟踪设备，使用的便携性差，应用范围有限制。基于计算机视觉的跟踪定位技术通过图像处理和计算机视觉等技术获取观察者的位置信息，是室内增强现实系统中常用的跟踪定位技术，具体可分为基于标识物的跟踪方法和基于自然特征的跟踪方法。基于标识物的方法通过事先定义好的各种平板标识物来标记基准位置和各个物体，系统通过模板匹配来找到视频中的对应标识物来准确定位目标。该方法不需要复杂的硬件设备，而且能达到实时性的要求。然而，在实际应用中必须事先准备标识物，并将标识物存储于数据库中，因此，这一前提条件使得其应用场景和时间存在限制。基于自然特征的方法，通过分析视频图像，获取匹配的自然特征点，经过计算推出目标位置。由于不依赖于特殊标识物，而且一般场景特征点数量较多，不容易出现部分遮挡后跟踪失败的情况，所以，目前基于移动手持设备的增强现实系统多采用这种自然特征检测方法。然而，基于自然特征的跟踪方法缺点也十分明显：a)系统提取特征点并描述特征点的过程耗时；b)成对图像的特征点的匹配过程耗时，难以达到实时性的要求；c)当特征点匹配过程出现错误时导致跟踪不准确甚至跟踪失败，这使得实时的高精度的跟踪，面临很大的挑战。

综上，目前的增强现实算法由于其本身的复杂性以及所需的大量的视频处理，在现有的智能终端嵌入式平台上很难得到流畅的运行。

本发明提供了一种开发简单快速而稳定的目标跟踪方法，使其可以在低运算能力的嵌入式平台上得以应用，继而实现增强现实系统。使所述增强现实系统高效，实时性好，对硬件要求低，能够广泛运用智能终端上。

实施例一

如图1所示，本发明提供了一种目标跟踪方法，其特征在于，包括：

S101获取跟踪模板数据，本发明实施例采用跟踪模板来作为识别依据，不需要标识物，实现方法简单，所采用的跟踪模板可以为固定的模板，这时计算简化，也可为动态的模板，根据获取到的目标的实时图像做处理后更新为跟踪模板，有效减少误判率，利于之后的识别匹配过程。

S102获取图像数据，摄像头采集到真实世界的图像资料，对图像资料提取出特征数据，如提取ORB特征或SURF特征作为图像数据，为匹配识别做好准备。

S103根据当前时刻的所述图像数据和所述跟踪模版数据进行特征匹配获取匹配结果；对所述匹配结果进行筛选选取筛选后匹配结果；根据所述筛选后匹配结果确定所述图像数据中的目标的位置信息。本发明的本实施例通过对跟踪模板和图像数据进行匹配获取匹配结果，之后进行筛选，有效减少误匹配的结果出现，提高了跟踪方法的精确度，防止跟踪过程随着时间推移跟丢目标的情况出现。

为了进一步提高跟踪方法的精确度，也为了减少跟踪过程中的时间成本，如图2或图14所示，本发明的本实施例还包括：

S104确定当前时刻的所述目标的位置信息与所述跟踪模版的位置信息的差异值，当所述差异值大于阈值、所述目标不被遮挡且跟踪精度大于阈值时，将当前时刻的所述目标确定为跟踪模版。

S105重复步骤S102至步骤S104获取不同时刻所述图像数据中所述目标的位置信息。在跟踪过程，目标常常在变化，如跟踪的是人体目标，人在不同时刻姿态动作在变化，这时采用更新的跟踪模板能够确保当前采用的跟踪模板与当前采集到的真实世界中的目标的图像差异较小，这时，由于差异性较小，易于实现跟踪，有效减少误判率，保证连续图像的跟踪，在确定更新的跟踪模板时通过设定位置变化阈值可有效防止目标运动小时，不断更新模板的过程，从而造成时间浪费，当位置差异大于阈值时，可将采集到的目标图像作为更新的模板，当然在判定作为更新模板时，还可考虑，目标图像是否被遮挡，保证目标图像的完整性，同时，还可考虑跟踪精度，在保证具有跟踪精度大于阈值时，将当前目标的图像数据作为跟踪模板。

为了快速实现跟踪目标，S103步骤中包括对当前时刻之前的时间段内的所述目标的位置信息进行分析获取轨迹信息，根据所述轨迹信息在当前时刻的所述图像数据中获取特征提取区域，在所述特征提取区域中提取ORB特征，将所述ORB特征与所述跟踪模板中的ORB特征进行匹配获取匹配点对，对所述匹配点对进行筛选，判定筛选后的所述匹配点对的个数大于阈值时，基于筛选后的所述匹配点对计算出所述目标的位置信息。基于筛选后的所述匹配点对计算出所述目标的位置信息的步骤例如包括，首先，根据匹配点对求出两匹配图像间的仿射变换矩阵；然后对目标样图的四个角点进行仿射变换，得到其在实时图像中的四个角点，即目标的位置。

上述匹配过程采用ORB特征进行匹配，由于其计算量少，能够实现快速跟踪的效果，且其是在获取当前时刻之前时间段所述目标的轨迹后，在预定的区域去匹配识别目标，有效减少计算量，由于对位置有一个预判，能够保证采用ORB特征进行识别的准确度。本发明的本实施例对ORB特征进行匹配的算法例如可采用Brute Force简单匹配算法，实现高效快速匹配。当然，ORB特征匹配也可以使用FLANN算法。但由于ORB特征是二进制特征，FLANN算法只有在海量数据匹配才会有明显的速度优势。本发明的实施例采用ORB特征匹配只是用于目标跟踪，提取的特征点比较少(小于300)，所以这种情况下Brute Force匹配算法更加经济合适。

本发明的本实施例在匹配过程之后对匹配结果进行筛选，筛选过程包括：对所述匹配点对中的特征点对进行反向检查,去除反向匹配失败的所述匹配点对；去除所述匹配点对中点对距离大于阈值的所述匹配点对；判定所述匹配点对的最近邻和次近邻的匹配点对的距离的比值大于阈值时，去除所述匹配点对；判定剩余的所述匹配点对的数量大于阈值时，利用去除误匹配算法对剩余的所述匹配点对进行筛选，确定用去除误匹配算法筛选后剩余的所述匹配点对的个数大于阈值时，根据用去除误匹配算法筛选后剩余的所述匹配点对计算出所述目标为位置信息。上述匹配点对的距离的获取方法包括：汉明距离获取方法、欧式距离获取方法和马氏距离获取方法中的一种或多种；本发明一些实施例中匹配点对间的距离是指汉明距离，关于汉明距离解释如下：两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数，就是将一个字符串变换成另外一个所需要做的最小替换次数。例如字符串“1111”与“1001”之间的汉明距离为2。当然本发明实施例采用的距离可为单一一种，也可根据情况运用多种。本发明的实施例中所述去除误匹配算法包括RANSAC算法、PROSAC算法、MLESAC算法、LO-RANSAC算法中的一种或多种，如此，对匹配结果进行高效快速地筛选，保证了准确性和实时性。上述对匹配点对的反向检查的过程如下：将跟踪模板中的特征点A作为待匹配点，在图像数据中寻找到匹配点A’，则两图的匹配点对为(A,A’)。此时，若将图像数据中A’作为待匹配点，在跟踪模板中寻找匹配点,该过程即为反向检查。如果A’在跟踪模板中匹配点为A，则表示匹配点对(A,A’)正确。经过上述筛选有效保证了结果的正确性，为快速跟踪提供了保障。

为了保证匹配过程满足多种要求，所述匹配算法包括Brute Force匹配算法和\或FLANN匹配算法。对于粗匹配例如可采用Brute Force匹配算法，对于精确匹配例如可采用FLANN匹配算法。

本发明实施例中首次获取跟踪目标可通过人为设定的目标作为模板，还可通过人为设定目标后，对目标进行一次或者多次识别后，根据识别的结果作为设定跟踪模板，提高了跟踪方法的精确性，具体地，如图3所示，所述步骤S101包括：

S1011获取目标样图数据，通过获取目标样图数据集，提取每张样图的ORB特征和SURF特征，建立目标特征数据库，这样保证了匹配时可直接从目标特征数据库中提取ORB特征和SURF特征，不用每次匹配重新计算ORB和SURF特征。另外，用户也可以自定义目标，将样图加入目标数据集。

S1012获取图像数据，将当前时刻的所述图像数据与所述目标样图数据进行特征匹配确定目标，根据确定的所述目标计算所述目标的位置信息，为了兼顾确定目标过程中精确度和实时性，特征匹配的过程包括粗匹配和精确匹配。粗匹配过程为：获取所述图像数据的ORB特征，将所述图像数据的ORB特征与所述目标样本的ORB特征进行匹配获取第一匹配点对，根据所述第一匹配点对获取初步确定目标和所述初步确定目标的位置信息；精确匹配过程为：根据所述初步确定目标的位置信息对所述初步确定目标提取SURF特征，将所述初步确定目标的SURF特征与所述目标样图的SURF特征进行匹配获取第二匹配点对，根据所述第二匹配点对计算出所述初步确定目标的位置信息，所述初步确定目标的位置信息为所述目标的位置信息。对于ORB特征，进行粗匹配，采用Brute Force匹配算法；对于SURF特征，进行精确匹配，采用FLANN匹配算法，保证了结果精确度，又提高了执行效率。

S1013重复步骤S1012获取T时间段内不同时刻的所述目标和所述目标的位置信息，一般地，可采集5帧图像中目标和目标的位置信息；优选地，重复步骤S1012中的精确匹配过程即可，获取T时间段内不同时刻的所述目标和所述目标的位置信息，这样减少了计算量，使得匹配过程优化。

S1014根据不同时刻的所述目标的位置准确性和所述目标的图像质量选取跟踪模版，确定所述跟踪模版的位置信息。

对图像提取SURF特征，如果提取到的SURF特征点越多代表图像的细节越丰富，图像质量越好。匹配实时图像与目标样图的SURF特征，如果经过初步筛选去除误匹配后，剩余的匹配点对数量大于阈值，则认为目标定位正确。所以，在确定目标以及目标的位置后，首先于后续的一段时间(比如后续5帧)内计算出目标定位正确的帧，然后在目标定位正确的所有帧中选取SURF特征点最多的帧，作为跟踪模板。

本发明的一些实施例中，在目标粗匹配时，使用ORB特征，快速初步筛选非目标；对于疑似目标，进一步用SURF特征匹配，若确定目标则精确定位目标位置；一旦识别到目标后，用ORB特征快速跟踪目标。ORB特征相比SURF特征最大的优势在于速度快，而SURF特征则相对更准确。所以在粗匹配和跟踪这两个对实时性要求高的步骤使用ORB特征，而在目标精确定位时使用SURF特征。这样本发明既能实现高精确度，又能实现高实时性。

本发明的实施例中步骤S1012中，所述根据所述第一匹配点对获取初步确定目标和所述初步确定目标的位置信息的步骤包括：对第一匹配点对中的特征点对进行反向检查,去除反向匹配失败的所述第一匹配点对；去除所述第一匹配点对中点对距离大于阈值的所述第一匹配点对；去除最近邻和次近邻的所述第一匹配点对的距离的比值小于阈值的所述第一匹配点对；判定剩余的所述第一匹配点对的数量大于阈值时，则确定初步确定目标，并根据剩余的所述第一匹配点对计算所述初步确定目标的位置信息。

本发明的本实施例中步骤S1012中，所述根据所述第二匹配点对计算出所述初步确定目标的位置信息的步骤包括：对所述第二匹配点对中的特征点对进行反向检查,去除反向匹配失败的所述第二匹配点对；去除所述第二匹配点对中点对距离大于阈值的所述第二匹配点对；判定所述第二匹配点对的最近邻和次近邻的匹配点对的距离的比值大于阈值时，去除所述第二匹配点对；判定剩余的所述第二匹配点对的数量大于阈值时，利用去除误匹配算法对剩余的所述第二匹配点对进行筛选，确定用去除误匹配算法筛选后剩余的所述第二匹配点对的个数大于阈值时，根据用去除误匹配算法筛选后剩余的所述第二匹配点对计算出所述目标的位置信息。

本发明的本实施例步骤S1011中，所述获取目标样图ORB特征和SURF特征的步骤包括对所述目标样图进行ORB特征提取，判定ORB特征点个数大于阈值时对所述目标样图进行SURF特征提取，判定SURF特征点个数大于阈值时，确定所述ORB特征点和所述SURF特征点为所述目标样图的ORB特征和SURF特征。

实施例二

图4示出了依照本发明实施例的一种实时目标跟踪方法的流程，其具体步骤如下：

S201：开始识别前，先建立目标特征数据库，通过获取目标样图数据集，对每一张目标样图提取ORB特征和SURF特征，建立目标特征数据库，如图5所示，获取目标样图数据集后，采集ORB特征，判断获取的特征点数是否大于阈值，如果小于阈值，则不加入目标特征数据库，如果大于阈值，则进行SURF特征提取，之后判断提取的SURF特征点数是否大于阈值，如果小于阈值，则不加入目标特征数据库，如果大于，则将获取到的ORB特征和SURF特征加入目标特征数据库。此步骤的提取ORB特征和提取SURF特征可运用到本发明中其他需要提取ORB特征和SURF特征的场合中。

S202：获取实时图像数据帧，开始图像粗匹配，初步识别目标。基于Brute Force匹配算法，匹配实时图像与目标样图数据集的ORB特征，并基于匹配点对的距离初步筛选匹配点对，去除误匹配，快速初步确定目标。如图6所示，本发明本实施例的流程如下：获取图像帧序列数据，对各帧图像数据提取出ORB特征，将获取的图像中的ORB特征与从目标特征数据库中获取到的目标的ORB特征进行特征匹配，对匹配的结果进行筛选去除误匹配，对去除误匹配后的匹配结果，即匹配点对进行判定，如果剩余的匹配点对数小于阈值时，则判定没有找到目标；如果剩余匹配点对数大于阈值时，则初步确定目标，根据匹配点对计算出目标的位置。ORB特征匹配也可以使用FLANN算法。但由于ORB特征是二进制特征，FLANN算法只有在海量数据匹配才会有明显的速度优势。而在我们的发明中，ORB特征匹配只是用于目标粗匹配和目标跟踪，提取的特征点比较少(小于300)，所以这种情况下Brute Force匹配算法更加合适。本发明中本实施例中匹配点对间的距离例如为汉明距离。在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。换句话说，它就是将一个字符串变换成另外一个所需要做的最小替换次数。例如字符串“1111”与“1001”之间的汉明距离为2。

基于匹配点对的距离的初筛选策略为：⑴对匹配的特征点对进行反向检查,如果反向匹配失败的去除；(2)匹配的特征点对的汉明距离大于一定阈值的去除；(3)最近邻和次近邻的匹配的特征点对的汉明距离的比值小于一定阈值的去除；如果筛选后的匹配点对的个数大于一定阈值，则初步确定目标。

本发明本实施例中的反向检查的原理如下：假设两幅图像，如果将图M中的特征点A作为待匹配点，在图N中寻找到匹配点A’，则两图的匹配点对为(A,A’)。此时，若将图N中A’作为待匹配点，在图M中寻找匹配点,该过程即为反向检查。如果A’在图M中匹配点为A，则表示匹配点对(A,A’)正确。

S203：当初步确定目标后，对目标进行精确识别和定位。精确识别采用SURF特征，基于快速最近邻逼近搜索(简称FLANN)匹配算法，匹配实时图像与初步确定的目标样图。在基于匹配点对的距离初步筛选匹配点对后，对经过筛选后的匹配点对运用随即抽样一致性(简称RANSAC)算法进一步去除误匹配。若两次筛选后的匹配对大于一定阈值，则确定目标，并基于匹配点对推算出目标位置。如图7所示，本发明本实施例的本步骤的流程如下，在获取了初步确定的目标和目标位置后，在图像中目标所在位置区域提取SURF特征，将此SURF特征与目标特征数据库中对应初步确定的目标的SURF特征进行特征匹配，对匹配后的结果，即匹配点对进行出去误匹配的操作，去除误匹配后，对去除误匹配后的匹配点对进行判定，当剩余的匹配点对数小于阈值时，则判定没有找到目标，当匹配点对数大于阈值时，则确定找到目标，这时确定目标的位置。

本发明本实施例总基于匹配点对推算目标位置技术流程如下：首先，根据匹配点对求出两匹配图像间的仿射变换矩阵；然后对目标样图的四个角点进行仿射变换，得到其在实时图像中的四个角点，即目标的位置。

S204：精确定位目标后，对目标进行跟踪。跟踪前，先确定目标跟踪的模板。如图8所示，确定目标及目标的准确位置后，在后续一段时间内选取质量最好且目标定位正确的帧作为跟踪模板。

对图像提取SURF特征，如果提取到的SURF特征点越多代表图像的细节越丰富，图像质量越好。匹配实时图像与目标样图的SURF特征，如果经过初步筛选去除误匹配后，剩余的匹配点对数量大于阈值，则认为目标定位正确。所以，在确定目标以及目标的位置后，首先于后续的一段时间(比如后续5帧)内计算出目标定位正确的帧，然后在目标定位正确的所有帧中选取SURF特征点最多的帧，作为跟踪模板。

S205：跟踪模板确定后，基于ORB特征匹配对目标进行跟踪。首先，通过对前段时间目标的运动轨迹分析，预测目标的可能位置；其次，在该位置区域内提取ORB特征，并与模板匹配；然后，进行两次筛选去除误匹配，如果匹配点对的个数大于一定的阈值则跟踪成功，并计算目标精确位置；最后，分析当前帧的跟踪结果，如果当前帧相对模板运动差异大，而且目标无遮挡，跟踪精度高，则更新当前帧为跟踪模板，并缓存当前目标位置。如图8所示，将获取到的图像序列，提取ORB特征，然后将当前跟踪模版中的ORB特征与图像序列对应的ORB特征进行特征匹配，获取匹配结果，即匹配点对，与步骤S202类似，基于反向检查的原理初筛选去除误匹配，当筛选后后匹配点对数小于阈值时，判定跟踪失败，当筛选后的匹配点对数大于阈值时，利用RANSAC算法去除误匹配，判定剩余的匹配点对数小于阈值时则跟踪失败，当剩余的匹配点对数大于阈值时，则判定跟踪成功，继而判定当前帧图像相对模版运动差异是否大，判定目标是否被遮挡，跟踪精度是否够高，如果判定结果为差异足够大，目标没有被遮挡，跟踪精度足够高，则将当前图像中的目标更新为跟踪模版，并缓存当前目标的位置。

本发明中涉及到的ORB特征相比SURF特征最大的优势在于匹配速度快，而SURF特征则相对更准确。所以在粗匹配和跟踪这两个对实时性要求高的步骤使用ORB特征，而在目标精确定位时使用SURF特征。本发明实施例中的目标跟踪方法大致步骤如下：在目标粗匹配时，使用ORB特征，快速初步筛选非目标；对于疑似目标，进一步用SURF特征匹配，若确定目标则精确定位目标位置；一旦识别到目标后，用ORB特征快速跟踪目标。如此，保证了跟踪的准确性和实时性。

本发明实施例中成对图像的特征点匹配方式不限于Brute Force简单匹配,快速最近邻逼近搜索匹配等匹配方式，还可是其他匹配方式。特征点对间的距离不限于汉明距离，欧式距离，马氏距离等距离计算方式。去除误匹配方式，不限于RANSAC,基于RANSCA的改进算法比如PROSAC，MLESAC，LO-RANSAC等方式。

本发明提供的目标跟踪方法，包括目标特征库建立，目标初识别，目标精确识别与定位，目标跟踪等步骤，其具有的有益效果如下：

无标识物的目标识别与跟踪，本发明不需单独设置标识物，系统实现简单可靠；可自定义目标的识别，例如：用户用手机拍摄目标形成目标样图，运用场景广泛，利于个性化定制；适应360全角度平面旋转的目标的识别与跟踪，跟踪范围广；跟踪模板更新策略，增大了跟踪的稳定性，提高了跟踪精度。本发明实施例提供的目标跟踪算法还有利于实现实时渲染效果，由于算法简单可靠，可适用于各种移动终端，例如智能手机，平板电脑上。

实施例三

本发明实施例提供了一种目标跟踪方法，如图9所示，包括：

S301获取目标样图数据集中的所有图像。

S302通过提取每一张目标样图的ORB特征和SURF特征，建立目标特征数据库。通过获取目标样图数据集，提取每张样图的ORB特征和SURF特征，建立目标特征数据库。另外，用户也可以自定义目标，将样图加入目标数据集。

S303获取实时图像数据，并提取ORB特征。获取实时图像数据，并提取实时图像的ORB特征。

S304基于Brute Force匹配算法，匹配实时图像与目标样图数据集的ORB特征。基于ORB特征匹配，对实时图像与目标样图逐一匹配，若与某一样图匹配上，则初步确定目标，否则场景中不存在目标。其特征在于匹配算法采用Brute Force简单匹配法，计算匹配点对间的汉明距离。

S305对匹配的特征点对进行初筛选，去除误匹配，快速初步确定目标。通过初筛选去除误匹配的特征点对。其特征在于对匹配的特征点对进行反向检查,将反向匹配失败的去除；匹配的特征点对的汉明距离大于一定阈值的去除；最近邻和次近邻的匹配的特征点对的距离的比值小于一定阈值的去除。如果筛选后的匹配点对的个数大于一定阈值，则匹配成功。

S306利用SURF特征匹配，基于快速最近邻逼近搜索(简称FLANN)匹配算法，匹配实时图像与初步确定的目标样图。利用SURF特征匹配，基于快速最近邻逼近搜索(简称FLANN)匹配算法，匹配实时图像与初步确定的目标样图，若匹配上则确定目标位置，否则场景中不存在该目标。

S307在基于匹配点对的距离初步筛选匹配点对后，运用随即抽样一致性(简称RANSAC)算法进一步去除误匹配。在基于匹配点对的距离初步筛选匹配点对后，对经过筛选后的匹配点对运用随即抽样一致性(简称RANSAC)算法进一步去除误匹配，若经过两次筛选后匹配点对的个数大于一定阈值，则匹配成功。

S308在确定目标及位置后，在后续一段时间内选取质量最好且目标定位准确的帧作为跟踪模板。在精确识别与定位目标后，在后续一段时间内选取质量最好且目标定位准确的帧作为跟踪模板，通过匹配跟踪模板和实时图像的ORB特征来跟踪目标。

对图像提取SURF特征，如果提取到的SURF特征点越多代表图像的细节越丰富，图像质量越好。

匹配实时图像与目标样图的SURF特征，如果经过初步筛选去除误匹配后，剩余的匹配点对数量大于阈值，则认为目标定位正确。

所以，在确定目标以及目标的位置后，首先于后续的一段时间(比如后续5帧)内计算出目标定位正确的帧，然后在目标定位正确的所有帧中选取SURF特征点最多的帧，作为跟踪模板。

S309通过匹配跟踪模板和实时图像的ORB特征，并两次筛选去除误匹配，跟踪目标位置。基于Brute Force匹配算法，匹配跟踪模板和实时图像的ORB特征，并经过初筛选和随即抽样一致性算法两次筛选匹配点对，若两次筛选后的匹配对大于一定阈值，则跟踪成功，并基于匹配点对推算出目标位置。

S310通过跟踪模板的更新策略提升跟踪的稳定性和精度。通过跟踪模板更新策略提升跟踪的稳定性和精度。目标跟踪成功后，分析当前帧的跟踪结果，如果当前帧相对模板运动差异大，而且目标无遮挡，跟踪精度高，则更新当前帧为跟踪模板，并缓存当前目标位置。

步骤S309中还包括，通过对目标进行位置预测，在预测区域附近提取ORB特征，加速跟踪。通过对目标前一段时间的运动参数(包括平移、旋转、缩放)的分析，预测目标在当前帧的位置，并在预测区域内提取特征。

本发明的本实施例提供的目标跟踪方法，经过粗匹配和精确匹配获取目标和目标的位置后，经过预判，在预测区域提取特征，保证了精确性和实时性。

实施例四

本发明还提供了一种增强现实方法，包含了实施例一、实施例二和实施例三中的目标跟踪算法。

如图10所示，本发明实施例提供的一种增强现实方法，包括了实施例一、实施例二和实施例三中的目标跟踪算法，在获取了所述目标的位置信息后，根据所述目标的位置信息在所述目标所在的位置区域显示与所述目标相关的虚拟信息。对图像帧进行渲染，将所述虚拟信息叠加在目标上；在终端屏幕上同时显示目标和虚拟内容以供用户进行交互。

如图11所示，本发明的本实施例提供的增强现实方法包括，获取目标样图数据集，根据目标样图数据集构建目标特征数据库，将图像数据与目标特征进行粗匹配，如利用ORB特征进行匹配，然后匹配结果进行筛选；然后进行精确识别目标获取，如利用SURF特征进行匹配，对匹配结果进行筛选，确保识别目标精确度较高；获取了目标的较精确的位置后，对目标进行跟踪，如在预判区域采用ORB特征进行跟踪，确保了跟踪方法的计算量少，同时保证了精确性；然后在跟踪到的目标的位置信息对应的图像位置上显示与所述目标相关的虚拟信息，进行实时渲染。

本发明实施例提供的增强显示方法，保证了结果的可靠性，同时执行效率高，实时性好，延迟小。

实施例五

如图12所示，本发明还提供了一种目标跟踪装置100，包括：

跟踪模板获取模块101，用于获取跟踪模版数据；

图像数据获取模块102，用于获取图像数据；

目标位置信息获取模块103，用于根据当前时刻的所述图像数据和所述跟踪模版数据进行特征匹配获取匹配结果；对所述匹配结果进行筛选选取筛选后匹配结果；根据所述筛选后匹配结果确定所述图像数据中的目标的位置信息。

本发明实施例中的目标跟踪装置，还包括跟踪模板更新模块104，所述跟踪模板更新模块104用于确定当前时刻的所述目标的位置信息与所述跟踪模版的位置信息的差异值，当所述差异值大于阈值、所述目标不被遮挡且跟踪精度大于阈值时，将当前时刻的所述目标确定为跟踪模版，并将所述跟踪模版传递给所述跟踪模板获取模块101。

所述跟踪模板获取模块101获取跟踪模版数据，可通过人为输入，也可通过如下方式，获取目标样图数据集中的所有图像；通过提取每一张目标样图的ORB特征和SURF特征，建立目标特征数据库。通过获取目标样图数据集，提取每张样图的ORB特征和SURF特征，建立目标特征数据库。另外，用户也可以自定义目标，将样图加入目标数据集；获取实时图像数据，并提取ORB特征。获取实时图像数据，并提取实时图像的ORB特征；基于Brute Force匹配算法，匹配实时图像与目标样图数据集的ORB特征。基于ORB特征匹配，对实时图与目标样图逐一匹配，若与某一样图匹配上，则初步确定目标，否则场景中不存在目标。其特征在于匹配算法采用Brute Force简单匹配法，计算匹配点对间的汉明距离；对匹配的特征点对进行初筛选，去除误匹配，快速初步确定目标。通过初筛选去除误匹配的特征点对。其特征在于对匹配的特征点对进行反向检查,将反向匹配失败的去除；匹配的特征点对的汉明距离大于一定阈值的去除；最近邻和次近邻的匹配的特征点对的距离的比值小于一定阈值的去除。如果筛选后的匹配点对的个数大于一定阈值，则匹配成功；利用SURF特征匹配，基于快速最近邻逼近搜索(简称FLANN)匹配算法，匹配实时图像与初步确定的目标样图。利用SURF特征匹配，基于快速最近邻逼近搜索(简称FLANN)匹配算法，匹配实时图像与初步确定的目标样图，若匹配上则确定目标位置，否则场景中不存在该目标。在基于匹配点对的距离初步筛选匹配点对后，运用随即抽样一致性(简称RANSAC)算法进一步去除误匹配。在基于匹配点对的距离初步筛选匹配点对后，对经过筛选后的匹配点对运用随即抽样一致性(简称RANSAC)算法进一步去除误匹配，若经过两次筛选后匹配点对的个数大于一定阈值，则匹配成功；在确定目标及位置后，在后续一段时间内选取质量最好且目标定位准确的帧作为跟踪模板。

所述图像数据获取模块102获取图像数据的ORB特征、SURF特征。

所述目标位置信息获取模块103，还用于通过匹配跟踪模板和实时图像的ORB特征，并两次筛选去除误匹配，跟踪目标位置。基于Brute Force匹配算法，匹配跟踪模板和实时图像的ORB特征，并经过初筛选和随即抽样一致性算法两次筛选匹配点对，若两次筛选后的匹配对大于一定阈值，则跟踪成功，并基于匹配点对推算出目标位置。通过对目标进行位置预测，在预测区域附近提取ORB特征，加速跟踪。在提取实时图像的ORB特征时，通过对目标前一段时间的运动参数(包括平移、旋转、缩放)的分析，预测目标在当前帧的位置，并在预测区域内提取特征。

所述跟踪模板更新模块104，还用于通过跟踪模板的更新策略提升跟踪的稳定性和精度。通过跟踪模板更新策略提升跟踪的稳定性和精度。目标跟踪成功后，分析当前帧的跟踪结果，如果当前帧相对模板运动差异大，而且目标无遮挡，跟踪精度高，则更新当前帧为跟踪模板，并缓存当前目标位置。

本发明本实施例提供的目标跟踪装置还包括存储器，存储有能够实施本发明的实施例一至实施例三中其中任何一个或多个的程序代码，当发明的存储器连接可执行代码的处理器时，所述处理器能够读取所述存储器中的代码，实现本发明的目的。

本发明实施例中提供的目标跟踪装置跟踪目标准确，跟踪效率高，实时性好。

实施例六

如图13所示，本发明还提供了一种增强现实系统200，其特征在于，包括本发明实施例五中的目标跟踪装置100，还包括虚拟信息获取装置201，所述虚拟信息获取装置用于获取与目标相关的虚拟信息；渲染显示装置，用于根据所述目标跟踪装置提供的目标的位置信息，在与所述目标对应的位置区域显示与所述目标相关的虚拟信息。

本发明实施例中的增强显示系统保证了显示结果的可靠性，同时执行效率高，实时性好，延迟小。

实施例七

本发明还提供了一种终端，包括了本发明实施六中所述的增强现系统，所述终端为手机或平板电脑；所述终端也可仅包括实施例五中目标跟踪装置。本发明实施例提供的终端能够以很小的运行成本(存储空间成本和时间成本)来跟踪目标或者基于跟踪到的目标增强显示，对终端的硬件要求低，运用范围广。

在本发明中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种目标跟踪方法，其特征在于，包括：

a)获取跟踪模板数据；

b)获取图像数据；

c)根据当前时刻的所述图像数据和所述跟踪模版数据进行特征匹配获取匹配结果；对所述匹配结果进行筛选选取筛选后匹配结果；根据所述筛选后匹配结果确定所述图像数据中的目标的位置信息。

2.如权利要求1所述的目标跟踪方法，其特征在于，还包括：

d)确定当前时刻的所述目标的位置信息与所述跟踪模版的位置信息的差异值，当所述差异值大于阈值、所述目标不被遮挡且跟踪精度大于阈值时，将当前时刻的所述目标确定为跟踪模版；

e)重复步骤b)至步骤d)获取不同时刻所述图像数据中所述目标的位置信息。

3.如权利要求1或2所述的目标跟踪方法，其特征在于，所述步骤c)包括对当前时刻之前的时间段内的所述目标的位置信息进行分析获取轨迹信息，根据所述轨迹信息在当前时刻的所述图像数据中获取特征提取区域，在所述特征提取区域中提取ORB特征，将所述ORB特征与所述跟踪模板中的ORB特征进行匹配获取匹配点对，对所述匹配点对进行筛选，判定筛选后的所述匹配点对的个数大于阈值时，基于筛选后的所述匹配点对计算出所述目标的位置信息。

4.如权利要求3所述的目标跟踪方法，其特征在于，所述对所述匹配点对进行筛选，判定筛选后的所述匹配点对的个数大于阈值时，基于筛选后的所述匹配点对计算出所述目标的位置信息的步骤包括：对所述匹配点对中的特征点对进行反向检查,去除反向匹配失败的所述匹配点对；去除所述匹配点对中点对距离大于阈值的所述匹配点对；判定所述匹配点对的最近邻和次近邻的匹配点对的距离的比值大于阈值时，去除所述匹配点对；判定剩余的所述匹配点对的数量大于阈值时，利用去除误匹配算法对剩余的所述匹配点对进行筛选，确定用去除误匹配算法筛选后剩余的所述匹配点对的个数大于阈值时，根据用去除误匹配算法筛选后剩余的所述匹配点对计算出所述目标为位置信息。

5.如权利要求4所述的目标跟踪方法，其特征在于，获取所述距离的方法包括：汉明距离获取方法、欧式距离获取方法和马氏距离获取方法中的一种或多种；所述去除误匹配算法包括RANSAC算法、PROSAC算法、MLESAC算法、LO-RANSAC算法中的一种或多种。

6.如权利要求1或2所述的目标跟踪方法，其特征在于，所述匹配算法包括Brute Force匹配算法和\或FLANN匹配算法。

7.如权利要求1或2所述的目标跟踪方法，其特征在于，所述步骤a)包括：

a1)获取目标样图数据；

a2)获取图像数据，将当前时刻的所述图像数据与所述目标样图数据进行特征粗匹配，获取初步确定目标信息；

a3)根据初步确定目标信息，进行目标精确识别，获取目标信息；根据确定的所述目标信息计算所述目标的位置信息；

a4)重复步骤a3)获取T时间段内不同时刻的所述目标和所述目标的位置信息；

a5)根据不同时刻的所述目标的位置准确性和所述目标的图像质量选取跟踪模版，确定所述跟踪模版的位置信息。

8.如权利要求7所述的目标跟踪方法，其特征在于，所述步骤a1)包括，获取目标样图ORB特征和SURF特征；在所述步骤a1)前包括步骤a0)，所述步骤a0)包括，建立目标特征数据库的过程，所述建立目标特征数据库的步骤包括，对目标数据集中的每一张目标样图提取ORB特征和SURF特征，放入目标特征数据库；所述步骤a2)包括获取所述图像数据的ORB特征，将所述图像数据的ORB特征与所述目标样本的ORB特征进行匹配获取第一匹配点对，根据所述第一匹配点对获取初步确定目标和所述初步确定目标的位置信息；所述步骤a3)包括根据所述初步确定目标的位置信息对所述初步确定目标提取SURF特征，将所述初步确定目标的SURF特征与所述目标样图的SURF特征进行匹配获取第二匹配点对，根据所述第二匹配点对计算出所述初步确定目标的位置信息，所述初步确定目标的位置信息为所述目标的位置信息。

9.如权利要求8所述的目标跟踪方法，其特征在于，步骤a2)中，所述根据所述第一匹配点对获取初步确定目标和所述初步确定目标的位置信息的步骤包括：对第一匹配点对中的特征点对进行反向检查,去除反向匹配失败的所述第一匹配点对；去除所述第一匹配点对中点对距离大于阈值的所述第一匹配点对；去除最近邻和次近邻的所述第一匹配点对的距离的比值小于阈值的所述第一匹配点对；判定剩余的所述第一匹配点对的数量大于阈值时，则确定初步确定目标，并根据剩余的所述第一匹配点对计算所述初步确定目标的位置信息。

10.如权利要求8所述的目标跟踪方法，其特征在于，步骤a3)中，所述根据所述第二匹配点对计算出所述初步确定目标的位置信息的步骤包括：对所述第二匹配点对中的特征点对进行反向检查,去除反向匹配失败的所述第二匹配点对；去除所述第二匹配点对中点对距离大于阈值的所述第二匹配点对；判定所述第二匹配点对的最近邻和次近邻的匹配点对的距离的比值大于阈值时，去除所述第二匹配点对；判定剩余的所述第二匹配点对的数量大于阈值时，利用去除误匹配算法对剩余的所述第二匹配点对进行筛选，确定用去除误匹配算法筛选后剩余的所述第二匹配点对的个数大于阈值时，根据用去除误匹配算法筛选后剩余的所述第二匹配点对计算出所述目标的位置信息。

11.如权利要求8所述的目标跟踪方法，其特征在于，步骤a1)中，所述获取目标样图ORB特征和SURF特征的步骤包括对所述目标样图进行ORB特征提取，判定ORB特征点个数大于阈值时对所述目标样图进行SURF特征提取，判定SURF特征点个数大于阈值时，确定所述ORB特征点和所述SURF特征点为所述目标样图的ORB特征和SURF特征。

12.如权利要求3所述的目标跟踪方法，其特征在于，所述步骤a)包括：

a1)获取目标样图数据；

a2)获取图像数据，将当前时刻的所述图像数据与所述目标样图数据进行特征粗匹配，获取初步确定目标信息；

a3)根据初步确定目标信息，进行目标精确识别，获取目标信息；根据确定的所述目标信息计算所述目标的位置信息；

a4)重复步骤a3)获取T时间段内不同时刻的所述目标和所述目标的位置信息；

a5)根据不同时刻的所述目标的位置准确性和所述目标的图像质量选取跟踪模版，确定所述跟踪模版的位置信息。

13.如权利要求12所述的目标跟踪方法，其特征在于，所述步骤a1)包括，获取目标样图ORB特征和SURF特征；在所述步骤a1)前包括步骤a0)，所述步骤a0)包括，建立目标特征数据库的过程，所述建立目标特征数据库的步骤包括，对目标数据集中的每一张目标样图提取ORB特征和SURF特征，放入目标特征数据库；所述步骤a2)包括获取所述图像数据的ORB特征，将所述图像数据的ORB特征与所述目标样本的ORB特征进行匹配获取第一匹配点对，根据所述第一匹配点对获取初步确定目标和所述初步确定目标的位置信息；所述步骤a3)包括根据所述初步确定目标的位置信息对所述初步确定目标提取SURF特征，将所述初步确定目标的SURF特征与所述目标样图的SURF特征进行匹配获取第二匹配点对，根据所述第二匹配点对计算出所述初步确定目标的位置信息，所述初步确定目标的位置信息为所述目标的位置信息。

14.一种增强现实方法，其特征在于，包括了权利要求1～13任一所述的目标跟踪方法，在获取了所述目标的位置信息后，根据所述目标的位置信息在所述目标所在的位置区域显示与所述目标相关的虚拟信息。

15.一种目标跟踪装置，其特征在于，包括：

跟踪模板获取模块，用于获取跟踪模版数据；

图像数据获取模块，用于获取图像数据；

目标位置信息获取模块，用于根据当前时刻的所述图像数据和所述跟踪模版数据进行特征匹配获取匹配结果；对所述匹配结果进行筛选选取筛选后匹配结果；根据所述筛选后匹配结果确定所述图像数据中的目标的位置信息。

16.如权利要求15所述的目标跟踪装置，其特征在于，还包括跟踪模板更新模块，所述跟踪模板更新模块用于确定当前时刻的所述目标的位置信息与所述跟踪模版的位置信息的差异值，当所述差异值大于阈值、所述目标不被遮挡且跟踪精度大于阈值时，将当前时刻的所述目标确定为跟踪模版，并将所述跟踪模版传递给所述跟踪模板获取模块。

17.一种增强现实系统，其特征在于，包括了权利要求15～16任一所述的目标跟踪装置，还包括虚拟信息获取装置，所述虚拟信息获取装置用于获取与目标相关的虚拟信息；渲染显示装置，用于根据所述目标跟踪装置提供的目标的位置信息，在与所述目标对应的位置区域显示与所述目标相关的虚拟信息。

18.一种终端，其特征在于，包括了权利要求17所述的增强现实系统或权利要求15或16中的目标跟踪装置，所述终端为手机或平板电脑。