CN105809719A - 一种基于像素多编码表匹配的对象跟踪方法 - Google Patents

Abstract

本发明提供了一种基于像素多编码表匹配的对象跟踪方法，属于计算机视觉、图形技术领域。步骤如下：目标选取：从初始图像中选择并确定要跟踪的目标对象。目标编码：目标编码用于对目标表观进行建模，其结果是得到一组目标编码表。图像输入：在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像。区域编码：区域编码用于对目标所在区域的表观进行建模，其结果是得到一组区域编码表。编码匹配：编码匹配用于计算区域中各个位置的目标置信度，它是通过计算目标编码表与区域编码表的相似度实现。目标定位：搜索区域中具有最大目标置信度的位置，并将其作为新的目标位置，目标定位完成。主要用于对象跟踪。

Description

一种基于像素多编码表匹配的对象跟踪方法

技术领域

本发明属于计算机视觉、图形、图像技术领域。

背景技术：

视觉对象跟踪是计算机视觉应用中最重要的组成部分之一，例如安防监控，人机交互，自动控制系统等。如果在一帧中给定一个感兴趣对象的位置和尺寸，跟踪的任务是在接下来的每一帧中自动地确定对象的位置和尺寸，或者指出对象此时不可见。尽管有关对象跟踪的研究已开展了几十年，近年来也取得了很多重要的进展，但是由于真实世界的复杂性，例如背景干扰，表观和光照变化，图像低质量，帧跳跃等，使得设计能够达到与人类水平相当的跟踪方法仍然很难。

目前跟踪方法总体上可分为生成法和判别法两类。生成法将跟踪问题看作是在区域中搜索与跟踪目标最相似的对象，而目标通常通过一个子空间(或者模版序列)中的基向量集合来表达。不同于生成法，判别法将跟踪看作是一个将跟踪目标从背景中区分出来的分类问题，该类方法同时利用来自目标和背景的信息。在这些方法中，Duffner等提出一种基于像素描述和推广霍夫变换的检测器，并结合基于前景和背景全局模型的概率分割方法，实现快速的对象跟踪。为了能够进行长时间的对象跟踪，许多研究人员采用自学习的方法，通过利用目标位置附近的正样例和负样例更新模型，该方法能够自适应地调整跟踪系统去适应新的目标表观和背景变化。然而这些方法在更新跟踪系统过程中难以避免不断积累的错误信息，因此容易发生漂移而脱离真实目标对象的位置。为缓解在跟踪过程中在线模型更新所面临的稳定性和灵活性难以兼顾的矛盾，Babenko等采用一种在线多实例学习的方法，该方法将所有不确定的正样例和负样例全部放入袋中学习进而得到一个用于跟踪的判别分类模型。Mahadevan等提出一种生物学启发的判别跟踪方法，该方法包括用于学习的自底向上中心与周围区域的判别显著性和空间注意模型，用于特征选择的特征注意模型，以及用于目标检测的自顶向下显著性模型。Kalal等提出一种通过正样例和负样例在线学习得到分类器的P-N学习方法，该方法将跟踪任务分解为跟踪，学习和检测三个部分。跟踪部分为检测器的更新提供训练样例，而检测器则在跟踪失败时重新初始化跟踪部分，因此跟踪部分和检测器互相支持和促进。这种机制也被称为依赖检测的跟踪，它对于长时间的跟踪任务具有很好的跟踪性能。

为了充分利用场景信息提高跟踪的稳定性，Yang等采用图像分割融合方法，通过时空分析发掘辅助对象作为跟踪协助，其跟踪系统表现出较稳定的跟踪结果。然而该辅助对象的获取基于一定的运动假设，因而难以适应更复杂的跟踪环境，且计算效率有待进一步的提高。Grabner等提出通过获取目标周围有价值的特征点，借此预测目标的位置，增强了跟踪的稳定性，然而检测和匹配所有这些局部特征点的方法在计算上十分耗时。Dinh等通过将PNT作为基础跟踪和同时增加对误匹配项的跟踪来改进Grabner等的算法，能够在一定程度上区分与目标相似的对象，从而表现出更好的跟踪性能。Fan等提出学习具有较强区别性的关注区域用以辅助跟踪，然而在场景出现剧烈运动时，受这些局部区域的限制，其计算效率依然不高。Godec等通过对场景进行聚类学习，将背景分类为多个虚拟的类型，取得了较为满意的跟踪效果，但是该方法假设背景只是逐步而细微的改变，这在很多跟踪场合并不成立，因此其应用有限。为了能够处理跟踪环境的剧烈变化，Zhang等提出利用不同的适应率组合多个分类器并设计了一种熵计算方法融合所有的跟踪结果。Ma等将跟踪任务分解为对目标对象的平移和尺度估计，并采用相关滤波方法提高跟踪的精确性和稳定性。然而这些方法结构和学习过程复杂且不易实现。

发明内容：

本发明的目的是提供一种基于像素多编码表匹配的对象跟踪方法，它能有效地解决对目标对象实时稳定跟踪的技术问题。

本发明的目的是通过以下技术方案来实现的：包括如下步骤：

(1)目标选取

从初始图像中选择并确定要跟踪的目标对象。目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定。

(2)目标编码

目标编码用于对目标表观进行建模，其结果是得到一组目标编码表。具体过程为，对目标图像块的每一个像素，将其灰度值与目标图像块中其余所有像素的灰度值进行比较，根据其比较结果进行二元编码。设表示目标中第i个要计算编码表的像素，i＝1…N，N为目标图像块总的像素数目，和为的横坐标和纵坐标，为的灰度值。设对应的编码表为为在(x,y)处的编码值，设 为目标图像块中不同于的第j个像素，j＝1…N，和为的横坐标和纵坐标，或 为的灰度值。如果则将在处的编码值设为1，即否则为0。最后将在处的编码设为0，即自身所在位置的编码设为0。这样每个计算编码的像素将对应一个编码表，编码表的数目等于N。同时在计算编码表时，如果要计算编码表的像素的灰度值与某个已计算编码表的像素的灰度值相同，则无需计算，直接将此编码表设置为该像素的编码表。目标编码表包含了丰富的目标信息。

(3)图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像。如果输入图像为空，则跟踪结束。

(4)区域编码

区域编码用于对目标所在区域的表观进行建模，其结果是得到一组区域编码表。具体计算过程与(2)相同，区别在于区域编码的范围更大，它包括以目标为中心的9倍于目标的邻域范围。设表示区域中第i个像素的区域编码表，i＝1…M，M为区域的总像素数目，且M＝9×N。区域编码表包含了丰富的区域场景信息。

(5)编码匹配

编码匹配用于计算区域中各个位置的目标置信度，它是通过计算目标编码表与区域编码表的相似度实现。具体过程为，如果要计算区域中某个位置的目标置信度，首先在区域编码表内提取以该像素位置为左上角起点，并与目标具有相同大小的矩形区域作为局部区域编码表，然后将其与目标编码表进行相似度计算。设表示区域内第k个位置关于第i个目标编码表的目标置信度，其中为区域内第k个位置处第i个局部区域编码表，包含为在(x',y')处的编码值，为二值函数，即如果则否则Q表示目标编码表位置范围，Q'表示局部区域编码表位置范围。因此区域内第k个位置的目标置信度θ^k计算为，θ^k＝由此计算得到区域内所有位置的目标置信度。

(6)目标定位

搜索区域中具有最大目标置信度的位置，并将其作为新的目标位置，目标定位完成。为了适应目标尺度的变化，这里采用在所确定的目标位置处以多个尺度提取候选图像块，并计算它们与目标的归一化交叉互相关值(NCC，NormalizedCross-Correlation)，将具有最大归一化交叉互相关值的候选图像块作为新的目标。当前跟踪完成，跳转到(2)。

跟踪过程中，目标编码用于对目标表观进行建模，区域编码则用于对目标所在区域的表观进行建模，而编码匹配用于计算区域中各个位置的目标置信度，最后通过搜索具有最大置信度的位置，并将其作为新的目标位置，完成目标定位。目标编码表和区域编码表包含了丰富的图像信息使得置信度的计算结果能够用于准确地定位目标，进而实现跟踪。

本发明与现有技术相比的优点和积极效果：

该方法根据像素灰度值对目标及其所处区域进行二元编码得到目标编码表和区域编码表，然后通过匹配这两种编码表得到区域各个位置的目标置信度，最后将具有最大置信度的位置作为新的目标位置，完成目标定位，进而实现跟踪。由于编码表中包含了丰富的图像信息，因此本发明方法对目标的适应性强，跟踪稳定；同时由于编码仅基于灰度值比较计算，且灰度值相同的像素具有相同的编码表，即所有灰度值相同的像素的编码表只计算一次，而匹配过程只需进行简单的逻辑与运算，也不需要进行复杂的机器学习过程，因此该方法实现简单，计算速度快。

附图说明

图1为本发明方法的技术流程图

实施例：

以高速公路视频监控车辆超速检测为例，可以采用本发明提出的跟踪方法实现。具体来说，首先通过目前已广泛使用的背景建模和前景提取方法，获取视频监控范围内各个车辆的图像区域，然后将这些图像区域作为目标对象进行跟踪。对每一个这样的车辆目标，按照本发明方法，首先计算得到它的目标编码表，然后根据它所在的区域计算得到其对应的区域编码表，接着匹配这两种编码表得到该区域中各个位置的目标置信度，接下来将具有最大置信度的位置作为该车辆的新位置，完成对车辆的定位，进而实现车辆跟踪。最后，根据车辆目标跟踪的结果计算车辆目标1秒钟运动的图像距离，并按照图像距离与实际距离的比例关系计算得到车辆在道路中的实际运动距离，进而得到车辆的行驶速度，如果车辆速度超过了高速公路的限速值，则认为该车辆已超速，完成车辆超速检测。

本发明的方法还可用于对象跟踪的其它应用场合，如智能视频分析，人机交互，交通视频监控，无人车辆驾驶，生物群体分析，以及流体表面测速等。

本发明方法可通过任何计算机程序设计语言(如C语言)编程实现，基于本方法的跟踪系统软件可在任何PC或者嵌入式系统中实现实时对象跟踪应用。

Claims (1)

1.一种基于像素多编码表匹配的对象跟踪方法，包括如下步骤：

(1)目标选取

从初始图像中选择并确定要跟踪的目标对象，目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定；

(2)目标编码

目标编码用于对目标表观进行建模，其结果是得到一组目标编码表，具体过程为，对目标图像块的每一个像素，将其灰度值与目标图像块中其余所有像素的灰度值进行比较，根据其比较结果进行二元编码；设表示目标中第i个要计算编码表的像素，i＝1…N，N为目标图像块总的像素数目，和为的横坐标和纵坐标，为的灰度值；设对应的编码表为 为在(x,y)处的编码值，设 为目标图像块中不同于的第j个像素，j＝1…N，,和为的横坐标和纵坐标，或 为的灰度值；如果则将在处的编码值设为1，即否则为0；最后将在处的编码设为0，即自身所在位置的编码设为0，这样每个计算编码的像素将对应一个编码表，编码表的数目等于N；同时在计算编码表时，如果要计算编码表的像素的灰度值与某个已计算编码表的像素的灰度值相同，则无需计算，直接将此编码表设置为该像素的编码表，目标编码表包含了丰富的目标信息；

(3)图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，如果输入图像为空，则跟踪结束；

(4)区域编码

区域编码用于对目标所在区域的表观进行建模，其结果是得到一组区域编码表，具体计算过程与(2)相同，区别在于区域编码的范围更大，它包括以目标为中心的9倍于目标的邻域范围；设表示区域中第i个像素的区域编码表，i＝1…M，M为区域的总像素数目，且M＝9×N，区域编码表包含了丰富的区域场景信息；

(5)编码匹配

编码匹配用于计算区域中各个位置的目标置信度，它是通过计算目标编码表与区域编码表的相似度实现；具体过程为，如果要计算区域中某个位置的目标置信度，首先在区域编码表内提取以该像素位置为左上角起点，并与目标具有相同大小的矩形区域作为局部区域编码表，然后将其与目标编码表进行相似度计算；设表示区域内第k个位置关于第i个目标编码表的目标置信度，其中为区域内第k个位置处第i个局部区域编码表，包含为在(x',y')处的编码值，为二值函数，即如果则否则Q表示目标编码表位置范围，Q'表示局部区域编码表位置范围；因此区域内第k个位置的目标置信度θ^k计算为， 由此计算得到区域内所有位置的目标置信度；

(6)目标定位

搜索区域中具有最大目标置信度的位置，并将其作为新的目标位置，目标定位完成；为了适应目标尺度的变化，这里采用在所确定的目标位置处以多个尺度提取候选图像块，并计算它们与目标的归一化交叉互相关值，将具有最大归一化交叉互相关值的候选图像块作为新的目标，当前跟踪完成，跳转到(2)。