CN110415275B - 一种基于点对点的运动目标检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种基于点对点的运动目标检测与跟踪方法，包括如下步骤：计算得到当前图像的帧间二值图；计算帧间二值图存在白点的区域，根据所述存在白点的区域大小判断摄像机镜头的运动状态；如果当前帧和上一帧存在白点的区域均大于干扰阈值，则物体运动且镜头持续运动，根据上一帧图像的二值图中白点的位置对当前帧的像素点进行运动估计，得到当前帧的估计二值图，根据估计二值图计算物体的运动轨迹；控制摄像机根据运动轨迹对物体进行跟踪。该方法有效地解决了摄影机实时跟踪运动物体这种复杂的运动物体检测问题，对运动物体的跟踪快速准确。

Description

一种基于点对点的运动目标检测与跟踪方法

技术领域

本发明涉及一种基于点对点的运动目标检测与跟踪方法，属于数字图像处理技术领域。

背景技术

运动的视觉分析是近年来计算机视觉领域中备受关注的前沿方向，它从图像序列中检测、识别、跟踪运动目标并对其行为进行理解和描述，属于图像分析和理解的范畴。运动分析的研究内容相当丰富，主要涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识；同时，动态场景中运动的快速分割、非刚性运动、目标之间互相遮挡或停止的处理等也为运动分析研究带来了一定的挑战。运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要，因为接下来的处理过程仅仅只考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。

近几十年来，国内外学者提出了许多方法用于检测和跟踪序列图像中的运动目标，对于序列图像中运动目标的检测，常用的方法有基于背景差分的方法、基于帧间差分的方法、基于特征的方法、基于光流场的方法等等。

但是由于环境特点的不同，很难得到一种通用的检测方法，针对不同背景下的序列图像提出的运动目标检测方法还不够完善，因此有必要对此进行深入的研究。

除此之外，目前对于序列图像中运动目标的检测，绝大多数方法都假设用于获取序列图像的摄像机是静止的。而对于摄影机运动且目标运动的情况，研究还比较少，理论也还远远没有成熟。但是，摄影机运动且目标运动的情况是运动目标的检测最复杂的一种情况，也是最普通的情况。所以亟需一种新的适用于摄影机运动且目标运动的运动目标的检测方法。

发明内容

针对现有技术的不足，本发明所要解决的技术问题在于提供一种基于点对点的运动目标检测与跟踪方法。

为实现上述发明目的，本发明采用下述的技术方案：

一种基于点对点的运动目标检测与跟踪方法，包括如下步骤：

计算得到当前图像的帧间二值图；

计算帧间二值图存在白点的区域，根据所述存在白点的区域大小判断摄像机镜头的运动状态；

如果当前帧和上一帧存在白点的区域均大于干扰阈值，则物体运动且镜头持续运动，根据上一帧图像的二值图中白点的位置对当前帧的像素点进行运动估计，得到当前帧的估计二值图，根据估计二值图计算物体的运动轨迹；

控制摄像机根据运动轨迹对物体进行跟踪。

其中较优地，在计算得到当前图像的帧间二值图之前，还包括如下步骤：

对获取的图像进行降噪处理。

其中较优地，采用多帧图像差分算法计算得到当前图像的帧间二值图，包括如下步骤：

获取视频图像序列中连续的三帧图像，将中间帧设置为当前帧，对三针图像的相邻两帧分别进行差分运算，得到两个二值差分图像；

对得到的两个二值差分图像进行与运算，当两个二值差分图像中至少有一个值为零时，将当前帧对应位置像素值设置为零，得到当前图像的帧间二值图。

其中较优地，计算帧间二值图存在白点的区域，根据所述存在白点的区域大小判断摄像机镜头的运动状态，包括如下步骤：

将帧间二值图等面积划分为2M块二值区域，其中M为大于3的正整数；

确定二值区域中存在白点的区域个数；

设定区域阈值，当二值区域中存在白点的区域个数大于区域阈值时，摄像机镜头运动；否则，摄像机镜头静止。

其中较优地，根据上一帧图像的二值图中白点的位置对当前帧的像素点进行运动估计，得到当前帧的估计二值图，包括如下步骤：

根据上一帧图像的二值图中白点的坐标位置对当前帧的像素点进行运动估计，得到第一最佳匹配点集合；

根据上一帧图像的二值图中白点的位置确定当前帧的初始运动区域，根据当前帧的初始运动区域中白点的坐标位置对上一帧的像素点进行运动估计，得到第二最佳匹配点集合；

第一最佳匹配点集合和第二最佳匹配点集合组成当前帧的估计二值图。

其中较优地，根据上一帧图像的二值图中白点的坐标位置对当前帧的像素点进行运动估计，得到第一最佳匹配点集合，包括如下步骤：

S311，获取上一帧图像的二值图中白点i的坐标位置；i＝1,2……N；其中，N为上一帧图像的二值图中白点的个数；

S312，计算上一帧图像在白点i坐标位置的YUV值；

S313，在当前图像中以白点i的坐标位置为中心，半径为r的像素点范围，和当前图像的YUV值做运动估计计算绝对差值和；

S314，如果绝对差值和小于等于第一绝对差值和阈值，则所述白点i对应的当前图像的像素点转化为白点，作为最佳匹配点；否则转向步骤S315；

S315，i＝i+1，重复步骤S311～S314，直至i＝N，得到第一最佳匹配点集合。

其中较优地，根据上一帧图像的二值图中白点的位置确定当前帧的初始运动区域，根据当前帧的初始运动区域中白点的坐标位置对上一帧的像素点进行运动估计，得到第二最佳匹配点集合，包括如下步骤：

S321，获取当前帧的上一帧图像的帧间二值图的运动区域；

S322，将上一帧图像的帧间二值图的运动区域向外扩展K个像素点，作为当前帧的初始运动区域，其中，K为正整数；

S323，获取当前帧的初始运动区域内的白点j的坐标位置，j＝1,2……M；其中，M为当前帧的初始运动区域内白点的个数；

S324，利用当前图像在白点j对应的坐标位置的YUV值，在上一帧图像以该白点j对应的坐标位置为中心，半径为r的像素点范围，和上一帧图像的YUV值做运动估计计算绝对差值和；

S325，如果绝对差值和小于等于第二绝对差值和阈值，则该白点j为最佳匹配点；否则转向步骤S326；

S326，j＝j+1，重复步骤S323～S325，直至j＝M，得到第二最佳匹配点集合。

其中较优地，所述的基于点对点的运动目标检测与跟踪方法，还包括如下步骤：

如果当前帧存在白点的区域大于干扰阈值，上一帧存在白点的区域小于等于干扰阈值，则物体运动且镜头开始运动，根据上一帧图像的二值图中白点的位置对当前帧的像素点进行运动估计，得到当前帧的估计二值图，根据估计二值图计算物体的运动轨迹。

其中较优地，所述基于点对点的运动目标检测与跟踪方法，还包括如下步骤：

如果存在白点的区域小于等于干扰阈值，则摄像机镜头静止，根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹。

其中较优地，控制摄像机根据运动轨迹对物体进行跟踪，包括如下步骤：

如果物体的运动区域开始越过2号边框，则控制滑轨和运动物体做同向运动，使运动物体移动到图像的中心区域；

如果物体的运动区域到达或者越过实际有效区域边缘，则转动摄像机镜头将运动物体移动到图像的中心区域；

如果物体的运动区域还处于中心区域之内，则滑轨和摄像机镜头保持不动。

本发明所提供的基于点对点的运动目标检测与跟踪方法，针对运动目标的检测中最复杂的一种情况即摄影机运动且目标运动，进行了降噪，运动物体检测，运动趋势判定，控制摄像机跟踪四个阶段，有效地解决了摄影机实时跟踪运动物体这种复杂的运动物体检测问题，对运动物体的跟踪准确度高，速度快。

附图说明

图1为本发明所提供的基于点对点的运动目标检测与跟踪方法的流程图；

图2为本发明所提供的一个实施例中，当前图像1的原始图像的示意图；

图3为本发明所提供的一个实施例中，当前图像1对应的二值差分图像的示意图；

图4为本发明所提供的一个实施例中，当前图像2的原始图像的示意图；

图5为本发明所提供的一个实施例中，当前图像2对应的二值图的示意图；

图6为本发明所提供的一个实施例中，当前图像3的示意图；

图7为本发明所提供的一个实施例中，当前图像3对应的二值图的示意图；

图8为本发明所提供的一个实施例中，当前图像3上一帧图像的二值图的示意图；

图9为本发明所提供的一个实施例中，当前图像3对应的估计二值图的示意图；

图10为本发明所提供的一个实施例中，当前图像3对应的跟踪效果图；

图11为本发明所提供的一个实施例中，当前图像4的原始图像的示意图；

图12为本发明所提供的一个实施例中，当前图像4对应的二值图的示意图；

图13为本发明所提供的一个实施例中，当前图像4对应的上一帧图像的二值图的示意图；

图14为本发明所提供的一个实施例中，当前图像4对应的估计二值图的示意图；

图15为本发明所提供的一个实施例中，当前图像4对应的跟踪效果图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。

如图1所示，本发明所提供的基于点对点的运动目标检测与跟踪方法，包括如下步骤：首先，获取图像，并计算得到当前图像的帧间二值图；然后，计算帧间二值图存在白点的区域，如果当前帧和上一帧存在白点的区域均大于干扰阈值，则物体运动且镜头持续运动，根据上一帧图像的二值图中白点的位置对当前帧的像素点进行运动估计，得到当前帧的估计二值图，根据估计二值图计算物体的运动轨迹；如果存在白点的区域小于等于干扰阈值，则物体运动且镜头静止，根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹；最后，控制摄像机根据运动轨迹对物体进行跟踪。下面对这一过程进行详细具体的说明。

S1，获取图像，并计算得到当前图像的帧间二值图；

在本发明所提供的实施中，在计算得到当前图像的帧间二值图之前，还包括如下步骤：

对获取的图像进行降噪处理。

一幅实际获得的图像一般都会受到各种噪声源的干扰而含有噪声。这些噪声影响了图像的质量，使得图像模糊，甚至淹没了图像的基本特征，给进一步分析处理图像带来了困难。由于中值滤波的中值点是邻域中的某个点，中值滤波不会创造实际图像中没有的点，在保存突变的边缘点时比均值滤波好。在本发明所提供的实施例中，采用中值滤波对获取的图像进行降噪处理，具体包括如下步骤：

S01，选择一个(2n+1)×(2n+1)的窗口，并用该窗口沿图像数据进行光栅扫描；其中，n为正整数，可以根据需求进行设定，在本发明所提供的实施例中，以n设置为3为例进行说明。

S02，读取窗口下各像素点对应的像素值，在获取的图像上移动窗口，每次移动后，对窗口内的各个像素值进行排序；直至获取的图像全部处理完成；

S03，将所有像素值中排在中间的一个值作为中值代替窗口中心位置像素点的原始像素值。

对获取的图像进行降噪处理之后，为了解决被运动物体覆盖而在当前帧中显露出来的背景区域被误判为运动区域的问题，提出了采用多帧图像差分算法计算得到当前图像的帧间二值图；具体包括如下步骤：

S11，获取视频图像序列中连续的三帧图像，将中间帧设置为当前帧，对它们相邻两帧分别进行差分运算，得到两个二值差分图像。

具体的，设f(x,y,i-1)、f(x,y,i)和f(x,y,i+1)为视频图像序列中连续的三帧图像，其中(x,y)表示图像中的坐标，i-1，i，i+1分别表示连续三帧的序号。

对它们相邻两帧分别进行差分运算，其中Df(x,y,i-1,i)为前一帧f(x,y,i-1)与当前帧f(x,y,i)之间二值差分图像，Df(x,y,i,i+1)为当前帧f(x,y,i)与下一帧f(x,y,i+1)之间二值差分图像，本文阈值T设置为15。

S12，对得到的两个二值差分图像进行与运算，当两个二值差分图像中至少有一个值为零时，将当前帧对应位置像素设置为零，得到当前图像的帧间二值图。

具体的，对得到的两个二值差分图像进行与运算：

Df(x,y,i)＝Df(x,y,i-1,i)∩Df(x,y,i,i+1)

只有当Df(x,y,i-1,i)＝255和Df(x,y,i,i+1)＝255同时成立时,Df(x,y,i)＝255才成立，这样便可以得到当前图像的帧间二值图，也可以获得第i帧图像中的前景物体，如图2和图3所示。

图2是当前图像1，图3是当前图像1对应的帧间二值图(一个一个的白点组成)，当物体运动且镜头静止时，就可以通过这些白点计算出该运动物体的重心(将每个白色点的坐标叠加并求平均)、边缘(白点的和黑色背景的边界)、运动区域(1号矩形框)。

图3中的黑色的区域是背景；3号边框就是人为设置的实际有效区域边缘，当物体接近3号边框时说明滑轨的速度跟不上运动物体的速度，当物体运动且镜头运动时，就要转动摄像机镜头来跟踪运动物体；当物体处于2号边框内说明运动物体在图像的中心区域，滑轨和摄像机镜头都不动；当物体处于2号和3号边框内，滑轨移动跟踪物体的运动方向。后续对跟踪过程进行详细说明，在此便不再赘述了。

S2，计算帧间二值图存在白点的区域，根据该存在白点的区域大小判断镜头的运动状态；具体包括如下步骤：

S21，将帧间二值图等面积划分为2M块二值区域，其中M为大于3的正整数，其值可以根据需要进行设定。

具体的，根据步骤S1可以计算得到当前图像2(图4)对应的帧间二值图(图5)。将帧间二值图等面积划分为2M块二值区域，在本发明所提供的实施例中，以M＝6为例进行说明，将帧间二值图等面积划分为12块二值区域。

S22，确定二值区域中存在白点的区域个数。具体的，如图5所示，二值区域中存在白点的区域个数为4；图7中，划分的二值区域中存在白点的区域个数为11。

S23，设定区域阈值，当二值区域中存在白点的区域个数大于区域阈值时，镜头运动；否则，镜头静止。其中，区域阈值可以根据对运动轨迹的精度要求进行设定。在本发明所提供的实施例中，区域阈值t为划分的二值区域个数的一半，即t＝M。

S3，如果当前帧和上一帧存在白点的区域均大于干扰阈值，则物体运动且镜头持续运动，根据上一帧图像的二值图中白点的位置对当前帧的像素点进行运动估计，得到当前帧的估计二值图，根据估计二值图计算物体的运动轨迹。具体的，根据步骤S2可以计算得到当前图像4(图11)的二值图(图12)，这时的二值图有更多的干扰白点，所以不能直接进行运动轨迹的计算。上一帧图像的二值图(图13对应当前图像4对应的上一帧图像的二值图)在这里有两个作用，一是用来记录上一帧所有有效点(二值图中的白点)的坐标位置；一是用来预测运动物体在当前帧中的大体范围，在本发明所提供的实施例中，以将上一帧图像的二值图的运动区域向外扩展5个像素点，作为当前帧的初始运动区域为例进行说明。

根据上一帧图像的二值图中白点的位置对当前帧的像素点进行运动估计，得到当前帧的估计二值图，具体包括如下步骤：

S31，根据上一帧图像的二值图中白点的坐标位置对当前帧的像素点进行运动估计，得到第一最佳匹配点集合具体包括如下步骤：

S311，获取上一帧图像的二值图中白点i的坐标位置；i＝1,2……N；其中，N为上一帧图像的二值图中白点的个数，在本发明所提供的实施例中，i以先横轴后纵轴的方式进行计数，即i按照先横坐标不变，纵坐标逐渐加1的方式计数，当达到该横坐标下纵坐标取值最大值时，横坐标加1，纵坐标重复上述步骤，继续计数，直至二值图中有效区域内所有白点均计数完成，得到N。也可以采用先纵轴再横轴或其他计数方式。

S312，计算上一帧图像在白点i坐标位置的YUV值；

S313，在当前图像中以白点i的坐标位置为中心，半径为r的像素点范围，和当前图像的YUV值做运动估计计算绝对差值和(SAD值)；其中，r可以根据需求和实际情况情况进行设定，在本发明所提供的实施例中，以r取9为例进行说明。

S314，如果绝对差值和小于等于第一绝对差值和阈值，则该白点i对应的当前图像的像素点转化为白点，作为最佳匹配点；否则转向步骤S315；其中，第一绝对差值和阈值根据实验进行获取，在本发明所提供的实施例中，以第一绝对差值和阈值取3为例进行说明。

具体的，在上一帧原始图像的这些有效点的坐标位置(图13中的白点)，利用上一帧图像在该点的YUV值，在当前图像以该点为中心半径为9的像素点范围，和当前图像的YUV值做运动估计ME计算SAD值，如果SAD<＝3即该点为最佳匹配点。

S315，i＝i+1，重复步骤S311～S314，直至i＝N，得到第一最佳匹配点集合。

S32，根据上一帧图像的二值图中白点的位置确定当前帧的初始运动区域，根据当前帧的初始运动区域中白点的坐标位置对上一帧的像素点进行运动估计，得到第二最佳匹配点集合；具体包括如下步骤

S321，获取当前帧的上一帧图像的帧间二值图的运动区域。

当前帧的上一帧图像的帧间二值图的运动区域记录了上一帧运动物体的位置范围，因此可以被用来预测当前帧中运动物体的大体范围。

S322，将上一帧图像的帧间二值图的运动区域向外扩展K个像素点，作为当前帧的初始运动区域。其中，K为正整数，可以根据需求进行设定，在本发明所提供的实施例中，以K＝5即将上一帧图像的帧间二值图的运动区域向外扩展5个像素点为例进行说明。

S323，获取当前帧的初始运动区域内的白点j的坐标位置，j＝1,2……M；其中，M为当前帧的初始运动区域内有效点的个数，即当前帧对应的二值图中，在初始运动区域内白点的个数。j计数方式与i相同。

S324，利用当前图像在白点j对应的坐标位置的YUV值，在上一帧图像以该白点j对应的坐标位置为中心，半径为r的像素点范围，和上一帧图像的YUV值做运动估计计算绝对差值和，其中，r可以根据需求和实际情况情况进行设定，在本发明所提供的实施例中，以r取5为例进行说明。

S325，如果绝对差值和小于等于第二绝对差值和阈值，则该白点j为最佳匹配点；否则转向步骤S326；其中，第二绝对差值和阈值根据实验进行获取，在本发明所提供的实施例中，以第二绝对差值和阈值取3为例进行说明。

具体的，在当前帧的初始运动区域内的有效点的位置(图12中的红框中的白点)，利用当前图像在该点的YUV值，在上一帧图像以该点为中心半径为5的像素点范围，和上一帧图像的YUV值做运动估计ME计算SAD值，如果SAD<＝3即该点为最佳匹配点。

S326，j＝j+1，重复步骤S323～S325，直至j＝M，得到第二最佳匹配点集合。

S33，第一最佳匹配点集合和第二最佳匹配点集合组成当前帧的估计二值图。

具体的，最后这两部分最佳匹配点集合就是当前图像的估计二值图，如图14对应当前图像4对应的估计二值图。根据当前图像的二值图计算得到当前图像的运动区域、边缘和重心，图15为当前图像4对应的实际跟踪效果图。

在本发明所提供的实施例中，如果当前帧存在白点的区域大于干扰阈值，上一帧存在白点的区域小于等于干扰阈值，则物体运动且镜头开始运动，根据上一帧图像的二值图中白点的位置对当前帧的像素点进行运动估计，得到当前帧的估计二值图，根据估计二值图计算物体的运动轨迹。

具体的，根据步骤S2可以计算得到当前图像3(图6)的二值图(图7)，这时的二值图有其它一些干扰白点，所以不能简单地将每个白色点的坐标叠加并求平均得到运动物体的重心。需要根据上一帧图像的二值图中白点的位置对当前帧的像素点进行运动估计，得到当前帧的估计二值图，根据估计二值图计算物体的运动轨迹；具体包括如下步骤：

S401，获取上一帧图像的二值图中白点i的坐标位置；i＝1,2……N；其中，N为上一帧图像的二值图中白点的个数。

S402，计算上一帧图像在白点i坐标位置的YUV值。

S403，在当前图像中以白点i的坐标位置为中心，半径为r的像素点范围，和当前图像的YUV值做运动估计计算绝对差值和(SAD值)；其中，r可以根据需求和实际情况情况进行设定，在本发明所提供的实施例中，以r取9为例进行说明。

S404，如果绝对差值和小于等于第一绝对差值和阈值，则该白点i对应的当前图像的像素点转化为白点，作为最佳匹配点；否则转向步骤S405；其中，第一绝对差值和阈值根据实验进行获取，在本发明所提供的实施例中，以第一绝对差值和阈值取4为例进行说明。

S405，i＝i+1，重复步骤S401～S404，直至i＝N，所有最佳匹配点的集合得到当前帧的估计二值图，根据估计二值图计算物体的运动轨迹。

具体的，由于上一帧图像的二值图(图8为当前图像3对应的上一帧图像的二值图)的作用只是用来记录上一帧图像的所有有效点的具体坐标位置，那么首先在上一帧原始图像中利用这些坐标找到该位置下的YUV值，以当前图像中该点为中心半径为9个像素点的搜索范围，和当前图像的YUV值做运动估计ME得到SAD值，如果SAD<＝4即该搜索点为最佳匹配点，所有的这些最佳匹配点集合就是当前图像的二值图，如图9。根据当前图像的二值图计算得到当前图像的运动区域、边缘和重心，图10为当前图像3对应的实际跟踪效果图。

在本发明所提供的实施例中，如果存在白点的区域小于等于干扰阈值，则物体运动且镜头静止，根据当前图像2(图3)的二值图(图4)中的所有白点计算物体的运动轨迹。这种场景处理最简单，根据当前图像的帧间二值图中的所有白点计算得到当前图像的运动区域(图5对应当前图像2对应的运动区域)、边缘和重心等参数，就得到了物体的运动轨迹。图7为当前图像2对应的实际跟踪效果图。物体运动且镜头静止时，摄像机镜头不进行移动，只捕捉运动物体的运动轨迹。当物体运动且镜头运动时，控制摄像机根据运动轨迹对物体进行跟踪。

S4，控制摄像机根据运动轨迹对物体进行跟踪。

根据步骤3得到运动物体的运动趋势，控制摄像机做出和运动区域相应的运动，控制摄像机根据运动轨迹对物体进行跟踪，具体包括如下步骤：

如果物体的运动区域开始越过2号边框(中心区域)，则控制滑轨和运动物体做同向运动，目的就是使运动物体移动到图像的中心区域；

如果物体的运动区域到达或者越过3号边框(实际有效区域边缘)，则转动摄像机镜头将运动物体移动到图像的中心区域；

如果物体的运动区域还处于2号边框之内，则滑轨和摄像机镜头保持不动。

具体的，3号边框就是人为设置的实际有效区域边缘，当物体接近3号边框时说明滑轨的速度跟不上运动物体的速度，当物体运动且镜头运动时，就要转动摄像机镜头来跟踪运动物体；当物体处于2号边框内说明运动物体在图像的中心区域，滑轨和摄像机镜头都不动；当物体处于2号和3号边框内，滑轨移动跟踪物体的运动方向。其中，2号矩形框和3号矩形框的大小根据滑轨的速度来确定，一般原则为：如果滑轨运动和反应速度快，那么两种边框可以放大；如果滑轨运动和反应速度慢，那么两种边框必须缩小。

综上所述，本发明所提供的基于点对点的运动目标检测与跟踪方法，首先获取图像，并计算得到当前图像的帧间二值图；然后，计算帧间二值图存在白点的区域，如果存在白点的区域大于干扰阈值，则物体运动且镜头运动，根据当前图像的帧间二值图计算当前帧运动物体的第一有效点，根据当前帧的帧内边缘图计算当前帧运动物体的第二有效点；根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹；如果存在白点的区域小于等于干扰阈值，则物体运动且镜头静止，根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹；最后，控制摄像机根据运动轨迹对物体进行跟踪；该方法具有快速、准确、简洁等特点，能在机器人导航、智能视觉监视系统、视频图像分析以及视频图像压缩等领域中都有应用，有很大的现实意义和应用价值。

上面对本发明所提供的基于点对点的运动目标检测与跟踪方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (8)

1.一种基于点对点的运动目标检测与跟踪方法，其特征在于包括如下步骤：

计算得到当前图像的帧间二值图；

计算帧间二值图存在白点的区域，根据所述存在白点的区域大小判断摄像机镜头的运动状态；

如果当前帧和上一帧存在白点的区域均大于干扰阈值，则物体运动且镜头持续运动，根据上一帧图像的二值图中白点的位置对当前帧的像素点进行运动估计，得到当前帧的估计二值图，根据估计二值图计算物体的运动轨迹；

控制摄像机根据运动轨迹对物体进行跟踪，

其中，得到当前帧的估计二值图包括以下步骤：

根据上一帧图像的二值图中白点的坐标位置对当前帧的像素点进行运动估计，得到第一最佳匹配点集合；

根据上一帧图像的二值图中白点的位置确定当前帧的初始运动区域，根据当前帧的初始运动区域中白点的坐标位置对上一帧的像素点进行运动估计，得到第二最佳匹配点集合；

第一最佳匹配点集合和第二最佳匹配点集合组成当前帧的估计二值图，

其中，得到第二最佳匹配点集合包括以下步骤：

S321，获取当前帧的上一帧图像的帧间二值图的运动区域；

S322，将上一帧图像的帧间二值图的运动区域向外扩展K个像素点，作为当前帧的初始运动区域，其中，K为正整数；

S323，获取当前帧的初始运动区域内的白点j的坐标位置，j＝1,2……M；其中，M为当前帧的初始运动区域内白点的个数；

S324，利用当前图像在白点j对应的坐标位置的YUV值，在上一帧图像以该白点j对应的坐标位置为中心，半径为r的像素点范围，和上一帧图像的YUV值做运动估计，计算绝对差值和；

S325，如果所述绝对差值和小于等于第二绝对差值和阈值，则该白点j为最佳匹配点；否则转向步骤S326；

S326，j＝j+1，重复步骤S323～S325，直至j＝M，得到所述第二最佳匹配点集合。

2.如权利要求1所述的基于点对点的运动目标检测与跟踪方法，其特征在于在计算得到当前图像的帧间二值图之前，还包括如下步骤：

对获取的图像进行降噪处理。

3.如权利要求1所述的基于点对点的运动目标检测与跟踪方法，其特征在于采用多帧图像差分算法计算得到当前图像的帧间二值图，包括如下步骤：

获取视频图像序列中连续的三帧图像，将中间帧设置为当前帧，对三针图像的相邻两帧分别进行差分运算，得到两个二值差分图像；

对得到的两个二值差分图像进行与运算，当两个二值差分图像中至少有一个值为零时，将当前帧对应位置像素值设置为零，得到当前图像的帧间二值图。

4.如权利要求1所述的基于点对点的运动目标检测与跟踪方法，其特征在于计算帧间二值图存在白点的区域，根据所述存在白点的区域大小判断摄像机镜头的运动状态，包括如下步骤：

将帧间二值图等面积划分为2M块二值区域，其中M为大于3的正整数；

确定二值区域中存在白点的区域个数；

设定区域阈值，当二值区域中存在白点的区域个数大于区域阈值时，摄像机镜头运动；否则，摄像机镜头静止。

5.如权利要求4所述的基于点对点的运动目标检测与跟踪方法，其特征在于根据上一帧图像的二值图中白点的坐标位置对当前帧的像素点进行运动估计，得到第一最佳匹配点集合，包括如下步骤：

S311，获取上一帧图像的二值图中白点i的坐标位置；i＝1,2……N；其中，N为上一帧图像的二值图中白点的个数；

S312，计算上一帧图像在白点i坐标位置的YUV值；

S313，在当前图像中以白点i的坐标位置为中心，半径为r的像素点范围，和当前图像的YUV值做运动估计计算绝对差值和；

S314，如果绝对差值和小于等于第一绝对差值和阈值，则所述白点i对应的当前图像的像素点转化为白点，作为最佳匹配点；否则转向步骤S315；

S315，i＝i+1，重复步骤S311～S314，直至i＝N，得到第一最佳匹配点集合。

6.如权利要求1所述的基于点对点的运动目标检测与跟踪方法，其特征在于还包括如下步骤：

如果当前帧存在白点的区域大于干扰阈值，上一帧存在白点的区域小于等于干扰阈值，则物体运动且镜头开始运动，根据上一帧图像的二值图中白点的位置对当前帧的像素点进行运动估计，得到当前帧的估计二值图，根据估计二值图计算物体的运动轨迹。

7.如权利要求1所述的基于点对点的运动目标检测与跟踪方法，其特征在于还包括如下步骤：

如果存在白点的区域小于等于干扰阈值，则摄像机镜头静止，根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹。

8.如权利要求1所述的基于点对点的运动目标检测与跟踪方法，其特征在于控制摄像机根据运动轨迹对物体进行跟踪，包括如下步骤：

如果物体的运动区域开始越过中心区域，则控制滑轨和运动物体做同向运动，使运动物体移动到图像的中心区域；

如果物体的运动区域到达或者越过实际有效区域边缘，则转动摄像机镜头将运动物体移动到图像的中心区域；

如果物体的运动区域还处于中心区域之内，则滑轨和摄像机镜头保持不动。

Images