CN110378927B - 一种基于肤色的目标检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种基于肤色的目标检测与跟踪方法，包括如下步骤：计算得到当前图像的帧间二值图；计算帧间二值图存在白点的区域，根据所述存在白点的区域大小判断摄像机镜头的运动状态；如果存在白点的区域大于干扰阈值，则摄像机镜头运动，根据当前图像的帧间二值图计算当前帧运动物体的第一有效点，根据当前帧的肤色图计算当前帧运动物体的第二有效点；根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹；控制摄像机根据运动轨迹对物体进行跟踪。该方法有效地解决了摄影机实时跟踪运动物体这种复杂的运动物体检测问题，对运动物体的跟踪快速准确。

Description

一种基于肤色的目标检测与跟踪方法

技术领域

本发明涉及一种基于肤色的目标检测与跟踪方法，属于数字图像处理技术领域。

背景技术

运动的视觉分析是近年来计算机视觉领域中备受关注的前沿方向，它从图像序列中检测、识别、跟踪运动目标并对其行为进行理解和描述，属于图像分析和理解的范畴。运动分析的研究内容相当丰富，主要涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识；同时，动态场景中运动的快速分割、非刚性运动、目标之间互相遮挡或停止的处理等也为运动分析研究带来了一定的挑战。运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要，因为接下来的处理过程仅仅只考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。

近几十年来，国内外学者提出了许多方法用于检测和跟踪序列图像中的运动目标，对于序列图像中运动目标的检测，常用的方法有基于背景差分的方法、基于帧间差分的方法、基于特征的方法、基于光流场的方法等等。

但是由于环境特点的不同，很难得到一种通用的检测方法，针对不同背景下的序列图像提出的运动目标检测方法还不够完善，因此有必要对此进行深入的研究。

除此之外，目前对于序列图像中运动目标的检测，绝大多数方法都假设用于获取序列图像的摄像机是静止的。而对于摄影机运动且目标运动的情况，研究还比较少，理论也还远远没有成熟。但是，摄影机运动且目标运动的情况是运动目标的检测最复杂的一种情况，也是最普通的情况。所以亟需一种新的适用于摄影机运动且目标运动的运动目标的检测方法。

发明内容

针对现有技术的不足，本发明所要解决的技术问题在于提供一种基于肤色的目标检测与跟踪方法。

为实现上述发明目的，本发明采用下述的技术方案：

一种基于肤色的目标检测与跟踪方法，包括如下步骤：

计算得到当前图像的帧间二值图；

计算帧间二值图存在白点的区域，根据所述存在白点的区域大小判断摄像机镜头的运动状态；

如果存在白点的区域大于干扰阈值，则摄像机镜头运动，根据当前图像的帧间二值图计算当前帧运动物体的第一有效点，根据当前帧的肤色图计算当前帧运动物体的第二有效点；根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹；

控制摄像机根据运动轨迹对物体进行跟踪。

其中较优地，采用多帧图像差分算法计算得到当前图像的帧间二值图，包括如下步骤：

获取视频图像序列中连续的三帧图像，将中间帧设置为当前帧，对三针图像的相邻两帧分别进行差分运算，得到两个二值差分图像；

对得到的两个二值差分图像进行与运算，当两个二值差分图像中至少有一个值为零时，将当前帧对应位置像素值设置为零，得到当前图像的帧间二值图。

其中较优地，计算帧间二值图存在白点的区域，根据所述存在白点的区域大小判断摄像机镜头的运动状态，包括如下步骤：

将帧间二值图等面积划分为2M块二值区域，其中M为大于3的正整数；

确定二值区域中存在白点的区域个数；

设定区域阈值，当二值区域中存在白点的区域个数大于区域阈值时，摄像机镜头运动；否则，摄像机镜头静止。

其中较优地，所述区域阈值为划分的二值区域个数的一半，即：

t＝M；

其中，t为区域阈值。

其中较优地，根据当前图像的帧间二值图计算当前帧运动物体的第一有效点，包括如下步骤：

获取当前帧的上一帧图像的帧间二值图的运动区域；

将上一帧图像的帧间二值图的运动区域向外扩展K个像素点，作为当前帧的初始运动区域；其中，K为正整数；

获取当前帧的初始运动区域内所有白点位置上的像素点，分别用白点位置上的像素点对应的上一帧图像在像素点r的YUV值减去当前图像在像素点r的YUV值得到像素差值，如果该像素差值绝对值小于差值阈值，则该像素点属于当前帧运动物体的第一有效点；

所有像素差值绝对值小于于差值阈值的像素点组成第一有效点。

其中较优地，根据当前帧的肤色图计算当前帧运动物体的第二有效点，包括如下步骤：

获取当前帧的肤色图，肤色图中所有肤色点组成当前帧运动物体的第二有效点。

其中较优地，获取当前帧的肤色图，肤色图中所有肤色点组成当前帧运动物体的第二有效点，包括如下步骤：

获取当前帧的初始运动区域内的所有像素点；

分别计算每个像素点的YUV值，如果像素点满足YUV值判定公式，则该像素点为肤色点；

所有肤色点组成当前帧运动物体的第二有效点。

其中较优地，所述YUV值判定公式如下：

Y≥亮度阈值&色度最小阈值≤U≤

色度最大阈值&浓度最小阈值≤V≤浓度最大阈值；

其中，Y为图像中像素点的亮度；U为色度；V为浓度。

其中较优地，所述基于肤色的目标检测与跟踪方法，还包括如下步骤：

如果存在白点的区域小于等于干扰阈值，则摄像机镜头静止，根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹。

其中较优地，控制摄像机根据运动轨迹对物体进行跟踪，包括如下步骤：

如果物体的运动区域开始越过2号边框，则控制滑轨和运动物体做同向运动，使运动物体移动到图像的中心区域；

如果物体的运动区域到达或者越过实际有效区域边缘，则转动摄像机镜头将运动物体移动到图像的中心区域；

如果物体的运动区域还处于中心区域之内，则滑轨和摄像机镜头保持不动。

本发明所提供的基于肤色的目标检测与跟踪方法，针对运动目标的检测中最复杂的一种情况即摄影机运动且目标运动，进行了帧间运动检测、帧内肤色检测、运动趋势判定和控制摄像机跟踪四个阶段，有效地解决了摄影机实时跟踪运动物体这种复杂的运动物体检测问题，对运动物体的跟踪准确度高，速度快。

附图说明

图1为本发明所提供的基于肤色的目标检测与跟踪方法的流程图；

图2为本发明所提供的一个实施例中，当前图像1的原始图像的示意图；

图3为本发明所提供的一个实施例中，当前图像1对应的二值差分图像的示意图；

图4为本发明所提供的一个实施例中，当前图像2的原始图像的示意图；

图5为本发明所提供的一个实施例中，当前图像2对应的二值差分图像的示意图；

图6为本发明所提供的一个实施例中，当前图像2对应的跟踪效果图；

图7为本发明所提供的一个实施例中，当前图像3的示意图；

图8为本发明所提供的一个实施例中，当前图像3对应的的二值差分图像的示意图；

图9为本发明所提供的一个实施例中，当前图像3上一帧图像的帧间二值图的示意图；

图10为本发明所提供的一个实施例中，当前图像3对应的帧间有效二值图的示意图；

图11为本发明所提供的一个实施例中，当前图像3对应的肤色图的示意图；

图12为本发明所提供的一个实施例中，当前图像3对应的合成的二值图的示意图；

图13为本发明所提供的一个实施例中，当前图像3对应的跟踪效果图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。

如图1所示，本发明所提供的基于肤色的目标检测与跟踪方法，包括如下步骤：首先，获取图像，并计算得到当前图像的帧间二值图；然后，计算帧间二值图存在白点的区域，如果存在白点的区域大于干扰阈值，则物体运动且镜头运动，根据当前图像的帧间二值图计算当前帧运动物体的第一有效点，根据当前帧的肤色图计算当前帧运动物体的第二有效点；根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹；如果存在白点的区域小于等于干扰阈值，则物体运动且镜头静止，根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹；最后，控制摄像机根据运动轨迹对物体进行跟踪。下面对这一过程进行详细具体的说明。

S1，获取图像，并计算得到当前图像的帧间二值图；

为了解决被运动物体覆盖而在当前帧中显露出来的背景区域被误判为运动区域的问题，提出了采用多帧图像差分算法计算得到当前图像的帧间二值图；具体包括如下步骤：

S11，获取视频图像序列中连续的三帧图像，将中间帧设置为当前帧，对它们相邻两帧分别进行差分运算，得到两个二值差分图像。

具体的，设f(x,y,i-1)、f(x,y,i)和f(x,y,i+1)为视频图像序列中连续的三帧图像，其中(x,y)表示图像中的坐标，i-1，i，i+1分别表示连续三帧的序号。

对它们相邻两帧分别进行差分运算，其中Df(x,y,i-1,i)为前一帧f(x,y,i-1)与当前帧f(x,y,i)之间二值差分图像，Df(x,y,i,i+1)为当前帧f(x,y,i)与下一帧f(x,y,i+1)之间二值差分图像，本文阈值T设置为15。

S12，对得到的两个二值差分图像进行与运算，当两个二值差分图像中至少有一个值为零时，将当前帧对应位置像素设置为零，得到当前图像的帧间二值图。

具体的，对得到的两个二值差分图像进行与运算：

Df(x,y,i)＝Df(x,y,i-1,i)∩Df(x,y,i,i+1)

只有当Df(x,y,i-1,i)＝255和Df(x,y,i,i+1)＝255同时成立时,Df(x,y,i)＝255才成立，这样便可以得到当前图像的帧间二值图，也可以获得第i帧图像中的前景物体，如图2和图3所示。

图2是当前图像1，图3是当前图像1对应的帧间二值图(一个一个的白点组成)，当物体运动且镜头静止时，就可以通过这些白点计算出该运动物体的重心(将每个白色点的坐标叠加并求平均)、边缘(白点的和黑色背景的边界)、运动区域(1号对应的矩形框)。

图3中的黑色的区域是背景；3号边框就是人为设置的实际有效区域边缘，当物体接近3号边框时说明滑轨的速度跟不上运动物体的速度，当物体运动且镜头运动时，就要转动摄像机镜头来跟踪运动物体；当物体处于2号边框内说明运动物体在图像的中心区域，滑轨和摄像机镜头都不动；当物体处于2号边框和3号边框内，滑轨移动跟踪物体的运动方向。后续对跟踪过程进行详细说明，在此便不再赘述了。

S2，计算帧间二值图存在白点的区域，根据该存在白点的区域大小判断镜头的运动状态；具体包括如下步骤：

S21，将帧间二值图等面积划分为2M块二值区域，其中M为大于3的正整数，其值可以根据需要进行设定。

具体的，根据步骤S1可以计算得到当前图像2(图7)对应的帧间二值图(图8)。将帧间二值图等面积划分为2M块二值区域，在本发明所提供的实施例中，以M＝6为例进行说明，将帧间二值图等面积划分为12块二值区域。

S22，确定二值区域中存在白点的区域个数。具体的，如图5所示，二值区域中存在白点的区域个数为4；图8中，划分的二值区域中存在白点的区域个数为12。

S23，设定区域阈值，当二值区域中存在白点的区域个数大于区域阈值时，镜头运动；否则，镜头静止。其中，区域阈值可以根据对运动轨迹的精度要求进行设定。在本发明所提供的实施例中，区域阈值t为划分的二值区域个数的一半，即t＝M。

S3，如果存在白点的区域大于干扰阈值，则物体运动且镜头运动，根据当前图像的帧间二值图计算当前帧运动物体的第一有效点，根据当前帧的肤色图计算当前帧运动物体的第二有效点；根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹。

具体的，物体运动且镜头运动，根据步骤S1可以计算得到当前图像2(图7)对应的帧间二值图(图8)这时的帧间二值图有很多干扰白点，所以不能简单地将每个白色点的坐标叠加并求平均得到运动物体的重心，需要根据当前图像的帧间二值图计算当前帧运动物体的第一有效点；具体包括如下步骤：

S311，获取当前帧的上一帧图像的帧间二值图的运动区域。

当前帧的上一帧图像的帧间二值图的运动区域(图9对应当前图像3的上一帧图像的帧间二值图)记录了上一帧运动物体的位置范围，因此被用来预测当前帧中运动物体的大体范围。

S312，将上一帧图像的帧间二值图的运动区域向外扩展K个像素点，作为当前帧的初始运动区域。其中，K为正整数，可以根据需求进行设定，在本发明所提供的实施例中，以K＝5即将上一帧图像的帧间二值图的运动区域向外扩展5个像素点为例进行说明。

S313，获取当前帧的初始运动区域(即当前帧对应的帧间二值图的初始运动区域；图8对应当前图像3对应的帧间二值图)内所有白点位置上的像素点，分别用白点位置上的像素点对应的上一帧图像在像素点r的YUV值减去当前图像在像素点r的YUV值得到像素差值，如果该像素差值绝对值小于差值阈值，则该像素点属于当前帧运动物体的第一有效点。所有像素差值绝对值小于于差值阈值的像素点组成第一有效点(图10对应当前图像3对应的帧间有效二值图)。在本发明所提供的实施例中，差值阈值可以设置为10。其中，r＝1,2……R，R为当前帧的初始运动区域内所有白点位置上的像素点个数。在本发明所提供的实施例中，r以先横轴后纵轴的方式进行计数，即r按照先横坐标不变，纵坐标逐渐加1的方式计数，当达到该横坐标下纵坐标取值最大值时，横坐标加1，纵坐标重复上述步骤，继续计数，直至二值图中有效区域内所有白点均计数完成，得到R。也可以采用先纵轴再横轴或其他计数方式。

物体的运动轨迹根据第一有效点和第二有效点合成的二值图计算得到，所以需要根据当前帧的肤色图计算当前帧运动物体的第二有效点；具体包括如下步骤：

获取当前帧的肤色图，肤色图中所有肤色点组成当前帧运动物体的第二有效点；具体包括如下步骤：

获取当前帧的初始运动区域内的所有像素点；

分别计算每个像素点的YUV值，如果像素点满足YUV值判定公式，则该像素点为肤色点；其中，YUV值判定公式如下：

Y≥亮度阈值&色度最小阈值≤U≤

色度最大阈值&浓度最小阈值≤V≤浓度最大阈值；

所有肤色点组成当前帧运动物体的第二有效点。即组成当前帧的初始运动区域内的肤色图(图10)。

其中，Y，U，V分别代表图像中像素点的亮度和两个色差(U为色度；V为浓度)。亮度阈值、色度最小阈值、色度最大阈值、浓度最小阈值和浓度最大阈值可以根据需求以及实验数据进行设定。在本发明所提供的实施例中，亮度阈值取70，色度最小阈值取109，色度最大阈值取129，浓度最小阈值取140，浓度最大阈值取151。

最后这两部分物体有效点的集合就是当前图像合成的二值图(图12对应当前图像3对应的合成的二值图)，这样就可以计算得到当前图像的运动区域和重心，图13对应当前图像3对应的实际跟踪效果图。

在本发明所提供的实施例中，如果存在白点的区域小于等于干扰阈值，则物体运动且镜头静止，根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹。这种场景处理最简单，根据当前图像(图4对应当前图像2)的帧间二值图(图5对应当前图像3对应的帧间二值图二值图)中的所有白点计算得到当前图像的运动区域、边缘和重心等参数，就得到了物体的运动轨迹。图6为当前图像2对应的实际跟踪效果图。物体运动且镜头静止时，摄像机镜头不进行移动，只捕捉运动物体的运动轨迹。当物体运动且镜头运动时，控制摄像机根据运动轨迹对物体进行跟踪。

S4，控制摄像机根据运动轨迹对物体进行跟踪。

根据步骤3得到运动物体的运动趋势，控制摄像机做出和运动区域相应的运动，控制摄像机根据运动轨迹对物体进行跟踪，具体包括如下步骤：

如果物体的运动区域开始越过2号边框(中心区域)，则控制滑轨和运动物体做同向运动，目的就是使运动物体移动到图像的中心区域；

如果物体的运动区域到达或者越过3号边框(实际有效区域边缘)，则转动摄像机镜头将运动物体移动到图像的中心区域；

如果物体的运动区域还处于2号边框之内，则滑轨和摄像机镜头保持不动。

具体的，3号边框就是人为设置的实际有效区域边缘，当物体接近3号边框时说明滑轨的速度跟不上运动物体的速度，当物体运动且镜头运动时，就要转动摄像机镜头来跟踪运动物体；当物体处于2号边框内说明运动物体在图像的中心区域，滑轨和摄像机镜头都不动；当物体处于2号和3号边框内，滑轨移动跟踪物体的运动方向。其中，2号矩形框和3号矩形框的大小根据滑轨的速度来确定，一般原则为：如果滑轨运动和反应速度快，那么两种边框可以放大；如果滑轨运动和反应速度慢，那么两种边框必须缩小。

综上所述，本发明所提供的基于肤色的目标检测与跟踪方法，首先获取图像，并计算得到当前图像的帧间二值图；然后，计算帧间二值图存在白点的区域，如果存在白点的区域大于干扰阈值，则物体运动且镜头运动，根据当前图像的帧间二值图计算当前帧运动物体的第一有效点，根据当前帧的肤色图计算当前帧运动物体的第二有效点；根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹；如果存在白点的区域小于等于干扰阈值，则物体运动且镜头静止，根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹；最后，控制摄像机根据运动轨迹对物体进行跟踪；该方法具有快速、准确、简洁等特点，能在机器人导航、智能视觉监视系统、视频图像分析以及视频图像压缩等领域中都有应用，有很大的现实意义和应用价值。

上面对本发明所提供的基于肤色的目标检测与跟踪方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (6)

1.一种基于肤色的目标检测与跟踪方法，其特征在于包括如下步骤：

计算得到当前图像的帧间二值图；

计算帧间二值图存在白点的区域，根据所述存在白点的区域大小判断摄像机镜头的运动状态；

如果存在白点的区域大于干扰阈值，则摄像机镜头运动，根据当前图像的帧间二值图计算当前帧运动物体的第一有效点，根据当前帧的肤色图计算当前帧运动物体的第二有效点；根据第一有效点和第二有效点合成的二值图计算物体的运动轨迹；

控制摄像机根据运动轨迹对物体进行跟踪，

其中，根据当前图像的帧间二值图计算当前帧运动物体的第一有效点包括以下步骤：获取当前帧的上一帧图像的帧间二值图的运动区域；将上一帧图像的帧间二值图的运动区域向外扩展K个像素点，作为当前帧的初始运动区域；其中，K为正整数；获取当前帧的初始运动区域内所有白点位置上的像素点，分别用白点位置上的像素点对应的上一帧图像在像素点r的YUV值减去当前图像在像素点r的YUV值得到像素差值，如果该像素差值绝对值小于差值阈值，则该像素点属于当前帧运动物体的第一有效点；所有像素差值绝对值小于差值阈值的像素点组成第一有效点；

根据第一有效点和第二有效点合成二值图，包括以下步骤：

对当前帧的初始运动区域内的所有像素点，分别计算每个像素点的YUV值，如果像素点满足Y≥亮度阈值&色度最小阈值≤U≤色度最大阈值&浓度最小阈值≤V≤浓度最大阈值，则该像素点为肤色点；所有肤色点组成当前帧运动物体的第二有效点，所有第一有效点和第二有效点的集合就是当前图像合成的二值图。

2.如权利要求1所述的基于肤色的目标检测与跟踪方法，其特征在于采用多帧图像差分算法计算得到当前图像的帧间二值图，包括如下步骤：

获取视频图像序列中连续的三帧图像，将中间帧设置为当前帧，对三针图像的相邻两帧分别进行差分运算，得到两个二值差分图像；

对得到的两个二值差分图像进行与运算，当两个二值差分图像中至少有一个值为零时，将当前帧对应位置像素值设置为零，得到当前图像的帧间二值图。

3.如权利要求1所述的基于肤色的目标检测与跟踪方法，其特征在于计算帧间二值图存在白点的区域，根据所述存在白点的区域大小判断摄像机镜头的运动状态，包括如下步骤：

将帧间二值图等面积划分为2M块二值区域，其中M为大于3的正整数；

确定二值区域中存在白点的区域个数；

设定区域阈值，当二值区域中存在白点的区域个数大于区域阈值时，摄像机镜头运动；否则，摄像机镜头静止。

4.如权利要求3所述的基于肤色的目标检测与跟踪方法，其特征在于：

所述区域阈值为划分的二值区域个数的一半，即：

t＝M；

其中，t为区域阈值。

5.如权利要求1所述的基于肤色的目标检测与跟踪方法，其特征在于还包括如下步骤：

如果存在白点的区域小于等于干扰阈值，则摄像机镜头静止，根据当前图像的帧间二值图中的所有白点计算物体的运动轨迹。

6.如权利要求1所述的基于肤色的目标检测与跟踪方法，其特征在于控制摄像机根据运动轨迹对物体进行跟踪，包括如下步骤：

如果物体的运动区域开始越过图像的中心区域，则控制滑轨和运动物体做同向运动，使运动物体移动到图像的中心区域；

如果物体的运动区域到达或者越过实际有效区域边缘，则转动摄像机镜头将运动物体移动到图像的中心区域；

如果物体的运动区域还处于中心区域之内，则滑轨和摄像机镜头保持不动。

Images