CN104392461A - 一种基于纹理特征的视频跟踪方法 - Google Patents

Abstract

本发明提供一种基于纹理特征的视频跟踪方法，首先对视频进行背景模型构建，将当前帧与得到的背景模型进行比较，从而得到目标的前景图，再通过处理得到目标的矩形框。根据计算得到的纹理特征，将目标进行分块，对每一分块进行纹理特征的直方图统计，并将直方图的所有bin值作为该分块区域的特征向量。最后在目标一定半径范围内搜索当前帧目标的候选位置，根据候选目标的特征向量与目标的特征向量进行总体的相似度匹配，得到目标的当前位置。这种实时视频下的目标跟踪算法具有判断速度快、跟踪准确度较高等优点，从而为后续处理提供了很好的基础，并减少了视频监控人力的使用。

Description

一种基于纹理特征的视频跟踪方法

技术领域

本发明涉及视屏安全监控领域，更具体地，涉及一种基于纹理特征的视频跟踪方法。

背景技术

随着监控网络地不断发展，实时视频监控已经成为维护城市安全的重要手段。但由于人力监控需要大量的劳动力，并且可能受到人为因素影响，在监控点逐步增多的情况下，人力监控受到越来越大的挑战。因此，力求通过图像识别和行为识别等相关智能算法进行智能监控的技术正受到越来越多的关注。

在使用视频监控中，最主要的目的是能够对突发事件及时发现并处理。而在突发事件中，对视频中人的跟踪对视频的处理和分析发挥重要作用。在高层次的视频分析处理技术中，跟踪往往发挥着重要的作用。在敏感区域，通过分析跟踪到的人的行走路线，分析其可能的行为，可以做到及时进行预警，从而进一步降低了未来发生安全问题的概率，维护社会和谐。因此，在实时视频监控中，视频跟踪需要得到及时响应和处理。

在当前的监控环境中，预警更主要依靠于人力监控。监控人员发现实时视频下有异常事件发生便能做出及时的处理。但是，随着监控点的增多，监控人员不足和监控人员疲劳等原因均有可能引起异常事件漏报或响应不及时等情况出现。因此，通过智能识别算法进行视频跟踪为基础来进行行为判断也应运而生。

现有技术中，最基本的判断方法是通过meanshift方法来进行跟踪。由于监控实际环境的制约，这种以颜色为特征的算法，往往比较容易在目标与背景颜色比较相似的情况下丢失跟踪目标，因此，采用怎样的高效而简单的特征就成为了视频跟踪的一个重要关键点。

发明内容

本发明提供一种基于纹理特征的视频跟踪方法，能够有效对视频中目标进行跟踪的方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于纹理特征的视频跟踪方法，包括以下步骤：

S1：构建背景模型：对视频中连续N张图像进行背景提取并保存每一张图像的背景像素值组成背景像素值集，若背景像素值集中任一背景像素值的出现次数大于阈值λ，则保留该背景像素值对应的任一张背景图像作为所述N张图像的背景模型M；

S2：提取目标前景：将视频中任一当前图像A与背景模型M进行比较处理求取前景图，并从该前景图中计算连续白色点像素个数达到阈值β的区域，将该区域作为当前图像的目标前景框T；

S3：构建目标前景特征：对目标前景框Ｔ进行LBP纹理特征提取，把得到的纹理图按照区域面积大小为ε进行分割，对分割得到的每个区域进行直方图统计，并根据直方图每个bin的值获得每一个区域的特征向量；

S4：搜索当前帧目标：对于任一张视频拍摄时间滞后于图像A的图像B，在图像Ｂ中以目标前景框T中的目标在原来图像Ａ中的位置为圆心，半径为r范围内搜索候选目标集，对候选的目标框进行步骤S2-S3的处理，将所得到每个候选目标的每个区域的特征向量与目标前景框T中的目标的每一个区域的特征向量进行匹配程度计算，若小于匹配阈值σ则匹配成功，继而计算候选目标与目标前景框T中的目标的相似度，相似度最大的候选目标作为目标前景框T中的目标在图像B中的位置。

本发明中，视频监控设备会按时间的先后连续拍摄监控区域范围的图像，本发明的方法利用连续拍摄的图像先构建这些图像的背景模型，再随机选取一张包含有想要跟踪的目标的图像对其进行前景图提取，之后对含有跟踪目标的前景图进行分块并求取其特征值，之后又对拍摄时间滞后于之前确定好跟踪目标的图像的图像也进行相同的处理，最后对两张图像的特征进行匹配程度的计算从而确定后拍摄的一张图像中跟踪目标所在的位置，这一过程跟踪准确性高，不仅可以通过目标区域的匹配程度来揭示目标下一时刻的位置，无需人工干预，减少了视频监控人力的使用。

进一步地，所述步骤S2中图像A与背景模型M进行比较处理求取前景图的过程如下：

对于图像A的一像素点a，若像素点a的RGB三通道与背景模型M中相对应的像素点b的RGB三通道的欧式距离小于阈值Ω，则该像素点a是背景像素点，并在图像A中将该点置为黑色；否则该像素点为前景像素点，并在图像A中置为白色，得到图像A的前景图。

进一步地，所述步骤S2中得到目标前景框T的过程如下：

在图像A的前景图中，对白点数目超过区域面积一半的正方形区域进行广度优先搜索，搜索出的正方形区域为B，若在区域B的八个方向的邻域中进行广度优先搜索出白点数目超过区域面积一半的正方形区域C，继续搜索区域C的八个方向的邻域中满足白点数目超过区域面积一半的条件的正方形区域，重复上述过程直到满足白点数目超过区域面积一半的条件的正方形区域全部被搜索出来为止，把最小覆盖所有被搜索出来的正方形区域的矩形作为目标的前景框T。

进一步地，所述步骤S3中ε为i×j，把得到的纹理图每隔i×j个像素进行一次分割，分割后的每一区域的统计直方图的bin数目为Ф；

对目标的前景框T提取LBP纹理特征和纹理图分割后，对于每一分割后的区域，进行纹理特征值直方图统计，具体过程为：对纹理特征值为y的像素点，其所在区域的直方图的第y/Ф个bin进行加1，对该区域所有的像素点进行直方图统计后，对每个bin除以该区域的面积得到归一化的直方图，把直方图的Ф个bin值作为该区域的Ф维的特征向量。

进一步地，所述步骤S4中，当候选目标的一区域的特征向量与目标前景框T中的目标的一区域的特征向量的匹配成功时，把该区域标记为1，否则为0，将候选目标中所有标记为1的区域进行相加，并除以候选目标被分割的区域总数，结果作为候选目标与目标前景框T中的目标的的相似度，若该结果大于2/3则认为候选目标与目标前景框T中的目标匹配成功；

当有若干个候选目标区域与目标前景框T中的目标匹配成功，则对该若干个候选目标中的每一个的各区域的直方图每个bin进行分别累加，得到该候选目标总体特征向量，同时将目标前景框T中的目标的各区域直方图每个bin进行分别累加，得到目标前景框T中的目标的总体特征向量，若候选目标总体特征向量与目标前景框T中的目标的总体特征向量匹配成功，则该候选目标就作为最终匹配成功的候选目标。

进一步地，所述步骤S4中将所得到每个候选目标的每个区域的特征向量与目标前景框T中的目标的每一个区域的特征向量进行匹配程度计算的过程如下：

        （1）

       （2）

其中，表示特征向量每个候选目标的每个区域的特征向量和目标前景框T中的目标的的内积，而表示特征向量的2范式开平方，为特征向量间的相对距离，为特征向量的相近程度，所述对应图像区域的，均小于匹配阈值σ。 

与现有技术相比，本发明技术方案的有益效果是：

本发明利用图像本身的纹理统计特性实现对目标的跟踪，在目标区域进行分块匹配，从区域的总体匹配程度上进行两个相同目标的比较，跟踪准确性高，能够有效应用于智能视频监控系统中，不仅可以通过目标区域的匹配程度来揭示目标下一时刻的位置，而且由于比较上只用到直方图和相加一些基本操作，因此总体的匹配复制度不高，在计算效率上得到了保证，同时又减少了视频监控人力的使用。

附图说明

图1为本发明方法的流程图；

图2为本发明方法的帧间跟踪实验效果图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于纹理特征的视频跟踪方法，包括以下步骤：

S1：构建背景模型：对视频中连续N张图像进行背景提取并保存每一张图像的背景像素值组成背景像素值集，若背景像素值集中任一背景像素值的出现次数大于阈值λ，则保留该背景像素值对应的任一张背景图像作为所述N张图像的背景模型M，本实施例中连续N张图像的大小为10，λ为4；

S2：提取目标前景：将视频中任一当前图像A与背景模型M进行比较处理求取前景图，并从该前景图中计算连续白色点像素个数达到阈值β的区域，将该区域作为当前图像的目标前景框T；

S3：构建目标前景特征：对目标前景框Ｔ进行LBP纹理特征提取，把得到的纹理图按照区域面积大小为ε进行分割，对分割得到的每个区域进行直方图统计，并由直方图每个bin的值获得每一个区域的特征向量；

S4：搜索当前帧目标：对于任一张视频拍摄时间滞后于图像A的图像B，在图像Ｂ中以目标前景框T中的目标在原来图像Ａ中的位置为圆心，半径为r范围内搜索候选目标集，对候选的目标框进行步骤S2-S3的处理，将所得到每个候选目标的每个区域的特征向量与目标前景框T中的目标的每一个区域的特征向量进行匹配程度计算，若小于匹配阈值σ则匹配成功，继而计算候选目标与目标前景框T中的目标的相似度，相似度最大的候选目标作为目标前景框T中的目标在图像Ｂ中的位置，本实施例中r为15。

进一步地，所述步骤S2中图像A与背景模型M进行比较处理求取前景图的过程如下：

对于图像A的一像素点a, 若a的RGB三通道与背景模型M中相对应的像素点b的RGB三通道的欧式距离小于阈值Ω，则认为该像素点a是背景像素点，并在图像A中将该点置为黑色；否则则认为该像素点为前景像素点，并在图像A中置为白色，最终得到图像A的前景图，本实施例中阈值Ω为40。

进一步地，所述步骤S2中得到目标前景框T的过程如下：

在图像A的前景图中，对白点数目超过区域面积一半的正方形区域进行广度优先搜索，搜索出的正方形区域为B，若在区域B的八个方向的邻域中进行广度优先搜索出白点数目超过区域面积一半的正方形区域C，继续搜索区域C的八个方向的邻域中满足白点数目超过区域面积一半的条件的正方形区域，重复上述过程直到满足白点数目超过区域面积一半的条件的正方形区域全部被搜索出来为止，把最小覆盖所有被搜索出来的正方形区域的矩形作为目标的前景框T。

进一步地，所述步骤S3中ε为i×j，把得到的纹理图每隔i×j个像素进行一次分割，分割后的每一区域的统计直方图的bin数目为Ф，本实施例中ε为30×30，直方图的bin数目为16，特征向量维数为16；

对目标的前景框T提取LBP纹理特征和纹理图分割后，对于每一分割后的区域，进行纹理特征值直方图统计，具体过程为：对纹理特征值为y的像素点，其所在区域的直方图的第y/16个bin进行加1，对该区域所有的像素点进行直方图统计后，对每个bin除以该区域的面积得到归一化的直方图，把直方图的16个bin值作为该区域的16维的特征向量。

进一步地，所述步骤S4中，若候选目标的一区域的特征向量与目标前景框T中的目标的一区域的特征向量的匹配成功时，把该区域标记为1，否则为0，将候选目标中所有标记为1的区域进行相  加，并除以候选目标被分割的区域总数，结果作为候选目标与目标前景框T中的目标的的相似度，若该结果大于2/3则认为候选目标与目标前景框T中的目标匹配成功；

如果有若干个候选目标区域与目标前景框T中的目标匹配成功，则对该若干个候选目标中的每一个的各区域的直方图每个bin进行分别累加，得到该候选目标总体特征向量，同时将目标前景框T中的目标的各区域直方图每个bin进行分别累加，得到目标前景框T中的目标的总体特征向量，若候选目标总体特征向量与目标前景框T中的目标的总体特征向量匹配成功，则该候选目标就作为最终匹配成功的候选目标。

进一步地，所述步骤S4中将所得到每个候选目标的每个区域的特征向量与目标前景框T中的目标的每一个区域的特征向量进行匹配程度计算的过程如下：

        （1）；

        （2）；

本实施例中，表示特征向量每个候选目标的每个区域的特征向量和目标前景框T中的目标的的内积，而表示特征向量的2范式开平方，为特征向量间的相对距离，为特征向量的相近程度，所述对应图像区域的，均小于匹配阈值σ，σ为0.3。

如图2所示，该基于纹理特征的视频跟踪方法的帧间跟踪的实验效果。图2（a）中的矩形框中的人为跟踪目标，图2（b）-（d）为视频拍摄时间之后于图2（a）的三张的图的跟踪结果，从图中可以明显地看出都非常精确跟踪到了要捕捉的目标。该方法利用图像本身的纹理统计特性实现对目标的跟踪，在目标区域进行分块匹配，从区域的总体匹配程度上进行两个相同目标的比较，跟踪准确性高，能够有效应用于智能视频监控系统中，不仅可以通过目标区域的匹配程度来揭示目标下一时刻的位置，而且由于比较上只用到直方图和相加一些基本操作，因此总体的匹配复制度不高，在计算效率上得到了保证。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于纹理特征的视频跟踪方法，其特征在于，包括以下步骤：

S1：构建背景模型：对视频中连续N张图像进行背景提取并保存每一张图像的背景像素值组成背景像素值集，若背景像素值集中任一背景像素值的出现次数大于阈值λ，则保留该背景像素值对应的任一张背景图像作为所述N张图像的背景模型M；

S2：提取目标前景：将视频中任一当前图像A与背景模型M进行比较处理求取前景图，并从该前景图中计算连续白色点像素个数达到阈值β的区域，将该区域作为当前图像的目标前景框T；

S3：构建目标前景特征：对目标前景框T进行LBP纹理特征提取，把得到的纹理图按照区域面积大小为ε进行分割，对分割得到的每个区域进行直方图统计，并由直方图每个bin的值获得每一个区域的特征向量；

S4：搜索当前帧目标：对于图像B，在图像B中以目标前景框T中的目标在原来图像Ａ中的位置为圆心，半径为r范围内搜索候选目标集，对候选的目标框进行步骤S2-S3的处理，将所得到每个候选目标的每个区域的特征向量与目标前景框T中的目标的每一个区域的特征向量进行匹配程度计算，若小于匹配阈值σ则匹配成功，继而计算候选目标与目标前景框T中的目标的相似度，相似度最大的候选目标作为目标前景框T中的目标在图像B中的位置。

2.根据权利要求1所述的基于纹理特征的视频跟踪方法，其特征在于，所述步骤S2中图像A与背景模型M进行比较处理求取前景图的过程如下：

对于图像A的一像素点a，若像素点a的RGB三通道与背景模型M中相对应的像素点b的RGB三通道的欧式距离小于阈值Ω，则该像素点a是背景像素点，并在图像A中将该点置为黑色；否则该像素点为前景像素点，在图像A中将该点置为白色，得到图像A的前景图。

3.根据权利要求2所述的基于纹理特征的视频跟踪方法，其特征在于，所述步骤S2中得到目标前景框T的过程如下：

在图像A的前景图中，对白点数目超过区域面积一半的正方形区域进行广度优先搜索，搜索出的正方形区域为B，若在区域B的八个方向的邻域中进行广度优先搜索出白点数目超过区域面积一半的正方形区域C，继续搜索区域C的八个方向的邻域中满足白点数目超过区域面积一半的条件的正方形区域，重复上述过程直到满足白点数目超过区域面积一半的条件的正方形区域全部被搜索出来为止，把最小覆盖所有被搜索出来的正方形区域的矩形作为目标的前景框T。

4.根据权利要求1所述的基于纹理特征的视频跟踪方法，其特征在于，所述步骤S3中ε为i×j，把得到的纹理图每隔i×j个像素进行一次分割，分割后的每一区域的统计直方图的bin数目为Ф；

对目标的前景框T提取LBP纹理特征和纹理图分割后，对于每一分割后的区域，进行纹理特征值直方图统计，具体过程为：对纹理特征值为y的像素点，其所在区域的直方图的第y/Ф个bin进行加1，对该区域所有的像素点进行直方图统计后，对每个bin除以该区域的面积得到归一化的直方图，把直方图的Ф个bin值作为该区域的Ф维的特征向量。

5.根据权利要求1所述的基于纹理特征的视频跟踪方法，其特征在于，所述步骤S4中，当候选目标的一区域的特征向量与目标前景框T中的目标的一区域的特征向量的匹配成功时，把该区域标记为1，否则为0，将候选目标中所有标记为1的区域进行相加，并除以候选目标被分割的区域总数，结果作为候选目标与目标前景框T中的目标的的相似度，若该结果大于2/3则认为候选目标与目标前景框T中的目标匹配成功；

当有若干个候选目标区域与目标前景框T中的目标匹配成功，则对该若干个候选目标中的每一个的各区域的直方图每个bin进行分别累加，得到该候选目标总体特征向量，同时将目标前景框T中的目标的各区域直方图每个bin进行分别累加，得到目标前景框T中的目标的总体特征向量，若候选目标总体特征向量与目标前景框T中的目标的总体特征向量匹配成功，则该候选目标就作为最终匹配成功的候选目标。

6.根据权利要求1所述的基于纹理特征的视频跟踪方法，其特征在于，所述步骤S4中将所得到每个候选目标的每个区域的特征向量与目标前景框T中的目标的每一个区域的特征向量进行匹配程度计算的过程如下：

        （1）

       （2）

其中，表示特征向量每个候选目标的每个区域的特征向量和目标前景框T中的目标的的内积，而表示特征向量的2范式开平方，为特征向量间的相对距离，为特征向量的相近程度，所述对应图像区域的，均小于匹配阈值σ。