CN105654454A - 一种快速稳定的对比度跟踪方法 - Google Patents

Abstract

本发明提出一种快速稳定的对比度跟踪方法。该方法首先从当前帧视频图像中提取波门图像，然后对该波门图像做平滑处理，接着再对该波门图像构建一个积分图像，最后通过这个积分图像快速找到波门图像中对比度最强的所有子窗口的中心坐标，对这些子窗口的中心坐标求平均并取整后作为当前帧视频图像中目标所在的位置。本发明应用积分图像技术，大幅减少计算量，从而实现了目标的快速跟踪；同时，本发明利用了所有对比度最强的子窗口中心坐标信息，提高了跟踪的精度和稳定性。

Description

一种快速稳定的对比度跟踪方法

技术领域

本发明属于目标跟踪技术领域，具体涉及一种快速稳定的对比度跟踪方法。

背景技术

目标跟踪在安全监控、汽车辅助驾驶、红外制导、计算机视觉等领域有着广泛的应用。目标跟踪通常是指在图像序列中对感兴趣的图像区域或目标对象进行精确定位，甚至获取目标的几何、颜色、纹理信息。由于目标本身及周边环境复杂多变，因此，寻找一种快速而鲁棒的目标跟踪方法仍是当前计算机视觉领域中的一个极具挑战性的研究课题。

目前军事应用(包括红外和可见光目标跟踪)中的目标跟踪方法分为两大类：一类是对比度跟踪，另一类是相关跟踪(张然,吕高杰,张国华.光电目标图像自动跟踪技术研究，电光与控制，2008第15卷第9期，65-68)。对比度跟踪，又称波门跟踪，是通过比较目标与背景之间的对比度来自动跟踪目标的一种方法。该方法根据跟踪参考点的不同，可分为三种：基于边缘的对比度跟踪法(刘火平,吴钦章,刘扬,曹晓伟，多边缘法实现对高速扩展目标解体的自动跟踪，光电工程,2010，第37卷第11期，8-13)、基于形心的对比度跟踪法(任晓伟,李晋惠,梁向阳，一种空中运动多目标形心跟踪方法，西安工业学院学报,2004,第24卷第4期，344-348)、基于峰值的对比度跟踪法(雷涛，光电成像动态目标稳定跟踪技术研究，中国科学院光电技术研究所)。基于峰值的对比度跟踪是以目标图像上最亮点或最暗点作为跟踪参考点的一种跟踪方法，该方法容易受噪声的影响，故一般在跟踪前先做平滑处理，且不是将像素作为观测单位，而往往用子窗口(即尺度较小的图像块)作为观测单位，然后在波门图像中通过逐一比较各子窗口的对比度来实现目标跟踪。

传统峰值跟踪方法的流程是：1)从t时刻的这一帧视频图像中提取波门图像；2)对波门图像做平滑处理；3)以波门图像的左上角为起点，从上到下，从左往右，逐一比较各子窗口内所有像素的灰度值之和，以灰度之和的最大值或最小值所对应的第一个子窗口的中心作为t时刻目标所在位置，也即完成了目标跟踪。从这个流程可以看出，该方法的计算量主要取决于两个因素，一个是波门图像的大小，另一个是子窗口的大小。在实际工程中，为了满足实时性要求，波门和子窗口的尺寸往往不能太大。然而，由于波门图像不够大，即目标搜索范围不够大，可能导致目标跟丢，尤其对于快速目标，因此，传统方法的实时性与抗干扰能力很难兼具；由于可能存在多个子窗口内的所有像素灰度值之和相同，故此时若能将这些子窗口的信息全部利用起来，跟踪将会更稳定。

积分图像是由PaulViola在2001年一篇关于快速人脸检测的论文中提出的(PaulViola，MichaelJones，Rapidobjectdetectionusingaboostedcascadeofsimplefeatures，IEEEConferenceonComputerVisionandPatternRecognition，511-518)，目前已广泛应用于图像处理、图像检索、图像拼接、模式识别、目标检测、目标跟踪等领域，以加快计算速度。

发明内容

本发明的目的在于提供一种快速稳定的对比度跟踪方法，运用积分图像技术大幅减少搜索比较时的计算量，从而在保证实时性的前提下可以扩大目标搜索范围，更大程度上保证目标不丢失，同时利用所有具有相同最大值或最小值的子窗口位置信息，从而提高目标跟踪的稳定性。

解决上述技术问题的技术方案为：一种快速稳定的对比度跟踪方法，步骤如下：

第一步、提取视频图像的波门图像；

第二步、对波门图像I生成积分图像G；

第三步、利用积分图像G获得波门图像I中所有对比度最强的子窗口中心坐标信息，利用所子窗口中心坐标信息获取跟踪目标的位置。

进一步，在所述第一步中，读取一帧视频图像，提取以该图像中心为中心、波门大小为h×w的图像块I作为波门图像，然后对波门图像I做平滑处理，其中，h和w分别表示波门的高和宽。

进一步，在所述第二步中，生成积分图像G的过程为：

2.1对波门图像I中的每一列像素的灰度值累加得到中间结果Temp，其计算方式如公式(1)所示，

$\mathrm{Temp}(y,x)=\left\{\begin{array}{cc}I(1,x)& y=1;x=1,...w\\ \mathrm{Temp}(y-1,x)+I(y,x)& y=2,...,h;x=1,...w\end{array}\right.---\left(1\right)$

公式(1)中，(y,x)为像素坐标值，y表示行坐标，x表示列坐标；

2.2对中间结果Temp中的每一行像素的值累加得到最终的积分图像G，其计算方式如公式(2)所示，

$G(y,x)=\left\{\begin{array}{cc}\mathrm{Temp}(y,1)& x=1;y=1,...,h\\ G(y,x-1)+\mathrm{Temp}(y,x)& x=2,...,w;y=1,...,h\end{array}\right.---\left(2\right).$

进一步，所述第三步具体过程为：

3.1设子窗口大小为n×m，且1＜n＜h,1＜m＜w；

3.2，从上往下，从左到右，共有(h-n+1)×(w-m+1)个子窗口，利用积分图像G和查表法获得波门图像I中(h-n+1)×(w-m+1)个子窗口的各个子窗口内所有像素的灰度值之和，用所述(h-n+1)×(w-m+1)个灰度值之和组成大小为(h-n+1)×(w-m+1)的矩阵A；

3.3当跟踪目标为白目标时，搜索矩阵A中的最大值，并记录所有具有最大值的子窗口的个数k和所述k个子窗口的中心坐标(y_i,x_i),i＝1,...,k，然后求取所述k个中心坐标的平均值，对平均值取整获得跟踪目标的位置(y_end,x_end)；当跟踪目标为黑目标时，记录所有具有最小值的子窗口个数k和所述k个子窗口中心坐标信息(y_i,x_i),i＝1,...,k，然后求取所述k个中心坐标的平均值，并对平均值取整获得跟踪目标的位置(y_end,x_end)。

进一步，所述子窗口内所有像素的灰度之和的计算方式如公式(3)所示，

sum(y₁,x₁；y₂,x₂)＝G(y₂,x₂)+G(y₁-1,x₁-1)-G(y₂,x₁-1)-G(y₁-1,x₂)(3)

公式(3)中，对于波门图像I中的任一子窗口R(y₁,x₁；y₂,x₂)，(y₁,x₁)代表子窗口的左上角像素点，(y₂,x₂)代表子窗口的右下角像素点。。

与现有技术相比，本发明具有以下优点：(1)积分图像技术的应用，使得计算量得到大幅减少，从而可以在满足实时性的要求下扩大目标的搜索范围，防止目标丢失；(2)获取了图像中所有对比度最强的子窗口中心位置信息，并求得它们的平均值，作为跟踪目标的位置，提高了跟踪精度。

附图说明

图1是本发明快速稳定的对比度跟踪方法流程图。

图2是提取到的红外波门图像I(白目标)，其中白色矩形框所表示的图像块用于举例说明构建积分图像。

图3是图2中的白色矩形框内各像素的灰度值。

图4是针对图2中的白色矩形框所构建的积分图像。

图5是计算矩形区域内像素灰度值之和的示意图。

图6是两种方法对图2(白目标)中目标的跟踪结果对比图。

图7是两种方法针对图2(白目标)的计算耗时比较图。

图8是提取到的可见光波门图像(黑目标)。

图9是两种方法对图7(黑目标)中目标的跟踪结果对比图。

图10是两种方法针对图7(黑目标)的计算耗时比较图。

具体实施方式

结合图1，本发明快速稳定的对比度跟踪方法，其步骤如下：

第一步，提取波门图像I：先读取一帧视频图像，其高和宽分别为H、W(例如，红外图像的高、宽分别为480×640)；然后提取以该帧图像的中心为中心、波门大小为h×w的图像块I，其中h和w表示波门图像的高和宽。图2为所提取到的波门图像I，其高和宽分别为72和96，即有h＝72，w＝96。为了减少噪声的影响，往往会对波门图像做一次平滑处理。

第二步，构建积分图像G，即对波门图像I中的每一列，以列的方向从上往下累加各像素的灰度值，得到一个中间结果Temp，再对这个中间结果Temp中的每一行，以行的方向从左到右累加各像素的值，生成积分图像G。构建积分图像G的详细步骤如下：

2.1对波门图像I中的每一列像素的灰度值累加得到中间结果Temp，其计算方式如公式(1)所示，

$\mathrm{Temp}(y,x)=\left\{\begin{array}{cc}I(1,x)& y=1;x=1,...w\\ \mathrm{Temp}(y-1,x)+I(y,x)& y=2,...,h;x=1,...w\end{array}\right.---\left(1\right)$

公式(1)中，(y,x)为像素坐标值，y表示行坐标，x表示列坐标；

2.2对中间结果Temp中的每一行像素的值累加得到最终的积分图像G，其计算方式如公式(2)所示，

$G(y,x)=\left\{\begin{array}{cc}\mathrm{Temp}(y,1)& x=1;y=1,...,h\\ G(y,x-1)+\mathrm{Temp}(y,x)& x=2,...,w;y=1,...,h\end{array}\right.---\left(2\right).$

图3是图2中的白色矩形框图像块(大小为15×15个像素)中各像素的灰度值，对它构建积分图像，则得到如图4所示的积分图像。有了积分图像之后，可以大幅提高计算子窗口内所有像素灰度值之和。

第三步，快速稳定的对比度跟踪，即通过第二步中得到的积分图像G快速得到波门图像I中所有对比度最强(即最亮或最暗)的子窗口中心位置信息，利用这些位置信息求得跟踪目标的位置，详细步骤如下：

3.1为了进一步减少噪声的影响，观察一个子窗口内的对比度，而不是单个像素的对比度，设子窗口大小为n×m(1＜n＜h,1＜m＜w)；

3.2对于波门图像I，从上往下，从左到右，共有(h-n+1)×(w-m+1)个子窗口，利用积分图像G和查表法可以快速得到各子窗口内所有像素的灰度值之和，所述(h-n+1)×(w-m+1)个灰度值之和组成一个(h-n+1)×(w-m+1)的矩阵A。子窗口内所有像素的灰度值之和的计算方法如下：

对于波门图像中的任一子窗口R(y₁,x₁；y₂,x₂)，其中(y₁,x₁)是子窗口的左上角像素点，(y₂,x₂)是子窗口的右下角像素点，如图5所示，则子窗口R内所有像素的灰度之和的计算方式如公式(3)所示，

sum(y₁,x₁；y₂,x₂)＝G(y₂,x₂)+G(y₁-1,x₁-1)-G(y₂,x₁-1)-G(y₁-1,x₂)(3)

例如：sum(3,3；10,10)＝G(10,10)+G(2,2)–G(10,2)–G(2,10)

＝5027+196–971–967

＝3285

即通过两个像素点的四个坐标值可计算出子窗口内的所有像素的灰度值之后，从而提高了计算速度。

3.3搜索矩阵A中的最大值(当跟踪目标为白目标时)，或最小值(当跟踪目标为黑目标时)，并记录所有最大值或最小值的子窗口个数k和这k个子窗口中心坐标信息(y_i,x_i),i＝1,...,k，然后求取这k个中心坐标的平均值，并对其取整，从而得到跟踪目标的位置(y_end,x_end)。

为了验证本发明方法的有效性和性能，通过两个实验比较本本发明方法与传统峰值跟踪方法的计算速度和稳定性。

实验条件如下：硬件平台是一台普通PC，其CPU为Pentium(R)Dual-CoreCPU,2.60GHz,内存为2G；操作系统为WindowsXPSP3，使用的软件平台是MATLABR2013a；子窗口大小为4×4，即n＝4，m＝4，测试两种方法计算耗时的次数为50次。

图6是本发明方法与传统对比度跟踪方法对图2的跟踪结果对比图，其中白色“+”为传统方法的跟踪结果，白色“x”为本发明方法的跟踪结果，显然白色“x”比白色“+”更靠近目标中心，这表明本发明方法比传统方法更稳定。两种方法的计算耗时情况如图7所示，其中实线表示本发明方法，虚线表示传统方法，本发明方法的平均耗时为0.0035秒，而传统方法的耗时为0.0213秒，是本发明方法耗时量的6.0857倍，显然本发明方法大幅提升了计算速度。

图8是提取的可见光波门图像，大小为200×200，跟踪的目标是一架飞机，由于其比背景暗，故称作黑目标。图9是两种方法对图8的跟踪结果对比图，其中白色“+”为传统方法的跟踪结果，白色“x”为本发明方法的跟踪结果，显然白色“x”比白色“+”更靠近目标中心，说明本发明方法还是比传统方法更稳定。两种方法的耗时情况如图9所示，其中实线表示本发明方法，虚线表示传统方法，本发明方法的平均耗时为0.0199秒，而传统方法的耗时为0.1261秒，是本发明方法耗时量的6.3367倍。因此，本发明方法比传统方法快，而且当搜索范围增大时，速度提升更有优势。

Claims (5)

1.一种快速稳定的对比度跟踪方法，其特征在于，步骤如下：

第一步、提取视频图像的波门图像；

第二步、对波门图像I生成积分图像G；

第三步、利用积分图像G获得波门图像I中所有对比度最强的子窗口中心坐标信息，利用所子窗口中心坐标信息获取跟踪目标的位置。

2.根据权利要求1所述的快速稳定的对比度跟踪方法，其特征在于，第一步中，读取一帧视频图像，提取以该图像中心为中心、波门大小为h×w的图像块I作为波门图像，然后对波门图像I做平滑处理，其中，h和w分别表示波门的高和宽。

3.根据权利要求1所述的快速稳定的对比度跟踪方法，其特征在于，第二步中，生成积分图像G的过程为：

2.1对波门图像I中的每一列像素的灰度值累加得到中间结果Temp，其计算方式如公式(1)所示，

$\mathrm{Temp}(y,x)=\left\{\begin{array}{cc}I(1,x)& y=1;x=1,...w\\ \mathrm{Temp}(y-1,x)+I(y,x)& y=2,...,h;x=1,...w\end{array}\right.---\left(1\right)$

公式(1)中，(y,x)为像素坐标值，y表示行坐标，x表示列坐标；

2.2对中间结果Temp中的每一行像素的值累加得到最终的积分图像G，其计算方式如公式(2)所示，

$G(y,x)=\left\{\begin{array}{cc}\mathrm{Temp}(y,1)& x=1;y=1,...,h\\ G(y,x-1)+\mathrm{Temp}(y,x)& x=2,...,w;y=1,...,h\end{array}\right.---\left(2\right).$

4.根据权利要求1所述的快速稳定的对比度跟踪方法，其特征在于，第三步具体过程为：

3.1设子窗口大小为n×m，且1＜n＜h,1＜m＜w；

3.2，从上往下，从左到右，共有(h-n+1)×(w-m+1)个子窗口，利用积分图像G和查表法获得波门图像I中(h-n+1)×(w-m+1)个子窗口的各个子窗口内所有像素的灰度值之和，用所述(h-n+1)×(w-m+1)个灰度值之和组成大小为(h-n+1)×(w-m+1)的矩阵A；

3.3当跟踪目标为白目标时，搜索矩阵A中的最大值，并记录所有具有最大值的子窗口的个数k和所述k个子窗口的中心坐标(y_i,x_i),i＝1,...,k，然后求取所述k个中心坐标的平均值，对平均值取整获得跟踪目标的位置(y_end,x_end)；当跟踪目标为黑目标时，记录所有具有最小值的子窗口个数k和所述k个子窗口中心坐标信息(y_i,x_i),i＝1,...,k，然后求取所述k个中心坐标的平均值，并对平均值取整获得跟踪目标的位置(y_end,x_end)。

5.根据权利要求4所述的快速稳定的对比度跟踪方法，其特征在于，所述子窗口内所有像素的灰度之和的计算方式如公式(3)所示，

sum(y₁,x₁；y₂,x₂)＝G(y₂,x₂)+G(y₁-1,x₁-1)-G(y₂,x₁-1)-G(y₁-1,x₂)(3)

公式(3)中，对于波门图像I中的任一子窗口R(y₁,x₁；y₂,x₂)，(y₁,x₁)代表子窗口的左上角像素点，(y₂,x₂)代表子窗口的右下角像素点。