CN103402074A - 一种电视图像运动目标识别装置 - Google Patents

Abstract

本发明实施例公开了一种电视图像运动目标识别装置，该装置包括：图像处理模块、图像传感器、图像监视器、伺服机构；其中，图像传感器用于对目标景物进行扫描并产生电视信号，将电视信号进行采集而形成数字图像，并发送给图像处理模块；图像处理模块用于根据数字图像计算出运动目标在视场内的瞬时位置，并形成相应的位置偏差调整信号量，将位置偏差调整信号量发送给伺服机构；伺服机构用于根据位置偏差调整信号量调整摄像机的空间位置和角度；图像监视器用于监视图像处理模块的处理结果及摄像机的调整结果。在本发明实施例中，不仅可以有效滤除噪声、完整而准确地提取出运动目标，而且能够提高算法的运算速度，实现初始目标模板的准确提取。

Description

一种电视图像运动目标识别装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种电视图像运动目标识别装置。

背景技术

电视跟踪系统通过摄像机将空中运动目标转换成图像序列，并采用一系列图像处理算法实现对目标的实时提取与跟踪。电视跟踪系统是一个涉及到数字图像处理、模式识别、人工智能、自适应控制等诸多领域的综合系统，其跟踪精度、实时性、可靠性、抗复杂背景工作能力、智能化程度都有很高的要求。在电视跟踪系统中，跟踪效果的好坏很大程度上取决于初始模板的选择，这不仅关系到是否能够精确定位目标，而且影响到整个系统的运算效率。由于电视跟踪系统在自动作业的情况下，目标的提取完全依赖于算法，因此，能否在背景和目标信息未知的情况下快速而准确地提取出运动目标关系到整个跟踪过程的成败。

基于模型的自动目标识别方法（ModelBased，MB）的方法首先是将复杂的目标识别的样本空间模型化，这些模型提供了一种描述样本空间各种重要变化特性的简便途径。一个MB系统的最终目标是匹配实际的特性和预测后面的特性，若标记准确，匹配过程则会成功和有效。

基于多传感器信息融合（Multi-sensor Information Fusion Based，MIFB）的自动目标识别（Automatic Target Recognition，ATR）方法将每个传感器采集的数据馈入各自的信号处理机，先分别进行目标检测，得出有无目标的判决以及目标的位置信息或运动轨迹，然后将这些信息送入数据融合单元，对目标位置或运动轨迹进行关联后再做进一步的判决。

基于人工神经网络和专家系统的自动目标识别方法是以逻辑推理为基础，模拟人类思维的人工智能方法。人工神经网络（Artificial Neural Network，ANN）是以神经元连接结构为基础，通过模拟人脑结构来模拟人类形象思维的一种非逻辑、非语言的人工智能方法。二者混合使用的结构形式有并接结构、串接结构和嵌入结构三种。

在运动目标检测和跟踪方面存在的困难很大程度上是由于实际环境中目标运动的复杂性以及视频数据所具有的特殊性、复杂性造成的。比如由于现场光线亮度的变化使得背景图像也随之发生变化，从而很难将这些变化与图像中由于前景目标的引入导致的变化加以区分；运动的前景目标的阴影部分可能会造成背景中局部画面亮度变化，另外运动的目标之间，以及运动的目标与背景之间的重叠遮盖，都可能会改变检测出来的运动目标的形状和其它特征；当运动的前景目标与背景中的景物在颜色和形状等外观特征方面相似时，将增大从背景中分辨出前景目标的难度；背景不完全静态等。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种电视图像运动目标识别装置，实现初始目标模板的准确提取。

为了解决上述问题，本发明提出了一种电视图像运动目标识别装置，所述装置包括：图像处理模块、图像传感器、图像监视器、伺服机构；其中，

所述图像传感器用于对目标景物进行扫描并产生电视信号，将所述电视信号进行采集而形成数字图像，并将所述数字图像发送给所述图像处理模块；

所述图像处理模块用于接收发自所述图像传感器的数字图像，根据所述数字图像计算出运动目标在视场内的瞬时位置，并形成相应的位置偏差调整信号量，将所述位置偏差调整信号量发送给所述伺服机构；

所述伺服机构用于根据所述位置偏差调整信号量调整摄像机的空间位置和角度；

所述图像监视器用于监视所述图像处理模块的处理结果及摄像机的调整结果。

优选地，所述图像处理模块包括：

目标自动识别模块，用于根据所述数字图像计算出运动目标在视场内的瞬时位置；

跟踪处理器，用于根据运动目标在视场内的瞬时位置形成相应的位置偏差调整信号量，并将所述位置偏差调整信号量发送给所述伺服机构。

优选地，所述图像处理模块还用于对发自所述图像传感器的数字图像进行二级精度的目标提取。

优选地，所述二级精度的目标提取包括粗提取和精提取。

优选地，所述图像处理模块用于进行目标的粗提取方式包括：通过二次帧差法快速提取目标；并通过投影法初步确定目标区域。

优选地，所述图像处理模块用于进行目标的精提取方式包括：基于四分图像双波门法目标进行精确提取；利用相邻帧比较法进行背景噪声移除。

优选地，所述通过二次帧差法快速提取目标的过程包括：

设I_k-1(x,y)，I_k(x,y)和I_k+1(x,y)分别表示三帧连续图像，b_k-1,k(x,y)和b_k,k+1(x,y)分别表示相邻两帧图像差分后的二值图像，其计算方法为：

其中，

T_V为设定的阈值，

为参加计算的两幅图像灰度的累计绝对误差均值；

对差分图像b_k-1,k(x,y)和b_k,k+1(x,y)取逻辑“与”运算，得到二次帧差图像

计算公式为

其中，W为中值滤波的窗口函数。

优选地，所述基于四分图像双波门法目标进行精确提取的过程包括：

以预测目标点为中心，在其周围通过四分图像的双波门法提取拟目标区域；

以目标为依据，与各个可能目标的连通域进行特征匹配，获得最佳匹配区域视为目标区域，匹配公式为：D(n)＝KX^T(n)，其中，

n代表连通区域编号；在各个连通区域与目标模板之间，ΔG代表灰度均值偏差，ΔS代表面积偏差，Δθ代表区域长宽比偏差；

代表连通区域的形心与预测中心的距离；K＝[k_c,k_s,k_θ,k_d]为各特征系数。

优选地，当D(n)小于设定值时，认为匹配成功，否则认为失败；若匹配成功，将新的目标区域作为下一帧的目标实现后续跟踪；若匹配失败，则认为有遮挡产生，将预测值作为目标值，保留原有模板，直到目标再一次出现。

在本发明实施例中，采用粗提取与精提取相结合的二级精度的目标提取方法，不仅可以有效滤除噪声、完整而准确地提取出运动目标，而且能够提高算法的运算速度，实现初始目标模板的准确提取；同时能够满足电视跟踪系统的实时性要求，并且能够随时间变化自适应更新模板特征，跟踪效果良好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的电视图像运动目标识别装置的结构组成示意图。

图2是本发明实施例的二级精度目标提取过程的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的电视图像运动目标识别装置的结构组成示意图，如图1所示，该装置包括：图像处理模块1、图像传感器2、图像监视器3、伺服机构4；其中，

图像传感器2用于对目标景物进行扫描并产生电视信号，将电视信号进行采集而形成数字图像，并将数字图像发送给图像处理模块1；

图像处理模块1用于接收发自图像传感器2的数字图像，根据数字图像计算出运动目标在视场内的瞬时位置，并形成相应的位置偏差调整信号量，将位置偏差调整信号量发送给伺服机构4；

伺服机构4用于根据位置偏差调整信号量调整摄像机的空间位置和角度；

图像监视器3用于监视图像处理模块1的处理结果及摄像机的调整结果。

其中，图像处理模块1包括：

目标自动识别模块10，用于根据数字图像计算出运动目标在视场内的瞬时位置；

跟踪处理器11，用于根据运动目标在视场内的瞬时位置形成相应的位置偏差调整信号量，并将位置偏差调整信号量发送给伺服机构4。

具体实施中，图像处理模块1还用于对发自图像传感器2的数字图像进行二级精度的目标提取。

在本发明实施例中，图像传感器2通过对目标景物进行扫描产生电视信号，电视信号经采集形成数字图像，由图像处理模块1处理，不断地计算出运动目标在视场内的瞬时位置，并形成相应的位置偏差调整信号量，传给伺服机构4，伺服机构4根据这些信号量调整摄像机的空间位置和角度，使得目标始终位于视场中心，从而实现对目标的自动跟踪，必要的时候，可以进行人工干预。

具体实施中，二级精度的目标提取包括粗提取和精提取。

其中，图像处理模块用于进行目标的粗提取方式包括：通过二次帧差法快速提取目标，并通过投影法初步确定目标区域；图像处理模块用于进行目标的精提取方式包括：基于四分图像双波门法目标进行精确提取，利用相邻帧比较法进行背景噪声移除。

下面结合图2对本发明的二级精度目标提取过程进行详细描述。

由于电视跟踪系统在未开启伺服状态的情况下，摄像机相对静止，因此镜头内的背景不变或只有缓慢的变化，可利用帧间差分的方法对运动目标进行粗提取。由于相邻两帧图像的灰度、纹理等信息比较接近，通常只能得到两帧图像中物体相对运动区域的轮廓，无法获取目标位置的准确信息，且对于外界干扰十分敏感，因此本发明采用改进的帧间差分法——二次帧差法提取目标。二次帧差安抚就是由三帧连续图像的差值得到中间帧运动目标的轮廓，这种方法能够去除因为运动而显露的背景的影响，从而能的较为准确的目标轮廓。二次帧差法的具体计算过程如下：

设I_k-1(x,y)，I_k(x,y)和I_k+1(x,y)分别表示三帧连续图像，b_k-1,k(x,y)和b_k,k+1(x,y)分别表示相邻两帧图像差分后的二值图像，其计算方法为：

其中，

T_V为设定的阈值，

为参加计算的两幅图像灰度的累计绝对误差均值，可以根据图像灰度的整体变化对阈值进行自适应调制。

然后对差分图像b_k-1,k(x,y)和b_k,k+1(x,y)取逻辑“与”运算，得到二次帧差图像

计算公式为：

其中，W为中值滤波的窗口函数。

通过二次帧差法检测出来的仍然是目标的一个轮廓，且由于室外环境的微小变化，如风吹过树叶的抖动、云朵的飘动、光线的瞬间变化等，可能使检测出来的目标轮廓存在噪声干扰，大于实际目标轮廓，这不仅使提取的目标位置准确性减低，也为后续对目标的精确提取增加了不必要的计算量。为了解决这一问题，引入投影法对差分图像进行滤波，并确定其边界。投影法算法简单，计算量小，并且对图像连通性要求不高，即使目标轮廓不连通也不会影响提取结果，因此是一种简单而有效的方法。该方法是将二值图像分别向x和y轴方向投影（例如向x轴方向投影，即将图像中每一列中不为零的像素相加），并通过设定阈值保留非零像素密度大的一段连续区域，从而确定上下边界(x_up,x_down)和左右边界(y_left,y_right)，得到运动目标所在区域。

投影法虽然可以有效排除干扰，但它是以牺牲被提取目标的有效面积为代价的，因此利用该方法只能对目标所在区域进行粗略提取，无法实现精确而有效的分割。若想获得目标的精确模板，必须对已提取的目标区域进行进一步的加工，本发明提出了利用四分图像的双波门方法对目标进行完整分割。

双波门目标提取方法是通过设置内外重波门分割运动目标的方法，根据目标与背景处于不同的灰度集合这一条件，设置了两个完全包含运动目标的波门，内波门在外波门之中，内波门所包围的区域图像具有目标和其近旁背景的全部信息，波门的中心为目标的预测位置，内、外波门之间的区域只包含目标近旁的背景，用来提取目标近旁背景的灰度分布。

G_T，G_I和G_M分别表示目标、内波门和内外波门之间的灰度集合，方法基于以下三条假设：

$\left(3\right){\stackrel{\‾}{G}}_T\∩G_I\⋐G_M$

其中，

为目标图像占有的灰度集合G_T的补集，

为内外波门之间的图像占有的灰度集合G_M的补集，这表明内波门包含目标图像的所有灰度集合以及目标附件背景的灰度集合，并且内波门中背景的灰度集合完全包含在内外波门之间的灰度集合中，据此可以利用

和G_I相交将目标从内波门中提取出来。

考虑到跑出内波门的目标局部或与目标相似的干扰背景主要聚集在内外波门间的某个小范围区域，且整个目标灰度分布较为均匀，因此可以将内外波门的中心作为分界点，使内波门与外波门分布分割成互不相见的四部分，令相互重叠的内外波门区域重新构成四组双波门计算区域，这样，至少有一组区域满足双波门算法的前提，分布对上述四组区域进行计算，综合计算结果，即可提取出完整的目标集合。具体算法如下：

M＝{M₁,M₂,M₃,M₄}；

I＝{I₁,I₂,I₃,I₄}；

其中，内波门内所有像素点的集合为I；内、外波门之间所有像素点的集合为M；阈值Δ＝aver(G_M)+α×(G_I(min)-aver(G_M))用来去除目标灰度集合的补集

与内波门中所有像素点的灰度集合G_I的交集不能完全包含于G_M中时所引入的噪声；aver(G_M)表示内外波门间像素集合的灰度均值；G_I(min)表示内波门灰度集合的最小值，本发明可用粗提取时得到的区域灰度集合的最小值代替，认为该值即为目标上某点的灰度值；α为调节因子。由上述计算公式可以看出，虽然改进算法需要进行四次双波门运算，但由于每次运算的像素数仅为原计算区域的四分之一，不改变计算复杂度，对运算速度几乎无影响。

采用四分图像的双波门法提取出的目标中不可避免地含有一些噪声，虽然可以通过中值滤波等方法去除小面积的孤立噪声点，但对于灰度和面积均与目标想死你的大块背景噪声而言，仅通过单帧图像将其移除相对困难，因此提出相邻帧比较法移除静止或运动速度较目标缓慢的背景噪声。用O(i＝1,...,n,i≥1)表示第k帧图像中由上述四分法提取出的n个拟目标区域，计算这些区域与上一帧图像对应区域的累计绝对误差值，认为最大值为目标区域，可以由下式表示：

$T\arg \mathrm{et}=\underset{i=1,...,n,i\≥1}{\max }\underset{(x,y)\∈T_i}{\mathrm{\Σ}}|O_{i,k}(x,y)-O_{i,k-1}(x,y)|;$

由于目标字体变化、噪声、遮挡等现象的存在，应选择合适的目标特征更新策略以便获得最佳的跟踪效果。本发明根据跟踪预测算法计算得到的预测点为中心，在其周围一定范围内进行双波门目标提取，对提取到的多个拟目标区域进行特征匹配，获得最佳跟踪点，同时更新目标特征目标。

具体过程如下：

以预测目标点为中心，在其周围通过四分图像的双波门法提取拟目标区域；

以目标为依据，与各个可能目标的连通域进行特征匹配，获得最佳匹配区域视为目标区域，匹配公式为：D(n)＝KX^T(n)；其中，

n代表连通区域编号；在各个连通区域与目标模板之间，ΔG代表灰度均值偏差，ΔS代表面积偏差，Δθ代表区域长宽比偏差；

代表连通区域的形心与预测中心的距离。K＝[k_c,k_s,k_θ,k_d]为各特征系数。当D(n)足够小时（小于设定值），认为匹配成功，否则认为失败；若匹配成功，将新的目标区域作为下一帧的目标实现后续跟踪；若匹配失败，则认为有遮挡产生，将预测值作为目标值，保留原有模板，直到目标再一次出现。

在本发明实施例中，采用粗提取与精提取相结合的二级精度的目标提取方法，不仅可以有效滤除噪声、完整而准确地提取出运动目标，而且能够提高算法的运算速度，实现初始目标模板的准确提取；同时能够满足电视跟踪系统的实时性要求，并且能够随时间变化自适应更新模板特征，跟踪效果良好。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁盘或光盘等。

另外，以上对本发明实施例所提供的电视图像运动目标识别装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种电视图像运动目标识别装置，其特征在于，所述装置包括：图像处理模块、图像传感器、图像监视器、伺服机构；其中，

所述图像传感器用于对目标景物进行扫描并产生电视信号，将所述电视信号进行采集而形成数字图像，并将所述数字图像发送给所述图像处理模块；

所述图像处理模块用于接收发自所述图像传感器的数字图像，根据所述数字图像计算出运动目标在视场内的瞬时位置，并形成相应的位置偏差调整信号量，将所述位置偏差调整信号量发送给所述伺服机构；

所述伺服机构用于根据所述位置偏差调整信号量调整摄像机的空间位置和角度；

所述图像监视器用于监视所述图像处理模块的处理结果及摄像机的调整结果。

2.如权利要求1所述的电视图像运动目标识别装置，其特征在于，所述图像处理模块包括：

目标自动识别模块，用于根据所述数字图像计算出运动目标在视场内的瞬时位置；

跟踪处理器，用于根据运动目标在视场内的瞬时位置形成相应的位置偏差调整信号量，并将所述位置偏差调整信号量发送给所述伺服机构。

3.如权利要求1或2所述的电视图像运动目标识别装置，其特征在于，所述图像处理模块还用于对发自所述图像传感器的数字图像进行二级精度的目标提取。

4.如权利要求3所述的电视图像运动目标识别装置，其特征在于，所述二级精度的目标提取包括粗提取和精提取。

5.如权利要求4所述的电视图像运动目标识别装置，其特征在于，所述图像处理模块用于进行目标的粗提取方式包括：通过二次帧差法快速提取目标；并通过投影法初步确定目标区域。

6.如权利要求4所述的电视图像运动目标识别装置，其特征在于，所述图像处理模块用于进行目标的精提取方式包括：基于四分图像双波门法目标进行精确提取；利用相邻帧比较法进行背景噪声移除。

7.如权利要求5所述的电视图像运动目标识别装置，其特征在于，所述通过二次帧差法快速提取目标的过程包括：

设I_k-1(x,y)，I_k(x,y)和I_k+1(x,y)分别表示三帧连续图像，b_k-1,k(x,y)和b_k,k+1(x,y)分别表示相邻两帧图像差分后的二值图像，其计算方法为：

其中， $T=T_V+\frac{1}{N}\mathrm{\Σ}|I_f-I_{f-1}|,$ T_V为设定的阈值， $\frac{1}{N}\mathrm{\Σ}|I_f-I_{f-1}|$ 为参加计算的两幅图像灰度的累计绝对误差均值；

对差分图像b_k-1,k(x,y)和b_k,k+1(x,y)取逻辑“与”运算，得到二次帧差图像

计算公式为

其中，W为中值滤波的窗口函数。

8.如权利要求6所述的电视图像运动目标识别装置，其特征在于，所述基于四分图像双波门法目标进行精确提取的过程包括：

以预测目标点为中心，在其周围通过四分图像的双波门法提取拟目标区域；

以目标为依据，与各个可能目标的连通域进行特征匹配，获得最佳匹配区域视为目标区域，匹配公式为：D(n)＝KX^T(n)，其中，

n代表连通区域编号；在各个连通区域与目标模板之间，ΔG代表灰度均值偏差，ΔS代表面积偏差，Δθ代表区域长宽比偏差；代表连通区域的形心与预测中心的距离；K＝[k_c,k_s,k_θ,k_d]为各特征系数。

9.如权利要求7所述的电视图像运动目标识别装置，其特征在于，当D(n)小于设定值时，认为匹配成功，否则认为失败；若匹配成功，将新的目标区域作为下一帧的目标实现后续跟踪；若匹配失败，则认为有遮挡产生，将预测值作为目标值，保留原有模板，直到目标再一次出现。

Images