CN101408984B - 一种协同运动目标检测方法 - Google Patents

Abstract

本发明公开了一种协同运动目标检测方法，首先进行图像配准，再将可见光图像中检测出的干扰目标排除，分别计算可见光序列和红外序列的信息向量，并通过两个信息向量计算协同驾驶向量，当协同驾驶向量满足协同终止准则，则显示输出检测结果；不满足协同终止准则，则根据协同驾驶向量判断执行红外虚警响应函数、可见光虚警响应函数、目标轮廓精确提取函数或迭代协同响应函数，直至协同驾驶向量满足协同终止准则，显示输出检测结果。由于采用多元图像的协同运动目标检测，用协同驾驶向量度量多元信息之间的差异，对各元检测结果进行修正，使目标平均检测率由现有技术的97.64％提高到99.3％。

Description

一种协同运动目标检测方法

技术领域

本发明涉及一种协同目标检测方法，特别是协同运动目标检测方法。

背景技术

文献“Fusion of color and infrared video for moving human detection，Pattern Recognition，Vol.40(6)，2007，p1771-1784”公开了一种基于特征级融合的运动目标检测方法。该方法首先分别对红外和可见光序列采用背景差，获得人体目标的初始轮廓，然后分别计算红外图像和可见光图像中目标轮廓的中心作为红外和可见光图像配准的对应角点，这样实现了图像的自动配准。最后对已配准的红外和可见光图像，利用基于像素级的融合概率检测策略(probabilistic strategies)提取精确的目标轮廓。该方法在融合阶段对各个元图像的检测结果进行了可信性度量，通过可信性度量对不同传感器处理结果进行固定阈值分割，获得前景概率。这种方法的的不足之处是对前景概率进行固定阈值分割，阈值过高或过低都会影响检测结果，使得检测结果目标比实际目标大或者目标被分碎。另外该方法只是简单利用不同元图像信息的联合，并不能充分利用各图象元信息之间的互补、辅助关系，不能充分利用多元优势，因此检测结果并不理想，目标平均检测率只有97.64％。

发明内容

为了克服现有技术目标平均检测率低的不足，本发明提供一种协同运动目标检测方法，采用多元图像的协同运动目标进行检测，在光照敏感、遮挡、阴影、目标运动状态发生变化的基础上，可以提高目标的平均检测率。

本发明解决其技术问题所采用的技术方案：一种协同运动目标检测方法，其特征在于包括下述步骤：

(a)首先使用模板匹配法完成特征点之间的匹配，然后利用特征点估计图像之间的变换参数，并选取最优的一组作为最终变换参数进行图像配准；

(b)对可见光图像序列采用多层背景差算法将场景中相对背景运动的目标检测出来，使用分层红外目标检测算法检测出热目标，将可见光图像中检测出的干扰目标排除；

(c)根据步骤(b)检测结果，分别计算可见光序列和红外序列的信息向量，并通过两个信息向量计算协同驾驶向量；

全局信息向量针对每一帧的检测结果，局部信息向量针对每一个检测出来的目标，按照式(1)进行计算；

GIV＝<ObjNum>        (1)

LIV＝<ObjCentroid ObjArea ObjBksimlty>

ObjBksimlty＝<AerObjGray AverBkGray>

全局协同驾驶向量仅包括目标总数之比<ObjNumFactor>，按照式(2)进行计算；

GCDV＝<ObjNumFactor>               (2)

ObjNumFactor＝ObjNum_IR/ObjNum_svn

局部协同驾驶向量包括质心距离、面积因子、目标背景相似度因子、关联目标数因子，计算公式见式(3)；

LCDV＝<ObjCentdD ObjAreaFator ObjBksimltyFacotr AssociatedNumFactor>     (3)

$\mathrm{ObjCentdD}=\sqrt{{(x_{\mathrm{IR}}-x_{\mathrm{VSN}})}^2-{(y_{\mathrm{IR}}-y_{\mathrm{VSN}})}^2}$

$\mathrm{ObjAreaFator}=O{\mathrm{bjArea}}_{\mathrm{IR}}/\mathrm{ObjAre}{a}_{\mathrm{VSN}}$

ObjBksimltyFacotr＝ObjBksimlty_IR/bjBksimlty_VSN

AssociateNumFactor＝AssociatedNum_IR/AssociatedNum_VSN

式中，AssociatedNum表示与当前目标关联匹配的目标数目，AssociatedObjs表示匹配目标链，目标匹配用目标质心之间的距离进行度量；

(d)当协同驾驶向量满足协同终止准则，则显示输出检测结果；

(e)当协同驾驶向量不满足协同终止准则，则根据协同驾驶向量判断执行红外虚警响应函数、可见光虚警响应函数、目标轮廓精确提取函数或迭代协同响应函数，转步骤(c)重复进行，直至协同驾驶向量满足协同终止准则，显示输出检测结果；所述红外虚警响应函数是judgeIRFalseAlarm()，所述可见光虚警响应函数是judgeVSNFalseAlarm()，所述目标轮廓精确提取函数是refineObjContour()，所述迭代协同响应函数是DicideObjNum()。

本发明的有益效果是：由于采用多元图像的协同运动目标进行检测，用协同驾驶向量度量多元信息之间的差异，对各元检测结果进行修正，修正各元进一步的检测策略，调整其参数，如此反复进行差异度量和检测，直至差异趋近于零，即完成了整个协同检测过程。这种协同机制充分利用了多元信息，对各个元进行协同，通过反复迭代修正最终得到各元一致的目标检测结果，解决光照敏感、遮挡、阴影、目标运动状态发生变化等问题，使目标平均检测率由现有技术的97.64％提高到99.3％。

下面结合附图和实施例对本发明作详细说明。

附图说明

附图是本发明协同运动目标检测方法流程图。

具体实施方式

参照附图。本发明方法主要步骤如下：

(1)图像配准，首先使用模板匹配法完成特征点之间的匹配，然后利用特征点估计图像之间的变换参数，并选取最优的一组作为最终变换参数，排除了匹配不准确的特征点对。

(2)第一次数据处理，对可见光图像序列采用多层背景差算法将场景中相对背景运动的目标检测出来，使用分层红外目标检测算法检测出热目标，将可见光图像中检测出的干扰目标排除。

(3)计算协同驾驶向量，根据检测结果，分别计算可见光序列和红外序列的信息向量，并通过两个信息向量计算协同驾驶向量。

(4)协同机制，如果协同驾驶向量满足协同终止准则，就结束协同过程转步骤(6)，否则，将协同驾驶向量输入协同驾驶向量响应函数，转步骤(5)。

(5)协同驾驶向量响应函数响应，根据协同驾驶向量判断执行红外虚警响应函数、可见光虚警响应函数、目标轮廓精确提取函数或迭代协同响应函数，函数响应控制进一步是否进行进一步精确检测还是结果输出等处理，并转步骤(3)。

(6)显示输出检测结果。

下面对协同检测关键步骤进行详细说明：

计算协同驾驶向量。

在协同检测中，全局信息向量针对每一帧的检测结果，目前仅包括目标总数目，局部信息向量针对每一个检测出来的目标，包括目标质心、目标面积、目标背景相似度三个分量，按照式(1)进行计算。

GIV＝<ObjNum>                                (1)

LIV＝<ObjCentroid ObjArea ObjBksimlty>

ObjBksimlty＝<AerObjGray AverBkGray>

全局协同驾驶向量仅包括目标总数之比<ObjNumFactor>，按照式(2)进行计算。

GCDV＝<ObjNumFactor>                           式(2)

ObjNumFactor＝ObjNum_IR/ObjNum_vsn

局部协同驾驶向量包括质心距离、面积因子、目标背景相似度因子、关联目标数因子，计算公式见式(3)。

LCDV＝<ObjCentdD ObjAreaFator ObjBksimltyFacotr AssociatedNumFactor>    式(3)

$\mathrm{ObjCentdD}=\sqrt{{(x_{\mathrm{IR}}-x_{\mathrm{VSN}})}^2-{(y_{\mathrm{IR}}-y_{\mathrm{VSN}})}^2}$

ObjAreaFator＝ObjArea_IR/ObjArea_VSN

ObjBksimltyFacotr＝ObjBksimlty_IR/ObjBksimlty_VSN

AssociateNumFactor＝AssociateNum_IR/AssociateNum_VSN

其中，AssociatedNum表示与当前目标关联匹配的目标数目，AssociatedObjs表示匹配目标链，这里目标匹配用目标质心之间的距离进行度量。

协同驾驶向量响应函数。

针对局部协同驾驶向量，并结合具体情况，设计了与之适应的协同驾驶向量响应函数，如式(4)。

式(4)

红外虚警响应函数judgeIRFalseAlarm()，当局部协同驾驶向量满足当前红外目标的匹配目标数量为0时，通过计算可见光图像中该虚拟目标区域与背景的相似度，并与红外图像中的相似度进行比较，用比较结果判定是否为红外图像发生虚警，如果是，则将红外图像中虚假目标剔除；否则把红外检测结果作为输出。

可见光虚警响应函数judgeVSNFalseAlarm()，当局部协同驾驶向量满足当前可见光目标的匹配目标数量为0时，通过计算红外图像中该虚拟目标区域与背景的相似度，并与可见光图像中的相似度进行比较，用比较结果判定是否为可见光图像发生虚警，如果是，则将可见光图像中虚警目标剔除；否则把可见光检测结果作为输出。

目标轮廓精确提取函数refineObjContour()，当局部协同驾驶向量满足当前红外目标与可见光目标一一对应时，通过自适应阈值分割对当前目标区域所在的矩形框进行处理，提取精确的目标区域，最后输出。

迭代协同响应函数DicideObjNum()，当局部协同驾驶向量满足当前目标的匹配目标数量大于1时，将与该目标匹配的多个目标区域进行合并重新检测，利用检测结果更新局部协同驾驶向量，进行新一轮的协同检测过程。

协同过程终止条件。

协同终止准则是协同终止过程的决策策略。顾名思义，“协同”就是双方或多方经过协商达到一致的正确结论，所以协同过程终止的理想状态是达到了协同信息处理的近稳态，这种状态下各元信息处理结果一致，新一轮协同只能得到相同或相近的结论，因此没有必要进行进一步处理，即结束协同过程。

在协同检测中，当不同元之间的目标匹配关系正确时，也即当匹配目标数目和面积因子不再发生变化时，即说明各元检测结果相对一致并进入稳态，结束协同过程。

下表是采用本发明检测方法进行多次检测的检测率以及平均检测率。

1	2	3	4	5	6	7	8	平均检测率
									0.989	0.998	0.993	0.992	0.995	0.991	0.990	0.996	0.993

Claims (1)

1.一种协同运动目标检测方法，其特征在于包括下述步骤：

(a)首先使用模板匹配法完成特征点之间的匹配，然后利用特征点估计图像之间的变换参数，并选取最优的一组作为最终变换参数进行图像配准；

(b)对可见光图像序列采用多层背景差算法将场景中相对背景运动的目标检测出来，使用分层红外目标检测算法检测出热目标，将可见光图像中检测出的干扰目标排除；

(c)根据步骤(b)检测结果，分别计算可见光序列和红外序列的信息向量，并通过两个信息向量计算协同驾驶向量；

全局信息向量针对每一帧的检测结果，局部信息向量针对每一个检测出来的目标，按照式(1)进行计算；

GIV＝<ObjNum>    (1)

LIV＝<ObjCentroid ObjArea ObjBksimlty>

ObjBksimlty＝<AerObjGray AverBkGray>

全局协同驾驶向量仅包括目标总数之比<ObjNumFactor>，按照式(2)进行计算；

GCDV＝<ObjNumFactor>    (2)

ObjNumFactor＝ObjNum_IR/ObjNum_vsn

局部协同驾驶向量包括质心距离、面积因子、目标背景相似度因子、关联目标数因子，计算公式见式(3)；

LCDV＝<ObjCentdD ObjAreaFator ObjBksimltyFa cotrAssociatedNumFactor>(3)

$\mathrm{ObjCentdD}=\sqrt{{(x_{\mathrm{IR}}-x_{\mathrm{VSN}})}^2-{(y_{\mathrm{IR}}-y_{\mathrm{VSN}})}^2}$

$\mathrm{ObjAreaFator}={\mathrm{ObjArea}}_{\mathrm{IR}}/\stackrel{20}{{\mathrm{ObjArea}}_{\mathrm{VSN}}}$

ObjBksimltyFacotr＝ObjBksimlty_IR/ObjBksimlty_VSN

AssociateNumFactor＝AssociatedNum_IR/AssociatedNum_VSN

式中，AssociatedNum表示与当前目标关联匹配的目标数目，AssociatedObjs表示匹配目标链，目标匹配用目标质心之间的距离进行度量；

(d)当协同驾驶向量满足协同终止准则，则显示输出检测结果；

(e)当协同驾驶向量不满足协同终止准则，则根据协同驾驶向量判断执行红外虚警响应函数、可见光虚警响应函数、目标轮廓精确提取函数或迭代协同响应函数，转步骤(c)重复进行，直至协同驾驶向量满足协同终止准则，显示输出检测结果；所述红外虚警响应函数是judgeIRFalseAlarm()，所述可见光虚警响应函数是judgeVSNFalseAlarm()，所述目标轮廓精确提取函数是refineObjContour()，所述迭代协同响应函数是DicideObjNum()。

Images