CN109389609B - 基于fart神经网络的交互自反馈红外目标检测方法 - Google Patents

Abstract

本发明提出了一种基于FART神经网络的交互自反馈红外目标检测方法，主要解决现有检测算法在红外图像背景灰度分布存在较大起伏时，目标检测效率低的问题。其实现方案是：1、利用红外热像仪拍摄红外背景下的单帧图像；2、对单帧图像进行背景抑制；3、对背景抑制后的图像进行阈值分割，得到二值分割图像；4、对二值分割图像进行窗口扫描，得到灰度值为1的点密集区域；5、将点密集区域内灰度值为1的点作为训练样本，并用FART神经网络训练；6、将训练结果反馈回红外单帧图像，并与二值分割图像进行交互匹配，检测出红外目标。本发明具有良好的反馈机制与硬件可移植性，可用于搭载无人机或民用安防的多种红外目标检测。

Description

基于FART神经网络的交互自反馈红外目标检测方法

技术领域

本发明属于目标检测领域，特别涉及一种红外目标检测方法，可用于安全防范。

背景技术

红外目标检测通常采用红外热像仪结合信号处理技术，对一定范围内的目标进行检测，即在一定的空间场景内，采用信号处理的方式检索未知目标的实际空域存在位置。

目前红外目标检测算法可以分为两个大类：一类是基于单帧图像检测算法，第二类是基于序列图像的检测算法，其中：

基于单帧图像检测算法，其单帧图像的检测过程是对由传感器获得的图像进行背景滤波，消除噪声并设定固定或者自适应阈值，将超过阈值的每帧图像的像素作为目标的量测值，即将目标通过检测算法从背景中分割出来。但这种方法对于复杂图像或者图像中噪声严重的情况往往会出现分割错误，当图像中存在弱小目标时，其较低的信噪比会使目标提取存在一定的难度。

基于序列图像的检测算法，是基于序列图像的变化特征，将运动目标或者图像的颜色、纹理、边界等特征，在视频序列中将待测目标从背景图像中分离出来，再采用相关的技术对目标图像的位置进行标定和框出，即追踪运动目标在一段时间内的轨迹变化。然而在这种动态场景中，由于目标图像运动分割的准确性会受到多方面的影响，例如天气、光照、遮挡等，因此，图像的序列分析依然存在一定的技术难点。

一般而言，由于实际场景中存在复杂的背景，如天空、海洋、地面森林、建筑物等，即存在大量背景噪声，从而使得整个背景的辐射强度较高，甚至高于要检测的目标辐射强度。因此不能简单的使用图像分割分离出目标，因此需要采用背景抑制技术对图像进行预处理操作，抑制复杂背景和杂波干扰并保留目标信号和噪声，从而提高图像的信噪比，改善目标的检测效果。其中基于单帧图像的背景抑制是整个红外目标的自动检测算法的基础，目前对单帧图像的预处理算法很多，一般可以分为两大类：一类是空域滤波方法；另一类是频域滤波方法。

从预处理的图像中提出目标即图像分割，是将图像中的像素点划分为具有实际意义的两个或多个类别区域，从而提取出图像中的一个或者多个目标。阈值分割是预处理中较为经典且使用广泛的图像分割方法，用在工业设备缺陷检测、红外目标检测、指纹识别等多个实际应用场景。现有的阈值分割方法根据阈值的作用范围可以分为：全局阈值法和局部阈值法；根据阈值的选取准则函数类型可以分为：最大熵法、类间方差法、交叉熵法、最小误差法、模糊熵法，以及多种条件的下的不同分类方法。且由于不同的图像具备不同的噪声特点，因此，并没有一种阈值方法可以同时在所有种类的图像上取得很好的分割效果，因此，需要依据实际图像选择合适的阈值分割方法。

传统的单帧图像检测算法由于受到大气环境和温度场变化，及探测器内部噪声等多种因素影响，无法根据图像自身灰度值的分布特点进行自适应图像背景抑制及有效凸显目标。尤其在弱小目标提取方面，由于严重受到背景杂波影响，存在复杂图像中目标检测效率低下，检测方式复杂，成像效果不理想的缺点。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于FART竞争型神经网络的交互自反馈红外目标检测方法，以在背景存在较大起伏时，根据图像灰度分布特性自适应交互处理并提取出待测目标，有效提高检测效率。

为实现上述目的，本发明的技术方案包括如下：

(1)利用红外热像仪对红外背景下的目标图像进行视频采集，得到待测目标在不同区域位置的单帧图像信息；

(2)对单帧图像信息进行预处理，即采用Robinson空间滤波器技术与FART竞争型神经网络相结合的方法，对红外背景进行抑制，得到预处理后背景抑制图；

(3)采用迭代方法在预处理后的背景抑制图寻找最佳的阈值，根据阈值将图像分为前景和背景，得到二值分割图像；

(4)设图像中像素点坐标为M(i,j)，其中i∈(0,599),j∈(0,599)，将检测窗口大小设定为M(i±k,j±k),k＝3，对二值分割图像进行灰度值扫描检测，得到像素点灰度值为1的点密集区域，并将该区域内灰度值为1的像素点作为新的样本数据；

(5)利用FART神经网络对新的样本数据进行训练，得到经过自适应分类后的新的权值矩阵；

(6)将新的权值矩阵自反馈到(1)得到的单帧图像，进行窗口检测，并与二值分割图像进行交互匹配；

(6a)根据(4)得到的密集区域的坐标中值(X，Y)，在单帧图像中设定范围为(X±10,Y±10)的检测窗口，在窗口内将所有像素点与(5)得到的新权值矩阵进行匹配检测，得到窗口内各像素点的匹配值；

(6b)将匹配值反馈到(3)的二值分割图像，进行交互匹配，即在二值分割图像中划分与(6a)相同位置和尺寸的窗口，设置阈值ρ＝0.83，并对照(6a)的匹配值，在窗口内将所有匹配值大于阈值的像素点的灰度值标定为1,否则，标定为0，得到新的二值分割图像；

(6c)在新的二值分割图像中，得到灰度值为1的像素点连续区域，从而检测出红外目标。

本发明与现有技术相比，具有如下优点：

1、本发明采用目前较为流行的FART竞争型神经网络算法进行交互反馈式目标检测，避免了传统目标检测算法的适用局限性，利用FART的自适应原理，在待测目标区域提高了检测的稳定性与效率。

2、本发明提出的反馈式交互图像匹配，将单帧图像处理中的不同阶段进行交互反馈，避免了单独使用背景抑制和传统图像分割算法在目标与背景差别比例悬殊时，红外图像分割效率低，稳定性差的不足，有效提高了待测目标在红外背景下的分割效果与检测准确度。

附图说明

图1为本发明的实现流程图；

图2为本发明中的交互式自反馈检测示意图；

图3为用红外热像仪拍摄目标在不同运动状态下得到红外单帧图像；

图4为使用本发明方法对图3处理后得到的效果图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步描述。

参照图1，本发明基于FART竞争型神经网络的交互式自反馈红外目标检测方法，包括以下步骤：

步骤1，采集天空背景下的红外目标图像。

利用红外热像仪拍摄记录天空背景下的飞机目标，通过对拍摄的视频画面进行截取，获得单帧红外图像。本实例选取但不限于三张云层背景下的红外飞机图像，其中云层厚度与飞机目标位置均不同，因此可充分对比验证本实例所采用的方法的有效性。

步骤2，对红外目标图像进行预处理。

对红外目标图像进行预处理常采用单帧背景抑制算法，常见的单帧背景抑制算法有高通滤波、中值滤波、形态学滤波、FART神经网络与Ronbinson空间滤波器结合滤波方法等，在本发明中依据现有技术方案，运用FART神经网络与Robinson空间滤波器相结合的方法对图像进行预处理，即去除背景的杂波以及噪声影响，提高图像中目标的信噪比，其具体实现包括如下：

(2a)对截取的单帧图像逐像素扫描，以每个像素点为中心，在领域设置固定尺寸的空间滤波器，而空间滤波器的大小则可以依据具体图像信息选择合适的尺寸，在本实例中，设置空间空间滤波器的尺寸为7x7,并将其上的像素点作为该局部背景下的样本数据；

(2b)设定FART神经网络参数：特征数numfeature＝2，最大种类数maxNumCategories＝50000，最大周期numEpochs＝200，警戒参数vigilance＝0.85，学习率learning rate＝1，其中将学习率设定为1，以使得神经网络进入快速学习模式；

(2c)将(2a)中的样本数据传入FART神经网络，进行非监督式背景自适应聚类训练，得到K个局部背景模型，即空间滤波器上各像素点的分类情况和其对应的权重矩阵，将当前像素点与其对应的局部背景模型进行匹配，并且取匹配度的最大值W_k，再依据公式E(x,y)＝1-max{W_k|k＝1,2,...,K}，得到预处理后的红外背景抑制图像。

所述FART神经网络，是模糊自适应共振理论神经网络。

步骤3，对预处理后的图像进行阈值分割。

常见的阈值分割方法有，Otsu法，最大熵阈值法，基本全局阈值法，迭代法等多种方法，依据不同的图像特征可以选择不同的分割方法，在本实例中采用但不限于具有较高适应性和稳定性的迭代法进行图像阈值分割，该方法以基于逼近的思想不断迭代出图像的最佳分割阈值，其实现步骤如下：

(3a)计算步骤2预处理后背景抑制图的最大灰度值Z_max与最小灰度值Z_min，并设定初始阈值T₀＝(Z_MAX+Z_min)/2；

(3b)根据初始阈值T₀将预处理后背景抑制图分为前景和背景，分别求出前景的平均灰度Z_o和后景的平均灰度Z_B，并求出迭代阈值T₁＝(Z_O+Z_B)/2；

(3c)根据迭代阈值T₁将预处理后背景抑制图分为新的前景和新的背景，分别求出新的前景的平均灰度Z_O'和后景的平均灰度Z_B'，并求出新的迭代阈值T₂＝(Z_O'+Z_B')/2，按照迭代法原理不断迭代更新T₁和T₂的值，当满足判别条件|T₂-T₁|<0.001时，此时的T₂为最优阈值，并以此阈值进行图像分割，得到二值分割图像。

步骤4，扫描检测二值分割图像，获取新的样本数据。

在步骤3的二值分割图像中，呈现出多个灰度值为1的像素点区域，但这些区域内的像素点存在较低的连续性和形状特征，这是由于传统阈值分割算法在红外背景杂波影响较大时，分割算法自身的局限性所导致的，为解决上述问题，需要在二值分割图像内对像素点信息进行分析，故本实施例使用固定尺寸的窗口在二值分割图像内进行平移扫描，记录多个窗口内离散的灰度值为1的像素点信息，将包含最多灰度值为1的像素点的窗口作为点密集区域，并将其中的灰度值为1的像素点作为新的样本数据，其实现步骤如下：

(4a)设图像中像素点坐标为M(i,j)，其中i∈(0,599),j∈(0,599),因本发明针对的是红外背景图像中的单目标检测，故设定尺寸为M(i±k,j±k)的窗口，其中k＝3；

(4b)平移窗口，对步骤3的二值分割图像进行全图扫描，记录多个窗口内的所包含的灰度值为1的像素点个数，并将包含最多灰度值为1的像素点的窗口作为点密集区域，同时将点密集区域内灰度值为1的像素点作为新的样本数据。

步骤5，运用FART神经网络对样本数据进行自适应训练。

对步骤4得到的样本数据，建立新的神经网络结构进行聚类自适应训练，

其实现步骤如下：

(5a)设定FART竞争型神经网络的如下参数：

最多种类数maxNumCategories＝1000，

最大周期numEpochs＝100，

学习率learning rate＝1，

警戒参数vigilance＝0.85；

(5b)按照公式O＝[W(x,y),W(x,y)^c]，W(x,y)^c＝1-W(x,y)对样本数据中的像素点灰度值进行归一化补码处理，得到初始权值矩阵，其中W(x,y)为当前像素点的灰度值，W(x,y)^c为W(x,y)的补码，O为W(x,y)归一化补码矢量；

(5c)在循环周期内，依次读取每个像素对应的初始权值矩阵，对比初始权值矩阵间的空间距离，并通过激活函数，生成自适应聚类权重矩阵，通过匹配函数，对聚类权值矩阵的值不断进行更新，即新读取的像素信息与原有聚类匹配度超过阈值后，在神经网络内产生共振现象，使得变量resonance＝1，并更新已有聚类权值矩阵的的值，否则，resonance＝0,生成新的聚类；

(5d)在循环周期结束后，输出样本数据经过自适应分类后的新的权值矩阵，本实例在神经网络内部加入循环终止算法，即当所有聚类的权值在结束第n循环后，运行检测算法，检测当前权值是否与第n-1次循环的权值相同并且没有生成新的聚类，以提前跳出循环周期，快速输出新的权值矩阵。

步骤6：进行图像间的反馈式交互匹配，检测出红外目标。

传统意义上图像匹配是指对于同一对象，基于不同时间、不同视角、或者不同尺寸采集多帧图像，并采取匹配算法在采集的多帧图像间寻找相似信息，由于传统匹配算法针对的是图像间目标的相似性，即是判断多帧图像内的目标否属于同一类别，在光照，遮挡情况不同时，无法适用于单帧目标的提取检测。为此，本发明提出的反馈式交互图像匹配，其主要是将单帧图像处理中的不同阶段进行交互反馈，即采集二值分割图像中的局部图像信息，经神经网络处理后反馈回红外单帧图像，并与二值分割图像进行交互式匹配，从而检测出红外目标。

参照图2，本步骤的具体实现如下：

(6a)根据步骤4得到的密集区域的坐标中值(X，Y)，在红外单帧图像中设定范围为(X±10,Y±10)的检测窗口，通过自匹配算法，在窗口内将所有像素点与步骤5得到的新权值矩阵进行匹配检测，得到得到窗口内各像素点的匹配值列表,并对返回列表进行自顶向下排序算法；

(6b)将匹配值列表自反馈到步骤3的二值分割图像，并进行交互匹配，即在二值分割图像中划分与(6a)相同位置和尺寸的窗口，设置阈值ρ＝0.83，并按照(6a)红外单帧图像中窗口内得到的各像素的匹配值信息，在二值分割图像所对应的窗口内将所有匹配值大于阈值的像素点的灰度值标定为1,否则，标定为0，得到新的二值分割图像；

(6c)在新的二值分割图像中，得到灰度值为1的像素点连续区域，从而检测出红外目标。

本发明的效果可以通过以下的仿真结果进一步说明：

仿真1，用本发明方法对图3(a)所示的红外单帧图像进行目标检测，结果如图4(a)所示。

仿真2，用本发明方法对图3(b)所示的红外单帧图像进行目标检测，结果如图4(b)所示。

仿真3，用本发明方法对图3(c)所示的红外单帧图像进行目标检测，结果如图4(c)所示。

从图3可见，图像中存在大量背景噪声，且从图像中可以初步观察到在云层中的红外飞机小目标，其中云层的厚度和飞机的位置均不同，三张单帧图像对其中飞机目标产生较为严重的杂波干扰。

从图4可见，经过本发明后，在黑色背景区域中可以分离出飞机目标，如图4中高亮白色目标，其与图3红外单帧图像中的目标具有一致的位置，并且可看到高亮白色目标的机身、尾翼，机翼这些精确的细节特征，不仅验证了本发明具有较高的检测精度，而且验证了本发明能有效应用于不同背景特征下的目标检测，并取得良好的检测效果。

Claims (2)

1.一种基于FART竞争型神经网络的交互式自反馈红外目标检测方法，其特征在于，包括如下：

(1)利用红外热像仪对红外背景下的目标图像进行视频采集，得到待测目标在不同区域位置的单帧图像信息；

(2)对单帧图像信息进行预处理，即采用Robinson空间滤波器技术与FART竞争型神经网络相结合的方法，对红外背景进行抑制，得到预处理后背景抑制图；

所述的采用Robinson空间滤波器技术结合FART竞争型神经网络，对红外背景进行抑制，实现步骤包括如下：

(2a)采用Robinson空间滤波器方法，在(1)的单帧图像上以每个像素点为中心，设置尺寸为7x7的空间滤波器，并将滤波器上的像素点作为该局部背景下的样本数据；

(2b)将样本数据传入FART神经网络，进行非监督式背景自适应聚类训练，得到K个局部空间背景模型；

(2c)取当前像素点与其局部空间背景模型间的匹配度W_K的最大值，并依据公式E(x,y)＝1-max{W_k|k＝1,2,...,K}，得到预处理后的背景抑制图；

(3)采用迭代方法在预处理后的背景抑制图寻找最佳的阈值，根据阈值将图像分为前景和背景，得到二值分割图像；

(4)设图像中像素点坐标为M(i,j)，其中i∈(0,599),j∈(0,599)，将检测窗口大小设定为M(i±k,j±k),k＝3，对二值分割图像进行灰度值扫描检测，得到像素点灰度值为1的点密集区域，并将该区域内灰度值为1的像素点作为新的样本数据；

所述的对二值分割图像进行灰度值扫描检测，实现步骤包括如下：

(4a)设图像中像素点坐标为M(i,j)，其中i∈(0,599),j∈(0,599)，将检测窗口大小设定为M(i±k,j±k),k＝3，再在(3)的二值分割图像中对窗口进行平移扫描，将包含最多灰度值为1的像素点的窗口作为点密集区域；

(4b)将点密集区域内灰度值为1的像素点作为新的样本数据；

(5)利用FART神经网络对新的样本数据进行训练，得到经过自适应分类后的新的权值矩阵；利用FART神经网络对新的样本数据进行训练，实现步骤包括如下：

(5a)设定FART竞争型神经网络参数：最多种类数maxNumCategories＝1000，最大周期numEpochs＝100，学习率learning rate＝1，警戒参数vigilance＝0.85；

(5b)对样本数据中的像素点灰度值进行归一化补码处理，得到初始权值矩阵并建立初始神经网络框架；

(5c)在循环周期内，依次读取每个像素的初始权值矩阵，对比初始权值矩阵间的空间距离，生成自适应聚类权值矩阵，并对该聚类权值矩阵不断进行更新；

(5d)在循环周期结束后，输出样本数据经过自适应分类后的新的权值矩阵；

(6)将新的权值矩阵自反馈到(1)得到的单帧图像，进行窗口检测，并与二值分割图像进行交互匹配；

(6a)根据(4)得到的密集区域的坐标中值(X，Y)，在单帧图像中设定范围为(X±10,Y±10)的检测窗口，在窗口内将所有像素点与(5)得到的新权值矩阵进行匹配检测，得到窗口内各像素点的匹配值；

(6b)将匹配值反馈到(3)的二值分割图像，并进行交互匹配，即在二值分割图像中划分与(6a)相同位置和尺寸的窗口，设置阈值ρ＝0.83，并对照(6a)的匹配值，在窗口内将所有匹配值大于阈值的像素点的灰度值标定为1,否则，标定为0，得到新的二值分割图像；

(6c)在新的二值分割图像中，得到灰度值为1的像素点连续区域，从而检测出红外目标。

2.根据权利要求1所述的方法，其特征在于：(3)所述的采用迭代法进行图像阈值分割，实现步骤包括如下：

(3a)计算步骤2预处理后背景抑制图的最大灰度值Z_max与最小灰度值Z_min，并设定初始阈值T₀＝(Z_MAX+Z_min)/2；

(3b)根据初始阈值T₀将预处理后背景抑制图分为前景和背景，分别求出前景的平均灰度Z_o和背景的平均灰度Z_B，并求出迭代阈值T₁＝(Z_O+Z_B)/2；

(3c)再根据迭代阈值T₁将预处理后背景抑制图分为新的前景和新的背景，分别求出新的前景的平均灰度Z_O'和背景的平均灰度Z_B'，并求出新的迭代阈值T₂＝(Z_O'+Z_B')/2，按照迭代法原理不断迭代更新T₁和T₂的值，当满足判别条件|T₂-T₁|<0.001时，此时的T₂为最优阈值，并以此阈值进行图像分割，得到二值分割图像。

Images