CN104766100B - 基于机器学习的红外小目标图像背景预测方法与装置 - Google Patents

Abstract

本发明提供一种基于机器学习的红外小目标图像背景预测方法，包括以下步骤：以第1帧到第l帧图像作为原始数据来构造机器学习的原始训练样本；对输入的图像进行背景复杂判断：如果背景复杂，则先进行冗余剔除，再进行机器学习；如果背景不复杂，则直接进行机器学习；对输入图像帧中的冗余信息进行剔除，得到较少的训练样本；利用原始训练样本或较少的训练样本来训练学习机器；以第l+1帧图像作为测试样本，利用学习机器预测第l+1帧图像的背景；以第l+1帧图像的原始背景减去预测出来的背景得到残差图像；使预测窗口滑过整幅图像，并采用前述步骤的单个像素点的预测方式，得到整幅图像的预测背景。本发明还涉及一种基于机器学习的红外小目标图像背景预测装置。

Description

基于机器学习的红外小目标图像背景预测方法与装置

技术领域

本发明涉及红外图像处理技术领域，具体而言涉及一种基于机器学习的红外小目标图像背景预测方法与装置，适于空中红外小目标检测中的杂波背景抑制。

背景技术

杂波背景抑制是红外小目标检测的关键步骤。对空红外监控系统拍摄的图像主要由目标、背景和噪声三部分组成。由于远距离目标的面积一般只有几个像素,缺少形状和纹理信息,对比度也较低,在红外图像上表现为一个弱小亮点，难以分辨。而背景占绝大部分面积，因此人们往往首先从抑制背景的角度来考虑如何完成检测。抑制杂波背景是小目标检测的第一步，也是最重要的一步，能大大提高后续目标检测阶段算法的性能。

背景预测是一类重要的背景抑制方法，其基本思路是利用红外图像在空域和频域的特征，使用特定的算法先将图像的起伏背景预测出来，然后用原图像减去预测出来的背景，以达到抑制背景起伏、突出目标的目的。

常见背景预测技术主要有固定权值滤波、中值滤波、形态学滤波等。

固定权值滤波通过对预测窗口内像素点灰度值的加权求和来估计窗口中心点的背景灰度值，遍历整幅图像完成整个预测过程。固定权值背景预测指的就是令权值为常数，这样运算过程简单，具有较高的处理速度、便于硬件实现。但该算法模板中的参数设定后不能改变，缺乏对不同类型背景的适应性，当背景较复杂时性能较低。

中值滤波的基本思想是：在输入图像中，以任一像素为中心设置一个确定的邻域，将邻域内各像素的灰度值按大小顺序排列，取位于中间位置的那个值(中值)作为该像素点的输出灰度值，即作为该点预测的背景灰度值，遍历整幅图像完成整个预测过程。中值滤波算法结构简单，便于硬件实现，但算法原理本身决定了它只能够滤除脉冲宽度小于滤波窗口一般的噪声。

数学形态学滤波通常基于Top-Hat变换，Top-Hat变换的基本原理是选择某一结构元素对输入图像进行形态学“开运算”，得到预测背景，然后使用原始图像减去开运算预测出的背景，得到只含目标和少量背景的图像。形态学滤波结构元素的选择对于背景预测效果的影响很大。

上述几种方法都属于单帧背景预测算法，即算法只针对单帧图像进行处理，处理完一帧图像再处理下一帧图像。而通常小目标在红外图像中的运动速度大于背景的变化速度。因此，单帧算法无法利用目标与背景的帧间运动特性。

发明内容

针对现有技术中单帧算法无法利用目标和背景的帧间运动特性的不足，在单帧算法的基础上提出一种基于机器学习的红外小目标图像背景预测方法，充分利用目标和背景在帧间相关性上的差异，提供对目标与背景的区分度。

本发明的另一方面还提出一种基于机器学习的红外小目标图像背景预测装置。

本发明的上述目的通过独立权利要求的技术特征实现，从属权利要求以另选或有利的方式发展独立权利要求的技术特征。

为达成上述目的，本发明所采用的技术方案如下：

一种基于机器学习的红外小目标图像背景预测方法，适于对红外小目标图像进行背景预测，其实现包括以下步骤：

步骤1、以第1帧到第l帧图像作为原始数据来构造机器学习的原始训练样本；

步骤2、对输入的图像进行背景复杂判断：如果背景复杂，则进入步骤3进行背景的冗余剔除；如果背景不复杂，则进入下述步骤4进行机器学习；

步骤3、对输入图像中的冗余信息进行剔除，得到更新后较少的训练样本；

步骤4、利用前述原始训练样本或更新的训练样本来训练一个学习机器；

步骤5、以第l+1帧图像作为测试样本，利用前述训练好的学习机器预测第l+1帧图像的背景；

步骤6、以第l+1帧图像的原始背景减去前述步骤5预测出来的背景得到残差图像；以及

步骤7、使预测窗口滑过整幅图像，并采用前述步骤1-6的单个像素点的预测方式，得到整幅图像的预测背景。

进一步的实施例中，前述步骤1中的原始训练样本，以下述方法生成：

对于连续输入的图像帧，原始训练样本的第i个输入样本是由第i帧图像中像素点(m,n)及其周围预测窗口区域的灰度值构成的(x_i,y_i)，其中x_i是由像素点(m,n)周围预测窗口区域内的灰度值构成的向量p为预测窗口内的除目标以外的像素点数目，y_i是像素点(m,n)的原始灰度值。

进一步的实施例中，前述预测窗口为矩形预测窗口，窗口大小为(2q+1)×(2q+1)，q为正整数。

进一步的实施例中，前述预测窗口为准圆形预测窗口，以一大小为(2q+1)×(2q+1)的矩形预测窗口中心像素(m,n)点为圆心，以矩形预测窗口边长为直径做圆，该圆构成一个准圆形预测窗口；圆周与预测窗口内像素相交，如果某一像素点被圆切割后包含在圆内的面积小于像素面积的1/2，则在剔除该像素点，依此逐个判断，最后，将剩余像素点依次排列生成训练样本。

进一步的实施例中，前述步骤2对原始训练样本背景平均起伏系数进行背景复杂判断，其实现包括以下步骤：

步骤2-1、定义起伏系数θ(m,n)，表示图像中像素点(m,n)与其右侧和下方两个相邻的像素点的灰度差值之和，即：

θ(m,n)＝ΔD_r(m,n)+ΔD_d(m,n) (1)

式中，ΔD_r(m,n)＝D(m,n)-D(m,n+1)，ΔD_d(m,n)＝D(m,n)-D(m+1,n)，分别表示像素点(m,n)与其右侧和下方像素点的灰度差值；

对整幅图像，利用背景平均起伏系数以下式来定义：

式中，M,N为图像的大小；

步骤2-2、将对空红外图像中的背景起伏状况划分为以下3个程度：

a.均匀：0＜θ≤4；

b.稍有起伏：4＜θ≤5.5；

c.剧烈起伏：θ＞5.5；

步骤2-3、计算输入图像的第一帧的背景平均起伏系数θ，当θ＞5.5时判断为背景复杂，需要进行冗余信息剔除；当θ≤5.5时判断为背景不复杂，不需要剔除冗余信息，结束冗余信息剔除。

进一步的实施例中，前述步骤3中对复杂背景中的冗余信息进行剔除，包括：

步骤3-1、使用构造方式创建一个空字典D₀，定义所有样本向量的系数都为零；

步骤3-2、以在线运行方式并根据ALD判断准则剔除冗余样本向量，保留有效样本向量，得到更新的训练样本。

进一步的实施例中，前述步骤3-2中根据ALD准则进行近似线性相关判断，包括下述过程：

对于输入的一个新的样本向量x_t，以在线运行的方式进行近似线性相关测试(即ALD测试)：

(1)如果x_t的特征值φ(x_t)与字典中的样本向量近似线性相关，则只考虑该样本对后续背景预测算法的预测函数中已存在的系数产生的影响，将其剔除，即t时刻的字典为D_t＝D_t-1，D_t-1为t-1时刻的字典；

(2)如果x_t的特征值φ(x_t)与字典中的样本向量不近似线性相关，则将其添加进字典D_t-1，与特征值φ(x_t)对应的系数α_t也被加入到后续算法的预测函数中，即t时刻的字典为D_t＝D_t-1∪{x_t}，D_t-1为t-1时刻的字典。

进一步的实施例中，前述步骤7中，基于预测窗口的整幅图像的滑动预测包括：

步骤7-1、对于尺寸为M×N像素的输入图像，以其中的一点作为图像矩阵的坐标原点(0,0)，建立坐标系xoy；

步骤7-2、在初始位置，将预测窗口的左上角与坐标原点(0,0)对齐；

步骤7-3、将预测窗口在图像矩阵中的每一行进行水平逐个像素滑动，每滑动1个像素均将预测窗口中心的像素点的背景预测出来；

步骤7-4、预测窗口采用上述方式，进行逐行、逐列滑动，直至将整幅图像的背景预测出来。

进一步的实施例中，前述学习机器的训练过程中，采用迭代最小二乘(RLS)算法作为学习算法。

根据本发明的公开，还提出一种基于机器学习的红外小目标图像背景预测装置，包括：

训练样本生成模块，用于以第1帧到第l帧图像作为原始数据来构造机器学习的原始训练样本；

背景复杂度判断模块，用于对前述输入的图像进行背景复杂判断；

冗余信息剔除模块，用于对复杂背景中的冗余信息进行剔除并生成一更新后较少的训练样本；

机器学习模块，用于利用前述原始训练样本或更新的训练样本来训练一个学习机器；

背景预测模块，用于以第l+1帧图像作为测试样本并利用前述训练好的学习机器预测该第l+1帧图像的背景；

残差图像生成模块，用于以第l+1帧图像的原始背景减去前述步骤5预测出来的背景得到残差图像；以及

滑动窗口预测模块，用于将原始训练样本生成过程中使用的预测窗口滑过整幅图像，得到整幅图像的预测背景。

本发明附加的方面和优点将在下面的描述中部分给出，部分从下面的描述中变得明显，或通过本发明的实践了解到。

下面结合附图对本发明做进一步说明。

附图说明

图1为基于权值的单帧背景预测算法框图。

图2为根据样本进行机器学习的模型示意图。

图3为本发明一实施方式的基于机器学习的红外小目标图像背景预测方法的流程示意图。

图4为图3实施例的方法中背景预测窗口与训练样本数据的生成示意图。

图5为图3实施例的方法中背景预测窗口与训练样本数据的另一种生成示意图。

图6a-6f为6幅典型的天空背景红外图像。

图7a-7f为图6a-6f所示天空背景红外图像的灰度直方图。

图8A(a)-8A(d)为4组强杂波背景(云层、地物、建筑和树木)的原始图像，图8B(a)-8B(d)为对4组强杂波背景(云层、地物、建筑和树木)的原始图像剔除冗余信息后的字典向量分布图。

图9为矩形预测窗口滑动预测整幅图像背景的示意图。

图10为准圆形预测窗口滑动预测整幅图像背景示意图。

图11为本发明一实施方式基于机器学习的红外小目标图像背景预测装置的示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

本发明所提出的基于机器学习的红外小目标图像背景预测方法，是在基于权值的单帧背景预测算法改进而来，图1所示为典型基于权值的单帧背景预测算法框图。算法首先使用预测窗口内的背景样本(即原始灰度值)对该像素点的背景灰度值进行估计(即背景预测)；然后使用某一准则来评价预测误差，再根据预测误差来自适应调整权值；第三步，使用修改后的权值计算出使预测误差更小背景，最后用原始图像减去最近一次预测出的背景，即可得到不含背景起伏的残差图像。

预测算法中的权值自适应调整过程，相当于学习机器在给定训练样本上求使损失最小的权向量的过程。因此，背景预测的实质是机器学习领域中的回归估计问题。即学习机器对输入数据对(x,y)(训练集)进行学习后，得到预测的输出，使之逼近训练器的响应y(期望的背景灰度值)。

机器学习的一般模型如图2所示。

①产生器产生随机向量x∈Rⁿ，它们是从固定但未知的概率分布函数F(x)中独立抽取的；

②训练器对每一个输入x返回一个输出y，产生输出的根据是同样固定但未知的条件概率密度分布函数F(y|x)；

③学习机能够实现一定的函数集f(x,α),α∈Λ，其中Λ是参数集合。

学习问题就是从函数集合f(x,α),α∈Λ中选出能够最好地逼近训练器响应的函数。这种选择是基于训练集的，训练集由根据联合分布F(x,y)＝F(x)F(y|x)抽取的l个独立同分布观测(x₁,y₁),L,(x_l,y_l)组成。

在学习过程中，使用数据对(x,y)(训练集)对学习机进行训练。训练之后，学习机器能对任意输入x给出输出。学习的目标是能够给出输出使之接近训练器的响应y。

结合图3所示，根据本发明的较优实施例，一种基于机器学习的红外小目标图像背景预测方法，适于对红外小目标图像进行背景预测，其实现包括以下步骤：

步骤1、以第1帧到第l帧图像作为原始数据来构造机器学习的原始训练样本；

步骤2、对输入的图像进行背景复杂判断：如果背景复杂，则进入步骤3进行背景的冗余剔除；如果背景不复杂，则进入下述步骤4进行机器学习；

步骤3、对输入图像中的冗余信息进行剔除，得到一更新后较少的训练样本；

步骤4、利用前述原始训练样本或更新的训练样本来训练一个学习机器；

步骤5、以第l+1帧图像作为测试样本，利用前述训练好的学习机器预测第l+1帧图像的背景；

步骤6、以第l+1帧图像的原始背景减去前述步骤5预测出来的背景得到残差图像；以及

步骤7、使预测窗口滑过整幅图像，并采用前述步骤1-6的单个像素点的预测方式，得到整幅图像的预测背景。

前述实施例的预测方法为连续帧图像的预测处理方法，能充分利用目标和背景在帧间相关性上的差异，可以大大提高对目标与背景的区分度；另一方面还增加复杂度判断环节，引入冗余信息剔除机制，从而可以进一步改善算法性能，提高计算效率；而且，可通过增加预测窗口的自适应选择，可以针对背景的类型来选择不同类型的预测窗口。采用上述实施方式的预测方法，可解决现有的单帧算法无法利用目标和背景的帧间运动特性的不足，以及单一算法连续帧背景预测算法在预测准确性和运算量上的不足。

前述步骤1中的原始训练样本，以下述方法生成：

对于连续输入的图像帧，原始训练样本的第i个输入样本是由第i帧图像中像素点(m,n)及其周围预测窗口区域的灰度值构成的(x_i,y_i)，其中x_i是由像素点(m,n)周围预测窗口区域内的灰度值构成的向量p为预测窗口内的除目标以外的像素点数目，y_i是像素点(m,n)的原始灰度值。

作为可选的方式，为了使预测窗口内的样本更好的与背景适配，首选对图像背景特征进行简单划分：如果背景有较多的建筑等界限分明物体，则使用矩形预测窗口；如果背景有较多的云层、树木等不规则物体，则使用准圆形预测窗口。

1)矩形预测窗口

矩形预测窗口的窗口大小为(2q+1)×(2q+1)，q为正整数。

作为可选的例子，窗口尺寸可以是3×3、5×5、7×7等，根据需要调整。窗口越小计算速度越快，但由于图像中的目标通常不止占有1个像素，因此过小的窗口将使得样本中的背景成分变少，不利于准确预测，通常选择5×5窗口。

下面以5×5窗口为例说明样矩形预测窗口的样本生成方式，如图4所示。

如前所述，训练样本的第i个输入样本是第i帧图像中像素点(m,n)的灰度值(x_i,y_i)，x_i是由像素点(m,n)周围在矩形预测窗口(5×5)区域内的灰度值构成的向量y_i是像素点(m,n)的原始灰度值。

2)准圆形预测窗口

准圆形预测窗口是在矩形预测窗口的基础上改进而来的。

如图5所示，准圆形预测窗口生成方法如下：首先以一大小为(2q+1)×(2q+1)的矩形预测窗口中心像素(m,n)点为圆心，以矩形预测窗口边长为直径做圆，该圆构成一个准圆形预测窗口。

圆周与预测窗口内像素相交，如果某一像素点被圆切割后包含在圆内的面积小于像素面积的1/2，则在剔除该像素点，依此逐个判断，最后，将剩余像素点依次排列生成训练样本，如图5所示。

常用来描述数字图像基本统计特征的参数有：图像的数字特征(如均值、方差)和图像的灰度直方图等，这些统计特征参数无法满足对背景复杂度的判断。从检测的角度来考虑，容易出现虚警点的是图像中的非平稳区域，如云层边缘等像素点与邻近像素点的灰度变化较大的区域。因此，在本实施例中，前述步骤2中背景复杂度的判断采用背景平均起伏系数这一参数来进行判别。

具体地，前述步骤2对原始训练样本背景平均起伏系数进行背景复杂判断，其实现包括以下步骤：

步骤2-1、定义起伏系数θ(m,n)，表示图像中像素点(m,n)与其右侧和下方两个相邻的像素点的灰度差值之和，即：

θ(m,n)＝ΔD_r(m,n)+ΔD_d(m,n) (1)

式中，ΔD_r(m,n)＝D(m,n)-D(m,n+1)，ΔD_d(m,n)＝D(m,n)-D(m+1,n)，分别表示像素点(m,n)与其右侧和下方像素点的灰度差值；(D(m,n)表示像素点(m,n)的原始灰度值，结合图示和前述说明，D(m,n+1)和D(m+1,n)分别表示像素点(m,n)右侧和下方像素点的灰度值)

对整幅图像(即某一帧图像)，利用背景平均起伏系数θ以下式来定义：

式中，M,N为图像的大小；

步骤2-2、将对空红外图像中的背景起伏状况划分为以下3个程度：

a.均匀：0＜θ≤4；

b.稍有起伏：4＜θ≤5.5；

c.剧烈起伏：θ＞5.5；

步骤2-3、计算输入图像的第一帧的背景平均起伏系数θ，当θ＞5.5时判断为背景复杂，需要进行冗余信息剔除；当θ≤5.5时判断为背景不复杂，不需要剔除冗余信息，结束冗余信息剔除，如此，输入图像的样本数据直接提供至后续的机器学习及背景预测。

图6a-6f为6幅典型的天空背景红外图像，图6a-6f的排列按照直观的背景复杂程度进行。图7a-7f为图6a-6f所示天空背景红外图像的灰度直方图。从图7a-7f直观的可以看出，直方图无法反应背景复杂程度。

进一步地，计算图6a-6f中各图像的背景均值、方差和背景平均起伏系数θ，计算结果下述表1所示，其中，均值、方差两个参数的变化与背景复杂程度无必然关系，无法反应背景复杂程度；而背景平均起伏系数的大小从a～f依次增大。

表1 典型红外图像的均值与方差、背景平均起伏系数

按照前述方法进行判断，第一帧的背景平均起伏系数θ是小于5.5的，此连续帧图像构成的训练样本数据，则表明背景不复杂，不需要剔除冗余信息，因此在对此训练样本不需要进行ALD测试和冗余信息剔除处理。

结合图3所示，前述步骤3中对复杂背景中的冗余信息进行剔除的实现包括以下步骤：

步骤3-1、使用构造方式创建一个空字典D₀，定义所有样本向量的系数都为零；以及

步骤3-2、以在线运行方式并根据ALD判断准则剔除冗余样本向量，保留有效样本向量，得到更新的训练样本。

本实施例所采用的判断准则为近似线性相关(Approximate Linear Dependency,ALD)准则，即：如果新到样本向量与字典中的样本向量之间不符合ALD准则，则将该样本向量加入到字典中；如果新到样本向量与字典中的样本向量之间满足ALD准则，则将其剔除，不加入字典。其原理为，新到样本向量与字典中的向量如果满足近似线性相关条件说明该样本向量可以被目前字典中的样本向量的线性组合所表示，也就是说该向量没有提供新的有效信息，可视为冗余样本，这样便可以将不符合ALD准则的样本向量剔除。

作为一个具体实例，前述步骤3-2中的以在线运行方式并根据预设的判断准则剔除冗余样本向量的处理，其实现包括以下步骤：

对于输入的一个新的样本向量x_t，以在线运行的方式进行近似线性相关测试(即ALD测试)：

(1)如果x_t的特征值φ(x_t)与字典中的样本向量近似线性相关，则只考虑这个样本向量对后续算法的预测函数中已存在的系数产生的影响，将其剔除，即t时刻的字典为D_t＝D_t-1，D_t-1为t-1时刻的字典；

(2)如果x_t的特征值φ(x_t)与字典中的样本向量不近似线性相关，则将其添加进字典D_t-1，与特征值φ(x_t)对应的系数α_t也被加入到后续算法的预测函数中，即t时刻的字典为D_t＝D_t-1∪{x_t}，D_t-1为t-1时刻的字典。

通过以上判断，可实现输入训练样本的稀疏化，而且这一稀疏方法是以在线方式运行的。利用稀疏表示技术从海量的图像信息中筛选出对背景检测最有贡献的那部分数据，剔除冗余信息，从而高效表示红外图像，提高后续检测算法的运算效率与预测准确性。

图8A(a)-8A(d)为4组强杂波背景(云层、地物、建筑和树木)的原始图像，图8B(a)-8B(d)为对4组强杂波背景(云层、地物、建筑和树木)的原始图像剔除冗余信息后的字典向量分布图。为方便起见，下面以图8A和图8B分别表示4组强杂波背景(云层、地物、建筑和树木)的原始图像和经过稀疏后的字典向量分布图。

DVs(Dictionary Vectors)为经前述实施例方法稀疏后的字典向量的总数，DVs分布图8B指的是图像不同位置的字典向量数目：亮的位置字典向量多，暗的位置字典向量少。从DVs分布图可以看出：目标及背景较复杂的区域字典向量较多，而平稳背景区域字典向量较少，甚至只有1个。也就是说，通过稀疏，有用信息被保留下来，而无用和冗余信息则被剔除了。DVs的这种分布特性，保证了预测复杂区域背景时有足够的信息量，同时，极大地精简了平稳区域的冗余信息。

从实验结果的图8B可以看出，图8A的原始图像中包含了包括目标和杂波背景的大量信息，目标隐匿在强杂波背景中难以检测。而使用本专利前述的方法，背景中大量的冗余信息被剔除，字典中只有分布不均匀的少量背景信息得以保留，而目标的信息却得到很好的保护。在经稀疏后样本向量基础上，再做目标检测，将大大提高检测准确率与效率。

结合图3，接下来在步骤4中利用前述原始训练样本或更新的训练样本来训练一个学习机器。

学习机器的训练可以采用现有的方法，例如迭代最小二乘(RLS)算法，或者固定权值(CW)算法，或者TDLMS算法，当然并不以此为限制。本实施例提出的预测方法，可以视为是一种通用的基于机器学习的背景预测模型，可根据应用环境的不同适配不同的机器学习算法，而不仅仅是单一的算法。

结合图3，训练好学习机器后，在接下来的步骤5中，以第l+1帧图像作为测试样本，利用前述训练好的学习机器预测第l+1帧图像的背景。

即学习机器根据输入的以第l+1帧图像为测试样本的x_l+1，预测出该点的输出即第l+1帧中(m,n)点的背景灰度值。

结合图3，在接下来的步骤6中，以第l+1帧图像的原始背景减去前述步骤5预测出来的背景得到残差图像。

最后，结合前述步骤选用的预测窗口，通过使预测窗口滑过整幅图像，并采用前述步骤1-6的单个像素点的预测方式，得到整幅图像的预测背景。

对应于所选用的预测窗口，例如矩形或者准圆形预测窗口，如图9和图10所示的预测窗口滑动预测整幅图像背景示意图，基于预测窗口的整幅图像的滑动预测包括：

步骤7-1、对于尺寸为M×N像素的输入图像，以其中的一点作为图像矩阵的坐标原点(0,0)，建立坐标系xoy；

步骤7-2、在初始位置，将预测窗口的左上角与坐标原点(0,0)对齐；

步骤7-3、将预测窗口在图像矩阵中的每一行进行水平逐个像素滑动，每滑动1个像素均将预测窗口中心的像素点的背景预测出来；

步骤7-4、预测窗口采用上述方式，进行逐行、逐列滑动，直至将整幅图像的背景预测出来。

作为可选的方案，例如以其左上角为图像矩阵的坐标原点(0,0)建立坐标系，那么遍历图像以实现整幅图像的滑动预测的实现包括：

步骤7-1、对于尺寸为M×N像素的输入图像，以其左上角为图像矩阵的坐标原点(0,0)，建立坐标系xoy；

步骤7-2、在初始位置，预测窗口的左上角与坐标原点(0,0)对齐；

步骤7-3、将预测窗口在图像矩阵中的每一行进行水平向右逐个像素滑动，每滑动1个像素均将预测窗口中心的像素点的背景预测出来；

步骤7-4、预测窗口采用上述方式，进行逐行、逐列滑动，直至预测窗口中心移动至输入图像右下方的结束位置，依此将整幅图像的背景均预测出来。

前述实施方式中，可以是以其右上角、右下角、左下角、或者中心位置，或者其他位置作为图像矩阵的坐标原点(0,0)，建立坐标系xoy。坐标原点的位置仅仅影响在预测窗口遍历整个图像时的滑动走向，如前说的以其左上角为图像矩阵的坐标原点(0,0)，则遍历的方式是向右滑动，然后下一行再滑动，直到预测窗口中心移动至输入图像右下方的结束位置，将整幅图像的背景均预测出来。

如前所述，如果以左下角为坐标原点，则遍历的方式是向右滑动，然后向上一行再滑动，直到预测窗口中心移动至输入图像右上方的结束位置，将整幅图像的背景均预测出来。

坐标原点(0,0)位于图像矩阵的其他位置的，以此类推。

下面结合图9所示，以预测窗口为5×5的矩形预测窗口为例进行说明。

对于尺寸为M×N像素的输入图像，以其左上角为图像矩阵的坐标原点(0,0)，建立坐标系xoy。

初始位置时，背景预测窗口的左上角与坐标原点对齐。由于每次预测的都是预测窗口中心点的背景，所以原始图像4边各有2个像素无法进入窗口中心，故只能预测(M-4)×(N-4)大小的背景，如图9所示。

首先，将预测窗口的中心位置设置在图像矩阵中的(2,2)点，在水平方向向右逐个像素滑动，每滑动1个像素均将预测窗口中心像素的背景预测出来，直至滑动至(2,N-2)点，这样将原始图像第3行(因原始图像的起始坐标为(0,0)，因此此行为原始图像中的第3行)的图像背景逐个预测出来；

然后，将预测窗口的中心位置调整至图像矩阵中的(3,2)点，即在竖直方向向下移动1个像素，再次向右逐个像素滑动，每滑动1个像素均将预测窗口中心像素的背景预测出来，直至滑动至(3,N-2)点，如此将原始图像的第4行图像的背景逐个预测出来；

最后，将预测窗口以上述方式逐行逐列移动，直至窗口中心移动至原始图像右方的结束位置(M-2,N-2)，通过滑动将整幅图像的背景预测出来，预测出来的背景尺寸为(M-4)×(N-4)。

如图10所示，准圆形预测窗口是在矩形预测窗口的基础上生成的。准圆形预测窗口的滑动跟随相应尺寸矩形预测窗口滑动，仅样本数和排列不同，在此不再赘述。

如图11所示，根据本发明的公开，一种基于机器学习的红外小目标图像背景预测装置，包括：

训练样本生成模块，用于以第1帧到第l帧图像作为原始数据来构造机器学习的原始训练样本；

背景复杂度判断模块，用于对前述输入的图像进行背景复杂判断；

冗余信息剔除模块，用于对复杂背景中的冗余信息进行剔除并生成一更新后较少的训练样本；

机器学习模块，用于利用前述原始训练样本或更新的训练样本来训练一个学习机器；

背景预测模块，用于以第l+1帧图像作为测试样本并利用前述训练好的学习机器预测该第l+1帧图像的背景；

残差图像生成模块，用于以第l+1帧图像的原始背景减去前述步骤5预测出来的背景得到残差图像；以及

滑动窗口预测模块，用于将原始训练样本生成过程中使用的预测窗口滑过整幅图像，得到整幅图像的预测背景。

如前所述，本实施例提出的基于机器学习的红外小目标图像背景预测装置，其中的训练样本生成模块、背景复杂度判断模块、冗余信息剔除模块、机器学习模块、背景预测模块、残差图像生成模块、滑动窗口预测模块的作用、功能、效果及其实现均已在前述的一个或多个实施例中予以相应的说明，在此不再赘述。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (6)

1.一种基于机器学习的红外小目标图像背景预测方法，适于对红外小目标图像进行背景预测，其特征在于，该方法的实现包括以下步骤：

步骤1、以第1帧到第l帧图像作为原始数据来构造机器学习的原始训练样本；

步骤2、对输入的图像进行背景复杂判断：如果背景复杂，则进入步骤3进行背景的冗余剔除；如果背景不复杂，则进入下述步骤4进行机器学习；

步骤3、对输入图像中的冗余信息进行剔除，得到更新后较少的训练样本；

步骤4、利用前述原始训练样本或更新的训练样本来训练一个学习机器；

步骤5、以第l+1帧图像作为测试样本，利用前述训练好的学习机器预测第l+1帧图像的背景；

步骤6、以第l+1帧图像的原始背景减去前述步骤5预测出来的背景得到残差图像；以及

步骤7、使预测窗口滑过整幅图像，并采用前述步骤1-6的单个像素点的预测方式，得到整幅图像的预测背景；

其中，前述步骤1中的原始训练样本，以下述方法生成：

对于连续输入的图像帧，原始训练样本的第i个输入样本是由第i帧图像中像素点(m,n)及其周围预测窗口区域的灰度值构成的(x_i,y_i)，其中x_i是由像素点(m,n)周围预测窗口区域内的灰度值构成的向量p为预测窗口内的除目标以外的像素点数目，y_i是像素点(m,n)的原始灰度值；

前述预测窗口为准圆形预测窗口，以一大小为(2q+1)×(2q+1)的矩形预测窗口中心像素(m,n)点为圆心，以矩形预测窗口边长为直径做圆，该圆构成一个准圆形预测窗口；圆周与预测窗口内像素相交，如果某一像素点被圆切割后包含在圆内的面积小于像素面积的1/2，则在剔除该像素点，依此逐个判断，最后，将剩余像素点依次排列生成训练样本。

2.根据权利要求1所述的基于机器学习的红外小目标图像背景预测方法，其特征在于，前述步骤2对原始训练样本背景平均起伏系数进行背景复杂判断，其实现包括以下步骤：

步骤2-1、定义起伏系数θ(m,n)，表示图像中像素点(m,n)与其右侧和下方两个相邻的像素点的灰度差值之和，即：

θ(m,n)＝ΔD_r(m,n)+ΔD_d(m,n) (1)

式中，ΔD_r(m,n)＝D(m,n)-D(m,n+1)，ΔD_d(m,n)＝D(m,n)-D(m+1,n)，分别表示像素点(m,n)与其右侧和下方像素点的灰度差值；

对整幅图像，利用背景平均起伏系数以下式来定义：

<mrow> <mi>&amp;theta;</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>M</mi> <mi>N</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

式中，M,N为图像的大小；

步骤2-2、将对空红外图像中的背景起伏状况划分为以下3个程度：

a.均匀：0＜θ≤4；

b.稍有起伏：4＜θ≤5.5；

c.剧烈起伏：θ＞5.5；

步骤2-3、计算输入图像的第一帧的背景平均起伏系数θ，当θ＞5.5时判断为背景复杂，需要进行冗余信息剔除；当θ≤5.5时判断为背景不复杂，不需要剔除冗余信息，结束冗余信息剔除。

3.根据权利要求1所述的基于机器学习的红外小目标图像背景预测方法，其特征在于，前述步骤3中对输入图像中的冗余信息进行剔除，包括：

步骤3-1、使用构造方式创建一个空字典定义所有样本向量的系数都为零；

步骤3-2、以在线运行方式并根据ALD判断准则剔除冗余样本向量，保留有效样本向量，得到更新的训练样本。

4.根据权利要求3所述的基于机器学习的红外小目标图像背景预测方法，其特征在于，前述步骤3-2中根据ALD准则进行近似线性相关判断，包括下述过程：

对于输入的一个新的样本向量x_t，以在线运行的方式进行近似线性相关测试即ALD测试：

(1)如果x_t的特征值φ(x_t)与字典中的样本向量近似线性相关，则只考虑该样本对后续背景预测算法的预测函数中已存在的系数产生的影响，将其剔除，即t时刻的字典为 为t-1时刻的字典；

(2)如果x_t的特征值φ(x_t)与字典中的样本向量不近似线性相关，则将其添加进字典与特征值φ(x_t)对应的系数α_t也被加入到后续算法的预测函数中，即t时刻的字典为 为t-1时刻的字典。

5.根据权利要求1所述的基于机器学习的红外小目标图像背景预测方法，其特征在于，前述步骤7中，基于预测窗口的整幅图像的滑动预测包括：

步骤7-1、对于尺寸为M×N像素的输入图像，以其中的一点作为图像矩阵的坐标原点(0,0)，建立坐标系xoy；

步骤7-2、在初始位置，将预测窗口的左上角与坐标原点(0,0)对齐；

步骤7-3、将预测窗口在图像矩阵中的每一行进行水平逐个像素滑动，每滑动1个像素均将预测窗口中心的像素点的背景预测出来；

步骤7-4、预测窗口采用上述方式，进行逐行、逐列滑动，直至将整幅图像的背景预测出来。

6.根据权利要求1所述的基于机器学习的红外小目标图像背景预测方法，其特征在于，前述学习机器的训练过程中，采用迭代最小二乘算法作为学习算法。