CN105469090A - 红外图像中基于频域残差的小目标检测方法及装置 - Google Patents

Abstract

本发明实施例提供了一种基于频域残差的小目标检测方法及装置，应用于小目标检测领域。该基于频域残差的小目标检测方法包括：利用频域残差法计算含有待检测小目标的原始红外图像的显著图；获取所述显著图的二值积分图及合成积分图；根据原始红外图像的大小确定所述显著图中的滑窗大小范围；计算滑窗大小范围内每种大小的所述滑窗的每一个窗口的显著度，获得含有每一个窗口的位置信息及显著度信息的矩阵Box^a*b；对每个所述矩阵Box^a*b利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Box^a*b，合并所有的所述矩阵new_Box^a*b，获得矩阵ROI；根据所述矩阵ROI中的所述显著度信息确定所述小目标所在区域。使用该方法可以有效检测到红外图像中小目标所在区域。

Description

红外图像中基于频域残差的小目标检测方法及装置

技术领域

本发明涉及小目标检测领域，具体而言，涉及一种红外图像中基于频域残差的小目标检测方法及装置。

背景技术

图像中的目标检测是指根据目标与背景的差异将目标从图像背景中分离出来的过程。根据图像传感器类型的不同，目标检测常使用的图像包括可见光图像、红外图像、合成孔径雷达图像与毫米波图像等。本发明针对红外图像，相比于其他类型的成像方式，红外图像具有如下优点：1)红外图像的环境适应性强，尤其在夜间和恶劣气候下的工作能力较强；2)红外辐射透过雾、霾的能力强于可见光；3)红外图像对伪装目标的识别能力强于可见光图像；4)作为被动传感器获取的图像，红外图像获取过程的隐蔽性较强。

正是由于红外图像的上述优点，近年来基于红外图像的弱小目标检测成为研究和应用的热点，所谓红外图像中的红外小目标一般是指红外图像中所占像素不超过图像总像素0.2％～0.6％的目标区域。红外图像弱小目标检测的难点主要体现在：1)红外图像的信噪比较低，弱小目标常常会淹没在复杂背景中的若干像素点中；2)红外弱小目标尺寸非常小，无法提取出明显的纹理与形状信息；3)红外图像受到自然界热辐射变化(如阳光照射条件等)的影响较大，弱小目标区域像素值在不同时间段变化起伏较大。

现有的基于红外图像的弱小目标检测方法主要包括：基于空间域与频域滤波的方法，基于小波、脊波变换的方法，基于形态学方法，基于马尔科夫随机场的方法，图像区域对比、机器学习方法等。所有的这些方法都存在着滤波器尺寸提前设定、先验条件要求过多、自适应性不强、虚警率高、计算复杂等问题。近年来，受到人类视觉机制的启发，视觉显著性开始受到人们的广泛关注，利用视觉显著性实现对图像中感兴趣区域的检测成为计算机视觉的研究热点。就红外弱小目标而言，虽然总体上红外弱小目标与局部背景之间的灰度差不大，但是就局部区域而言，红外弱小目标的红外辐射强度还是在一定程度上高于局部背景区域，这就使得可以将显著性分析方法引入到红外弱小目标检测中。

发明内容

有鉴于此，本发明实施例提供了一种红外图像中基于频域残差的小目标检测方法及装置，在图像频域显著性分析的基础上，利用频域残差图，通过设计一个显著性指标计算不同区域中包含目标的可能性，根据概率大小确定目标所在区域，完成弱小目标的检测，该方法的主要计算在频域内完成，计算量小，速度快，易于硬件加速，以改善现有技术中计算复杂的问题。

为了实现上述目的，本发明采用的技术方案如下：

一种红外图像中基于频域残差的小目标检测方法，包括：

利用频域残差法计算含有待检测小目标的原始红外图像的显著图；获取所述显著图的二值积分图及合成积分图；根据所述原始红外图像的大小确定所述显著图中的滑窗大小范围；根据所述二值积分图及所述合成积分图，分别利用滑窗法计算所述滑窗大小范围内每种大小的所述滑窗的每一个窗口的显著度，对应每种大小的所述滑窗获得含有每一个窗口的位置信息及显著度信息的矩阵Box^a*b，其中a*b表示所述滑窗的大小；对每个所述矩阵Box^a*b利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Box^a*b，合并所有的所述new_Box^a*b，获得矩阵ROI；根据所述矩阵ROI中的所述显著度信息确定所述小目标所在区域。

一种红外图像中基于频域残差的小目标检测装置，包括：

显著图获取模块，用于利用频域残差法计算含有待检测小目标的原始红外图像的显著图；积分图获取模块，用于获取所述显著图的二值积分图及合成积分图；滑窗大小获取模块，用于根据所述原始红外图像的大小确定所述显著图中的滑窗大小范围；显著度计算模块，用于根据所述二值积分图及所述合成积分图，分别利用滑窗法计算所述滑窗大小范围内每种大小的所述滑窗的每一个窗口的显著度，对应每种大小的所述滑窗获得含有每一个窗口的位置信息及显著度信息的矩阵Box^a*b，其中a*b表示所述滑窗的大小；非极大值抑制模块，用于对每个所述矩阵Box^a*b利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Box^a*b，合并所有的所述new_Box^a*b，获得矩阵ROI；小目标确定模块，用于根据所述矩阵ROI中的所述显著度信息确定所述小目标所在区域。

本发明实施例提供的红外图像中基于频域残差的小目标检测方法利用频域残差法，通过对图像频域的计算获得图像的显著图，再根据小目标在图像中所占的比例以及图像的大小等因素确定显著图中的滑窗大小范围，获得滑窗范围内每种大小的滑窗的每一个窗口的显著度，同时对应将窗口的位置及其显著度存储在矩阵中，对矩阵中每一行所表示的窗口及对应窗口的显著度利用非极大值抑制算法获得局部范围内具有最大显著度的窗口，再利用合并算法将这些窗口进行合并，最后得到表示小目标所在区域的窗口矩阵。该算法的主要计算发生在频率域，计算量小，速度快，且需要较少的先验知识，便可以获知相应小目标在红外图像中的位置。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明第一实施例提供的红外图像中基于频域残差的小目标检测方法的流程图；

图2示出了本发明第一实施例提供的一种获取显著图的流程图；

图3示出了本发明第一实施例提供的原始红外图像；

图4示出了本发明第一实施例提供的目标红外图像的显著图；

图5示出了本发明第一实施例提供的积分图的获取流程图；

图6示出了本发明第一实施例提供的根据所有窗口的显著度信息确定小目标区域的流程图；

图7示出了本发明第一实施例提供的矩阵ROI2所示的窗口；

图8示出了本发明第一实施例提供的窗口合并中待合并的窗口的示意图；

图9示出了本发明第一实施例提供的窗口合并中两个窗口合并后的窗口的示意图；

图10示出了本发明第一实施例提供的矩阵ROI3所示的窗口；

图11示出了本发明第一实施例提供的原始红外图像中小目标所在窗口；

图12示出了本发明第一实施例提供的方法的整体的算法流程图；

图13示出了本发明第二实施例提供的红外图像中基于频域残差的小目标检测装置的结构框图；

图14示出了本发明第二实施例提供的积分图获取模块的结构框图；

图15示出了本发明第二实施例提供的小目标确定模块的结构框图；

图16示出了本发明实施例提供的一种红外图像中基于频域残差的小目标检测装置可储存的计算机。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本发明实施例中针对红外图像中小目标的特点，提供了一种红外图像中基于频域残差的小目标检测方法，包括：

步骤S100：利用频域残差法(spectralresidual))计算含有待检测小目标的原始红外图像的显著图；

请参照图2，进一步的，在步骤S100中，可以包括：

步骤S101，将含有待检测小目标的原始红外图像缩小为原来的δ倍，获得目标红外图像；

具体的，图3示出了含有待检测小目标的原始红外图像，其中标记E所示方框内表示小目标所在区域。

在本实施例中，将原始红外图像进行缩小，可以提高后续处理的速度和检测的准确性。缩小的倍数可以根据小目标在原始图像中所占的比例、原始图像的大小以及缩小后小目标所占的面积确定。

具体的，在本实施例提供的方法中，需要确保缩小后的目标红外图像中小目标的面积大于4个像素，并且，本实施例提供的方法可以采用国际光学工程学会SPIE所确定的红外小目标的定义，即占原始红外图像的比例在0.2％到0.6％之间的目标，因此，在本实施例提供的方法中，δ满足其中，mⅹn表示原始红外图像的大小。当然，一般情况下，都是将图像进行缩小，因此，δ满足δ<1。

另外，当使用本方法检测占红外图像其他比例的目标或者对缩小后的目标图像中小目标的面积为其他要求时，δ需要满足的条件可以为其他。

步骤S102：利用频域残差法计算所述目标红外图像的显著图。

红外图像中存在小目标的区域为显著区域，该显著区域包含有检测者感兴趣的目标，即本实施例中需要检测的小目标。利用频域残差算法，可以获得表现图像显著区域的显著图，对显著图进行处理来检测小目标所在区域，可以极大地提高工作的效率。

具体的，由图3中的原始红外图像缩小δ倍后再经过频域残差法计算得到的显著图如图4所示。

步骤S110：获取所述显著图的二值积分图及合成积分图；

在本步骤中，需要先计算显著图的二值图及合成图，如图5所示，具体步骤如下：

步骤S111：获取所述显著图的二值图T，其中每个像素T(i,j)由下式计算：

$T(i,j)=\left\{\begin{array}{ccc}1& if& S(i,j)\&GreaterEqual;threshold\\ 0& if& S(i,j)<threshold\end{array}\right\}$

步骤S112：获取所述显著图的合成图F，其中每个像素F(i,j)由下式计算：

$F(i,j)=\left\{\begin{array}{ccc}S(i,j)& if& S(i,j)\&GreaterEqual;threshold\\ 0& if& S(i,j)<threshold\end{array}\right\}$

步骤S113：根据所述二值图T获得二值积分图；

步骤S114：根据所述合成图F获得合成积分图。

其中，threshold表示预先设置的阈值，在实施例提供的方法中，threshold可以取值0.2到0.4之间，当然threshold的取值并不作为本方法的限制。

另外，在本实施例中，S(i,j)表示显著图中第i行第j列的像素值。

可以理解的，本实施例提供的方法中，计算二值图和计算合成图的先后顺序不作为限制，另外，计算二值积分图和计算合成积分图的先后顺序也不作为限制。

对显著图做处理获得的二值图以及合成图，包含有目标区域的显著度，对后续计算显著度具有重要作用。

进一步的，计算二值图以及合成图的积分图，在后续的计算中可以提高计算效率。

步骤S120：根据所述原始红外图像的大小确定所述显著图中的滑窗大小范围；

在本实施例提供的方法中，根据原始红外图像的大小mⅹn、所述原始红外图像缩小的倍数δ以及所述小目标在原始红外图像中所占的比例确定所述滑窗大小的取值范围。当选取矩形滑窗时，滑窗大小表示为a*b，滑窗的边长可以是如下范围：

a∈[a₁,a₂]，b∈[b₁,b₂]，

$\&lsqb;a_1,a_2\&rsqb;=\&lsqb;float(\sqrt{\mathrm{\&delta;}\&times;0.2\%}\&times;m),float(\sqrt{\mathrm{\&delta;}\&times;0.6\%}\&times;m)\&rsqb;,$

$\&lsqb;b_1,b_2\&rsqb;=\&lsqb;float(\sqrt{\mathrm{\&delta;}\&times;0.2\%}\&times;n),float(\sqrt{\mathrm{\&delta;}\&times;0.6\%}\&times;n)\&rsqb;,$

a＝a₁+kτ,b＝b₁+kτ,a≤a₂,b≤b₂，k＝0,1,2,…，

τ为1至10之间的整数，表示所述滑窗的窗口变化步长，在本实施例中，τ的取值可以为1。当然，τ的取值并不作为限定，也可以是其他合适的取值。另外，0.2％与0.6％表示选取所述小目标在原始红外图像中所占的比例为0.2％至0.6％。float(.)表示向零取整。

在本发明实施例提供的方法中，滑窗也可以是边长为a的正方形。当选取正方形滑窗时，滑窗的边长取值范围可以是：

a∈[a₁,a₂]，

$\&lsqb;a_1,a_2\&rsqb;=\&lsqb;float\left(\sqrt{\mathrm{\&delta;}\&times;0.2\%\&times;m\&times;n}\right),float\left(\sqrt{\mathrm{\&delta;}\&times;0.6\%\&times;m\&times;n}\right)\&rsqb;$

其中，a＝a₁+kτ,a≤a₂。

在本实施例中，选取a*b的矩形滑窗以做示例说明。

步骤S130：根据所述二值积分图及所述合成积分图，分别利用滑窗法计算所述滑窗大小范围内每种大小的所述滑窗的每一个窗口的显著度，对应每种大小的所述滑窗获得含有每一个窗口的位置信息及显著度信息的矩阵Box^a*b，其中a*b表示所述滑窗的大小；

在本实施例提供的方法中，每种大小的滑窗包括多个窗口，即a₁*b₁大小的滑窗包括多个窗口，(a₁+τ)*(b₁+τ)大小的滑窗包括多个窗口等。

显著度可以表示目标在该窗口中存在的可能性，可能性越大，score的值越大。计算显著度，需要设置参数α和β。所述α表示二值图的相应窗口范围内的所有点的像素值之和，通过所述二值积分图进行计算。所述β表示合成图的相应窗口范围内的所有点的像素值之和，通过所述合成积分图进行计算。对于每一个窗口，参数α和β的具体计算公式可以是：

α＝Tⁱⁿ(i+a-1,j+b-1)+Tⁱⁿ(i-1,j-1)-Tⁱⁿ(i+a-1,j-1)-Tⁱⁿ(i-1,j+b-1)

β＝Fⁱⁿ(i+a-1,j+b-1)+Fⁱⁿ(i-1,j-1)-Fⁱⁿ(i+a-1,j-1)-Fⁱⁿ(i-1,j+b-1)

其中，j表示所计算窗口的最小列为第j列，i表示所计算窗口的最小行为第i行，j+b-1表示所计算窗口的最大列为第j+b-1列，i+a-1表示所计算窗口的最大行为第i+a-1行。

每种大小的滑窗的每一个窗口的显著度score通过公式 $score=\frac{\mathrm{\&alpha;}\&times;\mathrm{\&beta;}}{a\&times;b}$ 计算。

对所有大小范围内的滑窗的每一个窗口进行计算，可以获得a、b取不同值时的每一个窗口的位置信息及显著度信息的矩阵Box^a*b，矩阵Box^a*b是一个num*5的矩阵，其中，num表示大小为a*b的滑窗的所有窗口的总数，即num＝(m-a+1)(n-b+1)。

矩阵Box^a*b的每一行表示为[j,i,j+b-1,i+a-1,score]，表示该行所示窗口在所述显著图中的最小列为第j列，最小行为第i行，最大列为第j+b-1列，最大行为第i+a-1行，显著度为score，i、j、a和b均为正整数。

再将所有窗口位置对应变换到原始红外图像中，变换后，矩阵Box^a*b的每一行表示为：

$\&lsqb;float\left(\frac{j}{\sqrt{\mathrm{\&delta;}}}\right),float\left(\frac{i}{\sqrt{\mathrm{\&delta;}}}\right),float\left(\frac{j+b-1}{\sqrt{\mathrm{\&delta;}}}\right),float\left(\frac{i+a-1}{\sqrt{\mathrm{\&delta;}}}\right),score\&rsqb;,$ 即表示该行所示窗口在原始红外图像中的最小列为第列，最小行为第行，最大列为第列，最大行为第行。

步骤S140：对每个所述矩阵Box^a*b利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Box^a*b，合并所有的所述矩阵new_Box^a*b，获得矩阵ROI；

在本发明实施例提供的方法中，非极大值抑制算法以显著度score作为抑制指标，选用窗口重叠系数为0。

对每个矩阵Box^a*b利用非极大值抑制算法，即对a与b选取不同值时分别获得的矩阵Box^a*b使用非极大值抑制算法，可以获得大小为a*b的滑窗的多个互不重叠的窗口，组成矩阵new_Box^a*b，每个窗口为局部范围内具有最大显著度值的窗口。

由于a与b取不同的值时对应不同的矩阵，当对所有a、b可取值的滑窗进行非极大值抑制算法过后，合并所有的矩阵new_Box^a*b，获得矩阵ROI。

步骤S150：根据所述矩阵ROI中的所述显著度信息确定所述小目标所在区域。

矩阵ROI包括了所有滑窗的具有局部最大显著度值的窗口，小目标可能存在的区域可以通过矩阵ROI中的窗口得到。具体的，如图6所示，包括：

步骤S151：对所述矩阵ROI中的每一行按照显著度值从大到小进行排序，获得新的矩阵ROI1；

在矩阵ROI1中，显著度值最大的窗口位于第一行，其后显著度值依次递减。

步骤S152：取所述矩阵ROI1中的前q行得到矩阵ROI2；

在本实施例提供的方法中，此处的前q行的q根据矩阵ROI1的行数确定，具体的，q的取值可以是矩阵ROI1行数的10％至矩阵ROI1行数的30％中的任意数。如图7所示，当q取为ROI1的行数的10％时，对应图3的原始红外图像得到的矩阵ROI2所示的窗口，标记A、B所示方框表示ROI1中前10％行所示的窗口区域，B表示实际存在目标的区域，A表示在ROI2中显著度值位于总窗口前10％的可能存在目标但实际不存在目标的区域。当然，q的取值并不作为本发明实施例的限制。

取矩阵ROI1的前q行即取所有窗口中显著度值较大的q个窗口。

步骤S153：利用窗口重叠度η和所述显著度对所述矩阵ROI2进行窗口合并，获得窗口矩阵ROI3，所述窗口矩阵ROI3中的第一行即为小目标所在窗口区域。

窗口合并即将满足条件的多个窗口合并为一个窗口，比如，如图8所示的两个窗口的合并可以用如下方法：

矩阵ROI2中表示窗口A的所在行即窗口A的行向量为[j_minA,i_minA,j_maxA,i_maxA,score_A]，矩阵ROI2中表示窗口B的行向量为[j_minB,i_minB,j_maxB,i_maxB,score_B]，当score_A>score_B，窗口重叠度η大于窗口重叠度阈值H时，合并后的窗口C如图9所示，其行向量表示为[j_minA,i_minB,j_maxB,i_maxB,score_A]。

其中，窗口重叠度η可以用如下方法计算，即可以理解的，η的计算方法中，分母用显著度值较大的窗口的行列值来计算。两个窗口的窗口重叠度η可以理解为两个窗口相互重叠的面积占显著度值较大的窗口的面积的比例。

将矩阵ROI2中的窗口进行窗口合并，过程为：分别将所述矩阵ROI2中的每一行所表示的窗口作为标准窗口；计算所述标准窗口与所述矩阵ROI2中位于所述标准窗口之后的每一行表示的窗口的窗口重叠度η，所述标准窗口与满足η大于窗口重叠度阈值H的窗口依次合并。

具体的，可以是首先将矩阵ROI2中的第一行所表示的窗口作为标准窗口，若第一行与第二行之间的窗口重叠度η满足η>H，第一行与第二行进行窗口合并，得到第一合并行，再将第一行与第三行进行比较，若满足η>H，将第一合并行与第三行合并。第一行依次与其后的行比较再合并，最后得到的合并行保存到矩阵ROI3中，作为ROI3的第一行。

同样，第二行与其后的行以同样的方式进行合并，保存到ROI3中的第二行。若某一行其后没有满足与其合并的条件的，就将该行直接对应保存到ROI3中。

在本发明实施例中，H的值并不作为限制。当窗口重叠度阈值H的取值是0.9时，如图10示出了对应如图3所示的原始红外图像中ROI3所表示的合并后的窗口，标记C、D所示方框表示ROI2中的窗口合并后得到的窗口，D表示合并后实际存在目标的区域，C表示在合并后显著度值较高的可能存在目标的区域，在本实施例所提供的原始图像中，小目标是单目标，所以窗口C中不存在小目标。

最后，若本次检测进行的是单目标检测，即检测范围内只有一个待检测的小目标，矩阵ROI3的第一行即是所要检测的小目标所在的窗口区域，对应原始红外图像中可以如图11中标记D所示区域所示。当然，若是检测范围内存在多目标，可以选取矩阵ROI3中对应目标数量的前几行作为小目标所在的几个区域。

在本发明的一种具体实施方式中，小目标检测方法可以采用图12所示的流程来实现。

本发明实施例提供的红外图像中基于频域残差的小目标检测方法，以红外图像的频域残差为基础，得到红外图像的显著图；在此基础上，根据确定的搜索窗口大小，提出一种区域显著度计算方法，计算一个显著度指标，用以表征不同窗口中包含目标的可能性；最后，提出一种基于显著度指标的窗口合并方法，实现红外小目标的检测。

实施例2

本发明实施例提供了一种红外图像中基于频域残差的小目标检测装置，如图13所示，包括：显著图获取模块210，用于利用频域残差法计算含有待检测小目标的原始红外图像的显著图；积分图获取模块220，用于获取所述显著图的二值积分图及合成积分图；滑窗大小获取模块230，用于根据所述原始红外图像的大小确定所述显著图中的滑窗大小范围；显著度计算模块240，用于根据所述二值积分图及所述合成积分图，分别利用滑窗法计算所述滑窗大小范围内每种大小的所述滑窗的每一个窗口的显著度，对应每种大小的所述滑窗获得含有每一个窗口的位置信息及显著度信息的矩阵Box^a*b，其中a*b表示所述滑窗的大小；非极大值抑制模块250，用于对每个所述矩阵Box^a*b利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Box^a*b，合并所有的所述new_Box^a*b，获得矩阵ROI；小目标确定模块260，用于根据所述矩阵ROI中的所述显著度信息确定所述小目标所在区域。

在本发明实施例提供的装置中，所述矩阵Boxa*b每一行为[j,i,j+b-1,i+a-1,score]，表示在所述显著图中的最小列为第j列，最小行为第i行，最大列为第j+b-1列，最大行为第i+a-1行，显著度为score的窗口，i、j、a和b均为正整数。所示显著图获取模块210包括：将含有待检测小目标的原始红外图像的显著图缩小为原来的δ倍，获得目标红外图像；利用频域残差法计算所述目标红外图像的显著图。

其中，且δ<1，所述mⅹn表示原始红外图像的大小。

在本实施例中，如图14所示，积分图获取模块220包括：

二值图获取单元221：获取所述显著图的二值图T，其中每个像素T(i,j)由下式计算：

$T(i,j)=\left\{\begin{array}{ccc}1& if& S(i,j)\&GreaterEqual;threshold\\ 0& if& S(i,j)<threshold\end{array}\right\};$

合成图获取单元222：获取所述显著图的合成图F，其中每个像素F(i,j)由下式计算：

$F(i,j)=\left\{\begin{array}{ccc}S(i,j)& if& S(i,j)\&GreaterEqual;threshold\\ 0& if& S(i,j)<threshold\end{array}\right\};$

二值积分图获取单元223：根据所述二值图T获得二值积分图；

合成积分图获取单元224：根据所述合成图F获得合成积分图。

在本发明实施例所提供的装置中，滑窗大小获取模块230包括：根据原始红外图像的大小、所述原始红外图像缩小的倍数δ以及所述小目标在原始红外图像中所占的比例确定所述滑窗大小的取值范围，其中，

a∈[a₁,a₂]，b∈[b₁,b₂]，

$\&lsqb;a_1,a_2\&rsqb;=\&lsqb;float(\sqrt{\mathrm{\&delta;}\&times;0.2\%}\&times;m),float(\sqrt{\mathrm{\&delta;}\&times;0.6\%}\&times;m)\&rsqb;,$

$\&lsqb;b_1,b_2\&rsqb;=\&lsqb;float(\sqrt{\mathrm{\&delta;}\&times;0.2\%}\&times;n),float(\sqrt{\mathrm{\&delta;}\&times;0.6\%}\&times;n)\&rsqb;,$

a＝a₁+kτ,b＝b₁+kτ,a≤a₂,b≤b₂，k＝0,1,2,…，

τ为1至10之间的整数，表示所述滑窗的窗口变化步长，0.2％及0.6％表示所述小目标在原始红外图像中所占的比例为0.2％至0.6％。

进一步的，在本发明实施例提供的装置中，显著度计算模块240包括：设置参数α和β，所述α表示二值图的相应窗口范围内的所有点的像素值之和，通过所述二值积分图进行计算，所述β表示合成图的相应窗口范围内的所有点的像素值之和，通过所述合成积分图进行计算。

通过公式计算每种大小的所述滑窗的每一个窗口的显著度score。

进一步的，如图15所示，所述小目标确定模块260包括：

排序单元261：对所述矩阵ROI中的每一行按照显著度值从大到小进行排序，获得新的矩阵ROI1；

显著度较大行获取单元262，取所述矩阵ROI1中的前q行得到矩阵ROI2，其中，q为矩阵ROI1行数的10％至30％的一个数；

窗口合并单元263：利用窗口重叠度η和所述显著度对所述矩阵ROI2进行窗口合并，获得窗口矩阵ROI3，所述窗口矩阵ROI3中的第一行即为小目标所在窗口区域。

其中，窗口合并单元263包括：分别将所述矩阵ROI2中的每一行所表示的窗口作为标准窗口；计算所述标准窗口与所述矩阵ROI2中位于所述标准窗口之后的每一行表示的窗口的窗口重叠度η，所述标准窗口与满足η大于窗口重叠度阈值H的窗口依次合并。

参阅图16，本发明实施例提供的另一种计算机600，包括：处理器500，存储器501，总线502和通信接口503，所述处理器500、通信接口503和存储器501通过总线502连接；处理器500用于执行存储器501中存储的可执行模块，例如计算机程序。所述基于红外图像中基于频域残差的小目标检测装置储存于所述存储器501。

其中，存储器501可能包含高速随机存取存储器(RAM：RandomAccessMemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口503(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线502可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图16中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器501用于存储程序，所述处理器500在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的装置所执行的方法可以应用于处理器500中，或者由处理器500实现。

处理器500可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器500中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器500可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称数据请求端)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501，处理器500读取存储器501中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的服务器和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种红外图像中基于频域残差的小目标检测方法，其特征在于，包括：

利用频域残差法计算含有待检测小目标的原始红外图像的显著图；

获取所述显著图的二值积分图及合成积分图；

根据所述原始红外图像的大小确定所述显著图中的滑窗大小范围；

根据所述二值积分图及所述合成积分图，分别利用滑窗法计算所述滑窗大小范围内每种大小的所述滑窗的每一个窗口的显著度，对应每种大小的所述滑窗获得含有每一个窗口的位置信息及显著度信息的矩阵Box^a*b，其中a*b表示所述滑窗的大小；

对每个所述矩阵Box^a*b利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Box^a*b，合并所有的所述矩阵new_Box^a*b，获得矩阵ROI；

根据所述矩阵ROI中的所述显著度信息确定所述小目标所在区域。

2.根据权利要求1所述的方法，其特征在于，所述矩阵Box^a*b每一行为[j,i,j+b-1,i+a-1,score]，表示在所述显著图中的最小列为第j列，最小行为第i行，最大列为第j+b-1列，最大行为第i+a-1行，显著度为score的窗口，i、j、a和b均为正整数；

所述利用频域残差法计算含有待检测小目标的原始红外图像的显著图的步骤包括：

将含有待检测小目标的原始红外图像缩小为原来的δ倍，获得目标红外图像；

利用频域残差法计算所述目标红外图像的显著图；

所述对应每种大小的所述滑窗获得含有每一个窗口的位置信息及显著度信息的矩阵Box^a*b之后，还包括：

将所有窗口位置变换到原始红外图像中，得到大小为a*b的所述滑窗对应的矩阵Box^a*b的每一行为：

$\&lsqb;float\left(\frac{j}{\sqrt{\mathrm{\&delta;}}}\right),float\left(\frac{i}{\sqrt{\mathrm{\&delta;}}}\right),float\left(\frac{j+b-1}{\sqrt{\mathrm{\&delta;}}}\right),float\left(\frac{i+a-1}{\sqrt{\mathrm{\&delta;}}}\right),score\&rsqb;.$

3.根据权利要求2所述的方法，其特征在于，所述获取所述显著图的二值积分图及合成积分图的步骤包括：

获取所述显著图的二值图T，其中每个像素T(i,j)由下式计算：

$T(i,j)=\left\{\begin{array}{ccc}1& if& S(i,j)\&GreaterEqual;threshold\\ 0& if& S(i,j)<threshold\end{array}\right\}$

获取所述显著图的合成图F，其中每个像素F(i,j)由下式计算：

$F(i,j)=\left\{\begin{array}{ccc}S(i,j)& if& S(i,j)\&GreaterEqual;threshold\\ 0& if& S(i,j)<threshold\end{array}\right\}$

其中，threshold表示预先设置的阈值，S(i,j)表示显著图中第i行第j列的像素值；

根据所述二值图T获得二值积分图，根据所述合成图F获得合成积分图。

4.根据权利要求2所述的方法，其特征在于，且δ<1，所述mⅹn表示原始红外图像的大小。

5.根据权利要求2所述的方法，其特征在于，所述根据所述原始红外图像的大小确定所述显著图中的滑窗大小范围包括：

根据原始红外图像的大小、所述原始红外图像缩小的倍数δ以及所述小目标在原始红外图像中所占的比例确定所述滑窗大小的取值范围：

a∈[a₁,a₂]，b∈[b₁,b₂]，

$\&lsqb;a_1,a_2\&rsqb;=\&lsqb;float(\sqrt{\mathrm{\&delta;}\&times;0.2\%}\&times;m),float(\sqrt{\mathrm{\&delta;}\&times;0.6\%}\&times;m)\&rsqb;,$

$\&lsqb;b_1,b_2\&rsqb;=\&lsqb;float(\sqrt{\mathrm{\&delta;}\&times;0.2\%}\&times;n),float(\sqrt{\mathrm{\&delta;}\&times;0.6\%}\&times;n)\&rsqb;,$

a＝a₁+kτ,b＝b₁+kτ,a≤a₂,b≤b₂，k＝0,1,2,…，

τ为1至10之间的整数，表示所述滑窗的窗口变化步长，0.2％及0.6％表示所述小目标在原始红外图像中所占的比例为0.2％至0.6％。

6.根据权利要求5所述的方法，其特征在于，所述利用滑窗法计算所述滑窗大小范围内每种大小的所述滑窗的每一个窗口的显著度包括：

设置参数α和β，所述α表示二值图的相应窗口范围内的所有点的像素值之和，通过所述二值积分图进行计算，所述β表示合成图的相应窗口范围内的所有点的像素值之和，通过所述合成积分图进行计算。

通过公式计算每种大小的所述滑窗的每一个窗口的显著度score。

7.根据权利要求1所述的方法，其特征在于，所述根据所述ROI矩阵中的所述显著度信息确定所述小目标所在区域包括：

对所述矩阵ROI中的每一行按照显著度值从大到小进行排序，获得新的矩阵ROI1；

取所述矩阵ROI1中的前q行得到矩阵ROI2，其中，q为矩阵ROI1行数的10％至30％的一个数；

利用窗口重叠度η和所述显著度对所述矩阵ROI2进行窗口合并，获得窗口矩阵ROI3，所述窗口矩阵ROI3中的第一行即为小目标所在窗口区域。

8.根据权利要求7所述的方法，其特征在于，所述利用窗口重叠度η和所述显著度对所述矩阵ROI2进行窗口合并包括：

分别将所述矩阵ROI2中的每一行所表示的窗口作为标准窗口；

计算所述标准窗口与所述矩阵ROI2中位于所述标准窗口之后的每一行表示的窗口的窗口重叠度η，所述标准窗口与满足η大于窗口重叠度阈值H的窗口依次合并。

9.根据权利要求1所述的方法，其特征在于，所述非极大值抑制算法中以所述显著度score作为抑制指标，选用窗口重叠系数为0。

10.一种红外图像中基于频域残差的小目标检测装置，其特征在于，包括：

显著图获取模块，用于利用频域残差法计算含有待检测小目标的原始红外图像的显著图；

积分图获取模块，用于获取所述显著图的二值积分图及合成积分图；

滑窗大小获取模块，用于根据所述原始红外图像的大小确定所述显著图中的滑窗大小范围；

显著度计算模块，用于根据所述二值积分图及所述合成积分图，分别利用滑窗法计算所述滑窗大小范围内每种大小的所述滑窗的每一个窗口的显著度，对应每种大小的所述滑窗获得含有每一个窗口的位置信息及显著度信息的矩阵Box^a*b，其中a*b表示所述滑窗的大小；

非极大值抑制模块，用于对每个所述矩阵Box^a*b利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Box^a*b，合并所有的所述new_Box^a*b，获得矩阵ROI；

小目标确定模块，用于根据所述矩阵ROI中的所述显著度信息确定所述小目标所在区域。