CN116310675A - 一种低照度下红外-可见光图像的特征互补图像处理方法 - Google Patents

Abstract

本发明涉及低照度图像特征提取处理技术领域，具体地说，涉及一种低照度下红外‑可见光图像的特征互补图像处理方法。包括如下步骤：提取红外‑可见光图像中的极大稳定区域；对特征区域进行属性计算并分类极大稳定区域；匹配相似的极大稳定区域；定位前景目标区域，输出检测目标。本发明设计可以融合可见光图像信息实现目标快速准确定位，为人脸识别提供不受环境光影响的、高质量的人脸图像，提高作业人员检测、识别及跟踪准确率；能有效滤除背景物，辅助定位在红外图像中检测的前景目标，并补充仅利用红外图像提取前景目标的缺失部分；不需要对背景建模，因此比以往算法计算上更高效，更简单，单帧检测的效果也能达到实时处理要求。

Description

一种低照度下红外-可见光图像的特征互补图像处理方法

技术领域

本发明涉及低照度图像特征提取处理技术领域，具体地说，涉及一种低照度下红外-可见光图像的特征互补图像处理方法。

背景技术

以目标检测算法为核心的下游任务逐渐落地，如自动驾驶环境感知、视频监控、人脸识别等。但目前的目标检测算法大多基于单模态可见光图像为单一训练数据，在面临复杂环境，如光照条件不良，雨雾天时，此类算法精度不高，鲁棒性差。因此，近年来，越来越多学者聚焦于联合可见光图像和红外图像进行相关研究，通过结合可见光图像具有清晰的目标纹理特征优势和红外图像不受光照条件影响，具有清晰的目标轮廓优势，以可见光图像和红外图像为多模态数据训练相关检测网络，从而提高检测算法的鲁棒性。红外与可见光图像融合旨在综合两类传感器的优势，互补生成的融合图像具有更好的目标感知和场景表达，有利于人眼观察和后续计算处理。红外传感器对热源辐射敏感可以获取突出的目标区域信息，但所获得的红外图像通常缺乏结构特征和纹理细节。相反，可见光传感器通过光反射成像，可以获取丰富的场景信息和纹理细节，可见光图像具有较高的空间分辨率和丰富的纹理细节，但不能有效突出目标特性，且易受到外界环境影响，特别在低照度的环境条件下，信息丢失严重。由于红外和可见光成像机制的不同，这两类图像具有较强的互补信息，只有运用融合技术才能有效提高红外与可见光成像传感器的协同探测能力，在遥感探测、医疗诊断、智能驾驶、安全监控等领域有广泛应用。

目前，红外和可见光图像融合技术大致可以分为传统融合方法和深度学习融合方法。传统图像融合方法通常以相同的特征变换或特征表示提取图像特征，采用合适的融合规则进行合并，再通过反变换重构获得最终融合图像。由于红外与可见光传感器成像机制不同，红外图像以像素亮度表征目标特征，而可见光图像以边缘和梯度表征场景纹理。传统融合方法不考虑源图像的内在不同特性，采用相同的变换或表示模型无差别地提取图像特征，不可避免地造成融合性能低、视觉效果差的结果。此外，融合规则是人为设定，且越来越复杂，计算成本高，限制了图像融合的实际应用。

在低照度和低能见度条件下，红外图像能提供更加可靠检测目标信息而可见光图像能提供详细的场景细节，将红外和可见光图像这两种互补的特征信息融合到一张图像中，通常同一场景红外-可见光图像间前景目标的融合特征存在难以完全提取和正确提取的问题。鉴于此，我们提出了一种低照度下红外-可见光图像的特征互补图像处理方法。

发明内容

本发明的目的在于提供一种低照度下红外-可见光图像的特征互补图像处理方法，以解决上述背景技术中提出的问题。

为实现上述技术问题的解决，本发明的目的之一在于，提供了一种低照度下红外-可见光图像的特征互补图像处理方法，包括如下步骤：

S1、提取红外-可见光图像中的极大稳定区域(MSERs)；

作为本技术方案的进一步改进，本步骤还包括：

在红外图像和可见光图像中检测极大稳定区域MSERs，并椭圆拟合检测到的MSERs区域；

椭圆的中心P_c为MSERs的重心，反映MSERs的位置，椭圆的长轴方向θ代表MSERs区域的方向，结合长半轴w和短半轴l一起表示MSERs区域的形状。

作为本技术方案的进一步改进，本步骤中，在红外图像和可见光图像中检测极大稳定区域MSERs，包括以下步骤：

像素点排序：采用BinSort方法将图像像素按照强度大小进行排序；

极值区域的提取：采用四邻域或八领域法生成ComponentTree；

稳定判定获取MSER区域：对于每一个连通域Q_i通过分析区域树可以得到最大稳定判定条件；最大稳定判定条件为：

当其在i处取得局部极小值时对应的区域即Q_i为最大稳定极值区域；其中，|·|表示该区域面积，Δ为灰度阈值的微小变化量，取Δ＝5的标准设置。

S2、对特征区域进行属性计算并分类极大稳定区域(MSERs)；

作为本技术方案的进一步改进，本步骤还包括：

定义MSERs区域稠密度函数和前景目标所在的MSERs区域相似度函数；

计算MSERs属性依据以上两个度量指标将ERsMS分类。

作为本技术方案的进一步改进，本步骤中，将MSERs分类还包括：

按像素亮度划分MSERs为MSERs+和MSERs-；

定义前景目标所在的MSERs区域稠密度函数，满足稠密度条件的MSERs作为候选目标区域；

基于前景目标自身固有的特性可定义前景目标所在的MSERs区域相似度函数；

依据稠密度和相似度两个度量指标将MSERs+或者MSERs-再分类；

其中，稠密度Dense：以MSERs区域R_i内包含质心P的个数来表征；定义如下：

相似度Similarity：以MSERs区域R_a、R_b拟合的椭圆形状相似度来表征，应用韦氏距离计算相似度；

k_i表示两区域R_a、R_b间参数的比率，其参数设定为椭圆两个半轴长w、l和扁率f，定义如下：

k_i＝max{|a_i-b_i|/(C+b_i),|a_i-b_i|/(C+a_i)},i＝1,2,3；

为避免分母为0，设置C为1；

d_i＝i gmoid(k_i)＝(1-exp(-k_i))/(1+exp(-k_i)),i＝1,2,3；

则d_i∈[0,1)；

Similarity＝1-∏d_i,i＝1,2,3；

Similarity值越接近1，两区域越相似；

设定D₀为稠密度Dense阈值，相似度Similarity阈值为S₀，建立分类MSERs的稠密区域集合ΩC，ΩC＝{Ω₁,Ω₂,...；Ω_i...；Ω_N}，表示包括N类MSERs区域；Dense(Ω_i)≥D₀,Similarity(Ω_i)≥S₀，其中，Ω_i＝{R₁,R₂,...；R_m}表示第i类MSERs稠密区域的集合，包含m个MSERs区域，记录MSERs区域质心位置、形状参数。

S3、匹配相似的极大稳定区域(MSERs)；

作为本技术方案的进一步改进，本步骤还包括：

在红外-可见光图像间搜索匹配MSERs相似区域，能滤除背景物，筛出前景目标，并补充在红外图像中未检测完整的前景目标区域；

红外图像内的相似区域检测，能检测出在红外-可见光图像间搜索过程中产生的误滤除前景目标。

作为本技术方案的进一步改进，本步骤中，搜索匹配MSERs相似区域，还包括：

取红外图像I_IR中一类MSERs区域Ω_CIR，

在可见光图像I_V中搜索此类Ω_CIR中MSERs区域/>

的映射R_V,R_V区域范围内存在MSERs区域/>

则对/>

和/>

进行相似度检测，满足相似度条件的匹配区域，则记录两图相似匹配区域对

作为候选目标区域，/>

其中，R_V是搜索出的可见光图像I_V中的相似匹配区域，R_IR是红外图像I_IR中相似匹配区域；

在可见光图像I_V中穷尽搜索红外图像I_IR所有类别MSERs区域Ω_CIR，直到没有匹配MSERs区域为止；映射区域匹配可筛出前景目标，相似度检测可滤除背景物，可辅助定位检测目标，补充在红外图像中未检测完整的前景目标区域。

S4、定位前景目标区域，输出检测目标；

作为本技术方案的进一步改进，本步骤还包括：可见光图像与红外图像匹配MSERs区域融合，融合规则基于两图像的灰度值。

作为本技术方案的进一步改进，本步骤中，融合规则基于两图像的灰度值，还包括：

取区域R内所有像素点的灰度值均值，计算如下：

式中，N表示区域中像素点的个数，g(m,n)是区域内像素点对应的灰度值；

最终融合匹配MSERs区域后的目标区域F表示如下：

式中，R_IR(m,n)表示在红外图像中匹配的MSERs区域，R_V(m,n)表示在可见光图像中匹配的MSERs区域；两图间无匹配MSERs区域时，或者R_IR(m,n)属于一类MSERs区域Ω_CIR，则直接获取红外图像中标记的MSERs区域R_IR(m,n)输出。

本发明的目的之二在于，提供了一种图像处理运行平台装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述的低照度下红外-可见光图像的特征互补图像处理方法的步骤。

本发明的目的之三在于，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的低照度下红外-可见光图像的特征互补图像处理方法的步骤。

与现有技术相比，本发明的有益效果：

1.该低照度下红外-可见光图像的特征互补图像处理方法中，可以针对在低照度和低能见度条件下，将红外图像的目标和可见光图像的场景细节融合到一张图像中，可以融合可见光图像信息实现目标快速准确定位，为人脸识别提供不受环境光影响的、高质量的人脸图像，提高作业人员检测、识别及跟踪准确率；

2.该低照度下红外-可见光图像的特征互补图像处理方法中，区域检测识别匹配，能有效滤除背景物，辅助定位在红外图像中检测的前景目标，并补充仅利用红外图像提取前景目标的缺失部分；已使用公共数据库对该方法进行测试，并与早期融合方法进行比较，能获得更好的召回率，同时融合后准确率不会下降；不需要对背景建模，因此比以往算法计算上更高效、更简单，单帧检测的效果也能达到实时处理要求，从而正确率≥95％。

附图说明

图1为本发明中示例性的基于互补融合的作业人员检测框架构成示意图；

图2为本发明中示例性的基于互补融合的效果示意图；

图3为本发明中示例性的分类与检测目标的过程示意图；

图4为本发明中示例性的融合检测的过程示意图；

图5为本发明中示例性的创建的数据集中融合检测的人员轮廓结果图；

图6为本发明中示例性使用公共数据库测试后在OSU数据库获得的召回率和精度表图；

图7为本发明中示例性的电子计算机平台装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1-图6所示，本实施例提供了一种低照度下红外-可见光图像的特征互补图像处理方法，包括如下步骤：

S1、提取红外-可见光图像中的极大稳定区域(MSERs)；

S2、对特征区域进行属性计算并分类极大稳定区域(MSERs)；

S3、匹配相似的极大稳定区域(MSERs)；

S4、定位前景目标区域，输出检测目标。

本实施例中，提取红外-可见光图像前景目标，包括：

对于静态的背景，可以采用高斯混合模型，利用视频每一帧的信息拟合出一个背景，然后利用背景差分的办法提取出前景目标；对于动态的背景，可以采用Vibe算法。Vibe算法是一种基于背景更新的前景检测算法，其原理是通过提取像素点(x,y)周围的像素值及以前的像素值建立像素点的样本集，然后再将另一帧(x,y)处的像素值与样本集中的像素值进行比较，如果其与样本集中的像素值的距离大于某阈值的话，则认为该像素点为前景像素点，否则为背景像素点；如图2所示。

本实施例中，如图3所示，分类与检测目标包括：

(1)将整个图像通过CNN向前传递以生成卷积特征图；

(2)通过在这些特征图上应用区域提议网络(RPN)来识别感兴趣的区域，这些特征图返回具有对象性分数的对象提议；

(3)对它们应用ROI池化层使它们具有相同的大小，然后将提案传递到全连接层；

(4)在其顶部应用Softmax层和线性回归层对边界框进行分类和输出。

进一步地，极大稳定极值区域MSERs算法包括：

由Matas等人提出MSERs区域特征提取算法，所有像素的强度均小于或大于区域周围的像素值的区域为极大稳定极值区域。MSER算法使用BINSORT算法对像素灰度进行快速排序，从0～255，逐渐变化阈值大小，将像素强度小于阈值的像素点忽略不计，像素强度大于或者等于阈值的像素点记录下来，其中相邻接的点形成极值区域。使用Union-Find算法搜索极值区域，记录相连区域的列表和面积。在连续增加或者减小阈值过程中，经过好几个阈值变化而区域大小没有变化的极值区域就是最稳定极值区域MSERs。其中，BINSORT算法的复杂度为0(n)，Union-Find算法的计算复杂度为0(nlg(lg(n)))，n为灰度值。

进一步地，基于互补融合的作业人员检测包括：

基于互补融合的作业人员检测框架构成如图1所示；步骤如下：

输入：已配准的红外图像和可见光图像；输出：融合检测的目标轮廓；

步骤1：在红外图像和可见光图像中检测极大稳定区域MSERs，并椭圆拟合检测到的MSERs区域；椭圆的中心P_c为MSERs的重心，反映MSERs的位置，椭圆的长轴方向θ代表MSERs区域的方向，结合长半轴w和短半轴l一起表示MSERs区域的形状；

步骤2：定义MSERs区域稠密度函数和前景目标所在的MSERs区域相似度函数；计算MSERs属性依据以上两个度量指标将ERsMS分类；

步骤3：在红外-可见光图像间搜索匹配MSERs相似区域，能滤除背景物，筛出前景目标，并补充在红外图像中未检测完整的前景目标区域；红外图像内的相似区域检测，能检测出在红外-可见光图像间搜索过程中产生的误滤除前景目标；

步骤4：可见光图像与红外图像匹配MSERs区域融合，融合规则基于两图像的灰度值。

其中，检测拟合极大稳定区域MSERs包括：

检测MSERs区域的原理与过程如下：

像素点排序：采用BinSort方法将图像像素按照强度大小进行排序；

极值区域的提取：采用四邻域或八领域法生成ComponentTree；

稳定判定获取MSER区域：对于每一个连通域Q_i通过分析区域树可以得到最大稳定判定条件；最大稳定判定条件为：

当其在i处取得局部极小值时对应的区域即Q_i为最大稳定极值区域；其中，|·|表示该区域面积，Δ为灰度阈值的微小变化量，取Δ＝5的标准设置。

进而，对MSERs区域拟合以便于描述区域特性。采用区域仿射不变椭圆拟合的方法计算MSER区域，椭圆能有效地反映区域的位置、尺寸和方向。椭圆的中心P_c为MSERs的重心，反映MSERs的位置，椭圆的长轴方向θ代表MSERs区域的方向，结合长半轴w和短半轴l一起表示MSERs区域的形状。

进一步地，计算拟合MSERs区域属性并分类包括：

按像素亮度可划分MSERs为MSERs+和MSERs-。因此在红外和可见光图像中，MSERs区域首先划分为两大类。在红外图像中，前景目标往往是较亮的区域。如果在某一个区域范围内检测到多个MSERs+或者MSERs-区域，那这个区域像素强度较周围区域区分度高。可定义前景目标所在的MSERs区域稠密度函数，满足稠密度条件的MSERs可作为我们的候选目标区域。需要检测的前景目标是现实世界的一类物体，有自身固有的特性，因此可定义前景目标所在的MSERs区域相似度函数。依据稠密度和相似度两个度量指标将MSERs+或者MSERs-再分类。

其中，稠密度Dense：以MSERs区域R_i内包含质心P的个数来表征；定义如下：

相似度Similarity：以MSERs区域R_a、R_b拟合的椭圆形状相似度来表征，应用韦氏距离计算相似度；

k_i表示两区域R_a、R_b间参数的比率，其参数设定为椭圆两个半轴长w、l和扁率f，定义如下：

k_i＝max{|a_i-b_i|/(C+b_i),|a_i-b_i|/(C+a_i)},i＝1,2,3；

为避免分母为0，设置C为1；

d_i＝i gmoid(k_i)＝(1-exp(-k_i))/(1+exp(-k_i)),i＝1,2,3；

则d_i∈[0,1)；

Similarity＝1-∏d_i,i＝1,2,3；

Similarity值越接近1，两区域越相似；

设定D₀为稠密度Dense阈值，相似度Similarity阈值为S₀，建立分类MSERs的稠密区域集合ΩC，ΩC＝{Ω₁,Ω₂,...；Ω_i...；Ω_N}，表示包括N类MSERs区域；Dense(Ω_i)≥D₀,Similarity(Ω_i)≥S₀，其中，Ω_i＝{R₁,R₂,...；R_m}表示第i类MSERs稠密区域的集合，包含m个MSERs区域，记录MSERs区域质心位置、形状参数。

本实施例中，相似MSERs搜索包括：

首先，红外-可见光图像间区域匹配：

取红外图像I_IR中一类MSERs区域Ω_CIR，

在可见光图像I_V中搜索此类Ω_CIR中MSERs区域/>

的映射R_V,R_V区域范围内存在MSERs区域/>

则对/>

和/>

进行相似度检测，满足相似度条件的匹配区域，则记录两图相似匹配区域对

作为候选目标区域，/>

其中，R_V是搜索出的可见光图像I_V中的相似匹配区域，R_IR是红外图像I_IR中相似匹配区域；

在可见光图像I_V中穷尽搜索红外图像I_IR所有类别MSERs区域Ω_CIR，直到没有匹配MSERs区域为止；映射区域匹配可筛出前景目标，相似度检测可滤除背景物，可辅助定位检测目标，补充在红外图像中未检测完整的前景目标区域。

其次，红外-可见光图像内的相似区域检测：

1)红外-可见光图像间存在相似匹配MSERs区域对

(红外-可见光图像中前景目标均突出于背景)，则以红外图像I_IR中筛出的前景目标区域R_R对应类Ω_CIR为基准，在红外图像I_IR和可见光图像I_V内分别检测R_IR的相似MSERs区域，相似度函数值取经验值S₀，标记满足相似度条件的MSERs区域/>

穷尽搜索I_IR、I_V，记录所有筛出的/>

的类别Ω_CIR，直到没有相似MSERs区域为止。

2)红外-可见光图像间不存在匹配MSERs区域(可见光图像中前景目标淹没于背景中)，则在红外图像I_IR内检测所有MSERs类别Ω_CIR，记录稠密度最高MaxDense(Ω_CIR)且相似度最MaxSimilarity(Ω_CIR)的一类MSERs区域Ω_CIR，标记此类MSERs集合的所有区域R_IR。红外图像内的相似区域检测可补充在两图间匹配区域过程中误剔除的前景目标区域。

进一步地，融合提取目标包括：

完成相似MSERs区域搜索后，需融合匹配MSERs区域输出，可见光图像对红外图像中前景目标缺失部分补充作用体现明显。可见光图像与红外图像匹配MSERs区域的融合规则直接基于两图像的灰度值。取区域R内所有像素点的灰度值均值，计算如下：

式中，N表示区域中像素点的个数，g(m,n)是区域内像素点对应的灰度值；

最终融合匹配MSERs区域后的目标区域F表示如下：

式中，R_IR(m,n)表示在红外图像中匹配的MSERs区域，R_V(m,n)表示在可见光图像中匹配的MSERs区域；两图间无匹配MSERs区域时，或者R_IR(m,n)属于一类MSERs区域Ω_CIR，则直接获取红外图像中标记的MSERs区域R_IR(m,n)输出。

此外，由图4与图5实例表明：当一个物体的温度是类似的周围区域中，从红外图像中检测某类对象变得越来越困难。在这些情况下，如果对象和背景的颜色是不相似的，则可见光图像是可用的，可见光谱图像可以提供许多线索，用来辅助定位对象以及完成缺失对象的部分。如图4第二行左图，在红外图像中R6不包含人员的腰腹部，图4第二行右图，在可见光图像中R6包含人员的完整轮廓，因为人员像素与背景道路像素相比明显不同。

同时，如图6所示的在OSU数据库获得的召回率和精度表可知，通过使用公共数据库对该方法进行测试，并与早期融合方法进行比较，能获得更好的召回率，同时融合后准确率不会下降。

本实施例提出的方法应用于人体检测，在此仅提供人员数据集；由于这种方法未设定任何特定的参数以检测人体，因此，它可以应用到检测其他的对象。本方法的实现步骤主要为：提取红外-可见光图像前景目标；对特征区域进行属性计算并分类目标；匹配相似目标；定位前景目标区域，输出检测目标。本方法不需要尝试许多预处理例如背景估计与建模，单帧图像即可检测运动目标，因而它在计算上更高效。在未来，该方法可被应用于检测和识别各类事物，比如进行人员行为识别。

如图7所示，本实施例还提供了一种图像处理运行平台装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。

处理器包括一个或一个以上处理核心，处理器通过总线与存储器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的低照度下红外-可见光图像的特征互补图像处理方法的步骤。

可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的低照度下红外-可见光图像的特征互补图像处理方法的步骤。

可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面低照度下红外-可见光图像的特征互补图像处理方法的步骤。

本领域普通技术人员可以理解，实现上述实施例的全部或部分步骤的过程可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种低照度下红外-可见光图像的特征互补图像处理方法，其特征在于，包括如下步骤：

S1、提取红外-可见光图像中的极大稳定区域；

S2、对特征区域进行属性计算并分类极大稳定区域；

S3、匹配相似的极大稳定区域；

S4、定位前景目标区域，输出检测目标。

2.根据权利要求1所述的低照度下红外-可见光图像的特征互补图像处理方法，其特征在于，所述步骤S1还包括：

在红外图像和可见光图像中检测极大稳定区域MSERs，并椭圆拟合检测到的MSERs区域；

椭圆的中心P_c为MSERs的重心，反映MSERs的位置，椭圆的长轴方向θ代表MSERs区域的方向，结合长半轴w和短半轴l一起表示MSERs区域的形状。

3.根据权利要求2所述的低照度下红外-可见光图像的特征互补图像处理方法，其特征在于，所述步骤S1中，在红外图像和可见光图像中检测极大稳定区域MSERs，包括以下步骤：

像素点排序：采用BinSort方法将图像像素按照强度大小进行排序；

极值区域的提取：采用四邻域或八领域法生成ComponentTree；

稳定判定获取MSER区域：对于每一个连通域Q_i通过分析区域树可以得到最大稳定判定条件；最大稳定判定条件为：

当其在i处取得局部极小值时对应的区域即Q_i为最大稳定极值区域；其中，|·|表示该区域面积，Δ为灰度阈值的微小变化量，取Δ＝5的标准设置。

4.根据权利要求1所述的低照度下红外-可见光图像的特征互补图像处理方法，其特征在于，所述步骤S2还包括：

定义MSERs区域稠密度函数和前景目标所在的MSERs区域相似度函数；

计算MSERs属性依据以上两个度量指标将ERsMS分类。

5.根据权利要求4所述的低照度下红外-可见光图像的特征互补图像处理方法，其特征在于，所述步骤S2中，将MSERs分类还包括：

按像素亮度划分MSERs为MSERs+和MSERs-；

定义前景目标所在的MSERs区域稠密度函数，满足稠密度条件的MSERs作为候选目标区域；

基于前景目标自身固有的特性可定义前景目标所在的MSERs区域相似度函数；

依据稠密度和相似度两个度量指标将MSERs+或者MSERs-再分类；

其中，稠密度Dense：以MSERs区域R_i内包含质心P的个数来表征；定义如下：

相似度Similarity：以MSERs区域R_a、R_b拟合的椭圆形状相似度来表征，应用韦氏距离计算相似度；

k_i表示两区域R_a、R_b间参数的比率，其参数设定为椭圆两个半轴长w、l和扁率f，定义如下：

k_i＝max{|a_i-b_i|/(C+b_i),|a_i-b_i|/(C+a_i)},i＝1,2,3；

为避免分母为0，设置C为1；

d_i＝igmoid(k_i)＝(1-exp(-k_i))/(1+exp(-k_i)),i＝1,2,3；

则d_i∈[0,1)；

Similarity＝1-∏d_i,i＝1,2,3；

Similarity值越接近1，两区域越相似；

设定D₀为稠密度Dense阈值，相似度Similarity阈值为S₀，建立分类MSERs的稠密区域集合ΩC，ΩC＝{Ω₁,Ω₂,...；Ω_i...；Ω_N}，表示包括N类MSERs区域；Dense(Ω_i)≥D₀,Similarity(Ω_i)≥S₀，其中，Ω_i＝{R₁,R₂,...；R_m}表示第i类MSERs稠密区域的集合，包含m个MSERs区域，记录MSERs区域质心位置、形状参数。

6.根据权利要求1所述的低照度下红外-可见光图像的特征互补图像处理方法，其特征在于，所述步骤S3还包括：

在红外-可见光图像间搜索匹配MSERs相似区域，能滤除背景物，筛出前景目标，并补充在红外图像中未检测完整的前景目标区域；

红外图像内的相似区域检测，能检测出在红外-可见光图像间搜索过程中产生的误滤除前景目标。

7.根据权利要求6所述的低照度下红外-可见光图像的特征互补图像处理方法，其特征在于，所述步骤S3中，搜索匹配MSERs相似区域，还包括：

取红外图像I_IR中一类MSERs区域Ω_CIR，

在可见光图像I_V中搜索此类Ω_CIR中MSERs区域/>

的映射R_V,R_V区域范围内存在MSERs区域/>

则对

和/>

进行相似度检测，满足相似度条件的匹配区域，则记录两图相似匹配区域对/>

作为候选目标区域，/>

其中，R_V是搜索出的可见光图像I_V中的相似匹配区域，R_IR是红外图像I_IR中相似匹配区域；

在可见光图像I_V中穷尽搜索红外图像I_IR所有类别MSERs区域Ω_CIR，直到没有匹配MSERs区域为止；映射区域匹配可筛出前景目标，相似度检测可滤除背景物，可辅助定位检测目标，补充在红外图像中未检测完整的前景目标区域。

8.根据权利要求1所述的低照度下红外-可见光图像的特征互补图像处理方法，其特征在于，所述步骤S4还包括：可见光图像与红外图像匹配MSERs区域融合，融合规则基于两图像的灰度值。

9.根据权利要求8所述的低照度下红外-可见光图像的特征互补图像处理方法，其特征在于，所述步骤S4中，融合规则基于两图像的灰度值，还包括：

取区域R内所有像素点的灰度值均值，计算如下：

式中，N表示区域中像素点的个数，g(m,n)是区域内像素点对应的灰度值；

最终融合匹配MSERs区域后的目标区域F表示如下：

式中，R_IR(m,n)表示在红外图像中匹配的MSERs区域，R_V(m,n)表示在可见光图像中匹配的MSERs区域；两图间无匹配MSERs区域时，或者R_IR(m,n)属于一类MSERs区域Ω_CIR，则直接获取红外图像中标记的MSERs区域R_IR(m,n)输出。

Images