CN113763356A - 一种基于可见光与红外图像融合的目标检测方法 - Google Patents

Abstract

本发明公开一种基于可见光与红外图像融合的目标检测方法，建立实验数据集，包括可见光图像数据集和红外图像数据集；使用YOLOv4算法作为基础网络对可见光图像和红外图像分别进行检测；通过D‑S证据理论决策级加权融合的方式对可见光图像和红外图像中同时准确检测到的目标的检测框位置进行融合，从而得到融合图像中对应目标的准确检测框位置。本发明结合红外图像和可见光二者的特征，弥补了各自的缺点实现特征的互补；对可见光图像和红外图像的检测结果进行融合，并将融合后的检测结果作为对应的融合图像中目标的检测结果，从而实现对融合图像的准确检测。

Description

一种基于可见光与红外图像融合的目标检测方法

技术领域

本发明涉及图像目标检测技术领域，尤其涉及一种基于可见光与红外图像融合的目标检测方法。

背景技术

随着遥感技术的发展，人类可以通过各种手段获取不同波段的光谱图像。除可见光外，红外传感器，雷达，激光等技术日渐成熟，同时各类传感器的价格下降而性能得到大幅度提升，这些促使多源遥感技术发展起来。

随着人们对高识别精度的追求，发现用单一数据源获取数据的过程由于成像方式存在着诸多局限，所获得的信息往往片面而单一，导致所取得的结果也不尽人意，所以多源信息融合应运而生。众所周知，不同的传感器获取的图像具有不同的光谱波段，呈现出不同的特征信息，并实现不同的用途。例如，红外和可见光工作在不同的波长下，因此将可见光与红外波段融合可以获得更多的特征信息。早在上世纪70年代，美国人就将图像融合应用在海湾战争中。之后大量基于变换域的图像融合技术涌现出来。其中应用较为普遍的是小波变换。

可见光图像分辨率高并且包含清晰的细节信息，但是受光线等外界因素影响严重；而红外图像虽然对比度低，但是抗干扰能力强、穿透性强。所以可见光融合既能弥补各自的缺点又可以继承彼此的优点，融合后特征的鲁棒性大大提高。具体来说是通过红外或可见光相机进行拍摄并进行图像融合，完成不同尺度的目标检测与识别。将不同传感器采集到的图像通过一定的手段有效的融合起来，最大限度的利用几种数据源的互补信息，去除冗余信息，以此获得对事物更多元更全面的了解与认识。

发明内容

为了解决传统目标检测方法在场景识别和舰船检测中，分类的精度常常受到视角的严重影响；当光线和尺寸发生变换时，会给识别带来巨大难题，导致识别精度提升困难；光线昏暗造成信息的损失，从而导致错误的分类结果；可见光图像不能反映目标的内在相似性，相似纹理和颜色的图片可能造成分类结果混淆。复杂场景下目标检测性能，如复杂的地物场景、天空云场景等对目标检测性能的影响等问题，本发明提供一种基于可见光与红外图像融合的目标检测方法，选取有效的特征融合方法，来将可见光信息与红外信息有效结合起来，利用红外与可见光的互补性，提高检测准确性。

为了解决上述的技术问题，本发明采用如下技术方案予以实现。

一种基于可见光与红外图像融合的目标检测方法，步骤如下：

步骤一、建立实验数据集，包括可见光图像数据集和红外图像数据集；

步骤二、使用YOLOv4算法作为基础网络对可见光图像和红外图像分别进行检测；

步骤三、通过D-S证据理论决策级加权融合方式对检测结果进行融合：通过D-S证据理论决策级加权融合的方式对可见光图像和红外图像中经步骤二同时准确检测到的目标的检测框位置进行融合，从而得到融合图像中对应目标的准确检测框位置。

进一步优选，YOLOv4算法依次包括输入端、神经网络模块(BackBone)、目标检测模块(Neck)、预测模块(Prediction)，输入的图像经神经网络模块卷积，然后经目标检测模块检测，由预测模块输出预测的检测框。神经网络模块由CBM模块、CSP1模块、CSP2模块、CSP8模块、CSP8模块、CSP4模块构成；目标检测模块包括四级采样融合模块，第一级采样融合模块和第二级采样融合模块均由CBL模块、上采样模块与另一个CBL模块共同连接concat融合模块，concat融合模块再连接一个CBL模块输出；第三级采样融合模块和第四级采样融合模块均由CBL模块、上采样模块连接concat融合模块，concat融合模块再连接一个CBL模块输出；预测模块包括三组CBL+CONV模块构成，三组CBL+CONV模块分别接收第二级采样融合模块、第三级采样融合模块和第四级采样融合模块提取的特征。在神经网络模块中，经CBM模块、CSP1模块、CSP2模块、CSP8模块获得第一层特征，再经CSP8模块获得第二层特征，在经CSP4模块获得第三层特征，第三层特征进入目标检测模块中依次经CBL模块、SPP模块、CBL模块处理后得到特征P1进入第一级采样融合模块，经CBL模块、上采样模块后与第二层特征融合，输出融合特征P2，该融合特征P2再进入第二级采样融合模块与第一层特征融合输出融合特征P3，融合特征P3输出到第一组CBL+CONV模块输出检测框；融合特征P3和融合特征P2进入第三级采样融合模块融合输出融合特征P4，融合特征P4输出到第二组CBL+CONV模块输出检测框，融合特征P4与特征P1进入第四级采样融合模块融合输出融合特征P5，融合特征P5输出到第三组CBL+CONV模块输出检测框。

进一步优选，步骤三中，加权融合的计算表示为以下：

式子中D_v、D_r分别为可见光图像和红外图像中目标的准确检测框，

β分别为D_v、D_r对应的权值，D_f目标在融合图像中对应目标的检测位置；

为了得到权值最佳经验值，对不同权值组合下的平均准确度对比，当

为0.7，β为0.3时，可见光图像和红外图像中同一目标的检测结果的平均准确度最高；因此，

为0.7，β为0.3作为最终的权值组合，通过上式对目标准确检测结果进行合并。

本发明通过对红外图像和可见光图像的特性进行研究分析，然后对二者分别提取特征并根据一定的特征融合策略进行特征融合，结合红外图像和可见光二者的特征，弥补了各自的缺点实现特征的互补；在目标检测方法中，主要选择yolo目标检测框架，对可见光图像和红外图像的检测结果进行融合，并将融合后的检测结果作为对应的融合图像中目标的检测结果，从而实现对融合图像的准确检测。

附图说明

图1是基于D—S证据理论的红外和可见光融合示意图。

图2是YOLOv4网络结构示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

红外图像和可见光图像分别工作在不同的波段，因而表现出的特征大不相同。将红外和可见光图像融合可以实现信息的互补，综合利用最大有用信息量。融合后的特征比单一信息源包含的特征更丰富，因此可以获得对识别物体的更全面、更深刻的认识。

①可见光图像与红外图像的成像原理不同，前者依据物体的反射率的不同进行成像，后者依据物体的温度或辐射率不同进行成像，因此红外图像的光谱信息明显不如可见光图像。但是人的视觉系统与可见光原理相似，所以可见光更符合人类视觉效果。

②可见光图像与红外图像的空间分辨率不同，一般情况下，前者的空间分辨率高于后者，因此可见光所呈现的细节信息更多，而红外图像的灰度主要在小范围集中。红外图像的抗干扰性能更好，环境适应能力也好于可见光。红外传感器可以昼夜工作，对于一些隐藏的目标也可以捕获到。

③可见光图像与红外图像对同一景物的灰度差异不同；

④可见光图像与红外图像的纹理和边缘特征不同；

⑤可见光图像与红外图像的像素之间的相关性不同。

综上可以看出，红外图像弥补了可见光易受环境因素影响的不足，而可见光图像弥补了红外图像分辨率低的缺点。通过以上分析，证明了红外图片和可见光图片融合可以帮助人们对场景信息可以有更全面更多层次的理解。

图像融合是通过对多个原图像的信息进行相加得到融合图像，然后对融合图像进行分析处理的过程。根据融合处理的特点和抽象程度，将图像融合方式分为3类：像素级图像融合、特征级图像融合和决策级图像融合。

像素级图像融合是指选取融合策略对严格配准的源图像的像素点进行处理，从而得到融合图像的过程，例如使用基于金字塔变换和小波变化这类算法。这种融合方式的准确性较高，但是对像素之间的关系考虑不够全面，处理时的计算量较大，容易产生大量的冗余信息。

特征级图像融合是指提取源图像中感兴趣区域的目标特征，并对这些特征信息进行融合，最后得到融合图像的过程，例如主成分分析即PCA算法这类算法。在特征提取过程中，只保留重要的信息，对于不重要的信息和冗余的信息通常借助降维等方式去除。这种融合方式压缩了源图像的信息，计算速度有明显提升，但是会丢失一些细节信息。

决策级图像融合是一种基于认知模型的融合方式，以特征提取为基础，对图像的特征信息进行识别和判断，并根据实际需要，选择合适的决策方式对图像进行全局最优处理的过。与前两种图像融合的方法相比，决策级的融合方式不需要处理大量的数据信息，同时对多传感器的工作方式没有严格的要求，并且处理信息时，灵活性强，因此本发明中主要采用D-S证据理论决策级加权融合方式进行图像融合。

D-S证据理论是对Bayes方法的推广，满足比Bayes概率理论更弱的条件。该方法能较好的处理不确定的数据，无需知晓先验概率。要了解D-S证据理论需要先知道几个基本定义：识别框架(Ω)、基本概率分配函数(m)、信任函数(公式1)和似然函数。

式中m——框架Ω上的基本概率分配函数(BPAF，Basic Probability AssignmentFunction)，或者mass函数；式中Bel——Ω上的信任函数(Belief Function)。Bel(A)表示证据对A的支持度量。基于信任函数，可定义焦元(focal element，即m(A)>0，则称A为BPA函数的焦元的。

Ω为识别框架，pl是由基本概率分配函数变换出的似然函数(PlausibilityFunction)，有如下公式为：

pl:2^Ω→[0,1] (2)

其中信任函数(Bel)和似然函数(pl)分别代表信任命题和怀疑命题的程度。通过信任函数Bel和似然函数PI来权衡命题的不确定性。这二者是基于基本概率分配函数的，所以对于红外和可见光图像，计算似然函数和信任函数，然后利用D-S合成规则求出一个新的信任函数。图1给出了基于D-S证据理论的红外和可见光融合方法示意图。

实施例1

一种基于可见光与红外图像融合的目标检测方法，步骤如下：

步骤一、建立实验数据集，包括可见光图像数据集和红外图像数据集；

步骤二、使用YOLOv4作为基础网络对可见光图像和红外图像分别进行检测；

由于红外图像和可见光图像携带不同的信息，存在一定的差异性，而且YOLOv4网络的预训练模型是通过对可见光图像进行训练得到的，不适用于对红外图像进行检测。因此，为了保证检测结果的准确性，本发明使用可见光图像数据集和红外图像数据集中的训练集分别对YOLOv4网络进行训练。

YOLOv4目标检测算法作为YOLO系列算法发展的第四次迭代，其改进了图像金字塔特征提取网络，并集成了各种先进算法的优势。与YOLOv3相比，YOLOv4对小目标和遮挡的目标有更好的检测性能，因此，在本发明中使用了YOLOv4算法用于目标检测任务，网络结构如图2所示，依次包括输入端、神经网络模块(BackBone)、目标检测模块(Neck)、预测模块(Prediction)，输入的图像经神经网络模块卷积，然后经目标检测模块检测，由预测模块输出预测的检测框。神经网络模块由CBM模块、CSP1模块、CSP2模块、CSP8模块、CSP8模块、CSP4模块构成；目标检测模块包括四级采样融合模块，第一级采样融合模块和第二级采样融合模块均由CBL模块、上采样模块与另一个CBL模块共同连接concat融合模块，concat融合模块再连接一个CBL模块输出；第三级采样融合模块和第四级采样融合模块均由CBL模块、上采样模块连接concat融合模块，concat融合模块再连接一个CBL模块输出；预测模块包括三组CBL+CONV模块构成，三组CBL+CONV模块分别接收第二级采样融合模块、第三级采样融合模块和第四级采样融合模块提取的特征。在神经网络模块中，经CBM模块、CSP1模块、CSP2模块、CSP8模块获得第一层特征，再经CSP8模块获得第二层特征，在经CSP4模块获得第三层特征，第三层特征进入目标检测模块中依次经CBL模块、SPP模块、CBL模块处理后得到特征P1进入第一级采样融合模块，经CBL模块、上采样模块后与第二层特征融合，输出融合特征P2，该融合特征P2再进入第二级采样融合模块与第一层特征融合输出融合特征P3，融合特征P3输出到第一组CBL+CONV模块输出检测框；融合特征P3和融合特征P2进入第三级采样融合模块融合输出融合特征P4，融合特征P4输出到第二组CBL+CONV模块输出检测框，融合特征P4与特征P1进入第四级采样融合模块融合输出融合特征P5，融合特征P5输出到第三组CBL+CONV模块输出检测框。

步骤三、通过D-S证据理论决策级加权融合方式对检测结果进行融合。

本实施例通过D-S证据理论决策级加权融合的方式对可见光图像和红外图像中经步骤二同时准确检测到的目标的检测框位置进行融合，从而得到融合图像中对应目标的准确检测框位置。其中，加权融合的计算表示为以下：

式子中D_v、D_r分别为可见光图像和红外图像中目标的准确检测框，

β分别为D_v、D_r对应的权值，D_f目标在融合图像中对应目标的检测位置。

为了得到权值最佳经验值，对不同权值组合下的平均准确度对比，当

为0.7，β为0.3时，可见光图像和红外图像中同一目标的检测结果的平均准确度最高。因此，

为0.7，β为0.3作为最终的权值组合，通过式(4)对目标准确检测结果进行合并。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于可见光与红外图像融合的目标检测方法，其特征在于，步骤如下：

步骤一、建立实验数据集，包括可见光图像数据集和红外图像数据集；

步骤二、使用YOLOv4算法作为基础网络对可见光图像和红外图像分别进行检测；

步骤三、通过D-S证据理论决策级加权融合方式对检测结果进行融合：通过D-S证据理论决策级加权融合的方式对可见光图像和红外图像中经步骤二同时准确检测到的目标的检测框位置进行融合，从而得到融合图像中对应目标的准确检测框位置。

2.根据权利要求1所述的一种基于可见光与红外图像融合的目标检测方法，其特征在于，YOLOv4算法依次包括输入端、神经网络模块、目标检测模块、预测模块，输入的图像经神经网络模块卷积，然后经目标检测模块检测，由预测模块输出预测的检测框。神经网络模块由CBM模块、CSP1模块、CSP2模块、CSP8模块、CSP8模块、CSP4模块构成；目标检测模块包括四级采样融合模块，第一级采样融合模块和第二级采样融合模块均由CBL模块、上采样模块与另一个CBL模块共同连接concat融合模块，concat融合模块再连接一个CBL模块输出；第三级采样融合模块和第四级采样融合模块均由CBL模块、上采样模块连接concat融合模块，concat融合模块再连接一个CBL模块输出；预测模块包括三组CBL+CONV模块构成，三组CBL+CONV模块分别接收第二级采样融合模块、第三级采样融合模块和第四级采样融合模块提取的特征。在神经网络模块中，经CBM模块、CSP1模块、CSP2模块、CSP8模块获得第一层特征，再经CSP8模块获得第二层特征，在经CSP4模块获得第三层特征，第三层特征进入目标检测模块中依次经CBL模块、SPP模块、CBL模块处理后得到特征P1进入第一级采样融合模块，经CBL模块、上采样模块后与第二层特征融合，输出融合特征P2，该融合特征P2再进入第二级采样融合模块与第一层特征融合输出融合特征P3，融合特征P3输出到第一组CBL+CONV模块输出检测框；融合特征P3和融合特征P2进入第三级采样融合模块融合输出融合特征P4，融合特征P4输出到第二组CBL+CONV模块输出检测框，融合特征P4与特征P1进入第四级采样融合模块融合输出融合特征P5，融合特征P5输出到第三组CBL+CONV模块输出检测框。

3.根据权利要求1所述的一种基于可见光与红外图像融合的目标检测方法，其特征在于，步骤三中，加权融合的计算表示为以下：

式子中D_v、D_r分别为可见光图像和红外图像中目标的准确检测框，

β分别为D_v、D_r对应的权值，D_f目标在融合图像中对应目标的检测位置；

以

为0.7，β为0.3作为最终的权值组合，通过上式对目标准确检测结果进行合并。

Images