CN109544494B - 一种人体安检中被动毫米波图像与可见光图像的融合方法 - Google Patents

Abstract

本发明涉及一种人体安检中被动毫米波图像与可见光图像的融合方法，步骤：确定原始毫米波图像中的金属等低亮温可疑目标，显示为暗色区域；液体等高亮温可疑目标，显示为亮色区域，在最终融合图像中可疑目标均以高亮区域表示；对于暗色可疑目标，将毫米波图像和可见光图像进行小波分解后，融合图像的低频系数矩阵中目标区域来自毫米波图像的低频系数矩阵，非目标区域来自可见光图像的低频系数矩阵，融合图像的高频系数矩阵为原始可见光图像的高频系数矩阵，最终使用小波变换获得融合图像；对于亮色可疑目标，采用固定阈值分割获取毫米波图像可疑目标，通过区域选择融合得到最终的融合图像：目标区域来自毫米波图像，非目标区域来自可见光图像。

Description

一种人体安检中被动毫米波图像与可见光图像的融合方法

技术领域

本发明提供一种用于毫米波图像与可见光图像的融合方法，特别是涉及一种被动毫米波人体安检图像与可见光图像的融合方法，属于毫米波人体安检领域。

背景技术

随着全球范围内的恐怖主义和暴力活动的不断升级，世界各国对人体隐匿违禁物品检测提出了越来越高的要求。相比于传统的X-ray及红外成像，毫米波成像不仅可以检测出隐匿在人体衣物下的金属物品，还可以检测出炸药、汽油、陶瓷刀具等危险品。相比于主动毫米波成像技术，被动毫米波成像具有成像速度快、对被测人员无辐射、不侵犯被测人员的隐私等优点。因此，被动毫米波成像技术在人体安防检测领域得到了广泛的应用和发展。然而，由于受到天线口径、波长尺寸、接收机不理想性以及系统噪声等影响，使得毫米波图像具有分辨率低、噪声水平高、可读性差等不足，图像中的目标及背景的真实边缘将无法得到有效体现，主要依靠亮度和模糊的几何形状来辨别可疑目标。相比而言光学成像是普遍使用的成熟技术，光学图像具有光谱信息丰富、动态范围大、精确直观的特点，却不像毫米波成像能够发现隐匿的目标。单独使用可见光或被动毫米波图像均存在不足之处，对于这两种具有互补性的图像，图像融合技术能够有效地增强场景信息量，突出目标，有利于更精确识别隐藏的危险物品，实现定位，因此提出基于被动毫米波和可见光的图像融合技术。

针对可见光与毫米波图像融合方法，研究者们已开展许多尝试，如基于多小波包的红外/被动毫米波图像融合(何伏春，聂建英.基于多小波包的红外/被动毫米波图像融合[J].电光与控制，2015，22(06):11-16)、基于多尺度变换的无源毫米波图像融合(TangShi，Xiong Jintao，Yang Jianyu，Peng Xinliang.Research on Image Fusion forVisual and PMMW Images Using NSCT and Region Detection.3rd InternationalConference on Multimedia Technology(ICMT-13).Atlantis Press，2013)等，但都没考虑人体安检应用中被动毫米波图像可疑目标区域的特征与其辐射亮温的关系。本发明针对不同辐射亮温的可疑目标在毫米波图像中的特征具有较大差异的问题，将可疑目标分为亮目标与暗目标两类分别处理，提高实际应用中的稳定性与可靠性。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种人体安检中被动毫米波图像与可见光图像的融合方法，通过毫米波图像与可见光图像的融合，增强场景信息量，突出目标，以利于更精确识别隐藏的危险物品，实现定位，弥补毫米波图像具有分辨率低、噪声水平高、可读性差等不足；并同时保证融合算法的稳定有效。

本发明技术解决方案：一种人体安检中被动毫米波图像与可见光图像的融合方法，包括以下步骤：

第一步，统一图像显示方式，确定原始毫米波图像中的金属作为低辐射可疑目标，显示为暗色区域；液体作为高辐射目标，显示为亮色区域，在最终融合图像中可疑目标均以高亮区域表示；

第二步，对毫米波图像中的暗色和亮色可疑目标区域分别进行目标区域提取与分割，获取毫米波图像中可疑目标区域中的信息；对于暗色可疑目标，将毫米波图像进行小波分解后，提取可疑暗色目标区域的毫米波图像低频系数矩阵；对于亮色可疑目标，获取亮色可疑目标区域的毫米波图像；

第三步，采用区域选择则的方法对可见光图像和可疑目标区域中的毫米波图像进行融合，得到最终的融合图像；对于暗色可疑目标，通过区域选择获得融合图像的低频系数矩阵：目标区域来自毫米波图像的低频系数矩阵，非目标区域来自可见光图像的低频系数矩阵；融合图像的高频系数矩阵为原始可见光图像的高频系数矩阵；最后通过二维离散小波逆变换得到含有可疑目标的融合图像。对于亮色可疑目标区域，直接通过区域选择融合得到最终的融合图像：目标区域来自毫米波图像，非目标区域来自可见光图像。

所述第二步实现暗色可疑目标提取与图像分割的过程如下：

(1)对毫米波图像和可见光图像进行小波分解，分别得到毫米波图像和可见光图像低频系数矩阵和高频系数矩阵；

(2)采用最大类间方差法，即Otsu算法获取毫米波图像的低频系数矩阵中人体与背景分割阈值；

(3)对毫米波图像人体区域的低频系数矩阵进行基于引导滤波的增强；

(4)获取增强后的毫米波图像人体区域的低频系数矩阵，同时将目标区域以亮色表示；

(5)采用Otsu算法获取增强后的毫米波图像人体区域的低频系数矩阵中目标区域与非目标区域的分割阈值，通过阈值分割得到暗色可疑目标区域的毫米波图像低频系数矩阵。

所述第二步实现亮色可疑目标提取与图像分割的过程如下：

(1)对毫米波源图像和可见光源图像分别进行归一化处理；

(2)对归一化的毫米波图像进行固定阈值分割，获取亮色可疑目标区域的毫米波图像。

本发明与现有技术相比的优点在于：

目前常用的图像融合方法有像素绝对值取最大和像素加权平均。

采用像素绝对值取最大方法进行毫米波图像与可见光图像融合，融合图像很好的继承了可见光图像中的环境信息和毫米波图像中的可疑目标信息，而且可疑目标的显著程度与增强后的毫米波图像中可疑目标的显著程度相当，可以显著地标示可疑目标的位置；但是可见光图像中人的面部信息几乎全部丢失。结果见附图2。

采用像素加权平均方法进行毫米波图像与可见光图像融合，融合图像中人脸可以辨识，但是没有可见光图像中清晰，有类似雾化的现象；可疑目标可以辨识，但是目标的显著程度远低于增强后毫米波图像中可疑目标的显著程度；而且与可见光图像相比，融合图像的亮度明显降低，视觉效果变差。结果见图2。

采用本发明的方法得到的融合图像很好地继承了可见光图像中的环境及人体信息，人脸清晰，图像整体亮度与可见光图像一致；可疑目标区域特征显著，冗余信息少，可以极大提高安检人员对可疑目标的辨别效率。而且经大量实验验证，本发明融合结果和视觉效果非常稳定，可以用于实际应用。结果见图2，图2中从左到右，依次为毫米波原始图像、可见光图像、基于像素绝对值取大获取的融合图像、基于本发明的方法获取的融合图像。

附图说明

图1为毫米波图像与可见光图像的融合算法流程图；(a)为毫米波图像暗色可疑目标区域与可见光图像的融合图；(b)为毫米波图像暗色可疑目标区域与可见光图像的融合图；

图2为含有暗色可疑目标的毫米波图像与可见光图像的融合结果。

具体实施方式

本发明处理的毫米波原始图像中，刀，枪等低辐射可疑目标为暗色区域，汽油等高辐射目标为亮色区域，但是在最终融合图像中可疑目标均以高亮区域表示。

1.毫米波图像暗色可疑目标区域与可见光图像融合算法

如图1中的(a)所示，本发明毫米波图像暗色可疑目标区域与可见光图像的融合算法包括：

第一步，对毫米波图像和可见光图像进行小波分解，分别得到其低频频系数矩阵和高频系数矩阵。假设毫米波图像为A，可见光图像为B，融合图像为F。对毫米波图像A进行二维离散小波变换，得到毫米波图像的低频系数矩阵AL和高频系数矩阵AH，AV，AD；对可见光图像B进行二维离散小波变换，得到低频系数矩阵BL和高频系数矩阵BH，BV，BD。设毫米波图像的低频系数矩阵AL的大小为m*n(m为AL的行数，n为AL的列数)，AL的元素表示为AL(i，j)。

第二步，采用Otsu算法(最大类间方差法)获取毫米波图像的低频系数矩阵AL中人体区域低频系数与背景区域低频系数的分割阈值Threshbody，则可由(1)式获得毫米波图像低频系数矩阵中人体区域与背景区域的二值标记模板：

第三步，对毫米波图像人体区域的低频系数矩阵AL进行基于引导滤波的增强。

增强方法如下：

首先，按照式(2)对AL进行归一化处理得到AL₀₁：

(2)式中，AL_min为AL的元素最大值，AL_max为AL的元素最小值。

然后，将AL₀₁作为输入图和引导图进行引导滤波，输出结果记为AL₀₁’，再由式(3)和式(4)得到毫米波图像中人体归一化低频系数矩阵AL₀₁的增强结果AL₂：

(3)式中Times是一个表示低频系数矩阵增强程度的常数，参考范围为[5，8]。

第四步，获取增强后的毫米波图像人体区域的低频系数矩阵AL_body，同时将目标区域以亮色表示，如(5)式所示：

AL_body(i,j)＝[1-AL₂(i,j)]·Maskbody(i,j) (5)

第五步，采用Otsu算法(最大类间方差法)获取AL_body中目标区域与非目标区域的分割阈值Threshtarget，通过阈值分割由(6)式得到目标区域的归一化低频系数矩阵AL_tar01：

然后反归一化得到毫米波图像中目标区域的低频系数矩阵AL_target，如(7)式所示：

AL_target(i,j)＝AL_tar01(i,j)*(AL_max-AL_min) (7)

第六步，通过区域选择获得融合图像F的低频系数矩阵为FL：目标区域选择毫米波图像的低频系数加入FL，非目标区域选择可见光图像的低频系数加入FL，如(8)式所示：

第七步，取FL作为融合图像F的低频系数矩阵，BH，BV，BD作为融合图像F的的高频系数矩阵进行二维离散小波逆变换，得到融合图像F。

2.毫米波图像亮色可疑目标区域与可见光图像融合方法

如图1中(b)所示，本发明毫米波图像暗色可疑目标区域与可见光图像的融合算法包括：

第一步，对毫米波源图像和可见光源图像分别进行归一化处理。

假设毫米波图像为A，可见光图像为B，融合图像为图像F。通过(9)式和(10)式对图像进行归一化处理：

其中AL_max和AL_min为A中元素的最大值和最小值，BL_max和BL_min为B中元素的最大值和最小值。

第二步，对归一化的毫米波图像进行阈值分割。经大量实验结果验证，采用固定阈值分割便能很好的分割去亮目标区域，归一化参考阈值0.65.

第三步，通过区域选择融合得到最终的融合图像。区域选择融合规则如(11)式所示：

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (3)

1.一种人体安检中被动毫米波图像与可见光图像的融合方法，其特征在于，包括以下步骤：

第一步，统一图像显示方式，确定原始毫米波图像中的金属作为低辐射可疑目标，显示为暗色区域；液体作为高辐射目标，显示为亮色区域，在最终融合图像中可疑目标均以高亮区域表示；

第二步，对毫米波图像中的暗色和亮色可疑目标区域分别进行目标区域提取与分割，获取毫米波图像中可疑目标区域中的信息；对于暗色可疑目标，将毫米波图像进行小波分解后，提取可疑暗色目标区域的毫米波图像低频系数矩阵；对于亮色可疑目标，获取亮色可疑目标区域的毫米波图像；

第三步，采用区域选择的方法对可见光图像和可疑目标区域中的毫米波图像进行融合，得到最终的融合图像；对于暗色可疑目标，通过区域选择获得融合图像的低频系数矩阵：目标区域来自毫米波图像的低频系数矩阵，非目标区域来自可见光图像的低频系数矩阵；融合图像的高频系数矩阵为原始可见光图像的高频系数矩阵；最后通过二维离散小波逆变换得到含有可疑目标的融合图像；对于亮色可疑目标区域，直接通过区域选择融合得到最终的融合图像：目标区域来自毫米波图像，非目标区域来自可见光图像。

2.根据权利要求1所述的一种人体安检中被动毫米波图像与可见光图像的融合方法，其特征在于：所述第二步中，提取可疑暗色目标区域的毫米波图像低频系数矩阵的过程如下：

(1)对毫米波图像和可见光图像进行小波分解，分别得到毫米波图像和可见光图像低频系数矩阵和高频系数矩阵；

(2)采用最大类间方差法，即Otsu算法获取毫米波图像的低频系数矩阵中人体与背景分割阈值；

(3)对毫米波图像人体区域的低频系数矩阵进行基于引导滤波的增强；

(4)获取增强后的毫米波图像人体区域的低频系数矩阵，同时将目标区域以亮色表示；

(5)采用Otsu算法获取增强后的毫米波图像人体区域的低频系数矩阵中目标区域与非目标区域的分割阈值，通过阈值分割得到暗色可疑目标区域的毫米波图像低频系数矩阵。

3.根据权利要求1所述的一种人体安检中被动毫米波图像与可见光图像的融合方法，其特征在于：所述第二步中，获取亮色可疑目标区域的毫米波图像的过程如下：

(1)对毫米波源图像和可见光源图像分别进行归一化处理；

(2)对归一化的毫米波图像进行固定阈值分割，获取亮色可疑目标区域的毫米波图像。

Images