CN109934793B - 一种基于整数dct变换的实时图像融合方法 - Google Patents

Abstract

本发明公开了一种基于整数DCT变换的实时图像融合方法，包括如下步骤：a、分别对红外图像和可见光图像亮度分量进行整数DCT量化以及融合,根据预设的融合规则对红外图像和可见光图像的亮度分量的整数DCT变换系数进行融合处理；对融合后的变换系数进行整数DCT反变量化，得到融合后的灰度图像；b、采用深度学习神经网络语义识别进行场景识别；c、选取最佳的场景参考图像对灰度融合图像进行色彩传递，生成彩色融合图像；d、将生成的彩色融合图像在RGB色域内进行彩色直方图匹配处理。

Description

一种基于整数DCT变换的实时图像融合方法

技术领域

本发明涉及图像融合处理技术领域，特别是一种基于整数DCT变换的实时图像融合方法。

背景技术

图像融合可明显改善单一传感器图像的不足，所得融合图像蕴含了多个传感器图像的不同信息特征，具有比单一传感器图像更全面更为可靠的信息描述，红外与可见光图像融合一直是图像融合研究的热点，在军事侦查、安全监控等领域有着广泛的需求和应用。

目前的一些融合方法大多以小波变换进行多分辨率分解，往往需要进行多层分解，才可能取得比较好的效果，实时性不能满足要求。

目前离散余弦变换(Discrete Cosine Transform，简称DCT变换)被广泛应用于图像和视频压缩。DCT变换的变换核是余弦函数，变换核各矢量间单位正交，它的变换系数可以很好的描述图像的相关特征。浮点DCT变换的正变换和反变换因为一些量化损失等原因而变得不可逆。因此在最新的压缩标准如H.264、H.265等标准中都采用整数DCT变换。整数DCT变换的正变换和反变换具有可逆性并且最大可能的保持与浮点DCT变换的一致性。

整数DCT变换原理如下：

8x8的浮点DCT变换为：

其中，

C(1)…C(7)为1，

Y＝DXD^T，

其中，D是DCT变换矩阵，其值为：

所以，整个变换系数只有7个取值。

将浮点DCT变换矩阵D分解为整数矩阵P和浮点矩阵E，则

则整数DCT变换为：

其中PXP^T为整数DCT变换过程。而浮点矩阵E通过量化过程来完成。设整数变换矩阵P为：

其中i₀～i₆都是整数，则

其中，

d＝i₃(i₁+i₄)-i₂(i₁-i₄)，

由于要求正交性所以实际上是d为0。

另一方面，当前图像融合技术集中于对灰度图像的融合研究，已经取得了较好的融合效果，而少见有对于彩色图像融合的研究。由于彩色图像有着灰度图像无可比拟的良好可视性和更多的信息量，使得在各相关领域，特别是在生物和医学领域，无论是微观还是宏观方面对彩色图像融合技术的需要越来越迫切。

一般人眼只能分辨出近百个灰度级，但是却能分辨几千种颜色，所以彩色图像比灰度图像更利于口标的识别。红外和可见光两类图像特征具有较大的互补性，现今的传感器技术能够方便地获取彩色的可见光图像，在对红外和可见光图像进行融合时，如果能够充分地利用可见光图像的彩色信息，那么得到的彩色融合结果会更符合人眼的视觉特性，从而能够增强融合图像的可辨识性。

现阶段的多光谱图像融合大部分以整幅图像进行融合处理，不能针对特殊环境图像或者图像场景差异较大的情况融合得到高质量的彩色图像；随着近几年的深度学习以及神经网络的火热，针对语义识别的场景划分融合就能很好的解决此种问题，但是现有的神经网络语义识别用时较长，不能达到实时性的处理。

发明内容

为解决现有技术中存在的问题，本发明提供了一种基于整数DCT变换的实时图像融合方法，本发明对图像进行整数DCT变换后得到变换系数，并加入深度学习神经网络语义识别和彩色直方图匹配等图像处理模块，基于此巧妙设计，很好的解决了图像融合的实时性问题。

本发明采用的技术方案是：

一种基于整数DCT变换的实时图像融合方法，包括如下步骤：

a、分别对红外图像和可见光图像亮度分量进行整数DCT量化以及融合,根据预设的融合规则对红外图像和可见光图像的亮度分量的整数DCT变换系数进行融合处理；对融合后的变换系数进行整数DCT反变量化，得到融合后的灰度图像；

b、采用深度学习神经网络语义识别进行场景识别，通过识别出的不同场景选取对应场景中最为合适的参考图像对前一模块融合所得的灰度图像进行颜色传递，使得图像各个场景颜色显示自然；

c、选取最佳的场景参考图像对灰度融合图像进行色彩传递，生成彩色融合图像，为使得灰度融合图像赋予自然色彩效果，使用参考图像伪彩色传递法，使用对应参考图像的色彩传递到灰度融合图像中来，通过在YUV色域中对颜色线性传递，有效简洁地赋予灰度图像色彩，再通过YUV色域转换回RGB色域，使得之前识别出的各个场景下均能赋予最佳的场景色彩；

d、将生成的彩色融合图像在RGB色域内进行彩色直方图匹配处理。

优选地，对图像进行整数DCT量化具体包括如下步骤：

对图像进行分块处理，单位分块为8x8；

对图像按块进行整数DCT量化，得到图像的整数DCT变换系数；

其中，整数DCT量化过程为：

Y＝(((Y′[i,j]+(1＜＜4))＞＞5×scalmatrix[i,j]+(1＜＜11))＞＞12；

整数DCT正变换过程Y′＝PXP^T；

整数DCT变换基为[12 10 6 3]；

变换矩阵P为：

量化矩阵scalmatrix为：

优选地，还包括：

预设的融合规则，对于直流系统的融合，采用如下公式：

YF_block[0,0]＝(YA_block[0,0]+YB_block[0,0])/2；

对于其它系统的融合，采用如下公式：

如果abs(YA_block[i,j])>abs(YB_block[i,j]),i≠0,j≠0,i<8,j<8，则YF_block[i,j]＝YA_block[i,j]；否则，YF_block[i,j]＝YB_block[i,j]。

优选地，还包括：

整数DCT反量化公式为：X[i,j]＝(X′[i,j]+(1＜＜15))＞＞16；

其中，整数DCT反变换过程为：X′＝P^TY_FP。

优选地，采用蝶形算法执行整数DCT正变换和/或反变换过程。

优选地，还包括：

深度学习神经网络语义识别，引入Cascade思想，将图像像素根据分割难易度分为三个等级：Easy、Moderate、Hard，分别用CNN网络的浅层、中层、高层完成分割,降低运算量同时提高分割精度。

优选地，还包括：

选取用于颜色传递的最佳参考图像规则：

采用图像场景划分，于拟好的参考图像库中选取对应场景的参考图像；本规则对参考图像的选取要求并不苛刻，对参考图像的场景只要求与需要观察的场景基本相似，选取具有适中的亮度和对比度的参考图像即可，便于保证系统的轻量级和实时性。

优选地，对灰度融合图像进行色彩传递具体包括如下步骤：

对参考图像在YUV色域中将三通道分离；

其中RGB色域转YUV色域公式如下：

Y＝0.257R+0.504G+0.098B+16；

U＝-0.148R-0.291G+0.439B+128；

V＝0.439R-0.368G-0.071B+128；

在对应的场景模块区域内将灰度图像与参考图像的Y通道数据信息进行加权平均，公式如下：

Y_f[i,j]＝0.85Y_g[i,j]+0.15Y_r[i,j]；

将融合后的Y_f与参考图像的U、V颜色通道进行合并，转换到RGB色域中，得到彩色融合图像；

其中，YUV色域转RGB色域公式如下：

R＝1.164(Y_f-16)+1.596(V-128)；

G＝1.164(Y_f-16)-0.813(V-128)-0.391(U-128)；

B＝1.164(Y_f-16)+2.018(U-128)。

优选地，彩色直方图匹配处理具体包括如下步骤：

分别对可见光图像RGB三通道求均值；

直方图匹配公式如下：

反变换得：z＝G^-1(u)≈G^-1(s)；

首先提取出可见光融合图像RGB色域的各个通道的平均值，再将所得的彩色融合图像上针对可见光图像的RGB三通道均值做彩色直方图匹配处理，处理后的彩色融合图像较大地修正边界颜色梯度较大的问题，使得过渡平滑色彩自然。

本发明的有益效果是：经过深入的研究和反复试验，发现对图像进行整数DCT变换后得到的变换系数具有一定的分布特性，并基于此巧妙设计，通过将两图像的整数DCT变换系数进行融合和反量化过程，从而实现对两图像的融合。

附图说明

图1是本发明实施例1中基于整数DCT变换的实时图像融合方法的流程图；

图2是本发明实施例1中DCT量化以及融合的方法流程图；

图3是本发明实施例1中对图像进行整数DCT变换的方法流程图；

图4是本发明实施例1中对图像8x8分块过程示意图；

图5是本发明实施例1中执行1-D DCT整数变换的蝶形运算过程示意图；

图6是本发明实施例1中图像中单位分块的DCT整数变换系数的分布特征示意图一；

图7是本发明实施例1图像中单位分块的DCT整数变换系数的分布特征示意图二；

图8是本发明实施例1对图像进行语义识别场景分割的深度学习神经网络结构图；

图9是本发明实施例1语义识别深度学习神经网络中Cascade思想的具体CFF(cascade feature fusion)结构示意图；

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

经过深入的研究和反复试验，发现对图像进行整数DCT变换后得到的变换系数具有一定的分布特性，并基于此巧妙设计，通过将两图像的整数DCT变换系数进行融合和反量化过程，从而实现对两图像的融合。

即，将图像A和图像B分别进行整数DCT变换，得到的DCT变换系数分别用DA和DB来表示。根据预设的规则，对经过整数DCT变换后得到的系数进行比较处理，将DA和DB进行融合得到DF，然后对DF进行整数DCT反量化，得到最终的图像。该最终的图像即为图像A和图像B的融合图像。

加入深度学习神经网络模块对图像场景进行精准识别，例如：天空、草地、树林等场景，在精选后的图像库中进行挑选最佳的参考图像，进行彩色传递，生成对应场景最佳的彩色显示效果。该最终的图像即为图像场景融合的伪彩色图像。

上所得的伪彩色图像由于场景之间边界变化梯度较大，为使得变得过渡平滑，在此伪彩色图像的处理加上了轻量级的彩色图像直方图匹配方案，较佳地使得彩色融合图像过渡平滑，显示自然色彩。

实施例1

如图1所示，一种基于整数DCT变换的实时图像融合方法，包括如下步骤：

步骤S101：分别对红外图像和可见光图像的亮度分量进行整数DCT量化进行灰度融合；

步骤S102：使用深度学习神经网络对可见光图像进行场景识别；

步骤S103：在对应场景中选取最佳的参考图像进行彩色传递于灰度融合图像，得到彩色融合图像；

步骤S104：对融合后的彩色图像进行彩色直方图匹配处理，使其色彩显示平滑自然。

本实施例提供的基于整数DCT变换的实时图像融合方法，提供了一种实现图像融合的新思路，基于整数DCT变换系数的分布特性，通过对两图像的整数DCT变换系数进行融合，并对融合后的系数进行整数DCT反量化，得到的图像即为两图像融合后的灰度图像；同时使用深度神经网络对可见光图像进行场景划分，便于选择最佳的参考图像对灰度融合图像进行颜色传递，得到彩色融合图像；最后使用彩色直方图匹配，让融合图像颜色过渡平滑自然。本实施例提供了一种全新的轻量级实时性图像融合的解决方案，很好的解决了彩色图像融合的实时性问题。

下面将对各步骤进行详述：

其中，在执行步骤S101时，对图像进行整数DCT量化灰度融合的过程如图2所示，包括步骤S201：

对红外图像和可见光图像的亮度分量进行整数DCT量化，其过程如图3所示，包括步骤：

步骤S301：对图像进行分块处理；

在本实施例中，将图像划分为若干不重叠的8x8块，如果不能被8整除则填充0，使得图像分辨率为8的整数倍。分块过程如图4所示，单位分块为8x8。

单位分块为8x8块是在标清和高清之间的分辨率比较好的一个块的划分方式。在另一实施例中，根据图像分辨率的不同，块的划分大小也相应变化，本实施例在此不做限制。

步骤S302：对图像按块进行整数DCT量化。

分别对每一分块进行整数DCT量化。例如，当单位分块为8x8时，即对每个8x8块进行8x8整数DCT量化。

在执行整数DCT量化时，需要选择合适的整数DCT基函数，具体是从i₁～i₄中寻找一组i₃(i₁+i₄)＝i₂(i₁-i₄)，并且要求浮点D和

相关最小的，i₁～i₄就称为整数DCT变换基。通过深入研究和反复试验，最终确定选择的变换基为[12 10 6 3]。

根据选择的变换基[12 10 6 3]，确定本发明实施例整数DCT变换矩阵和量化矩阵如下：

变换矩阵P为：

量化矩阵scalmatrix为：

最终的整数DCT变换系数Y计算方法如下：

Y＝(((Y′[i,j]+(1＜＜4))＞＞5×scalmatrix[i,j]+(1＜＜11))＞＞12，称为量化过程。

其中，Y′＝PXP^T，称为整数DCT正变换过程。

其中，Y′＝PXP^T的计算可以采用蝶形算法，具体如下：

对图像进行2维DCT变换可以分解为水平方向一维DCT变换和一次垂直方向的一维DCT变换。

首先进行水平方向的一维DCT整数变换(记为1-D DCT整数变换)，计算公为：Y_T＝PX。其采用蝶形算法步骤如下：

令

其中B₀＝X₀+X₇，B₁＝X₁+X₆，B₂＝X₂+X₅，B₃＝X₃+X₄，B₄＝X₀-X₇，B₅＝X₁-X₆，B₆＝X₂-X₅，B₇＝X₃-X₄。

令

其中C₀＝B₀+B₃，C₁＝B₁+B₂，C₂＝B₀-B₃，C₃＝B₁-B₂。

而变换基矩阵可以分解为：

所以最终1-D DCT整数变换的蝶形运算过程如图5所示。

在完成水平方向的1-D DCT整数变换后，采用同样的方法完成垂直方向的1-D DCT整数变换，具体实现过程本发明在此不在赘述。

在完成一个8x8块的二维DCT整数变换后(记为2-DCT整数变换)和量化后就得到最终的整数DCT变换系数。然后把对应的8x8的变换系数存储到这个8x8块的对应位置。

按照上述做法，分别对图像中各分块进行2-DCT整数变换和量化，从而完成整个图像的整数DCT量化系数。

对图像A和图像B分别进行上述的整数DCT变换，得到的DCT变换系数分别用YA和YB来表示。

其中，在执行步骤S202时，经过深入研究和反复验证，发现每一分块内的DCT变换系数具有如图6和图7所示的分布特性。基于此，设计本发明实施例整数DCT系数融合规则如下：

设YA_block和YB_block分别是DCT整数变换系数YA和YB中对应单位分块，例如对应8x8的块，YF_block是融合后的系数YF内对应单位分块，例如对应8x8的块。

对于直流系数的融合，采用如下公式：

YF_block[0,0]＝(YA_block[0,0]+YB_block[0,0])/2；

对于其他系数的融合，采用如下公式：

如果abs(YA_block[i,j])>abs(YB_block[i,j]),i≠0,j≠0,i<8,j<8，则YF_block[i,j]＝YA_block[i,j]；否则，YF_block[i,j]＝YB_block[i,j]。

其中，abs()表示求绝对值运算。

其中，在执行步骤S203时，反变换的方法如下：

X′＝P^TY_FP；

反量化的计算公式为：

X[i,j]＝(X′[i,j]+(1＜＜15))＞＞16；

同理，整数DCT反变换也可以采用前面的蝶形运算的方法得到，本发明对此不再赘述。

其中，在执行步骤S102时，对可见光图像进行深度学习神经网络语义场景识别的过程如图8所示神经网络结构：

此处提出的神经网络模型利用了低分辨率图片的高效处理和高分辨率图片的高推断质量两种优点。主要思想是：让低分辨率图像经过整个语义网络输出一个粗糙的预测，然后利用文中提出的cascade fusion unit来引入中分辨率和高分辨率图像的特征，从而逐渐提高精度。其中cascade fusion unit结构如图9所示。

这样只有低分辨率的图像经过了最深的网络结构，而其他两个分支经过的层数都逐渐减少，从而提高了网络的速度。而这也恰恰是此次专利中的神经网络和其他cascadestructures的不同，虽然也有其他的网络从单一尺度或者多尺度的输入融合不同层的特征，但是它们都是所有的输入数据都经过了整个网络，所以它们的计算效率就大大降低了。其中CFF(cascade feature fusion)使用dilated convolution可以整合相邻像素的特征信息，而直接上采样就使每个像素只依赖于一个位置。

最终，该模型能达到实时进行语义分割处理，同时有较高准确率。

Input图片分为1,1/2,1/4这三个尺度分三路送到模型中，三个分支介绍如图8所示，包括步骤：

步骤S401：低分辨率分支处理；

在中分辨率的1/16输出的基础上，再缩放到1/32经过卷积后，然后使用几个dilated convolution扩展接受野但不缩小尺寸，最终以原图的1/32大小输出featuremap。

步骤S402：中分辨率分支处理；

以原图的1/2的分辨率作为输入，经过卷积后以1/8缩放，得到原图的1/16大小feature map，再将低分辨率分支的输出feature map通过CFF(cascade feature fusion)单元相融合得到最终输出。值得注意：低分辨率和中分辨率的卷积参数是共享的。

步骤S403：高分辨率分支处理；

原图输入，经过卷积后以1/8缩放，得到原图的1/8大小的feature map，再将中分辨率处理后的输出通过CFF(cascade feature fusion)单元融合。

在执行步骤S103时，在参考图像库中选取合适图像对灰度融合图像对应场景进行色彩传递：

在彩色传递融合中,主要考虑将目标场景纹理信息较为丰富的微光/可见光图像送到Y通道,将白热红外图像主要送到V通道,将黑热红外图像(前者的负片)主要送到U通道,使初始彩色图像基本保持具有传统视觉的暖冷色感规律。

UV通道均值反映图像的平均颜色,而UV通道标准差则反映了场景细节的颜色变化程度。

色彩传递实际上是将彩色参考图像在YUV空间的6个全局灰度统计值(均值与标准差)传递给初始彩色源图像,因此,每幅彩色参考图像只需6个统计值表征。

Y通道均值越大，融合图像的平均亮度越大；Y通道标准差越大，融合图像的对比度越大。

U通道均值越大，融合图像总体上越偏蓝紫色,值越小越偏绿色；U通道标准差越大，融合图像的蓝绿变化幅度越大。

V通道均值越大，融合图像越偏红色，值越小越偏黄绿；V通道标准差越大，融合图像的红黄变化幅度越大。

其中，RGB色域转YUV色域公式如下：

Y＝0.257R+0.504G+0.098B+16；

U＝-0.148R-0.291G+0.439B+128；

V＝0.439R-0.368G-0.071B+128；

在对应的场景模块区域内将灰度图像与参考图像的Y通道数据信息进行加权平均，公式如：

Y_f[i,j]＝0.85Y_g[i,j]+0.15Y_r[i,j]；

将融合后的Y_f与参考图像的U、V颜色通道进行合并，转换到RGB色域中，得到彩色融合图像；

其中，YUV色域转RGB色域公式如下：

R＝1.164(Y_f-16)+1.596(V-128)；

G＝1.164(Y_f-16)-0.813(V-128)-0.391(U-128)；

B＝1.164(Y_f-16)+2.018(U-128)。

执行步骤S104中，对通过场景颜色传递所得的彩色融合进行彩色直方图匹配，使得色彩显示自然平滑：

分别对可见光图像RGB三通道求均值；

直方图匹配公式如下：

反变换得：z＝G^-1(u)≈G^-1(s)；

在所得的彩色融合图像上针对可见光图像的RGB三通道均值做彩色直方图匹配处理，处理后的彩色融合图像较大地修正边界颜色梯度较大的问题，使得过渡平滑色彩自然。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种基于整数DCT变换的实时图像融合方法，其特征在于，包括如下步骤：

a、分别对红外图像和可见光图像亮度分量进行整数DCT量化以及融合,根据预设的融合规则对红外图像和可见光图像的亮度分量的整数DCT变换系数进行融合处理；对融合后的变换系数进行整数DCT反变量化，得到融合后的灰度图像；

b、采用深度学习神经网络语义识别进行场景识别；

c、选取最佳的场景参考图像对灰度融合图像进行色彩传递，生成彩色融合图像；

d、将生成的彩色融合图像在RGB色域内进行彩色直方图匹配处理；

对图像进行整数DCT量化具体包括如下步骤：

对图像进行分块处理，单位分块为8x8；

对图像按块进行整数DCT量化，得到图像的整数DCT变换系数；

其中，整数DCT量化过程为：

Y＝((Y′[i,j]+(1＜＜4))＞＞5×scalmatrix[i,j]+(1＜＜11))＞＞12；

整数DCT正变换过程Y′＝PXP^T；

整数DCT变换基为[12 10 6 3]；

变换矩阵P为：

量化矩阵scalmatrix为：

还包括：

预设的融合规则，对于直流系统的融合，采用如下公式：

YF_block[0,0]＝(YA_block[0,0]+YB_block[0,0])/2；

对于其它系统的融合，采用如下公式：

如果abs(YA_block[i,j])>abs(YB_block[i,j]),i≠0,j≠0,i<8,j<8，则YF_block[i,j]＝YA_block[i,j]；否则，YF_block[i,j]＝YB_block[i,j]；

还包括：

整数DCT反量化公式为：X[i,j]＝(X′[i,j]+(1＜＜15))＞＞16；

其中，整数DCT反变换过程为：X′＝P^TY_FP。

2.根据权利要求1所述的基于整数DCT变换的实时图像融合方法，其特征在于，采用蝶形算法执行整数DCT正变换和/或反变换过程。

3.根据权利要求1所述的基于整数DCT变换的实时图像融合方法，其特征在于，还包括：

深度学习神经网络语义识别，引入Cascade思想，将图像像素根据分割难易度分为三个等级：Easy、Moderate、Hard，分别用CNN网络的浅层、中层、高层完成分割,降低运算量同时提高分割精度。

4.根据权利要求1所述的基于整数DCT变换的实时图像融合方法，其特征在于，还包括：

选取用于颜色传递的最佳参考图像规则：

采用图像场景划分，于拟好的参考图像库中选取对应场景的参考图像；本规则对参考图像的选取要求并不苛刻，对参考图像的场景只要求与需要观察的场景基本相似，选取具有适中的亮度和对比度的参考图像即可，便于保证系统的轻量级和实时性。

5.根据权利要求1所述的基于整数DCT变换的实时图像融合方法，其特征在于，对灰度融合图像进行色彩传递具体包括如下步骤：

对参考图像在YUV色域中将三通道分离；

其中RGB色域转YUV色域公式如下：

Y＝0.257R+0.504G+0.098B+16；

U＝-0.148R-0.291G+0.439B+128；

V＝0.439R-0.368G-0.071B+128；

在对应的场景模块区域内将灰度图像与参考图像的Y通道数据信息进行加权平均，公式如下：

Y_f[i,j]＝0.85Y_g[i,j]+0.15Y_r[i,j]；

将融合后的Y_f与参考图像的U、V颜色通道进行合并，转换到RGB色域中，得到彩色融合图像；

其中，YUV色域转RGB色域公式如下：

R＝1.164(Y_f-16)+1.596(V-128)；

G＝1.164(Y_f-16)-0.813(V-128)-0.391(U-128)；

B＝1.164(Y_f-16)+2.018(U-128)。

6.根据权利要求1所述的基于整数DCT变换的实时图像融合方法，其特征在于，彩色直方图匹配处理具体包括如下步骤：

分别对可见光图像RGB三通道求均值；

直方图匹配公式如下：

反变换得：z＝G^-1(u)≈G^-1(s)；

在所得的彩色融合图像上针对可见光图像的RGB三通道均值做彩色直方图匹配处理，处理后的彩色融合图像较大地修正边界颜色梯度较大的问题，使得过渡平滑色彩自然。

Images