CN107945149B

CN107945149B - 增强IHS-Curvelet变换融合可见光和红外图像的汽车抗晕光方法

Info

Publication number: CN107945149B
Application number: CN201711393491.0A
Authority: CN
Inventors: 郭全民; 王言; 高嵩; 田英侠; 周芸; 李代娣
Original assignee: Xian Technological University
Current assignee: Xian Technological University
Priority date: 2017-12-21
Filing date: 2017-12-21
Publication date: 2021-07-20
Anticipated expiration: 2037-12-21
Also published as: CN107945149A

Abstract

本发明涉及一种增强IHS‑Curvelet变换融合可见光和红外图像的汽车抗晕光方法，以解决夜间汽车晕光的问题。技术方案包括：采集夜间汽车前方路况的可见光和红外图像；对两种图像进行滤波去噪；以红外图像为参考图像，对可见光图像进行配准；将可见光图像转换到IHS色彩空间得到亮度I、色调H和饱和度S三个分量；亮度分量I和增强后红外图像Curvelet分解得到各自的高低频系数；采用设计的权值自动调节策略融合低频系数；采用模值取大策略融合高频系数；对融合后的高低频系数进行Curvelet重构得到新的亮度信号分量I′；I′与原始的色调H和饱和度S做IHS反变换得到最终的融合图像。本发明将高亮度的晕光信息剔除，有效提高了图像清晰度。

Description

增强IHS-Curvelet变换融合可见光和红外图像的汽车抗晕光方法

技术领域

本发明属于汽车抗晕光技术领域，主要涉及利用图像融合技术对可见光和红外相机夜间同步采集的图像进行处理技术领域，具体涉及一种增强IHS-Curvelet变换融合可见光和红外图像的汽车抗晕光方法。

背景技术

道路交通事故中，夜间时段是交通事故的高发期，夜间行车只占了行车时间的四分之一，但事故却占了交通总数的一半以上。夜间道路交通事故的原因，除了疲劳驾驶，另一个主要原因是滥用远光灯导致的驾驶员晕光现象。夜间行车时，若对面车辆开启远光灯，会使驾驶员感到非常刺眼，无法看清楚自己的行车路线及路边行人，这种晕光现象时常引起车毁人亡的悲剧发生。

传统的抗晕光方法主要有物理格挡法、光偏振法、改进可见光图像传感器、红外夜视仪等方法。物理格挡法因受经济、城建规划等因素影响，一般只应用于高速公路和新建城市主干道，无法广泛应用。光偏振法是在机动车前大灯及前挡风玻璃上加装偏振片来消除晕光，如美国专利《Polarization type anti-dazzle device for motor vehicles》，专利号为US3211047，但由于偏振片会削弱光照强度造成暗处信息观察困难，且要求对方车上同样安装有方向严格一致的偏振装置，因此没有得到普及。改进可见光图像传感器可以部分消除晕光效果，如中国专利《抗晕光面阵CCD图像传感器》，专利号为ZL200710018244.2，扩大了可见光图像传感器的动态范围，但无法彻底消除晕光现象。在汽车上配备的主动/被动红外夜视仪，红外图像无晕光，但分辨率低、清晰度欠佳，重要细节信息如：车牌号、车身颜色、交通信号灯颜色等无法获取，视觉效果不理想。

结合红外图像没有晕光和可见光图像色彩细节信息丰富优点的图像融合抗晕光技术，为解决夜间行车的晕光问题提供了一种新途径，具有较好的应用前景。本发明的前期工作《基于YUV与小波变换的可见光与红外图像融合》以及《基于可见光和红外图像融合的汽车抗晕光方法》，对可见光和红外图像在不同色彩空间下结合小波变换进行融合，取得了较好的消除晕光效果，但也存在融合后图像整体较暗，特别是暗处细节信息缺失严重，而这恰恰是夜间晕光引起交通事故的重要原因，因此中国专利《红外与可见光图像融合的汽车抗晕光视频图像处理方法》，申请号为CN201610363585.2，该方法从消除晕光和规避碰撞物两个角度来解决夜间行车晕光引起的安全问题，提出了图像增强与图像融合相结合，先增强再融合的处理方法。首先通过对可见光图像做MSRCR增强，解决了夜间可见光图像亮度低、暗处信息不易获取的问题，对红外图像做MSR图像增强，提高了红外图像对比度，再采用YUV与小波变换结合的方式对增强后的可见光图像和红外图像进行融合，有效地消除了融合图像的晕光现象，并对图像的亮度和暗处细节信息有较大保留和提升。

但上述方法中低频系数融合时采用了传统的加权平均融合策略，晕光信息仍参与图像融合过程，导致晕光现象仅能削弱、无法彻底消除；采用的小波变换存在不具有各向异性的缺陷，不能有效表达二维信号中的边缘、轮廓等细节信息，故融合图像的清晰度仍有待提高。因此，现有的图像融合抗晕光方法由于无法彻底消除晕光，导致图像晕光部位模糊不清，阻碍晕光部位信息的获取，同时较低的图像清晰度不利于对路边行人、马路边缘、车牌等细节的观察，驾驶员不能清楚地观察到车前方的路况，不能提前做出预判，因此难以消除安全隐患。

本发明项目组对国内外专利文献和公开发表的期刊论文检索，尚未发现与本发明密切相关和一样的报道或文献。

发明内容

本发明的目的在于针对现有图像融合抗晕光技术存在消除晕光不彻底，融合后图像清晰度低的缺点，提供一种能够彻底消除晕光，同时提高图像清晰度的可见光与红外视频图像融合的汽车抗晕光方法。

为达到本发明的目的，本发明提供一种增强IHS-Curvelet变换融合可见光和红外图像的汽车抗晕光方法，包括有以下步骤：

步骤1使用光轴平行的车载可见光和红外相机同时采集夜间汽车前方路况的可见光和红外图像；

步骤2对可见光和红外图像进行滤波、配准等预处理操作，得到滤除了噪声、时间和空间一致性更高的预处理图像；

步骤3对预处理后的可见光图像进行IHS正变换得到亮度I、色调H和饱和度S三个分量；

步骤4把亮度信号分量I和预处理后的红外图像进行Curvelet分解得到各自的高低频系数；

步骤5采用红外低频系数权值随可见光低频系数自动调节的策略融合低频系数：

（1）构造红外低频系数权值和可见光低频系数的函数关系：

(1)

其中

为红外低频系数的权值，

为可见光低频系数，l的大小决定了

在晕光与非晕光交界处变化的剧烈程度，简称为

的临界变化率；m为低频系数矩阵中晕光与非晕光交界处的临界值，简称为晕光临界值；n为临界值处的红外低频系数权值，简称为临界红外权值，将l、m、n统称为晕光临界参数；

（2）可见光与红外低频系数融合方法为：

(2)

其中

、

、

分别为可见光、红外、融合图像的低频系数；

步骤6采用模值取大的策略融合高频系数；

步骤7对融合后的高低频系数进行Curvelet重构得到新的亮度分量

；

步骤8将新的亮度信号分量

和原始的色调H、饱和度S分量进行IHS逆变换，得到最终融合图像。

上述步骤5（1）中，l取值范围为

，m取值范围为

，n取值范围为

。

上述步骤5（1）中，l取2，m取3，n取0.75。

与现有技术相比，本发明技术优势有：

(1)本发明所设计的低频系数权值自动调节的融合策略，能够在低频系数融合时将高亮度的晕光信息剔除，从理论上保证了能够彻底地消除晕光现象，使驾驶员不再受远光灯的干扰，利用无晕光视频图像看清前方路况，做出正确的行车路线选择，这正是图像融合抗晕光技术所需要解决的核心问题，也是汽车抗晕光领域现有图像融合抗晕光方法所不具备的。

(2)本发明采用IHS-Curvelet变换融合可见光与红外图像，利用Curvele支撑区间具有各向异性的特点，克服了现有方法中二维小波基不具有各向异性的缺陷，能更好地表达边缘、轮廓、纹理等细节信息，与IHS变换相结合完整保留了图像的色彩信息，避免了色彩失真，使得融合图像中的目标变得易于观察。

(3)本发明结合图像晕光的特点对晕光临界参数进行了优选取值，所确定的晕光临界参数的优选取值保证了融合图像能彻底地消除晕光，最大程度地保留有用信息，达到最佳视觉效果。

（4）采用本发明方法后，驾驶员能够清楚地观察到车前方的路况，可以提前做出预判，消除安全隐患，大大提高了驾驶的安全性。

（5）本发明设计的权值自动调整的低频系数融合策略，能够将可见光的晕光信息剔除，避免其参与融合过程，能够彻底地消除融合图像的晕光现象，计算量少，容易实现。

附图说明：

图1是本发明的流程框图；

图2红外低频系数权值与可见光低频系数的函数曲线；

图3是采集的夜间汽车前方路况的可见光图像；

图4是采集的夜间汽车前方路况的红外图像；

图5是预处理后的可见光图像；

图6是预处理后的红外图像；

图7是可见光的亮度分量I；

图8是新的亮度分量I′；

图9是本发明算法最终融合图像；

图10是IHS-小波变换算法融合图像；

图11是低频系数加权平均的IHS-Curvelet变换算法融合图像。

具体实施方式：

下面将结合附图和实施例对本发明作详细地说明。

针对现有的图像融合抗晕光方法消除晕光不彻底，导致图像晕光部位模糊不清，阻碍晕光部位信息的获取，同时较低的图像清晰度不利于对路边行人、马路边缘、车牌等细节进行观察的问题，本发明提出了一种增强IHS-Curvelet变换融合可见光和红外图像的汽车抗晕光方法，参见图1，包括有以下步骤:

步骤2对可见光和红外图像进行滤波、配准等预处理操作，得到滤除了噪声、时间和空间一致性更高的预处理图像。

步骤5采用红外低频系数权值随可见光低频系数自动调节的策略融合低频系数，剔除了晕光信息参与融合，且最大程度地保留了图像的原始信息；

步骤6采用模值取大的策略融合高频系数，保留了更多更清晰的纹理细节信息；

；

步骤8将新的亮度信号分量

和原始的色调H、饱和度S分量进行IHS逆变换，得到最终融合图像，完成夜间道路图像的抗晕光处理，输出彻底消除了晕光、细节清晰、色彩丰富且符合人眼视觉效果的融合图像。

所说步骤5中采用红外低频系数权值随可见光低频系数自动调节的策略融合低频系数，具体的步骤为两步：

（1）权值自动调节的方法如下：

由于可见光的晕光信息主要包含在低频系数中，为了消除晕光，本发明使低频融合系数在晕光部分主要取红外图像信息，在非晕光部分取两者信息的平均。对可见光图像进行处理时发现，其低频系数矩阵在晕光对应位置的值明显大于其它地方。因此，本发明设计了一种红外低频系数权值随可见光低频系数自动调节的融合策略，构造两者的函数关系如下：

(1)

其中

为红外低频系数的权值，

为可见光低频系数。l的大小决定了

在晕光与非晕光交界处变化的剧烈程度，简称为

的临界变化率；m为低频系数矩阵中晕光与非晕光交界处的临界值，简称为晕光临界值；n为临界值处的红外低频系数权值，简称为临界红外权值。将l、m、n统称为晕光临界参数。

对于晕光临界参数的研究表明：

的临界变化率l的值越大，

在晕光与非晕光交界处变化越剧烈，去除晕光越彻底，图像有用信息保留也越完整，但同时融合图像在晕光与非晕光交界处的拼接痕迹也越明显，l的值越小，

在晕光与非晕光交界处变化越缓和，融合图像在晕光与非晕光交界处的拼接痕迹越柔和，但同时去除晕光越不彻底，图像有用信息损失也越多，l的合理取值范围为

；晕光临界值m的值取的过大，会导致融合图像去除晕光不彻底，取的过小，会导致可见光图像有用信息损失过多，因此m须取合适的值，才能保证融合图像在消除晕光的同时最大程度地保留有用信息，m的合理取值范围为

；临界红外权值n的值取得过大，会导致融合图像在临界处对红外图像的信息取的过多，对可见光图像信息取的过少，n的值取得过小，会导致相反的结果，因此n须取合适的值才能使融合图像在临界处对两种图像的信息获取达到平衡，此时图像的信息熵达到最大，n的合理取值范围为

。

对于晕光临界参数的研究进一步表明：

通过对融合图像的视觉效果与客观数据对比分析，l取2时

在晕光与非晕光交界处变化的剧烈程度适中，融合图像在晕光与非晕光交界处的拼接痕迹几乎不可见，同时比较彻底地消除了晕光，图像有用信息也保留得比较完整；m取3时，融合图像在消除晕光的同时熵达到最大；n取0.75时，图像融合结果达到最优。将上述参数的取值代入

与

的函数表达式中可以得到：

其函数曲线如图2所示。由函数关系曲线可知，当可见光低频系数

，即非晕光处，红外低频系数权值

接近0.5，可见光低频系数权值

也接近0.5，表示融合图像在非晕光处取两者信息的平均，这样就可以最大程度的同时保留两种图像的有用信息；当

，即晕光过渡区，随

的增大，

由接近0.5逐渐增大到接近1，表示随着晕光逐渐从无到有，红外图像所占比重越来越大，可见光所占比重越来越小，这样便可去除晕光信息，保留有用信息；在

，即严重晕光区，红外低频系数权值

接近1，可见光低频系数权值接近0，表示融合图像在严重晕光处几乎全部取红外图像信息，这样就可以阻止几乎全部的晕光信息参与图像融合。

（2）可见光与红外低频系数融合方法为：使用下式融合红外和可见光低频系数

(2)

其中

、

、

分别为可见光、红外、融合图像的低频系数。

使用上述本发明设计的权值自动调整策略融合红外和可见光低频系数，能够将可见光的晕光信息比较彻底地消除，并最大程度地保留原始图像的有用信息，计算量少，容易实现。

下面给出一个完整的处理过程，对本发明做进一步说明。

实施例：

一种增强IHS-Curvelet变换融合可见光和红外图像的汽车抗晕光方法中包括有图像预处理、IHS正变换、Curvelet分解、低频系数融合、高频系数融合、Curvelet重构及IHS反变换。具体步骤如下：

1、车载可见光和红外相机采集到对应于同一时间空间的夜间道路可见光图像，见图3，以及红外图像，见图4。

2、采用3*3大小的模板对两种图像进行均值滤波来消除源图像中存在的噪点，然后以红外图像为参考图像，对可见光图像进行配准，得到去除了噪声、时间和空间一致性更高的预处理可见光图像，见图5，和预处理红外图像，见图6。、

3、对预处理后的可见光图像进行IHS正变换得到亮度I，见图7，和色调H、饱和度S三个分量：

对预处理后的可见光图像使用下式：

进行IHS正变换，将其从RGB色彩空间转换到IHS色彩空间，得到亮度I、色调H和饱和度S三个分量。

4、把亮度信号分量I和预处理后的红外图像进行Curvelet分解得到各自的高低频系数：

使用Curvelet变换的二维离散形式：

对可见光图像亮度分量I与红外图像进行Curvelet分解。式中

（

）为笛卡尔坐标系下的输入，

为Curvelet函数，其中

表示离散，

表示Curvelet分解的尺度，

表示方向，

表示位置。分解得到各自的低频系数

、

和不同尺度、不同方向下的高频系数

、

，其中

表示可见光，

表示红外，0表示低频。

5、低频系数采用本发明设计的权值自动调整的策略进行融合以去除低频系数中包含的晕光信息，

使用下式融合红外和可见光低频系数：

(2)

其中自动调节的权值

的表达式为：

6、高频系数采用模值取大的策略进行融合以保留更多的细节信息，采用模值取大的策略来融合高频系数，即：

7、对融合后的高低频系数进行Curvelet重构，得到消除了晕光的新亮度分量I′，具体实现步骤如下：

(1) 对式(1)中的输入

进行二维FFT得到傅里叶采样序列

，其中

；

(2) 对每一个尺度、方向参数组

，用拟合窗

乘以

，

为笛卡尔坐标系下满足一定允许条件的类似“楔形”的块状窗函数；

(3) 对

围绕原点进行Wrap局部化，得到

；

(4) 对序列

做二维FFT逆变换，得到Curvelet系数

。

8、将新的亮度信号分量I′和原始的色调H、饱和度S分量进行IHS反变换得到最终的融合图像，使用IHS逆变换公式：

对新的亮度分量

和原始的色调H、饱和度S分量进行IHS逆变换，获得适合显示器显示的RGB色彩图像，即为最终抗晕光融合图像，参见图9。实现了晕光的彻底消除，且保留了图像的细节信息，提高了图像清晰度，对于整个路况反映更加真实，为驾驶人员在夜间会车时提供了更开阔的视野和更清晰的路况影像，让驾驶人员有更多的时间提前做出预判。从图9可见，本发明得到的融合图像不仅较为彻底地消除了晕光，而且保留了更多的图像原始信息，色彩清晰，细节清楚，适合人眼观察。

上述过程中，采用增强IHS-Curvelet变换对采集到的夜间道路可见光和红外图像进行融合，使图像的边缘、轮廓、纹理等细节更加清楚，提高了融合图像的对比度和清晰度，完整地保留了图像的色彩信息，让驾驶员更容易获取前方路况信息，提前做出预判，避免发生碰撞。

本发明将可见光图像由RGB色彩空间转换到IHS色彩空间下进行融合，仅对亮度分量I与红外图像进行单通道融合，相比RGB色彩空间三个通道同时处理减少了运算量，提高了处理速度，更好的满足了实时性，并且将亮度分量和色彩分量分开处理的方法有效地避免了色彩失真现象。

本发明简单实用，其中晕光临界参数等已经固化在程序中，只需加载可见光图像与红外图像两路图像，即可得到融合图像，过程中不需要手动调节参数。

本发明的抗晕光技术效果也可以通过仿真来验证，仿真条件：Windows10操作系统、MATLAB软件。

红外相机和可见光相机采集到的图像数据经预处理、IHS变换、Curvelet分解、高低频系数融合、Curvelet重构、IHS反变换后得到消除晕光且清晰度良好的融合图像，具体的步骤是：

一．图像采集：

使用光轴平行的车载可见光和红外相机同时采集夜间汽车前方路况的可见光图像，见图3，和红外图像，见图4。

二．图像预处理：

1图像滤波：

(1)使用imread函数读取可见光和红外两幅图像；

(2)使用模板大小为3*3的均值滤波函数fspecial('average',3)对两种图像进行滤波，得到滤除了噪声、视觉效果更为平滑的图像。

2图像配准：

(1)使用cpselect函数从两幅图像中选取4对特征点，保存在base_points和input_points中；

(2)使用cp2tform函数通过获得的特征点及所使用的变换类型求出变换矩阵；

(3)使用imtransform函数对待配准图像应用变换矩阵进行仿射变换；

(4)使用imcrop函数将可见光图片裁剪至与红外图像相同的大小。

经过以上两步骤得到预处理后的可见光图像，如图5，和红外图像，如图6。

三．IHS正变换：

按照公式(6) (7) (8)编写IHS正变换函数rgb2hsi，使用该函数把预处理后的RGB色彩空间的可见光图像转换到IHS色彩空间，得到亮度分量I，见图7，和色调H、饱和度S三个分量。

四．Curvelet分解：

使用fdct_wrapping函数调用wrapping分解算法函数包对I分量和红外图像进行Curvelet分解，分解层数为对log2(min(M,N)) – 3向上取整的数，M、N分别为图像矩阵的行数和列数。

五.低频系数融合：

分解得到的系数中尺度小于3的部分为低频系数，对低频系数按照式(2)、(3)的权值自动调整策略进行融合。

六.高频系数融合：

分解系数中尺度大于等于3的部分为高频系数，对高频系数按照公式(10)的模值取大策略进行融合。

七.Curvelet重构：

使用ifdct_wrapping函数调用wrapping重构算法函数包对融合后的高低频系数进行Curvelet重构得到可见光图像的新亮度分量

。

八．IHS逆变换：

编写IHS逆变换函数hsi2rgb，使用该函数把图像从IHS色彩空间转化到RGB色彩空间，得到最终融合图像，见图9。

从图9中可以看出，与原可见光图像相比，融合后的图像彻底消除了晕光，且很好地保留了源图中的车牌、背景建筑物等细节信息，车辆旁边的行人、建筑物等信息变得清晰可见，图像亮度、对比度和清晰度得到显著提升，很好地解决了夜间行车时的晕光问题。

为了验证本发明算法的有效性，选取IHS-小波变换、低频系数加权平均的IHS-Curvelet变换2种不同算法与本发明算法进行比较，IHS-小波变换、低频系数加权平均的IHS-Curvelet变换2种算法的融合结果如图10、11所示。

对比图10 IHS-小波变换和图9本发明算法使用的IHS-Curvelet变换，可以看到图10中的车辆轮廓、车牌、道路边缘及背景建筑物模糊不清，图像清晰度低；图9中图像清晰度明显优于图10，车辆轮廓、车牌、道路边缘及背景建筑物清晰可见，表明在IHS变换的基础上，Curvelet变换因具有各向异性的支撑区间，故能用更少的系数表示曲线，使其比小波变换能更好的保留图像信息，融合图像清晰度更高。

对比图11低频系数加权平均和图9采用本发明低频系数权值自动调节的两种IHS-Curvelet变换，可以看出图11中仍然存在晕光，而图9中的晕光基本完全消除，这是由于传统的加权平均低频系数融合策略中晕光信息仍参与了图像融合，造成晕光消除不彻底，而本发明算法所使用的低频系数权值自动调节融合策略在融合过程中剔除了晕光信息，能更为彻底地消除融合图像中的晕光。

为了客观地评价本发明算法效果，采用标准差Standard Deviation、平均梯度Average Gradient、边缘强度Edge Intensity、信息熵Entropy、均值Mean Value等五个通用指标对上述3种算法的融合图像进行数据分析，结果如表1所示。

表1 融合图像的客观评价

	标准差	平均梯度	边缘强度	信息熵	均值
						IHS-小波	29.023	4.627	48.768	6.886	105.395
低频系数加权平均的IHS-Curvelet	39.934	7.023	73.452	7.084	110.430
						本发明算法	42.708	7.084	74.352	7.193	104.706

从表1中可以看到，本发明算法融合图像的标准差较IHS-小波变换提高了47.15%，标准差的显著提升表明本发明算法使用的Curvelet变换较小波变换融合图像的灰度范围明显增大，对比度大幅提高；本发明算法融合图像的平均梯度、边缘强度较IHS-小波变换依次分别提高了53.10%、52.46%，这两项指标同样也显著提升，表明使用本发明算法的融合图像边缘、轮廓、纹理等细节信息比小波变换算法的更加丰富，图像清晰度大幅提升；本发明算法融合图像的信息熵较IHS-小波变换依次提高了4.45%，表明使用Curvelet变换比小波变换能保留更多的原图信息，减少信息的丢失；本发明算法融合图像的均值较IHS-小波变换、低频系数加权平均的IHS-Curvelet变换分别降低了0.65%、5.18%，表明本发明算法融合图像的平均亮度较这2种算法都有所下降，这是因为采用本发明算法进行图像融合时剔除了高亮度的晕光像素点，导致融合图像均值有所降低，但是图像的有用信息未减少、质量未下降，实际视觉亮度并未降低。

通过对以上客观指标的数据对比与分析，本发明提出的增强IHS-Curvelet变换融合可见光和红外图像的抗晕光方法，能使融合图像的对比度和清晰度显著提升，包含的信息量更多，进一步验证了本发明抗晕光方法的有效性。

综上所述，针对夜间汽车滥用远光灯导致晕光现象易引发交通事故的问题，本发明设计了一种增强IHS-Curvelet变换融合可见光和红外图像的汽车抗晕光方法，以提高夜间行车的安全性，该方法由图像滤波、图像配准、IHS正变换、Curvelet分解、低频系数融合、高频系数融合、Curvelet重构及IHS反变换构成。其中采用增强IHS-Curvelet变换融合红外和可见光图像，边缘、轮廓、纹理等细节信息更加丰富，图像清晰度和对比度显著提升，能够最大程度地保留了原图中的色彩信息，设计的权值自动调节的低频系数融合策略能够将高亮度的晕光信息剔除，能够较为彻底地消除融合图像中的晕光，能够比较彻底地消除晕光且最大程度地保留图像的原始信息。在图像融合时剔除了晕光信息，让驾驶员不再受晕光干扰，得到的融合图像适合人眼观察，很好地解决了夜间行车时的晕光问题。