CN104899836A - 一种基于近红外多光谱成像的雾天图像增强装置及方法 - Google Patents

Abstract

本发明公开了一种基于近红外多光谱成像的雾天图像增强装置，包括成像单元、图像信号处理单元以及视频增强单元及设备控制单元。成像单元主要完成物理图像的分割采样功能，图像信号处理（ISP）对从传感器中输出的原始图像进行后期处理，使之更加接近所拍摄的实际场景。视频增强单元将ISP输出的图像和视频进行针对性的增强，输出增强后的图像。设备控制单元由485串口控制云台、镜头以及滤光片。本发明还公开了一种基于近红外多光谱成像的雾天图像增强装置对应的实现方法。本发明综合光学成像、图像信号处理、视频增强技术，提高了透雾性能，透雾后的图像在清晰度和细节、对比度方面都得到了较大改善。提高了雾天情况下长焦距、大变倍镜头的探测距离。

Description

一种基于近红外多光谱成像的雾天图像增强装置及方法

技术领域

本发明公开了一种基于近红外多光谱成像的雾天图像增强装置及方法，涉及红外成像技术领域。

背景技术

早期研究的透雾技术，主要是从成像原理入手，也就是光学透雾，通过透雾镜头来过滤空气中杂质对影像的影响，其原理为：在不可见光的范围内，近红外波段的光可以穿透雾气，将这一频率的不可见光进行成像，从而实现肉眼无法实现的“透视”。但由于近红外波段的波长不同可见光，需要在摄像机上进行采集，才能达到对其成像的目的。同时由于红外波段信号能量低、信噪比低，其图像信号采集传感器和处理过程也和可见光不同。

另外一种为算法透雾，也称视频图像增透技术，一般指将因雾和水汽灰尘等导致朦胧不清的图像变得清晰，强调图像当中某些感兴趣的特征，抑制不感兴趣的特征，使得图像的质量改善，信息量得到增强。以下为算法透雾的几种实现方式。

首先是基于暗通道的透雾算法，该算法是一种基于去雾物理模型的方法，针对雾天图像的退化现象，进行一次与成像的逆过程来恢复无雾图像。此方法针对性很强，得到的算法结果自然，能够取得不错的去雾效果。但是此类方法计算量都非常大，处理一副图像需要耗费大量的时间，难以满足实时性要求，限制了该算法在工程领域的广泛应用。且对远红外成像这种不符合雾天模型的情况并不适用。

第二种是传统的图像增强算法，如Retinex和CLAHE等算法，这类图像增强算法通过一定手段对原图像变换数据，有选择地突出图像中感兴趣的特征或者抑制图像中某些不需要的特征，使图像与视觉响应特性相匹配。在图像增强过程中，不分析图像降质的原因，处理后的图像不一定逼近原始图像。如Retinex算法可以实现多个特征的增强，同时也存在一些不足之处：局部细节出现过增强，使得图像出现噪点，图像明暗对比强烈的部分易产生光晕现象以及颜色保持不够真实自然。

在一些远距离监控应用场景中，需要长焦距、大变倍镜头，如边海防应用。此时由于作用距离远、画面视场小，上述的透雾技术效果各有优劣。因此这里基于近红外多光谱光学成像技术，综合图像信号处理和视频增强技术，提出了一种综合型的雾天图像增强装置和方法，大大提高了雾天情况下长焦距、大变倍镜头的探测距离。

发明内容

本发明所要解决的技术问题是：针对现有技术的缺陷，提供一种基于近红外多光谱成像的雾天图像增强装置及方法，在光学成像单元、图像信号处理单元和视频增强单元三个要素的设计中提高透雾性能。

本发明为解决上述技术问题采用以下技术方案：

一种基于近红外多光谱成像的雾天图像增强装置，包括依次顺序连接的设备控制单元、成像单元、图像信号处理单元和视频增强单元，其中，

    所述设备控制单元包括聚焦控制模块、云台控制模块和滤光片切换控制模块，分别实现驱动镜头聚焦、相机云台转动控制和滤光片的切换；

所述成像单元包括镜头、滤光片和传感器；

所述聚焦控制模块与镜头相连接，所述滤光片切换控制模块与滤光片相连接；

所述图像信号处理单元，对从传感器中输出的图像进行处理，得到场景的数字图像；

所述视频增强单元，采用基于对比度受限自适应图像增强算法，根据图像信号处理单元统计数据进行参数动态配置。

作为本发明的进一步优选方案，所述滤光片包括可见滤光片和第一红外滤光片、第二红外滤光片。

作为本发明的进一步优选方案，所述设备控制单元通过485接口与摄像机联动。

作为本发明的进一步优选方案，所述传感器为CMOS传感器Sony IMX222。

本发明还公开了一种所述基于近红外多光谱成像的雾天图像增强装置对应的实现方法，在装置中设置的不同滤光片，将不同波段范围的可见光和红外线分开，进行切换控制；

用可见光波段的光提高图像的清晰度，用近红外波段的光的透雾效果来增加监控的距离；

通过图像信号处理单元来提高图像的动态范围和对比度，减少噪声。

作为本发明的进一步优选方案，所述图像信号处理单元的统计数据包括直方图统计数据和锐度统计数据。

作为本发明的进一步优选方案，所述图像信号处理单元中，图像处理流程包括颜色插值、图像去噪、锐化、颜色转换、颜色校正、白平衡和图像数据统计。

作为本发明的进一步优选方案，视频增强单元中，所述基于对比度受限自适应图像增强算法的实现流程包括：

利用图像信号处理单元统计数据中的每个子区域的灰度直方图作为算法输入；

利用图像信号处理单元统计数据中的平均锐度统计值的大小来确定对比度受限的截止极限；

利用截止极限对每个分块的区域进行对比度限幅，当图像中的某个块的平均锐度值大于设定的阈值时，判断明图像中存在主体，并进一步突出主体；当图像中的某个块的平均锐度值小于设定的阈值时，判断存在单一背景，对单一背景不操作，限制噪声的过度放大，突出图像重点主体；

对每个子区域对比度受限后的灰度直方图进行均衡化，获得每个子区域中心点，将这些中心点作为样本点；

对图像的每一个像素进行灰度线性插值，得到增强后的图像。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：综合光学成像、图像信号处理、视频增强技术，提高了透雾性能，透雾后的图像在清晰度和细节、对比度方面都得到了较大改善。提高了雾天情况下长焦距、大变倍镜头的探测距离。

附图说明

图1为本发明装置结构框图；

图2图像信号处理流程简图；

图3为本发明视频增强单元算法流程图；

图4 图像分块示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下面结合附图对本发明的技术方案做进一步的详细说明：

图1是本发明方案的系统组成框图，系统由成像单元、图像信号处理单元以及视频增强单元及设备控制单元四个部分组成。成像单元主要完成物理图像的分割采样功能，图像信号处理（ISP）对从传感器中输出的原始图像进行后期处理，使之更加接近所拍摄的实际场景。视频增强单元将ISP输出的图像和视频进行针对性的增强，输出增强后的图像。设备控制单元由485串口控制云台、镜头以及滤光片。下面对各个部分做介绍：

（1）成像单元由镜头、滤光片、传感器组成。

镜头，采用全通镜头，对各个波段的光透过率均较好，其中近红外工作波段为800nm~1100nm。

滤光片，分别为2片红外滤光片（红外1模式、红外2模式）、可见光滤光片组成，将不同波段的可见光和红外线的分开使用。用可见光波段的光提高图像的清晰度以及利用近红外波段的光能够透雾的功能来增加监控的距离，以此来提高图像的质量。

传感器，采用的是对红外波段灵敏度高的CMOS传感器Sony IMX222。

（2）图像信号处理（ISP）单元，一种专用数字集成电路，主要负责对从传感器中输出的原始格式图像数据进行后处理，得到场景的数字图像，可以使得图像变得更加细腻，更加接近现实中人眼所看到的图像。ISP图像处理流程主要包括颜色插值、图像去噪、锐化、颜色转换、颜色校正、白平衡、图像数据统计模块等。

在通常可见光的监控由于焦距小，视场较大。所以得到的图像对比度较好，动态范围较大，噪声小，颜色较真实，能够真实反映现实场景。而红外监控由于作用距离远，近红外响应信号强度弱，导致图像的对比度下降，图像的动态范围较小，噪声较大。因此为了增强图像的视觉效果就必须调节ISP单元：1）抑制噪声、提高图像信噪比；2）增加图像动态范围。为后续的图像增强算法做准备。

图2是图像信号处理（ISP）简图，影响图像信噪比的模块主要有：1）降噪模块、2）锐化模块。影响图像动态范围的是色调映射模块。

降噪模块：在远距离的监控条件下，图像的噪声较大，因此需要尽量对图像进行噪声消除，增加降噪等级，以满足人眼视觉为目的。

锐化模块：由于作用距离远，天气中的粉尘、颗粒等干扰，导致图像主体边缘模糊，细节不明显。降低锐度参数，以满足人眼视觉为准。

色调映射模块，色调映射从本质上来说要解决的问题是进行大幅度的对比度衰减将场景亮度变换到可以显示的范围，同时要保持图像细节与颜色等对于表现原始场景非常重要的信息。在不同的应用中，色调映射有着不同的目标，在作用距离远、视场小的环境下，色调映射的目标是强调生成尽可能多的细节或者最大的图像对比度，增大图像的动态范围。调试方法是采用查找表的方式来实现，如果校正后的效果满足人眼视觉，就认为达到了校正效果，不再需要重新校正。

（3）视频增强单元，采用专用处理芯片，内部实现了基于对比度受限自适应直方图均衡的图像增强算法，并根据图像信号处理单元统计数据进行参数动态配置。附图3为视频增强单元算法流程，该算法利用ISP单元统计数据中的每个子区域的灰度直方图作为算法输入（ISP单元中将图像分为了5x8个连续不重叠的子区域，详见附图4），利用ISP统计模块中的平均锐度统计值的大小来确定对比度受限的截止极限，截止极限的主要作用就是对每个分块的区域进行对比度限幅，当图像中的某个块的平均锐度值较大时，说明图像中可能存在主体，那么就突出主体，其截至极限就相应增大。当图像中的某个块的平均锐度值较小时，那么可能存在天空等单一背景，那么就对天空等单一背景不操作，这可以有效的避免算法对天空等单一背景的过度操作，限制噪声的过度放大，而且能够突出图像重点主体，然后对每个子区域对比度受限后的灰度直方图进行均衡化，获得每个子区域中心点，将这些中心点作为样本点，最后再对图像的每一个像素进行灰度线性插值，得到增强后的图像。

（4）设备控制单元：该控制板的作用主要是控制相机云台转动、驱动镜头聚焦及滤光片的切换。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (8)

1.一种基于近红外多光谱成像的雾天图像增强装置，其特征在于：包括依次顺序连接的设备控制单元、成像单元、图像信号处理单元和视频增强单元，其中，

    所述设备控制单元包括聚焦控制模块、云台控制模块和滤光片切换控制模块，分别实现驱动镜头聚焦、相机云台转动控制和滤光片的切换；

所述成像单元包括镜头、滤光片和传感器；

所述聚焦控制模块与镜头相连接，所述滤光片切换控制模块与滤光片相连接；

所述图像信号处理单元，对从传感器中输出的图像进行处理，得到场景的数字图像；

所述视频增强单元，采用基于对比度受限自适应图像增强算法，根据图像信号处理单元统计数据进行参数动态配置。

2.如权利要求1所述的一种基于近红外多光谱成像的雾天图像增强装置，其特征在于：所述滤光片包括可见滤光片和第一红外滤光片、第二红外滤光片。

3.如权利要求1所述的一种基于近红外多光谱成像的雾天图像增强装置，其特征在于：所述设备控制单元通过485接口与摄像机联动。

4.如权利要求1所述的一种基于近红外多光谱成像的雾天图像增强装置，其特征在于：所述传感器为CMOS传感器Sony IMX222。

5.一种所述基于近红外多光谱成像的雾天图像增强装置对应的实现方法，其特征在于：装置中设置的不同滤光片，将不同波段范围的可见光和红外线分开，进行切换控制；

用可见光波段的光提高图像的清晰度，用近红外波段的光的透雾效果来增加监控的距离；

通过图像信号处理单元来提高图像的动态范围和对比度，减少噪声。

6.如权利要求5所述的一种基于近红外多光谱成像的雾天图像增强装置对应的实现方法，其特征在于：所述图像信号处理单元的统计数据包括直方图统计数据和锐度统计数据。

7.如权利要求5所述的一种基于近红外多光谱成像的雾天图像增强装置对应的实现方法，其特征在于：所述图像信号处理单元中，图像处理流程包括颜色插值、图像去噪、锐化、颜色转换、颜色校正、白平衡和图像数据统计。

8.如权利要求5所述的一种基于近红外多光谱成像的雾天图像增强装置对应的实现方法，其特征在于，视频增强单元中，所述基于对比度受限自适应图像增强算法的实现流程包括：

利用图像信号处理单元统计数据中的每个子区域的灰度直方图作为算法输入；

利用图像信号处理单元统计数据中的平均锐度统计值的大小来确定对比度受限的截止极限；

利用截止极限对每个分块的区域进行对比度限幅，当图像中的某个块的平均锐度值大于设定的阈值时，判断明图像中存在主体，并进一步突出主体；当图像中的某个块的平均锐度值小于设定的阈值时，判断存在单一背景，对单一背景不操作，限制噪声的过度放大，突出图像重点主体；

对每个子区域对比度受限后的灰度直方图进行均衡化，获得每个子区域中心点，将这些中心点作为样本点；

对图像的每一个像素进行灰度线性插值，得到增强后的图像。