CN101588481B - Ccd透雾成像系统及其控制方法 - Google Patents

Abstract

CCD透雾成像系统及其控制方法，属于图像监控设备的技术领域。包括控制模块和一组图像处理模块，控制模块和图像处理模块通过485串口通信连接，图像处理模块中设置图像采集模块对图像信号进行采集，图像采集模块采集的图像信号一路直接原图输出，另一路输入处理器中处理，处理器连接设置图像显示模块将处理后的图像信号输出。本发明在高速处理和稳定的硬件基础上，针对图像优化处理的核心组件，建立了新的物理模型，吸收图像对比度增强算法和大气物理模型的算法的优点，创新地提出了普通透雾和增强透雾两种透雾成像物理模型。对初级滤波透雾图像进行进一步的优化处理，达到1.6～2倍的透雾能力，满足实际应用对透雾图像清晰度的要求。

Description

CCD透雾成像系统及其控制方法

技术领域

本发明属于图像监控设备的技术领域，具体涉及一种在特殊气象条件下对图像进行探测和识别的CCD透雾成像系统及其控制方法。

背景技术

CCD是视频监控系统中的重要设备，但由于其感应可见光(光谱范围0.4～0.75μm)的特性，使得在一些特殊气象条件(例如雾、霾等)下探测和识别目标的距离大为减少。我国幅员辽阔，在秋冬以及冬春季节雾天经常出现，这就给很多行业，如内河、远洋航运，公路、铁路运输，港口作业，森林防火，机场、码头作业的视频观测带来了极大的困难。

解决好CCD在雾天的成像问题，不仅是许多行业在日常生产中的迫切要求，也是在例如抗震救灾这些特殊场合下发挥不可替代作用的“尖兵装备”，其经济和社会效益极大。

目前国外透雾技术发展现状如下：雾天获取的景物图像反映在图像文件的数据上，原本较低的灰度值被加强、原本较高的灰度值被削弱，导致象素点灰度值的分布过于集中，是明显的对比度退化问题，因此雾天图像的清晰化问题也可以看成是图像的对比度增强问题。这样就可以从两方面来处理大气退化图像的复原问题：(1)从纯图像处理领域的观点看，其本身是图像对比度增强的问题；(2)从物理模型观点看，则是对大气散射作用的建模分析与图像复原相结合的问题。国内透雾产品的技术实现非常简单，只是在日夜转换摄像机的滤光片导轨上加装近红外线带通的滤光片。这种实现模式下的透雾效果很差，是透雾技术的原始模式，实用价值很低。

发明内容

针对当前CCD透雾产品没有后级图像优化处理的缺陷，本发明的目的在于提供一种CCD透雾成像系统及其控制方法的技术方案，对初级滤波透雾图像进行进一步的优化处理，达到1.6～2倍的透雾能力，满足实际应用对透雾图像清晰度的要求。

所述的CCD透雾成像系统，其特征在于包括控制模块和一组图像处理模块，控制模块和图像处理模块通过485串口通信连接，控制模块中设置控制器和与控制器对应接口连接的串口电路，图像处理模块中设置处理器和与处理器对应接口连接设置的串口电路，串口电路与串口电路之间通信连接，图像处理模块中设置图像采集模块对图像信号进行采集，图像采集模块采集的图像信号一路直接原图输出，另一路输入处理器中进行一级增强、二级增强处理，处理器对应接口连接设置图像显示模块将处理后的图像信号输出。

所述的CCD透雾成像系统，其特征在于处理器对应的接口上连接设置存储模块。

所述的CCD透雾成像系统，其特征在于处理器对应的接口上连接设置继电器控制CCD滤光片的切换，图像采集模块和图像显示模块输出端连接设置继电器，控制图像采集模块输出的原图和图像显示模块输出的处理后图像信号的切换。

所述的CCD透雾成像系统，其特征在于控制器对应接口上连接按键控制模块，处理器对应接口上连接拨码开关。

所述的CCD透雾成像系统，其特征在于控制器型号为EPM570GT100C5的CPLD，处理器型号为EP3C16Q240C8的FPGA，串口电路、串口电路的型号为MAX3485，图像采集模块的型号为SAA71132，图像显示模块的型号为ADV7123。

所述的CCD透雾成像系统，其特征在于存储模块的型号为IS61LV5128。

所述的CCD透雾成像系统，其特征在于继电器、继电器的型号为EA2-5。

所述的CCD透雾成像系统，其特征在于该系统的控制方法如下：

1)按键控制模块输入按键控制信息，检测按键控制信息并对按键进行解析，控制器对按键控制信号进行编码，串口电路通过485通信将该按键控制信号发送；

2)通过485通信，串口电路接收该按键控制信号，处理器对按键控制信号进行解码，根据接收到的控制信号对采集到的图像进行处理然后输出显示。

所述的CCD透雾成像系统，其特征在于所述的根据接收到的控制信号对采集到的图像进行处理然后输出显示，处理器接收按键控制信号然后判断控制信号属性，若是原图输出，则控制继电器将原图切换输出；若是进行一级透雾处理，则执行透雾弱增强算法，控制继电器切换CCD滤光片，同时继电器切换到处理后的图像输出；若是进行二级透雾处理，则执行透雾强增强算法，控制继电器切换CCD滤光片，同时继电器切换到处理后的图像输出。

本发明在高速处理和稳定的硬件基础上，针对图像优化处理的核心组件，建立了新的物理模型，吸收图像对比度增强算法和大气物理模型的算法的优点，创新地提出了普通透雾和增强透雾两种透雾成像物理模型，其软件算法思路新颖，效果良好。对初级滤波透雾图像进行进一步的优化处理，达到1.6～2倍的透雾能力，满足实际应用对透雾图像清晰度的要求。该产品通过在CCD中加装专用的近红外带通滤光片，采用专用硬件处理平台和软件算法，有效消除烟雾、水气对CCD成像的干扰，大大加强了透雾处理的能力。

附图说明

图1为本发明的结构示意图；

图2为控制模块的结构示意图；

图3为图像处理模块的结构示意图；

图4为本发明的控制流程图；

图5为图像处理模块的控制流程图。

图中：1-控制模块，101-按键控制模块，102-控制器，103-串口电路，2-图像处理模块，201-串口电路，202、202a-继电器，203-图像采集模块，204-处理器，205-图像显示模块，206-存储模块，207-拨码开关。

具体实施方式

以下结合附图对本发明做进一步的说明。

CCD透雾成像系统，包括控制模块1和一组通过485串口通信总线连接的图像处理模块2，本实施例中控制模块1连接16路图像处理模块2，图像处理模块2的输出包括三种状态：原图输出、一级透雾处理图像输出和二级透雾处理图像输出。

控制模块1中设置控制器102和与控制器102对应接口连接的按键控制模块101、串口电路103，控制器102型号为EPM570GT100C5的CPLD，串口电路103的型号为MAX3485。本实施例中控制模块1连接16路图像处理模块2，每路图像处理模块2包括三个输出状态，按键控制模块101上设置48个按键，依次为：

1a 1b  1c  2a  2b  2c  3a  3b  3c 4a 4b 4c

5a  5b  5c  6a  6b  6c  7a  7b  7c 8a 8b 8c

9a  9b  9c 10a 10b  10c 11a 11b 11c  12a  12b  12c

13a  13b  13c  14a  14b  14c  15a  15b  15c  16a  16b  16c，

1a表示控制第1路原图输出，1b表示控制第1路一级透雾处理图像输出，1c表示控制第1路二级透雾处理图像输出，后同。通过按下不同的按键来控制每路图像处理模块2的输出状态。

图像处理模块2中设置处理器204和与处理器204对应接口连接设置的串口电路201，串口电路103与串口电路201之间通过485通信总线通信连接，图像处理模块2中设置图像采集模块203对图像信号进行采集，图像采集模块203将采集到的图像信号一路直接原图输出，另一路输入处理器204中进行一级增强、二级增强处理，处理器204对应接口连接设置图像显示模块205，将处理后的图像信号输出。处理器204对应的接口上连接设置继电器202控制CCD滤光片的切换，图像采集模块203和图像显示模块205输出端连接设置继电器202a，控制图像采集模块205输出的原图和图像显示模块205输出的处理后图像信号之间的切换，继电器202、继电202a的型号为EA2-5。处理器204型号为EP3C16Q240C8的FPGA，串口电路201的型号为MAX3485，图像采集模块203的型号为SAA71132，图像采集芯片SAA7113是Philips推出的一款较经典的视频采集芯片，需要进行初始化配置，常用的方法是用以单片机在上电时通过I²C总线对其配置寄存器进行写入操作，此系统在FPGA内构建一个Nios II软核处理器，定制一I²C IP核完成此任务。图像显示模块205的型号为ADV7123，由于透雾情况下只需灰度显示，显示芯片ADV7123只需连接RGB中的一路即可，此系统连接了G(GREEN)作为输出。由于处理器204采用的FPGA片内的存储器容量有限，不能满足系统的需要，因此在设计中需要外接存储模块206，存储模块206型号为IS61LV5128的SRAM，SRAM外挂于FPGA处理器的Avalon总线上，FPGA处理器可以直接访问它，由于SRAM的数据端口一般都设计成输入输出复用，需要在系统中加入三态总线桥，来完成SRAM读写时序与内部Avalon同步总线的衔接。处理器204对应接口上连接拨码开关207，为处理器204中的FPGA装定地址码，本实施例中设置了16路图像处理模块2，依次将16路图像处理模块2上的拨码开关207拨到0000、0001、0010、0011、0100、0101、0110、0111、1000、1001、1010、1011、1100、1101、1110、1111，为每路图像处理模块2分配一个地址码，工作过程中不再拨动拨码开关207。

在工作过程中通常利用四种基本电源对FPGA供电：核心电源、I/O电源、辅助电源和锁相环电源。其中每个电源都具有不同的负载电源要求。核心电源(VCCINT)向器件的内部逻辑供电，通常具有最严格的电流要求，对上几代的FPGA，VCCINT上面的电压可能高达3.3V，而系统中的FPGA器件则低至1.2V；I/O电源(VCCIO)为FPGA的输入/输出模块供电，该电源上的电压可能是1.5V、1.8V、2.5V或3.3V，取决于所采用的I/O标准，具体选择什么I/O标准，受FPGA将与之通讯的器件左右，本系统中与FPGA通信的芯片均采用3.3V，所以系统的VCCIO为3.3V；辅助电源VCCAUX用于为FPGA上面的数字时钟管理器和JTAG I/O口供电，电压是3.3V；锁相环电源(VCCPLL)为FPGA的锁相环提供标准参考电压，CycloneIII FPGA的VCCPLL为2.5V。本系统中FPGA用到了1.2V、2.5V和3.3V三种电压电源，其余外围芯片均采用3.3V供电。为满足紧凑和灵活的设计要求，采用低压差、快响应的LM1805-3.3电源芯片，1.2V电源产生电路采用LM117-1.2V电源芯片，2.5V电源产生电路采用TPS78625电源芯片。

本系统采用Cyclone III系列FPGA与MAX II CPLD配合，通过485总线将MAXII采集到的控制信号广播发送到终端16路FPGA处理板，处理板根据地址信号选择接收，并根据控制指令做出输出原图、一级透雾处理后的图像和二级透雾处理后的图像。

本系统分为两种透雾模式。第一种为一级透雾处理模式，在雾气不是很浓时工作。CCD采集到的模拟图像首先经图像采集模块转化为数字信号后，送处理器进行透雾处理。处理器中的FPGA内构建一个NiosII软核处理器与高速大容量双口RAM结合，进行中值滤波，而后采用部分重叠的直方图均衡化算法进行一级增强，再用块状效应平滑算法进行平滑处理，最后采用非线性循环侧抑制算法进行二级增强。第二种为特殊雾天增强模式，在雾气较浓，能见度较低时工作。在最初的中值滤波后，采用基于粗糙集理论的图像增强算法进行一级增强，其中合理选择模糊参数是保证增强效果的一个重要环节，然后采用基于脉冲耦合神经网络的图像增强算法进行二级增强。这种算法虽然忽视背景，但在对浓雾情况下的目标突显效果是比较可靠的。

系统的控制流程图如图4、图5所示。按键控制模块101输入按键控制信息，检测按键控制信息并对按键进行解析，系统检测到按键信息后，控制器102对按键控制信号进行编码，将其转换成8bits二进制控制指令，指令前6位为地址位，后2位为属性位，输出原图、一级透雾处理后输出图像和二级透雾处理后输出图像依次编码为00、01、10，例如：选择第6路，进行二级透雾处理图像输出，则控制指令为00010110，串口电路103通过485通信将该按键控制信号进行发送。

通过485通信，对应地址位图像处理模块2中设置的串口电路201接收该按键控制信号，其它地址位不对应的图像处理模块2对该控制信号不响应，处理器204对按键控制信号进行解码，根据接收到的控制信号对采集到的图像进行处理然后输出显示。处理器204接收按键控制信号然后判断控制信号属性，若是原图输出，则控制继电器202a将原图切换输出；若是进行一级透雾处理，则执行透雾弱增强算法，控制继电器202切换CCD滤光片，同时继电器202a切换到处理后的图像输出；若是进行二级透雾处理，则执行透雾强增强算法，控制继电器202切换CCD滤光片，同时继电器202a切换到处理后的图像输出。例如：接收到控制指令00010110，则第6路图像处理模块2中设置的串口电路201接收该控制信号，首先控制继电器202动作，进行CCD滤光片切换，本系统中加装专用的近红外带通滤光片，从普通的CCD滤光片切换至近红外带通滤光片，提高采集到的图像质量，控制继电器202a切换至二级透雾图像处理输出。图像采集模块203将采集到的图像信息输入到处理器204中进行二级透雾处理，然后通过图像显示模块205输出到显示设备上对图像进行显示。

本系统对图像的处理过程主要以图像的局部细节信息增强为目标，针对全局直方图均衡化的缺陷，对块重叠直方图均衡化方法、非重叠块状均衡化的方法(POSHE算法)以及广义自适应均衡化方法进行了深入研究，通过对这些算法进行的分析比较，综合了几种方法的优点，开发出独有的软件算法：插值自适应直方图均衡化的低对比度图像增强算法。

插值自适应直方图均衡化方法的处理过程如下：首先对图像进行非重叠块直方图均衡变换，将图像分割成固定的子块，并计算每个固定子块的变换函数；然后以图像的任意一点为中心取出与固定子块大小相同的子块，并使其为当前子块，则该子块要么与固定子块重叠，要么跨越多个固定子块(不超过四个子块)。对于移动子块所处的两种不同位置，可作如下处理：(1)当前子块与固定子块重叠时，可以用该子块的变换函数产生中心象素点的输出灰度值；(2)当前子块跨越多个固定子块时，可以根据所覆盖的比例对子块的变换函数进行加权平均，产生中心象素点的输出灰度值。然后用此灰度值显示，实现了实时图像增强透雾。

非重叠块状直方图均衡化的方法不仅可以突显图像的局部信息，而且在计算复杂度上远远小于块重叠直方图均衡化方法，但简单地对局部子块进行直方图均衡化并组合而成的图像会出现块状效应现象。POSHE算法通过部分重叠块状直方图的方法，构造出一个低通滤波器来消除块状效应，并使用BERF滤波器对POSHE算法产生的图像作进一步平滑处理，以此来消除块状效应的影响。但为了消除明显的块状效应，POSHE算法需要增大子块间的重叠程度，提高运算复杂度。

插值自适应直方图均衡化算法试图从两个方面上对POSHE算法作改进：一方面是实现非重叠直方图均衡化的方法，消除由于部分块重叠而引入的额外运算量；另一方面是实现子块之间的平滑过度，彻底消除块状效应。前面提到，块状效应主要是由于相邻子块之间的直方图变换函数存在差异而造成的，处于子块边缘的象素点受子块的束缚无法考虑其邻近子块的灰度分布信息。块重叠直方图均衡化方法将象素点永远置于子块中心(通过重叠子块来实现)，因此对每个象素点来讲，都能考虑到其周边的灰度分布信息，所得的结果自然是平滑的，不会出现块状效应。插值自适应直方图均衡化方法在非重叠子块直方图均衡化方法的基础上，综合运用每个象素点周边灰度信息，利用线性插值方法实现不同子块之间的平滑。

Claims (7)

1.CCD透雾成像系统，其特征在于包括控制模块(1)和一组图像处理模块(2)，控制模块(1)和图像处理模块(2)通过485串口通信连接，控制模块(1)中设置控制器(102)和与控制器(102)对应接口连接的串口电路(103)，图像处理模块(2)中设置处理器(204)和与处理器(204)对应接口连接设置的串口电路(201)，控制模块中的串口电路(103)与图像处理模块中的串口电路(201)之间通信连接，图像处理模块(2)中设置图像采集模块(203)对图像信号进行采集，图像采集模块(203)采集的图像信号一路直接原图输出，另一路输入处理器(204)中进行一级增强、二级增强处理，处理器(204)对应接口连接设置图像显示模块(205)将处理后的图像信号输出；处理器(204)对应的接口上连接设置第一继电器(202)控制CCD滤光片的切换，图像采集模块(203)和图像显示模块(205)输出端连接设置第二继电器(202a)，控制图像采集模块(205)输出的原图和图像显示模块(205)输出的处理后图像信号的切换；

所述的CCD透雾成像系统的控制方法如下：

1)按键控制模块(101)输入按键控制信息，检测按键控制信息并对按键进行解析，控制器(102)对按键控制信号进行编码，与控制器对应接口连接的串口电路(103)通过485通信将该按键控制信号发送；

2)通过485通信，与处理器对应接口连接设置的串口电路(201)接收该按键控制信号，处理器(204)对按键控制信号进行解码，根据接收到的控制信号对采集到的图像进行处理然后输出显示。

2.如权利要求1所述的CCD透雾成像系统，其特征在于处理器(204)对应的接口上连接设置存储模块(206)。

3.如权利要求1所述的CCD透雾成像系统，其特征在于控制器(102)对应接口上连接按键控制模块(101)，处理器(204)对应接口上连接拨码开关(207)。

4.如权利要求1所述的CCD透雾成像系统，其特征在于控制器(102)型号为EPM570GT100C5的CPLD，处理器(204)型号为EP3C16Q240C8的FPGA，控制模块中的串口电路(103)、图像处理模块中的串口电路(201)的型号为MAX3485，图像采集模块(203)的型号为SAA71132，图像显示模块(205)的型号为ADV7123。

5.如权利要求2所述的CCD透雾成像系统，其特征在于存储模块(206)的型号为IS61LV5128。

6.如权利要求1所述的CCD透雾成像系统，其特征在于处理器对应接口上连接设置的第一继电器(202)、图像采集模块(203)和图像显示模块(205)输出端连接设置的第二继电器(202a)的型号为EA2-5。

7.如权利要求1所述的CCD透雾成像系统，其特征在于所述的根据收到的控制信号对采集到的图像进行处理然后输出显示，处理器(204)接收按键控制信号然后判断控制信号属性，若是原图输出，则控制第二继电器(202a)将原图切换输出；若是进行一级透雾处理，则执行透雾弱增强算法，控制第一继电器(202)切换CCD滤光片，同时第二继电器(202a)切换到处理后的图像输出；若是进行二级透雾处理，则执行透雾强增强算法，控制第一继电器(202)切换CCD滤光片，同时第二继电器(202a)切换到处理后的图像输出。

Images