CN103347171A

CN103347171A - 基于dsp的雾天视频处理系统及方法

Info

Publication number: CN103347171A
Application number: CN2013102634810A
Authority: CN
Inventors: 李庆武; 朱浩; 糜靖峰; 霍冠英; 束代群; 张伟; 刘艳
Original assignee: Changzhou Campus of Hohai University
Current assignee: Changzhou Campus of Hohai University
Priority date: 2013-06-27
Filing date: 2013-06-27
Publication date: 2013-10-09
Anticipated expiration: 2033-06-27
Also published as: CN103347171B

Abstract

本发明公开了一种基于DSP的雾天视频处理系统及方法，处理系统由用于视频监控的拍摄传输模块、对拍摄的视频进行去雾处理的高速DSP处理模块、以及对去雾后视频进行显示的显示模块三个部分组成。由两块DSP进行控制与计算，一块用于摄像头的驱动、拍摄以及显示器的驱动与显示；一块用于实现本发明的去雾算法。本发明采用一种改进的暗通道去雾算法，去雾算法代码采用C语言实现，通过对传输函数的计算优化，并对代码中的对数运算采用查表法、优化代码映射等途径来达到视频去雾的实时性。

Description

基于DSP的雾天视频处理系统及方法

技术领域

本发明涉及一种基于图像增强的雾天视频处理系统以及利用该系统进行雾天视频清晰化处理的方法，属于数字图像处理以及视频监控技术领域。

背景技术

在我国构建和谐社会及其建设小康社会的进程中，大众最关心的热点问题是安全问题，视频监控系统以图像监视为手段，对现场图像进行实时监视与录像，可以让工作人员直观地掌握现场情况，但是，视频监控系统，尤其是室外工作的视频监控系统，当遇到有雾天气的时候，拍摄的视频退化明显，不利于人眼的观察与后续的分析。

雾是当空气分子的相对湿度达到饱和，一些空气分子被浓缩成小水滴时产生的，这些大气中的气溶胶粒子会对成像光线有散射作用。散射造成的光线损失会使“透射光”强度衰减，从而造成图像的对比度下降。而气溶胶粒子的不均匀性会导致图像变得模糊不清。同时，气溶胶粒子对光线的散射部分也会因多次散射的作用，和原有的前向散射部分叠加在一起成像，从而产生一定的模糊。上述各种作用的总和，造成最后雾天图像会产生严重的退化，模糊不清，对比度偏低，景物的细节特征被掩盖，色彩不饱和和失真。当前的许多去雾算法，都存在有效性与实时性之间的矛盾，故如何调节这种矛盾，在尽量满足去雾效果要求的前提下，提高算法速率成为当今迫切需要解决的问题。

目前，随着计算机处理速度的提升，使得以数字图像处理为基础的视频处理技术已经广泛的应用于社会安全监控的各个方面，视频具有的直观、实时、信息量大的优点是其他监控设备所难以企及的。在我国，利用数字图像处理技术进行视频的预处理有着迫切的需求。目前大部分的监控设备都只是单纯的摄像头采集图像，随后将其送入数据采集卡中进行A/D转换，再通过显示器显示出来。这个过程缺乏对采集图像的预处理，尤其在像雾天这种环境下，采集到的图像其自身有严重的缺点，不利于监控人员的观察，从而对于突发事情不能及时得到需要的信息。等到对录像处理之后，再根据得到的信息采取必要的行动显然已经错过了事情处理的最佳时期。故在图像采集到之后就进行相应的处理来提高图像清晰度、对比度、恢复颜色信息变得尤其重要。视频是由一帧帧图像连续放映组成，故对每一帧图像处理存在实时性的要求。DSP芯片作为一种采用专业的硬件结构对数据处理进行优化的数字信号处理器，其体积小、计算快的优点使其成为本发明的首选处理设备。

要对雾天图像进行处理，首先要了解雾天图像的特点，以及当前已有去雾算法的优缺点。雾天图像的特点是：对比度低、颜色特征衰减、整体模糊、细节不清晰。目前，对于雾天图像处理的算法主要分为两类：基于图像处理的雾天图像增强算法和基于雾天模型的雾天图像复原算法。图像增强算法能有效提高对比度，突出细节，但是没有考虑到雾天图像中景深的多样性，因而有时无法得到很好地效果。基于物理模型的图像复原算法针对性强，得到的结果自然，能够取得较为理想的去雾效果。由于雾是跟场景深度有关的一个量，因此基于物理模型的单幅图像去雾实际上是个欠约束问题。[HE K,SUN J,TANGX.Single image haze removal using dark channel prior[C].IEEEConference on Computer Vision and Pattern Recognition,Miami,USA:IEEE Press,2009:1956-1963.]文中提出一种称为“暗通道”的先验假设，该先验假设是基于对无雾自然场景的一个观察统计信息：在绝大多数户外无雾图像的局部区域内，至少存在一些像素，其一个通道的强度值很低。先验假设解决了物理模型需要的约束条件，但是为了得到准确的传输函数，HE的文中采用Soft Matting方法计算透射图，该方法计算复杂、耗时较长，无法满足实时性的要求。

发明内容

本发明针对雾天监控视频模糊不清、对比度低、颜色衰减这些存在的问题，同时为了实现去雾处理的有效性和实时性，提供了一种基于DSP的雾天视频处理系统及方法，该系统利用面向图像的专用高速DSP图像处理模块进行图像的采集、处理和显示，DSP芯片作为一种特殊的微处理器，其特有的哈佛结构和流水线操作使其对图像处理的运算速度远超一般的微处理器，大大提高了检测的实时性，同时DSP体积小，功耗低，便于安装与移动。为了达到较理想的去雾效果，本发明采用一种改进的暗通道去雾算法，改进的算法既保持了原始算法去雾水准，又大幅度地提高了处理速度。

本发明提供了基于DSP的雾天视频处理系统及方法，由于系统和方法具有相同的特定技术特征：即采用DSP处理模块、在DSP处理模块中采用优化的去雾处理算法，因此属于同一个发明构思，可以作为一件申请提出。

为实现上述发明目的，本发明的技术方案为：基于DSP的雾天视频处理方法，其特征在于：

通过拍摄传输模块进行视频拍摄并将视频信号传输到高速DSP处理模块，高速DSP处理模块一方面采集视频信号并将经去雾处理的视频信号显示于显示模块，另一方面对视频信号进行去雾处理。

前述的基于DSP的雾天视频处理方法，所述的去雾处理的具体步骤如下：

（1）取出一帧图像OriImg，比较每个像素R、G、B三通道的最小值，记为MinImg；

（2）对MinImg进行15*15模板大小的改进的中值滤波，得到滤波后的图像FilImg；

（3）分别计算OriImg中R、G、B通道以及MinImg的大气光值，记为A，AR，AG，AB；这组数据五分钟更新一次；

（5）计算传输函数修真因子w；

（6）计算传输函数TraMat；

（6）根据大气散射模型计算得到R、G、B三通道处理后的值TraR、

TraG、TraB；（7）对以上处理后的图像进行亮度和颜色的调整，得到最终效果图。

前述的基于DSP的雾天视频处理方法，步骤（2）中先对MinImg进行中值滤波得到TraImg1，再对TraImg1减去MinImg得到的绝对值进行中值滤波，得到TraImg2，最后用TraImg1减去TraImg2得到FilImg。

前述的基于DSP的雾天视频处理方法，步骤（3）中大气光值通过统计灰度图像直方图中5个最大的灰度值对应的像素点的个数和大小，将灰度值总和除以灰度值个数得到。

前述的基于DSP的雾天视频处理方法，步骤（4）中传输函数的修正因子根据(|(A-MinImg)|/A)^(1/(-9.7*((MinImg/A)^20)+10))计算得到。

前述的基于DSP的雾天视频处理方法，步骤（5）中传输函数根据1-w*FilImg/A计算得到。

前述的基于DSP的雾天视频处理方法，步骤（6）中大气散射模型的变形公式为TraX＝(X-A_x)/max(TraMat,0.1)+A_x,x∈R,G,B。

前述的基于DSP的雾天视频处理方法，步骤（7）中先统计TraR、TraG、TraB每个像素点的最大值，记为MaxTra；再统计MaxTra直方图中像素点个数不为0的灰度值个数，记为n；然后根据255*ln((k-1)/(n-2)*(e-1)+1),k∈1,2...,n-1计算得到直方图非线性拉伸后的图像MaxRes；最后根据MaxRes/max(MaxTra,1)*TraX,X∈R,G,B计算得到最终效果图的R、G、B三通道值，融合输出得到处理后的彩色图像。

前述的基于DSP的雾天视频处理方法，通过DSP对视频信号进行去雾处理时，要进行代码优化，代码优化的方面有：（1）计算优化，将计算中的对数运算改用查表法，并将一些变化缓慢的参数隔时更新；（2）调度优化，将经常用到的算法模块放在DSP芯片内，对相关函数段进行单独物理地址映射。

采用前述的方法运行的基于DSP的雾天视频处理系统，包括用于视频监控的拍摄传输模块、对拍摄的视频进行去雾处理的高速DSP处理模块、以及对去雾后视频进行显示的显示模块。

前述的基于DSP的雾天视频处理系统，拍摄传输模块包括普通CCD摄像头以及数据传输线；通过摄像头进行视频拍摄，再由数据传输线将视频信号传输到高速DSP上进行处理。

本发明的有益效果：本发明科学合理，充分考虑到了去雾的有效性与实时性，使用基于DSP的图像获取、处理和显示模块对图像进行处理，提高了图像设备的便携性和低功耗；还可以加入运动物体检测代码，当检测到有运动物体时，系统发出一个预警信号通知工作人员，当然为了实现这方面的功能，需要更强大的硬件支撑以及更优化的算法。该系统设备简单，既能满足雾天视频监控清晰度的要求，又能满足视频监控实时性的要求，同时硬件成本低，便于移动和安装，有很强的市场应用潜力。

附图说明

图1为本发明的系统结构示意图。

图2为本发明的去雾算法总流程图。

图3为本发明的传输函数修正因子w(x)曲线图。

图4、图5为本发明的方法去雾效果图。

图1中：1.普通CCD摄像头，2.高速DSP处理芯片，3.显示器。

图4为原始有雾图像，其中三幅图从左到右依次为薄雾、中雾、浓雾的有雾图像，图5为本方法去雾仿真图像。

具体实施方案

下面结合附图1-4对本发明的原理和具体实施方式作进一步详细描述：

基于DSP的雾天视频处理系统包括用于视频监控的拍摄传输模块，对拍摄视频进行去雾处理的高速DSP处理模块，以及对去雾后视频进行显示的显示模块。拍摄模块主要是一个普通CCD摄像头，通过摄像头对场景进行拍摄，经过数据线传输到DSP处理模块；在DSP高速处理模块中，对每一帧图像进行去雾算法处理，将处理后的图像传输到显示设备进行显示（图1）。其中需要两块DSP芯片进行协同工作，一块芯片完成视频的采集与显示，另一块完成去雾算法的实现。

其中采用的一种快速去雾算法包括以下步骤：（图2）

1、取出一帧图像OriImg，比较每个像素R、G、B三通道的最小值，记为MinImg。

2、对MinImg进行15*15模板大小的改进的中值滤波，得到滤波后的图像FilImg。

3、分别计算OriImg中R、G、B通道以及MinImg的大气光值，记为A，AR，AG，AB。这组数据五分钟更新一次。

4、计算传输函数修真因子w。

5、计算传输函数TraMat。

6、根据大气散射模型计算得到R、G、B三通道处理后的值TraR、TraG、TraB。

7、对以上处理后的图像进行亮度和颜色的调整，得到最终效果图。

步骤1中通过比较每个像素点R、G、B三通道的最小值得到的图像MinImg称为暗原色图像。

步骤2中先对MinImg进行中值滤波得到TraImg1，中值滤波可以很好地保存图像的边缘细节；然后考虑到有较好对比度的纹理可能没有雾，这部分就不需要做去雾处理，因此用TraImg1减去MinImg的局部标准差；通过对TraImg1减去MinImg得到的绝对值进行中值滤波来估计MinImg的局部标准差，这样可以保证标准差估计的鲁棒性，记为TraImg2；再用TraImg1减去TraImg2得到FilImg。

步骤3中大气光值的计算方法通过统计灰度图像直方图中5个最大的灰度值对应的像素点的个数和大小，将灰度值总和除以灰度值个数得到。这种方法相对于取暗原色图像中的最大值点更加准确，避免了取的亮度最大的像素点是图像中白色物体而导致错误的大气光值。

步骤4中传输函数的修正因子根据(|(A-MinImg)|/A)^(1/(-9.7*((MinImg/A)^20)+10))这个函数计算得到。该函数构造的思想是：根据大气散射模型提供的准确的传输函数计算公式为：t(x)＝1-(I(x)-J(x))/(A-J(x))，其中I(x)为原始有雾图像，J(x)为去雾后图像，t(x)为实际传输函数。而采用暗通道先验假设计算得到的传输函数计算公式为：t'(x)＝1-I^dark(x)/A，其中I^dark(x)为原始有雾图像的暗原色图像，即FilImg，t'(x)为根据暗通道先验假设计算出的传输函数。通过两个公式的对比就可以看出在J^dark(x)不等于0的时候，即在暗通道先验假设失效的时候，t'(x)和t(x)之间存在误差，尤其在天空区域误差很大。为了尽量缩小误差，本发明的设想是：在I^dark(x)/A项之前乘以一个w(x)函数来近似(I(x)-J(x))/(A-J(x))项。其中，w(x)要满足的条件有：①在暗原色图像灰度值小的部分，由于J(x)经过暗通道处理接近0，t'(x)和t(x)差值很小，故w(x)趋于1；②在暗原色图像灰度值接近大气光强的部分（天空部分），t'(x)比t(x)大得多，故w(x)趋于0；③w(x)在暗原色图像低灰度值部分变化梯度较小，在高灰度值部分变化梯度较大。根据以上的要求从而构造出的w(x)＝(|(A-MinImg)|/A)^(1/(-9.7*((MinImg/A)^20)+10))这个公式。（图3）

步骤5中传输函数的计算根据1-w*FilImg/A得到。

步骤6中根据TraX＝(X-A_x)/max(TraMat,0.1)+A_x,x∈R,G,B公式计算得到去雾后的三通道分量。但是去雾后的图像存在偏暗，色彩欠饱和的缺点，需要进行亮度和颜色的处理。

步骤7中先统计TraR、TraG、TraB每个像素点的最大值，记为MaxTra；再统计MaxTra直方图中像素点个数不为0的灰度值个数，记为n；然后根据255*ln((k-1)/(n-2)*(e-1)+1),k∈1,2...,n-1计算得到直方图非线性拉伸后的图像MaxRes；最后根据MaxRes/max(MaxTra,1)*TraX,X∈R,G,B计算得到最终效果图的R、G、B三通道值，融合输出得到处理后的彩色图像。以上处理的理论依据是：人眼的视觉特性是对于亮度变化敏感，敏感度随着亮度值的增加成正比增加。故可以在直方图上通过扩大低亮度部分的范围、压缩高亮度部分的范围的方式来使低亮度部分细节变得清晰，而高亮度部分虽然范围被压缩，但是由于人眼的敏感度增加的原因，并不会太大的影响图像质量。采用对数函数为拉伸主体函数是为了满足人眼主观视觉特性。

以上方法虽然进行了算法上的优化，但是在DSP上要想实现实时性，还需要对代码进行优化，首先对于一些变化缓慢的参数，可以隔一段时间进行更新，如大气光值A，AR，AG，AB；然后采用C语言编程实现，C语言在操作系统和系统使用程序以及需要对硬件进行操作的场合相较于其他语言有明显的优势，其中摄像头的驱动以及显示器的驱动程序都采用汇编语言编写，并采用单独的DSP芯片进行控制；由于C语言中对于对数的运算速度较慢，为了提高速度，采用查表法进行代码优化；对于一些需要经常调用的代码，将其写入DSP片内内存中；对于数据类型，尽量采用8位无符号整型。以上的种种措施都是为了实现算法的实时性。

本发明方法在图像去雾算法清晰化CNC评价指标上与当前去雾效果最好的算法He的算法差不多，但在速度上却有了很大的提高。采用Matlab R2010a在Centrino2,2.00GHz，1.99GB内存的PC上对一幅432*283大小的bmp格式的有雾图像进行仿真实验，本发明方法需要运行时间为3.622s，而采用He的算法所需时间为54.431s。对多幅图像的仿真结果表明，图像越大，本发明方法相对于He的算法在时间上的优越性越明显。（图4）

本发明科学合理，充分考虑到了去雾的有效性与实时性，使用基于DSP的图像获取、处理和显示模块对图像进行处理，提高了图像设备的便携性和低功耗。其中还可以加入运动物体检测代码，当检测到有运动物体时，系统发出一个预警信号通知工作人员，当然为了实现这方面的功能，需要更强大的硬件支撑以及更优化的算法。

发明可用其他的不违背本发明的精神和主要特征的具体形式来概括，因此，本发明的上述实施方案都只能认为是对本发明的说明而不能限制本发明，在与本发明的权利要求相当的含义和范围内任何改变，都应认为是包括在权利要求书的范围内。

Claims

1.基于DSP的雾天视频处理方法，其特征在于：

2.根据权利要求1所述的基于DSP的雾天视频处理方法，其特征在于，所述的去雾处理的具体步骤如下：

（4）计算传输函数修真因子w；

（5）计算传输函数TraMat；

（6）根据大气散射模型计算得到R、G、B三通道处理后的值TraR、TraG、TraB；

（7）对以上处理后的图像进行亮度和颜色的调整，得到最终效果图。

3.根据权利要求2所述的基于DSP的雾天视频处理方法，其特征在于，步骤（2）中先对MinImg进行中值滤波得到TraImg1，再对TraImg1减去MinImg得到的绝对值进行中值滤波，得到TraImg2，最后用TraImg1减去TraImg2得到FilImg。

4.根据权利要求2所述的基于DSP的雾天视频处理方法，其特征在于，步骤（3）中大气光值通过统计灰度图像直方图中5个最大的灰度值对应的像素点的个数和大小，将灰度值总和除以灰度值个数得到。

5.根据权利要求2所述的基于DSP的雾天视频处理方法，其特征在于，步骤（4）中传输函数的修正因子根据(|(A-MinImg)|/A)^(1/(-9.7*((MinImg/A)^20)+10))计算得到。

6.根据权利要求2所述的基于DSP的雾天视频处理方法，其特征在于，步骤（5）中传输函数根据1-w*FilImg/A计算得到。

7.根据权利要求2所述的基于DSP的雾天视频处理方法，其特征在于，步骤（6）中大气散射模型的变形公式为TraX＝(X-A_x)/max(TraMat,0.1)+A_x,x∈R,G,B。

8.根据权利要求2所述的基于DSP的雾天视频处理方法，其特征在于，步骤（7）中先统计TraR、TraG、TraB每个像素点的最大值，记为MaxTra；再统计MaxTra直方图中像素点个数不为0的灰度值个数，记为n；然后根据

计算得到直方图非线性拉伸后的图像MaxRes；最后根据MaxRes/max(MaxTra,1)*TraX,X∈R,G,B计算得到最终效果图的R、G、B三通道值，融合输出得到处理后的彩色图像。

9.根据权利要求2所述的基于DSP的雾天视频处理方法，其特征在于，通过DSP对视频信号进行去雾处理时，要进行代码优化，代码优化的方面有：（1）计算优化，将计算中的对数运算改用查表法，并将一些变化缓慢的参数隔时更新；（2）调度优化，将经常用到的算法模块放在DSP芯片内，对相关函数段进行单独物理地址映射。

10.采用权利要求1-9任意一项所述的方法运行的基于DSP的雾天视频处理系统，其特征在于：包括用于视频监控的拍摄传输模块、对拍摄的视频进行去雾处理的高速DSP处理模块、以及对去雾后视频进行显示的显示模块。