CN102202163A - 一种监控视频的自适应增强方法及其装置 - Google Patents

Abstract

一种监控视频的自适应增强方法，包括亮度判断步骤、雾霾判断步骤、噪声判断步骤、亮度处理步骤、雾霾处理步骤和噪声处理步骤。一种监控视频的自适应增强装置，包括亮度判断模块、雾霾判断模块、噪声判断模块、亮度处理模块、雾霾处理步骤和噪声处理模块。亮度判断模块包括亮度均值计算单元和亮度处理判断单元；雾霾判断模块包括第一色度空间转换单元、色饱和度计算单元、色饱和度分量均值计算单元、雾霾处理判断单元和第二色度空间转换单元；噪声判断模块包括边缘检测单元、二值化单元、目标统计计算单元和噪声处理判断单元。

Description

一种监控视频的自适应增强方法及其装置

技术领域

本发明属于视频图像处理领域，特别涉及一种自适应地识别监控系统受到的各种干扰，进而改善监控视频图像质量的方法及装置。

背景技术

视频监控系统广泛分布于社会的各个角落，监控获得的视频图像的好坏将直接决定监控系统的效果。视频监控系统需要长时间不间断地在各种复杂场景中工作，所以视频图像容易受到各种因素的干扰和影响，例如噪声、低照度以及雨、雪、雾、霾等天气等，这些因素都会影响视频图像的质量。

视频增强在视频监控中有着重要的作用，现有的视频增强方法与装置一般是针对特定的干扰因素对视频图像进行优化，例如，公开号为CN 101340510A的专利申请所公开的“一种视频增强的方法及其装置”，仅针对低照度视频图像进行改善，公开号为CN 101001317A的专利申请所公开的“一种视频降噪的方法和装置”，主要是对视频图像进行降噪，因而普适性差，不能自适应地应用于各种复杂的视频监控场景。而在监控系统中，为了获得更好的监控视频效果，需要使得系统自适应地分析并处理各种不同的场景。

发明内容

本发明的目的是提供一种监控视频的自适应增强方法及装置，以适应视频监控系统工作应用场景复杂，容易受到各种外界因素影响的特点，自适应地识别监控系统受到的各种干扰，进而改善监控视频图像的质量，优化监控视频的效果。

本发明所述监控视频的自适应增强方法，包括以下步骤：

亮度判断步骤，用于判断原始输入图像的亮度均值是否小于所设定阈值，如果原始输入图像的亮度均值小于设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理；

雾霾判断步骤，用于判断原始输入图像的色饱和度分量的均值是否小于所设定阈值，如果原始输入图像的色饱和分量的均值小于设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；

噪声判断步骤，用于判断原始输入图像索贝尔边缘检测后的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理；所述原始输入图像的目标是指原始输入图像二值化后灰度值为255的连通区域；

亮度处理步骤，用于通过伽马变换修改原始输入图像像素点的灰度值，使被监控视频曝光正常；

雾霾处理步骤，通过均衡原始输入图像所对应的灰度直方图得到一个新的亮度映射表，并根据所述新的亮度映射表修改原始图像的灰度值，去除雾霾；

噪声处理步骤，用于修改原始输入图像像素点的亮度分量，去除噪声。

本发明所述的监控视频的自适应增强方法，其亮度判断包括以下步骤：

亮度均值计算步骤，用于根据原始输入图像的亮度分量计算所述图像的亮度均值；

亮度处理判断步骤，用于判断计算出的亮度均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理。

本发明所述监控视频的自适应增强方法，其雾霾判断包括以下步骤：

第一色度空间转换步骤，用于将原始输入图像从YUV色度空间转换到RGB色度空间；

色饱和度计算步骤，用于根据转换后的RGB色度空间，计算原始输入图像每个像素点的色饱和度；

色饱和度分量均值计算步骤，用于根据每个像素点的色饱和度计算出原始输入图像的色饱和度分量均值；

雾霾处理判断步骤，用于判断计算出的色饱和度分量均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；

第二色度空间转换步骤，用于将转换后的图像从RGB色度空间反转回YUV色度空间。

本发明所述的监控视频的自适应增强方法，其噪声判断包括以下步骤：

边缘检测步骤，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像；

二值化步骤，用于将检测得到的边缘图像采用最大方差自适应阈值分割，得到二值图像；

目标统计计算步骤，用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；

噪声处理判断步骤，用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。

本发明所述监控视频的自适应增强方法，能够自动地分析监控视频的图像质量，判断所输入的视频图像亮度是否需要处理，若判断出需要亮度处理，则自动进行亮度处理，亮度处理完毕后，自动对该视频图像进行是否需要去噪声处理判断，若需要进行去噪声处理，则将视频图像进行去噪声处理后输出，若不需要进行去噪声处理，则直接将视频输出；若判断出不需要亮度处理，则对该视频图像自动进行是否需要去雾霾处理判断，若判断结果为需要去雾霾处理，则进行去雾霾处理，去雾霾处理完毕后，自动对该视频图像进行是否需要去噪声处理判断，若需要进行去噪声处理，则将视频图像进行去噪声处理后输出，若不需要进行去噪声处理，则直接将视频输出；若判断结果为不需要去雾霾处理，则自动进行是否需要噪声处理判断，若需要进行噪声处理，则将视频图像进行去噪声处理后输出，若不需要进行去噪声处理，则直接将视频输出。

本发明所述监控视频的自适应增强方法，通过计算机软件实现。

本发明所述监控视频的自适应增强装置，包括以下模块：

亮度判断模块，用于判断原始输入图像的亮度均值是否小于所设定阈值，如果原始输入图像的亮度均值小于设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理；

雾霾判断模块，用于判断原始输入图像的色饱和度分量的均值是否小于所设定阈值，如果原始输入图像的色饱和度分量的均值小于设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；

噪声判断模块，用于判断原始输入图像索贝尔边缘检测后的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理；所述原始输入图像的目标是指原始输入图像二值化后灰度值为255的连通区域；

亮度处理模块，用于通过伽马变换修改原始输入图像像素点的灰度值，使被监控视频曝光正常；

雾霾处理模块，通过均衡原始输入图像所对应的灰度直方图得到一个新的亮度映射表，并根据所述新的亮度映射表修改原始图像的灰度值，去除雾霾；

噪声处理模块，用于修改原始输入图像像素点的亮度分量，去除噪声。

本发明所述监控视频的自适应增强装置，其亮度判断模块包括以下单元：

亮度均值计算单元，用于根据原始输入图像的亮度分量计算所述图像的亮度均值；

亮度处理判断单元，用于判断计算出的所述亮度均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理。

本发明所述的监控视频的自适应增强装置，其雾霾判断模块包括以下单元：

第一色度空间转换单元，用于将原始输入图像从YUV色度空间转换到RGB色度空间；

色饱和度计算单元，用于根据转换后的RGB色度空间，计算原始输入图像每个像素点的色饱和度；

色饱和度分量均值计算单元，用于根据每个像素点的色饱和度计算出原始输入图像的色饱和度分量均值；

雾霾处理判断单元，用于判断计算出的色饱和度分量均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；

第二色度空间转换单元，用于将转换后的图像从RGB色度空间反转回YUV色度空间。

本发明所述监控视频的自适应增强装置，其噪声判断模块包括以下单元：

边缘检测单元，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像；

二值化单元，用于将检测得到的边缘图像采用最大方差自适应阈值分割，得到二值图像；

目标统计计算单元，用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；

噪声处理判断单元，用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。

本发明的有益效果：实现了监控视频的自适应增强，能够自动地分析视频图像的质量，判断出图像受到何种干扰和影响，并且针对性地自动进行图像增强、优化处理，使监控视频的图像质量得到提高，使视频监控系统能够在复杂、多变的应用场景下良好、稳定、持续地工作。

附图说明

图1是本发明所述监控视频的自适应增强装置在监控系统中的位置图；

图2是本发明所述监控视频的自适应增强装置的结构图；

图3是图2中亮度判断模块的单元结构图；

图4是图2中雾霾判断模块的单元结构图；

图5是图2中噪声判断模块的单元结构图；

图6是图2中亮度增强处理模块的单元结构图；

图7是图6中亮度映射表计算单元的子单元结构图；

图8图2中雾霾处理模块的单元结构图；

图9是图2中噪声处理模块的单元结构图；

图10是本发明所述监控视频的自适应增强方法的总体流程图；

图11是亮度判断步骤的流程图；

图12是雾霾判断步骤的流程图；

图13是噪声判断步骤的流程图；

图14是亮度处理步骤的流程图；

图15是雾霾处理步骤的流程图；

图16是噪声处理步骤的流程图，图中是进行的四帧视频序列平均处理。

具体实施方式

下面结合附图对本发明所述监控视频的自适应增强方法及装置进行详细说明。

实施例1

本发明所述监控视频的自适应增强装置在系统中的位置如图1所示，该自适应增强装置对摄像头输出的原始图像数据进行自适应判断，并进行相应处理，然后将处理后的目标图像数据输出到监视器。本实施例的原始图像为YUV格式。

本发明所述监控视频的自适应增强装置的结构如图2所示，由亮度判断模块21、雾霾判断模块22、噪声判断模块23、亮度处理模块24、雾霾处理模块25和噪声处理模块26组成。

亮度判断模块21的结构如图3所示，由亮度均值计算单元211和亮度处理判断单元212组成。

亮度均值计算单元211用于根据原始输入图像的亮度分量(Y通道分量)计算所述图像的亮度均值(Y通道分量均值)，定义该Y通道分量图像为M×N的二维灰度图像X，X_ij代表坐标为(i，j)处的像素值(以下均这样定义)，则该亮度均值为：

亮度均值： $\mathrm{gmean}=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{X}_{\mathrm{ij}}/\mathrm{MN};$

亮度处理判断单元212用于判断计算出的亮度均值是否小于所设定阈值T(阈值T根据需要与经验确定，一般为50～70，本实施例设为60)，如果小于所设定阈值，则被监控视频判断为曝光不足，需要进行亮度处理，否则被监控视频判断为曝光正常，不需要进行亮度处理。

雾霾判断模块22的结构如图4所示，由第一色度空间转换单元221、色饱和度计算单元222、色饱和度分量均值计算单元223、雾霾处理判断单元224和第二色度空间转换单元225组成。

第一色度空间转换单元221用于将原始输入图像从YUV色度空间转换到RGB色度空间；

色饱和度计算单元222根据转换后的RGB色度空间的三个分量R、G、B，计算原始输入图像每个像素点的色饱和度，计算公式如下：

色饱和度： $S=1-3\frac{\min (R,G,B)}{R+G+B};$

色饱和度分量均值计算单元223，用于根据每个像素点的色饱和度计算出原始输入图像的色饱和度分量均值，计算公式如下：

色饱和度分量均值： $\mathrm{Smean}=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{S}_{\mathrm{ij}}/\mathrm{Mn},$

式中S_ij代表坐标为(i，j)处的像素的色饱和度；

雾霾处理判断单元224，用于判断计算出的色饱和分量均值是否小于所设定阈值S_T(阈值ST根据需要与经验确定，一般为0.09～0.11，本实施例设为0.10)，如果小于所设定阈值，则被监控视频判断为受到雾霾影响，需要进行去雾霾处理，否则被监控视频判断为未受雾霾影响，不需要进行去雾霾处理；

第二色度空间转换单元225，用于将图像从RGB色度空间反转回YUV色度空间。

噪声判断模块23的结构如图5所示，由边缘检测单元231、二值化单元232、目标统计计算单元233和噪声处理判断单元234组成。

边缘检测单元231，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像G，其公式如下：

$G_x=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]*X$ $G_y=\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]*X$

式中，G_x、G_y分别代表经横向和纵向边缘检测的图像，*表示卷积；

则每个像素的边缘梯度为： $G(i,j)=\sqrt{G_x{(i,j)}^2+G_y{(i,j)}^2}$

边缘图像G＝{G(i，j)|i＝0，1，......，M-1；j＝0，1，......N-1}

二值化单元232用于将检测得到的边缘图像采用最大方差自适应阈值分割法进行分割，得到二值图像B，其方法如下：

设图像有L(256)个灰度级，灰度值是i的像素数为ni，则总的像素数是

各灰度值出现的概率为p_i＝n_i/N。设阈值为t，将图像分割成2个区域，把灰度级分为两类，背景类A＝0，1，......，t，和目标类B＝(t+1，t+2，......，L-1)。两类出现的概率分别为

$P_B=\underset{i=t+1}{\overset{L-1}{\mathrm{\Σ}}}{P}_i=1P_A.$

A、B两类的灰度均值分别为

$w_A=\underset{i=0}{\overset{t}{\mathrm{\Σ}}}{\mathrm{ip}}_i/P_A,$ $w_B=\underset{i=t+1}{\overset{L-1}{\mathrm{\Σ}}}{\mathrm{ip}}_i/P_B$

图像总的灰度均值为

$w_0=P_A{w}_A+P_B{w}_B=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{\mathrm{ip}}_i$

由此可得A、B两区域的类间方差：σ²＝P_A(w_A-w₀)²+P_B(w_B-w₀)²。类间方差越大，两类灰度差别越大，则使得类间方差σ²最大的t^*即为所求的最佳阈值

$t^{*}=\mathrm{Arg}\underset{0\≤t\≤L-1}{\max }[P_A{(w_A-w_0)}^2+P_B{(w_B-w_0)}^2]$

于是用t^*对边缘图像阈值分割成二值图像，记为B；

目标统计计算单元233用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；

将二值图像平均分成9个小块，计算每个小块的目标个数Ni。

计算目标分块平均数，并根据目标分块平均数和每个分块的目标数量计算目标分块数量标准差。按如下公示进行计算：

目标分块平均数： $\mathrm{ObjectMeanNum}=\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{N}_i/9$

目标分块数量标准差： $\mathrm{ObjectNumStdard}=\sqrt{{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}|N_i-\mathrm{ObjectMeanNum})|}^2};$

噪声处理判断单元234用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值N1(阈值N1根据需要与经验确定，一般为500～600，本实施例设为555)，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值N2(阈值N2根据需要与经验确定，一般为25～30，本实施例设为27)，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。

亮度处理模块24的结构如图6所示，由亮度检测单元241、亮度增强映射表计算单元242和亮度增强映射单元243组成。

亮度检测单元241用于根据原始输入图像的亮度均值，判断出原始输入图像对应的亮度等级，将亮度等级输出到亮度增强映射表计算单元242；

亮度增强映射表计算单元242用于根据原始输入图像的亮度等级，计算得到亮度增强映射表，将亮度增强映射表输出到亮度增强映射单元243。

亮度增强映射表计算单元的结构如图7所示，包括角度空间计算子单元2421、伽马变换函数计算子单元2422、伽马变换函数校正子单元2423和亮度增强映射表生成子单元2424。其中：

角度空间计算子单元2421用于根据原始输入图像的亮度值，计算出每一象素点在角度空间的对应值，

角度空间对应值：φ(X_ij)＝π×X_ij/256；

伽马变换函数计算子单元2422用于根据每一象素点在角度空间上的对应值，将基本伽马变换中的常数伽马值变为函数伽马值，以对不同的亮度范围进行不同的调整，计算出每个角度空间值对应的伽马变换函数值，

伽马变换函数值： $X_{\mathrm{ij}}^{\′}=255{(X_{\mathrm{ij}}/255)}^{1/\mathrm{\γ}\left(X_{\mathrm{ij}}\right)}---\left(1\right)$

(1)式中，函数伽马值：γ(X_ij)＝1+f₁(X_ij)     (2)

(2)式中，f₁(X_ij)＝a×cos(φ(X_ij))

其中，当(2)式中函数伽马值为常数的时候，(1)式为基本伽马变换函数；

伽马变换函数校正子单元2423用于根据原始输入图像每一像素点亮度的大小，对伽马变换函数值进行修正；

伽马变换函数修正公式：γ(X_ij)＝1+f₁(X_ij)+f₂(X_ij)+f₃(X_ij) (3)

(3)式中，f₂(X_ij)＝(K(X_ij)+b)cosa+X_ijsina             (4)

f₃(X_ij)＝R(X_ij)cos(3p×X_ij/255)        (5)

(4)式中，K(X_ij)＝r×sin(4p×X_ij/255)

a＝arctan(-b/128)

(5)式中，R(X_ij)＝c|X_ij/128-1|

亮度增强映射表生成子单元2424用于生成原始输入图像像素点的每个亮度值与经修正伽马变换函数变换后的映射值之间的映射表；

亮度增强映射单元243用于根据亮度增强映射表，将原始输入图像中像素点的亮度值更新为亮度增强映射表中该亮度值对应的映射值。

雾霾处理模块25的结构如图8所示，由亮度直方图计算单元251、直方图累积变换单元252和直方图反变换映射单元253组成。

亮度直方图计算单元251用于通过遍历原始输入图像的亮度值统计计算得到原始输入图像的直方图：

亮度直方图计算公式： $P\left[i\right]=\frac{n_i}{N}$

n_i代表灰度值是i的像素数，N代表总的像素数；

式中，

直方图累计变换单元252，用于根据原始输入图像的直方图，累计存放各个灰度级之前的概率和，得到新的直方图：

亮度直方图更新公式： $p1\left[k\right]=\underset{i=0}{\overset{k}{\mathrm{\Σ}}}p\left[i\right]$

式中，k＝0，1，......，L-1(L代表图像的灰度级)；

直方图反变换单元253，用于根据变换后得到的新直方图，遍历原始输入图像每个像素的亮度值，反变换得到新的像素亮度值

更新后的像素亮度值：X′_ij＝p1[X_ij]×255+0.5，

去雾霾后的输出图像：X＝{X′_ij|i＝0，1，......M-1；j＝0，1，......N-1}

噪声处理模块26的结构如图9所示，由帧存储单元261、帧平均计算单元262和图像去噪增强映射单元263组成。

帧存储单元261，用于保存当前视频帧前4帧或前8帧的图像数据及前4帧或前8帧图像数据之和；

帧平均计算单元262，用于根据当前帧图像数据以及前4帧或前8帧图像数据，计算得到所述前4帧或前8帧图像的平均图像数据：

平均图像数据： ${\left({\stackrel{\‾}{X}}_n\right)}_{\mathrm{ij}}=({\left(X_n\right)}_{\mathrm{ij}}+{\left(X_{n-1}\right)}_{\mathrm{ij}}+......+{\left(X_{n+1-k}\right)}_{\mathrm{ij}})/k$

式中，n表示第n帧图像，k＝4或8；

图像去噪增强映射单元263，用于根据前n帧平均图像数据，将当前原始输入图像中像素点的亮度值更新为其前n帧的平均图像数据的亮度值。

实施例2

基于实施例1所述装置，本实施例中，监控视频的自适应增强方法的总体流程图如图10所示，步骤如下：

步骤一：原始图像输入，将前端采集的视频图像，送入实施例1所述监控视频的自适应增强装置。

步骤二：是否需要亮度处理判断，判断所输入的视频图像亮度是否需要处理。若判断出需要亮度处理，则进入步骤三，将该视频图像进行亮度处理；否则，进入步骤四，将该视频图像进行是否需要去雾霾处理判断。

步骤三：亮度处理，将步骤二中判断为需要亮度处理的视频图像进行亮度处理，处理完毕后，进入步骤六，将该视频图像进行是否需要去噪声处理判断。

步骤四：是否需要去雾霾处理判断，判断步骤二中判为不需要亮度处理的视频图像是否需要去雾霾处理，若判断结果为需要去雾霾处理，则进入步骤五，进行去雾霾处理，否则进入步骤六，将该视频图像进行是否需要去噪声处理判断。

步骤五：去雾霾处理，将步骤四中判断为需要进行雾霾处理的视频进行去雾霾处理。

步骤六：噪声判断，将步骤三中亮度处理后的视频图像、步骤四中判为不需要去雾霾处理的视频图像和步骤五中已经进行去雾霾处理后的视频图像都进行是否需要噪声处理判断。若需要进行噪声处理，将视频图像转至步骤七，去噪处理；否则，转至步骤八，直接将视频输出。

步骤七：去噪声处理，将步骤六中，判为需要噪声处理的视频图像进行去噪声处理。然后转入步骤八，视频输出。

步骤八：视频输出，将步骤六中判为不需要去噪声处理的视频图像和步骤七中，经去噪处理后的视频图像，作为最终输出视频。

下面对各判断步骤和处理步骤进行说明：

亮度判断步骤的流程如图11所示，具体步骤如下：

步骤一：读取输入视频图像的亮度分量。

步骤二：根据所述图像的亮度分量数据计算所述图像的亮度分量均值(计算方法见实施例1)。

步骤三：判断步骤二所计算出的亮度分量均值是否小于某个阈值T，若小于，则该视频图像为低亮度，需要进行亮度处理，否则为正常亮度，不需要进行亮度处理。

雾霾判断步骤的流程如图12所示，具体步骤如下：

步骤一：将输入图像从YUV色度空间转换到RGB色度空间。

步骤二：通过RGB色度空间的RGB三个分量，计算该输入图像的色饱和度S(计算方法见实施例1)。

步骤三：计算步骤二中计算出的色饱和分量均值(计算方法见实施例1)。

步骤四：判断步骤三中计算出的色饱和分量均值是否小于设定的阈值，若小于，则判该视频图像受雾霾影响，需要进行去雾霾处理，否则为不受雾霾影响，不需要进行雾霾处理。

噪声判断步骤的流程如图13所示，具体步骤如下：

步骤一：读取输入视频图像的Y通道分量。

步骤二：将Y通道图像进行索贝尔边缘检测，得到索贝尔边缘图像G(计算方法见实施例1)。

步骤三：将步骤二中的索贝尔边缘图像进行最大方差阈值分割，得到二值图像B(计算方法见实施例1)。

步骤四：将二值图像平均分成9个小块，计算每个小块的目标个数N_i(计算方法见实施例1)。

步骤五：计算目标分块平均数和目标分块数量标准差(计算方法见实施例1)

步骤六：判断目标分块平均数是否大于第一阈值，若是，转入步骤七，否则判为不受噪声影响。

步骤七：判断步骤六中的目标分块数量标准差是否小于第二阈值，若是，则判为受噪声影响，需要进行去噪处理，否则为不受噪声影响，不需要进行去噪处理。

亮度处理步骤的流程如图14所示，具体步骤如下：

步骤一：获取原始输入图像的亮度分量(Y通道分量)。

步骤二：按照亮度判断流程的步骤二，计算亮度分量的均值(Y通道均值)(计算方法见实施例1)。

步骤三：根据亮度均值，计算原始输入图像的亮暗等级。

步骤四：计算亮度分量的角度空间映射值，将范围为[0，255]的象素空间映射到范围为[0，π]的角度空间(计算方法见实施例1)。

步骤五：计算伽马变换函数，根据图像的亮暗程度，修正基本的伽马函数，将原来的固定伽马值变为函数伽马值(计算方法见实施例1)：

步骤六：根据步骤三中计算出的图像亮暗等级，计算伽马校正函数，以生成对图像的不同亮度范围进行不同调整的图像增强前后的映射表g(X_ij)(计算方法见实施例1)：

步骤七：根据步骤六中生成的映射表，对视频图像进行增强处理。

雾霾处理步骤的流程如图15所示，具体步骤如下：

步骤一：获取原始输入图像的亮度分量(Y通道分量)。

步骤二：统计亮度分量的直方图，遍历整个图像，统计图像的灰度直方图(计算方法见实施例1)：

步骤三：计算存放各个灰度级之前的概率和，得到一个新的直方图(计算方法见实施例1)。

步骤四：以新的直方图，遍历每个像素，得到增强后的亮度分量。以此，作为亮度增强后的视频图像，将其输出(计算方法见实施例1)。

去噪声处理的基本原理如下(阮秋奇，阮宇智等译，数字图像处理[M]，第二版.北京：电子工业出版社.2009：88)

对于一般的带噪图像，用以下模型对其进行分析。考虑带噪图像X_ij是将噪声η_ij加入原始图像f_ij而形成的，即X_ij＝f_ij+η_ij。

一般来说，在监控视频中出现的噪声为零均值高斯白噪声。即每个坐标点(x，y)上的噪声都不相关且均值为零。处理的目标就是通过累加一组噪声图像来减少噪声。

如果噪声符合上述限制，对k幅图像取平均，可以得到：

平均图像数据： ${\left({\stackrel{\‾}{X}}_n\right)}_{\mathrm{ij}}=({\left(X_n\right)}_{\mathrm{ij}}+{\left(X_{n-1}\right)}_{\mathrm{ij}}+......+{\left(X_{n+1-k}\right)}_{\mathrm{ij}})/k$

式中，n表示第n帧图像，k＝4或8；

则：

图像平均(期望)值： $E\left(\stackrel{\‾}{{\left(X_n\right)}_{\mathrm{ij}}}\right)=f_{\mathrm{ij}}$

图像标准差： ${\left({\mathrm{\δ}}_{\stackrel{\‾}{X_{\mathrm{ij}}}}\right)}^2=\frac{1}{k}{\left({\mathrm{\δ}}_{\stackrel{\‾}{{\mathrm{\η}}_{\mathrm{ij}}}}\right)}^2$

在平均图像中任何一点的标准差为

当k增加时，各个位置(i，j)上像素值的噪声变化率将减小，由于图像均值(期望)为

这就意味着随着在图像平均处理中噪声图像使用量的增加，

图像质量即得到了改善。

噪声处理步骤的流程如图16所示，具体步骤如下：

步骤一：初始化，读取前4帧或前8帧视频图像序列到缓存。

步骤二：在缓存区内，对前4帧或前8帧视频图像求和(计算方法见实施例1)。

步骤三：读取当前帧视频图像。

步骤四：判断读取的该视频图像是否为最后一帧，若不是则转至步骤五，否则，不做任何处理，结束视频去噪处理操作。

步骤五：将当前帧放入缓存区，帧总和加上当前帧，并减去第一帧。

步骤六：将缓存区内第一帧移除，将剩余四帧前移。

步骤七：将步骤五中的求取的多帧和除以帧数，得到多帧平均帧，将其作为处理结果，即去噪后的输出(计算方法见实施例1)。

Claims (10)

1.一种监控视频的自适应增强方法，其特征在于包括以下步骤：

亮度判断步骤，用于判断原始输入图像的亮度均值是否小于所设定阈值，如果原始输入图像的亮度均值小于设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理；

雾霾判断步骤，用于判断原始输入图像的色饱和度分量的均值是否小于所设定阈值，如果原始输入图像的色饱和度分量的均值小于设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；

噪声判断步骤，用于判断原始输入图像索贝尔边缘检测后的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理；所述原始输入图像的目标是指原始输入图像二值化后灰度值为255的连通区域；

亮度处理步骤，用于通过伽马变换修改原始输入图像像素点的灰度值，使被监控视频曝光正常；

雾霾处理步骤，通过均衡原始输入图像所对应的灰度直方图得到一个新的亮度映射表，并根据所述新的亮度映射表修改原始图像的灰度值，去除雾霾；

噪声处理步骤，用于修改原始输入图像像素点的亮度分量，去除噪声。

2.根据权利要求1所述的监控视频的自适应增强方法，其特征在于亮度判断包括以下步骤：

亮度均值计算步骤，用于根据原始输入图像的亮度分量计算所述图像的亮度均值；

亮度处理判断步骤，用于判断计算出的所述亮度均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理。

3.根据权利要求1或2所述的监控视频的自适应增强方法，其特征在于雾霾判断包括以下步骤：

第一色度空间转换步骤，用于将原始输入图像从YUV色度空间转换到RGB色度空间；

色饱和度计算步骤，用于根据转换后的RGB色度空间，计算原始输入图像每个像素点的色饱和度；

色饱和度分量均值计算步骤，用于根据每个像素点的色饱和度计算出原始输入图像的色饱和度分量均值；

雾霾处理判断步骤，用于判断计算出的色饱和度分量均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；

第二色度空间转换步骤，用于将转换后的图像从RGB色度空间反转回YUV色度空间。

4.根据权利要求1或2所述的监控视频的自适应增强方法，其特征在于噪声判断包括以下步骤：

边缘检测步骤，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像；

二值化步骤，用于将检测得到的边缘图像采用最大方差自适应阈值分割，得到二值图像；

目标统计计算步骤，用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；

噪声处理判断步骤，用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。

5.根据权利要求3所述的监控视频的自适应增强方法，其特征在于噪声判断包括以下步骤：

边缘检测步骤，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像；

二值化步骤，用于将检测得到的边缘图像采用最大方差自适应阈值分割，得到二值图像；

目标统计计算步骤，用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；

噪声处理判断步骤，用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。

6.一种监控视频的自适应增强装置，其特征在于包括以下模块：

亮度判断模块，用于判断原始输入图像的亮度均值是否小于所设定阈值，如果原始输入图像的亮度均值小于设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理；

雾霾判断模块，用于判断原始输入图像的色饱和度分量的均值是否小于所设定阈值，如果原始输入图像的色饱和度分量的均值小于设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；

噪声判断模块，用于判断原始输入图像索贝尔边缘检测后的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理；所述原始输入图像的目标是指原始输入图像二值化后灰度值为255的连通区域；

亮度处理模块，用于通过伽马变换修改原始输入图像像素点的灰度值，使被监控视频曝光正常；

雾霾处理模块，通过均衡原始输入图像所对应的灰度直方图得到一个新的亮度映射表，并根据所述新的亮度映射表修改原始图像的灰度值，去除雾霾；

噪声处理模块，用于修改原始输入图像像素点的亮度分量，去除噪声。

7.根据权利要求6所述的监控视频的自适应增强装置，其特征在于亮度判断模块包括以下单元：

亮度均值计算单元，用于根据原始输入图像的亮度分量计算所述图像的亮度均值；

亮度处理判断单元，用于判断计算出的所述亮度均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频曝光不足，需要进行亮度处理，否则被监控视频曝光正常，不需要进行亮度处理。

8.根据权利要求6或7所述的监控视频的自适应增强装置，其特征在于雾霾判断模块包括以下单元：

第一色度空间转换单元，用于将原始输入图像从YUV色度空间转换到RGB色度空间；

色饱和度计算单元，用于根据转换后的RGB色度空间，计算原始输入图像每个像素点的色饱和度；

色饱和度分量均值计算单元，用于根据每个像素点的色饱和度计算出原始输入图像的色饱和度分量均值；

雾霾处理判断单元，用于判断计算出的色饱和度分量均值是否小于所设定阈值，如果小于所设定阈值，则被监控视频受到雾霾影响，需要进行去雾霾处理，否则被监控视频未受雾霾影响，不需要进行去雾霾处理；

第二色度空间转换单元，用于将转换后的图像从RGB色度空间反转回YUV色度空间。

9.根据权利要求6或7所述的监控视频的自适应增强装置，其特征在于噪声判断模块包括以下单元：

边缘检测单元，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像；

二值化单元，用于将检测得到的边缘图像采用最大方差自适应阈值分割，得到二值图像；

目标统计计算单元，用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；

噪声处理判断单元，用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。

10.根据权利要求8所述的监控视频的自适应增强装置，其特征在于噪声判断模块包括以下单元：

边缘检测单元，用于将原始输入图像的Y通道分量通过索贝尔算子进行边缘检测，得到Y通道的边缘图像；

二值化单元，用于将检测得到的边缘图像采用最大方差自适应阈值分割，得到二值图像；

目标统计计算单元，用于将二值图像平均分成9个块，统计原始输入图像的目标总体个数、原始输入图像每个块中的目标数量、以及原始输入图像的目标分块平均数、原始输入图像的目标分块数量标准差；

噪声处理判断单元，用于判断计算出的原始输入图像的目标分块平均数是否大于所设定的第一阈值，如果原始输入图像的目标分块平均数大于第一阈值，则继续判断原始输入图像的目标分块数量标准差是否小于所设定的第二阈值，如果原始输入图像的目标分块数量标准差小于第二阈值，则被监控视频受到噪声影响，需要进行去噪处理，否则被监控视频未受噪声影响，不需要进行去噪处理。

Images