CN110211096A - 一种雾霾图像的检测方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体是涉及一种雾霾图像的检测方法，包括计算正常图像的平均向量、协方差矩阵和待测图像的平均向量、协方差矩阵，将正常图像的平均向量、协方差矩阵和待测图像的平均向量、协方差矩阵输入到巴氏距离公式中，计算出每个待测图像块的质量分数，根据每个待测图像块的质量分数，计算待测图像的质量分数平均值，即待测图像的图像质量评价分数，若待测图像的图像质量评价分数小于第一阈值，则待测图像为正常图像。将图像质量评价方法和暗原色图像特征结合在一起，泛化能力强，有效地判断出图像是否为雾霾，避免了因图像为墙面、地面等单一场景而导致的误检，降低误报率与漏检率。

Description

一种雾霾图像的检测方法

技术领域

本发明涉及图像处理技术领域，具体是涉及一种雾霾图像的检测方法。

背景技术

随着视频监控业务的快速增长，其存在的问题也逐渐暴露出来，如何在第一时间发现前端摄像机故障，提高视频监控系统的运维工作效率，是视频监控系统发展不可或缺的一部分。

通过视频质量诊断系统可以对视频流的质量进行自动化检测，自动检出的包括黑屏、清晰度异常等异常情况，而雾霾会造成清晰度异常，由雾霾造成的清晰度异常与天气有关，不是摄像头故障，属于误检，因此将雾霾导致的摄像头清晰度异常检测出来显得尤为重要。

现有的雾霾检测方法，不能针对单一摄像头判断视频图像是否受到雾霾影响。

发明内容

为解决上述技术问题，本发明提供了一种雾霾图像的检测方法，能够针对单一摄像头检测出拍摄的图像受到雾霾影响。

为实现上述目的，本发明采用了以下技术方案：

一种雾霾图像的检测方法，包括如下步骤：

S10，从图像库中选择没有雾霾的正常图像，对正常图像和待测图像进行分块，预处理正常图像的分块图像和待测图像的分块图像，预处理之后的待测图像的分块图像，设为待测图像块；从预处理之后的正常图像的分块图像中选出对比度大于设定值的分块图像，设为标准图像块；

S11，从每个标准图像块和每个待测图像块中提取特征，特征至少包括颜色、亮度、梯度、梯度幅值；

S12，由每个标准图像块的特征生成正常图像的特征集合；由每个待测图像块的特征生成待测图像的特征集合；

S13，对步骤S12中的正常图像的特征集合和待测图像的特征集合分别采用主成分分析方法生成正常图像的多元高斯模型和待测图像的多元高斯模型；

S14，对步骤S13中的多元高斯模型进行最大似然估计，分别得到正常图像的平均向量、协方差矩阵和待测图像的平均向量、协方差矩阵；

S15，将正常图像的平均向量、协方差矩阵和待测图像的平均向量、协方差矩阵输入到巴氏距离公式中，计算出每个待测图像块的质量分数；

S16，根据每个待测图像块的质量分数，计算待测图像的质量分数平均值，即待测图像的图像质量评价分数；

S17，若待测图像的图像质量评价分数小于第一阈值，则待测图像为正常图像；否则，待测图像为异常图像，进行步骤S18；

S18，根据暗原色先验理论计算待测图像的暗原色图像；

S19，若暗原色图像的像素值满足设定的条件，则待测图像为雾霾图像，否则，待测图像为失焦图像。

进一步，步骤S10的具体步骤如下：

S100，分别对正常图像和摄像镜头拍摄到的待测图像采用插值法进行处理，插值法至少包括邻值插值方法、均值插值方法，使得正常图像和待测图像的大小均为m*m′，m为正常图像对应矩阵和待测图像对应矩阵的行数，m′为正常图像对应矩阵和待测图像对应矩阵的列数；

S101，将大小为m*m′的正常图像分割成N个n*n′大小的图像块，设为正常图像的第一组图像块；将大小为m*m′的待测图像分割成N个n*n′大小的图像块，设为待测图像的第一组图像块，n为第一组图像块的每个图像块对应矩阵的行数，n′为第一组图像块的每个图像块对应矩阵的列数；

S102，从正常图像的第一组图像块中选出对比度大于正常图像设定值的图像块，设为正常图像的第二组图像块；

S103，分别对正常图像的第二组图像块和待测图像的第一组图像块进行高斯滤波，用于去除图像的噪声，分别设为正常图像的第三组图像块和待测图像的第二组图像块；

S104，采用间隔的提取方式提取正常图像的第三组图像块，之后将提取的正常图像的第三组图像块中的每个图像块均分割成N′个s*s′大小的图像块,分割出来的每个图像块设为标准图像块；采用间隔的方式提取待测图像的第二组图像块，之后将提取的待测图像的第二组图像块中的每个图像块均分割成N′个s*s′大小的图像块，分割出来的每个图像块设为待测图像块，s为提取的每个图像块对应矩阵的行数，s′为提取的每个图像块对应矩阵的列数。

进一步优选的，步骤S18中根据暗原色先验理论计算待测图像的暗原色图像J^dark(x)的公式为：

R、G、B分别为待测图像的红颜色通道、绿颜色通道、蓝颜色通道，J^c(y)表示待测图像的每一个颜色通道，其中，c为每一个颜色通道，y为待测图像的彩色图像，Ω(x)表示以像素x为中心的窗口，min为最小值。

进一步，步骤S19的具体步骤为：

S190，计算整个暗原色图像的像素值大于a且小于b的像素点的数量，该数量与整个暗原色图像的像素点之和的比值设为P；将暗原色图像按照象限法等分四块，计算左上块的像素值大于a且小于b的像素点的数量，该数量与左上块的像素点之和的比值，设为P₁；计算左下块的像素值大于a且小于b的像素点的数量，该数量与左下块的像素点之和的比值，设为P₂；计算右上块的像素值大于a且小于b的像素点的数量，该数量与右上块的像素点之和的比值，设为P₃；计算右下块的像素值大于a且小于b的像素点的数量，该数量与右下块的像素点之和的比值，设为P₄，a和b均为常数；

S191，若P大于第二阈值，则待测图像为雾霾图像，否则，待测图像为失焦图像；或者，若P₁大于P₂且P₃大于P₄，则待测图像为雾霾图像，否则，待测图像为失焦图像；或者，P大于第二阈值且P₁大于P₂且P₃大于P₄，则待测图像为雾霾图像，否则，待测图像为失焦图像。

进一步优选的，步骤102中的对比度至少包括方差和均方差。

优选的，步骤S14中的多元高斯模型f_u,∑(z)的公式：

z为步骤S11提取的特征集合，u为标准图像块的平均向量，∑标准图像块的的协方差矩阵，m为标准图像块的数量，e为常数，(z-u)^T为(z-u)的转置矩阵。

优进一步选的，步骤S104间隔的提取方式包括奇数位提取或偶数位提取。

本发明的有益效果如下：

(1)采用暗原色先验算法检测图像是否为雾霾图像，仅需摄像机视频图像一张，不依赖专业工具即可检测摄像头图像是否受雾霾影响，检测方法简单且能针对单一摄像头判断视频图像是否受到雾霾影响；将图像质量评价方法和暗原色图像特征结合在一起，泛化能力强，有效地判断出视频图像是否为雾霾，避免了因图像为墙面、地面等单一场景而导致的误检，降低误报率与漏检率。

(2)选出对比度较大的图像块，一方面能够提高检测速度，另一方面能够提高检测的准确度。

(3)采用主成分分析法对图像进行降维，即减少图像的像素点的个数，能够提高检测速度。

(4)图像质量评价方法和暗原色图像特征结合在一起，能够区分出是摄像头的故障还是雾霾天气导致拍摄到的图像为异常图像。

(5)在暗原色先验算法之前先计算图像质量评价分数，能够去除暗原色先验算法不适应的场景，降低误检率。

(6)分块是为了方便在一张大图上获取对比度较大的区域。图像对应的矩阵大小调整一致，方便特征提取。

附图说明

图1为本发明的流程图；

图2为本发明的正常图像；

图3为本发明的雾霾图像；

图4为本发明的失焦图像。

具体实施方式

以下结合实施例和说明书附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，一种雾霾图像的检测方法，包括如下步骤：

S10，从图像库中选择没有雾霾的正常图像，对正常图像和待测图像进行分块，预处理正常图像的分块图像和待测图像的分块图像，预处理之后的待测图像的分块图像，设为待测图像块；从预处理之后的正常图像的分块图像中选出对比度大于设定值的分块图像，设为标准图像块。

本实施例中，预处理正常图像和待测图像的步骤为：

S100，分别对正常图像和摄像镜头拍摄到的待测图像采用插值法进行处理，插值法至少包括邻值插值方法、均值插值方法，使得正常图像和待测图像的大小均为m*m′，m为正常图像对应矩阵和待测图像对应矩阵的行数，m′为正常图像对应矩阵和待测图像对应矩阵的列数；

S101，将大小为m*m′的正常图像分割成N个n*n′大小的图像块，设为正常图像的第一组图像块；将大小为m*m′的待测图像分割成N个n*n′大小的图像块，设为待测图像的第一组图像块，n为第一组图像块的每个图像块对应矩阵的行数，n′为第一组图像块的每个图像块对应矩阵的列数；

S102，从正常图像的第一组图像块中选出对比度大于正常图像设定值的图像块，设为正常图像的第二组图像块；

本实施例中，对比度为均方差，设定值通过大量的实验获得，设定值的取值范围为(1，5)，也可以为[1，5]，设定值为上述区间内的取值。

S103，分别对正常图像的第二组图像块和待测图像的第一组图像块进行高斯滤波，用于去除图像的噪声，分别设为正常图像的第三组图像块和待测图像的第二组图像块；

S104，采用间隔的提取方式提取正常图像的第三组图像块，之后将提取的正常图像的第三组图像块中的每个图像块均分割成N′个s*s′大小的图像块,分割出来的每个图像块设为标准图像块；采用间隔的方式提取待测图像的第二组图像块，之后将提取的待测图像的第二组图像块中的每个图像块均分割成N′个s*s′大小的图像块，分割出来的每个图像块设为待测图像块，s为提取的每个图像块对应矩阵的行数，s′为提取的每个图像块对应矩阵的列数；

S11，从每个标准图像块和每个待测图像块中提取特征，特征至少包括颜色、亮度、梯度、梯度幅值；

本实施例中，特征包括颜色、亮度、梯度、梯度幅值四个。

S12，由每个标准图像块的特征生成正常图像的特征集合；由每个待测图像块的特征生成待测图像的特征集合；

S13，对步骤S12中的正常图像的特征集合和待测图像的特征集合分别采用主成分分析方法生成正常图像的多元高斯模型和待测图像的多元高斯模型；

S14，对步骤S13中的多元高斯模型进行最大似然估计，分别得到正常图像的平均向量、协方差矩阵和待测图像的平均向量、协方差矩阵；

S15，将正常图像的平均向量、协方差矩阵和待测图像的平均向量、协方差矩阵输入到巴氏距离公式中，计算出每个待测图像块的质量分数；

S16，根据每个待测图像块的质量分数，计算待测图像的质量分数平均值，即待测图像的图像质量评价分数；

本实施例中，如图2所示为正常无雾霾的图像，图像质量评价分数为22；如图3所示为不清楚的雾霾图像，图像质量评价分数为67；如图4所示为失焦图像，图像质量评价分数为63。

S17，若待测图像的图像质量评价分数小于第一阈值，则待测图像为正常图像；否则，待测图像为异常图像，进行步骤S18；

本实施例中，第一阈值为50。

S18，根据暗原色先验理论计算待测图像的暗原色图像；

S19，若暗原色图像的像素值满足设定的条件，则待测图像为雾霾图像，否则，待测图像为失焦图像。

实施例2

在实施例1的基础上，步骤S11提取颜色、亮度、梯度、梯度幅值四个特征的具体步骤为：

颜色特征

将RGB图像三通道分别对数去均值处理：

A_R＝logR(i,j)-avgR

A_G＝logG(i,j)-avgG

A_B＝logB(i,j)-avgB

式中avgR、avgG、avgB分别表示logR(i,j)、logG(i,j)、logB(i,j)的均值。

对l_R(i,j)、l_G(i,j)、l_B(i,j)三通道建模即对应的颜色特征，R(i,j)、G(i,j)、B(i,j)分别表示图像对应矩阵第i行j列的红颜色通道、绿颜色通道、蓝颜色通道的像素值。

亮度特征

将彩色图像转化到灰度图像并归一化，利用广义高斯分布，对图像进行建模。

式中Γ表示Gamma函数，本实施例中，均值μ＝0。α、β即对应的与质量相关的特征，为根据图像矩阵求出来的常数。

梯度特征

分别提取R、G、B三通道的水平与垂直两方向的幅度特征，并进行高斯建模。

G(x,y)＝dx(i,j)+dy(i,j)

dx(i,j)＝I(i+1,j)-I(i,j)

dy(i,j)＝I(i,j+1)-I(i,j)

式中I表示三通道的像素值，(i,j)表示像素坐标。G(x,y)表示梯度特征，dx(i,j)、dy(i,j)分别表示通道在水平、垂直方向上的幅值特征。

梯度幅值特征

在像素点(i,j)处的梯度幅值为：

实施例3

在实施例1、2的基础上，步骤S18中根据暗原色先验理论计算待测图像的暗原色图像J^dark(x)的公式为：

R、G、B分别为待测图像的红颜色通道、绿颜色通道、蓝颜色通道，J^c(y)表示待测图像的每一个颜色通道，Ω(x)表示以像素x为中心的窗口，min为最小值。

实施例4

在实施例1、2、3的基础上，步骤S19的具体步骤为：

S190，计算整个暗原色图像的像素值大于a且小于b的像素点的数量，该数量与整个暗原色图像的像素点之和的比值设为P。

将暗原色图像按照象限法等分四块，计算左上块的像素值大于a且小于b的像素点的数量，该数量与左上块的像素点之和的比值，设为P₁；计算左下块的像素值大于a且小于b的像素点的数量，该数量与左下块的像素点之和的比值，设为P₂；计算右上块的像素值大于a且小于b的像素点的数量，该数量与右上块的像素点之和的比值，设为P₃；计算右下块的像素值大于a且小于b的像素点的数量，该数量与右下块的像素点之和的比值，设为P₄，a和b均为常数，为通过上万张清晰度异常非雾霾图像与雾霾图像暗通道特征分析所得。

S191，若P大于第二阈值，则待测图像为雾霾图像，否则，待测图像为失焦图像；或者，若P₁大于P₂且P₃大于P₄，则待测图像为雾霾图像，否则，待测图像为失焦图像；或者，P大于第二阈值且P₁大于P₂且P₃大于P₄，则待测图像为雾霾图像，否则，待测图像为失焦图像。

本实施例中，第二阈值取0.9。

步骤S14中的多元高斯模型f_u,∑(z)的公式：

z为步骤S11提取的特征集合，u为标准图像块的平均向量，∑标准图像块的的协方差矩阵，m为标准图像块的数量，e为常数，(z-u)^T为(z-u)的转置矩阵。

实施例5

在实施例1、2、3、4的基础上，

测试样本来源于某平安城市视频图像，样本数单位：张

表中：清晰度异常图为非雾霾导致的摄像头画面不清晰样本；

检测率＝雾霾被检出的个数/实际雾霾的个数；

准确率＝检测出的雾霾为真的个数/检测为雾霾的个数。

Claims (7)

1.一种雾霾图像的检测方法，其特征在于，包括如下步骤：

S10，从图像库中选择没有雾霾的正常图像，对正常图像和待测图像进行分块，预处理正常图像的分块图像和待测图像的分块图像，预处理之后的待测图像的分块图像，设为待测图像块；从预处理之后的正常图像的分块图像中选出对比度大于设定值的分块图像，设为标准图像块；

S11，从每个标准图像块和每个待测图像块中提取特征，特征至少包括颜色、亮度、梯度、梯度幅值；

S12，由每个标准图像块的特征生成正常图像的特征集合；由每个待测图像块的特征生成待测图像的特征集合；

S13，对步骤S12中的正常图像的特征集合和待测图像的特征集合分别采用主成分分析方法生成正常图像的多元高斯模型和待测图像的多元高斯模型；

S14，对步骤S13中的多元高斯模型进行最大似然估计，分别得到正常图像的平均向量、协方差矩阵和待测图像的平均向量、协方差矩阵；

S15，将正常图像的平均向量、协方差矩阵和待测图像的平均向量、协方差矩阵输入到巴氏距离公式中，计算出每个待测图像块的质量分数；

S16，根据每个待测图像块的质量分数，计算出整个待测图像的质量分数平均值，即待测图像的图像质量评价分数；

S17，若待测图像的图像质量评价分数小于第一阈值，则待测图像为正常图像；否则，待测图像为异常图像，进行步骤S18；

S18，根据暗原色先验理论计算待测图像的暗原色图像；

S19，若暗原色图像的像素值满足设定的条件，则待测图像为雾霾图像，否则，待测图像为失焦图像。

2.如权利要求1所述的雾霾图像的检测方法，其特征在于，步骤S10的具体步骤如下：

S100，分别对正常图像和摄像镜头拍摄到的待测图像采用插值法进行预处理，插值法至少包括邻值插值方法、均值插值方法，使得正常图像和待测图像的大小均为m*m′，m为正常图像和待测图像对应矩阵的行数，m′为正常图像和待测图像的列数；

S101，将大小为m*m′的正常图像分割成N个n*n′大小的图像块，设为正常图像的第一组图像块；将大小为m*m′的待测图像分割成N个n*n′大小的图像块，设为待测图像的第一组图像块，n为第一组图像块的每个图像块对应矩阵的行数，n′为第一组图像块的每个图像块对应矩阵的列数；

S102，从正常图像的第一组图像块中选出对比度大于正常图像设定值的图像块，设为正常图像的第二组图像块；

S103，分别对正常图像的第二组图像块和待测图像的第一组图像块进行高斯滤波，用于去除图像的噪声，去除噪声之后的正常图像的第二组图像块和待测图像的第一组图像块分别设为正常图像的第三组图像块和待测图像的第二组图像块；

S104，采用间隔的提取方式提取正常图像的第三组图像块，之后将提取的正常图像的第三组图像块中的每个图像块均分割成N′个s*s′大小的图像块,分割出来的每个图像块设为标准图像块；采用间隔的方式提取待测图像的第二组图像块，之后将提取的待测图像的第二组图像块中的每个图像块均分割成N′个s*s′大小的图像块，分割出来的每个图像块设为待测图像块，s为提取的每个图像块对应矩阵的行数，s′为提取的每个图像块对应矩阵的列数。

3.如权利要求1或2所述的雾霾图像的检测方法，其特征在于，步骤S18中根据暗原色先验理论计算待测图像的暗原色图像J^dark(x)的公式为：

R、G、B分别为待测图像的红颜色通道、绿颜色通道、蓝颜色通道，J^c(y)表示待测图像的每一个颜色通道，其中，c为每一个颜色通道，y为待测图像的彩色图像，Ω(x)表示以像素x为中心的窗口，min为最小值。

4.如权利要求1所述的雾霾图像的检测方法，其特征在于：步骤S19的具体步骤为：

S190，计算整个暗原色图像的像素值大于a且小于b的像素点的数量，该数量与整个暗原色图像的像素点之和的比值设为P；将暗原色图像按照象限法等分四块，计算左上块的像素值大于a且小于b的像素点的数量，该数量与左上块的像素点之和的比值，设为P₁；计算左下块的像素值大于a且小于b的像素点的数量，该数量与左下块的像素点之和的比值，设为P₂；计算右上块的像素值大于a且小于b的像素点的数量，该数量与右上块的像素点之和的比值，设为P₃；计算右下块的像素值大于a且小于b的像素点的数量，该数量与右下块的像素点之和的比值，设为P₄，a和b均为常数；

S191，若P大于第二阈值，则待测图像为雾霾图像，否则，待测图像为失焦图像；或者，若P₁大于P₂且P₃大于P₄，则待测图像为雾霾图像，否则，待测图像为失焦图像；或者，P大于第二阈值且P₁大于P₂且P₃大于P₄，则待测图像为雾霾图像，否则，待测图像为失焦图像。

5.如权利要求2所述的雾霾图像的检测方法，其特征在于：步骤102中的对比度至少包括方差和均方差。

6.如权利要求1所述的雾霾图像的检测方法，其特征在于：步骤S14中的多元高斯模型f_u,∑(z)的公式：

z为步骤S11提取的特征集合，u为标准图像块的平均向量，∑为标准图像块的协方差矩阵，m为标准图像块的数量，e为常数，(z-u)^T为(z-u)的转置矩阵。

7.如权利要求2所述的雾霾图像的检测方法，其特征在于：步骤S104间隔的提取方式包括奇数位提取或偶数位提取。