CN106169081A - 一种基于不同照度的图像分类及处理方法 - Google Patents

Abstract

本发明公开了一种基于不同照度的图像分类及处理方法，其实现步骤主要有：采集不同照度的视频图像作为训练样本图像；提取样本图像的特征作为实验数据；对特征数据进行学习训练，形成分类器；根据已构建分类器实现对未知的不同照度图像分类；未知图像分类结果输出；根据未知图像的分类结果自动判断是否需要进行照度处理；对需要进行照度处理的未知图像进行处理；输出最终结果图像。本发明实现了对不同照度的图像分类，改善了阈值判断误差较大的问题，大大提高了分类精度，提高了针对监控视频图像处理技术的工作效率。

Description

一种基于不同照度的图像分类及处理方法

技术领域

本发明提出了一种基于不同照度的图像分类及处理方法，属于图像处理领域。本方法通过分析不同照度图像的特点提取图像特征，根据特征构建图像分类器，实现对不同照度图像的自动分类和判断，并根据自动判断结果实现对对比度低、画质暗等存在质量问题的图像进行照度处理，最终输出结果清晰图像。

背景技术

近年来，数字监控系统在公共场所得到了广泛的应用，成为公共安全中不可或缺的一部分。然而，面对一天中不同的天气和光线的变化，对数字监控系统获取的视频的对比度及画质产生影响，比如雾天、晚夜时的监控视频会出现对比度下降、画质较暗等问题，为后续的目标识别和跟踪等技术处理带来了困难；然而，在研究对监控视频进行照度处理时发现，不同照度图像的处理算法不同，而针对监控视频时间不间断且照度多变的特点，使得照度处理前必须人工分辨不同照度的图像，然后选择不同的算法或设置不同处理参数进行照度处理。这加剧了对监控视频照度处理工作的难度，造成工作复杂、效率低等问题。因此，实现对雾霾、晴天、夜晚等不同照度图像的自动分类及处理具有重要意义。

图像分类与处理作为模式识别领域的重要组成部分，已经成为国内外学者研究的热点。国内外学者针对不同的应用需求，已经提出了多种图像分类及处理方法，常见的图像分类方法有贝叶斯分类、k-近邻方法和支持向量机等，常见的图像处理方法有DarkChannel、Retinex算法等，下面主要从图像分类的角度说明图像分类及处理的研究现状。根据图像分类对象的不同可以将图像分类方法分为以下两种：

(1)基于图像局部特征的分类。通过提取图像的某类特征实现对图像尺度或场景的分类。例如，申请号为CN103218778名称为“一种图像和视频的处理方法及装置”通过对图像分块并计算每个图像块的亮度参数和对比度参数实现对低照度图像、低对比度图像、浓雾图像和薄雾图像的分类，此专利采用阈值判断的方法实现图像质量属性的分类，并根据分类结果选择不同的算法对不同的图像类型进行清晰化处理。然而，其存在两个缺点：一是阈值设定的不确定性使得图像分类结果误差较大；二是不同类型的图像采用不同的算法进行处理，工作较为复杂，难以实现实时处理。

(2)基于图像内容的分类。通过提取图像的某类特征实现对图像中目标物的分类，也是近年来研究的热点。例如，申请号为CN201510846339.8名称为“基于改进自适应遗传算法的神经网络图像分类方法”的专利发明，通过提取图像的纹理特征，采用基于遗传优化的神经网络学习方法训练RBF神经网络，以实现对沙地、草地、森林和水这四类图像的分类。该专利发明通过提取图像纹理特征，然后采用神经网络算法实现图像分类，其分类对象为图像中目标内容，而对于不同照度的图像来说，其分类对象为图像的整体或局部特征，因此该专利发明不能实现不同照度图像的分类，更不能实现对质量不佳的图像进行照度处理。

针对监控视频的特点以及上述专利发明对于图像分类存在的问题，本专利发明提出了一种针对晴天、雾霾天、夜晚等不同照度图像的分类及处理方法。本发明在基于图像内容分类的基础之上，通过分析不同照度图像的特点提取图像特征，然后对图像特征进行学习训练形成分类器，实现对未知图像的分类，并根据图像分类结果自动判断进行照度处理，最终输出结果清晰图像。

发明内容

本发明的目的在于针对现有图像分类方法中存在的结果误差较大以及监控视频中出现的对比度下降、画质较暗等问题，提出了一种基于不同照度图像的分类及处理方法。通过提取不同照度图像的典型特征，然后对图像特征进行学习训练形成分类器，从而实现对未知图像类型分类，并根据分类结果自动判断进行照度处理，最终输出结果图像。

为实现上述目的，本发明采用的技术方案为一种基于不同照度的图像分类及处理方法，该方法包括以下步骤：

步骤1，视频图像采集。

利用视频图像采集设备(摄像机、手机等)采集不同照度条件下的视频图像，不同照度条件分为晴天、雾霾天、雨雪等恶劣天候及夜晚等条件下的视频图像。所采集视频图像为黑白或彩色，并以此作为实验样本数据。

根据上述视频图像采集中的数据采集方式，能够得到两种不同格式的样本数据：即单幅图像和视频。若采集的数据为单幅图像样本，则直接执行步骤2；若采集的为视频样本，则需要对视频进行分帧处理，使其成为单幅图像样本后再执行步骤2。

步骤2，根据步骤1视频图像采集得到的单幅图像样本进行图像特征数据提取。

通过对不同照度图像特点的分析，本方法主要实现对能反映图像照度差异的图像特征进行图像特征数据提取，图像特征数据为图像对比度、边缘强度、图像均值，也能通过采用纹理、shift等其他特征。

1)图像对比度值的计算

图像对比度，即图像亮暗的对比程度。对于所采集的图像来说，不同照度的图像具有不同的图像对比度值，因此，图像对比度作为区别不同类型图像的评判标准。图像对比度值c的计算公式如下：

$c=\underset{\mathrm{\δ}}{\Σ}\mathrm{\δ}{(i,j)}^2{P}_{\mathrm{\δ}}(i,j)---\left(1\right)$

其中，i和j分别为像素点的横、纵坐标，δ(i,j)＝|i-j|为图像像素间的灰度差，P_δ(i,j)为相邻像素间的灰度差为δ的像素分布概率。图像对比度值的具体计算方式如下：

首先，将实验样本图像由彩色图像转换为灰度图像；

其次，对得到的灰度图像的矩阵进行数据格式转换；

最后，根据公式(1)计算图像对比度，获得图像对比度值c。

2)图像边缘强度值的计算

图像的边缘是图像局部强度变化最显著的部分，亦从另一个角度反映了图像的清晰化程度，同一场景、不同照度的图像的边缘强度是有差别的，所以，图像的边缘强度值能够作为分辨不同照度图像的标准。

图像边缘强度值的具体计算方式如下：

首先，将实验样本图像由彩色图像转换为灰度图像；

其次，sobel算子模板与实验样本灰度图像进行平面卷积运算，获得横向及纵向边缘检测的图像灰度值G_x和G_y；

然后，利用G_x和G_y计算该像素点的灰度大小G，其计算公式如下：

$G=\sqrt{G_x^2+G_y^2}---\left(2\right)$

最后，计算边缘特征图像的像素灰度均值，即为图像的边缘强度值e。

3)图像的灰度均值

图像的灰度均值是指灰度图像所有像素点灰度值的平均值，是图像最基本的特征。同样的，不同的图像具有不同的灰度均值，而针对不同照度的图像，其灰度均值相差更大，因此，灰度均值亦可作为判断不同照度图像的标准。图像灰度均值a计算公式如下：

$a=\frac{{\mathrm{\Σ}}_{\mathrm{\δ}}\mathrm{\δ}(i,j)}{w\×h}---\left(3\right)$

其中，δ(i,j)为灰度图像像素点，i和j分别为像素点的横、纵坐标，w和h分别是图像矩阵的宽和高。灰度均值的具体计算方式如下：

首先，将不同照度的图像由彩色图像转换为灰度图像；

其次，获取灰度图像每个像素点的灰度值；

最后，计算每个像素点灰度值得平均值，即为图像的灰度均值a。

步骤3，图像特征分类训练。

根据已提取的图像特征，构造图像分类器，实现对多种照度类型的图像分类。分类器构造方法采用k-means或神经网络或支持向量机(SVM)以及深度学习等方法；其中，以支持向量机为例进行说明，支持向量机的分类器构造方法具体实现步骤如下：

步骤3.1，图像特征数据归一化。

对多种照度图像的所有特征进行数据归一化，分别得到数据特征集图像对比度值c、图像的边缘强度值e和图像均值a；

步骤3.2，构造分类器，实现多种图像类型的分类。分类器的构造有多种方法，本方法介绍以下三种实施方式：实施方式一，利用支持向量机(Support Vector Machine,SVM)方法实现；实施方式二，利用k-means算法实现；实施方式三，利用神经网络算法实现。下面分别介绍各实施方式。

实施方式一，利用支持向量机的方法实现。支持向量机的方法是一种建立在统计学习理论的VC维理论和结构风险最小原理基础上的机器学习算法，其基本思路是利用特定核函数将输入空间变换到一个高维特征空间，在高维特征空间中求解最优分类面(OptimalHyperplane)，使得样本能够无错误地分开而且能够使分类间隔最大。其实现步骤如下：

步骤3.2.1，基于步骤3.1得到的多种照度图像特征集，设定特征集标签，将其中一类图像的特征设定标签为1，作为分类的第一种图像类型；剩余图像类型的特征设定标签为-1。

步骤3.2.2，引入SVM分类器原理的径向基(RBF)核函数，构建基于RBF核函数的SVM学习训练，RBF核函数如下所示：

$K(x,z)=\exp (-\frac{\left|\right|x-z|{|}^2}{2{\mathrm{\σ}}^2})---\left(4\right)$

其中，x为输入特征向量，即图像对比度C或图像边缘强度E或图像均值A，特征z为核函数中心，σ为核函数宽度。构建基于RBF核函数的SVM学习模型进行训练，其分类训练模型如下：

$f\left(x\right)=\underset{j=1}{\overset{n}{\Σ}}{\mathrm{\α}}_j{y}_{j}K(x_j,z)+b---\left(5\right)$

其中，x_j为输入图像特征，即图像对比度或图像的边缘强度或图像均值，α_j为拉格朗日算子，0<α_j<C，C为对错分样本的惩罚系数，n为训练样本数，b为分类阈值，y_j为分类标记-1或1，即1表示已设定的某类图像，-1表示剩余类型图像。

步骤3.2.3，通过交叉验证的方法对上述训练模型中的惩罚系数C和RBF核函数宽度σ进行优化选择，取最优惩罚系数值为最优拉格朗日算子α^*，由此获得如下所示的第一个SVM分类预测模型：

$f\left(x\right)=\underset{j=1}{\overset{n}{\&Sigma;}}{\mathrm{\&alpha;}}^{*}{y}_{j}K(x_j,z)+b---\left(6\right)$

步骤3.2.4，针对所有图像类型特征集，重新设定标签，分离出要分类的第二种图像类型，并设定标签为1，剩余图像类型标签为-1。重复步骤3.2.2和步骤3.2.3，得到第二个SVM分类预测模型。

步骤3.2.5，重复步骤3.2.4，遍历所有图像类型特征，并形成多个SVM分类预测模型。

实施方式二，利用k-means算法实现。K-means聚类是一种基于距离的迭代算法。设原始数据集为{x⁽¹⁾,x⁽²⁾,…,x^(m)}，在给定分类组数值的条件下，随机选取k个聚类中心点对于每一个数据i，计算其属于的聚类：

$c^{\left(i\right)}:=\underset{j}{\mathrm{argmin}}\left|\right|x^{\left(i\right)}-{\mathrm{\&mu;}}_j|{|}^2---\left(7\right)$

对于每一个聚类j，重新计算该聚类的中心点：

${\mathrm{\&mu;}}_j:=\frac{{\&Sigma;}_{i=1}^{m}1\{c^{\left(i\right)}=j\}{x}^{\left(i\right)}}{{\&Sigma;}_{i=1}^{m}1\{c^{\left(i\right)}=j\}}---\left(8\right)$

重复以上计算步骤，直至每个聚类中心点值收敛，即可得到聚类结果。其算法具体思想如下：

步骤3.2.1，基于步骤3.1得到的多种照度图像特征集中随机选取k个观测点作为k类簇的数据中心。

步骤3.2.2，分别计算剩余特征数据到k个数据中心的欧氏距离，将这些特征数据分配到与数据中心欧氏距离最近的簇。

步骤3.2.3，根据聚类结果，计算k个簇中所有特征数据的算术平均数，作为每个簇新的数据中心。

步骤3.2.4，将所有特征数据按照新的数据中心重新聚类。

步骤3.2.5，重复步骤3.2.4，直到聚类结果不再发生变化，形成分类预测分类器。

步骤4，根据步骤3.2得到的预测模型对待分类图像进行分类。具体实现步骤如下：

步骤4.1，提取待分类图像的对比度特征、边缘强度特征和均值特征等，并数据归一化。

步骤4.2，将待分类图像的特征分别导入已构建的分类预测训练模型，进行数据匹配。

步骤4.3，获得待分类图像特征的匹配结果及所属图像类型。

步骤5，输出待分类图像所属图像类型。

步骤6，根据步骤5的结果自动判断待分类图像是否进行照度处理。若待分类图像为晴天图像，则直接执行步骤8；若待分类图像为雾霾图像或夜晚图像，则执行步骤7，进行照度处理。

步骤7，对雾霾图像或夜晚图像进行照度处理。针对雾霾图像和夜晚图像等低照度图像的清晰化算法有多种，本方法利用图像全局化增强和细节调整相结合的方法，实现对雾霾图像和夜晚图像的清晰化处理。具体的实现步骤如下：

步骤7.1，实现图像全局化增强。利用Retinex算法或Dark Channel算法实现图像的全局化增强，本方法采用Retinex算法。Retinex算法是根据人类视网膜(Retina)、大脑皮层(Cortex)构造亮度和颜色的感知模型提出的一种颜色恒常知觉的计算理论，包括单尺度算法SSR和多尺度算法MSR两种。在RGB颜色空间中，SSR计算公式如下：

R_l(x,y)＝logI_l(x,y)-log[F(x,y)*I_l(x,y)],l＝1,2,…,n (9)

其中，R_l(x,y)相应于图像第l通道的输出，I_l(x,y)是图像I第l通道像素的亮度值，*表示卷积运算，n表示颜色通道数，F(x,y)表示中心/包围函数，表示为高斯函数形式：

$F(x,y)={\mathrm{Ke}}^{-(x^2+y^2)/{\mathrm{\&sigma;}}^2}---\left(10\right)$

其中，σ为控制中心/包围函数的范围，σ越小，中心/包围函数越尖锐，K由归一化条件来确定，公式如下：

$K=\frac{1}{\underset{x=1}{\overset{w}{\&Sigma;}}\underset{y=1}{\overset{h}{\&Sigma;}}{e}^{-(x^2+y^2)/{\mathrm{\&sigma;}}^2}}---\left(11\right)$

其中，(x,y)表示像素点的坐标，w表示图像的宽度即横坐标长度，h表示图像的高度纵坐标长度。显然，SSR的性能很大程度上取决于变量σ。采用Jobson等人提出的MSR算法得到第l通道的输出，公式如下：

$R_l(x,y)=\underset{n=1}{\overset{N}{\&Sigma;}}{W}_n\{{\mathrm{logI}}_l(x,y)-log\&lsqb;F(x,y)*I_l(x,y)\&rsqb;\}---\left(12\right)$

其中，R_l(x,y)相应于图像第l通道的输出，W_n则表示尺度的权重因子，N表示使用尺度的个数。根据实际需要调整算法参数使其适应于各不同照度的图像，如雾霾图像、夜晚图像等。

步骤7.2，对全局化增强后的图像进行细节调整处理。

图像中的纹理和边缘都属于图像的高频部分，平滑部分对应低频部分。加强图像高频信息能够突出图像中对象物(行人，车辆等)的边界信息，使图像细节更加清晰化。本方法利用增强图像的高频信息对图像中人物、车辆的细节信息进行加强。分离图像中的高频和低频部分的处理方法有傅里叶变换算法、小波变换算法等。进行图像细节调整的步骤如下：

步骤7.2.1，对步骤7.1的结果图像进行分层处理。

采用傅里叶变换、小波变换等算法对图像进行分层处理。其中，小波变换算法的处理过程如下。

采用小波变换算法对所述图像在不同的尺度上使用高通滤波器和低通滤波器在水平和垂直两个方向上分别进行两次滤波，得到的分解结果为：近似分量A、水平细节分量H、垂直细节分量V和对角细节分量D。小波变换算法中的滤波次数根据需要进行调整。

步骤7.2.2，调整高低频系数。

雾天图像的云雾信息主要分布在低频，景物信息占据相对高频。图像经多层小波变换得到最高层的近似系数和每一层的细节系数。近似系数代表图像背景，频率最低；细节系数代表图像的高频信息，层数大的细节系数频率较低。通过降低近似分量A的系数，增大水平细节分量H、垂直细节分量V和对角细节分量D的系数，实现减弱低频的云雾信息、增强相对高频的景物信息的目的。

步骤7.2.3，根据所述步骤7.2.2进行小波系数重构，得到重构图像。

步骤8，输出结果清晰图像。

实施方式三，利用神经网络算法实现。神经网络是模拟生物神经系统结构和功能而构成的一种信息处理系统。根据网络拓扑结构的不同可分为前馈神经网络和反馈神经网络两种；常见的前馈神经网络有误差反向传播(BP)神经网络和径向基(RBF)神经网络等，常见的反馈神经网络有Hopfield网络和波尔兹曼机等。本实施方式以前馈神经网络中的误差反向传播(BP)神经网络为例，介绍图像分类器的构造原理和步骤。

BP神经网络是一种按误差逆传播算法训练的多层前馈网络，其模型由输入层、隐含层和输出层组成。它使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的输出值与期望值误差最小，从而形成分类器。BP神经网络的具体实现步骤如下：

步骤3.2.1，初始化网络模型及网络参数。

根据步骤3.1得到的图像特征集确定BP神经网络模型各层的输入输出向量，设定最大学习次数M和误差函数e，给定计算精度ε，并设置各连接权值。

设输入向量X＝(x₁,x₂,…,x_n)，隐含层输入向量hi＝(hi₁,hi₂,…,hi_p)，隐含层输出向量ho＝(ho₁,ho₂,…,ho_p)，输出层输入向量yi＝(yi₁,yi₂,…,yi_q)，输出层输出向量yo＝(yo₁,yo₂,…,yo_q)，期望输出向量O＝(o₁,o₂,…,o_q)，其中，n为输入层神经元数，p为隐含层神经元数，q为输出层神经元数；初始化输入层至隐含层的连接权值为w_ih，初始化隐含层至输出层的连接权值w_ho，隐含层各神经元的阈值为b_h，输出层各神经元的阈值为b_o，样本数据个数为k＝1,2,…,m，激活函数为f(·)，误差函数为：

$e=\frac{1}{2}\underset{o=1}{\overset{q}{\&Sigma;}}{\left(O_o\right(k)-{\mathrm{yO}}_o(k\left)\right)}^2---\left(13\right)$

步骤3.2.2，输入图像特征数据作为训练样本。

步骤3.2.3，计算正向传播时各层的输入值和输出值。

1)计算隐含层各神经元的输入值和输出值。

隐含层的输入值为：

${\mathrm{hi}}_h\left(k\right)=\underset{i=1}{\overset{n}{\&Sigma;}}{w}_{ih}{x}_i\left(k\right)-b_h,h=1,2,\mathrm{...},p---\left(14\right)$

隐含层各神经元的输出值为：

ho_h(k)＝f(hi_h(k))，h＝1,2,…,p (15)

2)计算输出层各神经元的输入值和输出值。

输出层的输入值为：

${\mathrm{yi}}_o\left(k\right)=\underset{h=1}{\overset{p}{\&Sigma;}}{w}_{ho}{\mathrm{ho}}_h\left(k\right)-b_o,o=1,2,\mathrm{...},q---\left(16\right)$

输出层的输出值为：

yo_o(k)＝f(yi_o(k))，o＝1,2,…,q (17)

步骤3.2.4，根据步骤3.2.3的结果和公式(13)计算各层神经元的输出误差。

步骤3.2.5，误差反向传播，利用梯度下降法调整各层权值和阈值。

1)输出层权值和阈值的调整。

输出层权值的调整公式为：

${\mathrm{\&Delta;w}}_{ho}\left(k\right)=-\mathrm{\&mu;}\frac{\&part;e}{\&part;w_{ho}}---\left(18\right)$

输出层阈值的调整公式为：

${\mathrm{\&Delta;b}}_0\left(k\right)=-\mathrm{\&mu;}\frac{\&part;e}{\&part;b_o}---\left(19\right)$

2)隐含层权值和阈值的调整。

隐含层权值的调整公式为：

${\mathrm{\&Delta;w}}_{ih}\left(k\right)=-\mathrm{\&mu;}\frac{\&part;e}{\&part;w_{ih}}---\left(20\right)$

隐含层阈值的调整公式为：

${\mathrm{\&Delta;b}}_h\left(k\right)=-\mathrm{\&mu;}\frac{\&part;e}{\&part;b_h}---\left(21\right)$

其中，μ为学习速率。

步骤3.2.6，计算全局误差。全局误差计算公式为：

$E=\frac{1}{2m}\underset{k=1}{\overset{m}{\&Sigma;}}\underset{o=1}{\overset{q}{\&Sigma;}}{\left(O_o\right(k)-y_o(k\left)\right)}^2---\left(22\right)$

步骤3.2.7，判断是否满足训练终止条件。当误差达到预设精度或学习次数大于设定的最大次数或所有样本训练完毕，则训练结束，形成分类预测模型；否则，重复步骤3.2.3～步骤3.2.6，直到满足训练终止条件。

步骤3.2.8，训练结束，形成图像分类预测模型。

步骤4，根据步骤3.2得到的预测模型对待分类图像进行分类。具体实现步骤如下：

步骤4.1，提取待分类图像的对比度特征、边缘强度特征和均值特征等，并数据归一化。

步骤4.2，将待分类图像的特征分别导入已构建的分类预测训练模型，进行数据匹配。

步骤4.3，获得待分类图像特征的匹配结果及所属图像类型。

步骤5，输出待分类图像所属图像类型。

步骤6，根据步骤5的结果自动判断待分类图像是否进行照度处理。若待分类图像为晴天图像，则直接执行步骤8；若待分类图像为雾霾图像或夜晚图像，则执行步骤7，进行照度处理。

步骤7，对雾霾图像或夜晚图像进行照度处理。针对雾霾图像和夜晚图像等低照度图像的清晰化算法有多种，本发明利用图像全局化增强和细节调整相结合的方法，实现对雾霾图像和夜晚图像两类图像的清晰化处理。具体的实现步骤如下：

步骤7.1，实现图像全局化增强。利用Retinex算法或Dark Channel算法实现图像的全局化增强，本发明采用Retinex算法。Retinex算法是根据人类视网膜(Retina)、大脑皮层(Cortex)构造亮度和颜色的感知模型提出的一种颜色恒常知觉的计算理论，包括单尺度算法SSR和多尺度算法MSR两种。在RGB颜色空间中，SSR计算公式如下：

R_l(x,y)＝logI_l(x,y)-log[F(x,y)*I_l(x,y)],l＝1,2,…,n (23)

其中，R_l(x,y)相应于图像第l通道的输出，I_l(x,y)是图像I第l通道像素的亮度值，*表示卷积运算，n表示颜色通道数，F(x,y)表示中心/包围函数，表示为高斯函数形式：

$F(x,y)={\mathrm{Ke}}^{-(x^2+y^2)/{\mathrm{\&sigma;}}^2}---\left(24\right)$

其中，σ为控制中心/包围函数的范围，σ越小，中心/包围函数越尖锐，K由归一化条件来确定，公式如下：

$K=\frac{1}{\underset{x=1}{\overset{w}{\&Sigma;}}\underset{y=1}{\overset{h}{\&Sigma;}}{e}^{-(x^2+y^2)/{\mathrm{\&sigma;}}^2}}---\left(25\right)$

其中，(x,y)表示像素点的坐标，w表示图像的宽度即横坐标长度，h表示图像的高度纵坐标长度。显然，SSR的性能很大程度上取决于变量σ。采用Jobson等人提出的MSR算法得到第l通道的输出，公式如下：

$R_l(x,y)=\underset{n=1}{\overset{N}{\&Sigma;}}{W}_n\{{\mathrm{logI}}_l(x,y)-log\&lsqb;F(x,y)*I_l(x,y)\&rsqb;\}---\left(26\right)$

其中，R_l(x,y)相应于图像第l通道的输出，W_n则表示尺度的权重因子，N表示使用尺度的个数。根据实际需要调整算法参数使其适应于不同照度的图像，如雾霾图像、夜晚图像等。

步骤7.2，对全局化增强后的图像进行细节调整处理。

图像中的纹理和边缘都属于图像的高频部分，平滑部分对应低频部分。加强图像高频信息，能够突出图像中对象物(行人，车辆等)的边界信息，使图像细节更加清晰化。本方法利用增强图像的高频信息对图像中人物、车辆的细节信息进行加强。可以采取很多方法分离图像中的高频和低频部分，比如利用傅里叶变换、小波变换等算法。进行图像细节调整的步骤如下：

步骤7.2.1，对步骤7.1的结果图像进行分层处理。

可采用傅里叶变换、小波变换等算法对图像进行分层处理。本方法以小波变换算法为例进行说明。

采用小波变换算法对所述图像在不同的尺度上使用高通滤波器和低通滤波器在水平和垂直两个方向上分别进行两次滤波，得到的分解结果为：近似分量A、水平细节分量H、垂直细节分量V和对角细节分量D。小波变换算法中的滤波次数可根据需要进行调整。

步骤7.2.2，调整高低频系数。

雾天图像的云雾信息主要分布在低频，景物信息占据相对高频。图像经多层小波变换得到最高层的近似系数和每一层的细节系数。近似系数代表图像背景，频率最低；细节系数代表图像的高频信息，层数大的细节系数频率较低。通过降低近似分量A的系数，增大水平细节分量H、垂直细节分量V和对角细节分量D的系数，实现减弱低频的云雾信息、增强相对高频的景物信息的目的。

步骤7.2.3，根据所述步骤7.2.2进行小波系数重构，得到重构图像。

步骤8，输出结果清晰图像。

本发明较其他图像分类方法具有以下优点。

(1)根据本发明实施例的基于不同照度的图像分类及处理方法，提出了对不同照度的图像分类方式和方法。本发明通过分析不同照度图像的特点，提取图像的对比度特征、边缘强度特征和均值特征，利用图像特征数据构造图像分类器，实现对不同照度的图像分类，改善了阈值判断误差较大的问题，大大提高了分类精度。

(2)本发明在实现不同照度图像分类的基础上，实现对图像分类结果的自动判断，并根据判断结果对分类图像进行照度处理，使得图像分类与照度图像处理相结合，构成了一个完整的图像分类及处理装置，可应用于道路监测、目标识别等领域，提高了针对监控视频图像处理技术的工作效率。

附图说明

图1为不同照度图像分类实现流程图

图2为特征数据学习训练流程图

图3为实施方式一的特征预测模型构造流程图

图4为实施方式二的特征预测模型构造流程图

图5为实施方式三的特征预测模型构造流程图

图6为待分类图像预测流程图

图7为照度处理算法流程图

图8为图像细节调整流程图

具体实施方式

下面给出了本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。

本实施例给出一种基于不同照度的图像分类及处理方法，具体实施步骤如下：

步骤S10，图像采集。利用视频图像采集设备(如摄像机、手机等)采集不同照度下的视频，作为实验样本数据。采集的视频主要包括(但不限于)下述照度类型：晴天白天、晴天夜晚、雾霾白天和雾霾夜晚等。

步骤S11，对采集的上述不同照度条件下采集的视频数据进行分帧处理，使其成为单幅图像。

步骤S20，根据采集的实验样本提取图像特征。提取的图像特征包括：图像对比度、图像边缘强度和图像均值。

步骤S30，图像特征分类训练。根据已提取的图像特征，采用支持向量机(SVM)构造分类器，实现对四种不同照度图像的分类，具体实现步骤如下：

步骤S31，图像特征归一化。对四种类型图像的三个图像特征分别进行归一化处理，分别获得三个图像特征集，每个特征集包含四种类型图像。

步骤S32，图像特征学习训练，构造分类器。

实施方式一，利用SVM算法构造分类器。引入SVM分类器原理的径向基(RBF)核函数，构建基于RBF核函数的SVM学习训练，则步骤S32的具体实现如下：

步骤S321，基于步骤S31得到的图像特征集设定特征集标签，将其中一类图像的特征设定标签为1，作为分类的第一种图像类型；剩余图像类型的特征设定标签为-1。

步骤S322，引入SVM分类器原理的径向基(RBF)核函数，对特征集采集基于RBF核函数的SVM学习训练，初步形成训练模型。

步骤S323，通过交叉验证的方法对上述训练模型中的参数进行优化，选取最优值，获得第一个SVM分类预测模型。

步骤S324，针对所有图像类型特征集，重新设定标签，分离出要分类的第二种图像类型，并设定标签为1，剩余图像类型标签为-1。重复步骤S322和步骤S323，得到第二个SVM分类预测模型。

步骤S325，重复步骤S324，遍历四种图像类型特征，并形成四个SVM分类预测模型。

实施方式二，利用k-means算法构造图像分类器。则步骤S32的具体实现如下：

步骤S321，基于步骤S31得到的四种照度图像特征集中随机选取4个观测点作为4类簇的数据中心。

步骤S322，分别计算剩余特征数据到4个数据中心的欧氏距离，将这些特征数据分配到与数据中心欧氏距离最近的簇。

步骤S323，根据聚类结果，计算4个簇中所有特征数据的算术平均数，作为每个簇新的数据中心。

步骤S324，将所有特征数据按照新的数据中心重新聚类。

步骤S325，重复步骤S324，直到聚类结果不再发生变化，形成分类预测分类器。

步骤S40，根据步骤S32的四个SVM预测模型对待测图像进行分类。具体操作步骤如下：

步骤S41，提取待分类图像的对比度特征、边缘强度特征和均值特征，并数据归一化。

步骤S42，将待分类图像的特征分别导入已构建的分类预测训练模型，进行数据匹配。

步骤S43，获得待分类图像特征的匹配结果及所属图像类型。

步骤S50，输出待分类图像所属图像类型。

步骤S60，根据步骤S50的结果自动判断待分类图像是否进行照度处理。若待分类图像为晴天图像，则直接执行步骤S80；若待分类图像为雾霾图像或夜晚图像，则执行步骤S70，进行照度处理。

步骤S70，照度处理模块。具体实现步骤如下：

步骤S71，利用Retinex算法对雾霾图像或夜晚图像进行全局化增强。调节Retinex算法参数，使得算法能够实现对雾霾图像和夜晚图像的清晰化处理。

步骤S72，利用小波变换算法调整图像细节信息。调整算法参数，对全局化增强后的雾霾图像或夜晚图像进行细节调整处理，具体实现步骤如下所示：

步骤S721，利用小波变换对步骤S71的结果图像进行分层处理。采用小波变换算法对所述图像在不同的尺度上使用高通滤波器和低通滤波器在水平和垂直两个方向上分别进行两次滤波，得到的分解结果为：近似分量A、水平细节分量H、垂直细节分量V和对角细节分量D。可根据需要调整小波变换算法中的滤波次数。

步骤S722，调整高低频系数。通过降低近似分量A的系数，增大水平细节分量H、垂直细节分量V和对角细节分量D的系数，分别增强雾霾图像和夜晚图像相对高频的景物信息。

步骤S723，对步骤S722进行系数重构，得到最终照度处理图像。

步骤S80，输出结果清晰图像。

实施方式三，利用神经网络算法构造图像分类器。则步骤S32的具体实现如下：

步骤S321，初始化网络模型及网络参数。

步骤S322，根据步骤S31得到的图像特征数据，输入训练样本。

步骤S323，计算BP神经网络正向传播时各层的输入值和输出值。

步骤S324，根据步骤S323的结果计算各层神经元的输出误差。

步骤S325，误差反向传播，利用梯度下降法调整各层权值和阈值。

步骤S326，计算全局误差。

步骤S327，判断是否满足训练终止条件。当全局误差达到预设精度或学习次数大于设定的最大次数或所有样本训练完毕，则训练结束，形成分类预测模型；否则，重复步骤S323～步骤S326，直到满足训练终止条件。

步骤S328，训练结束，形成分类预测模型。

步骤S40，根据步骤S32的图像分类预测模型对待分类图像进行分类。具体操作步骤如下：

步骤S41，提取待分类图像的对比度特征、边缘强度特征和均值特征，并数据归一化。

步骤S42，将待分类图像的特征分别导入已构建的分类预测训练模型，进行数据匹配。

步骤S43，获得待分类图像特征的匹配结果及所属图像类型。

步骤S50，输出待分类图像所属图像类型。

步骤S60，根据步骤S50的结果自动判断待分类图像是否进行照度处理。若待分类图像为晴天图像，则直接执行步骤S80；若待分类图像为雾霾图像或夜晚图像，则执行步骤S70，进行照度处理。

步骤S70，照度处理模块。具体实现步骤如下：

步骤S71，利用Retinex算法对雾霾图像或夜晚图像进行全局化增强。调节Retinex算法参数，使得算法能够实现对雾霾图像和夜晚图像的清晰化处理。

步骤S72，利用小波变换算法调整图像细节信息。调整算法参数，对全局化增强后的雾霾图像或夜晚图像进行细节调整处理，具体实现步骤如下所示：

步骤S721，利用小波变换对步骤S71的结果图像进行分层处理。采用小波变换算法对所述图像在不同的尺度上使用高通滤波器和低通滤波器在水平和垂直两个方向上分别进行两次滤波，得到的分解结果为：近似分量A、水平细节分量H、垂直细节分量V和对角细节分量D。可根据需要调整小波变换算法中的滤波次数。

步骤S722，调整高低频系数。通过降低近似分量A的系数，增大水平细节分量H、垂直细节分量V和对角细节分量D的系数，分别增强雾霾图像和夜晚图像相对高频的景物信息。

步骤S723，对步骤S722进行系数重构，得到最终照度处理图像。

步骤S80，输出结果清晰图像。

Claims (7)

1.一种基于不同照度的图像分类及处理方法，其特征在于：该方法包括以下步骤：

步骤1，视频图像采集；

利用视频图像采集设备采集不同照度条件下的视频图像，不同照度条件分为晴天、雾霾天、雨雪恶劣天候及夜晚条件下的视频图像；所采集视频图像为黑白或彩色，并以此作为实验样本数据；

根据上述视频图像采集中的数据采集方式，能够得到两种不同格式的样本数据：即单幅图像和视频；若采集的数据为单幅图像样本，则直接执行步骤2；若采集的为视频样本，则需要对视频进行分帧处理，使其成为单幅图像样本后再执行步骤2；

步骤2，根据步骤1视频图像采集得到的单幅图像样本进行图像特征数据提取；

通过对不同照度图像特点的分析，主要实现对能反映图像照度差异的图像特征进行图像特征数据提取，图像特征数据为图像对比度、边缘强度、图像均值，也能通过采用纹理、shift其他特征；

1)图像对比度值的计算

图像对比度，即图像亮暗的对比程度；对于所采集的图像来说，不同照度的图像具有不同的图像对比度值，因此，图像对比度作为区别不同类型图像的评判标准；图像对比度值c的计算公式如下：

$c=\underset{\mathrm{\&delta;}}{\&Sigma;}\mathrm{\&delta;}{(i,j)}^2{P}_{\mathrm{\&delta;}}(i,j)---\left(1\right)$

其中，i和j分别为像素点的横、纵坐标，δ(i,j)＝|i-j|为图像像素间的灰度差，P_δ(i,j)为相邻像素间的灰度差为δ的像素分布概率；图像对比度值的具体计算方式如下：

首先，将实验样本图像由彩色图像转换为灰度图像；

其次，对得到的灰度图像的矩阵进行数据格式转换；

最后，根据公式(1)计算图像对比度，获得图像对比度值c；

2)图像边缘强度值的计算

图像的边缘是图像局部强度变化最显著的部分，亦从另一个角度反映了图像的清晰化程度，同一场景、不同照度的图像的边缘强度是有差别的，所以，图像的边缘强度值能够作为分辨不同照度图像的标准；

图像边缘强度值的具体计算方式如下：

首先，将实验样本图像由彩色图像转换为灰度图像；

其次，sobel算子模板与实验样本灰度图像进行平面卷积运算，获得横向及纵向边缘检测的图像灰度值G_x和G_y；

然后，利用G_x和G_y计算该像素点的灰度大小G，其计算公式如下：

$G=\sqrt{G_x^2+G_y^2}---\left(2\right)$

最后，计算边缘特征图像的像素灰度均值，即为图像的边缘强度值e；

3)图像的灰度均值

图像的灰度均值是指灰度图像所有像素点灰度值的平均值，是图像最基本的特征；同样的，不同的图像具有不同的灰度均值，而针对不同照度的图像，其灰度均值相差更大，因此，灰度均值亦可作为判断不同照度图像的标准；图像灰度均值a计算公式如下：

$a=\frac{{\mathrm{\&Sigma;}}_{\mathrm{\&delta;}}\mathrm{\&delta;}(i,j)}{w\&times;h}---\left(3\right)$

其中，δ(i,j)为灰度图像像素点，i和j分别为像素点的横、纵坐标，w和h分别是图像矩阵的宽和高；灰度均值的具体计算方式如下：

首先，将不同照度的图像由彩色图像转换为灰度图像；

其次，获取灰度图像每个像素点的灰度值；

最后，计算每个像素点灰度值得平均值，即为图像的灰度均值a；

步骤3，图像特征分类训练；

根据已提取的图像特征，构造图像分类器，实现对多种照度类型的图像分类；分类器构造方法采用k-means或神经网络或支持向量机(SVM)以及深度学习方法；其中，以支持向量机为例进行说明，支持向量机的分类器构造方法具体实现步骤如下：

步骤3.1，图像特征数据归一化；

对多种照度图像的所有特征进行数据归一化，分别得到数据特征集图像对比度值c、图像的边缘强度值e和图像均值a；

步骤3.2，构造分类器，实现多种图像类型的分类；分类器的构造有多种方法，本方法介绍以下三种实施方式：实施方式一，利用支持向量机(Support Vector Machine,SVM)方法实现；实施方式二，利用k-means算法实现；实施方式三，利用神经网络算法实现；下面分别介绍各实施方式；

实施方式一，利用支持向量机的方法实现；支持向量机的方法是一种建立在统计学习理论的VC维理论和结构风险最小原理基础上的机器学习算法，其基本思路是利用特定核函数将输入空间变换到一个高维特征空间，在高维特征空间中求解最优分类面(OptimalHyperplane)，使得样本能够无错误地分开而且能够使分类间隔最大；其实现步骤如下：

步骤3.2.1，基于步骤3.1得到的多种照度图像特征集，设定特征集标签，将其中一类图像的特征设定标签为1，作为分类的第一种图像类型；剩余图像类型的特征设定标签为-1；

步骤3.2.2，引入SVM分类器原理的径向基(RBF)核函数，构建基于RBF核函数的SVM学习训练，RBF核函数如下所示：

$K(x,z)=\exp (-\frac{\left|\right|x-z|{|}^2}{2{\mathrm{\&sigma;}}^2})---\left(4\right)$

其中，x为输入特征向量，即图像对比度C或图像边缘强度E或图像均值A，特征z为核函数中心，σ为核函数宽度；构建基于RBF核函数的SVM学习模型进行训练，其分类训练模型如下：

$f\left(x\right)=\underset{j=1}{\overset{n}{\&Sigma;}}{\mathrm{\&alpha;}}_j{y}_{j}K(x_j,z)+b---\left(5\right)$

其中，x_j为输入图像特征，即图像对比度或图像的边缘强度或图像均值，α_j为拉格朗日算子，0<α_j<C，C为对错分样本的惩罚系数，n为训练样本数，b为分类阈值，y_j为分类标记-1或1，即1表示已设定的某类图像，-1表示剩余类型图像；

步骤3.2.3，通过交叉验证的方法对上述训练模型中的惩罚系数C和RBF核函数宽度σ进行优化选择，取最优惩罚系数值为最优拉格朗日算子α^*，由此获得如下所示的第一个SVM分类预测模型：

$f\left(x\right)=\underset{j=1}{\overset{n}{\&Sigma;}}{\mathrm{\&alpha;}}^{*}{y}_{j}K(x_j,z)+b---\left(6\right)$

步骤3.2.4，针对所有图像类型特征集，重新设定标签，分离出要分类的第二种图像类型，并设定标签为1，剩余图像类型标签为-1；重复步骤3.2.2和步骤3.2.3，得到第二个SVM分类预测模型；

步骤3.2.5，重复步骤3.2.4，遍历所有图像类型特征，并形成多个SVM分类预测模型；

步骤4，根据步骤3.2得到的预测模型对待分类图像进行分类；具体实现步骤如下：

步骤4.1，提取待分类图像的对比度特征、边缘强度特征和均值特征，并数据归一化；

步骤4.2，将待分类图像的特征分别导入已构建的分类预测训练模型，进行数据匹配；

步骤4.3，获得待分类图像特征的匹配结果及所属图像类型；

步骤5，输出待分类图像所属图像类型；

步骤6，根据步骤5的结果自动判断待分类图像是否进行照度处理；若待分类图像为晴天图像，则直接执行步骤8；若待分类图像为雾霾图像或夜晚图像，则执行步骤7，进行照度处理；

步骤7，对雾霾图像或夜晚图像进行照度处理；针对雾霾图像和夜晚图像低照度图像的清晰化算法有多种，本方法利用图像全局化增强和细节调整相结合的方法，实现对雾霾图像和夜晚图像的清晰化处理；具体的实现步骤如下：

步骤7.1，实现图像全局化增强；利用Retinex算法或Dark Channel算法实现图像的全局化增强，本方法采用Retinex算法；Retinex算法是根据人类视网膜(Retina)、大脑皮层(Cortex)构造亮度和颜色的感知模型提出的一种颜色恒常知觉的计算理论，包括单尺度算法SSR和多尺度算法MSR两种；在RGB颜色空间中，SSR计算公式如下：

R_l(x,y)＝log I_l(x,y)-log[F(x,y)*I_l(x,y)],l＝1,2,…,n (9)

其中，R_l(x,y)相应于图像第l通道的输出，I_l(x,y)是图像I第l通道像素的亮度值，*表示卷积运算，n表示颜色通道数，F(x,y)表示中心/包围函数，表示为高斯函数形式：

$F(x,y)={\mathrm{Ke}}^{-(x^2+y^2)/{\mathrm{\&sigma;}}^2}---\left(10\right)$

其中，σ为控制中心/包围函数的范围，σ越小，中心/包围函数越尖锐，K由归一化条件来确定，公式如下：

$K=\frac{1}{\underset{x=1}{\overset{w}{\&Sigma;}}\underset{y=1}{\overset{h}{\&Sigma;}}{e}^{-(x^2+y^2)/{\mathrm{\&sigma;}}^2}}---\left(11\right)$

其中，(x,y)表示像素点的坐标，w表示图像的宽度即横坐标长度，h表示图像的高度纵坐标长度；显然，SSR的性能很大程度上取决于变量σ；采用J MSR算法得到第l通道的输出，公式如下：

$R_l(x,y)=\underset{n=1}{\overset{N}{\&Sigma;}}{W}_n\{{\mathrm{logI}}_l(x,y)-log\&lsqb;F(x,y)*I_l(x,y)\&rsqb;\}---\left(12\right)$

其中，R_l(x,y)相应于图像第l通道的输出，W_n则表示尺度的权重因子，N表示使用尺度的个数；根据实际需要调整算法参数使其适应于各不同照度的雾霾图像、夜晚图像；

步骤7.2，对全局化增强后的图像进行细节调整处理；

图像中的纹理和边缘都属于图像的高频部分，平滑部分对应低频部分；加强图像高频信息能够突出图像中对象物的边界信息，使图像细节更加清晰化；本方法利用增强图像的高频信息对图像中人物、车辆的细节信息进行加强；分离图像中的高频和低频部分的处理方法有傅里叶变换算法、小波变换算法；进行图像细节调整的步骤如下：

步骤7.2.1，对步骤7.1的结果图像进行分层处理；

采用傅里叶变换、小波变换算法对图像进行分层处理；其中，小波变换算法的处理过程如下；

采用小波变换算法对所述图像在不同的尺度上使用高通滤波器和低通滤波器在水平和垂直两个方向上分别进行两次滤波，得到的分解结果为：近似分量A、水平细节分量H、垂直细节分量V和对角细节分量D；小波变换算法中的滤波次数根据需要进行调整；

步骤7.2.2，调整高低频系数；

雾天图像的云雾信息主要分布在低频，景物信息占据相对高频；图像经多层小波变换得到最高层的近似系数和每一层的细节系数；近似系数代表图像背景，频率最低；细节系数代表图像的高频信息，层数大的细节系数频率较低；通过降低近似分量A的系数，增大水平细节分量H、垂直细节分量V和对角细节分量D的系数，实现减弱低频的云雾信息、增强相对高频的景物信息的目的；

步骤7.2.3，根据所述步骤7.2.2进行小波系数重构，得到重构图像；

步骤8，输出结果清晰图像。

2.根据权利要求1所述的一种基于不同照度的图像分类及处理方法，其特征在于：实施方式二，利用k-means算法实现；K-means聚类是一种基于距离的迭代算法；设原始数据集为{x⁽¹⁾,x⁽²⁾,…,x^(m)}，在给定分类组数值的条件下，随机选取k个聚类中心点对于每一个数据i，计算其属于的聚类：

$c^{\left(i\right)}:=\underset{j}{\arg min}\left|\right|x^{\left(i\right)}-{\mathrm{\&mu;}}_j|{|}^2---\left(7\right)$

对于每一个聚类j，重新计算该聚类的中心点：

${\mathrm{\&mu;}}_j:=\frac{{\mathrm{\&Sigma;}}_{i=1}^{m}1\{c^{\left(i\right)}=j\}{x}^{\left(i\right)}}{{\mathrm{\&Sigma;}}_{i=1}^{m}1\{c^{\left(i\right)}=j\}}---\left(8\right)$

重复以上计算步骤，直至每个聚类中心点值收敛，即可得到聚类结果；其算法具体思想如下：

步骤3.2.1，基于步骤3.1得到的多种照度图像特征集中随机选取k个观测点作为k类簇的数据中心；

步骤3.2.2，分别计算剩余特征数据到k个数据中心的欧氏距离，将这些特征数据分配到与数据中心欧氏距离最近的簇；

步骤3.2.3，根据聚类结果，计算k个簇中所有特征数据的算术平均数，作为每个簇新的数据中心；

步骤3.2.4，将所有特征数据按照新的数据中心重新聚类；

步骤3.2.5，重复步骤3.2.4，直到聚类结果不再发生变化，形成分类预测分类器。

3.根据权利要求1所述的一种基于不同照度的图像分类及处理方法，其特征在于：实施方式三，利用神经网络算法实现；神经网络是模拟生物神经系统结构和功能而构成的一种信息处理系统；根据网络拓扑结构的不同可分为前馈神经网络和反馈神经网络两种；常见的前馈神经网络有误差反向传播(BP)神经网络和径向基(RBF)神经网络，常见的反馈神经网络有Hopfield网络和波尔兹曼机；本实施方式以前馈神经网络中的误差反向传播(BP)神经网络为例，介绍图像分类器的构造原理和步骤；

BP神经网络是一种按误差逆传播算法训练的多层前馈网络，其模型由输入层、隐含层和输出层组成；它使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的输出值与期望值误差最小，从而形成分类器；BP神经网络的具体实现步骤如下：

步骤3.2.1，初始化网络模型及网络参数；

根据步骤3.1得到的图像特征集确定BP神经网络模型各层的输入输出向量，设定最大学习次数M和误差函数e，给定计算精度ε，并设置各连接权值；

设输入向量X＝(x₁,x₂,…,x_n)，隐含层输入向量hi＝(hi₁,hi₂,…,hi_p)，隐含层输出向量ho＝(ho₁,ho₂,…,ho_p)，输出层输入向量yi＝(yi₁,yi₂,…,yi_q)，输出层输出向量yo＝(yo₁,yo₂,…,yo_q)，期望输出向量O＝(o₁,o₂,…,o_q)，其中，n为输入层神经元数，p为隐含层神经元数，q为输出层神经元数；初始化输入层至隐含层的连接权值为w_ih，初始化隐含层至输出层的连接权值w_ho，隐含层各神经元的阈值为b_h，输出层各神经元的阈值为b_o，样本数据个数为k＝1,2,…,m，激活函数为f(·)，误差函数为：

$e=\frac{1}{2}\underset{o=1}{\overset{q}{\&Sigma;}}{\left(O_o\right(k)-{\mathrm{yo}}_o(k\left)\right)}^2---\left(13\right)$

步骤3.2.2，输入图像特征数据作为训练样本；

步骤3.2.3，计算正向传播时各层的输入值和输出值；

1)计算隐含层各神经元的输入值和输出值；

隐含层的输入值为：

${\mathrm{hi}}_h\left(k\right)=\underset{i=1}{\overset{n}{\&Sigma;}}{w}_{ih}{x}_i\left(k\right)-b_h,h=1,2,...,p---\left(14\right)$

隐含层各神经元的输出值为：

ho_h(k)＝f(hi_h(k))，h＝1,2,…,p (15)

2)计算输出层各神经元的输入值和输出值；

输出层的输入值为：

${\mathrm{yi}}_o\left(k\right)=\underset{h=1}{\overset{p}{\&Sigma;}}{w}_{ho}{\mathrm{ho}}_h\left(k\right)-b_o,o=1,2,...,q---\left(16\right)$

输出层的输出值为：

yo_o(k)＝f(yi_o(k))，o＝1,2,…,q (17)

步骤3.2.4，根据步骤3.2.3的结果和公式(13)计算各层神经元的输出误差；

步骤3.2.5，误差反向传播，利用梯度下降法调整各层权值和阈值；

1)输出层权值和阈值的调整；

输出层权值的调整公式为：

${\mathrm{\&Delta;w}}_{ho}\left(k\right)=-\mathrm{\&mu;}\frac{\&part;e}{\&part;w_{ho}}---\left(18\right)$

输出层阈值的调整公式为：

${\mathrm{\&Delta;b}}_0\left(k\right)=-\mathrm{\&mu;}\frac{\&part;e}{\&part;b_o}---\left(19\right)$

2)隐含层权值和阈值的调整；

隐含层权值的调整公式为：

${\mathrm{\&Delta;w}}_{ih}\left(k\right)=-\mathrm{\&mu;}\frac{\&part;e}{\&part;w_{ih}}---\left(20\right)$

隐含层阈值的调整公式为：

${\mathrm{\&Delta;b}}_h\left(k\right)=-\mathrm{\&mu;}\frac{\&part;e}{\&part;b_h}---\left(21\right)$

其中，μ为学习速率；

步骤3.2.6，计算全局误差；全局误差计算公式为：

$E=\frac{1}{2m}\underset{k=1}{\overset{m}{\&Sigma;}}\underset{o=1}{\overset{q}{\&Sigma;}}{\left(O_o\right(k)-y_o(k\left)\right)}^2---\left(22\right)$

步骤3.2.7，判断是否满足训练终止条件；当误差达到预设精度或学习次数大于设定的最大次数或所有样本训练完毕，则训练结束，形成分类预测模型；否则，重复步骤3.2.3～步骤3.2.6，直到满足训练终止条件；

步骤3.2.8，训练结束，形成图像分类预测模型；

步骤4，根据步骤3.2得到的预测模型对待分类图像进行分类；具体实现步骤如下：

步骤4.1，提取待分类图像的对比度特征、边缘强度特征和均值特征，并数据归一化；

步骤4.2，将待分类图像的特征分别导入已构建的分类预测训练模型，进行数据匹配；

步骤4.3，获得待分类图像特征的匹配结果及所属图像类型；

步骤5，输出待分类图像所属图像类型；

步骤6，根据步骤5的结果自动判断待分类图像是否进行照度处理；若待分类图像为晴天图像，则直接执行步骤8；若待分类图像为雾霾图像或夜晚图像，则执行步骤7，进行照度处理；

步骤7，对雾霾图像或夜晚图像进行照度处理；针对雾霾图像和夜晚图像低照度图像的清晰化算法有多种，利用图像全局化增强和细节调整相结合的方法，实现对雾霾图像和夜晚图像两类图像的清晰化处理；具体的实现步骤如下：

步骤7.1，实现图像全局化增强；利用Retinex算法或Dark Channel算法实现图像的全局化增强，本发明采用Retinex算法；Retinex算法是根据人类视网膜(Retina)、大脑皮层(Cortex)构造亮度和颜色的感知模型提出的一种颜色恒常知觉的计算理论，包括单尺度算法SSR和多尺度算法MSR两种；在RGB颜色空间中，SSR计算公式如下：

R_l(x,y)＝log I_l(x,y)-log[F(x,y)*I_l(x,y)],l＝1,2,…,n (23)

其中，R_l(x,y)相应于图像第l通道的输出，I_l(x,y)是图像I第l通道像素的亮度值，*表示卷积运算，n表示颜色通道数，F(x,y)表示中心/包围函数，表示为高斯函数形式：

$F(x,y)={\mathrm{Ke}}^{-(x^2+y^2)/{\mathrm{\&sigma;}}^2}---\left(24\right)$

其中，σ为控制中心/包围函数的范围，σ越小，中心/包围函数越尖锐，K由归一化条件来确定，公式如下：

$K=\frac{1}{\underset{x=1}{\overset{w}{\&Sigma;}}\underset{y=1}{\overset{h}{\&Sigma;}}{e}^{-(x^2+y^2)/{\mathrm{\&sigma;}}^2}}---\left(25\right)$

其中，(x,y)表示像素点的坐标，w表示图像的宽度即横坐标长度，h表示图像的高度纵坐标长度；显然，SSR的性能很大程度上取决于变量σ；采用MSR算法得到第l通道的输出，公式如下：

$R_l(x,y)=\underset{n=1}{\overset{N}{\&Sigma;}}{W}_n\{\log I_l(x,y)-log\&lsqb;F(x,y)*I_l(x,y)\&rsqb;\}---\left(26\right)$

其中，R_l(x,y)相应于图像第l通道的输出，W_n则表示尺度的权重因子，N表示使用尺度的个数；根据实际需要调整算法参数使其适应于不同照度的图像，如雾霾图像、夜晚图像；

步骤7.2，对全局化增强后的图像进行细节调整处理；

图像中的纹理和边缘都属于图像的高频部分，平滑部分对应低频部分；加强图像高频信息，能够突出图像中对象物的边界信息，使图像细节更加清晰化；本方法利用增强图像的高频信息对图像中人物、车辆的细节信息进行加强；采用傅里叶变换、小波变换算法分离图像中的高频和低频部分；进行图像细节调整的步骤如下：

步骤7.2.1，对步骤7.1的结果图像进行分层处理；

可采用傅里叶变换、小波变换算法对图像进行分层处理；本方法以小波变换算法为例进行说明；

采用小波变换算法对所述图像在不同的尺度上使用高通滤波器和低通滤波器在水平和垂直两个方向上分别进行两次滤波，得到的分解结果为：近似分量A、水平细节分量H、垂直细节分量V和对角细节分量D；小波变换算法中的滤波次数可根据需要进行调整；

步骤7.2.2，调整高低频系数；

雾天图像的云雾信息主要分布在低频，景物信息占据相对高频；图像经多层小波变换得到最高层的近似系数和每一层的细节系数；近似系数代表图像背景，频率最低；细节系数代表图像的高频信息，层数大的细节系数频率较低；通过降低近似分量A的系数，增大水平细节分量H、垂直细节分量V和对角细节分量D的系数，实现减弱低频的云雾信息、增强相对高频的景物信息的目的；

步骤7.2.3，根据所述步骤7.2.2进行小波系数重构，得到重构图像；

步骤8，输出结果清晰图像。

4.根据权利要求1所述的一种基于不同照度的图像分类及处理方法，其特征在于：该方法的具体实施步骤如下，

步骤S10，图像采集；利用视频图像采集设备采集不同照度下的视频，作为实验样本数据；采集的视频包括下述照度类型：晴天白天、晴天夜晚、雾霾白天和雾霾夜晚；

步骤S11，对采集的上述不同照度条件下采集的视频数据进行分帧处理，使其成为单幅图像；

步骤S20，根据采集的实验样本提取图像特征；提取的图像特征包括：图像对比度、图像边缘强度和图像均值；

步骤S30，图像特征分类训练；根据已提取的图像特征，采用支持向量机(SVM)构造分类器，实现对四种不同照度图像的分类，具体实现步骤如下：

步骤S31，图像特征归一化；对四种类型图像的三个图像特征分别进行归一化处理，分别获得三个图像特征集，每个特征集包含四种类型图像；

步骤S32，图像特征学习训练，构造分类器；

实施方式一，利用SVM算法构造分类器；引入SVM分类器原理的径向基(RBF)核函数，构建基于RBF核函数的SVM学习训练，则步骤S32的具体实现如下：

步骤S321，基于步骤S31得到的图像特征集设定特征集标签，将其中一类图像的特征设定标签为1，作为分类的第一种图像类型；剩余图像类型的特征设定标签为-1；

步骤S322，引入SVM分类器原理的径向基(RBF)核函数，对特征集采集基于RBF核函数的SVM学习训练，初步形成训练模型；

步骤S323，通过交叉验证的方法对上述训练模型中的参数进行优化，选取最优值，获得第一个SVM分类预测模型；

步骤S324，针对所有图像类型特征集，重新设定标签，分离出要分类的第二种图像类型，并设定标签为1，剩余图像类型标签为-1；重复步骤S322和步骤S323，得到第二个SVM分类预测模型；

步骤S325，重复步骤S324，遍历四种图像类型特征，并形成四个SVM分类预测模型；

步骤S40，根据步骤S32的四个SVM预测模型对待测图像进行分类；具体操作步骤如下：

步骤S41，提取待分类图像的对比度特征、边缘强度特征和均值特征，并数据归一化；

步骤S42，将待分类图像的特征分别导入已构建的分类预测训练模型，进行数据匹配；

步骤S43，获得待分类图像特征的匹配结果及所属图像类型；

步骤S50，输出待分类图像所属图像类型；

步骤S60，根据步骤S50的结果自动判断待分类图像是否进行照度处理；若待分类图像为晴天图像，则直接执行步骤S80；若待分类图像为雾霾图像或夜晚图像，则执行步骤S70，进行照度处理；

步骤S70，照度处理模块；具体实现步骤如下：

步骤S71，利用Retinex算法对雾霾图像或夜晚图像进行全局化增强；调节Retinex算法参数，使得算法能够实现对雾霾图像和夜晚图像的清晰化处理；

步骤S72，利用小波变换算法调整图像细节信息；调整算法参数，对全局化增强后的雾霾图像或夜晚图像进行细节调整处理，具体实现步骤如下所示：

步骤S721，利用小波变换对步骤S71的结果图像进行分层处理；采用小波变换算法对所述图像在不同的尺度上使用高通滤波器和低通滤波器在水平和垂直两个方向上分别进行两次滤波，得到的分解结果为：近似分量A、水平细节分量H、垂直细节分量V和对角细节分量D；可根据需要调整小波变换算法中的滤波次数；

步骤S722，调整高低频系数；通过降低近似分量A的系数，增大水平细节分量H、垂直细节分量V和对角细节分量D的系数，分别增强雾霾图像和夜晚图像相对高频的景物信息；

步骤S723，对步骤S722进行系数重构，得到最终照度处理图像；

步骤S80，输出结果清晰图像。

5.根据权利要求4所述的一种基于不同照度的图像分类及处理方法，其特征在于：实施方式二，利用k-means算法构造图像分类器；则步骤S32的具体实现如下：

步骤S321，基于步骤S31得到的四种照度图像特征集中随机选取4个观测点作为4类簇的数据中心；

步骤S322，分别计算剩余特征数据到4个数据中心的欧氏距离，将这些特征数据分配到与数据中心欧氏距离最近的簇；

步骤S323，根据聚类结果，计算4个簇中所有特征数据的算术平均数，作为每个簇新的数据中心；

步骤S324，将所有特征数据按照新的数据中心重新聚类；

步骤S325，重复步骤S324，直到聚类结果不再发生变化，形成分类预测分类器。

6.根据权利要求4所述的一种基于不同照度的图像分类及处理方法，其特征在于：实施方式三，利用神经网络算法构造图像分类器；则步骤S32的具体实现如下：

步骤S321，初始化网络模型及网络参数；

步骤S322，根据步骤S31得到的图像特征数据，输入训练样本；

步骤S323，计算BP神经网络正向传播时各层的输入值和输出值；

步骤S324，根据步骤S323的结果计算各层神经元的输出误差；

步骤S325，误差反向传播，利用梯度下降法调整各层权值和阈值；

步骤S326，计算全局误差；

步骤S327，判断是否满足训练终止条件；当全局误差达到预设精度或学习次数大于设定的最大次数或所有样本训练完毕，则训练结束，形成分类预测模型；否则，重复步骤S323～步骤S326，直到满足训练终止条件；

步骤S328，训练结束，形成分类预测模型；

步骤S40，根据步骤S32的图像分类预测模型对待分类图像进行分类；具体操作步骤如下：

步骤S41，提取待分类图像的对比度特征、边缘强度特征和均值特征，并数据归一化；

步骤S42，将待分类图像的特征分别导入已构建的分类预测训练模型，进行数据匹配；

步骤S43，获得待分类图像特征的匹配结果及所属图像类型；

步骤S50，输出待分类图像所属图像类型；

步骤S60，根据步骤S50的结果自动判断待分类图像是否进行照度处理；若待分类图像为晴天图像，则直接执行步骤S80；若待分类图像为雾霾图像或夜晚图像，则执行步骤S70，进行照度处理；

步骤S70，照度处理模块；具体实现步骤如下：

步骤S71，利用Retinex算法对雾霾图像或夜晚图像进行全局化增强；调节Retinex算法参数，使得算法能够实现对雾霾图像和夜晚图像的清晰化处理；

步骤S72，利用小波变换算法调整图像细节信息；调整算法参数，对全局化增强后的雾霾图像或夜晚图像进行细节调整处理，具体实现步骤如下所示：

步骤S721，利用小波变换对步骤S71的结果图像进行分层处理；采用小波变换算法对所述图像在不同的尺度上使用高通滤波器和低通滤波器在水平和垂直两个方向上分别进行两次滤波，得到的分解结果为：近似分量A、水平细节分量H、垂直细节分量V和对角细节分量D；可根据需要调整小波变换算法中的滤波次数；

步骤S722，调整高低频系数；通过降低近似分量A的系数，增大水平细节分量H、垂直细节分量V和对角细节分量D的系数，分别增强雾霾图像和夜晚图像相对高频的景物信息；

步骤S723，对步骤S722进行系数重构，得到最终照度处理图像；

步骤S80，输出结果清晰图像。

7.根据权利要求1所述的一种基于不同照度的图像分类及处理方法，其特征在于：视频图像采集设备为摄像机、手机。