CN104463196B - 一种基于视频的天气现象识别方法 - Google Patents

Abstract

本发明公开了一种基于视频的天气现象识别方法，实现对晴、多云、雨、雪、雾等常见天气现象的分类识别，包括以下步骤：离线分类器训练：对给定的训练视频，采样图像序列，一方面提取图像序列的视频特征，另一方面从图像序列中提取关键帧图像及其图像特征，采用AdaBoost对所提取的视频特征、图像特征以及人工标注进行学习训练得到分类器；在线天气现象识别：对测试视频，采样多组图像序列，提取每组图像序列的视频特征和图像特征，将上述特征送入分类器中进行分类，得到相应识别结果后再通过投票方式进行决策融合，将投票结果作为测试视频的天气现象识别结果。

Description

一种基于视频的天气现象识别方法

技术领域

本发明涉及天气现象识别方法，属于大气探测中地面气象观测技术领域，具体地说是一种基于视频的天气现象识别方法。

背景技术

天气现象是指发生在地面和地面以上的大气或与大气相关的物理过程，是地面气象观测的重要内容。目前温度、湿度、风向、风速、气压和降雨量等常规气象要素已实现自动探测，但对雨、雪、雾等天气现象类型的观测仍以人工观测为主，存在着主观性较强、观测频次低、成本开销大和观测范围受限等弊端。本发明利用固定式监控摄像机捕获的视频中丰富视觉信息，研究对晴、多云、雨、雪、雾等天气现象的检测与识别，探索基于视频的离线分类器训练和在线天气现象识别方法，实现对常见天气现象的自动识别。

在天气现象对视觉效果影响研究领域，根据大气中悬浮粒子大小和类型将其分为静态天气现象和动态天气现象。其中，静态天气现象是指大气中粒子较少或时空变化相对稳定的粒子对环境光产生衰减和折射效应，主要包括晴、雾、多云天气，这类天气对图像和视频质量影响相对较为稳定，主要表现为图像的模糊退化；而动态天气现象是指大气中的不稳定介质在大气中运动，对环境光产生衰减和折射效应，主要包括雨、雪天气现象，这些天气对图像的退化效果主要表现在运动模糊、点噪声或运动迹线噪声等方面。由于在成像过程中大气粒子大小、粒子数量、运动速度、相机曝光时间和光照环境的不同，各类天气现象所表现出来的退化效果也不尽相同。因此，识别和研究不同环境和条件下的天气现象成为当前研究的难点之一。

为了准确识别天气现象并对其有效分类，文献1Martin Roser,FrankMoosmann.Classification of weather situations on single color images.IEEEIntelligent Vehicles Symposium,2008:798-803基于HSI空间直方图等特征，识别驾驶辅助系统的图像中存在的晴、小雨和大雨现象，但识别的天气现象类别数较少；文献2XunshiYan,Yupin Luo,Xiaoming Zheng.Weather recognition based on images captured byvision system in vehicle.Proceedings of the 6th International Symposium onNeural Network:Advance in Neural Networks,2009,vol 3:390-398中分析了车载设备的图像数据的梯度与HSV空间直方图，结合道路信息对路途中晴天、雨天和多云三类天气状况进行识别，但他们研究背景局限在智能交通应用范围内，捕获的图像内容单一，且特征的选取与识别类别均已预先设定；文献3Li Shen,Ping Tan.Photometric stereo andweather estimation using internet images.2009IEEE Conference on ComputerVision and Pattern Recognition:1850-1857对互联网上同一场景不同视角的图像进行SIFT变换，并建立对应的光照模型，根据光线角度估计当时的场景天气，但他们的模型只根据光照变化对晴天和多云两类天气状况进行了识别；文献4李骞,范茵,张璟,李宝强.基于室外图像的天气现象识别方法.计算机应用.2011,vol 31(6),pp.1621-1626中提取单幅室外图像对比度等视觉特征，采用SVM分类器对晴、雾、多云和雨等天气进行识别，准确率达到70％左右；文献5Xudong Zhao,Peng Liu,Jiafeng Liu,Xianglong Tang.Featureextraction for classification of different weatherconditions.Front.Electr.Electron.Eng.China 2011,6(2):339–346中提出了采用相关性的方法对图像序列的某个选定区域进行特征提取来区分动态天气和静态天气，该方法很容易对强度较大的雨雪动态天气与晴、雾、多云等静态天气进行区分，但对于强度较小的雨雪天气的区分能力较弱。此外，国内外部分气象仪器厂商近年来也推出了一些视频天气现象仪，尝试利用图像色度和形态信息识别露霜等现象，而雨雪等天气的识别仍主要依靠主动天气现象传感器(如散射仪)。上述方法大多只针对单幅图像进行天气现象识别研究，分类效果受成像设备参数、环境光照变化、场景中物体运动等因素影响，单次识别结果差异较大，识别准确率较低，尤其是对场景中雨雪等动态天气现象识别难度较大，并且天气现象类别偏少，难以满足应用需求。

对于相同场景的天气现象，时间尺度上具有连续性的视频相对单帧图像具有更多的动态信息，更有利于区分场景中的动态天气和静态天气；视频含有丰富的信息量，结合机器学习可识别更多的天气现象类别；对一定时间段内多个视频的天气现象识别结果进行融合提高了识别的稳定性。到目前为止，基于视频的天气现象识别方法研究相对较少。

发明内容

发明目的：本发明所要解决的技术问题是针对现有的天气现象的自动探测识别率不高、识别类别有限，提出了一种基于视频的天气现象识别方法。

技术方案：本发明公开一种基于视频的天气现象识别方法，包括以下步骤：

步骤1，离线分类器训练：对训练样本(视频)，首先采样出图像序列，提取视频特征，然后从图像序列中提取关键帧图像并对其进行图像特征提取，最后将视频特征和图像特征融合，并采用由随机森林作为弱分类器构成的AdaBoost强分类器，进行监督学习训练，得到天气现象的分类器；

步骤2，在线天气现象识别：对给定的一段测试视频，间隔固定的时间进行采样得到n组图像序列，n为自然数，提取每组图像序列的视频特征和图像特征，将所有特征送入步骤1获得的分类器中进行测试，得到每个图像序列对应的天气现象识别结果，对n个识别结果通过投票方式进行决策融合，以出现次数最多的天气现象类别作为测试视频最终的识别结果。本发明所述步骤1离线分类器训练具体包括以下步骤：

步骤11，视频特征提取：从训练视频中每隔一段时间提取一组图像序列，对于每一组图像序列，一方面为了区分动态天气与静态天气，将图像等间距地划分成6×8的子区域，计算每个子区域在这组图像序列中的相关性特征，特征维度为96维；另一方面为了区分雨天还是雪天，采用码书的方法对这组图像序列进行运动检测，对于运动检测分离得到的前景图像序列，等间隔采样两帧，将每帧图像等间距地划分成6×8的子区域，计算每个子区域的纹理特征，特征维度为288维；则总的视频特征为，特征维度为384维；视频特征提取的具体步骤为：

步骤111，相关性特征提取：对于图像序列H＝{H₁,…,H_t,…,HT}，H_t为H中第t帧图像，T为H的长度，将其中每个图像等间距地划分成6×8的子区域，计算每个子区域中各点的像素值在图像序列中不同时刻之间的相关性特征，位置λ处的相关性特征计算公式为：

式中t和t'分别表示在序列{H_λ,t},t∈{1,…,T}中的当前帧数和间隔帧数，t'取值0～T-1，H_λ,t为帧数t时位置λ处的像素值，代表序列{H_λ,t},t∈{1,…,T}的均值，即

提取短时自相关S和时间平均自相关U两个特征：

式中Ω为48个子区域中的一个图像区域，的二次多项式拟合，mean()为取均值函数，48个子区域共得到48组S和U的值，共96维；

步骤112，运动图像纹理特征提取：首先采用码书的方法对图像序列进行运动检测得到运动前景的图像序列，然后从运动前景的图像序列中等间隔采样两帧图像，并将每帧图像等间距地划分成6×8的子区域，最后提取每个子区域的纹理特征，纹理特征包括对比度Contrast、能量Energy和同质性Homogenity，两帧图像总共提取288维特征；其具体步骤为：

步骤1121，运动检测：首先将图像序列H＝{H₁,…,H_t,…,H_T}转化为灰度图像序列，并按灰度值0～255等间隔划分为16个区间，然后计算图像序列中所有图像在同一像素位置处的灰度值分布，具体为用codebook(i,j,w)表示在图像的坐标(i,j)处的像素灰度值g落在第w个灰度区间的概率，w＝1,…,16；在进行运动前景的区分时，用码书作为参照表区分前景与背景，对于任一坐标(i,j)处的灰度值g，计算其所对应的灰度区间w，查找码书对应的codebook(i,j,w)的值，如果大于给定阈值则判定为背景，否则为前景；另外，当前景的亮度值小于给定的另一个阈值时判断该像素点处不存在雨雪；

步骤1122，纹理特征：从步骤1121运动检测后的前景图像序列中等间隔采样两帧，并将每帧图像等间距地划分成6×8的子区域，对于其中的一个子区域图像ε，当距离向量为时的灰度共生矩阵函数C表示为：

式中di和dj分别为向量在图像坐标i方向和j方向分量的增量，M和N为子区域图像ε的宽和高，ε(i,j)为图像ε在坐标(i,j)处的像素值，(i,j)和(i+di,j+dj)为图像ε中距离d的两个像素点的坐标位置，u和v为对应的像素值，card{}为统计子区域图像ε中满足条件的点对出现的次数；

如果有一组距离向量为距离向量组Δ中第θ个距离向量，θ＝1,…,μ，μ为距离向量组Δ中距离向量的个数，取均值记为灰度共生矩阵函数C，即，

对比度Contrast、能量Energy和同质性Homogenity在灰度共生矩阵的基础上提取，计算公式分别为：

式中G为图像的灰度级；

步骤12，图像特征提取：提取图像序列的关键帧，将关键帧转化到HSV颜色空间，H为色度，S为饱和度，V为亮度，并将转化后的图像等间距地划分成6×8的子区域，计算每个子区域的颜色特征、亮度特征和清晰度特征，相应特征组合为总的图像特征特征维度为288，图像特征的提取具体步骤为：

步骤121，关键帧提取：对图像序列H＝{H₁,…,H_t,…,H_T}，取同一像素位置的所有像素值的均值作为关键帧在该位置的值，即式中H_t(i,j)为图像序列H中第t帧图像在坐标(i,j)处的像素值，T为图像序列的长度，J(i,j)为关键帧在坐标(i,j)处的像素值；

步骤122，颜色特征提取：将关键帧图像转化到HSV颜色空间后，划分成6×8的子区域，提取每个子区域的颜色特征；考虑到晴天时，场景图像中的黄色的比例会比较大，因此可以用某个颜色出现的频率作为颜色特征；在HSV图像空间中，对颜色区间进行了划分，其颜色的划分如表1所示，本发明提取了每个子区域的红-黄色和黄色所占比重作为颜色特征，共96维特征；

表1HSV空间的颜色划分

步骤123，亮度特征提取：将关键帧图像转化到HSV颜色空间，并将V分量的图像等间距地划分成6×8的子区域，提取每个子区域的亮度特征；对于每个子区域，提取区域所有像素的亮度均值作为特征，即其中V_λ为区域Ω中位置λ处的亮度值，Ω为48个子区域中的一个，共48维特征；

步骤124，清晰度特征提取：将关键帧图像转化到HSV颜色空间，并将S分量的图像等间距地划分成6×8的子区域，提取每个子区域I的清晰度特征。由于大气中各种介质对光线存在衰减和折射作用，相同场景图像在不同天气状况下也存在不同清晰度，本发明主要提取了平均梯度AG、峰值信噪比PSNR和均方差对比度SC作为清晰度特征，共144维特征；

平均梯度的计算公式为

式中M和N分别为图像子区域的高和宽，I(i,j)为图像子区域在坐标(i,j)处的像素值；

峰值信噪比PSNR的计算公式为：

式中MAX_I为图像子区域I的最大像素值；均方差MSE计算公式为：

式中I和Z分别对应子区域图像和直方图均衡化后的子区域图像；

均方差对比度SC的公式如下：

式中N_I为图像子区域中像素点的个数；

步骤13，AdaBoost分类器训练：按步骤11和步骤12提取训练视频每组图像序列的特征向量，同时标注视频样本中场景的天气现象类别，由此得到训练样本集；采用AdaBoost对训练样本集进行训练，生成多个随机森林作为弱分类器并组合成AdaBoost强分类器，具体步骤为：

步骤131，训练样本集生成：按照步骤11和步骤12提取训练视频图像序列的视频特征和图像特征以相同权重融合后作为该序列的特征向量人工标注视频样本中场景的天气类别y，得到训练样本集：

其中x_α和y_α分别为第α个样本的特征向量和天气现象类别，x_α为m维实数向量，y_α∈{1,…,K}，α＝1,…,N_x，N_x为训练样本的数量，K为天气现象的类别数；

步骤132，单个随机森林生成：对步骤131得到的训练样本集D按权重W选择1/2的样本进行一次训练，生成一个由γ棵二叉决策树组成的随机森林；然后对森林中每棵决策树，分别计算决策树上各叶子节点c'处的样本属于不同天气现象类别的概率p(y|c'),y∈{1,…,K}；其具体步骤为：

步骤1321，单棵决策树生成：从训练样本中随机选择特征分量，并按权重选择样本构成子样本训练集；对子样本训练集，集中所有特征分量构造相应的问题集；通过计算最大杂度削减的方法从问题集中选择问题作为根节点的分支标准，将根节点的左右分支分别作为根节点递归进行分支操作，直到满足分支停止条件，从而形成一棵决策树，包括以下步骤：

步骤13211，子样本集选取：从训练样本集D的m维特征中随机选择1/2的特征构成各样本的部分特征样本集D'，从样本集D'中按权重W选择1/2的样本构成子样本集φ；

步骤13212，问题集的构造：子样本集φ的每个特征向量x的维度为m/2，令x＝{X₁,…,X_ω,…,X_m/2}，其中X_ω为第ω个特征分量，将样本集φ中特征分量X_ω对应的值从小到大排列得到序列为序列A^ω中第δ个值，N'_x为样本集φ中的样本数，根据样本的特征分量X_ω是否满足条件从序列A^ω中取出N'_x-1个值构成特征分量X_ω的问题集B^ω，则所有特征分量相应的问题集为B＝{B¹,…,B^ω,…,B^m/2}，其中 ω为问题上述问题集B包含(N'_x-1)×m/2个问题；

步骤13213，根节点分支：将第ω个特征分量对应问题集B^ω中第δ个问题作为节点的分支条件，将根节点root分为左分支c_L和右分支c_R两个子节点，其中分至c_L的样本的特征分量值满足分至c_R的样本的特征分量值满足计算分至左分支的概率和分至右分支的概率P_R＝1-P_L，其中N_root为未进行分支时根节点root中的总样本数目，N_left为分支后分到左分支节点的样本数目；计算根节点root采用问题分支后的杂度削减；

式中r(c)为任意节点c的Gini杂度函数；

其中a和b分别为天气现象的类别，a∈{1,…,K}，b∈{1,…,K}，p(a|c)和p(b|c)分别为节点c中的样本属于类别a和b的概率，循环对子样本集φ所有特征得到的问题集B进行杂度削减计算，求出根节点采用每个问题进行分支后的杂度削减；

并令找出使根节点的杂度削减最大的问题作为根节点的分支条件，将root分裂成c_L和c_R两个节点，同时将样本集φ分为φ_L和φ_R，φ_L为分支后节点c_L对应的样本集，φ_R为分支后节点c_R对应的样本集，问题集更新为

步骤13214，分裂停止：分别将步骤13213中root分裂而成的c_L和c_R作为根节点，同时将对应的φ_L和φ_R作为训练集，问题集递归进行步骤13213，直到满足如下条件之一：

1)分支后的叶节点中的样本数小于给定的值N_min＝2；

2)分支后的叶节点中的样本属于同一个类；

3)问题集B中没有问题可以用作分支条件。

步骤1322，多棵决策树生成：重复步骤1321，直到二叉决策树的数目等于γ；

步骤133，AdaBoost强分类器训练，具体步骤为：

步骤1331，初始化参数：设弱分类器随机森林初始个数为0，初始权重为W₁(α)＝1/N_x,α＝1,…,N_x；

步骤1332，训练误差和修改系数计算：对于第k次的计算，首先将权重W_k(α)代入步骤132中训练出一个随机森林F_k，然后用F_k对样本集D进行测试，计算训练误差和修改系数其中N_x为D中样本的数目，N_neg为判别错误的数目；

步骤1333，更新样本权重：由步骤1332计算出第k次的修改系数β_k，则第k+1次权重按更新，其中h_k(x_α)为随机森林F_k对样本点x_α的类别识别结果；归一化权重，

步骤1334，迭代停止：迭代执行步骤1332和1333，直到生成的随机森林数目等于指定的弱分类器的数目。

本发明所述步骤2在线天气现象识别，包括以下步骤：

步骤21，视频特征提取：对于一段测试视频，每隔一段时间提取一组图像序列，假设采样了n组图像序列，对于每一组图像序列，将图像等间距地划分成6×8的子区域，计算每个子区域在这组图像序列中的相关性特征，总共96维；采用码书的方法对图像序列进行运动检测，对于运动检测分离得到的前景图像序列，等间隔采样两帧，将每帧图像等间距地划分成6×8的子区域，计算每个子区域的纹理特征，总共288维；则总的视频特征为其维度为384；视频特征提取的具体步骤为：

步骤211，相关性特征提取：对于图像序列H＝{H₁,…,H_t,…,H_T}，H_t为H中第t帧图像，将其中每个图像等间距地划分成6×8的子区域，计算每个子区域中各点的像素值在H中不同时刻之间的相关性，来提取特征，位置λ处的相关性特征的计算公式为：

式中T为H的长度，t和t'分别表示在序列{H_λ,t},t∈{1,...T}中的当前帧数和间隔帧数，H_λ,t为帧数t时位置λ处的像素值，代表序列{H_λ,t},t∈{1,...T}的均值，即

提取短时自相关S和时间平均自相关U两个特征：

式中Ω为48个子区域中的一个图像区域，的二次多项式拟合，mean()为取均值函数，48个子区域共得到48组S和U的值，共96维；

步骤212，运动图像纹理特征提取：首先采用码书的方法对图像序列进行运动检测得到运动前景的图像序列，然后从运动前景的图像序列中等间隔采样两帧图像，并将每帧图像等间距地划分成6×8的子区域，最后提取每个子区域的纹理特征，纹理特征包括对比度Contrast、能量Energy和同质性Homogenity，两帧图像总共提取288维特征；其具体步骤为：

步骤2121，运动检测：运动检测是将运动的前景与静止的背景分离，本发明采用码书的方法对天气现象的图像序列进行运动检测。首先将图像序列H＝{H₁,…,H_t,…,H_T}转化为灰度图像序列，并按灰度值0～255等间隔划分为16个区间，然后计算图像序列中所有图像在同一像素位置处的灰度值分布，具体为用codebook(i,j,w)表示在图像的坐标(i,j)处的像素灰度值g落在第w个灰度区间的概率，w＝1,2,…,16；在进行运动前景的区分时，用码书作为参照表区分前景与背景，对于任一坐标(i,j)处的灰度值g，计算其所对应的灰度区间w，查找码书对应的codebook(i,j,w)的值，如果大于给定阈值则判定为背景，否则为前景；另外，当前景的亮度值小于给定的另一个阈值时判断该像素点处不存在雨雪；

步骤2122，纹理特征：从步骤2121运动检测后的前景图像序列中等间隔采样两帧，并将每帧图像等间距地划分成6×8的子区域，对于其中的一个子区域图像ε，当距离向量为时的灰度共生矩阵函数C表示为：

式中M和N为子区域图像ε的宽和高，ε(i,j)为图像ε在坐标(i,j)处的像素值，(i,j)和(i+di,j+dj)为图像ε中距离d的两个像素点的坐标位置，u和v为对应的像素值，di和dj分别为向量在图像坐标i方向和j方向分量的增量，card{}为统计子区域图像ε中满足条件的点对出现的次数；

如果有一组距离向量μ为距离向量的个数，θ＝1,…,μ，为距离向量组Δ中第θ个距离向量，取均值记为灰度共生矩阵函数C，即，

对比度Contrast、能量Energy和同质性Homogenity在灰度共生矩阵的基础上提取，计算公式分别为：

式中G为图像的灰度级；

步骤22，图像特征提取：提取图像序列的关键帧，将关键帧转化到HSV颜色空间，H为色度，S为饱和度，V为亮度，并将转化后的图像等间距地划分成6×8的子区域，计算每个子区域的颜色特征、亮度特征和清晰度特征，相应特征组合为总的图像特征为特征维度为288，图像特征的提取具体步骤为：

步骤221，关键帧提取：对图像序列H＝{H₁,…,H_t,…,H_T}，取同一像素位置的所有像素值的均值作为关键帧在该位置的值，即式中H_t(i,j)为图像序列H中第t帧图像在坐标(i,j)处的像素值，T为图像序列的长度，J(i,j)为关键帧在坐标(i,j)处的像素值；

步骤222，颜色特征提取：将关键帧图像转化到HSV颜色空间后，划分成6×8的子区域，提取每个子区域的颜色特征；在HSV图像空间中，对颜色区间进行划分，其颜色的划分如表1所示，提取每个子区域的红-黄色和黄色所占比重作为颜色特征，共96维特征；

步骤223，亮度特征提取：将关键帧转化到HSV颜色空间，并将V分量的图像等间距地划分成6×8的子区域，提取每个子区域的亮度特征。对于每个子区域，提取区域所有像素的均值作为特征，即其中V_λ为区域Ω中位置λ处的亮度值，Ω为48个子区域中的一个，共48维特征；

步骤224，清晰度特征提取：将关键帧图像转化到HSV颜色空间，并将S分量的图像等间距地划分成6×8的子区域，提取每个子区域I的清晰度特征，提取平均梯度AG、峰值信噪比PSNR和均方差对比度SC作为清晰度特征，共144维特征；

平均梯度AG的计算公式为：

式中M和N分别为图像子区域的高和宽，I(i,j)为图像子区域在坐标(i,j)处的像素值；

峰值信噪比PSNR的计算公式为：

式中MAX_I为图像子区域I的最大像素值；均方差MSE计算公式为：

式中I和Z分别对应子区域和直方图均衡化后的子区域图像；

均方差对比度SC的计算公式如下：

式中N_I为图像子区域中像素点的个数；

步骤23，样本测试：对于从一段测试视频中提取的n组图像序列，将每组图像序列的视频特征和图像特征以相同权重融合到一个特征向量中作为一组图像序列的特征向量分别将每组图像序列对应的特征向量x送入由步骤13得到的AdaBoost强分类器中，得到对应的n个图像序列的识别结果；采用AdaBoost强分类器判别特征向量x的类别的具体步骤为：

步骤231，基于随机森林的识别：步骤132中生成的一个随机森林L由γ棵二叉决策树构成，求出特征向量x经过γ棵决策树识别后属于不同天气现象的概率，并对γ棵树的识别结果中同一天气现象出现的概率求和，得到特征向量x经过随机森林L识别后属于不同天气现象的概率q_L(y|x),y∈{1,…,K}，其具体步骤为：

步骤2311，基于单棵决策树的识别：对于步骤1321中生成的单棵决策树l，提取测试图像序列的特征向量x，从决策树的根节点开始判断，当满足左分支条件时分到左分支，否则分到右分支，接着对分支进行递归判断，直到分到某个叶子节点c'为止；查找步骤132中对应叶子节点c'处的样本属于不同天气现象类别的概率p(y|c'),y∈{1,…,K}，并将其作为决策树的识别结果，由此得到特征向量x经过决策树l识别后属于不同天气现象类别的概率p_l(y|x)＝p(y|c'),y∈{1,…,K}；

步骤2312，基于多棵决策树的识别：图像序列对应的特征向量x经过随机森林L识别后属于天气现象类别y的概率为其中p_l(y|x)是x对应的样本在决策树l中被判断为天气现象类别y的概率；

步骤232，AdaBoost的识别：设AdaBoost强分类器由N_f个随机森林构成，那么图像序列对应的特征向量x经过AdaBoost识别后属于天气现象类别y的概率为其中q_L(y|x)为特征向量x在随机森林L中被判断为天气现象类别y的概率，N_f为分类器中随机森林的数目，将出现概率最大的天气现象类别作为该图像序列的天气现象类别，即Class(x)＝argmaxQ(y|x)，max为求最大的概率的函数，arg为求最大概率对应的天气现象类别的函数；

步骤24，决策融合：对于步骤23得到的一段视频对应的n个识别结果，按照分类结果次数进行投票，将出现次数最多的天气类别作为最终的识别结果。

有益效果：利用视频丰富的时空信息，可识别多类天气现象，同时以随机森林为弱分类器，AdaBoost为强分类器进行学习训练，有效提高了天气现象的分类精度。

具体而言本发明与已有方法相比有以下优点：1.时间尺度上具有连续性的视频相对单帧图像具有更多的动态信息，提取其动态特征可以有效提高动态天气现象与静态天气现象的区分能力；2.视频含有丰富的信息量，以随机森林为弱分类器，AdaBoost为强分类器进行学习训练，可识别更多的天气类别；3.对一定时间段内多个视频的天气现象识别结果进行融合提高了识别的稳定性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明的处理流程示意图。

图2a～图2o从左到右依次为为五类天气现象的一组图像序列的第2、51、100帧，从上到下依次为天气现象晴、雾、多云、雨和雪。

图3从上到下依次对应天气现象晴、雾、多云、雨和雪，第一列对应的是相关性函数图，第二列对应的是二次多项式拟合图。

图4a～图4f所示分别对应运动检测后雨的图像序列的第2、51、100帧和雪的图像序列的第2、51、100帧。

图5a、图5b、图5c分别对应晴、雾、多云的一组图像序列的关键帧图像。

图6a、图6b、图6c分别对应晴、雾、多云图像序列关键帧的HSV颜色空间图像。

图7a、图7b、图7c分别对应晴、雾、多云HSV颜色空间V分量的图像。

图8a、图8b、图8c分别对应晴、雾、多云HSV颜色空间S分量的图像。

具体实施方式

实施例1

本实施例包括离线分类器训练和在线天气现象识别，其处理流程图如图1所示，整个方法分为离线分类器训练和在线天气现象识别两个主要步骤，下面分别介绍实施例部分的主要流程。

1.离线分类器训练

首先从对采集到的视频库进行手工标注，从每类天气现象的图像序列中各选100组图像序列作为训练样本，每组包含100帧图像，包含天气现象晴、雾、多云、雨和雪的视频帧样本图像分别如图2所示。

按照步骤11提取视频的视频特征时，按照步骤111提取相关性特征，某个子区域的相关性函数图如图3所示，从上到下各列依次对应天气现象晴、雾、多云、雨和雪，第一列对应的是含有天气现象视频的相关性函数图，第二列为对应的二次多项式拟合，从图中第二列曲线形态可以看出含有静态天气的视频(1～3行)与含有动态天气的视频(4～5行)有较为明显的区别。图3对应的相关性特征值如表2所示，由图3和表2可知，相关性特征可以反映场景中是否存在雨雪等动态天气现象。按照步骤1121对雨雪视频进行运动检测，检测结果分别如图所示，图4a～图4f分别对应雨视频的第2、51、100帧图像和雪视频的第2、51、100帧图像。

表2相关性特征

天气现象类别	S	U
			晴	0.7286	-0.0306
雾	0.8843	-0.0570
			多云	0.9189	0.0086
雨	0.3475	-0.0048
			雪	0.4667	-0.0020

按照步骤12提取视频的图像特征时，首先按照步骤121提取关键帧，如图5a～5c所示，图5a、5b、5c分别对应晴、雾、多云的一组视频的关键帧图像。然后分别提取颜色特征、亮度特征和清晰度特征，在按照步骤122提取颜色特征时，将关键帧图像转换到HSV颜色空间，转换后的效果分别如图6a、6b、6c所示；对HSV颜色空间V分量图像按照步骤123提取亮度特征，各关键帧V分量图像如图7a、7b、7c所示；对HSV颜色空间S分量图像按照步骤124提取清晰度特征，各关键帧S分量图像如图8a、8b、8c所示。

2.在线天气现象识别

从每类天气现象的测试视频中各选50段视频按照步骤2进行测试，间隔1分钟对每段视频进行图像序列采样，每组图像序列包含100帧。对每组图像序列按照步骤21和步骤22进行特征提取，按照步骤23进行识别，得到每组图像序列的识别结果，然后按照步骤24统计出现次数最多的天气现象类别，并将其设为该段视频的天气现象结果。对测试视频的测试结果如表3所示，由表中结果可知，本发明的识别率较高，可以有效区分各类动态天气与静态天气。

表3测试结果

本发明提供了一种基于视频的天气现象识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (2)

1.一种基于视频的天气现象识别方法，其特征在于，包括以下步骤：

步骤1，离线分类器训练：对训练样本中的训练视频，首先采样出图像序列，提取视频特征，然后从图像序列中提取关键帧图像并对其进行图像特征提取，最后将视频特征和图像特征融合，并采用由随机森林作为弱分类器构成的AdaBoost强分类器，进行监督学习训练，得到天气现象的分类器；

步骤2，在线天气现象识别：对给定的一段测试视频，间隔固定的时间进行采样得到n组图像序列，n为自然数，提取每组图像序列的视频特征和图像特征，将所有特征送入步骤1获得的分类器中进行测试，得到每个图像序列对应的天气现象识别结果，对n个识别结果通过投票方式进行决策融合，以出现次数最多的天气现象类别作为测试视频最终的识别结果；

步骤1离线分类器训练具体包括以下步骤：

步骤11，视频特征提取：从训练视频中每隔一段时间提取一组图像序列，对于每一组图像序列，将图像等间距地划分成6×8的子区域，计算每个子区域在这组图像序列中的相关性特征，相关性特征维度为96维；采用码书的方法对图像序列进行运动检测，对于运动检测分离得到的前景图像序列，等间隔采样两帧，将每帧图像等间距地划分成6×8的子区域，计算每个子区域的纹理特征，纹理特征维度为288维；则总的视频特征为总特征维度为384维；

视频特征提取的具体步骤为：

步骤111，相关性特征提取：对于图像序列H＝{H₁,…,H_t,…,H_T}，H_t为H中第t帧图像，T为H的长度，将其中每个图像等间距地划分成6×8的子区域，计算每个子区域中各点的像素值在图像序列中不同时刻之间的相关性特征，位置λ处的相关性特征计算公式为：

${\mathrm{\ρ}}_{\mathrm{\λ}}\left(t^{\′}\right)=\frac{\underset{t=1}{\overset{T-t^{\′}}{\Σ}}(H_{\mathrm{\λ},t}-\stackrel{\‾}{H_{\mathrm{\λ}}})(H_{\mathrm{\λ},t^{\′}}-\stackrel{\‾}{H_{\mathrm{\λ}}})}{\underset{t=1}{\overset{T}{\Σ}}{(H_{\mathrm{\λ},t}-\stackrel{\‾}{H_{\mathrm{\λ}}})}^2},t^{\′}=0,1,\mathrm{...},T-1,$

式中t和t'分别表示在序列{H_λ,t},t∈{1,…,T}中的当前帧数和间隔帧数，t'取值0～T-1，H_λ,t为帧数t时位置λ处的像素值，代表序列{H_λ,t},t∈{1,…,T}的均值，即

提取短时自相关S和时间平均自相关U两个特征：

$\left\{\begin{array}{c}S=\underset{\mathrm{\λ}\∈\mathrm{\Ω}}{mean}\left({\hat{f}}_{\mathrm{\λ}}\right(0\left)\right)\\ U=\underset{\mathrm{\λ}\∈\mathrm{\Ω}}{mean}\left(\underset{t^{\′}=0}{\overset{T-1}{\Σ}}\frac{{\mathrm{\ρ}}_{\mathrm{\λ}}\left(t^{\′}\right)}{T}\right)\end{array}\right.,$

式中Ω为48个子区域中的一个图像区域，为ρ_λ(t')的二次多项式拟合，mean()为取均值函数，48个子区域共得到48组S和U的值，共96维；

步骤112，运动图像纹理特征提取：首先采用码书的方法对图像序列进行运动检测得到运动前景的图像序列，然后从运动前景的图像序列中等间隔采样两帧图像，并将每帧图像等间距地划分成6×8的子区域，最后提取每个子区域的纹理特征，纹理特征包括对比度Contrast、能量Energy和同质性Homogenity，两帧图像总共提取288维特征；其具体步骤为：

步骤1121，运动检测：首先将图像序列H＝{H₁,…,H_t,…,H_T}转化为灰度图像序列，并按灰度值0～255等间隔划分为16个区间，然后计算图像序列中所有图像在同一像素位置处的灰度值分布，具体为用codebook(i,j,w)表示在图像的坐标(i,j)处的像素灰度值g落在第w个灰度区间的概率，w＝1,…,16；在进行运动前景的区分时，用码书作为参照表区分前景与背景，对于任一坐标(i,j)处的灰度值g，计算其所对应的灰度区间w，查找码书对应的codebook(i,j,w)的值，如果大于给定阈值则判定为背景，否则为前景；另外，当前景的亮度值小于给定的另一个阈值时判断该像素点处不存在雨雪；

步骤1122，纹理特征：从步骤1121运动检测后的前景图像序列中等间隔采样两帧，并将每帧图像等间距地划分成6×8的子区域，对于其中的一个子区域图像ε，当距离向量为时的灰度共生矩阵函数C表示为：

式中di和dj分别为向量在图像坐标i方向和j方向分量的增量，M和N为子区域图像ε的宽和高，ε(i,j)为图像ε在坐标(i,j)处的像素值，(i,j)和(i+di,j+dj)为图像ε中距离d的两个像素点的坐标位置，u和v为对应的像素值，card{}为统计子区域图像ε中满足条件的点对出现的次数；

如果有一组距离向量 为距离向量组Δ中第θ个距离向量，θ＝1,…,μ，μ为距离向量组Δ中距离向量的个数，取均值记为灰度共生矩阵函数C，即，

对比度Contrast、能量Energy和同质性Homogenity在灰度共生矩阵的基础上提取，计算公式分别为：

$Contrast=\underset{u=0}{\overset{G-1}{\Σ}}\underset{v=0}{\overset{G-1}{\Σ}}{(u,v)}^{2}C(u,v),$

$Energy=\underset{u=0}{\overset{G-1}{\Σ}}\underset{v=0}{\overset{G-1}{\Σ}}{C}^2(u,v),$

$Homogenity=\underset{u=0}{\overset{G-1}{\Σ}}\underset{v=0}{\overset{G-1}{\Σ}}\frac{C(u,v)}{1+{(u-v)}^2},$

式中G为图像的灰度级；

步骤12，图像特征提取：提取图像序列的关键帧，将关键帧转化到HSV颜色空间，H为色度，S为饱和度，V为亮度，并将转化后的图像等间距地划分成6×8的子区域，计算每个子区域的颜色特征、亮度特征和清晰度特征，相应特征组合为总的图像特征特征维度为288，图像特征的提取具体步骤为：

步骤121，关键帧提取：对图像序列H＝{H₁,…,H_t,…,H_T}，取同一像素位置的所有像素值的均值作为关键帧在该位置的值，即式中H_t(i,j)为图像序列H中第t帧图像在坐标(i,j)处的像素值，T为图像序列的长度，J(i,j)为关键帧在坐标(i,j)处的像素值；

步骤122，颜色特征提取：将关键帧图像转化到HSV颜色空间后，划分成6×8的子区域，提取每个子区域的颜色特征；在HSV图像空间中，对颜色区间进行划分，其颜色的划分如表1所示，提取每个子区域的红-黄色和黄色所占比重作为颜色特征，共96维特征；

表1HSV空间的颜色划分

步骤123，亮度特征提取：将关键帧图像转化到HSV颜色空间，并将V分量的图像等间距地划分成6×8的子区域，提取每个子区域的亮度特征；对于每个子区域，提取区域所有像素的亮度均值作为特征，即其中V_λ为区域Ω中位置λ处的亮度值，Ω为48个子区域中的一个，共48维特征；

步骤124，清晰度特征提取：将关键帧图像转化到HSV颜色空间，并将S分量的图像等间距地划分成6×8的子区域，提取每个子区域I的清晰度特征，提取平均梯度AG、峰值信噪比PSNR和均方差对比度SC作为清晰度特征，共144维特征；

平均梯度AG的计算公式为：

$AG=\frac{1}{(M-1)(N-1)}\underset{i=1}{\overset{M-1}{\Σ}}\underset{j=1}{\overset{N-1}{\Σ}}\sqrt{{\left(I\right(i+1,j)-I(i,j\left)\right)}^2+{\left(I\right(i,j+1)-I(i,j\left)\right)}^2},$

式中M和N分别为图像子区域的高和宽，I(i,j)为图像子区域在坐标(i,j)处的像素值；峰值信噪比PSNR的计算公式为：

$PSNR=10\·{\log }_{10}\left(\frac{{{\mathrm{MAX}}_I}^2}{MSE}\right),$

式中MAX_I为图像子区域I的最大像素值；均方差MSE计算公式为：

$MSE=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\left|\right|I(i,j)-Z(i,j)|{|}^2,$

式中I和Z分别对应子区域图像和直方图均衡化后的子区域图像；

均方差对比度SC的计算公式如下：

$SC={\left(\frac{{{\mathrm{\Σ}}_I}^2(i,j)-\frac{{\left(\mathrm{\Σ}I\right(i,j\left)\right)}^2}{N_I}}{N_I}\right)}^{\frac{1}{2}},$

式中N_I为图像子区域中像素点的个数；

步骤13，AdaBoost分类器训练：按步骤11和步骤12提取训练视频每组图像序列的特征向量，同时标注视频样本中场景的天气现象类别，由此得到训练样本集；采用AdaBoost对训练样本集进行训练，生成多个随机森林作为弱分类器并组合成AdaBoost强分类器，具体步骤为：

步骤131，训练样本集生成：按照步骤11和步骤12提取训练视频图像序列的视频特征和图像特征以相同权重融合后作为该序列的特征向量人工标注视频样本中场景的天气类别y，得到训练样本集：

$D=\{x_1,y_1,...,x_{\mathrm{\α}},y_{\mathrm{\α}},...,x_{N_x},y_{N_x}\},$

其中x_α和y_α分别为第α个样本的特征向量和天气现象类别，x_α为m维实数向量，y_α∈{1,…,K}，α＝1,…,N_x，N_x为训练样本的数量，K为天气现象的类别数；

步骤132，单个随机森林生成：对步骤131得到的训练样本集D按权重W选择1/2的样本进行一次训练，生成一个由γ棵二叉决策树组成的随机森林；然后对森林中每棵决策树，分别计算决策树上各叶子节点c'处的样本属于不同天气现象类别的概率p(y|c'),y∈{1,…,K}；其具体步骤为：

步骤1321，单棵决策树生成：从训练样本中随机选择特征分量，并按权重选择样本构成子样本训练集；对子样本训练集，集中所有特征分量构造相应的问题集；通过计算最大杂度削减的方法从问题集中选择问题作为根节点的分支标准，将根节点的左右分支分别作为根节点递归进行分支操作，直到满足分支停止条件，从而形成一棵决策树，包括以下步骤：

步骤13211，子样本集选取：从训练样本集D的m维特征中随机选择1/2的特征构成各样本的部分特征样本集D'，从样本集D'中按权重W选择1/2的样本构成子样本集φ；

步骤13212，问题集的构造：子样本集φ的每个特征向量x的维度为m/2，令x＝{X₁,…,X_ω,…,X_m/2}，其中X_ω为第ω个特征分量，将样本集φ中特征分量X_ω对应的值从小到大排列得到序列 为序列A^ω中第δ个值，N'_x为样本集φ中的样本数，根据样本的特征分量X_ω是否满足条件从序列A^ω中取出N'_x-1个值构成特征分量X_ω的问题集B^ω，则所有特征分量相应的问题集为B＝{B¹,…,B^ω,…,B^{m /2}}，其中 为问题上述问题集B包含(N'_x-1)×m/2个问题；

步骤13213，根节点分支：将第ω个特征分量对应问题集B^ω中第δ个问题作为节点的分支条件，将根节点root分为左分支c_L和右分支c_R两个子节点，其中分至c_L的样本的特征分量值满足分至c_R的样本的特征分量值满足计算分至左分支的概率和分至右分支的概率P_R＝1-P_L，其中N_root为未进行分支时根节点root中的总样本数目，N_left为分支后分到左分支节点的样本数目；计算根节点root采用问题分支后的杂度削减；

$\mathrm{\Δ}r(B_{\mathrm{\δ}}^{\mathrm{\ω}},root)=r\left(root\right)-r\left(c_R\right)P_R-r\left(c_L\right)P_L,$

式中r(c)为任意节点c的Gini杂度函数；

$r\left(c\right)=\underset{a\≠b}{\Σ}p\left(a\right|c)p\left(b\right|c),$

其中a和b分别为天气现象的类别，a∈{1,…,K}，b∈{1,…,K}，p(a|c)和p(b|c)分别为节点c中的样本属于类别a和b的概率，循环对子样本集φ所有特征得到的问题集B进行杂度削减计算，求出根节点采用每个问题进行分支后的杂度削减；

$\mathrm{\Δ}r(B_{\mathrm{\δ}}^{\mathrm{\ω}},root)=r\left(root\right)-r\left(c_R\right)P_R-r\left(c_L\right)P_L,\mathrm{\δ}=1,...,{N^{\′}}_x-1,\mathrm{\ω}=1,...,m/2,$

并令找出使根节点的杂度削减最大的问题作为根节点的分支条件，将root分裂成c_L和c_R两个节点，同时将样本集φ分为φ_L和φ_R，φ_L为分支后节点c_L对应的样本集，φ_R为分支后节点c_R对应的样本集，问题集更新为

步骤13214，分裂停止：分别将步骤13213中root分裂而成的c_L和c_R作为根节点，同时将对应的φ_L和φ_R作为训练集，问题集递归进行步骤13213，直到满足如下条件之一：

1)分支后的叶节点中的样本数小于给定的值N_min＝2；

2)分支后的叶节点中的样本属于同一个类；

3)问题集B中没有问题用作分支条件；

步骤1322，多棵决策树生成：重复步骤1321，直到二叉决策树的数目等于γ；

步骤133，AdaBoost强分类器训练，具体步骤为：

步骤1331，初始化参数：设弱分类器随机森林初始个数为0，初始权重为W₁(α)＝1/N_x,α＝1,…,N_x；

步骤1332，训练误差和修改系数计算：对于第k次的计算，首先将权重W_k(α)代入步骤132中训练出一个随机森林F_k，然后用F_k对样本集D进行测试，计算训练误差和修改系数其中N_x为D中样本的数目，N_neg为判别错误的数目；

步骤1333，更新样本权重：由步骤1332计算出第k次的修改系数β_k，则第k+1次权重按更新，其中h_k(x_α)为随机森林F_k对样本点x_α的类别识别结果；归一化权重，

步骤1334，迭代停止：迭代执行步骤1332和1333，直到生成的随机森林数目等于指定的弱分类器的数目。

2.根据权利要求1所述的方法，其特征在于，步骤2包括以下步骤：

步骤21，视频特征提取：对于一段测试视频，每隔一段时间提取一组图像序列，假设采样了n组图像序列，对于每一组图像序列，将图像等间距地划分成6×8的子区域，计算每个子区域在这组图像序列中的相关性特征，相关性特征维度为96维；采用码书的方法对图像序列进行运动检测，对于运动检测分离得到的前景图像序列，等间隔采样两帧，将每帧图像等间距地划分成6×8的子区域，计算每个子区域的纹理特征，纹理特征维度为288维；则总的视频特征为总特征维度为384；视频特征提取的具体步骤为：

步骤211，相关性特征提取：对于图像序列H＝{H₁,…,H_t,…,H_T}，H_t为H中第t帧图像，将其中每个图像等间距地划分成6×8的子区域，计算每个子区域中各点的像素值在H中不同时刻之间的相关性特征，位置λ处的相关性特征的计算公式为：

${\mathrm{\ρ}}_{\mathrm{\λ}}\left(t^{\′}\right)=\frac{\underset{t=1}{\overset{T-t^{\′}}{\Σ}}(H_{\mathrm{\λ},t}-\stackrel{\‾}{H_{\mathrm{\λ}}})(H_{\mathrm{\λ},t^{\′}}-\stackrel{\‾}{H_{\mathrm{\λ}}})}{\underset{t=1}{\overset{T}{\Σ}}{(H_{\mathrm{\λ},t}-\stackrel{\‾}{H_{\mathrm{\λ}}})}^2},t^{\′}=0,1,\mathrm{...},T-1,$

式中T为H的长度，t和t'分别表示在序列{H_λ,t},t∈{1,...T}中的当前帧数和间隔帧数，H_λ,t为帧数t时位置λ处的像素值，代表序列{H_λ,t},t∈{1,...T}的均值；

提取短时自相关S和时间平均自相关U两个特征：

$\left\{\begin{array}{c}S=\underset{\mathrm{\λ}\∈\mathrm{\Ω}}{mean}\left({\hat{f}}_{\mathrm{\λ}}\right(0\left)\right)\\ U=\underset{\mathrm{\λ}\∈\mathrm{\Ω}}{mean}\left(\underset{t^{\′}=0}{\overset{T-1}{\Σ}}\frac{{\mathrm{\ρ}}_{\mathrm{\λ}}\left(t^{\′}\right)}{T}\right)\end{array}\right.,$

式中Ω为48个子区域中的一个图像区域，为ρ_λ(t')的二次多项式拟合，mean()为取均值函数，48个子区域共得到48组S和U的值，共96维；

步骤212，运动图像纹理特征提取：首先采用码书的方法对图像序列进行运动检测得到运动前景的图像序列，然后从运动前景的图像序列中等间隔采样两帧图像，并将每帧图像等间距地划分成6×8的子区域，最后提取每个子区域的纹理特征，纹理特征包括对比度Contrast、能量Energy和同质性Homogenity，两帧图像总共提取288维特征；其具体步骤为：

步骤2121，运动检测：首先将图像序列H＝{H₁,…,H_t,…,H_T}转化为灰度图像序列，并按灰度值0～255等间隔划分为16个区间，然后计算图像序列中所有图像在同一像素位置处的灰度值分布，具体为用codebook(i,j,w)表示在图像的坐标(i,j)处的像素灰度值g落在第w个灰度区间的概率，w＝1,2,…,16；在进行运动前景的区分时，用码书作为参照表区分前景与背景，对于任一坐标(i,j)处的灰度值g，计算其所对应的灰度区间w，查找码书对应的codebook(i,j,w)的值，如果大于给定阈值则判定为背景，否则为前景；另外，当前景的亮度值小于给定的另一个阈值时判断该像素点处不存在雨雪；

步骤2122，纹理特征：从步骤2121运动检测后的前景图像序列中等间隔采样两帧，并将每帧图像等间距地划分成6×8的子区域，对于其中的一个子区域图像ε，当距离向量为时的灰度共生矩阵函数C表示为：

式中M和N为子区域图像ε的宽和高，ε(i,j)为图像ε在坐标(i,j)处的像素值，(i,j)和(i+di,j+dj)为图像ε中距离d的两个像素点的坐标位置，u和v为对应的像素值，di和dj分别为向量在图像坐标i方向和j方向分量的增量，card{}为统计子区域图像ε中满足条件的点对出现的次数；

如果有一组距离向量μ为距离向量的个数，θ＝1,…,μ，为距离向量组Δ中第θ个距离向量，取均值记为灰度共生矩阵函数C，即，

对比度Contrast、能量Energy和同质性Homogenity在灰度共生矩阵的基础上提取，计算公式分别为：

$Contrast=\underset{u=0}{\overset{G-1}{\Σ}}\underset{v=0}{\overset{G-1}{\Σ}}{(u,v)}^{2}C(u,v),$

$Energy=\underset{u=0}{\overset{G-1}{\Σ}}\underset{v=0}{\overset{G-1}{\Σ}}{C}^2(u,v),$

$Homogenity=\underset{u=0}{\overset{G-1}{\Σ}}\underset{v=0}{\overset{G-1}{\Σ}}\frac{C(u,v)}{1+{(u-v)}^2},$

式中G为图像的灰度级；

步骤22，图像特征提取：提取图像序列的关键帧，将关键帧转化到HSV颜色空间，H为色度，S为饱和度，V为亮度，并将转化后的图像等间距地划分成6×8的子区域，计算每个子区域的颜色特征、亮度特征和清晰度特征，相应特征组合为总的图像特征为特征维度为288，图像特征的提取具体步骤为：

步骤221，关键帧提取：对图像序列H＝{H₁,…,H_t,…,H_T}，取同一像素位置的所有像素值的均值作为关键帧在该位置的值，即式中H_t(i,j)为图像序列H中第t帧图像在坐标(i,j)处的像素值，T为图像序列的长度，J(i,j)为关键帧在坐标(i,j)处的像素值；

步骤222，颜色特征提取：将关键帧图像转化到HSV颜色空间后，划分成6×8的子区域，提取每个子区域的颜色特征；在HSV图像空间中，对颜色区间进行划分，其颜色的划分如表1所示，提取每个子区域的红-黄色和黄色所占比重作为颜色特征，共96维特征；

步骤223，亮度特征提取：将关键帧图像转化到HSV颜色空间，并将V分量的图像等间距地划分成6×8的子区域，提取每个子区域的亮度特征；对于每个子区域，提取区域所有像素的亮度均值作为特征，即其中V_λ为区域Ω中位置λ处的亮度值，Ω为48个子区域中的一个，共48维特征；

步骤224，清晰度特征提取：将关键帧图像转化到HSV颜色空间，并将S分量的图像等间距地划分成6×8的子区域，提取每个子区域I的清晰度特征，提取平均梯度AG、峰值信噪比PSNR和均方差对比度SC作为清晰度特征，共144维特征；

平均梯度AG的计算公式为：

$AG=\frac{1}{(M-1)(N-1)}\underset{i=1}{\overset{M-1}{\Σ}}\underset{j=1}{\overset{N-1}{\Σ}}\sqrt{{\left(I\right(i+1,j)-I(i,j\left)\right)}^2+{\left(I\right(i,j+1)-I(i,j\left)\right)}^2},$

式中M和N分别为图像子区域的高和宽，I(i,j)为图像子区域在坐标(i,j)处的像素值；峰值信噪比PSNR的计算公式为：

$PSNR=10\·{\log }_{10}\left(\frac{{{\mathrm{MAX}}_I}^2}{MSE}\right),$

式中MAX_I为图像子区域I的最大像素值；均方差MSE计算公式为：

$MSE=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\left|\right|I(i,j)-Z(i,j)|{|}^2,$

式中I和Z分别对应子区域和直方图均衡化后的子区域图像；

均方差对比度SC的计算公式如下：

$SC={\left(\frac{{{\mathrm{\Σ}}_I}^2(i,j)-\frac{{\left(\mathrm{\Σ}I\right(i,j\left)\right)}^2}{N_I}}{N_I}\right)}^{\frac{1}{2}},$

式中N_I为图像子区域中像素点的个数；

步骤23，样本测试：对于从一段测试视频中提取的n组图像序列，将每组图像序列的视频特征和图像特征以相同权重融合到一个特征向量中作为一组图像序列的特征向量分别将每组图像序列对应的特征向量x送入由步骤13得到的AdaBoost强分类器中，得到对应的n个图像序列的识别结果；采用AdaBoost强分类器判别特征向量x的类别的具体步骤为：

步骤231，基于随机森林的识别：步骤132中生成的一个随机森林L由γ棵二叉决策树构成，求出特征向量x经过γ棵决策树识别后属于不同天气现象的概率，并对γ棵树的识别结果中同一天气现象出现的概率求和，得到特征向量x经过随机森林L识别后属于不同天气现象的概率q_L(y|x),y∈{1,…,K}，其具体步骤为：

步骤2311，基于单棵决策树的识别：对于步骤1321中生成的单棵决策树l，提取测试图像序列的特征向量x，从决策树的根节点开始判断，当满足左分支条件时分到左分支，否则分到右分支，接着对分支进行递归判断，直到分到某个叶子节点c'为止；查找步骤132中对应叶子节点c'处的样本属于不同天气现象类别的概率p(y|c'),y∈{1,…,K}，并将其作为决策树的识别结果，由此得到特征向量x经过决策树l识别后属于不同天气现象类别的概率p_l(y|x)＝p(y|c'),y∈{1,…,K}；

步骤2312，基于多棵决策树的识别：图像序列对应的特征向量x经过该随机森林L识别后属于天气现象类别y的概率为其中p_l(y|x)是x对应的样本在决策树l中被判断为天气现象类别y的概率；

步骤232，AdaBoost的识别：设AdaBoost强分类器由N_f个随机森林构成，那么图像序列对应的特征向量x经过AdaBoost识别后属于天气现象类别y的概率为其中q_L(y|x)为特征向量x在随机森林L中被判断为天气现象类别y的概率，N_f为分类器中随机森林的数目，将出现概率最大的天气现象类别作为该图像序列的天气现象类别，即Class(x)＝argmaxQ(y|x)，max为求最大的概率的函数，arg为求最大概率对应的天气现象类别的函数；

步骤24，决策融合：对于步骤23得到的一段视频对应的n个识别结果，按照分类结果次数进行投票，将出现次数最多的天气类别作为最终的识别结果。