CN106960188B - 天气图像分类方法及装置 - Google Patents

Abstract

本申请实施例提供一种天气图像分类方法及装置，其中，该方法包括：将待分析图像进行分割，得到多类图像特征，每类图像特征包括至少一个图像区域，获取每类图像特征中每个图像区域对应的天气特征，根据每类图像特征中每个图像区域对应的天气特征，以及天气分类模型的选择参数、关联参数和学习参数，确定待分析图像对应的天气类别。该技术方案，利用学习获取到的图像特征中图像区域对应的天气特征，不需要人为对天气特征进行设计，提高了分类系统的灵活性，分类准确率高。

Description

天气图像分类方法及装置

技术领域

本申请涉及图像处理技术，尤其涉及一种天气图像分类方法及装置。

背景技术

天气图像分类是计算机视觉领域中的一个新课题，其主要是基于一幅室外场景图像，识别出该图像中对应的天气状况，进而使人们根据天气状况开展相应的活动，也即，天气图像分类可以应用到不同的场合中。例如：基于天气状况的太阳能电力输送，户外机器人控制以及基于图像的检索和场景识别。

目前，应用比较广泛的天气图像分类方法是两级天气分类，在该方法中，首先利用分类系统中的检测装置检测出几种表征天气的区域特征，例如：天空，阴影，反光，对比度以及雾等，其次将被检测出来的区域特征作为分类系统中分类工具(例如，支持向量机)的输入进行天气图像的分类。但是该方法需要人事先对特定的天气种类进行特征设计，不但限制了系统的灵活性，而且在数据量较大的情况下，靠人来进行数据观察以及设计特征非常不可靠而且实现困难，分类不准确。

综上所述，现有天气图像分类方法由于需要人为进行特性设计造成了分类系统的灵活性低，分类准确度低。

发明内容

本申请提供一种天气图像分类方法及装置，用于提高天气分类系统的灵活性，解决分类准确度低的问题。

本申请第一方面提供一种天气图像分类方法，包括：

将待分析图像进行分割，得到多类图像特征，每类所述图像特征包括至少一个图像区域；

获取每类图像特征中每个图像区域对应的天气特征；

根据每类图像特征中每个图像区域对应的天气特征，以及天气分类模型的选择参数、关联参数和学习参数，确定所述待分析图像对应的天气类别。

该技术方案，利用学习获取到的图像特征中图像区域对应的天气特征，不需要人为对天气特征进行设计，提高了分类系统的灵活性，分类准确率高。

在第一方面的一实施例中，所述方法还包括：

根据同类图像特征所包含图像区域的单选特性、不同类图像特征所包含图像区域间的关联特性，建立所述天气分类模型。

通过建立天气分类模型，这样可使分类系统根据选择的每类图像特征中每个图像区域对应的天气特征，更新天气分类模型的各个参数，进而准确的确定出待分析图像对应的天气类别。

在第一方面的另一实施例中，所述根据每类图像特征中每个图像区域对应的天气特征，以及天气分类模型的选择参数、关联参数和学习参数，确定所述待分析图像对应的天气类别，包括：

根据所述多类图像特征中的一类图像特征、以及每类图像特征所包含的一个或多个图像区域对应的天气特征，更新所述天气分类模型的选择参数、关联参数和学习参数；

根据每类图像特征中每个图像区域对应的天气特征，以及更新后的所述选择参数、所述关联参数和所述学习参数，确定所述待分析图像对应的天气类别。

本技术方案根据更新后的选择参数、关联参数和学习参数来确定待分析图像对应的天气类别，准确率高。

在第一方面的再一实施例中，所述根据同类图像特征所包含图像区域的单选特性、不同类图像特征所包含图像区域间的关联特性，建立所述天气分类模型，包括：

根据同类图像特征所包含图像区域的单选特性，确定所述单选特性对应的区域选择方程；

根据不同类图像特征所包含图像区域间的关联特性，确定所述关联特性对应的区域关联方程；

根据所述区域选择方程和所述区域关联方程，建立所述天气分类模型。

该技术方案通过对同类图像特征中图像区域进行选择、对不同类图像特征中图像区域进行关联，从而得到天气分类模型，为后续得到待分析图像对应的天气类别奠定了基础，避免了需要人为设定区域天气特征的步骤，提高了系统的灵活性。

可选的，所述区域选择方程用如下区域选择目标函数E_s(W^s；V,F)表示：

其中，

为第j类图像特征对应的所述选择参数，V＝{v_i,j}是0-1隐变量，当v_i,j为1时，第j类图像特征的第i个图像区域被选中，当v_i,j为0时，第j类图像特征的第i个图像区域未被选中，F＝{f_i,j}，f_i,j为第j类图像特征的第i个图像区域对应的天气特征，M为图像特征的类数，n_j为第j类图像特征中的图像区域个数。

可选的，所述区域关联方程用如下区域关联目标函数E_c(W^c,Θ；V,F)表示：

其中，

为第j类图像特征所包含的图像区域与第k类图像特征所包含的图像区域的关联参数，s_j,k为第j类图像区域所包含的图像区域与第k类图像特征所包含的图像区域的关联分数，Θ为所述学习参数。

可选的，所述天气分类模型对应的天气分类确定函数J(W^s,W^c,Θ；V,F)用如下公式表示：

其中，v_i,j∈{0,1}，且

在第一方面的又一实施例中，所述获取每类图像特征中每个图像区域对应的天气特征，包括：

针对每类图像特征，利用字典学习算法构造每类图像特征中每个图像区域对应的天气特征。

本申请第二方面提供一种天气图像分类装置，包括：

处理模块，用于将待分析图像进行分割，得到多类图像特征，每类所述图像特征包括至少一个图像区域，并获取每类图像特征中每个图像区域对应的天气特征；

确定模块，用于根据每类图像特征中每个图像区域对应的天气特征，以及天气分类模型的选择参数、关联参数和学习参数，确定所述待分析图像对应的天气类别。

在第二方面的一实施例中，所述装置，还包括：建立模块；

所述建立模块，用于根据同类图像特征所包含图像区域的单选特性、不同类图像特征所包含图像区域间的关联特性，建立所述天气分类模型。

在第二方面的另一实施例中，所述确定模块，具体用于根据所述多类图像特征中的一类图像特征、以及每类图像特征所包含的一个或多个图像区域对应的天气特征，更新所述天气分类模型的选择参数、关联参数和学习参数，根据每类图像特征中每个图像区域对应的天气特征，以及更新后的所述选择参数、所述关联参数和所述学习参数，确定所述待分析图像对应的天气类别。

在第二方面的再一实施例中，所述建立模块，具体用于根据同类图像特征所包含图像区域的单选特性，确定所述单选特性对应的区域选择方程，根据不同类图像特征所包含图像区域间的关联特性，确定所述关联特性对应的区域关联方程，根据所述区域选择方程和所述区域关联方程，建立所述天气分类模型。

可选的，所述区域选择方程用如下区域选择目标函数E_s(W^s；V,F)表示：

其中，为第j类图像特征对应的所述选择参数，V＝{v_i,j}是0-1隐变量，当v_i,j为1时，第j类图像特征的第i个图像区域被选中，当v_i,j为0时，第j类图像特征的第i个图像区域未被选中，F＝{f_i,j}，f_i,j为第j类图像特征的第i个图像区域对应的天气特征，M为图像特征的类数，n_j为第j类图像特征中的图像区域个数。

可选的，所述区域关联方程用如下区域关联目标函数E_c(W^c,Θ；V,F)表示：

其中，

为第j类图像特征所包含的图像区域与第k类图像特征所包含的图像区域的关联参数，s_j,k为第j类图像区域所包含的图像区域与第k类图像特征所包含的图像区域的关联分数，Θ为所述学习参数。

可选的，所述天气分类模型对应的天气分类确定函数J(W^s,W^c,Θ；V,F)用如下公式表示：

其中，v_i,j∈{0,1}，且

在第二方面的又一实施例中，所述处理模块在获取每类图像特征中每个图像区域对应的天气特征时，具体用于针对每类图像特征，利用字典学习算法构造每类图像特征中每个图像区域对应的天气特征。

本申请实施例第三方面提供一种天气图像分类装置，包括：处理器和存储器，该存储器用于存储程序，处理器调用存储器存储的程序，以执行本申请第一方面提供的方法。

本申请实施例第四方面提供一种天气图像分类装置，包括用于执行以上第一方面的方法的至少一个处理元件(或芯片)。

本申请实施例第五方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面的方法。

本申请实施例第六方面提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

在以上各个方面中，通过将待分析图像进行分割，得到多类图像特征，且每类图像特征包括至少一个图像区域，获取每类图像特征中每个图像区域对应的天气特征，最后根据每类图像特征中每个图像区域对应的天气特征，以及天气分类模型的选择参数、关联参数和学习参数，确定出待分析图像对应的天气类别。该技术方案，利用学习获取到的图像特征中图像区域对应的天气特征，不需要人为对天气特征进行设计，提高了分类系统的灵活性，分类准确率高。

附图说明

图1为现有两级天气分类方法的应用系统示意图；

图2为本申请提供的天气图像分类方法实施例一的流程示意图；

图3为本申请提供的天气图像分类方法实施例二的流程示意图；

图4为本申请提供的天气图像分类方法实施例三的流程示意图；

图5为本申请提供的天气图像分类方法实施例四的流程示意图；

图6为本申请实施例提供的天气图像分类装置实施例一的结构示意图；

图7为本申请实施例提供的天气图像分类装置实施例二的结构示意图。

具体实施方式

随着图像理解与智能视频技术的不断发展，对室外环境下各种天气现象，尤其是恶劣天气现象的检测与识别提出了极为迫切的需求，同时在气象领域对天气现象的观测仍然主要依靠人工观测，天气现象信息的采集耗费了大量的人力和物力，因此，近年来基于室外图像的天气现象自动识别研究受到了较为广泛的关注。

目前，天气图像分类中，最好的天气分类方法是两级天气分类方法，该方法是Luet al.在2014年CVPR的会议文章“Two-class Weather Classification”中提出的。图1为现有两级天气分类方法的应用系统示意图。如图1所示，该应用系统示意图主要包括检测装置1和分类工具2两个部分。该两级天气分类方法的主要步骤是首先利用检测装置1检测出待分析图像中存在的表征天气的区域特征，该区域特征包括但不局限于天空、阴影、反光、对比度以及雾等；其次将检测出来的区域特征输入分类工具2中，利用该分类工具进行天气图像分类。其中，该分类工具可选为支持向量机(Support Vector Machine，SVM)，支持向量机是一个有监督的学习模型，其能够根据简化天气图像分类的复杂度，确定出待分析图像对应的天气类别，能够很好的实现天气图像分类。

但是，该方法的应用场景中需要人为对待分析图像中的特定天气种类进行特征设计，这样系统仅能对设定的天气种类进行识别和判断，系统的灵活性比较低。另外，当待分析图像比较大，图像中包含的数据量非常大时，人为对图像数据进行观察以及进行特征设计不但可靠性低，而且难以实现，这样致使最后得到的天气分类结果不准确。

针对上述问题，本申请实施例提出了一种天气图像分类方法及装置，用于提高分类系统的灵活性和分类的准确度。下面，通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

本申请实施例中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

图2为本申请提供的天气图像分类方法实施例一的流程示意图。如图2所示，本实施例提供的天气图像分类方法，包括如下步骤：

步骤21：将待分析图像进行分割，得到多类图像特征，每类图像特征包括至少一个图像区域。

协同分割是图像内关联图像区域之间的集合结构约束分割方法，其能够将待分析图像中的主题相关的图像区域分割出来。

在本实施例中，若想确定出待分析图像对应的天气类别，首先需要对待分析图像进行预处理。具体的，可以采用协同分割的方法对待分析图像进行分割。作为预处理，利用协同分割可以得到待分析图像中的一些具有相似结构的图像区域，从而可容易获得每个图像区域对应的天气特征。

值得说明的是，根据图像中包含的特征类别，可以将待分析图像分割得到的多个图像区域分成多类不同的图像特征，比如，建筑物、草地等等。每个图像区域对应一类图像特征，即每类图像特征中包括多个图像区域。

步骤22：获取每类图像特征中每个图像区域对应的天气特征。

可选的，当得到待分析图像的多类图像特征以及每类图像特征包含的至少一个图像区域之后，首先确定每类图像特征中每个图像区域对应的天气特征。作为一种示例，针对每类图像特征，利用字典学习算法构造每类图像特征中每个图像区域对应的天气特征。

可选的，每类图像特征中每个图像区域对应的天气特征的构造步骤可以通过如下公式(1)来实现：

实际上，公式(1)是求

(‘c_p-D_jβ_p’2范数的平方)与λ||β_p||₁(‘β_p’1范数的λ倍)的和取最小值时对应的β_p值。

其中，β_p是第j类图像特征中的图像区域对应的天气特征，也是c_p基于D_j的稀疏编码，c_p＝[R G B L A B C H]^T是待分析图像的第j类图像特征的图像区域中每个像素的颜色表征向量，其中，R、G、B是RGB颜色空间，L、A、B是LAB颜色空间，C、H是色度和色调，D_j是第j类图像特征的字典，λ是经验系数。

对于c_p中各分量的解释如下：

通常情况下，主要利用计算机视觉技术来识别待分析图像对应的天气类别，因此，本申请实施例在对待分析图像进行处理时，采用RGB颜色空间实现颜色显示和图像处理，即使用RGB颜色空间的红色、绿色和蓝色分别作为X、Y和Z坐标轴，即利用R、G、B来表示待分析图像中每个像素的颜色显示。

LAB颜色空间是由CIE(国际照明委员会)制定的一种色彩模式，其是以数字化方式来描述人的视觉感应，与设备无关。LAB颜色空间取坐标LAB，其中，L值表示像素的亮度，取值范围是[0,100]，即表示从纯黑(0)到纯白(100)；A表示从红色到绿色的范围，取值范围是[127,-128]，B表示从黄色到蓝色的范围，取值范围是[127,-128]，且A＝B＝0时，表示无色。

此外，C是色度，用于表示颜色的深和浅，H是色调，用于表示颜色的冷和暖。

值得说明的是，在本实施例中，c_p中的R、G、B、L、A、B、C、H均可以用一个数值表示。

可选的，下面简单描述一下字典学习算法如何来确定每类图像特征中每个图像区域对应的天气特征。

对于第j类图像特征，可以用如下公式(2)学习得到待分析图像中每类图像特征的字典D_j，具体如下：

公式(2)中的参数含义与公式(1)中的参数含义一致。

此外，在本实施例中，待分析图像的每个像素都具有自身的颜色表征向量c_p，待分析图像的所有像素被协同分割分为M类图像特征，其中，D_j∈R^8×q表示第j类图像特征的字典，即D_j属于一个8行、q列的矩阵空间，D_j的行数8与c_p中的列数8一致，P_j＝{p}是第j类图像特征中的像素集合，β_p∈R^q×1是c_p基于D_j的稀疏编码，即c_p属于一个q行、1列的矩阵空间，γ＝{β_p}是β_p的稀疏编码集合。λ是经验系数，可选的，可设为0.3，q的取值可以是1024。

类似的，采用公式(2)可以分别求出待分析图像的M类图像特征的字典。

结合上述可知，当求出每类图像特征的字典D_j之后，可求出每类图像特征中每个图像区域对应的天气特征。例如，对于第j类图像特征中给定一个图像区域，利用上述公式(1)可学习得到该第j类图像特征中的该图像区域对应的天气特征。实际上，利用公式(1)可首先计算出该第j类图像特征的该图像区域中每个像素的稀疏编码β_p，然后再使用最大投票方法(max-pooling operator)得到该图像区域对应的天气特征f，f∈R^1×q，天气特征f属于一个1行、q列的矩阵空间。

步骤23：根据每类图像特征中每个图像区域对应的天气特征，以及天气分类模型的选择参数、关联参数和学习参数，确定待分析图像对应的天气类别。

在本实施例中，当获取到每类图像特征中每个图像区域对应的天气特征之后，将待分析图像中的一类或几类图像特征中的一个或多个图像区域对应的天气特征输入到天气分类模型中，进而学习得到天气分类模型的选择参数、关联参数和学习参数，进而根据每类图像特征中每个图像区域对应的天气特征以及得到的选择参数、关联参数和学习参数，最终确定出待分析图像对应的天气类别。

值得说明的是，在使用该天气分类模型之前，需要根据每类图像特征、以及每个图像区域之间的关联关系，建立用于确定待分析图像对应天气类别的天气分类模型。关于天气分类模型的具体建立流程详见如下图3实施例中的记载，此处不再赘述。

本申请实施例提供的天气图像分类方法，通过将待分析图像进行分割，得到多类图像特征，且每类图像特征包括至少一个图像区域，获取每类图像特征中每个图像区域对应的天气特征，最后根据每类图像特征中每个图像区域对应的天气特征，以及天气分类模型的选择参数、关联参数和学习参数，确定出待分析图像对应的天气类别。该技术方案，利用学习获取到的图像特征中图像区域对应的天气特征，不需要人为对天气特征进行设计，提高了分类系统的灵活性，分类准确率高。

可选的，在上述实施例的基础上，图3为本申请提供的天气图像分类方法实施例二的流程示意图。如图3所示，本申请实施例提供的天气图像分类方法，还包括如下步骤：

步骤31：根据同类图像特征所包含图像区域的单选特性、不同类图像特征所包含图像区域间的关联特性，建立天气分类模型。

在本实施例中，由于待分析图像中多类图像特征、每类图像特征包含的每个图像区域是通过协同分割方法得到的，那么可认为每类图像特征对应的天气特征类似，而不同类图像特征中每个图像区域具有一定的联系，所以可从同类图像特征中选择一个图像区域，并结合不同类图像特征中被选择的图像区域不同的特点，建立天气分类模型。

可选的，该步骤31可位于上述步骤22之后、步骤23之前，也即，首先根据同类图像特征所包含图像区域的单选特性、不同类图像特征所包含图像区域间的关联特性建立天气分类模型并确定出天气分裂模型的各参数之后，再根据每类图像特征中每个图像区域对应的天气特征确定出天气类别。

可选的，对于天气分类模型的具体建立过程以及具体表示方式参见如下图4所述实施例中的记载，对于如何根据每类图像特征中每个图像区域对应的天气特征以及天气分类模型确定待分析图像对应天气类别的具体表述参见图5所述实施例中的记载，此处不再赘述。

本实施例提供的天气图像分类方法，通过建立天气分类模型，这样可使分类系统根据选择的每类图像特征中每个图像区域对应的天气特征，更新天气分类模型的各个参数，进而准确的确定出待分析图像对应的天气类别。

可选的，在上述实施例的基础上，图4为本申请提供的天气图像分类方法实施例三的流程示意图。该实施例是对上述步骤31的进一步解释说明。如图4所示，在本实施例提供的天气图像分类方法中，上述步骤31可包括如下步骤：

步骤41：根据同类图像特征所包含图像区域的单选特性，确定该单选特性对应的区域选择方程。

具体的，在上述步骤22之后，即获取到所有类图像特征中所有图像区域对应的天气特征之后，本实施例的分类系统会进行图像区域的选择步骤。具体的，由于只需从同类图像特征所包含的图像区域中选择一个图像区域与不同类图像特征中的图像区域联立计算，即根据同类图像特征所包含图像区域的单选特性，确定出该单选特性对应的区域选择方程。

可选的，该区域选择方程用区域选择目标函数E_s(W^s；V,F)表示，具体参见如下公式(3)所示：

其中，

为第j类图像特征对应的选择参数，即天气分类模型的选择参数，V＝{v_i,j}是0-1隐变量，当v_i,j为1时，表示第j类图像特征的第i个图像区域被选中，当v_i,j为0时，表示第j类图像特征的第i个图像区域未被选中，F＝{f_i,j}，f_i,j为第j类图像特征的第i个图像区域对应的天气特征，M为图像特征的类数，n_j为第j类图像特征中的图像区域个数。

步骤42：根据不同类图像特征所包含图像区域间的关联特性，确定该关联特性对应的区域关联方程。

在步骤41执行的同时，分类系统也进行步骤42的区域关联步骤。即本实施例并不限定步骤41与步骤42的执行顺序，只要能够确定出区域选择方程和区域关联方程，进而得到天气分类模型的实现方案均属于本申请的保护范畴。

可选的，在本实施例中，上述区域关联方程用区域关联目标函数E_c(W^c,Θ；V,F)表示，具体参见如下公式(4)所示：

其中，

为第j类图像特征所包含的图像区域与第k类图像特征所包含的图像区域的关联参数，即天气分类模型的关联参数，s_j,k为第j类图像区域所包含的图像区域与第k类图像特征所包含的图像区域的关联分数，Θ为天气分类模型的学习参数。

在公式(4)中，关联分数s_j,k可通过如下公式(5)表示：

s.t.f_i,j,f_l,k∈F,v_i,j,v_l,k∈V

其中，f_i,j为第j类图像特征的第i个图像区域对应的天气特征，f_l,k为第k类图像特征的第l个图像区域对应的天气特征，当v_i,j为1时，表示第j类图像特征的第i个图像区域被选中，当v_i,j为0时，表示第j类图像特征的第i个图像区域未被选中，当v_l,k为1时，表示第k类图像特征的第l个图像区域被选中，当v_l,k为0时，表示第k类图像特征的第l个图像区域未被选中。

该关联分数s_j,k越大，表示第j类图像区域所包含图像区域与第k类图像特征所包含图像区域的关联度越高。其中，G(Θ；:)代表一个双子神经网络，这个双子神经网络通过训练学习可以用来计算两个图像区域的关联分数s_j,k。

进一步的，为了优化G(Θ；:)这个双子神经网络，定义如下损失函数，用公式(6)表示如下：

在该公式中，η是一个经验参数，在一实施例中，η可设为2。该公式中的其他参数参见上述各公式中的记载，此处不再赘述。

公式(6)计算出的损失函数的值越小，表明第j类图像区域所包含图像区域与第k类图像特征所包含图像区域的关联度越大。

步骤43：根据上述区域选择方程和上述区域关联方程，建立天气分类模型。

在本实施例中，根据公式(3)和公式(4)，以及联合公式(5)和(6)建立天气分类对应的区域选择方程和区域关联方程的联合表达式，即天气分类模型，该天气分类模型可以用天气分类确定函数J(W^s,W^c,Θ；V,F)表示，具体参见如下公式(7)所示：

其中，v_i,j∈{0,1}，且

值得说明的是，公式(7)中各参数的具体含义与上述公式(3)至公式(6)中一致，此处不再赘述。

因此，当确定出天气分类模型对应的天气分类确定函数J(W^s,W^c,Θ；V,F)之后，通过将每类图像特征中每个图像区域对应的天气特征输入到该天气分类模型中，通过天气分类模型对应神经网络的自动学习过程，便能够计算出天气分类模型的选择参数W^s、关联参数W^c和学习参数Θ。关于天气分类模型对应神经网络的自动学习过程参见下述图5所示实施例中步骤51的记载，此处不再赘述。

本申请实施例提供的天气图像分类方法，通过根据同类图像特征所包含图像区域的单选特性，确定该单选特性对应的区域选择方程，以及根据不同类图像特征所包含图像区域间的关联特性，确定该关联特性对应的区域关联方程，最后根据上述区域选择方程和上述区域关联方程，建立天气分类模型。该技术方案通过对同类图像特征中图像区域进行选择、对不同类图像特征中图像区域进行关联，从而得到天气分类模型，为后续得到待分析图像对应的天气类别奠定了基础，避免了需要人为设定区域天气特征的步骤，提高了系统的灵活性。

进一步的，在上述实施例的基础上，图5为本申请提供的天气图像分类方法实施例四的流程示意图。该实施例是对上述步骤23的进一步解释说明。如图5所示，在本实施例提供的天气图像分类方法中，上述步骤23可包括如下步骤：

步骤51：根据多类图像特征中的一类图像特征、以及每类图像特征所包含的一个或多个图像区域对应的天气特征，更新天气分类模型的选择参数、关联参数和学习参数。

具体的，在本实施例中，根据同类图像特征所包含图像区域的单选特性、不同类图像特征所包含图像区域间的关联特性确定并更新天气分类模型的选择参数、关联参数和学习参数的流程可总结如下：

首先，定义参与计算的变量集合Γ、设定初始值学习率

参数集合W＝[W^s,W^c]；

其中，该变量集合Γ包括：每个图像区域对应的天气特征F、图像区域选择变量V，以及待分析图像对应的天气类别y。

其次，重复以下步骤：

对于

使用上述公式(8)推断图像区域选择变量V；

使用如下公式(9)计算梯度

更新

重复以下步骤：

随机选择(F,y,V)∈Γ；

随机选择f_i,j,f_l,k∈F,v_i,j,v_l,k∈V；

使用损失函数对应的公式(6)更新学习参数Θ；

直到学习参数Θ收敛；

直到参数集合W收敛；

最后，输出选择参数W^s、关联参数W^c和学习参数Θ。

综上所述，本步骤可以得到更新后的天气分类模型的选择参数、关联参数和学习参数。

可选的，上述公式(8)具体如下所示：

可选的，该公式(8)实际上是对公式(7)的变形，目的是在公式(7)所示天气分类确定函数取最大值时，确定出图像区域选择变量V的取值。

可选的，在利用公式(9)计算梯度

时，首先定义如下目标函数L(W；Γ)，参见公式(10)：

对目标函数L(W；Γ)中的参数集合W求偏导数，便得到公式(9)，具体如下：

其中，1(:)是一个指示函数。

步骤52：根据每类图像特征中每个图像区域对应的天气特征，以及更新后的选择参数、关联参数和学习参数，确定待分析图像对应的天气类别。

可选的，当天气分类模型对应天气分类确定函数中的选择参数W^s、关联参数W^c和学习参数Θ均确定之后，利用上述公式(8)确定出天气分类确定函数取最大值时对应的图像区域选择变量V^*，进而利用如下公式(11)所示的天气类别函数确定出待分析图像对应的天气类别：

y＝sign(J(W^s,W^c,Θ；V^*,F)) (11)

其中，y就是待分析图像对应的天气类别。

实际上，公式(11)是一个符号函数，即根据本实施例的方案可以得到一个事实，即：任何一个多分类问题，都可以转化为多个2分类问题，从而简化了天气图像分类的步骤，提高了分类准确率。

本实施例提供的天气图像分类方法，通过根据多类图像特征中的一类图像特征、以及每类图像特征所包含的一个或多个图像区域对应的天气特征，更新天气分类模型的选择参数、关联参数和学习参数，并根据每类图像特征中每个图像区域对应的天气特征，以及更新后的选择参数、关联参数和学习参数，确定待分析图像对应的天气类别。本技术方案根据更新后的选择参数、关联参数和学习参数来确定待分析图像对应的天气类别，准确率高。

本申请实施例提供的天气图像分类方法可以有效监测待分析图像中的同类图像特征以及同类图像特征包含的多个图像区域，由于同类图像特征中的多个图像区域能够共同表征了待分析图像对应的天气特征，有效提高了天气分类的准确度。

图6为本申请实施例提供的天气图像分类装置实施例一的结构示意图，该装置可以集成于具有处理功能的电子设备内。如图6所示，该装置包括：处理模块61和确定模块62。

其中，该处理模块61，用于将待分析图像进行分割，得到多类图像特征，并获取每类图像特征中每个图像区域对应的天气特征。

其中，每类所述图像特征包括至少一个图像区域。

该确定模块62，用于根据每类图像特征中每个图像区域对应的天气特征，以及天气分类模型的选择参数、关联参数和学习参数，确定所述待分析图像对应的天气类别。

可选的，如图6所示，本申请实施例提供的天气图像分类装置，还包括：建立模块60。

该建立模块60，用于根据同类图像特征所包含图像区域的单选特性、不同类图像特征所包含图像区域间的关联特性，建立所述天气分类模型。

可选的，本申请实施例以建立模块60位于处理模块61之前进行举例说明。实际上，该建立模块60既可以位于处理模块61之前，也可以位于处理模块61之后，本申请实施例并不对其进行限制。

可选的，在一实施例中，上述确定模块62，具体用于根据所述多类图像特征中的一类图像特征、以及每类所述图像特征所包含的一个或多个图像区域对应的天气特征，更新所述天气分类模型的选择参数、关联参数和学习参数，根据每类图像特征中每个图像区域对应的天气特征，以及更新后的所述选择参数、所述关联参数和所述学习参数，确定所述待分析图像对应的天气类别。

可选的，在上述实施例中，上述建立模块60，具体用于根据同类图像特征所包含图像区域的单选特性，确定所述单选特性对应的区域选择方程，根据不同类图像特征所包含图像区域间的关联特性，确定所述关联特性对应的区域关联方程，根据所述区域选择方程和所述区域关联方程，建立天气分类模型。

在本实施例中，所述区域选择方程可以用如下区域选择目标函数E_s(W^s；V,F)表示：

其中，

为第j类图像特征对应的所述选择参数，V＝{v_i,j}是0-1隐变量，当v_i,j为1时，第j类图像特征的第i个图像区域被选中，当v_i,j为0时，第j类图像特征的第i个图像区域未被选中，F＝{f_i,j}，f_i,j为第j类图像特征的第i个图像区域对应的天气特征，M为图像特征的类数，n_j为第j类图像特征中的图像区域个数。

可选的，所述区域关联方程用如下区域关联目标函数E_c(W^c,Θ；V,F)表示：

其中，

为第j类图像特征所包含的图像区域与第k类图像特征所包含的图像区域的关联参数，s_j,k为第j类图像区域所包含的图像区域与第k类图像特征所包含的图像区域的关联分数，Θ为所述学习参数。

相应的，所述天气分类模型对应的天气分类确定函数J(W^s,W^c,Θ；V,F)用如下公式表示：

其中，v_i,j∈{0,1}，且

可选的，在上述实施例中，上述处理模块61在获取每类图像特征中每个图像区域对应的天气特征时，具体用于针对每类图像特征，利用字典学习算法构造每类图像特征中每个图像区域对应的天气特征。

本实施例的天气图像分类装置用于执行上述图2至图5所示方法实施例的实现方案，具体实现方式和技术效果类似，这里不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个微处理器(digital singnal processor，DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central ProcessingUnit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

图7为本申请实施例提供的天气图像分类装置实施例二的结构示意图。本实例提供的天气图像分类装置，包括：处理器71、存储器72、通信接口73和系统总线74，该存储器72和通信接口73通过系统总线74与处理器71连接并完成相互间的通信，该存储器72用于存储计算机执行指令，该通信接口73用于和其他设备进行通信，该处理器71用于运行计算机以执行相应指令，使该天气图像分类装置执行如上天气图像分类方法的各个步骤。

另外，该处理器上可以设置多个接口，分别用于连接外围设备或与外围设备连接的接口电路。例如，用于连接显示屏的接口，用于连接摄像头的接口，用于连接音频处理元件的接口等。

具体的，在上述图6中，处理模块61、确定模块62和建立模块60均对应处理器71等。

Claims (10)

1.一种天气图像分类方法，其特征在于，包括：

将待分析图像进行分割，得到多类图像特征，每类所述图像特征包括至少一个图像区域；

获取每类图像特征中每个图像区域对应的天气特征；

根据每类图像特征中每个图像区域对应的天气特征，以及天气分类模型的选择参数、关联参数和学习参数，确定所述待分析图像对应的天气类别；

其中，所述方法还包括：

根据同类图像特征所包含图像区域的单选特性、不同类图像特征所包含图像区域间的关联特性，建立所述天气分类模型；

所述根据同类图像特征所包含图像区域的单选特性、不同类图像特征所包含图像区域间的关联特性，建立所述天气分类模型，包括：

根据同类图像特征所包含图像区域的单选特性，确定所述单选特性对应的区域选择方程；

根据不同类图像特征所包含图像区域间的关联特性，确定所述关联特性对应的区域关联方程；

根据所述区域选择方程和所述区域关联方程，建立所述天气分类模型；

所述区域选择方程用如下区域选择目标函数E_s(W^s；V,F)表示：

s.t.v_i,j∈{0,1},

其中，

为第j类图像特征对应的所述选择参数，V＝{v_i,j}是0-1隐变量，当v_i,j为1时，第j类图像特征的第i个图像区域被选中，当v_i,j为0时，第j类图像特征的第i个图像区域未被选中，F＝{f_i,j}，f_i,j为第j类图像特征的第i个图像区域对应的天气特征，M为图像特征的类数，n_j为第j类图像特征中的图像区域个数。

2.根据权利要求1所述的方法，其特征在于，所述根据每类图像特征中每个图像区域对应的天气特征，以及天气分类模型的选择参数、关联参数和学习参数，确定所述待分析图像对应的天气类别，包括：

根据所述多类图像特征中的一类图像特征、以及每类图像特征所包含的一个或多个图像区域对应的天气特征，更新所述天气分类模型的选择参数、关联参数和学习参数；

根据每类图像特征中每个图像区域对应的天气特征，以及更新后的所述选择参数、所述关联参数和所述学习参数，确定所述待分析图像对应的天气类别。

3.根据权利要求1所述的方法，其特征在于，所述区域关联方程用如下区域关联目标函数E_c(W^c,Θ；V,F)表示：

其中，

为第j类图像特征所包含的图像区域与第k类图像特征所包含的图像区域的关联参数，s_j,k为第j类图像区域所包含的图像区域与第k类图像特征所包含的图像区域的关联分数，Θ为所述学习参数。

4.根据权利要求3所述的方法，其特征在于，所述天气分类模型对应的天气分类确定函数J(W^s,W^c,Θ；V,F)用如下公式表示：

其中，v_i,j∈{0,1}，且

5.根据权利要求1所述的方法，其特征在于，所述获取每类图像特征中每个图像区域对应的天气特征，包括：

针对每类图像特征，利用字典学习算法构造每类图像特征中每个图像区域对应的天气特征。

6.一种天气图像分类装置，其特征在于，包括：

处理模块，用于将待分析图像进行分割，得到多类图像特征，每类所述图像特征包括至少一个图像区域，并获取每类图像特征中每个图像区域对应的天气特征；

确定模块，用于根据每类图像特征中每个图像区域对应的天气特征，以及天气分类模型的选择参数、关联参数和学习参数，确定所述待分析图像对应的天气类别；

其中，所述装置，还包括：建立模块；

所述建立模块，用于根据同类图像特征所包含图像区域的单选特性、不同类图像特征所包含图像区域间的关联特性，建立所述天气分类模型；

所述建立模块，具体用于根据同类图像特征所包含图像区域的单选特性，确定所述单选特性对应的区域选择方程，根据不同类图像特征所包含图像区域间的关联特性，确定所述关联特性对应的区域关联方程，根据所述区域选择方程和所述区域关联方程，建立所述天气分类模型；

所述区域选择方程用如下区域选择目标函数E_s(W^s；V,F)表示：

s.t.v_i,j∈{0,1},

其中，

为第j类图像特征对应的所述选择参数，V＝{v_i,j}是0-1隐变量，当v_i,j为1时，第j类图像特征的第i个图像区域被选中，当v_i,j为0时，第j类图像特征的第i个图像区域未被选中，F＝{f_i,j}，f_i,j为第j类图像特征的第i个图像区域对应的天气特征，M为图像特征的类数，n_j为第j类图像特征中的图像区域个数。

7.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于根据所述多类图像特征中的一类图像特征、以及每类图像特征所包含的一个或多个图像区域对应的天气特征，更新所述天气分类模型的选择参数、关联参数和学习参数，根据每类图像特征中每个图像区域对应的天气特征，以及更新后的所述选择参数、所述关联参数和所述学习参数，确定所述待分析图像对应的天气类别。

8.根据权利要求6所述的装置，其特征在于，所述区域关联方程用如下区域关联目标函数E_c(W^c,Θ；V,F)表示：

其中，

为第j类图像特征所包含的图像区域与第k类图像特征所包含的图像区域的关联参数，s_j,k为第j类图像区域所包含的图像区域与第k类图像特征所包含的图像区域的关联分数，Θ为所述学习参数。

9.根据权利要求8所述的装置，其特征在于，所述天气分类模型对应的天气分类确定函数J(W^s,W^c,Θ；V,F)用如下公式表示：

其中，v_i,j∈{0,1}，且

10.根据权利要求6所述的装置，其特征在于，所述处理模块在获取每类图像特征中每个图像区域对应的天气特征时，具体用于针对每类图像特征，利用字典学习算法构造每类图像特征中每个图像区域对应的天气特征。

Images