CN114120059A - 一种基于Resnet18模型进行实时多云判定的方法 - Google Patents

Abstract

本发明公开了一种基于Resnet18模型进行实时多云判定的方法，包括如下步骤：获取训练样本：通过光学相机或者数码相机获取一定数量的地面图像及其对应的天空图像并进行人工标注，之后按照标注的结果进行图像分类；数据预处理；模型初始化；模型训练；多云判定：每隔一定时间利用光学相机或者数码相机实时获取当前多个位置的地面图像，预处理后将其带入到训练好的模型中去，并获取模型识别后的结果，从而实现多云的判定。本发明所公开的方法利用Resnet18模型，结合数码相机或者光学相机拍摄地面的照片，可以准确进行当地实时的多云判定，该方法精度高、稳定性高、计算速度快。

Description

一种基于Resnet18模型进行实时多云判定的方法

技术领域

本发明涉及太阳能光热利用领域，特别涉及一种基于Resnet18模型进行实时多云判定的方法。

背景技术

天空中的云层覆盖着地球的大部分，太阳传播的短波辐射量被大气吸收，影响着太阳的反射。因此，多云判定对于天气预报、气候变暖、太阳能发电、优化太阳能在电网上的功率分布等领域至关重要。多云判定是目前地面观测难度较大的项目之一。气象中对于多云的判定，主要分为晴天、多云、少云还有阴天。

多云判定的应用之一是太阳能热发电，塔式太阳能热发电是利用定日镜将太阳直接辐射的能量反射到吸热塔的吸热面板上，从而将太阳能转化为热能，再利用吸热面板下的热传工质将热能再转化为电能。因此，多云判定是影响电站的可靠性和发电效率的核心因素。如果镜场周围的天气发生变化，会影响定日镜将能量反射到吸热面板上，导致吸热面板能流密度发生变化，这样会减少其寿命，而吸热器的造价达上亿元，一旦损坏维护成本相当高。

目前业界有两种主流的多云判别的方法。一是基于卫星图像以及全天空成像仪的人工目测判别法，云层类型之间的高度相似性和空间范围的巨大变化，以及云层的外观受大气条件、照明和鱼眼透镜的畸变影响，使得人工目测判别的难度比较大，且受主观影响比较大。二是基于机器学习的。利用各种分类器，如k-最近邻分类器、支持向量机分类器等，但是由于这些分类器对于图像类的数据预测准确率以及稳定性都不高。此外，还有基于摄像机图像的，不过视野较小，或者完全忽略了模糊的图像，从而导致精度不高。

基于此，本文发明了一种基于Resnet18模型进行实时多云判定的方法：Resnet18模型是一种目前最为流行的深度神经网络模型之一，结合数码相机或者光学相机拍摄地面的照片，可以准确预测当地实时的多云判别结果，该具有精度高、稳定性高、计算速度快的特点。

发明内容

为解决上述技术问题，本发明提供了一种基于Resnet18模型进行实时多云判定的方法，具有精度高、准确性高、稳定性高、计算速度快的特点。

为达到上述目的，本发明的技术方案如下：

一种基于Resnet18模型进行实时多云判定的方法，包括如下步骤：

步骤一，获取训练样本：通过光学相机或者数码相机获取一定数量的地面图像及其对应的天空图像并进行人工标注，如果该地面图像对应的天空图像是多云或者阴天，则将地面图像标注为1，否则标注为0，之后按照标注的结果进行图像分类；

步骤二，数据预处理：将上一步整理好的图像进行图像预处理；

步骤三，模型初始化：基于Python进行Resnet18模型的初始化；

步骤四，模型训练：将预处理的图像带入到已经完成初始化的模型中进行训练，得到训练好的模型；

步骤五，多云判定：每隔一定时间利用光学相机或者数码相机实时获取当前多个位置的地面图像，进行与步骤二相同的预处理后将其带入到训练好的模型中去，并获取模型识别后的结果，从而实现多云的判定。

上述方案中，步骤二中，图像预处理包括图像大小的剪裁、图像翻转、图像归一化。

上述方案中，步骤三中，模型初始化包括设置是否使用GPU、遍历数据集次数、批处理的尺寸、学习率以及损失函数。

上述方案中，步骤四中，模型训练的方法如下：

第一步，初始化每个层的权重W和偏倚b，即分配随机值；

第二步，按照迭代次数上限，进行迭代：

(1)对于每个图片，标记为i；

(1.1)初始化第k＝1层的输入a¹，设置为图片i的张量大小，即a¹为图片的张量大小；

(1.2)对于第k＝2层到k＝17层，根据下面2种情况进行前向传播算法计算：

如果当前是全连接层，a_ik＝a_i,k-1+σ(W^k*a_i,k-1+b^k)

如果当前是卷积层，a_ik＝POOL(a_i,k-1+σ(W^k*a_i,k-1+b^k))

POOL为按照池化区域大小和池化标准将输入张量缩小的过程；a_ik为图片i在经过k层数据处理以后的张量大小；a_i,k-1为图片i在经过k-1层数据处理以后的张量大小；σ为激活函数，定义为σ(x)＝max(0,x)；W^k为第k层的权重矩阵，b^k为第k层的偏倚矩阵；

(1.3)对于最后一层k＝18层，a_ik＝softmax(W^ka_i,k-1+b^k)，并通过损失函数loss计算出损失值δ^i,k；

(1.4)对于第k＝2层到k＝17层，根据下面2种情况进行反向逆传播算法计算：

如果当前是全连接层，δ^i,k＝(W^k+1)^Tδ^i,k+1⊙(1+σ′(W^ka_i,k-1+b^k))

如果当前是卷积层，δ^i,k＝upsample(δ^i,k+1)rot180(W^k+1)⊙(1+σ′(W^ka_i,k-1+b^k))

其中，符号⊙为Hadamard积，upsample是上采样函数，rot180是权重矩阵(W^k+1)进行上下左右反转180度，W^k+1为第k+1层的权重矩阵，δ^i,k为第i个图片在k层上的损失值，δ^i,k+1为第i个图片在k+1层上的损失值，σ′为激活函数σ的一阶导数；

(2)对于第k＝2层到k＝17层，根据下面2种情况更新W^k和b^k：

如果当前是全连接层：

如果当前是卷积层，对于每一个卷积核：

其中，α为学习率，取值范围在[0,1]，该值越小每次迭代搜索的范围越小；m为输入的训练样本个数，即标注的照片数；T为矩阵的转置；

(3)如果所有W、b的变化值都小于停止迭代阈值，则跳出迭代循环到第三步；

第三步：输出最后的结果，即每个层的权重W和偏倚b，得到训练好的模型并保存。

上述方案中，步骤五的具体方法如下：

第一步：地面图像进行与步骤二相同的预处理，最后得到张量a¹；

第二步：进行第k＝2层到k＝17层的前向传递：

如果当前是全连接层，a_ik＝a_i,k-1+σ(W^k*a_i,k-1+b^k)；

如果当前是卷积层，a_ik＝POOL(a_i,k-1+σ(W^k*a_i,k-1+b^k))；

第三步：输出最后的结果：

p＝softmax(W^k*a_i,k-1+b^k)；

其中，k＝18；a_ik为图片i在经过k层数据处理以后的张量大小；a_i,k-1为图片i在经过k-1层数据处理以后的张量大小；σ为激活函数，定义为σ(x)＝max(0,x)；W^k为步骤四训练得到的权重矩阵，b^k为步骤四训练得到的偏倚矩阵；POOL为按照池化区域大小和池化标准将输入张量缩小的过程；

若多云的概率p大于0.5，则表示该地面图像对应的天空是多云或阴天，否侧为非多云。

通过上述技术方案，本发明提供的一种基于Resnet18模型进行实时多云判定的方法具有如下有益效果：

1、区别于使用全天空成像仪，本发明使用数码相机或光学相机拍摄地面照片，并通过Resnet18模型进行智能分类。

2、与传统的基于天空图像判别不同，本发明仅仅在训练Resnet模型中使用天空图像，之后线上实时判别时，仅用地面照片即可进行智能判别。

3、相比于SVM等传统机器学习方法，本发明使用Resnet18神经网络模型进行多云判定，具有高稳定、高实时性、准确率高、模型易维护等优点。

4、本发明首次将Resnet18神经网络模型应用在塔式太阳能热发电的应用场景中，对于延长吸热器的使用寿命，提高光热电站的效率具有很好的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例所公开的一种基于Resnet18模型进行实时多云判定的方法流程示意图；

图2为Resnet18模型结构图；

图3为Resnet18中基础块结构图；

图4为Resnet18中卷积层结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提供了一种基于Resnet18模型进行实时多云判定的方法，如图1所示，包括如下步骤：

步骤一，获取训练样本：通过光学相机或者数码相机获取一定数量的地面图像及其对应的天空图像并进行人工标注，如果该地面图像对应的天空图像是多云或者阴天，则将地面图像标注为1，否则标注为0，之后按照标注的结果进行图像分类；

步骤二，数据预处理：将上一步整理好的图像进行图像预处理；主要包括图像大小的剪裁、图像翻转、图像归一化等。

步骤三，模型初始化：基于Python进行Resnet18模型的初始化；包括设置是否使用GPU、遍历数据集次数、批处理的尺寸、学习率以及损失函数等。

步骤四，模型训练：将预处理的图像带入到已经完成初始化的模型中进行训练，得到训练好的模型；

模型训练的方法如下：

第一步，初始化每个层的权重W和偏倚b，即分配随机值；

第二步，按照迭代次数上限，进行迭代：

(1)对于每个图片，标记为i；

(1.1)初始化第k＝1层的输入a¹，设置为图片i的张量大小，即a¹为图片的张量大小；

(1.2)对于第k＝2层到k＝17层，根据下面2种情况进行前向传播算法计算：

如果当前是全连接层，a_ik＝a_i,k-1+σ(W^k*a_i,k-1+b^k)

如果当前是卷积层，a_ik＝POOL(a_i,k-1+σ(W^k*a_i,k-1+b^k))

POOL为按照池化区域大小和池化标准将输入张量缩小的过程；a_ik为图片i在经过k层数据处理以后的张量大小；a_i,k-1为图片i在经过k-1层数据处理以后的张量大小；σ为激活函数，定义为σ(x)＝max(0,x)；W^k为第k层的权重矩阵，b^k为第k层的偏倚矩阵；

(1.3)对于最后一层k＝18层，a_ik＝softmax(W^ka_i,k-1+b^k)，并通过损失函数loss计算出损失值δ^i,k；

(1.4)对于第k＝2层到k＝17层，根据下面2种情况进行反向逆传播算法计算：

如果当前是全连接层，δ^i,k＝(W^k+1)^Tδ^i,k+1⊙(1+σ′(W^ka_i,k-1+b^k))

如果当前是卷积层，δ^i,k＝upsample(δ^i,k+1)rot180(W^k+1)⊙(1+σ′(W^ka_i,k-1+b^k))

其中，符号⊙为Hadamard积，upsample是上采样函数，rot180是权重矩阵(W^k+1)进行上下左右反转180度，W^k+1为第k+1层的权重矩阵，δ^i,k为第i个图片在k层上的损失值，δ^i,k+1为第i个图片在k+1层上的损失值，σ′为激活函数σ的一阶导数；

(2)对于第k＝2层到k＝17层，根据下面2种情况更新W^k和b^k：

如果当前是全连接层：

如果当前是卷积层，对于每一个卷积核：

其中，α为学习率，取值范围在[0,1]，该值越小每次迭代搜索的范围越小；m为输入的训练样本个数，即标注的照片数；T为矩阵的转置；

(3)如果所有W、b的变化值都小于停止迭代阈值，则跳出迭代循环到第三步；

第三步：输出最后的结果，即每个层的权重W和偏倚b，得到训练好的模型并保存。

步骤五，多云判定：每隔一定时间利用光学相机或者数码相机实时获取当前多个位置的地面图像，进行与步骤二相同的预处理后将其带入到训练好的模型中去，并获取模型识别后的结果，从而实现多云的判定；

具体方法如下：

第一步：地面图像进行与步骤二相同的预处理，最后得到张量a¹；

第二步：进行第k＝2层到k＝17层的前向传递：

如果当前是全连接层，a_ik＝a_i,k-1+σ(W^k*a_i,k-1+b^k)；

如果当前是卷积层，a_ik＝POOL(a_i,k-1+σ(W^k*a_i,k-1+b^k))；

第三步：输出最后的结果：

p＝softmax(W^k*a_i,k-1+b^k)；

其中，k＝18；a_ik为图片i在经过k层数据处理以后的张量大小；a_i,k-1为图片i在经过k-1层数据处理以后的张量大小；σ为激活函数，定义为σ(x)＝max(0,x)；W^k为步骤四训练得到的权重矩阵，b^k为步骤四训练得到的偏倚矩阵；POOL为按照池化区域大小和池化标准将输入张量缩小的过程；softmax为数学中的softmax函数。

若多云的概率p大于0.5，则表示该地面图像对应的天空是多云或阴天，否侧为非多云。

实际应用：

根据判别结果进行镜场控制：如果得到的判别结果多云或阴天，那么塔式太阳能中镜场处于散焦状态。

下面对本发明中使用的Resnet18模型进行详细说明：

Resnet模型是目前工业界最流行的一种图像检测或识别的模型之一，是一种特殊的卷积神经网络。随着深度神经网络的网络结构越来越复杂，神经网络的效率并没有预期得到提升，反而容易出现梯度消失等情况，Resnet模型应运而生。ResNet通过在两个卷积层之间添加短路(shortcut)的方式，有效地解决了在神经网络层数不断增加的情况下难以训练的问题。

模型结构：

根据Resnet网络复杂程度的不同，将Resnet模型又具体分为Resnet-18模型、Resnet-34模型、Resnet-50模型等。本发明采用Resnet-18模型，该模型具有参数少、计算快、准确率高等特点，具体结构见图2。

ResNet18包含开始的一个卷积层，4个残差块(每个残差块包含2个基础块，每个基础块包含两个卷积层)，和最后的一个全连接层，即：1+4*4+1＝18。

基础块详细结构如图3所示，F(X)是X通过两个卷积层之后所学习到的。该结构的特点，就是在两个卷积层外面添加了一条短路即恒等映射，使得X经过两个卷积层之后可以以X+F(X)的形式输出，这样每次学习的时候实际上是学习残差。

卷积层介绍：

卷积层是Resnet模型中的核心部分，卷积层的作用是将图像进行特征提取，提取过程中需要用到卷积核(图像处理领域称为局部感受野)，实际上是两个多维矩阵对应元素做卷积运算，因此称之为卷积层。如图4所示，做完卷积运算之后通常还会伴随着池化层，池化层的作用是减少卷积运算(对应元素相乘后求和)后图像的尺寸，只保留最重要的特征信息。池化层之后还会进行ReLu激活，将输出的结果中小于0的位置对应的元素值都变为0。

数学公式表达为：

其中，n为输入矩阵的个数(彩色图像为3，黑白图像为1)，X_k代表第k个输入矩阵，W_k代表卷积核的第k个子卷积核矩阵，s_ij即卷积核W对应的输出矩阵的对应位置元素的值。

全链接层介绍：

全连接层在整个卷积神经网络中起到分类器的作用，卷积、池化、激活等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的特征表示映射到样本的标记空间的作用，即进行最终分类。本质上是矩阵乘法，相当于一个特征空间变换，可以把前面所有有用的信息提取整合，再加上激活函数的非线性映射。

数学公式表达：A^L＝softmax(W^LA^L-1+b^L)

其中，A^L为最后的输出结果，softmax为softmax函数，W^L为最后一层给出的权重矩阵(通常为4096维的核函数)，b^L为全连接层给的偏倚，A^L-1是全连接层之前一系列卷积等操作产生的特征矩阵。

模型算法求解：

输入：m个图片样本，CNN模型的层数L(这里等于18)和所有隐藏层的类型(17个卷积层、1个全连接层)，对于卷积层，要定义卷积核的大小K，卷积核子矩阵的维度F，填充大小P，步幅S。对于池化层，要定义池化区域大小k和池化标准(MAX或Average)，对于全连接层，要定义全连接层的激活函数σ(输出层除外)和各层的神经元个数。梯度迭代参数，迭代步长α即学习率，最大迭代次数MAX，与停止迭代阈值∈，损失函数loss。

输出：每个层的权重W和偏倚b。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于Resnet18模型进行实时多云判定的方法，其特征在于，包括如下步骤：

步骤一，获取训练样本：通过光学相机或者数码相机获取一定数量的地面图像及其对应的天空图像并进行人工标注，如果该地面图像对应的天空图像是多云或者阴天，则将地面图像标注为1，否则标注为0，之后按照标注的结果进行图像分类；

步骤二，数据预处理：将上一步整理好的图像进行图像预处理；

步骤三，模型初始化：基于Python进行Resnet18模型的初始化；

步骤四，模型训练：将预处理的图像带入到已经完成初始化的模型中进行训练，得到训练好的模型；

步骤五，多云判定：每隔一定时间利用光学相机或者数码相机实时获取当前多个位置的地面图像，进行与步骤二相同的预处理后将其带入到训练好的模型中去，并获取模型识别后的结果，从而实现多云的判定。

2.根据权利要求1所述的一种基于Resnet18模型进行实时多云判定的方法，其特征在于，步骤二中，图像预处理包括图像大小的剪裁、图像翻转、图像归一化。

3.根据权利要求1所述的一种基于Resnet18模型进行实时多云判定的方法，其特征在于，步骤三中，模型初始化包括设置是否使用GPU、遍历数据集次数、批处理的尺寸、学习率以及损失函数。

4.根据权利要求1所述的一种基于Resnet18模型进行实时多云判定的方法，其特征在于，步骤四中，模型训练的方法如下：

第一步，初始化每个层的权重W和偏倚b，即分配随机值；

第二步，按照迭代次数上限，进行迭代：

(1)对于每个图片，标记为i；

(1.1)初始化第k＝1层的输入a¹，设置为图片i的张量大小，即a¹为图片的张量大小；

(1.2)对于第k＝2层到k＝17层，根据下面2种情况进行前向传播算法计算：

如果当前是全连接层，a_ik＝a_i，k-1+σ(W^k*a_i，k-1+b^k)

如果当前是卷积层，a_ik＝POOL(a_i，k-1+σ(W^k*a_i，k-1+b^k))

POOL为按照池化区域大小和池化标准将输入张量缩小的过程；a_ik为图片i在经过k层数据处理以后的张量大小；a_i，k-1为图片i在经过k-1层数据处理以后的张量大小；σ为激活函数，定义为σ(x)＝max(0，x)；W^k为第k层的权重矩阵，b^k为第k层的偏倚矩阵；

(1.3)对于最后一层k＝18层，a_ik＝softmax(W^ka_i，k-1+b^k)，并通过损失函数loss计算出损失值δ^i，k；

(1.4)对于第k＝2层到k＝17层，根据下面2种情况进行反向逆传播算法计算：

如果当前是全连接层，δ^i，k＝(W^k+1)^Tδ^i，k+1⊙(1+σ′(W^ka_i，k-1+b^k))

如果当前是卷积层，δ^i，k＝upsample(δ^i，k+1)rot180(W^k+1)⊙(1+σ′(W^ka_i，k-1+b^k))

其中，符号⊙为Hadamard积，upsample是上采样函数，rot180是权重矩阵(W^k+1)进行上下左右反转180度，W^k+1为第k+1层的权重矩阵，δ^i，k为第i个图片在k层上的损失值，δ^i，k+1为第i个图片在k+1层上的损失值，σ′为激活函数σ的一阶导数；

(2)对于第k＝2层到k＝17层，根据下面2种情况更新W^k和b^k：

如果当前是全连接层：

如果当前是卷积层，对于每一个卷积核：

其中，α为学习率，取值范围在[0，1]，该值越小每次迭代搜索的范围越小；m为输入的训练样本个数，即标注的照片数；T为矩阵的转置；

(3)如果所有W、b的变化值都小于停止迭代阈值，则跳出迭代循环到第三步；

第三步：输出最后的结果，即每个层的权重W和偏倚b，得到训练好的模型并保存。

5.根据权利要求1所述的一种基于Resnet18模型进行实时多云判定的方法，其特征在于，步骤五的具体方法如下：

第一步：地面图像进行与步骤二相同的预处理，最后得到张量a¹；

第二步：进行第k＝2层到k＝17层的前向传递：

如果当前是全连接层，a_ik＝a_i，k-1+o(W^k*a_i，k-1+b^k)；

如果当前是卷积层，a_ik＝POOL(a_i，k-1+σ(W^k*a_i，k-1+b^k))；

第三步：输出最后的结果：

p＝softmax(W^k*a_i，k-1+b^k)；

其中，k＝18；a_ik为图片i在经过k层数据处理以后的张量大小；a_i，k-1为图片i在经过k-1层数据处理以后的张量大小；σ为激活函数，定义为σ(x)＝max(0，x)；W^k为步骤四训练得到的权重矩阵，b^k为步骤四训练得到的偏倚矩阵；POOL为按照池化区域大小和池化标准将输入张量缩小的过程；

若多云的概率p大于0.5，则表示该地面图像对应的天空是多云或阴天，否侧为非多云。

Images