CN113506230A

CN113506230A - 一种基于机器视觉的光伏电站航拍影像匀光处理方法

Info

Publication number: CN113506230A
Application number: CN202111058684.7A
Authority: CN
Inventors: 李亚芳; 李梅
Original assignee: Nantong Aotai Electromechanical Tools Co ltd
Current assignee: Nantong Aotai Electromechanical Tools Co ltd
Priority date: 2021-09-10
Filing date: 2021-09-10
Publication date: 2021-10-15
Anticipated expiration: 2041-09-10
Also published as: CN113506230B

Abstract

本发明涉及人工智能、计算机视觉、航拍图像处理技术领域，具体涉及一种基于机器视觉的光伏电站航拍影像匀光处理方法。包括：利用无人机拍摄大量有重叠部分的可见光图像；提取待拼接图像的特征点进行图像配准，建立数学转换模型进行同一坐标变换，从而对待拼接图像进行缝合生成更大的画布图像，将更大的画布图像进行融合得到拼接重构的光伏电站地面图像；对光伏电站区域图像进行语义分割，获取图像中的语义类别，得到不同语义的二值图；将不同语义的二值图和原图相乘得到各个语义的可见光图像并计算亮度标准差图像；构建损失函数对神经网络进行优化，获取优化后的背景图像，根据优化后的背景图像对拼接重构的光伏电站图像进行匀光处理。

Description

一种基于机器视觉的光伏电站航拍影像匀光处理方法

技术领域

本发明涉及人工智能、计算机视觉和航拍图像处理技术领域，具体涉及一种基于机器视觉的光伏电站航拍影像匀光处理方法。

背景技术

由于光伏电站的面积较大，在进行大焦距条件下航拍时，获取的影像不能形成一张完整的影像，现有技术都是对航拍的大量影像进行拼接得到的完整图像，然而在进行长时间拍摄时受光学航空遥感影像获取的时间、外部光照条件以及其他内外部因素的影响，获取光伏电站的影像在色彩上存在不同程度的差异，这种差异会不同程度的影响到后续图像处理或其他影像工程应用中对影像的使用效果。因此，为了消除影像色彩上的差异，需要对影像进行色彩平衡处理，即匀光处理。

影像间常常存在着亮度、色调以及反差不一致等多个问题，单一的匀光算法难以解决所有的问题。在处理大比例尺寸影像时，影像中主要地物不一致时，匀光算法的匀光效果都不太理想，匀光后使色调和亮度难以达到基本一致。对于拼接影像，其色调和反差不均匀分布是不规则、亮度分布是不连续的，目前对此类问题的研究也比较少，因此，对于拼接影像的匀光处理需要更深入的研究。

发明内容

为了克服上述现有技术的缺点，本发明的目的是提供一种基于机器视觉的光伏电站航拍影像匀光处理方法。

为达到上述目的，本发明采用以下技术方案，一种基于机器视觉的光伏电站航拍影像匀光处理方法。

包括以下步骤：

S1：利用无人机航拍得到大量存在重叠部分的可见光图像；

S2：利用图像拼接将航拍图像融合成完整的航拍光伏地面图像；

S3：对拼接重构的光伏地面图像进行语义分割，获取图像中的语义类别并进行标签标注；

S4：将含有标签的每种语义的图像进行二值化处理得到每种语义下的二值图，将得到的二值图与原图的像素值相乘获取每种语义下的可见光图像，对每种语义下的可见光图像转换为Lab颜色空间；

利用Lab颜色空间图像计算每种语义下的拼接图像亮度均值，根据像素的亮度值和每种语义下的拼接图像亮度均值，计算每种语义下的亮度标准差值；根据获得的每种语义下的亮度标准差值确定出每种语义下的亮度标准差图像；

S5：将每种语义下的可见光图像与亮度变准差图像进行联合操作，得到每种语义下的联合图像；

建立一个神经网络模型，利用神经网络提取每种语义的图像特征，得到每种语义的背景图像，对每种语义的背景图像的像素相应位置求和得到完整的背景图像；

根据完整的背景图像和拼接重构的光伏电站地面图像进行匀光处理得到照度均匀的理想影像。

在进行所述图像拼接时，首先提取可见光图像的特征点，利用光可见光图像的特征点在参考图像中对应的位置确定两幅图像之间的变换关系，根据图像之间的变化关系计算数学模型中的各参数值，以此建立图像的数学转换模型；

然后利用数学转换模型将可见光图像转换到参考图像的坐标系中，完成统一坐标的变换；

合并可见光图像重叠部分的像素值，并对未重叠部分的像素值保持，生成画布图像，将画布图像重叠区域进行融合得到拼接重构的光伏电站地面图像。

在拼接重构的光伏地面图像进行语义分割时，首先制作数据标签，将可见光图像中的元素分为其他、土地和光伏电池板三个类别；

其次，将图像数据和标签数据输入到训练后的神经网络得到语义类别分割概率图，将语义类别分割概率图进行处理得到感知分割图像，其中像素值为0表示其它，像素值为1表示土地，像素值为2表示光伏电池板。

利用Lab颜色空间图像计算每种语义下的拼接图像亮度均值，公式如下：

式中：

表示第

个像素的亮度值，n表示该种语义的在图像中的像素数量；

计算每种语义下的亮度标准差值，计算公式如下：

其中

为像素的亮度值，

为每种语义下的拼接图像亮度均值；

神经网络模型包括多个编码器，多个编码器分别提取每种语义下语义联合图像的特征，将语义联合图像的特征输入神经网络中得到每种语义下的背景图像，将得到的每种语义下的背景图像进行像素相应位置的求和得到一张完整的背景图像。

所述神经网络包括用于对神经网络优化的损失函数；

所述损失函数的表达式为：

式中：

表示第i种语义的切片背景图像，

表示第i种语义的切片背景图像标签，

、

表示切片背景图像标签，

为映射系数。

航拍图像的匀光化是根据拼接重构的光伏电站地面图像与得到的完整的背景图像相减得到的，计算公式如下：

式中：

为拼接重构的原始影像；

为光照均匀化的理想影像；

为完整的背景影像。

本发明的有益效果是：利用图像拼接技术得到一张完整的光伏电站地面图像，通过匀光处理将照度不均匀的图像进行处理，最终得到完整的、照度均匀的光伏电站地面图像。

1.本发明通过亮度标准差图像，考虑到了航拍图像的上下文信息，可以让网络学习整幅影像的亮度信息，提高匀光效果的均匀性。

2.本发明通过神经网络来学习最有效的滤波器，避免了滤波器尺寸的调节，通过网络的强大的拟合能力，可以减少匀光处理后影像的模糊和失真，避免了调参过程。

3.本发明结合不同的语义构建了多层编码器的神经网络，可以让网络学习到不同语义的最佳滤波器，避免了不同语义所带来的曝光不一致问题。

附图说明

图1是本发明的方法流程示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

实施例1

本实施例主要是为了消除航拍光伏电站拼接图像的光照不均匀现象，同时提高整张影像的总体反差，消除色彩不平衡问题。

具体实施过程结合图1所示流程图与以下步骤进行：

步骤一，利用无人机按指定路线进行航拍，得到大量航拍可见光图像；

首先利用无人机按指定路线进行航拍，得到大量航拍可见光图像。

所述无人机拍摄的图像应该存在重叠部分，即拍摄图像与邻近拍摄的图像存在重叠部分，便于图像拼接。通常而言，光伏发电站面积较大，因此无人机拍摄完后会由于拍摄时间差的原因，导致不同图像光照存在不同的情况，影响光伏电站的图像处理任务。

步骤二，利用图像拼接将航拍图像融合成一张完整的光伏电站区域图像；

图像拼接模块即将航拍图像拼接形成完整的光伏电站区域，拍摄完毕后进行图像拼接。

然后利用图像拼接将航拍图像融合成一张完整的光伏电站区域图像；

在航拍过程中，两次相邻的拍摄最好有重合区域，以提高拼接的准确性。图像拼接方法有多种，如基于底层特征的图像拼接和基于区域的图像拼接，这里建议使用底层特征的图像拼接，可以实现更准确的图像拼接。

首先进行特征点提取，图像底层特征（包括轮廓和边缘）的提取方法有多种，如ORB、SIFT、SURF、Harris，同时也参考一些改进方法，如L-ORB、AKAZE等，可以自行选取具体的实施方法。

然后进行图像配准，就是采用一定的匹配策略，找出待拼接图像中特征点在参考图像中对应的位置，进而确定两幅图像之间的变换关系。匹配策略通过进行相似性度量找到匹配的特征点。

然后根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型。该步即求解单应性矩阵，其计算方法是周知的，这里不再赘述。

进一步的，根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标的变换。

对带拼接图像进行缝合，通过合并重叠部分的像素值并保持没有重叠的像素值使之生成更大画布的图像。

最终，将更大画布的图像的重合区域进行融合得到拼接重构的光伏电站地面图像。融合的方法有多种，如羽化（feathering）融合算法、金字塔（pyramid）融合算法等，这里不再一一赘述。

至此，通过上述原理即可得到拼接重构的航拍光伏电站地面图像。

步骤三，对于光伏电站区域图像进行语义分割，获取图像中的语义类别；

对于光伏电站航拍图像而言，目前的匀光算法对影像中存在大面积光伏电池板、阴影以及亮斑等现象的遥感影像的匀光处理的效果都不理想，匀光后色调和亮度难以达到基本一致。因此本实施例采用语义分割技术提取出影像中的地物，对于光伏电站而言，光伏电池板会对太阳光造成反射等，土地与光伏电池板在图像中的亮度通常差异较大，且光伏电池板会造成地面阴影。

该步骤对航拍图像中的语义进行感知，采用基于深度学习的语义分割技术实现，具体的细节如下：

首先制作数据标签，标注航拍图像中的各个类别，主要为其它、土地、光伏电池板3个类别，并分别用0-2数字来表示其像素值。

得到所有数据后，开始语义分割网络的训练，其训练过程如下：

将图像数据进行预处理，可采用归一化、标准化等，该步骤有助于网络的收敛。

拼接后的图像通常很大，需要进行切片处理，如切片为512*512的大小。

然后将图像数据与标签数据（经过one-hot编码）送入到网络中进行训练。

所述网络包含编码器、解码器，实施者可套用常见的模型，如Unet、FCN等模型，其中编码器是对图像数据进行特征提取，输出为大量的特征图；解码器起到上采样与特征提取的作用，输入为编码器产生的特征图，输出为语义类别分割的概率图；损失函数采用加权交叉熵函数。

最终，网络输出的语义类别分割概率图再经过argmax操作得到感知分割图像。

该图像中，像素值为0表示其它，像素值为1表示土地，像素值为2表示光伏电池板。

步骤四，将不同的语义形成二值图，与原图相乘获取各个语义的可见光图像并进行图像处理；

对于感知分割图像进行处理，得到每种语义下的二值图像。光伏电池板板块的二值图像中光伏电池板像素为1，其它、土地像素值为0；土地板块的二值图像中土地像素为1，其他、光伏电池板像素值为0；其他板块的二值图像中其他像素值为1，土地、光伏电池板像素值为0。

然后将每种语义下的二值图像与原拼接图像进行相乘得到每种语义的可见光图像。

由于拼接图像很大，需要进行切片处理后输入到神经网络，因此，此处构建上下文特征。

将拼接后的图像进行颜色空间转换，转换到LAB颜色空间，Lab颜色模型由三个要素组成，一个要素是亮度（L），a 和b是两个颜色通道，取值范围是[0,100],表示从纯黑到纯白。

然后将每种语义的二值图像与拼接后的LAB颜色空间图像相乘，得到每种语义下的LAB颜色空间图像。

求取该种语义的亮度标准差图像。

为像素的亮度值。

计算每种语义下的拼接图像亮度均值：

其中n表示该种语义的在图像中的像素数量。

表示第

个像素的亮度值。

通过该方法，即可求得每种语义下的亮度标准差图像，非该语义的亮度标准差为0。该图像可以让网络学习到航拍图像的上下文信息，即亮度均值是基于整幅影像计算出的。

步骤五，构建神经网络实现航拍图像的匀光化；

本实施例采用神经网络来实现影像的匀光化，具体方法如下：

所述神经网络采用卷积神经网络，拥有三个编码器，每种语义对应一个编码器，编码器包含若干卷积层，且最后一层卷积层只包含三个1*1卷积核。细节如下：

对于数据首先进行联合，将每种语义的可见光图像与亮度标准差图像进行Concatenate联合操作，得到一张四通道的联合图像，可见光图像为RGB颜色空间，因此为四通道。

第一编码器用于提取光伏电池板语义联合图像的特征，最终输出光伏电池板语义的背景图像。

第二编码器用于提取土地语义联合图像的特征，最终输出土地语义的背景图像。

第三编码器用于提取其它语义联合图像的特征，最终输出其它语义的背景图像。

然后三幅图像进行Add操作，所述Add操作为像素相应位置的求和，最终得到一张完整的背景图像。

网络优选的优化方法，采用Adam优化算法。

所述网络采用监督学习方法，监督学习方法需要有标签数据，该标签数据可通过多架无人机同时拍摄光伏电站图像，然后进行图像拼接，并使用直方图均衡化来提高图像的对比度，最终得到标签图像Y，标签图像切片后称为B。

拼接图像通常很大，需要切片图像，此处切片图像为A，同时获取每种语义的切片可见光图像、切片二值图像，切片图像A与切片标签图像B位置对应。

网络的损失函数为：

将每种语义的切片二值图像与标签图像相乘，得到每种语义的切片标签图像。

将每种语义的切片可见光图像与每种语义的切片标签图像相减，得到每种语义的切片背景图像。

其中

分别表示第

种语义的预测切片背景图像、切片背景图像标签，

分别表示预测切片背景图像、切片背景图像标签。

为映射系数，经验值为0.5。

MSE为均方差损失函数，通过上述两个损失函数同时优化网络，可以使得网络可以学习到更有细节的背景图像。均方差损失函数用以重建每种语义的背景图像，SSIM用以提高背景图像的细节信息。

SSIM（结构相似）函数：考虑了亮度 (luminance)、对比度 (contrast) 和结构(structure)指标，这就考虑了人类视觉感知，一般而言，SSIM得到的结果会比L1，L2的结果更有细节。

基于Mask方法，得到光照均匀化的图像。Mask 匀光法的数学模型可表示为:

其中

为原始影像;

为照度均匀的理想影像;

为背景影像。

现有的方法，大多采用对图像进行高斯滤波处理，得到背景图像。该方法中滤波器尺寸的选择对背景影像的获取有很大的影响，不同影像所需的滤波器的最佳尺寸也不一样。因此，很难获得反映亮度变化的最佳背景影像。在 Mask 匀光算法中，滤波器通常需要选择较大尺寸的滤波器，但是，大尺寸的滤波器获得的背景影像，容易导致匀光处理后影像模糊和失真；其次，影像中光照的连续性对背景影像的获取也有很大的影响。

然后通过下述公式，获取匀光后的图像：

经过相减运算后，影像的整体，特别是较暗区域的反差会降低，为了提高影像的整体反差，同时保持影像整体反差一致性，突出影像细节，保持影像清晰度，需要对相减后的影像进行拉伸处理，拉伸处理如2% 线性拉伸、对比度参数拉伸等，具体的方法有很多，本发明不再一一赘述，实施者可自由选取。

至此，即可得到色彩均衡、光照均匀的完整光伏电站拼接图像。

以上实施例仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。