CN112217988A - 基于人工智能的光伏相机运动模糊自适应调整方法与系统 - Google Patents

Abstract

本发明涉及人工智能领域，具体涉及一种基于人工智能的光伏相机运动模糊自适应调整方法与系统。该方法包括：在图像采集设备运动时，采集光伏电池板的表面图像；将采集的表面图像通过傅里叶变换得到频谱图；利用其他频谱图与标准频谱图作差得到差值图，把差值图的平均灰度作为图像模糊程度f；获得图像采集设备的运动速度v；建立图像采集设备的运动速度v、图像模糊程度f和图像采集设备参数之间的第一非线性映射模型H(v，r)和第二非线性映射模型G(s，f)；当图像模糊程度f大于阈值F时，通过第一非线性映射模型H(v，r)和第二非线性映射模型G(s，f)，调整图像采集设备的参数。在保证图像采集设备的运动速度的前提下，自适应调整图像采集设备的参数，获得高质量的图像。

Description

基于人工智能的光伏相机运动模糊自适应调整方法与系统

技术领域

本发明涉及人工智能领域，具体涉及一种基于人工智能的光伏相机运动模糊自适应调整方法与系统。

背景技术

目前，随着光伏发电行的迅速发展，光伏发电行业的管理和运维也随之受到关注。众所周知，光伏电池板的状态在光伏行业管理中是重中之重，光伏电池板表面图像的采集通常利用轨道相机或无人机航拍的方法获得。但是利用轨道相机采集光伏电池板表面图像时，相机在轨道上的运动速度会影响到相机成像的质量，并且如果出现运动模糊的情况时，将不能获得高质量的光伏电池板表面图像。

发明内容

针对上述技术问题，可以在保证轨道相机的运动速度的前提下，合理的调整相机的参数可以消除因相机运动产生的模糊现象。

为了解决上述问题，本发明提供了一种基于人工智能的光伏相机运动模糊自适应调整方法与系统，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于人工智能的光伏相机运动模糊自适应调整方法，该方法包括以下步骤：

在图像采集设备运动时，采集光伏电池板的表面图像；

将采集到的所述表面图像通过傅里叶变换得到频谱图；

将第一帧所述表面图像的频谱图作为标准频谱图，利用其他所述频谱图与所述标准频谱图作差得到差值图，计算所述差值图的平均灰度值，将所述平均灰度值视为图像模糊程度f；

获得所述图像采集设备的运动速度v；

建立所述图像采集设备的运动速度v和图像采集设备的参数之间的第一非线性映射模型H(v，r)，所述第一非线性映射模型H(v，r)为：

及所述图像模糊程度f和图像采集设备的参数之间的第二非线性映射模型G(s，f)，所述第二非线性映射模型G(s，f)为：

其中，所述图像采集设备的参数是指快门速度s、光圈大小a以及帧率r；A、B和C为待定系数；

当所述图像模糊程度f大于阈值F时，通过所述第一非线性映射模型H(v，r)和第二非线性映射模型G(s，f)，调整所述图像采集设备的参数。

所述第一非线性映射模型H(v，r)中待定系数A和B的值的获取方法为将采集的样本数据{v，r}通过第一全连接神经网络训练拟合，获得所述待定系数A和B的值。

所述第二非线性映射模型G(s，f)中待定系数C的值的获取方法为将采集的样本数据{s，f}通过第二全连接神经网络训练拟合，获得所述待定系数C的值。

所述调整所述图像采集设备的参数包括对所述光圈大小a的调整的步骤，所述光圈大小a与所述快门速度s的关系如下：

所述调整所述图像采集设备的参数的步骤，包括：

当图像模糊程度f降低至标准水平f₀时，利用所述第二非线性映射模型G(s，f)得到所述标准水平f₀对应的快门速度s₀；

所述图像采集设备自动调节至快门速度s₀以及对应的光圈大小a₀；

利用所述运动速度v通过所述模型H(v，r)得到对应的帧率r，所述图像采集设备自动调节所述帧率r。

第二方面，本发明另一个实施例提供了一种基于人工智能的光伏相机运动模糊自适应调整系统，该系统包括：

图像采集模块，用于在图像采集设备运动时，采集光伏电池板的表面图像；

傅里叶变换模块，用于将采集到的所述表面图像通过傅里叶变换得到频谱图；

模糊程度预测模块，用于将第一帧所述表面图像的频谱图作为标准频谱图，利用其他所述频谱图与所述标准频谱图作差得到差值图，计算所述差值图的平均灰度值，将所述平均灰度值视为图像模糊程度f；

速度采集模块，用于获得所述图像采集设备的运动速度v；

建模模块，用于建立所述图像采集设备的运动速度v和图像采集设备的参数之间的第一非线性映射模型H(v，r)，所述第一非线性映射模型H(v，r)为：

及所述图像模糊程度f和图像采集设备的参数之间的第二非线性映射模型G(s，f)，所述第二非线性映射模型G(s，f)为：

其中，所述图像采集设备的参数是指快门速度s、光圈大小a以及帧率r；A、B和C为待定系数；

调整模块，用于当所述图像模糊程度f大于阈值F时，通过所述第一非线性映射模型H(v，r)和第二非线性映射模型G(s，f)，调整所述图像采集设备的参数。

所述模糊程度预测模块包括：

作差模块，用于将第一帧所述表面图像的频谱图作为标准频谱图，利用其他所述频谱图与所述标准频谱图作差得到差值图；以及

灰度计算模块，用于计算所述差值图的平均灰度值。

所述建模模块，包括第一拟合模块和第二拟合模块：

第一拟合模块，用于将采集的样本数据{v，r}通过第一全连接神经网络训练拟合，获得所述待定系数A和B的值；

第二拟合模块，采集的样本数据{s，f}通过第二全连接神经网络训练拟合，获得所述待定系数C的值。

所述调整所述图像采集设备的参数包括所述对光圈大小a的调整，所述光圈大小a与所述快门速度s的关系如下：

所述调整模块，包括：

判断模块，用于当所述图像模糊程度f大于阈值F时，触发自适应调节系统；

调节模块，用于基于所述第一非线性映射模型H(v，r)和和第二非线性映射模型G(s，f)调节所述图像采集设备的参数。

本发明实施例至少有以下有益效果：

本发明实施例把第一帧图像的频谱图作为标准频谱图，并利用之后得到的频谱图与标准频谱图作差，可以得到较为准确的图像模糊程度f。在保证图像采集设备的运动速度的前提下，自适应的调整图像采集设备的参数。通过合理的图像采集设备参数可以消除因图像采集设备运动产生的模糊现象，并获得高质量的图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明中一个实施例所提供的一种基于人工智能的光伏相机运动模糊自适应调整方法的流程图；

图2为本发明中一个实施例所提供的一种基于人工智能的光伏相机运动模糊自适应调整方法的步骤流程图；

图3为本发明中一个实施例所提供的关于光伏电池板表面图像裁剪拼接的示意图；

图4为本发明中另一个实施例所提供的关于一种基于人工智能的光伏相机运动模糊自适应调整系统的结构框图；

图5为本发明中一个实施例所提供的关于模糊程度预测模块的结构框图；

图6为本发明中一个实施例所提供的关于建模模块的结构框图；

图7为本发明中一个实施例所提供的关于调整模块的结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的光伏相机运动模糊自适应调整方法与系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的光伏相机运动模糊自适应调整方法与系统的具体方案。

参照附图1和附图2，本发明一个实施例提供了一种基于人工智能的光伏相机运动模糊自适应调整方法，该方法包括以下具体步骤：

步骤S001，在图像采集设备运动时，采集光伏电池板的表面图像。

步骤S002，将采集到的表面图像通过傅里叶变换得到频谱图。

步骤S003，将第一帧表面图像的频谱图作为标准频谱图，利用其他的频谱图与标准频谱图作差得到差值图，计算差值图的平均灰度值，将平均灰度值视为图像模糊程度f。

步骤S004，获得图像采集设备的运动速度v。

步骤S005，建立图像采集设备的运动速度v和图像采集设备的参数之间的第一非线性映射模型H(v，r)和图像模糊程度f和图像采集设备的参数之间的第二非线性映射模型G(s，f)。

步骤S006，当图像模糊程度f大于阈值F时，通过第一非线性映射模型H(v，r)和第二非线性映射模型G(s，f)，调整图像采集设备的参数。

进一步地，步骤S001中，通过轨道相机采集光伏电池板的表面图像，轨道相机匀速行驶，需结合线扫面的方法，对拍摄到的图像进行裁剪拼接最终得到光伏电池板的表面图像，具体的裁剪拼接步骤如下：

1)参照附图3，假设轨道相机的速度为v，相机采样间隔为T，即t1-t2，dx表示每个像素的实际大小，则附图中每一个方块代表了N列像素，其中：

N＝(v*T)/dx

2)考虑到轨道相机的视角为俯视，且远处的图像信息因距离会产生较大的畸变，所以在t1时刻后将远处的图像信息舍去，只保留离轨道相机最近的2N列像素，如附图中t3时刻所示。

3)在初始时刻t1时，只保留N列像素，之后的每一时刻的图像信息只保留2N列像素，将当前时刻的图像信息与前一时刻的图像信息进行拼接操作，最终可得到光伏电池板的表面图像。

优选的，本发明实施例还可以选择轨道摄像机、轨道摄像头等一系列的图像采集设备。

进一步地，步骤S002中，傅里叶变换的具体过程如下：

对光伏电池板的表面图像进行傅里叶变换，将空域中的图像转换到频域，获得光伏电池板表面图像的频谱图，二维离散傅里叶变换公式如下：

其中，f(x，y)代表大小为M*N的矩阵；x、y均为整数，且x的取值区间为[0，1，2，......，M-1]和y的取值区间为[0，1，2，......，N-1]；F(μ，v)为f(x，y)的傅里叶变换频谱成分，且是两个实频率变量μ和v的复值函数，频率μ对应于x轴，频率v对应于y轴；e为自然常数；i为虚数单位；π为圆周率。进一步地，步骤S003中，对上述获得的频谱图进行后处理，获得图像模糊程度f，后处理的具体步骤如下：

1)以轨道相机采集到的第一帧图像作为标准图像，经傅里叶变换后得到标准的频谱图，记为I₀，之后采集到的图像所对应的频谱图为I。

第一帧图像为相机刚起步时拍摄的图片，不存在运动模糊的现象。

2)将之后采集到的图像所对应的频谱图I与标准的频谱图I₀做差获得差值图。

与标准频谱图做差消除了其他因素对图像造成的影响，而且差值图反应了因相机运动对频谱图产生的影响。

差值图cha计算公式如下：

cha＝|I-I₀|

3)对差值图cha求平均灰度，平均灰度反应了差值图中灰度的平均强度，故把差值图的平均灰度作为图像模糊程度f。灰度图像一阶矩的计算公式如下：

其中，P_i，j表示差值图cha上位置为(i，j)的像素值；w表示差值图的宽度；h表示差值图的高度。

优选的，步骤S004中，通过在轨道相机的运动轮子上安装角速度传感器，获得轨道相机的角速度w和方向，结合运动轮子的半径大小R获取轨道相机的运动速度v，计算公式为：v＝w*R。

进一步地，步骤S005中，建立图像模糊程度f、图像采集设备的运动速度v和图像采集设备的参数之间的非线性映射模型具体步骤如下：

1)根据先验知识可以知道，为了获得完整的光伏电池板表面图像，当相机运动速度越快时，相机的帧率越高，且记相机帧率为r；在相机运动速度一定的情况下，相机的快门速度越快，运动模糊的效果就会越弱，所以当快门速度达到一定值时，运动模糊的效果消除，记相机快门速度为s；相机的光圈大小可控制进光量，光圈越大图像的模糊效果就越明显，记光圈的大小为a。

2)为了保证相机的进光量不变，快门速度s与光圈的大小a为负相关的关系，并且光圈越大，快门速度就会越小，所以，相机快门速度s与光圈大小a的关系可用下式表达：

3)根据上述先验知识，构建相机运动速度与相机帧率的非线性映射模型H(v，r)，以及快门速度与图像模糊程度之间的非线性映射模型G(s，f)：

其中，A、B、C为待定系数。

本发明实施例采用全连接神经网络来拟合上述两个模型，得到待定系数的值。设计两个全连接神经网络分别训练两个模型。

对于第一非线性映射模型H(v，r)的训练第一全连接神经网络：输入层有两个神经元，经过两层隐藏层后，从输出层输出两个神经元，这两个神经元的输出代表A和B的值。

对于第二非线性映射模型G(s，f)的第二全连接神经训练网络：输入层为两个神经元，输出层为一个神经元，即C的值。

对于第一非线性映射模型H(v，r)的具体训练过程如下：

1)在轨道相机开始运行时，相机参数按照预先设定的规律变化，不断采集图像模糊程度f小于阈值F时对应的样本数据{v，r}，获得大量的样本数据；

2)将样本数据送入第一全连接神经网络，采用均方差损失函数对网络进行训练，输出模型中待定系数A和B的值，均方差损失函数的计算公式如下：

其中，

为预测输出；r_i为真实输出；n为正整数。

同理可知，对于第二非线性映射模型G(s，f)的具体训练网络如下：

1)在轨道相机开始运行时，相机参数按照预先设定的规律变化，不断采集图像模糊程度f小于阈值F时对应的样本数据{s，f}，获得大量的样本数据；

2)将样本数据送入第二全连接神经网络，采用均方差损失函数对网络进行训练，输出模型中待定系数C的值，均方差损失函数的计算公式如下：

其中，

为预测输出，f_i为真实输出，n为正整数。

结合获得的A、B和C的值，最终获得训练好的第一非线性映射模型H(v，r)和第二非线性映射模型G(s，f)。

需要说明的是：1)两个模型的训练过程是相互独立的。

2)选取图像模糊程度f小于阈值F时对应的样本数据是因为此时的样本数据对应高质量的图像，利用该数据拟合得到的非线性映射模型更符合高质量图片与轨道相机参数之间的关系。

进一步地，步骤S006中，调整轨道相机参数的具体过程如下：

1)当感知到的图像模糊程度f大于阈值F时，触发自适应调节系统；

2)调节的目的是为了当模糊程度降低至标准水平f₀，通过第二非线性映射模型G(s，f)得到标准水平f₀对应的快门速度s₀；

3)轨道相机调节系统自动调节至快门速度s₀以及对应的光圈大小a₀；

4)利用感知到的轨道相机速度v通过第一非线性映射模型H(v，r)得到对应的帧率r，轨道相机调节系统对帧率r进行自动调节。

需要说明的是，该自适应调节系统的触发条件为：图像的模糊程度f大于阈值F，且阈值F为人为设定的经验值，当图像模糊程度f小于该阈值F的图像时，轨道相机运动模糊不会影响成像质量。

综上所述，本发明实施例提供了一种基于人工智能的光伏相机运动模糊自适应调整方法，该方法利用轨道相机采集光伏电池板的表面图像，把第一帧图像的频谱图作为标准频谱图，通过把之后获得的频谱图与标准频谱图作差得到的差值图进行平均灰度值计算，并把平均灰度值作为图像模糊程度f，将其通过建立的图像模糊程度f、相机运动速度v和轨道相机参数之间的非线性映射模型，自适应的调节轨道相机的参数。把平均灰度值作为图像模糊程度f，能更准确地判断轨道相机成像质量，进一步地建立较为严谨的非线性映射模型；自适应的调节轨道相机的参数能获得高质量的光伏电池板表面图像。

基于与上述方法相同的发明构思，本发明实施例还提供一种基于人工智能的光伏相机运动模糊自适应调整系统。

参照附图4，本发明实施例提供的一种基于人工智能的光伏相机运动模糊自适应调整系统，该系统包括：图像采集模块10，傅里叶变换模块20，模糊程度预测模块30，速度采集模块40，建模模块50以及调整模块60。

图像采集模块10，用于在轨道相机运动时，采集光伏电池板的表面图像；傅里叶变换模块20，用于将采集到的表面图像通过傅里叶变换得到频谱图；模糊程度预测模块30，用于将第一帧表面图像的频谱图作为标准频谱图，利用其他的频谱图与标准频谱图作差得到差值图，计算差值图的平均灰度值，将平均灰度值视为图像模糊程度f；速度采集模块40，用于获得轨道相机的运动速度v；建模模块50，用于建立轨道相机的运动速度v和轨道相机的参数之间的第一非线性映射模型H(v，r)，第一非线性映射模型H(v，r)为：

和图像模糊程度f和轨道相机的参数之间的第二非线性映射模型G(s，f)，第二所非线性映射模型G(s，f)为：

其中，轨道相机的参数是指快门速度s、光圈大小a以及帧率r；A、B和C为待定系数；

以及调整模块60，用于当图像模糊程度f大于阈值F时，通过第一非线性映射模型H(v，r)和第二非线性映射模型G(s，f)，调整轨道相机的参数。

进一步地，参照附图5，模糊程度预测模块30包括作差模块31和灰度计算模块32。

作差模块31用于将第一帧表面图像的频谱图作为标准频谱图，利用其他的频谱图与标准频谱图作差得到差值图；灰度计算模块32用于计算差值图的平均灰度值。

进一步地，参照附图6，建模模块50包括第一拟合模块51和第二拟合模块52。

第一拟合模块51用于用于将采集的样本数据{v，r}通过第一全连接神经网络训练拟合，获得所述待定系数A和B的值；第二拟合模块52，采集的样本数据{s，f}通过第二全连接神经网络训练拟合，获得所述待定系数C的值。

进一步地，调整轨道相机参数包括对光圈大小a的调整，光圈大小a与快门速度s相对应，其关系如下：

参照附图7，调整模块60包括判断模块61和调节模块62。

判断模块61用于当图像模糊程度f大于阈值F时，触发自适应调节系统；调节模块62用于基于所述第一非线性映射模型H(v，r)和和第二非线性映射模型G(s，f)调节所述图像采集设备的参数。

综上所述，本发明实施例提供了一种基于人工智能的光伏相机运动模糊自适应调整系统，该系统包括图像采集模块10、傅里叶变换模块20、模糊程度预测模块30、速度采集模块40、建模模块50以及调整模块60。通过判断模糊程度预测模块30得到的图像模糊程度f，能准确地确定轨道相机成像质量，进一步为建模模块50建立较为严谨的第一非线性映射模型H(v，r)和第二非线性映射模型G(s，f)，在保证轨道相机运动速度的情况下，自适应的调整轨道相机的参数，获得更加高质量的光伏电池板表面图像。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的光伏相机运动模糊自适应调整方法，其特征在于，该方法包括：

在图像采集设备运动时，采集光伏电池板的表面图像；

将采集到的所述表面图像通过傅里叶变换得到频谱图；

将第一帧所述表面图像的频谱图作为标准频谱图，利用其他所述频谱图与所述标准频谱图作差得到差值图，计算所述差值图的平均灰度值，将所述平均灰度值视为图像模糊程度f；

获得所述图像采集设备的运动速度v；

建立所述图像采集设备的运动速度v和图像采集设备的参数之间的第一非线性映射模型H(v，r)，所述第一非线性映射模型H(v，r)为：

及所述图像模糊程度f和图像采集设备的参数之间的第二非线性映射模型G(s，f)，所述第二非线性映射模型G(s，f)为：

其中，所述图像采集设备的参数是指快门速度s、光圈大小a以及帧率r；A、B和C为待定系数；

当所述图像模糊程度f大于阈值F时，通过所述第一非线性映射模型H(v，r)和第二非线性映射模型G(s，f)，调整所述图像采集设备的参数。

2.如权利要求1所述的方法，其特征在于，所述第一非线性映射模型H(v，r)中待定系数A和B的值的获取方法为将采集的样本数据{v，r}通过第一全连接神经网络训练拟合，获得所述待定系数A和B的值。

3.如权利要求1所述的方法，其特征在于，所述第二非线性映射模型G{s，f}中待定系数C的值的获取方法为将采集的样本数据{s，f}通过第二全连接神经网络训练拟合，获得所述待定系数C的值。

4.如权利要求1所述的方法，其特征在于，所述调整所述图像采集设备的参数包括对所述光圈大小a的调整的步骤，所述光圈大小a与所述快门速度s的关系如下：

5.如权利要求4所述的方法，其特征在于，所述调整所述图像采集设备的参数的步骤，包括：

当图像模糊程度f降低至标准水平f₀时，利用所述第二非线性映射模型G(s，f)得到所述标准水平f₀对应的快门速度s₀；

所述图像采集设备自动调节至快门速度s₀以及对应的光圈大小a₀；

利用所述运动速度v通过所述模型H(v，r)得到对应的帧率r，所述图像采集设备自动调节所述帧率r。

6.一种基于人工智能的光伏相机运动模糊自适应调整系统，其特征在于，该系统包括：

图像采集模块，用于在图像采集设备运动时，采集光伏电池板的表面图像；

傅里叶变换模块，用于将采集到的所述表面图像通过傅里叶变换得到频谱图；

模糊程度预测模块，用于将第一帧所述表面图像的频谱图作为标准频谱图，利用其他所述频谱图与所述标准频谱图作差得到差值图，计算所述差值图的平均灰度值，将所述平均灰度值视为图像模糊程度f；

速度采集模块，用于获得所述图像采集设备的运动速度v；

建模模块，用于建立所述图像采集设备的运动速度v和图像采集设备的参数之间的第一非线性映射模型H(v，r)，所述第一非线性映射模型H(v，r)为：

及所述图像模糊程度f和图像采集设备的参数之间的第二非线性映射模型G(s，f)，所述第二非线性映射模型G(s，f)为：

其中，所述图像采集设备的参数是指快门速度s、光圈大小a以及帧率r；A、B和C为待定系数；

调整模块，用于当所述图像模糊程度f大于阈值F时，通过所述第一非线性映射模型H(v，r)和第二非线性映射模型G(s，f)，调整所述图像采集设备的参数。

7.如权利要求6所述的系统，其特征在于，所述模糊程度预测模块包括：

作差模块，用于将第一帧所述表面图像的频谱图作为标准频谱图，利用其他所述频谱图与所述标准频谱图作差得到差值图；以及

灰度计算模块，用于计算所述差值图的平均灰度值。

8.如权利要求6所述的系统，其特征在于，所述建模模块，包括第一拟合模块和第二拟合模块：

第一拟合模块，用于将采集的样本数据{v，r}通过第一全连接神经网络训练拟合，获得所述待定系数A和B的值；

第二拟合模块，用于采集的样本数据{s，f}通过第二全连接神经网络训练拟合，获得所述待定系数C的值。

9.如权利要求6所述的系统，其特征在于，所述调整所述图像采集设备的参数包括所述对光圈大小a的调整，所述光圈大小a与所述快门速度s的关系如下：

10.如权利要求9所述的系统，其特征在于，所述调整模块，包括：

判断模块，用于当所述图像模糊程度f大于阈值F时，触发自适应调节系统；

调节模块，用于基于所述第一非线性映射模型H(v，r)和和第二非线性映射模型G(s，f)调节所述图像采集设备的参数。

Images