CN115035282B - 基于轨道相机高质量光伏电池板正射图像采集方法及系统 - Google Patents

基于轨道相机高质量光伏电池板正射图像采集方法及系统 Download PDF

Info

Publication number
CN115035282B
CN115035282B CN202210964880.9A CN202210964880A CN115035282B CN 115035282 B CN115035282 B CN 115035282B CN 202210964880 A CN202210964880 A CN 202210964880A CN 115035282 B CN115035282 B CN 115035282B
Authority
CN
China
Prior art keywords
photovoltaic cell
cell panel
image
orthographic
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202210964880.9A
Other languages
English (en)
Other versions
CN115035282A (zh
Inventor
江雪梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Hailong Magnetic Industry Co ltd
Original Assignee
NANTONG HUAHAOJU ELECTRONIC TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANTONG HUAHAOJU ELECTRONIC TECHNOLOGY CO LTD filed Critical NANTONG HUAHAOJU ELECTRONIC TECHNOLOGY CO LTD
Priority to CN202210964880.9A priority Critical patent/CN115035282B/zh
Publication of CN115035282A publication Critical patent/CN115035282A/zh
Application granted granted Critical
Publication of CN115035282B publication Critical patent/CN115035282B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Photovoltaic Devices (AREA)

Abstract

本发明涉及基于轨道相机高质量光伏电池板正射图像采集方法及系统，包括以下内容：通过轨道相机获取光伏电池板图像，对获取的图像进行预处理，得到光伏电池板预处理图像；建立热力图训练网络；将光伏电池板预处理图像输入到热力图训练网络进行处理，得到光伏电池板热力图，提取关键点并确定光伏电池板区域；对高斯过程回归模型进行训练获取光伏电池板正射图像的尺寸范围；确定光伏电池板正射图像的最优尺寸，得到高质量光伏电池板正射图像。本发明通过建立神经网络对光伏电池板进行关键点提取，通过对光伏电池板的关键点热力图进行分析，有效提升了正射图像的采集质量，同时对关键点进行优化，提高了采集到的正射图像的质量。

Description

基于轨道相机高质量光伏电池板正射图像采集方法及系统
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于轨道相机的高质量光伏电池板正射图像采集方法。
背景技术
光伏电池常被称为太阳能电池，是熟知的用于将太阳辐射转换为电能的装置，通常当光直射到太阳能电池板上时，有一部分被吸收发电，反射的是没有被吸收的那一部分，使得太阳能电池板上会反光，从而导致轨道相机等摄像头拍摄的图像存在过度曝光现象，即图像中存在亮度过高、画面泛白的现象，使得后续的检测任务都会因此受到不同程度的影响。
光伏电池板是目前太阳能发电的重要组件，然而光伏电池板通常暴露于太阳下，需要定期对光伏电池板进行维护与巡检，基于计算机视觉技术的光伏电池板异常检测使用非常普遍，然而检测的精度普遍较低，同时由于光伏电池板需要根据太阳进行角度的调整，因此轨道相机在进行图像采集时，会由于光伏电池板不同的向阳角度导致其与相机光心的距离、视角不同，现有的图像采集智能在特定时间采集光伏电池板的正射图像，不能保证采集图像的质量的同时无法根据角度变换进行调整。
因此为了快速地得到不同相机视角及光伏电池板不同向阳角度下最优的图像变换中正射图像的宽高，本发明提出了一种基于轨道相机的高质量光伏电池板正射图像采集方法。
发明内容
为了克服上述现有技术的缺点，本发明的目的是提供基于轨道相机高质量光伏电池板正射图像采集方法及系统。
为达到上述目的，本发明采用以下技术方案，一种基于轨道相机高质量光伏电池板正射图像采集方法，包括以下内容：
通过轨道相机获取光伏电池板图像，对每张图像进行预处理，得到光伏电池板预处理图像
建立热力图训练网络；将光伏电池板预处理图像输入到热力图训练网络进行处理，得到光伏电池板热力图。
提取光伏电池板热力图中的关键点，通过热力图中的关键点得到光伏电池板图像中光伏电池板的角点，根据光伏电池板的角点确定光伏电池板图像中的光伏电池板区域。
获取光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长。
根据光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长对高斯过程回归模型进行训练，根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围。
根据光伏电池板正射图像的尺寸范围确定光伏电池板正射图像的最优尺寸，得到高质量光伏电池板正射图像。
进一步的，一种基于轨道相机的高质量光伏电池板正射图像采集方法，所述热力图训练网络采用热力图损失函数，该函数表达式如下：
Figure 445490DEST_PATH_IMAGE001
其中，
Figure 406493DEST_PATH_IMAGE002
代表类别C的光伏电池板关键点在位置 (i, j) 处的得分，得分越高就越可能是光伏电池板的关键点，
Figure 38331DEST_PATH_IMAGE003
表示ground truth的Heatmap；N代表ground truth中的关键点数量，
Figure 313455DEST_PATH_IMAGE004
、
Figure 488084DEST_PATH_IMAGE005
为超参数。
进一步的，一种基于轨道相机的高质量光伏电池板正射图像采集方法，对高斯过程回归模型进行训练的方法如下：
根据光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长得到光伏电池板图像的组合向量；
获取不同拍摄角度下的光伏电池板正射图像，对不同拍摄角度下光伏电池板正射图像的尺寸进行人工标注；
将组合向量作为高斯过程回归模型的输入，人工标注的正射图像尺寸作为输出对高斯回归模型进行训练。
进一步的，一种基于轨道相机的高质量光伏电池板正射图像采集方法，根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围的方法如下：
将当前光伏电池板图像的组合向量输入训练好的高斯回归模型，得到光伏电池板正射图像的预测尺寸；
将高斯过程回归模型中预测尺寸的标准差作为尺寸误差；
根据光伏电池板正射图像的预测尺寸以及尺寸误差得到光伏电池板正射图像的尺寸范围。
进一步的，一种基于轨道相机的高质量光伏电池板正射图像采集方法，根据光伏电池板正射图像的尺寸范围确定光伏电池板正射图像的最优尺寸的方法为：
光伏电池板正射图像的尺寸包括光伏电池板正射图像的宽和高；
根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围为：
正射图像宽的范围：[w1-M1,w1+M1]；
正射图像高的范围：[h1-M1,h1+M1]；
通过清晰度评价函数在确光伏电池板正射图像的尺寸范围内对光伏电池板正射图像的像素灰度值进行计算，通过清晰度评价函数计算光伏电池板正射图像尺寸范围内每一组宽高对应的清晰度值，根据最大清晰度值确定光伏电池板正射图像的最优宽高。
进一步的，一种基于轨道相机的高质量光伏电池板正射图像采集方法，所述清晰度评价函数具体公式如下：
Figure 26513DEST_PATH_IMAGE006
Figure 755434DEST_PATH_IMAGE007
表示灰度图像
Figure 722997DEST_PATH_IMAGE008
对应像素点
Figure 752133DEST_PATH_IMAGE009
的灰度值，
Figure 523780DEST_PATH_IMAGE010
为图像清晰度计算结果，
Figure 677681DEST_PATH_IMAGE011
分别表示图像
Figure 215978DEST_PATH_IMAGE008
的宽和高。
进一步的，一种基于轨道相机的高质量光伏电池板正射图像采集方法，所述对光伏电池板图像进行预处理的方法包括：
对光伏电池板图像的对比度进行处理，对处理后的光伏电池板图像进行直方图均衡化处理。
进一步的，本发明还提出了一种基于轨道相机的高质量光伏电池板正射图像采集系统，包括：图像预处理模块、图像关键点提取模块和正射图像获取模块；
图像预处理模块：对轨道相机获取光伏电池板图像进行预处理；
图像关键点提取模块：建立热力图训练网络；将光伏电池板预处理图像输入到热力图训练网络进行处理，得到光伏电池板热力图；
提取光伏电池板热力图中的关键点，通过热力图中的关键点得到光伏电池板图像中光伏电池板的角点根据光伏电池板的角点确定光伏电池板图像中的光伏电池板区域；
获取光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长；
正射图像获取模块：根据光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长对高斯过程回归模型进行训练，根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围；
根据光伏电池板正射图像的尺寸范围确定光伏电池板正射图像的最优尺寸，得到高质量光伏电池板正射图像。
与现有技术相比，本发明的有益效果是：
（1）本发明方法具有普适性，且成本低，只需轨道相机及算法即可拍出光伏电池板的高质量正射图像，提高了巡检的效率，并为后续电池板异常检测提供了基础。
（2）本发明通过神经网络输出的光伏电池板关键点热力图提取关键点，避免了因光伏电池板密集导致正射图像的提取困难，进而通过高斯过程回归的宽高及预测参数数值的不确定性寻找大致正射图像尺寸，可以减小后续优化算法搜索空间，避免了直接使用优化算法而产生的计算冗余、时间长且进行最优正射图像尺寸搜索时出现的低分辨率高清晰度的问题。
附图说明
图1是本发明的一个实施例中基于轨道相机高质量光伏电池板正射图像采集方法示意图；
图2是本发明的一个实施例中基于轨道相机高质量光伏电池板正射图像采集系统示意图；
图3是本发明的一个实施例中给出的光伏电池板示意图；
图4是本发明的一个实施例中给出的光伏电池板正射图像示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
实施例1
如图1所示，该实施例提供了一种基于轨道相机高质量光伏电池板正射图像采集方法，包括以下内容：
获取光伏电池板图像并进行预处理。
光伏电池板图像通过轨道相机拍摄获取，其中，轨道相机通过照度传感器的命令控制。
照度传感器是光伏电站太阳追踪系统中的一个硬件部分，其用来检测太阳的辐照强度，从而对轨道相机发出控制指令，照度传感器的工作状态如下：
当太阳的辐照度低于或高于工作照度时就输出关机或开机信号。如果太阳的辐照强度低于工作照度，则控制单元不工作，放大器和执行器的工作电源不接通，执行器不工作；当太阳辐照强度达到工作照度时，控制单元开始工作，执行器启动执行。
通过照度传感器监控太阳辐照强度，发出控制指令调度轨道相机拍摄光伏电池板图像，两个系统可以很好的结合起来。
由于太阳辐照强度达到工作强度后，有可能继续增强，当超过一定程度时，轨道相机拍摄的图像会由于辐照强度过高导致出现过曝的情况，所以需要再次人为设定一个阈值控制轨道相机的工作，当照度传感器的读数，即太阳辐照强度达到工作强度且小于该设定阈值时，启用轨道相机采集图像，该阈值通过人为设定，可以根据实际情况调整。
需要说明的是，上述工作内容均需在太阳能电池板工作时实施，其具体时间并不固定。
轨道相机工作完成后采集到大量光伏电池板的RGB图像，每个图像中有且仅能有一个光伏电池板，对采集到的图像进行图像预处理，包括直方图均衡化、提高图像对比度以及图像增强等操作，便于后续处理。
提取光伏电池板热力图中的关键点，通过热力图中的关键点得到光伏电池板图像中光伏电池板的角点根据光伏电池板的角点确定光伏电池板图像中的光伏电池板区域。
获取光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长。
如图3所示给出了一幅光伏电池板图像，由于光伏电池板的主要功能是将太阳能转化为电能，为了使其利用率高，光伏电池板通常由多个相同大小的组件组合在一起共同进行光电转换，所以导致在对光伏电池板进行检测时，由于轨道相机获取的图像质量不高，且光伏电池板排列密集，难以针对某一个光伏电池板进行评估。
光伏电池板在将光能转化为电能的过程中，由于受到太阳强烈照射，该过程中会产生大量热能，根据这个特性，在对光伏电池板图片进行处理时，通过建立神经网络，根据光伏电池板的光热特性从而产生的热力图进行判断，从而精准的识别光浮电池板的关键点区域，为后续处理提供很大的方便。
对经过处理后的光伏电池板图片进行关键点检测，首先对其进行标注，即标注光伏电池板图像内关键点的坐标，其中包括图像的四个角点，标注完成后得到了一幅光伏电池板关键点散点图，根据关键点散点图建立神经网络，其网络训练内容如下：
将关键点散点图与高斯核卷积得到关键点热力图的标签数据，将关键点散点图与标签数据送入网络，其中，对关键点散点图和标签都先要进行归一化处理，将图片矩阵的值变为[0,1]之间的浮点数，以便于模型更好地收敛，端到端地训练关键点提取编码器和关键点提取解码器，将图像数据作为编码器的输入，输出为特征图，将特征组合图作为解码器的输入，输出为光伏电池板关键点热力图。
在进行神经网络的训练中，通过引入热力图损失函数，通过热力图损失函数对神经网络在关键点提取过程中评分，筛选出更加可信的关键点，从而使得到的关键点热力图更加精准，该损失函数的数学公式如下：
Figure 568462DEST_PATH_IMAGE012
其中，
Figure 776590DEST_PATH_IMAGE002
代表类别C的光伏电池板关键点在位置 (i, j) 处的得分，得分越高就越可能是光伏电池板的关键点。
Figure 621049DEST_PATH_IMAGE003
表示ground truth的Heatmap。N代表ground truth中的关键点数量。
Figure 41666DEST_PATH_IMAGE004
、
Figure 468230DEST_PATH_IMAGE005
为超参数，需要人为设定。
通过神经网络结合热力图损失函数得到了更加精准的关键点热力图，对关键点热力图进行处理即可得到光伏电池板的角点。
在另一个实施例中，建立神经网络时，编码器-解码器的设计方法有许多种，在本实施例中建议Encoder、Decoder套用常见的预训练骨干网络进行提取，同时也更利于网络的收敛。最终训练完毕后，本发明通过采用模型压缩与优化加速技术降低网络参数冗余，提高网络的计算效率。
利用神经网络回归出的光伏电池板4个角点对原图像进行处理，将4个角点所围成的区域进行图像二值化，4个角点所围成的区域即为光伏电池板区域，将其赋值为0，对于非光伏电池板区域赋值为255，完成图像的二值化。
对二值图像进行特征提取，包括以下内容：
计算光伏电池板占原图像的比例A，其计算公式如下：
Figure 581680DEST_PATH_IMAGE013
Figure 38069DEST_PATH_IMAGE014
为光伏电池板的像素个数，N为图像的总像素个数。A的值越大，代表光伏电池板的像素数量越多，即光伏电池板的分辨率越高，越清晰。
对光伏电池板连通域进行最优拟合椭圆，可通过最小二乘法进行拟合，最终得到椭圆的方程，然后获取并获取到旋转角度。所述旋转角度在OpenCV中可以直接调用，属于椭圆的常见属性，该旋转角度即可表征相机的视角。
然后获取光伏电池板的在图像中的四个边长，受相机视角原因，其四个边长可能都不一样大小，四个边长的求取可通过检测出的光伏电池板4个角点的坐标进行获取。
根据光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长对高斯过程回归模型进行训练，根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围。
本发明将图像占比A、旋转角度、边长进行组合，形成组合向量，向量的长度为6。
获取不同拍摄角度下的光伏电池板正射图像，对不同拍摄角度下光伏电池板正射图像的尺寸进行人工标注；
对于不同的光伏电池板图像，获取其光伏电池板中心点与相机光心的距离，如距离光心1m，然后根据该距离正射采集光伏电池板图像，得到一个光伏电池板尺寸，该尺寸即为距离光心为1m下的最优正射图像尺寸，由于光伏电池板需要根据太阳进行角度的调整，以获取最大阳光进行发电，因此轨道相机在进行图像采集时，会由于光伏电池板不同的向阳角度导致其与相机光心的距离、视角不同，通过采集不同视角、光伏电池板向阳角度下的光伏电池板图像，并进行人工正射图像尺寸的标注。
将组合向量作为高斯过程回归模型的输入，人工标注的正射图像尺寸作为输出对高斯回归模型进行训练。
将组合向量输入到高斯过程回归模型，输出为人为标注的宽高，对高斯过程回归模型进行训练，高斯过程回归模型中的内核添加高斯白噪声，可以提高模型的鲁棒性，且高斯过程的核函数采用平方指数核函数，其适合光滑函数的建模，通过训练，实现高斯过程回归模型的学习。
根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围的方法如下：
将当前光伏电池板图像的组合向量输入训练好的高斯回归模型，得到光伏电池板正射图像的预测尺寸；
将高斯过程回归模型中预测尺寸的标准差作为尺寸误差；
对于高斯过程回归，可以获取预测数据的不确定性，即获取光伏电池板正射图像预测尺寸的尺寸误差，可以通过高斯过程回归返回预测数据的标准差，然后用标准差表示数据预测的不确定性，所述标准差是方差的算术平方根，标准差能反映一个数据集的离散程度，通过该标准差得到光伏电池板正射图像的预测尺寸的尺寸误差。
进而根据光伏电池板正射图像的预测尺寸以及尺寸误差得到光伏电池板正射图像的尺寸范围。
正射图像尺寸范围为：
正射图像宽的范围为[w1-M1,w1+M1]；
正射图像高的范围为[h1-M1,h1+M1]。
直接使用最优化算法来寻找最优的正射图像尺寸，存在搜索空间大，且需要估计单应性矩阵，计算冗余且时间长，通过高斯过程回归的宽高及预测参数数值的不确定性，可以减小搜索空间，进而快速的找到正射图像最优的大小。
进一步通过清晰度评价函数在确光伏电池板正射图像的尺寸范围内对光伏电池板正射图像的像素灰度值进行计算，通过清晰度评价函数计算光伏电池板正射图像尺寸范围内每一组宽高对应的清晰度值，根据最大清晰度值确定光伏电池板正射图像的最优宽高。
清晰度评价公式的具体内容如下：
Figure 403322DEST_PATH_IMAGE015
Figure 464819DEST_PATH_IMAGE016
表示图像清晰度，
Figure 201700DEST_PATH_IMAGE017
为清晰度评价函数，Gray为透视变换后的图像的灰度图；
本实施例以
Figure 145385DEST_PATH_IMAGE018
梯度函数进行举例，即简单的计算相邻两个像素灰度差的平方，公式如下：
Figure 173384DEST_PATH_IMAGE006
Figure 495912DEST_PATH_IMAGE007
表示图像
Figure 216743DEST_PATH_IMAGE008
(该图为灰度图)对应像素点
Figure 116566DEST_PATH_IMAGE009
的灰度值，
Figure 633742DEST_PATH_IMAGE010
为图像清晰度计算结果。
Figure 341935DEST_PATH_IMAGE011
分别表示图像
Figure 702509DEST_PATH_IMAGE008
的高和宽。
最终得到QXD越大，表示图像越清晰。
在另一个实施例中，通过在透视变换中结合清晰度评价函数的方法获得高质量光伏电池板正射图像，其清晰度评价函数并不唯一，还包括如
Figure 355207DEST_PATH_IMAGE019
梯度函数等其他函数。
通过清晰度评价函数计算灰度正射图像的清晰度，寻找最优正射图像尺寸，根据光伏电池板图像角点关键点和最优尺寸下正射图像角点进行四点法估计，得到透视变换后的光伏电池板正射图像，将透视变换后的正射图像进行灰度转换，最终得到如图4所示高质量的光伏电池板正射图像。
如图2所示，给出了一种基于轨道相机的高质量光伏电池板正射图像采集系统模块图，包括轨道相机控制模块、光伏电池板图像处理模块以及正射图像获取模块。
图像预处理模块：对轨道相机获取光伏电池板图像进行预处理；
图像关键点提取模块：建立热力图训练网络；将光伏电池板预处理图像输入到热力图训练网络进行处理，得到光伏电池板热力图；
提取光伏电池板热力图中的关键点，通过热力图中的关键点得到光伏电池板图像中光伏电池板的角点根据光伏电池板的角点确定光伏电池板图像中的光伏电池板区域；
获取光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长；
正射图像获取模块：根据光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长对高斯过程回归模型进行训练，根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围；
根据光伏电池板正射图像的尺寸范围确定光伏电池板正射图像的最优尺寸，得到高质量光伏电池板正射图像。
以上实施例仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (6)

1.一种基于轨道相机的高质量光伏电池板正射图像采集方法，其特征在于，包括：
通过轨道相机获取光伏电池板图像，对每张图像进行预处理，得到光伏电池板预处理图像；
建立热力图训练网络；将光伏电池板预处理图像输入到热力图训练网络进行处理，得到光伏电池板热力图；
提取光伏电池板热力图中的关键点，通过热力图中的关键点得到光伏电池板图像中光伏电池板的角点，根据光伏电池板的角点确定光伏电池板图像中的光伏电池板区域；
获取光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长；
根据光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长对高斯过程回归模型进行训练，根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围；
根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围的方法如下：
将当前光伏电池板图像的组合向量输入训练好的高斯回归模型，得到光伏电池板正射图像的预测尺寸；
将高斯过程回归模型中预测尺寸的标准差作为尺寸误差；
根据光伏电池板正射图像的预测尺寸以及尺寸误差得到光伏电池板正射图像的尺寸范围；
根据光伏电池板正射图像的尺寸范围确定光伏电池板正射图像的最优尺寸，得到高质量光伏电池板正射图像；
根据光伏电池板正射图像的尺寸范围确定光伏电池板正射图像的最优尺寸的方法为：
光伏电池板正射图像的尺寸包括光伏电池板正射图像的宽和高；
根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围为：
正射图像宽的范围：[w1-M1,w1+M1]；
正射图像高的范围：[h1-M1,h1+M1]；
通过清晰度评价函数在确光伏电池板正射图像的尺寸范围内对光伏电池板正射图像的像素灰度值进行计算，通过清晰度评价函数计算光伏电池板正射图像尺寸范围内每一组宽高对应的清晰度值，根据最大清晰度值确定光伏电池板正射图像的最优宽高。
2.根据权利要求1所述一种基于轨道相机的高质量光伏电池板正射图像采集方法，其特征在于，所述热力图训练网络采用热力图损失函数，函数表达式如下：
Figure 915245DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
代表类别C的光伏电池板关键点在位置 (i, j) 处的得分，得分越高就越可能是光伏电池板的关键点，
Figure 52572DEST_PATH_IMAGE004
表示ground truth的Heatmap；N代表ground truth中的关键点数量，
Figure DEST_PATH_IMAGE005
、
Figure 165890DEST_PATH_IMAGE006
为超参数。
3.根据权利要求1所述一种基于轨道相机的高质量光伏电池板正射图像采集方法，其特征在于，对高斯过程回归模型进行训练的方法如下：
根据光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长得到光伏电池板图像的组合向量；
获取不同拍摄角度下的光伏电池板正射图像，对不同拍摄角度下光伏电池板正射图像的尺寸进行人工标注；
将组合向量作为高斯过程回归模型的输入，人工标注的正射图像尺寸作为输出对高斯回归模型进行训练。
4.根据权利要求1所述一种基于轨道相机的高质量光伏电池板正射图像采集方法，其特征在于，所述清晰度评价函数具体公式如下：
Figure 652366DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE009
表示灰度图像
Figure 694403DEST_PATH_IMAGE010
对应像素点
Figure DEST_PATH_IMAGE011
的灰度值，
Figure 820490DEST_PATH_IMAGE012
为图像清晰度计算结果，
Figure DEST_PATH_IMAGE013
分别表示图像
Figure 376980DEST_PATH_IMAGE010
的宽和高。
5.根据权利要求1所述一种基于轨道相机的高质量光伏电池板正射图像采集方法，其特征在于，所述对光伏电池板图像进行预处理的方法包括：
对光伏电池板图像的对比度进行处理，对处理后的光伏电池板图像进行直方图均衡化处理。
6.一种基于轨道相机的高质量光伏电池板正射图像采集系统，其特征在于，包括：图像预处理模块、图像关键点提取模块和正射图像获取模块；
图像预处理模块：对轨道相机获取光伏电池板图像进行预处理；
图像关键点提取模块：建立热力图训练网络；将光伏电池板预处理图像输入到热力图训练网络进行处理，得到光伏电池板热力图；
提取光伏电池板热力图中的关键点，通过热力图中的关键点得到光伏电池板图像中光伏电池板的角点根据光伏电池板的角点确定光伏电池板图像中的光伏电池板区域；
获取光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长；
正射图像获取模块：根据光伏电池板图像的拍摄角度、光伏电池板图像中光伏电池板区域的面积占比以及边长对高斯过程回归模型进行训练，根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围；
根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围的方法如下：
将当前光伏电池板图像的组合向量输入训练好的高斯回归模型，得到光伏电池板正射图像的预测尺寸；
将高斯过程回归模型中预测尺寸的标准差作为尺寸误差；
根据光伏电池板正射图像的预测尺寸以及尺寸误差得到光伏电池板正射图像的尺寸范围；
根据光伏电池板正射图像的尺寸范围确定光伏电池板正射图像的最优尺寸，得到高质量光伏电池板正射图像，根据光伏电池板正射图像的尺寸范围确定光伏电池板正射图像的最优尺寸的方法为：
光伏电池板正射图像的尺寸包括光伏电池板正射图像的宽和高；
根据训练好的高斯过程回归模型获取光伏电池板正射图像的尺寸范围为：
正射图像宽的范围：[w1-M1,w1+M1]；
正射图像高的范围：[h1-M1,h1+M1]；
通过清晰度评价函数在确光伏电池板正射图像的尺寸范围内对光伏电池板正射图像的像素灰度值进行计算，通过清晰度评价函数计算光伏电池板正射图像尺寸范围内每一组宽高对应的清晰度值，根据最大清晰度值确定光伏电池板正射图像的最优宽高。
CN202210964880.9A 2022-08-12 2022-08-12 基于轨道相机高质量光伏电池板正射图像采集方法及系统 Expired - Fee Related CN115035282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210964880.9A CN115035282B (zh) 2022-08-12 2022-08-12 基于轨道相机高质量光伏电池板正射图像采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210964880.9A CN115035282B (zh) 2022-08-12 2022-08-12 基于轨道相机高质量光伏电池板正射图像采集方法及系统

Publications (2)

Publication Number Publication Date
CN115035282A CN115035282A (zh) 2022-09-09
CN115035282B true CN115035282B (zh) 2022-11-22

Family

ID=83130627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210964880.9A Expired - Fee Related CN115035282B (zh) 2022-08-12 2022-08-12 基于轨道相机高质量光伏电池板正射图像采集方法及系统

Country Status (1)

Country Link
CN (1) CN115035282B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163551A (zh) * 2020-10-14 2021-01-01 黄振海 基于图像处理和多维度感知的光伏电池板形变预测方法
CN112203018A (zh) * 2020-09-30 2021-01-08 钟竞 一种基于人工智能的相机防抖动自适应调节方法及系统
CN112633097A (zh) * 2020-12-14 2021-04-09 徐双双 一种基于人工智能的清洁机器人卡死风险评估方法及系统
CN113781400A (zh) * 2021-08-18 2021-12-10 平潭煜想时代科技有限公司 一种基于深度学习光伏电池板玻璃破损预测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487713B (zh) * 2020-11-26 2022-05-17 江苏科技大学 基于多层pca高斯过程的微带天线物理尺寸提取方法
CN114782442B (zh) * 2022-06-22 2022-09-02 托伦斯半导体设备启东有限公司 一种基于人工智能的光伏电池板智慧巡检方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203018A (zh) * 2020-09-30 2021-01-08 钟竞 一种基于人工智能的相机防抖动自适应调节方法及系统
CN112163551A (zh) * 2020-10-14 2021-01-01 黄振海 基于图像处理和多维度感知的光伏电池板形变预测方法
CN112633097A (zh) * 2020-12-14 2021-04-09 徐双双 一种基于人工智能的清洁机器人卡死风险评估方法及系统
CN113781400A (zh) * 2021-08-18 2021-12-10 平潭煜想时代科技有限公司 一种基于深度学习光伏电池板玻璃破损预测方法及系统

Also Published As

Publication number Publication date
CN115035282A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN106548182B (zh) 基于深度学习和主成因分析的路面裂纹检测方法及装置
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN113284124B (zh) 一种基于无人机视觉的光伏面板缺陷检测方法
CN111860404A (zh) 一种光伏板热斑定位方法及系统
CN114973032B (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN112203018A (zh) 一种基于人工智能的相机防抖动自适应调节方法及系统
CN111611953B (zh) 一种基于目标特征训练的抽油机识别方法与系统
CN111047564A (zh) 一种应用于光伏电站现场的el缺陷检测方法
CN113902792B (zh) 基于改进RetinaNet网络的建筑物高度检测方法、系统和电子设备
CN112561899A (zh) 电力巡检图像识别方法
CN113901928A (zh) 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统
CN113936031A (zh) 一种基于机器视觉的云影轨迹预测方法
CN113344987A (zh) 复杂背景下电力设备的红外与可见光图像配准方法及系统
CN115035282B (zh) 基于轨道相机高质量光伏电池板正射图像采集方法及系统
CN113378672A (zh) 基于改进YOLOv3的输电线缺陷多目标检测方法
CN110518881B (zh) 基于环境气象因素的热斑监测装置与预测方法
CN117496426A (zh) 基于互学习的预制梁工序识别方法及装置
EP4085527A1 (en) Method, system, and image processing device for capturing and/or processing electroluminescence images, and an aerial vehicle
CN112116569A (zh) 基于阴影识别的光伏电站发电功率预测方法
CN112184651A (zh) 一种基于人工智能的光伏电站零件松动检测系统及方法
CN116994068A (zh) 一种基于知识蒸馏的目标检测方法及装置
CN116664421A (zh) 一种基于多光照角度图像融合的航天器图像去阴影的方法
CN114841932A (zh) 光伏电站的光伏板的异物检测方法、系统、设备及介质
CN109064501A (zh) 一种污水处理监控系统的工作方法
San José et al. Misalignments characterization in micro-CPV modules with deep learning compared with electrical performance parameters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230327

Address after: Xinsanhe bridge, Jiulong Town, Qidong City, Nantong City, Jiangsu Province, 226200

Patentee after: NANTONG HAILONG MAGNETIC INDUSTRY CO.,LTD.

Address before: 226200 north side of Yingbin Road, Juxing Town, Wangbao Town, Qidong City, Nantong City, Jiangsu Province

Patentee before: NANTONG HUAHAOJU ELECTRONIC TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221122

CF01 Termination of patent right due to non-payment of annual fee