CN112461845A - 一种基于双光一体的太阳能电池板彩虹纹检测方法 - Google Patents

一种基于双光一体的太阳能电池板彩虹纹检测方法 Download PDF

Info

Publication number
CN112461845A
CN112461845A CN202011331546.7A CN202011331546A CN112461845A CN 112461845 A CN112461845 A CN 112461845A CN 202011331546 A CN202011331546 A CN 202011331546A CN 112461845 A CN112461845 A CN 112461845A
Authority
CN
China
Prior art keywords
rgb
solar cell
solar panel
cell panel
surrounding frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011331546.7A
Other languages
English (en)
Inventor
黄晟晖
顾龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011331546.7A priority Critical patent/CN112461845A/zh
Publication of CN112461845A publication Critical patent/CN112461845A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Photovoltaic Devices (AREA)

Abstract

本发明涉及一种基于双光一体的太阳能电池板彩虹纹检测方法，通过双光一体摄像机获取光伏电站的RGB图像和热成像图像，对光伏电站RGB图像进行处理，得到太阳能电池板包围框，根据各太阳能电池板包围框对应的三通道像素值均值以及光伏电站热成像图像，剔除不符合要求的太阳能电池板包围框，对符合要求的太阳能电池板包围框包围的太阳能电池板RGB图像进行温度异常分析，得到异常RGB区域，判断异常RGB区域是否为条带状区域，若是，则根据像素差异程度，判定是否存在彩虹纹。该方法结合RGB图像以及热成像图像，取RGB图像以及热成像图像的优点，大幅度降低干扰因素的影响，提升太阳能电池板的彩虹纹的识别准确性。

Description

一种基于双光一体的太阳能电池板彩虹纹检测方法
技术领域
本发明涉及一种基于双光一体的太阳能电池板彩虹纹检测方法。
背景技术
太阳能电池板的下边角容易积尘，这些积尘如未及时清理，在外部环境如高温、雨水、杂质等的作用下会发展成为无法擦除的彩虹状斑纹(即彩虹纹)，影响太阳能电池板的发电效率和使用寿命。目前，太阳能电池板出现彩虹纹的位置，一般在下边缘积尘处，且与积尘量正向相关，积尘厚度与宽度决定了彩虹纹的形成形状，部分太阳能电池板因早上有温差存在，下边缘有积水情况，与灰尘结合形成泥状黏在玻璃下边缘处。
目前的太阳能电池板彩虹纹检测方法分为人工巡检的方式以及对太阳能电池板的RGB图像进行处理的方式。其中，人工巡检的方式费时费力，效率较低；对太阳能电池板的RGB图像进行处理的方式中，可能会因为角度的问题，太阳能电池板表面的玻璃层会发生反光，使得太阳能电池板的RGB图像局部过亮，过亮区域会掩盖太阳能电池板本身区域，进而在RGB图像中造成太阳能电池板部分区域缺失，进而影响识别准确性的问题。
发明内容
本发明的目的在于提供一种基于双光一体的太阳能电池板彩虹纹检测方法，用以解决现有的太阳能电池板彩虹纹检测方法的准确性较差的问题。
为了解决上述问题，本发明采用以下技术方案：
一种基于双光一体的太阳能电池板彩虹纹检测方法，包括：
获取双光一体摄像机拍摄到的光伏电站RGB图像和光伏电站热成像图像，所述光伏电站RGB图像和光伏电站热成像图像均包含至少两个太阳能电池板；
对所述光伏电站RGB图像中的太阳能电池板进行识别，得到所述光伏电站RGB图像中的太阳能电池板包围框；
根据所述太阳能电池板包围框，获取各太阳能电池板包围框包围的RGB图像的三通道像素值均值；
根据各太阳能电池板包围框对应的三通道像素值均值，以及所述光伏电站热成像图像，剔除不符合要求的太阳能电池板包围框，得到符合要求的太阳能电池板包围框，所述符合要求的太阳能电池板包围框包围的RGB图像为太阳能电池板RGB图像；
对所述符合要求的太阳能电池板包围框包围的太阳能电池板RGB图像进行温度异常分析处理，得到太阳能电池板RGB图像中温度异常的异常RGB区域；
对于任意一个异常RGB区域，识别该异常RGB区域是否为条带状区域；
若该异常RGB区域是条带状区域，则获取条带状区域的设定方向上的像素差异曲线；
根据所述像素差异曲线，判断所述像素差异曲线的差异程度，若差异程度满足预设条件，则判定该异常RGB区域为彩虹纹缺陷。
优选地，所述根据各太阳能电池板包围框对应的三通道像素值均值，以及所述光伏电站热成像图像，剔除不符合要求的太阳能电池板包围框，得到符合要求的太阳能电池板包围框，所述符合要求的太阳能电池板包围框包围的RGB图像为太阳能电池板RGB图像，包括：
比较各太阳能电池板包围框对应的三通道像素值均值与预设像素阈值，设定小于所述预设像素阈值的三通道像素值均值对应的太阳能电池板包围框为第一太阳能电池板包围框，设定大于或者等于所述预设像素阈值的三通道像素值均值对应的太阳能电池板包围框为第二太阳能电池板包围框；对于所述第一太阳能电池板包围框，认定所述第一太阳能电池板包围框包围的RGB图像是太阳能电池板的RGB图像；对于所述第二太阳能电池板包围框，计算各第二太阳能电池板包围框包围的RGB图像的初始可信度，并获取最大初始可信度，以及所述最大初始可信度对应的第二太阳能电池板包围框；
将第一太阳能电池板包围框和第二太阳能电池板包围框对应在所述光伏电站热成像图像中，获取各第一太阳能电池板包围框包围的热成像图像以及各第二太阳能电池板包围框包围的热成像图像；
根据各第二太阳能电池板包围框包围的热成像图像中各个像素的温度值，计算各第二太阳能电池板包围框包围的热成像图像的温度均值，并获取其中所述最大初始可信度对应的第二太阳能电池板包围框包围的热成像图像的温度均值；
根据所述初始可信度、所述各第二太阳能电池板包围框包围的热成像图像的温度均值以及所述最大初始可信度对应的第二太阳能电池板包围框包围的热成像图像的温度均值，更新各第二太阳能电池板包围框包围的RGB图像的可信度，得到各第二太阳能电池板包围框包围的RGB图像的目标可信度；
比较各第二太阳能电池板包围框包围的RGB图像的目标可信度与可信度阈值，获取大于或者等于所述可信度阈值的目标可信度，保留所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框，认定所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的RGB图像是太阳能电池板的RGB图像；所述不符合要求的太阳能电池板包围框为小于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框；所述符合要求的太阳能电池板包围框包括所述第一太阳能电池板包围框和所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框。
优选地，所述对所述符合要求的太阳能电池板包围框包围的太阳能电池板RGB图像进行温度异常分析处理，得到太阳能电池板RGB图像中温度异常的异常RGB区域，包括：
设定所述第一太阳能电池板包围框包围的RGB图像以及所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的RGB图像为目标太阳能电池板RGB图像，设定所述第一太阳能电池板包围框包围的热成像图像以及所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的热成像图像为目标太阳能电池板热成像图像，获取各目标太阳能电池板热成像图像中的温度异常区域；
将各目标太阳能电池板热成像图像中的温度异常区域对应到对应的目标太阳能电池板RGB图像中，得到与温度异常区域相对应的异常RGB区域。
优选地，所述对所述光伏电站RGB图像中的太阳能电池板进行识别，得到所述光伏电站RGB图像中的太阳能电池板包围框，包括：
获取光伏电站RGB样本图像；
对所述光伏电站RGB样本图像中的各个太阳能电池板的包围框进行标注，得到第一标注数据，所述第一标注数据包括标注的包围框的中心点坐标以及包围框的宽度和高度；
将所述光伏电站RGB样本图像输入到第一编码器中进行特征提取，得到特征向量，所述特征向量输入至第一解码器中进行上采样，回归出光伏电站RGB样本图像的太阳能电池板包围框中心点预测值和宽度和高度预测值；
将所述太阳能电池板包围框中心点预测值和宽度和高度预测值与所述第一标注数据通过均方差损失函数进行运算，优化网络参数，得到包围框识别网络；
将所述光伏电站RGB图像输入到所述包围框识别网络中，得到所述光伏电站RGB图像中的太阳能电池板包围框。
优选地，所述根据所述太阳能电池板包围框，获取各太阳能电池板包围框包围的RGB图像的三通道像素值均值，包括：
根据所述太阳能电池板包围框，获取各太阳能电池板包围框包围的RGB图像的三个单通道的单通道像素值均值；
求取三个所述单通道像素值均值的均值，得到所述三通道像素值均值；
相应地，所述对于所述第二太阳能电池板包围框，计算各第二太阳能电池板包围框包围的RGB图像的初始可信度，包括：
初始可信度C的计算公式为：
Figure BDA0002795969070000051
其中，mk为所述单通道像素值均值。
优选地，所述将第一太阳能电池板包围框和第二太阳能电池板包围框对应在所述光伏电站热成像图像中，包括：
获取所述第一太阳能电池板包围框和第二太阳能电池板包围框在所述光伏电站RGB图像中的二维坐标；
根据所述二维坐标，在所述光伏电站热成像图像中形成所述第一太阳能电池板包围框和第二太阳能电池板包围框。
优选地，所述根据各第二太阳能电池板包围框包围的热成像图像中各个像素的温度值，计算各第二太阳能电池板包围框包围的热成像图像的温度均值，并获取其中所述最大初始可信度对应的第二太阳能电池板包围框包围的热成像图像的温度均值，包括：
第p个第二太阳能电池板包围框包围的热成像图像的温度均值S(p)的计算公式为：
Figure BDA0002795969070000052
其中，M和N为所述第p个第二太阳能电池板包围框的高度和宽度，Wi，j为所述第p个第二太阳能电池板包围框包围的热成像图像中第i行第j列的像素的温度值；
设定获取到的所述最大初始可信度对应的第二太阳能电池板包围框包围的热成像图像的温度均值为K；
相应地，所述根据所述初始可信度、所述各第二太阳能电池板包围框包围的热成像图像的温度均值以及所述最大初始可信度对应的第二太阳能电池板包围框包围的热成像图像的温度均值，更新各第二太阳能电池板包围框包围的RGB图像的可信度，得到各第二太阳能电池板包围框包围的RGB图像的目标可信度，包括：
计算所述第p个第二太阳能电池板包围框包围的热成像图像的温度均值S(p)与温度均值K的差异值U(p)，计算公式如下：
U(p)＝|S(p)-K|
对所述差异值U(p)进行归一化处理，得到U(p)′；
所述第p个第二太阳能电池板包围框包围的RGB图像的目标可信度Z(p)的计算公式为：
Z(p)＝Min(C(p)，U(p)′)
其中，C(p)为所述第p个第二太阳能电池板包围框包围的RGB图像的初始可信度。
优选地，所述获取各目标太阳能电池板热成像图像中的温度异常区域，包括：
获取太阳能电池板热成像样本图像，所述太阳能电池板热成像样本图像包含温度异常区域；
将所述太阳能电池板热成像样本图像的各个像素进行标注，温度异常区域的各个像素标注为1，正常区域的各个像素标注为0，得到第二标注数据；
将所述太阳能电池板热成像样本图像输入到第二编码器中进行特征提取，得到特征向量，所述特征向量输入至第二解码器中进行上采样，回归出温度异常区域预测值；
将所述温度异常区域预测值与所述第二标注数据通过交叉熵损失函数进行运算，优化网络参数，得到温度异常区域识别网络；
将所述各目标太阳能电池板热成像图像输入到所述温度异常区域识别网络中，得到所述各目标太阳能电池板热成像图像中的温度异常区域。
优选地，所述将各目标太阳能电池板热成像图像中的温度异常区域对应到对应的目标太阳能电池板RGB图像中，得到与温度异常区域相对应的异常RGB区域，包括：
根据各目标太阳能电池板热成像图像中的温度异常区域确定对应的异常区域连通域；
根据异常区域连通域获取对应的二值化遮罩图；
将所述二值化遮罩图与对应的目标太阳能电池板RGB图像进行相乘运算，得到所述与温度异常区域相对应的异常RGB区域。
优选地，所述对于任意一个异常RGB区域，识别该异常RGB区域是否为条带状区域，包括：
根据该异常RGB区域获取对应的最小外接矩形；
获取所述最小外接矩形的长度和宽度，其中，长度大于宽度；
计算所述长度和宽度的比值，若该比值大于预设比值，则判定该异常RGB区域是条带状区域；
相应地，所述条带状区域的设定方向为所述最小外接矩形的长度方向；
所述若该异常RGB区域是条带状区域，则获取条带状区域的设定方向上的像素差异曲线，包括：
若该异常RGB区域是条带状区域，则计算该异常RGB区域中，最小外接矩形的长度方向上任两个相邻像素的像素差值；
根据各像素差值，拟合得到所述像素差异曲线；
相应地，所述根据所述像素差异曲线，判断所述像素差异曲线的差异程度，若差异程度满足预设条件，则判定该异常RGB区域为彩虹纹缺陷，包括：
对所述像素差异曲线进行求导操作；
获取求导操作得到的曲线中的零点个数，若零点个数大于零点个数阈值，则判定该异常RGB区域为彩虹纹缺陷，进而确定与该异常RGB区域相对应的太阳能电池板存在彩虹纹缺陷。
本发明的有益效果为：通过双光一体摄像机获取光伏电站的RGB图像和热成像图像，先对光伏电站RGB图像进行处理，得到太阳能电池板包围框，应当理解，太阳能电池板包围框包围的RGB图像并非一定是太阳能电池板，由于RGB图像受到反光影响或者镜面成像天空中的白云时，RGB图像中的白色像素较多，因此，不受影响的RGB图像的像素值均值比较小，而受影响的RGB图像偏白，像素值均值比较大，因此，根据各太阳能电池板包围框对应的三通道像素值均值，以及光伏电站热成像图像，剔除不符合要求的太阳能电池板包围框，得到符合要求的太阳能电池板包围框，符合要求的太阳能电池板包围框包围的RGB图像为太阳能电池板RGB图像，对符合要求的太阳能电池板包围框包围的太阳能电池板RGB图像进行温度异常分析处理，得到太阳能电池板RGB图像中温度异常的异常RGB区域，然后对异常RGB区域依次进行条带状区域判断以及像素差异程度，最终判断得到异常RGB区域是否为彩虹纹缺陷。因此，本发明提供的基于双光一体的太阳能电池板彩虹纹检测方法结合RGB图像以及热成像图像，热成像图像不受反光等干扰因素的影响，取RGB图像以及热成像图像的优点，通过一系列处理，相较于只对RGB图像进行处理，大幅度降低干扰因素的影响，提升太阳能电池板的彩虹纹的识别准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍：
图1是本申请实施例提供的一种基于双光一体的太阳能电池板彩虹纹检测方法的整体流程示意图；
图2是条带状区域的形状示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的一种基于双光一体的太阳能电池板彩虹纹检测方法的硬件执行主体可以应用于光伏电站控制系统中、后台监控系统中等等，也可以作为一个独立的终端设备运行。本申请实施例不对该基于双光一体的太阳能电池板彩虹纹检测方法对应的硬件执行主体做限定。
为了说明本申请所述的技术方案，下面通过具体实施方式来进行说明。
参见图1，是本申请实施例提供的基于双光一体的太阳能电池板彩虹纹检测方法的整体流程示意图，为了便于说明，仅示出了与本申请实施例相关的部分。
步骤S101：获取双光一体摄像机拍摄到的光伏电站RGB图像和光伏电站热成像图像，所述光伏电站RGB图像和光伏电站热成像图像均包含至少两个太阳能电池板：
本实施例中，该基于双光一体的太阳能电池板彩虹纹检测方法的适用场景为光伏电站，光伏电站设置有至少两个太阳能电池板，具体个数由光伏电站的规模决定。本实施例中，通过双光一体摄像机对光伏电站进行拍摄。双光一体摄像机包括可见光摄像机和热成像摄像机。可见光摄像机用于采集得到RGB图像，热成像摄像机用于采集得到热成像图像。那么，通过双光一体摄像机拍摄到光伏电站RGB图像和光伏电站热成像图像。光伏电站RGB图像和光伏电站热成像图像均包含至少两个太阳能电池板。
应当理解，双光一体摄像机的固定方式不做限定，可以固定在无人机上，通过控制无人机的飞行对光伏电站进行拍摄，也可以固定在专门设置的固定杆上。本实施例中，双光一体摄像机设置在无人机上。
步骤S102：对所述光伏电站RGB图像中的太阳能电池板进行识别，得到所述光伏电站RGB图像中的太阳能电池板包围框：
采用图像识别算法对光伏电站RGB图像中的各个太阳能电池板进行识别，得到光伏电站RGB图像中的太阳能电池板包围框。应当理解，识别得到的太阳能电池板包围框包围的RGB图像并非一定是太阳能电池板图像，还可以是因干扰因素的干扰而得到的其他图像，这种其他图像需要去除，以防止影响检测准确性。
作为一个具体实施方式，以下给出一种具体的识别过程，该识别过程使用DNN神经网络，DNN神经网络采用Encoder-Decoder的形式，即DNN神经网络包括第一编码器和第一解码器。通过对DNN神经网络进行训练，得到包围框识别网络，网络训练过程包括：
获取光伏电站RGB样本图像，应当理解，光伏电站RGB样本图像的个数由实际需要进行设置，通常而言，样本图像个数越多，得到的网络越精确。而且，为了提升识别精度，光伏电站RGB样本图像同样由该双光一体摄像机拍摄得到，光伏电站RGB样本图像的拍摄时间可以集中在早晨、傍晚和正午，这三个时间段由于光线问题，容易造成局部高亮，比如太阳能电池板发光和镜面成像白云，通过这种带有干扰性的样本图像提升后续识别精度。
对各光伏电站RGB样本图像中的各个太阳能电池板的包围框进行标注(可以采用图像标注工具进行标注，也可以人为标注)，具体是对各个太阳能电池板的包围框的中心点坐标(x，y)和包围框的宽度和高度尺寸进行标注，得到第一标注数据，那么，第一标注数据包括标注的包围框的中心点坐标以及包围框的宽度和高度。应当理解，包围框的宽度为包围框宽度方向的像素点个数，包围框的高度为包围框高度方向的像素点个数。进一步地，标注出包围框的中心点坐标(x，y)之后，可以使用高斯核进行模糊处理，得到中心点热斑，那么，中心点采用热斑的形式标注在样本图像中，而包围框的宽度和高度尺寸可以标注为对应序列数据{w，h}，其中，w为宽度，h为高度。
将各光伏电站RGB样本图像进行归一化，归一化能够将图片矩阵的值域变为[0，1]之间的浮点数，以便网络更好地收敛。将光伏电站RGB样本图像(即归一化之后的各光伏电站RGB样本图像)输入到第一编码器中进行特征提取(可以是提取样本图像中的空域特征)，第一编码器输出的是提取到的特征向量，特征向量输入至第一解码器中进行上采样，回归出光伏电站RGB样本图像的太阳能电池板包围框中心点预测值和宽度和高度预测值，第一解码器的输出为网络的输出。
为了使预测值与标注值逐渐靠近，将太阳能电池板包围框中心点预测值和宽度和高度预测值与第一标注数据通过均方差损失函数进行运算，优化网络参数，得到包围框识别网络。均方差损失函数可以为：
Figure BDA0002795969070000121
其中，e为预测值和第一标注数据间的误差，n表示同一批量进行处理的样本图像的数量，st为网络输出的预测值，yt为第一标注数据。
应当理解，为了使存在局部高亮的太阳能电池板依旧能回归出对应的包围框，本实施例中，光伏电站RGB样本图像可以选择存在局部高亮的太阳能电池板，而且，在标注时刻意标记出被局部高亮遮盖住的太阳能电池板的包围框。正常未被遮盖住的太阳能电池板，网络能够根据其空域特征，如蓝色硅晶板、白色边框线等特征识别得到太阳能电池板。存在局部高亮的显示不完整的太阳能电池板，虽然空域特征有所改变、缺失，但是能够根据已检测到的太阳能电池板排列的线性关系，给出一个对应的包围框位置。
将光伏电站RGB图像输入到包围框识别网络中，对光伏电站RGB图像进行编码和解码，得到光伏电站RGB图像中的太阳能电池板包围框。
步骤S103：根据所述太阳能电池板包围框，获取各太阳能电池板包围框包围的RGB图像的三通道像素值均值：
根据得到的太阳能电池板包围框，就能够获取光伏电站RGB图像中各太阳能电池板包围框包围的RGB图像。那么，计算各太阳能电池板包围框包围的RGB图像的三通道像素值均值，以下给出一种计算过程：
对于任意一个太阳能电池板包围框包围的RGB图像，计算该太阳能电池板包围框包围的RGB图像的三个单通道(即R、G、B通道)的单通道像素值均值，具体地：计算该太阳能电池板包围框包围的RGB图像的各个像素点的R通道的像素值的均值，计算该太阳能电池板包围框包围的RGB图像的各个像素点的G通道的像素值的均值，计算该太阳能电池板包围框包围的RGB图像的各个像素点的B通道的像素值的均值；然后，求取这三个单通道像素值均值的均值，得到三通道像素值均值。
步骤S104：根据各太阳能电池板包围框对应的三通道像素值均值，以及所述光伏电站热成像图像，剔除不符合要求的太阳能电池板包围框，得到符合要求的太阳能电池板包围框，所述符合要求的太阳能电池板包围框包围的RGB图像为太阳能电池板RGB图像：
作为一个具体实施方式，以下给出该步骤的一种具体实现过程：
步骤S1041：比较各太阳能电池板包围框对应的三通道像素值均值与预设像素阈值，设定小于所述预设像素阈值的三通道像素值均值对应的太阳能电池板包围框为第一太阳能电池板包围框，设定大于或者等于所述预设像素阈值的三通道像素值均值对应的太阳能电池板包围框为第二太阳能电池板包围框；对于所述第一太阳能电池板包围框，认定所述第一太阳能电池板包围框包围的RGB图像是太阳能电池板的RGB图像；对于所述第二太阳能电池板包围框，计算各第二太阳能电池板包围框包围的RGB图像的初始可信度，并获取最大初始可信度，以及所述最大初始可信度对应的第二太阳能电池板包围框：
不存在局部高亮的太阳能电池板RGB图像中，即正常的太阳能电池板RGB图像中，包含的高亮白色像素有限，那么，三通道像素值均值偏向蓝色对应的RGB值；而对于存在局部高亮的太阳能电池板RGB图像，包含的高亮白色像素较多，三通道像素值均值偏向白色对应的RGB值，即三通道像素值均值偏大。故设定一个预设像素阈值A，比较各太阳能电池板包围框对应的三通道像素值均值与预设像素阈值A，那么，就能够将各太阳能电池板包围框分为两类，一类是小于预设像素阈值A的三通道像素值均值对应的太阳能电池板包围框，另一类是大于或者等于预设像素阈值A的三通道像素值均值对应的太阳能电池板包围框。设定小于预设像素阈值A的三通道像素值均值对应的太阳能电池板包围框为第一太阳能电池板包围框，设定大于或者等于预设像素阈值A的三通道像素值均值对应的太阳能电池板包围框为第二太阳能电池板包围框。
那么，对于第一太阳能电池板包围框，认定第一太阳能电池板包围框包围的RGB图像是太阳能电池板的RGB图像，即第一太阳能电池板包围框对应太阳能电池板图像正常，可信。
对于第二太阳能电池板包围框，初步认为对应太阳能电池板图像异常，然后，计算各第二太阳能电池板包围框包围的RGB图像的初始可信度，通过如下计算公式计算初步可信度C：
Figure BDA0002795969070000141
其中，mk为单通道像素值均值，应当理解，mk有三个，分别是R通道的单通道像素值均值，G通道的单通道像素值均值，以及B通道的单通道像素值均值。
整体而言，当mk值越接近256时，初始可信度C越低，即图像越发白越不可信。由于mk的取值范围为[0，255]，则初始可信度C的范围为
Figure BDA0002795969070000142
即初始可信度C的范围为[0，0.9999848]，近似为[0，1]。
比较得到的各个初始可信度，得到其中的最大初始可信度Cmax，确定该最大初始可信度Cmax对应的第二太阳能电池板包围框。
由于无人机采集的图像因质量和光照等问题使得神经网络回归得到的包围框不一定准确，那么，计算得到可信度，并根据可信度对包围框进行后续验证和选取，以便得到可信的包围框，更准确的识别太阳能电池板，避免因网络回归出错误的包围框而误判出异常温度区域。
步骤S1042：将第一太阳能电池板包围框和第二太阳能电池板包围框对应在所述光伏电站热成像图像中，获取各第一太阳能电池板包围框包围的热成像图像以及各第二太阳能电池板包围框包围的热成像图像：
由于光伏电站RGB图像和光伏电站热成像图像是通过同一个双光一体摄像机得到的，因此，光伏电站RGB图像和光伏电站热成像图像对应的拍摄角度、焦距、位置等参数完全相同，光伏电站RGB图像和光伏电站热成像图像是同时拍摄得到的，两者尺寸相同，各个像素一一对应，即若以相同的坐标建立规则在光伏电站RGB图像和光伏电站热成像图像中建立两个坐标，比如以图像的左小角作为坐标原点，以宽作为横轴，以高作为纵轴，建立坐标，那么，各个太阳能电池板包围框在光伏电站RGB图像中的二维坐标与各个太阳能电池板包围框在光伏电站热成像图像中的二维坐标完全相同。因此，除了图像类型不同，两个图像的其他参数，以及这个图像中的组成完全相同。
本实施例中，给出该步骤的一种具体实施过程：
获取第一太阳能电池板包围框和第二太阳能电池板包围框在光伏电站RGB图像中的二维坐标。由于第一太阳能电池板包围框和第二太阳能电池板包围框在光伏电站RGB图像中的二维坐标与在光伏电站热成像图像中的二维坐标相同，那么，根据获取到的二维坐标，在光伏电站热成像图像中形成第一太阳能电池板包围框和第二太阳能电池板包围框，就能够获取各第一太阳能电池板包围框包围的热成像图像以及各第二太阳能电池板包围框包围的热成像图像。
步骤S1043：根据各第二太阳能电池板包围框包围的热成像图像中各个像素的温度值，计算各第二太阳能电池板包围框包围的热成像图像的温度均值，并获取其中所述最大初始可信度对应的第二太阳能电池板包围框包围的热成像图像的温度均值：
在光伏电站热成像图像中形成第一太阳能电池板包围框和第二太阳能电池板包围框之后，各第一太阳能电池板包围框和各第二太阳能电池板包围框就包围有对应的热成像图像。由于热成像图像表示的是图像中各个像素的温度值，则获取各第二太阳能电池板包围框包围的热成像图像中各个像素的温度值。
根据各第二太阳能电池板包围框包围的热成像图像中各个像素的温度值，计算各第二太阳能电池板包围框包围的热成像图像的温度均值。由于各个第二太阳能电池板包围框包围的热成像图像的温度均值的计算方式相同，以下以任意一个第二太阳能电池板包围框包围的热成像图像为例进行说明，即以第p个第二太阳能电池板包围框包围的热成像图像为例进行说明。采用如下计算公式计算第p个第二太阳能电池板包围框包围的热成像图像的温度均值S(p)：
Figure BDA0002795969070000161
其中，M和N为第p个第二太阳能电池板包围框的高度(即高度方向的像素个数)和宽度(即宽度方向的像素个数)，Wi，j为第p个第二太阳能电池板包围框包围的热成像图像中第i行第j列的像素的温度值。
由于每一个第二太阳能电池板包围框均对应有初始可信度，而每一个第二太阳能电池板包围框均对应有温度均值，那么，每一个温度均值均对应一个初始可信度，那么，获取最大初始可信度Cmax对应的第二太阳能电池板包围框包围的热成像图像的温度均值，记为K，则K＝S(Cmax)。
步骤S1044：根据所述初始可信度、所述各第二太阳能电池板包围框包围的热成像图像的温度均值以及所述最大初始可信度对应的第二太阳能电池板包围框包围的热成像图像的温度均值，更新各第二太阳能电池板包围框包围的RGB图像的可信度，得到各第二太阳能电池板包围框包围的RGB图像的目标可信度：
根据相关的温度均值对初始可信度进行更新，能够提升后续检测精度。由于每一个初始可信度的更新过程相同，那么，以下以任意一个第二太阳能电池板包围框包围的RGB图像为例进行说明，即以第p个第二太阳能电池板包围框包围的RGB图像为例进行说明。以下给出具体的实现过程：
计算第p个第二太阳能电池板包围框包围的热成像图像的温度均值S(p)与温度均值K的差异值U(p)，计算公式如下：
U(p)＝|S(p)-K|
根据相邻太阳能电池板上温度分布相似的特性来判断太阳能电池板包围框的可信度，即通过包围框对应区域的温度来判断包围框内图像是否为真实的太阳能电池板。需要对差异值U(p)进行归一化处理，以使得其区间在[0，1]，作为热成像图像得到的包围框可信度描述。则对差异值U(p)进行归一化处理，得到U(p)′，以下给出一种计算公式：
Figure BDA0002795969070000171
其中，min(U)为计算得到的各温度均值与K的差异值中的最小值，max(U)为计算得到各温度均值与K的差异值中的最大值。
U(p)′的取值范围为[0，1]，且值越小越不可信，即温度差异越大，U(p)′越小，越不可信。
第p个第二太阳能电池板包围框包围的RGB图像的目标可信度Z(p)的计算公式为：
Z(p)＝Min(C(p)，U(p)′)
其中，Min()为取较小值运算，C(p)为第p个第二太阳能电池板包围框包围的RGB图像的初始可信度。
通过目标可信度Z(p)，更新初始可信度C(p)。
步骤S1045：比较各第二太阳能电池板包围框包围的RGB图像的目标可信度与可信度阈值，获取大于或者等于所述可信度阈值的目标可信度，保留所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框，认定所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的RGB图像是太阳能电池板的RGB图像；所述不符合要求的太阳能电池板包围框为小于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框；所述符合要求的太阳能电池板包围框包括所述第一太阳能电池板包围框和所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框：
预设有一个可信度阈值，该可信度阈值由实际需要进行设置。比较各第二太阳能电池板包围框包围的RGB图像的目标可信度与可信度阈值，就能够得到两种目标可信度，一种是大于或者等于可信度阈值的目标可信度，另一种是小于可信度阈值的目标可信度。获取大于或者等于可信度阈值的目标可信度，认定大于或者等于可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的RGB图像是太阳能电池板的RGB图像。
保留大于或者等于可信度阈值的目标可信度对应的第二太阳能电池板包围框，即在光伏电站热成像图像中剔除小于可信度阈值的目标可信度对应的第二太阳能电池板包围框，即剔除可信度较低的第二太阳能电池板包围框，小于可信度阈值的目标可信度对应的第二太阳能电池板包围框为不符合要求的太阳能电池板包围框。因为可信度较低的包围框可能是由在数据处理过程中生成的干扰包围框，比如在网络训练过程中由网络回归出的被遮挡、淹没太阳能电池板的包围框，可信度较低，这些包围框对应的位置存在太阳能电池板的概率较小，认定这些包围框中的太阳能电池板在实际场景中不存在，能够提升后续检测准确性，降低干扰因素造成的检测干扰。
相应地，也可以在光伏电站RGB图像中剔除小于可信度阈值的目标可信度对应的第二太阳能电池板包围框。
判定大于或者等于可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的RGB图像是太阳能电池板RGB图像，即判定大于或者等于可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的热成像图像是太阳能电池板的热成像图像。
因此，符合要求的太阳能电池板包围框包括第一太阳能电池板包围框和大于或者等于可信度阈值的目标可信度对应的第二太阳能电池板包围框，即第一太阳能电池板包围框包围的RGB图像以及大于或者等于可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的RGB图像为太阳能电池板RGB图像。相应地，第一太阳能电池板包围框包围的热成像图像以及大于或者等于可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的热成像图像是太阳能电池板的热成像图像。
步骤S105：对所述符合要求的太阳能电池板包围框包围的太阳能电池板RGB图像进行温度异常分析处理，得到太阳能电池板RGB图像中温度异常的异常RGB区域：
作为一个具体实施方式，以下给出一种具体实现过程：
步骤S1051：设定所述第一太阳能电池板包围框包围的RGB图像以及所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的RGB图像为目标太阳能电池板RGB图像，设定所述第一太阳能电池板包围框包围的热成像图像以及所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的热成像图像为目标太阳能电池板热成像图像，获取各目标太阳能电池板热成像图像中的温度异常区域：
通过上述判断过程，能够确定第一太阳能电池板包围框以及大于或者等于可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的是太阳能电池板。为了便于后续说明，设定第一太阳能电池板包围框包围的RGB图像以及大于或者等于可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的RGB图像为目标太阳能电池板RGB图像；设定第一太阳能电池板包围框包围的热成像图像以及大于或者等于可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的热成像图像为目标太阳能电池板热成像图像。
获取各目标太阳能电池板热成像图像中的温度异常区域，本实施例中，温度异常区域为温度过高的区域。本实施例中，通过DNN神经网络进行检测，以下给出一种获取过程：
获取太阳能电池板热成像样本图像，太阳能电池板热成像样本图像的个数由实际需要进行设置，当然，个数越多，训练越精确。应当理解，各太阳能电池板热成像样本图像包含温度异常区域。应当理解，太阳能电池板热成像样本图像也可以是无人机的双光一体摄像机拍摄得到并裁剪出来，而且，太阳能电池板热成像样本图像只包含太阳能电池板，不存在其他背景等内容。
将各太阳能电池板热成像样本图像的各个像素进行标注，标签为两类，温度异常区域包含的像素以及正常区域包含的像素，该分类方式为像素级分类，需要对太阳能电池板热成像样本图像的所有像素均标注上对应标签，其中，将温度异常区域的各个像素标注为1，正常区域的各个像素标注为0，得到第二标注数据。
将太阳能电池板热成像样本图像输入到第二编码器中进行特征提取，得到特征向量，特征向量输入至第二解码器中进行上采样，回归出温度异常区域预测值。
将温度异常区域预测值与第二标注数据通过交叉熵损失函数进行运算，优化网络参数，得到温度异常区域识别网络。
将各目标太阳能电池板热成像图像输入到温度异常区域识别网络中，得到各目标太阳能电池板热成像图像中的温度异常区域。
应当理解，根据热成像图像获取热成像图像中的温度异常区域属于常规技术特征，还可以按照现有技术中公开的其他检测过程进行检测。
步骤S1052：将各目标太阳能电池板热成像图像中的温度异常区域对应到对应的目标太阳能电池板RGB图像中，得到与温度异常区域相对应的异常RGB区域：
得到各目标太阳能电池板热成像图像中的温度异常区域之后，将温度异常区域对应到目标太阳能电池板RGB图像中，就能够得到与温度异常区域相对应的异常RGB区域。本实施例中，给出一种具体实现过程：根据得到的各目标太阳能电池板热成像图像中的温度异常区域确定对应的异常区域连通域；然后，根据异常区域连通域制作对应的二值化遮罩图，应当理解，二值化遮罩图中，温度异常区域为数值1，其他区域为数值0；最后，将二值化遮罩图与对应的目标太阳能电池板RGB图像进行相乘运算，由于其他其余的数值为0，相乘之后也为0，因此，只保留了与温度异常区域相对应的区域，得到的与温度异常区域相对应的区域为异常RGB区域。
作为其他的实施方式，还可以直接获取温度异常区域的各个像素的二维坐标，然后对应到目标太阳能电池板RGB图像中，得到与温度异常区域相对应的异常RGB区域。
步骤S106：对于任意一个异常RGB区域，识别该异常RGB区域是否为条带状区域：
得到各目标太阳能电池板RGB图像中的异常RGB区域之后，本申请主要检测太阳能电池板上的彩虹纹，由于彩虹纹通常为条带状，故应选取形状为条带状的异常区域进行处理分析，即需要判断异常RGB区域是否为条带状区域。由于各个异常RGB区域的处理过程相同，以下以任意一个异常RGB区域为例进行说明。识别该异常RGB区域是否为条带状区域，作为一个具体实施方式，以下给出一种识别过程：
根据该异常RGB区域获取对应的最小外接矩形，由于根据多边形或者不规则形状获取最小外接矩形属于常规技术手段，不再赘述。
获取该最小外接矩形的长度和宽度，其中，设定长度大于宽度。将长度和宽度对应在该异常RGB区域中，长度就是该异常RGB区域的长轴，宽度就是该异常RGB区域的短轴。
计算长度和宽度的比值，即计算长轴和短轴的比值，若该比值大于预设比值，即长度比宽度要大很多，则判定该异常RGB区域是条带状区域，如图2所示。其中，预设比值由实际需要进行设置。
步骤S107：若该异常RGB区域是条带状区域，则获取条带状区域的设定方向上的像素差异曲线：
若该异常RGB区域是条带状区域，获取条带状区域的设定方向上的像素差异曲线，设定方向由实际需要进行设置，本实施例中，条带状区域的设定方向为最小外接矩形的长度方向，即长轴方向，作为其他的实施方式，也可以选取宽度方向，即短轴方向作为设定方向。
那么，计算该异常RGB区域中，最小外接矩形的长度方向上任两个相邻像素的像素差值，本实施例中，为了便于计算，可以将该异常RGB区域进行灰度化，计算灰度图像中最小外接矩形的长度方向上任两个相邻像素的像素差值，当然，若不灰度化，可以计算该异常RGB区域中最小外接矩形的长度方向上任两个相邻像素的三通道像素值差值。
可以根据得到的各像素差值，拟合得到像素差异曲线。本实施例中，计算各像素差值的平方值，计算公式如下：
Li＝(Ii+1-Ii)2
其中，Ii和Ii+1为相邻的两个像素。
根据各像素差值的平方值Li，拟合得到像素差异曲线。
步骤S108：根据所述像素差异曲线，判断所述像素差异曲线的差异程度，若差异程度满足预设条件，则判定该异常RGB区域为彩虹纹缺陷：
由于彩虹纹颜色多样，故像素差异曲线为多波动的曲线，具有较多波峰波谷。因此，根据得到的像素差异曲线，判断像素差异曲线的差异程度，差异程度可以为像素差异曲线的波动程度，波动程度可以由波峰或者波谷的个数决定，波峰或者波谷的个数越多，差异程度越高。本实施例中，对像素差异曲线进行求导操作，波峰或者波谷就变成了零点，那么，获取求导操作得到的曲线中的零点个数，若零点个数大于零点个数阈值，表示零点个数比较多，即波峰或者波谷的个数比较多，则判定该异常RGB区域为彩虹纹缺陷，进而确定与该异常RGB区域相对应的太阳能电池板存在彩虹纹缺陷。作为其他的实施方式，还可以直接获取波峰或者波谷的个数，根据与设定阈值的大小关系，确定该异常RGB区域是否为彩虹纹缺陷。
检测到彩虹纹缺陷之后，可以输出相关的数据信息，以及时通知工作人员进行相关的更换或者维修操作。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于双光一体的太阳能电池板彩虹纹检测方法，其特征在于，包括：
获取双光一体摄像机拍摄到的光伏电站RGB图像和光伏电站热成像图像，所述光伏电站RGB图像和光伏电站热成像图像均包含至少两个太阳能电池板；
对所述光伏电站RGB图像中的太阳能电池板进行识别，得到所述光伏电站RGB图像中的太阳能电池板包围框；
根据所述太阳能电池板包围框，获取各太阳能电池板包围框包围的RGB图像的三通道像素值均值；
根据各太阳能电池板包围框对应的三通道像素值均值，以及所述光伏电站热成像图像，剔除不符合要求的太阳能电池板包围框，得到符合要求的太阳能电池板包围框，所述符合要求的太阳能电池板包围框包围的RGB图像为太阳能电池板RGB图像；
对所述符合要求的太阳能电池板包围框包围的太阳能电池板RGB图像进行温度异常分析处理，得到太阳能电池板RGB图像中温度异常的异常RGB区域；
对于任意一个异常RGB区域，识别该异常RGB区域是否为条带状区域；
若该异常RGB区域是条带状区域，则获取条带状区域的设定方向上的像素差异曲线；
根据所述像素差异曲线，判断所述像素差异曲线的差异程度，若差异程度满足预设条件，则判定该异常RGB区域为彩虹纹缺陷。
2.根据权利要求1所述的基于双光一体的太阳能电池板彩虹纹检测方法，其特征在于，所述根据各太阳能电池板包围框对应的三通道像素值均值，以及所述光伏电站热成像图像，剔除不符合要求的太阳能电池板包围框，得到符合要求的太阳能电池板包围框，所述符合要求的太阳能电池板包围框包围的RGB图像为太阳能电池板RGB图像，包括：
比较各太阳能电池板包围框对应的三通道像素值均值与预设像素阈值，设定小于所述预设像素阈值的三通道像素值均值对应的太阳能电池板包围框为第一太阳能电池板包围框，设定大于或者等于所述预设像素阈值的三通道像素值均值对应的太阳能电池板包围框为第二太阳能电池板包围框；对于所述第一太阳能电池板包围框，认定所述第一太阳能电池板包围框包围的RGB图像是太阳能电池板的RGB图像；对于所述第二太阳能电池板包围框，计算各第二太阳能电池板包围框包围的RGB图像的初始可信度，并获取最大初始可信度，以及所述最大初始可信度对应的第二太阳能电池板包围框；
将第一太阳能电池板包围框和第二太阳能电池板包围框对应在所述光伏电站热成像图像中，获取各第一太阳能电池板包围框包围的热成像图像以及各第二太阳能电池板包围框包围的热成像图像；
根据各第二太阳能电池板包围框包围的热成像图像中各个像素的温度值，计算各第二太阳能电池板包围框包围的热成像图像的温度均值，并获取其中所述最大初始可信度对应的第二太阳能电池板包围框包围的热成像图像的温度均值；
根据所述初始可信度、所述各第二太阳能电池板包围框包围的热成像图像的温度均值以及所述最大初始可信度对应的第二太阳能电池板包围框包围的热成像图像的温度均值，更新各第二太阳能电池板包围框包围的RGB图像的可信度，得到各第二太阳能电池板包围框包围的RGB图像的目标可信度；
比较各第二太阳能电池板包围框包围的RGB图像的目标可信度与可信度阈值，获取大于或者等于所述可信度阈值的目标可信度，保留所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框，认定所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的RGB图像是太阳能电池板的RGB图像；所述不符合要求的太阳能电池板包围框为小于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框；所述符合要求的太阳能电池板包围框包括所述第一太阳能电池板包围框和所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框。
3.根据权利要求2所述的基于双光一体的太阳能电池板彩虹纹检测方法，其特征在于，所述对所述符合要求的太阳能电池板包围框包围的太阳能电池板RGB图像进行温度异常分析处理，得到太阳能电池板RGB图像中温度异常的异常RGB区域，包括：
设定所述第一太阳能电池板包围框包围的RGB图像以及所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的RGB图像为目标太阳能电池板RGB图像，设定所述第一太阳能电池板包围框包围的热成像图像以及所述大于或者等于所述可信度阈值的目标可信度对应的第二太阳能电池板包围框包围的热成像图像为目标太阳能电池板热成像图像，获取各目标太阳能电池板热成像图像中的温度异常区域；
将各目标太阳能电池板热成像图像中的温度异常区域对应到对应的目标太阳能电池板RGB图像中，得到与温度异常区域相对应的异常RGB区域。
4.根据权利要求1所述的基于双光一体的太阳能电池板彩虹纹检测方法，其特征在于，所述对所述光伏电站RGB图像中的太阳能电池板进行识别，得到所述光伏电站RGB图像中的太阳能电池板包围框，包括：
获取光伏电站RGB样本图像；
对所述光伏电站RGB样本图像中的各个太阳能电池板的包围框进行标注，得到第一标注数据，所述第一标注数据包括标注的包围框的中心点坐标以及包围框的宽度和高度；
将所述光伏电站RGB样本图像输入到第一编码器中进行特征提取，得到特征向量，所述特征向量输入至第一解码器中进行上采样，回归出光伏电站RGB样本图像的太阳能电池板包围框中心点预测值和宽度和高度预测值；
将所述太阳能电池板包围框中心点预测值和宽度和高度预测值与所述第一标注数据通过均方差损失函数进行运算，优化网络参数，得到包围框识别网络；
将所述光伏电站RGB图像输入到所述包围框识别网络中，得到所述光伏电站RGB图像中的太阳能电池板包围框。
5.根据权利要求1所述的基于双光一体的太阳能电池板彩虹纹检测方法，其特征在于，所述根据所述太阳能电池板包围框，获取各太阳能电池板包围框包围的RGB图像的三通道像素值均值，包括：
根据所述太阳能电池板包围框，获取各太阳能电池板包围框包围的RGB图像的三个单通道的单通道像素值均值；
求取三个所述单通道像素值均值的均值，得到所述三通道像素值均值；
相应地，所述对于所述第二太阳能电池板包围框，计算各第二太阳能电池板包围框包围的RGB图像的初始可信度，包括：
初始可信度C的计算公式为：
Figure FDA0002795969060000041
其中，mk为所述单通道像素值均值。
6.根据权利要求3所述的基于双光一体的太阳能电池板彩虹纹检测方法，其特征在于，所述将第一太阳能电池板包围框和第二太阳能电池板包围框对应在所述光伏电站热成像图像中，包括：
获取所述第一太阳能电池板包围框和第二太阳能电池板包围框在所述光伏电站RGB图像中的二维坐标；
根据所述二维坐标，在所述光伏电站热成像图像中形成所述第一太阳能电池板包围框和第二太阳能电池板包围框。
7.根据权利要求3所述的基于双光一体的太阳能电池板彩虹纹检测方法，其特征在于，
所述根据各第二太阳能电池板包围框包围的热成像图像中各个像素的温度值，计算各第二太阳能电池板包围框包围的热成像图像的温度均值，并获取其中所述最大初始可信度对应的第二太阳能电池板包围框包围的热成像图像的温度均值，包括：
第p个第二太阳能电池板包围框包围的热成像图像的温度均值S(p)的计算公式为：
Figure FDA0002795969060000051
其中，M和N为所述第p个第二太阳能电池板包围框的高度和宽度，Wi，j为所述第p个第二太阳能电池板包围框包围的热成像图像中第i行第j列的像素的温度值；
设定获取到的所述最大初始可信度对应的第二太阳能电池板包围框包围的热成像图像的温度均值为K；
相应地，所述根据所述初始可信度、所述各第二太阳能电池板包围框包围的热成像图像的温度均值以及所述最大初始可信度对应的第二太阳能电池板包围框包围的热成像图像的温度均值，更新各第二太阳能电池板包围框包围的RGB图像的可信度，得到各第二太阳能电池板包围框包围的RGB图像的目标可信度，包括：
计算所述第p个第二太阳能电池板包围框包围的热成像图像的温度均值S(p)与温度均值K的差异值U(p)，计算公式如下：
U(p)＝|S(p)-K|
对所述差异值U(p)进行归一化处理，得到U(p)′；
所述第p个第二太阳能电池板包围框包围的RGB图像的目标可信度Z(p)的计算公式为：
Z(p)＝Min(C(p)，U(p)′)
其中，C(p)为所述第p个第二太阳能电池板包围框包围的RGB图像的初始可信度。
8.根据权利要求3所述的基于双光一体的太阳能电池板彩虹纹检测方法，其特征在于，所述获取各目标太阳能电池板热成像图像中的温度异常区域，包括：
获取太阳能电池板热成像样本图像，所述太阳能电池板热成像样本图像包含温度异常区域；
将所述太阳能电池板热成像样本图像的各个像素进行标注，温度异常区域的各个像素标注为1，正常区域的各个像素标注为0，得到第二标注数据；
将所述太阳能电池板热成像样本图像输入到第二编码器中进行特征提取，得到特征向量，所述特征向量输入至第二解码器中进行上采样，回归出温度异常区域预测值；
将所述温度异常区域预测值与所述第二标注数据通过交叉熵损失函数进行运算，优化网络参数，得到温度异常区域识别网络；
将所述各目标太阳能电池板热成像图像输入到所述温度异常区域识别网络中，得到所述各目标太阳能电池板热成像图像中的温度异常区域。
9.根据权利要求3所述的基于双光一体的太阳能电池板彩虹纹检测方法，其特征在于，所述将各目标太阳能电池板热成像图像中的温度异常区域对应到对应的目标太阳能电池板RGB图像中，得到与温度异常区域相对应的异常RGB区域，包括：
根据各目标太阳能电池板热成像图像中的温度异常区域确定对应的异常区域连通域；
根据异常区域连通域获取对应的二值化遮罩图；
将所述二值化遮罩图与对应的目标太阳能电池板RGB图像进行相乘运算，得到所述与温度异常区域相对应的异常RGB区域。
10.根据权利要求3所述的基于双光一体的太阳能电池板彩虹纹检测方法，其特征在于，所述对于任意一个异常RGB区域，识别该异常RGB区域是否为条带状区域，包括：
根据该异常RGB区域获取对应的最小外接矩形；
获取所述最小外接矩形的长度和宽度，其中，长度大于宽度；
计算所述长度和宽度的比值，若该比值大于预设比值，则判定该异常RGB区域是条带状区域；
相应地，所述条带状区域的设定方向为所述最小外接矩形的长度方向；
所述若该异常RGB区域是条带状区域，则获取条带状区域的设定方向上的像素差异曲线，包括：
若该异常RGB区域是条带状区域，则计算该异常RGB区域中，最小外接矩形的长度方向上任两个相邻像素的像素差值；
根据各像素差值，拟合得到所述像素差异曲线；
相应地，所述根据所述像素差异曲线，判断所述像素差异曲线的差异程度，若差异程度满足预设条件，则判定该异常RGB区域为彩虹纹缺陷，包括：
对所述像素差异曲线进行求导操作；
获取求导操作得到的曲线中的零点个数，若零点个数大于零点个数阈值，则判定该异常RGB区域为彩虹纹缺陷，进而确定与该异常RGB区域相对应的太阳能电池板存在彩虹纹缺陷。
CN202011331546.7A 2020-11-24 2020-11-24 一种基于双光一体的太阳能电池板彩虹纹检测方法 Withdrawn CN112461845A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011331546.7A CN112461845A (zh) 2020-11-24 2020-11-24 一种基于双光一体的太阳能电池板彩虹纹检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011331546.7A CN112461845A (zh) 2020-11-24 2020-11-24 一种基于双光一体的太阳能电池板彩虹纹检测方法

Publications (1)

Publication Number Publication Date
CN112461845A true CN112461845A (zh) 2021-03-09

Family

ID=74799778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011331546.7A Withdrawn CN112461845A (zh) 2020-11-24 2020-11-24 一种基于双光一体的太阳能电池板彩虹纹检测方法

Country Status (1)

Country Link
CN (1) CN112461845A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610799A (zh) * 2021-08-04 2021-11-05 沭阳九鼎钢铁有限公司 基于人工智能的光伏电池板彩虹纹检测方法、装置及设备
CN114885105A (zh) * 2022-07-12 2022-08-09 江苏奥派电气科技有限公司 一种用于光伏电站巡检无人机的图像采集调整方法
CN116794068A (zh) * 2023-05-31 2023-09-22 成都瑞波科材料科技有限公司 用于涂布工艺的彩虹纹检测装置、方法及涂布工艺设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610799A (zh) * 2021-08-04 2021-11-05 沭阳九鼎钢铁有限公司 基于人工智能的光伏电池板彩虹纹检测方法、装置及设备
CN113610799B (zh) * 2021-08-04 2022-07-08 沭阳九鼎钢铁有限公司 基于人工智能的光伏电池板彩虹纹检测方法、装置及设备
CN114885105A (zh) * 2022-07-12 2022-08-09 江苏奥派电气科技有限公司 一种用于光伏电站巡检无人机的图像采集调整方法
CN114885105B (zh) * 2022-07-12 2022-09-23 江苏奥派电气科技有限公司 一种用于光伏电站巡检无人机的图像采集调整方法
CN116794068A (zh) * 2023-05-31 2023-09-22 成都瑞波科材料科技有限公司 用于涂布工艺的彩虹纹检测装置、方法及涂布工艺设备

Similar Documents

Publication Publication Date Title
CN112461845A (zh) 一种基于双光一体的太阳能电池板彩虹纹检测方法
US20210003114A1 (en) Method and device for determining tower clearance for wind turbine
KR101709860B1 (ko) 전천 하늘 영상자료의 rgb 컬러를 이용한 전운량 산출방법 및 시스템
US20210398311A1 (en) Positioning method and device, and storage medium
CN108197604A (zh) 基于嵌入式设备的快速人脸定位跟踪方法
US20060067569A1 (en) Image inspection device, image inspection method, and image inspection program
CN111932504A (zh) 一种基于边缘轮廓信息的亚像素定位方法及装置
CN116385434B (zh) 一种用于预制梁裂缝的智能检测方法
CN112287904A (zh) 基于卫星影像的机场目标识别方法和装置
CN115272256A (zh) 亚像素级传感光纤路径高斯提取方法及系统
CN110276787B (zh) 基于标志物图像检测的导线舞动监测方法
JP6951639B2 (ja) 画像解析装置、画像解析方法及び画像解析プログラム
CN112990034B (zh) 一种影像优先的交通标牌变化检测方法
CN107833223B (zh) 一种基于光谱信息的水果高光谱图像分割方法
CN112434606A (zh) 基于双光一体的太阳能电池板rgb图像识别方法和装置
CN116758425A (zh) 一种大基地光伏电站自动验收方法和装置
CN115082504B (zh) 一种太阳能光伏板光斑识别方法
CN116543238A (zh) 一种电缆绝缘层的图像检测方法
CN115988334A (zh) 一种自校正的数字化相机移动遥感系统及方法
CN116342898A (zh) 一种冰风洞中翼型结冰区域检测方法、装置、设备和存储介质
CN114943738A (zh) 一种基于视觉识别的传感器封装固化胶缺陷识别方法
CN111539329B (zh) 一种自适应的变电站指针仪表识别方法
CN115684853A (zh) 搭载紫外成像仪的无人机输电线路故障检测方法及系统
CN116052020A (zh) 基于无人机的图像快速解译方法
CN115393747A (zh) 一种基于深度学习的光伏故障检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210309