CN110136110A - 光伏组件缺陷的检测方法和装置 - Google Patents

光伏组件缺陷的检测方法和装置 Download PDF

Info

Publication number
CN110136110A
CN110136110A CN201910395630.6A CN201910395630A CN110136110A CN 110136110 A CN110136110 A CN 110136110A CN 201910395630 A CN201910395630 A CN 201910395630A CN 110136110 A CN110136110 A CN 110136110A
Authority
CN
China
Prior art keywords
marking area
defect
target image
information
photovoltaic module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910395630.6A
Other languages
English (en)
Inventor
张欢欢
唐小军
李慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910395630.6A priority Critical patent/CN110136110A/zh
Publication of CN110136110A publication Critical patent/CN110136110A/zh
Priority to PCT/CN2020/090032 priority patent/WO2020228739A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S50/00—Monitoring or testing of PV systems, e.g. load balancing or fault identification
    • H02S50/10—Testing of PV devices, e.g. of PV modules or single PV cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种光伏组件缺陷的检测方法和装置。所述光伏组件缺陷的检测方法，包括：获取待检测光伏组件的目标图像；对目标图像进行显著区域检测，获得至少一个显著区域对应的位置信息；根据至少一个显著区域对应的位置信息获得至少一个输入图像；将至少一个输入图像输入至已训练的分类器中，以由分类器输出目标图像中至少一个显著区域的类别信息；该类别信息为缺陷的类别信息或正常区域的标识信息。根据本发明的实施例，可以提高光伏组件缺陷的检测效率，实现实时检测。

Description

光伏组件缺陷的检测方法和装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种光伏组件缺陷的检测方法和装置。
背景技术
目前，光伏发电已成为各种新能源中应用最为广泛的新能源发电形式。整个光伏电站中最核心的部件就是太阳能光伏电池板，其生产、安装过程中不可避免产生的缺陷将影响其工作效率，因此十分有必要对太阳能光伏电池板进行缺陷检测。
相关技术中，在太阳能光伏组件外观检查时，仍主要依赖肉眼检测，对于大型组件中存在的细微缺陷，采用人工检查存在检查时间久和漏看缺陷点等问题，而实验室由于样品尺寸、型号以及实验流程导致的相关问题，无法采用类似工厂的缺陷判定机制，故使得检测效率相对较低。
因此，如何提高光伏组件缺陷的检测效率是需要解决的一个问题。
发明内容
本发明提供一种光伏组件缺陷的检测方法和装置，以解决相关技术中的不足。
根据本发明实施例的第一方面，提供一种光伏组件缺陷的检测方法，包括：
获取待检测光伏组件的目标图像；
对所述目标图像进行显著区域检测，获得至少一个显著区域对应的位置信息；
根据至少一个显著区域对应的位置信息获得至少一个输入图像；
将所述至少一个输入图像输入至已训练的分类器中，以由所述分类器输出所述目标图像中至少一个显著区域的类别信息；所述类别信息为缺陷的类别信息或正常区域的标识信息。
在一个实施例中，所述目标图像可为可见光图像。
在一个实施例中，所述分类器可通过以下步骤训练：
获取携带标签的训练样本；所述标签包括缺陷的类别信息或负样本的标识信息；
将所述训练样本输入至未训练的分类器中，对所述分类器进行训练，得到已训练的分类器。
在一个实施例中，所述训练样本可通过以下步骤生成：
获取携带标注框的样本图像；标注框对应的标注信息为缺陷的类别信息或负样本的标识信息；
针对每一个标注框，以标注框的长边为边长、标注框的中心点为中心提取对应的正方形区域，得到一个训练样本；
对所述训练样本进行数据增强，得到多个衍生的训练样本；
根据所述标注框对应的标注信息生成训练样本的标签。
在一个实施例中，所述目标图像中的每个像素点的颜色信息可包括RGB颜色信息；
所述对所述目标图像进行显著区域检测，获得至少一个显著区域对应的位置信息，包括：
对所述目标图像进行高斯平滑处理，得到新目标图像；
将所述新目标图像中每个像素点的RGB颜色信息从当前的RGB色彩空间映射至CIELab色彩空间得到CIELab颜色信息；
计算所述新目标图像中所有像素点的L、a和b颜色通道各自的通道平均值；
针对每个颜色通道，计算所述新目标图像中每个像素点的颜色通道值与通道平均值的欧式距离，得到显著度图；
对所述显著度图进行归一化，得到归一化的显著度图；
对归一化的显著度图进行阈值分割，得到显著性二值图像；
根据所述显著性二值图像中的至少一个连通区域的位置确定至少一个显著区域对应的位置信息。
在一个实施例中，所述根据至少一个显著区域对应的位置信息获得至少一个输入图像，包括：
针对每个显著区域对应的位置信息，确定对应的显著区域；
针对每一个显著区域，以所述显著区域的外接矩形的长边为边长、以外接矩形的中心为中心提取正方形区域，得到所述输入图像。
在一个实施例中，所述缺陷可为外观缺陷。
根据本发明实施例的第二方面，提供一种光伏组件缺陷的检测装置，包括：
第一获取模块，用于获取待检测光伏组件的目标图像；
第二获取模块，用于对所述目标图像进行显著区域检测，获得至少一个显著区域对应的位置信息；
第三获取模块，用于根据至少一个显著区域对应的位置信息获得至少一个输入图像；
分类模块，用于将所述至少一个输入图像输入至已训练的分类器中，以由所述分类器输出所述目标图像中至少一个显著区域的类别信息；所述类别信息为缺陷的类别信息或正常区域的标识信息。
根据本发明实施例的第三方面，提供一种终端设备，包括处理器和存储器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述存储器上所存储的计算机程序，实现上述的方法步骤。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。
根据上述实施例可知，由于先对待检测光伏组件的目标图像进行了显著区域检测，获得至少一个显著区域作为缺陷区域的候选区域，然后，根据至少一个显著区域对应的位置信息获得至少一个输入图像，并将上述的至少一个输入图像输入至已训练的分类器中，以由分类器输出目标图像中至少一个显著区域的类别信息，以便用户可以获知待检测光伏组件是否存在缺陷，当存在缺陷时缺陷的类别。其中，上述的类别信息为缺陷的类别信息或正常区域的标识信息。这样，可以减小图像处理的数据量，进而提高光伏组件缺陷的检测效率，实现实时检测。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本发明实施例示出的一种光伏组件缺陷的检测方法的流程图；
图2～图8是根据本发明实施例示出的光伏组件的外观缺陷的效果图；
图9是根据本发明实施例示出的另一种光伏组件缺陷的检测方法的流程图；
图10是根据本发明实施例示出的另一种光伏组件缺陷的检测方法的流程图；
图11是根据本发明实施例示出的另一种光伏组件缺陷的检测方法的流程图；
图12是根据本发明实施例示出的一种光伏组件缺陷的检测装置的框图；
图13是根据本发明实施例示出的一种终端设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据本发明实施例示出的一种光伏组件缺陷的检测方法。该光伏组件缺陷的检测方法可以应用于终端设备，该终端设备可以是个人计算机或服务器等。该光伏组件缺陷的检测方法，如图1所示，可以包括以下步骤101～104：
在步骤101中，获取待检测光伏组件的目标图像。
在一个实施例中，当需要终端设备确定待检测光伏组件上是否存在外观缺陷、若存在外观缺陷则确定外观缺陷的类别时，可以获取待检测光伏组件的可见光图像，作为上述的目标图像。其中，待检测光伏组件的外观缺陷的类别可包括：
(1)外表面破碎、开裂、弯曲、不规整或损伤；
(2)光伏组件的有效工作区域的任何薄膜层有超过一个电池面积的10％以上的空隙、人眼看得见的腐蚀；
(3)在光伏组件的边缘和任何一部分电路之间形成连续的气泡或剥层；
(4)丧失机械完整性。
其中，光伏组件典型的外观缺陷可如图2～图8所示。其中，图2所示的外观缺陷是电池片污痕/划伤，图3所示的外观缺陷是脱晶，图4所示的外观缺陷是崩边/缺角，图5所示的外观缺陷是焊带偏移，图6所示的外观缺陷是碎片/穿孔，图7所示的外观缺陷是玻璃气泡，图8所示的外观缺陷是玻璃划伤。
在步骤102中，对所述目标图像进行显著区域检测，获得至少一个显著区域对应的位置信息。
在本发明实施例中，显著区域检测即为视觉显著性检测(Visual SaliencyDetection)，是指通过智能算法模拟人的视觉特点，提取目标图像中的显著区域(人类感兴趣的区域)。在本实施例中，目标图像中的显著区域可以是目标图像中与大部分区域内容不同的区域。例如，待检测光伏组件的目标图像中，大部分区域是正常区域(不存在外观缺陷的区域)，小部分异常区域是可能存在外观缺陷的区域，则上述的异常区域即为显著区域。当然，目标图像中的显著区域也可以是正常区域，不存在外观缺陷。
在本实施例中，一个待检测光伏组件的目标图像中可能会存在一个、两个或两个以上的显著区域。因此，对目标图像进行显著区域检测，可以得到至少一个显著区域的位置信息，然后，根据至少一个显著区域的位置信息可定位目标图像中的至少一个显著区域。
在一个实施例中，如图9所示，步骤102可包括以下步骤901～907：
在步骤901中，对所述目标图像进行高斯平滑处理，得到新目标图像。
在本实施例中，可以利用高斯函数对目标图像进行高斯平滑处理，得到新目标图像。这样，可以消除目标图像中的高斯噪声。其中，高斯平滑处理也可以称之为高斯滤波。通俗的讲，高斯滤波就是对整幅目标图像进行加权平均的过程。新目标图像中每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。
在本实施例中，可以利用尺寸为5*5的高斯卷积核对目标图像进行高斯平滑处理，用高斯卷积核确定的邻域内像素的加权平均灰度值去替代高斯卷积核中心像素点的值，得到新目标图像。需要说明的是，高斯卷积核的尺寸可不限于5*5。
在本实施例中，目标图像中的每个像素点的颜色信息可包括RGB颜色信息。例如，目标图像中的每个像素点的颜色信息可包括红色子像素值R、绿色子像素值G与蓝色子像素值B。
在步骤902中，将所述新目标图像中每个像素点的RGB颜色信息从当前的RGB色彩空间映射至CIELab色彩空间得到CIELab颜色信息。
在本实施例中，可以先将所述新目标图像中每个像素点的RGB颜色信息从当前的RGB色彩空间映射至XYZ色彩空间得到XYZ信息，具体可利用下述的公式(1)，计算得到XYZ信息：
其中，M为预设的矩阵，M的值可如下式(2)所示：
然后，将新目标图像中每个像素点的XYZ信息转换至CIELab色彩空间得到CIELab颜色信息，具体可利用下述的公式(3)～(6)，计算得到：
L*＝116f(Y/Yn)-16 (3)
a*＝500[f(X/Xn)-f(Y/Yn)] (4)
b*＝200[f(Y/Yn)-f(Z/Zn)] (5)
一般情况下，Xn、Yn、Zn可都为1。X、Y、Z及t变量的取值范围可都是[0,1]，对应的L分量的取值范围为[0，100]，a和b分量的取值范围可都为[-127，127]。
在步骤903中，计算所述新目标图像中所有像素点的L、a和b颜色通道各自的通道平均值。
在本实施例中，可根据新目标图像中所有像素点的L颜色通道的颜色通道值计算L颜色通道的通道平均值可根据新目标图像中所有像素点的a颜色通道的颜色通道值计算a颜色通道的通道平均值可根据新目标图像中所有像素点的b颜色通道的颜色通道值计算b颜色通道的通道平均值
在步骤904中，针对每个颜色通道，计算所述新目标图像中每个像素点的颜色通道值与通道平均值的欧式距离，得到显著度图。
在本实施例中，针对L颜色通道，计算所述新目标图像中每个像素点的L颜色通道值与通道平均值的欧式距离，针对a颜色通道，计算所述新目标图像中每个像素点的a颜色通道值与通道平均值的欧式距离，针对b颜色通道，计算所述新目标图像中每个像素点的b颜色通道值与通道平均值的欧式距离，得到显著度图。
在步骤905中，对所述显著度图进行归一化，得到归一化的显著度图。
在步骤906中，对归一化的显著度图进行阈值分割，得到显著性二值图像。
在本实施例中，可以采用最大类间方差法(OTSU)对显著度图进行自适应阈值分割，显著性二值图像。需要说明的是，在实际应用时，也可以采用其他方法对归一化的显著度图进行阈值分割，得到显著性二值图像，不限于本发明实施例中提供的最大类间方差法(OTSU)。
在步骤907中，根据所述显著性二值图像中的至少一个连通区域的位置确定至少一个显著区域对应的位置信息。
在本实施例中，所述显著性二值图像可存在一个、两个或两个以上的连通区域。每个连通区域的位置即为显著区域的位置。因此，可以根据显著性二值图像中的至少一个连通区域的位置确定至少一个显著区域的位置信息。具体地，可以将至少一个连通区域的位置信息对应地确定为至少一个显著区域的位置信息，也可以对至少一个连通区域的位置信息进行微调后，再将微调后的至少一个连通区域的位置信息确定为至少一个显著区域的位置信息，但不限于此。例如，在获得至少一个连通区域的位置信息后，可以将一部分或者每个连通区域的边缘向外扩展指定数目的像素，以获得增大的连通区域，然后将增大的连通区域的位置信息确定为显著区域的位置信息。其中，指定数目可以为1～3，但不限于此。这样，显著区域可以包括更多的信息，有利于提高缺陷识别的准确性。
在步骤103中，根据至少一个显著区域对应的位置信息获得至少一个输入图像。
在本实施例中，可以根据至少一个显著区域的位置信息从目标图像中提取出至少一个显著区域，以获得至少一个输入图像。其中，针对每个显著区域，可以将从目标图像中提取出的显著区域作为输入图像。
在本实施例中，可通过如下方法从目标图像中提取出至少一个显著区域，以获得至少一个输入图像：针对每个显著区域对应的位置信息，确定对应的显著区域，针对每一个显著区域，以显著区域的外接矩形的长边为边长、以外接矩形的中心为中心提取正方形区域，得到输入图像。这样，可以使输入图像的尺寸符合分类器对输入图像的尺寸要求。
在步骤104中，将所述至少一个输入图像输入至已训练的分类器中，以由所述分类器输出所述目标图像中至少一个显著区域的类别信息；所述类别信息为缺陷的类别信息或正常区域的标识信息。其中，正常区域中不存在缺陷。
在本实施例中，已训练的分类器是预先训练好的，可以预存在终端设备中或存储在终端设备的外部设备中，在需要时进行调用。
将至少一个输入图像输入至已训练的分类器中后，针对每个输入图像，由所述分类器识别出对应的显著区域的类别信息，当分类器输出显著区域的类别信息后，如果显著区域的类别信息为缺陷的类别信息，则可以根据显著区域的位置信息确定目标图像中缺陷区域的位置信息。当然，分类器若确定显著区域为正常区域时，也会输出正常区域的标识信息。终端设备在得到每个输入图像对应的显著区域的类别信息后，可以存储识别结果，并可以判断是否所有输入图像均识别完毕，若否，则控制分类器对下一个输入图像进行缺陷识别，若是，则输出所述目标图像中所有缺陷区域的位置信息和缺陷的类别信息。
在本实施例中，如果已训练的分类器可以识别两个缺陷类别，则可以采用二分类算法来识别缺陷的类别，如果已训练的分类器可以识别两个以上缺陷类别，则可以采用多分类算法来识别缺陷的类别，例如，可以识别输入图像中的缺陷类别是否是电池片污痕、崩边或玻璃气泡等。
在一个实施例中，如图10所示，上述已训练的分类器可以通过以下步骤1001～1002训练得到：
在步骤1001中，获取携带标签的训练样本；所述标签包括缺陷的类别信息或负样本的标识信息。
在步骤1002中，将所述训练样本输入至未训练的分类器中，对所述分类器进行训练，得到已训练的分类器。
在本实施例中，可以将携带标签的训练样本输入至未训练的分类器中，对分类器进行训练，得到已训练的分类器。其中，训练样本的标签可包括缺陷的类别信息或负样本的标识信息。例如，当训练样本包括电池片污痕图像时，训练样本的标签可为1，当训练样本包括崩边图像时，训练样本的标签可为2，当训练样本包括玻璃气泡图像时，训练样本的标签可为3，当训练样本为负样本时，训练样本的标签可为4。
在一个实施例中，可以利用深度学习分类技术对分类器进行训练。例如，可以利用ResNet(Residual Neural Network，残差网络)对分类器进行训练。其中，ResNet的主要思想是在网络中增加了直连通道，即Highway Network(高速路神经网络)的思想。此前的网络结构是性能输入做一个非线性变换，而Highway Network则允许保留之前网络层的一定比例的输出。ResNet的思想和Highway Network的思想也非常类似，允许原始输入信息直接传到后面的层中。
一般来讲，在ResNet网络结构中会用到两种残差模块，一种是以两个3*3的卷积网络串接在一起作为一个残差模块，另外一种是1*1、3*3、1*1的3个卷积网络串接在一起作为一个残差模块。
ResNet可以有不同的网络层数，ResNet的网络层数可以是50-layer(层)、101-layer或152-layer。不同网络层数的ResNet都是由上述的残差模块堆叠在一起实现的。
在一个实施例中，如图11所示，上述的训练样本可以通过以下步骤1101～1104生成：
在步骤1101中，获取携带标注框的样本图像；标注框对应的标注信息为缺陷类别信息或负样本的标识信息。
在一个实施例中，可以获取若干携带标注框的样本图像，每个标注框可以是通过人工标注得到，标注框对应有标注信息，用于标识标注框框出的缺陷类别，或者标识负样本。例如，当标注框框出缺陷时，对应的标注信息可以为缺陷类别信息，当标注框框出的是正常区域不包括缺陷时，标注信息可以为负样本的标识信息。
在步骤1102中，针对每一个标注框，以标注框的长边为边长、标注框的中心点为中心提取对应的正方形区域，得到一个训练样本。
在本实施例中，针对每一个标注框，以标注框的长边为边长、标注框的中心点为中心提取对应的正方形区域，得到一个训练样本。该训练样本是原始的训练样本，可以作为信息源，通过图像处理进行数据增强，得到多个衍生的训练样本。
在步骤1103中，对所述训练样本进行数据增强，得到多个衍生的训练样本。
在本实施例中，可以对上述原始的训练样本进行旋转、缩放等图像处理实现数据增强，得到一系列的训练样本。当对上述原始的训练样本进行旋转时，可以依次对上述原始的训练样本旋转指定角度，得到一系列的训练样本。当对上述原始的训练样本进行缩放时，可以依次对上述原始的训练样本进行缩小指定倍数，以及依次对上述原始的训练样本进行放大指定倍数，得到一系列的训练样本。这样，可以增加训练样本的多样性，有利于提高分类器分类的准确度。
在本发明实施例中，可以将上述原始的训练样本以及通过数据增强得到的多个衍生的训练样本都输入至未训练的分类器中，对分类器进行训练，得到已训练的分类器。
在步骤1104中，根据所述标注框对应的标注信息生成训练样本的标签。
在本实施例中，针对每个训练样本，可以根据训练样本的标注框对应的标注信息生成训练样本的标签。例如，当训练样本的标注框对应的标注信息为电池片污痕时，训练样本的标签为1，当训练样本的标注框对应的标注信息为崩边时，训练样本的标签为2，当训练样本的标注框对应的标注信息为玻璃气泡时，训练样本的标签为3。
在本发明实施例中，由于先对待检测光伏组件的目标图像进行了显著区域检测，获得至少一个显著区域作为缺陷区域的候选区域，然后，根据至少一个显著区域对应的位置信息获得至少一个输入图像，并将上述的至少一个输入图像输入至已训练的分类器中，以由分类器输出目标图像中至少一个显著区域的类别信息，以便用户可以获知待检测光伏组件是否存在缺陷，当存在缺陷时缺陷的类别。其中，上述的类别信息为缺陷的类别信息或正常区域的标识信息。这样，可以减小图像处理的数据量，进而提高光伏组件缺陷的检测效率，实现实时检测。
本发明实施例的有益效果可以包括：
(1)可以实现对光伏组件的外观缺陷的自动化检测，减少人力成本。
(2)考虑到光伏组件外观缺陷的种类繁多，而且每种外观缺陷的表观形态复杂，深度学习技术能满足算法精度要求。而且，考虑到实时自动化检测的工程性需求，本发明实施例将目标检测问题转为显著性区域检测和目标识别问题，这样既保证了算法精度又保证了算法的实时性。
本发明的实施例还提出了一种光伏组件缺陷的检测装置，如图12所示，该装置包括：
第一获取模块121，用于获取待检测光伏组件的目标图像；
第二获取模块122，用于对所述目标图像进行显著区域检测，获得至少一个显著区域对应的位置信息；
第三获取模块123，用于根据至少一个显著区域对应的位置信息获得至少一个输入图像；
分类模块124，用于将所述至少一个输入图像输入至已训练的分类器中，以由所述分类器输出所述目标图像中至少一个显著区域的类别信息；所述类别信息为缺陷的类别信息或正常区域的标识信息。
本实施例中，由于先对待检测光伏组件的目标图像进行了显著区域检测，获得至少一个显著区域作为缺陷区域的候选区域，然后，根据至少一个显著区域对应的位置信息获得至少一个输入图像，并将上述的至少一个输入图像输入至已训练的分类器中，以由分类器输出目标图像中至少一个显著区域的类别信息，以便用户可以获知待检测光伏组件是否存在缺陷，当存在缺陷时缺陷的类别。其中，上述的类别信息为缺陷的类别信息或正常区域的标识信息。这样，可以减小图像处理的数据量，进而提高光伏组件缺陷的检测效率，实现实时检测。
图13是根据一示例性实施例示出的一种终端设备的框图。例如，终端设备1400可以被提供为一服务器，但不限于此。参照图13，设备1400包括处理组件1422，其进一步包括一个或多个处理器，以及由存储器1432所代表的存储器资源，用于存储可由处理部件1422的执行的指令，例如应用程序。存储器1432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1422被配置为执行指令，以执行上述用于光伏组件缺陷的检测方法。
设备1400还可以包括一个电源组件1426被配置为执行设备1400的电源管理，一个有线或无线网络接口1450被配置为将设备1400连接到网络，和一个输入输出(I/O)接口1458。设备1400可以操作基于存储在存储器1432的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1432，上述指令可由设备1400的处理组件1422执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
关于上述实施例中的装置，其中处理器执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种光伏组件缺陷的检测方法，其特征在于，包括：
获取待检测光伏组件的目标图像；
对所述目标图像进行显著区域检测，获得至少一个显著区域对应的位置信息；
根据至少一个显著区域对应的位置信息获得至少一个输入图像；
将所述至少一个输入图像输入至已训练的分类器中，以由所述分类器输出所述目标图像中至少一个显著区域的类别信息；所述类别信息为缺陷的类别信息或正常区域的标识信息。
2.根据权利要求1所述的光伏组件缺陷的检测方法，其特征在于，所述目标图像为可见光图像。
3.根据权利要求1所述的光伏组件缺陷的检测方法，其特征在于，所述分类器通过以下步骤训练：
获取携带标签的训练样本；所述标签包括缺陷的类别信息或负样本的标识信息；
将所述训练样本输入至未训练的分类器中，对所述分类器进行训练，得到已训练的分类器。
4.根据权利要求3所述的光伏组件缺陷的检测方法，其特征在于，所述训练样本通过以下步骤生成：
获取携带标注框的样本图像；标注框对应的标注信息为缺陷的类别信息或负样本的标识信息；
针对每一个标注框，以标注框的长边为边长、标注框的中心点为中心提取对应的正方形区域，得到一个训练样本；
对所述训练样本进行数据增强，得到多个衍生的训练样本；
根据所述标注框对应的标注信息生成训练样本的标签。
5.根据权利要求1所述的光伏组件缺陷的检测方法，其特征在于，所述目标图像中的每个像素点的颜色信息包括RGB颜色信息；
所述对所述目标图像进行显著区域检测，获得至少一个显著区域对应的位置信息，包括：
对所述目标图像进行高斯平滑处理，得到新目标图像；
将所述新目标图像中每个像素点的RGB颜色信息从当前的RGB色彩空间映射至CIELab色彩空间得到CIELab颜色信息；
计算所述新目标图像中所有像素点的L、a和b颜色通道各自的通道平均值；
针对每个颜色通道，计算所述新目标图像中每个像素点的颜色通道值与通道平均值的欧式距离，得到显著度图；
对所述显著度图进行归一化，得到归一化的显著度图；
对归一化的显著度图进行阈值分割，得到显著性二值图像；
根据所述显著性二值图像中的至少一个连通区域的位置确定至少一个显著区域对应的位置信息。
6.根据权利要求1所述的光伏组件缺陷的检测方法，其特征在于，所述根据至少一个显著区域对应的位置信息获得至少一个输入图像，包括：
针对每个显著区域对应的位置信息，确定对应的显著区域；
针对每一个显著区域，以所述显著区域的外接矩形的长边为边长、以外接矩形的中心为中心提取正方形区域，得到所述输入图像。
7.根据权利要求1或2所述的光伏组件缺陷的检测方法，其特征在于，所述缺陷为外观缺陷。
8.一种光伏组件缺陷的检测装置，其特征在于，包括：
第一获取模块，用于获取待检测光伏组件的目标图像；
第二获取模块，用于对所述目标图像进行显著区域检测，获得至少一个显著区域对应的位置信息；
第三获取模块，用于根据至少一个显著区域对应的位置信息获得至少一个输入图像；
分类模块，用于将所述至少一个输入图像输入至已训练的分类器中，以由所述分类器输出所述目标图像中至少一个显著区域的类别信息；所述类别信息为缺陷的类别信息或正常区域的标识信息。
9.一种终端设备，其特征在于，包括处理器和存储器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述存储器上所存储的计算机程序，实现权利要求1-7任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
CN201910395630.6A 2019-05-13 2019-05-13 光伏组件缺陷的检测方法和装置 Pending CN110136110A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910395630.6A CN110136110A (zh) 2019-05-13 2019-05-13 光伏组件缺陷的检测方法和装置
PCT/CN2020/090032 WO2020228739A1 (zh) 2019-05-13 2020-05-13 光伏组件缺陷的检测方法和装置、分类器的训练方法、终端设备及非暂时性存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910395630.6A CN110136110A (zh) 2019-05-13 2019-05-13 光伏组件缺陷的检测方法和装置

Publications (1)

Publication Number Publication Date
CN110136110A true CN110136110A (zh) 2019-08-16

Family

ID=67573703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910395630.6A Pending CN110136110A (zh) 2019-05-13 2019-05-13 光伏组件缺陷的检测方法和装置

Country Status (2)

Country Link
CN (1) CN110136110A (zh)
WO (1) WO2020228739A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738164A (zh) * 2019-10-12 2020-01-31 北京猎户星空科技有限公司 零件异常检测方法、模型训练方法及装置
CN111815560A (zh) * 2020-06-09 2020-10-23 理光软件研究所（北京）有限公司 光伏电站故障检测方法、装置、便携检测设备及存储介质
WO2020228739A1 (zh) * 2019-05-13 2020-11-19 京东方科技集团股份有限公司 光伏组件缺陷的检测方法和装置、分类器的训练方法、终端设备及非暂时性存储介质
WO2021135372A1 (zh) * 2019-12-30 2021-07-08 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN114445326A (zh) * 2021-12-15 2022-05-06 深圳创动科技有限公司 光伏面板异常检测方法、检测装置及计算机可读存储装置
CN114549393A (zh) * 2021-08-03 2022-05-27 正泰集团研发中心(上海)有限公司 图像标注方法、装置、设备及计算机存储介质
CN114581362A (zh) * 2021-07-22 2022-06-03 正泰集团研发中心(上海)有限公司 光伏组件缺陷检测方法、装置、电子设备和可读存储介质
CN114972150A (zh) * 2021-02-24 2022-08-30 正泰集团研发中心(上海)有限公司 光伏组件尺寸缺陷检测方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841972B (zh) * 2022-05-09 2024-08-02 浙江大学 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266196A1 (en) * 2007-12-28 2010-10-21 Nisshinbo Industries, Inc. Photovoltaic devices inspection apparatus and method of determining defects in photovoltaic devices
EP2410319A1 (de) * 2010-07-23 2012-01-25 Solarpower GmbH Verfahren und System zur Detektion von defekten Solarmodulen
CN104966285A (zh) * 2015-06-03 2015-10-07 北京工业大学 一种显著性区域的检测方法
CN105046681A (zh) * 2015-05-14 2015-11-11 江南大学 一种基于SoC的图像显著性区域检测方法
CN105825238A (zh) * 2016-03-30 2016-08-03 江苏大学 一种视觉显著性目标的检测方法
CN106290388A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种绝缘子故障自动检测方法
CN108537239A (zh) * 2018-04-18 2018-09-14 西南科技大学 一种图像显著性目标检测的方法
CN108631727A (zh) * 2018-03-26 2018-10-09 河北工业大学 一种基于卷积神经网络的太阳能电池板缺陷识别方法
CN108961154A (zh) * 2018-07-13 2018-12-07 福州大学 基于改进非下采样轮廓波变换的太阳电池热斑检测方法
CN109658376A (zh) * 2018-10-24 2019-04-19 哈尔滨工业大学 一种基于图像识别的表面缺陷识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098151A (ja) * 2004-09-29 2006-04-13 Dainippon Screen Mfg Co Ltd パターン検査装置およびパターン検査方法
CN101364263A (zh) * 2008-09-28 2009-02-11 腾讯科技（深圳）有限公司 对图像进行皮肤纹理检测的方法及系统
CN101996405B (zh) * 2010-08-30 2012-07-04 中国科学院计算技术研究所 一种快速的玻璃图像缺陷检测及分类方法及其装置
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN109613002B (zh) * 2018-11-21 2020-06-26 腾讯科技（深圳）有限公司 一种玻璃缺陷检测方法、装置和存储介质
CN110136110A (zh) * 2019-05-13 2019-08-16 京东方科技集团股份有限公司 光伏组件缺陷的检测方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266196A1 (en) * 2007-12-28 2010-10-21 Nisshinbo Industries, Inc. Photovoltaic devices inspection apparatus and method of determining defects in photovoltaic devices
EP2410319A1 (de) * 2010-07-23 2012-01-25 Solarpower GmbH Verfahren und System zur Detektion von defekten Solarmodulen
CN105046681A (zh) * 2015-05-14 2015-11-11 江南大学 一种基于SoC的图像显著性区域检测方法
CN104966285A (zh) * 2015-06-03 2015-10-07 北京工业大学 一种显著性区域的检测方法
CN105825238A (zh) * 2016-03-30 2016-08-03 江苏大学 一种视觉显著性目标的检测方法
CN106290388A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种绝缘子故障自动检测方法
CN108631727A (zh) * 2018-03-26 2018-10-09 河北工业大学 一种基于卷积神经网络的太阳能电池板缺陷识别方法
CN108537239A (zh) * 2018-04-18 2018-09-14 西南科技大学 一种图像显著性目标检测的方法
CN108961154A (zh) * 2018-07-13 2018-12-07 福州大学 基于改进非下采样轮廓波变换的太阳电池热斑检测方法
CN109658376A (zh) * 2018-10-24 2019-04-19 哈尔滨工业大学 一种基于图像识别的表面缺陷识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钱晓亮，张鹤庆，张焕龙，贺振东，杨存祥: "基于视觉显著性的太阳能电池片表面缺陷检测", 《仪器仪表学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228739A1 (zh) * 2019-05-13 2020-11-19 京东方科技集团股份有限公司 光伏组件缺陷的检测方法和装置、分类器的训练方法、终端设备及非暂时性存储介质
CN110738164A (zh) * 2019-10-12 2020-01-31 北京猎户星空科技有限公司 零件异常检测方法、模型训练方法及装置
CN110738164B (zh) * 2019-10-12 2022-08-12 北京猎户星空科技有限公司 零件异常检测方法、模型训练方法及装置
WO2021135372A1 (zh) * 2019-12-30 2021-07-08 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
US11836907B2 (en) 2019-12-30 2023-12-05 Goertek, Inc. Product defect detection method, device and system
CN111815560A (zh) * 2020-06-09 2020-10-23 理光软件研究所（北京）有限公司 光伏电站故障检测方法、装置、便携检测设备及存储介质
CN111815560B (zh) * 2020-06-09 2024-04-05 理光软件研究所（北京）有限公司 光伏电站故障检测方法、装置、便携检测设备及存储介质
CN114972150B (zh) * 2021-02-24 2023-12-05 正泰集团研发中心(上海)有限公司 光伏组件尺寸缺陷检测方法
CN114972150A (zh) * 2021-02-24 2022-08-30 正泰集团研发中心(上海)有限公司 光伏组件尺寸缺陷检测方法
CN114581362A (zh) * 2021-07-22 2022-06-03 正泰集团研发中心(上海)有限公司 光伏组件缺陷检测方法、装置、电子设备和可读存储介质
CN114581362B (zh) * 2021-07-22 2023-11-07 正泰集团研发中心(上海)有限公司 光伏组件缺陷检测方法、装置、电子设备和可读存储介质
CN114549393A (zh) * 2021-08-03 2022-05-27 正泰集团研发中心(上海)有限公司 图像标注方法、装置、设备及计算机存储介质
CN114549393B (zh) * 2021-08-03 2024-01-19 正泰集团研发中心(上海)有限公司 图像标注方法、装置、设备及计算机存储介质
CN114445326A (zh) * 2021-12-15 2022-05-06 深圳创动科技有限公司 光伏面板异常检测方法、检测装置及计算机可读存储装置

Also Published As

Publication number Publication date
WO2020228739A1 (zh) 2020-11-19

Similar Documents

Publication Publication Date Title
CN110136110A (zh) 光伏组件缺陷的检测方法和装置
CN107330453B (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN110909690B (zh) 一种基于区域生成的遮挡人脸图像检测方法
CN106548165B (zh) 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN105631880B (zh) 车道线分割方法和装置
CN102902956B (zh) 一种地基可见光云图识别处理方法
CN108108761A (zh) 一种基于深度特征学习的快速交通信号灯检测方法
CN109376792A (zh) 基于多通道残差神经网络的光伏电池外观缺陷分类方法
CN104966085B (zh) 一种基于多显著特征融合的遥感图像感兴趣区域检测方法
CN109448001B (zh) 一种图片自动裁剪方法
CN111310718A (zh) 一种遮挡人脸图像高准确率检测对比方法
CN110363134A (zh) 一种基于语义分割的人脸遮挡区定位方法
CN108960404A (zh) 一种基于图像的人群计数方法及设备
CN116485785B (zh) 一种太阳能电池片的表面缺陷检测方法
CN104966285A (zh) 一种显著性区域的检测方法
CN109087294A (zh) 一种产品缺陷检测方法、系统及计算机可读存储介质
CN104217440B (zh) 一种从遥感图像中提取建成区的方法
CN110197259A (zh) 基于小批量数据集与深度学习算法的晶圆缺陷检测方法
CN110135446A (zh) 文本检测方法及计算机存储介质
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN110689000A (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN103218615A (zh) 人脸判定方法
CN111553898A (zh) 一种基于卷积神经网络的面料疵点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination