CN118014971A - 光伏组件的表面缺陷检测方法、装置、设备及存储介质 - Google Patents
光伏组件的表面缺陷检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN118014971A CN118014971A CN202410242863.3A CN202410242863A CN118014971A CN 118014971 A CN118014971 A CN 118014971A CN 202410242863 A CN202410242863 A CN 202410242863A CN 118014971 A CN118014971 A CN 118014971A
- Authority
- CN
- China
- Prior art keywords
- photovoltaic module
- defect
- image
- frame
- surface defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 508
- 238000001514 detection method Methods 0.000 title claims abstract description 265
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000002372 labelling Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000002950 deficient Effects 0.000 claims abstract description 16
- 238000013519 translation Methods 0.000 claims description 21
- 238000005520 cutting process Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000003466 welding Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001094 effect on targets Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Photovoltaic Devices (AREA)
Abstract
本发明公开了一种光伏组件的表面缺陷检测方法、装置、设备及存储介质。该方法包括:获取标注有缺陷标注框的完整光伏组件图像;缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置;按照预设尺寸将完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像;根据局部光伏组件图像和局部光伏组件图像包含的缺陷标注框,构建样本图像集;基于样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型;将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果,提高了对待检测光伏组件图像的表面缺陷的检测精度和检测速度。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种光伏组件的表面缺陷检测方法、装置、设备及存储介质。
背景技术
在光伏组件的生产过程中,由于制造工艺和人为操作等原因,可能会光伏组件出现各种类型的表面缺陷,如破片、焊接不良、划伤或者脏污等。这些表面缺陷不仅影响光伏组件的美观度,更可能会对光伏组件的性能和寿命产生负面影响,因此需要对光伏组件进行表面缺陷检测。
目前常用的缺陷检测方法主要包括人工检测和视觉检测两种。人工检测虽然准确度高,但耗时、耗力、成本高,且存在主观性和人为错误等问题,难以达到统一标准。视觉检测是利用相机等设备对光伏电池组件外观进行图像采集,然后通过图像分析和算法比对等手段检测缺陷。视觉检测具体也可以分为基于数字图像处理的传统检测算法和基于深度学习的人工智能检测算法。
目前的视觉检测方式一般是对完整的光伏图像进行检测。但是,由于光伏组件的表面缺陷复杂多样、形态各异且干扰因素众多,单个视觉检测算法,特别是基于数字图像处理的传统检测算法几乎无法实现全覆盖,导致检测结果不准确。并且,由于整张图像分辨率太大,传统的基于深度学习的人工智能检测算法的检测速度难以满足流水线需求。
发明内容
本发明提供了一种光伏组件的表面缺陷检测方法、装置、设备及存储介质,以解决针对光伏组件的表面缺陷检测速度慢和检测结果不准确的问题。
根据本发明的一方面,提供了一种光伏组件的表面缺陷检测方法,包括:
获取标注有缺陷标注框的完整光伏组件图像;所述缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置;
按照预设尺寸将所述完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像;
根据所述局部光伏组件图像和所述局部光伏组件图像包含的缺陷标注框构建样本图像集;
基于所述样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型;
将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果。
根据本发明的另一方面,提供了一种光伏组件的表面缺陷检测装置,
图像获取模块,用于获取标注有缺陷标注框的完整光伏组件图像;所述缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置;
图像分割模块,用于按照预设尺寸将所述完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像;
样本集构建模块,用于根据所述局部光伏组件图像和所述局部光伏组件图像包含的缺陷标注框构建样本图像集;
模型训练模块,用于基于所述样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型;
表面缺陷检测模块,用于将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的光伏组件的表面缺陷检测方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的光伏组件的表面缺陷检测方法。
本发明实施例的技术方案,通过获取标注有缺陷标注框的完整光伏组件图像;缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置;按照预设尺寸将完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像;根据局部光伏组件图像和局部光伏组件图像包含的缺陷标注框,构建样本图像集;基于样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型;将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果。通过包含完整的缺陷标注框的局部光伏组件图像构成的样本训练集训练得到目标表面缺陷检测模型,能够增强目标表面缺陷检测模型对局部表面缺陷的检测能力,从而提高了待检测光伏组件图像的表面缺陷的检测精度,解决了基于数字图像处理的传统检测算法的检测精度不高的问题;并且通过采用分割后的低图像分辨率的局部光伏组件图像构建样本图像集进行模型训练,用于对高图像分辨率的待检测光伏组件图像进行表面缺陷检测,能够提高待检测光伏组件图像的表面缺陷的检测速度,解决了传统的基于深度学习的人工智能检测算法的检测速度慢的问题。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种光伏组件的表面缺陷检测方法的流程图;
图2是本发明实施例二提供的一种光伏组件的表面缺陷检测方法的流程图;
图3是本发明实施例三提供的一种光伏组件的表面缺陷检测方法的流程图;
图4是本发明实施例四提供的一种光伏组件的表面缺陷检测装置的结构示意图;
图5是实现本发明实施例的光伏组件的表面缺陷检测方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”、“初始”和“目标”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是本发明实施例一提供的一种光伏组件的表面缺陷检测方法的流程图,本实施例可适用于检测光伏组件的表面缺陷的情况,该方法可以由光伏组件的表面缺陷检测装置来执行,该光伏组件的表面缺陷检测装置可以采用硬件和/或软件的形式实现,该光伏组件的表面缺陷检测装置可配置于电子设备中。如图1所示,该方法包括:
S110、获取标注有缺陷标注框的完整光伏组件图像;缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置。
其中,完整光伏组件图像是整个光伏组件构成的完整的图像,在本实施例中,在完整光伏组件图像上的每个表面缺陷上标注有缺陷标注框。缺陷标注框是用于标注表面缺陷的缺陷类型和缺陷位置的标注框。其中,缺陷位置可以采用缺陷标注框的位置坐标表示。一般的,缺陷标注框可以采用常用的矩形框。
在本实施例中,获取标注有缺陷标注框的完整光伏组件图像的方式可以是:获取光伏组件的完整光伏组件图像,采用标注工具对完整光伏组件图像的每个表面缺陷进行缺陷标注框的标注;在缺陷标注框上标记有缺陷类型和缺陷位置。获取光伏组件的完整光伏组件图像的方式可以是:采集整个光伏组件的多张局部图像,采用拼图算法将多张局部图像进行拼接得到完整光伏组件图像。
示例性的,采用四个面阵相机拍摄三次,得到12张像素为4000*3000局部图,对每张局部图进行畸变校正和矩形校正。利用SURF算法对相邻左右图进行特征匹配,透视变换后得到左右拼接图;利用SURF算法对拼接后的整行图进行特征匹配,透视变换后得到整图;利用平均灰度消除整图中的拼缝和色差。指定矩形区域进行裁切和去除背景,得到检测需要的感兴趣区域(region of interest,ROI),对利用标注工具在整图中对ROI区域进行缺陷标注框的标注,得到标注有缺陷标注框的完整光伏组件图像。
在一个可选实施例中,对完整光伏组件图像的表面缺陷进行缺陷标注框的标注的方式可以是:根据基于人工对完整光伏组件图像中包含的每个表面缺陷给出的缺陷检测结果(可以包含缺陷位置和缺陷类型),采用标注工具对完整光伏组件图像进行缺陷标注框的标注。
在另一个可选实施例中,对完整光伏组件图像的表面缺陷进行缺陷标注框的标注的方式可以是:在采用目标表面缺陷检测模型对待检测光伏组件图像进行表面缺陷检测,得到表面缺陷检测结果,并获取基于人工确定的待检测光伏组件图像的表面缺陷参照结果;根据表面缺陷参照结果和表面缺陷检测结果对存在误检和漏检的完整光伏组件图像进行缺陷标注框的自动标注。
S120、按照预设尺寸将完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像。
其中,局部光伏组件图像是指光伏组件中包含至少一个完整表面缺陷的局部图像。预设尺寸可以根据实际需求设定,本发明实施例对此不作限制。
在本实施例中,遍历完整光伏组件图像中的每个表面缺陷对应的缺陷标注框,按照预设尺寸通过智能分割算法将完整光伏组件图像分割成多个具有统一尺寸且包含完整的缺陷标注框的局部光伏组件图像。因此,每个局部光伏组件图像具有相同的尺寸,且包含完整的表面缺陷。
在一个可选实施例中,对于完整光伏组件图像上的每个缺陷标注框,以缺陷标注框的中心点为图像中心点,按照预设尺寸截取包含完整的缺陷标注框的局部图像作为局部光伏组件图像。为了获得包含完整的缺陷标注框的局部光伏组件图像,局部光伏组件图像需满足三个预设条件,第一预设条件为所述局部光伏组件图像不超出所述完整光伏组件图像的边界;所述第二预设条件为所述局部光伏组件图像不包含不完整的缺陷标注框;所述第三预设条件为所述局部光伏组件图像完全包含至少一个完整的缺陷标注框。
S130、根据局部光伏组件图像和局部光伏组件图像包含的缺陷标注框,构建样本图像集。
其中,样本图像集可以包括:训练样本图像集、验证样本图像集和测试样本图像集,依次用于对初始表面缺陷检测模型进行模型参数的训练、验证和测试。
在本实施例中,对于每一张局部光伏组件图像,对局部光伏组件图像包含的缺陷标注框中标记的缺陷位置,也即缺陷标注框相对完整光伏组件图像中的缺陷位置进行坐标变化,得到缺陷标注框相对局部光伏组件图像的缺陷位置;并根据缺陷标注框相对局部光伏组件图像的缺陷位置、缺陷类型和局部光伏组件图像构成样本图像。根据大量的局部光伏组件图像对应的样本图像构建样本图像集。并将样本图像集分为训练样本图像集、验证样本图像集和测试样本图像集三部分,用于对初始表面缺陷检测模型的模型参数的迭代更新。示例性的,
S140、基于样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型。
其中,初始表面缺陷检测模型是指未经训练或者未训练完备的表面缺陷检测模型。本实施例中,可以采用基于YOLOv8的卷积神经网络作为初始表面缺陷检测模型,以便快速识别多种目标,且对尺寸跨度大的目标有良好的检测效果。目标表面缺陷检测模型是指训练完备的表面缺陷检测模型。
在本实施例中,基于样本图像集对初始表面缺陷检测模型进行模型训练、验证和测试,得到目标表面缺陷检测模型。
S150、将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果。
其中,待检测光伏组件图像是指需要进行表面缺陷检测的光伏组件图像。一般待检测光伏组件图像是整个光伏组件的图像或者整个光伏组件中相对完整的一部分的图像。表面缺陷检测结果是用于表示待检测光伏组件图像是否存在表面缺陷,以及在存在表面缺陷的情况下,表面缺陷的缺陷类型以及缺陷位置和大小等。
在本实施例中,将待检测光伏组件图像输入训练好的目标表面缺陷检测模型中,通过目标表面缺陷检测模型对待检测光伏组件图像进行表面缺陷检测输出检测结果,根据输出的检测结果确定待检测光伏组件图像的表面缺陷检测结果。
示例性的,目标表面缺陷检测模型对待检测光伏组件图像进行表面缺陷检测的原理可以是结合测距算法以及多模型检测算法,得到每个组件的缺陷类别、位置以及大小。测距算法,具体包括:图像分割测距:通过对指定区域进行图像分割,计算分割区域的距离;模型检出测距:根据目标表面缺陷检测模型的检出框进行距离的计算;等效面积测距:通过计算面积来等效计算距离。本发明实施例对此不设限制。
本发明实施例的技术方案,通过获取标注有缺陷标注框的完整光伏组件图像;缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置;按照预设尺寸将完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像;根据局部光伏组件图像和局部光伏组件图像包含的缺陷标注框,构建样本图像集;基于样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型;将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果,通过包含完整的缺陷标注框的局部光伏组件图像构成的样本训练集训练得到目标表面缺陷检测模型,能够增强目标表面缺陷检测模型对局部表面缺陷的检测能力,从而提高了待检测光伏组件图像的表面缺陷的检测精度,并且通过采用分割后的低图像分辨率的局部光伏组件图像构建样本图像集进行模型训练,用于对高图像分辨率的待检测光伏组件图像进行表面缺陷检测,提高了待检测光伏组件图像的表面缺陷的检测速度。
实施例二
图2是本发明实施例二提供的一种光伏组件的表面缺陷检测方法的流程图,本实施例在上述实施例的基础上,进一步细化按照预设尺寸将所述完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像包括:对于所述完整光伏组件图像上的每个缺陷标注框,以所述缺陷标注框的中心点为扩展中心点向周围扩展预设尺寸的区域,得到扩展框;在所述扩展框不满足预设条件的情况下,对所述扩展框执行预设操作,以使所述扩展框满足预设条件;在所述扩展框满足预设条件的情况下,剪裁所述扩展框得到局部光伏组件图像。
如图2所示,该方法包括:
S210、获取标注有缺陷标注框的完整光伏组件图像;缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置。
S220、对于完整光伏组件图像上的每个缺陷标注框,以缺陷标注框的中心点为扩展中心点向周围扩展预设尺寸的区域,得到扩展框。
其中,扩展框是以缺陷标注框的中心点扩展预设尺寸得到的框。
在本实施例中,遍历完整光伏组件图像上每个表面缺陷,对于每个表面缺陷,获取表面缺陷对应的缺陷标注框的中心点作为扩展中心点,向周围扩展预设尺寸,得到扩展框。
为了保证扩展框包含的表面缺陷都是完成的,需要保证扩展框满足一定的预设条件。预设条件包括:第一预设条件、第二预设条件和第三预设条件;所述第一预设条件为所述扩展框不超出所述完整光伏组件图像的边界;所述第二预设条件为所述扩展框不包含不完整的缺陷标注框;所述第三预设条件为所述扩展框完全包含至少一个完整的缺陷标注框。
S230、在扩展框不满足预设条件的情况下,对扩展框执行预设操作,以使扩展框满足预设条件。
其中,预设操作可以根据扩展框不满足的预设条件确定,例如若扩展框不满足第一预设条件,也即扩展框超出完整光伏组件图像的边界,预设操作可以是平移操作和/或背景补全操作;若扩展框不满足第二预设条件,也即扩展框至少包含一个不完整的缺陷标注框,还可能包含一个或多个完整的缺陷标注框;预设操作可以是对平移操作和/或像素遮挡操作;若扩展框不满足第三预设条件,如扩展框只包含一个不完整的缺陷标注框;预设操作可以包括:平移操作、扩大预设尺寸和/或修改所述完整光伏组件图像的缺陷标注框的标注方式。
在本实施例中,当扩展框不满足上述任一个预设条件中的情况下,需要根据扩展框不满足的预设条件,执行对应的预设操作,使扩展框满足预设条件。
在一个可选实施例中,在所述扩展框不满足预设条件的情况下,对所述扩展框执行预设操作,以使所述扩展框满足预设条件,包括:
S231、在所述扩展框不满足任一预设条件的情况下,在完整光伏组件图像上对所述扩展框循环执行平移操作,以使所述扩展框满足所有预设条件。
在本实施例中,如果扩展框不满足上述任一个预设条件,则在完整光伏组件图像上对扩展框进行上下左右的平移,以使扩展框满足所有预设条件;或者平移操作遍历完整光伏组件图像中的所有像素位置点,扩展框仍然至少不满足一个预设条件。在这种情况下表示移动扩展框无法使扩展框满足所有的预设条件,还需进一步执行操作。
在另一个可选实施例中,在所述扩展框不满足预设条件的情况下,对所述扩展框执行预设操作,以使所述扩展框满足预设条件,还包括:
S232、在平移操作遍历所述完整光伏组件图像中的所有像素位置点后,所述扩展框仍不满足第一预设条件的情况下,对所述扩展框中超出所述完整光伏组件图像的背景区域进行像素补全。
在本实施例中,如果在平移操作遍历完整光伏组件图像中的所有像素位置点后,扩展框仍不满足第一预设条件,则获取扩展框中超出完整光伏组件图像的背景区域,对该背景区域进行像素补全。对超出完整光伏组件图像的背景区域进行像素补全的方式可以是采用预设像素对超出完整光伏组件图像的背景区域进行补全;也可以是从完整光伏组件图像中提取背景像素值,采用背景像素值对超出完整光伏组件图像的背景区域进行补全,以使扩展框中能够包含完整的背景。
S233、在平移操作遍历所述完整光伏组件图像中所有的像素位置点后,所述扩展框仍不满足第二预设条件的情况下,对所述扩展框中包含的不完整的缺陷标注框内的像素区域进行像素遮挡。
在本实施例中,如果在平移操作遍历完整光伏组件图像中的所有像素位置点后,扩展框仍不满足第二预设条件,则对扩展框中包含的不完整的缺陷标注框内的像素区域进行像素遮挡,以使扩展框不包含不完整的表面缺陷。
需要说明的是,在一个扩展框中被遮挡的表面缺陷,可以出现另一个扩展框中,并且使得另一个扩展框满足预设条件。
S234、在平移操作遍历所述完整光伏组件图像中所有的像素位置点后,所述扩展框仍不满足第三预设条件的情况下,扩大所述扩展框的预设尺寸和/或采用不同的标注方式对所述完整光伏组件图像进行缺陷标注框的标注,并返回执行对于所述完整光伏组件图像上的每个缺陷标注框,以所述缺陷标注框的中心点为扩展中心点向周围扩展预设尺寸的区域,得到扩展框的步骤。
其中,尺寸阈值是指扩展框被允许的尺寸的最大值。
示例性的,修改完整光伏组件图像的缺陷标注框的标注方式例如可以为调整缺陷标注框对应的感兴趣区域,将大的表面缺陷划分为多个小的且完整的标签缺陷,并对完整光伏组件图像中每个表面缺陷重新标注缺陷标注框。
在一个具体的示例中,在平移操作遍历所述完整光伏组件图像中所有的像素位置点后,所述扩展框仍不满足第三预设条件的情况下,扩大所述预设尺寸,并返回执行对于所述完整光伏组件图像上的每个缺陷标注框,以所述缺陷标注框的中心点为扩展中心点向周围扩展预设尺寸的区域,得到扩展框的步骤。
在另一个具体的示例中,在平移操作遍历所述完整光伏组件图像中所有的像素位置点后,所述扩展框仍不满足第三预设条件的情况下,修改所述完整光伏组件图像的缺陷标注框的标注方式,采用修改后的标注方式标注完整光伏组件图像的缺陷标注框,并返回执行对于所述完整光伏组件图像上的每个缺陷标注框,以所述缺陷标注框的中心点为扩展中心点向周围扩展预设尺寸的区域,得到扩展框的步骤。
在又一个具体的示例中,在平移操作遍历所述完整光伏组件图像中所有的像素位置点后,所述扩展框仍不满足第三预设条件的情况下,扩大所述预设尺寸,并返回执行对于所述完整光伏组件图像上的每个缺陷标注框,以所述缺陷标注框的中心点为扩展中心点向周围扩展预设尺寸的区域,得到扩展框的步骤,直到所述扩展框满足所有预设条件或者扩大后的预设尺寸达到尺寸阈值。在扩大后的预设尺寸达到尺寸阈值,且所述扩展框仍不满足第三预设条件的情况下,修改所述完整光伏组件图像的缺陷标注框的标注方式,采用修改后的标注方式标注完整光伏组件图像的缺陷标注框,并返回执行对于所述完整光伏组件图像上的每个缺陷标注框,以所述缺陷标注框的中心点为扩展中心点向周围扩展预设尺寸的区域,得到扩展框的步骤。
在又一个可选实施例中,若对完整光伏组件图像中的任一扩展框执行了上述所有预设操作之后,该扩展框依然不能满足所有的预设条件,可以选择舍弃完整光伏组件图像。
S240、在扩展框满足预设条件的情况下,剪裁扩展框包含的图像得到局部光伏组件图像。
在本实施例中,如果扩展框满足所有的预设条件,则对扩展框中包含的图像进行剪裁得到局部光伏组件图像。根据扩展框所满足的条件可以确定局部光伏组件图像至少包含一个完整的表面缺陷,不包含不完整的表面缺陷且背景完整。
S250、根据局部光伏组件图像和局部光伏组件图像包含的缺陷标注框构建样本图像集。
S260、基于样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型。
S270、将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果。
本发明实施例的技术方案,通过获取标注有缺陷标注框的完整光伏组件图像;缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置;按照预设尺寸将完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像;根据局部光伏组件图像和局部光伏组件图像包含的缺陷标注框,构建样本图像集;基于样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型;将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果,通过包含完整的缺陷标注框的局部光伏组件图像构成的样本训练集训练得到目标表面缺陷检测模型,能够增强目标表面缺陷检测模型对局部表面缺陷的检测能力,从而提高了待检测光伏组件图像的表面缺陷的检测精度,并且通过采用分割后的低图像分辨率的局部光伏组件图像构建样本图像集进行模型训练,用于对高图像分辨率的待检测光伏组件图像进行表面缺陷检测,提高了待检测光伏组件图像的表面缺陷的检测速度。
实施例三
图3是本发明实施例三提供的一种光伏组件的表面缺陷检测方法的流程图,本实施例在上述实施例的基础上,进一步细化将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果,包括:将所述待检测光伏组件图像输入目标表面缺陷检测模型,获得第一检测结果;在所述第一检测结果表示不存在缺陷的情况下,基于预设缺陷类型对所述完整光伏组件图像进行裁切和预处理,得到待检测局部图;在所述第一检测结果表示存在缺陷的情况下,根据所述缺陷的缺陷位置信息对所述完整光伏组件图像的缺陷区域进行裁切,得到待检测局部图;将所述待检测局部图输入所述目标表面缺陷检测模型,得到第二检测结果;将所述第二检测结果确定为表面缺陷检测结果。
如图3所示,该方法包括:
S310、获取标注有缺陷标注框的完整光伏组件图像;缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置。
S320、按照预设尺寸将完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像。
S330、根据局部光伏组件图像和局部光伏组件图像包含的缺陷标注框构建样本图像集。
S340、基于样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型。
S350、将待检测光伏组件图像输入目标表面缺陷检测模型,获得第一检测结果。
其中,第一检测结果是针对整张待检测光伏组件图像的缺陷检测结果。第一检测结果可以包括:不存在表面缺陷或者存在表面缺陷,存在表面缺陷的情况下还可以包括表面缺陷的缺陷位置、缺陷个数、缺陷大小、缺陷的检出置信度、缺陷的颜色深浅、缺陷连续出现的次数和缺陷类型。
在本实施例中,将待检测光伏组件图像输入目标表面缺陷检测模型,获得目标表面缺陷检测模型输出的待检测光伏组件图像的第一检测结果。由于第一检测结果用于反映待检测光伏组件图像从整体上的表面缺陷检测情况,可能在局部上对表面缺陷的检测结果存在误差,因此,本发明实施例进一步确定待检测光伏组件图像在局部上的检测结果。
S360、在第一检测结果表示不存在表面缺陷的情况下,基于预设缺陷类型对待检测光伏组件图像进行裁切和预处理,得到待检测局部图。
其中,待检测局部图是对完整光伏组件图像裁切得到局部的图像,为了提高局部图像的清晰度,可以对裁切得到的图像进行预处理,例如可以包括:图像增强和图像滤波等。预设缺陷类型是预先确定光伏组件可能存在的缺陷类型,例如可以包括:破片、焊接不良、划痕和污渍等。
在本实施例中,在第一检测结果表示不存在表面缺陷的情况下,基于预先设置的预设缺陷类型分别对待检测光伏组件图像进行不同的裁切和预处理,得到多个待检测局部图。
示例性的,基于预设缺陷类型对待检测光伏组件图像进行裁切和预处理的方式可以是:若预设缺陷类型为焊接不良,则全面缺陷较大概率存在光伏组件需要焊接的边缘。因此,可以按照每个光伏组件的横向和纵向中轴线进行裁切,得到待检测局部图。
S370、在第一检测结果表示存在表面缺陷的情况下,根据第一检测结果包含的缺陷位置对待检测光伏组件图像的缺陷区域进行裁切和预处理,得到待检测局部图。
在本实施例中,在第一检测结果表示存在表面缺陷的情况下,根据第一检测结果包含的缺陷位置对待检测光伏组件图像的缺陷区域进行裁切,使得第一检测结果所表示的存在全面缺陷区域被裁切下来,并经过预处理得到待检测局部图。
S380、将待检测局部图输入目标表面缺陷检测模型,得到第二检测结果;将第二检测结果确定为表面缺陷检测结果。
其中,第二检测结果是针对待检测局部图的缺陷检测结果。第二检测结果同样可以包括:不存在表面缺陷或者存在表面缺陷,存在表面缺陷的情况下还包括表面缺陷的缺陷位置和缺陷类型。
在本实施例中,将待检测光伏组件图像进行裁切和预处理得到的待检测局部图像输入目标表面缺陷检测模型,得到目标表面缺陷检测模型输出的待检测局部图像的第二检测结果。并将第二检测结果表示的各局部区域的检测结果确定为待检测光伏组件图像的表面缺陷检测结果,例如待检测光伏组件图像不存在表面缺陷,或者待检测光伏组件图像存在表面缺陷,以及存在表面缺陷的情况下,表面缺陷的缺陷位置、缺陷个数、缺陷大小、缺陷的检出置信度、缺陷的颜色深浅、缺陷连续出现的次数和缺陷类型。
本发明实施例的技术方案,通过获取标注有缺陷标注框的完整光伏组件图像;缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置;按照预设尺寸将完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像;根据局部光伏组件图像和局部光伏组件图像包含的缺陷标注框构建样本图像集;基于样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型;将待检测光伏组件图像输入目标表面缺陷检测模型,获得第一检测结果。在第一检测结果表示不存在表面缺陷的情况下,基于预设缺陷类型对待检测光伏组件图像进行裁切和预处理,得到待检测局部图;在第一检测结果表示存在表面缺陷的情况下,根据第一检测结果包含的缺陷位置对待检测光伏组件图像的缺陷区域进行裁切和预处理,得到待检测局部图。将待检测局部图输入目标表面缺陷检测模型,得到第二检测结果;将第二检测结果确定为表面缺陷检测结果。通过整体上的表面缺陷检测结果和局部上的表面缺陷检测结果综合确定最中的表面缺陷检测结果,进一步提高了待检测光伏组件图像的表面缺陷的检测精度。
在一个可选实施例中,将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果之后,还包括:
获取所述待检测光伏组件图像的表面缺陷参照结果;
将所述表面缺陷参照结果为不存在缺陷,且所述表面缺陷检测结果为存在缺陷的所述待检测光伏组件图像确定为误检光伏组件图像;所述误检光伏组件图像用于生成所述目标表面缺陷检测模型的负样本图像;
将所述表面缺陷参照结果为存在缺陷,且所述表面缺陷检测结果为不存在缺陷的待检测光伏组件图像确定为漏检光伏组件图像;
根据所述表面缺陷参照结果对所述漏检光伏组件图像进行缺陷标注框的标注,得到标注有缺陷标注框的完整光伏组件图像;所述标注有缺陷标注框的完整光伏组件图像用于生成所述目标表面缺陷检测模型的正样本图像。
其中,表面缺陷参照结果可以理解为待检测光伏组件图像的表面缺陷的标准结果,用于作为表面缺陷检测结果的参照,进一步验证表面缺陷检测结果是否准确。表面缺陷参照结果可以是基于专业技术人员所认定的结果。
在本实施例中,在确定表面缺陷检测结果之后,进一步获取待检测光伏组件图像的表面缺陷参照结果,将表面缺陷参照结果和表面缺陷检测结果进行比较,若二者相同,则认为表面缺陷检测结果准确;若二者不同,认为表面缺陷检测结果不准确。进一步的,将表面缺陷参照结果为不存在缺陷,且所述表面缺陷检测结果为存在缺陷的待检测光伏组件图像确定为误检光伏组件图像;该误检光伏组件图像可以用于生成负样本图像,对目标表面缺陷检测模型进行更新。将表面缺陷参照结果为存在缺陷,且表面缺陷检测结果为不存在缺陷的待检测光伏组件图像确定为漏检光伏组件图像;根据表面缺陷参照结果包含的缺陷位置和缺陷类型对所述漏检光伏组件图像进行缺陷标注框的自动标注,得到标注有缺陷标注框的完整光伏组件图像。标注有缺陷标注框的完整光伏组件图像可以用于生成正样本图像,对目标表面缺陷检测模型进行更新。
标注有缺陷标注框的完整光伏组件图像生成正样本图像的步骤,可以参考S120至S130,本发明实施例对此不作赘述。
本实施例通过将误检光伏组件图像作为负样本图像,漏检光伏组件图像作为正样本图像对目标表面缺陷检测模型进行再次更新,更进一步降低了目标表面缺陷检测模型的误检率和漏检率,提高了目标表面缺陷检测模型的检测准确度。
实施例四
图4为本发明实施例三提供的一种光伏组件的表面缺陷检测装置的结构示意图。如图4所示,该装置包括:图像获取模块410、图像分割模块420、样本集构建模块430、模型训练模块440和表面缺陷检测模块450;其中,
图像获取模块410,用于获取标注有缺陷标注框的完整光伏组件图像;所述缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置;
图像分割模块420,用于按照预设尺寸将所述完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像;
样本集构建模块430,用于根据所述局部光伏组件图像和所述局部光伏组件图像包含的缺陷标注框构建样本图像集;
模型训练模块440,用于基于所述样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型;
表面缺陷检测模块450,用于将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果。
本发明实施例的技术方案,通过获取标注有缺陷标注框的完整光伏组件图像;缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置;按照预设尺寸将完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像;根据局部光伏组件图像和局部光伏组件图像包含的缺陷标注框,构建样本图像集;基于样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型;将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果,提高了对待检测光伏组件图像的表面缺陷的检测精度和检测速度。
可选的,图像分割模块420,包括:
扩展单元,用于对于所述完整光伏组件图像上的每个缺陷标注框,以所述缺陷标注框的中心点为扩展中心点向周围扩展预设尺寸的区域,得到扩展框;
操作执行单元,用于在所述扩展框不满足预设条件的情况下,对所述扩展框执行预设操作,以使所述扩展框满足预设条件;
图像剪裁单元,用于在所述扩展框满足预设条件的情况下,剪裁所述扩展框包含的图像得到局部光伏组件图像。
可选的,所述预设条件包括:第一预设条件、第二预设条件和第三预设条件;所述第一预设条件为所述扩展框不超出所述完整光伏组件图像的边界;所述第二预设条件为所述扩展框不包含不完整的缺陷标注框;所述第三预设条件为所述扩展框完全包含至少一个完整的缺陷标注框。
可选的,操作执行单元,包括:
平移子单元,用于在所述扩展框不满足任一预设条件的情况下,在完整光伏组件图像上对所述扩展框循环执行平移操作,以使所述扩展框满足所有预设条件。
可选的,操作执行单元,还包括:
像素补全单元,用于在平移操作遍历所述完整光伏组件图像中的所有像素位置点后,所述扩展框仍不满足第一预设条件的情况下,对所述扩展框中超出所述完整光伏组件图像的背景区域进行像素补全;
像素遮挡单元,用于在平移操作遍历所述完整光伏组件图像中所有的像素位置点后,所述扩展框仍不满足第二预设条件的情况下,对所述扩展框中包含的不完整的缺陷标注框内的像素区域进行像素遮挡;
修改单元,用于在平移操作遍历所述完整光伏组件图像中所有的像素位置点后,所述扩展框仍不满足第三预设条件的情况下,扩大所述扩展框的预设尺寸和/或采用不同的标注方式对所述完整光伏组件图像进行缺陷标注框的标注,并返回执行对于所述完整光伏组件图像上的每个缺陷标注框,以所述缺陷标注框的中心点为扩展中心点向周围扩展预设尺寸的区域,得到扩展框的步骤。
可选的,表面缺陷检测模块,具体用于:
将所述待检测光伏组件图像输入目标表面缺陷检测模型,获得第一检测结果;
在所述第一检测结果表示不存在表面缺陷的情况下,基于预设缺陷类型对所述待检测光伏组件图像进行裁切和预处理,得到待检测局部图;
在所述第一检测结果表示存在表面缺陷的情况下,根据所述第一检测结果包含的缺陷位置对所述待检测光伏组件图像的缺陷区域进行裁切和预处理,得到待检测局部图;
将所述待检测局部图输入所述目标表面缺陷检测模型,得到第二检测结果;
将所述第二检测结果确定为表面缺陷检测结果。
可选的,还包括:
参照结果获取模块,用于将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果之后,获取所述待检测光伏组件图像的表面缺陷参照结果;
误检图像确定模块,用于将所述表面缺陷参照结果为不存在缺陷,且所述表面缺陷检测结果为存在缺陷的所述待检测光伏组件图像确定为误检光伏组件图像;所述误检光伏组件图像用于生成所述目标表面缺陷检测模型的负样本图像;
漏检图像确定模块,用于将所述表面缺陷参照结果为存在缺陷,且所述表面缺陷检测结果为不存在缺陷的待检测光伏组件图像确定为漏检光伏组件图像;
标注模块,用于根据所述表面缺陷参照结果对所述漏检光伏组件图像进行缺陷标注框的标注,得到标注有缺陷标注框的完整光伏组件图像;所述标注有缺陷标注框的完整光伏组件图像用于生成所述目标表面缺陷检测模型的正样本图像。
本发明实施例所提供的光伏组件的表面缺陷检测装置可执行本发明任意实施例所提供的光伏组件的表面缺陷检测方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如光伏组件的表面缺陷检测方法。
在一些实施例中,光伏组件的表面缺陷检测方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的光伏组件的表面缺陷检测方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行光伏组件的表面缺陷检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种光伏组件的表面缺陷检测方法,其特征在于,包括:
获取标注有缺陷标注框的完整光伏组件图像;所述缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置;
按照预设尺寸将所述完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像;
根据所述局部光伏组件图像和所述局部光伏组件图像包含的缺陷标注框构建样本图像集;
基于所述样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型;
将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果。
2.根据权利要求1所述的方法,其特征在于,按照预设尺寸将所述完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像,包括:
对于所述完整光伏组件图像上的每个缺陷标注框,以所述缺陷标注框的中心点为扩展中心点向周围扩展预设尺寸的区域,得到扩展框;
在所述扩展框不满足预设条件的情况下,对所述扩展框执行预设操作,以使所述扩展框满足预设条件;
在所述扩展框满足预设条件的情况下,剪裁所述扩展框包含的图像得到局部光伏组件图像。
3.根据权利要求2所述的方法,其特征在于,所述预设条件包括:第一预设条件、第二预设条件和第三预设条件;所述第一预设条件为所述扩展框不超出所述完整光伏组件图像的边界;所述第二预设条件为所述扩展框不包含不完整的缺陷标注框;所述第三预设条件为所述扩展框完全包含至少一个完整的缺陷标注框。
4.根据权利要求3所述的方法,其特征在于,在所述扩展框不满足预设条件的情况下,对所述扩展框执行预设操作,以使所述扩展框满足预设条件,包括:
在所述扩展框不满足任一预设条件的情况下,在完整光伏组件图像上对所述扩展框循环执行平移操作,以使所述扩展框满足所有预设条件。
5.根据权利要求4所述的方法,其特征在于,在所述扩展框不满足预设条件的情况下,对所述扩展框执行预设操作,以使所述扩展框满足预设条件,还包括:
在平移操作遍历所述完整光伏组件图像中的所有像素位置点后,所述扩展框仍不满足第一预设条件的情况下,对所述扩展框中超出所述完整光伏组件图像的背景区域进行像素补全;
在平移操作遍历所述完整光伏组件图像中所有的像素位置点后,所述扩展框仍不满足第二预设条件的情况下,对所述扩展框中包含的不完整的缺陷标注框内的像素区域进行像素遮挡;
在平移操作遍历所述完整光伏组件图像中所有的像素位置点后,所述扩展框仍不满足第三预设条件的情况下,扩大所述扩展框的预设尺寸和/或采用不同的标注方式对所述完整光伏组件图像进行缺陷标注框的标注,并返回执行对于所述完整光伏组件图像上的每个缺陷标注框,以所述缺陷标注框的中心点为扩展中心点向周围扩展预设尺寸的区域,得到扩展框的步骤。
6.根据权利要求1所述的方法,其特征在于,将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果,包括:
将所述待检测光伏组件图像输入目标表面缺陷检测模型,获得第一检测结果;
在所述第一检测结果表示不存在表面缺陷的情况下,基于预设缺陷类型对所述待检测光伏组件图像进行裁切和预处理,得到待检测局部图;
在所述第一检测结果表示存在表面缺陷的情况下,根据所述第一检测结果包含的缺陷位置对所述待检测光伏组件图像的缺陷区域进行裁切和预处理,得到待检测局部图;
将所述待检测局部图输入所述目标表面缺陷检测模型,得到第二检测结果;
将所述第二检测结果确定为表面缺陷检测结果。
7.根据权利要求6所述的方法,其特征在于,将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果之后,还包括:
获取所述待检测光伏组件图像的表面缺陷参照结果;
将所述表面缺陷参照结果为不存在缺陷,且所述表面缺陷检测结果为存在缺陷的所述待检测光伏组件图像确定为误检光伏组件图像;所述误检光伏组件图像用于生成所述目标表面缺陷检测模型的负样本图像;
将所述表面缺陷参照结果为存在缺陷,且所述表面缺陷检测结果为不存在缺陷的待检测光伏组件图像确定为漏检光伏组件图像;
根据所述表面缺陷参照结果对所述漏检光伏组件图像进行缺陷标注框的标注,得到标注有缺陷标注框的完整光伏组件图像;所述标注有缺陷标注框的完整光伏组件图像用于生成所述目标表面缺陷检测模型的正样本图像。
8.一种光伏组件的表面缺陷检测装置,其特征在于,包括:
图像获取模块,用于获取标注有缺陷标注框的完整光伏组件图像;所述缺陷标注框用于标注光伏组件中每个表面缺陷的缺陷类型和缺陷位置;
图像分割模块,用于按照预设尺寸将所述完整光伏组件图像分割为包含完整的缺陷标注框的局部光伏组件图像;
样本集构建模块,用于根据所述局部光伏组件图像和所述局部光伏组件图像包含的缺陷标注框构建样本图像集;
模型训练模块,用于基于所述样本图像集训练初始表面缺陷检测模型,得到目标表面缺陷检测模型;
表面缺陷检测模块,用于将待检测光伏组件图像输入目标表面缺陷检测模型,获得表面缺陷检测结果。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的光伏组件的表面缺陷检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的光伏组件的表面缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410242863.3A CN118014971A (zh) | 2024-03-04 | 2024-03-04 | 光伏组件的表面缺陷检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410242863.3A CN118014971A (zh) | 2024-03-04 | 2024-03-04 | 光伏组件的表面缺陷检测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118014971A true CN118014971A (zh) | 2024-05-10 |
Family
ID=90959358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410242863.3A Pending CN118014971A (zh) | 2024-03-04 | 2024-03-04 | 光伏组件的表面缺陷检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118014971A (zh) |
-
2024
- 2024-03-04 CN CN202410242863.3A patent/CN118014971A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112581463B (zh) | 图像缺陷的检测方法、装置、电子设备、存储介质及产品 | |
CN113469997B (zh) | 平面玻璃的检测方法、装置、设备和介质 | |
CN112989995B (zh) | 文本检测方法、装置及电子设备 | |
CN114495098B (zh) | 一种基于显微镜图像的盘星藻类细胞统计方法及系统 | |
CN116952958B (zh) | 缺陷检测方法、装置、电子设备及存储介质 | |
WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
CN115471476A (zh) | 一种部件缺陷检测方法、装置、设备及介质 | |
CN116071272A (zh) | 一种图像校正方法、装置、电子设备及其存储介质 | |
CN115272290A (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
CN117372663A (zh) | 原木端面遮挡的补全方法、装置、设备及存储介质 | |
CN117333443A (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
CN115700758A (zh) | 一种精子活性的检测方法、装置、设备及存储介质 | |
CN118014971A (zh) | 光伏组件的表面缺陷检测方法、装置、设备及存储介质 | |
CN114581890B (zh) | 确定车道线的方法、装置、电子设备和存储介质 | |
CN114037865B (zh) | 图像处理方法、装置、设备、存储介质和程序产品 | |
CN116258714B (zh) | 一种缺陷识别方法、装置、电子设备和存储介质 | |
CN117689660B (zh) | 基于机器视觉的保温杯温度质检方法 | |
CN116883488B (zh) | 一种圆形管的中心位置确定方法、装置、设备及介质 | |
CN114092739B (zh) | 图像处理方法、装置、设备、存储介质和程序产品 | |
CN116952166B (zh) | 汽车门把手总成的零件检测方法、装置、设备及介质 | |
CN117173185B (zh) | 轧制板材的区域检测方法及装置、存储介质、计算机设备 | |
CN116309587A (zh) | 一种布料瑕疵检测方法、装置、电子设备及存储介质 | |
CN115578354A (zh) | 图像处理方法、装置、设备和介质 | |
CN117275006A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN117671242A (zh) | 一种自适应密度的密集目标检测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |