CN114549393A - 图像标注方法、装置、设备及计算机存储介质 - Google Patents
图像标注方法、装置、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN114549393A CN114549393A CN202110886572.4A CN202110886572A CN114549393A CN 114549393 A CN114549393 A CN 114549393A CN 202110886572 A CN202110886572 A CN 202110886572A CN 114549393 A CN114549393 A CN 114549393A
- Authority
- CN
- China
- Prior art keywords
- image
- position information
- original image
- defect
- defects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 230000007547 defect Effects 0.000 claims abstract description 274
- 238000005520 cutting process Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims description 52
- 238000010008 shearing Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 abstract description 46
- 238000010586 diagram Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- JBRZTFJDHDCESZ-UHFFFAOYSA-N AsGa Chemical compound [As]#[Ga] JBRZTFJDHDCESZ-UHFFFAOYSA-N 0.000 description 1
- 229910001218 Gallium arsenide Inorganic materials 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- KTSFMFGEAAANTF-UHFFFAOYSA-N [Cu].[Se].[Se].[In] Chemical compound [Cu].[Se].[Se].[In] KTSFMFGEAAANTF-UHFFFAOYSA-N 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像标注方法、装置、设备及计算机存储介质。该方法包括:获取光伏组件的原始图像;沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,得到目标子图像,以及所述目标子图像在所述原始图像中的图像位置信息;对所述目标子图像中的光伏组件进行缺陷检测,得到所述目标子图像中的缺陷位置信息;根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注。对原始图像剪切后得到的目标子图像中不包含栅线或仅包含不完整的栅线,因此对目标子图像进行检测时可降低将栅线识别为缺陷的概率。可见通过检测目标子图像的缺陷,然后将检测到的缺陷转换至原始图像中并标注,可得精确标注的图像。
Description
技术领域
本申请涉及图像处理领域,具体涉及一种图像标注方法、装置、设备及计算机存储介质。
背景技术
当今,能源供应在世界范围内已经进入到一个紧缺的时代,大量的可持续的新能源被人们广泛关注。太阳能光伏发电对缓解当今的能源危机和改善生态环境具有非常重要的意义。太阳能电池是由能产生光伏效应的材料,诸如硅、砷化镓、硒铟铜或其他材料等制成,从而利用光伏效应将光能转换成电能。目前由多片太阳能电池单元组合而成的光伏组件被大量投入使用,例如,光伏组件被应用于构建发电系统,或用于作为建筑物的幕墙或安装于建筑物的屋顶上。但是生产线精密度不足时,光伏组件上可能会出现缺角等缺陷,因此需要对光伏组件中的缺陷进行检测,并在包含光伏组件的图像上标注出来以便维修人员进行发现并改善缺陷。
传统的缺陷标注方法通过对光伏组件的图像进行缺陷识别并自动标注实现,但是这种方法容易将光伏组件图像中非缺陷的部分误识别为缺陷,因此标注精度不高。
发明内容
本申请提供一种图像标注方法、装置、设备及计算机存储介质,旨在解决现有的方法容易将光伏组件图像中非缺陷的部分误识别为缺陷,因此标注精度不高的问题。
第一方面,本申请提供一种图像标注方法,所述方法包括:
获取光伏组件的原始图像;
沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,得到目标子图像,以及所述目标子图像在所述原始图像中的图像位置信息;
对所述目标子图像中的光伏组件进行缺陷检测,得到所述目标子图像中的缺陷位置信息;
根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注。
在本申请一种可能的实现方式中,所述根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注,包括:
提取所述图像位置信息中子图像顶点的第一位置信息,并提取所述缺陷位置信息中缺陷顶点的第二位置信息;
根据所述第一位置信息,确定所述第二位置信息在所述原始图像中对应的叠加映射位置信息;
根据所述叠加映射位置信息,对所述原始图像中光伏组件的缺陷进行标注。
在本申请一种可能的实现方式中,所述沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,得到目标子图像,以及在所述原始图像中所述目标子图像的图像位置信息,包括:
获取所述原始图像中构成图像边框的边框像素点,以及所述边框像素点的灰度值;
根据所述灰度值,判断所述图像边框是否包括所述光伏组件的电池板框架;
若所述图像边框包括所述电池板框架,则对所述边框像素点进行剪切,得到电池板图像;
沿所述电池板图像中所述光伏组件的栅线对所述电池板图像进行剪切处理,得到目标子图像,以及在所述原始图像中所述目标子图像的图像位置信息。
在本申请一种可能的实现方式中,所述根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注,包括:
对所述原始图像中光伏组件的缺陷进行识别,得到所述原始图像中缺陷的缺陷类型以及所述缺陷类型对应的缺陷标识;
根据所述图像位置信息和所述缺陷位置信息,确定所述原始图像中缺陷的叠加映射位置信息;
根据所述缺陷标识和所述叠加映射位置信息,对所述原始图像中的缺陷进行标注。
在本申请一种可能的实现方式中,所述根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注之后,所述方法还包括:
根据预设的划分尺寸,对所述原始图像进行划分,得到多个划分子区域和各所述划分子区域的子区域位置信息;
获取所述原始图像中缺陷的叠加映射位置信息;
根据所述叠加映射位置信息和各所述子区域位置信息,对所述原始图像进行剪切,得到划分子图像,其中,所述划分子图像中包含已标注好的缺陷。
在本申请一种可能的实现方式中,所述根据所述叠加映射位置信息和各所述子区域位置信息,对所述原始图像进行剪切,得到划分子图像,包括:
提取所述叠加映射位置信息中缺陷顶点的第三位置信息;
根据所述第三位置信息,计算得到所述原始图像中缺陷的中点位置信息;
遍历各所述子区域位置信息,得到包含所述中点位置信息的目标位置信息;
根据所述目标位置信息,对所述原始图像进行剪切,得到划分子图像。
在本申请一种可能的实现方式中,所述沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,包括:
获取所述原始图像中像素点的像素值;
根据所述像素值,计算得到所述原始图像中像素点的边缘强度;
根据所述边缘强度,确定所述原始图像中栅线的栅线位置信息;
根据所述栅线位置信息对所述原始图像进行剪切处理。
第二方面,本申请提供一种图像标注装置,所述图像标注装置包括:
获取单元,用于获取光伏组件的原始图像;
剪切单元,用于沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,得到目标子图像,以及所述目标子图像在所述原始图像中的图像位置信息;
检测单元,用于对所述目标子图像中的光伏组件进行缺陷检测,得到所述目标子图像中的缺陷位置信息;
标注单元,用于根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注。
在本申请一种可能的实现方式中,所述标注单元还用于:
提取所述图像位置信息中子图像顶点的第一位置信息,并提取所述缺陷位置信息中缺陷顶点的第二位置信息;
根据所述第一位置信息,确定所述第二位置信息在所述原始图像中对应的叠加映射位置信息;
根据所述叠加映射位置信息,对所述原始图像中光伏组件的缺陷进行标注。
在本申请一种可能的实现方式中,所述剪切单元还用于:
获取所述原始图像中构成图像边框的边框像素点,以及所述边框像素点的灰度值;
根据所述灰度值,判断所述图像边框是否包括所述光伏组件的电池板框架;
若所述图像边框包括所述电池板框架,则对所述边框像素点进行剪切,得到电池板图像;
沿所述电池板图像中所述光伏组件的栅线对所述电池板图像进行剪切处理,得到目标子图像,以及在所述原始图像中所述目标子图像的图像位置信息。
在本申请一种可能的实现方式中,所述标注单元还用于:
对所述原始图像中光伏组件的缺陷进行识别,得到所述原始图像中缺陷的缺陷类型以及所述缺陷类型对应的缺陷标识;
根据所述图像位置信息和所述缺陷位置信息,确定所述原始图像中缺陷的叠加映射位置信息;
根据所述缺陷标识和所述叠加映射位置信息,对所述原始图像中的缺陷进行标注。
在本申请一种可能的实现方式中,所述图像标注装置还包括划分单元,所述划分单元用于:
根据预设的划分尺寸,对所述原始图像进行划分,得到多个划分子区域和各所述划分子区域的子区域位置信息;
获取所述原始图像中缺陷的叠加映射位置信息;
根据所述叠加映射位置信息和各所述子区域位置信息,对所述原始图像进行剪切,得到划分子图像,其中,所述划分子图像中包含已标注好的缺陷。
在本申请一种可能的实现方式中,所述划分单元用于:
提取所述叠加映射位置信息中缺陷顶点的第三位置信息;
根据所述第三位置信息,计算得到所述原始图像中缺陷的中点位置信息;
遍历各所述子区域位置信息,得到包含所述中点位置信息的目标位置信息;
根据所述目标位置信息,对所述原始图像进行剪切,得到划分子图像。
在本申请一种可能的实现方式中,所述剪切单元还用于:
获取所述原始图像中像素点的像素值;
根据所述像素值,计算得到所述原始图像中像素点的边缘强度;
根据所述边缘强度,确定所述原始图像中栅线的栅线位置信息;
根据所述栅线位置信息对所述原始图像进行剪切处理。
第三方面,本申请还提供一种图像标注设备,所述图像标注设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行本申请提供的任一种图像标注方法中的步骤。
第四方面,本申请还提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行所述的图像标注方法中的步骤。
综上所述,本申请包括:获取光伏组件的原始图像;沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,得到目标子图像,以及所述目标子图像在所述原始图像中的图像位置信息;对所述目标子图像中的光伏组件进行缺陷检测,得到所述目标子图像中的缺陷位置信息;根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注。对原始图像剪切后得到的目标子图像中不包含栅线或仅包含不完整的栅线,因此对目标子图像进行检测时可以降低将栅线识别为缺陷的概率。可见,通过检测目标子图像中的缺陷,然后将目标子图像中检测到的缺陷转换至原始图像中并标注,可以得到精确标注的图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像标注方法的应用场景示意图;
图2是本申请实施例中提供的图像标注方法的一种流程示意图;
图3(a)是本申请实施例中提供的图像位置信息的一种示意图;
图3(b)是本申请实施例中提供的缺陷位置信息的一种示意图
图4是本申请实施例中提供的得到目标子图像和图像子图像的图像位置信息的一种流程示意图;
图5是本申请实施例中提供的边框像素点的一种示意图;
图6是本申请实施例中提供的根据缺陷标识对原始图像中的缺陷进行标注的一种流程示意图;
图7是本申请实施例中提供的得到划分子图像的一种流程示意图;
图8是本申请实施例中提供的划分子图像的一种示意图;
图9是本申请实施例中提供的图像标注装置的一个实施例结构示意图;
图10是本申请实施例中提供的图像标注设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的过程进行详细阐述,以避免不必要的细节使本申请实施例的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
本申请实施例提供一种图像标注方法、装置、设备和计算机存储介质。其中,该图像标注装置可以集成在图像标注设备中,该图像标注设备可以是服务器,也可以是终端等设备。
首先,在介绍本申请实施例之前,先介绍下本申请实施例关于应用背景的相关内容。
光伏组件是由多个太阳能电池片采用串/并联的方式组成的电池片组件。生产线精密度不足时,组成光伏组件的太阳能电池片上会出现缺角、崩边或脱晶等电池片缺陷,或者太阳能电池片上附有异物时,同样认为光伏组件上出现缺陷。为了发现这些缺陷,目前通常使用的方法是通过生产线上设置的图像获取装置拍摄组装好的光伏组件,并对拍摄得到的图像进行缺陷检测和标注,以方便工作人员判断光伏组件中是否存在缺陷,进而可以去除光伏组件中的不良品。
但是这种直接对图像进行检测和标注的方法准确度并不理想。对于光伏组件,由于太阳能电池片连接时不宜靠得太紧,其中的太阳能电池片之间会存在称为栅线的间隙。在对图像进行缺陷检测时,可能将栅线误识别为太阳能电池片上存在的缺陷,进而在图像上将栅线标注为缺陷。因此这种方法不仅会进行大量无效的运算,还会对没有缺陷的图像进行错误标注,浪费工作人员的时间。
因此本申请实施例提供了一种能够得到精确标注图像的标注方法。
本申请实施例图像标注方法的执行主体可以为本申请实施例提供的图像标注装置,或者集成了该图像标注装置的服务器设备、物理主机或者用户设备(User Equipment,UE)等不同类型的图像标注设备,其中,图像标注装置可以采用硬件或者软件的方式实现,UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant,PDA)等终端设备。
该图像标注设备可以采用单独运行的工作方式,或者也可以采用设备集群的工作方式。
参见图1,图1是本申请实施例所提供的图像标注系统的场景示意图。其中,该图像标注系统可以包括图像标注设备100,图像标注设备100中集成有图像标注装置。
另外,如图1所示,该图像标注系统还可以包括存储器200,用于存储数据,如存储图像数据。
需要说明的是,图1所示的图像标注系统的场景示意图仅仅是一个示例,本申请实施例描述的图像标注系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着图像标注系统的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。
下面,开始介绍本申请实施例提供的图像标注方法,本申请实施例中以图像标注设备作为执行主体,为了简化与便于描述,后续方法实施例中将省略该执行主体。
参照图2,图2是本申请实施例提供的图像标注方法的一种流程示意图。需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。该图像标注方法具体可以包括以下步骤201~步骤204,其中:
201、获取光伏组件的原始图像。
原始图像是指图像获取装置对光伏组件拍摄后得到的图像。本申请实施例对获取原始图像的方法不进行限制,可以通过照相机、摄像机等图像获取装置对光伏组件进行拍摄,以得到原始图像。本申请实施例对原始图像的图像类型也不进行限制,原始图像可以是灰度图像,RGB图像或HSV图像等图像类型中的任意一者。
进一步地,原始图像中可以只包含一个光伏组件,也可以包含多个光伏组件,以减少图像的总数,节省存储器200中的存储空间。原始图像包含的光伏组件数量可以根据实际场景的精度需要进行调整,例如在需要较高的精度,并且存储器200是高存储量的企业级分布式存储系统时,可以设置图像获取装置每次只拍摄一个光伏组件,使每一张原始图像中只包含一个光伏组件。相反地,当精度需求不高,并且存储器200是低存储量的闪存卡时,可以设置图像获取装置每次拍摄5个,或者10个光伏组件,使每一张原始图像中包含对应数量的光伏组件。
202、沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,得到目标子图像,以及在所述原始图像中所述目标子图像的图像位置信息。
目标子图像是沿栅线剪切后得到的仅包含一个太阳能电池片的图像。本申请实施例可以每次仅对一张子图像进行标注,也可以同时对多张子图像进行并行标注,因此,可以理解的是,目标子图像是对原始图像进行剪切处理后得到的多张子图像中的一张或多张。由于图像标注装置沿栅线对原始图像进行了剪切,在目标子图像中不会存在完整的栅线,因此对目标子图像进行检测和标注时,可以降低把栅线误识别成缺陷的概率。
示例性地,可以通过以下步骤对原始图像进行剪切,需要说明的是,以下步骤仅为举例,不能理解为对本申请实施例的限制:
(一)获取所述原始图像中像素点的像素值。
(二)根据所述像素值,计算得到所述原始图像中像素点的边缘强度。
边缘强度是指用于判断对应像素点是否为边缘像素点的参数。示例性地,边缘强度可以是每个像素点在邻域内的像素值变化梯度。当边缘强度大时,则说明该像素点是构成图像边缘的边缘像素点。
(三)根据所述边缘强度,确定所述原始图像中栅线的栅线位置信息。
栅线位置信息是指在原始图像中构成栅线的像素点的位置信息。
由于原始图像中,构成栅线的像素点与构成太阳能电池片的像素点之间像素值差异较大,因此原始图像中构成栅线的像素点属于边缘像素点。通过筛选出所有的边缘像素点即可确定栅线的栅线位置信息。可以理解的是,所有边缘像素点在原始图像中组成的区域即为栅线。
(四)根据所述栅线位置信息对所述原始图像进行剪切处理。
进一步地,为了尽量避免将未包含缺陷的子图像作为目标子图像,还可以在剪切前首先对原始图像进行缺陷粗识别,获取原始图像中可能存在缺陷的区域,然后针对可能存在缺陷的区域进行剪切处理,得到目标子图像。例如可以通过去除全连接层的CNN(Convolutional Neural Networks,卷积神经网络)对原始图像进行一次卷积操作,以提取原始图像中的粗特征,并通过CNN中的全连接层根据粗特征预测原始图像中可能存在缺陷的区域,然后针对得到的可能存在缺陷的区域进行剪切处理,得到目标子图像。
为了提高剪切的速度和准确度,可以采用训练好的图像剪切模型对原始图像进行处理,以将原始图像剪切成多张子图像,并得到目标子图像。图像剪切模型由特征提取层、预测层和图像裁剪层构成。以下对各层级简单进行介绍:
图像剪切模型的特征提取层可以是由去除全连接层的CNN构成,用于提取出原始图像中的特征,例如平均像素值,像素值方差等。得到特征后,特征提取层将其输入图像剪切模型的预测层中。
图像剪切模型的预测层可以由CNN中的全连接层构成,用于根据特征预测原始图像中栅线的位置,并将结果输入图像裁剪层中。
图像裁剪层用于根据预测得到的栅线位置对原始图像进行剪切,并输出剪切后得到的子图像。
此外,还可以首先对原始图像进行去噪、对比度提高等预处理后,再进行剪切处理,以进一步提高剪切的准确度。具体地,可以在图像剪切模型中添加预处理层,预处理层同样可以由CNN等网络构成,其输入为原始图像,输出为预处理后得到的图像。在对原始图像处理完成后,预处理层将得到的图像输入图像剪切模型的特征提取层。
图像位置信息是指目标子图像在原始图像中对应区域的位置信息。示例性地,图像位置信息可以指对应区域中像素点在原始图像的图像坐标系中的坐标。参考图3(a),图3(a)中的A是指原始图像,B是剪切前目标子图像在原始图像中的对应区域,a是指原始图像在图3(a)中的左上角顶点,l和h分别是原始图像包含a的长和宽,将a作为零点,以a点为起点沿l的指向为X轴正方向,以a点为起点沿h的指向为Y轴正方向构建原始图像的图像坐标系。图像位置信息可以是B中所有像素点的坐标,也可以是其中部分像素点的坐标。例如,图像位置信息可以仅包括B中四个顶点b,c,d,e的坐标,还可以仅包括四个顶点中距离零点a最近的坐标,即顶点b的坐标。
此外,图像位置信息还可以包括目标子图像中太阳能电池片在光伏组件中的行信息和列信息。例如目标子图像中的太阳能电池片在光伏组件中属于第2行第3列,则图像位置信息中还可以包括该信息。具体地,在剪切时可以对原始图像中的太阳能电池片进行检测,得到每个太阳能电池片的行信息和列信息,然后对每个子图像标记上对应的行信息和列信息。获取图像位置信息时仅需要读取目标子图像的标记即可。
图像标注装置在得到目标子图像和图像位置信息后,可以将目标子图像存储在特定的文件夹中以便工作人员处理。为了提高辨识度,还可以将每张目标子图像以图像位置信息命名。例如对于目标子图像Q,其图像位置信息包括四个顶点的位置(1,1)、(1,2)、(2,1)和(2,2),则在文件夹中可以以[(1,1)、(1,2)、(2,1)和(2,2)]对目标子图像Q命名。又例如,如果图像位置信息中还包含行信息和列信息(2,3),则在文件夹中可以以[(2,3),(1,1)、(1,2)、(2,1)和(2,2)]对目标子图像Q命名。
203、检测所述目标子图像中光伏组件的缺陷,得到所述目标子图像中的缺陷位置信息。
缺陷位置信息是指缺陷在目标子图像中的位置信息。示例性地,缺陷位置信息可以是构成缺陷的像素点在目标子图像的图像坐标中的坐标,也可以是目标子图像中包含缺陷的最小矩形区域的坐标。参考图3(b),图3(b)中的D1是指目标子图像,D2可以是目标子图像中的矩形缺陷,也可以是包含缺陷的最小矩形区域,g是指目标子图像在图3(b)中的左上角顶点,j和k分别是目标子图像包含g的长和宽,将g作为零点,以g为起点沿j的指向为X轴正方形,以g点为起点沿k的指向为Y轴正方形构建目标子图像的图像坐标系。缺陷位置信息可以是D2中所有像素点的坐标,也可以是其中部分像素点的坐标。例如,缺陷位置信息可以仅包括D1中四个顶点h,i,m,n的坐标,还可以仅包括四个顶点中距离零点g最近的坐标,即h的坐标。
图像标注装置可以通过训练好的缺陷检测模型对目标子图像进行检测。缺陷检测模型可以由特征提取层和预测层组成,特征提取层和预测层的构成和作用可以参考图像剪切模型,具体不再赘述。
204、根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注。
对原始图像中缺陷标注的方法有多种。示例性地,如果图像位置信息是目标子图像在原始图像中对应区域内所有像素点的坐标,缺陷位置信息是构成缺陷的所有像素点在目标子图像的图像坐标中的坐标,则可以根据图像位置信息确定每个目标子图像中构成缺陷的像素点在原始图像中对应的像素点,即在原始图像中确定对应的缺陷区域,然后对得到的缺陷区域进行标注,例如将原始图像中的缺陷区域添加预设的颜色标记或者文字标记。
此外,图像标注装置可以通过设置好的标注工具对原始图像进行标注。例如可以通过labeling软件对原始图像进行标注,标注时的标识可以通过labeling手动设置,也可以采用labeling中默认的标识模板。
然而这种标注方法需要将每个目标子图像中构成缺陷的像素点对应到原始图像中,而一条成熟的生产线每天能够生产的光伏组件能够达到上万个,这种标注方法会对图像标注装置造成巨大的计算压力。
在一些实施例中,可以仅根据顶点的位置信息对原始图像中的缺陷进行标注,需要说明的是,若未声明,则在本申请实施例中缺陷位置信息是指目标子图像中包含缺陷的最小矩形区域的位置信息。此时,所述根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注,包括:
(1)提取所述图像位置信息中子图像顶点的第一位置信息,并提取所述缺陷位置信息中缺陷顶点的第二位置信息。
子图像顶点是指目标子图像在原始图像中对应区域的顶点,因此第一位置信息是指目标子图像在原始图像中对应区域的顶点的位置信息。示例性地,第一位置信息可以指在原始图像的图像坐标系中,目标子图像在原始图像中对应区域的顶点的坐标。参考图3(a),第一位置信息可以是B中四个顶点b,c,d,e各自的坐标。或者,第一位置信息可以是对应区域的顶点中,距离零点a最近的坐标。例如第一位置信息可以是图3(a)中b的坐标。
缺陷顶点是指包含缺陷的最小矩形区域的顶点,因此第二位置信息是指该最小矩形区域的顶点的位置信息。示例性地,第二位置信息可以指在目标子图像的图像坐标系中,最小矩形区域的顶点的坐标。参考图3(b),图3(b)中的是目标子图像D1。假设图3(b)中的D2是目标子图像D1中包含缺陷的最小矩形区域,则第二位置信息可以是D2的四个顶点h,i,m,n各自的坐标。或者,第二位置信息可以是最小矩形区域的顶点中,2个对角顶点各自的坐标。例如第二位置信息可以是图4中h和m各自的坐标,或者i和n各自的坐标。
(2)根据所述第一位置信息,确定所述第二位置信息在所述原始图像中对应的叠加映射位置信息。
叠加映射位置信息是指将目标子图像中的第二位置信息映射到原始图像中所得到的位置信息,即原始图像中缺陷顶点的位置信息。示例性地,叠加映射位置信息可以是将目标子图像中缺陷顶点的坐标映射到原始图像中所得到的坐标。具体地,可以将第一位置信息中距离目标子图像中零点最近的坐标与第二位置信息中的坐标相加,以得到叠加映射位置信息。例如第一位置信息是(1,1),第二位置信息是(2,2),(4,4)时,则叠加映射位置信息为(3,3)和(5,5),即在原始图像的图像坐标系中,缺陷顶点的坐标为(3,3)和(5,5),包含缺陷的最小矩形区域是以(3,3)和(5,5)作为对角顶点的矩形区域。
(3)根据所述叠加映射位置信息,对所述原始图像中光伏组件的缺陷进行标注。
图像标注装置得到叠加映射位置信息后,可以有多种标注方式。以上文步骤(2)中的举例进行说明。当叠加映射位置信息为(3,3)和(5,5)时,即包含缺陷的最小矩形区域是以(3,3)和(5,5)作为对角顶点的矩形区域时,可以将以(3,3)和(5,5)作为对角顶点的矩形区域全部用预设的颜色进行覆盖,或者可以将该矩形区域的四条边长用预设的颜色进行覆盖。
综上所述,本申请实施例包括:获取光伏组件的原始图像;沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,得到目标子图像,以及所述目标子图像在所述原始图像中的图像位置信息;对所述目标子图像中的光伏组件进行缺陷检测,得到所述目标子图像中的缺陷位置信息;根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注。对原始图像剪切后得到的目标子图像中不包含栅线或仅包含不完整的栅线,因此对目标子图像进行检测时可以降低将栅线识别为缺陷的概率。可见,通过检测目标子图像中的缺陷,然后将目标子图像中检测到的缺陷转换至原始图像中并标注,可以得到精确标注的图像。
可以理解的是,本申请实施例中提供的图像标注方法在对当前处理的目标子图像处理完成后,将会继续选取未标注的子图像作为目标子图像,直至所有子图像都处理完成,以实现对整张原始图像的标注。
光伏组件的外围包括一个用于保护太阳能电池片的电池板框架,若电池板框架的宽度较大,则进行剪切时可能会将电池板框架误判为栅线,或者进行缺陷检测时会将电池板框架识别为缺陷。为了避免这种情况,可以首先对原始图像进行处理,去除电池板框架的部分。参考图4,此时,所述沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,得到目标子图像,以及在所述原始图像中所述目标子图像的图像位置信息,包括:
301、获取所述原始图像中构成图像边框的边框像素点,以及所述边框像素点的灰度值。
边框像素点可以是组成原始图像的像素点中最外圈的像素点,也可以是组成原始图像的像素点中由外至内的多圈像素点。参考图5,图5中的原始图像W由像素点W1-像素点W25构成,具体排列情况可见图中的情况。若边框像素点是最外圈的像素点,则原始图像W的边框像素点为W1-W5,W6,W10,W11,W15,W16,W20,W21-W25。若边框像素点时由外至内的2圈像素点,则原始图像W的边框像素点为除W13,即原始图像W的中心像素点之外的所有像素点。当边框像素点是组成原始图像的像素点中由外至内的多圈像素点时,具体的圈数可以根据光伏组件的电池板框架宽度而定。如果电池板框架宽度较大,则可以将圈数提高,如果电池板框架宽度较小,则可以将圈数降低。
需要说明的是,当图像标注装置执行步骤301-步骤304时,认为图像获取装置获取的原始图像是灰度图像,或者认为在执行步骤301之前对原始图像进行了灰度处理。
302、根据所述灰度值,判断所述图像边框是否包括所述光伏组件的电池板框架。
由于太阳能电池片的颜色为深色,而电池板框架的颜色为浅色,因此可以设定一个预设的灰度阈值,当灰度值大于灰度阈值时说明边框像素点并不是构成电池板框架的像素点,即图像边框不包括电池板框架。当灰度值小于或等于灰度阈值时说明边框像素点是构成电池板框架的像素点,即图像边框包括电池板框架。
进一步地,还可以根据边框像素点的平均灰度值,以及原始图像中除边框像素点以外的像素点的平均灰度值,判断图像边框是否包括电池板框架。具体地,可以获取边框像素点的平均灰度值与原始图像中除边框像素点以外的像素点的平均灰度值之间的灰度值差,如果灰度值差大于一个预设的灰度差阈值,则说明图像边框包括电池板框架。通过灰度值差判断的方法相比直接与阈值比较的方法,不会受到图像获取设备的拍摄色差影响,因此精度更高。
303、若所述图像边框包括所述电池板框架,则对所述边框像素点进行剪切,得到电池板图像。
除了对边框像素点全部进行剪切外,还可以预设一个剪切余量,避免边框像素点中包含部分组成太阳能电池片的像素点。例如可以将剪切余量预设为2,当边框像素点的圈数大于2时,以圈数减去2作为实际需要剪切掉的实际圈数,即边框像素点的圈数是4时,实际圈数为2,将组成原始图像像素点中由外至内的2圈像素点剪切掉,以得到电池板图像。
304、沿所述电池板图像中所述光伏组件的栅线对所述电池板图像进行剪切处理,得到目标子图像,以及在所述原始图像中所述目标子图像的图像位置信息。
在对原始图像中的缺陷进行标注时,还可以对于不同的缺陷标注不同的标识,以便工作人员判断缺陷的类型。参考图6,此时,所述根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注,包括:
401、对所述原始图像中光伏组件的缺陷进行识别,得到所述原始图像中缺陷的缺陷类型以及所述缺陷类型对应的缺陷标识。
缺陷类型可以包括任何太阳能电池片生产过程中可能产生的缺陷,例如缺陷类型可以是缺角、崩边和脱晶等。除此之外,缺陷类型还可以包括如异物黏连等外界原因产生的缺陷。
缺陷标识是针对每种缺陷类型预设的标识。缺陷标识可以是颜色、形状和粗细等任何可以用来区别不同缺陷类型的标识。例如对于缺角,可以将红色预设为缺陷标识,对于崩边,可以将蓝色预设为缺陷标识,即缺陷类型是缺角时,用红色进行标注,缺陷类型是崩边时,用蓝色进行标注。又例如,对于缺角可以将3磅的线条作为缺陷标识,对于崩边,可以将10磅的线条作为缺陷标识,即缺陷类型是缺角时,用3磅的线条进行标注,缺陷类型是崩边时,用10磅的线条进行标注。进一步地,还可以同时结合多种种类的标识来区分不同的缺陷类型。例如对于缺角,可以用红色的3磅线条作为缺陷标识,对于崩边,可以将蓝色的10磅线条作为缺陷标识。
当图像标注装置通过labeling等软件对原始图像进行标注时,可以将预设数据库中的默认模板与各缺陷类型一一对应,或者对每一个缺陷类型都手动设置一个特有的模板,以增加缺陷的辨识度。当图像标注装置得到缺陷的缺陷类型时,会自动将缺陷类型对应的缺陷标识作为当前进行标注的标识,对原始图像进行标注。
图像标注装置可以通过训练好的缺陷识别模型对原始图像中的缺陷进行识别。具体地,缺陷识别模型由特征提取层和预测层构成。特征提取层的解释可以参考上文中任一模型中的解释,预测层用于根据特征提取层提取的特征进行预测,并得到缺陷的类型。
402、根据所述图像位置信息和所述缺陷位置信息,确定所述原始图像中缺陷的叠加映射位置信息。
图像位置信息和缺陷位置信息的解释可以参考步骤202和步骤203的解释,具体在此不进行赘述。
叠加映射位置信息的解释可以参考步骤(2)中的解释,在此不进行赘述。
403、根据所述缺陷标识和所述叠加映射位置信息,对所述原始图像中的缺陷进行标注。
标注时,图像标注装置可以根据缺陷标识对叠加映射位置信息对应的区域进行标注。以上文中步骤(3)中的举例进行说明,若缺陷标识是红色,则可以将以(3,3)和(5,5)作为对角顶点的矩形区域全部用红色进行覆盖,或者缺陷标识是红色的3磅线条时,可以将该矩形区域的四条边长用红色的3磅线条进行覆盖。
得到标注好的原始图像后,工作人员有时需要对图像中的缺陷进行分析,以便改进生产线,因此本申请实施例中的图像标注方法还提供一种对标注好的原始图像进行剪切以得到包含缺陷的子图像的方法。参考图7,此时,所述根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注之后,还包括:
501、根据预设的划分尺寸,对所述原始图像进行划分,得到多个划分子区域和各所述划分子区域的子区域位置信息。
其中,划分尺寸是指对标注好的原始图像进行剪切后得到子图像的尺寸。由于原始图像的尺寸较大,对应图像文件的文件体积也较大,因此在进行文件传输时很容易因为文件体积超出传输软件,如微信或邮箱的极限容量而无法顺利传输。因此示例性地,工作人员可以将常用传输软件的极限容量转换为图像尺寸,然后以转换后得到的图像尺寸作为划分尺寸。例如,微信传输文件的极限容量是20MB,则可以结合20MB和预设的分辨率计算出图像尺寸,然后将计算得到的图像尺寸作为划分尺寸。需要说明的是,理想状态下划分尺寸应当设置为能够被原始图像的尺寸整除,即原始图像可以被划分后得到区域的尺寸都是划分尺寸,若不能被整除,即有部分区域的尺寸小于划分尺寸,则可以对这部分区域进行空白填充,使这部分区域的尺寸达到划分尺寸。或者也可以不进行填充,保留这部分区域的原始尺寸。
划分子区域是按照划分尺寸对原始图像进行划分后得到的子区域,每个划分子区域中可能包含缺陷,也可能不包含缺陷。
子区域位置信息可以包括对应划分子区域中每个像素点的位置信息,也可以包括划分子区域中部分像素点的位置信息。示例性地,子区域位置信息可以包括对应的划分子区域中每个像素点在原始图像的图像坐标系中的坐标,也可以仅包括对应的划分子区域中区域对角顶点在原始图像的图像坐标系中的坐标。在划分时,图像标注装置可以同时得到各划分子区域的子区域位置信息,并将子区域位置信息与对应的划分子区域对应。
502、获取所述原始图像中缺陷的叠加映射位置信息。
叠加映射位置信息的解释可以参考步骤(2)中的解释,具体不再进行赘述。
503、根据所述叠加映射位置信息和各所述子区域位置信息,对所述原始图像进行剪切,得到划分子图像,其中,所述划分子图像中包含已标注好的缺陷。
划分子图像可以是仅对各划分子区域中包含缺陷的子区域进行剪切后得到的图像,也可以是对包含缺陷的子区域和该子区域的相邻子区域进行剪切后得到的图像。参考图8,图8中的H为标注好的原始图像,1-16为划分好的子区域。若子区域6为包含缺陷的子区域,则可以仅对子区域6进行剪切,得到仅包含子区域6的信息的划分子图像,也可以同时对子区域1-子区域3,子区域5-7和子区域9-11进行剪切,得到同时包含子区域1-子区域3,子区域5-7和子区域9-11的信息的划分子图像。
在剪切前,需要确定叠加映射位置信息所述的划分子区域,即确定缺陷所在的划分子区域,以便后续的剪切操作。其中,一种简单的方法是遍历每个子区域位置信息,获取包含叠加映射位置信息的子区域位置信息和对应的划分子区域,并对该划分子区域进行剪切操作。但是这种方法需要将叠加映射位置信息中每个像素点的位置信息都与各子区域位置信息中像素点的位置信息进行匹配,计算量十分大,对于硬件设备较差的生产线不友好。因此为了减少计算量,增加图像标注方法的泛用性,可以根据缺陷中点的位置信息获取需要剪切的划分子区域。此时,所述根据所述叠加映射位置信息和各所述子区域位置信息,对所述原始图像进行剪切,得到划分子图像,包括:
(A)提取所述叠加映射位置信息中缺陷顶点的第三位置信息。
缺陷顶点的解释可以参考上文中步骤(1)中的解释,在此不进行赘述。
第三位置信息是指原始图像中缺陷顶点的位置信息。示例性地,第三位置信息可以是在原始图像的图像坐标系中,缺陷顶点的坐标。同样地,第三位置信息也可以是所有缺陷顶点的坐标,或者缺陷顶点中2个对角顶点各自的坐标。
(B)根据所述第三位置信息,计算得到所述原始图像中缺陷的中点位置信息。
中点位置信息是指在原始图像内,包含缺陷最小矩形区域的缺陷中点的位置信息。示例性地,中点位置信息可以是在原始图像的图像坐标系内,包含缺陷最小矩形区域的缺陷中点的坐标。具体地,可以根据缺陷顶点的坐标计算得到缺陷中点的坐标,即中点位置信息。假设第三位置信息中包括了四个缺陷顶点的坐标(1,1)、(1,3)、(3,1)、(3,3),则可以对四个缺陷顶点坐标的X轴坐标和Y轴坐标分别求平均值,得到的2个平均值组成的坐标,(2,2)即为中点位置信息。又假如第三位置信息中仅包括了缺陷顶点中2个对角顶点的坐标(1,1)和(3,3),则同样可以对2个对角顶点坐标的X轴坐标和Y轴坐标分别求平均值,得到的2个平均值组成的坐标,(2,2)即为中点位置信息。
(C)遍历各所述子区域位置信息,得到包含所述中点位置信息的目标位置信息。
目标位置信息是指缺陷中点所落入划分子区域对应的子区域位置信息。
得到目标位置信息的方法有多种,例如当子区域位置信息中包含了对应划分子区域中所有像素点的位置信息时,可以将中点位置信息与各划分子区域中每个像素点的位置信息进行匹配,得到目标位置信息。
在一些实施例中,子区域位置信息中仅包括对应的划分子区域中区域对角顶点的位置信息。此时可以将中点位置信息与区域对角顶点的位置信息进行比对。以中点位置信息和区域对角顶点的位置信息都是在原始图像的图像坐标系内的坐标为例进行说明,假设子区域位置信息中包含2个区域对角顶点的坐标(1,1)和(3,3),中点位置信息对应的坐标是(2,2),此时可以将3个坐标的X轴坐标进行比对,判断中点位置信息对应坐标的X轴坐标是否在2个区域对角顶点坐标的X轴坐标之间,对于Y轴进行同样的操作。如果对于X轴和Y轴,中点位置信息对应的坐标均在2个区域对角顶点的坐标之间,则说明该子区域位置信息中包含中点位置信息,图像标注装置将该子区域位置信息作为目标位置信息。本段上文的例子中,由于中点位置信息对应坐标的X轴坐标2在2个区域对角顶点坐标的X轴坐标1和3之间,Y轴同理,因此图像标注装置将包含了2个区域对角顶点的坐标(1,1)和(3,3)的子区域位置信息作为目标位置信息。
需要说明的是,图像标注装置还可以通过原始图像中构成缺陷的其他像素点得到目标位置信息,不能将中点理解为对本申请实施例的限制。
(D)根据所述目标位置信息,对所述原始图像进行剪切,得到划分子图像。
为了更好实施本申请实施例中图像标注方法,在图像标注方法基础之上,本申请实施例中还提供一种图像标注装置,如图9所示,为本申请实施例中图像标注装置的一个实施例结构示意图,该图像标注装置900包括:
获取单元901,用于获取光伏组件的原始图像;
剪切单元902,用于沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,得到目标子图像,以及所述目标子图像在所述原始图像中的图像位置信息;
检测单元903,用于对所述目标子图像中的光伏组件进行缺陷检测,得到所述目标子图像中的缺陷位置信息;
标注单元904,用于根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注。
在本申请一种可能的实现方式中,所述标注单元904还用于:
提取所述图像位置信息中子图像顶点的第一位置信息,并提取所述缺陷位置信息中缺陷顶点的第二位置信息;
根据所述第一位置信息,确定所述第二位置信息在所述原始图像中对应的叠加映射位置信息;
根据所述叠加映射位置信息,对所述原始图像中光伏组件的缺陷进行标注。
在本申请一种可能的实现方式中,所述剪切单元902还用于:
获取所述原始图像中构成图像边框的边框像素点,以及所述边框像素点的灰度值;
根据所述灰度值,判断所述图像边框是否包括所述光伏组件的电池板框架;
若所述图像边框包括所述电池板框架,则对所述边框像素点进行剪切,得到电池板图像;
沿所述电池板图像中所述光伏组件的栅线对所述电池板图像进行剪切处理,得到目标子图像,以及在所述原始图像中所述目标子图像的图像位置信息。
在本申请一种可能的实现方式中,所述标注单元904还用于:
对所述原始图像中光伏组件的缺陷进行识别,得到所述原始图像中缺陷的缺陷类型以及所述缺陷类型对应的缺陷标识;
根据所述图像位置信息和所述缺陷位置信息,确定所述原始图像中缺陷的叠加映射位置信息;
根据所述缺陷标识和所述叠加映射位置信息,对所述原始图像中的缺陷进行标注。
在本申请一种可能的实现方式中,所述图像标注装置900还包括划分单元905,所述划分单元905用于:
根据预设的划分尺寸,对所述原始图像进行划分,得到多个划分子区域和各所述划分子区域的子区域位置信息;
获取所述原始图像中缺陷的叠加映射位置信息;
根据所述叠加映射位置信息和各所述子区域位置信息,对所述原始图像进行剪切,得到划分子图像,其中,所述划分子图像中包含已标注好的缺陷。
在本申请一种可能的实现方式中,所述划分单元905用于:
提取所述叠加映射位置信息中缺陷顶点的第三位置信息;
根据所述第三位置信息,计算得到所述原始图像中缺陷的中点位置信息;
遍历各所述子区域位置信息,得到包含所述中点位置信息的目标位置信息;
根据所述目标位置信息,对所述原始图像进行剪切,得到划分子图像。
在本申请一种可能的实现方式中,所述剪切单元902还用于:
获取所述原始图像中像素点的像素值;
根据所述像素值,计算得到所述原始图像中像素点的边缘强度;
根据所述边缘强度,确定所述原始图像中栅线的栅线位置信息;
根据所述栅线位置信息对所述原始图像进行剪切处理。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由于该图像标注装置可以执行本申请如图1至图8对应任意实施例中图像标注方法中的步骤,因此,可以实现本申请如图1至图8对应任意实施例中图像标注方法所能实现的有益效果,详见前面的说明,在此不再赘述。
此外,为了更好实施本申请实施例中图像标注方法,在图像标注方法基础之上,本申请实施例还提供一种图像标注设备,参阅图10,图10示出了本申请实施例图像标注设备的一种结构示意图,具体的,本申请实施例提供的图像标注设备包括处理器1001,处理器1001用于执行存储器1002中存储的计算机程序时实现如图1至图8对应任意实施例中图像标注方法的各步骤;或者,处理器1001用于执行存储器1002中存储的计算机程序时实现如图10对应实施例中各单元的功能。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器1002中,并由处理器1001执行,以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。
图像标注设备可包括,但不仅限于处理器1001、存储器1002。本领域技术人员可以理解,示意仅仅是图像标注设备的示例,并不构成对图像标注设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如电子备还可以包括输入输出设备、网络接入设备、总线等,处理器1001、存储器1002、输入输出设备以及网络接入设备等通过总线相连。
处理器1001可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate ArraY,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是图像标注设备的控制中心,利用各种接口和路线连接整个图像标注设备的各个部分。
存储器1002可用于存储计算机程序和/或模块,处理器1001通过运行或执行存储在存储器1002内的计算机程序和/或模块,以及调用存储在存储器1002内的数据,实现计算机装置的各种功能。存储器1002可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据图像标注设备的使用所创建的数据(比如音频数据、视频数据等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的图像标注装置、图像标注设备及其相应单元的具体工作过程,可以参考如图1至图8对应任意实施例中图像标注方法的说明,具体在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请如图1至图8对应任意实施例中图像标注方法中的步骤,具体操作可参考如图1至图8对应任意实施例中图像标注方法的说明,在此不再赘述。
其中,该计算机存储介质可以包括:只读存储器(ROM,Read OnlY MemorY)、随机存取存储器(RAM,Random Access MemorY)、磁盘或光盘等。
由于该计算机存储介质中所存储的指令,可以执行本申请如图1至图8对应任意实施例中图像标注方法中的步骤,因此,可以实现本申请如图1至图8对应任意实施例中图像标注方法所能实现的有益效果,详见前面的说明,在此不再赘述。
以上对本申请实施例所提供的一种图像标注方法、装置、设备及计算机存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像标注方法,其特征在于,所述方法包括:
获取光伏组件的原始图像;
沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,得到目标子图像,以及所述目标子图像在所述原始图像中的图像位置信息;
对所述目标子图像中的光伏组件进行缺陷检测,得到所述目标子图像中的缺陷位置信息;
根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注。
2.根据权利要求1所述的图像标注方法,其特征在于,所述根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注,包括:
提取所述图像位置信息中子图像顶点的第一位置信息,并提取所述缺陷位置信息中缺陷顶点的第二位置信息;
根据所述第一位置信息,确定所述第二位置信息在所述原始图像中对应的叠加映射位置信息;
根据所述叠加映射位置信息,对所述原始图像中光伏组件的缺陷进行标注。
3.根据权利要求1所述的图像标注方法,其特征在于,所述沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,得到目标子图像,以及在所述原始图像中所述目标子图像的图像位置信息,包括:
获取所述原始图像中构成图像边框的边框像素点,以及所述边框像素点的灰度值;
根据所述灰度值,判断所述图像边框是否包括所述光伏组件的电池板框架;
若所述图像边框包括所述电池板框架,则对所述边框像素点进行剪切,得到电池板图像;
沿所述电池板图像中所述光伏组件的栅线对所述电池板图像进行剪切处理,得到目标子图像,以及在所述原始图像中所述目标子图像的图像位置信息。
4.根据权利要求1所述的图像标注方法,其特征在于,所述根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注,包括:
对所述原始图像中光伏组件的缺陷进行识别,得到所述原始图像中缺陷的缺陷类型以及所述缺陷类型对应的缺陷标识;
根据所述图像位置信息和所述缺陷位置信息,确定所述原始图像中缺陷的叠加映射位置信息;
根据所述缺陷标识和所述叠加映射位置信息,对所述原始图像中的缺陷进行标注。
5.根据权利要求1所述的图像标注方法,其特征在于,所述根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注之后,所述方法还包括:
根据预设的划分尺寸,对所述原始图像进行划分,得到多个划分子区域和各所述划分子区域的子区域位置信息;
获取所述原始图像中缺陷的叠加映射位置信息;
根据所述叠加映射位置信息和各所述子区域位置信息,对所述原始图像进行剪切,得到划分子图像,其中,所述划分子图像中包含已标注好的缺陷。
6.根据权利要求5所述的图像标注方法,其特征在于,所述根据所述叠加映射位置信息和各所述子区域位置信息,对所述原始图像进行剪切,得到划分子图像,包括:
提取所述叠加映射位置信息中缺陷顶点的第三位置信息;
根据所述第三位置信息,计算得到所述原始图像中缺陷的中点位置信息;
遍历各所述子区域位置信息,得到包含所述中点位置信息的目标位置信息;
根据所述目标位置信息,对所述原始图像进行剪切,得到划分子图像。
7.根据权利要求根据权利要求1-6任一项所述的图像标注方法,其特征在于,所述沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,包括:
获取所述原始图像中像素点的像素值;
根据所述像素值,计算得到所述原始图像中像素点的边缘强度;
根据所述边缘强度,确定所述原始图像中栅线的栅线位置信息;
根据所述栅线位置信息对所述原始图像进行剪切处理。
8.一种图像标注装置,其特征在于,包括:
获取单元,用于获取光伏组件的原始图像;
剪切单元,用于沿所述原始图像中所述光伏组件的栅线对所述原始图像进行剪切处理,得到目标子图像,以及所述目标子图像在所述原始图像中的图像位置信息;
检测单元,用于对所述目标子图像中的光伏组件进行缺陷检测,得到所述目标子图像中的缺陷位置信息;
标注单元,用于根据所述图像位置信息和所述缺陷位置信息,对所述原始图像中光伏组件的缺陷进行标注。
9.一种图像标注设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的图像标注方法。
10.一种计算机存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7任一项所述的图像标注方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110886572.4A CN114549393B (zh) | 2021-08-03 | 2021-08-03 | 图像标注方法、装置、设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110886572.4A CN114549393B (zh) | 2021-08-03 | 2021-08-03 | 图像标注方法、装置、设备及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114549393A true CN114549393A (zh) | 2022-05-27 |
CN114549393B CN114549393B (zh) | 2024-01-19 |
Family
ID=81668465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110886572.4A Active CN114549393B (zh) | 2021-08-03 | 2021-08-03 | 图像标注方法、装置、设备及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114549393B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115457119A (zh) * | 2022-09-21 | 2022-12-09 | 正泰集团研发中心(上海)有限公司 | 汇流条的标注方法、装置、计算机设备及可读存储介质 |
CN117078698A (zh) * | 2023-08-22 | 2023-11-17 | 山东第一医科大学第二附属医院 | 一种基于深度学习的外周血管影像辅助分割方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108355981A (zh) * | 2018-01-08 | 2018-08-03 | 西安交通大学 | 一种基于机器视觉的电池连接器质量检测方法 |
CN110136110A (zh) * | 2019-05-13 | 2019-08-16 | 京东方科技集团股份有限公司 | 光伏组件缺陷的检测方法和装置 |
CN111047564A (zh) * | 2019-11-28 | 2020-04-21 | 戎得(上海)光伏科技有限公司 | 一种应用于光伏电站现场的el缺陷检测方法 |
CN112184681A (zh) * | 2020-09-30 | 2021-01-05 | 廖一峰 | 基于人工智能的光伏电池板隐裂检测方法及系统 |
CN112734690A (zh) * | 2020-12-17 | 2021-04-30 | 郑州金惠计算机系统工程有限公司 | 一种表面缺陷检测方法、装置及计算机可读存储介质 |
CN113034447A (zh) * | 2021-03-10 | 2021-06-25 | 歌尔股份有限公司 | 一种边缘缺陷检测方法和装置 |
-
2021
- 2021-08-03 CN CN202110886572.4A patent/CN114549393B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108355981A (zh) * | 2018-01-08 | 2018-08-03 | 西安交通大学 | 一种基于机器视觉的电池连接器质量检测方法 |
CN110136110A (zh) * | 2019-05-13 | 2019-08-16 | 京东方科技集团股份有限公司 | 光伏组件缺陷的检测方法和装置 |
CN111047564A (zh) * | 2019-11-28 | 2020-04-21 | 戎得(上海)光伏科技有限公司 | 一种应用于光伏电站现场的el缺陷检测方法 |
CN112184681A (zh) * | 2020-09-30 | 2021-01-05 | 廖一峰 | 基于人工智能的光伏电池板隐裂检测方法及系统 |
CN112734690A (zh) * | 2020-12-17 | 2021-04-30 | 郑州金惠计算机系统工程有限公司 | 一种表面缺陷检测方法、装置及计算机可读存储介质 |
CN113034447A (zh) * | 2021-03-10 | 2021-06-25 | 歌尔股份有限公司 | 一种边缘缺陷检测方法和装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115457119A (zh) * | 2022-09-21 | 2022-12-09 | 正泰集团研发中心(上海)有限公司 | 汇流条的标注方法、装置、计算机设备及可读存储介质 |
CN115457119B (zh) * | 2022-09-21 | 2023-10-27 | 正泰集团研发中心(上海)有限公司 | 汇流条的标注方法、装置、计算机设备及可读存储介质 |
CN117078698A (zh) * | 2023-08-22 | 2023-11-17 | 山东第一医科大学第二附属医院 | 一种基于深度学习的外周血管影像辅助分割方法及系统 |
CN117078698B (zh) * | 2023-08-22 | 2024-03-05 | 山东第一医科大学第二附属医院 | 一种基于深度学习的外周血管影像辅助分割方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114549393B (zh) | 2024-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111080693A (zh) | 一种基于YOLOv3的机器人自主分类抓取方法 | |
CN114549393B (zh) | 图像标注方法、装置、设备及计算机存储介质 | |
WO2023193213A1 (zh) | 电池极片绝缘涂层缺陷的检测方法、装置和计算机设备 | |
EP3667903B1 (en) | Photovoltaic panel recognition method, ground station, control apparatus, and unmanned aerial vehicle | |
CN116168351B (zh) | 电力设备巡检方法及装置 | |
EP4411626A1 (en) | Defect detection method and device | |
US20240070840A1 (en) | Defect detection method and apparatus, and computer-readable storage medium | |
CN110751619A (zh) | 一种绝缘子缺陷检测方法 | |
WO2019001164A1 (zh) | 滤光片同心度测量方法及终端设备 | |
CN111191653A (zh) | 车牌识别方法、装置、计算机设备及存储介质 | |
CN110866949A (zh) | 中心点定位方法、装置、电子设备和存储介质 | |
CN114872574B (zh) | 基于充电桩的采集与监控系统及方法 | |
CN111523423B (zh) | 一种电力设备识别方法及装置 | |
CN113920075A (zh) | 一种基于物体识别的简易缺陷检测方法和系统 | |
CN111091533B (zh) | 一种基于改进ssd算法的电池片el缺陷检测方法 | |
CN114565551A (zh) | 标签检测方法、装置、设备和计算机可读存储介质 | |
CN113362227B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN115457559A (zh) | 一种将文本及证照类图片智能摆正的方法、装置和设备 | |
CN113963048A (zh) | 用于工业流水线的测量物体长宽高的方法、装置及系统 | |
CN114354622A (zh) | 显示屏的缺陷检测方法、装置、设备和介质 | |
CN116188502B (zh) | 光伏板红外图像分割方法、存储介质以及电子设备 | |
CN113538449A (zh) | 一种图像矫正方法、装置、服务器及存储介质 | |
CN118351111B (zh) | 芯片表面缺陷的检测方法、装置、设备和存储介质 | |
CN113744298B (zh) | 数据处理方法、装置及存储介质 | |
CN112825141B (zh) | 识别文本的方法、装置、识别设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |