CN113516625A - 光伏组件图像的异常检测方法、装置及设备 - Google Patents

光伏组件图像的异常检测方法、装置及设备 Download PDF

Info

Publication number
CN113516625A
CN113516625A CN202110481492.0A CN202110481492A CN113516625A CN 113516625 A CN113516625 A CN 113516625A CN 202110481492 A CN202110481492 A CN 202110481492A CN 113516625 A CN113516625 A CN 113516625A
Authority
CN
China
Prior art keywords
image
photovoltaic module
points
determining
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110481492.0A
Other languages
English (en)
Inventor
谢晓路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Innovation Co
Original Assignee
Alibaba Singapore Holdings Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Singapore Holdings Pte Ltd filed Critical Alibaba Singapore Holdings Pte Ltd
Priority to CN202110481492.0A priority Critical patent/CN113516625A/zh
Publication of CN113516625A publication Critical patent/CN113516625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种光伏组件图像的异常检测方法、装置及设备。方法包括:获取光伏组件图像;识别光伏组件图像的图像特征点;基于图像特征点识别光伏组件图像中的栅线和分割线;根据图像特征点、栅线和分割线对光伏组件图像进行异常检测。本实施例提供的技术方案,有效地实现了可以利用非神经网络算法对光伏组件图像进行异常检测操作,在光伏组件的类型发生更新时,无需重新对卷积神经网络进行训练,仅需要对算法进行微调即可适应更新后的光伏组件类型,这样使得该异常检测方法的灵活度较高,并且,该方法能够检测极其细微的图像异常情况,检测的精确度较高,从而有利于避免异常光伏组件图像影响后续的生产环节,进一步提高了该方法的实用性。

Description

光伏组件图像的异常检测方法、装置及设备
技术领域
本发明涉及图像技术领域,尤其涉及一种光伏组件图像的异常检测方法、装置及设备。
背景技术
光伏组件是由很多电池片组成的电池片阵列,常见的光伏组件对应的电池片行列规格有6*20或6*24等。在光伏组件的生产过程中,需要对其进行拍摄以检查质量。具体的,在对光伏组件采集光伏组件图像时,首先将电池片分为若干个组,并使用线扫相机进行拍摄,完成后把各个电池片组的图像拼接成为一张组件图像。拼接而成的组件图像用于后续的质量检测以及生产环节。
在图像拍摄以及拼接的过程有可能产生错误,导致得到的光伏组件图像异常,影响后续生产环节的正常开展,产生拍摄或者拼接错误的光伏组件图像称为拍摄异常图像。拍摄异常图像的表现形式多种多样,并且没有特定表现形式,常见的拍摄异常有过曝、栅线未对齐、电池片错位等。因此,亟需一种对光伏组件图像进行异常检测的方法,以避免异常光伏组件图像影响后续的产品生产环节。
发明内容
本发明实施例提供了一种光伏组件图像的异常检测方法、装置及设备,能够准确地识别出光伏组件图像中所存在的拍摄异常问题,从而有效地避免了异常光伏组件图像影响后续的产品生产环节。
第一方面,本发明实施例提供一种光伏组件图像的异常检测方法,包括:
获取光伏组件图像;
识别所述光伏组件图像的图像特征点;
基于所述图像特征点识别所述光伏组件图像中的栅线和分割线;
根据所述图像特征点、栅线和分割线对所述光伏组件图像进行异常检测。
第二方面,本发明实施例提供一种光伏组件图像的异常检测装置,包括:
第一获取模块,用于获取光伏组件图像;
第一识别模块,用于识别所述光伏组件图像的图像特征点;
第一处理模块,用于基于所述图像特征点识别所述光伏组件图像中的栅线和分割线;
第一检测模块,用于根据所述图像特征点、栅线和分割线对所述光伏组件图像进行异常检测。
第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的光伏组件图像的异常检测方法。
第四方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第一方面中的光伏组件图像的异常检测方法。
第五方面,本发明实施例提供了一种光伏组件图像的特征点提取方法,包括:
获取光伏组件图像;
基于行和列对所述光伏组件图像进行分割,获得多个子图像;
确定所述子图像的局部峰值点;
基于所述局部峰值点,确定所述子图像的特征点,所述光伏组件图像的特征点包括多个子图像的特征点。
第六方面,本发明实施例提供了一种光伏组件图像的特征点提取装置,包括:
第二获取模块,用于获取光伏组件图像;
第二分割模块,用于基于行和列对所述光伏组件图像进行分割,获得多个子图像;
第二确定模块,用于确定所述子图像的局部峰值点;
第二处理模块,用于基于所述局部峰值点,确定所述子图像的特征点,所述光伏组件图像的特征点包括多个子图像的特征点。
第七方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的光伏组件图像的特征点提取方法。
第八方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第五方面中的光伏组件图像的特征点提取方法。
第九方面,本发明实施例提供了一种光伏组件图像的异常检测方法,包括:
响应于调用光伏组件图像的异常检测服务的请求,确定所述光伏组件图像的异常检测服务对应的处理资源;
利用所述处理资源执行如下步骤:获取光伏组件图像;识别所述光伏组件图像的图像特征点;基于所述图像特征点识别所述光伏组件图像中的栅线和分割线;根据所述图像特征点、栅线和分割线对所述光伏组件图像进行异常检测。
第十方面,本发明实施例提供了一种光伏组件图像的异常检测装置,包括:
第三确定模块,用于响应于调用光伏组件图像的异常检测服务的请求,确定所述光伏组件图像的异常检测服务对应的处理资源;
第三处理模块,用于利用所述处理资源执行如下步骤:获取光伏组件图像;识别所述光伏组件图像的图像特征点;基于所述图像特征点识别所述光伏组件图像中的栅线和分割线;根据所述图像特征点、栅线和分割线对所述光伏组件图像进行异常检测。
第十一方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的光伏组件图像的异常检测方法。
第十二方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第九方面中的光伏组件图像的异常检测方法。
第十三方面,本发明实施例提供了一种光伏组件图像的特征点提取方法,包括:
响应于调用光伏组件图像的特征点提取服务的请求,确定所述光伏组件图像的特征点提取服务对应的处理资源;
利用所述处理资源执行如下步骤:获取光伏组件图像;基于行和列对所述光伏组件图像进行分割,获得多个子图像;确定所述子图像的局部峰值点;基于所述局部峰值点,确定所述子图像的特征点,所述光伏组件图像的特征点包括多个子图像的特征点。
第十四方面,本发明实施例提供了一种光伏组件图像的特征点提取装置,包括:
第四确定模块,用于响应于调用光伏组件图像的特征点提取服务的请求,确定所述光伏组件图像的特征点提取服务对应的处理资源;
第四处理模块,用于利用所述处理资源执行如下步骤:获取光伏组件图像;基于行和列对所述光伏组件图像进行分割,获得多个子图像;确定所述子图像的局部峰值点;基于所述局部峰值点,确定所述子图像的特征点,所述光伏组件图像的特征点包括多个子图像的特征点。
第十五方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第十三方面中的光伏组件图像的特征点提取方法。
第十六方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第十三方面中的光伏组件图像的特征点提取方法。
本实施例提供的技术方案,有效地实现了可以利用非神经网络算法对光伏组件图像进行异常检测操作,在光伏组件的类型发生更新时,无需重新对卷积神经网络进行训练,仅需要对算法进行微调即可适应更新后的光伏组件,这样使得该异常检测方法的灵活度较高,并且,该方法能够检测极其细微的图像异常情况,检测的精确度较高,从而有利于避免异常光伏组件图像影响后续的生产环节,进一步提高了该方法的实用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为相关技术中提供的栅线未对齐的示意图;
图2为相关技术中提供的电池片错位的示意图;
图3为相关技术中提供的拍摄过曝的示意图;
图4为本发明实施例提供的一种光伏组件图像的异常检测方法的流程示意图;
图5为本发明实施例提供的一种光伏组件图像的异常检测方法的示意图;
图6为本发明实施例提供的对所述光伏组件图像进行分割的示意图;
图7为本发明实施例提供的确定所述子图像的局部峰值点的流程示意图;
图8为本发明实施例提供的与子图像相对应的均值向量的示意图;
图9为本发明实施例提供的高频分量的示意图;
图10为本发明实施例提供的子图像的局部峰值点的示意图;
图11为本发明实施例提供的基于所述二阶差分向量,确定所述初始峰值点中所包括的跳变位置的示意图;
图12为本发明实施例提供的子图像的局部峰值点的示意图;
图13为本发明实施例提供的基于所述局部峰值点,确定所述子图像的图像特征点的流程示意图;
图14为本发明实施例提供的获取所述局部峰值点的置信度的流程示意图一;
图15为本发明实施例提供的获取所述局部峰值点的置信度的流程示意图二;
图16为本发明实施例提供的在所述图像特征点中,确定分割线特征点的流程示意图;
图17为本发明实施例提供的获取光伏组件图像的流程示意图;
图18为本发明实施例提供的去除所述原始图像中的无效区域,获得所述光伏组件图像的流程示意图;
图19为本发明实施例提供的另一种光伏组件图像的异常检测方法的流程示意图;
图20为本发明实施例提供的一种光伏组件图像的特征点提取方法的流程示意图;
图21为本发明应用实施例提供的一种基于特征点匹配的光伏组件图像拍摄异常检测方法的原理示意图;
图22为本发明应用实施例提供的采样若干图像块的示意图;
图23为本发明应用实施例提供的纵向切片的一个子图像的示意图;
图24为本发明应用实施例提供的均值向量的示意图;
图25为本发明应用实施例提供的高频分量的示意图;
图26为本发明应用实施例提供的图像特征点的示意图;
图27为本发明应用实施例提供的光伏组件图像沿着水平方向计算均值向量的示意图;
图28为本发明应用实施例提供的高频部分的示意图;
图29为本发明应用实施例提供的尖峰置信度的示意图;
图30为本发明应用实施例提供的根据阈值确定电池片分隔线的示意图;
图31为本发明应用实施例提供的根据阈值确定电池片分隔线的示意图;
图32为本发明实施例提供的一种光伏组件图像的异常检测装置的结构示意图;
图33为与图32所示实施例提供的光伏组件图像的异常检测装置对应的电子设备的结构示意图;
图34为本发明实施例提供的一种光伏组件图像的特征点提取装置的结构示意图;
图35为与图34所示实施例提供的光伏组件图像的特征点提取装置对应的电子设备的结构示意图;
图36为本发明实施例提供的又一种光伏组件图像的异常检测方法的流程示意图;
图37为本发明实施例提供的一种光伏组件图像的异常检测装置的结构示意图;
图38为与图37所示实施例提供的光伏组件图像的异常检测装置对应的电子设备的结构示意图;
图39为本发明实施例提供的又一种光伏组件图像的特征点提取方法的流程示意图;
图40为本发明实施例提供的一种光伏组件图像的特征点提取装置的结构示意图;
图41为与图40所示实施例提供的光伏组件图像的特征点提取装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
术语解释:
光伏组件:由光伏电池片拼接而组成的阵列。
栅线:光伏电池片中的横向线段。
滤波:容许或阻止某一频段的信号通过的技术。
非极大值抑制(Non-Maximum Suppression,简称NMS):搜索局部极大值,过滤相邻非极大值的技术。
光伏组件是由很多电池片组成的电池片阵列,常见的光伏组件对应的电池片行列规格有6*20或6*24等。在光伏组件的生产过程中,需要对其进行拍摄以检查质量。具体的,在对光伏组件采集光伏组件图像时,首先将电池片分为若干个组,并使用线扫相机进行拍摄,完成后把各个电池片组的图像拼接成为一张组件图像。拼接而成的组件图像用于后续的质量检测以及生产环节,例如,可以由光伏组件图像来生产太阳能电池板。
在图像拍摄以及拼接的过程有可能产生错误,导致得到的光伏组件图像异常,影响后续生产环节的正常开展,产生拍摄或者拼接错误的光伏组件图像称为拍摄异常图像。拍摄异常的表现形式多种多样,并且没有特定表现形式,常见的拍摄异常有过曝、栅线未对齐、电池片错位等;如图1提供了一种栅线未对齐的示意图,图2提供了一种电池片错位的示意图,图3提供了一种拍摄过曝的示意图。
为了能够保证后续生产环节的正常开展,相关技术提供了一种基于深度卷积神经网络的拍摄异常检测方法,然而,该方法存在以下缺陷:(1)对于光伏组件产品的适应速度慢,需要投入标注人力对光伏组件图像进行标注,在光伏组件产品更新时,需要训练更新模型,整个更新周期较长。(2)基于深度卷积神经网络只能检测出较明显的光伏组件异常,比如:大面积过曝等异常情况,对于较细微的图像异常不敏感,比如:深度卷积神经网络难以检测栅线对不齐等异常情况。
为了解决上述技术问题,本实施例提出了一种光伏组件图像的异常检测方法、装置及设备,下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图4为本发明实施例提供的一种光伏组件图像的异常检测方法的流程示意图;图5为本发明实施例提供的一种光伏组件图像的异常检测方法的示意图;参考附图4-附图5所示,本实施例提供了一种光伏组件图像的异常检测方法,该方法的执行主体可以为光伏组件图像的异常检测装置,可以理解的是,该光伏组件图像的异常检测装置可以实现为软件、或者软件和硬件的组合,具体的,光伏组件图像的异常检测装置可以实现为一客户端,该客户端可以是任何具有一定图像处理能力的计算设备。
客户端的基本结构可以包括:至少一个处理器。处理器的数量取决于客户端的配置和类型。客户端也可以包括存储器,该存储器可以为易失性的,例如RAM,也可以为非易失性的,例如只读存储器(Read-Only Memory,简称ROM)、闪存等,或者也可以同时包括两种类型。存储器内通常存储有操作系统(Operating System,简称OS)、一个或多个应用程序,也可以存储有程序数据等。除了处理单元和存储器之外,客户端还包括一些基本配置,例如网卡芯片、IO总线、显示组件以及一些外围设备等。可选地,一些外围设备可以包括例如:键盘、鼠标、输入笔、打印机等。其它外围设备在本领域中是众所周知的,在此不做赘述。可选地,客户端可以为PC(personal computer)终端、手持终端(例如:智能手机、平板电脑)等。
或者,光伏组件图像的异常检测装置可以实现为一服务器,该服务器是指可以在网络虚拟环境中提供光伏组件图像的异常检测服务的设备。在物理实现上,服务器可以是任何能够提供计算服务,响应异常检测请求,并进行处理的设备,例如:可以是集群服务器、常规服务器、云服务器、云主机、虚拟中心等,其主要可以包括处理器、硬盘、内存、系统总线等,和通用的计算机架构类似。
在上述本实施例中,在光伏组件图像的异常检测装置可以与客户端(用于获取光伏组件图像)进行网络连接,该网络连接可以是无线或有线网络连接。若客户端与服务器是通信连接,该移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、WiMax、5G等中的任意一种。
具体的,该光伏组件图像的异常检测方法可以包括:
S401:获取光伏组件图像。
其中,光伏组件图像是指需要进行异常检测操作的图像。在对光伏组件以及光伏组件所对应的产品进行生产的过程中,为了能够保证对光伏组件以及光伏组件所对应的产品进行生产的质量和效率,则可以获取与光伏组件相对应的光伏组件图像,而后可以对光伏组件图像进行异常检测,在光伏组件图像存在异常时,则说明光伏组件可能存在异常,例如:构成光伏组件的电池片的栅线未对齐,构成光伏组件的电池片错位等等;在光伏组件图像不存在异常时,则说明光伏组件不存在异常。
另外,本实施例对于获取光伏组件图像的具体实现方式不做限定,在一些实例中,异常检测装置上可以设置有拍摄装置,通过拍摄装置对待检测的光伏组件进行拍摄即可获取到光伏组件图像。在另一些实例中,异常检测装置通信连接有拍摄装置,通过拍摄装置对待检测的光伏组件进行拍摄即可获取到光伏组件图像,而后可以将所获得的光伏组件图像发送至异常检测装置,从而使得异常检测装置可以稳定地获取到光伏组件图像。
当然的,获取光伏组件图像的具体实现方式并不限于上述所描述的实现方式,本领域技术人员还可以采用其他的方式来获取光伏组件图像,例如:光伏组件图像可以存储在预设区域中,通过访问预设区域即可获取到光伏组件图像,只要能够保证对光伏组件图像进行获取的准确可靠性即可,在此不再赘述。
S402:识别光伏组件图像的图像特征点。
在获取到光伏组件图像之后,可以对光伏组件图像进行分析处理,以识别光伏组件图像的图像特征点。在一些实例中,可以利用特征点提取算法对光伏组件图像进行分析处理,从而识别出光伏组件图像的图像特征点。在另一些实例中,由于光伏组件是由光伏电池片拼接组成的阵列,此时所获得的光伏组件图像可以包括与光伏电池片相对应的图像块。因此,本实施例中的识别光伏组件图像的图像特征点可以包括:基于行和列对光伏组件图像进行分割,获得多个子图像;确定子图像的局部峰值点;基于局部峰值点,确定子图像的图像特征点,光伏组件图像的图像特征点包括多个子图像的图像特征点。
为了能够准确地获取到光伏组件图像的图像特征点,在获取到光伏组件图像之后,可以基于行和列对光伏组件图像进行分割处理,从而可以获得与光伏组件图像相对应的多个子图像,如图6所示。在另一些实例中,可以不基于行和列来对光伏组件图像进行分割处理,具体可以按照设定尺寸对光伏组件图像进行分割处理,从而可以获得多个子图像,可以理解的是,所设定的尺寸可以与光伏组件图像中所包括的行尺寸/列尺寸相同或者不同,本实施例对于设定尺寸的具体数值不做限定,本领域技术人员可以根据具体的应用场景和设计需求对设定尺寸进行调整或者配置。
对于每个子图像而言,每个子图像是由若干个像素点构成的,而特征点仅为子图像中所包括的特征点中的一部分,为了能够保证对子图像的图像特征点进行确定的质量和效率,在获取到多个子图像之后,可以对每个子图像进行分析处理,确定子图像的局部峰值点,其中,一个子图像可以对应多个局部峰值点,上述的局部峰值点是指在预设区域内、幅值大于其他特征点幅值的特征点。在获取到局部峰值点之后,可以基于局部峰值点来确定子图像的图像特征点,在一些实例中,可以将局部峰值点确定为子图像的图像特征点。对于光伏组件图像和子图像而言,子图像是光伏组件图像的一部分,因此,在确定所有子图像的图像特征点之后,即能够准确地识别出光伏组件图像的图像特征点,该图像特征点即为幅值大于或等于设定阈值的像素点。
S403:基于图像特征点识别光伏组件图像中的栅线和分割线。
其中,光伏组件图像中包括栅线和分割线,栅线是指光伏电池片中所对应的横向线段,分割线是指不同光伏电池片之间的线段。对于光伏组件而言,光伏组件图像中与光伏组件相对应的栅线和分割线的像素点所对应的特征值(例如:灰度值)会大于其他位置像素点所对应的特征值,因此,在获取到图像特征点之后,可以基于图像特征点对光伏组件图像进行分析处理,以识别光伏组件图像中的栅线和分割线。
在一些实例中,基于图像特征点识别光伏组件图像中的栅线和分割线可以包括:在图像特征点中,确定分割线特征点,其中,在一局部区域内,分割线特征点的幅值大于其他图像特征点的幅值;基于图像特征点,确定光伏组件图像中的栅线;基于分割线特征点,确定光伏组件图像中的分割线。
其中,图像特征点包括用于形成分割线的特征点和用于形成栅线的特征点,为了能够准确地识别出分割线,在获取到图像特征点之后,可以对图像特征点进行分析处理,以确定图像特征点中所包括的分割线特征点,具体的,分割线特征点的幅值大于局部区域内其他图像特征点的幅值,即分割线特征点为局部区域内的峰值点;可以理解的是,分割线特征点是图像特征点中的一部分。
在获取到图像特征点和分割线特征点之后,可以基于图像特征点来确定光伏组件图像中的栅线,并基于分割线特征点来确定光伏组件图像中的分割线,从而有效地保证了对分割线和栅线进行确定的准确可靠性。需要注意的是,在所确定的栅线与所确定的分割线相重合时,则可以将重合的线段确定为分割线。
S404:根据图像特征点、栅线和分割线对光伏组件图像进行异常检测。
在获取到图像特征点、栅线和分割线之后,可以基于图像特征点、栅线和分割线对光伏组件图像进行异常检测操作。在一些实例中,根据图像特征点、栅线和分割线对光伏组件图像进行异常检测可以包括:识别图像特征点与栅线是否相匹配、图像特征点与分割线是否相匹配;在图像特征点与栅线相匹配、且图像特征点与分割线相匹配时,则确定光伏组件图像不存在异常;在图像特征点与栅线不匹配,或者,图像特征点与分割线不匹配时,则确定光伏组件图像存在异常。
具体的,在获取到图像特征点、栅线和分割线之后,可以检测图像特征点与栅线之间是否匹配、图像特征点与分割线之间是否匹配,也即检测图像特征点与栅线是否重合,图像特征点与分割线是否重合;在图像特征点与栅线重合时,则说明图像特征点与栅线相匹配;在图像特征点与栅线不重合时,则说明图像特征点与栅线不匹配;在图像特征点与分割线重合时,则说明图像特征点与分割线相匹配;在图像特征点与分割线不重合时,则说明图像特征点与分割线不匹配。
在识别结果为图像特征点与栅线相匹配、且图像特征点与分割线相匹配时,则说明光伏组件图像中的图像特征点与所识别的栅线和分割线均重合,进而可以确定光伏组件图像不存在异常。在识别结果为图像特征点与栅线不匹配,或者,图像特征点与分割线不匹配时,则说明光伏组件图像中的图像特征点与所识别的栅线和分割线中的至少一个不重合,进而可以确定光伏组件图像存在异常,该异常情况可以包括:电池片错位、栅线不对齐、光线过暗或者过曝等等。
在一些实例中,为了提高该方法的实用性,本实施例中的方法还可以包括:在确定光伏组件图像存在异常时,则禁止基于光伏组件图像进行生产操作;在确定光伏组件图像不存在异常时,则允许基于光伏组件图像进行生产操作。
具体的,在对光伏组件图像进行异常检测之后,若确定光伏组件图像存在异常,为了保证对光伏组件以及相关产品进行生产的质量和效率,则可以禁止基于光伏组件图像进行生产操作。在确定光伏组件图像不存在异常时,则说明此时可以基于光伏组件图像进行稳定地的生产操作,进而允许基于光伏组件图像进行生产操作,这样有效地保证了光伏组件以及相关产品进行生产的质量和效率。
本实施例提供的异常检测方法,通过获取光伏组件图像,识别光伏组件图像的图像特征点,基于图像特征点识别光伏组件图像中的栅线和分割线,并根据图像特征点、栅线和分割线对光伏组件图像进行异常检测,有效地实现了可以利用非神经网络算法对光伏组件图像进行异常检测,在光伏组件的类型发生更新时,无需重新对卷积神经网络进行训练,仅需要对算法进行微调即可适应更新后的光伏组件,这样使得该异常检测方法的灵活度较高,并且,该方法能够检测极其细微的图像异常情况,检测的精确度较高,从而有利于避免异常光伏组件图像影响后续的生产环节,进一步提高了该方法的实用性。
图7为本发明实施例提供的确定子图像的局部峰值点的流程示意图;在上述实施例的基础上,参考附图7所示,在对光伏组件图像进行分割,获得多个子图像之后,本实施例提供了一种确定子图像的局部峰值点的实现方式,具体的,本实施例中的确定子图像的局部峰值点可以包括:
步骤S701:沿垂直于图像边缘的方向,获得与每个子图像相对应的均值向量。
步骤S702:对均值向量进行低频滤波,获得高频分量。
步骤S703:基于高频分量,确定子图像的局部峰值点。
其中,在获取到多个子图像之后,可以对每个子图像进行分析处理,以获得与每个子图像相对应的均值向量。具体的,对于每个子图像而言,可以先将子图像沿着垂直于图像边缘(包括水平边缘和竖直边缘)的方向进行图像压缩处理,获得与子图像相对应的线段,而后对位于线段上的所有像素点进行均值处理,从而可以获得与子图像相对应的均值向量,可以理解的是,一个子图像可以对应一个均值向量。
由于光伏组件图像包括多个子图像,每个子图像对应一个均值向量,因此,一个光伏组件图像对应有多个均值向量。在获取到均值向量之后,为了能够准确地识别出局部峰值点,则可以对均值向量进行低频滤波,获得高频分量,这样可以避免因图像特征点的像素值较为接近而导致局部峰值点识别错误。可以理解的是,在对均值向量进行低频滤波处理时,对于低频滤波所对应的低频阈值而言,本领域技术人员可以根据具体的应用场景和应用需求进行配置或者调整,在此不再赘述。
在获取到高频分量之后,可以对高频分量进行分析处理,以确定子图像的局部峰值点;在一些实例中,基于高频分量,确定子图像的局部峰值点可以包括:基于高频分量,确定一阶差分向量;基于一阶差分向量,确定子图像的初始峰值点,初始峰值点的幅值大于相邻特征点的幅值;在初始峰值点中,确定子图像的局部峰值点。
在获取到高频分量之后,可以对高频分量进行分析处理,以确定一阶差分向量,一阶差分向量可以包括一阶向前差分向量和一阶向后差分向量;而后可以基于一阶差分向量来确定子图像的初始峰值点,该初始峰值点的幅值大于相邻特征点的幅值。在获取到初始峰值点之后,可以在初始峰值点中确定子图像的局部峰值点,局部峰值点可以为初始峰值点中的任意一个或者几个。
具体的,在初始峰值点中,确定子图像的局部峰值点可以包括:对初始峰值点进行排序;确定与排序后的初始峰值点相对应的二阶差分向量;基于二阶差分向量,确定初始峰值点中所包括的跳变位置;将与跳变位置相对应的初始峰值点确定为参考特征点;将幅值大于参考特征点的初始峰值点,确定为子图像的局部峰值点。
举例来说,在获取到子图像之后,可以沿垂直于图像边缘的方向对子图像进行分析处理,从而可以获得与每个子图像相对应的均值向量,如图8所示,提供了与一子图像相对应的均值向量示意图。在获取到均值向量之后,则可以对均值向量进行低频滤波处理,从而可以获得高频分量,如图9所示。在获取到高频分量之后,可以确定与高频分量相对应的一阶差分向量,并基于一阶差分向量来确定子图像的初始峰值点,初始峰值点的数量可以为多个,如图10所示,该初始峰值点的幅值大于相邻特征点的幅值。
在获取到初始峰值点之后,可以对所获得的初始峰值点进行排序,而后确定与排序后的初始峰值点相对应的二阶差分向量,并基于二阶差分向量来确定初始峰值点中所包括的跳变位置,如图11所示。
在获取到跳变位置之后,可以将与跳变位置相对应的初始峰值点确定为参考特征点,并将幅值大于参考特征点的初始峰值点确定为子图像的局部峰值点,如图12所示,所确定的局部峰值点的数量为多个,从而有效地保证了对子图像的局部峰值点进行确定的准确可靠性。
本实施例中,在获取到子图像之后,通过沿垂直于图像边缘的方向获得与每个子图像相对应的均值向量,而后对均值向量进行低频滤波,获得高频分量,并基于高频分量来确定子图像的局部峰值点,从而有效地保证了对局部峰值点进行确定的精确程度,进一步提高了基于局部峰值点来对光伏组件图像进行异常检测的准确可靠性。
图13为本发明实施例提供的基于局部峰值点,确定子图像的图像特征点的流程示意图;参考附图13所示,本实施例提供了一种基于局部峰值点,确定子图像的图像特征点的实现方式,具体的,基于局部峰值点,确定子图像的图像特征点可以包括:
步骤S1301:识别局部峰值点中所包括的冗余特征点。
其中,对于光伏组件图像而言,光伏组件图像的图像特征点主要用于识别出栅线和分割线,并且,由于栅线和分割线均为直线,进而在对栅线或者分割线进行识别确认时,利用一个或几个图像特征点即可准确地识别出来,此时,若所识别出的光伏组件图像的图像特征点中包括冗余特征点时,不仅会增加数据计算量,占用计算资源,并且还会降低对栅线和分割线进行识别的质量和效率,因此,在识别光伏组件图像的图像特征点时,可以检测图像特征点中是否存在冗余特征点,若存在,则可以将冗余特征点删除。
具体的,在获取到子图像的局部峰值点之后,可以对局部峰值点进行冗余检测,以识别出局部峰值点中所包括的冗余特征点,其中,冗余特征点可以包括距离比较接近的特征点、识别准确度较低的特征点等等。在一些实例中,识别局部峰值点中所包括的冗余特征点可以包括:获取局部峰值点的置信度;基于置信度,识别局部峰值点中所包括的冗余特征点。
在获取到局部峰值点之后,可以对局部峰值点进行分析处理,以获取局部峰值点的置信度,该局部峰值点的置信度用于标识局部峰值点的识别准确程度,置信度越高,则说明该局部峰值点的识别准确度越高。在获取到置信度之后,可以对置信度进行分析处理,以识别局部峰值点中所包括的冗余特征点。具体的,基于置信度,识别局部峰值点中所包括的冗余特征点可以包括:在置信度小于预设阈值时,则说明此时局部峰值点所对应的识别准确度较低,进而可以将与置信度相对应的局部峰值点确定为冗余特征点;在置信度大于或等于预设阈值时,则说明此时局部峰值点所对应的识别准确度较高,进而可以将与置信度相对应的局部峰值点确定为非冗余特征点。
步骤S1302:将局部峰值点中的冗余特征点删除,获得子图像的图像特征点。
在识别出局部峰值点中包括冗余特征点之后,为了保证光伏组件图像的异常检测的质量和效率,则可以将局部峰值点中的冗余特征点删除,从而可以获得不包含冗余特征点的子图像的图像特征点。当获取到光伏组件图像中所有子图像的图像特征点时,即可获取到光伏组件图像的图像特征点。
本实施例中,通过识别局部峰值点中所包括的冗余特征点,而后将局部峰值点中的冗余特征点删除,获得子图像的图像特征点,此时,通过上述子图像的图像特征点所确定的光伏组件图像的图像特征点中并不包括冗余特征点,因此,在基于光伏组件图像的图像特征点对光伏组件图像进行异常检测操作时,可以有效地提高了对光伏组件图像进行异常检测的质量和效率,进一步提高了该方法使用的稳定可靠性。
图14为本发明实施例提供的获取局部峰值点的置信度的流程示意图一;参考附图14所示,本实施例提供了一种获取局部峰值点的置信度的实现方式,具体的,本实施例中的获取局部峰值点的置信度可以包括:
步骤S1401:获取所有相邻的局部峰值点所对应的相邻距离。
步骤S1402:基于所有的相邻距离,确定平均距离。
步骤S1403:基于平均距离和相邻距离,确定局部峰值点的置信度。
其中,在获取到局部峰值点之后,可以对所有相邻的局部峰值点进行距离计算,从而可以获取所有相邻的局部峰值点所对应的相邻距离,在获取到所有的相邻距离之后,基于所有的相邻距离确定平均距离,之后可以对平均距离和相邻距离进行分析处理,以确定局部峰值点的置信度。
具体的,基于平均距离和相邻距离,确定局部峰值点的置信度可以包括:获取平均距离和相邻距离之间的距离差值;基于距离差值,确定局部峰值点的置信度,置信度与距离差值的大小呈负相关;简单来说,平均距离可以看做为所有局部峰值点的幅值振动中心点,当局部峰值点的幅值与振动中心点的距离越远,则说明局部峰值点的置信度越低;当局部峰值点的幅值与振动中心点的距离越近,则说明局部峰值点的置信度越高。
举例来说,局部峰值点包括峰值点a、峰值点b、峰值点c、峰值点d、峰值点e和峰值点f,而后可以获取相邻的局部峰值点所对应的相邻距离,即峰值点a与峰值点b之间的相邻距离d1,峰值点b与峰值点c之间的相邻距离d2,峰值点c与峰值点d之间的相邻距离d3,峰值点d与峰值点e之间的相邻距离d4,峰值点e与峰值点f之间的相邻距离d5。
在获取到上述相邻的局部峰值点的相邻距离之后,则可以基于所有的相邻距离来确定平均距离,即D=(d1+d2+d3+d4+d5)/5。之后,则可以获取平均距离和相邻距离之间的距离差值,即可以获取到距离差值:|D-d1|、|D-d2|、|D-d3|、|D-d4|、|D-d5|。在获取到距离差值之后,可以基于距离差值与局部峰值点的置信度之间所存在的映射关系来确定局部峰值点的置信度,具体的,置信度与距离差值的大小呈负相关,即在距离差值越小时,局部峰值点的置信度越高,在距离差值越大时,局部峰值点的置信度越小。
本实施例中,通过获取所有相邻的局部峰值点的相邻距离,基于所有的相邻距离来确定平均距离,而后基于平均距离和相邻距离来确定局部峰值点的置信度,从而有效地保证了对局部峰值点的置信度进行确定的准确可靠性。
图15为本发明实施例提供的获取局部峰值点的置信度的流程示意图二;参考附图15所示,本实施例提供了另一种获取局部峰值点的置信度的实现方式,具体的,本实施例中的获取局部峰值点的置信度可以包括:
步骤S1501:确定局部峰值点所对应的邻域。
步骤S1502:统计位于邻域内的局部峰值点的数量。
步骤S1503:基于数量,确定局部峰值点的置信度,其中,置信度与数量的多少呈正相关。
其中,在获取到局部峰值点之后,可以确定局部峰值点所对应的邻域,具体的,可以以局部峰值点为中心,将与局部峰值点之间存在设定距离的区域确定为与局部峰值点所对应的邻域;在获取到局部峰值点所对应的邻域之后,可以统计位于邻域内的局部峰值点的数量,而后可以基于数量与局部峰值点的置信度之间的映射关系来确定局部峰值点的置信度,具体的,置信度与数量的多少呈正相关,即在邻域中所包括的局部峰值点的数量越大,则局部峰值点的置信度越大;在邻域中所包括的局部峰值点的数量越小,则局部峰值点的置信度越小。
本实施例中,通过确定局部峰值点所对应的邻域,而后统计位于邻域内的局部峰值点的数量,并基于数量来确定局部峰值点的置信度,这样不仅提供了另一种对局部峰值点的置信度进行确定的实现方式,并且保证了对置信度进行确定的灵活可靠性。
当然的,本领域技术人员也可以采用其他方式来获取局部峰值点的置信度,在一些实例中,为了能够保证对置信度进行确定的准确可靠性,获取局部峰值点的置信度还可以包括:获取所有相邻的局部峰值点的相邻距离以及局部峰值点所对应的邻域,基于所有的相邻距离确定平均距离,统计位于邻域内的局部峰值点的数量,而后基于平均距离、相邻距离以及位于邻域内的局部峰值点的数量,确定局部峰值点的置信度。
在获取到平均距离和相邻距离之后,可以获取平均距离与相邻距离之间的距离差值,而后可以基于距离差值和位于邻域内的局部峰值点的数量来确定局部峰值点的置信度。此时,局部峰值点的置信度与距离差值呈负相关,且与位于邻域内的局部峰值点的数量呈正相关,即该方法所获得的局部峰值点的置信度是综合考虑局部峰值点之间的偏差程度以及局部峰值点之间的分布数量来确定的,进而有效地提高了对局部峰值点的置信度进行确定的精确程度。
图16为本发明实施例提供的在图像特征点中,确定分割线特征点的流程示意图;参考附图16所示,本实施例提供了一种确定分割线特征点的实现方式,具体的,本实施例中的在图像特征点中,确定分割线特征点可以包括:
步骤S1601:在图像特征点中,确定峰值特征点。
步骤S1602:获取与峰值特征点相对应的置信度向量。
步骤S1603:对置信度向量进行低频滤波处理,获得处理后向量。
步骤S1604:基于处理后向量,确定分割线特征点。
其中,在获取到图像特征点之后,可以将所有的图像特征点进行分析比较,从而可以获得峰值特征点,之后可以对峰值特征点进行分析处理,以获取与峰值特征点相对应的置信度向量。在一些实例中,获取与峰值特征点相对应的置信度向量可以包括:获取峰值特征点与相邻峰值特征点之间的所有中间特征点;确定峰值特征点与所有中间特征点所对应的最大差值;基于最大差值,确定与峰值特征点相对应的置信度向量。
具体的,在获取到峰值特征点之后,可以确定与峰值特征点所对应的相邻峰值特征点(前相邻峰值特征点和/或后相邻峰值特征点),而后可以获取位于峰值特征点与相邻峰值特征点之间的所有中间特征点,之后来确定峰值特征点与所有中间特征点所对应的最大差值,即在所有中间特征点中确定一幅值最小的中间特征点,而后将最小的中间特征点与峰值特征点之间的差值确定为最大差值。在获取到最大差值之后,可以对最大差值进行分析处理,以确定与峰值特征点相对应的置信度向量。
在获取到置信度向量之后,为了能够避免低频数据对分割线特征点进行确定的影响程度,则可以对置信度向量进行低频滤波处理,从而可以获得处理后向量。在获取到处理后向量之后,可以对处理后向量进行分析处理,以确定分割线特征点,在一些实例中,基于处理后向量,确定分割线特征点可以包括:获取与处理后向量相对应的阈值;将所有大于阈值的峰值特征点确定为分割线特征点。
其中,预先配置有用于对处理后向量进行分析处理的阈值,在获取到处理后向量之后,可以获取与处理后向量相对应的阈值,而后可以将所有的峰值特征点与阈值进行分析比较,将所有大于阈值的峰值特征点来确定为分割线特征点,即用于确定分割线的峰值特征点的幅值要大于用于确定栅线的峰值特征点的幅值,从而有效地保证了对分割线特征点进行确定的准确可靠性。
本实施例中,通过在图像特征点中确定峰值特征点,而后获取与峰值特征点相对应的置信度向量,并对置信度向量进行低频滤波处理,获得处理后向量,最后基于处理后向量确定分割线特征点,这样不仅保证了对分割线特征点进行确定的准确可靠性,并且还提高了基于分割线特征点来确定分割线的精确程度,进一步保证了对光伏组件图像进行异常检测的质量和效率。
图17为本发明实施例提供的获取光伏组件图像的流程示意图;参考附图17所示,本实施例提供了一种对光伏组件图像进行获取的实现方式,具体的,本实施例中的获取光伏组件图像可以包括:
步骤S1701:获取与光伏组件相对应的原始图像。
步骤S1702:确定原始图像中的无效区域。
步骤S1703:去除原始图像中的无效区域,获得光伏组件图像。
当需要对光伏组件以及光伏组件所对应的产品进行生产时,为了能够保证对光伏组件以及光伏组件所对应的产品进行生产的质量和效率,则可以获取与光伏组件相对应的原始图像,原始图像中可以包括与光伏组件相对应的组件图像区域和位于光伏组件边缘的其他图像区域。在获取到与光伏组件相对应的原始图像之后,可以对原始图像进行分析处理,以确定原始图像中所包括的无效区域,无效区域是指与光伏组件无关的区域。
在一些实例中,确定原始图像中的无效区域可以包括:识别原始图像中包括的边缘信息;将边缘信息所构成的区域确定为原始图像中的有效区域;将位于有效区域之外的区域确定为无效区域。
其中,在获取到原始图像之后,可以对原始图像进行分析识别,以识别原始图像中所包括的边缘信息,具体的,识别原始图像中包括的边缘信息可以包括:对原始图像进行采样,获得多个图像块;沿边缘方向对图像块进行处理,获得与图像块相对应的均值向量;基于均值向量确定差分向量;基于差分向量,确定原始图像中包括的边缘信息。
为了能够准确地识别出原始图像中所包括的边缘信息,在获取到原始图像之后,可以对原始图像进行采样处理,从而可以获得与原始图像相对应的多个图像块,多个图像块可以为原始图像的一部分,在获取到图像块之后,可以沿边缘方向对图像块进行处理,以获得与图像块相对应的均值向量,具体的,本实施例中的获取与图像块相对应的均值向量的具体实现方式与上述实施例中的获取与每个子图像相对应的均值向量的具体实现方式相类似,具体可参考上述陈述内容,在此不再赘述。
在获取到均值向量之后,可以对均值向量进行分析处理,以确定差分向量,差分向量即可表征图像块中像素点的变化程度。在获取到差分向量之后,可以基于差分向量来确定原始图像中包括的边缘信息,这样有效地保证了对原始图像中包括的边缘信息进行确定的准确可靠性。
在识别出原始图像中包括的边缘信息之后,可以将边缘信息所构成的区域确定为原始图像中的有效区域,该有效区域是指与光伏组件相对应的区域;在获取到有效区域之后,可以将位于有效区域之外的区域确定为无效区域,这样有效地保证了对无效区域进行确定的准确可靠性。
如图18所示,在确定无效区域之后,为了能够提高对光伏组件图像进行异常检测的质量和效率,则可以去除原始图像中的无效区域,从而可以获得光伏组件图像,此时的光伏组件图像是指去除了无效区域之后的图像,这样在对光伏组件图像进行分析处理时,有效地提高了异常检测的质量和效率。
本实施例中,通过获取与光伏组件相对应的原始图像,而后确定原始图像中的无效区域,之后去除原始图像中的无效区域,获得光伏组件图像,此时所获得的光伏组件图像中并不包括与光伏组件无关的区域,因此,在对光伏组件图像进行分析处理时,可以有效地保证对光伏组件图像进行异常检测的质量和效率。
图19为本发明实施例提供的另一种光伏组件图像的异常检测方法的流程示意图;在上述任意一个实施例的基础上,参考附图19所示,在获取光伏组件图像之后,本实施例中的方法还可以包括:
步骤S1901:识别光伏组件图像中是否存在光线异常区域。
步骤S1902:在光伏组件图像中存在光线异常区域时,则禁止识别光伏组件图像的图像特征点。
步骤S1903:在光伏组件图像中不存在光线异常区域时,则允许识别光伏组件图像的图像特征点。
其中,在获取到光伏组件图像之后,可以对光伏组件图像进行检测处理,以检测光伏组件图像中是否存在能够影响对光伏组件图像进行异常检测操作的光线异常区域,上述的光线异常区域可以包括:光线明亮区域、光线暗淡区域等等。在一些实例中,识别光伏组件图像中是否存在光线异常区域可以包括:获取与光伏组件图像相对应的灰度图像;提取灰度图像中像素点的像素值;基于灰度图像中像素点的像素值,检测光伏组件图像中是否存在能够影响对光伏组件图像进行异常检测操作的光线异常区域。
具体的,在获取到光伏组件图像之后,可以将光伏组件图像从RGB空间转换到灰度空间,从而可以获得与光伏组件图像相对应的灰度图像,而后提取灰度图像中像素点的像素值,在提取出灰度图像中像素点的像素值之后,可以对灰度图像中像素点的像素值进行分析处理,以检测光伏组件图像中是否存在能够影响对光伏组件图像进行异常检测操作的光线异常区域。
在一些实例中,基于灰度图像中像素点的像素值,检测光伏组件图像中是否存在能够影响对光伏组件图像进行异常检测操作的光线异常区域可以包括:在像素值小于第一像素阈值,或者,第一像素值大于或等于第二像素阈值时,则将像素值所对应的区域确定为光线异常区域,其中,第二像素阈值大于第一像素阈值;在像素值大于或等于第一像素阈值,且第一像素值小于第二像素阈值时,则将像素值所对应的区域确定为光线正常区域。
具体的,在获取到灰度图像中像素点的像素值之后,可以将像素值分别与预设的第一像素阈值和第二像素阈值进行分析比较,在像素值小于第一像素阈值时,则说明灰度图像中与像素值所对应的像素点的亮度较暗,即此时的光伏组件图像中包括有与上述像素点所对应的暗光区域,进而可以将像素值所对应的区域确定为光线异常区域。相类似的,在像素值大于或等于第二像素阈值时,则说明灰度图像中与像素值所对应的像素点的亮度较亮,即此时的光伏组件图像中包括有与上述像素点所对应的高光区域,进而可以将像素值所对应的区域确定为光线异常区域。
在像素值大于或等于第一像素阈值,且第一像素值小于第二像素阈值时,则说明灰度图像中与像素值所对应的像素点的亮度位于正常范围内,进而可以将像素值所对应的区域确定为光线正常区域,这样有效地实现了能够稳定、有效地检测光伏组件图像中是否存在能够影响对光伏组件图像进行异常检测操作的光线异常区域。
具体的,在光伏组件图像中存在光线异常区域时,则说明此时的光伏组件图像为异常图像,此时无需再次对上述的光伏组件图像进行异常检测操作,因此可以禁止识别光伏组件图像的图像特征点。在光伏组件图像中不存在光线异常区域时,此时,为了能够准确地对光伏组件图像进行异常检测操作,则允许识别光伏组件图像的图像特征点,以基于图像特征点对光伏组件图像进行异常检测操作,进一步保证了对光伏组件图像进行分析识别的准确可靠性。
图20为本发明实施例提供的一种光伏组件图像的特征点提取方法的流程示意图;参考附图20所示,本实施例提供了一种光伏组件图像的特征点提取方法,该方法的执行主体可以为光伏组件图像的特征点提取装置,可以理解的是,该光伏组件图像的特征点提取装置可以实现为软件、或者软件和硬件的组合,具体的,光伏组件图像的特征点提取装置可以实现为一客户端或者服务器,该客户端或者服务器可以是任何具有一定图像处理能力的计算设备。具体的,该特征点提取方法可以包括:
步骤S2001:获取光伏组件图像。
其中,光伏组件图像是指需要进行特征点提取操作的图像,具体的,本实施例中获取光伏组件图像的具体实现方式和实现效果与上述实施例中步骤S401的具体实现方式和实现效果相类似,具体可参考上述陈述内容,在此不再赘述。
步骤S2002:基于行和列对光伏组件图像进行分割,获得多个子图像。
步骤S2003:确定子图像的局部峰值点。
本实施例中步骤S2002-步骤2003的具体实现方式和实现效果与上述图4实施例对应步骤的具体实现方式和实现效果相类似,具体可参考上述陈述内容,在此不再赘述。
步骤S2004:基于局部峰值点,确定子图像的特征点,光伏组件图像的特征点包括多个子图像的特征点。
具体的,为了能够准确地获取到光伏组件图像的图像特征点,在获取到光伏组件图像之后,可以基于行和列对光伏组件图像进行分割处理,从而可以获得与光伏组件图像相对应的多个子图像,如图6所示。在另一些实例中,可以不基于行和列来对光伏组件图像进行分割处理,具体可以按照设定尺寸对光伏组件图像进行分割处理,从而可以获得多个子图像,可以理解的是,所设定的尺寸可以与光伏组件图像中所包括的行尺寸或者列尺寸相同或者不同,本实施例对于设定尺寸的具体数值不做限定,本领域技术人员可以根据具体的应用场景和设计需求对设定尺寸进行调整或者配置。
对于每个子图像而言,每个子图像是由若干个像素点构成的,而特征点仅为子图像中所包括的特征点中的一部分,为了能够保证对子图像的图像特征点进行确定的质量和效率,在获取到多个子图像之后,可以对每个子图像进行分析处理,确定子图像的局部峰值点,其中,局部峰值点是指在预设区域内、特征点的幅值大于预设区域内其他特征点的幅值,一个子图像可以对应多个局部峰值点。在获取到局部峰值点之后,可以确定子图像的图像特征点,在一些实例中,可以将局部峰值点确定为子图像的图像特征点;由于光伏组件图像的图像特征点是由多个子图像的图像特征点所构成的,因此,在确定所有子图像的图像特征点之后,即能够准确地识别出光伏组件图像的图像特征点,该图像特征点即为幅值大于或等于设定阈值的像素点。
本实施例提供的特征点提取方法,通过获取光伏组件图像,基于行和列对光伏组件图像进行分割,获得多个子图像,而后确定子图像的局部峰值点,并基于局部峰值点来确定子图像的特征点,由于光伏组件图像的特征点包括多个子图像的特征点,进而有效地保证了对光伏组件图像进行特征点提取操作,这样便于基于所提取的图像特征点对光伏组件图像进行异常检测操作,进一步提高了该特征点提取方法使用的准确可靠性。
具体应用时,本应用实施例针对电池片阵列拼接过程中存在的拍摄异常问题,提供了一种基于特征点匹配的光伏组件图像的拍摄异常检测方法,该方法能够完成筛选拍摄异常组件图像的操作,并能够保证产线后续流程的正常运行。参考附图21所示,拍摄异常检测方法可以包括:去除无效区域、组件整体判定、特征点检测、特征点融合、电池片分隔线检测、逐点匹配以及后处理,下面对上述各个步骤进行详细说明:
步骤1:去除无效区域。
一般情况下,光伏组件图像的中央区域为电池片阵列所对应的区域,而光伏组件图像的边缘区域则是图像采集时保留的黑边以及部分文字信息,为了提高拍摄异常检测方法使用的质量和效率,则可以检测电池片阵列的外框,并把外部无效区域去除,只保留有效的电池片区域。具体包括以下子步骤:
步骤1.1:在光伏组件图像的边缘采样若干图像块。
参考附图22所示,光伏组件图像的边缘可以包括水平边缘和竖直边缘,在水平边缘和竖直边缘上分别采样若干图像块,具体可以在水平边缘上采集若干第一图像块、在竖直边缘上采集若干第二图像块。在一些实例中,在水平边缘上采集图像块的密度与在竖直边缘上采集图像块的密度可以相同或者不同,如图22所示,在水平边缘上采集图像块的密度较大,此时所采集的第一图像块之间的间距较小;在竖直边缘上采集图像块的密度较小,此时所采集的第二图像块之间的间距较大。
步骤1.2:对每个采样的图像块,沿着边缘的方向计算均值向量。
在获取到若干第一图像块和若干第二图像块之后,可以对每个第一图像块和每个第二图像块进行压缩处理,从而可以获得与第一图像块相对应的竖直线和与第二图像块相对应的水平线;在获取到竖直线和水平线之后,分别计算与竖直线和水平线相对应的均值向量。
步骤1.3:对均值向量计算差分向量。
其中,为了能够确定相邻的图像块之间的变化程度,在获取到均值向量之后,可以对均值向量进行差分计算,从而可以获得差分向量。
步骤1.4:根据差分向量中的跳变点确定边缘位置。
在获取到差分向量之后,可以基于差分向量查找出跳变点,跳变点即为由黑到亮变化的过程或者由亮到黑变化的过程中所对应的像素点,一般情况下,在差分向量大于设定阈值时,则可以确定与差分向量相对应的第二个点为跳变点。
在获取到差分向量中的跳变点之后,可以基于跳变点来确定边缘位置,在一些实例中,可以获取跳变点的中值,并将跳变点的中值确定为边缘位置。
步骤1.5:将所有检测到的边缘位置融合,确定电池片阵列的外框,而后去除外部区域。
步骤2:组件整体判定。
其中,组件整体判定是为了检测光伏组件图像中是否存在过暗以及过曝两种异常情况,具体的,在获取到光伏组件图像的有效区域之后,可以获取光伏组件图像中的灰度值,统计灰度值大于第一阈值的像素点数量,或者灰度值小于第二阈值的像素点数量,其中,第一阈值大于第二阈值,若光伏组件图像中存在大量的过暗像素点或者过曝像素点,则说明该光伏组件图像中存在过暗异常情况或者过曝异常情况。
在确定光伏组件图像中存在过暗异常情况或者过曝异常情况时,则无需对光伏组件图像进行异常检测操作;在确定光伏组件图像中不存在过暗异常情况或者过曝异常情况时,则可以继续对光伏组件图像进行异常检测操作。
步骤3:特征点检测。
对于组件整体判定之后的光伏组件图像而言,可以提取光伏组件图像中所包括的各种线状的特征点,再将特征点进行融合,获取光伏组件图像中的有效线段,之后即可通过光伏组件图像中的有效线段来确定电池片之间的分割线以及与电池片相对应的栅线。具体的,该步骤可以包括以下子步骤:
步骤3.1:对光伏组件图像进行按行和列的切割,划分为若干子图像。
在获取到光伏组件图像之后,可以按照列对光伏组件图像进行切割,从而可以获得若干子图像,如图23所示,提供了一种纵向切片而获得的一个子图像的示意图。
步骤3.2:对子图像沿垂直于图像边缘的方向计算均值向量。
具体的,在获取到子图像之后,可以对每个子图像沿垂直于图像边缘的方向进行均值计算,从而可以获得与子图像相对应的均值向量,如图24所示。
步骤3.3:对均值向量使用中值滤波器处理,获得低频分量。
步骤3.4:将均值向量减去低频分量,保留其高频分量。
具体的,在确定低频分量之后,可以将均值向量减去低频分量,获得高频分量,如图25所示,这样可以有效地去除光伏组件图像中的电池片亮度差异的干扰,保证了对光伏组件图像进行异常检测的准确可靠性。
步骤3.5:使用峰值检测模块和快速NMS 1D(一维)模块提取图像特征点。
其中,峰值检测模块用于检测输入向量中向下的尖峰点,具体的,尖峰点的获取步骤包括以下步骤:步骤3.511:设置跳变点阈值。步骤3.512:对高频分量进行分析计算,获得一阶向前差分向量和一阶向后差分向量,根据两个向量的正负性质获取与高频分量相对应的所有局部极小值点,如图10所示。步骤3.513:对所有局部极小值排序。步骤3.514:对排序后的局部极小值计算二阶差分向量,如图11所示。步骤3.515:基于二阶差分向量确定跳变位置,并由差分向量中的跳变位置回溯查找到局部极小值点,所查找到的局部极小值点对应了整个均值向量中峰值最小的局部极小值点,而后以该点作为基准阈值,获得峰值大于该点的所有局部极小值点,并将上述的局部极小值点确定为尖峰点,从而完成了峰值检测操作,如图12所示,上述所确定的尖峰点即为初始图像特征点。
另外,快速NMS 1D模块用于根据一个向量(可以为均值向量、一阶差分向量、二阶差分向量等等)以及每个元素(即为上述的初始图像特征点)的置信度,具体可以基于欧式距离来确定置信度,基于置信度来确定冗余元素,滤除冗余元素,具体的,滤除冗余元素可以包括以下步骤:步骤3.521:设置欧式距离阈值。步骤3.522:对每个元素(初始图像特征点)的置信度从高到低排序。步骤3.523:对每个元素设置一个标识信息,该标识信息用于记录该元素是否被滤除。步骤3.524:根据排序的顺序,依次取出每个元素x,并向两边搜索其他元素y,分为以下情况:a)当元素x的标识信息已经被设置为滤除时,则跳过x,并按置信度取下一个元素;b)当x和y之间的欧式距离在阈值之内时,则把y的标识信息设置为滤除,并搜索下一个y,即当两个元素距离较近时,则可以将其中一个元素确定为冗余元素;c)在x和y之间的欧式距离在阈值之外时,则取下一个x。步骤3.525:根据最后所有元素的标识信息来滤除冗余元素,从而可以获得与光伏组件图像相对应的图像特征点,如图26所示。
步骤4:特征点融合
步骤4.1:在获取到图像特征点之后,可以根据行列把图像特征点进行分组。
步骤4.2:对分组后的图像特征点计算置信度。
其中,在获取图像特征点之后,可以获取图像特征点与邻域内其他点之间的平均欧式距离,并统计邻域内的图像特征点的数量,基于平均欧式距离和邻域内图像特征点的数量来计算置信度。
步骤4.3:保留邻域内特征点数量超过阈值的图像特征点。
步骤4.4:使用快速NMS 1D模块滤除多余特征点,从而完成特征点的融合操作。
步骤5:在获取到图像特征点之后,可以基于图像特征点确定光伏组件图像中的栅线和分割线,在确定分割线的过程中,可以利用电池片分割线检测模块来分析光伏组件图像中电池片的栅线和分隔线之间的关系,以检测出横向的电池片分隔线,并过滤掉栅线的干扰。具体的,分割线的识别步骤包括:
步骤5.1:对光伏组件图像沿着水平方向进行计算,获得均值向量,如图27所示。
步骤5.2:使用中值滤波计算均值向量的低频部分。
步骤5.3:将均值向量中减去低频部分,保留高频部分,如图28所示。
步骤5.4:使用尖峰检测模块和快速NMS 1D模块来提取尖峰特征点,如图28所示。
步骤5.5:对每个尖峰特征点计算置信度,上述的置信度为其与两相邻尖峰之间所有点所构成的最大差值,具体的,置信度的分布情况如图29所示。
步骤5.6:保留置信度向量的高频部分,如图30所示。
步骤5.7:根据设定阈值来确定电池片分隔线的位置,如图30所示。
步骤6:逐点匹配。
在获取到图像特征点、栅线和分割线之后,可以将图像特征点与栅线和分割线进行逐点匹配操作,以检测光伏组件图像中是否存在严重以及细微的异常情况。具体的,逐点匹配是将特征点和组件图像中的栅线、分隔线等特征进行匹配,若出现匹配失败,则说明光伏组件图像中存在异常,如图31所示,提供了两种常见的光伏组件图像中存在异常的情况,即位于上方的三个图像特征点用于标识光伏组件图像中电池片的错位,而位于下方的密集的图像特征点用于标识电池片中栅线未对齐的情况。
步骤7:后处理。
对于没有异常的光伏组件图像而言,可以输出光伏组件图像中的每个电池片的包围框坐标以及分隔线、栅线坐标、电池片行列数等信息。
本应用实施例提供的技术方案,通过使用峰值检测模块和快速NMS 1D模块对光伏组件图像进行特征提取操作,从而可以获取到丰富的图像特征点,该图像特征点能够表征光伏组件图像中较为完备的特征,而后基于所提取出的图像特征点识别光伏组件图像中的栅线和分割线,并对图像特征点、栅线和分割线进行逐点匹配操作,这样不仅能够检测出较严重的拍摄异常,也能检测出极其轻微的异常,进而保证了对光伏组件图像进行异常检测的准确率,从而可以克服因人工观察所导致的容易遗漏的异常情况,例如栅线未对齐等人工观察也容易遗漏的异常等等;另外,该方法可通过简单调整算法参数的方式快速适应新型的光伏组件,更新周期基本保持在10分钟以内,响应速度快,进一步提高了该方法使用的灵活可靠性。
图32为本发明实施例提供的一种光伏组件图像的异常检测装置的结构示意图;参考附图32所示,本实施例提供了一种光伏组件图像的异常检测装置,该异常检测装置可以执行上述图4所对应的光伏组件图像的异常检测方法。具体的,该异常检测装置可以包括第一获取模块11、第一识别模块12、第一处理模块13以及第一检测模块14:
第一获取模块11,用于获取光伏组件图像。
第一识别模块12,用于识别光伏组件图像的图像特征点。
第一处理模块13,用于基于图像特征点识别光伏组件图像中的栅线和分割线。
第一检测模块14,用于根据图像特征点、栅线和分割线对光伏组件图像进行异常检测。
在一些实例中,在第一识别模块12识别光伏组件图像的图像特征点时,第一识别模块12用于执行:基于行和列对光伏组件图像进行分割,获得多个子图像;确定子图像的局部峰值点;基于局部峰值点,确定子图像的图像特征点,光伏组件图像的图像特征点包括多个子图像的图像特征点。
在一些实例中,在第一识别模块12确定子图像的局部峰值点时,第一识别模块12用于执行:沿垂直于图像边缘的方向,获得与每个子图像相对应的均值向量;对均值向量进行低频滤波,获得高频分量;基于高频分量,确定子图像的局部峰值点。
在一些实例中,在第一识别模块12基于高频分量,确定子图像的局部峰值点时,第一识别模块12用于执行:基于高频分量,确定一阶差分向量;基于一阶差分向量,确定子图像的初始峰值点,初始峰值点的幅值大于相邻特征点的幅值;在初始峰值点中,确定子图像的局部峰值点。
在一些实例中,在第一识别模块12在初始峰值点中,确定子图像的局部峰值点时,第一识别模块12用于执行:对初始峰值点进行排序;确定与排序后的初始峰值点相对应的二阶差分向量;基于二阶差分向量,确定初始峰值点中所包括的跳变位置;将与跳变位置相对应的初始峰值点确定为参考特征点;将幅值大于参考特征点的初始峰值点,确定为子图像的局部峰值点。
在一些实例中,在第一识别模块12基于局部峰值点,确定子图像的图像特征点时,第一识别模块12用于执行:识别局部峰值点中所包括的冗余特征点;将局部峰值点中的冗余特征点删除,获得子图像的图像特征点。
在一些实例中,在第一识别模块12识别局部峰值点中所包括的冗余特征点时,第一识别模块12用于执行:获取局部峰值点的置信度;基于置信度,识别局部峰值点中所包括的冗余特征点。
在一些实例中,在第一识别模块12获取局部峰值点的置信度时,第一识别模块12用于执行:获取所有相邻的局部峰值点所对应的相邻距离;基于所有的相邻距离,确定平均距离;基于平均距离和相邻距离,确定局部峰值点的置信度。
在一些实例中,在第一识别模块12基于平均距离和相邻距离,确定局部峰值点的置信度时,第一识别模块12用于执行:获取平均距离和相邻距离之间的距离差值;基于距离差值,确定局部峰值点的置信度,置信度与距离差值的大小呈负相关。
在一些实例中,在第一识别模块12获取局部峰值点的置信度时,第一识别模块12用于执行:确定局部峰值点所对应的邻域;统计位于邻域内的局部峰值点的数量;基于数量,确定局部峰值点的置信度,其中,置信度与数量的多少呈正相关。
在一些实例中,在第一识别模块12基于置信度,识别局部峰值点中所包括的冗余特征点时,第一识别模块12用于执行:在置信度小于预设阈值时,则将与置信度相对应的局部峰值点确定为冗余特征点;在置信度大于或等于预设阈值时,则将与置信度相对应的局部峰值点确定为非冗余特征点。
在一些实例中,在第一处理模块13基于图像特征点识别光伏组件图像中的栅线和分割线时,该第一处理模块13用于执行:在图像特征点中,确定分割线特征点,其中,在一局部区域内,分割线特征点的幅值大于其他图像特征点的幅值;基于图像特征点,确定光伏组件图像中的栅线;基于分割线特征点,确定光伏组件图像中的分割线。
在一些实例中,在第一处理模块13在图像特征点中,确定分割线特征点时,该第一处理模块13用于执行:在图像特征点中,确定峰值特征点;获取与峰值特征点相对应的置信度向量;对置信度向量进行低频滤波处理,获得处理后向量;基于处理后向量,确定分割线特征点。
在一些实例中,在第一处理模块13获取与峰值特征点相对应的置信度向量时,该第一处理模块13用于执行:获取峰值特征点与相邻峰值特征点之间的所有中间特征点;确定峰值特征点与所有中间特征点所对应的最大差值;基于最大差值,确定与峰值特征点相对应的置信度向量。
在一些实例中,在第一处理模块13基于处理后向量,确定分割线特征点时,该第一处理模块13用于执行:获取与处理后向量相对应的阈值;将所有大于阈值的峰值特征点确定为分割线特征点。
在一些实例中,在第一检测模块14根据图像特征点、栅线和分割线对光伏组件图像进行异常检测时,该第一检测模块14用于执行:识别图像特征点与栅线是否相匹配、图像特征点与分割线是否相匹配;在图像特征点与栅线相匹配、且图像特征点与分割线相匹配时,则确定光伏组件图像不存在异常;在图像特征点与栅线不匹配,或者,图像特征点与分割线不匹配时,则确定光伏组件图像存在异常。
在一些实例中,本实施例中的第一处理模块13还用于执行:在确定光伏组件图像存在异常时,则禁止基于光伏组件图像进行生产操作;在确定光伏组件图像不存在异常时,则允许基于光伏组件图像进行生产操作。
在一些实例中,在第一获取模块11获取光伏组件图像时,该第一获取模块11用于执行:获取与光伏组件相对应的原始图像;确定原始图像中的无效区域;去除原始图像中的无效区域,获得光伏组件图像。
在一些实例中,在第一获取模块11确定原始图像中的无效区域时,该第一获取模块11用于执行:识别原始图像中包括的边缘信息;将边缘信息所构成的区域确定为原始图像中的有效区域;将位于有效区域之外的区域确定为无效区域。
在一些实例中,在第一获取模块11识别原始图像中包括的边缘信息时,该第一获取模块11用于执行:对原始图像进行采样,获得多个图像块;沿边缘方向对图像块进行处理,获得与图像块相对应的均值向量;基于均值向量确定差分向量;基于差分向量,确定原始图像中包括的边缘信息。
在一些实例中,在获取光伏组件图像之后,本实施例中的第一识别模块12和第一处理模块13用于执行以下步骤:
第一识别模块12,用于识别光伏组件图像中是否存在光线异常区域;
第一处理模块13,用于在光伏组件图像中存在光线异常区域时,则禁止识别光伏组件图像的图像特征点;在光伏组件图像中不存在光线异常区域时,则允许识别光伏组件图像的图像特征点。
图32所示装置可以执行图4-图19、图21-图31所示实施例的方法,本实施例未详细描述的部分,可参考对图4-图19、图21-图31所示实施例的相关说明。该技术方案的执行过程和技术效果参见图4-图19、图21-图31所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图32所示光伏组件图像的异常检测装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图33所示,该电子设备可以包括:第一处理器21和第一存储器22。其中,第一存储器22用于存储相对应电子设备执行上述图4-图19、图21-图31所示实施例中光伏组件图像的异常检测方法的程序,第一处理器21被配置为用于执行第一存储器22中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第一处理器21执行时能够实现如下步骤:获取光伏组件图像;识别光伏组件图像的图像特征点;基于图像特征点识别光伏组件图像中的栅线和分割线;根据图像特征点、栅线和分割线对光伏组件图像进行异常检测。
进一步的,第一处理器21还用于执行前述图4-图19、图21-图31所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括第一通信接口23,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图4-图19、图21-图31所示方法实施例中光伏组件图像的异常检测方法所涉及的程序。
图34为本发明实施例提供的一种光伏组件图像的特征点提取装置的结构示意图;参考附图34所示,本实施例提供了一种光伏组件图像的特征点提取装置,该特征点提取装置可以执行上述图20所对应的光伏组件图像的特征点提取方法。具体的,该特征点提取装置可以包括第二获取模块31、第二分割模块32、第二确定模块33和第二处理模块34:
第二获取模块31,用于获取光伏组件图像;
第二分割模块32,用于基于行和列对光伏组件图像进行分割,获得多个子图像;
第二确定模块33,用于确定子图像的局部峰值点;
第二处理模块34,用于基于局部峰值点,确定子图像的特征点,光伏组件图像的特征点包括多个子图像的特征点。
图34所示装置可以执行图20所示实施例的方法,本实施例未详细描述的部分,可参考对图20所示实施例的相关说明。该技术方案的执行过程和技术效果参见图20所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图34所示光伏组件图像的特征点提取装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图35所示,该电子设备可以包括:第二处理器41和第二存储器42。其中,第二存储器42用于存储相对应电子设备执行上述图20所示实施例中提供的光伏组件图像的特征点提取方法的程序,第二处理器41被配置为用于执行第二存储器42中存储的程序。程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第二处理器41执行时能够实现如下步骤:获取光伏组件图像;基于行和列对光伏组件图像进行分割,获得多个子图像;确定子图像的局部峰值点;基于局部峰值点,确定子图像的特征点,光伏组件图像的特征点包括多个子图像的特征点。
进一步的,第二处理器41还用于执行前述图20所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括第二通信接口43,用于电子设备与其他设备或通信网络通信。
本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图20所示方法实施例中光伏组件图像的特征点提取方法所涉及的程序。
图36为本发明实施例提供的又一种光伏组件图像的异常检测方法的流程示意图;参考附图36所示,本实施例提供了又一种光伏组件图像的异常检测方法,该方法的执行主体可以为光伏组件图像的异常检测装置,可以理解的是,该光伏组件图像的异常检测装置可以实现为软件、或者软件和硬件的组合,具体的,该光伏组件图像的异常检测方法可以包括:
步骤S3601:响应于调用光伏组件图像的异常检测服务的请求,确定光伏组件图像的异常检测服务对应的处理资源。
步骤S3602:利用处理资源执行如下步骤:获取光伏组件图像;识别光伏组件图像的图像特征点;基于图像特征点识别光伏组件图像中的栅线和分割线;根据图像特征点、栅线和分割线对光伏组件图像进行异常检测。
具体的,本发明提供的光伏组件图像的异常检测方法可以在云端来执行,在云端可以部署有若干计算节点,每个计算节点中都具有计算、存储等处理资源。在云端,可以组织由多个计算节点来提供某种服务,当然,一个计算节点也可以提供一种或多种服务。
针对本发明提供的方案,云端可以提供有用于完成光伏组件图像的异常检测方法的服务,称为光伏组件图像的异常检测服务。当用户需要使用该光伏组件图像的异常检测服务的时候,调用该光伏组件图像的异常检测服务,以向云端触发调用该光伏组件图像的异常检测服务的请求,在该请求中可以携带有待检测的光伏组件图像。云端确定响应该请求的计算节点,利用该计算节点中的处理资源执行如下步骤:获取光伏组件图像;识别光伏组件图像的图像特征点;基于图像特征点识别光伏组件图像中的栅线和分割线;根据图像特征点、栅线和分割线对光伏组件图像进行异常检测。
具体的,本实施例中的上述方法步骤的实现过程、实现原理和实现效果与上述图4-图19、图21-图31所示实施例的方法步骤的实现过程、实现原理和实现效果相类似,本实施例未详细描述的部分,可参考对图4-图19、图21-图31所示实施例的相关说明。
图37为本发明实施例提供的一种光伏组件图像的异常检测装置的结构示意图;参考附图37所示,本实施例提供了一种光伏组件图像的异常检测装置,该光伏组件图像的异常检测装置可以执行上述图36所示的光伏组件图像的异常检测方法,具体的,该异常检测装置可以包括:第三确定模块51和第三处理模块52;具体的,
第三确定模块51,用于响应于调用光伏组件图像的异常检测服务的请求,确定光伏组件图像的异常检测服务对应的处理资源;
第三处理模块52,用于利用处理资源执行如下步骤:获取光伏组件图像;识别光伏组件图像的图像特征点;基于图像特征点识别光伏组件图像中的栅线和分割线;根据图像特征点、栅线和分割线对光伏组件图像进行异常检测。
图37所示装置可以执行图36所示实施例的方法,本实施例未详细描述的部分,可参考对图36所示实施例的相关说明。该技术方案的执行过程和技术效果参见图36所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图37所示光伏组件图像的异常检测装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图38所示,该电子设备可以包括:第三处理器61和第三存储器62。其中,第三存储器62用于存储相对应电子设备执行上述图36所示实施例中提供的光伏组件图像的异常检测方法的程序,第三处理器61被配置为用于执行第三存储器62中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第三处理器61执行时能够实现如下步骤:
响应于调用光伏组件图像的异常检测服务的请求,确定光伏组件图像的异常检测服务对应的处理资源。
利用处理资源执行如下步骤:获取光伏组件图像;识别光伏组件图像的图像特征点;基于图像特征点识别光伏组件图像中的栅线和分割线;根据图像特征点、栅线和分割线对光伏组件图像进行异常检测。
进一步的,第三处理器61还用于执行前述图36所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括第三通信接口63,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行图36所示方法实施例中光伏组件图像的异常检测方法所涉及的程序。
图39为本发明实施例提供的又一种光伏组件图像的特征点提取方法的流程示意图;参考附图39所示,本实施例提供了又一种光伏组件图像的特征点提取方法,该方法的执行主体可以为光伏组件图像的特征点提取装置,可以理解的是,该光伏组件图像的特征点提取装置可以实现为软件、或者软件和硬件的组合,具体的,该光伏组件图像的特征点提取方法可以包括:
步骤S3901:响应于调用光伏组件图像的特征点提取服务的请求,确定光伏组件图像的特征点提取服务对应的处理资源。
步骤S3902:利用处理资源执行如下步骤:获取光伏组件图像;基于行和列对光伏组件图像进行分割,获得多个子图像;确定子图像的局部峰值点;基于局部峰值点,确定子图像的特征点,光伏组件图像的特征点包括多个子图像的特征点。
具体的,本发明提供的光伏组件图像的特征点提取方法可以在云端来执行,在云端可以部署有若干计算节点,每个计算节点中都具有计算、存储等处理资源。在云端,可以组织由多个计算节点来提供某种服务,当然,一个计算节点也可以提供一种或多种服务。
针对本发明提供的方案,云端可以提供有用于完成光伏组件图像的特征点提取方法的服务,称为光伏组件图像的特征点提取服务。当用户需要使用该光伏组件图像的特征点提取服务的时候,调用该光伏组件图像的特征点提取服务,以向云端触发调用该光伏组件图像的特征点提取服务的请求,在该请求中可以携带有待检测的光伏组件图像。云端确定响应该请求的计算节点,利用该计算节点中的处理资源执行如下步骤:获取光伏组件图像;基于行和列对光伏组件图像进行分割,获得多个子图像;确定子图像的局部峰值点;基于局部峰值点,确定子图像的特征点,光伏组件图像的特征点包括多个子图像的特征点。
具体的,本实施例中的上述方法步骤的实现过程、实现原理和实现效果与上述图20-图31所示实施例的方法步骤的实现过程、实现原理和实现效果相类似,本实施例未详细描述的部分,可参考对图20-图31所示实施例的相关说明。
图40为本发明实施例提供的一种光伏组件图像的特征点提取装置的结构示意图;参考附图40所示,本实施例提供了一种光伏组件图像的特征点提取装置,该光伏组件图像的特征点提取装置可以执行上述图39所示的光伏组件图像的特征点提取方法,具体的,该特征点提取装置可以包括:第四确定模块71和第四处理模块72;具体的,
第四确定模块71,用于响应于调用光伏组件图像的特征点提取服务的请求,确定光伏组件图像的特征点提取服务对应的处理资源;
第四处理模块72,用于利用处理资源执行如下步骤:获取光伏组件图像;基于行和列对光伏组件图像进行分割,获得多个子图像;确定子图像的局部峰值点;基于局部峰值点,确定子图像的特征点,光伏组件图像的特征点包括多个子图像的特征点。
图40所示装置可以执行图39所示实施例的方法,本实施例未详细描述的部分,可参考对图39所示实施例的相关说明。该技术方案的执行过程和技术效果参见图39所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图40所示光伏组件图像的特征点提取装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图41所示,该电子设备可以包括:第四处理器81和第四存储器82。其中,第四存储器82用于存储相对应电子设备执行上述图39所示实施例中提供的光伏组件图像的特征点提取方法的程序,第四处理器81被配置为用于执行第四存储器82中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第四处理器81执行时能够实现如下步骤:
响应于调用光伏组件图像的特征点提取服务的请求,确定光伏组件图像的特征点提取服务对应的处理资源;
利用处理资源执行如下步骤:获取光伏组件图像;基于行和列对光伏组件图像进行分割,获得多个子图像;确定子图像的局部峰值点;基于局部峰值点,确定子图像的特征点,光伏组件图像的特征点包括多个子图像的特征点。
进一步的,第四处理器81还用于执行前述图39所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括第四通信接口83,用于电子设备与其他设备或通信网络通信。
本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图39所示方法实施例中光伏组件图像的特征点提取方法所涉及的程序。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种光伏组件图像的异常检测方法,其特征在于,包括:
获取光伏组件图像;
识别所述光伏组件图像的图像特征点;
基于所述图像特征点识别所述光伏组件图像中的栅线和分割线;
根据所述图像特征点、栅线和分割线对所述光伏组件图像进行异常检测。
2.根据权利要求1所述的方法,其特征在于,识别所述光伏组件图像的图像特征点,包括:
基于行和列对所述光伏组件图像进行分割,获得多个子图像;
确定所述子图像的局部峰值点;
基于所述局部峰值点,确定所述子图像的图像特征点,所述光伏组件图像的图像特征点包括多个子图像的图像特征点。
3.根据权利要求2所述的方法,其特征在于,确定所述子图像的局部峰值点,包括:
沿垂直于图像边缘的方向,获得与每个子图像相对应的均值向量;
对所述均值向量进行低频滤波,获得高频分量;
基于所述高频分量,确定所述子图像的局部峰值点。
4.根据权利要求3所述的方法,其特征在于,基于所述高频分量,确定所述子图像的局部峰值点,包括:
基于所述高频分量,确定一阶差分向量;
基于所述一阶差分向量,确定所述子图像的初始峰值点,所述初始峰值点的幅值大于相邻特征点的幅值;
在所述初始峰值点中,确定所述子图像的局部峰值点。
5.根据权利要求2所述的方法,其特征在于,基于所述局部峰值点,确定所述子图像的图像特征点,包括:
识别所述局部峰值点中所包括的冗余特征点;
将所述局部峰值点中的所述冗余特征点删除,获得所述子图像的图像特征点。
6.根据权利要求5所述的方法,其特征在于,识别所述局部峰值点中所包括的冗余特征点,包括:
获取所述局部峰值点的置信度;
基于所述置信度,识别所述局部峰值点中所包括的冗余特征点。
7.根据权利要求6所述的方法,其特征在于,获取所述局部峰值点的置信度,包括:
获取所有相邻的局部峰值点所对应的相邻距离;
基于所有的相邻距离,确定平均距离;
基于所述平均距离和相邻距离,确定所述局部峰值点的置信度。
8.根据权利要求6所述的方法,其特征在于,获取所述局部峰值点的置信度,包括:
确定所述局部峰值点所对应的邻域;
统计位于所述邻域内的局部峰值点的数量;
基于所述数量,确定所述局部峰值点的置信度,其中,所述置信度与数量的多少呈正相关。
9.根据权利要求1所述的方法,其特征在于,基于所述图像特征点识别所述光伏组件图像中的栅线和分割线,包括:
在所述图像特征点中,确定分割线特征点,其中,在一局部区域内,所述分割线特征点的幅值大于其他图像特征点的幅值;
基于所述图像特征点,确定所述光伏组件图像中的栅线;
基于所述分割线特征点,确定所述光伏组件图像中的分割线。
10.根据权利要求9所述的方法,其特征在于,在所述图像特征点中,确定分割线特征点,包括:
在所述图像特征点中,确定峰值特征点;
获取与所述峰值特征点相对应的置信度向量;
对所述置信度向量进行低频滤波处理,获得处理后向量;
基于所述处理后向量,确定所述分割线特征点。
11.根据权利要求10所述的方法,其特征在于,获取与所述峰值特征点相对应的置信度向量,包括:
获取所述峰值特征点与相邻峰值特征点之间的所有中间特征点;
确定所述峰值特征点与所有中间特征点所对应的最大差值;
基于所述最大差值,确定与所述峰值特征点相对应的置信度向量。
12.根据权利要求10所述的方法,其特征在于,基于所述处理后向量,确定所述分割线特征点,包括:
获取与所述处理后向量相对应的阈值;
将所有大于所述阈值的峰值特征点确定为所述分割线特征点。
13.根据权利要求1所述的方法,其特征在于,根据所述图像特征点、栅线和分割线对所述光伏组件图像进行异常检测,包括:
识别所述图像特征点与所述栅线是否相匹配、所述图像特征点与所述分割线是否相匹配;
在所述图像特征点与所述栅线相匹配、且所述图像特征点与所述分割线相匹配时,则确定所述光伏组件图像不存在异常;
在所述图像特征点与所述栅线不匹配,或者,所述图像特征点与所述分割线不匹配时,则确定所述光伏组件图像存在异常。
14.根据权利要求1-13中任意一项所述的方法,其特征在于,在获取光伏组件图像之后,所述方法还包括:
识别所述光伏组件图像中是否存在光线异常区域;
在所述光伏组件图像中存在光线异常区域时,则禁止识别所述光伏组件图像的图像特征点;
在所述光伏组件图像中不存在光线异常区域时,则允许识别所述光伏组件图像的图像特征点。
15.一种光伏组件图像的异常检测方法,其特征在于,包括:
响应于调用光伏组件图像的异常检测服务的请求,确定所述光伏组件图像的异常检测服务对应的处理资源;
利用所述处理资源执行如下步骤:获取光伏组件图像;识别所述光伏组件图像的图像特征点;基于所述图像特征点识别所述光伏组件图像中的栅线和分割线;根据所述图像特征点、栅线和分割线对所述光伏组件图像进行异常检测。
CN202110481492.0A 2021-04-30 2021-04-30 光伏组件图像的异常检测方法、装置及设备 Pending CN113516625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110481492.0A CN113516625A (zh) 2021-04-30 2021-04-30 光伏组件图像的异常检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110481492.0A CN113516625A (zh) 2021-04-30 2021-04-30 光伏组件图像的异常检测方法、装置及设备

Publications (1)

Publication Number Publication Date
CN113516625A true CN113516625A (zh) 2021-10-19

Family

ID=78064012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110481492.0A Pending CN113516625A (zh) 2021-04-30 2021-04-30 光伏组件图像的异常检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113516625A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114885105A (zh) * 2022-07-12 2022-08-09 江苏奥派电气科技有限公司 一种用于光伏电站巡检无人机的图像采集调整方法
CN116205892A (zh) * 2023-03-13 2023-06-02 北京智盟信通科技有限公司 一种评估光伏组串工况的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114885105A (zh) * 2022-07-12 2022-08-09 江苏奥派电气科技有限公司 一种用于光伏电站巡检无人机的图像采集调整方法
CN114885105B (zh) * 2022-07-12 2022-09-23 江苏奥派电气科技有限公司 一种用于光伏电站巡检无人机的图像采集调整方法
CN116205892A (zh) * 2023-03-13 2023-06-02 北京智盟信通科技有限公司 一种评估光伏组串工况的方法及装置
CN116205892B (zh) * 2023-03-13 2024-04-05 北京智盟信通科技有限公司 一种评估光伏组串工况的方法及装置

Similar Documents

Publication Publication Date Title
CN110569721B (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN110222787B (zh) 多尺度目标检测方法、装置、计算机设备及存储介质
CN107194323B (zh) 车辆定损图像获取方法、装置、服务器和终端设备
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
US8509526B2 (en) Detection of objects in digital images
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN113324864B (zh) 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法
CN114018160B (zh) 一种极耳成像装置和极耳尺寸检测方法
CN113516625A (zh) 光伏组件图像的异常检测方法、装置及设备
CN105631418A (zh) 一种人数统计的方法和装置
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN113129335B (zh) 一种基于孪生网络的视觉跟踪算法及多模板更新策略
CN110569697A (zh) 车辆的部件检测方法、装置及设备
CN113820333B (zh) 电池极片异常检测方法、装置、上位机及检测系统
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN112052702B (zh) 一种识别二维码的方法和装置
CN105354529A (zh) 一种车辆逆行的检测方法及装置
CN112927247A (zh) 基于目标检测的切图方法、切图装置和存储介质
CN110414321A (zh) 自动识别晃动视频的方法和系统
CN111383246A (zh) 条幅检测方法、装置及设备
CN114972490A (zh) 一种数据自动标注方法、装置、设备及存储介质
CN117495891B (zh) 点云边缘检测方法、装置和电子设备
CN114782310A (zh) 表面缺陷检测方法、装置、设备和存储介质
CN116091781A (zh) 一种用于图像识别的数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240315

Address after: # 03-06, Lai Zan Da Building 1, 51 Belarusian Road, Singapore

Applicant after: Alibaba Innovation Co.

Country or region after: Singapore

Address before: Room 01, 45th Floor, AXA Building, 8 Shanton Road, Singapore

Applicant before: Alibaba Singapore Holdings Ltd.

Country or region before: Singapore