CN115797336A - 光伏组件的故障检测方法、装置、电子设备和存储介质 - Google Patents

光伏组件的故障检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115797336A
CN115797336A CN202310050141.3A CN202310050141A CN115797336A CN 115797336 A CN115797336 A CN 115797336A CN 202310050141 A CN202310050141 A CN 202310050141A CN 115797336 A CN115797336 A CN 115797336A
Authority
CN
China
Prior art keywords
image
sub
target
sample
fault
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310050141.3A
Other languages
English (en)
Inventor
李永军
焦子航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snegrid Electric Technology Co ltd
Original Assignee
Snegrid Electric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snegrid Electric Technology Co ltd filed Critical Snegrid Electric Technology Co ltd
Priority to CN202310050141.3A priority Critical patent/CN115797336A/zh
Publication of CN115797336A publication Critical patent/CN115797336A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Landscapes

  • Image Analysis (AREA)

Abstract

本申请公开了一种光伏组件的故障检测方法、装置、电子设备和存储介质,属于图像处理技术领域。所述光伏组件的故障检测方法,包括:对待测光伏组件对应的目标红外图像进行图像分割,获取待测光伏组件中目标子组件对应的子图像;对子图像进行热斑特征识别,并对热斑区域进行标记,获取目标故障图像;目标故障图像用于表征待测光伏组件的热斑故障信息。本申请的光伏组件的故障检测方法,通过使用深度学习的方法对光伏电板红外图像进行组件边缘分割和热斑目标检测,识别精度高且能够有效降低漏检的风险,显著提高了光伏组件的故障识别效果,且适用于任意形态的热斑识别,普适性高。

Description

光伏组件的故障检测方法、装置、电子设备和存储介质
技术领域
本申请属于图像处理技术领域,尤其涉及一种光伏组件的故障检测方法、装置、电子设备和存储介质。
背景技术
随着科技的发展,光伏发电被广泛应用于多种场景,受各种环境因素的影响,光伏组件会产生各种意想不到的故障,及时检测光伏组件的故障能够提升发电效率,并保障电站安全。相关技术中,主要通过人工检测的方式进行光伏组件的故障检测,人力成本较高且检测效率较低。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种光伏组件的故障检测方法、装置、电子设备和存储介质,能够显著提高光伏组件的故障识别效果,且适用于任意形态的热斑识别,普适性高。
第一方面,本申请提供了一种光伏组件的故障检测方法,该方法包括:
对待测光伏组件对应的目标红外图像进行图像分割,获取所述待测光伏组件中目标子组件对应的子图像,所述子图像包括所述目标子组件的轮廓边缘且所述子图像对应有目标编号;
对所述子图像进行热斑特征识别,并对热斑区域进行标记,获取目标故障图像;所述目标故障图像用于表征所述待测光伏组件的热斑故障信息。
根据本申请的光伏组件的故障检测方法,通过使用深度学习的方法对光伏电板红外图像进行组件边缘分割和热斑目标检测,具有较高准确性和较强的鲁棒性;除此之外,通过对每个子组件对应的子图像进行热斑特征识别,并基于识别结果对故障子组件进行标记,自动化程度高,识别精度高且能够有效降低漏检的风险,能够显著提高光伏组件的故障识别效果,且适用于任意形态的热斑识别,普适性高。
根据本申请的一个实施例,所述对所述子图像进行热斑特征识别,并对热斑区域进行标记,获取目标故障图像,包括:
对所述子图像进行热斑特征识别,获取所述子图像中所述热斑区域对应的位置信息;
基于所述位置信息对所述子图像进行标注,获取目标故障图像。
根据本申请的一个实施例,所述对待测光伏组件对应的目标红外图像进行图像分割,获取所述待测光伏组件中目标子组件对应的子图像,包括:
所述对待测光伏组件对应的目标红外图像进行图像分割,获取所述待测光伏组件中目标子组件对应的初始图像;
对所述初始图像中所述目标子组件的轮廓边缘中模糊和/或断裂区域进行弥合,生成所述子图像。
根据本申请的一个实施例,所述对待测光伏组件对应的目标红外图像进行图像分割,获取所述待测光伏组件中目标子组件对应的子图像,包括:
将所述目标红外图像输入至目标神经网络模型的分割层,获取所述分割层输出的所述目标子组件对应的子图像;
其中,所述分割层为以样本红外图像为样本,以与所述样本红外图像对应的样本子图像为样本标签训练得到,所述样本红外图像为样本光伏组件对应的红外图像,所述样本子图像为所述样本光伏组件中目标样本子组件对应的红外图像。
根据本申请的一个实施例,所述分割层为U2-Net网络,所述U2-Net网络包括多个RSU模块,所述RSU模块为U-Net结构,所述多个RSU模块之间通过FPN结构连接。
根据本申请的一个实施例,所述对所述子图像进行热斑特征识别,并对热斑区域进行标记,获取目标故障图像,包括:
将所述子图像输入至目标神经网络模型的识别层,获取所述识别层输出的所述目标故障图像;
其中,所述识别层为以样本子图像为样本,以与所述样本子图像对应的样本故障图像为样本标签训练得到,所述样本子图像为样本光伏组件中目标样本子组件对应的红外图像;所述样本故障图像为基于所述目标样本子组件中的红斑区域,对所述样本子图像进行标注后的图像。
根据本申请的一个实施例,所述识别层为YOLOv5网络,所述YOLOv5网络包括顺次连接的输入端、基准网络、Neck网络和Head输出层,所述基准网络包括Focus结构和CSP结构。
第二方面,本申请提供了一种光伏组件的故障检测装置,该装置包括:
第一处理模块,用于对待测光伏组件对应的目标红外图像进行图像分割,获取所述待测光伏组件中目标子组件对应的子图像,所述子图像包括所述目标子组件的轮廓边缘且所述子图像对应有目标编号;
第二处理模块,用于对所述子图像进行热斑特征识别,并对热斑区域进行标记,获取目标故障图像;所述目标故障图像用于表征所述待测光伏组件的热斑故障信息。
根据本申请的光伏组件的故障检测装置,通过使用深度学习的方法对光伏电板红外图像进行组件边缘分割和热斑目标检测,具有较高准确性和较强的鲁棒性;除此之外,通过对每个子组件对应的子图像进行热斑特征识别,并基于识别结果对故障子组件进行标记,自动化程度高,识别精度高且能够有效降低漏检的风险,能够显著提高光伏组件的故障识别效果,且适用于任意形态的热斑识别,普适性高。
第三方面,本申请提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的光伏组件的故障检测方法。
第四方面,本申请提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的光伏组件的故障检测方法。
第五方面,本申请提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的光伏组件的故障检测方法。
第六方面,本申请提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的光伏组件的故障检测方法。
本申请实施例中的上述一个或多个技术方案,至少具有如下技术效果之一:
通过使用深度学习的方法对光伏电板红外图像进行组件边缘分割和热斑目标检测,具有较高准确性和较强的鲁棒性;除此之外,通过对每个子组件对应的子图像进行热斑特征识别,并基于识别结果对故障子组件进行标记,自动化程度高,识别精度高且能够有效降低漏检的风险,能够显著提高光伏组件的故障识别效果,且适用于任意形态的热斑识别,普适性高。
进一步的,根据本申请实施例提供的光伏组件的故障检测方法,通过基于子组件的边缘识别所分割得到的子图像进行边缘修正以生成子图像,可以提高子图像中子组件的轮廓的清晰度和精度,增强组件边缘分割的鲁棒性,从而提高所分割得到的子图像的图像质量。
更进一步的,通过U2-Net网络对目标红外图像进行图像分割,具有较高的分割效果,显著提高分割结果的准确性和精度。
再进一步的,通过YOLOv5网络对分割得到的子图像进行热斑特征识别,具有较高的识别效果,显著提高识别结果的准确性、精度以及识别速率。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请实施例提供的光伏组件的故障检测方法的流程示意图之一;
图2是本申请实施例提供的光伏组件的故障检测方法的原理示意图之一;
图3是本申请实施例提供的光伏组件的故障检测方法的原理示意图之二;
图4是本申请实施例提供的光伏组件的故障检测方法的原理示意图之三;
图5是本申请实施例提供的光伏组件的故障检测方法的原理示意图之四;
图6是本申请实施例提供的光伏组件的故障检测方法的原理示意图之五;
图7是本申请实施例提供的光伏组件的故障检测方法的原理示意图之六;
图8是本申请实施例提供的光伏组件的故障检测方法的原理示意图之七;
图9是本申请实施例提供的光伏组件的故障检测方法的原理示意图之八;
图10是本申请实施例提供的光伏组件的故障检测方法的原理示意图之九;
图11是本申请实施例提供的光伏组件的故障检测方法的原理示意图之十;
图12是本申请实施例提供的光伏组件的故障检测方法的原理示意图之十一;
图13是本申请实施例提供的光伏组件的故障检测方法的流程示意图之二;
图14是本申请实施例提供的光伏组件的故障检测装置的结构示意图;
图15是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的光伏组件的故障检测方法、光伏组件的故障检测装置、电子设备和可读存储介质进行详细地说明。
其中,光伏组件的故障检测方法可应用于终端,具体可由,终端中的硬件或软件执行。
该终端包括但不限于具有显示器的移动电话或平板电脑等便携式通信设备。还应当理解的是,在某些实施例中,该终端可以不是便携式通信设备,而是具有显示器的台式计算机。
以下各个实施例中,描述了包括显示器的终端。然而,应当理解的是,终端可以包括诸如物理键盘、鼠标和控制杆的一个或多个其它物理用户接口设备。
本申请实施例提供的光伏组件的故障检测方法,该光伏组件的故障检测方法的执行主体可以为电子设备或者电子设备中能够实现该光伏组件的故障检测方法的功能模块或功能实体,本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机和可穿戴设备等,下面以电子设备作为执行主体为例对本申请实施例提供的光伏组件的故障检测方法进行说明。
本申请的光伏组件的故障检测方法,可应用于光伏发电场景。
如图1所示,该光伏组件的故障检测方法包括:步骤110和步骤120。
步骤110、对待测光伏组件对应的目标红外图像进行图像分割,获取待测光伏组件中目标子组件对应的子图像,子图像包括目标子组件的轮廓边缘且子图像对应有目标编号;
在该步骤中,目标红外图像为通过红外传感器采集的待测光伏组件的图像,其中,待测光伏组件包括多个规律排布的子组件,如图2(a)所示。
目标子组件可以为光伏组件所包括的多个子组件中的任意一个子组件。
在实际执行过程中,通过识别各个子组件的边缘轮廓以对目标红外图像进行图像分割,可以获取各子组件对应的子图像,如图2(b)所示,各子图像中包括该子组件的轮廓边缘。
目标编号为目标子组件对应的子图像的唯一标识。
在实际执行过程中,可以对获取的子图像进行编号,每个子图像对应一个编号,且不同的子图像对应的编号不同。
在一些实施例中,步骤110还可以包括:对待测光伏组件对应的目标红外图像进行图像分割,获取第一图像,其中,第一图像包括待测光伏组件中多个子组件对应的子图像和各子图像对应目标编号,各子图像基于与该子图像对应的目标编号进行拼接,如图12(b)所示。
在一些实施例中,步骤110可以包括:
对待测光伏组件对应的目标红外图像进行图像分割,获取待测光伏组件中目标子组件对应的初始图像;
对初始图像中目标子组件的轮廓边缘中模糊和/或断裂区域进行弥合,生成子图像。
在该实施例中,初始图像为对各子组件的边缘轮廓进行识别后,基于识别的轮廓进行边缘分割以获取的子组件的图像。
可以理解的是,初始图像中子组件的部分边缘轮廓可能存在断裂或模糊等情况。
对于初步分割得到的初始图像,对边缘中模糊和/或断裂区域进行弥合以生成连续的轮廓,从而优化得到子图像。
根据本申请实施例提供的光伏组件的故障检测方法,通过基于子组件的边缘识别所分割得到的子图像进行边缘修正以生成子图像,可以提高子图像中子组件的轮廓的清晰度和精度,增强组件边缘分割的鲁棒性,从而提高所分割得到的子图像的图像质量。
在实际执行过程中,可通过神经网络模型执行步骤110。
神经网络模型为预训练的网络模型。
在一些实施例中,步骤110可以包括:
将目标红外图像输入至目标神经网络模型的分割层,获取分割层输出的目标子组件对应的子图像;
其中,分割层为以样本红外图像为样本,以与样本红外图像对应的样本子图像为样本标签训练得到,样本红外图像为样本光伏组件对应的红外图像,样本子图像为样本光伏组件中目标样本子组件对应的红外图像。
在该实施例中,目标神经网络模型包括分割层和识别层,分割层的输出端与识别层的输入端连接。
其中,分割层用于对目标红外图像进行子组件的边缘识别从而进行图像分割,以生成子图像。
在应用过程中,分割层为提前训练好的神经网络。
识别层用于识别分割层生成的子图像中的热斑特征,以对热斑区域进行标记,具体实现方式将在下文实施例中进行说明,在此暂不作赘述。
如图4所示,在一些实施例中,分割层可以为U2-Net网络,U2-Net网络可以包括多个RSU模块,RSU模块为U-Net结构,多个RSU模块之间通过FPN结构连接。
在该实施例中,U2-Net是基于U-Net提出的一种新型网络结构。
U2-Net网络以U-Net网络为基础,是图像语义分割中可凸显被分割区域显著特征的一种经典算法。
其中,语义分割(SemanticSegmentation)是图像处理和机器视觉的一个重要分支,与分类任务不同,语义分割需要判断图像的每一个像素点的类别,进行精确分割。U-Net具有简单、有效、易懂、容易构建且适用于小规模的数据集的训练的特点。
如图5示例了一种U-Net网络的结构示意图,整个网络如同字母U,是一个典型的全卷积网络(即网络中没有全连接操作)。
整个U-Net网络包括左边部分网络和右边部分网络,左边部分网络负责特征提取,随着网络层加深,图像的通道数逐渐增加,而尺寸逐渐减小;右边部分网络负责特征还原,随着网络层加深,图像的通道数逐渐减少,而尺寸逐渐增大,整个网络实际上就是一个编码解码器。
需要注意的是,图5中虚线部分,表示将编码过程中得到的特征图像和解码过程中得到的特征图像进行合并的过程。在编码过程中,由于网络的最大值池化(Max Pooling)和二维卷积(Conv2D)的作用,部分信息丢失。所以在解码时,需要在解码层的特征图像加入与之对应的编码层信息。
该U2-Net网络包括RSU模块。
其中,RSU(ReSidualU-blocks)模块为一种新模块,如图6所示了一种RSU模块的示意图,该RSU模块和ResNet的残差结构类似,即将ResNet中的权重层换成了U-Net。
需要说明的是,对于每一个RSU模块本身就是一个小型的U-Net,通过类似FPN的结构,可以将多个U-Net的输出结果进行合并,得到mask图,并通过多个loss在不同层的表现来进行更新。
通过设置多个RSU模块,并将多个RSU模块之间通过FPN结构进行连接,可以增加多尺度能力,从而获得更加优秀的分割效果。
继续参考图4,该U2-Net网络中包括6个block,每一个block输出一个loss,则可以通过如下公式确定最后整个模型的loss:
Figure SMS_1
其中,L为U2-Net网络最终输出的loss值,M为block的数量,w m side 为第m层损失函数值的权重,l m side 为第m层损失函数值,w fuse 为融合损失函数权重,l fuse 为融合损失函数数值。
也即,最后的loss为6个block的输出和1个特征融合后的结果。
经发明人多次试验测试,本申请实施例所提出的U2-Net网络,在分割物体和背景中具有较好的效果,同时具有较好的实时性,适用于分割光伏电板红外图像中的组件边缘,能够显著提高分割效果。
下面对分割层的训练过程进行具体说明。
在一些实施例中,分割层为以样本红外图像为样本,以与样本红外图像对应的样本子图像为样本标签训练得到。
在该实施例中,样本红外图像为样本光伏组件对应的红外图像,即为样本光伏组件的红外图像的原始图像。
其中,样本光伏组件包括多个样本子组件。
样本子图像为样本光伏组件中目标样本子组件对应的真实的红外图像,例如,可以对样本红外图像中每一个子组件的边缘进行标记,从而生成样本子图像。
一个样本红外图像和与该样本红外图像对应的样本子图像可以作为一个训练样本,从而可以获取多个训练样本,并将该多个训练样本作为用于训练分割层的数据集。
例如,如图13所示,可以制作包含有目标数量(如500张或1000张等,本申请不作限定)的样本红外图像数据的数据集。并基于目标比例将数据集划分为训练集和测试集,如将训练集和测试集的比例设置为8:2,本申请不作限定。
制作的训练集应将样本红外图像及其边缘标记结果图像数据(即样本子图像)分别存放,如将原始数据(即样本红外图像)存放在images文件夹下,标签数据(即样本子图像)存放在labels文件夹下。
在训练时,分别读取这两个文件夹下的数据,以对分割层进行训练。
在训练完成后,基于测试集对训练好的分割层进行测试,并基于测试结果优化分割层,以提高分割层的精确度和准确度。
下面对分割层的测试效果进行具体说明。
如图7所示,前两组左边的图像为水面电站的光伏电板红外图像,后两组左边的图像为山地电站的光伏电板红外图像,且这四组数据均含有热斑的故障,以便后面对热斑识别进行分析。继续参考图7右边的图像,从运行训练模型得到的四组边缘分割的测试结果来看,每个子组件的边缘均清晰地分割了出来,没有子组件遗漏的情况。证明以上训练是足够且有效的,对于光伏电板红外图像中的子组件边缘具有非常有效的分割效果。
根据本申请实施例提供的光伏组件的故障检测方法,通过U2-Net网络对目标红外图像进行图像分割,具有较高的分割效果,显著提高分割结果的准确性和精度。
当然,在其他实施例中,识别层也可以为其他可实现相同效果的模型,本申请不作限定。
步骤120、对子图像进行热斑特征识别,并对热斑区域进行标记,获取目标故障图像;目标故障图像用于表征待测光伏组件的热斑故障信息。
在该步骤中,目标故障图像用于表征待测光伏组件的热斑故障信息,目标故障图像可以包括子组件的红外图像以及热斑特征对应的标记,如图3所示。
热斑区域用于表征光伏组件的故障区域。
需要说明的是,热斑区域可以为子图像中的部分区域或全部区域,且热斑区域可能存在于子图像中的任意区域。
对热斑区域进行标记,即为在确定子图像中存在热斑区域的情况下,对该子图像中的热斑区域进行标记。
可以理解的是,从光伏组件的红外图像中观察,存在故障的地方往往以热斑的形式呈现在红外图像的某一组件上,若识别出热斑,则可以认为该区域存在故障。在确定该子组件存在故障后,对该子组件进行标记,即可获取目标故障图像。
其中,标记可以为通过方框的形式对故障的子组件中的热斑区域进行标记;或者也可以通过描边的形式对热斑区域的轮廓进行标记;或者也可以通过高亮的形式对故障的子组件中的热斑区域进行标记;或者还可以为通过文字文本或字符等方式对故障的子组件进行标记;或者还可以为其他标记方式,本申请不作限定。
图12(a)所示为输入的任意一幅光伏电板红外图像(即目标红外图像);图12(b)所示为对其的子组件分割结果(即多个子图像),可见每一个子组件的边缘均被清晰地分割了出来;图12(c)所示为对分割出的子组件进行热斑识别的结果(即目标故障图像),确定标号分别为50和56的子组件上面识别有热斑,并以矩形框的形式将热斑区域进行框选,且这两个子组件对应的识别为热斑组件的概率分别为0.778162和0.789450。
在一些实施例中,步骤120可以包括:
对子图像进行热斑特征识别,获取子图像中热斑区域对应的位置信息;
基于位置信息对子图像进行标注,获取目标故障图像。
在该实施例中,位置信息可以包括该热斑所在的子组件的编号(即子图像对应的目标编号)、子组件的坐标信息以及该热斑特征的坐标信息等。
在实际执行过程中,对于获取的多个子图像,分别对每个子组件对应的子图像进行热斑特征识别,以判断各子组件是否具有热斑区域,在识别到热斑特征的情况下,则确定该子组件存在故障,并获取该热斑区域的位置信息,以基于该位置信息对故障区域进行标记。
根据本申请实施例提供的光伏组件的故障检测方法,通过对每个子组件对应的子图像进行热斑特征识别,并基于识别结果对故障子组件进行标记,自动化程度高,识别精度高且能够有效降低漏检的风险,从而提高故障检测效果,提高检测结果的准确性和精确性。
在实际执行过程中,可通过神经网络模型执行步骤120。
在一些实施例中,步骤120可以包括:
将子图像输入至目标神经网络模型的识别层,获取识别层输出的目标故障图像;
其中,识别层为以样本子图像为样本,以与样本子图像对应的样本故障图像为样本标签训练得到,样本子图像为样本光伏组件中目标样本子组件对应的红外图像;样本故障图像为基于目标样本子组件中的红斑区域,对样本子图像进行标注后的图像。
在该实施例中,识别层的输入端与分割层的输出端连接,用于接收分割层输出的子图像,并对子图像进行热斑特征识别,对存在热斑特征的子图像进行标记,以生成目标故障图像。
在应用过程中,识别层为提前训练好的神经网络。
在一些实施例中,识别层可以为YOLOv5网络,YOLOv5网络可以包括顺次连接的输入端、基准网络、Neck网络和Head输出层,基准网络包括Focus结构和CSP结构。
在该实施例中,YOLOv5网络为一种单阶段目标检测算法。
YOLOv5网络可以包括顺次连接的输入端、基准网络、Neck网络和Head输出层。
其中,输入端用于输入子图像。
在对输入端的训练阶段,包括Mosaic数据增强、自适应锚框计算以及自适应图片缩放等功能的训练,从而提高输入端的性能。
基准网络融合其它检测算法中的一些新思路,包括Focus结构和CSP结构。
Neck网络包括FPN+PAN结构,也即在BackBone与最后的Head输出层之间插入了FPN+PAN结构。
Head输出层的锚框机制与YOLOv4网络类似,但在训练过程中,本申请通过对损失函数GIOU_Loss,以及预测筛选框的DIOU_nms进行了改进,从而提高了Head输出层的精度。
在本实施例中,通过对YOLOv5网络中的至少一个模块进行优化以提高该模块的性能,能够显著提高YOLOv5网络的计算速率以及精度。
下面对识别层的训练过程进行具体说明。
在一些实施例中,识别层为以样本子图像为样本,以与样本子图像对应的样本故障图像为样本标签训练得到。
在该实施例中,样本子图像为样本光伏组件中目标样本子组件对应的真实的红外图像,例如,可以对样本红外图像中每一个子组件的边缘进行标记,从而生成样本子图像。
样本故障图像为对目标样本子组件中的红斑区域进行标注后的图像。
一个样本子图像和与该样本子图像对应的样本故障图像可以作为一个正样本,一个样本子图像和与该样本子图像对应的样本正常图像可以作为一个负样本,基于多个正样本和多个负样本,从而可以获取多个训练样本,并将该多个训练样本作为用于训练识别层的数据集。
同样,也可以基于目标比例将数据集分为训练集和测试集。
例如,继续参考图13,可以制作包含有目标数量(如14000张或28000张等,本申请不作限定)的样本子图像的数据集;其中既包括正样本(存在热斑的子组件对应的样本故障图像),也包括负样本(没有热斑的子组件对应的样本正常图像)。
制作的训练集可以将热斑组件原始图像数据及对应热斑区域标记标签数据分别存放,即热斑组件原始图像数据存放在images文件夹下,标签数据以txt数据格式存放在labels文件夹下,在训练时,分别读取这两个文件夹下的数据。
在实际训练过程中,基于正负样本,训练300个epoch,可以使得最终的mAP的值达到0.85左右,对热斑的训练和识别可达到较好的效果。
在训练完成后,基于测试集对训练好的识别层进行测试,并基于测试结果优化识别层,以提高识别层的精确度和准确度。
下面对识别层的测试过程进行具体说明。
继续以上文所述的水面电站和山地电站的光伏电板为例,首先是对水面电站的光伏电板红外图像的热斑识别进行分析:
对于水面电站的第一组数据,对分割出的子组件进行编号,直接观察可得编号为4和5的子组件存在有热斑。对分割出来的每一个子组件进行仿射变换,得到64*128像素矩形图像,调用已经利用YOLOv5训练好的识别层,对每一个分割出的子图像进行热斑目标识别的推理,发现标号为4和标号为5的子组件识别出热斑,并将热斑区域框选,如图8所示。
其中,标号为4的子组件热斑的识别概率为0.764105,标号为5的子组件上面存在两个热斑,其推理为热斑的概率分别为0.803414和0.746818,从这两组热斑识别的结果及其推理的概率来看,其数值均在0.7以上,证明基于YOLOv5的组件热斑识别具有较好的推理精度。
对于水面电站的第二组数据,对分割出的子组件进行编号,直接观察可得编号为30的子组件上面存在热斑。该热斑子组件的推理结果图像如图9所示,且该子组件上面热斑的识别概率为0.822704,识别准确度和精度较高。
再对山地电站的光伏电板红外图像的热斑识别结果进行分析:
对山地电站的第一组数据中分割出来的子组件进行编号,直接观察可得编号为50和56的子组件上面存有热斑。
如图10所示,分别为子组件50和子组件56的热斑识别结果图像,两个子组件上面的热斑区域均进行框选,且两者的推理概率分别为0.778162和0.789450,具有较高的识别精度和准确度。
对山地电站的第二组数据中分割出来的子组件进行编号,直接观察可得编号为18的子组件上面存有热斑。图11所示为子组件18的热斑识别结果图像,子组件上面的热斑区域的识别概率为0.720527,具有较高的识别精度和准确度。
从上面的4组含有热斑的图像分割及识别结果可知,U2-Net网络对光伏电板红外图像具有较好的分割效果,每一个子组件的边缘均可完整连续地分割出来,从而避免因分割出的子组件边缘断裂导致子组件不能被分割出来的缺陷;
除此之外,基于YOLOv5网络的热斑识别算法可有效地对子组件上的热斑进行识别,对于子组件上面的每一个不连续的热斑区域,均可以矩形框的形式将热斑区域框选出来,以显示对热斑区域的正确识别,且每一个热斑区域推理的概率的数值均在0.7以上,热斑识别的精度较高。
根据本申请实施例提供的光伏组件的故障检测方法,通过YOLOv5网络对分割得到的子图像进行热斑特征识别,具有较高的识别效果,显著提高识别结果的准确性、精度以及识别速率。
在一些实施例中,在训练识别层的过程中,还可以设置推理阈值以过滤识别概率低于推理阈值的情况,从而提高识别结果的精度。
例如,可以设置推理阈值以对概率在0.6以下的热斑识别情况进行排除,从而保证热斑识别的概率均在0.6以上。
在本实施例中,通过不断增加热斑的训练集以提升热斑识别的鲁棒性,可以有效过滤掉因子组件上不太清晰的类似热斑的区域被当作热斑检测出来等原因造成的误判,适用于任意形态的热斑的特征识别,具有较高的识别精度以及普适性。
当然,在其他实施例中,识别层也可以为YOLOX模型或其他可实现相同效果的模型,本申请不作限定。
根据本申请实施例提供的光伏组件的故障检测方法,通过使用深度学习的方法对光伏电板红外图像进行组件边缘分割和热斑目标检测,具有较高准确性和较强的鲁棒性;除此之外,通过对每个子组件对应的子图像进行热斑特征识别,并基于识别结果对故障子组件进行标记,自动化程度高,识别精度高且能够有效降低漏检的风险,能够显著提高光伏组件的故障识别效果,且适用于任意形态的热斑识别,普适性高。
本申请实施例提供的光伏组件的故障检测方法,执行主体可以为光伏组件的故障检测装置。本申请实施例中以光伏组件的故障检测装置执行光伏组件的故障检测方法为例,说明本申请实施例提供的光伏组件的故障检测装置。
本申请实施例还提供一种光伏组件的故障检测装置。
如图14所示,该光伏组件的故障检测装置包括:第一处理模块1410和第二处理模块1420。
第一处理模块1410,用于对待测光伏组件对应的目标红外图像进行图像分割,获取待测光伏组件中目标子组件对应的子图像,子图像包括目标子组件的轮廓边缘且子图像对应有目标编号;
第二处理模块1420,用于对子图像进行热斑特征识别,并对热斑区域进行标记,获取目标故障图像;目标故障图像用于表征待测光伏组件的热斑故障信息。
根据本申请实施例提供的光伏组件的故障检测装置,通过使用深度学习的方法对光伏电板红外图像进行组件边缘分割和热斑目标检测,具有较高准确性和较强的鲁棒性;除此之外,通过对每个子组件对应的子图像进行热斑特征识别,并基于识别结果对故障子组件进行标记,自动化程度高,识别精度高且能够有效降低漏检的风险,能够显著提高光伏组件的故障识别效果,且适用于任意形态的热斑识别,普适性高。
在一些实施例中,第二处理模块1420,还可以用于:
对子图像进行热斑特征识别,获取子图像中热斑区域对应的位置信息;
基于位置信息对子图像进行标注,获取目标故障图像。
在一些实施例中,第一处理模块1410,还可以用于:
对待测光伏组件对应的目标红外图像进行图像分割,获取待测光伏组件中目标子组件对应的初始图像;
对初始图像中目标子组件的轮廓边缘中模糊和/或断裂区域进行弥合,生成子图像。
在一些实施例中,第一处理模块1410,还可以用于:
将目标红外图像输入至目标神经网络模型的分割层,获取分割层输出的目标子组件对应的子图像;
其中,分割层为以样本红外图像为样本,以与样本红外图像对应的样本子图像为样本标签训练得到,样本红外图像为样本光伏组件对应的红外图像,样本子图像为样本光伏组件中目标样本子组件对应的红外图像。
在一些实施例中,第二处理模块1420,还可以用于:
将子图像输入至目标神经网络模型的识别层,获取识别层输出的目标故障图像;
其中,识别层为以样本子图像为样本,以与样本子图像对应的样本故障图像为样本标签训练得到,样本子图像为样本光伏组件中目标样本子组件对应的红外图像;样本故障图像为基于目标样本子组件中的红斑区域,对样本子图像进行标注后的图像。
本申请实施例中的光伏组件的故障检测装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的光伏组件的故障检测装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为IOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的光伏组件的故障检测装置能够实现图1至图13的方法实施例实现的各个过程,为避免重复,这里不再赘述。
在一些实施例中,如图15所示,本申请实施例还提供一种电子设备1500,包括处理器1501、存储器1502及存储在存储器1502上并可在处理器1501上运行的计算机程序,该程序被处理器1501执行时实现上述光伏组件的故障检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
本申请实施例还提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述光伏组件的故障检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述光伏组件的故障检测方法。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述光伏组件的故障检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种光伏组件的故障检测方法,其特征在于,包括:
对待测光伏组件对应的目标红外图像进行图像分割,获取所述待测光伏组件中目标子组件对应的子图像,所述子图像包括所述目标子组件的轮廓边缘且所述子图像对应有目标编号;
对所述子图像进行热斑特征识别,并对热斑区域进行标记,获取目标故障图像;所述目标故障图像用于表征所述待测光伏组件的热斑故障信息。
2.根据权利要求1所述的光伏组件的故障检测方法,其特征在于,所述对所述子图像进行热斑特征识别,并对热斑区域进行标记,获取目标故障图像,包括:
对所述子图像进行热斑特征识别,获取所述子图像中所述热斑区域对应的位置信息;
基于所述位置信息对所述子图像进行标注,获取目标故障图像。
3.根据权利要求1所述的光伏组件的故障检测方法,其特征在于,所述对待测光伏组件对应的目标红外图像进行图像分割,获取所述待测光伏组件中目标子组件对应的子图像,包括:
所述对待测光伏组件对应的目标红外图像进行图像分割,获取所述待测光伏组件中目标子组件对应的初始图像;
对所述初始图像中所述目标子组件的轮廓边缘中模糊和/或断裂区域进行弥合,生成所述子图像。
4.根据权利要求1-3任一项所述的光伏组件的故障检测方法,其特征在于,所述对待测光伏组件对应的目标红外图像进行图像分割,获取所述待测光伏组件中目标子组件对应的子图像,包括:
将所述目标红外图像输入至目标神经网络模型的分割层,获取所述分割层输出的所述目标子组件对应的子图像;
其中,所述分割层为以样本红外图像为样本,以与所述样本红外图像对应的样本子图像为样本标签训练得到,所述样本红外图像为样本光伏组件对应的红外图像,所述样本子图像为所述样本光伏组件中目标样本子组件对应的红外图像。
5.根据权利要求4所述的光伏组件的故障检测方法,其特征在于,所述分割层为U2-Net网络,所述U2-Net网络包括多个RSU模块,所述RSU模块为U-Net结构,所述多个RSU模块之间通过FPN结构连接。
6.根据权利要求1-3任一项所述的光伏组件的故障检测方法,其特征在于,所述对所述子图像进行热斑特征识别,并对热斑区域进行标记,获取目标故障图像,包括:
将所述子图像输入至目标神经网络模型的识别层,获取所述识别层输出的所述目标故障图像;
其中,所述识别层为以样本子图像为样本,以与所述样本子图像对应的样本故障图像为样本标签训练得到,所述样本子图像为样本光伏组件中目标样本子组件对应的红外图像;所述样本故障图像为基于所述目标样本子组件中的红斑区域,对所述样本子图像进行标注后的图像。
7.根据权利要求6所述的光伏组件的故障检测方法,其特征在于,所述识别层为YOLOv5网络,所述YOLOv5网络包括顺次连接的输入端、基准网络、Neck网络和Head输出层,所述基准网络包括Focus结构和CSP结构。
8.一种光伏组件的故障检测装置,其特征在于,包括:
第一处理模块,用于对待测光伏组件对应的目标红外图像进行图像分割,获取所述待测光伏组件中目标子组件对应的子图像,所述子图像包括所述目标子组件的轮廓边缘且所述子图像对应有目标编号;
第二处理模块,用于对所述子图像进行热斑特征识别,并对热斑区域进行标记,获取目标故障图像;所述目标故障图像用于表征所述待测光伏组件的热斑故障信息。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一项所述光伏组件的故障检测方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7任一项所述的光伏组件的故障检测方法。
CN202310050141.3A 2023-02-01 2023-02-01 光伏组件的故障检测方法、装置、电子设备和存储介质 Pending CN115797336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310050141.3A CN115797336A (zh) 2023-02-01 2023-02-01 光伏组件的故障检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310050141.3A CN115797336A (zh) 2023-02-01 2023-02-01 光伏组件的故障检测方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115797336A true CN115797336A (zh) 2023-03-14

Family

ID=85429436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310050141.3A Pending CN115797336A (zh) 2023-02-01 2023-02-01 光伏组件的故障检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115797336A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188502A (zh) * 2023-04-27 2023-05-30 尚特杰电力科技有限公司 光伏板红外图像分割方法、存储介质以及电子设备
CN116843691A (zh) * 2023-09-01 2023-10-03 尚特杰电力科技有限公司 光伏板热斑检测方法及存储介质、电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037918A (zh) * 2021-11-10 2022-02-11 吉林大学 一种基于无人机巡检和图像处理的光伏热斑检测方法
CN114140732A (zh) * 2021-12-09 2022-03-04 安徽大学 面向小样本条件下的消防火源检测方法、装置及存储介质
CN114299033A (zh) * 2021-12-29 2022-04-08 中国科学技术大学 一种基于YOLOv5的光伏板红外图像热斑检测方法及系统
CN114399484A (zh) * 2022-01-11 2022-04-26 华电电力科学研究院有限公司 一种光伏组件缺陷检测方法、装置、设备及介质
CN114494462A (zh) * 2022-02-10 2022-05-13 西安电子科技大学芜湖研究院 一种基于Yolov5和改进跟踪算法的双目相机测距方法
CN114898181A (zh) * 2022-05-19 2022-08-12 四川精创国芯科技有限公司 用于涉爆视频的隐患违章识别方法及装置
CN115393747A (zh) * 2022-08-31 2022-11-25 华风数据(深圳)有限公司 一种基于深度学习的光伏故障检测方法
CN115661466A (zh) * 2022-12-14 2023-01-31 尚特杰电力科技有限公司 一种基于深度学习图像分割的光伏板定位方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037918A (zh) * 2021-11-10 2022-02-11 吉林大学 一种基于无人机巡检和图像处理的光伏热斑检测方法
CN114140732A (zh) * 2021-12-09 2022-03-04 安徽大学 面向小样本条件下的消防火源检测方法、装置及存储介质
CN114299033A (zh) * 2021-12-29 2022-04-08 中国科学技术大学 一种基于YOLOv5的光伏板红外图像热斑检测方法及系统
CN114399484A (zh) * 2022-01-11 2022-04-26 华电电力科学研究院有限公司 一种光伏组件缺陷检测方法、装置、设备及介质
CN114494462A (zh) * 2022-02-10 2022-05-13 西安电子科技大学芜湖研究院 一种基于Yolov5和改进跟踪算法的双目相机测距方法
CN114898181A (zh) * 2022-05-19 2022-08-12 四川精创国芯科技有限公司 用于涉爆视频的隐患违章识别方法及装置
CN115393747A (zh) * 2022-08-31 2022-11-25 华风数据(深圳)有限公司 一种基于深度学习的光伏故障检测方法
CN115661466A (zh) * 2022-12-14 2023-01-31 尚特杰电力科技有限公司 一种基于深度学习图像分割的光伏板定位方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程增木: "智能网联汽车技术入门一本通 彩色版", 机械工业出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188502A (zh) * 2023-04-27 2023-05-30 尚特杰电力科技有限公司 光伏板红外图像分割方法、存储介质以及电子设备
CN116843691A (zh) * 2023-09-01 2023-10-03 尚特杰电力科技有限公司 光伏板热斑检测方法及存储介质、电子设备
CN116843691B (zh) * 2023-09-01 2024-01-26 尚特杰电力科技有限公司 光伏板热斑检测方法及存储介质、电子设备

Similar Documents

Publication Publication Date Title
CN109902622B (zh) 一种用于登机牌信息验证的文字检测识别方法
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN115797336A (zh) 光伏组件的故障检测方法、装置、电子设备和存储介质
CN111178211A (zh) 图像分割方法、装置、电子设备及可读存储介质
CN111260666B (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN111160352A (zh) 一种基于图像分割的工件金属表面文字识别方法及系统
CN112487848B (zh) 文字识别方法和终端设备
CN108960412B (zh) 图像识别方法、装置及计算机可读存储介质
CN109948533B (zh) 一种文本检测方法、装置、设备及可读存储介质
CN112070649B (zh) 一种去除特定字符串水印的方法及系统
CN115526259A (zh) 一种多模态预训练模型的训练方法和装置
CN113469997B (zh) 平面玻璃的检测方法、装置、设备和介质
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
CN116311214B (zh) 车牌识别方法和装置
Zhu et al. HMFCA-Net: Hierarchical multi-frequency based Channel attention net for mobile phone surface defect detection
CN116071294A (zh) 一种光纤表面缺陷检测方法和装置
CN111507119B (zh) 标识码识别方法、装置、电子设备及计算机可读存储介质
CN114842035A (zh) 基于深度学习的车牌脱敏方法、装置、设备及存储介质
CN113537187A (zh) 文本识别方法、装置、电子设备及可读存储介质
CN116580232A (zh) 一种图像自动标注方法、系统及电子设备
CN115578362A (zh) 电极涂层的缺陷检测方法、装置、电子设备及介质
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN117523219A (zh) 图像处理方法及装置、电子设备、存储介质
CN114419428A (zh) 一种目标检测方法、目标检测装置和计算机可读存储介质
CN114647361A (zh) 一种基于人工智能的触摸屏物体定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230314