CN109525194B - 光伏板故障光斑检测识别方法和系统 - Google Patents

光伏板故障光斑检测识别方法和系统 Download PDF

Info

Publication number
CN109525194B
CN109525194B CN201811197191.XA CN201811197191A CN109525194B CN 109525194 B CN109525194 B CN 109525194B CN 201811197191 A CN201811197191 A CN 201811197191A CN 109525194 B CN109525194 B CN 109525194B
Authority
CN
China
Prior art keywords
photovoltaic panel
anchor point
area
image
fault
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811197191.XA
Other languages
English (en)
Other versions
CN109525194A (zh
Inventor
孙锬锋
蒋兴浩
许强
许可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201811197191.XA priority Critical patent/CN109525194B/zh
Publication of CN109525194A publication Critical patent/CN109525194A/zh
Application granted granted Critical
Publication of CN109525194B publication Critical patent/CN109525194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02SGENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S50/00Monitoring or testing of PV systems, e.g. load balancing or fault identification
    • H02S50/10Testing of PV devices, e.g. of PV modules or single PV cells
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种光伏板故障光斑检测识别方法和系统,获取第一光伏板图像数据,对第一光伏板图像数据进行预处理,得到第二光伏板图像数据,所述第二光伏板图像数据的图片数据以帧为单位;识别第二光伏板图像数据的二维码锚点,解析二维码锚点,得到锚点位置信息、锚点方位角度信息;对第二光伏板图像数据进行形态学操作,剔除干扰区域,识别光伏板区域;结合锚点位置信息、锚点方位角度信息,定位光伏板区域;对光伏板区域进行高斯滤波,剔除干扰点,识别故障光斑;分别计算二维码锚点、光斑连线与光伏板区域边线的夹角,结合锚点位置信息、锚点方位角度信,定位故障光斑。采用无接触检测定位,灵活方便,操作简单,检测准确性高、检测效率高。

Description

光伏板故障光斑检测识别方法和系统
技术领域
本发明涉及数字图像处理技术领域,具体地,涉及光伏板故障光斑检测识别方法和系统,尤其是涉及一种无人机航拍图片的光伏板故障光斑检测识别方法。
背景技术
太阳能电池板或光伏板是一种利用光电效应或者光化学效应直接将光能转化为电能的组装件,随着国家对绿色能源需求的不断增长,光伏电池板在电力行业中得到广泛使用,然而光伏电池板在生产、使用过程中不可避免会产生故障及缺陷,这会导致发电效率不高及安全隐患增加的危险,因此对光伏板进行故障光斑检测显得十分必要。
目前关于光伏板故障光斑检测的方法包括人工检测、电致发光(electroluminescence)检测、激光检测等,然而在这些方法中,人工检测的方法往往效率底下,对于大规模覆盖面积的光伏板,人工检测耗时耗力;激光检测是一种非接触式检测方法,虽然该方法具有较高的空间分辨率,然而因为成本高的缺点,该方法并未得到很好的普及;电致发光的方法是目前为止使用最广泛的方法,该方法通过电荷耦合元件摄像机拍摄光伏板组件通电发出的近红外光,根据灰度的差异对缺陷进行识别,该方法成本低,然而对识别算法的依赖程度较高,并且很难兼顾检测速度和检测准确率等因素。
专利文献CN103808727A公开了一种太阳能光伏板故障诊断方法,通过扫描机构带动红成像机构和光致发光激发机构逐一对太阳能光伏板上的各工位进行检测,最后由计算机内安装的图像拼接及数据分析软件得出整个太阳能光伏板的缺陷参数。能方便快速地检测出太阳能光伏板材料本身的缺陷、结晶缺陷、碎片、材料污染等缺陷,并且实现了无接触检测,然而该方法依赖的外部器械较多,需要将扫描机、红外成像机和光致发光激发机及计算机统一整合,安装、工作方式并不灵活。
专利文献CN207367926U公开了一种高效率太阳能板检测装置,包括防偏移装置、送料装置主体和检测装置主体,所述检测装置主体内部设有电动机,所述电动机上端设有传送带轮,所述传送带轮上端设有传送带,所述传送带上端设有若干个防偏移装置,所述防偏移装置内部表面设有红外传感器,所述红外传感器下端设有若干个滚轴,所述防偏移装置上端设有风淋装置,所述风淋装置下端设有若干个风淋口,所述风淋口一侧设有送料装置主体,所述送料装置主体一侧设有液压机控制器,所述液压机控制器一侧设有液压机,通过设置了检测装置主体,能够将太阳能板通过检测装置主体凹槽内部的传送带竖直传送到检测装置表面,通过在防偏移装置内部设若干红外传感器进行光伏板定位,进而供检测人员检测,虽然该方法有较高的故障检测准确率,但由于它是对每一块光伏板分别进行检测的方法,工作量无疑是非常巨大的,对于大规模光伏发电站而言,这种光伏板故障检测方法显得捉襟见肘。
因此,需要提出一种有效的光伏板故障光斑检测识别及定位方法,旨在提升故障光斑检测准确率的同时,降低检测计算量和检测效率,同时实现光斑位置的定位。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种光伏板故障光斑检测识别方法和系统。
根据本发明提供的一种光伏板故障光斑检测识别方法,包括:
预处理步骤:获取第一光伏板图像数据,对第一光伏板图像数据进行预处理,得到第二光伏板图像数据,所述第二光伏板图像数据的图片数据以帧为单位;
锚点定位步骤:识别第二光伏板图像数据的二维码锚点,解析二维码锚点,得到锚点位置信息、锚点方位角度信息;
区域识别步骤:对第二光伏板图像数据进行形态学操作,提升光伏板区域的边界可区分性,剔除干扰区域,识别光伏板区域;
区域定位步骤:结合锚点位置信息、锚点方位角度信息,定位光伏板区域;
故障识别步骤:对光伏板区域进行高斯滤波,剔除干扰点,识别故障光斑;
故障定位步骤:计算光伏板区域边线分别与二维码锚点、光斑连线的夹角,结合锚点位置信息、锚点方位角度信,定位故障光斑。
优选地,所述锚点定位步骤包括:
灰度化步骤:令第二光伏板图像数据进行图像灰度化,得到第一图片,令第一图片通过sobel算子进行竖向边缘检测,得到边缘图像;
二值化步骤:令边缘图像进行二值化,得到第一二值图像,令第一二值图像进行形态学操作,得到图像轮廓;
解析步骤:基于图像轮廓,建立扫描器,配置扫描器参数,载入携带二维码锚点的灰度图像,逐行逐列扫描灰度图像,获得二维码格式信息并解码,提取出码字比特流,将码字比特流转化成编码数据,得到锚点位置信息、锚点方位角度信息。
优选地,所述区域识别步骤包括:
卷积步骤:令第二光伏板图像数据进行图像灰度化,得到第二图片,令第二图片使用高斯滤波器与第二光伏板图像数据进行图像卷积,其中高斯滤波器采用的高斯卷积核H为
Figure BDA0001829084450000031
计算步骤:计算第二图片的边缘水平、垂直方向的一阶导数值,确定像素点的梯度G和方向θ,
Figure BDA0001829084450000033
其中Gx表示梯度G在水平方向的一阶导数值,Gy表示梯度G在垂直方向的一阶导数值;
剔除步骤:令第二图片的边缘进行二值化,得到第二二值图像,令第二二值图像进行腐蚀操作,得到第一腐蚀图像,令第一腐蚀图像进行膨胀操作,得到第一膨胀图像,将第一腐蚀图像与第一膨胀图像作差,得到差值图像,提取差值图像轮廓,利用RGB三色分量的判定规则剔除干扰区域,得到光伏板区域;
所述判定规则依据以下公式:
Δ=|Mplxr-Mplxg|+|Mplxr-Mplxb|+|Mplxg-Mplxb| (3)
其中,Mplxr,Mplxg,Mplxb分别表示RGB三色分量;Δ表示相似度因子;
若Δ小于第一设定值,则判定为光伏板区域;否则,则判定为干扰区域。
优选地,所述区域定位步骤包括:
锚点经纬度转换步骤:令锚点位置信息转换为弧度,得到光伏板区域在经度、维度方向上的分量,所述转换依照以下公式:
RLa0=(La0*π)/180 (4)
RLo0=(Lo0*π)/180 (5)
Ec=Rj+(Rc-Rj)*(90-La0)/90 (6)
Ed=Ec*cos(RLa0) (7)
其中,La0、Lo0分别表示锚点位置信息中的经纬角度;
RLa0、RLo0分别表示La0、Lo0对应的弧度;
lap表示光伏板区域与二维码锚点的距离;
RC表示地球赤道半径;
Rj表示极半径;
Ec表示锚点在纬度方向上与地球球心的距离;
Ed表示锚点在经度方向上与地球球心的距离;
所述分量依照以下公式:
Figure BDA0001829084450000041
其中,Dx、Dy分别表示光伏板区域在经度、纬度方向上的分量;
Figure BDA0001829084450000043
表示光伏板长边线与正北方向的夹角;
区域经纬度确定步骤:根据光伏板区域在经度、维度方向上的分量计算光伏板区域的经度、维度,计算依据以下公式:
Figure BDA0001829084450000045
其中,Lap表示光伏板区域的纬度;
Lop表示光伏板区域的经度。
优选地,所述故障识别步骤包括:
高斯滤波步骤:将光伏板区域采用集合{P=P1,P2,...Pk}表示,其中k为光伏板区域数目,Pi代表第i块光伏板区域,0<i<k+1,对Pi进行二维高斯滤波,得到滤波图像,所述二维高斯滤波G采用以下公式:
Figure BDA0001829084450000046
其中,x,y为光伏板区域的局部区域中一个像素的坐标位置;
δ为高斯函数标准差;
区域轮廓识别步骤:对滤波图像进行腐蚀操作,得到第二腐蚀图像,令第二腐蚀图像进行膨胀操作,得到第二膨胀图像,提取光伏板轮廓,利用RGB三色分量,判定得到故障光斑区域;
所述判定依据以下公式:
Δ=|Mplxr-Mplxg|+|Mplxr-Mplxb|+|Mplxg-Mplxb| (13)
其中,Δ表示相似度因子;Mplxr、Mplxg、Mplxb分别表示RGB三色分量;
若Δ小于第二设定值,则判定为故障光斑区域;否则,则判定为干扰区域。
优选地,所述故障定位步骤包括:
角度计算步骤:建立笛卡尔坐标系,所述笛卡尔坐标系的X轴、Y轴分别取光伏板区域的下边线、左边线,获取二维码锚点、故障光斑的笛卡尔坐标,分别记为A0(x1,y1)、S0(x2,y2),取光伏板边线上的第一点、第二点,分别记为P1(x3,y3)、P2(x4,y4):
kas=(y1-y2)/(x1-x2) (15)
kpp=(y3-y4)/(x3-x4) (16)
Figure BDA0001829084450000051
其中,kas表示二维码锚点与故障光斑的光斑直线A0S0的斜率;
kpp表示第一点与第二点的光伏板直线P1P2的斜率;
θas表示光斑直线A0S0与光伏板直线P1P2的夹角;
当光斑直线A0S0与光伏板直线P1P2都垂直于X轴时,θas=0;
当光斑直线A0S0、光伏板直线P1P2都不垂直于X轴时,
θas=arctan|(kas-kpp)/(1+kaskpp)| (18);
当光斑直线A0S0、光伏板直线P1P2两者中仅一者垂直于X轴时,
θas=|90-arctank|,
Figure BDA0001829084450000052
计算故障光斑的方位角
Figure BDA0001829084450000053
Figure BDA0001829084450000054
其中,Ang0表示从二维码解析得到的光伏板方位角信息;
k表示斜率;
Figure BDA0001829084450000055
表示若存在kas或kpp则将值赋予k,其中
Figure BDA00018290844500000510
表示存在,||表示或。;
故障经纬度确定步骤:计算故障光斑经纬度,依据以下公式:
Figure BDA0001829084450000057
Figure BDA0001829084450000058
Figure BDA0001829084450000059
其中,D′x表示故障光斑的X轴位置信息;
D′y表示故障光斑的Y轴位置信息;
las表示距离信息;
Las表示故障光斑的经度;
Los表示故障光斑的维度;
Ec表示锚点在纬度方向上与地球球心的距离;
Ed表示锚点在经度方向上与地球球心的距离;
RLa0、RLo0分别表示锚点经纬角度[La0,Lo0]转换后的弧度;
减少误差步骤:令一个故障光斑进行多帧计算,得到多个故障光斑经纬度,对多个故障光斑经纬度取均值,作为故障光斑的经纬度数值。
优选地,所述预处理是利用解码工具对第一光伏板图像数据进行解码。
根据本发明提供的一种光伏板故障光斑检测识别系统,包括:
预处理模块:获取第一光伏板图像数据,对第一光伏板图像数据进行预处理,得到第二光伏板图像数据,所述第二光伏板图像数据的图片数据以帧为单位;
锚点定位模块:识别第二光伏板图像数据的二维码锚点,解析二维码锚点,得到锚点位置信息、锚点方位角度信息;
区域识别模块:对第二光伏板图像数据进行形态学操作,提升光伏板区域的边界可区分性,剔除干扰区域,识别光伏板区域;
区域定位模块:结合锚点位置信息、锚点方位角度信息,定位光伏板区域;
故障识别模块:对光伏板区域进行高斯滤波,剔除干扰点,识别故障光斑;
故障定位模块:计算光伏板区域边线分别与二维码锚点、光斑连线的夹角,结合锚点位置信息、锚点方位角度信,定位故障光斑。
与现有技术相比,本发明具有如下的有益效果:
1、本发明操作简单、灵活方便,且具有高检测准确性和高检测效率的特点;
2、本发明能方便快速地检测出光伏板上的故障光斑缺陷,对光伏板故障光斑进行定位,采用无接触检测方法。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明方法的流程图;
图2为本发明实施例的实施过程示意图;
图3为本发明实施例识别结果。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明针对无人机采集到的光伏板视频图像数据,通过设置二维码锚点,设计一种基于数字图像处理的方法,识别图像中的光伏板、故障光斑区域,在解析出二维码锚点GPS及方位角信息的前提下,对光伏板故障光斑进行定位,方便快速地检测出光伏板上的故障光斑缺陷,定位出故障光斑位置。
根据本发明提供的一种光伏板故障光斑检测识别方法,包括,预处理步骤:获取第一光伏板图像数据,对第一光伏板图像数据进行预处理,得到第二光伏板图像数据,所述第二光伏板图像数据的图片数据以帧为单位;
锚点定位步骤:识别第二光伏板图像数据的二维码锚点,解析二维码锚点,得到锚点位置信息、锚点方位角度信息;
区域识别步骤:对第二光伏板图像数据进行形态学操作,提升光伏板区域的边界可区分性,剔除干扰区域,识别光伏板区域;
区域定位步骤:结合锚点位置信息、锚点方位角度信息,定位光伏板区域;
故障识别步骤:对光伏板区域进行高斯滤波,剔除干扰点,识别故障光斑;
故障定位步骤:计算光伏板区域边线分别与二维码锚点、光斑连线的夹角,结合锚点位置信息、锚点方位角度信,定位故障光斑;
具体地,所述锚点定位步骤包括:
灰度化步骤:令第二光伏板图像数据进行图像灰度化,得到第一图片,令第一图片通过sobel算子进行竖向边缘检测,得到边缘图像;
二值化步骤:令边缘图像进行二值化,得到第一二值图像,令第一二值图像进行形态学操作,得到图像轮廓;
解析步骤:基于图像轮廓,建立扫描器,配置扫描器参数,载入携带二维码锚点的灰度图像,逐行逐列扫描灰度图像,获得二维码格式信息并解码,提取出码字比特流,将码字比特流转化成编码数据,得到锚点位置信息、锚点方位角度信息。
具体地,所述区域识别步骤包括:
卷积步骤:令第二光伏板图像数据进行图像灰度化,得到第二图片,令第二图片使用高斯滤波器与第二光伏板图像数据进行图像卷积,其中高斯滤波器采用的高斯卷积核H为
计算步骤:计算第二图片的边缘水平、垂直方向的一阶导数值,确定像素点的梯度G和方向θ,
Figure BDA0001829084450000082
Figure BDA0001829084450000083
其中Gx表示梯度G在水平方向的一阶导数值,Gy表示梯度G在垂直方向的一阶导数值;
剔除步骤:令第二图片的边缘进行二值化,得到第二二值图像,令第二二值图像进行腐蚀操作,得到第一腐蚀图像,令第一腐蚀图像进行膨胀操作,得到第一膨胀图像,将第一腐蚀图像与第一膨胀图像作差,得到差值图像,提取差值图像轮廓,利用RGB三色分量的判定规则剔除干扰区域,得到光伏板区域;
所述判定规则依据以下公式:
Δ=|Mplxr-Mplxg|+|Mplxr-Mplxb|+|Mplxg-Mplxb| (3)
其中,Mplxr,Mplxg,Mplxb分别表示RGB三色分量;Δ表示相似度因子;
若Δ小于第一设定值,则判定为光伏板区域;否则,则判定为干扰区域。
具体地,所述区域定位步骤包括:
锚点经纬度转换步骤:令锚点位置信息转换为弧度,得到光伏板区域在经度、维度方向上的分量,所述转换依照以下公式:
RLa0=(La0*π)/180 (4)
RLo0=(Lo0*π)/180 (5)
Ec=Rj+(Rc-Rj)*(90-La0)/90 (6)
Ed=Ec*cos(RLa0) (7)
其中,La0、Lo0分别表示锚点位置信息中的经纬角度;
RLa0、RLo0分别表示La0、Lo0对应的弧度;
lap表示光伏板区域与二维码锚点的距离;
RC表示地球赤道半径;
Rj表示极半径;
Ec表示锚点在纬度方向上与地球球心的距离;
Ed表示锚点在经度方向上与地球球心的距离;
所述分量依照以下公式:
Figure BDA0001829084450000091
其中,Dx、Dy分别表示光伏板区域在经度、纬度方向上的分量;
Figure BDA0001829084450000093
表示光伏板长边线与正北方向的夹角;
区域经纬度确定步骤:根据光伏板区域在经度、维度方向上的分量计算光伏板区域的经度、维度,计算依据以下公式:
Figure BDA0001829084450000094
Figure BDA0001829084450000095
其中,Lap表示光伏板区域的纬度;
Lop表示光伏板区域的经度。
具体地,所述故障识别步骤包括:
高斯滤波步骤:将光伏板区域采用集合{P=P1,P2,...Pk}表示,其中k为光伏板区域数目,Pi代表第i块光伏板区域,0<i<k+1,对Pi进行二维高斯滤波,得到滤波图像,所述二维高斯滤波G采用以下公式:
Figure BDA0001829084450000096
其中,x,y为光伏板区域的局部区域中一个像素的坐标位置;
δ为高斯函数标准差;
区域轮廓识别步骤:对滤波图像进行腐蚀操作,得到第二腐蚀图像,令第二腐蚀图像进行膨胀操作,得到第二膨胀图像,提取光伏板轮廓,利用RGB三色分量,判定得到故障光斑区域;
所述判定依据以下公式:
Δ=|Mplxr-Mplxg|+|Mplxr-Mplxb|+|Mplxg-Mplxb| (13)
其中,Δ表示相似度因子;Mplxr、Mplxg、Mplxb分别表示RGB三色分量;
若Δ小于第二设定值,则判定为故障光斑区域;否则,则判定为干扰区域。
具体地,所述故障定位步骤包括:
角度计算步骤:建立笛卡尔坐标系,所述笛卡尔坐标系的X轴、Y轴分别取光伏板区域的下边线、左边线,获取二维码锚点、故障光斑的笛卡尔坐标,分别记为A0(x1,y1)、S0(x2,y2),取光伏板边线上的第一点、第二点,分别记为P1(x3,y3)、P2(x4,y4):
kas=(y1-y2)/(x1-x2) (15)
kpp=(y3-y4)/(x3-x4) (16)
Figure BDA0001829084450000101
其中,kas表示二维码锚点与故障光斑的光斑直线A0S0的斜率;
kpp表示第一点与第二点的光伏板直线P1P2的斜率;
θas表示光斑直线A0S0与光伏板直线P1P2的夹角;
当光斑直线A0S0与光伏板直线P1P2都垂直于X轴时,θas=0;
当光斑直线A0S0、光伏板直线P1P2都不垂直于X轴时,
θas=arctan|(kas-kpp)/(1+kaskpp)| (18);
当光斑直线A0S0、光伏板直线P1P2两者中仅一者垂直于X轴时,
θas=|90-arctank|,
计算故障光斑的方位角
Figure BDA0001829084450000102
其中,Ang0表示二维码锚点解析得到的光伏板方位角信息;
k表示斜率;
Figure BDA0001829084450000104
表示若存在kas或kpp则将值赋予k,其中
Figure BDA0001829084450000105
表示存在,||表示或;
故障经纬度确定步骤:计算故障光斑经纬度,依据以下公式:
Figure BDA0001829084450000106
Figure BDA0001829084450000107
Figure BDA0001829084450000108
Figure BDA0001829084450000109
其中,Dx表示故障光斑的X轴位置信息;
Dy表示故障光斑的Y轴位置信息;
las表示距离信息;
Las表示故障光斑的经度;
Los表示故障光斑的维度;
Ec表示锚点在纬度方向上与地球球心的距离;
Ed表示锚点在经度方向上与地球球心的距离;
RLa0、RLo0分别表示锚点经纬角度[La0,Lo0]转换后的弧度;
减少误差步骤:令一个故障光斑进行多帧计算,得到多个故障光斑经纬度,对多个故障光斑经纬度取均值,作为故障光斑的经纬度数值。
具体地,所述预处理是利用解码工具对第一光伏板图像数据进行解码。
根据本发明提供的一种光伏板故障光斑检测识别系统,包括:
预处理模块:获取第一光伏板图像数据,对第一光伏板图像数据进行预处理,得到第二光伏板图像数据,所述第二光伏板图像数据的图片数据以帧为单位;
锚点定位模块:识别第二光伏板图像数据的二维码锚点,解析二维码锚点,得到锚点位置信息、锚点方位角度信息;
区域识别模块:对第二光伏板图像数据进行形态学操作,提升光伏板区域的边界可区分性,剔除干扰区域,识别光伏板区域;
区域定位模块:结合锚点位置信息、锚点方位角度信息,定位光伏板区域;
故障识别模块:对光伏板区域进行高斯滤波,剔除干扰点,识别故障光斑;
故障定位模块:计算光伏板区域边线分别与二维码锚点、光斑连线的夹角,结合锚点位置信息、锚点方位角度信,定位故障光斑。
本发明提供的光伏板故障光斑检测识别系统,可以通过光伏板故障光斑检测识别方法的步骤流程实现。本领域技术人员可以将光伏板故障光斑检测识别方法理解为所述光伏板故障光斑检测识别系统的优选例。
以下针对一优选例做进一步阐述。
如图1、图2所示,一种无人机航拍图片的光伏板故障光斑检测识别方法,主要包括S1-S6六个步骤:
S1:利用无人机/系统数据交互接口从无人机数据存储云平台获取无人机采集的光伏板云图数据,然后对光伏板视频图像数据预处理;无人机数据云存储平台为用户提供了海量、安全的数据存储服务,从云平台中获取的视频数据后利用视频解码工具FFMPEG对视频进行解码处理,从而获得以帧为单位的光伏板图像数据;
S2:利用数字图像处理技术对图片中二维码锚点进行定位,然后利用二维码解析技术对二维码信息进行提取,获取当前锚点的GPS和方位角信息。具体实施方法为:
(2-1)对图像灰度化,然后通过sobel算子来对图片进行竖向边缘检测,其中采用的sobel算子x方向上的差分阶数为2,sobel核大小为7*7,然后对边缘图像进行二值化;
(2-2)对二值图像进行形态学操作,首先采用自定义1*3的核进行X方向的膨胀腐蚀,接着采用自定义3*1的核进行Y方向的膨胀腐蚀,最后对图像进行轮廓提取;
(2-3)采用二维码解码技术对二维码进行解析,提取二维码锚点GPS位置信息[La0,Lo0]和方位角度信息Ang0。首先建立扫描器scanner,配置scanner参数并初始化,然后载入灰度图像,并逐行逐列扫描图像,根据梯度变换得到每行每列明暗宽度流,接着对宽度流线段进行筛选并在聚类之后求出横纵向线段交叉点,求出中心点,并找到QR码格式信息并解码,最后将提取出来的码字比特流转换为相应的编码数据输出。
S3:光伏板区域识别。本发明实施实例对光伏板区域进行识别的主要流程包括:
(3-1)对原始图像灰度化,并对灰度图使用高斯滤波器与图像进行卷积,该步骤将平滑图像,以减少边缘检测器上明显的噪声影响,其中高斯卷积核为:
Figure BDA0001829084450000121
滤波高斯卷积核的大小的选择影响着边缘检测器的性能,即尺寸越大,检测器对噪声的敏感度越低,但是边缘检测的定位误差也将略有增加;
(3-2)梯度强度及方向计算,图像中的边缘可以指向各个方向,通过计算水平和垂直方向的一阶导数值,由此便可以确定像素点的梯度G和方向θ,即:
Figure BDA0001829084450000122
Figure BDA0001829084450000123
需要注意的是该梯度为全局梯度,还不足以确定边缘,为此需要利用非极大值抑制算法保留局部梯度最大的点。在施加非极大值抑制之后,实际结果仍然存在由于噪声和颜色变化引起的一些边缘像素。为此,本实施实例设置高低阈值β1=90,β2=9以过滤边缘。如果边缘像素的梯度值高于β1,则将其标记为强边缘像素;如果边缘像素的梯度值小于β1并且大于β2,则将其标记为弱边缘像素;如果边缘像素的梯度值小于β2,则会被抑制。通过查看弱边缘像素及其8个邻域像素,只要其中一个为强边缘像素,则将该弱边缘点就保留为真实的边缘;
(3-3)对边缘图像进行二值化,然后对二值图像进行腐蚀操作,腐蚀操作核类型为MORPH_RECT,核大小为9*9,接着对得到腐蚀图像进行膨胀操作,本实施实例使用膨胀核类型为MORPH_ELLIPSE,核大小为18*18,对膨胀前后的图像作差得到差值图像。接着提取差值图像轮廓,再利用RGB三色分量剔除区域颜色空间到光伏板区域颜色空间距离较大的干扰区域,即计算对应的光伏板RGB图像该轮廓区域RGB各分量的色度均值Mplxr,Mplxg,Mplxb,并定义相似度因子Δ:
Δ=|Mplxr-Mplxg|+|Mplxr-Mplxb|+|Mplxg-Mplxb| (3)
若Δ小于阈值,则判定该区域为光伏板区域,若大于阈值,则判定该区域为干扰区域,进而剔除非光伏板区域,最终识别出光伏板区域。
S4:在步骤S3的基础上,通过相对位置计算结合锚点GPS位置信息[La0,Lo0]和方位角度信息Ang0,对光伏板区域进行定位,具体步骤为:
(4-1)将锚点经纬角度[La0,Lo0]信息转换为弧度[RLa0,RLo0]并得到区域在经度和维度方向上的分量。其中工人标注的二维码包含的位置信息为二维码锚点的GPS位置信息,方位角信息为区域内光伏板边线与正北方向的方位夹角。在已知上述信息以及光伏板与二维码锚点距离lap及地球赤道半径RC和极半径Rj的前提下,转换方法如下:
RLa0=(La0*π)/180 (4)
RLo0=(Lo0*π)/180 (5)
Ec=Rj+(Rc-Rj)*(90-La0)/90 (6)
Ed=Ec*cos(RLa0) (7)
定义Dx,Dy分别表示区域在经度和纬度方向上的分量:
Figure BDA0001829084450000131
(4-2)根据Dx,Dy计算光伏板纬度Lap和经度Lop
Figure BDA0001829084450000133
Figure BDA0001829084450000134
S5:在S3的基础上,对识别出的光伏板进行故障光斑的检测,本发明实施实例S5具体步骤为:
(5-1)将S3中识别的光伏板区域用集合{P=P1,P2,...Pk}表示,其中k为光伏板区域数目,Pi代表S3中识别出的一块光伏板区域,0<i<k+1,首先选择灰度图中任一光伏板区域Pi,对该区域进行二维高斯滤波,以消除图像中噪声的影响,二维高斯函数表达式如下:
Figure BDA0001829084450000141
其中,x,y为图像局部区域中每一个像素的坐标位置,δ为高斯函数标准差。常见高斯函数模板大小有3*3、5*5、7*7,本实施例中采用3*3大小的高斯模板。滤波后将图像转化为二值图像;
(5-2)对区域二值图像作腐蚀操作,腐蚀操作核类型为MORPH_RECT,核大小为9*9,接着对腐蚀后的图像作膨胀处理,膨胀操作核类型为MORPH_ELLIPSE,核大小为9*9,得到膨胀后的图片后提取光伏板轮廓,然后计算对应的光伏板RGB图像该轮廓区域RGB各分量的色度均值Mplxr,Mplxg,Mplxb,并定义相似度因子Δ:
Δ=|Mplxr-Mplxg|+|Mplxr-Mplxb|+|Mplxg-Mplxb| (13)
若Δ小于阈值,则判定该区域为故障光斑区域,若大于阈值,则判定该区域为干扰区域,进而剔除非光斑区域,最终识别出光斑区域,结果如图3所示。为了计算故障光斑相对面积,通过计算图像中光伏板区域面积SP及当前光斑区域面积SS,得到故障光斑与光伏板区域面积相对占比γ:
Figure BDA0001829084450000142
S6:在步骤S5的基础上,计算出二维码锚点A0、光斑S0连线与光伏板边线夹角,并结合锚点GPS位置信息[La0,Lo0]和方位角度信息Ang0,以及光斑、二维码锚点实际物理距离las对故障光斑区域进行定位,其具体实施步骤如下:
(6-1)光斑方位角信息计算:建立以图像左下角为原点的笛卡尔坐标系,其中图像的下边线和左边线为笛卡尔坐标系的X轴和Y轴,获取二维码锚点A0在坐标系中的坐标A0(x1,y1)、光斑坐标S0(x2,y2),光伏板边线上的两个点P1(x3,y3)、P2(x4,y4),设二维码锚点与光斑直线A0S0的斜率为kas,光伏板边线斜率为kpp,夹角为θas,则
kas=(y1-y2)/(x1-x2) (15)
kpp=(y3-y4)/(x3-x4) (16)
Figure BDA0001829084450000144
当两条直线都垂直于X轴,也就是斜率kas、kpp不存在。这种情况两条直线平行,此时θas=0。当存在仅有一条直线垂直于x轴,即kas或者kpp不存在。此时,θas
|90-arctank|,
进而得到光斑的方位角
Figure BDA0001829084450000152
(6-2)故障光斑定位:计算故障光斑GPS信息依赖于二维码锚点GPS信息以及光斑方位角及距离信息las,已知地球赤道半径RC和极半径Rj,将锚点经纬角度[La0,Lo0]转换为弧度[RLa0,RLo0],并利用三角函数计算故障光斑在经度和纬度上的数值[Las,Los],即:
Figure BDA0001829084450000154
Figure BDA0001829084450000155
进一步的结合公式[4-7],故障光斑纬度Las和经度Los可表示为:
Figure BDA0001829084450000156
Figure BDA0001829084450000157
(6-3)多帧分析减少误差:无人机采集的光伏板视频数据中,同一个故障光斑将出现在相邻的多帧图像中,通过对同一个故障光斑进行多帧分析,计算多帧内故障光斑的经纬度并取均值作为故障光斑纬度和经度数值。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种光伏板故障光斑检测识别方法,其特征在于,包括:
预处理步骤:获取第一光伏板图像数据,对第一光伏板图像数据进行预处理,得到第二光伏板图像数据,所述第二光伏板图像数据的图片数据以帧为单位,所述第一光伏板图像数据是利用无人机/系统数据交互接口从无人机数据存储云平台获取无人机采集的光伏板云图数据,然后对光伏板视频图像数据预处理;
锚点定位步骤:识别第二光伏板图像数据的二维码锚点,解析二维码锚点,得到锚点位置信息、锚点方位角度信息;
区域识别步骤:对第二光伏板图像数据进行形态学操作,提升光伏板区域的边界可区分性,剔除干扰区域,识别光伏板区域;
区域定位步骤:结合锚点位置信息、锚点方位角度信息,定位光伏板区域;
故障识别步骤:对光伏板区域进行高斯滤波,剔除干扰点,识别故障光斑;
故障定位步骤:计算光伏板区域边线分别与二维码锚点、光斑连线的夹角,结合锚点位置信息、锚点方位角度信,定位故障光斑。
2.根据权利要求1所述的光伏板故障光斑检测识别方法,其特征在于,所述锚点定位步骤包括:
灰度化步骤:令第二光伏板图像数据进行图像灰度化,得到第一图片,令第一图片通过sobel算子进行竖向边缘检测,得到边缘图像;
二值化步骤:令边缘图像进行二值化,得到第一二值图像,令第一二值图像进行形态学操作,得到图像轮廓;
解析步骤:基于图像轮廓,建立扫描器,配置扫描器参数,载入携带二维码锚点的灰度图像,逐行逐列扫描灰度图像,获得二维码格式信息并解码,提取出码字比特流,将码字比特流转化成编码数据,得到锚点位置信息、锚点方位角度信息。
3.根据权利要求1所述的光伏板故障光斑检测识别方法,其特征在于,所述区域识别步骤包括:
卷积步骤:令第二光伏板图像数据进行图像灰度化,得到第二图片,令第二图片使用高斯滤波器与第二光伏板图像数据进行图像卷积,其中高斯滤波器采用的高斯卷积核H为
Figure FDA0002269836280000021
计算步骤:计算第二图片的边缘水平、垂直方向的一阶导数值,确定像素点的梯度G和方向θ,
Figure FDA0002269836280000023
其中Gx表示梯度G在水平方向的一阶导数值,Gy表示梯度G在垂直方向的一阶导数值;
剔除步骤:令第二图片的边缘进行二值化,得到第二二值图像,令第二二值图像进行腐蚀操作,得到第一腐蚀图像,令第一腐蚀图像进行膨胀操作,得到第一膨胀图像,将第一腐蚀图像与第一膨胀图像作差,得到差值图像,提取差值图像轮廓,利用RGB三色分量的判定规则剔除干扰区域,得到光伏板区域;
所述判定规则依据以下公式:
Δ=|Mplxr-Mplxg|+|Mplxr-Mplxb|+|Mplxg-Mplxb| (3)
其中,Mplxr,Mplxg,Mplxb分别表示RGB三色分量;Δ表示相似度因子;
若Δ小于第一设定值,则判定为光伏板区域;否则,则判定为干扰区域。
4.根据权利要求1所述的光伏板故障光斑检测识别方法,其特征在于,所述区域定位步骤包括:
锚点经纬度转换步骤:令锚点位置信息转换为弧度,得到光伏板区域在经度、维度方向上的分量,所述转换依照以下公式:
RLa0=(La0*π)/180 (4)
RLo0=(Lo0*π)/180 (5)
Ec=Rj+(Rc-Rj)*(90-La0)/90 (6)
Ed=Ec*cos(RLa0) (7)
其中,La0、Lo0分别表示锚点位置信息中的经纬角度;
RLa0、RLo0分别表示La0、Lo0对应的弧度;
lap表示光伏板区域与二维码锚点的距离;
Rc表示地球赤道半径;
Rj表示极半径;
Ec表示锚点在纬度方向上与地球球心的距离;
Ed表示锚点在经度方向上与地球球心的距离;
所述分量依照以下公式:
Figure FDA0002269836280000035
其中,Dx、Dy分别表示光伏板区域在经度、纬度方向上的分量;
Figure FDA0002269836280000036
表示光伏板长边线与正北方向的夹角;
区域经纬度确定步骤:根据光伏板区域在经度、维度方向上的分量计算光伏板区域的经度、维度,计算依据以下公式:
Figure FDA0002269836280000032
其中,Lap表示光伏板区域的纬度;
Lop表示光伏板区域的经度。
5.根据权利要求1所述的光伏板故障光斑检测识别方法,其特征在于,所述故障识别步骤包括:
高斯滤波步骤:将光伏板区域采用集合{P=P1,P2,...Pk}表示,其中k为光伏板区域数目,Pi代表第i块光伏板区域,0<i<k+1,对Pi进行二维高斯滤波,得到滤波图像,所述二维高斯滤波G采用以下公式:
其中,x,y为光伏板区域的局部区域中一个像素的坐标位置;
δ为高斯函数标准差;
区域轮廓识别步骤:对滤波图像进行腐蚀操作,得到第二腐蚀图像,令第二腐蚀图像进行膨胀操作,得到第二膨胀图像,提取光伏板轮廓,利用RGB三色分量,判定得到故障光斑区域;
所述判定依据以下公式:
Δ=|Mplxr-Mplxg|+|Mplxr-Mplxb|+|Mplxg-Mplxb| (13)
其中,Δ表示相似度因子;Mplxr、Mplxg、Mplxb分别表示RGB三色分量;
若Δ小于第二设定值,则判定为故障光斑区域;否则,则判定为干扰区域。
6.根据权利要求1所述的光伏板故障光斑检测识别方法,其特征在于,所述故障定位步骤包括:
角度计算步骤:建立笛卡尔坐标系,所述笛卡尔坐标系的X轴、Y轴分别取光伏板区域的下边线、左边线,获取二维码锚点、故障光斑的笛卡尔坐标,分别记为A0(x1,y1)、S0(x2,y2),取光伏板边线上的第一点、第二点,分别记为P1(x3,y3)、P2(x4,y4):
kas=(y1-y2)/(x1-x2) (15)
kpp=(y3-y4)/(x3-x4) (16)
Figure FDA0002269836280000041
其中,kas表示二维码锚点与故障光斑的光斑直线A0S0的斜率;
kpp表示第一点与第二点的光伏板直线P1P2的斜率;
θas表示光斑直线A0S0与光伏板直线P1P2的夹角;
当光斑直线A0S0与光伏板直线P1P2都垂直于X轴时,θas=0;
当光斑直线A0S0、光伏板直线P1P2都不垂直于X轴时,
θas=arctan|(kas-kpp)/(1+kaskpp)| (18);
当光斑直线A0S0、光伏板直线P1P2两者中仅一者垂直于X轴时,
Figure FDA0002269836280000042
计算故障光斑的方位角
Figure FDA0002269836280000043
Figure FDA0002269836280000044
其中,Ang0表示从二维码解析得到的光伏板方位角信息;
k表示斜率;
Figure FDA0002269836280000045
表示若存在kas或kpp则将值赋予k,其中表示存在,||表示或;
故障经纬度确定步骤:计算故障光斑经纬度,依据以下公式:
Figure FDA0002269836280000047
Figure FDA0002269836280000048
Figure FDA0002269836280000049
Figure FDA00022698362800000410
其中,D′x表示故障光斑的X轴位置信息;
D′y表示故障光斑的Y轴位置信息;
las表示距离信息;
Las表示故障光斑的经度;
Los表示故障光斑的维度;
Ec表示锚点在纬度方向上与地球球心的距离;
Ed表示锚点在经度方向上与地球球心的距离;
RLa0、RLo0分别表示锚点经纬角度[La0,Lo0]转换后的弧度;
减少误差步骤:令一个故障光斑进行多帧计算,得到多个故障光斑经纬度,对多个故障光斑经纬度取均值,作为故障光斑的经纬度数值。
7.根据权利要求1所述的光伏板故障光斑检测识别方法,其特征在于,所述预处理是利用解码工具对第一光伏板图像数据进行解码。
8.一种光伏板故障光斑检测识别系统,其特征在于,包括:
预处理模块:获取第一光伏板图像数据,对第一光伏板图像数据进行预处理,得到第二光伏板图像数据,所述第二光伏板图像数据的图片数据以帧为单位;
锚点定位模块:识别第二光伏板图像数据的二维码锚点,解析二维码锚点,得到锚点位置信息、锚点方位角度信息;
区域识别模块:对第二光伏板图像数据进行形态学操作,提升光伏板区域的边界可区分性,剔除干扰区域,识别光伏板区域;
区域定位模块:结合锚点位置信息、锚点方位角度信息,定位光伏板区域;
故障识别模块:对光伏板区域进行高斯滤波,剔除干扰点,识别故障光斑;
故障定位模块:计算光伏板区域边线分别与二维码锚点、光斑连线的夹角,结合锚点位置信息、锚点方位角度信,定位故障光斑。
CN201811197191.XA 2018-10-15 2018-10-15 光伏板故障光斑检测识别方法和系统 Active CN109525194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811197191.XA CN109525194B (zh) 2018-10-15 2018-10-15 光伏板故障光斑检测识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811197191.XA CN109525194B (zh) 2018-10-15 2018-10-15 光伏板故障光斑检测识别方法和系统

Publications (2)

Publication Number Publication Date
CN109525194A CN109525194A (zh) 2019-03-26
CN109525194B true CN109525194B (zh) 2020-01-07

Family

ID=65772115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811197191.XA Active CN109525194B (zh) 2018-10-15 2018-10-15 光伏板故障光斑检测识别方法和系统

Country Status (1)

Country Link
CN (1) CN109525194B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961674B (zh) * 2019-05-09 2021-01-12 江苏优埃唯智能科技有限公司 模拟无人机光伏板热斑检测教学装置和教学方法
CN110487802A (zh) * 2019-08-15 2019-11-22 苏州热工研究院有限公司 现场检测光伏组件缺陷的识别装置
CN111047275A (zh) * 2019-11-12 2020-04-21 江西省公路路政管理总队赣州高速公路路政管理支队 一种关于高速路政路产路权档案在地图标识的方法及系统
CN111242889A (zh) * 2019-12-03 2020-06-05 国家电投集团曲阳新能源发电有限公司 一种光伏组件的热斑识别方法和装置
CN111565024A (zh) * 2020-06-03 2020-08-21 华北电力大学 一种太阳能电池板故障检测与运行效率预测装置和方法
CN112102316B (zh) * 2020-11-05 2021-02-23 常州微亿智造科技有限公司 产品缺陷位置分布获取方法和装置
CN113470014B (zh) * 2021-08-31 2021-12-07 江苏裕荣光电科技有限公司 一种基于人工智能的太阳能电池板的故障检测方法
CN115082504B (zh) * 2022-08-23 2022-11-11 菏泽学院 一种太阳能光伏板光斑识别方法
CN116109555B (zh) * 2022-11-16 2023-09-29 南京博视医疗科技有限公司 一种波前光斑点阵优化方法及装置
TWI813515B (zh) * 2022-12-08 2023-08-21 財團法人工業技術研究院 偵測太陽能電池中的熱斑區域的方法
CN117853986B (zh) * 2024-03-06 2024-05-28 西安众望能源科技有限公司 一种基于油井设备的视频监控系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608662B (zh) * 2015-12-31 2018-10-23 哈尔滨工程大学 基于fpga的动态目标识别系统及其识别方法
CN107609451A (zh) * 2017-09-14 2018-01-19 斯坦德机器人(深圳)有限公司 一种基于二维码的高精度视觉定位方法及系统
CN107742286B (zh) * 2017-09-28 2021-01-29 河北工业大学 一种多晶硅太阳能电池片el测试裂纹缺陷检测方法
CN108550135B (zh) * 2018-03-07 2021-07-30 天津工业大学 一种基于x光图像的钢丝绳芯输送带接头伸长自动检测方法

Also Published As

Publication number Publication date
CN109525194A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN109525194B (zh) 光伏板故障光斑检测识别方法和系统
CN108416320B (zh) 巡检设备、巡检设备的控制方法及控制装置
CN109752392B (zh) 一种pcb板缺陷类型检测系统和方法
CN102636490A (zh) 基于机器视觉的轴承防尘盖表面缺陷检测方法
CN102737236A (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
CN108198417B (zh) 一种基于无人机的道路巡检系统
CN113538503B (zh) 一种基于红外图像的太阳能板缺陷检测方法
CN111169468A (zh) 一种自动泊车的系统及方法
CN111985466A (zh) 一种集装箱危险品标志识别方法
CN112164048B (zh) 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置
CN109785294A (zh) 一种pcb板缺陷位置检测系统和方法
CN111126381A (zh) 一种基于r-dfpn算法的绝缘子倾斜定位与识别方法
CN112598066A (zh) 一种基于机器视觉的轻量化道路路面检测方法及系统
CN115830359A (zh) 复杂场景下基于目标检测和模板匹配的工件识别计数方法
Mantel et al. Method for estimation and correction of perspective distortion of electroluminescence images of photovoltaic panels
CN115752969A (zh) 一种铝箔封口密封性检测方法及系统和设备
CN113705564B (zh) 一种指针式仪表识别读数方法
CN107767366B (zh) 一种输电线路拟合方法及装置
Zhang et al. Recognition of pavement surface crack
CN115857040A (zh) 一种机车车顶异物动态视觉检测装置及方法
Rezk et al. Autonomous PV Panel Inspection With Geotagging Capabilities Using Drone
CN113358659B (zh) 一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法
CN107153832B (zh) 一种高铁接触网等电位线松脱检测方法及系统
CN115205827A (zh) 一种道路检测用图像识别方法、装置、电子设备及介质
You et al. A mechanical part sorting system based on computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant