CN116773598A - 无人机自动巡检与定位光伏板缺陷的数字化方法 - Google Patents
无人机自动巡检与定位光伏板缺陷的数字化方法 Download PDFInfo
- Publication number
- CN116773598A CN116773598A CN202310580738.9A CN202310580738A CN116773598A CN 116773598 A CN116773598 A CN 116773598A CN 202310580738 A CN202310580738 A CN 202310580738A CN 116773598 A CN116773598 A CN 116773598A
- Authority
- CN
- China
- Prior art keywords
- photovoltaic
- photovoltaic panel
- area
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000007689 inspection Methods 0.000 claims abstract description 120
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000003709 image segmentation Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供一种无人机自动巡检与定位光伏板缺陷的数字化方法。该方法包括:在预设的光伏数字地图上,确定无人机巡检的拍摄点和拍摄点所在拍摄区域内的每一光伏板的地理位置索引;根据拍摄点,获取无人机巡检红外图像;根据目标缺陷检测算法和红外相对温差法对无人机巡检红外图像进行处理,确定拍摄点对应的拍摄区域内的光伏区域状态和红外热缺陷类型;将无人机巡检红外图像进行图像分割处理,确定每一光伏板的图像像素坐标到地理位置经纬度坐标的映射;将每一光伏板的地理位置经纬度坐标映射到预设的光伏数字地图,实现将每一光伏板的运行状态标注在光伏数字地图上。通过上述技术方案,实现对光伏电站实现数字化管理,精确定位具有缺陷的光伏板。
Description
技术领域
本发明涉及无人机巡检光伏电站技术领域,具体地,涉及一种无人机自动巡检与定位光伏板缺陷的数字化方法。
背景技术
近年来,光伏新增装机数量不断增加,常见的光伏电站包括山地丘陵光伏电站、沙漠戈壁光伏电站、光互补、农光互补、水光互补光伏电站、分布式光伏电站、海上光伏等,对于光伏的日常维护,光伏检修人员难以到达,光伏电站维护效率低,成本高。
随着无人机技术的成熟,光伏巡检不再受限于人工操作,但实际上,没有规范化的巡检光伏电站方案,环境中的树木以及光伏电站上方穿越的高压输电线路会对无人机的飞行造成影响,并且无人机巡检光伏面积有限,影响巡检效率,随着光伏使用年限的增加,对于光伏板的缺陷状态诊断与管理具有越来越迫切的需求。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种无人机自动巡检与定位光伏板缺陷的数字化方法。
根据本发明的一个方面,提供一种无人机自动巡检与定位光伏板缺陷的数字化方法
可选地,在预设的光伏数字地图上,根据预设的无人机巡检高度,确定无人机巡检的拍摄点和所述拍摄点所在的拍摄区域内的每一光伏板的地理位置索引;
根据所述无人机巡检的拍摄点,获取无人机巡检红外图像;
根据目标缺陷检测算法和红外相对温差法对所述无人机巡检红外图像进行处理,确定所述拍摄点对应的拍摄区域内的光伏区域状态和红外热缺陷类型;
将所述无人机巡检红外图像进行图像分割处理,确定每一光伏板的图像像素坐标到地理位置经纬度坐标的映射;
将所述每一光伏板的地理位置经纬度坐标映射到所述预设的光伏数字地图,对具有红外热缺陷的光伏板进行定位,确定每一光伏板的运行状态,进而实现将所述每一光伏板的运行状态标注在所述光伏数字地图上,对所述每一光伏板进行数字化管理。
可选地,所述在预设的光伏数字地图上,根据预设的无人机巡检高度,确定无人机巡检的拍摄点和所述拍摄点所在的拍摄区域内的每一光伏板的地理位置索引,包括:
通过无人机连续拍摄目标光伏区域的图像,确定所述目标光伏区域的正射影像图,并采用地图制作工具,根据所述正射影像图制作所述目标光伏区域的光伏数字地图,对所述光伏数字地图中的每一光伏板建立地理位置索引;
根据所述预设的无人机巡检高度,确定所述无人机在正投影下的拍摄区域;
根据所述光伏板的长度、宽度和倾斜角度,确定所述无人机巡检时拍摄点与拍摄区域内的拍摄点与拍摄点之间的行间隔和列间隔;
根据所述行间隔和所述列间隔遍历所述光伏数字地图,确定所述无人机巡检的所有拍摄点经纬度坐标;
根据所述无人机巡检的所有拍摄点和所述光伏数字地图,确定所述拍摄点所在的拍摄区域内的每一光伏板对应的地理位置索引。
可选地,所述根据所述预设的无人机巡检高度,确定无人机在正投影下的拍摄区域,包括:
其中,F表示相机的焦距,xc表示相机感应面像元的长度,yc表示相机感应面像元的宽度,H表示所述预设的无人机巡检高度,shotwidth表示所述拍摄区域的长度,shotheight表示所述拍摄区域的宽度。
可选地,所述根据所述光伏板的长度、宽度和倾斜角度,确定所述无人机巡检时拍摄点与拍摄区域内的拍摄点与拍摄点之间的行间隔和列间隔,包括:
projheight=pvheight×cosθ
interheight=interesting(2projheight+hallway)
其中,pvheight表示所述光伏板的长度,pvwidth表示所述光伏板的宽度,θ表示所述光伏板安装的倾斜角度,projheight表示所述光伏板的倾斜投影长度,hallway表示所述光伏板阵列中行与行之间的通道间距,interheight表示所述光伏板的倾斜投影长度与通道间距形成重复的行间距,laprate表示拍摄所述目标光伏区域的重叠率,intervalrow表示所述无人机巡检拍摄所述目标光伏区域的行间隔;intervalcol表示所述无人机巡检拍摄所述目标光伏区域的列间隔。
可选地,所述根据目标缺陷检测算法和红外相对温差法对所述无人机巡检红外图像进行处理,确定所述拍摄点对应的拍摄区域内的光伏区域状态和红外热缺陷类型,包括:
获取多种高度的无人机巡检训练图像,根据所述红外热缺陷的类型建立标签,对所述目标缺陷检测算法进行模型训练,确定红外光伏缺陷预测模型,所述红外热缺陷的类型包括块状热斑、线状热斑、短路;
将所述无人机巡检红外图像输入所述红外光伏缺陷预测模型中,确定预测光伏缺陷区域和所述预测光伏缺陷区域对应的红外热缺陷类型;
根据所述红外相对温差法检测所述预测光伏缺陷区域,确定所述预测光伏缺陷区域的状态,所述预测光伏缺陷区域的状态包括光伏缺陷状态、光伏预警状态、光伏正常状态。
可选地,所述根据所述红外相对温差法检测所述预测光伏缺陷区域,确定所述预测光伏缺陷区域的状,包括:
根据大律法OTSU将所述预测光伏缺陷区域进行划分处理,确定二值化温度区域的内区域和二值化温度区域的外区域;
获取所述二值化温度区域的内区域的最高红外温度、所述二值化温度区域的内区域的平均红外温度、所述二值化温度区域的外区域的平均红外温度;
若所述二值化温度区域的内区域的最高红外温度大于第一预设温度时,确定所述预测光伏缺陷区域的状态为光伏缺陷状态;
若所述温度差大于第三预设温度且小于第二预设温度时,确定所述预测光伏缺陷区域的状态为光伏预警状态;
若所述温度差小于第三预设温度时,确定所述预测光伏缺陷区域的状态为光伏正常状态。
可选地,所述光伏板的图像像素坐标包括光伏板的图像中心点坐标和光伏板的图像位置经纬度坐标;
所述将所述无人机巡检红外图像进行图像分割处理,确定每一光伏板的图像像素坐标到地理位置经纬度坐标的映射,包括:
将所述无人机巡检红外图像进行图像分割处理,确定每一光伏板所在的区域,提取所述每一光伏板所在的区域的轮廓,根据所述每一光伏板所在的区域的轮廓,确定所述每一光伏板的图像中心点坐标;
根据所述每一光伏板的图像中心点坐标和所述无人机巡检红外图像上携带的每一光伏板的图像位置经纬度坐标,确定所述每一光伏板的地理位置经纬度坐标。
可选地,所述根据所述每一光伏板的图像中心点坐标和所述无人机巡检红外图像上携带的每一光伏板的图像位置经纬度坐标,确定所述每一光伏板的地理位置经纬度坐标,包括:
Latconvert=0.000008×xc/imagewidth×H/F
Lonconvert=0.000009×yc/imageheight×H/F
其中,imagewidth表示无人机巡检红外图像的像素宽度,imageheight表示无人机巡检红外图像的像素高度,Latconvert表示地理位置经纬度坐标的经度系数,Lonconvert表示地理位置经纬度坐标的纬度系数,ImageLatitude表示光伏板的图像位置经纬度坐标的经度,ImageLongitude表示光伏板的图像位置经纬度坐标的纬度,xcenter表示所述光伏板的外接矩形的中心点的横坐标,ycenter表示所述光伏板的外接矩形的中心点的纵坐标,panelLatitude表示光伏板的地理位置经纬度坐标的经度值,panelLongitude表示光伏板的地理位置经纬度坐标的纬度值。
可选地,所述确定每一光伏板的运行状态,包括:
若所述拍摄点对应的拍摄区域内的光伏区域与经过所述图像分割处理后的无人机巡检红外图像中的每一光伏板的重叠面积大于预设面积,所述重叠面积的光伏区域状态表示重叠面积内的光伏板的状态,所述重叠面积的红外热缺陷类型表示重叠面积内的光伏板的红外热缺陷类型。
可选地,所述将所述每一光伏板的地理位置经纬度坐标映射到所述预设的光伏数字地图,同时实现对具有红外热缺陷的光伏板进行定位,确定每一光伏板的运行状态,进而实现将所述每一光伏板的运行状态标注在所述光伏数字地图上,对所述每一光伏板进行数字化管理,包括:
遍历所述无人机巡检红外图像,根据所述无人机巡检红外图像中分割出每一光伏板的空间经纬度信息和所述光伏数字地图上的每一光伏板的图像中心点的经纬度坐标,搜索最小距离;
若所述距离小于或等于预设距离,将所述无人机巡检红外图像与所述光伏数字地图对应的光伏板的所述地理位置经纬度坐标映射到所述预设的光伏数字地图上,将所述每一光伏板的运行状态标注在所述光伏数字地图上,进行所述数字化管理。
与现有技术相比,本发明实施例具有如下至少一种有益效果:
通过上述技术方案,可以有效控制无人机飞行高度,自动生成无人机自主巡检轨迹;将基于深度学习的目标缺陷检测算法与红外相对温差法可靠检测光伏板红外热缺陷,自动实现对无人机巡检红外图像的分割,确定出每一光伏板图像像素坐标到地理位置经纬度坐标的映射,进一步实现将无人机巡检红外图像上每一光伏板的地理位置经纬度坐标映射到数字光伏地图上,进而实现对具有红外热缺陷的光伏板的精确定位,并将诊断的每块光伏板运行状态标注在光伏数字地图上,实现对光伏电站的数字化管理。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是根据一示例性实施例示出的一种无人机自动巡检与定位光伏板缺陷的数字化方法的流程图。
图2是根据一示例性实施例示出的一种确定无人机巡检的拍摄点和拍摄点所在的拍摄区域内的每一光伏板的地理位置索引的方法的流程图。
图3是根据一示例性实施例示出的一种确定拍摄点对应的拍摄区域内的光伏区域状态和红外热缺陷类型的方法的流程图。
图4是根据一示例性实施例示出的一种确定所述预测光伏缺陷区域的状态的方法的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
在本公开中,采用大疆御2(DJI Mavic2)企业版无人机,红外相机镜头焦距约:F=9mm,等效焦距:约38mm,图片尺寸:640×512,相机感应面尺寸xc,yc为:7.68mm×6.144mm。在浙江的水上光伏电站实施本公开的方法。
本公开采用python软件来实现验证,采用python sqlmodel数据库管理工具。依据光伏电站建设规则:光伏板朝向太阳升起的正东方,南北方向一行光伏板连接在一起,两行光伏板组成一排,排与排之间有通道间隔。
图1是根据一示例性实施例示出的一种无人机自动巡检与定位光伏板缺陷的数字化方法的流程图。
如图1所示,一种无人机自动巡检与定位光伏板缺陷的数字化方法,包括S11至S15:
S11,在预设的光伏数字地图上,根据预设的无人机巡检高度,确定无人机巡检的拍摄点和拍摄点所在的拍摄区域内的每一光伏板的地理位置索引;
S12,根据无人机巡检的拍摄点,获取无人机巡检红外图像;
S13,根据目标缺陷检测算法和红外相对温差法对无人机巡检红外图像进行处理,确定拍摄点对应的拍摄区域内的光伏区域状态和红外热缺陷类型;
S14,将无人机巡检红外图像进行图像分割处理,确定每一光伏板的图像像素坐标到地理位置经纬度坐标的映射;
S15,将每一光伏板的地理位置经纬度坐标映射到预设的光伏数字地图,对具有红外热缺陷的光伏板进行定位,确定每一光伏板的运行状态,进而实现将每一光伏板的运行状态标注在光伏数字地图上,对每一光伏板进行数字化管理。
通过上述技术方案,可以有效控制无人机飞行高度,自动生成无人机自主巡检轨迹;基于深度学习的目标缺陷检测算法与红外相对温差法可靠检测光伏板红外热缺陷,自动实现对无人机巡检红外图像的分割,确定出每一光伏板图像像素坐标到地理位置经纬度坐标的映射,进一步实现将无人机巡检红外图像上每一光伏板的地理位置经纬度坐标映射到数字光伏地图上,进而实现对具有红外热缺陷的光伏板的精确定位,并将每一光伏板运行状态标注在光伏数字地图上,实现对光伏电站的数字化管理。
S11,在预设的光伏数字地图上,根据预设的无人机巡检高度,确定无人机巡检的拍摄点和拍摄点所在的拍摄区域内的每一光伏板的地理位置索引。
图2是根据一示例性实施例示出的一种确定无人机巡检的拍摄点和拍摄点所在的拍摄区域内的每一光伏板的地理位置索引的方法的流程图。
在一些可能的实施例中,如图2所示,S11包括S21至S25。
S21,通过无人机连续拍摄目标光伏区域的图像,确定所述目标光伏区域的正射影像图,并采用地图制作工具,根据正射影像图制作所述目标光伏区域的光伏数字地图,对所述光伏数字地图中的每一光伏板建立地理位置索引。
预设的光伏数字地图可以在多次巡检中使用,对光伏数字地图上的每一光伏板建立唯一的ID索引,作为每一光伏板的地理位置索引。
采用无人机对光伏区域进行建模,在大疆无人机上使用DJI Pilot建模软件,确定光伏数字地图,采用如下方式:
确定要建模的光伏区域,生成测绘区域。
获取建模图像:
在平地光伏电站中,进行无人机2D建模,通过拍摄光伏区域的连续图像,将连续图像拼接后,获得正射影像图。
在山地光伏或分布式光伏电站中,进行无人机3D建模,通过控制无人机调整摄像头角度,在同一条航线上进行重复的飞行拍摄,确定倾斜摄影数据,其中,倾斜摄影可以保留被测物体的深度信息,在建模后可以进行模型高度的测量。
生成光伏全景图:
通过大疆的制图软件或者开源的Pix4Dmapper,根据获取到的建模图像,生成光伏区域的全景图。
作为一种示例,在无人机2D建模中,通过连续拍摄光伏区域的图像,并将连续拍摄的光伏区域的图像进行拼接,获取正射影像图,再采用QGIS制图软件,将正射影像图制作为光伏数字地图。
其中,可以在QGIS软件中采用画线工具,以一块光伏板为单元,精度为一厘米,生成光伏数字地图。
通过QGIS软件建立光伏数字地图的矢量文件SHP,其中,一个Shapefile文件包括:主文件,主文件用于存储地理要素的几何图形;索引文件,即空间数据索引文件,索引文件用于存储地理数据的几何特征的索引;DBASE文件,DBASE文件为存储属性数据的文件,用于存储地理数据的属性信息,也可以称为表文件或者dbf文件;空间投影文件,空间投影文件用于存储空间参考,即投影方式文件;地理数据索引文件,用于存储地物特征的索引。
其中,空间投影文件和地理数据索引文件在进行主题间空间关系查询、主题的空间联接和对shape字段进行索引时存在。
将光伏数字地图中的每一光伏板的ID索引、光伏板的行编号、光伏板的列编号以及每一光伏板的左顶点坐标、右顶点坐标、上顶点坐标、下顶点坐标、中心点坐标的信息存储在数据库内,命名为PVSdatabase。
其中,PVSdatabase文件的结构信息为:
id:光伏板的地理位置索引;
row:光伏板行编号;
col:光伏板列编号;
left_lon:光伏板左顶点经度;
left_lat:光伏板左顶点纬度;
top_lon:光伏板上顶点经度;
top_lat:光伏板上顶点纬度;
right_lon:光伏板右顶点经度;
right_lat:光伏板右顶点纬度;
bottom_lon:光伏板下顶点经度;
bottom_lat:光伏板下顶点纬度;
center_lon:光伏板中心点经度;
center_lat:光伏板中心点纬度。
通过设置光伏数字地图,可以实现对无人机巡检红外图像中的光伏板与光伏数字地图的地理位置索引进行关联。
S22,根据预设的无人机巡检高度,确定无人机在正投影下的拍摄区域。
无人机在正投影下,为无人机的云台垂直朝下的情况,通过以下方式确定拍摄区域:
其中,F表示相机的焦距,xc表示相机感应面像元的长度,yc表示相机感应面像元的宽度,H表示预设的无人机巡检高度,shotwidth表示拍摄区域的长度,shotheight表示拍摄区域的宽度。
作为一示例,无人机巡检高度为30米,拍摄区域为25.6m×20.48m。作为另一示例,无人机巡检高度为15米,拍摄区域为12.8m×10.24m。
S23,根据光伏板的长度、宽度和倾斜角度,确定无人机巡检时拍摄点与拍摄区域内的拍摄点与拍摄点之间的行间隔和列间隔。
在一种可能的实施例中,通过以下方式确定巡检时拍摄点与拍摄点之间的行间隔和列间隔:
projheight=pvheight×cosθ
interheight=interesting(2projheight+hallway)
其中,pvheight表示光伏板的长度,pvwidth表示光伏板的宽度,θ表示光伏板安装的倾斜角度,projheight表示光伏板的倾斜投影长度,hallway表示光伏板阵列中行与行之间的通道间距,interheight表示光伏板的倾斜投影长度与通道间距形成重复的行间距,laprate表示拍摄目标光伏区域的重叠率,intervalrow表示拍摄点与拍摄点之间的行间隔;intervalcol表示拍摄点与拍摄点之间的列间隔。
S24,根据行间隔和列间隔遍历光伏数字地图,确定无人机巡检的所有拍摄点的经纬度坐标。
作为一示例,光伏板的长度为1.640m,光伏板的宽度为0.992m,光伏板安装的倾斜角度为30°,光伏板排列之间的通道间距为1.720m,光伏板的倾斜投影长度为1.42m。根据上述公式确定出拍摄点与拍摄点之间的行间隔和列间隔后,遍历PVSdatabase数据库,确定无人机巡检的光伏区域的光伏板的行数和光伏板的列数,其中,光伏板的行数为total_row_num,光伏板的列数为eachrow_colnum。
根据光伏数字地图,确定无人机巡检的拍摄点的行间隔和列间隔,从数据库PVSdatabase中提取每一光伏板的中心点坐标,其中拍摄点的经度为每行的第一个光伏板的中心点的经度取平均值,拍摄点的纬度为以最长的一行为标准,以最长的一行的光伏板的中心点的纬度取平均值,从而确定拍摄点。
作为另一示例,设定巡检的起始行数为rowstart,结束行数为rowend,则按照如下方式遍历生成巡检拍摄点。
第一步,根据拍摄点与拍摄点之间的行间隔、列间隔,确定每一拍摄点所在的光伏板的中心点坐标。
for row=rowstart,rowstart+intervalrow,…,rowend do
其中,row表示光伏板的行编号。
其中,拍摄光伏区域的行范围从row到row+intervalrow。
若row+intervalrow大于total_row_num,缩小拍摄区域为row到row+rowend。
确定在拍摄光伏区域的从row到row+intervalrow行范围内,搜索出最长列数maxcolnumrow。
第二步,将拍摄光伏区域的行范围从row到row+intervalrow行间隔循环,以最长列数maxcolnumrow进行列循环,进而确定在光伏数字地图中的拍摄点经纬度坐标。
for col=1,1+intervalcol,…,maxcolnumrow do
其中,col表示光伏板的列编号。
S25,根据无人机巡检的所有拍摄点和所述光伏数字地图,确定拍摄点所在的拍摄区域内的每一光伏板对应的地理位置索引。
接上述示例,第三步,将光伏数字地图中的光伏板的地理位置索引存储在拍摄点的字典中。
rowcount=0
for selectcol in range(col,col+intervalcol)
for selectrow in range(row,row+intervalrow)
if selectrow existing:
rowcount=rowcount+1
templong+=select_database(engine,selectrow,selectcol)[0]
templat+=select_database(engine,selectrow,selectcol)[1])
shooted_id.append([selectrow,selectcol])
将光伏板的地理位置索引存储在shooted_id列表中,确定拍摄点:
sh ootlong=templong/intervalcol
sh ootlat=templat/rowcount
最终,将所有确定的拍摄点链接生成KML(XML的标记语言)轨迹飞行文件,导入无人机中,即实现无人机巡检拍摄。
通过上述技术方案,通过设置无人机巡检高度确定无人机巡检拍摄点,生成飞行轨迹,可以实现多次巡检,确保无人机巡检红外图像的一致性,提高无人机巡检红外图像的图像质量。
S12,根据无人机巡检的拍摄点,获取无人机巡检红外图像。
接上述示例,控制无人机在预设高度的飞行拍摄轨迹上进行巡检,并在所确定的拍摄点拍摄无人机巡检红外图像。
S13,根据目标缺陷检测算法和红外相对温差法对无人机巡检红外图像进行处理,确定拍摄点对应的拍摄区域内的光伏区域状态和红外热缺陷类型。
其中,目标缺陷检测算法为YOLOX网络,YOLOX网络是一种无先验框的目标检测网络,其不受人员设置的先验知识影响,具有灵活的解空间,在目标尺度变化大的情况下,可以适应复杂的检测环境。目标YOLOX网络用于确定预测光伏缺陷区域以及检测光伏区域的红外热缺陷类型。
YOLOX网络为单阶段的检测网络,其集成了无锚检测器,还采用了SimOTA标签分配的训练策略。YOLOX网络包括:主干网络CSPDarkent、PANet网络、YOLOHead网络,其中,主干网络CSPDarkent用于特征提取,PANet网络用于特征整合,YOLOHead网络用于将特征信息转化成最终检测结果。
主干网络CSPDarkent中的Focus网络将输入图像的高宽信息拓展到通道维度中,以提高图像特征的提取效率;SPP网络通过对卷积后的信息进行不同大小的池化处理后进行堆叠操作,将不同感受域的信息进行融合。
PANet网络先对特征进行上采样,再对特征进行下采样,最后进行特征整合,以将不同层次的特征进行充分融合。
YOLOHead网络为检测抽头,其中包括分类器和回归器,以对整合的信息进行卷积计算,确定检测对象的类别和位置参数。
红外温差法用于确定预测光伏缺陷区域的状态。其中,红外温差法通过测量所确定的具有红外热缺陷的预测光伏缺陷区域的内部和外部的温度,根据内外温差确定通过目标YOLOX网络检测出的预测光伏缺陷区域的状态,预测光伏缺陷区域的状态包括光伏缺陷状态、光伏预警状态、光伏正常状态。
图3是根据一示例性实施例示出的一种确定拍摄点对应的拍摄区域内的光伏区域状态和红外热缺陷类型的方法的流程图。
如图3所示,S13包括S31至S33。
S31,获取多种高度的无人机巡检训练图像,根据红外热缺陷的类型建立标签,对目标缺陷检测算法进行模型训练,确定红外光伏缺陷预测模型。
其中,红外热缺陷的类型包括块状热斑、线状热斑、短路。将块状热斑、线状热斑以及短路热斑三种标签,标记在多种高度的无人机巡检训练图像中,并将带有标记的多种高度的无人机巡检训练图像对基于深度学习的YOLOX网络算法进行模型训练,使得确定的红外光伏缺陷预测模型可以识别块状热斑、线状热斑、短路热斑红外热缺陷。
作为一示例,收集525张多种高度的无人机巡检训练图像,其中包含912个热斑、50个旁路二极管短路故障目标,训练YOLOX网络。
S32,将无人机巡检红外图像输入红外光伏缺陷预测模型中,确定预测光伏缺陷区域和预测光伏缺陷区域对应的红外热缺陷类型。
其中,将红外光伏缺陷预测模型识别出来的具有红外缺陷的区域确定为预测光伏缺陷区域,预测光伏缺陷区域为可疑光伏缺陷区域。
S33,根据红外相对温差法检测预测光伏缺陷区域,确定预测光伏缺陷区域的状态。
其中,预测光伏缺陷区域的状态包括光伏缺陷状态、光伏预警状态、光伏正常状态。
通过上述技术方案,通过红外相对温差法进一步验证通过目标缺陷检测算法所确定的预测具有红外缺陷的光伏区域状态,确定光伏缺陷程度,防止误判。
图4是根据一示例性实施例示出的一种确定所述预测光伏缺陷区域的状态的方法的流程图。
在一种可能的实施例中,如图4所示,S33包括S41至S44。
S41,根据大律法OTSU将预测光伏缺陷区域进行划分处理,确定二值化温度区域的内区域和二值化温度区域的外区域。
获取预测光伏缺陷区域内的温度,并将预测光伏缺陷区域内的红外温度量化为整数,通过大律法OTSU确定的全局自适应阈值对预测光伏缺陷区域进行二值化温度区域划分处理,确定二值化温度区域的内区域和二值化温度区域的外区域。
S42,确定二值化温度区域的内区域的最高温度、二值化温度区域的内区域的平均温度、二值化温度区域的外区域的平均温度。
其中,二值化温度区域的内区域的最高温度可以用vagtemp表示,二值化温度区域的内区域的平均温度可以用intemp表示,二值化温度区域的外区域的平均温度可以用outtemp表示。
S43,若二值化温度区域的内区域的最高温度大于第一预设温度时,确定预测光伏缺陷区域的状态为光伏缺陷状态。
作为一示例,第一预设温度为40°,第二预设温度为20°,
即,当vagtemp≥40°,abs(intemp-outtemp)>20°,确定预测光伏缺陷区域的状态为光伏缺陷状态,即光伏缺陷区域。
S44,若温度差大于第三预设温度且小于第二预设温度时,确定预测光伏缺陷区域的状态为光伏预警状态。
接上述示例,第三预设温度为10°,
即,当10°<abs(intemp-outtemp)<20°,确定预测光伏缺陷区域的状态为光伏预警状态,即光伏预警区域。
S45,若温度差小于第三预设温度时,确定预测光伏缺陷区域的状态为光伏正常状态。
即,当abs(intemp-outtemp)<10°,确定预测光伏缺陷区域的状态为光伏正常状态,即光伏正常区域。
在另一种可能的实施例中,确定二值化温度区域的内区域的最高温度、二值化温度区域的内区域的中位数温度,二值化温度区域的外区域的中位数温度,根据二值化温度区域的内区域的最高温度、二值化温度区域的内区域的中位数温度与二值化温度区域的外区域的中位数温度的温度差,确定预测光伏缺陷区域的状态。
根据二值化温度区域的内区域的最高温度、二值化温度区域的内区域的中位数温度与二值化温度区域的外区域的中位数温度的温度差,确定预测光伏缺陷区域的状态的方法与上文中的,根据二值化温度区域的内区域的最高温度、二值化温度区域的内区域的平均温度与二值化温度区域的外区域的平均温度的温度差,确定预测光伏缺陷区域的状态的方法相同,此处不再赘述。
通过采集中位数温度,可以防止不规则热斑形状使得二值化温度区域的内区域的温度低的情况,还能解决热噪点导致的温度误判问题,提高内外温度差的准确性。
S14,将无人机巡检红外图像进行图像分割处理,确定每一光伏板的图像像素坐标到地理位置经纬度坐标的映射。
在一些可能的实施例中,将无人机巡检红外图像进行图像分割处理,确定每一光伏板所在的区域,提取每一光伏板所在的区域的轮廓,确定每一光伏板的外接矩形的中心点坐标,即每一光伏板的中心点坐标。
其中,将无人机巡检红外图像由红外图像转换为HSV颜色空间图像,再根据如下规则进行图像分割处理:
0≤H≤180,0≤S≤255,226≤V≤255
其中,H表示色调值,S表示饱和度值,V表示色明度值
将无人机巡检红外图像以一个光伏板为单位分割为多个光伏板区域,提取每一光伏板区域的轮廓,生成每一光伏板的外接矩形的中心点坐标,即每一光伏板的中心点坐标,记作(xcenter,ycenter)。
根据每一光伏板的中心点坐标和无人机巡检红外图像上携带的每一光伏板的图像位置经纬度坐标,确定每一光伏板的地理位置经纬度坐标。
Latconvert=0.000008×xc/imagewidth×H/F
Lonconvert=0.000009×yc/imageheight×H/F
其中,imagewidth表示无人机巡检红外图像的像素宽度,imageheight表示无人机巡检红外图像的像素高度,Latconvert表示地理位置经纬度坐标的经度系数,Lonconvert表示地理位置经纬度坐标的纬度系数,ImageLatitude表示光伏板的图像位置经纬度坐标的经度,ImageLongitude表示光伏板的图像位置经纬度坐标的纬度,xcenter表示所述光伏板中心点的横坐标,ycenter表示所述光伏板的中心点的纵坐标,panelLatitude表示光伏板地理位置经纬度坐标的经度,panelLongitude表示光伏板地理位置经纬度坐标的纬度。
将光伏板的图像像素坐标与光伏板的地理位置经纬度坐标一一对应。
S15,将每一光伏板的地理位置经纬度坐标映射到预设的光伏数字地图,对具有红外热缺陷的光伏板进行定位,确定每一光伏板的运行状态,进而实现将每一光伏板的运行状态标注在光伏数字地图上,对每一光伏板进行数字化管理。
在一种可能的实施例中,确定每一光伏板的运行状态,包括:
若拍摄点对应的拍摄区域内的光伏区域与经过图像分割处理后的无人机巡检红外图像中的每一光伏板的重叠面积大于预设面积,重叠面积的光伏区域状态表示重叠面积内的光伏板的状态,重叠面积的红外热缺陷类型表示重叠面积内的光伏板的红外热缺陷类型。在本公开中,预设面积可以为50%,
其中,当处于光伏缺陷状态的光伏区域与光伏板的重叠面积大于50%,则该光伏板的状态为光伏缺陷状态,该光伏板对应的光伏缺陷类型与重叠面积的光伏缺陷类型相同;处于光伏预警状态的光伏区域与光伏板重叠面积大于50%,则该光伏板的状态为光伏预警状态;处于正常光伏状态的光伏区域与光伏板的重叠面积大于50%,则该光伏板的状态为光伏正常状态。
在一种可能的实施例中,遍历无人机巡检红外图像,确定无人机巡检红外图像上每一光伏板的诊断与定位信息,其中,诊断与定位信息包括:光伏板的地理位置索引、光伏板图像的中心点坐标、光伏板的地理位置经纬度坐标、光伏板的红外热缺陷类型、光伏板的状态、光伏板的最高温度。
其中,光伏板的红外热缺陷类型包括:块状热斑、线状热斑、短路;光伏板的状态包括光伏缺陷状态、光伏预警状态、光伏正常状态。
在本公开中,将光伏板的诊断与定位信息存储在光伏板的位置信息数据库中,预先将光伏板的每一行的平均纬度存储在位置信息数据库,将经过图像分割处理后的光伏板的纬度与所述位置信息数据库中的光伏板的每一行的平均纬度进行匹配,确定该光伏板的行数,读取该光伏板所在行数的每一光伏板的经度,确定该光伏板的列数。将建立地理位置索引的光伏板信息(光伏板的平均温度、光伏板的状态、光伏板的红外热缺陷类型、光伏板的图像中心点坐标、光伏板的地理位置经纬度坐标)按照地理位置索引存储在数据库中。
通过上述技术方案,将无人机巡检红外图像的生成的针对每一光伏板的诊断与定位信息映射在光伏数字地图上,将光伏板的地理位置信息与光伏数字地图相关联,以通过光伏板的经度信息确定在光伏数字地图中的行数,通过光伏板纬度信息确定在光伏数字地图中的列数,以实现对检测出有红外热缺陷的光伏板的精确定位。
在一些可能的实施例中,遍历所述无人机巡检红外图像,根据无人机巡检红外图像中分割出每一光伏板的空间经纬度坐标和光伏数字地图上的每一光伏板的图像中心点的经纬度坐标,搜索最小距离。
其中,distance表示距离,光伏板的空间经纬度坐标为(panelLat,panelLon),光伏板的图像中心点的经纬度坐标为(mapLat,mapLon)。
若距离小于或等于预设距离,将无人机巡检红外图像与光伏数字地图对应的光伏板的地理位置经纬度坐标映射到预设的光伏数字地图上,将无人机巡检红外图像与光伏数字地图对应的光伏板的运行状态标注在光伏数字地图上,进行数字化管理。
其中,预设距离可以设置为1.5m,当距离小于或等于1.5m时,则将无人巡检红外图像中的光伏板匹配数字光伏地图中的光伏板,并将该光伏板的地理位置经纬度坐标和光伏板的运行状态标注在数字光伏地图上,实现对光伏板的数字化管理。
在一种可能的实施例中,将无人机巡检的诊断结果映射至光伏数字地图中,还可以与之前的巡检结果同时映射到数字光伏地图上,以形成光伏板的状态的变化趋势,便于工作人员的管理与分析。
在一些可能的实施例中,将生成的KML轨迹飞行文件下载至飞行手机端,确定飞行文件,控制无人机进行巡检,将诊断出具有红外热缺陷的光伏数字地图下载至手机端,点击具有红外热缺陷的光伏板,通过手机定位与光伏板定位之间的距离,以步行导航的方式,引领运维人员抵达故障组件的精确位置。
通过上述技术方案,可以实现对光伏电站进行数字化管理,定位具有红外热缺陷的光伏板,提高故障光伏板的定位精度。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下,可以任意组合使用。
Claims (10)
1.一种无人机自动巡检与定位光伏板缺陷的数字化方法,其特征在于,包括:
在预设的光伏数字地图上,根据预设的无人机巡检高度,确定无人机巡检的拍摄点和所述拍摄点所在的拍摄区域内的每一光伏板的地理位置索引;
根据所述无人机巡检的拍摄点,获取无人机巡检红外图像;
根据目标缺陷检测算法和红外相对温差法对所述无人机巡检红外图像进行处理,确定所述拍摄点对应的拍摄区域内的光伏区域状态和红外热缺陷类型;
将所述无人机巡检红外图像进行图像分割处理,确定每一光伏板的图像像素坐标到地理位置经纬度坐标的映射;
将所述每一光伏板的地理位置经纬度坐标映射到所述预设的光伏数字地图,对具有红外热缺陷的光伏板进行定位,确定每一光伏板的运行状态,进而实现将所述每一光伏板的运行状态标注在所述光伏数字地图上,对所述每一光伏板进行数字化管理。
2.根据权利要求1所述的方法,其特征在于,所述在预设的光伏数字地图上,根据预设的无人机巡检高度,确定无人机巡检的拍摄点和所述拍摄点所在的拍摄区域内的每一光伏板的地理位置索引,包括:
通过无人机连续拍摄目标光伏区域的图像,确定所述目标光伏区域的正射影像图,并采用地图制作工具,根据所述正射影像图制作所述目标光伏区域的光伏数字地图,对所述光伏数字地图中的每一光伏板建立地理位置索引;
根据所述预设的无人机巡检高度,确定所述无人机在正投影下的拍摄区域;
根据所述光伏板的长度、宽度和倾斜角度,确定所述无人机巡检时拍摄点与拍摄区域内的拍摄点与拍摄点之间的行间隔和列间隔;
根据所述行间隔和所述列间隔遍历所述光伏数字地图,确定所述无人机巡检的所有拍摄点经纬度坐标;
根据所述无人机巡检的所有拍摄点和所述光伏数字地图,确定所述拍摄点所在的拍摄区域内的每一光伏板对应的地理位置索引。
3.根据权利要求2所述的方法,其特征在于,所述根据所述预设的无人机巡检高度,确定所述无人机在正投影下的拍摄区域,包括:
其中,F表示相机的焦距,xc表示相机感应面像元的长度,yc表示相机感应面像元的宽度,H表示所述预设的无人机巡检高度,shotwidth表示所述拍摄区域的长度,shotheight表示所述拍摄区域的宽度。
4.根据权利要求2所述的方法,其特征在于,所述根据所述光伏板的长度、宽度和倾斜角度,确定所述无人机巡检时拍摄点与拍摄区域内的拍摄点与拍摄点之间的行间隔和列间隔,包括:
projheight=pvheight×cosθ
interheight=interesting(2projheight+hallway)
其中,pvheight表示所述光伏板的长度,pvwidth表示所述光伏板的宽度,θ表示所述光伏板安装的倾斜角度,projheight表示所述光伏板的倾斜投影长度,hallway表示所述光伏板阵列中行与行之间的通道间距,interheight表示所述光伏板的倾斜投影长度与通道间距形成重复的行间距,laprate表示拍摄所述目标光伏区域的重叠率,intervalrow表示所述拍摄点与拍摄点之间的行间隔;intervalcol表示所述拍摄点与拍摄点之间的列间隔。
5.根据权利要求1所述的方法,其特征在于,所述根据目标缺陷检测算法和红外相对温差法对所述无人机巡检红外图像进行处理,确定所述拍摄点对应的拍摄区域内的光伏区域状态和红外热缺陷类型,包括:
获取多种高度的无人机巡检训练图像,根据所述红外热缺陷的类型建立标签,对所述目标缺陷检测算法进行模型训练,确定红外光伏缺陷预测模型,所述红外热缺陷的类型包括块状热斑、线状热斑、短路;
将所述无人机巡检红外图像输入所述红外光伏缺陷预测模型中,确定预测光伏缺陷区域和所述预测光伏缺陷区域对应的红外热缺陷类型;
根据所述红外相对温差法检测所述预测光伏缺陷区域,确定所述预测光伏缺陷区域的状态,所述预测光伏缺陷区域的状态包括光伏缺陷状态、光伏预警状态、光伏正常状态。
6.根据权利要求5所述的方法,其特征在于,所述根据所述红外相对温差法检测所述预测光伏缺陷区域,确定所述预测光伏缺陷区域的状态,包括:
根据大律法OTSU将所述预测光伏缺陷区域进行划分处理,确定二值化温度区域的内区域和二值化温度区域的外区域;
确定所述二值化温度区域的内区域的最高温度、所述二值化温度区域的内区域的平均温度、所述二值化温度区域的外区域的平均温度;
若所述二值化温度区域的内区域的最高温度大于第一预设温度时,且所述温度差大于第二预设温度,确定所述预测光伏缺陷区域的状态为光伏缺陷状态;
若所述温度差大于第三预设温度且小于第二预设温度时,确定所述预测光伏缺陷区域的状态为光伏预警状态;
若所述温度差小于第三预设温度时,确定所述预测光伏缺陷区域的状态为光伏正常状态。
7.根据权利要求1所述的方法,其特征在于,所述光伏板的图像像素坐标包括光伏板的图像中心点坐标和光伏板的图像位置经纬度坐标;
所述将所述无人机巡检红外图像进行图像分割处理,确定每一光伏板的图像像素坐标到地理位置经纬度坐标的映射,包括:
将所述无人机巡检红外图像进行图像分割处理,确定每一光伏板所在的区域,提取所述每一光伏板所在的区域的轮廓,根据所述每一光伏板所在的区域的轮廓,确定所述每一光伏板的图像中心点坐标;
根据所述每一光伏板的图像中心点坐标和所述无人机巡检红外图像上携带的每一光伏板的图像位置经纬度坐标,确定所述每一光伏板的地理位置经纬度坐标。
8.根据权利要求7所述的方法,其特征在于,所述根据所述每一光伏板的图像中心点坐标和所述无人机巡检红外图像上携带的每一光伏板的图像位置经纬度坐标,确定所述每一光伏板的地理位置经纬度坐标,包括:
Latconvert=0.000008×xc/imagewidth×H/F
Lonconvert=0.000009×yc/imageheight×H/F
其中,imagewidth表示无人机巡检红外图像的像素宽度,imageheight表示无人机巡检红外图像的像素高度,Latconvert表示地理位置经纬度坐标的经度系数,Lonconvert表示地理位置经纬度坐标的纬度系数,ImageLatitude表示光伏板的图像位置经纬度坐标的经度,ImageLongitude表示光伏板的图像位置经纬度坐标的纬度,xcenter表示所述光伏板的中心点的横坐标,ycenter表示所述光伏板的中心点的纵坐标,panelLatitude表示光伏板的地理位置经纬度坐标的经度,panelLongitude表示光伏板的地理位置经纬度坐标的纬度。
9.根据权利要求1所述的方法,所述确定每一光伏板的运行状态,包括:
若所述拍摄点对应的拍摄区域内的光伏区域与经过所述图像分割处理后的无人机巡检红外图像中的每一光伏板的重叠面积大于预设面积,所述重叠面积的光伏区域状态表示重叠面积内的光伏板的状态,所述重叠面积的红外热缺陷类型表示重叠面积内的光伏板的红外热缺陷类型。
10.根据权利要求1所述的方法,其特征在于,所述将所述每一光伏板的地理位置经纬度坐标映射到所述预设的光伏数字地图,同时实现对具有红外热缺陷的光伏板进行定位,确定每一光伏板的运行状态,进而实现将所述每一光伏板的运行状态标注在所述光伏数字地图上,对所述每一光伏板进行数字化管理,包括:
遍历所述无人机巡检红外图像,根据所述无人机巡检红外图像中分割出每一光伏板的空间经纬度坐标和所述光伏数字地图上的每一光伏板的图像中心点的经纬度坐标,搜索最小距离;
若所述距离小于或等于预设距离,将所述无人机巡检红外图像与所述光伏数字地图对应的光伏板的所述地理位置经纬度坐标映射到所述预设的光伏数字地图上,将所述每一光伏板的运行状态标注在所述光伏数字地图上,进行所述数字化管理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310580738.9A CN116773598A (zh) | 2023-05-23 | 2023-05-23 | 无人机自动巡检与定位光伏板缺陷的数字化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310580738.9A CN116773598A (zh) | 2023-05-23 | 2023-05-23 | 无人机自动巡检与定位光伏板缺陷的数字化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116773598A true CN116773598A (zh) | 2023-09-19 |
Family
ID=87995454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310580738.9A Pending CN116773598A (zh) | 2023-05-23 | 2023-05-23 | 无人机自动巡检与定位光伏板缺陷的数字化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116773598A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117236936A (zh) * | 2023-11-11 | 2023-12-15 | 中节能(新泰)太阳能科技有限公司 | 一种基于无人机的光伏电站障碍定位方法 |
-
2023
- 2023-05-23 CN CN202310580738.9A patent/CN116773598A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117236936A (zh) * | 2023-11-11 | 2023-12-15 | 中节能(新泰)太阳能科技有限公司 | 一种基于无人机的光伏电站障碍定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112184711B (zh) | 一种光伏组件缺陷检测和定位方法及系统 | |
CN111259809A (zh) | 基于DANet的无人机海岸线漂浮垃圾巡检系统 | |
CN111931565A (zh) | 一种基于光伏电站uav的自主巡检与热斑识别方法及系统 | |
Merino et al. | Vision-based multi-UAV position estimation | |
US10930013B2 (en) | Method and system for calibrating imaging system | |
CN103377476A (zh) | 使用三维地理弧的多模型数据的图像配准 | |
CN108416263B (zh) | 一种适用于农情低空遥感监测的低成本的无人机高度测量方法 | |
CN111914767B (zh) | 一种基于多源遥感数据的散乱污企业检测方法及系统 | |
CN105938554B (zh) | 基于图像自动判读的尖轨伸缩位移监测方法及系统 | |
CN103186773B (zh) | 一种基于一维Hough变换和专家系统的早期苗田垄线识别算法 | |
CN108846333A (zh) | 标志牌地标数据集生成及车辆定位方法 | |
CN112150448B (zh) | 图像处理方法、装置及设备、存储介质 | |
CN116773598A (zh) | 无人机自动巡检与定位光伏板缺陷的数字化方法 | |
CN112906455A (zh) | 一种海岸带生态系统遥感识别方法 | |
CN110751077A (zh) | 一种基于部件匹配与距离约束的光学遥感图片船舶检测方法 | |
CN112541403B (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
CN118277612B (zh) | 一种三维gis视频融合方法 | |
CN117215316B (zh) | 基于协同控制与深度学习的驾驶环境感知的方法和系统 | |
CN117671529A (zh) | 一种基于无人机扫描测量的农田水位观测装置及观测方法 | |
CN112950543A (zh) | 一种桥梁养护方法、系统、存储介质及智能终端 | |
CN111950524A (zh) | 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 | |
CN111598956A (zh) | 标定方法、装置和系统 | |
CN116594419A (zh) | 巡检航线规划方法、装置、电子设备及存储介质 | |
CN111723643A (zh) | 一种基于固定区域周期性图像采集的目标检测方法 | |
CN116309838A (zh) | 点云地图定位能力评估系统、方法、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |