CN113807364A - 一种基于三光融合成像的电力设备缺陷检测方法及系统 - Google Patents
一种基于三光融合成像的电力设备缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN113807364A CN113807364A CN202111058818.5A CN202111058818A CN113807364A CN 113807364 A CN113807364 A CN 113807364A CN 202111058818 A CN202111058818 A CN 202111058818A CN 113807364 A CN113807364 A CN 113807364A
- Authority
- CN
- China
- Prior art keywords
- image data
- power equipment
- characteristic
- determining
- pixel points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 81
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 238000003384 imaging method Methods 0.000 title claims abstract description 47
- 230000004927 fusion Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000003068 static effect Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 37
- 230000005484 gravity Effects 0.000 claims description 36
- 230000009466 transformation Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 19
- 230000015654 memory Effects 0.000 description 15
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000005299 abrasion Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及设备缺陷检测技术领域，具体公开了一种基于三光融合成像的电力设备缺陷检测方法及系统，所述系统具体包括：采集模块、校准模块、状态确定模块、参数获取模块和处理执行模块，所述采集模块用于获取采集三路波段图像数据，并获取观测目标的距离；所述三路波段包括可见光、红外光与紫外光；所述处理执行模块根据静止参数和动态参数确定各类电力设备的缺陷类型。本发明通过采集三路波段图像数据获取电力设备的静态和动态参数，然后根据所述静态和动态参数进行缺陷类型的检测，本发明无须过多操作人员，在可见光外增设红外光与紫外光，检测能力强的同时，极大的降低了人力成本。
Description
技术领域
本发明涉及设备缺陷检测技术领域，具体是一种基于三光融合成像的电力设备缺陷检测方法及系统。
背景技术
电力设备缺陷状态检测维护是电力设备管理的一个重要组成部分，电力设备存在缺陷的多少，直接反映出电力设备健康程度和检修质量。如何有效地控制电力设备缺陷的发生，最大限度地减少同类缺陷的发生或者及时消除缺陷，从根本上提高电力设备的运行维护水平，为变电站安全运行服务，成为当前变电站安全稳定运行的重大任务之一。
在变电站中，电力设备的数量极多，传统的检测方法是以人工为主的检测方法，这种方式一是人力成本很高，二是检测不到一些隐藏的缺陷，此外，也无法对电力设备进行实时检测。
发明内容
本发明的目的在于提供一种基于三光融合成像的电力设备缺陷检测方法及系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于三光融合成像的电力设备缺陷检测方法，所述方法具体包括：
采集三路波段图像数据，并获取观测目标的距离；
对所述三路波段图像数据进行场景配准，根据所述距离对所述三路波段图像数据进行几何畸变校正处理，得到场景相同的三路波段图像数据；
基于像素点融合所述场景相同的三路波段图像数据，并根据融合后的三路波段图像数据中的可见光图像数据确定电力设备工作状态；
当所述电力设备为停止状态时，根据所述融合后的三路波段图像数据获取其静止参数，当所述电力设备为运行状态时，根据所述融合后的三路波段图像数据获取其动态参数；
根据静止参数和动态参数确定各类电力设备的缺陷类型；
其中，所述三路波段包括可见光、红外光与紫外光。
作为本发明技术方案进一步的限定：所述对所述三路波段图像数据进行场景配准，根据所述距离对所述三路波段图像数据进行几何畸变校正处理，得到场景相同的三路波段图像数据的步骤具体包括：
读取三路波段图像数据，并对所述三路波段图像数据进行特征提取，得到特征点；
对所述特征点进行相似性度量，确定相互匹配的特征点对；
根据所述匹配的特征点对，得到图像空间坐标变换参数；
基于所述坐标变换参数对所述三路波段图像数据进行图像配准。
作为本发明技术方案进一步的限定：所述对所述三路波段图像数据进行特征提取，得到特征点的步骤具体包括：
依次对所述图像数据进行轮廓识别，得到特征轮廓；
根据所述特征轮廓获取特征区域，确定所述特征区域的重心，标记与所述重心距离最近的像素点；
获取特征轮廓边界点的轮廓曲率，当所述轮廓曲率大于预设的曲率阈值时，标记像素点；
读取标记的像素点，得到特征点。
作为本发明技术方案进一步的限定：所述根据所述特征轮廓获取特征区域，确定所述特征区域的重心，标记与所述重心距离最近的像素点的步骤具体包括：
确定所述特征轮廓在一个方向上距离最远的两个像素点，并计算其距离；
获取所述特征区域内的像素点的总数，根据所述总数与所述距离确定轮廓重心；
以重心为圆心，持续增加检测半径，当检测区域内有像素点时，标记相应的像素点并停止检测。
作为本发明技术方案进一步的限定：所述基于像素点融合所述场景相同的三路波段图像数据，并根据融合后的三路波段图像数据中的可见光图像数据确定电力设备工作状态的步骤具体包括：
读取融合后的三路波段图像数据中的可见光图像数据，并基于所述可见光图像数据中的时间项对所述可见光图像数据进行排序；
依次对排序后的可见光图像数据进行轮廓识别，得到设备区域；
提取所述设备区域中的特征值，并生成特征数组；
将所述特征数组插入训练好的状态识别模型中，得到电力设备工作状态。
作为本发明技术方案进一步的限定：所述依次对排序后的可见光图像数据进行轮廓识别，得到设备区域的步骤具体包括：
遍历所述区域图像中的像素点，获取所述像素点的色值；
依次读取相邻像素点的色值，判断相邻像素点的色值差与预设的容差之间的大小，若相邻像素点的色值差大于所述容差，则标记所述像素点，若相邻像素点的色值差小于所述容差，则继续读取下一相邻像素点；
基于标记的像素点生成待检区域，将所述待检区域与预存的设备图像进行比对，确定设备区域。
作为本发明技术方案进一步的限定：所述根据静止参数和动态参数确定各类电力设备的缺陷类型的步骤具体包括：
读取静止参数和动态参数，根据所述静止参数和动态参数生成与电力设备为映射关系的预定文本格式的配置文件；
对所述配置文件进行文本分词处理，得到以词组为元素的特征向量；
判断所述特征向量与标准特征向量的相似度，根据所述相似度对所述电力设备进行分类；
读取各类电力设备的特征向量，将所述特征向量输入训练好的缺陷判断模型中，确定各类电力设备的缺陷类型。
本发明技术方案还提供了一种基于三光融合成像的电力设备缺陷检测系统，所述系统具体包括：
采集模块，用于获取采集三路波段图像数据，并获取观测目标的距离；
校准模块，用于对所述三路波段图像数据进行场景配准，根据所述距离对所述三路波段图像数据进行几何畸变校正处理，得到场景相同的三路波段图像数据；
状态确定模块，用于基于像素点融合所述场景相同的三路波段图像数据，并根据融合后的三路波段图像数据中的可见光图像数据确定电力设备工作状态；
参数获取模块，用于当所述电力设备为停止状态时，根据所述融合后的三路波段图像数据获取其静止参数，当所述电力设备为运行状态时，根据所述融合后的三路波段图像数据获取其动态参数；
处理执行模块，用于根据静止参数和动态参数确定各类电力设备的缺陷类型；
其中，所述三路波段包括可见光、红外光与紫外光。
作为本发明技术方案进一步的限定：所述校准模块具体包括：
提取单元，用于读取三路波段图像数据，并对所述三路波段图像数据进行特征提取，得到特征点；
匹配单元，用于对所述特征点进行相似性度量，确定相互匹配的特征点对；
参数变化单元，用于根据所述匹配的特征点对，得到图像空间坐标变换参数；
修正单元，用于基于所述坐标变换参数对所述三路波段图像数据进行图像配准。
作为本发明技术方案进一步的限定：所述提取单元具体包括：
轮廓识别子单元，用于依次对所述图像数据进行轮廓识别，得到特征轮廓；
第一标记子单元，用于根据所述特征轮廓获取特征区域，确定所述特征区域的重心，标记与所述重心距离最近的像素点；
第二标记子单元，用于获取特征轮廓边界点的轮廓曲率，当所述轮廓曲率大于预设的曲率阈值时，标记像素点；
读取单元，用于读取标记的像素点，得到特征点。
作为本发明技术方案进一步的限定：所述第一标记子单元具体包括：
远点计算子单元，用于确定所述特征轮廓在一个方向上距离最远的两个像素点，并计算其距离；
重心确定子单元，用于获取所述特征区域内的像素点的总数，根据所述总数与所述距离确定轮廓重心；
中心检测子单元，用于以重心为圆心，持续增加检测半径，当检测区域内有像素点时，标记相应的像素点并停止检测。
作为本发明技术方案进一步的限定：所述状态确定模块具体包括：
数据读取单元，用于读取融合后的三路波段图像数据中的可见光图像数据，并基于所述可见光图像数据中的时间项对所述可见光图像数据进行排序；
区域获取单元，用于依次对排序后的可见光图像数据进行轮廓识别，得到设备区域；
数组生成单元，用于提取所述设备区域中的特征值，并生成特征数组；
状态识别单元，用于将所述特征数组插入训练好的状态识别模型中，得到电力设备工作状态。
作为本发明技术方案进一步的限定：所述区域获取单元具体包括：
色值获取子单元，用于遍历所述区域图像中的像素点，获取所述像素点的色值；
容差比对子单元，用于依次读取相邻像素点的色值，判断相邻像素点的色值差与预设的容差之间的大小，若相邻像素点的色值差大于所述容差，则标记所述像素点，若相邻像素点的色值差小于所述容差，则继续读取下一相邻像素点；
执行子单元，用于基于标记的像素点生成待检区域，将所述待检区域与预存的设备图像进行比对，确定设备区域。
作为本发明技术方案进一步的限定：所述处理执行模块具体包括：
映射单元，用于读取静止参数和动态参数，根据所述静止参数和动态参数生成与电力设备为映射关系的预定文本格式的配置文件；
分词处理单元，用于对所述配置文件进行文本分词处理，得到以词组为元素的特征向量；
分类单元，用于判断所述特征向量与标准特征向量的相似度，根据所述相似度对所述电力设备进行分类；
类型确定单元，用于读取各类电力设备的特征向量，将所述特征向量输入训练好的缺陷判断模型中，确定各类电力设备的缺陷类型。
与现有技术相比，本发明的有益效果是：本发明通过采集三路波段图像数据获取电力设备的静态和动态参数，然后根据所述静态和动态参数进行缺陷类型的检测，本发明无须过多操作人员，在可见光外增设红外光与紫外光，检测能力强的同时，极大的降低了人力成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1示出了基于三光融合成像的电力设备缺陷检测方法的流程框图；
图2示出了基于三光融合成像的电力设备缺陷检测方法的第一流程框图；
图3示出了基于三光融合成像的电力设备缺陷检测方法的第二流程框图；
图4示出了基于三光融合成像的电力设备缺陷检测方法的第三流程框图；
图5示出了基于三光融合成像的电力设备缺陷检测方法的第四流程框图；
图6示出了基于三光融合成像的电力设备缺陷检测方法的第五流程框图；
图7示出了基于三光融合成像的电力设备缺陷检测方法的第六流程框图；
图8示出了基于三光融合成像的电力设备缺陷检测系统的组成结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
图1示出了基于三光融合成像的电力设备缺陷检测方法的流程框图，本发明实施例中，提供了一种基于三光融合成像的电力设备缺陷检测方法，所述方法具体包括步骤S200-步骤S1000：
步骤S200：采集三路波段图像数据，并获取观测目标的距离；
步骤S200就是图像数据获取过程，其借助的硬件设备有可见光成像组件、红外光成像组件与紫外光成像组件；此外，上述还有一步距离测定过程，我们知道，常见的距离测定方式包括超声和激光，在本发明技术背景下，通过激光会影响成像过程，因此，距离测定过程所借助的硬件设备一般采用超声波的方式。
步骤S400：对所述三路波段图像数据进行场景配准，根据所述距离对所述三路波段图像数据进行几何畸变校正处理，得到场景相同的三路波段图像数据；
红外光图像或是紫外光图像其实与可见光的成像原理是相同的，只不过是识别的波长不同，对于人眼来说，我们能够识别可见光，所以从人的角度来说，我们认为红外光或紫外光更加特殊，但是对于硬件设备来说，这些大都是相似的内容。
步骤S600：基于像素点融合所述场景相同的三路波段图像数据，并根据融合后的三路波段图像数据中的可见光图像数据确定电力设备工作状态；
电力设备在静止状态下与运行状态下的各项指标一定是不同的，对于其是否具有缺陷的评判标准也是不同的，因此，需要预先判断一下电力设备的工作状态。
步骤S800：当所述电力设备为停止状态时，根据所述融合后的三路波段图像数据获取其静止参数，当所述电力设备为运行状态时，根据所述融合后的三路波段图像数据获取其动态参数；
根据运行状态获取不同的参数，当静止状态下，我们主要检测电力设备是否有本身的缺陷，而在运行状态下，我们则要检测一些比如漏油之类的问题。
步骤S1000：基于获取到的静止参数和动态参数将所述电力设备分类，并根据静止参数和动态参数确定各类电力设备的缺陷类型；
一个车间中，往往有着很多电力设备，这些电力设备中，肯定有些缺陷类型是相似的，如果对每个电力设备均进行分析，那么工作量将非常大，而且由于各个电力设备单独检测，其相关性很低，极其不便于后期缺陷分析。
具体的，上述内容中的三路波段一般是指可见光、红外光与紫外光，由于三种波段的波长范围不同，其获得的图像数据也是不同的，尤其是基于红外光和紫外光获取到的图像，它能够检测到人眼无法检测到的缺陷类型。
图2示出了基于三光融合成像的电力设备缺陷检测方法的第一流程框图，所述对所述三路波段图像数据进行场景配准，根据所述距离对所述三路波段图像数据进行几何畸变校正处理，得到场景相同的三路波段图像数据的步骤具体包括步骤S401-步骤S407：
步骤S401：读取三路波段图像数据，并对所述三路波段图像数据进行特征提取，得到特征点；
步骤S403：对所述特征点进行相似性度量，确定相互匹配的特征点对；
步骤S405：根据所述匹配的特征点对，得到图像空间坐标变换参数；
步骤S407：基于所述坐标变换参数对所述三路波段图像数据进行图像配准。
由于红外光、可见光与紫外光的波长不同，就算对同一区域进行三光成像，其获得的图像数据也是不同的，但是，它们实际上表达的是同一片区域的信息，因此，如果需要通过三种光获取到的图像数据进行图像分析，那么，自然需要对数据进行一个场景匹配，使得其像素点大致对应，然后便可以基于像素点进行图像处理。
上述内容中，核心步骤是特征点的获取，当获取到特征点后，根据特征点对，确定图像空间坐标变换参数，这些参数其实就是一种比例，比如，对于坐标轴内的一个点(x，y)，想到把它转变为(x1，y1)，这就需要一个参数，当特征点较多时，相应的参数要使得大部分点的转换过程能够大致完成，具体的确定过程可以借助统计学原理进行。
图3示出了基于三光融合成像的电力设备缺陷检测方法的第二流程框图，所述对所述三路波段图像数据进行特征提取，得到特征点的步骤具体包括步骤S4011-步骤S4017：
步骤S4011：依次对所述图像数据进行轮廓识别，得到特征轮廓；
步骤S4013：根据所述特征轮廓获取特征区域，确定所述特征区域的重心，标记与所述重心距离最近的像素点；
步骤S4015：获取特征轮廓边界点的轮廓曲率，当所述轮廓曲率大于预设的曲率阈值时，标记像素点；
步骤S4017：读取标记的像素点，得到特征点。
步骤S4011-步骤S4017提供了一种具体的特征点获取过程，特征点有两种，一种是高曲率点，高曲率点的意思是其曲率半径很小，从图形上看也就越“弯”，极限情况下，自然就是“尖点”，当然，计算机显示中，并不存在数学意义上的尖点，均为高曲率点。此外，重心也是需要获取的特征点。值复一提的是，使用重心概念的前提是，对每个像素点赋予相同重量。
图4示出了基于三光融合成像的电力设备缺陷检测方法的第三流程框图，所述根据所述特征轮廓获取特征区域，确定所述特征区域的重心，标记与所述重心距离最近的像素点的步骤具体包括步骤S40131-步骤S40135：
步骤S40131：确定所述特征轮廓在一个方向上距离最远的两个像素点，并计算其距离；
步骤S40133：获取所述特征区域内的像素点的总数，根据所述总数与所述距离确定轮廓重心；
步骤S40135：以重心为圆心，持续增加检测半径，当检测区域内有像素点时，标记相应的像素点并停止检测。
步骤S40131-步骤S40135提供了一种重心获取方式，首先，需要确定一个方向，其方向一般是水平或是竖直的，确定一个方向后，获取其最远像素点之间的距离，然后根据区域内像素点的总数即可计算出重心位置，可以想到，这一过程中，运算出的值可能不是整数，即，运算出的点位可能无法与像素点对应；虽然显示器中，像素是最小的单位，但是在运算器中显然不是，因此，还需要基于计算出来的值来进一步确定像素点。
图5示出了基于三光融合成像的电力设备缺陷检测方法的第四流程框图，所述基于像素点融合所述场景相同的三路波段图像数据，并根据融合后的三路波段图像数据中的可见光图像数据确定电力设备工作状态的步骤具体包括步骤S601-步骤S607：
步骤S601：读取融合后的三路波段图像数据中的可见光图像数据，并基于所述可见光图像数据中的时间项对所述可见光图像数据进行排序；
步骤S603：依次对排序后的可见光图像数据进行轮廓识别，得到设备区域；
步骤S605：提取所述设备区域中的特征值，并生成特征数组；
步骤S607：将所述特征数组插入训练好的状态识别模型中，得到电力设备工作状态。
图像数据中，是存在时间项的，根据时间项对获取到的图像数据进行排序，然后在对每个图像数据进行轮廓识别，确定设备区域，得到一个与设备区域对应的特征值，这个值的确定方式非常容易，有点类似于RGB图像转换成灰度图像的过程，但是需要说明的是，特征值的生成过程有两步，一是转换像素点，得到与像素点唯一对应的值，然后根据这些值生成与图像对应的值，即为特征值，多个图像对应的便是特征数组。
图6示出了基于三光融合成像的电力设备缺陷检测方法的第五流程框图，所述依次对排序后的可见光图像数据进行轮廓识别，得到设备区域的步骤具体包括：
步骤S6031：遍历所述区域图像中的像素点，获取所述像素点的色值；
步骤S6033：依次读取相邻像素点的色值，判断相邻像素点的色值差与预设的容差之间的大小，若相邻像素点的色值差大于所述容差，则标记所述像素点，若相邻像素点的色值差小于所述容差，则继续读取下一相邻像素点；
步骤S6035：基于标记的像素点生成待检区域，将所述待检区域与预存的设备图像进行比对，确定设备区域。
上述内容类似于Photoshop软件中的魔棒工具的工作流程。
图7示出了基于三光融合成像的电力设备缺陷检测方法的第六流程框图，所述根据静止参数和动态参数确定各类电力设备的缺陷类型的步骤具体包括：
步骤S1001：读取静止参数和动态参数，根据所述静止参数和动态参数生成与电力设备为映射关系的预定文本格式的配置文件；
步骤S1003：对所述配置文件进行文本分词处理，得到以词组为元素的特征向量；
步骤S1005：判断所述特征向量与标准特征向量的相似度，根据所述相似度对所述电力设备进行分类；
步骤S1007：读取各类电力设备的特征向量，将所述特征向量输入训练好的缺陷判断模型中，确定各类电力设备的缺陷类型。
上述静止参数和动态参数并不一定要是数字，它们还包括一些其它状态，比如漏油、磨损程度高低等等，因此，需要将配置文件分成一个个单独的字符串，即上述文本分词处理过程，然后将这些字符串以特定的格式进行存储，即，上述以词组为元素的特征向量，然后进行相似度判断，根据相似度判断结果进行分类；此外，对于特征向量进行识别，即上述将所述特征向量输入训练好的缺陷判断模型中，得到缺陷类型。
值得一提的是，上述缺陷类型判断过程是基于分类后的电力设备的，这一过程中，可以随机提取同类电力设备中任意几个特征向量，也可先对同类电力设备所有特征向量进行处理，得到一个标准向量，再根据标准向量进行提取。
实施例2
图8示出了基于三光融合成像的电力设备缺陷检测系统的组成结构框图，本发明实施例中，提供了一种基于三光融合成像的电力设备缺陷检测系统，所述系统10具体包括：
采集模块11，用于获取采集三路波段图像数据，并获取观测目标的距离；
所述采集模块11用于完成步骤S200；
校准模块12，用于对所述三路波段图像数据进行场景配准，根据所述距离对所述三路波段图像数据进行几何畸变校正处理，得到场景相同的三路波段图像数据；
所述校准模块12用于完成步骤S400；
状态确定模块13，用于基于像素点融合所述场景相同的三路波段图像数据，并根据融合后的三路波段图像数据中的可见光图像数据确定电力设备工作状态；
所述校准模块13用于完成步骤S600；
参数获取模块14，用于当所述电力设备为停止状态时，根据所述融合后的三路波段图像数据获取其静止参数，当所述电力设备为运行状态时，根据所述融合后的三路波段图像数据获取其动态参数；
所述校准模块14用于完成步骤S800；
处理执行模块15，用于基于获取到的静止参数和动态参数将所述电力设备分类，并根据静止参数和动态参数确定各类电力设备的缺陷类型；
所述校准模块15用于完成步骤S1000。
其中，所述三路波段包括可见光、红外光与紫外光。
进一步的，所述校准模块13具体包括：
提取单元，用于读取三路波段图像数据，并对所述三路波段图像数据进行特征提取，得到特征点；
匹配单元，用于对所述特征点进行相似性度量，确定相互匹配的特征点对；
参数变化单元，用于根据所述匹配的特征点对，得到图像空间坐标变换参数；
修正单元，用于基于所述坐标变换参数对所述三路波段图像数据进行图像配准。
具体的，所述提取单元具体包括：
轮廓识别子单元，用于依次对所述图像数据进行轮廓识别，得到特征轮廓；
第一标记子单元，用于根据所述特征轮廓获取特征区域，确定所述特征区域的重心，标记与所述重心距离最近的像素点；
第二标记子单元，用于获取特征轮廓边界点的轮廓曲率，当所述轮廓曲率大于预设的曲率阈值时，标记像素点；
读取单元，用于读取标记的像素点，得到特征点。
所述第一标记子单元具体包括：
远点计算子单元，用于确定所述特征轮廓在一个方向上距离最远的两个像素点，并计算其距离；
重心确定子单元，用于获取所述特征区域内的像素点的总数，根据所述总数与所述距离确定轮廓重心；
中心检测子单元，用于以重心为圆心，持续增加检测半径，当检测区域内有像素点时，标记相应的像素点并停止检测。
在本发明的一个优选实施例中，所述状态确定模块具体包括：
数据读取单元，用于读取融合后的三路波段图像数据中的可见光图像数据，并基于所述可见光图像数据中的时间项对所述可见光图像数据进行排序；
区域获取单元，用于依次对排序后的可见光图像数据进行轮廓识别，得到设备区域；
数组生成单元，用于提取所述设备区域中的特征值，并生成特征数组；
状态识别单元，用于将所述特征数组插入训练好的状态识别模型中，得到电力设备工作状态。
具体的，所述区域获取单元具体包括：
色值获取子单元，用于遍历所述区域图像中的像素点，获取所述像素点的色值；
容差比对子单元，用于依次读取相邻像素点的色值，判断相邻像素点的色值差与预设的容差之间的大小，若相邻像素点的色值差大于所述容差，则标记所述像素点，若相邻像素点的色值差小于所述容差，则继续读取下一相邻像素点；
执行子单元，用于基于标记的像素点生成待检区域，将所述待检区域与预存的设备图像进行比对，确定设备区域。
在本发明的一个优选实施例中，所述处理执行模块具体包括：
映射单元，用于读取静止参数和动态参数，根据所述静止参数和动态参数生成与电力设备为映射关系的预定文本格式的配置文件；
分词处理单元，用于对所述配置文件进行文本分词处理，得到以词组为元素的特征向量；
分类单元，用于判断所述特征向量与标准特征向量的相似度，根据所述相似度对所述电力设备进行分类；
类型确定单元，用于读取各类电力设备的特征向量，将所述特征向量输入训练好的缺陷判断模型中，确定各类电力设备的缺陷类型。
所述基于三光融合成像的电力设备缺陷检测方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述基于三光融合成像的电力设备缺陷检测方法的功能。
处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器(Read-Only Memory，ROM)，所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (14)
1.一种基于三光融合成像的电力设备缺陷检测方法，其特征在于，所述方法具体包括：
采集三路波段图像数据，并获取观测目标的距离；
对所述三路波段图像数据进行场景配准，根据所述距离对所述三路波段图像数据进行几何畸变校正处理，得到场景相同的三路波段图像数据；
基于像素点融合所述场景相同的三路波段图像数据，并根据融合后的三路波段图像数据中的可见光图像数据确定电力设备工作状态；
当所述电力设备为停止状态时，根据所述融合后的三路波段图像数据获取其静止参数，当所述电力设备为运行状态时，根据所述融合后的三路波段图像数据获取其动态参数；
根据静止参数和动态参数确定各类电力设备的缺陷类型；
其中，所述三路波段包括可见光、红外光与紫外光。
2.根据权利要求1所述的基于三光融合成像的电力设备缺陷检测方法，其特征在于，所述对所述三路波段图像数据进行场景配准，根据所述距离对所述三路波段图像数据进行几何畸变校正处理，得到场景相同的三路波段图像数据的步骤具体包括：
读取三路波段图像数据，并对所述三路波段图像数据进行特征提取，得到特征点；
对所述特征点进行相似性度量，确定相互匹配的特征点对；
根据所述匹配的特征点对，得到图像空间坐标变换参数；
基于所述坐标变换参数对所述三路波段图像数据进行图像配准。
3.根据权利要求2所述的基于三光融合成像的电力设备缺陷检测方法，其特征在于，所述对所述三路波段图像数据进行特征提取，得到特征点的步骤具体包括：
依次对所述图像数据进行轮廓识别，得到特征轮廓；
根据所述特征轮廓获取特征区域，确定所述特征区域的重心，标记与所述重心距离最近的像素点；
获取特征轮廓边界点的轮廓曲率，当所述轮廓曲率大于预设的曲率阈值时，标记像素点；
读取标记的像素点，得到特征点。
4.根据权利要求3所述的基于三光融合成像的电力设备缺陷检测方法，其特征在于，所述根据所述特征轮廓获取特征区域，确定所述特征区域的重心，标记与所述重心距离最近的像素点的步骤具体包括：
确定所述特征轮廓在一个方向上距离最远的两个像素点，并计算其距离；
获取所述特征区域内的像素点的总数，根据所述总数与所述距离确定轮廓重心；
以重心为圆心，持续增加检测半径，当检测区域内有像素点时，标记相应的像素点并停止检测。
5.根据权利要求1所述的基于三光融合成像的电力设备缺陷检测方法，其特征在于，所述基于像素点融合所述场景相同的三路波段图像数据，并根据融合后的三路波段图像数据中的可见光图像数据确定电力设备工作状态的步骤具体包括：
读取融合后的三路波段图像数据中的可见光图像数据，并基于所述可见光图像数据中的时间项对所述可见光图像数据进行排序；
依次对排序后的可见光图像数据进行轮廓识别，得到设备区域；
提取所述设备区域中的特征值，并生成特征数组；
将所述特征数组插入训练好的状态识别模型中，得到电力设备工作状态。
6.根据权利要求5所述的基于三光融合成像的电力设备缺陷检测方法，其特征在于，所述依次对排序后的可见光图像数据进行轮廓识别，得到设备区域的步骤具体包括：
遍历所述区域图像中的像素点，获取所述像素点的色值；
依次读取相邻像素点的色值，判断相邻像素点的色值差与预设的容差之间的大小，若相邻像素点的色值差大于所述容差，则标记所述像素点，若相邻像素点的色值差小于所述容差，则继续读取下一相邻像素点；
基于标记的像素点生成待检区域，将所述待检区域与预存的设备图像进行比对，确定设备区域。
7.根据权利要求1所述的基于三光融合成像的电力设备缺陷检测方法，其特征在于，所述根据静止参数和动态参数确定各类电力设备的缺陷类型的步骤具体包括：
读取静止参数和动态参数，根据所述静止参数和动态参数生成与电力设备为映射关系的预定文本格式的配置文件；
对所述配置文件进行文本分词处理，得到以词组为元素的特征向量；
判断所述特征向量与标准特征向量的相似度，根据所述相似度对所述电力设备进行分类；
读取各类电力设备的特征向量，将所述特征向量输入训练好的缺陷判断模型中，确定各类电力设备的缺陷类型。
8.一种基于三光融合成像的电力设备缺陷检测系统，其特征在于，所述系统具体包括：
采集模块，用于获取采集三路波段图像数据，并获取观测目标的距离；
校准模块，用于对所述三路波段图像数据进行场景配准，根据所述距离对所述三路波段图像数据进行几何畸变校正处理，得到场景相同的三路波段图像数据；
状态确定模块，用于基于像素点融合所述场景相同的三路波段图像数据，并根据融合后的三路波段图像数据中的可见光图像数据确定电力设备工作状态；
参数获取模块，用于当所述电力设备为停止状态时，根据所述融合后的三路波段图像数据获取其静止参数，当所述电力设备为运行状态时，根据所述融合后的三路波段图像数据获取其动态参数；
处理执行模块，用于根据静止参数和动态参数确定各类电力设备的缺陷类型；
其中，所述三路波段包括可见光、红外光与紫外光。
9.根据权利要求8所述的基于三光融合成像的电力设备缺陷检测系统，其特征在于，所述校准模块具体包括：
提取单元，用于读取三路波段图像数据，并对所述三路波段图像数据进行特征提取，得到特征点；
匹配单元，用于对所述特征点进行相似性度量，确定相互匹配的特征点对；
参数变化单元，用于根据所述匹配的特征点对，得到图像空间坐标变换参数；
修正单元，用于基于所述坐标变换参数对所述三路波段图像数据进行图像配准。
10.根据权利要求9所述的基于三光融合成像的电力设备缺陷检测系统，其特征在于，所述提取单元具体包括：
轮廓识别子单元，用于依次对所述图像数据进行轮廓识别，得到特征轮廓；
第一标记子单元，用于根据所述特征轮廓获取特征区域，确定所述特征区域的重心，标记与所述重心距离最近的像素点；
第二标记子单元，用于获取特征轮廓边界点的轮廓曲率，当所述轮廓曲率大于预设的曲率阈值时，标记像素点；
读取单元，用于读取标记的像素点，得到特征点。
11.根据权利要求10所述的基于三光融合成像的电力设备缺陷检测系统，其特征在于，所述第一标记子单元具体包括：
远点计算子单元，用于确定所述特征轮廓在一个方向上距离最远的两个像素点，并计算其距离；
重心确定子单元，用于获取所述特征区域内的像素点的总数，根据所述总数与所述距离确定轮廓重心；
中心检测子单元，用于以重心为圆心，持续增加检测半径，当检测区域内有像素点时，标记相应的像素点并停止检测。
12.根据权利要求8所述的基于三光融合成像的电力设备缺陷检测系统，其特征在于，所述状态确定模块具体包括：
数据读取单元，用于读取融合后的三路波段图像数据中的可见光图像数据，并基于所述可见光图像数据中的时间项对所述可见光图像数据进行排序；
区域获取单元，用于依次对排序后的可见光图像数据进行轮廓识别，得到设备区域；
数组生成单元，用于提取所述设备区域中的特征值，并生成特征数组；
状态识别单元，用于将所述特征数组插入训练好的状态识别模型中，得到电力设备工作状态。
13.根据权利要求12所述的基于三光融合成像的电力设备缺陷检测系统，其特征在于，所述区域获取单元具体包括：
色值获取子单元，用于遍历所述区域图像中的像素点，获取所述像素点的色值；
容差比对子单元，用于依次读取相邻像素点的色值，判断相邻像素点的色值差与预设的容差之间的大小，若相邻像素点的色值差大于所述容差，则标记所述像素点，若相邻像素点的色值差小于所述容差，则继续读取下一相邻像素点；
执行子单元，用于基于标记的像素点生成待检区域，将所述待检区域与预存的设备图像进行比对，确定设备区域。
14.根据权利要求8所述的基于三光融合成像的电力设备缺陷检测系统，其特征在于，所述处理执行模块具体包括：
映射单元，用于读取静止参数和动态参数，根据所述静止参数和动态参数生成与电力设备为映射关系的预定文本格式的配置文件；
分词处理单元，用于对所述配置文件进行文本分词处理，得到以词组为元素的特征向量；
分类单元，用于判断所述特征向量与标准特征向量的相似度，根据所述相似度对所述电力设备进行分类；
类型确定单元，用于读取各类电力设备的特征向量，将所述特征向量输入训练好的缺陷判断模型中，确定各类电力设备的缺陷类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111058818.5A CN113807364A (zh) | 2021-09-08 | 2021-09-08 | 一种基于三光融合成像的电力设备缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111058818.5A CN113807364A (zh) | 2021-09-08 | 2021-09-08 | 一种基于三光融合成像的电力设备缺陷检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113807364A true CN113807364A (zh) | 2021-12-17 |
Family
ID=78940662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111058818.5A Pending CN113807364A (zh) | 2021-09-08 | 2021-09-08 | 一种基于三光融合成像的电力设备缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113807364A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114067340A (zh) * | 2022-01-17 | 2022-02-18 | 山东北软华兴软件有限公司 | 一种信息重要性智能判定方法和系统 |
| CN114359843A (zh) * | 2022-03-21 | 2022-04-15 | 广州银狐科技股份有限公司 | 一种基于图像识别的aed设备状态监测方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0628472A (ja) * | 1992-04-17 | 1994-02-04 | Asahi Chem Ind Co Ltd | 画像認識方法および画像認識装置 |
| TW200407794A (en) * | 2002-11-04 | 2004-05-16 | Inst Information Industry | Image-based protruded part recognizing and tracking method |
| CN102305793A (zh) * | 2011-05-11 | 2012-01-04 | 苏州天准精密技术有限公司 | 一种产品外观质量检测方法和设备 |
| CN107607202A (zh) * | 2017-08-31 | 2018-01-19 | 江苏宇特光电科技股份有限公司 | 三光融合智能成像仪及其方法 |
| CN109191417A (zh) * | 2018-09-11 | 2019-01-11 | 中国科学院长春光学精密机械与物理研究所 | 基于显著性检测与改进双通道的自适应融合方法及装置 |
| CN111047568A (zh) * | 2019-12-06 | 2020-04-21 | 汕头大学 | 一种漏汽缺陷检测识别方法及系统 |
| CN111797725A (zh) * | 2020-06-18 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种设备状态检测方法、装置及系统 |
| CN112734692A (zh) * | 2020-12-17 | 2021-04-30 | 安徽继远软件有限公司 | 一种变电设备缺陷识别方法及装置 |
-
2021
- 2021-09-08 CN CN202111058818.5A patent/CN113807364A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0628472A (ja) * | 1992-04-17 | 1994-02-04 | Asahi Chem Ind Co Ltd | 画像認識方法および画像認識装置 |
| TW200407794A (en) * | 2002-11-04 | 2004-05-16 | Inst Information Industry | Image-based protruded part recognizing and tracking method |
| CN102305793A (zh) * | 2011-05-11 | 2012-01-04 | 苏州天准精密技术有限公司 | 一种产品外观质量检测方法和设备 |
| CN107607202A (zh) * | 2017-08-31 | 2018-01-19 | 江苏宇特光电科技股份有限公司 | 三光融合智能成像仪及其方法 |
| CN109191417A (zh) * | 2018-09-11 | 2019-01-11 | 中国科学院长春光学精密机械与物理研究所 | 基于显著性检测与改进双通道的自适应融合方法及装置 |
| CN111047568A (zh) * | 2019-12-06 | 2020-04-21 | 汕头大学 | 一种漏汽缺陷检测识别方法及系统 |
| CN111797725A (zh) * | 2020-06-18 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种设备状态检测方法、装置及系统 |
| CN112734692A (zh) * | 2020-12-17 | 2021-04-30 | 安徽继远软件有限公司 | 一种变电设备缺陷识别方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李振兴;张义平;丁震龙;: "基于图像像素级分割与标记映射的工件表面微小缺陷检测算法", 组合机床与自动化加工技术, no. 01 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114067340A (zh) * | 2022-01-17 | 2022-02-18 | 山东北软华兴软件有限公司 | 一种信息重要性智能判定方法和系统 |
| CN114359843A (zh) * | 2022-03-21 | 2022-04-15 | 广州银狐科技股份有限公司 | 一种基于图像识别的aed设备状态监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A vision-based robust grape berry counting algorithm for fast calibration-free bunch weight estimation in the field | |
| CN110569837B (zh) | 优化损伤检测结果的方法及装置 | |
| CN109886928B (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
| Paulus et al. | Surface feature based classification of plant organs from 3D laserscanned point clouds for plant phenotyping | |
| CN109378052B (zh) | 图像标注的预处理方法及系统 | |
| CN111724355B (zh) | 一种鲍鱼体型参数的图像测量方法 | |
| CN113807364A (zh) | 一种基于三光融合成像的电力设备缺陷检测方法及系统 | |
| CN114241326B (zh) | 一种渐进式遥感影像地物要素智能生产方法及系统 | |
| CN112200884B (zh) | 一种车道线的生成方法及装置 | |
| CN103839283A (zh) | 一种小型不规则物体的面积周长无损测量方法 | |
| CN108898269A (zh) | 基于度量的电力图像环境影响评估方法 | |
| CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| CN111738252B (zh) | 图像中的文本行检测方法、装置及计算机系统 | |
| CN112037180B (zh) | 染色体分割方法及装置 | |
| CN113158895A (zh) | 票据识别方法、装置、电子设备及存储介质 | |
| CN110570442A (zh) | 一种复杂背景下轮廓检测方法、终端设备及存储介质 | |
| CN112883926A (zh) | 表格类医疗影像的识别方法及装置 | |
| CN114359843A (zh) | 一种基于图像识别的aed设备状态监测方法及系统 | |
| CN105354405A (zh) | 基于机器学习的免疫组化图像自动化判读系统 | |
| CN114708237A (zh) | 一种用于头发健康状况的检测算法 | |
| CN117152424A (zh) | 一种城市视觉环境质量评价的方法及相关设备 | |
| CN110007764B (zh) | 一种手势骨架识别方法、装置、系统及存储介质 | |
| Tabelini et al. | Deep traffic sign detection and recognition without target domain real images | |
| CN109255805B (zh) | 机器学习的工业智能数据收集系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |