CN117408957A - 一种非接触式弓网偏移状态监测方法及装置 - Google Patents
一种非接触式弓网偏移状态监测方法及装置 Download PDFInfo
- Publication number
- CN117408957A CN117408957A CN202311332478.XA CN202311332478A CN117408957A CN 117408957 A CN117408957 A CN 117408957A CN 202311332478 A CN202311332478 A CN 202311332478A CN 117408957 A CN117408957 A CN 117408957A
- Authority
- CN
- China
- Prior art keywords
- pantograph
- frame
- contact
- image
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000012544 monitoring process Methods 0.000 title claims abstract description 53
- 238000006073 displacement reaction Methods 0.000 claims abstract description 70
- 238000003709 image segmentation Methods 0.000 claims abstract description 30
- 238000012806 monitoring device Methods 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims description 69
- 230000015654 memory Effects 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000009825 accumulation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010891 electric arc Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种非接触式弓网偏移状态监测方法及装置，应用于轨道交通技术领域，包括：获取受电弓图像集，并输入预训练的图像分割模型，得到最大的受电弓轮廓和最大的接触网轮廓，并最终得到受电弓和接触网之间的相对位移曲线；最后基于受电弓和接触网之间的相对位移曲线，进行受电弓和接触网的监测。本申请能够显著提高受电弓和接触网的监测方法的运行效率，并且该方法还可以解决复杂环境造成的模型稳定性差的问题，保证监测的准确性。
Description
技术领域
本发明涉及轨道交通技术领域，特别是指一种非接触式弓网偏移状态监测方法及装置。
背景技术
目前在轨道交通铁路系统中为了保障列车的牵引供电安全，已经广泛使用了高速铁路供电安全检测监测系统(6C系统)对受电弓-接触网系统进行运行状态监测、关键参数提取以及故障预测报警。
受电弓-接触网系统是电气化车辆的重要组成部分，是车辆从电网获取电能的重要途经，该系统的稳定性和可靠性对车辆的运行安全有着至关重要的影响。大多数情况下，电动重卡的行驶速度均在100km/h以下，弓网接触压力较小，并且接触稳定，对受流质量影响较小。因此弓网间相对水平位移是影响弓网状态的主要因素，由于电气化道路崎岖、颠簸和转弯等外部因素和人工驾驶模式时，司机视野范围有限，尤其当车辆处于转弯、司机疲劳驾驶等特殊情景中，将导致弓网系统发生相对水平位移，造成脱弓故障，进而引起重型卡车弓网拉弧，以及电能供应中断，从而对道路行车安全造成威胁。
重型卡车的电动化成为了交通运输业减碳的核心，而受电弓-接触网系统作为电力传输的重要组成部分，其稳定性和可靠性对电气化新型双源重卡正常运行具有至关重要的影响。因此急需创造一种技术方案及监测系统实现对重卡受电弓与接触网的状态进行实时监测，从而及时发现问题并通过相关的控制技术进行调整，提高运行效率和减少故障停机时间。
但现有的针对铁路系统中列车弓网状态的监测方法无法适用于电气化新型双源重型卡车的弓网系统。主要问题包括，现有的列车弓网状态的监测方法计算量过高，模型准确率偏低和对复杂环境适应性差等问题。
发明内容
本发明实施例提供了一种非接触式弓网偏移状态监测方法及装置。主要针对现有列车弓网状态的监测方法计算量过高，模型准确率偏低和对复杂环境适应性差的问题。本发明不仅可以提高检测的算法效率还可以适应复杂环境造成的模型稳定性差的问题。
为解决上述发明目的，所述技术方案如下：
一方面，本申请实施例提供了一种非接触式弓网偏移状态监测方法，包括以下步骤：
S1：获取受电弓图像集，所述受电弓图像集包含至少一帧受电弓图像；
S2：将受电弓图像集中的每一帧受电弓图像输入预训练的图像分割模型，得到每一帧受电弓的全部轮廓和每一帧接触网的全部轮廓，所述预训练的图像分割模型是嵌入了SE注意力机制、并添加了PPM模块的轻量化的语义分割网络模型，所述轻量化的语义分割网络模型是基于浅层特征共享方法删除了细节分支的语义分割网络模型；
S3：对每一帧受电弓的全部轮廓进行筛选滤波，将面积最大的轮廓作为每一帧最大的受电弓轮廓；
S4：对每一帧接触网的全部轮廓进行筛选滤波，将面积最大的轮廓作为每一帧最大的接触网轮廓；
S5：基于每一帧最大的受电弓轮廓，提取受电弓外接矩形，得到每一帧受电弓的外接矩形；
S6：将每一帧最大的接触网轮廓，通过抽稀，得到每一帧贴合接触网的曲线；
S7：计算每一帧受电弓的外接矩形和每一帧贴合接触网的曲线相交部分的曲线线段，提取所述曲线线段的中心点作为接触点，得到每一帧受电弓图像中的接触点的像素坐标；
S8：依次连接每一帧受电弓图像中的接触点的像素坐标，得到受电弓和接触网之间的相对位移曲线；
S9：基于受电弓和接触网之间的相对位移曲线，计算相邻接触点的相对水平位移，并和预设阈值进行比对，进行受电弓和接触网的监测。
优选地,所述S1的获取受电弓图像集，所述受电弓图像集包含至少一帧受电弓图像，包括：
S11：获取受电弓和接触网的监测视频；
S12：按照预设频率，抓取选定帧数的图像，得到受电弓图像集。
优选地,在所述S2的将受电弓图像集中的每一帧受电弓图像输入预训练的图像分割模型，得到每一帧受电弓的全部轮廓和每一帧接触网的全部轮廓之前，所述方法还包括：
S0:对图像分割模型进行训练，得到预训练的图像分割模型；
所述S0的对图像分割模型进行训练，得到预训练的图像分割模型，包括：
S01：构建用于分割受电弓图像的语义分割网络模型；
S02：获取受电弓和接触网的历史监测视频；
S03：从所述历史监测视频中提取选定帧数的历史受电弓图像集；
S04：对历史受电弓图像集进行轮廓识别，将受电弓和接触网的轮廓进行标记，得到受电弓和接触网的历史轮廓数据集；
S05：对受电弓和接触网的历史轮廓数据集进行标注，得到历史受电弓图像集的对应的语义标注；
S06：基于历史受电弓图像集以及对应的语义标注对语义分割网络模型进行初始化，得到初始的语义分割网络模型的参数；
S07：将初始的语义分割网络模型的参数加载进语义分割网络模型，将受电弓和接触网的历史轮廓数据集和对应的语义标注同时送入语义分割网络模型中训练，得到预训练的图像分割模型。
优选地,所述S01的构建用于分割受电弓图像的语义分割网络模型，包括：
S011：建立语义分割网络模型模型；
S012：采用浅层特征共享的方法将语义分割网络模型原有的细节分支删除，得到简化后的语义分割网络模型模型，所述简化后的语义分割网络模型模型包括主干和聚积层，所述主干包括空间特征部分和语义特征部分；
S013：将SE注意力机制嵌入到简化后的语义分割网络模型，得到更新的语义分割网络模型；
S014：在更新的语义分割网络模型的语义特征部分添加PPM模块，得到用于分割受电弓图像的语义分割网络模型。
优选地,所述语义分割网络模型模型是BiSeNet v2模型。
优选地,所述S6的计算每一帧的受电弓的外接矩形和每一帧的贴合接触网的曲线相交部分的曲线线段，提取所述曲线线段的中心点作为接触点，得到每一帧受电弓图像中的接触点的像素坐标，包括：
S61：基于每一帧最大的接触网轮廓，得到轮廓的坐标集；
S62：基于公式(1)对轮廓的坐标集进行抽稀处理，得到每一帧的贴合接触网的曲线：
其中，(Xi,yi)为轮廓的一个坐标点对，{a0,a1,…,ai,…,an}是贴合接触网的曲线，ai是包含至少一个坐标点的按照预设分辨率设定的像素点位。
优选地,所述S9的基于受电弓和接触网之间的相对位移曲线，计算相邻接触点的相对水平位移，并和预设阈值进行比对，进行受电弓和接触网的监测，包括：
S91：基于受电弓和接触网之间的相对位移曲线，得到全部的接触点的坐标集；
S92：基于公式(2)计算相邻接触点的相对水平位移：
其中，x1,x2是两个相邻接触点的坐标对，Σ是全部的相邻接触点的坐标对的协方差矩阵；
S93：基于公式(3)计算水平位移阈值：
A＝dmean+1/2dmax (3)
其中，A是水平位移阈值，dmean是相对水平位移的均值，dmax相对水平位移的最大值；
S94：将相对水平位移和水平位移阈值进行比较，如果超过阈值则进行预警。
第二方面，本申请实施例提供了一种非接触式弓网偏移状态监测装置，包括以下步骤：
图像集单元：用于获取受电弓图像集，所述受电弓图像集包含至少一帧受电弓图像；
轮廓获取单元：用于将受电弓图像集中的每一帧受电弓图像输入预训练的图像分割模型，得到每一帧受电弓的全部轮廓和每一帧接触网的全部轮廓，所述预训练的图像分割模型是嵌入了SE注意力机制,并添加了PPM模块的轻量化的语义分割网络模型，所述轻量化的语义分割网络模型是基于浅层特征共享方法删除了细节分支的语义分割网络模型；
受电弓轮廓单元：用于对每一帧受电弓的全部轮廓进行筛选滤波，将面积最大的轮廓作为每一帧最大的受电弓轮廓；
接触网轮廓单元：用于对每一帧接触网的全部轮廓进行筛选滤波，将面积最大的轮廓作为每一帧最大的接触网轮廓；
外接矩形单元：用于基于每一帧最大的受电弓轮廓，提取受电弓外接矩形，得到每一帧的受电弓的外接矩形；
抽稀单元：用于将每一帧最大的接触网轮廓，通过抽稀，得到每一帧的贴合接触网的曲线；
接触点单元：用于计算每一帧的受电弓的外接矩形和每一帧的贴合接触网的曲线相交部分的曲线线段，提取所述曲线线段的中心点作为接触点，得到每一帧受电弓图像中的接触点的像素坐标；
位移曲线单元：用于依次连接每一帧受电弓图像中的接触点的像素坐标，得到受电弓和接触网之间的相对位移曲线；
监测单元：用于基于受电弓和接触网之间的相对位移曲线，计算相邻接触点的相对水平位移，并和预设阈值进行比对，进行受电弓和接触网的监测。
第三方面，本申请实施例提供了一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前面任一项所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前面任一项所述的方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例提供了一种非接触式弓网偏移状态监测方法及装置。采用了一个改进后的轻量级语义，提高了模型运行的效率。在模型中添加SE注意力机制，可以对模型不同通道的特征进行动态加权，提高了模型的灵活性。并且针对受电弓和接触网的几何特征，提出了灵活的接触点检测算法，提高模型对复杂环境的适应性。因此本发明不仅可以提高检测的算法效率还可以适应复杂环境造成的模型稳定性差的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种非接触式弓网偏移状态监测方法流程图；
图2是本发明实施例提供的一种用于分割受电弓图像的语义分割网络模型的结构示意图；
图3是本发明实施例提供的一种非接触式弓网偏移状态监测装置框图；
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种非接触式弓网偏移状态监测方法。该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的一种非接触式弓网偏移状态监测方法流程图，该方法的处理流程可以包括如下的步骤：
S1：获取受电弓图像集，所述受电弓图像集包含至少一帧受电弓图像；
优选地,所述S1，包括：
S11：获取受电弓和接触网的监测视频；
S12：按照预设频率，抓取选定帧数的图像，得到受电弓图像集。
需要说明的是，一般受电弓监控采用高清晰度，并且能够提供清晰的图像质量的高清摄像头。例如：摄像头采用优秀的CMOS图像传感器和先进的图像处理技术。
S2：将受电弓图像集中的每一帧受电弓图像输入预训练的图像分割模型，得到每一帧受电弓的全部轮廓和每一帧接触网的全部轮廓，所述预训练的图像分割模型是嵌入了SE注意力机制、并添加了PPM模块的轻量化的语义分割网络模型，所述轻量化的语义分割网络模型是基于浅层特征共享方法删除了细节分支的语义分割网络模型；
优选地,在所述S2之前，所述方法还包括以下步骤：
S0:对图像分割模型进行训练，得到预训练的图像分割模型；
所述S0的对图像分割模型进行训练，得到预训练的图像分割模型，包括：
S01：构建用于分割受电弓图像的语义分割网络模型；
优选地,所述S01，包括：
S011：建立语义分割网络模型模型，所述语义分割网络模型模型是BiSeNet v2模型；
S012：采用浅层特征共享的方法将语义分割网络模型原有的细节分支删除，得到简化后的语义分割网络模型模型，所述简化后的语义分割网络模型模型包括主干和聚积层，所述主干包括空间特征部分和语义特征部分；
S013：将SE注意力机制嵌入到简化后的语义分割网络模型，得到更新的语义分割网络模型；
S014：如图2所示，在更新的语义分割网络模型的语义特征部分添加PPM模块，得到用于分割受电弓图像的语义分割网络模型；
S02：获取受电弓和接触网的历史监测视频；
S03：从所述历史监测视频中提取选定帧数的历史受电弓图像集；
S04：对历史受电弓图像集进行轮廓识别，将受电弓和接触网的轮廓进行标记，得到受电弓和接触网的历史轮廓数据集；
S05：对受电弓和接触网的历史轮廓数据集进行标注，得到历史受电弓图像集的对应的语义标注；
S06：基于历史受电弓图像集以及对应的语义标注对语义分割网络模型进行初始化，得到初始的语义分割网络模型的参数；
S07：将初始的语义分割网络模型的参数加载进语义分割网络模型，将受电弓和接触网的历史轮廓数据集和对应的语义标注同时送入语义分割网络模型中训练，得到预训练的图像分割模型。
在一些实施例中，用于受电弓监测的模型需要具备以下要求：首先能够准确地对受电弓进行像素级别的分割，识别出受电弓及其各个组成部分的边界和轮廓，另外能够在实时场景下进行快速的分割，以便及时监测受电弓的状态变化，同时对于不同光照条件、遮挡和复杂背景等干扰因素具有较好的鲁棒性，确保在各种环境下都能准确分割受电弓，最后具备高效的计算和处理能力，以便在资源受限的设备上实现实时监测。
需要进一步说明的是，本发明对受电弓图像进行语义分割处理，是为了能够有效地分割出受电弓图像中的各个部分。本发明使用基于改进的BiSeNet v2轻量级语义分割算法，用于实现受电弓-接触网的分割。首先，为了减少计算量，本发明采用浅层特征共享的方法将BiSeNet v2原有的细节分支删除，从而使模型更加轻量化，并促进了细节信息和语义信息的交换。其次，将SE(Squeeze-and-Excitation)注意力机制嵌入到网络模型中，该机制可以动态地对不同通道的特征进行加权，从而增强重要通道信息，提高模型的表现。SE注意力机制主要由两个步骤组成：压缩(Squeeze)和激励(Excitation)。在压缩步骤中，通过全局平均池化操作将每个通道的特征图压缩为一个标量。然后，在激励步骤中，使用一个全连接层和激活函数来生成一个通道权重向量，该向量表示每个通道的重要性。最后，将通道权重向量与原始特征图相乘，以增强重要通道的特征表示。SE注意力机制的优点在于它可以自适应地学习每个通道的重要性，从而提高网络的表征能力。最后，我们加入PPM模块得到含有多尺度信息的特征图。在PPM模块中，通过使用不同大小的池化核对特征图进行池化操作，得到了一系列具有不同感受野的特征图。这些特征图分别捕捉到了不同尺度上的上下文信息，包括细节和全局信息。然后，将这些特征图进行上采样或卷积操作，使它们具有相同的尺寸，然后将它们连接起来形成最终的特征图。PPM模块可以有效地兼顾了细节和全局信息，从而提高了模型的性能和鲁棒性。
S3：对每一帧受电弓的全部轮廓进行筛选滤波，将面积最大的轮廓作为每一帧最大的受电弓轮廓；
S4：对每一帧接触网的全部轮廓进行筛选滤波，将面积最大的轮廓作为每一帧最大的接触网轮廓；
S5：基于每一帧最大的受电弓轮廓，提取受电弓外接矩形，得到每一帧受电弓的外接矩形；
在一些实施例中，也可以从轮廓提取受外接多边形或是四边形。从轮廓提取受外接矩形或是四边形的方法包括轮廓近似算法、轮廓面积和周长比较法、最小面积矩形(Minimum Area Rectangle)算法、凸包(Convex Hull)算法、或是旋转矩形(RotatedRectangle)算法。
需要进一步说明的是，可以通过OpenCV算法包实现上述算法。
S6：将每一帧最大的接触网轮廓，通过抽稀，得到每一帧贴合接触网的曲线；
优选地,所述S6，包括：
S61：基于每一帧最大的接触网轮廓，得到轮廓的坐标集；
S62：基于公式(1)对轮廓的坐标集进行抽稀处理，得到每一帧的贴合接触网的曲线：
其中，(Xi,yi)为轮廓的一个坐标点对，{a0,a1,…,ai,…,an}是贴合接触网的曲线，ai是包含至少一个坐标点的按照预设分辨率设定的像素点位。
在一些实施例中，接触网有线性特征。并且有一定的曲度。为了保留曲度和线性特征，因此采用像素方法进行线性特征提取。具体来说就是用网格覆盖接触网区域，将所有网格内包含接触网的轮廓坐标的网格保留下来，然后提取像素点位。
需要说明的是，所述像素点位通常是网格的中心点。网格的分辨率一般和接触网的宽度相等。因此可以最大程度提取线性特征并保留一定的曲度，提高接触点提取的精度。
S7：计算每一帧受电弓的外接矩形和每一帧贴合接触网的曲线相交部分的曲线线段，提取所述曲线线段的中心点作为接触点，得到每一帧受电弓图像中的接触点的像素坐标；
在一些实施例中，提取曲线线段可以真实保留接触面的特征。同时提取所述曲线线段的中心点是取得接触面的最具有代表性的点。
S8：依次连接每一帧受电弓图像中的接触点的像素坐标，得到受电弓和接触网之间的相对位移曲线；
S9：基于受电弓和接触网之间的相对位移曲线，计算相邻接触点的相对水平位移，并和预设阈值进行比对，进行受电弓和接触网的监测。
优选地,所述S9，包括：
S91：基于受电弓和接触网之间的相对位移曲线，得到全部的接触点的坐标集；
S92：基于公式(2)计算相邻接触点的相对水平位移：
其中，x1,x2是两个相邻接触点的坐标对，Σ是全部的相邻接触点的坐标对的协方差矩阵；
S93：基于公式(3)计算水平位移阈值：
A＝dmean+1/2dmax (3)
其中，A是水平位移阈值，dmax是相对水平位移的均值，dmax相对水平位移的最大值；
S94：将相对水平位移和水平位移阈值进行比较，如果超过阈值则进行预警。
需要说明的是，公式(3)采用了相对水平位移的最大值的一半，是为了考虑相对水平位移符合正态分布的性质。通过观察位移曲线，发现相对水平位移的最大值和最小值之间的距离等于均值和最大值之间距离的两倍。
在一些实施例中，可以采用经验值作为水平位移阈值。除了采用最大值的一半来计算水平位移阈值，也可以采用下列公式，例如Z-score公式、箱线图(Boxplot)公式、四分位数法、离群值因子(Outlier Factor，LOF)公式等方法确定水平位移阈值。
以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。
图3是根据一示例性实施例示出的一种非接触式弓网偏移状态监测装置框图，该装置用于一种非接触式弓网偏移状态监测方法。参照图3，该装置包括：
图像集单元310：用于获取受电弓图像集，所述受电弓图像集包含至少一帧受电弓图像；
轮廓获取单元320：用于将受电弓图像集中的每一帧受电弓图像输入预训练的图像分割模型，得到每一帧受电弓的全部轮廓和每一帧接触网的全部轮廓，所述预训练的图像分割模型是嵌入了SE注意力机制,并添加了PPM模块的轻量化的语义分割网络模型，所述轻量化的语义分割网络模型是基于浅层特征共享方法删除了细节分支的语义分割网络模型；
受电弓轮廓单元330：用于对每一帧受电弓的全部轮廓进行筛选滤波，将面积最大的轮廓作为每一帧最大的受电弓轮廓；
接触网轮廓单元340：用于对每一帧接触网的全部轮廓进行筛选滤波，将面积最大的轮廓作为每一帧最大的接触网轮廓；
外接矩形单元350：用于基于每一帧最大的受电弓轮廓，提取受电弓外接矩形，得到每一帧的受电弓的外接矩形；
抽稀单元360：用于将每一帧最大的接触网轮廓，通过抽稀，得到每一帧的贴合接触网的曲线；
接触点单元370：用于计算每一帧的受电弓的外接矩形和每一帧的贴合接触网的曲线相交部分的曲线线段，提取所述曲线线段的中心点作为接触点，得到每一帧受电弓图像中的接触点的像素坐标；
位移曲线单元380：用于依次连接每一帧受电弓图像中的接触点的像素坐标，得到受电弓和接触网之间的相对位移曲线；
监测单元390：用于基于受电弓和接触网之间的相对位移曲线，计算相邻接触点的相对水平位移，并和预设阈值进行比对，进行非接触式弓网偏移状态监测。
本申请还提供受电弓和接触网的监测的一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前面任一项所述的方法。
本申请还提供受电弓和接触网的监测的一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前面任一项所述的方法。
本申请针对现有的列车弓网状态的监测方法计算量过高，模型准确率偏低和对复杂环境适应性差等问题。提供了一种能够提高模型运行能效的方法，在资源受限的设备上实现实时监测。本申请采用了一个改进后的轻量级语义，因此提高了模型运行的效率。同时针对受电弓和接触网的几何特征，提出了灵活的接触点检测算法，提高模型对复杂环境的适应性。因此本发明不仅可以提高检测的算法效率还可以适应复杂环境造成的模型稳定性差的问题。
图4是本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现上述中文文本拼写检查方法的步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述中文文本拼写检查方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
有以下几点需要说明：
(1)本发明实施例附图只涉及到与本发明实施例涉及到的结构，其他结构可参考通常设计。
(2)为了清晰起见，在用于描述本发明的实施例的附图中，层或区域的厚度被放大或缩小，即这些附图并非按照实际的比例绘制。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件“上”或“下”或者可以存在中间元件。
3)在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种非接触式弓网偏移状态监测方法，其特征在于，包括：
S1：获取受电弓图像集，所述受电弓图像集包含至少一帧受电弓图像；
S2：将受电弓图像集中的每一帧受电弓图像输入预训练的图像分割模型，得到每一帧受电弓的全部轮廓和每一帧接触网的全部轮廓，所述预训练的图像分割模型是嵌入了SE注意力机制、并添加了PPM模块的轻量化的语义分割网络模型，所述轻量化的语义分割网络模型是基于浅层特征共享方法删除了细节分支的语义分割网络模型；
S3：对每一帧受电弓的全部轮廓进行筛选滤波，将面积最大的轮廓作为每一帧最大的受电弓轮廓；
S4：对每一帧接触网的全部轮廓进行筛选滤波，将面积最大的轮廓作为每一帧最大的接触网轮廓；
S5：基于每一帧最大的受电弓轮廓，提取受电弓外接矩形，得到每一帧受电弓的外接矩形；
S6：将每一帧最大的接触网轮廓，通过抽稀，得到每一帧贴合接触网的曲线；
S7：计算每一帧受电弓的外接矩形和每一帧贴合接触网的曲线相交部分的曲线线段，提取所述曲线线段的中心点作为接触点，得到每一帧受电弓图像中的接触点的像素坐标；
S8：依次连接每一帧受电弓图像中的接触点的像素坐标，得到受电弓和接触网之间的相对位移曲线；
S9：基于受电弓和接触网之间的相对位移曲线，计算相邻接触点的相对水平位移，并和预设阈值进行比对，进行受电弓和接触网的监测。
2.根据权利要求1所述的非接触式弓网偏移状态监测方法，其特征在于，所述S1的获取受电弓图像集，所述受电弓图像集包含至少一帧受电弓图像，包括：
S11：获取受电弓和接触网的监测视频；
S12：按照预设频率，抓取选定帧数的图像，得到受电弓图像集。
3.根据权利要求1所述的非接触式弓网偏移状态监测方法，其特征在于，在所述S2的将受电弓图像集中的每一帧受电弓图像输入预训练的图像分割模型，得到每一帧受电弓的全部轮廓和每一帧接触网的全部轮廓之前，所述方法还包括以下步骤：
S0:对图像分割模型进行训练，得到预训练的图像分割模型；
所述S0的对图像分割模型进行训练，得到预训练的图像分割模型，包括：
S01：构建用于分割受电弓图像的语义分割网络模型；
S02：获取受电弓和接触网的历史监测视频；
S03：从所述历史监测视频中提取选定帧数的历史受电弓图像集；
S04：对历史受电弓图像集进行轮廓识别，将受电弓和接触网的轮廓进行标记，得到受电弓和接触网的历史轮廓数据集；
S05：对受电弓和接触网的历史轮廓数据集进行标注，得到历史受电弓图像集的对应的语义标注；
S06：基于历史受电弓图像集以及对应的语义标注对语义分割网络模型进行初始化，得到初始的语义分割网络模型的参数；
S07：将初始的语义分割网络模型的参数加载进语义分割网络模型，将受电弓和接触网的历史轮廓数据集和对应的语义标注同时送入语义分割网络模型中训练，得到预训练的图像分割模型。
4.根据权利要求3所述的非接触式弓网偏移状态监测方法，其特征在于，所述S01的构建用于分割受电弓图像的语义分割网络模型，包括：
S011：建立语义分割网络模型模型；
S012：采用浅层特征共享的方法将语义分割网络模型原有的细节分支删除，得到简化后的语义分割网络模型模型，所述简化后的语义分割网络模型模型包括主干和聚积层，所述主干包括空间特征部分和语义特征部分；
S013：将SE注意力机制嵌入到简化后的语义分割网络模型，得到更新的语义分割网络模型；
S014：在更新的语义分割网络模型的语义特征部分添加PPM模块，得到用于分割受电弓图像的语义分割网络模型。
5.根据权利要求4所述的非接触式弓网偏移状态监测方法，其特征在于，所述语义分割网络模型模型是BiSeNet v2模型。
6.根据权利要求1所述的非接触式弓网偏移状态监测方法，其特征在于，所述S6的计算每一帧的受电弓的外接矩形和每一帧的贴合接触网的曲线相交部分的曲线线段，提取所述曲线线段的中心点作为接触点，得到每一帧受电弓图像中的接触点的像素坐标，包括：
S61：基于每一帧最大的接触网轮廓，得到轮廓的坐标集；
S62：基于公式(1)对轮廓的坐标集进行抽稀处理，得到每一帧的贴合接触网的曲线：
其中，(Xi,yi)为轮廓的一个坐标点对，{a0,a1,…,ai,…,an}是贴合接触网的曲线，ai是包含至少一个坐标点的按照预设分辨率设定的像素点位。
7.根据权利要求1所述的非接触式弓网偏移状态监测方法，其特征在于，所述S9的基于受电弓和接触网之间的相对位移曲线，计算相邻接触点的相对水平位移，并和预设阈值进行比对，进行非接触式弓网偏移状态监测，包括：
S91：基于受电弓和接触网之间的相对位移曲线，得到全部的接触点的坐标集；
S92：基于公式(2)计算相邻接触点的相对水平位移：
其中，x1,x2是两个相邻接触点的坐标对，Σ是全部的相邻接触点的坐标对的协方差矩阵；
S93：基于公式(3)计算水平位移阈值：
A＝dmean+1/2dmax (3)
其中，A是水平位移阈值，dmean是相对水平位移的均值，dmax相对水平位移的最大值；
S94：将相对水平位移和水平位移阈值进行比较，如果超过阈值则进行预警。
8.一种非接触式弓网偏移状态监测装置，其特征在于，所述装置适用于上述权利要求1-7中任意一项的方法，装置包括：
图像集单元：用于获取受电弓图像集，所述受电弓图像集包含至少一帧受电弓图像；
轮廓获取单元：用于将受电弓图像集中的每一帧受电弓图像输入预训练的图像分割模型，得到每一帧受电弓的全部轮廓和每一帧接触网的全部轮廓，所述预训练的图像分割模型是嵌入了SE注意力机制,并添加了PPM模块的轻量化的语义分割网络模型，所述轻量化的语义分割网络模型是基于浅层特征共享方法删除了细节分支的语义分割网络模型；
受电弓轮廓单元：用于对每一帧受电弓的全部轮廓进行筛选滤波，将面积最大的轮廓作为每一帧最大的受电弓轮廓；
接触网轮廓单元：用于对每一帧接触网的全部轮廓进行筛选滤波，将面积最大的轮廓作为每一帧最大的接触网轮廓；
外接矩形单元：用于基于每一帧最大的受电弓轮廓，提取受电弓外接矩形，得到每一帧的受电弓的外接矩形；
抽稀单元：用于将每一帧最大的接触网轮廓，通过抽稀，得到每一帧的贴合接触网的曲线；
接触点单元：用于计算每一帧的受电弓的外接矩形和每一帧的贴合接触网的曲线相交部分的曲线线段，提取所述曲线线段的中心点作为接触点，得到每一帧受电弓图像中的接触点的像素坐标；
位移曲线单元：用于依次连接每一帧受电弓图像中的接触点的像素坐标，得到受电弓和接触网之间的相对位移曲线；
监测单元：用于基于受电弓和接触网之间的相对位移曲线，计算相邻接触点的相对水平位移，并和预设阈值进行比对，进行受电弓和接触网的监测。
9.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311332478.XA CN117408957B (zh) | 2023-10-13 | 2023-10-13 | 一种非接触式弓网偏移状态监测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311332478.XA CN117408957B (zh) | 2023-10-13 | 2023-10-13 | 一种非接触式弓网偏移状态监测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117408957A true CN117408957A (zh) | 2024-01-16 |
| CN117408957B CN117408957B (zh) | 2024-06-11 |
Family
ID=89488220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311332478.XA Active CN117408957B (zh) | 2023-10-13 | 2023-10-13 | 一种非接触式弓网偏移状态监测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117408957B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3195263A1 (en) * | 2014-09-15 | 2017-07-26 | DTI Group Limited | Identification of a contact point between a pantograph and a power supply line in an image |
| CN111563508A (zh) * | 2020-04-20 | 2020-08-21 | 华南理工大学 | 一种基于空间信息融合的语义分割方法 |
| CN114387390A (zh) * | 2021-12-06 | 2022-04-22 | 中国铁路设计集团有限公司 | 接触网设施点云的全自动搜索和提取方法 |
| CN114508998A (zh) * | 2020-11-17 | 2022-05-17 | 合肥中车轨道交通车辆有限公司 | 一种适用于城市轨道交通弓网非接触式硬点检测的方法 |
| CN114549440A (zh) * | 2022-02-11 | 2022-05-27 | 广州科易光电技术有限公司 | 接触网动态几何参数检测方法、装置及电子设备 |
| CN114973089A (zh) * | 2022-05-30 | 2022-08-30 | 福州大学 | 基于图像视觉算法的接触网和受电弓接触点检测方法 |
| CN115049623A (zh) * | 2022-06-20 | 2022-09-13 | 北京中车赛德铁道电气科技有限公司 | 一种视觉分割分析受电弓轮廓的装置 |
| US20230079275A1 (en) * | 2022-04-13 | 2023-03-16 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method and apparatus for training semantic segmentation model, and method and apparatus for performing semantic segmentation on video |
| CN115861870A (zh) * | 2022-11-03 | 2023-03-28 | 成都国佳电气工程有限公司 | 一种受电弓与接触网燃弧视觉检测方法 |
| WO2023148669A1 (en) * | 2022-02-04 | 2023-08-10 | Hitachi Rail Sts S.P.A. | Apparatus and method for monitoring an overhead contact line of a transportation network |
-
2023
- 2023-10-13 CN CN202311332478.XA patent/CN117408957B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3195263A1 (en) * | 2014-09-15 | 2017-07-26 | DTI Group Limited | Identification of a contact point between a pantograph and a power supply line in an image |
| CN111563508A (zh) * | 2020-04-20 | 2020-08-21 | 华南理工大学 | 一种基于空间信息融合的语义分割方法 |
| CN114508998A (zh) * | 2020-11-17 | 2022-05-17 | 合肥中车轨道交通车辆有限公司 | 一种适用于城市轨道交通弓网非接触式硬点检测的方法 |
| CN114387390A (zh) * | 2021-12-06 | 2022-04-22 | 中国铁路设计集团有限公司 | 接触网设施点云的全自动搜索和提取方法 |
| WO2023148669A1 (en) * | 2022-02-04 | 2023-08-10 | Hitachi Rail Sts S.P.A. | Apparatus and method for monitoring an overhead contact line of a transportation network |
| CN114549440A (zh) * | 2022-02-11 | 2022-05-27 | 广州科易光电技术有限公司 | 接触网动态几何参数检测方法、装置及电子设备 |
| US20230079275A1 (en) * | 2022-04-13 | 2023-03-16 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method and apparatus for training semantic segmentation model, and method and apparatus for performing semantic segmentation on video |
| CN114973089A (zh) * | 2022-05-30 | 2022-08-30 | 福州大学 | 基于图像视觉算法的接触网和受电弓接触点检测方法 |
| CN115049623A (zh) * | 2022-06-20 | 2022-09-13 | 北京中车赛德铁道电气科技有限公司 | 一种视觉分割分析受电弓轮廓的装置 |
| CN115861870A (zh) * | 2022-11-03 | 2023-03-28 | 成都国佳电气工程有限公司 | 一种受电弓与接触网燃弧视觉检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117408957B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Inter/intra-category discriminative features for aerial image classification: A quality-aware selection model | |
| CN112101066B (zh) | 目标检测方法和装置及智能驾驶方法、设备和存储介质 | |
| CN110491132B (zh) | 基于视频帧图片分析的车辆违停检测方法及装置 | |
| CN112801008B (zh) | 行人重识别方法、装置、电子设备及可读存储介质 | |
| CN111539986B (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| CN111915583A (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
| CN112633294A (zh) | 基于感知哈希的显著性区域检测方法、设备及存储设备 | |
| CN115272306A (zh) | 利用梯度运算的太阳能电池板栅线增强方法 | |
| CN114627160A (zh) | 一种水下环境探测的方法 | |
| CN117408957B (zh) | 一种非接触式弓网偏移状态监测方法及装置 | |
| CN113378837A (zh) | 车牌遮挡识别方法、装置、电子设备和存储介质 | |
| CN117253150A (zh) | 一种基于高分辨率遥感图像的船舶轮廓提取方法及系统 | |
| Dhar et al. | Interval type-2 fuzzy set and human vision based multi-scale geometric analysis for text-graphics segmentation | |
| KR101241813B1 (ko) | Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법 | |
| CN117011481A (zh) | 构建三维地图的方法、装置、电子设备及存储介质 | |
| CN113762027B (zh) | 一种异常行为的识别方法、装置、设备及存储介质 | |
| CN114494302A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114565753A (zh) | 一种基于改进YOLOv4网络的无人机小目标识别方法 | |
| CN111815658B (zh) | 一种图像识别方法及装置 | |
| CN115497172B (zh) | 钓鱼行为检测方法、装置及边缘处理设备、存储介质 | |
| CN112990207A (zh) | 车牌图像提取方法、装置、系统、存储介质和计算机设备 | |
| CN115431968B (zh) | 车辆控制器、车辆及车辆控制方法 | |
| KR101312306B1 (ko) | 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법 | |
| CN110796698B (zh) | 一种最大面积、最小长宽比的车辆排重方法和装置 | |
| CN113610798A (zh) | 图像检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |