CN116147525B - 一种基于改进icp算法的受电弓轮廓检测方法及系统 - Google Patents

一种基于改进icp算法的受电弓轮廓检测方法及系统 Download PDF

Info

Publication number
CN116147525B
CN116147525B CN202310404235.6A CN202310404235A CN116147525B CN 116147525 B CN116147525 B CN 116147525B CN 202310404235 A CN202310404235 A CN 202310404235A CN 116147525 B CN116147525 B CN 116147525B
Authority
CN
China
Prior art keywords
point
point cloud
laser
pantograph
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310404235.6A
Other languages
English (en)
Other versions
CN116147525A (zh
Inventor
朱俊霖
查显春
赵文巘
吴泽宇
漆琛
袁堂文
张哲�
卢月
刘宁
邢宗义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202310404235.6A priority Critical patent/CN116147525B/zh
Publication of CN116147525A publication Critical patent/CN116147525A/zh
Application granted granted Critical
Publication of CN116147525B publication Critical patent/CN116147525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种基于改进ICP算法的受电弓轮廓检测方法及系统,该方法为:受电弓滑板上方左、右两侧分别部署一个激光测距仪;两个激光测距仪连续采集受电弓滑板轮廓数据;将两个激光测距仪连续采集的数据分别转换成3D数据,得到两片三维点云;特征点识别:对两片三维点云中的磨耗区域进行特征点提取;点云融合:根据得到的特征点,利用广义相关熵改进ICP算法,结合距离约束实现两片三维点云的配准,完成受电弓轮廓检测。所述系统包括两个激光测距仪、数据处理计算模块,数据处理计算模块包括三维点云生成单元、特征点识别单元和点云融合单元。本发明成本低、原理简单、实用性强,对物理位置的依赖低,消除了因安装或者设备位移导致的误差。

Description

一种基于改进ICP算法的受电弓轮廓检测方法及系统
技术领域
本发明涉及车辆检测技术领域,特别是一种基于改进ICP算法的受电弓轮廓检测方法及系统。
背景技术
受电弓是城轨列车获取动力来源的重要装置之一,其运行状态直接关系到列车的行车安全,随着列车向行车高速化、密集化方向不断发展,研究可靠的检测方法,及时、准确的检测受电弓滑板状态对于保障行车安全具有重要意义。
目前,国内的受电弓检测主要分为接触式人工检测和非接触式检测两种方式。人工检测法是由地铁工作人员登顶列车进行检测;非接触式检测法的主要方式有图像检测法和激光检测法。
接触式人工检测需要在列车回库、接触网断电的情况下登顶测量,日检主要检查受电弓羊角完整性和滑板是否存在明显裂纹,而滑板剩余厚度检测一般安排在月检中,检测准确性严重依赖于检测工人的熟练度,并且检测效率低。另外对于滑板剩余厚度的检测,仅仅只对滑板上的某些固定位置进行,而无法获取完整的滑板厚度数据。
非接触式检测法是当下研究的热点,国内外已经有很多学者和研究人员提出了检测方案。这些检测方案可以分为2D和3D,对于2D的检测技术,二维图像可以检测滑板磨耗和羊角变形、缺失等,检测内容不够全面,精度也不高,而二维激光虽然精度更好,但是只能用来检测磨耗,更为单一。对于3D检测技术,可以检测的内容相比二维就更为丰富,比如滑板的掉块、姿态分析等。
由于滑板的特殊外形,单个激光机器很难独立完成测量,因此需要多个机器配合工作。因此,对于滑板表面状态的检测,至关重要的一步就是将多个视角的三维数据融合成一个,才能进行后续的检测。
三维数据融合最常用的方法是ICP算法,但是,原始的ICP算法具有以下许多缺点和局限性:第一,原始ICP算法对点云之间的初始位姿要求很高,初始配准直接影响算法的收敛速度;第二,在点云较大时,ICP算法的时间复杂度较高。第三,当目标点云中没有对应的点时,很容易造成错误匹配。目前普遍的解决方法是将ICP算法结合外推法KD树和Anderson加速度来加速ICP,以及使用NDT作为粗匹配算法,再使用ICP作为精细匹配以提高整体的准确度,但是对于非高斯噪声该方法的匹配精度还是存在一定缺陷。
发明内容
本发明的目的在于提供一种结构简单、实用性强、可靠性强、检测精度高的基于改进ICP算法的受电弓轮廓检测方法及系统,以解决目前受电弓滑板检测系统功能不完善、安装要求高的问题。
实现本发明目的的技术解决方案为:一种基于改进ICP算法的受电弓轮廓检测方法,其特征在于,包括以下步骤:
步骤1,受电弓滑板上方左、右两侧分别部署一个激光测距仪;
步骤2,两个激光测距仪连续采集受电弓滑板轮廓数据;
步骤3,生成三维点云:将步骤2中两个激光测距仪连续采集的数据分别转换成3D数据,得到两片三维点云;
步骤4,特征点识别:对两片三维点云中的磨耗区域进行特征点提取;
步骤5,点云融合:根据步骤4得到的特征点,利用广义相关熵改进ICP算法,结合距离约束实现两片三维点云的配准,完成受电弓轮廓检测。
一种基于改进ICP算法的受电弓轮廓检测系统,包括两个激光测距仪、数据处理计算模块,所述数据处理计算模块包括三维点云生成单元、特征点识别单元和点云融合单元,其中:
两个激光测距仪,分别部署在受电弓滑板上方左、右两侧,两个激光测距仪连续采集受电弓滑板轮廓数据;
三维点云生成单元,将两个激光测距仪连续采集的数据分别转换成3D数据,得到两片三维点云;
特征点识别单元,对两片三维点云中的磨耗区域进行特征点提取;
点云融合单元,利用广义相关熵改进ICP算法,结合距离约束实现两片三维点云的配准,完成受电弓轮廓检测。
本发明与现有技术相比,其显著优点在于:(1)使用改进ICP算法进行点云融合,对于安装的要求降低,即使安装时有一些偏差或者使用一段时间后装置发生偏移仍然能用正常工作;(2)将相关熵作为相似性度量,对于非高斯噪声具有较强的抑制能力,提高配准的精确度;(3)使用特征点迭代结合距离约束,及时剔除错误的对应点,提高运行效率以及配准准确性,为实现列车受电弓三维检测提供了一种有效的解决方案。
附图说明
图1是本发明一种基于改进ICP算法的受电弓轮廓检测方法的流程图。
图2是本发明一种基于改进ICP算法的受电弓轮廓检测方法的设备布设图。
图3是本发明两个2D激光测距仪与受电弓的相对距离示意图。
图4是本发明激光测距仪S1对应的三维点云示意图。
图5是本发明激光测距仪S2对应的三维点云示意图。
图6是本发明激光测距仪S1对应的三维点云的特征点检测图。
图7是本发明激光测距仪S2对应的三维点云的特征点检测图。
图8是本发明中融合后的滑板三维点云示意图。
具体实施方式
本发明的目的在于提供一种结构简单、实用性强、可靠性强、检测精度高的受电弓点云融合方法,为了使本发明的技术方案能更清晰地表示出来,下面结合附图对本发明作进一步说明。
结合图1,本发明一种基于改进ICP算法的受电弓轮廓检测方法,包括以下步骤:
步骤1,受电弓滑板上方左、右两侧分别部署一个激光测距仪;
步骤2,两个激光测距仪连续采集受电弓滑板轮廓数据;
步骤3,生成三维点云:将步骤2中两个激光测距仪连续采集的数据分别转换成3D数据,得到两片三维点云;
步骤4,特征点识别:对两片三维点云中的磨耗区域进行特征点提取;
步骤5,点云融合:根据步骤4得到的特征点,利用广义相关熵改进ICP算法,结合距离约束实现两片三维点云的配准,完成受电弓轮廓检测。
作为一种具体示例,步骤1所述受电弓滑板上方左、右两侧分别部署一个激光测距仪,具体如下:
两个激光测距仪分别为激光测距仪S1、激光测距仪S2,二者均采用基于三角测量原理的2D激光测距仪;
所述激光测距仪S1、激光测距仪S2的检测区域存在重合部分,以获取完整的受电弓滑板表面磨耗曲线;
所述激光测距仪S1、激光测距仪S2位于同一水平高度,水平方向相距480mm;所述激光测距仪S1、激光测距仪S2的激光发射方向与水平方向垂直,垂直方向距离受电弓滑板1000mm,两激光平面在同一平面上。
作为一种具体示例,步骤2所述采集受电弓滑板轮廓数据时,受电弓保持匀速前进,激光测距仪S1、激光测距仪S2连续交替工作,所述激光测距仪S1、激光测距仪S2分别采集受电弓部分轮廓数据。
作为一种具体示例,步骤3所述生成三维点云,具体为:激光测距仪自身坐标系为平面坐标系O-XY,水平方向为X轴,垂直方向为Y轴,滑板前进方向为Z轴;通过受电弓前进速度结合激光测距仪S1、激光测距仪S2工作频率,从Z坐标为0开始,计算出每帧数据的Z轴坐标位置,将Z轴信息添加到原有数据帧,生成三维点云。
作为一种具体示例,步骤4所述特征点识别,具体步骤如下:
(4.1)计算表面法向量:利用点的K邻域构建出点的局部平面,该局部平面视为点的切平面,该切平面的法向量即为该点的法向量;
对于任意点
Figure SMS_1
,其邻域点集合记为/>
Figure SMS_2
,邻域点集合的中心点/>
Figure SMS_3
计算公式如下:
Figure SMS_4
其中,
Figure SMS_5
为邻域点集合中的第/>
Figure SMS_6
个点,/>
Figure SMS_7
,/>
Figure SMS_8
为邻域点集合中的邻域点总数;
设邻域点集合
Figure SMS_9
的协方差矩阵为/>
Figure SMS_10
,采用高斯权重,协方差矩阵/>
Figure SMS_11
的表示如下:
Figure SMS_12
其中,
Figure SMS_13
表示权重参数,/>
Figure SMS_14
的大小与点云密度有关;
记解协方差矩阵
Figure SMS_15
的特征值为/>
Figure SMS_16
和特征向量/>
Figure SMS_17
,特征值和特征向量的计算公式如下:
Figure SMS_18
由此得到三个特征向量
Figure SMS_19
,对应的特征向量分别是/>
Figure SMS_20
;得到的协方差矩阵/>
Figure SMS_21
是一个半正定矩阵,也是一个对称矩阵,因此,/>
Figure SMS_22
是实数,三个特征向量形成一个正交坐标系;
假设
Figure SMS_23
,通过最小二乘平面拟合估计算法,求出由点/>
Figure SMS_26
和法向量/>
Figure SMS_29
表示的切平面/>
Figure SMS_24
,对于/>
Figure SMS_28
中的任一点/>
Figure SMS_30
,定义从点/>
Figure SMS_31
到平面/>
Figure SMS_25
的距离/>
Figure SMS_27
为:
Figure SMS_32
Figure SMS_35
=0时,/>
Figure SMS_36
为最小二乘平面,设/>
Figure SMS_38
的重心为/>
Figure SMS_34
,则有:/>
Figure SMS_37
,则协方差矩阵A的最小特征值/>
Figure SMS_39
对应的特征向量/>
Figure SMS_40
就是/>
Figure SMS_33
的近似;
引入方向约束:
Figure SMS_41
其中,
Figure SMS_42
是点/>
Figure SMS_43
处的法向量,/>
Figure SMS_44
是整体点云的基准方向,保证法向量的朝向一致;
(4.2)计算法向量夹角:对于任一点
Figure SMS_45
,邻域点集合记为/>
Figure SMS_46
,点/>
Figure SMS_47
与其邻域点/>
Figure SMS_48
的法向量夹角/>
Figure SMS_49
的计算公式如下:
Figure SMS_50
其中,
Figure SMS_51
是点/>
Figure SMS_52
的邻域点,/>
Figure SMS_53
是点/>
Figure SMS_54
处的法向量;
记特征度量为
Figure SMS_55
,表达式为:
Figure SMS_56
设置阈值
Figure SMS_57
,当/>
Figure SMS_58
时,该点/>
Figure SMS_59
作为特征点。
作为一种具体示例,步骤5所述点云融合,具体为:
将激光测距仪S1对应的点云作为基准点云
Figure SMS_62
,/>
Figure SMS_63
为点云Q的点的个数,/>
Figure SMS_65
表示点云Q中的第j个数据点;将激光测距仪S2对应的点云作为目标点云
Figure SMS_61
,/>
Figure SMS_64
为点云P的点的个数,/>
Figure SMS_66
表示点云P中的第i个数据点;在多次迭代中,寻找变换/>
Figure SMS_67
,使得目标点云在该变换下与基准点云融合,目标函数/>
Figure SMS_60
为:
Figure SMS_68
Figure SMS_69
其中
Figure SMS_71
为尺度变换,是一个常量;/>
Figure SMS_73
是旋转变换矩阵,/>
Figure SMS_75
是平移变换矩阵,/>
Figure SMS_72
是对乘正定核的核宽,/>
Figure SMS_74
是/>
Figure SMS_76
的匹配索引点,/>
Figure SMS_77
是/>
Figure SMS_70
的单位矩阵,det()表示行列式。
作为一种具体示例,步骤5所述点云融合的具体步骤如下:
(5.1)建立索引匹配:为两片点云建立索引匹配,即为目标点云中的每一个点在基准点云中找到距离最近的点;
为基准点云创建KD树,对于任意的
Figure SMS_78
,通过KD树寻找Q中距离最近的点,记为
Figure SMS_79
,/>
Figure SMS_80
,则/>
Figure SMS_81
即为索引匹配:
Figure SMS_82
其中
Figure SMS_83
为上一次迭代中的变换参数,/>
Figure SMS_84
为点云p内数据点的个数;
(5.2)计算旋转变换:平移变换具有相对独立性,计算旋转变换和尺度变换时,先消除平移变换,简化目标函数,简化后的目标函数为:
Figure SMS_85
其中
Figure SMS_86
表示权重,/>
Figure SMS_87
利用半二次优化辅助化简上式,得到:
Figure SMS_88
其中,
Figure SMS_89
tr( )表示矩阵的迹,
Figure SMS_90
利用SVD分解,设
Figure SMS_91
,其中U和V是标准的正交矩阵,/>
Figure SMS_92
是一个3×3的对角矩阵,其特征值从大到小排列,且全部非负,最后得到R的计算公式为:
Figure SMS_93
其中,
Figure SMS_94
为第/>
Figure SMS_95
次迭代的旋转矩阵,D=diag(/>
Figure SMS_96
)是一个对角矩阵,/>
Figure SMS_97
为1或-1,/>
Figure SMS_98
表示U的转置;
(5.3)计算尺度变换:对于给定的R,使
Figure SMS_99
最大化等价于使/>
Figure SMS_100
最大化:
Figure SMS_101
Figure SMS_102
求导,得到:
Figure SMS_103
其中,
Figure SMS_104
为第/>
Figure SMS_105
次迭代的尺度变换;
(5.4)计算平移变换:平移变换的计算公式由旋转变换和尺度变换求出:
Figure SMS_106
其中,
Figure SMS_107
为第/>
Figure SMS_108
次迭代的平移变换;
(5.5)判断终止条件,如果满足下式或者达到最大迭代次数,则终止迭代,否则返回(5.1)继续迭代:
Figure SMS_109
其中,
Figure SMS_110
是设置的足够小的整数,表示阈值。
本发明一种基于改进ICP算法的受电弓轮廓检测系统,包括两个激光测距仪、数据处理计算模块,所述数据处理计算模块包括三维点云生成单元、特征点识别单元和点云融合单元,其中:
两个激光测距仪,分别部署在受电弓滑板上方左、右两侧,两个激光测距仪连续采集受电弓滑板轮廓数据;
三维点云生成单元,将两个激光测距仪连续采集的数据分别转换成3D数据,得到两片三维点云;
特征点识别单元,对两片三维点云中的磨耗区域进行特征点提取;
点云融合单元,利用广义相关熵改进ICP算法,结合距离约束实现两片三维点云的配准,完成受电弓轮廓检测。
作为一种具体示例,两个激光测距仪分别为激光测距仪S1、激光测距仪S2,二者均采用基于三角测量原理的2D激光测距仪。
作为一种具体示例,所述激光测距仪S1、激光测距仪S2的检测区域存在重合部分,以获取完整的受电弓滑板表面磨耗曲线;
所述激光测距仪S1、激光测距仪S2位于同一水平高度,水平方向相距480mm;所述激光测距仪S1、激光测距仪S2的激光发射方向与水平方向垂直,垂直方向距离受电弓滑板1000mm,两激光平面在同一平面上。
下面结合具体实施例对本发明做进一步详细说明。
实施例
图2为一种基于改进ICP算法的受电弓轮廓检测方法的设备布设图。结合图2,本发明一种基于改进ICP算法的受电弓轮廓检测方法,包括2D激光测距仪S1、2D激光测距仪S2,两个2D激光测距仪位于同一水平高度,激光方向与水平方向垂直,两激光平面在同一平面上。所述两个2D激光测距仪分别发射一条激光线,照射在受电弓滑板表面,分别形成一条表面轮廓曲线。所述2D激光测距仪S1、2D激光测距仪S2均采用基于三角测量原理的2D激光测距仪。
图3为所述一种基于改进ICP算法的受电弓轮廓检测方法的设备具体安装尺寸图,所述两个2D激光测距仪水平方向相距480mm,激光方向与水平方向垂直,垂直方向高度距离受电弓滑板1000mm。
结合图4~图7,本发明一种基于改进ICP算法的受电弓轮廓检测方法,包括以下步骤:
步骤1,安装:两个2D激光测距仪安装于横梁上时,可以根据横梁上开孔的位置保证其相对位置,但是实际安装测试过程往往无法保证其相对位置完全等同于设计,基本相同即可。本设计所提出的算法就是为了解决这个问题。
步骤2,采集数据:采集受电弓滑板轮廓数据时,2D激光测距仪S1、S2交替连续工作,防止激光线相互干扰,2D激光测距仪S1、S2分别采集多条受电弓部分轮廓数据。
步骤3,生成三维点云:通过受电弓前进速度结合激光测距仪工作频率,计算出每帧数据的z轴坐标位置,将y轴信息添加到原有数据帧,生成三维点云。
步骤4,特征点识别:包括以下两个步骤
(1)计算表面法向量:利用点的K邻域构建出点的局部平面,该平面可以视为点的切平面,该平面的法向量即为该点的法向量。
对于任意点
Figure SMS_111
,其邻域点集合记为/>
Figure SMS_112
,邻域点集合的中心点/>
Figure SMS_113
计算公式如下:
Figure SMS_114
其中,
Figure SMS_115
为邻域点集合中的第/>
Figure SMS_116
个点,/>
Figure SMS_117
,/>
Figure SMS_118
为邻域点集合中的邻域点总数;
设邻域点集合
Figure SMS_119
的协方差矩阵为/>
Figure SMS_120
,采用高斯权重,协方差矩阵/>
Figure SMS_121
的表示如下:
Figure SMS_122
其中,
Figure SMS_123
表示权重参数,/>
Figure SMS_124
的大小与点云密度有关;
记解协方差矩阵
Figure SMS_125
的特征值为/>
Figure SMS_126
和特征向量/>
Figure SMS_127
,特征值和特征向量的计算公式如下:
Figure SMS_128
由此得到三个特征向量
Figure SMS_129
,对应的特征向量分别是/>
Figure SMS_130
;得到的协方差矩阵/>
Figure SMS_131
是一个半正定矩阵,也是一个对称矩阵,因此,/>
Figure SMS_132
是实数,三个特征向量形成一个正交坐标系;
假设
Figure SMS_134
,通过最小二乘平面拟合估计算法,求出由点/>
Figure SMS_138
和法向量/>
Figure SMS_140
表示的切平面/>
Figure SMS_135
,对于/>
Figure SMS_137
中的任一点/>
Figure SMS_139
,定义从点/>
Figure SMS_141
到平面/>
Figure SMS_133
的距离/>
Figure SMS_136
为:
Figure SMS_142
Figure SMS_145
=0时,/>
Figure SMS_146
为最小二乘平面,设/>
Figure SMS_148
的重心为/>
Figure SMS_143
,则有:/>
Figure SMS_147
,则协方差矩阵A的最小特征值/>
Figure SMS_149
对应的特征向量/>
Figure SMS_150
就是/>
Figure SMS_144
的近似;
引入方向约束:
Figure SMS_151
其中,
Figure SMS_152
是点/>
Figure SMS_153
处的法向量,/>
Figure SMS_154
是整体点云的基准方向,保证法向量的朝向一致。
(2)计算法向量夹角:对于任一点
Figure SMS_155
,邻域点集合记为/>
Figure SMS_156
,点/>
Figure SMS_157
与其邻域点/>
Figure SMS_158
的法向量夹角/>
Figure SMS_159
的计算公式如下:
Figure SMS_160
其中,
Figure SMS_161
是点/>
Figure SMS_162
的邻域点,/>
Figure SMS_163
是点/>
Figure SMS_164
处的法向量;
记特征度量为
Figure SMS_165
,表达式为:
Figure SMS_166
设置阈值
Figure SMS_167
,当/>
Figure SMS_168
时,该点/>
Figure SMS_169
作为特征点。
步骤5,点云融合:将激光测距仪S1对应的点云作为基准点云
Figure SMS_172
,/>
Figure SMS_174
为点云Q的点的个数,/>
Figure SMS_176
表示点云Q中的第j个数据点;将激光测距仪S2对应的点云作为目标点云/>
Figure SMS_171
,/>
Figure SMS_173
为点云P的点的个数,/>
Figure SMS_175
表示点云P中的第i个数据点;在多次迭代中,寻找变换/>
Figure SMS_177
,使得目标点云在该变换下与基准点云融合,目标函数/>
Figure SMS_170
为:
Figure SMS_178
Figure SMS_179
其中
Figure SMS_182
为尺度变换,是一个常量;/>
Figure SMS_184
是旋转变换矩阵,/>
Figure SMS_186
是平移变换矩阵,/>
Figure SMS_181
是对乘正定核的核宽,/>
Figure SMS_183
是/>
Figure SMS_185
的匹配索引点,/>
Figure SMS_187
是/>
Figure SMS_180
的单位矩阵,det()表示行列式。
具体步骤如下:
(1)建立索引匹配:为两片点云建立索引匹配,即为目标点云中的每一个点在基准点云中找到距离最近的点;
为基准点云创建KD树,对于任意的
Figure SMS_188
,通过KD树寻找Q中距离最近的点,记为
Figure SMS_189
,/>
Figure SMS_190
,则/>
Figure SMS_191
即为索引匹配:
Figure SMS_192
其中
Figure SMS_193
为上一次迭代中的变换参数,/>
Figure SMS_194
为点云p内数据点的个数;。
(2)计算旋转变换:平移变换具有相对独立性,计算旋转变换和尺度变换时,先消除平移变换,简化目标函数。简化后的目标函数为:
Figure SMS_195
其中
Figure SMS_196
表示权重,/>
Figure SMS_197
利用半二次优化辅助化简上式,得到:
Figure SMS_198
其中,
Figure SMS_199
tr( )表示矩阵的迹,
Figure SMS_200
利用SVD分解,设
Figure SMS_201
,其中U和V是标准的正交矩阵,/>
Figure SMS_202
是一个3×3的对角矩阵,其特征值从大到小排列,且全部非负,最后得到R的计算公式为:
Figure SMS_203
其中,
Figure SMS_204
为第/>
Figure SMS_205
次迭代的旋转矩阵,D=diag(/>
Figure SMS_206
)是一个对角矩阵,/>
Figure SMS_207
为1或-1,/>
Figure SMS_208
表示U的转置。
(3)计算尺度变换:对于给定的R,使
Figure SMS_209
最大化等价于使/>
Figure SMS_210
最大化:
Figure SMS_211
Figure SMS_212
求导,得到:
Figure SMS_213
其中,
Figure SMS_214
为第/>
Figure SMS_215
次迭代的尺度变换;
(4)计算平移变换:平移矩阵的计算公式由旋转变换和尺度变换求出:
Figure SMS_216
其中,
Figure SMS_217
为第/>
Figure SMS_218
次迭代的平移变换。
(5)判断终止条件,如果满足下式或者达到最大迭代次数,则终止迭代,否则返回(5.1)继续迭代:
Figure SMS_219
其中,
Figure SMS_220
是设置的足够小的整数,表示阈值。
本发明一种基于改进ICP算法的受电弓轮廓检测系统,包括两个激光测距仪、数据处理计算模块,所述数据处理计算模块包括三维点云生成单元、特征点识别单元和点云融合单元,其中:
两个激光测距仪,分别部署在受电弓滑板上方左、右两侧,两个激光测距仪连续采集受电弓滑板轮廓数据;
三维点云生成单元,将两个激光测距仪连续采集的数据分别转换成3D数据,得到两片三维点云;
特征点识别单元,对两片三维点云中的磨耗区域进行特征点提取;
点云融合单元,利用广义相关熵改进ICP算法,结合距离约束实现两片三维点云的配准,完成受电弓轮廓检测。
作为一种具体示例,两个激光测距仪分别为激光测距仪S1、激光测距仪S2,二者均采用基于三角测量原理的2D激光测距仪。
作为一种具体示例,所述激光测距仪S1、激光测距仪S2的检测区域存在重合部分,以获取完整的受电弓滑板表面磨耗曲线;
所述激光测距仪S1、激光测距仪S2位于同一水平高度,水平方向相距480mm;所述激光测距仪S1、激光测距仪S2的激光发射方向与水平方向垂直,垂直方向距离受电弓滑板1000mm,两激光平面在同一平面上。
本发明的有益效果在于:测量装置只需要两个2D激光测距仪即可实现对受电弓滑板表面状态检测,原理简单;激光测量提高了检测精度和可靠性,收外界环境影响小,并且可以实现更高精度的检测;使用改进ICP算法进行点云融合,对于安装的要求降低,即使安装时有一些偏差或者使用一段时间后装置发生偏移仍然能用正常工作。为实现列车受电弓三维检测提供了一种有效的解决方案。
以上所述实例仅表达了本发明的一种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属千本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于改进ICP算法的受电弓轮廓检测方法,其特征在于,包括以下步骤:
步骤1,受电弓滑板上方左、右两侧分别部署一个激光测距仪;
步骤2,两个激光测距仪连续采集受电弓滑板轮廓数据;
步骤3,生成三维点云:将步骤2中两个激光测距仪连续采集的数据分别转换成3D数据,得到两片三维点云;
步骤4,特征点识别:对两片三维点云中的磨耗区域进行特征点提取;
步骤5,点云融合:根据步骤4得到的特征点,利用广义相关熵改进ICP算法,结合距离约束实现两片三维点云的配准,完成受电弓轮廓检测;
步骤4所述特征点识别,具体步骤如下:
(4.1)计算表面法向量:利用点的K邻域构建出点的局部平面,该局部平面视为点的切平面,该切平面的法向量即为该点的法向量;
对于任意点
Figure QLYQS_1
,其邻域点集合记为/>
Figure QLYQS_2
,邻域点集合的中心点/>
Figure QLYQS_3
计算公式如下:
Figure QLYQS_4
其中,
Figure QLYQS_5
为邻域点集合中的第/>
Figure QLYQS_6
个点,/>
Figure QLYQS_7
,/>
Figure QLYQS_8
为邻域点集合中的邻域点总数;
设邻域点集合
Figure QLYQS_9
的协方差矩阵为/>
Figure QLYQS_10
,采用高斯权重,协方差矩阵/>
Figure QLYQS_11
的表示如下:
Figure QLYQS_12
其中,
Figure QLYQS_13
表示权重参数,/>
Figure QLYQS_14
的大小与点云密度有关;
记解协方差矩阵
Figure QLYQS_15
的特征值为/>
Figure QLYQS_16
和特征向量/>
Figure QLYQS_17
,特征值和特征向量的计算公式如下:
Figure QLYQS_18
由此得到三个特征向量
Figure QLYQS_19
,对应的特征向量分别是/>
Figure QLYQS_20
;得到的协方差矩阵/>
Figure QLYQS_21
是一个半正定矩阵,也是一个对称矩阵,因此,/>
Figure QLYQS_22
是实数,三个特征向量形成一个正交坐标系;
假设
Figure QLYQS_24
,通过最小二乘平面拟合估计算法,求出由点/>
Figure QLYQS_27
和法向量/>
Figure QLYQS_29
表示的切平面/>
Figure QLYQS_25
,对于/>
Figure QLYQS_28
中的任一点/>
Figure QLYQS_30
,定义从点/>
Figure QLYQS_31
到平面/>
Figure QLYQS_23
的距离/>
Figure QLYQS_26
为:
Figure QLYQS_32
Figure QLYQS_34
=0时,/>
Figure QLYQS_36
为最小二乘平面,设/>
Figure QLYQS_38
的重心为/>
Figure QLYQS_35
,则有:/>
Figure QLYQS_37
,则协方差矩阵A的最小特征值/>
Figure QLYQS_39
对应的特征向量/>
Figure QLYQS_40
就是/>
Figure QLYQS_33
的近似;
引入方向约束:
Figure QLYQS_41
其中,
Figure QLYQS_42
是点/>
Figure QLYQS_43
处的法向量,/>
Figure QLYQS_44
是整体点云的基准方向,保证法向量的朝向一致;
(4.2)计算法向量夹角:对于任一点
Figure QLYQS_45
,邻域点集合记为/>
Figure QLYQS_46
,点/>
Figure QLYQS_47
与其邻域点/>
Figure QLYQS_48
的法向量夹角/>
Figure QLYQS_49
的计算公式如下:
Figure QLYQS_50
其中,
Figure QLYQS_51
是点/>
Figure QLYQS_52
的邻域点,/>
Figure QLYQS_53
是点/>
Figure QLYQS_54
处的法向量;
记特征度量为
Figure QLYQS_55
,表达式为:
Figure QLYQS_56
设置阈值
Figure QLYQS_57
,当/>
Figure QLYQS_58
时,该点/>
Figure QLYQS_59
作为特征点;
步骤5所述点云融合,具体为:
将激光测距仪S1对应的点云作为基准点云
Figure QLYQS_61
,/>
Figure QLYQS_63
为点云Q的点的个数,/>
Figure QLYQS_65
表示点云Q中的第j个数据点;将激光测距仪S2对应的点云作为目标点云
Figure QLYQS_62
,/>
Figure QLYQS_64
为点云P的点的个数,/>
Figure QLYQS_66
表示点云P中的第i个数据点;在多次迭代中,寻找变换/>
Figure QLYQS_67
,使得目标点云在该变换下与基准点云融合,目标函数/>
Figure QLYQS_60
为:
Figure QLYQS_68
Figure QLYQS_69
其中
Figure QLYQS_71
为尺度变换,是一个常量;/>
Figure QLYQS_73
是旋转变换矩阵,/>
Figure QLYQS_75
是平移变换矩阵,/>
Figure QLYQS_72
是对乘正定核的核宽,/>
Figure QLYQS_74
是/>
Figure QLYQS_76
的匹配索引点,/>
Figure QLYQS_77
是/>
Figure QLYQS_70
的单位矩阵,det()表示行列式;
步骤5所述点云融合的具体步骤如下:
(5.1)建立索引匹配:为两片点云建立索引匹配,即为目标点云中的每一个点在基准点云中找到距离最近的点;
为基准点云创建KD树,对于任意的
Figure QLYQS_78
,通过KD树寻找Q中距离最近的点,记为/>
Figure QLYQS_79
,/>
Figure QLYQS_80
,则/>
Figure QLYQS_81
即为索引匹配:
Figure QLYQS_82
其中
Figure QLYQS_83
为上一次迭代中的变换参数,/>
Figure QLYQS_84
为点云p内数据点的个数;
(5.2)计算旋转变换:平移变换具有相对独立性,计算旋转变换和尺度变换时,先消除平移变换,简化目标函数,简化后的目标函数为:
Figure QLYQS_85
其中
Figure QLYQS_86
表示权重,/>
Figure QLYQS_87
利用半二次优化辅助化简上式,得到:
Figure QLYQS_88
其中,
Figure QLYQS_89
tr( )表示矩阵的迹,
Figure QLYQS_90
利用SVD分解,设
Figure QLYQS_91
,其中U和V是标准的正交矩阵,/>
Figure QLYQS_92
是一个3×3的对角矩阵,其特征值从大到小排列,且全部非负,最后得到R的计算公式为:
Figure QLYQS_93
其中,
Figure QLYQS_94
为第/>
Figure QLYQS_95
次迭代的旋转矩阵,D=diag(/>
Figure QLYQS_96
)是一个对角矩阵,/>
Figure QLYQS_97
为1或-1,/>
Figure QLYQS_98
表示U的转置;
(5.3)计算尺度变换:对于给定的R,使
Figure QLYQS_99
最大化等价于使/>
Figure QLYQS_100
最大化:
Figure QLYQS_101
Figure QLYQS_102
求导,得到:
Figure QLYQS_103
其中,
Figure QLYQS_104
为第/>
Figure QLYQS_105
次迭代的尺度变换;
(5.4)计算平移变换:平移变换的计算公式由旋转变换和尺度变换求出:
Figure QLYQS_106
其中,
Figure QLYQS_107
为第/>
Figure QLYQS_108
次迭代的平移变换;
(5.5)判断终止条件,如果满足下式或者达到最大迭代次数,则终止迭代,否则返回(5.1)继续迭代:
Figure QLYQS_109
其中,
Figure QLYQS_110
是设置的整数,表示阈值。
2.根据权利要求1所述的基于改进ICP算法的受电弓轮廓检测方法,其特征在于,步骤1所述受电弓滑板上方左、右两侧分别部署一个激光测距仪,具体如下:
两个激光测距仪分别为激光测距仪S1、激光测距仪S2,二者均采用基于三角测量原理的2D激光测距仪;
所述激光测距仪S1、激光测距仪S2的检测区域存在重合部分,以获取完整的受电弓滑板表面磨耗曲线;
所述激光测距仪S1、激光测距仪S2位于同一水平高度,水平方向相距480mm;所述激光测距仪S1、激光测距仪S2的激光发射方向与水平方向垂直,垂直方向距离受电弓滑板1000mm,两激光平面在同一平面上。
3.根据权利要求2所述的基于改进ICP算法的受电弓轮廓检测方法,其特征在于,步骤2所述采集受电弓滑板轮廓数据时,受电弓保持匀速前进,激光测距仪S1、激光测距仪S2连续交替工作,所述激光测距仪S1、激光测距仪S2分别采集受电弓部分轮廓数据。
4.根据权利要求1所述的基于改进ICP算法的受电弓轮廓检测方法,其特征在于,步骤3所述生成三维点云,具体为:激光测距仪自身坐标系为平面坐标系O-XY,水平方向为X轴,垂直方向为Y轴,滑板前进方向为Z轴;通过受电弓前进速度结合激光测距仪S1、激光测距仪S2工作频率,从Z坐标为0开始,计算出每帧数据的Z轴坐标位置,将Z轴信息添加到原有数据帧,生成三维点云。
5.一种基于改进ICP算法的受电弓轮廓检测系统,其特征在于,该系统用于实现权利要求1至4中任一项所述的基于改进ICP算法的受电弓轮廓检测方法,所述系统具体包括两个激光测距仪、数据处理计算模块,所述数据处理计算模块包括三维点云生成单元、特征点识别单元和点云融合单元,其中:
两个激光测距仪,分别部署在受电弓滑板上方左、右两侧,两个激光测距仪连续采集受电弓滑板轮廓数据;
三维点云生成单元,将两个激光测距仪连续采集的数据分别转换成3D数据,得到两片三维点云;
特征点识别单元,对两片三维点云中的磨耗区域进行特征点提取;
点云融合单元,利用广义相关熵改进ICP算法,结合距离约束实现两片三维点云的配准,完成受电弓轮廓检测。
6.根据权利要求5所述的基于改进ICP算法的受电弓轮廓检测系统,其特征在于,两个激光测距仪分别为激光测距仪S1、激光测距仪S2,二者均采用基于三角测量原理的2D激光测距仪。
7.根据权利要求6所述的基于改进ICP算法的受电弓轮廓检测系统,其特征在于,所述激光测距仪S1、激光测距仪S2的检测区域存在重合部分,以获取完整的受电弓滑板表面磨耗曲线;
所述激光测距仪S1、激光测距仪S2位于同一水平高度,水平方向相距480mm;所述激光测距仪S1、激光测距仪S2的激光发射方向与水平方向垂直,垂直方向距离受电弓滑板1000mm,两激光平面在同一平面上。
CN202310404235.6A 2023-04-17 2023-04-17 一种基于改进icp算法的受电弓轮廓检测方法及系统 Active CN116147525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310404235.6A CN116147525B (zh) 2023-04-17 2023-04-17 一种基于改进icp算法的受电弓轮廓检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310404235.6A CN116147525B (zh) 2023-04-17 2023-04-17 一种基于改进icp算法的受电弓轮廓检测方法及系统

Publications (2)

Publication Number Publication Date
CN116147525A CN116147525A (zh) 2023-05-23
CN116147525B true CN116147525B (zh) 2023-07-04

Family

ID=86354592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310404235.6A Active CN116147525B (zh) 2023-04-17 2023-04-17 一种基于改进icp算法的受电弓轮廓检测方法及系统

Country Status (1)

Country Link
CN (1) CN116147525B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333526A (zh) * 2023-09-06 2024-01-02 重庆中车四方所智能装备技术有限公司 单轨车受电弓铜基滑块厚度测量方法、存储介质及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862176A (zh) * 2020-07-13 2020-10-30 西安交通大学 基于腭皱襞的三维口腔点云正畸前后精确配准方法
CN114693619A (zh) * 2022-03-18 2022-07-01 杭州申昊科技股份有限公司 刚性接触网磨耗检测方法、设备和存储介质
CN114881900A (zh) * 2022-04-15 2022-08-09 南京理工大学 一种基于特征匹配和渐入渐出融合的受电弓图像拼接方法
CN114935308A (zh) * 2022-04-29 2022-08-23 南京理工大学 一种基于曲线配准算法的列车受电弓磨耗检测方法
WO2023019709A1 (zh) * 2021-08-19 2023-02-23 中国铁路设计集团有限公司 基于车载移动激光点云的接触网导高与拉出值自动检测方法
CN115797418A (zh) * 2022-09-27 2023-03-14 湖南科技大学 一种基于改进icp的复杂机械零件测量点云配准方法及系统
CN115876109A (zh) * 2022-12-01 2023-03-31 西南交通大学 一种基于2d激光测量的地铁受电弓磨耗检测新方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6450971B2 (ja) * 2015-01-30 2019-01-16 株式会社明電舎 トロリ線摩耗測定装置およびトロリ線摩耗測定方法
ITUA20162698A1 (it) * 2016-04-19 2017-10-19 Mer Mec S P A Sistema ottico per la misura della forza di contatto tra il pantografo e la catenaria
CN108868268B (zh) * 2018-06-05 2020-08-18 西安交通大学 基于点到面距离和互相关熵配准的无人车位姿估计方法
KR102242653B1 (ko) * 2018-11-16 2021-04-21 한국과학기술원 지상 로봇의 움직임을 고려한 강인한 레이저 스캐너 매칭 방법 및 그 장치
CN110211129B (zh) * 2019-05-17 2021-05-11 西安财经学院 基于区域分割的低覆盖点云配准算法
EP4025452A1 (en) * 2019-09-03 2022-07-13 Schweizerische Bundesbahnen SBB Device and method for detecting wear and/or damage on a pantograph
CN110717900B (zh) * 2019-09-27 2023-03-31 南京理工大学 基于改进Canny边缘检测算法的受电弓磨耗检测方法
KR102406845B1 (ko) * 2020-04-13 2022-06-10 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN113884002B (zh) * 2021-08-16 2023-08-29 江苏集萃智能光电系统研究所有限公司 基于二三维信息融合的受电弓滑板上表面检测系统及方法
CN114170279B (zh) * 2021-11-30 2024-08-16 哈尔滨工程大学 一种基于激光扫描的点云配准方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862176A (zh) * 2020-07-13 2020-10-30 西安交通大学 基于腭皱襞的三维口腔点云正畸前后精确配准方法
WO2023019709A1 (zh) * 2021-08-19 2023-02-23 中国铁路设计集团有限公司 基于车载移动激光点云的接触网导高与拉出值自动检测方法
CN114693619A (zh) * 2022-03-18 2022-07-01 杭州申昊科技股份有限公司 刚性接触网磨耗检测方法、设备和存储介质
CN114881900A (zh) * 2022-04-15 2022-08-09 南京理工大学 一种基于特征匹配和渐入渐出融合的受电弓图像拼接方法
CN114935308A (zh) * 2022-04-29 2022-08-23 南京理工大学 一种基于曲线配准算法的列车受电弓磨耗检测方法
CN115797418A (zh) * 2022-09-27 2023-03-14 湖南科技大学 一种基于改进icp的复杂机械零件测量点云配准方法及系统
CN115876109A (zh) * 2022-12-01 2023-03-31 西南交通大学 一种基于2d激光测量的地铁受电弓磨耗检测新方法

Also Published As

Publication number Publication date
CN116147525A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
Liu et al. A high-precision detection approach for catenary geometry parameters of electrical railway
CN103557788B (zh) 一种高铁接触网接几何参数检测非接触式补偿及卡尔曼滤波修正方法
CN108107444B (zh) 基于激光数据的变电站异物识别方法
CN116147525B (zh) 一种基于改进icp算法的受电弓轮廓检测方法及系统
CN102798362B (zh) 一种基于点云数据的铸件加工余量估计方法
CN107246849A (zh) 一种基于双测头四轴测量系统的叶片光学快速测量方法
CN110030950A (zh) 一种轨道车辆全动态包络限界测试系统
CN103617328A (zh) 一种飞机三维姿态解算方法
CN105066915A (zh) 模具曲面加工误差和表面粗糙度在机检测装置及检测方法
CN106127250A (zh) 一种基于三维点云数据的人脸质量评估方法
CN102920459A (zh) 一种基于三维点云的人体围度参数测量方法
CN109186461A (zh) 一种箱体大小的测量方法及测量设备
CN107401979A (zh) 一种用于接触网检测的车体振动位移补偿装置及方法
CN115112044A (zh) 一种基于多线结构光点云数据的轮对尺寸测量方法
CN108534765B (zh) 一种轨道线路坐标测量方法
Lu et al. A novel subpixel edge detection method of pantograph slide in complicated surroundings
CN113267122B (zh) 一种基于3d视觉传感器的工业零件尺寸测量方法
CN101592484A (zh) 一种电力线的测距方法
CN114897777A (zh) 顾及空间关系的接触网支撑设施激光点云全自动提取方法
Zhang et al. A LiDAR-intensity SLAM and loop closure detection method using an intensity cylindrical-projection shape context descriptor
CN103552570A (zh) 一种铁路轨道平顺性检测的车载近景摄影测量方法
CN112581521B (zh) 一种磁浮轨道中心线提取方法
CN106289281A (zh) 一种基于三证据ds理论的双模式地图匹配方法
CN109084697A (zh) 感应板廓形检测方法和结构
CN114935308B (zh) 一种基于曲线配准算法的列车受电弓磨耗检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant