CN112767326A - 钢轨表面缺陷检测方法、装置、设备及存储介质 - Google Patents
钢轨表面缺陷检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112767326A CN112767326A CN202110015496.XA CN202110015496A CN112767326A CN 112767326 A CN112767326 A CN 112767326A CN 202110015496 A CN202110015496 A CN 202110015496A CN 112767326 A CN112767326 A CN 112767326A
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- defect
- rail
- steel rail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 197
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 88
- 239000010959 steel Substances 0.000 title claims abstract description 88
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000003708 edge detection Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 17
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000001629 suppression Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种钢轨表面缺陷检测方法、装置、设备及存储介质。其中，该方法包括：获取图像传感器采集轨道的钢轨图像；基于边缘检测，得到所述钢轨图像对应的缺陷边缘图像；对所述缺陷边缘图像进行边缘生长处理，得到处理后的缺陷边缘轮廓；对所述缺陷边缘轮廓基于轮廓填充，确定钢轨表面缺陷的区域。由于对缺陷边缘图像进行边缘生长处理，使得检测出的具有不清晰轮廓的缺陷所导致的断裂边缘进行连接，恢复了缺陷轮廓检测的完整度，并基于缺陷边缘轮廓基于轮廓填充，可以增强钢轨表面缺陷检测对复杂环境的适应性，利于提升轨道上钢轨表面缺陷检测的可靠性。
Description
技术领域
本发明涉及轨道交通检测领域，尤其涉及一种钢轨表面缺陷检测方法、装置、设备及存储介质。
背景技术
铁路维修在保障乘客安全和铁路运输效率方面起着关键作用。滚动接触疲劳损伤已经变得越来越普遍，而且造成了大量的铁路事故，因此能够通过基于机器视觉的钢轨表面检测装置有效地自动获得钢轨表面缺陷的信息以及时修复受损的铁轨是至关重要的。钢轨表面缺陷检测至今还主要依靠人工视觉巡检，必要时辅助一些简单仪器。这种现行的检测方法带有主观性，所以检测精度差，检测效率低，同时也积极耗费人力物力。直到机器视觉技术应用于钢轨表面缺陷检测，钢轨表面缺陷的高速自动检测才具有可能。
钢轨表面缺陷视觉检测可通过安装在列车底部的线性摄像机高速捕捉钢轨图像，然后通过图像处理方法检测和识别钢轨表面缺陷。因此，设计实现钢轨表面缺陷自动检测方法将有十分重要的意义。其中，实现缺陷精确定位和形状准确分割将是钢轨表面缺陷自动检测方法设计成功的关键。
相关技术中，基于图像处理的钢轨表面缺陷检测方法往往难以适应于钢轨表面背景的多变性场景，比如，钢轨表面由于金属特性会形成轨道图像光照不均的现象，基于灰度特征提取的钢轨表面缺陷检测方法在遇到钢轨表面上存在的与缺陷视觉特征相似的锈迹和污渍的干扰时，检测精度受到影响；此外，利用边缘特征检测缺陷对于缺陷轮廓不清晰的情况下很难实现准确分割；另外，在遇到钢轨表面背景纵向突变时，检测性能也会受到影响。
发明内容
有鉴于此，本发明实施例提供了一种钢轨表面缺陷检测方法、装置、设备及存储介质，旨在有效检测及定位钢轨表面缺陷。
本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供了一种钢轨表面缺陷检测方法，包括：
获取图像传感器采集轨道的钢轨图像；
基于边缘检测，得到所述钢轨图像对应的缺陷边缘图像；
对所述缺陷边缘图像进行边缘生长处理，得到处理后的缺陷边缘轮廓；
对所述缺陷边缘轮廓基于轮廓填充，确定钢轨表面缺陷的区域。
可选地，基于边缘检测，得到所述钢轨图像对应的缺陷边缘图像，包括：
基于高斯滤波器对所述钢轨图像进行去噪；
计算去噪后的图像的梯度和方向；
应用非极大值抑制，细化图像的边缘特征；
应用双阈值检测来确定图像的缺陷边缘，得到缺陷边缘图像。
可选地，所述应用双阈值检测来确定图像的缺陷边缘，包括：
将所述钢轨图像划分为轮轨接触区和沿位于所述轮轨接触区两侧的锈迹区；
对所述轮轨接触区设置第一高阈值和第一低阈值，对所述锈迹区设置第二高阈值和第二低阈值；
其中，所述第一高阈值小于所述第二高阈值，所述第一低阈值小于所述第二低阈值；所述第一低阈值为所述第一高阈值的二分之一，所述第二低阈值为所述第二高阈值的二分之一。
可选地，所述对所述缺陷边缘图像进行边缘生长处理，得到处理后的缺陷边缘轮廓，包括：
滤除所述缺陷边缘图像中的闭合曲线，得到非闭合曲线图像；
提取所述非闭合曲线图像中的端点；
确定所述端点的设定邻域内存在前景点，则对所述端点与所述前景点之间的点进行边缘生长；
对所述边缘生成后的缺陷边缘图像滤除闭合曲线，得到更新的非闭合曲线图像；
判断所述更新的非闭合曲线图像中的非闭合曲线的数目相较于历史的非闭合曲线图像中的非闭合曲线的数目是否变化，若是，则继续进行边缘生长；若否，则停止边缘生长，得到缺陷边缘轮廓。
可选地，所述对所述缺陷边缘轮廓基于轮廓填充，确定钢轨表面缺陷的区域，包括：
将所述钢轨图像沿轨道的纵向划分为多个区域，并对各所述区域建立背景模型；
基于所述钢轨图像与各区域的所述背景模型，求取各区域的背景差分值；
对各区域的背景差分值基于设定分割阈值进行图像分割，得到背景差分图像；
将所述背景差分图像中和所述缺陷边缘轮廓相应位置不存在交集的连通区域滤除，再将经滤波后的背景差分图像和缺陷边缘轮廓相结合，得到背景差分填充图像；
基于泛洪填充的方法对所述背景差分填充图像中剩余的没有被填充完整的缺陷边缘轮廓进行填充，得到钢轨表面缺陷的区域。
可选地，所述基于泛洪填充的方法对所述背景差分填充图像中剩余的没有被填充完整的缺陷边缘轮廓进行填充之后，所述方法还包括：
将填充后的图像中连通区域的像素数目小于设定值的连通区域进行滤除，得到钢轨表面缺陷的区域。
第二方面，本发明实施例还提供了一种钢轨表面缺陷检测装置，包括：
获取模块，用于获取图像传感器采集轨道的钢轨图像；
边缘检测模块，用于基于边缘检测，得到所述钢轨图像对应的缺陷边缘图像；
边缘生长模块，用于对所述缺陷边缘图像进行边缘生长处理，得到处理后的缺陷边缘轮廓；
轮廓填充模块，用于对所述缺陷边缘轮廓基于轮廓填充，确定钢轨表面缺陷的区域。
第三方面，本发明实施例又提供了一种钢轨表面缺陷检测设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器，用于运行计算机程序时，执行本发明实施例所述方法的步骤。
第四方面，本发明实施例还提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本发明实施例所述方法的步骤。
本发明实施例提供的技术方案，获取图像传感器采集轨道的钢轨图像；基于边缘检测，得到钢轨图像对应的缺陷边缘图像；对缺陷边缘图像进行边缘生长处理，得到处理后的缺陷边缘轮廓；对缺陷边缘轮廓基于轮廓填充，确定钢轨表面缺陷的区域。由于对缺陷边缘图像进行边缘生长处理，使得检测出的具有不清晰轮廓的缺陷所导致的断裂边缘进行连接，恢复了缺陷轮廓检测的完整度，并基于缺陷边缘轮廓基于轮廓填充，可以增强钢轨表面缺陷检测对复杂环境的适应性，利于提升轨道上钢轨表面缺陷检测的可靠性。
附图说明
图1为本发明实施例钢轨表面缺陷检测方法的流程示意图；
图2为本发明实施例中轨道的截面示意图；
图3为本发明实施例中轨道区域的划分示意图；
图4为本发明实施例中缺陷轮廓断裂边缘生长示意图；
图5为本发明实施例中轮廓填充的流程示意图；
图6为本发明实施例钢轨表面缺陷检测装置的结构示意图；
图7为本发明实施例钢轨表面缺陷检测设备的结构示意图。
具体实施方式
下面结合附图及实施例对本发明再作进一步详细的描述。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
相关技术中，轨道上的钢轨表面由于金属特性会形成轨道图像光照不均的现象。基于灰度特征提取的钢轨表面缺陷检测方法在遇到钢轨表面上存在的与缺陷视觉特征相似的锈迹和污渍的干扰时，检测精度受到影响；此外，利用边缘特征检测缺陷对于缺陷轮廓不清晰的情况下很难实现准确分割；另外，相关的钢轨表面缺陷检测方法主要考虑了轨道表面灰度纵向一致性，其设定了钢轨表面背景在列车运行方向的灰度值通常是一致的，变化非常小，然而在遇到钢轨表面背景纵向突变时，检测性能也会受到影响。
基于此，在本发明的各种实施例中，获取图像传感器采集轨道的钢轨图像；基于边缘检测，得到钢轨图像对应的缺陷边缘图像；对缺陷边缘图像进行边缘生长处理，得到处理后的缺陷边缘轮廓；对缺陷边缘轮廓基于轮廓填充，确定钢轨表面缺陷的区域。由于对缺陷边缘图像进行边缘生长处理，使得检测出的具有不清晰轮廓的缺陷所导致的断裂边缘进行连接，恢复了缺陷轮廓检测的完整度，并基于缺陷边缘轮廓基于轮廓填充，可以增强钢轨表面缺陷检测对复杂环境的适应性，利于提升轨道上钢轨表面缺陷检测的可靠性。
本发明实施例提供了一种钢轨表面缺陷检测方法，可以应用于钢轨表面缺陷检测设备，如图1所示，包括：
步骤101，获取图像传感器采集轨道的钢轨图像；
步骤102，基于边缘检测，得到所述钢轨图像对应的缺陷边缘图像；
步骤103，对所述缺陷边缘图像进行边缘生长处理，得到处理后的缺陷边缘轮廓；
步骤104，对所述缺陷边缘轮廓基于轮廓填充，确定钢轨表面缺陷的区域。
这里，钢轨表面缺陷检测设备可以连接安装在列车底部的图像传感器(比如，线性摄像机)，获取该图像传感器实时采集的钢轨图像。采集的钢轨图像可以具有设定图像大小，便于后续进行钢轨表面缺陷检测。
示例性地，基于边缘检测，得到所述钢轨图像对应的缺陷边缘图像，包括：
基于高斯滤波器对所述钢轨图像进行去噪；
计算去噪后的图像的梯度和方向；
应用非极大值抑制，细化图像的边缘特征；
应用双阈值检测来确定图像的缺陷边缘，得到缺陷边缘图像。
这里，可以基于Canny边缘检测算法进行图像边缘检测。具体地，可以基于高斯滤波器对所述钢轨图像进行去噪，以平滑图像，滤除噪声。比如，使用高斯滤波器与图像进行卷积，该步骤将平滑图像，以减少边缘检测器上明显的噪声影响。
示例性地，可以基于Prewitt算子(普瑞维特算子)计算去噪后图像的梯度和方向。
在一应用示例中，基于Prewitt算子的横向梯度Sx的计算公式如下：
Sx＝Igauss(x+1，y-1)-Igauss(x-1，y-1)+Igauss(x+1，y)-Igauss(x-1，y)+Igauss(x+1，y+1)-Igauss(x-1，y+1) (1)
基于Prewitt算子的纵向梯度Sy的计算公式如下：
Sy＝Igauss(x-1，y+1)-Igauss(x-1，y-1)+Igauss(x，y+1)-Igauss(x，y-1)+Igauss(x+1，y+1)-Igauss(x+1，y-1) (2)
轨道图像的各像素点的梯度幅值G的计算公式如下：
轨道图像的各像素点的方向θ的计算公式如下：
θ＝arctan(Sx/Sy) (4)
其中，Igauss(x，y)为高斯滤波后的轨道图像在(x，y)处的灰度值。
示例性地，应用非极大值(Non-Maximum Suppression)抑制，细化图像的边缘特征。这里，非极大值抑制是一种边缘稀疏技术，非极大值抑制的作用在于“瘦”边。对图像进行梯度计算后，仅仅基于梯度值提取的边缘仍然很模糊。通过非极大值抑制，可以将局部最大值之外的所有梯度值抑制为零，从而细化图像的边缘特征。
示例性地，所述应用双阈值检测来确定图像的缺陷边缘，包括：
将所述钢轨图像划分为轮轨接触区和沿位于所述轮轨接触区两侧的锈迹区；
对所述轮轨接触区设置第一高阈值和第一低阈值，对所述锈迹区设置第二高阈值和第二低阈值；
其中，所述第一高阈值小于所述第二高阈值，所述第一低阈值小于所述第二低阈值；所述第一低阈值为所述第一高阈值的二分之一，所述第二低阈值为所述第二高阈值的二分之一。
在一应用示例中，如图2及图3所示，将轨道图像划分为轮轨接触区WR和沿位于所述轮轨接触区WR两侧的锈迹区ST。如图2所示，轮轨接触区WR通常处于轨头最平坦的区域AB，而AC和BD的轨头圆弧区域与轮对接触较少，通常被锈迹覆盖。但由于轨头磨耗，列车转弯以及车体振动的影响，AB，AC和BD区域的面积和位置是多变的。因此，如下两个步骤将用来划分轮轨接触区域WR和锈迹区域ST。如图3所示，首先，选取钢轨表面的中心线将轨道图像分为两个左右区域(如图3(a)所示)。示例性地，AB区域可以为钢轨表面中心左右横向20cm范围内的区域，从而可进一步得到AB左右两端的两个轨道区域(即区域AC和区域BD)。在Prewitt算子计算得到的轨道图像的横向梯度图中，可以对图像的每列梯度值取均值，并建立其横向梯度的直方图，如图3(b)所示。根据AB左右两端区域内横向梯度直方图中幅值最大的两个位置，将轨道图像分为三个区域，其中WR为轮轨接触区，ST为锈迹区，如图3(c)所示。
示例性地，对WR区和ST区分别应用如下二值化方法来初步分割缺陷轮廓。由于WR区出现缺陷的概率比ST区高，可以对WR区域设置比ST区域更低的超参数(即双阈值)。
示例性地，WR区的第一高阈值ThWR的边缘分割公式如下：
ThWR＝EaveWR+2.7σWR (5)
其中，EaveWR为WR区的灰度平均值，σWR为WR区的灰度方差。
示例性地，WR区的第一低阈值ThWR的边缘分割公式如下：
示例性地，ST区的第二高阈值ThST的边缘分割公式如下：
ThST＝EaveST+3.8σST (7)
其中，EaveST为ST区的灰度平均值，σST为ST区的灰度方差。
示例性地，ST区的第二低阈值ThWR的边缘分割公式如下：
示例性地，在得到高低阈值(即双阈值)分割后的缺陷边缘图像后，还可以移除弱边缘并连接强边缘，并通过霍夫变换对高低阈值图像中因钢轨表面光照变化较为明显而产生的竖向噪声进行去噪，以得到最终的缺陷边缘图像。
在一些实施例中，所述对所述缺陷边缘图像进行边缘生长处理，得到处理后的缺陷边缘轮廓，包括：
滤除所述缺陷边缘图像中的闭合曲线，得到非闭合曲线图像；
提取所述非闭合曲线图像中的端点；
确定所述端点的设定邻域内存在前景点，则对所述端点与所述前景点之间的点进行边缘生长；
对所述边缘生成后的缺陷边缘图像滤除闭合曲线，得到更新的非闭合曲线图像；
判断所述更新的非闭合曲线图像中的非闭合曲线的数目相较于历史的非闭合曲线图像中的非闭合曲线的数目是否变化，若是，则继续进行边缘生长；若否，则停止边缘生长，得到缺陷边缘轮廓。
在一应用示例中，缺陷边缘图像的缺陷轮廓断裂边缘的边缘生长如图4所示，首先，滤除缺陷边缘图像中的闭合曲线，得到非闭合曲线图像。接着，找到非闭合曲线图像中的端点，并保存。对各端点判断其16邻域内是否存在前景点，如存在，则将该端点与该前景点之间的点的值设置为1，过程及效果如图4(a)所示；如不存在，则判断其25邻域内是否存在前景点，如存在，则将该端点与该前景点之间距离该端点最近的点设置为1，过程及效果如图4(b)所示。当对图像中所有的端点都进行边缘生长后，滤除图像中的闭合曲线，重新生成非闭合曲线图，并判断非闭合曲线的数目是否有变化。如果数目没有变化，此时会停止迭代；如果数目变化，将继续迭代上述步骤。
在一些实施例中，所述对所述缺陷边缘轮廓基于轮廓填充，确定钢轨表面缺陷的区域，包括：
将所述钢轨图像沿轨道的纵向划分为多个区域，并对各所述区域建立背景模型；
基于所述钢轨图像与各区域的所述背景模型，求取各区域的背景差分值；
对各区域的背景差分值基于设定分割阈值进行图像分割，得到背景差分图像；
将所述背景差分图像中和所述缺陷边缘轮廓相应位置不存在交集的连通区域滤除，再将经滤波后的背景差分图像和缺陷边缘轮廓相结合，得到背景差分填充图像；
基于泛洪填充的方法对所述背景差分填充图像中剩余的没有被填充完整的缺陷边缘轮廓进行填充，得到钢轨表面缺陷的区域。
示例性地，所述基于泛洪填充的方法对所述背景差分填充图像中剩余的没有被填充完整的缺陷边缘轮廓进行填充之后，所述方法还包括：
将填充后的图像中连通区域的像素数目小于设定值的连通区域进行滤除，得到钢轨表面缺陷的区域。
示例性，区域的数量可以为八个，在其他示例中，将所述钢轨图像沿轨道的纵向划分的区域的数量可以根据需求进行合理选择，本申请对此不做具体限定。
在一应用示例中，可以将轨道图像纵向分为8块，之后对每一块的每一列取列均值，建立背景模型。
示例性地，第i个区域的第x列中(x，y)处背景模型的灰度值如下：
其中，Lx和Ly分别为轨道图像的横向和纵向长度。
得到背景模型后，将背景模型与原图做差分，得到背景差分值Id(x，y)，具体如下：
其中Ib为背景模型。
接着，再通过二值化方法对差分图像做阈值分割以分割出缺陷区域。
WR区域阈值分割公式如下：
T′hWR＝E′aveWR+2σ′WR (11)
其中，E′aveWR为WR区域的梯度幅值的均值，σ′WR为WR区域的梯度幅值的方差。
ST区域阈值分割公式如下：
T′hST＝E′aveST+2.8σ′ST (12)
其中，E′aveST为ST区域的梯度幅值的均值，σ′ST为ST区域的梯度幅值的方差
阈值分割后得到背景差分图像，背景模型和背景差分图像如图5所示。可以将背景差分图像中和缺陷轮廓图像中相应位置不存在交集的连通区域滤除，再将经滤波后的背景差分图像和缺陷轮廓图像相结合，便得到了背景差分填充图像，如图5所示。之后，再利用泛洪填充的方法对剩余没有被填充完整的缺陷轮廓进行填充，并将图中单个连通区域面积小于10mm2的噪声点或极小的缺陷进行滤除。
其中，Area(DR)为缺陷区域的连通区域的面积。
在本应用示例中，面积为1mm2的区域在图像中占7个像素，因此，可以将在图像中对连通区域像素数目小于70的连通区域进行滤除，得到最终的缺陷填充图像，如图5(e)所示。
本发明实施例方法，可以准确检测出钢轨表面缺陷，同时算法不受钢轨表面的光照不均的影响，抑制了图像中粗糙钢轨表面的噪点，并滤除了轨头两侧的锈迹，准确检测出了钢轨表面缺陷，具有理想的检测效果。
可以理解的时，本发明实施例方法结合了缺陷轮廓的梯度特征和缺陷区域的灰度特征，根据轮轨接触区域对轨道表面进行区域划分后，完成对钢轨表面缺陷的准确分割，成功滤除了钢轨表面的锈迹，污渍等干扰，且不受钢轨表面光照不均的影响。此外，通过边缘生长的方式对检测出的具有不清晰轮廓的缺陷所导致的断裂边缘进行连接，恢复了缺陷轮廓检测的完整度。再次，本发明实施例针对钢轨表面背景多变，时而存在突变的特点，将轨道图像从纵向上划分多个区域进行建模，减缓了传统方法所依赖的轨道表面纵向一致性所带来的在实际复杂环境下适应性不强的问题。
为了实现本发明实施例的方法，本发明实施例还提供一种钢轨表面缺陷检测装置，设置在钢轨表面缺陷检测设备，如图6所示，该钢轨表面缺陷检测装置包括：获取模块601、边缘检测模块602、边缘生长模块603及轮廓填充模块604。获取模块601用于获取图像传感器采集轨道的钢轨图像；边缘检测模块602用于基于边缘检测，得到所述钢轨图像对应的缺陷边缘图像；边缘生长模块603用于对所述缺陷边缘图像进行边缘生长处理，得到处理后的缺陷边缘轮廓；轮廓填充模块604用于对所述缺陷边缘轮廓基于轮廓填充，确定钢轨表面缺陷的区域。
在一些实施例中，边缘检测模块602具体用于：
基于高斯滤波器对所述钢轨图像进行去噪；
计算去噪后的图像的梯度和方向；
应用非极大值抑制，细化图像的边缘特征；
应用双阈值检测来确定图像的缺陷边缘，得到缺陷边缘图像。
在一些实施例中，边缘检测模块602应用双阈值检测来确定图像的缺陷边缘，包括：
将所述钢轨图像划分为轮轨接触区和沿位于所述轮轨接触区两侧的锈迹区；
对所述轮轨接触区设置第一高阈值和第一低阈值，对所述锈迹区设置第二高阈值和第二低阈值；
其中，所述第一高阈值小于所述第二高阈值，所述第一低阈值小于所述第二低阈值；所述第一低阈值为所述第一高阈值的二分之一，所述第二低阈值为所述第二高阈值的二分之一。
在一些实施例中，边缘生长模块603具体用于：
滤除所述缺陷边缘图像中的闭合曲线，得到非闭合曲线图像；
提取所述非闭合曲线图像中的端点；
确定所述端点的设定邻域内存在前景点，则对所述端点与所述前景点之间的点进行边缘生长；
对所述边缘生成后的缺陷边缘图像滤除闭合曲线，得到更新的非闭合曲线图像；
判断所述更新的非闭合曲线图像中的非闭合曲线的数目相较于历史的非闭合曲线图像中的非闭合曲线的数目是否变化，若是，则继续进行边缘生长；若否，则停止边缘生长，得到缺陷边缘轮廓。
在一些实施例中，轮廓填充模块604具体用于：
将所述钢轨图像沿轨道的纵向划分为多个区域，并对各所述区域建立背景模型；
基于所述钢轨图像与各区域的所述背景模型，求取各区域的背景差分值；
对各区域的背景差分值基于设定分割阈值进行图像分割，得到背景差分图像；
将所述背景差分图像中和所述缺陷边缘轮廓相应位置不存在交集的连通区域滤除，再将经滤波后的背景差分图像和缺陷边缘轮廓相结合，得到背景差分填充图像；
基于泛洪填充的方法对所述背景差分填充图像中剩余的没有被填充完整的缺陷边缘轮廓进行填充，得到钢轨表面缺陷的区域。
在一些实施例中，轮廓填充模块604还用于：
将填充后的图像中连通区域的像素数目小于设定值的连通区域进行滤除，得到钢轨表面缺陷的区域。
实际应用时，获取模块601、边缘检测模块602、边缘生长模块603及轮廓填充模块604，可以由钢轨表面缺陷检测装置中的处理器来实现。当然，处理器需要运行存储器中的计算机程序来实现它的功能。
需要说明的是：上述实施例提供的钢轨表面缺陷检测装置在进行钢轨表面缺陷检测时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的钢轨表面缺陷检测装置与钢轨表面缺陷检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于上述程序模块的硬件实现，且为了实现本发明实施例的方法，本发明实施例还提供一种钢轨表面缺陷检测设备。图7仅仅示出了该设备的示例性结构而非全部结构，根据需要可以实施图7示出的部分结构或全部结构。
如图7所示，本发明实施例提供的设备700包括：至少一个处理器701、存储器702、用户接口703和至少一个网络接口704。钢轨表面缺陷检测设备700中的各个组件通过总线系统705耦合在一起。可以理解，总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统705。
其中，用户接口703可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
本发明实施例中的存储器702用于存储各种类型的数据以支持钢轨表面缺陷检测设备的操作。这些数据的示例包括：用于在钢轨表面缺陷检测设备上操作的任何计算机程序。
本发明实施例揭示的钢轨表面缺陷检测方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，钢轨表面缺陷检测方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(DSP，DigitalSignal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器701可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成本发明实施例提供的钢轨表面缺陷检测方法的步骤。
在示例性实施例中，钢轨表面缺陷检测设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、FPGA、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现，用于执行前述方法。
可以理解，存储器702可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在示例性实施例中，本发明实施例还提供了一种存储介质，即计算机存储介质，具体可以是计算机可读存储介质，例如包括存储计算机程序的存储器702，上述计算机程序可由钢轨表面缺陷检测设备的处理器701执行，以完成本发明实施例方法所述的步骤。计算机可读存储介质可以是ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种钢轨表面缺陷检测方法，其特征在于，包括：
获取图像传感器采集轨道的钢轨图像；
基于边缘检测，得到所述钢轨图像对应的缺陷边缘图像；
对所述缺陷边缘图像进行边缘生长处理，得到处理后的缺陷边缘轮廓；
对所述缺陷边缘轮廓基于轮廓填充，确定钢轨表面缺陷的区域。
2.根据权利要求1所述的方法，其特征在于，所述基于边缘检测，得到所述钢轨图像对应的缺陷边缘图像，包括：
基于高斯滤波器对所述钢轨图像进行去噪；
计算去噪后的图像的梯度和方向；
应用非极大值抑制，细化图像的边缘特征；
应用双阈值检测来确定图像的缺陷边缘，得到缺陷边缘图像。
3.根据权利要求2所述的方法，其特征在于，所述应用双阈值检测来确定图像的缺陷边缘，包括：
将所述钢轨图像划分为轮轨接触区和沿位于所述轮轨接触区两侧的锈迹区；
对所述轮轨接触区设置第一高阈值和第一低阈值，对所述锈迹区设置第二高阈值和第二低阈值；
其中，所述第一高阈值小于所述第二高阈值，所述第一低阈值小于所述第二低阈值；所述第一低阈值为所述第一高阈值的二分之一，所述第二低阈值为所述第二高阈值的二分之一。
4.根据权利要求1所述的方法，其特征在于，所述对所述缺陷边缘图像进行边缘生长处理，得到处理后的缺陷边缘轮廓，包括：
滤除所述缺陷边缘图像中的闭合曲线，得到非闭合曲线图像；
提取所述非闭合曲线图像中的端点；
确定所述端点的设定邻域内存在前景点，则对所述端点与所述前景点之间的点进行边缘生长；
对所述边缘生成后的缺陷边缘图像滤除闭合曲线，得到更新的非闭合曲线图像；
判断所述更新的非闭合曲线图像中的非闭合曲线的数目相较于历史的非闭合曲线图像中的非闭合曲线的数目是否变化，若是，则继续进行边缘生长；若否，则停止边缘生长，得到缺陷边缘轮廓。
5.根据权利要求2所述的方法，其特征在于，所述对所述缺陷边缘轮廓基于轮廓填充，确定钢轨表面缺陷的区域，包括：
将所述钢轨图像沿轨道的纵向划分为多个区域，并对各所述区域建立背景模型；
基于所述钢轨图像与各区域的所述背景模型，求取各区域的背景差分值；
对各区域的背景差分值基于设定分割阈值进行图像分割，得到背景差分图像；
将所述背景差分图像中和所述缺陷边缘轮廓相应位置不存在交集的连通区域滤除，再将经滤波后的背景差分图像和缺陷边缘轮廓相结合，得到背景差分填充图像；
基于泛洪填充的方法对所述背景差分填充图像中剩余的没有被填充完整的缺陷边缘轮廓进行填充，得到钢轨表面缺陷的区域。
6.根据权利要求5所述的方法，其特征在于，所述基于泛洪填充的方法对所述背景差分填充图像中剩余的没有被填充完整的缺陷边缘轮廓进行填充之后，所述方法还包括：
将填充后的图像中连通区域的像素数目小于设定值的连通区域进行滤除，得到钢轨表面缺陷的区域。
7.一种钢轨表面缺陷检测装置，其特征在于，包括：
获取模块，用于获取图像传感器采集轨道的钢轨图像；
边缘检测模块，用于基于边缘检测，得到所述钢轨图像对应的缺陷边缘图像；
边缘生长模块，用于对所述缺陷边缘图像进行边缘生长处理，得到处理后的缺陷边缘轮廓；
轮廓填充模块，用于对所述缺陷边缘轮廓基于轮廓填充，确定钢轨表面缺陷的区域。
8.一种钢轨表面缺陷检测设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，
所述处理器，用于运行计算机程序时，执行权利要求1至6任一项所述方法的步骤。
9.一种存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110015496.XA CN112767326B (zh) | 2021-01-07 | 2021-01-07 | 钢轨表面缺陷检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110015496.XA CN112767326B (zh) | 2021-01-07 | 2021-01-07 | 钢轨表面缺陷检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767326A true CN112767326A (zh) | 2021-05-07 |
| CN112767326B CN112767326B (zh) | 2024-03-15 |
Family
ID=75700339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110015496.XA Active CN112767326B (zh) | 2021-01-07 | 2021-01-07 | 钢轨表面缺陷检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767326B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537015A (zh) * | 2021-07-06 | 2021-10-22 | 中国国家铁路集团有限公司 | 一种钢轨擦伤的识别方法、巡检的方法及相关装置 |
| CN114166855A (zh) * | 2022-02-11 | 2022-03-11 | 南京邮电大学 | 一种实时铁轨缺陷检测方法 |
| CN115661143A (zh) * | 2022-12-14 | 2023-01-31 | 惠州威尔高电子有限公司 | 用于MiniLED晶圆缺陷的快速检测系统 |
| CN116152234A (zh) * | 2023-04-18 | 2023-05-23 | 山东阁林板建材科技有限公司 | 基于图像处理的模板端面缺陷识别方法 |
| CN116934746A (zh) * | 2023-09-14 | 2023-10-24 | 常州微亿智造科技有限公司 | 划伤缺陷检测方法、系统、设备及其介质 |
| CN117351011A (zh) * | 2023-12-04 | 2024-01-05 | 歌尔股份有限公司 | 屏幕缺陷检测方法、设备和可读存储介质 |
| CN117392066A (zh) * | 2023-09-26 | 2024-01-12 | 钛玛科（北京）工业科技有限公司 | 缺陷检测方法、装置、设备及存储介质 |
| TWI843654B (zh) * | 2023-09-19 | 2024-05-21 | 東和鋼鐵企業股份有限公司 | 型鋼端部變形檢測系統 |
| CN118196085A (zh) * | 2024-05-15 | 2024-06-14 | 沈阳欧施盾新材料科技有限公司 | 一种高压气瓶的凹坑缺陷检测方法、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030099397A1 (en) * | 1996-07-05 | 2003-05-29 | Masakazu Matsugu | Image extraction apparatus and method |
| EP2770322A1 (en) * | 2013-02-26 | 2014-08-27 | C.R.F. Società Consortile per Azioni | Method and system for detecting defects in painting of components, in particular of motor-vehicle bodies |
| JP2015059854A (ja) * | 2013-09-19 | 2015-03-30 | セントラル硝子株式会社 | 欠陥検査方法及び欠陥検査装置 |
| CN107618533A (zh) * | 2017-09-29 | 2018-01-23 | 兰州交通大学 | 一种钢轨表面离散缺陷的机器视觉检测装置及方法 |
| CN111667462A (zh) * | 2020-05-12 | 2020-09-15 | 常熟理工学院 | 一种焊接缺陷中弱小目标的自动检测方法与系统 |
-
2021
- 2021-01-07 CN CN202110015496.XA patent/CN112767326B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030099397A1 (en) * | 1996-07-05 | 2003-05-29 | Masakazu Matsugu | Image extraction apparatus and method |
| EP2770322A1 (en) * | 2013-02-26 | 2014-08-27 | C.R.F. Società Consortile per Azioni | Method and system for detecting defects in painting of components, in particular of motor-vehicle bodies |
| JP2015059854A (ja) * | 2013-09-19 | 2015-03-30 | セントラル硝子株式会社 | 欠陥検査方法及び欠陥検査装置 |
| CN107618533A (zh) * | 2017-09-29 | 2018-01-23 | 兰州交通大学 | 一种钢轨表面离散缺陷的机器视觉检测装置及方法 |
| CN111667462A (zh) * | 2020-05-12 | 2020-09-15 | 常熟理工学院 | 一种焊接缺陷中弱小目标的自动检测方法与系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘宏立，刘伟，马子骥，李艳福: "线路各种形态下的有效钢轨轮廓实时识别方法", 铁道学报, vol. 42, no. 12, 31 December 2020 (2020-12-31), pages 0106 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537015A (zh) * | 2021-07-06 | 2021-10-22 | 中国国家铁路集团有限公司 | 一种钢轨擦伤的识别方法、巡检的方法及相关装置 |
| CN114166855A (zh) * | 2022-02-11 | 2022-03-11 | 南京邮电大学 | 一种实时铁轨缺陷检测方法 |
| CN115661143A (zh) * | 2022-12-14 | 2023-01-31 | 惠州威尔高电子有限公司 | 用于MiniLED晶圆缺陷的快速检测系统 |
| CN116152234A (zh) * | 2023-04-18 | 2023-05-23 | 山东阁林板建材科技有限公司 | 基于图像处理的模板端面缺陷识别方法 |
| CN116152234B (zh) * | 2023-04-18 | 2023-08-01 | 山东阁林板建材科技有限公司 | 基于图像处理的模板端面缺陷识别方法 |
| CN116934746A (zh) * | 2023-09-14 | 2023-10-24 | 常州微亿智造科技有限公司 | 划伤缺陷检测方法、系统、设备及其介质 |
| CN116934746B (zh) * | 2023-09-14 | 2023-12-01 | 常州微亿智造科技有限公司 | 划伤缺陷检测方法、系统、设备及其介质 |
| TWI843654B (zh) * | 2023-09-19 | 2024-05-21 | 東和鋼鐵企業股份有限公司 | 型鋼端部變形檢測系統 |
| CN117392066A (zh) * | 2023-09-26 | 2024-01-12 | 钛玛科（北京）工业科技有限公司 | 缺陷检测方法、装置、设备及存储介质 |
| CN117351011A (zh) * | 2023-12-04 | 2024-01-05 | 歌尔股份有限公司 | 屏幕缺陷检测方法、设备和可读存储介质 |
| CN117351011B (zh) * | 2023-12-04 | 2024-03-12 | 歌尔股份有限公司 | 屏幕缺陷检测方法、设备和可读存储介质 |
| CN118196085A (zh) * | 2024-05-15 | 2024-06-14 | 沈阳欧施盾新材料科技有限公司 | 一种高压气瓶的凹坑缺陷检测方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767326B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767326B (zh) | 钢轨表面缺陷检测方法、装置、设备及存储介质 | |
| CN107808378B (zh) | 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法 | |
| CN107194919B (zh) | 基于规律纹理背景重建的手机屏幕缺陷检测方法 | |
| CN103839268B (zh) | 一种地铁隧道表面裂缝的检测方法 | |
| CN114723681B (zh) | 一种基于机器视觉的混凝土裂缝缺陷检测方法 | |
| CN111027546B (zh) | 一种字符分割方法、装置以及计算机可读存储介质 | |
| CN112767399B (zh) | 半导体焊线缺陷检测方法、电子设备及存储介质 | |
| CN112669265B (zh) | 基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法 | |
| CN111046862A (zh) | 一种字符分割方法、装置以及计算机可读存储介质 | |
| CN111127381B (zh) | 一种受电弓滑板不平行检测方法 | |
| CN104732510A (zh) | 一种相机镜头黑斑检测方法及装置 | |
| CN116309562B (zh) | 一种板卡缺陷识别方法及系统 | |
| CN112288717A (zh) | 一种动车组列车侧部异物检测方法 | |
| CN117593290A (zh) | 列车360度动态图像监测系统的螺栓松动检测方法及设备 | |
| CN112330667B (zh) | 一种基于形态学的激光条纹中心线提取方法 | |
| CN114332095A (zh) | 一种基于多层结构的细胞分割方法、装置及电子设备 | |
| CN113516608B (zh) | 轮胎的缺陷检测方法和检测装置、轮胎检测设备 | |
| CN111105409B (zh) | 基于图像处理的钢轨光带自动检测方法、设备及系统 | |
| Cai et al. | PCB defect detection system based on image processing | |
| CN113378847B (zh) | 字符分割方法、系统、计算机设备和存储介质 | |
| Danilescu et al. | Road anomalies detection using basic morphological algorithms | |
| CN113674180B (zh) | 磨砂平面低对比度缺陷检测方法、装置、设备和存储介质 | |
| CN112116658B (zh) | 扣件定位方法、装置及可读存储介质 | |
| CN113537015A (zh) | 一种钢轨擦伤的识别方法、巡检的方法及相关装置 | |
| Velten et al. | Application of a brightness-adapted edge detector for real-time railroad tie detection in video images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |