CN112857252A - 一种基于反射率强度的隧道影像边界线检测方法 - Google Patents

一种基于反射率强度的隧道影像边界线检测方法 Download PDF

Info

Publication number
CN112857252A
CN112857252A CN202110037470.5A CN202110037470A CN112857252A CN 112857252 A CN112857252 A CN 112857252A CN 202110037470 A CN202110037470 A CN 202110037470A CN 112857252 A CN112857252 A CN 112857252A
Authority
CN
China
Prior art keywords
tunnel
image
reflectivity
boundary line
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110037470.5A
Other languages
English (en)
Other versions
CN112857252B (zh
Inventor
汪俊
刘树亚
鲁德宁
徐剑敏
易程
李大伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Metro Group Co ltd
Nanjing University of Aeronautics and Astronautics
Original Assignee
Shenzhen Metro Group Co ltd
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Metro Group Co ltd, Nanjing University of Aeronautics and Astronautics filed Critical Shenzhen Metro Group Co ltd
Priority to CN202110037470.5A priority Critical patent/CN112857252B/zh
Publication of CN112857252A publication Critical patent/CN112857252A/zh
Application granted granted Critical
Publication of CN112857252B publication Critical patent/CN112857252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于反射率强度的隧道影像边界线检测方法，包括：采用三维激光扫描仪对隧道进行扫描，获取隧道原始三维点云数据；基于隧道原始三维点云数据，提取隧道中轴线；基于提取的隧道中轴线，将隧道原始三维点云数据进行展开，投影至参数平面形成隧道反射率影像；利用隧道反射率影像的局部信息对隧道反射率影像各像素的强度值进行调整，以增强隧道反射率影像的边界特征；基于增强后的隧道反射率影像，提取影像中的边界线特征。本发明能够通过对隧道反射率影像中局部区域的反射率强度信息的处理，可明显增强隧道影像中的边界特征，从而进一步提高隧道边界线提取的准确性，为隧道形变分析奠定重要的基础。

Description

一种基于反射率强度的隧道影像边界线检测方法
技术领域
本发明涉及隧道检测技术领域，具体而言涉及一种基于反射率强度的隧道影像边界线检测方法。
背景技术
随着城市轨道交通越来越普遍，其安全性也越来越受到重视。其中，隧道交通在城市轨道交通中占有重要地位。然而，由于持续受到地下压力及路面施工等因素的影响，地铁隧道可能发生形变，从而导致渗水、裂缝及掉块等问题。这些问题不仅会影响地铁运行的可靠性，甚至还会引发重大的安全事故。因此对地铁隧道进行及时准确的检测是保证隧道交通安全运营的重要基础。
随着三维激光扫描技术在隧道领域的广泛应用，隧道三维点云及激光反射率影像提高了隧道的形变分析的效率和准确度。通过隧道反射率影像，可快速提取隧道边界线，从而定位隧道中的各个管片块的位置，对隧道形变分析具有重要作用。然而，由于隧道边界线结构特征不明显，且扫描过程中产生大量的噪声数据，严重影响了边界线的提取和隧道结构形变检测的效率和精度。目前，虽然有一些方法能够对实际影像中的明显边界线特征进行提取，但是对于边界线特征不明显的隧道影像而言，现有方法仍无法准确提取，原因是隧道影像中边界线特征和影像背景的对比度较小且噪声程度较高，现有方法无法准确识别和检测，最终并不能提高边界线的检测效率。
因此，亟待发明出一种基于反射率强度信息的隧道影像边界线检测方法。
发明内容
本发明针对现有技术中的不足，提供一种基于反射率强度的隧道影像边界线检测方法，通过对隧道反射率影像中局部区域的反射率强度信息的处理，可明显增强隧道影像中的边界特征，从而进一步提高隧道边界线提取的准确性，为隧道形变分析奠定重要的基础。
为实现上述目的，本发明采用以下技术方案：
一种基于反射率强度的隧道影像边界线检测方法，所述检测方法包括以下步骤：
S1：采用三维激光扫描仪对隧道进行扫描，获取隧道原始三维点云数据；
S2：基于隧道原始三维点云数据，提取隧道中轴线；
S3：基于提取的隧道中轴线，将隧道原始三维点云数据进行展开，投影至参数平面形成隧道反射率影像；
S4：利用隧道反射率影像的局部信息对隧道反射率影像各像素的强度值进行调整，以增强隧道反射率影像的边界特征；
S5：基于增强后的隧道反射率影像，提取影像中的边界线特征。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤S2中，所述基于隧道原始三维点云数据，提取隧道中轴线的过程包括以下步骤：
采用高斯映射对隧道原始三维点云数据进行圆柱拟合，提取拟合得到的圆柱轴线Al＝(x0,y0,z0)作为隧道中轴线；
式中，(x0,y0,z0)为单位方向向量，x0,y0,z0分别为该向量在三维坐标系各坐标轴上的分量。
进一步地，步骤S3中，所述基于提取的隧道中轴线，将隧道原始三维点云数据进行展开，投影至参数平面形成隧道反射率影像的过程包括以下步骤：
基于提取的隧道中轴线Al，采用等角正切投影，将隧道原始三维点云数据展开至二维平面，生成隧道反射率影像。
进一步地，步骤S4中，所述利用隧道反射率影像的局部信息对隧道反射率影像各像素的强度值进行调整，以增强隧道反射率影像的边界特征的过程包括以下步骤：
S41：选择所述隧道反射率影像中的任意一个像素点p(i,j)，提取其邻域像素集合Nr(p(i,j))，i和j分别为选取像素点的行号和列号；
S42：计算所述邻域像素集合Nr(p(i,j))的平均强度值Ar(p(i,j))：
Figure BDA0002893808410000021
其中，|Nr(p(i,j))|表示Nr(p(i,j))中像素的个数；Nr(p(i,j))x表示Nr(p(i,j))集合中第x个像素；I(·)表示某一像素的强度值。
S43：计算所述邻域像素集合Nr(p(i,j))的强度值标准差σr(p(i,j))：
Figure BDA0002893808410000022
S44：基于p(i,j)像素的邻域集合Nr(p(i,j))及其平均强度值Ar(p(i,j))，重新计算p(i,j)像素的强度值I(p(i,j))′：
Figure BDA0002893808410000023
其中，U是调整影像增强程度的比例因子；p(m,n)∈Nr(p(i,j))。
S45：重复步骤S41至S44，遍历隧道反射率影像的所有像素，最终得到增强后的隧道反射率影像。
进一步地，步骤S5中，所述基于增强后的隧道反射率影像，提取影像中的边界线特征的过程包括以下步骤：
采用LSD直线检测算法对增强后的隧道反射率影像中的边界线进行检测和提取。
本发明的有益效果是：
本发明通过对隧道反射率影像中局部区域的反射率强度信息的处理，可明显增强隧道影像中的边界特征，从而进一步提高隧道边界线提取的准确性，为隧道形变分析奠定重要的基础。
附图说明
图1是本发明的基于反射率强度的隧道影像边界线检测方法流程图。
图2是本发明具体实施例中的隧道三维点云图。
图3是本发明具体实施例中生成的隧道反射率影像图。
图4是本发明具体实施例中增强后的隧道反射率影像图。
图5是本发明具体实施例中基于增强后隧道影像的边界线检测结果图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
结合图1，本实例提供了一种基于反射率强度信息的隧道影像边界线检测方法，具体步骤如下：
1)采用三维激光扫描仪对隧道进行扫描，获取隧道原始三维点云数据，如图2所示。
2)基于隧道三维点云数据，提取隧道中轴线。
3)基于提取的隧道中轴线，将隧道三维数据进行展开，投影至参数平面形成反射率影像。
4)基于隧道反射率影像的局部信息对影像进行增强，突出其边界特征。
5)基于增强后的隧道影像，提取影像中的边界线特征。
本实施例能实现隧道反射率影像的边界线检测方法，如图5所示，在增强后的隧道影像上准确提取边界线特征，从而可准确定位隧道管片块，提高隧道形变分析的准确性。
在上述实施方式中，基于隧道三维点云数据，提取隧道中轴线，包括：基于获取的隧道三维点云数据，应用高斯映射对所述隧道点云进行圆柱拟合，提取圆柱轴线Al＝(x0,y0,z0)作为所述隧道中轴线。
具体地，首先通过主成分分析法计算隧道三维点云中每个点的法线信息，并通过高斯映射法将隧道三维点云的法线信息映射至高斯球上，在球面上得到一系列映射点。基于该映射点集进行最小二乘平面拟合，并将拟合平面的法线作为隧道中轴线Al＝(x0,y0,z0)。
进一步地，将隧道三维数据进行展开，投影至参数平面形成反射率影像，包括：基于提取的隧道中轴线Al，采用等角正切投影，将隧道三维点云展开至二维平面，生成隧道反射率影像，如图3所示。图3中存在大量的噪声信号且边界线特征不明显，如果直接对图3进行边界线提取处理，很容易提取到错误的边界线信息。
进一步地，基于隧道反射率影像的局部信息对影像进行增强，突出其边界特征，包括：在所述隧道反射率影像中，给定反射率影像中的一点p(i,j)，提取其邻域像素(邻域半径设置为50个像素)集合Nr(p(i,j))；计算所述邻域集合Nr(p(i,j))的平均强度值Ar(p(i,j))：
Figure BDA0002893808410000041
其中，|Nr(p(i,j))|表示Nr(p(i,j))中像素的个数；Nr(p(i,j))x表示Nr(p(i,j))集合中第x个像素；I(·)表示某一像素的强度值。进一步地，计算所述邻域集合Nr(p(i,j))的强度值标准差σr(p(i,j))：
Figure BDA0002893808410000042
基于p(i,j)像素的邻域集合Nr(p(i,j))、其平均强度值Ar(p(i,j))及其强度值标准差σr(p(i,j))，重新计算p(i,j)像素的强度值I(p(i,j))′：
Figure BDA0002893808410000043
其中，U是调整影像增强程度的比例因子(在本例中，可设置为15)；p(m,n)∈Nr(p(i,j))。基于上述隧道影像增强公式，遍历隧道影像所有像素，最终得到增强后的隧道反射率影像，如图4所示。采用前述方法，除了可以增强边界线和其邻域区域的对比度，从而突显边界线之外，更重要的是，对于噪声信号，可以进一步减弱其与边界线相似的特性，例如图3中下半区域的灰色横线区域，经增强处理后，增强了其噪声特性，避免被错认为边界线。其他噪声也类似，本发明通过增强噪声信号的噪声特性，从而减弱其具有的类似的边界线特征，间接提高边界线检测精度。
进一步地，基于增强后的隧道影像，提取影像中的边界线特征，包括：基于增强后的隧道影像，采用LSD直线检测算法对影像中的边界线进行检测和提取，如图5所示。该算法在任何图像上均无需调节参数，是一种全自动的图像分析工具。因此，选用该方法进行隧道影像边界线检测，可提升检测效率，并提高隧道检测分析自动化程度。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种基于反射率强度的隧道影像边界线检测方法，其特征在于，所述检测方法包括以下步骤：
S1：采用三维激光扫描仪对隧道进行扫描，获取隧道原始三维点云数据；
S2：基于隧道原始三维点云数据，提取隧道中轴线；
S3：基于提取的隧道中轴线，将隧道原始三维点云数据进行展开，投影至参数平面形成隧道反射率影像；
S4：利用隧道反射率影像的局部信息对隧道反射率影像各像素的强度值进行调整，以增强隧道反射率影像的边界特征；
S5：基于增强后的隧道反射率影像，提取影像中的边界线特征。
2.根据权利要求1所述的基于反射率强度的隧道影像边界线检测方法，其特征在于，步骤S2中，所述基于隧道原始三维点云数据，提取隧道中轴线的过程包括以下步骤：
采用高斯映射对隧道原始三维点云数据进行圆柱拟合，提取拟合得到的圆柱轴线Al＝(x0,y0,z0)作为隧道中轴线；
式中，(x0,y0,z0)为单位方向向量，x0,y0,z0分别为该向量在三维坐标系各坐标轴上的分量。
3.根据权利要求1所述的基于反射率强度的隧道影像边界线检测方法，其特征在于，步骤S3中，所述基于提取的隧道中轴线，将隧道原始三维点云数据进行展开，投影至参数平面形成隧道反射率影像的过程包括以下步骤：
基于提取的隧道中轴线Al，采用等角正切投影，将隧道原始三维点云数据展开至二维平面，生成隧道反射率影像。
4.根据权利要求1所述的基于反射率强度的隧道影像边界线检测方法，其特征在于，步骤S4中，所述利用隧道反射率影像的局部信息对隧道反射率影像各像素的强度值进行调整，以增强隧道反射率影像的边界特征的过程包括以下步骤：
S41：选择所述隧道反射率影像中的任意一个像素点p(i,j)，提取其邻域像素集合Nr(p(i,j))，i和j分别为选取像素点的行号和列号；
S42：计算所述邻域像素集合Nr(p(i,j))的平均强度值Ar(p(i,j))：
Figure FDA0002893808400000011
其中，|Nr(p(i,j))|表示Nr(p(i,j))中像素的个数；Nr(p(i,j))x表示Nr(p(i,j))集合中第x个像素；I(·)表示某一像素的强度值。
S43：计算所述邻域像素集合Nr(p(i,j))的强度值标准差σr(p(i,j))：
Figure FDA0002893808400000012
S44：基于p(i,j)像素的邻域集合Nr(p(i,j))及其平均强度值Ar(p(i,j))，重新计算p(i,j)像素的强度值I(p(i,j))′：
Figure FDA0002893808400000021
其中，U是调整影像增强程度的比例因子；p(m,n)∈Nr(p(i,j))。
S45：重复步骤S41至S44，遍历隧道反射率影像的所有像素，最终得到增强后的隧道反射率影像。
5.根据权利要求1所述的基于反射率强度的隧道影像边界线检测方法，其特征在于，步骤S5中，所述基于增强后的隧道反射率影像，提取影像中的边界线特征的过程包括以下步骤：
采用LSD直线检测算法对增强后的隧道反射率影像中的边界线进行检测和提取。
CN202110037470.5A 2021-01-12 2021-01-12 一种基于反射率强度的隧道影像边界线检测方法 Active CN112857252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110037470.5A CN112857252B (zh) 2021-01-12 2021-01-12 一种基于反射率强度的隧道影像边界线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110037470.5A CN112857252B (zh) 2021-01-12 2021-01-12 一种基于反射率强度的隧道影像边界线检测方法

Publications (2)

Publication Number Publication Date
CN112857252A true CN112857252A (zh) 2021-05-28
CN112857252B CN112857252B (zh) 2023-04-07

Family

ID=76002944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110037470.5A Active CN112857252B (zh) 2021-01-12 2021-01-12 一种基于反射率强度的隧道影像边界线检测方法

Country Status (1)

Country Link
CN (1) CN112857252B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554664A (zh) * 2021-07-06 2021-10-26 南京航空航天大学 一种地铁隧道反射率影像优化剪裁方法
CN118037703A (zh) * 2024-03-16 2024-05-14 中新聚能建设工程有限公司 一种基于多源信息的隧道掌子面分区方法及相关设备
WO2024198294A1 (zh) * 2023-03-31 2024-10-03 深圳森合创新科技有限公司 机器人及其地图构建与定位方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008068630A (ja) * 2005-08-12 2008-03-27 Ricoh Co Ltd 画像処理方法及び画像処理装置
US20080170765A1 (en) * 2005-04-25 2008-07-17 Koninklijke Philips Electronics, N.V. Targeted Additive Gain Tool For Processing Ultrasound Images
CN104359459A (zh) * 2014-12-04 2015-02-18 上海岩土工程勘察设计研究院有限公司 采用三维激光扫描反射率信息生成隧道内壁影像的方法
JP2016156676A (ja) * 2015-02-24 2016-09-01 株式会社パスコ レーザ計測システム、反射ターゲット体及びレーザ計測方法
CN109373921A (zh) * 2018-10-26 2019-02-22 南京航空航天大学 一种隧道监测方法及装置
CN111322985A (zh) * 2020-03-25 2020-06-23 南京航空航天大学 基于激光点云的隧道限界分析方法、装置和系统
AU2020100893A4 (en) * 2019-11-28 2020-07-09 China Railway 18th Construction Bureau Co., Ltd. Tunnel measurement and control method based on combination of three-dimensional laser scanner and bim
CN111429373A (zh) * 2020-03-24 2020-07-17 珠海嘉润医用影像科技有限公司 一种图像增强处理方法及系统
CN111553868A (zh) * 2020-04-29 2020-08-18 南京航空航天大学 一种基于改进sobel算子的隧道反射率影像滤波方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080170765A1 (en) * 2005-04-25 2008-07-17 Koninklijke Philips Electronics, N.V. Targeted Additive Gain Tool For Processing Ultrasound Images
JP2008068630A (ja) * 2005-08-12 2008-03-27 Ricoh Co Ltd 画像処理方法及び画像処理装置
CN104359459A (zh) * 2014-12-04 2015-02-18 上海岩土工程勘察设计研究院有限公司 采用三维激光扫描反射率信息生成隧道内壁影像的方法
JP2016156676A (ja) * 2015-02-24 2016-09-01 株式会社パスコ レーザ計測システム、反射ターゲット体及びレーザ計測方法
CN109373921A (zh) * 2018-10-26 2019-02-22 南京航空航天大学 一种隧道监测方法及装置
AU2020100893A4 (en) * 2019-11-28 2020-07-09 China Railway 18th Construction Bureau Co., Ltd. Tunnel measurement and control method based on combination of three-dimensional laser scanner and bim
CN111429373A (zh) * 2020-03-24 2020-07-17 珠海嘉润医用影像科技有限公司 一种图像增强处理方法及系统
CN111322985A (zh) * 2020-03-25 2020-06-23 南京航空航天大学 基于激光点云的隧道限界分析方法、装置和系统
CN111553868A (zh) * 2020-04-29 2020-08-18 南京航空航天大学 一种基于改进sobel算子的隧道反射率影像滤波方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHENG YI等: "Hierarchical Tunnel Modeling from 3D Raw LiDAR Point Cloud", 《COMPUTER-AIDED DESIGN》 *
刘树亚等: "基于实测点云数据的隧道分割及形变检测方法", 《隧道建设》 *
吴昌睿等: "地铁隧道横向变形的激光扫描检测方法及应用", 《地下空间与工程学报》 *
胡小平等: "《导航技术基础》", 30 July 2015, 国防工业出版社 *
马银平等: "基于局部均值和标准差的图像增强算法", 《计算机工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554664A (zh) * 2021-07-06 2021-10-26 南京航空航天大学 一种地铁隧道反射率影像优化剪裁方法
CN113554664B (zh) * 2021-07-06 2024-02-09 南京航空航天大学 一种地铁隧道反射率影像优化剪裁方法
WO2024198294A1 (zh) * 2023-03-31 2024-10-03 深圳森合创新科技有限公司 机器人及其地图构建与定位方法
CN118037703A (zh) * 2024-03-16 2024-05-14 中新聚能建设工程有限公司 一种基于多源信息的隧道掌子面分区方法及相关设备
CN118037703B (zh) * 2024-03-16 2024-07-23 中新聚能建设工程有限公司 一种基于多源信息的隧道掌子面分区方法及相关设备

Also Published As

Publication number Publication date
CN112857252B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112857252B (zh) 一种基于反射率强度的隧道影像边界线检测方法
CN106951879B (zh) 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN110310255B (zh) 基于目标检测和图像处理的转辙机缺口检测方法
CN108230344B (zh) 一种隧道渗漏水病害自动识别方法
CN111179152B (zh) 一种道路标识识别方法及装置、介质、终端
CN112651968B (zh) 一种基于深度信息的木板形变与凹坑检测方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN111336990A (zh) 一种隧道断面收敛快速分析方法和装置
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN106815583B (zh) 一种基于mser和swt相结合的夜间车辆车牌定位方法
CN104535586A (zh) 带钢边部缺陷检测识别方法
CN105133471A (zh) 一种基于线结构光路面检测系统的路面深度图像生产方法
CN111238365B (zh) 基于立体视觉的地铁列车测距和定位方法及系统
CN115184380B (zh) 基于机器视觉的印刷电路板焊点异常检测方法
CN112036232B (zh) 一种图像表格结构识别方法、系统、终端以及存储介质
CN103942809A (zh) 检测岩石图像中节理裂隙的方法
Zheng et al. Rail detection based on LSD and the least square curve fitting
CN106709952A (zh) 一种显示屏幕的自动标定方法
CN117253150A (zh) 一种基于高分辨率遥感图像的船舶轮廓提取方法及系统
CN103914829A (zh) 一种含噪图像边缘检测方法
CN104850869A (zh) 一种高速铁路cpⅲ标志物的自动识别系统及方法
CN104166843B (zh) 一种基于直线连续性的文档图像来源判别方法
CN115115820B (zh) 用于盾尾间隙智能监测的图像特征提取方法、系统及装置
CN115761468A (zh) 一种基于图像分割和目标检测技术的水位检测系统、方法
CN108629226B (zh) 一种基于图像分层技术的车辆检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant