CN110555122B - 一种基于分段矩形的建筑平面图墙体矢量化方法 - Google Patents

一种基于分段矩形的建筑平面图墙体矢量化方法 Download PDF

Info

Publication number
CN110555122B
CN110555122B CN201910656988.XA CN201910656988A CN110555122B CN 110555122 B CN110555122 B CN 110555122B CN 201910656988 A CN201910656988 A CN 201910656988A CN 110555122 B CN110555122 B CN 110555122B
Authority
CN
China
Prior art keywords
plan
wall
vectorization
rectangle
boundary element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910656988.XA
Other languages
English (en)
Other versions
CN110555122A (zh
Inventor
尚建嘎
吴怡洁
陈攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201910656988.XA priority Critical patent/CN110555122B/zh
Publication of CN110555122A publication Critical patent/CN110555122A/zh
Application granted granted Critical
Publication of CN110555122B publication Critical patent/CN110555122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于分段矩形的建筑平面图墙体矢量化方法,该方法以MaskR‑CNN模型作为基线方法,将建筑平面图中的墙体作为分段的矩形实例进行检测与分割,即在拐角、厚度或纹理发生变化的地方对平面图上的连续墙体进行打断,使基线方法可近似地检测到分段墙体,然后再对分割所得的分段墙体区域进行矩形估计,得到图上的墙体分段矩形结果。本发明的有益效果是:降低了平面图图像的分割难度和分割区域去崎岖化边界的复杂度,能够有效地将分割结果估算为矩形,为后续的拓扑修复与室内地图整饰处理等提供支持。

Description

一种基于分段矩形的建筑平面图墙体矢量化方法
技术领域
本发明涉及室内制图与建模技术领域,尤其涉及一种基于分段矩形的建筑平面图墙体矢量化方法。
背景技术
近年来室内定位技术与室内位置服务快速发展,对室内地图与空间模型等基础数据的需求也飞速发展。建筑平面图图像是室内制图与建模生产中非常普及的一类数据源。相较于激光点云等测绘与建模方法,平面图是一种更易获取与处理的数据来源。然而,在当前的室内制图与建模生产中,以平面图图像为数据源的室内制图与建模需要专业的制图人员在平面图中提取墙体、房间、门窗等矢量空间要素,过程十分繁琐,效率低下,难以支撑大规模的室内空间数据生产。
基于平面图图像的室内制图与建模自动化,需要对平面图图像进行几何与语义信息的提取,该过程可通过对平面图进行目标检测或分割实现。现有的对平面图图像进行语义分割方法,其像素分类置信度在要素的边界上要远低于要素内部,导致了提取的墙体区域在边界上往往十分崎岖,部分较小墙体的分割结果呈现破碎状。此类方法的墙体分割结果形状十分复杂,噪声多,难以进行有效的拓扑修复和室内空间分割。
因此,对平面图进行图像分割需要考虑降低墙体分割结果的形状复杂度,对墙体轮廓和形状进行简化,以便于后续的拓扑修复与室内空间分割。
发明内容
为了解决上述问题,本发明提供了一种基于分段矩形的建筑平面图墙体矢量化方法,主要包括以下步骤:
S1:对若干个平面图图像进行人工标注真值处理,所述标注真值是指对每个平面图图像中的每个室内边界要素分别标注类型、检测框和分割区域;以每一个平面图图像作为一个数据,将该若干平面图图像分为训练数据集和测试数据集;所述若干个平面图图像中包括平面图图像本身及该平面图图像旋转某一角度后得到的平面图图像;所述室内边界要素包括墙体、门和窗;所述分割区域由多个分割像素构成;所述检测框为矩形;
S2:利用训练数据集中的数据,对Mask R-CNN模型进行训练,并采用测试数据集中的数据对训练后的Mask R-CNN模型进行验证,当验证精度达到预设精度时,即得到最终的Mask R-CNN模型;所述Mask R-CNN模型用来对输入的平面图图像进行检测和分割处理;
S3:将未知真值的任一平面图图像输入到所述最终的Mask R-CNN模型中,输出检测出的所述任一平面图图像中的室内边界要素的预测值;所述预测值包括该室内边界要素的类型、检测框和分割区域;
S4:对所述任一平面图图像进行旋转处理,将旋转处理后的所述任一平面图图像输入到所述最终的Mask R-CNN模型中,输出旋转处理后检测出的所述任一平面图图像中的室内边界要素的预测值;
S5:将步骤S3中的输出和步骤S4中的输出进行取并集处理,得到所述任一平面图图像中每一室内边界要素的最终预测结果;
S6:将最终预测结果中每个室内边界要素对应的分割区域,所述分割区域由若干分割像素构成;将每个分割像素转化为对应的二维坐标点,将边界二维坐标点连接起来,形成分割区域对应的凸包,分别计算一一对应的凸包面积与分割区域面积的比值T;当所述比值T大于预设阈值时,则该最终预测结果无效;
S7:在所有最终预测结果中剔除步骤S6中的无效最终预测结果,采用RANSAC算法和提取线段法对剩余的最终预测结果对应的分割区域进行矢量化处理,得到所述剩余的最终预测结果对应的多个矢量化矩形矩形;
S8:通过计算所述矢量化矩形矩形两两之间的交并比、平均倾斜角度、宽度以及矩形中心线的两个端点坐标,对所有所述矢量化矩形矩形进行重复检测,将重复的墙体矩形取并合为一个,使所有所述矢量化矩形矩形之间都不重复,进而得到最终的墙体矢量化矩形。
进一步地,采用最终的Mask R-CNN模型对所述任一平面图图像上的T型、L型、X型处以及I型但发生厚度与纹理变化的连续墙体处进行打断处理。
进一步地,所述比值T的计算公式为:
Figure BDA0002137142510000021
area(convex_hull)和area(mask)分别表示凸包的像素面积与分割像素面积。
进一步地,步骤S7中,所述矢量化处理的过程如下:
对于墙体类室内边界要素,采用RANSAC算法进行矢量化处理;首先根据任一墙体类室内边界要素的分割区域对应的若干二维坐标点,得到二维坐标点的中心线,以边界二维坐标点到所述中心线的平均距离作为所述任一室内边界要素矢量化的矩形宽度的一半,然后将二维坐标点投影到所述中心线上,以两端上的投影位置作为所述矩形的两条短边的中点,从而得到所述任一墙体类室内边界要素矢量化后对应的墙体矩形;
对于门窗类室内边界要素,采用提取线段法进行矢量化处理;首先根据任一门窗类室内边界要素的分割区域,计算所述分割区域与邻近墙体的交集,然后并将交集的墙体边界离散成点,最后计算不同交集上距离最近的点对,该点对之间的连接线段即为门窗的提取线段;该提取线段即为所述任一门窗类室内边界要素的矢量化结果,然后根据给定的宽度值,沿以所述提取线段为矩形平行于长边的中心线,构建所述门窗类室内边界要素所对应的矩形。
本发明提供的技术方案带来的有益效果是:降低了平面图图像的分割难度和分割区域去崎岖化边界的复杂度,能够有效地将分割结果估算为矩形,为后续的拓扑修复与室内地图整饰处理等提供支持。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例中一种基于分段矩形的建筑平面图墙体矢量化方法的流程图;
图2是本发明实施例中MaskR-CNN模型的检测与分割示意图;
图3是本发明实施例中墙体预测值标注的示意图;
图4是本发明实施例中平面图图像旋转示意图;
图5是本发明实施例中合并重复检测墙体的结果示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于分段矩形的建筑平面图墙体矢量化方法,该方法以平面图图像为输入,输出为平面图上的分段墙体矩形结果。
请参考图1,图1是本发明实施例中一种基于分段矩形的建筑平面图墙体矢量化方法的流程图,具体包括如下步骤:
S1:对若干个平面图图像进行人工标注真值处理,所述标注真值是指对每个平面图图像中的每个室内边界要素分别标注类型、检测框和分割区域;以每一个平面图图像作为一个数据,将该若干平面图图像分为训练数据集和测试数据集;所述若干个平面图图像中包括平面图图像本身及该平面图图像旋转某一角度后得到的平面图图像;所述室内边界要素包括墙体、门和窗;所述分割区域由多个分割像素构成;所述检测框为矩形;
S2:利用训练数据集中的数据,对Mask R-CNN模型进行训练,并采用测试数据集中的数据对训练后的Mask R-CNN模型进行验证,当验证精度达到预设精度时,即得到最终的Mask R-CNN模型;所述Mask R-CNN模型用来对输入的平面图图像进行检测和分割处理;
S3:如图2所示,将未知真值的任一平面图图像输入到所述最终的Mask R-CNN模型中,输出检测出的所述任一平面图图像中的室内边界要素的预测值;所述预测值包括该室内边界要素的类型、检测框和分割区域;
所述室内边界要素的类型即为室内边界要素的名称;将采用最终的Mask R-CNN模型对所述任一平面图图像上的T型、L型、X型处以及I型但发生厚度与纹理变化的连续墙体处进行打断处理,如图3所示,图3中(a)所示为未处理的原平面图图像,图3中(b)所示为处理后的矩形墙体标注图。
S4:对所述任一平面图图像进行旋转处理,将旋转处理后的所述任一平面图图像输入到所述最终的Mask R-CNN模型中,输出旋转处理后检测出的所述任一平面图图像中的室内边界要素的预测值;如图4所示,本实施例中,将平面图图像逆时针旋转了45°,图4中(a)所示为未旋转的图像,图4中(b)所示为旋转后的图像;
S5:将步骤S3中的输出和步骤S4中的输出进行取并集处理,得到所述任一平面图图像中每一室内边界要素的最终预测结果;
S6:将最终预测结果中每个室内边界要素对应的分割区域,所述分割区域由若干分割像素构成;将每个分割像素转化为对应的二维坐标点,将边界二维坐标点连接起来,形成分割区域对应的凸包,分别计算一一对应的凸包面积与分割区域面积的比值T;当所述比值T大于预设阈值时,则该分割结果无效;所述比值T的计算公式为:
Figure BDA0002137142510000051
area(convex_hull)和area(mask)分别表示凸包的像素面积与分割像素面积。
S7:在所有最终预测结果中剔除步骤S6中的无效和噪声大的最终预测结果,采用RANSAC算法和提取线段法对剩余的最终预测结果对应的分割区域进行矢量化处理,得到所述剩余的最终预测结果对应的多个矢量化矩形;
所述矢量化处理的过程如下:
对于墙体类室内边界要素,采用RANSAC算法进行矢量化处理;首先根据任一墙体类室内边界要素的分割区域对应的若干二维坐标点,得到二维坐标点的中心线,以边界二维坐标点到所述中心线的平均距离作为所述任一室内边界要素矢量化的矩形宽度的一半,然后将二维坐标点投影到所述中心线上,以两端上的投影位置作为所述矩形的两条短边的中点,从而得到所述任一墙体类室内边界要素矢量化后对应的墙体矩形;
对于门窗类室内边界要素,采用提取线段法进行矢量化处理;首先根据任一门窗类室内边界要素的分割区域,计算所述分割区域与邻近墙体的交集,然后并将交集的墙体边界离散成点,最后计算不同交集上距离最近的点对,该点对之间的连接线段即为门窗的提取线段;该提取线段即为所述任一门窗类室内边界要素的矢量化结果,然后根据给定的宽度值,沿以所述提取线段为矩形平行于长边的中心线,构建所述门窗类室内边界要素所对应的矩形。
S8:通过计算所述矢量化矩形矩形两两之间的交并比、平均倾斜角度、宽度以及矩形中心线的两个端点坐标,对所有所述矢量化矩形矩形进行重复检测,将重复的墙体矩形取并合为一个,使所有所述矢量化矩形矩形之间都不重复,进而得到最终的墙体矢量化矩形。
如图5所示,通过计算所述矢量化矩形矩形两两之间的交并比、平均倾斜角度、宽度以及矩形中心线的两个端点坐标,对所有所述矢量化矩形矩形进行重复检测,得到如图5中(a)所示的重复检测结果,如图5中(b)所示,将重复的墙体矩形合并为一个,使所有所述矢量化矩形矩形之间都不重复,进而得到最终的墙体矢量化矩形。
本发明的有益效果是:降低了平面图图像的分割难度和分割区域去崎岖化边界的复杂度,能够有效地将分割结果估算为矩形,为后续的拓扑修复与室内地图整饰处理等提供支持。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于分段矩形的建筑平面图墙体矢量化方法,其特征在于:包括以下步骤:
S1:对若干个平面图图像进行人工标注真值处理,所述标注真值是指对每个平面图图像中的每个室内边界要素分别标注类型、检测框和分割区域;以每一个平面图图像作为一个数据,将该若干平面图图像分为训练数据集和测试数据集;所述若干个平面图图像中包括平面图图像本身及该平面图图像旋转某一角度后得到的平面图图像;所述室内边界要素包括墙体、门和窗;所述分割区域由多个分割像素构成;所述检测框为矩形;
S2:利用训练数据集中的数据,对Mask R-CNN模型进行训练,并采用测试数据集中的数据对训练后的Mask R-CNN模型进行验证,当验证精度达到预设精度时,即得到最终的MaskR-CNN模型;所述Mask R-CNN模型用来对输入的平面图图像进行检测和分割处理;
S3:将未知真值的任一平面图图像输入到所述最终的Mask R-CNN模型中,输出检测出的所述任一平面图图像中的室内边界要素的预测值;所述预测值包括该室内边界要素的类型、检测框和分割区域;
S4:对所述任一平面图图像进行旋转处理,将旋转处理后的所述任一平面图图像输入到所述最终的Mask R-CNN模型中,输出旋转处理后检测出的所述任一平面图图像中的室内边界要素的预测值;
S5:将步骤S3中的输出和步骤S4中的输出进行取并集处理,得到所述任一平面图图像中每一室内边界要素的最终预测结果;
S6:将最终预测结果中每个室内边界要素对应的分割区域,所述分割区域由若干分割像素构成;将每个分割像素转化为对应的二维坐标点,将边界二维坐标点连接起来,形成分割区域对应的凸包,分别计算一一对应的凸包面积与分割区域面积的比值T;当所述比值T大于预设阈值时,则该最终预测结果无效;
S7:在所有最终预测结果中剔除步骤S6中的无效最终预测结果,采用RANSAC算法和提取线段法对剩余的最终预测结果对应的分割区域进行矢量化处理,得到所述剩余的最终预测结果对应的多个矢量化矩形;
S8:通过计算所述矢量化矩形矩形两两之间的交并比、平均倾斜角度、宽度以及矩形中心线的两个端点坐标,对所有所述矢量化矩形矩形进行重复检测,将重复的墙体矩形取并合为一个,使所有所述矢量化矩形矩形之间都不重复,进而得到最终的墙体矢量化矩形。
2.如权利要求1所述的一种基于分段矩形的建筑平面图墙体矢量化方法,其特征在于:采用最终的Mask R-CNN模型对所述平面图图像上的T型、L型、X型处以及I型但发生厚度与纹理变化的连续墙体处进行打断处理。
3.如权利要求1所述的一种基于分段矩形的建筑平面图墙体矢量化方法,其特征在于:所述比值T的计算公式为:
Figure FDA0002137142500000021
area(convex_hull)和area(mask)分别表示凸包的面积与分割像素面积。
4.如权利要求1所述的一种基于分段矩形的建筑平面图墙体矢量化方法,其特征在于:步骤S7中,所述矢量化处理的过程如下:
对于墙体类室内边界要素,采用RANSAC算法进行矢量化处理;首先根据任一墙体类室内边界要素的分割区域对应的若干二维坐标点,得到二维坐标点的中心线,以边界二维坐标点到所述中心线的平均距离作为所述任一室内边界要素矢量化的矩形宽度的一半,然后将二维坐标点投影到所述中心线上,以两端上的投影位置作为所述矩形的两条短边的中点,从而得到所述任一墙体类室内边界要素矢量化后对应的墙体矩形;
对于门窗类室内边界要素,采用提取线段法进行矢量化处理;首先根据任一门窗类室内边界要素的分割区域,计算所述分割区域与邻近墙体的交集,然后并将交集的墙体边界离散成点,最后计算不同交集上距离最近的点对,该点对之间的连接线段即为门窗的提取线段;该提取线段即为所述任一门窗类室内边界要素的矢量化结果,然后根据给定的宽度值,沿以所述提取线段为矩形平行于长边的中心线,构建所述门窗类室内边界要素所对应的矩形。
CN201910656988.XA 2019-07-19 2019-07-19 一种基于分段矩形的建筑平面图墙体矢量化方法 Active CN110555122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910656988.XA CN110555122B (zh) 2019-07-19 2019-07-19 一种基于分段矩形的建筑平面图墙体矢量化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910656988.XA CN110555122B (zh) 2019-07-19 2019-07-19 一种基于分段矩形的建筑平面图墙体矢量化方法

Publications (2)

Publication Number Publication Date
CN110555122A CN110555122A (zh) 2019-12-10
CN110555122B true CN110555122B (zh) 2022-12-23

Family

ID=68736461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910656988.XA Active CN110555122B (zh) 2019-07-19 2019-07-19 一种基于分段矩形的建筑平面图墙体矢量化方法

Country Status (1)

Country Link
CN (1) CN110555122B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046950B (zh) * 2019-12-11 2023-09-22 北京迈格威科技有限公司 一种图像处理方法、装置、存储介质和电子装置
CN111489442A (zh) * 2020-03-27 2020-08-04 杭州群核信息技术有限公司 一种精准分割对象的操作系统与方法
CN112115533B (zh) * 2020-09-02 2024-01-12 国检测试控股集团上海有限公司 非匀质围护结构二维稳态传热热工计算方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069774A (zh) * 2015-06-30 2015-11-18 长安大学 基于多示例学习与图割优化的目标分割方法
CN107274486A (zh) * 2017-06-26 2017-10-20 广州天翌云信息科技有限公司 一种模型3d效果图的生成方法
EP3506211A1 (en) * 2017-12-28 2019-07-03 Dassault Systèmes Generating 3d models representing buildings

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069774A (zh) * 2015-06-30 2015-11-18 长安大学 基于多示例学习与图割优化的目标分割方法
CN107274486A (zh) * 2017-06-26 2017-10-20 广州天翌云信息科技有限公司 一种模型3d效果图的生成方法
EP3506211A1 (en) * 2017-12-28 2019-07-03 Dassault Systèmes Generating 3d models representing buildings

Also Published As

Publication number Publication date
CN110555122A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN112991447B (zh) 一种动态环境下视觉定位与静态地图构建方法及系统
CN110532602B (zh) 一种基于平面图图像的室内自动制图与建模方法
CN110555122B (zh) 一种基于分段矩形的建筑平面图墙体矢量化方法
CN110197153B (zh) 一种户型图中墙体自动识别方法
Delmerico et al. Building facade detection, segmentation, and parameter estimation for mobile robot localization and guidance
CN111028292B (zh) 一种亚像素级图像匹配导航定位方法
Wang et al. Window detection from mobile LiDAR data
CN110751154B (zh) 一种基于像素级分割的复杂环境多形状文本检测方法
Dal Poz et al. Automated extraction of road network from medium-and high-resolution images
KR102559790B1 (ko) 구조물의 균열 탐지 방법
Holzmann et al. Semantically aware urban 3d reconstruction with plane-based regularization
Yang et al. Semantic segmentation in architectural floor plans for detecting walls and doors
CN110930413A (zh) 一种基于弱监督多核分类优化合并的图像分割方法
Zou et al. Image thresholding based on template matching with arctangent Hausdorff distance measure
Burlacu et al. Obstacle detection in stereo sequences using multiple representations of the disparity map
CN106447662A (zh) 一种基于组合距离的fcm图像分割算法
Mehranfar et al. A hybrid top-down, bottom-up approach for 3D space parsing using dense RGB point clouds
CN110569712B (zh) 一种检测平面图图像中狭长墙体的方法
CN112258449A (zh) 一种基于结节特征的快速结节匹配方法
CN113763474B (zh) 一种基于场景几何约束的室内单目深度估算方法
CN111488882B (zh) 一种用于工业零件测量的高精度图像语义分割方法
Kang et al. Line feature extraction from RGB laser point cloud
Ha et al. Readjusting unstable regions to improve the quality of high accuracy optical flow
CN109636844B (zh) 一种基于3d双边对称的复杂桌面点云分割的方法
Zhang et al. Local stereo disparity estimation with novel cost aggregation for sub-pixel accuracy improvement in automotive applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant