CN110335234B - 一种基于古文物LiDAR点云的三维变化检测方法 - Google Patents
一种基于古文物LiDAR点云的三维变化检测方法 Download PDFInfo
- Publication number
- CN110335234B CN110335234B CN201910348858.XA CN201910348858A CN110335234B CN 110335234 B CN110335234 B CN 110335234B CN 201910348858 A CN201910348858 A CN 201910348858A CN 110335234 B CN110335234 B CN 110335234B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- dimensional
- lidar
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于古文物LiDAR点云的三维变化检测方法,该方法包括:步骤1、对LiDAR点云数据分别进行滤波和插值处理,生成三维点云模型;步骤2、对两个三维点云模型进行粗配准操作;步骤3、对两个三维点云模型进行精确匹配;步骤4、建立三维参考坐标系,并将三维点云模型归纳到该坐标系下,使三维点云满足最大面朝上;步骤5、在重采样格网下对两个三维点云模型分别进行重采样;步骤6、对重采样点云进行差值处理,得到差值影像;步骤7、对差值影像进行处理,获取点云模型变化区域;步骤8、根据既定的阈值对变化区域进行结果渲染。本发明能更加准确地检测出古文物表面的变化,具有数据更新快,成本低,精度高,可进行定量的分析的特点。
Description
技术领域
本发明涉及测绘科学与技术领域,尤其涉及一种基于古文物LiDAR点云的三维变化检测方法。
背景技术
变化检测的数据源有遥感影像、正射影像、LiDAR(激光雷达)点云数据等。其中,LiDAR不受光照和环境条件的限制,能快速获取低成本、高精度的物体表面的三维坐标,为准确提取古文物表面几何特征提供了良好的数据源。特别地,相比于其他方法,LiDAR点云数据可提供古文物高精度的三维信息。但是由于激光雷达点云数据缺乏纹理信息,同时数据密度分布不均匀并且在三维空间中呈不规则性、不连续分布。因此直接利用LiDAR点云数据进行古文物表面三维变化检测比较困难,尤其是在比较对象形状复杂、边界细节较多时,很难进行准确、快速的变化检测。
通过摄影测量获取的正射影像数据空间分辨率高,同时数据分布连续,具有十分丰富纹理信息,但是影像数据不能提供高精度的三维信息。故将LiDAR点云数据和影像数据结合进行古文物表面的三维变化检测可以达到不同数据源的优势互补。两种数据源的融合研究对于古文物高效率、高精度的三维变化检测,对于LiDAR数据后处理技术发展以满足实际应用都有十分重要的研究价值。
现有的变化检测方法有:(1)基于代数运算的变化检测方法,包括图像差分、图像比值、图像回归方法、图像植被指数差分、变化矢量分析和背景相减等方法;(2)基于图像变换的变化检测方法,包括主成分分析方法(PCA)、穗帽变换方法(KT)、典型相关分析等方法;(3)基于图像分类的变化检测方法,包括分类后比较方法,多时相图像直接分类方法(也称光谱/时相分类);(4)基于对象的变化检测方法;(5)基于统计模型的变化检测方法;(6)基于小波变换的变化检测方法。
尽管上述各种变化检测方法采用的变化检测基本单元不同,变换检测的策略差别很大,但它们都只使用二维影像的平面信息,没有充分顾及三维变化,而古文物一个十分重要的变化就表现在三维角度上的变化上。因此迫切需要寻求考虑三维变化的变化检测方法。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种基于古文物LiDAR点云的三维变化检测方法。
本发明解决其技术问题所采用的技术方案是:
本发明提供一种基于古文物LiDAR点云的三维变化检测方法,该方法包括以下步骤:
步骤1、对两个不同时期的LiDAR点云数据分别进行滤波和插值处理,生成两个不同时期的三维点云模型;
步骤2、对两个三维点云模型进行粗配准操作,进行刚体变换操作,使两个三维点云模型完成粗配准,刚体变换操作包括:平移、旋转;
步骤3、对两个三维点云模型进行精确匹配,计算两个三维点云模型的特征点,通过ICP算法使两个三维点云模型根据特征点精确配准;
步骤4、建立三维参考坐标系(X,Y,Z),并将三维点云模型归纳到该坐标系下,使三维点云满足最大面朝上;最大面朝上,即通过旋转三维点云模型,使其在X-Y平面上投影面积最大;
步骤5、以参照点云为基础建立重采样格网,在重采样格网下对两个三维点云模型分别进行重采样,得到重采样点云;
步骤6、对重采样点云进行差值处理,计算得到不同时期同一格网的Z值变化量,得到差值影像;
步骤7、对差值影像进行处理,获取点云模型变化区域;
步骤8、根据既定的阈值对变化区域进行结果渲染,将变化区域根据差值大小进行可视化区分并表达。
进一步地,本发明的步骤1的具体方法为:
对新旧两个不同时期的原始LiDAR点云数据进行处理,分别记为T1时期LiDAR数据和T2时期LiDAR数据,对两期原始LiDAR点云数据进行滤波以剔除粗差点,包括:极高点、极低点和噪声点。
进一步地,本发明的步骤3的具体方法为:
使用ICP算法,即Iterative Closest Point算法对点云进行精确匹配,具体匹配策略如下:
设在T1时期的点云集合为Pi,i=1,2,3,...,T2时期的点云集合为Qi,i=1,2,3,...;两个点集的对齐配准转换为使下列目标函数E最小;
其中,旋转矩阵R和平移矩阵T,就是找到的待配准点云数据与参考点云数据之间的旋转参数和平移参数,使得两个点云数据集之间满指定度量准则下的最优匹配;
在T1时期点云中取点集Pi∈T1,计算Pi中的每一个点到临近点的距离D:
选取D最小的点作为其对应最近点,从而找出点云T2中的对应点集Qi∈T1,使得||Qi-Pi||=min;
计算旋转矩阵R和平移矩阵T,对Qi使用求得的旋转和平移矩阵,得到新的点集Qi′;
如果新的变换点集Qi′满足目标函数要求,即两点集的平均距离小于某一给定阈值min,则停止迭代计算,否则新的变换点集Qi′作为新的Qi继续迭代,直到达到目标函数要求。
进一步地,本发明的步骤4的具体方法为:
分别计算点云模型在X,Y,Z三个方向上的坐标值方差,以表示点云在三个方向上的离散程度,对应关系如下式:
选取离散程度,即方差最大的方向求取两个点云内所有特征点在此方向上的坐标均值,根据该均值,将点云在该方向上分为两部分;每一部分求取几何中心点O(X,Y,Z),对应关系如下式:
其中,n为当前部分点云内特征点的数量,xi,yi,zi为第i个特征点的三维坐标参数;
根据所求几何中心点,在两个点云内分别以已求得的几何中心点为起终点建立方向向量;根据该方向向量与X-Y平面的相对关系,通过旋转,使该向量与X-Y平面平行,通过解算,获得旋转矩阵R1,R2;最后通过点云与旋转矩阵相乘,使点云最大面朝上,Z轴方向竖直向上。
进一步地,本发明的步骤5的具体方法为:
在三维点云的最大面上按照固定大小矩形格网对点云进行区域划分,选取其中一个点云建立格网,当有多个特征点在同一格网中时,取均值为该格网的最大面方向特征值;采样格网大小对应关系如下式:
其中,Cellwidth为采样格网大小,N为点云内特征点总数,widthX为点云在X方向上的宽度,widthY为点云在Y方向上的宽度;widthX及widthY为初始默认值。
本发明产生的有益效果是:本发明的基于古文物LiDAR点云的三维变化检测方法,充分利用了古文物表面三维变化这一重要特点,通过对LiDAR数据的处理分析,利用生成的三维点云来更加准确地检测出古文物表面的变化;该方法在整个变化检测过程中不需要或仅需要极少的人工进行干预,数据更新快,成本低,精度高,而且可以进行定量的分析,同时也能对检测出的变化区域进行变化性质的判断,为当前文物保护领域提供了一种更高效的文物表面三维变化检测方法。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明实施例提供古文物表面三维变化检测方法,通过LiDAR数据滤波、插值生成高精度三维点云模型,然后对点云模型进行差值得到候选变化区域,然后通过将变化区域根据变化程度大小进行区分和可视化表达并提供定量分析报告。输入数据为对象文物两期激光点云数据。具体实施时可采用计算机软件技术实现自动运行。
实施例的具体实现方法包括以下步骤:
步骤1,对两个不同时期的LiDAR点云数据分别进行滤波和插值处理,生成两个不同时期的三维点云模型;
实施例对新旧两个不同时期的原始LiDAR点云数据进行处理,分别记为T1时期LiDAR数据和T2时期LiDAR数据。对两期原始LiDAR点云进行滤波以剔除粗差点(极高点、极低点和噪声点)。
步骤2,对两个三维点云模型进行粗配准操作,进行平移、旋转等刚体变换操作。操作的结果为两个点云模型位置大致重合;
步骤3,对两个三维点云模型进行精确匹配,使两个三维点云模型根据特征点精确配准;
实施例使用ICP(Iterative Closest Point)算法对点云进行精确匹配,具体匹配策略如下:
设在第一个点集合为Pi,i=1,2,3,...,第二个点集合为Qi,i=1,2,3,...。两个点集的对齐配准转换为使下列目标函数最小。
其中,旋转矩阵R和平移矩阵T,就是找到的待配准点云数据与参考点云数据之间的旋转参数和平移参数,使得两点集数据之间满足某种度量准则下的最优匹配。
在T1时期点云中取点集Pi∈T1,计算Pi中的每一个点到临近点的距离D:
选取D最小的点作为其对应最近点,从而找出点云T2中的对应点集Qi∈T1,使得||Qi-Pi||=min。
计算旋转矩阵R和平移矩阵T,对Qi使用求得的旋转和平移矩阵,得到新的点集Qi′。
如果新的变换点集Qi′满足目标函数要求,即两点集的平均距离小于某一给定阈值min,则停止迭代计算,否则新的变换点集Qi′作为新的Qi继续迭代,直到达到目标函数要求。目标函数要求也可以是迭代次数。
步骤4,建立三维参考坐标系(X,Y,Z),并将点云归纳到该坐标系下,使三维点云“最大面朝上”。“最大面朝上”即通过旋转三维点云模型,使其在X-Y平面上投影面积最大。具体实施策略如下:
首先,为了提高点云旋转过程中的精度,分别计算点云模型在X,Y,Z三个方向上的坐标值方差,以表示点云在三个方向上的离散程度。对应关系如下式:
然后,选取离散程度(即方差)最大的方向求取两个点云内所有特征点在此方向上的坐标均值,根据该均值,将点云在该方向上分为两部分。每一部分求取几何中心点O(X,Y,Z),对应关系如下式:
其中,n为当前部分点云内特征点的数量,xi,yi,zi为第i个特征点的三维坐标参数;
然后根据所求几何中心点,在两个点云内分别以已求得的几何中心点为起终点建立方向向量;根据该方向向量与X-Y平面的相对关系,通过旋转,使该向量与X-Y平面平行,通过解算,获得旋转矩阵R1,R2;最后通过点云与旋转矩阵相乘,使点云“最大面”(即步骤4中所得‘最大面’,下同)朝上,Z轴方向竖直向上;
步骤5,以参照点云为基础建立重采样格网,在此格网下对两个点云分别进行重采样。重采样格网建立方法如下:
首先,在“最大面”上按照固定大小矩形格网对点云进行区域划分,选取其中一个点云建立格网,当有多个特征点在同一格网中时,取均值为该格网的最大面方向特征值;采样格网大小对应关系如下式:
其中,Cellwidth为采样格网大小,N为点云内特征点总数,widthX为点云在X方向上的宽度,widthY为点云在Y方向上的宽度。widthX及widthY为初始默认值,可满足大多数需求,当点云近分布越均匀,利用该公示求得结果越能保证一个格网里面有一个特征点,必要时可人为改变以适应不同需求;
步骤6,利用步骤5中格网,分别对两个点云进行重采样,得到的重采样点云,然后进行差值处理,计算得到不同时期同一格网的Z值变化量,得到差值影像;
步骤7,对步骤6所得差值影像进行处理,获取点云模型变化区域。
步骤8,对步骤7所得变化区域根据既定的阈值对变化区域进行结果渲染,将变化区域根据差值大小进行可视化区分并表达。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (3)
1.一种基于古文物LiDAR点云的三维变化检测方法,其特征在于,该方法包括以下步骤:
步骤1、对两个不同时期的LiDAR点云数据分别进行滤波和插值处理,生成两个不同时期的三维点云模型;
步骤2、对两个三维点云模型进行粗配准操作,进行刚体变换操作,使两个三维点云模型完成粗配准,刚体变换操作包括:平移、旋转;
步骤3、对两个三维点云模型进行精确匹配,计算两个三维点云模型的特征点,通过ICP算法使两个三维点云模型根据特征点精确配准;
步骤4、建立三维参考坐标系(X,Y,Z),并将三维点云模型归纳到该坐标系下,使三维点云满足最大面朝上;最大面朝上,即通过旋转三维点云模型,使其在X-Y平面上投影面积最大;
步骤5、以参照点云为基础建立重采样格网,在重采样格网下对两个三维点云模型分别进行重采样,得到重采样点云;
步骤6、对重采样点云进行差值处理,计算得到不同时期同一格网的Z值变化量,得到差值影像;
步骤7、对差值影像进行处理,获取点云模型变化区域;
步骤8、根据既定的阈值对变化区域进行结果渲染,将变化区域根据差值大小进行可视化区分并表达;
步骤3的具体方法为:
使用ICP算法,即Iterative Closest Point算法对点云进行精确匹配,具体匹配策略如下:
设在T1时期的点云集合为Pi,i=1,2,3,...,T2时期的点云集合为Qi,i=1,2,3,...;两个点集的对齐配准转换为使下列目标函数E最小;
其中,旋转矩阵R和平移矩阵T,就是找到的待配准点云数据与参考点云数据之间的旋转参数和平移参数,使得两个点云数据集之间满指定度量准则下的最优匹配;
在T1时期点云中取点集Pi∈T1,计算Pi中的每一个点到临近点的距离D:
选取D最小的点作为其对应最近点,从而找出点云T2中的对应点集Qi∈T1,使得||Qi-Pi||=min;
计算旋转矩阵R和平移矩阵T,对Qi使用求得的旋转和平移矩阵,得到新的点集Qi′;
如果新的变换点集Qi′满足目标函数要求,即两点集的平均距离小于某一给定阈值min,则停止迭代计算,否则新的变换点集Qi′作为新的Qi继续迭代,直到达到目标函数要求;
步骤4的具体方法为:
分别计算点云模型在X,Y,Z三个方向上的坐标值方差,以表示点云在三个方向上的离散程度,对应关系如下式:
选取离散程度,即方差最大的方向求取两个点云内所有特征点在此方向上的坐标均值,根据该均值,将点云在该方向上分为两部分;每一部分求取几何中心点O(X,Y,Z),对应关系如下式:
其中,n为当前部分点云内特征点的数量,xi,yi,zi为第i个特征点的三维坐标参数;
根据所求几何中心点,在两个点云内分别以已求得的几何中心点为起终点建立方向向量;根据该方向向量与X-Y平面的相对关系,通过旋转,使该向量与X-Y平面平行,通过解算,获得旋转矩阵R1,R2;最后通过点云与旋转矩阵相乘,使点云最大面朝上,Z轴方向竖直向上。
2.根据权利要求1所述的基于古文物LiDAR点云的三维变化检测方法,其特征在于,步骤1的具体方法为:
对新旧两个不同时期的原始LiDAR点云数据进行处理,分别记为T1时期LiDAR数据和T2时期LiDAR数据,对两期原始LiDAR点云数据进行滤波以剔除粗差点,包括:极高点、极低点和噪声点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910348858.XA CN110335234B (zh) | 2019-04-28 | 2019-04-28 | 一种基于古文物LiDAR点云的三维变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910348858.XA CN110335234B (zh) | 2019-04-28 | 2019-04-28 | 一种基于古文物LiDAR点云的三维变化检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110335234A CN110335234A (zh) | 2019-10-15 |
CN110335234B true CN110335234B (zh) | 2022-05-20 |
Family
ID=68139518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910348858.XA Active CN110335234B (zh) | 2019-04-28 | 2019-04-28 | 一种基于古文物LiDAR点云的三维变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110335234B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110838115B (zh) * | 2019-11-12 | 2022-08-26 | 武汉大学 | 运用轮廓线提取和四维曲面拟合的古文物三维模型变化检测方法 |
CN113311454A (zh) * | 2020-02-26 | 2021-08-27 | 中移物联网有限公司 | 一种gps定位点离散程度的评定方法、装置及设备 |
CN111369606B (zh) * | 2020-03-27 | 2023-04-28 | 北京建筑大学 | 基于无控制扫描点云的文物对象高精度微变形监测方法 |
CN111583328B (zh) * | 2020-05-06 | 2021-10-22 | 南京农业大学 | 基于几何模型的绿萝叶片外部表型参数的三维估测方法 |
CN112200915B (zh) * | 2020-10-30 | 2024-02-02 | 西安工业大学 | 一种基于靶标三维模型纹理影像的前后形变量检测方法 |
CN112465896B (zh) * | 2020-11-27 | 2022-07-05 | 武汉大学 | 一种基于多视轮廓点的三维壁画几何变化检测方法 |
CN112289416B (zh) * | 2020-12-18 | 2021-03-23 | 南京佗道医疗科技有限公司 | 一种引导针置入精度评价方法 |
CN112967230A (zh) * | 2021-02-06 | 2021-06-15 | 东华理工大学 | 一种考虑局部点云密度的自适应阈值3d变化检测方法 |
CN114445469B (zh) * | 2022-02-15 | 2022-11-22 | 北京壬工智能科技有限公司 | 无人机自主调度的物料堆垛盘点装置、系统及其方法 |
CN115393528B (zh) * | 2022-09-20 | 2023-04-18 | 中国地震局地球物理研究所 | 一种古地震探槽的三维建模方法及其系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8340400B2 (en) * | 2009-05-06 | 2012-12-25 | Honeywell International Inc. | Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features |
CN106017342B (zh) * | 2016-05-10 | 2018-11-02 | 重庆市勘测院 | 基于三维实景模型的建筑物变化自动检测方法及其系统 |
CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
-
2019
- 2019-04-28 CN CN201910348858.XA patent/CN110335234B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110335234A (zh) | 2019-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110335234B (zh) | 一种基于古文物LiDAR点云的三维变化检测方法 | |
CN106709947B (zh) | 一种基于rgbd相机的三维人体快速建模系统 | |
CN108604301B (zh) | 用于大rgb-d扫描的可缩放自动全局配准的基于关键点的点对特征 | |
CN109658398B (zh) | 一种基于三维测量点云的零件表面缺陷识别与评估方法 | |
KR101007276B1 (ko) | 3차원 안면 인식 | |
JP6216508B2 (ja) | 3dシーンにおける3d物体の認識および姿勢決定のための方法 | |
US7822267B2 (en) | Enhanced object reconstruction | |
CN110443836A (zh) | 一种基于平面特征的点云数据自动配准方法及装置 | |
CN113178009B (zh) | 一种利用点云分割和网格修补的室内三维重建方法 | |
CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
CN107862735B (zh) | 一种基于结构信息的rgbd三维场景重建方法 | |
CN111179321B (zh) | 一种基于模板匹配的点云配准方法 | |
CN112164145B (zh) | 基于点云数据快速提取室内三维线段结构的方法 | |
CN108830888B (zh) | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 | |
CN110930456A (zh) | 基于pcl点云库的钣金零件的三维立体识别及定位方法 | |
CN116563493A (zh) | 基于三维重建的模型训练方法、三维重建方法及装置 | |
CN115690184A (zh) | 一种基于三维激光扫描的隧道掌子面位移量测方法 | |
CN106709432B (zh) | 基于双目立体视觉的人头检测计数方法 | |
WO2018131163A1 (ja) | 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体 | |
Yuan et al. | 3D point cloud recognition of substation equipment based on plane detection | |
Tong et al. | 3D point cloud initial registration using surface curvature and SURF matching | |
CN112767459A (zh) | 基于2d-3d转换的无人机激光点云与序列影像配准方法 | |
CN116883590A (zh) | 一种三维人脸点云优化方法、介质及系统 | |
CN116958434A (zh) | 多视图三维重建方法、测量方法及系统 | |
CN107808160B (zh) | 三维建筑物提取方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |