CN108805886A - 一种多融合物理签名的持久性聚类分割方法 - Google Patents

一种多融合物理签名的持久性聚类分割方法 Download PDF

Info

Publication number
CN108805886A
CN108805886A CN201810542723.2A CN201810542723A CN108805886A CN 108805886 A CN108805886 A CN 108805886A CN 201810542723 A CN201810542723 A CN 201810542723A CN 108805886 A CN108805886 A CN 108805886A
Authority
CN
China
Prior art keywords
persistence
signature
classes
integrating description
thermonuclear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810542723.2A
Other languages
English (en)
Other versions
CN108805886B (zh
Inventor
杨晓文
苏明辉
韩燮
况立群
韩慧妍
曹山海
潘文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Original Assignee
North University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China filed Critical North University of China
Priority to CN201810542723.2A priority Critical patent/CN108805886B/zh
Publication of CN108805886A publication Critical patent/CN108805886A/zh
Application granted granted Critical
Publication of CN108805886B publication Critical patent/CN108805886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机图形学与拓扑学领域,具体提出了一种多融合物理签名的持久性聚类分割方法,主要解决了现有分割方法存在运行时间长、分割结果不稳定、鲁棒性较差的缺点。本发明首先选定所需物理签名,计算融合后的三类物理签名函数,进而利用持久性聚类产生持久性图,最后选定阈值合并,产生分割结果。该分割方法适用于任何三维网格模型,分割结果良好,且分割速度有了较大提升,对于三维网格模型的逆向工程、医学成像、模型变形和局部匹配等领域有着显著作用。

Description

一种多融合物理签名的持久性聚类分割方法
技术领域
本发明属于计算机图形学与拓扑学领域,具体提出了一种多融合物理签名的持久性聚类分割方法,该方法可用于对网格模型的特征描述及多种三维网格模型的分割。
背景技术
三维网格分割是计算机图形学中的一个重要领域,它是几何处理中的基本操作,在网格特征点的描述中,大都利用各种曲率或法向量夹角等概念作为分水岭函数,而曲率与法向量夹角所显示的特征通常不够健壮,相反,随着热核签名、波核签名、基于热扩散的局部二进制描述符、尺度不变热核签名等研究的逐渐深入,其应用在三维模型的分割、匹配等领域收到了显著的效果,物理签名本身具有的等距不变性、稳定性的优势也逐渐凸显,可以克服传统几何特征的受噪声、姿态变换等的影响,逐渐成为了研究热点。
三维网格分割方法众多,如:基于弱凸分割的方法通用性不广,每次分割结果都有所差异;基于Mean-Shift的分割方法,分割结果局限性较大,仅适用于分支形状特征不紧凑的物体;基于一致性分割的方法对于大型模型的分割表现良好,但不适用于较小型模型;基于机器学习的分割方法,尽管分割效果较好但线下耗时过多,导致整体系统略显臃肿。
发明内容
本发明针对背景技术中存在的问题,提出了一种多融合物理签名的持久性聚类分割方法,包括以下步骤:
步骤1,设定待分割网格模型基于热核HKS、波核WKS、热映射HMS、尺度不变热核SI-HKS,四类物理签名的三类融合描述符;
步骤2,计算步骤1所提出三类融合描述符的拉普拉斯算子的特征值和特征向量,分别求得网格模型各网格点的三类融合描述符数值;
步骤3,建立基于步骤1的三类融合描述符的形状表征标量场,采用爬山算法分别对三类所得融合描述符数值进行爬山运算,获得标量场中融合签名函数的数值大小排序;
步骤4,计算基于步骤3所得数值排序标量场的持久同源性,产生持久性图,并在持久性图中总结网格模型各网格点的持久性;
步骤5,根据步骤4所得持久性图,给定持久性阈值,将持久性图中的点分类为显著特征或拓扑噪声,将对应的拓扑噪声合并到显著特征中,产生稳定的分割,即完成了多融合物理签名的持久性聚类分割。
综合步骤1到步骤5中,本发明提出的一种多融合物理签名的持久性聚类分割方法,它将持久性聚类并入到网格分割的框架中,物理签名与持久性聚类的组合会产生等距不变的网格划分,该分割方法提高了本发明的分割速度、分割结果较为稳定、适用性较广,得到了较好的网格分割结果。
进一步,所述步骤1中,设定待分割网格模型基于热核HKS、波核WKS、热映射HMS、尺度不变热核SI-HKS四类物理签名的三类融合描述符,三类融合描述符分别为:基于波核签名与热映射签名的融合描述符FFS1、基于对波核与热核签名的和进行与乘积的融合描述符FFS2、基于波核签名与尺度不变的热核签名的融合描述符FFS3,三类融合描述符的定义由步骤1.1到1.3完成:
1.1、基于波核签名与热映射签名的融合描述符FFS1,其特点在于它在一定程度上减少了低频对于HMS的影响,减少了对网格表面的扰动性,增强了融合函数的鲁棒性。FFS1定义如下:
其中,λk和φ分别代表拉普拉斯矩阵的第k个特征值和特征函数,fE表示能量分布,t表示时间,E表示动能,n代表网格中点的个数;
1.2、基于对波核签名与热核签名的和进行与乘积的融合描述符FFS2,是根据粒子能量的概率分布来测量不同模型上的分布点,对模型局部的特征定位进行了补偿,但是WKS在同一时刻不同频率的影响下是有明显差异的,因此对波核函数公式进行点映射处理,由此减少WKS受粒子能量变化的干扰。FFS2定义如下:
其中,n是网格中点的个数,λk和φ分别代表拉普拉斯矩阵的第k个特征值和特征函数,fE表示能量分布,t表示时间,E表示动能;
1.3、基于波核签名与尺度不变的热核签名的融合描述符FFS3,SI-HKS是基于对数采样的尺度空间,可以对网格模型进行缩放,并添加了傅里叶函数减小函数的波动性,使得SI-HKS函数不再依赖于局部尺度估计,在原始的四类物理签名中,波核函数由于利用量子力学的公式,相对减少了其他物理签名因时间的影响,稳定性较高,因此融合描述符FFS3的稳定性有了较大提升,分割效果较好,FFS3定义如下:
其中,λl表示拉普拉斯矩阵的第l个特征值,是点xi的第l个特征函数,γl表示在离散时间内进行傅里叶变换得到的相,fE表示能量分布,E表示动能,φ代表拉普拉斯矩阵的第k个特征函数。
更进一步,所述步骤3中,采用爬山算法分别对三类所得融合描述符数值进行爬山运算,其具体方法为:选定网格模型网格点中的任意初始点依次与周围邻域点的数值进行迭代比较,直至在网格中搜寻出多个极大值点。爬山算法的应用可以优化整体方法的时间效率,缩短整体方法例的时间,提升了方法的鲁棒性。
再进一步,所述步骤4中,在计算数值排序标量场的持久同源性中,采用了并查集算法,具体方法为:首先将网格模型中点的所在集合初始化为其自身;进而查找每个点所在的集合即根节点;最后将两个元素所在的集合合并为一个集合,产生持久性图中的一个坐标点,其中合并两个不相交集合判断两个元素是否属于同一集合,由此计算完成数值排序标量场的持久同源性。并查集算法的应用,提升对持久性点的搜寻速度,提升整体分割方法的性能,方法中添加了改进的并查集算法。算法线性存储时间为2ο(eα-1(e)),其中e是网格中边的数量,α为阿克曼函数,对于曲面网格,边的数量在顶点数上是线性的,这使得我们的方法具有高度的可扩展性。
附图说明
图1是本发明分割方法整体流程图;
图2是基于FFS1下的椅子模型分割结果图;
图3是基于FFS2下的椅子模型分割结果图;
图4是基于FFS3下的椅子模型分割结果图;
图5是基于FFS1下的怪兽模型分割结果图;
图6是基于FFS1下的石膏模型分割结果图;
图7是基于FFS2下的茶壶模型分割结果图;
图8是基于FFS2下的眼镜模型分割结果图;
图9是基于FFS2下的小牛模型分割结果图;
图10是基于FFS3下的酒杯模型分割结果图;
图11是基于FFS3下的海豚模型分割结果图;
图12是基于FFS3下的章鱼模型分割结果图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细描述,但本发明的保护范围不受以下实施例的限制。
实施例所用模型取自普林斯顿大学网格模型库,共计19类380种模型,实施例以椅子网格模型为例,采用本发明的多融合物理签名的持久性聚类分割方法对椅子网格模型进行分割,具体步骤如下:
步骤1,设定待分割网格模型基于热核HKS、波核WKS、热映射HMS、尺度不变热核SI-HKS,四类物理签名的三类融合描述符,其中三类融合描述符分别为:基于波核签名与热映射签名的融合描述符FFS1、基于对波核与热核签名的和进行与乘积的融合描述符FFS2、基于波核签名与尺度不变的热核签名的融合描述符FFS3,三类融合描述符的定义由步骤1.1到1.3完成:
1.1、基于波核签名与热映射签名的融合描述符FFS1,其定义如下:
其中,λk和φ分别代表拉普拉斯矩阵的第k个特征值和特征函数,fE表示能量分布,t表示时间,E表示动能,n代表网格模型中点的个数,本实例以椅子网格模型为例,其中,n=11421,t=0.1,E=2;
1.2、基于对波核签名与热核签名的和进行与乘积的融合描述符FFS2,
定义如下:
其中,n是网格中点的个数,λk和φ分别代表拉普拉斯矩阵的第k个特征值和特征函数,fE表示能量分布,t表示时间,E表示动能。本实例以椅子网格模型为例,其中,n=11421,t=0.1,E=2;
1.3、基于波核签名与尺度不变的热核签名的融合描述符FFS3,定义如下:
其中,λl表示拉普拉斯矩阵的第l个特征值,是点xi的第l个特征函数,γl表示在离散时间内进行傅里叶变换得到的相,fE表示能量分布,E表示动能,φ代表拉普拉斯矩阵的第k个特征函数。本实例以椅子网格模型为例,其中,E=2;
步骤2,计算步骤1所提出三类融合描述符的拉普拉斯算子的特征值和特征向量,分别求得网格模型各网格点的三类融合描述符数值,三维网格模型可以被认为是定义在黎曼流形上的一个离散的网格曲面,由于本发明所用网格模型的三角面片较多,故可以使用几何网格拉普拉斯近似表示一个黎曼流形的拉普拉斯算子。对得到的拉普拉斯矩阵进行特征分解,就可以得到三维模型函数空间的基,选取前p个特征向量组成n×p阶基矩阵,其中n为模型点的个数,基矩阵的每列为一个特征向量,每行可以认为是模型拉普拉斯空间中对应点的植入坐标,本实施例选取p=30;
步骤3,建立基于步骤1的三类融合描述符的形状表征标量场,采用爬山算法分别对三类所得融合描述符数值进行爬山运算,获得标量场中融合签名函数的数值大小排序,其中,采用爬山算法分别对三类所得融合描述符数值进行爬山运算,其具体方法为:选定网格模型网格点中的任意初始点依次与周围邻域点的数值进行迭代比较,直至在网格中搜寻出多个极大值点;
步骤4,计算基于步骤3所得数值排序标量场的持久同源性,在计算数值排序标量场的持久同源性中,产生持久性图,并在持久性图中总结网格模型各网格点的持久性。
具体计算二维持久性图中的点是通过持续比较相邻两点的函数值,对于较小的局部最大值,其分量总是被合并到对应于较大的局部最大值的分量中,每当合并两点后输出每一对比较点,输出点即持久性图上产生的点,持久性图的横坐标表示一个峰值点的产生,纵坐标代表该点被更大的峰值点取代。持久性值提供了空间上函数结构的稳定表示,每个峰值的持久性只是对应点到对角线的垂直距离。由于每个点表示函数的局部最大值,所以更持久的峰值对应于远离对角线y=x的点,相反,靠近对角线的点更有可能对应于嘈杂的峰值。如果持久性的峰值足够大,可以清晰地看到分割反馈信息,即分割块数所对应的远离对角线点的个数。
在计算过程中,为了提升对持久性点的搜寻速度,提升整体分割方法的性能,实施例添加了并查集算法。具体方法为:首先将网格模型中点的所在集合初始化为其自身;进而查找每个点所在的集合即根节点;最后将两个元素所在的集合合并为一个集合,产生持久性图中的一个坐标点,其中合并两个不相交集合判断两个元素是否属于同一集合,由此计算完成数值排序标量场的持久同源性。算法线性存储时间为2ο(eα-1(e)),其中e是网格中边的数量,α为阿克曼函数,对于曲面网格,边的数量在顶点数上是线性的,这使得我们的方法具有高度的可扩展性;
步骤5,根据步骤4所得持久性图,给定持久性阈值,将持久性图中的点分类为显著特征或拓扑噪声,将对应的拓扑噪声合并到显著特征中,产生稳定的分割。具体为:根据步骤4得持久性图后,再次利用持久性聚类的方法,给定一个合并参数τ,将每个小于τ的突出聚类合并到它的周围较大密度值中,对分割结果产生较为具体的描述。通过检查持久性图,不仅可以选择有意义的合并参数,而且可以在不同的τ选择下获得分割段数的稳定性,产生持久性图的过程即网格模型分割的过程,本实例以椅子网格模型为例,τ=11,具体分割结果如图2、图3、图4所示,即完成了三类多融合物理签名的持久性聚类分割。
采用本发明所述的FFS1方法对怪兽、石膏头像网格模型进行了分割,分割结果如图5、图6所示;FFS2方法对茶壶、眼镜、小牛网格模型进行了分割,分割结果如图7、图8、图9所示;FFS3方法还对花瓶、海豚、章鱼网格模型进行了分割,分割结果如图10、图11、图12所示,所用模型分割参数可见表1。
表一:实施例所用模型参数表

Claims (4)

1.一种多融合物理签名的持久性聚类分割方法,其特征在于:包括以下步骤:
步骤1,设定待分割网格模型基于热核HKS、波核WKS、热映射HMS、尺度不变热核SI-HKS的四类物理签名的三类融合描述符;
步骤2,计算步骤1所提出三类融合描述符的拉普拉斯算子的特征值和特征向量,分别求得网格模型各网格点的三类融合描述符数值;
步骤3,建立基于步骤1的三类融合描述符的形状表征标量场,采用爬山算法分别对三类所得融合描述符数值进行爬山运算,获得标量场中融合签名函数的数值大小排序;
步骤4,计算基于步骤3所得数值排序标量场的持久同源性,产生持久性图,并在持久性图中总结网格模型各网格点的持久性;
步骤5,根据步骤4所得持久性图,给定持久性阈值,将持久性图中的点分类为显著特征或拓扑噪声,将对应的拓扑噪声合并到显著特征中,产生稳定的分割,即完成了多融合物理签名的持久性聚类分割。
2.根据权利要求1所述的多融合物理签名的持久性聚类分割方法,其特征在于,所述步骤1中,设定待分割网格模型基于热核HKS、波核WKS、热映射HMS、尺度不变热核SI-HKS四类物理签名的三类融合描述符,三类融合描述符分别为:基于波核签名与热映射签名的融合描述符FFS1、基于对波核与热核签名的和进行与乘积的融合描述符FFS2、基于波核签名与尺度不变的热核签名的融合描述符FFS3,三类融合描述符的定义由步骤1.1到1.3完成:
1.1、基于波核签名与热映射签名的融合描述符FFS1,其定义如下:
其中,λk和φ分别代表拉普拉斯矩阵的第k个特征值和特征函数,fE表示能量分布,t表示时间,E表示动能,n代表网格中点的个数;
1.2、基于对波核签名与热核签名的和进行与的融合描述符FFS2,定义如下:
其中,n是网格中点的个数,λk和φ分别代表拉普拉斯矩阵的第k个特征值和特征函数,fE表示能量分布,t表示时间,E表示动能;
1.3、基于波核签名与尺度不变的热核签名的融合描述符FFS3,定义如下:
其中,λl表示拉普拉斯矩阵的第l个特征值,是点xi的第l个特征函数,γL表示在离散时间内进行傅里叶变换得到的相,fE表示能量分布,E表示动能,φ代表拉普拉斯矩阵的第k个特征函数。
3.根据权利要求2所述的多融合物理签名的持久性聚类分割方法,其特征在于,所述步骤3中,采用爬山算法分别对三类所得融合描述符数值进行爬山运算,其具体方法为:选定网格模型网格点中的任意初始点依次与周围邻域点的数值进行迭代比较,直至在网格中搜寻出多个极大值点。
4.根据权利要求1-3任一项所述的多融合物理签名的持久性聚类分割方法,其特征在于,所述步骤4中,在计算数值排序标量场的持久同源性中,采用了并查集算法,具体方法为:首先将网格模型中点的所在集合初始化为其自身;进而查找每个点所在的集合即根节点;最后将两个元素所在的集合合并为一个集合,产生持久性图中的一个坐标点,其中合并两个不相交集合判断两个元素是否属于同一集合,由此计算完成数值排序标量场的持久同源性。
CN201810542723.2A 2018-05-30 2018-05-30 一种多融合物理签名的持久性聚类分割方法 Active CN108805886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810542723.2A CN108805886B (zh) 2018-05-30 2018-05-30 一种多融合物理签名的持久性聚类分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810542723.2A CN108805886B (zh) 2018-05-30 2018-05-30 一种多融合物理签名的持久性聚类分割方法

Publications (2)

Publication Number Publication Date
CN108805886A true CN108805886A (zh) 2018-11-13
CN108805886B CN108805886B (zh) 2021-09-03

Family

ID=64089489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810542723.2A Active CN108805886B (zh) 2018-05-30 2018-05-30 一种多融合物理签名的持久性聚类分割方法

Country Status (1)

Country Link
CN (1) CN108805886B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930389A (zh) * 2019-11-22 2020-03-27 北京灵医灵科技有限公司 三维医学模型数据的区域分割方法、装置和存储介质
CN111862328A (zh) * 2020-06-30 2020-10-30 首都师范大学 一种基于小样本的三维网格分割结果标签化的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1497494A (zh) * 2002-10-17 2004-05-19 精工爱普生株式会社 用于低景深图像分割的方法和装置
US20160042253A1 (en) * 2014-08-05 2016-02-11 Sri International Multi-Dimensional Realization of Visual Content of an Image Collection
CN106599514A (zh) * 2016-12-29 2017-04-26 安徽中科超安科技有限公司 一种基于非关联多级空间分割树的蒙特卡罗面片几何处理方法
CN106803094A (zh) * 2016-12-21 2017-06-06 辽宁师范大学 基于多特征融合的三维模型形状相似性分析方法
CN106846326A (zh) * 2017-01-17 2017-06-13 合肥工业大学 基于多核局部信息fcm算法的图像分割方法
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1497494A (zh) * 2002-10-17 2004-05-19 精工爱普生株式会社 用于低景深图像分割的方法和装置
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
US20160042253A1 (en) * 2014-08-05 2016-02-11 Sri International Multi-Dimensional Realization of Visual Content of an Image Collection
CN106803094A (zh) * 2016-12-21 2017-06-06 辽宁师范大学 基于多特征融合的三维模型形状相似性分析方法
CN106599514A (zh) * 2016-12-29 2017-04-26 安徽中科超安科技有限公司 一种基于非关联多级空间分割树的蒙特卡罗面片几何处理方法
CN106846326A (zh) * 2017-01-17 2017-06-13 合肥工业大学 基于多核局部信息fcm算法的图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YONGZHENG ZHOU 等: ""Topological Segmentation for Indoor Environments from Grid Maps Using an Improved NJW Algorithm"", 《IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION》 *
施逸飞 等: ""基于多核学习的快速网格分割算法"", 《计算机辅助设计与图形学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930389A (zh) * 2019-11-22 2020-03-27 北京灵医灵科技有限公司 三维医学模型数据的区域分割方法、装置和存储介质
CN111862328A (zh) * 2020-06-30 2020-10-30 首都师范大学 一种基于小样本的三维网格分割结果标签化的方法
CN111862328B (zh) * 2020-06-30 2022-07-01 首都师范大学 一种基于小样本的三维网格分割结果标签化的方法

Also Published As

Publication number Publication date
CN108805886B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN108335335B (zh) 一种基于增强图变换的点云属性压缩方法
Doraiswamy et al. Efficient algorithms for computing Reeb graphs
CN106096066B (zh) 基于随机近邻嵌入的文本聚类方法
CN104462163B (zh) 一种三维模型表征方法、检索方法及检索系统
Fan et al. A self-adaptive segmentation method for a point cloud
CN104298758A (zh) 一种多视角目标检索的方法
CN111310811B (zh) 一种基于多维特征最优组合的大场景三维点云分类方法
CN108805886A (zh) 一种多融合物理签名的持久性聚类分割方法
CN104765852B (zh) 大数据背景下基于模糊算法的数据挖掘方法
CN110660132A (zh) 一种三维模型构建方法及其装置
CN109299301A (zh) 一种基于形状分布和曲度的三维模型检索方法
CN115471641A (zh) 一种三维室内场景补全方法、装置、设备及存储介质
CN102289661A (zh) 一种基于谱匹配的三维网格模型的匹配方法
CN110955656A (zh) 矢量数据拓扑运算索引优化机制与构建方法
CN109241628B (zh) 基于图谱理论和聚类的三维cad模型分割方法
Hancock et al. Graph-based methods for vision: A yorkist manifesto
CN106294540B (zh) 基于p-stable局部敏感哈希检索数据样式的多点地质统计建模方法
Wuhrer et al. Segmenting animated objects into near-rigid components
Yang et al. Weakly supervised class-agnostic image similarity search based on convolutional neural network
CN104700439B (zh) 基于单张目标画像的人脸画像合成方法
CN106547825B (zh) 基于全局特征与子块特征的三维模型检索方法
CN101539960A (zh) 复制式协同CAD系统中保持用户意愿的Undo/Redo方法
KR101644426B1 (ko) 변형3d모델에 대응되는 원본3d모델 인식방법
Liu et al. An approach to 3D building model retrieval based on topology structure and view feature
Yang et al. Unsupervised co-segmentation of 3d shapes based on components

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant