CN112330814B - 一种基于机器学习的结构光三维重建方法 - Google Patents

一种基于机器学习的结构光三维重建方法 Download PDF

Info

Publication number
CN112330814B
CN112330814B CN202011329583.4A CN202011329583A CN112330814B CN 112330814 B CN112330814 B CN 112330814B CN 202011329583 A CN202011329583 A CN 202011329583A CN 112330814 B CN112330814 B CN 112330814B
Authority
CN
China
Prior art keywords
structured light
representation
dimensional reconstruction
classification
fringe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011329583.4A
Other languages
English (en)
Other versions
CN112330814A (zh
Inventor
杨涛
彭磊
姜军委
李晓晓
李欢欢
周翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gedian Technology Shenzhen Co ltd
Original Assignee
Gedian Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gedian Technology Shenzhen Co ltd filed Critical Gedian Technology Shenzhen Co ltd
Priority to CN202011329583.4A priority Critical patent/CN112330814B/zh
Publication of CN112330814A publication Critical patent/CN112330814A/zh
Application granted granted Critical
Publication of CN112330814B publication Critical patent/CN112330814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于分类的结构光三维重建方法,包含以下步骤:(1)确定投射条纹图的组合方案;(二)投射并采集条纹图;(三)分类得到类别图;(四)回归得到表示图;(五)使用表示图重建三维点云信息。相比现有的条纹投影结构光三维重建方法,本方法使用更少的结构光图案即可完成高精度、高鲁棒性的三维重建。相比现有的非条纹投影方案的结构光三维重建方法,如伪随机点阵等,本发明拥有更高的3D成像精度。

Description

一种基于机器学习的结构光三维重建方法
技术领域:
本发明涉及一种基于分类的结构三维重建方法,主要利用分类的方法,以变形条纹图作为输入,输出用于重建的分类图,最终完成三维重建,属于光学三维测量领域和人工智能领域。
背景技术:
在传统的条纹投影结构光三维测量方法中,相位提取和相位解包裹是不可或缺的步骤。相位提取通常是使用一帧或多帧图像作为输入,从中提取包裹相位。广泛使用的相位提取方法为相移法,优点是相位提取精度高;缺点是需要多帧图像,因而不能测量动态物体。单帧相位提取技术则使用一帧条纹图就可以计算得到包裹相位,所以通常用来进行实时测量,例如傅里叶变换法、希尔伯特变换、窗口傅里叶法等。在获得包裹相位之后,需要使用去包裹算法,去除相位的周期性歧义,得到展开的绝对相位,以便完成三维重建。通常使用的去包裹算法包括空域法和时域法,空域法利用空间邻域信息以及几何约束等信息,对相位进行展开,好处是不需要额外的相位图进行辅助,缺点是鲁棒性差,因为当条纹的频率较高时,这种周期性的歧义在物理上就难以消除,即使在某些特殊情况下,可以通过空间关联性和先验知识,去除这种歧义,其过程也是非常耗时的。时域法则通过采集更多的图像以获取更多用于展开相位的信息,好处是鲁棒性好,缺点是由于需要采集更多的信息,对于动态场景可能会引入新的误差。通常,为了获得高精度高鲁棒性的展开相位,需要使用十余帧不同参数的条纹图进行投影组合,这大大降低了条纹投影结构光的应用范围。如何在保证精度和鲁棒性的前提下,简化步骤,减少所需要的条纹结构光的数量,对扩展该方法的应用场景具有重要意义,同时也是该领域的重要研究方向。
深度学习是一种强大的图像信号处理工具,科研和工程技术人员在近些年开始使用深度学习来解决相位提取和相位展开的任务。但仍然遵循着传统的范式:图像采集,相位提取,相位解包裹,三维重建。也有研究人员尝试,从输入图像中直接回归绝对相位或者深度,但是目前尚未取得很好的效果,难以获得鲁棒性和精度均较高的性能。本专利旨在提出一种基于分类的结构光三维重建方法,以简化传统的流程,并以较少的帧数实现高鲁棒性和高精度的三维重建。
发明内容:
本发明的目的是简化传统条纹投影结构光三维成像的流程,提出一种少帧高鲁棒性和高精度的条纹投影结构光三维重建方法。
一种基于分类的结构光三维重建方法,包含以下步骤:
(一)确定投射条纹图的组合方案;
(二)投射并采集条纹图;
(三)分类得到类别图;
(四)回归得到表示图;
(五)使用表示图重建三维点云信息。
所述步骤(一)中,包含以下步骤
第一步:首先确定系统的工作场景和性能要求
工作场景包含但不限于,所测对象是否连续,其纹理特征,Z向深度变化范围,抗光性等。
性能要求包含但不限于:Z向精度要求,XY向分辨率要求,速度要求等。
第二步:根据系统的设计指标确定条纹编码方案
本步骤中根据工作场景特点和性能要求综合考虑确定具体的编码方案,包含但不限于以下考虑因素:
1)如果被测表面连续,可使用单帧高频率条纹图投影方案;
2)如果被测相对连续并且是动态变化,可使用单帧中等频率条纹投影方案;
3)如果被测对象不连续,或者对精度要求较高,可使用多帧不同频率的条纹图进行组合。
本步骤中及后文所述“条纹图”或者“条纹结构光”指的是正余弦相位编码结构光(如图1中所示),所述“频率”在数值上等于所投射正(余)弦条纹的周期数。所述的“高频率条纹图”,“高频率”其定义为综合考虑投射分辨率和采集分辨率以及光学系统的传递函数之后,所能投射的较高频率的条纹图的条纹周期个数,其典型值为128或者64。类似的,中等频率的典型值为16,低等频率的条纹周期个数典型值为4或者1。其具体取值为推荐典型值附近的有理数。
所述步骤(二)中,包含以下步骤
第一步:利用光栅投射器件向物体表面投射条纹结构光图案。
所述光栅投射器件,包含但不限于DLP(Digital Light Processing),LCD(LiquidCrystal Display),LCOS(Liquid crystal on silicon),MEMS(micro-electromechanicalsystem)器件,以及经过光刻的模拟光栅器件等不同的实现方式。
所述光栅投射器件,可以是一个或者多个相同类型或者不同类型的器件进行不同方式的组合。
第二步:利用不同的数字图像采集装置采集条纹结构光的图像。
数字图像采集装置与投射器件工作在同一波段,其类型包含但不限于CMOS和CCD。其数量可以是一个或者多个,其拍摄的角度一般和投射角度需要有一定的夹角或者位置偏移。
所述步骤(三)中,包含以下步骤:
第一步:将所采集的条纹图,进行前处理,作为输入数据。
所述“采集的条纹图”可以是来自一个采集装置的单次采集、或者多次采集,也可以是来自多个装置的单次采集、或者多次采集的组合。前处理包含但不限于,数据的降噪、组合、融合、采样、以及维度变换。
第二步:利用所设计的分类算法进行分类以及后处理,得到分类图。
所述的“分类算法”的方法包含但不限于:分类树、随机森林、神经网络。后处理包含但不限于:降噪、采样、差值。
所述的“分类算法”的方法如果是基于学习的方法,在使用前需要进行训练,以获得最优化的参数权重。
所述类别图,是一个由整数组成的矩阵。其大小和图像分辨率相关,可以相等,也可以更大或者更小。其取值是与所投射的相位存在映射关系的整数,其意义为,深度关联信息在某个空间的一种整数表示形式。
所述步骤(四)中,在得到分类图后,进一步使用回归的方法,以整型的类别图为基础,回归得到浮点型的表示图。以提高表示精度。
所述“表示图”是与“类别图”处于同一空间,具有相似的意义,不同之处是数据类型不同。
所述的“回归”的方法包含但不限于:回归树、随机森林、神经网络。
所述的“回归”的方法如果是基于学习的方法,在使用前需要进行训练,以获得最优化的参数权重。
所述步骤(五)中,重建三维点云信息的方法包含以下步骤:
第一步:通过标定获得系统的参数
第二步:使用系统的参数,利用表示图进行三维点云的重建。
在本发明所述的多个步骤及子步骤,如“投射”、“采集”、“计算”、“训练”、“匹配”等,可以在同一个平台或者不同平台下完成。可以在同一个设备或者不同设备上完成,如:本地的GPU、NPU、CPU、ARM、DSP,以及云端的各种计算平台。
在本发明的另一个实施方案中,所述“条纹编码方案”,可以是一帧灰度条纹结构光,或者多帧灰度条纹结构光的组合;也可以是一帧彩色条纹结构光,或者多帧彩色条纹结构光的组合。
在本发明的另一个实施方案中,所述“条纹编码方案”是条纹结构光和其他结构光的组合形式。如图1所示,所述“其他结构光”包含但不限于:格雷码,伪随机点阵编码,最小编码(mini pattern),灰度条纹编码,网格编码,彩虹编码,彩色点整编码,De Bruijin编码。
在本发明的另一个实施方案中,步骤(三)中,输入图像是采集到的条纹图(或者其他前述组合方案)和以下图像信息的任意组合:不包含结构光信息的灰度纹理图、不包含结构光信息的彩色纹理图、投射的结构光图案。
在本发明的另一个实施方案中,步骤(五)中,将表示图先转化为视差图,在使用视差图进行三维重建。
在本发明的另一个实施方案中,步骤(三)中,所述“类别图”是和视差存在映射关系的整数矩阵,“表示图”是和视差存在映射关系的浮点型矩阵。此时,步骤(五)中,利用表示图进行重建是重新将表示图映射为视差图,然后重建。
在本发明的另一个实施方案中,步骤(三)中,所述“类别图”是和深度存在映射关系的整数矩阵,“表示图”是和深度存在映射关系的浮点型矩阵。此时,步骤(五)中,利用表示图进行重建是直接将表示图逆向映射为深度图,再计算点云信息。
本发明的积极效果
(1)相比现有的条纹投影结构光三维重建方法(通常需要使用9帧以上的结构光信息),本方法使用更少的结构光图案(一到两帧)即可完成高精度、高鲁棒性的三维重建。
(2)相比现有的非条纹投影方案的结构光三维重建方法,如伪随机点阵等,本发明拥有更高的3D成像精度。
附图说明
图1示例结构光编码方式
图2条纹投影测量系统示例。1成像系统;2结构光投射系统;3被测物
图3示例网络结构
具体实施方式
本发明利用分类然后回归的思想和方法,实现少帧条纹投影的高精度高鲁棒性三维重建。为了实现发明目的,本方法给出如下示例技术方案:
(一)确定投射条纹图的组合方案
通常我们向物体表面投射的结构光信息可以表示为
其中,Ap和Bp分别为投射条纹图的背景和调制度,为相位信息并且有:
其中,f0是投影结构光的条纹频率。
通过采集到的条纹图可以表示为:
其中Ac和Bc表示采集到的条纹图的背景和调制度。为表面高度所导致的相移。定义
那么:
通常,绝对相位Φ是需要求取的量,而是通过不同方法求得的包裹相位,k是需要通过相位去包裹的求得的级数。
本方法中,需要根据使用环境确定的编码方案,包括Ap和Bp和f0。以及他们的组合方式。本方法给出的示例取值为:Ap为135,Bp为100,f0为(64,4)的组合,以满足通用场景。
(二)投射并采集条纹图
本方法给出的具体示例系统为单目单投影交叉光轴系统,如图1所示。采集装置采用CMOS相机,投射系统使用MEMS条纹结构光投射系统。投射系统和采集系统同步工作,采集变形的条纹结构光图像。
本方法包含但不限于上述示例测量系统实现方法。
(三)分类得到类别图
建立两个数据集,有理数集合|Φ|和自然数集|C|,根据集合相关的数学知识,我们可以知道两个集合的基数都是于是,从集合|Φ|到集合|C|可以建立一个双射,即集合|Φ|中的每一个元素Φ,在集合|C|中都有一个元素C与之对应,反过来亦成立,即:
g1:|Φ|→|C|,and g2:|C|→|Φ|
其中,g1和g2是映射函数。
那么我们可以建立一个从相位Φ到,自然数C之间的映射关系。
我们所建立的网络,实际上模拟了函数g1的功能。
本方法给出的一种具体实现像素级的分类方法,如图3所示。该网络采用深度卷积网络提取特征,然后使用softmax分类器进行分类,得到不同类别的概率分布:
经过
求得概率最大的分类值,即预测类别值。
需要注意的是,此处如果分类过多,会导致严重的内存的占用,从而可以使用集成分类的方法,将一个分类器变形为多个分类器的并联或者串联。
上述过程在使用前,需要采集数据进行训练,以获得最优的网络参数。在训练的过程中,损失函数使用交叉损失熵,
训练损失函数为不同层级的交叉损失熵的组合:
其中,mn为图像的像素分辨率,i为像素的索引。
此处使用64分类进行条纹图的像素分类,在将分类图定义为和绝对相位Φ存在直接映射关系的一种表示的前提下,训练所使用的类别图的真值的计算方式为:
其中,Φ为使用相移法计算得到的绝对相位。
(四)回归得到表示图
以第(三)步中的类别图为输入,构建卷积网络进行回归进一步得到浮点型的表示图。表示图的训练真值为使用相移法计算得到的绝对相位Φ,训练过程使用L1损失。过程如图3所示。
所述回归过程的训练是在完成分类过程训练之后,冻结特征提取和分类网络参数后,仅仅更新特征回归网络的参数。
(五)重建三维点云信息
在将分类图定义为和绝对相位Φ存在直接映射关系的一种表示的前提下,在上一步的基础上,利用下式重建深度Z:
其中b为基线距,f为焦距,α和β为和类别空间取值范围相关的、确定的系数。Cr为分类图Cp在经过回归后得到的表示图。
此时,X和Y的信息可以根据系统标定得到的内外参数和Z进行计算,从而建立三维点云:
其中,x,y是相机坐标系坐标。
虽然已经详细的描述和显示了一些具体实施方案,但本发明不受所述实施方案的限制,也可以以下权利要求书限定的主和范围内的其他方式实现。具体来说,应该了解在不偏离本发明范围的情况下,可使用其他实施方案,并可以进行功能修改。
在列举若干工具的装置权利要求中,这些工具中的一些可由一个相同的硬件项目实现。相互不同的从属权利要求中叙述或不同的实施方案中描述了特定量度这一事实,并不表示不能使用这些量度的组合以使有点突出。
应强调,在本说明书中使用术语“包括/包含(comprises/comprising)”时,其被理解为规定存在所述的特征、整数、步骤或组分,但不排除存在或添加一个或多个其它特征、整数、步骤、组分或其群组。
上文和下文描述的方法的特征可以软件实施,且可通过执行计算机可执行指令而在数据处理系统或其它处理工具上执行。指令可以是程序代码,其从存储介质或经由计算机网络从另一台计算机载入内存(例如RAM)。或者,所述的特征可由硬连线电路代替软件实现,或由硬连线电路和软件组合实现。

Claims (5)

1.一种基于机器学习的结构光三维重建方法,其特征在于,包含以下步骤:(一)确定投射条纹图的组合方案;(二)投射并采集条纹图;(三)分类得到类别图;(四)回归得到表示图;(五)使用表示图重建三维点云信息;
所述步骤(一)如下:条纹图投影组合方案,至少包含一个正弦条纹图或者余弦条纹图;条纹图投影组合方案是多个不同频率、相位进行的组合,或者是条纹图与伪随机点阵编码、最小编码、网格编码的组合;
所述步骤(二)中,数字图像采集设备相对于投射器件具有一定的夹角或者空间位置的偏移,并工作在同一波段,依次采集投射在物体表面的结构光信息;
所述步骤(三)中,通过分类算法,将结构光信息进行像素级的分类,以将其所包含的相位信息映射到一个类别空间,得到整型的类别图;所述分类算法的特征在于,其是基于学习的分类算法;采用多个分类器进行串联或者并联;所述基于学习的分类算法训练的真值使用相移法计算得到的绝对相位Φ进行变换得到;
所述步骤(四)如下:以步骤(三)步中整型的类别图为输入,构建卷积网络进行回归,进一步得到浮点型的表示图;表示图的训练真值为使用相移法计算得到的绝对相位Φ;所述回归过程的训练是在完成分类过程训练之后,冻结特征提取和分类网络参数后,仅仅更新特征回归网络的参数训练得到;
所述步骤(五)中,需要首先标定获得系统的参数;然后使用表示图进行重建。
2.如权利要求1所述结构光三维重建方法,其特征在于,结构光编码组合方式是在根据Z向精度要求,XY向分辨率要求,速度要求,物体表面特征因素进行确定的。
3.如权利要求2所述结构光三维重建方法,其特征在于,
结构光编码组合方式至少有一张是条纹结构光,用下式进行表示:
其中,Ap和Bp分别为投射条纹图的背景和调制度,为相位信息并且有:
其中,f0是投影结构光的条纹频率。
4.如权利要求3所述结构光三维重建方法,其特征在于,使用深度卷积网络提取特征,然后使用softmax分类器进行分类,使用交叉损失熵作为训练的损失函数。
5.如权利要求4所述结构光三维重建方法,其特征在于,所述步骤(五)中重建方法是:在将分类图定义为和绝对相位Φ存在直接映射关系的一种表示的前提下,在上一步的基础上,利用下式重建深度Z:
其中b为基线距,f为焦距,α和β为和类别空间取值范围相关的、确定的系数;Cr为表示图;
此时,X和Y的信息根据系统标定得到的内外参数和Z进行计算,从而建立三维点云:
其中,x,y是相机坐标系坐标。
CN202011329583.4A 2020-11-24 2020-11-24 一种基于机器学习的结构光三维重建方法 Active CN112330814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011329583.4A CN112330814B (zh) 2020-11-24 2020-11-24 一种基于机器学习的结构光三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011329583.4A CN112330814B (zh) 2020-11-24 2020-11-24 一种基于机器学习的结构光三维重建方法

Publications (2)

Publication Number Publication Date
CN112330814A CN112330814A (zh) 2021-02-05
CN112330814B true CN112330814B (zh) 2023-11-07

Family

ID=74322335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011329583.4A Active CN112330814B (zh) 2020-11-24 2020-11-24 一种基于机器学习的结构光三维重建方法

Country Status (1)

Country Link
CN (1) CN112330814B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293705A1 (en) * 2016-09-12 2018-03-14 Dassault Systèmes 3d reconstruction of a real object from a depth map
WO2019113912A1 (zh) * 2017-12-15 2019-06-20 中国科学院深圳先进技术研究院 基于结构光的三维图像重建方法、装置及存储介质
CN110487216A (zh) * 2019-09-20 2019-11-22 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法
CN111047681A (zh) * 2019-11-07 2020-04-21 北京理工大学 基于深度学习的单像素三维端到端重建方法及装置
CN111222472A (zh) * 2020-01-09 2020-06-02 西安知象光电科技有限公司 一种基于结构光频域特征的人脸识别方法
CN111383234A (zh) * 2020-03-04 2020-07-07 中国空气动力研究与发展中心超高速空气动力研究所 一种基于机器学习的结构光在线密集三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293705A1 (en) * 2016-09-12 2018-03-14 Dassault Systèmes 3d reconstruction of a real object from a depth map
WO2019113912A1 (zh) * 2017-12-15 2019-06-20 中国科学院深圳先进技术研究院 基于结构光的三维图像重建方法、装置及存储介质
CN110487216A (zh) * 2019-09-20 2019-11-22 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法
CN111047681A (zh) * 2019-11-07 2020-04-21 北京理工大学 基于深度学习的单像素三维端到端重建方法及装置
CN111222472A (zh) * 2020-01-09 2020-06-02 西安知象光电科技有限公司 一种基于结构光频域特征的人脸识别方法
CN111383234A (zh) * 2020-03-04 2020-07-07 中国空气动力研究与发展中心超高速空气动力研究所 一种基于机器学习的结构光在线密集三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learning Deeply Supervised Good Features to Match for Dense Monocular Reconstruction;Weerasekera 等;《COMPUTER VISION - ACCV 2018, PT V》;第11365卷;609-624 *
基于二值几何编码图案的高精度结构光系统参数标定方法研究;曾海;唐苏明;田野;刘映江;宋展;;《集成技术》;第7卷(第2期);37-46 *

Also Published As

Publication number Publication date
CN112330814A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN109253708B (zh) 一种基于深度学习的条纹投影时间相位展开方法
Van der Jeught et al. Real-time structured light profilometry: a review
CN111563564B (zh) 基于深度学习的散斑图像逐像素匹配方法
Salvi et al. A state of the art in structured light patterns for surface profilometry
CN109945802B (zh) 一种结构光三维测量方法
CN108955571B (zh) 双频外差与相移编码相结合的三维测量方法
CN105844633B (zh) 基于De序列和相位编码的单帧结构光深度获取方法
CN103292741A (zh) 一种基于k均值颜色聚类的物体表面三维轮廓的结构光视觉测量方法
CN110174079B (zh) 一种基于四步相移编码型面结构光的三维重建方法
WO2021184686A1 (zh) 基于多尺度生成对抗神经网络的单帧条纹分析方法
CN107990846B (zh) 基于单帧结构光的主被动结合深度信息获取方法
CN114777677A (zh) 基于深度学习的单帧双频复用条纹投影三维面型测量方法
CN111043988A (zh) 一种基于图形学和深度学习的单张条纹投影测量方法
CN111174730A (zh) 一种基于相位编码的快速相位解包裹方法
CN110097634A (zh) 一种自适应多尺度的三维鬼成像方法
Gu et al. Holoimages
CN113884027B (zh) 基于自监督深度学习的几何约束相位展开方法
CN117011478B (zh) 一种基于深度学习与条纹投影轮廓术的单张图像重建方法
Liu et al. A novel phase unwrapping method for binocular structured light 3D reconstruction based on deep learning
CN111583323B (zh) 一种单帧结构光场三维成像方法和系统
CN112330814B (zh) 一种基于机器学习的结构光三维重建方法
CN116823602A (zh) 一种视差引导的光场图像的空间超分辨率重建方法
CN112562059B (zh) 一种自动化结构光图案设计方法
CN113450460A (zh) 一种基于人脸面形空间分布的无相位展开三维人脸重建方法及系统
Ding et al. Recovering the absolute phase maps of three selected spatial-frequency fringes with multi-color channels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant