CN111145081B - 基于空间体积特征的三维模型视图投影方法及系统 - Google Patents
基于空间体积特征的三维模型视图投影方法及系统 Download PDFInfo
- Publication number
- CN111145081B CN111145081B CN201911294295.7A CN201911294295A CN111145081B CN 111145081 B CN111145081 B CN 111145081B CN 201911294295 A CN201911294295 A CN 201911294295A CN 111145081 B CN111145081 B CN 111145081B
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- triangular
- coordinates
- volume
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000009877 rendering Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G06T3/06—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Abstract
本发明公开了基于空间体积特征的三维模型视图投影方法及系统,通过对三角面片的空间体积进行规范化并作为编码特征值,对三维模型进行渲染;设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图;可以使得三维模型生成的二维投影视图保留一定的空间体积特征;空间特征编码蕴含了三维模型的面片大小及空间位置关系,减少了由于视点角度不同而造成的面片大小遮挡和空间位置失真的问题,在一定程度上减少了由于视点角度不同而造成的面片大小遮挡和空间位置失真的问题,因此在相同数量的投影视图的情况下包含了更加丰富的空间信息特征,弥补了视图投影方法的不足之处。
Description
技术领域
本公开涉及计算机视觉与图像处理领域,具体涉及一种基于空间体积特征的三维模型视图投影方法及系统。
背景技术
随着三维物体建模、数字化和可视化技术的进步,对三维形状进行识别并实现分类与检索的技术变得越来越普遍。与二维图像相比,三维图形具有更高的维度,这也使得它具有更为复杂的几何结构和更加冗余的数据量。因此,如何对三维模型进行特征提取和寻找其低维度的描述子就变成了三维识别技术的关键所在。在传统的三维模型表示方法中,比较典型的方法有两种,一种是基于三维模型的原有结构特征,如点云、体素化模型等来提取三维模型的特征描述子。另一种方法则是将三维模型投影为二维视图的方法,包括极视图、多角度视图等。在三维模型的分类与检索技术的应用上,基于视图的方法其准确率一般高于基于模型空间结构特征的方法,其优点在于可以利用现有的较为成熟的二维卷积神经网络来实现对三维模型投影的二维特征视图进行特征提取从而实现三维模型的分类与检索。比较典型的框架有2015年的多视图卷积神经网络(MVCNN)[1]框架,该方法是通过构造平面上的多个视角来进行模型投影,得出多张投影视图,并将其放入多通道的卷积神经网络框架来进行视图特征的提取和融合。很多最新的研究成果都是基于这个基准上进行的,参考文献[2]在其基础上引入视图分组模块,通过不同视图之间的差异性来给出视图融合的权重,替换了原先的取均值池化。参考文献[3][4]在原有基础上分别引入了多元中心损失函数和最优传输距离损失函数来训练不同类别样本间的距离,从而替代原有的分类方法。
其中,现有技术的参考文献如下:
[1]Su H,Maji S,Kalogerakis E,et al.Multi-view Convolutional NeuralNetworks for 3D Shape Recognition[J].2015.
[2]Feng Y,Zhang Z,Zhao X,et al.GVCNN:Group-View Convolutional NeuralNetworks for3D Shape Recognition[C]//2018IEEE/CVF Conference on ComputerVision and Pattern Recognition(CVPR).IEEE,2018.
[3]He X,Zhou Y,Zhou Z,et al.Triplet-Center Loss for Multi-View 3DObject Retrieval[J].2018CVPR.
[4]Xu L,Sun H,Liu Y.Learning with Batch-wise Optimal Transport Lossfor 3D Shape Recognition[J].2019CVPR.
现有技术虽然在视图投影上做了广泛的探索并取得了比较好的效果,然而却无法解决视图投影方法具有的一个根本性的缺点,就是在三维投影到二维的过程中丢失了原有的空间结构信息。目前以MVCNN框架为代表的方法在视图的投影过程都存在丢失空间特征问题,因此需要增加观察视点的个数来产生出更多的视图。然而该方法会导致网络训练样本数据冗余和增大和网络结构的复杂度上升,因此对设备性能有更高的要求,同时也增大了对多个视图提取特征进行融合的难度。
为了解决现有技术的这一缺点,本发明提出了一种基于空间体积特征的三维模型视图投影方法。在多视图投影方法框架的基础上,提取了三维模型网格模型的空间体积结构特征,并将提取的特征作为投影视图的编码值,对三维投影视图进行编码,从而得出一种基有空间体积结构特征的三维模型投影视图。
发明内容
本公开提供基于空间体积特征的三维模型视图投影方法及系统,本公开提出一种空间体积编码视图,可以使得三维模型生成的二维投影视图保留一定的空间体积特征;提出的空间特征编码蕴含了三维模型的面片(或称三角形面片)大小及空间位置关系,减少了由于视点角度不同而造成的面片大小遮挡和空间位置失真的问题。
本公开的目的是针对上述问题,提供基于空间体积特征的三维模型视图投影方法及系统,具体包括以下步骤:
S100:对三维模型坐标进行标准化;
S200:找出各三角面片的三个顶点;
S300:计算任意三角面片的法向量、面积及三角面片到坐标原点的距离;
S400:计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值范围;
S500:对三角面片的空间体积进行规范化并作为编码特征值;
S600:通过编码特征值对三维模型进行渲染;
S700:设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图。
进一步地,在S100中,对三维模型坐标进行标准化的方法为:计算三维模型顶点的中心点O的坐标:将三维模型的全部顶点坐标减去中心点坐标,实现标准化,并将新的坐标原点记为O′,i=1到N,N为三维模型顶点数,其中,三维模型的顶点集为V={pi=(pix,piy,piz)|i=1,2,...N},其中,顶点pi=(pix,piy,piz),pix、piy、piz分别为顶点pi在x、y、z方向上的坐标分量,三角面片集为F={Fj|j=1,2,...M}。
进一步地,在S200中,找出各三角面片的三个顶点的方法为:对于每一个三角面片Fi,由网格模型的顶点和面片关系找出构成面片的三个顶点坐标{A,B,C}。
进一步地,在S300中,计算任意三角面片的法向量、面积及三角面片到坐标原点的距离的方法为:计算任意三角面片Fi的方向向外的法向量:三角面片面积:及三角面片到坐标原点距离的其中代表两点构成的向量,为O′到顶点C的向量,为顶点A到顶点B的向量,为顶点A到顶点C的向量,为第i个法向量。
进一步地,在S400中,计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值范围的方法为:计算以三角面片为底坐标原点为顶点的三棱椎体积并求出三棱椎体积的体积的取值范围V∈[minV,maxV];minV是三棱椎体积的最小值,maxV是三棱椎体积的最大值。
进一步地,在S500中,对三角面片的空间体积进行规范化并作为编码特征值的方法为:将三棱椎体积的体积取值区间[minV,maxV]映射到像素区间[0,255]上对三角面片的空间体积进行规范化,将规范化后的三角面片的空间体积作为编码特征值。
进一步地,在S700中,多个角度为等距离的多个角度,如每隔30°投影一张视图,形成12张视图。
本发明还提供了基于空间体积特征的三维模型视图投影系统,所述系统包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下系统的单元中:
坐标标准化单元,用于对三维模型坐标进行标准化;
面片顶点查询单元,用于找出各三角面片的三个顶点;
距离计算单元,用于计算任意三角面片的法向量、面积及三角面片到坐标原点的距离;
体积计算单元,用于计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值范围;
规范化单元,用于对三角面片的空间体积进行规范化并作为编码特征值;
模型渲染单元,用于通过编码特征值对三维模型进行渲染;
视图投影单元,用于设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图。
本公开的有益效果为:本发明公开了基于空间体积特征的三维模型视图投影方法,提出的投影图相对原有未编码的特征视图,在一定程度上减少了由于视点角度不同而造成的面片大小遮挡和空间位置失真的问题,因此在相同数量的投影视图的情况下包含了更加丰富的空间信息特征,弥补了视图投影方法的不足之处。
附图说明
通过对结合附图所示出的实施方式进行详细说明,本公开的上述以及其他特征将更加明显,本公开附图中相同的参考标号表示相同或相似的元素,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,在附图中:
图1所示为本公开的基于空间体积特征的三维模型视图投影方法的流程图;
图2所示为本公开实施方式的基于空间体积特征的三维模型视图投影系统。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本公开的目的、方案和效果。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为根据本公开的基于空间体积特征的三维模型视图投影方法的流程图,下面结合图1来阐述根据本公开的实施方式的方法。
本公开提出基于空间体积特征的三维模型视图投影方法,具体包括以下步骤:
设三维模型的顶点集为V={pi=(pix,piy,piz)|i=1,2,...N},其中,顶点pi=(pix,piy,piz),pix、piy、piz分别为顶点pi在x、y、z方向上的坐标分量,三角面片集为F={Fj|j=1,2,...M}。算法过程如下:
S200:对于每一个三角面片Fi,由网格模型的顶点和面片关系找出构成三角面片的三个顶点坐标{A,B,C};
S300:计算任意三角面片Fi的方向向外的法向量:三角面片面积:及三角面片到坐标原点的距离其中代表两点构成的向量,为O′到顶点C的向量,为顶点A到顶点B的向量,为顶点A到顶点C的向量,为第i个法向量。
S500:将三棱椎体积的体积取值区间[minV,maxV]映射到像素区间[0,255]上对三角面片的空间体积进行规范化,将规范化后的三角面片的空间体积作为编码特征值;
S600:利用MATLAB平台上的trisurf函数通过编码特征值对三维模型进行渲染,编码特征值即为渲染时视图投影点的像素值;
trisurf函数见https://ww2.mathworks.cn/help/matlab/ref/trisurf.html。
S700:设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图,如在水平面上每隔30°来投影一张视图,形成12张视图。
本公开的实施例提供的基于空间体积特征的三维模型视图投影系统,如图2所示为本公开的基于空间体积特征的三维模型视图投影系统结构图,该实施例的基于空间体积特征的三维模型视图投影系统包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于空间体积特征的三维模型视图投影系统实施例中的步骤。
所述系统包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下系统的单元中:
坐标标准化单元,用于对三维模型坐标进行标准化;
面片顶点查询单元,用于找出各三角面片的三个顶点;
距离计算单元,用于计算任意三角面片的法向量、面积及三角面片到坐标原点的距离;
体积计算单元,用于计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值范围;
规范化单元,用于对三角面片的空间体积进行规范化并作为编码特征值;
模型渲染单元,用于通过编码特征值对三维模型进行渲染;
视图投影单元,用于设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图。
所述基于空间体积特征的三维模型视图投影系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述基于空间体积特征的三维模型视图投影系统可运行的系统可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述例子仅仅是基于空间体积特征的三维模型视图投影系统的示例,并不构成对基于空间体积特征的三维模型视图投影系统的限定,可以包括比例子更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述基于空间体积特征的三维模型视图投影系统还可以包括输入输出设备、网络接入设备、总线等。所称处理器可以是中央处理单元(Central ProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述基于空间体积特征的三维模型视图投影系统运行系统的控制中心,利用各种接口和线路连接整个基于空间体积特征的三维模型视图投影系统可运行系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述基于空间体积特征的三维模型视图投影系统的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释,从而有效地涵盖本公开的预定范围。此外,上文以发明人可预见的实施例对本公开进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。
Claims (7)
1.基于空间体积特征的三维模型视图投影方法,其特征在于,所述方法包括以下步骤:
S100:对三维模型坐标进行标准化;
S200:找出各三角面片的三个顶点;
S300:计算任意三角面片的法向量、面积及三角面片到坐标原点的距离;
S400:计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值范围;
S500:对三角面片的空间体积进行规范化并作为编码特征值;
S600:通过编码特征值对三维模型进行渲染;
S700:设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图;
在S100中,对三维模型坐标进行标准化的方法为:计算三维模型顶点的中心点的坐标:,将三维模型的全部顶点坐标减去中心点坐标,实现标准化,并将新的坐标原点记为,i=1到N,N为三维模型顶点数,其中,三维模型的顶点集为,三角面片集为。
2.根据权利要求1所述的基于空间体积特征的三维模型视图投影方法,其特征在于,在S200中,找出各三角面片的三个顶点的方法为:对于每一个三角面片,由网格模型的顶点和面片关系找出构成面片的三个顶点坐标。
3.根据权利要求1所述的基于空间体积特征的三维模型视图投影方法,其特征在于,在S300中,计算任意三角面片的法向量、面积及三角面片到坐标原点的距离的方法为:计算任意三角面片的方向向外的法向量:,三角面片面积:,及三角面片到坐标原点距离的;其中代表两点构成的向量。
4.根据权利要求1所述的基于空间体积特征的三维模型视图投影方法,其特征在于,在S400中,计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值范围的方法为:计算以三角面片为底坐标原点为顶点的三棱椎体积,并求出三棱椎体积的取值范围;是三棱椎体积的最小值,是三棱椎体积的最大值。
5.根据权利要求1所述的基于空间体积特征的三维模型视图投影方法,其特征在于,在S500中,对三角面片的空间体积进行规范化并作为编码特征值的方法为:将三棱椎体积的体积取值区间映射到像素区间[0,255]上对三角面片的空间体积进行规范化,将规范化后的三角面片的空间体积作为编码特征值。
6.根据权利要求1所述的基于空间体积特征的三维模型视图投影方法,其特征在于,在S700中,所述多个角度为等距离的多个角度,如每隔30°投影一张视图,形成12张视图。
7.基于空间体积特征的三维模型视图投影系统,其特征在于,所述系统包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下系统的单元中:
坐标标准化单元,用于对三维模型坐标进行标准化;
面片顶点查询单元,用于找出各三角面片的三个顶点;
距离计算单元,用于计算任意三角面片的法向量、面积及三角面片到坐标原点的距离;
体积计算单元,用于计算以三角面片为底、坐标原点为顶点的三棱椎体积和取值范围;
规范化单元,用于对三角面片的空间体积进行规范化并作为编码特征值;
模型渲染单元,用于通过编码特征值对三维模型进行渲染;
视图投影单元,用于设置虚拟视点通过多个角度对渲染后的三维模型进行投影获得多个编码视图;
所述对三维模型坐标进行标准化的方法为:计算三维模型顶点的中心点的坐标:,将三维模型的全部顶点坐标减去中心点坐标,实现标准化,并将新的坐标原点记为,i=1到N,N为三维模型顶点数,其中,三维模型的顶点集为,三角面片集为。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911294295.7A CN111145081B (zh) | 2019-12-16 | 2019-12-16 | 基于空间体积特征的三维模型视图投影方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911294295.7A CN111145081B (zh) | 2019-12-16 | 2019-12-16 | 基于空间体积特征的三维模型视图投影方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111145081A CN111145081A (zh) | 2020-05-12 |
CN111145081B true CN111145081B (zh) | 2023-04-25 |
Family
ID=70518405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911294295.7A Active CN111145081B (zh) | 2019-12-16 | 2019-12-16 | 基于空间体积特征的三维模型视图投影方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111145081B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111882642B (zh) * | 2020-07-28 | 2023-11-21 | Oppo广东移动通信有限公司 | 三维模型的纹理填充方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345771A (zh) * | 2013-06-28 | 2013-10-09 | 中国科学技术大学 | 一种基于建模的图像高效渲染方法 |
WO2019157924A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 三维物体的实时检测方法及系统 |
CN110163974A (zh) * | 2019-05-22 | 2019-08-23 | 南京大学 | 一种基于无向图学习模型的单图像面片重建方法 |
-
2019
- 2019-12-16 CN CN201911294295.7A patent/CN111145081B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345771A (zh) * | 2013-06-28 | 2013-10-09 | 中国科学技术大学 | 一种基于建模的图像高效渲染方法 |
WO2019157924A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 三维物体的实时检测方法及系统 |
CN110163974A (zh) * | 2019-05-22 | 2019-08-23 | 南京大学 | 一种基于无向图学习模型的单图像面片重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111145081A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108509848B (zh) | 三维物体的实时检测方法及系统 | |
CN107123164B (zh) | 保持锐利特征的三维重建方法及系统 | |
US11514642B2 (en) | Method and apparatus for generating two-dimensional image data describing a three-dimensional image | |
CN110287873B (zh) | 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备 | |
CN110226806B (zh) | 一种鞋底涂胶轨迹生成方法及装置 | |
CN104574432B (zh) | 一种自动多视角人脸自拍图像的三维人脸重建方法及系统 | |
WO2020093950A1 (zh) | 三维物体分割方法、设备和介质 | |
CN112328715B (zh) | 视觉定位方法及相关模型的训练方法及相关装置、设备 | |
CN106803094A (zh) | 基于多特征融合的三维模型形状相似性分析方法 | |
CN109766866B (zh) | 一种基于三维重建的人脸特征点实时检测方法和检测系统 | |
WO2022183500A1 (zh) | 基于投影的点云质量评价方法、装置、设备和存储介质 | |
CN113192179A (zh) | 一种基于双目立体视觉的三维重建方法 | |
CN111382618B (zh) | 一种人脸图像的光照检测方法、装置、设备和存储介质 | |
CN110796671A (zh) | 数据处理方法及相关装置 | |
WO2023093739A1 (zh) | 一种多视图三维重建的方法 | |
CN115439607A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
CN111145081B (zh) | 基于空间体积特征的三维模型视图投影方法及系统 | |
CN111401157A (zh) | 一种基于三维特征的人脸识别方法和系统 | |
US11816857B2 (en) | Methods and apparatus for generating point cloud histograms | |
CN114202632A (zh) | 网格线性结构恢复方法、装置、电子设备及存储介质 | |
WO2022252118A1 (zh) | 一种头部姿态测量方法及装置 | |
CN108009576A (zh) | 一种目标匹配的物体识别方法、设备及存储设备 | |
CN113593036A (zh) | 一种参照网格参数化模型的成像系统、方法、设备及程序 | |
CN115147433A (zh) | 点云配准方法 | |
CN111414802A (zh) | 蛋白质数据特征提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |