CN113739718A - 一种基于多圆拟合的物体三维建模方法 - Google Patents

一种基于多圆拟合的物体三维建模方法 Download PDF

Info

Publication number
CN113739718A
CN113739718A CN202110988427.7A CN202110988427A CN113739718A CN 113739718 A CN113739718 A CN 113739718A CN 202110988427 A CN202110988427 A CN 202110988427A CN 113739718 A CN113739718 A CN 113739718A
Authority
CN
China
Prior art keywords
image
circle
sub
fitting
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110988427.7A
Other languages
English (en)
Other versions
CN113739718B (zh
Inventor
王蕾
马运娇
潘如如
高卫东
徐步高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202110988427.7A priority Critical patent/CN113739718B/zh
Publication of CN113739718A publication Critical patent/CN113739718A/zh
Application granted granted Critical
Publication of CN113739718B publication Critical patent/CN113739718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多圆拟合的物体三维建模方法,包括步骤:利用两个平面镜的连续反射,在一幅图像中采集物体的多个视角图像;借助图像处理技术,获得物体二值化图像;利用双平面镜成像原理,绘制以各子图中的物体像素宽度为直径的圆并调整圆心位置,找出合适的相邻子图对应圆之间的交点,拟合为异形图形,并合所有异形图形后完成物体三维模型重构。本发明构建的物体三维模型准确度较高。

Description

一种基于多圆拟合的物体三维建模方法
技术领域
本发明属于物体三维模型重建领域,涉及一种基于多圆拟合的物体三维建模方法。
背景技术
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。基于立体视觉的测量技术以其测量速度快、重建精度高、适用性强等优点受到越来越广泛的应用,逐渐成为现代三维测量技术的主流。传统的立体视觉测量技术需要两台甚至更多的相机,成本大大提高。两个平面镜相交放置,变换角度,通过两平面镜间的反射,产生多个不同视角图像。因此,利用一个相机和两个平面镜采集图像,能够降低成本,提高效率。在物体三维模型构建过程中,对于横截面为圆形的物体,直接用圆形完成物体横截面的拟合速度更快、准确度高。
发明内容
在此基础上,本发明的目的在于提出一种基于多圆拟合的物体三维建模方法,特别针对于横截面为圆形的物体。
本发明的技术方案如下:
一种基于多圆拟合的物体三维建模方法,包括以下步骤:
第一步:将两个平面镜相交放置,(两平面镜间夹角为72±5°),目标物置于两平面镜夹角的角平分线上,与两平面镜交点间的距离为1±0.5cm,可根据相机参数及成像效果调整两平面镜夹角以及目标物与两平面镜交点的距离,使相机从正面能够捕捉到较为清晰的5个像;
第二步:调整相机的放大倍数或距离,使相机捕捉到的5个像得以均匀排列在单帧图像上,从左至右分别称为子图1、子图2、子图3、子图4、子图5;
第三步:用标定物替换目标物位置,测量标定物在像素纵坐标上重心位置的变化以及在像素横坐标上宽度的变化,完成目标物实像与虚像之间的比例和位置关系校准,得到标定结果;
第四步:根据标定结果对4个虚像进行放大以及位置调整,并对每个子图进行如下的数字图像处理;
第五步:采用大津阈值算法对图像进行二值化处理,以圆盘模型对图像进行形态学开运算,并提取图像相邻像素灰度值,确定图像边缘;
第六步:自上而下分别测量子图中目标物在各个像素横坐标上的直径大小,并以直径数值绘制相应直径的圆;
第七步:根据4个虚像与实像间的几何关系,确定分别以4个虚像为基础绘制所得的圆的圆心需要移动的角度和距离。
第八步:通过移动圆形的圆心位置,找出相邻两个圆形的交点,完成异形图形拟合,具体操作为:根据双平面镜成像原理、相机参数、标定结果,调整所绘制的5个圆形的圆心位置,以子图1、子图5为基础绘制的圆形分别会与以子图3为基础绘制的圆形产生1个交点,分别选择该交点作为拟合时的关键点;以子图2为基础绘制的圆形会与以子图1为基础绘制的圆形产生2个交点,选择左侧交点为拟合时的关键点;以子图2为基础绘制的圆形会与以子图4为基础绘制的圆形拟合时,分别找出像素横坐标为0时两个圆的点,为保证拟合图形完整,取像素纵坐标较大的点作为拟合关键点;以子图4为基础绘制的圆形会与以子图5为基础绘制的圆形产生2个交点,选择右侧交点为拟合时的关键点。根据5个关键点融合5个圆形为1个异形图形,并合所有像素横坐标上的异形图形即可得到目标物的三维模型。
本发明的有益效果:
本发明提供的基于多圆拟合的物体三维建模方法,利用两个平面镜的连续反射,在一幅图像中采集目标物的多个视角图像;借助图像处理技术,得到目标物二值图像;利用双平面镜成像原理,绘制以各子图中的纱线像素为直径的圆并调整圆心位置,找出合适的相邻子图对应圆之间的交点,拟合为异形图形,并合所有异形图形后完成目标物三维模型重构,对于横截面为圆形的物体,得到的目标物三维模型与实物相符。
附图说明
图1为双平面镜形成的5个视图;
图2为成像系统的俯视图;
图3为以V1为基础绘制所得圆的圆心所需移动角度示意图;
图4为以V3为基础绘制所得圆的圆心所需移动角度示意图;
图5为以V1为基础绘制所得圆与以V3为基础绘制所得圆相交示意图;
图6为多圆拟合示意图;
图7为合成的目标物三维模型图像。
具体实施方式
为使本发明的目的、技术方案和优势更加清楚明白,以下结合具体实施例,以纱线条干三维模型构建为例,并参照附图,对本发明进一步详细说明。
本发明实施例提供了一种基于多圆拟合的物体三维建模方法,包括以下步骤:
当物体置于一对互成一定角度的平面镜前,由于平面镜的连续反射,可以从正面观察到1个物体实像和4个物体虚像,这4个虚像分别对应物体实像的不同观测角度所得的像,借助这5个像及其几何关系,可以合成物体的三维模型。
本实施例的方法包括以下步骤:
第一步:调整装置中两平面镜间的夹角以及纱线与两平面镜交点之间的位置关系,使得相机能够采集的均匀、连续、清晰的纱线实像以及4个虚像,如图2所示;
第二步:标定此时两个平面镜所成的角度,标定纱线与两面平面镜的位置关系;
第三步:采用链珠(规则球形以相同间隔形成的链条)标定采集到的图像中纱线实像与虚像之间的比例和位置关系;
第四步:用标定好的双平面镜成像纱线条干采集系统采集纱线图像。
参考图3,相机采集到不同视角观察的5个纱线视图,这5个视图包括1个纱线实像和4个纱线虚像。其中,R是纱线实像,V1是R通过镜1一次反射得到的虚像,V4是R通过镜2一次反射得到的虚像,V2是V4通过镜1二次反射得到的虚像,V3是V1通过镜2二次反射得到的虚像。
第五步:根据标定的实像、虚像在图像上的比例和位置关系,将采集到的图像缩放并分为5个分别含有一根纱线影像的子图;
第六步:对每个子图像进行数字图像处理;
第七步:分割纱线条干。具体步骤为全局阈值、形态开运算、膨胀运算、相邻像素灰度值对比和开运算;
第八步:纱线条干三维模型构建。主要步骤为:
参考图2,在观测样品时,向量m为R的直接观测方向,向量n为相机透过镜1观测V1的方向,向量r为相机透过镜2观测V3的方向。由于向量n与向量v关于镜1对称,因此,可以认为V1即为向量v方向观测得的R,以V1为基础绘制的圆的圆心位置在向量v所在直线上移动。同理,向量r与向量p关于镜2对称,而向量p的方向又与向量q的方向关于镜1对称,则V3即为向量q方向观测所得的R,以V3为基础绘制的圆的圆心位置在向量q所在直线上移动。V2与V4的成像关系以及圆心移动方向也同理可得。
以V1为基础绘制所得圆形的圆心移动角度和距离确定步骤如下。
参考图3,
Figure BDA0003231612010000055
为向量v(以V1为基础绘制的圆的圆心位置移动方向)与镜1形成的夹角,θ为镜1到两平面镜角平分线间的夹角,α为向量n(相机透过镜1观测V1的方向)与两平面镜角平分线间的夹角,A为图2中向量n与镜1的交点,D为两平面镜角平分线上一点,作AD垂直DS,AD与向量v间的夹角为λ,即以V1为基础绘制的圆的圆心移动角度。则:
Figure BDA0003231612010000051
Figure BDA0003231612010000052
Figure BDA0003231612010000053
式中:XV1为采集所得图像中V1右侧边缘到R中心位置的距离,mm;f为镜头焦距,mm。
根据式(1)(2)(3)可以得出:
Figure BDA0003231612010000054
定义图中虚像V1在第j行的像素宽度为EC1(:,j),图中实像R在第j行的像素宽度为EC3(:,j),根据式(4)可以得到以虚像V1为基础绘制的圆的圆心像素坐标需从(0,0)变更为[(EC1(:,j)-EC3(:,j))*cosλ,(EC1(:,j)-EC3(:,j))*sinλ],圆心移动距离为R与V1在第j行的像素宽度差值,圆心位置移动后,以V1为基础绘制的圆与以R为基础绘制的圆仅会产生1个交点,选择该点作为融合成异形图形时的关键点P1
以V3为基础绘制所得圆形的圆心移动角度和距离确定步骤如下。
参考图4,η为虚像V1和V3连线与镜1间的夹角,γ为向量r(相机透过镜2观测V3的方向)与镜2之间的夹角,ω为向量q(以V3为基础绘制的圆的圆心位置移动方向)与镜1之间的夹角,μ为向量q与两平面镜夹角角平分线间的夹角,β为向量r(相机透过镜2观测V3的方向)与两平面镜夹角角平分线间的夹角。由图中几何关系可以得到:
Figure BDA0003231612010000061
Figure BDA0003231612010000062
连列式(5)(6)可以得到:
2θ=π-(γ+ω) (7)
又因为:
γ=θ+β (8)
ω=μ+θ (9)
Figure BDA0003231612010000063
式中:XV3为采集所得图像中V3右侧边缘到R中心位置的距离,mm;f为镜头焦距,mm。
所以:
μ=π-β-4θ (11)
定义图中虚像V1在第j行的像素宽度为EC1(:,j),图中虚像V3在第j行的像素宽度为EC4(:,j),根据式(4)可以得到以虚像V3为基础绘制的圆的圆心像素坐标需从(0,0)变更为[(EC4(:,j)-EC3(:,j))*sinμ,(EC3(:,j)-EC4(:,j))*cosμ],圆心位置移动距离为虚像V1与V3在第j行的像素宽度差值。
参考图5,向量v与向量q分别为以V3为基础绘制的圆(虚线绘制的圆)与以V1为基础绘制的圆(实线绘制的圆)的圆心移动方向,圆心位置移动后,二者会产生2个交点,记为T1、T2,由于以V1为基础绘制的圆与以V3为基础绘制的圆在构建三维模型时,主要贡献左侧圆弧,因此,选择左侧交点T1作为融合成异形图形时的关键点P2
考虑成像系统对称,以V2为基础绘制的圆形与以V3为基础绘制的圆形拟合时,分别找出像素横坐标为0时两个圆的点,为保证拟合图形完整,取像素纵坐标较大的点作为关键点P3
分别以V2与V4为基础绘制的圆形的圆心移动角度和距离也同理可得。
参考图6,P1为以R与V1为基础绘制圆的拟合关键点,P2为以V1与V3为基础绘制圆的拟合关键点,P3为以V2与V3为基础绘制圆的拟合关键点,P4为以V2与V4为基础绘制圆的拟合关键点,P5为以R与V4为基础绘制圆的拟合关键点。
以P1、P2、P3、P4、P5为基础,分别取实像和4个虚像的不同角度圆弧进行融合,并合所有异形图形后合成纱线条干三维模型,三维效果如图7所示。
通过纱线模型的三维数据,计算纱线条干在三维空间中的均匀程度。
本发明采集纱线静态图像,对采集到的图像先保存再处理。
选用9.7tex、11.7tex、14.6tex以及18.2tex纯棉紧密纺纱线,比较本发明计算得到的纱线条干与传统光电法的测量结果,以Uster TESTER 5测得的纱线条干切割长度0.3mm的二维直径CV值为参考,用极差表征本发明与Uster法测量的纱线条干均匀度CV值的差异,差异越小,说明构建的三维模型越准确,如表1所列。
表1本发明方法与传统方法纱线条干均匀度测量结果
Figure BDA0003231612010000081
所属领域的普通技术人员应当理解:以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多圆拟合的物体三维建模方法,其特征在于,包括以下步骤:
第一步:将两个平面镜相交放置,目标物置于两平面镜夹角的角平分线上,根据相机参数及成像效果调整两平面镜夹角以及目标物与两平面镜交点的距离,使相机从正面能够捕捉到清晰的5个像;
第二步:调整相机的放大倍数或距离,使相机捕捉到的5个像得以均匀排列在单帧图像上,从左至右分别称为子图1、子图2、子图3、子图4、子图5;
第三步:用标定物替换目标物位置,测量标定物在像素纵坐标上重心位置的变化以及在像素横坐标上宽度的变化,完成目标物实像与虚像之间的比例和位置关系校准,得到标定结果;
第四步:根据标定结果对4个虚像进行放大以及位置调整,并对每个子图进行如下的数字图像处理;
第五步:对图像进行二值化处理,对图像进行形态学开运算,并提取图像相邻像素灰度值,确定图像边缘;
第六步:自上而下分别测量子图中目标物在各个像素横坐标上的直径大小,并以直径数值绘制相应直径的圆;
第七步:根据4个虚像与实像间的几何关系,确定分别以4个虚像为基础绘制所得的圆的圆心需要移动的角度和距离;
第八步:通过移动圆形的圆心位置,找出相邻两个圆形的交点,完成异形图形拟合,具体操作为:调整所绘制的5个圆形的圆心位置,以子图1、子图5为基础绘制的圆形分别会与以子图3为基础绘制的圆形产生1个交点,分别选择该交点作为拟合时的关键点;以子图2为基础绘制的圆形会与以子图1为基础绘制的圆形产生2个交点,选择左侧交点为拟合时的关键点;以子图2为基础绘制的圆形会与以子图4为基础绘制的圆形拟合时,分别找出像素横坐标为0时两个圆的点,为保证拟合图形完整,取像素纵坐标较大的点作为拟合关键点;以子图4为基础绘制的圆形会与以子图5为基础绘制的圆形产生2个交点,选择右侧交点为拟合时的关键点;根据5个关键点融合5个圆形为1个异形图形,并合所有像素横坐标上的异形图形即可得到目标物的三维模型。
2.如权利要求1所述的一种基于多圆拟合的物体三维建模方法,其特征在于,第一步中,所述的两平面镜相交放置,夹角为72±5°。
3.如权利要求1或2所述的一种基于多圆拟合的物体三维建模方法,其特征在于,第一步中,所述的目标物与两平面镜交点间的距离为1±0.5cm。
4.如权利要求1或2所述的一种基于多圆拟合的物体三维建模方法,其特征在于,第五步中,采用大津阈值算法对图像进行二值化处理,以圆盘模型对图像进行形态学开运算。
5.如权利要求3所述的一种基于多圆拟合的物体三维建模方法,其特征在于,第五步中,采用大津阈值算法对图像进行二值化处理,以圆盘模型对图像进行形态学开运算。
CN202110988427.7A 2021-08-26 2021-08-26 一种基于多圆拟合的物体三维建模方法 Active CN113739718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110988427.7A CN113739718B (zh) 2021-08-26 2021-08-26 一种基于多圆拟合的物体三维建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110988427.7A CN113739718B (zh) 2021-08-26 2021-08-26 一种基于多圆拟合的物体三维建模方法

Publications (2)

Publication Number Publication Date
CN113739718A true CN113739718A (zh) 2021-12-03
CN113739718B CN113739718B (zh) 2022-06-10

Family

ID=78733106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110988427.7A Active CN113739718B (zh) 2021-08-26 2021-08-26 一种基于多圆拟合的物体三维建模方法

Country Status (1)

Country Link
CN (1) CN113739718B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628897A (zh) * 2023-07-24 2023-08-22 憨小犀(泉州)数据处理有限公司 一种八边形宝石切割模型生成方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334900A (zh) * 2008-08-01 2008-12-31 北京大学 一种基于图像的绘制方法
JP2009297470A (ja) * 2008-06-10 2009-12-24 Kazuyoshi Nimata 立体鏡
CN102226691A (zh) * 2011-04-01 2011-10-26 北京大学 多平面镜反折射系统的平面镜夹角测量方法
CN103854301A (zh) * 2012-11-29 2014-06-11 沈阳工业大学 基于复杂背景下可见外壳的三维重建方法
CN104200476A (zh) * 2014-09-11 2014-12-10 云南大学 利用双平面镜装置中的圆周运动求解摄像机内参数的方法
JP2015031601A (ja) * 2013-08-02 2015-02-16 国立大学法人電気通信大学 3次元計測装置及び方法並びにプログラム
CN106468666A (zh) * 2016-07-19 2017-03-01 江南大学 一种基于双斜交平面镜成像的纱线毛羽三维检测方法
CN108830906A (zh) * 2018-05-31 2018-11-16 福州大学 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
CN111311659A (zh) * 2020-02-17 2020-06-19 江南大学 一种基于斜交平面镜三维成像的校准方法
CN111336942A (zh) * 2020-04-12 2020-06-26 北京工业大学 一种三维应变变形测量的拍摄方法
CN113096232A (zh) * 2021-03-30 2021-07-09 南京理工大学 一种快速高效的镜面物体表面三维重建的新方法
CN113223135A (zh) * 2021-04-15 2021-08-06 中山大学 一种基于特殊复合平面镜虚像成像的三维重建装置和方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009297470A (ja) * 2008-06-10 2009-12-24 Kazuyoshi Nimata 立体鏡
CN101334900A (zh) * 2008-08-01 2008-12-31 北京大学 一种基于图像的绘制方法
CN102226691A (zh) * 2011-04-01 2011-10-26 北京大学 多平面镜反折射系统的平面镜夹角测量方法
CN103854301A (zh) * 2012-11-29 2014-06-11 沈阳工业大学 基于复杂背景下可见外壳的三维重建方法
JP2015031601A (ja) * 2013-08-02 2015-02-16 国立大学法人電気通信大学 3次元計測装置及び方法並びにプログラム
CN104200476A (zh) * 2014-09-11 2014-12-10 云南大学 利用双平面镜装置中的圆周运动求解摄像机内参数的方法
CN106468666A (zh) * 2016-07-19 2017-03-01 江南大学 一种基于双斜交平面镜成像的纱线毛羽三维检测方法
CN108830906A (zh) * 2018-05-31 2018-11-16 福州大学 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
CN111311659A (zh) * 2020-02-17 2020-06-19 江南大学 一种基于斜交平面镜三维成像的校准方法
CN111336942A (zh) * 2020-04-12 2020-06-26 北京工业大学 一种三维应变变形测量的拍摄方法
CN113096232A (zh) * 2021-03-30 2021-07-09 南京理工大学 一种快速高效的镜面物体表面三维重建的新方法
CN113223135A (zh) * 2021-04-15 2021-08-06 中山大学 一种基于特殊复合平面镜虚像成像的三维重建装置和方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
曹煜等: "基于图像轮廓的三维重建方法", 《计算机工程与应用》 *
曹煜等: "基于图像轮廓的三维重建方法", 《计算机工程与应用》, 31 December 2012 (2012-12-31) *
杨业等: "基于多平面镜的单相机三维采集方法", 《激光与光电子学进展》 *
杨业等: "基于多平面镜的单相机三维采集方法", 《激光与光电子学进展》, 31 December 2017 (2017-12-31) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628897A (zh) * 2023-07-24 2023-08-22 憨小犀(泉州)数据处理有限公司 一种八边形宝石切割模型生成方法
CN116628897B (zh) * 2023-07-24 2023-09-19 憨小犀(泉州)数据处理有限公司 一种八边形宝石切割模型生成方法

Also Published As

Publication number Publication date
CN113739718B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN106595528B (zh) 一种基于数字散斑的远心显微双目立体视觉测量方法
CN104567727B (zh) 利用立体靶标对线结构光轮廓传感器的全局统一校准方法
CN109544679A (zh) 管道内壁的三维重建方法
CN107358628B (zh) 基于靶标的线阵图像处理方法
CN102589516B (zh) 一种基于双目线扫描摄像机的动态距离测量系统
CN109751964B (zh) 一种高精度非接触式管径测量方法及装置
JP2005514606A5 (zh)
CN102308201A (zh) 机械零件的无损检查方法
CN111353997B (zh) 一种基于条纹投影的实时三维面型缺陷检测方法
CN115272271A (zh) 一种基于双目立体视觉的管道缺陷检测与定位测距系统
CN109001902B (zh) 基于图像融合的显微镜聚焦方法
CN113744351A (zh) 基于多介质折射成像的水下结构光测量标定方法及系统
CN113739718B (zh) 一种基于多圆拟合的物体三维建模方法
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法
CN113808019A (zh) 一种非接触测量系统及方法
CN113744222A (zh) 一种基于内切圆的纱线条干三维建模校准方法
Zhao et al. Intelligent segmentation method for blurred cracks and 3D mapping of width nephograms in concrete dams using UAV photogrammetry
CN117115272A (zh) 用于降水粒子多角度成像的远心相机标定和三维重构方法
Wondolowski et al. Experimental evaluation of 3D imaging technologies for structural assessment of masonry retaining walls
WO2020075213A1 (ja) 計測装置、計測方法および顕微鏡システム
CN115100126A (zh) 一种桥梁结构平面位移场智能感知方法
Grifoni et al. 3D multi-modal point clouds data fusion for metrological analysis and restoration assessment of a panel painting
Liu et al. Study on Volumetric tool wear measurement using image processing
Qu et al. Computer vision-based 3D coordinate acquisition of surface feature points of building structures
TW201616092A (zh) 物體三維形貌之量測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant