CN107014312A - 一种振镜式线激光扫描三维测量系统的整体标定方法 - Google Patents

一种振镜式线激光扫描三维测量系统的整体标定方法 Download PDF

Info

Publication number
CN107014312A
CN107014312A CN201710286051.9A CN201710286051A CN107014312A CN 107014312 A CN107014312 A CN 107014312A CN 201710286051 A CN201710286051 A CN 201710286051A CN 107014312 A CN107014312 A CN 107014312A
Authority
CN
China
Prior art keywords
coordinate
plane
target
mirror
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710286051.9A
Other languages
English (en)
Other versions
CN107014312B (zh
Inventor
杨树明
杨林林
杨新宇
薛兴昌
张国锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201710286051.9A priority Critical patent/CN107014312B/zh
Publication of CN107014312A publication Critical patent/CN107014312A/zh
Application granted granted Critical
Publication of CN107014312B publication Critical patent/CN107014312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Laser Beam Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种振镜式线激光扫描三维测量系统的整体标定方法,首先选择两个有效焦距为f1和f2的镜头,利用摄像机对平面靶标进行拍摄并提取特征点坐标,根据变焦距法计算出图像的主点坐标;然后以焦距f1的镜头作为系统的镜头,对其获得的平面靶标上的特征点坐标,根据Tsai两步法,标定出摄像机的内参数与外参数;其次通过改变振镜控制电压与驱动一维平移台移动,获取不同深度方向与不同光平面下的线激光条纹,通过平面拟合并求交线等运算得到靶标坐标系与世界坐标系的转化关系;最后把系统模型下的坐标均统一到图像像素坐标系与世界坐标系下,完成整个系统的标定。该方法具有标定过程简单,标定精度高、标定速度快等优点。

Description

一种振镜式线激光扫描三维测量系统的整体标定方法
技术领域
本发明属于光学三维扫描系统标定技术领域,具体涉及一种振镜式线激光扫描三维测量系统的整体标定方法。
背景技术
随着现代精密测量技术的进步,三维测量技术得到了飞速的发展,并被广泛的运用于产品设计、质量控制、逆向工程、生物医疗等诸多领域。由于接触式三维测量的测量速度慢,成本高,测量范围小且易对被测物体表面产生划伤等局限性,近年来,非接触三维测量技术得到了快速发展及广泛应用。其中,基于激光三角法的三维激光扫描测量技术,由于测量精度高、范围广且易于实现智能化集成,成为当下研究的热点。
目前,基于激光三角法的三维形貌测量装置多采用机械扫描法,需要利用机械扫描平台如旋转平台和平移平台对物体表面进行扫描测量,使得整个系统结构庞大,扫描速度较慢,限制了其在工业中的应用。
振镜式线激光扫描系统利用高精度的振镜代替传统的机械扫描平台,精简了系统的结构;利用振镜的偏转改变线激光出射方向对物体进行主动式扫描测量,扫描速度快,测量范围大,且振镜扫描系统定位精度及重复精度高,分辨率小,能够对被测物体进行高精度的测量。然而,关于振镜扫描测量系统的标定方法较少、且标定方法复杂,耗时较长,标定精度不高,难以满足在工业测量方面的要求。
发明内容
本发明的目的是在于针对现有的振镜式线激光三维扫描测量系统标定方法存在的问题,提供一种操作简单、可靠性好、精度较高的振镜式线激光扫描三维测量系统的整体标定方法。
为达到上述目的,本发明采用如下技术方案予以实现的:
一种振镜式线激光扫描三维测量系统的整体标定方法,包括如下步骤:
1)选择两个有效焦距不同的镜头,利用变焦距法的原理通过最小二乘拟合标定出图像的主点坐标;
2)利用求出的主点坐标,结合Tsai的两步法对摄像机镜头进行标定;
3)驱动一维精密运动平台与振镜系统,获得不同位置与不同角度的激光线条纹,利用条纹数据的图像坐标与世界坐标完成光平面的标定,实现整个系统的标定。
本发明进一步的改进在于,步骤2)中,利用Tsai提出的基于径向约束的摄像机标定法分两步标定出摄像机的有效焦距f,二阶径向畸变系数k1,摄像机坐标系与靶标坐标系的变换矩阵R和T。
本发明进一步的改进在于,步骤3)中,根据系统的数学模型,以摄像机镜头的光心为原点建立摄像机坐标系OC-XCYCZC,图像左上角为原点建立图像像素坐标系O0-uv,以摄像机光心与成像平面交点为原点建立图像物理坐标系O1-XY,以平面棋盘格左上角角点为原点建立靶标坐标系OB-XBYBZB,以振镜的转轴方向为YW轴,YW轴与靶标坐标系OBXBZB平面的交点作为原点OW,当振镜控制电压为U0时,激光平面的法线方向为XW轴建立世界坐标OW-XWYWZW,系统标定的过程实质上是计算这五个坐标系映射关系的过程。
本发明进一步的改进在于,步骤3)中,在世界坐标系下,建立振镜控制电压与光平面方程的对应关系,其关系式为:
XWcos(2α(U1-U0))-ZWsin(2α(U1-U0))=0 (24)
式中,XW、ZW为点的世界坐标,U0为振镜系统的初始控制电压,U1为振镜系统的实际控制电压,α为单位伏特电压振镜转动的角度。
本发明进一步的改进在于,步骤3)中,通过一维电动平移台与平面标定板对靶标坐标系与世界坐标系的转化关系进行标定,以两个坐标系坐标轴的单位向量与原点确定出旋转矩阵R1和平移向量T1,即:
式中,(XW,YW,ZW)为点在世界坐标系下的坐标,(XB,YB,ZB)为对应的靶标坐标系下的坐标,R1为3x3的单位正交矩阵,T1为3x1的平移向量,0T为1x3的零矩阵。
本发明进一步的改进在于,步骤3)中,将坐标系间的转换关系统一到图像像素坐标系与世界坐标系下,得到两者间的对应关系:
式中,(u,v)为点的图像像素坐标,(XW,YW,ZW)为对应的世界坐标,f为摄像机焦距,(u0,v0)为成像平面的主点坐标,dx、dy为摄像机成像平面的单位像素的尺寸,R、T为相机标定得到的摄像机坐标系与靶标坐标系的转换矩阵,R1、T1为靶标坐标系与世界坐标系的转换矩阵;
令M=[RR1 RT1+T],则M为3x4矩阵
将M矩阵代入上式并进一步整理:
上式中,m1、m2……m12为6中的M矩阵中的各元素。
本发明进一步的改进在于,步骤3)中,完成振镜式线激光扫描三维测量系统的整体标定,结合振镜控制电压,建立起被测物体图像坐标与世界坐标映射关系,如下:
本发明具有如下的有益效果:
本发明公开了一种振镜式线激光扫描三维测量系统的整体标定方法,该方法首先根据振镜式线激光扫描系统的数学模型,将标定过程分为相机标定与光平面标定两部分,利用平面标定板对相机进行标定并结合高精度的一维电动平移台对光平面进行标定,最终完成对振镜式线激光扫描系统快速、精确的标定。
进一步,在相机标定中,对于常规的Tsai两步法需要估计图像的主点坐标的问题,本发明利用变焦距法,采集有效焦距不同的镜头拍摄的同一靶标图像,提取靶标图像的角点并结合最小二乘法对该主点坐标进行高精度的标定,能有效的减少由于主点坐标的误差对标定结果的影响;利用标定出的主点坐标,并考虑镜头的径向畸变,依据Tsai的两步法相机标定原理,对相机进行高精度的标定。
进一步,本发明根据系统的数学模型,建立了五个坐标系,将系统标定的过程转化为计算这五个坐标系间的映射关系,明确了系统标定的实质就是计算这五个坐标系的相互转化关系。
进一步,在世界坐标系下,本发明根据振镜的工作特性建立振镜控制电压与光平面方程的对应关系,在该对应关系中,可以设置任意的控制电压为初始控制电压,然后根据控制电压与初始控制电压的差值得到该状态下的光平面方程,由于振镜的扫描范围与初始控制电压有关,所以可以根据系统设计的扫描范围自定义初始控制电压,使得整个标定方案非常灵活。
进一步,本发明利用一维电动平移台与平面标定板标定出靶标坐标系与世界坐标系的转换关系,一维电动平移台沿着世界坐标系的Z轴精密移动,在不同的位置通过改变振镜控制电压获得不同光平面下的激光条纹数据,从而精确地拟合出多个光平面的方程,利用光平面与振镜转轴互相垂直的关系建立振镜转轴的误差方程,通过迭代优化最终精确地标定出世界坐标系与靶标坐标系的转换关系,从而提高系统最终的标定精度。
进一步,本发明将所有坐标系间复杂的转换关系统一到图像像素坐标系与世界坐标系下,得到两者之间的映射关系,该映射关系直观的反映了系统标定的步骤和各标定结果对系统最终标定结果的影响,方便把握系统标定的重点。
进一步,本发明结合振镜控制电压,得到控制电压和物体图像坐标与物体三维世界坐标的映射关系,完成振镜式线激光扫描三维测量系统的整体标定,该关系式简洁明了,系统标定后,通过扫描测量能快速的计算出物体的三维点云,能够满足工业现场对实时测量的要求。
附图说明
图1是本发明的系统坐标系建立的示意图;
图2是本发明的标定过程示意图;
图3是本发明的光平面标定原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明做进一步详细说明。
振镜式线激光扫描三维测量系统是利用振镜来替代传统的机械扫描平台,通过外部输入控制电压来改变振镜的转角,使线激光的反射光线沿着振镜转动的方向对被测物体表面进行扫描的光学测量系统。振镜系统极高的重复精度与极小的分辨率使该测量系统预期有极高的测量精度,标定精度的高低决定系统最终测量系统的高低。本发明将系统整体标定分为两大部分,分别为摄像机标定与光平面标定。
本发明旨在对此类振镜系统做较高精度的标定,具体步骤如下:
步骤1:图像主点坐标的标定。本发明使用Tsai提出的基于径向约束的摄像机标定法来对摄像机进行标定,而此种方法无法标定图像的主点坐标,使用该方法通常假设图像的主点坐标与理想的主点坐标重合。但由于摄像机的制作与安装等原因,摄像机成像平面的中心与透镜的光学中心并不重合,使实际的主点坐标与理想的主点坐标有一定偏差,所有首先对主点坐标进行标定。根据变焦距法的原理:当摄像机的有效焦距变化时,对应的图像会产生缩放,当透镜的成像光轴保持不变,故光轴与成像平面的交点即主点不变。根据以上原理,选择两个实际焦距为f1和f2的镜头,对一维电动平移台上的平面棋盘格靶标进行成像,分别提取两幅图像中的角点坐标,对每一角点满足关系:
即:
(v1-v′1)u0-(u1-u′1)v0=v1u′1-u1v′1 (1)
其中,(u1,v1)为有效为焦距f1的特征点的像素坐标;(u′1,v′1)为有效为焦距f2的特征点的像素坐标;(u0,v0)为主点坐标。
对于n个角点,有:
利用最小二乘法可以求得主点坐标(u0,v0)。
步骤2:系统坐标系的建立。为了更好地描述标定的过程,本发明建立五个坐标系,系统成像的过程实质上是确定这五个坐标系之间的转换关系,这五个坐标系分别为:图像像素坐标系、图像物理坐标系、摄像机坐标系、靶标坐标系和世界坐标系。如图1为系统坐标系建立的示意图,图像像素坐标系O0-uv是以图像左上角为原点,以像素的行与列的方向作为u轴与v轴的二维直角坐标系,坐标(u,v)以像素为单位,表示该像素在坐标系中的列数与行数;图像物理坐标系O1-XY是以光轴与成像平面的角点作为原点,X轴与Y轴分别平行于图像像素坐标系u轴和v轴的二维直角坐标系,坐标(X,Y)以毫米为单位,表示图像坐标系中的点;摄像机坐标系OC-XCYCZC是以摄像机镜头的光心OC为原点,光轴方向为ZC轴,XC轴与YC轴分别平行于图像物理坐标系的X轴和Y轴的三维坐标系;靶标坐标系OB-XBYBZB是平面棋盘格左上角角点为原点,以棋盘格行和列的方向作为XB轴与YB轴,以右手定则确定ZB轴的三维坐标系;世界坐标系OW-XWYWZW是以振镜的转轴方向为YW轴,YW轴与靶标坐标系OBXBZB平面的交点作为原点OW,当振镜控制电压为U0时,激光平面的法线方向作为XW轴,以右手定则确定ZW轴的三维坐标系。
步骤3:确定坐标系间的转换关系。根据步骤2中坐标系的定义,同时将摄像机的成像模型视为理想的小孔透视模型,可得到坐标系间的转换关系。其中图像像素坐标系与图像坐标系的转换关系为:
上式中,(u,v)为图像像素坐标系中的点,(X,Y)表示对应的图像物理坐标系中的点,(u0,v0)表示图像的主点坐标,dx,dy表示图像平面在X,Y方向上单位像素间的距离。
根据透视投影原理,图像坐标系与摄像机坐标系的变换关系为:
上式中,(X,Y)为图像物理坐标系中的点,(XC,YC,ZC)为对应点在摄像机坐标系下的坐标,f为摄像机的焦距,ρ为比例因子。
根据欧式坐标系间的坐标变换关系可知,靶标坐标系下的点可以经过旋转变换和平移变换转换到相机坐标系下,则相机坐标系与靶标坐标系的变换关系为:
上式中,(XC,YC,ZC)为点在相机坐标系下的坐标,(XB,YB,ZB)为该点对应的靶标坐标系下的坐标,R、T分别为由靶标坐标系转换到摄像机坐标系的旋转矩阵与平移向量,R为3x3的单位正交矩阵,T为3x1的平移向量,0T为1x3的零矩阵。
根据欧式坐标系间的坐标变换关系可知,世界坐标系下的点可以经过旋转变换和平移变换转换到靶标坐标系下,则世界坐标系与靶标坐标系的变换关系为:
其中,(XB,YB,ZB)为点在靶标坐标系下的坐标,(XW,YW,ZW)为该点对应的世界坐标系下的坐标,R1,T1为由世界坐标系转换到靶标坐标系的旋转矩阵与平移向量,R1为3x3的单位正交矩阵,T1为3x1的平移向量,0T为1x3的零矩阵。
综合上诉各坐标系间的转换关系,可以得到图像像素坐标系与世界坐标系之间的转换关系为:
根据矩阵乘法的结合律有:
令M=[RR1 RT1+T],则M为3x4矩阵
将M矩阵代入上式并进一步整理:
步骤4:考虑镜头畸变的摄像机成像模型。实际的摄像机光学成像系统并不完全符合小孔透视模型,同时由于镜头的加工及装配误差的存在,物体在摄像机上的成像与物体理想的成像有一定的偏差,产生所谓的光学畸变。摄像记的光学畸变主要分为三种:径向畸变、切向畸变与薄棱镜畸变。这三种畸变中,径向畸变对视觉测量的精度影响最大,为了模型的简化,所以一般只考虑径向畸变。设点Pu(Xu,Yu)为摄像机成像面上理想的像点,Pd(Xd,Yd)为考虑二阶径向畸变的实际像点坐标,两者之间的关系为:
上式中,q2=Xd 2+Yd 2,k1为摄像机的2阶径向畸变系数。
转换到图像像素坐标系下为:
上式中,q2=Xd 2+Yd 2=[(ud-u0)dx]2+[(vd-v0)dy]2,(u,v)为理想的小孔透视模型中图像像素坐标点,(ud,vd)为对应的考虑径向畸变的图像像素坐标点,dx,dy表示图像平面在X,Y方向上单位像素间的距离,k1为摄像机的2阶径向畸变系数。
步骤5:标定图像的获取。系统的标定过程主要通过摄像机拍摄一幅平面标定板图像与若干幅不同振镜控制电压下投射在不同位置处的平面标定板上的激光线条纹来实现,其中需要用到一维电动平移台与振镜系统。如图2所示,图像获取的主要操作过程如下:
(1)选择步骤1中焦距为f1的镜头作为最终的镜头,将平面棋盘格标定板放置于扫描系统正前方的一维电动平移台上,调整标定板在平移台上的位置,使得电动平移台的运动方向与标定板平面相互垂直。关闭激光器,利用摄像机拍摄棋盘格图像。
(2)打开激光器,保持标定板的位置不变,此位置标定板平面上的所有点在靶标坐标系下有ZB=Z0=0,调节振镜系统的控制电压,当控制电压为U0时,通过摄像机采集此电压下的激光线条纹图像;改变振镜系统的控制电压,使振镜偏转一定角度,分别采集控制电压为U1,U2,…,Um(m≥4)时的线激光的条纹图像。
(3)控制电动平移台沿垂直于标定板平面的方向移动,使标定板平面移动到ZB=Z1,然后重复步骤2中的操作,获得该位置下振镜在控制电压为U0,U1,U2,…,Um(m≥4)时的线激光的条纹图像。
(4)继续控制电动平移台移动,重复(3)中的操作,分别获得标定板位置为Z2,Z3,…,Zn(n≥4)时,振镜控制电压为U0,U1,U2,…,Um(n≥4)时的激光线条纹图像。
步骤6:摄像机镜头的标定。系统选择步骤5中操作(1)所获得的平面棋盘格标定板图像,提取其中的角点像素坐标;根据靶标坐标系的建立可知,靶标平面上的角点的ZB=0,同时根据各角点与靶标原点的距离可得到所有角点在靶标坐标系中的三维坐标值。根据Tsai提出的基于径向约束的摄像机标定法的第一步,对于每个角点都有:
其中,R和T为公式(5)中靶标坐标系转换到摄像机坐标系的旋转矩阵与平移向量。
对于n个角点,利用最小二乘法并考虑矩阵R的正交性可以计算出R矩阵里的参数及部分平移向量中的参数。
根据基于径向约束的摄像机标定法的第二步可求出平移向量剩余的参数、镜头的焦距f1及二阶径向畸变系数k1
步骤7:靶标坐标系与世界坐标系关系的标定。根据步骤3中坐标系间的转换关系可知,靶标坐标系可由世界坐标系讲过旋转变换与平移变换得到,根据以下操作可得到式(6)中的旋转矩阵R1与平移向量T1
(1)对于步骤5中操作工程(2)得到的激光线条纹图像,经过中心线提取后可获得条纹中各点的图像像素坐标(u,v),同时该条纹上各点在靶标坐标系系的ZB=Z0=0,根据上面摄像机标定得到的内参数与外参数,通过
可计算得到对应点在靶标坐标系下的三维坐标(XB,YB,0),如此便得到靶标位置为Z0处,在振镜控制电压为U0,U1,U2…,Um时的激光线条纹的图像坐标与靶标坐标系下的三维坐标。
(2)对步骤5中操作工程3、4的激光线条纹经过相同的处理可获得在振镜电压为U0,U1,U2…,Um,不同位置处激光线条纹的图形坐标(u,v)与三维坐标(XB,YB,Z1)、(XB,YB,Z2)……(XB,YB,Zn)。
(3)由于振镜的转角与其控制电压成线性关系,对于控制电压U0,得到该光平面下的一系列激光线条纹的三维坐标(XB,YB,Z1)、(XB,YB,Z2)……(XB,YB,Zn),通过平面拟合的方式可以获得该平面在靶标坐标系下的光平面方程。设在靶标坐标系下,光平面方程为:
Ax+By+Cz+D=0 (15)
采用最小二乘拟合并单位化,可获得该光平面的单位法向量n0(j0,k0,l0),同理可获得控制电压为U1,U2…,Um时,各光平面单位法向量n1(j1,k1,l1),n2(j2,k2,l2)……nm(jm,km,lm)(m≥4)。
(4)对所有光平面方程进行最小二乘求解,可获得光所有光平面最近的一点,即世界坐标系YW上一点P在靶标坐标系下的坐标P(x0,y0,z0)。由世界坐标系的定义可知,XW轴方向取振镜控制电压为U0时光平面的法线方向,故在靶标坐标系下,XW轴的单位向量nx(ax,bx,cx)与n0相等或相反,即nx=n0,或nx=-n0。由YW轴的定义可知,YW轴垂直于所有光平面的法向量,设在靶标坐标系下YW轴的单位向量为ny(ay,by,cy),则对所有光平面向量都有:
ny·ni=0(i=0,1,2,...m) (16)
实际获得的拟合出的光平面由于误差的存在,会使ny·ni≠0(i=0,1,2...m),误差为:
以所有光平面与YW轴的单位向量ny点乘误差的平方为优化对象,得到误差优化方程:
要使得到的YW轴的单位向量尽可能满足与光平面法向量垂直条件,则转化为使目标函数F的值最小,以n0×n1为初值对函数进行优化,当F=min时得到ay,by,cy最优的解,进一步单位化后作为YW轴的单位向量ny(ay,by,cy)。
求出YW轴的单位向量ny后,通过nx×ny得到ZW轴在靶标坐标系下的单位向量nz(az,bz,cz)。
(5)由YW轴的方向向量与前文求得的YW轴上的一点P,可以得到YW轴在靶标坐标系下的直线方程:
根据世界坐标系的定义,世界坐标系的原点OW为YW轴与靶标坐标系OBXBZB平面的交点,则在靶标坐标系下,点OW的纵坐标y=0,结合YW轴的直线方程可以求出原点OW在靶标坐标系下的三维坐标OW(xb,0,zb)
综合上面得到的世界坐标系三个坐标轴XW轴、YW轴、ZW轴在靶标坐标系下的单位向量nx、ny、nz及原点OW坐标,可求得靶标坐标系变换到世界坐标系下的旋转矩阵R1与平移向量T1
根据上面两式可完成靶标坐标系与世界坐标系转换关系的标定。
步骤8:光平面的标定。光平面的标定过程如图3所示,投射到被测物体上的光平面会随着反射镜平面的转动而变化,反射镜平面随着振镜系统控制电压的变化而转动;当反射镜转动θ角时,由反射定律可知,光平面转动2θ角度;根据振镜的工作原理,反射镜的转角与其控制电压成线性关系,设单位伏特电压反射镜转动的角度为α,则光平面转动角度Δθ与控制电压ΔU有以下关系:
Δθ=ΔU·2α (23)
由世界坐标系的定义,振镜的转轴为坐标系的YW轴;当控制电压为U0时,光平面的法向量方向与XW轴一致,则初始光平面方程为XW=0,当控制电压变为U1时,由振镜转角与其控制电压之间的线性关系可知光平面方程为:
XW cos(2α(U1-U0))-ZW sin(2α(U1-U0))=0 (24)
步骤9:根据式(10)得到图像像素坐标与其三维世界坐标之间的关系,结合式(24)中振镜控制电压与世界坐标的关系,完成整个系统的标定:
通过求解式(25)可以得到目标点在世界坐标系下的坐标。
以上结合附图对本发明的具体实施方式做了说明,但这些说明并不用于限制本发明,本发明的保护范围由随附的权利要求书限定,任何在本发明权利要求基础上的改动都是本发明的保护范围。

Claims (7)

1.一种振镜式线激光扫描三维测量系统的整体标定方法,其特征在于,包括如下步骤:
1)选择两个有效焦距不同的镜头,利用变焦距法的原理通过最小二乘拟合标定出图像的主点坐标;
2)利用求出的主点坐标,结合Tsai的两步法对摄像机镜头进行标定;
3)驱动一维精密运动平台与振镜系统,获得不同位置与不同角度的激光线条纹,利用条纹数据的图像坐标与世界坐标完成光平面的标定,实现整个系统的标定。
2.根据权利要求1所述的一种振镜式线激光扫描三维测量系统的整体标定方法,其特征在于,步骤2)中,利用Tsai提出的基于径向约束的摄像机标定法分两步标定出摄像机的有效焦距f,二阶径向畸变系数k1,摄像机坐标系与靶标坐标系的变换矩阵R和T。
3.根据权利要求2所述的一种振镜式线激光扫描三维测量系统的整体标定方法,其特征在于,步骤3)中,根据系统的数学模型,以摄像机镜头的光心为原点建立摄像机坐标系OC-XCYCZC,图像左上角为原点建立图像像素坐标系O0-uv,以摄像机光心与成像平面交点为原点建立图像物理坐标系O1-XY,以平面棋盘格左上角角点为原点建立靶标坐标系OB-XBYBZB,以振镜的转轴方向为YW轴,YW轴与靶标坐标系OBXBZB平面的交点作为原点OW,当振镜控制电压为U0时,激光平面的法线方向为XW轴建立世界坐标OW-XWYWZW,系统标定的过程实质上是计算这五个坐标系映射关系的过程。
4.根据权利要求3所述的一种振镜式线激光扫描三维测量系统的整体标定方法,其特征在于,步骤3)中,在世界坐标系下,建立振镜控制电压与光平面方程的对应关系,其关系式为:
XWcos(2α(U1-U0))-ZWsin(2α(U1-U0))=0 (24)
式中,XW、ZW为点的世界坐标,U0为振镜系统的初始控制电压,U1为振镜系统的实际控制电压,α为单位伏特电压振镜转动的角度。
5.根据权利要求3所述的一种振镜式线激光扫描三维测量系统的整体标定方法,其特征在于,步骤3)中,通过一维电动平移台与平面标定板对靶标坐标系与世界坐标系的转化关系进行标定,以两个坐标系坐标轴的单位向量与原点确定出旋转矩阵R1和平移向量T1,即:
式中,(XW,YW,ZW)为点在世界坐标系下的坐标,(XB,YB,ZB)为对应的靶标坐标系下的坐标,R1为3x3的单位正交矩阵,T1为3x1的平移向量,0T为1x3的零矩阵。
6.根据权利要求5所述的一种振镜式线激光扫描三维测量系统的整体标定方法,其特征在于,步骤3)中,将坐标系间的转换关系统一到图像像素坐标系与世界坐标系下,得到两者间的对应关系:
式中,(u,v)为点的图像像素坐标,(XW,YW,ZW)为对应的世界坐标,f为摄像机焦距,(u0,v0)为成像平面的主点坐标,dx、dy为摄像机成像平面的单位像素的尺寸,R、T为相机标定得到的摄像机坐标系与靶标坐标系的转换矩阵,R1、T1为靶标坐标系与世界坐标系的转换矩阵;
令M=[RR1RT1+T],则M为3x4矩阵
将M矩阵代入上式并进一步整理:
上式中,m1、m2……m12为6中的M矩阵中的各元素。
7.根据权利要求6所述的一种振镜式线激光扫描三维测量系统的整体标定方法,其特征在于,步骤3)中,完成振镜式线激光扫描三维测量系统的整体标定,结合振镜控制电压,建立起被测物体图像坐标与世界坐标映射关系,如下:
CN201710286051.9A 2017-04-25 2017-04-25 一种振镜式线激光扫描三维测量系统的整体标定方法 Active CN107014312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710286051.9A CN107014312B (zh) 2017-04-25 2017-04-25 一种振镜式线激光扫描三维测量系统的整体标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710286051.9A CN107014312B (zh) 2017-04-25 2017-04-25 一种振镜式线激光扫描三维测量系统的整体标定方法

Publications (2)

Publication Number Publication Date
CN107014312A true CN107014312A (zh) 2017-08-04
CN107014312B CN107014312B (zh) 2019-05-24

Family

ID=59447308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710286051.9A Active CN107014312B (zh) 2017-04-25 2017-04-25 一种振镜式线激光扫描三维测量系统的整体标定方法

Country Status (1)

Country Link
CN (1) CN107014312B (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389233A (zh) * 2018-02-23 2018-08-10 大连理工大学 基于边界约束和均值逼近的激光扫描仪与相机标定方法
CN108646259A (zh) * 2018-05-14 2018-10-12 南京数联空间测绘科技有限公司 一种三维激光扫描仪设站定向装置及方法
CN108805956A (zh) * 2017-09-11 2018-11-13 常州新途软件有限公司 实时倒车轨迹显示系统及等宽轨迹线绘制方法
CN109029284A (zh) * 2018-06-14 2018-12-18 大连理工大学 一种基于几何约束的三维激光扫描仪与相机标定方法
CN109085561A (zh) * 2018-07-08 2018-12-25 河北数冶科技有限公司 三维激光雷达测量系统及标定方法
CN109141236A (zh) * 2018-08-17 2019-01-04 上海交通大学 基于振镜扫描的激光频闪三维视觉测量系统及方法
CN109341522A (zh) * 2018-10-08 2019-02-15 杨国金 振镜扫描式激光测量三维坐标的装置及方法
CN109425292A (zh) * 2017-08-29 2019-03-05 西安知微传感技术有限公司 基于一维线结构光的三维测量系统标定装置及方法
CN109458928A (zh) * 2018-10-29 2019-03-12 西安知微传感技术有限公司 基于扫描振镜和事件相机激光线扫描3d检测方法及系统
CN109544639A (zh) * 2018-10-30 2019-03-29 南京理工大学 一种多镜面单相机三维振动测试装置及方法
CN109709574A (zh) * 2019-01-09 2019-05-03 国家海洋局第一海洋研究所 一种海底微地形激光扫描成像系统及三维地形重建方法
CN109727290A (zh) * 2018-12-26 2019-05-07 南京理工大学 基于单目视觉三角测距法的变焦相机动态标定方法
CN109727291A (zh) * 2018-12-28 2019-05-07 北京航空航天大学 一种变焦距摄像机的高精度在线标定方法
CN109828234A (zh) * 2019-01-18 2019-05-31 中国久远高新技术装备公司 一种异源光学平台对空间目标融合定位方法
CN110428457A (zh) * 2019-08-08 2019-11-08 苏州中科全象智能科技有限公司 一种视觉定位中的点集仿射变换算法
CN111062992A (zh) * 2019-11-14 2020-04-24 杭州电子科技大学 一种双视角线激光扫描三维成像装置及方法
CN111397513A (zh) * 2020-04-14 2020-07-10 东莞明睿机器视觉科技有限公司 一种x-y正交运动平台运动标定系统以及方法
CN111457859A (zh) * 2020-03-06 2020-07-28 深圳奥比中光科技有限公司 3d测量装置对齐标定方法、系统及计算机可读存储介质
CN111536902A (zh) * 2020-04-22 2020-08-14 西安交通大学 一种基于双棋盘格的振镜扫描系统标定方法
CN111692921A (zh) * 2020-06-12 2020-09-22 中山大学 一种基于太阳光反射的反侦察干扰方法
CN111724446A (zh) * 2020-05-20 2020-09-29 同济大学 一种用于建筑物三维重建的变焦距相机外参数标定方法
CN111750806A (zh) * 2020-07-20 2020-10-09 西安交通大学 一种多视角三维测量系统及方法
CN111833396A (zh) * 2020-06-05 2020-10-27 哈工大机器人(中山)无人装备与人工智能研究院 一种采血装置相机坐标系到世界坐标系的转换方法及系统
CN112001379A (zh) * 2020-05-19 2020-11-27 西安工程大学 基于机器视觉的汽车仪表固定视点读取仪表的修正算法
CN112102419A (zh) * 2020-09-24 2020-12-18 烟台艾睿光电科技有限公司 双光成像设备标定方法及系统、图像配准方法
CN112254681A (zh) * 2020-10-26 2021-01-22 昆明理工大学 一种发散型多线激光投影测量仿真系统及其实现方法
CN112581547A (zh) * 2020-12-30 2021-03-30 安徽地势坤光电科技有限公司 一种调整成像镜头安装角度的快速方法
CN112700480A (zh) * 2020-12-29 2021-04-23 河北工业大学 一种面向小尺寸物体旋转扫描的点云快速配准方法及应用
CN112857249A (zh) * 2019-11-28 2021-05-28 株洲中车时代电气股份有限公司 一种接触网检测设备的标定方法及装置
CN113074666A (zh) * 2021-03-17 2021-07-06 北京工业大学 一种基于线结构激光器的物体点云尺寸测量设备及方法
CN113175899A (zh) * 2021-04-28 2021-07-27 南京航空航天大学 相机与振镜结合的变视线系统三维成像模型及其标定方法
CN113253245A (zh) * 2021-05-11 2021-08-13 苏州深水渔半导体有限公司 基于mems振镜的激光雷达的校准系统和消除图像晃动的方法
CN113494893A (zh) * 2021-09-09 2021-10-12 深圳广成创新技术有限公司 一种三维激光扫描系统的标定方法、装置和计算机设备
CN113865514A (zh) * 2020-06-30 2021-12-31 西安知微传感技术有限公司 一种线结构光三维测量系统标定方法
CN113916128A (zh) * 2021-10-11 2022-01-11 齐鲁工业大学 一种基于光笔式视觉测量系统的提高精度的方法
CN114266836A (zh) * 2022-03-01 2022-04-01 中国科学院自动化研究所 基于振镜相机的主动视觉三维标定方法、系统和设备
CN114565678A (zh) * 2022-01-28 2022-05-31 河海大学 一种基于方向向量的线结构光平面快速标定方法
CN114894090A (zh) * 2022-05-09 2022-08-12 南京工程学院 一种基于线激光的回转内腔尺寸检测方法
CN115737272A (zh) * 2022-11-16 2023-03-07 南京博视医疗科技有限公司 一种激光治疗系统的标定方法和装置
CN116045851A (zh) * 2023-03-31 2023-05-02 第六镜科技(北京)集团有限责任公司 线激光轮廓仪标定方法、装置、电子设备及存储介质
CN116342718A (zh) * 2023-05-26 2023-06-27 合肥埃科光电科技股份有限公司 一种线激光3d相机的标定方法、装置、存储介质及设备
CN117146711A (zh) * 2023-10-30 2023-12-01 中国科学院自动化研究所 基于双振镜系统的大范围动态激光重建方法、系统及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008241643A (ja) * 2007-03-29 2008-10-09 Fujinon Corp 3次元形状測定装置
CN101329174A (zh) * 2007-12-23 2008-12-24 中国海洋大学 全场视觉自扫描测量装置
CN102944188A (zh) * 2012-10-18 2013-02-27 北京航空航天大学 一种点扫描三维形貌测量系统标定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008241643A (ja) * 2007-03-29 2008-10-09 Fujinon Corp 3次元形状測定装置
CN101329174A (zh) * 2007-12-23 2008-12-24 中国海洋大学 全场视觉自扫描测量装置
CN102944188A (zh) * 2012-10-18 2013-02-27 北京航空航天大学 一种点扫描三维形貌测量系统标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许红梅: "用于微装配的显微视觉系统标定技术的研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109425292A (zh) * 2017-08-29 2019-03-05 西安知微传感技术有限公司 基于一维线结构光的三维测量系统标定装置及方法
CN108805956A (zh) * 2017-09-11 2018-11-13 常州新途软件有限公司 实时倒车轨迹显示系统及等宽轨迹线绘制方法
CN108805956B (zh) * 2017-09-11 2023-01-17 常州新途软件有限公司 实时倒车轨迹显示系统及等宽轨迹线绘制方法
CN108389233A (zh) * 2018-02-23 2018-08-10 大连理工大学 基于边界约束和均值逼近的激光扫描仪与相机标定方法
CN108646259A (zh) * 2018-05-14 2018-10-12 南京数联空间测绘科技有限公司 一种三维激光扫描仪设站定向装置及方法
CN108646259B (zh) * 2018-05-14 2021-05-07 南京数联空间测绘科技有限公司 一种三维激光扫描仪设站定向装置及方法
CN109029284A (zh) * 2018-06-14 2018-12-18 大连理工大学 一种基于几何约束的三维激光扫描仪与相机标定方法
CN109085561A (zh) * 2018-07-08 2018-12-25 河北数冶科技有限公司 三维激光雷达测量系统及标定方法
CN109085561B (zh) * 2018-07-08 2022-11-15 中国人民解放军第三三零二工厂 三维激光雷达测量系统及标定方法
CN109141236A (zh) * 2018-08-17 2019-01-04 上海交通大学 基于振镜扫描的激光频闪三维视觉测量系统及方法
CN109341522A (zh) * 2018-10-08 2019-02-15 杨国金 振镜扫描式激光测量三维坐标的装置及方法
CN109458928A (zh) * 2018-10-29 2019-03-12 西安知微传感技术有限公司 基于扫描振镜和事件相机激光线扫描3d检测方法及系统
CN109544639A (zh) * 2018-10-30 2019-03-29 南京理工大学 一种多镜面单相机三维振动测试装置及方法
CN109727290A (zh) * 2018-12-26 2019-05-07 南京理工大学 基于单目视觉三角测距法的变焦相机动态标定方法
CN109727291A (zh) * 2018-12-28 2019-05-07 北京航空航天大学 一种变焦距摄像机的高精度在线标定方法
CN109727291B (zh) * 2018-12-28 2020-10-23 北京航空航天大学 一种变焦距摄像机的高精度在线标定方法
CN109709574A (zh) * 2019-01-09 2019-05-03 国家海洋局第一海洋研究所 一种海底微地形激光扫描成像系统及三维地形重建方法
CN109828234A (zh) * 2019-01-18 2019-05-31 中国久远高新技术装备公司 一种异源光学平台对空间目标融合定位方法
CN109828234B (zh) * 2019-01-18 2020-12-15 中国久远高新技术装备公司 一种异源光学平台对空间目标融合定位方法
CN110428457A (zh) * 2019-08-08 2019-11-08 苏州中科全象智能科技有限公司 一种视觉定位中的点集仿射变换算法
CN110428457B (zh) * 2019-08-08 2022-02-22 苏州中科全象智能科技有限公司 一种视觉定位中的点集仿射变换算法
CN111062992B (zh) * 2019-11-14 2023-05-12 杭州电子科技大学 一种双视角线激光扫描三维成像装置及方法
CN111062992A (zh) * 2019-11-14 2020-04-24 杭州电子科技大学 一种双视角线激光扫描三维成像装置及方法
CN112857249A (zh) * 2019-11-28 2021-05-28 株洲中车时代电气股份有限公司 一种接触网检测设备的标定方法及装置
CN111457859A (zh) * 2020-03-06 2020-07-28 深圳奥比中光科技有限公司 3d测量装置对齐标定方法、系统及计算机可读存储介质
CN111457859B (zh) * 2020-03-06 2022-12-09 奥比中光科技集团股份有限公司 3d测量装置对齐标定方法、系统及计算机可读存储介质
CN111397513A (zh) * 2020-04-14 2020-07-10 东莞明睿机器视觉科技有限公司 一种x-y正交运动平台运动标定系统以及方法
CN111536902A (zh) * 2020-04-22 2020-08-14 西安交通大学 一种基于双棋盘格的振镜扫描系统标定方法
CN111536902B (zh) * 2020-04-22 2021-03-09 西安交通大学 一种基于双棋盘格的振镜扫描系统标定方法
CN112001379A (zh) * 2020-05-19 2020-11-27 西安工程大学 基于机器视觉的汽车仪表固定视点读取仪表的修正算法
CN111724446B (zh) * 2020-05-20 2023-05-02 同济大学 一种用于建筑物三维重建的变焦距相机外参数标定方法
CN111724446A (zh) * 2020-05-20 2020-09-29 同济大学 一种用于建筑物三维重建的变焦距相机外参数标定方法
CN111833396A (zh) * 2020-06-05 2020-10-27 哈工大机器人(中山)无人装备与人工智能研究院 一种采血装置相机坐标系到世界坐标系的转换方法及系统
CN111833396B (zh) * 2020-06-05 2024-03-29 哈工大机器人(中山)无人装备与人工智能研究院 一种采血装置相机坐标系到世界坐标系的转换方法及系统
CN111692921A (zh) * 2020-06-12 2020-09-22 中山大学 一种基于太阳光反射的反侦察干扰方法
CN111692921B (zh) * 2020-06-12 2022-02-22 中山大学 一种基于太阳光反射的反侦察干扰方法
CN113865514B (zh) * 2020-06-30 2023-08-29 西安知微传感技术有限公司 一种线结构光三维测量系统标定方法
CN113865514A (zh) * 2020-06-30 2021-12-31 西安知微传感技术有限公司 一种线结构光三维测量系统标定方法
CN111750806A (zh) * 2020-07-20 2020-10-09 西安交通大学 一种多视角三维测量系统及方法
CN111750806B (zh) * 2020-07-20 2021-10-08 西安交通大学 一种多视角三维测量系统及方法
CN112102419B (zh) * 2020-09-24 2024-01-26 烟台艾睿光电科技有限公司 双光成像设备标定方法及系统、图像配准方法
CN112102419A (zh) * 2020-09-24 2020-12-18 烟台艾睿光电科技有限公司 双光成像设备标定方法及系统、图像配准方法
CN112254681A (zh) * 2020-10-26 2021-01-22 昆明理工大学 一种发散型多线激光投影测量仿真系统及其实现方法
CN112700480A (zh) * 2020-12-29 2021-04-23 河北工业大学 一种面向小尺寸物体旋转扫描的点云快速配准方法及应用
CN112700480B (zh) * 2020-12-29 2022-07-12 河北工业大学 一种面向小尺寸物体旋转扫描的点云快速配准方法及应用
CN112581547A (zh) * 2020-12-30 2021-03-30 安徽地势坤光电科技有限公司 一种调整成像镜头安装角度的快速方法
CN112581547B (zh) * 2020-12-30 2022-11-08 安徽地势坤光电科技有限公司 一种调整成像镜头安装角度的快速方法
CN113074666A (zh) * 2021-03-17 2021-07-06 北京工业大学 一种基于线结构激光器的物体点云尺寸测量设备及方法
CN113175899A (zh) * 2021-04-28 2021-07-27 南京航空航天大学 相机与振镜结合的变视线系统三维成像模型及其标定方法
CN113253245A (zh) * 2021-05-11 2021-08-13 苏州深水渔半导体有限公司 基于mems振镜的激光雷达的校准系统和消除图像晃动的方法
CN113253245B (zh) * 2021-05-11 2024-04-19 苏州深水渔半导体有限公司 基于mems振镜的激光雷达的校准系统和消除图像晃动的方法
CN113494893B (zh) * 2021-09-09 2021-11-23 深圳广成创新技术有限公司 一种三维激光扫描系统的标定方法、装置和计算机设备
CN113494893A (zh) * 2021-09-09 2021-10-12 深圳广成创新技术有限公司 一种三维激光扫描系统的标定方法、装置和计算机设备
CN113916128A (zh) * 2021-10-11 2022-01-11 齐鲁工业大学 一种基于光笔式视觉测量系统的提高精度的方法
CN114565678B (zh) * 2022-01-28 2024-03-22 河海大学 一种基于方向向量的线结构光平面快速标定方法
CN114565678A (zh) * 2022-01-28 2022-05-31 河海大学 一种基于方向向量的线结构光平面快速标定方法
CN114266836A (zh) * 2022-03-01 2022-04-01 中国科学院自动化研究所 基于振镜相机的主动视觉三维标定方法、系统和设备
CN114266836B (zh) * 2022-03-01 2022-05-13 中国科学院自动化研究所 基于振镜相机的主动视觉三维标定方法、系统和设备
WO2023165632A1 (zh) * 2022-03-01 2023-09-07 中国科学院自动化研究所 基于振镜相机的主动视觉三维标定方法、系统和设备
CN114894090B (zh) * 2022-05-09 2023-06-23 南京工程学院 一种基于线激光的回转内腔尺寸检测方法
CN114894090A (zh) * 2022-05-09 2022-08-12 南京工程学院 一种基于线激光的回转内腔尺寸检测方法
CN115737272B (zh) * 2022-11-16 2023-09-29 南京博视医疗科技有限公司 一种激光治疗系统的标定方法和装置
CN115737272A (zh) * 2022-11-16 2023-03-07 南京博视医疗科技有限公司 一种激光治疗系统的标定方法和装置
CN116045851A (zh) * 2023-03-31 2023-05-02 第六镜科技(北京)集团有限责任公司 线激光轮廓仪标定方法、装置、电子设备及存储介质
CN116342718A (zh) * 2023-05-26 2023-06-27 合肥埃科光电科技股份有限公司 一种线激光3d相机的标定方法、装置、存储介质及设备
CN117146711B (zh) * 2023-10-30 2024-02-13 中国科学院自动化研究所 基于双振镜系统的大范围动态激光重建方法、系统及设备
CN117146711A (zh) * 2023-10-30 2023-12-01 中国科学院自动化研究所 基于双振镜系统的大范围动态激光重建方法、系统及设备

Also Published As

Publication number Publication date
CN107014312B (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
CN107014312B (zh) 一种振镜式线激光扫描三维测量系统的整体标定方法
CN111536902B (zh) 一种基于双棋盘格的振镜扫描系统标定方法
CN107003109B (zh) 校准装置、校准方法、光学装置、摄影装置、投影装置、测量系统以及测量方法
CN106056587B (zh) 全视角线激光扫描三维成像标定装置及方法
JP4290733B2 (ja) 3次元形状計測方法及びその装置
CN107121062A (zh) 一种机器人三维扫描装置及方法
CN100489446C (zh) 基于相位法的三维轮廓测量方法
CN102663763B (zh) 一种面向大视场高精度视觉测量的摄像机标定方法
CN108844459A (zh) 一种叶片数字化样板检测系统的标定方法及装置
CN108253939B (zh) 可变视轴单目立体视觉测量方法
CN108171758B (zh) 基于最小光程原理和透明玻璃标定板的多相机标定方法
Luna et al. Calibration of line-scan cameras
CN107610178A (zh) 一种工业摄影测量系统相机参数移动式标定方法
CN103292981A (zh) 光学镜头畸变的测量装置和校正方法
CN106705898A (zh) 一种点阵结构光测量平面度的方法
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN101828092A (zh) 非接触探头
CN111486864B (zh) 基于立体正八边结构的多源传感器联合标定方法
CN105069743A (zh) 探测器拼接实时图像配准的方法
Ahmadabadian et al. An automatic 3D reconstruction system for texture-less objects
CN112884902B (zh) 一种面向点云配准的标靶球位置优化方法
CN113175899B (zh) 相机与振镜结合的变视线系统三维成像模型及其标定方法
CN113465543B (zh) 一种基于多目视觉和振镜激光扫描的三维测量系统及方法
CN110703230A (zh) 激光雷达与摄像头之间的位置标定方法
CN106556357A (zh) 一种基于一维无衍射光束测量三维面形的装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant