CN109163657A - 一种基于双目视觉三维重建的圆形目标位姿检测方法 - Google Patents

一种基于双目视觉三维重建的圆形目标位姿检测方法 Download PDF

Info

Publication number
CN109163657A
CN109163657A CN201810671488.9A CN201810671488A CN109163657A CN 109163657 A CN109163657 A CN 109163657A CN 201810671488 A CN201810671488 A CN 201810671488A CN 109163657 A CN109163657 A CN 109163657A
Authority
CN
China
Prior art keywords
coordinate
circular target
space
point
coordinates system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810671488.9A
Other languages
English (en)
Other versions
CN109163657B (zh
Inventor
段桂芳
刘夏
刘振宇
谭建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810671488.9A priority Critical patent/CN109163657B/zh
Publication of CN109163657A publication Critical patent/CN109163657A/zh
Application granted granted Critical
Publication of CN109163657B publication Critical patent/CN109163657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目视觉三维重建的圆形目标位姿检测方法。采用张正友标定法对双目相机的内外参数及畸变参数标定，使用双目相机拍摄同一圆形目标的图像，根据标定畸变参数对左右图像畸变矫正，获得无畸变左右图像；对无畸变的左右图像使用直接最小二乘椭圆检测方法识别提取获得椭圆；分别遍历左右图像，找到图像中椭圆上的左右参考图像点对；根据左右相机坐标系下的左右相机光心坐标结合左右参考图像点对进行处理获得左右第一图像交点对；构建左右参考坐标系，利用左右转换空间点对、左右参考坐标系计算处理获得空间中圆形目标的圆心。本发明在无需提前给定圆形目标的半径尺寸情况下，最终获得圆形目标的半径尺寸，且无需进行后续的法向量筛选。

Description

一种基于双目视觉三维重建的圆形目标位姿检测方法
技术领域
本发明涉及一种圆形目标位姿测量方法，尤其是涉及一种基于双目视觉的圆形目标位姿测量方法。
背景技术
机器视觉检测系统由于可以提高生产的柔性和自动化程度，以及可以使用在某些不存在人工检测条件的场合，使得近几年在几何量测量以及机械制造等领域发挥着越来越重要的作用。圆形零部件在工业场合十分常见，对此类零部件进行可靠的高精度定位，在自动化装配、非合作目标位姿识别等领域均至关重要。
Chen于1999年在《IEEE Transactions On Robotics And Automation》上的论文“A Vision-Based Method for the Circle Pose Determination With a DirectGeometric Interpretation”中在已知圆半径的条件下，根据圆上两条特殊的弦构造投影映射关系，通过空间几何的推导，确定圆心位置以及圆平面法向量。Zheng于2008年在《Electronics Letters》上的论文“Closed-form solution for circle pose estimationusing binocular stereo vision”基于圆的投影方程，将双目立体视觉约束也纳入其中，求得圆位姿的封闭解。Wang于2016年在《Electronics Letters》上的论文“Directsolution for pose estimation of single circle with detected centre”中利用图像中检测中心的圆形特征，找到两种特殊的直径，一种主要用于估计空间圆的位置，另一种是估计法向量。Xu在2012年在“12th International Conference on Control,Automation,Robotics&Vision”会议的论文“A Pose Measurement Method of a Non-Cooperative GEOSpacecraft Based on Stereo Vision”中利用双目视觉系统拍摄的两幅图像构造等式关系，求解圆的位姿以及半径。
以上研究对圆形目标位姿通过构造圆的投影方程求解了解析解，或通过空间几何关系构造等式，求解圆形目标位姿。单目相机检测位姿需要提供半径信息才可求解，尽管有学者使用双目视觉系统获得半径未知的圆的位姿，却并未考虑双目视觉系统本身的对极几何约束，未发挥双目视觉。
发明内容
为了解决背景技术中存在的问题，本发明的目的在于提供一种基于双目视觉三维重建的圆形目标位姿检测方法，利用双目相机外参数将左右图像上椭圆的特殊弦对应的单位向量转换到同一坐标系下，获得相机坐标系下空间中圆形目标的法向量。利用椭圆的参数矩阵、相机内参数以及求得的法向量分别求得空间中圆形目标的圆心投影在左右图像上的坐标。最后根据同一空间中圆形目标的圆心分别在左右图像坐标，使用triangulation方法将圆心在左相机坐标系下三维重建出来，获得该空间中圆形目标在左相机坐标系下的圆心坐标。最后根据空间中圆形目标心到圆上的点恒等于半径R求解出R。
如图1所示，本发明所采用的技术方案它包括以下步骤：
(1)采用张正友标定法对双目相机的内外参数及畸变参数进行标定，标定获得左相机内参矩阵K1、右相机内参矩阵K2和双目相机间旋转矩阵Rlr，使用双目相机拍摄同一圆形目标的图像，根据标定所得的畸变参数对左右图像进行畸变矫正，获得无畸变的左右图像；
由于圆映射在图像平面后为椭圆形，因此然后对无畸变的左右图像使用直接最小二乘椭圆检测方法识别提取获得椭圆长半轴a、短半轴b、中心坐标(cx,cy)和倾斜角θ，同时获得无畸变的左右图像中椭圆检测所得的参数矩阵ω1、ω2；
所述的直接最小二乘椭圆检测方法是由Fitzgibbon等人发表在会议“International Conference on Pattern Recognition”上的论文“Direct least squarefitting of ellipses”中的方法。
(2)分别遍历左右图像，找到图像中椭圆上的左参考图像点对和以及右参考图像点对和
(3)根据左相机坐标系下，左相机光心Gl坐标为Gl(0,0,0)和右相机坐标系下右相机光心Gr坐标为Gr(0,0,0)，结合左参考图像点对和以及右参考图像点对和进行处理获得左第一图像交点对和右第一图像交点对；
(4)构建左参考坐标系右参考坐标系
(5)利用左转换空间点对Pl′和Ql′、右转换空间点对Pr′和Qr′、左参考坐标系右参考坐标系计算处理获得空间中圆形目标的圆心。
可进一步根据圆心分别在左右图像上的投影，利用双目视觉三维重建出空间中圆的圆心在左相机坐标系下的坐标。
所述步骤(2)具体为：
(2.a)在左相机坐标系下，左相机光心Gl坐标为Gl(0,0,0)，左图像中椭圆上的任意一像素点ml(uml,vml)在左相机坐标系下的坐标为其中uml,vml分别表示左图像的像素点的横纵坐标，fl为左相机焦距长度；在左相机坐标系下，以左相机光心Gl为夹角顶点，遍历左图像中椭圆上的像素点，寻找左图像中椭圆上使得空间夹角最大的两像素点和两像素点和对应左图像中的像素点坐标为pl(upl,vpl)和ql(uql,vql)，对应空间中圆形目标上的两实际点Pl和Ql，两像素点作为左参考图像点对，两实际点作为左参考空间点对；
同理，在右相机坐标系下，右相机光心Gr坐标为Gr(0,0,0)，右图像中椭圆上的任意一像素点mr(ucr,vcr)在右相机坐标系下的坐标为其中fr为右相机焦距长度；在右相机坐标系下，以右相机光心Gr为夹角顶点，遍历右图像中椭圆上的像素点，寻找右图像中椭圆上使得空间夹角最大的两像素点和两像素点和对应右图像中的像素点坐标为pr(upr,vpr)和qr(uqr,vqr)，对应空间中圆形目标上的两实际点Pr和Qr，两像素点作为右参考图像点对，两实际点作为右参考空间点对。
左右相机坐标系是指以左相机光心为坐标系原点的三维笛卡尔坐标系。
所述步骤(3)具体为：
(3.a)作过左相机光心Gl坐标为Gl(0,0,0)与左参考图像点对和的平面的左垂直平面，且左垂直平面过空间夹角的角平分线，左垂直平面和圆形目标的交点分别Bl和Cl，这两交点对应到左图像中的像素点为bl(ubl,vbl)和cl(ucl,vcl)并作为左第一图像交点对；
同理，作过右相机光心Gr坐标为Gr(0,0,0)与右参考图像点对和的平面的右垂直平面，且右垂直平面过空间夹角的角平分线，右垂直平面和圆形目标的交点分别Br和Cr，这两交点对应到右图像中的像素点为br(ubr,vbr)和cr(ucr,vcr)并作为右第一图像交点对。
所述步骤(4)具体为：
(4.a)构造以下新三维笛卡尔坐标系作为左参考坐标系：
其中，表示左参考坐标系第一轴的单位向量，表示左参考坐标系第二轴的单位向量，表示左参考坐标系第三轴的单位向量；
然后，采用空间投影几何转换方法处理获得左参考空间点对Pl和Ql分别在左参考坐标系下的坐标Pl′(γlupl,0,γlfl)和坐标Ql′(-γluql,0,γlfl)，并作为左转换空间点对，此处的PlQl即为通过左图像寻找到的圆的特殊弦，Pl为pl对应的空间中圆上的点，Ql为ql对应的空间中圆上的点；其中，γl为左图像的坐标转换系数，采用以下公式计算：
式中，R为待求空间中圆形目标的半径；
(4.b)同理，构造以下新三维笛卡尔坐标系作为右参考坐标系：
其中，表示右参考坐标系第一轴的单位向量，表示右参考坐标系第二轴的单位向量，表示右参考坐标系第三轴的单位向量；
然后，采用空间投影几何转换方法处理获得右参考空间点对Pr和Qr分别在右参考坐标系下的坐标Pr′(γrupr,0,γrfr)和坐标Qr′(-γruqr,0,γrfr)，并作为右转换空间点对，此处的PrQr为通过右图像寻找到的圆的特殊弦，Pr为pr对应的空间中圆上的点，Qr为qr对应的空间中圆上的点；其中，γr为右图像的坐标转换系数，采用以下公式计算：
式中，R为待求空间中圆形目标的半径。
空间投影几何转换方法具体采用由Chen发表在《IEEE Transactions OnRobotics And Automation》上的论文“A Vision-Based Method for the Circle PoseDetermination With a Direct Geometric Interpretation”中的方法。
所述步骤(5)具体为：
(5.1)利用左转换空间点对Pl′和Ql′以及右转换空间点对Pr′和Qr′构建获得左右弦参考向量，并且将左转换空间点对Pl′和Ql′由左参考坐标系转换到左相机坐标系下；
(5.1.a)根据左转换空间点对Pl′和Ql′构建获得左弦向量 左弦向量的单位向量计算为将单位向量由左参考坐标系转换到左相机坐标系得左弦参考向量：
其中，表示单位向量在左相机坐标系下的向量并作为左弦参考向量，RGl表示由左参考坐标系转换到左相机坐标系的3×3旋转矩阵，
同时将左转换空间点对Pl′和Ql′由左参考坐标系转换到左相机坐标系得：
P″l＝RGlP′l
Q″l＝RGlQ′l
其中，P″l和Q″l分别表示左转换空间点对Pl′和Ql′在左相机坐标系下对应的点；
(5.1.b)同理，根据右转换空间点对Pr′和Qr′构建获得右弦向量 右弦向量的单位向量计算为将单位向量由右参考坐标系转换到右相机坐标系得右弦参考向量：
其中，表示单位向量在左相机坐标系下的向量并作为右弦参考向量，RGr表示由左参考坐标系转换到左相机坐标系的3×3旋转矩阵，
具体实施中，可不需要计算右转换空间点对Pr′和Qr′在右相机坐标系下对应的点。
(5.2)利用双目相机标定所得的相机间旋转矩阵Rlr将左弦参考向量转换到右相机坐标系得：
其中，表示左弦参考向量在左相机坐标系下的向量；
利用双目相机标定所得的相机间旋转矩阵Rlr将右弦参考向量转换到左相机坐标系得：
其中，表示右弦参考向量在左相机坐标系下的向量；
(5.3)由于左参考空间点对Pl、Ql和右参考空间点对Pr、Qr均是空间中圆形目标上的四个点，采用以下公式计算空间中圆形目标的圆平面在左相机坐标系下的左法向量
以及空间中圆形目标的圆平面在右相机坐标系下的右法向量
(5.4)针对左右图像均采用以下方式处理获得左右图像中椭圆识别后所得的参数矩阵ω1和ω2：
采用以下公式将步骤(1)椭圆识别提取得到的椭圆参数转化为参数矩阵中的参数的形式：
A＝b2cos2θ+a2sin2θ
B＝2(b2-a2)sinθcosθ
C＝b2sin2θ+a2cos2θ
D＝-2Acx-Bcy
E＝-2Ccy-Bcx
F＝Acx 2+Bcxcy+Ccy 2-a2b2
其中，A、B、C、D、E、F为构成参数矩阵的6个参数；
进而再计算椭圆参数矩阵ω为：
(5.5)再计算空间中圆形目标的圆心分别在左右图像坐标系下对应的像素点坐标Ωl和Ωr：
(5.5.a)空间中圆形目标的圆心在左图像坐标系下对应的像素点坐标为：
其中，ω1是左图像中椭圆识别所得的参数矩阵，K1是左相机内参矩阵；
(5.5.b)空间中圆形目标的圆心在右图像坐标系下对应的像素点坐标为：
其中，ω2是右图像中椭圆识别所得的参数矩阵，K2是右相机内参矩阵；
(5.6)由像素点坐标Ol和Or采用最优化三角测量方法计算满足对极几何约束的可用于三维重建的最优左右图像特征点对使得最优左右图像特征点对所对应的空间坐标点分别和各自相机光心的连线相交于空间中一点点作为空间中圆形目标的圆心在左相机坐标系下的坐标，实现了圆心的三维重建。
所述的最优化三角测量方法采用Hartley和Sturm于1997年在《Computer Visionand Image Understanding》期刊上发表的论文“Triangulation”中的方法。由于本方法是在左相机坐标系下进行计算的，因此得到的空间中圆形目标的圆心的三维重建点的坐标是在左相机坐标系下的坐标。
在步骤(5.1.a)获得了圆上的点Pl和Ql在左相机坐标系下的坐标P″l和Q″l，且在步骤(5.6)得到了空间中圆形目标圆心的三维重建点在左相机坐标系下的坐标，之后进一步采用以下公式计算获得空间中圆形目标的半径，根据圆心到圆上的任意一点的距离相等且等于半径R得：
其中，作为空间中圆形目标的圆心，代表点和点P″l之间几何距离的平方，代表点和点Q″l之间几何距离的平方，P″l和Q″l分别表示空间中圆上的点Pl和Ql在左相机坐标系下的坐标。
等式中只有一个未知数R，求解该方程得到空间中圆形目标的半径。
由此，本发明通过步骤(5)的处理获得了空间中圆形目标形目标的检测，获得了圆形目标的圆心在左相机坐标系下的坐标、半径和圆平面在左相机坐标系下的法向量
本发明具有的有益效果是：
1)使用双目视觉系统对圆形目标进行位姿检测，相比于使用传统的单目视觉系统，无需提前给定圆形目标的半径尺寸，且最终可获得圆形目标的半径尺寸。
2)由双目相机外参数将左右图像上椭圆的特殊弦对应的单位向量转换到同一坐标系下，获得相机坐标系下空间中圆形目标的唯一的法向量，无需进行后续的法向量筛选。
3)由椭圆的参数矩阵、相机内参数以及求得的法向量分别求得空间中圆形目标的圆心投影在左右图像上的坐标，使用“triangulation”最优三角测量方法对圆心进行三维重建，获得该空间中圆形目标在左相机坐标系下的圆心坐标，从而使得由左右图像三维重建出的圆心坐标更满足双目对极几何约束，并且求得的圆心坐标是唯一的，无需进行额外的圆心坐标筛选。
附图说明
图1是本发明的流程图。
图2是实验图像及3个作为位姿参考的特征点的示意图。
图3是双目视觉系统观察圆形目标物示意图。
图4是12次圆心位置测量实验结果图。
图5是12次圆心位置测量实验的平均绝对误差和标准偏差图。
图6是12次圆平面法向量测量实验结果图。
图7是12次圆平面法向量测量实验的平均绝对误差和标准偏差图。
图8是12次圆半径测量实验结果图。
图9是12次两个目标圆的圆心距离测量实验结果图。
图10是12次两个目标圆的圆心距离测量实验的平均绝对误差和标准偏差图。
图11是12次两个目标圆的法向量误差测量实验结果图。
图12是12次两个目标圆的法向量误差测量实验的平均绝对误差和标准偏差图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示，本发明的实施例及其实施过程如下：
实验采用由两个像素为2448*2048的CMOS工业相机和一个23.8英寸液晶显示屏。如图2所示，显示屏显示的目标图像由两个圆和一系列黑白格构成。
为了验证本发明位姿测量的精度，首先使用精度0.02mm游标卡尺测量图中两个圆的半径均为44.10mm，两个圆之间的距离为205.30mm。由于黑白格角点(也就是特征点)容易识别，且使用标定后的双目系统计算黑白格角点在左相机坐标系下的坐标精度比较高，因此可以通过比较由本发明计算所得的圆心到角点的距离，和由游标卡尺测量所得的圆心到角点的距离来测试本发明精度。使用双目相机在12个不同方位拍摄圆形目标的图像，得到12对图像。对这12对图像中的所有圆形目标按照下述步骤进行圆的位姿检测。
(1)采用张正友标定法对双目相机的内外参数进行标定，由于圆映射在图像平面后为椭圆形，因此对拍摄所得的图像使用直接最小二乘椭圆检测方法，获得椭圆长半轴a，短半轴b，中心坐标(cx,cy)，以及倾斜角θ。
所述的直接最小二乘椭圆检测方法是由Fitzgibbon等人发表在会议“International Conference on Pattern Recognition”上的论文“Direct least squarefitting of ellipses”中的方法。
(2)分别遍历左右图像，找到图像中椭圆上的左参考图像点对和以及右参考图像点对和
图3是双目视觉系统观察圆形目标物示意图。在左相机坐标系下，左相机光心Gl坐标为Gl(0,0,0)，左图像中椭圆上的任意一像素点ml(uml,vml)在左相机坐标系下的坐标为其中uml,vml分别表示左图像的像素点的横纵坐标，fl为左相机焦距长度；在左相机坐标系下，以左相机光心Gl为夹角顶点，遍历左图像中椭圆上的像素点，寻找左图像中椭圆上使得空间夹角最大的两像素点和及其对应空间中圆形目标上的两实际点Pl(upl,vpl,fl)和Ql(uql,vql,fl)，两像素点作为左参考图像点对，两实际点作为左参考空间点对；
同理，在右相机坐标系下，右相机光心Gr坐标为Gr(0,0,0)，右图像中椭圆上的任意一像素点mr(ucr,vcr)在右相机坐标系下的坐标为其中fr为右相机焦距长度；在右相机坐标系下，以右相机光心Gr为夹角顶点，遍历右图像中椭圆上的像素点，寻找右图像中椭圆上使得空间夹角最大的两像素点和及其对应空间中圆形目标上的两实际点Pr(upr,vpr,fr)和Qr(uqr,vqr,fr)，两像素点作为右参考图像点对，两实际点作为右参考空间点对。
(3)根据左相机光心Gl坐标为Gl和右相机光心Gr坐标为Gr结合左参考图像点对和以及右参考图像点对和进行处理获得左第一图像交点对和右第一图像交点对；
(3.a)作过左相机光心Gl坐标为Gl(0,0,0)与左参考图像点对和的平面的左垂直平面，且左垂直平面过空间夹角的角平分线，左垂直平面和圆形目标的交点分别Bl和Cl，这两交点对应到左图像中的像素点为bl(ubl,vbl)和cl(ucl,vcl)并作为左第一图像交点对；
(3.a)同理，作过右相机光心Gr坐标为Gr(0,0,0)与右参考图像点对和的平面的右垂直平面，且右垂直平面过空间夹角的角平分线，右垂直平面和圆形目标的交点分别Br和Cr，这两交点对应到右图像中的像素点为br(ubr,vbr)和cr(ucr,vcr)并作为右第一图像交点对。
(4)构造新坐标系Gl-ulvlwl，其中
由Chen发表在《IEEE Transactions On Robotics And Automation》上的论文“AVision-Based Method for the Circle Pose Determination With a Direct GeometricInterpretation”可知，对应空间中圆形目标上的实际点Pl在坐标系Gl-ulvlwl下的坐标为Pl′(γlupl,0,γlfl)，对应空间中圆形目标上的实际点Ql在坐标系Gl-ulvlwl下的坐标为Ql′(-γluql,0,γlfl)。
同理，构造新坐标系Gr-urvrwr，其中
对应空间中圆形目标上的实际点Pr在坐标系Gr-urvrwr下的坐标为Pr′(γrupr,0,γrfr)，对应空间中圆形目标上的实际点Qr在坐标系Gr-urvrwr下的坐标为Qr′(-γruqr,0,γrfr)。
其中，
R为待求空间中圆形目标的半径。
(5)计算处理获得空间中圆形目标的圆心。
(5.1)利用左转换空间点对Pl′和Ql′以及右转换空间点对Pr′和Qr′构建获得左右弦参考向量，并且将左转换空间点对Pl′和Ql′由左参考坐标系转换到左相机坐标系下；
(5.1.a)根据左转换空间点对Pl′和Ql′构建获得左弦向量 左弦向量的单位向量计算为将单位向量由左参考坐标系转换到左相机坐标系得左弦参考向量：
其中，表示单位向量在左相机坐标系下的向量并作为左弦参考向量，RGl表示由左参考坐标系转换到左相机坐标系的3×3旋转矩阵，
同时将左转换空间点对Pl′和Ql′由左参考坐标系转换到左相机坐标系得：
P″l＝RGlQ′l
Q″l＝RGlQ′l
其中，P″l和Q″l分别表示左转换空间点对Pl′和Ql′在左相机坐标系下对应的点；
(5.1.b)同理，根据右转换空间点对Pr′和Qr′构建获得右弦向量 右弦向量的单位向量计算为将单位向量由右参考坐标系转换到右相机坐标系得右弦参考向量：
其中，表示单位向量在左相机坐标系下的向量并作为右弦参考向量，RGr表示由左参考坐标系转换到左相机坐标系的3×3旋转矩阵，
具体实施中，可不需要计算右转换空间点对Pr′和Qr′在右相机坐标系下对应的点。
(5.2)利用双目相机标定所得的相机间旋转矩阵Rlr将左弦参考向量转换到右相机坐标系得：
其中，表示左弦参考向量在左相机坐标系下的向量；
利用双目相机标定所得的相机间旋转矩阵Rlr将右弦参考向量转换到左相机坐标系得：
其中，表示右弦参考向量在左相机坐标系下的向量；
(5.3)由于左参考空间点对Pl、Ql和右参考空间点对Pr、Qr均是空间中圆形目标上的四个点，采用以下公式计算空间中圆形目标的圆平面在左相机坐标系下的左法向量
以及空间中圆形目标的圆平面在右相机坐标系下的右法向量
(5.4)针对左右图像均采用以下方式处理获得左右图像中椭圆识别后所得的参数矩阵ω1和ω2：
采用以下公式将步骤(1)椭圆识别提取得到的椭圆参数转化为参数矩阵中的参数的形式：
A＝b2cos2θ+a2sin2θ
B＝2(b2-a2)sinθcosθ
C＝b2sin2θ+a2cos2θ
D＝-2Acx-Bcy
E＝-2Ccy-Bcx
F＝Acx 2+Bcxcy+Ccy 2-a2b2
其中，A、B、C、D、E、F为构成参数矩阵的6个参数；
进而再计算椭圆参数矩阵ω为：
(5.5)再计算空间中圆形目标的圆心分别在左右图像坐标系下对应的像素点坐标Ωl和Ωr：
(5.5.a)空间中圆形目标的圆心在左图像坐标系下对应的像素点坐标为：
其中，ω1是左图像中椭圆识别所得的参数矩阵，K1是左相机内参矩阵；
(5.5.b)空间中圆形目标的圆心在右图像坐标系下对应的像素点坐标为：
其中，ω2是右图像中椭圆识别所得的参数矩阵，K2是右相机内参矩阵；
(5.6)由像素点坐标Ωl和Ωr采用最优化三角测量方法计算满足对极几何约束的可用于三维重建的最优左右图像特征点对使得最优左右图像特征点对所对应的空间坐标点分别和各自相机光心的连线相交于空间中一点点作为空间中圆形目标的圆心，实现了三维重建。
在步骤(5.1.a)获得了圆上的点Pl和Ql在左相机坐标系下的坐标P″l和Q″l，且在步骤(5.6)得到了空间中圆形目标圆心的三维重建点在左相机坐标系下的坐标，之后可进一步采用以下公式计算获得空间中圆形目标的半径，根据圆心到圆上的任意一点的距离相等且等于半径R得：
其中，作为空间中圆形目标的圆心，代表点和点P″l之间几何距离的平方，代表点和点Q″l之间几何距离的平方，P″l和Q″l分别表示空间中圆上的点Pl和Ql在左相机坐标系下的坐标。
(6)对拍摄所得的图像进行Harris角点检测，空间中同一角点分别在左右图像中的对应点构成一个特征点对。对于每对图像，按照步骤(5.6)所述的最优化三角测量方法计算位于两个圆之间的3个特征点M、N、H在左相机坐标系下三维重建点的坐标M′、N′、H′。为了方便演示，这3个特征点在图2中被圈出。使用精度0.02mm游标卡尺测量实际在显示屏上这3个特征点中左上角的特征点M到左侧圆圆心的距离，记为距离真实值1。采用本发明计算所得的左侧圆的圆心坐标到三维重建点M′的距离，记为距离估计值1。采用距离真实值1和距离估计值1之间的误差来衡量圆心位置的检测精度。
圆心位置测量实验结果如图4所示，本发明使得圆心位置的检测精度明显提高，且定位的绝对误差的波动也较小，和实际采用游标卡尺测量的误差在0.2mm以下。如图5所示，采用本发明对圆形目标进行位姿检测，使得圆心位置的平均绝对误差和标准偏差明显降低，其中平均绝对误差减少了81.37％，标准差减少了82.25％，满足大部分工业条件下的应用要求。
(7)步骤(6)获得了3个特征点在左相机坐标系下的三维重建点坐标M′、N′、H′，这3个特征点确定了一个平面，由于该平面实际上和目标圆平面属于同一平面，因此该平面法向量理论上应当和圆平面的法向量相等。首先计算3个三维重建点构成的平面的法向量
记为法向量真实值1，采用本发明步骤(5.3)计算显示屏中左侧圆的法向量记为法向量估计值1。采用法向量真实值1和法向量估计值1之间的误差来衡量圆平面法向量的检测精度。
圆平面法向量测量实验结果如图6所示，采用本发明对圆形目标进行位姿检测，使得圆平面的法向量测量精度明显提高，且波动较小，和实际真实误差在1.55°以下。如图7所示，采用本发明对圆形目标进行位姿检测，使得圆平面法向量的平均绝对误差和标准偏差明显降低，其中平均绝对误差减少了64.81％，标准差减少了67.33％。
本发明的另一优势在于无需预先提供目标圆的半径尺寸，且可计算获得较高精度的半径尺寸。如图8所示，显示器显示的左侧圆的12次半径测量结果，半径测量的绝对误差在0.12mm以下，满足大部分工业条件下的应用要求。
由于显示屏中显示了左右两个圆形目标，使用本发明分别计算出左右两个圆的圆心坐标，计算两个坐标的欧氏距离，即可获得两个圆形目标的圆心距。为了进一步测试本发明的位姿检测精度，将本发明计算所得两个圆形目标圆心间的距离，和采用游标卡尺测量所得的圆心距进行比较。12次圆心距离测量实验结果如图9所示，采用本发明对圆形目标进行位姿检测，使得两个目标圆之间的圆心距离的测量精度明显提高，且波动较小，距离绝对误差在0.43mm以下。如图10所示，采用本发明对圆形目标进行位姿检测，使得两个圆形目标圆心间的距离的平均绝对误差和标准偏差明显降低，其中平均绝对误差减少了77.00％，标准差减少了65.67％。
另外，使用本发明分别计算出显示屏中左右两个圆的圆平面法向量。由于两个圆位于同一平面，理论上两个圆的法向量应当重合。通过比较左右两个圆的法向量间的误差也可进一步反应本发明的有效性。如图11所示，采用本发明对圆形目标进行位姿检测，使得位于同一平面的两个圆形目标的法向量误差明显降低，最大法向量误差角度为2.16°。如图12所示，采用本发明对圆形目标进行位姿检测，使得两个圆形目标法向量的平均绝对误差有效地降低。相比于Chen的检测方法，平均绝对误差减少了74.39％。
从实际位姿估计实验中可以看出，本发明方法的估计值与真实值之间的差异较小。此外，估算值相对比较稳定，未产生较大波动。换句话说，利用本发明方法估计圆的位姿，可以得到获得较高精度圆心坐标、圆平面法向量以及半径尺寸。
上述实施例不应视为对本发明的限制，但任何基于本发明的精神所做的改进，都应在本发明的保护范围之内。

Claims (6)

1.一种基于双目视觉三维重建的圆形目标位姿检测方法，其特征在于包括以下步骤：
(1)采用张正友标定法对双目相机的内外参数及畸变参数进行标定，使用双目相机拍摄同一圆形目标的图像，根据标定所得的畸变参数对左右图像进行畸变矫正，获得无畸变的左右图像；
然后对无畸变的左右图像使用直接最小二乘椭圆检测方法识别提取获得椭圆长半轴a、短半轴b、中心坐标(cx,cy)和倾斜角θ；
(2)分别遍历左右图像，找到图像中椭圆上的左参考图像点对和以及右参考图像点对和
(3)根据左相机坐标系下，左相机光心Gl坐标为Gl(0,0,0)和右相机坐标系下右相机光心Gr坐标为Gr(0,0,0)，结合左参考图像点对和以及右参考图像点对和进行处理获得左第一图像交点对和右第一图像交点对；
(4)构建左参考坐标系右参考坐标系
(5)利用左转换空间点对Pl′和Ql′、右转换空间点对Pr′和Qr′、左参考坐标系右参考坐标系计算处理获得空间中圆形目标的圆心。
2.根据权利要求1所述的一种基于双目视觉三维重建的圆形目标位姿检测方法，其特征在于：所述步骤(2)具体为：
(2.a)在左相机坐标系下，以左相机光心Gl为夹角顶点，遍历左图像中椭圆上的像素点，寻找左图像中椭圆上使得空间夹角最大的两像素点和两像素点和对应左图像中的像素点坐标为pl(upl,vpl)和ql(uql,vql)，对应空间中圆形目标上的两实际点Pl和Ql，两像素点作为左参考图像点对，两实际点作为左参考空间点对；
在右相机坐标系下，以右相机光心Gr为夹角顶点，遍历右图像中椭圆上的像素点，寻找右图像中椭圆上使得空间夹角最大的两像素点和两像素点和对应右图像中的像素点坐标为pr(upr,vpr)和qr(uqr,vqr)，对应空间中圆形目标上的两实际点Pr和Qr，两像素点作为右参考图像点对，两实际点作为右参考空间点对。
3.根据权利要求1所述的一种基于双目视觉三维重建的圆形目标位姿检测方法，其特征在于：所述步骤(3)具体为：
(3.a)作过左相机光心Gl坐标为Gl(0,0,0)与左参考图像点对和的平面的左垂直平面，且左垂直平面过空间夹角的角平分线，左垂直平面和圆形目标的交点分别Bl和Cl，这两交点对应到左图像中的像素点为bl(ubl,vbl)和cl(ucl,vcl)并作为左第一图像交点对；
作过右相机光心Gr坐标为Gr(0,0,0)与右参考图像点对和的平面的右垂直平面，且右垂直平面过空间夹角的角平分线，右垂直平面和圆形目标的交点分别Br和Cr，这两交点对应到右图像中的像素点为br(ubr,vbr)和cr(ucr,vcr)并作为右第一图像交点对。
4.根据权利要求1所述的一种基于双目视觉三维重建的圆形目标位姿检测方法，其特征在于：所述步骤(4)具体为：
(4.a)构造以下新三维笛卡尔坐标系作为左参考坐标系：
其中，表示左参考坐标系第一轴的单位向量，表示左参考坐标系第二轴的单位向量，表示左参考坐标系第三轴的单位向量；
然后，采用空间投影几何转换方法处理获得左参考空间点对Pl和Ql分别在左参考坐标系下的坐标Pl′(γlupl,0,γlfl)和坐标Ql′(-γluql,0,γlfl)，并作为左转换空间点对；其中，γl为左图像的坐标转换系数，采用以下公式计算：
式中，R为待求空间中圆形目标的半径；
(4.b)构造以下新三维笛卡尔坐标系作为右参考坐标系：
其中，表示右参考坐标系第一轴的单位向量，表示右参考坐标系第二轴的单位向量，表示右参考坐标系第三轴的单位向量；
然后，采用空间投影几何转换方法处理获得右参考空间点对Pr和Qr分别在右参考坐标系下的坐标Pr′(γrupr,0,γrfr)和坐标Qr′(-γruqr,0,γrfr)，并作为右转换空间点对；其中，γr为右图像的坐标转换系数，采用以下公式计算：
式中，R为待求空间中圆形目标的半径。
5.根据权利要求1所述的一种基于双目视觉三维重建的圆形目标位姿检测方法，其特征在于：所述步骤(5)具体为：
(5.1)利用左转换空间点对Pl′和Ql′以及右转换空间点对Pr′和Qr′构建获得左右弦参考向量，并且将左转换空间点对Pl′和Ql′由左参考坐标系转换到左相机坐标系下；
(5.1.a)根据左转换空间点对Pl′和Ql′构建获得左弦向量 左弦向量的单位向量计算为将单位向量由左参考坐标系转换到左相机坐标系得左弦参考向量：
其中，表示单位向量在左相机坐标系下的向量并作为左弦参考向量，RGl表示由左参考坐标系转换到左相机坐标系的3×3旋转矩阵，
同时将左转换空间点对Pl′和Ql′由左参考坐标系转换到左相机坐标系得：
P″l＝RGlP′l
Q″l＝RGlQ′l
其中，P″l和Q″l分别表示左转换空间点对Pl′和Ql′在左相机坐标系下对应的点；
(5.1.b)根据右转换空间点对Pr′和Qr′构建获得右弦向量 右弦向量的单位向量计算为将单位向量由右参考坐标系转换到右相机坐标系得右弦参考向量：
其中，表示单位向量在左相机坐标系下的向量并作为右弦参考向量，RGr表示由左参考坐标系转换到左相机坐标系的3×3旋转矩阵，
(5.2)利用双目相机标定所得的相机间旋转矩阵Rlr将左弦参考向量转换到右相机坐标系得：
其中，表示左弦参考向量在左相机坐标系下的向量；
利用双目相机标定所得的相机间旋转矩阵Rlr将右弦参考向量转换到左相机坐标系得：
其中，表示右弦参考向量在左相机坐标系下的向量；
(5.3)采用以下公式计算空间中圆形目标的圆平面在左相机坐标系下的左法向量
以及空间中圆形目标的圆平面在右相机坐标系下的右法向量
(5.4)针对左右图像均采用以下方式处理获得左右图像中椭圆识别后所得的参数矩阵ω1和ω2：
采用以下公式将步骤(1)椭圆识别提取得到的椭圆参数转化为参数矩阵中的参数的形式：
A＝b2cos2θ+a2sin2θ
B＝2(b2-a2)sinθcosθ
C＝b2sin2θ+a2cos2θ
D＝-2Acx-Bcy
E＝-2Ccy-Bcx
F＝Acx 2+Bcxcy+Ccy 2-a2b2
其中，A、B、C、D、E、F为构成参数矩阵的6个参数；
进而再计算椭圆参数矩阵ω为：
(5.5)再计算空间中圆形目标的圆心分别在左右图像坐标系下对应的像素点坐标Ωl和Ωr：
(5.5.a)空间中圆形目标的圆心在左图像坐标系下对应的像素点坐标为：
其中，ω1是左图像中椭圆识别所得的参数矩阵，K1是左相机内参矩阵；
(5.5.b)空间中圆形目标的圆心在右图像坐标系下对应的像素点坐标为：
其中，ω2是右图像中椭圆识别所得的参数矩阵，K2是右相机内参矩阵；
(5.6)由像素点坐标Ol和Or采用最优化三角测量方法计算满足对极几何约束的可用于三维重建的最优左右图像特征点对使得最优左右图像特征点对所对应的空间坐标点分别和各自相机光心的连线相交于空间中一点点作为空间中圆形目标的圆心在左相机坐标系下的坐标。
6.根据权利要求1所述的一种基于双目视觉三维重建的圆形目标位姿检测方法，其特征在于：在步骤(5.1.a)获得了圆上的点Pl和Ql在左相机坐标系下的坐标P″l和Q″l，且在步骤(5.6)得到了空间中圆形目标圆心的三维重建点在左相机坐标系下的坐标，之后进一步采用以下公式计算获得空间中圆形目标的半径：
其中，作为空间中圆形目标的圆心，代表点和点P″l之间几何距离的平方，代表点和点Q″l之间几何距离的平方，P″l和Q″l分别表示空间中圆上的点Pl和Ql在左相机坐标系下的坐标。
CN201810671488.9A 2018-06-26 2018-06-26 一种基于双目视觉三维重建的圆形目标位姿检测方法 Active CN109163657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810671488.9A CN109163657B (zh) 2018-06-26 2018-06-26 一种基于双目视觉三维重建的圆形目标位姿检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810671488.9A CN109163657B (zh) 2018-06-26 2018-06-26 一种基于双目视觉三维重建的圆形目标位姿检测方法

Publications (2)

Publication Number Publication Date
CN109163657A true CN109163657A (zh) 2019-01-08
CN109163657B CN109163657B (zh) 2020-04-10

Family

ID=64897293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810671488.9A Active CN109163657B (zh) 2018-06-26 2018-06-26 一种基于双目视觉三维重建的圆形目标位姿检测方法

Country Status (1)

Country Link
CN (1) CN109163657B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111288958A (zh) * 2020-02-17 2020-06-16 北京睿思奥图智能科技有限公司 确定交互目标与机器人之间距离的方法、装置及电子设备
CN111784771A (zh) * 2020-06-28 2020-10-16 北京理工大学 基于双目相机的3d三角测量方法及装置
CN112082493A (zh) * 2020-09-03 2020-12-15 武汉工程大学 基于双目成像的管道法兰内半径视觉测量方法
CN112116667A (zh) * 2020-09-22 2020-12-22 扬州大学 一种发动机表面加工孔直径测量算法
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法
CN112381884A (zh) * 2020-11-12 2021-02-19 北京航空航天大学 基于rgbd相机的空间圆目标位姿测量方法
CN112378383A (zh) * 2020-10-22 2021-02-19 北京航空航天大学 基于圆和线特征非合作目标相对位姿双目视觉测量方法
CN113409236A (zh) * 2020-06-29 2021-09-17 华中科技大学 一种基于双目视觉的钢拱架铰接孔检测方法及其应用
CN114748201A (zh) * 2022-04-19 2022-07-15 深圳广成创新技术有限公司 一种牙科种植体的三维参数的获取方法、装置
CN116051629A (zh) * 2023-02-22 2023-05-02 常熟理工学院 面向自主导航机器人的高精度视觉定位方法
CN118196171A (zh) * 2024-05-20 2024-06-14 法奥意威(苏州)机器人系统有限公司 一种检测圆的方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002267413A (ja) * 2001-03-13 2002-09-18 Matsushita Electric Ind Co Ltd 三次元位置計測装置および方法
CN1566900A (zh) * 2003-06-11 2005-01-19 北京航空航天大学 一种空间圆几何参数的视觉测量方法
CN101093160A (zh) * 2007-07-12 2007-12-26 上海交通大学 基于双目立体视觉技术的空间圆几何参数的测量方法
CN101216296A (zh) * 2008-01-11 2008-07-09 天津大学 双目视觉转轴标定方法
CN107088892A (zh) * 2017-04-01 2017-08-25 西安交通大学 一种基于双目视觉的工业机器人运动精度检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002267413A (ja) * 2001-03-13 2002-09-18 Matsushita Electric Ind Co Ltd 三次元位置計測装置および方法
CN1566900A (zh) * 2003-06-11 2005-01-19 北京航空航天大学 一种空间圆几何参数的视觉测量方法
CN101093160A (zh) * 2007-07-12 2007-12-26 上海交通大学 基于双目立体视觉技术的空间圆几何参数的测量方法
CN101216296A (zh) * 2008-01-11 2008-07-09 天津大学 双目视觉转轴标定方法
CN107088892A (zh) * 2017-04-01 2017-08-25 西安交通大学 一种基于双目视觉的工业机器人运动精度检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
桑孟雷: "基于机器视觉的圆形工件位姿估计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111288958A (zh) * 2020-02-17 2020-06-16 北京睿思奥图智能科技有限公司 确定交互目标与机器人之间距离的方法、装置及电子设备
CN111784771B (zh) * 2020-06-28 2023-05-23 北京理工大学 基于双目相机的3d三角测量方法及装置
CN111784771A (zh) * 2020-06-28 2020-10-16 北京理工大学 基于双目相机的3d三角测量方法及装置
CN113409236A (zh) * 2020-06-29 2021-09-17 华中科技大学 一种基于双目视觉的钢拱架铰接孔检测方法及其应用
CN112082493A (zh) * 2020-09-03 2020-12-15 武汉工程大学 基于双目成像的管道法兰内半径视觉测量方法
CN112082493B (zh) * 2020-09-03 2022-07-19 武汉工程大学 基于双目成像的管道法兰内半径视觉测量方法
CN112116667A (zh) * 2020-09-22 2020-12-22 扬州大学 一种发动机表面加工孔直径测量算法
CN112116667B (zh) * 2020-09-22 2023-11-24 扬州大学 一种发动机表面加工孔直径测量方法
CN112378383A (zh) * 2020-10-22 2021-02-19 北京航空航天大学 基于圆和线特征非合作目标相对位姿双目视觉测量方法
CN112378383B (zh) * 2020-10-22 2021-10-19 北京航空航天大学 基于圆和线特征非合作目标相对位姿双目视觉测量方法
CN112381884A (zh) * 2020-11-12 2021-02-19 北京航空航天大学 基于rgbd相机的空间圆目标位姿测量方法
CN112381884B (zh) * 2020-11-12 2022-04-19 北京航空航天大学 基于rgbd相机的空间圆目标位姿测量方法
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法
CN114748201A (zh) * 2022-04-19 2022-07-15 深圳广成创新技术有限公司 一种牙科种植体的三维参数的获取方法、装置
CN116051629A (zh) * 2023-02-22 2023-05-02 常熟理工学院 面向自主导航机器人的高精度视觉定位方法
CN116051629B (zh) * 2023-02-22 2023-11-07 常熟理工学院 面向自主导航机器人的高精度视觉定位方法
CN118196171A (zh) * 2024-05-20 2024-06-14 法奥意威(苏州)机器人系统有限公司 一种检测圆的方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN109163657B (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN109163657A (zh) 一种基于双目视觉三维重建的圆形目标位姿检测方法
CN110057295B (zh) 一种免像控的单目视觉平面距离测量方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN110378969A (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
CN109934878A (zh) 一种基于相机坐标系的线性标定系统及其方法
CN109523595A (zh) 一种建筑工程直线棱角间距视觉测量方法
CN111192235A (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN110398208A (zh) 基于摄影全站仪系统的大数据变形监测方法
CN104517291A (zh) 基于目标同轴圆特征的位姿测量方法
CN108469254A (zh) 一种适用于仰视和俯视位姿的大视场多视觉视频测量系统全局标定方法
WO2022257794A1 (zh) 可见光图像和红外图像的处理方法及装置
CN103106661A (zh) 空间二条相交直线线性求解抛物折反射摄像机内参数
CN109974618A (zh) 多传感器视觉测量系统的全局标定方法
CN110030926A (zh) 激光束空间位姿的标定方法
TW201310004A (zh) 編列數位影像關係裝置
Wang et al. Complete calibration of a structured light stripe vision sensor through a single cylindrical target
CN108871190B (zh) 一种用于双目立体视觉测量中的手持球型靶标及测量方法
CN113554708A (zh) 一种基于单圆柱靶标的线结构光视觉传感器的完全标定法
CN106643735A (zh) 一种室内定位方法、装置和移动终端
Liu et al. On-site calibration method for outdoor binocular stereo vision sensors
CN108154535A (zh) 基于平行光管的摄像机标定方法
CN103278104B (zh) 一种用于dic测量的双相机系统的标定板及其标定方法
CN111998823B (zh) 基于双目异光源测距装置的目标测距方法
CN108335333A (zh) 一种线性摄像机标定方法
CN111754584A (zh) 一种远距离大视场相机参数标定系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Zhenyu

Inventor after: Duan Guifang

Inventor after: Liu Xia

Inventor after: Tan Jianrong

Inventor before: Duan Guifang

Inventor before: Liu Xia

Inventor before: Liu Zhenyu

Inventor before: Tan Jianrong