CN111896221A - 虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法 - Google Patents

虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法 Download PDF

Info

Publication number
CN111896221A
CN111896221A CN202010753817.1A CN202010753817A CN111896221A CN 111896221 A CN111896221 A CN 111896221A CN 202010753817 A CN202010753817 A CN 202010753817A CN 111896221 A CN111896221 A CN 111896221A
Authority
CN
China
Prior art keywords
camera
coordinate system
center
optical
optical center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010753817.1A
Other languages
English (en)
Other versions
CN111896221B (zh
Inventor
陈文静
侯艳丽
苏显渝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010753817.1A priority Critical patent/CN111896221B/zh
Publication of CN111896221A publication Critical patent/CN111896221A/zh
Application granted granted Critical
Publication of CN111896221B publication Critical patent/CN111896221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其包括构建旋转光学测量系统,建立用于转台中心和摄像机光心对准的虚拟坐标系,对摄像机标定得到摄像机的内外参数,计算摄像机坐标系与虚拟坐标系之间的旋转矩阵,利用旋转矩阵将摄像机光心映射到世界坐标系中与标靶平面垂直且平行于标靶上边缘的虚拟平面上,对摄像机光心采用最小二乘平面圆拟合得到拟合圆心,作为转台中心与摄像机光心对准。本发明通过建立虚拟坐标系统将3D空间的圆拟合降维到2D空间,实现对摄像机的外部参数矩阵进行修正,并采用最小二乘平面圆拟合法计算转台中心,实现利用摄像机光心的位置信息准确地确定转台中心的位置,提高了旋转中心的计算精度。

Description

虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法
技术领域
本发明涉及旋转光学测量系统技术领域,具体涉及一种虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法。
背景技术
近年来,基于摄影测量原理的光学测量方法以其速度快、非接触、精度高、灵活性强等优点得到了迅速发展。光学测量是坐标测量、轨迹测量或曲面重建的有效方法之一。它广泛应用于三维传感器测量、全景图像拼接、航空航天、国防建设、工业制造等各个领域。
在大视场或360°环形测量中,由于摄像机视场的限制,需要将摄像机固定在旋转装置上形成旋转光学测量系统,对目标进行扫描测量。通过对摄像机旋转获得的多个视场数据进行拼接,可以得到被测物体的三维信息。目前,大多数旋转光学测量系统都是基于全站仪或经纬仪与摄像机的结合。例如:将普通数码相机安装在全站仪的水平轴支架上,构成计算机辅助摄影测量系统(CAPS);将内部参数已知的量测型数码相机安装在全站仪的望远镜上,构成摄影全站仪系统(PTSS)的测量系统,扩大测量视场和提高测量精度;也可将经纬仪和摄像机组成大视角精密测量系统(TCs)。全站仪或经纬仪可以给出控制点的空间坐标,有助于设置旋转过程中摄像机的关系,但增加了系统的成本、体积,测量的复杂性。
为了降低系统成本和测量的复杂性,一般采用非量测相机和简单的旋转平台组成的旋转光学测量系统。为了测量数据的可靠和后期的数据融合,需要保证测量系统安装时,摄像机的光心与旋转机构的旋转中心重合,否则系统的安装误差会导致最终测量结果中的误差,特别是对物体进行近距离测量时误差较为明显。因此,为了提高旋转光学测量系统的测量精度,需要对摄像机镜头的光心与旋转机构旋转中心的位置偏差进行精确标定,以指导系统的安装和调整。
在旋转光学测量系统中,摄像机固定安装在旋转平台上,形成刚体连接,当转台旋转时,摄像机与转台的相对位置关系保持不变。如果摄像机的光心没有通过转台中心,那么在旋转过程中摄像机光心相对于转台中心的运动轨迹为一个圆。摄像机光心与转台中心的距离越近,圆轨迹的半径越短。当摄像机的光心与转台中心重合时,理论上圆的半径应减小为0。但在实际安装中,由于成像系统是由多个透镜组成,很难准确计算和确定摄像机光心的真实位置。因此,如何保证摄像机的光心通过旋转机构的旋转中心是一个挑战。
为了计算摄像机的光心与转台中心的距离,可以利用摄像机标定的思想来解决旋转光学测量系统的对准问题。利用张正友的基于二维(2D)标靶的摄像机标定原理,控制摄像机随着转台的转动,标定出摄像机所在位置相对于参考世界系的旋转矩阵和平移矩阵用以计算摄像机的光心位置。标定时,相机转动过程中,转台平面与参考世界坐标系中的水平面严格平行,摄像机的光心的轨迹在平行于世界坐标水平面的一个圆上,可以用平面圆拟合得到的转台中心坐标。
然而,在转台的旋转过程中,转台除了绕轴转动之外,若转台平面与参考世界坐标系中的水平面存在小角度倾斜,摄像机的光心轨迹严格意义上应分布在一个空间圆上。由于标定所的相机光心数目的限制,空间圆拟合误差很大。
发明内容
针对现有技术中的上述不足,本发明提供了一种提高旋转中心计算精度的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,通过建立虚拟平面坐标系统将3D空间的圆拟合降维到2D空间,实现对摄像机的外部参数矩阵进行修正,并采用最小二乘平面圆拟合法计算转台中心,实现利用摄像机光心的位置信息准确地确定转台中心的位置,提高了旋转中心的计算精度。
为了达到上述发明目的,本发明采用的技术方案为:
一种虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,包括以下步骤:
S1、构建旋转光学测量系统;
S2、基于旋转光学测量系统建立用于转台中心和摄像机光心对准的虚拟坐标系;
S3、对旋转光学测量系统的摄像机标定得到摄像机的内外参数,并计算摄像机光心在世界坐标系下的位置坐标;
S4、根据摄像机的内外参数计算摄像机坐标系与虚拟坐标系之间的旋转矩阵;
S5、利用旋转矩阵将摄像机光心通过虚拟坐标系映射到世界坐标系下与标靶平面垂直且平行于标靶上边缘的虚拟平面上;
S6、对映射后的摄像机光心采用最小二乘平面圆拟合得到拟合圆心,作为转台中心与摄像机光心对准。
可选地,所述步骤S1构建的旋转光学测量系统具体包括:
一旋转台、由两个相互垂直的平移台组成并设置在所述旋转台上的伺服控制单元、一设置在所述伺服控制单元上的摄像机、一设置在所述摄像机前方的棋盘格标靶以及一执行对准方法的处理单元。
可选地,所述步骤S2基于旋转光学测量系统建立用于转台中心和摄像机光心对准的虚拟坐标系具体为:
基于步骤S1构建的旋转光学测量系统中棋盘格标靶所处的世界坐标系建立用于转台中心和摄像机光心对准的虚拟坐标系,所述虚拟坐标系的原点设置于摄像机光心,所述虚拟坐标系的Xp轴与世界坐标系的Yw轴平行且同向设置,所述虚拟坐标系的Yp轴与世界坐标系的Xw轴平行且同向设置,所述虚拟坐标系的Zp轴与世界坐标系的Zw轴平行且反向设置。
可选地,所述步骤S3对旋转光学测量系统的摄像机进行标定,得到摄像机的内外参数具体为:
利用步骤S1构建的旋转光学测量系统中的摄像机拍摄多幅不同角度的标靶图像;
根据小孔成像模型,对标靶图像采用张氏标定方法计算多个单应性矩阵;
利用单应性矩阵计算摄像机的内外参数,并计算摄像机光心在世界坐标系中的位置坐标;
其中摄像机的内部参数包括摄像机内部参数矩阵,摄像机的外部参数包括旋转矩阵和平移向量。
可选地,所述步骤S5利用旋转矩阵将摄像机光心通过虚拟坐标系映射到世界坐标系下与标靶平面垂直且平行于标靶上边缘的虚拟平面上,具体为:
根据摄像机坐标系与虚拟坐标系之间的关系,利用旋转矩阵将摄像机光心通过虚拟坐标系映射到世界坐标系的Ow-YwZw平面上。
可选地,所述映射的关系式为:
M=RcpRT(Mci-T)
其中,M表示摄像机光心在世界坐标系的Ow-YwZw平面上的坐标,Mci表示摄像机光心在摄像机坐标系下的坐标,Rcp表示摄像机坐标系与虚拟坐标系之间的旋转矩阵,RT表示摄像机与标靶之间的旋转矩阵,T表示摄像机与标靶之间的平移向量。
可选地,所述步骤S6中对映射后的摄像机光心采用最小二乘平面圆拟合得到拟合圆心具体为:
重复步骤S3至S5,利用虚拟坐标系得到多个映射到世界坐标系的Ow-YwZw平面上的摄像机光心二维坐标(yi,zi),再采用最小二乘平面圆对多个摄像机光心坐标进行拟合,得到拟合圆心(y0,z0)。
可选地,所述拟合过程的目标函数Ci设定为:
Figure BDA0002610871570000051
其中,N表示摄像机的旋转次数,R表示拟合圆的半径。
可选地,所述对准方法还包括:
重复步骤S3至S6得到多个拟合圆心Ori,再对多个拟合圆心Ori求平均值
Figure BDA0002610871570000052
作为转台中心与摄像机光心对准。
可选地,所述对准方法还包括:
调整摄像机光心对准转台中心
Figure BDA0002610871570000053
再次重复步骤S3至S5得到多个摄像机光心坐标
Figure BDA0002610871570000054
对多个摄像机光心坐标求平均值得到新的转台中心Or,作为转台中心与摄像机光心对准。
本发明具有以下有益效果:
本发明通过建立虚拟坐标系统将3D空间的圆拟合降维到2D空间,实现对摄像机的外部参数矩阵进行修正,并采用最小二乘平面圆拟合法计算转台中心,实现利用摄像机光心的位置信息准确地确定转台中心的位置;此外,本发明建立正交伺服控制单元,通过多次标定减小随机误差并完成相机光心到旋转中心的对位,能够进一步提高旋转中心的计算精度和方便对位安装。
附图说明
图1为本发明的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法流程示意图;
图2为本发明实施例中旋转光学测量系统原理图;
图3为本发明实施例中旋转光学测量系统成像模型示意图;
图4为本发明实施例中建立的坐标系统示意图;
图5为本发明实施例中棋盘格标靶示意图;
图6为本发明实施例中摄像机放置初始位置和旋转示意图;
图7为本发明实施例中实验装置图及采集的部分标靶图像示意图;
图8为本发明实施例中摄像机旋转角度示意图;其中图(a)为理想旋转角度,图(b)为实际旋转角度;
图9为本发明实施例中角度校正前摄像机光心投影位置以及拟合的运动轨迹示意图;其中图(a)为摄像机光心投影位置,图(b)为拟合的运动轨迹;
图10为本发明实施例中角度校正后摄像机光心投影位置以及拟合的运动轨迹示意图;其中图(a)为摄像机光心投影位置,图(b)为拟合的运动轨迹;
图11为本发明实施例中摄像机光心分布图;
图12为本发明实施例中摄像机光心与空间点的夹角计算示意图;
图13为本发明实施例中棋盘格平面标记示意图;
图14为本发明实施例中摄像机光心与空间点的夹角曲线示意图;其中图(a)为重合时角度曲线,图(b)为重合时角度差曲线,图(c)为不重合时角度曲线,图(d)为不重合时角度差曲线。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
在大视场或360°环形测量中,通常需要用到由CCD摄像机和旋转装置组成的旋转光学测量系统。在此旋转光学测量系统中,由于摄像机和转台是刚性连接,摄像机光心随旋转装置运动的轨迹在圆弧上(摄像机光心与转台的旋转中心重合时,圆的半径趋于0)。为了利用摄像机光心的位置信息准确地确定转台中心的位置,本发明通过引入虚拟坐标系统对摄像机的外部参数矩阵进行修正。本发明通过引入虚拟坐标系统将3D空间的圆拟合降维到2D空间,从而可以用最小二乘平面圆拟合法计算转台中心,提高旋转中心的计算精度。
如图1所示,为本发明实施例提供的一种虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,包括以下步骤S1至S6:
S1、构建旋转光学测量系统;
在本实施例中,为了进一步提高旋转中心的计算精度和方便对位安装,本发明构建了旋转光学测量系统,具体包括:
一旋转台、由两个相互垂直的平移台组成并设置在所述旋转台上的伺服控制单元、一设置在所述伺服控制单元上的摄像机、一设置在所述摄像机前方的棋盘格标靶以及一执行对准方法的处理单元。
本发明将摄像机放置在由旋转平台和两个相互垂直的平移台组成的伺服控制单元上,两个平移台固定在转台上用于移动摄像机的位置进行多次标定和最终对准。将棋盘格标靶固定在系统的前面,用于摄像机标定。
如图2所示,为本发明实施例中旋转光学测量系统原理图。其中Or为转台的旋转轴。在标定过程中,摄像机围绕转台的轴线旋转,拍摄棋盘格图像并送到计算机进行处理。利用2D摄像机标定原理,可以得到摄像机相对于固定的世界坐标系(Ow-XwYwZw)的旋转矩阵R和平移矩阵T,根据这些参数可以计算出摄像机光心的三维位置坐标,并用于拟合旋转轴在旋转平台上的坐标。
本发明通过建立正交伺服控制单元,实现通过多次标定减小随机误差并完成相机光心到旋转中心的对位。
S2、基于旋转光学测量系统建立用于转台中心和摄像机光心对准的虚拟坐标系;
在本实施例中,本发明基于旋转光学测量系统建立用于转台中心和摄像机光心对准的虚拟坐标系具体为:
基于步骤S1构建的旋转光学测量系统中棋盘格标靶所处的世界坐标系建立用于转台中心和摄像机光心对准的虚拟坐标系,所述虚拟坐标系的原点设置于摄像机光心,所述虚拟坐标系的Xp轴与世界坐标系的Yw轴平行且同向设置,所述虚拟坐标系的Yp轴与世界坐标系的Xw轴平行且同向设置,所述虚拟坐标系的Zp轴与世界坐标系的Zw轴平行且反向设置。
在旋转光学测量系统中,摄像机安装固定在旋转平台上,当相机围绕转台的旋转轴旋转时,摄像机光心和转台的旋转中心之间的距离是一个常数。当转台旋转时,摄像机可以从不同的视角拍摄图像。系统的成像模型如图3所示,Or为旋转平台的旋转轴,P为目标点,P1和P2分别为目标点P在两幅图像上的成像点。
Figure BDA0002610871570000091
Figure BDA0002610871570000092
为相机的光轴方向,Oi-uivi(i=1,2,...)为图像坐标系。
Figure BDA0002610871570000093
Figure BDA0002610871570000094
之间的旋转角为θ,即∠Oc1OrOc2=∠O1OrO2=θ。Oc1和Oc2分别为两次拍摄的摄像机光心位置。
Figure BDA0002610871570000097
Figure BDA0002610871570000095
f为相机的焦距。如果摄像机的光心没有过转台旋转轴的中心,那么Oc1和Oc2应位于旋转平面上以旋转轴中心的圆上,即
Figure BDA0002610871570000096
r为圆的半径,即为相机的光心和旋转中心之间的距离。当摄像机的光学中心过旋转轴的中心时,r→0。
由于标靶尺寸的限制,标定时转台的旋转角度不宜过大,因此在旋转过程中获得的摄像机光心的位置出现在一个较短的弧线上。为了降低拟合处理的难度,提高精度,要求摄像机初始位置的光轴方向Zc与Zw平行,方向相反,并且转台平面与Ow-YwZw平面平行,以保证无论摄像机固定在转台上的任何位置,摄像机光心的运动轨迹均在与平面Ow-YwZw平行的同心圆弧上。然而,实际的旋转光学测量系统在标定过程中可能无法满足上述条件。这将导致摄像机放在转台上不同的位置开始标定时,形成的圆不同心。为了克服这个问题,本发明通过引入一个虚拟坐标系统Op-XpYpZp(右手正交坐标系)。Op-XpYpZp和Ow-XwYwZw之间的关系如图4所示。这个虚拟坐标系的原点位于摄像机的光学中心,Op-XpZp平面是一个虚拟的水平面,Xp轴和Yp轴分别与Yw轴和Xw轴平行且同向,Zp轴与Zw轴平行且反向。虚拟坐标系统的引入将多次标定得到的摄像机光心映射到世界坐标系的Ow-YwZw平面上,继而可以通过拟合平面同心圆来确定转台的中心。
S3、对旋转光学测量系统的摄像机标定得到摄像机的内外参数,并计算摄像机光心在世界坐标系中的位置坐标;
在本实施例中,本发明对旋转光学测量系统的摄像机进行标定,得到摄像机的内外参数具体为:
利用步骤S1构建的旋转光学测量系统中的摄像机拍摄多幅不多角度的标靶图像;
对标靶图像采用张氏标定方法计算多个单应性矩阵;
利用单应性矩阵根据小孔成像模型,即摄像机内参数的两个基本约束计算摄像机的内外参数,并计算摄像机光心在世界坐标系中的位置坐标;
其中摄像机的内部参数包括摄像机内部参数矩阵,摄像机的外部参数包括旋转矩阵和平移向量。
传统的摄像机标定方法需要通过已知尺寸的参考标靶来建立摄像机像素坐标与空间点世界坐标之间的对应关系。目前大多数基于特征点提取的摄像机标定方法都是利用一组已知的3D或者2D标记点,如圆、点、棋盘格等来进行标定。对于3D立体标靶,只需要一帧图像就可以计算摄像机的内外参数。
然而,高精度的3D立体标靶制作成本较高,且加工精度受到一定的限制,Zhang等人提出了一种基于2D平面标靶的摄像机标定方法。在使用2D平面标靶标定时,摄像机需要在两个以上不同方位对平面标靶进行拍摄,摄像机和平面标靶都可以自由移动,典型的平面标定参照物为图5所示的棋盘格,每一个方格点即为标定点。
根据摄像机的成像模型,由已知世界坐标系的特征点和其对应的图像坐标可以求解出摄像机的模型参数,包括摄像机的内部参数和外部参数。摄像机坐标系与世界坐标系之间的关系用旋转矩阵R与平移向量T来描述。摄像机坐标系(Oc-XcYcZc)的原点为摄像机的光心,以垂直于图像平面的相机光轴为Zc轴,Xc轴和Yc轴分别平行于图像平面;世界坐标系(Ow-XwYwZw)是人为选择的一个基准坐标系,在固定的世界坐标系下,相机外参数实际上反映了相机在空间中的位置。
假定空间中某一点M在世界坐标系与像素坐标系下的齐次坐标分别为M=(Xw,Yw,Zw,1)T与m=(u,v,1)T,根据理想的小孔成像模型,就存在如下关系:
Figure BDA0002610871570000111
其中,s为一任意的非零尺度比例因子;fx、fy分别是u轴和v轴的尺度因子,α是u轴和v轴的倾斜因子;(u0,v0)为主点坐标;旋转矩阵R为3×3正交矩阵;T为三维平移向量;A称为摄像机内部参数矩阵,定义为
Figure BDA0002610871570000112
根据张氏标定方法,假设标靶平面位于世界坐标系的XwYw平面上,即Zw=0,这样,标靶平面上的点M与对应的图像点m之间存在一个矩阵变换H,即
sm=HM
其中,H=[h1 h2 h3]=λA[r1 r2 t]为一3×3的矩阵,λ为一常数因子。单应性矩阵H把标靶上的点与图像上的点联系起来,因此,通过拍摄多幅(至少两幅)不同角度的标靶图像可以计算出多个单应性矩阵,继而利用H矩阵和R矩阵的正交性就可以计算出相机的内外部参数。
S4、根据摄像机的内外参数计算摄像机坐标系与虚拟坐标系之间的旋转矩阵;
在本实施例中,本发明根据步骤S3标定得到的摄像机的旋转矩阵,计算世界坐标系的Xw、Yw和Zw轴与转动过程中摄像机的相机坐标系Xc、Yc和Zc轴之间的旋转角,根据虚拟坐标系与世界坐标系之间的关系,期望在摄像机转动过程中,只存在绕Yp(Xw)轴转动的转动角,绕其余两个轴转动的转动角为0,从而计算得到摄像机坐标系与虚拟坐标系之间的旋转矩阵Rcp
S5、利用旋转矩阵将摄像机光心通过虚拟坐标系映射到世界坐标系下与标靶平面垂直且平行于标靶上边缘的虚拟平面上;
在本实施例中,本发明利用旋转矩阵将摄像机光心通过虚拟坐标系映射到世界坐标系下与标靶平面垂直且平行于标靶上边缘的虚拟平面上,具体为:
根据摄像机坐标系与虚拟坐标系之间的关系,利用旋转矩阵将摄像机光心通过虚拟坐标系映射到世界坐标系的Ow-YwZw平面上。
在摄像机标定过程中,为了在多次标定时提供固定的世界坐标系,本发明保持标靶不动,通过旋转摄像机以改变摄像机与标靶之间的旋转矩阵和平移矩阵。假定一点在摄像机坐标系Oci-XciYciZci和世界坐标系Ow-XwYwZw下的坐标分别为Mci和M,则Mci和M之间的关系由以下刚性运动方程连接:
Mci=RM+T
由于Mci已知,则可通过上式计算M的坐标:
M=R-1(Mci-T)
因为旋转矩阵R是正交矩阵,且其行列式等于1,因此RT=R-1,上式可改写为:
M=RT(Mci-T)
摄像机光心在摄像机坐标系Oci-XciYciZci中的坐标为Mci=(0,0,0),可以通过上式映射到世界坐标系Ow-XwYwZw中。
在旋转过程中,摄像机光心的运动轨迹应为转台平面上的圆弧,其中心位于旋转轴Or上。由于标靶尺寸的限制,标定时转台的总转角不能过大。为了降低拟合处理的难度并提高精度,需要对不同初始位置的摄像机进行多次标定和多次平面圆拟合。如果在标定过程中,摄像机在初始位置的光轴与Zw不平行或转台平面未在垂直且平行于标靶上边缘的平面内,则拟合圆的中心不重合。因此本发明通过建立虚拟坐标系统Op-XpYpZp通过下式将摄像机的光心坐标映射到世界坐标系的Ow-YwZw平面上:
M=RcpRT(Mci-T)
其中,M表示摄像机光心在世界坐标系下的坐标,Mci表示摄像机光心在摄像机坐标系下的坐标,Rcp为一个3×3的旋转矩阵,表示摄像机坐标系与虚拟坐标系之间的旋转关系,RT表示摄像机与标靶之间的旋转矩阵,T表示摄像机与标靶之间的平移向量。
S6、对映射后的摄像机光心采用最小二乘平面圆拟合得到拟合圆心,作为转台圆心与摄像机光心对准。
在本实施例中,本发明对映射后的摄像机光心采用最小二乘平面圆拟合得到拟合圆心具体为:
重复步骤S3至S5得到多个映射到虚拟坐标系中虚拟平面上的摄像机光心二维坐标(yi,zi),再采用最小二乘平面圆对多个摄像机光心坐标进行拟合,得到拟合圆心(y0,z0)。
本发明通过建立虚拟坐标系统,实现用平面圆拟合法拟合圆心,圆心即为转台的中心,如图6所示。为了便于调整摄像机的光心通过转台中心,本发明设定c1c2⊥c1c3,c1c2∥OwZw,c1c3∥OwYw
本发明采用最小二乘圆(LSC)拟合计算投影在Ow-YwZw平面上的圆的中心的目标函数为:
Figure BDA0002610871570000141
其中,N表示摄像机的旋转次数,R表示拟合圆的半径。
由于目标尺寸和摄像机视场的限制,当目标固定,转台以θ为增量旋转时,摄像机的光心在很短的圆弧上移动,因此Zw方向的校准误差会影响拟合中心的计算。为了提高中心位置的计算精度,本发明的对准方法还包括:
重复步骤S3至S6得到多个拟合圆心Ori,再对多个拟合圆心Ori求平均值
Figure BDA0002610871570000147
作为转台圆心与摄像机光心对准。
本发明将摄像机放置在转台上的不同位置,进行多次标定,得到多个拟合圆心Ori,对Ori平均得到初始的转台中心位置
Figure BDA0002610871570000142
当摄像机移动时,拟合圆的半径会变化,但圆心应该相同。然而,实际拟合中存在误差,为了减小误差,我们将摄像机调整到
Figure BDA0002610871570000143
的位置,再次标定摄像机,以获得一组新的光心位置O'r,对O'r平均即得到最终的转台中心位置Or
优选地,为了进一步减小误差,提高转台圆心的计算精度,本发明的对准方法还包括:
调整摄像机光心对准转台圆心
Figure BDA0002610871570000144
再次重复步骤S3至S6得到多个拟合圆心,对多个拟合圆心求平均值得到多个新的转台圆心
Figure BDA0002610871570000145
对多个新的转台圆心
Figure BDA0002610871570000146
求平均值Or,作为转台圆心与摄像机光心对准。
下面本发明采用实验验证对本发明的对准方法效果进行说明。
本发明构建的旋转光学测量系统中旋转控制系统由摄像机(型号:Bamme TXG50;分辨率:1032×1384pixels)、两个平移台(Zolix TSA50-C电动平移台,复位精度小于5μ;PI-M406,设计分辨率为0.078μm)和一个转台(Zolix RAP200电动旋转台,重复定位精度小于0.005°)。将平移台固定在旋转台上,摄像机固定在平移台上。步进电机分别控制摄像机沿Yw轴和Zw轴的运动以及摄像机随转台的旋转。成像透镜(型号:MA1214M-MP)的焦距为16mm。实验中,镜头光圈值为f/22,相机曝光时间为1/2s,在液晶屏(Philips 226V,分辨率1920×1080像素)上显示棋盘格的间隔为14.175mm。在标定过程中,液晶显示屏保持位置不变。
在实验中,摄像机在旋转前通过平移台移动到不同的旋转起始位置,如图6所示,其中c1c2⊥c1c3,c1c2=c1c3=20mm,光学旋转测量系统的结构如图7(a)所示。从每个初始位置开始,相机以1.5度为间隔旋转16次,共旋转22.5度。因此,三组标定图像共48帧通过张正友的摄像机标定方法进行标定。图7(b)给出了在转台旋转期间由摄像机拍摄的一组图像。为了保证标定过程中棋盘图像的清晰,棋盘应在摄像机镜头的景深范围内,以避免离焦对标定结果的影响。实验中,标定方法的重投影像素误差为0.0386pixels,具有较高的标定精度。
由标定得到的旋转矩阵可以分别计算出世界坐标系的Xw、Yw和Zw轴与摄像机的相机坐标系Xc、Yc和Zc轴之间的旋转角γix(j)、γiy(j)和γiz(j)(i=1,2,3,j=1,2,…,16)。理论上,如果初始位置的摄像机光轴Zc与Zw轴平行,且相机的Oc-XcZc平面与Ow-YwZw平面平行,则旋转角度γiy(j)应等于转台的实际旋转角度,当摄像机绕Yc轴旋转时,旋转角度γix(j),γiz(j)均为0,如图8(a)所示。三组角度曲线在图中用不同的颜色标出,其中水平轴代表摄像机的旋转次数,记为N=16(i-1)+1~16i。而实际实验中,旋转角度γix(j)和γiz(j)在0度附近上下波动,如图8(b)中的γ'ix(j)、γ'iz(j)和γ'iy(j)所示,这意味着摄像机的Oc-XcZc平面与Ow-YwZw平面不平行或光轴Zc与Zw轴不平行。因此,相机光心的运动轨迹不在平行于平面Ow-YwZw的同心圆上。借助于虚拟坐标系Op-XpYpZp,通过旋转矩阵Rcp将摄像机光心坐标映射到世界坐标系Ow-XwYwZw。在Rcp中,三个旋转角分别为Δγix(j)=γ'ix(j)-γix(j),Δγiy(j)=γ'iy(j)-γiy(j)和Δγiz(j)=γ'iz(j)-γiz(j)。图9(a)和(b)分别显示了角度校正前三次标定得到摄像机光心投影在Ow-YwZw平面中的位置以及拟合的运动轨迹,可以看出三组拟合的圆心偏差较大,无法较为准确地定位转台中心。
利用Rcp矩阵进行角度校正之后,摄像机从任意初始位置开始旋转,计算得到的摄像机光心Oci=(xi,yi,zi)均被统一到同一个世界坐标系Ow-XwYwZw中。图10(a)和(b)分别示出了对应于不同初始位置的相机的三组光心数据以及在Ow-YwZw平面上具有不同半径的拟合同心圆弧。利用Yw和Zw方向的光心坐标,计算出摄像机c1、c2和c3的三个初始位置之间的距离为c1c2=20.1561mm和c1c3=20.0837mm,与设定距离c1c2=c1c3=20mm较为接近,距离误差分别为0.7805%和0.4185%。三组拟合结果及均方根误差(RMSE)见表1。
表1拟合结果
Figure BDA0002610871570000161
将三组拟合圆心的平均值
Figure BDA0002610871570000163
mm作为计算转台中心的初始值,为了提高转台中心的计算精度,利用平移台将摄像机分别沿Yw和Zw方向调整到
Figure BDA0002610871570000162
的位置,并重复摄像机标定16次,计算出摄像机在Ow-YwZw平面上的光心坐标,如图11所示,摄像机的光心已经集中在一个很小的区域内。对其平均得到最终的转台中心坐标Or=(-54.5912,962.0513)mm。
调整摄像机光心至旋转中心Or,在摄像机固定后,本发明设计了一组实验来验证摄像机的光心是否与旋转中心对准。通过计算图12所示的两个空间点M1、M2与相机的光心之间的夹角,可知,当摄像机的光心与转台中心重合时,摄像机随着转台的旋转,角度α应保持不变;而当摄像机的光心与旋转中心不重合时,角度会随着摄像机在转台上的旋转而改变,即α1≠α2
在实验中,选取图13所示的棋盘格平面上不同位置的四组点来计算角度αk(k=1~4)。点对分别用“○”,“Δ”,“◇”,“□”标识在棋盘格图像上。当摄像机在共轴条件下旋转时,计算每组16个夹角αk(j)(j=1,2,...,16),四条角度曲线如图14(a)所示,其中横坐标为旋转次数(Times of rotation),纵坐标为夹角的度数(Angle)。四组角度的方差分别为1.7936×10-4度、1.1952×10-4度、1.3725×10-4度和1.1376×10-4度,分别对应圆形(circle)、三角形(triangle)、菱形(diamond)和方形点(square)。四条角度差曲线如图14(b)所示。然后将摄像机光心移至偏离转台中心的位置,计算出的角度曲线如图14(c)所示,四条角度差曲线如图14(d)所示。四组角度的方差分别为0.0018度、0.0043度、0.0018度和0.0032度,分别对应圆形、三角形、菱形和方形点。由图14可以看出,摄像机光心与转台中心偏离时角度的计算方差约为重合时角度方差的10倍,重合时四组点的角度αk基本保持不变,符合摄像机光心与转台的旋转轴中心重合的要求。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,包括以下步骤:
S1、构建旋转光学测量系统;
S2、基于旋转光学测量系统建立用于转台中心和摄像机光心对准的虚拟坐标系;
S3、对旋转光学测量系统的摄像机标定得到摄像机的内外参数,并计算摄像机光心在世界坐标系下的位置坐标;
S4、根据摄像机的内外参数计算摄像机坐标系与虚拟坐标系之间的旋转矩阵;
S5、利用旋转矩阵将摄像机光心通过虚拟坐标系映射到世界坐标系下与标靶平面垂直且平行于标靶上边缘的虚拟平面上;
S6、对映射后的摄像机光心采用最小二乘平面圆拟合得到拟合圆心,作为转台中心与摄像机光心对准。
2.根据权利要求1所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述步骤S1构建的旋转光学测量系统具体包括:
一旋转台、由两个相互垂直的平移台组成并设置在所述旋转台上的伺服控制单元、一设置在所述伺服控制单元上的摄像机、一设置在所述摄像机前方的棋盘格标靶以及一执行对准方法的处理单元。
3.根据权利要求1或2所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述步骤S2基于旋转光学测量系统建立用于转台中心和摄像机光心对准的虚拟坐标系具体为:
基于步骤S1构建的旋转光学测量系统中棋盘格标靶所处的世界坐标系建立用于转台中心和摄像机光心对准的虚拟坐标系,所述虚拟坐标系的原点设置于摄像机光心,所述虚拟坐标系的Xp轴与世界坐标系的Yw轴平行且同向设置,所述虚拟坐标系的Yp轴与世界坐标系的Xw轴平行且同向设置,所述虚拟坐标系的Zp轴与世界坐标系的Zw轴平行且反向设置。
4.根据权利要求3所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述步骤S3对旋转光学测量系统的摄像机进行标定,得到摄像机的内外参数具体为:
利用步骤S1构建的旋转光学测量系统中的摄像机拍摄多幅不同角度的标靶图像;
根据小孔成像模型,对标靶图像采用张氏标定方法计算多个单应性矩阵;
利用单应性矩阵计算摄像机的内外参数,并计算摄像机光心在世界坐标系中的位置坐标;
其中摄像机的内部参数包括摄像机内部参数矩阵,摄像机的外部参数包括旋转矩阵和平移向量。
5.根据权利要求4所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述步骤S5利用旋转矩阵将摄像机光心通过虚拟坐标系映射到世界坐标系下与标靶平面垂直且平行于标靶上边缘的虚拟平面上,具体为:
根据摄像机坐标系与虚拟坐标系之间的关系,利用旋转矩阵将摄像机光心通过虚拟坐标系映射到世界坐标系的Ow-YwZw平面上。
6.根据权利要求5所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述映射的关系式为:
M=RcpRT(Mci-T)
其中,M表示摄像机光心在世界坐标系的Ow-YwZw平面上的坐标,Mci表示摄像机光心在摄像机坐标系下的坐标,Rcp表示摄像机坐标系与虚拟坐标系之间的旋转矩阵,RT表示摄像机与标靶之间的旋转矩阵,T表示摄像机与标靶之间的平移向量。
7.根据权利要求6所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述步骤S6中对映射后的摄像机光心采用最小二乘平面圆拟合得到拟合圆心具体为:
重复步骤S3至S5,利用虚拟坐标系得到多个映射到世界坐标系的Ow-YwZw平面上的摄像机光心二维坐标(yi,zi),再采用最小二乘平面圆对多个摄像机光心坐标进行拟合,得到拟合圆心(y0,z0)。
8.根据权利要求7所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述拟合过程的目标函数Ci设定为:
Figure FDA0002610871560000031
其中,N表示摄像机的旋转次数,R表示拟合圆的半径。
9.根据权利要求8所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述对准方法还包括:
重复步骤S3至S6得到多个拟合圆心Ori,再对多个拟合圆心Ori求平均值
Figure FDA0002610871560000032
作为转台中心与摄像机光心对准。
10.根据权利要求9所述的虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法,其特征在于,所述对准方法还包括:
调整摄像机光心对准转台中心
Figure FDA0002610871560000041
再次重复步骤S3至S5得到多个摄像机光心坐标
Figure FDA0002610871560000042
对多个摄像机光心坐标求平均值得到新的转台中心Or,作为转台中心与摄像机光心对准。
CN202010753817.1A 2020-07-30 2020-07-30 虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法 Active CN111896221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010753817.1A CN111896221B (zh) 2020-07-30 2020-07-30 虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010753817.1A CN111896221B (zh) 2020-07-30 2020-07-30 虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法

Publications (2)

Publication Number Publication Date
CN111896221A true CN111896221A (zh) 2020-11-06
CN111896221B CN111896221B (zh) 2021-08-17

Family

ID=73184066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010753817.1A Active CN111896221B (zh) 2020-07-30 2020-07-30 虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法

Country Status (1)

Country Link
CN (1) CN111896221B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112631200A (zh) * 2020-12-02 2021-04-09 深圳数马电子技术有限公司 一种机床轴线测量方法以及装置
CN112763193A (zh) * 2021-01-07 2021-05-07 上海浩创亘永科技有限公司 Ccd模组检测装置及ccd模组检测方法
CN112884829A (zh) * 2020-12-17 2021-06-01 深圳市高创自动化技术有限公司 一种世界坐标映射到实时图像中的图形化辅助方式
CN113345029A (zh) * 2021-06-17 2021-09-03 合肥工业大学 一种光学偏折三维测量中的大视场参考平面标定方法
CN113379688A (zh) * 2021-05-28 2021-09-10 慕贝尔汽车部件(太仓)有限公司 一种基于影像识别的稳定杆孔偏检测方法和系统
CN113487677A (zh) * 2021-06-07 2021-10-08 电子科技大学长三角研究院(衢州) 一种基于任意分布式配置的多ptz相机的室外中远距场景标定方法
CN114964024A (zh) * 2022-07-27 2022-08-30 承德建龙特殊钢有限公司 一种钢管测量装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1474161A (zh) * 2003-08-12 2004-02-11 西北大学 确定三维物体表面坐标和颜色的方法及装置
CN101072332A (zh) * 2007-06-04 2007-11-14 深圳市融合视讯科技有限公司 一种自动跟踪活动目标进行拍摄的方法
CN101329165A (zh) * 2008-07-18 2008-12-24 西安交通大学 基于双旋转激光平面发射机网络的空间定位方法
WO2011071948A2 (en) * 2009-12-07 2011-06-16 Cognitech, Inc. System and method for determining geo-location(s) in images
CN103034330A (zh) * 2012-12-06 2013-04-10 中国科学院计算技术研究所 一种用于视频会议的眼神交互方法及系统
CN109923500A (zh) * 2016-08-22 2019-06-21 奇跃公司 具有深度学习传感器的增强现实显示装置
WO2019203189A1 (ja) * 2018-04-17 2019-10-24 ソニー株式会社 プログラム、情報処理装置、及び情報処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1474161A (zh) * 2003-08-12 2004-02-11 西北大学 确定三维物体表面坐标和颜色的方法及装置
CN101072332A (zh) * 2007-06-04 2007-11-14 深圳市融合视讯科技有限公司 一种自动跟踪活动目标进行拍摄的方法
CN101329165A (zh) * 2008-07-18 2008-12-24 西安交通大学 基于双旋转激光平面发射机网络的空间定位方法
WO2011071948A2 (en) * 2009-12-07 2011-06-16 Cognitech, Inc. System and method for determining geo-location(s) in images
CN103034330A (zh) * 2012-12-06 2013-04-10 中国科学院计算技术研究所 一种用于视频会议的眼神交互方法及系统
CN109923500A (zh) * 2016-08-22 2019-06-21 奇跃公司 具有深度学习传感器的增强现实显示装置
WO2019203189A1 (ja) * 2018-04-17 2019-10-24 ソニー株式会社 プログラム、情報処理装置、及び情報処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PING CHEN等: "Rotation axis calibration of a turntable using constrained global optimization", 《OPTIK》 *
侯艳丽等: "光学测量系统中相机主点与转台轴线的对中方法", 《中国激光》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112631200A (zh) * 2020-12-02 2021-04-09 深圳数马电子技术有限公司 一种机床轴线测量方法以及装置
CN112884829A (zh) * 2020-12-17 2021-06-01 深圳市高创自动化技术有限公司 一种世界坐标映射到实时图像中的图形化辅助方式
CN112763193A (zh) * 2021-01-07 2021-05-07 上海浩创亘永科技有限公司 Ccd模组检测装置及ccd模组检测方法
CN113379688A (zh) * 2021-05-28 2021-09-10 慕贝尔汽车部件(太仓)有限公司 一种基于影像识别的稳定杆孔偏检测方法和系统
CN113379688B (zh) * 2021-05-28 2023-12-08 慕贝尔汽车部件(太仓)有限公司 一种基于影像识别的稳定杆孔偏检测方法和系统
CN113487677A (zh) * 2021-06-07 2021-10-08 电子科技大学长三角研究院(衢州) 一种基于任意分布式配置的多ptz相机的室外中远距场景标定方法
CN113487677B (zh) * 2021-06-07 2024-04-12 电子科技大学长三角研究院(衢州) 一种基于任意分布式配置的多ptz相机的室外中远距场景标定方法
CN113345029A (zh) * 2021-06-17 2021-09-03 合肥工业大学 一种光学偏折三维测量中的大视场参考平面标定方法
CN113345029B (zh) * 2021-06-17 2022-08-02 合肥工业大学 一种光学偏折三维测量中的大视场参考平面标定方法
CN114964024A (zh) * 2022-07-27 2022-08-30 承德建龙特殊钢有限公司 一种钢管测量装置

Also Published As

Publication number Publication date
CN111896221B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN111896221B (zh) 虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法
CN108921901B (zh) 一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法
CN111536902B (zh) 一种基于双棋盘格的振镜扫描系统标定方法
CN102364299B (zh) 一种多个结构光投影三维型面测量头的标定技术
Zhang et al. A universal and flexible theodolite-camera system for making accurate measurements over large volumes
CN105931222B (zh) 用低精度二维平面靶标实现高精度相机标定的方法
EP1378790A2 (en) Method and device for correcting lens aberrations in a stereo camera system with zoom
CN106056620B (zh) 线激光相机测量系统标定方法
CN109242915A (zh) 基于多面立体靶标的多相机系统标定方法
CN109238235B (zh) 单目序列图像实现刚体位姿参数连续性测量方法
CN111220129B (zh) 一种带旋转云台的聚焦测量方法及终端
CN109916304B (zh) 镜面/类镜面物体三维测量系统标定方法
CN110505468B (zh) 一种增强现实显示设备的测试标定及偏差修正方法
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN104807405B (zh) 一种基于光线角度标定的三维坐标测量方法
CN114705122A (zh) 一种大视场立体视觉标定方法
CN113781579B (zh) 一种全景红外相机几何标定方法
CN110766763A (zh) 一种基于消失点运算的相机标定法
CN116740187A (zh) 一种无重叠视场多相机联合标定方法
CN112082511A (zh) 一种基于转台的大物体快速标定测量方法
CN117611684A (zh) 一种用于双棱镜虚拟双目视觉系统的结构参数优化标定方法
CN113763480B (zh) 一种多镜头全景摄像机组合标定方法
CN108955642B (zh) 一种大幅面等效中心投影影像无缝拼接方法
CN111754584A (zh) 一种远距离大视场相机参数标定系统和方法
CN109682312B (zh) 一种基于摄像头测量长度的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant