CN113724337A - 一种无需依赖云台角度的相机动态外参标定方法及装置 - Google Patents

一种无需依赖云台角度的相机动态外参标定方法及装置 Download PDF

Info

Publication number
CN113724337A
CN113724337A CN202111007629.5A CN202111007629A CN113724337A CN 113724337 A CN113724337 A CN 113724337A CN 202111007629 A CN202111007629 A CN 202111007629A CN 113724337 A CN113724337 A CN 113724337A
Authority
CN
China
Prior art keywords
camera
angle
control point
formula
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111007629.5A
Other languages
English (en)
Other versions
CN113724337B (zh
Inventor
张进
熊潇楠
尚青
夏豪杰
李维诗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202111007629.5A priority Critical patent/CN113724337B/zh
Publication of CN113724337A publication Critical patent/CN113724337A/zh
Application granted granted Critical
Publication of CN113724337B publication Critical patent/CN113724337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及无需依赖云台角度的相机动态外参标定方法,包括:获取左、右相机的初始内参和初始外参;获取控制点P的三维坐标;转动左相机,控制点P在图像上的坐标发生偏移,得到相机图像坐标偏移量;建立观测方程,通过相机的初始角度计算得到第一观测矩阵;计算得到相机旋转角度;将相机旋转角度与旋转前角度相加得到相机当前角度,实现相机外参标定和相机的实时动态外参标定;完成左相机的动态外参标定,再完成右相机的动态外参标定。本发明还公开了一种无需依赖云台角度的相机动态外参标定装置。本发明是根据实际控制点P在图像上的偏移对相机外参进行计算,成本更低,仅需在三维空间中布置一个控制点即可完成测量,实现过程较为简单方便。

Description

一种无需依赖云台角度的相机动态外参标定方法及装置
技术领域
本发明涉及机器视觉技术领域,尤其是一种无需依赖云台角度的相机动态外参标定方法及装置。
背景技术
固定式双目立体视觉测量方法广泛的应用在机器人、无人机等领域,但由于其视场有限对于运动目标超出相机视场的特殊情况,采用固定式的相机云台无法满足相应的视觉检测要求。而运动云台相机具有视角可变的特点,能够获取多个相机姿态下的场景图像,扩大了目标的视觉跟踪范围,从而能够实现目标的跟踪与测量。
理想云台相机模型下,云台坐标系与相机坐标完全重合可通过云台的旋转角度直接获取相机的外参。但是实际情况下主要有两大难点:一、相机的光心难以确定,不能完全保证相机中心与云台中心完全重合。二、云台旋转两轴无法完全正交。
目前云台相机标定的方法主要分为两种,第一种是建立准同心云台相机模型来进行外参标定,在[苑云,朱肇昆,张小虎,等.准同心广义经纬相机的成像模型及高精度标定[J].光学学报,2012(07):176-187.]中,宛云等人提出将相机安装在离旋转平台中心尽可能接近,从而忽略了相机与经纬仪中心的距离,采用了线性求解及平差优化相机参数的方法,该标定结果具有较高精度。第二种是建立非理想云台相机模型,求解相机相机坐标系与云台坐标系的转换关系,在[[1]顾国华,王佳节,陈钱,等.二维旋转平台下的相机参数标定[J].光学精密工程,2017,025(007):1890-1899.]中,顾国华等人提出通过一对坐标系的变换与逆变换,将相机的旋转平移变换关系转换为二维旋转平台纯旋转关系;然后,借助旋转平台读数以及相机到旋转平台的固定变换关系,实现相机内参的精确标定以及任意位置间相机外参的相互转换;最后,利用标定出的相机与旋转平台间变换矩阵实现不同位置相机参数的转换。上述两种方法都需要高精度云台来保证标定的准确度。
发明内容
本发明的首要目的在于提供一种能够解决云台相机的外参标定问题,且不依赖有角度读数的云台,标定过程快速、简单,标定结果精度高的无需依赖云台角度的相机动态外参标定方法。
为实现上述目的,本发明采用了以下技术方案:一种无需依赖云台角度的相机动态外参标定方法,该方法包括下列顺序的步骤:
(1)采用张正友相机标定方法分别对左相机、右相机进行标定,分别获取左相机的初始内参K1和初始外参R1、T1,右相机的初始内参K2和初始外参R2、T2;所述初始内参用于反映相机坐标系到图像坐标系之间的转换关系,所述初始外参用于反映相机坐标系到世界坐标系之间的转换关系;
(2)在左相机、右相机的公共视场内布置一个控制点P,通过左相机、右相机实现三维重建,获取控制点P的三维坐标(X、Y、Z);
(3)转动固定在左二轴云台上的左相机,控制点P在图像上的坐标发生偏移,将旋转后的图像坐标减去旋转前的图像坐标得到相机图像坐标偏移量(dx、dy);根据相机图像坐标偏移量(dx、dy)与相机旋转角度之间的关系建立观测方程,通过相机的初始角度(0,0)计算得到第一观测矩阵H1
(4)将相机图像坐标偏移量(dx,dy)作为观测值,相机k-1时刻旋转过角度作为状态量分别输入卡尔曼滤波公式计算,计算得到相机旋转角度;
(5)将相机旋转角度与旋转前角度相加得到相机当前角度,实现相机外参标定;根据相机当前角度计算得到第二观测矩阵H2;当相机继续转动时,将得到的第二观测矩阵H2用于下一次卡尔曼滤波公式计算,重复步骤(4)至步骤(5),实现相机的实时动态外参标定;
按步骤(3)至步骤(5)的操作单独完成左相机的动态外参标定,再按步骤(3)至步骤(5)的操作单独完成右相机的动态外参标定。
在步骤(1)中,根据张正友标定法得到分别得到左相机、右相机旋转前的初始内参和初始外参;左相机、右相机的内参和外参表达式一致,以左相机初始内参和外参为例:
Figure BDA0003237570190000021
式中,K1为左相机的初始内参,反映相机坐标系OL-XCYCZC到图像坐标系IL-uv之间的转换关系,其中fx和fy为行列方向上的等效焦距,而(u1,v1)为相机主点;
Figure BDA0003237570190000031
式中,R1,T1为左相机初始外参,分别表示旋转前相机相对于世界坐标系的旋转矩阵和平移矩阵。
在步骤(2)中,在空间中布置一个控制点P,则控制点P的世界坐标到到图像坐标的转换有:
Figure BDA0003237570190000032
Figure BDA0003237570190000033
其中,ZL、ZR分别为左相机和右相机的比例因子,ML为左相机内参与外参的乘积,MR为右相机内参与外参的乘积,(X,Y,Z)为控制点P的世界坐标;(uL,vL)和(uR,vR)分别为控制点P在左相机、右相机上的图像坐标;
由公式(3)、(4)推导出:
Figure BDA0003237570190000034
根据最小二乘法求解(5)中的X,Y,Z得到控制点P的世界坐标。
在步骤(3)中,左二轴云台进行俯仰与偏航运动,旋转过程中控制点P的世界坐标不变;建立出云台旋转后,控制点P从世界坐标(X,Y,Z)与到左相机的相机坐标(XC,YC,ZC)的转换:
Figure BDA0003237570190000035
式中,θ,λ分别作为相机绕Pan轴、Tilt轴的旋转角度,Rθ、Rλ分别为对应的旋转矩阵,[R1,T1]为左相机初始外参;对两边求微分,得到相机旋转使角度发生微小变化时对控制点P的相机坐标的影响:
Figure BDA0003237570190000041
式中,Pw为P点的三维坐标(X,Y,Z);
控制点P的相机坐标到图像坐标的变换如下:
Figure BDA0003237570190000042
式中,ZC为比例因子,当控制点P的相机坐标有微小变换时,对控制点P的图像坐标影响为:
Figure BDA0003237570190000043
根据公式(7)和公式(9)得到卡尔曼滤波的初始观测矩阵H1
Figure BDA0003237570190000044
在步骤(4)中将控制点P在图像上的偏移dx,dy作为卡尔曼滤波的观测值Zk,初始角度为[0,0]T作为状态量
Figure BDA0003237570190000045
同时输入到卡尔曼滤波公式中,通过卡尔曼滤波公式得到相机的旋转角度;
卡尔曼滤波分为:
卡尔曼预测:根据上一时刻k-1时刻的后验估计值来估计当前时刻k时刻的状态,得到k时刻的先验估计值,公式如下:
Figure BDA0003237570190000046
Figure BDA0003237570190000047
式中
Figure BDA0003237570190000048
表示k-1时刻的后验状态估计值,
Figure BDA0003237570190000049
表示k时刻的先验状态估计值,是滤波的中间计算结果,即根据上一时刻k-1时刻的最优估计预测的k时刻的结果,是预测方程的结果;A为状态转移矩阵,设置为[1 1]T;Q为过程激励噪声协方差,Pk -为k时刻的先验估计协方差;
卡尔曼更新:使用当前时刻的测量值来更正预测阶段估计值,得到当前时刻的后验估计值,公式如下:
卡尔曼增益
Figure BDA00032375701900000410
状态更新
Figure BDA0003237570190000051
协方差更新
Figure BDA0003237570190000052
式中,Kk表示k时刻的卡尔曼增益,Pk表示k时刻的后验估计协方差。H1为第一观测矩阵,R为测量噪声协方差,I为单位矩阵,
Figure BDA0003237570190000053
为k时刻的后验状态估计值。
在步骤(5)中,根据步骤(4)得到相机k时刻的旋转角度加上旋转前的角度得到k时刻相机当前角度θk,λk,而相机当前角度用于更新k+1时刻的观测矩阵即第二观测矩阵H2
Figure BDA0003237570190000054
式中,
Figure BDA0003237570190000055
Figure BDA0003237570190000056
分别为左相机k时刻在俯仰和偏航两个方向上角度θk、λk的旋转矩阵。
本发明的另一目的在于提供一种无需依赖云台角度的相机动态外参标定方法的装置,该装置包括:
左相机,用于获取目标图片并得到目标在左相机图像上的像素坐标;
右相机,用于获取目标图片并得到目标在右相机图像上的像素坐标;
左二轴云台,用于搭载左相机使左相机能进行俯仰和偏航两个方向的运动;
右二轴云台,用于搭载右相机使右相机能进行俯仰和偏航两个方向的运动;
左右两相机公共视场,是左右两相机视场重合的地方,处于左右两相机公共视场的目标能分别成像在左右两相机上;
控制点P,在空间中布置的一点,用于对左右两相机外参标定;
左相机、右相机分别搭载在左二轴云台、右二轴云台上,左二轴云台和右二轴云台控制左相机、右相机的运动,控制点布置在左相机、右相机的公共视场内,控制点能被左相机、右相机同时获取。
由上述技术方案可知,本发明的有益效果为:第一,本发明是根据实际控制点P在图像上的偏移对相机外参进行计算,不考虑云台与相机坐标之间重合问题;第二,本发明由于不依赖有读数的二轴云台即可获得相机的外参,比依赖高精度云台测量方案的成本更低,仅需在三维空间中布置一个控制点即可完成测量,实现过程较为简单方便;第三,固定式立体视觉的测量范围为两相机的公共视场,仅有约3X3m的测量视场;而本发明可将相机围绕控制点P转动进行测量,测量范围约为5.6x5.6m,接近为原来视场的3.5倍,可以在空间内布置多个控制点,然后通过空间中的多个控制点来进行外参标定,这样可以进一步提高相机测量视场。
附图说明
图1为本发明关于转台视觉系统中二轴转台和相机测量单个控制点的模型图;
图2为立体视觉测量原理图;
图3为相机转动原理图;
图4为本发明的方法流程图;
图5、6均为本发明与传统方案分别左右相机上的重投影误差比较示意图。
具体实施方式
如图4所示,一种无需依赖云台角度的相机动态外参标定方法,该方法包括下列顺序的步骤:
(1)采用张正友相机标定方法分别对左相机1、右相机3进行标定,分别获取左相机1的初始内参K1和初始外参R1、T1,右相机3的初始内参K2和初始外参R2、T2;所述初始内参用于反映相机坐标系8到图像坐标系9之间的转换关系,所述初始外参用于反映相机坐标系8到世界坐标系7之间的转换关系;
(2)在左相机1、右相机3的公共视场内布置一个控制点P,通过左相机1、右相机3实现三维重建,获取控制点P的三维坐标(X、Y、Z);
(3)转动固定在左二轴云台2上的左相机1,控制点P在图像上的坐标发生偏移,将旋转后的图像坐标减去旋转前的图像坐标得到相机图像坐标偏移量(dx、dy);根据相机图像坐标偏移量(dx、dy)与相机旋转角度之间的关系建立观测方程,通过相机的初始角度(0,0)计算得到第一观测矩阵H1
(4)将相机图像坐标偏移量(dx,dy)作为观测值,相机k-1时刻旋转过角度作为状态量分别输入卡尔曼滤波公式计算,计算得到相机旋转角度;
(5)将相机旋转角度与旋转前角度相加得到相机当前角度,实现相机外参标定;根据相机当前角度计算得到第二观测矩阵H2;当相机继续转动时,将得到的第二观测矩阵H2用于下一次卡尔曼滤波公式计算,重复步骤(4)至步骤(5),实现相机的实时动态外参标定;
按步骤(3)至步骤(5)的操作单独完成左相机1的动态外参标定,再按步骤(3)至步骤(5)的操作单独完成右相机3的动态外参标定。
在步骤(1)中,根据张正友标定法得到分别得到左相机1、右相机3旋转前的初始内参和初始外参;左相机1、右相机3的内参和外参表达式一致,以左相机1初始内参和外参为例:
Figure BDA0003237570190000071
式中,K1为左相机1的初始内参,反映相机坐标系8OL-XCYCZC到图像坐标系9IL-uv之间的转换关系,其中fx和fy为行列方向上的等效焦距,而(u1,v1)为相机主点;
Figure BDA0003237570190000072
式中,R1,T1为左相机1初始外参,分别表示旋转前相机相对于世界坐标系7的旋转矩阵和平移矩阵。
在步骤(2)中,在空间中布置一个控制点P,则控制点P的世界坐标到到图像坐标的转换有:
Figure BDA0003237570190000073
Figure BDA0003237570190000074
其中,ZL、ZR分别为左相机1和右相机3的比例因子,ML为左相机1内参与外参的乘积,MR为右相机3内参与外参的乘积,(X,Y,Z)为控制点P的世界坐标;(uL,vL)和(uR,vR)分别为控制点P在左相机1、右相机3上的图像坐标;
由公式(3)、(4)推导出:
Figure BDA0003237570190000081
根据最小二乘法求解(5)中的X,Y,Z得到控制点P的世界坐标。
在步骤(3)中,左二轴云台2进行俯仰与偏航运动,旋转过程中控制点P的世界坐标不变;建立出云台旋转后,控制点P从世界坐标(X,Y,Z)与到左相机1的相机坐标(XC,YC,ZC)的转换:
Figure BDA0003237570190000082
式中,θ,λ分别作为相机绕Pan轴、Tilt轴的旋转角度,Rθ、Rλ分别为对应的旋转矩阵,[R1,T1]为左相机1初始外参;对两边求微分,得到相机旋转使角度发生微小变化时对控制点P的相机坐标的影响:
Figure BDA0003237570190000083
式中,Pw为P点的三维坐标(X,Y,Z);
控制点P的相机坐标到图像坐标的变换如下:
Figure BDA0003237570190000084
式中,ZC为比例因子,当控制点P的相机坐标有微小变换时,对控制点P的图像坐标影响为:
Figure BDA0003237570190000085
根据公式(7)和公式(9)得到卡尔曼滤波的初始观测矩阵H1
Figure BDA0003237570190000086
在步骤(4)中将控制点P在图像上的偏移dx,dy作为卡尔曼滤波的观测值Zk,初始角度为[0,0]T作为状态量
Figure BDA0003237570190000091
同时输入到卡尔曼滤波公式中,通过卡尔曼滤波公式得到相机的旋转角度;
卡尔曼滤波分为:
卡尔曼预测:根据上一时刻k-1时刻的后验估计值来估计当前时刻k时刻的状态,得到k时刻的先验估计值,公式如下:
Figure BDA0003237570190000092
Figure BDA0003237570190000093
式中
Figure BDA0003237570190000094
表示k-1时刻的后验状态估计值,
Figure BDA0003237570190000095
表示k时刻的先验状态估计值,是滤波的中间计算结果,即根据上一时刻k-1时刻的最优估计预测的k时刻的结果,是预测方程的结果;A为状态转移矩阵,设置为[1 1]T;Q为过程激励噪声协方差,
Figure BDA00032375701900000911
为k时刻的先验估计协方差;
卡尔曼更新:使用当前时刻的测量值来更正预测阶段估计值,得到当前时刻的后验估计值,公式如下:
卡尔曼增益
Figure BDA0003237570190000096
状态更新
Figure BDA0003237570190000097
协方差更新
Figure BDA0003237570190000098
式中,Kk表示k时刻的卡尔曼增益,Pk表示k时刻的后验估计协方差。H1为第一观测矩阵,R为测量噪声协方差,I为单位矩阵,
Figure BDA0003237570190000099
为k时刻的后验状态估计值。
在步骤(5)中,根据步骤(4)得到相机k时刻的旋转角度加上旋转前的角度得到k时刻相机当前角度θk,λk,而相机当前角度用于更新k+1时刻的观测矩阵即第二观测矩阵H2
Figure BDA00032375701900000910
式中,
Figure BDA00032375701900000912
Figure BDA00032375701900000913
分别为左相机1k时刻在俯仰和偏航两个方向上角度θk、λk的旋转矩阵。
如图1所示,本装置包括:
左相机1,用于获取目标图片并得到目标在左相机1图像上的像素坐标;
右相机3,用于获取目标图片并得到目标在右相机3图像上的像素坐标;
左二轴云台2,用于搭载左相机1使左相机1能进行俯仰和偏航两个方向的运动;
右二轴云台4,用于搭载右相机3使右相机3能进行俯仰和偏航两个方向的运动;
左右两相机公共视场5,是左右两相机视场重合的地方,处于左右两相机公共视场5的目标能分别成像在左右两相机上;
控制点P,在空间中布置的一点,用于对左右两相机外参标定;
左相机1、右相机3分别搭载在左二轴云台2、右二轴云台4上,左二轴云台2和右二轴云台4控制左相机1、右相机3的运动,控制点布置在左相机1、右相机3的公共视场内,控制点能被左相机1、右相机3同时获取。
如图1所示,将左相机1、右相机3分别放置在左二轴云台2、右二轴云台4上,通过控制左二轴云台2、右二轴云台4可使左相机1、右相机3进行俯仰(绕Pan轴旋转)与偏航(绕Tilt轴旋转)运动。在左相机1、右相机3的视场范围内布置一个靶标,通过hough圆检测的方法可检测到靶标的圆,从而提取出圆心,该圆心为后面进行实验的控制点P,在图1中,控制点P即附图标记6。
如图2所示,控制点P发出的光线经过左相机1、右相机3的光心,并分别成像在左相机1、右相机3的成像平面上。在该过程中主要涉及三种坐标系,控制点P所在的世界坐标系7(X,Y,Z)不随相机转动而变化,分别以左相机1、右相机3光心为坐标系原点建立的相机坐标系8OL-XCYCZC,OR-XC1YC1ZC1,以左相机1、右相机3所在的成像平面建立的图像坐标系9IL-uv,IR-u1v1
如图3所示,以左相机1为例,左相机1旋转时,控制点P不动。控制点P在图像坐标系9的坐标会发生变换,为了直观的显示控制点P在图像坐标上的变化,故只显示一个成像平面。控制点P在图像坐标的横向偏移量为dx,纵向偏移量为dy。
图5为左相机1在不同角度下通过传统方法和本方法计算出的重投影误差,总共25组数据,均能反映出本发明重投影误差小于传统方法的重投影误差。传统方法是指直接根据云台角度计算相机外参,然后根据相机外参得到重投影误差。
图6为右相机3在不同角度下通过传统方法(直接根据云台角度计算相机外参,然后根据相机外参得到重投影误差)和本方法提出的计算出的重投影误差,总共25组数据,除第二点误差较大,其他点均能反映出本方法重投影误差小于传统方法的重投影误差。传统方法是指直接根据云台角度计算相机外参,然后根据相机外参得到重投影误差。
综上所述,本发明是根据实际控制点P在图像上的偏移对相机外参进行计算,不考虑云台与相机坐标之间重合问题;本发明由于不依赖有读数的二轴云台即可获得相机的外参,比依赖高精度云台测量方案的成本更低,仅需在三维空间中布置一个控制点即可完成测量,实现过程较为简单方便。

Claims (7)

1.一种无需依赖云台角度的相机动态外参标定方法,其特征在于:该方法包括下列顺序的步骤:
(1)采用张正友相机标定方法分别对左相机、右相机进行标定,分别获取左相机的初始内参K1和初始外参R1、T1,右相机的初始内参K2和初始外参R2、T2;所述初始内参用于反映相机坐标系到图像坐标系之间的转换关系,所述初始外参用于反映相机坐标系到世界坐标系之间的转换关系;
(2)在左相机、右相机的公共视场内布置一个控制点P,通过左相机、右相机实现三维重建,获取控制点P的三维坐标(X、Y、Z);
(3)转动固定在左二轴云台上的左相机,控制点P在图像上的坐标发生偏移,将旋转后的图像坐标减去旋转前的图像坐标得到相机图像坐标偏移量(dx、dy);根据相机图像坐标偏移量(dx、dy)与相机旋转角度之间的关系建立观测方程,通过相机的初始角度(0,0)计算得到第一观测矩阵H1
(4)将相机图像坐标偏移量(dx,dy)作为观测值,相机k-1时刻旋转过角度作为状态量分别输入卡尔曼滤波公式计算,计算得到相机旋转角度;
(5)将相机旋转角度与旋转前角度相加得到相机当前角度,实现相机外参标定;根据相机当前角度计算得到第二观测矩阵H2;当相机继续转动时,将得到的第二观测矩阵H2用于下一次卡尔曼滤波公式计算,重复步骤(4)至步骤(5),实现相机的实时动态外参标定;
按步骤(3)至步骤(5)的操作单独完成左相机的动态外参标定,再按步骤(3)至步骤(5)的操作单独完成右相机的动态外参标定。
2.根据权利要求1所述的无需依赖云台角度的相机动态外参标定方法,其特征在于:在步骤(1)中,根据张正友标定法得到分别得到左相机、右相机旋转前的初始内参和初始外参;左相机、右相机的内参和外参表达式一致,以左相机初始内参和外参为例:
Figure FDA0003237570180000011
式中,K1为左相机的初始内参,反映相机坐标系OL-XCYCZC到图像坐标系IL-uv之间的转换关系,其中fx和fy为行列方向上的等效焦距,而(u1,v1)为相机主点;
Figure FDA0003237570180000021
式中,R1,T1为左相机初始外参,分别表示旋转前相机相对于世界坐标系的旋转矩阵和平移矩阵。
3.根据权利要求1所述的无需依赖云台角度的相机动态外参标定方法,其特征在于:在步骤(2)中,在空间中布置一个控制点P,则控制点P的世界坐标到到图像坐标的转换有:
Figure FDA0003237570180000022
Figure FDA0003237570180000023
其中,ZL、ZR分别为左相机和右相机的比例因子,ML为左相机内参与外参的乘积,MR为右相机内参与外参的乘积,(X,Y,Z)为控制点P的世界坐标;(uL,vL)和(uR,vR)分别为控制点P在左相机、右相机上的图像坐标;
由公式(3)、(4)推导出:
Figure FDA0003237570180000024
根据最小二乘法求解(5)中的X,Y,Z得到控制点P的世界坐标。
4.根据权利要求1所述的无需依赖云台角度的相机动态外参标定方法,其特征在于:在步骤(3)中,左二轴云台进行俯仰与偏航运动,旋转过程中控制点P的世界坐标不变;建立出云台旋转后,控制点P从世界坐标(X,Y,Z)与到左相机的相机坐标(XC,YC,ZC)的转换:
Figure FDA0003237570180000025
式中,θ,λ分别作为相机绕Pan轴、Tilt轴的旋转角度,Rθ、Rλ分别为对应的旋转矩阵,[R1,T1]为左相机初始外参;对两边求微分,得到相机旋转使角度发生微小变化时对控制点P的相机坐标的影响:
Figure FDA0003237570180000031
式中,Pw为P点的三维坐标(X,Y,Z);
控制点P的相机坐标到图像坐标的变换如下:
Figure FDA0003237570180000032
式中,ZC为比例因子,当控制点P的相机坐标有微小变换时,对控制点P的图像坐标影响为:
Figure FDA0003237570180000033
根据公式(7)和公式(9)得到卡尔曼滤波的初始观测矩阵H1
Figure FDA0003237570180000034
5.根据权利要求1所述的无需依赖云台角度的相机动态外参标定方法,其特征在于:在步骤(4)中将控制点P在图像上的偏移dx,dy作为卡尔曼滤波的观测值Zk,初始角度为[0,0]T作为状态量
Figure FDA0003237570180000035
同时输入到卡尔曼滤波公式中,通过卡尔曼滤波公式得到相机的旋转角度;
卡尔曼滤波分为:
卡尔曼预测:根据上一时刻k-1时刻的后验估计值来估计当前时刻k时刻的状态,得到k时刻的先验估计值,公式如下:
Figure FDA0003237570180000036
Figure FDA0003237570180000037
式中
Figure FDA0003237570180000038
表示k-1时刻的后验状态估计值,
Figure FDA0003237570180000039
表示k时刻的先验状态估计值,是滤波的中间计算结果,即根据上一时刻k-1时刻的最优估计预测的k时刻的结果,是预测方程的结果;A为状态转移矩阵,设置为[1 1]T;Q为过程激励噪声协方差,
Figure FDA00032375701800000310
为k时刻的先验估计协方差;
卡尔曼更新:使用当前时刻的测量值来更正预测阶段估计值,得到当前时刻的后验估计值,公式如下:
卡尔曼增益
Figure FDA0003237570180000041
状态更新
Figure FDA0003237570180000042
协方差更新
Figure FDA0003237570180000043
式中,Kk表示k时刻的卡尔曼增益,Pk表示k时刻的后验估计协方差。H1为第一观测矩阵,R为测量噪声协方差,I为单位矩阵,
Figure FDA0003237570180000044
为k时刻的后验状态估计值。
6.根据权利要求1所述的无需依赖云台角度的相机动态外参标定方法,其特征在于:在步骤(5)中,根据步骤(4)得到相机k时刻的旋转角度加上旋转前的角度得到k时刻相机当前角度θk,λk,而相机当前角度用于更新k+1时刻的观测矩阵即第二观测矩阵H2
Figure FDA0003237570180000045
式中,
Figure FDA0003237570180000047
Figure FDA0003237570180000048
分别为左相机k时刻在俯仰和偏航两个方向上角度θk、λk的旋转矩阵。
7.实施权利要求1至6中任一项所述无需依赖云台角度的相机动态外参标定方法的装置,其特征在于:该装置包括:
左相机,用于获取目标图片并得到目标在左相机图像上的像素坐标;
右相机,用于获取目标图片并得到目标在右相机图像上的像素坐标;
左二轴云台,用于搭载左相机使左相机能进行俯仰和偏航两个方向的运动;
右二轴云台,用于搭载右相机使右相机能进行俯仰和偏航两个方向的运动;
左右两相机公共视场,是左右两相机视场重合的地方,处于左右两相机公共视场的目标能分别成像在左右两相机上;
控制点P,在空间中布置的一点,用于对左右两相机外参标定;
左相机、右相机分别搭载在左二轴云台、右二轴云台上,左二轴云台和右二轴云台控制左相机、右相机的运动,控制点布置在左相机、右相机的公共视场内,控制点能被左相机、右相机同时获取。
CN202111007629.5A 2021-08-30 2021-08-30 一种无需依赖云台角度的相机动态外参标定方法及装置 Active CN113724337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111007629.5A CN113724337B (zh) 2021-08-30 2021-08-30 一种无需依赖云台角度的相机动态外参标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111007629.5A CN113724337B (zh) 2021-08-30 2021-08-30 一种无需依赖云台角度的相机动态外参标定方法及装置

Publications (2)

Publication Number Publication Date
CN113724337A true CN113724337A (zh) 2021-11-30
CN113724337B CN113724337B (zh) 2024-02-23

Family

ID=78679355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111007629.5A Active CN113724337B (zh) 2021-08-30 2021-08-30 一种无需依赖云台角度的相机动态外参标定方法及装置

Country Status (1)

Country Link
CN (1) CN113724337B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004901A (zh) * 2022-01-04 2022-02-01 南昌虚拟现实研究院股份有限公司 多相机标定方法、装置、终端设备及可读存储介质
CN114758011A (zh) * 2022-04-13 2022-07-15 南京航空航天大学 融合离线标定结果的变焦相机在线标定方法
CN117197258A (zh) * 2023-09-21 2023-12-08 上海祎睿图像科技有限公司 一种基于分离平台的映射标定方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105652305A (zh) * 2016-01-08 2016-06-08 深圳大学 一种动态环境下轨道检测平台的三维定位定姿方法及系统
CN109242918A (zh) * 2018-11-15 2019-01-18 中国直升机设计研究所 一种直升机机载双目立体视觉标定方法
CN109272570A (zh) * 2018-08-16 2019-01-25 合肥工业大学 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN111080714A (zh) * 2019-12-13 2020-04-28 太原理工大学 一种基于三维重建的平行式双目相机标定方法
WO2020087846A1 (zh) * 2018-10-31 2020-05-07 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
AU2020103576A4 (en) * 2019-12-27 2021-02-04 Wuhan University Autonomous orbit and attitude determination method of low-orbit satellite based on non-navigation satellite signal
US20210082149A1 (en) * 2020-11-24 2021-03-18 Intel Corporation Real-time calibration of wide-baseline outside-in multi-camera systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105652305A (zh) * 2016-01-08 2016-06-08 深圳大学 一种动态环境下轨道检测平台的三维定位定姿方法及系统
CN109272570A (zh) * 2018-08-16 2019-01-25 合肥工业大学 一种基于立体视觉数学模型的空间点三维坐标求解方法
WO2020087846A1 (zh) * 2018-10-31 2020-05-07 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN109242918A (zh) * 2018-11-15 2019-01-18 中国直升机设计研究所 一种直升机机载双目立体视觉标定方法
CN111080714A (zh) * 2019-12-13 2020-04-28 太原理工大学 一种基于三维重建的平行式双目相机标定方法
AU2020103576A4 (en) * 2019-12-27 2021-02-04 Wuhan University Autonomous orbit and attitude determination method of low-orbit satellite based on non-navigation satellite signal
US20210082149A1 (en) * 2020-11-24 2021-03-18 Intel Corporation Real-time calibration of wide-baseline outside-in multi-camera systems

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
关瑞芬;杨凌辉;王丽君;刘海庆;邾继贵;: "基于正交柱面成像的空间物体位姿精密测量", 光学学报, no. 11, 31 December 2016 (2016-12-31) *
朱帆;于芳苏;吴易明;郝冲;: "P4P法相机姿态标定精度分析", 光学学报, no. 11, 15 July 2018 (2018-07-15) *
郑红;刘振强;: "基于精确模型的云台摄像机自标定", 机器人, no. 03, 15 May 2013 (2013-05-15) *
顾国华;王佳节;陈钱;钱惟贤;: "二维旋转平台下的相机参数标定", 光学精密工程, no. 07, 15 July 2017 (2017-07-15) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004901A (zh) * 2022-01-04 2022-02-01 南昌虚拟现实研究院股份有限公司 多相机标定方法、装置、终端设备及可读存储介质
CN114004901B (zh) * 2022-01-04 2022-03-18 南昌虚拟现实研究院股份有限公司 多相机标定方法、装置、终端设备及可读存储介质
CN114758011A (zh) * 2022-04-13 2022-07-15 南京航空航天大学 融合离线标定结果的变焦相机在线标定方法
CN117197258A (zh) * 2023-09-21 2023-12-08 上海祎睿图像科技有限公司 一种基于分离平台的映射标定方法和系统
CN117197258B (zh) * 2023-09-21 2024-04-05 上海祎睿图像科技有限公司 一种基于分离平台的映射标定方法和系统

Also Published As

Publication number Publication date
CN113724337B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN110057295B (zh) 一种免像控的单目视觉平面距离测量方法
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN107358631B (zh) 一种虑及三维畸变的双目视觉重建方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN111369630A (zh) 一种多线激光雷达与相机标定的方法
CN109297436B (zh) 双目线激光立体测量基准标定方法
CN104240262B (zh) 一种用于摄影测量的相机外参数标定装置及标定方法
Zhang et al. A universal and flexible theodolite-camera system for making accurate measurements over large volumes
CN108648242B (zh) 基于激光测距仪辅助无公共视场的两相机标定方法及装置
CN111220120B (zh) 一种动平台双目测距自校准方法及装置
CN111486864B (zh) 基于立体正八边结构的多源传感器联合标定方法
Yang et al. A calibration method for binocular stereo vision sensor with short-baseline based on 3D flexible control field
CN108489398A (zh) 一种广角场景下激光加单目视觉测量三维坐标的方法
WO2020199439A1 (zh) 基于单双目混合测量的三维点云计算方法
CN113793270A (zh) 一种基于无人机姿态信息的航拍图像几何校正方法
CN113781579B (zh) 一种全景红外相机几何标定方法
CN108230401A (zh) 3d四轮定位仪相机自动标定方法及系统
CN111915685B (zh) 一种变焦摄像机标定方法
CN105374067A (zh) 一种基于pal相机的三维重建方法及其重建系统
CN114705122A (zh) 一种大视场立体视觉标定方法
CN112229323A (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN111524174A (zh) 一种动平台动目标双目视觉三维构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant