CN114758011A - 融合离线标定结果的变焦相机在线标定方法 - Google Patents

Abstract

本发明公开了一种融合离线标定结果的变焦相机在线标定方法，涉及变焦相机标定技术领域，该方法根据离线标定得到的参数映射表确定待标定变焦相机在当前的焦距控制参数下的相机内参数初始值，利用相机内参数初始值对扩展卡尔曼滤波器的状态参数进行初始化，并利用完成参数初始化的所述扩展卡尔曼滤波器将所述图像数据和所述IMU测量数据进行融合、在线标定得到当前的焦距控制参数下的相机内参数在线标定值；并将在线标定的结果对应存储更新到所述参数映射表中；该方法可以有效结合离线标定的精度优势和在线标定的实时特性，使得变焦相机在变焦后的相机内参数能够较快的收敛到准确值，提高了变焦相机在线标定的精度和效率。

Description

融合离线标定结果的变焦相机在线标定方法

技术领域

本发明涉及变焦相机标定技术领域，尤其是一种融合离线标定结果的变焦相机在线标定方法。

背景技术

变焦相机通过控制控制镜头模组与成像靶面之间的距离、即相机的焦距，可以在不同焦距的条件下获取目标物体的图像，基于此特性，变焦相机通过调节光圈大小和曝光时间等参数，可以在同一测量点获取到目标多尺度和多视野角的清晰图像，使得变焦相机具有广泛的应用。

然而，对于变焦相机来说，其相机内参数将会随着焦距的改变而发生改变，精确的估计其相机内参数的变化有着重要的理论研究价值与实际应用意义。早在1994年，美国卡内基梅隆大学的RegG.Willson在Tsai固定内参数的成像模型的基础上，对变焦镜头的建模和标定方法进行了研究讨论，提出了一种对变焦距相机模型和镜头设置参数不进行任何先验知识的拟合，标定步骤较为简单但是精度无法满足实际应用需求。

在变焦相机自标定方面，Sturm提出了一种基于Kruppa方程的运动摄像机自标定方法，首先对变焦相机进行离线预校准，以确定纵横比、倾斜角度和主点坐标，作为沿相机光轴图像缩放因子的函数。然后将缩放相机的剩余相机内参数表示为遵循在预校准阶段确定的函数关系。最后使用校准网格采集不同视图的图像进行自校准。这种方法的主要缺点是离线标定阶段耗时。此外，对于更复杂的内在相机参数相互依赖模型，这种方法的应用存在不确定性。

此外，Oh和Sohn也提出了一种安装有外部变焦镜头的电荷耦合器件(CCD)摄像机的校准方法。他们使用打印在镜头变焦环上的焦距来初始化Levenberg-Marquardt(LM)算法，并使用以前变焦设置中的校准参数作为下一变焦设置校准的初始估计值，此种方法大大加速了迭代算法的收敛速度，具备较好的工程意义，但实际的标定结果精度较差，无法满足视觉测量需求。

综上所述，变焦相机的标定方法一直是研究的热门问题，现有标定方法主要以离线的多焦距标定拟合方法和基于在线主动视觉的自标定方法为主。但从目前的研究成果来看，仍存在以下几个方面的缺点：

1、对于变焦相机的离线标定方法，往往通过使用棋盘格对不同焦距下的变焦相机内参数标定，通过函数拟合方法来描述未标定区间的相机内参数值，其误差大小与函数拟合的精度密切相关，在非线性变化参数上精度较差。受限于离线标定方法的有限性和复杂性，变焦相机仍被当作多个固定焦距的相机进行使用。

2、对于变焦相机的自标定方法，其主要通过控制相机平动或者转动，结合多帧图像的特征点提取匹配，可建立多个满足小孔成像关系的投影点函数，以非线性优化的方法寻求最优的相机内参数矩阵。此种方法由于其本质上是基于固定焦距相机标定方法且要求相机需要做规则的运动，变焦相机的焦距控制参数和非线性优化模型的参数设定准确度对其标定的精度于效率影响较大，因此现有标定算法很难满足变焦相机的实际应用需求。

因此，现有的变焦相机的各种标定方法很难兼顾效率和精度，导致相机内参数随变焦镜头设置的变化带来了一系列相机参数校准挑战，这些挑战阻碍了变焦距测量的应用。

发明内容

本发明人针对上述问题及技术需求，提出了一种融合离线标定结果的变焦相机在线标定方法，本发明的技术方案如下：

一种融合离线标定结果的变焦相机在线标定方法，该方法包括：

通过待标定变焦相机在当前的焦距控制参数下获取图像数据、通过固定在待标定变焦相机上的IMU测量单元获取IMU测量数据；

根据参数映射表确定待标定变焦相机在当前的焦距控制参数下的相机内参数初始值，参数映射表包含待标定变焦相机通过离线标定得到的若干组焦距控制参数、相机内参数离线标定值以及对应的置信度之间的离散映射关系，所述置信度由相机内参数离线标定值下的特征图像的重投影均方根误差确定得到；利用相机内参数初始值对扩展卡尔曼滤波器进行参数初始化，并利用完成参数初始化的卡尔曼滤波器将图像数据和IMU测量数据进行融合、在线标定得到当前的焦距控制参数下的相机内参数在线标定值；

根据相机内参数在线标定值下的特征图像的重投影均方根误差确定当前的焦距控制参数的置信度，并将当前的焦距控制参数、相机内参数在线标定值以及对应的置信度对应存储更新到参数映射表中。

本发明的有益技术效果是：

本申请公开了一种融合离线标定结果的变焦相机在线标定方法，该方法在在线标定过程中利用离线标定结果进行相机内参数的初始化，再结合图像数据和IMU测量数据进行在线标定估计，可以有效结合离线标定的精度优势和在线标定的实时特性，使得变焦相机在变焦后的相机内参数能够较快的收敛到准确值，提高了变焦相机在线标定的精度和效率。相比于现有的在线视觉标定方法，在保证标定精度的基础上降低了在线标定耗时，增加了变焦相机在实时测量系统中的可适用性。

附图说明

图1是一个实施例中变焦相机在线标定方法的流程示意图。

图2是一个实施例中离线阶段和在线阶段对待标定变焦相机的相机内参数进行标定的方法的流程示意图。

图3是一个实例中离线标定过程中不同焦距控制参数对应的f_x的相机内参数离线标定值的离散数据点，以及拟合得到的经验拟合函数的示意图。

图4是一个实例中离线标定过程中不同焦距控制参数对应的f_y的相机内参数离线标定值的离散数据点，以及拟合得到的经验拟合函数的示意图。

图5是一个实例中离线标定过程中不同焦距控制参数对应的c_x的相机内参数离线标定值的离散数据点，以及拟合得到的经验拟合函数的示意图。

图6是一个实例中离线标定过程中不同焦距控制参数对应的c_y的相机内参数离线标定值的离散数据点，以及拟合得到的经验拟合函数的示意图。

图7是一个实例中离线标定过程中不同焦距控制参数对应的k_x的相机内参数离线标定值的离散数据点，以及拟合得到的经验拟合函数的示意图。

图8是一个实例中离线标定过程中不同焦距控制参数对应的k_y的相机内参数离线标定值的离散数据点，以及拟合得到的经验拟合函数的示意图。

图9是一个实例中在蒙特卡洛模拟中，f_x、f_y、c_x、c_y、k_x、k_y各自的误差变化数据示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本申请公开了一种融合离线标定结果的变焦相机在线标定方法，请参考图1和图2，本申请包括两部分：第一部分是在线标定之前的离线标定阶段，第二部分是融合离线标定结果的在线标定阶段，本申请分别介绍如下：

一、离线标定阶段

在离线标定阶段，基于当前固定焦距相机的标定方法，对待标定变焦相机在某个焦距控制参数下进行标定，得到对应的相机内参数离线标定值，焦距控制参数用于表示待标定变焦相机的实际焦距f₀，可以认为就是实际焦距f₀。在待标定变焦相机的焦距变换范围内选取若干个离散的焦距控制参数进行上述离线标定，可以得到若干个不同的焦距控制参数下的相机内参数离线标定值。

比如待标定变焦相机的焦距变换范围为5-140mm，则可以按照等间隔方式选定若干个实际焦距对应的焦距控制参数进行离线标定，比如按照5mm为间隔选定若干个实际焦距对应的焦距控制参数进行离线标定，由此得到5mm时的相机内参数离线标定值、10mm时的相机内参数离线标定值、15mm时的相机内参数离线标定值……，以此类推。

在每一个焦距控制参数下进行标定时，当前主流的静态标定方法是借助一个精密加工的标定靶标，通过结合靶标的图像坐标和已知的物理尺寸信息，基于小孔成像模型构建约束方程并求解相机内参数。本申请在离线阶段采用基于单应性约束的张正友标定方法，首先通过待标定变焦相机拍摄黑白棋盘格以获得不同位姿下的棋盘角点2D-3D的匹配关系，以此构建单应性矩阵并求解。然后利用旋转矩阵的正交特性构建代数方程，线性的求解待标定变焦相机的内外参数，最后在考虑径向畸变的基础上采用迭代估计方法得到最终的相机内参数和相机外参数。

通过离线标定阶段，可以得到若干组焦距控制参数、相机内参数离线标定值以及对应的置信度之间的离散映射关系，由此得到稀疏的参数映射表。其中每个焦距控制参数对应的置信度由是该焦距控制参数的相机内参数离线标定值下的特征图像的重投影均方根误差确定得到，根据特征图像的重投影均方根误差ε确定对应的置信度P的公式为

其中，E_min是设定的特征图像的重投影均方根误差的最小值，E_max是设定的特征图像的重投影均方根误差的最大值。

理论上说，只要在离线标定时，选取的焦距控制参数对应的实际焦距之间的步长足够小，就可以得到一个较为精确的变焦相机的相机内参数的参数映射表，不需要在线标定就可以获得精度与离线标定方式精度近似一致的相机内参数，但由于离线标定的过程的复杂性和有限性，此方法是不具备实施性的。

另外，由于离线标定阶段得到的是一个稀疏的参数映射表，只包含几个选定进行离线标定的焦距控制参数的相机内参数离线标定值，在焦距变换范围内还有很多焦距控制参数不存在对应的相机内参数离线标定值。本申请在得到参数映射表之外，还进行经验拟合函数的构建，也即基于离线标定得到的若干组焦距控制参数和相机内参数离线标定值的离散映射关系进行曲线拟合得到连续函数形式的经验拟合函数，以确定其他未被选定进行离线标定的焦距控制参数的相机内参数离线标定值。

相机内参数包括若干种参数类型，是一种多类型参数集合，本申请采用控制变量的方式，在假定其他参数类型不变的情况下，基于离线标定得到的若干组焦距控制参数和其中一种参数类型的相机内参数离线标定值的离散映射关系拟合得到该参数类型相应的经验拟合函数，由此分别得到各种参数类型的经验拟合函数。

具体的，本申请中的相机内参数的参数类型包括归一化焦距、主点坐标以及径向畸变参数，归一化焦距又包括x轴归一化焦距f_x和y轴归一化焦距f_y，主点坐标又包括x轴主点坐标c_x和y轴主点坐标c_y，径向畸变参数又包括x轴径向畸变参数k_x和y轴径向畸变参数k_y，因此本申请的相机内参数可以表示为c＝(f_x,f_y,c_x,c_y,k_x,k_y)。则以x轴归一化焦距f_x为唯一的变量，根据离线标定得到的若干组焦距控制参数和对应的x轴归一化焦距f_x的离散映射关系可以拟合得到焦距控制参数与x轴归一化焦距f_x之间的经验拟合函数。同理类推，可以分别拟合得到焦距控制参数与y轴归一化焦距f_y之间的经验拟合函数、焦距控制参数与x轴主点坐标c_x之间的经验拟合函数、焦距控制参数与y轴主点坐标c_y之间的经验拟合函数、焦距控制参数与x轴径向畸变参数k_x之间的经验拟合函数、焦距控制参数与y轴径向畸变参数k_y。

根据变焦相机的成像模型，变焦相机的归一化焦距f_x、f_y和其实际焦距f₀的变化呈线性关系，可以表示为

a_x、a_y分别是x轴和y轴的变焦比例系数，b_x、b_y分别是x轴和y轴的偏差值。因此基于这种成像模型的原理，在进行函数拟合时，按照线性归回模型拟合得到归一化焦距f_x、f_y与焦距控制参数之间的经验拟合函数。

变焦相机的纵横比基本保持不变，但无法直接确定主点坐标对实际焦距的函数依赖性，在实际变焦的过程中，主点坐标与径向畸变参数的变化往往是存在耦合关系的，无法简单的通过线性关系来进行描述。根据变焦相机的畸变模型，相机内参数估计只针对两个径向畸变参数k_x、k_y，所以其模型可以表示为

其中，

表示投影像素点(u_x，u_y)与主点坐标(c_x，c_y)之间的距离。因此基于这种畸变模型，在进行函数拟合时，按照线性归回模型拟合得到主点坐标c_x、c_y与焦距控制参数之间的经验拟合函数。按照二次函数回归模型拟合得到径向畸变参数k_x、k_y与焦距控制参数之间的经验拟合函数。

在一个实例中，对某型号的变焦相机进行离线标定并拟合得到经验拟合函数的示例图如图3-8所示，其中离散点表示离线标定的实际焦距f₀及其相应的一种参数类型的相机内参数离线标定值，虚线表示拟合得到的经验拟合函数。由该实例也可以明显看出，实际焦距f₀与f_x、f_y分别符合线性关系，实际焦距f₀与c_x、c_y也基本符合线性关系但其始终保持在图像中心的误差区间里。实际焦距f₀与k_x、k_y分别为二次函数关系。

二、融合离线标定结果的在线标定阶段

在通过离线标定阶段构建的参数映射表，并得到相应的经验拟合函数后，可以融合这些离线标定得到的结果进行在线标定。

1、在进行在线标定时，通过待标定变焦相机在当前的焦距控制参数下获取图像数据、通过固定在待标定变焦相机上的IMU测量单元获取IMU测量数据。IMU测量单元的位置与待标定变焦相机是固定连接的，两者之间的相机外参数可以通过现有的标定方法标定得到。通过IMU测量单元获取到的IMU测量数据具体包括陀螺仪数据和加速度数据等。

为了简化在线标定问题的复杂性，本申请设定待标定变焦相机的运动遵循IMU的预测模型，然后基于扩展卡尔曼滤波器(EKF)设计了非线性滤波器进行数据融合和参数估计，更新描述相机内参数、相机姿态和特征三维坐标。

首先构建扩展卡尔曼滤波器的状态向量为x＝(c^T,p^T,v^T,q^T,z^T)^T，c表示相机内参数，具体为c＝(f_x,f_y,c_x,c_y,k_x,k_y)。p为待标定变焦相机的位置，v为待标定变焦相机的速度，q为待标定变焦相机的四元数旋转矩阵，p、v、q表征相机姿态，z为特征点的空间3D位置坐标用于表征特征三维坐标。

扩展卡尔曼滤波器的求解是一种迭代法求解，根据迭代法求解原理，较为准确的初始化参数有利于所构建的状态估计方法快速的收敛到更加接近真值的结果。现有的相机自标定方法均是假设相机的内参数是完全未知的，但在实际的变焦距相机标定过程中，在调整变焦或焦点设置时，这种纵向移动将使透视中心(即相机坐标系的原点)相对于固定图像平面沿光轴移动，在移动前的相机内参数和焦距的控制参数是在标定前的已知信息，此部分可以用于初始化状态参数，加速在线标定的收敛速度。

本申请基于这种思想，利用离线标定结果，根据参数映射表确定待标定变焦相机在当前的焦距控制参数下的相机内参数初始值，利用当前的焦距控制参数下的相机内参数初始值初始化状态向量中的相机内参数，从而加快收敛。根据参数映射表确定待标定变焦相机在当前的焦距控制参数下的相机内参数初始值的方法如下：

2、根据参数映射表确定当前的焦距控制参数对应的相机内参数历史标定值F以及置信度P。在第一次进行在线标定时，参数映射表中仅包括若干组焦距控制参数、相机内参数离线标定值以及对应的置信度之间的离散映射关系。待标定变焦相机的当前的焦距控制参数可能包含在参数映射表中也可能不包含在参数映射表中。比如如上举例中，假设参数映射表包含5-140mm的焦距变换范围内每隔5mm的焦距控制参数的相机内参数离线标定值，则当前的焦距控制参数若为70mm则包含在参数映射表中，此时存在与当前的焦距控制参数对应的相机内参数离线标定值。当前的焦距控制参数若为79mm则不包含在参数映射表中，此时不存在与当前的焦距控制参数对应的相机内参数离线标定值。

因此在第一次进行标定时，获取到的相机内参数历史标定值P以及置信度P具有两种不同的含义：(1)获取相机内参数历史标定值为离线标定得到的相机内参数离线标定值，这种情况下当前的焦距控制参数的置信度为离线标定时按照上述方法计算得到的置信度。(2)参数映射表中不包含当前的焦距控制参数，获取相机内参数历史标定值为空，这种情况下当前的焦距控制参数的置信度为0。

3、除了参数映射表之外，可以利用的离线标定结果还包括基于参数映射表拟合得到的若干组经验拟合函数，而且由于经验拟合函数是焦距变换范围内的连续函数，因此无论当前的焦距控制参数是否包含在参数映射表中，经验拟合函数一定存在与当前的焦距控制参数对应的值。则除了确定基于参数映射表确定F和P之外，还根据经验拟合函数确定当前的焦距控制参数对应的相机内参数拟合值M。获取F和P的步骤与获取M的步骤没有特定的先后关系。

如上所述，相机内参数包括多种参数类型，拟合得到的经验拟合函数也是每一种参数类型的经验拟合函数，因此在得到相机内参数拟合值M时，也是分别根据每种参数类型的经验拟合函数确定当前的焦距控制参数对应的一种参数类型的相机内参数拟合值，然后合并得到包含所有参数类型的相机内参数拟合值M。比如基于焦距控制参数与x轴归一化焦距f_x之间的经验拟合函数可以得到当前的焦距控制参数对应的f_x的拟合值，同理利用其他的经验拟合函数可以得到f_y、c_x、c_y、k_x、k_y的拟合值，由此得到包含f_x、f_y、c_x、c_y、k_x、k_y的拟合值的相机内参数拟合值M。

4、基于当前的焦距控制参数对应的置信度P对相机内参数历史标定值F和相机内参数拟合值M进行加权得到相机内参数初始值。具体的，基于当前的焦距控制参数对应的置信度P按照PF+(1-P)M的公式对相机内参数历史标定值F和相机内参数拟合值M进行加权，得到相机内参数初始值。

5、在得到待标定变焦相机在当前的焦距控制参数下的相机内参数初始值后，利用相机内参数初始值对扩展卡尔曼滤波器进行参数初始化，然后利用完成参数初始化的卡尔曼滤波器将图像数据和IMU测量数据进行融合、在线标定得到当前的焦距控制参数下的相机内参数在线标定值。IMU测量数据用于预测待标定变焦相机和空间特征的相对运动，然后视觉数据跟踪结果以概率函数模型与预测相匹配。

具体的，利用IMU测量数据结合相机运动模型以及利用图像数据结合视觉测量模型完成状态向量的预测、匹配和更新，得到状态向量的估计值。状态向量的相机运动模型和视觉测量模型可以表示为：

其中，x_k是第k次迭代时的状态向量，x_k-1是第k-1次迭代时的状态向量，x₀是对状态向量进行参数初始化后的结果，y_k是第k次迭代时的测量值。

ε_k～N(0,Q_k)符合高斯分布，γ_k～N(0,Σ_k)符合高斯测量噪声分布(如IMU的acc和gyr的数据噪声)。函数g_k()是第k次迭代时的相机运动模型，即根据当前迭代的状态向量获得下一时刻的相机的运动状态。函数h_k()是第k次迭代时的视觉测量模型，即根据视场里特征的运动变化估计相机的运动状态。

在给定时间步长和观测数据条件下，扩展卡尔曼滤波器的参数更新步骤可以表示为：

式中，H_x()表示状态向量x关于视觉测量模型h_k()的雅可比矩阵，K_k为第k次迭代时的卡尔曼增益。P_k|k表示状态向量x的协方差矩阵，它在数值上稳定更新协方差并保持对称性，Σ_k为噪声项。

以上是构建的在线估计模型以及参数更新方法，下面分别介绍上面提到的相机运动模型g_k()和视觉测量模型h_k()的构建方法：

(1)IMU运动估计方法。

首先对待标定变焦相机的运动进行建模，也就是g_k()具体的描述。状态向量x里包含相机内参数、相机姿态和特征位置，其中相机内参数和特征三维坐标在整个状态估计过程中是不发生改变的，所以我们只需要对相机外参数进行建模。本申请基于维纳速度模型对相机的运动模型进行建模，估计值包含待标定变焦相机的位置p和速度v，写为d＝(p,v)^T，在线性空间里，相机运动可以被表示为：

d_k+1＝Ad_k+ε_k；

其中，ε_k～N(0,Q_t)，Q_t表示平移的过程噪声。当角速度ω已知时，四元数旋转矩阵q的导数可以表示为：

其中，[ω]_×是一个3*3的叉积矩阵，假设旋转速率恒定Δt_k，离散时间系统可以表示为：

其中，ω_k是第k次迭代时的角速度，ω_b是陀螺仪的bias，q_k是第k次迭代时的四元数旋转矩阵。

总结上述，相机运动模型g_k()可以表示为：

g_k(x_k-1,ε_k)＝Ax_k-1+ε_k；

其中，ε_k～N(0,0₃,Q_t,Q_q,0₃)，Q_t、Q_q分别表示平移和旋转的过程噪声。

(2)视觉特征提取及跟踪方法，也就是对视觉测量模型h_k()的详细描述。

在得到一帧图像后，首先使用ORB特征提取算法，对图像的ORB特征进行提取，具体步骤如下：对当前帧图像进行金字塔的分层，并计算每一层的尺度因子和每层应提取的特征点数量，金字塔的目的主要目的是解决尺度的不变性，在低尺度下可以看清楚很多细节，在高尺度下可以看到轮廓，这样可以让提取的特征点更具鲁棒性。然后对每个图层进行网格子的计算，在每个网格子内进行FAST特征点的提取，对当前图层进行特征点分布优化，对每一个特征点的方向进行计算，使得每个图层上的特征点尽可能的满足数量和分布的尽量的均匀。

在获得单幅图像的特征描述后，我们需要构建多帧之间的匹配与跟踪机制，本申请采用金字塔Lucas-Kanade光流法对特征进行跟踪，以像素点为中心构建8×8的图像块，通过最小化光度误差，建立2D到2D的匹配关系。在上述提取与匹配的基础上，得到视觉测量模型h_k()可以表示为：

h_k ⁽ⁱ⁾(x)＝[K(c),E(p,q),e_i,Σ_i]；

其中，i＝1,2,3…表示被跟踪的特征点，K(c)表示相机内参数的矩阵，E(p,q)表示相机与IMU测量单元的相机外参数的矩阵，e_i表示被跟踪的特征点的光度误差，Σ_i表示噪声项。

6、利用扩展的卡尔曼滤波器，在完成每一次迭代后，可以得到当次迭代的相机内参数估计值，若当次迭代的相机内参数估计值下的特征图像的重投影均方根误差ε在设定的误差范围内，则将当次迭代的相机内参数估计值作为当前的焦距控制参数下的相机内参数在线标定值。否则执行下一次迭代，如此循环，直至最终得到当前的焦距控制参数下的相机内参数在线标定值。

相机内参数在线标定值下的特征图像的重投影均方根误差ε为：

其中，n是特征点的个数，(X_i，Y_i)是特征点i在重投影后的像素坐标，(x_i，y_i)是特征点i的真实的像素坐标。误差范围根据需求进行设定，其意义是指真实像素与参数校正像素的偏差。

7、在得到当前的焦距控制参数下的相机内参数在线标定值后，根据相机内参数在线标定值下的特征图像的重投影均方根误差确定当前的焦距控制参数的置信度。与离线标定阶段计算置信度的方法相同，根据特征图像的重投影均方根误差ε计算得到对应的置信度P为：

其中，E_min是设定的特征图像的重投影均方根误差的最小值，E_max是设定的特征图像的重投影均方根误差的最大值。

然后将当前的焦距控制参数、相机内参数在线标定值以及对应的置信度对应存储更新到参数映射表中。若参数映射表中已有当前的焦距控制参数，则将在线标定得到的相机内参数在线标定值以及对应的置信度更新到参数映射表中。若参数映射表中还未有当前的焦距控制参数，则将对应关系添加到参数映射表中。则从第二次在线标定过程开始，参数映射表中除了包括若干组焦距控制参数、相机内参数离线标定值以及对应的置信度之间的离散映射关系之外，还包括若干组焦距控制参数、相机内参数在线标定值以及对应的置信度的离散映射关系。

比如在上述举例中，假设离散标定得到的参数映射表包含5-140mm的焦距变换范围内每隔5mm的焦距控制参数的相机内参数离线标定值，在对当前的焦距控制参数79mm完成在线标定后，将当前的焦距控制参数79mm相机内参数在线标定值以及对应的置信度添加到参数映射表中。那么第二次在线标定时，获取到的参数映射表包含5-140mm的焦距变换范围内每隔5mm的焦距控制参数的相机内参数离线标定值，以及79mm的焦距控制参数的相机内参数在线标定值。

因此从第二次在线标定开始，获取到的相机内参数历史标定值P以及置信度P具有三种不同的含义：(1)获取相机内参数历史标定值为离线标定得到的相机内参数离线标定值，这种情况下当前的焦距控制参数的置信度为离线标定时计算得到的置信度。(2)参数映射表中不包含当前的焦距控制参数，获取相机内参数历史标定值为空，这种情况下当前的焦距控制参数的置信度为0。(3)获取相机内参数历史标定值为离线标定得到的相机内参数在线标定值，这种情况下当前的焦距控制参数的置信度为在线标定时计算得到的置信度。

通过上述过程对待标定变焦相机的不同焦距控制参数进行在线标定并更新到参数映射表中，最终可以达到所需的标定精度，使得参数映射表从稀疏到稠密。对于某些焦距控制参数，还可以进行重复的在线标定以提高精度。

在一个实例中，在蒙特卡洛模拟中随机产生1000个3D特征点，其中X∈[-30,30]m、Y∈[-30,30]m、Z∈[10,60]m。待标定变焦相机的归一化焦距为f_x＝f_y＝680pixels，主点坐标c_x＝340pixels、c_y＝220pixels，径向畸变参数k_x＝0.112、k_y＝-0.301。待标定变焦相机的运动由随机生成的角速度和线速度序列进行约束。角速度和线速度采样率设置为100Hz，以每秒30帧的帧速率生成500帧的由空间2D点云构成的图像数据。

图9给出了利用本申请的标定方法得到的在蒙特卡洛模拟中各个相机内参数的误差变化示意图，其中每个相机内参数的误差变化示意图中上下两侧的曲线之间的范围表示99.7％(3σ)的不确定度范围，中间的曲线表示估计误差。从图9可以明显看出，本申请的标定方法没能够准确估计相机内参数，在整个的在线标定过程中，估计误差均能够保持在不确定度范围以内，且在最初的200帧内其收敛速度较快，在效率上具备较好对实施性。

以上的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (9)

1.一种融合离线标定结果的变焦相机在线标定方法，其特征在于，所述方法包括：

通过待标定变焦相机在当前的焦距控制参数下获取图像数据、通过固定在所述待标定变焦相机上的IMU测量单元获取IMU测量数据；

根据参数映射表确定所述待标定变焦相机在当前的焦距控制参数下的相机内参数初始值，所述参数映射表包含所述待标定变焦相机通过离线标定得到的若干组焦距控制参数、相机内参数离线标定值以及对应的置信度之间的离散映射关系，所述置信度由相机内参数离线标定值下的特征图像的重投影均方根误差确定得到；

利用所述相机内参数初始值对扩展卡尔曼滤波器进行参数初始化，并利用完成参数初始化的所述卡尔曼滤波器将所述图像数据和所述IMU测量数据进行融合、在线标定得到当前的焦距控制参数下的相机内参数在线标定值；

根据所述相机内参数在线标定值下的特征图像的重投影均方根误差确定当前的焦距控制参数的置信度，并将当前的焦距控制参数、相机内参数在线标定值以及对应的置信度对应存储更新到所述参数映射表中。

2.根据权利要求1所述的方法，其特征在于，根据特征图像的重投影均方根误差ε确定对应的置信度P为：

其中，E_min是设定的特征图像的重投影均方根误差的最小值，E_max是设定的特征图像的重投影均方根误差的最大值。

3.根据权利要求1所述的方法，其特征在于，所述相机内参数在线标定值下的特征图像的重投影均方根误差ε为：

其中，n是特征点的个数，(X_i，Y_i)是特征点i在重投影后的像素坐标，(x_i，y_i)是特征点i的真实的像素坐标。

4.根据权利要求1所述的方法，其特征在于，所述根据参数映射表确定所述待标定变焦相机在当前的焦距控制参数下的相机内参数初始值，包括：

根据所述参数映射表确定当前的焦距控制参数对应的相机内参数历史标定值以及置信度；所述相机内参数历史标定值为离线标定得到的相机内参数离线标定值，或者为在线标定得到的相机内参数在线标定值，或者为空；所述相机内参数历史标定值为空时当前的焦距控制参数的置信度为0；

根据经验拟合函数确定当前的焦距控制参数对应的相机内参数拟合值，所述经验拟合函数是基于离线标定得到的若干组焦距控制参数和相机内参数离线标定值的离散映射关系拟合得到的连续函数；

基于当前的焦距控制参数对应的置信度对所述相机内参数历史标定值和所述相机内参数拟合值进行加权得到所述相机内参数初始值。

5.根据权利要求4所述的方法，其特征在于，所述基于当前的焦距控制参数对应的置信度对所述相机内参数历史标定值和所述相机内参数拟合值进行加权得到所述相机内参数初始值，包括：

基于当前的焦距控制参数对应的置信度P按照PF+(1-P)M的公式对所述相机内参数历史标定值F和所述相机内参数拟合值M进行加权，得到所述相机内参数初始值。

6.根据权利要求4所述的方法，其特征在于，相机内参数包括若干种参数类型，则基于离线标定得到的若干组焦距控制参数和一种参数类型的相机内参数离线标定值的离散映射关系拟合得到相应的经验拟合函数，分别得到各种参数类型的经验拟合函数；

所述根据经验拟合函数确定当前的焦距控制参数对应的相机内参数拟合值，包括：分别根据每种参数类型的经验拟合函数确定当前的焦距控制参数对应的一种参数类型的相机内参数拟合值。

7.根据权利要求6所述的方法，其特征在于，相机内参数的参数类型包括归一化焦距、主点坐标以及径向畸变参数，拟合得到各种参数类型的经验拟合函数的方法包括：按照线性归回模型拟合得到归一化焦距与焦距控制参数之间的经验拟合函数，按照线性归回模型拟合得到主点坐标与焦距控制参数之间的经验拟合函数，按照二次函数回归模型拟合得到径向畸变参数与焦距控制参数之间的经验拟合函数。

8.根据权利要求1所述的方法，其特征在于，所述在线标定得到当前的焦距控制参数下的相机内参数在线标定值，包括：

利用所述卡尔曼滤波器得到当次迭代的相机内参数估计值，若当次迭代的相机内参数估计值下的特征图像的重投影均方根误差在误差范围内，则将当次迭代的相机内参数估计值作为当前的焦距控制参数下的相机内参数在线标定值，否则执行下一次迭代。

9.根据权利要求1所述的方法，其特征在于，相机内参数的在线标定方法包括：

构建所述扩展卡尔曼滤波器的状态向量为x＝(c^T,p^T,v^T,q^T,z^T)^T，c表示相机内参数，p为所述待标定变焦相机的位置，v为所述待标定变焦相机的速度，q为所述待标定变焦相机的四元数旋转矩阵，z为特征点的空间3D位置坐标；

利用当前的焦距控制参数下的相机内参数初始值初始化所述状态向量中的相机内参数，并利用所述IMU测量数据结合相机运动模型以及利用所述图像数据结合视觉测量模型完成所述状态向量的预测、匹配和更新，得到状态向量的估计值。

Images