CN110956667A - 基于近似平面靶的摄像机自标定方法及系统 - Google Patents

Abstract

本发明公开了一种基于近似平面靶的摄像机自标定方法及系统，相关方案采用近似平面场景中的非控制点对摄像机进行标，无需得知控制点的坐标，即无制作精确的靶子，因而可以降低成本，并且还具有较高的精度。

Description

基于近似平面靶的摄像机自标定方法及系统

技术领域

本发明涉及摄像机自标定技术领域，尤其涉及一种基于近似平面靶的摄像机自标定方法及系统。

背景技术

摄像机标定中，如果采用三维控制点进行标定，需要知道控制点的三维坐标；如果采用平面控制靶进行标定，需要知道平面靶子上点的二维坐标。这两种方法需要制作精确的三维立体靶，或者精确的二维平面靶，成本都比较高。

百米口径的大型射电望远镜，其面型需要进行现场检测，摄影测量方法是一种简单、方便的方法，为保障摄影测量的精度，需要对摄像机进行现场标定，如果采用三维或者二维控制点进行标定，相对比较困难。采用非控制点进行摄像机自标定，相对比较灵活；非控制点的自标定，可以分为三维非控制点和二维非控制点的自标定。三维非控制点的摄像机自标定，目前已经有比较多的方法，二维非控制点的摄像机自标定，还没有有效的方法。

百米口径的射电望远镜，其局部小区域内的面型接近平面，但其面型又不是平面，因此无法把平面约束用于摄像机的自标定。为此，需要研究近似平面场景下的摄像机自标定方法，采用近似平面场景中的非控制点对摄像机进行标定。

发明内容

本发明的目的是提供一种基于近似平面靶的摄像机自标定方法及系统，能够准确的实现近似平面场景下的摄像机自标定。

本发明的目的是通过以下技术方案实现的：

一种基于近似平面靶的摄像机自标定方法，包括：

步骤1、将待标定的摄像机正对着近似平面的靶子或者正对近似平面的靶子时角度偏差在设定范围之内，获取靶子上每一特征点的图像测量坐标，并生成对应的三维空间坐标；所述近似平面是指平面中翘曲程度小于设定值；

步骤2、将待标定的摄像机从m个不同方位分别对着靶子，得到每一方位图像中每一特征点的图像测量坐标；

步骤3、对于每一方位图像，均根据摄像机的线性模型结合每一特征点的三维空间坐标，计算每一特征点在线性模型投影下的图像坐标；

步骤4、对于每一方位图像，均利用特征点的图像测量坐标，结合摄像机的非线性模型参数，对特征点在线性模型投影下的图像坐标进行修正，得到特征点在非线性投影模型投影下的图像坐标；

步骤5、结合所有方位图像，得到每一特征点在非线性模型投影下的图像坐标与对应方位图像上的图像测量坐标之间的误差，利用非线性优化方法，得到摄像机参数的修正值，其中摄像机参数包含了线性模型与非线性模型所使用的参数；

步骤6、利用摄像机参数的修正值，来修正每一方位图像中每一特征点的图像测量坐标，得到对应的修正值，并通过步骤3中的线性模型计算出每一特征点的三维空间坐标的修正值；

步骤7、将步骤5得到的摄像机参数的修正值、以及步骤6得到的每一特征点的三维空间坐标的修正值，带入步骤3，重复执行步骤3～步骤6，直至非线性优化过程中的误差函数值最小，最终得到摄像机参数的修正值即为摄像机参数的标定结果。

由上述本发明提供的技术方案可以看出，采用近似平面场景中的非控制点对摄像机进行标定，简便易行。采用近似平面靶对摄像机进行自标定时，不需要精确的二维控制点、也不需要精确的三维控制点，标定方法简便易行。只需要一些特征点作为非控制点就可以，这些非控制点的三维坐标，或者二维坐标，不需要首先知道；这些非控制点可以分布在一个平面内，也可以分布在不在一个平面内、而是分布在近似平面内，比如在1米×1米靶子上，这个靶子的翘曲达到30毫米，这个靶子就不是一个平面、但是近似一个平面，这些特征点就不在一个平面内、而是在一个近似平面上。这种靶子，能够很方便的获得，这样，靶子的制作成本比较低、而且易于获得，比如，可以用一个普通餐桌的桌面作为靶子。其次，这个靶子上特征点的位置不需要精确测量，这样，特征点的制作成本也比较低。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于近似平面靶的摄像机自标定方法的流程图；

图2为本发明实施例提供的待标定的摄像机大体正对着近似的平面靶子的示意图；

图3为本发明实施例提供的待标定的摄像机从m个不同方位分别对着靶子的示意图；

图4为本发明实施例提供的一种基于近似平面靶的摄像机自标定系统的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种基于近似平面靶的摄像机自标定方法，如图1所示，其主要包括如下步骤：

步骤1、将待标定的摄像机正对着近似平面的靶子，获取靶子上每一特征点的二维的图像测量坐标，并生成对应的三维空间坐标。

本发明实施例中，近似平面的靶子上分布有若干特征点，所述特征点的图案可以是圆形图案，也可以是其他图案，所述特征点的空间三维坐标未知，所述靶子上的特征点分布可以在一个平面上，也可以分布在一个近似平面上。

本发明实施例中，所述近似平面是指平面中翘曲程度小于设定值，例如，在1米×1米的平面上，翘曲程度不超过30毫米。这样，靶子的制作成本比较低、而且易于获得，例如，可以用一个普通餐桌的桌面作为靶子，只需要设定一些特征点即可，而特征点的位置也不需要精确测量，这样，更进一步降低成本。

如图2所示，待标定的摄像机正对着近似平面的靶子，获取靶子上特征点的图像。第i个特征点二维的图像测量坐标为(u_i，v_i)，生成的三维空间坐标为(X_wi，Y_wi，Z_wi)，其中，X_wi＝u_i，Y_wi＝v_i，Z_wi等于任意一个有理数，i＝1、2、…、n，n表示特征点总数。

本步骤中得到的(X_wi，Y_wi，Z_wi)，作为特征点的三维空间坐标初始值，参与后面的计算。在后面的迭代计算中，特征点的三维空间坐标会被修正，并用修正值进行下一次迭代计算。

通过上述原理可知，本步骤主要是为了获得各个特征点的三维空间坐标初始值，由于后续会进行迭代计算，此时的初始值可以存在一定的偏差。如果无法保证待标定的摄像机正对近似平面的靶子，为了操作的方便，待标定的摄像机大体正对近似平面的靶子即可，此处的“大体”是指待标定的摄像机正对靶子时角度偏差在设定范围之内，例如，在某一个或多个轴向的偏差不超过10°，当然，具体的范围数值可以由用户根据实际情况或者经验来确定。

步骤2、将待标定的摄像机从m个不同方位分别对着靶子，得到每一方位图像中每一特征点的图像测量坐标。

如图3所示，待标定的摄像机从m(m>3)个不同的方位分别对着靶子，得到m个方位图像。第i个特征点，其空间坐标的齐次坐标表示为[X_wi,Y_wi,Z_wi,1]^T，第j个方位图像中第i个特征点图像测量坐标

的齐次坐标表示为

其中，j＝1、2、…、m，m为方位总数，具体数值可以根据实际情况来设定。

步骤3、对于每一方位图像，均根据摄像机的线性模型结合每一特征点的三维空间坐标，计算每一特征点在线性模型投影下的图像坐标。

首先，根据摄像机的标称参数，选取摄像机内参数(f_u,γ,f_v,u₀,v₀)的初始值。其中，u₀、v₀表示摄像机的主点位置，γ表示摄像机传感器芯片上u、v两个方向的倾斜因子，f_u＝f/p_u，f_v＝f/p_v，f表示摄像机镜头的焦距，摄像机传感器每个像素的大小为p_u×p_v。

示例性的，比如一个1000像素×2000像素的摄像机，每个像素大小为10微米×10微米，镜头焦距为50毫米，则内参数(f_u,γ,f_v,u₀,v₀)初值可以取(5000,0,5000,500,1000)。

然后，根据摄像机的线性模型公式(1)，结合每一特征点的三维空间坐标(X_wi，Y_wi，Z_wi)，得到特征点在线性模型投影下的图像坐标

其中，s_i表示一个比例因子。

公式(1)中A为摄像机的内参数矩阵，A可以表示如下式：

公式(1)中RT^j表示第j个方位时摄像机的外方位参数矩阵，RT^j可以表示如下式：

结合摄像机的内参数，由第j个方位时n个特征点的图像测量坐标

和这些特征点的三维空间坐标(X_wi，Y_wi，Z_wi)，可以计算得到摄像机的外方位RT^j矩阵的初始值。这一计算过程，有各种方法，比如角锥体法等，这里就不一一描述。

由公式(1)，可以得到如下方程：

其中，

其中，

为表示矩阵M中第p行、第q列的元素，p＝1,2,3，q＝1,2,3,4；

表示第j个方位图像中第i个特征点在线性模型投影下的图像坐标，i＝1、2、…、n，n表示特征点总数，j＝1、2、…、m，m表示方位数量；RT^j表示第j个方位图像的外方位参数矩阵，

表示该外方位参数矩阵中平移的元素，

分别表示沿X、Y、Z轴平移的分量，

表示该外方位参数矩阵中旋转矩阵第p行、第k列的元素，k＝1,2,3；旋转矩阵可以用欧拉角、四元数等表示，本发明实施例中，选择欧拉角来描述，用旋转角度ω^j,

κ^j分别表示绕X轴、绕Y轴、绕Z轴旋转的角度，这样，第j个方位图像的外方位参数为(ω^j,

κ^j,

)，旋转矩阵中的各个元素分别是旋转角度(ω^j,

κ^j)的函数，函数关系式如公式(3)所示。

其中：

r₁₂＝-cosωsinκ

r₂₂＝cosωcosκ

r₃₂＝sinω

对于每一方位图像，上述各元素计算公式是相同的，故省略了角标j。

根据上述公式(2)，消去s_i，得到第j个方位图像中第i个特征点在线性模型投影下的图像坐标：

步骤4、对于每一方位图像，均利用特征点的图像测量坐标，结合摄像机的非线性模型参数，对特征点在线性模型投影下的图像坐标进行修正，得到特征点在非线性投影模型投影下的图像坐标。

由于摄像机和镜头的制造和装配误差的存在，摄像机模型并不是理想线性模型的投影成像，而是带有不同程度的非线性误差，比如镜头的几何畸变等，使得在成像平面上线性投影模型得到的特征点坐标

与特征点的图像测量坐标

之间存在偏差。为了提高摄像机的标定精度，需要采用非线性模型对这一偏差进行修正。

非线性误差的模型很多，下面以Weng模型为例来进行说明，采用其他非线性模型时，处理方法是类似的。Weng模型如式(6)所示，

与

表示第i个特征点在第j个方位图像中的摄像机非线性模型的误差，根据摄像机非线性模型参数(g₁、g₂、g₃、g₄、k₁)，由公式(6)得到：

其中，

u₀、v₀是摄像机的内参数，

是图像测量得到的特征点图像坐标。

本领域技术人员可以理解，(g₁、g₂、g₃、g₄、k₁)5个参数，是与镜头畸变有关的参数，称为畸变参数，为了便于理解，后续步骤都以Weng模型及相关的5个参数为例来进行介绍，当采用其他非线性模型时，相应的参数会发生改变。本发明并不限定非线性模型的具体形式，在实际应用中，用户可根据情况确定具体的非线性模型的形式，结合相关的参数，计算出相应的误差

与

以上述Weng模型为例，根据图像测量得到的特征点图像坐标

结合摄像机的非线性模型参数(g₁、g₂、g₃、g₄、k₁)，计算出误差

与

此后，可以对特征点在线性模型投影下的图像坐标(x_i ^j，y_i ^j)进行修正，得到特征点的非线性投影模型的图像坐标，如下述公式(7)所示。

其中，

表示第j个方位图像中第i个特征点在非线性模型投影下的图像坐标，

表示第j个方位图像中第i个特征点在线性模型投影下的图像坐标，i＝1、2、…、n，n表示特征点总数。

根据公式(6)、(7)，得到非线性模型修正后的模型投影的图像坐标

示例性的，摄像机的非线性模型参数(g₁、g₂、g₃、g₄、k₁)初始值可以取(0,0,0,0,0)，在后续的迭代过程中摄像机的非线性参数会被修正。

步骤5、结合所有方位图像，得到每一特征点在非线性模型投影下的图像坐标与对应方位图像上测量坐标之间的误差，利用非线性优化方法，从而得到摄像机参数的修正值，其中摄像机参数包含了线性模型与非线性模型所使用的参数。

本发明实施例中，非线性优化过程中的误差函数为：

其中：

以Weng模型为例，X为摄像机参数：

通过非线性优化方法，每次迭代都可以得到摄像机参数X的修正值。

步骤6、利用摄像机参数的修正值，来修正每一方位图像中每一特征点的图像测量坐标，得到对应的修正值，并通过步骤3中的线性模型计算出每一特征点的三维空间坐标的修正值。

结合公式(6)、(7)的摄像机非线性误差模型及步骤5得到的摄像机的非线性模型参数的修正值计算出误差

与

(通过前述公式6得到)，再对图像测量得到的特征点

进行非线性误差修正，得到图像测量坐标的修正值，如式(11)所示：

其中，

表示修正后的在第j个方位图像中第i个特征点的图像测量坐标，

表示第j个方位图像中第i个特征点的图像测量坐标。

将公式(11)得到的图像测量坐标的修正值

代入步骤3中公式(2)的摄像机线性投影模型，替换其中的

(即特征点在线性模型投影下的图像坐标)，得到公式(12)和(13)。

其中，摄像机线性投影模型中所涉及的摄像机内参数和摄像机外方位参数均使用前述步骤5得到的修正值。

每一方位图像中的每个特征点都能够得到(12)、(13)两个方程，则m个方位图像，一共得到2m个方程，联立这2m个方程，可以计算得到每个特征点空间三维坐标(X_wi，Y_wi，Z_wi)的修正值。

步骤7、将步骤5得到的摄像机参数的修正值、以及步骤6得到的每一特征点的三维空间坐标修正值，带入步骤3，重复执行步骤3～步骤6，直至非线性优化过程中的误差函数达到最小，最终得到摄像机参数的修正值即为摄像机参数的标定结果。

将根据步骤5得到摄像机的内外参数

的修正值和步骤6得到的特征点的空间三维坐标(X_wi，Y_wi，Z_wi)的修正值，作为摄像机参数和特征点三维空间坐标的值，重复执行步骤3～步骤6，进行非线性优化最终可以得到摄像机参数的标定结果。

本领域技术人员可以理解，在每一次迭代时，相关参数的数值都使用上一次迭代计算得到的数值，例如，在第K次迭代时，摄像机参数的值即为第K-1次迭代时通过步骤5得到的摄像机参数的修正值；同理，所使用的特征点空间三维坐标的值，即为第K-1次迭代时，通过步骤6得到的特征点空间三维坐标的修正值。

非线性优化的过程就是最终使(8)式极小化，即

当满足公式(14)时，认为误差满足要求，此时，可以直接将相应的X作为最终摄像机参数的标定结果。

这一非线性优化方法，有很多算法，可参见现有技术，此处不一一描述。

本发明另一实施例体还提供一种基于近似平面靶的摄像机自标定系统，其主要用于前述实施例提供的方法，如图4所示，系统主要包括：近似平面的靶子、待标定的摄像机、图像采集系统、以及设有图像处理系统的计算机；其中：

所述待标定的摄像机，用于在步骤1与步骤2时正对以及从m个不同方位分别对着靶子，配合图像采集系统采集对应的图像，并传输给设有图像处理系统的计算机，由设有图像处理系统的计算机获得正对靶子时，每一特征点的图像测量坐标，并生成对应的三维空间坐标，以及每一方位图像中每一特征点的图像测量坐标；

所述设有图像处理系统的计算机，还用于执行步骤3～步骤7所述方法。

系统中所涉及各个步骤的具体技术细节，在前述实施例中进行了详细的介绍，故不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种基于近似平面靶的摄像机自标定方法，其特征在于，包括：

步骤1、将待标定的摄像机正对着近似平面的靶子或者正对近似平面的靶子时角度偏差在设定范围之内，获取靶子上每一特征点的图像测量坐标，并生成对应的三维空间坐标；所述近似平面是指平面中翘曲程度小于设定值；

步骤2、将待标定的摄像机从m个不同方位分别对着靶子，得到每一方位图像中每一特征点的图像测量坐标；

步骤3、对于每一方位图像，均根据摄像机的线性模型结合每一特征点的三维空间坐标，计算每一特征点在线性模型投影下的图像坐标；

步骤4、对于每一方位图像，均利用特征点的图像测量坐标，结合摄像机的非线性模型参数，对特征点在线性模型投影下的图像坐标进行修正，得到特征点在非线性投影模型投影下的图像坐标；

步骤5、结合所有方位图像，得到每一特征点在非线性模型投影下的图像坐标与对应方位图像上的图像测量坐标之间的误差，利用非线性优化方法，得到摄像机参数的修正值，其中摄像机参数包含了线性模型与非线性模型所使用的参数；

步骤6、利用摄像机参数的修正值，来修正每一方位图像中每一特征点的图像测量坐标，得到对应的修正值，并通过步骤3中的线性模型计算出每一特征点的三维空间坐标的修正值；

步骤7、将步骤5得到的摄像机参数的修正值、以及步骤6得到的每一特征点的三维空间坐标的修正值，带入步骤3，重复执行步骤3～步骤6，直至非线性优化过程中的误差函数值最小，最终得到摄像机参数的修正值即为摄像机参数的标定结果。

2.根据权利要求1所述的一种基于近似平面靶的摄像机自标定方法，其特征在于，

步骤1中第i个特征点二维的图像测量坐标为(u_i，v_i)，生成的三维空间坐标为(X_wi，Y_wi，Z_wi)，其中，X_wi＝u_i，Y_wi＝v_i，Z_wi等于任意一个有理数，i＝1、2、…、n，n表示特征点总数；

步骤2中，第j个方位图像中第i个特征点的图像测量坐标

的齐次坐标表示为

其中，j＝1、2、…、m。

3.根据权利要求1或2所述的一种基于近似平面靶的摄像机自标定方法，其特征在于，根据摄像机的线性模型结合每一特征点的三维空间坐标，计算每一特征点在线性模型投影下的图像坐标包括：

根据摄像机的标称参数，选取摄像机内参数(f_u,γ,f_v,u₀,v₀)的初始值；其中，u₀、v₀表示摄像机的主点位置，γ表示摄像机传感器芯片上u、v两个方向的倾斜因子，f_u＝f/p_u，f_v＝f/p_v，f表示摄像机镜头的焦距，摄像机传感器每个像素的大小为p_u×p_v；

结合每一特征点的三维空间坐标(X_wi，Y_wi，Z_wi)，得到特征点在线性模型投影下的图像坐标：

从而得到如下方程：

其中，M＝A·RT^j，

表示矩阵M中第p行、第q列的元素，p＝1,2,3，q＝1,2,3,4；

消去上述方程中的比例因子s_i，得到：

其中，A为摄像机的内参数矩阵，s_i表示比例因子；

表示第j个方位图像中第i个特征点在线性模型投影下的图像坐标，i＝1、2、…、n，n表示特征点总数，j＝1、2、…、m；RT^j表示第j个方位图像的外方位参数矩阵，

表示该外方位参数矩阵中平移的元素，

分别表示沿X、Y、Z轴平移的分量，

表示该外方位参数矩阵中旋转矩阵的第p行、第k列的元素，k＝1,2,3；表示该旋转矩阵中的各个元素分别是旋转角度

的函数，旋转角度ω^j,

k^j分别表示绕X轴、绕Y轴、绕Z轴旋转的角度，则第j个方位图像的外方位参数为

4.根据权利要求1所述的一种基于近似平面靶的摄像机自标定方法，其特征在于，利用特征点的图像测量坐标，结合摄像机的非线性模型参数，对特征点在线性模型投影下的图像坐标进行修正，得到特征点的非线性投影模型的图像坐标包括：

利用第j个方位图像中第i个特征点的图像测量坐标

与摄像机的非线性模型参数，计算出摄像机非线性模型的误差

与

再使用下式对第j个方位图像中第i个特征点在线性模型投影下的图像坐标

进行修正，得到第j个方位图像中第i个特征点在非线性模型投影下的图像坐标

其中，i＝1、2、…、n，n表示特征点总数，j＝1、2、…、m，m表示方位图像总数。

5.根据权利要求1所述的一种基于近似平面靶的摄像机自标定方法，其特征在于，结合所有方位图像，得到每一特征点在非线性模型投影下的图像坐标与对应方位图像上的图像测量坐标之间的误差，利用非线性优化方法，得到摄像机参数的修正值包括：

第j个方位图像中第i个特征点在非线性模型投影下的图像坐标为

对应方位图像上的特征点的测量坐标为

其中，i＝1、2、…、n，n表示特征点总数，j＝1、2、…、m，m表示摄像机拍摄的方位总数；

非线性优化过程中的误差函数为：

其中，

X表示摄像机参数，通过非线性优化，得到相应的修正值。

6.根据权利要求1所述的一种基于近似平面靶的摄像机自标定方法，其特征在于，所述利用摄像机参数的修正值，来修正每一方位图像中每一特征点的图像测量坐标，得到对应的修正值，并通过步骤3中的线性模型计算出每一特征的三维空间坐标的修正值包括：

利用得到的摄像机的非线性模型参数的修正值计算出摄像机非线性模型的误差

与

再对每一方位图像中每一特征点的图像测量坐标进行修正，表示为：

其中，

表示修正后的第j个方位图像中第i个特征点的图像测量坐标，

表示第j个方位图像中第i个特征点的图像测量坐标；

将

带入步骤3中的摄像机的线性模型作为特征点在线性模型投影下的图像坐标，计算出特征点的三维空间坐标的修正值。

7.根据权利要求5所述的一种基于近似平面靶的摄像机自标定方法，其特征在于，

非线性优化过程中的误差函数值最小表示为：

此时得到的X即为摄像机参数的标定结果。

8.一种基于近似平面靶的摄像机自标定系统，其特征在于，用于实现权利要求1-6任一项所述的方法，系统包括：近似平面的靶子、待标定的摄像机、图像采集系统、以及设有图像处理系统的计算机；其中：

所述待标定的摄像机，用于在步骤1与步骤2时正对以及从m个不同方位分别对着靶子，配合图像采集系统采集对应的图像，并传输给设有图像处理系统的计算机，由设有图像处理系统的计算机获得正对靶子时，每一特征点的图像测量坐标，并生成对应的三维空间坐标，以及每一方位图像中每一特征点的图像测量坐标；

所述设有图像处理系统的计算机，还用于执行步骤3～步骤7所述方法。

Images