CN102314682B - 一种标定摄像头的方法、装置和系统 - Google Patents

Abstract

本发明公开了一种标定摄像头的方法、装置和系统，克服目前的标定方法需要耗费大量时间的缺陷，该方法包括：对三维的虚拟靶标进行虚拟投影将得到的二维的虚拟投影结果进行显示，获取待标定摄像头对所述虚拟投影结果进行实际投影得到的二维的实际投影结果；通过改变所述虚拟靶标的空间坐标，进行所述虚拟投影及实际投影，得到多个实际投影结果；根据所述多个实际投影结果中各角点的坐标值，以及与所述多个实际投影结果对应的虚拟投影结果中各角点的坐标值，对所述待标定摄像头进行标定。本发明的实施例能加快摄像头的标定速度，实现了摄像头标定理论到工业快速量产的飞跃。

Description

一种标定摄像头的方法、装置和系统

技术领域

本发明涉及光电领域，具体涉及一种标定摄像头的方法、装置和系统。

背景技术

现有的摄像头标定(也被称为摄像机标定)技术直接应用于工业量产时，在生产速度上有着很大的局限，以常用的张氏摄像头标定算法为例，其原理如图1所示，采用一空间的实际靶标11，和待标定的实际摄像头12，实际靶标11经摄像头12成像后得到像素平面的图像13。

由于输入标定系统的信息必须为一组空间点坐标，即每次靶标进行空间移动，即有一定的空间旋转角度，每一角点在世界坐标系中的空间坐标，和其在经过待标定摄像头一次性投影后照片上各角点的二维像素坐标，因此每校正一个摄像头12，都需要手动变换参照物(例如，靶标11)的空间位置，每次变换后都通过摄像头12拍摄照片，拍摄足够多的一组照片(图像13)后再进行标定。而手动拍摄的过程必然需要耗费大量的时间，即使应用机器手技术变换位置，其中的机械移动时间也不可忽视。现有的标定方法在建立关于待标定摄像头从三维空间点坐标到二维照片像素坐标一次性投影映射时，在工业量产时要耗费大量的时间。

可见，现有的标定技术在生产速度根本满足不了现今庞大的工业应用需求，而且无论是人工手动还是采用机器手都会增加时间、资金等成本。

发明内容

本发明要解决的技术问题是如何高效快速地进行摄像头标定，克服目前的标定方法需要耗费大量时间的缺陷。

为了解决上述问题，本发明提供了一种标定摄像头的方法，包括：

对三维的虚拟靶标进行虚拟投影将得到的二维的虚拟投影结果进行显示，获取待标定摄像头对所述虚拟投影结果进行实际投影得到的二维的实际投影结果；

通过改变所述虚拟靶标的空间坐标，进行所述虚拟投影及实际投影，得到多个实际投影结果；

根据所述多个实际投影结果中各角点的坐标值，以及与所述多个实际投影结果对应的虚拟投影结果中各角点的坐标值，对所述待标定摄像头进行标定。

优选地，通过设置点的三维空间坐标值来构造所述虚拟靶标。

优选地，对所述三维的虚拟靶标进行虚拟投影得到二维的虚拟投影结果，包括：

采用已知内部参数和外部参数的虚拟摄像头，对所述虚拟靶标进行所述虚拟投影，得到所述虚拟投影结果。

优选地，所述实际投影结果中各角点的坐标值通过下式获得：

$s{\tilde{m}}_2=P_1{P}_2{\tilde{M}}_2;$

其中，

为所述虚拟靶标各角点的空间坐标信息；

为所述实际投影结果中各角点的平面坐标值；

P₂为所述虚拟投影的投影算子；

P₁为所述实际投影的投影算子；

s为比例因子。

优选地，所述虚拟投影及所述实际投影采用小孔成像投影方式时：

$P_2=\tilde{p}{A}_2[R_2,t_2],$ 以及

P₁＝A₁[R₁，t₁]；

其中：

A₂表示所述虚拟摄像头在所述小孔成像投影过程中的内部参数；

[R₂，t₂]表示所述虚拟摄像头在所述小孔成像投影过程中的外部参数；

为

经虚拟的所述小孔成像投影后所得的坐标点在投影成所述虚拟投影结果中的投影矩阵；

A₁表示所述实际摄像头在所述小孔成像投影过程中的内部参数；

[R₁，t₁]表示所述实际摄像头在所述小孔成像过程中的外部参数。

本发明还提供了一种标定摄像头的装置，包括：

显示模块，用于显示对三维的虚拟靶标进行虚拟投影得到的二维的虚拟投影结果；

控制模块，用于改变所述虚拟靶标的空间坐标；

标定模块，用于根据多个实际投影结果中各角点的坐标值，以及与所述多个实际投影结果对应的虚拟投影结果中各角点的坐标值，对待标定摄像头进行标定；

其中，所述多个实际投影结果由所述待标定摄像头对所述虚拟投影结果进行实际投影获得。

优选地，所述显示模块包括：

构造单元，用于通过设置点的三维空间坐标值来构造所述虚拟靶标；

虚拟投影单元，用于采用已知内部参数和外部参数的虚拟摄像头，对所述虚拟靶标进行所述虚拟投影，得到所述虚拟投影结果。

优选地，所述标定模块用于通过下式获得所述实际投影结果中各角点的坐标值：

$s{\tilde{m}}_2=P_1{P}_2{\tilde{M}}_2;$

其中，

为所述虚拟靶标各角点的空间坐标信息；

为所述实际投影结果中各角点的平面坐标值；

P₂为所述虚拟投影的投影算子；

P₁为所述实际投影的投影算子；

s为比例因子。

本发明还提供了一种标定摄像头的系统，包括待标定摄像头以及如前所述的标定摄像头的装置，其中：

所述待标定摄像头对所述虚拟投影结果进行实际投影，获得所述多个实际投影结果。

本发明的实施例通过二次投影的方式，避免了靶标的物理的空间移动，能加快摄像头的标定速度，满足工业量产时的效率需求，实现了摄像头标定理论到工业快速量产的飞跃。

附图说明

图1是现有的摄像头标定工作原理示意图。

图2是本发明实施例的流程示意图。

图3是图2所示实施例的工作原理示意图。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明的实施例提供一种标定摄像头的方法，如图2所示，其主要包括：

100、对三维的虚拟靶标进行第一次投影，得到二维的虚拟投影结果；该第一次投影为虚拟投影，所得到的虚拟投影结果是实际并不真实存在的平面内的图像；

200、显示该二维的虚拟投影结果，这一显示将该并不真实存在的虚拟投影结果显示在一真实的显示屏幕如显示器或者投影布等等，从而将本不存在的三维的虚拟靶标转换为一真实的二维图像；

300、获得待标定的摄像头对所显示的所述第一次投影的虚拟投影结果进行第二次投影后得到的二维的实际投影结果并保存；该第二次投影为实际投影，所得到的实际投影结果是实际存在的平面内的图像；

以上步骤100至步骤300的过程，实现了对应于该三维的虚拟靶标的一个二维的实际投影结果；改变所述三维的虚拟靶标的坐标值中的一个或多个后，重复上述步骤100至步骤300，可以得到多个二维的实际投影结果；根据所得到的多个二维的实际投影结果中各角点的坐标值、及与各实际投影结果分别对应的虚拟投影结果中各角点的坐标值，对待标定的实际摄像头完成标定。

需要说明的是，本领域技术人员能够理解对于标定一个实际摄像头所需要的步骤300中的实际投影结果的数量，与虚拟靶标的三维形状、改变虚拟靶标坐标值所带来的虚拟靶标移动(旋转和/或平移等等)的方式等相关，这一次数可在实际应用时通过尝试的方式来确定，本发明的技术方案对该实际投影结果的数量并不做限定，只要最终能够完成对待标定的实际摄像头的标定即可。

本实施例中，所述虚拟靶标可以通过设置点(比如一系列角点)的三维空间坐标值来构造。

本实施例中，所述对虚拟靶标进行虚拟投影(第一次投影)的过程，可以看成是采用已知内部参数和外部参数的虚拟摄像头进行投影的过程，也可以看成是根据虚拟靶标的各坐标值按照预定规则进行计算的过程。其中，该预定规则可以根据已知内部参数和外部参数的虚拟摄像头来确定。

本实施例中，第一次投影为虚拟投影，可将一三维的虚拟靶标通过一虚拟摄像头虚拟投影到一个二维显示平面内形成一虚拟的靶标图像(即前述的虚拟投影结果)，比如在显示器、投影布等上投影。第二次投影为待标定的实际摄像头的实际投影，待标定的实际摄像头将对所述二维显示平面上的靶标图像再进行无任何空间移动的实际投影，从而获得三维的虚拟靶标的二次投影图像，也就是输入标定系统的像素坐标。这样就建立了一种虚拟靶标的三维坐标值与二维坐标值的一种对应关系，而在此过程中只有虚拟的空间移动(也就是改变所述虚拟靶标的坐标值)，不存在实际任何设备的任何物理的空间移动，因此避免了现有方法在进行工业生产时非常耗时的不足，大大提高了摄像头的标定效率。

图3描述的是本发明实施例的工作原理图，与图1所示现有的摄像头标定工作原理图相比有了很大的不同。图3中21为一电脑虚拟的空间靶标(实际并不存在相应的物理设备，后称虚拟靶标)，22为一电脑虚拟的摄像头(实际也不存在相应的物理设备，后称虚拟摄像头)，23为一二维的实际的显示屏幕(实际的物理设备)，虚拟的空间靶标21经过虚拟的摄像头22成像后，将成像结果显示到实际的显示屏幕23上，由虚拟的空间靶标21、虚拟的摄像头22以及实际的显示屏幕23一起完成前述所讲的第一次虚拟投影过程，这一过程是虚拟的投影过程。在此过程中已知虚拟的空间靶标21上各角点的详细信息，已知虚拟的摄像头22的全部内部参数和外部参数，已知虚拟的空间靶标21相对实际的显示屏幕23的全部空间信息。

24为待标定的实际摄像头，25为实际的显示屏幕23上虚拟的空间靶标21所成的图像经待标定的实际摄像头24后生成的实际投影图像。同样由实际的显示屏幕23、待标定的实际的摄像头24以及实际投影图像25构成了本发明前述所讲的第二次投影的过程，这一过程是实际的投影过程。

这样，虚拟靶标21上各角点的信息经过虚拟摄像头22的虚拟投影、实际摄像头24的真实投影后，与像素平面中的实际投影图像25建立了一种对应关系，通过调整虚拟靶标21的坐标值，可以提供足够的信息来求解实际摄像头24的内部参数和外部参数，以完成对实际摄像头24的标定。

在此过程中，只需要虚拟移动空间靶标21，而不存在任何实际设备的任何物理的空间移动，也就避免了图1所示现有技术中的不足，大大提高了摄像头的标定效率。

现有的摄像头标定计算原理关系式如式(1)所示：

$s{\tilde{m}}_1=P{\tilde{M}}_1---\left(1\right)$

为图1中实际靶标11各角点的三维空间坐标值，该实际靶标11不局限于张氏标定法中的靶标样式(平面棋盘格)，可以是任何形式的可用于计算的空间参照物。

为图1中实际摄像头12每次拍摄实际靶标11所获得的各角点的像素坐标值(平面坐标值)，即图像13上各角点的像素坐标值，

与一一对应。

s：为一任意的比例因子。

P：图1中，实际靶标11各角点在世界坐标系中的坐标值到图像13各角点像素坐标系(平面坐标系)坐标值的投影算子，对应的投影方式可以包括小孔投影、透视投影或者平行投影等多种投影方式，实际该算子内包含了实际摄像头12的内外参数信息。

本发明的实施例中，所述实际投影结果中各角点的坐标值可通过下式计算得到：

$s{\tilde{m}}_2=P_1{P}_2{\tilde{M}}_2---\left(2\right)$

图3中虚拟靶标21各角点的三维空间坐标值，同样虚拟靶标21也不局限于图中所示的棋盘格形式，也可以是任何形式的可用于计算的空间参照物。

图3中虚拟靶标21上各角点经虚拟摄像头22虚拟投影(第一次投影)和实际摄像头24实际投影(第二次投影)后对应的各角点的像素坐标值(平面坐标值)，即实际投影图像25上各角点的像素坐标值，

经两次投影后与一一对应。

P₂：图3中虚拟投影的投影算子，也即虚拟靶标21各角点在世界坐标系上的坐标值投影到显示屏幕23上虚拟靶标21各角点所成像的平面坐标(以显示屏幕23所在平面为Oxy平面所建立的平面坐标系)的投影算子，同样该投影包括了各种投影方式。

P₁：图3中实际投影的投影算子，也即显示屏幕23上虚拟靶标21各角点所成图像的坐标(以显示屏幕23所在平面为Oxy平面所建立的平面坐标系)到实际投影图像25各角点的像素坐标的投影算子，该投影也包括了各种投影方式，且P₂，P₁在选用投影方式上相互独立。

比较式(1)和(2)，具体以P₂，P₁选用小孔成像投影方式进一步说明。

根据小孔成像数学模型，此时有：

$P_2=\tilde{p}{A}_2[R_2,t_2],$ P₁＝A₁[R₁，t₁]                (3)

其中，

A₂表示虚拟摄像头22在小孔成像投影过程中的内部参数；

[R₂，t₂]表示虚拟摄像头22在小孔成像投影过程中的外部参数，A₂和[R₂，t₂]比如可以是旋转和平移参数；

为空间坐标点

经虚拟的小孔成像投影后所得的坐标点投影到实际屏幕23的投影矩阵(也即投影成虚拟投影结果中的投影矩阵)；

A₂，R₂，t₂均为已知量；

A₁表示待标摄像头小孔成像投影过程中的内部参数；

[R₁，t₁]表示待标摄像头小孔成像投影过程中的外部参数；

内部参数A₁为目标解，外部参数[R₁，t₁]为一固定值(因为实际摄像头24和显示屏幕23均为一确定的实际物，但未知)；

则在此种情况下式(2)可如下表示：

$s{\tilde{m}}_2=A_1[R_1,t_1]\tilde{p}{A}_2[R_2,t_2]{\tilde{M}}_2---\left(4\right)$

此时，可按照如图3所示的原理多次拍摄棋盘格建立足够数量的如表达式(4)所示的约束关系，然后联立采用相应的数学方法求解A₂和[R₂，t₂]。实验表明，最终所得的待标摄像头的内部参数和外部参数。

本发明的实施例还提供了一种标定摄像头的装置，其主要包括显示模块、控制模块以及标定模块，其中：

显示模块，用于显示对三维的虚拟靶标进行虚拟投影得到的二维的虚拟投影结果；

控制模块，用于改变所述虚拟靶标的空间坐标；

标定模块，用于根据多个实际投影结果中各角点的坐标值，以及与所述多个实际投影结果对应的虚拟投影结果中各角点的坐标值，对待标定摄像头进行标定；

其中，所述多个实际投影结果由所述待标定摄像头对所述虚拟投影结果进行实际投影获得。

该显示模块包括：

构造单元，用于通过设置点的三维空间坐标值来构造所述虚拟靶标；

虚拟投影单元，用于采用已知内部参数和外部参数的虚拟摄像头，对所述虚拟靶标进行所述虚拟投影，得到所述虚拟投影结果。

该标定模块用于通过下式获得所述实际投影结果中各角点的坐标值：

$s{\tilde{m}}_2=P_1{P}_2{\tilde{M}}_2;$

其中，

为所述虚拟靶标各角点的空间坐标信息；

为所述实际投影结果中各角点的平面坐标值；

P₂为所述虚拟投影的投影算子；

P₁为所述实际投影的投影算子；

s为比例因子。

本发明的实施例还提供了一种标定摄像头的系统，包括待标定摄像头以及如前所述的标定摄像头的装置。在本实施例中，该待标定摄像头对所述虚拟投影结果进行实际投影，获得所述多个实际投影结果。

本发明的实施例中，标定摄像头的装置以及标定摄像头的系统，请结合前述标定摄像头的方法进行理解。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (7)

1.一种标定摄像头的方法，包括：

对三维的虚拟靶标进行虚拟投影将得到的二维的虚拟投影结果进行显示，获取待标定摄像头对所述虚拟投影结果进行实际投影得到的二维的实际投影结果；

通过改变所述虚拟靶标的空间坐标，进行所述虚拟投影及实际投影，得到多个实际投影结果；

根据所述多个实际投影结果中各角点的坐标值，以及与所述多个实际投影结果对应的虚拟投影结果中各角点的坐标值，对所述待标定摄像头进行标定；

其中，所述对所述三维的虚拟靶标进行虚拟投影得到二维的虚拟投影结果，包括：

采用已知内部参数和外部参数的虚拟摄像头，对所述虚拟靶标进行所述虚拟投影，得到所述虚拟投影结果。

2.根据权利要求1所述的方法，其中：

通过设置点的三维空间坐标值来构造所述虚拟靶标。

3.根据权利要求1所述的方法，其中，所述实际投影结果中各角点的坐标值通过下式获得：

$s{\tilde{m}}_2=P_1{P}_2{\tilde{M}}_2;$

其中，

为所述虚拟靶标各角点的空间坐标信息；

为所述实际投影结果中各角点的平面坐标值；

P₂为所述虚拟投影的投影算子；

P₁为所述实际投影的投影算子；

s为比例因子。

4.根据权利要求3所述的方法，其中，所述虚拟投影及所述实际投影采用小孔成像投影方式时：

$P_2=\tilde{p}{A}_2[R_2,t_2],$ 以及

P₁=A₁[R₁,t₁]；

其中：

A₂表示虚拟摄像头在所述小孔成像投影过程中的内部参数；

[R₂,t₂]表示所述虚拟摄像头在所述小孔成像投影过程中的外部参数；

经虚拟的所述小孔成像投影后所得的坐标点在投影成所述虚拟投影结果中的投影矩阵；

A₁表示实际摄像头在所述小孔成像投影过程中的内部参数；

[R₁,t₁]表示所述实际摄像头在所述小孔成像过程中的外部参数。

5.一种标定摄像头的装置，包括：

显示模块，用于显示对三维的虚拟靶标进行虚拟投影得到的二维的虚拟投影结果；

控制模块，用于改变所述虚拟靶标的空间坐标；

标定模块，用于根据多个实际投影结果中各角点的坐标值，以及与所述多个实际投影结果对应的虚拟投影结果中各角点的坐标值，对待标定摄像头进行标定；

其中，所述多个实际投影结果由所述待标定摄像头对所述虚拟投影结果进行实际投影获得；

所述显示模块包括：构造单元，用于通过设置点的三维空间坐标值来构造所述虚拟靶标；

虚拟投影单元，用于采用已知内部参数和外部参数的虚拟摄像头，对所述虚拟靶标进行所述虚拟投影，得到所述虚拟投影结果。

6.根据权利要求5所述的装置，其中：

所述标定模块用于通过下式获得所述实际投影结果中各角点的坐标值：

$s{\tilde{m}}_2=P_1{P}_2{\tilde{M}}_2;$

其中，

为所述虚拟靶标各角点的空间坐标信息；

为所述实际投影结果中各角点的平面坐标值；

P₂为所述虚拟投影的投影算子；

P₁为所述实际投影的投影算子；

s为比例因子。

7.一种标定摄像头的系统，包括待标定摄像头以及如权利要求5或6所述的标定摄像头的装置，其中：

所述待标定摄像头对所述虚拟投影结果进行实际投影，获得所述多个实际投影结果。

Images