CN110969662B - 鱼眼摄像机内参标定方法、装置、标定装置控制器和系统 - Google Patents

Abstract

本申请提供的鱼眼摄像机内参标定方法，包括：确定各个标记物相对于待标定的摄像机的目标摆放角度，以将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度；其中，所述标定装置覆盖所述摄像机的全部视野，且所述各个标记物在所述摄像机的视野的高度方向和宽度方向上均匀分布；获取所述摄像机在当前视野下采集的目标图像；所述目标图像包含处于各个目标位置时的所述各个标记物，任意一个标记物的所述目标位置是与所述标记物的所述目标摆放角度匹配的物理位置；依据所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标以及在标记物物理坐标系下的位置信息，标定所述摄像机的内参。

Description

鱼眼摄像机内参标定方法、装置、标定装置控制器和系统

技术领域

本申请涉及摄像机技术领域，尤其涉及一种鱼眼摄像机内参标定方法、装置、标定装置控制器和系统。

背景技术

摄像机几何模型参数的获取过程被称为摄像机的标定，它是图像处理和计算机视觉领域中从二维图像提取三维空间信息必不可少的步骤，被广泛应用于三维重建、导航、视觉监控等领域。因此，如何进行摄像机的标定，获取摄像机几何模型参数及其重要。

摄像机标定在一定的摄像机模型下，经过对图像进行处理，利用一系列数据变换和计算方法，求取摄像机几何模型参数。传统的标定方法中，通过获取同一标记物在不同位置的多张图像，进而基于这多张图像获取摄像机的内参。这样，需要人工将标记物放置在不同位置，进而采集标记物在不同位置的多张图像，比较耗时，标定效率较低。

发明内容

有鉴于此，本申请提供一种鱼眼摄像机内参标定方法、装置、标定装置控制器和系统，以提供一种标定效率较高的标定方法。

本申请第一方面提供一种鱼眼摄像机内参标定方法，所述方法应用于标定装置控制器，所述方法包括：

确定各个标记物相对于待标定的摄像机的目标摆放角度，以将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度；其中，所述标定装置覆盖所述摄像机的全部视野，且所述各个标记物在所述摄像机的视野的高度方向和宽度方向上均匀分布；

获取所述摄像机在当前视野下采集的目标图像；所述目标图像包含处于各个目标位置时的所述各个标记物，任意一个标记物的所述目标位置是与所述标记物的所述目标摆放角度匹配的物理位置；

依据所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标以及在标记物物理坐标系下的位置信息，标定所述摄像机的内参

本申请第二方面提供一种摄像机的标定装置，所述装置应用于标定装置控制器，标定装置包括多个标定架，任意一个所述标定架上固定有多个标记物，所述装置包括确定模块、获取模块和处理模块，其中，

所述确定模块，用于确定各个标记物相对于待标定的摄像机的目标摆放角度，以将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度；其中，所述标定装置覆盖所述摄像机的全部视野，且所述各个标记物在所述摄像机的视野的高度方向和宽度方向上均匀分布；

所述获取模块，用于获取所述摄像机在当前视野下采集的目标图像；所述目标图像包含处于各个目标位置时的所述各个标记物，任意一个标记物的所述目标位置是与所述标记物的所述目标摆放角度匹配的物理位置；

所述处理模块，用于依据所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标以及在标记物物理坐标系下的位置信息，标定所述摄像机的内参。

本申请第三方面提供一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请第一方面提供的任一项所述方法的步骤。

本申请第四方面提供一种标定装置控制器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请第一方面提供的任一项所述方法的步骤。

本申请第五方面提供一种鱼眼摄像机内参标记系统，所述系统包括标定装置和摄像机，所述摄像机中包括标定装置控制器，或者所述系统包括标定装置、摄像机和标定装置控制器；其中，

所述标定装置包括多个标定架，任意一个所述标定架上固定有多个标记物；

所述摄像机，用于在当前视野下采集包含所述各个标记物的目标图像，所述目标图像包含处于各个目标位置时的所述各个标记物，任意一个标记物的所述目标位置是与所述标记物的目标摆放角度匹配的物理位置；

所述标定装置控制器，用于：

确定各个标记物相对于所述摄像机的所述目标摆放角度，以将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度；所述标定装置覆盖所述摄像机的全部视野，且所述各个标记物在所述摄像机的视野的高度方向和宽度方向上均匀分布；

获取所述摄像机采集的所述目标图像，并依据所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标以及在标记物物理坐标系下的位置信息，标定所述摄像机的内参。

本申请提供的鱼眼摄像机内参标定方法、装置、标定控制器和系统，通过确定各个标记物相对于待标定的摄像机的目标摆放角度，以将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度；其中，所述标定装置覆盖所述摄像机的全部视野，且所述各个标记物在所述摄像机的视野的高度方向和宽度方向上均匀分布；进而获取所述摄像机在当前视野下采集的目标图像；所述目标图像包含处于各个目标位置时的所述各个标记物，任意一个标记物的所述目标位置是与所述标记物的所述目标摆放角度匹配的物理位置，从而依据所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标以及在标记物物理坐标系下的位置信息，标定所述摄像机的内参。这样，基于一张图像即可完成摄像机标定，标定效率较高。此外，通过将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度，这样，使得摄像机采集到的目标图像较清晰，进而使得基于该目标图像获取的内参较准确。

附图说明

图1为本申请提供的鱼眼摄像机内参标定方法实施例一的流程图；

图2为本申请一示例性实施例示出的标定装置的示意图；

图3为本申请一示例性实施例示出的鱼眼摄像机的成像原理图；

图4为本申请一示例性实施例示出的鱼眼摄像机内参标定方法的流程图；

图5为本申请一示例性实施例示出的重投影的示意图；

图6为本申请一示例性实施例示出的鱼眼摄像机内参标定装置所在标定装置控制器的硬件结构图；

图7为本申请提供的鱼眼摄像机内参标定装置实施例一的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请提供一种鱼眼摄像机内参标定方法、装置、标定装置控制器和系统，以提供一种标定效率较高的标定方法。

本申请提供的鱼眼摄像机内参标定方法和装置，可应用于标定装置控制器中。该标定装置控制器可以集成在鱼眼摄像机中。

下面给出几个具体的实施例，用以详细介绍本申请的技术方案。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图1为本申请提供的鱼眼摄像机内参标定方法实施例一的流程图。请参照图1，本实施例提供的鱼眼摄像机内参标定方法，可以包括：

S101、确定各个标记物相对于待标定的摄像机的目标摆放角度，以将各个标记物相对于上述摄像机的摆放角度调整至上述目标摆放角度；其中，各个标记物组成的标定装置覆盖上述摄像机的全部视野，且上述各个标记物在上述摄像机的视野的高度方向和宽度方向上均匀分布。

具体的，图2为本申请一示例性实施例示出的标定装置的示意图。请参照图2，标定装置包括多个标定架，任意一个所述标定架上固定有多个标记物，标定架的位置可灵活设置，标定架上的标记物的安装角度和高度可调整，标定装置覆盖摄像机的全部视野。可选的，各个标记物在摄像机的视野的高度方向和宽度方向上均匀分布。例如，在图2所示实施例中，多个标记物包含设置在不同标定架上的15个标记物。需要说明的是，如图2所示，标记物可以为棋盘格标记板。

此外，该步骤的具体实现过程，可以包括：

(1)依据所述摄像机采集的参考图像估算所述摄像机的内参；所述参考图像包含处于各个初始位置时的所述各个标记物，任意一个标记物的所述初始位置是与所述标记物的初始摆放角度匹配的物理位置。

参考图像是在未调整标记物相对于摄像机的摆放角度之前采集到的图像。进一步地，有关依据所述摄像机采集的参考图像估算所述摄像机的内参的具体实现原理和实现过程可以参照下面实施例中的描述，此处不再赘述。

(2)针对每一所述标记物，依据估算的内参、该标记物的中心点在所述参考图像中的像素坐标，计算来自所述中心点的入射光与所述摄像机光轴之间的第一夹角以及所述中心点在摄像机坐标系XOY平面的投影点与摄像机坐标系X轴正方向之间的第二夹角。

图3为本申请一示例性实施例示出的鱼眼摄像机的成像原理图。请参照图3，O_c为摄像机坐标系原点，Xc、Yc、Zc为摄像机坐标系的坐标轴；P为空间中的一个三维点，本例中，假设P点为标记物的中心点，P1为该点在摄像机坐标系XOY平面的投影点，图3中的θ为第一夹角，图3中的a为第二夹角。需要说明的是，有关鱼眼摄像机的成像原理将在下面的实施例中详细介绍，此处不再赘述。

具体的，可按照如下公式计算第一夹角和第二夹角：

θ_d＝θ(1+k₁θ²+k₂θ⁴+k₃θ⁶+k₄θ⁸)

其中，x_w，y_w为归一化后的畸变坐标，x_distort，y_distort为中心点在参考图像中的像素坐标，θ可以通过高斯牛顿迭代法计算出来。其中，θ为第一夹角；a为第二夹角。需要说明的是，根据几何关系可知，a等于图3中的

(3)将所述第一夹角和所述第二夹角确定为所述目标摆放角度。

具体的，当计算得到第一夹角和第二夹角后，此时，就将第一夹角和第二夹角确定为所述目标摆放角度。这样，标定人员可基于该第一夹角和第二夹角调整标记物相对于摄像机的摆放角度，以使标记物上的中心点与摄像机坐标系原点的连线与摄像机坐标系Y轴正方向的夹角等于第一夹角，并使该标记物上的中心点在摄像机坐标系XOY平面上的投影点与摄像机坐标系X轴正方向之间的夹角等于第二夹角。

本实施例提供的方法，通过确定各个标记物相对于待标定的摄像机的目标摆放角度，进而将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度。这样，可保证采集到的目标图像的成像效果清晰，进而基于清晰的目标图像进行摄像机的标定，可提高获取到的内参的精度。

S102、获取上述摄像机在当前视野下采集的目标图像，上述目标图像包含处于各个目标位置时的所述各个标记物，任意一个标记物的上述目标位置是与上述标记物的上述目标摆放角度匹配的物理位置。

具体的，当调整好各个标记物的摆放角度后，就控制摄像机采集目标图像，进而获取摄像机采集到的目标图像。

本实施例提供的方法，不需要像现有技术，需要采集同一个标记物在不同位置的多个图像，可提高标定的效率。

S103、依据上述目标图像中各个标记物的指定点在上述目标图像中的像素坐标以及在标记物物理坐标系下的位置信息，标定上述摄像机的内参。

具体的，内参指的是与摄像机自身特性相关的参数，包括摄像机的焦距、主点坐标和畸变系数等。例如，针对鱼眼摄像机来说，内参包括主点(2个)、焦距(2个)和畸变系数(4个)，共包括8个参数。

具体的，图4为本申请一示例性实施例示出的摄像机的标定方法的流程图。请参照图4，本实施例中，该步骤的具体实现过程，可以包括：

S301、在初始，将内参初始值作为目标参考内参，将外参初始值作为目标参考外参。

具体的，步骤S301之前，还包括：检测上述目标图像中的各个标记物上的指定点，并获取上述指定点在目标图像中的像素坐标以及上述指定点在标记物物理坐标系下的位置信息。

具体的，标记物上的指定点是根据实际需要设定的，例如，一实施例中，标记物上的指定点可以是标记物的角点。具体的，可利用类棋盘格模板算子与目标图像进行卷积，利用能量投票方法计算相识度高的棋盘格位置，再利用区域生长和亚像素化棋盘格角点检测目标图像中的各个标记物的角点。这样，检测到角点后，即可得到该角点在上述目标图像中的像素坐标。

此外，标记物物理坐标系以标记物的左上角为坐标原点，标记物的宽度方向为X轴(远离左上角的一侧为正方向)，该标记物的高度方向为Y轴(远离左上角的一侧为正方向)，这样，针对一标记物上的指定点，可依据目标图像，确定该指定点在目标图像上相对于该标记物左上角的位置，进而基于该位置获取该指定点在标记物物理坐标系下的位置信息。

S302、依据上述目标参考内参和上述目标参考外参、以及上述目标图像中各个标记物的指定点在上述目标图像中的像素坐标，基于预先构建的图像坐标系与标记物物理坐标系的对应关系，将各个标记物的指定点从上述目标图像投影至上述标记物物理坐标系得到上述指定点在上述标记物物理坐标系下的投影位置信息。

进一步地，请继续参照图3，其中，O_c为摄像机坐标系原点，Xc、Yc、Zc为摄像机坐标系的坐标轴；o为图像坐标系原点；x、y为图像坐标系的坐标轴；针对空间中的一个三维点P，其在该鱼眼摄像机下的成像点为p，其在针孔摄像机下的成像点为q；θ为入射光线与摄像机光轴之间的夹角；为径向距离r与图像坐标系x轴正方向之间的夹角；r为鱼眼摄像机成像点p距离图像坐标系原点的径向距离；f为鱼眼摄像机的焦距。基于鱼眼摄像机的成像原理可知，预先构建的图像坐标系与标记物物理坐标系的对应关系可用公式(1)-(13)表示：

x＝X_c (2)

y＝Y_c (3)

z＝Z_c (4)

a＝x/z (5)

b＝y/z (6)

r²＝a²+b² (7)

θ＝atan(r) (8)

θ_d＝θ(1+k₁θ²+k₂θ⁴+k₃θ⁶+k₄θ⁸) (9)

x′＝(θ_d/r)a (10)

y′＝(θ_d/r)b (11)

u＝f_x(x′+αy′)+c_x (12)

v＝f_yy′+c_y (13)

其中，X，Y，Z为空间中的三维点在标记物物理坐标系下的位置信息，R₁和T₁为标记物物理坐标系转换到摄像机坐标系的旋转量和平移量，即摄像机的外参，k1-k4为内参畸变系数，c_x和c_y为内参主点，f_x和f_y为内参焦距，u，v为该三维点对应的成像点在图像坐标系下的像素坐标。

具体的，可依据上述指定点在目标图像中的像素坐标，利用公式(13)-(1)计算将指定点从目标图像投影至标记物物理坐标系得到指定点在标记物坐标下的投影位置信息。即可根据公式(13)-(2)，反推目标图像到畸变矫正图(即根据u、v得到Xc、Yc、Zc)，进而根据公式(1)由畸变矫正图计算指定点在标记物物理坐标系下的投影位置信息(即计算得到X、Y、Z)。

例如，图5为本申请一示例性实施例示出的重投影的实现原理图。参照图5，参见前面的介绍，标记物的左上角为标记物物理坐标系原点，在标记物平面上建立标记物物理坐标系，Z方向坐标为0，等价于标记物摆放在地面上。此时，可依据指定点在目标图像中的像素坐标，正向计算该指定点在标记物物理坐标系下的投影位置信息。

S303、依据各个标记物的指定点在上述标记物物理坐标系下的位置信息和在上述标记物物理坐标系下的投影位置信息计算重投影误差，依据上述重投影误差更新上述目标参考内参和上述目标参考外参。

具体的，可按照如下公式计算重投影误差：

其中，w为重投影误差；

(X_iY_i)为指定点在标记物物理坐标系下的投影点在标记物物理坐标系下的位置信息；

(X_i0Y_i0)为该指定点在标记物物理坐标系下的位置信息；

m为所有标记物上的指定点的数量。

需要说明的是，现有技术中，通过将指定点从标记物物理坐标系投影到目标图像计算重投影误差。这样，当标记物摆放的距离距摄像机较远时，该标记物所在区域在目标图像上所占比例较少。当通过将指定点从标记物物理坐标系投影到目标图像计算重投影误差时，无法排除小的重投影误差是否是因标记物所在区域在目标图像上所占比例较少引起的，即无法准确度量内参的误差。

本实施例提供的方法，无论标记物如何摆放，标记物的实际大小是不变的，这样，通过将指定点从目标图像投影到标记物物理坐标系下，进而基于该指定点的投影点在标记物坐标下的位置信息和该指定点的位置信息计算重投影误差，可准备度量内参的误差。这样，使得获取到的内参的精度较高。

进一步地，可基于高斯迭代法迭代更新内参和外参。例如，可按照如下公式迭代更新内参和外参：

β^(k+1)＝β^k+(J^TJ)^-1J^Tw

其中，β^(k+1)为更新后的内参或外参；

β^k为更新前的内参或外参；

w为计算得到的重投影误差；

J为雅克比矩阵。

需要说明的是，雅克比矩阵，可通过如下方法获得：

具体的，针对标记物上的指定点，有：

X＝f1(u,f_x,f_y,c_x,c_y,k_x1,k_x2,k_x3,k_x4,r₁,r₂,r₃,t₁,t₂,t₃)

Y＝f2(v,f_x,f_y,c_x,c_y,k_x1,k_x2,k_x3,k_x4,r₁,r₂,r₃,t₁,t₂,t₃)

其中，u，v为指定点在目标图像中的像素坐标，X，Y为该指定点在标记物物理坐标系下的位置信息；

f_x,f_y,c_x,c_y,k_x,k_x,k_x,k_x为内参，r,r₂,r₃,t₁,t₂,为外参。其中，内参和外参均为未知数。

这样，针对所有标记物，若共有m个指定点，则有如下方程，进一步地，对下述方程求偏导，即可得到雅克比矩阵：

具体的，有关基于高斯迭代法迭代更新内参和外参的具体实现原理和实现方可以参照相关技术中的描述，此处不再赘述。

S304、判断内参标定条件是否满足，如果是，执行步骤S305，如果否，执行步骤S306。

具体的，该步骤的实现过程，可以包括：

(1)判断目标参考内参的更新次数是否达到预设次数，或者，判断所述重投影误差是否小于或等于预设阈值；

(2)如果是，确定满足内参标定条件，如果否，确定不满足内参标定条件。

具体的，预设次数和预设阈值是根据实际需要设定的，本实施例中，不对此进行限定。

S305、将上述摄像机的内参确定为更新后的目标参考内参。

S306、将更新后的目标参考内参确定为上述目标参考内参，将更新后的目标参考外参确定为上述目标参考外参，返回执行步骤S302。

本实施例提供的方法，通过确定各个标记物相对于待标定的摄像机的目标摆放角度，以将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度；其中，所述标定装置覆盖所述摄像机的全部视野，且所述各个标记物在所述摄像机的视野的高度方向和宽度方向上均匀分布；进而获取所述摄像机在当前视野下采集的目标图像；所述目标图像包含处于各个目标位置时的所述各个标记物，任意一个标记物的所述目标位置是与所述标记物的所述目标摆放角度匹配的物理位置；从而依据所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标以及在标记物物理坐标系下的位置信息，标定所述摄像机的内参。这样，基于一张图像即可完成摄像机标定，标定效率较高。此外，通过将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度，这样，使得摄像机采集到的目标图像较清晰，进而使得基于该目标图像获取的内参较准确。

与前述鱼眼摄像机内参标定方法的实施例相对应，本申请还提供了鱼眼摄像机内参标定装置的实施例。

本申请鱼眼摄像机内参标定装置的实施例可以应用在标定装置控制器上。该标定装置控制器可以集成在鱼眼摄像机上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在标定装置控制器的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本申请一示例性实施例示出的鱼眼摄像机内参标定装置所在标定装置控制器的硬件结构图，除了图6所示的存储器610、处理器620、内存630和网络接口640之外，实施例中装置所在的标定装置控制器通常根据该鱼眼摄像机内参标定装置的实际功能，还可以包括其他硬件，对此不再赘述。

图7为本申请提供鱼眼摄像机内参标定装置实施例一的结构示意图。请参照图7，本实施例提供的装置，可以包括确定模块710、获取模块720和处理模块730，其中，

所述确定模块710，用于确定各个标记物相对于待标定的摄像机的目标摆放角度，以将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度；其中，所述标定装置覆盖所述摄像机的全部视野，且所述各个标记物在所述摄像机的视野的高度方向和宽度方向上均匀分布；

所述获取模块720，用于获取所述摄像机在当前视野下采集的目标图像；所述目标图像包含处于各个目标位置时的所述各个标记物，任意一个标记物的所述目标位置是与所述标记物的所述目标摆放角度匹配的物理位置；

所述处理模块730，用于依据所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标以及在标记物物理坐标系下的位置信息，标定所述摄像机的内参。

本实施例的装置，可用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

进一步地，所述确定模块710，具体用于：

依据所述摄像机采集的参考图像估算所述摄像机的内参；所述参考图像包含处于各个初始位置时的所述各个标记物，任意一个标记物的所述初始位置是与所述标记物的初始摆放角度匹配的物理位置；

针对每一所述标记物，依据估算的内参、该标记物的中心点在所述参考图像中的像素坐标，计算来自所述中心点的入射光与所述摄像机光轴之间的第一夹角以及所述中心点在摄像机坐标系XOY平面的投影点与图像坐标系X轴正方向之间的第二夹角；

将所述第一夹角和所述第二夹角确定为所述目标摆放角度。

进一步地，所述处理模块730，具体用于执行以下步骤：

步骤1，在初始，将内参初始值作为目标参考内参，将外参初始值作为目标参考外参；

步骤2，依据所述目标参考内参和所述目标参考外参、以及所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标，将各个标记物的指定点从所述目标图像投影至所述标记物物理坐标系得到所述指定点在所述标记物物理坐标系下的投影位置信息；

步骤3，依据各个标记物的指定点在所述标记物物理坐标系下的位置信息和在所述标记物物理坐标系下的投影位置信息计算重投影误差，依据所述重投影误差更新所述目标参考内参和所述目标参考外参；

步骤4，判断内参标定条件是否满足，如果是，将所述摄像机的内参确定为更新后的目标参考内参，如果否，将更新后的目标参考内参确定为所述目标参考内参，将更新后的目标参考外参确定为所述目标参考外参，返回执行步骤2。

进一步地，所述处理模块730，具体用于：

判断目标参考内参的更新次数是否达到预设次数，或者，判断所述重投影误差是否小于或等于预设阈值；

如果是，确定满足内参标定条件，如果否，确定不满足内参标定条件。

本申请还提供一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请提供的任一项所述方法的步骤。

具体的，适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。

请继续参照图6，本申请还提供一种标定装置控制器，包括存储器610、处理器620及存储在存储器610上并可在处理器620上运行的计算机程序，所述处理器执行所述程序时实现本申请提供的任一项所述方法的步骤。

本申请还提供一种鱼眼摄像机内参标记系统，所述系统包括标定装置和摄像机，所述摄像机中包括标定装置控制器，或者所述系统包括标定装置、摄像机和标定装置控制器；其中，

所述标定装置包括多个标记架，任意一个所述标定架上固定有多个标记物；

所述摄像机，用于在当前视野下采集包含所述各个标记物的目标图像，所述目标图像包含处于各个目标位置时的所述各个标记物，任意一个标记物的所述目标位置是与所述标记物的目标摆放角度匹配的物理位置；

所述标定装置控制器，用于：

确定各个标记物相对于所述摄像机的所述目标摆放角度，以将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度；所述标定装置覆盖所述摄像机的全部视野，且所述各个标记物在所述摄像机的视野的高度方向和宽度方向上均匀分布；

获取所述摄像机采集的所述目标图像；

依据所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标以及在标记物物理坐标系下的位置信息，标定所述摄像机的内参。

具体的，标定装置的具体结构可以参见图2，此处不再赘述。此外，标定装置控制器可以集成在鱼眼摄像机中。

进一步地，所述摄像机，还用于采集包含所述多个标记物的参考图像；所述参考图像包含处于各个初始位置时的所述各个标记物，任意一个标记物的所述初始位置是与所述标记物的初始摆放角度匹配的物理位置；

所述标定装置控制器，还用于：

获取所述摄像机采集的所述参考图像，并依据所述参考图像估算所述摄像机的内参；

针对每一所述标记物，依据估算的内参、该标记物的中心点在所述参考图像中的像素坐标，计算来自所述中心点的入射光与所述摄像机光轴之间的第一夹角以及所述中心点在摄像机坐标系XOY平面的投影点与图像坐标系X轴正方向之间的第二夹角；

将所述第一夹角和所述第二夹角确定为所述目标摆放角度。

进一步地，所述标定装置控制器，还用于执行以下步骤：

步骤1，在初始，将内参初始值作为目标参考内参，将外参初始值作为目标参考外参；

步骤2，依据所述目标参考内参和所述目标参考外参、以及所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标，基于预先构建的图像坐标系与标记物物理坐标系的对应关系，将各个标记物的指定点从所述目标图像投影至所述标记物物理坐标系得到所述指定点在所述标记物物理坐标系下的投影位置信息；

步骤3，依据各个标记物的指定点在所述标记物物理坐标系下的位置信息和在所述标记物物理坐标系下的投影位置信息计算重投影误差，依据所述重投影误差更新所述目标参考内参和所述目标参考外参；

步骤4，判断内参标定条件是否满足，如果是，将所述摄像机的内参确定为更新后的目标参考内参，如果否，将更新后的目标参考内参确定为所述目标参考内参，将更新后的目标参考外参确定为所述目标参考外参，返回执行步骤2。

进一步地，所述标定装置控制器，还用于：

判断目标参考内参的更新次数是否达到预设次数，或者，判断所述重投影误差是否小于或等于预设阈值；

如果是，确定满足内参标定条件，如果否，确定不满足内参标定条件。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (8)

1.一种鱼眼摄像机内参标定方法，其特征在于，所述方法应用于标定装置控制器，标定装置包括多个标定架，任意一个所述标定架上固定有多个标记物，所述方法包括：

确定各个标记物相对于待标定的摄像机的目标摆放角度，以将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度；其中，所述标定装置覆盖所述摄像机的全部视野，且所述各个标记物在所述摄像机的视野的高度方向和宽度方向上均匀分布；

获取所述摄像机在当前视野下采集的目标图像；所述目标图像包含处于各个目标位置时的所述各个标记物，任意一个标记物的所述目标位置是与所述标记物的所述目标摆放角度匹配的物理位置；

依据所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标以及在标记物物理坐标系下的位置信息，标定所述摄像机的内参，包括：

步骤1，在初始，将内参初始值作为目标参考内参，将外参初始值作为目标参考外参；

步骤2，依据所述目标参考内参和所述目标参考外参、以及所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标，基于预先构建的图像坐标系与标记物物理坐标系的对应关系，将各个标记物的指定点从所述目标图像投影至所述标记物物理坐标系得到所述指定点在所述标记物物理坐标系下的投影位置信息；

步骤3，依据各个标记物的指定点在所述标记物物理坐标系下的位置信息和在所述标记物物理坐标系下的投影位置信息计算重投影误差，依据所述重投影误差更新所述目标参考内参和所述目标参考外参；

步骤4，判断内参标定条件是否满足，如果是，将所述摄像机的内参确定为更新后的目标参考内参，如果否，将更新后的目标参考内参确定为所述目标参考内参，将更新后的目标参考外参确定为所述目标参考外参，返回执行步骤2。

2.根据权利要求1所述的方法，其特征在于，所述确定各个标记物相对于待标定的摄像机的目标摆放角度，包括：

依据所述摄像机采集的参考图像估算所述摄像机的内参；所述参考图像包含处于各个初始位置时的所述各个标记物，任意一个标记物的所述初始位置是与所述标记物的初始摆放角度匹配的物理位置；

针对每一所述标记物，依据估算的内参、该标记物的中心点在所述参考图像中的像素坐标，计算来自所述中心点的入射光与所述摄像机光轴之间的第一夹角以及所述中心点在摄像机坐标系XOY平面的投影点与摄像机坐标系X轴正方向之间的第二夹角；

将所述第一夹角和所述第二夹角确定为所述目标摆放角度。

3.根据权利要求1所述的方法，其特征在于，所述判断内参标定条件是否满足，包括：

判断目标参考内参的更新次数是否达到预设次数，或者，判断所述重投影误差是否小于或等于预设阈值；

如果是，确定满足内参标定条件，如果否，确定不满足内参标定条件。

4.一种鱼眼摄像机内参标定装置，其特征在于，所述装置应用于标定装置控制器，标定装置包括多个标定架，任意一个所述标定架上固定有多个标记物，所述装置包括确定模块、获取模块和处理模块，其中，

所述确定模块，用于确定各个标记物相对于待标定的摄像机的目标摆放角度，以将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度；其中，所述标定装置覆盖所述摄像机的全部视野，且所述各个标记物在所述摄像机的视野的高度方向和宽度方向上均匀分布；

所述获取模块，用于获取所述摄像机在当前视野下采集的目标图像；所述目标图像包含处于各个目标位置时的所述各个标记物，任意一个标记物的所述目标位置是与所述标记物的所述目标摆放角度匹配的物理位置；

所述处理模块，用于依据所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标以及在标记物物理坐标系下的位置信息，标定所述摄像机的内参；

所述处理模块，具体用于执行以下步骤：

步骤1，在初始，将内参初始值作为目标参考内参，将外参初始值作为目标参考外参；

步骤2，依据所述目标参考内参和所述目标参考外参、以及所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标，基于预先构建的图像坐标系与标记物物理坐标系的对应关系，将各个标记物的指定点从所述目标图像投影至所述标记物物理坐标系得到所述指定点在所述标记物物理坐标系下的投影位置信息；

步骤3，依据各个标记物的指定点在所述标记物物理坐标系下的位置信息和在所述标记物物理坐标系下的投影位置信息计算重投影误差，依据所述重投影误差更新所述目标参考内参和所述目标参考外参；

步骤4，判断内参标定条件是否满足，如果是，将所述摄像机的内参确定为更新后的目标参考内参，如果否，将更新后的目标参考内参确定为所述目标参考内参，将更新后的目标参考外参确定为所述目标参考外参，返回执行步骤2。

5.根据权利要求4所述的装置，其特征在于，所述确定模块，具体用于：

依据所述摄像机采集的参考图像估算所述摄像机的内参；所述参考图像包含处于各个初始位置时的所述各个标记物，任意一个标记物的所述初始位置是与所述标记物的初始摆放角度匹配的物理位置；

针对每一所述标记物，依据估算的内参、该标记物的中心点在所述参考图像中的像素坐标，计算来自所述中心点的入射光与所述摄像机光轴之间的第一夹角以及所述中心点在摄像机坐标系XOY平面的投影点与摄像机坐标系X轴正方向之间的第二夹角；

将所述第一夹角和所述第二夹角确定为所述目标摆放角度。

6.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-3任一项所述方法的步骤。

7.一种标定装置控制器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-3任一项所述方法的步骤。

8.一种鱼眼摄像机内参标记系统，其特征在于，所述系统包括标定装置和摄像机，所述摄像机中包括标定装置控制器，或者所述系统包括标定装置、摄像机和标定装置控制器；其中，

所述标定装置包括多个标定架，任意一个所述标定架上固定有多个标记物；

所述摄像机，用于在当前视野下采集包含所述各个标记物的目标图像；所述目标图像包含处于各个目标位置时的所述各个标记物，任意一个标记物的所述目标位置是与所述标记物的目标摆放角度匹配的物理位置；

所述标定装置控制器，用于：

确定各个标记物相对于所述摄像机的所述目标摆放角度，以将各个标记物相对于所述摄像机的摆放角度调整至所述目标摆放角度；所述标定装置覆盖所述摄像机的全部视野，且所述各个标记物在所述摄像机的视野的高度方向和宽度方向上均匀分布；

获取所述摄像机采集的所述目标图像，并依据所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标以及在标记物物理坐标系下的位置信息，标定所述摄像机的内参，包括：

步骤1，在初始，将内参初始值作为目标参考内参，将外参初始值作为目标参考外参；

步骤2，依据所述目标参考内参和所述目标参考外参、以及所述目标图像中各个标记物的指定点在所述目标图像中的像素坐标，基于预先构建的图像坐标系与标记物物理坐标系的对应关系，将各个标记物的指定点从所述目标图像投影至所述标记物物理坐标系得到所述指定点在所述标记物物理坐标系下的投影位置信息；

步骤3，依据各个标记物的指定点在所述标记物物理坐标系下的位置信息和在所述标记物物理坐标系下的投影位置信息计算重投影误差，依据所述重投影误差更新所述目标参考内参和所述目标参考外参；

步骤4，判断内参标定条件是否满足，如果是，将所述摄像机的内参确定为更新后的目标参考内参，如果否，将更新后的目标参考内参确定为所述目标参考内参，将更新后的目标参考外参确定为所述目标参考外参，返回执行步骤2。