CN110136207A - 鱼眼相机标定系统、方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种鱼眼相机标定系统、方法、装置、电子设备及存储介质。所述系统包括半球面标靶，鱼眼相机以及电子设备：所述半球面标靶包括半球形内表面以及设置于所述半球形内表面的多个标记点；所述鱼眼相机用于拍摄所述半球面标靶，采集标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像；所述电子设备用于获取k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值，使用Levenberg‑Marquardt算法对k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机的成像模型参数。通过半球面标靶，不需要移动标靶或相机采集多幅标靶图像，只采集一幅标靶图像即可实现鱼眼相机的快速和高精度的标定。

Description

鱼眼相机标定系统、方法、装置、电子设备及存储介质

技术领域

本申请涉及相机标定技术领域，更具体地，涉及一种鱼眼相机标定系统、方法、装置、电子设备及存储介质。

背景技术

相机标定是机器视觉、摄影测量、3D成像和图像几何校正等工作中的关键技术之一，它的主要作用是估计相机的内外参数。标定结果的精度和标定算法的稳定性直接影响后续工作的准确性。一般的标定方法中，需要采集多张图像，因此需要人为的移动标定板或是相机，在实际的应用中，不仅费时费力，也增加了生产的成本。

发明内容

本申请提出了一种鱼眼相机标定系统、方法、装置、电子设备及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种鱼眼相机的标定系统，该系统包括半球面标靶，鱼眼相机以及电子设备。所述半球面标靶包括半球形内表面以及设置于所述半球形内表面的多个标记点；所述鱼眼相机用于拍摄所述半球面标靶，采集标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像；所述电子设备用于根据所述标靶图像，将选取的径向畸变模型与等距投影模型进行拟合，获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值；所述电子设备还用于根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹计算得到半径r_max，其中，θ_max表示最大视场角；所述电子设备还用于获取m_u，m_v的初始值，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数；所述电子设备用于使用Levenberg-Marquardt算法对k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机的成像模型参数。

第二方面，本申请实施例提供了一种鱼眼相机标定方法，该方法包括：获取标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像；根据所述标靶图像，将选取的径向畸变模型与等距投影模型进行拟合，获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值；根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹计算得到半径r_max，其中，θ_max表示最大视场角；获取m_u，m_v的初始值，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数；使用Levenberg-Marquardt算法对k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机的成像模型参数。

第三方面，本申请实施例提供了一种鱼眼相机标定装置，该装置包括：图像获取模块，用于采集标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像；相机标定模块，根据所述标靶图像，将选取的径向畸变模型与等距投影模型进行拟合获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值；所述相机标定模块还用于根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹得到半径,其中，θ_max表示最大视场角；所述相机标定模块还用于获取m_u，m_v的初始值，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数；所述数值优化模块用于使用Levenberg-Marquardt算法对k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机的成像模型参数。

本申请实施例提供的鱼眼相机标定系统、方法、装置、电子设备及存储介质，通过采集半球面标靶的标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像；根据标靶图像将选取的径向畸变模型与等距投影模型进行拟合，获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值；根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹计算得到半径r_max，其中，θ_max表示最大视场角；获取m_u，m_v的初始值；使用Levenberg-Marquardt算法对k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机的成像模型参数。通过采集半球面标靶图像，不需要移动标靶或相机采集多幅标靶图像，只采集一幅标靶图像即可实现鱼眼相机的快速和高精度的标定。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个实施例提供的鱼眼相机标定系统的示意图。

图2示出了本申请一个实施例提供的半球面标靶的示意图。

图3示出了本申请一个实施例提供的孔洞作为标记点的半球面标靶的示意图。

图4示出了本申请一个实施例提供的安装球形标记点的半球面标靶的示意图。

图5示出了本申请一个实施例提供的半球面标靶中标记点分布的平面图。

图6示出了本申请一个实施例提供的鱼眼相机标定方法的流程图。

图7示出了本申请一个实施例提供的鱼眼相机标定装置的结构框图。

图8示出了本申请实施例提出的用于执行根据本申请实施例的鱼眼相机标定方法的电子设备的结构框图。

图9示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的鱼眼相机标定方法的程序代码的存储介质。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

相机标定是机器视觉、摄影测量、3D成像和图像几何校正等工作中的关键技术之一，它的主要作用是估计相机的内外参数。标定结果的精度和标定算法的稳定性直接影响后续工作的准确性。一般视角相机可以用针孔模型表示，使用透视投影映射和仿射变换即可进行标定。近年来，鱼眼相机由于其超大的视场范围，在全景视觉、视频监控，汽车导航，虚拟现实等领域得到广泛应用。然而大视场同时也带来严重的图像畸变，影响人眼直观的视觉感受以及图像信息的利用。为了对图像畸变进行校正，需要对鱼眼相机进行标定。

目前已经研究成熟的方法是采用平面标靶，已有基于平面标靶的工具软件，例如：Matlab工具箱及Opencv工具软件。在这些方法中，将平面标定板放置于相机前不同的位置采集多张标靶图像，以获得分布范围较大的标定原始数据。该方法需多次摆放标定板在不同位置并采集标靶图像，或者多次转动相机在不同方位并采集标靶图像。这些方法对于某些需要快速安装鱼眼相机并完成标定的场合并不适用，比如批量生产或组装鱼眼相机的生产线。

因此，发明人提出了本申请的鱼眼相机标定系统、方法、装置、电子设备及存储介质。通过采集半球面标靶的标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像；根据标靶图像将选取的径向畸变模型与等距投影模型进行拟合，获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值；根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹计算得到半径r_max，其中，θ_max表示最大视场角；获取m_u，m_v的初始值；使用Levenberg-Marquardt算法对k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机的成像模型参数。通过半球面标靶，不需要移动标靶或相机采集多幅标靶图像，只采集一幅标靶图像即可实现鱼眼相机的快速和高精度的标定。

请参阅图1，本申请实施例提供了一种鱼眼相机的标定系统，具体的该系统可以包括半球面标靶100、鱼眼相机110以及电子设备120。所述半球面标靶100包括半球形内表面以及设置于所述半球形内表面的多个标记点；标记点的数目不少于23个，其中一个标记点设置于所述半球形内表面的中心位置。鱼眼相机110可以放置在半球面标靶100的球心，通过所述鱼眼相机110拍摄半球面标靶100获得标靶图像，标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像。

鱼眼相机110可以将拍摄的标靶图像发送给电子设备120，鱼眼相机110和电子设备120可以是一个装置，也可以为两个装置。电子设备120根据标靶图像，将选取的径向畸变模型与等距投影模型进行拟合，获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值；根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹计算得到半径r_max，其中，θ_max表示最大视场角；获取m_u，m_v的初始值，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数；使用Levenberg-Marquardt算法对k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机的成像模型参数，从而对鱼眼相机110进行标定。

其中，所述半球面标靶100包括半球形内表面以及设置于所述半球形内表面的多个标记点，请参阅图2，示出了半球面标靶的示意图。半球面标靶包括标记点101，半球形内表面102，外表面103。其中，标记点101均匀分布在所述半球形内表面102中。

所述标记点101可以为光源通过所述半球形内表面的多个孔洞射出的光在所述半球形内表面上形成的标记点。如图3所示，示出了以孔洞作为标记点的半球面标靶的示意图。所述半球面标靶还可以包括光源103，所述光源103设置与所述半球面标靶的壳体内，其中所述壳体的形状可以是如图3所示的矩形，也可以是半球形，可所述壳体的形状可以根据需要进行设置，在此不做限定。光源103通过孔洞射出的光形成标记点101，所述孔洞上还可以贴有覆盖所述孔洞的透光的漫反射薄膜104，使得从孔洞射出的光更加均匀清晰，从而使得拍摄得到的标靶图像中标记点更加清楚，提升标定的准确度。

所述标记点101也可以是安装在所述半球形内表面上的孔洞内侧的球形标记点。如图4所示，示出了安装球形标记点的半球面标靶的示意图。所述球形标记点具有漫反射表面，所述标靶还可以包括至少一个光源103，所述至少一个光源103设置于所述半球形内表面侧，所述至少一个光源103发出的光可以照射到所述多个球形标记点，在所述半球形内表面形成所述标记点101。所述球形标记点也可以是自发光标记点，通过自身的发光在所述半球形内表面形成标记点101。

标记点101设置在以所述半球面标靶建立的球面坐标系中不同的经纬度上。具体的，经纬度的数值可以根据需要进行设置，在本申请实施例中，经度可以是0,30,60,90,120,150,180,210,240,270,300,330度一共12种，纬度可以是0,20,40,60,80度一共五种。可参阅图5，示出了在半球面标靶中标记点分布的平面图。其中，纬度线104为图中的圆环，经度线105为12条过圆心的直线。其中，标记点101分布在纬度线和经度线的交点。

请参阅图6，本申请实施例提供了一种鱼眼相机标定方法，具体的该方法可以包括：

步骤S210，获取标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像。

电子设备可以获取到使用鱼眼相机拍摄的标靶图像，鱼眼相机为带有鱼眼镜头的相机。其中标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像。具体的，本申请采用的标靶为半球面标靶，在半球面薄壳内表面安装有多个标记点，这些标记点安装在以所述半球面标靶建立的球面坐标系中不同的但确定的经纬度方位上，其中，标记点数目不少于23个，其中一个标记点设置于半球形内表面的中心位置，其余的标记点在半球面上均匀分布，具体可参阅图2，示出了半球面标靶的示意图。

步骤S220，根据所述标靶图像，将选取的径向畸变模型与等距投影模型进行拟合，获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值。

普通的相机成像遵循针孔相机模型，在成像过程中实际场景中的直线仍被投影为图像平面上的直线，但是鱼眼相机如果按照针孔相机模型成像，投影图像会变得非常大，当相机视场角达到180度时，图像会变为无穷大。因此鱼眼相机的超广角特性，不能通过投影变换将一个半球的视场投射到一个有限的图像平面上，必须采用其他的模型表示。

本申请选取等距投影作为鱼眼相机模型。其中，等距投影映射方式可表示为r＝fθ，其中，r表示所述标靶图像中的任意一点到畸变中心的距离，f表示所述鱼眼相机的焦距，θ表示入射光线与所述鱼眼相机光轴之间的夹角。

由于鱼眼相机的投影模型为了将尽可能大的场景投影到有限的图像平面内，允许了相机畸变的存在，且鱼眼相机的径向畸变非常严重，所以鱼眼相机主要考虑径向畸变，若只考虑鱼眼相机的径向畸变，基于选取的等距模型的鱼眼相机模型，具体的鱼眼相机的径向畸变模型可以表示为：

或者r(θ)＝k₁θ+k₂θ³+k₃θ⁵+k₄θ⁷+k₅θ⁹+…

其中，r为图像上像素点与相机系统的主点间的距离，θ为入射光线与系统光轴的夹角，其中，k₁,k₂,k₃,k_4，k₅为鱼眼相机的径向畸变模型中的5个畸变参数。与前面所述的u₀,v₀,m_u,m_v 4个参数一起构成鱼眼相机的内参数，在这种模型中，用9个参数来表述鱼眼相机的成像特性。

将选取的径向畸变模型即r(θ)＝k₁θ+k₂θ³+k₃θ⁵+k₄θ⁷+k₅θ⁹…与等距投影模型r＝fθ进行拟合。在畸变参数中，高阶畸变参数的影响较小，在计算初始值时，可以将高阶畸变参数的初始值设为0，那么可以认为k₃＝0,k₄＝0,k₅＝0，因此，在本申请实施例中，径向畸变模型可以表示为r＝k₁θ+k₂θ³，将该径向畸变模型与所需要的投影方程r＝fθ拟合，利用厂方提供的参数焦距f和最大视场角(例如，某一鱼眼相机焦距8mm，最大视场角θ_max为180度)，可以得到k₁＝f,k₂＝0。

步骤S230，根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹计算得到半径r_max，其中，θ_max表示最大视场角。

由于k₁＝f，k₂＝0，k₃，k₄，k₅都设定为0；半径公式为r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹，因此可以计算获得半径为r_max＝fθ_max。以前述焦距f为8mm、最大视场角θ_max为180度的鱼眼相机为例，将得到的畸变参数的值以及该鱼眼相机的最大视场角为180度，即θ_max＝π/2代入公式，r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹得到r_max＝f*π/2。

步骤S240，获取m_u，m_v的初始值，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数。

其中，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数。

在一种实施方式中，可以对所述标靶图像中的所述半球面标靶进行椭圆拟合，获得a，b，u₀，v₀的值，其中，a为椭圆长轴的长，b为椭圆短轴的长，(u₀，v₀)为主点。

其中，从实际获取的圆的图像计算m_u和m_v，其中，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数。由于采集的图像为半球面标靶，半球面标靶的边界在空间上为一个圆，成像在图像坐标系上是一个椭圆，从获取的圆的边界点，拟合一个椭圆。通过提取椭圆的边界就可以知道椭圆的长轴的长a和椭圆短轴的长b。具体的，椭圆拟合方程为其中，a为椭圆长轴的长，b为椭圆短轴的长，其中，a，b的值通过测量可以获知，由此可以求出主点(u₀，v₀)的值。根据a，b的值以及公式m_u＝a/r_max和m_v＝b/r_max,获得m_u，m_v的初始值。

根据拟合椭圆可以获得椭圆的长轴的长a和椭圆的短轴的长b，由于半径公式为r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹，k₁＝f,k₂＝0，k₃、k₄、k₅都设定为0，由此得出r_max＝fθ_max。进一步，根据公式m_u＝a/r_max和m_v＝b/r_max得出m_u，m_v的值。

在另一种实施方式中，对于全幅相机，可以将主点放置到图像中心，并使用鱼眼相机厂商给出的像素尺寸值来获的m_u，m_v的初始值，其中，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数。

步骤S250，使用Levenberg-Marquardt算法对k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机的成像模型参数。

其中，在得到k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值后可以使用Levenberg-Marquardt算法对k₁,k₂,u₀,v₀,m_u,m_v的初始值和设定为0的高阶畸变参数k₃,k₄,k₅的初始值进行优化以确定所述鱼眼相机的成像模型参数。

具体的，使标靶上的标记点的投影值与标靶上的标记点的测量点之间差的平方和最小。其中，标记点的投影值为根据半球面标靶建立的半球坐标系得到的标记点对应的世界坐标后，根据投影模型计算出标记点对应的像素坐标；测量点是指在使用鱼眼相机拍摄半球面标靶后，测量图像中标记点对应的坐标。

使标靶上的标记点的投影值与标靶上的标记点的测量点之间差的平方和最小即使目标函数的值最小，其中，N表示标靶上的标记点的个数，是标记点的投影值，即按照投影模型计算出的标记点的像素坐标，m_j是标记点的测量值，即从图像上测出的标记点的像素坐标。

本申请提出的鱼眼相机标定方法，通过采集半球面标靶的标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像；根据标靶图像将选取的径向畸变模型与等距投影模型进行拟合，获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值；根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹计算得到半径r_max，其中，θ_max表示最大视场角；获取m_u，m_v的初始值，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数；其他高阶畸变参数k₃,k₄,k₅的初始值设为0，使用Levenberg-Marquardt算法对这些参数(k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v)的初始值进行优化以确定所述鱼眼相机的成像模型参数。通过采集半球面标靶图像，不需要移动标靶或相机采集多幅标靶图像，只需要采集一幅标靶图像即可实现鱼眼相机的快速和高精度的标定。

请参阅图7，其示出了本申请实施例提供的一种鱼眼相机标定装置300，所述装置300包括图像获取模块310，相机标定模块320，数值优化模块330。

图像获取模块310，用于获取标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像；相机标定模块320，用于根据所述标靶图像，将选取的径向畸变模型与等距投影模型进行拟合畸变参数k₁、k₂、k₃、k₄、k₅的初始值；所述相机标定模块还用于根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹得到半径r_max,其中，θ_max表示最大视场角；所述相机标定模块还用于获取m_u，m_v的初始值，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数；数值优化模块330，使用Levenberg-Marquardt算法对k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机的成像模型参数。

进一步的，所述相机标定模块320还用于选取径向畸变模型r＝k₁θ+k₂θ³+k₃θ⁵+k₄θ⁷+k₅θ⁹以及等距投影模型为r＝fθ，其中，r表示所述标靶图像中的点到畸变中心的距离，f表示所述鱼眼相机的焦距，θ表示入射光线与所述鱼眼相机光轴之间的夹角；所述相机标定模块320还用于将所述畸变模型与等距投影模型进行拟合得到k₁＝f,k₂＝0。

进一步的，所述相机标定模块320还用于根据k₁＝f,k₂＝0，k₃、k₄、k₅都设定为0以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹，计算得到半径r_max＝f*θ_max/2。

进一步的，所述相机标定模块320还用于对所述标靶图像中的所述半球面标靶进行椭圆拟合；获取所述标靶图像中的所述半球面标靶的边界点；根据所述边界点以及椭圆拟合方程为进行椭圆拟合，获得a，b，u₀，v₀，其中，a为椭圆长轴的长，b为椭圆的短轴的长，(u₀，v₀)为主点；所述相机标定模块还用于根据a，b的值以及公式m_u＝a/r_max和m_v＝b/r_max,获得m_u，m_v的初始值。

进一步的，所述数值优化模块330还用于利用Levenberg-Marquardt算法使所述半球面标靶上的点的投影点与所述半球面标靶上的点的测量点之间差的平方和最小。

需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

综上所述，本申请提供的鱼眼相机标定的方法及装置，通过采集半球面标靶的标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像；根据标靶图像将选取的径向畸变模型与等距投影模型进行拟合，获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值；根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹计算得到半径r_max，其中，θ_max表示最大视场角；获取m_u，m_v的初始值；其他高阶畸变参数k₃，k₄，k₅初始值设为0，使用Levenberg-Marquardt算法对这些参数(k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v)的初始值进行优化以确定所述鱼眼相机的成像模型参数。通过半球面标靶，不需要移动标靶或相机采集多幅标靶图像，只采集一幅标靶图像即可实现鱼眼相机的快速和高精度的标定。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图8，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备400可以是手机、平板电脑等能进行数据处理的移动终端。

本申请中的电子设备400可以包括一个或多个如下部件：处理器410、存储器420、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器420中并被配置为由一个或多个处理器410执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器410可以包括一个或者多个处理核。处理器410利用各种接口和线路连接整个电子设备400内的各个部分，通过运行或执行存储在存储器420内的指令、程序、代码集或指令集，以及调用存储在存储器420内的数据，执行电子设备400的各种功能和处理数据。可选地，处理器410可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器410可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器410中，单独通过一块通信芯片进行实现。

存储器420可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器420可用于存储指令、程序、代码、代码集或指令集。存储器420可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备400在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图6，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质500中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质500可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质500包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码510可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于半球面标靶的鱼眼相机标定系统，其特征在于，包括半球面标靶，鱼眼相机以及电子设备：

所述半球面标靶包括半球形内表面以及设置于所述半球形内表面的多个标记点；

所述鱼眼相机用于拍摄所述半球面标靶，采集标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像；

所述电子设备用于根据所述标靶图像，将选取的径向畸变模型与等距投影模型进行拟合，获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值；

所述电子设备还用于根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹计算得到半径r_max，其中，θ_max表示最大视场角；

所述电子设备还用于获取m_u，m_v的初始值，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数；

所述电子设备还用于使用Levenberg-Marquardt算法对k₁,k₂,k₃,k₄,k_5,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机的成像模型参数。

2.如权利要求1所述的系统，其特征在于，所述半球面标靶包括半球形内表面以及设置于所述半球形内表面的多个标记点，包括：

所述多个标记点的数目不少于23个，其中一个标记点设置于所述半球形内表面的中心位置。

3.如权利要求1所述的系统，其特征在于，所述鱼眼相机设置在所述半球面标靶的球心位置拍摄所述半球面标靶。

4.一种基于半球面标靶的鱼眼相机标定方法，基于如权利要求1至3所述的标定系统对鱼眼相机进行标定，其特征在于，所述方法包括：

获取标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像；

根据所述标靶图像，将选取的径向畸变模型与等距投影模型进行拟合，获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值；

根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹计算得到半径r_max，其中，θ_max表示最大视场角；

获取m_u，m_v的初始值，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数；

使用Levenberg-Marquardt算法对k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机的成像模型参数。

5.如权利要求4所述的方法，其特征在于，所述将选取的径向畸变模型与等距投影模型进行拟合，获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值，包括：

选取径向畸变模型r＝k₁θ+k₂θ³+k₃θ⁵+k₄θ⁷+k₅θ⁹以及等距投影模型为r＝fθ，其中，r表示所述标靶图像中的点到畸变中心的距离，f表示所述鱼眼相机的焦距，θ表示入射光线与所述鱼眼相机光轴之间的夹角；

将所述畸变模型与等距投影模型进行拟合得到k₁＝f,k₂＝0。

6.如权利要求4所述的方法，其特征在于，所述根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹计算得到半径r_max，包括：

根据k₁＝f,k₂＝0，k₃、k₄、k₅都设定为0以及公式r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹，计算得到半径r_max＝f*θ_max/2。

7.如权利要求4所述的方法，其特征在于，所述获取m_u，m_v的初始值，包括：

对所述标靶图像中的所述半球面标靶进行椭圆拟合；

获取所述标靶图像中的所述半球面标靶的边界点；

根据所述边界点以及椭圆拟合方程为进行椭圆拟合，获得a，b，u₀，v₀，其中，a为椭圆长轴的长，b为椭圆的短轴的长，(u₀，v₀)为主点；

根据a，b的值以及公式m_u＝a/r_max和m_v＝b/r_max,获得m_u，m_v的初始值。

8.如权利要求4所述的方法，其特征在于，所述获取m_u，m_v的初始值，包括：

根据所述鱼眼相机的镜头参数获取m_u，m_v的初始值。

9.如权利要求4所述的方法，其特征在于，所述使用Levenberg-Marquardt算法对k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机成像模型参数，包括:

利用Levenberg-Marquardt算法使所述半球面标靶上的点的投影点与所述半球面标靶上的点的测量点之间差的平方和最小。

10.一种基于半球面标靶的鱼眼相机标定装置，其特征在于，所述半球面标靶包括半球形内表面以及设置于所述半球形内表面的多个标记，所述装置包括：

图像获取模块，用于获取标靶图像，所述标靶图像包括半球面标靶以及设置于所述半球面标靶的半球形内表面上的多个标记点的图像；

相机标定模块，用于根据所述标靶图像，将选取的径向畸变模型与等距投影模型进行拟合获得畸变参数k₁、k₂、k₃、k₄、k₅的初始值；

所述相机标定模块还用于根据所述畸变参数k₁、k₂、k₃、k₄、k₅的初始值以及r_max＝k₁θ_max+k₂θ_max ³+k₃θ_max ⁵+k₄θ_max ⁷+k₅θ_max ⁹得到半径,其中，θ_max表示最大视场角；

所述相机标定模块还用于获取m_u，m_v的初始值，m_u和m_v分别为图像坐标水平方向上单位距离的像素点个数和垂直方向上单位距离的像素点个数；

数值优化模块，用于使用Levenberg-Marquardt算法对k₁,k₂,k₃,k₄,k₅,u₀,v₀,m_u,m_v的初始值进行优化以确定所述鱼眼相机的成像模型参数。