CN107767422B - 一种鱼眼镜头的校正方法、装置及便携式终端 - Google Patents

Abstract

本发明适用于数字图像处理领域，提供了一种鱼眼镜头的校正方法、装置及便携式终端。所述方法包括：利用等距投影模型，对鱼眼图像进行畸变校正得到图像内容为标定板的初始校正图；从初始校正图中获取标定板的所有角点，将角点坐标重新投影到鱼眼图像中，得到鱼眼图像中标定板的粗略角点坐标值，将角点作为鱼眼图像中的特征点；将鱼眼图像中的特征点通过迭代预设参数范围内的不同参数值，利用等距投影模型对鱼眼镜头进行校正，将偏差量最小时的参数值作为鱼眼镜头的精确校正值。本发明减少了前期准备的工作量，操作过程简单，摄像机不用更换位置和角度，适用的范围较广，无需设定大量参数，简便计算，同时鱼眼校正的效果精确。

Description

一种鱼眼镜头的校正方法、装置及便携式终端

技术领域

本发明属于数字图像处理领域，尤其涉及一种鱼眼镜头的校正方法、装置及便携式终端。

背景技术

鱼眼镜头属于一种全方位视觉系统，其视场很大，图像中包含的信息非常丰富，它弥补了普通摄像机系统只能获取狭窄视角的缺点，减少了视觉系统中的盲区，其视角可以覆盖180度至270度的区域。在医疗检测、安全监视、导航、国防军事等方面都有着极大的应用。

摄像头的焦距越短，视角越大，其成像的畸变就越严重。因此，鱼眼镜头采集的图像信息具有非常严重的非线性畸变。为了从鱼眼图像中获取图像内容的真实位置和特征信息，需要进行畸变校正。鱼眼镜头的校正首先需要根据其成像原理建立畸变模型，在模型中引入畸变参数完成对鱼眼镜头的校正。为了获取图像的畸变参数，需要对摄像机进行标定，目前通常采用两种标定方法：一是照相视角标定法，该方法需要极为精确的标定仪器和精细设计以保证获取平面的平移方式，这增加了在普通领域实现的难度；二是张正友标定法，该方法要求摄像机在多个方位拍摄相同一个标定板，在此过程中保证摄像机的内部参数始终不变，通过线性模型分析得到摄像机参数。虽然张正友标定法具有较高的鲁棒性，但对于每个摄像机都需要拍摄多幅图片才可以较为精确的确定摄像机各项参数，效率较低。

综上所述，现有的鱼眼图像校正技术需要对多幅图片进行标定从而求取畸变参数和旋转平移参数，具有较高的复杂度。另外，为了保证校正结果的准确性，需要对摄像机多个内外参数进行求解，需要很高的计算量，增加了实现的难度。

发明内容

本发明的目的在于提供一种鱼眼镜头的校正方法、装置及便携式终端，旨在解决现有的鱼眼图像校正技术具有较高的复杂度，需要很高的计算量，增加了实现难度的问题。

第一方面，本发明提供了一种鱼眼镜头的校正方法，所述方法包括：

获取鱼眼镜头拍摄的标定板的鱼眼图像；

将鱼眼镜头理论的参数值作为初始值，以鱼眼图像中心点坐标作为鱼眼图像的失真中心的初始值，利用等距投影模型，对鱼眼图像进行畸变校正得到图像内容为标定板的初始校正图，所述参数值包括图像的失真中心坐标、焦距值和单位像素宽高比值；

从初始校正图中获取标定板的所有角点，将角点坐标重新投影到鱼眼图像中，得到鱼眼图像中标定板的粗略角点坐标值，将角点作为鱼眼图像中的特征点；

将鱼眼图像中的特征点通过迭代预设参数范围内的不同参数值，利用等距投影模型对鱼眼镜头进行校正，比较每次迭代得到的校正图中标定板的角点坐标与理想条件下标定板的角点坐标的偏差量，将偏差量最小时的参数值作为鱼眼镜头的精确校正值，所述参数值包括图像的失真中心坐标、焦距值、单位像素宽高比值中的一个或任意组合。

第二方面，本发明提供了一种鱼眼镜头的校正装置，所述装置包括：

获取模块，用于获取鱼眼镜头拍摄的标定板的鱼眼图像；

初始校正模块，用于将鱼眼镜头理论的参数值作为初始值，以鱼眼图像中心点坐标作为鱼眼图像的失真中心的初始值，利用等距投影模型，对鱼眼图像进行畸变校正得到图像内容为标定板的初始校正图，所述参数值包括图像的失真中心坐标、焦距值和单位像素宽高比值；

特征点模块，用于从初始校正图中获取标定板的所有角点，将角点坐标重新投影到鱼眼图像中，得到鱼眼图像中标定板的粗略角点坐标值，将角点作为鱼眼图像中的特征点；

精确校正模块，用于将鱼眼图像中的特征点通过迭代预设参数范围内的不同参数值，利用等距投影模型对鱼眼镜头进行校正，比较每次迭代得到的校正图中标定板的角点坐标与理想条件下标定板的角点坐标的偏差量，将偏差量最小时的参数值作为鱼眼镜头的精确校正值，所述参数值包括图像的失真中心坐标、焦距值、单位像素宽高比值中的一个或任意组合。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的鱼眼镜头的校正方法的步骤。

第四方面，本发明提供了一种便携式终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如上述的鱼眼镜头的校正方法的步骤。

在本发明中，由于将鱼眼图像中的特征点通过迭代预设参数范围内的不同参数值，利用等距投影模型对鱼眼镜头进行校正，比较每次迭代得到的校正图中标定板的角点坐标与理想条件下标定板的角点坐标的偏差量，将偏差量最小时的参数值作为鱼眼镜头的精确校正值。因此不用分别求解出摄像机内外参数，且仅需一块标定板，每个鱼眼镜头只需拍摄一幅图片，不需要立体标定板，不需要多路相机或双目标定，平面标定板即可。只需要对单幅图进行标定，通过使用等距投影模型，即可得到精准的鱼眼图像校正结果，提高了校正效率，并且减少了之前校正中的畸变参数和摄像机参数数量。因此减少了前期准备的工作量，操作过程简单，摄像机不用更换位置和角度，适用的范围较广，无需设定大量参数，简便计算，同时鱼眼校正的效果精确。

附图说明

图1是本发明实施例一提供的鱼眼镜头的校正方法的流程图。

图2是本发明实施例二提供的鱼眼镜头的校正装置的功能模块框图。

图3是本发明实施例四提供的便携式终端的具体结构框图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

请参阅图1，是本发明实施例一提供的鱼眼镜头的校正方法流程图，需注意的是，若有实质上相同的结果，本发明的鱼眼镜头的校正方法并不以图1所示的流程顺序为限。所述方法包括以下步骤：

S101、获取鱼眼镜头拍摄的标定板的鱼眼图像。

在本发明实施例一中，S101具体可以为：获取鱼眼镜头拍摄的平面标定板的一幅鱼眼图像。

S102、将鱼眼镜头理论的参数值作为初始值，以鱼眼图像中心点坐标作为鱼眼图像的失真中心的初始值，利用等距投影模型，对鱼眼图像进行畸变校正得到图像内容为标定板的初始校正图，所述参数值包括图像的失真中心坐标、焦距值和单位像素宽高比值。

鱼眼镜头成像是一种非线性的投影方式，把鱼眼镜头模型通过一定的计算转变成针孔相机模型可以完成对鱼眼镜头的去失真处理。小孔成像的物理模型符合下式r＝f*tanθ，其中f代表镜头的焦距，θ为镜头中心轴和入射光线的夹角,得到的r代表图像点和中心点的距离，小孔成像模型就是符合一般摄像机成像的结果。在本发明实施例一中，需要将鱼眼镜头的成像模型转变成符合一般图像的小孔成像模型，因此使用等距投影模型模拟鱼眼镜头的投射关系。等距投影模型符合r＝f*θ，其主要作用为引入畸变，通过对图像进行不同程度的压缩变形实现鱼眼镜头的超大视角效果。等距投影模型说明了在相同视场角在像面上对应着相等的径向距离，也是目前应用最广泛的鱼眼镜头模型。

由于鱼眼图像实际是围绕着失真中心产生畸变，因此图像的失真中心位置对于畸变的校正非常重要。在制作鱼眼镜头过程中，由于加工误差或是镜片安装误差等的影响会导致失真中心偏离像平面中心，因此需要进一步精确失真中心位置。另外，鱼眼镜头可能不是标准的圆形成像而是呈椭圆形成像，所以最好针对单位像素宽高比进行确认。

在本发明实施例一中，所述参数还可以包括单位像素宽高比。

S103、从初始校正图中获取标定板的所有角点，将角点坐标重新投影到鱼眼图像中，得到鱼眼图像中标定板的粗略角点坐标值，将角点作为鱼眼图像中的特征点。

由于实际标定板上的直线在鱼眼图像中会变成弧线，很难直接在鱼眼图像中确定角点坐标，因此本发明实施例一首先在初始校正图中确定坐标再重新投影到鱼眼图像，得到鱼眼图像中标定板的粗略角点坐标值，将角点作为鱼眼图像中的特征点。

在本发明实施例一中，S103具体可以包括以下步骤：

对初始校正图进行边缘检测，确定初始校正图中标定板的水平线和竖直线，保证检测到的水平线数量与标定板的水平边数量相等，竖直线数量与标定板的竖直边数量相等，并保证每条水平线与所有竖直线均有交点，每条竖直线与所有水平线均有交点，从而获取标定板的所有角点；

以当前校正参数为准，将角点坐标重新投影到鱼眼图像中，得到鱼眼图像中标定板的粗略角点坐标值，将角点作为鱼眼图像中的特征点。

由于当前所用鱼眼校正参数为初始值，可能存在角点坐标不够准确的问题，为进一步精确鱼眼图像中标定板的角点坐标，在本发明实施例一中，所述得到鱼眼图像中标定板的粗略角点坐标值之后还可以包括以下步骤：

在每个角点坐标位置附近利用Harris算法进行角点检测，针对当前得到的每个粗略角点，对其附近预定范围内所有点进行判断，是否存在有更大概率为真实的角点的点，由此确定鱼眼图像中标定板的精确角点坐标值，以精确角点坐标值作为鱼眼图像中的特征点。

S104、将鱼眼图像中的特征点通过迭代预设参数范围内的不同参数值，利用等距投影模型对鱼眼镜头进行校正，比较每次迭代得到的校正图中标定板的角点坐标与理想条件下标定板的角点坐标的偏差量，将偏差量最小时的参数值作为鱼眼镜头的精确校正值，所述参数值包括图像的失真中心坐标、焦距值、单位像素宽高比值中的一个或任意组合。

等距投影模型：r＝f*theta

小孔成像模型：r'＝f*tan(theta)，其中，r表示鱼眼图像上的点到失真中心距离；根据等距投影模型确定角度值，带入小孔成像模型获得对应点距离校正图平面中心距离；根据校正图中坐标与r'，对应鱼眼图像中点与r，相应成比例，即可获取鱼眼图像中点在当前参数情况下在校正图上的对应点坐标值。

在本发明实施例一中，当参数值包括图像的失真中心坐标和焦距值时，S104具体包括以下步骤：

设定理想标定板的坐标值，设定图像的失真中心坐标和焦距值的范围，根据预设的步长通过迭代求取每个图像的失真中心坐标和焦距值的条件下的校正图中标定板的角点坐标；其中，鱼眼图像的失真中心理想情况下为图像中心，但由于制作工艺误差和加工安装，会有一定偏差，可以设定在图像中心坐标值附近一定范围内对校正图进行检测；鱼眼镜头的焦距一般在200至380，如果鱼眼镜头是圆形则单位像素宽高比为1，可根据实际情况设定参数的范围和参数选取间隔；在本发明实施例一中，为了提高优化的效率，可以先将选择参数的间隔设置的比较大，得到偏差量最小的结果后，再在该参数的一定范围内，设置较小间隔，再次检测理想标定板与校正图标定板中角点的偏差量，以此来确定鱼眼图校正中的参数最优解；

将校正图中标定板的角点坐标值通过单应性矩阵调整到与理想标定板角点相同的视角下，计算调整视角后的校正图中标定板的角点坐标与理想标定板角点坐标的偏差量，将偏差量最小时的图像的失真中心坐标和焦距值作为鱼眼镜头的精确校正值，所述参数范围和步长都是可调的，在迭代过程中，步长的设置从大到小。

在本发明实施例一中，当参数值包括图像的失真中心坐标、焦距值和单位像素宽高比时，S104具体为：

将鱼眼图像中的特征点根据预设的步长通过迭代预设参数范围内的不同图像的失真中心坐标、焦距值和单位像素宽高比值，利用等距投影模型对鱼眼镜头进行校正，比较每次迭代得到的校正图中标定板的角点坐标与理想条件下标定板的角点坐标的偏差量，将偏差量最小时的图像的失真中心坐标、焦距值和单位像素宽高比值作为鱼眼镜头的精确校正值，所述参数范围和步长都是可调的，在迭代过程中，步长的设置从大到小。

实施例二：

请参阅图2，本发明实施例二提供了一种鱼眼镜头的校正装置，所述装置包括：

获取模块11，用于获取鱼眼镜头拍摄的标定板的鱼眼图像；

初始校正模块12，用于将鱼眼镜头理论的参数值作为初始值，以鱼眼图像中心点坐标作为鱼眼图像的失真中心的初始值，利用等距投影模型，对鱼眼图像进行畸变校正得到图像内容为标定板的初始校正图，所述参数值包括图像的失真中心坐标、焦距值和单位像素宽高比值；

特征点模块13，用于从初始校正图中获取标定板的所有角点，将角点坐标重新投影到鱼眼图像中，得到鱼眼图像中标定板的粗略角点坐标值，将角点作为鱼眼图像中的特征点；

精确校正模块14，用于将鱼眼图像中的特征点通过迭代预设参数范围内的不同参数值，利用等距投影模型对鱼眼镜头进行校正，比较每次迭代得到的校正图中标定板的角点坐标与理想条件下标定板的角点坐标的偏差量，将偏差量最小时的参数值作为鱼眼镜头的精确校正值，所述参数值包括图像的失真中心坐标、焦距值、单位像素宽高比值中的一个或任意组合。

实施例三：

本发明实施例三还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的鱼眼镜头的校正方法的步骤。

实施例四：

图3示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端100，包括：

一个或多个处理器101；

存储器102；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器执行所述计算机程序时实现如本发明实施例一提供的鱼眼镜头的校正方法的步骤。

在本发明实施例中，由于将鱼眼图像中的特征点通过迭代预设参数范围内的不同参数值，利用等距投影模型对鱼眼镜头进行校正，比较每次迭代得到的校正图中标定板的角点坐标与理想条件下标定板的角点坐标的偏差量，将偏差量最小时的参数值作为鱼眼镜头的精确校正值。因此不用分别求解出摄像机内外参数，且仅需一块标定板，每个鱼眼镜头只需拍摄一幅图片，不需要立体标定板，不需要多路相机或双目标定，平面标定板即可。只需要对单幅图进行标定，通过使用等距投影模型，即可得到精准的鱼眼图像校正结果，提高了校正效率，并且减少了之前校正中的畸变参数和摄像机参数数量。因此减少了前期准备的工作量，操作过程简单，摄像机不用更换位置和角度，适用的范围较广，无需设定大量参数，简便计算，同时鱼眼校正的效果精确。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种鱼眼镜头的校正方法，其特征在于，所述方法包括：

获取鱼眼镜头拍摄的标定板的一幅鱼眼图像；

将鱼眼镜头理论的参数值作为初始值，以鱼眼图像中心点坐标作为鱼眼图像的失真中心的初始值，利用等距投影模型，对鱼眼图像进行畸变校正得到图像内容为标定板的初始校正图，所述参数值包括图像的失真中心坐标、焦距值和单位像素宽高比值；

从初始校正图中获取标定板的所有角点，将角点坐标重新投影到鱼眼图像中，得到鱼眼图像中标定板的粗略角点坐标值，将角点作为鱼眼图像中的特征点；

将鱼眼图像中的特征点通过迭代预设参数范围内的不同参数值，利用等距投影模型对鱼眼镜头进行校正，比较每次迭代得到的校正图中标定板的角点坐标与理想条件下标定板的角点坐标的偏差量，将偏差量最小时的参数值作为鱼眼镜头的精确校正值；当所述参数值包括图像的失真中心坐标和焦距值时，具体为：设定理想标定板的坐标值，设定图像的失真中心坐标和焦距值的范围，根据预设的步长通过迭代求取每个图像的失真中心坐标和焦距值的条件下的校正图中标定板的角点坐标；将校正图中标定板的角点坐标值通过单应性矩阵调整到与理想标定板角点相同的视角下，计算调整视角后的校正图中标定板的角点坐标与理想标定板角点坐标的偏差量，将偏差量最小时的图像的失真中心坐标和焦距值作为鱼眼镜头的精确校正值；或者，当所述参数值包括图像的失真中心坐标、焦距值和单位像素宽高比时，具体为：将鱼眼图像中的特征点根据预设的步长通过迭代预设参数范围内的图像的失真中心坐标、焦距值和单位像素宽高比值，利用等距投影模型对鱼眼镜头进行校正，比较每次迭代得到的校正图中标定板的角点坐标与理想条件下标定板的角点坐标的偏差量，将偏差量最小时的图像的失真中心坐标、焦距值和单位像素宽高比值作为鱼眼镜头的精确校正值。

2.如权利要求1所述的方法，其特征在于，所述从初始校正图中获取标定板的所有角点， 将角点坐标重新投影到鱼眼图像中，得到鱼眼图像中标定板的粗略角点坐标值，将角点作为鱼眼图像中的特征点具体包括：

对初始校正图进行边缘检测，确定初始校正图中标定板的水平线和竖直线，保证检测到的水平线数量与标定板的水平边数量相等，竖直线数量与标定板的竖直边数量相等，并保证每条水平线与所有竖直线均有交点，每条竖直线与所有水平线均有交点，从而获取标定板的所有角点；

以当前校正参数为准，将角点坐标重新投影到鱼眼图像中，得到鱼眼图像中标定板的粗略角点坐标值，将角点作为鱼眼图像中的特征点。

3.如权利要求1或2所述的方法，其特征在于，所述得到鱼眼图像中标定板的粗略角点坐标值之后，所述方法还包括：

在每个角点坐标位置附近利用Harris算法进行角点检测，针对当前得到的每个粗略角点，对其附近预定范围内所有点进行判断，是否存在有更大概率为真实的角点的点，由此确定鱼眼图像中标定板的精确角点坐标值，以精确角点坐标值作为鱼眼图像中的特征点。

4.如权利要求1所述的方法，其特征在于，所述参数范围和步长都是可调的，在迭代过程中，步长的设置从大到小。

5.一种鱼眼镜头的校正装置，其特征在于，所述装置包括：

获取模块，用于获取鱼眼镜头拍摄的标定板的一幅鱼眼图像；

初始校正模块，用于将鱼眼镜头理论的参数值作为初始值，以鱼眼图像中心点坐标作为鱼眼图像的失真中心的初始值，利用等距投影模型，对鱼眼图像进行畸变校正得到图像内容为标定板的初始校正图，所述参数值包括图像的失真中心坐标、焦距值和单位像素宽高比值；

特征点模块，用于从初始校正图中获取标定板的所有角点， 将角点坐标重新投影到鱼眼图像中，得到鱼眼图像中标定板的粗略角点坐标值，将角点作为鱼眼图像中的特征点；

精确校正模块，用于将鱼眼图像中的特征点通过迭代预设参数范围内的不同参数值，利用等距投影模型对鱼眼镜头进行校正，比较每次迭代得到的校正图中标定板的角点坐标与理想条件下标定板的角点坐标的偏差量，将偏差量最小时的参数值作为鱼眼镜头的精确校正值；当所述参数值包括图像的失真中心坐标和焦距值时，具体为：设定理想标定板的坐标值，设定图像的失真中心坐标和焦距值的范围，根据预设的步长通过迭代求取每个图像的失真中心坐标和焦距值的条件下的校正图中标定板的角点坐标；将校正图中标定板的角点坐标值通过单应性矩阵调整到与理想标定板角点相同的视角下，计算调整视角后的校正图中标定板的角点坐标与理想标定板角点坐标的偏差量，将偏差量最小时的图像的失真中心坐标和焦距值作为鱼眼镜头的精确校正值；或者，当所述参数值包括图像的失真中心坐标、焦距值和单位像素宽高比时，具体为：将鱼眼图像中的特征点根据预设的步长通过迭代预设参数范围内的图像的失真中心坐标、焦距值和单位像素宽高比值，利用等距投影模型对鱼眼镜头进行校正，比较每次迭代得到的校正图中标定板的角点坐标与理想条件下标定板的角点坐标的偏差量，将偏差量最小时的图像的失真中心坐标、焦距值和单位像素宽高比值作为鱼眼镜头的精确校正值。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的鱼眼镜头的校正方法的步骤。

7.一种便携式终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的鱼眼镜头的校正方法的步骤。

Images