CN102915525B - 全幅鱼眼镜头桶形畸变图像校正方法 - Google Patents

Abstract

本发明提供了一种全幅鱼眼镜头桶形畸变图像校正方法，首先建立桶形畸变图像与还原图像之间相应像素点的位置关系，获得桶形畸变图像及其还原图像间的三次极半径关系式；然后三次极半径关系式进行算法改进，采用改进后的校正关系式对桶形畸变图像逐像素进行运算，完成校正。本发明改善了现有的桶形畸变校正技术校正能力有限，对图像周边部分校正效果差的不足，可以对全幅鱼眼镜头产生的超大广角桶形失真图像实现整幅图像的满意校正，尤其对图像周边的校正效果改进明显。具备工业应用中用于图像测量的图片质量要求。

Description

全幅鱼眼镜头桶形畸变图像校正方法

技术领域

本发明一种桶形畸变图像的校正方法，特别针对全幅鱼眼镜头拍摄出来的桶形失真严重的图像。

背景技术

在机器人和车辆导航、视觉监控以及虚拟场景技术等许多计算机视觉领域中，往往需要得到更大视角范围的图像。广角镜头是获得大视角图像的一种途径，但成本高，并且当视角范围较大时，图像四周边缘处校正效果有时仍不理想。鱼眼镜头可以得到比广角镜头更大的视角范围，能够容纳更多场景，可以适应狭小空间的拍摄，但其成本却相对低得多，因此被广泛地应用。

鱼眼镜头在拍照时为了获取大视场的图像，不可避免地引入了桶形失真，图像中直线变曲，接近边缘的部分成像严重变形，只有镜头中心部分的内容可以保持原来的状态。常见的鱼眼镜头有两种：一种是圆形鱼眼镜头，也称全天候鱼眼镜头，其水平视角与垂直视角相等，成像区域为圆形，视角大于180°，焦距范围为6.5~8mm。另一种是全幅鱼眼镜头，其水平视角与垂直视角不相等且小于180°，成像区域为矩形，焦距为15~16mm。

圆形鱼眼镜头一般用于产生特殊艺术效果的图像，而全幅鱼眼镜头的图像经过畸变校正后，可以提取出丰富而准确的数据信息，在宇航空间等依赖于视觉信息做出决策的行业都具有相当高的应用价值，例如安防监控、管道探测、辅助驾驶、现场监测、车载巡检、工业测量、飞行器制导、移动机器人和车辆导航、视频会议以及远程教育等对运动目标检测和跟踪、外部空间探测等方面。

目前，为了消除和改善桶形畸变的图像，人们提出了各种各样的校正算法。比较常见的是仿射变换法、二次变换法以及极坐标变换法等方法。其中最为常用的是极坐标变换法，有二次极半径关系算法，也有三次极半径关系算法。这些方法对桶形失真不严重的图像校正效果尚可，但对全幅鱼眼镜头所产生的大视角的失真严重的桶形畸变图像进行校正时，显得力不从心，不能达到完全的校正，并且越是靠近图像边缘的部分校正效果越差。仿射变换甚至对图像边缘部分的校正效果几乎没有，而桶形失真图像校正效果的好坏对后续应用是否能提取到准确信息产生直接的影响。

发明内容

为了克服现有技术的不足，本发明提供一种全幅鱼眼镜头桶形畸变图像校正方法，对图像的整体畸变校正效果好、校正效率高，该方法特别适用于全幅鱼眼镜头所造成的桶形畸变较为严重的图像的校正，对一般畸变程度较轻的桶形失真图像的校正同样适用。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤一、建立桶形畸变图像与还原图像之间相应像素点的位置关系，通过以下方式实现：

1、取三维球面坐标模型中半球体圆截面所在平面的直角坐标系，调整该直角坐标系的位置，使直角坐标系原点与桶形畸变图像的图像中心重合，即为二维的标准坐标系；

2、将桶形畸变图像和还原图像的每一个像素点的标准坐标转为极坐标形式，还原图像在极坐标系下每个像素点的极半径R＝a₁r+a₂r²+a₃r³，式中，r为桶形畸变图像在极坐标系下相应像素点的极半径，a₁、a₂和a₃为关系式的系数，通过在桶形畸变图像和还原图像对中选取至少三组对应像素点作为特征点对，将各特征点对的极半径值分别代入上式得到一方程组，利用最小二乘法求解得到；

步骤二、对步骤一的三次极半径关系式进行算法改进，通过以下方式实现：

1、已知桶形畸变图像的尺寸为i*j，计算桶形畸变图像中距离桶形畸变中心即标准坐标系原点最远的像素点（x_max,y_max）在极坐标下的极半径 $x_{\max }=\frac{1}{2}j,$ $y_{\max }=\frac{1}{2}i;$

2、确定改进算法的校正系数式中，（x,y）为当前计算的像素点在标准坐标系下的坐标；

3、在极半径方向上对校正关系进行改进：r'＝r(b+kθ²)，式中，b和θ是改进算法的校正参数，b的取值范围为0.6~0.95，θ的取值范围为0.3~0.96，得到改进的桶形畸变图像的校正关系式R＝a₁r'+a₂r'²+a₃r′³，其中，a₁的取值范围为0.5~0.85，a₂的取值范围为0.00001~0.0009，a₃的取值范围为0.0000001~0.000006；

步骤三、采用步骤二所得到的校正关系式对桶形畸变图像逐像素进行运算，完成校正。

本发明的有益效果是：改善了现有的桶形畸变校正技术校正能力有限，对图像周边部分校正效果差的不足。新增的校正参数b、θ和校正系数k可以根据桶形畸变图像的特征，灵活调整校正效果，其中参数b与图像在径向上的畸变程度变化情况有关，参数θ和校正系数k共同作用，具有随桶形畸变图像中的像素位置调节校正力度的功能，用于图像周边畸变的有效校正。通过这些改进，可以对全幅鱼眼镜头产生的超大广角桶形失真图像实现整幅图像的满意校正，尤其对图像周边的校正效果改进明显。具备工业应用中用于图像测量的图片质量要求。

附图说明

图1是本发明的方法流程图。

具体实施方式

本发明解决上述技术问题所采用的技术方案为：对现有的认定还原图像与桶形畸变图像每个相应像素点的三次极半径关系算法进行算法改进，其特征在于：包括以下步骤

步骤一、首先建立桶形畸变图像与还原图像之间相应像素点的位置关系，该步骤通过以下方式实现：

1、根据鱼眼镜头成像原理中的三维球面坐标模型，建立二维的标准坐标系。取球面模型中半球体圆截面所在平面的直角坐标系，调整该直角坐标系的位置，使直角坐标系原点与桶形畸变图像的图像中心重合，即为标准坐标系。

2、将桶形畸变图像和还原图像的每一个像素点的标准坐标转为极坐标形式，根据先验资料获得桶形畸变图像及其还原图像间的三次极半径关系式：

R＝a₁r+a₂r²+a₃r³

式中，R为还原图像在极坐标系下每个像素点的极半径；r为桶形畸变图像在极坐标系下相应像素点的极半径；a₁，a₂和a₃为关系式的系数，求解方法为：在桶形畸变图像和还原图像对中，选取对应像素点若干组（至少3组以上）作为特征点对，将各特征点对的极半径值分别代入上式得到一方程组，利用最小二乘法求解方程组的解，即为系数。

当直接使用上述关系式校正桶形畸变图像时，对于视场角较大的全幅鱼眼镜头拍摄出来的图像校正效果不理想，尤其是图像的周边部分。为了解决这一问题，对上述关系式进行算法改进，改善校正效果。

步骤二、对步骤一中所述的三次极半径关系式进行算法改进，该步骤通过以下方式实现：

1、已知桶形畸变图像的尺寸为i*j，计算桶形畸变图像中距离桶形畸变中心即标准坐标系原点最远的像素点（x_max,y_max）在极坐标下的极半径R_max：

$R_{\max }=\sqrt{{x_{\max }}^2+{y_{\max }}^2}$

式中，R_max在每幅桶形畸变图像中是恒定的。且

2、根据R_max确定改进算法的校正系数k：

$k=\frac{(x^2+y^2)}{R_{\max }^2}$

式中，（x,y）为当前计算的像素点在标准坐标系下的坐标。

3、在极半径方向上对校正关系进行改进：

r'＝r(b+kθ²)

式中，b和θ是改进算法的校正参数，b的取值范围为0.6～0.95，θ的取值范围为0.3～0.96，可以根据桶形畸变图像在径向的畸变程度大小调整b和θ，以达到理想的校正效果。当前计算的像素点（x,y）在极坐标系下的极半径r由

$r=\sqrt{x^2+y^2}$

求得。由此，可得到改进的桶形畸变图像的校正关系式：

R＝a₁r'+a₂r′²+a₃r′³

由于k，b和θ的桶形畸变校正作用与系数a₁，a₂和a₃的校正作用互相有一定的影响，因此在调节b和θ的同时，需要对系数a₁，a₂和a₃同时进行微调，以得到全局最优的校正效果。其中，a₁的取值范围为0.5~0.85，a₂的取值范围为0.00001~0.0009，a₃的取值范围为0.0000001~0.000006。

步骤三、采用步骤二所得到的校正关系式对桶形畸变图像逐像素进行运算，完成校正。

下面结合附图和实施例对本发明进一步说明。

本实例中，桶形畸变图像的校正包括以下三个步骤：

步骤一、对鱼眼镜头拍摄的实验用图像进行处理得到相应的还原图像，构成桶形畸变图像和还原图像对。建立桶形畸变图像与还原图像之间相应像素点的位置关系：

1、根据鱼眼镜头成像原理中的球面坐标模型，建立标准坐标系。

2、将桶形畸变图像和还原图像的每一个像素点的标准坐标转为极坐标形式，利用最小二乘法求得桶形畸变图像及其还原图像的三次极半径校正关系式的系数a₁，a₂和a₃：

R＝a₁r+a₂r²+a₃r³

式中，R为在极坐标系下还原图像中每个像素点的极半径；r为桶形畸变图像在极坐标系下相应像素点的极半径。

步骤二、对步骤一中所述的三次极半径校正关系式进行改进，采用如下计算改善校正效果：

R＝a₁r′+a₂r′²+a₃r′³，r'＝r(b+kθ²)，

式中（x,y）为当前计算的像素点在标准坐标系下的坐标。其中的校正系数k、校正参数b和θ的确定方法如下：

$k=\frac{(x^2+y^2)}{R_{\max }^2},$ $R_{\max }=\sqrt{{x_{\max }}^2+{y_{\max }}^2}$

R_max为桶形畸变图像中距离标准坐标系原点（即桶形畸变中心）最远的像素点（x_max,y_max）在极坐标下的极半径。b和θ的取值由图像特征决定，b与图像在径向上的畸变程度变化情况有关，θ与图像周边的畸变校正力度有关。

调节b和θ的值对鱼眼镜头拍摄的实验用图像进行校正，同时微调系数a₁，a₂和a₃，直至图像上变弯的直线恢复成直线，则得到各系数值和参数值，可取得全局的最优校正效果。

步骤三、采用步骤二得到的鱼眼镜头畸变校正关系式对鱼眼镜头拍摄的任意图像进行运算，校正桶形畸变。

实施例1～6的校正关系式数据如下表所示，均取得了良好的校正效果。

	b	θ	a1	a2	a3
						实施例1	0.7	0.4	0.5	0.0009	0.000006

实施例2	0.95	0.3	0.5	0.00001	0.000005
						实施例3	0.83	0.6	0.5	0.0001	0.000003
实施例4	0.78	0.8	0.68	0.0004	0.000001
						实施例5	0.8	0.95	0.85	0.00001	0.000001
实施例6	0.6	0.96	0.85	0.00041	0.0000001

若鱼眼镜头发生变化，通过观察图像的校正效果，对系数a₁，a₂，a₃，和校正参数θ和b进行微调，就能达到对不同桶形畸变图像进行精确校正的目的。调节方法如下：

当图像校正后整体变大，则可以适当减小a₁来缩小图像大小，调整b也可以改变图像大小，但一般不调整。

当图像整体的校正效果都比较弱时，略微增大a₂和a₃，再进行校正，观察校正后图像的特征。

当图像整体的校正效果都太强时，可适当减小a₃或a₂再进行校正，直至图像中心部分的校正强度适当，再进行下一步的调整。其中，a₃的改变比a₂的改变对图像的校正强度影响大。

当图像中心部分校正效果太强时，可适当减小a₃，若仅调整a₃时出现中心部分校正效果达不到合适的程度，或中心部分校正强度适当但图像周边部分的校正效果变差，则可以恢复a₃的值转而适当调节a₂，当a₂变大时，校正效果变强。

当图像中心部分校正效果较好但周边部分校正强度不够时，略微增大a₃；反之，则略微减少a₃；若增大a₃后，中心部分校正强度太过且周边部分仍达不到应有的校正强度时，则可以恢复a₃并增大θ，还可以加入对a₂的增减来调节校正强度。

Claims (1)

1.一种全幅鱼眼镜头桶形畸变图像校正方法，其特征在于包括下述步骤：

步骤一、建立桶形畸变图像与还原图像之间相应像素点的位置关系，通过以下方式实现：

1、取三维球面坐标模型中半球体圆截面所在平面的直角坐标系，调整该直角坐标系的位置，使直角坐标系原点与桶形畸变图像的图像中心重合，即为二维的标准坐标系；

2、将桶形畸变图像和还原图像的每一个像素点的标准坐标转为极坐标形式，还原图像在极坐标系下每个像素点的极半径R＝a₁r+a₂r²+a₃r³，式中，r为桶形畸变图像在极坐标系下相应像素点的极半径，a₁、a₂和a₃为关系式的系数，通过在桶形畸变图像和还原图像对中选取至少三组对应像素点作为特征点对，将各特征点对的极半径值分别代入上式得到一方程组，利用最小二乘法求解得到；

步骤二、对步骤一的三次极半径关系式进行算法改进，通过以下方式实现：

1、已知桶形畸变图像的尺寸为i*j，计算桶形畸变图像中距离桶形畸变中心即标准坐标系原点最远的像素点（x_max,y_max）在极坐标下的极半径 $x_{\max }=\frac{1}{2}j,$ $y_{\max }=\frac{1}{2}i;$

2、确定改进算法的校正系数式中，（x,y）为当前计算的像素点在标准坐标系下的坐标；

3、在极半径方向上对校正关系进行改进：r'＝r(b+kθ²)，式中，b和θ是改进算法的校正参数，b的取值范围为0.6~0.95，θ的取值范围为0.3~0.96，得到改进的桶形畸变图像的校正关系式R＝a₁r'+a₂r'²+a₃r′³，其中，a₁的取值范围为0.5~0.85，a₂的取值范围为0.00001~0.0009，a₃的取值范围为0.0000001~0.000006；

步骤三、采用步骤二所得到的校正关系式对桶形畸变图像逐像素进行运算，完成校正。