CN103955928B - 一种确定曲面镜头畸变参数的方法、装置以及电子设备 - Google Patents

Abstract

本发明实施例公开了一种确定曲面镜头畸变参数的方法、装置以及电子设备，该方法包括：获得在第一位置基于一固定轴旋转一曲面镜头而拍摄获得的角度不同的至少三张第一图片，其中至少三张第一图片对应的至少三个采集区域具有相同的第一子采集区域；在至少三张第一图片中，确定出第一子采集区域内第一特征物对应的至少三个第一特征点；拟合至少三个第一特征点对应的圆弧，获得畸变中心；获得在与第一位置不同的第二位置，通过曲面镜头拍摄获得的第二图片，第二图片对应的采集区域包括第一子采集区域；从第二图片提取出第一特征物对应的第二特征点，并基于畸变中心、第一特征点和第二特征点，确定曲面镜头的畸变参数。

Description

一种确定曲面镜头畸变参数的方法、装置以及电子设备

技术领域

本发明涉及图像处理领域，尤其涉及一种确定曲面镜头畸变参数的方法、装置以及电子设备。

背景技术

随着科学技术的不断发展，计算机视觉处理在越来越多的领域中得到了广泛的应用，曲面镜头如鱼眼镜头、广角镜头以及折反射镜头在各个领域中应用得越来越广泛，以鱼眼镜头为例，鱼眼镜头相机因其通常具有非常大的视野而在视频监控、机器人导航以及三维重建等领域得到广泛应用。

然而，在视野扩大的同时，通过鱼眼镜头等曲面镜头所获得的图像同时会非常大的失真，表现在图像上是越靠近图像的外边缘，失真的程度越大，继而导致曲面镜头在视频监控、机器人导航等领域的应用受到非常大的限制。

目前，确定鱼眼镜头等曲面镜头的畸变参数大致上可以分为以下两类：第一类是基于点匹配的方法，拍摄至少三幅图像，并通过图像之间特征点的匹配，在某种约束条件(如交比的投影不变性)下进行畸变参数求解，第二类是基于直线的方法，根据直线发生的畸变直接近似地求解畸变参数。

但是，上述所介绍的两种方法均需要特定的标定图像才能够进行准确的计算，若获得的标定图像噪声较大，则会造成最后计算所得的畸变参数不准确，从而使得通过曲面镜头所获得的图像根据该畸变参数进行校正后图像效果不理想，继而造成鱼眼镜头等曲面镜头无法应用于一些对标定图像影响较大的场景。

因此，现有技术中存在在确定鱼眼镜头等曲面镜头的畸变参数时对标定图像的要求较高的技术问题。

发明内容

本发明实施例通过提供一种确定曲面镜头畸变参数的方法、装置以及电子设备，用以解决现有技术中存在的在确定鱼眼镜头等曲面镜头的畸变参数时对标定图像的要求较高的技术问题。

第一方面，本发明实施例提供了一种确定曲面镜头畸变参数的方法，包括：

获得在第一位置基于一固定轴旋转一曲面镜头而拍摄获得的角度不同的至少三张第一图片，其中所述至少三张第一图片对应的至少三个采集区域具有相同的第一子采集区域；

在所述至少三张第一图片中，确定出所述第一子采集区域内第一特征物对应的至少三个第一特征点；

拟合所述至少三个第一特征点对应的圆弧，获得畸变中心；

获得在与所述第一位置不同的第二位置，通过所述曲面镜头拍摄获得的第二图片，所述第二图片对应的采集区域包括所述第一子采集区域；

从所述第二图片提取出所述第一特征物对应的第二特征点，并基于所述畸变中心、所述第一特征点和所述第二特征点，确定所述曲面镜头的畸变参数。

在第一方面的第一种可能的实现方式中，所述在所述至少三张第一图片中，确定出所述第一子采集区域内第一特征物对应的至少三个第一特征点，具体包括：

对所述至少三张第一图片中每张图片进行特征点提取处理；

对提取出的特征点进行匹配处理；

确定出所述至少三个第一特征点。

在第一方面的第二种可能的实现方式中，所述拟合所述至少三个第一特征点对应的圆弧，获得畸变中心，具体包括：

对所述至少三个第一特征点进行圆方程拟合，获得至少一个圆心坐标；

对所述至少一个圆心坐标进行非线性优化，获得所述畸变中心。

在第一方面的第三种可能的实现方式中，所述基于所述畸变中心、所述第一特征点和所述第二特征点，获得所述曲面镜头的畸变参数，具体包括：

以所述畸变中心为相对原点坐标，获得所述第一特征点对应的第一相对坐标和所述第二特征点对应的第二相对坐标；

确定所述第一相对坐标、所述第二相对坐标和一基本矩阵满足一预设约束条件，并基于所述第一相对坐标和所述第二相对坐标获得所述基本矩阵；

基于所述基本矩阵对应的二次特征根，获得所述畸变参数。

结合第三种可能的实现方式，在第四种可能的实现方式中，所述基于所述基本矩阵对应的二次特征根，获得所述畸变参数，具体包括：求解所述基本矩阵对应的至少一个二次特征根；根据几何距离，对所述至少一个二次特征根进行筛选，获得所述畸变参数。

第二方面，本发明实施例还提供一种确定曲面镜头畸变参数的装置，包括：

第一获得单元，用于获得在第一位置基于一固定轴旋转一曲面镜头而拍摄获得的角度不同的至少三张第一图片，其中所述至少三张第一图片对应的至少三个采集区域具有相同的第一子采集区域；

第一确定单元，用于在所述至少三张第一图片中，确定出所述第一子采集区域内第一特征物对应的至少三个第一特征点；

拟合单元，用于拟合所述至少三个第一特征点对应的圆弧，获得畸变中心；

第二获得单元，用于获得在与所述第一位置不同的第二位置，通过所述曲面镜头拍摄获得的第二图片，所述第二图片对应的采集区域包括所述第一子采集区域；

第二确定单元，用于从所述第二图片提取出所述第一特征物对应的第二特征点，并基于所述畸变中心、所述第一特征点和所述第二特征点，确定所述曲面镜头的畸变参数。

在第二方面的第一种可能的实现方式中，所述第一确定单元具体用于对所述至少三张第一图片中每张图片进行特征点提取处理，并对提取出的特征点进行匹配处理，并确定出所述至少三个第一特征点。

在第二方面的第二种可能的实现方式中，所述拟合单元具体用于对所述至少三个第一特征点进行圆方程拟合，获得至少一个圆心坐标，并对所述至少一个圆心坐标进行非线性优化，获得所述畸变中心。

在第二方面的第三种可能的实现方式中，所述第二确定单元具体用于以所述畸变中心为相对原点坐标，获得所述第一特征点对应的第一相对坐标和所述第二特征点对应的第二相对坐标，并确定所述第一相对坐标、所述第二相对坐标和一基本矩阵满足一预设约束条件，并基于所述第一相对坐标和所述第二相对坐标获得所述基本矩阵，并基于所述基本矩阵对应的二次特征根，获得所述畸变参数。

结合第三种可能的实现方式，在第四种可能的实现方式中，所述第二确定单元具体用于求解所述基本矩阵对应的至少一个二次特征根，并根据几何距离，对所述至少一个二次特征根进行筛选，获得所述畸变参数。

第三方面，本发明实施例还提供一种电子设备，包括：第二方面提供的装置，所述装置与一曲面镜头相连。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了获得在第一位置基于一固定轴旋转一曲面镜头而拍摄获得的角度不同的至少三张第一图片，并在至少三张第一图片中，确定出第一子采集区域内第一特征物对应的至少三个第一特征点，并拟合至少三个第一特征点对应的圆弧，获得畸变中心，并获得在与第一位置不同的第二位置，通过曲面镜头拍摄获得的第二图片，并从第二图片提取出第一特征物对应的第二特征点，并基于畸变中心、第一特征点和第二特征点，确定曲面镜头的畸变参数的技术方案，第一特征点和第二特征点基于单轴旋转而得到，其运动轨迹将为以畸变中心为圆心的同心圆系，所以能够获得准确的畸变中心，并且能够在无特殊标定图像要求的基础上，针对任意场景的图像进行自标定，所以解决了现有技术中存在的在确定鱼眼镜头等曲面镜头的畸变参数时对标定图像的要求较高的技术问题，实现了扩大鱼眼镜头等曲面镜头的应用范围的技术效果。

附图说明

图1为本发明实施例提供的确定曲面镜头畸变参数的方法的流程图；

图2为本发明实施例提供的通过曲面镜头拍摄获得角度不同的至少三张第一图片和第二图片的示意图；

图3A为本发明实施例提供的通过鱼眼镜头拍摄获得的图片的原始图片；

图3B为应用本发明实施例提供的确定曲面镜头畸变参数的方法对鱼眼镜头拍摄获得的原始图片进行校正之后的效果图；

图4为本发明实施例提供的确定曲面镜头畸变参数的装置的功能模块图。

具体实施方式

本发明实施例通过提供一种确定曲面镜头畸变参数的方法、装置以及电子设备，用以解决现有技术中存在的在确定鱼眼镜头等曲面镜头的畸变参数时对标定图像的要求较高的技术问题。

本发明实施例中的技术方案为解决上述技术问题，总体思路如下：

本发明实施例提供一种定曲面镜头畸变参数的方法，该方法包括：

获得在第一位置基于一固定轴旋转一曲面镜头而拍摄获得的角度不同的至少三张第一图片，其中至少三张第一图片对应的至少三个采集区域具有相同的第一子采集区域；

在至少三张第一图片中，确定出第一子采集区域内第一特征物对应的至少三个第一特征点；

拟合至少三个第一特征点对应的圆弧，获得畸变中心；

获得在与第一位置不同的第二位置，通过曲面镜头拍摄获得的第二图片，第二图片对应的采集区域包括第一子采集区域；

从第二图片提取出第一特征物对应的第二特征点，并基于畸变中心、第一特征点和第二特征点，确定曲面镜头的畸变参数。

通过上述部分可以看出，由于采用了获得在第一位置基于一固定轴旋转一曲面镜头而拍摄获得的角度不同的至少三张第一图片，并在至少三张第一图片中，确定出第一子采集区域内第一特征物对应的至少三个第一特征点，并拟合至少三个第一特征点对应的圆弧，获得畸变中心，并获得在与第一位置不同的第二位置，通过曲面镜头拍摄获得的第二图片，并从第二图片提取出第一特征物对应的第二特征点，并基于畸变中心、第一特征点和第二特征点，确定曲面镜头的畸变参数的技术方案，第一特征点和第二特征点基于单轴旋转而得到，其运动轨迹将为以畸变中心为圆心的同心圆系，所以能够获得准确的畸变中心，并且能够在无特殊标定图像要求的基础上，针对任意场景的图像进行自标定，所以解决了现有技术中存在的在确定鱼眼镜头等曲面镜头的畸变参数时对标定图像的要求较高的技术问题，实现了扩大鱼眼镜头等曲面镜头的应用范围的技术效果。

为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

在具体实施过程中，曲面镜头可以是鱼眼镜头、广角镜头或折反射镜头等等，在接下来的部分中，将以曲面镜头具体为一鱼眼镜头为例，来介绍本发明实施例中的技术方案。

本发明实施例提供一种确定曲面镜头畸变参数的方法，请参考图1，图1是本发明实施例提供的确定曲面镜头畸变参数的方法的流程图，如图1所示，该方法包括：

S1：获得在第一位置基于一固定轴旋转一曲面镜头而拍摄获得的角度不同的至少三张第一图片，其中至少三张第一图片对应的至少三个采集区域具有相同的第一子采集区域；

S2：在至少三张第一图片中，确定出第一子采集区域内第一特征物对应的至少三个第一特征点；

S3：拟合至少三个第一特征点对应的圆弧，获得畸变中心；

S4：获得在与第一位置不同的第二位置，通过曲面镜头拍摄获得的第二图片，第二图片对应的采集区域包括第一子采集区域；

S5：从第二图片提取出第一特征物对应的第二特征点，并基于畸变中心、第一特征点和第二特征点，确定曲面镜头的畸变参数。

在介绍本发明实施例中的技术方案之前，先介绍一下单参数除法径向畸变模型，该模型可以表示为：

$x_u-x_o=\frac{x_d-x_o}{1+\mathrm{\λ}{r}_d^2}$

其中，x_d＝(x_d,y_d)^T为畸变图像点，x_u＝(x_u,y_u)^T为经过畸变校正后的图像点，x_o＝(x_o,y_o)^T为畸变中心，r_d为畸变图像点x_d与畸变中心点c_rad的欧式距离，表示为r_d＝||x_d-x_o||，λ为待求取的模型参数。

在步骤S1中，请同时参考图2，图2是本发明实施例提供的通过曲面镜头拍摄获得角度不同的至少三张第一图片和第二图片的示意图，如图2所示，在本实施例中，基于该固定轴，分别以两个角度旋转鱼眼镜头并相应地拍摄图片，该两个角度可以相同，也可以不相同，例如可以为30°、60°等等，当然，为保证本方案的正常实施，需要保证三张第一图片对应的三个采集区域具有相同的第一子采集区域。通过本实施例的介绍，本领域所属的技术人员能够根据实际情况，设置合适的旋转角度，以满足实际情况的需要，在此就不再赘述了。

在接下来的介绍中，将分别以三张图片为第一次拍摄图片、第二次拍摄图片和第三次拍摄图片来对应介绍。

当然，在具体实施过程中，在保证拍摄所获得的图片对应的采集区域具有相同的第一子采集区域的情况下，可以继续旋转鱼眼镜头并相应地拍摄图片，从而使得后续计算过程能够有更多的参考数据，继而提高计算所获得的畸变中心和畸变参数的准确度，在此就不再赘述了。

在本实施例中，将以拍摄所获得的第一图片为三张第一图片为例，来介绍本发明实施例提供确定曲面镜头畸变参数的方法。

在通过步骤S1获得三张第一图片之后，本发明实施例提供的确定曲面镜头畸变参数的方法进入步骤S2，即：在至少三张第一图片中，确定出第一子采集区域内第一特征物对应的至少三个第一特征点。

在步骤S2中，具体来讲，可以是利用特征点提取以及匹配的方法，对步骤S1中获得的三张第一图片进行特征点提取以及匹配，例如可以利用Surf(Speeded Up RobustFeatures，加速鲁棒特征)算法，对三张第一图片进行特征点提取以及匹配，从而确定出第一子采集区域内第一特征物对应的三个第一特征点。

需要说明的是，在接下来的部分中，为了便于理解本实施例中的技术方案以及保证说明书的简洁，将以在步骤S2中确定出了第一特征物对应的三个第一特征点为例来进行介绍，在具体实施过程中，为了提高最后所计算的结果的正确性，在步骤S2中还可以确定更多的特征点，例如与第一特征物不同的第二特征物所对应的三个第二特征点等等，在此就不再赘述了。

在通过步骤S2确定三个第一特征点之后，本发明实施例提供的信息处理方法进入步骤S3，即：拟合至少三个第一特征点对应的圆弧，获得畸变中心。在步骤S3中，具体来讲，三维空间上的任意一个点可以简记为(x,y,z)^T，将鱼眼镜头所在的拍摄装置对应的矩阵记为P，于是可知P＝KR[I|-C]，其中K为该拍摄装置的感光单元对应的标定矩阵，R为相机相对于世界坐标的定向矩阵，I为单位阵，则可以推导得知：其中表示表示相机旋转了i次后对应的映射矩阵，Rⁱ表示旋转了i次后，相机相对于世界坐标的定向矩阵，tⁱ表示旋转了i次后相机相对于世界坐标的偏移向量；以及其中表示旋转了i次之后的相机拍摄得到的图像点，X表示世界坐标中的三维位置点。

将世界坐标系与拍摄装置第一次拍摄时的坐标系重合，则可以推导得知： $P_M^1=K\left[I\right|0]$

类似地，在其他各个视角下，可以推导得知：

$P_M^i=K\left[\begin{array}{cccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0& 0\\ 0& 0& 1& 0\end{array}\right],$ 其中θ为该视角与第一次拍摄时对应的视角的角度变化量。

将第一次拍摄图片中的第一特征点与第二次拍摄图片中的第一特征点对应起来，则可以推导得知：

$\begin{array}{c}\begin{array}{cc}{x}_M^2=K\left[\begin{array}{cccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0& 0\\ 0& 0& 1& 0\end{array}\right]{\left[I\right|0]}^{-1}{K}^{-1}& x_M^0\end{array}\\ \begin{array}{cc}=K\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]K^{-1}& x_M^0\end{array}\end{array}$

同理，设定第二次旋转建立在第一旋转之上，并且为了方便介绍本发明实施例中的技术方案，设定旋转角度也一定，则第三次拍摄图片中的第一特征点可以表示为：

$\begin{array}{c}\begin{array}{cc}{x}_M^2=K\left[\begin{array}{cccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0& 0\\ 0& 0& 1& 0\end{array}\right]{\left[I\right|0]}^{-1}{K}^{-1}& x_M^1\end{array}\\ \begin{array}{ccc}=K\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]K^{-1}& K\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]K^{-1}& x_M^0\end{array}\\ \begin{array}{cc}=K\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]K^{-1}& x_M^0\end{array}\\ \begin{array}{cc}=K\begin{array}{}\end{array}\left[\begin{array}{ccc}\cos 2\mathrm{\θ}& \sin 2\mathrm{\θ}& 0\\ -\sin 2\mathrm{\θ}& \cos 2\mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]K^{-1}& x_M^0\end{array}\end{array}$

在实际应用中，按照上述关系进行n次旋转变换等价于直接进行旋转角度为n^θ的一次变换。所以，对于旋转了任意n次之后的第一特征点，可以推导得知：

$\begin{array}{c}\begin{array}{cc}{x}_M^n=K\left[\begin{array}{cccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0& 0\\ 0& 0& 1& 0\end{array}\right]{\left[I\right|0]}^{-1}{K}^{-1}& x_M^{n-1}\end{array}\\ \begin{array}{cc}=K\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]K^{-1}...K\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]K^{-1}& x_M^0\end{array}\\ \begin{array}{cc}=K\begin{array}{}\end{array}\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]...\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]K^{-1}& x_M^0\end{array}\\ \begin{array}{cc}=K\left[\begin{array}{ccc}\cos \mathrm{n\θ}& \sin \mathrm{n\θ}& 0\\ -\sin \mathrm{n\θ}& \cos \mathrm{n\θ}& 0\\ 0& 0& 1\end{array}\right]K^{-1}& x_M^0\end{array}\end{array}---\left(1\right)$

以包括鱼眼镜头的拍摄装置为一CCD(charge coupled device，电荷耦合器件)相机为例，其标定矩阵K一般为一个上三角矩阵，一般可以记为 $K=\left[\begin{array}{ccc}{f}_{\mathrm{\α}}& S& x_0\\ 0& f_{\mathrm{\β}}& y_0\\ 0& 0& 1\end{array}\right],$ 其中f_α与f_β分别为两个轴方向上的缩放比例，S表示成像倾斜系数，一般对于单个相机的情况S＝0，然而对于二次照相等情况下，由于两次成像时光轴存在夹角从而引入非零的S，这里将取S＝0，坐标(x₀,y₀)^T表示CCD相机的光轴交点(principal point，又被称为)在像平面的坐标位置。

在具体实施过程中，由于一般情况下CCD相机成像两个轴方向单位像素点对应的距离不同，因此其得到的缩放比例也不同，但都是关于焦距f呈线性比例，即f_β＝k_βf。而对于例如长焦距等情况下，其成像矩阵多为正方形，即两个方向的单位距离一致，满足f_α＝f_β＝f。

基于f_α＝f_β＝f，S＝0的模型，即 $K=\left[\begin{array}{ccc}f& 0& x_0\\ 0& f& y_0\\ 0& 0& 1\end{array}\right],$ 为了方便推导间记作 $K=\left[\begin{array}{cc}\mathrm{fI}& {\hat{x}}_0\\ {\hat{0}}^T& 1\end{array}\right],$ 则 $K^{-1}=\left[\begin{array}{cc}{f}^{-1}I& {-f^{-1}\hat{x}}_0\\ {\hat{0}}^T& 1\end{array}\right].$ 若要求相机中心恰好位于世界坐标，且考虑绕单轴旋转即Z轴，那么旋转矩阵可以表示为 $R=\left[\begin{array}{cc}{R}_{2x2}& \hat{0}\\ {\hat{0}}^T& 1\end{array}\right],$ 因此由(1)可以推导第n次旋转得到点的坐标关系式为：

$\begin{array}{c}\begin{array}{cc}{x}_M^n=K\left[\begin{array}{cc}{R}_{2x2}^n& \hat{0}\\ {\hat{0}}^T& 1\end{array}\right]K^{-1}& x_M^0\end{array}\\ =\begin{array}{}\end{array}\left[\begin{array}{cc}\mathrm{fI}& {\hat{x}}_0\\ {\hat{0}}^T& 1\end{array}\right]\left[\begin{array}{cc}{R}_{2x2}^n& \hat{0}\\ {\hat{0}}^T& 1\end{array}\right]\left[\begin{array}{cc}{f}^{-1}I& -f^{-1}{\hat{x}}_0\\ {\hat{0}}^T& 1\end{array}\right]x_M^0\\ =\left[\begin{array}{cc}{R}_{2x2}^n& -R_{2x2}^n{\hat{x}}_0{+\hat{x}}_0\\ {\hat{0}}^T& 1\end{array}\right]x_M^0\end{array}---\left(2\right)$

为了方便介绍本发明实施例中的技术方案，设定第一次拍摄图片的第一特征点位于像平面的原点，即那么即能够得到则进一步可以得到理论上的未加入畸变的坐标点的关系式： $\left\{\begin{array}{c}{x}_u^n=(1-\cos \mathrm{n\θ})x_0-\sin \mathrm{n\θ}{y}_0\\ y_u^n=\sin n{\mathrm{\θx}}_0+(1-\cos \mathrm{n\θ})y_0\end{array}\right..$

经过整理得到两者的关系为：也即满足圆方程 ${(x_u^n-x_0)}^2+{(y_u^n-y_0)}^2=x_0^2+y_0^2.$

在具体实施过程中，由于从第一次拍摄图片、第二次拍摄图片和第三次拍摄图片对应的三个采集区域中相同的第一子采集区域中确定的第一特征点，会存在径向失真，所以采用如下表示的径向失真模型：

$\left\{\begin{array}{c}{x}_u=\frac{x_d}{1+\mathrm{\λ}{r}_d^2}\\ y_u=\frac{y_d}{1+\mathrm{\λ}{r}_d^2}\end{array}\right.---\left(3\right)$

其中下标‘u’表示未退化的坐标点，而‘d’表示已退化的坐标点，即实际在有退化的条件下测量得到的点的情况，r表示径向距离。

对失真模型进行变换，可以推导得知：

$\begin{array}{c}{x}_u^2+y_u^2=\frac{x_d^2}{{(1+\mathrm{\λ}{r}_d^2)}^2}+\frac{y_d^2}{{(1+\mathrm{\λ}{r}_d^2)}^2}\\ =\frac{x_d^2+y_d^2}{{(1+\mathrm{\λ}{r}_d^2)}^2}=\frac{r_d^2}{{(1+\mathrm{\λ}{r}_d^2)}^2}\end{array}$

为了便于介绍，将变换后的失真模型的左边记作则有：

$r_u^2=\frac{r_d^2}{{(1+\mathrm{\λ}{r}_d^2)}^2}=\frac{r_d^2}{1+2\mathrm{\λ}{r}_d^2+{\mathrm{\λ}}^2{r}_d^4}---\left(4\right)$

由于引入的退化参数|λ|<<1，我们可以省略上式的分母中的高次项，从而可以推导得知：

$r_u^2=\frac{r_d^2}{1+2\mathrm{\&lambda;}{r}_d^2}\&DoubleLeftRightArrow;r_d^2=\frac{r_u^2}{1-2\mathrm{\&lambda;}{r}_u^2}---\left(5\right)$

将(5)代入到(3)中，则可以分别求得退化坐标关于原坐标的表达式： $\left\{\begin{array}{c}{x}_d=\frac{1-\mathrm{\&lambda;}{r}_d^2}{1-2\mathrm{\&lambda;}{r}_d^2}{x}_u\\ y_d=\frac{1-\mathrm{\&lambda;}{r}_d^2}{1-2\mathrm{\&lambda;}{r}_d^2}{y}_u\end{array}\right.$

对其进一步化简如下：

$\begin{array}{c}{x}_d=\frac{1-\mathrm{\&lambda;}{r}_u^2}{1-2\mathrm{\&lambda;}{r}_u^2}{x}_u=(1+\frac{\mathrm{\&lambda;}{r}_u^2}{1-2\mathrm{\&lambda;}{r}_u^2})x_u\\ =[1+\mathrm{\&lambda;}{r}_u^2(1+2\mathrm{\&lambda;}{r}_u^2+4{\mathrm{\&lambda;}}^2{r}_u^4+..)]x_u\end{array}$

由于|λ|<<1，故可省略其高次项，得到

$\begin{array}{c}=(1+\mathrm{\&lambda;}{r}_u^2+2{\mathrm{\&lambda;}}^2{r}_u^4)x_u\\ \&ap;\frac{x_u}{1-\mathrm{\&lambda;}{r}_u^2}\end{array}$

继续推导可知：

$\left\{\begin{array}{c}{x}_d=\frac{x_u}{1-\mathrm{\&lambda;}{r}_u^2}\\ y_d=\frac{y_u}{1-\mathrm{\&lambda;}{r}_u^2}\end{array}\right.---\left(6\right)$

在上述推导过程中，由于将将光轴交点默认位于图像原点，而之前假设位于(x₀,y₀)，因此我们需要对(5)进行简单的变换：

$\left\{\begin{array}{c}{x}_d-x_0=\frac{x_u-x_0}{1-\mathrm{\&lambda;}{r}_u^2}\\ y_d-y_0=\frac{y_u-y_0}{1-\mathrm{\&lambda;}{r}_u^2}\end{array}\right.,r_u^2={(x_u-x_0)}^2+{(y_u-y_0)}^2$

根据之前的推导，在满足上述设定的固定轴旋转中，对于转动任意角度后的点均落在一个以畸变中心为圆心，经过原点的圆周上，因此为一定值，则可以推导得知退化后殿的理论坐标为：

在具体实施过程中，第一个点的投影在像平面的坐标并不能保证其取(0,0,1)^T，因此需要对(7)进行修改。

设定投影到的第0个点坐标为即由(2)化简可以得到：

$\left\{\begin{array}{c}{x}_u^n=(1-\cos \mathrm{n\&theta;})x_0-\sin \mathrm{n\&theta;}{y}_0+\cos \mathrm{n\&theta;}{x}_u^0+\sin \mathrm{n\&theta;}{y}_u^0\\ y_u^n=\sin \mathrm{n\&theta;}{x}_0+(1-\cos \mathrm{n\&theta;})y_0-\sin \mathrm{n\&theta;}{x}_u^0+\cos \mathrm{n\&theta;}{y}_u^0\end{array}\right.---\left(8\right)$

将(7)与(8)进行消除参数之后可以得到：

也即将其中的半径修改为圆心不变，从而能够确定一系列经过第一特征点的同心圆弧。

上述推导过程是建立在的前提下，而由于在实际应用中标定矩阵焦距较大，并不能满足上述条件，因此为了进一步提高获得的畸变中心的准确性，需要对(9)进行调整。

由(4)直接进行化简，可以得到：

${\mathrm{\&lambda;}}^2{r}_d^4+2\mathrm{\&lambda;}{r}_d^2+1-\frac{r_d^2}{r_u^2}=0$

对上式进行求解，可以得到：(在实际应用中，λ一般取小于零的数，但这只需要对上述结果进行符号上的调整即可)，则进一步可以推导得到r_d与r_u的关系式：

$r_d=\frac{1\&PlusMinus;\sqrt{1-4\mathrm{\&lambda;}{r}_u^2}}{2\mathrm{\&lambda;}{r}_u}---\left(10\right)$

其中选择使r_d为正值。

将(10)代入畸变方程(6)中，则可以得到关系式：

$\left\{\begin{array}{c}{x}_d=\frac{x_u(1\&PlusMinus;\sqrt{1-4\mathrm{\&lambda;}{r}_u^2})}{2\mathrm{\&lambda;}{r}_u^2}\\ y_d=\frac{y_u(1\&PlusMinus;\sqrt{1-4\mathrm{\&lambda;}{r}_u^2})}{2\mathrm{\&lambda;}{r}_u^2}\end{array}\right.$

加入畸变中心后，可以得到修正解为：

$\left\{\begin{array}{c}{x}_d-x_0=\frac{(x_u-x_0)(1\&PlusMinus;\sqrt{1-4\mathrm{\&lambda;}{r}_u^2})}{2\mathrm{\&lambda;}{r}_u^2}\\ y_d-y_0=\frac{(y_u-y_0)(1\&PlusMinus;\sqrt{1-4\mathrm{\&lambda;}{r}_u^2})}{2\mathrm{\&lambda;}{r}_u^2}\end{array}\right.$

而由于对于未退化点，其运动轨迹满足圆 ${(x_u^n-x_0)}^2+{(y_u^n-y_0)}^2={(x_u^0-x_0)}^2+{(y_u^0-y_0)}^2,$ 且 $r_u^2={(x_u^n-x_0)}^2+{(y_u^n-y_0)}^2,$ 则r_u当第一个投影点确定后，为一定值。因此，畸变后的点的轨迹仍为圆，且满足：

${(x_d^n-x_0)}^2+{(y_d^n-y_0)}^2=\frac{{(1\&PlusMinus;\sqrt{1-4\mathrm{\&lambda;}{r}_u^2})}^2}{4{\mathrm{\&lambda;}}^2{r}_u^4}=r_d^2$

因此，可以通过拟合退化后的点的轨迹，来获得畸变中心。

在具体实施过程中，可以通过最小二乘法进行线性拟合，也可以通过L-M(Levenberg-Marquardt)非线性迭代的方法进行拟合。在本实施例中，将介绍通过最小二乘法拟合确定圆心的具体过程：提取各个圆弧上的点，也即步骤S2中获得的三个第一特征点；对每个圆弧上的点进行拟合，确定其圆心；对多个圆弧上的点所确定的圆心进行非线性优化，从而获得优化后的圆心，也即畸变中心。

当然，在实际应用中，通过本发明实施例的介绍，本领域所属的技术人员能够根据实际情况，选择其他合适的算法来拟合三张第一图片中的第一特征点，以满足实际情况的需要，在此就不再赘述了。

在通过步骤S3获得畸变中心之后，本发明实施例提供的确定曲面镜头畸变参数的方法进入步骤S4，即：获得在与第一位置不同的第二位置，通过曲面镜头拍摄获得的第二图片。

在步骤S4中，请继续参考图2，即是获得在如图2所示的第二位置通过曲面镜头拍摄获得的第二图片，第二图片对应的采集区域也需要包括第一子采集区域在内，在此就不再赘述了。

在通过步骤S4获得第二图片之后，本发明实施例提供的确定曲面镜头畸变参数的方法进入步骤S5，即：从第二图片提取出第一特征物对应的第二特征点，并基于畸变中心、第一特征点和第二特征点，确定曲面镜头的畸变参数。

在步骤S5中，具体来讲，需要先通过如前述部分中所介绍的特征点提取以及匹配方法，从步骤S4中获得的第二图片中提取出第一特征物对应的第二特征点，然后根据畸变中心、第一特征点和第二特征点，求解出鱼眼镜头的畸变参数。

在具体实施过程中，可以将畸变中心作为相对原点坐标，从而可以获得第一特征点对应的第一相对坐标和第二特征点对应的第二相对坐标，其中第一特征点可以是步骤S1中获得的三张图片中的任一一张图片中的第一特征点，在此不做限制，然后确定第一相对坐标、第二相对坐标和一基本矩阵满足一预设约束条件，并基于该预设约束条件，通过该第一相对坐标和第二相对坐标求解出基本矩阵，最后根据基本矩阵对应的二次特征根，求解出畸变参数，基本矩阵的对应的二次特征根的数量为至少一个，因此可以根据几何距离，对至少一个二次特征根进行筛选，从而获得最优解，也即获得畸变参数。

具体来讲，设定第一特征点和第二特征点分别为x₁＝(x₁,y₁,1)^T,x₂＝(x₂,y₂,1)^T，对于同一个相机拍摄得到的同样的图像点，存在基本矩阵F，满足这一约束条件。

由于已知畸变中心，在接下来的部分中，将建立在假设畸变中心为原点的情形下，即考虑的坐标均为相对畸变中心的坐标值。

设定畸变图像上的点为x_d＝(x_d,y_d,1)^T，对应的未畸变点坐标为x_u＝(x_u,y_u,1)^T，根据单除法模型可以得到两者的关系式为：

$w\left(\begin{array}{c}{x}_u\\ y_u\\ 1\end{array}\right)=\left(\begin{array}{c}x\\ y\\ 1+\mathrm{\&lambda;}(x^2+y^2)\end{array}\right)=\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)+\mathrm{\&lambda;}\left(\begin{array}{c}0\\ 0\\ {\left|\right|x\left|\right|}^2\end{array}\right)=x+\mathrm{\&lambda;dx}$

其中，w为基本矩阵的几何距离，具体可以通过如下方式计算其值：w＝dist(x₁,F'x₂)²+dist(x₂,Fx₁)²。

上式对于任意此模型下的畸变图像均成立，则根据第一特征点和第二特征点所满足的约束条件，即可得到第一特征点和第二特征点的关系为：

(x_2d+λdx_2d)^TF(x_1d+λdx_1d)＝0

对其进行化简，可以得到关于畸变参数的方程：

$x_{2d}^{T}F{x}_{1d}+\mathrm{\&lambda;}(x_{2d}^T\mathrm{Fd}{x}_{1d}+{\mathrm{dx}}_{2d}^{T}F{x}_{1d})+{\mathrm{\&lambda;}}^2{\mathrm{dx}}_{2d}^{T}F{\mathrm{dx}}_{1d}=0$

将第一特征点和第二特征点的坐标代入，并进行进一步化简，可以得到下列约束条件：A^f＝0。

在该约束条件中，约束矩阵A对应于相应的坐标点：A＝D₀+λD₁+λ²D₂，满足：

D₀＝(x₂*x₁,x₂*y₁,x₂,y₂*x₁,y₂*y₁,y₂,x₁,y₁,1)；

D₁＝(0,0,x₂*||x₁||²,0,0,y₂*||x₁||²,x₁*||x₂||²,y₁*||x₂||²,||x₁||²+||x₂||²)；

D₂＝(0,0,0,0,0,0,0,0,||x₁||²*||x₂||²)。

并且，f对应于基本矩阵F＝(f¹,f²,f³)，f＝(f^1T,f^2T,f^3T)^T。

也就是说，求解畸变参数这一问题等价于求解二次特征根问题，(D₀+λD₁+λ²D₂)f＝0，求解该方程对应的二次特征根，即可以获得畸变参数。

当然，在实际应用中，从第一图片获得的第一特征点或从第二图片中获得的第二特征点可以能存在一定的噪声影响，因此可以采用随机抽样一致(RANSAC，Random SampleConsensus)算法，来对这些点进行运算，通过基本矩阵的几何距离w＝dist(x₁,F'x₂)²+dist(x₂,Fx₁)²，来优化求解，具体地，可以通过如下步骤来实现：使用随机抽样一致算法去除外点(outliers)；对得到的点计算对应的矩阵；求解得到的矩阵所对应的二次特征根；对得到的二次特征根，根据几何距离进行筛选，得到最优解，也即获得畸变参数。

在获得畸变参数之后，即能够根据畸变参数，对通过鱼眼镜头所拍摄获得的图片进行校正，请参考图3A和图3B，图3A是本发明实施例提供的通过鱼眼镜头拍摄获得的图片的原始图片，图3B是应用本发明实施例提供的确定曲面镜头畸变参数的方法对鱼眼镜头拍摄获得的原始图片进行校正之后的效果图，通过图3A与图3B的对比可以看出，本发明实施例提供的确定曲面镜头畸变参数的方法不需要特定的标定图像，就能够将鱼眼镜头拍摄获得的原始图片校正为较为理想的图片，所以解决了现有技术中存在的在确定鱼眼镜头等曲面镜头的畸变参数时对标定图像的要求较高的技术问题，从而能够扩大鱼眼镜头的应用范围。

通过上述部分可以看出，由于采用了获得在第一位置基于一固定轴旋转一曲面镜头而拍摄获得的角度不同的至少三张第一图片，并在至少三张第一图片中，确定出第一子采集区域内第一特征物对应的至少三个第一特征点，并拟合至少三个第一特征点对应的圆弧，获得畸变中心，并获得在与第一位置不同的第二位置，通过曲面镜头拍摄获得的第二图片，并从第二图片提取出第一特征物对应的第二特征点，并基于畸变中心、第一特征点和第二特征点，确定曲面镜头的畸变参数的技术方案，第一特征点和第二特征点基于单轴旋转而得到，其运动轨迹将为以畸变中心为圆心的同心圆系，所以能够获得准确的畸变中心，并且能够在无特殊标定图像要求的基础上，针对任意场景的图像进行自标定，所以解决了现有技术中存在的在确定鱼眼镜头等曲面镜头的畸变参数时对标定图像的要求较高的技术问题，实现了扩大鱼眼镜头等曲面镜头的应用范围的技术效果。

基于同一发明构思，本发明实施例第二方面还提供一种确定曲面镜头畸变参数的装置，请参考图4，图4是本发明实施例提供的确定曲面镜头畸变参数的装置的功能模块图，如图4所示，该装置包括：

第一获得单元401，用于获得在第一位置基于一固定轴旋转一曲面镜头而拍摄获得的角度不同的至少三张第一图片，其中至少三张第一图片对应的至少三个采集区域具有相同的第一子采集区域；

第一确定单元402，用于在至少三张第一图片中，确定出第一子采集区域内第一特征物对应的至少三个第一特征点；

拟合单元403，用于拟合至少三个第一特征点对应的圆弧，获得畸变中心；

第二获得单元404，用于获得在与第一位置不同的第二位置，通过曲面镜头拍摄获得的第二图片，第二图片对应的采集区域包括第一子采集区域；

第二确定单元405，用于从第二图片提取出第一特征物对应的第二特征点，并基于畸变中心、第一特征点和第二特征点，确定曲面镜头的畸变参数。

在具体实施过程中，第一确定单元402具体用于对至少三张第一图片中每张图片进行特征点提取处理，并对提取出的特征点进行匹配处理，并确定出至少三个第一特征点。

在具体实施过程中，拟合单元403具体用于对至少三个第一特征点进行圆方程拟合，获得至少一个圆心坐标，并对至少一个圆心坐标进行非线性优化，获得畸变中心。

在具体实施过程中，第二确定单元405具体用于以畸变中心为相对原点坐标，获得第一特征点对应的第一相对坐标和第二特征点对应的第二相对坐标，并确定第一相对坐标、第二相对坐标和一基本矩阵满足一预设约束条件，并基于第一相对坐标和第二相对坐标获得基本矩阵，并基于基本矩阵对应的二次特征根，获得畸变参数。

在具体实施过程中，第二确定单元405具体用于求解基本矩阵对应的至少一个二次特征根，并根据几何距离，对至少一个二次特征根进行筛选，获得畸变参数。

本发明实施例第三方面还提供一种电子设备，包括：如前述部分所介绍的装置，与一曲面镜头相连。在实际应用中，曲面镜头可以是电子设备本身包括的，如该电子设备可以是包括一曲面镜头的相机等等，曲面镜头也可以不是电子设备本身包括的，如该电子设备可以是一图像处理设备，如监控服务器等等，其与曲面镜头相连，从而可以对通过曲面镜头拍摄获得的图片进行校正，在此不做限制。

本实施例中的装置、电子设备与前述部分中的确定曲面镜头畸变参数的方法是基于同一发明构思下的两个方面，在前面已经对方法的实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施例中的装置、电子设备的结构及实施过程，为了说明书的简洁，在此就不再赘述了。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种确定曲面镜头畸变参数的方法，其特征在于，包括：

获得在第一位置基于一固定轴旋转一曲面镜头而拍摄获得的角度不同的至少三张第一图片，其中所述至少三张第一图片对应的至少三个采集区域具有相同的第一子采集区域；

在所述至少三张第一图片中，确定出所述第一子采集区域内第一特征物对应的至少三个第一特征点；

拟合所述至少三个第一特征点对应的圆弧，获得畸变中心；

获得在与所述第一位置不同的第二位置，通过所述曲面镜头拍摄获得的第二图片，所述第二图片对应的采集区域包括所述第一子采集区域；

从所述第二图片提取出所述第一特征物对应的第二特征点，以所述畸变中心为相对原点坐标，获得所述第一特征点对应的第一相对坐标和所述第二特征点对应的第二相对坐标；确定所述第一相对坐标、所述第二相对坐标和一基本矩阵满足一预设约束条件，并基于所述第一相对坐标和所述第二相对坐标获得所述基本矩阵；基于所述基本矩阵对应的二次特征根，获得所述畸变参数。

2.如权利要求1所述的方法，其特征在于，所述在所述至少三张第一图片中，确定出所述第一子采集区域内第一特征物对应的至少三个第一特征点，具体包括：

对所述至少三张第一图片中每张图片进行特征点提取处理；

对提取出的特征点进行匹配处理；

确定出所述至少三个第一特征点。

3.如权利要求1所述的方法，其特征在于，所述拟合所述至少三个第一特征点对应的圆弧，获得畸变中心，具体包括：

对所述至少三个第一特征点进行圆方程拟合，获得至少一个圆心坐标；

对所述至少一个圆心坐标进行非线性优化，获得所述畸变中心。

4.如权利要求1所述的方法，其特征在于，所述基于所述基本矩阵对应的二次特征根，获得所述畸变参数，具体包括：

求解所述基本矩阵对应的至少一个二次特征根；

根据几何距离，对所述至少一个二次特征根进行筛选，获得所述畸变参数。

5.一种确定曲面镜头畸变参数的装置，其特征在于，包括：

第一获得单元，用于获得在第一位置基于一固定轴旋转一曲面镜头而拍摄获得的角度不同的至少三张第一图片，其中所述至少三张第一图片对应的至少三个采集区域具有相同的第一子采集区域；

第一确定单元，用于在所述至少三张第一图片中，确定出所述第一子采集区域内第一特征物对应的至少三个第一特征点；

拟合单元，用于拟合所述至少三个第一特征点对应的圆弧，获得畸变中心；

第二获得单元，用于获得在与所述第一位置不同的第二位置，通过所述曲面镜头拍摄获得的第二图片，所述第二图片对应的采集区域包括所述第一子采集区域；

第二确定单元，用于从所述第二图片提取出所述第一特征物对应的第二特征点，以所述畸变中心为相对原点坐标，获得所述第一特征点对应的第一相对坐标和所述第二特征点对应的第二相对坐标；确定所述第一相对坐标、所述第二相对坐标和一基本矩阵满足一预设约束条件，并基于所述第一相对坐标和所述第二相对坐标获得所述基本矩阵；基于所述基本矩阵对应的二次特征根，获得所述畸变参数。

6.如权利要求5所述的装置，其特征在于，所述第一确定单元具体用于对所述至少三张第一图片中每张图片进行特征点提取处理，并对提取出的特征点进行匹配处理，并确定出所述至少三个第一特征点。

7.如权利要求5所述的装置，其特征在于，所述拟合单元具体用于对所述至少三个第一特征点进行圆方程拟合，获得至少一个圆心坐标，并对所述至少一个圆心坐标进行非线性优化，获得所述畸变中心。

8.如权利要求5所述的装置，其特征在于，所述第二确定单元具体用于求解所述基本矩阵对应的至少一个二次特征根，并根据几何距离，对所述至少一个二次特征根进行筛选，获得所述畸变参数。

9.一种电子设备，其特征在于，包括：

如权利要求5-8中任一权项所述的装置，与一曲面镜头相连。