CN115601243A - 图像畸变矫正方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供一种图像畸变矫正方法、装置、设备及计算机可读存储介质；方法包括：获取通过目标镜头拍摄的待畸变矫正的目标图像；获取优化畸变参数，优化畸变参数是采用直线拟合算法对目标镜头的初始畸变参数进行更新得到的；根据优化畸变参数对目标图像进行畸变矫正，得到畸变矫正后的图像。本申请实施例中，通过采用通过直线拟合算法对目标镜头的初始畸变参数进行更新得到的优化畸变参数，对通过目标镜头拍摄的目标图像进行畸变矫正，由于优化畸变参数相对于常规通过单目标定算法获得的初始畸变参数更加准确，从而使得对图像畸变矫正的效果更加理想。

Description

图像畸变矫正方法、装置、设备及计算机可读存储介质

技术领域

本申请实施例涉及图像处理技术领域，具体涉及一种图像畸变矫正方法、装置、设备及计算机可读存储介质。

背景技术

镜头畸变是光学透镜固有的透视失真的总称，也就是因为透视原因而导致的失真，这种失真对于照片的成像质量是非常不利的，因此通常需要预先通过标定的方式计算镜头的畸变参数，进而利用该畸变参数对镜头拍摄得到的图像进行畸变矫正。因此，标定出的畸变参数往往会影响到图像的畸变矫正效果。

现有技术中，通常采用“张氏标定法”来对镜头进行标定，从而得到镜头的畸变参数，进而实现对图像的畸变矫正。在镜头本身的畸变较小时，张氏标定法能够获得较为准确的畸变参数，从而能够实现较优的畸变矫正效果。然而当镜头本身的畸变较大时，基于张氏标定法所标定得到的畸变参数误差较大，导致图像的畸变矫正效果不够理想。

可见，对于本身畸变较大的镜头，现有的畸变矫正方法还存在着畸变参数估计不准确，导致畸变矫正效果不够理想的技术问题。

发明内容

本申请实施例提供一种图像畸变矫正方法、装置、设备及计算机可读存储介质，旨在解决现有的畸变矫正方法还存在的畸变参数估计不准确，导致图像的畸变矫正效果不够理想的技术问题。

一方面，本申请实施例提供一种图像畸变矫正方法，包括：

获取通过目标镜头拍摄的待畸变矫正的目标图像；

获取优化畸变参数，优化畸变参数是采用直线拟合算法对目标镜头的初始畸变参数进行更新得到的；

根据优化畸变参数对目标图像进行畸变矫正，得到畸变矫正后的图像。

另一方面，本申请实施例还提供一种图像畸变矫正装置，包括：

第一获取模块，用于获取通过目标镜头拍摄的待畸变矫正的目标图像；

第二获取模块，用于获取优化畸变参数，优化畸变参数是采用直线拟合算法对目标镜头的初始畸变参数进行更新得到的；

矫正模块，用于根据优化畸变参数对目标图像进行畸变矫正，得到畸变矫正后的图像。

另一方面，本申请实施例还提供一种图像畸变矫正设备，图像畸变矫正设备包括存储器、处理器以及存储于存储器中并可在处理器上运行的图像畸变矫正程序，处理器执行图像畸变矫正程序以实现图像畸变矫正方法中的步骤。

另一方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现图像畸变矫正方法中的步骤。

相比于现有技术是直接使用利用单目标定算法得到的畸变参数对图像进行畸变校正，本申请提供的图像畸变校正方法是利用通过直线拟合算法对初始畸变参数进行更新所得到的优化畸变参数来对图像进行畸变矫正。本申请中所使用的优化畸变参数，相对于常规通过单目标定算法获得的畸变参数，更加逼近镜头的真实畸变值，对图像畸变矫正的效果更加理想。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像畸变矫正方法的步骤流程图；

图2是本申请实施例提供的一种预先更新得到优化畸变参数的步骤流程图；

图3是本申请实施例提供的一种根据损失值和梯度下降算法对初始畸变参数进行更新，并将更新后的初始畸变参数设定为优化畸变参数的步骤流程图；

图4是本申请实施例提供的一种根据损失值和梯度下降算法对初始畸变参数进行更新，得到更新后的畸变参数的步骤流程图；

图5是本申请实施例提供的另一种根据损失值和梯度下降算法对初始畸变参数进行更新，并将更新后的初始畸变参数设定为优化畸变参数的步骤流程图；

图6是本申请实施例提供的一种计算反畸变坐标的步骤流程图；

图7是本申请实施例提供的一种计算映射坐标的步骤流程图；

图8是本申请实施例提供的一种图像畸变矫正装置的结构示意图；

图9是本申请实施例提供的一种图像畸变矫正设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明包含的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请实施例中，“示例性”一词用来表示“用作例子、例证或说明”。本申请实施例中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。

本申请实施例中提供一种图像畸变矫正方法、装置、设备及计算机可读存储介质，以下分别进行详细说明。

首先，需要说明的一点是，由于镜头焦平面上不同区域对物体的放大率不同，往往会导致形成的图像产生扭曲变形现象，即存在畸变。而镜头本身的固有属性不同，其产生扭曲变形的程度往往也不同，通常情况下可以采用畸变参数来描述镜头拍摄得到的图像中产生的畸变，如此，就可以利用该畸变参数对拍摄得到的畸变图像进行逆变化，从而实现对图像的畸变矫正。可见，镜头与畸变参数存在对应的关系，不同的镜头，其畸变参数往往不同，即针对于每一个镜头，都需要预先对镜头进行标定。并且所标定的镜头畸变参数的精准度，往往会影响到图像的畸变矫正效果，具体的，标定的镜头畸变参数越精准，则图像的畸变矫正效果越好。因此，当对某个镜头拍摄得到的图像进行畸变矫正时，核心在于能否准确的标定出该镜头的畸变参数。

本发明提出的图像畸变矫正方法，通常可以理解为一种软件程序，该软件程序是运行于硬件单元，也就是图像畸变矫正装置上，该图像畸变矫正装置是伴随镜头而存在的。例如，当镜头是手机镜头时，则图像畸变校正装置可以理解为手机中用于处理图像的芯片或是处理器，用于对该手机镜头拍摄得到的图像进行畸变矫正处理，从而输出无畸变的图像。而当镜头是相机镜头时，则图像畸变校正装置可以理解为相机中用于处理图像的芯片或是处理器，用于对该相机镜头拍摄得到的图像进行畸变矫正处理，从而输出无畸变的图像。

如图1所示，图1为本发明实施例提供的一种图像畸变矫正方法的步骤流程图，具体包括步骤101～步骤103：

101，获取通过目标镜头拍摄的待畸变矫正的目标图像。

在本申请实施例中，由于手机、相机所拍摄输出的图像通常情况下是已经经过畸变矫正处理后的图像，因此目标图像并非是指日常生活中利用手机、相机所拍摄输出的图像，而是通过镜头所采集的图像，当然镜头所采集的目标图像往往并不会展示给用户，而是直接在程序内部进行处理，处理完成后才会输出展示。

102，获取优化畸变参数，优化畸变参数是采用直线拟合算法对目标镜头的初始畸变参数进行更新得到的。

在本申请实施例中，现有的用于对图像进行畸变矫正的畸变参数通常都是采用基于单目标定算法，例如最常用的张氏标定法，所得到的畸变参数。在标定目标镜头的畸变参数时，往往是通过最大似然估计计算畸变参数，针对于畸变较大的镜头时，该算法所计算出的畸变参数往往不够精确，存在偏差，如此，当后续采用该标定算法所获得的畸变参数对镜头拍摄得到的图像进行畸变矫正处理时，处理后的图像仍会存在一定的畸变，图像的畸变矫正不够理想。而本发明在标定畸变参数的过程中，在通过单目标定算法获得初始畸变参数后，还会进一步根据直线拟合和梯度下降对畸变参数进行更新优化，得到优化畸变参数，从而后续可以利用该优化畸变参数对图像进行畸变矫正，以提高畸变矫正的效果。

本申请中所使用的优化畸变参数，相对于常规通过单目标定算法获得的畸变参数更加准确，即更加逼近镜头的真实畸变值，从而对图像畸变矫正的效果更加理想。

103，根据优化畸变参数对目标图像进行畸变矫正，得到畸变矫正后的图像。

在本申请实施例中，结合前述可知，畸变参数是描述了镜头拍摄得到的图像中产生的畸变程度，也就是原始图像到畸变图像的映射关系，那么显然，基于该畸变参数对畸变图像做逆变换时，就可以将畸变图像矫正为反映出原始图像的真实样貌的矫正图像。结合前述内容可知，对某个镜头拍摄得到的图像进行畸变矫正时，核心在于能否准确的标定出该镜头的畸变参数。也就是说，本发明对图像进行畸变矫正目标镜头的核心点在于所采用的畸变参数为优化畸变参数，具体的，是预先基于直线拟合和梯度下降算法，对通过单目标定算法获得的目标镜头的初始畸变参数进行更新得到的优化畸变参数。

本申请实施例的技术方案中提供的图像畸变矫正方法，在获取待畸变矫正的目标图像后，使用通过直线拟合算法对单目标定算法得到的初始畸变参数进行更新所得到的优化畸变参数来对目标图像进行畸变矫正，可以得到更好的图像畸变矫正效果。

如图2所示，图2为本申请实施例提供的一种预先更新得到优化畸变参数的步骤流程图，具体包括步骤201-204：

201，获取预设的标定图像在目标镜头下的畸变图像，并根据预设的单目标定算法对标定图像和畸变图像进行处理，得到目标镜头的初始畸变参数以及内参。

需要说明的一点是，事实上，标定过程通常情况下是由手机厂商或相机厂商在出厂之前完成的，在标定好畸变参数后，后续用户直接使用手机或者相机就可以拍摄得到畸变矫正过后的图像。当然，在用户主动更换镜头时，可以直接从说明书中读取畸变参数，当然也可以自行通过Opencv程序来主动实现对镜头畸变参数的标定。

在本申请实施例中，标定图像通常是指含有大量特征点或者特征直线以便进行坐标定位的图像。例如，在常用的标定过程中，通常是采用一定大小的棋盘格图像作为标定图像。因为在棋盘格图像中，包含大量特征明显的边缘线以及角点，非常适用于标定。

在本申请实施例中，当需要标定镜头的畸变参数时，通常需要先获取标定图像也就是棋盘格图像在镜头下的直接畸变图像，即完全没有畸变矫正过的图像，然后基于单目标定算法，例如最常用的张氏标定法对标定图像和畸变图像进行标定处理，从而得到目标镜头的初始畸变参数以及其他内参，例如主点坐标、焦距等等。

在本申请实施例中，镜头中包含有多种畸变参数，例如径向畸变参数以及切向畸变参数，但考虑到切向畸变参数对图像效果的影响程度较弱，对切向畸变参数的优化反馈在图像效果上会比较微弱。因此，本申请所提出的图像畸变矫正中主要是用于对径向畸变参数进行更新优化，具体的，是指对6个径向畸变参数的更新优化，当然，这并不排除本申请对于切向畸变参数的优化效果，事实上，本提案提出的图像畸变矫正方法也同样适用于对切向畸变参数的优化。

在本申请实施例中，需要说明的一点是，单目标定算法例如最常用的张氏标定法可以得到镜头的畸变参数，但是针对于本身畸变较大的镜头，单目标定所得到的畸变参数准确度不够，存在误差，从而影响到后续的畸变矫正过程，而本发明正是在上述问题的基础上，对单目标定所得到的畸变参数利用直线拟合和梯度下降做进一步的优化更新处理，针对于本身畸变较大的镜头，能够从得到更加精确的畸变参数。

在本申请实施例中，单目标定算法属于本领域技术人员熟知的常规技术手段，并且本发明的核心在于后续对畸变参数的更新优化过程，在此对于单目标定算法的实现过程不做详细说明，本领域技术人员可通过Opencv程序直接实现单目标定。

202，获取预设目标直线上多个目标点在标定图像中的原始坐标，和多个目标点在畸变图像中的畸变坐标，并根据原始坐标、畸变坐标、内参和初始畸变参数，计算多个目标点在标定图像中的反畸变坐标。

在本申请实施例中，对畸变参数进行优化同样需要使用标定图像，通常情况下，选具有大量明显特征点和特征直线的棋盘格图像作为标定图像。

在本申请实施例中，目标直线通常是指标定图像中特征直线，例如棋盘格中各个格子的边缘。而进一步考虑到本申请主要用于对径向畸变参数的优化，而径向畸变参数对于图像的影响效果会随着与镜头中心的距离增大而逐渐增强，也就是在镜头中心区域，径向畸变的程度较低，而在远离镜头中心的边缘区域，就会存在比较明显的径向畸变。因此，目标直线通过选择棋盘格靠近边缘区域的直线，来保证更好的畸变参数优化效果。进一步的，目标点则选择目标直线上的格子角点，便于确定坐标。

在本申请实施例中，通常情况下，为保证径向畸变参数的优化效果，会选择多条目标直线，并在每条目标直线上都确定若干个目标点，具体的，作为一种可行的方案，优选选择8条目标直线，并在目标直线上提取47个目标点来对径向畸变参数进行优化，在保证优化效果的同时，尽可能降低了计算量。

在本申请实施例中，在选定目标直线和目标点后，基于棋盘格的特殊性，可以方便的确定出目标点在标定图像中的原始坐标，且以格子长度作为单位长度，可以保证原始坐标均为整点坐标，便于后续的计算。同样的基于棋盘格的特殊性，也可以方便找到对应目标点在畸变图像中的畸变坐标。

在本申请实施例中，考虑到径向畸变参数是描述原始图像到畸变图像之间的单向映射关系，现有的单目标定算法也只考虑了从原始坐标到畸变参数坐标之间的单向映射关系，并基于最大似然估计计算畸变参数。然而本发明则是根据原始坐标和畸变坐标，并配合内参和畸变参数，结合插值逆向求解对应于畸变坐标的反畸变坐标，可以想象，当反畸变坐标也和原始坐标一样能够构成直线时，则表明此时反畸变坐标已经完全消除了径向畸变所带来的扭曲畸变，只剩下了偏转误差，而偏转误差可以通过简单的旋转矩阵还原，则可认为当前的畸变参数等于真实值。因此，本提案正是在此基础上，通过直线拟合与梯度下降不断更新畸变参数，使得反畸变坐标逐渐逼近一条直线，从而得到更加准确的更新畸变参数。具体根据原始坐标、畸变坐标、内参和初始畸变参数，计算多个目标点在标定图像中的反畸变坐标的步骤，可以参与后续图6及其解释说明的内容。

203，根据直线拟合算法确定反畸变坐标对应的拟合直线，并计算反畸变坐标到拟合直线的损失值。

在本申请实施例中，直线拟合，也就是线性拟合具有多种可行的算法，例如最常用的最小二乘法，本发明对具体的直线拟合算法不做限定。

在本申请实施例中，以最小二乘法为例，具体基于直线拟合确定拟合直线，并计算损失值的过程如下：

设经过步骤202所处理得到的某条直线n个目标点的反畸变坐标依次为：(x₁,y₁)、(x₂,y₂)、...、(x_n,y_n)，拟合得到的直线为y＝kx+b，则点到直线的误差平方和为：

由于误差在导数等于0处取到极值，分别求关于k和b的一阶导数，解k，b的值使得误差函数最小，可得：

解上述方程，令：

因此，基于最小二乘法，可直接通过计算反畸变坐标的横坐标之和、横坐标的平方和、横纵坐标之积的和以及纵坐标之和求解拟合直线。

进一步的，对于任意反畸变坐标，其到拟合直线的误差为：

res_i＝|(y_i-b)/k-x_i|

对反畸变坐标的误差求和，可求出一条直线的误差和，而对全部直线做相同处理，并对全部直线的误差和进行求和，即可得到损失值。具体的，令d为畸变参数的向量表示，其中d₀为初始畸变参数，则在畸变参数给定的情况下，损失值E可表示为关于畸变参数d的函数形式E(d)。

204，根据损失值和梯度下降算法对初始畸变参数进行更新，并将更新后的初始畸变参数设定为优化畸变参数。

在本申请实施例中，针对于畸变参数d，可确定对应的损失值E(d)。因此，当对畸变参数进行微量调整时，可以确定损失值在E(d)各个调整方向上的梯度，结合梯度下降算法，就可以确定出对畸变参数d的调整方向，通过更新畸变参数以降低损失值E(d)，即可以实现对畸变参数的优化。

在本申请实施例中，可以理解，对于畸变参数的更新可以是迭代更新，也就是在每次更新畸变参数后，重新计算损失值，并重新对畸变参数进行更新，直至满足预设的条件。具体可以参阅图3及其解释说明的内容。

在本申请实施例中，作为优选，在对畸变参数进行迭代更新的同时，还可以进一步对内参例如主点坐标进行同步迭代更新，此时，具体的实现过程可以参阅图5及其解释说明的内容。

如图3所示，图3为本申请实施例提供的一种根据损失值和梯度下降算法对初始畸变参数进行更新，并将更新后的初始畸变参数设定为优化畸变参数的步骤流程图，具体包括步骤301-304：

步骤301，根据损失值和梯度下降算法对初始畸变参数进行更新，得到更新后的畸变参数。

在本申请实施例中，具体采用梯度下降算法对畸变参数进行更新的步骤，请参阅图4及其解释说明的内容。

步骤302，根据原始坐标、畸变坐标、内参、更新后的畸变参数以及直线拟合算法，计算得到畸变参数更新后的损失值。

在本申请实施例中，在更新畸变参数后，基于与步骤202和203相似的流程，可以求解出畸变参数在更新后的损失值。

步骤303，计算畸变参数更新后的损失值与畸变参数更新前的损失值之间的差值。

在本申请实施例中，畸变参数更新后的损失值是指每次更新畸变参数后，重新计算的得到损失值，而畸变参数更新前得到的损失值，是指在上一循环流程中计算得到的损失值。也可以等同理解在每次更新畸变参数后，损失值的变化量。

步骤304，判断差值是否小于预设的差值阈值。若差值小于预设的差值阈值，则执行步骤305；若差值大于或等于预设的差值阈值，则执行其他步骤。

在本申请实施例中，本领域技术人员知晓，迭代更新是指重新多次相同的步骤对某个变化量进行更新，因此，可以毫无疑义确定本申请中循环迭代的过程具体包括：确定当前畸变参数、计算损失值、判断是否需要继续优化畸变参数，若需要，则更新畸变参数，并重新计算损失值。因此，也就是步骤301～步骤303属于本申请实施例循环迭代的过程，区别仅在于每次迭代过程中步骤301不是更新初始畸变参数，而是对更新后的畸变参数做进一步的迭代更新。

在本申请实施例中，具体是通过将差值与预设的阈值对比，来判断是否结束迭代更新，具体的，当差值大于或者等于预设的差值阈值，表明对畸变参数的性能有明显的提升，因此，还可以进一步对畸变参数进行迭代更新，具体的，也就是根据损失值和梯度下降算法重新对畸变参数进行更新，并再次计算畸变参数更新后的损失值，也可以近似理解为返回至步骤301～步骤303。而当差值小于预设的差值阈值时，表明对畸变参数的性能优化提升的幅度较小，当前畸变参数已非常接近最优值，因此，可以认为已经完成了对畸变参数的更新优化，可以结束迭代过程。

作为优选，差值阈值预设为0.0001。

步骤305，将更新后的畸变参数设定为优化畸变参数。

在本申请实施例中，若差值小于预设的差值阈值，表明迭代过程结束，此时更新后的畸变参数即为优化畸变参数。

如图4所示，图4为本申请实施例提供的一种根据损失值和梯度下降算法对初始畸变参数进行更新，得到更新后的畸变参数的步骤流程图，具体包括步骤401～步骤405：

步骤401，按照预设的扰动变量调整初始畸变参数，得到扰动畸变参数。

在本申请实施例中，梯度下降算法主要是判断出在该畸变参数邻域附近，畸变参数超各个方向的变化量对损失值的影响程度，也就是确定各个畸变参数如何变化可以最大程度的降低损失值，具体可以通过求导获取，也就是求出损失值相对于各个畸变参数的偏导数，同时还会进一步求解损失值相对于各个畸变参数的二阶偏导数。

在本申请实施例中，通过对初始畸变参数施加一个微小的扰动变量，求出在施加扰动变量后，损失值的变化量来计算损失值相对于各个畸变参数的偏导数。具体的，扰动变量可同样设置为0.0001。

在本申请实施例中，由于需要对计算损失值相对于各个畸变参数的偏导数和二阶偏导数，因此，需要获得多个扰动畸变参数。

步骤402，根据原始坐标、畸变坐标、内参和扰动畸变参数，计算得到多个目标点在标定图像中的扰动坐标。

步骤403，根据直线拟合算法确定扰动坐标对应的拟合扰动直线，并计算扰动坐标到拟合扰动直线的扰动损失值。

在本申请实施例中，由于需要计算畸变参数的变化对损失值变化的影响，也就是需要计算畸变参数在变化后的损失值的变化量。步骤402和步骤403的具体的实现过程与前述步骤202～203的步骤相同，区别在于对畸变参数做了扰动变化。

步骤404，根据扰动变量和扰动损失值计算得到损失值相对于畸变参数的一阶偏导矩阵和二阶偏导矩阵。

在本申请实施例中，显然，可以理解为，损失值相对于畸变参数的一阶偏导即为损失值的变化量与畸变参数的变化量的比值，损失值的变化量也就是扰动损失值和原始损失值的差值，畸变参数的变化量也就是扰动变量。而损失值相对于畸变参数的二阶偏导可以理解为损失值的变化量的差值和畸变参数的变化量的比值。

在本申请实施例中，针对于任意一个畸变参数，都存在相应一阶偏导数，因此可构成一个m×1的一阶偏导矩阵，其中m是畸变参数的个数，而针对于任意两个畸变参数，都存在响应的二阶偏导数，因此，可构成一个m×m的二阶偏导矩阵。

步骤405，根据一阶偏导矩阵和二阶偏导矩阵计算得到更新量，并根据更新量对初始畸变参数进行更新，得到更新后的畸变参数。

在本申请实施例中，通过对前述步骤得到的损失值的函数表达E(d)进行泰勒展开，变化可以得到畸变参数的迭代公式，具体为：

其中，d_n为第n次迭代过程中所得到的畸变参数，

即为第n次迭代过程中所得到的损失值相对于畸变参数的二阶偏导矩阵，

即为第n次迭代过程中所得到的损失值相对于畸变参数的一阶偏导矩阵。其中，d₀为初始畸变参数。

需要说明的是，虽然步骤401～步骤405示出的是对于初始畸变参数的更新过程，但是本领域技术人员应当知晓，在迭代过程中也是采用与步骤401～步骤405相同的流程，实现对于畸变参数的迭代更新。

如图5所示，图5为本申请实施例提供的另一种根据损失值和梯度下降算法对初始畸变参数进行更新，并将更新后的初始畸变参数设定为优化畸变参数的步骤流程图，具体是实现畸变参数和内参的同步更新，具体包括步骤501～步骤505；

步骤501，根据损失值和梯度下降算法对初始畸变参数和内参进行更新，得到更新后的畸变参数和更新后的内参。

相对于单独对畸变参数进行更新，在本申请实施例中，还进一步提出了对内参的同步更新。具体的，单目标定算法还可以确定出诸如主点坐标、焦距等内参，考虑到确定出的内参也可能存在偏差，因此，在迭代更新的过程中，将畸变参数与内参同步进行迭代更新，以获取更优的迭代效果。

在本申请实施例中，作为优选，具体的，考虑到内参中其他参数的误差较小，对畸变参数的影响较小，因此为降低计算量，可以选择不同步更新，而只更新内参中的主点坐标。具体的，也就是在基于梯度下降算法对畸变参数进行更新时，还对基于梯度下降算法对内参中的主点坐标进行更新。

在本申请实施例中，结合图4示出的基于梯度下降算法对畸变参数进行更新的相关内容可知，若需要同步对畸变参数和内参进行更新，则需要同畸变参数一样，计算损失值相对于内参的偏导数，具体实现过程与图4相似，本发明在此不再赘述。

步骤502，根据原始坐标、畸变坐标、更新后的内参、更新后的畸变参数以及直线拟合算法，计算得到参数更新后的损失值。

在本申请实施例中，考虑到对内参和畸变参数进行了同步优化，因此需要根据更新后的内参和更新后的畸变参数，重新计算参数更新后的损失值。

步骤503，计算参数更新后的损失值与参数更新前的损失值之间的差值。

在本申请实施例中，与前述步骤303相似，参数更新前得到的损失值，是指在上一次迭代更新过程所得到的损失值，也就是计算参数更新后，损失值的变化量。

步骤504，判断差值是否大于预设的差值阈值。若差值大于或等于预设的差值阈值，则执行步骤505；若差值小于预设的差值阈值，则执行步骤506。

在本申请实施例中，与前述步骤304相似，迭代更新是指重新多次相同的步骤对某个变化量进行更新，区别在于本实施例中，变化量包括畸变参数和内参。具体的，本申请中循环迭代的过程具体包括：确定当前畸变参数和内参、计算损失值、判断是否需要继续优化畸变参数和内参，若需要，则更新畸变参数和内参，并重新计算损失值。因此，也就是步骤501～步骤503属于本申请实施例循环迭代的过程，区别仅在于每次迭代过程中步骤501不是更新初始畸变参数和内参，而是对更新后的畸变参数和内参做进一步的迭代更新。

在本申请实施例中，具体是通过将差值与预设的阈值对比，来判断是否结束迭代更新，具体的，当差值大于或者等于预设的差值阈值，表明对畸变参数的性能有明显的提升，因此，还可以进一步对畸变参数和内参进行迭代更新，具体的，也就是根据损失值和梯度下降算法重新对畸变参数和内参进行更新，并再次计算畸变参数和内参更新后的损失值，也可以近似理解为返回至步骤301～步骤303。而当差值小于预设的差值阈值时，表明对畸变参数的性能优化提升的幅度较小，当前畸变参数已非常接近最优值，因此，可以认为已经完成了对畸变参数的更新优化，可以结束迭代过程。

作为优选，差值阈值预设为0.0001。

步骤505，根据参数更新后的损失值和梯度下降算法对畸变参数和内参进行迭代更新，得到更新后的畸变参数和更新后的内参。

在本申请实施例中，当对畸变参数和内参进行迭代更新，此时，需要返回值步骤502重新计算损失值，直至参数更新后的损失值，和参数更新前得到的损失值之间的差值小于预设的差值阈值。

步骤506，将更新后的畸变参数设定为优化畸变参数。

在本申请实施例中，若差值小于预设的差值阈值，表明迭代过程结束，此时更新后的畸变参数即为优化畸变参数。

如图6所示，图6为本申请实施例提供的一种计算反畸变坐标的步骤流程图，具体包括步骤601～步骤602：

步骤601，根据原始坐标、内参和初始畸变参数，计算得到多个目标点在畸变图像中的映射坐标，并得到原始坐标与映射坐标的对应关系。

在本申请实施例中，具体求解多个目标点在畸变图像中的映射坐标的计算公式请参阅后续图7及其解释说明的内容。

步骤602，根据对应关系对畸变坐标进行插值处理，得到与畸变坐标对应的反畸变坐标。

在本申请实施例中，考虑到已经确定出原始坐标与映射坐标之间的关系，当针对于畸变坐标做插值处理，就可以获取畸变坐标相对于映射坐标的表达形式，此时针对于映射坐标所对应的原始坐标采用相同的表达形式，则可以得到与畸变坐标对应的反畸变坐标。

如图7所示，图7为本申请实施例提供的一种计算映射坐标的步骤流程图，具体包括步骤701～步骤703：

步骤701，将原始坐标减去主点坐标后除以焦距，得到归一化处理后的第一坐标。

在本申请实施例中，假设原始坐标为(x₀,y₀)、主点坐标为(c_x,c_y)、相机的焦距为(f_x,f_y)，畸变参数包含有6个，具体为(k₁,k₂,k₃,k₄,k₅,k₆)，则需要先对原点坐标进行归一化处理，具体计算公式为：

x'＝(x₀-c_x)/f_x，y'＝(y₀-c_y)/f_y

步骤702，根据初始畸变参数构建畸变模型，并根据畸变模型处理第一坐标得到畸变处理后的第二坐标。

在本申请实施例中，基于6个畸变参数所构建的畸变模型也就是描述原始图像和畸变图像之间坐标变换关系的公式具体为：

x”＝x'(1.0+((k₃*r²+k₂)*r²+k₁)*r²)/(1.0+((k₆*r²+k₅)*r²+k₄)*r²)

y”＝y'(1.0+((k₃*r²+k₂)*r²+k₁)*r²)/(1.0+((k₆*r²+k₅)*r²+k₄)*r²)

其中，r²＝x'²+y'²，也就是畸变模型中考虑了距离镜头中心点越远，其畸变程度越大。

步骤703，将畸变处理后的第二坐标乘以焦距后加上主点坐标，得到映射坐标。

在本申请实施例中，在对原始坐标进行归一化、畸变处理后，需要对处理后的坐标进行归一化还原从而得到映射坐标，具体需要采用步骤701的逆变换，也就是：

x＝f_x*x”+c_x，y＝f_y*y”+c_y

此时，可确定原始坐标(x₀,y₀)的映射坐标(x，y)，从而确定原始坐标和映射坐标之间的对应关系。

为了更好实施本申请实施例中的图像畸变矫正方法，在图像畸变矫正方法的基础之上，本申请实施例中还提供一种图像畸变矫正装置，如图8所示，图8为本申请实施例提供的一种图像畸变矫正装置的结构示意图，具体包括：

第一获取模块801，用于获取通过目标镜头拍摄的待畸变矫正的目标图像；

第二获取模块802，用于获取优化畸变参数，优化畸变参数是采用直线拟合算法对目标镜头的初始畸变参数进行更新得到的；

矫正模块803，用于根据优化畸变参数对目标图像进行畸变矫正，得到畸变矫正后的图像。

在本申请一些实施例中，上述图像畸变矫正装置还包括参数优化模块，参数优化模块包括：

初始畸变参数获取次模块，用于获取预设的标定图像在目标镜头下的畸变图像，并根据预设的单目标定算法对标定图像和畸变图像进行处理，得到目标镜头的初始畸变参数以及内参；

反畸变坐标计算次模块，用于获取预设目标直线上多个目标点在标定图像中的原始坐标，和多个目标点在畸变图像中的畸变坐标，并根据原始坐标、畸变坐标、内参和初始畸变参数，计算多个目标点在标定图像中的反畸变坐标；

损失值计算次模块，用于根据直线拟合算法确定反畸变坐标对应的拟合直线，并计算反畸变坐标到拟合直线的损失值；

优化畸变参数设定次模块，用于根据损失值和梯度下降算法对初始畸变参数进行更新，并将更新后的初始畸变参数设定为优化畸变参数。

在本申请一些实施例中，上述优化畸变参数设定次模块，包括：

第一畸变参数更新单元，用于根据损失值和梯度下降算法对初始畸变参数进行更新，得到更新后的畸变参数；

第一损失值更新单元，用于根据原始坐标、畸变坐标、内参、更新后的畸变参数以及直线拟合算法，计算得到畸变参数更新后的损失值；

第一损失值差值计算单元，用于计算畸变参数更新后的损失值与畸变参数更新前的损失值之间的差值；

第一优化畸变参数设定单元，用于若差值小于预设的差值阈值，则将更新后的畸变参数设定为优化畸变参数。

在本申请一些实施例中，上述畸变参数更新单元，包括：

扰动次单元，用于按照预设的扰动变量调整初始畸变参数，得到扰动畸变参数；

扰动坐标计算次单元，用于根据原始坐标、畸变坐标、内参和扰动畸变参数，计算得到多个目标点在标定图像中的扰动坐标；

扰动损失值计算次单元，用于根据直线拟合算法确定扰动坐标对应的拟合扰动直线，并计算扰动坐标到拟合扰动直线的扰动损失值；

偏导矩阵计算次单元，用于根据扰动变量和扰动损失值计算得到损失值相对于畸变参数的一阶偏导矩阵和二阶偏导矩阵；

畸变参数更新次单元，用于根据一阶偏导矩阵和二阶偏导矩阵计算得到更新量，并根据更新量对初始畸变参数进行更新，得到更新后的畸变参数。

在本申请一些实施例中，上述优化畸变参数设定次模块，包括：

第二畸变参数更新单元，用于根据损失值和梯度下降算法对初始畸变参数和内参进行更新，得到更新后的畸变参数和更新后的内参；

第二损失值更新单元，用于根据原始坐标、畸变坐标、更新后的内参、更新后的畸变参数以及直线拟合算法，计算得到参数更新后的损失值；

第二损失值差值计算单元，用于计算参数更新后的损失值与参数更新前的损失值之间的差值；

第三畸变参数更新单元，用于若差值大于或等于预设的差值阈值，则根据参数更新后的损失值和梯度下降算法对畸变参数和内参进行迭代更新，得到更新后的畸变参数和更新后的内参；

第二优化畸变参数设定单元，用于若差值小于预设的差值阈值，则将更新后的畸变参数设定为优化畸变参数。

在本申请一些实施例中，上述反畸变坐标计算次模块包括；

对应关系计算单元，用于根据原始坐标、内参和初始畸变参数，计算得到多个目标点在畸变图像中的映射坐标，并得到原始坐标与映射坐标的对应关系；

反畸变坐标计算次单元，用于根据对应关系对畸变坐标进行插值处理，得到与畸变坐标对应的反畸变坐标。

在本申请一些实施例中，内参包括主点坐标以及焦距；上述对应关系计算单元，包括：

归一化处理次单元，用于将原始坐标减去主点坐标后除以焦距，得到归一化处理后的第一坐标；

畸变处理次单元，用于根据初始畸变参数构建畸变模型，并根据畸变模型处理第一坐标得到畸变处理后的第二坐标；

归一化还原次单元，用于将畸变处理后的第二坐标乘以焦距后加上主点坐标，得到映射坐标。

本发明实施例还提供一种图像畸变矫正设备，如图9所示，图9为本申请实施例提供的一种图像畸变矫正设备的结构示意图。

图像畸变矫正设备集成了本发明实施例所提供的任一种图像畸变矫正装置，图像畸变矫正设备包括存储器、处理器以及存储于存储器中并可在处理器上运行的图像畸变矫正程序，处理器执行图像畸变矫正程序以实现上述任一实施例中的图像畸变矫正方法中的步骤。

具体来讲：图像畸变矫正设备可以包括一个或者一个以上处理核心的处理器901、一个或一个以上存储介质的存储器902、电源903和输入单元904等部件。本领域技术人员可以理解，图9中示出的图像畸变矫正设备结构并不构成对图像畸变矫正设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器901是该图像畸变矫正设备的控制中心，利用各种接口和线路连接整个图像畸变矫正设备的各个部分，通过运行或执行存储在存储器902内的软件程序和/或模块，以及调用存储在存储器902内的数据，执行图像畸变矫正设备的各种功能和处理数据，从而对图像畸变矫正设备进行整体监控。可选的，处理器901可包括一个或多个处理核心；优选的，处理器901可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器901中。

存储器902可用于存储软件程序以及模块，处理器901通过运行存储在存储器902的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器902可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据图像畸变矫正设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器902还可以包括存储器控制器，以提供处理器901对存储器902的访问。

图像畸变矫正设备还包括给各个部件供电的电源903，优选的，电源903可以通过电源管理系统与处理器901逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源903还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该图像畸变矫正设备还可包括输入单元904，该输入单元904可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，图像畸变矫正设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，图像畸变矫正设备中的处理器901会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器902中，并由处理器901来运行存储在存储器902中的应用程序，从而实现上述任一实施例中的图像畸变矫正方法中的步骤。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random AccessMemory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本发明实施例所提供的任一种图像畸变矫正方法中的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像畸变矫正方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像畸变矫正方法，其特征在于，包括：

获取通过目标镜头拍摄的待畸变矫正的目标图像；

获取优化畸变参数，所述优化畸变参数是采用直线拟合算法对所述目标镜头的初始畸变参数进行更新得到的；

根据所述优化畸变参数对所述目标图像进行畸变矫正，得到畸变矫正后的图像。

2.根据权利要求1所述的方法，其特征在于，所述获取优化畸变参数之前，所述方法还包括：

获取预设的标定图像在所述目标镜头下的畸变图像，并根据预设的单目标定算法对所述标定图像和所述畸变图像进行处理，得到所述目标镜头的初始畸变参数以及内参；

获取预设目标直线上多个目标点在所述标定图像中的原始坐标，和所述多个目标点在所述畸变图像中的畸变坐标，并根据所述原始坐标、所述畸变坐标、所述内参和所述初始畸变参数，计算所述多个目标点在标定图像中的反畸变坐标；

根据直线拟合算法确定所述反畸变坐标对应的拟合直线，并计算所述反畸变坐标到所述拟合直线的损失值；

根据所述损失值和梯度下降算法对所述初始畸变参数进行更新，并将更新后的初始畸变参数设定为所述优化畸变参数。

3.根据权利要求2所述的方法，其特征在于，所述根据所述损失值和梯度下降算法对所述初始畸变参数进行更新，并将更新后的初始畸变参数设定为所述优化畸变参数，包括：

根据所述损失值和梯度下降算法对所述初始畸变参数进行更新，得到更新后的畸变参数；

根据所述原始坐标、所述畸变坐标、所述内参、所述更新后的畸变参数以及所述直线拟合算法，计算得到畸变参数更新后的损失值；

计算所述畸变参数更新后的损失值与畸变参数更新前的损失值之间的差值；

若所述差值小于预设的差值阈值，则将所述更新后的畸变参数设定为所述优化畸变参数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述损失值和梯度下降算法对所述初始畸变参数进行更新，得到更新后的畸变参数，包括：

按照预设的扰动变量调整所述初始畸变参数，得到扰动畸变参数；

根据所述原始坐标、所述畸变坐标、所述内参和所述扰动畸变参数，计算得到所述多个目标点在所述标定图像中的扰动坐标；

根据所述直线拟合算法确定所述扰动坐标对应的拟合扰动直线，并计算所述扰动坐标到所述拟合扰动直线的扰动损失值；

根据所述扰动变量和所述扰动损失值计算得到损失值相对于畸变参数的一阶偏导矩阵和二阶偏导矩阵；

根据所述一阶偏导矩阵和所述二阶偏导矩阵计算得到更新量，并根据所述更新量对所述初始畸变参数进行更新，得到更新后的畸变参数。

5.根据权利要求2所述的方法，其特征在于，所述根据所述损失值和梯度下降算法对所述初始畸变参数进行更新，并将更新后的初始畸变参数设定为所述优化畸变参数，包括：

根据所述损失值和梯度下降算法对所述初始畸变参数和所述内参进行更新，得到更新后的畸变参数和更新后的内参；

根据所述原始坐标、所述畸变坐标、所述更新后的内参、所述更新后的畸变参数以及所述直线拟合算法，计算得到参数更新后的损失值；

计算所述参数更新后的损失值与参数更新前的损失值之间的差值；

若所述差值大于或等于预设的差值阈值，则根据所述参数更新后的损失值和梯度下降算法对所述畸变参数和所述内参进行迭代更新，得到更新后的畸变参数和更新后的内参；或者，

若所述差值小于预设的差值阈值，则将所述更新后的畸变参数设定为所述优化畸变参数。

6.根据权利要求2所述的方法，其特征在于，所述根据所述原始坐标、所述畸变坐标、所述内参和所述初始畸变参数，计算所述多个目标点在标定图像中的反畸变坐标，包括；

根据所述原始坐标、所述内参和所述初始畸变参数，计算得到所述多个目标点在所述畸变图像中的映射坐标，并得到所述原始坐标与所述映射坐标的对应关系；

根据所述对应关系对所述畸变坐标进行插值处理，得到与所述畸变坐标对应的反畸变坐标。

7.根据权利要求6所述的方法，其特征在于，所述内参包括主点坐标以及焦距；所述根据所述原始坐标、所述内参和所述初始畸变参数，计算得到所述多个目标点在所述畸变图像中的映射坐标，包括：

将所述原始坐标减去所述主点坐标后除以所述焦距，得到归一化处理后的第一坐标；

根据所述初始畸变参数构建畸变模型，并根据所述畸变模型处理所述第一坐标得到畸变处理后的第二坐标；

将所述畸变处理后的第二坐标乘以所述焦距后加上所述主点坐标，得到映射坐标。

8.一种图像畸变矫正装置，其特征在于，包括：

第一获取模块，用于获取通过目标镜头拍摄的待畸变矫正的目标图像；

第二获取模块，用于获取优化畸变参数，所述优化畸变参数是采用直线拟合算法对所述目标镜头的初始畸变参数进行更新得到的；

矫正模块，用于根据所述优化畸变参数对所述目标图像进行畸变矫正，得到畸变矫正后的图像。

9.一种图像畸变矫正设备，其特征在于，所述图像畸变矫正设备包括存储器、处理器以及存储于所述存储器中并可在所述处理器上运行的图像畸变矫正程序，所述处理器执行所述图像畸变矫正程序以实现权利要求1至7任一项所述的图像畸变矫正方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至7任一项所述的图像畸变矫正方法中的步骤。

Images