CN112991164A - 一种基于模型的全景弯曲图像畸变矫正的方法 - Google Patents

Abstract

本发明公开了一种基于模型的全景弯曲图像畸变矫正的方法，包括以下步骤：S1.选择畸变矫正的模型：选择高阶多项式径向畸变模型对全景弯曲图像进行径向畸变矫正；S2.确定全景弯曲图像的畸变矫正中心：S3.确定全景弯曲图像的畸变矫正的畸变系数：S4.生成全景弯曲图像的畸变矫正的畸变校正映射表。本发明的全景弯曲图像畸变矫正的方法，算法简单，操作方便，并且不受图像的内容、格式、类型等的限制，可以对主流格式图片进行弯曲矫正，并且效果明显；另外，计算和迭代过程的时间都比较短，可以适用于针对视频监控的图像矫正。

Description

一种基于模型的全景弯曲图像畸变矫正的方法

技术领域

本发明涉及图像矫正领域，具体涉及一种基于模型的全景弯曲图像畸变矫正的方法。

背景技术

目前全景相机通常采用多个摄像头采集不同方向上的多幅图像以便获取全景图像，因此，在全景摄像机成像过程中，需要对多个摄像头采集到的不同方向上的多幅图像进行融合拼接以获得全景图像。由于鱼眼摄像头可以获得较广的视野，可以减少拍摄全景的摄像头的数量，因此多采用鱼眼摄像头进行拍摄，但是采用鱼眼摄像头获取的图像为圆球形的弯曲图像，因此又需要将鱼眼图像展开为平面图像。

在将曲面图像转化为平面图像的过程中，用的比较多的两种方法：一种是基于畸变模型进行畸变矫正，一种是利用非线性迭代求出最优解的方法。两种算法各有优缺点，畸变模型的畸变矫正，算法简单，操作方便，但是畸变矫正的效果受固定的畸变模型的影响，对一些特殊图像或者不符合畸变模型的畸变图像的效果不是很明显。

非线性迭代算法却可以解决这一矫正效果不理想的情况，其矫正结果不受图像的影响，但是其比较突出的缺点是迭代的过程时间比较长且有些时候无法收敛，这对于视频处理情况下是绝对不允许的。

因此需要开发一种新的算法来规避其他方法所带来的不足。

发明内容

为了解决上述技术问题，本发明的提供一种可以对特殊图像或者不符合畸变模型的畸变图像进行矫正，矫正效率高，收敛性好的于模型的全景弯曲图像畸变矫正的方法。

为实现上述目的，本发明采取的技术方案如下：一种基于模型的全景弯曲图像畸变矫正的方法，该方法用于对全景弯曲图像进行畸变矫正，该方法包括以下步骤：

S1.选择畸变矫正的模型：

选择高阶多项式径向畸变模型对全景弯曲图像进行径向畸变矫正，所述高阶多项式径向畸变模型表达式：

其中，xu，yu为畸变矫正后的图像坐标，xd，yd为畸变矫正前图像的坐标，xc，yc是畸变中心坐标，r是畸变矫正前全景弯曲图像的半径；

S2.确定全景弯曲图像的畸变矫正中心：

首先将棋盘格世界坐标根据小孔成像原理模型投影到无畸变坐标点，然后再将无畸变坐标点扩展到畸变坐标点，此过程方程表达式如下：

xu-xc＝(xd-xc) (1)

所述棋盘格世界坐标设计为以1为单位间隔的棋盘格对应的坐标，Z方向为1；

方程(1)两边同乘[xc]x并且把表达式Xiu＝HXig带入，则得到如下等式：

[xc]xxid＝[xc]xHxig (2)；

等式(2)再两边同乘xid，得到方程:

xid([xc]xH)xig＝0(3)；

设定F＝[xc]xH,则图像中心对应极点e，根据Fe＝0，求解方程(3)得到畸变中心xc；

S3.确定全景弯曲图像的畸变矫正的畸变系数：

利用opencv中的找角点的函数，得到一条直线上的点个数为m，对于这m个点畸变的坐标，其无畸变点也在一条直线上，

无畸变点满足：xcosa+ysina＝d，其中d是原点到直线的距离，a是直线和水平坐标轴的夹角；

设定棋盘格世界坐标系有M条直线，则我们可以利用下面的式子(4)进行迭代，求出畸变系数：

方程式(4)中xu，yu需要把模型运算表达式带入；根据S3计算得到的畸变中心，加快迭代的速度，其中初始值设计K1,K2,K3为零，am和pm根据畸变坐标，用最小二乘法进行直线拟合计算出初始值；

S4.生成全景弯曲图像的畸变矫正的畸变校正映射表：

逆向坐标是根据无畸变图像的坐标(xu,yu)求出畸变图像的坐标(xd,yd)，无畸变图像的坐标点的模型表达式为：

根据无畸变图像的坐标(xu,yu)值再结合以上表达式(5)和(6)，计算出对应的畸变坐标点(xd,yd)，再根据实际无畸变坐标的畸变比率求出映射坐标。

优选地，步骤S4中实际无畸变坐标的畸变比率通过以下方法获得：

S4-1：先根据畸变图像中畸变中心最远的半径rd，离散取出一组畸变半径rd，并计算对应的畸变比率和无畸变半径ru；

S4-2：在计算无畸变点(xiu,yiu)时，计算出实际无畸变半径riu；

S4-3：利用前面计算的无畸变半径ru数组，得到在畸变比率数组上对应的位置piu；

S4-4：再利用邻近插值的办法，得到对应于实际无畸变坐标的畸变比率。

优选地：还包括步骤S5:采用双线性插值，取其周围的四个点像素值，进行插值得到最后的畸变矫正的结果。

本发明有益的技术效果：本发明的全景弯曲图像畸变矫正的方法，算法简单，操作方便，并且不受图像的内容、格式、类型等的限制，可以对主流格式图片进行弯曲矫正，并且效果明显；另外，计算和迭代过程的时间都比较短，可以适用于针对视频监控的图像矫正。

附图说明

图1为本发明的一种基于模型的全景弯曲图像畸变矫正的方法步骤流程图。

图2为本发明的棋盘格世界坐标的示意图。

图3为本发明的全景弯曲图像矫正前的示意图。

图4为本发明的全景弯曲图像矫正后的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明，但本发明要求保护的范围并不局限于下述具体实施例。

本发明属于一种图像矫正的方法，具体来说是属于一种基于模型的全景弯曲图像矫正方法，该办法主要用来矫正由多个摄像头拼接而成的鱼眼图像，将弯曲的全景图，通过该方法实时将图像矫正为二维平面图像。该方法主要应用于优化针对全景摄像机的监控效果，提高视频标签的实景标注效果。

在对本发明方法进行详细说明之前先解释几个本领域的专业术语(在实施例里面会提及，到时就不再重复解释)：

全景图：通过多个摄像头对实景进行拍摄并将拍摄的图像进行拼接，尽可能全面的在一张图中展示实际环境。

视频标签：通过视频AR技术，在监控实景图像中进行标签标注，使实际环境更加直观。

Hartley算法：主要思想是将外极点映射到水平方向上的无穷远点，使图像上的外极线相互平行，并且平行于图像的水平扫描线，使得变换后图像上的对应点之间视差最小化。

如图1-4所示，本发明的目的在于提供一种基于模型的全景弯曲图像畸变矫正的方法，该方法的具体步骤如下：

S1:选择模型：

几何图像的畸变包括径向畸变和切向畸变，由于径向畸变远大于切向畸变，所以在本发明中主要以径向畸变矫正为主。

根据高阶多项式径向畸变模型，得到模型表达式：

其中，xu，yu为畸变矫正后的图像坐标，xd，yd为畸变矫正前图像的坐标，xc，yc是畸变中心坐标，r是畸变矫正前图像的半径。

S2:畸变中心的确定:

根据Hartley算法原理，其成像过程可以分为两步，首先将世界坐标根据小孔成像原理模型投影到无畸变坐标点，然后再将无畸变坐标点扩展到畸变坐标点。可以用表达式表示为：

xu-xc＝(xd-xc)

假设棋盘格世界坐标系的坐标集合的点Xig和对应无畸变图像的坐标Xiu。由小孔成像原理模型可以知道,Xig和Xiu之间存在着单应关系，对应单应矩阵H，则Xiu＝HXig这里的Xig对所有图像可以设计为固定不变的空间点。所以我们把它设计为以1为单位间隔的棋盘格对应的坐标，Z方向为1。

对于以上等式两边同乘[xc]x并且把表达式Xiu＝HXig带入，则得到如下等式：

[xc]xxid＝[xc]xHxig；

再两边同乘xid，得出：

xid([xc]xH)xig＝0；

这里假设F＝[xc]xH,这和机器视觉中基础矩阵F定义一样。在畸变矫正中，由于畸变点在无畸变的点和图像中心的半径或者其延长线上，其关系为点和直线的对应关系，符合基础矩阵的性质。而图像中心就是对应的极点e。所以我们可以根据Fe＝0，求解方程得到畸变中心xc。

S3:畸变系数的确定:

畸变系数的求取我们是采用迭代的方法求取。我们知道对于一个给定直线，如果这个点在直线上，则其满足等式xcosa+ysina＝d，其中d是原点到直线的距离，a是直线和水平坐标轴的夹角。

利用opencv中的找角点的函数，我们可以知道在一条直线上的点个数m，所以对于这m个畸变的坐标，其无畸变点应该在一条直线上，所以满足上式。假设棋盘格有M条直线，则我们可以利用下面的式子进行迭代，求出畸变系数。

这里的xu，yu需要把模型运算表达式带入。由于前面已经计算出畸变中心，所以可以加快迭代的速度。初始值设计K1,K2,K3为零，am和pm根据畸变坐标，用最小二乘法进行直线拟合计算出初始值。

S4:生成畸变校正映射表:

逆向坐标是根据无畸变图像的坐标(xu,yu)求出畸变图像的坐标(xd,yd)，无畸变图像的坐标模型表达式可以表示为：

先根据畸变图像中畸变中心最远的半径rd(对于桶形畸变，一般在图像的四个顶点上)，然后离散取出一组畸变半径rd，并计算对应的畸变比率和无畸变半径ru。在计算无畸变点(xiu,yiu)时，计算出实际无畸变半径riu，利用前面计算的无畸变半径ru数组，得到在畸变比率数组上对应的位置piu，再利用邻近插值的办法，就可以得到对应于实际无畸变坐标的畸变比率，同时，利用以上表达式，就可以计算出对应的畸变坐标点。这样我们就可以求出映射坐标。

由于求得是映射坐标是小数坐标，所以我们采用双线性插值(双线性插值，又称为双线性内插。在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值，双线性插值作为数值分析中的一种插值算法，广泛应用在信号处理，数字图像和视频处理等方面)，取其周围的四个点像素值，进行插值得到最后的畸变矫正的结果。

本发明的全景弯曲图像畸变矫正的方法，算法简单，操作方便，并且不受图像的内容、格式、类型等的限制，可以对主流格式图片进行弯曲矫正，并且效果明显；另外，计算和迭代过程的时间都比较短，可以适用于针对视频监控的图像矫正。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对发明构成任何限制。

Claims (3)

1.一种基于模型的全景弯曲图像畸变矫正的方法，该方法用于对全景弯曲图像进行畸变矫正，其特征在于，该方法包括以下步骤：

S1.选择畸变矫正的模型：

选择高阶多项式径向畸变模型对全景弯曲图像进行径向畸变矫正，所述高阶多项式径向畸变模型表达式：

其中，xu，yu为畸变矫正后的图像坐标，xd，yd为畸变矫正前图像的坐标，xc，yc是畸变中心坐标，r是畸变矫正前全景弯曲图像的半径；

S2.确定全景弯曲图像的畸变矫正中心：

首先将棋盘格世界坐标根据小孔成像原理模型投影到无畸变坐标点，然后再将无畸变坐标点扩展到畸变坐标点，此过程方程表达式如下：

xu-xc＝(xd-xc) (1)

所述棋盘格世界坐标设计为以1为单位间隔的棋盘格对应的坐标，Z方向为1；

方程(1)两边同乘[xc]x并且把表达式Xiu＝HXig带入，则得到如下等式：

[xc]xxid＝[xc]xHxig (2)；

等式(2)再两边同乘xid，得到方程:

xid([xc]xH)xig＝0 (3)；

设定F＝[xc]xH,则图像中心对应极点e，根据Fe＝0，求解方程(3)得到畸变中心xc；

S3.确定全景弯曲图像的畸变矫正的畸变系数：

利用opencv中的找角点的函数，得到一条直线上的点个数为m，对于这m个点畸变的坐标，其无畸变点也在一条直线上，

无畸变点满足：xcosa+ysina＝d，其中d是原点到直线的距离，a是直线和水平坐标轴的夹角；

设定棋盘格世界坐标系有M条直线，则我们可以利用下面的式子(4)进行迭代，求出畸变系数：

方程式(4)中xu，yu需要把模型运算表达式带入；根据S3计算得到的畸变中心，加快迭代的速度，其中初始值设计K1,K2,K3为零，am和pm根据畸变坐标，用最小二乘法进行直线拟合计算出初始值；

S4.生成全景弯曲图像的畸变矫正的畸变校正映射表：

逆向坐标是根据无畸变图像的坐标(xu,yu)求出畸变图像的坐标(xd,yd)，无畸变图像的坐标点的模型表达式为：

根据无畸变图像的坐标(xu,yu)值再结合以上表达式(5)和(6)，计算出对应的畸变坐标点(xd,yd)，再根据实际无畸变坐标的畸变比率求出映射坐标。

2.如权利要求1所述的一种基于模型的全景弯曲图像畸变矫正的方法，其特征在于：步骤S4中实际无畸变坐标的畸变比率通过以下方法获得：

S4-1：先根据畸变图像中畸变中心最远的半径rd，离散取出一组畸变半径rd，并计算对应的畸变比率和无畸变半径ru；

S4-2：在计算无畸变点(xiu,yiu)时，计算出实际无畸变半径riu；

S4-3：利用前面计算的无畸变半径ru数组，得到在畸变比率数组上对应的位置piu；

S4-4：再利用邻近插值的办法，得到对应于实际无畸变坐标的畸变比率。

3.如权利要求1所述的一种基于模型的全景弯曲图像畸变矫正的方法，其特征在于：还包括步骤S5:采用双线性插值，取其周围的四个点像素值，进行插值得到最后的畸变矫正的结果。

Images