CN104809739A - 一种超广角镜头相机视频实时校正的方法 - Google Patents

Abstract

本发明公开了一种超广角镜头相机视频实时校正的方法，包括以下步骤：使用超广角镜头相机拍摄棋盘格图像；获取棋盘格图像的角点坐标；获取畸变中心坐标；使用本发明的畸变模型获取畸变系数；构造一个畸变坐标与校正坐标的查找表；对棋盘格图像进行校正；观察校正结果，若校正结果不好，则将校正结果作为新的棋盘格图像，返回获取棋盘格图像的角点坐标步骤；若校正结果好，则利用超广角镜头相机拍摄视频；利用软件开发工具包在计算机上快速抓取当前拍摄视频的每一帧；对视频的每一帧利用查找表进行校正。本发明的畸变模型使得畸变的估计更符合事实真相，使用的迭代校正方法使得校正结果更加好。

Description

一种超广角镜头相机视频实时校正的方法

技术领域

本发明涉及一种超广角镜头相机视频实时校正的方法，属于图像处理和机器视觉领域。

背景技术

超广角镜头是指视角范围比广角镜头更广阔的镜头，其视角范围可达(80-110度)，焦距一般可达(12mm-24mm)。由于该镜头不是鱼眼镜头，视角非常广阔，景深也很长。摄影师一般用它来拍摄风景照片，拍摄近景时可以显示它辽阔的透视效果。

虽然利用超广角镜头拍摄图像具有很大的视野，同时也带来了严重的畸变。畸变包括径向畸变、偏心畸变和薄棱镜畸变，主要为径向畸变。径向畸变模型有对数径向畸变模型、视场径向畸变模型、单个参数除法径向畸变模型、多个参数除法径向畸变模型扩展模型、中心折反射相机的统一成像径向畸变模型、无参数径向畸变模型和有理函数径向畸变模型等。径向畸变模型有时并不能够精确的描述径向畸变的事实真相。

径向畸变校正算法有平面透视投影约束算法、球面透视投影约束算法、抛物面投影校正模型算法、多项式坐标变换算法、球面坐标定位算法、基于柱面模型的算法、基于射影不变性的算法等。在这些径向畸变校正算法中，有的因为变形公式十分复杂或计算量太大，导致径向畸变校正实时性不好，有的校正结果在图像中心或边缘附近产生不合理拉伸，产生透视失真，这些算法往往并不仅仅通过一次畸变校正即可将畸变图像校正为人眼中合理的校正图像，需要多次重复地校正。因为畸变校正本质上是图像坐标位置的再分配，而且在畸变校正过程中，若使用径向畸变模型，每一次都需要由校正坐标计算畸变坐标，再将畸变坐标上的像素值插入到校正坐标上，其处理过程是一件很耗费时间的工作。

利用超广角相机拍摄时，人们希望直接看到的是既具有很大视野的，又符合透视变换的图像，比如直线就应该是直线，没有任何畸变。

发明内容

针对现有技术中存在的不足，本发明提供一种超广角镜头相机视频实时校正的方法，该方法不仅校正速度快，而且图像结果更合理。

本发明采用的技术方案是：

一种超广角镜头相机视频实时校正的方法，包括以下步骤：

步骤1，使用超广角镜头相机拍摄一幅棋盘格图像；

步骤2，利用棋盘格角点检测算法获取棋盘格图像的角点坐标；

步骤3，假设只有径向畸变，即畸变坐标、校正坐标与畸变中心坐标三点共线，利用已知的棋盘格角点坐标获取畸变中心坐标；

步骤4，利用径向畸变模型、畸变中心坐标和棋盘格角点坐标，来获取径向畸变模型的畸变系数，所述径向畸变模型为畸变坐标到畸变中心坐标的距离r_distortion与校正坐标到畸变中心坐标的距离r_correction满足以下关系式：

       $r_{\mathrm{correction}}=\frac{r_{\mathrm{distortion}}}{1+k_1{r}_{\mathrm{distorton}}+k_2{r_{\mathrm{distortion}}}^2},$ k₁、k₂为畸变系数；

步骤5，利用所述畸变中心坐标和所述径向畸变模型构造一个畸变坐标与校正坐标一一对应的查找表；

步骤6，利用查找表对棋盘格图像进行实时校正；

步骤7，观察校正结果，若校正结果不好，即校正结果不满足透视投影，校正精度不高，看起来不合理，则将校正结果作为新的棋盘格图像，返回步骤2获取棋盘格图像的角点坐标；

步骤8，若校正结果好，则利用超广角镜头相机拍摄视频；

步骤9，利用软件开发工具包在计算机上快速抓取当前拍摄视频的每一帧；

步骤10，对视频的每一帧利用所述查找表进行实时校正。

所述步骤5中，畸变坐标(x_distortion,y_distortion)与校正坐标(x_correction,y_correction)满足以下映射关系：

       $x_{\mathrm{correction}}-x_{\mathrm{center}}=\frac{x_{\mathrm{distortion}}-x_{\mathrm{center}}}{1+k_1{r}_{\mathrm{distorton}}+k_2{r_{\mathrm{distortion}}}^2},y_{\mathrm{correction}}-y_{\mathrm{center}}=\frac{y_{\mathrm{distortion}}-y_{\mathrm{center}}}{1+k_1{r}_{\mathrm{distorton}}+{k_{\mathrm{distortion}}}^2},$

其中，(x_center,y_center)为畸变中心坐标。

所述步骤6中，查找表中已知校正坐标，可以快速索引到畸变坐标，从而将畸变坐标处的像素值通过邻近插值方法插入到校正坐标处。

本发明的有益效果在于：(1)本发明提供的畸变模型使得畸变的估计更符合事实真相；(2)采用迭代校正，观察校正结果是否合理，使得校正结果更加接近事实真相；(3)构造一个畸变坐标与校正坐标的查找表，使得超广角镜头相机拍摄视频的校正更加快速；(4)利用软件开发包使得计算机可以快速抓取当前拍摄视频的每一帧并校正，使得拍摄时不仅可以看到大的视野而且符合透视投影变换的合理的图像。

附图说明

图1为本发明实施例的超广角镜头相机视频实时校正方法的流程图。

具体实施方式

下面结合附图对本发明具体实施方式进行详细说明。

本实施方式的实现采用操作系统为WINDOWS7，软件平台为MATLAB2015a，处理器为Intel(R)Core(TM)i7-4790。

如图1所示，本发明超广角镜头相机视频实时校正的方法，包括以下步骤：

步骤1，使用超广角镜头相机拍摄一幅棋盘格图像，棋盘格图像角点数目最好不少于10x10；

步骤2，利用棋盘格角点检测算法获取棋盘格图像的角点坐标；

步骤3，假设只有径向畸变，即畸变坐标，校正坐标与畸变中心坐标三点共线，利用已知的棋盘格角点坐标获取畸变中心坐标；

步骤3-1，已知棋盘格角点坐标x_checker，棋盘格角点畸变像素坐标为x_distortion。假设棋盘格角点校正像素坐标为x_correction，畸变中心像素坐标为center。

步骤3-2，由棋盘格角点畸变像素坐标，棋盘格角点校正像素坐标与畸变中心像素坐标共线得到

x_distortion ^T(center×x_correction)＝0，x_distortion ^T[center]_×x_correction＝0。

步骤3-3，棋盘格角点坐标与棋盘格角点校正像素坐标满足二维单应性关系，得到x_correction＝Hx_checker，其中H为单应性矩阵。

步骤3-4，经过一系列简单的公式推导得x_distortion ^T[center]_×Hx_checker＝0，x_distortion ^TFx_checker＝0，其中F＝[center]_×H，为基本矩阵。

步骤3-5，因此，不难看出，center^TF＝0，可得畸变中心像素坐标center。

步骤4，利用径向畸变模型、畸变中心坐标和棋盘格角点坐标，来获取径向畸变模型的畸变系数；径向畸变模型为畸变坐标到畸变中心坐标的距离r_distortion与校正坐标到校正中心坐标的距离r_correction满足以下关系式：

       $r_{\mathrm{correction}}=\frac{r_{\mathrm{distortion}}}{1+k_1{r}_{\mathrm{distorton}}+k_2{r_{\mathrm{distortion}}}^2}---\left(1\right)$

k₁、k₂为畸变系数。

现有的无论是单个参数除法径向畸变模型还是多个参数除法径向畸变模型扩展模型，r_distortion与r_correction的比例关系仅使用r_distortion的偶次项来表示，本发明所述畸变模型是在单个参数除法径向畸变模型的基础上，添加r_distortion的奇次项，显然，本发明所述径向畸变模型对r_distortion与r_correction的比例关系的表示更加精确，该畸变模型使得畸变的估计更符合事实真相。

步骤4-1，将坐标原点移至畸变中心像素坐标处，可得center＝(0,0,1)^T。

步骤4-2，令 $F=\left[\begin{array}{ccc}f1& f2& f3\\ f4& f5& f6\\ f7& f8& f9\end{array}\right],H=\left[\begin{array}{ccc}h1& h2& h3\\ h4& h5& h6\\ h7& h8& h9\end{array}\right].$

步骤4-3，由F＝[center]_×H，可得

       $\left[\begin{array}{ccc}f1& f2& f3\\ f4& f5& f6\\ f7& f8& f9\end{array}\right]=\begin{array}{}\end{array}\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}h1& h2& h3\\ h4& h5& h6\\ h7& h8& h9\end{array}\right]=\left[\begin{array}{ccc}-h4& -h5& -h6\\ h1& h2& h3\\ 0& 0& 0\end{array}\right]---\left(2\right)$

步骤4-4，令棋盘格角点畸变像素坐标为x_distortion＝(x_distortion,y_distortion,1)^T，棋盘格角点校正像素坐标为x_correction＝(x_correction,y_correction,1)^T。

步骤4-5，由上述径向畸变模型，得到

kx_correction＝x_distortion，其中k＝1+k₁r_distortion+k₂r_distortion ²，

       $r_{\mathrm{distortion}}=\sqrt{{x_{\mathrm{distortion}}}^2+{y_{\mathrm{distortion}}}^2},$

       $k\left[\begin{array}{c}{x}_{\mathrm{correction}}\\ y_{\mathrm{correction}}\\ 1\end{array}\right]=\left[\begin{array}{c}{x}_{\mathrm{distortion}}\\ y_{\mathrm{distortion}}\\ k\end{array}\right]---\left(3\right)$

步骤4-6，令棋盘格角点坐标为x_checker＝(x,y,1)^T。

步骤4-7，由x_correction＝Hx_checker，kx_correction＝x_distortion，得到kHx_checker＝x_distortion，即

       $\left[\begin{array}{c}{x}_{\mathrm{distortion}}\\ y_{\mathrm{distortion}}\\ k\end{array}\right]=k\left[\begin{array}{ccc}h1& h2& h3\\ h4& h5& h6\\ h7& h8& h9\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=k\left[\begin{array}{c}h1x+h2y+h3\\ h4x+h5y+h6\\ h7x+h8y+h9\end{array}\right]---\left(4\right)$

推得

       $\left\{\begin{array}{c}\frac{x_{\mathrm{distortion}}}{y_{\mathrm{distortion}}}=\frac{h1x+h2y+h3}{h4x+h5y+h6}\\ \frac{x_{\mathrm{distortion}}}{k}=\frac{h1x+h2y+h3}{h7x+h8y+h9}\\ \frac{y_{\mathrm{distortion}}}{k}=\frac{h4x+h5y+h6}{h7x+h8y+h9}\end{array}\right.---\left(5\right)$

进而得到

       $\left\{\begin{array}{c}{x}_{\mathrm{distortion}}\mathrm{xh}4+x_{\mathrm{distortion}}\mathrm{yh}5+x_{\mathrm{distortion}}h6-y_{\mathrm{distortion}}\mathrm{xh}1-y_{\mathrm{distortion}}\mathrm{yh}2-y_{\mathrm{distortion}}h3=0\\ \mathrm{kxh}1+\mathrm{kyh}2+\mathrm{kh}3-x_{\mathrm{distortion}}\mathrm{xh}7-x_{\mathrm{distortion}}\mathrm{yh}8-x_{\mathrm{distortion}}h9=0\\ \mathrm{kxh}4+\mathrm{kyh}5+\mathrm{kh}6-y_{\mathrm{distortion}}\mathrm{xh}7-y_{\mathrm{distortion}}\mathrm{yh}8-y_{\mathrm{distortion}}h9=0\end{array}\right.---\left(6\right)$

步骤4-8，由式(6)第一行推得

       $\left[\begin{array}{cccccc}-y_{\mathrm{distortion}1}{x}_1& -y_{\mathrm{distortion}1}{y}_1& -y_{\mathrm{distortion}1}& x_{\mathrm{distortion}1}{x}_1& x_{\mathrm{distortion}1}{y}_1& x_{\mathrm{distortion}1}\\ -y_{\mathrm{distortion}2}{x}_2& -y_{\mathrm{distortion}2}{y}_2& -y_{\mathrm{distortion}2}& x_{\mathrm{distortion}2}{x}_2& x_{\mathrm{distortion}2}{y}_2& x_{\mathrm{distortion}2}\\ M& M& M& M& M& M\\ -y_{\mathrm{distortionn}}{x}_n& -y_{\mathrm{distortionn}}{y}_n& -y_{\mathrm{distortionn}}& x_{\mathrm{distortionn}}{x}_n& x_{\mathrm{distortionn}}{y}_n& x_{\mathrm{distortionn}}\end{array}\right]\left[\begin{array}{c}h1\\ h2\\ h3\\ h4\\ h5\\ h6\end{array}\right]=0---\left(7\right)$

使用最小二乘法解此超定方程组得到H的前两行。

步骤4-9，由式(6)后两行推得

       $\left[\begin{array}{ccccccc}-x_{\mathrm{distortion}1}{x}_1& -x_{\mathrm{distortion}1}{y}_1& -x_{\mathrm{distortion}1}& x_{1}h1+y_{1}h2+h3& & & \\ -y_{\mathrm{distortion}1}{x}_1& -y_{\mathrm{distortion}1}{y}_1& -y_{\mathrm{distortion}1}& x_{1}h4+y_{1}h5+h6& & & \\ -x_{\mathrm{distortion}2}{x}_2& -x_{\mathrm{distortion}2}{y}_2& -x_{\mathrm{distortion}2}& & x_{2}h1+y_{2}h2+h3& & \\ -y_{\mathrm{distortion}2}{x}_2& -y_{\mathrm{distortion}2}{y}_2& -y_{\mathrm{distortion}2}& & x_{2}h4+y_{2}h5+h6& & \\ M& M& M& & & O& \\ -x_{\mathrm{distortionn}}{x}_n& -x_{\mathrm{distortionn}}{y}_n& -y_{\mathrm{distortionn}}& & & & x_{n}h1+y_{n}h2+h3\\ -y_{\mathrm{distortionn}}{x}_n& -y_{\mathrm{distortionn}}{y}_n& -y_{\mathrm{distortionn}}& & & & x_{n}h4+y_{n}h5+h6\end{array}\right]\left[\begin{array}{c}h7\\ h8\\ h9\\ k1\\ k2\\ M\\ \mathrm{kn}\end{array}\right]=0---\left(8\right)$

令

       $A=\left[\begin{array}{ccccccc}-x_{\mathrm{distortion}1}{x}_1& -x_{\mathrm{distortion}1}{y}_1& -x_{\mathrm{distortion}1}& x_{1}h1+y_{1}h2+h3& & & \\ -y_{\mathrm{distortion}1}{x}_1& -y_{\mathrm{distortion}1}{y}_1& -y_{\mathrm{distortion}1}& x_{1}h4+y_{1}h5+h6& & & \\ -x_{\mathrm{distortion}2}{x}_2& -x_{\mathrm{distortion}2}{y}_2& -x_{\mathrm{distortion}2}& & x_{2}h1+y_{2}h2+h3& & \\ -y_{\mathrm{distortion}2}{x}_2& -y_{\mathrm{distortion}2}{y}_2& -y_{\mathrm{distortion}2}& & x_{2}h4+y_{2}h5+h6& & \\ M& M& M& & & O& \\ -x_{\mathrm{distortionn}}{x}_n& -x_{\mathrm{distortionn}}{y}_n& -y_{\mathrm{distortionn}}& & & & x_{n}h1+y_{n}h2+h3\\ -y_{\mathrm{distortionn}}{x}_n& -y_{\mathrm{distortionn}}{y}_n& -y_{\mathrm{distortionn}}& & & & x_{n}h4+y_{n}h5+h6\end{array}\right],$

       $x=\left[\begin{array}{c}h7\\ h8\\ h9\\ k1\\ k2\\ M\\ \mathrm{kn}\end{array}\right],$

步骤4-10，对x_distortion排序，使得畸变系数满足k1＝1≥k2≥Λ≥kn，k1＝1可以避免出现零解以及保证畸变中心像素坐标附近的点畸变校正前后基本无变化。因为Ax＝0，所以||Ax||²＝0，(Ax)^TAx＝0，x^TA^TAx＝0，x^T(A^TA)x＝0，通过最小化x^T(A^TA)x可以求得x的值，当然要满足前述约束条件k1＝1≥k2≥Λ≥kn，因为A^TA是半正定矩阵，所以这是一个稀疏的凸二次规划问题。

步骤5，利用上述畸变中心坐标和径向畸变模型构造一个畸变坐标与校正坐标的查找表，畸变坐标(x_distortion,y_distortion)与校正坐标(x_correction,y_correction)满足以下映射关系：

       $x_{\mathrm{correction}}-x_{\mathrm{center}}=\frac{x_{\mathrm{distortion}}-x_{\mathrm{center}}}{1+k_1{r}_{\mathrm{distortion}}+k_2{r_{\mathrm{distortion}}}^2}---\left(9\right)$

       $y_{\mathrm{correction}}-y_{\mathrm{center}}=\frac{y_{\mathrm{distortion}}-y_{\mathrm{center}}}{1+k_1{r}_{\mathrm{distortion}}+k_2{r_{\mathrm{distortion}}}^2}---\left(10\right)$

其中，(x_center,y_center)为畸变中心坐标；

步骤6，利用查找表对棋盘格图像进行实时校正；

步骤7，观察校正结果，若校正结果不好，即本来为直线的曲线没有校正为直线，或者校正结果不满足透视投影，则将校正结果作为新的棋盘格图像，返回步骤2获取棋盘格图像的角点坐标；使用迭代校正方法，即反复多次校正畸变图像，直至它满足透视投影，满足高的校正精度，使得最终的校正结果更为合理。

步骤8，若校正结果好，则利用超广角镜头相机拍摄视频；

步骤9，利用软件开发工具包在计算机上快速抓取当前拍摄视频的每一帧；相机一般附带有软件开发包，软件开发包中包含一些接口函数，在程序中调用这些接口函数，使得计算机可以快速抓取当前拍摄视频的每一帧并校正。

步骤10，对视频的每一帧利用查找表进行实时校正。

Claims (3)

1.一种超广角镜头相机视频实时校正的方法,其特征在于，包括以下步骤：

步骤1，使用超广角镜头相机拍摄一幅棋盘格图像；

步骤2，利用棋盘格角点检测算法获取棋盘格图像的角点坐标；

步骤3，假设只有径向畸变，即畸变坐标、校正坐标与畸变中心坐标三点共线，利用已知的棋盘格角点坐标获取畸变中心坐标；

步骤4，利用径向畸变模型、畸变中心坐标和棋盘格角点坐标，来获取径向畸变模型的畸变系数，所述径向畸变模型为畸变坐标到畸变中心坐标的距离r_distortion与校正坐标到畸变中心坐标的距离r_correction满足以下关系式：

$k_{\mathrm{correction}}=\frac{r_{\mathrm{distortion}}}{1+k_1{r}_{\mathrm{distorton}}+k_2{r_{\mathrm{distortion}}}^2},$ k₁、k₂为畸变系数；

步骤5，利用所述畸变中心坐标和所述径向畸变模型构造一个畸变坐标与校正坐标一一对应的查找表；

步骤6，利用查找表对棋盘格图像进行实时校正；

步骤7，观察校正结果，若校正结果不好，即校正结果不满足透视投影，校正精度不高，看起来不合理，则将校正结果作为新的棋盘格图像，返回步骤2获取棋盘格图像的角点坐标；

步骤8，若校正结果好，则利用超广角镜头相机拍摄视频；

步骤9，利用软件开发工具包在计算机上快速抓取当前拍摄视频的每一帧；

步骤10，对视频的每一帧利用所述查找表进行实时校正。

2.根据权利要求1所述的一种超广角镜头相机视频实时校正的方法,其特征在于，所述步骤5中，畸变坐标(x_distortion,y_distortion)与校正坐标(x_correction,y_correction)满足以下映射关系：

$x_{\mathrm{correction}}-x_{\mathrm{center}}=\frac{x_{\mathrm{distortion}}-x_{\mathrm{center}}}{1+k_1{r}_{\mathrm{distorton}}+k_2{r_{\mathrm{distortion}}}^2},y_{\mathrm{correction}}-y_{\mathrm{center}}=\frac{y_{\mathrm{distortion}}-y_{\mathrm{center}}}{1+k_1{r}_{\mathrm{distorton}}+{k_2{r}_{\mathrm{distortion}}}^2},$

其中，(x_center,y_center)为畸变中心坐标。

3.根据权利要求1所述的一种超广角镜头视频实时校正的方法，其特征在于，所述步骤6中，查找表中已知校正坐标，可以快速索引到畸变坐标，从而将畸变坐标处的像素值通过邻近插值方法插入到校正坐标处。