CN104036496B - 一种鱼眼镜头相机径向畸变的自标定方法 - Google Patents

一种鱼眼镜头相机径向畸变的自标定方法 Download PDF

Info

Publication number
CN104036496B
CN104036496B CN201410221337.5A CN201410221337A CN104036496B CN 104036496 B CN104036496 B CN 104036496B CN 201410221337 A CN201410221337 A CN 201410221337A CN 104036496 B CN104036496 B CN 104036496B
Authority
CN
China
Prior art keywords
distortion
fish
eye lens
lens camera
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410221337.5A
Other languages
English (en)
Other versions
CN104036496A (zh
Inventor
蒋宇波
杜歆
朱云芳
金韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201410221337.5A priority Critical patent/CN104036496B/zh
Publication of CN104036496A publication Critical patent/CN104036496A/zh
Application granted granted Critical
Publication of CN104036496B publication Critical patent/CN104036496B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种鱼眼镜头相机径向畸变的自标定方法，包括以下步骤：将鱼眼镜头相机围绕相机坐标系的y轴进行旋转，拍摄前后视野有重叠的n个视角的图像；提取不同视角下鱼眼图像的图像特征点，并进行特征点匹配，得到m条不同视角下鱼眼图像的匹配点轨迹序列；利用得到的m条图像匹配点轨迹序列，通过非线性优化求解得到畸变中心和畸变参数；本发明无需特定的标定物，只需将鱼眼镜头相机围绕着相机坐标系的y轴进行旋转，拍摄前后视野有重叠的若干幅图像，通过对图像特征点运动轨迹的分析计算即可求解出畸变参数。相比传统基于模板的标定方法，本方法带来了极大的便利性。

Description

一种鱼眼镜头相机径向畸变的自标定方法
技术领域
本发明涉及一种对鱼眼镜头相机的径向畸变进行自标定的方法，具体来说，涉及一种无需标定模板，只要鱼眼镜头相机围绕着一个固定轴做旋转运动，通过对不同视角的图像中特征点运动轨迹的分析计算就可以估计出鱼眼镜头相机的径向畸变参数的方法。
背景技术
鱼眼镜头的失真有多种类型，其中径向失真被认为是主要的因素。有众多的学者对鱼眼镜头的失真校正进行了研究，也提出了多个径向畸变数学模型，例如有多项式模型、Field-of-view 模型、除法模型、Equidistant模型等。在这些模型中，传统的多项式模型运用较广，但其并不适用于具有较大畸变的鱼眼成像，而除法模型很好地弥补了这一缺点，在很多情况下，单个参数已经足够。
基于单参数除法模型，学者们提出了很多径向畸变的标定方法，这些方法大致上可以分为二类：1)基于点匹配的方法；这类方法需要拍摄至少二幅鱼眼图像，通过图像之间的特征点匹配，在某种约束下(如交比的投影不变性)进行畸变参数求解。2)基于直线的方法。由于空间直线被投影成畸变图像上的圆弧，拟合出这些圆弧，就能够估计出畸变参数。
基于点匹配和基于直线的方法都已发展出自标定方法，其中基于点匹配的方法能够估计出单参数除法模型的畸变参数，但须基于畸变中心位于图像中心的假设，这在很多情况下并不成立；而基于直线的方法须场景中存在直线。本发明方法归属于基于点匹配的方法，但与已有方法不同，本发明方法将畸变中心作为未知参数，使其不依赖于畸变中心位置的假设，而只是图像中心作为畸变中心的初值，在后续的迭代求解中进行非线性优化，从而具有更好的适用性。
发明内容
本发明的目的在于针对现有技术的不足，提供一种鱼眼镜头相机径向畸变的自标定方法。
本发明的目的是通过以下技术方案来实现的：一种鱼眼镜头相机径向畸变的自标定方法，包括以下步骤：
（1）将鱼眼镜头相机围绕相机坐标系的y轴进行旋转，拍摄前后视野有重叠的n个视角的图像，其中，n为大于等于3的自然数；
（2）提取不同视角下鱼眼图像的图像特征点，并进行特征点匹配，得到m条不同视角下鱼眼图像的匹配点轨迹序列，其中，m为大于等于1的自然数；
（3）利用步骤（2）得到的m条图像匹配点轨迹序列，通过非线性优化求解得到畸变中心和畸变参数。
进一步地，所述的步骤（3）包括以下子步骤：
（3.1）对于每条匹配点轨迹序列中的n个匹配点，建立如下关系式：
，继而写成的形式；
其中，、、；为鱼眼镜头相机焦距、为畸变点、为三维点坐标；
（3.2）对于所有的m条匹配点轨迹序列，建立的矩阵和矩阵各有m个，即有和；向量也有m个，这m个向量都具有相同的和，但有不同的，即有；
（3.3）所有待求参数归结为4个公共系数和m个与特定三维点有关的，用LM（Levenberg-Marquardt）算法的非线性优化方法最小化，求解得到畸变中心和畸变参数；其中，表示与第i条轨迹所对应的矩阵中的第j个行向量、为与第i条轨迹相对应的向量、表示与第i条轨迹所对应的矩阵中的第j个行向量。
本发明的有益效果是：整个标定过程只需要将相机绕固定轴旋转，无需标定模板，给标定工作带来了极大的便利性。
附图说明
图1为本发明方法的流程图；
图2为本发明将鱼眼镜头相机绕y轴旋转的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细描述，本发明的目的和效果将变得更加明显。
本发明对鱼眼镜头相机的径向畸变建模采用由Fitzgibbon提出的单参数除法模型，如式（1）所示：
（1）
（1）式中，为理想透视投影点，也可称为未畸变点；为鱼眼图像上的点，也可称为畸变点；为畸变参数；为畸变点的径向距离。（1）式是基于畸变中心位于坐标原点的假设，这一假设有时并不成立。假设畸变中心位于，则（1）式变为：
（2）
（2）式中，，是畸变点与畸变中心之间的径向距离。
有关Fitzgibbon提出的单参数除法模型可参见参考文献：Fitzgibbon A. W.,Simultaneous linear estimation of multiple view geometry and lens distortion.IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2001. pp.I-125~I-132.
基于该模型，三维空间点首先通过理想透视投影得到理想透视投影点，然后经单参数除法模型投影得到鱼眼图像上的畸变点。
假设初始状态下，鱼眼镜头相机坐标系与三维世界坐标系重合，则，而。
如图1所示，在步骤101中，将鱼眼镜头相机围绕相机坐标系的y轴进行旋转，拍摄前后视野有重叠的n（n≥ 3）个视角的图像。
旋转过程如图2所示。假设旋转了角，则对应于理想透视相机下的图像点，有：
（3）
（3）式中，为鱼眼镜头相机的内参数矩阵。
如图1所示，在步骤102中，提取不同视角下鱼眼图像的图像特征点，并进行特征点匹配，得到m（m ≥ 1）条不同视角下鱼眼图像的匹配点轨迹序列。
假设旋转过程中共拍摄了n幅鱼眼图像，对于某个特定的三维点，它在各个视角的鱼眼图像上的投影点可记为,,…（上标1..n表示各个视角的序号），从而构成了对应于三维点的一个图像匹配点的轨迹序列。通过图像特征点的提取和匹配可以建立这样的轨迹序列。
假设这样的空间三维点有m个，则可以建立起m条这样的图像匹配点轨迹序列。
有关图像特征点的提取和匹配可参见：Bay, H., A. Ess, et al. Speeded-UpRobust Features (SURF). Computer Vision and Image Understanding, 2008, 110(3): 346-359.
如图1所示，在步骤103中，利用得到的图像匹配点序列，进行非线性优化，求解得到畸变中心和畸变参数。
将（3）式展开，有：
（4）
对去齐次化后可得：
（5）
对于同一个三维点，它在各个视角的理想透视投影图像上的未畸变点的运动轨迹满足下列双曲线方程：
（6）
假设畸变中心与相机主点重合，即 且，将（2）式带入（6）式，则可以得到畸变图像点的近似运动轨迹：
（7）
对（7）式进行整理后可得：
（8）
（8）式给出了三维点在畸变图像上的运动轨迹。一旦鱼眼镜头确定，则畸变参数以及相机的内参数均已确定，为了求解简便，对（8）式进行系数替换后得：
（9）
对照（8）式和（9）式，可得：
（10）
可将（9）式写成下面形式：
（11）
对于步骤102得到的针对某个匹配点序列中的每个畸变点，就可以建立如（11）式所示的一个方程。一个匹配点序列中共有n个视角，即包含有n个畸变点，则可以将它们堆叠起来，得到：
（12）
（12）式可写成下面的形式：
（13）
上式中，，和分别定义为：
（14）
（15）
（16）
对于一个特定的鱼眼镜头相机而言，方程组（13）式中所待求的系数有畸变中心（），包含于，中的畸变参数和焦距，以及与具体三维点坐标相关的。
通过步骤102跟踪到的特征点轨迹有m条，即对应于有m个特定三维空间点，则（14）和（16）式所示的矩阵和矩阵也各有m个，即有和。向量也有m个，且这m个向量具有相同的和，但具有不同的，即有。
这样，总共的待求参数有4个公共系数和m个与特定三维点有关的。
为了求解出这4+m个待求参数，采用了基于LM（Levenberg-Marquardt）算法的非线性优化方法最小化下式：
（17）
（17）式中，表示与第i条轨迹所对应的矩阵中的第j个行向量。为与第i条轨迹相对应的向量，其中的，由和决定，与具体的空间三维点坐标有关，对于某条具体轨迹而言是公共未知数。与类似，表示与第i条轨迹所对应的矩阵中的第j个行向量。
在迭代时用图像中心作为畸变中心的初值，用LM算法最小化（17）式，就可以求取这4+m个未知参数，其中的畸变中心和畸变参数就是所要求取的模型参数。
上述实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (1)

1.一种鱼眼镜头相机径向畸变的自标定方法，其特征在于，该方法包括以下步骤：
(1)将鱼眼镜头相机围绕相机坐标系的y轴进行旋转，拍摄前后视野有重叠的n个视角的图像，其中，n为大于等于3的自然数；
(2)提取不同视角下鱼眼图像的图像特征点，并进行特征点匹配，得到m条不同视角下鱼眼图像的匹配点轨迹序列，其中，m为大于等于1的自然数；
(3)利用步骤(2)得到的m条图像匹配点轨迹序列，通过非线性优化求解得到畸变中心[xd0,yd0]T和畸变参数λ，具体包括以下子步骤：
(3.1)对于每条匹配点轨迹序列中的n个匹配点，建立如下关系式：
继而写成A·k＝b的形式；
其中，f为鱼眼镜头相机焦距、[xd,yd]T为畸变点、上标1..n表示各个视角的序号、(X,Y,Z)为空间三维点坐标；
(3.2)对于所有的m条匹配点轨迹序列，建立的A矩阵和b矩阵各有m个，即有{A1,A2,...,Am}和{b1,b2,...,bm}；k向量也有m个，这m个k向量都具有相同的k1和k3，但有不同的k2，即有
(3.3)所有待求参数归结为4个公共系数{xd0,yd0,λ,f}和m个与特定三维点有关的用LM(Levenberg-Marquardt)算法的非线性优化方法最小化求解得到畸变中心[xd0,yd0]T和畸变参数λ；其中，Aij表示与第i条轨迹所对应的Ai矩阵中的第j个行向量、ki为与第i条轨迹相对应的k向量、bij表示与第i条轨迹所对应的bi矩阵中的第j个行向量。
CN201410221337.5A 2014-05-25 2014-05-25 一种鱼眼镜头相机径向畸变的自标定方法 Expired - Fee Related CN104036496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410221337.5A CN104036496B (zh) 2014-05-25 2014-05-25 一种鱼眼镜头相机径向畸变的自标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410221337.5A CN104036496B (zh) 2014-05-25 2014-05-25 一种鱼眼镜头相机径向畸变的自标定方法

Publications (2)

Publication Number Publication Date
CN104036496A CN104036496A (zh) 2014-09-10
CN104036496B true CN104036496B (zh) 2017-02-22

Family

ID=51467255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410221337.5A Expired - Fee Related CN104036496B (zh) 2014-05-25 2014-05-25 一种鱼眼镜头相机径向畸变的自标定方法

Country Status (1)

Country Link
CN (1) CN104036496B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI591377B (zh) 2015-12-11 2017-07-11 財團法人工業技術研究院 廣角鏡頭校正系統及其方法
CN107749071B (zh) * 2017-09-12 2020-04-10 深圳市易成自动驾驶技术有限公司 大畸变棋盘格图像角点检测方法及装置
CN108492263B (zh) * 2018-03-07 2022-02-18 鞍钢集团矿业有限公司 一种镜头径向畸变校正方法
CN110264528B (zh) * 2019-06-25 2023-11-14 中国人民解放军国防科技大学 一种鱼眼镜头双目像机快速自标定方法
CN111489398B (zh) * 2019-12-19 2023-06-20 阿里巴巴集团控股有限公司 一种成像设备标定方法以及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955928A (zh) * 2014-04-28 2014-07-30 华为技术有限公司 一种确定曲面镜头畸变参数的方法、装置以及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4307934B2 (ja) * 2003-08-13 2009-08-05 株式会社トプコン 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955928A (zh) * 2014-04-28 2014-07-30 华为技术有限公司 一种确定曲面镜头畸变参数的方法、装置以及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A novel rectification framework for coaxial omni-directional stereo;Jie Lei等;《Robotics and Automation (ICRA), 2011 IEEE International Conference on》;20110513;821-827 *

Also Published As

Publication number Publication date
CN104036496A (zh) 2014-09-10

Similar Documents

Publication Publication Date Title
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN104036496B (zh) 一种鱼眼镜头相机径向畸变的自标定方法
CN103337094B (zh) 一种应用双目摄像机实现运动三维重建的方法
CN109272570B (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
CN105453131B (zh) 图像的自动调整
CN103839277B (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN109003311B (zh) 一种鱼眼镜头的标定方法
Puwein et al. Robust multi-view camera calibration for wide-baseline camera networks
Tang et al. ESTHER: Joint camera self-calibration and automatic radial distortion correction from tracking of walking humans
CN110992263B (zh) 一种图像拼接方法及系统
CN111080709B (zh) 基于轨迹特征配准的多光谱立体相机自标定算法
CN107767339B (zh) 一种双目立体图像拼接方法
Zhou et al. Line-based camera calibration with lens distortion correction from a single image
CN105550994B (zh) 一种基于卫星影像的无人机影像快速概略拼接方法
CN104376552A (zh) 一种3d模型与二维图像的虚实配准算法
CN105303615A (zh) 一种图像二维拼接与三维表面重建的组合方法
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
CN109325995B (zh) 基于人手参数模型的低分辨率多视角手部重建方法
CN102646275A (zh) 通过跟踪和定位算法实现虚拟三维叠加的方法
CN110111248A (zh) 一种基于特征点的图像拼接方法、虚拟现实系统、照相机
CN107945217B (zh) 一种适用于自动装配的图像特征点对快速筛选方法及系统
CN103617615A (zh) 径向畸变参数获取方法及获取装置
CN111553939A (zh) 一种多目摄像机的图像配准算法
CN112258588A (zh) 一种双目相机的标定方法、系统及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170222