CN104036496A - 一种鱼眼镜头相机径向畸变的自标定方法 - Google Patents
一种鱼眼镜头相机径向畸变的自标定方法 Download PDFInfo
- Publication number
- CN104036496A CN104036496A CN201410221337.5A CN201410221337A CN104036496A CN 104036496 A CN104036496 A CN 104036496A CN 201410221337 A CN201410221337 A CN 201410221337A CN 104036496 A CN104036496 A CN 104036496A
- Authority
- CN
- China
- Prior art keywords
- distortion
- fish
- eye lens
- lens camera
- individual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 241000251468 Actinopterygii Species 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种鱼眼镜头相机径向畸变的自标定方法,包括以下步骤:将鱼眼镜头相机围绕相机坐标系的y轴进行旋转,拍摄前后视野有重叠的n个视角的图像;提取不同视角下鱼眼图像的图像特征点,并进行特征点匹配,得到m条不同视角下鱼眼图像的匹配点轨迹序列;利用得到的m条图像匹配点轨迹序列,通过非线性优化求解得到畸变中心和畸变参数;本发明无需特定的标定物,只需将鱼眼镜头相机围绕着相机坐标系的y轴进行旋转,拍摄前后视野有重叠的若干幅图像,通过对图像特征点运动轨迹的分析计算即可求解出畸变参数。相比传统基于模板的标定方法,本方法带来了极大的便利性。
Description
技术领域
本发明涉及一种对鱼眼镜头相机的径向畸变进行自标定的方法,具体来说,涉及一种无需标定模板,只要鱼眼镜头相机围绕着一个固定轴做旋转运动,通过对不同视角的图像中特征点运动轨迹的分析计算就可以估计出鱼眼镜头相机的径向畸变参数的方法。
背景技术
鱼眼镜头的失真有多种类型,其中径向失真被认为是主要的因素。有众多的学者对鱼眼镜头的失真校正进行了研究,也提出了多个径向畸变数学模型,例如有多项式模型、Field-of-view 模型、除法模型、Equidistant模型等。在这些模型中,传统的多项式模型运用较广,但其并不适用于具有较大畸变的鱼眼成像,而除法模型很好地弥补了这一缺点,在很多情况下,单个参数已经足够。
基于单参数除法模型,学者们提出了很多径向畸变的标定方法,这些方法大致上可以分为二类:1)基于点匹配的方法;这类方法需要拍摄至少二幅鱼眼图像,通过图像之间的特征点匹配,在某种约束下(如交比的投影不变性)进行畸变参数求解。2)基于直线的方法。由于空间直线被投影成畸变图像上的圆弧,拟合出这些圆弧,就能够估计出畸变参数。
基于点匹配和基于直线的方法都已发展出自标定方法,其中基于点匹配的方法能够估计出单参数除法模型的畸变参数,但须基于畸变中心位于图像中心的假设,这在很多情况下并不成立;而基于直线的方法须场景中存在直线。本发明方法归属于基于点匹配的方法,但与已有方法不同,本发明方法将畸变中心作为未知参数,使其不依赖于畸变中心位置的假设,而只是图像中心作为畸变中心的初值,在后续的迭代求解中进行非线性优化,从而具有更好的适用性。
发明内容
本发明的目的在于针对现有技术的不足,提供一种鱼眼镜头相机径向畸变的自标定方法。
本发明的目的是通过以下技术方案来实现的:一种鱼眼镜头相机径向畸变的自标定方法,包括以下步骤:
(1)将鱼眼镜头相机围绕相机坐标系的y轴进行旋转,拍摄前后视野有重叠的n个视角的图像,其中,n为大于等于3的自然数;
(2)提取不同视角下鱼眼图像的图像特征点,并进行特征点匹配,得到m条不同视角下鱼眼图像的匹配点轨迹序列,其中,m为大于等于1的自然数;
(3)利用步骤(2)得到的m条图像匹配点轨迹序列,通过非线性优化求解得到畸变中心 和畸变参数。
进一步地,所述的步骤(3)包括以下子步骤:
(3.1)对于每条匹配点轨迹序列中的n个匹配点,建立如下关系式:
,继而写成的形式;
其中,、、;为鱼眼镜头相机焦距、为畸变点、为三维点坐标;
(3.2)对于所有的m条匹配点轨迹序列,建立的矩阵和矩阵各有m个,即有和;向量也有m个,这m个向量都具有相同的和,但有不同的,即有;
(3.3)所有待求参数归结为4个公共系数和m个与特定三维点有关的,用LM(Levenberg-Marquardt)算法的非线性优化方法最小化,求解得到畸变中心和畸变参数;其中,表示与第i条轨迹所对应的矩阵中的第j个行向量、为与第i条轨迹相对应的向量、表示与第i条轨迹所对应的矩阵中的第j个行向量。
本发明的有益效果是:整个标定过程只需要将相机绕固定轴旋转,无需标定模板,给标定工作带来了极大的便利性。
附图说明
图1为本发明方法的流程图;
图2为本发明将鱼眼镜头相机绕y轴旋转的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细描述,本发明的目的和效果将变得更加明显。
本发明对鱼眼镜头相机的径向畸变建模采用由Fitzgibbon提出的单参数除法模型,如式(1)所示:
(1)
(1)式中,为理想透视投影点,也可称为未畸变点;为鱼眼图像上的点,也可称为畸变点;为畸变参数;为畸变点的径向距离。(1)式是基于畸变中心位于坐标原点的假设,这一假设有时并不成立。假设畸变中心位于,则(1)式变为:
(2)
(2)式中,,是畸变点与畸变中心之间的径向距离。
有关Fitzgibbon提出的单参数除法模型可参见参考文献:Fitzgibbon A. W., Simultaneous linear estimation of multiple view geometry and lens distortion. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001. pp.I-125~I-132.
基于该模型,三维空间点首先通过理想透视投影得到理想透视投影点,然后经单参数除法模型投影得到鱼眼图像上的畸变点。
假设初始状态下,鱼眼镜头相机坐标系与三维世界坐标系重合,则,而。
如图1所示,在步骤101中,将鱼眼镜头相机围绕相机坐标系的y轴进行旋转,拍摄前后视野有重叠的n(n ≥ 3)个视角的图像。
旋转过程如图2所示。假设旋转了角,则对应于理想透视相机下的图像点,有:
(3)
(3)式中,为鱼眼镜头相机的内参数矩阵。
如图1所示,在步骤102中,提取不同视角下鱼眼图像的图像特征点,并进行特征点匹配,得到m(m ≥ 1)条不同视角下鱼眼图像的匹配点轨迹序列。
假设旋转过程中共拍摄了n幅鱼眼图像,对于某个特定的三维点,它在各个视角的鱼眼图像上的投影点可记为,,…(上标1..n表示各个视角的序号),从而构成了对应于三维点的一个图像匹配点的轨迹序列。通过图像特征点的提取和匹配可以建立这样的轨迹序列。
假设这样的空间三维点有m个,则可以建立起m条这样的图像匹配点轨迹序列。
有关图像特征点的提取和匹配可参见:Bay, H., A. Ess, et al. Speeded-Up Robust Features (SURF). Computer Vision and Image Understanding, 2008, 110(3): 346-359.
如图1所示,在步骤103中,利用得到的图像匹配点序列,进行非线性优化,求解得到畸变中心和畸变参数。
将(3)式展开,有:
(4)
对去齐次化后可得:
(5)
对于同一个三维点,它在各个视角的理想透视投影图像上的未畸变点的运动轨迹满足下列双曲线方程:
(6)
假设畸变中心与相机主点重合,即 且,将(2)式带入(6)式,则可以得到畸变图像点的近似运动轨迹:
(7)
对(7)式进行整理后可得:
(8)
(8)式给出了三维点在畸变图像上的运动轨迹。一旦鱼眼镜头确定,则畸变参数以及相机的内参数均已确定,为了求解简便,对(8)式进行系数替换后得:
(9)
对照(8)式和(9)式,可得:
(10)
可将(9)式写成下面形式:
(11)
对于步骤102得到的针对某个匹配点序列中的每个畸变点,就可以建立如(11)式所示的一个方程。一个匹配点序列中共有n个视角,即包含有n个畸变点,则可以将它们堆叠起来,得到:
(12)
(12)式可写成下面的形式:
(13)
上式中,,和分别定义为:
(14)
(15)
(16)
对于一个特定的鱼眼镜头相机而言,方程组(13)式中所待求的系数有畸变中心(),包含于,中的畸变参数和焦距,以及与具体三维点坐标相关的。
通过步骤102跟踪到的特征点轨迹有m条,即对应于有m个特定三维空间点,则(14)和(16)式所示的矩阵和矩阵也各有m个,即有和。向量也有m个,且这m个向量具有相同的和,但具有不同的,即有。
这样,总共的待求参数有4个公共系数和m个与特定三维点有关的。
为了求解出这4+m个待求参数,采用了基于LM(Levenberg-Marquardt)算法的非线性优化方法最小化下式:
(17)
(17)式中,表示与第i条轨迹所对应的矩阵中的第j个行向量。为与第i条轨迹相对应的向量,其中的,由和决定,与具体的空间三维点坐标有关,对于某条具体轨迹而言是公共未知数。与类似,表示与第i条轨迹所对应的矩阵中的第j个行向量。
在迭代时用图像中心作为畸变中心的初值,用LM算法最小化(17)式,就可以求取这4+m个未知参数,其中的畸变中心和畸变参数就是所要求取的模型参数。
上述实施方式用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明做出的任何修改和改变,都落入本发明的保护范围。
Claims (2)
1.一种鱼眼镜头相机径向畸变的自标定方法,其特征在于,该方法包括以下步骤:
(1)将鱼眼镜头相机围绕相机坐标系的y轴进行旋转,拍摄前后视野有重叠的n个视角的图像,其中,n为大于等于3的自然数;
(2)提取不同视角下鱼眼图像的图像特征点,并进行特征点匹配,得到m条不同视角下鱼眼图像的匹配点轨迹序列,其中,m为大于等于1的自然数;
(3)利用步骤(2)得到的m条图像匹配点轨迹序列,通过非线性优化求解得到畸变中心 和畸变参数。
2.根据权利要求1所述的一种鱼眼镜头相机径向畸变的自标定方法,其特征在于,所述的步骤(3)包括以下子步骤:
(3.1)对于每条匹配点轨迹序列中的n个匹配点,建立如下关系式:
,继而写成的形式;
其中,、、;为鱼眼镜头相机焦距、为畸变点、为三维点坐标;
(3.2)对于所有的m条匹配点轨迹序列,建立的矩阵和矩阵各有m个,即有和;向量也有m个,这m个向量都具有相同的和,但有不同的,即有;
(3.3)所有待求参数归结为4个公共系数和m个与特定三维点有关的,用LM(Levenberg-Marquardt)算法的非线性优化方法最小化,求解得到畸变中心和畸变参数;其中,表示与第i条轨迹所对应的矩阵中的第j个行向量、为与第i条轨迹相对应的向量、表示与第i条轨迹所对应的矩阵中的第j个行向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410221337.5A CN104036496B (zh) | 2014-05-25 | 2014-05-25 | 一种鱼眼镜头相机径向畸变的自标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410221337.5A CN104036496B (zh) | 2014-05-25 | 2014-05-25 | 一种鱼眼镜头相机径向畸变的自标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104036496A true CN104036496A (zh) | 2014-09-10 |
CN104036496B CN104036496B (zh) | 2017-02-22 |
Family
ID=51467255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410221337.5A Expired - Fee Related CN104036496B (zh) | 2014-05-25 | 2014-05-25 | 一种鱼眼镜头相机径向畸变的自标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104036496B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9756240B2 (en) | 2015-12-11 | 2017-09-05 | Industrial Technology Research Institute | Wide-angle lens calibration system and method thereof |
CN107749071A (zh) * | 2017-09-12 | 2018-03-02 | 深圳市易成自动驾驶技术有限公司 | 大畸变棋盘格图像角点检测方法及装置 |
CN108492263A (zh) * | 2018-03-07 | 2018-09-04 | 鞍钢集团矿业有限公司 | 一种镜头径向畸变校正方法 |
CN110264528A (zh) * | 2019-06-25 | 2019-09-20 | 中国人民解放军国防科技大学 | 一种鱼眼镜头双目像机快速自标定方法 |
CN111489398A (zh) * | 2019-12-19 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 一种成像设备标定方法以及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050122400A1 (en) * | 2003-08-13 | 2005-06-09 | Topcon Corporation | Photographic apparatus with function of image correction and method thereof |
CN103955928A (zh) * | 2014-04-28 | 2014-07-30 | 华为技术有限公司 | 一种确定曲面镜头畸变参数的方法、装置以及电子设备 |
-
2014
- 2014-05-25 CN CN201410221337.5A patent/CN104036496B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050122400A1 (en) * | 2003-08-13 | 2005-06-09 | Topcon Corporation | Photographic apparatus with function of image correction and method thereof |
CN103955928A (zh) * | 2014-04-28 | 2014-07-30 | 华为技术有限公司 | 一种确定曲面镜头畸变参数的方法、装置以及电子设备 |
Non-Patent Citations (1)
Title |
---|
JIE LEI等: "A novel rectification framework for coaxial omni-directional stereo", 《ROBOTICS AND AUTOMATION (ICRA), 2011 IEEE INTERNATIONAL CONFERENCE ON》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9756240B2 (en) | 2015-12-11 | 2017-09-05 | Industrial Technology Research Institute | Wide-angle lens calibration system and method thereof |
CN107749071A (zh) * | 2017-09-12 | 2018-03-02 | 深圳市易成自动驾驶技术有限公司 | 大畸变棋盘格图像角点检测方法及装置 |
CN107749071B (zh) * | 2017-09-12 | 2020-04-10 | 深圳市易成自动驾驶技术有限公司 | 大畸变棋盘格图像角点检测方法及装置 |
CN108492263A (zh) * | 2018-03-07 | 2018-09-04 | 鞍钢集团矿业有限公司 | 一种镜头径向畸变校正方法 |
CN108492263B (zh) * | 2018-03-07 | 2022-02-18 | 鞍钢集团矿业有限公司 | 一种镜头径向畸变校正方法 |
CN110264528A (zh) * | 2019-06-25 | 2019-09-20 | 中国人民解放军国防科技大学 | 一种鱼眼镜头双目像机快速自标定方法 |
CN110264528B (zh) * | 2019-06-25 | 2023-11-14 | 中国人民解放军国防科技大学 | 一种鱼眼镜头双目像机快速自标定方法 |
CN111489398A (zh) * | 2019-12-19 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 一种成像设备标定方法以及装置 |
CN111489398B (zh) * | 2019-12-19 | 2023-06-20 | 阿里巴巴集团控股有限公司 | 一种成像设备标定方法以及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104036496B (zh) | 2017-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102646275B (zh) | 通过跟踪和定位算法实现虚拟三维叠加的方法 | |
CN103337094B (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
CN109003311B (zh) | 一种鱼眼镜头的标定方法 | |
CN106204574B (zh) | 基于目标平面运动特征的相机位姿自标定方法 | |
CN104036496B (zh) | 一种鱼眼镜头相机径向畸变的自标定方法 | |
CN109685913B (zh) | 基于计算机视觉定位的增强现实实现方法 | |
Tang et al. | ESTHER: Joint camera self-calibration and automatic radial distortion correction from tracking of walking humans | |
CN103617615B (zh) | 径向畸变参数获取方法及获取装置 | |
CN103839277A (zh) | 一种户外大范围自然场景的移动增强现实注册方法 | |
CN104217435B (zh) | 两个相互遮挡的球线性确定拋物折反射摄像机内参数方法 | |
CN104376552A (zh) | 一种3d模型与二维图像的虚实配准算法 | |
Sun et al. | Camera self-calibration with lens distortion | |
CN107358633A (zh) | 一种基于三点标定物的多相机内外参标定方法 | |
CN102750697A (zh) | 一种参数标定方法及装置 | |
CN110111248A (zh) | 一种基于特征点的图像拼接方法、虚拟现实系统、照相机 | |
CN106327504A (zh) | 利用单个球及圆环点的像标定拋物折反射摄像机的方法 | |
CN110969667A (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
CN107886546A (zh) | 利用球像及公共自极三角形标定抛物折反射摄像机的方法 | |
WO2021169049A1 (zh) | 一种真实场景下玻璃检测的方法 | |
CN104902201B (zh) | 基于移动视点与异形屏幕的投影图像实时校正方法 | |
CN103559736A (zh) | 表演者的无标记点三维实时捕获系统 | |
Bastanlar et al. | Multi-view structure-from-motion for hybrid camera scenarios | |
CN108961182A (zh) | 针对视频图像的竖直方向灭点检测方法及视频扭正方法 | |
CN113112532B (zh) | 一种多ToF相机系统实时配准方法 | |
CN113920196A (zh) | 视觉定位方法、装置及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170222 |