CN111899304B - 远心光路畸变中心定位方法 - Google Patents

远心光路畸变中心定位方法 Download PDF

Info

Publication number
CN111899304B
CN111899304B CN202011057989.1A CN202011057989A CN111899304B CN 111899304 B CN111899304 B CN 111899304B CN 202011057989 A CN202011057989 A CN 202011057989A CN 111899304 B CN111899304 B CN 111899304B
Authority
CN
China
Prior art keywords
distortion
center
radial
optimization
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011057989.1A
Other languages
English (en)
Other versions
CN111899304A (zh
Inventor
左超
张晓磊
沈德同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Original Assignee
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd filed Critical Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority to CN202011057989.1A priority Critical patent/CN111899304B/zh
Publication of CN111899304A publication Critical patent/CN111899304A/zh
Application granted granted Critical
Publication of CN111899304B publication Critical patent/CN111899304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出了一种远心光路畸变中心定位方法。步骤为:第一步,径向畸变中心定位,先忽略畸变量中较小的切向畸变,仅以径向畸变作为畸变中心定位的依据和参考;第二步,基于特征图像平面的迭代优化,优化的依据是标定图案的空间分布,定位最优的畸变中心坐标和相应的畸变系数,使得提取的特征点通过畸变补偿后再次满足标定图案的空间分布。本发明提出的方法通过一个二步定位算法将畸变中心的定位从相机光路标定的全局迭代优化中独立出来,直接计算得到可靠的畸变系数初始值,基于可靠的畸变参数初始值,可以建立一个更加精准的、快速收敛的标定算法。

Description

远心光路畸变中心定位方法
技术领域
本发明属于光学测量技术领域,具体涉及一种远心光路畸变中心定位方法。
背景技术
近些年来由于精密制造技术的极速发展,工业制造领域内的小型化设计与加工越来越多,对于大量出现的微型结构需要相应的三维测量技术以确保其准确制造与最优设计。双目测量技术是一项经典的三维测量方法,基于三角测量的原理在各类三维信息的获取中起到了关键作用。但是因为物体本身图像信息中的物理特征点一般难以全部区分并精准提取,基于图像强度匹配的双目测量方法在视角匹配上还存在很多难题。
在显微三维测量应用中,需要对传统系统中的光路部分加以改造以实现小视场测量。第一种方式是通过对体视显微镜加以改造。第二种方式是简便的显微系统结构能够通过远心透镜实现。这类系统充分利用了远心透镜的大景深和光轴方向恒定放大率的优点。目前关于此类系统多数为基于单个远心相机与单个投影仪结合的结构设计。但是,这类系统中的投影仪皆需要精准的标定,以作为额外的观测视角配合相机完成三维测量。而投影仪的标定由于伽马、光路畸变、难以精准对齐的额外镜头等将难以实现高精度标定。
由于理想的远心镜头的投影中心位于无穷远,所以远心相机不具有固定的主点位置,也不能通过直接计算或者迭代来获取其准确位置。如果要比较精确地对一个实际的远心相机进行标定,透镜的光学畸变一般不能忽视。对于透镜的光学畸变,畸变中心的位置十分重要,但是目前的研究中大多数都忽视或者假设一个畸变中心。
发明内容
为了比较精确地对一个实际的远心相机进行标定,本发明提出了一种基于两步法的远心光路畸变中心定位方法。
本发明的技术方案如下:一种远心光路畸变中心定位方法,具有如下步骤:
步骤一:径向畸变中心定位,先忽略畸变量中较小的切向畸变,仅以径向畸变作为畸变中心定位的依据和参考;
步骤二:基于特征图像平面的迭代优化,优化的依据是标定图案的空间分布,定位最优的畸变中心坐标和相应的畸变系数,使得提取的特征点通过畸变补偿后再次满足标定图案的空间分布。
优选的,步骤二中提取的特征点通过畸变补偿后在水平和竖直方向上以直线分布,在水平或竖直方向上的任意相邻点之间距离相同。
优选的,步骤一为:
先忽略畸变量中较小的切向畸变,仅以径向畸变作为畸变中心e(u 0 ,v 0 )定位的依据和参考,一个畸变后的点p d (u d ,v d )和其理想未畸变点p u (u u ,v u )之间在图像坐标上的关系表示为:
Figure 687504DEST_PATH_IMAGE001
(1.1)
其中,
Figure 988036DEST_PATH_IMAGE002
Figure 758546DEST_PATH_IMAGE003
k 1 k 2 k 3 表示径向畸变的系数,把式(1.1)改写成齐次方程的形式:
Figure 712595DEST_PATH_IMAGE004
(1.2)
在该表达式两边各乘以
Figure 834135DEST_PATH_IMAGE005
,即对应叉乘运算的3×3矩阵,得到:
Figure 797412DEST_PATH_IMAGE006
(1.3)
H为相机模型的单应性矩阵,由
Figure 422428DEST_PATH_IMAGE007
,得到:
Figure 953904DEST_PATH_IMAGE008
(1.4)
在式(1.4)两边左乘
Figure 156215DEST_PATH_IMAGE009
,基于
Figure 64128DEST_PATH_IMAGE010
,得到:
Figure 809230DEST_PATH_IMAGE011
(1.5)
记3×3的矩阵
Figure 511607DEST_PATH_IMAGE012
,得到了仿射基础矩阵关系
Figure 935635DEST_PATH_IMAGE013
Figure 381660DEST_PATH_IMAGE014
通过svd分解法求解得到,基于
Figure 105902DEST_PATH_IMAGE015
,即
Figure 979180DEST_PATH_IMAGE016
,经过转置操作得到仅包含待求未知数e(u 0 , v 0 )的方程:
Figure 297029DEST_PATH_IMAGE018
(1.6)
通过求解式(1.6)中的方程求得光路的径向畸变中心位置。
优选的,步骤二为:
在得到了图像的径向畸变中心后,将所有的畸变系数,包括径向和切向畸变全部考虑进来进行优化,使用步骤一中计算得到的径向畸变中心作为优化的初始值,在优化过程中,理想像点像素坐标和畸变像点像素坐标之间的关系表示为:
Figure 140220DEST_PATH_IMAGE019
(2.1)
其中,
Figure DEST_PATH_IMAGE020
Figure 594335DEST_PATH_IMAGE022
Figure 638515DEST_PATH_IMAGE023
Figure 559504DEST_PATH_IMAGE024
Figure 81753DEST_PATH_IMAGE025
Figure 655953DEST_PATH_IMAGE026
Figure 995668DEST_PATH_IMAGE027
表示径向的畸变系数,
Figure 22530DEST_PATH_IMAGE028
Figure 614048DEST_PATH_IMAGE029
表示切向的畸变系数。
本发明与传统方法相比,具有如下优点:与目前大多数忽视或者假设一个畸变中心的方法相比,本发明提出的方法通过一个二步定位算法将畸变中心的定位从全局优化中独立出来,直接计算得到可靠的畸变系数初始值;基于可靠的畸变参数初始值,能建立一个更加精准的、快速收敛的标定算法。
附图说明
图1为本发明实施例中远心光路畸变中心定位方法的流程示意图。
图2为本发明实施例优化过程中标定图案的空间分布示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
如图1所示,本实施例中远心光路畸变中心定位方法具有两个步骤。
步骤一:径向畸变中心定位。
镜头畸变由径向畸变和切向畸变构成,且主要畸变量一般为径向畸变部分。首先忽略畸变量中较小的切向畸变,仅以径向畸变作为畸变中心e(u 0 ,v 0 )定位的依据和参考。一个畸变后的点p d (u d ,v d )和其理想未畸变点p u (u u ,v u )之间在图像坐标上的关系表示为:
Figure 901810DEST_PATH_IMAGE001
(1.1)
其中,
Figure 287792DEST_PATH_IMAGE030
Figure 67529DEST_PATH_IMAGE003
Figure 197159DEST_PATH_IMAGE031
表示径向畸变的系数。把式(1.1)改写成齐次方程的形式:
Figure 605007DEST_PATH_IMAGE004
(1.2)
然后在该表达式两边各乘以
Figure 161890DEST_PATH_IMAGE005
(对应叉乘运算的3×3矩阵)得到:
Figure 163344DEST_PATH_IMAGE006
(1.3)
H为相机模型的单应性矩阵,由
Figure 221299DEST_PATH_IMAGE007
,得到:
Figure 359019DEST_PATH_IMAGE008
(1.4)
最终,再在式(1.4)两边左乘
Figure 352383DEST_PATH_IMAGE009
。基于
Figure 700188DEST_PATH_IMAGE010
,得到:
Figure 171620DEST_PATH_IMAGE011
(1.5)
记3×3的矩阵
Figure 429426DEST_PATH_IMAGE012
,得到了仿射基础矩阵关系
Figure 593691DEST_PATH_IMAGE013
Figure 428792DEST_PATH_IMAGE014
通过svd分解法求解得到。然后基于
Figure 438336DEST_PATH_IMAGE015
,即
Figure 816228DEST_PATH_IMAGE016
,经过转置操作得到仅包含待求未知数的方程:
Figure 10449DEST_PATH_IMAGE032
(1.6)
通过求解式(1.6)中的方程直接求得光路的径向畸变中心位置。仅通过一幅标定图的数据进行求解的精度不能达到全局最优,一般情况是将多个标定姿态得到的F a 组合成一个元素更多的矩阵F A
步骤二:基于特征图像平面的迭代优化。
在得到了图像的径向畸变中心后,将所有的畸变系数,包括径向和切向畸变全部考虑进来进行优化,使用步骤一中计算得到的径向畸变中心作为优化的初始值。在步骤二的优化过程中,将理想像点像素坐标和畸变像点像素坐标之间的关系表示为:
Figure 473791DEST_PATH_IMAGE033
(2.1)
其中,
Figure 287027DEST_PATH_IMAGE034
Figure 519425DEST_PATH_IMAGE036
Figure 356318DEST_PATH_IMAGE023
Figure 306957DEST_PATH_IMAGE024
Figure 48517DEST_PATH_IMAGE037
Figure 135421DEST_PATH_IMAGE026
Figure 812390DEST_PATH_IMAGE038
表示径向的畸变系数,
Figure 984746DEST_PATH_IMAGE039
Figure 998838DEST_PATH_IMAGE040
表示切向的畸变系数。此处要注意,此处的系数与式(1.1)中的系数具有不同的含义,此处它们仅被用在优化的过程用来便于误差值的计算。
步骤二中,优化的依据是标定图案的空间分布。如图2所示,标定图案上的特征点组成了二维的网格结构,其空间分布如下:全部的特征点都位于直线上,这些直线分为水平方向和竖直方向,且在X W Y W 方向上分别按照dx w dy w 等间距的分布。当标定板被含有镜头畸变的相机拍摄后,这些特征点将不再共线,而是在垂直原本所在直线方向上产生一定量的位移,进而原本直线之间等间距分布的关系也不复存在。基于畸变补偿的原理,步骤二中的优化就是寻找最优的畸变中心坐标(u 0 ,v 0 )和相应的畸变系数,让提取的特征点通过式(2.1)的畸变补偿后再次满足上述标定图案的空间分布,即特征点在水平和竖直方向上以直线分布,在水平或竖直方向上的任意相邻点之间距离相同。此处需的(u 0 ,v 0 )
Figure 205829DEST_PATH_IMAGE025
Figure 788120DEST_PATH_IMAGE026
Figure 572405DEST_PATH_IMAGE027
Figure 531134DEST_PATH_IMAGE028
Figure 592631DEST_PATH_IMAGE029
则通过以下描述的优化方法进行计算。
畸变系数
Figure 470457DEST_PATH_IMAGE025
Figure 617404DEST_PATH_IMAGE026
Figure 114245DEST_PATH_IMAGE027
Figure 30248DEST_PATH_IMAGE028
Figure 344555DEST_PATH_IMAGE029
的初始值全部设置为零。每经过一次迭代,将两个方向的所有直线通过提取的点进行拟合。如图2所示,标定板上总共有20条直线,水平方向9条,竖直方向一共11条。将第i条拟合的直线用
Figure 713219DEST_PATH_IMAGE041
表示,然后将用于拟合该条直线的所有特征点
Figure 13751DEST_PATH_IMAGE042
与该直线的像素距离计算出来,表示为
Figure 908894DEST_PATH_IMAGE043
,这是第一个需要最小化的变量。
另一个变量描述如下。仿射变换的原因,这些特征点在水平和数值方向上的间距还是相同的。将X W Y W 两个方向上的特征点间距分别记为I X I Y ,然后求得I X I Y 各自的平均值I X0 I Y0 ,并与I X I Y 相减得到
Figure 269468DEST_PATH_IMAGE044
Figure DEST_PATH_IMAGE045
。最终结合两个需要最小化的变量写成最终的代价函数:
Figure DEST_PATH_IMAGE046
(2.2)
该函数使用非线性L-M优化算法进行求解,最终得到包括(u 0 ,v 0 )
Figure 718904DEST_PATH_IMAGE025
Figure 557547DEST_PATH_IMAGE026
Figure 448143DEST_PATH_IMAGE027
Figure 107182DEST_PATH_IMAGE028
Figure 450439DEST_PATH_IMAGE029
在内的参数。由于
Figure 951827DEST_PATH_IMAGE025
Figure 696929DEST_PATH_IMAGE026
Figure 399306DEST_PATH_IMAGE027
Figure 229859DEST_PATH_IMAGE028
Figure 534938DEST_PATH_IMAGE029
仅是用于优化的中间变量,故仅在最终的输出结果中将(u 0 ,v 0 )作为相机畸变中心的初始值进行全局优化。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种远心光路畸变中心定位方法,其特征在于具有如下步骤:
步骤一:径向畸变中心定位,先忽略畸变量中较小的切向畸变,仅以径向畸变作为畸变中心定位的依据和参考;
步骤一为:忽略畸变量中较小的切向畸变,仅以径向畸变作为畸变中心e(u 0 ,v 0 )定位的依据和参考,一个畸变后的点p d (u d ,v d )和其理想未畸变点p u (u u ,v u )之间在图像坐标上的关系表示为:
Figure 302031DEST_PATH_IMAGE002
(1.1)
其中,
Figure 415481DEST_PATH_IMAGE004
Figure 32057DEST_PATH_IMAGE006
k 1 k 2 k 3 表示径向畸变的系数,把式(1.1)改写成齐次方程的形式:
Figure 256365DEST_PATH_IMAGE008
(1.2)
在该表达式两边各乘以
Figure 317862DEST_PATH_IMAGE010
,即对应叉乘运算的3×3矩阵,得到:
Figure 539896DEST_PATH_IMAGE012
(1.3)
H为相机模型的单应性矩阵,由
Figure 952422DEST_PATH_IMAGE014
,得到:
Figure 980421DEST_PATH_IMAGE016
(1.4)
在式(1.4)两边左乘
Figure 348955DEST_PATH_IMAGE018
,基于
Figure 538628DEST_PATH_IMAGE020
,得到:
Figure 376134DEST_PATH_IMAGE022
(1.5)
记3×3的矩阵
Figure 942244DEST_PATH_IMAGE024
,得到了仿射基础矩阵关系
Figure 243912DEST_PATH_IMAGE026
Figure 292902DEST_PATH_IMAGE028
通过svd分解法求解得到,基于
Figure 680021DEST_PATH_IMAGE030
,即
Figure 987506DEST_PATH_IMAGE032
,经过转置操作得到仅包含待求未知数
Figure 878101DEST_PATH_IMAGE034
的方程:
Figure 675156DEST_PATH_IMAGE036
(1.6)
通过求解式(1.6)中的方程求得光路的径向畸变中心位置;
步骤二:基于特征图像平面的迭代优化,优化的依据是标定图案的空间分布,定位最优的畸变中心坐标和相应的畸变系数,使得提取的特征点通过畸变补偿后再次满足标定图案的空间分布;
步骤二为:在得到了图像的径向畸变中心后,将所有的畸变系数,包括径向和切向畸变全部考虑进来进行优化,使用步骤一中计算得到的径向畸变中心作为优化的初始值,在优化过程中,理想像点像素坐标和畸变像点像素坐标之间的关系表示为:
Figure 470943DEST_PATH_IMAGE038
(2.1)
其中,
Figure 644435DEST_PATH_IMAGE040
Figure 655116DEST_PATH_IMAGE042
Figure 560755DEST_PATH_IMAGE044
Figure 656887DEST_PATH_IMAGE046
Figure 368491DEST_PATH_IMAGE048
Figure 919165DEST_PATH_IMAGE050
Figure 58022DEST_PATH_IMAGE052
表示径向的畸变系数,
Figure 641450DEST_PATH_IMAGE054
Figure 828849DEST_PATH_IMAGE056
表示切向的畸变系数。
2.根据权利要求1所述的远心光路畸变中心定位方法,其特征在于:
步骤二中提取的特征点通过畸变补偿后在水平和竖直方向上以直线分布,在水平或竖直方向上的任意相邻点之间距离相同。
CN202011057989.1A 2020-09-30 2020-09-30 远心光路畸变中心定位方法 Active CN111899304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011057989.1A CN111899304B (zh) 2020-09-30 2020-09-30 远心光路畸变中心定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011057989.1A CN111899304B (zh) 2020-09-30 2020-09-30 远心光路畸变中心定位方法

Publications (2)

Publication Number Publication Date
CN111899304A CN111899304A (zh) 2020-11-06
CN111899304B true CN111899304B (zh) 2020-12-29

Family

ID=73224117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011057989.1A Active CN111899304B (zh) 2020-09-30 2020-09-30 远心光路畸变中心定位方法

Country Status (1)

Country Link
CN (1) CN111899304B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883294B (zh) * 2023-09-08 2023-12-22 中国科学院光电技术研究所 一种镜头畸变参数的两步法估计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103868524A (zh) * 2013-12-23 2014-06-18 西安新拓三维光测科技有限公司 一种基于散斑图案的单目测量系统标定方法及装置
CN107481290A (zh) * 2017-07-31 2017-12-15 天津大学 基于三坐标测量机的相机高精度标定及畸变补偿方法
CN110207614A (zh) * 2019-05-28 2019-09-06 南京理工大学 一种基于双远心相机匹配的高分辨高精度测量系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103868524A (zh) * 2013-12-23 2014-06-18 西安新拓三维光测科技有限公司 一种基于散斑图案的单目测量系统标定方法及装置
CN107481290A (zh) * 2017-07-31 2017-12-15 天津大学 基于三坐标测量机的相机高精度标定及畸变补偿方法
CN110207614A (zh) * 2019-05-28 2019-09-06 南京理工大学 一种基于双远心相机匹配的高分辨高精度测量系统及方法

Also Published As

Publication number Publication date
CN111899304A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN109598762B (zh) 一种高精度双目相机标定方法
Jia et al. Improved camera calibration method based on perpendicularity compensation for binocular stereo vision measurement system
Li et al. An accurate calibration method for a camera with telecentric lenses
Xie et al. Pixels and 3-D points alignment method for the fusion of camera and LiDAR data
CN110969668A (zh) 一种长焦双目相机的立体标定算法
CN110209997A (zh) 基于三维特征点的深度相机自动标定算法
Huang et al. A fast and flexible projector-camera calibration system
Chatterjee et al. Algorithms for coplanar camera calibration
CN102156969A (zh) 图像纠偏处理方法
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN113920205B (zh) 一种非同轴相机的标定方法
Larsson et al. Revisiting radial distortion absolute pose
CN112150561A (zh) 一种多相机标定方法
CN113920206A (zh) 透视移轴相机的标定方法
CN111899304B (zh) 远心光路畸变中心定位方法
CN105787464A (zh) 一种大量图片在三维场景中的视点标定方法
CN105488535B (zh) 一种三维点云匹配方法
CN112489141B (zh) 车载摄像头单板单图带中继镜的产线标定方法及装置
Huang et al. High-precision calibration of wide-angle fisheye lens with radial distortion projection ellipse constraint (RDPEC)
CN110458951B (zh) 一种电网杆塔的建模数据获取方法及相关装置
CN111968182A (zh) 一种双目相机非线性模型参数的标定方法
Sun et al. A new method of camera calibration based on the segmentation model
CN109102545A (zh) 一种基于非度量的畸变校正方法
CN113781581A (zh) 基于靶标松姿态约束的景深畸变模型标定方法
CN114511640A (zh) 一种利用地图进行相机标定的方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221124

Address after: Floor 4, Unit 2, Building B4, Science and Technology Complex, No. 8, Jialing Jiangdong Street, Jianye District, Nanjing City, Jiangsu Province, 210000

Patentee after: Hypervision (Nanjing) Optoelectronic Technology Co.,Ltd.

Address before: 4 / F, unit 2, building B4, science and technology complex, No. 8, Jialing Jiangdong Street, Jianye District, Nanjing City, Jiangsu Province 210000

Patentee before: Nanjing University of technology intelligent computing Imaging Research Institute Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230330

Address after: 4 / F, unit 2, building B4, science and technology complex, No. 8, Jialing Jiangdong Street, Jianye District, Nanjing City, Jiangsu Province 210000

Patentee after: Nanjing University of technology intelligent computing Imaging Research Institute Co.,Ltd.

Address before: Floor 4, Unit 2, Building B4, Science and Technology Complex, No. 8, Jialing Jiangdong Street, Jianye District, Nanjing City, Jiangsu Province, 210000

Patentee before: Hypervision (Nanjing) Optoelectronic Technology Co.,Ltd.

TR01 Transfer of patent right