CN114862717B - 主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法 - Google Patents
主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法 Download PDFInfo
- Publication number
- CN114862717B CN114862717B CN202210515856.7A CN202210515856A CN114862717B CN 114862717 B CN114862717 B CN 114862717B CN 202210515856 A CN202210515856 A CN 202210515856A CN 114862717 B CN114862717 B CN 114862717B
- Authority
- CN
- China
- Prior art keywords
- image
- stereopair
- fisheye
- distortion
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 238000012937 correction Methods 0.000 claims abstract description 6
- 239000004973 liquid crystal related substance Substances 0.000 claims description 12
- 241000251468 Actinopterygii Species 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 206010029897 Obsessive thoughts Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法，实施步骤如下：1.对鱼眼立体像对设置两个约束；2.改正鱼眼立体像对，使其满足所提出的两个约束，即是将立体像对的左片作为基准，求出右片相对于左片的相对方位元素并对右片进行改正；3.根据等距投影和透视投影函数的关系，结合成像几何原理，推导出物点经等距投影和透视投影成像的像点坐标之间的关系，通过这一关系，将透视投影情况下的几何特点变换到等距投影中；4.推导出物方点和鱼眼立体像对同名像点之间的关系，引入畸变模型，得到主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校模型。本发明方法相较于单张鱼眼检校方法，能提高鱼眼相机参数的求解精度。
Description
技术领域
本发明涉及摄影测量技术领域，特别是涉及鱼眼相机检校的方法，适用于鱼眼相机高精度摄影测量工作。
背景技术
随着人类社会的快速发展，摄影测量在社会经济建设中起到举足轻重的作用，摄影测量技术也随着科技的进步发展得越来越快。摄影测量的发展方向主要围绕传感器制作技术的更新、搭载平台的更新等。从最初进行建筑物测量的近景摄影测量技术发展到航空摄影测量技术再发展到航天摄影测量技术，摄影测量具有巨大的发展潜力。然而纵观摄影测量长达一百多年发展过程，所有的理论基础(如共线方程、光束法平差、微分正射纠正等)都是基于透视(中心)投影的，而且所用于摄影测量的相机都是传统光学相机(如框幅相机等)，针对这些相机获取的影像的摄影测量处理相对比较成熟。但是，这种类型的相机都是从视觉角度来设计的，观察范围一般限制在40°-50°之间，如果想要获得周围环境的全部信息，就必须进行多角度的多次拍摄，这无疑增加了工作量。所以，发展一种可以一次性获得周围环境的全部信息的摄像机是非常有必要的。
为此，国际上提出了“全景视觉”的概念，也就是说，一次性获得全景或半全景的大视场信息。近年来，国际上对这种类型的相机(如180°鱼眼相机)研究很热门，并逐步应用在各个领域，如全景监控、公共安防、管道探测、辅助驾驶、现场检测、车载巡检、飞行器制导和虚拟现实等。现有的鱼眼相机检校方法大致可分为三类：
(1)基于成像几何的鱼眼相机检校方法(如：Schneider D,Schwalbe E,Maas H G(2009).Validation of geometric models for fisheye lenses.ISPRS Journal ofPhotogrammetry and Remote Sensing,64(3):259～266.)。尽管这类方法可以建立空间点和成像点之间的关系，但这些模型没有加入一些几何约束，检校精度较低。
(2)基于几何约束的鱼眼相机检校方法(如：Zhu H,Yang J,Liu Z(2009).Fisheyecamera calibration with two pairs of vanishing points.Information Technologyand Computer Science,01:321～324.)。虽然这类方法有效地利用了物方空间中的几何信息且操作比较简单，但是没有建立物方点坐标与图像坐标之间的关系，不利于进一步进行摄影测量工作。
(3)基于投影模型的鱼眼相机检校方法(如：Urquhart B,Kurtz B,Kleissl J(2016).Sky camera geometric calibration using solar observations.AtmosphericMeasurement Techniques.9(9):4279～4294.)。这类方法通过鱼眼相机的投影模型函数进行拟合而完成检校，但是鱼眼相机的畸变参数和内参数通常需要分两步来求解。另外，相机内参数的单独求解甚至需要用到一些昂贵的硬件设备，在增加了鱼眼相机检校步骤的同时也增加了检校的成本。
针对以上三种鱼眼相机检校方法的局限性，本发明公开了主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法。
发明内容
本发明公开了主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法。为了达到上述的目的，本发明采用如下技术方案，包括如下步骤。
步骤1，提出两个鱼眼立体像对的约束：鱼眼立体像对左相机和右相机的主光轴与核线正交和鱼眼立体像对左片和右片的图像坐标系横轴在同一直线上。
设置两个几何约束的目的是可以更方便地推导出检校模型。其原理是根据这两个几何约束所提供的透视投影下的同名像点的特殊性，即同名像点的图像坐标的纵坐标相等。
步骤2，对实验需要的鱼眼立体像对进行改正，使其满足所提出的约束1和约束2，所用的方法是将立体像对的左片作为基准，求出右片相对于左片的相对方位元素，并用相对方位元素对右片进行改正。
步骤3，分析等距投影和透视投影函数之间的关系，建立同一物方点分别经过等距投影和透视投影后像点之间的关系。
根据这个关系，将两个几何约束所提供的特殊性，转换到等距投影的鱼眼立体像对同名像点中。
步骤4，在附加两个几何约束的鱼眼相机立体像对下，根据几何关系，推导出鱼眼立体像对同名像点坐标与物方三维点坐标之间的数学关系，加入畸变模型对鱼眼同名像点进行畸变改正，结合同名像点与物方三维点之间的约束式，建立主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法。
附图说明
图1是本发明流程图
图2是本发明主光轴与核线正交约束示意图
图3是本发明主光轴与核线正交和横轴共线同时约束的鱼眼相机像对成像图
图4是本发明鱼眼立体像对改正原理图
图5是本发明的鱼眼相机光学畸变示意图
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，结合附图对本发明具体实施作进一步详细说明。
步骤1，提出两个鱼眼立体像对的约束：鱼眼立体像对左相机和右相机的主光轴与核线正交和鱼眼立体像对左片和右片的图像坐标系横轴在同一直线上。
具体原理如下所述：
几何约束1：首先对鱼眼立体像对附加主光轴与核线正交的约束：即立体像对左相机和右相机的主光轴均与核线正交。由于拍摄左片和右片所用的鱼眼相机的规格和参数是相同的，所以主光轴与核线正交的约束可以满足左相机和右相机的成像面在同一个平面上，如图2所示。
如果只限制这一个约束条件，并不能方便地推导出鱼眼相机检校模型，所以需要进一步探索鱼眼立体像对的约束条件，从而本发明提出了鱼眼立体像对的第二个约束条件。
几何约束2：顾名思义，图像坐标系的横轴共线约束是鱼眼立体像对左片和右片的图像坐标系横轴在一条直线上。将约束1与约束2同时对鱼眼立体像对进行约束，得到主光轴与核线正交和横轴共线同时约束的鱼眼相机像对成像图，如图3所示。
步骤2，对实验需要的鱼眼立体像对进行改正，使其满足所提出的约束1和约束2，所用的方法是将立体像对的左片作为基准，求出右片相对于左片的相对方位元素，并用相对方位元素对右片进行改正。具体原理如下所述：
将鱼眼立体像对中的左片作为基准，求解右片相对于左片的相对方位元素，然后用所求出的相对方位元素将右片旋转到与左片在同一水平面上，并且将右片平移使其像平面坐标系横轴与左片的像平面坐标系横轴在同一直线上，如图4所示。
满足约束1和约束2的核线为BX，而实际的核线为B；
为了更方便地对鱼眼立体像对进行改正，在右片中建立了一个与左片摄像机坐标系OS1-XSYSZS平行的像空间辅助坐标系OS2-X'SY'SZ'S。如图4，满足约束1和约束2的右片坐标系实际上为OS2-X'SY'SZ'S，而实际的摄像机坐标系平行于绿色坐标系，而实际坐标系与坐标系OS2-X'SY'SZ'S的X'S轴的夹角为
与Y'S轴的夹角为ω，与Z'S轴的夹角为κ；而满足约束1和约束2的核线为BX，实际上的核线为B，B到BX需要经过BY和BZ的平移。所以改正鱼眼立体像对使其满足约束1和约束2需要求解的5个相对方位元素为/>
立体像对同名光线对对相交，表明同名光线OS1a，O'S2a1及摄影基线B位于同一平面内，3个矢量共面条件是3个矢量的混合积为0，即
用坐标表示,且令
其中，(BX,BY,BZ)为右片摄影中心O'S2点在左像片摄像机坐标系OS1-XSYSZS中的坐标；(X1,Y1,Z1)为左片上像点a在坐标系OS1-XSYSZS中的坐标；(X2,Y2,Z2)为右片上像点a1在坐标系OS2-X'SY'SZ'S中的坐标。
(X1,Y1,Z1)和(X2,Y2,Z2)可由下式求得
其中，(xa,ya)为物点Q经过等距投影后在鱼眼立体像对左片的成像点在左像平面坐标系Oxy-xy中的坐标；(xa1,ya1)为物点Q经过透视投影后在鱼眼立体像对右片的成像点a1在右像平面坐标系Oxy-xy中的坐标；R为右像片相对于像空间辅助坐标系OS2-X'SY'SZ'S的旋转矩阵，而且是3个相对角元素
ω,κ的函数。
实际上，角μ和角ν非常小，所以tanμ≈μ，cosμ≈1。根据三角函数关系可以推出
BY＝BXtanμ≈BXμ
那么，(2)式可以写为
(5)式为主光轴与核线正交和横轴共线同时约束的鱼眼相机像对改正模型。求解(5)式，可解出5个相对方位元素μ,ν,
ω,κ，用于鱼眼立体像对的右片改正。
步骤3，分析等距投影和透视投影函数之间的关系，建立同一物方点分别经过等距投影和透视投影后像点之间的关系。
为了更方便的推导鱼眼相机像对检校模型，首先建立以下坐标系，如图3假设：
(1)(xa,ya)为Q点在左图像平面坐标系Oxy–x y中透视投影图像点a的坐标；
(2)(xaf,yaf)为Q点在左图像平面坐标系Oxy–x y中等距投影图像点af的坐标；
(3)(xb,yb)为Q点在右图像平面坐标系Oxy–x y中透视投影图像点b的坐标；
(4)(xbf,ybf)为Q点在右图像平面坐标系Oxy–x y中等距投影图像点bf的坐标；
(5)(x,y)为任意点在左图像平面坐标系Oxy–x y中等距投影图像点的坐标；
(6)(x2,y2)为任意点在右图像平面坐标系Oxy–x y中等距投影图像点的坐标；
(7)(XSQ,YSQ,ZSQ)为Q点在原点为OS1的左相机坐标系OS1–XSYSZS中的坐标。
如图3，物方点Q通过透视投影在左片和右片的成像分别为点a和点b，根据透视投影的性质结合约束1和约束2，点a和点b的连线平行于鱼眼立体像对左片和右片共线的图像坐标系横轴，用数学式表达为:
ya＝yb (6)
物方点Q通过等距投影在左片和右片的成像点分别为点af和点bf，由于鱼眼相机的投影过程是非线性的，所以不能确定点af和点bf的y轴坐标是否相等，所以为了能有效利用到约束1和约束2进行检校，就需要找到点ya和yaf，点yb和ybf之间的关系，然后通过ya＝yb的关系得到yaf与ybf之间的关系。问题可以转化为推导出点a(xa,ya)和点af(xaf,yaf)，点b(xb,yb)和点bf(xbf,ybf)的关系即等距投影和透视投影图像点的转换关系。
根据图3中的几何信息，可以直接推导出等距投影和透视投影图像点的转换关系，从相似三角形(如图3)可以得到透视投影图像点a鱼眼图像点af，透视投影图像点b与鱼眼图像点bf的关系：
在左图像中
其中，
在右图像中
(7)式和(8)式为鱼眼立体像对同名像点与透视投影立体像对同名像点的数学关系。然后，鱼眼图像上的每个图像点可以唯一地确定透视投影图像上一个对应图像点。如图3所示，鱼眼图像点af和bf分别对应于透视投影图像点a和b，并且af和a，bf和b可以互相关转换，所以可以充分利用到ya＝yb的约束条件。在此基础上，可以进一步推导出鱼眼立体像对同名像点坐标与物方点三维坐标之间的数学关系，从而推导出主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校模型。
步骤4，在附加两个几何约束的鱼眼相机立体像对下，根据几何关系，推导出鱼眼立体像对同名像点坐标与物方三维点坐标之间的数学关系，加入畸变模型对鱼眼同名像点进行畸变改正，结合同名像点与物方三维点之间的约束式，建立主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校模型。
主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校模型的基本思想是通过利用透视投影图像立体像对同名像点坐标和物方点三维坐标之间的数学关系，推导出等距投影图像立体像对同名像点坐标和物方三维坐标之间的数学关系。
如图3，根据相似三角形，可以得到以下关系：
和
立体像对左片和右片的图像点坐标均是各自的图像坐标系下的坐标，根据约束1和约束2以及三角形Q-a-b与三角形Q-Os1-Os2的相似关系，可以得到下式
将(10)式代入(11)式，得到
将(12)式代入(9)式，得到
将(13)式进一步化简，得到
如图3，从Q作辅助线QM垂直于B，那么B＝Os1M+MOs2＝B1+B2，且B1＝XQ，根据三角函数公式
其中，θ1是入射光线Q-OS1-a的入射角，θ2是入射光线Q-OS2-b的入射角。r2为物方点Q在右鱼眼图像中成像的像点到像主点的距离。
因此，(14)式为
其中，
将(7)式和(8)式代入(16)式得到相机坐标系中的物方点Q坐标和鱼眼立体像对同名像点af和bf坐标之间的数学关系
扩展到在相机坐标系中任意物方点和任意鱼眼立体像对同名像点坐标之间的关系为
相机的制作不可避免地存在误差，这种误差称为相机的光学畸变，光学畸变导致的畸变现象为图像上的实际像点坐标和理论坐标产生偏移，而鱼眼相机也存在与传统光学相机相同的光学畸变现象，如图5所示。
光学畸变包括径向畸变、偏心畸变和薄棱镜畸变。假设(x,y)是鱼眼像点坐标，(x0,y0)是畸变中心在像平面坐标系中的坐标，
是鱼眼图像点到像主点的距离，称为向径。
径向畸变一般是由于相机的实际形状和理想形状之间的偏差所造成的,即图像点沿径向方向偏离其理想点所产生的畸变差。径向畸变会导致图像产生枕形畸变现象或者桶形畸变现象，是三类畸变中影响最大的变形。
径向畸变模型：
其中，k1,k2,k3是径向畸变参数，(Δ(x-x0)r,Δ(y-y0)r)是像点的径向畸变差。
产生偏心畸变的原因主要有两种，第一种是由于鱼眼镜头是由多组透镜组合而成的，在透镜组合的过程中，难免存在组合误差，即透镜的中心不在一条轴上，从而产生偏心畸变。第二种原因是镜头由透镜组合完成之后，成像平面的中心与镜头主光轴在图像上的投影不重合，这也是导致偏心畸变存在的一个重要原因。
偏心畸变模型：
其中，p1,p2是偏心畸变参数，(Δ(x-x0)t,Δ(y-y0)t)是偏心畸变。
总光学畸变(Δ(x-x0)s,Δ(y-y0)s)可以用下式表示
最后，将总光学畸变(21)式加入(18)式对像点坐标进行改正，得到主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校模型
其中，
XQ＝a1(XW-X0)+b1(YW-Y0)+c1(ZW-Z0)
YQ＝a2(XW-X0)+b2(YW-Y0)+c2(ZW-Z0)
ZQ＝a3(XW-X0)+b2(YW-Y0)+c3(ZW-Z0).
a1,a2,a3,b1,b2,b3,c1,c2,c3是旋转矩阵中的9个元素,(X0,Y0,Z0)是鱼眼相机摄影中心在世界坐标系OW–XWYWZW中的坐标。
在(22)式中有20个未知数，包括内外方向的元素和鱼眼相机的畸变参数。N对鱼眼立体像对同名像点可以列出2N个方程，至少需要10对鱼眼立体像对同名像点，基于最小二乘法可以求出所有鱼眼相机参数。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变形。因此，所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
本发明未详尽描述的技术内容均为公知技术。
Claims (5)
1.主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法，其特征在于包括以下步骤：
步骤1，对鱼眼相机立体像对设置两个几何约束即约束1：鱼眼立体像对左右相机主光轴与核线正交和约束2：鱼眼立体像对的左片和右片的像平面坐标系的横轴在同一直线上；
步骤2，对所获取的鱼眼立体像对进行改正，使其满足所提出的约束1和约束2，所用的方法是将立体像对的左片作为基准，求出右片相对于左片的相对方位元素然后对右片进行改正，从而使鱼眼立体像对满足约束1和约束2；
用所求出的相对方位元素将右片旋转到与左片在同一水平面上，并且将右片平移使其像平面坐标系横轴与左片的像平面坐标系横轴在同一直线上，
立体像对同名光线对对相交，表明同名光线OS1a，O'S2a1及摄影基线B位于同一平面内，3个矢量共面条件是3个矢量的混合积为0，即
B×(OS1a×O'S2a1) (2)
用坐标表示,且令
其中，(BX,BY,BZ)为右片摄影中心O'S2点在左像片摄像机坐标系OS1-XSYSZS中的坐标；(X1,Y1,Z1)为左片上像点a在坐标系OS1-XSYSZS中的坐标；(X2,Y2,Z2)为右片上像点a1在坐标系OS2-X'SYS'Z'S中的坐标；
(X1,Y1,Z1)和(X2,Y2,Z2)可由下式求得
其中，(xa,ya)为物点Q经过透视投影后在立体像对左片的成像点在左像平面坐标系Oxy-xy中的坐标；(xa1,ya1)为物点Q经过透视投影后在立体像对右片的成像点a1在右像平面坐标系Oxy-xy中的坐标；R为右像片相对于像空间辅助坐标系OS2-X'SYS'Z'S的旋转矩阵，而且是3个相对角元素
ω,κ的函数；
实际上，角μ和角ν非常小，所以tanμ≈μ，cosμ≈1，根据三角函数关系可以推出
那么，(3)式可以写为
(6)式为主光轴与核线正交和横轴共线同时约束的鱼眼相机像对改正模型，基于最小二乘法求解(6)式，可解出5个相对方位元素μ,ν,
ω,κ，用于鱼眼立体像对的右片改正；
步骤3，分析等距投影和透视投影函数之间的关系，建立同一物方点分别经过等距投影和透视投影后像点之间的关系；
从相似三角形等比关系可以得到透视投影图像点a鱼眼图像点af的关系式
其中，
同理，可以得到右图像中透视投影图像点b鱼眼图像点bf的关系式
步骤4，在附加两个几何约束的鱼眼相机立体像对下，根据几何关系，推导出鱼眼立体像对同名像点坐标与物方三维点坐标之间的数学关系，加入畸变模型对鱼眼同名像点进行畸变改正，结合同名像点与物方三维点之间的约束式，建立主光轴核线正交-横轴共线约束的鱼眼相机检校模型；
根据相似三角形，可以得到以下关系：
和
立体像对左片和右片的图像点坐标均是各自的图像坐标系下的坐标，根据约束1和约束2以及三角形Qab与三角形QOs1Os2的相似三角形等比关系，可以得到下式
将(10)式代入(11)式，得到
将(12)式代入(9)式，得到
将(13)式进一步化简，得到
从Q作辅助线QM垂直于B，那么B＝Os1M+MOs2＝B1+B2，且B1＝XQ，根据三角函数公式
其中，θ1是入射光线Q-OS1-a的入射角，θ2是入射光线Q-OS2-b的入射角，r2为物方点Q在右鱼眼图像中成像的像点到像主点的距离；
因此，(14)式为
其中，
将(7)式和(8)式代入(16)式得到相机坐标系中的物方点Q坐标和鱼眼立体像对同名像点af和bf坐标之间的数学关系
扩展到在相机坐标系中任意物方点和任意鱼眼立体像对同名像点坐标之间的关系为
相机的制作不可避免地存在误差，这种误差称为相机的光学畸变，光学畸变导致的畸变现象为图像上的实际像点坐标和理论坐标产生偏移，而鱼眼相机也存在与传统光学相机相同的光学畸变现象；
光学畸变包括径向畸变、偏心畸变，假设(x,y)是鱼眼像点坐标，(x0,y0)是畸变中心在像平面坐标系中的坐标，
是鱼眼图像点到像主点的距离，称为向径；
径向畸变一般是由于相机的实际形状和理想形状之间的偏差所造成的,即图像点沿径向方向偏离其理想点所产生的畸变差；径向畸变会导致图像产生枕形畸变现象或者桶形畸变现象，是三类畸变中影响最大的变形；
径向畸变模型：
其中，k1,k2,k3是径向畸变参数，(Δ(x-x0)r,Δ(y-y0)r)是像点的径向畸变差；
产生偏心畸变的原因主要有两种，第一种是由于鱼眼镜头是由多组透镜组合而成的，在透镜组合的过程中，难免存在组合误差，即透镜的中心不在一条轴上，从而产生偏心畸变；第二种原因是镜头由透镜组合完成之后，成像平面的中心与镜头主光轴在图像上的投影不重合，这也是导致偏心畸变存在的一个重要原因；
偏心畸变模型：
其中，p1,p2是偏心畸变参数，(Δ(x-x0)t,Δ(y-y0)t)是偏心畸变；
总光学畸变(Δ(x-x0)s,Δ(y-y0)s)可以用下式表示
最后，将总光学畸变(21)式加入(18)式对像点坐标进行改正，得到主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校模型
其中，
XQ＝a1(XW-X0)+b1(YW-Y0)+c1(ZW-Z0)
YQ＝a2(XW-X0)+b2(YW-Y0)+c2(ZW-Z0)
ZQ＝a3(XW-X0)+b2(YW-Y0)+c3(ZW-Z0).
a1,a2,a3,b1,b2,b3,c1,c2,c3是旋转矩阵中的9个元素,(X0,Y0,Z0)是鱼眼相机摄影中心在世界坐标系OW–XWYWZW中的坐标。
2.根据权利要求1所述的主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法，其特征在于：所述步骤1中，通过对鱼眼立体像对设置约束1后，鱼眼立体像对的左片和右片在同一平面上；在约束1的基础上，对鱼眼立体像对加入约束2，此时鱼眼立体像对满足左片和右片在同一平面上且横轴共线。
3.根据权利要求1所述的主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法，其特征在于：所述步骤2中，由于人为因素和设备因素等造成拍摄的鱼眼立体像对不满足约束1和约束2，即鱼眼立体像对中的两张鱼眼图像不在一个平面上，还有两张图像的像平面坐标系横轴不在一条直线上，它们可以直接影响检校的精度，所以应该对鱼眼立体像对做预处理，使其满足约束1和约束2。
4.根据权利要求1所述的主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法，其特征在于：所述步骤3是通过等距投影模型与透视投影模型函数关系，得到任一鱼眼图像点和透视投影图像点之间的坐标关系式。
5.根据权利要求1所述的主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法，其特征在于：所述步骤4中，通过透视投影且附加约束1和约束2的立体像对具有特殊性即左右片的图像点纵坐标相等，将这一特殊性结合步骤2转换到鱼眼立体像对中；最后根据几何关系，推导出鱼眼立体像对同名像点坐标与物方三维点坐标之间的数学关系，并加入畸变模型，得到主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210515856.7A CN114862717B (zh) | 2022-05-11 | 2022-05-11 | 主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210515856.7A CN114862717B (zh) | 2022-05-11 | 2022-05-11 | 主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114862717A CN114862717A (zh) | 2022-08-05 |
| CN114862717B true CN114862717B (zh) | 2023-06-23 |
Family
ID=82636794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210515856.7A Active CN114862717B (zh) | 2022-05-11 | 2022-05-11 | 主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114862717B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577002A (zh) * | 2009-06-16 | 2009-11-11 | 天津理工大学 | 应用于目标检测的鱼眼镜头成像系统标定方法 |
| CN110285827A (zh) * | 2019-04-28 | 2019-09-27 | 武汉大学 | 一种距离约束的摄影测量高精度目标定位方法 |
| CN113628276A (zh) * | 2020-05-07 | 2021-11-09 | 英特尔公司 | 经由深度学习的单图像超广角鱼眼相机校准 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3167430A4 (en) * | 2014-11-04 | 2017-08-16 | SZ DJI Technology Co., Ltd. | Camera calibration |
| CN104778656B (zh) * | 2015-04-22 | 2018-02-06 | 江苏物联网研究发展中心 | 基于球面透视投影的鱼眼图像校正方法 |
| JP6702796B2 (ja) * | 2016-05-16 | 2020-06-03 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
| CN113920201A (zh) * | 2021-07-01 | 2022-01-11 | 桂林理工大学 | 极线几何约束的鱼眼相机标定方法 |
| CN113947638B (zh) * | 2021-10-04 | 2023-05-05 | 桂林理工大学 | 鱼眼相机影像正射纠正方法 |
| CN114299153A (zh) * | 2021-11-15 | 2022-04-08 | 华能国际电力股份有限公司上海石洞口第二电厂 | 一种超大电力设备的相机阵列同步标定方法及系统 |
-
2022
- 2022-05-11 CN CN202210515856.7A patent/CN114862717B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577002A (zh) * | 2009-06-16 | 2009-11-11 | 天津理工大学 | 应用于目标检测的鱼眼镜头成像系统标定方法 |
| CN110285827A (zh) * | 2019-04-28 | 2019-09-27 | 武汉大学 | 一种距离约束的摄影测量高精度目标定位方法 |
| CN113628276A (zh) * | 2020-05-07 | 2021-11-09 | 英特尔公司 | 经由深度学习的单图像超广角鱼眼相机校准 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114862717A (zh) | 2022-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921901B (zh) | 一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法 | |
| CN101581569B (zh) | 双目视觉传感系统结构参数的标定方法 | |
| CN101858755B (zh) | 一种星敏感器的标定方法 | |
| CN110057295B (zh) | 一种免像控的单目视觉平面距离测量方法 | |
| CN102364299B (zh) | 一种多个结构光投影三维型面测量头的标定技术 | |
| EP1378790B1 (en) | Method and device for correcting lens aberrations in a stereo camera system with zoom | |
| CN111896221B (zh) | 虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法 | |
| CN108288291A (zh) | 基于单点标定物的多相机标定 | |
| CN105424058B (zh) | 基于摄影测量技术的数码相机投影中心位置精确标定方法 | |
| CN108429908B (zh) | 一种摄像模组的测试方法、装置、设备及介质 | |
| CN110398208A (zh) | 基于摄影全站仪系统的大数据变形监测方法 | |
| JP2007322170A (ja) | 空中写真測量方法 | |
| CN111879354A (zh) | 一种无人机精细化测量系统 | |
| Feng et al. | Inertial measurement unit aided extrinsic parameters calibration for stereo vision systems | |
| CN114705122A (zh) | 一种大视场立体视觉标定方法 | |
| CN101655378A (zh) | 一种数字摄影测量相机的内方位参数测量方法 | |
| CN106289317B (zh) | 一种单镜头数字航测相机的单机检校方法及装置 | |
| CN108447100B (zh) | 一种机载三线阵ccd相机的偏心矢量和视轴偏心角标定方法 | |
| CN113947638A (zh) | 鱼眼相机影像正射纠正方法 | |
| CN108955642B (zh) | 一种大幅面等效中心投影影像无缝拼接方法 | |
| CN111504320B (zh) | 基于严格几何成像模型的带摆镜光学遥感卫星定位方法 | |
| CN111754584A (zh) | 一种远距离大视场相机参数标定系统和方法 | |
| CN114862717B (zh) | 主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法 | |
| CN106403906A (zh) | 一种提高多全景相机合成影像摄像测量精度的方法 | |
| CN209877942U (zh) | 像距测量仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |