CN113947638A - 鱼眼相机影像正射纠正方法 - Google Patents

鱼眼相机影像正射纠正方法 Download PDF

Info

Publication number
CN113947638A
CN113947638A CN202111167364.5A CN202111167364A CN113947638A CN 113947638 A CN113947638 A CN 113947638A CN 202111167364 A CN202111167364 A CN 202111167364A CN 113947638 A CN113947638 A CN 113947638A
Authority
CN
China
Prior art keywords
image
fisheye
fisheye camera
model
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111167364.5A
Other languages
English (en)
Other versions
CN113947638B (zh
Inventor
周国清
宋汝昊
谢永繁
王庆阳
罗梦沅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Technology
Original Assignee
Guilin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Technology filed Critical Guilin University of Technology
Priority to CN202111167364.5A priority Critical patent/CN113947638B/zh
Publication of CN113947638A publication Critical patent/CN113947638A/zh
Application granted granted Critical
Publication of CN113947638B publication Critical patent/CN113947638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

本发明公开了鱼眼相机影像正射纠正方法，实施步骤如下：首先建立室内三维标定场，建立自由坐标系并测量人工标识点三维空间坐标，获取原始鱼眼影像。计算像主点及相机焦距初值，结合球面透视模型对原始影像进行坐标变换，去除球形畸变。然后构建鱼眼相机光学畸变模型，将其引入直接线性变换(DLT)模型，获得鱼眼相机光学畸变模型，求解光学畸变系数及原始影像内外方位元素。最后，由共线条件式出发，采用间接法数字微分纠正对去除球形畸变的透视影像进行正射纠正，获得标定场正射影像。本发明方法能将原始鱼眼相机影像进行正射纠正，解决了鱼眼相机影像严重的畸变问题，在空间狭窄区域，采用鱼眼相机可以快速获取大比例尺正射影像。

Description

鱼眼相机影像正射纠正方法
技术领域
本发明涉及计算机图形处理领域及摄影测量领域，特别是涉及鱼眼图像畸变校正、鱼眼相机标定和正射纠正三个方面。
背景技术
鱼眼镜头相机视角广阔，一次拍摄获取的影像包含更多的空间信息。因此，近年来，国际上对于鱼眼相机的研究越来越热门，被逐步应用在机器人导航、星球探索、全景监控、公共安防、管道探测、辅助驾驶、现场检测、车载巡检和虚拟现实等领域。但由于鱼眼镜头焦距短，结构复杂，鱼眼图像存在严重的畸变，不符合中心投影，更不能满足精确的测量需要。因此，如果不对这些畸变进行校正，将无法有效利用鱼眼影像。
目前，国内外各个领域的研究人员针对鱼眼相机的检校和鱼眼影像的纠正进行了广泛的研究。现有的鱼眼相机标定模型大致分为基于相机模型的相机标定、基于成像几何的鱼眼相机标定和基于单视图几何约束的鱼眼相机标定。而鱼眼图像的畸变校正方法主要分为基于标定的校正方法和基于投影变换模型的校正方法。其中，基于投影变换模型的校正方法一般采用柱面模型、球面透视投影模型、经纬度模型、双精度模型等。
在众多学者的努力下，鱼眼相机标定方法及鱼眼相机影像纠正方法已经有大量的理论资料。然而这些研究仅仅是将鱼眼相机影像进行标定以及纠正，没有将其进一步校正为正射影像。鱼眼相机影像的应用从定性走向定量是一种趋势，与鱼眼相机相关的研究内容也会越来越受到人们的重视。针对这些问题，本发明公开了鱼眼相机影像正射纠正方法。
发明内容
本发明公开了一种鱼眼相机正射纠正方法，以解决目前鱼眼相机影像存在严重畸变，不能满足精确的测量需要这一问题。
为了达到上述的目的，本发明采用如下具体技术方案予以实现：
步骤S1，建立鱼眼相机室内三维标定场，首先构建自由坐标系，对标定场中布设的人工标志点进行，获取标志点三维坐标，然后使用鱼眼相机对室内三维标定场进行摄影，获取原始鱼眼相机影像。
步骤S2，结合球面透视投影模型结合鱼眼相机等距投影模型对原始鱼眼相机影像进行几何纠正，去除鱼眼影像球形畸变。
像主点及鱼眼相机焦距初始值确定方法：本发明首先对原始鱼眼相机影像进行二值化处理，对其行边缘检测，提取边缘部分点的坐标。根据二次曲线一般方程计算鱼眼影像像主点坐标。利用光学原理，可计算出焦距的初始值。
利用球面透视投影模型进行鱼眼影像几何纠正时，直接纠正会造成影像的像素重叠或像素空白，为避免该问题，本发明从虚拟透视影像出发，反推当前像素在鱼眼影像上的位置，获取基于球面透视投影模型的透视影像结果。
步骤S3，构建鱼眼相机光学畸变模型，将其引入直接线性变换(DLT)模型，解算鱼眼相机内、外参数以及镜头畸变系数。
本发明认为鱼眼相机影像畸变主要分为球形畸变以及鱼眼镜头光学畸变。步骤S2中通过球面透视投影去除鱼眼影像球形畸变之后，透视影像中依然存在光学畸变，因此要将光学畸变模型引入DLT模型，构建鱼眼相机检校模型，以求解鱼眼影像内、外方位元素以及光学畸变系数。
在求解鱼眼相机检校模型时，像主点及鱼眼相机焦距初始值已经确定，因此利用GCP三维坐标以及原始鱼眼影像平面坐标进行求解，获得内外参数及镜头畸变系数。
步骤S4，根据本发明提出的鱼眼相机正射纠正模型进行鱼眼相机影像正射纠正。
附图说明
图1是本发明流程图
图2是本发明室内三维标定场
图3是本发明鱼眼相机球面透视投影原理图
图4是本发明鱼眼相机光学畸变示意图
图5是本发明室内标定场的鱼眼影像
图6是本发明去除球形畸变后的透视图像
图7是本发明标定场正射影像
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例附图对本发明的具体实施细节作进一步说明。
本发明提出的鱼眼相机影像正射纠正方法具体步骤见总体设计图(图1)。
步骤1，建立室内三维标定场并获取原始鱼眼影像。
结合图2说明建立室内三维标定场。标定场长6.5m，宽1.5m，高4.0m，共有30根钢柱，每根钢柱上均匀布设10个地面控制点(以下简称为GCP)，钢柱分布结构为均匀分布的前后三层，相邻两层钢柱相距0.75m，同时，标定场下方布设有铟钢尺，作为测量时的标准尺，背景墙为白色，光照条件良好，能够以不同的高度、不同的角度进行多角度拍摄，如图2(a)。为了尽可能地观测到所有GCP，分别在标定场左前方4.8m处和右前方3.2m处设置两个高度为1.15m的实心测站台，作为测站点。GCP人工标志选用40mm×40mm的白色方形反光贴纸，中心为直径40毫米的黑白相间的圆形，中心采用精密十字丝，GCP人工标志中心十字丝刻画线宽为0.5mm，如图2(c)，不仅便于精密观测，其图形也有利于数码相片GCP人工标志中心的提取。用强力胶将GCP人工标志固定在金属杆上，保持GCP人工标志相对位置长期稳定。
结合图2建立自由坐标系，以铟钢尺上O1点作为自由坐标系原点，采用右手坐标系，如图2(a)。利用后方交会的方法确定2个测站点A、B的平面坐标，在铟钢尺上均匀选择4个点。将两台尼康CX-102全站仪分别架于A、B两测站点，分别测量铟钢尺上的其中三点的水平角以及竖直角，另一点作为多余观测值进行平差，测量8个测回，基于后方交会计算公式以及三角高程计算公式计算得到测站点三维坐标。在标定场的三层钢架上均匀选取若干个GCP，以及检查点(CP)，进行鱼眼相机标定实验。用相同的仪器在A、B两测站点，分别测GCP的水平角以及竖直角，测回数为4。利用前方交会和三角高程测量公式计算得到GCP和CP的三维坐标。
完成室内标定场的建立后，采用佳能70D单反相机，搭配佳能EF 8-15mm f/4L USM鱼眼镜头对标定场拍摄，获取原始鱼眼影像。
步骤2，对原始鱼眼影像进行几何纠正,去除鱼眼影像球形畸变，具体实施方式如下：
根据相似成像原理，普通光学镜头像高公式为
Figure BDA0003291908880000043
鱼眼相机等距投影模型
Figure BDA0003291908880000044
式中，r为理想像高，
Figure BDA0003291908880000045
为入射光线的入射角，f为镜头焦距。
结合图3说明球面透视投影模型建立鱼眼相机影像点与理想透视影像点的一一对应关系。P为空间任意一点，p″为点P在鱼眼影像上的投影，坐标为(u,v)。在Z＝R的平面处有一虚拟像平面M，去除球形畸变的影像是由透视投影原理得出的，也就是平面M上的成像。OP连线与平面M交于点p′，其像平面坐标为(u′,v′)。则p′与p″关系为：
Figure BDA0003291908880000041
式中(u0,v0)为鱼眼影像像主点坐标，将公式(1)和(2)代入公式(3)，得到鱼眼相机影像点与理想透视影像点的一一对应关系为：
Figure BDA0003291908880000042
结合图6进行说明，利用上述公式对原始鱼眼影像进行纠正，获得去除球形畸变之后的透视影像。
步骤3，构建鱼眼相机检校模型，解算鱼眼相机内、外参数以及镜头畸变参数，具体实施方式如下：
结合图4，通过对鱼眼镜头的结构进行分析，本发明认为鱼眼影像中主要包含径向畸变、切向畸变两种畸变。
径向畸变模型
Figure BDA0003291908880000055
切向畸变模型
Figure BDA0003291908880000051
以上公式中，k1,k2为径向畸变参数，p1,p2为切向畸变参数。Δ(u-u0)r和Δ(v-v0)r分别是u方向和v方向的径向畸变；Δ(u-u0)t和Δ(v-v0)t分别是u方向和v方向的切向畸变。
综合考虑上述两种畸变，获得鱼眼相机光学畸变模型。
Figure BDA0003291908880000052
直接线性变换(DLT)是近景摄影测量中较为常用的数据处理方法，一般采用直接线性变换解算相机内、外参数以及镜头畸变参数。结合直接线性变换模型与影像的畸变模型以构建标定数学模型，对透视影像中残余的光学畸变参数进行检校，包含内方位参数(u0,v0,f)以及畸变系数(k1,k2,k3,p1,p2,s1,s2)。
Figure BDA0003291908880000053
将共线方程线性化，并将鱼眼相机光学畸变模型引入到DLT模型得到鱼眼相机检校模型。
Figure BDA0003291908880000054
上式中共有18个未知参数待解，包含外方向参数和内方向参数函数的相关函数l1～l11、畸变参数k1,k2,k3,p1,p2。用若干个高精度人工标识点坐标可以解算得到鱼眼影像内、外参数以及镜头光学畸变系数。
步骤4，根据本发明提出的鱼眼相机正射纠正模型进行鱼眼相机影像正射纠正，具体实施方式如下：
结合图7标定场正射影像进行说明，设任意像素在中心投影影像和正射影像中的坐标分别为p(u′,v′)和P(U,V)，由纠正后的像点P出发，根据像片的内、外方位元素及P点的高程反求其在原始图像上相应像点p的坐标，经内插出P的灰度值后，再将灰度值赋给P。他们之间的关系为：
Figure BDA0003291908880000061
式中(Xs,Ys,Zs)为摄影中心位置，f,x,y为相机内方位元素，a1,…,c3为姿态角的相关函数。Z为P点处高程，由DEM获得。
由上述共线条件式出发，采用间接法数字微分纠正对步骤2获得的去除球形畸变的透视影像进行纠正，获得三维标定场正射纠正图。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变形。因此，所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
本发明未详尽描述的技术内容均为公知技术。

Claims (5)

1.鱼眼相机影像正射纠正方法，其特征在于包括以下步骤：
步骤S1，建立鱼眼相机室内三维标定场，首先构建自由坐标系，对标定场中布设的人工标志点进行测量，获取标志点三维坐标，然后使用鱼眼相机对室内三维标定场进行摄影，获取原始鱼眼相机影像；
步骤S2，结合球面透视投影模型和鱼眼相机等距投影模型对原始鱼眼相机影像进行几何纠正，去除鱼眼影像球形畸变；
步骤S3，构建鱼眼相机光学畸变模型，将其引入直接线性变换(DLT)模型，解算相机内、外参数以及镜头畸变参数；
步骤S4，根据本发明提出的鱼眼相机正射纠正模型进行鱼眼相机影像正射纠正。
2.根据权利要求1所述的鱼眼相机影像正射纠正方法，其特征在于所述步骤S1具体为：
建立有深度的高精度的室内三维标定场，并且需要长期维护，构建自由坐标系，对三维标定场内人工标识点进行高精度测量。
3.根据权利要求1所述的鱼眼相机影像正射纠正方法，其特征在于，所述步骤S2具体为：
(1)通过球面透视投影模型可以建立鱼眼影像点与理想透视投影点的一一对应关系，以去除鱼眼影像球形畸变，在这个过程中首先要确定鱼眼影像像主点及相机焦距的初始值；
(2)采用该模型进行鱼眼影像纠正时，直接纠正会造成影像的像素重叠或像素空白，为避免该问题，本发明从虚拟透视影像出发，反推当前像素在鱼眼影像上的位置，获取基于球面透视投影模型的透视影像结果。
4.根据权利要求1所述的鱼眼相机影像正射纠正方法，其特征在于所述步骤S3具体为：
(1)本发明认为鱼眼相机主要包含径向畸变和切向畸变两种，将其叠加构建鱼眼相机光学畸变模型；
(2)将光学畸变模型引入直接线性变换模型(DLT)，获得鱼眼相机检校模型；用若干个高精度人工标识点坐标可以解算得到鱼眼影像内、外方位参数以及镜头光学畸变系数。
5.根据权利要求1所述的鱼眼相机影像正射纠正方法，其特征在于所述步骤S4具体为：
将权利要求4所述的鱼眼影像内外方位参数以及鱼眼镜头光学畸变系数代入共线方程，得到正射纠正模型；采用间接法数字微分纠正对权利要求3所述的透视影像进行正射纠正，获得正射影像。
CN202111167364.5A 2021-10-04 2021-10-04 鱼眼相机影像正射纠正方法 Active CN113947638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111167364.5A CN113947638B (zh) 2021-10-04 2021-10-04 鱼眼相机影像正射纠正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111167364.5A CN113947638B (zh) 2021-10-04 2021-10-04 鱼眼相机影像正射纠正方法

Publications (2)

Publication Number Publication Date
CN113947638A true CN113947638A (zh) 2022-01-18
CN113947638B CN113947638B (zh) 2023-05-05

Family

ID=79330014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111167364.5A Active CN113947638B (zh) 2021-10-04 2021-10-04 鱼眼相机影像正射纠正方法

Country Status (1)

Country Link
CN (1) CN113947638B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862717A (zh) * 2022-05-11 2022-08-05 桂林理工大学 主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法
CN114972013A (zh) * 2022-05-11 2022-08-30 桂林理工大学 球面几何单次变换的鱼眼影像快速正射纠正模型
CN116309868A (zh) * 2023-03-02 2023-06-23 北京瑞控信科技股份有限公司 一种鱼眼成像系统标定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150334295A1 (en) * 2014-05-09 2015-11-19 Mobotix Ag Dynamic Configured Video Camera
CN105184756A (zh) * 2013-09-04 2015-12-23 北京英泰智软件技术发展有限公司 一种鱼眼镜头的图像校正方法
CN106846409A (zh) * 2016-10-28 2017-06-13 北京鑫洋泉电子科技有限公司 鱼眼相机的标定方法及装置
CN107633489A (zh) * 2017-09-18 2018-01-26 哈尔滨工业大学深圳研究生院 鱼眼镜头圆心重提取映射法畸变矫正方法
CN108830810A (zh) * 2018-06-07 2018-11-16 辽宁工业大学 一种基于正交投影的鱼眼镜头图像畸变矫正方法
CN110211028A (zh) * 2019-05-09 2019-09-06 东南大学 一种基于球面全景显示的鱼眼图像显示方法
US20200126179A1 (en) * 2018-10-19 2020-04-23 TuSimple System and method for fisheye image processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184756A (zh) * 2013-09-04 2015-12-23 北京英泰智软件技术发展有限公司 一种鱼眼镜头的图像校正方法
US20150334295A1 (en) * 2014-05-09 2015-11-19 Mobotix Ag Dynamic Configured Video Camera
CN106846409A (zh) * 2016-10-28 2017-06-13 北京鑫洋泉电子科技有限公司 鱼眼相机的标定方法及装置
CN107633489A (zh) * 2017-09-18 2018-01-26 哈尔滨工业大学深圳研究生院 鱼眼镜头圆心重提取映射法畸变矫正方法
CN108830810A (zh) * 2018-06-07 2018-11-16 辽宁工业大学 一种基于正交投影的鱼眼镜头图像畸变矫正方法
US20200126179A1 (en) * 2018-10-19 2020-04-23 TuSimple System and method for fisheye image processing
CN110211028A (zh) * 2019-05-09 2019-09-06 东南大学 一种基于球面全景显示的鱼眼图像显示方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862717A (zh) * 2022-05-11 2022-08-05 桂林理工大学 主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法
CN114972013A (zh) * 2022-05-11 2022-08-30 桂林理工大学 球面几何单次变换的鱼眼影像快速正射纠正模型
CN114972013B (zh) * 2022-05-11 2023-10-13 桂林理工大学 球面几何单次变换的鱼眼影像快速正射纠正方法
CN116309868A (zh) * 2023-03-02 2023-06-23 北京瑞控信科技股份有限公司 一种鱼眼成像系统标定方法

Also Published As

Publication number Publication date
CN113947638B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN113947638B (zh) 鱼眼相机影像正射纠正方法
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
CN103278138B (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
EP1378790A2 (en) Method and device for correcting lens aberrations in a stereo camera system with zoom
CN109727278B (zh) 一种机载LiDAR点云数据与航空影像的自动配准方法
CN113850126A (zh) 一种基于无人机的目标检测和三维定位方法和系统
CN112598740B (zh) 一种大范围多视倾斜影像连接点快速精确匹配方法
CN107330927B (zh) 机载可见光图像定位方法
CN112648976B (zh) 实景影像测量方法、装置、电子设备及存储介质
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN108447100B (zh) 一种机载三线阵ccd相机的偏心矢量和视轴偏心角标定方法
CN112270698A (zh) 基于最邻近曲面的非刚性几何配准方法
CN110986888A (zh) 一种航空摄影一体化方法
CN111879354A (zh) 一种无人机精细化测量系统
CN113902809A (zh) 一种红外相机与激光雷达联合标定的方法
CN112767461A (zh) 激光点云与序列全景影像自动配准方法
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
CN113538595A (zh) 利用激光测高数据辅助提升遥感立体影像几何精度的方法
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
CN113920201A (zh) 极线几何约束的鱼眼相机标定方法
CN111260736B (zh) 一种空间相机内参在轨实时标定方法
CN112785686A (zh) 一种基于大数据的林区地图构建方法及可读存储介质
CN110503604B (zh) 一种基于高精度pos的航空面阵影像实时正射拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant