CN114972013B - 球面几何单次变换的鱼眼影像快速正射纠正方法 - Google Patents
球面几何单次变换的鱼眼影像快速正射纠正方法 Download PDFInfo
- Publication number
- CN114972013B CN114972013B CN202210514891.7A CN202210514891A CN114972013B CN 114972013 B CN114972013 B CN 114972013B CN 202210514891 A CN202210514891 A CN 202210514891A CN 114972013 B CN114972013 B CN 114972013B
- Authority
- CN
- China
- Prior art keywords
- point
- image
- coordinates
- fisheye
- orthorectification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000009466 transformation Effects 0.000 title claims abstract description 19
- 238000012937 correction Methods 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims abstract description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims description 2
- 241000251468 Actinopterygii Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种球面几何单次变换的鱼眼影像快速正射纠正方法，实施步骤如下：首先建立球面几何单次变换的鱼眼影像快速正射纠正方法，即建立鱼眼影像像点、镜头中心和地面点三点之间的关系，并加入畸变模型；然后量测若干对像点坐标和地面点坐标作为控制点，代入球面几何模型求解相机内参和外方位元素；最后基于数字表面模型(Digital Surface Model，DSM)用球面几何模型采用鱼眼逐点纠正方法去除球形畸变和由地面由地形起伏带来的畸变，实现大比例尺鱼眼影像的正射纠正。本发明可以将鱼眼影像通过球面几何模型将鱼眼影像像点、虚拟成像光心和地面点建立数学关系，可实现一步快速将鱼眼影像纠正为正射影像。
Description
技术领域
本发明涉及摄影测量技术领域，特别是涉及一种球面几何单次变换的鱼眼影像快速正射纠正方法。
背景技术
正射影像在众多领域扮演着重要角色，例如：城市规划发展、灾后重建、城市扩张、资源环境调查等。随着摄影测量技术170多年的快速发展，正射影像纠正纠正技术也日益成熟。但是，现存的正射纠正方法都是处理50°-75°的普通透视镜头获取的影像的，普通的透视镜头获得的影像视野窄、无法获取周围的全部地物。因此，出现了180°鱼眼镜头，然而鱼眼相机成像的原理与普通相机有着本质的不同，传统的摄影测量的正射纠正理论不再适用于鱼眼影像。
目前大多数做正射纠正的专利均是针对普通透视镜头获取的影像的，而针对鱼眼影像的正射纠正的专利仅有2021年公布的“一种鱼眼相机影像正射纠正方法”一件，该专利首次实现鱼眼影像的正射纠正。该方法虽然能实现鱼眼影像的正射纠正，但是该方法实现步骤复杂，即需要将鱼眼影像经过透视变换转到普通影像，再通过共线方程将普通影像纠正成做正射影像两步，容易产生累计误差、纠正的效率低。因此，亟待得到一种能够一步实现鱼眼影像直接纠正成正射影像的方法。
针对上述问题，本发明公开了球面几何单次变换的鱼眼影像快速正射纠正方法。
发明内容
本发明公开了球面几何单次变换的鱼眼影像快速正射纠正方法。为了实现上述目的，本发明采用包括如下步骤。
步骤1，建立球面几何单次变换的鱼眼影像快速正射纠正方法，即建立鱼眼影像像点、虚拟成像光心和地面点三点之间的几何关系。
如图2所示，鱼眼影像投影和中心透视影像的投影模型存在一定的差异的，但是均与入射角存在一定的关系的。中心透视投影的投影光线是直线，反射角θa'等于入射角θA，向径r'与入射角度θA存在以下关系：
r'＝f tanθA
而鱼眼投影的投影光线不是直线，但是也存在一定的关系，根据鱼眼相机成像的原理，鱼眼影像满足等距投影，即：
r＝fθA
如图3所示，地面点A点在相机坐标系o'-x'y'z'中o'x'y'平面上的投影点N，连接椭球面模型几何中心O与地面点A和球面的交于A1，作垂直于平面o'x'y'的垂线交于a1，将A1点投影到像平面上交于点a。A点和a1点在相机坐标系o'-x'y'z'中的坐标分别表示为(x'A,y'A,z'A)、(x'a1,y'a1,z'a1)。由于a1、N、O共线，因此N、O和坐标轴形成的三角形与a1、O和坐标轴形成的三角形相似，则根据相似三角形原理得：
又因为所以得到
式中x0，y0为像主点坐标；f为焦距。而我们能测得的数据是大地坐标系下的坐标而非相机坐标系下的坐标，因此需要将大地坐标系下的坐标转换成相机坐标系下的坐标，转换公式如下：
式中ai，bi，ci(i＝1,2,3)表示旋转矩阵参数，(XA,YA,ZA)为A点在大地坐标系中的坐标，(x'A,y'A,z'A)为A点在相机坐标系中的坐标。
由于鱼眼镜头存在很大畸变，因此鱼眼正射纠正的过程中，必须加上影像畸变。畸变分为径向畸变dr和切向畸变dt，如图4，分别可由如下公式计算得到：
径向畸变dr：
切向畸变dt：
因此，
又因为xa＝x'a1，ya＝y'a1，则最终的鱼眼正射纠正模型可以表示为：
步骤2，量测若干对像点坐标和地面点对应的坐标(XA,YA,ZA)作为控制点坐标，并代入球面几何单次变换的鱼眼影像快速正射纠正方法求解模型参数。
步骤3，基于数字表面模型(Digital Surface Model，DSM)用球面几何单次变换的鱼眼影像快速正射纠正方法对鱼眼影像进行正射纠正，消除地面高程引起的视差。
正射纠正的步骤如下：
①计算正射影像上任意像元的地面坐标(X,Y)；
式中(X′,Y′)正射影像上任意像元A的像素坐标,(X0,Y0)正射影像左下角图廓点地面坐标，M正射影像比例尺分母。
②根据上述正射纠正模型公式和大地坐标系坐标转换成相机坐标系坐标的公式，计算出像点坐标(xa，ya)。
式中Z根据(X，Y)在DSM中的位置获得。
③灰度内插和赋值。通过②计算得到的像点坐标不一定正好位于像素中心，因此需要对其进行插值，本专利采用双线性内插方法来获取像素点a的灰度值g(a):
式中g(1)、g(2)、g(3)、g(4)分别是临近4个点的灰度值。将取出的灰度值g(a)纠正后像元素A0，即G(A0)＝g(a)。依次对每个纠正元素完成上述运算，即可获得纠正后的数字正射影像。
本发明提供了一种球面几何单次变换的鱼眼影像快速正射纠正方法，可快速实现鱼眼影像纠正成正射影像，消除了由于地面高程引起的视差。
附图说明
图1是本发明实施例的流程图
图2是本发明实施例的鱼眼投影和中心透视投影图
图3是本发明实施例的鱼眼正射纠正模型图
图4是本发明实施例的鱼眼镜头主要畸变模型图
图5是本发明实施例的鱼眼原图
图6是本发明实施例的控制点分布图
图7是本发明实施例的灰度内插图
图8是本发明实施例的鱼眼正射纠正结果图
具体实施方式
下面结合附图和实施例对本发明的步骤做进一步的详细描述。
实施例：
具体的实施流程可参考附图1。
步骤1，建立球面几何单次变换的鱼眼影像快速正射纠正方法，即建立鱼眼影像像点、虚拟成像光心和地面点三点之间的几何关系。
鱼眼影像投影和中心透视影像的投影模型存在一定的差异的，但是均与入射角存在一定的关系的。结合附图2说明中心透视投影和鱼眼投影的投影光线与入射角的关系。中心透视投影的投影光线是直线，
反射角θa'等于入射角θA，向径r'与入射角度θA存在以下关系：
r'＝f tanθA (1)
而鱼眼投影的投影光线不是直线，但是也存在一定的关系，根据鱼眼相机成像的原理，鱼眼影像满足等距投影，即
r＝fθA (2)
结合附图3，鱼眼正射纠正模型。地面点A点在相机坐标系o'-x'y'z'中o'x'y'平面上的投影点N，连接椭球面模型几何中心O与地面点A和球面的交于A1，作垂直于平面o'x'y'的垂线交于a1，将A1点投影到像平面上交于点a。A点和a1点在相机坐标系o'-x'y'z'中的坐标分别表示为(x'A,y'A,z'A)、(x'a1,y'a1,z'a1)。由于a1、N、O共线，因此N、O和坐标轴形成的三角形与a1、O和坐标轴形成的三角形相似，则根据相似三角形原理得：
联合公式(2)-(4)得到
其中x0,y0为像主点坐标；f为焦距。而我们能测得的数据是大地坐标系下的坐标而非相机坐标系下的坐标，因此需要将大地坐标系下的坐标转换成相机坐标系下的坐标，转换公式见下公式：
式中ai，bi，ci(i＝1,2,3)表示旋转矩阵参数，(XA,YA,ZA)为A点在大地坐标系中的坐标，(x'A,y'A,z'A)为A点在相机坐标系中的坐标。
由于鱼眼镜头存在很大畸变，因此鱼眼正射纠正的过程中，必须加上影像畸变。结合附图4，鱼眼镜头主要畸变模型。畸变分为径向畸变dr和切向畸变dt，分别可由公式(7)和公式(8)计算得到。
又因为xa＝x'a1，ya＝y'a1，则最终的鱼眼正射纠正模型可以表示为：
步骤2，结合附图5，获取鱼眼原影像。之后在空间地面点(图中为墙面上的点)上标记控制点见图6，并量测若干对像点坐标和地面点对应的坐标(XA,YA,ZA)作为控制点坐标，并带入球面几何单次变换的鱼眼影像快速正射纠正方法参数。
步骤3，基于DSM用球面几何单次变换的鱼眼影像快速正射纠正方法对鱼眼影像进行正射纠正。
结合图3，鱼眼正射纠正模型。正射纠正的步骤如下：
①计算正射影像上任意像元的地面坐标(XA,YA)；
其中(X′,Y′)正射影像上任意像元A的像素坐标，(X0,Y0)正射影像左下角图廓点地面坐标，M正射影像比例尺分母。
②联合公式(6)和公式(10)计算像点坐标(xa,ya)。
其中ZA来自DSM中(XA,YA)对应的高程。
③灰度内插和赋值。结合附图7灰度内插，通过②计算得到的像点坐标a点不一定正好位于像素中心，因此需要对其进行插值，本专利采用双线性内插方法来获取像素点a的灰度值g(a):
其中g(1)、g(2)、g(3)、g(4)分别是临近4个点的灰度值。将取出的灰度值g(a)纠正后像元素A0，即G(A0)＝g(a)。依次对每个纠正元素完成上述运算，即可获得纠正后的数字正射影像，鱼眼影像正射纠正结果见附图8。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变形。因此，所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
本发明未详尽描述的技术内容均为公知技术。
Claims (2)
1.一种球面几何单次变换的鱼眼影像快速正射纠正方法，其特征在于包括以下步骤：
步骤1，建立球面几何单次变换的鱼眼影像快速正射纠正方法，即建立鱼眼影像像点、虚拟成像光心和地面点三点之间的几何关系，具体为：
鱼眼影像投影和中心透视影像的投影模型存在一定的差异的，但是均与入射角存在一定的关系的；中心透视投影的投影光线是直线，反射角θa'等于入射角θA，向径r'与入射角度θA存在以下关系：
r'＝ftanθA
而鱼眼投影的投影光线不是直线，但是也存在一定的关系，根据鱼眼相机成像的原理，鱼眼影像满足等距投影，即：
r＝fθA
地面点A点在相机坐标系o'-x'y'z'中o'x'y'平面上的投影点N，连接椭球面模型几何中心O与地面点A和球面的交于A1，作垂直于平面o'x'y'的垂线交于a1，将A1点投影到像平面上交于点a；A点和a1点在相机坐标系o'-x'y'z'中的坐标分别表示为(x'A,y'A,z'A)、(x'a1,y'a1,z'a1)；由于a1、N、O共线，因此N、O和坐标轴形成的三角形与a1、O和坐标轴形成的三角形相似，则根据相似三角形原理得：
又因为所以得到
式中x0，y0为像主点坐标，f为焦距；而我们能测得的数据是大地坐标系下的坐标而非相机坐标系下的坐标，因此需要将大地坐标系下的坐标转换成相机坐标系下的坐标，转换公式如下：
式中ai，bi，ci(i＝1,2,3)表示旋转矩阵参数，(XA,YA,ZA)为A点在大地坐标系中的坐标，(x'A,y'A,z'A)为A点在相机坐标系中的坐标；
由于鱼眼镜头存在很大畸变，因此鱼眼正射纠正的过程中，必须加上影像畸变；畸变分为径向畸变dr和切向畸变dt，分别可由如下公式计算得到：
径向畸变dr：
切向畸变dt：
因此，
又因为xa＝x'a1，ya＝y'a1，则最终的鱼眼正射纠正模型可以表示为：
步骤2，量测若干对像点坐标和地面点对应的坐标(XA,YA,ZA)作为控制点坐标，并代入球面几何单次变换的鱼眼影像快速正射纠正方法求解模型参数；
步骤3，基于数字表面模型(Digital Surface Model，DSM)用鱼眼球面几何模型对鱼眼影像进行正射纠正，消除地面高程引起的视差。
2.根据权利要求1所述的方法，其特征在于所描述的步骤3所述的基于DSM用球面几何单次变换的鱼眼影像快速正射纠正方法对鱼眼影像进行正射纠正，具体为：
正射纠正的步骤包含以下三个步骤：
①计算正射影像上任意像元的地面坐标(X,Y)；
式中(X′,Y′)正射影像上任意像元A的像素坐标,(X0,Y0)正射影像左下角图廓点地面坐标，M正射影像比例尺分母；
②根据上述正射纠正模型公式和大地坐标系坐标转换成相机坐标系坐标的公式，计算像点坐标(xa，ya)；
其中Z根据(X，Y)在DSM获得；
③灰度内插和赋值；通过②计算得到的像点坐标不一定正好位于像素中心，因此需要对其进行插值，本专利采用双线性内插方法来获取像素点a的灰度值g(a):
其中g(1)、g(2)、g(3)、g(4)分别是临近4个点的灰度值；将取出的灰度值g(a)纠正后像元素A0，即G(A0)＝g(a)；依次对每个纠正元素完成上述运算，即可获得纠正后的数字正射影像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210514891.7A CN114972013B (zh) | 2022-05-11 | 2022-05-11 | 球面几何单次变换的鱼眼影像快速正射纠正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210514891.7A CN114972013B (zh) | 2022-05-11 | 2022-05-11 | 球面几何单次变换的鱼眼影像快速正射纠正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114972013A CN114972013A (zh) | 2022-08-30 |
| CN114972013B true CN114972013B (zh) | 2023-10-13 |
Family
ID=82980999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210514891.7A Active CN114972013B (zh) | 2022-05-11 | 2022-05-11 | 球面几何单次变换的鱼眼影像快速正射纠正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972013B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101726855A (zh) * | 2009-11-13 | 2010-06-09 | 河北工业大学 | 基于立方体投影对鱼眼图像畸变校正方法 |
| JP2010140292A (ja) * | 2008-12-12 | 2010-06-24 | Dainippon Printing Co Ltd | 画像変換装置および画像変換方法 |
| CN103226840A (zh) * | 2013-04-24 | 2013-07-31 | 武汉大学 | 全景影像拼接及量测系统及方法 |
| CN111199528A (zh) * | 2020-01-15 | 2020-05-26 | 江苏北斗星通汽车电子有限公司 | 一种鱼眼图像畸变矫正方法 |
| CN113920201A (zh) * | 2021-07-01 | 2022-01-11 | 桂林理工大学 | 极线几何约束的鱼眼相机标定方法 |
| CN113947638A (zh) * | 2021-10-04 | 2022-01-18 | 桂林理工大学 | 鱼眼相机影像正射纠正方法 |
-
2022
- 2022-05-11 CN CN202210514891.7A patent/CN114972013B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010140292A (ja) * | 2008-12-12 | 2010-06-24 | Dainippon Printing Co Ltd | 画像変換装置および画像変換方法 |
| CN101726855A (zh) * | 2009-11-13 | 2010-06-09 | 河北工业大学 | 基于立方体投影对鱼眼图像畸变校正方法 |
| CN103226840A (zh) * | 2013-04-24 | 2013-07-31 | 武汉大学 | 全景影像拼接及量测系统及方法 |
| CN111199528A (zh) * | 2020-01-15 | 2020-05-26 | 江苏北斗星通汽车电子有限公司 | 一种鱼眼图像畸变矫正方法 |
| CN113920201A (zh) * | 2021-07-01 | 2022-01-11 | 桂林理工大学 | 极线几何约束的鱼眼相机标定方法 |
| CN113947638A (zh) * | 2021-10-04 | 2022-01-18 | 桂林理工大学 | 鱼眼相机影像正射纠正方法 |
Non-Patent Citations (2)
| Title |
|---|
| FISHEYE CAMERA CALIBRATION WITH INDOOR 3D CALIBRATION FIELD;Yongfan Xie;《2021 - 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS》;全文 * |
| Fisheye Image Correction Based on Three- Dimensional Control Field;Ruhao Song;《IOP Conference Series: Earth and Environmental Science》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114972013A (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903227B (zh) | 基于相机几何位置关系的全景影像拼接方法 | |
| CN110197466B (zh) | 一种广角鱼眼图像矫正方法 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
| CN112013792B (zh) | 一种复杂大构件机器人面扫描三维重建方法 | |
| CN104778656B (zh) | 基于球面透视投影的鱼眼图像校正方法 | |
| CN107705252B (zh) | 适用于双目鱼眼图像拼接展开校正的方法及系统 | |
| Ying et al. | Fisheye lenses calibration using straight-line spherical perspective projection constraint | |
| CN111243033A (zh) | 一种优化双目相机外参数的方法 | |
| CN111981982B (zh) | 一种基于加权sfm算法的多向合作靶标光学测量方法 | |
| CN111461963B (zh) | 一种鱼眼图像拼接方法及装置 | |
| CN110874854B (zh) | 一种基于小基线条件下的相机双目摄影测量方法 | |
| CN105825470A (zh) | 基于点云影像的鱼眼影像纠正方法 | |
| CN110555813B (zh) | 一种无人机遥感影像的快速几何校正方法及系统 | |
| CN110738608B (zh) | 一种平面图像校正方法及系统 | |
| CN113205603A (zh) | 一种基于旋转台的三维点云拼接重建方法 | |
| CN112598747A (zh) | 一种单目相机与投影仪的联合标定方法 | |
| CN112562014A (zh) | 相机标定方法、系统、介质及装置 | |
| CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
| CN111968182B (zh) | 一种双目相机非线性模型参数的标定方法 | |
| CN111126418A (zh) | 一种基于平面透视投影的倾斜影像匹配方法 | |
| CN114972013B (zh) | 球面几何单次变换的鱼眼影像快速正射纠正方法 | |
| CN111047651B (zh) | 畸变图像的矫正方法 | |
| CN107346530B (zh) | 一种修正鱼眼图像的投影方法及系统 | |
| JP4548228B2 (ja) | 画像データ作成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |