CN106643669B - 一种多镜头多探测器航空相机单中心投影转换方法 - Google Patents
一种多镜头多探测器航空相机单中心投影转换方法 Download PDFInfo
- Publication number
- CN106643669B CN106643669B CN201611045928.7A CN201611045928A CN106643669B CN 106643669 B CN106643669 B CN 106643669B CN 201611045928 A CN201611045928 A CN 201611045928A CN 106643669 B CN106643669 B CN 106643669B
- Authority
- CN
- China
- Prior art keywords
- camera
- detector
- coordinate system
- image space
- space coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013178 mathematical model Methods 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000009795 derivation Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 5
- 241001260012 Bursa Species 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 230000004438 eyesight Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000005481 NMR spectroscopy Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 241001121611 Entodinium bursa Species 0.000 claims description 2
- 239000011800 void material Substances 0.000 claims description 2
- 230000003068 static effect Effects 0.000 abstract description 5
- 239000012482 calibration solution Substances 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
一种多镜头多探测器航空相机单中心投影转换方法，1)建立具有统一基准的虚拟像空间坐标系；2)建立反映多镜头相机之间、多探测器之间相对方位关系的数学模型；3)通过静态几何检校解求多镜头、多探测器的联合方位元素与畸变参数；4)建立顾及多探测器影像在动态飞行时相对方位变化的数学模型；5)通过短基线影像快速匹配获取多探测器影像重叠区的同名点；6)根据同名点坐标误差最小原则建立自检校误差方程；7)逐点法化并根据最小二乘平差原理完成迭代求解，获得动态飞行时精确的相对方位元素。本发明方法可普遍适用多镜头多探测器面阵拼接式航空测绘相机的等效单中心投影虚拟影像生成。
Description
技术领域
本发明属于航空光学遥感技术领域，涉及一种多镜头多探测器拼接式航空测绘相机由多中心投影向等效单中心投影转换的方法。
背景技术
大幅面、大视场、高像元分辨率的面阵相机是摄影测量领域成像传感器的必然发展方向。但受限于单个大幅面CCD\CMOS器件的技术瓶颈与高昂成本，采用多镜头多探测器组合拼接构造等效大幅面传感器面阵便成为一种主流方式。
多镜头多探测器拼接构造面阵航空测绘相机的核心问题是如何将成像时的多中心投影归化为由一个等效单中心投影构象。现有航空测绘相机的面阵拼接成像技术至少存在两方面不足：一方面，甚少公开上述核心问题，未能明确多中心投影转单中心投影的各流程环节；另一方面，鲜少解答多中心投影向等效单中心投影转换的精度控制问题，未能明确拼接模型对等效虚拟影像拼接精度造成的影响。
发明内容
本发明的技术解决问题是：克服现有技术的不足，针对多镜头、多探测器拼接式航空测绘相机因内、外视场混合拼接所造成多中心投影的客观问题，提供了一种多镜头多探测器航空相机单中心投影转换方法。
本发明的技术方案是：一种多镜头多探测器航空相机单中心投影转换方法，步骤如下：
(1)从多镜头相机、多探测器中选择基准相机和基准探测器，根据基准探测器影像建立基准像平面坐标系和基准像空间坐标系，进一步选定虚拟单投影中心并构建虚拟像空间坐标系；
(2)根据步骤(1)，基于三维直角坐标变换，利用公共地物点地面坐标建立反映多镜头相机之间、多探测器之间相对方位关系的严密数学模型，进一步建立各镜头、各探测器像空间坐标系向虚拟像空间坐标系转换的数学模型；
(3)通过高精度三维控制场检校多镜头、多探测器的联合方位元素与畸变系数；
(4)根据步骤(2)建立的数学模型进行公式整理得到各探测器影像到虚拟像平面的像点转换公式，将像点坐标表示为相对外方位元素的函数，按泰勒公式展开并保留至小值一次项，完成建立顾及各镜头、各探测器影像在动态飞行时相对方位变化的数学模型；
(5)根据步骤(3)，完成各镜头内各探测器影像的几何校正，通过裁切探测器影像重叠区加速同名点匹配，并通过SIFT特征提取、精化匹配点、粗差剔除过程实现短基线影像的快速高精度匹配，获取多探测器影像重叠区的同名点；
(6)根据步骤(4)，以同名点坐标误差最小原则建立自检校误差方程；
(7)根据步骤(3)、(5)和(6)，逐点法化并根据最小二乘平差原理完成迭代求解，进而将相对方位元素初值与迭代结果累加，获得动态飞行时精确的相对方位元素，完成多中心投影向等效单中心投影的转换。
所述步骤(1)中建立基准像平面坐标系的具体方法为：
(11)选择多镜头多探测器中心视场所含的中心探测器作为基准探测器E；
(12)以基准探测器影像的几何中心点作为像平面坐标系原点o，构建右手平面直角坐标系o-xy，作为基准像平面坐标系；
所述步骤(1)中建立基准像空间坐标系的具体方法为：
(21)以多镜头相机中包含中心探测器的相机投影中心作为基准像空间坐标系的原点S；
(22)通过点S作平行于基准像平面坐标系x轴和y轴的轴线，以主光轴oS为z轴，其坐标正向取摄影方向的反方向，构成基准像空间坐标系S-xyz。
所述步骤(1)中建立虚拟像空间坐标系的具体方法为：
(31)以基准像空间坐标系S-xyz为起始坐标系；
(32)将除中心视场镜头外的其余多镜头相机的投影中心投影至S-xy平面，以其坐标平均值作为新的坐标原点Sv，并将x轴、y轴、z轴平移至以Sv为起点的三个坐标轴xv、yv、zv，即得虚拟像空间坐标系Sv-xvyvzv。
所述步骤(3)的具体方法为：依托各镜头相机、各探测器所获的高精度地面三维控制场检校影像，量测标志点几何中心位置，并开展像点及其相应控制点坐标之间的联合平差，同时获取各单镜头相机内方位元素与畸变差，单镜头相机探测器之间、各相机探测器之间相对方位元素。
所述步骤(4)中建立顾及多探测器影像在动态飞行时相对方位变化的数学模型的具体方法为：
(41)相对基准探测器E，其它与其具有影像重叠区的多探测器称为非基准探测器，基于三维空间直角变换的七参数模型，即Bursa模型，利用公共地物点P，建立P点在基准探测器和非基准探测器影像上的像点坐标与物方空间坐标之间的数学模型；
(42)联立上述Bursa模型，得到非基准探测器所在相机，即非基准相机的像空间坐标系相对基准探测器E所在相机，即基准相机的基准像空间坐标系进行相对方位转换的数学模型：
式中，[Xe Ye Ze]T、[Xi Yi Zi]T分别为基准相机和非基准相机在摄影时刻的外方位线元素；为基准相机在摄影时刻的外方位角元素ωe和κe所构成的旋转矩阵；为非基准相机在摄影时刻的外方位角元素ωi和κi所构成的旋转矩阵；λe、λi分别为摄影时刻基准相机和非基准相机的像空间坐标系相对于地面坐标系的比例系数；[xe ye]T、[xi yi]T分别为地物点P在基准探测器影像和非基准探测器影像上的像点坐标；[xe0 ye0]T、[xi0 yi0]T分别为基准相机和非基准相机的像主点坐标；fe、fi分别为基准相机和非基准相机的主距；
(43)将基准像空间坐标系转换至虚拟像空间坐标系，并通过系数转换与变量替换来简化模型，得到非基准相机像空间坐标系、基准相机基准像空间坐标系相对虚拟像空间坐标系转换的数学模型：
式中，[xv0 yv0]T表示虚拟像空间坐标系Sv-xvyvzv的原点Sv在基准像空间坐标系S1-xyz中的坐标；[xvi yvi]T表示各相机、各探测器影像投影至虚拟像空间坐标系Sv-xvyvzv后的像点坐标；fi表示基准相机和非基准相机的主距；fv表示虚拟单中心投影相机主距；为变量替换后的平移向量；
(44)将像点坐标表示为相对方位元素的函数：
式中，xv、yv分别为像点在x、y方向的改正量；Fix、Fiy分别为基准相机、非基准相机在x、y方向的像点坐标方程；为基准相机、非基准相机的相对外方位元素在虚拟像空间坐标系Sv中的等效位移量；ωi、κi为基准相机、非基准相机的相对外方位角元素；
(45)按泰勒公式展开并保留至小值一次项，完成建立顾及多探测器影像在动态飞行时相对方位变化的数学模型：
式中，分别为像点在x、y方向的近似值；F′ix、F′iy表示分别基准相机、非基准相机在x、y方向的像点坐标方程求导；表示分别对相对外方位线元素求导；表示分别对相对外方位角元素ωi、κi求导；分别表示相对外方位线元素的改正量；dωi、dki表示相对外方位角元素ωi、κi的改正量。
本发明与现有技术相比的有益效果：
(1)本发明通过基准像平面坐标系、基准像空间坐标系、虚拟像空间坐标系的构建，将多镜头多探测器之间的相对方位关系纳入统一的坐标系统，以此为基础实现多中心投影向等效单中心投影空间转换的数学过程与影像处理流程，对各类多镜头或多探测器面阵拼接式航空相机的等效单中心投影转换问题具有普适性。
(2)本发明将多镜头多探测器面阵拼接式航空相机在成像方式上的多中心投影问题转化至影像处理层面，阐述了包含联合方位元素高精度静态检校、短基线影像快速高精度匹配、自检校拼接在内的影像处理环节，并给出了各环节的主要模型算法，可作为等效单中心投影转换的通用影像处理流程。
(3)本发明基于航空摄影测量相关理论，系统地推导、建立并释义了多中心投影向虚拟单中心投影转换的数学模型，并给出了顾及动态飞行时相对方位变化的数学模型，即自检校数学模型各系数值，可作为多镜头多探测器面阵拼接式航空相机影像后处理软件的核心算法参考。
(4)本发明以能够反映多镜头、多探测器之间严格几何关系的数学模型为依据，通过自检校平差过程将动态检校与初始静态检校相协同，并通过各算法流程的严格精度控制实现多中心投影向等效单中心投影的高精度转换，可最终获得拼接精度优于亚像元的等效单中心投影虚拟影像。
附图说明
图1为一种多镜头多探测器航空相机的镜头数量与分布示意。
图2为一种多镜头多探测器航空相机的探测器数量与分布示意。
图3为基准像空间坐标系示意。
图4为一种多镜头多探测器航空相机的探测器重叠区示意。
具体实施方式
下面对本发明的具体实施方式进行进一步的详细描述。
1)针对图1所示的多镜头多探测器航空相机的镜头示意，1、2、3和4表示四个全色镜头，相对应的四个相机(以下称为全色镜头1～4相机)为多中心投影成像，其各自包含的探测器数量与分布参见图2。图2中的A～I表示探测器编号：E为中心探测器，对应图1的全色镜头1；B、H对应图1的全色镜头2；D、F对应图1的全色镜头3；A、C、G、I对应图1的全色镜头4。选择图2中的中心探测器E影像作为基准影像，以其几何中心点为像平面坐标系原点o，构建右手平面直角坐标系，即得到如图3所示的基准像平面坐标系o-xy。
为了描述像点在空间的位置，需将图3的二维基准像平面坐标系o-xy转换成三维基准像空间坐标系。以图1中全色镜头1及图2中探测器E所构成的全色相机(全色镜头1相机)的投影中心作为基准像空间坐标系的原点S1，通过点S1作平行于基准像平面坐标系x和y轴的轴线，以主光轴oS1为z轴，其坐标正向取摄影方向的反方向，构成基准像空间坐标系S1-xyz。
进一步地，以基准像空间坐标系S1-xyz为起始坐标系，将图1中的全色镜头2与图2中探测器B、H所构成的全色相机(全色镜头2相机)投影中心S2、图1中的全色镜头3与图2中探测器D、F所构成的全色相机(全色镜头3相机)投影中心S3、图1中的全色镜头4与图2中探测器A、C、G、I所构成的全色相机(全色镜头4相机)投影中心S4投影至基准像空间坐标系S1-xyz的S1-xy平面，以其坐标平均值作为新的坐标原点Sv，并将x轴、y轴、z轴平移至以Sv为起点的三个坐标轴xv、yv、zv，得到虚拟像空间坐标系Sv-xvyvzv，简称Sv。
虚拟像空间坐标系Sv-xvyvzv用于表示虚拟影像上各像元在像方空间的位置，其单位为像元。在实际中，通过地面高精度三维控制场成像和引入畸变差的共线条件方程检校各个全色相机的内方位元素与畸变差，得到主点、主距所表示的多投影中心S1，S2，S3，S4，再对S1，S2，S3，S4求取平均值，并将该平均值作为虚拟单镜头相机的投影中心Sv。
以上虚拟像空间坐标系基于图3近似“水平”的基准像平面坐标系转换而来。若应用于多镜头多探测器倾斜式航空相机，则从基准像空间坐标系S-xyz向虚拟像空间坐标系的转换还需顾及绕y、x′轴(绕y轴旋转后的x轴)、z″轴(绕x′轴旋转后的z′轴)的依次旋转，得到S-x″′y″′z″′，再以多投影中心在S-x″′y″′的坐标平均值为虚拟像空间坐标系原点Sv，最终得到虚拟像空间坐标系Sv-xvyvzv。其中，绕y轴、x′轴、z″轴的旋转角与下述步骤2、3所获的相对外方位角元素有数值关系。
2)虚拟像空间坐标系为多镜头多探测器航空相机的多中心投影向等效单中心投影转换提供了统一的坐标基准。在此基础上，基于三维空间直角坐标变换的七参数模型(Bursa模型)、利用公共地物点地面坐标建立反映多镜头相机、多探测器之间相对方位关系的严密数学模型，进一步建立各镜头、各探测器像空间坐标系向虚拟像空间坐标系转换的数学模型。
以图1中全色镜头1相机所含的图2中中心探测器E、图1中全色镜头4相机所含的图2中探测器A为例，若已知地物点P的地面坐标为[Xw Yw Zw]T，则根据Bursa模型可得：
在公式(1)中，[Xe Ye Ze]T、[Xa Ya Za]T分别为全色镜头1相机、全色镜头4相机在摄影时刻的外方位线元素；为全色镜头1相机在摄影时刻的外方位角元素ωe和κe所构成的旋转矩阵；为全色镜头4相机在摄影时刻的外方位角元素ωa和κa所构成的旋转矩阵；λe、λa分别为摄影时刻全色镜头1相机、全色相机4相机的像空间坐标系相对于地面坐标系的比例系数；[xe0 ye0]T、[xa0 ya0]T分别为全色镜头1相机和全色镜头4相机的像主点坐标；fe、fa分别为全色镜头1相机和全色镜头4相机的主距。同理，公式(2)中各参数的数学意义与公式(1)相同。联立上述两公式可得：
公式(3)即为全色镜头1相机与全色镜头4相机之间相对方位关系的严密公式。由此可知，当位于全色镜头4相机像空间坐标系内的任意像元[(xa-xa0) (ya-ya0) -fa]T转至全色镜头1相机的基准像空间坐标[(xe-xe0) (ye-ye0) -fe]T时，需经过旋转矩阵与平移向量由于旋转矩阵为正交矩阵，则根据坐标系转换原理可知：
同时令
公式(4)和公式(5)中的分别为全色镜头4相机像空间坐标系转至全色镜头1相机基准像空间坐标系的旋转矩阵及平移向量。
同理，可得到图1中全色镜头4相机所含的图2中探测器C、G、I与中心探测器E的相对方位关系的严密数学模型。进一步地，可得到图1中全色镜头2相机、全色镜头3相机所含的图2中探测器B、H与D、G相对于探测器E进行相对方位转换的数学模型。
3)通过高精度静态检校解求多镜头、多探测器的联合方位元素与畸变系数，依托图1中各镜头相机、图2中各探测器所获的高精度地面三维控制场检校影像，通过半自动或全自动量测标志点几何中心位置，并开展像点及其相应控制点坐标之间的联合平差，同时获取各单镜头相机内方位元素与畸变差，单镜头相机探测器之间、各相机探测器之间相对方位元素。
依据图2中探测器E与其它8个探测器之间相对方位关系的严密数学模型(类比公式(3))，提取其它探测器像空间坐标系转至探测器E基准像空间坐标系的旋转矩阵(类比公式(4))及平移向量(类比公式(5))，解算相对角元素与相对线元素。
由于单探测器几何检校和多探测器联合检校参数只能作为探测器之间相对方位元素的较精确初始值，仍需通过高精度匹配和高精度自检校过程解决多镜头多探测器面阵拼接式航空相机在动态飞行时因动态摄影与同步曝光控制精度所引发的相对方位元素微变化。
4)针对探测器E与其余8个探测器之间相对方位关系的严密数学模型，进行公式整理得到各探测器影像到虚拟像平面的像点转换公式，将像点坐标表示为相对外方位元素的函数，按泰勒公式展开并保留至小值一次项，完成建立顾及多探测器影像在动态飞行时相对方位变化的数学模型。
联立公式(3)、(4)、(5)，并将基准像空间坐标系平移至虚拟像空间坐标系，则可得公式(6)：
公式(6)即为图1中全色相机4所含的图2中探测器A的像空间坐标系向虚拟像空间坐标系转换的数学模型。式中，[xv0 yv0]T表示虚拟像空间坐标系Sv-xvyvzv的原点Sv在基准像空间坐标系S1-xyz中的坐标；[xv yv]T表示探测器A影像投影至虚拟像空间坐标系Sv-xvyvzv后的像点坐标；fa表示图1中全色镜头4相机主距，由步骤3所述的高精度静态检校获取；fv表示虚拟单中心投影相机主距，取图1中全色镜头1～4相机的主距平均值。
同理，可得图1中全色镜头1～4相机所含的图2中各探测器像空间坐标系相对于虚拟像空间坐标系的转换模型。
若将公式(6)应用与多镜头多探测器倾斜式航空相机，则还应引入由基准像空间坐标系S-xyz转换至虚拟像空间坐标系Sv-xvyvzv的旋转矩阵。
对公式(6)进行变形，并令
式中，xv、yv分别为像点在x、y方向的改正量；Fix、Fiy分别为图1中全色镜头1～4相机在x、y方向的像点坐标方程；为图1中全色镜头1～4相机的相对外方位元素在虚拟像空间坐标系Sv中的等效位移量；ωi、κi为图1中全色镜头1～4相机的相对外方位角元素。
由于公式(7)为非线性形式，因此将其按照泰勒公式展开，并保留至小值一次项，可得：
式中，分别为像点在x、y方向的近似值；F′ix、F′iy表示分别对图1中全色镜头1～4相机在x、y方向的像点坐标方程求导；表示分别对相对外方位线元素求导；表示分别对相对外方位角元素ωi、κi求导；分别表示图1中全色镜头1～4相机的相对外方位线元素的改正量；dωi、dki表示图1中全色镜头1～4相机的相对外方位角元素ωi、κi的改正量。
对公式(8)各系数的推导结果如下：
式中，[xi yi]T为任意地面点在图1中全色镜头1～4相机像平面坐标系中的像点坐标；表示图1中全色镜头1～4相机的任意影像像点在虚拟像空间坐标系Sv中的像点坐标；ai、bi、ci为旋转矩阵分量。
5)根据步骤3的检校结果完成对图1中各镜头所含图2中各探测器影像的几何校正，通过裁切图4所示的各探测器影像的12个重叠区a～l加速同名点匹配，并通过SIFT特征提取、精化匹配点、粗差剔除等过程实现短基线影像的快速高精度匹配，获取多探测器影像重叠区的同名点。
鉴于图2的多探测器影像是一组短基线影像，通过点特征提取(Fostner特征算子、SIFT特征算子)、相似性测度(欧氏距离)、精化匹配点(最小二乘匹配)、匹配策略(金字塔影像匹配)、粗差剔除(RANSAC算法)等算法和流程开展一种短基线影像快速匹配，获取探测器重叠区的高精度同名点。
组合相机自检校的最终目的是保证各子相机在重叠区内的同名点在虚拟影像上保持一致，即满足像点坐标相等。参照图3的探测器重叠区示意，以图2中的中心探测器E及与其有重叠的探测器B、D、F、H为例，则可得：
同理，可得图2中B与A、C，H与G、I，D与A、G，F与C、I重叠区的像点坐标等式。在公式(9)中，(i取A～G)为图2中各探测器在如图3所示的重叠区a～l上的影像在虚拟像平面Sv-xvyv的像点坐标。
由于匹配过程存在误差，公式(9)无法保持完全相等，只能保持其总体误差最小。由图4可知，图2中探测器E与B、D、F、H的重叠区为c、f、g、i，则公式(9)可表示为：
同理，可得图2中其余探测器在图4中重叠区(B与A、C的重叠区b、d，H与G、I的重叠区k、l，D与A、G的重叠区a、h，F与C、I的重叠区e、j)的同名点的像点误差改正公式。在公式(10)中，(i取a～l)分别为图4中第i块重叠区内同名点像点误差在x、y方向的残差分量；(i取A～G)分别为图2中第i个探测器影像x、y方向的像点坐标在虚拟像平面Sv-xvyv上的投影坐标；分别为的近似值；Fix、Fiy分别表示图1中全色镜头1～4相机的x、y方向像点坐标成像方程；F′ix、F′iy分别为对Fix、Fiy的相对外方位元素求导。
6)将公式(8)带入公式(10)，可得多镜头多探测器航空相机的自检校误差方程。多探测器拼接式航空相机的自检校拼接的完成依据或最终目的是使各探测器在重叠区内的同名点在虚拟影像的点位误差最小。
7)根据步骤3)、5)、6)，逐点法化并根据最小二乘平差原理完成迭代求解，进而将相对方位元素初值与迭代结果累加，获得动态飞行时精确的相对方位元素。
当获取重叠区内同名点列表后，依据最小二乘平差原理，迭代求解，即可获取各子成像平面至虚拟像平面之间严密的投影转换关系。在迭代求解过程中，以步骤3所获的检校参数作为未知数初值，当所有外方位角元素增量均小于某一阈值时，迭代结束。将初始值与迭代结果累加，即可获得发生微变化后的相对外方位元素精确值。
通过最小二乘平差，自检校拼接精度可达到亚像元以内。
至此，图1、图2所示的一种多镜头多探测器航空相机即完成了多中心投影向等效单中心投影的转换，后续可依据精确的相对方位元素及间接采样完成虚拟影像拼接。
因此，自检校拼接的实质是依据相对方位元素转换的数学模型进行光束法区域网平差。多镜头多探测器影像最终应投影变换至虚拟像平面Sv-xvyv的基准内，通过自检校拼接生成等效单中心投影的大幅面虚拟影像。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。
Claims (2)
1.一种多镜头多探测器航空相机单中心投影转换方法，其特征在于步骤如下：
(1)从多镜头相机、多探测器中选择基准相机和基准探测器，根据基准探测器影像建立基准像平面坐标系和基准像空间坐标系，进一步选定虚拟单投影中心并构建虚拟像空间坐标系；
(2)根据步骤(1)，基于三维直角坐标变换，利用公共地物点地面坐标建立反映多镜头相机之间、多探测器之间相对方位关系的严密数学模型，进一步建立各镜头、各探测器像空间坐标系向虚拟像空间坐标系转换的数学模型；
(3)通过高精度三维控制场检校多镜头、多探测器的联合方位元素与畸变系数；
(4)根据步骤(2)建立的数学模型进行公式整理得到各探测器影像到虚拟像平面的像点转换公式，将像点坐标表示为相对外方位元素的函数，按泰勒公式展开并保留至小值一次项，完成建立顾及各镜头、各探测器影像在动态飞行时相对方位变化的数学模型；
(5)根据步骤(3)，完成各镜头内各探测器影像的几何校正，通过裁切探测器影像重叠区加速同名点匹配，并通过SIFT特征提取、精化匹配点、粗差剔除过程实现短基线影像的快速高精度匹配，获取多探测器影像重叠区的同名点；
(6)根据步骤(4)，以同名点坐标误差最小原则建立自检校误差方程；
(7)根据步骤(3)、(5)和(6)，逐点法化并根据最小二乘平差原理完成迭代求解，进而将相对方位元素初值与迭代结果累加，获得动态飞行时精确的相对方位元素，完成多中心投影向等效单中心投影的转换；
所述步骤(1)中建立基准像平面坐标系的具体方法为：
(11)选择多镜头多探测器中心视场所含的中心探测器作为基准探测器E；
(12)以基准探测器影像的几何中心点作为像平面坐标系原点o，构建右手平面直角坐标系o-xy，作为基准像平面坐标系；
所述步骤(1)中建立基准像空间坐标系的具体方法为：
(21)以多镜头相机中包含中心探测器的相机投影中心作为基准像空间坐标系的原点S；
(22)通过点S作平行于基准像平面坐标系x轴和y轴的轴线，以主光轴oS为z轴，其坐标正向取摄影方向的反方向，构成基准像空间坐标系S-xyz；
所述步骤(1)中建立虚拟像空间坐标系的具体方法为：
(31)以基准像空间坐标系S-xyz为起始坐标系；
(32)将除中心视场镜头外的其余多镜头相机的投影中心投影至S-xy平面，以其坐标平均值作为新的坐标原点Sv，并将x轴、y轴、z轴平移至以Sv为起点的三个坐标轴xv、yv、zv，即得虚拟像空间坐标系Sv-xvyvzv；
所述步骤(4)中建立顾及多探测器影像在动态飞行时相对方位变化的数学模型的具体方法为：
(41)相对基准探测器E，其它与其具有影像重叠区的多探测器称为非基准探测器，基于三维空间直角变换的七参数模型，即Bursa模型，利用公共地物点P，建立P点在基准探测器和非基准探测器影像上的像点坐标与物方空间坐标之间的数学模型；
(42)联立上述Bursa模型，得到非基准探测器所在相机，即非基准相机的像空间坐标系相对基准探测器E所在相机，即基准相机的基准像空间坐标系进行相对方位转换的数学模型：
式中，[Xe Ye Ze]T、[Xi Yi Zi]T分别为基准相机和非基准相机在摄影时刻的外方位线元素；为基准相机在摄影时刻的外方位角元素ωe和κe所构成的旋转矩阵；为非基准相机在摄影时刻的外方位角元素ωi和κi所构成的旋转矩阵；λe、λi分别为摄影时刻基准相机和非基准相机的像空间坐标系相对于地面坐标系的比例系数；[xe ye]T、[xi yi]T分别为地物点P在基准探测器影像和非基准探测器影像上的像点坐标；[xe0 ye0]T、[xi0 yi0]T分别为基准相机和非基准相机的像主点坐标；fe、fi分别为基准相机和非基准相机的主距；
(43)将基准像空间坐标系转换至虚拟像空间坐标系，并通过系数转换与变量替换来简化模型，得到非基准相机像空间坐标系、基准相机基准像空间坐标系相对虚拟像空间坐标系转换的数学模型：
式中，[xv0 yv0]T表示虚拟像空间坐标系Sv-xvyvzv的原点Sv在基准像空间坐标系S1-xyz中的坐标；[xvi yvi]T表示各相机、各探测器影像投影至虚拟像空间坐标系Sv-xvyvzv后的像点坐标；fi表示基准相机和非基准相机的主距；fv表示虚拟单中心投影相机主距；为变量替换后的平移向量；
(44)将像点坐标表示为相对方位元素的函数：
式中，xv、yv分别为像点在x、y方向的改正量；Fix、Fiy分别为基准相机、非基准相机在x、y方向的像点坐标方程；为基准相机、非基准相机的相对外方位元素在虚拟像空间坐标系Sv中的等效位移量；ωi、κi为基准相机、非基准相机的相对外方位角元素；
(45)按泰勒公式展开并保留至小值一次项，完成建立顾及多探测器影像在动态飞行时相对方位变化的数学模型：
式中，分别为像点在x、y方向的近似值；F′ix、F′iy表示分别基准相机、非基准相机在x、y方向的像点坐标方程求导；表示分别对相对外方位线元素求导；表示分别对相对外方位角元素ωi、κi求导；分别表示相对外方位线元素的改正量；dωi、dki表示相对外方位角元素ωi、κi的改正量。
2.根据权利要求1所述的一种多镜头多探测器航空相机单中心投影转换方法，其特征在于：所述步骤(3)的具体方法为：依托各镜头相机、各探测器所获的高精度地面三维控制场检校影像，量测标志点几何中心位置，并开展像点及其相应控制点坐标之间的联合平差，同时获取各单镜头相机内方位元素与畸变差，单镜头相机探测器之间、各相机探测器之间相对方位元素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611045928.7A CN106643669B (zh) | 2016-11-22 | 2016-11-22 | 一种多镜头多探测器航空相机单中心投影转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611045928.7A CN106643669B (zh) | 2016-11-22 | 2016-11-22 | 一种多镜头多探测器航空相机单中心投影转换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106643669A CN106643669A (zh) | 2017-05-10 |
| CN106643669B true CN106643669B (zh) | 2018-10-19 |
Family
ID=58811775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611045928.7A Active CN106643669B (zh) | 2016-11-22 | 2016-11-22 | 一种多镜头多探测器航空相机单中心投影转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106643669B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107492069B (zh) * | 2017-07-01 | 2021-01-26 | 国网浙江省电力公司宁波供电公司 | 基于多镜头传感器的图像融合方法 |
| CN108955642B (zh) * | 2018-05-07 | 2020-09-01 | 江苏师范大学 | 一种大幅面等效中心投影影像无缝拼接方法 |
| DE102018007455B4 (de) * | 2018-09-21 | 2020-07-09 | Carl Zeiss Multisem Gmbh | Verfahren zum Detektorabgleich bei der Abbildung von Objekten mittels eines Mehrstrahl-Teilchenmikroskops, System sowie Computerprogrammprodukt |
| CN109120826B (zh) * | 2018-09-30 | 2021-02-09 | 北京空间机电研究所 | 一种大幅面相机内外视场混合拼接方法 |
| CN109188852B (zh) * | 2018-10-17 | 2020-11-10 | 北京空间机电研究所 | 一种适用于非对称视场的拼接式相机的实验室检校方法 |
| CN109712249B (zh) * | 2018-12-31 | 2023-05-26 | 成都纵横大鹏无人机科技有限公司 | 地理要素增强现实方法及装置 |
| CN112082571B (zh) * | 2020-07-24 | 2022-09-23 | 北京空间机电研究所 | 一种大幅面测绘相机系统及检校方法 |
| CN112070663B (zh) * | 2020-07-24 | 2024-03-29 | 北京空间机电研究所 | 一种多探测器拼接型相机辐射定标联合数据处理方法 |
| CN112258445B (zh) * | 2020-08-21 | 2022-08-02 | 西北工业大学 | 一种航空发动机错漏装检测视点求解方法 |
| CN112634133B (zh) * | 2020-12-07 | 2022-04-29 | 武汉大学 | 基于云控制的多镜头多面阵航空相机检校及影像虚拟拼接方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102636159A (zh) * | 2012-04-18 | 2012-08-15 | 中国人民解放军总参谋部测绘研究所 | 多镜头航天线阵相机系统在轨几何自检校方法 |
| CN103364012A (zh) * | 2013-07-18 | 2013-10-23 | 中测新图(北京)遥感技术有限责任公司 | 一种带约束条件的多面阵航摄仪平台检校方法 |
| CN103697864A (zh) * | 2013-12-27 | 2014-04-02 | 武汉大学 | 一种基于大虚拟相机的窄视场双相机影像拼接方法 |
| CN105571587A (zh) * | 2016-01-16 | 2016-05-11 | 深圳先进技术研究院 | 基于导航飞艇的大数据采集、监控及制图系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6954310B2 (en) * | 2003-09-25 | 2005-10-11 | University Of Florida Research Foundation, Inc. | High resolution multi-lens imaging device |
| CA2819956C (en) * | 2013-07-02 | 2022-07-12 | Guy Martin | High accuracy camera modelling and calibration method |
-
2016
- 2016-11-22 CN CN201611045928.7A patent/CN106643669B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102636159A (zh) * | 2012-04-18 | 2012-08-15 | 中国人民解放军总参谋部测绘研究所 | 多镜头航天线阵相机系统在轨几何自检校方法 |
| CN103364012A (zh) * | 2013-07-18 | 2013-10-23 | 中测新图(北京)遥感技术有限责任公司 | 一种带约束条件的多面阵航摄仪平台检校方法 |
| CN103697864A (zh) * | 2013-12-27 | 2014-04-02 | 武汉大学 | 一种基于大虚拟相机的窄视场双相机影像拼接方法 |
| CN105571587A (zh) * | 2016-01-16 | 2016-05-11 | 深圳先进技术研究院 | 基于导航飞艇的大数据采集、监控及制图系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106643669A (zh) | 2017-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106643669B (zh) | 一种多镜头多探测器航空相机单中心投影转换方法 | |
| CN110296691B (zh) | 融合imu标定的双目立体视觉测量方法与系统 | |
| CN108648240B (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
| CN106683173B (zh) | 一种基于邻域块匹配提高三维重建点云稠密程度的方法 | |
| CN107492069B (zh) | 基于多镜头传感器的图像融合方法 | |
| CN108168521A (zh) | 一种基于无人机实现景观三维可视化的方法 | |
| CN109272570A (zh) | 一种基于立体视觉数学模型的空间点三维坐标求解方法 | |
| CN100428805C (zh) | 仅用一幅平面标定物图像的摄像机标定方法 | |
| CN109903227A (zh) | 基于相机几何位置关系的全景影像拼接方法 | |
| CN104677277B (zh) | 一种测量物体几何属性或距离的方法及系统 | |
| CN110319772B (zh) | 基于无人机的视觉大跨度测距方法 | |
| CN106228538A (zh) | 基于logo的双目视觉室内定位方法 | |
| CN101354796B (zh) | 基于泰勒级数模型的全向立体视觉三维重建方法 | |
| CN107014399A (zh) | 一种星载光学相机‑激光测距仪组合系统联合检校方法 | |
| CN112598740B (zh) | 一种大范围多视倾斜影像连接点快速精确匹配方法 | |
| CN112929626B (zh) | 一种基于智能手机影像的三维信息提取方法 | |
| TW202214487A (zh) | 協同3d測繪及表面套合技術 | |
| CN103697864A (zh) | 一种基于大虚拟相机的窄视场双相机影像拼接方法 | |
| CN110246194A (zh) | 一种像机与惯性测量单元旋转关系快速标定方法 | |
| CN110986888A (zh) | 一种航空摄影一体化方法 | |
| CN109029379B (zh) | 一种高精度小基高比立体测绘方法 | |
| CN110097623A (zh) | 一种非同源图像数据信息融合处理方法及系统 | |
| CA3108547A1 (en) | Collaborative 3d mapping and surface registration | |
| CN102519484B (zh) | 一种旋转摄影测量系统多片整体平差标定方法 | |
| Zhao et al. | Digital Elevation Model‐Assisted Aerial Triangulation Method On An Unmanned Aerial Vehicle Sweeping Camera System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |