CN104318540A - 一种利用cpu与gpu协同的航空影像在线拼接方法 - Google Patents

Abstract

本发明公开了一种利用CPU与GPU协同的航空影像在线拼接方法，直接利用POS数据和平均高程面纠正影像，来代替传统的连接点提取以及自动空三等摄影测量过程，同时在CPU端计算当前影像与对应的纠正影像之间的单应变换关系，来代替传统的基于共线方程的点到点的数字微分纠正过程，然后利用GPU并行计算实现影像的纠正过程；由于航空影像间具有较大重叠度，采用基于预计算的自适应拼接方法，即通过计算后续影像的重叠度以判断当前影像是否需要拼接，很大程度上减少了冗余计算。有效的实现了航空影像的在线实时拼接，快速生成带有地理坐标的全景影像。

Description

一种利用CPU与GPU协同的航空影像在线拼接方法

技术领域

本发明涉及航空影像处理技术领域，特别涉及一种利用CPU与GPU协同的航空影像在线拼接方法。

背景技术

地震等地质灾害之后，快速获取灾害场景的影像是支持应急救援的关键技术之一。航空摄影测量可以为应急响应提供直观、高分辨率的正射影像图，可以获取灾害场景的高精度信息，但生成正射影像图时间较长。因此亟需通过快速拼接获取全景影像图。机载影像实时拼接能够保证在航飞完毕后即提供全景影像拼接结果。该全景影像可以作为灾情评估的第一手资料，给灾害应急响应宏观决策提供支持。

针对影像拼接，目前国内外开展的研究可以分为基于微分纠正的正射影像拼接方法与基于特征匹配的影像拼接方法两类：

(1)随着计算机科学的发展，基于摄影测量的影像处理速度也得到了巨大的提升，如法国欧空局推出的像素工厂(Pixel Factory)以及武汉大学研制的数字摄影测量网格(DPGrid)，然而这些系统都是在获取到全部影像后再对影像进行处理，不能适用于影像的机载实时处理。基于正射影像拼接的方法，采用摄影测量处理流程获取正射影像，然后再通过镶嵌线优化、匀光匀色等过程，可以获取无缝镶嵌的正射影像图。国内外的重要参考文献如：张祖勋,2007.从数字摄影测量工作站(DPW)到数字摄影测量网格(DPGrid).武汉大学学报(信息科学版),2007,32(7):565-571；Pan J,Wang M,Li D and Jonathan L.,2009.Automatic generation ofseamline network using the area voronoi diagram with overlap.IEEE Transactions on Geoscienceand Remote Sensing,47(6):1737-1744；Afek Y,and Brand A.,1998.Mosaicing of orthorectifiedaerial image,Photogrammetric Engineering&Remote Sensing,64(2):115-125；Fernández E,Garfinkel R and Arbiol R.,1998.Mosaicking of aerial Photographic maps via seams defined byBottleneck Shortest Paths,Operations Research,46(3):293-304；袁修孝,钟灿,2012.一种改进的正射影像镶嵌线最小化最大搜索算法.测绘学报,41(2):199-204等。

(2)基于特征匹配的影像拼接方法，首先在两幅影像上提取特征进行匹配，然后通过同名特征计算影像间的关系，实现全景影像的拼接。计算机领域的学者针对全景影像拼接开展了大量的研究，国内外的重要参考文献如：Brown M and Lowe D G.,2007.Automatic panoramicimage stitching using invariant features,International Journal of Computer Vision,74(1),pp:59-73；Kanazawa Y,Kanatani K,2004.Image mosaicing by stratified maching.Image and VisionComputing,22(2):93-103；李艳丽,向辉,2007.稳健的球面全景图全自动生成算法.计算机辅助设计与图形学学报,19(11):1393-1398等。随着无人机的快速发展，很多学者又将全景影像的方法发展到无人机影像的拼接中，国内外重要参考文献如：宫阿都,何孝莹,雷添杰,李京,2010.无控制点数据的无人机影像快速处理.地球信息科学学报,12(2):254-259；何敬,李永树,鲁恒,任志明,2011.基于SIFT特征点的无人机影像拼接方法研究.光电工程,38(2):122-126；Turkbeyler E,Harris C,Evans R.,2008.Building aerial mosaics for Visual MTI.In:5thEMRS DTC Technical Conference,Edinburgh.Yuping L,Medioni G.2008.Map-Enhanced UAVimage sequence registration and synchronization of multiple image sequences.In:IEEE Conferenceon Computer Vision and Pattern Recognition,pp.1-7；王勃,龚志辉,靳克强,张一平,2010,基于SURF的无人机影像快速拼接算法.测绘科学,35(S2):109-111等。

但是，这些研究都是在地面常规条件下，利用摄影测量处理方法将影像纠正成正射影像再进行拼接，或者利用耗时的同名点计算影像间的关系再进行拼接，难以满足机载实时拼接的要求。针对机载影像的实时处理，文献：郑顺义,马电,桂力,王晓南,2014.一种ARM+DSP架构的机载影像实时拼接方法,武汉大学学报.信息科学版,39(1):1-7.提出了一种基于硬件实现的机载影像实时拼接方法，可以达到实时拼接的目的，但采用硬件实现，开发成本较高，而且对具有高重叠度的影像全部影像进行拼接，不仅会影响拼接效率，而且由于没有采用基于镶嵌线的方式进行拼接，在影像重叠度较高时，冗余的影像会引起更多的拼接线，从而影响全景影像的视觉效果。机载传感器数据的实时处理对应急响应等突发情况具有重要意义，基于图像配准的影像拼接或者基于摄影测量过程的影像拼接，都难以满足影像的实时拼接要求。

而图形处理器GPU作为一种通用计算设备，将更多的晶体管作为执行单元，计算能力远远超过传统的中央处理器CPU，使许多问题通过GPU解决，为遥感影像的快速处理提供了一种新的解决方案。然而还没有任何技术表明能够通过GPU实现遥感影像的在线拼接。

发明内容

本发明的目的在于针对航空影像在线实时拼接的计算瓶颈，提供一种利用CPU与GPU协同的航空影像在线拼接方法，直接利用POS数据将影像纠正至平均高程面，来代替传统的特征点提取以及摄影测量处理过程，实现机载影像的实时拼接。

一种利用CPU与GPU协同的航空影像在线拼接方法，包括以下几个步骤：

步骤1：依据航线规划图对全景图像的长度进行初始化设定，得到全景图像的最大长度预估值，并启动航空相机，获取航空相机拍摄的影像及对应的POS数据，并将航空相机拍摄的影像存储于指定文件夹中；

步骤2：采用影像列表记录已拍摄的影像名字和参与拼接的影像对应的纠正影像在全景图像上的位置范围，并将第一张拍摄的影像作为第一张拼接图像；

步骤3：扫描所述指定文件夹，更新影像列表；

依据当前全景图像长度判断影像拼接流程是否结束，若当前全景图像长度大于或等于全景图像最大长度预估值，则进入步骤7；

否则，判断是否有新影像产生，如有，则更新影像列表，进入步骤4；若没有，返回步骤3；

步骤4：依据更新后的影像列表，对加入影像列表的影像进行参与拼接判断处理；

按拍摄的时间先后顺序取出影像列表中第一张未处理的影像作为当前影像，采用CPU基于当前影像的POS数据，计算当前影像的纠正影像到当前影像的单应矩阵H，确定当前影像的纠正影像位于全景图像的位置；

【遥感影像存在几何畸变，利用计算机进行处理时，需要对其进行纠正；纠正方法属于现有技术；】

步骤5：判断当前影像是否参与全景图像的拼接；

依据步骤4得到的当前影像的纠正影像位于全景图像的位置，计算当前影像与前一张拼接影像的重叠度O₁，若O₁<T，则判定当前影像参与全景图像的拼接，进入步骤6；否则，返回步骤3；

其中，T为设定的拼接阈值；

步骤6：将当前影像和对应的单应矩阵H输入GPU内存中，利用GPU获取当前影像的纠正图像，进行影像拼接，并判断当前全景图像长度是否大于或等于全景图像最大长度预估值，若大于或等于，则进入步骤7，若小于，则判断当前影像列表中是否存在未进行参与拼接判断处理的影像；若有，则返回步骤4，否则，返回步骤3；

所述影像拼接是指在GPU中采用间接纠正的方式，采用双线性插值循环采样获取纠正影像上的每个像素坐标的像素值，得到纠正图像，并将纠正图像复制到CPU内存，叠加至全景图像中；

步骤7：求解当前全景图像的最大外接矩形，输出所求得最大外接矩形包含的图像，即为所要拼接的全景图像。

所述单应矩阵H采用以下公式计算：

$H=\left[\begin{array}{ccc}{H}_1& H_2& H_3\\ H_4& H_5& H_6\\ H_7& H_8& H_9\end{array}\right]=\left[\begin{array}{ccc}-f& 0& u_0\\ 0& -f& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right]\left[\begin{array}{ccc}1& 0& -X_S\\ 0& 1& -Y_S\\ 0& 0& \stackrel{\&OverBar;}{H}\end{array}\right]\left[\begin{array}{ccc}\mathrm{GSD}& 0& X_0\\ 0& \mathrm{GSD}& Y_0\\ 0& 0& 1\end{array}\right]$

其中，f为以像素为单位的相机焦距，u₀，v₀分别为以像素为单位的影像高度和宽度的一半，(x，y)为当前影像像素坐标下的坐标(指的是以影像左上角为原点，向右为x方向，向下为y方向的坐标系)；

所述POS数据包括位置参数(Xs，Ys，Zs)和姿态参数其中，位置参数为外方位线元素，姿态参数为外方位角元素；

(a₁a₂a₃；b₁b₂b₃；c₁c₂c₃)为根据POS数据的外方位元素角元素计算得到的旋转矩阵元素：

b₁＝cosωsinκ

b₂＝cosωcosκ

b₃＝-sinω

为飞机飞行相对地面平均的高度；(Xs，Ys)为从POS数据中获取的当前影像外方位元素线元素，(X₀，Y₀)为拼接影像中原点对应的物方坐标；GSD为纠正影像对应的地面分辨率大小。

所述当前影像的纠正影像位于全景图像的位置的计算公式如下：

$\left\{\begin{array}{c}i=\frac{H_1^{\&prime;}x+H_2^{\&prime;}y+H_3^{\&prime;}}{H_7^{\&prime;}x+H_8^{\&prime;}y+H_9^{\&prime;}}\\ j=\frac{H_4^{\&prime;}x+H_5^{\&prime;}y+H_6^{\&prime;}}{H_7^{\&prime;}x+H_8^{\&prime;}y+H_9^{\&prime;}}\end{array}\right.$

其中，(i，j)为当前影像中像素点在拼接影像中的像素坐标， $H^{\&prime;}=\left[\begin{array}{ccc}{H}_1^{\&prime;}& H_2^{\&prime;}& H_3^{\&prime;}\\ H_4^{\&prime;}& H_5^{\&prime;}& H_6^{\&prime;}\\ H_7^{\&prime;}& H_8^{\&prime;}& H_9^{\&prime;}\end{array}\right]={\left[\begin{array}{ccc}{H}_1& H_2& H_3\\ H_4& H_5& H_6\\ H_7& H_8& H_9\end{array}\right]}^{-1}.$

所述步骤3中如有新影像产生，则将新影像存储至指定文件夹中，进行影像列表更新：

当新影像列表记录的已拍摄影像数量大于更新前的影像列表记录的已拍摄影像数量时，影像列表更新成功，影像拼接主进程继续进行影像拼接，进入步骤4；

当新影像列表记录的已拍摄影像数量等于更新前的影像列表记录的已拍摄影像数量时，影像列表更新失败，在指定的等待时间内等待影像拍摄，等待时间结束后，返回步骤3，直到影像列表更新成功。

有益效果

本发明提出了一种利用CPU与GPU协同的航空影像在线拼接方法，克服了目前的影像拼接技术如利用图像信息拼接或利用摄影测量过程进行拼接难以满足影像的实时拼接要求，快速获取大范围完整信息，实现了航空影像在线实时拼接。

GPU通过增加并行处理单元和存储器控制单元的方式提高处理能力和存储器带宽，对相互间没有关联计算密集型任务具有显著的提升效果；而CPU擅长处理逻辑性较强的任务。影像变换以及采样是逐像素处理，而且存在像素无关性，是典型的计算密集型任务，本发明将GPU技术用于以上影像的实时拼接过程。

根据以上CPU与GPU的特点，本发明没有将影像的拼接过程完全移植至GPU端，利用GPU加速拼接过程中的密集任务，如影像纠正、以及采样过程；CPU则控制影像拼接过程逻辑，如变换参数计算、获取变换以及采样以后的结果影像后，将纠正影像拷贝至CPU内存并叠加至拼接结果中，从而实现了CPU和GPU的协同处理。

附图说明

图1为本发明所述方法的流程示意图；

图2为影像列表更新流程示意图；

图3为基于影像重叠率的影像拼接流程图；

图4为基于影像重叠度预估计的拼接示意图；

图5为航空影像在线拼接结果示意图。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

如图1所示，一种利用CPU与GPU协同的航空影像在线拼接方法，包括以下几个步骤：

步骤1：依据航线规划图对全景图像的长度进行初始化设定，得到全景图像的最大长度预估值，并启动航空相机，获取航空相机拍摄的影像及对应的POS数据，并将航空相机拍摄的影像存储于指定文件夹中；

设置相机焦距(以毫米为单位)、拍摄影像高度(以像素为单位)、宽度(以像素为单位)、飞机相对于地面平均水平面的高度(以米为单位)、像素的大小(以微米为单位)；

步骤2：采用影像列表记录已拍摄的影像名字和参与拼接的影像对应的纠正影像在全景图像上的位置范围，并将第一张拍摄的影像作为第一张拼接图像；

步骤3：扫描所述指定文件夹，更新影像列表；

依据当前全景图像长度判断影像拼接流程是否结束，若当前全景图像长度大于或等于全景图像最大长度预估值，则进入步骤7；

否则，判断是否有新影像产生，如有，则更新影像列表，进入步骤4；若没有，返回步骤3；

在机载影像的实时拼接过程中，有可能由于影像拼接速度低于影像拍摄速度而存在过剩影像，在这种情况下如果采取拼接一张更新一次的方就会造成资源浪费，降低影像的拼接速度；而如果影像的拼接速度高于影像拍摄速度就会造成影像列表更新失败，不能准确获取影像信息。

针对这些情况，采用如图2所示的方式来不断更新影像列表，来保证拼接过程的不断进行：

如有新影像产生，则将新影像存储至指定文件夹中，进行影像列表更新：

当新影像列表记录的已拍摄影像数量大于更新前的影像列表记录的已拍摄影像数量时，影像列表更新成功，影像拼接主进程继续进行影像拼接，进入步骤4；

当新影像列表记录的已拍摄影像数量等于更新前的影像列表记录的已拍摄影像数量时，影像列表更新失败，在指定的等待时间内等待影像拍摄，等待时间结束后，返回步骤3，直到影像列表更新成功。

步骤4：依据更新后的影像列表，对加入影像列表的影像进行参与拼接判断处理；

按拍摄的时间先后顺序取出影像列表中第一张未处理的影像作为当前影像，采用CPU基于当前影像的POS数据，计算当前影像的纠正影像到当前影像的单应矩阵H，确定当前影像的纠正影像位于全景图像的位置；

【遥感影像存在几何畸变，利用计算机进行处理时，需要对其进行纠正；纠正方法属于现有技术；】

所述单应矩阵H采用以下公式计算：

$H=\left[\begin{array}{ccc}{H}_1& H_2& H_3\\ H_4& H_5& H_6\\ H_7& H_8& H_9\end{array}\right]=\left[\begin{array}{ccc}-f& 0& u_0\\ 0& -f& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right]\left[\begin{array}{ccc}1& 0& -X_S\\ 0& 1& -Y_S\\ 0& 0& \stackrel{\&OverBar;}{H}\end{array}\right]\left[\begin{array}{ccc}\mathrm{GSD}& 0& X_0\\ 0& \mathrm{GSD}& Y_0\\ 0& 0& 1\end{array}\right]$

其中，f为以像素为单位的相机焦距，u₀，v₀分别为以像素为单位的影像高度和宽度的一半，(x，y)为当前影像像素坐标下的坐标(指的是以影像左上角为原点，向右为x方向，向下为y方向的坐标系)；

所述POS数据包括位置参数(Xs，Ys，Zs)和姿态参数其中，位置参数为外方位线元素，姿态参数为外方位角元素；

(a₁a₂a₃；b₁b₂b₃；c₁c₂c₃)为根据POS数据的外方位元素角元素计算得到的旋转矩阵元素：

b₁＝cosωsinκ

b₂＝cosωcosκ

b₃＝-sinω

为飞机飞行相对地面平均的高度；(Xs，Ys)为从POS数据中获取的当前影像外方位元素线元素，(X₀，Y₀)为拼接影像中原点对应的物方坐标；GSD为纠正影像对应的地面分辨率大小。

所述当前影像的纠正影像位于全景图像的位置的计算公式如下：

$\left\{\begin{array}{c}i=\frac{H_1^{\&prime;}x+H_2^{\&prime;}y+H_3^{\&prime;}}{H_7^{\&prime;}x+H_8^{\&prime;}y+H_9^{\&prime;}}\\ j=\frac{H_4^{\&prime;}x+H_5^{\&prime;}y+H_6^{\&prime;}}{H_7^{\&prime;}x+H_8^{\&prime;}y+H_9^{\&prime;}}\end{array}\right.$

其中，(i，j)为当前影像中像素点在拼接影像中的像素坐标， $H^{\&prime;}=\left[\begin{array}{ccc}{H}_1^{\&prime;}& H_2^{\&prime;}& H_3^{\&prime;}\\ H_4^{\&prime;}& H_5^{\&prime;}& H_6^{\&prime;}\\ H_7^{\&prime;}& H_8^{\&prime;}& H_9^{\&prime;}\end{array}\right]={\left[\begin{array}{ccc}{H}_1& H_2& H_3\\ H_4& H_5& H_6\\ H_7& H_8& H_9\end{array}\right]}^{-1}.$

步骤5：判断当前影像是否参与全景图像的拼接，如图3所示；

依据步骤4得到的当前影像的纠正影像位于全景图像的位置，计算当前影像与前一张拼接影像的重叠度O₁，若O₁<T，则判定当前影像参与全景图像的拼接，进入步骤6；否则，返回步骤3；

其中，T为设定的拼接阈值；

本实例中，具体过程如下：

(1)获取当前影像如图4所示的影像B，计算当前影像与上一张拼接影像如图4所示的影像A的重叠度O₁，并与拼接阈值T进行比较，当重叠度小于拼接阈值时，转(2)，反之转至(3)；

(2)将影像B拼接至全景影像中，并保存影像名称以及其在拼接影像中的范围坐标，转(1)，继续等待下一幅影像；

(3)保存该影像的名称以及其在拼接影像中的坐标范围，然后直接获取并处理下一张影像如图4所示的影像C，计算该影像与影像A的重叠度O₂。

(4)当O₂＝0时，将影像B拼接至全景影像中，并保存影像名称以及其在拼接影像中的范围坐标，转至(1)；当O₂>0时，如果重叠度大于拼接阈值，丢弃C，转向(3)，若小于拼接阈值，则将影像C拼接至全景影像中，并保存影像名称以及其在拼接影像中的范围坐标，转至(1)。

步骤6：将当前影像和对应的单应矩阵H输入GPU内存中，利用GPU获取当前影像的纠正图像，进行影像拼接，并判断当前全景图像长度是否大于或等于全景图像最大长度预估值，若大于或等于，则进入步骤7，若小于，则判断当前影像列表中是否存在未进行参与拼接判断处理的影像；若有，则返回步骤4，否则，返回步骤3；

所述影像拼接是指在GPU中采用间接纠正的方式，采用双线性插值循环采样获取纠正影像上的每个像素坐标的像素值，得到纠正图像，并将纠正图像复制到CPU内存，叠加至全景图像中；

步骤7：求解当前全景图像的最大外接矩形，输出所求得最大外接矩形包含的图像，即为所要拼接的全景图像。

由于在系统初始化时，采用尽可能分配多的内存用于影像拼接，拼接结果中可能存在大量空白而没有影像信息，为生成只包含影像信息的拼接结果，在拼接过程中保存拼接结果的最小外接矩形，当每张影像拼接完成后就对该外接矩形进行更新。当拼接过程完成后可以在该外接矩形中生成只包含拼接结果的影像，并且输出对应的地理坐标。

基于本发明实现的航空影像在线拼接系统对某区域进行了模拟实验，实验条件为：处理器Intel Core i5-9204核；主频3.10GHz；内存4G；显卡NVIDIA GeForce GTX650；显存1G；操作系统Windows764bit。

通过测试，共完成影像拼接354张，其拼接结果如图5所示，实验证明，本发明能满足实时拼接的要求。

Claims (4)

1.一种利用CPU与GPU协同的航空影像在线拼接方法，其特征在于，包括以下几个步骤：

步骤1：依据航线规划图对全景图像的长度进行初始化设定，得到全景图像的最大长度预估值，并启动航空相机，获取航空相机拍摄的影像及对应的POS数据，并将航空相机拍摄的影像存储于指定文件夹中；

步骤2：采用影像列表记录已拍摄的影像名字和参与拼接的影像对应的纠正影像在全景图像上的位置范围，并将第一张拍摄的影像作为第一张拼接图像；

步骤3：扫描所述指定文件夹，更新影像列表；

依据当前全景图像长度判断影像拼接流程是否结束，若当前全景图像长度大于或等于全景图像最大长度预估值，则进入步骤7；

否则，判断是否有新影像产生，如有，则更新影像列表，进入步骤4；若没有，返回步骤3；

步骤4：依据更新后的影像列表，对加入影像列表的影像进行参与拼接判断处理；

按拍摄的时间先后顺序取出影像列表中第一张未处理的影像作为当前影像，采用CPU基于当前影像的POS数据，计算当前影像的纠正影像到当前影像的单应矩阵H，确定当前影像的纠正影像位于全景图像的位置；

步骤5：判断当前影像是否参与全景图像的拼接；

依据步骤4得到的当前影像的纠正影像位于全景图像的位置，计算当前影像与前一张拼接影像的重叠度O₁，若O₁<T，则判定当前影像参与全景图像的拼接，进入步骤6；否则，返回步骤3；

其中，T为设定的拼接阈值；

步骤6：将当前影像和对应的单应矩阵H输入GPU内存中，利用GPU获取当前影像的纠正图像，进行影像拼接，并判断当前全景图像长度是否大于或等于全景图像最大长度预估值，若大于或等于，则进入步骤7，若小于，则判断当前影像列表中是否存在未进行参与拼接判断处理的影像；若有，则返回步骤4，否则，返回步骤3；

所述影像拼接是指在GPU中采用间接纠正的方式，采用双线性插值循环采样获取纠正影像上的每个像素坐标的像素值，得到纠正图像，并将纠正图像复制到CPU内存，叠加至全景图像中；

步骤7：求解当前全景图像的最大外接矩形，输出所求得最大外接矩形包含的图像，即为所要拼接的全景图像。

2.根据权利要求1所述的利用CPU与GPU协同的航空影像在线拼接方法，其特征在于，所述单应矩阵H采用以下公式计算：

$H=\left[\begin{array}{ccc}{H}_1& H_2& H_3\\ H_4& H_5& H_6\\ H_7& H_8& H_9\end{array}\right]=\left[\begin{array}{ccc}-f& 0& u_0\\ 0& -f& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right]\left[\begin{array}{ccc}1& 0& -X_S\\ 0& 1& {-Y}_S\\ 0& 0& \stackrel{\&OverBar;}{H}\end{array}\right]\left[\begin{array}{ccc}\mathrm{GSD}& 0& X_0\\ 0& \mathrm{GSD}& Y_0\\ 0& 0& 1\end{array}\right]$

其中，f为以像素为单位的相机焦距，u₀，v₀分别为以像素为单位的影像高度和宽度的一半，(x，y)为当前影像像素坐标下的坐标(指的是以影像左上角为原点，向右为x方向，向下为y方向的坐标系)；

所述POS数据包括位置参数(Xs，Ys，Zs)和姿态参数其中，位置参数为外方位线元素，姿态参数为外方位角元素；

(a₁a₂a₃；b₁b₂b₃；c₁c₂c₃)为根据POS数据的外方位元素角元素计算得到的旋转矩阵元素：

b₁＝cosωsinκ

b₂＝cosωcosκ

b₃＝-sinω

为飞机飞行相对地面平均的高度；(Xs，Ys)为从POS数据中获取的当前影像外方位元素线元素，(X₀，Y₀)为拼接影像中原点对应的物方坐标；GSD为纠正影像对应的地面分辨率大小。

3.根据权利要求2所述的利用CPU与GPU协同的航空影像在线拼接方法，其特征在于，所述当前影像的纠正影像位于全景图像的位置的计算公式如下：

$\left\{\begin{array}{c}i=\frac{H_1^{\&prime;}x+H_2^{\&prime;}y+H_3^{\&prime;}}{H_7^{\&prime;}x+H_8^{\&prime;}y+H_9^{\&prime;}}\\ j=\frac{H_4^{\&prime;}x+H_5^{\&prime;}y+H_6^{\&prime;}}{H_7^{\&prime;}x+H_8^{\&prime;}y+H_9^{\&prime;}}\end{array}\right.$

其中，(i，j)为当前影像中像素点在拼接影像中的像素坐标，

$H^{\&prime;}=\left[\begin{array}{ccc}{H}_1^{\&prime;}& H_2^{\&prime;}& H_3^{\&prime;}\\ H_4^{\&prime;}& H_5^{\&prime;}& H_6^{\&prime;}\\ H_7^{\&prime;}& H_8^{\&prime;}& H_9^{\&prime;}\end{array}\right]={\left[\begin{array}{ccc}{H}_1& H_2& H_3\\ H_4& H_5& H_6\\ H_7& H_8& H_9\end{array}\right]}^{-1}.$

4.根据权利要求1-3任一项所述的利用CPU与GPU协同的航空影像在线拼接方法，其特征在于，所述步骤3中如有新影像产生，则将新影像存储至指定文件夹中，进行影像列表更新：

当新影像列表记录的已拍摄影像数量大于更新前的影像列表记录的已拍摄影像数量时，影像列表更新成功，影像拼接主进程继续进行影像拼接，进入步骤4；

当新影像列表记录的已拍摄影像数量等于更新前的影像列表记录的已拍摄影像数量时，影像列表更新失败，在指定的等待时间内等待影像拍摄，等待时间结束后，返回步骤3，直到影像列表更新成功。