CN110940318A - 航空遥感实时成像方法、电子设备以及存储介质 - Google Patents

Abstract

涉及遥感技术领域，本申请涉及一种航空遥感实时成像方法、电子设备以及存储介质，包括步骤：根据目标区域的位置与面积规划航线；沿航线飞行，并对目标区域进行扫描成像；在所述原始数据中生成各图像文件及其成像时刻的位置和姿态数据；对得到的原始数据预处理得到纠正后影像；将纠正后影像输送至成像模型，并依据位置坐标信息拼接为目标区域的全景图像。采用以上成像方法，使得航拍相机形成特定规律摆动，从而拍摄得到覆盖面较宽的影像数据，增大航带间隔，减少空中作业时间，提高数据获取效率，并可实时对图像数据进行处理，获取具有位置坐标的纠正图像，在应急监测中具有较大的应用价值。

Description

航空遥感实时成像方法、电子设备以及存储介质

技术领域

本申请涉及遥感技术领域，尤其涉及一种实时全景快速拼接成像的航空遥感实时成像方法、电子设备以及存储介质。

背景技术

如今在应急场景及类似的特定场景下，常规的航空遥感方法已逐渐满足不了应用需求，急需快速有效的获取具有绝对地理位置坐标的后处理影像数据；传统航空摄影使用特定的航拍相机获取数据后，需等飞行落地后，将影像拷贝出，使用专门的软件进行预处理才能输出Jpeg或Tiff这种常规格式的影像，且不具有位置坐标信息，不能快速拼接成具有地理坐标的图像。若需生成具有地理坐标的拼接图像，需要经过传统的繁杂空三平差处理和图像纠正过程，此种模式远远满足不了应急地区影像查看、地形分析使用的需求；让用户能及时有效的得到具有位置坐标的全景图像是当下应急遥感监测中亟需解决的问题。

发明内容

为了解决上述技术问题，本申请提供了一种实时全景快速拼接成像的航空遥感实时成像方法、电子设备以及存储介质。

第一方面，本申请提供了一种航空遥感实时成像方法，包括步骤：

根据目标区域的位置与面积规划航线，计算出预定的每摆扫行的触发点位置、相机摆扫角度及曝光间隔；

沿航线飞行，并对目标区域进行扫描成像；

在所述原始数据中生成各图像文件及其成像时刻的位置和姿态数据；

对得到的原始数据预处理得到纠正后影像；

将纠正后影像输送至成像模型，并依据其成像时刻的位置和姿态数据拼接为目标区域的全景图像。

根据本申请的一实施例，所述沿航线飞行，并对目标区域进行扫描成像，包括：

沿飞行器翼展方向的视场划分为若干个相互重叠的子视场；

扫描成像过程中沿翼展方向进行摆扫，以对多个所述子视场分别进行成像。

根据本申请的一实施例，所述沿航线飞行，并对目标区域进行扫描成像，包括：

根据触发点位置与当前飞机位置及速度计算触发时刻，根据飞行计划的相机的摆幅和曝光时间间隔进行成像。

根据本申请的一实施例，所述扫描成像过程中沿翼展方向进行摆扫，以对多个所述子视场分别进行成像，包括：

当对准某一子视场成像时，摆扫运动停止，并控制相机成像，完成曝光后相机视场继续受控摆扫至下一子视场；

当完成一行的摆扫成像后，将继续反向摆扫实现下一行的摆扫成像。

根据本申请的一实施例，所述对得到的原始数据预处理得到纠正后影像，包括：

根据最终实时成像效率需求，确定对应的抽片模式；

根据对应的所述抽片模式，在原始数据中间隔给定片数选取图像进行图像纠正处理。

根据本申请的一实施例，所述对得到的原始数据预处理得到纠正后影像，包括：

消除地形投影差及成像倾角的影响，将中心投影照片，转换成正射投影影像，实现正射纠正；

根据照片四个角点像点坐标、焦距、成像时刻的位置和姿态信息，利用共线方程即可获得成像区域的外接矩形，根据其左上角坐标和采样间距，可以获得全部规格格网采样点的物方坐标(X，Y)，并根据数字高程模型(Digital Elevation Model，简称DEM)数据可获得该物方坐标高程值(Z)；根据共线方程即可获得每一个物方格网点对应的像点坐标(x,y)；

将每个物方点的像点坐标x，y除以影像像元大小，即可获得以行列数表达的影像坐标，从而可以获得整个成像区域外接矩形格网点对应的影像坐标行列数映射矩阵；

基于此映射矩阵，即可对原始影像重采样，采样算法可以采用最邻近、双线性或者三次卷积等；

进行重采样，从而获得纠正后正射影像。

根据本申请的一实施例，通过如下共线方程将照片四个角点投影到地面，获取图像角点的地理坐标；

其中，X_s，Y_s，Z_s为导航定位定向系统获取相机曝光时刻的影像外方位线元素，X和Y为数字高程模型数据中的地面坐标，x和y为图像数据的图像坐标，a₁，a₂，...，b₁，...，c₃为外方位角元素构成的旋转矩阵

中的元素，当以ω，

κ转角系统时，旋转矩阵如下：

根据本申请的一实施例，通过如下的共线方程，计算各个规则格网采样点对应的像点坐标：

第二方面，本申请实施例提供一种电子设备，所述电子设备包括处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行存储器中存储的控制程序，以实现如前所述航空遥感实时成像方法。

第三方面，本申请实施例提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如前所述航空遥感实时成像方法。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例提供的该方法，本发明提供一种传感器控制方法，使得航拍相机形成特定规律摆动，从而拍摄得到覆盖面较宽的影像数据，增大航带间隔，减少总的空中作业时间，提高数据获取效率。同时对拍摄得到的影像数据进行实时处理，快速纠正成图，这种方法对震后、地质灾害频发地区进行航拍后，能及时迅速的得到最新航拍影像图，对救灾工作的进行有很大的指导意义。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种遥感成像原理示意图。

图2为本申请实施例提供的一种遥感成像视场分布示意图。

图3为本申请实施例提供的一种遥感成像数据处理流程图。

图4为本申请实施例提供的一种遥感成像方法应用场景，以拍摄某地质灾害区为例。

图5为本申请实施例提供的一种遥感成像方法输出图像示例，以拍摄某地质灾害区为例。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种遥感成像原理示意图，图2为本申请实施例提供的一种遥感成像视场分布示意图，以及，图3为本申请实施例提供的一种遥感成像数据处理流程图。其中本申请实施例提出航空遥感实时成像方法主要包括步骤：

步骤1.根据目标区域规划航线设计

根据目标区域的范围，影像的幅宽及摆动时覆盖的面积，制定航线规划，导入区域范围且输入相关参数后，可自动对该地区进行航线规划，获得每个扫描行的触发点位置。

步骤2.控制系统对目标区域进行扫描成像

根据既定的航线，在空中拍摄时，控制系统会根据触发点位置计算触发时刻，同时根据面阵相机的摆幅和曝光时间间隔，使相机进行摆扫成像。本实施例使用的相机为面阵系列，翼展方向视场角最大为26°，因此需要摆扫机构实现翼展方向的大视场，同时配合飞机飞行实现地面区域的二维成像。为了提高扫描效率，系统采用双程摆扫成像实现大视场成像。

将翼展方向一行的视场在保证重叠的情况下分为若干个子视场。相机视场受控扫描成像时，当成像目标区域对准某一子视场时，扫描运动停止，并控制相机成像，完成曝光后相机视场继续受控扫描至下一子视场。当相机视场受控完成一行的扫描后，将继续反向扫描实现下一行的扫描成像。

如此，单次航线可以覆盖更大的范围，仅需要控制相机摆扫角度θ小于相机旁向视场角，即可保证相机旁向拼接，从而不产生航漏。

步骤3.将影像数据传输到处理器；

在进行拍摄前，可先在数据存储装置中创建一个存放原始数据的数据空间，当飞行时，每拍摄一张影像，处理系统就会自动将拍摄的影像拷贝至该数据空间，直到没有新的数据为止。

步骤4.对得到的原始数据进行预处理

对拍摄得到的原始影像格式数据进行数据格式转换预处理，处理后的影像可为jpg格式的数据，同时该影像的位置和姿态信息(外方位元素)以文本格式存储在同一个数据空间中备用。同时若影像航向重叠度太大，可选抽片模式(比如：1为每张都进行处理，2为每两张处理一张影像，3为每三张处理一张影像，以此类推)，从而以减少工作量，提高实时处理效率。数据处理完后处理系统会自动进入等待模式，检测到新的数据会自动开始处理，直至所有数据处理完成。

步骤5.纠正预处理后的影像；

选择型号，根据相机检校报告，导入其对应的焦距、像元大小、像主点坐标、相机安装角度值，选择抽片模式的抽片数量；设定纠正后影像的分辨率，配置测区对应的数字高程模型(DEM)数据，而后即可进行自动纠正处理。

选择步骤4中原始影像格式转换后的影像及外方位元素文件夹，纠正成像会自动读取图像及其对应的外方位元素，同时设置纠正输出的文件夹，开始影像纠正处理，直至将影像全部纠正处理完。

纠正后影像的格式可以为Geotiff此类格式的文件(GeoTIFF利用了TIFF的可扩展性，在其基础上加了一系列标志地理信息的标签Tag)，可在相关软件中打开查看，也可将所有影像导入到地图绘制软件中查看，地图绘制软件例如是Global Mapper或者ArcGis，由于影像自带坐标，能在软件中直接拼接成图。

在生成纠正影像的同时，同时可生成该张影像对应的地面覆盖范围文件(kml文件)，如图4所示例，可选择在google地球这类卫星地图查看软件中直接快速查看该影像的地面覆盖，同时也可看到各张影像的重叠覆盖关系。

算法实施例：

首先消除地形投影差及成像倾角的影响，将中心投影照片，转换成正射投影影像，实现正射纠正；

根据照片四个角点像点坐标、焦距、成像时刻的位置和姿态信息，利用共线方程即可获得成像区域的外接矩形，根据其左上角坐标和采样间距，可以获得全部规格格网采样点的物方坐标(X，Y)，并根据数字高程模型数据可获得该物方坐标高程值(Z)；根据共线方程如下式(1)即可获得每一个物方格网点对应的像点坐标(x,y)；

其中，X_s，Y_s，Z_s为导航定位定向系统获取的相机曝光时刻影像外方位线元素，X和Y为数字高程模型(Digital Elevation Model，简称DEM)数据中的地面坐标，x和y为图像数据的图像坐标，a₁，a₂，...，b₁，...，c₃为外方位角元素构成的旋转矩阵

中的元素，当以ω，

κ转角系统时，旋转矩阵如下：

而后求解四个角点坐标构成的多边形，构建其最大外接矩形，将此外接矩形按照给定的地面采样率，进行虚拟采样，获取长方形内的各个规则格网采样点的地面平面坐标(X,Y)和根据数字高程模型数据获取其高程坐标(Z)，而后通过如下的共线方程，计算各个规则格网采样点对应的像点坐标；

将每个物方点的像点坐标x，y除以影像像元大小，即可获得以行列数表达的影像坐标，从而可以获得整个成像区域外接矩形格网点对应的影像坐标行列数映射矩阵；基于此映射矩阵，即可对原始影像采样算法，采样算法可以采用最邻近、双线性或者三次卷积等，进行重采样；从而获得纠正后正射影像。

为克服现有技术中空中拍摄后无法实时进行图像拼接处理，只能下机后再利用大型数据处理器进行图像拼接处理的问题，本申请实施例中，提供一种可以直接配置于飞行器中遥感成像数据处理方法，其中主要输入各个照片的成像参数以及对应的位置信息进行运算及处理，并不需要直接对数据量大的图像本身进行全面处理，据此可以减少数据处理量的同时，提高拼接速度。

本申请实施例应用场景：以拍摄某地质灾害区为例，如图5所示例。

当飞机起飞前，根据该地区范围设置好相机摆幅和航线布设，再设置好相应的文件夹(分别为数据拷贝文件夹、格式转换JPG文件夹和纠正输出ortho文夹件)，并在相应的软件界面做好输入输出设置。使用Phase One相机(1.5亿像素)在空中拍摄影像时，利用本申请实施例提供的数据处理方法可以实时进行数据处理，不需再做任何操作，单张处理的时间为16-20s。对于一般航摄地区，飞行一小时后，落地1-2小时即可完成所有飞行数据的处理工作，导出到相应软件中即可拼接成图。

本发明提供一种传感器控制方法，使得航拍相机形成特定规律摆动，从而拍摄得到覆盖面较宽的影像数据，增大航带间隔，减少空中作业时间，提高数据获取效率。同时对拍摄得到的影像数据进行实时处理，快速纠正成图，这种方法对震后、地质灾害频发地区进行航拍后，能及时迅速的得到最新航拍影像图，对救灾工作的进行有很大的指导意义。

采用以上实施例，具有如下技术效果：

1、飞行作业规划；根据目标区域可自动规划航线设计。

2、嵌入式系统控制软件；利用控制系统形成规律性摆动，增大航拍范围，提高作业效率。

3、操作简单，自动化程度高；只需提前设置好，直接可出结果。

4、实时处理；在飞机上航拍时就开始处理数据，实时解压处理。

5、效率高；对于1.5亿像素的单张影像，处理效率达到16-20s，实现实时处理效果；可达到飞行完就进行数据查看的工作。

6、满足实时查看精度要求，达到米级标准。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种航空遥感实时成像方法，其特征在于，包括步骤：

根据目标区域的位置与面积规划航线，计算出预定的每摆扫行的触发点位置、相机摆扫角度及曝光间隔；

沿航线飞行，并对目标区域进行扫描成像；

在原始数据中生成各图像文件及其成像时刻的位置和姿态数据；

对得到的所述原始数据预处理得到纠正后影像；

将纠正后影像输送至成像模型，并依据位置和姿态数据拼接为目标区域的全景图像。

2.如权利要求1所述的航空遥感实时成像方法，其特征在于，所述沿航线飞行，并对目标区域进行扫描成像，包括：

沿飞行器翼展方向的视场划分为若干个相互重叠的子视场；

扫描成像过程中沿翼展方向进行摆扫，并分别对多个所述子视场进行成像。

3.如权利要求1所述的航空遥感实时成像方法，其特征在于，所述沿航线飞行，并对目标区域进行扫描成像，包括：

根据每摆扫行触发点位置与当前飞行位置和速度计算出该摆扫行的触发时刻，根据飞行计划中相机的摆幅和曝光时间间隔进行成像。

4.如权利要求2所述的航空遥感实时成像方法，其特征在于，所述扫描成像过程中沿翼展方向进行摆扫，以分别对多个所述子视场分别进行成像，包括：

当对准某一子视场成像时，摆扫运动停止，并控制相机成像，完成曝光成像后相机视场继续受控摆扫至下一子视场；

当完成一行的摆扫成像后，将继续反向摆扫实现下一行的摆扫成像。

5.如权利要求1所述的航空遥感实时成像方法，其特征在于，所述对得到的原始数据预处理得到纠正后影像，包括：

根据最终的实时纠正处理效率需求，确定对应的抽片模式；

根据对应的所述抽片模式，以从原始数据中间隔指定的片数选取图像进行图像纠正处理。

6.如权利要求1所述的航空遥感实时成像方法，其特征在于，所述对得到的原始数据预处理得到纠正后影像，包括：

消除地形投影差及成像倾角的影响，将中心投影照片，转换成正射投影影像，实现正射纠正；

根据照片四个角点的像点坐标、焦距以及成像时刻的位置和姿态信息，利用共线方程获得成像区域的外接矩形，根据其左上角坐标和采样间距，获得全部规格格网采样点的物方坐标X，Y，并根据数字高程模型数据可获得该物方坐标高程值Z，根据共线方程获得每一个物方格网点对应的像点坐标x,y；

将每个物方点的像点坐标x，y除以影像像元大小，获得以行列数表达的影像坐标，获得整个成像区域外接矩形格网点对应的影像坐标行列数映射矩阵；

基于所述映射矩阵，对原始影像以采样算法进行重采样，采样算法采用最邻近、双线性或者三次卷积；

获得纠正后正射影像。

7.如权利要求6所述的航空遥感实时成像方法，其特征在于，通过如下共线方程将照片四个角点投影到地面，获取照片角点的地理坐标，从而求得成像区域的外接矩形：

其中，X_s，Y_s，Z_s为导航定位定向系统获取相机曝光时刻的影像外方位线元素，X和Y为数字高程模型数据中的地面坐标，x和y为图像数据的图像坐标，a₁，a₂，...，b₁，...，c₃为外方位角元素构成的旋转矩阵

中的元素，当以ω，

κ转角系统时，旋转矩阵如下：

8.如权利要求6所述的航空遥感实时成像方法，其特征在于，

通过如下的共线方程，计算各个成像区域规则格网采样点对应的像点坐标：

9.一种电子设备，其特征在于，所述电子设备包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的控制程序，以实现权利要求1-8中任一所述航空遥感实时成像方法。

10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1-8中任一所述航空遥感实时成像方法。

Images