CN105627991A - 一种无人机影像实时全景拼接方法及系统 - Google Patents

一种无人机影像实时全景拼接方法及系统 Download PDF

Info

Publication number
CN105627991A
CN105627991A CN201510974855.9A CN201510974855A CN105627991A CN 105627991 A CN105627991 A CN 105627991A CN 201510974855 A CN201510974855 A CN 201510974855A CN 105627991 A CN105627991 A CN 105627991A
Authority
CN
China
Prior art keywords
time
image
data
exposure
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510974855.9A
Other languages
English (en)
Other versions
CN105627991B (zh
Inventor
郑顺义
桂力
王晓南
赵丽科
任关宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201510974855.9A priority Critical patent/CN105627991B/zh
Publication of CN105627991A publication Critical patent/CN105627991A/zh
Application granted granted Critical
Publication of CN105627991B publication Critical patent/CN105627991B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images

Abstract

本发明涉及一种无人机影像实时全景拼接方法及系统,其方法包括以下步骤,相机对航摄区域进行拍摄获取每个曝光点的影像;分别从GPS和姿态仪中获取对应的GPS数据和姿态仪数据;对获取的GPS数据和姿态仪数据进行同步和实时解算,并算出相机在预设曝光时刻拍摄的影像的外方位元素;根据相机在预设曝光时刻的外方位元素将对应曝光点获取的且经过预处理的影像映射到全景图中,得到实时的影像全景图。本发明通过对影像数据、定位仪数据和GPS数据的采集、定位仪数据和GPS数据数据同步和定位仪数据和GPS数据的快速解算实时进行影像全景拼接,相对于传统航空摄影测量流程,避免了空中三角测量等比较耗时的环节,大大提高了数据处理速度。

Description

一种无人机影像实时全景拼接方法及系统
技术领域
本发明涉及无人机摄影测量领域,具体的涉及一种无人机影像实时全景拼接方法及系统。
背景技术
目前,国内外有多家公司在研制数码航摄仪,成熟的产品包括微软公司的UCX,Intergraph公司的DMC,国内北京四维远见公司的SWDC等等。这些系统都是针对传统航空摄影测量应用,体积重量都非常庞大,需要大飞机承载。另外其主要问题在于其航飞过程中只获取数据,所有数据处理工作都是在地面后处理完成。对于比较大的区域,数据处理需要几周甚至几个月的时间。这样的处理效率很难满足抗震救灾、应急响应等特殊情况对数据现时性的要求。
发明内容
本发明所要解决的技术问题是提供一种无人机影像实时全景拼接方法及系统,适用于无人机遥感测量,可以实时的处理数据,提高航空遥感数据处理的效率。
本发明解决上述技术问题的技术方案如下:一种无人机影像实时全景拼接方法,包括以下步骤,
S1,相机根据预设曝光点的WGS84坐标位置对航摄区域进行拍摄获取每个曝光点的影像;
S2,根据每个曝光点的影像的曝光时刻分别从GPS和姿态仪中获取对应的GPS数据和姿态仪数据;
S3,嵌入式计算机对获取的GPS数据和姿态仪数据进行同步和实时解算,并根据曝光时刻和姿态仪的偏心角解算出相机在预设曝光时刻拍摄的影像的外方位元素;
S4,嵌入式计算机根据相机在预设曝光时刻的外方位元素将对应曝光点获取的且经过预处理的影像映射到全景图中,得到实时的影像全景图。
本发明的有益效果是:本发明一种无人机影像实时全景拼接方法通过对影像数据、定位仪数据和GPS数据的采集、定位仪数据和GPS数据数据同步和定位仪数据和GPS数据的快速解算实时进行影像全景拼接,相对于传统航空摄影测量流程,避免了空中三角测量等比较耗时的环节,大大提高了数据处理速度,无人机实时处理的摄影测量处理方法在无人机飞行过程中一边获取数据一边进行处理,飞机落地甚至在飞行过程中即能提交处理结果,大大提高了航空遥感数据处理的效率。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,步骤S3的具体实现步骤为,
S31,首先对GPS数据和姿态仪数据进行时间同步,得到POS数据,然后将POS数据与曝光时刻进行时间同步,生成POS同步数据;
S32,对POS同步数据进行联合滤波,形成相机的摄影中心的轨迹和姿态,并采用非线性内插的方法在摄影中心的轨迹和姿态中获得相机在曝光时刻的位置姿态数据;
S33,将相机在曝光时刻的位置姿态数据进行偏心角和线元素偏移值的修正,获取相机在曝光时刻拍摄的影像的外方位元素。
采用上述进一步方案的有益效果是:姿态仪数据和GPS数据之间的同步可以保证POS数据解算位置姿态的正确性。
进一步,在步骤S33中,相机在曝光时刻的位置姿态数据是在载体坐标系下得到的,将相机在曝光时刻的位置姿态数据进行偏心角和线元素偏移值的修正是通过将载体坐标系下的相机在曝光时刻的位置姿态数据在地心坐标系、导航坐标系和像空间辅助坐标系之间进行多步连动旋转和平移转换,将载体坐标系下的相机在曝光时刻的位置姿态数据转换到像空间辅助坐标系下相机在曝光时刻的位置姿态数据。
采用上述进一步方案的有益效果是:因为姿态仪和相机的摄影中心之间有一个安装时的偏心角,为了用姿态仪测得相机摄影中心的姿态,必须进行载体坐标系(b)到像空间辅助坐标系(i)的多步连动旋转,使得测量的结果更加精确。
进一步,载体坐标系下的相机在曝光时刻的位置姿态数据转换为像空间辅助坐标系下相机在曝光时刻的位置姿态数据的旋转矩阵表示为,
根据公式求解出相机在曝光时刻的外方位元素的角元素
其中,(Φ,Θ,Ψ)为姿态仪和GPS组合输出的偏航角,为GPS相对于姿态仪固定的安装角度。
进一步,所述GPS数据包括GPS接收时间、经纬度、高程、速度、卫星数和1pps脉冲信号,所述姿态仪数据包括姿态数据、方位角、俯仰角、横滚角和姿态仪脉冲信号。
进一步,对GPS数据和姿态仪数据进行时间同步的方法为采用文件记录同步把GPS数据和姿态仪数据按采样时序共同记录到同一个文件中,将POS数据与曝光时刻进行时间同步的方法为在曝光时刻利用GPS的1pps脉冲信号触发嵌入式计算机的硬件中断,给POS数据同步提供时间基准。
进一步,步骤S4是利用相机的外方位元素的角元素组成的旋转矩阵将倾斜影像变换为水平影像,然后根据外方位元素线元素平移缩放影像至全景图中正确的位置,其具体过程如下,
S41,根据预先划分的航摄区域信息和全景影像图的比例尺计算出拼接图的大小;
S42,根据外方位元素和经过预处理后的影像四个角点的坐标按共线条件方程解算出经过预处理后的影像在全景图像中的覆盖范围;
S43,根据共线条件方程和原始影像的灰度信息得到全景图在对应范围内的每一像素的颜色值,并进行颜色插值,生成全景影像图。
进一步,对影像进行预处理生成预处理后的影像,对影像进行预处理包括对原始图形进行影像特征提取、影像旋转和影像重采样处理,进行颜色插值的方法为邻域插值法。
进一步,所述共线方程为
x = x 0 + f · a 1 ( X - X S ) + b 1 ( Y - Y S ) + c 1 ( Z 0 - Z S ) a 3 ( X - X S ) + b 3 ( Y - Y S ) + c 3 ( Z 0 - Z S ) y = y 0 + f · a 2 ( X - X S ) + b 2 ( Y - Y S ) + c 2 ( Z 0 - Z S ) a 3 ( X - X S ) + b 3 ( Y - Y S ) + c 3 ( Z 0 - Z S )
其中,a1、a2、a3、b1、b2、b3、c1、c2、c3为三个外方位元素的角元素构成的正交矩阵的9个系数,Z0为当地平均高程,Xs、Ys、Zs为外方位元素的线元素,f、x0和y0为内方位元素。
基于上上述所述的一种无人机影像实时全景拼接方法,本发明还提供一种无人机影像实时全景拼接系统。
一种无人机影像实时全景拼接系统,包括嵌入式计算机和分别与所述嵌入式计算机相连的相机、姿态仪、GPS,
所述相机,其用于根据预设曝光点的WGS84坐标位置对航摄区域进行拍摄获取每个曝光点的影像;
所述姿态仪,其用于根据每个曝光点的影像的曝光时刻采集姿态仪数据;
所述GPS,其用于根据每个曝光点的影像的曝光时刻采集GPS数据;
所述嵌入式计算机,其用于对获取的GPS数据和姿态仪数据进行同步和实时解算,并根据曝光时刻和姿态仪的偏心角解算出相机在预设曝光时刻拍摄的影像的外方位元素;还用于根据相机在预设曝光时刻的外方位元素将对应曝光点获取的且经过预处理的影像映射到全景图中,得到实时的影像全景图。
本发明的有益效果是:本发明一种无人机影像实时全景拼接系统集成了轻小型相机、姿态仪和POS系统等传感器,基于嵌入式系统研制了专门的计算机,使得设备整体具有功耗低、体积小、重量轻等特征,适合无人机装备;并且具有实时处理的功能,在无人机飞行过程中一边获取数据一边进行处理,飞机落地甚至在飞行过程中即能提交处理结果,大大提高了航空遥感数据处理的效率,这是目前其他所有系统所不能达到的,本发明的系统能够满足各种特殊情况对数据现时性的急迫要求。
附图说明
图1为本发明一种无人机影像实时全景拼接方法的流程图;
图2为本发明一种无人机影像实时全景拼接方法的中数据处理的流程图;
图3为本发明一种无人机影像实时全景拼接方法的中实时生成影像全景图的流程图;
图4为通过本发明一种无人机影像实时全景拼接方法获得的利用300张原始影像生成的全景影像图;
图5为通过本发明一种无人机影像实时全景拼接方法为300张影像进行实时拼接所耗时间的曲线图;
图6为本发明一种无人机影像实时全景拼接系统的结构框图;
图7为本发明一种无人机影像实时全景拼接系统工作的原理图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,一种无人机影像实时全景拼接方法,包括以下步骤,
S1,相机根据预设曝光点的WGS84坐标(地心坐标)位置对航摄区域进行拍摄获取每个曝光点的影像。
S2,根据每个曝光点的影像的曝光时刻分别从GPS和姿态仪中获取对应的GPS数据和姿态仪数据。
S3,嵌入式计算机对获取的GPS数据和姿态仪数据进行同步和实时解算,并根据曝光时刻和姿态仪的偏心角解算出相机在预设曝光时刻拍摄的影像的外方位元素;
步骤S3的具体实现步骤如图2所示,
S31,首先对GPS数据和姿态仪数据进行时间同步,得到POS数据,然后将POS数据与曝光时刻进行时间同步,生成POS同步数据;在本具体实施例中,首先完成姿态仪数据和GPS数据之间的同步可以保证POS数据解算位置姿态的正确性;
S32,对POS同步数据进行联合滤波,形成相机的摄影中心的轨迹和姿态,并采用非线性内插的方法在摄影中心的轨迹和姿态中获得相机在曝光时刻的位置姿态数据;
S33,将相机在曝光时刻的位置姿态数据进行偏心角和线元素偏移值的修正,获取相机在曝光时刻拍摄的影像的外方位元素;
在本发明中,姿态仪的输出就是载体(整个无人机系统)相对于惯性空间的加速度和角速度,通过嵌入式计算机将载体坐标系下测得的数据变换到导航坐标系中再进行导航计算,导航计算是以参考坐标系(导航坐标系)为参照来确定载体的位置、速度、姿态等运动参数;又因为姿态仪和相机的摄影中心之间有一个安装时的偏心角,为了用姿态仪测得相机摄影中心的姿态,必须进行载体坐标系(b)到像空间辅助坐标系(i)的多步连动旋转;所以进行数据解算的过程中需要进行坐标转换,坐标转换具体如下:
在步骤S33中,相机在曝光时刻的位置姿态数据是在载体坐标系下得到的,将相机在曝光时刻的位置姿态数据进行偏心角和线元素偏移值的修正是通过将载体坐标系下的相机在曝光时刻的位置姿态数据在地心坐标系、导航坐标系和像空间辅助坐标系之间进行多步连动旋转和平移转换,将载体坐标系下的相机在曝光时刻的位置姿态数据转换到像空间辅助坐标系下相机在曝光时刻的位置姿态数据;载体坐标系下的相机在曝光时刻的位置姿态数据转换为像空间辅助坐标系下相机在曝光时刻的位置姿态数据的旋转矩阵表示为,
根据公式求解出相机在曝光时刻的外方位元素的角元素
其中,(Φ,Θ,Ψ)为姿态仪和GPS组合输出的偏航角,为GPS相对于姿态仪固定的安装角度。
S4,嵌入式计算机根据相机在预设曝光时刻的外方位元素将对应曝光点获取的且经过预处理的影像映射到全景图中,得到实时的影像全景图;
步骤S4是利用相机的外方位元素的角元素组成的旋转矩阵将倾斜影像变换为水平影像,然后根据外方位元素线元素平移缩放影像至全景图中正确的位置,其具体过程如图3所示,
S41,根据预先划分的航摄区域信息和全景影像图的比例尺计算出拼接图的大小;
S42,根据外方位元素和经过预处理后的影像四个角点的坐标按共线条件方程解算出经过预处理后的影像在全景图像中的覆盖范围;
S43,根据共线条件方程和原始影像的灰度信息得到全景图在对应范围内的每一像素的颜色值,在此过程中检查拼接图上每一像素的重叠度,并进行颜色插值,生成全景影像图,图4为利用300张原始影像生成的全景影像图,图5为300张影像进行实时拼接所耗时间(毫秒)的曲线图。
对影像进行预处理生成预处理后的影像,对影像进行预处理包括对原始图形进行影像特征提取、影像旋转和影像重采样处理,在本具体实施中,将部分常用的图像处理算法,做成专用的图像处理芯片或板卡,可以大大加快图像处理速度;在全景影像图实时拼接中,颜色插值方法有很多种,常用的算法有邻域插值法,线性插值法,立体卷积插值法,神经网络插值法,考虑相关性的线性插值法等,一般而言,选用方法越复杂,插值产生的图像质量越高,耗时也越多;在本具体实施例中,以实时性为主,因此选择最简单快速的邻域插值法,进行颜色插值的方法选择邻域插值法。
步骤S42和S43所述共线方程为
x = x 0 + f · a 1 ( X - X S ) + b 1 ( Y - Y S ) + c 1 ( Z 0 - Z S ) a 3 ( X - X S ) + b 3 ( Y - Y S ) + c 3 ( Z 0 - Z S ) y = y 0 + f · a 2 ( X - X S ) + b 2 ( Y - Y S ) + c 2 ( Z 0 - Z S ) a 3 ( X - X S ) + b 3 ( Y - Y S ) + c 3 ( Z 0 - Z S )
其中,a1、a2、a3、b1、b2、b3、c1、c2、c3为三个外方位元素的角元素构成的正交矩阵的9个系数,Z0为当地平均高程,Xs、Ys、Zs为外方位元素的线元素,f、x0和y0为内方位元素。
其中,a1、a2、a3、b1、b2、b3、c1、c2、c3为三个外方位元素的角元素构成的正交矩阵的9个系数,即为
R T = a 1 b 1 c 1 a 2 b 2 c 2 a 3 b 3 c 3
在本发明一种无人机影像实时全景拼接方法中,所述GPS数据包括GPS接收时间、经纬度、高程、速度、卫星数和1pps脉冲信号,所述姿态仪数据包括姿态数据、方位角、俯仰角、横滚角和姿态仪脉冲信号。
在本具体实施例中,对GPS数据和姿态仪数据进行时间同步的方法为采用文件记录同步把GPS数据和姿态仪数据按采样时序共同记录到同一个文件中,类似于把采样率较低的GPS数据插入到采样率较高的姿态仪数据之中;将POS数据与曝光时刻进行时间同步的方法为在曝光时刻利用GPS的1pps脉冲信号触发嵌入式计算机的硬件中断,给POS数据同步提供时间基准。
本发明一种无人机影像实时全景拼接方法通过对影像数据、定位仪数据和GPS数据的采集、定位仪数据和GPS数据数据同步和定位仪数据和GPS数据的快速解算实时进行影像全景拼接,相对于传统航空摄影测量流程,避免了空中三角测量等比较耗时的环节,大大提高了数据处理速度,无人机实时处理的摄影测量处理方法在无人机飞行过程中一边获取数据一边进行处理,飞机落地甚至在飞行过程中即能提交处理结果,大大提高了航空遥感数据处理的效率。
基于上述所述的一种无人机影像实时全景拼接方法,本发明还提供一种无人机影像实时全景拼接系统。
如图6所示,一种无人机影像实时全景拼接系统,包括嵌入式计算机和分别与所述嵌入式计算机相连的相机、姿态仪、GPS,
所述相机,其用于根据预设曝光点的WGS84坐标位置对航摄区域进行拍摄获取每个曝光点的影像;
所述姿态仪,其用于根据每个曝光点的影像的曝光时刻采集姿态仪数据;
所述GPS,其用于根据每个曝光点的影像的曝光时刻采集GPS数据;
所述嵌入式计算机,其用于对获取的GPS数据和姿态仪数据进行同步和实时解算,并根据曝光时刻和姿态仪的偏心角解算出相机在预设曝光时刻拍摄的影像的外方位元素;还用于根据相机在预设曝光时刻的外方位元素将对应曝光点获取的且经过预处理的影像映射到全景图中,得到实时的影像全景图。
在本发明一种无人机影像实时全景拼接系统中,GPS模块输出的是WGS84坐标、姿态仪输出的是3个姿态角、3个加速度值、3个磁场感应方向以及1个气压高度值,相机输出的是RGB彩色影像,嵌入式计算机将GPS模块输出的WGS84坐标、姿态仪输出的3个姿态角、3个加速度值、3个磁场感应方向以及1个气压高度值、相机输出的RGB彩色影像作为输入,嵌入式计算机的输出是一幅带有WGS84坐标参考的全景影像图,其原理如图7所示。
获得带有WGS84坐标参考的全景影像图的流程为:
首先确定一块航摄区域,包括航摄区域的最小经度、最大经度、最小纬度、最大纬度、最小高程、最大高程,划分航带以及确定摄像头曝光点的WGS84坐标位置;
将硬件系统挂载在无人机上,按照设定的航向以及曝光点进行航拍,每个曝光点拍摄一张影像;
根据影像的曝光时刻,从GPS模块、姿态仪模块收到的数据中解算出相机在该曝光时刻的外方位元素;
最后根据外方位元素,将该张经过预处理的影像映射到全景图中,全景图保存在ARM开发板的可插拔存储设备中;
当飞机落地时,拔出存储设备,取出全景图。
本发明一种无人机影像实时全景拼接系统以FPGA和多DSP为处理核心,设计与研制专用的嵌入式实时摄影测量处理系统,并通过加固等方式克服高震动、快速移动等问题,保证数据处理的高性能;体积、重量、功耗等也是设计中要考虑的因素,考虑到处理系统不仅负责计算而且负责各传感器的控制以及数据通讯等,因此采用ARM+DSP架构,发挥ARM和DSP各自的特点;ARM主要负责外设接口的管理,DSP负责密集的计算任务。
本发明一种无人机影像实时全景拼接系统将相机、姿态仪和GPS系统、嵌入式计算机进行集成。系统运行过程中,将相机采集的影像、姿态仪和GPS系统输出的位置姿态数据传给嵌入式计算机并保证同步;相机在曝光时刻的脉冲信号与POS数据同时由控制器存储于存储设备中;为了完成机载嵌入式计算机与外围传感器间的通信功能,选取的系统具有与POS间通信的输入输出接口、与相机间通信的输入输出接口、与数据链路间进行通信的接口。嵌入式计算机提供多个能够并行处理的计算节点,分别运行数据解算、全景影像图生成、采集系统控制等计算任务。
本发明一种无人机影像实时全景拼接系统在建立的嵌入式计算机中装载采集系统控制程序、数据同步处理程序、实时摄影测量处理程序等应用程序,形成包含多种传感器、嵌入式处理系统等硬件以及高性能实时摄影测量算法程序的软硬件为一体的无人机实时摄影测量处理系统,实现无人机影像、位置姿态等数据的实时获取和处理,从而能在无人机飞行过程中实时获取具有地理参考的影像图等成果数据。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种无人机影像实时全景拼接方法,其特征在于,包括以下步骤,
S1,相机根据预设曝光点的WGS84坐标位置对航摄区域进行拍摄获取每个曝光点的影像;
S2,根据每个曝光点的影像的曝光时刻分别从GPS和姿态仪中获取对应的GPS数据和姿态仪数据;
S3,嵌入式计算机对获取的GPS数据和姿态仪数据进行同步和实时解算,并根据曝光时刻和姿态仪的偏心角解算出相机在预设曝光时刻拍摄的影像的外方位元素;
S4,嵌入式计算机根据相机在预设曝光时刻的外方位元素将对应曝光点获取的且经过预处理的影像映射到全景图中,得到实时的影像全景图。
2.根据权利要求1所述的一种无人机影像实时全景拼接方法,其特征在于:步骤S3的具体实现步骤为,
S31,首先对GPS数据和姿态仪数据进行时间同步,得到POS数据,然后将POS数据与曝光时刻进行时间同步,生成POS同步数据;
S32,对POS同步数据进行联合滤波,形成相机的摄影中心的轨迹和姿态,并采用非线性内插的方法在摄影中心的轨迹和姿态中获得相机在曝光时刻的位置姿态数据;
S33,将相机在曝光时刻的位置姿态数据进行偏心角和线元素偏移值的修正,获取相机在曝光时刻拍摄的影像的外方位元素。
3.根据权利要求2所述的一种无人机影像实时全景拼接方法,其特征在于:在步骤S33中,相机在曝光时刻的位置姿态数据是在载体坐标系下得到的,将相机在曝光时刻的位置姿态数据进行偏心角和线元素偏移值的修正是通过将载体坐标系下的相机在曝光时刻的位置姿态数据在地心坐标系、导航坐标系和像空间辅助坐标系之间进行多步连动旋转和平移转换,将载体坐标系下的相机在曝光时刻的位置姿态数据转换到像空间辅助坐标系下相机在曝光时刻的位置姿态数据。
4.根据权利要求3所述的一种无人机影像实时全景拼接方法,其特征在于:载体坐标系下的相机在曝光时刻的位置姿态数据转换为像空间辅助坐标系下相机在曝光时刻的位置姿态数据的旋转矩阵表示为,
根据公式求解出相机在曝光时刻的外方位元素的角元素
其中,(Φ,Θ,Ψ)为姿态仪和GPS组合输出的偏航角,为GPS相对于姿态仪固定的安装角度。
5.根据权利要求2至4任一项所述的一种无人机影像实时全景拼接方法,其特征在于:所述GPS数据包括GPS接收时间、经纬度、高程、速度、卫星数和1pps脉冲信号,所述姿态仪数据包括姿态数据、方位角、俯仰角、横滚角和姿态仪脉冲信号。
6.根据权利要求5所述的一种无人机影像实时全景拼接方法,其特征在于:对GPS数据和姿态仪数据进行时间同步的方法为采用文件记录同步把GPS数据和姿态仪数据按采样时序共同记录到同一个文件中,将POS数据与曝光时刻进行时间同步的方法为在曝光时刻利用GPS的1pps脉冲信号触发嵌入式计算机的硬件中断,给POS数据同步提供时间基准。
7.根据权利要求1至4任一项所述的一种无人机影像实时全景拼接方法,其特征在于:步骤S4是利用相机的外方位元素的角元素组成的旋转矩阵将倾斜影像变换为水平影像,然后根据外方位元素线元素平移缩放影像至全景图中正确的位置,其具体过程如下,
S41,根据预先划分的航摄区域信息和全景影像图的比例尺计算出拼接图的大小;
S42,根据外方位元素和经过预处理后的影像四个角点的坐标按共线条件方程解算出经过预处理后的影像在全景图像中的覆盖范围;
S43,根据共线条件方程和原始影像的灰度信息得到全景图在对应范围内的每一像素的颜色值,并进行颜色插值,生成全景影像图。
8.根据权利要求7所述的一种无人机影像实时全景拼接方法,其特征在于:对影像进行预处理生成预处理后的影像,对影像进行预处理包括对原始图形进行影像特征提取、影像旋转和影像重采样处理,进行颜色插值的方法为邻域插值法。
9.根据权利要求7所述的一种无人机影像实时全景拼接方法,其特征在于:所述共线方程为
x = x 0 + f · a 1 ( X - X S ) + b 1 ( Y - Y S ) + c 1 ( Z 0 - Z S ) a 3 ( X - X S ) + b 3 ( Y - Y S ) + c 3 ( Z 0 - Z S ) y = y 0 + f · a 2 ( X - X S ) + b 2 ( Y - Y S ) + c 2 ( Z 0 - Z S ) a 3 ( X - X S ) + b 3 ( Y - Y S ) + c 3 ( Z 0 - Z S )
其中,a1、a2、a3、b1、b2、b3、c1、c2、c3为三个外方位元素的角元素构成的正交矩阵的9个系数,Z0为当地平均高程,Xs、Ys、Zs为外方位元素的线元素,f、x0和y0为内方位元素。
10.一种无人机影像实时全景拼接系统,其特征在于:包括嵌入式计算机和分别与所述嵌入式计算机相连的相机、姿态仪、GPS,
所述相机,其用于根据预设曝光点的WGS84坐标位置对航摄区域进行拍摄获取每个曝光点的影像;
所述姿态仪,其用于根据每个曝光点的影像的曝光时刻采集姿态仪数据;
所述GPS,其用于根据每个曝光点的影像的曝光时刻采集GPS数据;
所述嵌入式计算机,其用于对获取的GPS数据和姿态仪数据进行同步和实时解算,并根据曝光时刻和姿态仪的偏心角解算出相机在预设曝光时刻拍摄的影像的外方位元素;还用于根据相机在预设曝光时刻的外方位元素将对应曝光点获取的且经过预处理的影像映射到全景图中,得到实时的影像全景图。
CN201510974855.9A 2015-12-21 2015-12-21 一种无人机影像实时全景拼接方法及系统 Expired - Fee Related CN105627991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510974855.9A CN105627991B (zh) 2015-12-21 2015-12-21 一种无人机影像实时全景拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510974855.9A CN105627991B (zh) 2015-12-21 2015-12-21 一种无人机影像实时全景拼接方法及系统

Publications (2)

Publication Number Publication Date
CN105627991A true CN105627991A (zh) 2016-06-01
CN105627991B CN105627991B (zh) 2017-12-12

Family

ID=56043145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510974855.9A Expired - Fee Related CN105627991B (zh) 2015-12-21 2015-12-21 一种无人机影像实时全景拼接方法及系统

Country Status (1)

Country Link
CN (1) CN105627991B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN106052647A (zh) * 2016-05-09 2016-10-26 华广发 高空俯视360度全景二十四山罗盘定位技术
CN106157304A (zh) * 2016-07-01 2016-11-23 成都通甲优博科技有限责任公司 一种基于多个相机的全景图拼接方法及系统
CN106403906A (zh) * 2016-10-18 2017-02-15 安徽协创物联网技术有限公司 一种提高多全景相机合成影像摄像测量精度的方法
CN107330937A (zh) * 2017-06-28 2017-11-07 联想(北京)有限公司 数据处理系统及方法
CN107345808A (zh) * 2017-07-12 2017-11-14 成都纵横自动化技术有限公司 曝光时刻获取方法、脉冲信号获取装置、无人机和引闪器
CN107561085A (zh) * 2017-08-28 2018-01-09 武汉大学 一种大型水电站百米级引水竖井健康检测装备及方法
CN107796370A (zh) * 2016-08-30 2018-03-13 北京四维图新科技股份有限公司 用于获取转换参数的方法、装置及移动测图系统
CN107843240A (zh) * 2017-09-14 2018-03-27 中国人民解放军92859部队 一种海岸带区域无人机影像同名点信息快速提取方法
CN108769569A (zh) * 2018-04-10 2018-11-06 中科院微电子研究所昆山分所 一种用于无人机的360度立体全景观测系统及方法
CN108801225A (zh) * 2018-06-26 2018-11-13 广东电网有限责任公司 一种无人机倾斜影像定位方法、系统、介质及设备
CN108955642A (zh) * 2018-05-07 2018-12-07 江苏师范大学 一种大幅面等效中心投影影像无缝拼接方法
CN109035327A (zh) * 2018-06-25 2018-12-18 北京大学 基于深度学习的全景相机姿态估计方法
CN109327656A (zh) * 2017-08-01 2019-02-12 上海同繁勘测工程科技有限公司 全景影像的图像采集方法及系统
CN110073403A (zh) * 2017-11-21 2019-07-30 深圳市大疆创新科技有限公司 输出影像生成方法、设备及无人机
CN110209847A (zh) * 2019-04-29 2019-09-06 中国科学院遥感与数字地球研究所 航空遥感数据机上准实时处理方法、装置和存储介质
CN110636202A (zh) * 2018-06-21 2019-12-31 百度在线网络技术(北京)有限公司 全景相机控制方法、装置及存储介质
CN110717861A (zh) * 2019-12-12 2020-01-21 成都纵横大鹏无人机科技有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN110906922A (zh) * 2019-11-08 2020-03-24 沈阳无距科技有限公司 无人机位姿信息的确定方法及装置、存储介质、终端
CN110940318A (zh) * 2019-10-22 2020-03-31 上海航遥信息技术有限公司 航空遥感实时成像方法、电子设备以及存储介质
CN111750830A (zh) * 2019-12-19 2020-10-09 广州极飞科技有限公司 地块测绘方法及测绘系统
CN111784622A (zh) * 2020-09-07 2020-10-16 成都纵横自动化技术股份有限公司 一种基于无人机单目倾斜的图像拼接方法及相关装置
CN112362033A (zh) * 2020-10-29 2021-02-12 中国自然资源航空物探遥感中心 一种航空遥感相机影像的质检方法
CN112995524A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 高精采集车及其照片曝光信息生成系统、方法和同步装置
CN112995503A (zh) * 2021-02-07 2021-06-18 苏州臻迪智能科技有限公司 手势控制全景图像获取方法、装置、电子设备及存储介质
CN113038273A (zh) * 2021-05-24 2021-06-25 湖北芯擎科技有限公司 视频帧处理方法、装置、存储介质及电子设备
CN114371722A (zh) * 2021-12-03 2022-04-19 深圳供电局有限公司 数据采集方法、装置、无人机和存储介质
CN114519671A (zh) * 2022-02-16 2022-05-20 天津中科无人机应用研究院 无人机遥感影像动态快速拼接方法
CN115127523A (zh) * 2022-05-09 2022-09-30 湖南傲英创视信息科技有限公司 一种基于双线列相机的异构处理全景检测及测距系统
WO2023097494A1 (zh) * 2021-11-30 2023-06-08 深圳市大疆创新科技有限公司 全景图像拍摄方法、装置、无人机、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101793523A (zh) * 2010-03-10 2010-08-04 北京航空航天大学 一种组合导航和光电探测一体化系统
US20110010026A1 (en) * 2009-07-13 2011-01-13 Utah State University Calibration Method for Aerial Vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110010026A1 (en) * 2009-07-13 2011-01-13 Utah State University Calibration Method for Aerial Vehicles
CN101793523A (zh) * 2010-03-10 2010-08-04 北京航空航天大学 一种组合导航和光电探测一体化系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张俊前: "无人机遥感影像快速拼接方法研究", 《城市勘测》 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106052647A (zh) * 2016-05-09 2016-10-26 华广发 高空俯视360度全景二十四山罗盘定位技术
CN106157304A (zh) * 2016-07-01 2016-11-23 成都通甲优博科技有限责任公司 一种基于多个相机的全景图拼接方法及系统
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN106023086B (zh) * 2016-07-06 2019-02-22 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN107796370A (zh) * 2016-08-30 2018-03-13 北京四维图新科技股份有限公司 用于获取转换参数的方法、装置及移动测图系统
CN107796370B (zh) * 2016-08-30 2020-09-08 北京四维图新科技股份有限公司 用于获取转换参数的方法、装置及移动测图系统
CN106403906A (zh) * 2016-10-18 2017-02-15 安徽协创物联网技术有限公司 一种提高多全景相机合成影像摄像测量精度的方法
CN107330937A (zh) * 2017-06-28 2017-11-07 联想(北京)有限公司 数据处理系统及方法
CN107345808A (zh) * 2017-07-12 2017-11-14 成都纵横自动化技术有限公司 曝光时刻获取方法、脉冲信号获取装置、无人机和引闪器
CN109327656A (zh) * 2017-08-01 2019-02-12 上海同繁勘测工程科技有限公司 全景影像的图像采集方法及系统
CN107561085A (zh) * 2017-08-28 2018-01-09 武汉大学 一种大型水电站百米级引水竖井健康检测装备及方法
CN107843240A (zh) * 2017-09-14 2018-03-27 中国人民解放军92859部队 一种海岸带区域无人机影像同名点信息快速提取方法
CN110073403A (zh) * 2017-11-21 2019-07-30 深圳市大疆创新科技有限公司 输出影像生成方法、设备及无人机
CN108769569A (zh) * 2018-04-10 2018-11-06 中科院微电子研究所昆山分所 一种用于无人机的360度立体全景观测系统及方法
CN108955642A (zh) * 2018-05-07 2018-12-07 江苏师范大学 一种大幅面等效中心投影影像无缝拼接方法
CN108955642B (zh) * 2018-05-07 2020-09-01 江苏师范大学 一种大幅面等效中心投影影像无缝拼接方法
CN110636202B (zh) * 2018-06-21 2020-12-11 百度在线网络技术(北京)有限公司 全景相机控制方法、装置及存储介质
CN110636202A (zh) * 2018-06-21 2019-12-31 百度在线网络技术(北京)有限公司 全景相机控制方法、装置及存储介质
CN109035327A (zh) * 2018-06-25 2018-12-18 北京大学 基于深度学习的全景相机姿态估计方法
CN109035327B (zh) * 2018-06-25 2021-10-29 北京大学 基于深度学习的全景相机姿态估计方法
CN108801225B (zh) * 2018-06-26 2020-11-17 广东电网有限责任公司 一种无人机倾斜影像定位方法、系统、介质及设备
CN108801225A (zh) * 2018-06-26 2018-11-13 广东电网有限责任公司 一种无人机倾斜影像定位方法、系统、介质及设备
CN110209847B (zh) * 2019-04-29 2021-09-28 中国科学院遥感与数字地球研究所 航空遥感数据机上准实时处理方法、装置和存储介质
CN110209847A (zh) * 2019-04-29 2019-09-06 中国科学院遥感与数字地球研究所 航空遥感数据机上准实时处理方法、装置和存储介质
CN110940318A (zh) * 2019-10-22 2020-03-31 上海航遥信息技术有限公司 航空遥感实时成像方法、电子设备以及存储介质
CN110906922A (zh) * 2019-11-08 2020-03-24 沈阳无距科技有限公司 无人机位姿信息的确定方法及装置、存储介质、终端
CN110717861B (zh) * 2019-12-12 2020-03-20 成都纵横大鹏无人机科技有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN110717861A (zh) * 2019-12-12 2020-01-21 成都纵横大鹏无人机科技有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN112995524A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 高精采集车及其照片曝光信息生成系统、方法和同步装置
CN111750830A (zh) * 2019-12-19 2020-10-09 广州极飞科技有限公司 地块测绘方法及测绘系统
CN111784622B (zh) * 2020-09-07 2021-01-26 成都纵横自动化技术股份有限公司 一种基于无人机单目倾斜的图像拼接方法及相关装置
CN111784622A (zh) * 2020-09-07 2020-10-16 成都纵横自动化技术股份有限公司 一种基于无人机单目倾斜的图像拼接方法及相关装置
CN112362033A (zh) * 2020-10-29 2021-02-12 中国自然资源航空物探遥感中心 一种航空遥感相机影像的质检方法
CN112995503A (zh) * 2021-02-07 2021-06-18 苏州臻迪智能科技有限公司 手势控制全景图像获取方法、装置、电子设备及存储介质
CN113038273A (zh) * 2021-05-24 2021-06-25 湖北芯擎科技有限公司 视频帧处理方法、装置、存储介质及电子设备
CN113038273B (zh) * 2021-05-24 2021-08-10 湖北芯擎科技有限公司 视频帧处理方法、装置、存储介质及电子设备
WO2023097494A1 (zh) * 2021-11-30 2023-06-08 深圳市大疆创新科技有限公司 全景图像拍摄方法、装置、无人机、系统及存储介质
CN114371722A (zh) * 2021-12-03 2022-04-19 深圳供电局有限公司 数据采集方法、装置、无人机和存储介质
CN114519671A (zh) * 2022-02-16 2022-05-20 天津中科无人机应用研究院 无人机遥感影像动态快速拼接方法
CN114519671B (zh) * 2022-02-16 2022-11-01 天津中科无人机应用研究院 无人机遥感影像动态快速拼接方法
CN115127523A (zh) * 2022-05-09 2022-09-30 湖南傲英创视信息科技有限公司 一种基于双线列相机的异构处理全景检测及测距系统
CN115127523B (zh) * 2022-05-09 2023-08-11 湖南傲英创视信息科技有限公司 一种基于双线列相机的异构处理全景检测及测距系统

Also Published As

Publication number Publication date
CN105627991B (zh) 2017-12-12

Similar Documents

Publication Publication Date Title
CN105627991A (zh) 一种无人机影像实时全景拼接方法及系统
CN110310248B (zh) 一种无人机遥感影像实时拼接方法及系统
CN110675450B (zh) 基于slam技术的正射影像实时生成方法及系统
US9185289B2 (en) Generating a composite field of view using a plurality of oblique panoramic images of a geographic area
CN108168521A (zh) 一种基于无人机实现景观三维可视化的方法
US11756158B2 (en) Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images
US20120114229A1 (en) Orthorectification and mosaic of video flow
US10789673B2 (en) Post capture imagery processing and deployment systems
JP2008186145A (ja) 空撮画像処理装置および空撮画像処理方法
CN104360362B (zh) 利用飞行器对观测目标进行定位的方法及系统
CA2705809A1 (en) Method and apparatus of taking aerial surveys
JP2008304260A (ja) 画像処理装置
JPWO2008152740A1 (ja) デジタル空撮3次元計測システム
CN102279001B (zh) 一种星载相机的相移补偿方法
CN108253942B (zh) 一种提高倾斜摄影测量空三质量的方法
JP2017201261A (ja) 形状情報生成システム
KR20190049086A (ko) 무인기 고속비행 중 정밀위치 영상 획득 장치 및 그를 이용한 정밀위치 획득 방법
JP5304465B2 (ja) モザイク画像生成方法、装置及びプログラム
Zhao et al. Direct georeferencing of oblique and vertical imagery in different coordinate systems
CN110986888A (zh) 一种航空摄影一体化方法
CN110223233A (zh) 一种基于图像拼接的无人机航拍建图方法
RU24003U1 (ru) Система для формирования цифровой модели рельефа и/или ортофотоплана
KR101006977B1 (ko) 수치지도 제작 시 수치데이터를 보상하는 방법
CN109341685B (zh) 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法
CN102997902B (zh) 一种用于数码相机数据的快速质量检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171212

Termination date: 20181221