CN110648398A - 基于无人机航摄数据的正射影像实时生成方法及系统 - Google Patents

基于无人机航摄数据的正射影像实时生成方法及系统 Download PDF

Info

Publication number
CN110648398A
CN110648398A CN201910882869.6A CN201910882869A CN110648398A CN 110648398 A CN110648398 A CN 110648398A CN 201910882869 A CN201910882869 A CN 201910882869A CN 110648398 A CN110648398 A CN 110648398A
Authority
CN
China
Prior art keywords
frame
image
map
key frame
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910882869.6A
Other languages
English (en)
Other versions
CN110648398B (zh
Inventor
肖雄武
季博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jiuzhou Weixun Technology Co Ltd
Original Assignee
Wuhan Jiuzhou Weixun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jiuzhou Weixun Technology Co Ltd filed Critical Wuhan Jiuzhou Weixun Technology Co Ltd
Publication of CN110648398A publication Critical patent/CN110648398A/zh
Application granted granted Critical
Publication of CN110648398B publication Critical patent/CN110648398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/24—Acquisition or tracking or demodulation of signals transmitted by the system
    • G01S19/25—Acquisition or tracking or demodulation of signals transmitted by the system involving aiding data received from a cooperating element, e.g. assisted GPS
    • G01S19/252—Employing an initial estimate of location in generating assistance data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于无人机航摄数据的正射影像实时生成方法及系统，其可对由无人机采集的视频流数据分解所得单帧影像序列中单帧影像做如下处理来获得数字正射影像，包括：(1)去除单帧影像的相机畸变并提取特征点；(2)基于单帧影像序列构建全局地图；(3)在全局地图点点云构建的地图点三角网中找出新产生的三角面片，对新产生的三角面片找到对应的关键帧纹理进行纹理映射，最终获得数字正射影像。在该过程中，同时还可利用全局地图点点云生成数字表面模型和数字高程模型。本发明不依赖于高精度定位定姿系统即可实现高精度正射影像产品的实时生成，采用本发明在无人机航飞过程中即能同步完成航摄数据处理，可满足实时性与高精度的需求。

Description

基于无人机航摄数据的正射影像实时生成方法及系统
技术领域
本发明涉及无人机摄影测量领域，具体涉及一种基于无人机航摄数据的正射影像实时生成方法及系统。
背景技术
近年来无人机因其高效、灵活、低成本等特性，已被广泛应用于测绘、勘探、应急、救灾等领域。无人机航空摄影测量技术大大降低了传统航空摄影测量技术的成本投入，使得航空摄影测量技术从贵族化走向平民化，具有更加普遍的现实意义和应用价值。
但从另一方面来讲无人机影像处理的传统实施方法是待航摄飞行任务完成后将无人机航拍影像通过USB接口传输到电脑或服务器进行事后处理，一般还需要采集地面控制点和在图像上刺控制点，之后离线处理生成航测区域的正射影像。该方案工作仍需外业、内业配合完成，导致工作周期偏长，无法满足抢险救灾、应急处突、监控侦查等领域的航测工作的紧急、快速需求。
公开号为CN107507132A的中国专利申请公开了一种无人机航摄影像的实时拼接方法，该实时拼接方法包括步骤：根据相邻待拼接航摄影像的重叠率，实时调整提取关键航摄影像的帧间间隔；并根据相邻两帧同名点的匹配关系得到相邻两帧的变换矩阵，将序列航摄影像变换到参考影像的坐标系；根据设置的参考帧调整判决条件，实时调整参考帧，以将航摄影像变换到参考帧坐标系过程中产生的累积误差分散到各帧影像，避免误差累积导致后续影像的严重扭曲变形。该方法只是对航摄影像简单的进行拼接处理，一旦无人机在飞行过程中连续出现倾角较大的情况，拼接图像会出现扭曲，且该方法最终无法生成数字高程模型(DEM)、正射影像(DOM)以及粗略的三维三角网模型(Mesh)等数据成果。
公告号CN105627991A的中国专利公开了一种无人机影像实时全景拼接方法及系统，该方法包括步骤：相机对航摄区域进行拍摄获取每个曝光点的影像；分别从GPS和姿态仪中获取对应的GPS数据和姿态仪数据；对获取的GPS数据和姿态仪数据进行同步和实时解算，并算出相机在预设曝光时刻拍摄的影像的外方位元素；根据相机在预设曝光时刻的外方位元素将对应曝光点获取的且经过预处理的影像映射到全景图中，得到实时的影像全景图。该方法依赖高精度的POS系统(定位定姿系统)，没有明确给出当地平均高程的计算方法，且该方法仅利用相机外方位元素的角元素组成的旋转矩阵将倾斜影像变换为水平影像，纠正生成的正射影像精度不够高，该方法最终也无法生成DEM、Mesh等模型。另外，该方法根据预先划分的航摄区域信息和全景影像图的比例尺计算出拼接图的大小，这种直接固定全景影像图的像幅大小的做法，优点是思路简单，存在的缺点是：适用性不强，难以应对航线规划信息未知或不准确的情况；一般只能大概估算或饱和性估算全景影像图的像幅大小，而无法精准计算出全景影像图的像幅大小；在生成全景影像图的处理过程中占用内存资源较大。
郑顺义等人在科技论文《一种ARM+DSP架构的机载影像实时拼接方法》[1]中提出，利用POS数据和该区域已有的DEM数据或全球公开的DEM数据SRTM3，进行数字微分纠正。不过这种方法存在的问题是：依赖高精度的POS系统，或需要已知高精度POS数据；适合于较低精度(米级)的大范围正射影像生成，例如使用大幅面数码航摄影像或卫星影像生成米级精度的DOM，同样也不能生成Mesh模型和较高精度的DEM数据。
文中涉及如下参考文献：
[1]郑顺义,马电,桂力,王晓南.一种ARM+DSP架构的机载影像实时拼接方法[J].武汉大学学报(信息科学版),2014,39(1):1-7.
发明内容
本发明的目的是提供一种基于无人机航摄数据的高精度正射影像实时生成方法及系统。
本发明不依赖于高精度POS系统即可实现高精度DOM数据产品的实时生成，还可实时生成较高精度的DEM数据产品、粗略的Mesh模型以及DSM成果等。采用本发明方法，在无人机航飞过程中即能同步完成数据处理，可满足抗震救灾、应急响应等紧急情形下对数据实时性与高精度的需求。
为达到上述目的，本发明提供了基于无人机航摄数据的正射影像实时生成方法，包括：
对由无人机采集的视频流数据分解所得单帧影像序列中各单帧影像做如下处理：
(1)去除单帧影像的相机畸变并提取特征点；
(2)基于去除畸变的单帧影像序列构建全局地图，本步骤进一步包括：
(2a)基于所选取的初始帧L1与参考帧R2，以L1为基础构建相对坐标系下的初始地图；L1与R2为单帧影像序列中相邻两影像帧且R2为后一帧，利用L1与R2初始化关键帧序列；
(2b)将新的单帧影像记为当前帧，利用关键帧序列追踪当前帧位姿，得当前帧的姿态旋转矩阵；判断最近t时内关键帧序列内是否有新关键帧加入，若无，将当前帧作为新关键帧加入，执行步骤(2c)；否则，继续对下一新的单帧影像执行本步骤；t为经验值；
(2c)基于新关键帧和其相邻关键帧生成新地图点，在局部地图中删除冗余的地图点及关键帧，利用局部地图平差优化新关键帧位姿及其地图点三维坐标；
冗余的地图点指：当一新地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点；冗余的关键帧指：当一关键帧上p％以上的地图点都能在其他关键帧上找到，则该关键帧为冗余的关键帧；次数阈值为经验值和百分比阈值p％均为经验值；
(2d)对新关键帧进行回环检测，当存在回环候选帧，利用新关键帧和回环候选帧优化全局地图，之后执行步骤(3)；否则执行步骤(2e)；
(2e)周期性进行局部和全局的GPS辅助光束法平差，之后执行步骤(3)；
对R2后的每一新单帧影像，依次执行步骤(2b)～(2d)，直至所有单帧影像处理完毕；
(3)在全局地图点点云构建的地图点三角网中找出新产生的三角面片，将距离三角面片最近的关键帧纹理映射到三角面片，三角面片组合成数字正射影像。
进一步的，步骤(2a)中构建相对坐标系下的初始地图，进一步包括：
对初始帧L1和参考帧R2进行特征点匹配，获得匹配特征点对；
利用特征点匹配结果，利用四点法计算R2相对于L1的单应矩阵，利用八点法计算相应的基础矩阵；
利用单应矩阵和基础矩阵估计R2相对L1的位姿关系；
基于位姿关系，对匹配特征点对进行三角化，生成地图点，并构建以L1为基础的相对坐标系下的初始地图。
进一步的，步骤(2b)中利用关键帧序列追踪当前帧位姿，具体为：
将当前帧与关键帧序列中距离最近的一关键帧进行特征点匹配，若匹配点对数量不超过m，丢弃当前帧，将下一新的单帧影像作为当前帧进行位姿追踪；若匹配点对数量超过m，基于匹配结果，利用EPnP算法追踪该当前帧的位姿，并获得姿态旋转矩阵R；m为经验值。
进一步的，步骤(2c)进一步包括：
新关键帧插入局部地图；
将新关键帧与其在关键帧序列中相邻的关键帧进行特征点匹配，经三角化生成新地图点；
在局部地图中删除冗余的地图点以及关键帧；
利用局部光束法平差优化对新关键帧位姿及其上地图点的绝对坐标进行平差优化。
进一步的，步骤(2d)中所述的对新关键帧进行回环检测，具体为：
通过新关键帧的绝对坐标位置以及姿态旋转矩阵，通过地图点高程计算新关键帧在地图点平均高程面的投影范围；通过判断新关键帧投影范围与关键帧序列的其他关键帧投影范围是否存在重叠区且重叠区范围是否大于预设的重叠阈值，来初始回环检测序列，利用视觉词袋算法DBow3在回环检测序列内找到回环候选帧；所述重叠阈值为经验值；
当存在回环候选帧时，优化全局地图，具体为：
将新关键帧与回环候选帧进行特征点匹配，基于匹配结果进行三维相似变换，之后利用关键帧相邻关系传播回环误差，再利用光束法平差优化全局地图。
进一步的，步骤(2e)中所述的周期性进行局部和全局的GPS辅助光束法平差，具体为：
当关键帧序列中存在k帧未进行局部GPS辅助光束法平差的新关键帧时，利用关键帧序列中最新的i×k张关键帧对应的GPS坐标获取该i×k张关键帧摄影中心的绝对坐标，之后进行一次局部的GPS辅助光束法平差；
所述关键帧对应的GPS坐标指该关键帧获取时刻，无人机上GPS设备中心所在位置的坐标[B,L,H]，其中，B为大地纬度，L为大地经度，H为大地高程；
当每执行完j次局部的GPS辅助光束法平差后，对全局地图进行一次全局的GPS辅助光束法平差；i、j、k均为预设值。
所述摄影中心的绝对坐标采用如下方法获得：
通过将GPS数据与影像数据的高精度融合来获取当前帧时刻对应的GPS坐标，将GPS坐标转换为空间直角坐标，将该时刻GPS设备的空间直角坐标值再加上相机摄影中心位置与GPS设备中心位置之间在同一空间直角坐标系下的相对位置，即可得到当前帧的摄影中心绝对坐标。
进一步的，步骤(3)中所采用的全局地图点点云为由当前所有稳定的地图点构成的点云；
所述稳定的地图点指：经过连续若干帧关键帧均出现、且每次出现时绝对坐标相对前一次出现时的变化幅度均小于预设幅度阈值的地图点。
进一步的，步骤(3)具体为：
利用新地图点从地图点三角网找到新生成的三角面片，将地图点三角网顶点的绝对坐标[Xsw,Ysw,Zsw]反投影到新关键帧上的像素齐次坐标[μ,ν,1]；
根据[Xsw,Ysw,1]在数字正射影像图像上的像素坐标[Xp,Yp,1]与[μ,ν,1]的关系建立仿射变换矩阵方程，求解仿射变换矩阵系数；
利用仿射变换矩阵系数，使用反解法将各新生成三角面片对应的理想关键帧上纹理映射至数字正射影像上，生成完整的数字正射影像；
所述理想关键帧指：距离新生成的三角面片最近的关键帧，即在关键帧摄影主光轴与新生成三角面片法向量的夹角须小于某个阈值的基础上，优选出关键帧摄影中心与新生成三角面片距离最近的关键帧。
作为优选，每次生成或更新数字正射影像时，动态更新各地图点坐标在X、Y方向的最小值Xmin、Ymin、以及最大值Xmax、Ymax；利用Xmin、Ymin、Xmax、Ymax和数字正射影像分辨率S动态计算数字正射影像的像幅大小，并创建新的测区数字正射影像；
当更新后的Xmin和Ymin相对上一次的Xmin和Ymin有变化，将更新后的Xmin和Ymin记为X′min和Y′min，将上一次生成或更新后的测区数字正射影像纹理复制至新的测区数字正射影像上，而此时的复制操作实际是一个平移变换，平移量为
Figure BDA0002206405520000061
动态更新各地图点坐标在X、Y方向的最小值Xmin、Ymin，具体为：
将新生成三角面片的全部顶点坐标值中在X、Y方向的最小值与上一次更新的Xmin、Ymin比较，在X、Y方向上分别取较小值作为本次更新后的Xmin、Ymin；Xmin、Ymin的初始值取为新生成三角面片的全部顶点坐标值中在X、Y方向的最小值；
动态更新各地图点坐标在X、Y方向的最大值Xmax和Ymax，具体为：
将新生成三角面片的全部顶点坐标值中在X、Y方向的最大值与上一次更新的Xmax和Ymax比较，在X、Y方向上分别取较大值作为本次更新后的Xmax和Ymax；Xmax和Ymax的初始值取新生成三角面片的全部顶点坐标值中在X、Y方向的最大值。
本发明还提供了基于无人机航摄数据的正射影像实时生成系统，该系统用来对由无人机采集的视频流数据分解所得单帧影像序列中各单帧影像顺次做处理，包括：
预处理模块，用来去除单帧影像的相机畸变并提取特征点；
地图构建模块，用来基于去除畸变的单帧影像序列构建全局地图；
数字正射影像获得模块，用来在全局地图点点云构建的地图点三角网中找出新产生的三角面片，将距离三角面片最近的关键帧纹理映射到三角面片，三角面片组合成数字正射影像；
所述地图构建模块进一步包括初始化模块、关键帧跟踪及更新模块、关键帧优化模块、全局优化模块、GPS辅助光束法平差模块；
所述初始化模块，用来基于所选取的初始帧L1与参考帧R2，以L1为基础构建相对坐标系下的初始地图；L1与R2为单帧影像序列中相邻两影像帧且R2为后一帧，利用L1与R2初始化关键帧序列；
所述关键帧跟踪及更新模块，用来将新的单帧影像记为当前帧，利用关键帧序列追踪当前帧位姿，得当前帧的姿态旋转矩阵；判断最近t时内关键帧序列内是否有新关键帧加入，若无，将当前帧作为新关键帧加入，执行步骤(2c)；否则，继续对下一新的单帧影像执行本步骤；t为经验值；
所述关键帧优化模块，用来基于新关键帧和其相邻关键帧生成新地图点，在局部地图中删除冗余的地图点及关键帧，利用局部地图平差优化新关键帧位姿及其地图点三维坐标；
冗余的地图点指：当一新地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点；冗余的关键帧指：当一关键帧上p％以上的地图点都能在其他关键帧上找到，则该关键帧为冗余的关键帧；次数阈值为经验值和百分比阈值p％均为经验值；
所述全局优化模块，用来对新关键帧进行回环检测，当存在回环候选帧，利用新关键帧和回环候选帧优化全局地图，之后转至数字正射影像获得模块；否则转至GPS辅助光束法平差模块；
所述GPS辅助光束法平差模块，用来周期性进行局部和全局的GPS辅助光束法平差，之后转至数字正射影像获得模块。
和现有技术相比，本发明具有如下优点和有益效果：
(1)可利用获取到的无人机数据(视频流数据与GPS数据)实时地进行高精度定位定姿，并动态的获取Mesh、DEM和高精度的DOM产品，所获取的Mesh可用于实时生成数字表面模型DSM。
(2)实现了无人机数据获取与正射影像高精度生成同时进行，可满足抗震救灾、应急响应等紧急情形下对数据实时性与高精度的处理需求。
(3)将本发明应用于实时摄影测量领域，具有很广阔的发展前景，克服了传统摄影测量的缺点，充分发展了无人机实时数据处理的优点，推动了摄影测量技术的进一步发展和进步。
附图说明
图1为实施例中整体流程示意图；
图2为实施例中影像数据处理流程示意图；
图3为实施例中影像footprint的投影示例图；
图4为实施例中生成三角网动态纹理映射的示例图；
图5为实施例中最终生成的成果示例图，其中，图(a)为实施例中生成的三维三角网模型Mesh，图(b)为实施例中生成的数字高程模型DEM，图(c)为实施例中生成的数字正射影像DOM。
具体实施方式
为了更清楚地说明本发明和/或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，并不用于限定本发明。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
实施例
本实施例将提供基于无人机航摄数据的正射影像实时生成方法的优选实施方式，该优选实施方式的流程参见图1，主要包括无人机起飞前的准备工作、无人机飞行过程中影像数据的传输、以及在地面对接收的影像数据进行处理三大部分。下面将对这三大部分的具体实施方式分别进行详细描述。
步骤100，无人机起飞前的准备工作。
准备工作进一步包括①无人机相机标定、以及②根据航测区域的实际情况、对获取影像分辨率的要求、无人机航向、旁向重叠度进行航线规划并设置航测任务。相机标定用来获取相机标定参数，所述相机标定参数包括径向畸变参数k1、k2、k3、偏心畸变参数p1、p2、仿射畸变参数b1、非正交畸变参数b2。所述航测区域实际情况至少应包括测区天气、航测区域的面积、形状、地形。
对本领域技术人员而言，相机标定、航线规划以及设置航测任务均为公知技术，其具体实施方式不再赘述。
步骤200，无人机飞行过程中影像数据的传输。
由于无人机相机采集的是视频流数据，所以需要先对视频流数据解码，并按照无人机拍摄视频帧率将解码后的视频流数据分解为单帧影像，获得单帧影像序列；同时将单帧影像序列中各单帧影像与对应时刻的GPS数据融合，即将GPS数据与单帧影像序列进行高精度对齐。GPS数据从无人机搭载的GPS模块获得。将对齐的单帧影像序列和GPS数据实时传送回设于地面的工作站。
本实施例中，视频流数据为H.264格式，具体采用FFmpeg对视频流数据进行解码。对本领域技术人员而言，视频流数据的解码以及将视频流数据分解为单帧影像均为公知技术，因此不再赘述其具体实施方式。
步骤300，工作站对接收的影像数据进行处理。
本发明的创造性劳动集中在本步骤，本步骤的影像数据处理进一步包括：
S310，利用视觉技术处理单帧影像序列，获取优化的全局地图。
步骤S310具体包括子步骤：
步骤S311：根据相机标定参数，去除单帧影像的相机畸变，对获得的无畸变影像提取特征点。
去除单帧影像的相机畸变以及提取影像的特征点为无人机影像数据处理的公知技术，并非本发明所创新，为便于理解，下面将提供去除相机畸变的一种具体实施方式，但不限于该具体实施方式。
本实施例利用公式(1)和(2)来去除单帧影像的相机畸变：
Figure BDA0002206405520000091
Figure BDA0002206405520000092
式(1)～(2)中：
(xnon,ynon)表示无畸变影像的像点坐标；
(x0,y0)表示内方位元素转换像素坐标，根据相机标定结果得到；
(x,y)表示带畸变影像的像点坐标，即去除畸变前的单帧影像的像点坐标；
(Δx,Δy)表示无畸变影像的像点坐标(xnon,ynon)与实际像点坐标(x-x0,y-y0)分别在像平面坐标系下x、y方向上的差值；
r表示像点距成像中心的距离，
Figure BDA0002206405520000093
k1、k2、k3为已知的径向畸变参数；p1、p2为已知的偏心畸变参数；b1为已知的仿射畸变参数；b2为已知的非正交畸变参数。
获得无畸变影像的像点坐标后，基于无畸变影像的像点坐标对原始的单帧影像进行重采样，例如可采用双线性内插法进行重采样，即获得无畸变的单帧影像。对无畸变的单帧影像提取特征点，所述提取特征点可以为orb特征点、sift(或surf)特征点，及其组合。
后面步骤S312～S318均是对去除畸变的单帧影像序列进行处理。
步骤S312：地图初始化。
本子步骤具体包括：
首先，从单帧影像序列内选取初始帧L1与参考帧R2，初始帧L1与参考帧R2为单帧影像序列中相邻两影像帧，且参考帧R2为初始帧L1相邻后一帧。选取初始帧L1和参考帧R2的目的主要是为了构建相对坐标系下的初始地图，初始地图即全局地图的最开头部分。后续再利用其它单帧影像对所构建的相对坐标系下的初始地图进行扩充和优化，起初形成相对坐标系下的全局地图，此后经过周期性的局部和全局GPS辅助光束法平差后最终形成绝对坐标系下的全局地图。初始帧L1的选择并没特别要求，可以选为单帧影像序列的首帧，也可以选取其他帧。对初始帧L1和参考帧R2进行特征点匹配，获得匹配特征点对。影像的特征点匹配为摄影测量领域的公知技术，故不赘述其具体实施过程。
接着，利用特征点匹配的结果，使用四点法计算参考帧R2相对于初始帧L1的Homography单应矩阵(后文简记为“H矩阵”)，同时利用八点法计算相应的Fundamental基础矩阵(后文简记为“F矩阵”)。
然后，利用H矩阵与F矩阵估计参考帧R2到初始帧L1的位姿的相对变换，即获得了参考帧R2相对初始帧L1的位姿关系。所谓位姿指位置和姿态。
最后，基于参考帧R2相对初始帧L1的位姿关系，对参考帧R2与初始帧L1的匹配特征点对进行三角化，生成地图点，统一尺度构建以初始帧L1为基础的相对坐标系下的初始地图。
本文所述的局部与全局是一个相对的概念，局部指全局的一部分。相对坐标系和绝对坐标系均为本领域惯用术语，其含义对本领域技术人员而言是公知的，因此不再做进一步解释。
对单帧影像序列中除初始帧L1与参考帧R2外的单帧影像，分别依次执行步骤S313～S318。
步骤S313：初始地图构建完成，利用初始帧L1与参考帧R2初始化关键帧序列，即初始帧L1与参考帧R2成为关键帧序列的头两帧，关键帧序列中的关键帧按时间顺序排列。对新的单帧影像，记为当前帧，本实施例中新的单帧影像初始化为单帧影像序列中R2相邻后一帧，也可以初始化为单帧影像序列中的其他帧。本步骤主要利用关键帧序列对当前帧进行位姿追踪，并更新关键帧序列。
利用关键帧序列对当前帧进行位姿追踪的一种具体实施过程为：
将该当前帧与关键帧序列中距该当前帧最近的一关键帧进行特征点匹配，得到匹配点对，若匹配点对少于m对，考虑到匹配点对数量过少，可能影响追踪的鲁棒性和精度，故丢弃当前帧，继续对下一新的单帧影像执行本步骤，下一新的单帧影像指单帧影像序列中当前帧的相邻后一帧，即将下一新的单帧影像作为当前帧，继续进行位姿追踪；若匹配对多于m对，则基于匹配点对，通过EPnP算法追踪该当前帧的位姿，获得姿态旋转矩阵R，之后进行更新关键帧序列。
更新关键帧序列的一种具体实施过程为：
当追踪当前帧位姿后，判断最近t时段内关键帧序列内是否有新关键帧加入，若无，则将该当前帧作为新关键帧加入关键帧序列，之后执行步骤S314；否则，将下一新的单帧影像作为当前帧，继续执行本步骤。EPnP算法追踪影像帧的位姿为摄影测量领域的公知技术，故不再赘述其具体实施过程。
需要说明的是，本步骤中t和m均为可调参数，实质为可根据具体情况进行优化的经验值。本实施例中，t一般取0.05～1秒，优选为0.1～0.5秒，m一般取50～200。
步骤S314：利用新关键帧优化当前的局部地图，本子步骤具体为：
首先，将新关键帧插入局部地图，此局部地图所指为全局地图中与新关键帧相关联的地图区域，是全局地图的一部分。
接着，将新关键帧和关键帧序列内与该新关键帧相邻的关键帧进行特征点匹配得到匹配点对，对匹配点对进行三角化，生成新的地图点。
然后，判断冗余的地图点与关键帧点并从局部地图中删除，以减少系统的运算量。
冗余的地图点指：当一地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点。此处判断冗余的地图点特指从生成的新地图点中找出冗余的地图点。次数阈值为经验值，可根据具体情况通过多次重复试验确定最优值。本实施例中，次数阈值一般取3～5次。
冗余的关键帧指：当一关键帧上p％的地图点以上都能在其他关键帧上找到，则该关键帧为冗余的关键帧。p％为百分比阈值，为经验值，本实施例中p％优选为70％～90％。
最后，利用局部光束法平差优化新关键帧的位姿及其上地图点的三维坐标，获得新关键帧较为准确的位姿。
将参考帧R2后面的每一新的单帧影像顺次作为当前帧的新单帧影像，逐一执行子步骤S313～S314，步骤S313用来判断当前的新单帧影像是否为关键帧，从而对关键帧序列进行更新；步骤S314用来利用当前的局部地图对新关键帧的位姿和地图点三维坐标进行优化。
本发明中，局部地图和全局地图为局部和整体的关系，局部地图是全局地图的一部分，所有的局部地图构成全局地图。
步骤S315：对位姿优化后的每一新关键帧均进行回环检测，回环检测应在完成第一次局部的GPS辅助光束法平差之后进行，具体为：
利用该新关键帧的绝对坐标位置[XJ,YJ,ZJ]与姿态旋转矩阵R，通过地图点高程Z计算该新关键帧的四个角点在地图点平均高程面的投影坐标，构建投影范围footprint，参见图3。通过判断该新关键帧footprint与关键帧序列的每一关键帧footprint是否存在重叠区且重叠面积或重叠率是否大于预设的重叠阈值，来初始回环检测序列，将关键帧序列中与新关键帧的重叠面积或重叠率大于重叠阈值的关键帧加入回环检测序列，利用视觉词袋算法DBow3在回环检测序列内找到回环候选帧。当存在回环候选帧时，执行步骤S316；否则，对下一新关键帧执行本步骤。
在回环检测序列内找到回环候选帧为已有技术，其具体实施过程不再赘述。重叠阈值为经验值，本实施例中将重叠阈值设为15％～25％。
步骤S316：将新关键帧与回环候选帧进行特征点匹配，基于匹配结果进行三维相似变换，之后利用关键帧相邻关系传播回环误差，再利用光束法平差优化全局地图。
对于每一新关键帧进行回环检测，若不存在回环候选帧，则执行步骤S317和步骤S318，再进入步骤S320；若存在回环候选帧，则在步骤S316结束后，直接执行步骤S318，再进入步骤S320。
步骤S317：利用GPS辅助光束法进行平差优化。融合GPS数据优化关键帧绝对位姿和地图点绝对位置，每当关键帧序列中存在有不少于k帧的未进行局部GPS辅助光束法平差的关键帧时，则利用关键帧序列中最新的i×k张关键帧对应的GPS坐标进行一次局部的GPS辅助光束法平差，用于优化关键帧绝对位姿与地图点绝对坐标。特别的，当第一次进行局部的GPS辅助光束法平差时，系统之前还处于相对坐标系下的全局地图，之后便完成了相对坐标系下的全局地图转换为绝对坐标系下的全局地图。
关键帧对应的GPS坐标指该关键帧获取时刻，无人机上GPS设备中心所在位置的坐标[B,L,H]，其中，B为大地纬度，L为大地经度，H为大地高程。
第一次局部GPS辅助光束法平差实质上是一次全局的GPS辅助光束法平差，执行第一次局部GPS辅助光束法平差后，系统的全局地图均是处在绝对坐标系下。每当执行j次局部的GPS辅助光束法平差后，则执行一次全局的GPS辅助光束法平差优化全局地图。在进行全局GPS辅助光束法平差时，若参与平差的全局地图的数据量过大导致难以满足实时性需求，则将全局地图中的前面一部分数据舍弃，仅保留适当数量的关键帧数据参与全局GPS辅助光束法平差。i、j、k为可根据具体情况进行调整的经验值，本实施例中，i一般取1～2，优选取1.2～1.5；j一般取5～20；k一般取10～100；i和k的取值还应确保i×k为整数。平差优化中加入GPS数据可提高定位定姿精度，特别是大范围航测区域所进行的航测任务精度。
下面将对第一次局部GPS辅助光束法平差优化关键帧绝对位姿进行详细描述，具体包括：
首先，获取多帧连续单帧影像摄影中心在相对坐标系下全局地图中的三维坐标[X,Y,Z]，以及单帧影像获取时刻对应的GPS坐标[B,L,H]，其中，B为大地纬度，L为大地经度，H为大地高程；将GPS坐标[B,L,H]转换为绝对坐标系下的空间直角坐标
Figure BDA0002206405520000131
将该时刻GPS设备的空间直角坐标值
Figure BDA0002206405520000132
再加上相机摄影中心位置与GPS设备中心位置之间在同一空间直角坐标系下的相对位置，即可得到单帧影像的摄影中心绝对坐标
Figure BDA0002206405520000133
接着，根据多帧连续单帧影像的摄影中心在相对坐标系下的三维坐标[X,Y,Z]、利用GPS数据计算的摄影中心绝对坐标
Figure BDA0002206405520000141
以及相机标定参数，利用GPS辅助光束法平差解算全局地图的精确绝对坐标，全局地图的精确绝对坐标包括单帧影像摄影中心与地图点的精确绝对坐标，单帧影像摄影中心的精确绝对坐标记为[XW,YW,ZW]。进行平差解算的单帧影像帧数k为可调整参数，本实施例一般选取10～100帧。
在完成上述第一次局部GPS辅助光束法平差后，此后的局部或全局GPS辅助光束法平差优化关键帧绝对位姿，具体包括：
首先，获取多帧连续单帧影像摄影中心在绝对坐标系下全局地图中的三维坐标[XJ,YJ,ZJ]，以及单帧影像获取时刻对应的GPS坐标[B,L,H]和利用GPS数据计算的单帧影像摄影中心绝对坐标
Figure BDA0002206405520000142
接着，根据多帧连续单帧影像的摄影中心在绝对坐标系下全局地图中的三维坐标[XJ,YJ,ZJ]、利用GPS数据计算的摄影中心绝对坐标
Figure BDA0002206405520000143
以及相机标定参数，利用GPS辅助光束法平差解算绝对坐标系下局部或全局地图的精确绝对坐标，绝对坐标系下局部或全局地图的精确绝对坐标包括单帧影像摄影中心的精确绝对坐标[XW,YW,ZW]与地图点的精确绝对坐标[Xsw,Ysw,Zsw]。
步骤S318：记录经过连续n帧关键帧均出现，且每次出现绝对坐标变化幅度均小于预设幅度阈值的地图点，记为稳定地图点，绝对坐标变化幅度具体指每次出现相对上次出现的绝对坐标变化幅度。将稳定地图点包括之前已有的地图点与新的关键帧加入后新出现的稳定地图点，将所有稳定地图点加入构图(构网)模块，进入步骤S320。n和幅度阈值为经验值，可通过多次试验调整优化，在本实施例中，n一般取2～5，幅度阈值取为0.05～0.15米。
步骤S320：对稳定的全局地图点点云分别使用泊松表面重建法(3D法)和Delaunay2D构网方法(即狄洛尼三角剖分法)建立三维三角网模型(Mesh)和二维三角网，并对新产生的二维三角网区域进行纹理映射生成数字正射影像DOM。
步骤S320进一步包括子步骤：
步骤S321：获取到全局稳定的地图点点云，删除孤立点与噪声点并对点云做平滑滤波，之后使用Delaunay2D算法对点云构建地图点三角网，删除孤岛三角形，利用生成的地图点三角网生成数字高程模型DEM。需要说明的是，本步骤所述孤岛三角形指没有相邻的其他三角形的三角形。
步骤S322：对步骤S321中平滑后的点云，利用泊松表面重建算法生成三维三角网模型Mesh，可用于实时生成数字表面模型DSM。
步骤S323：取得步骤S321获取的地图点三角网，通过步骤S318中生成的新的稳定地图点找到地图点三角网中新生成的三角面片，即图4中所示新产生的三角网区域，找到各新三角面片对应的理想关键帧，理想关键帧指距离新生成的三角面片最近的关键帧。通过公式(3)将地图点三角网顶点的绝对坐标[Xsw,Ysw,Zsw]反投影到理想关键帧影像上像素齐次坐标[μ,ν,1]，此时获得三对点对。
Figure BDA0002206405520000151
式(3)中，λ2为比例系数；P为三角面片对应的关键帧的投影矩阵，其值通过该关键帧位姿参数与相机标定参数计算所得。
然后，根据[Xsw,Ysw,1]在相应分辨率S下数字正射影像DOM图像上的像素坐标[Xp,Yp,1]与[μ,ν,1]的关系建立仿射变换矩阵方程，解得仿射变换矩阵系数[f1,f2,f3,f4,f5,f6]。
Xp和Yp由公式(4)计算：
Figure BDA0002206405520000152
式(4)中，S为数字正射影像的分辨率，默认为等于关键帧影像的分辨率，也可以人为指定分辨率；Xmin和Ymin为地图点坐标在X、Y方向的最小值。
每次执行步骤S323用来生成和/或更新DOM时，需要动态的计算地图点坐标在X、Y方向的最小值Xmin、Ymin、地图点坐标在X、Y方向的最大值Xmax、Ymax、以及DOM的像幅大小。
Xmin和Ymin可通过如下方法获得：
将新生成三角面片的全部顶点坐标值中在X、Y方向的最小值与上一次记录的Xmin、Ymin相比较，在X、Y方向上分别取较小值更新X、Y方向上的Xmin、Ymin，Xmin、Ymin的初始值则为新生成三角面片的全部顶点坐标值中在X、Y方向的最小值。
同理，也可以动态计算地图点坐标在X、Y方向的最大值Xmax和Ymax，即将新生成三角面片的全部顶点坐标值中在X、Y方向上的最大值与上一次记录的Xmax和Ymax相比较，在X、Y方向上分别取较大值更新X、Y方向上的Xmax、Ymax，Xmax、Ymax的初始值则为新生成三角面片的全部顶点坐标值中在X、Y方向的最大值。
利用Xmin、Ymin、Xmax、Ymax和S即可动态计算测区DOM的像幅大小，像幅宽为像幅高为
Figure BDA0002206405520000162
已知测区DOM的新像幅大小，对应创建一张新的测区DOM。
若最新计算的Xmin和Ymin相对上一次的Xmin和Ymin有变化，将最新计算的Xmin和Ymin记为X′min和Y′min，则地图点三角网中旧三角面片所对应的理想关键帧上的纹理在新的测区DOM上的像素坐标[Xp,Yp,1]也会变化，需要将上一次的测区DOM纹理复制至新的测区DOM上，而此时的复制操作实际是一个平移变换，平移量为或是将关键帧序列中的理想关键帧影像上纹理重新映射至新的测区DOM上。此处，关键帧序列中的理想关键帧指：之前在生成测区DOM过程中，在进行纹理映射时，根据“距离三角面片最近”规则(即在关键帧摄影主光轴与三角面片法向量的夹角须小于某个指定阈值的基础上，再来优选关键帧摄影中心与三角面片距离最近的关键帧)，选取并记录的最优关键帧。
若最新计算的Xmin和Ymin相对上一次没有变化，则地图点三角网中旧三角面片所对应的理想关键帧上的纹理在新的测区DOM上的像素坐标[Xp,Yp,1]不会变化，只需要将上一次的测区DOM纹理复制至新的测区DOM上，且此时的测区DOM在复制前后的像素坐标没有改变。
该动态计算测区DOM像幅大小和动态更新测区DOM的方法，需要不断地重新计算DOM像幅大小、不断地将上一次的测区DOM纹理复制至新的测区DOM上，虽然计算过程看起来要略为复杂一些，实质上具有以下优点：适应性强，不需要已知航线规划信息；编程逻辑简单；DOM像幅大小缓慢增加且可动态地精准计算DOM像幅大小，占用内存资源较少。
最后，通过仿射变换矩阵将各新三角面片对应的理想关键帧影像上纹理使用反解法映射至数字正射影像DOM上，至此生成完整的数字正射影像DOM。
图4所示为地图点三角网示意图，其中虚线表示新产生的三角网区域，实线表示已映射纹理的三角网区域。步骤S323中需要找出新产生的三角网区域(即前文所述三角面片)，再将新关键帧纹理映射到新产生的三角网区域，即获得数字正射影像。
飞行完成时即可同步生成三维三角网模型Mesh、数字高程模型DEM、数字正射影像DOM，分别见图5中的图(a)、图(b)、图(c)。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.基于无人机航摄数据的正射影像实时生成方法，其特征是，包括：
对由无人机采集的视频流数据分解所得单帧影像序列中各单帧影像做如下处理：
(1)去除单帧影像的相机畸变并提取特征点；
(2)基于去除畸变的单帧影像序列构建全局地图，本步骤进一步包括：
(2a)基于所选取的初始帧L1与参考帧R2，以L1为基础构建相对坐标系下的初始地图；L1与R2为单帧影像序列中相邻两影像帧且R2为后一帧，利用L1与R2初始化关键帧序列；
(2b)将新的单帧影像记为当前帧，利用关键帧序列追踪当前帧位姿，得当前帧的姿态旋转矩阵；判断最近t时内关键帧序列内是否有新关键帧加入，若无，将当前帧作为新关键帧加入，执行步骤(2c)；否则，继续对下一新的单帧影像执行本步骤；t为经验值；
(2c)基于新关键帧和其相邻关键帧生成新地图点，在局部地图中删除冗余的地图点及关键帧，利用局部地图平差优化新关键帧位姿及其地图点三维坐标；
冗余的地图点指：当一新地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点；冗余的关键帧指：当一关键帧上p％以上的地图点都能在其他关键帧上找到，则该关键帧为冗余的关键帧；次数阈值为经验值和百分比阈值p％均为经验值；
(2d)对新关键帧进行回环检测，当存在回环候选帧，利用新关键帧和回环候选帧优化全局地图，之后执行步骤(3)；否则执行步骤(2e)；
(2e)周期性进行局部和全局的GPS辅助光束法平差，之后执行步骤(3)；
对R2后的每一新单帧影像，依次执行步骤(2b)～(2d)，直至所有单帧影像处理完毕；
(3)在全局地图点点云构建的地图点三角网中找出新产生的三角面片，将距离三角面片最近的关键帧纹理映射到三角面片，三角面片组合成数字正射影像。
2.如权利要求1所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
步骤(2b)中利用关键帧序列追踪当前帧位姿，具体为：
将当前帧与关键帧序列中距离最近的一关键帧进行特征点匹配，若匹配点对数量不超过m，丢弃当前帧，将下一新的单帧影像作为当前帧进行位姿追踪；若匹配点对数量超过m，基于匹配结果，利用EPnP算法追踪该当前帧的位姿，并获得姿态旋转矩阵R；m为经验值。
3.如权利要求1所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
步骤(2d)中所述的对新关键帧进行回环检测，具体为：
通过新关键帧的绝对坐标位置以及姿态旋转矩阵，通过地图点高程计算新关键帧在地图点平均高程面的投影范围；通过判断新关键帧投影范围与关键帧序列的其他关键帧投影范围是否存在重叠区且重叠区范围是否大于预设的重叠阈值，来初始回环检测序列，利用视觉词袋算法DBow3在回环检测序列内找到回环候选帧；所述重叠阈值为经验值；
当存在回环候选帧时，优化全局地图，具体为：
将新关键帧与回环候选帧进行特征点匹配，基于匹配结果进行三维相似变换，之后利用关键帧相邻关系传播回环误差，再利用光束法平差优化全局地图。
4.如权利要求1所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
步骤(2e)中所述的周期性进行局部和全局的GPS辅助光束法平差，具体为：
当关键帧序列中存在k帧未进行局部GPS辅助光束法平差的新关键帧时，利用关键帧序列中最新的i×k张关键帧对应的GPS坐标获取该i×k张关键帧摄影中心的绝对坐标，之后进行一次局部的GPS辅助光束法平差；
所述关键帧对应的GPS坐标指该关键帧获取时刻，无人机上GPS设备中心所在位置的坐标[B,L,H]，其中，B为大地纬度，L为大地经度，H为大地高程；
当每执行完j次局部的GPS辅助光束法平差后，对全局地图进行一次全局的GPS辅助光束法平差；i、j、k均为预设值。
5.如权利要求4所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
所述摄影中心的绝对坐标采用如下方法获得：
通过将GPS数据与影像数据的高精度融合来获取当前帧时刻对应的GPS坐标，将GPS坐标转换为空间直角坐标，将该时刻GPS设备的空间直角坐标值再加上相机摄影中心位置与GPS设备中心位置之间在同一空间直角坐标系下的相对位置，即可得到当前帧的摄影中心绝对坐标。
6.如权利要求1所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
步骤(3)中所采用的全局地图点点云为由当前所有稳定的地图点构成的点云；
所述稳定的地图点指：经过连续若干帧关键帧均出现、且每次出现时绝对坐标相对前一次出现时的变化幅度均小于预设幅度阈值的地图点。
7.如权利要求1所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
步骤(3)具体为：
利用新地图点从地图点三角网找到新生成的三角面片，将地图点三角网顶点的绝对坐标[Xsw,Ysw,Zsw]反投影到理想关键帧上的像素齐次坐标[μ,ν,1]；
根据[Xsw,Ysw,1]在数字正射影像图像上的像素坐标[Xp,Yp,1]与[μ,ν,1]的关系建立仿射变换矩阵方程，求解仿射变换矩阵系数；
利用仿射变换矩阵系数，使用反解法将各新生成三角面片对应的理想关键帧上纹理映射至数字正射影像上，生成完整的数字正射影像；
所述理想关键帧指距离新生成的三角面片最近的关键帧，即在关键帧摄影主光轴与新生成三角面片法向量的夹角须小于某个阈值的基础上，优选出关键帧摄影中心与新生成三角面片距离最近的关键帧。
8.如权利要求7所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
每次生成或更新数字正射影像时，动态更新各地图点坐标在X、Y方向的最小值Xmin、Ymin、以及最大值Xmax、Ymax；利用Xmin、Ymin、Xmax、Ymax和数字正射影像分辨率S动态计算数字正射影像的像幅大小，并创建新的测区数字正射影像；
当更新后的Xmin和Ymin相对上一次的Xmin和Ymin有变化，将更新后的Xmin和Ymin记为X′min和Y′min，将上一次生成或更新后的测区数字正射影像纹理复制至新的测区数字正射影像上，而此时的复制操作实际是一个平移变换，平移量为
Figure FDA0002206405510000041
当更新后的Xmin和Ymin相对上一次的Xmin和Ymin没有变化，将更新后的Xmin和Ymin记为X′min和Y′min，将上一次生成或更新后的测区数字正射影像纹理复制至新的测区数字正射影像上，且此时的测区DOM在复制前后的像素坐标没有改变。
9.如权利要求8所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
动态更新各地图点坐标在X、Y方向的最小值Xmin、Ymin，具体为：
将新生成三角面片的全部顶点坐标值中在X、Y方向的最小值与上一次更新的Xmin、Ymin比较，在X、Y方向上分别取较小值作为本次更新后的Xmin、Ymin；Xmin、Ymin的初始值取为新生成三角面片的全部顶点坐标值中在X、Y方向的最小值；
动态更新各地图点坐标在X、Y方向的最大值Xmax和Ymax，具体为：
将新生成三角面片的全部顶点坐标值中在X、Y方向的最大值与上一次更新的Xmax和Ymax比较，在X、Y方向上分别取较大值作为本次更新后的Xmax和Ymax；Xmax和Ymax的初始值取新生成三角面片的全部顶点坐标值中在X、Y方向的最大值。
10.基于无人机航摄数据的正射影像实时生成系统，其特征是：
该系统用来对由无人机采集的视频流数据分解所得单帧影像序列中各单帧影像顺次做处理，包括：
预处理模块，用来去除单帧影像的相机畸变并提取特征点；
地图构建模块，用来基于去除畸变的单帧影像序列构建全局地图；
数字正射影像获得模块，用来在全局地图点点云构建的地图点三角网中找出新产生的三角面片，将距离三角面片最近的关键帧纹理映射到三角面片，三角面片组合成数字正射影像；
所述地图构建模块进一步包括初始化模块、关键帧跟踪及更新模块、关键帧优化模块、全局优化模块、GPS辅助光束法平差模块；
所述初始化模块，用来基于所选取的初始帧L1与参考帧R2，以L1为基础构建相对坐标系下的初始地图；L1与R2为单帧影像序列中相邻两影像帧且R2为后一帧，利用L1与R2初始化关键帧序列；
所述关键帧跟踪及更新模块，用来将新的单帧影像记为当前帧，利用关键帧序列追踪当前帧位姿，得当前帧的姿态旋转矩阵；判断最近t时内关键帧序列内是否有新关键帧加入，若无，将当前帧作为新关键帧加入，执行步骤(2c)；否则，继续对下一新的单帧影像执行本步骤；t为经验值；
所述关键帧优化模块，用来基于新关键帧和其相邻关键帧生成新地图点，在局部地图中删除冗余的地图点及关键帧，利用局部地图平差优化新关键帧位姿及其地图点三维坐标；
冗余的地图点指：当一新地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点；冗余的关键帧指：当一关键帧上p％以上的地图点都能在其他关键帧上找到，则该关键帧为冗余的关键帧；次数阈值为经验值和百分比阈值p％均为经验值；
所述全局优化模块，用来对新关键帧进行回环检测，当存在回环候选帧，利用新关键帧和回环候选帧优化全局地图，之后转至数字正射影像获得模块；否则转至GPS辅助光束法平差模块；
所述GPS辅助光束法平差模块，用来周期性进行局部和全局的GPS辅助光束法平差，之后转至数字正射影像获得模块。
CN201910882869.6A 2019-08-07 2019-09-18 基于无人机航摄数据的正射影像实时生成方法及系统 Active CN110648398B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019107266812 2019-08-07
CN201910726681 2019-08-07

Publications (2)

Publication Number Publication Date
CN110648398A true CN110648398A (zh) 2020-01-03
CN110648398B CN110648398B (zh) 2020-09-11

Family

ID=68991288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910882869.6A Active CN110648398B (zh) 2019-08-07 2019-09-18 基于无人机航摄数据的正射影像实时生成方法及系统

Country Status (1)

Country Link
CN (1) CN110648398B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462029A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN112288637A (zh) * 2020-11-19 2021-01-29 埃洛克航空科技（北京）有限公司 无人机航拍图像快速拼接装置及快速拼接方法
CN112434709A (zh) * 2020-11-20 2021-03-02 西安视野慧图智能科技有限公司 基于无人机实时稠密三维点云和dsm的航测方法及系统
CN112465976A (zh) * 2020-12-14 2021-03-09 广州港数据科技有限公司 堆场三维地图建立方法、库存管理方法、设备及介质
CN112559654A (zh) * 2020-11-27 2021-03-26 广州极飞科技有限公司 电子地图的生成方法、装置和通信系统
CN112767245A (zh) * 2021-01-04 2021-05-07 航天时代飞鸿技术有限公司 基于多无人机实时视频图像的地图拼接构建的系统及方法
CN113094457A (zh) * 2021-04-15 2021-07-09 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN113256813A (zh) * 2021-07-01 2021-08-13 西南石油大学 一种带约束的建筑物立面正射影像图提取方法
CN113284211A (zh) * 2021-06-09 2021-08-20 杭州今奥信息科技股份有限公司 一种正射影像生成的方法以及系统
CN113296543A (zh) * 2021-07-27 2021-08-24 成都睿铂科技有限责任公司 航拍航线规划方法及系统
CN113312435A (zh) * 2020-02-27 2021-08-27 武汉四维图新科技有限公司 高精度地图更新方法和设备
CN113759953A (zh) * 2021-11-09 2021-12-07 四川格锐乾图科技有限公司 一种基于开源dem数据的飞行姿态照片纠正方法
CN113853577A (zh) * 2020-04-28 2021-12-28 深圳市大疆创新科技有限公司 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质
CN114046776A (zh) * 2021-09-22 2022-02-15 北京洛斯达科技发展有限公司 一种输电工程水土保持措施落实的核查系统
CN114390291A (zh) * 2022-01-17 2022-04-22 广州市奥威亚电子科技有限公司 视频编码流传输方法及装置
CN114528367A (zh) * 2022-02-23 2022-05-24 重庆允丰科技有限公司 基于数字孪生的业务数据信息统计方法及计算机存储介质
CN114543787A (zh) * 2022-04-21 2022-05-27 南京理工大学 基于条纹投影轮廓术的毫米级室内建图定位方法
CN116883251A (zh) * 2023-09-08 2023-10-13 宁波市阿拉图数字科技有限公司 基于无人机视频的图像定向拼接与三维建模方法
CN116958519A (zh) * 2023-09-15 2023-10-27 四川泓宝润业工程技术有限公司 一种无人机视频图像与无人机位置数据对齐的方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900550A (zh) * 2010-07-20 2010-12-01 同济大学 一种基于卫星影像的建筑物高程定位控制与精度评价方法
US20150023602A1 (en) * 2013-07-19 2015-01-22 Kamil Wnuk Fast recognition algorithm processing, systems and methods
CN105004321A (zh) * 2015-07-17 2015-10-28 湖北省电力勘测设计院 顾及曝光不同步的无人机gps辅助光束法平差方法
CN105143821A (zh) * 2013-04-30 2015-12-09 高通股份有限公司 依据slam地图的广域定位
CN105847750A (zh) * 2016-04-13 2016-08-10 中测新图(北京)遥感技术有限责任公司 基于地理编码的无人机视频影像实时显示的方法及装置
CN106097304A (zh) * 2016-05-31 2016-11-09 西北工业大学 一种无人机实时在线地图生成方法
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN108592914A (zh) * 2018-04-08 2018-09-28 河南科技学院 无gps情况下的复杂区域巡视机器人定位、导航及授时方法
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN109307508A (zh) * 2018-08-29 2019-02-05 中国科学院合肥物质科学研究院 一种基于多关键帧的全景惯导slam方法
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900550A (zh) * 2010-07-20 2010-12-01 同济大学 一种基于卫星影像的建筑物高程定位控制与精度评价方法
CN105143821A (zh) * 2013-04-30 2015-12-09 高通股份有限公司 依据slam地图的广域定位
US20150023602A1 (en) * 2013-07-19 2015-01-22 Kamil Wnuk Fast recognition algorithm processing, systems and methods
CN105004321A (zh) * 2015-07-17 2015-10-28 湖北省电力勘测设计院 顾及曝光不同步的无人机gps辅助光束法平差方法
CN105847750A (zh) * 2016-04-13 2016-08-10 中测新图(北京)遥感技术有限责任公司 基于地理编码的无人机视频影像实时显示的方法及装置
CN106097304A (zh) * 2016-05-31 2016-11-09 西北工业大学 一种无人机实时在线地图生成方法
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN108592914A (zh) * 2018-04-08 2018-09-28 河南科技学院 无gps情况下的复杂区域巡视机器人定位、导航及授时方法
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN109307508A (zh) * 2018-08-29 2019-02-05 中国科学院合肥物质科学研究院 一种基于多关键帧的全景惯导slam方法
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱凯等: "基于单目视觉的同时定位与建图算法研究综述", 《计算机应用研究》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312435A (zh) * 2020-02-27 2021-08-27 武汉四维图新科技有限公司 高精度地图更新方法和设备
CN113312435B (zh) * 2020-02-27 2023-06-06 武汉四维图新科技有限公司 高精度地图更新方法和设备
CN111462029B (zh) * 2020-03-27 2023-03-03 阿波罗智能技术(北京)有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN111462029A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN113853577A (zh) * 2020-04-28 2021-12-28 深圳市大疆创新科技有限公司 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质
CN112288637A (zh) * 2020-11-19 2021-01-29 埃洛克航空科技（北京）有限公司 无人机航拍图像快速拼接装置及快速拼接方法
CN112434709A (zh) * 2020-11-20 2021-03-02 西安视野慧图智能科技有限公司 基于无人机实时稠密三维点云和dsm的航测方法及系统
CN112434709B (zh) * 2020-11-20 2024-04-12 西安视野慧图智能科技有限公司 基于无人机实时稠密三维点云和dsm的航测方法及系统
CN112559654A (zh) * 2020-11-27 2021-03-26 广州极飞科技有限公司 电子地图的生成方法、装置和通信系统
CN112465976B (zh) * 2020-12-14 2021-07-20 广州港数据科技有限公司 堆场三维地图建立方法、库存管理方法、设备及介质
CN112465976A (zh) * 2020-12-14 2021-03-09 广州港数据科技有限公司 堆场三维地图建立方法、库存管理方法、设备及介质
CN112767245A (zh) * 2021-01-04 2021-05-07 航天时代飞鸿技术有限公司 基于多无人机实时视频图像的地图拼接构建的系统及方法
CN112767245B (zh) * 2021-01-04 2024-03-29 航天时代飞鸿技术有限公司 基于多无人机实时视频图像的地图拼接构建的系统及方法
CN113094457B (zh) * 2021-04-15 2023-11-03 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN113094457A (zh) * 2021-04-15 2021-07-09 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN113284211A (zh) * 2021-06-09 2021-08-20 杭州今奥信息科技股份有限公司 一种正射影像生成的方法以及系统
CN113256813A (zh) * 2021-07-01 2021-08-13 西南石油大学 一种带约束的建筑物立面正射影像图提取方法
CN113296543B (zh) * 2021-07-27 2021-09-28 成都睿铂科技有限责任公司 航拍航线规划方法及系统
CN113296543A (zh) * 2021-07-27 2021-08-24 成都睿铂科技有限责任公司 航拍航线规划方法及系统
CN114046776A (zh) * 2021-09-22 2022-02-15 北京洛斯达科技发展有限公司 一种输电工程水土保持措施落实的核查系统
CN113759953A (zh) * 2021-11-09 2021-12-07 四川格锐乾图科技有限公司 一种基于开源dem数据的飞行姿态照片纠正方法
CN114390291A (zh) * 2022-01-17 2022-04-22 广州市奥威亚电子科技有限公司 视频编码流传输方法及装置
CN114390291B (zh) * 2022-01-17 2023-12-22 广州市奥威亚电子科技有限公司 视频编码流传输方法及装置
CN114528367A (zh) * 2022-02-23 2022-05-24 重庆允丰科技有限公司 基于数字孪生的业务数据信息统计方法及计算机存储介质
CN114543787A (zh) * 2022-04-21 2022-05-27 南京理工大学 基于条纹投影轮廓术的毫米级室内建图定位方法
CN116883251B (zh) * 2023-09-08 2023-11-17 宁波市阿拉图数字科技有限公司 基于无人机视频的图像定向拼接与三维建模方法
CN116883251A (zh) * 2023-09-08 2023-10-13 宁波市阿拉图数字科技有限公司 基于无人机视频的图像定向拼接与三维建模方法
CN116958519B (zh) * 2023-09-15 2023-12-08 四川泓宝润业工程技术有限公司 一种无人机视频图像与无人机位置数据对齐的方法
CN116958519A (zh) * 2023-09-15 2023-10-27 四川泓宝润业工程技术有限公司 一种无人机视频图像与无人机位置数据对齐的方法

Also Published As

Publication number Publication date
CN110648398B (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN110648398B (zh) 基于无人机航摄数据的正射影像实时生成方法及系统
CN110675450B (zh) 基于slam技术的正射影像实时生成方法及系统
JP4685313B2 (ja) 任意の局面の受動的な体積画像の処理方法
Teller et al. Calibrated, registered images of an extended urban area
KR100912715B1 (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
JP3776787B2 (ja) 三次元データベース生成システム
US20140267254A1 (en) Accurate Image Alignment to a 3D Model
CN111815765B (zh) 一种基于异构数据融合的图像三维重建方法
US11972507B2 (en) Orthophoto map generation method based on panoramic map
CN116883251B (zh) 基于无人机视频的图像定向拼接与三维建模方法
CN110986888A (zh) 一种航空摄影一体化方法
CN112288637A (zh) 无人机航拍图像快速拼接装置及快速拼接方法
CN112132971B (zh) 三维人体建模方法、装置、电子设备和存储介质
Zhao et al. Alignment of continuous video onto 3D point clouds
CN115631317B (zh) 隧道衬砌正射影像生成方法及装置、存储介质、终端
CN116385554A (zh) 一种基于双无人机视频拼接的近岸海域水深测绘方法
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
CN107784666B (zh) 基于立体影像的地形地物三维变化检测和更新方法
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
Bignone Processing of stereo scanner: from stereo plotter to pixel factory
Zhang et al. Tests and performance evaluation of DMC images and new methods for their processing
CN113759953B (zh) 一种基于开源dem数据的飞行姿态照片纠正方法
JP2004171413A (ja) デジタル画像処理装置
CN118333851A (zh) 一种无人机航摄图像实时拼接方法及装置
JP2002259952A (ja) 撮影対象物表面の自動獲得・復元方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant