CN110675450B - 基于slam技术的正射影像实时生成方法及系统 - Google Patents

基于slam技术的正射影像实时生成方法及系统 Download PDF

Info

Publication number
CN110675450B
CN110675450B CN201910841797.0A CN201910841797A CN110675450B CN 110675450 B CN110675450 B CN 110675450B CN 201910841797 A CN201910841797 A CN 201910841797A CN 110675450 B CN110675450 B CN 110675450B
Authority
CN
China
Prior art keywords
frame
image
map
coordinates
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910841797.0A
Other languages
English (en)
Other versions
CN110675450A (zh
Inventor
肖雄武
季博文
张卫龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jiuzhou Weixun Technology Co ltd
Original Assignee
Wuhan Jiuzhou Weixun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jiuzhou Weixun Technology Co ltd filed Critical Wuhan Jiuzhou Weixun Technology Co ltd
Priority to CN201910841797.0A priority Critical patent/CN110675450B/zh
Publication of CN110675450A publication Critical patent/CN110675450A/zh
Application granted granted Critical
Publication of CN110675450B publication Critical patent/CN110675450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Abstract

本发明公开了基于SLAM技术的正射影像实时生成方法及系统，其可对由无人机采集的视频流数据分解所得单帧影像序列中单帧影像做如下处理实时获得数字正射影像，步骤包括：(1)去除单帧影像的相机畸变并提取特征点；(2)获取并优化单帧影像的高精度绝对位置和姿态；(3)将位姿优化后单帧影像的四角点像素坐标转换为投影图像坐标，获得单帧影像与投影图像的单应变换关系并生成正射影像。本发明不依赖于高精度定位定姿系统，可利用获取的无人机影像数据和GPS数据实时进行高精度定位定姿，并动态的获取测区正射影像；实现了无人机数据获取与高精度正射影像生成同步进行，可满足抗震救灾、应急响应等紧急情形下对数据的高精度实时处理需求。

Description

基于SLAM技术的正射影像实时生成方法及系统
技术领域
本发明涉及航空摄影测量领域，具体涉及一种基于SLAM技术(基于视觉的同时定位与制图技术)的正射影像实时生成方法及系统。
背景技术
近年来无人机因其高效、灵活、低成本等特性，已被广泛应用于测绘、勘探、应急、救灾等领域。无人机航空摄影测量技术大大降低了传统航空摄影测量技术的成本投入，使得航空摄影测量技术从贵族化走向平民化，具有更加普遍的现实意义和应用价值。
但从另一方面来讲无人机影像处理的传统实施方法是待航摄飞行任务完成后将无人机航拍影像通过USB接口传输到电脑或服务器进行事后处理，一般还需要采集地面控制点和在图像上刺控制点，之后离线处理生成航测区域的正射影像。该方案工作仍需外业、内业配合完成，导致工作周期偏长，无法满足抢险救灾、应急处突、监控侦查等领域的航测工作的紧急、快速需求。
公开号为CN107507132A的中国专利申请公开了一种无人机航摄影像的实时拼接方法，该实时拼接方法包括步骤：根据相邻待拼接航摄影像的重叠率，实时调整提取关键航摄影像的帧间间隔；并根据相邻两帧同名点的匹配关系得到相邻两帧的变换矩阵，将序列航摄影像变换到参考影像的坐标系；根据设置的参考帧调整判决条件，实时调整参考帧，以将航摄影像变换到参考帧坐标系过程中产生的累积误差分散到各帧影像，避免误差累积导致后续影像的严重扭曲变形。该方法只是对航摄影像简单的进行拼接处理，一旦无人机在飞行过程中连续出现倾角较大的情况，拼接图像会出现扭曲，且最终无法生成较高精度的数字正射影像(DOM)成果。
公告号CN105627991A的中国专利公开了一种无人机影像实时全景拼接方法及系统，该方法包括步骤：相机对航摄区域进行拍摄获取每个曝光点的影像；分别从GPS和姿态仪中获取对应的GPS数据和姿态仪数据；对获取的GPS数据和姿态仪数据进行同步和实时解算，并算出相机在预设曝光时刻拍摄的影像的外方位元素；根据相机在预设曝光时刻的外方位元素将对应曝光点获取的且经过预处理的影像映射到全景图中，得到实时的影像全景图。该方法依赖高精度的POS系统(定位定姿系统)，没有明确给出当地平均高程的计算方法，且该方法仅利用相机外方位元素的角元素组成的旋转矩阵将倾斜影像变换为水平影像，纠正生成的正射影像精度不够高。另外，该方法根据预先划分的航摄区域信息和全景影像图的比例尺计算出拼接图的大小，这种直接固定全景影像图的像幅大小的做法，优点是思路简单，存在的缺点是：适用性不强，难以应对航线规划信息未知或不准确的情况；一般只能大概估算或饱和性估算全景影像图的像幅大小，而无法精准计算出全景影像图的像幅大小；在生成全景影像图的处理过程中占用内存资源较大。
郑顺义等人在科技论文《一种ARM+DSP架构的机载影像实时拼接方法》[1]中提出，利用POS数据和该区域已有的DEM数据或全球公开的DEM数据SRTM3，进行数字微分纠正。不过这种方法存在的问题是：依赖高精度的POS系统，或需要已知高精度POS数据；适合于较低精度(米级)的大范围正射影像生成，例如使用大幅面数码航摄影像或卫星影像生成米级精度的DOM。
文中涉及如下参考文献：
[1]郑顺义,马电,桂力,王晓南.一种ARM+DSP架构的机载影像实时拼接方法[J].武汉大学学报(信息科学版),2014,39(1):1-7.
发明内容
本发明的目的是提供一种基于SLAM技术的正射影像实时生成方法及系统。
本发明不依赖于高精度POS系统即可实现较高精度DOM数据产品的实时生成，在无人机航飞过程中即能同步完成数据处理，可满足抗震救灾、应急响应等紧急情形下对数据实时性与高精度的需求。
为达到上述目的，本发明提供了基于无人机航摄数据的高精度正射影像实时生成方法，包括对由无人机采集的视频流数据分解所得单帧影像序列中单帧影像做如下处理：
(1)去除单帧影像的相机畸变并提取特征点；
(2)基于去除畸变的单帧影像序列构建全局地图，获取单帧影像的高精度绝对位姿；
本步骤进一步包括：
(2a)基于所选取的初始帧L1与参考帧R2，以L1为基础构建相对坐标系下的初始地图；L1与R2为单帧影像序列中相邻两影像帧且R2为后一帧，利用L1与R2初始化关键帧序列；
(2b)将新的单帧影像记为当前帧，利用关键帧序列追踪当前帧位姿，获得当前帧的姿态旋转矩阵；判断最近t时内关键帧序列内是否有新关键帧加入，若无，将当前帧作为新关键帧加入，执行步骤(2c)；否则，继续对下一新的单帧影像执行本步骤；t为经验值；
(2c)基于新关键帧和其相邻关键帧生成新地图点，在局部地图中删除冗余的地图点及关键帧，利用局部地图平差优化新关键帧位姿及其地图点三维坐标；
冗余的地图点指：当一新地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点；冗余的关键帧指：当一关键帧上p％以上的地图点都能在其他关键帧上找到，则该关键帧为冗余的关键帧；次数阈值为经验值和百分比阈值p％均为经验值；
(2d)对新关键帧进行回环检测，当存在回环候选帧，利用新关键帧和回环候选帧优化全局地图，之后执行步骤(3)；否则执行步骤(2e)；
(2e)周期性进行局部和全局的GPS辅助光束法平差，之后执行步骤(3)；
对R2后的每一新单帧影像，依次执行步骤(2b)～(2d)，直至所有单帧影像处理完毕；
(3)将位姿优化后单帧影像四角点的像素坐标[μ,ν]转换为像平面坐标[x,y,1]，利用单帧影像的高精度绝对位姿计算物方投影平面坐标[X,Y]，将[X,Y]转换为投影图像坐标[X',Y']，基于四角点的[μ,ν]及对应的[X',Y']计算单应矩阵，对单帧影像进行正射纠正、拼接得正射影像。
进一步的，步骤(2a)中构建相对坐标系下的初始地图，进一步包括：
对初始帧L1和参考帧R2进行特征点匹配，获得匹配特征点对；
利用特征点匹配结果，利用四点法计算R2相对于L1的单应矩阵，利用八点法计算相应的基础矩阵；
利用单应矩阵和基础矩阵估计R2相对L1的位姿关系；
基于位姿关系，对匹配特征点对进行三角化，生成地图点，并构建以L1为基础的相对坐标系下的初始地图。
进一步的，步骤(2b)中利用关键帧序列追踪当前帧位姿，具体为：
将当前帧与关键帧序列中距离最近的一关键帧进行特征点匹配，若匹配点对数量不超过m，丢弃当前帧，将下一新的单帧影像作为当前帧进行位姿追踪；若匹配点对数量超过m，基于匹配结果，利用EPnP算法追踪该当前帧的位姿，并获得姿态旋转矩阵；m为经验值。
进一步的，步骤(2c)进一步包括：
新关键帧插入局部地图；
将新关键帧与其在关键帧序列中相邻的关键帧进行特征点匹配，经三角化生成新地图点；
在局部地图中删除冗余的地图点以及关键帧；
利用局部光束法平差优化对新关键帧位姿及其上地图点的绝对坐标进行平差优化。
进一步的，步骤(2d)中所述的对新关键帧进行回环检测，具体为：
通过新关键帧的绝对坐标位置以及姿态旋转矩阵，通过地图点高程计算新关键帧在地图点平均高程面的投影范围；通过判断新关键帧投影范围与关键帧序列的其他关键帧投影范围是否存在重叠区且重叠区范围是否大于预设的重叠阈值，来初始回环检测序列，利用视觉词袋算法DBow3在回环检测序列内找到回环候选帧；所述重叠阈值为经验值；
当存在回环候选帧时，优化全局地图，具体为：
将新关键帧与回环候选帧进行特征点匹配，基于匹配结果进行三维相似变换，之后利用关键帧相邻关系传播回环误差，再利用光束法平差优化全局地图。
进一步的，步骤(2e)中所述的周期性进行局部和全局的GPS辅助光束法平差，具体为：
当关键帧序列中存在k帧未进行局部GPS辅助光束法平差的新关键帧时，利用关键帧序列中最新的i×k张关键帧对应的GPS坐标获取该i×k张关键帧摄影中心的绝对坐标，之后进行一次局部的GPS辅助光束法平差；
所述关键帧对应的GPS坐标指该关键帧获取时刻，无人机上GPS设备中心所在位置的坐标[B,L,H]，其中，B为大地纬度，L为大地经度，H为大地高程；
当每执行完j次局部的GPS辅助光束法平差后，对全局地图进行一次全局的GPS辅助光束法平差；i、j、k均为预设值。
所述摄影中心的绝对坐标采用如下方法获得：
通过将GPS数据与影像数据的高精度融合来获取当前帧时刻对应的GPS坐标，将GPS坐标转换为空间直角坐标，将该时刻GPS设备的空间直角坐标值再加上相机摄影中心位置与GPS设备中心位置之间在同一空间直角坐标系下的相对位置，即可得到当前帧的摄影中心绝对坐标。
进一步的，步骤(3)具体包括：
(3a)将位姿优化后单帧影像四个角点的像素坐标[μ,ν]转化为像平面坐标[x,y，1]；
(3b)利用公式[x',y',z']＝R×[x,y,1]计算角点的投影平面坐标[x',y',z']，利用公式[X,Y,0]＝T-[x',y',z']×radius计算角点的物方投影平面坐标[X,Y]；R和T是由单帧影像的高精度外方位元素构成的姿态旋转矩阵和平移向量矩阵；radius为虚拟投影平面到物方投影平面的转换比例系数；
(3c)利用公式[X',Y']＝[X-Xmin,Y-Ymin]/lengthpixel计算角点的投影图像坐标[X',Y']；取四个角点物方投影平面坐标X中的最小值，记为Xmin；取四个角点物方投影平面坐标Y中的最小值，记为Ymin；lengthpixel为单位像素长度，即数字正射影像DOM的影像分辨率；
(3d)利用四个角点的像素坐标[μ,ν]及对应的投影图像坐标[X',Y']计算单应变换矩阵，并对单帧影像进行正射纠正、拼接，生成正射影像。
为达到上述目的，本发明还提供了基于SLAM技术的正射影像实时生成系统，该系统用来对由无人机采集的视频流数据分解所得单帧影像序列中各单帧影像顺次做处理，包括：
预处理模块，用来去除单帧影像的相机畸变并提取特征点；
地图构建模块，用来基于去除畸变的单帧影像序列构建全局地图，获取各单帧影像的高精度绝对位姿；
数字正射影像获得模块，用来将位姿优化后单帧影像四角点的像素坐标[μ,ν]转换为像平面坐标[x,y,1]，利用单帧影像的高精度绝对位姿计算物方投影平面坐标[X,Y]，将[X,Y]转换为投影图像坐标[X',Y']，基于四角点的[μ,ν]及对应的[X',Y']计算单应矩阵，对单帧影像进行正射纠正、拼接得正射影像；
所述地图构建模块进一步包括初始化模块、关键帧跟踪及更新模块、关键帧优化模块、全局优化模块、GPS辅助光束法平差模块；
所述初始化模块，用来基于所选取的初始帧L1与参考帧R2，以L1为基础构建相对坐标系下的初始地图；L1与R2为单帧影像序列中相邻两影像帧且R2为后一帧，利用L1与R2初始化关键帧序列；
所述关键帧跟踪及更新模块，用来将新的单帧影像记为当前帧，利用关键帧序列追踪当前帧位姿，得当前帧的姿态旋转矩阵；判断最近t时内关键帧序列内是否有新关键帧加入，若无，将当前帧作为新关键帧加入，执行步骤(2c)；否则，继续对下一新的单帧影像执行本步骤；t为经验值；
所述关键帧优化模块，用来基于新关键帧和其相邻关键帧生成新地图点，在局部地图中删除冗余的地图点及关键帧，利用局部地图平差优化新关键帧位姿及其地图点三维坐标；
冗余的地图点指：当一新地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点；冗余的关键帧指：当一关键帧上p％以上的地图点都能在其他关键帧上找到，则该关键帧为冗余的关键帧；次数阈值为经验值和百分比阈值p％均为经验值；
所述全局优化模块，用来对新关键帧进行回环检测，当存在回环候选帧，利用新关键帧和回环候选帧优化全局地图，之后转至数字正射影像获得模块；否则转至GPS辅助光束法平差模块；
所述GPS辅助光束法平差模块，用来周期性进行局部和全局的GPS辅助光束法平差，之后转至数字正射影像获得模块。
本发明融合了计算机视觉中的SLAM技术、数字摄影测量相关理论和技术，提出了一种基于SLAM技术的正射影像实时生成方法及系统，和现有技术相比，本发明具有如下优点和有益效果：
(1)可利用获取到的无人机数据(视频流数据与GPS数据)实时进行高精度定位定姿，并动态的获取测区正射影像DOM。
(2)实现了无人机数据获取与正射影像高精度生成同时进行，可满足抗震救灾、应急响应等紧急情形下对DOM成果数据实时性与高精度的需求。
(3)将本发明应用于实时摄影测量和实时测绘领域，具有很广阔的发展前景，克服了传统摄影测量的缺点，充分发展了无人机实时数据处理的优点，推动了摄影测量技术的进一步发展和进步。
附图说明
图1为实施例中整体流程示意图；
图2为实施例中影像数据处理流程示意图；
图3为实施例中影像footprint的投影示例图；
图4为实施例中生成的正射影像DOM示意图。
具体实施方式
为了更清楚地说明本发明和/或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，并不用于限定本发明。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
实施例
本实施例将提供基于SLAM技术的正射影像实时生成方法的优选实施方式，该优选实施方式的流程参见图1，主要包括无人机起飞前的准备工作、无人机飞行过程中影像数据的传输、以及在地面对接收的影像数据进行处理三大部分。下面将对这三大部分的具体实施方式分别进行详细描述。
步骤100，无人机起飞前的准备工作。
准备工作进一步包括①无人机相机标定、以及②根据航测区域的实际情况、对获取影像分辨率的要求(用于设置无人机航高)、无人机航向、旁向重叠度进行航线规划并设置航测任务。相机标定用来获取相机标定参数，所述相机标定参数包括径向畸变参数k1、k2、k3、偏心畸变参数p1、p2、仿射畸变参数b1、非正交畸变参数b2。所述航测区域实际情况至少应包括测区天气、航测区域的面积、形状、地形。
对本领域技术人员而言，相机标定、航线规划以及设置航测任务均为公知技术，其具体实施方式不再赘述。
步骤200，无人机飞行过程中影像数据的传输。
由于无人机相机采集的是视频流数据，所以需要先对视频流数据解码，并按照无人机拍摄视频帧率将解码后的视频流数据分解为单帧影像，获得单帧影像序列；同时将单帧影像序列中各单帧影像与对应时刻的GPS数据融合，即将GPS数据与单帧影像序列进行高精度对齐。GPS数据从无人机搭载的GPS模块获得。将对齐的单帧影像序列和GPS数据实时传送回设于地面的工作站。
本实施例中，视频流数据为H.264格式，具体采用FFmpeg对视频流数据进行解码。对本领域技术人员而言，视频流数据的解码以及将视频流数据分解为单帧影像均为公知技术，因此不再赘述其具体实施方式。
步骤300，工作站对接收的影像数据进行处理。
本发明的创造性劳动集中在本步骤，影像数据的处理流程参见图2，进一步包括：
S310，利用视觉技术处理单帧影像序列构建全局地图，获取各单帧影像的高精度绝对位姿。
步骤S310具体包括子步骤：
步骤S311：根据相机标定参数，去除单帧影像的相机畸变，对获得的无畸变影像提取特征点。
去除单帧影像的相机畸变以及提取影像的特征点为无人机影像数据处理的公知技术，并非本发明所创新，为便于理解，下面将提供去除相机畸变的一种具体实施方式，但不限于该具体实施方式。
本实施例利用公式(1)和(2)来去除单帧影像的相机畸变：
Figure BDA0002193951740000081
Figure BDA0002193951740000082
式(1)～(2)中：
(xnon,ynon)表示无畸变影像的像点坐标；
(x0,y0)表示内方位元素转换像素坐标，根据相机标定结果得到；
(x,y)表示带畸变影像的像点坐标，即去除畸变前的单帧影像的像点坐标；
(△x,△y)表示无畸变影像的像点坐标(xnon,ynon)与实际像点坐标(x-x0,y-y0)分别在像平面坐标系下x、y方向上的差值；
r表示像点距成像中心的距离，
Figure BDA0002193951740000091
k1、k2、k3为已知的径向畸变参数；p1、p2为已知的偏心畸变参数；b1为已知的仿射畸变参数；b2为已知的非正交畸变参数。
获得无畸变影像的像点坐标后，基于无畸变影像的像点坐标对原始的单帧影像进行重采样，例如可采用双线性内插法进行重采样，即获得无畸变的单帧影像。对无畸变的单帧影像提取特征点，所述提取特征点可以为orb特征点、sift(或surf)特征点，及其组合。
后面步骤S312～S317均是对去除畸变的单帧影像序列进行处理。
步骤S312：地图初始化。
本子步骤具体包括：
首先，从单帧影像序列内选取初始帧L1与参考帧R2，初始帧L1与参考帧R2为单帧影像序列中相邻两影像帧，且参考帧R2为初始帧L1相邻后一帧。选取初始帧L1和参考帧R2的目的主要是为了构建相对坐标系下的初始地图，初始地图即全局地图的最开头部分。后续再利用其它单帧影像对所构建的相对坐标系下的初始地图进行扩充和优化，起初形成相对坐标系下的全局地图，此后经过周期性的局部和全局GPS辅助光束法平差后最终形成绝对坐标系下的全局地图。初始帧L1的选择并没特别要求，可以选为单帧影像序列的首帧，也可以选取其他帧。对初始帧L1和参考帧R2进行特征点匹配，获得匹配特征点对。影像的特征点匹配为摄影测量领域的公知技术，故不赘述其具体实施过程。
接着，利用特征点匹配的结果，使用四点法计算参考帧R2相对于初始帧L1的Homography单应矩阵(后文简记为“H矩阵”)，同时利用八点法计算相应的Fundamental基础矩阵(后文简记为“F矩阵”)。
然后，利用H矩阵与F矩阵估计参考帧R2到初始帧L1的位姿的相对变换，即获得了参考帧R2相对初始帧L1的位姿关系。所谓位姿指位置和姿态。
最后，基于参考帧R2相对初始帧L1的位姿关系，对参考帧R2与初始帧L1的匹配特征点对进行三角化，生成地图点，统一尺度构建以初始帧L1为基础的相对坐标系下的初始地图。
当初始地图构建失败，按单帧影像序列顺序选取下一帧作为初始帧L1，直至成功实现地图初始化。
本文所述的局部与全局是一个相对的概念，局部指全局的一部分。相对坐标系和绝对坐标系均为本领域惯用术语，其含义对本领域技术人员而言是公知的，因此不再做进一步解释。
对单帧影像序列中除初始帧L1与参考帧R2外的单帧影像，分别依次执行步骤S313～S317。
步骤S313：初始地图构建完成，利用初始帧L1与参考帧R2初始化关键帧序列，即初始帧L1与参考帧R2成为关键帧序列的头两帧，关键帧序列中的关键帧按时间顺序排列。对新的单帧影像，记为当前帧，本实施例中新的单帧影像初始化为单帧影像序列中R2相邻后一帧，也可以初始化为单帧影像序列中的其他帧。本步骤主要利用关键帧序列对当前帧进行位姿追踪，并更新关键帧序列。
利用关键帧序列对当前帧进行位姿追踪的一种具体实施过程为：
将该当前帧与关键帧序列中距该当前帧最近的一关键帧进行特征点匹配，得到匹配点对，若匹配点对少于m对，考虑到匹配点对数量过少，可能影响追踪的鲁棒性和精度，故丢弃当前帧，继续对下一新的单帧影像执行本步骤，下一新的单帧影像指单帧影像序列中当前帧的相邻后一帧，即将下一新的单帧影像作为当前帧，继续进行位姿追踪；若匹配对多于m对，则基于匹配点对，通过EPnP算法追踪该当前帧的位姿，获得姿态旋转矩阵，之后进行更新关键帧序列。
更新关键帧序列的一种具体实施过程为：
当追踪当前帧位姿后，判断最近t时段内关键帧序列内是否有新关键帧加入，若无，则将该当前帧作为新关键帧加入关键帧序列，之后执行步骤S314；否则，将下一新的单帧影像作为当前帧，继续执行本步骤。EPnP算法追踪影像帧的位姿为摄影测量领域的公知技术，故不再赘述其具体实施过程。
需要说明的是，本步骤中t和m均为可调参数，实质为可根据具体情况进行优化的经验值。本实施例中，t一般取0.05～1秒，优选为0.1～0.5秒，m一般取50～200。
步骤S314：利用新关键帧优化当前的局部地图，本子步骤具体为：
首先，将新关键帧插入局部地图，此局部地图所指为全局地图中与新关键帧相关联的地图区域，是全局地图的一部分。
接着，将新关键帧和关键帧序列内与该新关键帧相邻的关键帧进行特征点匹配得到匹配点对，对匹配点对进行三角化，生成新的地图点。
然后，判断冗余的地图点与关键帧点并从局部地图中删除，以减少系统的运算量。
冗余的地图点指：当一地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点。此处判断冗余的地图点特指从生成的新地图点中找出冗余的地图点。次数阈值为经验值，可根据具体情况通过多次重复试验确定最优值。本实施例中，次数阈值一般取3～5次。
冗余的关键帧指：当一关键帧上p％的地图点以上都能在其他关键帧上找到，则该关键帧为冗余的关键帧。p％为百分比阈值，为经验值，本实施例中p％优选为70％～90％。
最后，利用局部光束法平差优化新关键帧的位姿及其上地图点的三维坐标，获得新关键帧较为准确的位姿。
将参考帧R2后面的每一新的单帧影像顺次作为当前帧的新单帧影像，逐一执行子步骤S313～S314，步骤S313用来判断当前的新单帧影像是否为关键帧，从而对关键帧序列进行更新；步骤S314用来利用当前的局部地图对新关键帧的位姿和地图点三维坐标进行优化。
本发明中，局部地图和全局地图为局部和整体的关系，局部地图是全局地图的一部分，所有的局部地图构成全局地图。
步骤S315：对位姿优化后的每一新关键帧均进行回环检测，回环检测应在完成第一次局部的GPS辅助光束法平差之后进行，具体为：
利用该新关键帧的绝对坐标位置[XJ,YJ,ZJ]与姿态旋转矩阵，通过地图点高程Z计算该新关键帧的四个角点在地图点平均高程面的投影坐标，构建投影范围footprint，参见图3。通过判断该新关键帧footprint与关键帧序列的每一关键帧footprint是否存在重叠区且重叠面积或重叠率是否大于预设的重叠阈值，来初始回环检测序列，将关键帧序列中与新关键帧的重叠面积或重叠率大于重叠阈值的关键帧加入回环检测序列，利用视觉词袋算法DBow3在回环检测序列内找到回环候选帧。当存在回环候选帧时，执行步骤S316；否则，对下一新关键帧执行本步骤。
在回环检测序列内找到回环候选帧为已有技术，其具体实施过程不再赘述。重叠阈值为经验值，本实施例中将重叠阈值设为15％～25％。
步骤S316：将新关键帧与回环候选帧进行特征点匹配，基于匹配结果进行三维相似变换，之后利用关键帧相邻关系传播回环误差，再利用光束法平差优化全局地图。
对于每一新关键帧进行回环检测，若不存在回环候选帧，则执行步骤S317，再进入步骤S320；若存在回环候选帧，则在步骤S316结束后，直接进入步骤S320。
步骤S317：利用GPS辅助光束法进行平差优化。融合GPS数据优化关键帧绝对位姿和地图点绝对位置，每当关键帧序列中存在有不少于k帧的未进行局部GPS辅助光束法平差的关键帧时，则利用关键帧序列中最新的i×k张关键帧对应的GPS坐标进行一次局部的GPS辅助光束法平差，用于优化关键帧绝对位姿与地图点绝对坐标。特别的，当第一次进行局部的GPS辅助光束法平差时，系统之前还处于相对坐标系下的全局地图，之后便完成了相对坐标系下的全局地图转换为绝对坐标系下的全局地图。
关键帧对应的GPS坐标指该关键帧获取时刻，无人机上GPS设备中心所在位置的坐标[B,L,H]，其中，B为大地纬度，L为大地经度，H为大地高程。
第一次局部GPS辅助光束法平差实质上是一次全局的GPS辅助光束法平差，执行第一次局部GPS辅助光束法平差后，系统的全局地图均是处在绝对坐标系下。每当执行j次局部的GPS辅助光束法平差后，则执行一次全局的GPS辅助光束法平差优化全局地图。在进行全局GPS辅助光束法平差时，若参与平差的全局地图的数据量过大导致难以满足实时性需求，则将全局地图中的前面一部分数据舍弃，仅保留适当数量的关键帧数据参与全局GPS辅助光束法平差。i、j、k为可根据具体情况进行调整的经验值，本实施例中，i一般取1～2，优选取1.2～1.5；j一般取5～20；k一般取10～100；i和k的取值还应确保i×k为整数。平差优化中加入GPS数据可提高定位定姿精度，特别是大范围航测区域所进行的航测任务精度。
下面将对第一次局部GPS辅助光束法平差优化关键帧绝对位姿进行详细描述，具体包括：
首先，获取多帧连续单帧影像摄影中心在相对坐标系下全局地图中的三维坐标[X,Y,Z]，以及单帧影像获取时刻对应的GPS坐标[B,L,H]，其中，B为大地纬度，L为大地经度，H为大地高程；将GPS坐标[B,L,H]转换为绝对坐标系下的空间直角坐标
Figure BDA0002193951740000131
将该时刻GPS设备的空间直角坐标值
Figure BDA0002193951740000132
再加上相机摄影中心位置与GPS设备中心位置之间在同一空间直角坐标系下的相对位置，即可得到单帧影像的摄影中心绝对坐标
Figure BDA0002193951740000133
接着，根据多帧连续单帧影像的摄影中心在相对坐标系下的三维坐标[X,Y,Z]、利用GPS数据计算的摄影中心绝对坐标
Figure BDA0002193951740000134
以及相机标定参数，利用GPS辅助光束法平差解算全局地图的精确绝对坐标，全局地图的精确绝对坐标包括单帧影像摄影中心与地图点的精确绝对坐标，单帧影像摄影中心的精确绝对坐标记为[XW,YW,ZW]。进行平差解算的单帧影像帧数k为可调整参数，本实施例一般选取10～100帧。
在完成上述第一次局部GPS辅助光束法平差后，此后的局部或全局GPS辅助光束法平差优化关键帧绝对位姿，具体包括：
首先，获取多帧连续单帧影像摄影中心在绝对坐标系下全局地图中的三维坐标[XJ,YJ,ZJ]，以及单帧影像获取时刻对应的GPS坐标[B,L,H]和利用GPS数据计算的单帧影像摄影中心绝对坐标
Figure BDA0002193951740000135
接着，根据多帧连续单帧影像的摄影中心在绝对坐标系下全局地图中的三维坐标[XJ,YJ,ZJ]、利用GPS数据计算的摄影中心绝对坐标
Figure BDA0002193951740000136
以及相机标定参数，利用GPS辅助光束法平差解算绝对坐标系下局部或全局地图的精确绝对坐标，绝对坐标系下局部或全局地图的精确绝对坐标包括单帧影像摄影中心的精确绝对坐标[XW,YW,ZW]与地图点的精确绝对坐标[Xsw,Ysw,Zsw]。
步骤S320：对位姿优化后的单帧影像投影、纠正并拼接生成正射影像DOM。
步骤S320进一步包括子步骤：
步骤S321：取单帧影像四个角点的像素坐标[μ,ν]，通过相机内参数K将像素坐标[μ,ν]转化为像平面坐标[x,y，1]。
步骤S322：按照变换公式(3)计算角点的虚拟投影平面坐标[x',y',z']，利用公式(4)计算角点的物方投影平面坐标[X,Y]：
[x',y',z']＝R×[x,y,1] (3)
[X,Y,0]＝T-[x',y',z']×radius (4)
式(3)～(4)中，取[X,Y,0]中[X,Y]为[μ,ν]的物方投影平面坐标；R和T是由单帧影像的高精度外方位元素构成的姿态旋转矩阵和平移向量矩阵，姿态旋转矩阵和平移向量矩阵由子步骤S310所计算出的单帧影像高精度绝对姿态和位置获得；radius为虚拟投影平面到物方投影平面的转换比例系数，radius＝TZ/z'，TZ为T中Z方向的取值。
需要说明的是，本发明所述的虚拟投影平面指利用公式[x',y',z']＝R×[x,y,1]变换像平面[x,y，1]所获得的平面。
步骤S323：按照公式(5)计算投影图像坐标[X',Y']，从而获得单帧影像的投影图像：
[X',Y']＝[X-Xmin,Y-Ymin]/lengthpixel (5)
式(5)中，取四个角点物方投影平面坐标X中的最小值，记为Xmin；取四个角点物方投影平面坐标Y中的最小值，记为Ymin；lengthpixel为单位像素长度，即数字正射影像DOM的影像分辨率，默认为等于第一帧单帧影像的地面分辨率，也可以指定。
步骤S324：利用S321～S323获得的四对坐标，即四个角点的像素坐标[μ,ν]及对应的投影图像坐标[X',Y']，计算单应变换矩阵，利用单应变换矩阵对单帧影像进行单张正射纠正，最终拼接生成完整的正射影像DOM。
参见图4，即实施例中在飞行完成时同步生成的DOM影像。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.基于SLAM技术的正射影像实时生成方法，其特征是，包括：
对由无人机采集的视频流数据分解所得单帧影像序列中各单帧影像做如下处理：
(1)去除单帧影像的相机畸变并提取特征点；
(2)获取并优化单帧影像的高精度绝对位姿，即基于去除畸变的单帧影像序列构建全局地图，获取单帧影像的高精度绝对位姿；本步骤进一步包括：
(2a)基于所选取的初始帧L1与参考帧R2，以L1为基础构建相对坐标系下的初始地图；L1与R2为单帧影像序列中相邻两影像帧且R2为后一帧，利用L1与R2初始化关键帧序列；
(2b)将新的单帧影像记为当前帧，利用关键帧序列追踪当前帧位姿，得当前帧的姿态旋转矩阵；判断最近t时内关键帧序列内是否有新关键帧加入，若无，将当前帧作为新关键帧加入，执行步骤(2c)；否则，继续对下一新的单帧影像执行本步骤；t为经验值；
(2c)基于新关键帧和其相邻关键帧生成新地图点，在局部地图中删除冗余的地图点及关键帧，利用局部地图平差优化新关键帧位姿及其地图点三维坐标；
冗余的地图点指：当一新地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点；冗余的关键帧指：当一关键帧上p％以上的地图点都能在其他关键帧上找到，则该关键帧为冗余的关键帧；次数阈值为经验值和百分比阈值p％均为经验值；
(2d)对新关键帧进行回环检测，当存在回环候选帧，利用新关键帧和回环候选帧优化全局地图，之后执行步骤(3)；否则执行步骤(2e)；
(2e)周期性进行局部和全局的GPS辅助光束法平差，之后执行步骤(3)；
对R2后的每一新单帧影像，依次执行步骤(2b)～(2d)，直至所有单帧影像处理完毕；
(3)将位姿优化后单帧影像四角点的像素坐标[μ,ν]转换为像平面坐标[x,y,1]，利用单帧影像的高精度绝对位姿计算物方投影平面坐标[X,Y]，将[X,Y]转换为投影图像坐标[X',Y']，基于四角点的[μ,ν]及对应的[X',Y']计算单应矩阵，对单帧影像进行正射纠正、拼接得数字正射影像；
步骤(3)进一步包括：
(3a)将位姿优化后单帧影像四个角点的像素坐标[μ,ν]转化为像平面坐标[x,y，1]；
(3b)利用公式[x',y',z']＝R×[x,y,1]计算角点的投影平面坐标[x',y',z']，利用公式[X,Y,0]＝T-[x',y',z']×radius计算角点的物方投影平面坐标[X,Y]；R和T是由单帧影像的高精度外方位元素构成的姿态旋转矩阵和平移向量矩阵；radius为虚拟投影平面到物方投影平面的转换比例系数；
(3c)利用公式[X',Y']＝[X-Xmin,Y-Ymin]/lengthpixel计算角点的投影图像坐标[X',Y']；取四个角点物方投影平面坐标X中的最小值，记为Xmin；取四个角点物方投影平面坐标Y中的最小值，记为Ymin；lengthpixel为单位像素长度，即数字正射影像DOM的影像分辨率；
(3d)利用四个角点的像素坐标[μ,ν]及对应的投影图像坐标[X',Y']计算单应变换矩阵，并对单帧影像进行正射纠正、拼接，生成数字正射影像。
2.如权利要求1所述的基于SLAM技术的正射影像实时生成方法，其特征是：
步骤(2b)中利用关键帧序列追踪当前帧位姿，具体为：
将当前帧与关键帧序列中距离最近的一关键帧进行特征点匹配，若匹配点对数量不超过m，丢弃当前帧，将下一新的单帧影像作为当前帧进行位姿追踪；若匹配点对数量超过m，基于匹配结果，利用EPnP算法追踪该当前帧的位姿，并获得姿态旋转矩阵；m为经验值。
3.如权利要求1所述的基于SLAM技术的正射影像实时生成方法，其特征是：
步骤(2d)中所述的对新关键帧进行回环检测，具体为：
通过新关键帧的绝对坐标位置以及姿态旋转矩阵，通过地图点高程计算新关键帧在地图点平均高程面的投影范围；通过判断新关键帧投影范围与关键帧序列的其他关键帧投影范围是否存在重叠区且重叠区范围是否大于预设的重叠阈值，来初始回环检测序列，利用视觉词袋算法DBow3在回环检测序列内找到回环候选帧；所述重叠阈值为经验值；
当存在回环候选帧时，优化全局地图，具体为：
将新关键帧与回环候选帧进行特征点匹配，基于匹配结果进行三维相似变换，之后利用关键帧相邻关系传播回环误差，再利用光束法平差优化全局地图。
4.如权利要求1所述的基于SLAM技术的正射影像实时生成方法，其特征是：
步骤(2e)中所述的周期性进行局部和全局的GPS辅助光束法平差，具体为：
当关键帧序列中存在k帧未进行局部GPS辅助光束法平差的新关键帧时，利用关键帧序列中最新的i×k张关键帧对应的GPS坐标获取该i×k张关键帧摄影中心的绝对坐标，之后进行一次局部的GPS辅助光束法平差；
所述关键帧对应的GPS坐标指该关键帧获取时刻，无人机上GPS设备中心所在位置的坐标[B,L,H]，其中，B为大地纬度，L为大地经度，H为大地高程；
当每执行完j次局部的GPS辅助光束法平差后，对全局地图进行一次全局的GPS辅助光束法平差；i、j、k均为预设值。
5.如权利要求4所述的基于SLAM技术的正射影像实时生成方法，其特征是：
所述摄影中心的绝对坐标采用如下方法获得：
通过将GPS数据与影像数据的高精度融合来获取当前帧时刻对应的GPS坐标，将GPS坐标转换为空间直角坐标，将该时刻GPS设备的空间直角坐标值再加上相机摄影中心位置与GPS设备中心位置之间在同一空间直角坐标系下的相对位置，即可得到当前帧的摄影中心绝对坐标。
6.基于SLAM技术的正射影像实时生成系统，其特征是：
该系统用来对由无人机采集的视频流数据分解所得单帧影像序列中各单帧影像顺次做处理，包括：
预处理模块，用来去除单帧影像的相机畸变并提取特征点；
地图构建模块，用来基于去除畸变的单帧影像序列构建全局地图，获取各单帧影像的高精度绝对位姿；
数字正射影像获得模块，用来将位姿优化后单帧影像四角点的像素坐标[μ,ν]转换为像平面坐标[x,y,1]，利用单帧影像的高精度绝对位姿计算物方投影平面坐标[X,Y]，将[X,Y]转换为投影图像坐标[X',Y']，基于四角点的[μ,ν]及对应的[X',Y']计算单应矩阵，对单帧影像进行正射纠正、拼接得正射影像；
所述地图构建模块进一步包括初始化模块、关键帧跟踪及更新模块、关键帧优化模块、全局优化模块、GPS辅助光束法平差模块；
所述初始化模块，用来基于所选取的初始帧L1与参考帧R2，以L1为基础构建相对坐标系下的初始地图；L1与R2为单帧影像序列中相邻两影像帧且R2为后一帧，利用L1与R2初始化关键帧序列；
所述关键帧跟踪及更新模块，用来将新的单帧影像记为当前帧，利用关键帧序列追踪当前帧位姿，得当前帧的姿态旋转矩阵；判断最近t时内关键帧序列内是否有新关键帧加入，若无，将当前帧作为新关键帧加入，执行步骤(2c)；否则，继续对下一新的单帧影像执行本步骤；t为经验值；
所述关键帧优化模块，用来基于新关键帧和其相邻关键帧生成新地图点，在局部地图中删除冗余的地图点及关键帧，利用局部地图平差优化新关键帧位姿及其地图点三维坐标；
冗余的地图点指：当一新地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点；冗余的关键帧指：当一关键帧上p％以上的地图点都能在其他关键帧上找到，则该关键帧为冗余的关键帧；次数阈值为经验值和百分比阈值p％均为经验值；
所述全局优化模块，用来对新关键帧进行回环检测，当存在回环候选帧，利用新关键帧和回环候选帧优化全局地图，之后转至数字正射影像获得模块；否则转至GPS辅助光束法平差模块；
所述GPS辅助光束法平差模块，用来周期性进行局部和全局的GPS辅助光束法平差，之后转至数字正射影像获得模块；
所述数字正射影像获得模块，进一步用来将位姿优化后单帧影像四个角点的像素坐标[μ,ν]转化为像平面坐标[x,y，1]；利用公式[x',y',z']＝R×[x,y,1]计算角点的投影平面坐标[x',y',z']，利用公式[X,Y,0]＝T-[x',y',z']×radius计算角点的物方投影平面坐标[X,Y]；R和T是由单帧影像的高精度外方位元素构成的姿态旋转矩阵和平移向量矩阵；radius为虚拟投影平面到物方投影平面的转换比例系数；利用公式[X',Y']＝[X-Xmin,Y-Ymin]/lengthpixel计算角点的投影图像坐标[X',Y']；取四个角点物方投影平面坐标X中的最小值，记为Xmin；取四个角点物方投影平面坐标Y中的最小值，记为Ymin；lengthpixel为单位像素长度，即数字正射影像DOM的影像分辨率；利用四个角点的像素坐标[μ,ν]及对应的投影图像坐标[X',Y']计算单应变换矩阵，并对单帧影像进行正射纠正、拼接，生成数字正射影像。
CN201910841797.0A 2019-09-06 2019-09-06 基于slam技术的正射影像实时生成方法及系统 Active CN110675450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910841797.0A CN110675450B (zh) 2019-09-06 2019-09-06 基于slam技术的正射影像实时生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910841797.0A CN110675450B (zh) 2019-09-06 2019-09-06 基于slam技术的正射影像实时生成方法及系统

Publications (2)

Publication Number Publication Date
CN110675450A CN110675450A (zh) 2020-01-10
CN110675450B true CN110675450B (zh) 2020-09-29

Family

ID=69076152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910841797.0A Active CN110675450B (zh) 2019-09-06 2019-09-06 基于slam技术的正射影像实时生成方法及系统

Country Status (1)

Country Link
CN (1) CN110675450B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113252022A (zh) * 2020-02-11 2021-08-13 北京图森智途科技有限公司 一种地图数据处理方法及装置
CN113379822B (zh) * 2020-03-16 2024-03-22 天目爱视（北京）科技有限公司 一种基于采集设备位姿信息获取目标物3d信息的方法
CN111652933B (zh) * 2020-05-06 2023-08-04 Oppo广东移动通信有限公司 基于单目相机的重定位方法、装置、存储介质与电子设备
CN111583119B (zh) * 2020-05-19 2021-07-09 北京数字绿土科技有限公司 一种正射影像拼接方法、设备以及计算机可读介质
CN111693028A (zh) * 2020-06-23 2020-09-22 上海海洋大学 一种基于投影影像获取数字水深模型的方法
CN111784585B (zh) * 2020-09-07 2020-12-15 成都纵横自动化技术股份有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN112434709B (zh) * 2020-11-20 2024-04-12 西安视野慧图智能科技有限公司 基于无人机实时稠密三维点云和dsm的航测方法及系统
CN112634370A (zh) * 2020-12-31 2021-04-09 广州极飞科技有限公司 一种无人机打点方法、装置、设备及存储介质
CN113094457B (zh) * 2021-04-15 2023-11-03 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
CN114565863B (zh) * 2022-02-18 2023-03-24 广州市城市规划勘测设计研究院 无人机图像的正射影像实时生成方法、装置、介质及设备
CN116883251B (zh) * 2023-09-08 2023-11-17 宁波市阿拉图数字科技有限公司 基于无人机视频的图像定向拼接与三维建模方法
CN117201708B (zh) * 2023-11-07 2024-02-02 航天宏图信息技术股份有限公司 带有位置信息的无人机视频拼接方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN109186610A (zh) * 2018-10-15 2019-01-11 哈尔滨工程大学 一种auv地形匹配导航的鲁棒bslam方法
CN109558879A (zh) * 2017-09-22 2019-04-02 华为技术有限公司 一种基于点线特征的视觉slam方法和装置
EP3474230A1 (en) * 2017-10-18 2019-04-24 Tata Consultancy Services Limited Systems and methods for edge points based monocular visual slam

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076173A (zh) * 2017-11-21 2018-12-21 深圳市大疆创新科技有限公司 输出影像生成方法、设备及无人机

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558879A (zh) * 2017-09-22 2019-04-02 华为技术有限公司 一种基于点线特征的视觉slam方法和装置
EP3474230A1 (en) * 2017-10-18 2019-04-24 Tata Consultancy Services Limited Systems and methods for edge points based monocular visual slam
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN109186610A (zh) * 2018-10-15 2019-01-11 哈尔滨工程大学 一种auv地形匹配导航的鲁棒bslam方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Rectification of 3D building models based on GPS signal collected by vehicle;Li-Ta Hsu;《2015 IEEE International Conference on Vehicular Electronics and Safety (ICVES)》;20160218;第132-139页 *
基于 RGB-D 相机的运动平台实时导航定位模型与方法研究;赵强;《中国博士学位论文全文数据库》;20171015(第10期);正文第1-86页 *
基于特征不变的倾斜影像匹配算法研究与应用;肖雄武;《中国优秀硕士学位论文全文数据库》;20150315(第3期);正文第1-68页 *

Also Published As

Publication number Publication date
CN110675450A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110675450B (zh) 基于slam技术的正射影像实时生成方法及系统
CN110648398B (zh) 基于无人机航摄数据的正射影像实时生成方法及系统
EP1242966B1 (en) Spherical rectification of image pairs
Teller et al. Calibrated, registered images of an extended urban area
US8698875B2 (en) Estimation of panoramic camera orientation relative to a vehicle coordinate frame
JP3776787B2 (ja) 三次元データベース生成システム
CN105627991A (zh) 一种无人机影像实时全景拼接方法及系统
CN112461210B (zh) 一种空地协同建筑测绘机器人系统及其测绘方法
KR20090064679A (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
TWI444593B (zh) 地面目標定位系統與方法
CN116883251B (zh) 基于无人机视频的图像定向拼接与三维建模方法
Liu et al. A new approach to fast mosaic UAV images
CN110223233B (zh) 一种基于图像拼接的无人机航拍建图方法
US8509522B2 (en) Camera translation using rotation from device
CN110986888A (zh) 一种航空摄影一体化方法
CN113739767B (zh) 针对国产面阵摆扫成像系统获取的影像生产正射影像的方法
CN113296133A (zh) 一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法
Zhao et al. Alignment of continuous video onto 3D point clouds
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
CN110503604A (zh) 一种基于高精度pos的航空面阵影像实时正射拼接方法
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
KR101323099B1 (ko) 모자이크 영상 생성 장치
Verhoeven et al. The amphitheatre of Carnuntum: Towards a complete 3D model using airborne Structure from Motion and dense image matching
Orlik et al. 3D modelling using aerial oblique images with close range UAV based data for single objects
JP3759712B2 (ja) カメラパラメータ推定方法、装置、プログラム、および記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant