CN112330537A - 一种应急救援活动中无人机航拍影像快速拼接的方法 - Google Patents

一种应急救援活动中无人机航拍影像快速拼接的方法 Download PDF

Info

Publication number
CN112330537A
CN112330537A CN202010567669.4A CN202010567669A CN112330537A CN 112330537 A CN112330537 A CN 112330537A CN 202010567669 A CN202010567669 A CN 202010567669A CN 112330537 A CN112330537 A CN 112330537A
Authority
CN
China
Prior art keywords
image
splicing
images
point
aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010567669.4A
Other languages
English (en)
Other versions
CN112330537B (zh
Inventor
李儒�
朱海涛
陈正超
潘洁
邓飚
陈凯
王晓巍
徐进勇
朱金彪
杨宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Satellite Application Center for Ecology and Environment of MEE
Original Assignee
Aerospace Information Research Institute of CAS
Satellite Application Center for Ecology and Environment of MEE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS, Satellite Application Center for Ecology and Environment of MEE filed Critical Aerospace Information Research Institute of CAS
Priority to CN202010567669.4A priority Critical patent/CN112330537B/zh
Publication of CN112330537A publication Critical patent/CN112330537A/zh
Application granted granted Critical
Publication of CN112330537B publication Critical patent/CN112330537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及影像拼接领域，具体涉及一种应急救援活动中无人机航拍影像快速拼接的方法，包括获取无人机航拍数据；将影像个数抽稀，然后对参与拼接的各张影像进行畸变校正和影像重排；基于影像纹理先进行航带影像拼接，再进行航带间拼接；最后以原始影像中心点为控制点，对拼接影像进行几何校正，使影像具有地理空间信息。本发明方案中通过减少影像数据并简化数据处理过程，能够快速进行影像拼接，同时影像数据具有可量测性，大大提高了无人机航拍影像的拼接效率，得到的影像拼接图在精度上能够满足应急救援指挥需要。

Description

一种应急救援活动中无人机航拍影像快速拼接的方法
技术领域
本发明涉及影像拼接领域，具体地涉及一种应急救援活动中无人机航拍影像快速拼接的方法。
背景技术
在应急救援，如森林火灾、洪涝、地震等自然灾害救援中，对地面情况快速了解和掌握是救援活动开展前的一项重要工作，也是救援活动中对灾情发展与灾情现状评估的重要信息来源，对科学有序的救援调度活动具有巨大的信息支持作用。无人机因其机动灵活，方便操作等诸多优点，可以广泛的应用于应急救援活动中，开展现场灾情信息获取、灾情实时监测等工作。
无人机获取的最重要的一类灾情信息为灾区的地面影像数据，该地面影像数据直接反映灾区地面现状，如破坏范围，破坏面积，涉及到的地物类型等，是救援活动所参考的重要基础地理信息数据。应急救援活动中的无人机航拍与常规航空摄影在数据获取过程中大同小异，最大的不同在于其对数据成果(即航拍后的影像拼接图)的需求紧迫性不同，对数据成果的精度在不同活动阶段的要求不同。在救援现场，数据成果要求越快完成越好，帮助一线调度快速定量/定性的看到地面现状；其次，虽然要求快速完成影像图拼接，但仍然要求影像图能够在一定精度范围内可量测，如量取图上地物的面积、长度等，这对应急救援活动中的无人机航拍影像快速拼接提出了新的要求。
无论是有人机还是无人机的航拍数据成果，按照测绘产品生产技术流程，大体上都需要经过内外定向、空中三角测量、正射影像图生产等过程，有些场景还需要数字高程模型(DEM)生产等。要保证数据成果的精度，所以各个环节从原始数据获取到数据加工都有严格的规范要求和技术限制，这种数据处理方式的优点是最终成品的测绘精度高，是各类严肃工作(如测绘，规划等)所需要的基础地理信息产品，但该类产品生产对软硬件设备要求高，生产周期长，常规的飞行实践中，都是在数据获取后在后方相应的软硬件平台上进行处理，处理时间长短不等，但对应急救援现场活动而言，时间偏长，无法满足现场要求，故多用于后期的灾情评估，或对数据现势性要求相对不高的其他场景。
现有技术中针对无人机航拍影像数据拼接有多种类型，归纳起来，这些技术或者未脱离一般的航拍数据处理流程或算法，或者针对特定用途，或者基于特定软硬件，或者只是解决拼接过程中的环境问题，而针对应急救援场景的无人机航拍影像的快速拼接，这些技术可以作为重要的参考，但是如何充分考虑应急救援场景的特殊需求，通过有效规划并实现无人机航拍影像快速且具有一定精度地拼接处理仍然是一项重要的技术开发课题。
发明内容
本发明旨在提供了一种应急救援活动中无人机航拍影像快速拼接的方法，用于对无人机航拍影像数据进行有一定产品精度的快速拼接处理。
本发明的技术方案如下：
第一方面，提供了一种无人机航拍影像快速拼接的方法，包括：
获取无人机航拍数据，包括影像数据、飞控数据和航拍参数；
在满足影像拼接要求的条件下，根据所述航拍参数对所述影像数据进行抽稀处理，然后对参与拼接的各张影像进行畸变校正，再根据影像的获取时间顺序对校准影像按航带重排；
根据所述影像数据和所述飞控数据建立像控点库，其中，像控点坐标包括像素点坐标和像素点空间坐标；
基于影像纹理信息对重排影像的重叠区进行同名点匹配，并基于航带内的影像同名点实现航带内影像拼接，再基于航带间的影像同名点实现航带间影像拼接，得到影像拼接图，同步更新所述像控点库；
以原始影像中心点为控制点对所述影像拼接图进行几何校正，使所述影像拼接图具有空间地理信息。
优选地，在无人机上使用云台搭载相机，并确保相机镜头始终垂直于水平面朝下。
优选地，所述影像数据包括航带内的影像数量、大小和像素点坐标；
所述飞控数据包括无人机的实时位置坐标；
所述航拍参数包括无人机航高、航向重叠度和旁向重叠度。
优选地，所述在满足影像拼接要求的条件下，根据所述航拍参数对所述影像数据进行抽稀处理，包括：
按照抽稀公式对沿航向方向和/或旁向方向上的影像个数进行抽稀，抽稀完成后的影像重叠度为10％-20％，以存在同名点且拼接影像无漏洞为限；
其中，所述抽稀公式为：
Newset{image1’,image2’,......}＝f(μ,Set{image1,image2,......})；
Set{image1,image2,......}为原始影像数据集；
Newset{image1’,image2’,......}为抽稀后的影像数据集；
f为抽稀函数，μ为抽稀系数，抽稀系数μ的值与航向重叠度和旁向重叠度有关，取值范围为0≤μ≤0.5。
优选地，所述无人机航拍数据还包括相机参数，所述相机参数包括镜头畸变参数；
所述对参与拼接的各张影像进行畸变校正，包括：
根据所述镜头畸变参数建立影像畸变校正方程，对各张影像进行重采样后利用所述影像畸变校正模型逐像素点校正，得到校准影像；
其中，所述影像畸变校正方程为：
Figure BDA0002548142690000041
(x0,y0)为畸变校正前的像素点坐标；
(x1,y1)为畸变校正后的像素点坐标；
k1、k2为径向畸变校正系数；
p1、p2为切向畸变校正系数。
优选地，所述根据影像的获取时间顺序对校准影像按航带重排，包括：
将处于同一航带内的多张校准影像按照时间顺序重排并形成航带影像集合，其中，所述校准影像以其获取时间命名。
优选地，所述根据所述影像数据和所述飞控数据建立像控点库，其中，像控点坐标包括像素点坐标和像素点空间坐标，包括：
建立影像索引文件，文件格式为：影像名存储路径；
建立控制点索引文件，文件格式为：控制点名影像中心点像素坐标影像中心点空间坐标；
所述控制点索引文件中的各条目与所述影像索引文件中的对应项以影像名为关键字关联，并进行动态调整。
优选地，所述基于影像纹理信息对重排影像的重叠区进行同名点匹配，并基于航带内的影像同名点实现航带内影像拼接，再基于航带间的影像同名点实现航带间影像拼接，得到影像拼接图，同步更新所述像控点库，包括以下步骤：
(a)读取所述影像索引文件和所述控制点索引文件；
(b)建立空白拼接图，其中，一个航带影像集合内包含有n张影像，每张影像的大小为x·y，x为每行的像素个数，y为每列的像素个数，z为航向重叠度，w为航向缓冲系数，t为旁向缓冲系数，建立的空白拼接图的大小s＝n·x·(1-z)·(1+w)·y·(1+t)；
(c)基于航带内的影像同名点进行航带内影像拼接，包括：在一个航带影像集合中选取一张基准影像，利用SIFT算法在该基准影像与其相邻的待匹配影像的重叠区进行同名点匹配，然后根据投影变换模型将待匹配影像与基准影像进行拼接，得到拼接影像，再以得到的该拼接影像为基准影像与下一张待匹配影像进行拼接，以此类推，直至将该航带影像集合中的所有影像拼接在一起，得到航带拼接图，最后将该航带拼接图存入所述空白拼接图中；
其中，所述投影变换模型为：
Figure BDA0002548142690000051
(x2,y2)是基准影像上的同名点坐标，(x3,y3)为待匹配影像上的同名点坐标，a00-a22为变换参数，通过最小二乘法求解出变换参数后，根据基准影像对待匹配影像进行坐标空间转换，实现基准影像与待匹配影像的快速拼接；
(d)根据步骤(c)中的方法完成其他航带内的影像拼接后，再基于航带间的影像同名点进行航带间影像拼接，包括：选取两幅待拼接的航带拼接图，并以其中一幅航带拼接图中的各影像为基准影像，以另一幅航带拼接图中与各基准影像相邻的影像为待匹配影像，利用SIFT算法在待匹配影像与其对应的基准影像的重叠区进行同名点匹配，然后根据所述投影变换模型依次将待匹配影像与对应的基准影像进行拼接，得到航带间拼接图，根据同样的方法实现其他航带间拼接，最终得到影像拼接图；
(e)更新控制点索引文件和影像索引文件；
其中，所述更新控制点索引文件包括：将原始的影像中心点像素坐标更新为在影像拼接图中的像素坐标：
NewCenterPoint_n(x,y)＝f(a00,a01,…a22,CenterPoint_n(x,y))
CenterPoint_n(x,y)为第n张影像的中心点像素坐标；
NewCenterPoint_n(x,y)为该点在影像拼接图中的像素坐标。
所述更新影像索引文件包括：在备份文件的文末添加拼接文件信息。
优选地，以原始影像中心点为控制点对所述影像拼接图进行几何校正，使所述影像拼接图具有空间地理信息，包括：
读取更新后的控制点索引文件，并根据几何校正模型对所述影像拼接图进行几何校正；
其中，所述几何校正模型为：
Figure BDA0002548142690000061
(x4,y4)为影像中心点的空间坐标，(ui,vi)为校正后得到的地理信息空间坐标，aij和bij为多项式系数，n取不小于1的正整数；
选取(n+1)·(n+2)/2个原始影像的中心点为控制点，并采用最小二乘法求解多项式系数aij和bij，计算每一个像素点在校正空间内的坐标，该校正空间为WGS84坐标系，将像素点纳入地理信息空间，使影像上的地物具备一定精度的可量测性；
利用双线性内插法重采样，实现对影像拼接图的几何校正。
第二方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有指令，该指令用于使得计算机执行上述无人机航拍影像快速拼接的方法。
针对应急救援活动中对地面影像的急迫需求问题，利用无人机获取的航拍影像，使用简单但高效的方法和策略，完成航拍影像数据快速拼接，与现有技术相比，本发明方案具有以下优势和积极效果：
1、使用云台搭载相机并确保相机镜头始终垂直于水平面朝下，确保在无人机飞行过程中，相机镜头在竖直面上的姿态保持稳定，使得因竖直面内的相机姿态偏差和影像缩放问题对影像拼接的影响忽略不计；
2、在满足影像拼接要求的条件下，根据据航拍参数对影像数据进行抽稀，在保证拼接图上无漏洞的前提下，减小了影像重叠度，从而减少数据处理量，降低数据处理时间；
3、先进行航带内影像拼接，再进行航带间影像拼接，减少了拼接难度，同时减少了同名点的协调问题；
4、以原始影像中心点为控制点对影像拼接图进行几何校正，校正方法简单，运算量少，并且在不依赖于外源信息的情况下使影像具有地理空间信息。
本发明方案中通过减少数据量、简化数据处理过程并降低算法复杂性，快速实现影像拼接，大大提高了无人机航拍影像的拼接效率，同时影像数据包含有必要的地理空间信息，具有可量测性，得到的影像拼接图在精度上能够满足应急救援指挥需要。本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是无人机航拍影像快速拼接的方法流程图；
图2是抽稀前的影像重叠示意图；
图3是抽稀后的影像重叠示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
无人机航拍影像拼接其实主要解决航拍过程中由于飞行高度、飞行姿态变化等问题导致影像在三维空间的扭曲变形、缩放等问题，当这些影响被校正后，理论上两个同名点即可实现两张影像的拼接，但实际上这些影响是不可能完全被消除的，只能尽量克服或减弱，使其影响在拼接产品的精度要求范围内。一般地，无人机航拍影像的飞行姿态变化有：俯仰(pitch)、偏转(yaw)、翻滚(roll)，分别围绕空间坐标系的x轴、y轴、z轴的转动。
本发明提供了一种应急救援活动中无人机航拍影像快速拼接的方法，如图1所示，该方法包括以下步骤：
S1、获取无人机航拍数据，包括影像数据、飞控数据和航拍参数。
实际上航拍影像的姿态变化问题，一定程度上可以通过云台解决，在无人机上使用云台搭载相机，在精度范围内基本保障了相机镜头始终垂直于水平面朝下，从而确保在航拍过程中，相机镜头在竖直面上的姿态保持稳定，减小了因相机姿态变化造成影像扭曲的问题。目前云台已经实现小型化，完全满足无人机航拍需要，无人机航拍，尤其是多旋翼无人机，通过云台搭载相机已经是标配。
S2、在满足影像拼接要求的条件下，根据航拍参数对影像数据进行抽稀处理，然后对参与拼接的各张影像进行畸变校正，再根据影像的获取时间顺序对校准影像按航带重排。
在步骤S2中，通过对航带中的影像个数进行抽稀，在保证相邻影像有同名点且最终拼接图无漏洞的前提下，减小了影像重叠度，从而减少数据处理量，降低数据处理时间，提高数据处理效率。相机镜头由于制造精度以及组装工艺的偏差会引入畸变，导致原始图像失真，镜头的畸变一般分为径向畸变和切向畸变两类，本发明中通过建立畸变校正映射关系，根据该畸变校正映射关系对影像进行重采样，重采样后即可得到校准影像。
S3、根据影像数据和飞控数据建立像控点库，其中，像控点坐标包括像素点坐标和像素点空间坐标。
本发明中的像控点是用于对影像进行几何校正的点，其同时具备像素点坐标和像素点空间坐标。
S4、基于影像纹理信息对重排影像的重叠区进行同名点匹配，并基于航带内的影像同名点实现航带内影像拼接，再基于航带间的影像同名点实现航带间影像拼接，得到影像拼接图，同步更新像控点库。
S5、以原始影像中心点为控制点对影像拼接图进行几何校正，使影像拼接图具有空间地理信息。
通过对影像拼接图进行几何校正，不仅解决影像拼接图的变形问题，更重要的是将其纳入到地理信息空间，使其具有空间地理信息，实现地物可量测。
在步骤S1中，获取的无人机航拍数据均为无人机航拍必然产出数据，无需额外生产，其中，该无人机航拍数据中的影像数据包括航带内的影像数量、大小和像素点坐标；飞控数据包括无人机的实时位置坐标；该航拍参数包括无人机航高、航向重叠度和旁向重叠度。在航空摄影测量中，沿同一航线各相片间的重叠，称为航向重叠或纵向重叠；相邻航线间相片的重叠，称为旁向重叠或横向重叠。
以通用六旋翼无人机搭载Sony-ILCE-A7RII相机开展航拍为例，获取的各项航拍数据见表1。一般地，对于平坦地面而言，航高差在200±16米的情况下，影像对应的地面分辨率与200米处的比值不超过8％，计算绝对值最大为3毫米左右，最大航高(216米)与最小航高(184米)上的数据空间分辨率相差0.006米，即6毫米，由此造成的误差与本发明所采用方法导致的误差相比，可以忽略不计，其他相机系统情况类似。此外，航拍影像中还存在由于飞行高度变化导致的影像缩放问题，因此在实际应用中，要求无人机的航高差，即最大飞行高度与最小飞行高度之差一般不大于20米，竖直面内的相机姿态偏差和影像缩放问题在应急救援中航拍数据快速拼接中都可以忽略不计。
表1
Figure BDA0002548142690000101
根据一个具体的实施方式，飞行数据总计5个航带，每条航带约60张影像，总计约300张有效影像，单张影像42MB，当进行影像拼接时，输入航拍数据包括：航向重叠度70％、旁向重叠度50％、航高200米。
由于无人机航拍严格执行无人机航空摄影测量规程，其航拍参数要满足后期空中三角测量、正射影像图生产要求。图2所示为抽稀前的影像重叠示意图，黑色方框和灰色方框分别代表两个相邻的航带，双向箭头2表示航向重叠度，双向箭头3表示旁向重叠度，单向箭头1表示飞行方向，一般情况下影像的航向重叠度、旁向重叠度都较大，按照测绘规范，两者分别达到60％、50％或以上，实际操作时，这个参数值可能更大，这直接导致了大量的数据产生。但是，对于应急救援活动中的影像快速拼接而言，只要求测区范围内形成全覆盖的影像图，而对影像图产品精度可放宽要求，因此并不需要如此大的数据，大航拍数据量对快速拼接的意义有限，且数据量大、同名点多会导致数据处理要花费更多的时间且对软硬件设备的配置要求更高，因此通过步骤S2对航带影像个数进行抽稀，图3所示为抽稀后的影像重叠示意图。
抽稀是指在保证矢量曲线形状基本不变的情况下，最大限度地减少数据个数，从而节约存储空间和减少后续处理的计算量。
根据一个优选的实施方式，步骤S2中所述的在满足影像拼接要求的条件下，根据航拍参数对影像数据进行抽稀处理，具体包括：
按照抽稀公式对沿航向方向和/或旁向方向上的影像个数进行抽稀，抽稀完成后的影像重叠度为10％-20％，以存在同名点且拼接影像无漏洞为限。
其中，所述抽稀公式为：
Newset{image1’,image2’,......}＝f(μ,Set{image1,image2,......})；
Set{image1,image2,......}为原始影像数据集；
Newset{image1’,image2’,......}为抽稀后的影像数据集；
f为抽稀函数，μ为抽稀系数，抽稀系数μ的值与航向重叠度和旁向重叠度有关，取值范围为0≤μ≤0.5。
示例性地，当μ取0.5时，意味着每隔一张影像抽取一张影像参与拼接，抽稀后的影像数据集中的影像个数是原始影像数据集中的影像个数的一半。在实际应用中，抽稀主要是发生在航向方向上，但如果旁向方向上的影像重叠度较大，也可以在旁向方向上进行抽稀，如每隔一条航带选择一条航带参与拼接。
进一步地，所述无人机航拍数据还包括相机参数，所述相机参数包括镜头畸变参数。
步骤S2中所述的对参与拼接的各张影像进行畸变校正，具体包括：
根据镜头畸变参数建立影像畸变校正方程，对各张影像进行重采样后利用该影像畸变校正模型逐像素点校正，得到校准影像。
其中，所述影像畸变校正方程为：
Figure BDA0002548142690000121
(x0,y0)为畸变校正前的像素点坐标；
(x1,y1)为畸变校正后的像素点坐标；
r＝x1 2+y1 2；
k1、k2为径向畸变校正系数；
p1、p2为切向畸变校正系数。
在本发明中，不同影像在获取时因飞行高度、姿态变化等因素影响，导致影像拍摄比例等条件不同，直接导致同一地物在不同影像上的大小不同，但在一定精度条件下，尤其是经过镜头畸变校正后，影像内部各处具有相对的整体一致性，这样拼接时可以只用考虑影像间的重叠区域的问题。
进一步地，步骤S2中所述的根据影像的获取时间顺序对校准影像按航带重排，具体包括：
将处于同一航带内的多张校准影像按照时间顺序重排并形成航带影像集合，其中，校准影像以其获取时间命名。
在本发明中，所谓影像重排指按照影像获取的先后顺序，把同一航带内的影像放到一起，通常影像都以获取时间命名，因此只需要查找到该条航带中的第一幅与最后一幅影像的时间就可以得到航带影像集合。
进一步地，步骤S3中所述的根据影像数据和飞控数据建立像控点库，其中，像控点坐标包括像素点坐标和像素点空间坐标，具体包括：
建立影像索引文件，文件格式为：影像名存储路径；
建立控制点索引文件，文件格式为：控制点名影像中心点像素坐标影像中心点空间坐标。
在本发明中，像控点是用于对影像进行几何校正的点，通过像控点建立几何关系模型，将影像整体纳入地理信息空间，使其具有空间地理信息。所述控制点索引文件中的各条目与所述影像索引文件中的对应项以影像名为关键字关联，并进行动态调整。
在无人机飞行过程中，其飞控系统按照一定的采样间隔记录无人机的实时位置坐标，一般为GPS坐标，而通常无人机的GPS天线与相机的安装位置不在一处，但由于云台的挂点与无人机本体是刚性连接，相机的支点与云台的空间位置也是固定的，因此可以确定相机的传感器平面与无人机的几何关系，并建立两者间确定的数学关系，该传感器用于获取影像的中心点，通过飞控数据中的无人机位置坐标推导出对应时间的影像中心点像素坐标。但由于无人机尺寸较小，相机安装位置与无人机的GPS天线位置距离近，该距离与飞行高度相比可忽略不计，再结合本发明中对拼接精度要求较低的要求，通常就认为飞机的GPS坐标即为影像中心点坐标。通过这样的关系，建立“影像名-中心点像素坐标-GPS坐标”的对应关系，进而实现控制点库的初步建立。在这一步，像素点坐标只是该幅影像内的像素坐标，最终是要换算到拼接后的影像空间内的像素点坐标。
进一步地，步骤S4中所述的基于影像纹理信息对重排影像的重叠区进行同名点匹配，并基于航带内的影像同名点实现航带内影像拼接，再基于航带间的影像同名点实现航带间影像拼接，得到影像拼接图，同步更新所述像控点库，具体包括以下步骤：
(a)读取影像索引文件和控制点索引文件。
(b)建立空白拼接图，其中，一个航带影像集合内包含有n张影像，每张影像的大小为x·y，x为每行的像素个数，y为每列的像素个数，z为航向重叠度，w为航向缓冲系数，t为旁向缓冲系数，建立的空白拼接图的大小s＝n·x·(1-z)·(1+w)·y·(1+t)。
示例性地，经过航向抽稀后，一个航带中包含有20张影像，单张影像中每行有7952个像素，每列有5304个像素，航向重叠度为70％，航向缓冲系数为0.1，旁向重叠度为50％，旁向缓冲系数为0.2，则空白拼接图中，行高20·7952·(1-70％)·(1+0.1)个像素，宽5304·(1+0.2)像素。
该空白拼接图能够包含全部影像区域，在完成最后拼接后，以最大的外切矩形为限裁切拼接图。需要说明的是，缓冲系数的设置与飞行质量有关，飞行质量好时可以降低该值，飞行质量差时可以适当增加。
(c)基于航带内的影像同名点进行航带内影像拼接，包括：在一个航带影像集合中选取一张基准影像，利用SIFT(Scale Invarian Feature Transform)算法在该基准影像与其相邻的待匹配影像的重叠区进行同名点匹配，然后根据投影变换模型将待匹配影像与基准影像进行拼接，得到拼接影像，再以得到的该拼接影像为基准影像与下一张待匹配影像进行拼接，以此类推，直至将该航带影像集合中的所有影像拼接在一起，得到航带拼接图，最后将该航带拼接图存入所述空白拼接图中。
其中，该投影变换模型为：
Figure BDA0002548142690000141
(x2,y2)是基准影像上的同名点坐标，(x3,y3)为待匹配影像上的同名点坐标，a00-a22为变换参数，通过最小二乘法求解出这9个变换参数后，根据基准影像对待匹配影像进行坐标空间转换，实现基准影像与待匹配影像的快速拼接。
在本步骤中，同名点匹配数量和质量直接关系到影像拼接效果。这项技术不光是应用于航拍影像拼接，实际上，航拍影像拼接只是其非常小的一处应用，其在更广阔的领用有着广泛的应用。本发明中选用目前使用较为广泛的SIFT算法实现同名点匹配，该算法有开源代码复用或者程序模块供调用，因此其工作原理及其实现在此不做论述。
(d)根据步骤(c)中的方法完成其他航带内的影像拼接后，再基于航带间的影像同名点进行航带间影像拼接，包括：选取两幅待拼接的航带拼接图，并以其中一幅航带拼接图中的各影像为基准影像，以另一幅航带拼接图中与各基准影像相邻的影像为待匹配影像，利用SIFT算法在待匹配影像与其对应的基准影像的重叠区进行同名点匹配，然后根据所述投影变换模型依次将待匹配影像与对应的基准影像进行拼接，得到航带间拼接图，根据同样的方法实现其他航带间拼接，最终得到影像拼接图。
(e)更新控制点索引文件和影像索引文件；
其中，所述更新控制点索引文件包括：将原始的影像中心点像素坐标更新为在影像拼接图中的像素坐标：
NewCenterPoint_n(x,y)＝f(a00,a01,…a22,CenterPoint_n(x,y))
CenterPoint_n(x,y)为第n张影像的中心点像素坐标；
NewCenterPoint_n(x,y)为该点在影像拼接图中的像素坐标。
所述更新影像索引文件包括：在备份文件的文末添加拼接文件信息。
在本发明中，基于两幅影像重叠区内的同名点，使用并不非常严密的方法完成了两幅影像的拼接(高精度求解时还需要考虑更多的因素)，导致越远离同名点处的拼接精度越差，因此要求航带不能过长，即一条航带线上的影像数量不能过多，好在通常无人机飞行范围小，一条航带上的影像数量有限。此外还可以通过提高飞行质量，规避影响因素，为拼接提高质量的影像数据。
进一步地，步骤S5中所述的以原始影像中心点为控制点对所述影像拼接图进行几何校正，使所述影像拼接图具有空间地理信息，具体包括：
读取更新后的控制点索引文件，并根据几何校正模型对所述影像拼接图进行几何校正。
其中，所述几何校正模型为：
Figure BDA0002548142690000161
(x4,y4)为影像中心点的空间坐标，(ui,vi)为校正后得到的地理信息空间坐标，aij和bij为多项式系数，n取不小于1的正整数；
通过选取(n+1)·(n+2)/2个原始影像的中心点为控制点，并采用最小二乘法求解多项式系数aij和bij，计算每一个像素点在校正空间内的坐标，该校正空间为国际通用的地心坐标系，WGS84坐标系，将像素点纳入地理信息空间，使影像上的地物具备一定精度的可量测性。
以及，利用双线性内插法重采样，实现对影像拼接图的几何校正。
上述几何校正方程也是一种通用算法，是遥感数据处理的最基本的一步，技术成熟，可自行编程，通过分别读取影像数据和控制点坐标，完成校正，也可利用现有成熟商业软件完成。需要指明的是，此处的几何校正不仅可以解决变形的问题，但更重要的是在拼接图中建立地理空间信息，因为其选用的控制点等多步骤并不精确和严密，所用此处通过这样方式完成的校正只使其具有一定精度的地理坐标，以满足应急救援时对地面影像以及地面现状信息的迫切需要。
本发明中的基于影像纹理的快速拼接以及影像几何校正也可以在通用商业软件中手动实现，并实现了参数一次输入，全自动完成，无需人工干预，操作简单，过程简洁，节约数据处理时间。
另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有指令，该指令用于使得计算机执行上述无人机航拍影像快速拼接的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种应急救援活动中无人机航拍影像快速拼接的方法，其特征在于，所述方法包括：
获取无人机航拍数据，包括影像数据、飞控数据和航拍参数；
在满足影像拼接要求的条件下，根据所述航拍参数对所述影像数据进行抽稀处理，然后对参与拼接的各张影像进行畸变校正，再根据影像的获取时间顺序对校准影像按航带重排；
根据所述影像数据和所述飞控数据建立像控点库，其中，像控点坐标包括像素点坐标和像素点空间坐标；
基于影像纹理信息对重排影像的重叠区进行同名点匹配，并基于航带内的影像同名点实现航带内影像拼接，再基于航带间的影像同名点实现航带间影像拼接，得到影像拼接图，同步更新所述像控点库；
以原始影像中心点为控制点对所述影像拼接图进行几何校正，使所述影像拼接图具有空间地理信息。
2.根据权利要求1所述的方法，其特征在于，在无人机上使用云台搭载相机，并确保相机镜头始终垂直于水平面朝下。
3.根据权利要求1或2所述的方法，其特征在于，所述影像数据包括航带内的影像数量、大小和像素点坐标；
所述飞控数据包括无人机的实时位置坐标；
所述航拍参数包括无人机航高、航向重叠度和旁向重叠度。
4.根据权利要求3所述的方法，其特征在于，所述在满足影像拼接要求的条件下，根据所述航拍参数对所述影像数据进行抽稀处理，包括：
按照抽稀公式对沿航向方向和/或旁向方向上的影像个数进行抽稀，抽稀完成后的影像重叠度为10％-20％，以存在同名点且拼接影像无漏洞为限；
其中，所述抽稀公式为：
Newset{image1’,image2’,......}＝f(μ,Set{image1,image2,......})；
Set{image1,image2,......}为原始影像数据集；
Newset{image1’,image2’,......}为抽稀后的影像数据集；
f为抽稀函数，μ为抽稀系数，抽稀系数μ的值与航向重叠度和旁向重叠度有关，取值范围为0≤μ≤0.5。
5.根据权利要求3所述的方法，其特征在于，所述无人机航拍数据还包括相机参数，所述相机参数包括镜头畸变参数；
所述对参与拼接的各张影像进行畸变校正，包括：
根据所述镜头畸变参数建立影像畸变校正方程，对各张影像进行重采样后利用所述影像畸变校正模型逐像素点校正，得到校准影像；
其中，所述影像畸变校正方程为：
Figure FDA0002548142680000021
(x0,y0)为畸变校正前的像素点坐标；
(x1,y1)为畸变校正后的像素点坐标；
k1、k2为径向畸变校正系数；
p1、p2为切向畸变校正系数。
6.根据权利要求5所述的方法，其特征在于，所述根据影像的获取时间顺序对校准影像按航带重排，包括：
将处于同一航带内的多张校准影像按照时间顺序重排并形成航带影像集合，其中，所述校准影像以其获取时间命名。
7.根据权利要求6所述的方法，其特征在于，所述根据所述影像数据和所述飞控数据建立像控点库，其中，像控点坐标包括像素点坐标和像素点空间坐标，包括：
建立影像索引文件，文件格式为：影像名存储路径；
建立控制点索引文件，文件格式为：控制点名影像中心点像素坐标影像中心点空间坐标；
所述控制点索引文件中的各条目与所述影像索引文件中的对应项以影像名为关键字关联，并进行动态调整。
8.根据权利要求7所述的方法，其特征在于，所述基于影像纹理信息对重排影像的重叠区进行同名点匹配，并基于航带内的影像同名点实现航带内影像拼接，再基于航带间的影像同名点实现航带间影像拼接，得到影像拼接图，同步更新所述像控点库，包括以下步骤：
(a)读取所述影像索引文件和所述控制点索引文件；
(b)建立空白拼接图，其中，一个航带影像集合内包含有n张影像，每张影像的大小为x·y，x为每行的像素个数，y为每列的像素个数，z为航向重叠度，w为航向缓冲系数，t为旁向缓冲系数，建立的空白拼接图的大小s＝n·x·(1-z)·(1+w)·y·(1+t)；
(c)基于航带内的影像同名点进行航带内影像拼接，包括：在一个航带影像集合中选取一张基准影像，利用SIFT算法在该基准影像与其相邻的待匹配影像的重叠区进行同名点匹配，然后根据投影变换模型将待匹配影像与基准影像进行拼接，得到拼接影像，再以得到的该拼接影像为基准影像与下一张待匹配影像进行拼接，以此类推，直至将该航带影像集合中的所有影像拼接在一起，得到航带拼接图，最后将该航带拼接图存入所述空白拼接图中；
其中，所述投影变换模型为：
Figure FDA0002548142680000041
(x2,y2)是基准影像上的同名点坐标，(x3,y3)为待匹配影像上的同名点坐标，a00-a22为变换参数，通过最小二乘法求解出变换参数后，根据基准影像对待匹配影像进行坐标空间转换，实现基准影像与待匹配影像的快速拼接；
(d)根据步骤(c)中的方法完成其他航带内的影像拼接后，再基于航带间的影像同名点进行航带间影像拼接，包括：选取两幅待拼接的航带拼接图，并以其中一幅航带拼接图中的各影像为基准影像，以另一幅航带拼接图中与各基准影像相邻的影像为待匹配影像，利用SIFT算法在待匹配影像与其对应的基准影像的重叠区进行同名点匹配，然后根据所述投影变换模型依次将待匹配影像与对应的基准影像进行拼接，得到航带间拼接图，根据同样的方法实现其他航带间拼接，最终得到影像拼接图；
(e)更新控制点索引文件和影像索引文件；
其中，所述更新控制点索引文件包括：将原始的影像中心点像素坐标更新为在影像拼接图中的像素坐标：
NewCenterPoint_n(x,y)＝f(a00,a01,…a22,CenterPoint_n(x,y))
CenterPoint_n(x,y)为第n张影像的中心点像素坐标；
NewCenterPoint_n(x,y)为该点在影像拼接图中的像素坐标。
所述更新影像索引文件包括：在备份文件的文末添加拼接文件信息。
9.根据权利要求8所述的方法，其特征在于，以原始影像中心点为控制点对所述影像拼接图进行几何校正，使所述影像拼接图具有空间地理信息，包括：
读取更新后的控制点索引文件，并根据几何校正模型对所述影像拼接图进行几何校正；
其中，所述几何校正模型为：
Figure FDA0002548142680000051
(x4,y4)为影像中心点的空间坐标，(ui,vi)为校正后得到的地理信息空间坐标，aij和bij为多项式系数，n取不小于1的正整数；
选取(n+1)·(n+2)/2个原始影像的中心点为控制点，并采用最小二乘法求解多项式系数aij和bij，计算每一个像素点在校正空间内的坐标，将像素点纳入地理信息空间，使影像上的地物具备一定精度的可量测性；
利用双线性内插法重采样，实现对影像拼接图的几何校正。
10.根据权利要求9所述的方法，其特征在于，该校正空间为WGS84坐标系。
CN202010567669.4A 2020-06-19 2020-06-19 一种应急救援活动中无人机航拍影像快速拼接的方法 Active CN112330537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010567669.4A CN112330537B (zh) 2020-06-19 2020-06-19 一种应急救援活动中无人机航拍影像快速拼接的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010567669.4A CN112330537B (zh) 2020-06-19 2020-06-19 一种应急救援活动中无人机航拍影像快速拼接的方法

Publications (2)

Publication Number Publication Date
CN112330537A true CN112330537A (zh) 2021-02-05
CN112330537B CN112330537B (zh) 2023-09-29

Family

ID=74303349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010567669.4A Active CN112330537B (zh) 2020-06-19 2020-06-19 一种应急救援活动中无人机航拍影像快速拼接的方法

Country Status (1)

Country Link
CN (1) CN112330537B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907486A (zh) * 2021-03-18 2021-06-04 国家海洋信息中心 一种基于深度学习和色彩映射的遥感影像调色方法
CN114519671A (zh) * 2022-02-16 2022-05-20 天津中科无人机应用研究院 无人机遥感影像动态快速拼接方法
CN115439365A (zh) * 2022-09-07 2022-12-06 生态环境部卫星环境应用中心 高塔相机图像几何校正方法和装置
CN116205975A (zh) * 2023-02-01 2023-06-02 广东国地规划科技股份有限公司 一种像控点数据采集方法及无人机测绘方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9689686B1 (en) * 2015-09-25 2017-06-27 Amazon Technologies, Inc. Detecting of navigation data spoofing based on image data
CN107480727A (zh) * 2017-08-28 2017-12-15 荆门程远电子科技有限公司 一种sift和orb相结合的无人机影像快速匹配方法
CN110310248A (zh) * 2019-08-27 2019-10-08 成都数之联科技有限公司 一种无人机遥感影像实时拼接方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9689686B1 (en) * 2015-09-25 2017-06-27 Amazon Technologies, Inc. Detecting of navigation data spoofing based on image data
CN107480727A (zh) * 2017-08-28 2017-12-15 荆门程远电子科技有限公司 一种sift和orb相结合的无人机影像快速匹配方法
CN110310248A (zh) * 2019-08-27 2019-10-08 成都数之联科技有限公司 一种无人机遥感影像实时拼接方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王书民;张爱武;崔营营;张珍梅;: "基于无人飞艇数字摄影测量系统及航拍序列图像拼接", 测绘科学, no. 1 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907486A (zh) * 2021-03-18 2021-06-04 国家海洋信息中心 一种基于深度学习和色彩映射的遥感影像调色方法
CN112907486B (zh) * 2021-03-18 2022-12-09 国家海洋信息中心 一种基于深度学习和色彩映射的遥感影像调色方法
CN114519671A (zh) * 2022-02-16 2022-05-20 天津中科无人机应用研究院 无人机遥感影像动态快速拼接方法
CN114519671B (zh) * 2022-02-16 2022-11-01 天津中科无人机应用研究院 无人机遥感影像动态快速拼接方法
CN115439365A (zh) * 2022-09-07 2022-12-06 生态环境部卫星环境应用中心 高塔相机图像几何校正方法和装置
CN115439365B (zh) * 2022-09-07 2023-02-17 生态环境部卫星环境应用中心 高塔相机图像几何校正方法和装置
CN116205975A (zh) * 2023-02-01 2023-06-02 广东国地规划科技股份有限公司 一种像控点数据采集方法及无人机测绘方法
CN116205975B (zh) * 2023-02-01 2023-09-19 广东国地规划科技股份有限公司 一种像控点数据采集方法及无人机测绘方法

Also Published As

Publication number Publication date
CN112330537B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN112330537A (zh) 一种应急救援活动中无人机航拍影像快速拼接的方法
US7233691B2 (en) Any aspect passive volumetric image processing method
US7415356B1 (en) Techniques for accurately synchronizing portions of an aerial image with composited visual information
CN106599119B (zh) 一种影像数据的存储方法和装置
CN112465969A (zh) 基于无人机航拍影像数据的实时三维建模方法及系统
CN110345925B (zh) 一种针对五目航拍照片质量检测及空三处理方法
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
CN111582022A (zh) 一种移动视频与地理场景的融合方法、系统及电子设备
JP7220785B2 (ja) 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体
CN110209847A (zh) 航空遥感数据机上准实时处理方法、装置和存储介质
CN109118533B (zh) 深度信息处理方法、装置和设备
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
US20120093393A1 (en) Camera translation using rotation from device
CN115760821A (zh) 一种基于无人机正射影像图生成地图切片的方法
KR20010000443A (ko) 항공측량 영상과 라이더 데이터 융합에 의한 건물추출시스템과 방법 및 그 프로그램 소스를 저장한 기록매체
JP2000276045A (ja) 撮影画像を用いた地図作成方法、装置および撮影画像の歪み補正方法
CN113034347A (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
CN115357052A (zh) 一种无人机自动探索视频画面中兴趣点的方法及系统
CN110148205B (zh) 一种基于众包影像的三维重建的方法和装置
CN112132029B (zh) 一种面向地震应急响应的无人机遥感影像快速定位方法
CN116129064A (zh) 电子地图生成方法、装置、设备及存储介质
Kern et al. An accurate real-time Uav mapping solution for the generation of Orthomosaics and surface models
CN110940318A (zh) 航空遥感实时成像方法、电子设备以及存储介质
CN111307119B (zh) 一种针对倾斜摄影的像素级空间信息记录方法
CN111415296B (zh) 一种无人机倾斜摄影的地面分辨率计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant