CN112288634A - 一种多无人机航拍图像的拼接方法及装置 - Google Patents
一种多无人机航拍图像的拼接方法及装置 Download PDFInfo
- Publication number
- CN112288634A CN112288634A CN202011181759.6A CN202011181759A CN112288634A CN 112288634 A CN112288634 A CN 112288634A CN 202011181759 A CN202011181759 A CN 202011181759A CN 112288634 A CN112288634 A CN 112288634A
- Authority
- CN
- China
- Prior art keywords
- image
- aerial
- images
- feature
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000007499 fusion processing Methods 0.000 claims abstract description 14
- 238000007526 fusion splicing Methods 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000007500 overflow downdraw method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种多无人机航拍图像的拼接方法及系统,接收来自多个无人机的多个航拍图像以及与各个航拍图像相对应的拍摄信息;根据与各个航拍图像相对应的拍摄信息,对各个航拍图像进行校正,并计算各个航拍图像的图像重叠区域,得到预处理图像;提取预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像。本申请能够接收多个无人机采集的多个航拍图像来进行拼接,并且在拼接时根据航拍图像的拍摄信息对航拍图像进行校正,并确定多个航拍图像的重叠区域,然后进行特征匹配和特征融合,这一拼接过程不需要依赖地面控制点,因此可以提高拼接全景图像的时效性和精确性。
Description
技术领域
本申请涉及无人机航拍图像处理技术领域,特别涉及一种多无人机航拍图像的拼接方法及装置。
背景技术
随着科技的不断发展,无人机以其机动灵活,经济高效和快速实时的优势,被广泛应用在地理测绘,灾害监测,灾后救援等领域。
由于单架无人机存在视觉信息量小、单次图像采集不全面的问题,传统的无人机航拍图像拼接是对航拍序列图像进行拼接的,需要预先设定无人机的飞行路径,然后控制无人机在飞行过程中按照序列拍摄图像,然后把按照序列拍摄的图像进行拼接。
但是,在发生森林火灾,地震等灾害以后,越早得到受灾地区的图像信息,就能越早了解到受灾地区的情况,进而越快指定相关应对措施,减少更大的损失,所以图像采集的实时性尤为重要。而这种依靠无人机航拍序列图像进行拼接的方法的实时性很低。甚至,如果拍摄中出现效果较差的图像,还会影响全景图像的拼接效果,再次拍摄又会耗费时间和精力,因此这种依靠无人机航拍序列图像进行拼接的方法难以及时有效地反馈全景图像信息。
并且,这种依靠无人机航拍序列图像进行拼接的方法,在拼接图像时,对图像进行几何校正主要依靠设定的地面控制点,但是在发生森林火灾,地震等灾害以后,地面控制点很难设定,拼接图像的几何校正也就难以完成,容易导致全景图像的拼接效果很差。
发明内容
针对上述问题,本发明提供一种多无人机航拍图像的拼接方法,以提高拼接全景图像的时效性和精确性。
基于上述目的,本申请提供的技术方案如下:
一种多无人机航拍图像的拼接方法,包括以下步骤:
接收来自多个无人机的多个航拍图像以及与各个所述航拍图像相对应的拍摄信息;
根据与各个所述航拍图像相对应的所述拍摄信息,对各个所述航拍图像进行校正,并计算各个所述航拍图像的图像重叠区域,得到预处理图像;
提取所述预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像。
优选地,所述拍摄信息包括各个所述航拍图像在被拍摄时的时间信息、无人机的姿态信息和位置坐标;所述姿态信息包括俯仰角、翻滚角、偏航角和航高信息。
优选地,所述根据与各个所述航拍图像相对应的所述拍摄信息,对各个所述航拍图像进行校正,包括:
根据与各个所述航拍图像相对应的所述俯仰角、翻滚角、偏航角和航高信息,对与各个所述航拍图像进行俯仰角校正、翻滚角校正、偏航角校正和航高校正处理。
优选地,所述计算各个所述航拍图像的图像重叠区域,得到预处理图像,包括:
根据与各个所述航拍图像相对应的所述位置坐标和所述航高信息,计算出各个无人机与相邻无人机之间的相对距离,根据所述相对距离计算各个所述航拍图像的重叠区域;
对各个所述航拍图像进行处理,保留所述重叠区域的像素值,并对非重叠区域的像素点进行赋值,得到图像尺寸未改变却只保留所述重叠区域的像素值的所述预处理图像。
优选地,所述提取所述预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像,包括:
采用加速稳健特征算法SURF对所述预处理图像进行特征点和特征描述符的提取,通过快速近似最近邻算法FLANN进行特征匹配,利用随机抽样一致性算法RANSAC去除错误匹配点,得出变换矩阵,最后采用加权融合方法对图像进行拼接处理,得到所述全景图像。
一种多无人机航拍图像的拼接系统,包括地面站和多个无人机;所述无人机包括用于采集航拍图像的图像模块和用于将采集的航拍图像发送给所述地面站的通信交互模块;
所述地面站用于接收来自多个所述无人机的多个航拍图像以及与各个所述航拍图像相对应的拍摄信息;根据与各个所述航拍图像相对应的所述拍摄信息,对各个所述航拍图像进行校正,并计算各个所述航拍图像的图像重叠区域,得到预处理图像;提取所述预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像。
优选地,所述无人机还包括用于感测所述无人机在拍摄航拍图像时的姿态信息的姿态模块和用于感测所述无人机在拍摄航拍图像时的位置坐标的位置模块;
所述拍摄信息包括各个所述航拍图像在被拍摄时的时间信息、无人机的姿态信息和位置坐标;所述姿态信息包括俯仰角、翻滚角、偏航角和航高信息。
优选地,所述地面站在根据与各个所述航拍图像相对应的所述拍摄信息,对各个所述航拍图像进行校正时,具体用于:
根据与各个所述航拍图像相对应的所述俯仰角、翻滚角、偏航角和航高信息,对与各个所述航拍图像进行俯仰角校正、翻滚角校正、偏航角校正和航高校正处理。
优选地,所述地面站在计算各个所述航拍图像的图像重叠区域,得到预处理图像时,具体用于:
根据与各个所述航拍图像相对应的所述位置坐标和所述航高信息,计算出各个无人机与相邻无人机之间的相对距离,根据所述相对距离计算各个所述航拍图像的重叠区域;
对各个所述航拍图像进行处理,保留所述重叠区域的像素值,并对非重叠区域的像素点进行赋值,得到图像尺寸未改变却只保留所述重叠区域的像素值的所述预处理图像。
优选地,所述地面站在提取所述预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像时,具体用于:
采用加速稳健特征算法SURF对所述预处理图像进行特征点和特征描述符的提取,通过快速近似最近邻算法FLANN进行特征匹配,利用随机抽样一致性算法RANSAC去除错误匹配点,得出变换矩阵,最后采用加权融合方法对图像进行拼接处理,得到所述全景图像。
应用上述本申请提供的一种多无人机航拍图像的拼接方法及系统,接收来自多个无人机的多个航拍图像以及与各个航拍图像相对应的拍摄信息;根据与各个航拍图像相对应的拍摄信息,对各个航拍图像进行校正,并计算各个航拍图像的图像重叠区域,得到预处理图像;提取预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像。本申请能够接收多个无人机采集的多个航拍图像来进行拼接,并且在拼接时根据航拍图像的拍摄信息对航拍图像进行校正,并确定多个航拍图像的重叠区域,然后进行特征匹配和特征融合,这一拼接过程不需要依赖地面控制点,因此可以提高拼接全景图像的时效性和精确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种多无人机航拍图像的拼接方法的流程示意图;
图2为本申请提供的一种多无人机航拍图像的拼接方法的计算图像重叠区域的示意图;
图3为本申请提供的一种多无人机航拍图像的拼接方法的特征提取与匹配示意图;
图4为本申请提供的一种多无人机航拍图像的拼接系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面,将通过具体实施例对本申请的方案做具体阐述:
图1为本申请提供的一种多无人机航拍图像的拼接方法的流程示意图。
请参照图1所示,本申请实施例提供的一种多无人机航拍图像的拼接方法,包括:
S100:接收来自多个无人机的多个航拍图像以及与各个所述航拍图像相对应的拍摄信息;
本申请实施例中,所述拍摄信息包括各个所述航拍图像在被拍摄时的时间信息、无人机的姿态信息和位置坐标;所述姿态信息包括俯仰角、翻滚角、偏航角和航高信息。
本申请实施例中,多个无人机组成的无人机群可以飞至图像采集区域上空,定高悬停,通过携带的磁力计传感器获得无人机的朝向方位信息,使得无人机机头统一朝着一个方向,然后多个无人机拍摄航拍图像,同时无人机携带的姿态传感器采集无人机实时姿态信息,将拍摄图像的时间信息、无人机所处的姿态信息和GPS位置坐标等拍摄信息以及航拍图像一起发送给地面站。无人机所处的姿态信息包括:俯仰角、翻滚角、偏航角和航高。
S200:根据与各个所述航拍图像相对应的所述拍摄信息,对各个所述航拍图像进行校正,并计算各个所述航拍图像的图像重叠区域,得到预处理图像;
在本申请实施例中,所述根据与各个所述航拍图像相对应的所述拍摄信息,对各个所述航拍图像进行校正,具体可以包括:
根据与各个所述航拍图像相对应的所述俯仰角、翻滚角、偏航角和航高信息,对与各个所述航拍图像进行俯仰角校正、翻滚角校正、偏航角校正和航高校正处理。
由于本申请实施例的低空无人机在拍摄航拍图像时不需要设置地面控制点,所以无法应用传统的多项式拟合法进行几何校正。因此地面站在根据拍摄信息对无人机发回的图像进行几何校正处理时,是通过获取拍摄图像时无人机所处的俯仰角、翻滚角、偏航角、航高参数等姿态,将航拍图像的坐标点,从像素坐标系转换到图像坐标系,然后依次对坐标进行俯仰角校正、翻滚角校正、偏航角校正和航高校正,得到校正变换后的点坐标,再将坐标从图像坐标系转回到像素点坐标系,然后通过校正前后点对的坐标变换的对应关系计算出几何透视变换矩阵,从而通过几何透视变换矩阵对整幅图像进行透视变换,得到校正处理后的图像。
图2为本申请提供的一种多无人机航拍图像的拼接方法的计算图像重叠区域的示意图;本申请实施例中,所述计算各个所述航拍图像的图像重叠区域,得到预处理图像,具体可以包括:
根据与各个所述航拍图像相对应的所述位置坐标和所述航高信息,计算出各个无人机与相邻无人机之间的相对距离,根据所述相对距离计算各个所述航拍图像的重叠区域;
对各个所述航拍图像进行处理,保留所述重叠区域的像素值,并对非重叠区域的像素点进行赋值,得到图像尺寸未改变却只保留所述重叠区域的像素值的所述预处理图像。
在计算图像重叠区域时,由于可以控制多个无人机到达待拍摄区域上空以后定高悬停,因此每架无人机所拍摄的地面面积是固定的,地面站可以根据无人机GPS坐标和高度信息,计算出无人机与相邻无人机之间的相对距离,得到无人机拍摄图像重叠区域的范围,相邻图像的重叠范围大约是30%—50%。然后保留图像范围内互相重叠的区域的像素值,对图像内非重叠区域的像素点进行赋值,从而得到图像尺寸未改变却只保留了重叠区域的有效像素值的图像。
S300:提取所述预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像。
图3为本申请提供的一种多无人机航拍图像的拼接方法的特征提取与匹配示意图;在本申请实施例中,所述提取所述预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像,可以包括:
采用加速稳健特征算法SURF对所述预处理图像进行特征点和特征描述符的提取,通过快速近似最近邻算法FLANN进行特征匹配,然后可以通过设置筛选条件,利用随机抽样一致性算法RANSAC去除错误匹配点,将留下的优秀匹配点进行图像配准,获得单应矩阵,然后利用这个矩阵的逆矩阵得出变换矩阵,对图像进行透视变换,最后采用加权融合方法对图像进行拼接处理,得到所述全景图像。
完成当前时刻的图像采集和拼接后,就可以进行下一时刻的图像采集和拼接。
本申请提供的一种多无人机航拍图像的拼接方法,接收来自多个无人机的多个航拍图像以及与各个航拍图像相对应的拍摄信息;根据与各个航拍图像相对应的拍摄信息,在无控制点情况下根据无人机姿态信息(俯仰角,横滚角,偏航角,航高)对航拍图像进行几何校正处理;然后根据无人机GPS坐标和高度信息,计算出无人机与相邻无人机之间拍摄图像重叠区域的范围,保留重叠区域像素值并对非重叠区域像素点进行赋值,得到预处理图像,然后采用SURF算法对预处理图像进行特征点和特征描述符的提取,提取好关键点和特征向量以后,利用FLANN进行单应性匹配,获得透视变换矩阵,用它的逆矩阵对另一幅图像进行透视变换,最后进行图像的拼接处理。
本申请方案能够接收多个无人机采集的多个航拍图像来进行拼接,并且在拼接时根据航拍图像的拍摄信息对航拍图像进行校正,并确定多个航拍图像的重叠区域,然后进行特征匹配和特征融合,这一拼接过程不需要依赖地面控制点,并且可以有效减少提取的特征点数量和特征匹配阶段无关区域内错误匹配的特征点数量,提高匹配效率,加快图像处理时间。将无人机与图像拼接技术结合,可以得到全景图像,扩大视角范围,克服单架无人机视觉信息量小,全局把控不全面的问题,同时多架无人机相结合,系统的实时性和精确性可以得到保障,可广泛应用在地理测绘、灾害监测、灾后救援、灾后评估等领域。
图4为本申请提供的一种多无人机航拍图像的拼接系统的结构示意图。
请参照图4所示,本申请实施例提供的一种多无人机航拍图像的拼接系统,包括:
一种多无人机航拍图像的拼接系统,包括地面站1和多个无人机2;所述无人机2包括用于采集航拍图像的图像模块和用于将采集的航拍图像发送给所述地面站的通信交互模块;
所述地面站1用于接收来自多个所述无人机的多个航拍图像以及与各个所述航拍图像相对应的拍摄信息;根据与各个所述航拍图像相对应的所述拍摄信息,对各个所述航拍图像进行校正,并计算各个所述航拍图像的图像重叠区域,得到预处理图像;提取所述预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像。
优选地,所述无人机2还包括用于感测所述无人机在拍摄航拍图像时的姿态信息的姿态模块和用于感测所述无人机在拍摄航拍图像时的位置坐标的位置模块;
所述拍摄信息包括各个所述航拍图像在被拍摄时的时间信息、无人机的姿态信息和位置坐标;所述姿态信息包括俯仰角、翻滚角、偏航角和航高信息。
在本申请实施例中,所述无人机2可以包括姿态模块、位置模块、图像模块和通信交互模块。姿态模块可以包括:惯性传感器、陀螺仪、加速度计、磁力计。位置模块可以包括GPS全球定位。图像模块可以包括摄像头模组。通信交互模块可以包括NB-IoT通信模块。
优选地,所述地面站1在根据与各个所述航拍图像相对应的所述拍摄信息,对各个所述航拍图像进行校正时,具体用于:
根据与各个所述航拍图像相对应的所述俯仰角、翻滚角、偏航角和航高信息,对与各个所述航拍图像进行俯仰角校正、翻滚角校正、偏航角校正和航高校正处理。
无人机群飞至图像采集区域上空,定高悬停,通过携带的磁力计传感器获取无人机的朝向信息,要求所有无人机都朝向一个方向。对采集区域进行拍摄并将航拍图像发送回地面站,同时姿态传感器采集无人机实时姿态信息,将拍摄图像时间、无人机姿态信息、GPS位置坐标传输回地面站。姿态信息包括:俯仰角、翻滚角、偏航角、航高。
地面站根据这些信息对无人机发回的图像进行几何校正处理,由于低空无人机拍摄图像很少会设置地面控制点,所以无法应用传统的多项式拟合法进行几何校正。所以通过获取拍摄图像时无人机所处的姿态,通过姿态传感器获取的俯仰角、翻滚角、偏航角、航高参数。将航拍图像的坐标点,从像素坐标系转换到图像坐标系,依次进行俯仰角校正、翻滚角校正、偏航角校正和航高校正,得到校正变换后的点坐标,再将坐标从图像坐标系转回到像素点坐标系,然后通过点对的坐标前后变换的对应关系计算出透视变换矩阵,从而通过透视变换矩阵对整幅图像进行透视变换,得到校正处理后的图像。
优选地,所述地面站1在计算各个所述航拍图像的图像重叠区域,得到预处理图像时,具体用于:
根据与各个所述航拍图像相对应的所述位置坐标和所述航高信息,计算出各个无人机与相邻无人机之间的相对距离,根据所述相对距离计算各个所述航拍图像的重叠区域;
对各个所述航拍图像进行处理,保留所述重叠区域的像素值,并对非重叠区域的像素点进行赋值,得到图像尺寸未改变却只保留所述重叠区域的像素值的所述预处理图像。
无人机到达待测区域上空后定高悬停,因此每架无人机所拍摄的地面面积是固定的,地面站再根据无人机GPS坐标和高度信息,计算出无人机与相邻无人机之间拍摄图像重叠区域的范围,相邻图像的重叠范围大约是30%—50%。保留图像范围内互相重叠的区域的像素值,对图像内非重叠区域的像素点进行赋值,从而得到图像尺寸未改变却只保留了重叠区域的有效像素值的图像。
优选地,所述地面站1在提取所述预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像时,具体用于:
采用加速稳健特征算法SURF对所述预处理图像进行特征点和特征描述符的提取,通过快速近似最近邻算法FLANN进行特征匹配,利用随机抽样一致性算法RANSAC去除错误匹配点,得出变换矩阵,最后采用加权融合方法对图像进行拼接处理,得到所述全景图像。
采用SURF算法对预处理图像进行特征点和特征描述符的提取,然后使用FLANN算法对特征点进行匹配,通过设置筛选条件,利用RANSAC算法去除错误匹配点,将留下的优秀匹配点进行图像配准,获得单应矩阵,然后利用这个矩阵的逆矩阵对图像进行透视变换,最后采用加权融合方法对图像进行拼接处理,得到全景图像。
完成当前时刻的图像采集和拼接后,就可以进行下一时刻的图像采集和拼接。
本申请实施例提供的多无人机航拍图像的拼接系统与上文方法实施例中的多无人机航拍图像的拼接方法相对应,可以彼此参照,此处不再详细阐述。
本申请提供的一种多无人机航拍图像的拼接系统,接收来自多个无人机的多个航拍图像以及与各个航拍图像相对应的拍摄信息;根据与各个航拍图像相对应的拍摄信息,在无控制点情况下根据无人机姿态信息(俯仰角,横滚角,偏航角,航高)对航拍图像进行几何校正处理;然后根据无人机GPS坐标和高度信息,计算出无人机与相邻无人机之间拍摄图像重叠区域的范围,保留重叠区域像素值并对非重叠区域像素点进行赋值,得到预处理图像,然后采用SURF算法对预处理图像进行特征点和特征描述符的提取,提取好关键点和特征向量以后,利用FLANN进行单应性匹配,获得透视变换矩阵,用它的逆矩阵对另一幅图像进行透视变换,最后进行图像的拼接处理。
本申请方案能够接收多个无人机采集的多个航拍图像来进行拼接,并且在拼接时根据航拍图像的拍摄信息对航拍图像进行校正,并确定多个航拍图像的重叠区域,然后进行特征匹配和特征融合,这一拼接过程不需要依赖地面控制点,并且可以有效减少提取的特征点数量和特征匹配阶段无关区域内错误匹配的特征点数量,提高匹配效率,加快图像处理时间。将无人机与图像拼接技术结合,可以得到全景图像,扩大视角范围,克服单架无人机视觉信息量小,全局把控不全面的问题,同时多架无人机相结合,系统的实时性和精确性可以得到保障,可广泛应用在地理测绘、灾害监测、灾后救援、灾后评估等领域。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种多无人机航拍图像的拼接方法及系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种多无人机航拍图像的拼接方法,其特征在于,包括以下步骤:
接收来自多个无人机的多个航拍图像以及与各个所述航拍图像相对应的拍摄信息;
根据与各个所述航拍图像相对应的所述拍摄信息,对各个所述航拍图像进行校正,并计算各个所述航拍图像的图像重叠区域,得到预处理图像;
提取所述预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像。
2.根据权利要求1所述的方法,其特征在于,所述拍摄信息包括各个所述航拍图像在被拍摄时的时间信息、无人机的姿态信息和位置坐标;所述姿态信息包括俯仰角、翻滚角、偏航角和航高信息。
3.根据权利要求2所述的方法,其特征在于,所述根据与各个所述航拍图像相对应的所述拍摄信息,对各个所述航拍图像进行校正,包括:
根据与各个所述航拍图像相对应的所述俯仰角、翻滚角、偏航角和航高信息,对与各个所述航拍图像进行俯仰角校正、翻滚角校正、偏航角校正和航高校正处理。
4.根据权利要求2所述的方法,其特征在于,所述计算各个所述航拍图像的图像重叠区域,得到预处理图像,包括:
根据与各个所述航拍图像相对应的所述位置坐标和所述航高信息,计算出各个无人机与相邻无人机之间的相对距离,根据所述相对距离计算各个所述航拍图像的重叠区域;
对各个所述航拍图像进行处理,保留所述重叠区域的像素值,并对非重叠区域的像素点进行赋值,得到图像尺寸未改变却只保留所述重叠区域的像素值的所述预处理图像。
5.根据权利要求1所述的方法,其特征在于,所述提取所述预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像,包括:
采用加速稳健特征算法SURF对所述预处理图像进行特征点和特征描述符的提取,通过快速近似最近邻算法FLANN进行特征匹配,利用随机抽样一致性算法RANSAC去除错误匹配点,得出变换矩阵,最后采用加权融合方法对图像进行拼接处理,得到所述全景图像。
6.一种多无人机航拍图像的拼接系统,其特征在于,包括地面站和多个无人机;所述无人机包括用于采集航拍图像的图像模块和用于将采集的航拍图像发送给所述地面站的通信交互模块;
所述地面站用于接收来自多个所述无人机的多个航拍图像以及与各个所述航拍图像相对应的拍摄信息;根据与各个所述航拍图像相对应的所述拍摄信息,对各个所述航拍图像进行校正,并计算各个所述航拍图像的图像重叠区域,得到预处理图像;提取所述预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像。
7.根据权利要求6所述的系统,其特征在于,所述无人机还包括用于感测所述无人机在拍摄航拍图像时的姿态信息的姿态模块和用于感测所述无人机在拍摄航拍图像时的位置坐标的位置模块;
所述拍摄信息包括各个所述航拍图像在被拍摄时的时间信息、无人机的姿态信息和位置坐标;所述姿态信息包括俯仰角、翻滚角、偏航角和航高信息。
8.根据权利要求7所述的系统,其特征在于,所述地面站在根据与各个所述航拍图像相对应的所述拍摄信息,对各个所述航拍图像进行校正时,具体用于:
根据与各个所述航拍图像相对应的所述俯仰角、翻滚角、偏航角和航高信息,对与各个所述航拍图像进行俯仰角校正、翻滚角校正、偏航角校正和航高校正处理。
9.根据权利要求7所述的系统,其特征在于,所述地面站在计算各个所述航拍图像的图像重叠区域,得到预处理图像时,具体用于:
根据与各个所述航拍图像相对应的所述位置坐标和所述航高信息,计算出各个无人机与相邻无人机之间的相对距离,根据所述相对距离计算各个所述航拍图像的重叠区域;
对各个所述航拍图像进行处理,保留所述重叠区域的像素值,并对非重叠区域的像素点进行赋值,得到图像尺寸未改变却只保留所述重叠区域的像素值的所述预处理图像。
10.根据权利要求6所述的系统,其特征在于,所述地面站在提取所述预处理图像的特征点和特征描述符,进行特征匹配和特征融合处理,拼接得到全景图像时,具体用于:
采用加速稳健特征算法SURF对所述预处理图像进行特征点和特征描述符的提取,通过快速近似最近邻算法FLANN进行特征匹配,利用随机抽样一致性算法RANSAC去除错误匹配点,得出变换矩阵,最后采用加权融合方法对图像进行拼接处理,得到所述全景图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011181759.6A CN112288634A (zh) | 2020-10-29 | 2020-10-29 | 一种多无人机航拍图像的拼接方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011181759.6A CN112288634A (zh) | 2020-10-29 | 2020-10-29 | 一种多无人机航拍图像的拼接方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112288634A true CN112288634A (zh) | 2021-01-29 |
Family
ID=74353462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011181759.6A Pending CN112288634A (zh) | 2020-10-29 | 2020-10-29 | 一种多无人机航拍图像的拼接方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112288634A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112837378A (zh) * | 2021-02-03 | 2021-05-25 | 江南大学 | 一种基于多无人机编队的航拍相机姿态外部动态标定以及测绘方法 |
CN113096018A (zh) * | 2021-04-20 | 2021-07-09 | 广东省智能机器人研究院 | 一种航拍图像拼接方法和系统 |
CN113255595A (zh) * | 2021-06-29 | 2021-08-13 | 北京中建建筑科学研究院有限公司 | 基于区块链技术的多摄像头土方覆盖率的智能计算方法 |
CN113781444A (zh) * | 2021-09-13 | 2021-12-10 | 北京理工大学重庆创新中心 | 基于多层感知机校正的快速拼接航拍图像的方法和系统 |
CN113837246A (zh) * | 2021-09-06 | 2021-12-24 | 广州极飞科技股份有限公司 | 图像的匹配方法及其匹配装置、无人设备 |
CN113905190A (zh) * | 2021-09-30 | 2022-01-07 | 中国电子科技集团公司第五十四研究所 | 一种面向无人机视频的全景图实时拼接方法 |
CN114253284A (zh) * | 2021-12-22 | 2022-03-29 | 湖北襄开电力设备有限公司 | 无人机自动控制方法、装置、设备及存储介质 |
CN114289332A (zh) * | 2022-01-20 | 2022-04-08 | 湖南视比特机器人有限公司 | 工件分拣的视觉识别与定位方法、装置及分拣系统 |
CN115049547A (zh) * | 2022-08-16 | 2022-09-13 | 成都数之联科技股份有限公司 | 一种航拍图像实时增量拼接方法及系统及装置及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017192034A1 (en) * | 2016-05-02 | 2017-11-09 | Cyclomedia Technology B.V. | A method for improving position information associated with a collection of images |
CN107808362A (zh) * | 2017-11-15 | 2018-03-16 | 北京工业大学 | 一种基于无人机pos信息与图像surf特征结合的图像拼接方法 |
CN109029422A (zh) * | 2018-07-10 | 2018-12-18 | 北京木业邦科技有限公司 | 一种多无人机协作构建三维调查地图的方法和装置 |
CN110191311A (zh) * | 2019-04-15 | 2019-08-30 | 贵州电网有限责任公司 | 一种基于多无人机的实时视频拼接方法 |
CN111080529A (zh) * | 2019-12-23 | 2020-04-28 | 大连理工大学 | 一种加强鲁棒性的无人机航拍图像拼接方法 |
CN111583110A (zh) * | 2020-04-24 | 2020-08-25 | 华南理工大学 | 一种航拍图像的拼接方法 |
-
2020
- 2020-10-29 CN CN202011181759.6A patent/CN112288634A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017192034A1 (en) * | 2016-05-02 | 2017-11-09 | Cyclomedia Technology B.V. | A method for improving position information associated with a collection of images |
CN107808362A (zh) * | 2017-11-15 | 2018-03-16 | 北京工业大学 | 一种基于无人机pos信息与图像surf特征结合的图像拼接方法 |
CN109029422A (zh) * | 2018-07-10 | 2018-12-18 | 北京木业邦科技有限公司 | 一种多无人机协作构建三维调查地图的方法和装置 |
CN110191311A (zh) * | 2019-04-15 | 2019-08-30 | 贵州电网有限责任公司 | 一种基于多无人机的实时视频拼接方法 |
CN111080529A (zh) * | 2019-12-23 | 2020-04-28 | 大连理工大学 | 一种加强鲁棒性的无人机航拍图像拼接方法 |
CN111583110A (zh) * | 2020-04-24 | 2020-08-25 | 华南理工大学 | 一种航拍图像的拼接方法 |
Non-Patent Citations (1)
Title |
---|
刘晓杰等: "基于拓扑结构的图像拼接算法", 《电讯技术》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112837378A (zh) * | 2021-02-03 | 2021-05-25 | 江南大学 | 一种基于多无人机编队的航拍相机姿态外部动态标定以及测绘方法 |
CN112837378B (zh) * | 2021-02-03 | 2024-04-30 | 江南大学 | 一种基于多无人机编队的航拍相机姿态外部动态标定以及测绘方法 |
CN113096018A (zh) * | 2021-04-20 | 2021-07-09 | 广东省智能机器人研究院 | 一种航拍图像拼接方法和系统 |
CN113255595A (zh) * | 2021-06-29 | 2021-08-13 | 北京中建建筑科学研究院有限公司 | 基于区块链技术的多摄像头土方覆盖率的智能计算方法 |
CN113837246A (zh) * | 2021-09-06 | 2021-12-24 | 广州极飞科技股份有限公司 | 图像的匹配方法及其匹配装置、无人设备 |
CN113781444A (zh) * | 2021-09-13 | 2021-12-10 | 北京理工大学重庆创新中心 | 基于多层感知机校正的快速拼接航拍图像的方法和系统 |
CN113781444B (zh) * | 2021-09-13 | 2024-01-16 | 北京理工大学重庆创新中心 | 基于多层感知机校正的快速拼接航拍图像的方法和系统 |
CN113905190A (zh) * | 2021-09-30 | 2022-01-07 | 中国电子科技集团公司第五十四研究所 | 一种面向无人机视频的全景图实时拼接方法 |
CN113905190B (zh) * | 2021-09-30 | 2023-03-10 | 中国电子科技集团公司第五十四研究所 | 一种面向无人机视频的全景图实时拼接方法 |
CN114253284A (zh) * | 2021-12-22 | 2022-03-29 | 湖北襄开电力设备有限公司 | 无人机自动控制方法、装置、设备及存储介质 |
CN114289332A (zh) * | 2022-01-20 | 2022-04-08 | 湖南视比特机器人有限公司 | 工件分拣的视觉识别与定位方法、装置及分拣系统 |
CN115049547A (zh) * | 2022-08-16 | 2022-09-13 | 成都数之联科技股份有限公司 | 一种航拍图像实时增量拼接方法及系统及装置及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112288634A (zh) | 一种多无人机航拍图像的拼接方法及装置 | |
CN109387186B (zh) | 测绘信息获取方法、装置、电子设备及存储介质 | |
CN101916452B (zh) | 一种基于飞行控制信息的无人机遥感影像自动拼接方法 | |
Yahyanejad et al. | Incremental mosaicking of images from autonomous, small-scale uavs | |
US10089766B2 (en) | Method and system of stitching aerial data using information from previous aerial images | |
US20220237738A1 (en) | Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images | |
CN105627991A (zh) | 一种无人机影像实时全景拼接方法及系统 | |
WO2018120350A1 (zh) | 对无人机进行定位的方法及装置 | |
CN110716586A (zh) | 无人机的拍照控制方法、装置、无人机和存储介质 | |
JP2008186145A (ja) | 空撮画像処理装置および空撮画像処理方法 | |
KR101771492B1 (ko) | 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템 | |
CN106504192B (zh) | 一种输电线路走廊地质灾害勘探影像处理方法及系统 | |
US8994821B2 (en) | Methods and apparatus for automated assignment of geodetic coordinates to pixels of images of aerial video | |
JP6802599B1 (ja) | 検査システム | |
CN112399084A (zh) | 无人机航拍方法、装置、电子设备及可读存储介质 | |
CN112469967A (zh) | 一种测绘系统、测绘方法、装置、设备及介质 | |
JP2017201261A (ja) | 形状情報生成システム | |
CN111578904B (zh) | 一种基于等距螺线的无人机航测方法和系统 | |
CN114495416A (zh) | 基于无人机的火情监测方法、装置及终端设备 | |
JP6155091B2 (ja) | モザイク画像生成装置及び生成方法並びにモザイク画像生成プログラム | |
JP2023100642A (ja) | 検査システム | |
Ahmed et al. | UAV based monitoring system and object detection technique development for a disaster area | |
CN115112100B (zh) | 遥感控制系统及方法 | |
CN110940318A (zh) | 航空遥感实时成像方法、电子设备以及存储介质 | |
CN111639662A (zh) | 一种遥感图像双向匹配方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |