CN110648283A - 图像拼接方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像拼接方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN110648283A
CN110648283A CN201911177508.8A CN201911177508A CN110648283A CN 110648283 A CN110648283 A CN 110648283A CN 201911177508 A CN201911177508 A CN 201911177508A CN 110648283 A CN110648283 A CN 110648283A
Authority
CN
China
Prior art keywords
sequence
image
images
acquiring
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911177508.8A
Other languages
English (en)
Other versions
CN110648283B (zh
Inventor
刘夯
曹治锦
孙婷婷
雷明
余勤力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Chengdu Dapeng Uav Technology Co Ltd
Original Assignee
China Chengdu Dapeng Uav Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Chengdu Dapeng Uav Technology Co Ltd filed Critical China Chengdu Dapeng Uav Technology Co Ltd
Priority to CN201911177508.8A priority Critical patent/CN110648283B/zh
Publication of CN110648283A publication Critical patent/CN110648283A/zh
Application granted granted Critical
Publication of CN110648283B publication Critical patent/CN110648283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供的应用于航摄的图像拼接方法、装置、电子设备和计算机可读存储介质,涉及航摄的图像拼接领域。该图像拼接方法包括:获取多张序列图像;多张序列图像具有序列标识,多张序列图像是无人机的相机处于预设姿态且无人机飞行在预设轨迹时拍摄的;依据无人机的定位信息和多张序列图像,获取拟合平面信息;获取多张待拼接图像;待拼接图像为多张序列图像中符合第一条件的序列图像;依据拟合平面信息,将多张待拼接图像按照序列标识进行拼接,获取视觉全景图像。将具有序列标识的序列图像与定位信息结合,通过图像拼接可以得到大视角的视觉全景图,有利于将采集的图像整体可视化。

Description

图像拼接方法、装置、电子设备和计算机可读存储介质
技术领域
本发明涉及航摄的图像拼接领域,具体而言,涉及一种图像拼接方法、装置、电子设备和计算机可读存储介质。
背景技术
近年来随着无人机技术的发展,无人机因其高效、灵活、低成本等特性,已被广泛应用于勘探、侦察、应急、救灾等各个领域。
其中运用最广泛的视频监控领域,视频监控系统为地面监测提供了广阔的空中视角,但受无人机飞行高度和数码相机焦距等限制,无人机图像具有像幅小、数量多、航带多等特点,如果需监控的目标区域过大,用户很难将其整体可视化。因此,通过图像拼接得到大视场角的全景图成为了目前重要需求之一。
发明内容
有鉴于此,本发明的目的在于提供一种图像拼接方法、装置、电子设备和计算机可读存储介质。
为了实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供一种应用于航摄的图像拼接方法,所述方法包括:获取多张序列图像;所述多张序列图像具有序列标识,所述多张序列图像是无人机的相机处于预设姿态且所述无人机飞行在预设轨迹时拍摄的。依据所述无人机的定位信息和所述多张序列图像,获取拟合平面信息。获取多张待拼接图像;所述待拼接图像为所述多张序列图像中符合第一条件的序列图像。依据所述拟合平面信息,将多张所述待拼接图像按照所述序列标识进行拼接,获取视觉全景图像。
在可选的实施方式中,所述获取多张待拼接图像,包括:判断第一图像的第一重叠率是否处于预设区间;所述第一图像为所述多张序列图像中的任意一张序列图像。若是,则将所述第一图像作为所述待拼接图像。
在可选的实施方式中,所述依据所述无人机的定位信息和所述多张序列图像,获取拟合平面信息,包括:将所述多张序列图像按照所述序列标识进行拼接,获取初始地图信息。根据所述定位信息和所述初始地图信息,获取拟合平面信息。
在可选的实施方式中,所述定位信息和所述序列标识具有对应关系,所述根据所 述定位信息和所述初始地图信息,获取拟合平面信息,包括:向所述初始地图信息中加入与 所述序列标识对应的定位信息,根据误差函数,获取所述拟合平面信息。其中,所述误差函 数为
Figure 50442DEST_PATH_IMAGE001
,e(x)为不同的所述序列图像的重叠误差项,
Figure 818809DEST_PATH_IMAGE002
为当前 相机姿态,β为所述定位信息的误差权重,表征所述定位信息。
在可选的实施方式中,所述依据所述拟合平面信息,将多张所述待拼接图像按照所述序列标识进行拼接,获取视觉全景图像,包括:依据所述拟合平面信息,按照所述序列标识对多张所述待拼接图像使用双边权重处理,获取所述视觉全景图像;所述双边权重处理包括羽化和多频段融合。
在可选的实施方式中,在所述获取多张序列图像之后,所述方法还包括:对所述多张序列图像进行畸变矫正和/或高斯去噪。
第二方面,本申请实施例提供一种应用于航摄的图像拼接装置,包括:获取模块和处理模块。所述获取模块用于获取多张序列图像;所述多张序列图像具有序列标识,所述多张序列图像是无人机的相机处于预设姿态且所述无人机飞行在预设轨迹时拍摄的。所述处理模块用于依据所述无人机的定位信息和所述多张序列图像,获取拟合平面信息。所述获取模块还用于获取多张待拼接图像;所述待拼接图像为所述多张序列图像中符合第一条件的序列图像;所述处理模块还用于依据所述拟合平面信息,将多张所述待拼接图像按照所述序列标识进行拼接,获取视觉全景图像。
在可选的实施方式中,还包括:判断模块。所述判断模块用于判断第一图像的第一重叠率是否处于预设区间;所述第一图像为所述多张序列图像中的任意一张序列图像。所述处理模块还用于当所述第一重叠率处于所述预设区间时,将所述第一图像作为所述待拼接图像。
第三方面,本申请实施例提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现前述实施方式任一项所述的图像拼接方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的图像拼接方法。
本申请实施例提供的图像拼接方法、装置、电子设备和计算机可读存储介质,将具有序列标识的序列图像与定位信息结合,通过图像拼接可以得到大视角的视觉全景图,有利于将采集的图像整体可视化。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种图像拼接方法的流程示意图;
图2为本申请实施例提供的另一种图像拼接方法的流程示意图;
图3为本申请实施例提供的另一种图像拼接方法的流程示意图;
图4为本申请实施例提供的另一种图像拼接方法的流程示意图;
图5为本申请实施例提供的另一种图像拼接方法的流程示意图;
图6为本申请实施例提供的另一种图像拼接方法的流程示意图;
图7为本申请实施例提供的一种航摄的图像采集示意图;
图8为本申请实施例提供的一种图像拼接装置的方框示意图;
图9为本申请实施例提供的另一种图像拼接装置的方框示意图;
图10为本申请实施例提供的一种电子设备的方框示意图。
图标:40-图像拼接装置,41-获取模块,42-处理模块,43-判断模块,60-电子设备,61-存储器,62-处理器,63-通信接口。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以通过各种不同的配置来布置和设计。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
视频监控系统为地面监测提供了广阔的空中视角,但受无人机飞行高度和数码相机焦距等限制,无人机图像具有像幅小、数量多、航带多等特点,如果需监控的目标区域过大,用户很难将其整体可视化。
基于上述的问题,本申请实施例提供一种应用于航摄的图像拼接方法,如图1,图1为本申请实施例提供的一种图像拼接方法的流程示意图。该图像拼接方法包括:
步骤S300、获取多张序列图像。
上述的多张序列图像具有序列标识,且上述的多张序列图像是无人机的相机处于预设姿态且无人机飞行在预设轨迹时拍摄的。需要注意的是,在一种情况下,该序列标识可以是在无人机进行拍摄时,对上述的多张序列图像按照时间顺序进行标注;可以理解的,还可以根据图像处理需求对序列图像进行标注。
步骤S302、依据无人机的定位信息和多张序列图像,获取拟合平面信息。
可以理解的是,上述的拟合平面信息可以是拟合出的大地平面。例如,使用机载光电吊舱来拍摄序列图像,该序列图像为按照时序进行标识,通过即时定位与建图(Simultaneous Localization and Mapping,SLAM)来确定与序列图像对应的拟合平面信息。
步骤S303、获取多张待拼接图像。
上述的待拼接图像为多张序列图像中符合第一条件的序列图像。可以理解的,在不同的图像处理需求下,可以设置不同第一条件来获取符合要求的待拼接图像。
步骤S304、依据拟合平面信息,将多张待拼接图像按照序列标识进行拼接,获取视觉全景图像。
将具有序列标识的序列图像与定位信息结合,通过图像拼接可以得到大视角的视觉全景图,有利于将采集的图像整体可视化。本申请实施例提供的方法可以应用于正摄相机采集的序列图像拼接,也可用于倾斜相机采集的序列图像拼接;同时,将序列图像与定位信息相结合,拼接后的图像拥有地理信息,很大程度的提高的视觉全景图像的实用价值。
在可选的实施方式中,为了获取待拼接图像,在图1的基础上,给出一种可能的实现方式,如图2,图2为本申请实施例提供的另一种图像拼接方法的流程示意图。上述的步骤S303包括:
步骤S3031、判断第一图像的第一重叠率是否处于预设区间。
上述的第一图像为多张序列图像中的任意一张序列图像。
若是,则执行步骤S3032。
步骤S3032、将第一图像作为待拼接图像。
若否,则不将第一图像作为待拼接图像。
应理解,上述的第一重叠率可以包括,但不限于以下的任意一项或组合:航向重叠率、旁向重叠率。例如,对于同一无人机在一条固定航线上采集的多张待拼接图像,上述的第一重叠率可以是按照时间序列进行排序的任意两张相邻图像之间的航向重叠率;对于无人机沿任意两条相邻航线所拍摄的多张待拼接图像,上述的第一重叠率还可以是任意两条相邻航线的待拼接图像之间的旁向重叠率;可以预见的,上述的第一重叠率还可以同时使用上述的航向重叠率和旁向重叠率,其可以根据图像拼接的实际需求进行确定。为了便于理解上述的预设区间,一种可能的情况是:在航摄的图像拼接过程中,一般将上述的预设区间设置为重叠率在20%~40%,即当序列标识相近的两张序列图像的重叠率在20%~40%时,将对应的序列图像作为待拼接图像。可以理解的,该预设区间可以根据需要的视觉全景图像精度来确定:例如,还可以将上述的预设区间设置为重叠率在[50%,100%),其为一个左闭右开的重叠率预设区间,可以理解的,将预设区间的重叠率设置的越大,图像拼接生成的视觉全景图像的效果就越好。
相较于现有技术将所有采集图像进行拼接,本申请实施例提供的图像拼接方法通过在序列图像中选取满足需求的待拼接图像,可以减少获取视角视觉全景图像的工作量。
在可选的实施方式中,为了获得一个较好的拟合平面信息,在图1的基础上,给出一种可能的实现方式,如图3,图3为本申请实施例提供的另一种图像拼接方法的流程示意图。上述的步骤S302包括:
步骤S3021、将多张序列图像按照序列标识进行拼接,获取初始地图信息。
步骤S3022、根据定位信息和初始地图信息,获取拟合平面信息。
例如,将多张序列图像输入至视觉里程计模块,对无人机的相机进行初步的跟踪和定位,再通过三角测量对提取图像中的特征点,获得初始地图信息。在无人机上安装有惯性测量单元(Inertial Measurement Unit,IMU),可以将IMU信息和相机的预设姿态信息输入视觉里程计模块,并在后端加入定位信息,即可获得一个与实际地理信息一致的拟合平面信息。
引入定位信息和序列图像的序列标识来获取拟合平面信息,相较于现有技术可以获得一个更好拼接精度的视觉全景图像,可以满足大范围目标区域的图像拼接需求。
在可选的实施方式中,为了提高拟合平面信息与实际地理信息的相似度,在图3的基础上,给出一种可能的实现方式,如图4,图4为本申请实施例提供的另一种图像拼接方法的流程示意图。其中,定位信息和序列标识具有对应关系,上述的步骤S3022,包括:
步骤S3022a、向初始地图信息中加入与序列标识对应的定位信息,根据误差函数,获取拟合平面信息。
其中,上述的误差函数可以为
Figure 580409DEST_PATH_IMAGE001
,e(x)为不同的序列 图像的重叠误差项,为当前相机姿态,β为定位信息的误差权重,
Figure 900717DEST_PATH_IMAGE003
表征定位信息。
例如,在将多张序列图像、IMU信息、定位信息输入至视觉里程计模块的基础上,引 入本申请实施例的误差函数
Figure 362923DEST_PATH_IMAGE001
,可以输出较高精度的相机姿态 和对应的拟合平面信息,将相机姿态与地图点由局部的地图点转换为WGS84坐标系,有利于 获取一个与实际地理信息更为匹配的拟合平面信息,并最终获取一个更为准确的视觉全景 图像。
在可选的实施方式中,为了使视觉全景图像更为自然和准确,在图1的基础上,给出一种可能的实现方式,如图5,图5为本申请实施例提供的另一种图像拼接方法的流程示意图。上述的步骤S304包括:
步骤S3041、依据拟合平面信息,按照序列标识对多张待拼接图像使用双边权重处理,获取视觉全景图像。
上述的双边权重处理包括羽化和多频段融合。通过进行处理,可以解决拼接分析之间的颜色过渡差异问题,可以利用拉普拉斯金字塔进行多频段融合,从而使多张待拼接图像之间的缝隙平缓过渡。
在可选的实施方式中,现有技术中通常会标定参数以及畸变参数,为了获取更清晰的拟合平面信息,在图1的基础上,给出一种可能的实现方式,如图6,图6为本申请实施例提供的另一种图像拼接方法的流程示意图。在步骤S300之后,该图像拼接方法还包括:
步骤S301、对多张序列图像进行畸变矫正和/或高斯去噪。
上述的高斯去噪可以使用函数
Figure 851673DEST_PATH_IMAGE005
,其中i=1~6,j=1~2,
Figure 883958DEST_PATH_IMAGE006
为方差,k为卷积核矩阵的维数(即2k+1为卷积核矩阵的长和宽)。例如,令k=1,
Figure 86969DEST_PATH_IMAGE007
=1,即可 得到3×3的二维高斯卷积核,根据上述的高斯去噪函数对上述的序列图像进行一个较好的 高斯去噪处理。
对序列图像进行预处理后,再进行上述的步骤S302和步骤S304,可以使最终的视觉全景图像更为清晰和准确。
针对上述步骤S300~步骤S304,本申请实施例给出一种可能的具体实现方式,如图7,图7为本申请实施例提供的一种航摄的图像采集示意图:
标定无人机的相机参数和畸变参数,相机内参矩阵,其中,K其为相机 内参矩阵,
Figure 659661DEST_PATH_IMAGE010
为焦距f的像素坐标,
Figure 37553DEST_PATH_IMAGE011
为图像中心与图像和光轴交点的偏置信息 (理想情况下应该是两点重合),一般考虑到实际像素感光元是正方形的,参数应该对应近 似相等。
无人机的相机采用光电吊舱,无人机与海平面的垂直高度为h,分别在①、②、③、④采集点各采集一张序列图像,该序列图像分别包括A、B、C、D四个区域的信息。
对上述的序列图像进行畸变矫正和高斯去噪,采用的高斯模板为:
Figure 288592DEST_PATH_IMAGE013
其中,其中i=1~6,j=1~2;
Figure 836248DEST_PATH_IMAGE014
为方差,k为卷积核矩阵的维数(即2k+1为卷积核矩阵的长 和宽);例如,在本申请实施例中,取k=1,
Figure 803067DEST_PATH_IMAGE015
=1,得到3×3的二维高斯卷积核,以便对上述的序 列图像进行高斯去噪。
无人机上具有IMU,将采集的序列图像、IMU信息和定位信息进行即时定位与建图,其中,SLAM的运动方程为:
Figure 791358DEST_PATH_IMAGE016
观测方程为:
Figure 476417DEST_PATH_IMAGE017
其中,
Figure 827764DEST_PATH_IMAGE018
是运动传感器的读数,
Figure 649090DEST_PATH_IMAGE019
为运动噪声,当相机在
Figure 309747DEST_PATH_IMAGE020
位置上看到第i个路标点
Figure 216523DEST_PATH_IMAGE021
,产生了一个观测数据
Figure 105982DEST_PATH_IMAGE022
Figure 312972DEST_PATH_IMAGE023
为观测噪声,观测方程中的i为路标点的序号。
将序列图像输入视觉里程计模块,对相机进行初步的跟踪与定位,并通过三角测 量对图像中特征点进行三维重建,得到初始的地图信息。将IMU信息和相机的姿态信息输入 视觉惯导里程计模块,优化相机的跟踪、定位以及地图点信息。在后端优化中加入定位信 息,优化视觉惯导里程计的累积误差,输出较高精度的相机姿态与三维地图点信息,将相机 姿态与地图点由局部的相机坐标系转化为WGS84坐标系,其中非线性优化的误差函数为:
Figure 895263DEST_PATH_IMAGE001
,其中e(x)为不同的序列图像的重叠误差项,
Figure 305647DEST_PATH_IMAGE024
为当前相机 姿态,β为定位信息的误差权重,表征定位信息。
根据得到的相机姿态信息,将待拼接图像进行拼接,得到大视场角的视觉全景图像:获取重建后的地面三维点信息,拟合出大地平面,作为拟合平面信息;根据相机姿态将待拼接图像通过单应关系变换到拟合平面信息;对于修正坐标后的待拼接图像,由于每张待拼接图像之间有一定的痕迹,采用基于自适应的双边权重的方法来进行处理,获得视觉全景图像。对于上述的双边权重,包括羽化和利用拉普拉斯金字塔的多频段融合,可以解决拼接缝隙之间的颜色过渡差异问题,从而使图像之间的缝隙平缓过渡。
相较于传统机载图像拼接系统,本方法在图像配准采用基于3D的SLAM方法,提升了拼接精度,可以满足大范围目标区域的图像拼接需求,避免了透视投影以及单应矩阵连乘带来的过快的误差累积使得拼接后的图像视角过小、图像卷曲变小现象。可以理解的,本申请提供的图像拼接方法可用于实时拼接,也可用于序列图像采集完成后的拼接。本申请提供的图像拼接方法将图像特征提取算法与图像的地理坐标相结合,拼接后的图像拥有地理信息,实用价值得到提升。由于无人机作业环境复杂,不可避免出现跟踪、定位失败的问题,当跟踪、定位失败后,本方法可以自动判断出定位失败,提高了机载序列图像拼接的智能化,可操作性。
为了实现上述的图像拼接方法,本申请实施例提供一种应用于航摄的图像拼接装置,如图8,图8为本申请实施例提供的一种图像拼接装置的方框示意图。该图像拼接装置40包括:获取模块41和处理模块42。
获取模块41用于获取多张序列图像;多张序列图像具有序列标识,多张序列图像是无人机的相机处于预设姿态且无人机飞行在预设轨迹时拍摄的。
处理模块42用于依据无人机的定位信息和多张序列图像,获取拟合平面信息。
获取模块41还用于获取多张待拼接图像;待拼接图像为多张序列图像中符合第一条件的序列图像;处理模块42还用于依据拟合平面信息,将多张待拼接图像按照序列标识进行拼接,获取视觉全景图像。
可以理解的,本申请实施例的图像拼接装置40可以是,但不限于服务器、台式电脑、笔记本电脑、智能手机等具有图像处理能力的设备。
通过本申请实施例提供的图像拼接装置,将具有序列标识的序列图像与定位信息结合,通过图像拼接可以得到大视角的视觉全景图,有利于将采集的图像整体可视化。
在可选的实施方式中,为了获取待拼接图像,在图8的基础上,给出一种可能的实现方式,如图9,图9为本申请实施例提供的另一种图像拼接装置的方框示意图。该图像拼接装置40还包括:判断模块43。
判断模块43用于判断第一图像的第一重叠率是否处于预设区间;第一图像为多张序列图像中的任意一张序列图像。处理模块42还用于当第一重叠率处于预设区间时,将第一图像作为待拼接图像。
使用重叠率是否处于预设区间来获取符合图像拼接要求的待拼接图像,有利于在获取视觉全景图像的过程中,减少图像处理负荷。
本申请实施例提供一种电子设备,如图10,图10为本申请实施例提供的一种电子设备的方框示意图。该电子设备60包括存储器61、处理器62和通信接口63。该存储器61、处理器62和通信接口63相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器61可用于存储软件程序及模块,如本申请实施例所提供的图像拼接方法对应的程序指令/模块,处理器62通过执行存储在存储器61内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口63可用于与其他节点设备进行信令或数据的通信。在本申请中该电子设备60可以具有多个通信接口63。
其中,存储器61可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器62可以是一种集成电路芯片,具有信号处理能力。该处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
电子设备60可以实现本申请提供的任一项的图像拼接方法。该电子设备60可以是,但不限于,手机、平板电脑、笔记本电脑、服务器或其它具有处理能力的电子设备。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前述实施方式中任一项的图像拼接方法。该计算机可读存储介质可以是,但不限于,U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本申请提供的应用于航摄的图像拼接方法、装置、电子设备和计算机可读存储介质,涉及航摄的图像拼接领域。该图像拼接方法包括:获取多张序列图像;多张序列图像具有序列标识,多张序列图像是无人机的相机处于预设姿态且无人机飞行在预设轨迹时拍摄的;依据无人机的定位信息和多张序列图像,获取拟合平面信息;获取多张待拼接图像;待拼接图像为多张序列图像中符合第一条件的序列图像;依据拟合平面信息,将多张待拼接图像按照序列标识进行拼接,获取视觉全景图像。将具有序列标识的序列图像与定位信息结合,通过图像拼接可以得到大视角的视觉全景图,有利于将采集的图像整体可视化。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种应用于航摄的图像拼接方法,其特征在于,所述方法包括:
获取多张序列图像;所述多张序列图像具有序列标识,所述多张序列图像是无人机的相机处于预设姿态且所述无人机飞行在预设轨迹时拍摄的;
依据所述无人机的定位信息和所述多张序列图像,获取拟合平面信息;
获取多张待拼接图像;所述待拼接图像为所述多张序列图像中符合第一条件的序列图像;
依据所述拟合平面信息,将多张所述待拼接图像按照所述序列标识进行拼接,获取视觉全景图像。
2.根据权利要求1所述的方法,其特征在于,所述获取多张待拼接图像,包括:
判断第一图像的第一重叠率是否处于预设区间;所述第一图像为所述多张序列图像中的任意一张序列图像;
若是,则将所述第一图像作为所述待拼接图像。
3.根据权利要求1所述的方法,其特征在于,所述依据所述无人机的定位信息和所述多张序列图像,获取拟合平面信息,包括:
将所述多张序列图像按照所述序列标识进行拼接,获取初始地图信息;
根据所述定位信息和所述初始地图信息,获取拟合平面信息。
4.根据权利要求3所述的方法,其特征在于,所述定位信息和所述序列标识具有对应关系,所述根据所述定位信息和所述初始地图信息,获取拟合平面信息,包括:
向所述初始地图信息中加入与所述序列标识对应的定位信息,根据误差函数,获取所述拟合平面信息;
其中,所述误差函数为
Figure 405575DEST_PATH_IMAGE001
,e(x)为不同的所述序列图像的 重叠误差项,
Figure 542289DEST_PATH_IMAGE002
为当前相机姿态,β为所述定位信息的误差权重,表征所述定位信息。
5.根据权利要求1所述的方法,其特征在于,所述依据所述拟合平面信息,将多张所述待拼接图像按照所述序列标识进行拼接,获取视觉全景图像,包括:
依据所述拟合平面信息,按照所述序列标识对多张所述待拼接图像使用双边权重处理,获取所述视觉全景图像;所述双边权重处理包括羽化和多频段融合。
6.根据权利要求1所述的方法,其特征在于,在所述获取多张序列图像之后,所述方法还包括:
对所述多张序列图像进行畸变矫正和/或高斯去噪。
7.一种应用于航摄的图像拼接装置,其特征在于,包括:获取模块和处理模块;
所述获取模块,用于获取多张序列图像;所述多张序列图像具有序列标识,所述多张序列图像是无人机的相机处于预设姿态且所述无人机飞行在预设轨迹时拍摄的;
所述处理模块,用于依据所述无人机的定位信息和所述多张序列图像,获取拟合平面信息;
所述获取模块还用于获取多张待拼接图像;所述待拼接图像为所述多张序列图像中符合第一条件的序列图像;
所述处理模块还用于依据所述拟合平面信息,将多张所述待拼接图像按照所述序列标识进行拼接,获取视觉全景图像。
8.根据权利要求7所述的装置,其特征在于,还包括:判断模块;
所述判断模块,用于判断第一图像的第一重叠率是否处于预设区间;所述第一图像为所述多张序列图像中的任意一张序列图像;
所述处理模块还用于当所述第一重叠率处于所述预设区间时,将所述第一图像作为所述待拼接图像。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现权利要求1-6任一项所述的图像拼接方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的图像拼接方法。
CN201911177508.8A 2019-11-27 2019-11-27 图像拼接方法、装置、电子设备和计算机可读存储介质 Active CN110648283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911177508.8A CN110648283B (zh) 2019-11-27 2019-11-27 图像拼接方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911177508.8A CN110648283B (zh) 2019-11-27 2019-11-27 图像拼接方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110648283A true CN110648283A (zh) 2020-01-03
CN110648283B CN110648283B (zh) 2020-03-20

Family

ID=69014648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911177508.8A Active CN110648283B (zh) 2019-11-27 2019-11-27 图像拼接方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110648283B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111510678A (zh) * 2020-04-21 2020-08-07 上海歌尔泰克机器人有限公司 一种无人机图像传输控制方法、装置和系统
CN111783539A (zh) * 2020-05-30 2020-10-16 上海晏河建设勘测设计有限公司 一种地形测量方法、测量装置、测量系统及计算机可读存储介质
CN111784585A (zh) * 2020-09-07 2020-10-16 成都纵横自动化技术股份有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN111784622A (zh) * 2020-09-07 2020-10-16 成都纵横自动化技术股份有限公司 一种基于无人机单目倾斜的图像拼接方法及相关装置
CN112053401A (zh) * 2020-09-11 2020-12-08 北京半导体专用设备研究所(中国电子科技集团公司第四十五研究所) 一种芯片拼接方法、装置、设备及存储介质
CN113415433A (zh) * 2021-07-30 2021-09-21 成都纵横大鹏无人机科技有限公司 基于三维场景模型的吊舱姿态修正方法、装置和无人机
CN113592929A (zh) * 2021-08-04 2021-11-02 北京优翼科科技有限公司 一种无人机航摄影像实时拼接方法与系统
WO2021243566A1 (zh) * 2020-06-02 2021-12-09 深圳市大疆创新科技有限公司 成像方法、成像装置、计算机可读存储介质
CN114397960A (zh) * 2021-12-28 2022-04-26 深圳潜行创新科技有限公司 一种基于智能移动设备的飞控方向可视化方法
CN115574831A (zh) * 2022-09-28 2023-01-06 曾丽红 一种基于地图融合的无人机导航方法
CN115631096A (zh) * 2022-12-22 2023-01-20 无锡海纳智能科技有限公司 基于视觉成像原理的风机叶片图片的拼接方法及装置
WO2023097494A1 (zh) * 2021-11-30 2023-06-08 深圳市大疆创新科技有限公司 全景图像拍摄方法、装置、无人机、系统及存储介质
CN116363185A (zh) * 2023-06-01 2023-06-30 成都纵横自动化技术股份有限公司 地理配准方法、装置、电子设备和可读存储介质
CN116958104A (zh) * 2023-07-28 2023-10-27 上海感图网络科技有限公司 物料表面图像处理方法、装置及存储介质
CN116958104B (zh) * 2023-07-28 2024-05-28 上海感图网络科技有限公司 物料表面图像处理方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120114229A1 (en) * 2010-01-21 2012-05-10 Guoqing Zhou Orthorectification and mosaic of video flow
CN109325913A (zh) * 2018-09-05 2019-02-12 北京悦图遥感科技发展有限公司 无人机图像拼接方法及装置
CN109712071A (zh) * 2018-12-14 2019-05-03 电子科技大学 基于航迹约束的无人机图像拼接与定位方法
CN109741257A (zh) * 2018-12-25 2019-05-10 鸿视线科技(北京)有限公司 全景图全自动拍摄、拼接系统及方法
CN109995993A (zh) * 2018-01-02 2019-07-09 广州亿航智能技术有限公司 飞行器及其拍摄控制方法、装置及终端系统
CN110097498A (zh) * 2019-01-25 2019-08-06 电子科技大学 基于无人机航迹约束的多航带图像拼接与定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120114229A1 (en) * 2010-01-21 2012-05-10 Guoqing Zhou Orthorectification and mosaic of video flow
CN109995993A (zh) * 2018-01-02 2019-07-09 广州亿航智能技术有限公司 飞行器及其拍摄控制方法、装置及终端系统
CN109325913A (zh) * 2018-09-05 2019-02-12 北京悦图遥感科技发展有限公司 无人机图像拼接方法及装置
CN109712071A (zh) * 2018-12-14 2019-05-03 电子科技大学 基于航迹约束的无人机图像拼接与定位方法
CN109741257A (zh) * 2018-12-25 2019-05-10 鸿视线科技(北京)有限公司 全景图全自动拍摄、拼接系统及方法
CN110097498A (zh) * 2019-01-25 2019-08-06 电子科技大学 基于无人机航迹约束的多航带图像拼接与定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王慧国: "基于 ORB 特征的视觉里程计与建图研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111510678A (zh) * 2020-04-21 2020-08-07 上海歌尔泰克机器人有限公司 一种无人机图像传输控制方法、装置和系统
CN111783539A (zh) * 2020-05-30 2020-10-16 上海晏河建设勘测设计有限公司 一种地形测量方法、测量装置、测量系统及计算机可读存储介质
WO2021243566A1 (zh) * 2020-06-02 2021-12-09 深圳市大疆创新科技有限公司 成像方法、成像装置、计算机可读存储介质
CN111784585A (zh) * 2020-09-07 2020-10-16 成都纵横自动化技术股份有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN111784622A (zh) * 2020-09-07 2020-10-16 成都纵横自动化技术股份有限公司 一种基于无人机单目倾斜的图像拼接方法及相关装置
CN111784585B (zh) * 2020-09-07 2020-12-15 成都纵横自动化技术股份有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN112053401A (zh) * 2020-09-11 2020-12-08 北京半导体专用设备研究所(中国电子科技集团公司第四十五研究所) 一种芯片拼接方法、装置、设备及存储介质
CN112053401B (zh) * 2020-09-11 2024-04-16 北京半导体专用设备研究所(中国电子科技集团公司第四十五研究所) 一种芯片拼接方法、装置、设备及存储介质
CN113415433B (zh) * 2021-07-30 2022-11-29 成都纵横大鹏无人机科技有限公司 基于三维场景模型的吊舱姿态修正方法、装置和无人机
CN113415433A (zh) * 2021-07-30 2021-09-21 成都纵横大鹏无人机科技有限公司 基于三维场景模型的吊舱姿态修正方法、装置和无人机
CN113592929A (zh) * 2021-08-04 2021-11-02 北京优翼科科技有限公司 一种无人机航摄影像实时拼接方法与系统
WO2023097494A1 (zh) * 2021-11-30 2023-06-08 深圳市大疆创新科技有限公司 全景图像拍摄方法、装置、无人机、系统及存储介质
CN114397960A (zh) * 2021-12-28 2022-04-26 深圳潜行创新科技有限公司 一种基于智能移动设备的飞控方向可视化方法
CN114397960B (zh) * 2021-12-28 2024-05-31 深圳潜行创新科技有限公司 一种基于智能移动设备的飞控方向可视化方法
CN115574831A (zh) * 2022-09-28 2023-01-06 曾丽红 一种基于地图融合的无人机导航方法
CN115631096A (zh) * 2022-12-22 2023-01-20 无锡海纳智能科技有限公司 基于视觉成像原理的风机叶片图片的拼接方法及装置
CN115631096B (zh) * 2022-12-22 2023-03-21 无锡海纳智能科技有限公司 基于视觉成像原理的风机叶片图片的拼接方法及装置
CN116363185A (zh) * 2023-06-01 2023-06-30 成都纵横自动化技术股份有限公司 地理配准方法、装置、电子设备和可读存储介质
CN116958104A (zh) * 2023-07-28 2023-10-27 上海感图网络科技有限公司 物料表面图像处理方法、装置及存储介质
CN116958104B (zh) * 2023-07-28 2024-05-28 上海感图网络科技有限公司 物料表面图像处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN110648283B (zh) 2020-03-20

Similar Documents

Publication Publication Date Title
CN110648283B (zh) 图像拼接方法、装置、电子设备和计算机可读存储介质
US10360247B2 (en) System and method for telecom inventory management
CN110717861B (zh) 图像拼接方法、装置、电子设备和计算机可读存储介质
EP2423871B1 (en) Apparatus and method for generating an overview image of a plurality of images using an accuracy information
US9141880B2 (en) Systems and methods for relating images to each other by determining transforms without using image acquisition metadata
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
Verhoeven et al. Trying to break new ground in aerial archaeology
Zhang et al. Aerial orthoimage generation for UAV remote sensing
Gabara et al. Multi-variant accuracy evaluation of uav imaging surveys: A case study on investment area
Lentsch et al. Slicematch: Geometry-guided aggregation for cross-view pose estimation
CN111652915A (zh) 一种遥感图像的重叠区域计算方法、装置及电子设备
Faraji et al. Computer vision–based orthorectification and georeferencing of aerial image sets
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
Aguiar et al. Monocular visual odometry using fisheye lens cameras
Porzi et al. An automatic image-to-DEM alignment approach for annotating mountains pictures on a smartphone
CN113610952A (zh) 一种三维场景重建方法、装置、电子设备和存储介质
CA3142001A1 (en) Spherical image based registration and self-localization for onsite and offsite viewing
CN109269477A (zh) 一种视觉定位方法、装置、设备和存储介质
Gao et al. RTAL: An edge computing method for real-time rice lodging assessment
Shahbazi Professional drone mapping
Christie et al. ROS integrated object detection for SLAM in unknown, low-visibility environments
CN116363185B (zh) 地理配准方法、装置、电子设备和可读存储介质
Jiang et al. 3D Reconstruction of Spherical Images based on Incremental Structure from Motion
CN113379591B (zh) 速度确定方法、速度确定装置、电子设备及存储介质
US11776148B1 (en) Multi-view height estimation from satellite images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant