CN105611170A - 一种无人机及其全景拼接方法、装置和系统 - Google Patents

Abstract

一种无人机及其全景拼接方法、装置和系统，其中，所述方法包括：获取用于拼接的若干帧图像；在无人机端基于预设规则对若干帧图像进行全景拼接得到全景图像；将全景图像发送给移动终端。由于在无人机端获取用于拼接的若干帧图像，并基于预设规则对若干帧图像进行全景拼接得到全景图像，从而避免了在对用于拼接的若干帧图像进行编码压缩所引起的图像失真，降低了拼接误差。并且由于在无人机端拼接全景图像，相对于在移动终端拼接全景图像，缩短了从获取图像到拼接图像的响应时间，提高了拼接效率，改善了全景拼接的实时性。

Description

一种无人机及其全景拼接方法、装置和系统

技术领域

本发明涉及无人机视频图像处理领域，具体涉及一种无人机及其全景拼接方法、装置和系统。

背景技术

图像拼接技术发展日趋成熟，图像拼接技术是指将数张图像(可能是不同时间、不同视角或者不同传感器获得的图像)拼成一幅大型的无缝高分辨率图像的技术。图像拼接技术已广泛应用于空间探测、遥感图像、医学图像分析等领域。而随着民用航拍无人机技术的不断发展，无人机的应用范围也在迅速扩展，在广告摄影、交通、灾情检测等领域也有了广泛的应用。将图像拼接技术与航拍无人机相融合，可以为用户提供高空的大视场宽视角的全景图像，克服单一视角信息量小，无法全面观测的问题。

现有技术中，对于无人机航拍领域的全景拼接，通常将飞行控制与图像的拼接处理分开，具体地，无人机航拍获取若干帧图像，并传送到地面的移动终端，由移动终端对接收到的若干帧图像进行拼接。由于无人机在向移动终端传送图像时，需要先对若干帧图像编码压缩，因此，当移动终端解码时，会存在一定的图像失真，并且会造成拼接响应的延迟，从而导致拼接效率差，全景拼接的实时性差；此外，在图像采集的时间点不一致、曝光不理想、明亮度不达标等噪声的影响下，当图像数据传送到移动终端后，移动终端难以对这些噪声进行判断，从而导致拼接误差大，难以保证图像质量。

如何减少全景图像拼接噪声影响导致的误差，提高拼接实时性成为亟待解决的问题。

发明内容

因此，本发明要解决的技术问题在于如何减少全景图像拼接噪声影响导致的误差，提高拼接实时性。

为此，根据第一方面，本发明实施例提供一种无人机全景拼接方法，包括：

获取用于拼接的若干帧图像；在无人机端基于预设规则对若干帧图像进行全景拼接得到全景图像；将全景图像发送给移动终端。

进一步，若干帧图像中，相邻的图像之间至少有部分重合。

进一步，在无人机端基于预设规则对若干帧图像进行全景拼接得到全景图像包括：提取若干帧图像的特征点；配准相邻图像特征点并拼接相邻图像得到相邻图像的拼接图像，以得到全景图像。

进一步，在提取若干帧图像的特征点中，以像素块为单位提取特征点。

进一步，在配准相邻图像特征点并拼接相邻图像得到相邻图像的拼接图像中，根据一帧图像的特征点查找与该帧图像相邻图像中相同的特征点；将该帧图像和/或相邻图像进行几何变换，以使一致性该帧图像和相邻图像具有一致性位置视角；将相邻图像中的相同的特征点拼合至该帧图像的特征点，以得到相邻图像的拼接图像。

进一步，在配准相邻图像特征点并拼接相邻图像得到相邻图像的拼接图像之后，还包括：对拼接图像中的相邻图像拼接区域进行平滑过渡。

进一步，对拼接图像中的相邻图像拼接区域进行平滑过渡包括：对拼接区域的颜色通道基于预设权值进行相加合成。

进一步，在获取用于拼接的若干帧图像之后，还包括：对畸变图像进行畸变校正。

根据第二方面，本发明实施例提供一种无人机全景拼接装置，用于无人机端，包括：

图像获取单元，用于获取用于拼接的若干帧图像；全景拼接单元，用于在无人机端基于预设规则对若干帧图像进行全景拼接得到全景图像；发送单元，用于将全景图像发送给移动终端。

进一步，若干帧图像中，相邻的图像之间至少有部分重合。

进一步，全景拼接单元包括：特征点提取子单元，用于提取若干帧图像的特征点；配准子单元，用于配准相邻图像特征点并拼接相邻图像得到相邻图像的拼接图像，以得到全景图像。

进一步，还包括：校正单元，用于对畸变图像进行畸变校正。

根据第三方面，本发明实施例提供一种无人机全景拼接系统，包括：无人机和移动终端，移动终端用于向无人机发送用于表征获取全景图像的指示信号；无人机用于根据指示信号获取若干帧图像；无人机还用于对若干帧图像进行拼接得到全景图像；无人机还用于将全景图像发送给移动终端。

进一步，无人机在根据指示信号获取若干帧图像时，根据指示信号在预设位置自动旋转并自动连拍得到若干帧图像。

进一步，若干帧图像中，相邻的图像之间至少有部分重合。

根据第四方面，本发明实施例提供一种无人机，包括：

摄像头，用于采集用于拼接的若干帧图像；无人机本体，用于承载摄像头；处理器，用于执行程序实现上述的无人机全景拼接方法。

本发明技术方案，具有如下优点：

本发明提供的无人机全景拼接方法、装置及系统，由于在无人机端获取用于拼接的若干帧图像，并基于预设规则对若干帧图像进行全景拼接得到全景图像，从而避免了在对用于拼接的若干帧图像进行编码压缩所引起的图像失真，降低了拼接误差。并且由于在无人机端拼接全景图像，相对于在移动终端拼接全景图像，缩短了从获取图像到拼接图像的响应时间，提高了拼接效率，改善了全景拼接的实时性。

作为优选的技术方案，由于以像素块为单位提取特征点，相对于以像素点为单位提取特征点，能够提高图像特征提取和配准的效率。

作为优选的技术方案，由于在获取用于拼接的若干帧图像之后，还对畸变图像进行畸变校正，从而进一步提高了图像的成像质量。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种无人机全景拼接系统示意图；

图2为本发明实施例公开的无人机全景拼接系统的一种时序示意图；

图3为本发明本实施例公开的一种无人机全景拼接方法流程图；

图4为本发明本实施例公开的一种无人机全景拼接装置示意图；

图5为本发明本实施例公开的一种无人机示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

请参考图1，为一种无人机全景拼接系统，包括：无人机1和移动终端2，通常，移动终端2用于对无人机1进行飞行控制，以及与无人机1进行数据交互，在具体实施例中，移动终端2可以是手机、平板电脑、个人数字电脑等智能终端。在全景拼接中，一般由无人机1采集若干帧图像，而后传送给移动终端1，由移动终端1解码后进行全景拼接，这导致了拼接失真率高，实时性差。为改善拼接效果，本实施例公开了一种无人机全景拼接系统，请参考图2，为本实施例公开的无人机全景拼接系统的一种时序示意图，该全景拼接系统包括：

步骤S11，移动终端2向无人机1发送用于表征获取全景图像的指示信号。在具体实施例中，移动终端2装载有能够与无人机1进行数据交互的应用软件，通过该应用软件，向无人机1发送指示信号。所称指示信号承载有能够控制无人机1进行拍照获取全景图像的指令信息；当然，指示信号也可以承载控制无人机1运动模式的指令信息。

步骤S21，无人机1根据指示信号获取若干帧图像。在具体实施例中，可以由无人机1内置的摄像头采集获取若干帧图像，也可以在无人机1上外置摄像头采集获取若干帧图像。在本实施例中，获取的若干帧图像为用于拼接全景的图像，优选地，相邻的图像之间至少有部分重合，以便于全景拼接。在优选的实施例中，无人机1在根据指示信号获取若干帧图像时，根据指示信号在预设位置选取不同角度旋转定位，并自动连拍得到若干帧图像，具体地，可以根据经验选取旋转定位的角度，通常，完成旋转定位拍摄得到的图像应能够覆盖360°视角。该预设位置可以是在无人机1中预先设置，也可以通过移动终端2基于指示信号发送给无人机1。通过在预设位置不同角度的旋转，可以获得覆盖360°视角的若干帧图像。

步骤S22，无人机1对若干帧图像进行拼接得到全景图像。在具体实施例中，可以采用现有的全景拼接方案进行拼接，例如采用shif特征点匹配和最优拼接线的RANSAC匹配确定拼接结果；采用匹配相邻两幅图像的Harris角点达到拼接。在优选的实施例中，可以采用ORB特征进行特征点的快速提取与配准，以提高图像拼接的速度，并具有较好的鲁棒性。

步骤S23，无人机1将全景图像发送给移动终端2。在具体实施例中，无人机1可以通过无线网络例如WiFi、蓝牙等方式将全景图像发送给移动终端2。在优选的实施例中，在向移动终端2发送全景图像时，还可以发送同时获取到的与图像数据同步的无人机姿态、高度、速度、相机参数、GPS等参数信息。

为使用户能够更方便快捷地得到理想的拍摄结果，在优选的实施例中，移动终端2在接收到全景图像后，还包括：

步骤22，移动终端2可视化呈现所述全景图像。将拼接好的全尺寸全景图像降采样显示在移动终端2上，为用户提供实时预览的功能，方便用户对取景进行实时的调整和重拍。

为便于本领域技术人员理解，请参考图3，为本实施例公开的一种无人机全景拼接方法流程图，该全景拼接方法包括如下步骤：

步骤S100，获取用于拼接的若干帧图像。在具体实施例中，可以由无人机1内置的摄像头采集获取若干帧图像，也可以在无人机1上外置摄像头采集获取若干帧图像。在优选的实施例中，相邻的图像之间至少有部分重合，以便于全景拼接。在优选的实施例中，无人机1在根据指示信号获取若干帧图像时，根据指示信号在预设位置选取不同角度旋转定位，并自动连拍得到若干帧图像，具体地，可以根据经验选取旋转定位的角度，通常，完成旋转定位拍摄得到的图像应能够覆盖360°视角。该预设位置可以是在无人机1中预先设置，也可以基于从移动终端2接收到的指示信号解析得到。通过在预设位置自动旋转，可以获得覆盖360°视角的若干帧图像。

步骤S200，在无人机端基于预设规则对若干帧图像进行全景拼接得到全景图像。通常，该预设规则可以是现有的全景拼接方案，譬如采用shif特征点匹配和最优拼接线的RANSAC匹配确定拼接结果；采用匹配相邻两幅图像的Harris角点达到拼接。

在优选的实施例中，可以采用ORB特征进行特征点的快速提取与配准，以提高图像拼接的速度，并具有较好的鲁棒性。具体地，分别提取所获取的若干帧图像的特征点，配准相邻图像特征点并拼接相邻图像得到相邻图像的拼接图像，以得到全景图像。在提取若干帧图像的特征点时，可以优选以像素块为单位提取特征点，以提高拼接效率，即以m*n像素点为单位提取特征点，其中m和n均为大于0的正整数，m和n的具体取值可以根据经验确定。需要说明的是，当像素块越大时，特征提取及全景拼接效率越高，当像素块越小时，通常拼接的精度越高些，但不可否认的是，当像素块过小时，难以消除所获取图像中的噪声。作为优选的数值，该像素块可以是5*5。在具体配准相邻图像特征点并拼接相邻图像得到相邻图像的拼接图像时，可以根据一帧图像的特征点查找与该帧图像相邻图像中相同的特征点；将该帧图像和/或相邻图像进行几何变换，以使一致性该帧图像和相邻图像具有一致性位置视角，在得到相同的特征点之后，即可通过直接线性变换得到待配准图像之间的几何变换关系，例如，采用随机抽样一致法(RANSAC)鲁棒地求解单应矩阵，进行参数估计，获取图像的变换模型，实现帧到帧的一致性位置视角的变换关系，由于无人机俯视对地拍摄，可以假设图像之间只有旋转和平移关系而没有尺度变换的关系；将相邻图像中的相同的特征点拼合至该帧图像的特征点，以得到相邻图像的拼接图像。在具体实施例中，相同的特征点可以是像素值相同的特征点。本实施例中，所称具有一致性位置视角是指，在形成全景图像时，各帧图像相对于焦点位置具有相同的视角。需要说明的是，在具体实施时，所称相同应允许一定的误差存在，具体的误差可以根据经验确定，也可以直接在系统中预设该误差。

在优选的实施例中，为使拼接图像能够平滑过渡，提高图像质量，在配准相邻图像特征点并拼接相邻图像得到相邻图像的拼接图像之后，还包括：对拼接图像中的相邻图像拼接区域进行平滑过渡。具体地，可以是对拼接区域的颜色通道基于预设权值进行相加合成。通常，拼接图像有一定的重叠区域(即拼接区域)，在拼接区域两幅拼接图像具有不同的像素表达。为了使得拼接区域平滑过渡，提高图像质量，将图像重叠区域的红、绿、蓝三个通道按照一定的权值相加合成新的图像，从而融合重构得到拼接重构的平滑无缝的拼接图像。

步骤S300，将全景图像发送给移动终端。在具体实施例中，可以通过无线网络例如WiFi、蓝牙等方式将全景图像发送给移动终端2。在优选的实施例中，在向移动终端2发送全景图像时，还可以发送同时获取到的与图像数据同步的无人机姿态、高度、速度、相机参数、GPS等参数信息。

航拍镜头一般为定焦广角镜头，通常全景定焦广角摄像头采集获取的图像会存在畸变变形，因此，为了消除图像的畸变变形，在优选的实施例中，在执行步骤S100之后，还可以进一步包括如下步骤：

步骤S400，对畸变图像进行畸变校正。本实施例中，可以采用现有的图像校正方法进行畸变校正，具体地，可参见鱼眼图像的校正方案。需要说明的是，由于通常畸变发生在图像的四周，因此，在优选的实施例中，可以对图像四周的畸变进行针对性处理，不仅使得得到的全景图像质量更高，更真实，而且也提高了校正效率。

需要说明的是，本实施例并不限制步骤S200和步骤S400之间的执行先后顺序，当先执行步骤S200时，在优选的实施例中，则可以对全景图像的全景拼接处进行针对校正。

本实施例还公开了一种无人机全景拼接装置，请参考图4，该无人机全景拼接装置包括：图像获取单元100、全景拼接单元200和发送单元300，其中，

图像获取单元100用于获取用于拼接的若干帧图像；全景拼接单元200用于在无人机端基于预设规则对若干帧图像进行全景拼接得到全景图像；发送单元300用于将全景图像发送给移动终端。

在优选的实施例中，若干帧图像中，相邻的图像之间至少有部分重合。

在优选的实施例中，全景拼接单元200包括：特征点提取子单元，用于提取若干帧图像的特征点；配准子单元，用于配准相邻图像特征点并拼接相邻图像得到相邻图像的拼接图像，以得到全景图像。

在优选的实施例中，该无人机全景拼接装置还包括：校正单元，用于对畸变图像进行畸变校正。

本实施例公开的无人机全景拼接方法、装置及系统，由于在无人机端获取用于拼接的若干帧图像，并基于预设规则对若干帧图像进行全景拼接得到全景图像，从而避免了在对用于拼接的若干帧图像进行编码压缩所引起的图像失真，降低了拼接误差。并且由于在无人机端拼接全景图像，相对于在移动终端拼接全景图像，缩短了从获取图像到拼接图像的响应时间，提高了拼接效率，改善了全景拼接的实时性。

在优选的实施例中，由于以像素块为单位提取特征点，相对于以像素点为单位提取特征点，能够提高图像特征提取和配准的效率。

此外，由于在获取用于拼接的若干帧图像之后，还对畸变图像进行畸变校正，从而进一步提高了图像的成像质量。

本实施例还公开了一种无人机，请参考图5，该无人机包括：摄像头11、无人机本体12和处理器(图中未示出)，其中，

摄像头11用于采集用于拼接的若干帧图像，具体地，摄像头11应当能够实现连续拍摄功能，在优选的实施例中，摄像头11优选为广角摄像头。无人机本体12用于承载摄像头11。处理器用于执行程序实现上述的无人机全景拼接方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (16)

1.一种无人机全景拼接方法，其特征在于，包括如下步骤：

获取用于拼接的若干帧图像；

在无人机端基于预设规则对所述若干帧图像进行全景拼接得到全景图像；

将所述全景图像发送给移动终端。

2.如权利要求1所述的无人机全景拼接方法，其特征在于，所述若干帧图像中，相邻的图像之间至少有部分重合。

3.如权利要求1或2所述的无人机全景拼接方法，其特征在于，所述在无人机端基于预设规则对所述若干帧图像进行全景拼接得到全景图像包括：

提取所述若干帧图像的特征点；

配准相邻图像特征点并拼接所述相邻图像得到所述相邻图像的拼接图像，以得到全景图像。

4.如权利要求3所述的无人机全景拼接方法，其特征在于，在所述提取所述若干帧图像的特征点中，以像素块为单位提取所述特征点。

5.如权利要求3或4所述的无人机全景拼接方法，其特征在于，在所述配准相邻图像特征点并拼接所述相邻图像得到所述相邻图像的拼接图像中，

根据一帧图像的特征点查找与该帧图像相邻图像中相同的特征点；

将所述该帧图像和/或所述相邻图像进行几何变换，以使一致性所述该帧图像和所述相邻图像具有一致性位置视角；

将所述相邻图像中的所述相同的特征点拼合至所述该帧图像的所述特征点，以得到所述相邻图像的拼接图像。

6.如权利要求3-5任意一项所述的无人机全景拼接方法，其特征在于，在所述配准相邻图像特征点并拼接所述相邻图像得到所述相邻图像的拼接图像之后，还包括：

对拼接图像中的所述相邻图像拼接区域进行平滑过渡。

7.如权利要求6所述的无人机全景拼接方法，其特征在于，所述对拼接图像中的所述相邻图像拼接区域进行平滑过渡包括：对所述拼接区域的颜色通道基于预设权值进行相加合成。

8.如权利要求1-7任意一项所述的无人机全景拼接方法，其特征在于，在所述获取用于拼接的若干帧图像之后，还包括：

对畸变图像进行畸变校正。

9.一种无人机全景拼接装置，其特征在于，包括：

图像获取单元，用于获取用于拼接的若干帧图像；

全景拼接单元，用于在无人机端基于预设规则对所述若干帧图像进行全景拼接得到全景图像；

发送单元，用于将所述全景图像发送给移动终端。

10.如权利要求9所述的无人机全景拼接装置，其特征在于，所述若干帧图像中，相邻的图像之间至少有部分重合。

11.如权利要求9或10所述的无人机全景拼接装置，其特征在于，所述全景拼接单元包括：

特征点提取子单元，用于提取所述若干帧图像的特征点；

配准子单元，用于配准相邻图像特征点并拼接所述相邻图像得到所述相邻图像的拼接图像，以得到全景图像。

12.如权利要求9-12任意一项所述的无人机全景拼接装置，其特征在于，还包括：

校正单元，用于对畸变图像进行畸变校正。

13.一种无人机全景拼接系统，包括：无人机和移动终端，其特征在于，

所述移动终端用于向所述无人机发送用于表征获取全景图像的指示信号；

所述无人机用于根据所述指示信号获取若干帧图像；

所述无人机还用于对所述若干帧图像进行拼接得到全景图像；

所述无人机还用于将所述全景图像发送给所述移动终端。

14.如权利要求13所述的无人机全景拼接系统，其特征在于，所述无人机在根据所述指示信号获取若干帧图像时，根据所述指示信号在预设位置自动旋转并自动连拍得到所述若干帧图像。

15.如权利要求13或14所述的无人机全景拼接系统，其特征在于，所述若干帧图像中，相邻的图像之间至少有部分重合。

16.一种无人机，其特征在于，包括：

摄像头，用于采集用于拼接的若干帧图像

无人机本体，用于承载所述摄像头；

处理器，用于执行程序实现如权利要求1-8任意一项所述的无人机全景拼接方法。