CN108234929A - 无人机中的图像处理方法和设备 - Google Patents

Abstract

公开了一种无人机中的图像处理方法和设备。该无人机中的图像处理设备，包括：数据接收模块，被配置为：接收由VR眼镜中的传感器获取的用户的头部朝向参数；并且接收由全景摄像机拍摄的全景图像；数据处理模块，被配置为：根据头部朝向参数和全景图像截取对应于当前视角的局部图像；并且将全景图像转换为低分辨率的全景图像；以及数据发送模块，被配置为用间隔帧的方式发送局部图像和低分辨率的全景图像。

Description

无人机中的图像处理方法和设备

技术领域

本发明涉及无人机技术领域，更具体地涉及一种无人机中的图像处理方法和设备。

背景技术

目前虚拟现实技术正在高速发展中，VR眼镜带来了全新的视觉体验方式。将VR眼镜与无人机相结合的应用已经初现端倪。通常，无人机可以搭载摄像机，并且将摄像机拍摄的画面传送给VR眼镜，用户可以通过VR眼镜来体验第一人称视角的虚拟飞行。

传统地，无人机可以包括飞行控制系统、全景摄像机系统、和通信系统，其中飞行控制系统可以控制无人机的起飞、空中巡航、和降落，全景摄像机系统可以拍摄到全景图像，通信系统可以接收用户的指令并且将拍摄到的全景图像发送至用户。但是，由于无人机自身功率和通信带宽的限制，搭载在无人机上的全景摄像机拍摄到的画面可能无法进行实时传输或只能传输较低分辨率的画面。

发明内容

本发明提供了一种无人机中的图像处理方法和设备。

根据本公开的一个方面，提供了一种无人机中的图像处理设备，包括：数据接收模块，被配置为：接收由VR眼镜中的传感器获取的用户的头部朝向参数；并且接收由全景摄像机拍摄的全景图像；数据处理模块，被配置为：根据头部朝向参数和全景图像截取对应于当前视角的局部图像；并且将全景图像转换为低分辨率的全景图像；以及数据发送模块，被配置为用间隔帧的方式发送局部图像和低分辨率的全景图像。

在本公开的一个方面的第一种可能的实现方式中，数据处理模块还被配置为：根据头部朝向参数在全景图像上选取相应的视线中心点；以及以该视线中心点为中心截取局部图像。

在本公开的一个方面的第二种可能的实现方式中，间隔帧是第一帧为低分辨率的全景图像并且第二帧为局部图像，其中低分辨率的全景图像帧和局部图像帧分别带有各自的标签并且被循环发送。

在本公开的一个方面的第三种可能的实现方式中，所述头部朝向参数包括欧拉角数据或四元数数据。

在本公开的一个方面的第四种可能的实现方式中，所述局部图像包括矩形图像、圆形图像、和正方形图像。

根据本公开的另一方面，提供了一种无人机中的图像处理方法，包括：接收由VR眼镜中的传感器获取的用户的头部朝向参数；接收由全景摄像机拍摄的全景图像；根据头部朝向参数和全景图像截取对应于当前视角的局部图像；将全景图像转换为低分辨率的全景图像；以及采用间隔帧的方式发送局部图像和低分辨率的全景图像。

在本公开的另一个方面的第一种可能的实现方式中，根据头部朝向参数和全景图像截取对应于当前视角的局部图像还包括：根据头部朝向参数在全景图像上选取相应的视线中心点；以及以该视线中心点为中心截取局部图像。

在本公开的另一个方面的第二种可能的实现方式中，间隔帧是第一帧为低分辨率的全景图像并且第二帧为局部图像，其中低分辨率的全景图像帧和局部图像帧分别带有各自的标签并且被循环发送。

在本公开的另一个方面的第三种可能的实现方式中，所述头部朝向参数包括欧拉角数据或四元数数据。

根据本公开的又一方面，提供了一种无人机中的图像处理设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：接收由VR眼镜中的传感器获取的用户的头部朝向参数；接收由全景摄像机拍摄的全景图像；根据头部朝向参数和全景图像截取对应于当前视角的局部图像；将全景图像转换为低分辨率的全景图像；以及采用间隔帧的方式发送局部图像和低分辨率的全景图像。

本公开利用无人机上的图像处理设备，通过结合VR眼镜的传感器采集到的用户的头部朝向参数，对全景摄像机拍摄到的全景图像进行处理，得到对应于用户的当前视角的局部图像，并且将全景图像转换为低分辨率的全景图像，最后利用间隔帧的方式循环发送局部图像和低分辨率的全景图像，能够在无人机有限的功率和有限的通信带宽的情况下，用搭载有全景摄像机的无人机和VR眼镜实现高清第一人称视角的虚拟飞行。

附图说明

从下面结合附图对本发明的具体实施方式的描述中，可以更好地理解本发明，其中：

图1是示出根据本发明实施例的应用场景；

图2是示出根据本发明实施例的无人机中的图像处理方法的流程图；

图3是示出根据本发明实施例的无人机中的图像处理设备的框图；

图4是示出根据本发明实施例的示出能够实现根据本发明实施例的无人机中的图像处理方法的计算设备的示例性硬件架构的结构图。

具体实施方式

下面将详细描述本公开各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置，而是在不脱离本发明的精神的前提下覆盖了相关元素或部件的任何修改、替换和改进。

图1是示出根据本发明实施例的应用场景的示意图。如图1所示，用户可以佩戴VR眼镜体验高清第一人称视角虚拟飞行。通常，用户可以利用遥控器(未示出)通过无人机的通信系统与无人机进行通信，并且控制无人机的飞行控制系统，这样无人机可以被用户操控，并且根据用户的指令进行起飞、巡航、和降落。无人机的全景摄像机系统拍摄到的全景图像可以通过无人机的通信系统被发送至用户佩戴的VR眼镜，从而使得用户可以以第一人称视角的方式来体验虚拟飞行。

本公开提供了一种无人机上的图像处理方法和设备，通过结合VR眼镜的传感器采集到的用户的头部朝向参数，对全景摄像机拍摄到的全景图像进行处理，得到对应于用户的当前视角的局部图像，并且将全景图像转换为低分辨率的全景图像，最后利用间隔帧的方式循环发送局部图像和低分辨率的全景图像，能够在无人机有限的功率和有限的通信带宽的情况下，用搭载有全景摄像机的无人机和VR眼镜实现高清第一人称视角的虚拟飞行。下面结合附图，详细描述根据本发明实施例的无人机上的图像处理方法和设备。

图2是示出根据本发明实施例的无人机中的图像处理方法200的流程图。如图2所示，在步骤201中，接收由VR眼镜中的传感器获取的用户的头部朝向参数。在一个实施例中，VR眼镜中的传感器可以采集用户的头部朝向参数，例如，VR眼镜中的九轴运动传感器可以采集头部运动的方向数据，并且可以计算得出头部朝向的欧拉角数据或四元数数据。然后，可以通过无人机的通信系统接收头部朝向参数。

在步骤202中，接收由全景摄像机拍摄的全景图像。在一个实施例中，全景摄像机可以是各种类型的全景摄像机，例如具有两个鱼眼镜头的全景摄像机、具有六个普通摄像头的全景摄像机、或任意其他可以拍摄全景图像的全景摄像机。

在步骤203中，根据头部朝向参数和全景图像截取对应于当前视角的局部图像。在一个实施例中，可以根据头部朝向参数(例如，欧拉角数据)在全景图像上选取相应的视线中心点，例如，用户当前正在看向的方向相对于全景图像的视线中心点。然后，可以以视线中心点为中心截取出局部图像，例如，局部图像可以是矩形图像、圆形图像、或VR眼镜可以显示的任意其他形状的图像。

在步骤204中，将全景图像转换为低分辨率的全景图像。在一个实施例中，全景摄像机所拍摄到的一帧全景图像可以是由多个相机拍摄到的图像拼接而成的，其分辨率大于一般相机拍摄的图像。例如，在通常情况下，无人机实时传输的图像大小为1280*720(即720p的视频图像，通过无线网5.8G信道传输)，而全景摄像机拍摄的全景图像的大小远大于1280*720。在一个实施例中，因为全景图像大于无人机可以传输的图像，所以将全景图像转换为低分辨率的全景图像，例如对全景图像进行压缩。

在步骤205中，采用间隔帧的方式发送局部图像和低分辨率的全景图像。在一个实施例中，间隔帧可以是在进行图像传输时，第一帧发送局部图像帧，第二帧发送低分辨率的全景图像帧，第一帧和第二帧分别带有各自的标签，例如标签可以显示当前帧是局部图像还是低分辨率的全景图像。在传输时，局部图像帧和低分辨率的全景图像帧被循环发送。

在一个实施例中，VR眼镜可以接收采用间隔帧的方式发送的局部图像和低分辨率的全景图像。VR眼镜然后可以显示低分辨率的全景图像，并且可以显示高清的局部图像，这样可以实现高清的第一人称视角虚拟飞行。

上面结合图2详细描述了根据本发明实施例的无人机中的图像处理方法，下面将结合图3详细描述能够实现图2所示的无人机中的图像处理方法的根据本发明实施例的无人机中的图像处理设备。

图3是示出根据本发明实施例的无人机中的图像处理设备300的框图。如图3所示，无人机中的图像处理设备300可以包括数据接收模块301、数据处理模块302、和数据发送模块303。

数据接收模块301可以被配置为接收由VR眼镜中的传感器获取的用户的头部朝向参数。在一个实施例中，VR眼镜中的传感器可以采集用户的头部朝向参数，例如，VR眼镜中的九轴运动传感器可以采集头部运动的方向数据，并且可以计算得出头部朝向的欧拉角数据或四元数数据。数据接收模块301可以通过无人机的通信系统接收头部朝向参数。

数据接收模块301还可以被配置为接收由全景摄像机拍摄的全景图像。在一个实施例中，全景摄像机可以是各种类型的全景摄像机，例如具有两个鱼眼镜头的全景摄像机、具有六个普通摄像头的全景摄像机、或任意其他可以拍摄全景图像的全景摄像机。

数据处理模块302可以被配置为根据头部朝向参数和全景图像截取对应于当前视角的局部图像。在一个实施例中，数据处理模块302可以根据头部朝向参数(例如，欧拉角数据)在全景图像上选取相应的视线中心点，例如，用户的当前正在看向的方向相对于全景图像的视线中心点。数据处理模块302然后可以以视线中心点为中心截取出局部图像，例如，局部图像可以是矩形图像、圆形图像、或VR眼镜可以显示的任意其他形状的图像。

数据处理模块302还可以被配置为将全景图像转换为低分辨率的全景图像。在一个实施例中，全景摄像机所拍摄到的一帧全景图像可以是由多个相机拍摄到的图像拼接而成的，其分辨率大于一般相机拍摄的图像。例如，在通常情况下，无人机实时传输的图像大小为1280*720(即720p的视频图像，通过无线网5.8G信道传输)，而全景摄像机拍摄的全景图像的大小远大于1280*720。在一个实施例中，全景图像大于无人机可以传输的图像，数据处理模块302将全景图像转换为低分辨率的全景图像，例如对全景图像进行压缩。

数据发送模块303可以被配置为采用间隔帧的方式发送局部图像和低分辨率的全景图像。在一个实施例中，间隔帧可以是在进行图像传输时，第一帧发送局部图像帧，第二帧发送低分辨率的全景图像帧，第一帧和第二帧分别带有各自的标签，例如标签可以显示当前帧是局部图像还是低分辨率的全景图像。在传输时，局部图像帧和低分辨率的全景图像帧被循环发送。

在一个实施例中，VR眼镜可以接收采用间隔帧的方式发送的局部图像和低分辨率的全景图像。VR眼镜然后可以显示低分辨率的全景图像，并且可以显示高清的局部图像，这样可以实现高清的第一人称视角虚拟飞行。

应理解，上述实施例提供的无人机中的图像处理设备在实现无人机中的图像处理方法时，仅以上述各个功能单元的划分进行举例说明，实际应用中，可以根据实际需要而将上述功能分配由不同的功能单元完成，即将系统的内容结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，关于上述实施例中的系统，其中各个单元执行操作的其他细节已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是示出根据本发明实施例的示出能够实现根据本发明实施例的无人机中的图像处理方法的计算设备的示例性硬件架构的结构图。如图4所示，计算设备400包括输入设备401、输入接口402、中央处理器403、存储器404、输出接口405、以及输出设备406。其中，输入接口402、中央处理器403、存储器404、以及输出接口405通过总线410相互连接，输入设备401和输出设备406分别通过输入接口402和输出接口405与总线410连接，进而与计算设备400的其他组件连接。具体地，输入设备401接收来自外部的输入信息，并通过输入接口402将输入信息传送到中央处理器403；中央处理器403基于存储器404中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器404中，然后通过输出接口405将输出信息传送到输出设备406；输出设备406将输出信息输出到计算设备400的外部供用户使用。

图2所示的无人机中的图像处理方法200也可以在无人机的图像处理设备中被实现。该无人机的图像处理设备可以包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图2描述的无人机中的图像处理方法200。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

本发明可以以其他的具体形式实现，而不脱离其精神和本质特征。例如，特定实施例中所描述的算法可以被修改，而系统体系结构并不脱离本发明的基本精神。因此，当前的实施例在所有方面都被看作是示例性的而非限定性的，本发明的范围由所附权利要求而非上述描述定义，并且，落入权利要求的含义和等同物的范围内的全部改变从而都被包括在本发明的范围之中。

Claims (10)

1.一种无人机中的图像处理设备，其特征在于，所述图像处理设备包括：

数据接收模块，被配置为：

接收由VR眼镜中的传感器获取的用户的头部朝向参数；并且

接收由全景摄像机拍摄的全景图像；

数据处理模块，被配置为：

根据所述头部朝向参数和所述全景图像截取对应于当前视角的局部图像；并且

将所述全景图像转换为低分辨率的全景图像；以及

数据发送模块，被配置为用间隔帧的方式发送所述局部图像和所述低分辨率的全景图像。

2.如权利要求1所述的图像处理设备，其特征在于，所述数据处理模块还被配置为：

根据所述头部朝向参数在所述全景图像上选取相应的视线中心点；以及

以该视线中心点为中心截取所述局部图像。

3.如权利要求1所述的图像处理设备，其特征在于，所述间隔帧是第一帧为低分辨率的全景图像并且第二帧为局部图像，其中低分辨率的全景图像帧和局部图像帧分别带有各自的标签并且被循环发送。

4.如权利要求1所述的图像处理设备，其特征在于，所述头部朝向参数包括欧拉角数据或四元数数据。

5.如权利要求1所述的图像处理设备，其特征在于，所述局部图像包括矩形图像、圆形图像、和正方形图像。

6.一种无人机中的图像处理方法，其特征在于，所述方法包括：

接收由VR眼镜中的传感器获取的用户的头部朝向参数；

接收由全景摄像机拍摄的全景图像；

根据所述头部朝向参数和所述全景图像截取对应于当前视角的局部图像；

将所述全景图像转换为低分辨率的全景图像；以及

采用间隔帧的方式发送所述局部图像和所述低分辨率的全景图像。

7.如权利要求6所述的图像处理方法，其特征在于，所述根据所述头部朝向参数和所述全景图像截取对应于当前视角的局部图像还包括：

根据所述头部朝向参数在所述全景图像上选取相应的视线中心点；以及

以该视线中心点为中心截取所述局部图像。

8.如权利要求6所述的图像处理方法，其特征在于，所述间隔帧是第一帧为低分辨率的全景图像并且第二帧为局部图像，其中低分辨率的全景图像帧和局部图像帧分别带有各自的标签并且被循环发送。

9.如权利要求6所述的图像处理方法，其特征在于，所述头部朝向参数包括欧拉角数据或四元数数据。

10.一种无人机中的图像处理设备，其特征在于，所述图像处理设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为：

接收由VR眼镜中的传感器获取的用户的头部朝向参数；

接收由全景摄像机拍摄的全景图像；

根据所述头部朝向参数和所述全景图像截取对应于当前视角的局部图像；

将所述全景图像转换为低分辨率的全景图像；以及

采用间隔帧的方式发送所述局部图像和所述低分辨率的全景图像。