CN105763790A - 用于以沉浸模式来驾驶无人机的视频系统 - Google Patents

Abstract

用于以沉浸模式来驾驶无人机的视频系统。本系统包括无人机和远程站，远程站具有渲染从无人机传送的图像的虚拟现实眼镜，并具有用于检测用户头部的定向变化的装置。无人机生成“视点”图像(P’1)和视野较宽、清晰度较低的“鸟眼”图像(P’2)。当响应于用户头部的位置变化来修改“视点”图像的视轴时，站在用户头部移动期间在本地生成当前“视点”及“鸟眼”图像的组合，其中轮廓(CO’)根据检测装置检测到的位置变化而进行了调整。

Description

用于以沉浸模式来驾驶无人机的视频系统

技术领域

本发明涉及远程控制的机动设备，下文一般称作“无人机”。

背景技术

它们可以是飞行的无人机，尤其是旋转翼无人机，例如直升机、四螺旋桨直升机等。但是，本发明不限于驾驶飞行设备并与其交换数据；它还应用于在远程用户的控制下在地面上前进的滚动设备，必须按其最广含义来理解术语“无人机”。

飞行无人机的典型示例是法国巴黎的ParrotSA的AR.Drone2.0或Bebop，其为配有一系列传感器(加速度计、3轴陀螺测试仪、高度计)、捕捉无人机所面向的场景的图像的前向相机以及捕捉飞过地面的图像的俯视相机的四螺旋桨直升机。

文献WO2010/061099A2和EP2364757A1(ParrotSA)描述了此类无人机及其通过具有集成加速度计的触摸屏设备(例如Iphone型智能电话或iPad型平板(注册商标))的驾驶原理。这些设备包括检测驾驶命令和经Wi-Fi(IEEE802.11)或蓝牙局域网型无线链路与无人机双向交换数据所需的各种控制部件。它们进一步提供有显示无人机的前向相机捕捉的图像(叠加了允许通过用户手指在这一触摸屏上的简单接触来激活发命令的一定数量的符号)的触摸屏。

无人机的前向摄像机尤其能够用于“沉浸模式”或FPV(第一人称视角)驾驶，即用户以仿佛本人就在无人机上的相同方式使用相机的图像。它还可以用于捕捉无人机所面向的场景的图像序列。该用户因此能够以相机或摄录像机由无人机承载而非手持的相同方式使用无人机。收集的图像能够被记录、广播、在线放上网站、发送给其他互联网用户、在社交网络上共享等。

为了正确拍摄飞行，首先必须拥有可定向且稳定的相机。为此，相机可以安装在万向节系统上，或可以提供电子图像稳定化。

然而，对于这类FPV驾驶，从无人机的拍摄相机获取的经稳定的图像返回并不理想。具体而言，图像稳定化导致以下事实：它不再向驾驶员反映例如飞行器姿态等必要信息。更具体而言，在诸如四螺旋桨直升机等无人机悬停的情况下，拍摄相机的常规图像返回不令人感兴趣。的确，利用此类无人机，搜索以处理最可能的障碍，例如在桥墩之间飞行时拍摄一个点。

因此，驾驶员能够在此情况下在使用图像稳定相机拍摄期间左“看”和右“看”是合乎需要的。

在常规的FPV设备中，一副虚拟现实眼镜配有陀螺仪和加速度计，以将用户头部的位移纳入考虑。常规操作原理包括以下步骤：

a)测量飞行员头部的移动；

b)将飞行员头部的新位置发送给无人机；

c)根据飞行员头部的新位置来移动无人机相机的视点；

d)获取图像；

e)在相机具有例如鱼眼型透镜等非常变形的光学系统的情况下重新处理图像；

f)编码视频图像；

g)将无人机的视频图像传送给地面站；

h)在地面站中解码视频图像；

i)在地面站中，为各眼投影回视频图像。

具体而言，在EP2557468A2中描述了基于一副虚拟现实FPV眼镜上安装的传感器的此类相机定向控制技术。

上面提到的各步骤中的每一步骤花费一定的时间，且甚至使用现有的电子设备，也很难在不到200ms(即对于30图像/秒的帧率而言是6个图像)内执行这组步骤，主要是因为步骤b)和g)的数据传输时间。这一等待时间导致缺少飞行员的头部移动与虚拟现实眼镜中显示的图像之间的相关，这通常导致用户恶心。

避免这一问题的解决方案可能在于在无人机上360°捕捉图像，并将它直接传送给地面站。那样，就不再需要上述步骤b)、c)和g)。

然而，从无人机传送场景的在360°上具有所需清晰度的完整图像给地面站需要大量带宽，这不兼容无人机和地面站间的传输信道的相对有限的工作数据速率。

发明内容

本发明的一个目标是提出一种拍摄系统，该拍摄系统通过降低用户头部(有时是突然的)移动时观测到的等待时间来允许显著改进使用虚拟现实眼镜在FPV模式中驾驶无人机的体验。

为此，本发明提出了一种用于沉浸式地驾驶无人机的系统，包括，以本质上(具体而言，从上面提及的EP2557468A2)已知的方式，具有拍摄装置的无人机，以及地面站，包括：渲染经拍摄装置捕捉并通过无线通信装置从无人机传送的图像的虚拟现实眼镜；用于检测佩戴眼镜的用户的头部的定向变化的装置；以及适配成生成所渲染的图像的地面图形处理装置。

该系统还包括用于在无人机上生成称作“视点”图像的第一图像并将该第一图像传送给地面图形处理装置的装置；无人机中提供的响应于检测装置检测到的并经由无线通信装置传送给无人机的用户头部位置变化来修改“视点”图像的视轴的装置。

本发明的特征在于，该系统进一步包括用于在无人机上生成称作“鸟眼”图像的第二图像并将该第二图像传送给地面图形处理装置的装置，该“鸟眼”图像的视野宽于“视点”图像的视野且其角清晰度低于“视点”图像的角清晰度。此外，地面图形处理装置被适配成在用户头部移动期间，通过地面站中存在的当前“视点”及“鸟眼”图像的组合在本地生成要渲染的图像，其中轮廓根据检测装置检测到的位置变化来调整。

将注意，具体地，这两个“视点”及“鸟眼”图像可以是不同的图像，但也可等效地合并为单个且相同的全局图像，该全局图像在“视点”区域(它等同于“视点”图像)内的角分辨率高于全局图像的其余部分(它等同于“鸟眼”图像)。

该系统还可选地包括以下有利特性，这些特性被单独考虑或根据本领域技术人员知晓技术上兼容的任意组合：

-地面图形处理装置被适配成执行当前“视点”图像到当前“鸟眼”图像中的镶嵌，并将可变裁剪操作应用于如此获得的图像；

-拍摄装置包括具有不同视轴的一组宽视野拍摄相机；

-拍摄装置包括具有用于“视点”图像和“鸟眼”图像的不同清晰度的相机；

-拍摄装置包括全部具有相同清晰度的共同一组相机，和用于根据该共同一组相机生成不同清晰度的图像的电路；

-该系统包括互补视野的一组相机，它们一起覆盖了水平面内的所有方向；

-该系统包括其视轴根据无人机的主轴来布置的第一相机，和较低清晰度的其视轴相对主轴分别向左和向右来定向的两个相机；

-两个较低清晰度相机具有互补视野，它们一起覆盖了水平面内的所有方向；

-至少某些相机具有鱼眼型光学系统，以及提供了用于校正此类型光学系统生成的失真的装置。

附图说明

现在将参考附图描述本发明实施方式的示例，全部附图中相同标记指示相同或功能相似的元素。

图1示意性示出了能被用于本发明系统中的三个拍摄相机的布置。

图2示出了对于每一相机，其被有效利用的传感器的区域，。

图3示意性示出了图1和2的相机组传送的两类图像；

图4示意性示出了在本示例中，当检测到FPV眼镜佩带者向左转头时，两个图像的各部分的组合。

图5A和5B示出了当检测到快速向左转头时，图像的各部分的两种组合。

图6A至6C显示了真实图像，且至于图6B和6C，显示了针对用户头部的两个不同位置根据图4原理进行的两种图像组合。

图7是无人机上电子电路中实现的不同功能的框图。

图8是与眼镜相关联的地面电子电路中实现的不同功能的框图。

图9A至9C示意性示出了能够用于本发明系统中的相机的其它布置。

具体实施方式

根据本发明的一种“沉浸模式”或“FPV”拍摄系统包括配备有一组拍摄相机的无人机以及地面装备，该地面装备通过适当范围的无线链路与无人机通信并包括虚拟现实眼镜，该虚拟现实眼镜具有用于以可能的最现实的方式在用户眼睛前方渲染图像以使他感觉在无人机上飞行的装置。

装备无人机的相机是宽视野的相机，例如具有鱼眼型光学系统的相机，即具有覆盖约180°视野的半球视野透镜。

在本发明的第一实施例中，并参考图1，无人机10具有三个拍摄相机110、121和122。

第一相机(即主相机)110具有鱼眼型透镜，其视轴A19面向前方。它具有带大量像素的大传感器，对于当前技术而言通常从8至20兆像素。

如图2所示，主相机110的鱼眼型透镜为主相机生成圆形轮廓的图像IM10，其极限圆优选地相对于传感器C10的矩形限制横向突出，从而有利于曝光的像素数量、优化传感器表面的占用率(一般为4/3比例)、并有利于自上而下方向的拍摄。

无人机进一步具有两个辅助相机121、122，在本示例中辅助相机121、122指向图1所示无人机的两侧，具有共线且相对的视角A21、A22。这些相机也配备了鱼眼透镜，但具有较小尺寸的传感器C21、C22，也具有较小透镜。对于这些相机，也如图2所示，图像圆IM21、IM22分别整体包含在传感器C21、C22的范围中。典型地，用于传感器C21、C22的传感器是具有当前技术3兆像素级的清晰度、用于全高清(全HD)相机的类型的传感器。在当前示例中，相应鱼眼透镜有效地照亮约1.8兆像素。

如下文将看到的，两个辅助传感器可以具有任何定方，只要其相应视轴基本上彼此相对，具体而言，一个目标是各自覆盖约半球的两个图像之间的接合点位于对视线和/或对要执行的处理操作而言较不麻烦的地方。此外，可以规定不覆盖位置接近垂直向上的角区域，其用处较少。例如，可以忽略图像的高于向上70°的部分。

从这组相机，无人机的电子电路将两个图像传送给地面站，旨在如一副虚拟现实眼镜的目镜显示器的组合渲染所看见的那样被处理。

第一图像P1，称作“视点”图像，由相机110捕捉，反映了无人机的虚拟驾驶员的视点，而第二图像P2，称作“鸟眼”图像，由机载电子电路组合，它来自两个横向相机121和122。第一图像是对应于有限视野的全清图像，而第二图像是水平360°且垂直360°或略少的视野的较低分辨率图像。

将注意，三个相机的焦距全都相同，使得能够无异常地执行它们之间的两个图像的叠加。

图3通过图像P1和P2的大小反映了链接到这些图像的每像素角分辨率的大小，图像P1在带宽方面大于图像P2，因此用较小的大小表示。

将注意，在VGA图像(640x480)被用于约90°x90°视野的“视点”区域，且另一VGA图像用于(360°x360°视野)的其余视野的情况下，本发明可能是有利的。

现在将描述在根据本发明的系统中实现以在虚拟现实眼镜中获取反映FPV型体验的图像的不同步骤。

“视点”图像P1的生成与传输

这一步骤实现以下操作：

1)装备眼镜的传感器(加速度计或其它)测量用户头部的移动；

2)将用户头部位置的信息经无线通信信道从地面站的电路周期性地发送到无人机的电路，速率通常对应于要渲染图像的速率，例如至少每秒30次；

3)在无人机上，根据接收到的头部位置信息来定义“视点”图像的新视轴；

4)根据这一视轴来裁剪相机捕捉的各图像以生成图像P1；

5)在无人机的电路中，如有必要，重新处理此图像以补偿鱼眼透镜引起的失真(此处理本身是已知的且将不会详细描述)；

6)使用合适的算法来编码如此重新处理的图像，优选地使用压缩；

7)经无线通信信道将经压缩的图像传送给地面站。

例如以每秒30幅图像的速率重复这些操作，每次更新相机110的视轴A10和对应的裁剪。

在此将注意，作为变体，可以提供响应于致动器来移动的相机110，以响应于头部位置信息调整其物理视轴。

根据另一变体，视点图像可以按与“鸟眼”图像相同的方式通过合并由两个或数个不同地定向的相机捕捉的图像来被生成。

“鸟眼”图像P2的生成及传输

这一步骤实现以下操作：

1)通过两个横向相机121和122获取两个图像；

2)机载电子电路将这两个图像组合成单个图像；

3)使用合适的算法来编码如此组合的图像，优选地使用压缩；

4)经无线通信信道将经压缩的图像传送给地面站。

地面站中的图像处理

只要用户不移动其头部，地面站就以高分辨率在眼镜中显示从无人机流传输出的“视点”图像P1。在此每秒30幅图像的帧率是可能的，因为无需对相机110捕捉的图像进行裁剪处理。

但是当用户转动其头部时，“视点”图像的生成及传输的上述过程的全部步骤需要处理时间，如上解释的，该处理时间由于要为每一单独的图像执行的、图像P1的裁剪操作而不兼容搜索的帧率。

根据本发明，出于过渡需求(即，直至用户头部再次固定)，地面站的电子电路根据地面站中此时可获得的最新鲜的图像P1和P2和虚拟现实眼镜的坐标来构建过渡图像。这些过渡图像是通过上文刚看到的组合及裁剪操作根据地面站和眼镜侧上完全可用的数据来创建的。给定无需经通信信道传输且仅必须执行显示的裁剪与刷新，则这一操作的等待时间可能极低。

将理解，来自横向相机121、122的宽视野图像P2可能简单地在地面裁剪并渲染以确保搜索的过渡。但这一图像P2具有比通常用相机110生成的“视点”图像更低的清晰度，且这一解决方案将导致在对过渡进行渲染时整个图像的分辨率的骤降。

为了避免这一现象，使用装备地面站的图形处理器执行图像的组合。

因此，图4示出了对应于用户向左转头部这一情况的图像的组合。在此示例中，一方面通过组合“视点”图像P1的通过消除位于右侧的边缘部分而获取的部分P’1(其宽度大于用户头部的转动角度)且另一方面通过在如此缩减的图像P’1的左侧边缘上使用“鸟眼”图像的与这一区域相对应的部分P’完成如此缩减的图像P’1，来获取要渲染的图像。

因此，通过简单的裁剪及并置操作执行各图像的各部分的组合，通过构建，头部横向转动的角幅度是已知的，图像P1的参考系统与图像P2的参考系统之间的对应关系也是已知的。

因此，渲染给用户的图像的最大部分维持高清晰度，且仅有图像的边缘部分清晰度较低，并且仅是暂时的(只要用户头部的定向不稳定)。

将注意，执行这些裁剪/并置操作的速率可与接收到高清晰度“视点”图像的速率(对于当前技术通常是每秒30幅图像)不相关，且更高。具体而言，虚拟现实眼镜能够以每秒75幅图像或更高的速率执行渲染，上面提到的裁剪/并置操作在图形处理器负载方面足够轻，这一速率是可达到的。

整个过渡周期期间，可以根据用户头部当前位置来执行并置图像的这一生成。因此，图5A和5B示出了地面站分别生成并显示在地面可用的图像P1和P2的部分P’1、P’2与P”1、P”2的两个连贯组合的简化情况，其中因两个时刻之间用户头部继续转动这一事实，部分P”2宽于P’2。现在将参考图6A至6C解释本发明在真实图像上的实现。

图6A的图像对应于将高清晰度“视点”图像镶嵌入同一场景的具有较宽视野和较低清晰度的“鸟眼”图像，其中这两个图像的视轴被归并。这一镶嵌在地面站中执行，且实际上起到了如上所释的图像并置的作用。

只要用户保持头部面向正前方，虚拟现实眼镜中渲染的图像就只有“视点图像”P1，图6B中示出了其轮廓CO。

当用户转动其头部时，在当前实例中向左转，有效地向用户渲染的图像的轮廓(本文表示为CO’)移向左，且将理解，渲染给用户的图像实际上对应于图像P1的部分P’1(P’1失去了右侧的具有确定宽度的带)与图像P2的位置紧邻图像P1左侧的部分P’2(图6B中以虚线指示图像这两个部分的边界)的组合。

当然，图像左部的清晰度不太高，但它的优点是可立即用于组合到截断的图像P1，然后显示。它造成不可察觉的等待时间和对用户而言完全正确的图像质量。

当然，头部转动信息发送给无人机的电子电路，以相应地调整相机110的视轴A10，并将相机110生成的新视图渲染给地面站，该视图接着将在眼镜中渲染，只要用户头部的移动将够慢以允许大致流畅度(gooffluidity)而不必执行所描述的裁剪/组合处理操作。

图7示出了本发明在无人机100侧上的实现的可能性的框图。

首先，要注意，同一相机能够参与“视点”图像的生成和“鸟眼”图像的生成两者，而不是为“视点”和“鸟眼”功能提供各专用相机。

在此情况下，相机100，在迄今描述的之前实施例中是唯一性的，可被替换为一组相机。因此，图7示意性示出了n个相机110-1至110-n。这些相机的输出一方面连接到用于生成“视点”图像的电路130，另一方面连接到用于生成“鸟眼”图像的电路140。相对电路130，电路140仅仅考虑部分像素以与电路130相比生成分辨率较低的图像。

用于与地面站进行无线通信的电路在其接收部151接收用户头部的(绝对或相对)位置信息，并将这一信息应用于“视点”图像生成电路以(在本文中通过组合图像(其视野宽于实际渲染的视野)的数字处理)调整要渲染的图像P1的视轴。

来自电路130和140的图像由无线通信电路的发射部152发送到地面站。

将注意，为了实现本发明，这些图像可以分开地或以组合的方式来发送。

图8示意性示出了地面站200中提供的用以实现本发明的各元素。无线通信电路的接收部251从无人机接收图像P1和P2，图像P1和P2彼此分开或组合在一起。图形处理电路210根据接收的图像生成图6A类型的图像，其中高分辨率的“视点”图像被镶嵌入“鸟眼”图像。

用于获取用户头部转动的设备220，通常配备地面站连接到的虚拟现实眼镜，将这一信息传递给适配成根据从眼镜接收到的位置信息执行裁剪操作的图形处理电路230(在此情形下已经由电路210通过镶嵌进行了并置，如上所释)。

在此将要注意，实践中，电路210和230可以由同一电路构成。

并发地，地面站的无线通信电路的发射部252将用户头部位置信息发送给无人机，以更新“视点”图像P1的视图，如上面所释的。

现在参考图9A至9C，示出了装备无人机的一组相机的其它可能配置。

图9A示意性示出了沿无人机轴对准的“视点”相机110和其视轴不像图1的情况彼此相对而是斜向(前方)左侧和右侧的两个“鸟眼”相机。当然，这限制了可能的视野，尤其是在用户完全将头转向后方的情况下，但这允许获得恒定带宽的更高质量的“鸟眼”图像。

图9B示出仅使用对准左右的两个相机111、112。在此情况下，大部分“视点”图像来自两个相机捕捉的图像的组合。作为变体，可以仅提供分别对准前后的两个相机。

最后，图9C示出了使用具有相同分辨率的三个相机111、112、113，其物理视轴相互隔开120°。优选地，这些相机之一对准前方。

当然，本发明无论如何都不限于所描述和所示出的实施例，且本领域技术人员会知道如何对它们进行许多变化和修改。它适用于各种类型的无人机，用于巡查、休闲或其它目的，无论悬停与否。它还适用于各种类型的虚拟现实眼镜，具有机载或远程电子电路。

Claims (9)

1.一种用于沉浸式驾驶无人机的系统，包括：

——具有拍摄装置(110，121，122)的无人机(100)，以及

——地面站(200)，包括：

·虚拟现实眼镜，所述虚拟现实眼镜渲染经拍摄装置捕捉并通过无线通信装置从所述无人机传送的图像；

·用于检测佩戴所述眼镜的用户的头部的定向变化的装置(220)；以及

·地面图形处理装置(210，230)，适配为生成所述渲染的图像，

——用于在所述无人机上生成称作“视点”图像的第一图像并将该第一图像传送给所述地面图形处理装置的装置(110，121，122，130，140)；以及

——所述无人机中提供的响应于检测装置检测到的并经所述无线通信装置(151，152)传送给所述无人机的用户头部位置的变化来修改所述“视点”图像的视轴的装置(151，130)，

所述系统特征在于它进一步包括：

——用于在所述无人机上生成称作“鸟瞰”图像的第二图像并将该第二图像传送给所述地面图形处理装置的装置(110，121，122，130，140)，所述第二图像的视野宽于所述“视点”图像的视野且其角清晰度低于所述“视点”图像的角清晰度；以及

所述地面图形处理装置(210，230)被适配成在所述用户的头部移动期间，通过组合所述地面站中存在的当前“视点”及“鸟眼”图像(P1，P2)来在本地生成要渲染的图像(P’1-P’2，P”1-P”2)，所述图像的轮廓(CO’)根据检测装置检测到的位置变化进行了调整。

2.如权利要求1的所述系统，其特征在于，所述地面图形处理装置(210，230)被适配成执行将当前“视点”图像(P1)镶嵌入当前“鸟眼”图像(P2)，并将可变裁剪操作应用于如此获得的图像。

3.如权利要求1的所述系统，其特征在于，所述拍摄装置包括具有宽视野和不同视轴的一组相机(110，121，122；110-1-110n；111，112；111-113)。

4.如权利要求3的所述系统，其特征在于，所述拍摄装置包括用于“视点”图像和“鸟眼”图像的清晰度不同的相机(110，121，122)。

5.如权利要求3的所述系统，其特征在于，所述拍摄装置包括全部具有相同清晰度的共同一组相机(110-1-110n)中的相机，以及根据该共同一组相机生成不同清晰度的图像的电路(130，140)。

6.如权利要求3的所述系统，其特征在于，包括视野互补的一组相机(111，112；121-122；111-113)，其互补视野一起覆盖了水平面中的所有方向。

7.如权利要求4的所述系统，其特征在于，包括其视轴根据所述无人机的主轴布置的第一相机(110)，以及视轴相对于所述主轴面向左和面向右的较低清晰度的一组相机(121，122)。

8.如权利要求7的所述系统，其特征在于，所述较低清晰度相机(121，122)具有互补视野，其互补视野一起覆盖了水平面中的所有方向。

9.如权利要求3的所述系统，其特征在于，至少某些相机具有鱼眼型光学系统，且其中提供了用校正此类光学系统产生的失真的装置。