CN107179774A - 编码和解码无人机的视频的方法以及相关联的设备 - Google Patents

编码和解码无人机的视频的方法以及相关联的设备 Download PDF

Info

Publication number
CN107179774A
CN107179774A CN201710134278.1A CN201710134278A CN107179774A CN 107179774 A CN107179774 A CN 107179774A CN 201710134278 A CN201710134278 A CN 201710134278A CN 107179774 A CN107179774 A CN 107179774A
Authority
CN
China
Prior art keywords
unmanned plane
video
flying quality
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710134278.1A
Other languages
English (en)
Inventor
A·巴雷
J·博瓦德
H·塞杜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot Unmanned Aerial Vehicle Co Ltd
Parrot Drones SAS
Original Assignee
Parrot Unmanned Aerial Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot Unmanned Aerial Vehicle Co Ltd filed Critical Parrot Unmanned Aerial Vehicle Co Ltd
Publication of CN107179774A publication Critical patent/CN107179774A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明涉及在无人机中实现的一种将飞行数据动态地编码在视频中的方法，该无人机包括视频传感器和姿态传感器和/或高度传感器。这一方法包括，对于所捕捉的连贯图像，从姿态传感器和/或高度传感器捕捉无人机的飞行数据的步骤(E22)；以及编码所捕捉的图像的步骤(E23)。它进一步包括将经编码图像存储在数据容器中的步骤(E24)，在数据容器中将所捕捉的飞行数据的全部或部分添加到经编码图像的步骤(E25)，以及将所述数据容器存储在无人机(10)的存储器中的步骤(E26)，和/或由无人机(10)将所述数据容器传输到远程设备(16)的步骤(E27)。视频图像的编码包括MPEG‑4编码(ISO/IEC 14496)，并且数据容器是根据MPEG‑4第12部分的轨迹，根据公共时钟复用所述经编码图像和所述相关联的飞行数据。

Description

编码和解码无人机的视频的方法以及相关联的设备
技术领域
本发明涉及在无人机中实现的一种将飞行数据动态地编码在视频中的方法，以及具有包括这样的编码方法的机载相机以及其他传感器的无人机。本发明还涉及视频解码方法和包括这样的解码方法的可视化设备。
背景技术
Parrot(鹦鹉)公司的Bebop Drone和Disco或SenseFLy公司的eBee是无人机的典型示例。它们配备有一系列传感器(加速度计、3轴陀螺仪、高度计)以及至少一个相机。这一相机是例如捕捉所飞过的地形的图像的俯视相机或捕捉无人机所指向的场景的图像的前视相机。这些无人机设有一个电机或由相应电机驱动的若干旋翼，这些电机被适配成能以不同方式控制以在姿态和速度方面驾驶该无人机。
无人机的其他示例是诸如Parrot的Jumping Sumo MiniDrone等滚动无人机以及诸如Parrot的Hydrofoil无人机等漂浮无人机。
前摄像机可被用于无人机的“沉浸模式”驾驶，即操作者以如同他自己在无人机上一样的方式使用相机的图像。它还可用于捕捉该无人机所指向的场景的图像序列，操作者以与相机被无人机运载相同的方式(代替被拿在手中)来使用无人机。所收集的图像可以被记录，在网站上上线，发送给其他因特网用户，在社交网络上共享，等等。
WO 2010/061099A2、EP 2364757A1以及EP 2450862A1(Parrot)描述了通过具有集成加速度计的触摸屏多媒体电话或平板(例如，iPhone型智能电话或iPad型平板(注册商标))来驾驶无人机的原理。
在本说明书下文中，术语“驾驶设备”一般将用来指示这一装置，但这一术语不必以其狭窄含义来理解；相反，它还包括功能上等效的设备，尤其是配备有至少一个可视化屏幕以及无线数据交换装置的所有便携式设备(诸如智能电话，等等)。
驾驶设备包括用于经由与无人机直接建立的Wi-Fi(IEEE 802.11)或蓝牙无线局域网类型的无线电链路来检测驾驶命令以及双向数据交换所需要的各种控制元件。其触摸屏显示无人机的前相机所捕捉的图像，叠加有允许通过操作者的手指在这一触摸屏上的简单接触来控制飞行以及激活命令的多个符号。
双向无线无线电链路包括用于传送包含以下各项的数据帧的上行链路(从驾驶设备到无人机)以及下行链路(从无人机到平板)：
(从驾驶设备到无人机)以规则间距且在系统基础上发送的驾驶命令，此后简称为“命令；”
(从无人机到驾驶设备)来自相机的视频流；以及
(从无人机到驾驶设备)在需要时，由无人机确立的飞行数据或状态指示符，诸如：电池水平、飞行阶段(起飞、自动稳定化、着陆在地面上，等等)、高度、检测到的故障，等等。
为允许这样的通信，无人机包括连接到天线以允许与驾驶设备进行通信的通信装置。该天线例如是WiFi天线。
本发明更具体地涉及一种动态地编码由无人机机载相机捕捉的图像序列中的图像的方法，该编码使用图像捕捉的上下文，这些图像被存储以便例如后验地重构由前相机所看到的场景的或要被发送以由操作者在设备上看到以用于按“沉浸模式”驾驶无人机的视频。
用于将视频图像存储在无人机中以用于后验分析的方法是已知的。同样，存储无人机飞行上下文信息是已知的。
然而，这些解决方案具有如下缺点：使用飞行信息的集成来进行飞行视频的重构是不容易的并且因此结果可能是低质量的。因为有必要从所存储的图像序列中以及从与图像序列不相关的飞行上下文信息中重构视频，所以这一重构更加困难。
GB 2519645A描述了一种用于监视森林火情的无人机。这一无人机向地面站分开地发送视频流和GPS数据，地面站随后将这一信息组合在连贯分组中，以允许经由分组交换网络传输到远程监视中心。以此方式，在无人机传输之后，由远程站在上游操作将飞行数据(GPS数据)添加到经编码的图像中。
发明内容
本发明的目标是，通过提出一种允许特别地编码所捕捉的图像以及相关联的信息以例如后验地创建使用无人机飞行信息来上下文化的视频的技术，来补救现有解决方案的缺陷。
以此方式，本发明提出了一种在无人机中实现的将飞行数据动态地编码在视频中的方法，该无人机包括视频传感器和姿态传感器和/或高度传感器。如上述GB 2519645A所公开的，该方法包括，对于所捕捉的连贯图像，从姿态传感器和/或高度传感器捕捉无人机的飞行数据的步骤；以及编码所捕捉的图像的步骤。
其特征在于，该编码方法还包括：将经编码图像存储在数据容器中的步骤；在所述数据容器中将所捕捉的飞行数据的全部或部分添加到经编码图像的步骤；以及将所述数据容器存储在无人机的存储器中和/或由无人机将所述数据容器传输到远程设备的步骤。
非常有利地，编码所述视频图像的步骤包括MPEG-4编码(ISO/IEC 14496)，并且所述数据容器是根据MPEG-4第12部分的轨迹，根据公共时钟复用所述经编码图像和所述相关联的飞行数据。
所捕捉的飞行数据具体可包括由以下各项形成的编组的数据：无人机姿态数据、无人机高度数据、无人机地理位置数据、与飞行阶段相关的信息、飞行速度和/或所述视频传感器的可视化窗口的位置。
本发明还提出了一种在无人机视频解码或可视化设备中实现的视频解码方法，该视频包括一起存储在数据容器中的多个连贯经编码图像和飞行数据。
其特征在于，这一方法包括，对于经编码图像：从所述容器提取经编码图像的步骤；解码所提取的图像的步骤；以及提取与所述图像相关联的飞行数据的步骤。
本发明还提出了一种包括视频传感器和姿态传感器和/或高度传感器的无人机，其被适配成实现根据所描述的发明的编码方法。
本发明还提出了一种无人机驾驶设备，包括用于驾驶无人机的装置以及适配成发送飞行命令并接收来自所述无人机的数据的用于与所述无人机通信的装置。
驾驶设备包括：用于从所述无人机接收包括一起存储在数据容器中的多个经编码图像和飞行数据的视频的装置；以及用于实现根据所描述的发明的解码方法的装置。
本发明还提出了一种无人机视频解码设备，所述视频包括一起存储在数据容器中的多个经编码图像和飞行数据，所述设备包括适配成实现根据所描述的发明的解码方法的装置。
附图说明
现在将参考附图描述本发明的实现的示例。
图1是示出无人机以及相关联的允许其驾驶的相关联的驾驶设备的总体示图。
图2解说了根据本发明的将飞行数据动态地编码在视频中的方法。
图3解说了根据本发明的视频解码方法。
具体实施方式
现在将描述本发明的实现的示例。
在图1中，附图标记10一般表示无人机，它例如是诸如Parrot公司的型号BebopDrone等四螺旋桨直升机。这一无人机包括四个共面旋翼12，这些旋翼的电机由集成的导航与姿态控制系统独立地驾驶。
本发明还适应于帆翼型无人机(诸如Parrot的Disco、SenseFly的eBee)或滚动型无人机(诸如Parrot的Jumping Sumo MiniDrone)或漂浮型无人机(诸如Parrot的Hydrofoil无人机)。
该无人机配置有前视视频传感器14，从而允许获得该无人机所指向的场景的图像。该无人机还包括指向下的俯视视频传感器(未示出)，其适配成捕捉所飞过的地形的连续图像并且特别地用于估算无人机相对地面的速度。惯性传感器(加速度计和陀螺仪)允许以某一准确度来测量无人机的角速度和姿态角，即描述无人机相对于固定陆地参考系的水平面的倾斜的欧拉角(俯仰滚转θ以及偏航ψ)。此外，安排在无人机下的超声波测距仪还提供了对相对于地面的高度的测量。
无人机还可包括地理位置模块以便能够确定无人机在每一时刻的位置。这一位置以给出纬度、经度以及高度的格式来表达。在飞行期间，无人机因此被适配成确定其在每一时刻的位置。
无人机还可包括指南针。
无人机10是通过作为设有触摸屏18的遥控装置16的驾驶设备来驾驶的，该触摸屏18显示由前视传感器14捕捉的图像并叠加有多个符号，这些符号允许通过用户的手指20在触摸屏18上的简单接触来激活驾驶命令。装置16设有用于与无人机进行无线电链接的装置，例如Wi-Fi(IEEE 802.11)局域网类型，以供进行从无人机10到装置16以及从装置16到无人机10以用于发送驾驶命令的双向数据交换。
根据本发明，这一交换具体包括从无人机10向装置16传输由视频传感器14捕捉的图像以及反映无人机在图像捕捉时的状态的飞行数据(诸如高度、无人机地理位置等)。
无人机的驾驶包括使得其通过下述方式开展：
绕俯仰轴22旋转以使得其向前或向后移动；
绕滚转轴24旋转以使得其向旁边朝右或朝左移动；
绕偏航轴26旋转，使无人机主轴向右或向左枢转；以及
通过改变气体控制来向下或向上平移，从而相应地减少或增加无人机高度。
根据本发明，由无人机捕捉的视频流和飞行数据的显示是根据从无人机持续接收到的数据(流传输)来在驾驶设备上作出的。
为了优化通信网络的带宽并改进视频图像的质量，提供定义所捕捉的图像以及无人机飞行数据的简单且开放的编码格式，从而允许在处理这一信息时重构使用无人机飞行数据来上下文化的视频。换言之，图像将被编码且无人机飞行数据将与形成视频的图像序列的各图像相关联。
以此方式，视频序列的各图像将与反映图像捕捉时无人机的状态的飞行数据一起存储。
根据一特定实施例，飞行数据与视频序列的各图像复用。
这些数据(图像和飞行数据)可被存储在无人机上安装的存储器空间中，以便被后验地处理或从无人机(尤其是连续(流传输))发送到驾驶设备。
根据一特定实施例，所捕捉的图像的编码是根据MPEG-4标准执行的。
飞行数据可包含例如以下数据中的全部或部分：无人机的状态(飞行中、在地面上、在起飞阶段、在着陆阶段，等等)、操作者用来驾驶无人机的驾驶模式(手动模式、自动返回到起飞点模式、编程飞行模式、“跟随”模式，等等)、日期和时间、姿态数据(俯仰滚转θ以及偏航ψ)、视频传感器位置数据(视频传感器倾斜、视频传感器视轴方向、视频传感器可视化窗口位置)、图像捕捉时的曝光时间、ISO感光度、WiFi信号的接收水平、无人机电池电量的百分比、高度数据、无人机地理位置数据(纬度、经度以及高度)、相关于起飞点的相对高度数据、相关于起飞点的距离以及飞行速度。
为此，根据本发明，在无人机中实现了一种动态编码方法，以编码所捕捉的图像并将经编码图像与反映无人机在捕捉这些图像时的状态的无人机飞行数据进行关联。
解说这一编码方法的示图在图2中示出。
动态(即，连续)编码方法包括从视频传感器捕捉图像的第一步骤E21。
步骤E21之后是从无人机的传感器(例如，姿态传感器和/或高度传感器)捕捉无人机飞行数据的步骤E22。高度传感器例如是地理位置传感器、超声测距仪、或适配成确定所述无人机的高度的任何其他设备。飞行数据包括一个或若干个先前定义的数据。
步骤E22之后是编码所捕捉的图像的步骤E23。
根据本发明的一实施例，图像是根据MPEG-4标准来编码的。这一标准也被称为ISO/CEI 14496。它是与视听对象编码有关的标准。
步骤E23之后是包括将经编码图像存储在数据容器中的步骤E24。
根据一实施例，数据容器是MPEG-4标准的意义内的轨迹。至于MPEG-4标准中使用的数据容器的格式，这一格式在MPEG-4标准第12部分(ISO/IEC 14496-12)中描述。
数据容器允许根据公共时钟来复用若干媒体，例如一个或若干个视频轨与一个或若干个音频轨。在本发明的上下文中且根据本发明的实现的示例，视频轨与带日期的元数据的轨复用。
步骤E24之后是将在步骤E22捕捉的经编码图像的飞行数据添加到数据容器中的步骤E25。
根据一特定实施例，经编码图像和相关联的飞行数据在步骤E26被存储在视频容器中，视频容器被存储在无人机中包含的存储器空间中。
在其中根据MPEG-4标准来执行编码的实施例中，这一编码标准基于视频容器。视频容器允许将视频流和其他信息(尤其是与图像相关联的飞行数据)收集到单个文件中。
根据一特定实施例，飞行数据被存储在元数据容器中，其被包括在数据容器中的方法由MPEG-4标准来定义。
根据其中使用驾驶设备上的视频的可视化来驾驶无人机的特定实施例，一种方法包括传输包括经编码图像和反映在捕捉所述图像时无人机的状态的飞行数据的数据容器的补充步骤E27。
上述步骤E26和E27之后是用于编码其他所捕捉的图像的步骤E21。
要注意，步骤E21到E23可以按不同次序执行或甚至并行执行。
根据另一实施例，步骤E23包括根据两种不同编码格式来执行所捕捉的图像的编码。具体而言，根据允许维持高视觉质量的第一编码格式来编码图像，特别是为了将这一经编码图像存储在视频容器中，以及根据使图像的视觉质量降级的第二编码格式来编码图像以便由无人机经由无线电链路将这一经编码图像传送给驾驶设备以供在驾驶设备上可视化。这一第二格式允许缩小将经由无人机与远程设备(例如，驾驶设备)之间的无线电链路传送的经编码图像的大小。
根据一示例性实施例，第一格式是与1920x 1080(即，每一者1080行1920个点)图像分辨率相对应的1080p格式。第二格式是与640x 360(即，每一者360行640个点)图像分辨率相对应的360p格式。
因此，在步骤E23，所捕捉的图像的编码可以根据两种所描述的格式之一或根据这两种所描述的格式来执行，以允许存储以良好视觉质量编码的图像和/或传输以较低质量编码的图像。
现在将更详细地描述传输包含与经编码图像和所捕捉的飞行数据相关的数据的容器的步骤E27。
经编码图像与相关联的飞行数据的传输包括从无人机向远程设备(尤其是向无人机驾驶设备)以连续流(流传输)发出在上述步骤E21到E25创建的数据容器。这样的传输允许无人机驾驶设备将无人机所捕捉的图像实时地可视化并因此允许使用驾驶设备上的视频可视化的驾驶模式。
这样的数据容器的传输还将允许驾驶设备显示所捕捉的图像以及反映无人机的状态的飞行数据。
因此，经由这些数据容器，驾驶设备上显示的飞行数据与经可视化图像同步。
为执行数据容器的传输，可使用计算机通信协议RTP(实时传输协议)。这一通信协议允许传输经受实时约束的数据，诸如视频流。
具体而言，对于这些数据容器的传输且根据特定实施例，每个要传送的容器将使用一个或若干个RTP报头且每个包括飞行数据的数据容器一个报头扩展。这一特定实施例允许避免网络拥塞。
为了优化网络带宽，不从无人机向驾驶设备传送与无人机飞行相关的所有数据而是只传送与飞行相关的这样的数据的选集是可能的。例如，地理位置数据和无人机飞行速度可不与每一图像，而是例如每6个图像地传送。
根据特定示例性实施例，以下数据列表之间的飞行数据可以针对每一图像经由数据容器来传送：无人机姿态、视频传感器位置数据(视频传感器倾斜、视频传感器视轴方向、视频传感器可视化窗口位置)、图像捕捉时的曝光时间以及ISO感光度。
其他飞行数据可以经由数据容器例如每6个图像来发送。具体而言，它是WiFi信号的接收水平和/或电池电量的百分比、地理位置数据、相对于其起飞点的无人机高度、相对于其起飞点的距离、飞行速度、无人机飞行状态和/或无人机驾驶模式。
图3解说了在无人机视频可视化设备中实现的视频解码方法，来自包含根据图2中描述的方法编码的所有图像的视频容器或来自从无人机连续地接收到的数据容器。
因此，根据视频解码方法的实现的第一模式，这一方法被实现在用于将视频可视化的设备或用于处理来自包含所有数据容器的视频容器的视频的设备中，经编码数据和反映图像捕捉时的无人机状态的无人机飞行数据被分别存储在这些数据容器中。因而，解码方法可包括读取要被解码的数据容器的第一步骤E31。
根据视频解码方法的实现的第二模式，这一方法被实现在视频可视化设备中，且尤其在接收数据容器的流时实现在无人机驾驶设备中，其中经编码数据和图像捕捉时的无人机飞行数据被分别存储在这些数据容器中。因此，解码方法可包括接收由无人机传送的要被解码的数据容器的第一步骤E32。
步骤E31和E32之后是从数据容器提取经编码图像的步骤E33。
步骤E34在步骤E33之后。在步骤E34，该方法执行所提取的经编码图像的解码。
这一步骤之后是提取与图像相关联的飞行数据的步骤E35。根据一实施例，与图像相关联的飞行数据被存储在数据容器的元数据容器中。
根据所实现的实施例，步骤E35之后是步骤E31或E32。
根据本发明，且根据一实施例，无人机存储包含一方面所有经编码的所捕捉的图像以及另一方面所有在相应地捕捉各图像中的每一者时的无人机飞行数据的视频容器。这些飞行数据例如被存储在元数据容器中。
在处理视频时，尤其是在根据视频容器构造视频影片时，使用整合了无人机飞行数据的信息来丰富视频影片是可能的。本发明允许无人机飞行数据与无人机图像的显示的良好同步。
给定飞行数据被存储在特定子容器中，尤其是元数据容器中，从视频容器提取飞行数据并创建吸收了视频容器中存储的所有飞行数据的无人机飞行数据文件也是可能的。

Claims (7)

1.一种在无人机中实现的将飞行数据动态地编码在视频中的方法，所述无人机包括视频传感器和姿态传感器和/或高度传感器，
这一方法包括对于所捕捉的连贯图像：
从所述姿态传感器和/或所述高度传感器捕捉所述无人机的飞行数据的步骤(E22)；以及
编码所捕捉的图像的步骤(E23)，
其特征在于，所述方法还包括：
将经编码图像存储在数据容器中的步骤(E24)；
在所述数据容器中将所捕捉的飞行数据的全部或部分添加到所述经编码图像的步骤(E25)；以及
将所述数据容器存储在所述无人机(10)的存储器中的步骤(E26)和/或由所述无人机(10)将所述数据容器传输到远程设备(16)的步骤(E27)。
2.如权利要求1所述的编码方法，其特征在于，
编码所述视频图像的步骤包括MPEG-4编码(ISO/IEC 14496)，以及
所述数据容器是根据MPEG-4第12部分的轨迹，根据公共时钟复用所述经编码图像和所述相关联的飞行数据。
3.如权利要求1所述的编码方法，其特征在于，所捕捉的飞行数据包括由如下各项形成的编组的数据：无人机姿态数据、无人机高度数据、无人机地理位置数据、与飞行阶段相关的信息、飞行速度和/或所述视频传感器的可视化窗口的位置。
4.一种在无人机视频解码或可视化设备中实现的视频解码方法，
所述视频包括一起存储在数据容器中的多个连贯的经编码图像和飞行数据，
其特征在于，所述方法包括，对于经编码图像：
从所述容器提取经编码图像的步骤(E33)；
解码所提取的图像的步骤(E34)；以及
提取与所述图像相关联的飞行数据的步骤(E35)。
5.一种包括视频传感器和姿态传感器和/或高度传感器的无人机，其特征在于，所述无人机包括用于实现如权利要求1到3之一所述的编码方法的装置。
6.一种无人机驾驶设备，包括：
用于驾驶无人机的装置；以及
被适配成发送飞行命令并从所述无人机接收数据的用于与所述无人机进行通信的装置，
其特征在于，所述驾驶设备包括：
用于从所述无人机接收包括一起存储在数据容器中的多个经编码图像和飞行数据的视频的装置；以及
用于根据如权利要求4所述的解码方法来解码所述视频的装置。
7.一种无人机视频解码设备，所述视频包括一起存储在数据容器中的多个经编码图像和飞行数据，
其特征在于，所述设备包括用于根据如权利要求4所述的解码方法来解码所述视频的装置。
CN201710134278.1A 2016-03-09 2017-03-08 编码和解码无人机的视频的方法以及相关联的设备 Pending CN107179774A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1651965A FR3048843A1 (fr) 2016-03-09 2016-03-09 Procede d'encodage et de decodage d'une video et dispositifs associes
FR1651965 2016-03-09

Publications (1)

Publication Number Publication Date
CN107179774A true CN107179774A (zh) 2017-09-19

Family

ID=56511654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710134278.1A Pending CN107179774A (zh) 2016-03-09 2017-03-08 编码和解码无人机的视频的方法以及相关联的设备

Country Status (5)

Country Link
US (1) US20170264907A1 (zh)
EP (1) EP3217658A1 (zh)
JP (1) JP2017208802A (zh)
CN (1) CN107179774A (zh)
FR (1) FR3048843A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712271A (zh) * 2019-01-08 2019-05-03 深圳市道通智能航空技术有限公司 一种无人机数据处理方法、装置、设备及存储介质
CN112565920A (zh) * 2021-02-18 2021-03-26 北京远度互联科技有限公司 数据发送、接收处理方法及装置、无人机
CN112565919A (zh) * 2021-02-18 2021-03-26 北京远度互联科技有限公司 数据发送处理方法、接收处理方法及装置、无人机

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3047064B1 (fr) * 2016-01-26 2018-03-02 Parrot Drones Estimateur d'altitude pour drone
US20180186472A1 (en) * 2016-12-30 2018-07-05 Airmada Technology Inc. Method and apparatus for an unmanned aerial vehicle with a 360-degree camera system
US10653970B2 (en) * 2017-06-30 2020-05-19 Global Family Brands, LLC User controllable marble run kit
JP6624747B2 (ja) * 2018-03-20 2019-12-25 クオリティソフト株式会社 音声伝達システム
US11631241B2 (en) * 2020-04-08 2023-04-18 Micron Technology, Inc. Paired or grouped drones
WO2022091213A1 (ja) * 2020-10-27 2022-05-05 株式会社Njs 動画像通信のためのシステム、受信装置、送信装置、方法、プログラム、及びプログラムを記録した記録媒体
CN116233594A (zh) * 2021-11-30 2023-06-06 京东方科技集团股份有限公司 数据处理和解码方法、移动和控制终端、电子系统、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605212A (zh) * 2001-12-20 2005-04-06 皇家飞利浦电子股份有限公司 视频的编码及解码方法
EP2450862A1 (fr) * 2010-11-05 2012-05-09 Parrot Procédé de transmission de commandes et d'un flux vidéo entre un drone et une télécommande par une liaison de type réseau sans fil
CN102867055A (zh) * 2012-09-16 2013-01-09 吴东辉 一种图像文件格式及生成方法及装置及应用
US8973075B1 (en) * 2013-09-04 2015-03-03 The Boeing Company Metadata for compressed video streams
CN105095451A (zh) * 2015-07-27 2015-11-25 深圳先进技术研究院 警用无人机大数据采集系统及犯罪空间数据库构建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2938774A1 (fr) 2008-11-27 2010-05-28 Parrot Dispositif de pilotage d'un drone
FR2957266B1 (fr) 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605212A (zh) * 2001-12-20 2005-04-06 皇家飞利浦电子股份有限公司 视频的编码及解码方法
EP2450862A1 (fr) * 2010-11-05 2012-05-09 Parrot Procédé de transmission de commandes et d'un flux vidéo entre un drone et une télécommande par une liaison de type réseau sans fil
CN102867055A (zh) * 2012-09-16 2013-01-09 吴东辉 一种图像文件格式及生成方法及装置及应用
US8973075B1 (en) * 2013-09-04 2015-03-03 The Boeing Company Metadata for compressed video streams
CN105095451A (zh) * 2015-07-27 2015-11-25 深圳先进技术研究院 警用无人机大数据采集系统及犯罪空间数据库构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XAVIERSEVILLANO等: "Look, listen and find: A purely audiovisual approach to online videos geotagging", 《INFORMATION SCIENCES》 *
XIAOBIN XU等: "AMIGO: Accurate Mobile Image Geotagging", 《 PROCEEDINGS OF THE 4TH INTERNATIONAL CONFERENCE ON INTERNET MULTIMEDIA COMPUTING AND SERVICE》 *
杜丹,等: "带地理信息的无人机遥感图像拼接系统的实现", 《无线电工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712271A (zh) * 2019-01-08 2019-05-03 深圳市道通智能航空技术有限公司 一种无人机数据处理方法、装置、设备及存储介质
CN112565920A (zh) * 2021-02-18 2021-03-26 北京远度互联科技有限公司 数据发送、接收处理方法及装置、无人机
CN112565919A (zh) * 2021-02-18 2021-03-26 北京远度互联科技有限公司 数据发送处理方法、接收处理方法及装置、无人机

Also Published As

Publication number Publication date
US20170264907A1 (en) 2017-09-14
FR3048843A1 (fr) 2017-09-15
JP2017208802A (ja) 2017-11-24
EP3217658A1 (fr) 2017-09-13

Similar Documents

Publication Publication Date Title
CN107179774A (zh) 编码和解码无人机的视频的方法以及相关联的设备
US11879737B2 (en) Systems and methods for auto-return
EP3338136B1 (en) Augmented reality in vehicle platforms
CA2804587C (en) Real-time moving platform management system
KR20180064253A (ko) 비행 제어 방법 및 이를 지원하는 전자 장치
WO2018176494A1 (en) Method and system for video transmission
US11113567B1 (en) Producing training data for machine learning
KR102437421B1 (ko) 입체적 멀티미디어 정보를 결정하기 위한 방법 및 장치
US20140009575A1 (en) Stereo Video Movies
US20210227102A1 (en) Systems and methods for synchronizing frame timing between physical layer frame and video frame
US10412372B2 (en) Dynamic baseline depth imaging using multiple drones
US11869236B1 (en) Generating data for training vision-based algorithms to detect airborne objects
US20200217665A1 (en) Mobile platform, image capture path generation method, program, and recording medium
CN116820118A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN113919737A (zh) 多功能应急消防救援前突综合保障数据处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170919