CN107852491A

CN107852491A - 传感器辅助的码率控制方法

Info

Publication number: CN107852491A
Application number: CN201580081794.1A
Authority: CN
Inventors: 武燕楠
Original assignee: Shenzhen Dajiang Innovations Technology Co Ltd
Current assignee: Shenzhen Dajiang Innovations Technology Co Ltd
Priority date: 2015-07-31
Filing date: 2015-07-31
Publication date: 2018-03-27
Anticipated expiration: 2035-07-31
Also published as: US20210058614A1; JP2017526193A; EP3225026A4; EP3225026A1; US20170180729A1; CN107852491B; US10834392B2; WO2017020181A1; JP6391694B2

Abstract

本发明提供了基于运动数据确定量化步长以便对视频进行编码的方法和系统。接收由图像捕捉装置捕捉的视频。所述视频包括视频帧分量。此外，接收与所述视频帧分量相关联的运动数据。另外，基于所述运动数据确定量化步长以便对所述视频帧分量进行编码。

Description

传感器辅助的码率控制方法

背景

可以通过各种方法对所捕捉的视频(如无人飞行器(UAV)所捕捉的视频)进行编码。然而，用于UAV的视频编码方法和系统可能不是很理想。例如，当对来自UAV的捕捉到的视频进行编码和传输时，尤其是当视频包含大量移动时，可能会发生包丢失。

已经针对包括监视、搜救行动、勘探以及其他领域在内的宽范围的应用开发了诸如UAV之类的飞行器。这类UAV经常可以在机上搭载用于视频捕捉的相机模块。UAV所捕捉的视频可能会包含大量移动。

发明内容

保持恒定比特率(CBR)是现代视频编码技术的重要方面。当随着时间推移供应给解码器的比特数量保持恒定(例如，在预定阈值内)时，可以保持CBR。保持CBR对于通过网络传输数据(如视频)来说是重要的。具体来说，当传输的数据的比特率波动时，可能会导致包丢失和/或信号丢失。当在视频编码过程的解码器侧使用编码图片缓冲器(CPB)来处理数据(如视频)时，保持恒定比特率也是重要的。具体来说，当正被处理的数据的比特率波动时，解码器缓冲器可能发生溢流。如此，在最初对数据进行编码时控制比特率是在使用编码处理器时的一项重要的突破。

因此，需要用于对从图像捕捉装置获得的视频进行编码以便当对视频数据进行解码时保持CBR的改进方法和系统。视频捕捉装置可以由如无人飞行器(UAV)之类的无人载运工具承载。提供了用于通过利用来自与UAV相关联的传感器的信息对由视频捕捉装置(如UAV上的视频捕捉装置)捕捉的视频进行编码的方法。在某些实施方式中，视频捕捉装置可以捕捉包括运动数据的视频。此外，UAV可以使用与所述UAV相关联的传感器来捕捉可用于生成光流场的信息。当所捕捉的视频与基于在与视频相似的时间所捕捉的传感器信息的相关光流场对准时，所产生的信息可用于对视频数据进行高效编码。具体来说，对准的视频和光流场数据可用于高效地分配比特和/或选择量化步长以便对视频帧分量的各部分进行编码。具体来说，本文中所描述的系统和方法可用于识别视频帧的具有高运动度的区域并且当对视频帧分量的与高运动度相关联的部分进行编码时可以分配更多比特和/或利用更高的量化步长。例如，更高的量化步长可用于对与高运动度相关联的第一视频帧进行编码，而较小的量化步长可用于对与不是高运动度的运动度相关联的第二视频帧进行编码。当视频帧内的运动度超过阈值运动度时，可以确定高运动度。另外，可以基于视频帧内的移动度来评定运动度。此外，可以基于与视频帧分量相关联的光流场来确定与所述视频帧分量相关联的运动数据。因此，方法可以涉及分配比特和/或选择量化步长以便基于来自光流场的信息对视频数据进行编码。具体来说，光流场可以与视频数据相对准以便提高视频编码过程的效率。

使用来自UAV的传感器数据所生成的光流场可用于对与所生成的光流场对准的视频数据进行高效编码。可以由位于UAV、视频捕捉装置、或搭载于UAV上的载体处的一个或多个处理器对所述视频数据进行编码。可以由在UAV外部的一个或多个处理器(如通信地连接至UAV的用户终端)对所述视频数据进行编码。此外，可以在UAV处生成光流场。备选地，可以在通信地连接至UAV的外部位置处生成光流场。用于生成光流场的传感器信息可以在UAV处被检测到。此外或备选地，可以从通信地连接至UAV的外部源将用于生成光流场的传感器信息提供给UAV。因此，可以使用基于与UAV相关联的传感器数据所生成的光流场来对由视频捕捉装置所捕捉的视频数据进行高效编码。

具体来说，与由视频捕捉装置捕捉的视频数据相对应的光流场可用于高效地分配比特和/或选择量化步长以便对视频数据的各个部分进行编码。例如，当对视频帧进行编码时，光流场数据可用于确定应分配多少比特来用于在逐帧基础上对视频数据进行编码。在当所捕捉的视频具有极低的移动时的示例中，如通过与视频帧相关联的光流场所确定的，编码处理器可以选择分配更少的比特来用于在逐帧基础上对低移动视频数据进行编码。此外，当视频帧的各部分具有极小运功时，如与视频帧相关联的光流场所指示的，视频编码器可以选择分配更少比特来用于对视频帧的那些低移动部分进行编码。

另外，当对视频数据进行编码时，有益的是将视频数据分解成多个视频帧分量并且对视频帧分量之间的所辨识出的相似之处进行编码，而不是再三对每个帧进行编码。这种方法在视频帧分量(如块)相似或跨多个帧重复时(例如，当朝着远处的山脉驾驶时，这些山脉跨多个视频帧分量将会看上去相对相同)可能特别有益。具体来说，可以基于块之间的差别或残差对相似或重复的块进行编码。这种残差可能比对每个相似或重复的块进行重新编码需要明显更少的比特。

然而，由于某些视频数据可能具有大量移动，所以有时难以使视频帧之间的块相关联，即使当在两个视频帧中的至少一些块之间可能存在很大相似之处时。这是因为，在具有较大的移动的情况下，视频帧内相似元素的偏移可能跨视频帧而被移位。例如，当相机向右移位时，视频的之前在视频帧的右边缘的对象将会向左移位。然而，常规视频数据编码方法基于如下假设：在第一视频帧上的特定位置处的块与在第二视频帧上的相同特定位置处的块相关联。在这些示例中，光流场数据可用于重新评定在对码率分布优化(RDO)进行平衡时所使用的算法。具体来说，可由编码处理器使用与视频数据相关联的光流场数据来将更大的比特分配集中于对视频帧分量之间的系数进行编码上。备选地，可由编码处理器使用与视频数据相关联的光流场数据来将更大的比特分配集中于搜索视频帧分量内的运动向量上。

基于常规的视频数据编码方法的这种缺点，本发明的各方面提供了使用光流场数据对视频数据进行情境化。具体来说，可由编码处理器使用与视频数据相对准的光流场来分配比特和/或选择量化步长，以便对视频帧分量进行编码。

本发明的一个方面可以包括一种基于运动数据确定量化步长以便对视频进行编码的方法。所述方法可以包括接收由图像捕捉装置捕捉的视频，所述视频包括视频帧分量。所述方法还可以包括接收与所述视频帧分量相关联的运动数据。此外，所述方法可以包括基于所述运动数据确定量化步长以便对所述视频帧分量进行编码。

在某些实施方式中，本发明的一个方面可以包括包含多条程序指令的非暂时性计算机可读介质，所述程序指令用于基于运动数据确定量化步长以便对视频进行编码。所述计算机可读介质可以包括用于接收由图像捕捉装置所捕捉的视频的程序指令，所述视频包括视频帧分量。此外，所述计算机可读介质可以包括用于接收与所述视频帧分量相关联的运动数据的程序指令。所述计算机可读介质还可以包括用于基于所述运动数据确定量化步长以便对所述视频帧分量进行编码的程序指令。

本发明的各方面还可以包括一种用于基于运动数据确定量化步长以便对视频进行编码的系统。所述系统可以包括被配置成用于捕捉视频的图像捕捉装置。所述系统还可以包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置成用于接收由图像捕捉装置捕捉的视频，所述视频包括视频帧分量。所述一个或多个处理器还可以被配置成用于接收与视频帧分量相关联的运动数据。此外，所述一个或多个处理器可以被配置成用于基于运动数据确定量化步长以便对视频帧分量进行编码。

在某些其他实施方式中，本发明的各方面可以包括一种基于运动数据确定量化步长以便对视频进行编码的方法。所述方法可以包括接收由图像捕捉装置捕捉的视频，所述视频包括第一视频帧分量和第二视频帧分量。此外，所述方法可以包括接收与所述第二视频帧分量相关联的运动数据。所述方法还可以包括基于与所述第二视频帧分量相关联的所述运动数据确定量化步长以便对所述第一视频帧分量进行编码。

本发明的各方面还可以包括一种包含多条程序指令的非暂时性计算机可读介质，所述程序指令用于基于运动数据确定量化步长以便对视频进行编码。所述非暂时性计算机可读介质可以包括用于接收由图像捕捉装置捕捉的视频的程序指令，所述视频包括第一视频帧分量和第二视频帧分量。所述非暂时性计算机可读介质还可以包括用于接收与所述第二视频帧分量相关联的运动数据的程序指令。此外，所述非暂时性计算机可读介质可以包括用于基于与所述第二视频帧分量相关联的所述运动数据确定量化步长以便对所述第一视频帧分量进行编码的程序指令。

本发明的其他方面可以包括一种用于基于运动数据确定量化步长以便对视频进行编码的系统。所述系统可以包括被配置成用于捕捉视频的图像捕捉装置。所述系统还可以包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置成用于接收由图像捕捉装置捕捉的视频，所述视频包括第一视频帧分量和第二视频帧分量。所述一个或多个处理器还可以被配置成用于接收与第二视频帧分量相关联的运动数据。此外，所述一个或多个处理器可以被配置成用于基于与所述第二视频帧分量相关联的所述运动数据确定量化步长以便对所述第一视频帧分量进行编码。

本发明的另一方面可以包括一种基于运动数据进行比特分配以便对视频进行编码的方法。所述方法可以包括接收由图像捕捉装置捕捉的视频，所述视频包括视频帧分量。此外，所述方法可以包括接收与视频帧分量相关联的运动数据。所述方法还可以包括基于所述运动数据分配与对所述视频帧分量进行编码相关联的比特。

本发明的额外方面可以包括一种包含多条程序指令的非暂时性计算机可读介质，所述程序指令用于基于运动数据进行比特分配以便对视频进行编码。所述非暂时性计算机可读介质可以包括用于接收由图像捕捉装置所捕捉的视频的程序指令，所述视频包括视频帧分量。所述非暂时性计算机可读介质还可以包括用于接收与视频帧分量相关联的运动数据的程序指令。此外，所述非暂时性计算机可读介质可以包括用于基于所述运动数据分配与对所述视频帧分量进行编码相关联的比特的程序指令。

本发明的各方面还可以包括一种用于基于运动数据进行比特分配以便对视频进行编码的系统。所述系统可以包括被配置成用于捕捉视频的图像捕捉装置。此外，所述系统可以包括一个或多个处理器，所述一个或多个处理器被配置成用于接收由图像捕捉装置捕捉的视频，所述视频包括视频帧分量。所述一个或多个处理器还可以被配置成用于接收与视频帧分量相关联的运动数据。此外，所述一个或多个处理器可以被配置成用于基于所述运动数据分配与对所述视频帧分量进行编码相关联的比特。

另外，本发明的额外方面可以包括一种基于运动数据进行比特分配以便对视频进行编码的方法。所述方法可以包括接收由图像捕捉装置捕捉的视频，所述视频包括第一视频帧分量和第二视频帧分量。所述方法还可以包括接收与所述第二视频帧分量相关联的运动数据。此外，所述方法可以包括基于与所述第二视频帧分量相关联的所述运动数据分配与对所述第一视频帧分量进行编码相关联的比特。

本发明的各方面还可以包括一种包含多条程序指令的非暂时性计算机可读介质，所述程序指令用于基于运动数据进行比特分配以便对视频进行编码。所述非暂时性计算机可读介质可以包括用于接收由图像捕捉装置捕捉的视频的程序指令，所述视频包括第一视频帧分量和第二视频帧分量。此外，所述非暂时性计算机可读介质可以包括用于接收与所述第二视频帧分量相关联的运动数据的程序指令。所述非暂时性计算机可读介质还可以包括用于基于与所述第二视频帧分量相关联的所述运动数据分配与对所述第一视频帧分量进行编码相关联的比特的程序指令。

此外，本发明的各方面可以包括一种用于基于运动数据进行比特分配以便对视频进行编码的系统。所述系统可以包括被配置成用于捕捉视频的图像捕捉装置。所述系统还可以包括一个或多个处理器，所述一个或多个处理器被配置成用于接收由图像捕捉装置捕捉的视频，所述视频包括第一视频帧分量和第二视频帧分量。此外，所述一个或多个处理器可以被配置成用于接收与所述第二视频帧分量相关联的运动数据。所述一个或多个处理器还可以被配置成用于基于与所述第二视频帧分量相关联的所述运动数据分配与对所述第一视频帧分量进行编码相关联的比特。

应理解的是，本发明的不同方面可以单独地、共同地或相互组合地进行理解。本文所描述的本发明的各个方面可以应用到下面所阐述的任何特定应用或应用于任何其他类型的可移动物体。本文中对飞行器(如无人飞行器)的任何描述可以适用于并且用于任何可移动物体(如任何载运工具)。此外，本文中在视频捕捉装置捕捉空中运动(例如，飞行)的视频数据的同时对视频进行编码的背景下所披露的系统、装置和方法还可以适用于在视频捕捉装置捕捉其他类型运动(如地面上或水上运动、水下运动或太空运动)的视频数据的同时对视频进行编码的背景中。

通过审查说明书、权利要求书以及附图，本发明的其他目的和特征将变得明显。

援引并入

本说明书中提及的所有出版物、专利和专利申请均通过援引并入本文，其程度就如同明确地且单独地指明了每一个单独的出版物、专利或专利申请均通过援引并入。

附图说明

在所附权利要求书中具体阐述了本发明的新颖特征。通过参考以下对利用了本发明原理的说明性实施方式进行阐释的详细说明并参照附图，将获得对本发明特征和优点的更好的理解，在附图中：

图1示出了根据本发明实施方式的无人飞行器(UAV)的示意图，所述无人飞行器承载用于捕捉视频的视频捕捉装置。

图2展示了根据本发明实施方式的一般视频编码过程。

图3展示了根据本发明实施方式的基于视频内的移动来确定视频数据压缩的过程。

图4展示了根据本发明实施方式的具有不同运动分量的视频帧之间的比特率和量化步长分布的示意图。

图5展示了根据本发明实施方式与从上方观看的旋转视图相关联的用于对视频帧进行编码的光流场。

图6展示了根据本发明实施方式的具有不同物体移动度的用于对视频帧进行编码的全局光流场。

图7展示了根据本发明实施方式的与超快全局相机运动相关联的用于对视频帧进行编码的光流场。

图8展示了根据本发明实施方式的在与有角度全局运动相关联的光流场内的有待编码的两个视频帧分量。

图9展示了根据本发明实施方式的在与放大特征相关联的光流场内的有待编码的两个视频帧分量，所述放大特征与相机相关联。

图10展示了根据本发明实施方式在与从上方观看的旋转视图相关联的光流场内的有待编码的两个视频帧分量。

图11展示了根据本发明实施方式的在具有不同物体移动度的全局光流场内的有待编码的三个视频帧分量。

图12展示了根据本发明实施方式的对视频帧分量中的块内的像素进行帧内编码的示例。

图13展示了根据本发明实施方式的将各视频帧中的同位的块关联起来的运动向量。

图14展示了根据本发明实施方式的优先对帧之间的系数进行计算而非搜索运动向量的结构。

图15是根据本发明实施方式的流程图，展示了一种基于运动数据确定量化步长以便对视频进行编码的方法。

图16是根据本发明实施方式的流程图，展示了另一种基于运动数据确定量化步长以便对视频进行编码的方法。

图17是根据本发明实施方式的流程图，展示了一种基于运动数据进行比特分配以便对视频进行编码的方法。

图18是根据本发明实施方式的流程图，展示了另一种基于运动数据进行比特分配以便对视频进行编码的方法。

图19展示了根据本发明实施方式的UAV的外观。

图20展示了根据本发明实施方式的包括载体和有效载荷的可移动物体。

图21是根据本发明实施方式的一种用于控制可移动物体的系统的框图示意图。

具体实施方式

本文中所描述的方法、装置和终端提供了用于对由视频捕捉装置(UAV)捕捉到的视频进行高效编码的有效方式。本文中所描述的方法、装置和终端可用于捕捉视频数据、基于与UAV相关联的传感器数据生成光流场并且基于所生成的光流场确定量化步长和/或比特分配以便对视频数据进行编码。本文中所披露的方法、装置和终端可以应用于任何合适的可移动物体或固定物体。可移动物体可以能够进行自推进式移动(例如，载运工具)，而固定物体可能无法进行自推进式移动。在某些实施方式中，可移动物体可以是无人飞行器(UAV)。

除了提供可用于对视频数据进行高效编码的方法以外，还提供了用于对数据进行编码以便在对视频进行解码时保持恒定比特率(CBR)的方法。这样，可以以向用户无缝地提供经解码视频的方式来传输并处理被编码的视频数据。此外，在对视频数据进行更高效的编码时，给定固定量的存储空间，可以记录更大量的视频数据。备选地，具有增大容量的视频可以被记录在之前仅能够记录相同量的一般视频数据的相同量的存储空间内。这些方面在记录高清视频时、记录具有高移动度的视频以及在提供视频同时保持CBR时是有利的。

本发明的方法能够通过高效地分配一定量的比特来用于对视频帧分量进行编码而高效地对视频数据进行编码并且保持经解码视频的CBR。具体而言，可以使用比具有较少移动的视频部分更多的比特来对具有高移动度的视频部分进行编码。此外，如果没有足够的比特被分配来用于对视频的各部分进行编码，那么可以对视频的压缩进行修改。在示例中，在对视频帧的各部分进行编码时，可以选择增大的量化步长，以便压缩视频并且在对视频进行编码时使用更少的比特。这进而有助于保持被分配用于对视频进行编码的比特的量，以便保持恒定比特率。具体而言，当正进行处理的数据的比特率波动时，当对视频进行解码时解码器缓冲器可能会发生溢流。如此，在最初对数据进行编码时控制比特率是在使用编码处理器时的一项重要的考虑。

图1示出了根据本发明实施方式的无人飞行器(UAV)100的示意图，所述无人飞行器承载用于捕捉视频的视频捕捉装置140。所述UAV可以具有UAV主体110以及可以实现UAV的移动的一个或多个推进单元120。所述UAV可以具有一个或多个传感器。所述一个或多个传感器可用于收集UAV用来生成光流场的数据。所述UAV可以任选地具有机载光流场发生器130。由所述UAV生成的光流场可以进而用于对由所述UAV捕捉到的视频进行高效编码。编码处理器150可以任选地由UAV承载并且用于对视频进行编码。

可以使用视频捕捉装置140捕捉视频。所述视频捕捉装置可以被支撑在固定物体或可移动物体如UAV上。本文对UAV的任何描述可以包括用于视频捕捉装置的任何支撑结构。本文中对UAV 100的任何描述都可以适用于任何类型的可移动物体，如飞行器。对UAV的描述可以适用于任何类型的无人可移动物体(例如，所述可移动物体可以横越天空、陆地、水、或太空)。UAV可以能够响应于来自遥控器的命令。遥控器可以不连接至UAV，遥控器可以从一定距离外无线地与UAV进行通信。在一些情形下，UAV可以能够自主地或半自主地运行。UAV可以能够遵循预编程指令集。在一些情形下，UAV可以通过响应于来自遥控器的一个或多个命令而半自主地运行，同时以其他方式自主地运行。举例来说，来自遥控器的一个或多个命令可以根据一个或多个参数通过UAV发起一系列自主或半自主动作。在某些实施方式中，本文对UAV的任何描述可以适用于任何固定物体，如视频捕捉装置的支撑件(例如，支架、杆、围栏、建筑、墙壁、天花板、屋顶、地板、地面、家具、照明器材、树木、工厂、石头或任何其他固定物体)。

视频捕捉装置可以能够改变由视频捕捉装置所捕捉的视场(FOV)。视频捕捉装置可以具有平移运动(例如，左右、前后、上下或者其任合组合)来改变视频捕捉装置FOV。视频捕捉装置可以具有旋转移动(例如，绕视频捕捉装置的偏航轴线、俯仰轴线或横滚轴线)来改变视频捕捉装置FOV。在一些情形下，视频捕捉装置可以仅具有平移运动而没有旋转运动、可以仅具有旋运动而没有平移运动或者可以既具有平移运动又具有旋转运动。由来自视频捕捉装置的视频所捕捉到的运动可以指示视频捕捉装置FOV的变化。所述视频编码系统和方法可用于对由视频捕捉装置捕捉到的视频进行编码，如本文中其他地方更加详细描述的。

视频捕捉装置可以任选地由UAV 100或任何其他支撑结构支撑。所述UAV可以具有主体110。在一些情形下，主体可以是中央主体，所述中央主体可具有一个或多个分支构件或“臂”。所述臂可以以辐射方式从主体向外延伸并且经由所述主体接合。臂的数量可以与UAV的推进单元或旋翼的数量相匹配。所述主体可包括壳体。所述壳体可以将UAV的一个或多个部件围封在所述壳体内。在一些情形下，UAV的一个或多个电气部件可以设置在所述壳体内。例如，UAV的飞行控制器可以设置于壳体内。飞行控制器可以控制UAV的一个或多个推进单元120的运行。所述推进单元可以各自包括旋翼和/或电机。此外，所述一个或多个推进单元可以准许UAV在空中来回移动。所述一个或多个推进单元可以设置在UAV的臂上。所述臂可以在所述臂的近端上连接至UAV的主体。一个或多个推进单元可以连接至臂的远端。所述一个或多个推进单元可以使得UAV能够关于一个或多个、两个或更多个、三个或更多个、四个或更多个、五个或更多个、六个或更多个自由度来进行移动。在一些情形下，UAV可以能够围绕一条、两条、三条或更多条旋转轴线旋转。旋转轴线可以相互正交。旋转轴线可以在整个UAV的飞行过程中保持互相正交。旋转轴线可以包括俯仰轴线、横滚轴线和/或偏航轴线。UAV可以能够沿着一个或多个维度移动。例如，UAV由于由一个或多个旋翼产生的升力而能够向上移动。在一些情形下，UAV可以能够沿Z轴线(其可以相对于UAV的朝向向上)、X轴线和/或Y轴线(其可以是横向的)移动。UAV可以能够沿可能是相互正交的一条、两条或三条轴线移动。

UAV可以是旋翼机。在一些情形下，UAV可以是多旋翼机，所述多旋翼机可以包括多个旋翼。所述多个旋翼可以能够进行旋转以产生用于UAV的升力。所述旋翼可以是可以使UAV能够在空中自由移动的推进单元。所述旋翼可以按相同速率旋转和/或可以产生相同量的升力或推力。所述旋翼可以任选地以不断变化的速率旋转，这可能会产生不同量的升力或推力和/或允许UAV旋转。在一些情形下，可以在UAV上设置一个、两个、三个、四个、五个、六个、七个、八个、九个、十个或更多个旋翼。所述旋翼可以经过安排，使得其旋转轴线彼此平行。在一些情形下，所述旋翼可以具有相对于彼此成任何角度的旋转轴线，这可能会影响UAV的运动。

所示出的UAV可以具有多个旋翼。所述旋翼可以连接至UAV的主体，所述主体可以包括控制单元、一个或多个传感器、处理器和电源。所述传感器可以包括视觉传感器和/或可以收集关于UAV环境的信息的其他传感器。来自所述传感器的信息可用于确定UAV的位置。所述旋翼可以经由可从主体的中央部分分出的一个或多个臂或延伸部连接至主体。例如，一个或多个臂可以从UAV的中央主体径向延伸出来，并且可以在臂的末端处或附近具有旋翼。

可以通过保持和/或调整到UAV的一个或多个推进单元的输出来控制UAV的垂直位置和/或速度。例如，增大UAV的一个或多个旋翼的旋转速度可以帮助使UAV增加高度或以更快的速率增加高度。增大一个或多个旋翼的旋转速度可以增大旋翼的推力。降低UAV的一个或多个旋翼的旋转速度可以帮助使UAV降低高度或以更快的速率降低高度。减小所述一个或多个旋翼的旋转速度可以减小所述一个或多个旋翼的推力。当UAV起飞时，可以相对于其之前的着陆状态增加提供给推进单元的输出。当UAV着陆时，可以相对于其之前的飞行状态减小提供给推进单元的输出。UAV可以被配置成以基本上垂直的方式起飞和/或降落。

可以通过保持和/或调整到UAV的一个或多个推进单元的输出来控制UAV的横向位置和/或速度。UAV的高度以及UAV的一个或多个旋翼的旋转速度可以影响UAV的横向移动。例如，UAV可以在特定方向上倾斜以在那个方向上移动，并且UAV的旋翼的速度可以影响横向移动的速度和/或移动的轨迹。可以通过改变或保持UAV的一个或多个旋翼的旋转速度来控制UAV的横向位置和/或速度。

UAV的臂可以是管或棒。UAV的臂可以具有圆形横截面。UAV的臂可以具有正方形或矩形横截面。UAV的臂可以具有椭圆形横截面。UAV的臂可以是中空管。UAV的臂可以是实心管。UAV的臂可以由金属材料、塑料材料或复合材料形成。UAV的臂可以由轻质材料形成。UAV的臂可以由碳纤维形成。UAV的臂可以与UAV的中央主体一体形成。备选地，UAV的臂可以单独形成或者可以是与UAV可分离的。

UAV可以具有不大于100cm的最大尺寸(例如，长度、宽度、高度、对角线、直径)。在一些情形下，最大尺寸可以小于或等于1mm、5mm、1cm、3cm、5cm、10cm、12cm、15cm、20cm、25cm、30cm、35cm、40cm、45cm、50cm、55cm、60cm、65cm、70cm、75cm、80cm、85cm、90cm、95cm、100cm、110cm、120cm、130cm、140cm、150cm、160cm、170cm、180cm、190cm、200cm、220cm、250cm或300cm。任选地，UAV的最大尺寸可以大于或等于本文中所描述的任何值。UAV可以具有落入本文所描述的任何两个值之间的范围内的最大尺寸。UAV可以是轻型UAV。例如，UAV的重量可以小于或等于1mg、5mg、10mg、50mg、100mg、500mg、1g、2g、3g、5g、7g、10g、12g、15g、20g、25g、30g、35g、40g、45g、50g、60g、70g、80g、90g、100g、120g、150g、200g，250g、300g、350g、400g、450g、500g、600g、700g、800g、900g、1kg、1.1kg、1.2kg、1.3kg、1.4kg、1.5kg、1.7kg、2kg、2.2kg、2.5kg，3kg，3.5kg，4kg，4.5kg、5kg、5.5kg，6kg，6.5kg，7kg，7.5kg，8kg，8.5kg，9kg，9.5kg、10kg、11kg、12kg、13kg、14kg、15kg、17kg或20kg。UAV可以具有大于或等于本文中所描述的任何值的重量。UAV可以具有落入本文中所描述的任何两个值之间的范围内的重量。

UAV可以承载视频捕捉装置140。所述视频捕捉装置可以由任何移动的(例如，UAV)或固定的支撑结构支撑。在某些实施方式中，所述视频捕捉装置可以是相机。本文中对相机的任何描述可以适用于任何类型的视频捕捉装置。相机可以刚性地联接到支撑结构。备选地，可以准许相机关于多达六个自由度相对于支撑结构移动。相机可以直接安装到支撑结构上，或者联接至安装到支撑结构上的载体。在某些实施方式中，载体可以是云台。在某些实施方式中，所述相机可以是支撑结构(如UAV)的有效载荷的元件。

所述相机可以捕捉UAV的环境的图像(例如，动态图像(如视频)或静态图像(如快照))。所述相机可以连续地捕捉图像(例如，视频)。备选地，所述相机可以以指定频率捕捉图像(例如，视频)，从而随着时间推移而产生一系列图像数据(例如，视频数据)。文本中对视频的任何描述可以适用于任何类型的图像，如动态图像或静止图像，如随时间推移而捕捉到的一系列图像。可以以一定的视频速率(例如，25Hz、50Hz、75Hz、100Hz、150Hz、200Hz或250Hz)捕捉图像。在某些实施方式中，可以与记录环境音频同时地捕捉视频。

在某些实施方式中，所捕捉到的视频可以存储在UAV上的存储器中。所述存储器可以是非暂时性计算机可读介质，所述非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移除式介质或外部存储器，如安全数字(SD)卡或随机存取存储器(RAM)、或只读存储器(ROM)或闪速存储器)。备选地，可以将所捕捉到的视频和/或图像传输至远程终端。对所捕捉到的视频和/或图像的传输可以在无线链路上实现，包括但不限于射频(RF)链路、Wi-Fi链路、蓝牙链路、2G链路、3G链路或LTE链路。所述存储器可以在由UAV所承载的相机上、在UAV的载体上和/或在UAV本身上(例如，在UAV主体或UAV臂内)。所述存储器可以是或可以不是可移除的或者与UAV、载体或相机可分离的。

相机可以包括图像传感器和一个或多个镜头。所述一个或多个镜头可以被配置成用于将光引导至图像传感器。图像传感器是将光学图像转换成电子信号的装置。相机的图像传感器可以是电荷耦合器件(CCD)类型、互补金属氧化物半导体(CMOS)类型、N型金属氧化物半导体(NMOS)类型或背照式CMOS(BSI-CMOS)类型。

相机可以具有焦距或焦距范围。光学系统的焦距可以是对系统对光进行会聚或发散的强度的度量。与相机相关联的焦距可以影响所产生的光流场，所述光流场是使用由相机捕捉的视频而生成。镜头的焦距可以是将初始准直光线会聚到焦点所经过的距离。相机可以具有任何类型的镜头，如定焦镜头或变焦镜头。定焦镜头可以具有固定焦距，并且所述焦距可以包含单一焦距。变焦镜头可以具有可变焦距，并且所述焦距可以包含多个焦距。

视频捕捉装置可以具有可以随时间而变化的FOV。视场(FOV)可以是通过在空间中的特定位置和朝向的相机可看见的世界的一部分；在拍摄照片时，FOV之外的物体不被记录在视频数据中。视场最常见地被表示为视锥的角度大小，表示为视角。对于标准镜头，可以根据FOV＝2arctan(d/2f)来计算视场，其中d是图像传感器尺寸，并且f是镜头的焦距。对于具有固定大小的图像传感器，定焦镜头可以具有固定的FOV，并且所述FOV可以包含单一FOV角。对于具有固定大小的图像传感器，变焦镜头可以具有可变的FOV角度范围，并且所述FOV角度范围可以包含多个FOV角。FOV的大小和/或位置可以变化。可以改变视频捕捉装置的FOV以增大或减小FOV的大小(例如，放大或缩小)和/或改变FOV的中心点(例如，以平移方式和/或旋转方式移动视频捕捉装置)。FOV的变化可能会引起视频内的运动。

来自与相机相关联的传感器的数据可用来帮助生成光流场，所述光流场可用于对由相机捕捉到的视频数据进行编码。与相机相关联的传感器可以是在相机上、相机的支撑结构(例如，UAV)上和/或将相机支撑在支撑结构上的载体(例如，云台)上。备选地，与相机相关联的传感器可以远离相机、载体和/或相机的支撑结构。

举例来说，相机的支撑结构可以支撑一个或多个传感器。在示例中，所述支撑结构可以是UAV。对UAV的传感器的任何描述可以适用于用于相机的任何类型的支撑结构。UAV可以包括一个或多个视觉传感器，如图像传感器。例如，图像传感器可以是单目相机、立体视觉相机、雷达、声纳或红外相机。UAV还可以包括可用于确定UAV的位置或者可能对生成生成光流场信息而言有用的其他传感器，如全球定位系统(GPS)传感器、可以用作惯性测量单元(IMU)的一部分或与惯性测量单元分开使用的惯性传感器(例如，加速度计、陀螺仪、磁力计)、激光雷达、超声波传感器、声波传感器、WiFi传感器。UAV可以具有在UAV上的传感器，所述传感器直接从环境收集信息而不接触不是在UAV上的用于额外信息或处理的额外部件。例如，直接在环境中收集数据的传感器可以是视觉传感器或音频传感器。

备选地，UAV可以具有在UAV上但与不是在UAV上的一个或多个部件相接触以收集关于环境的数据的传感器。例如，接触不是在UAV上的部件以便收集关于环境的数据的传感器可以是GPS传感器或依赖于至另一装置(如卫星、塔、路由器、服务器或其他外部装置)的连接的另一传感器。传感器的各种示例可以包括但不限于位置传感器(例如，全球定位系统(GPS)传感器、能够实现位置三角测量的移动装置发射器)、视觉传感器(例如，能够检测可见光、红外光或紫外光的成像装置，如相机)、接近度传感器或范围传感器(例如，超声波传感器、激光雷达、飞行时间或深度相机)、惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(IMU))、高度传感器、姿态传感器(例如，罗盘)、压力传感器(例如，气压计)、音频传感器(例如，麦克风)或场传感器(例如，磁力计、电磁传感器)。可以使用任何合适数量以及组合的传感器，如一个、两个、三个、四个、五个或更多个传感器。任选地，可以从不同类型(例如，两种、三种、四种、五种或更多种类型)的传感器接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如，位置、朝向、速度、加速度、接近度、压力等)和/或利用不同类型的测量技术来获得数据。

这些传感器中的任何传感器还可以设置在UAV外。所述传感器可以与UAV相关联。举例来说，所述传感器可以检测UAV的特性，如UAV的位置、UAV的速度、UAV的加速度、UAV的朝向、UAV所产生的噪声、从UAV发出或反射的光、UAV所产生的热量或UAV的任何其他特性。所述传感器可以收集数据，所述数据可以单独或与来自UAV上的传感器的传感器数据组合使用，以便生成光流场信息。

所述传感器可以包括有源传感器(例如，产生并测量来自它们自身能量源的能量的传感器)和无源传感器(例如，检测可用能量的传感器)的任何合适组合。作为另一示例，某些传感器可以生成依据全球坐标系而提供的绝对测量数据(例如，GPS传感器所提供的位置数据、罗盘或磁力计所提供的高度数据)，而其他传感器可以生成依据局部坐标系而提供的相对测量数据(例如，陀螺仪所提供的相对角速度；加速度计所提供的相对平移加速度；视觉传感器所提供的相对高度信息；超声波传感器、激光雷达或飞行时间相机所提供的相对距离信息)。UAV之上或之外的传感器可以收集多种信息，如UAV的位置、其他物体的位置、UAV 100的朝向或环境信息。单个传感器可以能够在环境中收集完整的信息集，或者一组传感器可以一起工作以在环境中收集完整的信息集。传感器可用于对位置的绘图、位置之间的导航、对障碍物的检测、或对目标的检测。此外，并且根据本发明，传感器可以用来搜集用于生成光流场的数据，光流场用于对由UAV捕捉的视频数据进行高效编码。

因此，UAV还可以具有光流场发生器130。可以将光流场发生器设置在UAV上(例如，在UAV主体或臂中、在相机上或在载体上)。备选地，可以将所生成的光流场设置在UAV外(例如，在远程服务器、云计算基础设施、远程终端或地面站处)。光流场发生器可以具有一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于基于与UAV相关联的传感器数据生成光流场。光流场展示了光如何在视频帧内流动。这种光流指示所捕捉到的物体如何在视频帧之间移动。具体来说，光流场能够描述由视频捕捉装置所捕捉到的物体如何移动的特性，包括移动物体的方向和速度。举例来说，在视频捕捉装置的FOV内所捕捉到的视频可以包括一个或多个固定物体或可移动物体。在示例中，光流场可用于确定视频中移动的物体的速度或加速度。光流场还可用于展示视频内的物体的移动方向。以下关于图5至图11对视频内移动的物体进行描述的光流场的示例进行说明。

用于生成光流场的传感器数据可以由与UAV相关联的一个或多个传感器获得。此外或备选地，传感器数据可以通过外部源获得，如外部监控系统。可以使用通信信道向UAV提供外部传感器数据。因此，可以在UAV处生成光流场。备选地，可以在UAV外部生成光流场。具体来说，UAV可以将与UAV相关联的传感器信息提供给一个或多个外部处理器。然后，所述一个或多个外部处理器可以使用与UAV相关联的传感器数据来生成光流场。此外，所述一个或多个外部处理器可以将所生成的光流场提供给UAV。光流场发生器(无论是在UAV上或外)可以从与UAV相关联的传感器接收数据(无论所述传感器是机载的、非机载的还是其任何组合)，所述数据可用于生成光流场。

传感器数据可以任选地包括关于相机的空间布局(例如，坐标、平移位置、高度、朝向)或相机的移动(例如，线性速度、角速度、线性加速度、角加速度)的信息。传感器数据可以能够检测相机的变焦状态(例如，焦距、放大或缩小程度)。传感器数据对于计算相机的FOV可能如何变化可能是有用的。

根据本发明的实施方式，可以提供编码处理器150。所述编码处理器可用于对由视频捕捉装置捕捉的视频进行编码。熵编码工具的示例包括哈夫曼编码(Huffman coding)、游程编码(mn-level coding)和算术编码。在文本所讨论的示例中，可以在H264中使用CAVLC和CABAC。

此外，编码处理器可以使用与视频相关联的光流场。所述光流场可用于对视频进行高效编码。所述视频可以包括视频帧分量。视频帧分量可以包括视频帧。备选地，视频帧分量可以包括视频帧的部分(如块)。块可以具有某一形状，诸如圆形、正方形、八边形、三角形或其他形状。此外，视频帧内的块可以包括不只一种形状。

编码处理器可以接收光流场信息并且使用光流场信息对视频进行编码。在示例中，编码处理器可以使用光流场信息来分配比特以便对视频帧分量进行编码。具体来说，所述编码处理器可以向具有更大移动的区域分配更多比特以便在编码过程中捕捉视频帧之间的区别。此外，编码处理器可以使用光流场信息来选择量化步长以便对视频帧分量进行编码。具体来说，所述编码处理器可以选择更高的量化步长以便对具有高运动度的视频帧分量进行编码。备选地，所述编码处理器可以选择较低的量化步长以便对基本上相似的视频帧分量进行编码。在示例中，所述编码处理器可以选择较低的量化步长以便对基本上相同的视频帧分量进行编码。

编码处理器可以包括一个或多个处理器，所述一个或多个处理器可以对视频进行编码。编码处理器可以与光流场发生器分开，或者可以与光流场发生器在同一部件内。编码处理器可以包括不与光流场发生器的一个或多个处理器重叠的一个或多个处理器。备选地，编码处理器的一个或多个处理器可以与光流场发生器的一个或多个处理器相同。在一些情形下，编码处理器的所有处理器都可以与光流场发生器的处理器相同。

可以任选地将编码处理器设置在UAV上。举例来说，编码处理器可以在UAV主体或臂内、可以在相机上或者可以在支撑相机的载体上。备选地，可以将编码处理器设置在UAV外。举例来说，编码处理器可以设置在远程服务器、云计算基础设施、远程终端或地面站处。编码处理器可以设置在与光流场发生器相同或不同的位置处。

图2展示了根据本发明实施方式的一般视频编码过程200。当对视频数据进行编码时，最初可以将视频数据的视频帧分成多个块202。然后，可以基于帧内数据和/或帧间数据对这些块进行压缩。帧内数据涉及帧内的块之间的空间关系。相反，帧间数据涉及跨视频帧的块之间的时间关系。此外，当重构的图片具有相同质量时，经帧内编码的帧的比特消耗是跨多个在时间上相关的帧的经帧间编码的帧的比特成本的五倍。此外，当视频帧内存在高运动度时(如具有跨一系列视频帧快速移动的某些物体以及移入和移出所述视频帧的其他物体的视频帧)，时间上相关的帧的帧间编码的比特成本可能显著增加。

如在图2中所看到的，接收输入视频信号。可以从视频捕捉装置接收输入视频信号。视频捕捉装置可以由支撑结构如UAV支撑。此外或备选地，可以从不在UAV上的外部装置接收输入视频信号。所接收到的视频可以被分成多个宏块202。宏块可能会或者可能不会具有任何重叠部分。所述视频可以被分成任何数量的宏块。举例来说i，所述视频可以被分成一个m×n宏块阵列，其中m具有以下值：1或以上、2或以上、3或以上、4或以上、5或以上、6或以上、7或以上、8或以上、9或以上、10或以上、12或以上、15或以上、16或以上、18或以上、20或以上、25或以上、30或以上、40或以上、50或以上、60或以上、70或以上、80或以上、90或以上、100或以上、120或以上、150或以上、200或以上、250或者以上、或者300或以上；并且n具有以下值：1或以上、2或以上、3或以上、4或以上、5或以上、6或以上、7或以上、8或以上、9或以上、10或以上、12或以上、15或以上、16或以上、18或以上、20或以上、25或以上、30或以上、40或以上、50或以上、60或以上、70或以上、80或以上、90或以上、100或以上、120或以上、150或以上、200或以上、250或以上、或者300或以上。宏块可以具有矩形形状、正方形形状、圆形形状或任何其他形状。在一个实施方式中，宏块可以具有16×16像素的尺寸。宏块可以具有任何尺寸，如p×q像素，其中p具有以下值：1或以上、2或以上、3或以上、4或以上、5或以上、6或以上、7或以上、8或以上、9或以上、10或以上、12或以上、15或以上、16或以上、18或以上、20或以上、25或以上、30或以上、32或以上、40或以上、50或以上、60或以上、64或以上、70或以上、80或以上、90或以上、100或以上、120或以上、128或以上、150或以上、200或以上、250或以上、256或以上、或者300或以上，并且q具有以下值：1或以上、2或以上、3或以上、4或以上、5或以上、6或以上、7或以上、8或以上、9或以上、10或以上、12或以上、15或以上、16或以上、18或以上、20或以上、25或以上、30或以上、32或以上、40或以上、50或以上、60或以上、64或以上、70或以上、80或以上、90或以上、100或以上、120或以上、128或以上、150或以上、200或以上、250或以上、256或以上、或者300或以上。在现代视频编码标准中，可以通过首先将所述视频帧分成多个小块来对具有720P或1080P分辨率的视频帧进行编码。对于H.264，块大小可以是16×16像素，并且对于HEVC，块大小可以是64×64。每个宏块都可以具有相同尺寸和/或形状。在示例中，宏块可以是正方形、矩形、圆形、三角形、梯形、菱形、卵形或另一种形状。备选地，两个或更多宏块可以具有不同的尺寸和/或形状。宏块还可以被称为“块”。

编码处理器可用于去除块的空间相关性和/或时间相关性。如此，在视频帧被分成多个小块之后，视频数据的块可以经过图2中所提供的视频编码架构。

具体来说，视频数据可以前进到编码器控件204。所述编码器控件可用于确定是否直接对所述视频数据进行编码(例如，无需任何额外的变换步骤)或者确定是否将所述数据发送至变换/缩放/量化(TSQ)部件。在示例中，所述编码器控件可以将所述视频数据直接传递至熵编码部件206。在其他示例中，所述编码器控件可以在将经变换的数据提供至熵编码部件之前将所述视频数据传递至TSQ部件208。在所述TSQ部件处，可以对视频数据进行变换以便压缩在空间上和时间上相关的视频帧分量(如块)之间的相似性。此过程可以使用来自原始输入视频信号的视频。此外，此过程可以利用之前已编码的视频数据以便使变换过程更加高效。此外，此压缩过程可以产生量化系数和变换系数210，然后，可以将量化系数和变换系数提供至熵编码部件。系数可以基于离散余弦变换(DCT)来计算并且可用于表示视频帧分量(如视频帧或视频帧内的块)之间的差异。

当变换视频数据时，可以鉴于在解码器212处重新评估的并且作为反馈被提供至TSQ部件的之前所变换的视频数据来处理视频数据。具体来说，可以通过将来自TSQ部件的经变换的视频数据提供至缩放和反转变换(SIT)部件214来生成视频压缩反馈。在SIT部件处，可以反转视频数据的变换过程。然后，此视频数据可以被提供至去块滤波器216，所述去块滤波器可用于生成输出视频信号218。然后，所述输出视频信号可以用作在运动补偿部件220处生成运动补偿因子的部件。

在示例中，所述运动补偿部件可以使用来自输出视频信号的运动数据以及从运动估计部件222生成的运动数据。具体来说，所述运动估计部件可以接收来自初始输入视频信号的输入视频数据。然后，所述运动估计部件可以基于视频数据生成运动数据。然后，可以将此运动数据提供至所述运动补偿部件和所述熵编码部件。

一旦提供了经解码的视频数据并且基于来自运动补偿部件的运动数据对其进行情境化，就可以对所述视频数据进行评估以确定是否适合于使用帧内预测部件224进行帧内预测。还可以针对帧间预测生成额外预测。可以将这些预测提供为针对TSQ部件以及去块滤波器两者的反馈。如此，可以基于来自经处理的视频信号的反馈来改善从TSQ部件生成的量化系数和变换系数以及由去块滤波器所生成的输出信号。

如此，视频编码器可用于简化不同视频帧的块之间的重复信息(时间压缩)以及同一视频帧内的块之间的重复信息(空间压缩)，以便压缩信息。一旦压缩了视频数据，就可以将利用图2中的架构进行编码的视频帧形成为1-D比特流。

图3展示了根据本发明实施方式的基于视频内的移动来确定视频帧分量的视频数据压缩的过程300。在步骤310，基于码率失真优化算法确定对视频帧分量进行编码的编码成本。码率失真优化是对参数的优化，所述参数被修改以便提供重构视频帧的特定比特率和失真。可以使用运动信息、块大小信息和块系数信息来确定码率失真优化。编码成本可以是可被分配用于对特定视频帧分量进行编码的比特范围。具体来说，通过评定码率失真优化的参数并且确定可用于编码的比特来确保重构帧的比特率在CBR内，从而确定编码成本。在本文所讨论的实施方式中，可以提供编码成本，并且本文所提供的方法可用于分配比特和/或选择量化步长以便在所提供的编码成本的参数内对视频数据进行高效编码。

在步骤320，接收与视频帧分量相关联的运动信息。在示例中，运动信息可以基于与视频帧分量相关联的光流场。运动信息可以包括与视频帧分量相关联的运动数据。此外，运动信息可以包括与同所述视频帧分量相邻的视频帧分量相关联的运动数据。此外，光流场可以包括由视频捕捉装置的移动和/或UAV的移动生成的运动数据。运动数据可以包括平移移动和/或旋转移动。在示例中，可以通过使视频捕捉装置围绕横滚轴线旋转来生成运动数据。还可以通过使UAV围绕相机横滚轴线旋转来生成运动数据。在示例中，可以通过使视频捕捉装置和/或UAV围绕其他轴线(如俯仰轴线和偏航轴线)移动来生成运动数据。另外，可以通过使视频捕捉装置和/或UAV以侧向、向上、向下、放大、缩小或对角线运动或以上的组合来移动，从而生成运动数据。在额外示例中，所生成的光流场可以包括与移动物体的速度、移动物体距视频捕捉装置的距离、移动物体的弯曲运动、移动物体的方向性以及在光流场内物体移动的其他特性相关的运动方面。

在步骤330，对照阈值运动量来评定视频帧分量的至少一部分。在示例中，视频帧分量的被确定为具有超过阈值运动量的部分可以被评定为具有高运动度。此外，视频帧分量的被确定为具有少于阈值运动量的部分可以被评定为具有低运动度。另外，视频帧分量的不具有高运动度或低运动度的部分可以被确定为具有正常运动度。

在步骤340，基于运动数据来向视频帧分量的至少一部分分配比特。在一些情形下，这可以包括基于阈值运动评定结果来分配比特。具体来说，可以向视频帧分量的被确定为具有正常运动度的至少一部分分配标准比特量。此外，可以向视频帧分量的被确定为具有高运动度的至少一部分分配增加的比特量。另外，可以向视频帧分量的被确定为具有低运动度的至少一部分分配较少的比特量。例如，视频帧分量的具有较高运动度的部分可以接收比视频帧分量的具有较低运动度的部分更高的比特分配。通过为对视频帧分量的具有较高运动度的部分进行编码分配较高比特分配，可以更准确地反映视频帧之间的差异。具体来说，具有高运动度的视频可能会比具有较低运动度的视频具有更多物体移入和移出视频帧。如此，可以分配更多比特用于对这些差异进行编码。

虽然可以向视频帧分量的被确定为具有高运动度的至少一部分分配增大的比特量(当可用时)，但存在比特量可能受到限制的示例。在这些示例中，编码处理器可以选择使用量化步长来压缩视频数据。量化是一种通过将两个或更多值压缩成单个量子值来实现的有损压缩技术。在图像处理中，量化可能在压缩人眼不容易区分的亮度变化的频率之间的差异时是特别有用的。例如，人眼可能善于感知跨大频率的亮度差异，但可能无法区分累积地小于可感知的差异阈值的变化频率。因此，可以通过采用视频数据内的与亮度相关联的频率、将所述频率除以标准值、然后对所得的频率计算结果向上(或向下)四舍五入成最接近的整数来压缩视频数据。只要频率变化仍然在人类对频率间差异感知的阈值之下，观看重构视频的用户就可能甚至不会意识到原始视频数据与经修改的视频数据之间的不同之处。然而，引用比最初捕捉到的范围小的频率范围的能力可以允许将视频数据压缩到与和CBR相关联的编码成本一致的比特量，以便提供重构视频。

除了选择对视频帧分量内的数据执行量化步长以外，编码处理器还可以选择所使用的量化程度。具体来说，量化程度是指用于划分数据集的标准值的量值，如以上所讨论的亮度频率。随着用于划分数据的标准值增大，压缩量也可能增大。如此，标准值和压缩程度可以成正比。在示例中，标准值和压缩程度可以成线性正比。

在步骤350，确定是否需要量化步长来压缩视频帧分量。可以基于所提供的编码成本以及视频帧分量内的运动度做出这种确定。具体来说，如果存在与视频帧分量的至少一部分相关联的高运动度，但是没有比特可供分配给视频帧分量的具有高运动度的至少一部分，那么可以确定选择用于所述视频帧分量的所述至少一部分的量化步长。此外，可以在确定步骤350期间计算可以使用的量化程度。具体来说，仍然可以基于视频帧分量的编码成本以及确保重构帧将在CBR内所需要减少的数据量来计算量化程度。

此外，在步骤360，为视频帧分量的至少一部分确定量化步长。具体来说，所选择的量化步长可以基于所述视频帧分量的所述至少一部分的大小。所选择的量化步长还可以基于所述视频帧分量的所述至少一部分内的运动信息。另外，所选择的量化步长可以基于与所述视频帧分量的所述至少一部分相关联的块系数信息。

因此，视频帧分量可以经过编码以便保持在与重构视频的CBR相关联的编码成本阈值内。具体来说，可以通过使用比特分配和/或量化步长选择由编码处理器对视频帧分量进行编码，从而保持在编码成本内。然而，由于视频帧分量可能具有不断变化的运动度，因此编码处理器使用比特分配vs量化步长选择的程度也可以基于视频帧分量内的运动而变化。具体来说，当对视频帧分量进行编码时，可以选择特定的比特分配和/或量化步长来基于所述视频帧分量内的运动来对所述视频帧分量进行编码。在示例中，所选择的特定比特分配和/或量化步长可以基于与对视频帧分量进行编码相关联的编码成本的阈值，从而当对经编码视频进行解码时保持CBR。

为了展示跨视频帧分量的这种变化，图4展示了根据本发明实施方式的具有不同运动分量的视频帧分量之间的比特率和量化步长分布的示意图400。具体来说，分布410-430展示了在逐帧基础上的比特分配和/或量化步长选择，并且分布440-470展示了在逐块基础上的比特分配和/或量化步长选择。

如在图4中所看到的，分布410展示了比特分配的增加。可以增加比特分配以便增加被分配用于对视频帧分量的一部分进行编码的比特量。可以基于视频帧分量内的移动量来按比例增减方式增加比特。可以基于与被分配用于对视频帧分量进行编码的比特量相关联的类别增加比特。具体来说，分布410展示了跨视频帧的比特分配的增加。当视频帧包括超过阈值量的运动时，可以增加比特分配。当存在超过阈值量的运动时，更多的比特可以被分配用于对具有更大移动量的区域进行编码，使得可以准确地对移动进行编码。具体来说，当视频帧包括具有超过阈值量的运动的部分时，编码处理器可以增加比特分配。图5中提供了可能与类似于分布410的分布相关联的光流场的示例。

此外，分布420展示了比特分配的减少。可以减少比特分配，以便减少被分配用于对视频帧分量的一部分进行编码的比特量。可以基于视频帧分量内的移动量按比例增减方式减少比特。可以基于与被分配用于对视频帧分量进行编码的比特量相关联的类别减少比特。具体来说，分布420展示了跨视频帧的比特分配的减少。当视频帧具有少于阈值量的运动时，可以减少比特分配。具体来说，在视频帧基本上相似的示例中，可能需要较少的比特来准确地表示相似帧之间的差异。图6中提供了可能与类似于分布420的分布相关联的光流场的示例。另外，分布430展示了量化步长的增大。具体来说，量化步长可以具有不同类别，例如，低度量化、中度量化或高度量化。鉴于不同的量化类别，可以客观或相对地评定量化程度。当视频帧中具有超过阈值的移动量时，并且当没有足够的比特来被分配用于对视频帧的移动进行编码时，可以增大量化步长。如此，编码处理器可以确定视频帧的具有超过阈值量的运动的区域并且可以评定是否具有足够的比特来分配给这些区域。

如果没有足够的比特，那么编码处理器可以增大量化步长来对视频进行编码，同时在对视频数据进行解码时保持CBR。具体来说，分布430展示了视频帧的量化步长的增加。可以增大量化步长以便提高视频帧的压缩程度，由此减少用于对视频帧进行编码的比特量。可以基于视频帧分量内的移动量按比例增减方式增大量化步长。可以基于与编码视频帧分量内的移动量相关联的类别来增大量化步长。图7中提供了可能与类似于分布430的分布相关联的光流场的示例。

虽然可以按照分布430中所演示的那样来增大量化步长，但也可以减小量化步长。可以减小量化步长以便降低视频帧分量的压缩程度。可能有利的是，在具有足够的比特被分配用于对视频帧分量进行编码时减小量化步长。具体来说，量化可能是有损的，由此当对视频帧编码进行编码时可能会产生错误。可以基于视频帧分量内的移动量按比例增减方式减小量化步长。可以基于与编码视频帧分量内的移动量相关联的类别来减小量化步长。此外，当视频帧内的运动下降到与特定量化步长相关联的阈值以下时并且当具有足够的比特被分配用于对视频帧内的视频帧分量进行编码时，可以减小量化步长。

此外，如在图4中所看到的，分布440展示了标准化的比特分配。具体来说，分布440展示了跨视频帧内的多个块的标准化比特分配。这在分布440中被展示为块1和块2具有相同大小，以指示向它们分配了相同量的比特。图8中提供了可能与类似于分布440的分布相关联的光流场的示例。另外，分布450展示了不均匀的比特分配。具体来说，分布450展示了跨视频帧内的多个块的不均匀的比特分配。这在分布450中被展示为块1比块2更大，指示向块1分配了比块2更多的比特。图9中提供了可能与类似于分布450的分布相关联的光流场的示例。

同样，如在图4中所看到的，分布460展示了不均匀的相互增加的比特分配。具体来说，分布460展示了跨视频帧内的多个块的不均匀的相互增加的比特分配。这在分布460中被展示为给块1和块2两者均分配了比在分布440的块1和2中提供的标准化分配更多的比特。与标准化比特分配相反，分布460规定为块2分配了增量的比特，并且为块1分配了比块2更多的比特。图10中提供了可能与类似于分布460的分布相关联的光流场的示例。此外，分布470展示了多类别比特分配。具体来说，分布470展示了跨视频帧内的多个块的多类别比特分配。这在分布470中被展示为：为块1分配了增加量的比特；为块2分配了标准化量的比特；并且为块3分配了减少量的比特。图11中提供了可能与类似于分布470的分布相关联的光流场的示例。

给定每视频帧恒定的编码成本，图5至图7中提供了可能具有不同比特分配程度vs量化步长选择的视频帧的示例。在示例中，可以提供光流场来对正在由编码处理器进行编码的视频数据进行情境化。可以基于图像数据生成光流场。此外或备选地，可以基于传感器数据生成光流场。在示例中，可以使用如图1中所述般生成的光流场来生成光流场。在某些示例中，光流场可以帮助对视频数据进行情境化以便帮助编码处理器在逐帧基础上对视频数据进行编码。具体来说，在逐帧基础上，当与帧相关联的光流场指示视频帧上的物体正在非常快速地运动时，编码处理器可以向所述帧分配更多比特。在没有比特可供分配给具有高运动量的视频帧的示例中，编码处理器可以改为选择量化步长(或更高的量化步长)以抵消视频帧内的高运动度原本会引起的比特增加。此外，如果视频帧的大部分是相对静止的，则编码处理器可以减少分配给视频帧的比特数量。代替地，编码处理器可以向可能具有高运动度的另一视频帧提供比特分配。

图5展示了根据本发明实施方式与从上方观看的旋转视图相关联的用于对视频帧进行编码的光流场500。虽然光流场500是从上方观看的，但用于围绕相机的光轴滚动的其他方法也可用于生成旋转视图。使用箭头指示光流场内的运动。箭头的长度指示光流场内正在发生的移动量，并且箭头的曲线指示光流场内正在发生的移动的方向。在示例中，图5中的视频帧在整个视频帧内可能具有相对正常的运动量。虽然图5中的视频帧的中央部分可能被分配了稍微增加的比特分配(假定那个区域中的运动是密集的)，但图5中所示的视频帧的周边部分可以各自被分配标准比特量(假定周边部分中的运动没有在中央部分中那么密集)。如此，与图4中的调整410相似，图5仅可以具有增加的比特分配。此外，如以上所讨论的，图5中所提供的增加的比特分配可能在与重构视频的CBR相关联的编码成本的阈值内。

此外，图6展示了根据本发明实施方式的具有不同物体移动度的用于对视频帧进行编码的全局光流场600。如图6中所看到的，光流场顶部附近的某些物体相对静止。具体来说，看上去相对静止的物体可能远离图像捕捉装置，因为基于物体距视频捕捉装置的距离，以相同速度移动的物体将会具有不同的感知到的速度。备选地，如果视频捕捉装置以与物体相同的速度并在与物体相同的方向上移动，那么以恒定速度移动的物体可能显得相对静止。在示例中，视频捕捉装置可以基于附接视频捕捉装置的UAV的移动以特定速度移动。备选地，视频捕捉装置可以基于视频捕捉装置自身相对于其所附接到的UAV的移动以特定速度移动。

当与视频帧相关联的光流场内的大量区域显得相对静止时，编码处理器可以选择减少分配给所述视频帧的比特量。具体来说，编码处理器可以转移原本可能会分配给具有静止区域的视频帧的一些比特并且可以将那些比特分配给具有有更大运动量的区域的视频帧。

与图6中的光流场的上部部分相反，位于所述光流场的中央和下部部分中的某些物体相对快速地移动。具体来说，基于物体相对于视频捕捉装置的移动，所述物体可能看上去相对快速地移动。具体来说，如果视频捕捉装置快速移动经过固定物体，基于视频捕捉装置的移动，固定物体可能看上去正在快速移动。在示例中，所感知到的物体移动可以具有与视频捕捉装置的移动相关联的运动分量和/或可以具有与附接视频捕捉装置的可移动物体(如UAV)的移动相关联的运动分量。

然而，给定视频帧内的相对静止的大量区域，仍然可以减少给图6中的视频帧的总比特分配。如此，与图4中的调整420类似，图6中所提供的视频帧可以具有减少的比特分配。

在另一示例中，图7展示了根据本发明实施方式的与超快全局相机运动相关联的用于对视频帧进行编码的光流场700。具体来说，图7中所提供的光流场700具有均匀地向下的方向。此外，由于箭头的高密度，运动箭头的向下方向被展示为是快速的。在示例中，基于正在快速移动经过视频捕捉装置的一个或多个物体，光流场的向下方向可能在视频数据中显得好像是快速的。在其他示例中，基于视频捕捉装置相对于所捕捉到的视频数据内的物体的移动，光流场的向下方向可能在视频数据中显得好像是快速的。在其他示例中，基于正在快速移动经过视频捕捉装置的物体与视频捕捉装置自身的快速移动的组合，光流场内的运动箭头的向下方向可能在视频数据中显得是快速的。

由于光流场的方向性具有均匀向下的方向，因此可以跨视频帧分配相同量的比特。然而，给定大量移动，可能没有足够的比特可供用于捕捉高运动度。因此，当在与视频帧相关联的光流场内的大量区域显得相对快速地移动时，编码处理器可以选择选取在对与视频帧相关联的视频数据进行编码时所使用的量化步长(或选择增大的量化步长)。如此，与图4中的调整430类似，图7中所提供的视频帧可以具有由编码处理器选择的增大的量化步长。

给定每视频帧恒定的编码成本，图8至图11中提供了可能具有不同比特分配程度vs量化步长选择的视频帧的额外示例。在示例中，光流场可以帮助对视频数据进行情境化以便帮助编码处理器在逐块基础上对视频帧内的视频数据进行编码。具体来说，在视频帧内的不同块中，光流场可以指示视频帧的某一部分是否比其他部分移动更快。视频帧的这些部分可以由视频帧内的块来表示。如此，在逐块的基础上，编码处理器可以在帧内跨视频帧内的多个块全局地并且有区别地分配比特率。具体来说，当光流场指示移动经过块的物体正非常快速地移动时，编码处理器可以向这些块分配更多比特。在没有足够的比特可用于分配给与高运动量相关联的块的示例中，编码处理器可以改为选择量化步长(或更高的量化步长)来抵消块内的高运动度原本会引起的比特率增加。此外，编码处理器可以减少分配给相对静止的块的比特数量。代替地，编码处理器可以向可能具有高运动度的另一个(另外多个)块提供比特分配。

在示例中，图8展示了根据本发明实施方式在与有角度全局运动相关联的光流场800内的有待编码的两个视频帧分量。具体来说，在图8中提供的光流场具有朝向光流场右下角的均匀有角度方向。在示例中，基于正在以一定角度移动经过视频捕捉装置的一个或多个物体，光流场内的运动箭头的方向可能显得好像在视频数据中是有角度的。在其他示例中，基于视频捕捉装置相对于所捕捉到的视频数据内的物体的有角度移动，光流场内的运动箭头的方向可能显得好像在视频数据中是有角度的。在其他示例中，基于正在以一定角度移动经过视频捕捉装置的物体与视频捕捉装置自身的移动的组合，光流场内的运动箭头的方向可能显得在视频数据中是有角度的。

图8还提供了是视频帧的视频帧分量的两个块，块810和块820。在示例中，正在对具有块810和块820的视频帧进行编码的编码处理器可以跨视频帧均匀或不均匀地分配比特。具体来说，比特在视频帧上的分布可以基于与视频帧相关联的运动数据。如在图8中看到的，由光流场提供的运动数据指示在视频帧上具有均匀的运动。如此，编码处理器可以跨块810和820分配等量的比特。如此，与图4中的调整440相似，图8可以具有标准化比特分配。

此外，图9展示了根据本发明实施方式的在与放大特征相关联的光流场内的有待编码的两个视频帧分量，所述放大特征与相机相关联。在示例中，放大特征可以基于以下情况而发生：视频捕捉装置对物体进行放大；飞行器的允许相机移动到更近的支撑区域；或两者的组合。如图9中所看到的，在光流场的边缘处的移动大于在光流场的中间处的移动。此外，放大的方向性在整个光流场内是相等的。换句话说，在垂直或水平距离上没有明显的偏移，因为每个方向以相似的方式进行移动。然而，虽然没有方向偏移，但图9中的运动更集中在中央区域附近，并且图9中的运动在周边区域附近更稀疏。

图9还提供了是视频帧的视频帧分量的两个块，块910和块920。在示例中，正在对具有块910和块920的视频帧进行编码的编码处理器可以跨视频帧均匀或不均匀地分配比特。具体来说，比特在视频帧上的分布可以基于与视频帧相关联的运动数据。如在图9中所看到的，由光流场提供的运动数据指示与视频帧的周边部分相比更集中于视频帧的中央部分。此外，块910相对来说定位于中央，而块920更靠近视频帧的周边部分。因此，由于块910在具有高运动度的视频帧内具有中央位置，所以编码处理器可以向块910分配更多比特。相反，可以为块920分配标准比特量和/或分配比块910更少的比特量。如此，编码处理器可以跨块910和920分配不等量的比特。因此，与图4中的调整450相似，图9可以具有不成比例的比特分配。

光流场内的感知到的物体大小的关系可以基于光流场内物体的位置而发生变化。例如，当基于放大动作而生成光流场时，现实生活中大小相同的物体可能显得较大，因为它们在距离光流场的边缘更远的地方。图9中展示了这种情况，该图展示了接近在光流场的中心处的归一化最小值的第一球930以及在光流场周边附近的第二球940。尽管第一球930和第二球940具有相等的大小，但是当在光流场背景下观看时，它们显得具有不同的大小。因此，所感知到的物体大小可以跨光流场而发生变化。具体来说，当物体放置在光流场内的不同位置时，所感知到的物体大小可以以成正比例、成反比例的方式变化，或者通过另一个等式来建模。

在额外示例中，图10展示了根据本发明实施方式在与从上方观看的旋转视图相关联的光流场1000内的有待编码的两个视频帧分量。如在图5中所看到的，使用箭头指示光流场内的运动。箭头的长度指示跨光流场正在发生的移动量，并且箭头的曲线指示跨光流场正在发生的移动的方向。图10还提供了是视频帧的视频帧分量的两个块，块1010和块1020。当编码处理器对视频帧进行编码时，比特在视频帧上的分布可以基于与视频帧相关联的运动数据。如在图10中所看到的，由光流场所提供的运动数据指示与视频帧内的旋转相关联的相对运动通常是恒定的。然而，类似于图9，图10内的光流场也指示：与视频帧的周边部分相比，运动更集中于视频帧的中央部分。此外，块1010相对来说位于中央，而块1020更靠近视频帧的周边部分。因此，由于块1010在具有更大运动量的视频帧内具有中央位置，所以编码处理器可以向块1010分配更多比特。编码处理器还可以向块1020分配额外比特，但用于块1020的增加的比特可能少于分配给块1010的比特量。如此，编码处理器可以跨块1010和1020分配不等量的比特。这样，与图4中的调整460相似，图10可以具有不均匀、但相互增加的比特分配。

另外，图11展示了根据本发明实施方式在具有不同物体移动度的全局光流场1100内的有待编码的三个视频帧分量。具体来说，图11提供了具有与视频帧内的物体相关联的不同移动速率的光流场的示例。如图11中所看到的，光流场顶部附近的某些物体相对静止。相比之下，位于光流场的中央和下部部分的某些物体移动相对较快。具体来说，基于物体相对于视频捕捉装置的移动，这些物体可能看上去相对快速地移动。

对图11中提供的视频帧进行编码的编码处理器可以提供视频帧上的比特分布的至少三个类别，所述类别可以基于与所述视频帧相关联的运动数据。在示例中，编码处理器可以提供1种或更多种、2种或更多种、3种或更多种、4种或更多种、5种或更多种、6种或更多种、7种或更多种、8种或更多种、9种或更多种、10种或更多种、11种或更多种、12种或更多种、13种或更多种、14种或更多种、15种或更多种、16种或更多种、17种或更多种、18种或更多种、19种或更多种、20种或更多种、21种或更多种、22种或更多种、23种或更多种、24种或更多种、25种或更多种、30种或更多种、35种或更多种、40种或更多种、45种或更多种、50种或更多种、60种或更多种、70种或更多种、80种或更多种、90种或更多种、100种或更多种、或多于100种比特分布类别。不是所有可供编码器用于进行比特分配的类别都可能存在于任何给定的视频帧内。然而，在示例中，在由编码处理器编码的每个视频帧内可以提供至少一种比特分配类别。如在图11中看到的，由光流场提供的运动数据指示与视频帧内的旋转相关联的相对运动落入至少三种一般类别中：快速、标准和相对静止。具体来说，块1110是快速，块1120是标准，而块1130是相对静止。因此，由于块1110具有比块1120更大的运动量，因此编码处理器可以为块1110比为块1120分配更多比特。此外，由于块1120具有比块1130更大的运动量，因此编码处理器可以为块1120比为块1130分配更多比特。在块1130的静止度下降到低于移动阈值的示例中，编码处理器可以减少分配给块1130的比特量。如此，编码处理器可以跨块1110、1120和1130分配不等量的比特。这样，与图4中的调整470相似，图11可以具有与多个类别相关联的比特分配。

给定每视频帧恒定的编码成本，图12至图14中提供了可能具有不同比特分配度vs量化步长选择的视频帧的其他示例。在示例中，光流场可以帮助将视频数据情景化以便帮助编码处理器在视频帧分量内以及其之间对视频帧内的视频数据进行编码。具体来说，在块分量内以及其之间，光流场可用于根据1)识别运动向量；以及2)计算系数来调整已分配的比特。在示例中，当视频帧内的运动剧烈时，由此增加与所述视频帧相关联的运动信息的总量，调整策略的示例可以为系数的计算而非运动向量的识别分配更多比特。具体来说，如果向系数的计算分配更多比特，那么可以保持一致运动向量场的完整性。在这种策略下，运动向量场的保持优先于对运动向量的搜索，因为就比特分配来说，当视频帧分量之间的运动高于某一运动阈值时，搜索运动向量通常成本很大。此外，当与视频帧相关联的运动数据超过某一活动阈值时，对于编码处理器来说更容易在识别运动向量时出错。另外，对运动向量的错误识别可能会引起一系列通常不容易追溯的错误。因此，在某些策略下，比特优先被分配用于计算准确系数而不是识别运动向量。

在示例中，系数计算较运动向量识别的优先可以在确定当前块的量化步长时以及在促成运动搜索的RDO时应用。因此，如果视频帧内的运功是剧烈的(例如，超过某一阈值)，那么可以调整RDO成本函数，使得可以识别更精确的运动向量。这样，可以节省可以被分配用于对视频帧分量之间的残差数据进行编码的比特。此外或备选地，可以应用较小的量化步长来产生重构帧的超过与所确定的RDO相关联的阈值的视觉品质。

因此，在对视频数据进行编码时的系数计算可能优先于在视频帧内的运动剧烈时运动向量的识别。具体来说，当对视频数据进行编码时，如当编码处理器利用帧内编码和/或帧间编码时，系数的计算可以基于视频帧之间的残差数据。因此，图12展示了根据本发明实施方式对视频帧分量中的块内的像素进行帧内编码的示例。

帧内编码可用于压缩空间相关性。对于视频帧内的块，可以从块的邻近像素来估计块内的像素值的预测值。例如，可以从邻近像素(如上部、左上部和左下部邻近像素)来估计像素值的预测值。这些预测的示例可以是有方向的，以便与像素块内的图案相对应。图12中提供了对H.264定向帧内预测的演示。

图12展示了根据本发明实施方式的对视频帧分量中的块内的像素进行帧内编码的示例。如在图12中所看到的，与块相邻的像素可用来预测块内的像素的运动。具体来说，在使用帧内编码时，评定与块相邻的像素以获得运动数据。在图12中，被评定的像素位于所述块左侧的栏中以及所述块上方的栏中。块的经评定的运动可以与编码处理器所使用的特定模式相关联。由于相邻像素可能不会全部都具有相同的运动信息，所以当相邻像素具有与特定模式相关联的阈值数量的像素时，可以将经评定的运动的模式指派给块。在示例中，当邻近像素中的100％、95％、90％、85％、80％、75％、70％、65％、60％、55％、超过50％、50％中的任一项、或大多数邻近像素与特定模式相关联时，邻近像素可以被指派特定模式。

此外，指派给相邻像素的模式可用于确定块中的像素的预测运动。例如，在模式0下，与块相邻的像素可以被评定为进行向下运动。如在图12中所看到的，这种向下运动可用于预测穿过预测像素的向下运动。如在图12中所提供的，穿过预测像素的向下运动完全基于在块上方的上栏相邻像素的经评定的运动。

在模式1下，与块相邻的像素可以被评定为进行侧向运动。如在图12中所看到的，这种侧向运动可用于预测贯穿预测像素的向右运动。如在图12中所提供的，穿过预测像素的侧向运动完全基于在块旁边的左栏相邻像素的经评定的运动。在模式2下，与块相邻的像素可以被评定为进行法向移动或中性移动。基于这种评定，块内的像素可以被评定为同样进行中性移动。

在模式3下，与块相邻并且非常接近于所述块的上部部分的像素可以被评定为进行向左有角度运动。如在图12中所看到的，这种向左有角度运动可用于预测穿过预测像素向左下方的运动。如在图12中所提供的，穿过预测像素向下的侧向运动完全基于在所述块旁边的上栏相邻像素以及非常接近于所述块的上栏像素的经评定的运动。类似地，在模式7下，与块相邻的像素还可以被评定为进行向下向左有角度运动。然而，在模式7下所看到的向下向左有角度运动的角度可能会比在模式3下所看到的向下有角度运动更加陡峭。

在模式4下，与块相邻的像素可以被评定为进行向右有角度运动。如在图12中所看到的，这种向右有角度运动可用于预测贯穿预测像素向右下方的运动。类似地，在模式5下，与块相邻的像素也可以被评定为进行向右有角度的运动，但是在模式5下所展示的有角度运动比在模式4下的有角度运动更加陡峭。此外，在模式6下，与块相邻的像素也可以被评定为进行向右有角度运动，但是在模式6下所展示的有角度运动比在模式4或模式5下的有角度运动更平缓。

此外，模式8提供指示向上并向右的运动的、与块相邻的像素。然而，模式8与之前的模式的不同之处在于，模式8仅能够预测所述块的一部分。为了评定块内的额外预测像素，可以使用其他辅助方法。

虽然帧内编码利用块的邻近像素(如位于当前块的左栏和上排的像素)，但是可能存在大量包括在块的中央像素内的残差信息。在示例中，块的中央像素可以包括纹理、物体以及使用帧内编码可能无法轻易预测到的其他信息。为了捕捉此信息，可以对帧之间的信息(例如，时间压缩)进行压缩和编码。

帧间编码可用于压缩时间相关性。对于视频帧内的块，可以从在前一帧内的相关块来估计所述块内像素值的预测值。由于视频帧可能仅相隔几百万分之一秒，因此帧之间的块通常可能差别不大。然而，帧间编码的使用对于预测块内的使用帧内编码没有捕捉到的细节会是有用的。具体来说，通过参考来自附近视频帧的块来预测这些细节。具体来说，可以使用运动向量来关联多个帧之间相关的块。

在实现帧间编码时，首先，可以对编码块执行帧间运动估计。所述运动估计过程可以确定可被认为与当前块最相似且成本最低的像素网格。具体来说，所述运动估计可以通过在视频帧的搜索区域内进行搜索来确定被认为是最相似的像素网络。一旦确定了被认为是与当前块最相似且成本最低的像素网格，就可以计算运动向量。具体来说，所述运动向量可以被计算为包括第一帧的当前块与其在时间上与第一帧相关的视频帧中的参考块之间的2D像素位置差。在示例中，2D像素位置差可以使用子像素内插法以便通过整数像素、半像素、四分之一像素等来限定帧之间的运动。图13中展示了计算运动向量的图解。

因此，图13提供了根据本发明实施方式将各视频帧中的同位块关联起来的运动向量的图解1300。具体来说，图13展示了根据本发明实施方式将各视频帧中的同位块关联起来的运动向量。如在图13所看到的，运动向量1310可以将各视频帧中的块1320-1340关联起来。使用所述运动向量，可以从邻近和/或附近的视频帧预测所计算的运动向量，即使那些邻近的视频帧在时间领先，如由所计算的向后运动向量(MV)1312和所计算的向前MV 1314所展示的。这可能是由于帧间编码之间的信息压缩引起的。具体来说，在帧间编码期间，可以压缩时间信息，尤其是通过使用运动向量以及其他关系信息来将块关联在一起。

一旦确定了运动向量，就可以将运动向量提供至编码系统内的解码器侧。当解码器接收到此信息时，所述解码器可以找出可能与正在被处理的块相关联的第一块在参照帧上的对应位置。这样，解码器可以使用运动向量来寻找参考块。随后，可以对参考块与当前块(例如，运动向量)之间的差进行处理并传输。

报头信息编码也可用于对视频数据进行高效编码。具体来说，与运动向量相关的报头信息以及与跳过模式(skip mode)相关的报头信息可用于对由UAV所捕捉到的视频数据进行编码。

关于运动向量，当前块以及其在同一视频帧内的空间邻近块可能具有很高的可能性共享相同运动向量。而且，在时间上与当前块相对应的运动向量也可以作为当前块的运动向量的预测值。如此，可以基于当前块的在空间上和时间上邻近的块来计算当前块的运动向量预测值(MVP)。MVP的计算可以取决于编码处理器的标准。

此外，关于跳过模式，还可以从邻近块来预测在当前块的报头内的额外信息。另外，在可以完全从当前块的邻近块来预测当前块的示例中，当前块的报头可以被标记为跳过块。具体来说，跳过块可用于指示没有传输残差信息。在示例中，在可以基于与当前块相邻的块的信息来计算当前块内的信息时，可以使用跳过块。

图14展示了根据本发明实施方式的一种优先对帧之间的系数进行计算而非搜索运动向量的结构。具体来说，图14提供了由UAV捕捉到的视频内的两个视频帧的图解1400。这两个视频帧包括多个物体，如树木、海岸和船。具体来说，第一帧1410是当前编码的帧，并且第二、相邻帧1420是预测帧。就计算系数来说，可以评定第一帧1410与第二帧1420之间的差异。如图14中提供的，残差量由额外的树部分以及照片之间船的一部分的移除组成。在示例中，两个帧之间的残差量包括两个帧之间的差异。此外，当前编码的帧中的块1415与特定运动向量相关联。

在视频帧内的运动数据是剧烈的示例中，可以优选地向系数的计算分配比特。例如，可以向对第二帧中的新树木进行描述的残差以及对船移除进行讨论的残差分配比特。具体来说，原始块与其预测值之间的差异可以被称为残差，并且块之间的这种残差可以被表示为系数。此外，当视频帧内的运动数据超过与视频帧相关联的运动数据量的特定阈值时，可以确定所述运动数据是剧烈的。这可以基于与视频帧对准的光流场来确定。此外或备选地，可以通过评定邻近和/或附近的视频帧的运动数据来计算与视频帧相关联的运动数据。

在其他示例中，如当视频帧内的运动数据没有超过运动数据阈值(从而被认为是“剧烈的”)时，可以在与视频帧相关联的系数的计算与视频帧内的运动向量的识别之间等同地分配比特。具体来说，可以通过在视频帧内提供搜索区域来识别运动向量。随着视频帧内的运动越来越密集，可以增大视频帧内的搜索区域的大小。在示例中，随着视频帧内的运动的强度增大，可以增大搜索区域的大小。此外，随着视频帧内的运动的强度增大，可以修改搜索区域的形状。具体来说，随着视频帧内的运动的强度增大，搜索区域可以从正方形变为圆形。还可以基于光流场来修改搜索区域的形状。具体来说，如果光流场指示存在高度垂直移动，那么视频帧内的搜索区域可以具有增大的垂直分量，如将正方形的搜索区域形状变为垂直偏移的矩形。提供了对与邻近帧1420的块相关联的搜索区域进行修改的图解。具体来说，修改搜索区域以提高运动估计预测评估识别与第二帧内的块相对应的运动向量的机会。当对帧1420进行评估以便运动向量将块1425与经编码的块1415相关联时，可以评定搜索区域1430。

图15是根据本发明实施方式的流程图，展示了一种基于运动数据确定量化步长以便对视频进行编码的方法1500。在框1510处，接收由图像捕捉装置捕捉到的视频。具体来说，所述视频包括视频帧分量。图像捕捉装置可以安装在可移动物体(如无人飞行器)上。此外，所捕捉到的视频可以在UAV在飞行中时由图像捕捉装置捕捉。在框1520处，接收与视频帧分量相关联的运动数据。在示例中，所述运动数据可以包括光流场数据。备选地，运动数据可以包括传感器数据。在示例中，光流场数据可以从传感器数据中生成。在额外示例中，所述运动数据可以指示视频帧的第一部分与所述视频帧的第二部分相比具有更高的运动度。此外，在框1530处，基于运动数据确定量化步长以便对视频帧分量进行编码。在示例中，确定量化步长可以包括编码处理器选择第一量化步长以便对视频帧的第一部分进行编码并选择第二、较不全面的量化步长以便对视频帧的第二部分进行编码。

图16是根据本发明实施方式的流程图，展示了另一种基于运动数据确定量化步长以便对视频进行编码的方法1600。在框1610处，接收由图像捕捉装置捕捉到的视频，所述视频包括第一视频帧分量和第二视频帧分量。所述视频包括视频帧。所述视频可以由图像捕捉装置捕捉。在框1620处，接收与所述第二视频帧相关联的运动数据。在示例中，可以使用一个或多个传感器获得所述运动数据。在其他示例中，所述传感器可以包括光学传感器、超声波传感器、MVO、陀螺仪、GPS和高度计中的一项或多项。此外，在框1630处，基于与所述第二视频帧分量相关联的运动数据确定量化步长以便对所述第一视频帧分量进行编码。具体来说，确定量化步长可以包括选择量化步长以便对所述第一视频帧进行编码，所述量化步长使对第一视频帧与第二视频帧之间的系数进行编码的丢失最小化。在额外示例中，可以在视频帧内逐块确定量化步长。

图17是根据本发明实施方式的流程图，展示了一种基于运动数据进行比特分配以便对视频进行编码的方法1700。在框1710处，接收由图像捕捉装置捕捉到的视频。图像捕捉装置可以安装在可移动物体上。具体来说，所述图像捕捉装置可以安装在UAV上。此外，所述视频包括视频帧分量。

在框1720处，接收与视频帧分量相关联的运动数据。所述运动数据可以包括光流场数据。此外，所述运动数据可以指示所述块具有超过预定阈值的移动。在框1730处，基于所述运动数据分配与对视频帧分量进行编码相关联的比特。在示例中，可以为对块进行编码分配与具有超过预定阈值的移动的块相当的比特量。在其他示例中，分配比特可以包括选择分配比特量，其中，相对于当所述运动数据指示较低移动度时所选择的较低的分配比特量，当所述运动数据指示较高移动度时，选择较高的分配比特量。

图18是根据本发明实施方式的流程图，展示了另一种基于运动数据进行比特分配以便对视频进行编码的方法1800。在框1810处，接收由图像捕捉装置捕捉到的视频。所述视频包括第一视频帧分量和第二视频帧分量。在示例中，所述图像捕捉装置是相机。在额外示例中，所述第一视频分量可以是第一视频帧，而所述第二视频分量可以是第二视频帧。此外，所述第一视频帧可以在时间上与所述第二视频帧相邻。在框1820处，接收与所述第二视频帧分量相关联的运动数据。在示例中，可以使用一个或多个传感器获得所述运动数据。此外，在框1830处，基于与所述第二视频帧分量相关联的运动数据分配与对所述第一视频帧分量进行编码相关联的比特。在示例中，可以分配比特以便对所述第一视频帧进行编码，以使对所述第一视频帧与所述第二视频帧之间的系数进行编码的丢失最小化。在其他示例中，可以分配比特以便对所述第一块进行编码而使对所述第一块与所述第二块之间的系数进行编码的丢失最小化。

本文中针对视频编码所描述的系统、装置和方法可以适用于由各种物体支撑的视频捕捉装置所捕捉的任何视频。具体来说，视频可以由飞行器支撑的视频捕捉装置来捕捉。如前所述，本文中对飞行器(如UAV)的任何描述都可以应用于且用于任何可移动物体。本文中对飞行器的任何描述可以特别适用于UAV。本发明的可移动物体可以被配置成用于在任何合适的环境内移动，如在空中(例如，固定翼飞行器、旋转翼飞行器或既无固定翼也无旋翼的飞行器)、在水中(例如，船舶或潜艇)、在陆地上(例如，机动车，如小汽车、卡车、公共汽车、厢式货车、摩托车、自行车；可移动结构或架构，如拐杖、钓竿；或火车)、地下(例如，地铁)、太空(例如，航天飞机、人造卫星或者探测器)、或这些环境的任意组合。可移动物体可以是载运工具，如本文中其他地方描述的载运工具。在某些实施方式中，可移动物体可以由生物体携带或从生物体上起飞，如人或动物。合适的动物可以包括飞行类动物、犬科动物、猫科动物、马科动物、牛科动物、羊科动物、猪科动物、海豚类动物、啮齿动物、或昆虫。

可移动物体可以能够在环境内关于六个自由度(例如，三个平移自由度和三个旋转自由度)自由运动。备选地，可移动物体的移动可能关于一个或多个自由度受到如预定路线、轨道或朝向的限制。移动可以由任何合适的致动机构(如发动机或电机)来致动。可移动物体的致动机构可以通过任何合适的能源提供动力，如电能、磁能、太阳能、风能、重力能、化学能、核能、或上述能源的任何合适的组合。如本文中其他地方所描述的，可移动物体可以经由推进系统来自推进。所述推进系统可以任选地依靠能源运行，如电能、磁能、太阳能、风能、重力能、化学能、核能、或上述能源的任何合适的组合。备选地，可移动物体可以由生物携带。

在一些情形下，可移动物体可以是飞行器。例如，飞行器可以是固定翼飞行器(例如，飞机、滑翔机)、旋转翼飞行器(例如，直升机、旋翼机)、既有固定翼又有旋翼的飞行器、或既无固定翼也无旋翼的飞行器(例如，飞艇、热气球)。飞行器可以是自推进的，如通过空气自推进。自推进式飞行器可以利用推进系统，如包括一个或多个发动机、电机、轮子、轮轴、磁体、旋翼、螺旋桨、叶片、喷嘴、或上述各项的任何合适的组合的推进系统。在一些情形下，所述推进系统可用于使可移动物体能够从表面起飞、降落在表面上、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。

可移动物体可由用户远程控制，或者由可移动物体内或上的乘员本地控制。所述可移动物体可以经由分开的载运工具内的乘员远程控制。在某些实施方式中，可移动物体是无人可移动物体，如UAV。无人可移动物体(如UAV)可以不具有搭载于可移动物体上的乘员。可移动物体可以由人类或自主控制系统(例如，计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主式或者半自主式机器人，如配置有人工智能的机器人。

可移动物体可以具有任何合适的大小和/或尺寸。在某些实施方式中，可移动物体可以具有一定大小和/或尺寸以在载运工具内或上容纳人类乘员。备选地，可移动物体可具有小于能够在载运工具内或上容纳人类乘员的大小和/或尺寸。可移动物体可以具有适合于被人举起或搬运的大小和/或尺寸。备选地，可移动物体可以比适合于被人举起或搬运的大小何/或尺寸更大。在一些情形下，可移动物体可具有小于或等于大约2cm、5cm、10cm、50cm、1m、2m、5m或10m的最大尺寸(例如，长度、宽度、高度、直径、对角线)。最大尺寸可以大于或等于大约2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对旋翼的轴之间的距离可以小于或者等于大约2cm、5cm、10cm、50cm、1m、2m、5m或10m。备选地，相对旋翼的轴之间的距离可以大于或等于大约2cm、5cm、10cm、50cm、1m、2m、5m或10m。

在某些实施方式中，可移动物体可以具有小于100cm×100cm×100cm、小于50cm×50cm×30cm、或小于5cm×5cm×3cm的体积。可移动物体的总体积可以小于或等于约1cm³、2cm³、5cm³、10cm³、20cm³、30cm³、40cm³、50cm³、60cm³、70cm³、80cm³、90cm³、100cm³、150cm³、200cm³、300cm³、500cm³、750cm³、1000cm³、5000cm³、10,000cm³、100,000cm³、1m³或10m³。相反，可移动物体的总体积可以大于或等于约1cm³、2cm³、5cm³、10cm³、20cm³、30cm³、40cm³、50cm³、60cm³、70cm³、80cm³、90cm³、100cm³、150cm³、200cm³、300cm³、500cm³、750cm³、1000cm³、5000cm³、10,000cm³、100,000cm³、1m³或10m³。

在某些实施方式中，可移动物体可以具有小于或等于约32,000cm²、20,000cm²、10,000cm²、1,000cm²、500cm²、100cm²、50cm²、10cm²或5cm²的占地面积(其可以指由可移动物体所围起的横截面面积)。相反地，所述占地面积可以大于或等于约32,000cm²、20,000cm²、10,000cm²、1,000cm²、500cm²、100cm²、50cm²、10cm²或5cm²。

在一些情形下，可移动物体可以重不超过1000kg。可移动物体的重量可以小于或等于约1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反，所述重量可以大于或等于约1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。

在某些实施方式中，可移动物体可以小于所述可移动物体所承载的载荷。如本文中其他地方进一步详细描述的，载荷可以包括有效载荷和/或载体。在某些示例中，可移动物体重量与载荷重量之比可以大于、小于或等于约1∶1。在一些情形下，可移动物体重量与载荷重量之比可以大于、小于或等于约1∶1。任选地，载体重量与载荷重量之比可以大于、小于或等于1∶1。当需要时，可移动物体重量与载荷重量之比可以小于或等于1∶2、1∶3、1∶4、1∶5、1∶10或甚至更小。相反，可移动物体重量与载荷重量之比还可以大于或等于2∶1、3∶1、4∶1、5∶1、10∶1或甚至更大。

在某些实施方式中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情形下，可移动物体的载体可以具有低能耗。例如，所述载体可以使用小于约5W/h、4W/h、3W/h、2W/h、1W/h或更小。任选地，所述可移动物体的有效载荷可以具有低能耗，如小于约5W/h、4W/h、3W/h、2W/h、1W/h或更小。

图19展示了根据本发明实施方式的无人飞行器(UAV)1900。UAV可以为本文所描述的可移动物体的示例。UAV 1900可以包括推进系统，所述推进系统具有四个旋翼1902、1904、1906和1908。可以提供任何数量的旋翼(例如，一个、两个、三个、四个、五个、六个或更多个)。所述无人飞行器的旋翼、旋翼组件或其他推进系统可以使所述无人飞行器能够悬停/保持位置、改变朝向和/或改变位置。相对旋翼的轴之间的距离可以是任何合适的长度1910。例如，长度1910可以小于或等于2m或小于等于5m。在某些实施方式中，长度1910可以在从40cm至1m、从10cm至2m或从5cm至5m的范围内。本文中对UAV的任何描述都可以适用于可移动物体，如不同类型的可移动物体，并且反之亦然。UAV可以使用本文中所描述的起飞辅助系统或方法。

在某些实施方式中，可移动物体可以被配置成用于承载载荷。所述载荷可以包括乘客、货物、设备、仪器等中的一种或多种。所述载荷可以设置在壳体内。所述壳体可以与可移动物体的壳体相分离，或者是可移动物体的壳体的一部分。备选地，载荷可以配备有壳体而所述可移动物体不具有壳体。备选地，载荷的各部分或整个载荷可以不配备壳体。载荷可以相对于可移动物体刚性固定。任选地，载荷可以是相对于可移动物体可移动的(例如，相对于可移动物体可平移或可旋转)。如本文其他地方所描述的，载荷可以包括有效载荷和/或载体。

在某些实施方式中，可移动物体、载体和有效载荷相对于固定参照系(例如，周围环境)和/或相对于彼此的移动可以由终端控制。所述终端可以是在远离可移动物体、载体和/或有效载荷的位置处的遥控装置。所述终端可以安置在或附着到支撑平台上。备选地，所述终端可以是手持式或可穿戴式装置。例如，所述终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风、或其适合的组合。所述终端可以包括用户接口，如键盘、鼠标、操纵杆、触摸屏或显示器。任何适合的用户输入可用于与所述终端交互，如手动输入命令、语音控制、手势控制、或位置控制(例如，通过终端的移动、定位或倾斜)。

所述终端可用于控制可移动物体、载体和/或有效载荷的任何适合的状态。例如，所述终端可用于控制可移动物体、载体和/或有效载荷相对于固定参照物和/或彼此的位置和/或朝向。在某些实施方式中，所述终端可用于控制可移动物体、载体和/或有效载荷的单独元件，如载体的致动组件、有效载荷的传感器、或者有效载荷的发射体。所述终端可以包括适于与可移动物体、载体或者有效载荷中的一个或多个通信的无线通信装置。

所述终端可以包括用于查看可移动物体、载体和/或有效载荷的信息的合适显示器单元。例如，所述终端可以被配置成用于显示可移动物体、载体和/或有效载荷关于位置、平移速度、平移加速度、朝向、角速度、角加速度、或以上各项的任何合适组合的信息。在某些实施方式中，所述终端可以显示由有效载荷提供的信息，如由功能性有效载荷提供的数据(例如，由相机或其他图像捕捉装置记录的图像)。

任选地，同一终端可以既控制可移动物体、载体和/或有效载荷、或可移动物体、载体和/或有效载荷的状态，又接收和/或显示来自可移动物体、载体和/或有效载荷的信息。例如，终端可以控制有效载荷相对于环境的定位，同时显示由有效载荷捕捉到的图像数据或关于有效载荷的位置的信息。备选地，不同的终端可用于不同功能。例如，第一终端可以控制可移动物体、载体和/或有效载荷的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载体和/或有效载荷的信息。例如，第一终端可用于控制有效载荷相对于环境的定位，而第二终端显示由有效载荷捕捉到的图像数据。可以在可移动物体与既控制可移动物体又接收数据的综合式终端之间、或在可移动物体与既控制可移动物体又接收数据的多个终端之间使用不同的通信模式。例如，在可移动物体与既控制可移动物体又从可移动物体接收数据的终端之间可以形成至少两种不同的通信模式。

图20展示了根据实施方式的可移动物体2000，所述可移动物体包括载体2002和有效载荷2004。虽然可移动物体2000被描述为飞行器，但此描绘并不旨在是限制性的，并且可以使用任何合适类型的可移动物体，如本文中之前所描述的。本领域的技术人员应认识到，本文中在飞行器系统背景下所描述的任何实施方式可以适用于任何合适的可移动物体(例如，UAV)。在一些情形下，有效载荷2004可以设置在可移动物体2000上而无需载体2002。可移动物体2000可以包括推进机构2006、感测系统2008和通信系统2010。

如前所述，推进机构2006可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轮轴、磁体、或喷嘴中的一项或多项。所述可移动物体可以具有一个或多个、两个或更多个、三个或更多个、或四个或更多个推进机构。所述推进机构可以全部是相同的类型。备选地，一个或多个推进机构可以是不同类型的推进机构。所述推进机构2006可以使用任何合适的手段安装在可移动物体2000上，如本文中其他地方所述的支撑元件(例如，传动轴)。推进机构2006可以安装在可移动物体2000的任何合适的部分上，如在顶部、底部、前、后、侧面、或其合适的组合上。

在某些实施方式中，推进机构2006可以使可移动物体2000能够从表面垂直起飞或垂直降落在表面上而不需要可移动物体2000的任何水平移动(例如，不需要在跑道上滑行)。任选地，推进机构2006可以操作以允许可移动物体2000在空中悬停在指定位置和/或朝向。推进机构2000中的一个或多个推进机构可以独立于其他推进机构而受到控制。备选地，推进机构2000可以被配置成被同时控制。例如，可移动物体2000可以具有多个水平取向的旋翼，所述旋翼可以为可移动物体提供升力和/或推力。可以致动多个水平取向的旋翼以便为可移动物体2000提供垂直起飞、垂直着陆和悬停能力。在某些实施方式中，所述水平取向的旋翼中的一个或多个旋翼可以在顺时针方向上自旋，而所述水平旋翼中的一个或多个旋翼可以在逆时针方向上自旋。例如，顺时针旋翼的数量可以与逆时针旋翼的数量相同。每个水平取向的旋翼的旋转速率可以独立地变化以控制由每个旋翼产生的升力和/或推力，并且由此调整可移动物体2000的空间布局、速度和/或加速度(例如，关于多达三个平移度和多达三个旋转度)。

感测系统2008可以包括可以感测可移动物体2000的空间布局、速度、和/或加速度(例如，关于多达三个平移度和多达三个旋转度)的一个或多个传感器。所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、接近度传感器、或图像传感器。感测系统2008所提供的感测数据可用于控制可移动物体2000的空间布局、速度、和/或朝向(例如，如下所述，使用适合的处理单元和/或控制模块)。备选地，感测系统2008可用于提供关于可移动物体周围环境的数据，如天气状况、至潜在障碍物的接近度、地理特征的位置、人造结构的位置等等。

通信系统2010能够经由无线信号2016与具有通信系统2014的终端2012通信。通信系统2010、2014可以包括任何数量的发射器、接收器、和/或适合于无线通信的收发器。通信可以是单向通信，使得数据可以仅朝一个方向传输。例如，单向通信可以涉及仅可移动物体2000向终端2012传输数据，或反之亦然。数据可以从通信系统2010的一个或多个发射器传输到通信系统2012的一个或多个接收器，或反之亦然。备选地，通信可以是双向通信，使得数据可以在可移动物体2000与终端2012之间朝两个方向传输。双向通信可以涉及将数据从通信系统2010的一个或多个发射器传输至通信系统2014的一个或多个接收器，并且反之亦然。

在某些实施方式中，终端2012可以向可移动物体2000、载体2002和有效载荷2004中的一个或多个提供控制数据，并且从可移动物体2000、载体2002和有效载荷2004中的一个或多个接收信息(例如，可移动物体、载体或有效载荷的位置和/或运动信息；有效载荷所感测到的数据，如有效载荷照相机所捕捉的图像数据)。在一些情形下，来自终端的控制数据可以包括关于可移动物体、载体、和/或有效载荷的相对位置、移动、致动或控制的指令。例如，控制数据可以导致对可移动物体的位置和/或朝向的修改(例如，通过对推进机构2006的控制)、或有效载荷相对于可移动物体的移动(例如，通过对载体2002的控制)。来自终端的控制数据可以导致对有效载荷的控制，如对相机或其他图像捕捉装置的操作的控制(例如，拍摄静止或运动照片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视场)。在一些情形下，来自可移动物体、载体和/或有效载荷的通信可以包括来自(例如，感测系统2008的或有效载荷2004的)一个或多个传感器的信息。所述通信可以包括来自一种或多种不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、接近度传感器或图像传感器)的感测信息。这种信息可能与可移动物体、载体和/或有效载荷的定位(例如，位置、朝向)、移动或加速度有关。来自有效载荷的这种信息可以包括有效载荷捕捉到的数据或感测到的有效载荷的状态。由终端2012提供、传输的控制数据可以被配置成用于控制可移动物体2000、载体2002、或有效载荷2004中的一个或多个的状态。备选地或组合地，载体2002和有效载荷2004还可以各自包括被配置成用于与终端2012通信的通信模块，使得所述终端可以独立地与可移动物体2000、载体2002和有效载荷2004中的每一个通信并对其进行控制。

在某些实施方式中，可移动物体2000可以被配置成用于除了与终端2012通信以外或替代与终端2012通信还与另一远程装置通信。终端2012还可以被配置成用于与另一远程装置以及可移动物体2000通信。例如，可移动物体2000和/或终端2012可以与另一可移动物体、或另一可移动物体的载体或有效载荷通信。在需要时，远程装置可以是第二终端或其他计算装置(例如，计算机、膝上型计算机、平板计算机、智能电话、或者其他移动装置)。所述远程装置可以被配置成用于将数据传输到可移动物体2000、从可移动物体2000接收数据、将数据传输到终端2012、和/或从终端2012接收数据。任选地，所述远程装置可以连接到因特网或其他电信网络，使得从可移动物体2000和/或终端2012接收到的数据可以上传到网站或服务器。

图21是根据实施方式的用于控制可移动物体的系统2100的框图示意图。系统2100可以与本文中披露的系统、装置和方法的任何合适的实施方式组合使用。系统2100可以包括感测模块2102、处理单元2104、非暂时性计算机可读介质2106、控制模块2108和通信模块2110。

感测模块2102可以利用以不同方式收集与可移动物体相关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或来自不同来源的信号。例如，所述传感器可以包括惯性传感器、GPS传感器、接近度传感器(例如，激光雷达)、或视觉/图像传感器(例如，相机)。感测模块2102可操作性地耦合到具有多个处理器的处理单元2104。在某些实施方式中，感测模块可以操作性地耦合至传输模块2112(例如，Wi-Fi图像传输模块)，所述传输模块被配置成用于将感测数据直接传输至合适的外部装置或系统。例如，传输模块2112可用于将感测模块2102的相机捕捉到的图像传输至远程终端。

处理单元2104可以具有一个或多个处理器，如可编程处理器(例如，中央处理单元(CPU))。处理单元2104可以操作性地耦合至非暂时性计算机可读介质2106。非暂时性计算机可读介质2106可以存储逻辑、代码、和/或处理单元2104可执行的用于执行一个或多个步骤的程序指令。所述非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移除式介质或外部存储器，如SD卡或随机存取存储器(RAM))。在某些实施方式中，来自感测模块2102的数据可以直接传送至并存储在非暂时性计算机可读介质2106的存储器单元内。非暂时性计算机可读介质2106的存储器单元可以存储逻辑、代码和/或处理单元2104可执行的用于执行本文中所描述的方法的任何合适的实施方式的程序指令。例如，处理单元2104可以被配置成用于执行指令，所述指令致使处理单元2104的一个或多个处理器分析感测模块所产生的感测数据。所述存储器单元可以存储来自感测模块的感测数据以待由处理单元2104进行处理。在某些实施方式中，非暂时性计算机可读介质2106的存储单元可用于存储处理单元2104产生的处理结果。

在某些实施方式中，处理单元2104可以操作性地耦合至控制模块2108，所述控制模块被配置成用于控制可移动物体的状态。例如，控制模块2108可以被配置成用于控制可移动物体的推进机构来关于六个自由度调整可移动物体的空间布局、速度和/或加速度。备选地或组合地，控制模块2108可以控制载体、有效载荷、或感测模块的状态中的一个或多个。

处理单元2104可以操作性地耦合至通信模块2110，所述通信模块被配置成用于传输和/或接收来自一个或多个外部装置(例如，终端、显示装置、或其他遥控器)的数据。可以使用任何合适的通信手段，如有线通信或无线通信。例如，通信模块2110可以利用局域网(LAN)、广域网(WAN)、红外、无线电、WiFi、点到点(P2P)网络、电信网络、云通信等等中的一个或多个。任选地，可以使用中继站，如塔、人造卫星、或移动站。无线通信可以依赖于接近度或独立于接近度。在某些实施方式中，通信可能需要或可能不需要视线。通信模块2110可以传输和/或接收以下各项中的一项或多项：来自感测模块2102的感测数据、处理单元2104产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等等。

系统2100的部件可以安排成任何合适的配置。例如，系统2100的一个或多个部件可以被定位在可移动物体、载体，有效载荷、终端、感测系统、或与以上各项中的一项或多项通信的额外外部装置上。此外，尽管图21描绘了单个处理单元2104和单个非暂时性计算机可读介质2106，但本领域的技术人员应认识到，这并不旨在是限制性的，并且系统2100可以包括多个处理单元和/或非暂时性计算机可读介质。在某些实施方式中，所述多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同位置，如在可移动物体、载体，有效载荷、终端、感测模块、与以上各项中的一项或多项通信的额外外部装置上、或以上各项的合适组合，使得系统2100执行的处理和/或存储器功能的任何合适的方面可以在上述位置中的一个或多个位置处发生。

虽然本文中已经示出和描述了本发明的优选实施方式，但对于本领域的技术人员而言显而易见的是，这样的实施方式只是以举例方式来提供。本领域的技术人员现将想到许多变化、改变以及替代，而不脱离本发明。应理解的是，可以在实践本发明时采用本文中所描述的本发明实施方式的各种替代方案。希望以下权利要求书限定本发明的范围，并且由此涵盖在这些权利要求的范围内的方法和结构以及其等效物。

Claims

1.一种基于运动数据确定量化步长以便对视频进行编码的方法，所述方法包括：

接收由图像捕捉装置捕捉的视频，所述视频包括视频帧分量；

接收与所述视频帧分量相关联的运动数据；以及

基于所述运动数据确定量化步长以便对所述视频帧分量进行编码。

2.如权利要求1所述的方法，其中，所述图像捕捉装置是视频捕捉装置。

3.如权利要求1所述的方法，其中，所述图像捕捉装置是摄像机。

4.如权利要求1所述的方法，其中，所述图像捕捉装置安装在可移动物体上。

5.如权利要求4所述的方法，其中，所述可移动物体是无人飞行器(UAV)。

6.如权利要求5所述的方法，其中，当所述UAV在飞行中时，发生捕捉所述视频的步骤。

7.如权利要求1所述的方法，其中，所述运动数据是使用一个或多个传感器获得的。

8.如权利要求7所述的方法，其中，所述一个或多个传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

9.如权利要求1所述的方法，其中，所述运动数据包括光流场数据。

10.如权利要求1所述的方法，其中，所述视频帧分量是第一视频帧。

11.如权利要求10所述的方法，其中，所述运动数据指示所述第一视频帧具有超过阈值移动度的移动度。

12.如权利要求11所述的方法，还包括：

基于所述第一视频帧具有超过阈值移动度的移动度来选择第一量化步长以便对所述第一视频帧进行编码。

13.如权利要求10所述的方法，其中，所述视频还包括第二视频帧分量。

14.如权利要求13所述的方法，其中，所述第二视频帧分量是具有下降到阈值移动度以下的移动度的第二视频帧。

15.如权利要求14所述的方法，还包括：

基于所述第二视频帧具有下降到阈值移动度以下的移动度来选择第二量化步长以便对所述第二视频帧进行编码。

16.一种包含多条程序指令的非暂时性计算机可读介质，所述程序指令用于基于运动数据确定量化步长以便对视频进行编码，所述计算机可读介质包括：

用于接收由图像捕捉装置捕捉的视频的程序指令，所述视频包括视频帧分量；

用于接收与所述视频帧分量相关联的运动数据的程序指令；以及

用于基于所述运动数据确定量化步长以便对所述视频帧分量进行编码的程序指令。

17.如权利要求16所述的计算机可读介质，其中，所述图像捕捉装置是视频捕捉装置。

18.如权利要求16所述的计算机可读介质，其中，所述图像捕捉装置是摄像机。

19.如权利要求16所述的计算机可读介质，其中，所述图像捕捉装置安装在可移动物体上。

20.如权利要求19所述的计算机可读介质，其中，所述可移动物体是无人飞行器(UAV)。

21.如权利要求20所述的计算机可读介质，其中，当所述UAV在飞行中时发生捕捉所述视频的步骤。

22.如权利要求16所述的计算机可读介质，其中，所述运动数据是使用一个或多个传感器获得的。

23.如权利要求22所述的计算机可读介质，其中，所述一个或多个传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

24.如权利要求16所述的计算机可读介质，其中，所述运动数据包括光流场数据。

25.如权利要求16所述的计算机可读介质，其中，所述视频帧分量是第一视频帧。

26.如权利要求25所述的计算机可读介质，其中，所述运动数据指示所述第一视频帧具有超过阈值移动度的移动度。

27.如权利要求26所述的计算机可读介质，还包括：

用于基于所述第一视频帧具有超过阈值移动度的移动度来选择第一量化步长以便对所述第一视频帧进行编码的程序指令。

28.如权利要求25所述的计算机可读介质，其中，所述视频还包括第二视频帧分量。

29.如权利要求28所述的计算机可读介质，其中，所述第二视频帧分量是具有下降到阈值移动度以下的移动度的第二视频帧。

30.如权利要求29所述的计算机可读介质，还包括：

用于基于所述第二视频帧具有下降到阈值移动度以下的移动度来选择第二量化步长以便对所述第二视频帧进行编码的程序指令。

31.一种用于基于运动数据确定量化步长以便对视频进行编码的系统，所述系统包括：

图像捕捉装置，所述图像捕捉装置被配置成用于捕捉视频；以及

一个或多个处理器，所述一个或多个处理器单独地或共同地被配置成用于：

接收由所述图像捕捉装置所捕捉的所述视频，所述视频包括视频帧分量；

接收与所述视频帧分量相关联的运动数据；以及

32.如权利要求31所述的系统，其中，所述图像捕捉装置是视频捕捉装置。

33.如权利要求31所述的系统，其中，所述图像捕捉装置是摄像机。

34.如权利要求31所述的系统，其中，所述图像捕捉装置安装在可移动物体上。

35.如权利要求34所述的系统，其中，所述可移动物体是无人飞行器(UAV)。

36.如权利要求35所述的系统，其中，当所述UAV在飞行中时发生捕捉所述视频的步骤。

37.如权利要求31所述的系统，其中，所述运动数据是使用一个或多个传感器获得的。

38.如权利要求37所述的系统，其中，所述一个或多个传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

39.如权利要求31所述的系统，其中，所述运动数据包括光流场数据。

40.如权利要求31所述的系统，其中，所述视频帧分量是第一视频帧。

41.如权利要求40所述的系统，其中，所述运动数据指示所述第一视频帧具有超过阈值移动度的移动度。

42.如权利要求41所述的系统，其中，一个或多个处理器还被配置成用于基于所述第一视频帧具有超过阈值移动度的移动度来选择第一量化步长以便对所述第一视频帧进行编码。

43.如权利要求40所述的系统，其中，所述视频还包括第二视频帧分量。

44.如权利要求43所述的系统，其中，所述第二视频帧分量是具有下降到阈值移动度以下的移动度的第二视频帧。

45.如权利要求44所述的系统，其中，一个或多个处理器还被配置成用于基于所述第二视频帧具有下降到阈值移动度以下的移动度来选择第二量化步长以便对所述第二视频帧进行编码。

46.一种基于运动数据确定量化步长以便对视频进行编码的方法，所述方法包括：

接收由图像捕捉装置捕捉的视频，所述视频包括第一视频帧分量和第二视频帧分量；

接收与所述第二视频帧分量相关联的运动数据；以及

基于与所述第二视频帧分量相关联的所述运动数据确定量化步长以便对所述第一视频帧分量进行编码。

47.如权利要求46所述的方法，其中，所述图像捕捉装置是视频捕捉装置。

48.如权利要求46所述的方法，其中，所述图像捕捉装置是摄像机。

49.如权利要求46所述的方法，其中，所述图像捕捉装置安装在可移动物体上。

50.如权利要求49所述的方法，其中，所述可移动物体是无人飞行器(UAV)。

51.如权利要求50所述的方法，其中，当所述UAV在飞行中时，发生捕捉所述视频的步骤。

52.如权利要求46所述的方法，其中，所述运动数据是使用一个或多个传感器获得的。

53.如权利要求52所述的方法，其中，所述一个或多个传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

54.如权利要求46所述的方法，其中，所述运动数据包括光流场数据。

55.如权利要求46所述的方法，其中，所述第一视频分量是第一视频帧，并且所述第二视频分量是第二视频帧。

56.如权利要求55所述的方法，其中，所述第一视频帧在时间上与所述第二视频帧相邻。

57.如权利要求56所述的方法，其中，所述第一视频帧直接在所述第二视频帧之后。

58.如权利要求56所述的方法，其中，所述第一视频帧直接在所述第二视频帧之前。

59.如权利要求55所述的方法，其中，所述运动数据指示所述第一视频帧与所述第二视频帧之间的移动超过预定阈值。

60.如权利要求59所述的方法，还包括：

基于对所述第一视频帧与所述第二视频帧之间的移动超过预定阈值的指示来选择量化步长以便对所述第一视频帧进行编码，所述量化步长使对所述第一视频帧与所述第二视频帧之间的系数进行编码的丢失最小化。

61.一种包含多条程序指令的非暂时性计算机可读介质，所述程序指令用于基于运动数据确定量化步长以便对视频进行编码，所述计算机可读介质包括：

用于接收由图像捕捉装置捕捉的视频的程序指令，所述视频包括第一视频帧分量和第二视频帧分量；

用于接收与所述第二视频帧分量相关联的运动数据的程序指令；以及

用于基于与所述第二视频帧分量相关联的所述运动数据确定量化步长以便对所述第一视频帧分量进行编码的程序指令。

62.如权利要求61所述的计算机可读介质，其中，所述图像捕捉装置是视频捕捉装置。

63.如权利要求61所述的计算机可读介质，其中，所述图像捕捉装置是摄像机。

64.如权利要求61所述的计算机可读介质，其中，所述图像捕捉装置安装在可移动物体上。

65.如权利要求64所述的计算机可读介质，其中，所述可移动物体是无人飞行器(UAV)。

66.如权利要求65所述的计算机可读介质，其中，当所述UAV在飞行中时发生捕捉所述视频的步骤。

67.如权利要求61所述的计算机可读介质，其中，所述运动数据是使用一个或多个传感器获得的。

68.如权利要求67所述的计算机可读介质，其中，所述一个或多个传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

69.如权利要求61所述的计算机可读介质，其中，所述运动数据包括光流场数据。

70.如权利要求61所述的计算机可读介质，其中，所述第一视频分量是第一视频帧并且所述第二视频分量是第二视频帧。

71.如权利要求70所述的计算机可读介质，其中，所述第一视频帧在时间上与所述第二视频帧相邻。

72.如权利要求71所述的计算机可读介质，其中，所述第一视频帧直接在所述第二视频帧之后。

73.如权利要求71所述的计算机可读介质，其中，所述第一视频帧直接在所述第二视频帧之前。

74.如权利要求70所述的计算机可读介质，其中，所述运动数据指示所述第一视频帧与所述第二视频帧之间的移动超过预定阈值。

75.如权利要求74所述的计算机可读介质，还包括：

用于基于对所述第一视频帧与所述第二视频帧之间的移动超过预定阈值的指示来选择量化步长以便对所述第一视频帧进行编码的程序指令，所述量化步长使对所述第一视频帧与所述第二视频帧之间的系数进行编码的丢失最小化。

76.一种用于基于运动数据确定量化步长以便对视频进行编码的系统，所述系统包括：

接收与所述第二视频帧分量相关联的运动数据；以及

77.如权利要求76所述的系统，其中，所述图像捕捉装置是视频捕捉装置。

78.如权利要求76所述的系统，其中，所述图像捕捉装置是摄像机。

79.如权利要求76所述的系统，其中，所述图像捕捉装置安装在可移动物体上。

80.如权利要求79所述的系统，其中，所述可移动物体是无人飞行器(UAV)。

81.如权利要求80所述的系统，其中，当所述UAV在飞行中时发生捕捉所述视频的步骤。

82.如权利要求76所述的系统，其中，所述运动数据是使用一个或多个传感器获得的。

83.如权利要求82所述的系统，其中，所述一个或多个传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

84.如权利要求76所述的系统，其中，所述运动数据包括光流场数据。

85.如权利要求76所述的系统，其中，所述第一视频分量是第一视频帧，并且所述第二视频分量是第二视频帧。

86.如权利要求85所述的系统，其中，所述第一视频帧在时间上与所述第二视频帧相邻。

87.如权利要求86所述的系统，其中，所述第一视频帧直接在所述第二视频帧之后。

88.如权利要求86所述的系统，其中，所述第一视频帧直接在所述第二视频帧之前。

89.如权利要求85所述的系统，其中，所述运动数据指示所述第一视频帧与所述第二视频帧之间的移动超过预定阈值。

90.如权利要求89所述的系统，还包括基于对所述第一视频帧与所述第二视频帧之间的移动超过预定阈值的指示来选择量化步长以便对所述第一视频帧进行编码，所述量化步长使对所述第一视频帧与所述第二视频帧之间的系数进行编码的丢失最小化。

91.一种基于运动数据进行比特分配以便对视频进行编码的方法，所述方法包括：

接收与所述视频帧分量相关联的运动数据；以及

基于所述运动数据分配与对所述视频帧分量进行编码相关联的比特。

92.如权利要求91所述的方法，其中，所述图像捕捉装置是视频捕捉装置。

93.如权利要求91所述的方法，其中，所述图像捕捉装置是摄像机。

94.如权利要求91所述的方法，其中，所述图像捕捉装置安装在可移动物体上。

95.如权利要求94所述的方法，其中，所述可移动物体是无人飞行器(UAV)。

96.如权利要求95所述的方法，其中，当所述UAV在飞行中时，发生捕捉所述视频的步骤。

97.如权利要求91所述的方法，其中，所述运动数据是使用一个或多个传感器获得的。

98.如权利要求97所述的方法，其中，所述一个或多个传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

99.如权利要求91所述的方法，其中，所述运动数据包括光流场数据。

100.如权利要求91所述的方法，其中，所述视频帧分量是视频帧。

101.如权利要求100所述的方法，其中，所述运动数据指示所述视频帧的第一部分具有比所述视频帧的第二部分更高的移动度。

102.如权利要求101所述的方法，还包括：

为对所述视频帧的所述第一部分进行编码分配比为对所述视频帧的所述第二部分进行编码更多的比特。

103.如权利要求91所述的方法，其中，所述视频帧分量是在包括有多个块的视频帧内的块。

104.如权利要求103所述的方法，其中，所述运动数据指示所述块具有超过预定阈值的移动。

105.如权利要求104所述的方法，还包括：

为对所述块进行编码而分配与具有超过预定阈值的移动的所述块相当的比特量。

106.如权利要求103所述的方法，其中，所述运动数据指示所述块具有下降到预定阈值以下的移动。

107.如权利要求106所述的方法，还包括：

为对所述块进行编码而分配与具有下降到预定阈值以下的移动的所述块相当的比特量。

108.如权利要求103所述的方法，还包括：

选择分配比特量，其中，相对于当所述运动数据指示较低移动度时所选择的较低的分配比特量，当所述运动数据指示较高移动度时，选择较高的分配比特量。

109.一种包含多条程序指令的非暂时性计算机可读介质，所述程序指令用于基于运动数据进行比特分配以便对视频进行编码，所述计算机可读介质包括：

用于基于所述运动数据分配与对所述视频帧分量进行编码相关联的比特的程序指令。

110.如权利要求109所述的计算机可读介质，其中，所述图像捕捉装置是视频捕捉装置。

111.如权利要求109所述的计算机可读介质，其中，所述图像捕捉装置是摄像机。

112.如权利要求109所述的计算机可读介质，其中，所述图像捕捉装置安装在可移动物体上。

113.如权利要求112所述的计算机可读介质，其中，所述可移动物体是无人飞行器(UAV)。

114.如权利要求113所述的计算机可读介质，其中，当所述UAV在飞行中时发生捕捉所述视频的步骤。

115.如权利要求109所述的计算机可读介质，其中，所述运动数据是使用一个或多个传感器获得的。

116.如权利要求115所述的计算机可读介质，其中，所述一个或多个传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

117.如权利要求109所述的计算机可读介质，其中，所述运动数据包括光流场数据。

118.如权利要求109所述的计算机可读介质，其中，所述视频帧分量是视频帧。

119.如权利要求118所述的计算机可读介质，其中，所述运动数据指示所述视频帧的第一部分具有比所述视频帧的第二部分更高的移动度。

120.如权利要求119所述的计算机可读介质，还包括为对所述视频帧的所述第一部分进行编码而分配比为对所述视频帧的所述第二部分进行编码更多的比特。

121.如权利要求109所述的计算机可读介质，其中，所述视频帧分量是在包括有多个块的视频帧内的块。

122.如权利要求121所述的计算机可读介质，其中，所述运动数据指示所述块具有超过预定阈值的移动。

123.如权利要求122所述的计算机可读介质，还包括：

124.如权利要求121所述的计算机可读介质，其中，所述运动数据指示所述块具有下降到预定阈值以下的移动。

125.如权利要求124所述的计算机可读介质，还包括：

用于为对所述块进行编码而分配与具有下降到预定阈值以下的移动的所述块相当的比特量的程序指令。

126.如权利要求121所述的计算机可读介质，还包括：

用于选择分配比特量的程序指令，其中，相对于当所述运动数据指示较低移动度时所选择的较低的分配比特量，当所述运动数据指示较高移动度时，选择较高的分配比特量。

127.一种用于基于运动数据进行比特分配以便对视频进行编码的系统，所述系统包括：

一个或多个处理器，所述一个或多个处理器被配置成用于：

接收与所述视频帧分量相关联的运动数据；以及

128.如权利要求127所述的系统，其中，所述图像捕捉装置是视频捕捉装置。

129.如权利要求127所述的系统，其中，所述图像捕捉装置是摄像机。

130.如权利要求127所述的系统，其中，所述图像捕捉装置安装在可移动物体上。

131.如权利要求130所述的系统，其中，所述可移动物体是无人飞行器(UAV)。

132.如权利要求131所述的系统，其中，当所述UAV在飞行中时发生捕捉所述视频的步骤。

133.如权利要求127所述的系统，其中，所述运动数据是使用一个或多个传感器获得的。

134.如权利要求133所述的系统，其中，所述一个或多个传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

135.如权利要求127所述的系统，其中，所述运动数据包括光流场数据。

136.如权利要求127所述的系统，其中，所述视频帧分量是视频帧。

137.如权利要求136所述的系统，其中，所述运动数据指示所述视频帧的第一部分具有比所述视频帧的第二部分更高的移动度。

138.如权利要求137所述的系统，其中，所述一个或多个处理器还被配置成用于为对所述视频帧的所述第一部分进行编码分配比为对所述视频帧的所述第二部分进行编码更多的比特。

139.如权利要求127所述的系统，其中，所述视频帧分量是在包括有多个块的视频帧内的块。

140.如权利要求139所述的系统，其中，所述运动数据指示所述块具有超过预定阈值的移动。

141.如权利要求140所述的系统，其中，所述一个或多个处理器还被配置成用于为对所述块进行编码而分配与具有超过预定阈值的移动的所述块相当的比特量。

142.如权利要求139所述的系统，其中，所述运动数据指示所述块具有下降到预定阈值以下的移动。

143.如权利要求142所述的系统，还包括用于为对所述块进行编码而分配与具有下降到预定阈值以下的移动的所述块相当的比特量。

144.如权利要求139所述的系统，其中，所述一个或多个处理器还被配置成用于选择分配比特量，其中，相对于当所述运动数据指示较低移动度时所选择的较低的分配比特量，当所述运动数据指示较高移动度时，选择较高的分配比特量。

145.一种基于运动数据进行比特分配以便对视频进行编码的方法，所述方法包括：

接收与所述第二视频帧分量相关联的运动数据；以及

基于与所述第二视频帧分量相关联的所述运动数据分配与对所述第一视频帧分量进行编码相关联的比特。

146.如权利要求145所述的方法，其中，所述图像捕捉装置是视频捕捉装置。

147.如权利要求145所述的方法，其中，所述图像捕捉装置是摄像机。

148.如权利要求145所述的方法，其中，所述图像捕捉装置安装在可移动物体上。

149.如权利要求148所述的方法，其中，所述可移动物体是无人飞行器(UAV)。

150.如权利要求149所述的方法，其中，当所述UAV在飞行中时，发生捕捉所述视频的步骤。

151.如权利要求145所述的方法，其中，所述运动数据是使用一个或多个传感器获得的。

152.如权利要求151所述的方法，其中，所述一个或多个传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

153.如权利要求145所述的方法，其中，所述运动数据包括光流场数据。

154.如权利要求145所述的方法，其中，所述第一视频分量是第一视频帧，并且所述第二视频分量是第二视频帧。

155.如权利要求154所述的方法，其中，所述第一视频帧在时间上与所述第二视频帧相邻。

156.如权利要求155所述的方法，其中，所述第一视频帧直接在所述第二视频帧之后。

157.如权利要求155所述的方法，其中，所述第一视频帧直接在所述第二视频帧之前。

158.如权利要求145所述的方法，其中，所述运动数据指示所述第一视频帧与所述第二视频帧之间的移动超过预定阈值。

159.如权利要求158所述的方法，还包括：

为对所述第一视频帧进行编码而分配比特量以使对所述第一视频帧与所述第二视频帧之间的系数进行编码的丢失最小化。

160.如权利要求145所述的方法，其中，所述第一视频分量是第一块，并且所述第二视频分量是第二块。

161.如权利要求160所述的方法，其中，所述第一块与所述第二块在同一视频帧内。

162.如权利要求161所述的方法，其中，所述第一块与所述第二块在所述视频帧的同一部分内。

163.如权利要求160所述的方法，其中，所述第一块与所述第二块在不同视频帧内。

164.如权利要求163所述的方法，其中，运动向量穿过所述第一块和所述第二块。

165.如权利要求163所述的方法，其中，所述第一块在时间上与所述第二块相邻。

166.如权利要求165所述的方法，其中，所述第一块在时间上直接在所述第二块之后。

167.如权利要求165所述的方法，其中，所述第一块在时间上直接在所述第二块之前。

168.如权利要求160所述的方法，所述运动数据指示所述第一块与所述第二块之间的移动超过预定阈值。

169.如权利要求168所述的方法，还包括：

为对所述第一块进行编码而分配使对所述第一块与所述第二块之间的所述系数进行编码的丢失最小化的比特量。

170.如权利要求160所述的方法，其中，所述第二块的运动数据指示所述第二块具有超过预定阈值的移动。

171.如权利要求170所述的方法，还包括：

为对所述第一块进行编码而分配与具有超过预定阈值的移动的所述第二块相当的比特量。

172.如权利要求160所述的方法，其中，所述第二块的所述运动数据指示所述第二块具有下降到预定阈值以下的移动。

173.如权利要求172所述的方法，还包括为对所述第一块进行编码而分配与具有下降到预定阈值以下的移动的所述第二块相当的比特量。

174.一种包含多条程序指令的非暂时性计算机可读介质，所述程序指令用于基于运动数据进行比特分配以便对视频进行编码，所述计算机可读介质包括：

用于基于与所述第二视频帧分量相关联的所述运动数据分配与对所述第一视频帧分量进行编码相关联的比特的程序指令。

175.如权利要求174所述的计算机可读介质，其中，所述图像捕捉装置是视频捕捉装置。

176.如权利要求174所述的计算机可读介质，其中，所述图像捕捉装置是摄像机。

177.如权利要求174所述的计算机可读介质，其中，所述图像捕捉装置安装在可移动物体上。

178.如权利要求177所述的计算机可读介质，其中，所述可移动物体是无人飞行器(UAV)。

179.如权利要求178所述的计算机可读介质，其中，当所述UAV在飞行中时发生捕捉所述视频的步骤。

180.如权利要求174所述的计算机可读介质，其中，所述运动数据是使用一个或多个传感器获得的。

181.如权利要求180所述的计算机可读介质，其中，所述一个或多个传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

182.如权利要求174所述的计算机可读介质，其中，所述运动数据包括光流场数据。

183.如权利要求174所述的计算机可读介质，其中，所述第一视频分量是第一视频帧并且所述第二视频分量是第二视频帧。

184.如权利要求183所述的计算机可读介质，其中，所述第一视频帧在时间上与所述第二视频帧相邻。

185.如权利要求184所述的计算机可读介质，其中，所述第一视频帧直接在所述第二视频帧之后。

186.如权利要求184所述的计算机可读介质，其中，所述第一视频帧直接在所述第二视频帧之前。

187.如权利要求183所述的计算机可读介质，其中，所述运动数据指示所述第一视频帧与所述第二视频帧之间的移动超过预定阈值。

188.如权利要求187所述的计算机可读介质，还包括：

用于为对所述第一视频帧进行编码而分配比特量以使对所述第一视频帧与所述第二视频帧之间的系数进行编码的丢失最小化的程序指令。

189.如权利要求174所述的计算机可读介质，其中，所述第一视频分量是第一块，并且所述第二视频分量是第二块。

190.如权利要求189所述的计算机可读介质，其中，所述第一块与所述第二块在同一视频帧内。

191.如权利要求190所述的计算机可读介质，其中，所述第一块与所述第二块在所述视频帧的同一个部分内。

192.如权利要求189所述的计算机可读介质，其中，所述第一块与所述第二块在不同视频帧内。

193.如权利要求192所述的计算机可读介质，其中，运动向量穿过所述第一块和所述第二块。

194.如权利要求192所述的计算机可读介质，其中，所述第一块在时间上与所述第二块相邻。

195.如权利要求194所述的计算机可读介质，其中，所述第一块在时间上直接在所述第二块之后。

196.如权利要求194所述的计算机可读介质，其中，所述第一块在时间上直接在所述第二块之前。

197.如权利要求189所述的计算机可读介质，所述运动数据指示所述第一块与所述第二块之间的移动超过预定阈值。

198.如权利要求197所述的计算机可读介质，还包括：

用于为对所述第一块进行编码而分配使对所述第一块与所述第二块之间的所述系数进行编码的丢失最小化的比特量的程序指令。

199.如权利要求189所述的计算机可读介质，其中，所述第二块的运动数据指示所述第二块具有超过预定阈值的移动。

200.如权利要求199所述的计算机可读介质，还包括：

为对所述第一块进行编码而分配与具有超过预定阈值的移动的所述第二块相当的比特量的程序指令。

201.如权利要求189所述的计算机可读介质，其中，所述第二块的所述运动数据指示所述第二块具有下降到预定阈值以下的移动。

202.如权利要求201所述的计算机可读介质，还包括：

用于为对所述第一块进行编码而分配与具有下降到预定阈值以下的移动的所述第二块相当的比特量的程序指令。

203.一种用于基于运动数据进行比特分配以便对视频进行编码的系统，所述系统包括：

一个或多个处理器，所述一个或多个处理器被配置成用于：

接收与所述第二视频帧分量相关联的运动数据；以及

204.如权利要求203所述的系统，其中，所述图像捕捉装置是视频捕捉装置。

205.如权利要求203所述的系统，其中，所述图像捕捉装置是摄像机。

206.如权利要求203所述的系统，其中，所述图像捕捉装置安装在可移动物体上。

207.如权利要求206所述的系统，其中，所述可移动物体是无人飞行器(UAV)。

208.如权利要求207所述的系统，其中，当所述UAV在飞行中时发生捕捉所述视频的步骤。

209.如权利要求203所述的系统，其中，所述运动数据是使用一个或多个传感器获得的。

210.如权利要求209所述的系统，其中，所述一个或多个传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

211.如权利要求203所述的系统，其中，所述运动数据包括光流场数据。

212.如权利要求203所述的系统，其中，所述第一视频分量是第一视频帧，并且所述第二视频分量是第二视频帧。

213.如权利要求212所述的系统，其中，所述第一视频帧在时间上与所述第二视频帧相邻。

214.如权利要求213所述的系统，其中，所述第一视频帧直接在所述第二视频帧之后。

215.如权利要求213所述的系统，其中，所述第一视频帧直接在所述第二视频帧之前。

216.如权利要求212所述的系统，其中，所述运动数据指示所述第一视频帧与所述第二视频帧之间的移动超过预定阈值。

217.如权利要求216所述的系统，其中，所述一个或多个处理器还被配置成用于为对所述第一视频帧进行编码而分配比特量以使对所述第一视频帧与所述第二视频帧之间的系数进行编码的丢失最小化。

218.如权利要求203所述的系统，其中，所述第一视频分量是第一块，并且所述第二视频分量是第二块。

219.如权利要求218所述的系统，其中，所述第一块与所述第二块在同一视频帧内。

220.如权利要求219所述的系统，其中，所述第一块与所述第二块在所述视频帧的同一个部分内。

221.如权利要求218所述的系统，其中，所述第一块与所述第二块在不同视频帧内。

222.如权利要求221所述的系统，其中，运动向量穿过所述第一块和所述第二块。

223.如权利要求221所述的系统，其中，所述第一块在时间上与所述第二块相邻。

224.如权利要求223所述的系统，其中，所述第一块在时间上直接在所述第二块之后。

225.如权利要求223所述的系统，其中，所述第一块在时间上直接在所述第二块之前。

226.如权利要求218所述的系统，其中，所述运动数据指示所述第一块与所述第二块之间的移动超过预定阈值。

227.如权利要求226所述的系统，其中，所述一个或多个处理器还被配置成用于为对所述第一块进行编码而分配使对所述第一块与所述第二块之间的所述系数进行编码的丢失最小化的比特量。

228.如权利要求218所述的系统，其中，所述第二块的运动数据指示所述第二块具有超过预定阈值的移动。

229.如权利要求228所述的系统，其中，所述一个或多个处理器还被配置成用于为对所述第一块进行编码而分配与具有超过预定阈值的移动的所述第二块相当的比特量。

230.如权利要求218所述的系统，其中，所述第二块的所述运动数据指示所述第二块具有下降到预定阈值以下的移动。

231.如权利要求230所述的系统，其中，所述一个或多个处理器还被配置成用于为对所述第一块进行编码而分配与具有下降到预定阈值以下的移动的所述第二块相当的比特量。