CN107852508A

CN107852508A - 修改搜索区域的方法

Info

Publication number: CN107852508A
Application number: CN201580081793.7A
Authority: CN
Inventors: 武燕楠; 唐小正; 陈玮; 曹子晟; 王铭钰
Original assignee: Shenzhen Dajiang Innovations Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd; Shenzhen Dajiang Innovations Technology Co Ltd
Priority date: 2015-07-31
Filing date: 2015-07-31
Publication date: 2018-03-27
Also published as: US20170180754A1; EP3207708B1; WO2017020184A1; EP3207708A4; US20200329254A1; US10708617B2; EP3207708A1; JP2017529710A

Abstract

提供了用于评估搜索区域以便对视频进行编码的方法和系统。所述方法包括接收由图像捕捉装置所捕捉的视频，所述视频包括视频帧分量。此外，所述方法包括接收与所述视频帧分量相关联的光流场数据，其中，所述光流场数据的至少一部分是由传感器捕捉。所述方法还包括基于所述光流场数据确定搜索区域。

Description

修改搜索区域的方法

背景

诸如无人机(UAV)之类的飞行器已经被开发用于许多应用，包括监视、搜救行动、勘探以及其他领域。这类UAV经常可以在机上搭载用于视频捕捉的相机模块。

UAV所捕捉的视频可以通过各种方法来进行编码。然而，用于UAV的视频编码方法和系统可能不是很理想。例如，当对来自UAV的捕捉到的视频进行编码和传输时，尤其是当视频包含大量移动时，可能会发生包丢失。

发明内容

需要用于对从视频捕捉装置所获得的视频进行编码的经改进的方法和系统。所述视频捕捉装置可以由如无人机(UAV)之类的无人运载工具搭载。提供了用于通过利用来自与UAV相关联的传感器的信息对由视频捕捉装置(如UAV上的视频捕捉装置)捕捉的视频进行编码的方法。在某些实施方式中，所述视频捕捉装置可以捕捉包括运动数据的视频。此外，UAV可以使用与所述UAV相关联的传感器来捕捉可用于生成光流场的信息。当所捕捉的视频与基于在与所述视频相似的时间所捕捉的传感器信息的相关光流场对准时，所得的信息可用于对视频数据进行高效编码。具体来说，对准的视频和光流场数据可用于高效地确定所述视频内的运动向量的位置。所述运动向量进而可用来减少在视频编码过程期间由预测的视频帧与感知到的视频帧之间的差异所引起的残差数据。因此，涉及准确且高效地识别运动向量的方法可以提高视频编码过程的效率和有用性。

使用来自UAV的传感器数据生成的光流场可用于对与所生成的光流场对准的视频数据进行高效编码。可以由位于UAV、视频捕捉装置或挂载于所述UAV上的载体处的处理器对所述视频数据进行编码。可以由在UAV外部的处理器(如通信地连接至所述UAV的用户终端)对所述视频数据进行编码。此外，可以在UAV处生成光流场。或者，可以在通信地连接至UAV的外部位置处生成光流场。用于生成光流场的传感器信息可以在UAV处被检测到。此外或备选地，可以从通信地连接至UAV的外部源将用于生成光流场的传感器信息提供给UAV。因此，可以使用基于与UAV相关联的传感器数据所生成的光流场来对由视频捕捉装置所捕捉的视频数据进行高效编码。

具体来说，与由UAV捕捉的视频数据相对应的光流场可用于高效地识别所述视频数据内与视频帧分量相关联的运动向量的位置。当对视频数据进行编码时，有益的是将视频数据分解成视频帧分量并且对视频帧分量之间的所识别出的相似之处进行编码，而不是再三对每个帧进行编码。然而，由于某些视频数据可能具有大量移动，因此有时难以使第一视频帧的块与第二视频帧的块相关联，即使在所述两个视频帧之间可能存在大量相似点时。这是因为，在具有较大的移动的情况下，视频帧内相似元素的偏移可能会在视频帧内被移位。例如，当相机向右移位时，视频的之前在视频帧的右边缘的对象将会向左移位。然而，常规视频数据编码方法基于如下假设：在第一视频帧上的特定位置处的块与在第二视频帧上的相同特定位置处的块相关联。虽然常规方法是利用搜索区域来识别第二视频帧上的块的初始的、同位置的点周围的相关区域，但考虑到相机的移动，所使用的搜索区域的大小和位置没有变化。如此，当存在大量与视频数据相关联的移动时，通常较少使用常规方法找出不同视频帧当中的相似块之间的连接，如识别共享的运动向量。

基于常规的视频数据编码方法的这种缺点，本发明的各方面提供了使用光流场数据来对视频数据进行情境化。具体来说，与所述视频数据相对准的光流场可用于修改用来对跨视频帧的多个块之间的连接信息(如运动向量)进行识别的搜索区域的大小和形状。此外，光流场还可用于针对与视频帧的块相关联的运动向量使搜索区域的初始起点偏移/移位以便更准确地识别所述块内的运动向量。

本发明的一个方面可以包括一种评估搜索区域以便对视频进行编码的方法。所述方法可以包括接收由图像捕捉装置捕捉的视频，所述视频包括视频帧分量。此外，所述方法可以包括接收与所述视频帧分量相关联的光流场数据，其中，所述光流场数据的至少一部分是由传感器捕捉。所述方法还可以包括基于所述光流场数据确定搜索区域。

此外，本发明的各个方面可以包括一种包含程序指令的非暂时性计算机可读介质，所述程序指令用于评估搜索区域以便对视频进行编码。所述计算机可读介质可以包括用于接收由图像捕捉装置所捕捉的视频的程序指令，所述视频包括视频帧分量。所述计算机可读介质还可以包括用于接收与所述视频帧分量相关联的光流场数据的程序指令，其中，所述光流场数据的至少一部分是由传感器捕捉。进一步地，所述计算机可读介质可以包括用于基于所述光流场数据确定搜索区域的程序指令。

本发明的各个方面还可以包括一种用于评估搜索区域以便对视频进行编码的系统。所述系统可以包括被配置成用于捕捉视频的图像捕捉装置。此外，所述系统可以包括被配置成用于捕捉光流场数据的一个或多个传感器。所述系统还可以包括一个或多个处理器。所述一个或多个处理器可以单独地或共同地被配置成用于接收由图像捕捉装置捕捉的视频。所述视频可以包括视频帧分量。此外，所述一个或多个处理器可以被配置成用于接收与所述视频帧分量相关联的光流场数据，其中，所述光流场数据的至少一部分是由所述一个或多个传感器捕捉。所述一个或多个处理器还可以被配置成用于基于所述光流场数据确定搜索区域。

本发明的各个方面可以进一步包括一种对视频帧分量的运动向量进行识别的方法。所述方法可以包括接收由图像捕捉装置捕捉的视频，所述视频包括所述视频帧分量。此外，所述方法可以包括接收与所述视频帧分量相关联的光流场数据。所述方法还可以包括确定搜索区域以便评定运动向量，其中，所述搜索区域基于所接收到的光流场数据。

此外，本发明的各方面可以包括一种包含程序指令的非暂时性计算机可读介质，所述程序指令用于确定视频帧分量的运动向量。所述计算机可读介质可以包括用于接收由图像捕捉装置所捕捉的视频的程序指令，所述视频包括所述视频帧分量。所述计算机可读介质还可以包括用于接收与所述视频帧分量相关联的光流场数据的程序指令。此外，所述计算机可读介质可以包括用于确定搜索区域以便评定运动向量的程序指令，其中，所述搜索区域基于所接收到的光流场数据。

本发明的各方面还可以包括一种用于对视频帧分量的运动向量进行识别的系统。所述系统可以包括被配置成用于捕捉视频的图像捕捉装置。所述系统还可以包括被配置成用于捕捉光流场数据的一个或多个传感器。此外，所述系统可以包括一个或多个处理器。所述一个或多个处理器可以被配置成用于接收由图像捕捉装置捕捉的视频，所述视频包括所述视频帧分量。所述一个或多个处理器还可以被配置成用于接收与所述视频帧分量相关联的光流场数据。此外，所述一个或多个处理器可以被配置成用于确定搜索区域以便评定运动向量，所述搜索区域包括初始点，其中，所述搜索区域的尺寸基于所接收到的光流场数据。

本发明的其他方面中可以包括一种确定搜索区域以便对视频进行编码的方法。所述方法可以包括接收由图像捕捉装置所捕捉的视频，所述视频包括视频帧。所述方法还可以包括接收与所述视频帧相关联的运动数据，其中，所述运动数据是由传感器捕捉。此外，所述方法可以包括基于所述运动数据在所述视频帧内确定搜索区域，其中，所述搜索区域用于对由所述图像捕捉装置捕捉的视频的运动进行评估。

本发明的额外方面可以包括一种包含程序指令的非暂时性计算机可读介质，所述程序指令用于确定搜索区域以便对视频进行编码。所述计算机可读介质可以包括用于接收由图像捕捉装置所捕捉的视频的程序指令，所述视频包括视频帧。此外，所述计算机可读介质可以包括用于接收与所述视频帧相关联的运动数据的程序指令，其中，所述运动数据是由传感器捕捉，并且其中，所述视频帧包括多个块。进一步地，所述计算机可读介质可以包括用于基于所述运动数据在所述视频帧内确定搜索区域的程序指令。

本发明的各方面还可以包括一种用于确定搜索区域以便对视频进行编码的系统。所述系统可以包括被配置成用于捕捉视频的图像捕捉装置。此外，所述系统可以包括被配置成用于捕捉运动数据的一个或多个传感器。所述系统还可以包括一个或多个处理器。所述一个或多个处理器可以被配置成用于接收由所述图像捕捉装置捕捉的视频，所述视频包括视频帧。所述一个或多个处理器还可以被配置成用于接收与所述视频帧相关联的运动数据，其中，所述运动数据是由传感器捕捉，并且其中，所述视频帧包括多个块。此外，所述一个或多个处理器可以被配置成用于基于所述运动数据在所述视频帧内确定搜索区域。

本发明的额外方面可以包括一种确定搜索区域以便对视频进行编码的方法。所述方法可以包括接收由图像捕捉装置捕捉的视频，所述视频包括第一视频帧和第二视频帧，所述第一视频帧中的每个视频帧包括多个块。所述方法还可以包括接收与所述第二视频帧相关联的运动数据，其中，所述运动数据是由传感器捕捉。此外，所述方法可以包括基于与所述第二视频帧相关联的运动数据在所述第一视频帧内确定搜索区域。

本发明的额外方面可以包括一种包含程序指令的非暂时性计算机可读介质，所述程序指令用于确定搜索区域以便对视频进行编码。所述计算机可读介质可以包括用于接收由图像捕捉装置捕捉的视频的程序指令，所述视频包括第一视频帧和第二视频帧，所述视频帧中的每个视频帧包括多个块。此外，所述计算机可读介质可以包括用于接收与所述第二视频帧相关联的运动数据的程序指令，其中，所述运动数据是由传感器捕捉。此外，所述计算机可读介质可以包括用于基于与所述第二视频帧相关联的运动数据在所述第一视频帧内确定搜索区域的程序指令。

本发明的各方面还可以包括一种用于确定搜索区域以便对视频进行编码的系统。所述系统可以包括被配置成用于捕捉视频的图像捕捉装置。此外，所述系统可以包括被配置成用于捕捉运动数据的一个或多个传感器。所述系统还可以包括一个或多个处理器。所述一个或多个处理器可以被配置成用于接收由所述图像捕捉装置所捕捉的视频，所述视频包括第一视频帧和第二视频帧，所述视频帧中的每个视频帧包括多个块。所述一个或多个处理器还可以被配置成用于接收与所述第二视频帧相关联的运动数据，其中，所述运动数据是由传感器捕捉。此外，所述一个或多个处理器可以被配置成用于基于与所述第二视频帧相关联的运动数据在所述第一视频帧内确定搜索区域。

本发明的另一方面可以包括一种对由飞行器捕捉的视频进行编码的方法。所述方法可以包括接收由挂载于飞行器上的图像捕捉装置捕捉的视频，所述视频包括视频帧分量。此外，所述方法可以包括接收与视频帧分量相关联的光流场数据，其中，所述光流场数据的至少一部分是由挂载于飞行器上的传感器捕捉。所述方法还可以包括基于所述光流场数据对由所述图像捕捉装置所捕捉的视频的运动进行评估以便进行视频编码。

此外，本发明的各方面可以包括一种包含程序指令的非暂时性计算机可读介质，所述程序指令用于对由飞行器捕捉的视频进行编码。所述计算机可读介质可以包括用于接收由挂载于飞行器上的图像捕捉装置所捕捉的视频的程序指令，所述视频包括视频帧分量。所述计算机可读介质还可以包括用于接收与视频帧分量相关联的光流场数据的程序指令，其中，所述光流场数据的至少一部分是由挂载于飞行器上的传感器捕捉。进一步地，所述计算机可读介质可以包括用于基于所述光流场数据对由所述图像捕捉装置所捕捉的视频的运动进行评估以便进行视频编码的程序指令。

本发明的各方面还可以包括一种用于对由飞行器捕捉的视频进行编码的系统。所述系统可以包括挂载于飞行器上的图像捕捉装置，所述图像捕捉装置被配置成用于捕捉视频。此外，所述系统可以包括挂载于飞行器上的一个或多个传感器，所述一个或多个传感器被配置成用于捕捉光流场数据。所述系统还可以包括一个或多个处理器。所述一个或多个处理器可以单独地或共同地被配置成用于接收由图像捕捉装置所捕捉的视频，所述视频包括视频帧分量。此外，所述一个或多个处理器可以被配置成用于接收与视频帧分量相关联的光流场数据，其中，所述光流场数据的至少一部分是由所述传感器捕捉。所述一个或多个处理器还可以被配置成用于基于所述光流场数据对由所述图像捕捉装置捕捉的视频的运动进行评估以便进行视频编码。

应理解的是，本发明的不同方面可以单独、共同地或相互组合地进行理解。本文所描述的本发明的各个方面可以应用于下面所阐述的任何特定应用或应用于任何其他类型的可移动物体。本文中对飞行器(如无人机)的任何描述都可以应用于并且用于任何可移动物体(如任何运载工具)。此外，本文中在视频捕捉装置捕捉空中运动(例如，飞行)的视频数据的同时对视频进行编码的背景下所披露的系统、装置和方法还可以应用于当视频捕捉装置捕捉其他类型的运动(如地面上或水上运动、水下运动或太空运动)的视频数据同时对视频进行编码的背景中。

通过审查说明书、权利要求书以及附图，本发明的其他目的和特征将变得明显。

援引并入

本说明书中提及的所有出版物、专利和专利申请均通过引用并入本文，就如同每一单独的出版物、专利或专利申请均被明确且分别地指明为是通过援引并入本文的。

附图简要说明

在所附权利要求书中具体阐述了本发明的新颖特征。通过参考以下详细说明和附图将获得对本发明的特征和优点的更好理解，以下详细说明陈述了其中利用本发明原理的说明性实施方式，在附图中：

图1示出了根据本发明实施方式的无人机(UAV)的示意图，所述无人机搭载有用于捕捉视频的视频捕捉装置。

图2展示了根据本发明实施方式的一般视频编码过程。

图3展示了根据本发明实施方式的对视频帧分量中的块内的像素进行帧内编码的示例。

图4展示了根据本发明实施方式的将跨视频帧的同位置的块关联起来的运动向量。

图5展示了如现有技术中所提供的、被提供用于在帧之间对块进行编码的搜索区域的结构。

图6展示了根据本发明实施方式的对被提供用于在帧之间对块进行编码的搜索区域进行修改的结构。

图7展示了根据本发明实施方式的与从上方观看的旋转视图相关联的光流场。

图8展示了根据本发明实施方式的与放大特征相关联的光流场，所述放大特征与相机相关联。

图9提供了根据本发明实施方式的具有不同程度的物体移动的全局光流场。

图10展示了根据本发明实施方式的超快速的全局相机运动。

图11展示了根据本发明实施方式的有角度的全局运动。

图12展示了根据本发明实施方式的对初始搜索点与偏移后的搜索点之间的比较。

图13是根据本发明实施方式的流程图，展示了基于光流场数据对搜索区域进行评估以便对视频进行编码的方法。

图14是根据本发明实施方式的流程图，展示了基于光流场数据来识别视频帧分量的运动向量的方法。

图15是根据本发明实施方式的流程图，展示了基于运动数据确定搜索区域以便对视频进行编码的方法。

图16是根据本发明实施方式的流程图，展示了基于运动数据确定搜索区域以便对视频进行编码的另一种方法。

图17是根据本发明实施方式的流程图，展示了基于光流场数据对由飞行器捕捉的视频进行编码的另一种方法。

图18展示了根据本发明实施方式的UAV的外观。

图19展示了根据本发明实施方式的包括载体和有效载荷的可移动物体。

图20是根据本发明实施方式的用于控制可移动物体的系统的框图示意图。

详细说明

本文中所描述的方法、装置和终端提供了用于对由视频捕捉装置(如挂载于无人机(UAV)上的视频捕捉装置)捕捉的视频进行高效编码的有效方式。本文中所描述的方法、装置和终端可用于捕捉视频数据、基于与UAV相关联的传感器数据生成光流场并且修改搜索区域以供用于基于所生成的光流场对视频数据进行编码。本文中所披露的方法、装置和终端可以应用于由附接至任何合适的可移动物体或静止物体上的视频捕捉装置所捕捉的视频。可移动物体可以能够进行自推进式移动(例如，运载工具)，而静止物体可能无法进行自推进式移动。在某些实施方式中，可移动物体可以是无人机(UAV)。

因此，所提供的方法可用于对视频数据进行高效编码。当对视频数据进行更高效的编码时，给定固定量的存储空间，可以记录更大量的视频数据。或者，具有增大容量的视频可以被记录在之前仅能够记录相同量的一般视频数据的相同量的存储空间内。这在记录高清视频时或在记录具有高程度的移动的视频时是有利的。

本发明的方法能够对视频数据进行高效编码的方式是高效地搜索运动向量，所述运动向量跨时间将视频帧的方面关联起来。具体而言，用于搜索这些关联方面的方法是基于正在影响视频数据中正被捕捉的物体的其他影响因素(如与视频捕捉装置的移动相关联的影响因素)而被情境化。以此方式，通过用视频捕捉装置的移动以及被用于安装所述视频捕捉装置的UAV的传感器所捕捉到的其他影响因素来对运动向量进行情境化，使识别这些关联的运动向量所需的搜索区域最小化。因此，使对视频数据进行编码所需的工作量最小化。

图1示出了根据本发明实施方式的无人机(UAV)100的示意图，所述无人机搭载有用于捕捉视频的视频捕捉装置140。所述UAV可以具有UAV主体110以及可以影响UAV的移动的一个或多个推进单元120。所述UAV可以具有一个或多个传感器。所述一个或多个传感器可用于收集由UAV用来生成光流场的数据。所述UAV可以可选地具有机载光流场发生器130。由所述UAV生成的光流场可以进而用于对由所述UAV捕捉的视频进行高效编码。编码处理器150可以可选地由UAV搭载并且用于对视频进行编码。

可以使用视频捕捉装置140捕捉视频。所述视频捕捉装置可以被支撑在静止物体或可移动物体如UAV上。本文中对UAV的任何描述都可以包括用于视频捕捉装置的任何支撑结构。本文中对UAV 100的任何描述都可以应用于任何类型的可移动物体，如飞行器。对UAV的描述可以应用于任何类型的无人可移动物体(例如，其可以横越天空、陆地、水、或太空)。UAV可以能够响应于来自遥控器的命令。遥控器可以不连接至UAV；而是，遥控器可以在一定距离外无线地与UAV进行通信。在某些情况中，UAV可以能够自主地或半自主地运行。UAV可以能够遵循预编程指令集。在某些情况中，UAV可以通过响应于来自遥控器的一个或多个命令而半自主地运行，同时以其他方式自主地运行。例如，来自遥控器的一个或多个命令可以根据一个或多个参数通过UAV开始一系列自主或半自主动作。在某些实施方式中，本文中对UAV的任何描述都可以应用于任何静止物体，如视频捕捉装置的支撑件(例如，支架、杆、围栏、建筑、墙壁、天花板、屋顶、地板、地面、家具、照明器材、树木、工厂、石头或任何其他静止物体)。

视频捕捉装置可以能够改变由视频捕捉装置所捕捉的视场(FOV)。视频捕捉装置可以具有平移运动(例如，左右、前后、上下或其任意组合)来改变视频捕捉装置FOV。视频捕捉装置可以具有旋转移动(例如，绕着视频捕捉装置的偏航轴、俯仰轴或横滚轴)来改变视频捕捉装置FOV。在某些情况中，视频捕捉装置可以仅具有平移运动而没有旋转运动、可以仅具有旋运动而没有平移运动或者可以既具有平移运动又具有旋转运动。被来自视频捕捉装置的视频所捕捉到的运动可以指示视频捕捉装置FOV的变化。所述视频编码系统和方法可用于对由视频捕捉装置捕捉的视频进行编码，如本文中其他地方更加详细地描述。

视频捕捉装置可以可选地由UAV 100或任何其他支撑结构支撑。所述UAV可以具有主体110。在一些情况中，主体可以是中央主体，所述中央主体可具有一个或多个分支构件或“臂”。所述臂可以以径向方式从主体向外延伸并且经由所述主体接合。臂的数量可以与UAV的推进单元或旋翼的数量相匹配。所述主体可包括壳体。所述壳体可以将UAV的一个或多个部件封闭在所述壳体内。在某些情况中，UAV的一个或多个电部件可以设置在所述壳体内。例如，UAV的飞行控制器可以设置于壳体内。飞行控制器可以控制UAV的一个或多个推进单元120的运行。所述推进单元可以各自包括旋翼和/或电机。此外，所述一个或多个推进单元可以准许UAV在空中来回移动。所述一个或多个推进单元可以设置在UAV的臂上。所述臂可以在所述臂的近端上连接至UAV的主体。一个或多个推进单元可以连接至臂的远端。所述一个或多个推进单元可以使得UAV能够关于一个或多个、两个或更多个、三个或更多个、四个或更多个、五个或更多个、六个或更多个自由度移动。在某些情况中，UAV可以能够围绕一条、两条、三条或更多条旋转轴旋转。旋转轴可以相互正交。所述旋转轴可以在UAV的整个飞行过程中保持互相正交。旋转轴可以包括俯仰轴、横滚轴和/或偏航轴。UAV可以能够沿着一个或多个维度移动。例如，UAV可以能够由于由一个或多个旋翼产生的升力而向上移动。在某些情况中，UAV可以能够沿Z轴(其可能是相对于UAV的朝向向上)、X轴和/或Y轴(其可以是横向的)移动。UAV可以能够沿可能是相互正交的一条、两条或三条轴移动。

UAV可以是旋翼机。在某些情况中，UAV可以是多旋翼机，所述多旋翼机可以包括多个旋翼。所述多个旋翼可以能够旋转以产生用于UAV的升力。所述旋翼可以是可以使UAV能够在空中自由移动的推进单元。所述旋翼可以按相同速率旋转和/或可以产生相同量的升力或推力。所述旋翼可以可选地以不断变化的速率旋转，这可以产生不同量的升力或推力及/或允许UAV旋转。在某些情况中，可以在UAV上设置一个、两个、三个、四个、五个、六个、七个、八个、九个、十个或更多个旋翼。所述旋翼可以被安排为使得其旋转轴彼此平行。在某些情况中，所述旋翼可以具有相对于彼此成任意角度的旋转轴，这可能影响UAV的运动。

所示出的UAV可以具有多个旋翼。所述旋翼可以连接至UAV的主体，所述主体可以包括控制单元、一个或多个传感器、处理器和电源。所述传感器可以包括视觉传感器和/或可以收集关于UAV环境的信息的其他传感器。来自所述传感器的信息可用于确定UAV的位置。所述旋翼可以经由一个或多个臂或延伸部连接至所述主体，所述臂或延伸部可以从所述主体的中央部分分叉出来。例如，一个或多个臂可以从UAV的中央主体径向地延伸，并且可以在所述臂的末端处或附近具有旋翼。

可以通过维持和/或调整到UAV的一个或多个推进单元的输出来控制UAV的垂直位置和/或速度。例如，增加UAV的一个或多个旋翼的旋转速度可以帮助使UAV增加高度或以更快的速率增加高度。增加一个或多个旋翼的旋转速度可以增大旋翼的推力。减小UAV的一个或多个旋翼的旋转速度可以帮助使UAV降低高度或以更快的速率降低高度。减小一个或多个旋翼的旋转速度可以减小所述一个或多个旋翼的推力。当UAV起飞时，提供给推进单元的输出可以相对于其之前的着陆状态增加。当UAV着陆时，提供给推进单元的输出可以相对于其之前的飞行状态减小。UAV可以被配置成以基本上垂直的方式起飞和/或降落。

可以通过保持和/或调整到UAV的一个或多个推进单元的输出来控制UAV的横向位置和/或速度。UAV的高度以及UAV的一个或多个旋翼的旋转速度可以影响UAV的横向移动。例如，UAV可以在特定方向上倾斜以在所述方向上移动，并且UAV的旋翼的速度可能会影响横向移动的速度和/或移动的轨迹。可以通过改变和/或保持UAV的一个或多个旋翼的旋转速度来控制UAV的横向位置和/或速度。

UAV的臂可以是管或棒。UAV的臂可以具有圆形横截面。UAV的臂可以具有正方形或矩形横截面。UAV的臂可以具有椭圆形横截面。UAV的臂可以是空心管。UAV的臂可以是实心管。UAV的臂可以由金属材料、塑料材料或复合材料形成。UAV的臂可以由轻质材料形成。UAV的臂可以由碳纤维形成。UAV的臂可以与UAV的中央主体一体形成。或者，UAV的臂可以单独形成或者可以是与UAV可分离的。

UAV可以具有不大于100cm的最大尺寸(例如，长度、宽度、高度、对角线、直径)。在某些情况中，最大尺寸可以小于或等于1mm、5mm、1cm、3cm、5cm、10cm、12cm、15cm、20cm、25cm、30cm、35cm、40cm、45cm、50cm、55cm、60cm、65cm、70cm、75cm、80cm、85cm、90cm、95cm、100cm、110cm、120cm、130cm、140cm、150cm、160cm、170cm、180cm、190cm、200cm、220cm、250cm或300cm。可选地，UAV的最大尺寸可以大于或等于本文中所描述的任何值。UAV可以具有落入本文所描述的任意两个值之间的范围内的最大尺寸。UAV可以是轻型UAV。例如，UAV的重量可以小于或等于1mg、5mg、10mg、50mg、100mg、500mg、1g、2g、3g、5g、7g、10g、12g、15g、20g、25g、30g、35g、40g、45g、50g、60g、70g、80g、90g、100g、120g、150g、200g，250g、300g、350g、400g、450g、500g、600g、700g、800g、900g、1kg、1.1kg、1.2kg、1.3kg、1.4kg、1.5kg、1.7kg、2kg、2.2kg、2.5kg，3kg，3.5kg，4kg，4.5kg、5kg、5.5kg，6kg，6.5kg，7kg，7.5kg，8kg，8.5kg，9kg，9.5kg、10kg、11kg、12kg、13kg、14kg、15kg、17kg或20kg。UAV可以具有大于或等于本文中所描述的任何值的重量。UAV可以具有落入本文中所描述的任意两个值之间的范围内的重量。

UAV可以搭载有视频捕捉装置140。所述视频捕捉装置可以由任何移动的(例如，UAV)或静止的支撑结构支撑。在某些实施方式中，所述视频捕捉装置可以是相机。本文中对相机的任何描述都可以应用于任何类型的视频捕捉装置。相机可以刚性地耦接到支撑结构。或者，可以准许相机关于多达六个自由度相对于支撑结构移动。相机可以直接安装到支撑结构上，或者耦接至安装到支撑结构上的载体。在某些实施方式中，所述载体可以是云台。在某些实施方式中，所述相机可以是支撑结构(如UAV)的有效载荷的元件。

所述相机可以捕捉UAV的环境的图像(例如，动态图像(如视频)或静态图像(如快照))。所述相机可以连续地捕捉图像(例如，视频)。或者，所述相机可以按指定频率捕捉图像(例如，视频)，从而随着时间推移而产生一系列图像数据(例如，视频数据)。本文中对视频的任何描述都可以应用于任何类型的图像，如动态图像或静止图像，如随时间推移而捕捉的一系列图像。可以按一定视频速率(例如，25Hz、50Hz、75Hz、100Hz、125Hz、150Hz、175Hz、200Hz、225Hz或250Hz)来捕捉图像。在某些实施方式中，捕捉视频可以与记录环境音频同时进行。

在某些实施方式中，所捕捉的视频可以存储在UAV上的存储器中。所述存储器可以是非暂时性计算机可读介质，所述非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移除式介质或外部存储器如安全数字(SD)卡、或随机存取存储器(RAM)、或只读存储器(ROM)或快闪存储器)。或者，可以将所捕捉到的视频和/或图像传输至远程终端。对所捕捉到的视频和/或图像的传输可以在无线链路上实现，所述无线链路包括但不限于射频(RF)链路、Wi-Fi链路、蓝牙链路、2G链路、3G链路或LTE链路。所述存储器可以在由UAV所搭载的相机上、在UAV的载体上和/或在UAV自身上(例如，在UAV主体或UAV臂内)。所述存储器可以是或可以不是从UAV、载体或相机可移除的或者与UAV、载体或相机可分离的。

所述相机可以包括图像传感器和一个或多个镜头。所述一个或多个镜头可以被配置成用于将光引导至图像传感器。图像传感器是将光学图像转换成电子信号的装置。相机的图像传感器可以是电荷耦合器件(CCD)类型、互补金属氧化物半导体(CMOS)类型、N型金属氧化物半导体(NMOS)类型或背照式CMOS(BSI-CMOS)类型。

相机可以具有焦距或焦距范围。光学系统的焦距可以是对系统对光进行会聚或发散的强度的度量。与相机相关联的焦距可以影响所得的光流场，所述光流场是使用由相机捕捉的视频而生成。镜头的焦距可以是将初始准直光线会聚到焦点所经过的距离。相机可以具有任何类型的镜头，如定焦镜头或变焦镜头。定焦镜头可以具有固定焦距，并且所述焦距可以包含单个焦距。变焦镜头可以具有可变焦距，并且所述焦距可以包含多个焦距。

视频捕捉装置可以具有可以随时间而变化的FOV。视场(FOV)可以是通过处在空间中的特定位置和朝向的相机可看见的世界的一部分；在拍摄照片时，FOV之外的物体不会被记录在视频数据中。视场最经常被表达为视锥的角度大小，表达为视角。对于标准镜头，可以根据FOV＝2arctan(d/2f)来计算视场，其中d是图像传感器尺寸，并且f是镜头的焦距。对于具有固定大小的图像传感器，定焦镜头可以具有固定的FOV，并且所述FOV可以包含单个FOV角。对于具有固定大小的图像传感器，变焦镜头可以具有可变的FOV角度范围，并且所述FOV角度范围可以包含多个FOV角。FOV的大小和/或位置可以变化。可以更改视频捕捉装置的FOV以增大或减小FOV的大小(例如，放大或缩小)和/或改变FOV的中心点(例如，以平移方式和/或旋转方式移动视频捕捉装置)。FOV的更改可能会引起视频内的运动。

来自与相机相关联的传感器的数据可用来帮助生成光流场，所述光流场对于对由相机捕捉的视频数据进行编码是有用的。与相机相关联的传感器可以是在相机、相机的支撑结构(例如，UAV)和/或将相机支撑在支撑结构上的载体(例如，云台)上。或者，与相机相关联的传感器可以远离相机、载体和/或相机的支撑结构。

例如，相机的支撑结构可以支撑一个或多个传感器。在示例中，所述支撑结构可以是UAV。对UAV的传感器的任何描述可以应用于用于相机的任何类型的支撑结构。UAV可以包括一个或多个视觉传感器，如图像传感器。例如，图像传感器可以是单目相机、立体视觉相机、雷达、声纳或红外相机。UAV可以进一步包括可用于确定UAV的位置或者可能对生成光流场信息而言有用的其他传感器，如全球定位系统(GPS)传感器、可以用作惯性测量单元(IMU)的一部分或与惯性测量单元分开使用的惯性传感器(例如，加速度计、陀螺仪、磁力计)、激光雷达、超声波传感器、声传感器、WiFi传感器。UAV可以具有挂载于UAV上的传感器，所述传感器直接从环境收集信息而不接触非挂载于UAV上的用于额外信息或处理的额外部件。例如，直接在环境中收集数据的传感器可以是视觉传感器或音频传感器。

或者，UAV可以具有传感器，所述传感器是挂载于UAV上，但与非挂载于UAV上的一个或多个部件相接触以收集关于环境的数据。例如，接触非挂载于UAV上的部件以便收集关于环境的数据的传感器可以是GPS传感器或依赖于至另一装置(如卫星、塔、路由器、服务器或其他外部装置)的连接的另一传感器。传感器的各种示例可以包括但不限于位置传感器(例如，全球定位系统(GPS)传感器、能够实现位置三角测量的移动装置发射器)、视觉传感器(例如，能够检测可见光、红外光或紫外光的成像装置，如相机)、接近度传感器或范围传感器(例如，超声波传感器、激光雷达、飞行时间或深度相机)、惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(IMU))、高度传感器、姿态传感器(例如，罗盘)、压力传感器(例如，气压计)、音频传感器(例如，麦克风)或场传感器(例如，磁力计、电磁传感器)。可以使用任何合适数量以及组合的传感器，如一个、两个、三个、四个、五个或更多个传感器。可选地，可以从不同类型(例如，两种、三种、四种、五种或更多种类型)的传感器接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如，位置、朝向、速度、加速度、接近度、压力等)和/或利用不同类型的测量技术来获得数据。

这些传感器中的任何传感器还可以被设置为非挂载于UAV上。所述传感器可以与UAV相关联。例如，所述传感器可以检测UAV的特性，如UAV的位置、UAV的速度、UAV的加速度、UAV的朝向、UAV所产生的噪声、从UAV发出或反射的光、UAV所产生的热量或UAV的任何其他特性。所述传感器可以收集数据，所述数据可以单独地或与来自UAV上的传感器的传感器数据结合使用，以便生成光流场信息。

所述传感器可以包括有源传感器(例如，产生并测量来自它们自己的能量源的能量的传感器)与无源传感器(例如，检测可用能量的传感器)的任何合适的组合。作为另一示例，某些传感器可以生成依据全球坐标系而提供的绝对测量数据(例如，GPS传感器所提供的位置数据、罗盘或磁力计所提供的高度数据)，而其他传感器可以生成依据局部坐标系而提供的相对测量数据(例如，陀螺仪所提供的相对角速度；加速度计所提供的相对平移加速度；视觉传感器所提供的相对高度信息；超声波传感器、激光雷达或飞行时间相机所提供的相对距离信息)。挂载于或非挂载于UAV上的传感器可以收集信息，如UAV的位置、其他物体的位置、UAV 100的朝向或环境信息。单个传感器可以能够在环境中收集完整的信息集，或者一组传感器可以一起工作以在环境中收集完整的信息集。传感器可用于对位置的绘图、位置之间的导航、对障碍物的检测、或对目标的检测。此外，并且根据本发明，传感器可以用来搜集用于生成光流场的数据，所述光流场用于对由UAV捕捉到的视频数据进行高效编码。

因此，UAV还可以具有光流场发生器130。可以将光流场发生器设置为挂载于UAV上(例如，在UAV主体或臂中、在相机上或在载体上)。或者，可以将所生成的光流场设置为非挂载于UAV上(例如，在远程服务器、云计算基础设施、远程终端或地面站处)。光流场发生器可以具有一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于基于与UAV相关联的传感器数据生成光流场。光流场展示了光如何在视频帧内流动。这种光流指示所捕捉到的物体在视频帧之间如何移动。具体来说，光流场能够描述由视频捕捉装置所捕捉的物体如何移动的特性。例如，在视频捕捉装置的FOV内所捕捉到的视频可以包括一个或多个静止物体或可移动物体。在示例中，光流场可用于确定在视频中移动的物体的速度或加速度。光流场还可用于展示视频内的物体的移动方向。以下关于图7至图11描述了光流场的示例，所述光流场描述了在视频内移动的物体。

用于生成光流场的传感器数据可以由与UAV相关联的一个或多个传感器获得。此外或备选地，传感器数据可以通过外部源获得，如外部监控系统。可以使用通信信道将外部传感器数据提供至UAV。因此，可以在UAV处生成光流场。或者，可以在UAV外部生成光流场。具体来说，UAV可以将与UAV相关联的传感器信息提供给一个或多个外部处理器。然后，所述一个或多个外部处理器可以使用与UAV相关联的传感器数据来生成光流场。此外，所述一个或多个外部处理器可以将所生成的光流场提供给UAV。光流场发生器(无论是挂载于还是非挂载于UAV上)可以从与UAV相关联的传感器接收数据(无论所述传感器是挂载的、非挂载的、还是以上的任意组合)，所述数据可用于生成光流场。

传感器数据可以可选地包括关于相机的空间布局(例如，坐标、平移位置、高度、朝向)或相机的移动(例如，线性速度、角速度、线性加速度、角加速度)的信息。传感器数据可以能够检测相机的变焦状态(例如，焦距、放大或缩小程度)。传感器数据对于计算相机的FOV可能如何变化可能是有用的。

根据本发明实施方式，可以提供编码处理器150。所述编码处理器可用于对由视频捕捉装置捕捉到的视频进行编码。熵编码工具的示例包括哈夫曼编码(Huffman coding)、游程编码(run-level coding)和算术编码。在本文中所讨论的示例中，可以在H264中使用上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。

此外，编码处理器可以使用与视频相关联的光流场。具体来说，光流场可用于对视频进行高效编码。编码处理器可以接收光流场信息和使用光流场信息对视频进行编码。

编码处理器可以包括一个或多个处理器，所述一个或多个处理器可以对视频进行编码。编码处理器可以与光流场发生器分开，或者可以与光流场发生器在同一部件内。编码处理器可以包括不与光流场发生器的一个或多个处理器重叠的一个或多个处理器。或者，编码处理器的一个或多个处理器可以与光流场发生器的一个或多个处理器相同。在某些情况中，编码处理器的所有处理器都可以与光流场发生器的处理器相同。

可以可选地将编码处理器设置为挂载于UAV上。例如，编码处理器可以在UAV主体或臂内、可以挂载于相机上或者可以挂载于支撑相机的载体上。或者，可以将编码处理器设置为非挂载于UAV上。例如，编码处理器可以设置在远程服务器、云计算基础设施、远程终端或地面站处。编码处理器可以设置在与光流场发生器相同或不同的位置处。

图2展示了根据本发明实施方式的一般视频编码过程200。当对视频数据进行编码时，视频数据的视频帧最初可以被分成多个块202。然后，可以基于帧内数据和/或帧间数据对这些块进行压缩。帧内数据涉及帧内的块之间的空间关系。相反，帧间数据涉及跨视频帧的块之间的时间关系。

如在图2中所看到的，接收输入视频信号。可以从视频捕捉装置接收输入视频信号。视频捕捉装置可以由支撑结构支撑，如UAV。此外或备选地，可以从非挂载于UAV上的外部装置接收输入视频信号。所接收到的视频可以被分成多个宏块202。宏块可以具有或者可以不具有任何重叠部分。所述视频可以被分成任何数量的宏块。例如，所述视频可以被分成m×n宏块阵列，其中m具有以下值：1或以上、2或以上、3或以上、4或以上、5或以上、6或以上、7或以上、8或以上、9或以上、10或以上、12或以上、15或以上、16或以上、18或以上、20或以上、25或以上、30或以上、40或以上、50或以上、60或以上、70或以上、80或以上、90或以上、100或以上、120或以上、150或以上、200或以上、250或以上、或者300或以上；并且n具有以下值：1或以上、2或以上、3或以上、4或以上、5或以上、6或以上、7或以上、8或以上、9或以上、10或以上、12或以上、15或以上、16或以上、18或以上、20或以上、25或以上、30或以上、40或以上、50或以上、60或以上、70或以上、80或以上、90或以上、100或以上、120或以上、150或以上、200或以上、250或以上、或者300或以上。宏块可以具有矩形形状、正方形形状、圆形形状或任何其他形状。在一个实施方式中，宏块可以具有16×16像素的尺寸。宏块可以具有任何尺寸，如p×q像素，其中p具有以下值：1或以上、2或以上、3或以上、4或以上、5或以上、6或以上、7或以上、8或以上、9或以上、10或以上、12或以上、15或以上、16或以上、18或以上、20或以上、25或以上、30或以上、32或以上、40或以上、50或以上、60或以上、64或以上、70或以上、80或以上、90或以上、100或以上、120或以上、128或以上、150或以上、200或以上、250或以上、256或以上、或者300或以上，并且q具有以下值：1或以上、2或以上、3或以上、4或以上、5或以上、6或以上、7或以上、8或以上、9或以上、10或以上、12或以上、15或以上、16或以上、18或以上、20或以上、25或以上、30或以上、32或以上、40或以上、50或以上、60或以上、64或以上、70或以上、80或以上、90或以上、100或以上、120或以上、128或以上、150或以上、200或以上、250或以上、256或以上、或者300或以上。在现代视频编码标准中，可以通过首先将视频帧分成多个小块来对具有720P或1080P分辨率的视频帧进行编码。对于H.264，块大小可以是16×16像素，并且对于HEVC，块大小可以是64×64。每个宏块都可以具有相同尺寸和/或形状。或者，两个或更多宏块可以具有不同的尺寸和/或形状。宏块还可以被称为‘块’。

视频编码器可用于在空间上和/或在时间上去除块的相关性。如此，在视频帧被分成多个小块之后，视频数据的块可以经过图2中所提供的视频编码架构。

具体来说，视频数据可以前进到编码器控件204。所述编码器控件可用于确定是否直接对所述视频数据进行编码(例如，无需任何额外变换步骤)或者确定是否将所述数据发送至变换/缩放/量化(TSQ)部件。在示例中，所述编码器控件可以将所述视频数据直接传递至熵编码部件206。在其他示例中，所述编码器控件可以在将经变换的数据提供至熵编码部件之前将所述视频数据传递至TSQ部件208。在所述TSQ部件处，可以对视频数据进行变换以便压缩在空间上和时间上相关的视频帧分量(如块)之间的相似性。此过程可以使用来自原始输入视频信号的视频。此外，此过程可以利用之前已编码的视频数据以便使变换过程更加高效。此外，此压缩过程可以产生量化系数和变换系数210，然后，可以将量化系数和变换系数提供至熵编码部件。

当变换视频数据时，可以鉴于在解码器212处重新评估的并且作为反馈被提供至TSQ部件的之前所变换的视频数据来处理视频数据。具体来说，可以通过将来自TSQ部件的经变换的视频数据提供至缩放和反转变换(SIT)部件214来生成视频压缩反馈。在SIT部件处，可以颠倒视频数据的变换过程。然后，此视频数据可以被提供至去块滤波器216，所述去块滤波器可用于生成输出视频信号218。然后，所述输出视频信号可以用作用于在运动补偿部件220处生成运动补偿因子的部件。

在示例中，所述运动补偿部件可以使用来自输出视频信号的运动数据以及从运动估计部件222生成的运动数据。具体来说，所述运动估计部件可以接收来自初始输入视频信号的输入视频数据。然后，所述运动估计部件可以基于视频数据生成运动数据。然后，可以将此运动数据提供至所述运动补偿部件和所述熵编码部件。

一旦提供了经解码的视频数据并且基于来自运动补偿部件的运动数据对所述视频数据进行情境化，就可能对所述视频数据进行评估以便使用帧内预测部件224进行帧内预测。还可以针对帧间预测生成额外预测。可以将这些预测作为用于TSQ部件以及去块滤波器两者的反馈来提供。如此，可以基于来自经处理的视频数据的反馈来改善从TSQ部件生成的量化系数和变换系数以及由去块滤波器所生成的输出信号。

如此，视频编码器可用于简化不同视频帧的块之间的重复信息(时间压缩)以及同一视频帧内的块之间的重复信息(空间压缩)，以便压缩信息。一旦视频数据被压缩，就可以将利用图2中的架构进行编码的视频帧形成为1-D比特流。

帧内编码可用于压缩空间相关性。对于视频帧内的块，可以从块的邻近像素来估计块内的像素值的预测值。例如，可以从邻近像素(如上部、左上部和左下部邻近像素)来估计像素值的预测值。这些预测的示例可以是有方向的，以便与像素块内的模式相对应。图3中提供了对H.264定向帧内预测的演示。

图3展示了根据本发明实施方式的对视频帧分量中的块内的像素进行帧内编码的示例。如在图3中所看到的，与块相邻的像素可用来预测块内的像素的运动。具体来说，在使用帧内编码时，针对运动数据来评定与块相邻的像素。在图3中，被评定的像素位于所述块左侧的列中以及所述块上方的列中。块的经评定的运动可以与编码处理器所使用的特定模式相关联。由于相邻像素可能不全部都具有相同的运动信息，因此当相邻像素具有与特定模式相关联的阈值数量的像素时，可以将经评定的运动的模式指派给块。在示例中，当相邻像素的100％、95％或以上、90％或以上、85％或以上、80％或以上、75％或以上、70％或以上、65％或以上、60％或以上、55％或以上、超过50％、50％中的任一项、或大多数相邻像素与特定模式相关联时，可以为相邻像素指派特定模式。

此外，指派给相邻像素的模式可用于确定块中的像素的预测运动。例如，在模式0下，与块相邻的像素可以被评定为进行向下运动。如在图3中所看到的，这种向下运动可用于预测穿过预测像素的向下运动。如在图3中所提供的，穿过预测像素的向下运动完全基于在块上方的上列相邻像素的经评定的运动。

在模式1下，与块相邻的像素可以被评定为进行侧向运动。如在图3中所看到的，这种侧向运动可用于预测贯穿预测像素的向右运动。如在图3中所提供的，穿过预测像素的侧向运动完全基于在块旁边的左列相邻像素的经评定的运动。

在模式2下，与块相邻的像素可以被评定为进行法向移动或中性移动。基于这种评定，块内的像素可以被评定为同样进行中性移动。在示例中，在以下情况下可以将块内的像素评定为进行中性移动：当视频捕捉装置内所捕捉的物体没有移动时；当因为物体的移动与移动中的图像捕捉装置的移动相等而使得视频捕捉装置内所捕捉的物体显得好像没有移动时；或者当因为视频捕捉装置内所捕捉的物体如此远以至于相对于远处的物体所进行的增量移动显得好像在相对静止的背景下而使得视频捕捉装置内所捕捉的物体显得好像没有移动时。

在模式3下，与块相邻并且非常接近于所述块的上部的像素可以被评定为进行向左的有角度运动。如在图3中所看到的，这种向左的有角度运动可用于预测贯穿预测像素向左下方的运动。如在图3中所提供的，穿过预测像素向下的侧向运动完全基于在所述块旁边的上列相邻像素以及非常接近于所述块的上列像素的经评定的运动。类似地，在模式7下，与块相邻的像素还可以被评定为进行向下向左的有角度运动。然而，在模式7下所看到的向下向左的有角度运动的角度可能会比在模式3下所看到的向下的有角度运动更加陡峭。

在模式4下，与块相邻的像素可以被评定为进行向右的有角度运动。如在图3中所看到的，这种向右的有角度运动可用于预测贯穿预测像素向右下方的运动。类似地，在模式5下，与块相邻的像素还可以被评定为进行向右的有角度运动，尽管在模式5下所展示的有角度运动比在模式4下的有角度运动更加陡峭。此外，在模式6下，与块相邻的像素还可以被评定为进行向右的有角度运动，尽管在模式6下所展示的有角度运动比在模式4或模式5下的有角度运动更浅。

此外，模式8提供指示向上并向右运动的与块相邻的像素。然而，模式8与之前的模式的不同之处在于，模式8仅能够预测所述块的一部分。为了评定块内的额外预测像素，可以使用其他辅助方法。

虽然帧内编码利用块的邻近像素(如位于当前块的左列和上列的像素)，但是可能存在大量包括在块的中央像素内的残差信息。在示例中，块的中央像素可以包括纹理、物体以及使用帧内编码可能无法轻易预测到的其他信息。为了捕捉此信息，可以对帧之间的信息(例如，时间压缩)进行压缩和编码。

帧间编码可用于压缩时间相关性。对于视频帧内的块，可以从前一帧内的相关块来估计所述块内像素值的预测值。由于视频帧可能仅相隔几百万分之一秒，因此帧之间的块通常可能差别不大。然而，帧间编码的使用对于预测块内的使用帧间编码没有捕捉到的细节可能是有用的。具体来说，通过参考来自附近视频帧的块来预测这些细节。具体来说，可以使用运动向量来关联在帧之间进行相关的块。

在实现帧间编码时，首先，可以对编码块执行帧间运动估计。所述运动估计过程可以确定可被认为与当前块最相似且成本最低的像素网格。具体来说，所述运动估计可以通过在视频帧的搜索区域内进行搜索来确定被认为是最相似的像素网络。一旦确定了被认为是与当前块最相似且成本最低的像素网格，就可以计算运动向量。具体来说，所述运动向量可以被计算为包括第一帧的当前块与在时间上与第一帧相关的视频帧中的、所述当前块的参考块之间的2D像素位置差。在示例中，2D像素位置差可以使用子像素内插法以便通过整数像素、半像素、四分之一像素等来限定帧之间的运动。图4中展示了计算运动向量的图解。

图4展示了根据本发明实施方式的将跨视频帧的同位置的块关联起来的运动向量。如在图4所看到的，运动向量410可以关联跨各视频帧的块420-440。具体来说，块420-440形成与一系列视频帧相关联的视频数据的一部分的图解。使用所述运动向量，可以从邻近和/或附近的视频帧来预测所计算的运动向量，即使那些邻近的视频帧在时间上领先，如由所计算的向后运动向量(MV)412和所计算的向前MV 414所展示的。这可能是由于帧间编码之间的信息压缩引起的。具体来说，在帧间编码期间，可以压缩时间信息，特别是通过使用运动向量以及其他关系信息来将块关联在一起。

一旦确定了运动向量，就可以将运动向量提供至编码系统内的解码器侧。当解码器接收到此信息时，所述解码器可以找出参考帧上第一块的相应位置，所述第一块可以与正在被处理的块相关联。以此方式，解码器可以使用运动向量来寻找参考块。随后，可以对参考块与当前块之间的差(例如，运动向量)进行处理和传输。

报头信息编码也可用于对视频数据进行高效编码。具体来说，可以使用与运动向量相关的报头信息以及与跳过模式(skip mode)相关的报头信息对由UAV所捕捉到的视频数据进行编码。

关于运动向量，当前块以及其在同一视频帧内的空间邻近块可能具有很高的共享相同运动向量的可能性。而且，在时间上与当前块相对应的运动向量也可以作为当前块的运动向量的预测值。如此，可以基于当前块的在空间上和时间上邻近的块来计算当前块的运动向量预测值(MVP)。MVP的计算可以取决于编码处理器的标准。

此外，关于跳过模式，还可以从邻近块来预测在当前块的报头内的额外信息。进一步地，在可以完全从当前块的邻近块来预测当前块的示例中，可以将当前块的报头标记为跳过块。具体来说，跳过块可用于指示没有传输残差信息。在示例中，在可以基于与当前块邻近的块的信息来计算当前块内的信息时，可以使用跳过块。

如简要地提到的，原始块与其预测值之间的差可以被称为残差。在示例中，块之间的残差可以被表示为系数。在示例中，可以直接对此残差系数进行编码。

在其他示例中，即使在已经计算了残差系数之后，残差系数仍可能会具有可以能够被消除的某空间冗余。在示例中，变换可用于将能量集中到低频率。当视频编码经历了使用在任何标准、量化内的有损压缩工具的处理步骤时，集中的能量可能会损耗较少。例如，如果用10来量化十个数字[1，1，1，1，1，1，1，1，1，1]，那么这十个数字将变成0，从而引起100％的差错率。相比之下，如果应用变换，那么这十个数字将变成[10，0，0，0，0，0，0，0，0，0]。如果然后用10来量化那个结果，则没有损耗，由此具有0％的差错率。由于量化是有用的有损压缩工具，因此这是有用的。如此，控制量化参数可以允许控制全部数据流的比特率。

虽然在图2中概括地讨论了视频编码过程，但是本发明的实施方式涉及高效地确定块之间的运动向量的方法。具体来说，本发明的实施方式涉及对搜索区域进行修改，所述搜索区域用于识别在由编码处理器进行编码的视频内的运动向量。如此，图5提供了根据本发明的实施方式的运动估计过程500的示例。具体来说，图5展示了由视频捕捉装置捕捉的视频内的两个视频帧。这两个视频帧包括多个物体，如树木、海岸和船。具体来说，第一帧510可以是当前编码的帧，并且第二帧520可以是预测帧。此外，作为当前编码的帧的第一帧的块515可以与运动向量(未示出)相关联。具体来说，所述运动向量可用于将块515关联至第二帧内的块，所述第二帧与所述第一帧相邻。在某些情况下，第一帧内的块可以与在相邻帧上处于相同位置的块共享运动向量。具体来说，同位置的块可以是在帧内或跨帧共享匹配坐标的关联块。

因此，在搜索将块515关联至第二帧上的相关联块的运动向量时，可以识别第二帧的与第一帧的块515同位置的块525。在搜索将第一帧的块515关联至第二帧内的块时，可以使用块525来限定搜索区域530。具体来说，搜索区域530基于位于同位置的块的左上角的初始搜索点522，然后向下并向同位置的块的右方延伸，以便覆盖在所述同位置的块内的区域以及可能也被搜索的额外区域。在示例中，搜索区域可以相对于初始起点向下并向右；向下；向下并向左；向左；向上并向右；向上；向上并向左；向右；或这些方向的组合上延伸。在示例中，起点可以位于块的角落或在块内(如块的中心)。所述搜索区域可以覆盖整个块、覆盖所述块的一部分、与所述块相重叠或者可以至少部分地不与所述块相重叠。

在对第二帧520进行评估以便运动向量将第二块与编码的第一块515相关联时，可以对第二帧520上的搜索区域530进行评定。具体来说，可以在已编码的第一视频帧510(又被称为“已编码(510)”)与第二、相邻帧520之间形成运动估计预测，以便形成对520的预测(又被称为“预测(520)”)。相邻帧520可以被或者可以不被编码。此外，相邻帧520可以是视频中的在第一视频帧510之后立即捕捉的帧。在某些实施方式中，可以将第一视频帧510与后续帧xt进行比较，所述后续帧可以是或者可以不是相邻帧。后续帧可以是相邻帧(t＝1)，或者可以是紧接在相邻帧之后的帧(t＝2)，或者是之后的任何帧(例如，t＝3、4、5、6、7、8、9、10或更大)。在某些情况中，后续帧可以在时间上适当地靠近第一帧以预测下一个帧“预测(xt)”。例如，t可以是50或更小、40或更小、30或更小、20或更小、10或更小、7或更小、5或更小、3或更小、2或更小、或1。后续帧可以在与第一帧相隔不到5秒内被捕捉。在示例中，后续帧可以在不到5秒、不到4秒、不到3秒、不到2秒、不到1秒、不到0.9秒、不到0.8秒、不到0.7秒、不到0.6秒、不到0.5秒、不到0.4秒、不到0.3秒、不到0.2秒、不到0.1秒、不到0.05秒以及不到0.01秒内被捕捉。

本文中对相邻帧250的任何描述还可以应用于后续帧xt。这种运动估计预测可以展示在图5中所看到的编码的帧510与预测的帧520之间。在示例中，通过评估相邻帧520内的多个块中的每个块，用其在第一视频帧510上的相关块，可以产生运动估计预测。在某些情况中，可以对帧的每一个块都进行评估。或者，可以对帧中的块子集进行评估。在某些情况中，可以从帧中的多个块中选择有代表性的块的子集并且可以对其进行评估。在某些情况中，可以选择交替的块。在某些情况中，可以基于块的位置、图像内容或任何其他因素来选择块。

对于常规的视频编码过程，假设第一视频帧510上的与相邻帧520内的相关联的块相关的块位于帧的相同区域内。如此，可以在与时间上相邻的视频帧的已经编码的块同位置的块周围产生标准搜索区域。在同位置的块周围所产生的标准搜索区域被展示为图5中的搜索区域530。然而，即使当存在围绕着同位置的块(如第二帧520的同位置的块525)的搜索区域(如搜索区域530)时，与已经编码的帧510的同位置的块515相关联的运动向量可以在给定搜索区域之外。图5中就是这种情况，其中，与视频帧510上的已经编码的块515相关联的船已经在第二视频帧520上的同位置的视频帧525的搜索区域530之外。

然而，根据本发明的实施方式，图5中所提供的搜索区域可能是有用的，原因在于图5中所提供的搜索结构可用于确定初始起点以便对搜索区域进行评估。如此，图5展示了根据本发明实施方式的被提供用于确定初始搜索区域以便对块进行编码的搜索区域的结构。如在图5中所看到的，与相邻帧520的块相关联的搜索区域530的初始搜索点位于在帧520与帧510的点512之间同位置的点522处。虽然提供了搜索区域530，但所述搜索区域可以具有标准大小和形状。具体来说，搜索区域的标准大小可以包括m×n像素，其中m具有以下值：1或以上、2或以上、3或以上、4或以上、5或以上、6或以上、7或以上、8或以上、9或以上、10或以上、12或以上、15或以上、16或以上、18或以上、20或以上、25或以上、30或以上、40或以上、50或以上、60或以上、70或以上、80或以上、90或以上、100或以上、120或以上、150或以上、200或以上、250或以上、或者300或以上，并且n具有以下值：1或以上、2或以上、3或以上、4或以上、5或以上、6或以上、7或以上、8或以上、9或以上、10或以上、12或以上、15或以上、16或以上、18或以上、20或以上、25或以上、30或以上、40或以上、50或以上、60或以上、70或以上、80或以上、90或以上、100或以上、120或以上、150或以上、200或以上、250或以上、或者300或以上。搜索区域的标准大小可以具有矩形形状、正方形形状、圆形形状或任何其他形状。在一个实施方式中，搜索区域的标准大小可以具有16×16像素的尺寸。

进一步地，搜索区域的大小和形状可能与帧510与帧520之间的运动估计预测无关。在常规的运动估计评估过程中，一旦已经针对帧520确定了初始搜索点(如搜索点522)和搜索区域(如搜索区域530)，运动估计预测便可以评估搜索区域的像素或子像素以识别与在第一帧510内的块最相似的像素或子像素。在示例中，可以通过等式来估计帧520上的块与帧510上的其相应块的相似性。例如，帧510与520的相应块的相似性可以通过等式来展示，所述等式表明第一帧510的块具有与相邻帧520上的相应块相距一定距离的相应块。

为了避免第一帧内的块与第二、相邻帧内的块的不正确关联，图6展示了根据本发明的实施方式的对被提供用于对帧之间的块进行编码的搜索区域进行修改的结构600。具体来说，图6展示了由UAV捕捉的视频内的两个视频帧。这两个视频帧包括多个物体，如树木、海岸和船。具体来说，第一帧610是当前编码的帧，并且第二、相邻帧620是预测帧。对第二或相邻帧的任何描述都可以应用于任何后续帧。此外，当前编码的帧中的块615与特定运动向量相关联。

如本文中所讨论的，图6提供了修改与相邻帧620的块相关联的搜索区域的示例，以便提高运动估计预测评估对与第二帧内的块相对应的运动向量进行识别的机会。当对帧620进行评估以便运动向量将块625与编码块615相关联时，可以评定搜索区域630。具体来说，编码处理器可以接收对视频数据内存在大量运动的指示。[发明人：编码处理器可以接收此指示的方式是什么？]在这种情况下，编码处理器可以增加与帧620的块相关联的搜索区域的大小。这在图6中进行了展示，其中，搜索区域630大于图5中所提供的相应搜索区域530。在其他示例中，可以对搜索区域进行再成形，可以在给定方向上对其进行拉伸，或者可以将其移动到新的位置。此外，图6的搜索区域630成功捕捉到第二、相邻帧620中的与第一帧610的块内的船角相似的船角。

因此，编码处理器可以通过分析基于与UAV相关联的传感器信息生成的光流场来调整与帧620的块相关联的搜索区域的大小。具体来说，可以基于相机的运动来生成光流场。此外，光流场数据可以指示对视频捕捉装置(如相机)的FOV设置的调整。图7至图11提供了光流场可以如何基于视频捕捉装置的移动和/或飞行器的移动进行调整的示例。

在示例中，编码处理器可以将搜索区域的大小增加0.1％、0.2％、0.3％、0.4％、0.5％、0.6％、0.7％、0.8％、0.9％、1％、2％、3％、4％、5％、6％、7％、8％、9％、10％、15％、20％、25％、30％、35％、40％、45％、50％、55％、60％、65％、70％、75％、80％、85％、90％、95％、100％、120％、140％、160％、180％、200％、250％、500％或超过500％。或者，编码处理器可以将搜索区域的大小减小0.1％、0.2％、0.3％、0.4％、0.5％、0.6％、0.7％、0.8％、0.9％、1％、2％、3％、4％、5％、6％、7％、8％、9％、10％、15％、20％、25％、30％、35％、40％、45％、50％、55％、60％、65％、70％、75％、80％、85％、90％、95％、100％、120％、140％、160％、180％、200％、250％、500％或超过500％。

因此，编码器可以基于光流场来调整搜索区域的形状，所述光流场是基于与UAV相关联的传感器数据所生成的。在示例中，搜索区域可以是诸如圆形、正方形、矩形、三角形、菱形、平行四边形、不规则四边形、卵形、椭圆形、数字8或另一形状等形状。

编码器还可以将搜索区域移动至新的位置。具体来说，编码器可以在给定方向上从搜索区域的初始起始位置移动搜索区域。在示例中，编码器可以向左、向右、向上、向下或与搜索区域的起始位置成一定角度地移动搜索区域。

此外，编码器可以基于光流场来调整搜索区域的尺寸，所述光流场是基于与UAV相关联的传感器数据所生成的。光流场可以描述帧上的点的方向和/或速度。在某些示例中，光流场可以描述帧上的所有点的方向和速度。与UAV相关联的传感器可用于生成光流场。具体来说，可用于生成光流场的传感器可以包括GPS、陀螺仪、MVO、相机的角度、高度信息或本文中所描述的任何其他传感器。

虽然搜索区域大小的增加(如图6中所看到的)可以提高在块620的搜索区域内找到与帧620的块相关联的运动向量的可能性，但是这可能额外地成为施加到运动估计器预测部件上的繁重任务。如此，移动与帧620的块相关联的初始搜索点也可能是有益的。

可以由编码过程使用所生成的光流场来提高初始运动向量的准确度。因此，可以基于光流场来修改搜索区域的大小、形状、和/或位置，所述光流场是基于与UAV相关联的传感器数据生成。图7至图11提供了对光流场的图解，其中如果编码处理器不了解视频内的运动数据，那么可能难以对所述光流场进行编码。此外，图7至图11提供了对可以如何基于光流场来修改搜索区域的图解。

图7中提供了光流场700的示例。具体来说，图7展示了根据本发明实施方式的与从上方观看的旋转视图相关联的光流场。使用箭头指示光流场内的运动。箭头的长度指示在光流场上发生的移动量，并且箭头的曲线指示在光流场上发生的移动的方向。此外，图7提供了对可以如何基于光流场700来修改初始搜索区域710的图解。具体来说，可以沿运动箭头的曲线将初始搜索区域平移至经修改的搜索区域720的位置。具体来说，可以基于图像捕捉装置相对于视频上所捕捉的一个或多个物体进行旋转的速度来沿着运动箭头的曲线平移初始搜索区域。可以通过围绕横滚轴旋转视频捕捉装置、通过围绕相机横滚轴旋转UAV或者通过两者来生成光流场。在额外示例中，所生成的光流场可以包括与移动物体的速度、移动物体与视频捕捉装置相距的距离、移动物体的弯曲运动、移动物体的方向性以及在光流场内物体移动的其他特性相关的运动方面。

此外，经修改的搜索区域720被平移的距离可以基于物体看上去相对于图像捕捉装置上所捕捉的视频移动多快。可以基于通过与视频帧相关联的时间戳进行情境化的相似物体行进的距离来评定这个速度。以此方式，在时间戳的背景下物体移动的距离(因此，例如，所经过的时间)可以指示速度。此外，如图7中所提供的，经修改的搜索区域720可以具有与初始搜索区域710相同的尺寸，但可以根据光流场进行平移。

图8也提供了光流场的示例。具体来说，图8展示了根据本发明实施方式的与放大特征相关联的光流场，所述放大特征与相机相关联。在示例中，放大特征可以基于以下情况而发生：视频捕捉装置对物体进行放大；飞行器的、允许相机移动得更近的支撑区域；或两者的组合。如图8中所看到的，在光流场的边缘处的移动大于在光流场的中间处的移动。此外，在光流场上放大的方向性相等。换句话说，在垂直或水平距离上没有明显的偏移，因为每个方向以相似的方式进行移动。然而，即使当在特定方向上存在偏移时，随着运动向量搜索区域被平移至光流场的密集的部分(如光流场800的中间区域)、被平移至光流场的较不密集的部分(如光流场800的外部区域)，可能需要更大的搜索区域。因此，图8展示了与光流场的中心更接近的初始搜索区域810以及与光流场边缘更接近的更大的经修改的搜索区域820。

光流场内的感知到的物体大小的关系可以基于光流场内物体的位置而发生变化。例如，当基于放大动作生成光流场时，现实生活中大小相同的物体可能显得比它们在距离光流场的边缘更远的地方要大。图8中展示了这种情况，所述图展示了接近在光流场的中心处的归一化最小值的第一球830以及在光流场周边附近的第二球840。尽管第一球830和第二球840具有相等的大小，但是当在光流场背景下观看时，它们显得具有不同的大小。因此，所感知到的物体大小可以在光流场上发生变化。具体来说，当物体被放置在光流场上的不同位置处时，所感知到的物体大小可以以成线性正比例、成反比例的方式变化，或者通过另一个等式来建模。

图9中提供了具有与帧内的物体相关联的不同移动速率的光流场的示例。具体来说，图9提供了根据本发明实施方式的具有不同程度的物体移动的全局光流场900。如图9中所看到的，光流场顶部附近的某些物体相对静止。具体来说，看上去相对静止的物体可能远离图像捕捉装置，因为基于物体与视频捕捉装置的距离，以相同速度移动的物体将会具有不同的感知到的速度。或者，如果视频捕捉装置以与物体相同的速度并在与物体相同的方向上移动，那么以恒定速度移动的物体可能显得相对静止。在示例中，视频捕捉装置可以基于附接有视频捕捉装置的UAV的移动以特定速度移动。或者，视频捕捉装置可以基于视频捕捉装置自身相对于其所附接到的UAV的移动以特定速度移动。

相比之下，位于光流场的中央和下部部分的某些物体相对快速地移动。具体来说，基于物体相对于视频捕捉装置的移动，这些物体可能看上去相对快速地移动。具体来说，如果视频捕捉装置快速移动经过静止物体，那么基于视频捕捉装置的移动，静止物体可能看上去正在快速移动。在示例中，所感知到的物体移动可以具有与视频捕捉装置相关联的运动分量和/或可以具有与附接有视频捕捉装置的可移动物体(如UAV)的移动相关联的运动分量。此外，图9提供了如何能够基于光流场调整初始搜索区域910的示例。具体来说，提供了具有水平偏移的经修改的搜索区域920。经修改的搜索区域的水平偏移是基于图9中所提供的运动箭头的水平扩展。图9中所看到的水平偏移是由于当视频正在捕捉与光流场的底部边缘更近的物体时所看到的垂直放大方面引起的。随着物体朝着光流场的底部边缘越往下，它们显得越来越大。在光流场中所提供的运动箭头的更宽扩展中反映了这种情况。如此，当搜索运动向量时，可以在水平方向上对经修改的搜索区域进行扩展，以便对光流场的下部部分中的相对大量的区域进行搜索，在所述下部部分中，具有相同大小的物体可能显得比在光流场的较高部分中更大，在所述较高部分中，具有相同大小的物体可能显得更小。

图10展示了根据本发明实施方式的超快速的全局相机运动。具体来说，图10中所提供的光流场1000具有均匀地向下的方向。此外，由于箭头的密度，运动箭头的向下方向被展示为是快速的。在示例中，基于正在快速移动经过视频捕捉装置的一个或多个物体，光流场的向下方向可能在视频数据中显得好像是快速的。在其他示例中，基于视频捕捉装置相对于所捕捉到的视频数据内的物体的移动，光流场的向下方向可能在视频数据中显得好像是快速的。在其他示例中，基于正在快速移动经过视频捕捉装置的物体与视频捕捉装置自身的快速移动的组合，光流场内的运动箭头的向下方向可能在视频数据中显得是快速的。

图10还展示了基于光流场1000中所提供的垂直运动而调整的初始搜索区域1010。具体来说，图10的光流场具有垂直偏移。如此，经修改的搜索区域1020可能比初始搜索区域1010更高。具体来说，可以赋予经修改的搜索区域1020额外的高度以便提高对与在与初始搜索区域1010同位置的块中所找到的运动向量相关的运动向量进行识别的几率。

此外，图11展示了根据本发明实施方式的有角度全局运动。具体来说，在图11中所提供的光流场1100具有朝向光流场右下角的均匀有角度的方向。在示例中，基于正在以一定角度移动经过视频捕捉装置的一个或多个物体，光流场内的运动箭头的方向可能显得好像在视频数据中是有角度的。在其他示例中，基于视频捕捉装置相对于所捕捉到的视频数据内的物体的有角度移动，光流场内的运动箭头的方向可能显得好像在视频数据中是有角度的。在其他示例中，基于正在以一定角度快速移动经过视频捕捉装置的物体与视频捕捉装置自身的移动的组合，光流场内的运动箭头的方向可能显得在视频数据中是有角度的。

如此，可以沿着光流场1100内的运动区域平移初始搜索区域1110，以便展示经修改的搜索区域1120。平移程度可以基于帧之间的物体的速度。例如，如果视频内的物体以相对较慢的速度移动，那么经修改的搜索区域可以与初始搜索区域相对较近地定位。然而，如果视频内的物体正在以相对较快的速度移动，那么经修改的搜索区域可以与初始搜索区域相对较远地定位。如在图11中所看到的，所述光流场没有垂直或水平偏移，因为运动箭头成45度角。

可以通过围绕横滚轴旋转视频捕捉装置、通过围绕相机横滚轴旋转UAV或者通过两者来生成额外光流场。在额外示例中，所生成的光流场可以包括与移动物体的速度、移动物体与视频捕捉装置相距的距离、移动物体的弯曲运动、移动物体的方向性以及在光流场内物体移动的其他特性相关的运动方面。

在另一示例中，图12中提供了对搜索区域的偏移的图解1200。具体来说，图12展示了根据本发明实施方式的初始搜索点与偏移后的搜索点之间的比较。初始搜索点与偏移后的搜索点的比较可用于说明一种结构，所述结构修改初始搜索点以及修改被提供用于对帧之间的块进行编码的搜索区域。可能已经借助于传感器构造了光流场。

如在图12中所看到的，为已经编码的视频帧1210提供预测视频帧1220。已经编码的视频帧1210可用于确定初始搜索点1235以便在视频帧1220内搜索运动向量。具体来说，可以基于与已经编码的视频帧1210上的块同位置的块的位置来确定初始搜索点。在示例中，初始搜索点(如初始搜索点1035)可以位于同位置的块的左上角。然而，可以基于光流场偏移初始搜索点1235。在本示例中，可以通过图11的光流场1100来偏移初始搜索点1235，由此在位于初始搜索点1235的右下方的位置处提供偏移后的搜索点1240。编码处理器可以在计算偏移搜索点之前接收或生成关于这个场1100的信息。因此，在光流场1100中所感知到的运动的方向和速度可用于使初始搜索点偏移一定值并且在更大的搜索窗口内进行搜索。进一步地，当对帧1220进行评估以便运动向量将块1225与编码块1215相关联时，可以评定搜索区域1230。搜索区域1230可以更大，以便提高运动估计能够找出包含与已经编码的视频帧1210的对应部分相关联的运动向量的最接近的块。此外，可以基于偏移后的搜索点1240而不是初始搜索点1235来对搜索区域1230进行定中心。

在示例中，可以使用被命名为MVo＝[XMVo，YMVo]的向量来评定光流场内的运动。此外，运动向量的准确度可以被确定是γ。为了利用此先验知识，初始点可以偏移量γ*MVo。

此外，对于搜索范围，可以预定义一组搜索范围。在示例中，搜索范围的形状可以不限于正方形。然而，正方形形状可用于示例中。当搜索范围具有两个维度时，每个维度可以具有三个标度。在针对正方形搜索范围的示例中，宽度方向可以具有尺寸W_小、W_正常和W_大。此外，垂直方向可以具有尺寸H_小、H_正常和H_大。以此方式，2维搜索范围可以具有9种类型的搜索窗口。在示例中，2维搜索范围可以具有多个预定义的搜索大小，如50个或更少、40个或更少、30个或更少、25个或更少、20个或更少、15个或更少、14个或更少、13个或更少、12个或更少、10个或更少、9个或更少、8个或更少、7个或更少、6个或更少、5个或更少、4个或更少、3或更少、2个或更少、1个预定义的搜索大小，或者2维搜索范围可以不具有预定义的搜索大小。

此外，预定义的阈值可用于确定运动是否剧烈。在示例中，阈值可以表示为θ_低和θ_高。此外，可以使用与宽度相关的关系来确定搜索窗口尺寸[W，H]：

此外，可以以相似的方式进行高度H的计算。在示例中，在对初始搜索点进行偏移并且对搜索窗口进行放大时，可能有更高的可能性找到最佳运动向量。

在以上情况下，整个帧上的运动可以是唯一的。然而，在某些其他情况下，初始运动向量和搜索范围可以全局地并且还有局部地适应于光流场。在某些情况下，视频帧的顶部部分上的运动可能会比同一个视频帧的底部部分更加静止。在某些其他情况下，远离帧中心的物体可能会比更接近帧中心的物体移动更快。

图13是根据本发明实施方式的流程图，展示了基于光流场数据对搜索区域进行评估以便对视频进行编码的方法1300。在框1310处，接收由图像捕捉装置捕捉的视频。图像捕捉装置可以是视频捕捉装置。此外，图像捕捉装置可以安装在可移动物体(如无人机)上。此外，所述视频可以包括视频帧分量。在框1320处，提供视频帧分量的初始搜索区域。初始搜索区域可以与相邻视频帧上的对应位置同位置。此外，初始搜索区域可以具有标准大小。在框1330处，接收与视频帧分量相关联的光流场数据。所述光流场数据的至少一部分由传感器捕捉。具体来说，光流场数据的至少一部分可以由与UAV相关联的传感器捕捉。进一步地，在框1340处，基于光流场数据而改变或保持所述初始搜索区域。在示例中，可以基于光流场数据放大初始搜索区域。在其他示例中，可以跨视频帧平移初始搜索区域。对初始搜索区域的改变或保持会产生经修改的搜索区域。在框1350处，将经修改的搜索区域评估为由图像捕捉装置所捕捉的视频的经编码的运动信息。具体来说，可以对所述经修改的搜索区域进行评估以便对由图像捕捉装置所捕捉的视频内的运动向量进行编码。

图14是根据本发明实施方式的流程图，展示了基于光流场数据识别视频帧分量的运动向量的方法1400。在框1410处，接收由图像捕捉装置捕捉的视频。具体来说，所述视频包括视频帧分量。图像捕捉装置可以安装在可移动物体(如无人机)上。此外，所捕捉的视频可以在UAV在飞行中时由图像捕捉装置捕捉。在框1420处，确定用于评定所述视频帧分量内的运动向量的初始点。具体来说，可以通过参考相邻视频帧来确定用于评定视频帧分量内的运动向量的初始点。此外，在框1430处，接收与所述视频帧分量相关联的光流场数据。所述光流场数据可以与使用放大效果捕捉视频数据的相机相关联。具体来说，所述相机可以通过移动靠近物体来使用放大效果。此外，所述相机可以通过增大其对物体的放大倍率来使用放大效果。在框1440处，确定用于定位运动向量的搜索区域。具体来说，搜索区域包括初始点。此外，搜索区域是基于所接收到的光流场数据。在示例中，确定搜索区域可以包括确定搜索区域的形状。在其他示例中，确定搜索区域可以包括确定搜索区域的位置。进一步地，在框1450处，对搜索区域进行评估以识别运动向量。

图15是根据本发明实施方式的流程图，展示了基于运动数据确定搜索区域以便对视频进行编码的方法1500。在框1510处，接收由图像捕捉装置捕捉的视频。所述视频包括视频帧。所述视频可以由图像捕捉装置捕捉。在框1520处，接收与视频帧相关联的运动数据。所述运动数据是由传感器捕捉的。在示例中，所述传感器可以附接至图像捕捉装置。在其他示例中，所述传感器可以在图像捕捉装置外部。在其他示例中，所述传感器可以位于远离图像捕捉装置的位置处。此外，所述视频帧包括多个块。在示例中，所述多个块可以在视频帧内形成阵列。此外，在框1530处，基于运动数据确定视频帧内的搜索区域。搜索区域用于评估由图像捕提装置所捕捉的视频的运动。在示例中，搜索区域用于评估由图像捕捉装置所捕捉的视频的运动从而识别运动向量。

图16是根据本发明实施方式的流程图，展示了基于运动数据确定搜索区域以便对视频进行编码的方法1600。在框1610处，接收由图像捕捉装置捕捉的视频。所述视频包括第一视频帧和第二视频帧。在示例中，所述第一视频帧可以在时间上与所述第二视频帧相邻。所述第一视频帧可以在所述第二视频帧之前。或者，所述第一视频帧可以在所述第二视频帧之后。此外，所述第一视频帧和所述第二视频帧中的每个视频帧包括多个块。

在框1620处，接收与第二视频帧相关联的运动数据。所述运动数据是由传感器捕捉的。具体来说，所述传感器可以在图像捕捉装置内。或者，所述传感器可以远离图像捕捉装置。在框1630处，基于与第二视频帧相关联的运动数据确定第一视频帧内的搜索区域。在示例中，可以基于与第二视频帧相关联的运动数据确定搜索区域的大小。在其他示例中，可以基于与第二视频帧相关联的运动数据来确定搜索区域在第一视频帧上的位置。此外，搜索区域用于评估由图像捕捉装置所捕捉的视频的运动。在示例中，搜索区域用于评估由图像捕捉装置所捕捉的视频的运动从而识别所述视频内的运动向量。

图17是根据本发明实施方式的流程图，展示基于光流场数据对由飞行器捕捉的视频进行编码的另一方法1700。在框1710处，接收由挂载于飞行器上的图像捕捉装置所捕捉的视频。所述视频包括视频帧分量。在示例中，可以在飞行器在飞行中时由挂载的图像捕捉装置来捕捉所述视频。在框1720处，接收与视频帧分量相关联的光流场数据。所述光流场数据的至少一部分由挂载于飞行器上的传感器捕捉。所述传感器可用于捕捉飞行器的位置信息。在示例中，所述传感器可用于捕捉飞行器的旋转信息。此外，在框1730处，基于所述光流场数据对由所述图像捕捉装置所捕捉的视频的运动进行评估以便进行视频编码。在示例中，可以评估所述视频的运动以确定视频帧分量相关联的运动向量。

本文中针对视频编码所描述的系统、装置和方法可以应用于通过由各种物体支撑的视频捕捉装置所捕捉的任何视频。具体来说，视频可以通过由飞行器支撑的视频捕捉装置来捕捉。如前所述，本文中对飞行器(如UAV)的任何描述都可以应用于且用于任何可移动物体。本文中对飞行器的任何描述可以特别应用于UAV。本发明的可移动物体可以被配置成在任何合适的环境内移动，如在空中(例如，固定翼飞机、旋翼飞机或既无固定翼也无旋翼的飞机)、在水中(例如，船舶或潜艇)、在陆地上(例如，机动车，如小汽车、卡车、公共汽车、厢式货车、摩托车、自行车；可移动结构或框架，如拐杖、钓竿；或火车)、地下(例如，地铁)、太空(例如，航天飞机、人造卫星或者探测器)、或这些环境的任意组合。可移动物体可以是运载工具，如本文中其他地方描述的运载工具。在某些实施方式中，可移动物体可以由生物体搭载或从生物体上起飞，如人或动物。合适的动物可以包括禽类动物、犬科动物、猫科动物、马科动物、牛科动物、羊科动物、猪科动物、海豚类动物、啮齿动物、或昆虫。

可移动物体可以能够在环境内关于六个自由度(例如，三个平移自由度和三个旋转自由度)自由移动。或者，可移动物体的移动可能在一个或多个自由度上是受到如预定路线、轨道或朝向的限制。移动可以由任何合适的致动机构(如引擎或电机)来致动。可移动物体的致动机构可以通过任何合适的能源提供动力，如电能、磁能、太阳能、风能、重力能、化学能、核能、或上述能源的任何合适的组合。如本文中其他地方所描述的，可移动物体可以经由推进系统来自推进。所述推进系统可以可选地依靠能源运行，如电能、磁能、太阳能、风能、重力能、化学能、核能、或上述能源的任何合适的组合。或者，可移动物体可以由生物搭载。

在某些情况中，可移动物体可以是飞行器。例如，飞行器可以是固定翼飞机(例如，飞机、滑翔机)、旋转翼飞机(例如，直升机、旋翼机)、既有固定翼又有旋翼的飞机、或既无固定翼也无旋翼的飞机(例如，飞艇、热气球)。飞行器可以是自推进的，如通过空气自推进。自推进式飞行器可以利用推进系统，如包括一个或多个发动机、电机、轮子、轴、磁体、旋翼、螺旋桨、叶片、喷嘴、或上述各项的任何合适的组合的推进系统。在某些情况中，所述推进系统可用于使可移动物体能够从表面起飞、降落在表面上、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。

可移动物体可以由用户远程控制，或者由可移动物体内或上的乘员本地控制。所述可移动物体可以经由分开的载运工具内的乘员远程控制。在某些实施方式中，可移动物体是无人可移动物体，如UAV。无人可移动物体(如UAV)可以不具有在可移动物体上的乘员。可移动物体可以由人类或自主控制系统(例如，计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主式或者半自主式机器人，如配置有人工智能的机器人。

可移动物体可以具有任何合适的大小和/或尺寸。在某些实施方式中，可移动物体可以具有一定大小和/或尺寸以在载运工具内或上容纳人类乘员。或者，可移动物体可以具有小于能够在载运工具内或上容纳人类乘员的大小和/或尺寸。可移动物体可以具有适合于被人举起或搬运的大小和/或尺寸。或者，可移动物体可以比适合于被人举起或搬运的大小和/或尺寸大。在一些情况中，可移动物体可以具有小于或等于大约2cm、5cm、10cm、50cm、1m、2m、5m或10m的最大尺寸(例如，长度、宽度、高度、直径、对角线)。最大尺寸可以大于或等于大约2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对旋翼的轴之间的距离可以小于或等于大约2cm、5cm、10cm、50cm、1m、2m、5m或10m。或者，相对旋翼的轴之间的距离可以大于或等于大约2cm、5cm、10cm、50cm、1m、2m、5m或10m。

在某些实施方式中，可移动物体可以具有小于100cm×100cm×100cm、小于50cm×50cm×30cm、或小于5cm×5cm×3cm的体积。可移动物体的总体积可以小于或等于约1cm³、2cm³、5cm³、10cm³、20cm³、30cm³、40cm³、50cm³、60cm³、70cm³、80cm³、90cm³、100cm³、150cm³、200cm³、300cm³、500cm³、750cm³、1000cm³、5000cm³、10,000cm³、100,000cm³、1m³或10m³。相反，可移动物体的总体积可以大于或等于约1cm³、2cm³、5cm³、10cm³、20cm³、30cm³、40cm³、50cm³、60cm³、70cm³、80cm³、90cm³、100cm³、150cm³、200cm³、300cm³、500cm³、750cm³、1000cm³、5000cm³、10,000cm³、100,000cm³、1m³或10m³。

在某些实施方式中，可移动物体可以具有小于或等于约32,000cm²、20,000cm²、10,000cm²、1,000cm²、500cm²、100cm²、50cm²、10cm²或5cm²的占地面积(其可以指由可移动物体所包围的横截面面积)。相反地，所述占地面积可以大于或等于约32,000cm²、20,000cm²、10,000cm²、1,000cm²、500cm²、100cm²、50cm²、10cm²或5cm²。

在某些情况中，可移动物体可以重不超过1000kg。可移动物体的重量可以小于或等于约1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反，所述重量可以大于或等于约1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。

在某些实施方式中，可移动物体相对于所述可移动物体所搭载的负载可能较小。如本文中其他地方进一步详细描述的，负载可以包括有效载荷和/或载体。在某些示例中，可移动物体重量与负载重量之比可以大于、小于或等于约1∶1。在某些情况中，可移动物体重量与载荷重量之比可以大于、小于或等于约1∶1。可选地，载体重量与负载重量之比可以大于、小于或等于1∶1。当需要时，可移动物体重量与负载重量之比可以小于或等于1∶2、1∶3、1∶4、1∶5、1∶10或甚至更小。相反，可移动物体重量与负载重量之比还可以大于或等于2∶1、3∶1、4∶1、5∶1、10∶1或甚至更大。

在某些实施方式中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约5W/h、4W/h、3W/h、2W/h、1W/h或更小。在某些情况中，可移动物体的载体可以具有低能耗。例如，所述载体可以使用小于约5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地，所述可移动物体的有效载荷可以具有低能耗，如小于约5W/h、4W/h、3W/h、2W/h、1W/h或更小。

图18展示了根据本发明实施方式的无人机(UAV)1800。UAV可以作为本文所描述的可移动物体的示例。所述UAV 1800可以包括推进系统，所述推进系统具有四个旋翼1802、1804、1806和1808。可以提供任何数量的旋翼(例如，一个、两个、三个、四个、五个、六个或更多个)。所述无人机的旋翼、旋翼组件或其他推进系统可以使所述无人机能够悬停/保持位置、改变朝向和/或改变位置。相对旋翼的轴之间的距离可以是任何合适的长度410。例如，长度1810可以小于或等于2m或小于等于5m。在某些实施方式中，长度1810可以在从40cm至1m、从10cm至2m或从5cm至5m的范围内。本文中对UAV的任何描述都可以应用于可移动物体，如不同类型的可移动物体，并且反之亦然。UAV可以使用本文中所描述的辅助起飞系统或方法。

在某些实施方式中，可移动物体可以被配置成用于搭载负载。所述负载可以包括乘客、货物、设备、仪器等中的一种或多种。所述负载可以设置在壳体内。所述壳体可以与可移动物体的壳体相分离，或者是可移动物体的壳体的一部分。或者，负载可以具备壳体而所述可移动物体不具有壳体。或者，负载的各部分或整个负载可以不具备壳体。负载可以相对于可移动物体刚性固定。可选地，负载可以是相对于可移动物体可移动的(例如，相对于可移动物体可平移或可旋转)。负载可以包括有效载荷和/或载体，如本文其他地方所描述的。

在某些实施方式中，可移动物体、载体和有效载荷相对于固定参照系(例如，周围环境)和/或相对于彼此的移动可以由终端控制。所述终端可以是在远离可移动物体、载体和/或有效载荷的位置处的遥控装置。所述终端可以安置在或附着到支撑平台上。或者，所述终端可以是手持式或可穿戴式装置。例如，所述终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风、或其适合的组合。所述终端可以包括用户接口，如键盘、鼠标、操纵杆、触摸屏或显示器。任何适合的用户输入可用于与所述终端交互，如手动输入命令、语音控制、手势控制、或位置控制(例如，通过终端的移动、定位或倾斜)。

所述终端可用于控制可移动物体、载体和/或有效载荷的任何适合的状态。例如，所述终端可用于控制可移动物体、载体和/或有效载荷相对于固定参照物和/或相对于彼此的位置和/或朝向。在某些实施方式中，所述终端可用于控制可移动物体、载体和/或有效载荷的单独元件，如载体的致动组件、载荷的传感器、或有效载荷的发射体。所述终端可以包括适于与可移动物体、载体或有效载荷中的一个或多个通信的无线通信装置。

所述终端可以包括用于查看可移动物体、载体和/或有效载荷的信息的合适显示单元。例如，所述终端可以被配置成用于显示可移动物体、载体和/或有效载荷的、关于位置、平移速度、平移加速度、朝向、角速度、角加速度、或以上各项的任何合适组合的信息。在某些实施方式中，所述终端可以显示由有效载荷提供的信息，如由功能性有效载荷提供的数据(例如，由相机或其他图像捕捉装置记录的图像)。

可选地，同一终端可以既控制可移动物体、载体、和/或有效载荷、或可移动物体、载体和/或有效载荷的状态、又接收和/或显示来自可移动物体、载体和/或有效载荷的信息。例如，终端可以控制有效载荷相对于环境的定位，同时显示由有效载荷捕捉到的图像数据或关于有效载荷的位置的信息。或者，不同的终端可用于不同功能。例如，第一终端可以控制可移动物体、载体和/或有效载荷的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载体和/或有效载荷的信息。例如，第一终端可用于控制有效载荷相对于环境的定位，而第二终端显示由有效载荷捕捉到的图像数据。可以在可移动物体与既控制可移动物体又接收数据的集成终端之间、或在可移动物体与既控制可移动物体又接收数据的多个终端之间使用不同的通信模式。例如，在可移动物体与既控制可移动物体又从可移动物体接收数据的终端之间可以形成至少两种不同的通信模式。

图19展示了根据实施方式的可移动物体1900，所述可移动物体包括载体1902和有效载荷1904。虽然可移动物体1900被描述为飞机，但本描绘并不旨在是限制性的，并且可以使用任何合适类型的可移动物体，如本文中之前所描述的。本领域的技术人员应认识到，本文中在飞机系统背景下所描述的任何实施方式可以应用于任何合适的可移动物体(例如，UAV)。在某些情况中，有效载荷1904可以设置在可移动物体1900上而无需载体1902。可移动物体1900可以包括推进机构1906、感测系统1908和通信系统1910。

如前所述，推进机构1906可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体、或喷嘴中的一项或多项。所述可移动物体可以具有一个或多个、两个或更多个、三个或更多个、或四个或更多个推进机构。所述推进机构可以全部是相同的类型。或者，一个或多个推进机构可以是不同类型的推进机构。所述推进机构1906可以使用任何合适的手段安装在可移动物体1900上，如本文中其他地方所述的支撑元件(例如，传动轴)。推进机构1906可以安装在可移动物体1900的任何合适的部分上，如在其顶部、底部、前、后、侧面、或其合适组合上。

在某些实施方式中，推进机构1906可以使可移动物体1900能够从表面垂直起飞或垂直降落在表面上而不需要可移动物体1900的任何水平移动(例如，不需要在跑道上滑行)。可选地，推进机构1906可以操作以允许可移动物体1900在空中悬停在指定位置和/或朝向。推进机构1900中的一个或多个推进机构可以独立于其他推进机构而受到控制。或者，推进机构1900可以被配置成被同时控制。例如，可移动物体1900可以具有多个水平取向的旋翼，所述旋翼可以为可移动物体提供升力和/或推力。多个水平取向的旋翼可以被致动以便为可移动物体1900提供垂直起飞、垂直着陆和悬停能力。在某些实施方式中，所述水平取向的旋翼中的一个或多个旋翼可以在顺时针方向上自旋，而所述水平旋翼中的一个或多个旋翼可以在逆时针方向上自旋。例如，顺时针旋翼的数量可以与逆时针旋翼的数量相同。每个水平取向的旋翼的旋转速率可以独立变化以控制由每个旋翼产生的升力和/或推力，并且由此调整可移动物体1900的空间布局、速度和/或加速度(例如，关于多达三个平移度和多达三个旋转度)。

感测系统1908可以包括可以感测可移动物体1900的空间布局、速度、和/或加速度(例如，关于多达三个平移度和多达三个旋转度)的一个或多个传感器。所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、距离传感器、或图像传感器。感测系统1908所提供的感测数据可用于控制可移动物体1900的空间布局、速度、和/或朝向(例如，如下所述，使用适合的处理单元和/或控制模块)。或者，感测系统1908可用于提供关于可移动物体周围环境的数据，如天气状况、距离潜在障碍物的距离、地理特征的位置、人造结构的位置等等。

通信系统1910实现了经由无线信号1916与具有通信系统1914的终端1912通信。通信系统1910、1914可以包括任何数量的发射器、接收器、和/或适合于无线通信的收发器。通信可以是单向通信，使得数据可以仅朝一个方向传输。例如，单向通信可以涉及仅可移动物体1900向终端1912传输数据，或反之亦然。数据可以从通信系统1910的一个或多个发射器传输到通信系统1912的一个或多个接收器，或反之亦然。或者，通信可以是双向通信，使得数据可以在可移动物体1900与终端1912之间朝两个方向传输。双向通信可以涉及将数据从通信系统1910的一个或多个发射器传输至通信系统1914的一个或多个接收器，并且反之亦然。

在某些实施方式中，终端1912可以向可移动物体1900、载体1902和有效载荷1904中的一个或多个提供控制数据，并且从可移动物体1900、载体1902和有效载荷1904中的一个或多个接收信息(例如，可移动物体、载体或有效载荷的位置和/或运动信息；有效载荷所感测到的数据，如有效载荷照相机所捕捉的图像数据)。在某些情况中，来自终端的控制数据可以包括可移动物体、载体和/或有效载荷的相对位置、移动、致动或控制指令。例如，控制数据可以产生对可移动物体的位置和/或朝向的修改(例如，通过对推进机构1906的控制)、或有效载荷相对于可移动物体的移动(例如，通过对载体1902的控制)。来自终端的控制数据可以产生对有效载荷的控制，如对相机或其他图像捕捉装置的操作的控制(例如，拍摄静止或运动照片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视场)。在某些情况中，来自可移动物体、载体和/或有效载荷的通信可以包括来自(例如，感测系统1908的或有效载荷1904的)一个或多个传感器的信息。所述通信可以包括来自一种或多种不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器)的感测到的信息。这种信息可能与可移动物体、载体和/或有效载荷的定位(例如，位置、朝向)、移动、或加速度有关。来自有效载荷的这种信息可以包括有效载荷捕捉的数据或感测到的有效载荷状态。终端1912提供、传输的控制数据可以被配置成用于控制可移动物体1900、载体1902、或有效载荷1904中的一个或多个的状态。备选地或组合地，载体1902和有效载荷1904还可以各自包括被配置成用于与终端1912通信的通信模块，使得所述终端可以独立地与可移动物体1900、载体1902和有效载荷1904中的每一者通信并对其进行控制。

在某些实施方式中，可移动物体1900可以被配置成用于除了与终端1912以外(或不与终端1912)还与另一远程装置通信。终端1912还可以被配置成用于与另一远程装置以及可移动物体1900通信。例如，可移动物体1900和/或终端1912可以与另一可移动物体、或另一可移动物体的载体或有效载荷通信。如果需要，远程装置可以是第二终端或其他计算装置(例如，计算机、膝上型计算机、平板计算机、智能电话、或者其他移动装置)。所述远程装置可以被配置成用于将数据传输到可移动物体1900、从可移动物体1900接收数据、将数据传输到终端1912、和/或从终端1912接收数据。可选地，所述远程装置可以连接到因特网或其他电信网络，使得从可移动物体1900和/或终端1912接收的数据可以上传到网站或服务器。

图20是根据实施方式的用于控制可移动物体的系统2000的框图示意图。系统2000可以与本文中披露的系统、装置和方法的任何合适的实施方式结合使用。系统2000可以包括感测模块2002、处理单元2004、非暂时性计算机可读介质2006、控制模块2008和通信模块2010。

感测模块2002可以利用以不同方式收集与可移动物体相关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或来自不同来源的信号。例如，所述传感器可以包括惯性传感器、GPS传感器、距离传感器(例如，激光雷达)、或视觉/图像传感器(例如，相机)。感测模块2002可操作性地耦接到具有多个处理器的处理单元2004。在某些实施方式中，感测模块可以操作性地耦接至传输模块2012(例如，Wi-Fi图像传输模块)，所述传输模块被配置成用于将感测数据直接传输至合适的外部装置或系统。例如，传输模块2012可用于将感测模块2002的相机捕捉的图像传输至远程终端。

处理单元2004可以具有一个或多个处理器，如可编程处理器(例如，中央处理单元(CPU))。处理单元2004可以操作性地耦接至非暂时性计算机可读介质2006。非暂时性计算机可读介质2006可以存储逻辑、代码、和/或处理单元2004可执行的用于执行一个或多个步骤的程序指令。所述非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移除式介质或外部存储器，如SD卡或随机存取存储器(RAM))。在某些实施方式中，来自感测模块2002的数据可以直接传送至并存储在非暂时性计算机可读介质2006的存储器单元内。非暂时性计算机可读介质2006的存储器单元可以存储逻辑、代码和/或处理单元2004可执行的用于执行本文中所描述的方法的任何合适的实施方式的程序指令。例如，处理单元2004可以被配置成用于执行指令，所述指令致使处理单元2004的一个或多个处理器分析感测模块所产生的感测数据。所述存储器单元可以存储来自感测模块的感测数据以待由处理单元2004进行处理。在某些实施方式中，非暂时性计算机可读介质2006的存储单元可用于存储处理单元2004产生的处理结果。

在某些实施方式中，处理单元2004可以操作性地耦接至控制模块2008，所述控制模块被配置成用于控制可移动物体的状态。例如，控制模块2008可以被配置成用于控制可移动物体的推进机构来关于六个自由度调整可移动物体的空间布局、速度和/或加速度。备选地或组合地，控制模块2008可以控制载体、有效载荷或感测模块中的一个或多个的状态。

处理单元2004可以操作性地耦接至通信模块2010，所述通信模块被配置成用于传输和/或接收来自一个或多个外部装置(例如，终端、显示装置、或其他遥控器)的数据。可以使用任何合适的通信手段，如有线通信或无线通信。例如，通信模块2010可以利用局域网(LAN)、广域网(WAN)、红外、无线电、WiFi、点到点(P2P)网络、电信网络、云通信等等中的一个或多个。可选地，可以使用中继站，如塔、人造卫星、或移动站。无线通信可以依赖于距离或不依赖于距离。在某些实施方式中，通信可能需要或可能不需要视线。通信模块2010可以传输和/或接收以下各项中的一项或多项：来自感测模块2002的感测数据、处理单元2004产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等等。

系统2000的部件可以安排成任何合适的配置。例如，系统2000的一个或多个部件可以被定位在可移动物体、载体、有效载荷、终端、感测系统、或与以上各项中的一项或多项通信的额外外部装置上。此外，尽管图20描绘了单个处理单元2004和单个非暂时性计算机可读介质2006，但本领域的技术人员应认识到，这并不旨在是限制性的，并且系统2000可以包括多个处理单元和/或非暂时性计算机可读介质。在某些实施方式中，所述多个处理单元中的一个或多个处理单元和/或非暂时性计算机可读介质可以位于不同位置，如在可移动物体、载体，有效载荷、终端、感测模块、与以上各项中的一项或多项通信的额外外部装置上、或以上各项的合适组合，使得系统2000执行的处理和/或存储器功能的任何合适的方面可以在上述位置中的一个或多个位置处发生。

虽然本文中已经示出和描述了本发明的优选实施方式，但对于本领域的技术人员而言将显而易见的是这样的实施方式仅以举例方式提供。本领域的技术人员现将想到许多变化、改变以及替换而不脱离本发明。应理解的是，可以在实践本发明时采用本文中所描述的本发明实施方式的各种替代方案。希望以下权利要求限定本发明的范围，并且由此涵盖在这些权利要求以及其等效物的范围内的方法和结构。

Claims

1.一种评估搜索区域以便对视频进行编码的方法，所述方法包括：

接收由图像捕捉装置捕捉的视频，所述视频包括视频帧分量；

接收与所述视频帧分量相关联的光流场数据，其中，所述光流场数据的至少一部分是由传感器捕捉的；以及

基于所述光流场数据确定搜索区域。

2.如权利要求1所述的方法，其中，所述确定包括基于所述光流场数据改变或保持预定的初始搜索区域以产生经修改的搜索区域。

3.如权利要求2所述的方法，进一步包括将所述经修改的搜索区域评估为由所述图像捕捉装置所捕捉的所述视频的经编码的运动信息。

4.如权利要求1所述的方法，其中，所述图像捕捉装置是视频捕捉装置。

5.如权利要求1所述的方法，其中，所述图像捕捉装置安装在可移动物体上。

6.如权利要求3所述的方法，其中，当搭载有所述图像捕捉装置的可移动物体在飞行中时，发生评估所述经修改的搜索区域的步骤，并且其中，所述可移动物体是无人机(UAV)。

7.如权利要求3所述的方法，其中，所述经修改的搜索区域是通过运动估计引擎来评估。

8.如权利要求2所述的方法，其中，当确定所述光流场数据使所述视频帧分量的搜索区域偏移远离所述初始搜索区域时，改变所述初始搜索区域。

9.如权利要求2所述的方法，其中，改变所述初始搜索区域包括改变所述初始搜索区域的尺寸。

10.如权利要求2所述的方法，其中，改变所述初始搜索区域包括改变所述初始搜索区域的形状。

11.如权利要求2所述的方法，其中，改变所述初始搜索区域包括改变所述初始搜索区域的位置。

12.如权利要求11所述的方法，其中，所述光流场数据基于先前帧的运动向量使所述初始搜索区域的初始点的位置发生偏移。

13.如权利要求11所述的方法，其中，所述光流场数据基于后续帧的运动向量使所述初始搜索区域的初始点的位置发生偏移。

14.如权利要求2所述的方法，其中，改变所述初始搜索区域包括基于所述光流场数据来垂直地拉长所述初始搜索区域。

15.如权利要求14所述的方法，其中，所述光流场数据指示垂直偏移。

16.如权利要求2所述的方法，其中，改变所述初始搜索区域包括基于指示旋转的光流场数据沿着圆弧移动所述初始搜索区域在视频帧分量上的位置。

17.如权利要求3所述的方法，其中，对所述经修改的搜索区域进行评估以识别所述视频帧分量内的运动向量。

18.如权利要求1所述的方法，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

19.如权利要求2所述的方法，其中，基于所述光流场数据改变所述初始搜索区域包括基于所述光流场内的垂直偏移来拉长所述初始搜索区域。

20.如权利要求2所述的方法，其中，基于所述光流场数据改变所述初始搜索区域包括基于所述光流场内的水平偏移来加宽所述初始搜索区域。

21.如权利要求1所述的方法，其中，所述视频帧分量是视频帧。

22.如权利要求1所述的方法，其中，所述视频帧分量是视频帧内的块。

23.如权利要求22所述的方法，其中，所述块是编码视频块。

24.如权利要求2所述的方法，其中，提供所述视频帧分量的第二初始搜索区域。

25.如权利要求24所述的方法，其中，基于所述光流场数据改变或保持该所述第二初始搜索区域以产生第二经修改的搜索区域。

26.如权利要求25所述的方法，其中，所述第二经修改的搜索区域小于所述经修改的搜索区域。

27.一种包含程序指令的非暂时性计算机可读介质，所述程序指令用于评估搜索区域以便对视频进行编码，所述计算机可读介质包括：

用于接收由图像捕捉装置捕捉的视频的程序指令，所述视频包括视频帧分量；

用于接收与所述视频帧分量相关联的光流场数据的程序指令，其中，所述光流场数据的至少一部分是由传感器捕捉；以及

用于基于所述光流场数据确定搜索区域的程序指令。

28.如权利要求27所述的计算机可读介质，其中，所述确定包括基于所述光流场数据改变或保持预定的初始搜索区域以产生经修改的搜索区域。

29.如权利要求28所述的计算机可读介质，进一步包括：

用于将所述经修改的搜索区域评估为由所述图像捕捉装置所捕捉的所述视频的经编码的运动信息的程序指令。

30.如权利要求27所述的计算机可读介质，其中，所述图像捕捉装置是视频捕捉装置。

31.如权利要求27所述的计算机可读介质，其中，所述图像捕捉装置安装在可移动物体上。

32.如权利要求29所述的计算机可读介质，其中，当搭载有所述图像捕捉装置的可移动物体在飞行中时，发生评估所述经修改的搜索区域的步骤。

33.如权利要求29所述的计算机可读介质，其中，所述经修改的搜索区域是通过运动估计引擎来评估。

34.如权利要求28所述的计算机可读介质，其中，当确定所述光流场数据使所述视频帧分量的搜索区域偏移远离所述初始搜索区域时，改变所述初始搜索区域。

35.如权利要求28所述的计算机可读介质，其中，改变所述初始搜索区域包括改变所述初始搜索区域的尺寸。

36.如权利要求28所述的计算机可读介质，其中，改变所述初始搜索区域包括改变所述初始搜索区域的形状。

37.如权利要求28所述的计算机可读介质，其中，改变所述初始搜索区域包括改变所述初始搜索区域的位置。

38.如权利要求37所述的计算机可读介质，其中，所述光流场数据基于先前帧的运动向量使所述初始搜索区域的初始点的位置发生偏移。

39.如权利要求37所述的计算机可读介质，其中，所述光流场数据基于后续帧的运动向量使所述初始搜索区域的初始点的位置发生偏移。

40.如权利要求28所述的计算机可读介质，其中，改变所述初始搜索区域包括基于所述光流场数据来垂直地拉长所述初始搜索区域。

41.如权利要求40所述的计算机可读介质，其中，所述光流场数据指示垂直偏移。

42.如权利要求28所述的计算机可读介质，其中，改变所述初始搜索区域包括基于指示旋转的光流场数据沿着圆弧移动所述初始搜索区域在视频分量上的位置。

43.如权利要求29所述的计算机可读介质，其中，对所述经修改的搜索区域进行评估以识别所述视频帧分量内的运动向量。

44.如权利要求27所述的计算机可读介质，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

45.如权利要求28所述的计算机可读介质，其中，基于所述光流场数据改变所述初始搜索区域包括基于所述光流场内的垂直偏移来拉长所述初始搜索区域。

46.如权利要求28所述的计算机可读介质，其中，基于所述光流场数据改变所述初始搜索区域包括基于所述光流场内的水平偏移来加宽所述初始搜索区域。

47.如权利要求27所述的计算机可读介质，其中，所述视频帧分量是视频帧。

48.如权利要求27所述的计算机可读介质，其中，所述视频帧分量是视频帧内的块。

49.如权利要求48所述的计算机可读介质，其中，所述块是编码视频块。

50.如权利要求28所述的计算机可读介质，其中，提供所述视频帧分量的第二初始搜索区域。

51.如权利要求50所述的计算机可读介质，其中，基于所述光流场数据改变或保持该所述第二初始搜索区域以产生第二经修改的搜索区域。

52.如权利要求51所述的计算机可读介质，其中，所述第二经修改的搜索区域小于所述经修改的搜索区域。

53.一种用于评估搜索区域以便对视频进行编码的系统，所述系统包括：

图像捕捉装置，所述图像捕捉装置被配置成用于捕捉视频；

一个或多个传感器，所述一个或多个传感器被配置成用于捕捉光流场数据；以及

一个或多个处理器，所述一个或多个处理器单独地或共同地被配置成用于：

接收由所述图像捕捉装置所捕捉的所述视频，所述视频包括视频帧分量；

接收与所述视频帧分量相关联的光流场数据，其中，所述光流场数据的至少一部分是由所述一个或多个传感器捕捉；以及

基于所述光流场数据确定搜索区域。

54.如权利要求53所述的系统，其中，被配置成用于确定搜索区域的所述一个或多个处理器被配置成用于基于所述光流场数据改变或保持预定的初始搜索区域以产生经修改的搜索区域。

55.如权利要求54所述的系统，其中，所述一个或多个处理器单独地或共同地被进一步被配置成用于：

将所述经修改的搜索区域评估为由所述图像捕捉装置所捕捉的所述视频的经编码的运动信息。

56.如权利要求53所述的系统，其中，所述图像捕捉装置是视频捕捉装置。

57.如权利要求53所述的系统，其中，所述图像捕捉装置安装在可移动物体上。

58.如权利要求55所述的系统，其中，当搭载有所述图像捕捉装置的可移动物体在飞行中时，发生评估所述经修改的搜索区域的步骤。

59.如权利要求54所述的系统，其中，所述经修改的搜索区域是通过运动估计引擎来评估。

60.如权利要求54所述的系统，其中，当确定所述光流场数据使所述视频帧分量的搜索区域偏移远离所述初始搜索区域时，改变所述初始搜索区域。

61.如权利要求54所述的系统，其中，被配置成用于改变所述初始搜索区域的所述一个或多个处理器被配置成用于改变所述初始搜索区域的尺寸。

62.如权利要求54所述的系统，其中，被配置成用于改变所述初始搜索区域的所述一个或多个处理器被配置成用于改变所述初始搜索区域的形状。

63.如权利要求54所述的系统，其中，被配置成用于改变所述初始搜索区域的所述一个或多个处理器被配置成用于改变所述初始搜索区域的位置。

64.如权利要求63所述的系统，其中，所述光流场数据基于一个先前帧的一个运动向量使所述初始搜索区域的一个初始点的方位发生偏移。

65.如权利要求63所述的系统，其中，所述光流场数据基于后续帧的运动向量使所述初始搜索区域的初始点的位置发生偏移。

66.如权利要求54所述的系统，其中，被配置成用于改变所述初始搜索区域的所述一个或多个处理器被配置成用于基于所述光流场数据来垂直地拉长所述初始搜索区域。

67.如权利要求66所述的系统，其中，所述光流场数据指示垂直偏移。

68.如权利要求54所述的系统，其中，被配置成用于改变所述初始搜索区域的所述一个或多个处理器被配置成用于基于指示旋转的光流场数据沿着圆弧移动所述初始搜索区域在视频分量上的位置。

69.如权利要求55所述的系统，其中，对所述经修改的搜索区域进行评估以识别所述视频帧分量内的运动向量。

70.如权利要求53所述的系统，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

71.如权利要求54所述的系统，其中，被配置成用于基于所述光流场数据改变所述初始搜索区域的所述一个或多个处理器被配置成用于基于所述光流场内的垂直偏移来拉长所述初始搜索区域。

72.如权利要求54所述的系统，其中，被配置成用于基于所述光流场数据改变所述初始搜索区域的所述一个或多个处理器被配置成用于基于所述光流场内的水平偏移来加宽所述初始搜索区域。

73.如权利要求53所述的系统，其中，所述视频帧分量是视频帧。

74.如权利要求53所述的系统，其中，所述视频帧分量是视频帧内的块。

75.如权利要求74所述的系统，其中，所述块是编码视频块。

76.如权利要求54所述的系统，其中，提供所述视频帧分量的第二初始搜索区域。

77.如权利要求76所述的系统，其中，基于所述光流场数据改变或保持所述第二初始搜索区域以产生第二经修改的搜索区域。

78.如权利要求77所述的系统，其中，所述第二经修改的搜索区域小于所述经修改的搜索区域。

79.一种识别视频帧分量的运动向量的方法，所述方法包括：

接收由图像捕捉装置捕捉的视频，所述视频包括所述视频帧分量；

接收与所述视频帧分量相关联的光流场数据；以及

确定搜索区域以便评定运动向量，其中，所述搜索区域基于所述接收到的光流场数据。

80.如权利要求79所述的方法，其中，所述搜索区域包括用于评定所述运动向量的初始点。

81.如权利要求80所述的方法，进一步包括：

对所述搜索区域进行评估以识别所述运动向量。

82.如权利要求79所述的方法，其中，所述图像捕捉装置是视频捕捉装置。

83.如权利要求79所述的方法，其中，所述图像捕捉装置安装在可移动物体上。

84.如权利要求81所述的方法，其中，当所述可移动物体在飞行中时，发生评估所述经修改的搜索区域的步骤。

85.如权利要求79所述的方法，其中，确定所述搜索区域包括确定所述搜索区域的尺寸。

86.如权利要求79所述的方法，其中，确定所述搜索区域包括确定所述搜索区域的形状。

87.如权利要求79所述的方法，其中，确定所述搜索区域包括确定所述搜索区域在所述视频帧分量上的位置。

88.如权利要求81所述的方法，其中，所述搜索区域是通过运动估计引擎来评估。

89.如权利要求79所述的方法，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

90.如权利要求79所述的方法，其中，基于所述光流场数据确定所述搜索区域包括基于所述光流场数据内的运动程度确定搜索区域的位置。

91.如权利要求79所述的方法，其中，基于所述光流场数据确定所述搜索区域包括基于所述光流场数据内的运动程度确定搜索区域的形状。

92.如权利要求79所述的方法，其中，所述视频帧分量是视频帧。

93.如权利要求79所述的方法，其中，所述视频帧分量是块。

94.一种包含程序指令的非暂时性计算机可读介质，所述程序指令用于确定视频帧分量的运动向量，所述计算机可读介质包括：

用于接收由图像捕捉装置所捕捉的视频的程序指令，所述视频包括所述视频帧分量；

用于接收与所述视频帧分量相关联的光流场数据的程序指令；以及

用于确定搜索区域以便评定所述运动向量的程序指令，其中，所述搜索区域基于所述接收到的光流场数据。

95.如权利要求94所述的计算机可读介质，其中，所述搜索区域包括用于评定所述运动向量的预定初始点。

96.如权利要求95所述的计算机可读介质，进一步包括：

用于对所述搜索区域进行评估以识别所述运动向量的程序指令。

97.如权利要求94所述的计算机可读介质，其中，所述图像捕捉装置是视频捕捉装置。

98.权利要求94所述的计算机可读介质，其中，所述图像捕捉装置安装在可移动物体上。

99.如权利要求96所述的计算机可读介质，其中，当所述可移动物体在飞行中时，发生评估所述搜索区域的步骤。

100.如权利要求94所述的计算机可读介质，其中，确定所述搜索区域包括确定所述搜索区域的尺寸。

101.如权利要求94所述的计算机可读介质，其中，确定所述搜索区域包括确定所述搜索区域的形状。

102.如权利要求94所述的计算机可读介质，其中，确定所述搜索区域包括确定所述搜索区域在所述视频帧分量上的位置。

103.如权利要求96所述的计算机可读介质，其中，所述搜索区域是通过运动估计引擎来评估。

104.如权利要求94所述的计算机可读介质，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

105.如权利要求94所述的计算机可读介质，其中，基于所述光流场数据确定所述搜索区域包括基于所述光流场数据内的运动程度确定搜索区域的位置。

106.如权利要求94所述的计算机可读介质，其中，基于所述光流场数据确定所述搜索区域包括基于所述光流场数据内的运动程度确定搜索区域的形状。

107.如权利要求94所述的计算机可读介质，其中，所述视频帧分量是视频帧。

108.如权利要求94所述的计算机可读介质，其中，所述视频帧分量是块。

109.一种用于识别视频帧分量的运动向量的系统，所述系统包括：

图像捕捉装置，所述图像捕捉装置被配置成用于捕捉视频；

一个或多个处理器，所述一个或多个处理器被配置成用于：

接收由所述图像捕捉装置所捕捉的视频，所述视频包括所述视频帧分量；

接收与所述视频帧分量相关联的所述光流场数据；以及

确定搜索区域以便评定所述运动向量，所述搜索区域包括初始点，其中，所述搜索区域的尺寸基于所述接收到的光流场数据。

110.如权利要求109所述的系统，其中，所述搜索区域包括用于评定所述运动向量的初始点。

111.如权利要求110所述的系统，其中，所述一个或多个处理器进一步被配置成用于：

对所述搜索区域进行评估以识别所述运动向量。

112.如权利要求109所述的系统，其中，所述图像捕捉装置是视频捕捉装置。

113.如权利要求109所述的系统，其中，所述图像捕捉装置安装在可移动物体上。

114.如权利要求111所述的系统，其中，当所述可移动物体在飞行中时，发生评估所述搜索区域的步骤。

115.如权利要求109所述的系统，其中，确定所述搜索区域包括确定所述搜索区域的尺寸。

116.如权利要求109所述的系统，其中，确定所述搜索区域包括确定所述搜索区域的形状。

117.如权利要求109所述的系统，其中，确定所述搜索区域包括确定所述搜索区域在所述视频帧分量上的位置。

118.如权利要求111所述的系统，其中，所述搜索区域是通过运动估计引擎来评估。

119.如权利要求109所述的系统，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

120.如权利要求109所述的系统，其中，被配置成用于基于所述光流场数据确定所述搜索区域的所述一个或多个处理器被配置成用于基于所述光流场数据内的运动程度来确定搜索区域的位置。

121.如权利要求109所述的系统，其中，被配置成用于基于所述光流场数据确定所述搜索区域的所述一个或多个处理器被配置成用于基于所述光流场数据内的运动程度来确定搜索区域的形状。

122.如权利要求109所述的系统，其中，所述视频帧分量是视频帧。

123.如权利要求109所述的系统，其中，所述视频帧分量是块。

124.一种确定搜索区域以便对视频进行编码的方法，所述方法包括：

接收由图像捕捉装置所捕捉的视频，所述视频包括视频帧；

接收与所述视频帧相关联的运动数据，其中，所述运动数据是由传感器捕捉；以及

基于所述运动数据在所述视频帧内确定搜索区域，其中，所述搜索区域用来对由所述图像捕捉装置所捕捉的所述视频的运动进行评估。

125.如权利要求124所述的方法，进一步包括：

基于所述搜索区域对由所述图像捕捉装置所捕捉的所述视频的所述运动进行评估。

126.如权利要求124所述的方法，其中，所述搜索区域是针对所述视频帧的选定块来确定，并且与所述视频帧相关联的所述运动数据与所述视频帧的所述选定块相关联。

127.如权利要求124所述的方法，其中，所述搜索区域是针对所述视频帧的第一块来确定，并且与所述视频帧相关联的所述运动数据与所述视频帧的第二块相关联，并且其中，所述运动数据与所述视频帧的除了所述视频帧的所述第一块以外的多个块相关联。

128.如权利要求124所述的方法，其中，所述多个块在所述视频帧内形成阵列。

129.如权利要求124所述的方法，其中，在所述视频帧内确定多个搜索区域。

130.如权利要求129所述的方法，其中，所述多个搜索区域设置在不同块内。

131.如权利要求129所述的方法，其中，所述多个搜索区域具有不同的尺寸和/或形状。

132.如权利要求124所述的方法，进一步包括：

确定用于评定所述视频帧内的运动向量的初始点。

133.如权利要求132所述的方法，其中，所述确定的所述搜索区域包括所述初始点。

134.如权利要求133所述的方法，其中，通过对所述搜索区域进行评估以识别所述运动向量来使用所述搜索区域对所述运动进行评估。

135.如权利要求134所述的方法，其中，所述运动向量与所述搜索区域在块内。

136.如权利要求124所述的方法，进一步包括：

对所述搜索区域进行评估以识别运动向量。

137.如权利要求124所述的方法，其中，所述搜索区域是通过运动估计引擎来评估。

138.如权利要求132所述的方法，其中，确定所述搜索区域包括基于确定所述运动数据使所述视频帧分量的搜索区域偏移远离所述初始点而改变所述初始点。

139.如权利要求124所述的方法，其中，确定所述搜索区域包括确定所述搜索区域的尺寸。

140.如权利要求124所述的方法，其中，确定所述搜索区域包括确定所述搜索区域的至少一个形状。

141.如权利要求124所述的方法，其中，确定所述搜索区域包括确定所述搜索区域的位置。

142.如权利要求141所述的方法，其中，所述运动数据基于先前帧的运动向量使所述搜索区域内的初始点的位置发生偏移。

143.如权利要求141所述的方法，其中，所述运动数据基于后续帧的运动向量使所述搜索区域内的初始点的位置发生偏移。

144.如权利要求124所述的方法，其中，确定所述搜索区域包括基于所述运动数据确定所述搜索区域的垂直拉长的分量。

145.如权利要求144所述的方法，其中，所述运动数据指示垂直偏移。

146.如权利要求124所述的方法，其中，确定搜索区域包括基于指示旋转的运动数据沿着圆弧移动所述初始点在视频分量上的位置。

147.如权利要求125所述的方法，其中，对所述搜索区域进行评估以识别所述视频帧分量内的运动向量。

148.如权利要求124所述的方法，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

149.如权利要求124所述的方法，其中，确定所述搜索区域包括确定所述搜索区域的形状。

150.如权利要求149所述的方法，其中，所述搜索区域的形状选自由以下各项组成的组：圆形、正方形、椭圆形、三角形、平行四边形、梯形、八边形和矩形。

151.如权利要求124所述的方法，其中，所述视频帧分量是视频帧。

152.如权利要求124所述的方法，其中，所述视频帧分量是视频帧内的块。

153.如权利要求152所述的方法，其中，所述块是编码视频块。

154.如权利要求124所述的方法，其中，提供所述视频帧分量的第二搜索区域。

155.如权利要求154所述的方法，其中，基于所述运动数据改变或保持所述第二搜索区域。

156.如权利要求155所述的方法，其中，所述第二搜索区域小于所述确定的搜索区域。

157.一种包含程序指令的非暂时性计算机可读介质，所述程序指令用于确定搜索区域以便对视频进行编码，所述计算机可读介质包括：

用于接收由图像捕捉装置所捕捉的视频的程序指令，所述视频包括视频帧；

用于接收与所述视频帧相关联的运动数据的程序指令，其中，所述运动数据是由传感器捕捉，并且其中，所述视频帧包括多个块；以及

用于基于所述运动数据在所述视频帧内确定搜索区域的程序指令。

158.如权利要求157所述的计算机可读介质，进一步包括：

用于基于所述搜索区域对由所述图像捕捉装置所捕捉的所述视频的所述运动进行评估的程序指令。

159.如权利要求157所述的计算机可读介质，其中，所述搜索区域是针对所述视频帧的选定块来确定，并且与所述视频帧相关联的所述运动数据与所述视频帧的所述选定块相关联。

160.如权利要求157所述的计算机可读介质，其中，所述搜索区域是针对所述视频帧的第一块来确定，并且与所述视频帧相关联的所述运动数据与所述视频帧的第二块相关联，并且其中，所述运动数据与所述视频帧的除了所述视频帧的所述第一块以外的多个块相关联。

161.如权利要求157所述的计算机可读介质，其中，所述多个块在所述视频帧内形成阵列。

162.如权利要求157所述的计算机可读介质，其中，在所述视频帧内确定多个搜索区域。

163.如权利要求162所述的计算机可读介质，其中，所述多个搜索区域设置在不同块内。

164.如权利要求162所述的计算机可读介质，其中，所述多个搜索区域具有不同的尺寸和/或形状。

165.如权利要求157所述的计算机可读介质，进一步包括：

用于确定用于评定所述视频帧内的运动向量的初始点的程序指令。

166.如权利要求165所述的计算机可读介质，其中，所述确定的搜索区域包括所述初始点。

167.如权利要求166所述的计算机可读介质，其中，通过对所述搜索区域进行评估以识别运动向量来使用所述搜索区域对所述运动进行评估。

168.如权利要求167所述的计算机可读介质，其中，所述运动向量和所述搜索区域在块内。

169.如权利要求157所述的计算机可读介质，进一步包括：

用于对所述搜索区域进行评估以识别运动向量的程序指令。

170.如权利要求157所述的计算机可读介质，其中，所述搜索区域是通过运动估计引擎来评估。

171.如权利要求165所述的计算机可读介质，其中，确定所述搜索区域包括基于确定所述运动数据使所述视频帧分量的搜索区域偏移远离所述初始点而改变所述初始点。

172.如权利要求157所述的计算机可读介质，其中，确定所述搜索区域包括确定所述搜索区域的尺寸。

173.如权利要求157所述的计算机可读介质，其中，确定所述搜索区域包括确定所述搜索区域的至少一个形状。

174.如权利要求157所述的计算机可读介质，其中，确定所述搜索区域包括确定所述搜索区域的位置。

175.如权利要求174所述的计算机可读介质，其中，所述运动数据基于先前帧的运动向量使所述搜索区域内的初始点的位置发生偏移。

176.如权利要求174所述的计算机可读介质，其中，所述运动数据基于后续帧的运动向量使所述搜索区域的初始点的位置发生偏移。

177.如权利要求157所述的计算机可读介质，其中，确定所述搜索区域包括基于所述运动数据确定所述搜索区域的垂直拉长的分量。

178.如权利要求177所述的计算机可读介质，其中，所述运动数据指示垂直偏移。

179.如权利要求165所述的计算机可读介质，其中，确定所述搜索区域包括基于指示旋转的光流场数据沿着圆弧移动所述初始点在视频分量上的位置。

180.如权利要求157所述的计算机可读介质，其中，对所述搜索区域进行评估以识别所述视频帧分量内的运动向量。

181.如权利要求157所述的计算机可读介质，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

182.如权利要求157所述的计算机可读介质，其中，确定所述搜索区域包括确定所述搜索区域的形状。

183.如权利要求182所述的计算机可读介质，其中，所述搜索区域的形状选自由以下各项组成的组：圆形、正方形、椭圆形、三角形、平行四边形、梯形、八边形和矩形。

184.如权利要求157所述的计算机可读介质，其中，所述视频帧分量是视频帧。

185.如权利要求157所述的计算机可读介质，其中，所述视频帧分量是视频帧内的块。

186.如权利要求185所述的计算机可读介质，其中，所述块是编码视频块。

187.如权利要求157所述的计算机可读介质，其中，提供所述视频帧分量的第二搜索区域。

188.如权利要求187所述的计算机可读介质，其中，基于所述运动数据改变或保持所述第二搜索区域。

189.如权利要求188所述的计算机可读介质，其中，所述第二搜索区域小于所述确定的搜索区域。

190.一种用于确定搜索区域以便对视频进行编码的系统，所述系统包括：

图像捕捉装置，所述图像捕捉装置被配置成用于捕捉视频；

一个或多个传感器，所述一个或多个传感器被配置成用于捕捉运动数据；以及

一个或多个处理器，所述一个或多个处理器被配置成用于：

接收由所述图像捕捉装置所捕捉的所述视频，所述视频包括视频帧；

接收与所述视频帧相关联的运动数据，其中，所述运动数据是由传感器捕捉的，并且其中，所述视频帧包括多个块；以及

基于所述运动数据在所述视频帧内确定搜索区域。

191.如权利要求190所述的系统，其中，所述一个或多个处理器被进一步被配置成用于：

基于所述搜索区域对由所述图像捕捉装置所捕捉的所述视频的运动进行评估。

192.如权利要求190所述的系统，其中，所述搜索区域是针对所述视频帧的选定块来确定，并且与所述视频帧相关联的所述运动数据与所述视频帧的所述选定块相关联。

193.如权利要求190所述的系统，其中，所述搜索区域是针对所述视频帧的第一块来确定，并且与所述视频帧相关联的所述运动数据与所述视频帧的第二块相关联，并且其中，所述运动数据与所述视频帧的除了所述视频帧的所述第一块以外的多个块相关联。

194.如权利要求190所述的系统，其中，所述多个块在所述视频帧内形成阵列。

195.如权利要求190所述的系统，其中，在所述视频帧内确定多个搜索区域。

196.如权利要求195所述的系统，其中，所述多个搜索区域设置在不同块内。

197.如权利要求195所述的系统，其中，所述多个搜索区域具有不同的尺寸和/或形状。

198.如权利要求190所述的系统，其中，所述一个或多个处理器进一步被配置成用于确定用于评定所述视频帧内的运动向量的初始点。

199.如权利要求198所述的系统，其中，所述确定的搜索区域包括所述初始点。

200.如权利要求199所述的系统，其中，通过对所述搜索区域进行评估以识别运动向量来使用所述搜索区域对所述运动进行评估。

201.如权利要求200所述的系统，其中，所述运动向量和所述搜索区域在块内。

202.如权利要求190所述的系统，其中，所述一个或多个处理器进一步被配置成用于：

对所述搜索区域进行评估以识别运动向量。

203.如权利要求191所述的系统，其中，所述搜索区域是通过运动估计引擎来评估。

204.如权利要求198所述的系统，其中，被配置成用于确定所述搜索区域的所述一个或多个处理器还被配置成用于基于确定所述运动数据使所述视频帧分量的搜索区域偏移远离所述初始点而改变所述初始点。

205.如权利要求190所述的系统，其中，确定所述搜索区域包括确定所述搜索区域的尺寸。

206.如权利要求190所述的系统，其中，确定所述搜索区域包括确定所述搜索区域的至少一个形状。

207.如权利要求190所述的系统，其中，确定所述搜索区域包括确定所述搜索区域的位置。

208.如权利要求207所述的系统，其中，所述运动数据基于先前帧的运动向量使所述搜索区域的初始点的位置发生偏移。

209.如权利要求207所述的系统，其中，所述运动数据基于后续帧的运动向量使所述搜索区域的初始点的位置发生偏移。

210.如权利要求190所述的系统，其中，确定所述搜索区域包括基于所述运动数据确定所述搜索区域的垂直拉长的分量。

211.如权利要求210所述的系统，其中，所述运动数据指示垂直偏移。

212.如权利要求198所述的系统，其中，确定所述搜索区域包括基于指示旋转的运动数据沿着圆弧移动所述初始点在视频分量上的位置。

213.如权利要求191所述的系统，其中，对所述搜索区域进行评估以识别所述视频帧分量内的运动向量。

214.如权利要求190所述的系统，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

215.如权利要求190所述的系统，其中，被配置成用于确定所述搜索区域的所述一个或多个处理器被配置成用于确定所述搜索区域的形状。

216.如权利要求215所述的系统，其中，所述搜索区域的形状选自由以下各项组成的组：圆形、正方形、椭圆形、三角形、平行四边形、梯形、八边形和矩形。

217.如权利要求190所述的系统，其中，所述视频帧分量是视频帧。

218.如权利要求190所述的系统，其中，所述视频帧分量是视频帧内的块。

219.如权利要求218所述的系统，其中，所述块是编码视频块。

220.如权利要求190所述的系统，其中，提供所述视频帧分量的第二搜索区域。

221.如权利要求220所述的系统，其中，基于所述运动数据改变或保持所述第二搜索区域。

222.如权利要求221所述的系统，其中，所述第二搜索区域小于所述确定的搜索区域。

223.一种确定搜索区域以便对视频进行编码的方法，所述方法包括：

接收由图像捕捉装置所捕捉的视频，所述视频包括第一视频帧和第二视频帧，所述视频帧中的每个视频帧包括多个块；

接收与所述第二视频帧相关联的运动数据，其中，所述运动数据是由传感器捕捉；以及

基于与所述第二视频帧相关联的所述运动数据在所述第一视频帧内确定搜索区域。

224.如权利要求223所述的方法，进一步包括：

225.如权利要求223所述的方法，其中，所述搜索区域是针对所述第一视频帧的选定块来确定，并且与所述第二视频帧相关联的所述运动数据与所述第二视频帧的块相关联，所述块与所述第一视频帧的所述选定块相对应。

226.如权利要求223所述的方法，其中，所述搜索区域是针对所述第一视频帧的第一块来确定，并且与所述第二视频帧相关联的所述运动数据与所述第二视频帧的第二块相关联，所述第二块不与所述第一视频帧的所述第一块相对应，并且其中，所述运动数据与所述第二视频帧的多个块相关联。

227.如权利要求223所述的方法，其中，在所述第一视频帧内确定多个搜索区域。

228.如权利要求227所述的方法，其中，所述多个搜索区域设置在不同块内。

229.如权利要求227所述的方法，其中，所述多个搜索区域具有不同的尺寸和/或形状。

230.如权利要求223所述的方法，进一步包括：

确定用于评定所述第一视频帧内的运动向量的初始点。

231.如权利要求230所述的方法，其中，所述确定的搜索区域包括所述初始点。

232.如权利要求231所述的方法，其中，通过对所述搜索区域进行评估以识别所述运动向量来使用所述搜索区域对所述运动进行评估。

233.如权利要求232所述的方法，其中，所述运动向量与所述搜索区域在块内。

234.如权利要求224所述的方法，其中，所述搜索区域是通过运动估计引擎来评估。

235.如权利要求230所述的方法，其中，确定所述搜索区域包括基于确定所述运动数据使所述视频帧分量的搜索区域偏移远离所述初始点而改变所述初始点。

236.如权利要求223所述的方法，其中，确定所述搜索区域包括确定所述搜索区域的尺寸。

237.如权利要求223所述的方法，其中，确定所述搜索区域包括确定所述搜索区域的至少一个形状。

238.如权利要求223所述的方法，其中，确定所述搜索区域包括确定所述搜索区域的位置。

239.如权利要求238所述的方法，其中，所述运动数据基于先前帧的运动向量使所述搜索区域的初始点的位置发生偏移。

240.如权利要求238所述的方法，其中，所述运动数据基于后续帧的运动向量使所述搜索区域的初始点的位置发生偏移。

241.如权利要求223所述的方法，其中，确定所述搜索区域包括基于所述运动数据确定所述搜索区域的垂直拉长的分量。

242.如权利要求241所述的方法，其中，所述运动数据指示垂直偏移。

243.如权利要求230所述的方法，其中，确定所述搜索区域包括基于指示旋转的运动数据沿着圆弧移动所述初始点在视频分量上的位置。

244.如权利要求224所述的方法，其中，对所述搜索区域进行评估以识别所述视频帧分量内的运动向量。

245.如权利要求223所述的方法，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

246.如权利要求223所述的方法，其中，基于与所述第二视频帧相关联的所述运动数据在所述第一视频帧内确定所述搜索区域包括响应于与所述第二帧相关联的放大运动数据来扩大所述搜索区域，其中，所述第二帧在时间上在所述第一视频帧之前。

247.如权利要求223所述的方法，其中，基于与所述第二视频帧相关联的所述运动数据在所述第一视频帧内确定所述搜索区域包括响应于与所述第二帧相关联的缩小运动数据来减小所述搜索区域，其中，所述第二帧在时间上在所述第一视频帧之前。

248.如权利要求223所述的方法，其中，所述视频帧分量是视频帧。

249.如权利要求223所述的方法，其中，所述视频帧分量是视频帧内的块。

250.如权利要求249所述的方法，其中，所述块是编码视频块。

251.如权利要求223所述的方法，其中，提供所述视频帧分量的第二搜索区域。

252.如权利要求251所述的方法，其中，基于所述运动数据改变或保持所述第二搜索区域。

253.如权利要求252所述的方法，其中，所述第二搜索区域小于所述确定的搜索区域。

254.一种包含程序指令的非暂时性计算机可读介质，所述程序指令用于确定搜索区域以便对视频进行编码，所述计算机可读介质包括：

用于接收由图像捕捉装置所捕捉的视频的程序指令，所述视频包括第一视频帧和第二视频帧，所述视频帧中的每个视频帧包括多个块；

用于接收与所述第二视频帧相关联的运动数据的程序指令，其中，所述运动数据是由传感器捕捉；以及

用于基于与所述第二视频帧相关联的所述运动数据在所述第一视频帧内确定搜索区域的程序指令。

255.如权利要求254所述的计算机可读介质，进一步包括：

用于基于所述搜索区域对由所述图像捕捉装置所捕捉的所述视频的运动进行评估的程序指令。

256.如权利要求254所述的计算机可读介质，其中，所述搜索区域是针对所述第一视频帧的选定块来确定，并且与所述第二视频帧相关联的所述运动数据与所述第二视频帧的块相关联，所述块与所述第一视频帧的所述选定块相对应。

257.如权利要求254所述的计算机可读介质，其中，所述搜索区域是针对所述第一视频帧的第一块来确定，并且与所述第二视频帧相关联的所述运动数据与所述第二视频帧的第二块相关联，所述第二块不与所述第一视频帧的所述第一块相对应，并且其中，所述运动数据与所述第二视频帧的多个块相关联。

258.如权利要求254所述的计算机可读介质，其中，在所述第一视频帧内确定多个搜索区域。

259.如权利要求258所述的计算机可读介质，其中，所述多个搜索区域设置在不同块内。

260.如权利要求258所述的计算机可读介质，其中，所述多个搜索区域具有不同的尺寸和/或形状。

261.如权利要求254所述的计算机可读介质，进一步包括：

用于确定用于评定所述第一视频帧内的运动向量的初始点的程序指令。

262.如权利要求270所述的计算机可读介质，其中，所述确定的搜索区域包括所述初始点。

263.如权利要求255所述的计算机可读介质，其中，通过对所述搜索区域进行评估以标识一个运动向量来使用所述搜索区域对所述运动进行评估。

264.如权利要求272所述的计算机可读介质，其中，所述运动向量和所述搜索区域在块内。

265.如权利要求255所述的计算机可读介质，其中，所述搜索区域是通过运动估计引擎来评估。

266.如权利要求270所述的计算机可读介质，其中，确定所述搜索区域包括基于确定所述运动数据使所述视频帧分量的搜索区域偏移远离所述初始点而改变所述初始点。

267.如权利要求254所述的计算机可读介质，其中，确定所述搜索区域包括确定所述搜索区域的尺寸。

268.如权利要求254所述的计算机可读介质，其中，确定所述搜索区域包括确定所述搜索区域的至少一个形状。

269.如权利要求254所述的计算机可读介质，其中，确定所述搜索区域包括确定所述搜索区域的位置。

270.如权利要求278所述的计算机可读介质，其中，所述运动数据基于先前帧的运动向量使所述搜索区域的初始点的位置发生偏移。

271.如权利要求278所述的计算机可读介质，其中，所述运动数据基于后续帧的运动向量使所述搜索区域的初始点的位置发生偏移。

272.如权利要求254所述的计算机可读介质，其中，确定所述搜索区域包括基于所述运动数据确定所述搜索区域的垂直拉长的分量。

273.如权利要求281所述的计算机可读介质，其中，所述运动数据指示垂直偏移。

274.如权利要求270所述的计算机可读介质，其中，确定所述搜索区域包括基于指示旋转的运动数据沿着圆弧移动所述初始点在视频分量上的位置。

275.如权利要求255所述的计算机可读介质，其中，对所述搜索区域进行评估以识别所述视频帧分量内的运动向量。

276.如权利要求254所述的计算机可读介质，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

277.如权利要求254所述的计算机可读介质，其中，基于与所述第二视频帧相关联的所述运动数据在所述第一视频帧内确定所述搜索区域包括响应于与所述第二帧相关联的放大运动数据来扩大所述搜索区域，其中，所述第二帧在时间上在所述第一视频帧之前。

278.如权利要求254所述的计算机可读介质，其中，基于与所述第二视频帧相关联的所述运动数据在所述第一视频帧内确定所述搜索区域包括响应于与所述第二帧相关联的缩小运动数据来减小所述搜索区域，其中，所述第二帧在时间上在所述第一视频帧之前。

279.如权利要求254所述的计算机可读介质，其中，所述视频帧分量是视频帧。

280.如权利要求254所述的计算机可读介质，其中，所述视频帧分量是视频帧内的块。

281.如权利要求289所述的计算机可读介质，其中，所述块是编码视频块。

282.如权利要求254所述的计算机可读介质，其中，提供所述视频帧分量的第二搜索区域。

283.如权利要求291所述的计算机可读介质，其中，基于所述运动数据改变或保持所述第二搜索区域。

284.如权利要求292所述的计算机可读介质，其中，所述第二搜索区域小于所述确定的搜索区域。

285.一种用于确定搜索区域以便对视频进行编码的系统，所述系统包括：

图像捕捉装置，所述图像捕捉装置被配置成用于捕捉视频；

一个或多个处理器，所述一个或多个处理器被配置成用于：

接收由所述图像捕捉装置所捕捉的所述视频，所述视频包括第一视频帧和第二视频帧，所述视频帧中的每个视频帧包括多个块；

286.如权利要求294所述的系统，其中，所述一个或多个处理器被进一步配置成用于：

287.如权利要求294所述的系统，其中，所述搜索区域是针对所述第一视频帧的选定块来确定，并且与所述第二视频帧相关联的所述运动数据与所述第二视频帧的块相关联，所述块与所述第一视频帧的所述选定块相对应。

288.如权利要求294所述的系统，其中，所述搜索区域是针对所述第一视频帧的第一块来确定，并且与所述第二视频帧相关联的所述运动数据与所述第二视频帧的第二块相关联，所述第二块不与所述第一视频帧的所述第一块相对应，并且其中，所述运动数据与所述第二视频帧的多个块相关联。

289.如权利要求294所述的系统，其中，在所述第一视频帧内确定多个搜索区域。

290.如权利要求298所述的系统，其中，所述多个搜索区域设置在不同块内。

291.如权利要求298所述的系统，其中，所述多个搜索区域具有不同的尺寸和/或形状。

292.如权利要求294所述的系统，其中，所述一个或多个处理器被进一步配置成用于确定用于评定所述第一视频帧内的运动向量的初始点。

293.如权利要求301所述的系统，其中，所述确定的搜索区域包括所述初始点。

294.如权利要求302所述的系统，其中，通过对所述搜索区域进行评估以识别所述运动向量来使用所述搜索区域对所述运动进行评估。

295.如权利要求303所述的系统，其中，所述运动向量和所述搜索区域在块内。

296.如权利要求295所述的系统，其中，所述搜索区域是通过运动估计引擎来评估。

297.如权利要求301所述的系统，其中，确定所述搜索区域包括基于确定所述运动数据使所述视频帧分量的搜索区域偏移远离所述初始点而改变所述初始点。

298.如权利要求294所述的系统，其中，确定搜索区域包括确定所述搜索区域的尺寸。

299.如权利要求294所述的系统，其中，确定所述搜索区域包括确定所述搜索区域的至少一个形状。

300.如权利要求294所述的系统，其中，确定所述搜索区域包括确定所述搜索区域的位置。

301.如权利要求309所述的系统，其中，所述运动数据基于先前帧的运动向量使所述搜索区域的初始点的位置发生偏移。

302.如权利要求309所述的系统，其中，所述运动数据基于后续帧的运动向量使所述搜索区域的初始点的位置发生偏移。

303.如权利要求294所述的系统，其中，确定所述搜索区域包括基于所述运动数据确定所述搜索区域的垂直拉长的分量。

304.如权利要求312所述的系统，其中，所述运动数据指示垂直偏移。

305.如权利要求301所述的系统，其中，确定所述搜索区域包括基于指示旋转的运动数据沿着圆弧移动所述初始点在视频分量上的位置。

306.如权利要求295所述的系统，其中，对所述搜索区域进行评估以识别所述视频帧分量内的运动向量。

307.如权利要求294所述的系统，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

308.如权利要求294所述的系统，其中，被配置成用于基于与所述第二视频帧相关联的所述运动数据在所述第一视频帧内确定所述搜索区域的所述一个或多个处理器被配置成用于响应于与所述第二帧相关联的放大运动数据来扩大所述搜索区域，其中，所述第二帧在时间上在所述第一视频帧之前。

309.如权利要求294所述的系统，其中，被配置成用于基于与所述第二视频帧相关联的所述运动数据在所述第一视频帧内确定所述搜索区域的所述一个或多个处理器被配置成用于响应于与所述第二帧相关联的缩小运动数据来减小所述搜索区域，其中，所述第二帧在时间上在所述第一视频帧之前。

310.如权利要求294所述的系统，其中，所述视频帧分量是视频帧。

311.如权利要求294所述的系统，其中，所述视频帧分量是视频帧内的块。

312.如权利要求320所述的系统，其中，所述块是编码视频块。

313.如权利要求294所述的系统，其中，提供所述视频帧分量的第二搜索区域。

314.如权利要求322所述的系统，其中，基于所述运动数据改变或保持所述第二搜索区域。

315.如权利要求323所述的系统，其中，所述第二搜索区域小于所述确定的搜索区域。

316.一种对由飞行器捕捉的视频进行编码的方法，所述方法包括：

接收由挂载于所述飞行器上的图像捕捉装置捕捉的视频，所述视频包括视频帧分量；

接收与视频帧分量相关联的光流场数据，其中，所述光流场数据的至少一部分是由挂载于所述飞行器上的传感器捕捉；以及

基于所述光流场数据对由所述图像捕捉装置捕捉的所述视频的运动进行评估以便进行视频编码。

317.如权利要求325所述的方法，其中，所述飞行器是无人机。

318.如权利要求325所述的方法，其中，在所述视频的视频帧分量内的搜索区域内对所述视频的所述运动进行评估。

319.如权利要求327所述的方法，其中，基于所述光流场数据确定所述搜索区域的尺寸、形状或位置。

320.如权利要求325所述的方法，其中，所述视频的所述运动是通过运动估计引擎来评估。

321.如权利要求325所述的方法，其中，对所述视频的运动进行评估包括对所述视频的视频帧分量内的搜索区域进行评估，其中，当确定所述光流场数据使所述视频帧分量的搜索区域偏移远离初始搜索区域时，改变所述搜索区域。

322.如权利要求330所述的方法，其中，改变所述搜索区域包括改变所述搜索区域的尺寸。

323.如权利要求330所述的方法，其中，改变所述搜索区域包括改变所述搜索区域的形状。

324.如权利要求330所述的方法，其中，改变所述搜索区域包括改变所述搜索区域的位置。

325.如权利要求333所述的方法，其中，所述光流场数据基于先前帧的运动向量使所述搜索区域的初始点的位置发生偏移。

326.如权利要求333所述的方法，其中，所述光流场数据基于后续帧的运动向量使所述搜索区域的初始点的位置发生偏移。

327.如权利要求330所述的方法，其中，改变所述搜索区域包括基于所述光流场数据垂直地拉长所述搜索区域。

328.如权利要求336所述的方法，其中，所述光流场数据指示垂直偏移。

329.如权利要求330所述的方法，其中，改变所述搜索区域包括基于指示旋转的光流场数据沿着圆弧移动所述搜索区域在视频帧分量上的位置。

330.如权利要求325所述的方法，其中，对所述视频的所述运动进行评估以识别所述视频的视频帧分量内的运动向量。

331.如权利要求325所述的方法，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

332.如权利要求325所述的方法，其中，所述光流场数据的一部分是从外部源接收。

333.如权利要求341所述的方法，其中，所述光流场数据的从所述外部源所接收到的所述部分从地面站传送至所述飞行器。

334.如权利要求339所述的方法，其中，所述视频帧分量是视频帧。

335.如权利要求339所述的方法，其中，所述视频帧分量是个视频帧内的块。

336.如权利要求344所述的方法，其中，所述块是编码视频块。

337.如权利要求339所述的方法，其中，提供所述视频帧分量的搜索区域。

338.如权利要求346所述的方法，其中，基于所述光流场数据改变或保持所述搜索区域以产生经修改的搜索区域。

339.如权利要求347所述的方法，其中，所述经修改的搜索区域小于初始搜索区域。

340.一种包含程序指令的非暂时性计算机可读介质，所述程序指令用于对由飞行器捕捉的视频进行编码，所述计算机可读介质包括：

用于接收由挂载于所述飞行器上的图像捕捉装置捕捉的视频的程序指令，所述视频包括视频帧分量；

用于接收与视频帧分量相关联的光流场数据的程序指令，其中，所述光流场数据的至少一部分是由挂载于所述飞行器上的传感器捕捉；以及

用于基于所述光流场数据对由所述图像捕捉装置所捕捉的所述视频的运动进行评估以便进行视频编码的程序指令。

341.如权利要求349所述的计算机可读介质，其中，所述飞行器是无人机。

342.如权利要求349所述的计算机可读介质，其中，在所述视频的视频帧分量内的搜索区域内对所述视频的所述运动进行评估。

343.如权利要求351所述的计算机可读介质，其中，基于所述光流场数据确定所述搜索区域的尺寸、形状或位置。

344.如权利要求349所述的计算机可读介质，其中，所述视频的所述运动是通过运动估计引擎来评估。

345.如权利要求349所述的计算机可读介质，其中，对所述视频的运动进行评估包括对所述视频的视频帧分量内的搜索区域进行评估，其中，当确定所述光流场数据使所述视频帧分量的搜索区域偏移远离初始搜索区域时，改变所述搜索区域。

346.如权利要求354所述的计算机可读介质，其中，改变所述搜索区域包括改变所述搜索区域的尺寸。

347.如权利要求354所述的计算机可读介质，其中，改变所述搜索区域包括改变所述搜索区域的形状。

348.如权利要求354所述的计算机可读介质，其中，改变所述搜索区域包括改变所述搜索区域的位置。

349.如权利要求357所述的计算机可读介质，其中，所述光流场数据基于先前帧的运动向量使所述搜索区域的初始点的位置发生偏移。

350.如权利要求357所述的计算机可读介质，其中，所述光流场数据基于后续帧的运动向量使所述搜索区域的初始点的位置发生偏移。

351.如权利要求354所述的计算机可读介质，其中，改变所述搜索区域包括基于所述光流场数据垂直地拉长所述搜索区域。

352.如权利要求360所述的计算机可读介质，其中，所述光流场数据指示垂直偏移。

353.如权利要求354所述的计算机可读介质，其中，改变所述搜索区域包括基于指示旋转的光流场数据沿着圆弧移动所述搜索区域在视频分量上的位置。

354.如权利要求354所述的计算机可读介质，其中，对所述搜索区域进行评估以识别所述视频的视频帧分量内的运动向量。

355.如权利要求354所述的计算机可读介质，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

356.如权利要求349所述的计算机可读介质，其中，所述光流场数据的一部分是从外部源接收。

357.如权利要求365所述的计算机可读介质，其中，所述光流场数据的从所述外部源所接收到的所述部分从地面站传送至所述飞行器。

358.如权利要求363所述的计算机可读介质，其中，所述视频帧分量是视频帧。

359.如权利要求363所述的计算机可读介质，其中，所述视频帧分量是视频帧内的块。

360.如权利要求368所述的计算机可读介质，其中，所述块是编码视频块。

361.如权利要求363所述的计算机可读介质，其中，提供所述视频帧分量的搜索区域。

362.如权利要求370所述的计算机可读介质，其中，基于所述光流场数据改变或保持所述搜索区域以产生经修改的搜索区域。

363.如权利要求371所述的计算机可读介质，其中，所述经修改的搜索区域小于初始搜索区域。

364.一种用于对由飞行器捕捉的视频进行编码的系统，所述系统包括：

挂载于飞行器上的图像捕捉装置，所述图像捕捉装置被配置成用于捕捉视频；

挂载于所述飞行器上的一个或多个传感器，所述一个或多个传感器被配置成用于捕捉光流场数据；以及

接收由图像捕捉装置所捕捉的视频，所述视频包括视频帧分量；

接收与视频帧分量相关联的所述光流场数据，其中，所述光流场数据的至少一部分是由所述传感器捕捉；以及

基于所述光流场数据对由所述图像捕捉装置所捕捉的所述视频的运动进行评估以便进行视频编码。

365.如权利要求373所述的系统，其中，所述飞行器是无人机。

366.如权利要求373所述的系统，其中，在所述视频的视频帧分量内的搜索区域内对所述视频的所述运动进行评估。

367.如权利要求375所述的系统，其中，基于所述光流场数据确定所述搜索区域的尺寸、形状或位置。

368.如权利要求373所述的系统，其中，所述视频的所述运动是通过运动估计引擎来评估。

369.如权利要求373所述的系统，其中，被配置成用于对所述视频的所述运动进行评估的所述一个或多个处理器被配置成用于对所述视频的视频帧分量内的搜索区域进行评估，其中，当确定所述光流场数据使所述视频帧分量的搜索区域偏移远离初始搜索区域时，改变所述搜索区域。

370.如权利要求378所述的系统，其中，被配置成用于改变所述初始搜索区域的所述一个或多个处理器被配置成用于改变所述初始搜索区域的尺寸。

371.如权利要求378所述的系统，其中，被配置成用于改变所述初始搜索区域的所述一个或多个处理器被配置成用于改变所述初始搜索区域的形状。

372.如权利要求378所述的系统，其中，被配置成用于改变所述初始搜索区域的所述一个或多个处理器被配置成用于改变所述初始搜索区域的位置。

373.如权利要求381所述的系统，其中，所述光流场数据基于先前帧的运动向量使所述搜索区域的初始点的位置发生偏移。

374.如权利要求381所述的系统，其中，所述光流场数据基于后续帧的运动向量使所述搜索区域的初始点的位置发生偏移。

375.如权利要求378所述的系统，其中，被配置成用于改变所述初始搜索区域的所述一个或多个处理器被配置成用于基于所述光流场数据垂直地拉长所述搜索区域。

376.如权利要求384所述的系统，其中，所述光流场数据指示垂直偏移。

377.如权利要求378所述的系统，其中，被配置成用于改变所述搜索区域的所述一个或多个处理器被配置成用于基于指示旋转的光流场数据沿着圆弧移动所述搜索区域在视频分量上的位置。

378.如权利要求378所述的系统，其中，对所述搜索区域进行评估以识别所述视频的视频帧分量内的运动向量。

379.如权利要求373所述的系统，其中，所述传感器包括以下各项中的一项或多项：光学传感器、超声波传感器、MVO、陀螺仪、GPS、高度计。

380.如权利要求373所述的系统，其中，所述光流场数据的一部分是从外部源接收。

381.如权利要求389所述的系统，其中，所述光流场数据的从所述外部源所接收到的所述部分从地面站传送至所述飞行器。

382.如权利要求387所述的系统，其中，所述视频帧分量是视频帧。

383.如权利要求387所述的系统，其中，所述视频帧分量是视频帧内的块。

384.如权利要求392所述的系统，其中，所述块是编码视频块。

385.如权利要求387所述的系统，其中，提供所述视频帧分量的搜索区域。

386.如权利要求394所述的系统，其中，基于所述光流场数据改变或保持所述搜索区域以产生经修改的搜索区域。

387.如权利要求395所述的系统，其中，所述经修改的搜索区域小于初始搜索区域。