CN111194433A - 用于构图和捕捉图像的方法和系统 - Google Patents

用于构图和捕捉图像的方法和系统 Download PDF

Info

Publication number
CN111194433A
CN111194433A CN201880065349.XA CN201880065349A CN111194433A CN 111194433 A CN111194433 A CN 111194433A CN 201880065349 A CN201880065349 A CN 201880065349A CN 111194433 A CN111194433 A CN 111194433A
Authority
CN
China
Prior art keywords
composition
image
uav
imaging device
metrics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880065349.XA
Other languages
English (en)
Inventor
陈玮
窦川川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111194433A publication Critical patent/CN111194433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C19/00—Aircraft control not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G05D1/0816—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Abstract

提供了用于使用UAV进行图像捕捉的系统、设备和方法。可以从无人飞行器(UAV)携带的成像设备获取图像，该成像设备可以通过载体与该UAV耦接，该载体允许该成像设备相对于该UAV并关于一个或多个轴移动。可以获取一个或多个构图度量。可以使用该一个或多个构图度量来评估该图像的构图。可以至少部分地基于该评估来控制该UAV和/或该载体。

Description

用于构图和捕捉图像的方法和系统
背景技术
无人飞行器(UAV)极大地扩展了现代摄影的范围。然而，以极佳的构图拍摄美观的照片仍然具有挑战性，尤其是对于航空摄影而言。为了同时操纵UAV或成像设备的角度并控制相机的快门以实现正确的构图，航空摄影师通常既需要成为熟练的UAV操作员又需要成为有经验的摄影师。提供构图辅助的现有方法有很多不足之处。一种常见的方法是在拍摄数字图像(例如，裁剪)后对其进行处理以改变其构图。然而，这样的后图像处理会降低所得照片的图像分辨率。另一种方法是向用户提供指导信息，以帮助该用户捕捉具有良好构图的照片。然而，这种方法仍然需要用户控制快门。
发明内容
根据实施例，提供了一种计算机实现的方法。该方法包括：从无人飞行器(UAV)携带的成像设备获取图像，该成像设备通过载体与该UAV耦接，该载体允许该成像设备相对于该UAV并关于一个或多个轴移动；获取一个或多个构图度量；使用该一个或多个构图度量来评估该图像的构图；以及至少部分地基于该评估来控制该UAV和/或该载体。
根据实施例，提供了一种系统。该系统包括存储器，该存储器存储一个或多个计算机可执行指令；以及一个或多个处理器，被配置为访问该存储器并执行该计算机可执行指令以执行方法，该方法包括：从无人飞行器(UAV)携带的成像设备获取图像，该成像设备通过载体与该UAV耦接，该载体允许该成像设备相对于该UAV并关于一个或多个轴移动；获取一个或多个构图度量；使用该一个或多个构图度量来评估该图像的构图；以及至少部分地基于该评估来控制该UAV和/或该载体。
根据实施例，提供了一种计算机实现的方法。该方法包括：从无人飞行器(UAV)携带的成像设备获取第一图像；获取一个或多个构图度量；使用该一个或多个构图度量来评估该第一图像的构图；以及至少部分地基于该评估来控制该成像设备的快门以捕捉第二图像。
根据实施例，提供了一种或多种非暂时性计算机可读存储介质，存储计算机可执行指令，该计算机可执行指令在由一个或多个处理器执行时，配置该一个或多个处理器以执行方法，该方法包括：从无人飞行器(UAV)携带的成像设备获取第一图像；获取一个或多个构图度量；使用该一个或多个构图度量来评估该第一图像的构图；以及至少部分地基于该评估来控制该成像设备的快门以捕捉第二图像。
根据实施例，提供了一种计算机实现的方法。该方法包括：从无人飞行器(UAV)携带的成像设备获取图像，该成像设备通过载体与该UAV耦接，该载体允许该成像设备相对于该UAV并关于一个或多个轴移动；从多个构图度量中选择该图像的构图度量；以及至少部分地基于该选择的构图度量来控制该UAV和/或该载体。
根据实施例，提供了一种系统。该系统包括存储器，该存储器存储一个或多个计算机可执行指令；以及一个或多个处理器，被配置为访问该存储器并执行该计算机可执行指令以执行方法，该方法包括：从无人飞行器(UAV)携带的成像设备获取图像，该成像设备通过载体与该UAV耦接，该载体允许该成像设备相对于该UAV并关于一个或多个轴移动；从多个构图度量中选择该图像的构图度量；以及至少部分地基于该选择的构图度量来控制该UAV和/或该载体。
应该理解的是，本发明的不同方面可以单独地、共同地或者彼此组合地理解。本文描述的本发明的各个方面可以应用于下面阐述的任何特定应用或任何其它类型的可移动和/或静止物体之间的数据通信。
通过阅读说明书、权利要求书和附图，本发明的其它目的和特征将变得显而易见。
附图说明
本发明的新颖特征在所附权利要求中具体阐述。通过参考下面的详细描述及其附图，将更好地理解本发明的特征和优点，所述详细描述中阐述了利用本发明的原理的说明性实施例，所述附图中：
图1示出了根据实施例的用于实现图像构图优化的示例性环境；
图2示出了根据实施例的用于实现构图优化的系统中的示例性组件；
图3示出了根据实施例的用于基于规则的构图评估的示例性过程；
图4示出了根据实施例的用于基于模板的构图评估的示例性过程；
图5示出了根据实施例的用于配置构图规则和/或模板的示例性用户界面；
图6示出了根据实施例的用于配置构图规则和/或模板的示例性用户界面；
图7示出了根据实施例的用于在图像内保持目标的预期位置的示例性方法；
图8示出了根据实施例的用于保持目标的预期大小的示例性方法；
图9示出了根据一些实施例的用于调整成像设备的移动的示例性反馈控制系统；
图10示出了根据实施例的用于图像捕捉的示例性过程；
图11示出了根据实施例的用于图像捕捉的示例性过程；
图12示出了根据实施例的包括载体和搭载物的可移动物体；以及
图13是根据实施例的用于控制可移动物体的系统的框图的示意图。
具体实施方式
提供了用于使用UAV进行图像捕捉的系统、设备和方法，其解决了一些或全部上述问题。在一些实施例中，一个或多个预览图像可以从UAV携带的成像设备获取。该成像设备可以通过或可以不通过载体与该UAV耦接。该载体可以允许或可以不允许该成像设备相对于该UAV移动。可以根据一个或多个构图度量(例如，构图规则或构图模板)来评估该预览图像。在一些实施例中，构图度量可以用于确定构图分数，该构图分数指示图像构图与该构图度量的符合度。在一些其他实施例中，可以从多个构图度量中选择最佳构图度量。该选择可以基于与构图度量相关联的度量分数。该度量分数可以指示构图度量对于图像的适合性。可以基于图像的上下文信息(例如，场景或环境)将选择的构图度量确定为最适合当前图像。
基于该评估，可以确定需要进一步调整以实现由构图度量或由选择的构图度量定义的最佳构图。如果需要进一步的调整，则可以生成控制信号以自动控制无人飞行器和/或成像设备的载体，以实现最佳的构图。如果不需要进一步的调整，则可以自动控制成像设备的快门以捕捉一个或多个非预览图像(照片)。
本文描述的技术提供了优于现有技术的若干优点，下面讨论其中一些。该公开的技术可以提供对UAV和/或载体的自动控制，以将成像设备定位在正确的位置和/或角度，从而实现最佳的构图。这可以在没有用户干预的情况下完成，从而使用户摆脱手动控制UAV和/或载体的任务，并提高了控制的速度和准确性。此外，与现有的后图像处理技术不同，不牺牲图像分辨率。该公开的技术还可以提供自动快门控制以在构图最佳时捕捉照片。使用户摆脱了确定何时释放快门的任务。在一些实施例中，可以在没有用户干预的情况下自动进行构图度量的选择和评估，从而使用户摆脱记忆和应用不同构图规则的任务。因此，该公开的技术可以极大地降低用户对航空摄影的要求，从而使在摄影构图方面没有经验的外行人能够容易地使用UAV来构图和捕捉美观的图像。通过消除人为误差，该公开的技术还可以提高在航空摄影中实现最佳构图的效率和准确性。
图1示出了根据实施例的用于实现图像构图优化的示例性环境100。在该环境下，可以控制携带成像设备104的UAV 102以捕捉图像112，从而优化图像构图。
UAV 102可以被配置为通过载体106携带成像设备104。载体106可以允许或可以不允许成像设备104相对于该UAV移动(例如，平移或旋转)。
成像设备104可以被配置为在其视场(FOV)108中捕捉对象110的图像。成像设备104可以被配置为捕捉一个或多个图像112。例如，成像设备104可以被配置为连续捕捉一系列预览图像(也被称为“实时取景图像”)。每个图像112可以包括对应于该一个或多个对象110的特征114。该图像的元素或特征的空间排列被称为图像构图。可以评估用于一个或多个预览图像112的图像构图以确定是否捕捉照片(例如，通过控制成像设备104的机械或电子快门)或调整该UAV、载体和/或成像设备。
示出了用于图像评估的示例性过程。在方框116处，可以评估一个或多个图像112(例如，预览图像)的构图。该图像构图的评估可以至少部分地基于一个或多个构图度量118。构图度量可以包括构图标准，可以针对该构图标准测量图像。构图度量可以包括但不限于构图模板或构图规则。这样的构图度量可以被预先配置或动态选择。在一些实施例中，可以分析预览图像以识别某些特征，例如，显著区域和/或突出线。可以将关于这种特征的特点或信息及其空间关系与构图模板或构图规则进行比较。例如，用于突出区域的信息可以包括：这种突出区域的数量、每个突出区域周围的边界框的大小、图像中每个突出区域的位置(例如，像素坐标)等。用于突出线的信息可以包括多个这样的线，以及在图像坐标系下用于该线的各个线性方程的参数。构图度量118可以定义理想的或目标的构图，该构图被认为是美观的或在其他方面是令人满意的。例如，构图规则可以包括三分法则、对角线法则等。基本符合构图度量的图像构图被认为与目标构图匹配，因此是令人满意的。在一些实施例中，可以基于构图度量来确定构图分数，并且可以将阈值分数与该构图分数进行比较以确定图像构图是否匹配该构图度量。
在方框120处，可以基于评估结果来确定是否需要进一步调整。该调整可以与成像设备的空间布置(例如，位置、朝向)或者与成像设备的配置或设置(例如，缩放、焦距)有关。该调整对于实现成像设备的FOV改变可能是必需的，因此对于随后捕捉的图像中的构图改变也可能是必需的。
如果在方框120处确定需要进行调整，例如，由于当前图像构图与构图模板或规则不匹配，则在方框124处实现该调整。在一些实施例中，确定当前图像构图和目标构图之间的偏差，并且生成控制信号以减小该偏差。该控制信号可以被配置为实现UAV 102和/或成像设备104的载体106的移动，以便更改成像设备的空间布置(例如，位置和/或朝向)。备选地或附加地，该控制信号可以被配置为更改成像设备的参数或设置(例如，缩放比例、光圈、焦距)。该调整可以继续直到实现期望的构图。在一些实施例中，反馈控制回路可以用于实现期望的调整。
如果在方框120处确定不需要调整，例如，由于当前图像构图与构图模板或规则基本匹配，则在方框122处，可以控制成像设备104记录图像(例如，捕捉照片)。例如，可以产生一个或多个控制信号用于控制成像设备104的快门(例如，机械快门或电子快门)，使得图像被捕捉。这样记录的图像可以被称为记录的图像。
如图所示过程的方面可以由UAV上(例如，在成像设备内部和/或外部)的处理器、由UAV外(例如，在远程终端上)的处理器或由两者的组合来实现。例如，在一些实施例中，可以向远程终端发送预览图像112用于评估。在示例中，可以将在远程终端上运行的应用(app)配置为执行该评估。在一些其他实施例中，预览图像的评估可以由成像设备内部的或UAV上的处理器执行。在一些实施例中，用于调整或以其他方式控制UAV/载体/成像设备的控制信号可以在UAV外生成，并且向该UAV/载体/成像设备发送。在其他实施例中，该控制信号可以在UAV上生成。
图2示出了根据实施例的用于实现构图优化的系统200中的示例性组件。这些组件可以由一个或多个处理器实现，该处理器被配置为实现非暂时性存储介质中存储的可执行指令。该一个或多个处理器可以包括ARM处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、中央处理单元(CPU)、图形处理单元(GPU)等。在一些实施例中，可以使用硬件加速技术来实现这些组件中的一些或全部。系统200可以包括：成像设备202、图像分析器204、构图评估器206、图像设备控制器210、运动控制器212、致动系统214、构图配置器216和构图度量数据存储库208。在各种实施例中，本文讨论的组件可以在UAV上、在由该UAV携带的搭载物上和/或在远程终端或系统上实现。
成像设备202可以被配置为捕捉一个或多个图像。该成像设备可以被配置为捕捉一个或多个预览图像和/或一个或多个记录的图像。当该成像设备处于预览或实时取景模式时，可以以较高的频率或在连续的基础上自动捕捉预览图像。在一些实施例中，预览图像可以包括视频中的图像帧。该预览图像可以用于评估或确定与该图像和/或该成像设备相关联的构图或其他设置。另一方面，记录的图像可以是通过释放成像设备的快门而捕捉的静止图像。该快门可以是机械的或电子的。可以基于预览图像的评估来捕捉该记录的图像。可以在图像捕捉模式下捕捉该记录的图像。
该成像设备可以包括一个或多个光学组件和一个或多个图像传感器。每个光学组件可以包括一个或多个透镜。该成像设备可以包括一个或多个机械和/或电子快门。在各种实施例中，可以使用相同的图像传感器或不同的图像传感器来生成预览图像和记录的图像。可以使用相同的光学组件或不同的光学组件生成预览图像和记录的图像。可以使用相同或不同的机械和/或电子快门来捕捉预览图像和记录的图像。
在示例中，使用相同的光学组件和相同的图像传感器生成预览图像和记录的图像。在另一示例中，预览图像和记录的图像由相同的光学组件但是由不同的图像传感器生成。在另一示例中，预览图像和记录的图像由不同的光学组件但是由相同的图像传感器生成。在另一示例中，预览图像和记录的图像由不同的光学组件和不同的图像传感器生成。
在一些实施例中，可以使用一个或多个机械快门来生成预览图像和记录的图像。可以使用一个或多个电子快门来生成预览图像和记录的图像。可以使用相同或不同的电子快门来生成预览图像和记录的图像。可以使用相同或不同的机械快门来生成预览图像和记录的图像。在一些实施例中，使用一个或多个电子快门生成预览图像，并且使用一个或多个机械快门生成记录的图像。在一些其他实施例中，使用一个或多个机械快门生成预览图像，并且使用一个或多个电子快门生成记录的图像。
在一些实施例中，成像设备202可以被配置为自动调整设备设置和/或处理由图像传感器获取的图像数据。这样的任务包括但不限于：自动对焦、自动曝光调整、自动色彩平衡、图像管线处理(例如，图像传感器校正、降噪、图像缩放、伽马校正、色彩空间转换、色度二次采样、帧率转换、图像压缩/编码、数据传输)等。在一些实施例中，上述图像处理中的一些或全部可以由图像分析器204执行。
可以向图像分析器204提供由成像设备202生成的图像(例如，预览图像)的图像数据。图像分析器204可以被配置为从该图像数据中检测和提取特征，以便促进下文描述的构图评估。例如，图像分析器204可以被配置为检测特征显著或突出的线、斑点或区域、边缘、拐角或兴趣点等。在一些实施例中，可以使用图像分割技术将图像划分成多个段，以便促进图像分析。与提取的特征有关的信息(例如，大小、位置、强度、颜色、纹理等)可以被确定为图像分析的一部分。例如，用于突出区域的信息可以包括：这种突出区域的数量、每个突出区域周围的边界框的大小、图像中每个突出区域的位置(例如，像素坐标)等。突出线的信息可以包括许多这样的线，以及在图像坐标系下的线性方程参数。
在一些实施例中，图像分析器204可以被配置为获取关于图像的上下文信息。例如，可以分析图像以确定其是否示出了单个人或对象(例如，肖像)、人群(例如，群体自拍照)、风景(例如，人造或自然风景)等。作为另一示例，可以获取与图像相关联的时间、位置或成像设备设置。作为又一个示例，可以获取环境信息(例如，温度、湿度、风速、周围对象的密度等)。可以通过分析图像数据本身，例如，通过分析特征的特点(例如，形状、大小、强度、纹理)以及它们之间的关系，来获取这样的上下文信息。或者，可以基于从与成像设备、载体和/或UAV相关联的传感器获取的感测数据来确定该上下文信息。这种传感器的示例包括：位置传感器(例如，GPS传感器)、磁力计、运动传感器(例如，陀螺仪/加速度计)、温度传感器、压力传感器(例如，气压计)、近距离传感器(例如，超声、激光、雷达)、视觉传感器等。在一些实施例中，上下文信息可以包括历史信息，例如，先前捕捉的图像的上下文信息，该上下文信息包括成像设备的先前设置。在一些实施例中，机器学习算法可以应用于分析图像。例如，可以使用面部识别或模式识别技术来识别图像中的人物或对象，并且可以提供该人物或对象的身份作为该图像的上下文信息的一部分。随后，可以由构图评估器206、运动控制器212和/或成像设备控制器210使用本文讨论的上下文信息。
构图评估器206可以被配置为评估图像(例如，预览图像)的构图以确定该构图是否令人满意。该构图的评估可以基于图像分析器204的分析和一个或多个构图度量(例如，构图规则和/或构图模板)。例如，可以根据构图规则集或根据构图模板来评估由图像分析器204提取的特征的空间布置，以确定构图分数。可以将该构图分数与预定阈值分数进行比较，以确定该图像的构图是否符合该规则集。作为另一示例，可以将图像的提取特征与构图模板的特征进行比较，以确定该图像的构图是否与构图模板定义的目标构图相匹配。
在一些实施例中，该评估可以包括：基于该图像，为构图度量集中的每一个确定度量分数，并基于该度量分数选择最佳构图度量。例如，可以选择具有最高度量分数的构图度量。随后，可以根据选择的度量来控制UAV/载体/成像设备。
在一些实施例中，可以默认提供用于评估给定图像的构图规则和/或模板。在一些其他实施例中，可以允许用户(例如，通过远程终端上的用户界面)选择一个或多个构图规则/模板。在一些其他实施例中，构图评估器206可以被配置为从存储在数据存储库208中的多个构图度量中自动选择一个或多个构图度量(例如，构图规则和/或构图模板)。该选择可以至少部分地基于由图像分析器获取的上下文信息。例如，取决于图像是肖像还是风景，可以选择不同的构图规则集/模板集。在各种实施例中可以使用以上方法的任何组合。
在一些实施例中，构图评估器206可以被配置为针对多个构图度量来评估图像，以导出与每个构图度量相关联的构图分数。可以选择具有最高构图分数的构图度量，并且可以相应地控制UAV和/或载体，以实现选择的构图度量。
基于评估结果，可以控制成像设备和/或UAV和/或载体的运动。在一些实施例中，如果确定该图像的构图令人满意，则可以控制成像设备的快门(例如，机械快门或电子快门)以捕捉记录的图像(例如，拍摄照片)。快门可以被控制或者可以是成像设备控制器210的一部分。快门可以包括机械快门或电子快门。记录的图像可以被存储在UAV上的存储单元中(例如，在成像设备中或在成像设备外部)，和/或向远程终端发送用于显示、处理或存储。图像可以在被发送之前被压缩或以其他方式处理。
如果确定该图像的构图不令人满意，则在捕捉记录的图像之前可能需要进一步调整。在一些实施例中，可以确定图像的当前构图和由构图模板或构图规则定义的目标构图之间的偏差。该偏差可以包括一个或多个特征的大小或位置的偏差。基于该偏差，可以生成用于控制致动系统214的控制信号，以便实质上减小该偏差。该偏差确定和该控制信号生成可以由构图评估器206和/或运动控制器212执行。致动系统214可以包括用于UAV的推进系统(例如，包括一个或多个旋翼)和/或用于载体的驱动组件(例如，包括一个或多个电动机)。例如，控制信号可以用于控制UAV和/或成像设备附接的载体的位置、方向、速度、加速度等。该调整可以导致成像设备的FOV改变，这可以改变所得的调整后图像的成像构图。在一些实施例中，运动控制器212可以包括用于调整UAV和/或载体的状态的反馈控制器。
在一些实施例中，还可以控制成像设备的设置以减小当前构图和目标构图之间的偏差。成像设备的控制可以通过成像设备控制器210来实现。例如，可以控制成像设备的缩放比例，以便调整图像中的特征的大小。也可以调整成像设备的其他设置，包括但不限于光圈、快门速度、焦距、曝光、白平衡、相机模式等。在各个实施例中，成像设备控制器210可以是成像设备不可分割的一部分(例如，与成像设备202的其他组件位于同一壳体中)，或者与该成像设备的其他组件分离。
在一些实施例中，可以提供构图配置器216，用于配置构图度量(例如，构图规则和/或构图模板)，该构图度量可以用来评估图像构图。该构图度量的配置可以包括创建、选择、删除或修改构图度量。这样配置的构图度量可以默认应用于所有要评估的图像。或者，该构图度量可以专门应用于不同类型的图像。或者，该构图度量可以专门应用于特定图像。
在一些实施例中，构图配置器216可以包括由远程终端实现的用户界面，该远程终端远离UAV。例如，构图配置器216可以由在移动设备上运行的应用来实现。用户可以使用构图配置器216来指定或修改通用或特定的构图度量。图5-6示出了可以由构图配置器216提供的一些示例性用户界面。
在一些实施例中，构图度量的配置可以在图像构图的评估之前发生。例如，可以在UAV起飞之前、UAV起飞之后但是在捕捉预览图像之前、或者在捕捉预览图像之后但是在构图评估器206处理该图像之前配置构图度量。在一些其他实施例中，构图度量的配置可以发生或作为构图评估的一部分。例如，可以向远程终端发送图像，其中，用户可以使用构图配置器216来选择一个或多个构图度量用于评估该图像。作为另一示例，可以自动地(例如，由构图评估器206至少部分地基于上下文信息)选择一个或多个构图度量。这些自动选择的构图度量可以被呈现给远程用户用于批准，并且该远程用户可以使用构图配置器216进一步改变选择的构图度量。然后，可以向构图评估器206提供关于用户配置的或用户批准的构图度量的信息用于构图评估。
表示构图度量的数据或文件(例如，构图规则和/或构图模板)可以被存储在数据存储库208中。例如，构图度量可以被存储为XML文件。数据存储库208可以包括任何合适的存储单元或设备，包括表、文件、数据库、驱动器、卷等。数据存储库208可以在UAV本地(例如，存储器)或在UAV远端(例如，远程终端或基于云的服务器上的存储器)。
图3示出了根据实施例的用于基于构图规则的构图评估的示例性过程300。尽管提供了关于构图规则的以下讨论，但是应当理解的是，该原理适用于任何其他构图度量，例如，构图模板。
如图所示，可以根据一个或多个构图规则集(例如，规则1 304A、规则2 304B和规则3 304C)分析图像302。可以默认提供、基于图像或其上下文信息自动选择、和/或由用户指定这些规则。示例性构图规则可以包括但不限于：三分法则、对角线法则、金三角形法则、水平/垂直法则、肢体法则、简单背景法则、平衡法则等。例如，三分法则规定：应将图像想象为由两条等距的水平线和两条等距的垂直线分成9个相等的部分，并且重要的构图元素应沿着这些线或其交点放置(例如，如规则1 304A的虚线所示)。对角线法则规定：图像的突出线应位于对角线附近(例如，如规则2 304B的虚线所示)。黄金三角形法则规定：图像的主体应填充由对角线和连接拐角与对角线并垂直于该对角线的两条线形成的一个或多个三角形(例如，如规则3 304C的虚线所示)。水平/垂直法则规定：突出线应与取景框的水平或垂直边缘平行。肢体法则规定：人的肢体或其他身体部位不应被取景框边缘割断。简单背景法则规定：简单背景胜于杂乱背景。平衡法则规定：感兴趣的对象(例如，显著区域)的视觉“质心”应靠近图像的中心。
可以将每个构图规则应用于当前图像构图以确定特定于该规则(规则分数)的图像的构图分数。将给定的构图规则应用于图像可以包括：确定是否根据该构图规则来布置图像中的元素或特征(例如，显著区域、突出线)。例如，规则1 304A、规则2 304B和规则3304C的规则分数分别为规则1分数306A、306B和306C。与给定规则相关联的规则分数可以指示图像构图与该规则的符合程度。较高的规则分数可以指示较高等级的符合度或一致性。在替代实施例中，较低的规则分数可以指示较高等级的符合度或一致性。
可以基于规则分数来确定总体构图分数310。构图分数可以指示图像的构图相对于规则集的总体美学价值。通常，与具有较低构图分数的另一图像相比，具有较高构图分数的图像可以被认为更美观。在替代实施例中，与具有较高构图分数的另一图像相比，具有较低构图分数的图像可以被认为更美观。
可以使用各种方法基于规则分数来确定构图分数。在一些实施例中，构图分数310可以是规则分数的最大值、最小值、平均值或算术平均值。在一些其他实施例中，可以为每个规则和规则分数分配权重，并且可以将构图分数计算为规则分数的加权平均值。与给定的构图规则相关联的权重值指示该规则在总体评估中的重要性。例如，规则1 304A、规则2304B和规则3 304C的权重值分别为规则1权重308A、308B和308C。在一些实施例中，可以基于图像的类型、图像的场景或其他上下文信息来确定与该规则相关联的权重值。
在一些实施例中，可以将整体构图分数与预定阈值进行比较，以确定该图像的构图是否令人满意。例如，在示例中，如果构图分数等于或大于预定阈值，则确定该图像构图令人满意。在另一示例中，当构图分数等于或小于预定阈值时，可以确定该图像构图令人满意。如果确定该图像构图令人满意，则可以控制成像设备的快门以捕捉记录的图像(例如，拍摄照片)。否则，为了获得最佳构图，调整可能是必需的。例如，可以生成控制信号，以控制用于UAV和/或载体的致动系统，从而调整成像设备的位置和/或朝向。
图4示出了根据实施例的用于基于构图模板的构图评估的示例性过程400。
如图所示，一个或多个图像404、406可以与构图模板402进行比较。图像404、406可以是例如由UAV携带的成像设备捕捉的预览图像。成像设备可以通过或可以不通过载体与UAV耦接，该载体允许该成像设备相对于该UAV移动。构图模板402可以指定图像中元素或特征的某种空间布置。例如，构图模板可以指定：第一类型的对象(例如，人)应位于两条三分之一线的交点处，并且第二类型的对象(例如，地平线)应水平对齐。可以默认提供、基于图像或其上下文信息自动选择、和/或由用户指定用于评估给定图像的构图模板。
在一些实施例中，可以匹配图像的特征和模板的特征以确定图像特征的空间布置是否与模板的空间布置相匹配。该匹配可以包括：例如使用对象识别和分类以及图像匹配技术来识别图像的特征与模板的特征之间的对应关系。特征之间的匹配可以不是精确的，并且具有在预定误差阈值内(例如，5个像素，10个像素)的位置偏差的特征仍可以被认为是匹配的。例如，如图4所示，图像404和模板402被认为是匹配的，因为即使特征不完全匹配，图像404中的特征的位置也与模板402中的相应特征基本匹配。另一方面，确定图像406与模板402不匹配，因为图像406和模板402中的相应特征没有以相似的方式布置(例如，特征之间的偏差超过预定误差阈值)。在各种实施例中，可以使用任何合适的图像匹配或图像配准技术。例如，可以确定或估计图像的特征与模板的特征之间的变换或运动矢量。可以将变换或运动矢量与阈值变换或运动矢量进行比较，以确定图像和模板之间的差异是否足够小。
如果确定图像404与模板402相匹配，则可以控制快门，以捕捉记录的图像。另一方面，如果确定图像406与模板402不匹配，则可以调整成像设备408。对成像设备的调整可以包括对该成像设备的位置或姿态的调整。这样的调整可以通过UAV和/或成像设备408的载体的平移或旋转运动来实现。这样的调整可以相对于一个、两个或三个轴(例如，倾斜、滚动、偏航)。对成像设备的调整还可以包括对该成像设备的设置的调整，例如，缩放、焦距、光圈、快门速度等。在对成像设备进行调整之后，可以由该成像设备捕捉一个或多个附加图像410。这样的图像410可以与模板402进行比较，并且被确定为匹配。如果不是这样，则可以实现附加的调整和/或构图评估，直到发生匹配或直到达到某种终止条件(例如，时间到期或用户干预)为止。
根据实施例，可以向用户提供用户界面以配置构图规则和/或构图模板。在一些实施例中，可以在远程终端(例如，遥控器、移动设备、基站、膝上型计算机、台式机等)上提供这样的用户界面。远程终端可以与或可以不与UAV可操作地连接。关于这样的用户配置的构图规则和/或模板的信息可以由远程终端存储或向UAV发送，并用于评估图像的构图，如本文所述。图5-6示出了根据实施例的用于配置构图度量的示例性用户界面。
首先转到图5。如用户界面500A中所示，可以允许用户使用用户界面(例如，在配置区域502中)以从构图度量的列表中选择、取消选择或以其他方式配置一个或多个构图度量(例如，规则)。在一些实施例中，可以默认提供、或者基于用户的配置文件或历史记录、成像设备的设置、UAV的配置、当前环境信息等自动生成构图度量。例如，在一些实施例中，可以为新手用户、或者为相对低端的成像设备、或者为具有更多有限的计算资源的UAV提供相对简单的构图度量。相反地，可以为经验更丰富的摄影师、或者为更高端的成像设备、或者为配备有更多计算资源的UAV提供更复杂的构图度量。在一些替代实施例中，可以实现与上述相反的方式。即，为经验更丰富的用户、或更高端的成像设备和/或UAV提供更简单的度量，并且为经验较少的用户、或更低端的成像设备和/或UAV提供更复杂的度量。
在一些实施例中，用户界面还可以允许用户指定特定于度量的信息。例如，用户界面可以允许用户指定与每个构图度量相关联的权重值。该权重值可以用于计算图像的整体构图分数，如本文其他地方所讨论的。在另一示例中，用户界面可以允许用户指定一个或多个图像类型，给定度量适用于该一个或多个图像类型(例如，肖像、人群、风景)。
在一些实施例中，用户界面还可以允许用户配置适用于构图评估过程的参数。例如，配置区域504可以用于指定阈值分数，该阈值分数用于确定何时认为图像的构图令人满意。例如，如果构图分数(基于选择的构图度量的应用)等于或大于阈值分数，则可以控制成像设备拍摄照片。如果构图分数小于阈值分数，则为了实现改进的构图，进一步的调整可能是必需的(例如，调整成像设备的位置和/或朝向)。
在一些实施例中，用户界面还可以允许用户指定(例如，在配置区域506中)与图像构图令人满意时要采取的动作有关的参数。例如，当先前的图像被认为令人满意时，可以控制成像设备(例如，通过快门控制)以捕捉一个或多个照片。可以捕捉单个图像，或者如果选择了连拍模式则可以捕捉多个图像。连拍模式的速率也可以由用户指定或选择，或者默认提供。
在一些实施例中，用户界面还可以允许用户指定(例如，在配置区域508中)与图像构图不令人满意并且需要调整时要采取的动作有关的参数。例如，用户可以指定UAV和/或成像设备允许的调整类型(例如，平移和/或旋转运动)。
在实施例中，例如，在图5的用户界面500B中所示，可以允许用户从构图模板的列表中选择或取消选择一个或多个构图模板(例如，通过选中或取消选中每个构图模板旁边的复选框或其他类似控件)。每个构图模板可以包括一个或多个构图规则。用户界面可以允许构图模板被扩展以显示其中包含的构图规则。可以选择或不选择构图模板中包含的规则。用户界面还可允许折叠构图模板以隐藏其中包含的构图规则。在一些实施例中，可以允许用户指定可应用构图模板的图像类型。
图6示出了根据实施例的用于配置构图模板的附加的示例性用户界面。用户可以使用用户界面600A来选择图像作为模板、从模板列表中选择模板或从头开始创建自定义模板。用户可以使用用户界面600B来创建自定义模板。在一些实施例中，可以提供代表不同模板组件的多个控件。模板组件可以代表不同类型的对象，例如，人、地平线或其他自然或人造对象或区域。可以将模板组件从用户界面的模板组件区域608拖放到其在模板区域610中的位置。备选地或附加地，用户可以直接在模板区域610中手绘(例如，使用触摸屏上的手或手写笔、或鼠标)这样的模板组件。可以保存生成的模板，并用于构图评估。
根据实施例，可以通过调整成像设备和/或UAV的状态来调整图像构图。在一些实施例中，可以确定目标构图和图像的当前图像构图之间的偏差。该偏差的确定可以基于将图像与构图度量(例如，构图规则和/或构图模板)进行比较。目标构图(也被称为预期构图)可以由构图度量定义。目标构图可以包括：例如，图像特征或元素(例如，突出线、显著区域、或感兴趣的对象)的目标位置(也被称为预期位置)或目标大小(也被称为预期大小)。例如，基于三分法则，突出线的目标位置可以在三分之一线处，并且显著区域的目标位置可以在这样的第三线的交点处。与目标构图的偏差可以包括与目标位置和/或目标大小的偏差。基于该偏差，可以生成用于基本校正该偏差的控制信号，以便为一个或多个特征保持目标/预期位置和/或目标/预期大小，如下所述。
图7示出了根据实施例的用于保持目标在图像700内的预期位置的示例性方法。图像700可以由成像搭载物生成，该成像搭载物可以与载体耦接，该载体允许搭载物相对于载体并关于多达三个自由轴移动，如本文所述。载体可以与可移动物体(例如，UAV)耦接。假定图像具有W个像素的宽度和H个像素的高度(其中，W和H是正整数)。图像内的位置可以由沿着水平轴701(沿着图像的宽度)和垂直轴703(沿着图像的高度)的一对坐标定义，其中，图像的左上角具有坐标(0，0)，并且图像的右下角具有坐标(W，H)。
假设在图像700中捕捉的目标位于位置P(u，v)702，并且该目标的预期位置为P0(u0，v0)704，该预期位置与P 702不同。在一些实施例中，目标的预期位置P0(u0，v0)可以位于图像的中心附近，例如，u0＝W/2和/或v0＝H/2。在其他实施例中，目标的预期位置可以位于图像内的任何其他地方(例如，偏离中心)。在各种实施例中，目标的预期位置可以与该目标的初始位置相同或不同。假设当前位置P偏离了预期位置P0，使得偏差超过了预定阈值(例如，由u0的Δx和v0的Δy表示)，则需要进行调整以使目标位置从P移至接近预期位置P0。
在一些实施例中，与预期目标位置的偏差可以用于导出一个或多个角速度，用于围绕一个或多个轴旋转成像设备(例如，图像传感器)的视场。例如，沿图像的水平轴701的偏差(例如，在u和u0之间)可以用于导出围绕Y(偏航)轴706旋转成像设备的视场的角速度ωY712，如下所示：
ωY＝α*(u-u0)，其中
Figure BDA0002441045990000171
成像设备的视场围绕Y轴的旋转可以通过可移动物体的旋转、搭载物(通过载体)相对于可移动物体的旋转、或者两者的组合来实现。在一些实施例中，当对可移动物体的调整不可行或在其他情况下不合需要时，例如，当预定了可移动物体的导航路径时，可以选择对搭载物的调整。在等式(1)中，α是常数，其可以基于可移动物体的配置(例如，当由可移动物体实现旋转时)、载体的配置(例如，当由载体实现旋转时)或两者(例如，当由可移动物体和载体的组合实现旋转时)被预定义和/或校准。在一些实施例中，α大于零(α＞0)。在其他实施例中，α可以不大于零(α≤0)。在一些实施例中，α可以用于将计算出的像素值映射到用于控制围绕某个轴(例如，偏航轴)的角速度的相应的控制杆量或灵敏度。通常，控制杆可以用于控制可控对象(例如，载体或UAV)的角度或线性移动。更大的控制杆量对应于更高的灵敏度和更高的速度(针对角度或线性移动)。在一些实施例中，控制杆量或其范围可以由UAV的飞行控制系统的配置参数确定，或者由载体的控制系统的配置参数确定。控制杆量的范围的上限和下限可以包括任意数量。例如，对于一个飞行控制系统，控制杆量的范围可以是(1000，-1000)，并且对于另一飞行控制系统，控制杆量的范围可以是(-1000，1000)。
例如，假设图像的宽度为W＝1024像素，并且高度为H＝768像素。因此，图像的大小是1024*768。进一步假设目标的预期位置具有u0＝512。因此，(u-u0)∈(-512，512)。假设围绕偏航轴的控制杆量的范围为(-1000，1000)，则最大控制杆量或最大灵敏度为1000和α＝1000/512。因此，α的值可以受成像设备提供的图像分辨率或大小、控制杆量的范围(例如，围绕某个旋转轴)、最大控制杆量或最大灵敏度、和/或其他因素影响。
例如，当由可移动物体相对于Y轴706的旋转实现旋转时。视场的总角速度ωY被表示为可移动物体的角速度ωY1：
ωY＝ωY1＝α1*(u-u0)，其中
Figure BDA0002441045990000181
在等式(2)中，α1是基于可移动物体的配置定义的常数。在一些实施例中，α1大于零(α1＞0)。可以类似于上文讨论的α定义α1。例如，可以基于图像分辨率或可移动物体的控制杆量的大小和/或范围(例如，围绕偏航轴)来定义α1的值。
类似地，当由搭载物相对于可移动物体(例如，通过载体)相对于Y轴706的旋转实现旋转时。视场的总角速度ωY被表示为搭载物相对于可移动物体的角速度ωY2：
ωY＝ωY2＝α2*(u-u0)，其中
Figure BDA0002441045990000182
在等式(3)中，α2是基于载体和/或搭载物的配置定义的常数。在一些实施例中，α2大于零(α2＞0)。可以类似于上文讨论的α定义α2。例如，可以基于图像分辨率或载体的控制杆量的大小和/或范围(例如，围绕偏航轴)来定义α2的值。
通常，围绕Y(偏航)轴706的视场的角速度可以被表示为可移动物体的角速度ωY1和搭载物相对于可移动物体的角速度ωY2的组合，例如：
ωY＝ωY1+ωY2 (4)
在等式(4)中，ωY1或ωY2可以为零。
如本文所示，围绕Y(偏航)轴的旋转方向可以取决于u-u0的符号。例如，如果预期位置位于实际位置的右侧(如图8所示)，则u-u0＜0，并且视场需要围绕偏航轴706逆时针旋转(例如，向左平移)，以将目标移至预期位置。另一方面，如果预期位置位于实际位置的左侧，则u-u0＞0，并且视场需要围绕偏航轴706(例如，向右平移)顺时针旋转，以将目标移至预期位置。
如本文所示，围绕给定轴(例如，Y(偏航)轴)的旋转速度(例如，角速度的绝对值)可以取决于目标的预期位置与实际位置之间沿该轴的距离(即，|u-u0|)。该距离越远，旋转速度越快。同样地，该距离越近，旋转速度越慢。当预期位置与目标沿该轴的位置重合时(例如，u＝u0)，则绕该轴的旋转速度为零，并且停止旋转。
如上所述，用于调整预期目标位置和实际目标位置沿水平轴701的偏差的方法可以以类似方式应用于校正目标沿不同轴703的偏差。例如，沿图像的垂直轴703的偏差(例如，在v和v0之间)可以用于导出成像设备视场围绕X(倾斜)轴708的角速度ωX714，如下所示：
ωX＝β*(v-v0)，其中
Figure BDA0002441045990000191
成像设备的视场围绕X轴的旋转可以通过可移动物体的旋转、搭载物(通过载体)相对于可移动物体的旋转、或者两者的组合来实现。因此，在等式(5)中，β是常数，其可以基于可移动物体的配置(例如，当由移动对象实现旋转时)、载体的配置(例如，当由载体实现旋转时)或两者(例如，当通过可移动物体和载体的组合实现旋转时)被预定义和/或校准。在一些实施例中，β大于零(β＞0)。在其他实施例中，β可以不大于零(β≤0)。在一些实施例中，β可以用于将计算出的像素值映射到用于控制围绕某个轴(例如，倾斜轴)的角速度的相应控制杆量。通常，控制杆可以用于控制可控对象(例如，UAV或载体)的角度或线性移动。更大的控制杆量对应于更高的灵敏度和更高的速度(针对角度或线性移动)。在一些实施例中，控制杆量或其范围可以由UAV的飞行控制系统的配置参数确定，或者由载体的载体控制系统的配置参数确定。控制杆量的范围的上限和下限可以包括任意数量。例如，对于一个控制系统(例如，飞行控制系统或载体控制系统)，控制杆量的范围可以是(1000，-1000)，对于另一控制系统，控制杆量的范围可以是(-1000，1000)。
例如，假设图像的宽度为W＝1024像素，并且高度为H＝768像素。因此，图像的大小是1024*768。进一步假设目标的预期位置具有v0＝384。因此，(v-v0)∈(-384，384)。假设围绕倾斜轴的控制杆量的范围为(-1000，1000)，则最大控制杆量或最大灵敏度为1000和β＝1000/384。因此，β的值可以受成像设备提供的图像分辨率或大小、控制杆量的范围(例如，围绕某个旋转轴)、最大控制杆量或最大灵敏度、和/或其他因素影响。
例如，当由可移动物体相对于X轴708的旋转实现旋转时，视场的角速度ωX被表示为可移动物体的角速度ωX1：
ωX＝ωX1＝β1*(v-v0)，其中
Figure BDA0002441045990000201
在等式(6)中，β1是基于可移动物体的配置定义的常数。在一些实施例中，β1大于零(β1＞0)。可以类似于上文讨论的β定义β1。例如，可以基于图像分辨率或可移动物体的控制杆量的大小和/或范围(例如，围绕倾斜轴)来定义β1的值。
类似地，当由搭载物相对于可移动物体(例如，通过载体)并关于X轴708的旋转实现旋转时，视场的角速度ωX被表示为搭载物相对于可移动物体的角速度ωX2：
ωX＝ωX2＝β2*(v-v0)，其中
Figure BDA0002441045990000202
在等式(7)中，β2是基于载体和/或搭载物的配置定义的常数。在一些实施例中，β2大于零(β2＞0)。可以类似于上文讨论的β定义β2。例如，可以基于图像分辨率或可移动物体的控制杆量的大小和/或范围(例如，围绕倾斜轴)来定义β2的值。
通常，围绕X(倾斜)轴708的视场的角速度可以被表示为可移动物体的角速度ωX1和搭载物相对于可移动物体的角速度ωX2，例如：
ωX＝ωX1+ωX2 (8)
在等式(8)中，ωX1或ωX2可以为零。
如本文所示，围绕X(偏航)轴的旋转方向可以取决于v-v0的符号。例如，如果预期位置位于实际位置的上方(如图7所示)，则v-v0＞0，并且视场需要围绕倾斜轴708顺时针旋转(例如，向下倾斜)，以将目标移至预期位置。另一方面，如果预期位置位于实际位置下方，则v-v0＜0，并且视场需要围绕倾斜轴708逆时针旋转(例如，向上倾斜)，以将目标移至预期位置。
如本文所示，旋转速度(例如，角速度的绝对值)取决于目标的预期位置与实际位置之间沿给定轴(例如，X(倾斜)轴)的距离(即，|v-v0|)。该距离越远，旋转速度越快。该距离越近，旋转速度越慢。当预期位置与目标位置重合时(例如，v＝v0)，则旋转速度为零，并且停止旋转。
在一些实施例中，如上计算的角速度的值可以由系统的各种限制进行约束或修改。这样的约束可以包括可移动物体和/或成像设备可以实现的最大和/或最小速度、可移动物体和/或载体的控制系统的控制杆量的范围或者最大控制杆量或最大灵敏度等。例如，旋转速度可以是计算的旋转速度和允许的最大速度中的最小值。
图8示出了根据实施例的用于保持目标的预期大小的示例性方法。假设图像800捕捉目标802。目标在图像内的实际大小可以是s个像素(例如，被计算为目标宽度和目标高度的乘积)。预期目标大小S可以比实际大小s小(例如，预期目标可以由804表示，并且S＝s0)或者比实际大小s大(例如，预期目标可以由805表示，并且S＝s1)。目标的预期大小可以与目标的初始大小(例如，由控制终端提供)相同或不同。假设当前大小s与预期大小s0或s1有所不同，使得该偏差超过预定阈值(例如，预定义的Δs个像素)，则需要进行调整以使目标大小接近预期大小s0或s1。
虽然图像和目标的显示区域被显示为矩形，但是这仅是为了说明的目的，而不是限制性的。而是，图像和/或目标的显示区域在各种实施例中可以是任何合适的形状，例如，圆形、椭圆形、多边形等。同样地，虽然本文所讨论的区域以像素表示，但这仅用于说明的目的，而不是限制性的。在其他实施例中，可以以任何合适的单位(例如，百万像素、mm2、cm2、inch2等)来表示该区域。
在一些实施例中，与预期目标大小的偏差可以用于导出可移动物体和/或成像设备沿一个或多个轴的一个或多个线速度。例如，可以使用目标大小在实际目标大小s与预期目标大小S之间的偏差(例如，S＝s0或s1)确定沿Z(滚动)轴710移动可移动物体的线速度V，如下所示：
V＝δ*(1-s/S)，其中
Figure BDA0002441045990000221
在等式(9)中，δ是常数，该常数是基于可移动物体或任何合适的可控制对象(例如，载体)的配置定义的，该可控制对象可以导致视场朝向和/或远离目标移动。在一些实施例中，δ大于零(δ＞0)。在其他实施例中，δ可以不大于零(δ≤0)。在一些实施例中，δ可以用于将计算出的像素值映射到用于控制线速度的相应的控制杆量或灵敏度。
通常，V表示可移动物体朝向或远离目标的速度。速度矢量从UAV指向目标。如果目标的实际大小小于预期大小S，则V＞0，并且可移动物体朝向目标移动，以便增加在图像中捕捉的目标的大小。另一方面，如果目标的实际大小s大于预期大小S，则V＜0，并且可移动物体远离目标移动，以便减小在图像中捕捉的目标的大小。
例如，假设图像的宽度为W＝1024像素，高度为H＝768像素。因此，图像的大小是1024*768。假设用于控制线速度的控制杆量的范围是(-1000，1000)。在示例性实施例中，当s/S＝3时，δ＝-1000，并且当s/S＝1/3时，δ＝1000。
在一些实施例中，如上计算的速度的值可以由系统的各种限制进行约束或修改。这样的约束可以包括可移动物体和/或成像设备可以实现的最大和/或最小速度、可移动物体和/或载体的控制系统的最大灵敏度等。例如，可移动物体的速度可以是计算的速度和允许的最大速度中的最小值。
备选地或附加地，可以使用实际目标大小与预期目标大小之间的偏差来导出对成像设备的操作参数(例如缩放比例或焦距)的调整，以校正该偏差。当对可移动物体的调整不可行或在其他情况下不合需要时，例如，当预定了可移动物体的导航路径时，对成像设备进行这种调整可能是必需的。示例性的焦距调整F可以被表示为：
F＝γ*(1-s/S)，其中
Figure BDA0002441045990000231
其中，γ是根据成像设备的配置定义的常数。在一些实施例中，γ大于零(γ＞0)。在其他实施例中，γ不大于零(γ≤0)。可以基于透镜和/或成像设备的类型来定义γ的值。
如果目标的实际大小s小于预期大小S，则F＞0，并且焦距增加|F|，从而将目标的大小增加为在图像中捕捉的大小。另一方面，如果目标的实际大小s大于预期大小S，则F＜0，并且焦距减小|F|，从而将目标的大小减小为在图像中捕捉的大小。例如，在实施例中，γ＝10。这意味着，例如，当目标的实际大小是预期大小S的两倍时，焦距应相应减少10mm(即，F＝10*(1-2/1)＝-10)，并且反之亦然。
在一些实施例中，对成像设备的操作参数(例如，焦距)的调整可以由系统的各种约束进行约束或修改。这样的约束可以包括：例如，可以由成像设备实现的最大焦距和/或最小焦距。例如，假设焦距范围是(20mm，58mm)。进一步假设初始焦距是40mm。那么当s＞S时，焦距应根据等式(10)减小；以及当s＜S时，焦距应根据等式(10)增大。然而，这样的调整受到焦距范围的下限和上限(例如，20mm到58mm)的限制。换句话说，调整后的焦距应不小于最小焦距(例如，20mm)并且不大于最大焦距(例如，58mm)。
根据实施例，可以提供反馈控制环用于调整成像设备的移动。可以通过控制UAV的致动系统和/或成像设备的载体来实现对该移动的调整。图9示出了根据一些实施例的用于调整成像设备的移动的示例性反馈控制系统900。该调整可以基于当前图像与期望或目标构图(例如，由一个或多个构图规则或构图模板定义)之间的一个或多个目标特征(例如，显著区域、突出线、感兴趣的对象)的位置和/或大小的变化。
如图9所示，反馈控制系统900可以包括：成像设备902、图像分析器904、构图评估器906、运动控制器908和致动系统912。运动控制器可以包括反馈控制器910。该反馈控制系统可以被配置为获取一个或多个运动分量，以最小化当前图像构图和期望图像构图之间的目标特征的位置或大小的变化。运动分量可以包括速度分量和/或加速度分量。运动分量可以包括平移或线性分量(例如，平移速度或平移加速度)和/或旋转或角分量(例如，旋转加速度或旋转加速度)。运动分量可以相对于不同的轴。例如，第一运动分量可以是沿第一轴的平移速度分量，并且第二运动分量可以是沿第二轴的平移速度分量。运动分量可以被配置为最小化不同的变化或误差。例如，速度分量可以包括：第一速度分量，被配置为最小化大小的变化；以及第二速度分量，被配置为最小化距离的变化。在一些实施例中，可以获取单个运动分量以最小化大小的变化、距离的变化或两者。
系统的输入可以包括阈值位置偏移和/或阈值大小偏移。在一些情况下，阈值偏移可以为零或基本为零，以最小化位置误差或大小误差。在一些其他情况下，阈值位置偏移或阈值大小偏移可以为非零，以允许当前构图和期望构图之间的误差余量。
成像设备902可以被配置为捕捉图像数据。可以向图像分析器904和构图评估器906提供该图像数据。图像分析器904和构图评估器906可以被配置为：根据一个或多个构图度量(例如，构图规则或构图模板)分析图像数据并评估图像构图，以确定一个或多个目标特征的位置的变化和/或大小的变化。可以将该位置的变化和/或该大小的变化与输入进行比较以获取一个或多个误差值。可以向反馈控制器910提供该误差值。反馈控制器910可以使用比例-积分-微分(PID)方法(或比例-微分(PD)方法)来最小化一个或多个误差值，从而获取一个或多个运动分量。运动分量可以用于驱动致动系统912。致动系统912可以被配置为致动用于UAV和/或载体的一个或多个致动器(例如，旋翼或电动机)。运动分量可以用于驱动控制信号，该驱动控制信号被配置为驱动一个或多个致动器，从而实现对UAV和/或成像设备的调整运动。这种调整运动是反馈控制系统的运动输出。
在一些实施例中，可以在闭环中迭代地重复上述步骤，直到位置或大小误差等于或小于阈值位置偏移和/或阈值大小偏移。
在一些实施例中，可以省略构图评估器906，并且图像分析器904可以被配置为分析图像数据以确定相邻图像帧之间的目标特征的位置和/或大小的变化。在这样的实施例中，反馈控制器系统可以用于调整UAV和/或成像设备的载体，以便为图像中的目标特征保持基本相同的位置和/或大小。
图10示出了根据实施例的用于图像捕捉的示例性过程1000。过程1000(或本文所述的任何其他过程、或其变型和/或组合)的一些或所有方面可以由可移动物体(例如，UAV)上和/或外的一个或多个处理器执行。过程1000(或本文描述的任何其他过程、或其变型和/或组合)的一些或全部方面可以在配置有可执行指令的一个或多个计算机/控制系统的控制下执行，并且可以被实现为通过硬件或其组合在一个或多个处理器上集体执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)。该代码可以例如以计算机程序的形式存储在计算机可读存储介质上，该计算机程序包括可由一个或多个处理器执行的多个指令。计算机可读存储介质可以是非暂时性的。描述操作的顺序不旨在解释为限制，并且任何数量的所描述的操作可以以任何顺序和/或并行地组合以实现该过程。
在方框1002处，获取图像。该图像可以是由UAV携带的成像设备获取的预览图像。该成像设备可以通过载体与该UAV耦接。该载体可以允许或可以不允许成像设备相对于该UAV相对平移或旋转地移动。可以通过通信信道向远程终端发送图像，其中，该图像由该远程终端上的一个或多个处理器评估。备选地，该图像可以由成像设备中或UAV上的一个或多个处理器处理。
在方框1004中，获取一个或多个构图度量(例如，构图模板或构图规则)。可以从多个可用的构图度量中选择该构图度量。在一些实施例中，该选择可以是自动的，而无需人工干预。例如，可以使用默认构图度量。或者，用于评估先前图像的构图度量可以用于评估后续图像。
在一些实施例中，可以由一个或多个处理器分析图像以确定相对于该图像的上下文信息。该上下文信息可以包括图像的场景或环境。基于确定的场景或环境，可以选择一个或多个构图度量。
在一些实施例中，可以根据多个构图度量中的每一个评估图像以确定度量分数。该度量分数可以指示给定度量匹配的程度或适合于图像的程度。该度量分数可以与本文讨论的构图分数相同或不同。构图度量的适合性可以基于图像的上下文信息或图像的构图。
在一些其他实施例中，构图模板或规则的选择可能需要一些人为干预。例如，操作远程终端的用户可以手动选择一个或多个构图模板或规则用于使用。该用户选择可以基于或者可以不基于获取的图像。该用户选择可以基于或可以不基于由自动化过程预先选择的构图度量。
在一些实施例中，一个或多个构图度量可以由用户创建、编辑或以其他方式配置。这样的配置可以在UAV或成像设备未运行时离线发生。例如，在UAV和/或成像设备运行之前，表示构图度量的数据可以离线创建并预加载到一个或多个处理器可访问的存储单元，该一个或多个处理器被配置为评估图像构图。备选地，这样的配置可以在UAV和/或成像设备运行时在线发生。例如，在UAV和/或成像设备运行期间，用户可以使用远程终端来创建或编辑构图模板或规则。表示构图或规则的数据可以实时或几乎实时地向UAV或成像设备发送，以在该UAV和/或成像设备运行时使用。
在一些实施例中，可以向用户提供用户界面(例如，图5-6中讨论的那些)以配置构图度量。用户界面还可以允许用户指定和/或将属性(例如，重量或图像类型)与构图模板或规则相关联。用户还可以使用相同或不同的用户界面来指定与构图评估过程相关的一些参数，例如，阈值构图分数或阈值度量值分数，用于确定是捕捉照片还是进行进一步的调整。用户还可以使用相同或不同的用户界面来指定与在图像构图令人满意和/或必须进行调整以获得最佳或目标构图时要采取的动作有关的参数。
在方框1006中，使用一个或多个构图度量(例如，构图模板或规则)来评估图像的构图。可以对图像进行处理和分析以检测和/或提取特征，例如，显著区域或突出线。还可以确定这些特征的属性和它们之间的空间关系。可以通过自动化过程(例如，使用机器学习技术)来检测/提取特征。备选地，这些特征可以由人类用户识别。例如，图像可以在远程终端上向用户显示。用户可以使用触摸屏或任何其他合适的输入设备来选择用于构图评估目的的特征(例如，人、显著区域、突出线、感兴趣的对象)。
可以根据在方框1004中获取的构图规则或模板来评估图像的构图。该评估可以基于从图像中提取的特征，该特征代表图像的构图。例如，可以基于构图度量为当前构图确定构图分数，该构图分数指示当前图像的审美水平。在实施例中，可以针对每个构图规则来评估特征的空间布置，以导出该规则的规则分数。然后可以将规则分数组合以导出总体构图分数。在一些情况下，每个规则可以与指示该规则重要性的权重值相关联，并且可以在将规则分数组合之前，将其与各自的权重值进行加权以导出构图分数。
同样地，可以导出构图模板的构图分数。可以将构图模板的构图与构图模板的构图进行比较。在一些实施例中，被评估的图像特征可以与构图模板的相应特征相匹配。然后，可以将图像特征的空间布置与模板特征的空间布置进行比较。图像特征的空间布置与模板特征的空间布置越接近，构图分数可能越高。在一些实施例中，可以使用多个构图模板来评估图像。在这样的实施例中，可以以类似于规则分数的组合的方式，为每个模板确定模板分数，并且可以将模板分数组合以确定整体构图分数。例如，模板分数可以通过各自的模板权重值来加权。
在方框1008中，基于方框1006处的评估确定是否需要进行调整。该调整对于实现代表构图度量的最佳或目标构图可能是必需的。在一些实施例中，可以将构图分数与预定阈值分数进行比较。如果构图分数小于阈值分数，则可以认为当前构图令人满意，并且无需进行任何调整。否则，如果构图分数等于或大于阈值分数，则为了获得最佳或目标构图，对构图进行调整可能是必需的。在一些实施例中，用户输入可以用于确定是否需要进行调整。例如，可以在远程终端上向用户显示图像、图像与目标构图之间的比较或插入，并且用户可以通过远程终端指示是否通过对UAV和/或成像设备的载体进行调整来调整图像的构图。
如果在方框1008处确定需要进行调整，则在方框1012中，可以计算当前构图与目标构图的偏差。该偏差可以包括距离或大小的偏差(例如，以像素为单位)。可以将该偏差计算为相应特征的边界框之间的大小和/或位置的差异。例如，根据三分法则，应将感兴趣的对象放置在两条第三线的交点处。在这种情况下，可以确定感兴趣的对象的当前位置和相交点之间的偏差。作为另一示例，可以基于特征匹配来计算当前图像与构图模板之间的变换或运动矢量。该变换可以用于控制UAV和/或载体的移动。在一些实施例中，方框1012可以被实现为方框1006或决策框1008中的评估的一部分。
在方框1014中，可以生成控制信号用于减小方框1012中计算出的偏差。例如，控制信号可以被配置为调整UAV和/或成像设备的载体的状态(例如，位置、姿态、速度、加速度)。各种图像跟踪方法可以用于生成这样的控制信号，包括但不限于图7-8中讨论的那些。例如，基于该偏差，可以确定UAV和/或成像设备的载体的位置或姿态的变化，以实现图像坐标系中一个或多个特征的目标大小和/或位置。例如，可以针对导航坐标系来计算UAV和/或载体的位置或姿态的变化。可以计算UAV和/或载体的移动。该移动可以是平移的或旋转的。例如，控制信号可以被配置为在UAV盘旋时控制载体绕多达三个轴旋转。作为另一示例，控制信号可以被配置为控制UAV平移和/或旋转地移动，以调整该UAV的位置和/或姿态。可以生成用于实现该移动的控制信号(例如，通过控制速度和/或加速度)。在一些实施例中，可以使用反馈控制机制，如本文其他地方所讨论的。
在一些实施例中，控制信号的生成可以至少部分地基于来自UAV和/或载体携带的一个或多个传感器(例如，惯性测量单元(IMU)、GPS接收器、磁力计等)的感测数据。例如，可以应用任何合适的传感器融合技术来融合感测数据，并且除了图像数据之外，还可以使用融合的感测数据来生成控制信号。
除了或代替对UAV和/或载体的调整，控制信号可以用于调整成像设备本身的一个或多个参数，以减小偏差。该参数可以包括但不限于：缩放比例、焦距、快门速度、光圈或任何其他合适的参数。例如，可以改变成像设备的缩放以调整图像中对象的大小。
在上述调整之后，可以重复过程1000以获取并评估另外的调整后图像(例如，预览图像)，直到构图令人满意。迭代过程1000还可以在某些终止条件(例如，预定时间段到期)下，或者响应于用户干预而终止。
如果在方框1008处确定不需要进行调整，则在方框1010中，可以生成一个或多个控制信号以捕捉一个或多个图像。该控制信号可以用于控制成像设备的快门(例如，机械或电子快门)以“拍摄照片”。可以基于快门控制来拍摄单张照片或多张照片(例如，以连拍模式)。在一些实施例中，可以向远程终端发送捕捉的图像(例如，记录的图像)以进行显示。在一些实施例中，用于成像设备的控制信号可以可选地包括用于将成像设备的模式从预览或实时取景模式切换到图像捕捉模式的信号。
图11示出了根据实施例的用于图像捕捉的另一示例性过程1100。
在方框1102中，获取图像。可以以类似于图10的方框1002描述的方式获取图像。
在方框1104中，从多个构图度量(例如，构图规则和/或构图模板)中选择构图度量。该多个构图度量可以默认由系统提供或由用户提供。在一些实施例中，选择构图度量可以包括根据该多个构图度量中的一些或全部来评估图像。在一些实施例中，该评估可以产生与所评估的每个构图度量相关联的度量分数。该度量分数可以指示给定度量匹配的程度或适合于图像的程度。例如，较高的度量分数可以指示给定构图度量和图像之间的较高的适合性或匹配度。在另一示例中，相反的情况可能是正确的(即，较低的度量分数表示较低的适合性)。在一些实施例中，度量分数可以基于图像的上下文信息(例如，场景、位置或环境)来确定，如本文其他地方所述。例如，某些构图度量可能更适用于或与某些类型的场景相关。如果是这样，则此类度量的度量分数可能更高。在一些实施例中，可以基于图像的构图来确定度量分数。例如，可以提取图像的突出特征，例如，显著区域和突出线。可以根据每个构图度量来评估提取的特征以确定度量分数。在这种情况下，度量分数的确定可以类似于本文讨论的构图分数的确定。
在方框1106中，确定是否需要进行调节以实现由选择的构图度量定义的最佳构图。在一些实施例中，可以将选择的构图度量的度量分数与阈值分数进行比较。如果度量分数等于或大于阈值分数，则可以确定不需要进行调整。在方框1108中，可以例如以如图10的方框1010中所述的方式生成用于捕捉图像的控制信号。否则，如果确定需要进一步的调整，则在方框1110中，可以生成控制信号，用于根据选择的构图度量来调整UAV和/或成像设备的载体。
在一些实施例中，根据选择的构图度量生成控制信号包括：确定图像中和构图度量中的相应特征之间的距离和/或大小的偏差。各种图像跟踪方法可以用于生成这样的控制信号，包括但不限于图7-8中讨论的那些。例如，基于该偏差，可以确定UAV和/或成像设备的载体的位置或姿态的变化，以实现图像坐标系中一个或多个特征的目标大小和/或位置。例如，可以针对导航坐标系来计算UAV和/或载体的位置或姿态的变化。可以计算UAV和/或载体的移动。该移动可以是平移的或旋转的。例如，控制信号可以被配置为在UAV盘旋时控制载体绕多达三个轴旋转。作为另一示例，控制信号可以被配置为控制UAV平移和/或旋转地移动，以调整该UAV的位置和/或姿态。可以生成用于实现该移动的控制信号(例如，通过控制速度和/或加速度)。在一些实施例中，可以使用反馈控制机制，如本文其他地方所讨论的。例如，可以将该偏差计算为相应特征的边界框之间的大小和/或位置的差异。该偏差可以指示图像的构图与由选择的构图度量定义的目标构图之间的偏差。可以生成控制信号以减小该偏差。例如，基于该偏差，可以确定UAV和/或成像设备的载体的位置或姿态的变化，以实现图像坐标系中一个或多个特征的目标大小和/或位置。例如，可以针对导航坐标系来计算UAV和/或载体的位置或姿态的变化。可以计算UAV和/或载体的移动，并且该移动可以是平移的或旋转的。可以生成用于实现该移动的控制信号(例如，通过控制速度和/或加速度)。在一些实施例中，可以使用反馈控制机制，如本文其他地方所讨论的。
在一些实施例中，控制信号的生成可以至少部分地基于来自UAV和/或载体携带的一个或多个传感器(例如，惯性测量单元(IMU)、GPS接收器、磁力计等)的感测数据。例如，可以应用任何合适的传感器融合技术来融合感测数据，并且除了图像数据之外，还可以使用融合的感测数据来生成控制信号。
除了或代替对UAV和/或载体的调整，控制信号可以用于调整成像设备本身的一个或多个参数。例如，可以调整成像设备的缩放比例、焦距、快门速度、光圈或任何其他参数。在调整之后，可以重复过程1100以获取并评估另外的图像(例如，预览图像)，直到构图令人满意。在预定时间段到期之后或响应于用户干预，迭代过程也可以被终止。
有利地，公开的技术可以用于在没有或很少用户干预的情况下实现航空摄影的最佳图像构图。例如，可以根据一个或多个构图度量自动地调整UAV和/或成像设备的载体的位置和/或朝向。此外，当构图被确定为最佳时，可以自动控制成像设备的快门以捕捉照片。因此，公开的技术可以极大地降低用户对航空摄影的需求，从而使在摄影构图方面没有经验的外行人能够容易地使用UAV来构图和捕捉美观的图像。通过消除或减少人为误差，公开的技术还可以提高在航空摄影中实现最佳构图的效率和准确性。
本文描述的系统、设备和方法可以应用于各种可移动物体。如前所述，本文对飞行器(例如，UAV)的任何描述可以适用于并用于任何可移动物体。本文对飞行器的任何描述都可以专门适用于UAV。本发明的可移动物体可以被配置为在任何合适的环境中移动，例如，在空气中(例如，固定翼飞机、旋转翼飞机或既不具有固定翼也不具有旋转翼的飞机)、在水中(例如，船或潜艇)、在地面上(例如，机动车辆，比如轿车、卡车、公共汽车、货车、摩托车、自行车；可移动的结构或框架，例如，棒、钓鱼竿；或火车)、在地下(例如，地铁)、在太空中(例如，太空飞机、卫星或探测器)、或这些环境的任何组合。可移动物体可以是载运工具，例如本文其它地方描述的载运工具。在一些实施例中，可移动物体可以由活体(例如，人或动物)携带，或者从活体取下。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚类、啮齿类或昆虫类。
可移动物体可以在相对于六个自由度(例如，三个平移自由度和三个旋转自由度)环境内自由移动。备选地，可移动物体的移动可以根据一个或多个自由度(例如，通过预定的路径、轨道或朝向)进行限制。该移动可以通过任何合适的致动机构来致动，例如，发动机或电动机。可移动物体的致动机构可以由任何合适的能源(例如，电能、磁能、太阳能、风能、重力能、化学能、核能或其任何合适的组合)供能。可移动物体可以通过推进系统自推进，如本文其他地方所述。推进系统可以可选地在能量源上运行，例如，电能、磁能、太阳能、风能、重力能、化学能、核能或其任何合适的组合。备选地，可移动物体可以由生物携带。
在一些实例中，可移动物体可以是飞行器。例如，飞行器可以是固定翼飞机(例如，飞机、滑翔机)、旋转翼飞机(例如，直升机、旋翼飞机)、具有固定翼和旋转翼两者的飞机、或没有固定翼和旋转翼的飞机(例如，飞艇、热气球)。飞行器可以是自推进的，例如，通过空气自推进。自推进飞行器可以利用推进系统，例如，包括一个或多个发动机、电机、轮子、轴、磁体、旋翼、螺旋桨、叶片、喷嘴或其任何合适的组合的推进系统。在一些实例中，推进系统可以用于使可移动物体从表面起飞、在表面上降落、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。
可移动物体可以由使用者远程控制，也可以由可移动物体内或可移动物体上的乘员进行本地控制。可移动物体可以通过单独的载运工具内的乘员远程控制。在一些实施例中，可移动物体是无人可移动物体(例如，UAV)。无人可移动物体(例如，UAV)可以在该可移动物体上没有乘员。可移动物体可以由人或自主控制系统(例如，计算机控制系统)或其任何适当的组合来控制。可移动物体可以是自主的或半自主的机器人，例如，配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或维度。在一些实施例中，可移动物体可以具有在载运工具内或载运工具上有人类乘员的大小和/或维度。备选地，可移动物体的大小和/或维度可以小于能够在载运工具内或载运工具上有人类乘员的大小和/或维度。可移动物体的大小和/或维度可以适于被人抬起或携带。备选地，可移动物体可以大于适于被人抬起或携带的大小和/或维度。在一些实例中，可移动物体可以具有小于或等于约如下值的最大维度(例如，长度、宽度、高度、直径、对角线)：2cm、5cm、10cm、50cm、1m、2m、5m或者10m。最大维度可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或者10m。例如，可移动物体的相对旋翼的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或者10m。备选地，相对旋翼的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或者10m。
在一些实施例中，可移动物体的体积可以小于100cm×100cm×100cm、小于50cm×50cm×30cm、或小于5cm×5cm×3cm。可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、或10m3。相反地，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、或10m3。
在一些实施例中，可移动物体可以具有小于或等于约如下值的占地面积(其可以指由可移动物体包围的横截面积)：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2、或5cm2。相反地，占地面积可以大于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2、或5cm2。
在一些实例中，可移动物体的重量可以不超过1000kg。可移动物体的重量可以小于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg、或0.01kg。相反地，重量可以大于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg、或0.01kg。
在一些实施例中，可移动物体相对于由该可移动物体携带的负载可以较小。该负载可以包括搭载物和/或载体，如本文其他地方进一步详细描述的。在一些示例中，可移动物体重量与负载重量之比可以大于、小于或等于约1∶1。在一些实例中，可移动物体重量与负载重量之比可以大于、小于或等于约1∶1。可选地，载体重量与负载重量之比可以大于、小于或等于约1∶1。当需要时，可移动物体重量与负载重量之比可以小于或等于：1∶2、1∶3、1∶4、1∶5、1∶10或甚至更小。相反地，可移动物体重量与负载重量之比也可以大于或等于：2∶1、3∶1、4∶1、5∶1、10∶1或甚至更大。
在一些实施例中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约如下值的能耗：5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些实例中，可移动物体的载体可以具有低能耗。例如，载体可以使用小于约如以下值的能耗：5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地，可移动物体的搭载物可以具有低能耗，例如小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。
UAV可以包括具有四个旋翼的推进系统。可以提供任何数量的旋翼(例如，一个、两个、三个、四个、五个、六个或更多)。无人飞行器的旋翼、旋翼组件或其他推进系统可以使得该无人飞行器能够悬停/保持位置、改变朝向和/或改变位置。相对旋翼的轴之间的距离可以是任何合适的长度。例如，该长度可以小于或等于2m、或小于等于5m。在一些实施例中，该长度可以在40cm至1m、10cm至2m或5cm至5m的范围内。本文对UAV的任何描述可以应用于可移动物体(例如，不同类型的可移动物体)，并且反之亦然。
在一些实施例中，可移动物体可以被配置为携带负载。负载可以包括乘客、货物、装备、仪器等中的一个或多个。负载可以设置在壳体内。该壳体可以与可移动物体的壳体分离，或者作为可移动物体的壳体的一部分。备选地，负载可以设置有壳体，而可移动物体不具有壳体。备选地，可以在没有壳体的情况下设置负载的一部分或整个负载。负载可以相对于可移动物体刚性地固定。可选地，负载可以是相对于可移动物体可移动的(例如，相对于可移动物体可平移或可旋转)。负载可以包括搭载物和/或载体，如本文其他地方进一步详细描述的。
在一些实施例中，可移动物体、载体和搭载物相对于固定参考系(例如，周围环境)和/或彼此的运动可以由终端控制。终端可以是远离可移动物体、载体和/或搭载物的遥控设备。终端可以被放置在或被固定在支撑平台上。备选地，终端可以是手持式或可穿戴式设备。例如，终端可以包括智能电话、平板电脑、膝上型电脑、计算机、眼镜、手套、头盔、麦克风或其合适的组合。终端可以包括用户界面(例如，键盘、鼠标、操纵杆、触摸屏或显示器)。可以使用任何合适的用户输入来与终端进行交互，例如，手动输入的命令、语音控制、手势控制或位置控制(例如，通过终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或搭载物的任何合适的状态。例如，终端可以用于控制可移动物体、载体和/或搭载物相对于固定参考系和/或彼此的位置和/或朝向。在一些实施例中，终端可以用于控制可移动物体、载体和/或搭载物的各个元件，例如，载体的致动组件、搭载物的传感器或搭载物的发射器。终端可以包括适于与可移动物体、载体或搭载物中的一个或多个通信的无线通信设备。
终端可以包括用于观看可移动物体、载体和/或搭载物的信息的合适的显示单元。例如，终端可以被配置为显示可移动物体、载体和/或搭载物关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合方面的信息。在一些实施例中，终端可以显示由搭载物提供的信息，例如，由功能型搭载物提供的数据(例如，由相机或其它图像捕捉设备记录的图像)。
可选地，相同的终端可以控制可移动物体、载体和/或搭载物、或可移动物体、载体和/或搭载物的状态，以及接收和/或显示来自可移动物体、载体和/或搭载物的信息。例如，终端可以在显示由搭载物捕捉的图像数据或与搭载物的位置有关信息的同时，控制搭载物相对于环境的定位。备选地，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载体和/或搭载物的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载体和/或搭载物的信息。例如，第一终端可以用于控制搭载物相对于环境的定位，而第二终端显示由搭载物捕捉的图像数据。在可移动物体与控制可移动物体并接收数据的集成终端之间，或者在可移动物体与控制可移动物体并接收数据的多个终端之间，可以使用各种通信模式。例如，在可移动物体与控制可移动物体并从可移动物体接收数据的终端之间，可以形成至少两种不同的通信模式。
图12示出了根据实施例的包括载体1202和搭载物1204的可移动物体1200。尽管可移动物体1200被描绘为飞机，但是该描述并不旨在限制，并且可以使用如前所述的任何合适类型的可移动物体。本领域技术人员将理解，本文在飞机系统的上下文中描述的任何实施例可以应用于任何合适的可移动物体(例如，UAV)。在一些实例中，搭载物1204可以设置在可移动物体1200上，而不需要载体1202。可移动物体1200可以包括推进机构1206、感测系统1208和通信系统1210。
如前所述，推进机构1206可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体或喷嘴中的一个或多个。可移动物体可以具有一个或更多个、两个或更多个、三个或更多个、或四个或更多个推进机构。推进机构可以都是相同类型的。或者，一个或多个推进机构可以是不同类型的推进机构。推进机构1206可以使用如本文其他地方所述的诸如支撑元件(例如，驱动轴)的任何合适的装置安装在可移动物体1200上。推进机构1206可以安装在可移动物体1200的任何合适的部分上，例如，顶部、底部、前部、后部、侧面或其合适的组合。
在一些实施例中，推进机构1206可以使可移动物体1200能够垂直地从表面起飞或垂直地着陆在表面上，而不需要可移动物体1200的任何水平移动(例如，无需沿着跑道行进)。可选地，推进机构1206可以可操作地允许可移动物体1200以特定位置和/或朝向悬停在空中。推进机构1206中的一个或多个可以独立于其它推进机构受到控制。备选地，推进机构1206可以被配置为同时受到控制。例如，可移动物体1200可以具有多个水平朝向的旋翼，其可以向可该移动对象提供升力和/或推力。可以致动多个水平朝向的旋翼以向可移动物体1200提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，一个或多个水平朝向的旋翼可以沿顺时针方向旋转，而一个或多个水平旋翼可以沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，从而调整可移动物体1200(例如，相对于高达三个平移度和高达三个旋转度)的空间布置、速度和/或加速度，可以独立地改变每个水平朝向的旋翼的转速。
感测系统1208可以包括可以感测可移动物体1200(例如，相对于高达三个平移度和高达三个旋转度)的空间布置、速度和/或加速度的一个或多个传感器。该一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。感测系统1208提供的感测数据可以用于(例如，使用合适的处理单元和/或控制模块，如下所述)控制可移动物体1200的空间布置、速度和/或朝向。备选地，感测系统1208可以用于提供关于可移动物体周围环境的数据，例如，天气条件、接近潜在障碍物、地理特征的位置、人造结构的位置等。
通信系统1210能够通过无线信号1216与具有通信系统1214的终端1212进行通信。通信系统1210、1214可以包括适合于无线通信的任意数量的发射机、接收机和/或收发机。该通信可以是单向通信；使得数据可以仅在一个方向上发送。例如，单向通信可以仅涉及可移动物体1200向终端1212发送数据，或者反之亦然。可以从通信系统1210的一个或多个发射机向通信系统1214的一个或多个接收机发送数据，或者反之亦然。备选地，该通信可以是双向通信，使得可以在可移动物体1200和终端1212之间的两个方向上发送数据。双向通信可以涉及从通信系统1210的一个或多个发射机向通信系统1214的一个或多个接收机发送数据，并且反之亦然。
在一些实施例中，终端1212可以向可移动物体1200、载体1202和搭载物1204中的一个或多个提供控制数据，并且从可移动物体1200、载体1202和搭载物1204中的一个或多个接收信息(例如，可移动物体、载体或搭载物的位置和/或运动信息；由搭载物感测的数据，例如，由搭载物相机捕捉的图像数据)。在一些实例中，来自终端的控制数据可以包括用于可移动物体、载体和/或搭载物的相对位置、移动、致动或控制的指令。例如，控制数据(例如，通过推进机构1206的控制)可以使得可移动物体的位置和/或朝向改变，或(例如，通过载体1202的控制)使得搭载物相对于可移动物体移动。来自终端的控制数据可以实现对搭载物的控制，例如，对相机或其它图像捕捉设备的操作的控制(例如，拍摄静态或动态照片、放大或缩小、接通或关断、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视场)。在一些实例中，来自可移动物体、载体和/或搭载物的通信可以包括来自(例如，感测系统1208或搭载物1204的)一个或多个传感器的信息。该通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这样的信息可以涉及可移动物体、载体和/或搭载物的位置(例如，位置、朝向)、移动或加速度。来自搭载物的这样的信息可以包括由该搭载物捕捉的数据或该搭载物的感测状态。由终端1212发送提供的控制数据可以被配置为控制可移动物体1200、载体1202或搭载物1204中的一个或多个的状态。备选地或组合地，载体1202和搭载物1204也可以各自包括被配置为与终端1212进行通信的通信模块，使得该终端可以独立地与可移动物体1200、载体1202和搭载物1204中的每一个进行通信并对其进行控制。
在一些实施例中，可移动物体1200可以被配置为与除了终端1212之外的或者代替终端1212的另一远程设备通信。终端1212还可以被配置为与另一远程设备以及可移动物体1200进行通信。例如，可移动物体1200和/或终端1212可以与另一可移动物体或另一可移动物体的载体或搭载物通信。当需要时，远程设备可以是第二终端或其它计算设备(例如，计算机、膝上型电脑、平板电脑、智能电话或其它移动设备)。远程设备可以被配置为：向可移动物体1200发送数据；从可移动物体1200接收数据；向终端1212发送数据；和/或从终端1212接收数据。可选地，远程设备可以与互联网或其他电信网络连接，使得从可移动物体1200和/或终端1212接收的数据可以上传到网站或服务器。
图13是根据实施例的用于控制可移动物体的系统1300的框图的示意图。系统1300可以与本文公开的系统、设备和方法的任何合适的实施例结合使用。系统1300可以包括感测模块1302、处理单元1304、非暂时性计算机可读介质1306、控制模块1308和通信模块1310。
感测模块1302可以利用不同类型的传感器，该不同类型的传感器以不同方式收集与可移动物体有关的信息。不同类型的传感器可以感测不同类型的信号或来自不同源的信号。例如，传感器可以包括惯性传感器、GPS传感器、近距离传感器(例如，雷达)或视觉/图像传感器(例如，相机)。感测模块1302可以可操作地与具有多个处理器的处理单元1304连接。在一些实施例中，感测模块可以可操作地与发送模块1312(例如，Wi-Fi图像发送模块)耦接，该发送模块1312被配置为直接向合适的外部设备或系统发送感测数据。例如，发送模块1312可以用于向远程终端发送由感测模块1302的相机捕捉的图像。
处理单元1304可以具有一个或多个处理器，例如，可编程或非可编程处理器(例如，中央处理单元(CPU)、微处理器、FPGA、专用集成电路(ASIC))。处理单元1304可以可操作地与非暂时性计算机可读介质1306耦接。非暂时性计算机可读介质1306可以存储可由处理单元1304执行的用于执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或外部存储器，诸如SD卡或随机存取存储器(RAM))。在一些实施例中，可以向非暂时性计算机可读介质1306的存储单元直接传送来自感测模块1302的数据并将其存储于其中。非暂时性计算机可读介质1306的存储单元可以存储可由处理单元1304执行的逻辑、代码和/或程序指令，以执行本文描述的方法的任何合适的实施例。该存储单元可以存储来自感测模块的感测数据以由处理单元1304处理。在一些实施例中，非暂时性计算机可读介质1306的存储单元可以用于存储由处理单元1304生成的处理结果。
在一些实施例中，处理单元1304可以可操作地与控制模块1308耦接，该控制模块1308被配置为控制可移动物体的状态。例如，控制模块1308可以被配置为控制可移动物体的推进机构，以相对于六个自由度调整可移动物体的空间布局、速度和/或加速度。备选地或组合地，控制模块1308可以控制载体、搭载物或感测模块的状态中的一个或多个。
处理单元1304可以可操作地与通信模块1310耦接，通信模块1310被配置为从一个或多个外部设备(例如，终端、显示设备或其它遥控器)发送和/或接收数据。可以使用任何合适的通信方式，例如，有线通信或无线通信。例如，通信模块1310可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等中的一个或多个。可选地，可以使用中继站，例如，塔、卫星或移动站。无线通信可以是接近度相关的或接近度不相关的。在一些实施例中，通信可能需要或可能不需要视线。通信模块1310可以发送和/或接收以下中的一个或多个：来自感测模块1302的感测数据、由处理单元1304产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等。
系统1300的组件可以以任何合适的配置来布置。例如，系统1300的一个或多个组件可以位于可移动物体、载体、搭载物、终端、感测系统或与上述一个或多个进行通信的附加的外部设备上。此外，尽管图13描绘了单个处理单元1304和单个非暂时性计算机可读介质1306，本领域技术人员将理解，这并非旨在限制，并且系统1300可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施例中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置，例如，位于可移动物体、载体、搭载物、终端、感测模块、与上述一个或多个进行通信的附加的外部设备、或其合适组合上，使得由系统1300执行的处理和/或存储功能的任何合适方面可以发生在前述位置中的一个或多个位置。
尽管本文已经示出和描述了本发明的优选实施例，但是对于本领域技术人员显而易见的是，这些实施例仅以示例的方式提供。在不脱离本发明的情况下，本领域技术人员将会想到许多变型、变化和替代方式。应当理解的是，在实施本发明时可以采用本文所述的本发明的实施例的各种备选方案。以下权利要求旨在定义本发明的范围，并且这些权利要求及其等同物的范围内的方法和结构由此被涵盖。

Claims (60)

1.一种计算机实现的方法，包括：
从无人飞行器UAV携带的成像设备获取图像，所述成像设备通过载体与所述UAV耦接，所述载体允许所述成像设备相对于所述UAV并关于一个或多个轴移动；
获取一个或多个构图度量；
使用所述一个或多个构图度量来评估所述图像的构图；以及
至少部分地基于所述评估来控制所述UAV和/或所述载体。
2.根据权利要求1所述的方法，其中，获取所述一个或多个构图度量包括：基于所述图像从多个构图度量中选择所述一个或多个构图度量。
3.根据权利要求1所述的方法，其中，所述一个或多个构图度量能够通过远程终端上的用户界面来配置。
4.根据权利要求1所述的方法，其中，所述一个或多个构图度量包括一个或多个构图规则。
5.根据权利要求1所述的方法，其中，所述一个或多个构图度量包括一个或多个构图模板。
6.根据权利要求1所述的方法，其中，至少部分地基于所述评估来控制所述UAV和/或所述载体包括：
确定所述图像的构图与所述构图度量定义的目标构图之间的偏差；以及
生成用于调整所述UAV和/或所述载体的位置或姿态以减小所述偏差的控制信号。
7.根据权利要求1所述的方法，其中，评估所述图像的构图包括：
基于所述一个或多个构图度量来确定所述图像的构图分数；以及
比较所述构图分数与预定阈值分数。
8.根据权利要求7所述的方法，其中，至少部分地基于所述评估来控制所述UAV和/或所述载体包括：响应于确定所述构图分数小于所述预定阈值分数，生成用于控制所述UAV和/或所述载体的控制信号。
9.根据权利要求1所述的方法，还包括：至少部分地基于所述评估来控制所述成像设备的快门以捕捉另一图像。
10.根据权利要求1所述的方法，还包括：至少部分地基于所述评估来调整所述成像设备的一个或多个参数。
11.一种系统，包括：
存储器，存储一个或多个计算机可执行指令；以及
一个或多个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行方法，所述方法包括：
从无人飞行器UAV携带的成像设备获取图像，所述成像设备通过载体与所述UAV耦接，所述载体允许所述成像设备相对于所述UAV并关于一个或多个轴移动；
获取一个或多个构图度量；
使用所述一个或多个构图度量来评估所述图像的构图；以及
至少部分地基于所述评估来控制所述UAV和/或所述载体。
12.根据权利要求11所述的系统，其中，获取所述一个或多个构图度量包括：基于所述图像从多个构图度量中选择所述一个或多个构图度量。
13.根据权利要求11所述的系统，其中，所述一个或多个构图度量能够通过远程终端上的用户界面来配置。
14.根据权利要求11所述的系统，其中，所述一个或多个构图度量包括一个或多个构图规则。
15.根据权利要求11所述的系统，其中，所述一个或多个构图度量包括一个或多个构图模板。
16.根据权利要求11所述的系统，其中，至少部分地基于所述评估来控制所述UAV和/或所述载体包括：
确定所述图像的构图与所述构图度量定义的目标构图之间的偏差；以及
生成用于调整所述UAV和/或所述载体的位置或姿态以减小所述偏差的控制信号。
17.根据权利要求11所述的系统，其中，评估所述图像的构图包括：
基于所述一个或多个构图度量来确定所述图像的构图分数；以及
比较所述构图分数与预定阈值分数。
18.根据权利要求17所述的系统，其中，至少部分地基于所述评估来控制所述UAV和/或所述载体包括：响应于确定所述构图分数小于所述预定阈值分数，生成用于控制所述UAV和/或所述载体的控制信号。
19.根据权利要求11所述的系统，其中，所述方法还包括：至少部分地基于所述评估来控制所述成像设备的快门以捕捉另一图像。
20.根据权利要求11所述的系统，其中，所述方法还包括：至少部分地基于所述评估来调整所述成像设备的一个或多个参数。
21.一种计算机实现的方法，包括：
从无人飞行器UAV携带的成像设备获取第一图像；
获取一个或多个构图度量；
使用所述一个或多个构图度量来评估所述第一图像的构图；以及
至少部分地基于所述评估来控制所述成像设备的快门以捕捉第二图像。
22.根据权利要求21所述的方法，其中，所述第一图像是预览图像。
23.根据权利要求21所述的方法，其中，所述第二图像不是预览图像。
24.根据权利要求21所述的方法，其中，获取所述一个或多个构图度量包括：基于所述第一图像从多个构图度量中选择所述一个或多个构图度量。
25.根据权利要求21所述的方法，其中，所述一个或多个构图度量能够通过远程终端上的用户界面来配置。
26.根据权利要求21所述的方法，其中，所述一个或多个构图度量包括一个或多个构图规则或一个或多个构图模板。
27.根据权利要求21所述的方法，其中，评估所述图像的构图包括：
基于所述一个或多个构图度量来确定所述第一图像的构图分数；以及
比较所述构图分数与预定阈值分数。
28.根据权利要求27所述的方法，其中，至少部分地基于所述评估来控制所述成像设备的快门包括：响应于确定所述构图分数等于或大于所述预定阈值分数，生成用于控制所述成像设备的快门以捕捉所述第二图像的控制信号。
29.根据权利要求21所述的方法，其中，所述成像设备通过载体与所述UAV耦接，所述载体允许所述成像设备相对于所述UAV并关于一个或多个轴移动，并且其中，所述方法还包括：至少部分地基于所述评估来生成用于控制所述UAV或所述载体的控制信号。
30.根据权利要求21所述的方法，其中还包括：至少部分地基于所述评估来调整所述成像设备的一个或多个参数。
31.一种或多种非暂时性计算机可读存储介质，存储计算机可执行指令，所述指令在由一个或多个处理器执行时，将所述一个或多个处理器配置为执行方法，所述方法包括：
从无人飞行器UAV携带的成像设备获取第一图像；
获取一个或多个构图度量；
使用所述一个或多个构图度量来评估所述第一图像的构图；以及
至少部分地基于所述评估来控制所述成像设备的快门以捕捉第二图像。
32.根据权利要求31所述的计算机可读存储介质，其中，所述第一图像是实时取景图像。
33.根据权利要求31所述的计算机可读存储介质，其中，所述第二图像不是实时取景图像。
34.根据权利要求31所述的计算机可读存储介质，其中，获取所述一个或多个构图度量包括：基于所述第一图像从多个构图度量中选择所述一个或多个构图度量。
35.根据权利要求31所述的计算机可读存储介质，其中，所述一个或多个构图度量能够通过远程终端上的用户界面来配置。
36.根据权利要求31所述的计算机可读存储介质，其中，所述一个或多个构图度量包括一个或多个构图规则或一个或多个构图模板。
37.根据权利要求31所述的计算机可读存储介质，其中，评估所述图像的构图包括：
基于所述一个或多个构图度量来确定所述第一图像的构图分数；以及
比较所述构图分数与预定阈值分数。
38.根据权利要求37所述的计算机可读存储介质，其中，至少部分地基于所述评估来控制所述成像设备的快门包括：响应于确定所述构图分数等于或大于所述预定阈值分数，生成用于控制所述成像设备的快门以捕捉所述第二图像的控制信号。
39.根据权利要求31所述的计算机可读存储介质，其中，所述成像设备通过载体与所述UAV耦接，所述载体允许所述成像设备相对于所述UAV并关于一个或多个轴移动，并且其中，所述方法还包括：至少部分地基于所述评估来生成用于控制所述UAV或所述载体的控制信号。
40.根据权利要求31所述的计算机可读存储介质，其中，所述方法还包括：至少部分地基于所述评估来调整所述成像设备的一个或多个参数。
41.一种计算机实现的方法，包括：
从无人飞行器UAV携带的成像设备获取图像，所述成像设备通过载体与所述UAV耦接，所述载体允许所述成像设备相对于所述UAV并关于一个或多个轴移动；
从多个构图度量中选择所述图像的构图度量；以及
至少部分地基于所选择的构图度量来控制所述UAV和/或所述载体。
42.根据权利要求41所述的方法，其中，至少部分地基于所选择的构图度量来控制所述UAV和/或所述载体包括：
基于所述图像和所选择的构图来确定偏差；以及
生成用于调整所述UAV和/或所述载体的位置或姿态以减小所述偏差的控制信号。
43.根据权利要求41所述的方法，其中，选择所述构图度量包括：
基于所述图像，为所述多个构图分数中的每一个确定度量分数；以及
基于所述度量分数选择所述构图度量。
44.根据权利要求43所述的方法，其中，至少部分地基于所选择的构图度量来控制所述UAV和/或所述载体包括：响应于确定所选择的构图度量的度量分数小于预定阈值分数，生成用于控制所述UAV和/或所述载体的控制信号。
45.根据权利要求41所述的方法，还包括：至少部分地基于所选择的构图度量来控制所述成像设备的快门以捕捉另一图像。
46.根据权利要求45所述的方法，其中，至少部分地基于所选择的构图度量来控制所述成像设备的快门以捕捉另一图像包括：响应于确定所选择的构图度量的度量分数等于或大于预定阈值分数，生成用于控制所述成像设备的快门以捕捉所述第二图像的控制信号。
47.根据权利要求41所述的方法，还包括：至少部分地基于所选择的构图度量来调整所述成像设备的一个或多个参数。
48.根据权利要求41所述的方法，其中，所述多个构图度量能够通过远程终端上的用户界面来配置。
49.根据权利要求41所述的方法，其中，所述多个构图度量包括一个或多个构图规则。
50.根据权利要求41所述的方法，其中，所述多个构图度量包括一个或多个构图模板。
51.一种系统，包括：
存储器，存储一个或多个计算机可执行指令；以及
一个或多个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行方法，所述方法包括：
从无人飞行器UAV携带的成像设备获取图像，所述成像设备通过载体与所述UAV耦接，所述载体允许所述成像设备相对于所述UAV并关于一个或多个轴移动；
从多个构图度量中选择所述图像的构图度量；以及
至少部分地基于所选择的构图度量来控制所述UAV和/或所述载体。
52.根据权利要求51所述的系统，其中，至少部分地基于所选择的构图度量来控制所述UAV和/或所述载体包括：
基于所述图像和所选择的构图来确定偏差；以及
生成用于调整所述UAV和/或所述载体的位置或姿态以减小所述偏差的控制信号。
53.根据权利要求51所述的系统，其中，选择所述构图度量包括：
基于所述图像，为所述多个构图分数中的每一个确定度量分数；以及
基于所述度量分数选择所述构图度量。
54.根据权利要求53所述的系统，其中，至少部分地基于所选择的构图度量来控制所述UAV和/或所述载体包括：响应于确定所选择的构图度量的度量分数小于预定阈值分数，生成用于控制所述UAV和/或所述载体的控制信号。
55.根据权利要求51所述的系统，其中，所述方法还包括：至少部分地基于所选择的构图度量来控制所述成像设备的快门以捕捉另一图像。
56.根据权利要求55所述的系统，其中，至少部分地基于所选择的构图度量来控制所述成像设备的快门以捕捉另一图像包括：响应于确定所选择的构图度量的度量分数等于或大于预定阈值分数，生成用于控制所述成像设备的快门以捕捉所述第二图像的控制信号。
57.根据权利要求51所述的系统，其中，所述方法还包括：至少部分地基于所选择的构图度量来调整所述成像设备的一个或多个参数。
58.根据权利要求51所述的系统，其中，所述多个构图度量能够通过远程终端上的用户界面来配置。
59.根据权利要求51所述的系统，其中，所述多个构图度量包括一个或多个构图规则。
60.根据权利要求51所述的系统，其中，所述多个构图度量包括一个或多个构图模板。
CN201880065349.XA 2018-04-04 2018-04-04 用于构图和捕捉图像的方法和系统 Pending CN111194433A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/081920 WO2019191940A1 (en) 2018-04-04 2018-04-04 Methods and system for composing and capturing images

Publications (1)

Publication Number Publication Date
CN111194433A true CN111194433A (zh) 2020-05-22

Family

ID=68099875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065349.XA Pending CN111194433A (zh) 2018-04-04 2018-04-04 用于构图和捕捉图像的方法和系统

Country Status (3)

Country Link
US (1) US20210009270A1 (zh)
CN (1) CN111194433A (zh)
WO (1) WO2019191940A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7325266B2 (ja) * 2019-08-27 2023-08-14 キヤノン株式会社 撮像制御装置、撮像装置、制御方法、及びプログラム
US11877052B2 (en) * 2020-12-08 2024-01-16 Cortica Ltd. Filming an event by an autonomous robotic system
US11445121B2 (en) * 2020-12-29 2022-09-13 Industrial Technology Research Institute Movable photographing system and photography composition control method
US20220398640A1 (en) * 2021-06-11 2022-12-15 At&T Intellectual Property I, L.P. Photography Composition Service

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187723A (zh) * 2015-09-17 2015-12-23 深圳市十方联智科技有限公司 一种无人飞行器的摄像处理方法
CN105518555A (zh) * 2014-07-30 2016-04-20 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN107208836A (zh) * 2015-09-16 2017-09-26 深圳市大疆创新科技有限公司 用于支持具有不同效果的摄影术的系统和方法
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
CN107637064A (zh) * 2015-06-08 2018-01-26 深圳市大疆创新科技有限公司 用于图像处理的方法和设备
CN107850899A (zh) * 2015-05-23 2018-03-27 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
CN107850902A (zh) * 2015-07-08 2018-03-27 深圳市大疆创新科技有限公司 可移动物体上的相机配置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100004802A1 (en) * 2005-01-25 2010-01-07 William Kress Bodin Navigating UAVS with an on-board digital camera
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
US9643722B1 (en) * 2014-02-28 2017-05-09 Lucas J. Myslinski Drone device security system
CN107005624B (zh) * 2014-12-14 2021-10-01 深圳市大疆创新科技有限公司 处理视频的方法、系统、终端、装置、处理器和存储介质
CN107531326B (zh) * 2015-03-12 2019-04-16 奈庭吉尔智慧系统公司 自动化无人机系统
TWI557526B (zh) * 2015-12-18 2016-11-11 林其禹 自拍無人飛機系統及其執行方法
KR20170115350A (ko) * 2016-04-07 2017-10-17 삼성전자주식회사 전자 장치 및 그의 동작 방법
US9977429B2 (en) * 2016-05-04 2018-05-22 Motorola Solutions, Inc. Methods and systems for positioning a camera in an incident area
US11453494B2 (en) * 2016-05-20 2022-09-27 Skydio, Inc. Unmanned aerial vehicle area surveying
KR20180064253A (ko) * 2016-12-05 2018-06-14 삼성전자주식회사 비행 제어 방법 및 이를 지원하는 전자 장치
US10572825B2 (en) * 2017-04-17 2020-02-25 At&T Intellectual Property I, L.P. Inferring the presence of an occluded entity in a video captured via drone
US10589860B2 (en) * 2017-05-23 2020-03-17 Gopro, Inc. Spherical infrared emitter
US10689110B2 (en) * 2018-02-12 2020-06-23 Wipro Limited Method and system for performing inspection and maintenance tasks of three-dimensional structures using drones
US20190250601A1 (en) * 2018-02-13 2019-08-15 Skydio, Inc. Aircraft flight user interface
US11871457B2 (en) * 2021-07-01 2024-01-09 Qualcomm Incorporated Transmitting random access messages using aerial user equipment specific parameters

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518555A (zh) * 2014-07-30 2016-04-20 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN107850899A (zh) * 2015-05-23 2018-03-27 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
CN107637064A (zh) * 2015-06-08 2018-01-26 深圳市大疆创新科技有限公司 用于图像处理的方法和设备
CN107850902A (zh) * 2015-07-08 2018-03-27 深圳市大疆创新科技有限公司 可移动物体上的相机配置
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
CN107208836A (zh) * 2015-09-16 2017-09-26 深圳市大疆创新科技有限公司 用于支持具有不同效果的摄影术的系统和方法
CN105187723A (zh) * 2015-09-17 2015-12-23 深圳市十方联智科技有限公司 一种无人飞行器的摄像处理方法

Also Published As

Publication number Publication date
WO2019191940A1 (en) 2019-10-10
US20210009270A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
US11748898B2 (en) Methods and system for infrared tracking
CN107703963B (zh) 目标追踪系统及方法
CN111527463B (zh) 用于多目标跟踪的方法和系统
US10475209B2 (en) Camera calibration
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
CN108351649B (zh) 用于控制可移动物体的方法和设备
US20210009270A1 (en) Methods and system for composing and capturing images
JP2017503226A5 (zh)
WO2018107503A1 (en) Method and system for simulating visual data
WO2019082301A1 (ja) 無人航空機制御システム、無人航空機制御方法、及びプログラム
JP6849272B2 (ja) 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム
WO2021014752A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
DE202014011010U1 (de) Systeme zur Zielverfolgung

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200522

WD01 Invention patent application deemed withdrawn after publication