CN110049921A - 用于红外跟踪的方法和系统 - Google Patents

用于红外跟踪的方法和系统 Download PDF

Info

Publication number
CN110049921A
CN110049921A CN201780076311.8A CN201780076311A CN110049921A CN 110049921 A CN110049921 A CN 110049921A CN 201780076311 A CN201780076311 A CN 201780076311A CN 110049921 A CN110049921 A CN 110049921A
Authority
CN
China
Prior art keywords
image
target
infrared
visual picture
uav
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780076311.8A
Other languages
English (en)
Other versions
CN110049921B (zh
Inventor
翁超
张伟
王铭熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN110049921A publication Critical patent/CN110049921A/zh
Application granted granted Critical
Publication of CN110049921B publication Critical patent/CN110049921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于跟踪目标的技术。可以从UAV携带的成像装置获得红外图像和可见图像。可以组合红外图像和可见图像以生成组合图像。组合图像可以用于识别要跟踪的目标。可以生成用于使用成像装置跟踪所识别的目标的控制信号。

Description

用于红外跟踪的方法和系统
背景技术
现代无人飞行器(UAV)用于执行导航、监视和跟踪、遥感、搜救、科学研究等各种任务。特别是配备有红外相机的无人飞行器在监视、检查和搜救操作中非常有用。然而，仅使用由这种红外相机获取的红外信息来跟踪物体可能是困难的，尤其是当物体和周围环境具有相似的温度时。
发明内容
根据实施例，提供了一种用于跟踪的由计算机实现的方法。该方法包括：从由无人飞行器(UAV)的载体支撑的成像装置获得红外图像和可见图像；基于所述红外图像和所述可见图像获得组合图像；识别所述组合图像中的目标；以及生成用于使用所述成像装置跟踪所识别的目标的控制信号。
根据实施例，提供了一种无人飞行器(UAV)。该UAV包括：存储器，存储一个或多个计算机可执行指令；以及一个或多个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行方法，所述方法包括：从由UAV的载体支撑的成像装置获得红外图像和可见图像；基于所述红外图像和所述可见图像获得组合图像；识别所述组合图像中的目标；以及生成用于使用所述成像装置跟踪所识别的目标的控制信号。
根据实施例，提供了一种跟踪系统。该跟踪系统包括：存储器，存储一个或多个计算机可执行指令；以及一个或多个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行方法，所述方法包括：从由无人飞行器(UAV)的载体支撑的成像装置获得红外图像和可见图像；基于所述红外图像和所述可见图像获得组合图像；识别所述组合图像中的目标；以及生成用于使用所述成像装置跟踪所识别的目标的控制信号。
在一些实施例中，获得组合图像可以包括：处理所述红外图像以提取红外特征；处理所述可见图像以提取可见特征；基于所述红外特征和所述可见特征来匹配所述红外图像和所述可见图像；以及将所述可见特征中的至少一个应用于所述红外图像，以基于所述匹配来生成所述组合图像。
在一些实施例中，所述红外特征包括红外外轮廓，并且所述可见特征包括可见外轮廓，并且其中，匹配所述红外图像和所述可见图像包括将所述红外外轮廓与所述可见外轮廓对准。在一些实施例中，将所述可见特征中的至少一个应用于所述红外图像可以包括：基于可配置参数来确定所述至少一个可见特征在所述组合图像中的强度。在一些实施例中，可以基于可配置参数来确定要应用于红外图像的可见特征的量。
在一些实施例中，识别所述组合图像中的所述目标可以包括：从远程终端获得目标信息，并基于所述目标信息来识别所述目标。
在一些实施例中，生成用于跟踪所识别的目标的所述控制信号可以包括：基于所述UAV、所述载体或所述成像装置的当前配置，来确定是否控制所述UAV、所述载体或所述成像装置。
在一些实施例中，生成用于跟踪所识别的目标的所述控制信号可以包括：检测所述目标与预定配置的偏差，并生成用于基本上校正所述偏差的所述控制信号。
应该理解的是，本发明的不同方面可以单独地、共同地或者彼此组合地被理解。本文描述的本发明的各个方面可以应用于下面阐述的任何特定应用或任何其它类型的可移动和/或静止物体之间的数据通信。
通过阅读说明书、权利要求书和附图，本发明的其它目的和特征将变得显而易见。
附图说明
本发明的新颖特征在所附权利要求中具体阐述。通过参考下面的详细描述及其附图，将更好地理解本发明的特征和优点，所述详细描述中阐述了利用本发明的原理的说明性实施例，所述附图中：
图1示出了根据实施例的跟踪系统的示例。
图2示出了根据实施例的用于跟踪目标的过程的示例。
图3示出了根据实施例的用于基于红外图像和可见图像生成组合图像的过程的示例。
图4示出了根据实施例的用于基于红外图像和可见图像生成组合图像的过程的示例。
图5示出了根据实施例的用于目标识别的过程的示例。
图6示出了根据实施例的用于目标识别的过程的示例。
图7示出了根据实施例的用于目标跟踪的过程的示例。
图8示出了根据实施例的用于维持目标在图像内的预期位置的方法的示例。
图9示出了根据实施例的用于维持目标在图像内的预期位置的示例性方法。
图10示出了根据实施例的可由跟踪应用实现的示例过程1000A和1000B。
图11示出了根据实施例的包括载体和搭载物的可移动物体。
图12是根据实施例的用于控制可移动物体的系统的框图式示意图。
具体实施方式
提供了解决上面讨论的一些或所有问题的用于跟踪目标的系统、设备和方法。具体地，可以更容易地在组合图像中检测和跟踪目标，所述组合图像是基于从由无人飞行器(UAV)经由载体携带的成像装置所获得的红外图像和可见图像而生成的。组合图像包含来自可见图像的特征，这些特征在红外图像中可能不容易检测，从而结合了红外成像和可见成像两者的优点。组合图像可以由一个或多个处理器用于识别目标。可以使用对图像中的目标的识别来生成用于在后续图像中跟踪目标的控制信号。例如，控制信号可以用于控制UAV、载体和/或成像装置。
图1示出了根据实施例的跟踪系统100的示例。跟踪系统可以被配置为：获得基于红外图像和可见图像两者所生成的组合图像，识别这些组合图像中的目标，并生成用于跟踪目标的控制信号。在一些实施例中，跟踪系统100可以包括成像模块106、跟踪模块114、飞行控制器118和载体控制器116、以及可选的跟踪应用120。成像模块106、跟踪模块114、飞行控制器118和载体控制器116可以装载在UAV 102上。跟踪应用120可以在相对于UAV 102远程但与UAV 102通信的终端装置104上实现。这种终端装置104的示例可以包括遥控器、基站、服务器计算机、膝上型计算机、平板电脑、智能电话、可穿戴设备(例如，头盔、眼镜/护目镜、腕带)等。
成像模块106可以被配置为捕获红外图像和可见图像两者并生成组合图像。成像模块106可以包括红外成像模块(或红外模块)108、可见成像模块(或可见模块)110和融合模块112。红外模块108可以被配置为基于红外辐射(例如，具有700nm和1mm之间的波长)来检测和形成图像。例如，红外模块108可以被配置为输出表示一帧或多帧红外图像的数据(红外图像数据、红外数据、红外数据流或红外比特流)。可见模块110可以被配置为基于可见光(例如，具有400nm和700nm之间的波长)来检测和形成图像。例如，可见模块110可以被配置为输出表示一帧或多帧可见图像的数据(可见图像数据、可见数据、可见图像流或可见比特流)。
红外模块108和可见模块110可以分别由单独的红外相机和单独的可见相机实现。例如，红外模块108和可见模块110均可以包括在单独的壳体中。在另一示例中，红外模块108或可见模块110可以由作为较大成像装置(例如，双光相机)的一部分的组件实现，该较大成像装置包括红外模块108和可见模块110两者。例如，红外模块108和可见模块110可以共同位于同一壳体中。
在一些实施例中，红外模块108和可见模块110可以被配置为捕获具有重叠视场(FOV)的图像。在一些示例中，可见模块110的FOV可以覆盖红外模块108的FOV的约10％、20％、30％、40％、50％、60％、70％、80％、90％或100％。在一些其他示例中，红外模块108的FOV可以覆盖可见模块110的FOV的约10％、20％、30％、40％、50％、60％、70％、80％、90％或100％。
在一些实施例中，红外模块108和可见模块110可以被配置为基本上同时捕获图像。例如，红外模块108和可见模块110可以被配置为分别在彼此的0.001秒、0.01秒或0.1秒内开始检测红外辐射和可见光。例如，红外模块108和可见模块110可以共享共同的相机设置(例如，开/关控制、快门、缩放)和/或不同的相机设置。因此，在一些实施例中，由红外模块108产生的红外图像流中的红外图像在由可见模块110产生的可见图像流中具有对应的可见图像。可以在与对应的可见图像大致相同的时间捕获或生成红外图像。在一些其他实施例中，可以在不同的时间点捕获和/或生成红外图像和对应的可见图像。
在一些实施例中，红外模块108和/或可见模块110可以被配置为提供由其各自的图像传感器或传感器阵列(例如，CMOS传感器、CCD传感器、焦平面阵列(FPA))输出的原始图像数据。在一些其他实施例中，红外模块108和/或可见模块110可以被配置为预处理由它们各自的图像传感器输出的原始图像数据。这种预处理操作的示例可以包括滤波(或颜色校正)、重新采样、降噪、比例缩放、增强、变换等。在一些其他实施例中，红外模块108和/或可见模块110可以被配置为执行更复杂的图像处理操作，诸如分类、特征提取、图案识别、面部识别、图像配准等。
融合模块112可以被配置为组合来自红外模块108的红外图像数据和来自可见模块110的可见图像数据，以生成组合图像数据。例如，可以处理来自红外图像流的每个红外图像帧和来自可见图像流的对应可见图像帧，以生成组合图像流中的组合帧。
在一些实施例中，融合模块112可以被配置为执行以上关于红外模块108和可见模块110讨论的一些或全部操作。例如，融合模块112可以被配置为从红外图像和/或可见图像提取特征或执行红外图像和/或可见图像的变换。来自红外图像的提取特征(红外特征)和来自可见图像的提取特征(可见特征)可以用于匹配或对准红外图像和可见图像。基于红外图像和可见图像的匹配或对准，可以将可见图像的一些或所有提取的特征应用于红外图像以生成组合图像。在一些其他实施例中，可以将红外图像的一些或所有提取的特征应用于可见图像以生成组合图像。在图3至图4的讨论中提供了用于生成组合图像的进一步细节。
成像模块106可以被配置为将组合图像提供给跟踪模块114并且可选地提供给跟踪应用(APP)120。跟踪模块114可以被配置为：从成像模块106接收组合图像，识别组合图像内的一个或多个目标物体，并通过控制UAV、载体和/或成像装置来跟踪识别的目标物体。成像装置可以包括成像模块106或包括在成像模块106中。
跟踪模块114可以被配置为基于目标信息识别目标物体。目标信息可以描述图像中特定目标的特征，包括颜色、纹理、图案、大小、形状、尺寸、位置等。可以从先前获得的组合图像中提取目标信息。例如，跟踪模块114可以分析图像的目标区域以提取诸如图案、边界、边缘等的目标特征。所提取的目标特征可以由跟踪模块114存储(例如，存储到装载在UAV 102上的本地存储设备中)，以便于在后续图像中识别目标。
目标信息也可以从远程用户或装置获得。例如，用户可以例如使用跟踪应用120指定要跟踪的目标的一般特征(例如，颜色、图案)，然后将这样的指定提供给跟踪模块114。作为另一示例，可以从远程装置或远程数据存储设备取回目标信息。在一些示例中，可以从装载在UAV 102上的本地存储设备取回目标信息。在图5至图6的讨论中提供了用于目标识别的进一步细节。
在使用目标信息识别组合图像中的目标之后，跟踪模块114可以被配置为检测目标与预定配置(例如预定目标位置或预定目标大小)的偏差。例如，预定配置可以包括先前图像中的目标的先前配置(诸如先前目标位置或先前目标大小)。备选地或另外地，预定配置可以包括预定义配置，诸如预定义目标位置(例如，中心)或预定义目标大小(例如，像素数量)。预定义配置可以默认设置或由用户或系统管理员(例如，使用跟踪应用120)指定。
跟踪模块114可以使用目标与预定配置的偏差来为被配置为控制UAV的飞行控制器118和/或被配置为控制载体的载体控制器116生成控制信号。控制信号可以用于实现UAV和/或载体的移动，以便实现成像装置的移动，并最终导致目标与预定配置的偏差的后续减小。在图7至图9的讨论中提供了用于生成控制信号的进一步细节。
跟踪系统100可以可选地包括在远程终端104上安装和运行的跟踪应用120。跟踪应用120可以被配置为直接地或间接地从成像模块106接收图像数据。图像数据可以包括红外图像(例如，红外图像流)、可见图像(例如，可见图像流)和/或组合图像(例如，组合图像流)。跟踪应用120可以被配置为在终端104的显示器上显示接收的图像。在一个示例中，跟踪应用120提供用于切换显示器的用户界面，以显示用于显示的三种不同类型的图像(红外图像、可见图像和组合图像)。跟踪应用120可以允许用户在显示的图像上选择目标区域或目标物体。例如，用户可以使用手指或触控笔来在显示有组合图像的触摸屏上轻击或圈出目标区域。
包括所选目标区域或物体的坐标和/或边界在内的目标信息可以由跟踪应用120收集，并发送到跟踪模块114。使用来自跟踪应用120的目标信息和从成像模块106接收的图像数据，跟踪模块114可以分析所选择的目标区域以提取对跟踪目的有用的目标特征。跟踪模块114还可以被配置为发送更新的目标信息，并且跟踪应用120可以被配置为接收更新的目标信息，诸如在后续图像中识别的更新的目标位置和/或大小。在接收到这样的更新的目标信息时，跟踪应用120可以被配置为与从成像模块106接收的对应的组合图像一起显示目标指示符或跟踪指示符(例如，有界框)，使得用户可以跟踪图像中的目标。在图10的讨论中提供了跟踪应用120的进一步细节。
图2示出了根据实施例的用于跟踪目标的过程200的示例。过程200(或本文描述的任何其他过程、或其变型和/或组合)的一些或全部方面可以由装载在UAV上的一个或多个处理器、UAV的搭载物(例如，成像装置)和/或远程终端执行。过程200(或本文描述的任何其他过程、或其变型和/或其组合)的一些或全部方面可以在配置有可执行指令的一个或多个计算机/控制系统的控制下执行，并且可以实施为通过硬件或其组合在一个或多个处理器上集体执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)。代码可以例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式存储在计算机可读存储介质上。计算机可读存储介质可以是非暂时性的。描述操作的顺序不意图被解释为限制，并且任何数量的所描述的操作可以以任何顺序和/或并行地组合以实施过程。
在框202处，获得红外图像和可见图像。红外图像或可见图像可以包括由红外传感器或传感器阵列获得的一系列图像帧中的图像帧。红外图像和可见图像可以通过图1中描述的成像系统106获得。成像系统106可以包括能够捕获红外图像和可见图像两者的单个成像装置。备选地，红外图像和可见图像可以由单独的成像装置捕获。成像装置可以由耦合到UAV 102的载体携带，如本文其他地方所述。载体可以由载体控制器116控制，以允许成像装置沿着一个轴、两个轴或三个轴和/或围绕一个轴、两个轴或三个轴移动。
在框204处，基于红外图像和可见图像获得组合图像。在一些实施例中，红外图像和可见图像彼此匹配，然后利用从可见图像提取的附加特征(例如，边缘)来增强或加强红外图像以生成组合图像。与单独的红外图像或可见图像相比，组合图像提供了更多细节和特征，因此允许更有效的目标跟踪。在图3至图4的讨论中提供了用于生成组合图像的进一步细节。
在框206处，识别组合图像中的目标。目标的识别可以基于用户提供的信息和/或先前的图像处理结果。例如，可以基于用户对远程终端上显示的图像上的目标区域的选择，从远程终端获得关于目标的信息(诸如目标在图像内的坐标和/或尺寸)。在一些实施例中，对目标区域的选择可以通过自动或半自动过程来执行。例如，该过程可以基于预定义标准选择目标区域。可以分析目标区域以提取进一步的目标信息，例如颜色、纹理、图案、线、点和其他对于识别图像中的目标有用的特征。在一些实施例中，可以使用由第一图像的处理产生的目标信息(例如，使用各种分类和图案识别技术)来识别第二图像中的目标。在图5至图6的讨论中提供了用于目标识别的进一步细节。
在框208处，生成控制信号以跟踪目标。在一个实施例中，可以通过分析一系列组合图像来检测目标的移动。基于目标的移动，可以计算用于跟踪目标的成像装置的FOV的对应移动。为了实现成像装置的FOV的移动，可以计算UAV和/或载体的对应移动，并且可以使用合适的控制参数和动态模型生成用于实现UAV和/或载体的这种移动的控制信号。在一些示例中，可以生成用于成像装置的控制信号(例如，放大/缩小)以实现成像装置的FOV的移动。在图7至图9的讨论中提供了用于跟踪控制的进一步细节。在一些实施例中，随着附加的红外图像和可见图像变得可用，可以继续执行目标跟踪过程200。
图3示出了根据实施例的用于基于红外图像和可见图像生成组合图像的过程300的示例。
在框302处，处理红外图像以提取红外图像特征(红外特征)。红外图像可以从红外传感器或传感器阵列获得，红外传感器或传感器阵列可以是图1中讨论的红外模块108的一部分。在一些实施例中，可以预处理所获得的红外图像。例如，可以将彩色红外图像转换为灰度图像和/或使用一个或多个滤波器对彩色红外图像进行滤波。附加地或备选地，预处理红外图像可以包括将边缘检测技术应用于红外图像以获得边缘图(或二进制图(binarymap))。
在一些实施例中，可以将形态学操作应用于预处理后的红外图像(例如，灰度图像或二进制图)，例如用来减少次要或无意义的特征(例如，小物体、没有明显边缘或边界的区域)，同时保留主要或突出的特征。这种形态学操作的示例可以包括扩张、侵蚀、打开、闭合、变薄、增厚等。
在一些实施例中，可以将图像分段技术应用于红外图像，以将图像分割成合起来覆盖整个图像的一组片段或者提取一组轮廓。相同区域中的像素在某种特性(例如颜色、强度、纹理等)方面是相似的；而相邻区域在相同特征方面是不同的。在一些实施例中，图像分段可以包括对显著区域进行检测和分段，以便保留显著的目标区域。例如，可以使用机器学习技术(例如，神经网络、深度学习)来生成显著性图。
在一些实施例中，图像分段可以包括从红外图像中提取外轮廓或边界。在一个示例中，例如，在形态学操作和显著性相关操作之后保留最突出的特征。可以过滤被连接的区域的内轮廓的边缘，同时保留主要的外轮廓或边界的边缘。由于内部区域的温度的相似性，红外图像通常缺少关于内轮廓边缘的信息。因此，为了在红外图像和可见图像之间进行更有效的特征匹配(下面描述)，滤除或去除红外图像和可见图像中的内轮廓信息可以是有用的。这样做还可以减少图像的纹理和图案信息，提高检测率(例如，使用Hu不变量矩的检测率)，并降低计算复杂度。
在框304处，处理可见图像以提取可见图像特征(可见特征)。在一些实施例中，检测并提取可见图像的一些或全部外轮廓。可选地，所提取的特征可以包括其他特征，诸如内轮廓、边缘、拐角、曲率、线、形状、斑点、显著区域等。可以使用任何合适的特征识别(例如，面部识别)和特征提取技术。
在框306处，基于提取的特征来匹配红外图像和可见图像。在一些实施例中，可以匹配上面的框302中的从红外图像提取的外轮廓和上面的框304中的从可见图像提取的外轮廓。例如，对于每个红外轮廓，可以寻找可见图像中的对应或匹配的可见轮廓。在一些实施例中，可以应用多个轮廓匹配算法，并且可以对相应的结果进行加权和组合以导出最终的轮廓匹配结果。例如，第一轮廓匹配算法可以利用Hu不变量矩(例如，关于平移、缩放和旋转的不变量)。第二轮廓匹配算法可以利用模板匹配。可以对应用第一轮廓匹配算法的第一结果和应用第二轮廓算法的第二结果分别指定合适的权重。然后，可以(例如，线性地或非线性地)组合加权的第一结果和加权的第二结果以导出最终匹配结果。匹配结果可以指示红外轮廓和可见轮廓的匹配密切程度。在一些实施例中，匹配结果的值越小，则轮廓匹配越紧密；匹配结果的值越大，则轮廓匹配越不紧密。在备选实施例中，匹配结果的值越大，则轮廓匹配越不紧密；以及反之亦然。
在一些实施例中，可以分别计算匹配轮廓的质心。匹配轮廓的这种质心可以用于对准红外图像和可见图像。例如，可以对可见图像执行平移、旋转、比例缩放和/或其他线性和/或非线性变换，使得变换的可见图像在质心处与红外图像基本上对准。作为另一示例，可以对红外图像执行这样的变换，使得变换的红外图像在质心处与可见图像基本上对准。在各种实施例中，当质心的像素坐标重合或彼此紧密接近(例如，在1像素、2像素、5像素、10像素等内)时，认为两个质心基本上对准。
有利地，与传统的像素级图像匹配或图像融合方法相比，本文描述的轮廓匹配方法提高了效率。外轮廓通常是红外图像的最突出特征。通过仅使用红外图像的外轮廓来找到可见图像中的对应外轮廓，与像素级图像匹配/融合方法的冗余数据和计算量相比，可以减少冗余数据和计算量。另外，红外图像和可见图像可以实时或几乎实时地自动对准而无需人为干预，从而提高了图像对准的速度、精度和成本。
在框308处，将至少一些可见特征应用于红外图像以生成组合图像。在一些实施例中，基于在框306中执行的图像匹配，可以将从可见图像提取的边缘信息应用于红外图像。例如，在如框306所述对准红外图像和可见图像之后，可以将可见图像中的一个或多个边缘添加到红外图像中的对应位置。由于场景中物体的类似温度，这些可见特征可能难以在红外图像中检测到。向红外图像添加这样的可见特征提高了组合图像中的检测率。在一些实施例中，添加附加可见特征的红外图像可以是从图像传感器或传感器阵列获得的原始红外图像、或处理后的红外图像(例如，来自框302)。
在一些实施例中，可以通过一个或多个参数来控制添加到红外图像的可见特征的量和/或强度。参数可以是例如能够由系统管理员或用户配置的。例如，第一参数可以用于控制来自可见图像的要添加到红外图像的边缘的量。参数值越高，则添加的边缘信息越多，反之亦然。在一个示例中，要添加的可见特征(例如，边缘)可以通过其突出度来排序，并且选择最突出的N个特征以进行添加，其中N可由第一参数控制。可以使用相同的参数或第二参数来改变已经选择添加到组合图像的特征的突出度或强度。在一个示例中，参数值越高，则添加的特征可能在红外图像中出现得越强烈或明显。在另一示例中，反之亦然。
在一些实施例中，可以对红外模块和可见模块执行校准(例如，在图像收集之前)，以确保准确和有效的图像处理。在一个示例中，可见模块的透镜组件可以固定地耦合到物体(例如，电路板)，而红外模块的透镜组件可以可移动地耦合到物体，使得红外透镜组件的FOV可以在校准期间被调节。红外透镜组件和可见透镜组件的光学中心优选是同水平的。光学中心之间的基线优选地被配置为允许可见模块的FOV覆盖红外模块的FOV，同时防止或减少FOV之间的干扰。可以执行校准以确定或验证内在参数和/或外在参数。内在参数可以是依赖于硬件配置的任何参数。在一些情况下，可以通过传感器的出厂设置来设置内在参数。内在参数的示例可以包括焦距、比例因子、径向畸变系数和切向畸变系数。外在参数的示例可以包括两个成像模块之间的相对位置、旋转和/或位移。在一些实施例中，可以在捕获和/或处理图像数据之前或期间执行校准。可以在上述过程300中的一个或多个步骤期间使用校准参数。例如，外在参数可以用于在上述框306中匹配可见图像和红外图像。
图4示出了根据实施例的用于基于红外图像和可见图像生成组合图像的过程400的示例。例如，来自多个红外图像帧的红外图像402可以与来自多个可见图像帧的对应可见图像404组合，以生成多个组合图像帧的组合图像406。
如图所示，红外图像402可以具有一个或多个外轮廓408。可见图像404可以具有一个或多个外轮廓410、以及附加特征(诸如目标物体412的附加特征)。目标物体412可以具有与周围环境的温度类似的温度，使得目标物体的特征在红外图像402中不是独特的。
在所示的示例中，红外图像402的外轮廓408和可见图像404的外轮廓410被提取和匹配。例如，红外外轮廓408的质心或几何中心(未示出)可以与可见外轮廓410的质心或几何中心(未示出)匹配。在一些情况下，产生红外图像402的红外成像模块和产生可见图像404的可见成像模块可以彼此以某个相对空间配置(例如，基线位移、相对旋转)设置。在一些实施例中，描述这种配置的校准参数可以被预定，或者在本文讨论的校准步骤期间被确定。除了轮廓的对准之外或代替轮廓的对准，校准参数可以用于使红外图像402和可见图像404对准。例如，与可见图像404相关联的图像数据可以从(例如，与可见图像404相关联的)第一坐标系变换到(例如，与红外图像402相关联的)第二坐标系。作为另一示例，与可见图像402相关联的图像数据可以从(与可见图像404相关联的)第一坐标系变换到第三坐标系，并且与红外图像402相关联的图像数据可以从(与红外图像402相关联的)第二坐标系变换到第三坐标系。
此外，可以将从可见图像404提取的附加特征(例如内部边缘、纹理和图案)添加到红外图像。例如，可以将目标物体412的一些或所有特征添加到红外图像以形成组合图像406。在一些实施例中，要添加的可见特征的程度和/或强度可以是例如通过图3的框308中讨论的参数能够配置的。例如，基于这样的参数，目标物体412的一些可见特征(例如，车身和车轮的轮廓)被添加在组合图像406中，而目标物体412的一些其他特征(例如，车窗的边缘)可以省略。另外，添加的特征可以基于参数的值具有不同的强度水平。
图5示出了根据实施例的用于目标识别的过程500的示例。在一些实施例中，过程500可以由图1中讨论的跟踪模块114执行。
在框502处，基于第一红外图像和第一可见图像获得第一组合图像。可以分别从红外图像流和可见图像流获得第一红外图像和第一可见图像。可以使用与图3至图4中所讨论的过程类似的过程来生成第一组合图像。
在框504处，接收对组合图像中的目标区域的指示。在一些实施例中，组合图像可以被发送到远程终端并显示在远程终端上。操作远程终端的用户可以通过用户界面指示所显示的组合图像上的目标区域。关于这种对目标区域的指示的信息(例如目标区域的像素坐标)可以由远程终端发送并由跟踪模块接收。在一些其他实施例中，对目标区域的指示可以由自动化过程提供。例如，可以通过自动化过程基于一个或多个先前图像中的目标的位置来估计目标区域的坐标。在又一些其他实施例中，可以使用半自动过程，其中将估计的目标区域呈现给用户以进行确认。
在框506处，分析目标区域以提取目标的特征。基于所接收的对目标区域的指示(例如，坐标)，可以提取并详细分析目标区域。可以提取诸如颜色、强度、边缘、拐角、边界、纹理、图案等的特征。提取的特征可以包括诸如线、纹理元素或区域之类的低级特征、诸如边界、表面和体积之类的中间级特征、和/或诸如物体和场景之类的高级特征。提取的特征可以被分类、过滤、比较或以其他方式处理和/或存储以供后续使用。
在框508处，基于第二红外图像和第二可见图像获得第二组合图像。第二红外图像和第二可见图像可以是分别从包含第一红外图像的红外图像流和包含第一可见图像的可见图像流获得的。可以使用与图3至图4中所讨论的过程类似的过程来生成第二组合图像。第一组合图像和第二组合图像可以是组合图像流的一部分。
在框510处，至少部分地基于在框508中提取的目标的特征，在第二组合图像中识别目标。可以将第二组合图像处理为提取的特征。提取的特征可以处于任何合适的抽象水平，例如上面讨论的。可以将第二组合图像分段，例如，分段成显著区域或感兴趣物体。可以使用各种图像识别或图像配准技术(例如，神经网络、深度学习)来对提取的特征进行分类和/或将提取的特征与在框508中提取的那些目标特征进行匹配。在另一示例中，第一组合图像中的目标信息(例如，位置/大小)可以用于限制用于第二组合图像中的图像匹配的搜索空间。
在一些实施例中，第二组合图像中的目标的特征可以用于生成图形目标指示符(也称为跟踪指示符)。例如，可以将目标信息(例如，位置和大小)发送到远程终端，使得当组合图像显示在远程终端上时，图形目标指示符(例如，围绕目标的有界框)可以在组合图像中呈现在目标周围、目标处或目标附近。
图6示出了根据实施例的用于目标识别的过程600的示例。可以从如本文所述的第一红外图像和第一可见图像生成第一组合图像602。第一组合图像602包括来自红外图像的红外特征603和来自可见图像的可见特征604、610。可以接收对目标区域608的指示。目标区域可以包括目标物体(或目标)606。可以详细分析目标区域608以提取目标特征612的集合(其可以包括来自可见图像的目标特征610、从红外图像提取的目标特征和/或从其他源获得的目标特征)。目标特征612可以用于识别另一组合图像614中的目标606。第二组合图像614可以包括来自第二红外图像的红外特征616和来自第二可见图像的可见特征618、620。可以提取第二组合图像614的特征，并将第二组合图像614的特征与先前提取的目标特征612匹配以识别目标606。一旦被识别，则目标606可以由图形目标指示符(跟踪指示符)622指示，图形目标指示符622可以在第二组合图像614中围绕目标606呈现。
图7示出了根据实施例的用于目标跟踪的过程700的示例。
在框702处，基于红外图像和可见图像获得组合图像。可以至少部分地基于本文其他地方时论的轮廓匹配技术来生成组合图像。组合图像可以包括来自红外图像和可见图像两者的特征。
在框704处，在组合图像中识别目标。可以基于与明确识别的目标相关联的目标信息或与尚未识别的目标相关联的目标信息来识别目标。可以从在远程终端上运行的应用提供的用户界面接收初始目标信息。例如，用户可以使用手指、触控笔或任何其他合适的输入设备，触摸或以其他方式选择与用户界面显示的图像上的期望目标相关联的区域，从而与用户界面交互。基于该用户交互，可以确定初始目标信息。在一些其他实施例中，用户界面可以允许用户输入关于尚未识别的目标的信息，例如大小、颜色、纹理等。在一些实施例中，可以使用除用户界面之外的机制来获得初始目标信息。例如，初始目标信息可以由另一设备(例如，对等设备、控制器、服务器)预加载或提供。在一些实施例中，用于识别目标的目标信息可以通过自动或半自动过程提取(例如，基于机器学习算法)。有利地，组合来自红外图像和可见图像两者的特征允许更有效和准确的目标识别，使用纯红外图像或纯可见图像实现这一效果可能是困难的。
在框706处，检测目标与预定目标配置的偏差。一旦识别出目标，就可以确定目标的当前配置(例如，当前位置、当前大小)。可以将当前目标配置与预定目标配置进行比较，以确定是否存在偏差。目标配置可以包括与图像中的目标相关联的任何特性(诸如目标在图像中的位置和/或大小)。在一个示例中，可以使用像素坐标来表示目标位置/大小。预定目标配置(或预期目标信息)可以包括先前定义的(或预定义的)目标配置。预定义的目标配置可以由用户使用任何合适的输入设备(例如，触摸屏、触控笔)利用用户界面(例如，远程终端的用户界面)来指定，或从另一设备接收。或者，可以由系统管理员默认设置预定义的目标配置。备选地或另外地，预定目标配置可以包括例如一个或多个先前图像中的先前目标配置。例如，目标在第一图像中的位置/大小可以用作后续第二图像的预定位置/大小。
在一些实施例中，可以使用一个或多个预定阈值来确定是否存在偏差。例如，当前目标位置与预期目标位置的位移小于阈值像素数A(例如，5个像素)时，可以不认为是目标位置的偏差。仅当位移等于或大于预定阈值A时，才认为该位移是偏差。类似地，大小从预期目标大小改变小于阈值像素数B(例如，10个像素)时，可以不认为是目标大小的偏差。仅当改变等于或大于预定阈值B时，才认为该改变是偏差。
在块708处，生成一个或多个控制信号以基本上(substantially)校正偏差。偏差的校正包括不再存在任何偏差的完全校正、或者使偏差减小的部分校正。控制信号可以用于(直接地或间接地)引起成像装置或成像模块相对于一个或多个轴的姿势变化，该成像装置或成像模块用于生成红外图像和/或可见图像。例如，控制信号可以使UAV和/或载体相对于一个或多个轴移动。例如，控制信号被配置为：设定或改变相对于偏航轴的角速度或角加速度以校正水平位移，和/或设定或改变相对于俯仰轴的角速度或角加速度以校正垂直位移。
附加地或备选地，控制信号可以被配置为调节成像模块的一个或多个成像参数，所述一个或多个成像参数可以包括焦距、缩放水平、图像模式、图像分辨率、景深、曝光、镜头速度、视野等。在一些实施例中，成像参数的改变可以应用于红外图像生成和可见图像生成两者。例如，如果检测到与预期目标大小的偏差，则可以增大或减小红外模块的缩放和可见模块的缩放，以调节目标在后续图像中的大小。在一些其他实施例中，成像参数可以应用于红外模块和可见模块中的一个而不是两个。
在一些实施例中，生成控制信号包括：基于UAV、载体和/或成像装置的当前配置或约束来确定是否移动UAV、载体、成像装置或其任何组合。例如，当前配置或约束可以限制载体相对于特定轴的移动(例如，两轴载体缺少第三自由轴)。在这种情况下，可以生成控制信号以移动UAV以补偿这种限制。作为另一示例，UAV可以被配置为执行UAV不能偏离的固定任务或飞行路径。在这种情况下，替代补偿UAV的这种限制，可以生成控制信号以移动载体和/或成像装置(例如，放大/缩小)。
在一些实施例中，控制信号可以由装载在UAV上的一个或多个处理器生成并提供给飞行控制器(用于控制UAV)、载体控制器(用于控制载体)和/或成像模块/装置。在控制信号由远程装置(例如，远程终端)生成的一些其他实施例中，控制信号可以经由通信模块发送到UAV。可以经由有线连接或无线连接(例如，蓝牙、Wifi、NFC)发送控制信号。
可选地，可以确定是否继续跟踪。在一些实施例中，该确定可以基于经由用户界面的用户输入。例如，用户可以通过触摸用户界面上的“停止”按钮或类似控件或通过控制器(例如，耦合到载体的基部支撑件)来指示要终止跟踪。否则，在后续图像中继续跟踪目标。附加地或备选地，该确定可以基于在当前图像中是否检测到目标。如果不再检测到目标，则可以停止跟踪。否则，在后续图像中继续跟踪目标。在一些情况下，用户还可以指示是否改变跟踪目标(例如，通过在显示器上触摸或选择不同物体并选择“开始”或类似控件)。如果要跟踪不同的目标，则对如本文所述新选择的目标开始跟踪。
图8示出了根据实施例的用于维持目标在图像800内的预期位置的方法的示例。图像800可以是使用本文描述的技术基于红外图像和可见图像生成的组合图像。图像800可以由耦合到载体的成像搭载物生成，该载体允许搭载物相对于载体相对于多达三个自由轴移动，如本文所述。载体可以耦合到诸如UAV之类的可移动物体。假定图像具有W像素的宽度和H像素的高度(其中W和H是正整数)。图像内的位置可以由沿着水平轴801(沿着图像的宽度)和垂直轴803(沿着图像的高度)的一对坐标定义，其中图像的左上角具有坐标(0，0)，并且图像的右下角具有坐标(W，H)。
假定图像800中所捕捉的目标位于位置P(u，v)802处，并且目标的预期位置是不同于P 802的P0(u0，v0)804。在一些实施例中，目标的预期位置P0(u0，v0)可以靠近图像的中心，使得u0＝W/2和/或v0＝H/2。在其他实施例中，目标的预期位置可以位于图像内的任何其他地方(例如偏离中心)。在各种实施例中，目标的预期位置可以与或不与目标的初始位置相同。假定当前位置P偏离预期位置P0，使得该偏差超过预定阈值(例如由距u0的Δx和距v0的Δy表示)，则需要进行调节以将目标位置从P调节至靠近预期位置P0。
在一些实施例中，可以使用与预期目标位置的偏差来导出成像装置(例如，图像传感器)的视野围绕一个或多个轴旋转的一个或多个角速度。例如，可以使用沿着图像的水平轴801(例如，u和u0之间)的偏差来导出成像装置的视野围绕Y(偏航)轴806旋转的角速度ωY812，如下所示：
成像装置的视野围绕Y轴的旋转可以通过可移动物体的旋转、搭载物(经由载体)相对于可移动物体的旋转、或者两者的组合来实现。在一些实施例中，当对可移动物体的调节是不可行的或不可取的时(例如，当可移动物体的导航路径是预定的时)，可以选择对搭载物的调节。在等式(1)中，α是可以基于可移动物体的配置(例如，当由可移动物体实现旋转时)、载体的配置(例如，当由载体实现旋转时)或者这两者(例如，当由可移动物体和载体的组合实现旋转时)所预定义和/或校准的常数。在一些实施例中，α大于零(α＞0)。在其他实施例中，α可以不大于零(α≤0)。在一些实施例中，α可以用于将所计算的像素值映射到用于控制围绕特定轴(例如，偏航轴)的角速度的对应的控制杆量或灵敏度。通常，控制杆可以用于控制可控物体(例如载体或UAV)的角度移动或线性移动。更大的控制杆量对应于更高的灵敏度和更高的速度(针对角度或线性移动)。在一些实施例中，控制杆量或其范围可以由UAV的飞行控制系统的配置参数确定，或者由载体的控制系统的配置参数确定。控制杆量的范围的上限和下限可以包括任意数量。例如，对于一个飞行控制系统，控制杆量的范围可以是(1000，-1000)，并且对于另一飞行控制系统，控制杆量的范围可以是(-1000，1000)。
例如，假定图像的宽度为W＝1024像素，高度为H＝768像素。因此，图像的大小是1024*768。进一步假定目标的预期位置具有u0＝512。因此，(u-u0)∈(-512，512)。假定围绕偏航轴的控制杆量的范围是(-1000，1000)，则最大控制杆量或最大灵敏度是1000并且α＝1000/512。因此，α的值可受成像装置提供的图像分辨率或大小、控制杆量的范围(例如，围绕特定旋转轴)、最大控制杆量或最大灵敏度和/或其他因素的影响。
例如，当通过可移动物体相对于图8的Y轴806的旋转来实现旋转时，视场的总角速度ωY表示为可移动物体的角速度ωY1：
在等式(2)中，α1是基于可移动物体的配置所定义的常数。在一些实施例中，α1大于零(α1＞0)。α1可以类似于上面讨论的α来定义。例如，可以基于图像分辨率或大小和/或可移动物体的控制杆量的范围(例如，围绕偏航轴)来定义α1的值。
类似地，当通过搭载物(例如，经由载体)相对于可移动物体相对于图6的Y轴806的旋转来实现旋转时，视场的总角速度ωY表示为搭载物相对于可移动物体的角速度ωY2：
在等式(3)中，α2是基于载体和/搭载物的配置所定义的常数。在一些实施例中，α2大于零(α2＞0)。α2可以类似于上面讨论的α来定义。例如，可以基于图像分辨率或大小和/或载体的控制杆量范围(例如，围绕偏航轴)来定义α2的值。
通常，视野围绕Y(偏航)轴806的角速度可以表示为可移动物体的角速度ωY1和搭载物相对于可移动物体的角速度ωY2的组合，例如下式：
ωY＝ωY1+ωY2 (4)
在等式(4)中，ωY1或ωY2可以为零。
如本文所示，围绕Y(偏航)轴的旋转的方向可以取决于u-u0的符号。例如，如果预期位置位于实际位置的右侧(如图8所示)，则u-u0＜0，并且视野需要围绕偏航轴806以逆时针方式旋转(例如，左转)，以便把目标带到预期位置。另一方面，如果预期位置位于实际位置的左侧，则u-u0＞0，并且视野需要围绕偏航轴806以顺时针方式旋转(例如，右转)，以便把目标带到预期位置。
如本文所示，围绕给定轴(例如Y(偏航)轴)的转速(例如，角速度的绝对值)可以取决于目标的预期位置与实际位置之间的沿轴的距离(即，|u-u0|)。距离越远，转速越快。类似地，距离越近，转速越慢。当预期位置与目标沿轴的位置一致时(例如，u＝u0)，则绕轴的转速为零，并且旋转停止。
如上所述的用于调节预期目标位置和实际目标位置沿着水平轴801的偏差的方法可以以类似的方式应用，以校正目标沿另一轴803的偏差。例如，可以使用沿图像的垂直轴803(例如，v和v0之间)的偏差来导出成像装置的视野围绕X(俯仰)轴808的角速度ωX 814，如下所示：
成像装置的视野围绕X轴的旋转可以通过可移动物体的旋转、搭载物(经由载体)相对于可移动物体的旋转、或者两者的组合来实现。在此，在等式(5)中，β是可以基于可移动物体的配置(例如，当由可移动物体实现旋转时)、载体的配置(例如，当由载体实现旋转时)或者这两者(例如，当由可移动物体和载体的组合实现旋转时)所预定义和/或校准的常数。在一些实施例中，β大于零(β＞0)。在其他实施例中，β可以不大于零(β≤0)。在一些实施例中，β可以用于将所计算的像素值映射到用于控制围绕特定轴(例如，俯仰轴)的角速度的对应的控制杆量。通常，控制杆可以用于控制可控物体(例如，UAV或载体)的角度移动或线性移动。更大的控制杆量对应于更高的灵敏度和更高的速度(针对角度或线性移动)。在一些实施例中，控制杆量或其范围可以由UAV的飞行控制系统的配置参数确定，或者由载体的载体控制系统的配置参数确定。控制杆量的范围的上限和下限可以包括任意数量。例如，对于一个控制系统(例如，飞行控制系统或载体控制系统)，控制杆量的范围可以是(1000，-1000)，对于另一个控制系统，控制杆量的范围可以是(-1000，1000)。
例如，假定图像的宽度为W＝1024像素，高度为H＝768像素。因此，图像的大小是1024*768。进一步假定目标的预期位置具有v0＝384。因此，(v-v0)∈(-384，384)。假定围绕俯仰轴的控制杆量的范围是(-1000，1000)，则最大控制杆量或最大灵敏度是1000并且β＝1000/384。因此，β的值可受成像装置提供的图像分辨率或大小、控制杆量的范围(例如，围绕特定旋转轴)、最大控制杆量或最大灵敏度和/或其他因素的影响。
例如，当通过可移动物体相对于轴X 808的旋转来实现旋转时，视场的角速度ωX表示为可移动物体的角速度ωX1：
在等式(6)中，β1是基于可移动物体的配置所定义的常数。在一些实施例中，β1大于零(β1＞0)。β1可以类似于上面讨论的β来定义。例如，可以基于图像分辨率或大小和/或可移动物体的控制杆量的范围(例如，围绕俯仰轴)来定义β1的值。
类似地，当通过搭载物(例如，经由载体)相对于可移动物体相对于轴X 808的旋转来实现旋转时，视场的角速度ωX表示为搭载物相对于可移动物体的角速度ωX2：
在等式(7)中，β2是基于载体和/或搭载物的配置所定义的常数。在一些实施例中，β2大于零(β2＞0)。β2可以类似于上面讨论的β来定义。例如，可以基于图像分辨率或大小和/或可移动物体的控制杆量的范围(例如，围绕俯仰轴)来定义β2的值。
通常，围绕X(俯仰)轴808的视野的角速度可以表示为可移动物体的角速度ωX1和搭载物相对于可移动物体的角速度ωX2的组合，例如下式：
ωX＝ωX1+ωX2 (8)
在等式(8)中，ωX1或ωX2可以为零。
如本文所示，围绕X(偏航)轴的旋转的方向可以取决于v-v0的符号。例如，如果预期位置位于实际位置的上侧(如图8所示)，则v-v0＞0，视野需要围绕俯仰轴808以顺时针方式旋转(例如，下转)，以便把目标带到预期位置。另一方面，如果预期位置位于实际位置的下侧，则v-v0＜0，视野需要围绕俯仰轴808以逆时针方式旋转(例如，上转)，以便把目标带到预期位置。
如本文所示，转速(例如，角速度的绝对值)取决于目标的预期位置与实际位置之间的沿给定轴(例如，X(俯仰)轴)的距离(例如，|v-v0|)。距离越远，转速越快。距离越近，转速越慢。当预期位置与目标的位置一致(例如，v＝v0)时，转速为零，旋转停止。
在一些实施例中，如上所计算的角速度的值可以由系统的各种限制进行约束或修改。这样的约束可以包括可移动物体和/或成像装置可以实现的最大和/或最小速度、可移动物体和/或载体的控制系统的控制杆量的范围或者最大控制杆量或最大灵敏度等。例如，转速可以是所计算的转速和最大允许速度中的最小值。
在一些实施例中，当需要根据本文描述的约束修改所计算的角速度时，可以提供警告指示符。这种警告指示符的示例可以包括文本的、音频的(例如，警笛或嘟嘟声)、视觉的(例如，某种颜色的光或闪光)、机械的和任何其他合适类型的信号。这种警告指示符可以由可移动物体、载体、搭载物或其部件直接提供。备选地或另外地，警告指示符可以由控制终端(例如，经由显示器)提供。在后一种情况下，控制终端可以基于来自可移动物体的信号提供警告指示符。
图9示出根据实施例的用于保持目标的预期大小的示例性跟踪方法。示例性图像800可以是由可移动物体携带的成像装置捕获的组合图像。假定图像900捕获目标902。目标在图像内的实际大小可以是s像素(例如，计算为目标宽度和目标高度的乘积)。预期目标大小S可以比实际大小s更小(例如，预期目标可以由904表示，并且S＝s0)或更大(例如，预期目标可以由905表示，并且S＝s1)。目标的预期大小可以与目标的初始大小(例如，由控制终端提供)相同或不同。假定当前大小s偏离预期大小s0或s1，使得偏差超过预定阈值(例如预定义的Δs像素)，则需要进行调节以使目标大小接近预期大小s0或S1。
虽然图像和目标的显示区域被显示为矩形，但是这仅是为了说明的目的，而不是限制性的。图像和/或目标的显示区域在各种实施例中可以是任何合适的形状，例如圆形、椭圆形、多边形等。同样，虽然本文所讨论的区域以像素表示，但这仅用于说明的目的，而不是限制性的。在其他实施例中，区域可以以任何合适的单位(例如兆像素、mm2、cm2、inch2等)表示。
在一些实施例中，与预期目标大小的偏差可以用于导出可移动物体和/或成像装置沿一个或多个轴的一个或多个线速度。例如，可以使用实际目标大小s与预期目标大小S(例如，S＝s0或s1)之间的目标大小的偏差来确定用于沿着Z(横滚)轴710移动可移动物体的线速度V，如下所示：
在等式(9)中，δ是基于可移动物体或可以使视野朝向和/或远离目标移动的任何合适的可控物体(例如载体)的配置所定义的常数。在一些实施例中，δ大于零(δ＞0)。在其他实施例中，δ可以不大于零(δ≤0)。在一些实施例中，δ可以用于将所计算的像素值映射到用于控制线速度的对应的控制杆量或灵敏度。
通常，V表示可移动物体朝向或远离目标的速度。速度矢量从UAV指向目标。如果目标的实际大小小于预期大小S，则V＞0并且可移动物体朝向目标移动，以便增加在图像中捕获的目标的大小。另一方面，如果目标的实际大小s大于预期大小S，则V＜0并且可移动物体远离目标移动，以便减小在图像中捕获的目标的大小。
例如，假定图像的宽度为W＝1024像素，高度为H＝768像素。因此，图像的大小是1024*768。假定用于控制线速度的控制杆量的范围是(-1000，1000)。在一个示例性实施例中，当s/S＝3时δ＝-1000，以及当s/S＝1/3时δ＝1000。
在一些实施例中，如上所计算的速度的值可以由系统的各种限制进行约束或修改。这样的约束可以包括可移动物体和/或成像装置可以实现的最大和/或最小速度、可移动物体和/或载体的控制系统的最大灵敏度等。例如，可移动物体的速度可以是所计算的速度和最大允许速度中的最小值。
备选地或附加地，可以使用实际目标大小与预期目标大小之间的偏差来导出对成像装置的操作参数(例如缩放水平或焦距)的调节，以校正偏差。当无法进行或者不希望进行可移动物体的调节时(例如，当可移动物体的导航路径是预定的时)，会需要对成像装置进行这种调节。示例性的焦距调节F可以表示如下：
其中γ是基于成像装置的配置定义的常数。在一些实施例中，γ大于零(γ＞0)。在其他实施例中，γ不大于零(γ≤0)。γ的值可以基于镜头和/或成像装置的类型来定义。
如果目标的实际大小s小于预期大小S，则F＞0并且焦距增加|F|，以便增加在图像中捕获的目标的大小。另一方面，如果目标的实际大小s大于预期大小S，则F＜0并且焦距减小|F|，以便减小在图像中捕获的目标的大小。例如，在一个示例中，γ＝10。这意味着，例如，当目标的实际大小是预期大小S的大小的两倍时，焦距应相应地减小10mm(即，F＝10*(1-2/1)＝-10)，反之亦然。
在一些实施例中，对成像装置的操作参数(例如焦距)的调节可以由系统的各种约束进行约束或修改。这样的约束可以包括例如可以由成像装置实现的最大焦距和/或最小焦距。例如，假定焦距范围是(20mm，58mm)。进一步假定初始焦距是40mm。那么当s＞S时，焦距应按等式(10)减小；以及当s＜S时，焦距应按等式(10)增大。然而，这样的调节受到焦距范围的下限和上限(例如，20mm到58mm)的限制。换句话说，调节后的焦距应不小于最小焦距(例如，20mm)且不大于最大焦距(例如，58mm)。
如上面在图8中所讨论的，当根据本文描述的约束修改所计算的调节(例如，可移动物体的线速度或焦距)时，可以提供警告指示符。这种警告指示符的示例可以包括文本的、音频的(例如，警笛或嘟嘟声)、视觉的(例如，某种颜色的光或闪光)、机械的和任何其他合适类型的信号。这种警告指示符可以由可移动物体、载体、搭载物或其部件直接提供。备选地或另外地，警告指示符可以由控制终端(例如，经由显示器)提供。在后一种情况下，控制终端可以基于来自可移动物体的信号提供警告指示符。
图10示出了根据实施例的可以由跟踪应用实现的示例过程1000A和1000B。跟踪应用可以类似于图1中描述的跟踪应用120。跟踪应用可以被配置为在远程终端(例如，遥控器、智能手机、平板电脑或可穿戴设备)上运行。
从过程1000A开始。在框1002处，接收基于红外图像和可见图像的组合图像。可以使用本文描述的成像匹配技术来生成组合图像。例如，可以通过至少部分地基于红外图像和可见图像之间的轮廓匹配将来自可见图像的特征(例如，内边缘)应用到红外图像，从而生成组合图像。可以直接地或间接地从远程UAV接收组合图像。在一些实施例中，还可以接收红外图像和/或可见图像。
在框1004处，显示组合图像。组合图像可以显示在远程终端的显示器上。在一些实施例中，仅显示组合图像。在一些其他实施例中，可以同时显示多种类型的图像(例如，组合的红外图像、组合的可见图像、或所有三种类型的图像)。在一些其他实施例中，可以切换显示以显示不同类型的图像。例如，可以为用户提供用户界面以在红外模式(仅显示红外图像)、可见模式(仅显示可见图像)和组合模式(显示组合图像)之间切换显示。
在框1006处，接收对组合图像上的目标区域的选择。在一些实施例中，跟踪应用可以使用户能够从正显示的一个或多个图像中选择目标。例如，用户可以通过使用手指或触控笔直接触摸屏幕、或使用鼠标或操纵杆选择来选择目标。用户可以在目标周围绘图，触摸图像中的目标，或以其他方式选择目标。基于用户输入，可以确定目标区域的边界。在一些情况下，可以选择不止一个目标。在一些实施例中，选定的目标显示有选择指示符，以指示用户已选择目标用于跟踪。在一些实施例中，还可以允许用户输入或选择目标类型信息(例如颜色、纹理、形状、尺寸或与期望目标相关联的其他特征)。例如，用户可以键入目标类型信息，使用图形用户界面选择这样的信息，或者使用任何其他合适的方法。在一些其他实施例中，目标信息可以从除用户之外的源(诸如远程或本地数据存储)、可操作地连接到远程终端或以其他方式与远程终端通信的其他计算设备等获得。
在框1008处，发送目标信息。可以将目标信息发送到诸如UAV之类的远程可移动物体以用于跟踪目的。可以基于对目标区域的选择来生成目标信息。目标信息可以包括在框1006中选择的目标区域的位置和/或边界(例如，使用像素坐标和/或像素计数)。在一些实施例中，可以发送附加目标信息。这样的附加目标信息可以由用户经由用户界面提供。附加地或备选地，可以在远程终端本地处理目标区域以提取某些目标特征，并且可以将这样提取的目标特征作为目标信息的一部分来发送。在一些实施例中，目标信息还可以包括预定的预期目标配置，该预定的预期目标配置指定预期目标位置、大小或其他特征。可以(例如，由跟踪模块)使用这种预期目标配置来检测任何偏差，并且检测到的偏差可以用于生成控制信号，如本文所述。
转向过程1000B。在框1010处，接收基于红外图像和可见图像的组合图像。可以使用本文描述的成像匹配技术来生成组合图像。可以直接地或间接地从远程UAV接收组合图像。
在框1012处，接收跟踪信息。可以直接地或间接地从远程UAV接收跟踪信息。跟踪信息可以指示在框1010中接收的组合图像中的跟踪目标的位置、大小或边界。例如，跟踪信息可以包括目标周围的边界的像素坐标、目标覆盖的一个或多个点的像素坐标等。跟踪信息可以从本文描述的目标识别(例如，由跟踪模块执行)得出。
在框1014处，在组合图像中显示跟踪指示符。可以针对基于跟踪信息识别的一个或多个目标中的每一个显示图形目标指示符(跟踪指示符)。这种图形目标指示符的示例可以包括有界框或任何其他几何形状、箭头、突出显示区域等。
其它变型也在本公开的范围之内。本文描述的用于跟踪图像中的一个目标的技术可以用于跟踪图像中的多个目标。本文描述的关于处理单个图像帧的技术可以应用于图像流(多个图像)。本文描述的一些或所有跟踪和/或图像处理功能可以至少部分地由远程终端中的一个或多个处理器实现。例如，远程终端可以被配置为接收由UAV携带的成像装置捕获的红外图像和可见图像，并使用本文描述的方法生成组合图像。远程终端可以被配置为识别组合图像中的一个或多个目标。远程终端可以被配置为基于所识别的目标生成一个或多个控制信号，并将这些控制信号发送到UAV以实现对UAV、载体和/或成像装置的控制。
本文描述的系统、设备和方法可以应用于各种可移动物体。如前所述，本文对飞行器(例如UAV)的任何描述可以适用于并用于任何可移动物体。本文对飞行器的任何描述都可以专门适用于UAV。本发明的可移动物体可以被配置为在任何合适的环境中移动，例如空中(例如，固定翼飞行器、旋转翼飞行器、或既不具有固定翼也不具有旋转翼的飞行器)、水中(例如，船舶或潜艇)、地上(例如，机动车辆，如轿车、卡车、公共汽车、厢式货车、摩托车、自行车；可移动的结构或框架，如棒、钓鱼竿；或火车)、地下(例如地铁)、太空(例如，太空飞机、卫星或探测器)或这些环境的任意组合。可移动物体可以是载具，诸如本文其他地方描述的载具。在一些实施例中，可移动物体可以由活体(诸如人或动物)携带，或者从活体取下。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚类、啮齿类或昆虫类。
可移动物体可以在环境内相对于六个自由度(例如三个平移自由度和三个旋转自由度)自由移动。备选地，可移动物体的运动可以相对于一个或多个自由度(例如通过预定的路径、轨道或朝向)进行限制。该运动可由任何合适的致动机构(例如发动机或电机)来驱动。可移动物体的致动机构可以由任何合适的能源(例如电能、磁能、太阳能、风能、重力能、化学能、核能或其任何合适的组合)供电。可移动物体可以经由推进系统自推进，如本文别处所述。推进系统可以可选地依赖于能源(例如电能、磁能、太阳能、风能、重力能、化学能、核能或其任何合适的组合)操作。备选地，可移动物体可以由生物搭载。
在某些实例中，可移动物体可以是飞行器。例如，飞行器可以是固定翼飞机(例如飞机、滑翔机)、旋转翼飞机(例如直升机、旋翼飞机)、具有固定翼和旋转翼的飞机或没有固定翼和旋转翼的飞机(例如，飞艇、热气球)。飞行器可以是自推进的，例如通过空气自推进。自推进飞行器可以利用推进系统，例如包括一个或多个发动机、电机、轮子、轴、磁体、旋翼、螺旋桨、叶片、喷嘴或其任何合适的组合的推进系统。在一些实例中，推进系统可以用于使可移动物体从表面起飞、在表面上降落、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。
可移动物体可以由使用者远程控制，也可以由可移动物体内或可移动物体上的乘员进行本地控制。可移动物体可以通过分开的载具内的乘客远程控制。在一些实施例中，可移动物体是诸如UAV的无人可移动物体。诸如UAV的无人可移动物体可以在该可移动物体上没有乘员。可移动物体可以由人或自主控制系统(例如，计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主的或半自主的机器人，例如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施例中，可移动物体可以具有在载具内或载具上有人类乘员的大小和/或尺寸。备选地，可移动物体的大小和/或尺寸可以小于能够在载具内或载具上有人类乘员的大小和/或尺寸。可移动物体的大小和/或尺寸可以适于被人抬起或携带。备选地，可移动物体可以大于适于被人抬起或携带的大小和/或尺寸。在一些实例中，可移动物体可以具有小于或等于约如下值的最大尺寸(例如，长度、宽度、高度、直径、对角线)：2cm、5cm、10cm、50cm、1m、2m、5m或10m。最大尺寸可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对旋翼的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。备选地，相对旋翼的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施例中，可移动物体的体积可以小于100cm×100cm×100cm，小于50cm×50cm×30cm，或小于5cm×5cm×3cm。可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些实施例中，可移动物体可以具有小于或等于约如下值的占地面积(其可以指由可移动物体包围的横截面积)：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。相反，占地面积可以大于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些实例中，可移动物体的重量可以不超过1000kg。可移动物体的重量可以小于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反，重量可以大于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施例中，可移动物体相对于由可移动物体携带的负载可以较小。负载可以包括搭载物和/或载体，如本文其他地方进一步详细描述的。在一些示例中，可移动物体重量与负载重量之比可以大于、小于或等于约1∶1。在一些实例中，可移动物体重量与负载重量之比可以大于、小于或等于约1∶1。可选地，载体重量与负载重量之比可以大于、小于或等于约1∶1。当需要时，可移动物体重量与负载重量之比可以小于或等于：1∶2、1∶3、1∶4、1∶5、1∶10或甚至更少。反之，可移动物体重量与负载重量之比也可以大于或等于：2∶1、3∶1、4∶1、5∶1、10∶1或甚至更大。
在一些实施例中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些实例中，可移动物体的载体可以具有低能耗。例如，载体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地，可移动物体的搭载物可以具有低能耗，例如小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。
UAV可以包括具有四个旋翼的推进系统。可以设置任何数量的旋翼(例如，一个、两个、三个、四个、五个、六个或更多个)。无人飞行器的旋翼、旋翼组件或其他推进系统可以使得无人飞行器能够悬停/保持位置、改变朝向和/或改变位置。相对旋翼的轴之间的距离可以是任何合适的长度。例如，长度可以小于或等于2m、或小于等于5m。在一些实施例中，长度可以在40cm至1m、10cm至2m或5cm至5m的范围内。本文UAV的任何描述可以应用于可移动物体(例如不同类型的可移动物体)，并且反之亦然。
在一些实施例中，可移动物体可以被配置为载有负载。负载可以包括乘客、货物、装备、仪器等中的一个或多个。负载可以设置在壳体内。该壳体可以与可移动物体的壳体分离，或者作为可移动物体的壳体的一部分。备选地，负载可以设置有壳体，而可移动物体不具有壳体。备选地，可以在没有壳体的情况下设置负载的一部分或整个负载。负载可以相对于可移动物体刚性固定。可选地，负载可以相对于可移动物体可移动(例如，相对于可移动物体可平移或可旋转)。负载可以包括搭载物和/或载体，如本文其他地方进一步详细描述的。
在一些实施例中，可移动物体、载体和搭载物相对于固定参考系(例如，周围环境)和/或彼此的运动可以由终端控制。终端可以是远离可移动物体、载体和/或搭载物的遥控设备。终端可以放置在或固定在支撑平台上。备选地，终端可以是手持式或可穿戴式设备。例如，终端可以包括智能电话、平板电脑、膝上型电脑、计算机、眼镜、手套、头盔、麦克风或其适当的组合。终端可以包括诸如键盘、鼠标、操纵杆、触摸屏或显示器的用户界面。可以使用任何合适的用户输入来与终端进行交互，诸如手动输入的命令、语音控制、手势控制或位置控制(例如，通过终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或搭载物的任何合适的状态。例如，终端可以用于控制可移动物体、载体和/或搭载物相对于固定参考系和/或彼此的位置和/或朝向。在一些实施例中，终端可以用于控制可移动物体、载体和/或搭载物的各个元件，例如载体的驱动组件、搭载物的传感器或搭载物的发射器。终端可以包括适于与可移动物体、载体或搭载物中的一个或多个通信的无线通信设备。
终端可以包括用于观看可移动物体、载体和/或搭载物的信息的合适的显示单元。例如，终端可以被配置为显示可移动物体、载体和/或搭载物关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合方面的信息。在一些实施例中，终端可以显示由搭载物提供的信息，例如由功能型搭载物提供的数据(例如，由相机或其他图像捕获设备记录的图像)。
可选地，相同的终端可以控制可移动物体、载体和/或搭载物、或可移动物体、载体和/或搭载物的状态，以及接收和/或显示来自可移动物体、载体和/或搭载物的信息。例如，终端可以在显示由搭载物捕获的显示图像数据或关于搭载物的位置信息的同时，控制搭载物相对于环境的定位。备选地，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载体和/或搭载物的运动或状态，而第二终端可以接收和/或显示来自可移动物体、载体和/或搭载物的信息。例如，第一终端可以用于控制搭载物相对于环境的定位，而第二终端显示由搭载物捕获的图像数据。在可移动物体与控制可移动物体并接收数据的集成终端之间，或者在可移动物体与控制可移动物体并接收数据的多个终端之间，可以使用各种通信模式。例如，在可移动物体与控制可移动物体并从可移动物体接收数据的终端之间，可以形成至少两种不同的通信模式。
图11示出了根据实施例的包括载体1102和搭载物1104的可移动物体1100。虽然可移动物体1100被描绘为飞机，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动物体，如本文前面所述。本领域技术人员将理解，本文在飞机系统的上下文中描述的任何实施例可以应用于任何合适的可移动物体(例如，UAV)。在一些实例中，搭载物1104可以设置在可移动物体1100上，而不需要载体1102。可移动物体1100可以包括推进机构1106、感测系统1108和通信系统1110。
如前所述，推进机构1106可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体或喷嘴中的一个或多个。可移动物体可以具有一个或多个、两个或更多个、三个或更多个、或四个或更多个推进机构。推进机构都可以是相同类型的。备选地，一个或多个推进机构可以是不同类型的推进机构。推进机构1106可以使用诸如本文别处所述的诸如支撑元件(例如，驱动轴)的任何合适的方法安装在可移动物体1100上。推进机构1106可以安装在可移动物体1100的任何合适的部分上，诸如顶部、底部、前部、后部、侧面或其合适的组合。
在一些实施例中，推进机构1106可以使可移动物体1100能够垂直地从表面起飞或垂直地降落在表面上，而不需要可移动物体1100的任何水平移动(例如，无需沿着跑道行进)。可选地，推进机构1106可以可操作地允许可移动物体1100以特定位置和/或朝向悬停在空气中。推进机构1100中的一个或多个可以独立于其它推进机构受到控制。备选地，推进机构1100可以被配置为同时受到控制。例如，可移动物体1100可以具有多个水平朝向的旋翼，其可以向可移动物体提供升力和/或推力。可以致动多个水平朝向的旋翼以向可移动物体1100提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，水平朝向旋翼中的一个或多个可沿顺时针方向旋转，而水平旋翼中的一个或多个可沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，从而调节可移动物体1100(例如，相对于高达三个平移度和高达三个旋转度)的空间布置、速度和/或加速度，可以独立地改变每个水平朝向的旋翼的转速。
感测系统1108可以包括可感测可移动物体1100(例如，相对于高达三个平移度和高达三个旋转度)的空间布置、速度和/或加速度的一个或多个传感器。一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。感测系统1108提供的感测数据可以用于(例如，使用合适的处理单元和/或控制模块，如下所述)控制可移动物体1100的空间布置、速度和/或朝向。备选地，感测系统1108可以用于提供关于可移动物体周围的环境的数据，例如天气条件、潜在障碍物的接近度、地理特征的位置、人造结构的位置等。
通信系统1110能够经由无线信号1116与具有通信系统1114的终端1112进行通信。通信系统1110、1114可以包括适合于无线通信的任意数量的发射机、接收机和/或收发机。通信可以是单向通信；使得数据可以仅在一个方向上发送。例如，单向通信可以仅涉及可移动物体1100向终端1112发送数据，反之亦然。可以从通信系统1110的一个或多个发射机向通信系统1112的一个或多个接收机发送数据，或者反之亦然。备选地，所述通信可以是双向通信，使得可以在可移动物体1100和终端1112之间的两个方向上发送数据。双向通信可以涉及从通信系统1110的一个或多个发射机向通信系统1114的一个或多个接收机发送数据，并且反之亦然。
在一些实施例中，终端1112可以向可移动物体1100、载体1102和搭载物1104中的一个或更多个提供控制数据，并且从可移动物体1100、载体1102和搭载物1104中的一个或更多个接收信息(例如，可移动物体、载体或搭载物的位置和/或运动信息；由搭载物感测的数据，例如由搭载物相机捕获的图像数据)。在一些实例中，来自终端的控制数据可以包括用于可移动物体、载体和/或搭载物的相对位置、移动、致动或控制的指令。例如，控制数据(例如，通过推进机构1106的控制)可以导致可移动物体的位置和/或朝向的修改，或(例如，通过载体1102的控制)导致搭载物相对于可移动物体的移动。来自终端的控制数据可以导致对搭载物的控制，诸如对相机或其他图像捕获设备的操作的控制(例如，拍摄静止或移动的图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视野)。在一些实例中，来自可移动物体、载体和/或搭载物的通信可以包括来自(例如，感测系统1108或搭载物1104的)一个或多个传感器的信息。通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这样的信息可以涉及可移动物体、载体和/或搭载物的位置(例如定位、朝向)、移动或加速度。来自搭载物的这种信息可以包括由搭载物捕获的数据或搭载物的感测状态。由终端1112发送提供的控制数据可以被配置为控制可移动物体1100、载体1102或搭载物1104中的一个或多个的状态。备选地或组合地，载体1102和搭载物1104也可以各自包括被配置为与终端1112进行通信的通信模块，使得该终端可以独立地与可移动物体1100、载体1102和搭载物1104中的每一个进行通信并对其进行控制。
在一些实施例中，可移动物体1100可被配置为与除了终端1112之外的或者代替终端1112的另一远程设备通信。终端1112还可以被配置为与另一远程设备以及可移动物体1100进行通信。例如，可移动物体1100和/或终端1112可以与另一可移动物体或另一可移动物体的载体或搭载物通信。当需要时，远程设备可以是第二终端或其他计算设备(例如，计算机、膝上型电脑、平板电脑、智能电话或其他移动设备)。远程设备可以被配置为：向可移动物体1100发送数据，从可移动物体1100接收数据，向终端1112发送数据，和/或从终端1112接收数据。可选地，远程设备可以与因特网或其他电信网络连接，使得从可移动物体1100和/或终端1112接收的数据可以上传到网站或服务器。
图12是根据实施例的用于控制可移动物体的系统1200的框图式示意图。系统1200可以与本文公开的系统、设备和方法的任何合适的实施例结合使用。系统1200可以包括感测模块1202、处理单元1204、非暂时性计算机可读介质1206、控制模块1208和通信模块1210。
感测模块1202可以利用以不同方式收集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或来自不同源的信号。例如，传感器可以包括惯性传感器、GPS传感器、近距离传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块1202可以与具有多个处理器的处理单元1204可操作地耦合。在一些实施例中，感测模块可以可操作地与被配置为直接将感测数据传输到合适的外部设备或系统的传输模块1212(例如，Wi-Fi图像传输模块)耦合。例如，传输模块1212可以用于将由感测模块1202的相机捕获的图像发送到远程终端。
处理单元1204可以具有一个或多个处理器，例如可编程或非可编程处理器(例如，中央处理单元(CPU)、微处理器、FPGA、专用集成电路(ASIC))。处理单元1204可以与非暂时性计算机可读介质1206可操作地耦合。非暂时性计算机可读介质1206可以存储可由处理单元1204执行的用于执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或外部存储器诸如SD卡、或随机存取存储器(RAM))。在一些实施例中，来自感测模块1202的数据可以被直接传送到非暂时性计算机可读介质1206的存储单元并存储于其中。非暂时性计算机可读介质1206的存储单元可以存储可由处理单元1204执行的逻辑、代码和/或程序指令，以执行本文描述的方法的任何合适的实施例。存储单元可存储来自感测模块的感测数据以供处理单元1204处理。在一些实施例中，非暂时性计算机可读介质1206的存储单元可以用于存储由处理单元1204产生的处理结果。
在一些实施例中，处理单元1204可以可操作地与被配置为控制可移动物体的状态的控制模块1208连接。例如，控制模块1208可以被配置为控制可移动物体的推进机构，以相对于六个自由度调节可移动物体的空间布置、速度和/或加速度。备选地或组合地，控制模块1208可以控制载体、搭载物或感测模块的状态中的一个或多个。
处理单元1204可以可操作地与被配置为向一个或更多个外部设备(例如，终端、显示设备或其他遥控器)发送数据和/或从其接收数据的通信模块1210耦合。可以使用任何合适的通信方式，例如有线通信或无线通信。例如，通信模块1210可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等中的一个或多个。可选地，可以使用中继站，例如塔、卫星或移动站。无线通信可以是接近度相关的或接近度不相关的。在一些实施例中，通信可能需要或可能不需要视线。通信模块1210可以发送和/或接收以下中的一个或多个：来自感测模块1202的感测数据、由处理单元1204产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等。
系统1200的组件可以以任何合适的配置来布置。例如，系统1200的一个或多个组件可以位于可移动物体、载体、搭载物、终端、感测系统或与上述一个或多个进行通信的附加的外部设备上。另外，尽管图12描绘了单个处理单元1204和单个非暂时性计算机可读介质1206，但是本领域技术人员将理解，这并非意在限制，并且系统1200可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施例中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置，例如位于可移动物体、载体、搭载物、终端、感测模块、与上述一个或多个进行通信的附加的外部设备、或其合适组合上，使得由系统1200执行的处理和/或存储功能的任何合适方面可以发生在前述位置中的一个或多个位置。
虽然本文已经示出和描述了本发明的优选实施例，但是对于本领域技术人员显而易见的是，这些实施例仅以示例的方式提供。在不脱离本发明的情况下，本领域技术人员将会想到许多变化、改变和备选方式。应当理解，在实施本发明时可以采用本文所述的本发明的实施例的各种备选方案。以下权利要求旨在限定本发明的范围，并且这些权利要求及其等同物的范围内的方法和结构由此被涵盖。

Claims (20)

1.一种用于跟踪的由计算机实现的方法，包括：
从由无人飞行器UAV的载体支撑的成像装置获得红外图像和可见图像；
基于所述红外图像和所述可见图像获得组合图像；
识别所述组合图像中的目标；以及
生成用于使用所述成像装置跟踪所识别的目标的控制信号。
2.根据权利要求1所述的方法，其中，获得所述组合图像包括：
处理所述红外图像以提取红外特征；
处理所述可见图像以提取可见特征；
基于所述红外特征和所述可见特征来匹配所述红外图像和所述可见图像；以及
将所述可见特征中的至少一个应用于所述红外图像，以基于所述匹配来生成所述组合图像。
3.根据权利要求2所述的方法，其中，所述红外特征包括红外外轮廓，并且所述可见特征包括可见外轮廓，并且其中，匹配所述红外图像和所述可见图像包括将所述红外外轮廓与所述可见外轮廓对准。
4.根据权利要求2所述的方法，其中，将所述可见特征中的至少一个应用于所述红外图像包括：基于可配置参数来确定所述至少一个可见特征在所述组合图像中的强度。
5.根据权利要求2所述的方法，还包括基于可配置参数来确定要应用于所述红外图像的可见特征的量。
6.根据权利要求1所述的方法，其中，识别所述组合图像中的所述目标包括：从远程终端获得目标信息，并基于所述目标信息来识别所述目标。
7.根据权利要求1所述的方法，其中，生成用于跟踪所识别的目标的所述控制信号包括：基于所述UAV、所述载体或所述成像装置的当前配置，来确定是否控制所述UAV、所述载体或所述成像装置。
8.根据权利要求1所述的方法，其中，生成用于跟踪所识别的目标的所述控制信号包括：检测所述目标与预定配置的偏差，并生成用于基本上校正所述偏差的所述控制信号。
9.一种无人飞行器UAV，包括：
存储器，存储一个或多个计算机可执行指令；以及
一个或多个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行方法，所述方法包括：
从由所述UAV的载体支撑的成像装置获得红外图像和可见图像；
基于所述红外图像和所述可见图像获得组合图像；
识别所述组合图像中的目标；以及
生成用于使用所述成像装置跟踪所识别的目标的控制信号。
10.根据权利要求9所述的UAV，其中，获得所述组合图像包括：
处理所述红外图像以提取红外特征；
处理所述可见图像以提取可见特征；
基于所述红外特征和所述可见特征来匹配所述红外图像和所述可见图像；以及
将所述可见特征中的至少一个应用于所述红外图像，以基于所述匹配来生成所述组合图像。
11.根据权利要求10所述的UAV，其中，所述红外特征包括红外外轮廓，并且所述可见特征包括可见外轮廓，并且其中，匹配所述红外图像和所述可见图像包括将所述红外外轮廓与所述可见外轮廓对准。
12.根据权利要求10所述的UAV，其中，将所述可见特征中的至少一个应用于所述红外图像包括：基于可配置参数来确定所述至少一个可见特征在所述组合图像中的强度。
13.根据权利要求9所述的UAV，其中，生成用于跟踪所识别的目标的所述控制信号包括：基于所述UAV、所述载体或所述成像装置的当前配置，来确定是否控制所述UAV、所述载体或所述成像装置。
14.根据权利要求9所述的UAV，其中，生成用于跟踪所识别的目标的所述控制信号包括：检测所述目标与预定配置的偏差，并生成用于基本上校正所述偏差的所述控制信号。
15.一种跟踪系统，包括：
存储器，存储一个或多个计算机可执行指令；以及
一个或多个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行方法，所述方法包括：
从由无人飞行器UAV的载体支撑的成像装置获得红外图像和可见图像；
基于所述红外图像和所述可见图像获得组合图像；
识别所述组合图像中的目标；以及
生成用于使用所述成像装置跟踪所识别的目标的控制信号。
16.根据权利要求15所述的系统，其中，获得所述组合图像包括：
处理所述红外图像以提取红外特征；
处理所述可见图像以提取可见特征；
基于所述红外特征和所述可见特征来匹配所述红外图像和所述可见图像；以及
将所述可见特征中的至少一个应用于所述红外图像，以基于所述匹配来生成所述组合图像。
17.根据权利要求16所述的系统，其中，所述红外特征包括红外外轮廓，并且所述可见特征包括可见外轮廓，并且其中，匹配所述红外图像和所述可见图像包括将所述红外外轮廓与所述可见外轮廓对准。
18.根据权利要求16所述的系统，其中，将所述可见特征中的至少一个应用于所述红外图像包括：基于可配置参数来确定所述至少一个可见特征在所述组合图像中的强度。
19.根据权利要求15所述的系统，其中，生成用于跟踪所识别的目标的所述控制信号包括：基于所述UAV、所述载体或所述成像装置的当前配置，来确定是否控制所述UAV、所述载体或所述成像装置。
20.根据权利要求15所述的系统，其中，生成用于跟踪所识别的目标的所述控制信号包括：检测所述目标与预定配置的偏差，并生成用于基本上校正所述偏差的所述控制信号。
CN201780076311.8A 2017-11-03 2017-11-03 用于红外跟踪的方法和系统 Active CN110049921B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/109364 WO2019084919A1 (en) 2017-11-03 2017-11-03 Methods and system for infrared tracking

Publications (2)

Publication Number Publication Date
CN110049921A true CN110049921A (zh) 2019-07-23
CN110049921B CN110049921B (zh) 2022-12-23

Family

ID=66331248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780076311.8A Active CN110049921B (zh) 2017-11-03 2017-11-03 用于红外跟踪的方法和系统

Country Status (3)

Country Link
US (2) US11526998B2 (zh)
CN (1) CN110049921B (zh)
WO (1) WO2019084919A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308883A (zh) * 2020-11-26 2021-02-02 哈尔滨工程大学 一种基于可见光和红外图像的多船舶融合跟踪方法
WO2022141231A1 (en) * 2020-12-30 2022-07-07 SZ DJI Technology Co., Ltd. Systems and methods for determining the position of an object using an unmanned aerial vehicle

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11595595B2 (en) * 2016-09-27 2023-02-28 Rxsafe Llc Verification system for a pharmacy packaging system
CN107945112B (zh) * 2017-11-17 2020-12-08 浙江大华技术股份有限公司 一种全景图像拼接方法及装置
US10611475B1 (en) * 2018-09-12 2020-04-07 Amazon Technologies, Inc. Updating virtual aerial map using sensors associated with aerial vehicles
US11076098B2 (en) * 2019-02-12 2021-07-27 VIAVI Solutions he. Panoramic image capture for multispectral sensor
CN109828596A (zh) * 2019-02-28 2019-05-31 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机
EP3952720A4 (en) 2019-04-08 2023-04-05 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MEDICAL IMAGING
CN111982291B (zh) * 2019-05-23 2022-11-04 杭州海康机器人技术有限公司 一种基于无人机的火点定位方法、装置及系统
CN110213501A (zh) * 2019-06-25 2019-09-06 浙江大华技术股份有限公司 一种抓拍方法、装置、电子设备及存储介质
CN114599263A (zh) 2019-08-21 2022-06-07 艾科缇弗外科公司 用于医疗成像的系统和方法
US10951869B1 (en) * 2019-12-11 2021-03-16 Karl Storz Imaging, Inc. System for optimizing blended video streams
US11475714B2 (en) * 2020-02-19 2022-10-18 Motorola Solutions, Inc. Systems and methods for detecting liveness in captured image data
CN111665870A (zh) * 2020-06-24 2020-09-15 深圳市道通智能航空技术有限公司 一种轨迹跟踪方法及无人机
US11523066B2 (en) * 2020-10-27 2022-12-06 Autel Robotics Co., Ltd. Camera imaging method, camera system and unmanned aerial vehicle (UAV)
US20220335578A1 (en) * 2021-04-14 2022-10-20 Microsoft Technology Licensing, Llc Colorization To Show Contribution of Different Camera Modalities
CN113469054A (zh) * 2021-07-02 2021-10-01 哈尔滨理工大学 一种基于深度学习的红外人脸识别方法
US20230064450A1 (en) * 2021-08-28 2023-03-02 Ford Global Technologies, Llc Infrared And Color-Enhanced Partial Image Blending
CN113933871B (zh) * 2021-10-15 2023-01-24 贵州师范学院 基于无人机和北斗定位的洪水灾情检测系统
KR102646894B1 (ko) 2022-12-19 2024-03-14 주식회사 딥엑스 고정된 기기 또는 이동가능한 기기에 장착되고, 인공지능 반도체를 탑재한 전자 장치
CN116758117B (zh) * 2023-06-28 2024-02-09 云南大学 可见光与红外图像下的目标跟踪方法及系统
CN117094966B (zh) * 2023-08-21 2024-04-05 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140312165A1 (en) * 2013-03-15 2014-10-23 Armen Mkrtchyan Methods, apparatus and systems for aerial assessment of ground surfaces
WO2016015251A1 (en) * 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
CN105416584A (zh) * 2015-11-12 2016-03-23 广州杰赛科技股份有限公司 一种灾后生命循迹无人机系统
CN106354157A (zh) * 2016-11-28 2017-01-25 深圳明创自控技术有限公司 一种无人机自主飞行系统
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134208B (zh) * 2014-07-17 2017-04-05 北京航空航天大学 利用几何结构特征从粗到精的红外与可见光图像配准方法
US10152811B2 (en) * 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
CN205469861U (zh) * 2016-01-26 2016-08-17 河北三丰航空科技发展有限公司 一种基于侦查光学吊舱搜索无人机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140312165A1 (en) * 2013-03-15 2014-10-23 Armen Mkrtchyan Methods, apparatus and systems for aerial assessment of ground surfaces
WO2016015251A1 (en) * 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法
CN105416584A (zh) * 2015-11-12 2016-03-23 广州杰赛科技股份有限公司 一种灾后生命循迹无人机系统
CN106354157A (zh) * 2016-11-28 2017-01-25 深圳明创自控技术有限公司 一种无人机自主飞行系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308883A (zh) * 2020-11-26 2021-02-02 哈尔滨工程大学 一种基于可见光和红外图像的多船舶融合跟踪方法
WO2022141231A1 (en) * 2020-12-30 2022-07-07 SZ DJI Technology Co., Ltd. Systems and methods for determining the position of an object using an unmanned aerial vehicle

Also Published As

Publication number Publication date
US11748898B2 (en) 2023-09-05
CN110049921B (zh) 2022-12-23
WO2019084919A1 (en) 2019-05-09
US11526998B2 (en) 2022-12-13
US20230111493A1 (en) 2023-04-13
US20200143545A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
CN110049921A (zh) 用于红外跟踪的方法和系统
US20230360230A1 (en) Methods and system for multi-traget tracking
CN105518555B (zh) 目标追踪系统及方法
CN105981074B (zh) 用于标定成像装置的系统、方法和装置
CN106030431B (zh) 传感器的自动标定系统及方法
CN109643129A (zh) 自主着陆的方法和系统
US11288824B2 (en) Processing images to obtain environmental information
CN108139758A (zh) 基于显著性特征的载运工具定位
CN110494360A (zh) 用于提供自主摄影及摄像的系统和方法
CN107850902A (zh) 可移动物体上的相机配置
CN108292141A (zh) 用于目标跟踪的方法和系统
US11348265B1 (en) Computing a point cloud from stitched images
CN108292140A (zh) 用于自动返航的系统和方法
JP2017503226A5 (zh)
CN107637064A (zh) 用于图像处理的方法和设备
CN107209514A (zh) 传感器数据的选择性处理
US20210009270A1 (en) Methods and system for composing and capturing images
JP6849272B2 (ja) 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム
Piponidis et al. Towards a Fully Autonomous UAV Controller for Moving Platform Detection and Landing
DE202014011010U1 (de) Systeme zur Zielverfolgung

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant