CN106030431B - 传感器的自动标定系统及方法 - Google Patents

传感器的自动标定系统及方法 Download PDF

Info

Publication number
CN106030431B
CN106030431B CN201480074620.8A CN201480074620A CN106030431B CN 106030431 B CN106030431 B CN 106030431B CN 201480074620 A CN201480074620 A CN 201480074620A CN 106030431 B CN106030431 B CN 106030431B
Authority
CN
China
Prior art keywords
sensor
unmanned vehicle
sensors
space
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480074620.8A
Other languages
English (en)
Other versions
CN106030431A (zh
Inventor
唐克坦
赵永建
李兵
周谷越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN106030431A publication Critical patent/CN106030431A/zh
Application granted granted Critical
Publication of CN106030431B publication Critical patent/CN106030431B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

提供一种用于在线传感器标定的方法，包括：当无人飞行器(UAV)在飞行时，从连接于所述无人飞行器的多个不同类型的传感器获取传感器数据，其中所述多个传感器具有相对于彼此的初始空间配置(401)；借助处理器，基于所述传感器数据来检测所述多个传感器从所述初始空间配置到随后的空间配置相对于彼此的空间配置变化(402)；确定所述随后的空间配置(403)；以及当所述无人飞行器在飞行时，基于所述随后的空间配置调整来自所述多个传感器中至少一个传感器的数据(404)。还提供一种用于传感器标定的装置。

Description

传感器的自动标定系统及方法
背景技术
现代的无人飞行器(Unmanned Aerial Vehicles，UAVs)具有尺寸小、灵活性高的特性，而被广泛地用于各种民用领域，如监视和跟踪，遥感，搜索和救援，科研，娱乐和爱好，等等。无人飞行器通常是被遥控设备无线控制和/或通过通信链路被机载控制程序控制。这样的通信链路的性能对于无人飞行器的飞行任务的安全性和有效性来说可能有直接的影响。在无人飞行器的飞行任务期间，如果传感器偏离初始配置时，其将会面临挑战。
发明内容
当无人飞行器(Unmanned Aerial Vehicle，UAV)装备有多个传感器时，所述UAV的一个有用的应用是收集大量数据。非限制性的例子包括对地形拍照，获取音频数据，测量空气污染程度，和监测一个地区的空气质量。在无人飞行器起飞前，通常其会被标定完成数据收集。当所述无人飞行器处于操作中时(包括但不限于当无人飞行器在飞行时)，可以通过无线通信进行远程标定。然而，在许多场合，所述无人飞行器可能会行驶出无线通信的范围，所以远程标定不可行。所述无人飞行器可具有一个传感器装置，所述传感器装置具有内部配置或传感器的一套参数。当所述传感器装置的设置偏离了最初或最佳配置时，所收集的数据会变得不可靠或不精确。为了克服这个难题，本文所描述的主题揭示了机载系统和方法以自动化地标定无人飞行器和传感器。所述自动化标定可以在无人飞行器的一次飞行期间发生(例如，在线标定)，并且可以简化数据收集过程。具体而言，避免收集无用的数据或提高数据质量可以显著地降低成本。
在一个方面，本文公开了一种传感器标定的方法。所述方法包括当无人飞行器(UAV)在飞行时，从连接于所述无人飞行器的多个不同类型的传感器获取传感器数据，其中所述多个传感器具有相对于彼此的初始空间配置；借助处理器，基于所述传感器数据来检测所述多个传感器从所述初始空间配置到一个随后的空间配置相对于彼此的空间配置变化；确定随后的空间配置；以及当UAV在飞行时，基于所述随后的空间配置调整来自所述多个传感器中至少一个传感器的数据。
在另一方面，本文公开了一种用于在线传感器标定的装置，所述装置包括：(a)多个不同类型的传感器，其(in)连接于无人飞行器(UAV)，且(ii)用于当所述无人飞行器飞行时提供传感器数据，其中所述多个传感器具有相对于彼此的初始空间配置；和(b)一个或多个处理器，其单独地或全体地用于(in)基于传感器数据检测所述多个传感器从所述初始空间配置到随后的空间配置相对于彼此的空间配置变化；(ii)确定所述随后的空间配置；和(iii)当所述UAV在飞行时，基于所述随后的空间配置调整来自所述多个传感器中至少一个传感器的数据。
在另一方面，本文公开了一种传感器标定方法，所述方法包括：从连接于无人飞行器(UAV)的多个不同类型的传感器获得传感器数据；选择参考坐标系；借助处理器且基于所述传感器之间的预测空间关系，在参考坐标系中显示来自所述多个传感器的传感器数据；借助所述处理器来检测所述多个传感器之间的传感器数据的差异，所述差异表示所述传感器之间在所述预测空间关系中的误差；(e)确定实际空间配置；以及(f)基于所述实际空间配置调整来自所述多个传感器中至少一个传感器的数据。
在另一方面，本文公开了一种用于传感器标定的装置，所述装置包括：(a)多个不同类型的传感器，其(in)连接于一个无人飞行器(UAV)，并且(ii)用于提供传感器数据；和(b)一个或多个处理器，所述处理器单独地或全体地用于(in)选择一个参考坐标系；(ii)基于所述传感器之间的预测空间关系，在所述参考坐标系中显示来自所述多个传感器的传感器数据；(iii)检测所述多个传感器之间的传感器数据的差异，所述差异表示所述传感器之间在所述预测空间关系中的误差；(iv)确定实际空间配置；以及(v)基于所述实际空间配置调整来自所述多个传感器中至少一个传感器的数据。
在另一方面，本文公开了一种传感器标定方法，所述方法包括：从连接于无人飞行器(UAV)的多个不同类型的传感器获得传感器数据；借助处理器，将所述多个传感器分组为多个子集，每个子集具有(in)至少两个传感器，以及(ii)不同的传感器组合；借助所述处理器，基于所述传感器数据计算每个子集中所述至少两个传感器之间的预测空间关系；基于所述预测空间关系，确定每个子集中所述至少两个传感器之间的实际空间关系；借助于所述处理器，基于每个子集中所述至少两个传感器之间的实际空间关系，计算所述多个传感器相对于彼此的空间配置。
另一方面，本文公开了一种用于传感器标定的装置，所述装置包括：(a)多个不同类型的传感器，其(in)连接于一个无人飞行器(UAV)，并且(ii)用于提供传感器数据；和(b)一个或多个处理器，其单独地或全体地用于：(in)将所述多个传感器分组为多个子集，每个子集具有(in)至少两个传感器，和(ii)不同的传感器组合；(ii)基于所述传感器数据计算每个子集中所述至少两个传感器之间的预测空间关系；(iii)基于所述预测空间关系，确定每个子集中所述至少两个传感器之间的实际空间关系；以及(iv)基于每个子集中所述至少两个传感器之间的实际空间关系，计算所述多个传感器相对于彼此的空间配置。
在另一方面，本文公开了一种传感器的标定方法，所述方法包括：从多个不同类型的传感器获得传感器数据；借助处理器，将所述多个传感器分组为多个子集，每个子集具有(in)至少两个传感器，包括一个参考传感器和一个或多个测量传感器，和(ii)不同的传感器组合，其中所述多个子集的至少两个子集具有不同的参考传感器；借助于所述处理器，基于传感器数据，使用每个子集中至少一个卡尔曼滤波器来确定每个子集中所述至少两个传感器之间的实际空间关系；借助所述处理器，基于每个子集中所述至少两个传感器之间的实际空间关系计算所述多个传感器相对于彼此的空间配置。
在另一方面，本发明公开了一种用于传感器标定的装置，所述装置包括：(a)用于提供传感器数据的多个不同类型的传感器；和(b)一个或多个处理器，其单独地或全体地用于：(1)将所述多个传感器分组为多个子集，每个子集具有(in)至少两个传感器，包括一个参考传感器和一个或多个测量传感器，和(ii)不同的传感器组合，其中所述多个子集的至少两个子集具有不同的参考传感器；(2)基于传感器数据，每个子集使用至少一个卡尔曼滤波器来确定每个子集中所述至少两个传感器之间的实际空间关系；以及(3)基于每个子集中所述至少两个传感器之间的实际空间关系计算所述多个传感器相对于彼此的空间配置。
某些或所有的系统和方法包括多个不同类型的传感器。所述多个不同类型的传感器包括以下至少两个：视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。所述多个传感器中至少一个是惯性传感器，其中在与所述惯性传感器有关的坐标系中提供来自多个传感器的传感器数据。
在一些实施例中，所述系统和方法的初始空间配置包括所述多个传感器中每个传感器相对于彼此的初始位置和初始方向。所述在空间配置上的变化包括所述多个传感器中的至少一个相对于所述多个传感器中的其他传感器在所述初始位置上和/或在所述初始方向上的变化。
在一些实施例中，在所述无人飞行器起飞之前提供所述系统和方法的初始空间配置。备选地，在所述无人飞行器飞行期间提供所述初始空间配置。
在一些实施例中，所述系统和方法的空间配置变化是由所述无人飞行器的移动引起的。在另外的实施例中，空间配置变化是由所述无人飞行器的振动引起的。
在一些实例中，所述一个或多个处理器使用多个卡尔曼滤波器来确定所述随后的空间配置，所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器和/或无迹卡尔曼滤波器。
在一些实施例中，所述系统和方法的一个或多个处理器可以机载于所述无人飞行器。备选地，所述一个或多个处理器位于在所述无人飞行器飞行时与无人飞行器通信的装置上，且所述装置位于所述无人飞行器外部。
在一些实施例中，所述系统和方法的多个不同类型的传感器包括以下至少两个：视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。所述多个传感器中至少一个是惯性传感器。在某些实例中，所述参考坐标系是一个与惯性传感器相关的坐标系。
在一些实施例中，所述传感器之间的预测空间关系是基于所述传感器的初始空间配置在配置上的预测空间变化，所述初始空间配置包括所述多个传感器中每个传感器相对于彼此的初始位置和初始方向。在另一实施例中，在所述无人飞行器起飞之前或所述无人飞行器飞行期间提供所述初始空间配置。
在一些实施例中，空间位置和所述传感器的相对空间方向彼此相对。
在一些应用中，在所述无人飞行器处于操作中时确定所述传感器的实际空间配置。在所述无人飞行器飞行时确定所述传感器的实际空间配置。在某些实例中，在所述无人飞行器处于操作中时调整来自所述多个传感器的所述数据。
在某些实施例中，所述基于实际空间配置校正的数据是由视觉传感器所获取的图像数据。
在不同的实例中，每个子集有一个参考传感器和一个或多个测量传感器。对于每个子集来说其参考传感器是相同的或不同的。
在一些实施例中，所述系统和方法进一步地包括基于所述空间配置调整来自所述多个传感器中至少一个传感器的数据。另外，所述基于实际空间配置调整的数据是由视觉传感器所获取的图像数据。
在不同的实施例中，每个子集中传感器之间的所述预测空间关系是基于所述传感器的初始空间配置在配置上的预测空间变化，所述初始空间配置包括所述多个传感器中每个传感器相对于彼此的初始位置和初始方向。在进一步的实施例中，在所述无人飞行器起飞之前或所述无人飞行器飞行期间提供所述初始空间配置。
一些或所有的系统和/或方法包括所述传感器之间的预测空间关系，其包括所述传感器相对于彼此的相对空间位置和相对空间方向。
在一些实施方式中，所述系统和/或方法将多个传感器分组为多个子集。此外，所述系统和/或方法基于所述传感器数据计算每个子集中所述至少两个传感器之间的预测空间关系，其中所述卡尔曼滤波器基于所述预测空间关系确定实际空间关系。
应当理解，可以单独地、全体地或相互结合地来领会本发明的不同方面。本发明所描述的不同方面可以应用于下述描述的任何具体应用中，也可以应用于任何其它类型的可移动物体和/或静止物体之间的数据通信。
通过对说明书、权利要求以及附图的综述，即可了解本发明的其他目的以及特征。
援引加入
本说明书中提及的所有出版物、专利和专利申请均通过引用并入本文中，其引用程度就如同明确且单独地指示将各个单独的公布、专利或专利申请通过引用并入本文中。
附图说明
在所附权利要求书中具体阐明了本发明的新颖特征。通过参考以下阐述利用了本发明原理的示例性实施方式的详细描述和附图，将会更好地理解本发明的特征和优势，在附图中：
图1是本发明一个实施例中安装有多个机载传感器的无人飞行器的一个例子。
图2是本发明一个实施例中参考坐标系变换的一个例子。
图3是本发明一个实施例中带有第一相机和第二相机的立体视觉相机的一个例子。
图4是本发明一个实施例中总的自动化误差检测和在线标定的过程的流程图。
图5是本发明一个实施例中检测传感器误差的方法的流程图。
图6是本发明一个实施例中在线标定的方法的流程图。
图7是本发明一个实施例中带有一个统一的参考传感器的系统架构的一个例子。
图8是本发明一个实施例中带有多个参考传感器的系统架构的一个例子。
图9是本发明一个实施例中无人飞行器的一个例子。
图10是本发明一个实施例中包括载具和搭载物的可移动物体的一个例子。
图11是本发明一个实施例中控制可移动物体的系统的模块示意图。
具体实施方式
本发明的系统，设备及方法提供了无人飞行器(UAV)的机载传感器和标定所述无人飞行器的机载传感器的方法。所述无人飞行器的描述可以适用于任何其他类型的无人载运工具，或任何其他类型的可移动物体。所述载运工具的描述可以适用于在无人飞行器的任何机载传感器。无人飞行器的机载传感器的例子可以包括视觉传感器，全球定位系统(GPS)或惯性测量单元(IMU)。
本发明的系统，设备及方法提供了无人飞行器(UAV)的机载传感器和标定所述无人飞行器的机载传感器的方法。所公开的各个方面可以适用于除了包括传感器的任何载运工具之外的在此认定的任何应用。应当理解，本发明的不同方面可以单独地、全体地或相互结合地被领会。
图1显示了一个无人飞行器(UAV)的一个例子。本文关于无人飞行器101的任何描述可以适用于任何类型的可移动物体。所述无人飞行器的描述可以适用于任何类型的无人驾驶的可移动物体(例如，其可以穿越空气、土地、水或空间)。所述无人飞行器能够响应来自远程控制器的命令。所述远程控制器可能没有连接到所述无人飞行器，所述远程控制器可以从远处与所述无人飞行器进行无线通信。在某些实例中，所述无人飞行器能够自主式地或半自主式地进行操作。所述无人飞行器能够遵循一套预编程指令。在某些实例中，所述无人飞行器可以通过响应来自于远程控制器的一个或多个命令进行半自动地操作，或者是进行自主式地操作。例如，来自远程控制器的一个或多个命令可以依照一个或多个参数且通过所述无人飞行器启动一系列的自主的或半自主的动作。
所述无人飞行器101可以是飞行器。所述无人飞行器101可以具有一个或多个动力单元102，其可以允许所述无人飞行器101在空中四处移动。所述一个或多个动力单元102可以使所述无人飞行器101移动一个或更多、两个或更多、三个或更多、四个或更多、五个或更多、六个或更多的自由度。在某些实例中，所述无人飞行器101可以绕一个、两个、三个或更多的旋转轴旋转。所述旋转轴可以是彼此正交的。所述旋转轴可能在整个飞行过程中保持彼此是正交的。所述旋转轴可以包括俯仰轴、滚动轴和/或偏航轴。所述无人飞行器101可以沿一个或多个维度移动。例如，由于一个或多个转子所产生的升力，所述无人飞行器101能够向上移动。在某些实施例中，所述无人飞行器能够沿Z轴运动(其相对于无人飞行器的方向可以是向上的)、X轴和/或Y轴(其可以是横向的)。所述无人飞行器能够沿一个、两个或三个可以彼此正交的轴进行移动。
所述无人飞行器101可以是旋翼机。在某些实例中，所述无人飞行器101可以是包括多个转子的多旋翼飞行器。所述多个转子能够旋转而为所述无人飞行器产生升力。所述多个转子可以是动力单元，其可使所述无人飞行器在空中自由移动。所述多个转子可以以相同的速度旋转和/或可以产生相同的升力或推力。所述多个转子可以以不同的速度旋转，这样可以产生不同量的升力或推力和/或允许所述无人飞行器旋转。在某些实例中，所述无人飞行器上可以设置有一个、两个、三个、四个、五个、六个、七个、八个、九个、十个或更多的转子。可以布置所述多个转子使得所述多个转子的旋转轴相互平行。在某些实例中，所述多个转子可以具有多个旋转轴，所述多个旋转轴相对于彼此可具有任何角度，其可影响所述无人飞行器的运动。
所述无人飞行器101可具有机载传感器用以收集无人飞行器处于操作中时的数据。所述传感器可以具有初始配置。所述传感器的初始配置可以偏离初始和/或最佳设置。因此，在无人飞行器飞行时所述传感器的自动在线标定可以是有益的，在某些情况下，有必要维持所收集数据的质量和可靠性。本文所描述的主题公开了机载系统和方法以自动标定无人飞行器和传感器。所述自动在线标定系统和方法可以简化所述数据收集的过程以提高效率。
所述无人飞行器101可以包括视觉传感器，例如图像传感器，可以是单目相机、立体视觉相机、雷达、声纳，或红外相机。所述无人飞行器101可以进一步地包括位置传感器，例如GPS、IMU或LIDAR。所述无人飞行器的机载传感器可以收集信息，如所述无人飞行器的位置、其他物体的位置、所述无人飞行器101的方向，或环境信息。单个的传感器可能能够完全确定上述参数中的任意一个，或者，一组传感器可以一起工作以确定上述列出的参数。传感器可以用于位置的映射、位置之间的导航、障碍物的检测，或目标检测。
所述传感器可位于所述无人飞行器上或不在无人飞行器上。所述机载传感器可以位于所述无人飞行器101的主体上。所述传感器103可以附接在所述无人飞行器101的主体的外部和/或所述传感器104可以附接在所述无人飞行器101的主体的内部。所述传感器可以集中地位于所述主体上的一个单个区域。备选地，所述传感器可以位于所述主体上不同的位置。所述传感器可以永久地或可拆卸地附接在所述无人飞行器101上。所述无人飞行器101可具有载具105，其可用于承载负荷。所述传感器可附接在载具106上。
所述传感器的特点在于可具有一个或多个传感器参数。所述传感器参数可以是内部或外部参数。内部参数可能涉及到传感器的内部配置。内部参数的例子包括焦距、比例因子、径向畸变系数和切向畸变系数。所述内部参数可以是依赖于硬件配置的任何参数，在某些情况下，所述内部参数可以通过传感器的出厂设置进行设置。外部参数可以与任何两个或多个传感器之间的空间关系有关。每个传感器可以具有一个独立于无人飞行器其他机载传感器的相对坐标系。对于传感器融合，结合来自无人飞行器上不同位置的传感器数据而言，外部特性是很重要的。传感器融合可能涉及到转换给定传感器的相对坐标以匹配另一传感器的参考系的过程。
图2描述了转换给定的传感器的相对坐标以匹配另一传感器的参考坐标系的过程。图2显示了在传感器1的坐标系202中被传感器1看到的立方体201以及在传感器2的坐标系204中被传感器2看到的立方体203。可以执行转换以使得传感器2的坐标系204被旋转以匹配传感器1的坐标系202。所述转换可以通过转换矩阵进行数学上的解释。
内部特性可以是传感器特有的且很少发生改变。内部特性的重新标定可在无人飞行器不处于操作中时周期性地进行。当所述无人飞行器101处于操作中时，重新标定内部特性可能不是关键的，这是因为与外部特性相比，这些内部特性在所述无人飞行器101处于操作中时会保持相对地一致性。内部特性可以通过解读一个已知标定标准或目标的图像来进行标定。在标定标准或目标上消失的线或点可以用于标定所述内部特性，如焦距和畸变。
相较于内部特性，外部特性可能会以较高的频率进行改变。在所述无人飞行器着陆和起飞期间的移动、振动及热漂移都可能会导致所述传感器在外部特性上的变化。例如相机的位置可能会由于所述无人飞行器飞行期间的振动而移动。在所述无人飞行器处于操作中时，外部特性可能偏离其初始配置；因此，可较佳地在无人飞行器处于操作中时执行外部特性的重新标定。当所述无人飞行器101处于操作中时所述外部特性的重新标定可能需要计算资源，所述计算资源可以是在所述无人飞行器101上或不在所述无人飞行器101上。所述外部特性的重新标定可以设定的时间频率发生，例如，所述外部特性可以每1分钟、5分钟、10分钟、20分钟、30分钟、40分钟、50分钟、1小时、2小时、3小时、4小时、5小时、10小时、12小时或每一天进行一次重新标定。备选地，外部特性的重新标定可以设定的距离频率发生，例如，每当所述无人飞行器101从初始起始位置行驶了额外的0.5英里、1英里、2英里、3英里、4英里、5英里、10英里、15英里、20英里、25英里、30英里、35英里、40英里、45英里、50英里或100英里时，可进行所述重新标定。所述外部特性机上标定的频率可以基于可用的计算资源、燃料或电力需求，或飞行条件决定。一些飞行条件可能会减少或增加外部传感器在标定中的所期望的漂移，例如，如果所述无人飞行器以较低的速度飞行，所述无人飞行器的主体可能振动较小，因此外部传感器的标定中的漂移也较小。
所述外部参数可以有初始标定。所述外部参数的初始标定可能会描述传感器之间的相对差异，例如，两个或多个传感器的相对位置、旋转和/或位移。所述参数可以包括传感器随着时间过去的变化，如在某一时间和随后的时间之间的传感器的位移。所述位移可包括平移位移和/或旋转位移。所述平移位移可以沿着三轴中的一个或多个轴发生。同样的，所述旋转位移可以沿着三轴中的一个或多个轴发生。通常，所述标定是通过滤波过程实现的。非限制性的例子包括各种类型的卡尔曼滤波器。
所述外部参数的标定可以在所述无人飞行器101处于操作中时(如飞行中)进行调整。外部参数标定的方法可包括借助处理器来检测、从初始空间配置到随后的空间配置、两个或多个传感器相对于彼此在空间配置上的变化。在进一步的实施例中，所述方法使用滤波器，如卡尔曼滤波器，来确定随后的空间配置。最后，所述方法可以包括基于所述随后的空间配置，在所述无人飞行器飞行时，调整来自至少一个传感器的数据。
所述无人飞行器可以有一个或多个机载处理器。所述处理器可以单独地或全体地用于(i)基于传感器数据检测、从初始空间配置到随后的空间配置、一个或多个传感器相对于彼此在空间配置上的变化；(ii)使用多个卡尔曼滤波器确定随后的空间配置；和(iii)基于所述随后的空间配置，在所述无人飞行器飞行时，调整来自至少一个传感器的数据。备选地，所述处理器或多个处理器可能不在所述无人飞行器上。所述无人飞行器可以将与给定的传感器的空间配置有关的信息发送至非机载处理器，所述处理器用于执行上述步骤(i)-(iii)和将信息传回至无人飞行器。
多个相机的标定
在一些实施例中，所述系统和方法可以包括多个传感器。多个传感器的标定可以包括整合传感器数据。参考图3，相机可以拍摄如301所示的图像，和另一相机可以以不同的位移和不同的方向拍摄第二图像302。因此，所述两个相机需要标定，且所述标定可以利用第一相机拍摄的图像301和第二相机拍摄的第二图像302。以下将揭露标定的数学公式。
在一个实施例中，两个或多个相机被组装成立体相机系统。所述两个或多个相机的标定如下：首先，每个相机拍摄一张图像；然后，识别系统选取N个特征，就数学公式而言，让α和β表示两个相机，在其所拍摄的图像中所识别的特征可以用向量和表示，其中i＝1，…，N。所述特征和分别由相机α和β的坐标系确定。为了找到可靠的映射，需要在相同的坐标系Xi＝(Xi，Yi，Zi)中分析所述特征。所述特征和与所述参考坐标系Xi之间的关系可以采用投影以及来描述，其中和是在归一化坐标中表述的特征，即，以及Pα与Pβ分别是所述相机α与β的投影，且其可由内部参数K和外部参数(例如，旋转R和平移T)确定的：Pα＝Kα[RαTα]与Pβ＝Kβ[RβTβ]，一旦计算得到所述投影Pα与Pβ且内部参数Kα和Kβ均是已知的，外部参数R和T可以通过以下公式计算得到：
R＝Rβ(Rα)-1，
T＝Tβ-Rβ(Rα)-1Tα。
当得到参数R和T时，所述标定完成。
通常，所述内部参数Kα与Kβ不会改变。即使所述内部参数变化，其变化量也是很小的。因此，内部参数可以离线标定。即，在一些应用中，所述内部参数可以在所述无人飞行器起飞前被确定。在实例中，在飞行期间，所述内部参数Kα与Kβ保持不变。所以所述标定是为了计算所述Pα与Pβ的最佳解。在一个例子中，使用减少投影误差来求解：
上述问题是非线性优化问题。各种解法可以包括在所述实施例中。在一些应用中，所述解答通过光束法平差方法实现。在光束法平差方法中，投影Pα与Pβ是给定的初始值。使用极线约束以得出本质矩阵E，随后通过分解(例如，奇异值分解)得到其中是T的斜对称矩阵。
上述解答找到所述特征与另一相机所拍摄的另一图片中的特征之间的对应的映射。
在一些实施例中，形成立体相机系统的两个相机α和β的空间配置为一个相机设置在左手边而另一相机设置在右手边。
跨越相机和惯性测量单元的标定
在一些实施例中，所述系统和方法包括跨越相机和惯性测量单元的标定。所述标定的原理是基于利用所述相机获取随着时间过去的多个图像和利用所述相机估计自身位置的变化。在某些实例中，通过将所述相机在不同时间点i和i’拍摄的两张照片看作是两个相机α与β拍摄的两张照片，自标定的方法类似于标定两个独立的相机。类似的，自标定方案可以适用于惯性测量单元。使A和B分别表示相机和惯性测量单元的自身坐标变化。下标i表示在时间i＝1,2,…，n时所述坐标系映射Ai与Bi。因此，与时间1有关的在时间2的映射为：和使X表示相机与惯性测量单元之间的映射。手眼标定公式会导致AX＝XB，其中A,B,X以以下形式被归一化地映射：
此外，RARX＝RXRB以及(RA-I)tX＝RXtB-tA。在这些方程和考虑到旋转矩阵的特性后，有多种方法来求解RX和tX。为了保证唯一的解答，n≥3的需求必须执行。
在一些实施例中，所述标定是在立体相机系统和惯性测量单元之间执行的。所述标定通过标定具有惯性测量单元的系统中的相机来实现。
所述无人飞行器可以包括用于解读传感器数据以确定所述传感器是否需要重新标定的装置。所述装置可以实时解读传感器数据。所述装置可以解读所述无人飞行器的任何或所有机载传感器的传感器数据。所述装置可以包括一个或多个连接于所述无人飞行器的传感器。所述传感器可以将有关环境的信息、附近的物体、所述无人飞行器的位置和/或有关附近物体或障碍物的信息提供给所述无人飞行器。所述传感器可具有已知的初始配置，其可包括内部特性和外部特性。所述初始配置可包括一个传感器相对于至少一个其他传感器的初始位置和方向。在所述无人飞行器起飞之前或无人飞行器飞行时，所述传感器的初始配置可以与机载于无人飞行器上或处于无人飞行器外部的处理器通信。为了在所述传感器配置变化的事件中执行在线传感器标定，处理器可以监测所述传感器的配置上的变化，所述变化可能由于所述无人飞行器的移动或振动而发生。
机载于无人飞行器上或处于无人飞行器外部的处理器可以连续地或在离散地时间间隔获取传感器数据。图4显示了描述由处理器执行在线传感器标定的步骤的流程图。首先所述处理器可以获取传感器数据(401)。所述传感器可以有相对于彼此的初始空间配置。所述传感器的初始空间配置可以是事先已知的。在所述无人飞行器起飞前或起飞后，可以在无人飞行器的机载内存里记录和存储所述初始空间配置。所述初始配置可以是一个传感器相对于无人飞行器上的其他传感器的初始位置和初始方向。基于所述处理器接收的传感器数据，所述处理器可以检测一个或多个传感器在空间配置上的变化(402)。一个或多个传感器在空间配置上的变化可以是相对于已知的初始配置的变化。接下来，所述处理器可以确定新的空间配置相对于初始空间配置的偏差(403)。所述处理器可以使用一个或多个卡尔曼滤波器来确定新的空间配置相对于初始空间配置的偏差。所述卡尔曼滤波器可以是扩展卡尔曼滤波器或无迹卡尔曼滤波器。所述卡尔曼滤波器可以都是同一类型的，或者也可以是不同类型的，例如一小部分滤波器为扩展卡尔曼滤波器而其余部分可以是无迹卡尔曼滤波器。在已确定所述偏差后，所述处理器可以纠正或调整来自所述传感器的数据以反映所述传感器相对于彼此的新确定的位置(404)。可以在所述无人飞行器处于操作中时(例如，当无人飞行器飞行时)进行所述数据的调整。图4中所描述的步骤可以由包括所述传感器和所述处理器的装置来执行。所述装置可以连接于所述无人飞行器。
所述处理器，或处理器的系统，其可安装于所述无人飞行器上或在远离所述无人飞行器的位置处，且可与所述无人飞行器进行有线或无线通信，可以用来检测一个或多个传感器的空间配置相对于初始空间配置的偏差。空间配置的偏差的检测可能涉及传感器数据的一个或多个统计方法的应用。可以用于检测空间配置的偏差的统计方法的一个例子是马氏距离法。
所述处理器可以使用图5所示的方法来检测一个或多个传感器在空间配置上的差异。所述处理器可以从所述无人飞行器的一个或多个机载传感器接收数据(501)。所述传感器可具有相对于彼此不同的空间方向，使得每个传感器的数据可具有不同的相对坐标系。为了解读所述的数据，可优选地将所述数据转换为一致的统一参考坐标系。所述参考坐标系可以是任意的坐标系或可以是其中一个传感器的相对坐标系，例如惯性测量单元(IMU)的坐标系。所述处理器可以选择参考坐标系以在解释数据之前在所述参考坐标系中转换数据(502)。可以在所述无人飞行器起飞前或飞行时选择所述参考坐标系。所述参考坐标系在所述无人飞行器处于操作状态的整个期间是一致的或其可以随时间而变化。在某些情况下，所述惯性测量单元的相对坐标系可以被选为参考坐标系。所述处理器可以收集传感器数据并在统一的参考坐标系中显示所有的数据(503)。在数据被转换到统一的参考坐标系之后，可以分析所述数据以检测一个或多个传感器在空间配置上的差异(504)。一个差异可表示一个或多个传感器之间的预期或预测的空间配置上的误差。所检测到的差异可表明所述传感器或多个传感器需要重新标定。
所述一个或多个传感器在空间配置上的差异的检测可使用一个或多个统计方法进行。在一个例子中，所述一个或多个传感器在空间配置上的差异的检测可以采用马氏距离法。所述马氏距离法可以在不同传感器的测量已被转换到统一的参考坐标系后，比较不同传感器的测量。所述处理器可以使用马氏距离的方法通过在统一参考坐标系中不同传感器的测量之间产生协方差矩阵来检测差异。随着处理器从所述传感器接收测量数据，可以实时地更新所述协方差矩阵。所述处理器可以计算在统一参考坐标系中的不同传感器的测量之间的马氏距离。如果马氏距离超过预设阈值，所述马氏距离可以表示所述传感器异常，其可表示所述传感器已经偏移其初始标定。用于表示误差的马氏距离的预设阈值可以至少为1、2、3、4、5、6、7、8、9、10、15或20。所述阈值对于所有的传感器来说可以是统一数值或所述阈值的值可以针对每个传感器而变化。所述阈值可以是固定的或相对于一个独立的变量(例如所述无人飞行器行驶的时间或距离)是可以改变的。
由大于预定阈值的马氏距离的计算所表示的差异的检测可以启动具有所检测差异的传感器的重新标定。传感器远离所述传感器的初始方向到新的空间方向的移动可以引起差异检测。传感器在无人飞行器起飞和降落期间，以及在飞行时由于所述无人飞行器的振动或在飞行时由于与另一物体的交互(例如，与动物或昆虫的交互，与自然特征如树，悬崖，瀑布的交互，或与另一无人飞行器的交互)时会移动。
所述传感器的重新标定可能需要一个确定所述传感器的新的空间方向的步骤。所述传感器的新的空间方向可以使用一个或多个卡尔曼滤波器进行确定。所述卡尔曼滤波器可以是扩展卡尔曼滤波器或无迹卡尔曼滤波器。所述卡尔曼滤波器确定的新的空间方向可以用于更新一个或多个传感器的外部特性，其可以对应于具有检测到的差异的所述传感器或多个传感器的空间方向。所更新的外部特性可以用于调整来自传感器或多个传感器的数据。
所述卡尔曼滤波器可以使用一种递归方法连续地更新所述传感器标定。所述卡尔曼滤波器可以使用来自传感器的测量数据和测量数据之间的约束作为测量公式。
所有的传感器可以使用单一的卡尔曼滤波器来实现标定。备选地，所述标定可以通过将多个相互平行的卡尔曼滤波器连接来实现。并行结构中的每个卡尔曼滤波器可以独立于其他的滤波器。每个卡尔曼滤波器可以为一个或多个传感器进行标定。在所述卡尔曼滤波器负责不止一个传感器的标定的情况下，由所述卡尔曼滤波器标定的传感器可以是相关的。并行的卡尔曼滤波器可以提高系统的可扩展性。此外，并行的卡尔曼滤波器可以提高系统的可扩展性，也可以在减少标定所述传感器所需要的计算资源的同时提高反应速度。
图6示出可以用本文所描述的系统执行的传感器标定的方法的一个例子。所述方法的第一步骤可以是获取无人飞行器上一个或多个传感器的数据(601)。所述数据可以由处理器收集，所述处理器可以在所述无人飞行器上，也可以在不在所述无人飞行器上的位置上，当不在所述无人飞行器上时，所述处理器可以与所述无人飞行器无线通信或通过有线连接进行通信。所述处理器可以将所述传感器分组为一个或多个子集，每个子集具有至少有两个传感器(602)。每个子集可以包含一组测量传感器。所述子集可以额外地具有一个参考传感器，每个子集的所述参考传感器可以是相同的或每个子集具有一个唯一的参考传感器。所述传感器的子集可以是相关的传感器，例如其可以是具有相关功能的传感器。每个子集可以包括测量传感器的一个不同子集，这样每个子集是离散的且所述测量子集之间没有重叠。例如，如果有五个传感器A、B、C、D和E，可以使用这些传感器产生两个子集。子集1可以包括传感器A和B，而子集2可以包括传感器C、D和E。子集1包括A、B和C及子集2包括A、D和E这样的分组是不允许的，因为传感器A被包含在两个子集中。当将传感器分组为子集后，下一步可以是基于来自传感器的数据计算所述传感器之间预期的空间关系(603)。接下来，可利用至少一个卡尔曼滤波器来确定所述传感器之间的实际空间关系(604)。每个子集可以有至少一个卡尔曼滤波器以使用传感器数据进行计算。在最后的步骤中，可以使用处理器计算一个或多个传感器的空间配置(605)。所述传感器的空间配置的计算可以基于一个或多个卡尔曼滤波器所确定的在子集中的传感器之间的实际空间关系进行确定。
无人飞行器可以包含多个不同类型的传感器。所述多个传感器可以进一步组织成传感器的分组或子集；每个子集包括至少两个传感器，其包括一个参考传感器和一个或多个测量传感器。每个子集可以包括测量传感器的一个不同子集，这样每个子集是离散的且所述测量子集之间没有重叠。所有的子集可具有一个统一的参考传感器。例如，可以相对于惯性测量单元来分析所有的子集，而所述惯性测量单元可被选为参考传感器。备选地，每个子集可具有一个不同的参考传感器。每个子集的至少一个卡尔曼滤波器可以基于传感器数据确定每个子集中至少两个传感器之间的实际空间关系。多个卡尔曼滤波器可以并行工作来确定多个子集中传感器之间的实际空间关系。可以执行额外的计算以基于每个子集中的至少两个传感器之间的实际空间关系来确定所述多个传感器相对彼此的空间配置。
图7图表式地描述了可能的系统架构的一个例子。在顶层，所述系统可以包括传感器或传感器子集的系统(701)。其中一个传感器可被指定为参考传感器(701a)。剩下的测量传感器(710b)可以收集在相对坐标系中的数据，所述相对坐标系不同于所述参考传感器(710a)的相对坐标系。所述测量传感器(701b)的测量(702)可以在层703转化为参考传感器701a的坐标系。当每个子集的数据转换后，其可代入卡尔曼滤波器(704)。每个子集的滤波器可以将数据代入到不同的卡尔曼滤波器(704)。所述卡尔曼滤波器可以确定在每个子集中传感器的准确的空间关系(705)，然后确定系统中传感器的准确的关系(706)。卡尔曼滤波器可以并联。
传感器可以由卡尔曼滤波器通过首先建立一个描述系统运动的动态公式与一个选定的传感器和参考传感器之间的转换公式来标定。所述系统运动的动态公式可能主要取决于惯性测量单元的数据，其包括系统的加速度和角加速度。接下来，可以确定所述卡尔曼滤波器的初始状态，例如从出厂设置确定。所述初始状态可由状态变量矢量和协方差矩阵描述。对于内感受传感器(例如，IMU)，所测量的数据可以直接读取，对于外感受传感器(如相机)，所测量的数据可以基于先前时间步骤的外部参数通过选择合适的观察点来获得。最后一步，卡尔曼滤波器的状态可以通过将所述测量数据代入到所述卡尔曼滤波器中的一个更新公式中来进行更新。所述更新公式可以取决于所述卡尔曼滤波器的类型(例如扩展型或无迹型)。
图8图表式地显示可能的系统架构的另一个例子。所述系统可以具有多个传感器，所述多个传感器可以分组为多个子集。每个子集可能具有一个参考传感器。一个参考传感器可以被用于一个或多个子集。在图8所示的例子中，左侧的相机801和惯性测量单元802可以是参考传感器。剩余的传感器(例如，右侧的相机、GPS和超声波)可以是测量传感器803。与图7概述的过程类似，每个传感器的测量可以转化至相应的参考坐标系统804。所述转化的测量可以使用卡尔曼滤波器来连续地标定(805)。所述卡尔曼滤波器可以是无迹卡尔曼滤波器或扩展卡尔曼滤波器。所述卡尔曼滤波器可以确定在子集中所述传感器的准确的空间关系(806)，然后确定所述系统中传感器的准确关系(807)。
本文所描述的系统，装置及方法可以适用于各种各样的可移动物体。如前所述，本文有关飞行器的任何描述，例如无人飞行器，可以适用于以及用于任何可移动物体。本文对飞行器的任何描述可特别应用于无人飞行器。本发明中可移动物体可以配置为在任何合适的环境中移动，如在空气中(例如，固定翼飞行器、旋转翼飞行器或既没有固定翼也没有旋转翼的飞行器)、在水中(例如，船或潜艇)、在陆地上(例如，机动载运工具，如汽车、卡车、客车、货车、摩托车、自行车；可移动的结构或框架如棒、钓鱼竿；或火车)、在地面下(例如，地铁)、在太空(例如，太空飞机、卫星或探测器)，或这些环境的任何组合。所述可移动物体可以是载运工具，如本文其他地方所描述的载运工具。在一些实施例中，所述可移动物体可以被一个生物携带，或可以是被一生物所抛出的物体，例如，人类或动物。任选地，适当的动物可以包括鸟类动物、犬科动物、猫科动物、马科动物、牛科动物、羊属动物、猪科动物、豚科动物、啮齿类动物、昆虫类动物。
所述可移动物体可以在环境中相对于六个自由度进行自由移动(例如，三个平移的自由度和三个旋转的自由度)。备选地，可移动物体的移动可以是受限于一个或多个自由度，如被预定的路径、跟踪或方向限定。所述移动可以由任何合适的致动机构而致动，如引擎或马达。所述可移动物体的致动机构可以任何合适的能源作为动力，例如电能、磁能、太阳能、风能、重力能、化学能、核能，或上述任何合适的组合。如本文其他地方所述，所述可移动物体可以通过动力系统进行自动力。所述动力系统任选地利用如下能源来运作，如电能、磁能、太阳能、风能、重力能、化学能、核能，或上述任何合适的组合。备选地，可移动物体可以被一个生物携带。
在一些实例中，所述可移动物体可以是飞行器。例如，所述飞行器可以是固定翼飞行器(例如，飞机、滑翔机)、旋转翼飞行器(例如，直升机、旋翼机)或没有固定翼和旋转翼的飞行器(如，飞艇、热气球)。飞行器可以是自动力的，如通过空气自动力。自动力式的飞行器可以利用一个动力系统，如包括一个或多个引擎、马达、轮子、轮轴、磁铁、转子、螺旋桨、桨叶、喷嘴，或上述任何合适组合的动力系统。在一些实例中，所述动力系统可以用于使可移动物体从一个表面起飞、着陆到一个表面上、保持其当前位置和/或方向(例如，悬停)、改变方向和/或改变位置。
所述可移动物体可以由用户进行远程控制或由可移动物体内或上的乘客进行本地控制。所述可移动物体可以通过在单独的载运工具内的乘员进行远程控制。在一些实施例中，所述可移动物体是无人的可移动物体，如无人飞行器。无人驾驶的可移动物体，如无人飞行器，所述可移动物体上可能没有乘客。所述可移动物体可以由一个人或一个自主控制系统(例如，计算机控制系统)或任何合适的组合控制。所述可移动物体可以是自主式的或半自主的机器人，如配置有人工智能的机器人。
所述可移动物体可以有任意合适的大小和/或尺寸。在一些实施例中，所述可移动物体可以具有允许人类乘客在载运工具内或载运工具上的大小和/或尺寸。备选地，所述可移动物体可以具有小于允许人类乘客在载运工具内或载运工具上的大小和/或尺寸。所述可移动物体可以具有适合被人类举起或携带的大小和/或尺寸。备选地，所述可移动物体可以大于适合被人类举起或携带的大小和/或尺寸。在一些实例中，可移动物体可以有小于或等于约2cm、5cm、10cm、50cm、1m、2m、5m或10m的最大尺寸(例如长度、宽度、高度、直径、对角线)。所述最大尺寸可以大于或等于约2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对转子的轴之间的距离可以小于或等于约2cm、5cm、10cm、50cm、1m、2m、5m或10m。备选地，所述相对转子的轴之间的距离可以大于或等于约2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施例中，所述可移动物体可以具有小于100cm×100cm×100cm、小于50cm×50cm×30cm或小于5cm×5cm×3cm的体积。所述可移动物体的总体积可以是小于或等于约1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10，000cm3、100，000cm3、1m3或10m3。相反地，所述可移动物体的总体积可以大于或等于约1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些实施例中，所述可移动物体可能具有小于或等于约32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2的占地面积(可能是指可移动物体所包含的横截面面积)。相反地，所述占地面积可以大于或等于约32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些实例中，可移动物体的重量可能不超过1000kg。所述可移动物体的重量可以小于或等于1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地，所述重量可以大于或等于1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施例中，可移动物体相对于其携带的负载是比较小的。所述负载可以包括搭载物和/或载具，本文其他地方会作进一步地详细描述。在一些例子中，可移动物体的重量与负载重量的比值可以大于、小于或等于约1:1。任选地，载具重量与负载重量的比值可以大于、小于或等于约1:1。需要时，可移动物体的重量与负载重量的比值可小于或等于约1:2、1:3、1:4、1:5、1:10或甚至更少。相反地，可移动物体的重量与负载重量的比值可以大于或等于约2:1、3:1、4:1、5:1、10:1或甚至更大。
在一些实施方式中，可移动物体可具有低能耗。例如，所述可移动物体可以使用小于约5W/h、4W/h、3W/h、2W/h、1W/h或更少的能耗。在一些实例中，可移动物体的载具可具有低能耗。例如，所述载具可以使用小于约5W/h、4W/h、3W/h、2W/h、1W/h或更少的能耗。任选地，所述可移动物体的搭载物可具有低能耗，如低于约5W/h、4W/h、3W/h、2W/h、1W/h或更少的能耗。
图9说明根据本发明实施方式的无人飞行器(UAV)900。所述无人飞行器可以作为本文所描述的可移动物体的一个例子。所述无人飞行器900可以包括具有四个转子902、904、906和908的动力系统。可以设置任何数量的转子(例如，一个、两个、三个、四个、五个、六个或更多)。所述无人飞行器的转子、转子组件或动力系统可使无人飞行器悬停/保持位置、改变朝向和/或改变位置。相对转子的轴之间的距离可以是任何合适的长度910。例如，所述长度910可以小于等于2m或小于等于5m。在一些实施方式中，所述长度910可以在从40cm到1m、从10cm到2m或从5cm到5m的范围内。本文关于无人飞行器的任何描述可以适用于可移动物体，例如不同类型的可移动物体，反之亦然。所述无人飞行器可以使用本文所描述的辅助起飞系统或方法。
在一些实施方式中，可移动物体可以配置为携带一个负载。所述负载可包括一个或更多的乘客、货物、设备、仪器等。所述负载可以设置在一个外壳内。所述负载可以与可移动物体的外壳分离，或是可移动物体的外壳的一部分。备选地，所述负载可以与外壳一同提供而所述可移动物体不具有外壳。备选地，所述负载的部分或整个负载可以没有外壳。所述负载相对于可移动物体可以是刚性地固定的。任选地，所述负载相对于可移动物体可以是可移动的(例如，可相对于可移动物体平移或旋转)。所述负载可以包括搭载物和/或载具，如本文其他地方所描述的。
在一些实施方式中，相对于固定参考框架(例如，周围的环境)和/或相对于彼此的可移动物体、载具和/或搭载物的移动是可以通过终端控制的。所述终端可以是远离所述可移动物体、载具和/或搭载物的远程控制装置。所述终端可以设置或固定在支撑平台上。备选地，所述终端可以是手持式或可穿戴式装置。例如，终端可以包括智能手机、平板电脑、笔记本电脑、计算机、眼镜、手套、头盔、麦克风或上述适合的组合。所述终端可以包括用户接口，诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入可以用于与终端进行交互，例如，手动输入的命令、语音控制、手势控制或位置控制(例如，通过终端的移动、位置或者倾斜)。
所述终端可以用来控制可移动物体、载具和/或搭载物的任何合适的状态。例如，所述终端可以用来控制相对于固定参考和/或相对于彼此的可移动物体、载具和/或搭载物的位置和/或朝向。在一些实施方式中，所述终端可以用来控制可移动物体、载具和/或搭载物的单个部件，例如所述载具的驱动组件、所述搭载物的传感器或所述搭载物的发射体。所述终端可以包括无线通信装置，其适用于与一个或多个可移动物体、载具和/或搭载物通信。
所述终端可以包括合适的显示单元以查看可移动物体、载具和/或搭载物的信息。例如，所述终端可用于显示可移动物体、载具和/或搭载物的与位置、平移速度、平移加速度、朝向、角速度、角加速度或上述任何合适的组合相关的信息。在一些实施方式中，所述终端可以显示搭载物所提供的信息，如功能性的搭载物所提供的数据(例如，相机或其他图像获取设备装置所记录的图像)。
任选地，同一个终端可以同时控制可移动物体、载具和/或搭载物，或可移动物体、载具和/或搭载物的状态，以及从可移动物体、载具和/或搭载物接收和/或显示信息。例如，终端可以控制所述搭载物相对于环境的定位，而同时显示搭载物获取的图像数据或有关搭载物的位置信息。备选地，不同的终端可用于不同的功能。例如，第一终端可以控制可移动物体、载具和/或搭载物的移动或状态，而第二终端可以从可移动物体、载具和/或搭载物接收和/或显示信息。例如，第一终端可用于控制所述搭载物相对于环境的定位而第二终端显示搭载物获取的图像数据。可移动物体与集成终端之间可以利用多种通信模式以同时控制可移动物体和接收数据，或在所述可移动物体与多个终端之间同时控制可移动物体和接收数据。例如，可以在可移动物体和所述终端之间形成至少两种不同的通信模式以控制可移动物体和从可移动物体接收数据。
图10说明根据本发明实施例的包括载具1002和搭载物1004的可移动物体1000。虽然可移动物体1000被描绘成飞行器，这个描述并不是限制性的，且如先前所描述的，其他任何合适类型的可移动物体都可以使用。本领域技术人员应了解，本文所描述的任何实施例中所描述的飞行器系统的情形可以应用于任何合适的可移动物体(例如，UAV)。在一些实例中，搭载物1004可以提供在可移动物体1000上而不需要所述载具1002。可移动物体1000可以包括动力机构1006，感测系统1008，和通信系统1010。
所述动力机构1006可以包括如前所述一个或多个转子、螺旋桨、桨叶、引擎、马达、轮子、轮轴、磁铁或喷嘴。可移动物体可以有一个或更多、两个或更多、三个或更多或四个或更多的动力机构。所述动力机构可以都是同一类型的。备选地，一个或更多的动力机构可以是不同类型的动力机构。所述动力机构1006可以使用适当的方法安装在可移动物体1000上，如本文其他地方所描述的支撑元件(例如，驱动轴)。所述动力机构1006可安装在可移动物体1000任何合适的部分，例如在顶部、底部、前端、后端、侧面或上述的适当组合。
在一些实施例中，上述动力机构1006可以使可移动物体1000从一个表面垂直起飞或垂直降落于一个表面上而无需可移动物体1000任何的水平运动(例如，不需要沿着飞机跑道而下)。任选地，可操作所述动力机构1006以允许可移动物体1000在空中悬停在指定的位置和/或朝向。可以独立地控制一个或多个动力机构1000而与其它动力机构无关。备选地，所述动力机构1006可配置为被同时控制。例如，可移动物体1000可以有多个水平定向转子，其可以为可移动物体提供升力/推力。可以驱动所述多个水平定向转子从而为可移动物体1000提供垂直起飞，垂直降落，和悬停的能力。在一些实施方式中，一个或多个的水平定向转子可以顺时针方向旋转，而一个或多个水平转子可以逆时针方向旋转。例如，顺时针旋转的转子的数量可以与逆时针旋转的转子的数量相等。为了控制每个转子所产生的升力/推力，每个水平定向转子的旋转速度可以独立变化，从而调整可移动物体1000的空间布局，速度和/或加速度(例如，关于多达三个自由度的平移和多达三个自由度的旋转)。
所述感测系统1008可以包括一个或多个传感器，其可以感测可移动物体1000的空间布局、速度和/或加速度(例如，关于多达三个自由度的平移和多达三个自由度的旋转)。所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、距离传感器或图像传感器。所述感测系统1008提供的感测数据可以用来控制可移动物体1000的空间布局、速度和/或朝向(例如，如下所述使用合适的处理单元和/或控制模块)。备选地，所述感测系统1008可以用于提供关于可移动物体的周围环境的数据，例如天气条件、到潜在障碍物的距离、地理特征的位置、人造结构的位置等。
所述通信系统1010能够通过无线信号1016与具有通信系统1014的终端1012进行通信。所述通信系统1010，1014可以包括适用于无线通信的任何数量的发射器、接收器和/或收发器。所述通信可以是单向通信，这样可使得数据可以只在一个方向传输。例如，单向通信可能只涉及所述可移动物体1000将数据传输到终端1012，或反之亦然。数据也可以从所述通信系统1010的一个或多个发射器传输到所述通信系统1014的一个或多个接收器，或反之亦然。备选地，所述通信可以是双向通信，这样可以使得数据可以在可移动物体1000和所述终端1012之间双向传送。双向通信可涉及所述通信系统1010的一个或多个发射器传输数据到所述通信系统1014的一个或多个接收器，及反之亦然。
在一些实施例中，所述终端1012可以将控制数据提供给一个或多个可移动物体1000、载具1002和/或搭载物1004，以及从一个或多个可移动物体1000、载具1002和/或搭载物1004接收信息(例如，可移动物体、载具和/或搭载物的位置和/或运动信息；搭载物所感测到的数据如搭载物相机所获取的图像数据)。在一些实例中，来自终端的控制数据可以包括可移动物体、载具和/或搭载物的相对位置、移动、致动或控制的指令。例如，所述控制数据会导致在可移动物体的位置和/或朝向上的改变(例如，通过动力机构1006的控制)，或搭载物关于可移动物体的移动(例如，通过载具1002的控制)。所述终端的控制数据会导致对搭载物的控制，如相机或其他图像获取设备操作的控制(例如，拍摄静止的或移动的图片、缩放、打开或关闭、切换图像模式、改变图像的分辨率、改变焦点、改变景深、改变曝光时间、改变观察视角或视野)。在一些实例中，可移动物体、载具和/或搭载物的通信可包括来自(例如，感测系统1008的或搭载物1004的)一个或多个传感器的信息。所述通信可以包括从一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、距离传感器、图像传感器)获取的感测信息。这些信息可能会涉及到可移动物体、载具和/或搭载物的位置(例如，位置、朝向)、运动或加速度。搭载物的这类信息可以包括搭载物获取的数据或搭载物的感测状态。终端1012传输的控制数据可以被配置为用于控制一个或多个可移动物体1000、载具1002或搭载物1004的状态。备选地或组合地，所述载具1002和搭载物1004也可各包括一个配置用于与终端1012通信的通信模块，这样可以使得终端能够独立地与每个可移动物体1000、载具1002和/或搭载物1004进行通信和控制。
在一些实施例中，所述可移动物体1000可以配置为与终端1012以及另一个远程设备进行通信，或与所述终端1012之外的另一个远程装置进行通信。所述终端1012也可以配置为既与另一个远程设备通信又与所述可移动物体1000通信。例如，所述可移动物体1000和/或所述终端1012可以与另一个可移动物体进行通信，或另一个可移动物体的载具或搭载物进行通信。需要时，所述远程设备可以是第二终端或其他计算设备(例如，电脑、笔记本电脑、平板电脑、智能手机或其他移动设备)。所述远程装置可以用于将数据传输到可移动物体1000、从可移动物体1000接收数据、将数据传输到终端1012和/或从终端1012接收数据。任选地，所述远程装置可以连接到互联网或其他通信网络，使得从可移动物体1000和/或终端1012接收的数据可以上传到网站或服务器。
图11是根据本发明实施方式的控制可移动物体的系统1100的示意性方块图。所述系统1100可以与本文所揭露的系统、装置和方法的任何合适的实施例结合使用。所述系统1100包括感测模块1102，处理单元1104，非暂时性计算机可读介质1106，控制模块1108，以及通讯模块1110。
所述感测模块1102可以使用不同类型的传感器来以不同的方式收集有关可移动物体的信息。不同类型的传感器可以感测不同类型的信号或不同来源的信号。例如，所述传感器可以包括惯性传感器、GPS传感器、距离传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块1102可以可操作地连接到具有多个处理器的处理单元1104。在一些实施例中，所述感测模块1102可以可操作地耦合到传输模块1112(例如，Wi-Fi图像传输模块)，用于直接传输感测数据到合适的外部装置或系统。例如，所述传输模块1112可用于将所述感测模块1102的相机拍摄的图像传输到远程终端。
所述处理单元1104可以具有一个或多个处理器，如可编程的处理器(例如，中央处理器(CPU))。所述处理单元1104可以可操作地耦合到非暂时性计算机可读介质1106。所述非暂时性计算机可读介质1106可以存储能够被处理单元1104所执行的逻辑、代码和/或程序指令以执行一个或多个步骤。所述非暂时性计算机可读介质可以包括一个或多个存储单元(例如，可移动介质或外部存储，如SD卡或随机存取存储器(RAM))。在一些实施例中，所述感测模块1102的数据可以直接地传送到并存储在所述非暂时性计算机可读介质的1106的存储单元内。所述非暂时性计算机可读介质1106的存储单元可以存储能够被处理单元1104所执行的逻辑、代码和/或程序指令以执行本文所描述的方法的任何合适的实施方式。例如，所述处理单元1104可以用于执行使得所述处理单元1104的一个或多个处理器分析感测模块产生的感测数据的指令。所述存储单元可以存储由处理单元1104处理的来自所述感测模块的感测数据。在一些实施例中，所述非暂时性计算机可读介质1106的存储单元可以用来存储处理单元1104产生的处理结果。
在一些实施例中，所述处理单元1104可以可操作地耦合到控制模块1108，其配置成控制所述可移动物体的状态。例如，所述控制模块1108可以配置为控制可移动物体的动力机构以调整可移动物体关于六个自由度的空间布局、速度和/或加速度。备选地或组合地，所述控制模块1108可以控制一个或多个载具、搭载物或感测模块的状态。
所述处理单元1104可以可操作地耦合到通信模块1110，用于向和/或从一个或多个外部装置(例如，终端、显示装置或其他远程控制器)发送和/或接收数据。可以使用任何合适的通信方法，如有线通信或无线通信。例如，所述通信模块1110可利用一个或多个局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等。任选地，可以使用中继站，如信号塔、卫星或移动站。无线通信可以是不独立地接近或独立地接近。在一些实施例中，通信可以需要也可以不需要视线。所述通信模块1110可以向和/或从一个或多个感测模块1102发送和/或接收一个或多个感测数据、处理单元1104产生的处理结果、预定的控制数据、终端或远程控制器的用户命令等。
所述系统1100的组件可以任意合适的配置进行布置。例如，所述系统1100的一个或多个组件可以定位于可移动物体、载具、搭载物、终端、感测系统或与上述一个或多个通信的额外外部装置上。此外，尽管图11示出了单一的处理单元1104和单一的非暂时性计算机可读介质1106，本领域技术人员应了解这并不具限制性，并且所述系统1100可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施例中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同位置，例如在可移动物体、载具、搭载物、终端、感测模块、与上述一个或多个通信的额外外部装置，或上述的适当组合上，以使得由系统1100执行的处理和/或存储功能的任何合适的方面可以发生在一个或多个前述的位置处。
尽管本文中已经示出且描述了本发明的优选实施方式，但本领域技术人员将显而易见，这些实施方式只是通过举例的方式来提供的。本领域技术人员在不脱离本发明的情况下目前可以想到众多变化、修改和替换。应了解，本文所述的本发明实施方式的各种替代选择可用于实施本发明。所附权利要求书意在界定本发明的范畴并且因此涵盖属于这些权利要求和其等效形式的范畴内的方法和结构。

Claims (114)

1.一种在线传感器标定的方法，所述方法包括：
当无人飞行器(UAV)在飞行时，从连接于所述无人飞行器的多个不同类型的传感器获取传感器数据，其中所述多个传感器具有相对于彼此的初始空间配置；
借助处理器，基于所述传感器数据来检测所述多个传感器从所述初始空间配置到随后的空间配置相对于彼此的空间配置变化；
确定所述随后的空间配置；以及
当所述无人飞行器在飞行时，基于所述随后的空间配置调整来自所述多个传感器中至少一个传感器的数据。
2.如权利要求1所述的方法，其中所述多个不同类型的传感器包括以下至少两个：视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。
3.如权利要求2所述的方法，其中所述多个传感器中的至少一个是惯性传感器。
4.如权利要求3所述的方法，其中来自所述多个传感器的所述传感器数据是由所述惯性传感器相关的坐标系提供的。
5.如权利要求1所述的方法，其中所述初始空间配置包括所述多个传感器中的每一个相对于彼此的初始位置和初始方向。
6.如权利要求5所述的方法，其中所述空间配置变化包括所述多个传感器中的至少一个相对于所述多个传感器中的其他传感器的所述初始位置和/或所述初始方向的变化。
7.如权利要求1所述的方法，其中在所述无人飞行器起飞之前提供所述初始空间配置。
8.如权利要求1所述的方法，其中在所述无人飞行器飞行期间提供所述初始空间配置。
9.如权利要求1所述的方法，其中所述空间配置变化是由所述无人飞行器的移动引起的。
10.如权利要求9所述的方法，其中所述空间配置变化是由所述无人飞行器的振动引起的。
11.如权利要求1所述的方法，进一步包括：借助所述处理器，使用多个卡尔曼滤波器来确定所述随后的空间配置，其中所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器和/或无迹卡尔曼滤波器。
12.如权利要求1所述的方法，其中所述处理器机载于所述无人飞行器上。
13.如权利要求11所述的方法，其中所述处理器位于在所述无人飞行器飞行时与所述无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。
14.一种用于在线传感器标定的装置，所述装置包括：
(a)多个不同类型的传感器，其(i)连接于无人飞行器(UAV)，且(ii)用于当所述无人飞行器飞行时提供传感器数据，其中所述多个传感器具有相对于彼此的初始空间配置；以及
(b)一个或多个处理器，其单独地或全体地用于(i)基于所述传感器数据来检测所述多个传感器从所述初始空间配置到随后的空间配置相对于彼此的空间配置变化；(ii)确定所述随后的空间配置；和(iii)当所述无人飞行器在飞行时，基于所述随后的空间配置调整来自所述多个传感器中至少一个传感器的数据。
15.如权利要求14所述的装置，其中所述多个不同类型的传感器包括以下至少两个：视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。
16.如权利要求15所述的装置，其中所述多个传感器中的至少一个是惯性传感器。
17.如权利要求16所述的装置，其中所述多个传感器的所述传感器数据是由所述惯性传感器相关的坐标系提供的。
18.如权利要求14所述的装置，其中所述初始空间配置包括所述多个传感器中的每一个相对于彼此的初始位置和初始方向。
19.如权利要求18所述的装置，其中所述空间配置变化包括所述多个传感器中的至少一个相对于所述多个传感器中的其他传感器的所述初始位置和/或所述初始方向的变化。
20.如权利要求14所述的装置，其中在所述无人飞行器起飞之前提供所述初始空间配置。
21.如权利要求14所述的装置，其中在所述无人飞行器飞行期间提供所述初始空间配置。
22.如权利要求14所述的装置，其中所述空间配置变化是由所述无人飞行器的移动引起的。
23.如权利要求22所述的装置，其中所述空间配置变化是由所述无人飞行器的振动引起的。
24.如权利要求14所述的装置，其中所述一个或多个处理器使用多个卡尔曼滤波器来确定所述随后的空间配置，所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器和/或无迹卡尔曼滤波器。
25.如权利要求14所述的装置，其中所述一个或多个处理器机载于所述无人飞行器上。
26.如权利要求14所述的装置，其中所述一个或多个处理器位于在所述无人飞行器飞行时与无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。
27.一种传感器标定的方法，所述方法包括：
从连接于无人飞行器(UAV)的多个不同类型的传感器获得传感器数据；
选择参考坐标系；
借助处理器，基于所述传感器之间的预测空间关系，在所述参考坐标系中显示所述多个传感器的所述传感器数据；
借助所述处理器检测所述多个传感器之间的所述传感器数据的差异，所述差异表示所述传感器之间在所述预测空间关系中的误差；
确定实际空间配置；以及
基于所述实际空间配置调整来自所述多个传感器中至少一个传感器的数据。
28.如权利要求27所述的方法，其中所述多个不同类型的传感器包括以下至少两个：视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。
29.如权利要求28所述的方法，其中所述多个传感器中的至少一个是惯性传感器。
30.如权利要求29所述的方法，其中所述参考坐标系是与所述惯性传感器相关的坐标系。
31.如权利要求27所述的方法，其中所述传感器之间的所述预测空间关系是基于所述传感器的初始空间配置在配置上的预测空间变化，所述初始空间配置包括所述多个传感器中的每一个相对于彼此的初始位置和初始方向。
32.如权利要求31所述的方法，其中在所述无人飞行器起飞之前提供所述初始空间配置。
33.如权利要求31所述的方法，其中在所述无人飞行器飞行期间提供所述初始空间配置。
34.如权利要求27所述的方法，其中所述传感器之间的所述预测空间关系包括所述传感器相对于彼此的相对空间位置和相对空间方向。
35.如权利要求27所述的方法，进一步包括：借助所述处理器，使用多个卡尔曼滤波器来确定所述随后的空间配置，其中所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器和/或无迹卡尔曼滤波器。
36.如权利要求27所述的方法，其中所述处理器机载于所述无人飞行器上。
37.如权利要求27所述的方法，其中所述处理器位于在所述无人飞行器飞行时与所述无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。
38.如权利要求27所述的方法，其中在所述无人飞行器处于操作中时确定所述传感器的所述实际空间配置。
39.如权利要求38所述的方法，其中在所述无人飞行器飞行时确定所述传感器的所述实际空间配置。
40.如权利要求27所述的方法，其中在所述无人飞行器处于操作中时调整来自所述多个传感器的所述数据。
41.如权利要求27所述的方法，其中基于所述实际空间配置调整的所述数据是由视觉传感器所获取的图像数据。
42.一种用于传感器标定的装置，所述装置包括：
(a)多个不同类型的传感器，其(i)连接于无人飞行器(UAV)，且(ii)用于提供传感器数据；以及
(b)一个或多个处理器，其单独地或全体地用于：
(i)选择参考坐标系；
(ii)基于所述传感器之间的预测空间关系，在所述参考坐标系中显示来自所述多个传感器的所述传感器数据；
(iii)检测所述多个传感器之间的所述传感器数据的差异，
所述差异表示所述传感器之间在所述预测空间关系中的误差；
(iv)确定实际空间配置；以及
(v)基于所述实际空间配置调整来自所述多个传感器中至少一个传感器的数据。
43.如权利要求42所述的装置，其中所述多个不同类型的传感器包括以下至少两个：视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。
44.如权利要求43所述的装置，其中所述多个传感器中的至少一个是惯性传感器。
45.如权利要求44所述的装置，其中所述参考坐标系是与所述惯性传感器相关的坐标系。
46.如权利要求42所述的装置，其中所述传感器之间的所述预测空间关系是基于所述传感器的初始空间配置在配置上的预测空间变化，所述初始空间配置包括所述多个传感器中的每一个相对于彼此的初始位置和初始方向。
47.如权利要求46所述的装置，其中在所述无人飞行器起飞之前提供所述初始空间配置。
48.如权利要求46所述的装置，其中在所述无人飞行器飞行期间提供所述初始空间配置。
49.如权利要求42所述的装置，其中所述传感器之间的所述预测空间关系包括所述传感器相对于彼此的相对空间位置和相对空间方向。
50.如权利要求42所述的装置，其中所述一个或多个处理器使用多个卡尔曼滤波器来确定所述随后的空间配置，所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器和/或无迹卡尔曼滤波器。
51.如权利要求42所述的装置，其中所述一个或多个处理器机载于所述无人飞行器上。
52.如权利要求42所述的装置，其中所述一个或多个处理器位于在所述无人飞行器飞行时与所述无人飞行器通信的装置上且所述装置所述无人飞行器外部。
53.如权利要求42所述的装置，其中在所述无人飞行器处于操作中时确定所述传感器的所述实际空间配置。
54.如权利要求53所述的装置，其中在所述无人飞行器飞行时确定所述传感器的所述实际空间配置。
55.如权利要求42所述的装置，其中在所述无人飞行器处于操作中时调整来自所述多个传感器中所述至少一个的所述数据。
56.如权利要求42所述的装置，其中基于所述实际空间配置调整的所述数据是由视觉传感器所获取的图像数据。
57.一种传感器标定的方法，所述方法包括：
从连接于无人飞行器(UAV)的多个不同类型的传感器获得传感器数据；
借助处理器，将所述多个传感器分组为多个子集，每个子集具有(i)至少两个传感器，以及(ii)不同的传感器组合；
借助所述处理器，基于所述传感器数据计算每个子集中所述至少两个传感器之间的预测空间关系；
基于所述预测空间关系，确定每个子集中所述至少两个传感器之间的实际空间关系；
借助于所述处理器，基于每个子集中所述至少两个传感器之间的所述实际空间关系，计算所述多个传感器相对于彼此的空间配置。
58.如权利要求57所述的方法，其中每个子集包括一个参考传感器和一个或多个测量传感器。
59.如权利要求58所述的方法，其中每个子集的所述参考传感器是相同的。
60.如权利要求58所述的方法，其中每个子集的所述参考传感器是不同的。
61.如权利要求57所述的方法，其中所述多个不同类型的传感器包括以下至少两个：视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。
62.如权利要求61所述的方法，其中所述多个传感器中的至少一个是惯性传感器。
63.如权利要求58所述的方法，其中每个子集中所述传感器之间的所述预测空间关系是基于所述传感器的初始空间配置在配置上的预测空间变化，所述初始空间配置包括所述多个传感器中的每一个相对于彼此的初始位置和初始方向。
64.如权利要求63所述的方法，其中在所述无人飞行器起飞之前提供所述初始空间配置。
65.如权利要求63所述的方法，其中在所述无人飞行器飞行期间提供所述初始空间配置。
66.如权利要求58所述的方法，其中所述传感器之间的所述预测空间关系包括所述传感器相对于彼此的相对空间位置和相对空间方向。
67.如权利要求58所述的方法，其中所述处理器使用多个卡尔曼滤波器来确定每个子集中所述至少两个传感器之间的实际空间关系，所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器和/或无迹卡尔曼滤波器。
68.如权利要求58所述的方法，其中所述处理器机载于所述无人飞行器上。
69.如权利要求58所述的方法，其中所述处理器位于在所述无人飞行器飞行时与所述无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。
70.如权利要求58所述的方法，其中在所述无人飞行器处于操作中时确定所述传感器的所述实际空间配置。
71.如权利要求58所述的方法，其中在所述无人飞行器飞行时确定所述传感器的所述实际空间配置。
72.如权利要求58所述的方法，其中在所述无人飞行器处于操作中时调整来自所述多个传感器的所述数据。
73.如权利要求57所述的方法，进一步包括：基于所述空间配置调整所述来自多个传感器中至少一个传感器的数据，以及借助所述处理器基于每个子集中所述至少两个传感器之间的所述实际空间关系，计算所述多个传感器相对于彼此的空间配置。
74.如权利要求73所述的方法，其中基于所述实际空间配置调整的所述数据是由视觉传感器所获取的图像数据。
75.一种用于传感器标定的装置，所述设备包括：
(a)多个不同类型的传感器，其(i)连接于无人飞行器(UAV)，且(ii)用于提供传感器数据；以及
(b)一个或多个处理器，其单独地或全体地用于：
(i)将所述多个传感器分组为多个子集，每个子集具有(i)至少两个传感器，和(ii)不同的传感器组合；
(ii)基于所述传感器数据，计算每个子集中所述至少两个传感器之间的预测空间关系；
(iii)基于所述预测空间关系，确定每个子集中所述至少两个传感器之间的实际空间关系；以及
(iv)基于每个子集中所述至少两个传感器之间的所述实际空间关系，计算所述多个传感器相对于彼此的空间配置。
76.如权利要求75所述的装置，其中每个子集包括一个参考传感器和一个或多个测量传感器。
77.如权利要求76所述的装置，其中每个子集的所述参考传感器是相同的。
78.如权利要求76所述的装置，其中每个子集的所述参考传感器是不同的。
79.如权利要求75所述的装置，其中所述多个不同类型的传感器包括以下至少两个：视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。
80.如权利要求79所述的装置，其中所述多个传感器中的至少一个是惯性传感器。
81.如权利要求75所述的装置，其中每个子集中所述传感器之间的所述预测空间关系是基于所述传感器的初始空间配置在配置上的预测空间变化，所述初始空间配置包括所述多个传感器中的每一个相对于彼此的初始位置和初始方向。
82.如权利要求81所述的装置，其中在所述无人飞行器起飞之前提供所述初始空间配置。
83.如权利要求81所述的装置，其中在所述无人飞行器飞行期间提供所述初始空间配置。
84.如权利要求75所述的装置，其中所述传感器之间的所述预测空间关系包括所述传感器相对于彼此的相对空间位置和相对空间方向。
85.如权利要求75所述的装置，其中所述一个或多个处理器使用多个卡尔曼滤波器来确定每个子集中所述至少两个传感器之间的实际空间关系，所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器和/或无迹卡尔曼滤波器。
86.如权利要求75所述的装置，其中所述一个或多个处理器机载于所述无人飞行器上。
87.如权利要求75所述的装置，其中所述一个或多个处理器位于在所述无人飞行器飞行时与所述无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。
88.如权利要求75所述的装置，其中在所述无人飞行器处于操作中时确定所述传感器的所述实际空间配置。
89.如权利要求75所述的装置，其中在所述无人飞行器飞行时确定所述传感器的所述实际空间配置。
90.如权利要求75所述的设备，其中在所述无人飞行器处于操作中时调整来自所述多个传感器中所述至少一个的所述数据。
91.一种传感器标定的方法，所述方法包括：
从多个不同类型的传感器获得传感器数据；
借助处理器，将所述多个传感器分组为多个子集，每个子集具有(i)至少两个传感器，包括一个参考传感器和一个或多个测量传感器，和(ii)不同的传感器组合，其中所述多个子集的至少两个子集具有不同的参考传感器；
借助于所述处理器，基于所述传感器数据，每个子集使用至少一个卡尔曼滤波器来确定每个子集中所述至少两个传感器之间的实际空间关系；以及
借助所述处理器，基于每个子集中所述至少两个传感器之间的所述实际空间关系计算所述多个传感器相对于彼此的空间配置。
92.如权利要求91所述的方法，其中所述多个传感器连接于无人飞行器(UAV)。
93.如权利要求92所述的方法，其中所述处理器机载于所述无人飞行器上。
94.如权利要求92所述的方法，其中所述处理器位于在所述无人飞行器飞行时与所述无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。
95.如权利要求92所述的方法，其中在所述无人飞行器处于操作中时确定所述传感器的所述实际空间配置。
96.如权利要求92所述的方法，其中在所述无人飞行器飞行时确定所述传感器的所述实际空间配置。
97.如权利要求92所述的方法，其中在所述无人飞行器处于操作中时调整来自所述多个传感器的所述数据。
98.如权利要求91所述的方法，其中所述多个不同类型的传感器包括以下至少两个：视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。
99.如权利要求98所述的方法，其中所述多个传感器中的至少一个是惯性传感器。
100.如权利要求98所述的方法，其中所述多个传感器中的至少一个是视觉传感器。
101.如权利要求91所述的方法，其中所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器和/或无迹卡尔曼滤波器。
102.如权利要求91所述的方法，进一步包括：在将所述多个传感器分组为多个子集后，基于所述传感器数据计算每个子集中所述至少两个传感器之间的预测空间关系，其中所述卡尔曼滤波器基于所述预测空间关系确定所述实际空间关系。
103.如权利要求91所述的方法，其中所述传感器之间的所述预测空间关系包括所述传感器相对于彼此的相对空间位置和相对空间方向。
104.一种用于传感器标定的装置，所述设备包括：
(a)多个不同类型的传感器，用于提供传感器数据；以及
(b)一个或多个处理器，其单独地或全体地用于：
(1)将所述多个传感器分组为多个子集，每个子集具有(i)至少两个传感器，包括一个参考传感器和一个或多个测量传感器，和(ii)不同的传感器组合，其中所述多个子集的至少两个子集具有不同的参考传感器；
(2)基于所述传感器数据，每个子集使用至少一个卡尔曼滤波器来确定每个子集中所述至少两个传感器之间的实际空间关系；以及
(3)基于每个子集中所述至少两个传感器之间的所述实际空间关系计算所述多个传感器相对于彼此的空间配置。
105.如权利要求104所述的装置，其中所述多个传感器连接于无人飞行器(UAV)。
106.如权利要求105所述的装置，其中所述一个或多个处理器机载于所述无人飞行器上。
107.如权利要求105所述的装置，其中所述一个或多个处理器位于在所述无人飞行器飞行时与所述无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。
108.如权利要求105所述的装置，其中在所述无人飞行器处于操作中时确定所述传感器的所述实际空间配置。
109.如权利要求105所述的装置，其中在所述无人飞行器飞行时确定所述传感器的所述实际空间配置。
110.如权利要求105所述的装置，其中在所述无人飞行器处于操作中时调整来自所述多个传感器中所述至少一个的所述数据。
111.如权利要求104所述的装置，其中所述多个不同类型的传感器包括以下至少两个：视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。
112.如权利要求111所述的装置，其中所述多个传感器中的至少一个是惯性传感器。
113.如权利要求111所述的装置，其中所述多个传感器中的至少一个是视觉传感器。
114.如权利要求104所述的装置，其中所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器和/或无迹卡尔曼滤波器。
CN201480074620.8A 2014-08-15 2014-08-15 传感器的自动标定系统及方法 Expired - Fee Related CN106030431B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/084502 WO2016023224A1 (en) 2014-08-15 2014-08-15 System and method for automatic sensor calibration

Publications (2)

Publication Number Publication Date
CN106030431A CN106030431A (zh) 2016-10-12
CN106030431B true CN106030431B (zh) 2017-11-03

Family

ID=55303822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480074620.8A Expired - Fee Related CN106030431B (zh) 2014-08-15 2014-08-15 传感器的自动标定系统及方法

Country Status (4)

Country Link
US (1) US11015956B2 (zh)
JP (1) JP6080189B2 (zh)
CN (1) CN106030431B (zh)
WO (1) WO2016023224A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030431B (zh) * 2014-08-15 2017-11-03 深圳市大疆创新科技有限公司 传感器的自动标定系统及方法
WO2016187760A1 (en) * 2015-05-23 2016-12-01 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
CN107850436B (zh) * 2015-05-23 2021-03-05 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
US10605633B2 (en) * 2015-10-08 2020-03-31 Aclima, Inc. Distributed sensor calibration
CN109219785B (zh) * 2016-06-03 2021-10-01 深圳市大疆创新科技有限公司 一种多传感器校准方法与系统
US9823089B1 (en) 2016-06-21 2017-11-21 Amazon Technologies, Inc. Unmanned aerial vehicle sensor calibration as part of departure from a materials handling facility
US10220964B1 (en) 2016-06-21 2019-03-05 Amazon Technologies, Inc. Unmanned aerial vehicle sensor calibration validation before flight
US10032275B1 (en) 2016-06-21 2018-07-24 Amazon Technologies, Inc. Unmanned aerial vehicle sensor calibration during flight
US9969486B1 (en) * 2016-06-21 2018-05-15 Amazon Technologies, Inc. Unmanned aerial vehicle heat sensor calibration
CN106094840B (zh) * 2016-07-20 2019-03-01 深圳洲际通航投资控股有限公司 飞行控制系统及方法
US20200249019A1 (en) * 2016-10-13 2020-08-06 Prodrone Co., Ltd. Attachable-detachable unit and sensor calibrating method using the same
US10591584B2 (en) * 2016-10-25 2020-03-17 GM Global Technology Operations LLC Radar calibration with known global positioning of static objects
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
IL249050B (en) * 2016-11-17 2018-03-29 Elbit Systems Ltd Self-calibrating inertial measurement method and system
WO2018112823A1 (en) * 2016-12-22 2018-06-28 Intel Corporation Uav positions method and apparatus
EP3602121A4 (en) 2017-03-29 2021-05-12 SZ DJI Technology Co., Ltd. CIRCUIT FOR PROCESSING LIGHT DETECTION AND DISTANCE MEASUREMENT (LIDAR) SIGNALS
EP3602749A4 (en) 2017-03-29 2020-03-25 SZ DJI Technology Co., Ltd. HOLLOW MOTOR APPARATUSES AND RELATED SYSTEMS AND METHODS
EP3602122B1 (en) 2017-03-29 2024-08-28 SZ DJI Technology Co., Ltd. A lidar sensor system with small form factor
WO2018195986A1 (en) 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser sensors
CN110573928B (zh) 2017-04-28 2021-10-08 深圳市大疆创新科技有限公司 光检测和测距系统中的角校准
EP3615955A4 (en) 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER AND VISION SENSORS
JP7275098B2 (ja) * 2017-07-06 2023-05-17 スカイトラン インコーポレイテッド 予定磁気式飛行経路に対する車両の経路補正
CN116359934A (zh) 2017-07-20 2023-06-30 深圳市大疆创新科技有限公司 用于光学距离测量的系统和方法
EP3631508A4 (en) 2017-07-31 2020-06-24 SZ DJI Technology Co., Ltd. MOTION-BASED PRECISION CORRECTION IN POINT CLOUDS
EP3472645A4 (en) 2017-08-31 2019-07-17 SZ DJI Technology Co., Ltd. DELAY TIME CALIBRATION OF OPTICAL DISTANCE MEASURING DEVICES AND RELATED SYSTEMS AND METHOD
WO2019055260A1 (en) * 2017-09-13 2019-03-21 Xiaochun Nie SYSTEMS AND METHODS FOR CALIBRATING IMAGING SENSORS AND SPATIAL ORIENTATION
JP2019057185A (ja) * 2017-09-22 2019-04-11 カシオ計算機株式会社 飛行装置、飛行方法及びプログラム
CN107703519B (zh) * 2017-10-17 2020-04-28 杭州瓦屋科技有限公司 基于激光位移传感器的植保无人机障碍物检测方法
JP7153443B2 (ja) * 2017-12-19 2022-10-14 株式会社ダイヘン 移動体
US10705194B2 (en) * 2018-03-21 2020-07-07 Zoox, Inc. Automated detection of sensor miscalibration
US12079012B2 (en) * 2018-06-04 2024-09-03 Nileworks Inc. Drone system, drone, steering device, drone system control method, and drone system control program
CN108983170B (zh) * 2018-07-20 2019-12-17 中国科学院国家空间科学中心 一种雷达高度计定标测试系统及方法
EP3640600B1 (en) 2018-10-16 2023-03-29 Infineon Technologies AG Device and method for self-correcting a sensed physical parameter in a drone or unmanned aerial vehicle
DE102018220065A1 (de) * 2018-11-22 2020-05-28 Robert Bosch Gmbh Betriebsverfahren für eine redundante Sensoranordnung eines Fahrzeugsystems und korrespondierende redundante Sensoranordnung
JP7472796B2 (ja) * 2018-12-13 2024-04-23 ソニーグループ株式会社 制御装置、制御方法、および制御プログラム
WO2020264320A1 (en) * 2019-06-28 2020-12-30 Ceva Technologies, Inc. Methods and apparatus for dynamic optical flow sensor calibration by imu in planar robot systems
US12042942B2 (en) * 2019-07-19 2024-07-23 Siemens Ltd., China Robot hand-eye calibration method and apparatus, computing device, medium and product
KR20210029518A (ko) * 2019-09-06 2021-03-16 삼성전자주식회사 멀티 센서 기반의 무인 비행체 및 그 제어 방법
IL275201B (en) * 2020-06-07 2022-07-01 Israel Aerospace Ind Ltd Improved target position calculation
CN111977025B (zh) * 2020-07-29 2022-05-24 西北工业大学 一种飞行试验外挂式直升机桨叶运动状态测量装置及方法
CN114485767A (zh) * 2020-10-23 2022-05-13 深圳市神州云海智能科技有限公司 多传感器的配置系统、配置工具、方法及存储介质
CN112985461B (zh) * 2021-03-25 2023-11-03 成都纵横自动化技术股份有限公司 一种基于gnss测向的磁传感器校准方法
CN113092681B (zh) * 2021-04-02 2023-01-17 河北先河环保科技股份有限公司 用于网格化监控网络的传感器配对方法及系统
CN114167900B (zh) * 2021-11-19 2023-06-30 北京环境特性研究所 一种基于无人机和差分gps的光电跟踪系统标校方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329510A (ja) * 2002-05-08 2003-11-19 Nittobo Acoustic Engineering Co Ltd 航空機の多チャンネル方向推定装置
CN201262709Y (zh) * 2008-08-11 2009-06-24 深圳市大疆创新科技有限公司 小型无人直升飞机控制系统
CN102607592A (zh) * 2012-02-24 2012-07-25 北京大学 遥感定标综合方法及定标设备车
CN103033185A (zh) * 2011-10-03 2013-04-10 波音公司 用于生成姿态误差修正的改进的卡尔曼滤波器
KR101340158B1 (ko) * 2012-01-03 2013-12-10 한국항공우주산업 주식회사 고정 표적을 이용한 무인항공기의 표적 위치 보정 방법 및 컴퓨터 판독 가능한 기록매체
CN103810701A (zh) * 2014-01-15 2014-05-21 北京农业信息技术研究中心 一种无人机载成像高光谱几何校正的方法及系统
CN103914065A (zh) * 2014-03-24 2014-07-09 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI896219A0 (fi) 1989-04-28 1989-12-22 Antti Aarne Ilmari Lange Anordning och foerfarande foer kalibrering av detektorsystem.
US5615119A (en) * 1995-06-07 1997-03-25 Aurora Flight Sciences Corporation Fault tolerant automatic control system utilizing analytic redundancy
US6285959B1 (en) * 1996-02-06 2001-09-04 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US5892690A (en) 1997-03-10 1999-04-06 Purechoice, Inc. Environment monitoring system
US6577976B1 (en) * 1999-09-17 2003-06-10 Hrl Laboratories, Llc Method for dynamic autocalibration of a multi-sensor tracking system and apparatus incorporating it therein
US6405135B1 (en) 2000-07-18 2002-06-11 John J. Adriany System for remote detection and notification of subterranean pollutants
EP1328775A1 (en) * 2000-07-28 2003-07-23 Litton Systems, Inc. Attitude alignment of a slave inertial measurement system
AU2002315595B2 (en) * 2001-06-04 2007-06-07 Novatel Inc. An inertial/GPS navigation system
US20040257441A1 (en) 2001-08-29 2004-12-23 Geovantage, Inc. Digital imaging system for airborne applications
US8483960B2 (en) 2002-09-20 2013-07-09 Visual Intelligence, LP Self-calibrated, remote imaging and data processing system
US7193559B2 (en) * 2003-01-21 2007-03-20 Novatel, Inc. Inertial GPS navigation system with modified kalman filter
US7142981B2 (en) * 2003-08-05 2006-11-28 The Boeing Company Laser range finder closed-loop pointing technology of relative navigation, attitude determination, pointing and tracking for spacecraft rendezvous
US7665695B2 (en) * 2003-12-03 2010-02-23 The Boeing Company Unified attitude control for spacecraft transfer orbit operations
US7337650B1 (en) * 2004-11-09 2008-03-04 Medius Inc. System and method for aligning sensors on a vehicle
US7487016B2 (en) * 2004-12-15 2009-02-03 The Boeing Company Method for compensating star motion induced error in a stellar inertial attitude determination system
US8305430B2 (en) 2005-09-16 2012-11-06 Sri International System and method for multi-camera visual odometry
US7991550B2 (en) * 2006-02-03 2011-08-02 GM Global Technology Operations LLC Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
US20080114546A1 (en) * 2006-11-15 2008-05-15 Space Systems/Loral, Inc. Image navigation and registration accuracy improvement using parametric systematic error correction
US7747364B2 (en) * 2006-12-06 2010-06-29 Honeywell International Inc. Methods, apparatus and systems for enhanced synthetic vision and multi-sensor data fusion to improve operational capabilities of unmanned aerial vehicles
US20100250022A1 (en) * 2006-12-29 2010-09-30 Air Recon, Inc. Useful unmanned aerial vehicle
US8027741B2 (en) * 2008-05-29 2011-09-27 The United States Of America As Represented By The Secretary Of The Navy System and method of improved kalman filtering for estimating the state of a dynamic system
US8364334B2 (en) 2008-10-30 2013-01-29 Honeywell International Inc. System and method for navigating an autonomous vehicle using laser detection and ranging
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
US20110153035A1 (en) 2009-12-22 2011-06-23 Caterpillar Inc. Sensor Failure Detection System And Method
US8676528B2 (en) * 2011-02-08 2014-03-18 Blackberry Limited System and method for calibrating an accelerometer
US20120215477A1 (en) * 2011-02-21 2012-08-23 Freescale Semiconductor, Inc. Accelerometer and Automatic Calibration of Same
JP5472538B2 (ja) * 2011-06-14 2014-04-16 日産自動車株式会社 距離計測装置及び環境地図生成装置
FR2985329B1 (fr) * 2012-01-04 2015-01-30 Parrot Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande.
US9128185B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points
CN104769496B (zh) * 2012-08-17 2019-03-15 展望机器人股份公司 具有用于定位和交互的绳组件的飞行摄像机
GB201218963D0 (en) * 2012-10-22 2012-12-05 Bcb Int Ltd Micro unmanned aerial vehicle and method of control therefor
US9618222B1 (en) 2013-04-09 2017-04-11 Keen Home Inc. Smart vent and atmospheric controller apparatuses, methods and systems
US20140341465A1 (en) * 2013-05-16 2014-11-20 The Regents Of The University Of California Real-time pose estimation system using inertial and feature measurements
JP2015024705A (ja) * 2013-07-25 2015-02-05 有限会社Ｇｅｎ Ｃｏｒｐｏｒａｔｉｏｎ 小型電動ヘリコプタの自動離着陸制御方法
CN109885080B (zh) 2013-11-27 2022-09-20 宾夕法尼亚大学理事会 自主控制系统及自主控制方法
JP6132981B2 (ja) * 2014-03-24 2017-05-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行機の状態をリアルタイムに修正する方法および装置
JP6207746B2 (ja) * 2014-05-30 2017-10-04 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 航空機姿勢制御方法及び装置
US9678506B2 (en) * 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
CN106030431B (zh) * 2014-08-15 2017-11-03 深圳市大疆创新科技有限公司 传感器的自动标定系统及方法
US9729945B2 (en) 2014-09-03 2017-08-08 Oberon, Inc. Environmental monitor device with database
US20160061476A1 (en) 2014-09-03 2016-03-03 Oberon, Inc. Environmental Sensor Device
EP3859669A1 (en) * 2014-11-04 2021-08-04 SZ DJI Technology Co., Ltd. Camera calibration
US9726579B2 (en) 2014-12-02 2017-08-08 Tsi, Incorporated System and method of conducting particle monitoring using low cost particle sensors
US10352725B2 (en) * 2015-06-18 2019-07-16 Sharp Laboratories Of America, Inc. Sensor calibration method and system
EP3368957B1 (en) * 2015-10-30 2022-02-09 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
US20170208493A1 (en) 2016-01-19 2017-07-20 Qsense Inc. Management of a distributed sensor system
WO2017166002A1 (zh) * 2016-03-28 2017-10-05 深圳市大疆创新科技有限公司 无人飞行器的悬停控制方法、控制系统和无人飞行器
EP3676617A4 (en) * 2017-09-27 2020-08-12 SZ DJI Technology Co., Ltd. AERODYNAMIC SPEED DETERMINATION SYSTEM AND METHOD

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329510A (ja) * 2002-05-08 2003-11-19 Nittobo Acoustic Engineering Co Ltd 航空機の多チャンネル方向推定装置
CN201262709Y (zh) * 2008-08-11 2009-06-24 深圳市大疆创新科技有限公司 小型无人直升飞机控制系统
CN103033185A (zh) * 2011-10-03 2013-04-10 波音公司 用于生成姿态误差修正的改进的卡尔曼滤波器
KR101340158B1 (ko) * 2012-01-03 2013-12-10 한국항공우주산업 주식회사 고정 표적을 이용한 무인항공기의 표적 위치 보정 방법 및 컴퓨터 판독 가능한 기록매체
CN102607592A (zh) * 2012-02-24 2012-07-25 北京大学 遥感定标综合方法及定标设备车
CN103810701A (zh) * 2014-01-15 2014-05-21 北京农业信息技术研究中心 一种无人机载成像高光谱几何校正的方法及系统
CN103914065A (zh) * 2014-03-24 2014-07-09 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置

Also Published As

Publication number Publication date
US20170153122A1 (en) 2017-06-01
US11015956B2 (en) 2021-05-25
WO2016023224A1 (en) 2016-02-18
CN106030431A (zh) 2016-10-12
JP6080189B2 (ja) 2017-02-15
JP2017501915A (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
CN106030431B (zh) 传感器的自动标定系统及方法
CN109219785B (zh) 一种多传感器校准方法与系统
CN105492985B (zh) 一种用于在环境内控制可移动物体的系统及方法
CN105980950B (zh) 无人飞行器的速度控制
CN107850901B (zh) 使用惯性传感器和图像传感器的传感器融合
CN107615211B (zh) 使用传感器融合估计可移动物体的状态信息的方法及系统
CN107850436B (zh) 使用惯性传感器和图像传感器的传感器融合
CN108139758A (zh) 基于显著性特征的载运工具定位
CN105247593B (zh) 飞行禁区的飞行控制
CN107850899B (zh) 使用惯性传感器和图像传感器的传感器融合
JP6329642B2 (ja) センサ融合
CN106462167B (zh) 飞行器姿态控制方法
CN109791414A (zh) 基于视觉着陆的方法和系统
CN110049921A (zh) 用于红外跟踪的方法和系统
CN110312913A (zh) 用于自适应云台的方法和系统
CN107850902A (zh) 可移动物体上的相机配置
CN107209514A (zh) 传感器数据的选择性处理
CN106030245A (zh) 惯性传感装置
CN107735317A (zh) 具有气压传感器的uav和在uav内隔离安置气压传感器的方法
JP6275887B2 (ja) センサ較正方法及びセンサ較正装置
Sokač et al. UAV application in ecology: Data collecting with quad-copter equipped with Arduino based measurement platform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171103