CN106170676A - 用于确定移动平台的移动的方法、设备以及系统 - Google Patents

用于确定移动平台的移动的方法、设备以及系统 Download PDF

Info

Publication number
CN106170676A
CN106170676A CN201580012514.1A CN201580012514A CN106170676A CN 106170676 A CN106170676 A CN 106170676A CN 201580012514 A CN201580012514 A CN 201580012514A CN 106170676 A CN106170676 A CN 106170676A
Authority
CN
China
Prior art keywords
error
movement
feature point
mobile platform
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580012514.1A
Other languages
English (en)
Other versions
CN106170676B (zh
Inventor
刘昂
严嘉祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN106170676A publication Critical patent/CN106170676A/zh
Application granted granted Critical
Publication of CN106170676B publication Critical patent/CN106170676B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种用于确定移动平台的移动的设备和系统以及用于制造和使用所述设备和系统的方法。所述方法包括获取针对所述移动平台的所述移动的第一测量的误差贡献值。基于所获得的误差贡献值，可以估算所述第一测量的误差。所述第一测量的所述误差例如可以根据所述误差与所述误差贡献值之间的相关性来估算。由此，可以通过基于所述第一测量的所述误差将所述第一测量与对所述移动的第二测量相结合来确定所述移动。由于所述相关性可以包括简化了计算但不损害准确性的函数关系，可有利地使用较少的计算资源而准确地确定所述移动平台的所述移动，并且能以更好的稳定性控制所述移动平台。

Description

用于确定移动平台的移动的方法、设备以及系统
背景
如载人和无人载运工具的移动平台可以用于执行军事和民事应用中的监测、勘测及探索任务。例如，无人飞行器(UAV)可以装配功能性搭载物，譬如用于从周围环境收集数据的传感器或有待递送至目的地的物质。
准确地测量移动平台的移动对于有效控制所述移动平台是重要的。例如，为了执行选定的任务，可能希望的是将UAV置于悬停状态，在所述悬停状态中所述UAV悬浮在空中而位置不变。示例性任务包括捕捉目标物体的图像或将农药喷洒到目标位置。在所述悬停状态，对UAV的任何移动进行测量，以使得控制器可以操纵所述UAV以补偿所述移动。在一个实例中，当UAV的速度被检测到是非零时，所述控制器可以控制所述UAV以将速度调整到零。在另一实例中，当UAV的位置被检测到已经从所希望的悬停位置偏离时，所述控制器可以将所述UAV移动至所希望的位置。
现有的用于测量移动平台的移动的技术通常是费时的并且缺乏准确性。当所述移动被不准确地测量时，所述移动平台可能无法执行所要求的任务。进一步地，对所述移动平台的控制可能失败，这可能导致所述移动平台卷入事故。
鉴于上述说明，需要用于确定移动平台的移动的方法、设备以及系统以克服现有用于测量移动平台移动的技术的上述障碍和缺陷。
发明内容
本披露涉及一种用于确定移动平台的移动的设备和系统以及用于制造和使用所述设备和系统的方法。
根据在此披露的第一方面，阐述了一种用于确定移动平台的移动的方法，所述方法包括：
获取针对所述移动的第一测量的误差贡献值；以及
基于所述获取来估算所述第一测量的误差。
在所披露方法的某些实施例中，估算包括根据所述误差与所述误差贡献值之间的相关性来估算所述第一测量的误差。
在所披露方法的某些实施例中，所述方法进一步包括通过基于所述第一测量的误差将所述第一测量与对所述移动平台的移动的第二测量相结合来确定所述移动平台的移动。
在所披露公开方法的某些实施例中，所述方法进一步包括通过标识匹配特征点对来产生所述第一测量，所述匹配特征点对包括物体的基于在第一时刻捕捉到的所述物体的第一图像的第一特征点以及所述物体的基于在第二时刻捕捉到的所述物体的第二图像的第二特征点。
在所披露方法的某些实施例中，所述第一时刻不同于所述第二时刻，产生所述第一测量包括基于所述匹配特征点对中的所述第一特征点与第二特征点之间的关系来测量所述移动平台在所述第一时刻与第二时刻之间的移动。
在所披露方法的某些实施例中，估算包括根据所述相关性来估算所述第一测量的误差，所述相关性独立于所述第一特征点的坐标的误差分布参数。
在所披露方法的某些实施例中，估算包括根据所述相关性来估算所述第一测量的误差，并且所述相关性独立于所述第一特征点的坐标。
在所披露方法的某些实施例中，获取包括获取同所述物体与所述移动平台之间的距离相关的所述误差贡献值。
在所披露方法的某些实施例中，获取包括获取包含与所述第一特征点相关联的双目视差的所述误差贡献值。
在所披露方法的某些实施例中，获取包括获取包含所述双目视差的所述误差贡献值，所述双目视差是基于与所述第一特征点相关联的两个子图像产生的。
在所披露方法的某些实施例中，获取包括获取包含所述双目视差的所述误差贡献值，所述双目视差是基于由相应的两个成像装置同时捕捉的两个子图像产生的。
在所披露方法的某些实施例中，估算包括将所述第一测量的误差估算成随所述双目视差的平方的倒数的增大而线性增大。
在所披露方法的某些实施例中，产生所述第一测量包括：
标识多个匹配特征点对，所以匹配特征点对各自包括相应的选定第一特征点和对应的第二特征点；以及
基于从所述多个匹配特征点对中选择的选定内点特征点对中的相应的选定第一特征点与对应的第二特征点之间的关系来测量所述移动平台在所述第一时刻与所述第二时刻之间的移动。
在所披露方法的某些实施例中，产生所述第一测量包括从所述多个匹配特征点对内选取一个或多个内点特征点对。
在所披露方法的某些实施例中，获取包括获取包含所述一个或多个内点特征点对的数目的所述误差贡献值。
在所披露方法的某些实施例中，估算包括将所述第一测量的误差估算成随所述一个或多个内点特征点对的数目的倒数的增大而线性增大。
在所披露方法的某些实施例中，产生所述第一测量包括：
基于相应的匹配特征点对中的每一个获取样本移动值；以及
基于由所述多个匹配特征点对中的最匹配特征点对提供的样本移动值来测量所述移动平台的移动，
并且这些最匹配特征点对是所述一个或多个内点特征点对。
在所披露方法的某些实施例中，产生所述第一测量包括测量所述移动平台在所述第一时刻与第二时刻之间的位移。
在所披露方法的某些实施例中，产生所述第一测量包括测量所述移动平台在所述第一时刻与第二时刻之间的速度。
在所披露方法的某些实施例中，估算包括估算与所述第一测量相关联的协方差矩阵。
在所披露方法的某些实施例中，所述方法进一步包括使用惯性测量单元产生所述第二测量。
在所披露方法的某些实施例中，估算包括估算所述第一测量的误差以便确定无人飞行器(UAV)的移动。
根据在此披露的另一方面，阐述了一种用于确定移动平台的移动的设备，所述设备包括处理器，所述处理器用于：
获取针对所述移动的第一测量的误差贡献值；以及
基于所述获取来估算所述第一测量的误差。
在所披露设备的某些实施例中，所述处理器用于根据所述误差与所述误差贡献值之间的相关性来估算所述第一测量的误差。
在所披露设备的某些实施例中，所述处理器用于提供所述误差以便通过基于所述第一测量的误差将所述第一测量与对所述移动平台的移动的第二测量相结合来确定所述移动平台的移动。
在所披露设备的某些实施例中，所述第一测量包括标识匹配特征点对，所述匹配特征点对包括物体的基于在第一时刻捕捉到的所述物体的第一图像的第一特征点以及所述物体的基于在第二时刻捕捉到的所述物体的第二图像的第二特征点。
在所披露设备的某些实施例中，所述第一时刻不同于所述第二时刻，所述匹配特征点对中的所述第一特征点与第二特征点之间的关系提供了所述移动平台在所述第一时刻与第二时刻之间的移动。
在所披露设备的某些实施例中，所述误差与所述误差贡献值之间的相关性独立于所述第一特征点的坐标的误差分布参数。
在所披露设备的某些实施例中，所述误差与所述误差贡献值之间的相关性独立于所述第一特征点的坐标。
在所披露设备的某些实施例中，所述处理器用于获取同所述物体与所述移动平台之间的距离相关的所述误差贡献值。
在所披露设备的某些实施例中，所述误差贡献值包括与所述第一特征点相关联的双目视差。
在所披露设备的某些实施例中，所述双目视差是基于与所述第一特征点相关联的两个子图像产生的。
在所披露设备的某些实施例中，这两个子图像是由相应的两个成像装置同时捕捉的。
在所披露设备的某些实施例中，所述处理器用于将所述第一测量的误差估算成随所述双目视差的平方的倒数的增大而线性增大。
在所披露设备的另一个示例性实施例中，在所述设备中：
所述第一测量包括：
标识多个匹配特征点对，其中所述匹配特征点对各自包括相应的选定第一特征点和对应的第二特征点；以及
基于从所述多个匹配特征点对内选择的所述一个或多个内点特征点对的任一内点特征点对内的相应的选定第一特征点与对应的第二特征点之间的关系来测量所述移动平台在所述第一时刻与所述第二时刻之间的移动；以及
所述误差贡献值包括所述一个或多个内点特征点对的数目。
在所披露设备的某些实施例中，所述处理器用于将所述第一测量的误差估算成随所述一个或多个内点特征点对的数目的倒数的增大而线性增大。
在所披露设备的某些实施例中，所述第一测量包括：
分别基于所述多个匹配特征点对中的每个匹配特征点对获取样本移动值；以及
基于由所述多个匹配特征点对中的最匹配特征点对提供的样本移动值来测量所述移动平台的移动，并且这些最匹配特征点对是所述一个或多个内点特征点对。
在所披露设备的某些实施例中，所述第一测量包括测量所述移动平台在所述第一时刻与第二时刻之间的位移。
在所披露设备的某些实施例中，所述第一测量包括测量所述移动平台在所述第一时刻与第二时刻之间的速度。
在所披露设备的某些实施例中，所述第一测量的误差包括与所述第一测量相关联的协方差矩阵。
在所披露设备的某些实施例中，所述第一测量是由第一传感器产生的，并且所述第二测量是由不同于所述第一传感器的第二传感器产生的。
在所披露设备的某些实施例中，所述第一传感器包括视觉传感器。
在所披露设备的某些实施例中，所述第二传感器包括惯性测量单元。
在所披露设备的某些实施例中，所述移动平台包括无人飞行器(UAV)。
根据在此披露的另一方面，阐述了一种用于确定移动平台的移动的设备组件，所述设备组件包括：
视觉传感器，所述视觉传感器用于产生对移动平台的移动的第一测量；以及
用于确定移动平台的移动的所述设备，所述设备用于估算所述第一测量的误差。
根据在此披露的另一方面，阐述了一种用于确定移动平台的移动的设备组件，所述设备组件包括：
视觉传感器，所述视觉传感器用于产生对移动平台的移动的第一测量；
用于确定移动平台的移动的所述设备，所述设备用于估算所述第一测量的误差；以及
惯性测量单元，所述惯性测量单元用于产生对所述移动平台的移动的第二测量，所述第二测量基于所述第一测量的误差与所述第一测量相结合，以便确定所述移动平台的移动。
根据在此披露的另一方面，阐述了一种无人飞行器(UAV)，所述无人飞行器包括用于确定移动平台的移动的设备。
根据在此披露的另一方面，阐述了一种无人飞行器(UAV)，所述无人飞行器包括用于确定移动平台的移动的设备组件。
根据在此的另一方面，阐述了一种用于组装无人飞行器(UAV)的套件，所述套件包括用于确定移动平台的移动的设备。
根据在此披露的另一方面，阐述了一种用于组装无人飞行器(UAV)的套件，所述套件包括用于确定移动平台的移动的设备组件。
根据在此披露的另一方面，阐述了一种计算机程序产品，所述计算机程序产品包括根据用于确定移动平台的移动的方法来确定所述移动平台的移动的指令。
根据在此披露的第一方面，阐述了一种用于估算测量移动平台的移动的误差的方法，所述方法包括：
假定误差贡献值与测量所述移动的误差之间的相关性，所述相关性包括未知参数；
收集各自与测试移动相对应的实验测量值、地面实况以及误差贡献值；
基于所述地面实况和所述实验测量值计算测量所述测试移动的误差；以及
将所假定的相关性针对所述测试移动的误差贡献值以及测量所述测试移动的误差进行拟合，以便求解所述未知参数。
在所述方法的某些实施例中，所述方法进一步包括使所述相关性能够基于测量所述移动的误差贡献值来估算测量所述移动平台的移动的误差。
在所述方法的某些实施例中，所述方法进一步包括通过标识匹配特征点对来收集所述实验测量值，所述匹配特征点对包括物体的基于在第一时刻捕捉到的所述物体的第一图像的第一特征点以及所述物体的基于在第二时刻捕捉到的所述物体的第二图像的第二特征点。
在所述方法的某些实施例中，所述第一时刻不同于所述第二时刻，收集实验测量值包括基于所述匹配特征点对中的所述第一特征点与第二特征点之间的关系来测量所述移动平台在所述第一时刻与第二时刻之间的测试移动。
在所述方法的某些实施例中，假定包括假定所述相关性独立于所述第一特征点的坐标的误差分布参数。
在所述方法的某些实施例中，假定包括假定所述相关性独立于所述第一特征点的坐标。
在所述方法的某些实施例中，收集包括收集同所述物体与所述移动平台之间的距离相关的所述误差贡献值。
在所述方法的某些实施例中，收集包括收集包含与所述第一特征点相关联的双目视差的所述误差贡献值。
在所述方法的某些实施例中，假定包括假定所述相关性，其中测量所述移动的误差随所述双目视差的平方的倒数的增大而线性增大。
在所述方法的某些实施例中，收集所述实验测量值包括：
标识多个匹配特征点对，所述匹配特征点对各自包括相应的选定第一特征点和对应的第二特征点；以及
基于从所述多个匹配特征点对中选择的选定内点特征点对内的相应的选定第一特征点与对应的第二特征点之间的关系来测量所述移动平台在所述第一时刻与所述第二时刻之间的移动，
并且获取包括获取包含所述一个或多个内点特征点对的数目的所述误差贡献值。
在所述方法的某些实施例中，假定包括假定所述相关性，其中测量所述移动的误差随这些内点特征点对的数目的倒数的增大而线性增大。
在所述方法的某些实施例中，收集所述实验测量值包括：
基于相应的匹配特征点对中的每一个获取样本移动值；以及
基于由所述多个匹配特征点对中的最匹配特征点对提供的样本移动值来测量所述移动平台的移动，
并且这些最匹配特征点对是所述一个或多个内点特征点对。
在所述方法的某些实施例中，收集所述实验测量值包括测量所述移动平台在所述第一时刻与第二时刻之间的位移。
根据在此披露的另一方面，阐述了一种计算机程序产品，所述计算机程序产品包括用于估算测量移动平台的移动的误差的指令。
附图简要说明
图1是用于确定移动平台的移动的系统的实施例的最高层级的图表。
图2是图1的系统的替代性实施例的示例性图表，其中所述系统包括用于测量所述移动平台的移动的第一传感器和第二传感器。
图3是图1的用于确定移动平台的移动的方法的实施例的示例性最高层级流程图。
图4是图3的方法的实施例的替代性实施例的示例性流程图，其中通过视觉传感器测量到所述移动。
图5是图3的方法的另一替代性实施例的示例性流程图，其中所述方法包括标识多个匹配特征点对。
图6是图5的方法的替代性实施例的示例性流程图，其中所述方法包括标识一个或多个内点特征点对。
图7是图2的通过使用移动平台的第一传感器来获取特征点的坐标的系统的实施例的示例性图表。
图8是图3的方法的另一替代性实施例的示例性图表，其中标识了误差贡献值与误差之间的相关性。
图9至图11是一组数据点的示例性散点图，通过图8的方法获取针对这组数据点的相关性。
图12是图3的方法的另一替代性实施例的示例性图表，其中标识了误差贡献值与误差之间的模拟相关性。
图13至图15是一组数据点的示例性散点图，通过使用图12的方法获取针对这组数据点的模拟相关性。
图16是图2的系统的替代性实施例的示例性图表，其中所述第一传感器和移动平台远程通信。
应注意的是，这些图并未按比例绘制，并且出于展示的目的，在这些附图中，具有相似结构或功能的要素一般用相似的参考号表示。还应注意的是，这些附图仅旨在有助于对优选实施例的描述。这些附图并不展示所描述实施例的每个方面并且不限制本披露的范围。
优选实施方式的详细说明
本披露阐述了一种用于确定移动平台的移动的方法、设备以及系统，克服了现有系统和方法的缺点。所披露公开的方法、设备以及系统可以通过一种类型的传感器准确地且有效地计算测量移动平台的移动(和/或运动)的误差。准确地计算出的误差可以被反馈到传感器融合过程中，所述传感器融合过程结合了通过多种类型的传感器的测量，以便准确地确定所述移动。因此，在此阐述的披露内容针对有效且准确地测量移动平台的移动的技术问题的解决方案，并且进一步有助于提升移动平台技术和自主控制技术。
由于当前可供使用的用于确定移动平台的移动的技术不能提供对所述移动平台的移动的准确且快速的测量，提高测量准确度和速度的用于确定移动平台的移动的方法、设备以及系统可以证明是所希望的并且为宽泛的移动平台应用范围提供了基础。示例性应用可以包括、但不局限于空中摄影术、农业物质输送、海洋溢油清除、以及灭火。根据在此披露的一个实施例，这一结果可以通过如图1中展示的系统100来实现。
转到图1，系统100可以包括移动平台200。移动平台200可以指代能够移动的任何设备。示例性移动平台可以包括、但不局限于汽车、公共汽车、火车、飞行器、船舶、以及其他类型的机动载运工具。出于说明性目的，所述移动平台可以包括载客载运工具和/或无人飞行器(UAV)，并且移动平台的运行可以包括飞行。然而，在不偏离本披露内容的范围所覆盖的概念的情况下，本文中无论在何处描述UAV，所述UAV都可以由另一种常规类型的移动平台替代，并且飞行可以由与移动平台相关联的其他运行替代。
如图1所示，移动平台200可以进行移动300。移动300可以包括移动平台200的平移移动和/或旋转移动。所述平移移动可以包括沿一条或多条轴线中的任一条轴线的平移移动。在所述平移移动中，移动平台200可以相对于一条轴线保持相同朝向。所述旋转移动可以包括绕一条或多条轴线中任一条轴线的旋转移动。例如，当包括所述平移移动时，移动300可以包括朝向天空或地面移动、向东或向西移动、向南或向北移动、或者其组合。
对移动300的测量可以包括对至少部分地表征移动300的参数的测量。例如，对移动300的测量可以包括对移动平台200在一个时间间隔之内(和/或期间)移动的距离的测量、对移动平台200在一个预定时间处的速度和/或加速度的测量、对移动平台200在一个时间间隔期间的平均速度和/或平均加速度的测量、或者其组合。表征移动300的参数可以包括向量。对所述距离、速度、和/或加速度的测量分别可以包括对所述距离、速度和/或加速度的幅度和方向的测量。
虽然在某些实施例中仅出于展示目的描述为测量平移移动，但所公开的方法、设备以及系统可以但不限于用于测量任何常规类型的移动，包括旋转移动。
所示移动平台200包括处理器400。处理器400可以包括用于执行数据获取、数据处理、以及在此描述的用于控制移动平台200的运行的任何其他功能和运行的处理硬件。处理器400可以包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。在多个不同实施例中，所述处理器400可以包括用于执行处理器400的所披露的一部分或全部的功能。虽然仅出于展示目的描述为包括单一处理器，处理器400可以包括任意适合数目的一致和/或不同的处理器，这些处理器各自可以分别执行一项或多项一致和/或不同的功能。
处理器400可以用于获取移动平台200的移动300的第一测量的误差贡献值410。所述第一测量可以指代使用例如与移动平台200相连接的多个传感器500、600(示出在图2中)对移动300进行的测量。所述第一测量可以产生由这些传感器500、600获取的感测数据、用于处理所述感测数据的计算和/或由这种计算产生的结果。
误差贡献值410可以包括参数，所述参数可以在所述第一测量中产生。所述参数的值可以与所述第一测量的准确度和/或不准确度相关。处理器400可以用于从所述第一测量获取误差贡献值410。
进一步地，处理器400可以用于基于误差贡献值410来估算所述第一测量的误差420。误差420可以包括一个或多个数值和/或数据阵列。
示例性误差420可以包括协方差矩阵(和/或离差矩阵和/或方差-协方差矩阵)。所述协方差矩阵可以包括如下矩阵：其位于i,j位置的元素是具有一个随机向量的第i个元素与第j个元素之间的协方差。协方差可以指示两个随机变量共同变化多少。例如，当移动300的第一测量测量移动平台200在预设坐标系统中的位移时，位移T可以包括表示为3x1向量的三维向量：
其中，Tx、Ty和Tz分别是移动平台200在预设坐标系统的x轴、y轴和z轴上的位移T的分量。所述预设坐标系统可以包括绝对和/或相对坐标系统。示例性坐标系统可以包括相对于执行所述第一测量的传感器限定的坐标系统。
速度V可以包括表示为3x1向量的三维向量：
其中，Vx、Vy和Vz分别是移动平台200的速度V在所述预设坐标系统的x轴、y轴和z轴上的速度分量。
由所述第一测量获得的位移T的误差420可以包括协方差矩阵Σcam。
其中，对角线元素Var(Vx)、Var(Vy)和Var(Vz)是速度V的相应速度分量Vx、Vy和Vz的方差。位于位置i,j的非对角线元素可以是速度V的第i个元素与第j个元素之间的协方差。例如，位于(1，2)位置的元素、即Var(Vx,Vy)可以是速度V的第一元素和第二元素(例如速度分量Vx和速度分量Vy)之间的协方差。
误差贡献值410可以通过相关性而与误差420有关。处理器400可以用于使用所述相关性以基于误差贡献值410来计算误差420。当误差420包括协方差矩阵Σcam时，误差贡献值410可以具有与协方差矩阵Σcam的一个或多个元素的相关性。在某些实施例中，误差贡献值410可以分别具有与方差Var(Vx)、Var(Vy)和Var(Vz)的相关性。
示例性相关性可以包括函数关系，在所述函数关系中误差420是误差贡献值410的函数。所述函数关系可以使用一个或多个方程来表示。在一个实施例中，方差Var(Vx)、Var(Vy)、和/或Var(Vz)可以分别是误差贡献值410的函数，并且这些相应函数中的至少一个可以呈数学公式的形式。示例性函数关系可以包括线性函数、对数函数、多项式函数、幂函数、指数函数、或者其组合。
图2是展示图1的系统100的替代性实施例的示例性图表。如图2所示，系统100可以包括用于测量移动平台200的移动300的第一传感器500和第二传感器600。
第一传感器500和/或第二传感器600可以与处理器400连接。第一传感器500和/或第二传感器600可以收集表征移动平台200的数据。所述示例性数据可以包括移动平台200的行进速度、加速度和/或朝向。示例性传感器500、600可以包括位置数据单元、里程计、惯性测量单元(IMU)、加速度计、视觉传感器等。第一传感器500和/或第二传感器600可以将所收集的数据发送至处理器400。处理器400可以分别控制所述第一传感器500和/或第二传感器600，以指示第一传感器500和/或第二传感器600在由处理器400指定的时刻收集所要求的数据。
例如，处理器400可以指示第一传感器500和/或第二传感器600在移动平台200进入选定的运行模式时收集数据。示例性运行模式可以包括悬停、起飞、着陆、改变速度、改变方向、上升、和/或下降模式。进一步地，处理器400可以指示第一传感器500和/或第二传感器600在移动平台200抵达预先选定位置和/或呈现预定位置时收集数据。
处理器400可以基于从第一传感器500和/或第二传感器600收集到的数据来控制移动平台200。另外地和/或备选地，处理器400可以处理所收集的数据并将所述处理的结果发送至用于控制移动平台200的控制器(未示出)。所述控制器可以靠近和/或远离移动平台200。
虽然仅出于展示目的被描述为包括第一传感器500和/或第二传感器600，但移动平台200可以包括任意适合数目的一致和/或不同的传感器。虽然仅出于展示目的描述为与第一传感器500和/或第二传感器600是分开的，但处理器400可以与第一传感器500和/或第二传感器600至少部分地集成。虽然图2中未示出，移动平台200的控制器可以与处理器400是分开的、或者与其至少部分地集成。
第一传感器500类型可以与第二传感器600的类型相同或不同。换言之，第一传感器500的感测技术可以与第二传感器600的感测技术相同或不同。在一个实施例中，第一传感器500可以包括视觉传感器，并且第二传感器600可以包括不同于视觉传感器的传感器。
示例性视觉传感器可以包括用于捕捉物体150(如图2所示)的例如静态和/或视频图像的相机。处理器400和/或第一传感器500可以分析所捕捉的图像以提供所述移动平台200和所述物体150的相对移动的数据。
在一个实施例中，第二传感器600可包括IMU。所述IMU可以包括用于通过使用一个或多个加速度计、陀螺仪和/或磁力计的组合来测量和报告移动平台200的速率、速度和/或朝向，和/或作用在移动平台200上的任何力(例如重力)的电子装置。在某些实施例中，所述IMU可以包括使用微机电系统(MEMS)技术集成在指甲大小的芯片上制造的微观结构。
第一传感器500可以收集和/或产生对移动平台200的移动300的第一测量。使用第一传感器500获取的适合于移动300的任何数据都可以称为第一测量数据430。
第二传感器600可以收集和/或产生对移动平台200的移动300的第二测量。使用第二传感器600获取的适合于移动300的任何数据都可以称为第二测量数据440。
由第一传感器500收集的第一测量数据可以与由第二传感器600收集的第二测量数据相结合以形成复合感测结果。通常，通过将由多个传感器获取的传感器数据相结合而产生的感测结果还被称作“传感器融合”。举例而言，传感器融合可以用来使由不同类型的传感器获取的感测数据相结合，这些传感器包括如GPS传感器、惯性传感器、视觉传感器、激光雷达、超声波传感器等等。作为另一实例，传感器融合可以用于使不同类型的感测数据相结合，例如绝对测量数据(例如，相对于全局坐标系提供的数据，如GPS数据)和相对测量数据(例如，相对于局部坐标系提供的数据，如视觉感测数据、激光雷达数据、或者超声波感测数据)。传感器融合可以用来对于补偿与其单独传感器类型相关联的局限性和不准确性，因此改善了最终感测结果的准确性和可靠性。
处理器400可以用于将使用第一传感器500获取的结果与使用第二传感器600获取的结果相结合来确定移动300。换言之，处理器400可以使所述第一测量与所述第二测量相结合以确定移动300。将所述第一测量与所述第二测量相结合可以包括将第一测量数据430和第二测量数据440相结合以产生移动300的计算结果450(如图2所示)。
传感器融合可以包括对待估算的至少一种类型的感测数据的误差进行估算。例如，当传感器融合使用涉及卡尔曼滤波器的方法时，所述方法可以针对一种类型的感测数据计算卡尔曼增益。所述卡尔曼增益可以指示对应类型的感测数据能够影响所述传感器融合的结果的程度。卡尔曼增益越大可以表示对应类型的感测数据可以越小地影响所述传感器融合的结果。对卡尔曼增益的计算要求对应类型的感测数据的估算误差。
相应地，在多个不同实施例中，所述处理器400可能需要估算所述第一测量的误差420并且将误差420馈送至用于传感器融合的过程。其结果是，所述处理器400移动可以基于所估算误差420通过使第一测量数据430与第二测量数据440相结合来确定移动平台200的移动300。可以使用如图3所展示的方法3000来估算误差420。
图3是展示用于确定移动平台200(图1中全体示出)的移动300的方法的实施例的示例性最高层级的流程图。在3001处可以获取针对所述移动平台的移动300的第一测量的误差贡献值410(如图2所示)。在3002处可以基于获取误差贡献值410来估算所述第一测量的误差420(如图2所示)。
例如可以根据误差420与误差贡献值410之间的相关性来估算误差420。在一个示例性相关性，误差420可以是误差贡献值410的函数，所述函数被表示为数学公式。误差贡献值410和误差420可以分别是所述函数的输入和输出。
现在提供了多个示例性实施例以进一步展示误差贡献值410、误差420以及它们之间的相关性。图4是图3的方法的实施例的替代性实施例的示例性流程图，其中通过视觉传感器测量移动300。可以使用图4的方法4000来确定移动平台200(图1中全体示出)的移动300的方法。在此，可以至少部分地基于第一传感器500(如图2所示)是视觉传感器来确定移动300。方法4000展示了一种示例性方式，可以通过所述方式经由第一传感器500来收集和/或产生用于确定移动300的第一测量。
在图4中，在4001处可以标识匹配特征点对。所述匹配特征点对可以包括物体150(如图2所示)的基于在第一时刻t1捕捉到的物体150的第一图像的第一特征点以及物体150的基于在第二时刻t2捕捉到的物体150的第二图像的第二特征点。
在第一时刻t1捕捉的第一图像可以包括位于其中的物体150。所述第一特征点可以包括所述第一图像中的一个像素或多个相邻的像素。在所述第一特征点可以捕捉物体150的至少一部分。处理器400可以使用任何常规方法以标识所述第一图像中的第一特征点。
在第二时刻t2捕捉的第二图像可以包括位于其中的物体150。所述第二特征点可以包括所述第二图像中的一个像素或多个相邻的像素。处理器400可以使用任何常规方法以标识所述第二图像中的第二特征点。所述第二特征点可以与所述第一特征点相关联以形成所述匹配特征点对。换言之，当所述第二特征点与所述第一特征点相匹配时，所述第一特征点和所述第二特征点分别在第一时刻t1和第二时刻t2捕捉相同的内容。
物体150可以包括在所述视觉传感器的视野内的任意感兴趣物体。可以基于机器视觉和/或人工智能方法以及类似方式来标识物体150和/或所述匹配特征点对。适合的方法包括特征检测、提取和/或匹配技术，如KLT(Kanade–Lucas–Tomasi)特征追踪器、哈里斯(Harris)仿射区域检测器、加速分割检测特征(FAST)，二进制稳健独立基元特征(BRIEF)、随机抽样一致(RANSAC)、Shi&Tomasi角点检测、加速稳健特征(SURF)斑点检测、最大稳定极值区域(MSER)斑点检测、加速稳健特征(SURF)描述符、尺度不变特征变换(SIFT)描述符、快速视网膜关键点(FREAK)描述符、二进制稳健不变尺度关键点(BRISK)描述符、方向梯度直方图(HOG)描述符等等。类似地，可以使用这些方法来标识感兴趣物体150的图像内的一个或多个特征点。
在某些实施例中，第一时刻t1可以不同于第二时刻t2。例如，第二时刻t2可以晚于第一时刻t1。因此，可以在捕捉第一图像之后捕捉所述第二图像。例如，所述第二图像和所述第一图像各自可以是视频图像的图像帧，并且时间间隔(t2-t1)可以表示捕获第二图像与第一图像之间流逝的时间。
所述第一图像中的第一特征点的位置与所述第二图像中第二特征点的位置之间的差异可以与视觉传感器相对于物体150的移动有关。当物体150包括静止项目时，如建筑物、树和/或类似物，所述第一图像中的第一特征点的位置与所述第二图像中第二特征点的位置之间的差异可以与所述视觉传感器移动有关。如图2所示，第一传感器500可以被定位在移动平台200上。因此，所述第一图像中的第一特征点的位置与所述第二图像中第二特征点的位置之间的差异可以与移动平台200的移动300有关。
所述第一特征点的位置可以描述为所述第一特征点在预设坐标系中的坐标。所述第二特征点的位置可以描述为所述第二特征点在预设坐标系中的坐标。所述第一特征点的坐标和/或所述第二特征点的坐标可以包括任何维度的坐标。示例性坐标可以包括三维坐标、二维坐标、或其组合。
在一个实施例中，所述第一特征点的坐标P1可以包括三维坐标：
其中，x1、y1和z1分别是所述第一特征点在所述预设坐标系的x轴、y轴以及z轴上的坐标值。
所述第二特征点的坐标P2可以包括三维坐标：
其中，x2、y2和z2分别是所述第二特征点在所述预设坐标系的x轴、y轴以及z轴上的坐标值。x2’、y2’分别是所述第一特征点在所述视觉传感器的焦平面上的坐标值，并且可以从所述第二特征点在第二图像的中的位置来获得。f是所述视觉传感器的焦距。
在一个实例中，方程(5)的z轴坐标z2可以是预设常数。z轴坐标z2可以是所述第二图像的特定投影平面的预设常数。例如，z2的当前常数可以被设定为一。在这种情况下，所述第二特征点的坐标可以有效地是二维的并且表示所述第二特征点在所述预设坐标系的平面中的投影。对移动300的测量可以使用但不限于所述第二特征点的三维坐标和/或二维坐标。
如图4所示，可以在4002处基于所述匹配特征点对中的第一特征点与第二特征点之间的关系来测量第一时刻t1与第二时刻t2之间的移动平台200的移动300。
所述第一特征点与第二特征点之间的关系可以包括所述第一特征点的坐标P1与所述第二特征点的坐标P2之间的关系。示例性关系可以包括：
P2＝λK(RP1+T) 方程(6)
其中，λ是缩放参数，K为内部参考矩阵，并且旋转矩阵R是表征移动平台200的旋转移动的旋转矩阵。
在某些实施例中，λ可以是所述第二图像的特定投影平面的预设数值。在其他实施例中，λ可以是未知变量并且可以通过使用方程(6)与位移T一起求解。
内部参考矩阵K可以专用于所述视觉传感器。例如，所述视觉传感器可以包括如相机的成像装置。内部参考矩阵K可以描述所述相机的从目标物体的三维点到图像中的二维点的映射。所述相机可以包括特定内部参考矩阵K。所述内部参考矩阵K可以包括任意适合维度的矩阵并且在一个实施例中可以包括3x3矩阵。
备选地和/或另外地，移动平台200可以包括用于检测移动平台200的旋转移动的传感器。例如，这一传感器可以包括IMU。IMU可以测量移动300并且向处理器400提供旋转矩阵R。旋转矩阵R可以包括任意适合维度的矩阵并且在某些实施例中可以包括3x3矩阵。
方程(6)可以提供三个方程以求解如方程(1)中所示的位移T的三个未知位移分量Tx、Ty和Tz。当λ未知并且需要被求解时，方程(6)可以提供包括超过三个未知位移分量Tx、Ty和Tz以及λ的三个方程。在这种情况下，如图4中在4001处描述的，可以获取两个或更多个匹配特征点对。每个匹配特征点对可以提供从方程(6)衍生出的三个额外方程。相应地，可以使用适合的拟合技术来求解方程(6)以提供位移T的位移分量Tx、Ty和Tz。例如，可以用于最小二乘法来求解方程(6)并且获取位移T。
使用方程(7)可以计算出移动平台200的速度V。
V＝T/(t2-t1) 方程(7)
使用方程(7)计算出的速度V可以包括第一时刻t1与第二时刻t2之间的平均速度。
使用视觉传感器的第一测量不一定准确并且可能存在误差。总体上，误差来源可以包括但不局限于视觉传感器的成像装置的径向和切向镜头畸变、提取图像中的特征点的过程中像素值的方差、视觉传感器的安装误差、捕捉图像的照度变化、第一特征点与第二特征点的不准确匹配。此外，当所述视觉传感器包括用于同时捕捉所述物体的多个相应图像的多个成像装置时，特征点的坐标可以通过例如使用三角测量和/或其他类似方法将所述特征点在所述多个相应图像中的像素值相结合来产生。在这种情况下，可以从所述多个成像装置中不准确地提取所述特征点。
例如，在如图4所述的方法4000中，第一测量的误差可以包括提取像素点的误差和第一特征点与第二特征点匹配的误差。提取像素点的误差和第一特征点与第二特征点匹配的误差可能导致到所述第一特征点和第二特征点的相应坐标的误差。进一步地，内部参考矩阵K和旋转矩阵R(如方程(6)所示)的相应值也可能引入第一测量的误差。
当第一测量使用多个匹配特征点对时，处理器400可以更倾向于标识提供移动300的正确测量结果的一个或多个匹配特征点对、并且因此能够以更高的准确性来测量移动300。图5是展示图3的方法的替代性实施例的示例性流程图。可以使用图5的方法5000来确定移动平台200(图1中全体示出)的移动300的方法。方法5000包括标识多个匹配特征点对。在此，可以至少部分地基于第一传感器500(如图2所示)是视觉传感器来确定移动300。
在图5中，在5001处标识多个匹配特征点对。每个匹配特征点对可以包括相应的选定第一特征点和对应的第二特征点。在每个匹配特征点对中，第一特征点可以选自在第一时刻t1捕捉的物体150(如图2所示)的第一图像，并且对应的第二特征点可以选自在第二时刻t2捕捉的物体150的第二图像。
虽然仅出于展示目的描述为包括物体，但所述第一图像和/或第二图像可以包括任意适当数目的一致和/或不同的物体，这些物体各自可以用于在所述第一测量过程中标识一些或者全部匹配特征点对。换言之，这些第一特征点不一定是选自于所述第一图像中的相同物体，并且对应的第二特征点不一定是选自于所述第二图像中的相同物体。
在图5中，可以在5002处基于从所述多个匹配特征点对中选定的所述一个或多个内点特征点对的任一内点特征点对中的相应的选定第一特征点与对应的第二特征点之间的关系来测量所述移动平台200在第一时刻t1与第二时刻t2之间的移动300。
总体上，内点(inlier)包括其分布可以通过某些模型参数集来说明的数据(虽然可能经受噪声)，并且外点(outlier)包括不与所述模型拟合的数据。因此，内点特征点对可以是能够产生移动300的假定是准确的计算结果的一个匹配特征点对。外点特征点对可以是能够产生移动300的假定是不准确的计算结果的匹配特征点对。进一步地，所述多个匹配特征点对之中的最正确的结果可以与第二测量数据440相结合以产生移动300的计算结果450。
这个或这些内点特征点对可以包括所述多个匹配特征点对的子集。在某些实施例中，匹配特征点对中的每一个可以提供样本移动值。样本移动值可以包括用于表征所述移动的样本值。示例性样本移动值可以包括样本位移T值。所述样本位移T值可以是通过匹配特征点对测量的位移T。例如，通过使用方程(6)，每个匹配特征点对都可以分别提供样本位移T值。因此，可以产生多个样本位移T值。然而，一些样本位移T值可能是准确的；而另一些样本位移T值可能是不准确的。处理器400可以用于基于适合的方法和/或选择标准确定哪个样本位移T值是准确的。图6中示出了用于确定哪个样本移位T值准确的示例性方法。在处理器400确定哪个样本位移T值是准确的，处理器400可以因此将提供准确样本位移T值的每个匹配特征点对标识为内点特征点对。
处理器400用于确定哪个样本位移T值准确、并且因此用于确定哪个匹配特征点对是内点特征点对的方法和/或选择标准在本发明中不予以限制。出于说明性目的，图6是展示图5的方法的替代性实施例的示例性流程图，其中所述方法包括标识一个或多个内点特征点对。
在图6中，可以在6001处基于所述多个匹配特征点对中的每个匹配特征点对分别获取样本移动值。如前文提到的，每个匹配特征点对都可以提供样本位移T值。可以在6002处基于由所述多个匹配特征点对中的最匹配特征点对提供的样本移动值来测量移动平台200的移动300。因此，这些最匹配特征点对是所述一个或多个内点特征点对。
为了实现示例性方法6000，处理器400(在图1所示)可以用于对产生相同样本位移T值的匹配特征点对的数目进行计数。因此，每个样本位移T值可以分别对应于匹配特征点对的数目。由最大数目的匹配特征点对产生的样本位移T值(即，由这些最匹配特征点对提供的样本位移T值)可以被处理器400选定为移动300的准确值。对应于这一样本位移T值的匹配特征点对的数目可以因此是内点特征点对的数目‘n’。
处理器400用于确定哪个样本位移T值正确的选择标准不局限于方法6000。在一个实例中，这些样本位移T值的平均值可以被选定为正确的位移T值，并且对应于这一样本位移T值的匹配特征点对的数目可以因此是内点特征点对的数目n。在另一实例中，这些样本位移T值的中值可以被选定为正确的位移T值，并且对应于这一样本位移T值的匹配特征点对的数目可以因此是内点特征点对的数目n。
总体上，较大数目的n个内点特征点对可以指示当前测量的一个或多个特征点是明显的和/或稳定的。因此，移动300的所测量的位移T值可以有较高的准确性和较小的误差。误差贡献值410(如图1和图2所示)包括所述n个内点特征点对。处理器400可以用于使用误差贡献值410与误差420之间的相关性来估算误差420。当误差420包括协方差矩阵Σcam时，误差贡献值410可以分别与Var(Vx)、Var(Vy)和Var(Vz)具有相关性。
示例性相关性可以包括误差420随数目n的增大而增大的函数相关性。例如，在所述函数相关性中，Var(Vx)、Var(Vy)和Var(Vz)各自可以按如下给出：
Var(Vx)＝g1(n)， 方程(8)
Var(Vy)＝g2(n)， 方程(9)
Var(Vz)＝g3(n) 方程(10)
其中，g1(n)、g2(n)和g3(n)各自分别是数目n的函数。g1(n)、g2(n)和g3(n)的示例性值可以随数目n的减小而增大。g1(n)、g2(n)和g3(n)的数学形式可以包括但不局限于线性函数、对数函数、多项式函数、幂函数、指数函数、或者其组合。
例如，误差420的Var(Vx)、Var(Vy)和Var(Vz)各自可以随数目n的指数的倒数的增大而线性增大，表达式如下：
Var(Vx)＝k1/na+b1， 方程(11)
Var(Vy)＝k2/na+b2， 方程(12)
Var(Vz)＝k3/na+b3 方程(13)
其中，参数a、k1、b1、k2、b2、k3和/或b3可以各自包括数学表达式，所述数学表达式包含固定数值、数目n之外的误差贡献值410、或其组合。进一步地，这些参数a、k1、b1、k2、b2、k3和/或b3可以但不限于是不同的或一致的。
在某些实施例中，参数a可以等于1。在这种情况下，误差420的Var(Vx)、Var(Vy)和Var(Vz)各自可以随数目n的倒数的增大而线性增大。进一步地，k1、b1、k2、b2、k3和/或b3可以但不限于是不同的或一致的常数。在此参考图8和图12论述的方法中阐述了用于提供k1、b1、k2、b2、k3、和/或b3的示例性方法。
另外地和/或备选地，误差贡献值410可以包括不同于数目n的一个或多个参数。例如，一般而言，测量远离所述视觉传感器的物体可能比附近物体具有更大的误差。因此，误差贡献值410可以包括物体150与第一传感器500之间的物距Z。由于如图2所示可以将第一传感器500定位在移动平台200上，物体150与第一传感器500之间的物距Z可以等于物体150与移动平台200之间的距离。例如，在所述函数相关性中，误差420的Var(Vx)、Var(Vy)和Var(Vz)各自随Z的增大而增大。即：
Var(Vx)＝g4(Z)， 方程(14)
Var(Vy)＝g5(Z)， 方程(15)
Var(Vz)＝g6(Z) 方程(16)
其中，g4(Z)、g5(Z)和g6(Z)各自分别是物距Z的函数。g4(Z)、g5(Z)和g6(Z)的示例性值可以随物距Z的增大而增大。g4(Z)、g5(Z)和g6(Z)的数学形式可以包括但不局限于线性函数、对数函数、多项式函数、幂函数、指数函数、或者其组合。
然而，物距Z不一定需要以函数关系直接表达出。可以使用与物距Z具有相关性的参数来替代方程(14)至方程(16)中的物距Z。
为了展示可以反映所述距离的参数，以下描述了一种用于获取第一特征点的坐标的示例性过程(如本文参考图4和图5所论述的)。在所述示例性过程中，所述第一特征点的坐标可以包括如方程(3)中示出的三维坐标。所述视觉传感器可以包括两个成像装置以便在相应的图像中捕捉所述物体。每个成像装置都可以分别捕捉二维图像。处理器400可以用于通过使用三角测量来计算物距Z而从这两个二维图像获取所述三维坐标。图7是展示图3的通过使用移动平台200的第一传感器500来获取特征点的坐标的系统的实施例的示例性图表。可以使用三角测量的方法来确定所述第一特征点的三维坐标。
在图7中，第一传感器500可以包括包含两个成像装置110a、110b的视觉传感器110。这些成像装置110a、110b各自可以感知相同的、但位于不同空间坐标的感兴趣物体150。例如，这些成像装置110a、110b可以具有如图7展示出的相应x轴130a、130b。这些成像装置110a、110b可以沿它们相应的光轴130a、130b感知，并且由此获得感兴趣物体150的两个不同的二维子图像120a、120b。如图4和/或图5描述的第一图像可以包括这些子图像120a、120b。这些二维子图像120a、120b通常是不同的，是从不同位置(或视角)拍摄的，除非这些成像装置110a、110b被定位成使它们的光轴130a、130b相重合。相应地，在大多数情况下，如方程(20)所示，可以在这些子图像120a、120b之间获得双目视差d(如方程(20)所表示的)。
通过使用这些子图像120a、120b之间的双目视差d，可以使用三角测量的方法来确认物距Z。可以比较这些二维子图像120a、120b以获取与感兴趣物体150的特征点155相关联的双目视差d。出于说明性目的，这两个成像装置110a、110b可以称作第一成像装置110a和第二成像装置110b。这些二维子图像120a，120b可以称作第一子图像120a和第二子图像120b。在关于第一成像装置110a的预设坐标系中，特征点155的由其三维坐标(Xl，Yl，Zl)表示的位置可以按如下给出：
其中，cx l和cy l表示第一成像装置110a的相应中心坐标，xl和yl表示特征点155在第一子图像120a中的坐标，b是基线(换言之，这些成像装置110a、110b的中心坐标之间的距离)，f是每个成像装置110a、110b的焦距，d是这些子图像120a、120b之间的双目视差。出于说明性目的，图7示出了这些成像装置具有相同的焦距f。然而，即使是这些成像装置110a、110b具有不同的焦距，这些子图像120a、120b也可以被缩放到离这些成像装置110a、110b具有相同距离的投影平面，以实施图7中的三角测量。例如，这些成像装置110a、110b可以具有相应的焦距2f和f。在这种情况下，第一子图像120a的坐标xl和yl可以各自通过乘以0.5而缩放。这些经缩放的坐标xl和yl可以因此属于离第一成像装置110a具有距离f的投影平面，并且因此可以通过方程(17)至方程(20)与第二子图像120b一起用于三角测量。
当xr和yr表示第一子图像120b中的特征点155的坐标时，双目视差d在此可以被表示为：
d＝xl-xr 方程(20)
基于上述原理，可以使用第一成像装置110a和第二成像装置110b基于立体观测来获取特征点的三维坐标。可以如所希望地同时或相继获得第一和第二子图像120a、120b。可以从第一和第二子图像120a、120b获取双目视差d。在一个实施例中，可以有利地在第一时刻t1同时获得第一和第二子图像120a、120b，以减少可归因于物体150和/或第一传感器500随时间移位的误差。
在某些其他实施例中，一个成像装置可以捕捉第一和第二子图像120a、120b。所述成像装置例如可以在两个不同的时刻捕捉第一和第二子图像120a、120b。在这两个不同的时刻，所述成像装置相对于物体150的位置可以是不同的。双目视差d可以从第一和第二子图像120a、120b获取，并且被近似地用作第一时刻t1的双目视差d。
总体上，并且如方程(19)所示，第一子图像120a与第二子图像120b之间的差异可以随着物距Z增加而减小。进一步地，特征点155距第一传感器500的物距Z可以与双目视差d成反比。在所述第一测量的过程中可以获取双目视差d。因此，误差贡献值410可以包括双目视差d。例如，在所述函数相关性中，Var(Vx)、Var(Vy)和Var(Vz)各自可以按如下给出：
Var(Vx)＝g7(d) 方程(21)
Var(Vy)＝g8(d) 方程(22)
Var(Vz)＝g9(d) 方程(23)
其中，g7(d)、g8(d)和g9(d)各自分别是双目视差d的函数。g7(d)、g8(d)和g9(d)的示例性值可以随双目视差d的减小而增大。g7(d)、g8(d)和g9(d)的数学形式可以包括但不局限于线性函数、对数函数、多项式函数、幂函数、指数函数、或者其组合。
例如，误差420的Var(Vx)、Var(Vy)和Var(Vz)各自可以随双目视差d的指数的倒数的增大而线性增大，表达式如下：
Var(Vx)＝k4/dc+b4 方程(24)
Var(Vy)＝k5/dc+b5 方程(25)
Var(Vz)＝k6/dc+b6 方程(26)
其中，参数c、k4、b4、k5、b5、k6和/或b6可以各自包括数学表达式，所述数学表达式包含固定数值、双目视差d之外的误差贡献值410或其组合。在一个实施例中，c＝2，因此误差420的Var(Vx)、Var(Vy)和Var(Vz)各自可以随d的平方的倒数的增大而线性增大。进一步地，k4、b4、k5、b5、k6和/或b6可以但不限于是不同的或一致的常数。在此参考图8和图12论述的方法中阐述了用于提供k4、b4、k5、b5、k6和/或b6的示例性方法。
每个特征点都可以与相应的双目视差d相关联。可以但不限于使用任何适合的方法来标识用于计算误差420的相关双目视差d。在一个实例中，用于计算误差420的双目视差d可以是这些第一特征点和/或相匹配的第二特征点的每个双目视差d的平均值。在另一实例中，用于计算误差420的双目视差d可以是部分或全部内点特征点对中的第一特征点和/或相匹配的第二特征点的每个双目视差d的平均值。在又一实例中，用于计算误差420的双目视差d可以是这些第一特征点的所有双目视差d的平均值。在另一实例中，用于计算误差420的双目视差d可以是部分或全部内点特征点对中的第一特征点的所有双目视差d的平均值。
在某些实施例中，误差贡献值410可以包括内点特征点对的数目n和双目视差d。例如，通过将方程(11)至方程(13)与方程(24)至方程(26)相结合，可以将误差420估算成随数目n的倒数的增大而线性增大并且随双目视差d的平方的倒数的增大而线性增大，如下所述：
Var(Vx)＝k7/nd2+b7 方程(27)
Var(Vy)＝k8/nd2+b8 方程(28)
Var(Vz)＝k9/nd2+b9 方程(29)
其中，k7、b7、k8、b8、k9和/或b9可以各自包括数学表达式，所述数学表达式包含恒定数值、数目n和/或d之外的误差贡献值410或其组合。进一步地，k7、b7、k8、b8、k9和/或b9可以但不限于是不同的或一致的。在某些实施例中，k7、b7、k8、b8、k9、和/或b9各自可以包括不同的和/或统一的数值常数。在此参考图8和图12论述的方法中阐述了用于提供k7、b7、k8、b8、k9和/或b9的示例性方法。
当误差420包括如方程(3)所示的协方差矩阵Σcam时，处理器400可以用于使用方程(27)至方程(29)的数学公式来估算对角线元素Var(Vx)、Var(Vy)和Var(Vz)。在某些实施例中，这些非对角线元素可以但不限于被设定为零、一个或多个预设恒定值和/或误差贡献点值410的函数。
虽然仅出于展示目的在所披露的方法中计算出了Var(Vx)、Var(Vy)和Var(Vz)，但根据所披露的方法使用这些方法可以使误差420的任何元素(如协方差矩阵Σcam的非对角线元素)与这些误差贡献值410具有相关性。
本文所披露的方法可以更快更准确地估算所述误差。在用于通过视觉传感器来估算测量误差的常规方法中，首先需要假定特征点提取误差的协方差矩阵Σpixel。假定具有平均值为零的正态分布的特征点提取误差可以按如下表示：
其中，σ2 x1、σ2 y1、σ2 x2和σ2 y2可以指代第一特征点在x方向的、第一特征点在y方向的、相匹配的第二特征点在x方向的以及相匹配的第二特征点在y方向的提取误差的方差。于是使用Q个匹配特征点对将∑pixel应用于对位移T的线性代数计算。
位移T的M个测量中的第j次测量的协方差矩阵需要使用以下矩阵方程：
方程(31)
于是可以通过将∑t变换到IMU坐标系并且通过除以时间间隔(t2-t1)的平方来计算速度V的协方差矩阵。
方程(31)具有显著的复杂性。例如，A+、Bi、R和J各自是如以下所描述的多维矩阵。
jA+＝(jAT jA)-1 jAT 方程(32)
其中，j＝1至M，并且：
其中，N表示每次测量的匹配特征点的总数目。
其中，所述图像的中心坐标是(u0，v0)T，相机的焦距是f，基线是b，并且ui*和vi*是第二特征点在t2时的二维投影坐标。所述第一特征点和第二特征点是(jui，jui)T和(ju′i，ju′i)T，并且i表示N个匹配特征点对中的第i个匹配特征点对。
进一步地，
R是旋转矩阵。J是用于获取第一特征点的三维坐标的协方差矩阵的泰勒展开近似的变换矩阵。J可以按如下给出：
方程(36)
因此，如方程(30)至方程(36)中可看到的，为了计算j∑t，对NxN矩阵(如方程(31))进行大量的矩阵计算。所述NxN矩阵的每个元素可能包括大于维度为2x2的嵌入矩阵。使用了每个特征点的坐标，并且使用了用于特征点提取的如σ2的误差分布参数。这样的计算是费时的。
此外，为了计算j∑t，需要以预定方式获取方程(30)中的方差σ2 x1、σ2 y1、σ2 x2和σ2 y2。例如，在一次或多次测试测量中，基于将分别使用所述视觉传感器测量的和使用如由英国Vicon运动系统有限公司(Vicon Motion Systems Ltd.,UK)制造的Vicon运动捕捉系统的参照仪器测量的位移进行比较来获取j∑t。然后基于所获取的j∑t来计算方差σ2 x1、σ2 y1、σ2 x2和σ2 y2。方程(30)中的Σpixel因此被解出。于是通过方程(30)至方程(36)将Σpixel用于在未来测量中计算j∑t。
然而，以此方式获取的方差σ2 x1、σ2 y1、σ2 x2和σ2 y2经受到外点特征点对的任何随机误差的影响，并且因此可能不必要地引入由对所述第一测量的误差的估算不准确造成的噪声。
相比之下，通过使用所披露的方法及设备，可以根据误差贡献点值410与误差420之间的相关性来估算所述第一测量的误差。所述相关性可以独立于第一特征点和/或第二特征点的坐标的误差分布参数，如方程(30)中的方差σ2 x1、σ2 y1、σ2 x2和σ2 y2。进一步地，所述相关性可以独立于第一特征点和/或第二特征点的坐标
在某些实施例中，第一测量的协方差矩阵Σcam的元素可以是使用简单的公式单独地计算的。所述公式可以包括一个或多个误差贡献值410。每个误差贡献值410都可以从所述第一测量获取。对于这种计算而言，特征点的坐标以及特征点坐标的误差分布的参数不是必要的。因此，可以显著地简化计算。
误差贡献值410的选择可以是基于对第一测量的误差来源的经验性和/或者直观性理解并且可以与所述测量的物理和/或统计性质直接相关。
例如，在以上参考图4至图6所描述的方法4000-6000中，像素提取和/或匹配可能是误差来源。这样的像素误差可能影响双目视差d的准确性。双目视差d的误差可以通过三角测量过程导致将像素误差传递至速度测量的误差中。误差贡献值410的选择可以因此包括与像素误差有关的参数。
如前文所述，测量远离所述视觉传感器的远端物体150(如图2和图7所示)可能比附近物体具有更大的误差，并且所述视觉传感器与物体150之间的距离与双目视差d相关。此外，当内点特征点对的数目n小时，小的数目n可以指示当前测量的一个或多个特征点不是明显的和/或稳定的。因此，小的数目n还可以指示较大的像素误差。因此，所述误差贡献值410可以包括数目n和/或d。
进一步地，尽管在某些实施例中未示出，但误差贡献值410可以进一步包括内部参考矩阵K和/或旋转矩阵R的误差。较大的内部参考矩阵K和/或旋转矩阵R误差可以导致较大的误差420。内部参考矩阵K的误差可以与再投影误差相关。因此，所述再投影误差可以被另外地和/或备选地包括在方程(27)至方程(29)的k7、b7、k8、b8、k9、和/或b9中，其方式为使得误差420可以估算成随再投影误差的增大而增大。
因此，误差420的估算过程可以更快并且消耗处理器400的更少的计算资源。此外，如图8至图15中的接下来将描述的多个不同实施例所示，能够以更高的准确性来估算误差420。因此，在随后的基于误差420的传感器融合之后，可以准确地计算出移动平台200的移动300。移动300的计算结果可以是稳定的。因此，移动平台200可以由控制器加以控制，以便补偿移动300，从而以更高的稳定性保持悬停状态。
在接下来将描述的多个不同实施例中，展示了一种用于标识误差贡献值410与误差420之间的相关性的方法，并且使用所披露方法估算出的误差420可以被示出为具有高准确性。图8是展示图3的方法的另一替代性实施例的示例性图表，其中标识了误差贡献值410与误差420之间的相关性。
如图8所示，在8001处假定误差贡献值410与误差420之间的相关性。假定所述相关性可以包括假定一种类型的函数关系、所述关系中的参数的值、和/或有待包含的一个或多个误差贡献值410。例如，所述相关性的假定形式可以包括对包括方程(27)至方程(29)的假设。示例性的所假定的相关性可以包括具有未知值的参数。在方程(27)至方程(29)中，k7、b7、k8、b8、k9和/或b9可以各自是具有未知恒定数值的参数。
在8002处可以收集各自对应于测试测量的地面实况、实验测量值以及误差贡献值410。为了实施8002，可以测量移动平台200的测试移动。所述地面实况可以指代所述测试移动的绝对实况。在方法8000中，所述地面实况可以包括使用能够具有高准确性(例如，比第一传感器500的准确性更高的准确性)设备测量的测试移动的值。举例而言，可以通过使用Vicon运动捕捉系统测量所述测试移动来提供所述地面实况。所述地面实况可以包括由Vicon测量的速度V，称作
在8002，所述视觉传感器可以测量所述测试移动并且获取实验测量值v、并且可以获取误差贡献值410。所述实验测量值可以指代速度V的实验获取的值。例如，使用图4至图6中的方法，所述视觉传感器可以获取数目n和对应的d。
在8003处，基于所述地面实况和所述实验测量值v计算出所述测试移动的测量误差420。速度V的测试测量误差可以是在某些情况下，所述第一测量的误差420可以包括协方差矩阵Σcam(如方程(3)所示)。由于测试误差verror不必与方程(3)中示出的方差相同，可以使用以下示例性过程来计算所述方差。
在所述示例性过程中，根据8002测量多次测试移动。对于每次测量而言，可以获取verror和如数目n和/或双目视差d的对应误差贡献值410。1/(nd2)可以按大小进行排序。排序后的多个1/(nd2)值可以均匀地和/或不均匀地分成m个分区。在每个分区内，1/(nd2)的平均值可以计算成所述分区的1/(nd2)，并且对应的v2 error的平均值可以计算成所述分区的近似方差。
在一个实例中，可以测试3107次测试移动，并且可以将排序后的多个1/(nd2)值均匀地分成10个分区。然而，本披露内容不限制测试移动的数目、分区的数目、以及用于获取方差的方法。
在8004处，可以将所述所假定的相关性与所述测试移动的误差和所述测试移动的误差贡献值进行拟合。因此可以求解所述参数的未知值。因此可以确定所述相关性。此外，所述相关性与所述测试移动的误差和所述测试移动的误差贡献值进行拟合的程度可以指示所假定的相关性的有效性。
在某些实施例中，8001可以是任选的，因为8004可以通过将所述相关性与所述测试移动的误差和所述测试移动的误差贡献值进行拟合来标识所述相关性，而不需要所假定的相关性的现有知识。
例如，图9至图11是展示一组数据点的示例性散点图，通过图8的方法获取针对这组数据点的相关性。图9至图11中的数据点是基于如在8001至8003处描述的示例性过程来获取的。在图9至图11的每个图中，绘制了作为1/(nd2)的函数的方差。可以使用任何常规回归方法来拟合所述所假定的相关性以标识方差与1/(nd2)之间的函数关系。分别在图9至图11的每个图中，线801、802和803可以很好地拟合这些数据点。这些线801、802和803可以因此求解k7、b7、k8、b8、k9和b9的值，并且按如下给出所述相关性：
因此可以获取协方差矩阵Σcam(方程(3)中)。可以将Σcam变换到另一坐标系。示例性坐标系可以是基于旋转矩阵R，其中可以使用下式来执行所述变换：Σ＝RΣcamRT。
由于这些线801、802和803可以很好地拟合这些数据点，这些线801、802和803可以用于预测针对系统100的误差420与误差贡献值410之间的相关性，所述系统类似于在方法8000中用于产生这些线801、802和803的系统。如图9至图11中示出的实例所展示的，误差贡献值410与误差420之间的相关性可以是能够以图形方式表示为线和/或曲线的数学公式。可以使所述相关性能够基于移动平台的移动的测量误差贡献值410来估算所述移动的测量误差420。
例如，根据方法8000可以使用系统100和/或移动平台200获取所述相关性。处理器400于是可以用于使用针对要求对误差420进行估算的一次测量所获取的相关性。
另外地和/或备选地，可以分别从多个所述系统100和/或移动平台200获取相关性。在一个实例中，所述处理器400可以用于使用所获取相关性的平均值。在另一实例中，当这些相关性之间的差异较小时，处理器400可以用于使用所获取相关性之一。对于处理器400而言，从多于一个的所获取相关性中选择相关性的标准可以包括但不限于任何方法。
任何个体可以但不限于执行方法8000并且对处理器400进行配置。示例性个体可以包括系统100和/或移动平台200的制造商、测试员、使用者等。
在某些情况下，如在方法8000中假定所述相关性可能不是直截了当的过程并且可能要求反复试验。例如，大量的变量可以为误差贡献值410的候选。可以进行模拟来减少实验资源的消耗。所述模拟可以揭示作为误差贡献值410的一个或多个选定变量是否与误差420相关，和/或所假定类型的数学函数关系是否是有效的。
图12是展示图3的方法的另一替代性实施例的示例性图表，其中标识了误差贡献值410与误差420之间的模拟相关性。图12中的方法1200可以通过使用计算机模拟来执行并且不必需要实验硬件。
在1201处，假定误差贡献值410与误差420之间的模拟相关性。在一个实例中，所述模拟相关性可以被假定成与方程(27)至方程(29)相同。
在1202处，基于误差贡献值410的模拟值和模拟地面实况来对一次模拟移动进行模拟测量，以获取所述模拟移动的模拟测量值。可以将模拟误差来源引入到所述模拟测量中。
例如，模拟地面实况Ttruth可以包括所述模拟移动的位移T的真实值。示例性模拟地面实况Ttruth可以包括t2与t1之间的任意选定的旋转矩阵R和/或任意选定的位移T。
为了执行所述模拟测量，可以使用误差贡献值410的模拟值。误差贡献值410的示例性模拟值可以包括误差贡献值410的任意选定的数值。在一次示例性模拟测量中，数目n＝16、32、64、128、256、512。对于每个n值而言，双目视差d是从2到47的范围内的整数。因此，所述模拟值可以包括多个(n，d)对。
因此，对于每个(n，d)对而言，可以随机地产生匹配特征点对。每个匹配特征点对可以包括在t1时捕捉的第一图像的所模拟的第一子图像中的第一特征点。基于d，在t1时捕捉的第一图像的所模拟的第二子图像中产生所述第一特征点。所模拟的第一子图像和所模拟的第二子图像可以通过计算机程序产生，所述计算机程序模拟第一成像装置和/或第二成像装置。
通过三角测量(如图7所示)，可以产生所述第一特征点的三维坐标P1。所述模拟移动可以适用于所模拟的第一成像装置。所述第一特征点可以对应于在所述模拟移动之后的t2时的第二特征点。所述第二特征点可以因此被投影到第一成像装置以产生所述第二特征点的坐标P2。所述模拟移动的模拟测量值Tsim可以通过使用方程(6)来获取。
对于每个(n，d)对而言，所述模拟测量可以获取多个匹配特征点对。所述多个匹配特征点对的数目可以等于或大于n。在所述多个匹配特征点对之间，n个匹配特征点对可以被随机地选定为内点特征点对以获取Tsim。
由于没有实验误差，所述模拟移动的模拟测量值可以接近于所模拟的地面实况。因此，可以引入所述模拟误差来源以致使从所述模拟测量的结果偏离所述模拟地面实况，以便使所述误差的量最大。
可以但不限于以各种方式引入所述模拟误差来源。在所述示例性测量中，在每个(n，d)对中，每个第一特征点都可以具有选自于(d-0.5)与(d+0.5)之间范围内的随机数的双目视差d。因此，可以产生双目视差d的随机误差，并且有利地，可以容易地控制双目视差d的平均值。
另外地和/或备选地，在所述第二特征点被投影到第一成像装置以产生坐标P2之后，所述P2可以被四舍五入为较短的表示。示例性的四舍五入过程可以显著减少P2的位数。例如，P2的至少一个坐标数可以通过舍去P2的小数点之后的P2的一位或多位而被四舍五入成整数像素值。因此，所述四舍五入过程可以引入所述模拟误差来源。
在1203，可以基于模拟地面实况Ttruth和所述模拟移动的模拟测量值Tsim来计算出误差420的模拟值。因此，速度V的测量误差可以是Terror＝Ttruth-Tsim。因此，速度V的测量误差可以是Verror＝Terror/(t2-t1)。
因此，对于每个(n，d)对而言，可以计算出速度V的测量方差。所述方差可以用作误差420的模拟值。
在1204处，可以将假定的模拟相关性与误差420的模拟值和误差贡献值410的模拟值进行拟合。所述相关性与误差420的模拟值和误差贡献值410的模拟值进行拟合的程度可以指示所假定的相关性的有效性。
在某些实施例中，1201可以是任选的，因为1204可以通过与误差420的模拟值和误差贡献值410进行拟合的模拟值来标识所述模拟相关性，而不需要对相关性的假定模拟的现有知识。
图13至图15是展示一组数据点的示例性散点图，通过使用图12的方法获取针对这组数据点的模拟相关性。如在1201-1203处所描述的，从所述示例性模拟测量获取多个数据点。绘制了作为1/(nd2)的函数的方差。可以使用任何常规回归方法来拟合所假定的相关性以标识方差与1/(nd2)之间的函数关系。分别在图13至图15的每个图中，对应于拟合方程1210、1220、1230，线121、122和123分别可以很好地拟合这些数据点。因此，方程(27)至方程(29)的所假定的相关性可以是有效的。
因此，可以执行方法1200以查明所假定的相关性的有效性。另外地和/或备选地，可以使用实验方法8000来确定所述相关性。图8和图12中的方法可以各自在计算机系统上实现。所述计算机系统可以包括存储器和处理器。所述存储器上可以具有编码的指令。这些编码的指令当由所述处理器执行时可以致使所述计算机系统实现如图8和图12所展示的过程。
出于多种不同的原因，图13至图15中的拟合可以大于图9至图11中的拟合。例如，图9至图11中的方差可以是近似值(图在8003处所示)并且不是在统计学上针对每个(n，d)对计算出的。进一步地，图9至图11中的方差可能经受到不必包含在图8的示例性实例中的所假定的相关性中的内部参考矩阵K和旋转矩阵R的误差。所述内部参考矩阵K的误差可能受到视觉传感器的校准准确性的影响。所述旋转矩阵R的误差可能受到IMU的测量准确性的影响。
进一步地，图13至图15中的方差可以小于图9至图11中的拟合，因为图13至图15已经限制了像素提取中的误差来源，例如四舍五入过程。相比之下，图9至图11可能经受到像素提取中的随机实验噪声。
在图13至图15以及图9至图11中，Var(Vx)类似于Var(Vy)。Var(Vz)明显大于Var(Vx)和/或Var(Vy)。这样的结论与以下理论基础是一致的：测量误差在视觉传感器的光轴(即，z轴)方向上可能更大。
不同实施例进一步披露了一种用于确定移动平台200的移动300的设备。如图1和图2所示，所述设备可以包括400。
不同实施例进一步披露了一种用于确定移动平台200的移动300的设备组件。所述设备组件可以包括用于执行对移动平台200的移动300的第一测量的视觉传感器、以及用于确定移动平台200的移动300的设备。所述设备可以用于对所述第一测量的误差420进行估算。
不同实施例进一步披露了一种用于确定移动平台200的移动300的设备组件。所述设备组件可以包括用于执行对移动平台200的移动300的第一测量的视觉传感器、以及用于确定移动平台200的移动300的设备。所述设备可以用于对所述第一测量的误差420进行估算。所述设备组件可以进一步包括用于收集和/或产生对移动平台的移动的第二测量的IMU。所述设备组件可以用于基于所述第一测量的误差420将所述第二测量与所述第一测量相结合，以确定移动平台200的移动300。
如图1和图2所示，多个不同实施例进一步披露了移动平台200。移动平台200可以包括用于确定移动平台200的移动300的设备。移动平台200可以是UAV。
如图1和图2所示，不同实施例进一步披露了移动平台200。移动平台200可以包括用于确定移动平台200的移动300的设备组件。移动平台200可以是UAV。
如图1和图2所示，不同实施例进一步披露了一种用于组装移动平台200的套件。所述套件可以包括用于确定移动平台200的移动300的设备。在某些实施例中，所述套件中可以包括指导手册。所述指导手册上可以具有操作指南。当遵循这些操作指南时，如本披露内容示出的，用于确定移动平台200的移动300的设备可以组装到所述移动平台200中。
如图1和图2所示，不同实施例进一步披露了一种用于组装移动平台200的套件。所述套件可以包括用于确定移动平台200的移动300的设备组件。在某些实施例中，所述套件中可以包括指导手册。所述指导手册上可以具有操作指南。当遵循这些操作指南时，如本披露内容示出的，用于确定移动平台200的移动300的设备可以组装到所述移动平台200中。
虽然在某些实施例中，所述设备组件和/或移动平台200(如UAV)可以包括第一传感器500和/或第二传感器600，但所述第一传感器500和/或第二传感器600不一定被集成到所述设备组件和/或移动平台200。例如，图16是展示图2的系统100的替代性实施例的示例性图表，其中第一传感器500和移动平台200远程通信。如图16所示，第一传感器500可以包括视觉传感器。第一传感器500可以是静止的并且被定位成远离移动平台200。第一传感器500可以通过捕捉作为感兴趣物体150的移动平台200的图像来执行所述第一测量。图3至图6、图8以及图12的示例性方法可以用于计算移动平台200的移动300。移动平台200可以包括通信模块700。第一传感器500可以与通信模块800连接。通信模块700和/或800可以包括收发器和/或接收器。通信模块700可以用于通过通信模块800接收来自第一传感器500的第一测量数据430。
在多个不同实施例中，所披露的这些方法可以通过由选定的硬件平台(如通用硬件平台)可执行的软件来实现。备选地和/或另外地，所披露的方法可以通过硬件来实现。根据多个不同实施例的方法中的一部分或全部步骤可以通过使用程序(或软件)指示相关硬件来完成。
因此，多个不同实施例进一步披露了计算机程序产品，所述计算机程序产品包括用于根据本文披露的方法(例如，如图3至图6、图8以及图12所示)确定移动平台的移动300的指令。所述程序/软件可以被存储在(非易失性)计算机可读存储介质中，包括例如只读存储器(ROM)、随机存取存储器(RAM)、内部存储器、寄存器、计算机硬盘、可移动盘、CD-ROM、光盘、软盘、磁盘、或类似物。所述程序/软件可以包括指示计算机装置上的一个或多个处理器执行根据多不同实施例的方法的编码指令。
所披露的实施例容许多种不同的修改和替代形式，并且其具体实例已经通过举例的方式示出在附图中并且在此进行了详细描述。然而应当理解的是，所描述的这些实施例并不局限于所披露的具体形式或方法，而是相反，本披露将覆盖所有的修改、等效物以及替代方案。
虽然已经在此展示并描述了本发明的优选实施例，但对于本领域技术人员显而易见的是，此类实施例仅仅是通过举例提供的。现在，在不脱离本发明的情况下，本领域技术人员将想到许多的变体、改变和替换。应当理解的是，在此描述的本发明实施例的各种替代方案也可以在本发明的实践中使用。意在使以下的权利要求书限定本发明的范围，并且由此涵盖这些权利要求的范围内的方法和结构及其等效物。

Claims (65)

1.一种用于确定移动平台的移动的方法，包括：
获取所述移动的第一测量的误差贡献值；以及
基于所述获取来估算所述第一测量的误差。
2.如权利要求1所述的方法，其中所述估算包括根据所述误差与所述误差贡献值之间的相关性来估算所述第一测量的所述误差。
3.如权利要求1或2所述的方法，进一步包括通过基于所述第一测量的误差将所述第一测量与对所述移动平台的所述移动的第二测量相结合来确定所述移动平台的所述移动。
4.如权利要求1至3中任一项所述的方法，进一步包括通过标识匹配特征点对来产生所述第一测量，所述匹配特征点对包括物体的基于在第一时刻捕捉到的所述物体的第一图像的第一特征点以及所述物体的基于在第二时刻捕捉到的所述物体的第二图像的第二特征点。
5.如权利要求4所述的方法，其中所述第一时刻不同于所述第二时刻，所述产生所述第一测量包括基于所述匹配特征点对中的所述第一特征点与所述第二特征点之间的关系来测量所述移动平台在所述第一时刻与所述第二时刻之间的所述移动。
6.如权利要求4或5所述的方法，其中所述估算包括根据所述相关性来估算所述第一测量的所述误差，所述相关性独立于所述第一特征点的坐标的误差分布参数。
7.如权利要求4至6中任一项所述的方法，其中所述估算包括根据所述相关性来估算所述第一测量的所述误差，其中所述相关性独立于所述第一特征点的坐标。
8.如权利要求4至7中任一项所述的方法，其中所述获取包括获取同所述物体与所述移动平台之间的距离相关的所述误差贡献值。
9.如权利要求4至8中任一项所述的方法，其中所述获取包括获取包含与所述第一特征点相关联的双目视差的所述误差贡献值。
10.如权利要求9所述的方法，其中所述获取包括获取包含所述双目视差的所述误差贡献值，所述双目视差是基于与所述第一特征点相关联的两个子图像产生的。
11.如权利要求10所述的方法，其中所述获取包括获取包含所述双目视差的所述误差贡献值，所述双目视差是基于由相应的两个成像装置同时捕捉的所述两个子图像产生的。
12.如权利要求9至11中任一项所述的方法，其中所述估算包括将所述第一测量的所述误差估算成随所述双目视差的平方的倒数的增大而线性增大。
13.如权利要求4至12中任一项所述的方法，其中所述产生所述第一测量包括：
标识多个匹配特征点对，所述匹配特征点对各自包括相应的选定第一特征点和对应的第二特征点；以及
基于从所述多个匹配特征点对中选择的选定内点特征点对中所述相应的选定第一特征点与所述对应的第二特征点之间的关系来测量所述移动平台在所述第一时刻与所述第二时刻之间的所述移动。
14.如权利要求13所述的方法，其中所述产生所述第一测量包括从所述多个匹配特征点对中选取一个或多个内点特征点对。
15.如权利要求14所述的方法，其中所述获取包括获取包含所述一个或多个内点特征点对的数目的所述误差贡献值。
16.如权利要求15所述的方法，其中所述估算包括将所述第一测量的所述误差估算成随所述一个或多个内点特征点对的所述数目的倒数的增大而线性增大。
17.如权利要求13至17中任一项所述的方法，其中所述产生所述第一测量包括：
基于每个所述相应的匹配特征点对获取样本移动值；以及
基于由所述多个匹配特征点对中的最匹配特征点对提供的所述样本移动值来测量所述移动平台的所述移动，
其中，所述最匹配特征点对是所述一个或多个内点特征点对。
18.如权利要求4至17中任一项所述的方法，其中所述产生所述第一测量包括测量所述移动平台在所述第一时刻与所述第二时刻之间的位移。
19.如权利要求4至18中任一项所述的方法，其中所述产生所述第一测量包括测量所述移动平台在所述第一时刻与所述第二时刻之间的速度。
20.如权利要求1至19中任一项所述的方法，其中所述估算包括估算与所述第一测量相关联的协方差矩阵。
21.如权利要求3至20中任一项所述的方法，进一步包括使用惯性测量单元产生所述第二测量。
22.如权利要求1至21中任一项所述的方法，其中所述估算包括估算所述第一测量的所述误差以便确定无人飞行器(UAV)的移动。
23.一种用于确定移动平台的移动的设备，包括处理器，所述处理器用于：
获取针对所述移动的第一测量的误差贡献值；以及
基于所述获取来估算所述第一测量的误差。
24.如权利要求19所述的设备，其中所述处理器用于根据所述误差与所述误差贡献值之间的相关性来估算所述第一测量的所述误差。
25.如权利要求23或24所述的设备，其中所述处理器用于提供所述误差以便基于所述第一测量的所述误差通过将所述第一测量与对所述移动平台的所述移动的第二测量相结合来确定所述移动平台的所述移动。
26.如权利要求19至25中任一项所述的设备，其中所述第一测量包括标识匹配特征点对，所述匹配特征点对包括物体的基于在第一时刻捕捉到的所述物体的第一图像的第一特征点以及所述物体的基于在第二时刻捕捉到的所述物体的第二图像的第二特征点。
27.如权利要求26所述的设备，其中所述第一时刻不同于所述第二时刻，所述匹配特征点对中的所述第一特征点与所述第二特征点之间的关系提供了所述移动平台在所述第一时刻与所述第二时刻之间的所述移动。
28.如权利要求26或27所述的设备，其中所述误差与所述误差贡献值之间的所述相关性独立于所述第一特征点的坐标的误差分布参数。
29.如权利要求26至28中任一项所述的设备，其中所述误差与所述误差贡献值之间的所述相关性独立于所述第一特征点的坐标。
30.如权利要求26至29中任一项所述的设备，其中所述处理器用于获取同所述物体与所述移动平台之间的距离相关的所述误差贡献值。
31.如权利要求26至30中任一项所述的设备，其中所述误差贡献值包括与所述第一特征点相关联的双目视差。
32.如权利要求29所述的设备，其中所述双目视差是基于与所述第一特征点相关联的两个子图像产生的。
33.如权利要求30所述的设备，其中所述两个子图像是由相应的两个成像装置同时捕捉的。
34.如权利要求29至31中任一项所述的设备，其中所述处理器用于将所述第一测量的所述误差估算成随所述双目视差的平方的倒数的增大而线性增大。
35.如权利要求26至34中任一项所述的设备，其中：
所述第一测量包括：
标识多个匹配特征点对，其中所述匹配特征点对各自包括相应的选定第一特征点和对应的第二特征点；以及
基于从所述多个匹配特征点对中选择的一个或多个内点特征点对的任一内点特征点对内的所述相应的选定第一特征点与所述对应的第二特征点之间的关系来测量所述移动平台在所述第一时刻与所述第二时刻之间的所述移动；以及
所述误差贡献值包括所述一个或多个内点特征点对的数目。
36.如权利要求35所述的设备，其中所述处理器用于将所述第一测量的所述误差估算成随所述一个或多个内点特征点对的所述数目的倒数的增大而线性增大。
37.如权利要求36或37所述的设备，其中所述第一测量包括：
基于所述多个匹配特征点对中的每个匹配特征点对分别获取样本移动值；以及
基于由所述多个匹配特征点对中的最匹配特征点对提供的所述样本移动值来测量所述移动平台的所述移动，其中所述最匹配特征点对是所述一个或多个内点特征点对。
38.如权利要求26至37中任一项所述的设备，其中所述第一测量包括测量所述移动平台在所述第一时刻与所述第二时刻之间的位移。
39.如权利要求26至38中任一项所述的设备，其中所述第一测量包括测量所述移动平台在所述第一时刻与所述第二时刻之间的速度。
40.如权利要求23至39中任一项所述的设备，其中所述第一测量的所述误差包括与所述第一测量相关联的协方差矩阵。
41.如权利要求25至40中任一项所述的设备，其中所述第一测量是由第一传感器产生，并且所述第二测量是由不同于所述第一传感器的第二传感器产生。
42.如权利要求41所述的设备，其中所述第一传感器包括视觉传感器。
43.如权利要求41或42所述的设备，其中所述第二传感器包括惯性测量单元。
44.如权利要求23至43中任一项所述的设备，其中所述移动平台包括无人飞行器(UAV)。
45.一种用于确定移动平台的移动的设备组件，包括：
视觉传感器，所述视觉传感器用于产生对移动平台的移动的第一测量；以及
如权利要求23至44中任一项所述的设备，所述设备用于估算所述第一测量的误差。
46.一种用于确定移动平台的移动的设备组件，包括：
视觉传感器，所述视觉传感器用于产生对移动平台的移动的第一测量；
如权利要求23至44中任一项所述的设备，所述设备用于估算所述第一测量的误差；以及
惯性测量单元，所述惯性测量单元用于产生对移动平台的移动的第二测量，所述第二测量基于所述第一测量的所述误差与所述第一测量相结合，以便确定移动平台的移动。
47.一种无人飞行器(UAV)，包括如权利要求23至38中任一项所述的设备。
48.一种无人飞行器(UAV)，包括如权利要求45或46所述的设备组件。
49.一种用于组装无人飞行器(UAV)的套件，包括如权利要求23至38中任一项所述的设备。
50.一种用于组装无人飞行器(UAV)的套件，包括如权利要求45或46所述的设备组件。
51.一种计算机程序产品，包括用于根据权利要求1至22中的任一项来确定所述移动平台的所述移动的指令。
52.一种用于估算测量移动平台的移动的误差的方法，包括：
假定误差贡献值与测量所述移动的所述误差之间的相关性，所述相关性包括未知参数；
收集各自与测试移动相对应的实验测量值、地面实况以及误差贡献值；
基于所述地面实况和所述实验测量值计算测量所述测试移动的误差；以及
将所假定的相关性针对所述测试移动的所述误差贡献值以及测量所述测试移动的所述误差进行拟合，以便求解所述未知参数。
53.如权利要求52所述的方法，进一步包括使所述相关性能够基于测量所述移动的所述误差贡献值来估算测量所述移动平台的所述移动的所述误差。
54.如权利要求52至53中任一项所述的方法，进一步包括通过标识匹配特征点对来收集所述实验测量值，所述匹配特征点对包括物体的基于在第一时刻捕捉到的所述物体的第一图像的第一特征点以及所述物体的基于在第二时刻捕捉到的所述物体的第二图像的第二特征点。
55.如权利要求54所述的方法，其中所述第一时刻不同于所述第二时刻，所述收集实验测量值包括基于所述匹配特征点对中的所述第一特征点与所述第二特征点之间的关系来测量所述移动平台在所述第一时刻与所述第二时刻之间的所述测试移动。
56.如权利要求54或55所述的方法，其中所述假定包括假定所述相关性独立于所述第一特征点的坐标的误差分布参数。
57.如权利要求54至56中任一项所述的方法，其中所述假定包括假定所述相关性独立于所述第一特征点的坐标。
58.如权利要求54至57中任一项所述的方法，其中所述收集包括收集同所述物体与所述移动平台之间的距离相关的所述误差贡献值。
59.如权利要求54至58中任一项所述的方法，其中所述收集包括收集包含与所述第一特征点相关联的双目视差的所述误差贡献值。
60.如权利要求59所述的方法，其中所述假定包括假定所述相关性，其中测量所述移动的所述误差随所述双目视差的平方的倒数的增大而线性增大。
61.如权利要求54至60中任一项所述的方法，其中所述收集所述实验测量值包括：
标识多个匹配特征点对，所述匹配特征点对各自包括相应的选定第一特征点和对应的第二特征点；以及
基于从所述多个匹配特征点对中选择的选定内点特征点对内的所述相应的选定第一特征点与所述对应的第二特征点之间的关系来测量所述移动平台在所述第一时刻与所述第二时刻之间的所述移动，
其中所述获取包括获取包含所述一个或多个内点特征点对的数目的所述误差贡献值。
62.如权利要求61所述的方法，其中所述假定包括假定所述相关性，其中测量所述移动的所述误差随所述内点特征点对的所述数目的倒数的增大而线性增大。
63.如权利要求61或62所述的方法，其中所述收集所述实验测量值包括：
基于所述相应的匹配特征点对中的每一个获取样本移动值；以及
基于由所述多个匹配特征点对内的最匹配特征点对提供的所述样本移动值来测量所述移动平台的所述移动，
其中所述最匹配特征点对是所述内点特征点对。
64.如权利要求54至63中任一项所述的方法，其中所述收集所述实验测量值包括测量所述移动平台在所述第一时刻与所述第二时刻之间的位移。
65.一种计算机程序产品，包括用于根据权利要求52至64中的任一项来估算测量移动平台的移动的误差的指令。
CN201580012514.1A 2015-07-14 2015-07-14 用于确定移动平台的移动的方法、设备以及系统 Expired - Fee Related CN106170676B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/083971 WO2017008246A1 (en) 2015-07-14 2015-07-14 Method, apparatus, and system for determining a movement of a mobile platform

Publications (2)

Publication Number Publication Date
CN106170676A true CN106170676A (zh) 2016-11-30
CN106170676B CN106170676B (zh) 2018-10-09

Family

ID=57359356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580012514.1A Expired - Fee Related CN106170676B (zh) 2015-07-14 2015-07-14 用于确定移动平台的移动的方法、设备以及系统

Country Status (4)

Country Link
US (1) US10895458B2 (zh)
JP (1) JP6321202B2 (zh)
CN (1) CN106170676B (zh)
WO (1) WO2017008246A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109489561A (zh) * 2018-12-05 2019-03-19 王勇 一种不限量程的高精度二维平面位移测量系统
CN110825123A (zh) * 2019-10-21 2020-02-21 哈尔滨理工大学 一种基于运动算法的自动跟随载物车的控制系统及方法
CN112419314A (zh) * 2020-12-10 2021-02-26 易思维（杭州）科技有限公司 一种基于相关性的特征点剔除方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210006725A1 (en) * 2018-02-14 2021-01-07 University Of Massachusetts Image capturing system, method, and analysis of objects of interest
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法
US11142337B2 (en) * 2018-07-17 2021-10-12 Ge Aviation Systems Llc Method and system for determining a descent profile
CN110361010B (zh) * 2019-08-13 2022-11-22 中山大学 一种基于占据栅格地图且结合imu的移动机器人定位方法
US20230051377A1 (en) * 2020-10-30 2023-02-16 Smartdrive Inc. Mobility movemennt information acquiring method and mobility movement information acquiring apparatus
WO2022091650A1 (ja) * 2020-10-30 2022-05-05 株式会社スマートドライブ 移動体挙動情報取得方法、移動体挙動情報取得装置及びプログラム
JP7318995B1 (ja) 2022-03-24 2023-08-01 株式会社スマートドライブ 移動体挙動情報取得方法、移動体挙動情報取得装置及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090187299A1 (en) * 2008-01-23 2009-07-23 Fregene Kingsley Oc Method and System for Autonomous Tracking of a Mobile Target by an Unmanned Aerial Vehicle
CN102298070A (zh) * 2010-06-22 2011-12-28 鹦鹉股份有限公司 估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法
CN103365295A (zh) * 2013-06-29 2013-10-23 天津大学 基于dsp的四旋翼无人飞行器自主悬停控制系统及方法
CN103487822A (zh) * 2013-09-27 2014-01-01 南京理工大学 北斗/多普勒雷达/惯性自主式组合导航系统及其方法
CN103697889A (zh) * 2013-12-29 2014-04-02 北京航空航天大学 一种基于多模型分布式滤波的无人机自主导航与定位方法
US8948935B1 (en) * 2013-01-02 2015-02-03 Google Inc. Providing a medical support device via an unmanned aerial vehicle
CN104398248A (zh) * 2014-12-14 2015-03-11 瞿浩正 一种在电子血压计中确定收缩压的斜率差均方根值算法
WO2015085483A1 (en) * 2013-12-10 2015-06-18 SZ DJI Technology Co., Ltd. Sensor fusion

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004530869A (ja) * 2001-03-13 2004-10-07 ザイゴ　コーポレーション 平均干渉位置測定におけるサイクリック・エラーの低減
US6774860B2 (en) * 2002-05-15 2004-08-10 Northrop Grumman Corporation UAV (unmanned air vehicle) servoing dipole
GB0212748D0 (en) * 2002-05-31 2002-07-10 Qinetiq Ltd Feature mapping between data sets
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
DE10316123A1 (de) * 2003-04-04 2004-10-14 Carl Zeiss Smt Ag Vorrichtung und Verfahren zur Wellenfrontvermessung eines optischen Abbildungssystems durch phasenschiebende Interferometrie
US7469183B2 (en) * 2005-01-24 2008-12-23 International Business Machines Corporation Navigating UAVs in formation
US20060167622A1 (en) * 2005-01-24 2006-07-27 Bodin William K Navigating UAVs in formations
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US7925049B2 (en) * 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system
US20080195316A1 (en) * 2007-02-12 2008-08-14 Honeywell International Inc. System and method for motion estimation using vision sensors
US20090058723A1 (en) 2007-09-04 2009-03-05 Mediatek Inc. Positioning system and method thereof
JP2009074859A (ja) * 2007-09-19 2009-04-09 Toyota Central R&D Labs Inc 運動計測装置及び位置計測装置
US8374786B2 (en) 2007-12-11 2013-02-12 Qualcomm Incorporated GNSS method and receiver with camera aid
KR100926760B1 (ko) * 2007-12-17 2009-11-16 삼성전자주식회사 이동 로봇의 위치 인식 및 지도 작성 방법
US8213706B2 (en) * 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
US8239133B2 (en) 2008-07-02 2012-08-07 O2Micro, International Global positioning system and dead reckoning (GPSandDR) integrated navigation system
US8265817B2 (en) * 2008-07-10 2012-09-11 Lockheed Martin Corporation Inertial measurement with an imaging sensor and a digitized map
CN101403620B (zh) 2008-09-10 2013-04-24 深圳市同洲电子股份有限公司 导航装置及方法
CN201331348Y (zh) 2009-01-06 2009-10-21 山东科沐华信息技术有限公司 惯导组合gps车载终端
EP2236980B1 (en) * 2009-03-31 2018-05-02 Alcatel Lucent A method for determining the relative position of a first and a second imaging device and devices therefore
CN101867868B (zh) 2010-03-26 2012-11-28 东南大学 一种组合导航装置和实施方法
WO2011163341A2 (en) * 2010-06-22 2011-12-29 University Of Florida Research Foundation, Inc. Systems and methods for estimating pose
CN101950027A (zh) 2010-08-18 2011-01-19 东莞市泰斗微电子科技有限公司 一种导航卫星信号接收模块及用于该模块的信息处理方法
JP5472538B2 (ja) * 2011-06-14 2014-04-16 日産自動車株式会社 距離計測装置及び環境地図生成装置
WO2012172761A1 (ja) * 2011-06-17 2012-12-20 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法
US8447116B2 (en) * 2011-07-22 2013-05-21 Honeywell International Inc. Identifying true feature matches for vision based navigation
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
JP5987660B2 (ja) * 2012-11-30 2016-09-07 富士通株式会社 画像処理装置、画像処理方法及びプログラム
KR20140108047A (ko) * 2013-02-28 2014-09-05 삼성전자주식회사 물체 추적 방법, 물체의 표시 상태 판단 방법 및 물체 추적이 가능한 제어 장치
KR102077498B1 (ko) * 2013-05-13 2020-02-17 한국전자통신연구원 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법
GB2514334B (en) * 2013-05-13 2020-04-22 Snell Advanced Media Ltd Video processing
US10250821B2 (en) * 2013-11-27 2019-04-02 Honeywell International Inc. Generating a three-dimensional model of an industrial plant using an unmanned aerial vehicle
CN103759730B (zh) 2014-01-16 2016-06-29 南京师范大学 一种基于导航信息双向融合的行人与智能移动载体的协同导航系统及其导航方法
US9235215B2 (en) * 2014-04-03 2016-01-12 Honeywell International Inc. Feature set optimization in vision-based positioning
US9418284B1 (en) * 2014-04-09 2016-08-16 Vortex Intellectual Property Holding LLC Method, system and computer program for locating mobile devices based on imaging
US9911190B1 (en) * 2014-04-09 2018-03-06 Vortex Intellectual Property Holding LLC Method and computer program for generating a database for use in locating mobile devices based on imaging
CN106093455B (zh) * 2014-04-10 2019-01-15 深圳市大疆创新科技有限公司 无人飞行器的飞行参数的测量方法及装置
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US9678506B2 (en) * 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
CN104197928B (zh) * 2014-08-29 2017-01-18 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
JP6281460B2 (ja) * 2014-09-24 2018-02-21 株式会社デンソー 物体検出装置
EP3023938A1 (en) * 2014-11-21 2016-05-25 Thomson Licensing Method and apparatus for tracking the motion of image content in a video frames sequence using sub-pixel resolution motion estimation
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems
GB2533788A (en) * 2014-12-30 2016-07-06 Nokia Technologies Oy Method for determining the position of a portable device
US9558424B2 (en) * 2015-06-30 2017-01-31 Mitsubishi Electric Research Laboratories, Inc. On-road stereo visual odometry without explicit pose determinations
CN108027230B (zh) * 2015-09-30 2020-10-23 索尼公司 信息处理设备、信息处理方法和程序
CN108139758A (zh) * 2015-10-09 2018-06-08 深圳市大疆创新科技有限公司 基于显著性特征的载运工具定位
US10502840B2 (en) * 2016-02-03 2019-12-10 Qualcomm Incorporated Outlier detection for satellite positioning system using visual inertial odometry
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry
US10527423B1 (en) * 2016-04-07 2020-01-07 Luftronix, Inc. Fusion of vision and depth sensors for navigation in complex environments
US10387727B2 (en) * 2017-09-13 2019-08-20 Wing Aviation Llc Backup navigation system for unmanned aerial vehicles
US10311833B1 (en) * 2018-03-27 2019-06-04 Seiko Epson Corporation Head-mounted display device and method of operating a display apparatus tracking an object
US20200202729A1 (en) * 2018-12-20 2020-06-25 William Tam System for autonomous unmanned aerial vehicle trajectory conflict resolution

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090187299A1 (en) * 2008-01-23 2009-07-23 Fregene Kingsley Oc Method and System for Autonomous Tracking of a Mobile Target by an Unmanned Aerial Vehicle
CN102298070A (zh) * 2010-06-22 2011-12-28 鹦鹉股份有限公司 估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法
US8948935B1 (en) * 2013-01-02 2015-02-03 Google Inc. Providing a medical support device via an unmanned aerial vehicle
CN103365295A (zh) * 2013-06-29 2013-10-23 天津大学 基于dsp的四旋翼无人飞行器自主悬停控制系统及方法
CN103487822A (zh) * 2013-09-27 2014-01-01 南京理工大学 北斗/多普勒雷达/惯性自主式组合导航系统及其方法
WO2015085483A1 (en) * 2013-12-10 2015-06-18 SZ DJI Technology Co., Ltd. Sensor fusion
CN103697889A (zh) * 2013-12-29 2014-04-02 北京航空航天大学 一种基于多模型分布式滤波的无人机自主导航与定位方法
CN104398248A (zh) * 2014-12-14 2015-03-11 瞿浩正 一种在电子血压计中确定收缩压的斜率差均方根值算法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109489561A (zh) * 2018-12-05 2019-03-19 王勇 一种不限量程的高精度二维平面位移测量系统
CN110825123A (zh) * 2019-10-21 2020-02-21 哈尔滨理工大学 一种基于运动算法的自动跟随载物车的控制系统及方法
CN112419314A (zh) * 2020-12-10 2021-02-26 易思维（杭州）科技有限公司 一种基于相关性的特征点剔除方法

Also Published As

Publication number Publication date
CN106170676B (zh) 2018-10-09
US20180128620A1 (en) 2018-05-10
WO2017008246A1 (en) 2017-01-19
JP2017523382A (ja) 2017-08-17
US10895458B2 (en) 2021-01-19
JP6321202B2 (ja) 2018-05-09

Similar Documents

Publication Publication Date Title
CN106170676A (zh) 用于确定移动平台的移动的方法、设备以及系统
CN107808407A (zh) 基于双目相机的无人机视觉slam方法、无人机及存储介质
KR102403297B1 (ko) 디지털 이미지 및 모델-기반 필터링 기술에 의한 전기기계적 양의 추정
Birbach et al. Rapid calibration of a multi-sensorial humanoid’s upper body: An automatic and self-contained approach
Sabo et al. A lightweight, inexpensive robotic system for insect vision
Deng et al. Accurate and flexible calibration method for a class of visual sensor networks
Nardi et al. Generation of laser-quality 2D navigation maps from RGB-D sensors
Irmisch et al. Simulation framework for a visual-inertial navigation system
Maki et al. 3d model generation of cattle using multiple depth-maps for ict agriculture
Murcia et al. A Comparative Study of 3D Plant Modeling Systems Based on Low-Cost 2D LiDAR and Kinect
CN109948571A (zh) 一种光学遥感图像船舶检测方法
Singh et al. Simulating gps-denied autonomous uav navigation for detection of surface water bodies
KR20190086081A (ko) 3차원 구조물 진단을 위한 드론 유닛의 다중 레이어 기반의 커버리지 경로 계획 방법 및 그 시스템
Lu et al. Object motion estimation based on hybrid vision for soccer robots in 3d space
CN111161357B (zh) 信息处理方法及装置、增强现实设备和可读存储介质
JP4673241B2 (ja) 動体追跡装置、動体追跡方法及びその方法を実現したプログラムを格納した記録媒体
Kavzoglu et al. Calibraton of a digital single lens reflex (slr) camera using artificial neural networks
Pogorzelski et al. Vision Based Navigation Securing the UAV Mission Reliability
Heide et al. UCSR: registration and fusion of cross-source 2D and 3D sensor data in unstructured environments
Alix et al. Error characterization of flight trajectories reconstructed using Structure from Motion
JP7330114B2 (ja) 対象位置特定システムおよび対象位置特定方法
JP7258250B2 (ja) 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム
JP7255709B2 (ja) 推定方法、推定装置及びプログラム
Lee Object Detection with Deep Learning to Accelerate Pose Estimation for Automated Aerial Refueling
Craeye Obstacle avoidance with optic flow

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181009