CN106233219A - 移动平台操作系统及方法 - Google Patents

移动平台操作系统及方法 Download PDF

Info

Publication number
CN106233219A
CN106233219A CN201580020456.7A CN201580020456A CN106233219A CN 106233219 A CN106233219 A CN 106233219A CN 201580020456 A CN201580020456 A CN 201580020456A CN 106233219 A CN106233219 A CN 106233219A
Authority
CN
China
Prior art keywords
distance
measured value
mobile platform
image
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580020456.7A
Other languages
English (en)
Other versions
CN106233219B (zh
Inventor
赵丛
唐克坦
周谷越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Priority to CN202010099469.0A priority Critical patent/CN111273690A/zh
Publication of CN106233219A publication Critical patent/CN106233219A/zh
Application granted granted Critical
Publication of CN106233219B publication Critical patent/CN106233219B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供一种用于使用距离以及速度信息操作移动平台的系统及其制造和使用方法。所述系统包括飞行时间传感器以及超声波传感器，它们用于测量所述移动平台与障碍物之间的距离；以及处理器，所述处理器用于整合所感测的测量值并控制所述移动平台。由所述飞行时间传感器测量的所述距离可以通过相移方法来确定。所述飞行时间传感器还可以用于通过在不同时间对参考点成像并使用立体观测确定位移来测量所述移动平台的速度。使用所述飞行时间传感器以及所述超声波传感器测量的距离以及速度可以整合来提高测量精确性。所述系统以及方法适合用于控制任何类型的包括无人飞行器的移动平台，并且可以有利地应用来避免所述移动平台与所述障碍物之间的碰撞。

Description

移动平台操作系统及方法
技术领域
所揭露的实施方式大体是关于移动平台操作，并且更具体地但是非排他地是关于用于使用距离及速度检测来操作移动平台的系统及方法。
背景技术
自主或者自导避障是移动平台的重要特征。用于使得移动平台能够在其空间环境中检测潜在障碍的技术包括，例如，超声波、飞行时间(time-of-flight)及其他的方法。然而，每一种单独的方法都有某些缺陷，这使得所述方法对于自导避障而言不是理想的。例如，基于超声波的障碍物检测具有有限的检测范围(通常小于五米)，以及对小物体的有限的敏感度。因此，基于超声波的装置不足以在快速移动的物体(例如，移动速度超过每秒10米的物体)的避障中使用，因为有限的检测范围不能充分警告移动平台或者车辆来让其减速和躲避障碍物。
飞行时间(ToF)感测(一种替代技术)可以基于发射的光到达障碍物以及从障碍物返回的传播时间来获取障碍物距离。飞行时间感测的优点包括长检测范围以及高分辨率。但是飞行时间感测对于移动平台的障碍物检测来说具有某些缺陷。例如，强的环境光可能会导致飞行时间传感器的信噪比较低。另外，飞行时间信号可以基于成像物体尤其是镜子之类的物体，如玻璃或者水面的反射特性来变化。
鉴于前述描述，需要提供用于移动平台避障操作的克服单一距离检测方法的缺点的系统及方法。
发明内容
根据本文揭露的第一方面，提出一种用于操作移动平台的方法，包括：
检测移动平台与障碍物之间的距离；以及
检测移动平台的速度。
根据本文揭露的另一方面，提出一种用于操作移动平台的系统，包括:
飞行时间传感器，用于感测移动平台的操作环境；
超声波传感器，用于感测所述操作环境；以及
处理器，用于根据所述移动平台的操作环境以及速度来控制所述移动平台。
根据本文揭露的另一方面，提出一种用于根据移动平台的操作环境以及速度来控制移动平台的处理器，其中所述处理器用于：
从飞行时间传感器接收操作环境的第一测量值；
从超声波传感器接收所述操作环境的第二测量值；以及
根据所述第一测量值以及第二测量值来产生用于控制所述移动平台的控制信号。
根据本文揭露的另一方面，提出一种用于产生用于移动平台的控制信号的处理方法，包括：
确定移动平台与障碍物之间的距离；
确定移动平台的速度；以及
基于所述距离以及速度来产生所述控制信号。
附图说明
图1为示出以所示出的相对于障碍物的关系安装在移动平台上的移动平台控制系统的实施方式的示例图。
图2为示出图1的移动平台控制系统的实施方式的示例性顶层方块图。
图3为示出用于使用图1的移动平台控制系统来自动操作移动平台的方法的实施方式的示例性顶层流程图。
图4为示出用于使用图1的移动平台控制系统基于飞行时间感测以及超声波感测中的至少一种来确定移动平台与障碍物之间的距离的方法的实施方式的示例性流程图。
图5为示出用于距离确定的飞行时间传感器的实施方式的示例图。
图6为示出用于距离确定的超声波传感器的实施方式的示例图。
图7为示出图3中用于使用相移法确定距离的方法的实施方式的示例性流程图。
图8为示出使用相移法产生的深度图以及幅度图的示例的示例图。
图9为示出图3中用于使用深度图确定距离的方法的实施方式的示例性流程图。
图10为示出用于使用立体观测来确定速度的过程的实施方式的示例图。
图11为示出图10中用于使用三角测量确定速度的过程的实施方式的示例图。
图12为示出图3中用于确定双目视差的方法的实施方式的示例性流程图。
图13为示出用于确定距离的方法的实施方式的示例性确定流程图。
图14为示出用于根据速度和/或距离控制移动平台的方法的实施方式的示例性确定流程图。
应该注意到，附图并未按比例绘制，并且出于说明性目的，具有相似结构或者功能的元件在所有附图中通常由相似参考号表示。还应该注意到，附图仅意在辅助描述优选实施方式。附图并没有示出所描述的实施方式的每个方面，并且不限制本揭露的范围。
具体实施方式
本揭露提出了用于使用飞行时间和/或超声波感测来进行移动平台的障碍检测及避障的系统及方法，克服了现有系统及方法的缺点。
现转到图1，移动平台控制系统100被示出为安装在移动平台200上。示出了所述移动平台200相对于障碍物250的关系。所述移动平台200被定位成与所述障碍物250相距距离d，并且相对于所述障碍物250以速度v移动。所述移动平台控制系统100用于来确定所述距离d，并且基于所述速度v来控制所述移动平台200的运动，以避免与障碍物250碰撞。
示例性移动平台200包括，但是不限于，自行车、汽车、卡车、轮船、小船、火车、直升机、飞行器、以上各种组合等。在一些实施方式中，所述移动平台200是无人飞行器(UAV)，通俗语叫“无人机(drones)”。UAV是没有机载人类飞行员的飞行器，其飞行是自主地或者由远程飞行员控制(或者有时二者兼有)。UAV目前越来越多地应用于民用应用中，包括各种空中操作，例如数据采集或者传送。本控制系统及方法适合于许多类型的UAV，包括但不限于，四轴飞行器(也叫四旋翼直升机或者四旋翼飞行器)、单轴、双轴、三轴、六轴及八轴旋翼UAV、固定翼UAV以及旋翼-固定翼混合式UAV。
现转到图2，示例性移动平台控制系统100被示出为包括多个传感器110。所述移动平台控制系统100根据需要可以包括任何数量的传感器110，例如1、2、3、4、5、6或者甚至更多数量的传感器110。所述传感器110可以按任何希望的方式布置在移动平台控制系统100上，其中传感器110的特定布置取决于成像应用。所述传感器110可以有利地是轻质的并且能够进行高频数据收集，以便于促进实时障碍物检测以及避障。适合于在移动平台控制系统100中使用的示例性传感器110包括，但是不限于，彩色或者单色传感器、电光传感器、热/红外传感器、飞行时间传感器、超声波传感器、多光谱成像传感器、分光光度计、光谱仪、温度计、照度计、麦克风/声波换能器以及其他。
如图2所示，传感器110可以与一个或者多个处理器120交互。非限制地，每个处理器120可以包括一个或者多个通用微处理器(例如，单核或者多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。所述处理器120可以用于执行本文所描述的任何方法，包括但不限制于，与障碍物检测及避障有关的各种操作。在一些实施方式中，所述处理器120可以包括专用硬件以用于处理与障碍物检测及避障有关的特定操作-例如，处理飞行时间数据、处理超声波数据、基于收集的数据确定障碍物距离，以及基于确定的距离控制移动平台(未图示)。
在一些实施方式中，所述处理器120被定位成物理接近于所述传感器110。在这类情况下，所述处理器120和传感器110可以用于例如使用硬件连接器和总线来进行本地通信。本地通信的优势在于可以减小传输延迟，以便于促进实时障碍物检测及避障。
在其他实施方式中，可以将障碍物数据发送至远程终端(未图示)以供处理，从而有利地方便用户反馈以及与其他数据(例如，其他移动平台的位置、天气条件、全球定位系统(GPS)信号等)整合。在这类情况下，所述处理器120可以远离传感器110定位。在一个实施方式中，所述移动平台200的距离d及速度v可以传输给远程终端以供处理。在处理之后，所述远程终端可以基于所述距离d及速度v来产生控制信号，并且往回向所述移动平台200发送所述控制信号。各种无线通信方法可以用在传感器110与处理器120之间的远程通信当中。适合的通信方法包括例如无线电、无线保真(Wi-Fi)、蜂窝、卫星以及广播。
如图2所示，所述移动平台控制系统100根据需要可以包括一个或者多个额外的硬件部件(未图示)。示例性额外的硬件部件包括，但不限于，存储器130(例如，随机存取存储器(RAM)、静态RAM、动态RAM、只读存储器(ROM)、可编程ROM、可擦除可编程ROM、电可擦除可编程ROM、闪存器、安全数字(SD)卡等)；和/或一个或者多个输入/输出接口(例如，通用串行总线(USB)、数字视频接口(DVI)、显示器端口(display port)、串行ATA(SATA)、IEEE 1394接口(也称为火线)、串口、视频图形阵列(VGA)、超级视频图形阵列(SVGA)、小型计算机系统接口(SCSI)、高清晰度多媒体接口(HDMI)、音频端口和/或专有输入/输出接口)。所述移动平台控制系统100根据需要还可以包括一个或者多个输入/输出装置140(例如，按钮、键盘、小型键盘、轨迹球、显示器以及监控器)。
现参考图3，示出了用于基于检测的距离d及速度v操作移动平台200的方法300的一个实施方式。在301，测量移动平台200的速度v。在一些实施方式中，可以使用安装在移动平台200上的传感器110(图2所示)来测量所述速度v。用于测量速度v的示例性传感器110是惯性测量单元(IMU)。可选地和/或附加地，所述速度v可以使用一个或者多个相机(例如，传统的RGB传感器和/或飞行时间传感器500(图5所示))通过立体观测来测量，如下文针对图10-12进一步所描述。在302，获取所述移动平台200与障碍物250之间的距离d。如本文所述，所述距离d可以使用飞行时间传感器500、超声波传感器600(图6所示)、其他传感器110、或者其结合来测量。在303，测量所述速度v及距离d，并且操作所述移动平台200来躲避障碍物250。
现转到图4，用于确定移动平台200与障碍物250(如图1所示)之间的距离的示例性方法被示出为使用飞行时间测量值(本文中也叫第一测量值)及超声波测量值(本文中也叫第二测量值)中的至少一个。使用多个传感器和/或传感器类型来测量距离障碍物250的距离d的优点在于：所述测量会因冗余而变得更加精确，而且所述测量更能抵抗特定传感器和/或传感器类型的限制。在401，可以使用飞行时间传感器500(图5所示)来测量距离d。在402，可以使用超声波传感器600(图6所示)来测量距离d。在403，可以基于使用飞行时间和/或超声波获得的测量值中的至少一个来确定所述距离d。
现转到图5，示例性传感器110被示出为飞行时间传感器500。所述飞行时间传感器500可以包括光源510，所述光源510可以在预定频率范围内产生光(本文中等同地称为“照明”)。在一个优选实施方式中，所述光源510是固态激光器或者发光二极管(LED)。在另一个优选实施方式中，所述光源在红外范围内产生照明。仍然在另一个实施方式中，所述照明处在近红外范围内。所述光源510可以将光发射为脉冲信号和/或连续波。
一旦所述光源510产生光，所述光就会朝向障碍物250发射。来自障碍物250的反射光可以被使用一个或者多个光传感器520的所述飞行时间传感器500检测，所述一个或者多个光传感器520可以感测反射光，并将所述感测的光转换为电子信号。飞行时间传感器500的每个光传感器520可以是例如电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)成像装置以及其组合/变型。所述光传感器可以按二维阵列(未图示)布置，所述光传感器各自可以捕捉图像信息中的一个像素，从而共同实现对图像深度图801(图8所示)的构造。所述飞行时间传感器500优选地具有四分之一视频图形阵列(QVGA)或者更高的分辨率-例如，至少5万像素、10万像素、50万像素、100万像素、200万像素、500万像素、1000万像素、2000万像素、5000万像素、1亿像素、或者甚至更大数值像素的分辨率。此外，所述光传感器520既可以检测来自障碍物250的反射光也可以检测环境光。所述飞行时间传感器500可以有利地用于区分反射光(信号)与环境光(噪声)。一旦感测到反射光，就可以根据光信号的飞行时间来测量距离障碍物250的距离d，如下文参考图7进一步所描述。
现转到图6，示例性传感器110被示出为超声波传感器600。所述超声波传感器600可以发射高频的超声波，并评估超声波回波，所述超声波回波是在被障碍物250反射之后接收回来的。基于发送所述超声波信号与接收回波之间的时间差(time lapse)，可以确定距离所述障碍物250的距离d。所述超声波传感器600可以包括超声波发射器610以及至少一个超声波接收器620。所述超声波发射器610和/或超声波接收器620各自可以是超声波换能器(transducer)，所述超声波换能器将电信号转换为超声波，反之亦然。示例性超声波换能器包括压电换能器及电容换能器。在一些实施方式中，所述超声波传感器600可以包括呈一维或者二维配置的阵列式超声换能器，从而实现对超声波深度图的构造。
虽然仅为了说明性目的示出为相异的装置，但是所述移动平台控制系统100的传感器110可以部分或者全部整合到单一装置中，并且共享重叠的物理部件，如壳体、微芯片、光传感器、检测器、通信端口等。例如，在一些实施方式中，所述飞行时间传感器500可以与所述超声波传感器600共享处理器120(图2所示)。在其他实施方式中，所述传感器110为了方便更换和模块化可以是物理上分开的装置。
现参考图7，示出了用于使用飞行时间传感器500来测量距离d及速度v的示例性方法700。在701，飞行时间传感器500的光源510(图5所示)可以向所述障碍物250发射光波。在一个实施方式中，所述发射的光是由光源510在一段短时间内发射的脉冲。在另一个实施方式中，所述光由所述光源510发射为连续波(例如，正弦波或者方波)。
在702，在被所述障碍物250反射之后，检测到反射光。所述反射光可以使用飞行时间传感器500的一个或者多个光传感器520(图5所示)来检测。所述光检测过程取决于光的发射过程。在将光发射为连续波的情况下，相移法可以用于检测发射光，从而允许测量光的飞行时间以及因此距离d。
相移法的示例性实施方式通过以下过程来说明：所述飞行时间传感器500按时间函数g(t)将光波发射为正弦信号，所述时间函数表示如下：
g(t)＝cos(ωt) 方程式(1)
其中t表示时间，并且ω表示发射光的调制频率。在光波被反射之后，反射光波被光传感器520检测到，并且可以表示为以下函数h(t)：
其中t表示时间，a表示反射光波的幅度，b表示反射光波的恒值偏差，并且表示反射光波相对于发射光波的相移。
在703，测量所述发射光波与反射光波之间的相移在示例性方法中，所述测量可以通过对如下的发射光波g(t)与反射光波h(t)之间的交叉相关函数c(τ)取样来执行：
其中τ表示计算交叉相关函数的内部偏移。所述交叉相关函数可以简化为：
可以例如在四个顺序时间上对所述交叉相关函数c(τ)取样，每个顺序时间具有不同的内部偏移τ。例如，τ的取样值可以是处于0、π/2、π及3π/2角度，从而分别给出交叉相关函数的四个值A1、A2、A3及A4。反射光波的所希望的参数——振幅a、恒值偏差b以及相移-可以根据A1、A2、A3及A4通过以下方程式来获得：
b＝(A1+A2+A3+A4)/4 方程式(7)
最后，在704，所述距离d可以根据测量的相移来确定。在一个实施方式中，所述距离d与相移线性成比例。在一个实施方式中，所述距离d可以根据下述方程式依据相移确定：
其中c是光的速度，并且fmod是调制频率。
现转到图8，基于飞行时间传感器500对特定物体成像而示出示例性深度图801及示例性幅度图802。例如，可以根据距离d为二维阵列中的每个光传感器520找到深度图801。所述深度图801由此描画了飞行时间传感器500以及安装了飞行时间传感器500的移动平台200的周围的操作环境。较远的物体以深色调表示，而较近的物体以浅色调表示。所述幅度图802表示二维阵列中的每个光传感器320的幅度a(图8未示出)，由此按灰阶来描画所述操作环境。分别用于构造深度图801及幅度图802的d及a的值可以如上所述使用相移法来获得。最后，反映了由光传感器520感测的环境光的量的恒值偏差b(图8未示出)并没有在图7所示的示例性深度图801及示例性幅度图802中进行描画，但是可以用在本文描述的系统及方法的其他方面中。
在一些实施方式中，可以将深度图801和/或幅度图802产生为使用来自多个传感器110的数据形成的组合(或复合)图。例如，通过飞行时间传感器500产生的深度图可以与通过超声波传感器600产生的深度图组合(例如，使用阵列换能器)。所述组合的深度图可以用于确定移动平台200与障碍物250之间的距离d。
现转到图9，示出了使用深度图801确定移动平台200(图1所示)与障碍物250(图1所示)之间的距离d的示例性方法。在901，使用本文描述的任何方法来产生深度图801。例如，如上文针对图7所描述，可以使用飞行时间传感器500来产生适合于距离确定的深度图801。可选地和/或附加地，适合于距离确定的深度图801也可以使用超声波传感器600(图6所示)或者使用其他距离或者深度确定方法来产生。
在902，可以任选地对所述深度图进行滤波以去除可能会不利地影响精确距离确定的数据伪影或者噪声。例如，飞行时间传感器500(图3所示)中发生故障的光传感器510可能会产生不是太暗就是太亮的像素。还可以基于确定深度图801中每个像素的误差方差来执行滤波。例如，通过飞行时间传感器500产生的深度图801中的给定像素的误差方差dR可以根据方程式(9)来测量：
其中，ktot是调制对比度，是传感器的一种属性，S是反射光的强度，N是环境光的强度，λmod是光的波长，并且Nphase是测量次数。此处，误差方差dR可以通过加大测量次数并增大取样尺寸来减小。在确定了每个像素的误差方差dR之后，可以在滤波过程中丢弃深度图801的一个或者多个像素。例如，可以在滤波过程中丢弃具有高于预定阈值的误差方差dR的像素。在一些实施方式中，用于滤波的预定阈值可以是预定百分比-例如，1％、2％、5％、10％、20％或者更大的-像素强度。
在903，所述深度图801任选地可以进行平滑处理，以去除潜在的成像伪影和/或噪声。适合于对深度图801进行平滑处理的示例性方法包括例如，加法平滑(additivesmoothing)，应用数字滤波器(digital filters)，应用卡尔曼滤波器，核平滑(Kernelsmoothing)，拉普拉斯平滑(Laplacian smoothing)，高斯平滑(Gaussian smoothing)，应用低通滤波器，应用高通滤波器，基于曲线拟合的平滑，回归，使用移动平均值，指数平滑以及其他方法。
在904，移动平台200与障碍物250之间的距离d可以使用所述深度图801来确定。所述障碍物250可以采用任何需要的方式利用深度图801来识别。例如，可以预先配置障碍物250的视觉轮廓(visual profile)，并且可以基于所述视觉轮廓在所述深度图801中扫描所述障碍物250的位置。可以基于机器视觉和/或人工智能方法等来识别障碍物250。适合的方法包括特征检测、提取和/或匹配技术，例如，RANSAC(随机取样一致)、Shi&Tomasi角点检测、SURF blob(加速鲁棒特征)检测、MSER blob(最大稳定极值区域)检测、SURF(加速鲁棒特征)描述符、SIFT(尺度不变特征变换)描述符、FREAK(快速视网膜关键点)描述符、BRISK(二进制鲁棒尺度不变关键点)描述符、HOG(方向梯度直方图)描述符等。可选地，在所述障碍物250是未知的情况下，可以将深度图801中最接近移动平台200的一组物体假想为潜在的障碍物。可以根据需要施加尺寸与形状限制来过滤掉潜在的障碍物，从而避免错误的障碍物读取。
一旦在深度图801中识别到障碍物250，为了移动平台操作的目的就可以确定相关的距离d。例如，距离障碍物250的质量中心的距离d可以用于移动平台导航及避障目的。作为另一个示例，距离障碍物250上最接近移动平台200的点的距离d可以用作操作距离。在要考虑多个障碍物250的一些实施方式中，可能总共要考虑相应的障碍物250的一组距离d，以供移动平台控制及导航使用。
现转到图10，示出了使用立体观测来确定移动平台200(图1所示)的速度v的方法。在两个时间点即初始时间点t1(此时所述移动平台200由参考号200a表示)以及随后时间点t2(此时同一个移动平台200由参考号200b表示)描画了移动平台200。在初始时间点t1，移动平台200a的传感器110a具有一个导向参考点1050的视线1030a。基于这个视线，所述传感器110a在时间点t1捕捉第一图像1020a。在随后时间点t2，所述传感器(现由参考号110b指示)具有导向参考点1050的不同视线1030b。基于这个随后的视线，所述传感器110b在时间点t2捕捉第二图像1020b。传感器110以及因此移动平台200的位移Δ可以使用第一图像1020a与第二图像1020b之间的双目视差b(本文中也叫视差)来获得，如下文参考图10进一步所描述。在获得所述位移Δ后，所述速度v可以基于所述位移Δ及时间点t1与时间点t2之间的时间差来确定。
所述参考点1050可以是移动平台200的操作环境内的任意一点。在一些实施方式中，所述参考点1050是移动平台下方的操作环境内的一点。尤其是在所述移动平台200是飞行器(例如，无人飞行器或者“UAV”)的实施方式中，在其他参考点1050不可用的情况下，可以使用所述移动平台200下方的参考点1050。
现转到图11，可以将在时间点t1捕捉的第一图像1020a与在时间点t2捕捉的第二图像1020b进行比较，以使用三角测量方法来确定所述位移Δ。具体而言，所述位移Δ可以按如下方式给出：
Δ＝bd/f 方程式(10)
其中b是第一图像1020a与第二图像1020b之间的双目视差，f是传感器110的焦距，并且d是传感器110与参考点1050之间的距离。此处，可以假定时间点t1与时间点t2之间的距离d的任何变化是可忽略的，前提是时间点t1与时间点t2之间的间隔很短。最后，所述双目视差b可以基于所述第一图像1020a以及第二图像1020b中的参考点1050之间的位置差异来获得。如上文针对图8所描述，各种特征检测、提取和/或匹配技术可以用于识别第一图像1020a与第二图像1020b之间的对应的参考点1050。
在一些实施方式中，用于通过立体观测检测速度v的传感器110可以是飞行时间传感器500(图5所示)。所述飞行时间传感器500可以获得幅度图802(图8所示)，所述幅度图具有参考点1050。所述幅度图802，是灰阶图像，可以用作第一图像1020a及第二图像1020b，以便使用上述三角测量方法来确定所述位移Δ。
现转到图12，示出了用于使用在第一图像1020a及第二图像1020b两者中出现的多个参考点1050来确定第一图像1020a与第二图像1020b之间的双目视差b的示例性方法1200。在1201，可以选择多个参考点1050。可以使用各种不同的方法来选择所述参考点1050。在一个示例性实施方式中，将所述参考点1050选择为预定义形状。在另一个实施方式中，将参考点1050选择为具有特定颜色或者强度。在另一个实施方式中，将所述参考点1050选择为第一图像1020a或者第二图像1020b的彼此重叠的任意部分。在另一个实施方式中，按照规则隔开的间隔，例如每个像素、每隔一个像素、每三个像素、每四个像素等来选择所述参考点1050。根据需要，所述参考点1050可以采取变化的形状和尺寸。在一些实施方式中，上述方法的组合可以用于选择参考点1050。
在1202，在第二图像1020b上定位对应于所选择的参考点1050的点。再次，各种特征检测、提取和/或匹配技术可以用于识别第一图像1020a与第二图像1020b之间的对应的参考点1050。
在1203，可以基于第一图像1020a与第二图像1020b之间每个参考点1050的位置的变化来确定双目视差b。各种方法中的任一种可以用于基于个别参考点1050的位置的变化来确定所述双目视差b。在一个实施方式中，所述双目视差b是基于位置变化的平均值来获得。示例性的平均值的类型可以包括算术平均值、几何平均值、中值或者众数。在另一个实施方式中，所述双目视差b是基于参考点1050的子集来获得。从参考点1050的子集计算所述双目视差b的优点可以包括例如能够对噪声滤波、能够过滤掉太远(或者太近)的参考点1050，或者能够基于强度来过滤掉参考点1050。
现转到图13，示出了用于基于来自多个传感器和/或传感器类型的测量来确定移动平台200(图1所示)与障碍物250(图1所示)之间的距离d的方法1300。尽管仅出于说明性目的，针对飞行时间传感器500的测量值(也叫第一测量值)以及超声波传感器600(也叫第二测量值)示出了方法1300，但是所述方法并不限于使用这类传感器。
在1301，可以确定第一测量值及第二测量值是否是不确定的。有几种情况会出现不确定的距离测量值。例如，障碍物250的距离d可能超过传感器110的检测范围。因为超声波传感器具有有限的范围(例如，10米或者更小)，远端物体可能会给出不确定的超声波距离测量。作为另一个示例，可能会在以下情况下出现不确定的距离测量：对发射信号(例如，发射光或者超声波)的干扰会阻碍接收从障碍物250反射回来的信号。作为另一个示例，可能会在以下情况下出现不确定的距离测量：信噪比较低-例如，飞行时间传感器在强烈的环境光下操作。如果两个测量值都不确定的，则方法1300结束，因为没有足够的信息来确定所述距离d；否则，方法1300进行至1302。在1302，确定第一测量值或者第二测量是否是不确定的。如果一个测量值是不确定的，那么在1303，一旦确定第二测量值是不确定的，距离d就应采用第一测量值。相似地，在1303，一旦确定第一测量值是不确定的，距离d就应采用第二测量值。
如果所述第一测量值及第二测量值都是不确定的，则方法1300进行至1304。在1304，可以使用几种解析不同测量的方法来确定单一距离d。在一个实施方式中，所述距离d可以被确定为是第一测量值和第二测量值中较短者。这个实施方式有利地假定有一个传感器110在另一个传感器110未精确地测量距离或发生故障的情况下已经精确检测到附近的障碍物250，并且避免了碰撞。依赖于最近距离测量值的这种原理通常可以适用于使用超过两个传感器的检测。
在另一个实施方式中，所述距离d可以根据第一测量值的误差方差和/或第二测量值的误差方差来确定。例如，当第一测量值的误差方差大于预定阈值时，所述距离d可以确定为第二测量值。相似地，当第二测量值的误差方差大于预定阈值时，所述距离d可以确定为第一测量值。在一些实施方式中，所述预定阈值可以为预定百分比-例如1％、2％、5％、10％或者更大-的测量值。在第一测量值及第二测量值两者的误差方差都在阈值之内的情况下，所述距离可以通过加权误差方差来确定。例如，所述距离可以确定为第一测量值及第二测量值的加权平均值，其中权重与测量值的误差方差成比例。所述传感器110的误差方差可以按多种方式来确定。例如，飞行时间传感器500的误差方差可以使用方程式(9)来获得。
在另一个实施方式中，由飞行时间传感器500所得到的测量值的相对权重可以根据飞行时间传感器500周围的环境光亮度级(ambient light level)来确定。所述环境光亮度级可以按各种方式来测量。例如，所述环境光可以通过飞行时间传感器500自身，或者使用单独的传感器110来测量。在所述环境光是通过飞行时间传感器500测量的情况下，所述环境光可以测量为发射光波与对应的接收光波之间的交互相关(cross-correlation)的恒值偏差b，如上文针对图7及方程式(7)所描述。
在另一个实施方式中，可以基于传感器或者传感器类型的固有的精确性或者可靠性来向某些传感器210或传感器210类型给予较高相对权重。在一些实施方式中，飞行时间传感器500的权重可以大于超声波传感器600。在一些实施方式中，所述飞行时间传感器500的权重可以小于超声波传感器600。在一些实施方式中，所述移动平台控制系统100可以具有使用飞行时间传感器500或超声波传感器600的默认设定，甚至是在其中一个已经确定的情况下，因为特定的传感器或者传感器类型更为可信。
现转到图14，示出了用于控制移动平台200的示例性方法1400，其中所述移动平台控制系统100可以调节所述移动平台200的速度和/或方向，以避免与障碍物250碰撞。控制所述移动平台200可以取决于例如由传感器110检测到的距离d及速度v。非限制地，移动平台控制系统100的处理器120可以用于执行用于移动平台导航及避障的任何操作。
在1401，所述移动平台控制系统100可以根据周围障碍物250的位置来确定移动平台200是否具有到达其目的地的可用路径。如果当前可用的信息没有显示路径可用，那么在1402，可以控制所述移动平台200以使其维持固定位置(例如，对于飞行器而言是进入悬停)。在所述固定位置维持一个选定时间段之后，可以控制所述移动平台200调节朝向和/或搜索可用路径。如果路径可用，那么在1403，所述移动平台控制系统100可以基于该信息来确定最佳路径，并相应地调节移动平台200的速度和/或航向。在一些情况下，在没有障碍物250阻挡当前路径的情况下，不需要调节移动平台200的速度或航向。
在一些实施方式中，使用移动平台控制系统100来控制移动平台200的方法1400可以取决于用于检测距离d和/或速度v的传感器100的类型。例如，因为飞行时间传感器500通常具有比超声波传感器600更远的范围，所述移动平台200可以用于响应于飞行时间传感器500检测到障碍物250而逐渐减速，但是响应于超声波传感器600检测到障碍物250而立即减速。
所揭露的实施方式易于做出各种修改及替代形式，并且在附图中已经通过举例示出了所述实施方式的特定示例，并在本文中进行了详细描述。然而，应该理解的是，所揭露的实施方式并不限于所揭露的特定形式或方法，而是相反，所揭露的实施方式覆盖所有修改、等效形式和替代方式。

Claims (130)

1.一种用于操作移动平台的方法，包括：
检测所述移动平台与障碍物之间的距离；以及
检测所述移动平台的速度。
2.如权利要求1所述的方法，其中所述检测所述距离包括通过飞行时间感测或者超声波感测来检测所述距离。
3.如权利要求2所述的方法，其中所述检测所述距离包括：
通过所述飞行时间感测来测量所述距离，以获得第一测量值；
通过所述超声波感测来测量所述距离，以获得第二测量值；以及
基于所述第一测量值以及所述第二测量值中的至少一个来确定所述距离。
4.如权利要求3所述的方法，其中所述通过所述飞行时间感测来测量所述距离包括通过红外线来测量所述距离。
5.如权利要求3或权利要求4所述的方法，其中所述通过所述飞行时间感测来测量所述距离包括通过相移法来测量所述距离。
6.如权利要求3-5中任一项所述的方法，其中所述通过所述飞行时间感测来测量所述距离包括：
向所述障碍物发射光波；
将被所述障碍物反射之后的所述光波检测为反射光波；
测量所述发射光波与所述反射光波之间的相移；以及
根据所述测量的相移来确定所述距离。
7.如权利要求3-6中任一项所述的方法，其中所述通过飞行时间感测来测量所述距离包括产生所述移动平台的操作环境的飞行时间深度图，并且根据所述飞行时间深度图来测量所述距离。
8.如权利要求7所述的方法，其进一步包括在所述测量所述距离之前对所述飞行时间深度图进行滤波。
9.如权利要求8所述的方法，其中所述滤波包括确定所述飞行时间深度图中一个或者多个像素中的每一个的误差方差，并且根据所述误差方差来丢弃一个或者多个选定像素。
10.如权利要求9所述的方法，其中所述丢弃所述一个或者多个选定像素包括将选定像素的所述误差方差与预定阈值进行比较，并且基于所述比较来丢弃所述选定像素。
11.如权利要求7-10中任一项所述的方法，其进一步包括在所述测量所述距离之前对所述飞行时间深度图进行平滑处理。
12.如权利要求3-11中任一项所述的方法，其中所述确定所述距离包括将所述距离确定为所述第一测量值以及所述第二测量值中的较短者。
13.如权利要求3-11中任一项所述的方法，其中所述确定所述距离包括确定所述第二测量值是不确定的，并且基于所述确定所述第二测量值是不确定的来将所述距离确定为是所述第一测量值。
14.如权利要求13所述的方法，其中所述确定所述第二测量值是不确定的包括确定所述第二测量值的误差方差大于预定阈值。
15.如权利要求3-11中任一项所述的方法，其中所述确定所述距离包括确定所述第一测量值是不确定的，并且基于所述确定所述第一测量值是不确定的来将所述距离确定为是所述第二测量值。
16.如权利要求15所述的方法，其中所述确定所述第一测量值是不确定的包括确定所述第一测量值的误差方差大于预定阈值。
17.如权利要求3-16中任一项所述的方法，其中所述确定所述距离包括对所述第一测量值的误差方差进行加权并且对所述第二测量值的误差方差进行加权。
18.如权利要求17所述的方法，其中所述确定所述距离包括获得所述第一测量值以及所述第二测量值的加权平均值。
19.如权利要求3-18中任一项所述的方法，其中所述确定所述距离进一步包括：
测量所述移动平台附近的环境光亮度级；以及
根据所述环境光亮度级通过相对于所述第二测量值对所述第一测量进行加权来确定所述距离。
20.如权利要求19所述的方法，其中所述测量所述环境光包括通过飞行时间感测来测量所述环境光。
21.如权利要求20所述的方法，其中通过飞行时间感测来测量所述环境光包括确定发射光波与对应的接收光波之间的交叉相关的恒值偏差。
22.如权利要求3-21中任一项所述的方法，其中：
所述通过飞行时间感测来测量所述距离包括产生所述移动平台的周围环境的飞行时间深度图；
所述通过超声波感测来测量所述距离包括产生所述周围环境的超声波深度图；以及
所述确定所述距离包括将所述飞行时间深度图与所述超声波深度图组合为组合式深度图，并通过所述组合式深度图来检测所述距离。
23.如权利要求1-22中任一项所述的方法，其中所述检测所述速度包括通过立体观测来检测所述速度。
24.如权利要求23所述的方法，其中所述通过立体观测来检测所述速度包括：
获取所述移动平台的操作环境的第一图像；
在所述获取所述第一图像之后获取所述操作环境的第二图像；以及
基于所述第一图像以及所述第二图像来检测所述速度。
25.如权利要求24所述的方法，其中所述移动平台的所述操作环境包括所述移动平台下方的区域。
26.如权利要求24或权利要求25所述的方法，其中：
所述获取所述第一图像包括通过飞行时间感测来获取第一灰阶图像的图；以及
所述获取所述第二图像包括通过飞行时间感测来获取第二灰阶图像的图。
27.如权利要求26所述的方法，其中所述基于所述第一图像以及所述第二图像来检测所述速度包括：
确定所述第一图像与所述第二图像之间的视差；
根据所述视差来确定所述第一图像与所述第二图像之间的位移；以及
根据所述位移来确定所述速度。
28.如权利要求27所述的方法，其中所述确定所述视差包括：
选择所述第一图像上的多个参考点；
在所述第二图像上定位对应于所述参考点的多个点；以及
根据所述参考点的位置变化来确定所述视差。
29.如权利要求1-28中任一项所述的方法，其中所述检测所述速度包括通过惯性测量单元(IMU)来检测所述速度。
30.如权利要求1-29中任一项所述的方法，其进一步包括根据所述检测的距离以及所述检测的速度来控制所述移动平台。
31.如权利要求30所述的方法，其中所述控制所述移动平台包括根据所述检测的距离以及所述检测的速度来自动调节所述移动平台的速度以躲避所述障碍物。
32.如权利要求30或权利要求31所述的方法，其中所述控制所述移动平台包括控制所述移动平台以使其维持固定位置。
33.如权利要求30-32中任一项所述的方法，其中所述控制所述移动平台包括：
向远程终端传输所述检测的距离以及所述检测的速度；以及
基于所述检测的距离以及所述检测的速度来从所述远程终端接收控制信号。
34.一种用于操作移动平台的系统，包括：
飞行时间传感器，用于感测所述移动平台的操作环境；
超声波传感器，用于感测所述操作环境；以及
处理器，用于根据所述移动平台的所述操作环境以及速度来控制所述移动平台。
35.如权利要求34所述的系统，其中所述处理器用于使用所述飞行时间传感器或者所述超声波传感器来检测所述移动平台与障碍物之间的距离。
36.如权利要求35所述的系统，其中所述处理器用于通过以下方式来检测所述距离：
通过所述飞行时间传感器来测量所述距离，以获得第一测量值；
通过所述超声波传感器来测量所述距离，以获得第二测量值；以及
基于所述第一测量值以及所述第二测量值中的至少一个来确定所述距离。
37.如权利要求36所述的系统，其中所述通过所述飞行时间传感器来测量所述距离包括通过红外线来测量所述距离。
38.如权利要求36或权利要求37所述的系统，其中所述通过所述飞行时间传感器来测量所述距离包括通过相移法来测量所述距离。
39.如权利要求36-38中任一项所述的系统，其中所述通过所述飞行时间感测来测量所述距离包括：
向所述障碍物发射光波；
将被所述障碍物反射之后的所述光波检测为反射光波；
测量所述发射光波与所述反射光波之间的相移；以及
根据所述测量的相移来确定所述距离。
40.如权利要求36-39中任一项所述的系统，其中所述通过所述飞行时间传感器来测量所述距离包括产生所述移动平台的操作环境的飞行时间深度图，并且根据所述飞行时间深度图来测量所述距离。
41.如权利要求40所述的系统，其中所述处理器进一步用于在所述测量所述距离之前对所述飞行时间深度图进行滤波。
42.如权利要求41所述的系统，其中所述滤波包括确定所述飞行时间深度图中一个或者多个像素中的每一个的误差方差，并且根据所述误差方差来丢弃一个或者多个选定像素。
43.如权利要求42所述的系统，其中所述丢弃所述一个或者多个选定像素包括将选定像素的所述误差方差与预定阈值进行比较，并且基于所述比较来丢弃所述选定像素。
44.如权利要求41-43中任一项所述的系统，其中所述处理器进一步用于在所述测量所述距离之前对所述飞行时间深度图进行平滑处理。
45.如权利要求36-44中任一项所述的系统，其中所述确定所述距离包括将所述距离确定为是所述第一测量值以及所述第二测量值中的较短者。
46.如权利要求36-44中任一项所述的系统，其中所述确定所述距离包括确定所述第二测量值是不确定的，并且基于所述确定所述第二测量值是不确定的来将所述距离确定为是所述第一测量值。
47.如权利要求46所述的系统，其中所述确定所述第二测量值是不确定的包括确定所述第二测量值的误差方差大于预定阈值。
48.如权利要求36-44中任一项所述的系统，其中所述确定所述距离包括确定所述第一测量值是不确定的，并且基于所述确定所述第一测量值是不确定的来将所述距离确定为是所述第二测量值。
49.如权利要求48所述的系统，其中所述确定所述第一测量值是不确定的包括确定所述第一测量值的误差方差大于预定阈值。
50.如权利要求36-49中任一项所述的系统，其中所述确定所述距离包括对所述第一测量值的误差方差进行加权并且对所述第二测量值的误差方差进行加权。
51.如权利要求50所述的系统，其中所述确定所述距离包括获得所述第一测量值以及所述第二测量值的加权平均值。
52.如权利要求36-51中任一项所述的系统，其中所述确定所述距离进一步包括：
测量所述移动平台附近的环境光亮度级；以及
根据所述环境光亮度级通过相对于所述第二测量值对所述第一测量值进行加权来确定所述距离。
53.如权利要求52所述的系统，其中所述测量所述环境光包括通过所述飞行时间传感器来测量所述环境光。
54.如权利要求53所述的系统，其中通过所述飞行时间传感器来测量所述环境光包括确定发射光波与对应的接收光波之间的交叉相关的恒值偏差。
55.如权利要求36-54中任一项所述的系统，其中：
所述通过所述飞行时间传感器来测量所述距离包括产生所述移动平台的周围环境的飞行时间深度图；
所述通过所述超声波传感器来测量所述距离包括产生所述周围环境的超声波深度图；以及
所述确定所述距离包括将所述飞行时间深度图与所述超声波深度图组合为组合式深度图，并且通过所述组合式深度图来检测所述距离。
56.如权利要求34-55中任一项所述的系统，其中所述处理器用于通过立体观测来检测所述移动平台的所述速度。
57.如权利要求56所述的系统，其中所述通过立体观测来检测所述速度包括：
获取所述移动平台的操作环境的第一图像；
在所述获取所述第一图像之后获取所述操作环境的第二图像；以及
基于所述第一图像以及所述第二图像来确定所述速度。
58.如权利要求57所述的系统，其中所述移动平台的所述操作环境包括所述移动平台下方的区域。
59.如权利要求57或权利要求58所述的系统，其中：
所述获取所述第一图像包括通过所述飞行时间传感器来获取第一灰阶图像的图；以及
所述获取所述第二图像包括通过所述飞行时间传感器来获取第二灰阶图像的图。
60.如权利要求57-59中任一项所述的系统，其中所述基于所述第一图像以及所述第二图像来确定所述速度包括：
确定所述第一图像与所述第二图像之间的视差；
根据所述视差来确定所述第一图像与所述第二图像之间的位移；以及
根据所述位移来确定所述速度。
61.如权利要求60所述的系统，其中所述确定所述视差包括：
选择所述第一图像上的多个参考点；
在所述第二图像上定位对应于所述参考点的多个点；以及
根据所述参考点的位置变化来确定所述视差。
62.如权利要求34-61中任一项所述的系统，其进一步包括用于检测所述速度的惯性测量单元(IMU)。
63.如权利要求34-62中任一项所述的系统，其中所述处理器用于根据所述移动平台与所述障碍物之间的距离以及所述移动平台的所述速度来控制所述移动平台。
64.如权利要求63所述的系统，其中所述处理器用于通过自动调节所述移动平台的所述速度来控制所述移动平台以躲避所述障碍物。
65.如权利要求63或权利要求64所述的系统，其中所述处理器用于控制所述移动平台以使其维持固定位置。
66.如权利要求63-65中任一项所述的系统，其中所述处理器用于通过以下方式来控制所述移动平台：
向远程终端传输所述距离以及所述速度；以及
基于所述距离以及所述速度从所述远程终端接收控制信号。
67.如权利要求34-66中任一项所述的系统，其中所述飞行时间传感器以及所述超声波传感器安装在所述移动平台上。
68.如权利要求34-67中任一项所述的系统，其中所述移动平台是无人飞行器(UAV)。
69.一种用于根据移动平台的操作环境以及速度控制移动平台的处理器，其中所述处理器用于：
从飞行时间传感器接收所述操作环境的第一测量值；
从超声波传感器接收所述操作环境的第二测量值；以及
根据所述第一测量值以及所述第二测量值来产生控制信号以用于控制所述移动平台。
70.如权利要求69所述的处理器，其中所述处理器用于通过所述第一测量值以及所述第二测量值中的至少一个来确定所述移动平台与障碍物之间的距离。
71.如权利要求70所述的处理器，其中所述通过所述飞行时间传感器来确定所述距离包括通过红外线来测量所述距离。
72.如权利要求70或权利要求71所述的处理器，其中所述通过所述飞行时间传感器来确定所述距离包括通过相移法来测量所述距离。
73.如权利要求70-72中任一项所述的处理器，其中所述通过所述飞行时间感测来确定所述距离包括：
向所述障碍物发射光波；
将被所述障碍物反射之后的所述光波检测为反射光波；
测量所述发射光波与所述反射光波之间的相移；以及
根据所述测量的相移来确定所述距离。
74.如权利要求70-73中任一项所述的处理器，其中所述通过所述飞行时间传感器来确定所述距离包括产生所述移动平台的操作环境的飞行时间深度图，并且根据所述飞行时间深度图来测量所述距离。
75.如权利要求74所述的处理器，其中所述处理器进一步用于在所述测量所述距离之前对所述飞行时间深度图进行滤波。
76.如权利要求75所述的处理器，其中所述滤波包括确定所述飞行时间深度图中一个或者多个像素中的每一个的误差方差，并且根据所述误差方差来丢弃一个或者多个选定像素。
77.如权利要求76所述的处理器，其中所述丢弃所述一个或者多个选定像素包括将选定像素的所述误差方差与预定阈值进行比较，并且基于所述比较来丢弃所述选定像素。
78.如权利要求74-77中任一项所述的处理器，其中所述处理器进一步用于在所述测量所述距离之前对所述飞行时间深度图进行平滑处理。
79.如权利要求70-78中任一项所述的处理器，其中所述确定所述距离包括将所述距离确定为是所述第一测量值以及所述第二测量值当中的较短者。
80.如权利要求70-79中任一项所述的处理器，其中所述确定所述距离包括确定所述第二测量值是不确定的，并且基于所述确定所述第二测量值是不确定的来将所述距离确定为是所述第一测量值。
81.如权利要求80所述的处理器，其中所述确定所述第二测量值是不确定的包括确定所述第二测量值的误差方差大于预定阈值。
82.如权利要求70-79中任一项所述的处理器，其中所述确定所述距离包括确定所述第一测量值是不确定的，并且基于所述确定所述第一测量值是不确定的来将所述距离确定为是所述第二测量值。
83.如权利要求82所述的处理器，其中所述确定所述第一测量值是不确定的包括确定所述第一测量值的误差方差大于预定阈值。
84.如权利要求70-83中任一项所述的处理器，其中所述确定所述距离包括对所述第一测量值的误差方差以及所述第二测量值的误差方差进行加权。
85.如权利要求84所述的处理器，其中所述确定所述距离包括获得所述第一测量值以及所述第二测量值的加权平均值。
86.如权利要求70-85中任一项所述的处理器，其中所述确定所述距离进一步包括：
测量所述移动平台附近的环境光亮度级；以及
根据所述环境光亮度级通过相对于所述第二测量值对所述第一测量值进行加权来确定所述距离。
87.如权利要求86所述的处理器，其中所述测量所述环境光包括通过所述飞行时间传感器来测量所述环境光。
88.如权利要求87所述的处理器，其中通过所述飞行时间传感器来测量所述环境光包括确定发射光波与对应的接收光波之间的交叉相关的恒值偏差。
89.如权利要求69-88中任一项所述的处理器，其中所述处理器用于通过立体观测来检测所述移动平台的所述速度。
90.如权利要求89所述的处理器，其中所述通过立体观测来检测所述速度包括：
获取所述移动平台的操作环境的第一图像；
在所述获取所述第一图像之后获取所述操作环境的第二图像；以及
基于所述第一图像以及所述第二图像来确定所述速度。
91.如权利要求90所述的处理器，其中所述移动平台的所述操作环境包括所述移动平台下方的区域。
92.如权利要求90或权利要求91所述的处理器，其中：
所述获取所述第一图像包括通过所述飞行时间传感器来获取第一灰阶图像的图；以及
所述获取所述第二图像包括通过所述飞行时间传感器来获取第二灰阶图像的图。
93.如权利要求90-92中任一项所述的处理器，其中所述基于所述第一图像以及所述第二图像来确定所述速度包括：
确定所述第一图像与所述第二图像之间的视差；
根据所述视差来确定所述第一图像与所述第二图像之间的位移；以及
根据所述位移来确定所述速度。
94.如权利要求93所述的处理器，其中所述确定所述视差包括：
选择所述第一图像上的多个参考点；
在所述第二图像上定位对应于所述参考点的多个点；以及
根据所述参考点的位置变化来确定所述视差。
95.如权利要求69-94中任一项所述的处理器，其中所述处理器用于从惯性测量单元(IMU)接收所述移动平台的速度。
96.如权利要求69-95中任一项所述的处理器，其中所述处理器用于根据所述移动平台与所述障碍物之间的距离以及所述移动平台的所述速度来控制所述移动平台。
97.如权利要求96所述的处理器，其中所述处理器用于通过自动调节所述移动平台的所述速度来控制所述移动平台以躲避所述障碍物。
98.如权利要求96或权利要求97所述的处理器，其中所述处理器用于控制所述移动平台以使其维持固定位置。
99.如权利要求96-98中任一项所述的处理器，其中所述处理器用于通过以下方式来控制所述移动平台：
向远程终端传输所述距离以及所述速度；以及
基于所述距离以及所述速度从所述远程终端接收控制信号。
100.一种用于产生移动平台的控制信号的处理方法，包括：
确定所述移动平台与障碍物之间的距离；
确定所述移动平台的速度；以及
基于所述距离以及所述速度来产生所述控制信号。
101.如权利要求100所述的处理方法，其中所述确定所述距离包括通过飞行时间感测或者超声波感测来确定所述距离。
102.如权利要求100或权利要求101所述的处理方法，其中所述确定所述距离包括：
通过所述飞行时间感测来测量所述距离，以获得第一测量值；
通过所述超声波感测来测量所述距离，以获得第二测量值；以及
基于所述第一测量值以及所述第二测量值中的至少一个来确定所述距离。
103.如权利要求102所述的处理方法，其中所述通过所述飞行时间感测来测量所述距离包括通过红外线来测量所述距离。
104.如权利要求102或权利要求103所述的处理方法，其中所述通过所述飞行时间感测来测量所述距离包括通过相移法来测量所述距离。
105.如权利要求102-104中任一项所述的处理方法，其中所述通过所述飞行时间感测来测量所述距离包括：
向所述障碍物发射光波；
将被所述障碍物反射之后的所述光波检测为反射光波；
测量所述发射光波与所述反射光波之间的相移；以及
根据所述测量的相移来确定所述距离。
106.如权利要求102-105中任一项所述的处理方法，其中所述通过飞行时间感测来测量所述距离包括产生所述移动平台的操作环境的飞行时间深度图，并且根据所述飞行时间深度图来测量所述距离。
107.如权利要求106所述的处理方法，其进一步包括在所述测量所述距离之前对所述飞行时间深度图进行滤波。
108.如权利要求107所述的处理方法，其中所述滤波包括确定所述飞行时间深度图中一个或者多个像素中的每一个的误差方差，并且根据所述误差方差来丢弃一个或者多个选定像素。
109.如权利要求108所述的处理方法，其中所述丢弃所述一个或者多个选定像素包括将选定像素的所述误差方差与预定阈值进行比较，并且基于所述比较来丢弃所述选定像素。
110.如权利要求106-109中任一项所述的处理方法，其进一步包括在所述测量所述距离之前对所述飞行时间深度图进行平滑处理。
111.如权利要求102-110中任一项所述的处理方法，其中所述确定所述距离包括将所述距离确定为是所述第一测量值以及所述第二测量值当中的较短者。
112.如权利要求102-110中任一项所述的处理方法，其中所述确定所述距离包括确定所述第二测量值是不确定的，并且基于所述确定所述第二测量值是不确定的来将所述距离确定为是所述第一测量值。
113.如权利要求112所述的处理方法，其中所述确定所述第二测量值是不确定的包括确定所述第二测量值的误差方差大于预定阈值。
114.如权利要求102-110中任一项所述的处理方法，其中所述确定所述距离包括确定所述第一测量值是不确定的，并且基于所述确定所述第一测量值是不确定的来将所述距离确定为是所述第二测量值。
115.如权利要求114所述的处理方法，其中所述确定所述第一测量值是不确定的包括确定所述第一测量值的误差方差大于预定阈值。
116.如权利要求112-115中任一项所述的处理方法，其中所述确定所述距离包括对所述第一测量值的误差方差以及所述第二测量值的误差方差进行加权。
117.如权利要求116所述的处理方法，其中所述确定所述距离包括获得所述第一测量值以及所述第二测量值的加权平均值。
118.如权利要求102-117中任一项所述的处理方法，其中所述确定所述距离进一步包括：
测量所述移动平台附近的环境光亮度级；以及
根据所述环境光亮度级通过相对于所述第二测量值对所述第一测量值进行加权来确定所述距离。
119.如权利要求118所述的处理方法，其中所述测量所述环境光包括通过飞行时间感测来测量所述环境光。
120.如权利要求119所述的处理方法，其中通过飞行时间感测来测量所述环境光包括确定发射光波与对应的接收光波之间的交叉相关的恒值偏差。
121.如权利要求102-120中任一项所述的处理方法，其中：
所述通过飞行时间感测来测量所述距离包括产生所述移动平台的周围环境的飞行时间深度图；
所述通过超声波感测来测量所述距离包括产生所述周围环境的超声波深度图；以及
所述确定所述距离包括将所述飞行时间深度图与所述超声波深度图组合为组合式深度图，并且通过所述组合式深度图来检测所述距离。
122.如权利要求100-121中任一项所述的处理方法，其中所述检测所述速度包括通过立体观测来检测所述速度。
123.如权利要求122所述的处理方法，其中所述通过立体观测来检测所述速度包括：
获取所述移动平台的操作环境的第一图像；
在所述获取所述第一图像之后获取所述操作环境的第二图像；以及
基于所述第一图像以及所述第二图像来检测所述速度。
124.如权利要求123所述的处理方法，其中所述移动平台的所述操作环境包括所述移动平台下方的区域。
125.如权利要求123或权利要求124所述的处理方法，其中：
所述获取所述第一图像包括通过飞行时间感测来获取第一灰阶图像的图；以及
所述获取所述第二图像包括通过飞行时间感测来获取第二灰阶图像的图。
126.如权利要求125所述的处理方法，其中所述基于所述第一图像以及所述第二图像来检测所述速度包括：
确定所述第一图像与所述第二图像之间的视差；
根据所述视差来确定所述第一图像与所述第二图像之间的位移；以及
根据所述位移来确定所述速度。
127.如权利要求126所述的处理方法，其中所述确定所述视差包括：
选择所述第一图像上的多个参考点；
在所述第二图像上定位对应于所述参考点的多个点；以及
根据所述参考点的位置变化来确定所述视差。
128.如权利要求100-127中任一项所述的处理方法，其中所述确定所述速度包括通过惯性测量单元(IMU)来确定所述速度。
129.如权利要求100-128中任一项所述的处理方法，其中所述控制信号包括用于根据所述距离以及所述速度来调节所述移动平台的速度以躲避所述障碍物的控制信号。
130.如权利要求129所述的处理方法，其中所述控制信号包括用于控制所述移动平台以使其维持固定位置的控制信号。
CN201580020456.7A 2015-03-31 2015-03-31 移动平台操作系统及方法 Expired - Fee Related CN106233219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010099469.0A CN111273690A (zh) 2015-03-31 2015-03-31 移动平台操作系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/075437 WO2016154869A1 (en) 2015-03-31 2015-03-31 System and method for mobile platform operation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010099469.0A Division CN111273690A (zh) 2015-03-31 2015-03-31 移动平台操作系统及方法

Publications (2)

Publication Number Publication Date
CN106233219A true CN106233219A (zh) 2016-12-14
CN106233219B CN106233219B (zh) 2020-03-17

Family

ID=57003817

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580020456.7A Expired - Fee Related CN106233219B (zh) 2015-03-31 2015-03-31 移动平台操作系统及方法
CN202010099469.0A Pending CN111273690A (zh) 2015-03-31 2015-03-31 移动平台操作系统及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010099469.0A Pending CN111273690A (zh) 2015-03-31 2015-03-31 移动平台操作系统及方法

Country Status (5)

Country Link
US (1) US10048687B2 (zh)
EP (1) EP3198350B1 (zh)
JP (1) JP6657500B2 (zh)
CN (2) CN106233219B (zh)
WO (1) WO2016154869A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109696920A (zh) * 2018-12-13 2019-04-30 广州极飞科技有限公司 作业设备及其控制方法和装置
CN110537211A (zh) * 2017-04-21 2019-12-03 综合设计有限公司 用于对人通过通道的移动进行监测的光学系统
CN110770668A (zh) * 2018-08-22 2020-02-07 深圳市大疆创新科技有限公司 可移动平台的控制方法、可移动平台及可读存储介质
WO2021087775A1 (zh) * 2019-11-05 2021-05-14 深圳市大疆创新科技有限公司 可移动平台对障碍物的处理方法、装置及计算机存储介质
CN113597590A (zh) * 2020-04-27 2021-11-02 深圳市大疆创新科技有限公司 可移动平台及其避障方法和装置
CN114253283A (zh) * 2017-03-21 2022-03-29 深圳市大疆创新科技有限公司 一种可移动平台的控制方法以及可移动平台

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911344B2 (en) * 2015-07-24 2018-03-06 Honeywell International Inc. Helicopter landing system using a camera for obstacle detection
EP3367130A1 (en) * 2017-02-22 2018-08-29 STMicroelectronics (Research & Development) Limited Integration of depth map device for adaptive lighting control
US11120104B2 (en) * 2017-03-01 2021-09-14 Stmicroelectronics (Research & Development) Limited Method and apparatus for processing a histogram output from a detector sensor
WO2018163699A1 (ja) * 2017-03-06 2018-09-13 株式会社Ｓｐｉｒａｌ 飛行体の制御システム、その制御装置および目印部
USD848383S1 (en) 2017-07-13 2019-05-14 Fat Shark Technology SEZC Printed circuit board
USD825381S1 (en) 2017-07-13 2018-08-14 Fat Shark Technology SEZC Unmanned aerial vehicle
US10179647B1 (en) 2017-07-13 2019-01-15 Fat Shark Technology SEZC Unmanned aerial vehicle
CN108107914B (zh) * 2017-11-14 2020-07-28 北京臻迪科技股份有限公司 浮游移动体、跟随系统及控制方法
GB201800028D0 (en) 2018-01-02 2018-02-14 Sintef Tto As Velocity detection in autonomous devices
TWI711870B (zh) * 2018-01-28 2020-12-01 鈺立微電子股份有限公司 具有可調光強度的深度產生系統
CN108445905A (zh) * 2018-03-30 2018-08-24 合肥赛为智能有限公司 一种无人机智能化避障调控系统
US20190387165A1 (en) 2018-06-07 2019-12-19 Eys3D Microelectronics, Co. Image device for generating depth images and related electronic device
CN112602030A (zh) 2018-09-04 2021-04-02 索尼公司 信息处理设备、信息处理方法、程序和移动设备
JP7059956B2 (ja) * 2019-02-08 2022-04-26 コベルコ建機株式会社 建設機械の障害物検出装置
CN109885091B (zh) * 2019-03-21 2021-08-24 华北电力大学（保定） 一种无人机自主飞行控制方法及系统
US11467270B2 (en) * 2019-03-27 2022-10-11 Asmpt Singapore Pte. Ltd. Apparatus and method for calibrating or testing an imaging device
EP4078221A1 (en) * 2019-12-16 2022-10-26 Sony Semiconductor Solutions Corporation Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method
WO2021166008A1 (ja) * 2020-02-17 2021-08-26 株式会社ナイルワークス ドローン及びドローンの制御方法
KR20230085159A (ko) * 2020-10-14 2023-06-13 엘지이노텍 주식회사 레인지 앨리어싱 완화를 위한 다중 검출기 시스템 및 방법
CN114846295A (zh) * 2020-12-17 2022-08-02 深圳市大疆创新科技有限公司 一种可移动平台的控制方法、装置及可移动平台

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809161A (zh) * 2007-08-07 2010-08-18 中外制药株式会社 异种蛋白的制备方法
CN102175882A (zh) * 2010-12-30 2011-09-07 清华大学 基于自然地标的无人直升机视觉测速方法
CN102567986A (zh) * 2010-10-21 2012-07-11 索尼公司 3d飞行时间相机和方法
CN202400085U (zh) * 2011-12-20 2012-08-29 河南科技大学 一种汽车防追尾系统
CN102749927A (zh) * 2012-07-20 2012-10-24 常州大学 无人飞机自动规避障碍物的系统及其规避方法
CN103592947A (zh) * 2013-11-19 2014-02-19 华南农业大学 一种农用飞行器安全作业飞行监控装置及其控制算法
CN103744429A (zh) * 2013-02-07 2014-04-23 山东英特力光通信开发有限公司 一种小型无人直升机飞行控制系统
CN103926933A (zh) * 2014-03-29 2014-07-16 北京航空航天大学 一种无人飞行器室内同时定位与环境建模方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7421321B2 (en) * 1995-06-07 2008-09-02 Automotive Technologies International, Inc. System for obtaining vehicular information
JP3880702B2 (ja) * 1997-09-11 2007-02-14 富士重工業株式会社 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
US6055042A (en) * 1997-12-16 2000-04-25 Caterpillar Inc. Method and apparatus for detecting obstacles using multiple sensors for range selective detection
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7574067B2 (en) * 2003-10-03 2009-08-11 General Electric Company Surface reconstruction and registration with a helmholtz reciprocal image pair
US8532862B2 (en) * 2006-11-29 2013-09-10 Ryan A. Neff Driverless vehicle
KR100937096B1 (ko) * 2008-02-27 2010-01-15 성균관대학교산학협력단 센서융합 시스템 및 센서융합 방법
ES2400310T3 (es) * 2008-06-18 2013-04-09 Saab Ab Verificación de la validez de la información de posición de un vehículo
US8818567B2 (en) * 2008-09-11 2014-08-26 Deere & Company High integrity perception for machine localization and safeguarding
IL196276A (en) * 2008-12-30 2013-04-30 Elbit Systems Ltd Independent navigation system and method for maneuverable platform
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US9091762B2 (en) * 2011-10-27 2015-07-28 Gulfstream Aerospace Corporation Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
FR2988618B1 (fr) * 2012-03-30 2014-05-09 Parrot Estimateur d'altitude pour drone a voilure tournante a rotors multiples
JP5724955B2 (ja) * 2012-06-22 2015-05-27 トヨタ自動車株式会社 物体検出装置、情報処理装置、物体検出方法
CN103744430B (zh) * 2013-02-07 2016-08-24 山东英特力光通信开发有限公司 一种小型无人直升机飞行控制方法
JP6132659B2 (ja) * 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809161A (zh) * 2007-08-07 2010-08-18 中外制药株式会社 异种蛋白的制备方法
CN102567986A (zh) * 2010-10-21 2012-07-11 索尼公司 3d飞行时间相机和方法
CN102175882A (zh) * 2010-12-30 2011-09-07 清华大学 基于自然地标的无人直升机视觉测速方法
CN202400085U (zh) * 2011-12-20 2012-08-29 河南科技大学 一种汽车防追尾系统
CN102749927A (zh) * 2012-07-20 2012-10-24 常州大学 无人飞机自动规避障碍物的系统及其规避方法
CN103744429A (zh) * 2013-02-07 2014-04-23 山东英特力光通信开发有限公司 一种小型无人直升机飞行控制系统
CN103592947A (zh) * 2013-11-19 2014-02-19 华南农业大学 一种农用飞行器安全作业飞行监控装置及其控制算法
CN103926933A (zh) * 2014-03-29 2014-07-16 北京航空航天大学 一种无人飞行器室内同时定位与环境建模方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253283A (zh) * 2017-03-21 2022-03-29 深圳市大疆创新科技有限公司 一种可移动平台的控制方法以及可移动平台
CN110537211A (zh) * 2017-04-21 2019-12-03 综合设计有限公司 用于对人通过通道的移动进行监测的光学系统
CN110537211B (zh) * 2017-04-21 2021-09-21 综合设计有限公司 用于对人通过通道的移动进行监测的光学系统
CN110770668A (zh) * 2018-08-22 2020-02-07 深圳市大疆创新科技有限公司 可移动平台的控制方法、可移动平台及可读存储介质
CN109696920A (zh) * 2018-12-13 2019-04-30 广州极飞科技有限公司 作业设备及其控制方法和装置
CN109696920B (zh) * 2018-12-13 2021-06-15 广州极飞科技股份有限公司 作业设备及其控制方法和装置
WO2021087775A1 (zh) * 2019-11-05 2021-05-14 深圳市大疆创新科技有限公司 可移动平台对障碍物的处理方法、装置及计算机存储介质
CN113597590A (zh) * 2020-04-27 2021-11-02 深圳市大疆创新科技有限公司 可移动平台及其避障方法和装置
WO2021217334A1 (zh) * 2020-04-27 2021-11-04 深圳市大疆创新科技有限公司 可移动平台及其避障方法和装置

Also Published As

Publication number Publication date
US10048687B2 (en) 2018-08-14
EP3198350B1 (en) 2021-11-10
CN111273690A (zh) 2020-06-12
JP6657500B2 (ja) 2020-03-04
US20160291594A1 (en) 2016-10-06
JP2017529616A (ja) 2017-10-05
CN106233219B (zh) 2020-03-17
EP3198350A4 (en) 2017-10-11
WO2016154869A1 (en) 2016-10-06
EP3198350A1 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
CN106233219A (zh) 移动平台操作系统及方法
CN111436216B (zh) 用于彩色点云生成的方法和系统
CN109470158B (zh) 影像处理装置及测距装置
CN108419446B (zh) 用于激光深度图取样的系统及方法
US11019322B2 (en) Estimation system and automobile
US9432593B2 (en) Target object information acquisition method and electronic device
US9823340B2 (en) Method for time of flight modulation frequency detection and illumination modulation frequency adjustment
CN110988912A (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN109743621A (zh) 多vr/ar设备协同系统及协同方法
WO2018145291A1 (en) System and method for real-time location tracking of drone
CN107110971A (zh) 多模式深度成像
US10721461B2 (en) Collaborative stereo system for three-dimensional terrain and object reconstruction
KR101806488B1 (ko) 초분광영상센서 탑재 드론을 이용한 크롬 광체 탐지방법
Thurrowgood et al. A vision based system for attitude estimation of UAVs
CN107111598A (zh) 使用超声深度感测的光流成像系统以及方法
EP3791209B1 (en) Phase wrapping determination for time-of-flight camera
US10109074B2 (en) Method and system for inertial measurement having image processing unit for determining at least one parameter associated with at least one feature in consecutive images
CN108459596A (zh) 一种移动电子设备以及该移动电子设备中的方法
WO2017222558A1 (en) Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices
JP2017523382A (ja) モバイルプラットフォームの運動を決定する方法、装置、及びシステム
CN109410234A (zh) 一种基于双目视觉避障的控制方法及控制系统
Pal et al. 3D point cloud generation from 2D depth camera images using successive triangulation
RU2559332C1 (ru) Метод обнаружения малогабаритных беспилотных летательных аппаратов
CN206497201U (zh) 光流模块及飞行器
WO2021117390A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200317

CF01 Termination of patent right due to non-payment of annual fee