CN109196556A - 避障方法、装置及可移动平台 - Google Patents

避障方法、装置及可移动平台 Download PDF

Info

Publication number
CN109196556A
CN109196556A CN201780029125.9A CN201780029125A CN109196556A CN 109196556 A CN109196556 A CN 109196556A CN 201780029125 A CN201780029125 A CN 201780029125A CN 109196556 A CN109196556 A CN 109196556A
Authority
CN
China
Prior art keywords
characteristic point
light stream
moving object
moveable platform
stream vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780029125.9A
Other languages
English (en)
Inventor
周游
杜劼熹
刘洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109196556A publication Critical patent/CN109196556A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种避障方法、装置及可移动平台，其中，该方法包括：获取可移动平台搭载的拍摄设备拍摄获得的深度图；基于所述深度图识别出运动物体；确定所述运动物体的运动速度向量；基于所述运动物体的运动速度向量，确定所述运动物体和所述可移动平台可能发生碰撞的区域，从而控制所述可移动平台在所述可能发生碰撞的区域执行避障策略。本发明实施例可以提升可移动平台运动的安全性和用户体验。

Description

避障方法、装置及可移动平台
技术领域
本申请涉及无人机技术领域，尤其涉及一种避障方法、装置及可移动平台。
背景技术
随着无人机越来越普及，更多的人加入了无人机航拍的行列。但是对于之前从未使用过无人机的用户来说，操作是个问题，稍有不慎容易造成坠毁撞击。因此，对于这些用户来说需要一些辅助驾驶手段来帮助用户进行避障。
发明内容
本发明实施例提供一种避障方法、装置及可移动平台，以实现基于运动物体检测的避障，提升可移动平台运动的安全性和用户体验。
本发明实施例的第一方面是提供一种避障方法，包括：
获取可移动平台搭载的拍摄设备拍摄获得的深度图；
基于所述深度图识别出运动物体；
确定所述运动物体的运动速度向量；
基于所述运动物体的运动速度向量，确定所述运动物体和所述可移动平台可能发生碰撞的区域，从而控制所述可移动平台在所述可能发生碰撞的区域执行避障策略。
本发明实施例的第二方面是提供一种避障装置，所述避障装置设置在可移动平台上，所述避障装置包括处理器和拍摄设备，所述处理器与所述拍摄设备通信连接；
所述拍摄设备用于拍摄获得深度图；
所述处理器用于：获取所述拍摄设备拍摄获得的深度图，基于所述深度图识别出运动物体，确定所述运动物体的运动速度向量，基于所述运动物体的运动速度向量，确定所述运动物体和所述可移动平台可能发生碰撞的区域，从而控制所述可移动平台在所述可能发生碰撞的区域执行避障策略。确定所述运动物体和所述可移动平台可能发生碰撞的区域
本发明实施例的第三方面是提供一种可移动平台，包括：
机身；
动力系统，安装在所述机身上，用于为所述可移动平台提供动力；
以及上述第二方面所述的避障装置。
本发明实施例的第四方面是提供一种避障装置，所述避障装置设置在地面站上，所述避障装置包括处理器和通信接口，所述处理器与所述通信接口通信连接；
所述通信接口用于：获取可移动平台搭载的拍摄设备拍摄获得的深度图；
所述处理器用于：基于所述深度图识别出运动物体，确定所述运动物体的运动速度向量，基于所述运动物体的运动速度向量，确定所述运动物体和所述可移动平台可能发生碰撞的区域，从而控制所述可移动平台在所述可能发生碰撞的区域执行避障策略。
本发明实施例提供的避障方法、装置及可移动平台，通过获取可移动平台搭载的拍摄设备拍摄获得的深度图，基于该深度图识别出运动物体，并确定运动物体的运动速度向量，基于运动物体的运动速度向量，确定运动物体和可移动平台可能发生碰撞的区域，从而控制可移动平台在可能发生碰撞的区域执行避障策略。由于本发明实施例可以对动态物体进行识别，并根据动态物体的运动速度向量确定运动物体和可移动平台可能发生碰撞的区域，从而使得可移动平台能够对运动物体进行躲避，尤其是当可移动平台是在地面上运动的汽车或其他可移动物体，或者是近地飞行的无人机时，能够有效排除运动物体对可移动平台的影响，提升可移动平台运动的安全性和用户体验。
附图说明
图1为本发明实施例提供的一种避障方法的流程图；
图2为本发明实施例提供的获取目标特征点的光流向量的方法流程图；
图3为本发明实施例提供的运动物体的识别方法的流程图；
图4a为本发明实施例提供的目标特征点的光流向量示意图；
图4b为图4a上的光流向量聚类后的结果示意图；
图5为本发明实施例提供的一种避障装置10的结构示意图；
图6为本发明实施例提供的避障装置30的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
在现有技术中，诸如汽车、无人机等可移动平台一般基于如下几种方式进行避障：
一种方式是使用超声波、红外测距模块，这种方式比较简单，检测到物体就刹车，故有大量的测量噪声，容易造成误刹车，且测量距离较短，对于高速运动的可移动平台来说完全不能使用。
另一种方式是使用机器视觉算法，通过视觉摄像机获取图像并计算深度图，或是使用RGB-D或TOF等模块获取深度图，进而通过深度图实现避障策略。但是基于深度图的计算，目前来说都是做了静止假设，即假设图像中出现的物体都是针对于地球是静止不动的。这对于高空飞行的可移动平台(比如无人机，但不局限于无人机)来说，假设一般都是成立的，但对于近地面飞行的可移动平台，则是不成立的，对于车辆或行人不能进行有效的避障。
而自动驾驶的可移动平台(比如自动驾驶汽车，但不局限于自动驾驶汽车)一般基于激光雷达执行避障策略，造价昂贵且重量较大。
针对现有技术存在的上述技术问题，本发明实施例提供一种避障方法，通过获取可移动平台搭载的拍摄设备拍摄获得的深度图，基于该深度图识别出运动物体，并确定运动物体的运动速度向量，基于运动物体的运动速度向量，确定运动物体和可移动平台可能发生碰撞的区域，从而控制可移动平台在可能发生碰撞的区域执行避障策略。本实施例能够基于深度图进行运动物体的识别，并控制可移动平台对运动物体进行避障，尤其是当可移动平台是在地面上运动的汽车或其他可移动物体，或者是近地飞行的无人机时，能够有效的对运动物体进行避障，提升可移动平台运动的安全性和用户体验。
由于本发明实施例涉及深度图的处理，为了便于本发明技术方案的理解，下面首先对拍摄设备所涉及的部分技术参数进行说明，以相机为例：
相机模型：
其中：R为相机的旋转矩阵；
[u v 1]T表示像素坐标系(pixel coordinates)中的二维坐标(2D)点；
[xw yw zw 1]T表示大地坐标系(World coordinates)中的三维坐标(3D)点；
矩阵K称为相机校准矩阵(Camera calibration matrix)，即每个相机的内参(Intrinsic Parameters)；
其中，对于有限射影相机(Finite projective camera)来说矩阵K包含了5个内参：
其中，αx＝fmx,f为焦距(focal length)，mx和my为x、y方向上单位距离的像素数(scale factors)。γ为x轴和y轴之间的畸变参数(skew parameters)，在CCD相机中像素不为正方形。μ0，v0为光心位置(principal point)。
具体的，图1为本发明实施例提供的一种避障方法的流程图，该方法可以由一种避障装置来执行，该避障装置可以安装在可移动平台上，也可以安装在地面站上。如图1所示，该方法包括：
步骤101、获取可移动平台搭载的拍摄设备拍摄获得的深度图。
可选的，本实施例中涉及的可移动平台包括但不局限于如下任意一种：无人机、汽车、VR眼镜、AR眼镜。
本实施例涉及的拍摄设备包括至少一个摄像头。
示例的，本实施例可以基于两个间隔预设距离的摄像头同时获取同一场景的两幅图像，基于立体匹配算法对两幅图像进行处理获得深度图，当然这里仅为示例说明而不是对本发明的唯一限定，实际上，本实施例获取深度图的方法可以采用现有技术中的任意一种方法，本实施例不做具体限定。
步骤102、基于所述深度图识别出运动物体。
可选的，本实施例可以通过获取深度图上目标特征点的光流向量，基于目标特征点的光流向量，识别运动物体。
具体的，本实施例中，获取目标特征点的光流向量的方法至少包括如下几种：
在一种可能的实现方式中，由于一般拍摄环境下大部分物体都是静止的，只有少数物体是运动的，因此，在拍摄获得的深度图上，静止物体上的特征点占据深度图上全部特征点的绝大部分，而运动物体上的特征点的数量占据全部特征点的绝少部分，并且运动物体上特征点的光流向量方向与大部分静止物体上特征点的光流向量方向不同，因此，可通过对深度图上的特征点的光流向量进行聚类，将获取到的上述绝少部分的特征点的光流向量，作为目标特征点的光流向量，其具体执行方式可以参见现有技术，在这里不再赘述。
在另一种可能的实现方式中，可以基于可移动平台上搭载的视觉里程计(VO)算法，从可移动平台搭载的拍摄设备拍摄获得的深度图上，筛选出除静止物体上的特征点以外的特征点的光流向量(即目标特征点的光流向量)。具体的，图2为本发明实施例提供的获取目标特征点的光流向量的方法流程图，如图2所示，该方法包括：
步骤1011、基于预设的角点检测算法，从可移动平台搭载的拍摄设备拍摄获得的深度图中提取特征点。
这里为了减少计算量，本实施例采用产生稀疏矩阵(sparse)的方法，先从拍摄设备拍摄获得的深度图上提取特征点。不失一般性的，本实施例选用深度图上的角点(Cornerdetection)作为特征点，可选的角点检测算法(Corner Detection Algorithm)包括但不局限于包括：FAST(features from accelerated segment test)、SUSAN、以及Harris角点检测算法。本实施例以Harris角点检测算法为例：
首先，定义矩阵A为深度图的构造张量(structure tensor)：
其中，Ix和Iy分别为深度图上的点在x，y方向上的梯度信息，则基于矩阵A可得位于深度图上的点的角点响应值Mc：
Mc＝λ1λ2-k(λ1+λ2)2＝det(A)-ktrace2(A)
其中det(A)为矩阵A的行列式，trace(A)为矩阵A的迹，k为调节灵敏度的参数(tunable sensitivity parameter)，设定阈值Mth,当Mc>Mth时，则确定该点为特征点。
步骤1012、通过跟踪所述特征点在两帧图像上的相对位置，确定所述特征点的光流向量。
可选的，本实施例可以通过跟踪上述获得的特征点在两帧或两帧以上的图像中的相对位置，根据特征点在两帧或两帧以上图像中的相对位置的偏移量来确定特征点的光流向量。以两帧图像为例，在跟踪获得特征点在两帧图像上的相对位置后，本实施例可以根据如下表达式迭代获得特征点在两帧图像上的偏移量h：
这里针对每个特征点，本实施例可以做两次偏移量检测，即先令后一帧图像为F(x)，前一帧图像为G(x)，根据上述公式迭代获得特征点在后一帧图像上的相对位置相对于特征点在前一帧图像上的相对位置的第一偏移量h，再反过来，令前一帧图像为F(x)，后一帧图像为G(x)，获得特征点在前一帧图像上的相对位置相对于特征点在后一帧图像上的相对位置的第二偏移量h’，若第一偏移量和第二偏移量之间的关系符合预设的第一先验条件，则确定特征点的光流向量为h，其中，第一先验条件可以被具体为h＝-h’，但不局限于h＝-h’，实际上第一先验条件还可以被具体为h＝-h’+a,其中a为预设误差，是一个常量。
当然上述举例仅为示例说明而不是对本发明的唯一限定，实际上，每个特征点也可以仅确定一次偏移量，其确定方法可以参照上述示例，在这里不再赘述。
步骤1013、基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
可选的，在一种可能的实现方式中，可以基于特征点在两帧图像中的大地坐标系下的三维坐标，确定拍摄设备在拍摄两帧图像时的位置和姿态(camera pose)，并基于拍摄设备在拍摄两帧图像时的位置和姿态，采用随机抽样一致算法(RANSAC)，获取深度图中除静止物体上的特征点以外的特征点的光流向量，其具体算法如下：
spc＝K[R|T]pw.
其中，R为以拍摄设备拍摄图像时的位置和姿态作为先验的旋转矩阵。pc为特征点在深度图上的二维坐标，pw为特征点在大地坐标系下的三维坐标。
在另一种可能的实现方式中，可以根据预设的第二先验条件，确定特征点在两帧图像中的大地坐标系下的三维坐标所对应的本质矩阵(Essential Matrix)，再基于计算获得的本质矩阵，采用随机抽样一致算法(RANSAC)，获取深度图中除静止物体上的特征点以外的特征点的光流向量。
举例来说，假设特征点在两帧图像中对应的大地坐标系下的三维坐标为y以及y′，那么可以根据如下所示的第二先验条件确定本质矩阵E：
(y')TEy＝0
进一步的，再通过随机抽样一致算法(RANSAC)，即可获得深度图中除静止物体上的特征点以外的特征点的光流向量，即目标特征点的光流向量，其中随机抽样一致算法的原理以及执行方式可以参见现有技术，本实施例不做赘述。
进一步的，在获得目标特征点的光流向量后，基于目标特征点的光流向量、目标特征点的深度信息和目标特征点的视觉信息，识别运动物体，其中所述视觉信息包括色彩和/或光强。
具体的，图3为本发明实施例提供的运动物体的识别方法的流程图，如图3所示，可以根据如下步骤识别运动物体：
步骤1021、对获取到的目标特征点的光流向量进行聚类处理，获得至少一组光流向量组，其中，在同一光流向量组中光流向量之间的方向偏差小于第一预设阈值，光流向量之间的长度之差小于第二预设阈值。
示例的，图4a为本发明实施例提供的目标特征点的光流向量示意图，图4a中的光流向量可用Lucas-Kanade算法表示如下：
其中，qi是深度图上点P领域中的点，点P的领域大小可以根据需要进行设定，本实施例中不做限定，比如，当点P的领域具体为5x5的领域时，点P对应的领域中包括25个点。qi对应的光流向量为[Vx Vy]T，Ix,Iy分别为qi在深度图上x方向和y方向上的梯度，It为qi在两帧图像上的光强变化。
进一步的，在上述光流向量表示的基础上，本示例采用无监督机器学习(Unsupervised ML)中的聚类算法(比如K-Means++算法，但不局限于K-Means++算法)来对目标特征点的光流向量进行聚类处理。从而将每个目标特征点在深度图上的位置[u v]T，目标特征点的色彩和/或光强，以及光流向量[Vx Vy]T作为聚类依据，获得如图4b所示的至少一组光流向量组，聚类后的光流向量组可表示如下：
[u v Vx Vy I(u,v,t)]T
当然上述仅为示例说明而不是对本发明的唯一限定。
步骤1022、基于所述目标特征点中每个特征点的深度信息和视觉信息，从所述至少一组光流向量组中识别出运动物体。
可选的，本实施例通过获取到的目标特征点中每个特征点的深度信息，以及每个特征点的色彩和/或光强采用种子填充(floodfill)算法，从上述获得的至少一组光流向量组中识别出运动物体。其具体执行方式可以参照现有的floodfill算法，在这里不再赘述。
步骤103、确定所述运动物体的运动速度向量。
示例的，在一种可能的实现方式中可以基于运动物体在预设帧数图像中的大地坐标系下的三维坐标，确定运动物体的运动速度向量。其具体实现方式可以参见现有技术，本实施不多做赘述。
步骤104、基于所述运动物体的运动速度向量，确定所述运动物体和所述可移动平台可能发生碰撞的区域，从而控制所述可移动平台在所述可能发生碰撞的区域执行避障策略。
可选的，本实施例可以基于运动物体的运动速度向量和可移动平台的移动速度向量，采用如下表达式，确定可移动平台的移动轨迹，并基于可移动平台的移动轨迹确定运动物体和可移动平台可能发生碰撞的区域：
可选的，在获得可移动平台的移动轨迹之后，本发明实施例可以将可移动平台的移动轨迹投影到深度图上，并根据运动物体的运动轨迹，在深度图上确定运动物体和可移动平台可能发生碰撞的区域，并基于深度图上的各个区域在大地坐标系下的坐标信息，确定运动物体和可移动平台可能发生碰撞的区域在大地坐标系下的三维坐标。从而控制可移动平台在该三维坐标处执行预设的避障策略，比如，可以在确定可能发生碰撞的区域后，控制可移动平台向当前移动方向相反的方向移动，或者通过调整可移动平台的移动轨迹使得可移动平台绕过可能发生碰撞的区域，或者可以控制可移动平台停止移动预设时间长度，以达到避障的目的。当然这里仅为示例说明而不是对本发明中避障策略的唯一限定，实际上，可以根据具体需要设置相应的避障策略。
可选的，为了增加与用户之间的交互，提高用户体验，本实施例还可以对可移动平台的移动轨迹进行显示，或者还可以向用户显示可能发生碰撞的区域，以使用户及时采取避障措施。
本实施例提供的避障方法、装置及可移动平台，通过获取可移动平台搭载的拍摄设备拍摄获得的深度图上的目标特征点的光流向量，以及可移动平台的移动速度向量，基于获取到的目标特征点的光流向量以及目标特征点的深度信息和视觉信息，从深度图上识别出运动物体，通过跟踪运动物体在预设帧数图像中的大地坐标系下的三维坐标，确定运动物体的运动速度向量，从而基于运动物体的运动速度向量，以及可移动平台的移动速度向量，确定运动物体和可移动平台可能发生碰撞的区域，从而控制可移动平台在可能发生碰撞的区域执行避障策略。由于本发明实施例可以对动态物体进行识别，并根据动态物体的运动速度向量确定运动物体和可移动平台可能发生碰撞的区域，从而使得可移动平台能够对运动物体进行躲避，尤其是当可移动平台是在地面上运动的汽车或其他可移动物体，或者是近地飞行的无人机时，能够有效排除运动物体对可移动平台的影响，提升可移动平台运动的安全性和用户体验。另外，由于在现有的可移动平台中视觉里程计(VO)算法的中间结果会产生本实施例所需的目标特征点的光流向量，因此，本实施例可以直接获取现有视觉里程计(VO)算法的中间结果来进行运动物体的检测，能够有效降低本实施例的计算量，提高避障检测的效率，进一步提高了避障检测的实时性。
本发明实施例提供一种避障装置，图5为本发明实施例提供的一种避障装置10的结构示意图，如图5所示，避障装置10设置在可移动平台20上，避障装置10包括处理器11和拍摄设备21，所述处理器11与所述拍摄设备21通信连接，所述拍摄设备用于拍摄获得深度图；所述处理器11用于：获取所述拍摄设备21拍摄获得的深度图，基于所述深度图识别出运动物体，确定所述运动物体的运动速度向量，基于所述运动物体的运动速度向量，确定所述运动物体和所述可移动平台可能发生碰撞的区域，从而控制所述可移动平台在所述可能发生碰撞的区域执行避障策略。确定所述运动物体和所述可移动平台可能发生碰撞的区域。
可选的，所述处理器11用于：获取所述深度图上目标特征点的光流向量，所述目标特征点不包括静止物体上的特征点，基于所述目标特征点的光流向量，识别运动物体。
可选的，所述处理器11用于：基于视觉里程计VO算法，获取所述深度图上目标特征点的光流向量。
可选的，所述处理器11用于：基于预设的角点检测算法，从可移动平台搭载的拍摄设备拍摄获得的深度图中提取特征点；通过跟踪所述特征点在两帧图像上的相对位置，确定所述特征点的光流向量；基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
可选的，所述处理器11用于：基于所述特征点在两帧图像中的相对位置，分别确定所述特征点在后一帧图像上的相对位置相对于所述特征点在前一帧图像上的相对位置的第一偏移量，以及所述特征点在前一帧图像上的相对位置相对于所述特征点在后一帧图像上的相对位置的第二偏移量；若所述第一偏移量和所述第二偏移量之间关系符合预设的第一先验条件，则基于所述第一偏移量或所述第二偏移量，确定所述特征点的光流向量。
可选的，所述处理器11用于：基于预设的第二先验条件，确定所述特征点在所述两帧图像中的大地坐标系下的三维坐标所对应的本质矩阵，其中，所述第二先验条件为特征点在两帧图像中的大地坐标系下的三维坐标和本质矩阵之间的条件关系；基于所述本质矩阵，采用随机抽样一致算法，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
可选的，所述处理器11用于：基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，确定所述拍摄设备在拍摄所述两帧图像时的位置和姿态；基于所述拍摄设备在拍摄所述两帧图像时的位置和姿态，采用随机抽样一致算法，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
可选的，所述处理器11用于：基于所述目标特征点的光流向量、所述目标特征点的深度信息和所述目标特征点的视觉信息，识别运动物体，其中所述视觉信息包括色彩和/或光强。
可选的，所述处理器11用于：对获取到的目标特征点的光流向量进行聚类处理，获得至少一组光流向量组，其中，在同一光流向量组中光流向量之间的方向偏差小于第一预设阈值，光流向量之间的长度之差小于第二预设阈值；基于所述目标特征点中每个特征点的深度信息和视觉信息，从所述至少一组光流向量组中识别出运动物体。
可选的，所述处理器11用于：基于所述目标特征点中每个特征点的深度信息，以及每个特征点的视觉信息，采用种子填充算法，从所述至少一组光流向量组中识别出运动物体。
可选的，所述处理器11用于：基于所述运动物体在预设帧数图像中的大地坐标系下的三维坐标，确定所述运动物体的运动速度向量。
可选的，所述处理器11用于：基于运动物体的运动速度向量，以及可移动平台的移动速度向量，确定所述可移动平台的移动轨迹；基于所述移动轨迹确定所述运动物体和所述可移动平台可能发生碰撞的区域。
可选的，所述处理器11用于：将所述移动轨迹投影到所述深度图上，在所述深度图上确定所述运动物体和所述可移动平台可能发生碰撞的区域；基于所述深度图确定所述可能发生碰撞的区域在大地坐标系下的三维坐标。
可选的，所述处理器11用于：控制所述可移动平台在所述可能发生碰撞的区域向当前移动方向相反的方向移动。
可选的，所述处理器11用于：调整所述可移动平台的移动轨迹，以使所述可移动平台绕过所述可能发生碰撞的区域。
可选的，所述处理器11用于：控制所述可移动平台停止移动预设时间长度，以避让所述运动物体。
可选的，所述拍摄设备包括至少一个摄像头。
本实施例提供的避障装置能够执行上述实施例所述的避障方法，其执行方式和有益效果类似，在这里不再赘述。
本实施例提供一种可移动平台，包括：
机身；
动力系统，安装在机身上，用于为可移动平台提供动力；
以及上述实施例所述的避障装置。该可移动平台包括如下的任意一种：无人机、汽车、VR眼镜、AR眼镜。
本发明实施例提供一种避障装置，图6为本发明实施例提供的避障装置30的结构示意图，如图6所示，避障装置30设置在地面站40上，避障装置30包括处理器31和通信接口32，所述处理器31与所述通信接口32通信连接；所述通信接口32用于：获取可移动平台50搭载的拍摄设备51拍摄获得的深度图；所述处理器31用于：基于所述深度图识别出运动物体，确定所述运动物体的运动速度向量，基于所述运动物体的运动速度向量，确定所述运动物体和所述可移动平台可能发生碰撞的区域，从而控制所述可移动平台在所述可能发生碰撞的区域执行避障策略。
可选的，所述处理器31用于：获取所述深度图上目标特征点的光流向量，所述目标特征点不包括静止物体上的特征点，基于所述目标特征点的光流向量，识别运动物体。
可选的，所述处理器31用于：基于视觉里程计VO算法，获取所述深度图上目标特征点的光流向量。
可选的，所述处理器31用于：基于预设的角点检测算法，从可移动平台搭载的拍摄设备拍摄获得的深度图中提取特征点；通过跟踪所述特征点在两帧图像上的相对位置，确定所述特征点的光流向量；基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
可选的，所述处理器31用于：基于所述特征点在两帧图像中的相对位置，分别确定所述特征点在后一帧图像上的相对位置相对于所述特征点在前一帧图像上的相对位置的第一偏移量，以及所述特征点在前一帧图像上的相对位置相对于所述特征点在后一帧图像上的相对位置的第二偏移量；若所述第一偏移量和所述第二偏移量之间关系符合预设的第一先验条件，则基于所述第一偏移量或所述第二偏移量，确定所述特征点的光流向量。
可选的，所述处理器31用于：基于预设的第二先验条件，确定所述特征点在所述两帧图像中的大地坐标系下的三维坐标所对应的本质矩阵，其中，所述第二先验条件为特征点在两帧图像中的大地坐标系下的三维坐标和本质矩阵之间的条件关系；基于所述本质矩阵，采用随机抽样一致算法，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
可选的，所述处理器31用于：基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，确定所述拍摄设备在拍摄所述两帧图像时的位置和姿态；基于所述拍摄设备在拍摄所述两帧图像时的位置和姿态，采用随机抽样一致算法，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
可选的，所述处理器31用于：基于所述目标特征点的光流向量、所述目标特征点的深度信息和所述目标特征点的视觉信息，识别运动物体，其中所述视觉信息包括色彩和/或光强。
可选的，所述处理器31用于：对获取到的目标特征点的光流向量进行聚类处理，获得至少一组光流向量组，其中，在同一光流向量组中光流向量之间的方向偏差小于第一预设阈值，光流向量之间的长度之差小于第二预设阈值；基于所述目标特征点中每个特征点的深度信息和视觉信息，从所述至少一组光流向量组中识别出运动物体。
可选的，所述处理器31用于：基于所述目标特征点中每个特征点的深度信息，以及每个特征点的视觉信息，采用种子填充算法，从所述至少一组光流向量组中识别出运动物体
可选的，所述处理器31用于：基于所述运动物体在预设帧数图像中的大地坐标系下的三维坐标，确定所述运动物体的运动速度向量。
可选的，所述处理器31用于：基于运动物体的运动速度向量，以及可移动平台的移动速度向量，确定所述可移动平台的移动轨迹；基于所述移动轨迹确定所述运动物体和所述可移动平台可能发生碰撞的区域。
可选的，所述处理器31用于：将所述移动轨迹投影到所述深度图上，在所述深度图上确定所述运动物体和所述可移动平台可能发生碰撞的区域；基于所述深度图确定所述可能发生碰撞的区域在大地坐标系下的三维坐标。
可选的，所述避障装置还包括显示组件33，所述显示组件33与所述处理器31通信连接；所述显示组件33用于：显示所述可移动平台的移动轨迹。
可选的，所述显示组件33用于：显示所述深度图，并在所述深度图上标示所述可能发生碰撞的区域。
可选的，所述处理器31用于：控制所述可移动平台在所述可能发生碰撞的区域向当前移动方向相反的方向移动。
可选的，所述处理器31用于：调整所述可移动平台的移动轨迹，以使所述可移动平台绕过所述可能发生碰撞的区域。
可选的，所述处理器31用于：控制所述可移动平台停止移动预设时间长度，以避让所述运动物体。
可选的，所述拍摄设备包括至少一个摄像头。
本实施例提供的避障装置能够执行上述实施例所述的避障方法，其执行方式和有益效果类似，在这里不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (57)

1.一种避障方法，其特征在于，包括：
获取可移动平台搭载的拍摄设备拍摄获得的深度图；
基于所述深度图识别出运动物体；
确定所述运动物体的运动速度向量；
基于所述运动物体的运动速度向量，确定所述运动物体和所述可移动平台可能发生碰撞的区域，从而控制所述可移动平台在所述可能发生碰撞的区域执行避障策略。
2.根据权利要求1所述的方法，其特征在于，所述基于所述深度图识别出运动物体，包括：
获取所述深度图上目标特征点的光流向量，所述目标特征点不包括静止物体上的特征点；
基于所述目标特征点的光流向量，识别运动物体。
3.根据权利要求2所述的方法，其特征在于，所述获取所述深度图上目标特征点的光流向量，包括
基于视觉里程计VO算法，获取所述深度图上目标特征点的光流向量。
4.根据权利要求3所述的方法，其特征在于，所述基于视觉里程计VO算法，获取所述深度图上目标特征点的光流向量，包括：
基于预设的角点检测算法，从可移动平台搭载的拍摄设备拍摄获得的深度图中提取特征点；
通过跟踪所述特征点在两帧图像上的相对位置，确定所述特征点的光流向量；
基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
5.根据权利要求4所述的方法，其特征在于，所述通过跟踪所述特征点在两帧图像上的相对位置，确定所述特征点的光流向量，包括：
基于所述特征点在两帧图像中的相对位置，分别确定所述特征点在后一帧图像上的相对位置相对于所述特征点在前一帧图像上的相对位置的第一偏移量，以及所述特征点在前一帧图像上的相对位置相对于所述特征点在后一帧图像上的相对位置的第二偏移量；
若所述第一偏移量和所述第二偏移量之间关系符合预设的第一先验条件，则基于所述第一偏移量或所述第二偏移量，确定所述特征点的光流向量。
6.根据权利要求4所述的方法，其特征在于，所述基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量，包括：
基于预设的第二先验条件，确定所述特征点在所述两帧图像中的大地坐标系下的三维坐标所对应的本质矩阵，其中，所述第二先验条件为特征点在两帧图像中的大地坐标系下的三维坐标和本质矩阵之间的条件关系；
基于所述本质矩阵，采用随机抽样一致算法，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
7.根据权利要求4所述的方法，其特征在于，所述基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量，包括：
基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，确定所述拍摄设备在拍摄所述两帧图像时的位置和姿态；
基于所述拍摄设备在拍摄所述两帧图像时的位置和姿态，采用随机抽样一致算法，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
8.根据权利要求2所述的方法，其特征在于，所述基于所述目标特征点的光流向量，识别运动物体，包括：
基于所述目标特征点的光流向量、所述目标特征点的深度信息和所述目标特征点的视觉信息，识别运动物体，其中所述视觉信息包括色彩和/或光强。
9.根据权利要求8所述的方法，其特征在于，所述基于所述目标特征点的光流向量、所述目标特征点的深度信息和所述目标特征点的视觉信息，识别运动物体，包括：对获取到的目标特征点的光流向量进行聚类处理，获得至少一组光流向量组，其中，在同一光流向量组中光流向量之间的方向偏差小于第一预设阈值，光流向量之间的长度之差小于第二预设阈值；
基于所述目标特征点中每个特征点的深度信息和视觉信息，从所述至少一组光流向量组中识别出运动物体。
10.根据权利要求9所述的方法，其特征在于，所述基于所述目标特征点中每个特征点的深度信息和视觉信息，从所述至少一组光流向量组中识别出运动物体，包括：
基于所述目标特征点中每个特征点的深度信息，以及每个特征点的视觉信息，采用种子填充算法，从所述至少一组光流向量组中识别出运动物体。
11.根据权利要求1所述的方法，其特征在于，所述确定所述运动物体的运动速度向量，包括：
基于所述运动物体在预设帧数图像中的大地坐标系下的三维坐标，确定所述运动物体的运动速度向量。
12.根据权利要求1所述的方法，其特征在于，所述基于所述运动物体的运动速度向量，确定所述运动物体和所述可移动平台可能发生碰撞的区域，包括：
基于运动物体的运动速度向量，以及可移动平台的移动速度向量，确定所述可移动平台的移动轨迹；
基于所述移动轨迹确定所述运动物体和所述可移动平台可能发生碰撞的区域。
13.根据权利要求12所述的方法，其特征在于，所述基于所述移动轨迹确定所述运动物体和所述可移动平台可能发生碰撞的区域，包括：
将所述移动轨迹投影到所述深度图上，在所述深度图上确定所述运动物体和所述可移动平台可能发生碰撞的区域；
基于所述深度图确定所述可能发生碰撞的区域在大地坐标系下的三维坐标。
14.根据权利要求12所述的方法，其特征在于，所述方法还包括：
显示所述可移动平台的移动轨迹。
15.根据根据权利要求13所述的方法，其特征在于，所述方法还包括：
显示所述深度图，并在所述深度图上标示所述可能发生碰撞的区域。
16.根据权利要求1-15中任一项所述的方法，其特征在于，所述控制所述可移动平台在所述可能发生碰撞的区域执行避障策略，包括：
控制所述可移动平台在所述可能发生碰撞的区域向当前移动方向相反的方向移动。
17.根据权利要求1-15中任一项所述的方法，其特征在于，所述控制所述可移动平台在所述可能发生碰撞的区域执行避障策略，包括：
调整所述可移动平台的移动轨迹，以使所述可移动平台绕过所述可能发生碰撞的区域。
18.根据权利要求1-15中任一项所述的方法，其特征在于，所述控制所述可移动平台在所述可能发生碰撞的区域执行避障策略，包括：
控制所述可移动平台停止移动预设时间长度，以避让所述运动物体。
19.根据权利要求1-18中任一项所述的方法，其特征在于，所述拍摄设备包括至少一个摄像头。
20.一种避障装置，其特征在于，所述避障装置设置在可移动平台上，所述避障装置包括处理器和拍摄设备，所述处理器与所述拍摄设备通信连接；
所述拍摄设备用于拍摄获得深度图；
所述处理器用于：获取所述拍摄设备拍摄获得的深度图，基于所述深度图识别出运动物体，确定所述运动物体的运动速度向量，基于所述运动物体的运动速度向量，确定所述运动物体和所述可移动平台可能发生碰撞的区域，从而控制所述可移动平台在所述可能发生碰撞的区域执行避障策略。
21.根据权利要求20所述的避障装置，其特征在于，所述处理器用于：
获取所述深度图上目标特征点的光流向量，所述目标特征点不包括静止物体上的特征点，基于所述目标特征点的光流向量，识别运动物体。
22.根据权利要求21所述的避障装置，其特征在于，所述处理器用于：基于视觉里程计VO算法，获取所述深度图上目标特征点的光流向量。
23.根据权利要求22所述的避障装置，其特征在于，所述处理器用于：基于预设的角点检测算法，从可移动平台搭载的拍摄设备拍摄获得的深度图中提取特征点；通过跟踪所述特征点在两帧图像上的相对位置，确定所述特征点的光流向量；基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
24.根据权利要求23所述的避障装置，其特征在于，所述处理器用于：基于所述特征点在两帧图像中的相对位置，分别确定所述特征点在后一帧图像上的相对位置相对于所述特征点在前一帧图像上的相对位置的第一偏移量，以及所述特征点在前一帧图像上的相对位置相对于所述特征点在后一帧图像上的相对位置的第二偏移量；若所述第一偏移量和所述第二偏移量之间关系符合预设的第一先验条件，则基于所述第一偏移量或所述第二偏移量，确定所述特征点的光流向量。
25.根据权利要求23所述的避障装置，其特征在于，所述处理器用于：基于预设的第二先验条件，确定所述特征点在所述两帧图像中的大地坐标系下的三维坐标所对应的本质矩阵，其中，所述第二先验条件为特征点在两帧图像中的大地坐标系下的三维坐标和本质矩阵之间的条件关系；基于所述本质矩阵，采用随机抽样一致算法，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
26.根据权利要求23所述的避障装置，其特征在于，所述处理器用于：基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，确定所述拍摄设备在拍摄所述两帧图像时的位置和姿态；基于所述拍摄设备在拍摄所述两帧图像时的位置和姿态，采用随机抽样一致算法，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
27.根据权利要求21所述的避障装置，其特征在于，所述处理器用于：基于所述目标特征点的光流向量、所述目标特征点的深度信息和所述目标特征点的视觉信息，识别运动物体，其中所述视觉信息包括色彩和/或光强。
28.根据权利要求27所述的避障装置，其特征在于，所述处理器用于：对获取到的目标特征点的光流向量进行聚类处理，获得至少一组光流向量组，其中，在同一光流向量组中光流向量之间的方向偏差小于第一预设阈值，光流向量之间的长度之差小于第二预设阈值；基于所述目标特征点中每个特征点的深度信息和视觉信息，从所述至少一组光流向量组中识别出运动物体。
29.根据权利要求28所述的避障装置，其特征在于，所述处理器用于：基于所述目标特征点中每个特征点的深度信息，以及每个特征点的视觉信息，采用种子填充算法，从所述至少一组光流向量组中识别出运动物体。
30.根据权利要求20所述的避障装置，其特征在于，所述处理器用于：基于所述运动物体在预设帧数图像中的大地坐标系下的三维坐标，确定所述运动物体的运动速度向量。
31.根据权利要求20所述的避障装置，其特征在于，所述处理器用于：基于运动物体的运动速度向量，以及可移动平台的移动速度向量，确定所述可移动平台的移动轨迹；基于所述移动轨迹确定所述运动物体和所述可移动平台可能发生碰撞的区域。
32.根据权利要求31所述的避障装置，其特征在于，所述处理器用于：将所述移动轨迹投影到所述深度图上，在所述深度图上确定所述运动物体和所述可移动平台可能发生碰撞的区域；基于所述深度图确定所述可能发生碰撞的区域在大地坐标系下的三维坐标。
33.根据权利要求20-32中任一项所述的避障装置，其特征在于，所述处理器用于：控制所述可移动平台在所述可能发生碰撞的区域向当前移动方向相反的方向移动。
34.根据权利要求20-32中任一项所述的避障装置，其特征在于，所述处理器用于：调整所述可移动平台的移动轨迹，以使所述可移动平台绕过所述可能发生碰撞的区域。
35.根据权利要求20-32中任一项所述的避障装置，其特征在于，所述处理器用于：控制所述可移动平台停止移动预设时间长度，以避让所述运动物体。
36.根据权利要求20-35中任一项所述的避障装置，其特征在于，所述拍摄设备包括至少一个摄像头。
37.一种可移动平台，其特征在于，包括：
机身；
动力系统，安装在所述机身上，用于为所述可移动平台提供动力；
以及如权利要求20-36中任一项所述的避障装置。
38.根据权利要求37所述的可移动平台，其特征在于，所述移动平台包括如下的任意一种：无人机、汽车、VR眼镜、AR眼镜。
39.一种避障装置，其特征在于，所述避障装置设置在地面站上，所述避障装置包括处理器和通信接口，所述处理器与所述通信接口通信连接；
所述通信接口用于：获取可移动平台搭载的拍摄设备拍摄获得的深度图；
所述处理器用于：基于所述深度图识别出运动物体，确定所述运动物体的运动速度向量，基于所述运动物体的运动速度向量，确定所述运动物体和所述可移动平台可能发生碰撞的区域，从而控制所述可移动平台在所述可能发生碰撞的区域执行避障策略。
40.根据权利要求39所述的避障装置，其特征在于，所述处理器用于：获取所述深度图上目标特征点的光流向量，所述目标特征点不包括静止物体上的特征点，基于所述目标特征点的光流向量，识别运动物体。
41.根据权利要求40所述的避障装置，其特征在于，所述处理器用于：基于视觉里程计VO算法，获取所述深度图上目标特征点的光流向量。
42.根据权利要求41所述的避障装置，其特征在于，所述处理器用于：基于预设的角点检测算法，从可移动平台搭载的拍摄设备拍摄获得的深度图中提取特征点；通过跟踪所述特征点在两帧图像上的相对位置，确定所述特征点的光流向量；基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
43.根据权利要求42所述的避障装置，其特征在于，所述处理器用于：基于所述特征点在两帧图像中的相对位置，分别确定所述特征点在后一帧图像上的相对位置相对于所述特征点在前一帧图像上的相对位置的第一偏移量，以及所述特征点在前一帧图像上的相对位置相对于所述特征点在后一帧图像上的相对位置的第二偏移量；若所述第一偏移量和所述第二偏移量之间关系符合预设的第一先验条件，则基于所述第一偏移量或所述第二偏移量，确定所述特征点的光流向量。
44.根据权利要求42所述的避障装置，其特征在于，所述处理器用于：基于预设的第二先验条件，确定所述特征点在所述两帧图像中的大地坐标系下的三维坐标所对应的本质矩阵，其中，所述第二先验条件为特征点在两帧图像中的大地坐标系下的三维坐标和本质矩阵之间的条件关系；基于所述本质矩阵，采用随机抽样一致算法，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
45.根据权利要求42所述的避障装置，其特征在于，所述处理器用于：基于所述特征点在所述两帧图像中的大地坐标系下的三维坐标，确定所述拍摄设备在拍摄所述两帧图像时的位置和姿态；基于所述拍摄设备在拍摄所述两帧图像时的位置和姿态，采用随机抽样一致算法，从所述特征点的光流向量中筛除静止物体上的特征点的光流向量，获得目标特征点的光流向量。
46.根据权利要求40所述的避障装置，其特征在于，所述处理器用于：基于所述目标特征点的光流向量、所述目标特征点的深度信息和所述目标特征点的视觉信息，识别运动物体，其中所述视觉信息包括色彩和/或光强。
47.根据权利要求46所述的避障装置，其特征在于，所述处理器用于：对获取到的目标特征点的光流向量进行聚类处理，获得至少一组光流向量组，其中，在同一光流向量组中光流向量之间的方向偏差小于第一预设阈值，光流向量之间的长度之差小于第二预设阈值；基于所述目标特征点中每个特征点的深度信息和视觉信息，从所述至少一组光流向量组中识别出运动物体。
48.根据权利要求47所述的避障装置，其特征在于，所述处理器用于：基于所述目标特征点中每个特征点的深度信息，以及每个特征点的视觉信息，采用种子填充算法，从所述至少一组光流向量组中识别出运动物体。
49.根据权利要求39所述的避障装置，其特征在于，所述处理器用于：基于所述运动物体在预设帧数图像中的大地坐标系下的三维坐标，确定所述运动物体的运动速度向量。
50.根据权利要求39所述的避障装置，其特征在于，所述处理器用于：基于运动物体的运动速度向量，以及可移动平台的移动速度向量，确定所述可移动平台的移动轨迹；基于所述移动轨迹确定所述运动物体和所述可移动平台可能发生碰撞的区域。
51.根据权利要求50所述的避障装置，其特征在于，所述处理器用于：将所述移动轨迹投影到所述深度图上，在所述深度图上确定所述运动物体和所述可移动平台可能发生碰撞的区域；基于所述深度图确定所述可能发生碰撞的区域在大地坐标系下的三维坐标。
52.根据权利要求50所述的避障装置，其特征在于，所述避障装置还包括显示组件，所述显示组件与所述处理器通信连接；
所述显示组件用于：显示所述可移动平台的移动轨迹。
53.根据权利要求52所述的避障装置，其特征在于，所述显示组件用于：显示所述深度图，并在所述深度图上标示所述可能发生碰撞的区域。
54.根据权利要求39-53中任一项所述的避障装置，其特征在于，所述处理器用于：控制所述可移动平台在所述可能发生碰撞的区域向当前移动方向相反的方向移动。
55.根据权利要求39-53中任一项所述的避障装置，其特征在于，所述处理器用于：调整所述可移动平台的移动轨迹，以使所述可移动平台绕过所述可能发生碰撞的区域。
56.根据权利要求39-53中任一项所述的避障装置，其特征在于，所述处理器用于：控制所述可移动平台停止移动预设时间长度，以避让所述运动物体。
57.根据权利要求39-56中任一项所述的避障装置，其特征在于，所述拍摄设备包括至少一个摄像头。
CN201780029125.9A 2017-12-29 2017-12-29 避障方法、装置及可移动平台 Pending CN109196556A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/120249 WO2019127518A1 (zh) 2017-12-29 2017-12-29 避障方法、装置及可移动平台

Publications (1)

Publication Number Publication Date
CN109196556A true CN109196556A (zh) 2019-01-11

Family

ID=64948918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780029125.9A Pending CN109196556A (zh) 2017-12-29 2017-12-29 避障方法、装置及可移动平台

Country Status (3)

Country Link
US (1) US20210103299A1 (zh)
CN (1) CN109196556A (zh)
WO (1) WO2019127518A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111247557A (zh) * 2019-04-23 2020-06-05 深圳市大疆创新科技有限公司 用于移动目标物体检测的方法、系统以及可移动平台
CN111656294A (zh) * 2019-05-31 2020-09-11 深圳市大疆创新科技有限公司 可移动平台的控制方法、控制终端及可移动平台

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460511B2 (en) * 2016-09-23 2019-10-29 Blue Vision Labs UK Limited Method and system for creating a virtual 3D model
CN111338382B (zh) * 2020-04-15 2021-04-06 北京航空航天大学 一种安全态势引导的无人机路径规划方法
US11545039B2 (en) * 2020-07-28 2023-01-03 Ford Global Technologies, Llc Systems and methods for controlling an intersection of a route of an unmanned aerial vehicle
KR20220090597A (ko) * 2020-12-22 2022-06-30 한국전자기술연구원 특징 매칭을 이용한 위치추적장치 및 방법
CN113408353B (zh) * 2021-05-18 2023-04-07 杭州电子科技大学 一种基于rgb-d的实时避障系统
CN113657164B (zh) * 2021-07-15 2024-07-02 美智纵横科技有限责任公司 标定目标对象的方法、装置、清扫设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881881A (zh) * 2014-02-27 2015-09-02 株式会社理光 运动对象表示方法及其装置
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
US9558584B1 (en) * 2013-07-29 2017-01-31 Google Inc. 3D position estimation of objects from a monocular camera using a set of known 3D points on an underlying surface
CN106527468A (zh) * 2016-12-26 2017-03-22 德阳科蚁科技有限责任公司 一种无人机避障控制方法、系统及无人机
CN106920259A (zh) * 2017-02-28 2017-07-04 武汉工程大学 一种定位方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707724B (zh) * 2012-06-05 2015-01-14 清华大学 一种无人机的视觉定位与避障方法及系统
CN105759829A (zh) * 2016-04-12 2016-07-13 深圳市龙云创新航空科技有限公司 基于激光雷达的微型无人机操控方法及系统
CN106096559A (zh) * 2016-06-16 2016-11-09 深圳零度智能机器人科技有限公司 障碍物检测方法及系统以及运动物体
CN105974938B (zh) * 2016-06-16 2023-10-03 零度智控（北京）智能科技有限公司 避障方法、装置、载体及无人机
CN106127788B (zh) * 2016-07-04 2019-10-25 触景无限科技（北京）有限公司 一种视觉避障方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558584B1 (en) * 2013-07-29 2017-01-31 Google Inc. 3D position estimation of objects from a monocular camera using a set of known 3D points on an underlying surface
CN104881881A (zh) * 2014-02-27 2015-09-02 株式会社理光 运动对象表示方法及其装置
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN106527468A (zh) * 2016-12-26 2017-03-22 德阳科蚁科技有限责任公司 一种无人机避障控制方法、系统及无人机
CN106920259A (zh) * 2017-02-28 2017-07-04 武汉工程大学 一种定位方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111247557A (zh) * 2019-04-23 2020-06-05 深圳市大疆创新科技有限公司 用于移动目标物体检测的方法、系统以及可移动平台
WO2020215194A1 (zh) * 2019-04-23 2020-10-29 深圳市大疆创新科技有限公司 用于移动目标物体检测的方法、系统以及可移动平台
CN111656294A (zh) * 2019-05-31 2020-09-11 深圳市大疆创新科技有限公司 可移动平台的控制方法、控制终端及可移动平台
WO2020237609A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 可移动平台的控制方法、控制终端及可移动平台

Also Published As

Publication number Publication date
US20210103299A1 (en) 2021-04-08
WO2019127518A1 (zh) 2019-07-04

Similar Documents

Publication Publication Date Title
CN109196556A (zh) 避障方法、装置及可移动平台
US10665115B2 (en) Controlling unmanned aerial vehicles to avoid obstacle collision
Banerjee et al. Online camera lidar fusion and object detection on hybrid data for autonomous driving
CN110312912B (zh) 车辆自动停车系统和方法
US20180322646A1 (en) Gaussian mixture models for temporal depth fusion
Sanket et al. Gapflyt: Active vision based minimalist structure-less gap detection for quadrotor flight
Alvarez et al. Collision avoidance for quadrotors with a monocular camera
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
CN108898628A (zh) 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质
Yang et al. Reactive obstacle avoidance of monocular quadrotors with online adapted depth prediction network
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
Ding et al. Vehicle pose and shape estimation through multiple monocular vision
CN104899590A (zh) 一种无人机视觉目标跟随方法及系统
Van Pham et al. Vision‐based absolute navigation for descent and landing
Angelopoulou et al. Vision-based egomotion estimation on FPGA for unmanned aerial vehicle navigation
Shi et al. Uncooperative spacecraft pose estimation using an infrared camera during proximity operations
Liu et al. A new approach for the estimation of non-cooperative satellites based on circular feature extraction
Oreifej et al. Horizon constraint for unambiguous uav navigation in planar scenes
CN105447886A (zh) 动感影院播放控制方法
Zuehlke et al. Vision-based object detection and proportional navigation for UAS collision avoidance
Cigla et al. Image-based visual perception and representation for collision avoidance
Zhu et al. A hybrid relative navigation algorithm for a large–scale free tumbling non–cooperative target
US10977810B2 (en) Camera motion estimation
Dubey et al. Droan-disparity-space representation for obstacle avoidance: Enabling wire mapping & avoidance
Yan et al. Horizontal velocity estimation via downward looking descent images for lunar landing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111