CN110770668A - 可移动平台的控制方法、可移动平台及可读存储介质 - Google Patents

可移动平台的控制方法、可移动平台及可读存储介质 Download PDF

Info

Publication number
CN110770668A
CN110770668A CN201880039799.1A CN201880039799A CN110770668A CN 110770668 A CN110770668 A CN 110770668A CN 201880039799 A CN201880039799 A CN 201880039799A CN 110770668 A CN110770668 A CN 110770668A
Authority
CN
China
Prior art keywords
movable platform
target object
distance
control information
pixel points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880039799.1A
Other languages
English (en)
Inventor
周游
杨振飞
黄金柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN110770668A publication Critical patent/CN110770668A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种可移动平台的控制方法、设备及计算机可读存储介质,方法包括:确定目标物体与可移动平台的距离(101);根据距离确定可移动平台的控制信息(102);根据控制信息控制可移动平台进行运动,以使得可移动平台在接触目标物体之前,可移动平台的运动方向能够调整为与目标物体至可移动平台的沿线方向之间的夹角为0度至90度(103)。通过可移动平台感知周围环境,根据周围环境确定目标物体与可移动平台的距离,基于距离控制无人机的运动方向,无需用户干预,自主规划行进路线,能够安全飞行,简化用户操作,提高用户的使用体验。

Description

可移动平台的控制方法、可移动平台及可读存储介质
技术领域
本发明涉及控制技术领域,尤其是涉及可移动平台的控制方法、可移动平台及可读存储介质。
背景技术
诸如无人飞行器(UAV,简称无人机)等无人载具已经被开发用于各种领域,包括消费者应用和行业应用。例如,可以操纵无人机用于娱乐、摄影/摄像、监视、递送或其他应用,无人机已经拓展了个人生活的方方面面。
随着无人机的使用变得愈加普遍,无人机的功能越来越多,但是,无人机的操作和控制也比较繁琐,如何安全操控无人机是一大难题。目前,已有一些智能功能来辅助用户,通过简单交互即可拍出航拍视频,但这些智能功能是针对中大型无人机的户外航拍,而对于小型、微型无人机的室内操作,并没有很好的解决方案,导致无人机的使用受到了限制。
发明内容
本发明提供可移动平台的控制方法、可移动平台及可读存储介质。
本发明第一方面,提供一种可移动平台的控制方法,所述方法包括:
确定目标物体与所述可移动平台的距离;
根据所述距离确定所述可移动平台的控制信息;
根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度。
本发明第二方面,提供一种可移动平台,包括:存储器和处理器;所述存储器,用于存储程序代码;所述处理器,用于调用所述程序代码,当所述程序代码被执行时,所述处理器用于执行以下操作:
确定目标物体与所述可移动平台的距离;
根据所述距离确定所述可移动平台的控制信息;
根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度。
本发明第三方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令被执行时实现可移动平台的控制方法。
基于上述技术方案,本发明实施例中,可以确定目标物体与可移动平台的距离,根据距离确定可移动平台的控制信息,根据控制信息控制可移动平台进行运动,以使可移动平台在接触目标物体之前,可移动平台的运动方向能够调整为与目标物体至可移动平台的沿线方向之间的夹角为0度至90度。显然,上述方式通过可移动平台感知周围环境,并根据周围环境确定目标物体与可移动平台的距离,基于距离控制无人机的运动方向,无需用户干预,自主规划行进路线,能够安全飞行,简化用户操作,提高用户的使用体验。
附图说明
为了更加清楚地说明本发明实施例中的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本发明实施例的这些附图获得其它的附图。
图1是可移动平台的控制方法的流程示意图;
图2是确定目标物体与可移动平台的距离的流程示意图;
图3是根据深度信息确定目标物体与可移动平台的距离的流程示意图;
图4A-图4J是可移动平台的控制示意图;
图5是可移动平台的一个实施例框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。另外,在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
本发明使用的术语仅仅是出于描述特定实施例的目的,而非限制本发明。本发明和权利要求书所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。应当理解,本文中使用的术语“和/或”是指包含一个或者多个相关联的列出项目的任何或所有可能组合。
尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”,或者“当……时”,或者“响应于确定”。
实施例1:
本发明实施例中提出一种可移动平台的控制方法,该方法可以应用于可移动平台(如无人机、无人车等,对此不做限制)。本发明实施例以及后续实施例均以可移动平台为无人机为例进行说明。可以理解,无人机以外的其它可移动平台也同样适用于本发明实施例以及后续实施例中的说明内容。
参见图1所示,为可移动平台的控制方法的流程示意图,该方法包括:
步骤101,确定目标物体与可移动平台的距离。
具体的,目标物体可以是用于控制可移动平台运动的第一物体(如控制可移动平台运动的用户),目标物体也可以是用于阻碍可移动平台运动的第二物体(如阻碍可移动平台运动的障碍物),无论目标物体是第一物体还是第二物体,均可以确定目标物体与可移动平台的距离,具体方式参见后续实施例。
步骤102,根据该距离确定可移动平台的控制信息。
具体的,控制信息可以是加速度,也可以是速度,还可以是用于产生加速度的控制力(如通过控制用于驱动可移动平台的驱动装置的输出扭矩实现,如电机的输出扭矩),无论控制信息是加速度、速度还是控制力,均可以根据该距离确定可移动平台的控制信息,具体方式参见后续实施例。
步骤103,根据该控制信息控制可移动平台进行运动,以使得可移动平台在接触目标物体之前,可移动平台的运动方向能够调整为与该目标物体至可移动平台的沿线方向(如目标物体至可移动平台的中心的沿线方向等,对此沿线方向不做限制)之间的夹角为0度至90度。
具体的,在目标物体是用于控制可移动平台运动的第一物体时,则可以根据该控制信息控制可移动平台进行运动,以使得可移动平台在接触目标物体之前,可移动平台的运动方向能够调整为与目标物体至可移动平台的沿线方向之间的夹角为0度。在目标物体是用于阻碍可移动平台运动的第二物体时,则可以根据该控制信息控制可移动平台进行运动,以使得可移动平台在接触目标物体之前,可移动平台的运动方向能够调整为与目标物体至可移动平台的沿线方向之间的夹角为90度。当然,上述只是控制可移动平台进行运动的两个示例,对此不做限制,且具体控制方式可以参见后续实施例。
基于上述技术方案,本发明实施例中,通过可移动平台感知周围环境,并根据周围环境确定目标物体与可移动平台的距离,根据该距离确定可移动平台的控制信息,根据该控制信息控制可移动平台进行运动,无需用户干预,自主规划行进路线,能够安全飞行,简化用户操作,提高用户的使用体验。
实施例2:
针对步骤101,确定目标物体与可移动平台的距离可以参见图2所示。
步骤201,获取深度图,该深度图可以包括与目标物体对应的物体区域。
具体的,可移动平台可以包括两个视觉传感器,如摄像头,这两个摄像头可以组成一个基础的视觉系统,称为Stereo Vision System,可移动平台可以通过两个摄像头,拍摄同一时刻不同角度的两张图像,并通过两张图像的差异、两个摄像头之间的位置、角度关系,利用三角关系计算出场景与摄像头的距离关系,并根据该距离关系获取深度图(即Depth Map),对此深度图的获取过程不做限制。
在一个例子中,该深度图可以包括与目标物体对应的物体区域(如一个物体区域或者多个物体区域),而为了从深度图中得到物体区域,则可以将深度图中的相似像素点进行聚合,得到连通区域,并确定该连通区域为与该目标物体对应的物体区域。其中,将深度图中的相似像素点进行聚合,可以包括但不限于:可以采用泛洪填充算法对深度图中的相似像素点进行聚合。
具体的,在获取到深度图之后,可以使用floodfill算法(即泛洪填充算法),对深度图中的相似像素点进行聚合,且聚合后的像素点组成连通区域。floodfill算法综合考虑颜色信息、距离信息(即深度信息)、各像素点是否互相联通等,可以将相似像素点聚合在一起,成为连通区域,对此过程不做限制。然后,可以将每个连通区域确定为一个目标物体,如存在3个连通区域时,就存在3个目标物体,为了方便描述,后续实施例中,以一个目标物体为例进行说明。
步骤202,根据物体区域的深度信息确定目标物体与可移动平台的距离。
具体的,在从深度图中得到目标物体对应的物体区域后,就可以获取该物体区域的深度信息,并根据该物体区域的深度信息确定目标物体与可移动平台的距离,例如,可以采用如下流程确定目标物体与可移动平台的距离。
步骤2021,获取该物体区域的像素点的深度信息。
步骤2022,获取该物体区域的像素点的深度置信度。
具体的,可以获取与该深度图对应的视差图,并从该视差图中选取与该物体区域的像素点对应的视差像素点;然后,根据该视差像素点的视差置信度确定该物体区域的像素点的深度置信度。其中,根据该视差像素点的视差置信度确定该物体区域的像素点的深度置信度,可以包括但不限于如下方式:根据该视差像素点的视差置信度、该物体区域的像素点的深度信息以及可移动平台的焦距、双目距离,确定该物体区域的像素点的深度置信度。
步骤2023,根据像素点的深度信息和该像素点的深度置信度,确定该目标物体与可移动平台的距离。
具体的,可以根据该像素点的深度信息和该像素点的深度置信度,基于滤波法确定该目标物体与可移动平台的距离。
其中,所述滤波法可以包括但不限于:卡尔曼滤波法。
以下结合图3所示的流程图,对步骤202的实现流程进行详细说明。
步骤301,获取该物体区域的像素点的深度信息。
具体的,在从深度图中得到物体区域后,可以获取该物体区域的每个像素点的深度信息(即像素点对应位置与可移动平台的距离),对于从深度图中获取该物体区域的每个像素点的深度信息的方式,在此不再赘述。
步骤302,获取与该深度图对应的视差图。
具体的,视差图是以图像对(即两个视觉传感器针对同一场景在不同角度同时拍摄的两幅图像)中任一幅图像为基准,大小为该基准图像的大小,元素值为视差值的图像,且视差图包含了场景的距离信息。由于深度图中也包含场景的距离信息,因此,在得到深度图后,就可以利用深度图获取视差图,对此获取过程不做限制,只要能够得到视差图即可。
步骤303,从该视差图中选取与物体区域的像素点对应的视差像素点。
具体的,在从深度图中得到物体区域后,可以确定该物体区域在深度图中对应的像素点,这些像素点可以是深度图中的部分像素点,例如,像素点集合A包括该物体区域在深度图中对应的所有像素点。然后,在得到深度图对应的视差图后,可以确定像素点集合A内的每个像素点在该视差图中对应的像素点,例如,像素点集合B包括像素点集合A内的每个像素点在视差图中对应的像素点,那么可以将像素点集合B中的每个像素点称为视差像素点。
步骤304,获取视差像素点的视差置信度。
具体的,每个视差像素点的视差置信度,也可以称为该视差像素点的不确定度(uncertainty),可以将每个视差像素点的测量值与真实值之差看做高斯分布,则视差像素点的视差置信度就是偏差。例如,可以采用如下方式确定视差像素点的视差置信度:
Figure BDA0002317680550000071
其中,σid表示视差像素点的视差置信度,S表示总能量,如SGM(Semi GlobalMatching,半全局匹配)算法中给出的总能量,对此不做限制,表示理论最小能量,如SGM算法中给出的理论最小能量,对此不做限制。当然,上述确定视差置信度的方式,只是一个示例,对此不做限制,只要能够获取到视差像素点的视差置信度即可。
步骤305,根据视差像素点(即视差图中的像素点)的视差置信度确定该物体区域的像素点(即深度图中的像素点)的深度置信度。
具体的,可以根据该视差像素点的视差置信度、该物体区域的像素点的深度信息以及可移动平台的焦距、双目距离,确定该物体区域的像素点的深度置信度。
例如,可以采用如下方式确定像素点的深度置信度:
Figure BDA0002317680550000073
其中,σid表示视差像素点的视差置信度,d表示物体区域的像素点的深度信息(即像素点对应位置与可移动平台的距离),f和b分别表示可移动平台中的视觉传感器的焦距和双目距离。通过上述公式可知,在物体区域的像素点的深度信息为已知、视差像素点的视差置信度为已知、可移动平台的焦距和双目距离为已知的情况下,可以确定像素点的深度置信度。当然,上述确定深度置信度的方式,只是一个示例,对此不做限制,只要能够获取到深度置信度即可。
步骤306,根据像素点的深度信息和该像素点的深度置信度,确定该目标物体与可移动平台的距离。
具体的,可以根据该像素点的深度信息和该像素点的深度置信度,基于滤波法确定该目标物体与可移动平台的距离。
在一个例子中,针对目标物体来说,该目标物体对应多个像素点,每个像素点对应一个深度信息和一个深度置信度,这样,目标物体的多个像素点就对应多个距离值,因此,可以使用卡尔曼滤波法(Kalman Filtering)实现数据的融合,得到目标物体与可移动平台之间的一个距离,也就是说,可以基于每个像素点的深度信息和深度置信度,使用卡尔曼滤波法实现数据的融合。
在使用卡尔曼滤波法实现数据融合时,可以根据每个像素点的深度信息和该像素点的深度置信度,确定当前时刻的距离更新值;获取当前时刻的距离预测值,并根据距离更新值和距离预测值,确定目标物体与可移动平台在当前时刻的距离。当然,上述方式只是确定目标物体与可移动平台的距的一个示例,对此不做限制,只要能够确定目标物体与可移动平台的距离即可。
实施例3:
针对步骤102,在根据距离确定可移动平台的控制信息时,该控制信息可以是加速度,也可以是速度,还可以是用于产生加速度的控制力(如通过控制用于驱动可移动平台的驱动装置的输出扭矩实现,如电机的输出扭矩),对此控制信息的类型不做限制。其中,若控制信息为加速度,则可移动平台在接触目标物体之前,该加速度在第一方向上的分量能够调整为大于可移动平台在第二方向上的当前加速度,且第一方向与第二方向相反,该第二方向为可移动平台至目标物体(如目标物体可以是用于阻碍可移动平台运动的第二物体)的沿线方向。此外,若控制信息为速度,则可移动平台在接触目标物体之前,该速度在第一方向上的分量能够调整为大于可移动平台在第二方向上的当前速度,且第一方向与第二方向相反,该第二方向为可移动平台至目标物体(如目标物体是用于阻碍可移动平台运动的第二物体)的沿线方向。
综上所述,以目标物体是用于阻碍可移动平台运动的第二物体为例,若控制信息为加速度,则在可移动平台接触第二物体之前,由于该加速度在第一方向上的分量能够调整为大于可移动平台在第二方向上的当前加速度,且第一方向与第二方向相反,第二方向为可移动平台至该第二物体的沿线方向,因此,可以在可移动平台至第二物体的方向的相反方向上具有加速度,且该加速度可以大于可移动平台至第二物体的方向的当前加速度,从而实现避障。
或者,以目标物体是用于阻碍可移动平台运动的第二物体为例,若控制信息为速度,则在可移动平台在接触第二物体之前,由于该速度在第一方向上的分量能够调整为大于可移动平台在第二方向上的当前速度,而且,第一方向与第二方向相反,该第二方向为可移动平台至第二物体的沿线方向,因此,可以在可移动平台至第二物体的方向的相反方向上具有速度,且该速度可以大于可移动平台至第二物体的方向的当前速度,从而实现避障。
例如,假设可移动平台的位置是位置A,目标物体的位置是位置B,可移动平台的运动方向是位置A-位置B,第二方向为可移动平台至目标物体的沿线方向,即第二方向为位置A-位置B,且第一方向为位置B-位置A。
可移动平台通过第二方向上的当前加速度1运动,在可移动平台接触目标物体之前,根据距离确定第一方向的加速度A。在该距离比较远时,则加速度A比较小,可能小于当前加速度1。这样,由于加速度A的方向与当前加速度1的方向相反,导致当前加速度1变小,但当前加速度1的方向仍然为第二方向。随着可移动平台与目标物体的距离变近,根据距离确定的第一方向的加速度A变大,直到加速度A在第一方向上的分量大于第二方向上的当前加速度1,就会导致可移动平台的运动方向是第一方向,而不再是第二方向,可移动平台朝着第一方向运动,使得可移动平台与目标物体的距离变远。
又例如,可移动平台通过第二方向上的当前速度2运动,在可移动平台接触目标物体之前,可以根据距离确定第一方向的速度B。在该距离比较远时,则速度B比较小,可能小于当前速度2。这样,由于速度B的方向与当前速度2的方向相反,导致当前速度2变小,但当前速度2的方向仍然为第二方向。随着可移动平台与目标物体的距离变近,根据距离确定的第一方向的速度B变大,直到速度B在第一方向上的分量大于第二方向上的当前速度2,就会导致可移动平台的运动方向是第一方向,而不再是第二方向,可移动平台朝着第一方向运动,使得可移动平台与目标物体的距离变远。
在一个例子中,在根据距离确定可移动平台的控制信息时,若控制信息是加速度,则可以根据预设常数和距离确定可移动平台的加速度,该可移动平台的加速度可以与该预设常数呈正相关、与该距离呈负相关。
进一步的,还可以根据可移动平台的加速度控制可移动平台进行运动,以使得可移动平台在接触目标物体之前,可移动平台的运动方向能够调整为与该目标物体至可移动平台的沿线方向(如目标物体至可移动平台的中心的沿线方向等)之间的夹角为0度至90度。例如,该夹角可以为如0度、10度、20度、30度、40度、50度、60度、70度、80度或90度。
在另一个例子中,在根据距离确定可移动平台的控制信息时,若控制信息是速度,则还可以根据预设常数和距离确定可移动平台的加速度,该可移动平台的加速度可以与该预设常数呈正相关、与该距离呈负相关。然后,还可以根据可移动平台的该加速度确定可移动平台的速度。进一步的,还可以根据可移动平台的该速度控制可移动平台进行运动,以使得可移动平台在接触目标物体之前,可移动平台的运动方向能够调整为与该目标物体至可移动平台的沿线方向之间的夹角为0度至90度。例如,该夹角可以为0度、10度、20度、30度、40度、50度、60度、70度、80度或90度。
在上述实施例中,预设常数可以为依据目标物体的类型确定。若目标物体的类型为预设第一类型(如第一物体,如用户),则预设常数可以为第一数值;若目标物体的类型为预设第二类型(如第二物体,如障碍物),则预设常数为第二数值;其中,该第一数值可以大于第二数值,且第一数值和第二数值均可以根据经验配置。显然,当目标物体是用户时,由于可移动平台的加速度与预设常数(即第一数值)呈正相关,因此,若第一数值比较大,则可以产生比较大的加速度,避免可移动平台接触到用户,从而更有效地保护到用户。而且,当可移动平台位于用户与障碍物之间时,若第一数值大于第二数值,在可移动平台与用户之间的距离和可移动平台与障碍物之间的距离相同或者类似时,则可移动平台与用户之间的加速度可以大于可移动平台与障碍物之间的加速度,从而也可以避免可移动平台接触到用户,更有效地保护到用户。
可选的,关于目标物体的类型,除了以第一物体和第二物体作为类型区分之外,在实际应用中,还可以采用其它分类标准,如生命物体与非生命物体,从而能够在目标物体的类型为生命物体时,能够通过距离阈值的不同设定而更有效地保护到生命物体,避免由于可移动平台的移动控制不及时而伤害到生命物体。
综上所述,在根据距离确定可移动平台的控制信息时,可以构建一个斥力场(即可以产生一个控制力),例如,可以通过如下公式来构建一个斥力场:
Figure BDA0002317680550000111
在该公式中,F可以表示该斥力场,mobstacle可以表示目标物体的质量,r可以表示构建的斥力场的半径,mdrone可以表示可移动平台的质量。其中,假设目标物体的质量mobstacle是一个较大的恒定值,G也是一个恒定值,则可以通过预设常数w来表示上述公式中的G·mobstacle
进一步的,可以利用上述斥力场确定可移动平台的加速度,例如,可以通过如下公式确定可移动平台的加速度:在该公式中,a表示可移动平台的加速度,w表示预设常数,d表示目标物体与可移动平台的距离。
其中,可移动平台的加速度与预设常数呈正相关、与距离呈负相关。当然,上述公式只是示例,对此不做限制。而且,若目标物体的类型为预设第一类型(如第一物体,如用户),则预设常数w为第一数值,若目标物体的类型为预设第二类型(如第二物体,如障碍物),则预设常数w为第二数值,且第一数值大于第二数值。
可选的,关于目标物体的类型,除了以第一物体和第二物体作为类型区分之外,在实际应用中,还可以采用其它分类标准,如生命物体与非生命物体,从而能够在目标物体的类型为生命物体时,能够通过距离阈值的不同设定而更有效地保护到生命物体,避免由于可移动平台的移动控制不及时而伤害到生命物体。
在一个例子中,在确定出可移动平台的加速度后,可以根据可移动平台的加速度控制可移动平台进行运动;或者,在确定出可移动平台的加速度后,可以根据可移动平台的加速度确定可移动平台的速度,对此确定方式不做限制,然后,可以根据可移动平台的速度控制可移动平台进行运动。
实施例4:
针对步骤102,在根据距离确定可移动平台的控制信息时,当距离不大于距离阈值时,则根据该距离确定可移动平台的控制信息,具体确定方式参见实施例3,在此不再赘述。显然,可以当距离不大于距离阈值时,才产生斥力场,从而根据距离确定可移动平台的控制信息,利用控制信息控制可移动平台进行运动,而距离大于距离阈值时,可以不产生斥力场,也就不需要根据距离确定可移动平台的控制信息,不需要利用控制信息控制可移动平台运动。
进一步的,在根据控制信息控制可移动平台进行运动之后,当距离大于距离阈值时,可以保持可移动平台的当前运动信息,也就是说,当距离大于距离阈值时,可以忽略斥力信息,不再产生斥力场,也就不再根据距离确定可移动平台的控制信息,不需要利用控制信息控制可移动平台进行运动。
在上述实施例中,距离阈值可以为依据目标物体的类型确定。若目标物体的类型为预设第三类型(如第一物体,如用户),则距离阈值可以为第三数值;若目标物体的类型为预设第四类型(如第二物体,如障碍物),则距离阈值可以为第四数值;其中,第三数值可以大于第四数值,且第三数值和第四数值均可以根据经验配置。
可选的,关于目标物体的类型,除了以第一物体和第二物体作为类型区分之外,在实际应用中,还可以采用其它分类标准,如生命物体与非生命物体,从而能够在目标物体的类型为生命物体时,能够通过距离阈值的不同设定而更有效地保护到生命物体,避免由于可移动平台的移动控制不及时而伤害到生命物体。
其中,在根据距离确定可移动平台的控制信息时,控制信息可以包括以下之一或任意组合:一个或者多个方向上的控制力、一个或者多个方向上的加速度、一个或者多个方向上的速度。在上述实施例中,以一个方向上的加速度,或一个方向上的速度为例,其它情况的处理流程类似,在此不再赘述。
实施例5:
针对步骤103,在根据控制信息控制可移动平台进行运动时,若目标物体是用于控制可移动平台运动的第一物体(如用户)时,则可以根据该控制信息控制可移动平台进行运动,以使得可移动平台在接触目标物体之前,可移动平台的运动方向能够调整为与目标物体至可移动平台的沿线方向之间的夹角为0度至90度,例如,二者之间的夹角可以为0度。
其中,对于第一物体的位置关系,则第一物体至可移动平台的沿线方向与可移动平台的当前运动方向之间的夹角为大于等于0度并小于等于90度。
参见图4A所示,目标物体是第一物体(如用户),可移动平台的运动方向与沿线方向(即目标物体至可移动平台的沿线方向)之间的夹角为0度至90度,图4A以夹角为0度为例。而且,从图4A中可以看出,第一物体至可移动平台的沿线方向,与可移动平台的当前运动方向之间的夹角为0度。
在根据控制信息控制可移动平台进行运动时,采用上述方式可以达到如下效果。首先,在启动可移动平台后,可移动平台采用巡航速度(该巡航速度可以预先设置)向方向1飞行,用户并未对可移动平台进行控制,由于可移动平台与用户之间的距离大于阈值。因此,斥力场可以忽略,可移动平台继续向方向1飞行。
然后,若用户需要控制可移动平台加速向方向1飞行,则用户移动到可移动平台的后方(如飞行方向的反方向),并向可移动平台移动。此时,可移动平台继续向方向1飞行,但由于用户的移动,可移动平台与用户之间的距离可以越来越小,当可移动平台与用户之间的距离小于阈值时,则斥力场将起到作用,此时,可以产生与可移动平台的当前运动方向相同的加速度,可移动平台速度逐渐增加地向方向1飞行,随着可移动平台与用户之间的距离越来越小,斥力场持续起到作用,此时,加速度进一步增大,可移动平台的速度也进一步增大,并继续向方向1飞行。此时,若用户不再向可移动平台移动,则随着可移动平台与用户之间的距离越来越大,当距离大于阈值时,就不再产生加速度,可移动平台采用当前的巡航速度继续向方向1飞行;或者,此时,若用户继续向可移动平台移动,当可移动平台与用户之间的距离不大于阈值时,会继续产生加速度,可移动平台加速向方向1飞行,一直到可移动平台与用户之间的距离大于阈值。
进一步的,第一物体的运动方向可以与可移动平台的运动方向相同,这样,当第一物体沿着该运动方向进行运动时,可以控制可移动平台也沿着该运动方向进行运动,实现可移动平台的控制,达到推动可移动平台的效果。
显然,在上述方式中,用户不需要使用控制终端,就可以实现对可移动平台的控制,从而简化用户的操作,提高用户的使用体验。
实施例6:
针对步骤103,在根据控制信息控制可移动平台进行运动时,若目标物体是用于阻碍可移动平台运动的第二物体(如障碍物)时,则根据该控制信息控制可移动平台进行运动,以使得可移动平台在接触目标物体之前,可移动平台的运动方向能够调整为与目标物体至可移动平台的沿线方向之间的夹角为0度至90度,例如,二者之间的夹角可以为90度。
其中,对于第二物体的位置关系,则第二物体至可移动平台的沿线方向与可移动平台的当前运动方向之间的夹角为大于90度并小于等于180度。
参见图4B和图4C所示,目标物体是第二物体(如障碍物),可移动平台的当前运动方向是朝向第二物体,在根据控制信息控制可移动平台进行运动后,可移动平台的调整后的运动方向与沿线方向(即目标物体至可移动平台的沿线方向)之间的夹角为0度至90度,在图4B中以夹角为0度为例,在图4C中以夹角为90度为例。而且,从图4B和图4C可以看出,第二物体至可移动平台的沿线方向,与可移动平台的当前运动方向之间的夹角为180度。
进一步的,由于可移动平台的调整后的运动方向与沿线方向之间的夹角为0度至90度,这样,可以使可移动平台沿着远离第二物体(如障碍物)的方向进行运动,如可移动平台反向运动,实现可移动平台的控制,达到弹开可移动平台的效果,实现对障碍物的绕行,在安全飞行的同时简化了操作。
在根据控制信息控制可移动平台进行运动时,采用上述方式可以达到图4D-图4G所示的效果。首先,可移动平台采用巡航速度向前飞行,由于可移动平台与障碍物(即第二物体)之间的距离大于阈值,因此,斥力场可以忽略,可移动平台继续向前飞行,参见图4D所示。然后,随着可移动平台向前飞行,可移动平台与障碍物之间的距离越来越小,当可移动平台与障碍物之间的距离小于阈值时,则斥力场将起到作用,此时,可以产生与可移动平台的当前运动方向相反的加速度,可移动平台速度逐渐降低地向前飞行,参见图4E所示。然后,随着可移动平台继续向前飞行,可移动平台与障碍物之间的距离越来越小,斥力场持续起到作用,此时,加速度进一步增大,在可移动平台向障碍物的方向的速度降低到0后,由于产生的反向加速度的作用,可移动平台可以反向加速折返向后飞行,参见图4F所示。然后,随着可移动平台向后飞行,可移动平台与障碍物之间的距离越来越大,此时,加速度慢慢减小,当可移动平台与障碍物之间的距离大于阈值时,斥力场可以忽略,即加速度为0,因此,可移动平台可以恢复巡航速度,保持当前的飞行方向,向后飞行,参见图4G所示。其中,对控制力或速度等控制信息的控制可以参照上述对加速度的控制流程,在此不再赘述。
综上所述,本实施例中,可以通过距离检测得到更加稳定的斥力场,使得航线规划更加顺畅,不会引起速度突变,并可以自动规划航线,以躲避障碍物,大大简化了操作,并提升了安全性能。能够感知周围的环境,探测移动方向上的障碍物,并通过构建斥力场,从而实现“视觉弹簧”的功能,能够在碰撞障碍物前,改变行进方向,且无需干预,自主规划行进路线,在安全飞行的同时大大简化了操作。上述方式是一种自主飞行模式,在优先考虑安全的情况下,自动导航规划路线,实现障碍物避让以及主动飞行,完成狭小空间内的顺畅飞行。
实施例7:
针对步骤103,在根据控制信息控制可移动平台进行运动时,若目标物体包括用于控制可移动平台运动的第一物体(如用户)和用于阻碍可移动平台运动的第二物体(如障碍物),根据控制信息控制可移动平台进行运动,以使得可移动平台在接触目标物体之前,可移动平台的运动方向能够调整为与目标物体至可移动平台的沿线方向(如目标物体至可移动平台的中心的沿线方向)之间的夹角为0度至90度。
其中,对于第一物体与可移动平台的位置关系,可以是第一物体至可移动平台的沿线方向与可移动平台的当前运动方向之间的夹角为大于等于0度并小于等于90度。例如,该夹角可以为0度、10度、20度、30度、40度、50度、60度、70度、80度或90度。
其中,对于第二物体与可移动平台的位置关系,可以是第二物体至可移动平台的沿线方向与可移动平台的当前运动方向之间的夹角为大于90度并小于等于180度。例如,该夹角可以为91度、100度、110度、120度、130度、140度、150度、160度、170度或180度。
在一个例子中,根据可移动平台与第一物体之间的距离,可以得到控制信息1,然后,根据控制信息1控制可移动平台进行运动,以使得可移动平台在接触第一物体之前,可移动平台的运动方向能够调整为与第一物体至可移动平台的沿线方向之间的夹角为0度至90度,具体确定方式参见实施例5。
进一步的,根据可移动平台与第二物体之间的距离,可以得到控制信息2,然后,根据控制信息2控制可移动平台进行运动,以使得可移动平台在接触第二物体之前,可移动平台的运动方向能够调整为与第二物体至可移动平台的沿线方向之间的夹角为0度至90度,具体确定方式参见实施例6。
综上所述,无论可移动平台、第一物体和第二物体三者是否共线,则可以使可移动平台的运动方向能够调整为与第一物体至可移动平台的沿线方向之间的夹角为0度至90度,并可以使可移动平台的运动方向能够调整为与第二物体至可移动平台的沿线方向之间的夹角为0度至90度,对此不再赘述。
例如,参见图4H所示,该第一物体能够使可移动平台的运动方向是方向1,而该第二物体能够使可移动平台的运动方向是方向2,在叠加该方向1和该方向2后,可移动平台最终的运动方向可以调整为方向3。显然,从图4H可以看出,该方向3与第一物体至可移动平台的沿线方向之间的夹角为0度至90度,该方向3与第二物体至可移动平台的沿线方向之间的夹角为0度至90度。
在一个例子中,当第一物体、第二物体、可移动平台三者共线时,根据控制信息控制可移动平台进行运动,以使得可移动平台在接触所述目标物体之前,可移动平台的运动方向能够调整为与目标物体至可移动平台的沿线方向之间的夹角为0度至90度,可以包括但不限于:可以根据控制信息控制可移动平台进行运动,以使得可移动平台暂停于第一物体与第二物体之间,即悬停于二者之间;或者,可以根据控制信息控制可移动平台进行运动,以使得可移动平台向第二物体运动,并在接触第二物体之前,可以悬停在第二物体面前;或者,可以根据控制信息控制可移动平台进行运动,以使得可移动平台向其它方向运动,如绕过第二物体并向第二物体的反方向运动。
例如,当第一物体、第二物体、可移动平台三者共线时,在根据控制信息控制可移动平台进行运动时,采用上述方式可以达到图4I-图4J所示的效果。首先,第一物体与可移动平台的距离较近,产生较大的斥力场,而第二物体与可移动平台的距离较远,产生较小的斥力场或者没有斥力场,因此,可以控制可移动平台向前运动,从而达到推到可移动平台的效果,参见图4I所示。然后,第二物体与可移动平台的距离越来越近,因此产生较大的斥力场,而第一物体由于控制可移动平台向前方运动,则第一物体与可移动平台的距离可以保持相对固定(第一物体也可以在不运动的情况下,与可移动平台的距离越来越远),产生的斥力场也相对问题,这样,由于两个斥力场的叠加作用,可以促使可移动平台悬停于第一物体与第二物体之间。或者,当第一物体、第二物体、可移动平台三者不共线时,由于两个斥力场的叠加作用,可以促使可移动平台反弹向斜后方向飞行,参见图4J所示。
实施例8:
针对步骤103,在根据控制信息控制可移动平台进行运动时,若目标物体是用于控制可移动平台运动的第一物体(如用户)时,则可以根据该控制信息控制可移动平台进行运动,以使得可移动平台在接触目标物体之前,可移动平台的运动方向能够调整为与目标物体至可移动平台的沿线方向之间的夹角为0度至90度可以包括但不限于:根据控制信息控制可移动平台与第一物体的距离不大于距离阈值。也就是说,在可移动平台向第一方向运动时,若第一物体向第二方向(如第一方向的反方向)运动,则可移动平台与第一物体之间的距离越来越远,当可移动平台与第一物体之间的距离大于距离阈值后,则可移动平台不再向第一方向运动,而是向第二方向运动,即可移动平台的运动方向与第一物体的运动方向相同,从而使得可移动平台与第一物体的距离在一恒定值,继而可以达到第一物体后退,可移动平台也后退的效果。
实施例9:
针对步骤103,在根据控制信息控制可移动平台进行运动时,若目标物体为多个,则上述控制信息还可以包括各个目标物体对应的控制信息,即存在多个控制信息。基于此,根据控制信息控制可移动平台进行运动,可以包括但不限于:将各个目标物体对应的控制信息进行融合,并根据融合结果控制可移动平台进行运动。例如,若控制信息是加速度,则可以将各个目标物体对应的加速度进行融合,如对各个目标物体对应的加速度进行矢量叠加,得到一个总加速度,将总加速度作为最终的加速度,根据总加速度控制可移动平台进行运动。又例如,若控制信息是速度,则可以将各个目标物体对应的速度进行融合,如对各个目标物体对应的速度进行矢量叠加,得到一个总速度,将总速度作为最终的速度,根据总速度控制可移动平台进行运动。
在一个例子中,可移动平台本身也有一个加速度,因此,在对各个目标物体对应的加速度进行矢量叠加,得到总加速度时,还可以将各个目标物体对应的加速度与可移动平台本身的加速度进行矢量叠加,得到一个总加速度。
在另一个例子中,可移动平台本身也有一个速度,因此,在对各个目标物体对应的速度进行矢量叠加,得到总速度时,还可以将各个目标物体对应的速度与可移动平台本身的速度进行矢量叠加,得到一个总速度。
实施例10:
基于与上述方法同样的发明构思,本发明实施例中还提供一种可移动平台,包括:存储器和处理器;参见图5所示,为可移动平台的结构示意图。
所述存储器,用于存储程序代码;所述处理器,用于调用所述程序代码,当所述程序代码被执行时,所述处理器用于执行以下操作:
确定目标物体与所述可移动平台的距离;
根据所述距离确定所述可移动平台的控制信息;
根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度。
优选的,所述目标物体包括用于控制所述可移动平台运动的第一物体;
所述处理器根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度时具体用于:根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度。
优选的,所述目标物体包括用于阻碍所述可移动平台运动的第二物体;
所述处理器根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度时具体用于:根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为90度。
优选的,所述目标物体包括用于控制所述可移动平台运动的第一物体和用于阻碍所述可移动平台运动的第二物体;
当所述第一物体、所述第二物体、所述可移动平台三者共线时,所述处理器根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度时具体用于:根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台暂停于所述第一物体与所述第二物体之间。
优选的,所述第一物体至所述可移动平台的沿线方向与所述可移动平台的当前运动方向之间的夹角为大于等于0度并小于等于90度。
优选的,所述第二物体至所述可移动平台的沿线方向与所述可移动平台的当前运动方向之间的夹角为大于90度并小于等于180度。
优选的,所述控制信息包括加速度;所述可移动平台在接触所述目标物体之前,所述加速度在第一方向上的分量能够调整为大于所述可移动平台在第二方向上的当前加速度,所述第一方向与所述第二方向相反,所述第二方向为所述可移动平台至所述第二物体的沿线方向。
优选的,所述处理器根据所述距离确定所述可移动平台的控制信息时具体用于:根据预设常数和所述距离确定所述可移动平台的加速度,所述可移动平台的加速度与所述预设常数呈正相关、与所述距离呈负相关;
所述处理器根据所述控制信息控制所述可移动平台进行运动时具体用于:根据所述可移动平台的加速度控制所述可移动平台进行运动。
优选的,所述控制信息包括速度;所述可移动平台在接触所述目标物体之前,所述速度在第一方向上的分量能够调整为大于所述可移动平台在第二方向上的当前速度,所述第一方向与所述第二方向相反,所述第二方向为所述可移动平台至所述第二物体的沿线方向。
优选的,所述处理器据所述距离确定所述可移动平台的控制信息时具体用于:根据预设常数和所述距离确定所述可移动平台的加速度,所述可移动平台的加速度与所述预设常数呈正相关、与所述距离呈负相关;
根据所述可移动平台的加速度确定所述可移动平台的速度;
所述处理器根据所述控制信息控制所述可移动平台进行运动时具体用于:根据所述可移动平台的速度控制所述可移动平台进行运动。
优选的,所述处理器根据所述距离确定所述可移动平台的控制信息时具体用于:当所述距离不大于距离阈值时,根据所述距离确定所述可移动平台的控制信息。
优选的,处理器根据所述控制信息控制所述可移动平台进行运动之后还用于:当所述距离大于距离阈值时,保持所述可移动平台的当前运动信息。
优选的,所述目标物体包括多个,所述控制信息包括各个所述目标物体对应的控制信息;所述处理器根据所述控制信息控制所述可移动平台进行运动时具体用于:将各个所述目标物体对应的控制信息进行融合;
根据融合结果控制所述可移动平台进行运动。
优选的,所述处理器确定目标物体与所述可移动平台的距离时具体用于:获取深度图,所述深度图包括与所述目标物体对应的物体区域;根据所述物体区域的深度信息确定所述目标物体与所述可移动平台的距离。
优选的,所述处理器在根据所述物体区域的深度信息确定所述目标物体与可移动平台的距离之前还用于:将所述深度图中的相似像素点进行聚合,得到连通区域;确定所述连通区域为与所述目标物体对应的物体区域。
优选的,所述处理器将所述深度图中的相似像素点进行聚合时具体用于:采用泛洪填充算法对所述深度图中的相似像素点进行聚合。
优选的,所述处理器根据所述物体区域的深度信息确定所述目标物体与所述可移动平台的距离时具体用于:获取所述物体区域的像素点的深度信息,并获取所述物体区域的像素点的深度置信度;根据所述像素点的深度信息和所述像素点的深度置信度,确定所述目标物体与所述可移动平台的距离。
优选的,所述处理器获取所述物体区域的像素点的深度置信度时具体用于:获取与所述深度图对应的视差图;从所述视差图中选取与所述物体区域的像素点对应的视差像素点;根据所述视差像素点的视差置信度确定所述物体区域的像素点的深度置信度。
优选的,所述处理器根据所述视差像素点的视差置信度确定所述物体区域的像素点的深度置信度时具体用于:根据所述视差像素点的视差置信度、所述物体区域的像素点的深度信息以及所述可移动平台的焦距、双目距离,确定所述物体区域的像素点的深度置信度。
优选的,所述处理器根据所述像素点的深度信息和所述像素点的深度置信度,确定所述目标物体与所述可移动平台的距离时具体用于:根据所述像素点的深度信息和所述像素点的深度置信度,基于滤波法确定所述目标物体与所述可移动平台的距离。
实施例11:
本发明实施例中还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机指令,所述计算机指令被执行时,实现上述可移动平台的控制方法。
上述实施例阐明的系统、装置、模块或单元,可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进,均应包含在本发明的权利要求范围之内。

Claims (59)

1.一种可移动平台的控制方法,其特征在于,所述方法包括:
确定目标物体与所述可移动平台的距离;
根据所述距离确定所述可移动平台的控制信息;
根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度。
2.根据权利要求1所述的方法,其特征在于,所述目标物体包括用于控制所述可移动平台运动的第一物体。
3.根据权利要求2所述的方法,其特征在于,所述根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度,包括:
根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度。
4.根据权利要求1所述的方法,其特征在于,所述目标物体包括用于阻碍所述可移动平台运动的第二物体。
5.根据权利要求4所述的方法,其特征在于,所述根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度,包括:
根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为90度。
6.根据权利要求1所述的方法,其特征在于,所述目标物体包括用于控制所述可移动平台运动的第一物体和用于阻碍所述可移动平台运动的第二物体。
7.根据权利要求6所述的方法,其特征在于,当所述第一物体、所述第二物体、所述可移动平台三者共线时,所述根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度,包括:
根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台暂停于所述第一物体与所述第二物体之间。
8.根据权利要求2或3或6或7所述的方法,其特征在于,所述第一物体至所述可移动平台的沿线方向与所述可移动平台的当前运动方向之间的夹角为大于等于0度并小于等于90度。
9.根据权利要求4至7中任一项所述的方法,其特征在于,所述第二物体至所述可移动平台的沿线方向与所述可移动平台的当前运动方向之间的夹角为大于90度并小于等于180度。
10.根据权利要求4至6中任一项所述的方法,其特征在于,所述控制信息包括加速度;
所述可移动平台在接触所述目标物体之前,所述加速度在第一方向上的分量能够调整为大于所述可移动平台在第二方向上的当前加速度,所述第一方向与所述第二方向相反,所述第二方向为所述可移动平台至所述第二物体的沿线方向。
11.根据权利要求10所述的方法,其特征在于,所述根据所述距离确定所述可移动平台的控制信息,包括:
根据预设常数和所述距离确定所述可移动平台的加速度,所述可移动平台的加速度与所述预设常数呈正相关、与所述距离呈负相关;
所述根据所述控制信息控制所述可移动平台进行运动,包括:
根据所述可移动平台的加速度控制所述可移动平台进行运动。
12.根据权利要求4至6中任一项所述的方法,其特征在于,所述控制信息包括速度;
所述可移动平台在接触所述目标物体之前,所述速度在第一方向上的分量能够调整为大于所述可移动平台在第二方向上的当前速度,所述第一方向与所述第二方向相反,所述第二方向为所述可移动平台至所述第二物体的沿线方向。
13.根据权利要求12所述的方法,其特征在于,所述根据所述距离确定所述可移动平台的控制信息,包括:
根据预设常数和所述距离确定所述可移动平台的加速度,所述可移动平台的加速度与所述预设常数呈正相关、与所述距离呈负相关;
根据所述可移动平台的加速度确定所述可移动平台的速度;
所述根据所述控制信息控制所述可移动平台进行运动,包括:
根据所述可移动平台的速度控制所述可移动平台进行运动。
14.根据权利要求11或13所述的方法,其特征在于,所述预设常数为依据所述目标物体的类型确定。
15.根据权利要求14所述的方法,其特征在于,若所述目标物体的类型为预设第一类型,则所述预设常数为第一数值;
若所述目标物体的类型为预设第二类型,则所述预设常数为第二数值;
其中,所述第一数值大于所述第二数值。
16.根据权利要求1至7中任一项所述的方法,其特征在于,所述根据所述距离确定所述可移动平台的控制信息,包括:
当所述距离不大于距离阈值时,根据所述距离确定所述可移动平台的控制信息。
17.根据权利要求16所述的方法,其特征在于,在所述根据所述控制信息控制所述可移动平台进行运动之后,所述方法还包括:
当所述距离大于距离阈值时,保持所述可移动平台的当前运动信息。
18.根据权利要求17所述的方法,其特征在于,所述距离阈值为依据所述目标物体的类型确定。
19.根据权利要求18所述的方法,其特征在于,若所述目标物体的类型为预设第三类型,则所述距离阈值为第三数值;
若所述目标物体的类型为预设第四类型,则所述距离阈值为第四数值;
其中,所述第三数值大于所述第四数值。
20.根据权利要求2或3或6或7所述的方法,其特征在于,所述根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度,包括:
根据所述控制信息控制所述可移动平台与所述第一物体的距离不大于距离阈值。
21.根据权利要求1至7中任一项所述的方法,其特征在于,所述目标物体包括多个,所述控制信息包括各个所述目标物体对应的控制信息;
所述根据所述控制信息控制所述可移动平台进行运动,包括:
将各个所述目标物体对应的控制信息进行融合;
根据融合结果控制所述可移动平台进行运动。
22.根据权利要求1至7中任一项所述的方法,其特征在于,所述确定目标物体与所述可移动平台的距离,包括:
获取深度图,所述深度图包括与所述目标物体对应的物体区域;
根据所述物体区域的深度信息确定所述目标物体与所述可移动平台的距离。
23.根据权利要求22所述的方法,其特征在于,在所述根据所述物体区域的深度信息确定所述目标物体与可移动平台的距离之前,所述方法还包括:
将所述深度图中的相似像素点进行聚合,得到连通区域;
确定所述连通区域为与所述目标物体对应的物体区域。
24.根据权利要求23所述的方法,其特征在于,所述将所述深度图中的相似像素点进行聚合,包括:
采用泛洪填充算法对所述深度图中的相似像素点进行聚合。
25.根据权利要求22所述的方法,其特征在于,所述根据所述物体区域的深度信息确定所述目标物体与所述可移动平台的距离,包括:
获取所述物体区域的像素点的深度信息,并获取所述物体区域的像素点的深度置信度;
根据所述像素点的深度信息和所述像素点的深度置信度,确定所述目标物体与所述可移动平台的距离。
26.根据权利要25所述的方法,其特征在于,所述获取所述物体区域的像素点的深度置信度,包括:
获取与所述深度图对应的视差图;
从所述视差图中选取与所述物体区域的像素点对应的视差像素点;
根据所述视差像素点的视差置信度确定所述物体区域的像素点的深度置信度。
27.根据权利要求26所述的方法,其特征在于,所述根据所述视差像素点的视差置信度确定所述物体区域的像素点的深度置信度,包括:
根据所述视差像素点的视差置信度、所述物体区域的像素点的深度信息以及所述可移动平台的焦距、双目距离,确定所述物体区域的像素点的深度置信度。
28.根据权利要求25所述的方法,其特征在于,所述根据所述像素点的深度信息和所述像素点的深度置信度,确定所述目标物体与所述可移动平台的距离,包括:
根据所述像素点的深度信息和所述像素点的深度置信度,基于滤波法确定所述目标物体与所述可移动平台的距离。
29.根据权利要求28所述的方法,其特征在于,所述滤波法包括卡尔曼滤波法。
30.一种可移动平台,其特征在于,包括:存储器和处理器;所述存储器,用于存储程序代码;所述处理器,用于调用所述程序代码,当所述程序代码被执行时,所述处理器用于执行以下操作:
确定目标物体与所述可移动平台的距离;
根据所述距离确定所述可移动平台的控制信息;
根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度。
31.根据权利要求30所述的可移动平台,其特征在于,所述目标物体包括用于控制所述可移动平台运动的第一物体。
32.根据权利要求31所述的可移动平台,其特征在于,所述处理器根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度时具体用于:
根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度。
33.根据权利要求30所述的可移动平台,其特征在于,所述目标物体包括用于阻碍所述可移动平台运动的第二物体。
34.根据权利要求33所述的可移动平台,其特征在于,所述处理器根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度时具体用于:
根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为90度。
35.根据权利要求30所述的可移动平台,其特征在于,所述目标物体包括用于控制所述可移动平台运动的第一物体和用于阻碍所述可移动平台运动的第二物体。
36.根据权利要求35所述的可移动平台,其特征在于,当所述第一物体、所述第二物体、所述可移动平台三者共线时,所述处理器根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度时具体用于:
根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台暂停于所述第一物体与所述第二物体之间。
37.根据权利要求31或32或35或36所述的可移动平台,其特征在于,所述第一物体至所述可移动平台的沿线方向与所述可移动平台的当前运动方向之间的夹角为大于等于0度并小于等于90度。
38.根据权利要求33至36中任一项所述的可移动平台,其特征在于,所述第二物体至所述可移动平台的沿线方向与所述可移动平台的当前运动方向之间的夹角为大于90度并小于等于180度。
39.根据权利要求33至35中任一项所述的可移动平台,其特征在于,所述控制信息包括加速度;
所述可移动平台在接触所述目标物体之前,所述加速度在第一方向上的分量能够调整为大于所述可移动平台在第二方向上的当前加速度,所述第一方向与所述第二方向相反,所述第二方向为所述可移动平台至所述第二物体的沿线方向。
40.根据权利要求39所述的可移动平台,其特征在于,所述处理器根据所述距离确定所述可移动平台的控制信息时具体用于:
根据预设常数和所述距离确定所述可移动平台的加速度,所述可移动平台的加速度与所述预设常数呈正相关、与所述距离呈负相关;
所述处理器根据所述控制信息控制所述可移动平台进行运动时具体用于:
根据所述可移动平台的加速度控制所述可移动平台进行运动。
41.根据权利要求33至35中任一项所述的可移动平台,其特征在于,所述控制信息包括速度;
所述可移动平台在接触所述目标物体之前,所述速度在第一方向上的分量能够调整为大于所述可移动平台在第二方向上的当前速度,所述第一方向与所述第二方向相反,所述第二方向为所述可移动平台至所述第二物体的沿线方向。
42.根据权利要求41所述的可移动平台,其特征在于,所述处理器据所述距离确定所述可移动平台的控制信息时具体用于:
根据预设常数和所述距离确定所述可移动平台的加速度,所述可移动平台的加速度与所述预设常数呈正相关、与所述距离呈负相关;
根据所述可移动平台的加速度确定所述可移动平台的速度;
所述处理器根据所述控制信息控制所述可移动平台进行运动时具体用于:
根据所述可移动平台的速度控制所述可移动平台进行运动。
43.根据权利要求40或42所述的可移动平台,其特征在于,所述预设常数为依据所述目标物体的类型确定。
44.根据权利要求43所述的可移动平台,其特征在于,若所述目标物体的类型为预设第一类型,则所述预设常数为第一数值;
若所述目标物体的类型为预设第二类型,则所述预设常数为第二数值;
其中,所述第一数值大于所述第二数值。
45.根据权利要求30至36中任一项所述的可移动平台,其特征在于,所述处理器根据所述距离确定所述可移动平台的控制信息时具体用于:
当所述距离不大于距离阈值时,根据所述距离确定所述可移动平台的控制信息。
46.根据权利要求45所述的可移动平台,其特征在于,所述处理器根据所述控制信息控制所述可移动平台进行运动之后还用于:
当所述距离大于距离阈值时,保持所述可移动平台的当前运动信息。
47.根据权利要求46所述的可移动平台,其特征在于,所述距离阈值为依据所述目标物体的类型确定。
48.根据权利要求47所述的可移动平台,其特征在于,若所述目标物体的类型为预设第三类型,则所述距离阈值为第三数值;
若所述目标物体的类型为预设第四类型,则所述距离阈值为第四数值;
其中,所述第三数值大于所述第四数值。
49.根据权利要求31或32或35或36所述的方法,其特征在于,所述处理器根据所述控制信息控制所述可移动平台进行运动,以使得所述可移动平台在接触所述目标物体之前,所述可移动平台的运动方向能够调整为与所述目标物体至所述可移动平台的沿线方向之间的夹角为0度至90度时具体用于:
根据所述控制信息控制所述可移动平台与所述第一物体的距离不大于距离阈值。
50.根据权利要求30至36中任一项所述的可移动平台,其特征在于,所述目标物体包括多个,所述控制信息包括各个所述目标物体对应的控制信息;
所述处理器根据所述控制信息控制所述可移动平台进行运动时具体用于:
将各个所述目标物体对应的控制信息进行融合;
根据融合结果控制所述可移动平台进行运动。
51.根据权利要求30至36中任一项所述的可移动平台,其特征在于,所述处理器确定目标物体与所述可移动平台的距离时具体用于:
获取深度图,所述深度图包括与所述目标物体对应的物体区域;
根据所述物体区域的深度信息确定所述目标物体与所述可移动平台的距离。
52.根据权利要求51所述的可移动平台,其特征在于,所述处理器在根据所述物体区域的深度信息确定所述目标物体与可移动平台的距离之前还用于:
将所述深度图中的相似像素点进行聚合,得到连通区域;
确定所述连通区域为与所述目标物体对应的物体区域。
53.根据权利要求52所述的可移动平台,其特征在于,所述处理器将所述深度图中的相似像素点进行聚合时具体用于:
采用泛洪填充算法对所述深度图中的相似像素点进行聚合。
54.根据权利要求51所述的可移动平台,其特征在于,所述处理器根据所述物体区域的深度信息确定所述目标物体与所述可移动平台的距离时具体用于:
获取所述物体区域的像素点的深度信息,并获取所述物体区域的像素点的深度置信度;
根据所述像素点的深度信息和所述像素点的深度置信度,确定所述目标物体与所述可移动平台的距离。
55.根据权利要求54所述的可移动平台,其特征在于,所述处理器获取所述物体区域的像素点的深度置信度时具体用于:
获取与所述深度图对应的视差图;
从所述视差图中选取与所述物体区域的像素点对应的视差像素点;
根据所述视差像素点的视差置信度确定所述物体区域的像素点的深度置信度。
56.根据权利要求55所述的可移动平台,其特征在于,所述处理器根据所述视差像素点的视差置信度确定所述物体区域的像素点的深度置信度时具体用于:
根据所述视差像素点的视差置信度、所述物体区域的像素点的深度信息以及所述可移动平台的焦距、双目距离,确定所述物体区域的像素点的深度置信度。
57.根据权利要求54所述的可移动平台,其特征在于,所述处理器根据所述像素点的深度信息和所述像素点的深度置信度,确定所述目标物体与所述可移动平台的距离时具体用于:
根据所述像素点的深度信息和所述像素点的深度置信度,基于滤波法确定所述目标物体与所述可移动平台的距离。
58.根据权利要求57所述的可移动平台,其特征在于,所述滤波法包括卡尔曼滤波法。
59.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令被执行时,实现权利要求1-29所述的可移动平台的控制方法。
CN201880039799.1A 2018-08-22 2018-08-22 可移动平台的控制方法、可移动平台及可读存储介质 Pending CN110770668A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/101630 WO2020037524A1 (zh) 2018-08-22 2018-08-22 可移动平台的控制方法、可移动平台及可读存储介质

Publications (1)

Publication Number Publication Date
CN110770668A true CN110770668A (zh) 2020-02-07

Family

ID=69328587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880039799.1A Pending CN110770668A (zh) 2018-08-22 2018-08-22 可移动平台的控制方法、可移动平台及可读存储介质

Country Status (2)

Country Link
CN (1) CN110770668A (zh)
WO (1) WO2020037524A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021217311A1 (zh) * 2020-04-26 2021-11-04 深圳市大疆创新科技有限公司 可移动平台及其控制方法、存储介质
WO2022188174A1 (zh) * 2021-03-12 2022-09-15 深圳市大疆创新科技有限公司 可移动平台、可移动平台的控制方法及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129224A1 (en) * 2011-11-21 2013-05-23 Microsoft Corporation Combined depth filtering and super resolution
US20160034040A1 (en) * 2014-07-29 2016-02-04 Sony Computer Entertainment Inc. Information processing device, information processing method, and computer program
CN106233219A (zh) * 2015-03-31 2016-12-14 深圳市大疆创新科技有限公司 移动平台操作系统及方法
US20170243355A1 (en) * 2016-02-23 2017-08-24 Inventec Appliances (Pudong) Corporation Method for providing obstacle avoidance using depth information of image and unmanned aerial vehicle
CN107223219A (zh) * 2016-09-26 2017-09-29 深圳市大疆创新科技有限公司 控制方法、控制设备和运载系统
CN107272681A (zh) * 2017-06-16 2017-10-20 深圳市可飞科技有限公司 自动调整移动平台与目标物体位置关系的方法及移动平台
CN107272682A (zh) * 2017-06-16 2017-10-20 深圳市可飞科技有限公司 移动平台自动规避碰撞的方法、系统及移动平台
US20180107226A1 (en) * 2016-10-17 2018-04-19 Mediatek Inc. Path planning method and related navigation device
CN108124472A (zh) * 2017-12-26 2018-06-05 深圳市道通智能航空技术有限公司 一种闪避障碍物的方法、装置及飞行器
US10003787B1 (en) * 2016-12-21 2018-06-19 Canon Kabushiki Kaisha Method, system and apparatus for refining a depth map
CN108196451A (zh) * 2017-12-29 2018-06-22 中国电子科技集团公司信息科学研究院 一种仿生鱼群避障行为控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10408936B2 (en) * 2016-03-11 2019-09-10 Raytheon Bbn Technologies Corp. LIDAR light fence to cue long range LIDAR of target drone
CN106586011A (zh) * 2016-12-12 2017-04-26 高域(北京)智能科技研究院有限公司 航拍无人飞行器的对准方法及其航拍无人飞行器

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129224A1 (en) * 2011-11-21 2013-05-23 Microsoft Corporation Combined depth filtering and super resolution
US20160034040A1 (en) * 2014-07-29 2016-02-04 Sony Computer Entertainment Inc. Information processing device, information processing method, and computer program
CN106233219A (zh) * 2015-03-31 2016-12-14 深圳市大疆创新科技有限公司 移动平台操作系统及方法
US20170243355A1 (en) * 2016-02-23 2017-08-24 Inventec Appliances (Pudong) Corporation Method for providing obstacle avoidance using depth information of image and unmanned aerial vehicle
CN107223219A (zh) * 2016-09-26 2017-09-29 深圳市大疆创新科技有限公司 控制方法、控制设备和运载系统
US20180107226A1 (en) * 2016-10-17 2018-04-19 Mediatek Inc. Path planning method and related navigation device
US10003787B1 (en) * 2016-12-21 2018-06-19 Canon Kabushiki Kaisha Method, system and apparatus for refining a depth map
CN107272681A (zh) * 2017-06-16 2017-10-20 深圳市可飞科技有限公司 自动调整移动平台与目标物体位置关系的方法及移动平台
CN107272682A (zh) * 2017-06-16 2017-10-20 深圳市可飞科技有限公司 移动平台自动规避碰撞的方法、系统及移动平台
CN108124472A (zh) * 2017-12-26 2018-06-05 深圳市道通智能航空技术有限公司 一种闪避障碍物的方法、装置及飞行器
CN108196451A (zh) * 2017-12-29 2018-06-22 中国电子科技集团公司信息科学研究院 一种仿生鱼群避障行为控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021217311A1 (zh) * 2020-04-26 2021-11-04 深圳市大疆创新科技有限公司 可移动平台及其控制方法、存储介质
WO2022188174A1 (zh) * 2021-03-12 2022-09-15 深圳市大疆创新科技有限公司 可移动平台、可移动平台的控制方法及存储介质

Also Published As

Publication number Publication date
WO2020037524A1 (zh) 2020-02-27

Similar Documents

Publication Publication Date Title
US10860039B2 (en) Obstacle avoidance method and apparatus and unmanned aerial vehicle
Saha et al. A real-time monocular vision-based frontal obstacle detection and avoidance for low cost UAVs in GPS denied environment
Peng et al. Path planning and obstacle avoidance for vision guided quadrotor UAV navigation
JP6985074B2 (ja) 自律型移動ロボット、移動制御方法、移動制御プログラム及びシステム
JP6324649B1 (ja) 検出システム、検出方法、及びプログラム
CN114510069A (zh) 飞行控制方法、设备、无人机及计算机可读存储介质
US10896520B2 (en) System and method for moment capturing
US10565863B1 (en) Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone
WO2021078003A1 (zh) 无人载具的避障方法、避障装置及无人载具
US20210325886A1 (en) Photographing method and device
KR20160024562A (ko) 복수의 uav를 이용한 스테레오 비전 시스템
CN110770668A (zh) 可移动平台的控制方法、可移动平台及可读存储介质
CN111512277A (zh) 信息处理装置、信息处理方法及程序
US10942331B2 (en) Control apparatus, lens apparatus, photographic apparatus, flying body, and control method
KR102194127B1 (ko) 멤스센서를 구비한 드론
US11303799B2 (en) Control device and control method
CN110036411B (zh) 生成电子三维漫游环境的装置和方法
Uchida et al. Image recognitions of collaborative drones' security controls for FPV systems
WO2021238743A1 (zh) 一种无人机飞行控制方法、装置及无人机
US20210112202A1 (en) Control apparatuses, mobile bodies, control methods, and programs
CN111684784B (zh) 图像处理方法和装置
US10969786B1 (en) Determining and using relative motion of sensor modules
CN108319295B (zh) 避障控制方法、设备及计算机可读存储介质
WO2020248155A1 (zh) 一种无人机的控制方法、终端、无人机及存储介质
US20200265607A1 (en) System and method for estimating device pose in a space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200207