CN117837156A - 可移动平台的控制方法、装置、可移动平台及存储介质 - Google Patents

可移动平台的控制方法、装置、可移动平台及存储介质 Download PDF

Info

Publication number
CN117837156A
CN117837156A CN202180101631.0A CN202180101631A CN117837156A CN 117837156 A CN117837156 A CN 117837156A CN 202180101631 A CN202180101631 A CN 202180101631A CN 117837156 A CN117837156 A CN 117837156A
Authority
CN
China
Prior art keywords
sensor
movable platform
view
fuselage
horn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180101631.0A
Other languages
English (en)
Inventor
高文良
林毅
杨振飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN117837156A publication Critical patent/CN117837156A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种可移动平台的控制方法、装置、可移动平台及计算机可读存储介质,其中,可移动平台中,第一传感器、第二传感器和第三传感器基本处于同一水平面,第一传感器与第三传感器具有重合的第一视野,第一视野用于观测可移动平台第一方向上的景物;第二传感器与第三传感器具有重合的第二视野,第二视野用于观测可移动平台第二方向上的景物;第一方向与第二方向不同;该控制方法包括:基于第一传感器和第三传感器分别采集的图像,获取第一方向的景物的深度信息(202);基于第二传感器和第三传感器分别采集的图像,获取第二方向的景物的深度信息(204);根据深度信息控制可移动平台在空间中运动(206)。

Description

可移动平台的控制方法、装置、可移动平台及存储介质 技术领域
本申请涉及可移动平台技术领域,具体而言,涉及一种可移动平台的控制方法、装置、可移动平台及计算机可读存储介质。
背景技术
随着技术的发展,如无人机、自动驾驶车辆、无人物流车或自动清洁设备等可移动平台越来越多被投入使用。通常,可移动平台上搭载有多种传感器,传感器可以对周围环境采集数据,可移动平台可以基于传感器采集的数据控制自身移动。而如何控制可移动平台在空间中安全地移动,是本领域一直关注的技术问题。
发明内容
有鉴于此,本申请提供一种可移动平台的控制方法、装置、可移动平台及计算机可读存储介质,以解决相关技术中问题可移动平台在空间中移动时安全性较差的技术问题。
第一方面,提供一种可移动平台的控制方法,所述可移动平台包括:至少三个传感器;
所述至少三个传感器中,第一传感器、第二传感器和第三传感器基本处于同一水平面;
所述第一传感器与所述第三传感器具有重合的第一视野,所述第一视野用于观测所述可移动平台第一方向上的景物;
所述第二传感器与所述第三传感器具有重合的第二视野,所述第二视野用于观测所述可移动平台第二方向上的景物;所述第一方向与所述第二方向不同;
所述方法包括:
基于所述第一传感器和所述第三传感器分别采集的图像,获取所述第一方向的景物的深度信息;
基于所述第二传感器和所述第三传感器分别采集的图像,获取所述第二方向的景物的深度信息;
根据所述深度信息控制所述可移动平台在空间中运动。
第二方面,提供一种可移动平台的控制方法,所述可移动平台包括机身和机臂,机臂自所述机身向外延伸,所述机臂用于安装所述可移动平台的动力系统;
所述机身搭载第一传感器和第二传感器;
所述第一传感器朝向所述可移动平台的侧方,所述第二传感器朝向所述可移动平台的下方;
部分所述机臂位于所述第一传感器的沿所述可移动平台的高度方向的视场角的下边界和所述第二传感器的沿所述可移动平台的高度方向的视场角的上边界之间;
所述方法包括:
基于所述第一传感器采集的图像和所述第二传感器采集的图像,获取所述可移动平台所处空间的景物的深度信息;
根据所述深度信息控制所述可移动平台在空间中运动。
第三方面,提供一种可移动平台的控制装置,所述可移动平台包括:至少三个传感器;
所述至少三个传感器中,第一传感器、第二传感器和第三传感器基本处于同一水平面;
所述第一传感器与所述第三传感器具有重合的第一视野,所述第一视野用于观测所述可移动平台第一方向上的景物;
所述第二传感器与所述第三传感器具有重合的第二视野,所述第二视野用于观测所述可移动平台第二方向上的景物;所述第一方向与所述第二方向不同;
所述装置包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的可移动平台的控制方法。
第四方面,提供一种可移动平台,所述可移动平台包括:至少三个传感器;
所述至少三个传感器中,第一传感器、第二传感器和第三传感器基本处于同一水平面;
所述第一传感器与所述第三传感器具有重合的第一视野,所述第一视野用于观测所述可移动平台第一方向上的景物;
所述第二传感器与所述第三传感器具有重合的第二视野,所述第二视野用于观测所述可移动平台第二方向上的景物;所述第一方向与所述第二方向不同;
所述可移动平台还包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时第一方面所述的可移动平台的控制方法。
第五方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有若干计算机指令,所述计算机指令被执行时实现第一方面所述的可移动平台的控制方法的步骤。
第六方面,提供一种可移动平台的控制装置,所述可移动平台包括机身和机臂,机臂自所述机身向外延伸,所述机臂用于安装所述可移动平台的动力系统;
所述机身搭载第一传感器和第二传感器;
所述第一传感器朝向所述可移动平台的侧方,所述第二传感器朝向所述可移动平台的下方;
部分所述机臂位于所述第一传感器的沿所述可移动平台的高度方向的视场角的下边界和所述第二传感器的沿所述可移动平台的高度方向的视场角的上边界之间;
所述装置包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现第二方面所述的可移动平台的控制方法。
第七方面,提供一种可移动平台,所述可移动平台包括机身和机臂,机臂自所述机身向外延伸,所述机臂用于安装所述可移动平台的动力系统;
所述机身搭载第一传感器和第二传感器;
所述第一传感器朝向所述可移动平台的侧方,所述第二传感器朝向所述可移动平台的下方;
部分所述机臂位于所述第一传感器的沿所述可移动平台的高度方向的视场角的下边界和所述第二传感器的沿所述可移动平台的高度方向的视场角的上边界之间;
所述可移动平台还包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现第二方面所述的可移动平台的控制方法。
第八方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有若干计算机指令,所述计算机指令被执行时实现第二方面所述的可移动平台的控制方法的步骤。
应用本申请提供的方案,设计了可移动平台搭载视场角较大的传感器,一个传感器可以与至少两个传感器的视野具有重合,即一个传感器可以兼顾至少两个方向。因此,一个传感器可以与至少两个传感器分别构成双目视觉系统,从而可以减少可移动平台上搭载的视觉传感器的数量,同时又能保证较大的视野范围覆盖,同时采用双目视觉系统也保障了深度信息的精度,因此可以控制可移动平台安全移动。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例的一种无人飞行系统的示意性架构图。
图1B是本申请一个实施例的无人机搭载视觉传感器的示意图。
图2A是本申请根据一示例性实施例示出的一种可移动平台搭载的传感器的示意图。
图2B是本申请根据一示例性实施例示出的可移动平台的控制方法的流程图。
图3A是本申请一个实施例的另一种无人机结构示意图。
图3B是本申请一个实施例的可移动平台周围视野范围内的深度信息的感知示意图。
图3C是本申请一个实施例的四旋翼无人机的结构示意图。
图3D是本申请一个实施例中示出的无人机传感器的一种视野范围示意图。
图3E是本申请一个实施例中另一种可移动平台的传感器的视野范围示意图。
图3F1和图3F2分别是本申请一个实施例中第四传感器的视野范围示意图。
图4A是本申请根据一示例性实施例示出的可移动平台的控制方法的流程图。
图4B、图4C和图4D分别是本实施例的一种无人机的侧视图、俯视图和正视图。
图5是本申请根据一示例性实施例示出的可移动平台的控制装置的结构图。
图6是本申请根据一示例性实施例示出的可移动平台的结构图。
图7是本申请根据一示例性实施例示出的可移动平台的控制装置的结构图。
图8是本申请根据一示例性实施例示出的可移动平台的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。
为了控制可移动平台在空间中安全地移动,可移动平台可以通过自身搭载的传感器来观测所处空间中景物的信息,这些传感器包括有激光雷达、毫米波雷达、视觉传感器、红外传感器或TOF(Time of flight,飞行时间)传感器等等。实际应用中基于不同的产品、使用场景及需求等,不同可移动平台搭载有不同类型的传感器。
本实施例的可移动平台可以指代能够移动的任何设备。其中,可移动平台可以包括但不限于陆地交通工具、水中交通工具、空中交通工具以及其他类型的机动载运工具。作为例子,可移动平台可以包括载客载运工具和/或无人机(UnmannedAerial Vehicle,UAV)等,可移动平台的移动可以包括飞行。
以无人机为例,图1A是本申请实施例的一种无人飞行系统的示意性架构图,本实施例以旋翼无人机(rotorcraft)为例进行说明,无人飞行系统100可以包括无人机110、显示设备130和遥控设备140。其中,无人机110可以包括动力系统150、飞行控制系统160、机架和承载在机架上的云台120。无人机110可以与遥控设备140和显示设备130进行无线通信。
机架可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂,一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接,用于在无人机110着陆时起支撑作用。
动力系统150可以包括一个或多个电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个动力电机152,其中动力电机152连接在电子调速器151与螺旋桨153之间,动力电机152和螺旋桨153设置在无人机110的机臂上;电子调速器151用于接收飞行控制系统160产生的驱动信号,并根据驱动信号提供驱动电流给动力电机152,以控制动力电机152的转速。动力电机152用于驱动螺旋桨旋转,从而为无人机110的飞行提供动力,该动力使得无人机110能够实现一个或多个自由度的运动。在某些实施例中,无人机110可以围绕一个或多个旋转轴旋转。例如,上述旋转轴可以包括横滚轴(Roll)、偏航轴(Yaw)和俯仰轴(pitch)。应理解,电机152可以是直流电机,也可以交流电机。另外,电机152可以是无刷电机,也可以是有刷电机。
飞行控制系统160可以包括飞行控制器161和传感系统162。传感系统162的作用之一是用于测量无人机的姿态信息,姿态信息即无人机110在空间的位置信息和状态信息,例如,三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感器系统还可以有其他作用,例如可用于采集无人机周围环境的环境观测数据。传感系统162例如可以包括如下一种或多种:陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit,IMU)、视觉传感器、红外传感器、TOF(Time of Flight,飞行时间)传感器、激光雷达、毫米波雷达、热成像仪、全球导航卫星系统、气压计等等。例如,全球导航卫星系统可以是全球定位系统(Global Positioning System,GPS)。飞行控制器161用于控制无人机110的飞行,例如,可以根据传感系统162测量的姿态信息控制无人机110的飞行。应理解,飞行控制器161可以按照预先编好的程序指 令对无人机110进行控制,也可以通过响应来自遥控设备140的一个或多个遥控信号对无人机110进行控制。
云台120可以包括电机122。云台可用于携带负载,例如拍摄装置123等。飞行控制器161可以通过电机122控制云台120的运动。可选的,作为另一实施例,云台120还可以包括控制器,用于通过控制电机122来控制云台120的运动。应理解,云台120可以独立于无人机110,也可以为无人机110的一部分。应理解,电机122可以是直流电机,也可以是交流电机。另外,电机122可以是无刷电机,也可以是有刷电机。还应理解,云台可以位于无人机的顶部,也可以位于无人机的底部。
拍摄装置123例如可以是照相机或摄像机等用于捕获图像的设备,拍摄装置123可以与飞行控制器通信,并在飞行控制器的控制下进行拍摄。本实施例的拍摄装置123至少包括感光元件,该感光元件例如为互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)传感器或电荷耦合元件(Charge-coupled Device,CCD)传感器。可以理解,拍摄装置123也可直接固定于无人机110上,从而云台120可以省略。
显示设备130位于无人飞行系统100的地面端,可以通过无线方式与无人机110进行通信,并且可以用于显示无人机110的姿态信息。另外,还可以在显示设备130上显示拍摄装置123拍摄的图像。应理解,显示设备130可以是独立的设备,也可以集成在遥控设备140中。
遥控设备140位于无人飞行系统100的地面端,可以通过无线方式与无人机110进行通信,用于对无人机110进行远程操纵。
应理解,上述对于无人飞行系统各组成部分的命名仅是出于标识的目的,并不应理解为对本申请的实施例的限制。
在一些场景中,如消费级无人机等可移动平台,可以搭载视觉传感器实现避障功能,避障功能通常采用单目视觉系统和/或双目视觉系统实现。其中,单目视觉系统通常是采用一个相机在不同位置采集多个图像,利用同一物体在多个图像中的变化来确定物体的深度信息。而双目视觉系统,是利用两个相机组成双目,基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息,即可以利用两个相机组成双目来完成对某一方向的景物的深度信息感知。基于此,可移动平台可以获取到视觉传感器采集的图像来感知传感器视野内景物的深度信息,来保障可移动平台的避障功能,使得可移动平台能够安全移动。
可移动平台的视觉感知系统各功能中,感知避障失效会直接造成安全问题,而感知避障的有效性,一方面受限于感知方案的探测能力、探测精度和最大探测距离。另外一方面,飞行器的感知系统构型,也会对于系统的鲁棒性有直接影响。以无人机为例,避障作为基础功能,在保证无人机的操作安全不摔机的同时,还可以带来其他可用户操作体验上的提升:更加放心的使用智能功能、更加灵活的操作方式、更加流畅的操作体验等等。一些视觉感知无人机,在感知避障上的主要短板是,避障生效的范围较小,感知盲区死角较多,导致存在避障失效摔机的可能,存在由于避障能力不足无法智能飞行的可能。
如图1B所示,是本申请一个实施例的无人机搭载视觉传感器的示意图,本实施 例中的无人机,采用机体坐标系为例进行说明,机体坐标系与无人机固联,坐标系符合右手法则,原点在无人机重心处,X轴指向无人机机头前进方向,Y轴由原点指向无人机右侧,Z轴方向根据X、Y轴由右手法则确定。该无人机的前向和后向分别使用独立的双目视觉系统,其左向和右向分别使用独立的单目视觉系统;由图1B可知,该方案在机身水平方向上设计有六个传感器,但在无人机机身四周还是存在较多盲区,且左向和右向的单目视觉系统的精度较双目视觉系统略差。
基于普通相机的视场角的限制,使用双目视觉系统获取环视四个方向的深度信息时,每个方向需要有两个双目相机,即每个方向配置两个相机,这两个相机的视野重合,各个方向的双目相机独立控制,因此,若要实现可移动平台水平方向上360°的全向感知,可移动平台通常至少要使用八个可独立控制的相机。在一些场景中,如无人机或自动清洁设备等可移动平台又具有小型化和低成本的要求,因此,如何低成本又能保障避障精度,是可移动平台领域亟待解决的技术问题。
基于此,本实施例方案中,设计了可移动平台搭载视场角较大的传感器,一个传感器可以与至少两个传感器的视野具有重合,即一个传感器可以兼顾至少两个方向。因此,一个传感器可以与至少两个传感器分别构成双目视觉系统,从而可以减少可移动平台上搭载的视觉传感器的数量,同时又能保证较大的视野范围覆盖,同时采用双目视觉系统也保障了深度信息的精度,因此可以控制可移动平台安全移动。接下来通过一些实施例进行说明。
本实施例的所述可移动平台可以包括:至少三个传感器;所述至少三个传感器中,第一传感器、第二传感器和第三传感器基本处于同一水平面;所述第一传感器与所述第三传感器具有重合的第一视野,所述第一视野用于观测所述可移动平台第一方向上的景物;所述第二传感器与所述第三传感器具有重合的第二视野,所述第二视野用于观测所述可移动平台第二方向上的景物;所述第一方向与所述第二方向不同。
如图2A所示,是本申请根据一示例性实施例示出的一种可移动平台搭载的传感器的示意图。图2A中所示的实施例中,作为示例性的,可移动平台的平台本体为矩形,在矩形的四个夹角位置搭载四个传感器,各传感器的视场角均为180°,且一个传感器与两个传感器分别双目视觉系统。可以理解,实际应用中,可移动平台的构型有多种形式,其搭载的传感器的视场角、数量和搭载位置等均可以有多种实现方式,一个传感器也可以与两个以上传感器构成多个双目视觉系统;例如,可以根据可移动平台的构型、传感器的视场角、可移动平台所需要观测的方向等因素综合设计,本实施例对此不进行限定。
如图2A所示,可移动平台上搭载的四个传感器为传感器C、传感器D、传感器E和传感器F。作为例子,前述的第一传感器、第二传感器和第三传感器以传感器D、传感器F和传感器C为例,该传感器C的视场角为180°,其镜头的主光轴为区域C1和区域C2之间的射线,其视野范围包括由区域C1和区域C2共同构成的视野范围。同理,其他三个传感器的视野范围如图2A所示。
其中,所述第一传感器、第二传感器和第三传感器处于同一平面,采用机体坐标系,可移动平台本体所处的水平面可以是x轴与y轴构成的平面,所述第一传感器、第二传感器和第三传感器设置于可移动平台上,所述第一传感器、第二传感器和第三传感器所处的平面与可移动平台本体所处的水平面平行。因此,可移动平台移动过程 中,无论以何种方向移动,所述第一传感器、第二传感器和第三传感器均可观测到可移动平台的水平方向的范围。
本实施例的传感器C,可以与传感器D构成双目视觉系统,传感器C的视野范围中区域C1与传感器D的视野范围中区域D1交叉的区域,即两者重合的第一视野,在图2A中采用斜线段进行示意。第一视野用于观测所述可移动平台第一方向上的景物;所述第二视野用于观测所述可移动平台第二方向上的景物;所述第一方向与所述第二方向不同。
该传感器C与传感器F构成双目视觉系统,传感器C的视野范围中区域C2与传感器F的视野范围中区域F2交叉的区域,即两者重合的第二视野,在图2A中采用斜线段进行示意。
由此可见,传感器C可以分别与传感器D和传感器F构成双目视觉系统;即,传感器C采集的图像与传感器D采集的图像中,分别朝向相同方向的部分,可以用于双目视觉处理;传感器C采集的图像与传感器F采集的图像中,分别朝向相同方向的部分,可以用于双目视觉处理。也即是,传感器C可以兼顾两个方向,因此可以将传感器得到的图像分割成两部分,具体的分割方式可以根据需要而确定,例如图2A示出的例子中可以是平均分成左右两部分;或者是采用与其他传感器重合的视野部分,如分割出第一视野部分和第二视野部分,即图2A中区域C1与区域D1交叉的部分,以及区域C2与F2交叉的部分;还可以是与其他传感器重合的视野中的部分,如第一视野的部分以及第二视野的部分等等。因此,传感器C采集的图像,其中一部分与传感器D采集图像的一部分组成双目图像,其中另一部分与传感器F采集图像的一部分组成双目图像。
基于上述设计,如图2B所示,是本申请根据一示例性实施例示出的可移动平台的控制方法的流程图,该方法可包括以下步骤:
在步骤202中,基于所述第一传感器和所述第三传感器分别采集的图像,获取所述第一方向的景物的深度信息;
在步骤204中,基于所述第二传感器和所述第三传感器分别采集的图像,获取所述第二方向的景物的深度信息;
在步骤206中,根据所述深度信息控制所述可移动平台在空间中运动。
本实施例中,第三传感器分别与第一传感器和第二传感器构成双目视觉系统,而第一视野与第二视野分别观测不同的第一方向和第二方向,因此,可移动平台可以基于所述第一传感器和所述第三传感器分别采集的图像,获取所述第一方向的景物的深度信息,还可以基于所述第二传感器和所述第三传感器分别采集的图像,获取所述第二方向的景物的深度信息,根据所述深度信息可以控制所述可移动平台在空间中安全运动。其中,获取深度信息的方式,可以采用双目视觉方式获得。
在一些例子中,可移动平台上的传感器的数量可以是三个或更多个,实际应用中可以根据需要确定,例如可以根据可移动平台的构型、传感器的视场角、可移动平台所需要观测的方向等因素综合设计,本实施例对此不进行限定。其中,所述可移动平台中有至少三个传感器中基本处于同一平面,其他传感器是否与这三个传感器基本处于同一平面,可以根据需要进行配置,本实施例对此不进行限定,可选的,三个传感器或更多个传感器基本处于同一平面均可,各个传感器均具体上述“一个传感器与至 少两个传感器具有重合视野”特点,相关的实现方式均在本申请所覆盖的范围内。
其中,第一传感器、第二传感器和第三传感器在可移动平台上的搭载位置基本处于同一平面即可,各传感器的搭载位置可以允许有较小的偏差。实际应用中,所述至少三个传感器在可移动平台上的搭载位置,也可以根据可移动平台的构型、传感器的视场角、可移动平台所需要观测的方向等因素综合设计,只需要将第一传感器、第二传感器和第三传感器基本处于同一平面,使得这三个传感器能够在该平面上观测可移动平台周围的环境信息即可。
针对上述传感器的搭载数量,作为例子,可以根据可移动平台的构型,如可移动平台的形状或大小进行配置,或者还可以结合可移动平台的应用场景及观测需求来配置。例如,可移动平台越大,希望传感器能够覆盖更大的视野范围,则可以配置数量更多的传感器,这些传感器基本处于同一水平面,每个传感器与至少两个其他传感器具有重合的视野,基于此,相对于相关技术,可显著地减少可移动平台搭载的传感器的数量。以图2A和3A为例,图3A是本实施例的另一种无人机结构示意图,其以四个传感器为例,其中任意三个传感器均可构成前述的第一传感器、第二传感器和第三传感器,通过上述设计,只需要四个传感器即可覆盖到可移动平台外侧、可移动平台本体所在平面的水平方向上的全部视野,即能水平环视可移动平台外侧。
针对上述传感器的搭载位置,作为例子,可以基于可移动平台上其他部件的搭载位置,在可移动平台本体上选取某个平面搭载所述第一传感器、第二传感器和第三传感器,根据需要,可以选取使所述第一传感器、第二传感器或第三传感器中任一的视野范围未被其他部件遮挡,或者尽量较少地被其他部件遮挡的位置来搭载上述传感器。或者,还可以结合可移动平台的构型来确定。
针对上述传感器的搭载方式,在一些例子中,所述第一传感器、所述第二传感器、所述第三传感器均位于所述可移动平台的侧部,朝向所述可移动平台的机身外侧,使得所述第一传感器、所述第二传感器、所述第三传感器可观测到可移动平台的机身外侧的环境信息。以图2A和图3A为例,传感器C、传感器D和传感器F均朝向所述可移动平台的机身外侧。
如图3A所示,在一些例子中,所述可移动平台包括机身;所述传感器设置在所述机身头部与所述机身侧部的转角位置,或所述机身尾部与所述机身侧部的转角位置。作为例子,图3A中机身大致呈矩形,机身头部和尾部分别与侧部的转角位置搭载了传感器,即传感器C和传感器D分别搭载在机身头部与机身侧部的转角位置,传感器E和传感器F分别搭载在机身头部与机身侧部的转角位置,各传感器均朝向所述可移动平台的机身外侧,通过上述设计,可以利用较少数量的传感器,为可移动平台提供了机身外侧较大的视野范围。
实际应用中,传感器的朝向设计可以根据需要进行配置,例如,所述传感器的主光轴,与所述传感器的沿所述机身头部至所述机身尾部的方向的第一轴线的夹角不为零;所述传感器的主光轴,与所述传感器的沿所述机身的两个侧部的方向的第二轴线的夹角不为零。如图2A所示,以传感器C为例,其主光轴即为区域C1和区域C2之间的射线,以传感器C为顶点,主光轴与沿所述机身头部至所述机身尾部的方向的第一轴线的夹角不为零,主光轴与沿所述机身的两个侧部的方向的第二轴线的夹角不为零,通过上述设计,可以使各个传感器能配合达到水平环视可移动平台外侧的效果。
在另一些例子中,第一传感器与第三传感器重合的第一视野的大小,可以与第二传感器与第三传感器重合的第二视野的大小可以相同,也可以不同,即第三传感器的朝向可以根据需要偏向其中任一传感器。
在一些例子中,所述至少三个传感器的视野范围,可以在水平方向上共同构成360°的视野范围,该水平方向是指可移动平台本体的水平方向,即可移动平台所在平面的水平方向,如图2A和3A所示,各个传感器的视野范围组合后,能够覆盖到可移动平台外侧水平方向上的全部视野,例如,能水平环视可移动平台外侧。
针对上述传感器的视场角的设计,根据需要可以采用较大视场角的传感器,作为例子,视场角可以大于90°,采用大于90°的视场角,可以使可移动平台通过较少的传感器来实现较大的视野覆盖。实际应用中,还可以根据需要设计其他的视场角,作为例子,以四个传感器为例,出于使各个传感器的视场范围组合后能够水平环视可移动平台外侧的目的,视场角需要大于90°,具体的可根据传感器与其他两个传感器所需要重合的视野的大小来确定,与其他传感器所需要重合的视野越大,则视场角需要越大,而传感器的视场角越大,其生产成本越高,可选的,视场角可以大于或等于150°,或者,从90°至180°左右也是可选的,例如,视场角180°左右的成本可接受,效费比基本满足产品化要求,其量产难度也较低,因此,可以在控制成本的情况下,使可移动平台上的传感器可以与其他两个传感器具有较大的重合视野,通过重合的视野可以获取到精度较高的深度信息。
针对上述传感器的类型,作为例子,可以采用鱼眼相机等视场角较大的相机。本实施例中第三传感器需要与第一传感器和第二传感器均具有视野重合,而鱼眼相机的视场角较大,因此可以通过较少数量的传感器实现上述设计目的。
实际应用中,针对不同可移动平台的构型,接下来提供另一些可提升深度信息感知精度的实施例。例如,前述实施例,传感器可与其他传感器组合双目视觉系统以获取深度信息;在另一些例子中,任一传感器还可采用单目视觉系统以获取深度信息,基于此,所述第一方向的景物的深度信息时,还通过所述第一传感器在不同位置采集的多个图像和/或所述第三传感器在不同位置采集的多个图像获取到。也即是,每个传感器可采用单目视觉结合双目视觉的方式,来获取更多的深度信息。
仍以图3A为例,所述可移动平台包括机身,所述机身包括头部、尾部,以及所述头部至所述尾部之间的第一侧部和第二侧部,所述第一侧部和所述第二侧部相对设置;所述第一传感器设置在所述机身头部与所述第一侧部的转角位置,所述第二传感器设置在所述机身尾部与所述第二侧部的转角位置,所述第三传感器设置在所述机身头部与所述第二侧部的转角位置。
可移动平台前行方向即机身头部所朝方向,基于动力考虑,为了减少阻力及稳定控制移动等原因,可移动平台的机身头部的宽度小于任一侧部的长度,即机身头部较短,而两个侧部较长。而机身上转角位置设置有传感器,在机身头部方向和机身侧部方向的深度信息的感知距离将有不同。由前述双目视觉系统的原理可知,其是利用两个相机组成双目,基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像。而上述机身的构型,导致第一传感器与第三传感器两者的间距,小于与第二传感器与第三传感器两者的间距,因此,第一传感器与第三传感器构成的双目视觉系统的观测距离,会小于第二传感器与第三传感器构成的双目视觉系统的观测距离。
因此,为了增大观测距离,获取视野范围内更多的深度信息,本实施例中,所述方法还可包括:基于所述第三传感器采集的图像,获取所述第一方向的景物的深度信息;其中,基于所述第三传感器采集的图像获取所述第一方向的景物的深度信息的方式,不同于基于所述第一传感器和所述第三传感器分别采集的图像获取所述第一方向的景物的深度信息的方式。例如,可以基于所述第三传感器采集的图像,采用单目视觉的方式来获取所述第一方向的景物的深度信息。可以理解,在另一些例子中,机身尾部的宽度也小于任一侧部的长度,此种情况下,设置于机身尾部与侧部转角位置的传感器,也可应用上述实施例。
如图3B所示,是图3A所示实施例的可移动平台采用上述实施例后,在可移动平台周围视野范围内的深度信息的感知示意图,在机身两侧方向,可以采用纯双目的方式感知深度信息,在机身头部和机身尾部方向,可以采用纯双目和纯单目相结合的方式来感知更多的深度信息。
在一些例子中,如无人机等可移动平台,可移动平台包括有机身,所述机身连接有机臂,所述机臂自所述机身向外延伸,所述机臂安装有动力系统,驱动可移动平台在空间中运动。如图3C所示,以四旋翼无人机为例,该无人机包括机臂302,机臂与机身301连接,其连接方式可以包括固定连接或可活动连接,可活动连接可包括可折叠连接或可拆卸连接等方式。其中,无人机在空间中运动时,机臂302可如图3C所示处于伸展状态,所述机臂302自所述机身301向外延伸,机臂302远离机身301的一端可设置动力系统303,其中,机臂远离机身的一端所设置的动力系统,可以包括前述的动力系统中的螺旋桨、电机或电调中的一种或多种,动力系统中的某些组件也可未设置在机臂中,例如电调根据其他需要可以设置与机身内。
如图3C所示,还可以结合机身和机臂来考虑传感器的设置位置。作为例子,机臂的一端与机身连接,机臂的另一端安装有动力系统,例如,机臂的另一端安装有电机,电机连接有螺旋桨。
在一些例子中,所述传感器可以设置在所述机臂的远离所述机身的一端,从而减少机臂对传感器视野的干扰,传感器可以观测到机身至机臂之间,以及机臂外侧等范围。
其中,机臂的两端可以处于同一水平面,也可以处于不同水平面,例如,机臂与机身连接的一端所处的水平面,位于所述机臂另一端所处水平面之下,即机臂相对机身向外并向上延伸;或者,如图3C中所示,机臂与机身连接的一端所处的水平面,位于所述机臂另一端所处水平面之上,即机臂相对机身向外并向下延伸。
为了减少机臂对传感器的视野造成遮挡,本实施例中,至少部分所述机臂位于所述第一传感器、第二传感器和第三传感器所处的平面之下,从而可以减少机臂对传感器视野的遮挡;其中,可以是部分机臂位于所述第一传感器、第二传感器和第三传感器所处的平面之下;也可以是如图3C所示,其中图3C中示出了传感器304,机臂全部位于所述第一传感器、第二传感器和第三传感器所处的平面之下。
如图3D所述,是本实施例中示出的无人机传感器的一种视野范围示意图,该图例是无人机的主视图,即无人机由机头向机尾做正投影得到的视图。图3D以传感器C和传感器D为例,传感器C的视野范围的边界是CM1和CM3,其视野范围是CM1-CM3,机臂上安装的动力系统的上表面,即螺旋桨的上表面是CM2,机臂位于 传感器C和传感器D所处的平面之下,即机臂位于CD所连接的平面;传感器C的视野范围内只有小部分被机臂遮挡,传感器具有较大的可靠观测范围。
由上述实施例可见,可移动平台设置的第一传感器、第二传感器和第三传感器所处,能够以较少的数量实现较大的视野范围覆盖,还能通过双目视觉获取到可靠丰富的深度信息。实际应用中,一些可移动平台对可移动平台下方也具有一定的观测要求,基于此,在一些例子中,所述可移动平台可包括第四传感器,所述第四传感器朝向所述可移动平台的下方;基于此,通过第四传感器的设计,可以观测到可移动平台,因此,所述方法还包括:基于所述第四传感器采集的图像,获取所述可移动平台的下方的景物的深度信息。
本实施例中,第四传感器的设置位置,可基于可移动平台的构型及可移动平台上其他部件的设置来设计,只需要第四传感器朝向所述可移动平台的下方,能够补充可移动平台下方的视野范围即可。
其中,第四传感器朝向所述可移动平台的下方,根据需要也可以有多种实现方式,例如,可以是第四传感器的主光轴垂直向下,也可以是并非垂直向下的设计,第四传感器具有一定的视场角,只要有部分视野范围朝向可移动平台下方即可。另外,第四传感器的数量可以根据可移动平台的构型和大小灵活选择,本实施例对此不进行限定。作为例子,所述可移动平台包括至少两个所述第四传感器,由于传感器的视场角的限制,所述至少两个传感器可以沿所述机身头部至尾部的方向排列设置,从而可以提供可移动平台下方,从所述机身头部至尾部的方向的视野。
实际应用中,由于第四传感器朝向可移动平台的底部,在一些场景中,可移动平台可能会遮挡住可移动平台下方的光线,导致可移动平台下方的环境亮度较弱,基于此,在一些例子中,所述可移动平台还可包括照明组件,所述照明组件朝向所述可移动平台的下方,因此,所述照明组件可以为第四传感器提供较好的环境亮度,使得第四传感器可以采集到包含有丰富图像信息的图像,因此可移动平台可以基于第四传感器采集的图像,获取到丰富可靠的深度信息,从而保障可移动平台的安全移动。
其中,照明组件的设置位置和数量可以根据需要有多种实现方式,例如,可以设置在可移动平台机身头部方向,或者,可以靠近第四传感器设置,或者,在有至少两个第四传感器的情况下,所述照明组件设置在至少两个所述第四传感器之间,从而可以通过较少数量的照明组件,为第四传感器提供较好的环境亮度,使第四传感器可以较好采集可移动平台下方的图像。
实际应用中,可以根据可移动平台的构型及可移动平台上其他组件的位置,配置第四传感器的多种不同实现方式,例如第四传感器的视场角的设置等。仍以图3D为例,其中,机臂位于所述第一传感器、第二传感器和第三传感器所处的平面之下,但传感器的视野范围内有小部分被机臂遮挡,而无人机还设置有第四传感器,即图中的传感器O1,该传感器O1的视野范围的边界是N1和N2,其仅仅只考虑解决下可移动平台下方的视野覆盖,而可移动平台实际上仍然存在一些不可靠的观测区域和盲区,例如,不可靠的观测区域CM2-CM3,其是传感器C中被机臂遮挡的视野,而机臂的下表面存在盲区P。而惯常思路中,第四传感器作为可移动平台的下视传感器,仅考虑可移动平台下方方向。
与惯常的传感器用于下视的作用不同,本实施例中第四传感器的设置还考虑了机 臂、第一传感器、第二传感器和第三传感器的位置关系及盲区;本实施例中,所述第四传感器的沿所述可移动平台的高度方向的视场角的上边界与所述机臂的下表面重合或相交。本实施例可以理解为,第四传感器的视野范围,尽可能地与机臂靠近,以补充机臂下的视野。其中,本实施例的可移动平台的高度方向,是指可移动平台在空间中运动,与地面的高度不同所导致的高度方向;而在同一高度下,前后左右移动是水平方向。
其中,所述至少三个传感器中的任一传感器的沿所述可移动平台的高度方向的视场角的下边界与所述动力系统的部分相交,和/或,所述的至少三个传感器中的任一传感器的沿所述可移动平台的高度方向的视场角的下边界与所述机臂的部分相交;
或者是,所述第四传感器的沿所述可移动平台的高度方向的视场角的上边界与所述动力系统的部分相交,和/或,所述第四传感器的沿所述可移动平台的高度方向的视场角的上边界与所述机臂的部分相交。
本实施例中,重合与相交均是可选的实现方式,重合方式下,机臂未出现在第四传感器的视野范围内,相交方式下,部分机臂可出现在第四传感器的视野范围内。如图3E所示,是本实施例中另一种可移动平台的传感器的视野范围示意图,该图例是无人机的主视图,相对于图3D,本实施例中,第四传感器(其设置在图中的O1位置)的沿所述可移动平台的高度方向的视场角的上边界(图中线段O1N1或线段O1N2)与机臂的下表面重合,使得第四传感器能够向可移动平台提供机臂下表面的视野范围(即图中O1N1-O1N2的区域)。
在另一些例子中,以第四传感器为顶点,所述第四传感器的沿所述机身的头部至所述机身的尾部的方向的视场角,小于或等于沿所述机身的侧部方向的视场角。结合其他附图进行说明,如图3F1至图3F2所示,是本实施例中另一种第四传感器的视野范围示意图,本实施例中,图3F1是主视图,其示出了沿可移动平台的高度方向,第四传感器的沿所述机身两侧方向的第一视场角,该第一视场角也即是以第四传感器为顶点,所述第四传感器的沿所述机身两侧方向的视场角。图3F2是侧视图,其示出了沿可移动平台的高度方向,第四传感器的沿所述机身头部至尾部方向的第二视场角,该第二视场角也即是以第四传感器为顶点,所述第四传感器的沿所述机身头部至机身尾部方向的视场角,其中,第一视场角大于第二视场角。
基于此,传感器通常具有两个方向的视场角,若两个视场角的大小不同,可移动平台沿机身两侧方向希望被更多地覆盖到以补充机身侧部盲区,通过上述设计,使得第四传感器即可观测到可移动平台的下方,还能提供机臂周围或机臂下方的视野,从而减少了可移动平台的盲区。
在另一些例子中,所述可移动平台包括双目传感器,所述可移动平台移动时,所述双目传感器朝向所述可移动平台的上方;所述方法还包括:根据所述双目传感器采集的图像,获取在所述可移动平台的上方的景物的深度信息。通过上述双目传感器的设置,其为可移动平台提供了上方的视野范围,因此可以获取在所述可移动平台的上方的景物的深度信息。其中,双目传感器的设置位置和数量可以根据实际需要确定,例如可以是一对双目相机,也可以多对双目相机;设置位置可以包括可移动平台本体的顶部,或者内嵌于可移动平台本体内并朝向可移动平台上方,朝向可以是主光轴垂直向上,也可以并非垂直向上等等,本实施例对此不进行限定。
针对可移动平台侧部的盲区,本说明书还提供了另一种可移动平台的控制方法,以图3C所示,所述可移动平台包括机身301和机臂302,机臂302自所述机身301向外延伸,所述机臂302用于安装所述可移动平台的动力系统303;
所述机身搭载第一传感器304和第二传感器(图3C中未示出);
所述第一传感器304朝向所述可移动平台的侧方,所述第二传感器朝向所述可移动平台的下方;
部分所述机臂位于所述第一传感器的沿所述可移动平台的高度方向的视场角的下边界和所述第二传感器的沿所述可移动平台的高度方向的视场角的上边界之间。
如图4A所示,是本申请根据一示例性实施例示出的可移动平台的控制方法的流程图,包括如下步骤:
在步骤402中,基于所述第一传感器采集的图像和所述第二传感器采集的图像,获取所述可移动平台所处空间的景物的深度信息;
在步骤404中,根据所述深度信息控制所述可移动平台在空间中运动。
在一些例子中,所述第一传感器的沿所述可移动平台的高度方向的视场角的下边界与所述动力系统的部分相交,和/或,与所述机臂的部分相交;所述第二传感器的沿所述可移动平台的高度方向的视场角的上边界与所述动力系统的部分相交,和/或,与所述机臂的部分相交。
在一些例子中,第二传感器可以朝向所述可移动平台的下方,根据需要,可以是第四传感器的主光轴垂直向下,也可以是并非垂直向下的设计,第二传感器具有一定的视场角,只要有部分视野范围朝向可移动平台下方即可。
本实施例中,所述第二传感器的沿所述可移动平台的高度方向的视场角的上边界与所述机臂的下表面重合或相交。本实施例可以理解为,第四传感器的视野范围,尽可能地与机臂靠近,以补充机臂下的视野。
在一些例子中,所述可移动平台包括机身;
所述第一传感器设置在所述机身的头部与所述机身的侧部的转角位置,或所述机身的尾部与所述机身的侧部的转角位置。
在一些例子中,所述可移动平台包括机身;
所述第一传感器的主光轴,与所述第一传感器的沿所述机身头部至所述机身尾部的方向的第一轴线的夹角不为零;或,
所述第一传感器的主光轴,与所述第一传感器的沿所述机身的两个侧部的方向的夹角不为零。
在一些例子中,所述可移动平台包括机身,所述机身连接有机臂,所述第一传感器设置在所述机臂远离所述机身的一端。
接下来再通过一实施例说明本申请方案,一些无人机在感知避障上的主要短板是,避障生效的范围较小,感知盲区死角较多。导致存在避障失效摔机的可能,存在由于避障不够智能切出智能飞行的可能。持续以来,受限于成本、实现难度等工程问题,全向感知避障主要存在于学术界。全向感知的实现,有三个主要的方向,即:使用全向相机,但这类相机通常只有较低的空间分辨率,无法完成精确感知;使用尽可能广角的视觉传感器尽可能多的完成对空间的感知,通过12个感知摄像头实现了全向感知;使用更多的视觉传感器尽可能多的完成对空间的感知,使视觉传感器转动起来, 单个视觉传感器覆盖更大的空间范围。但无论哪个方向,在消费级无人机对于尺寸、外观的限制下,传感器的摆放位置都有较大限制,故需要重新进行构型设计、折叠方式调整、结构外形预估等。同时,无论结构设计如何,受限于FOV,以上方法总是存在一定的盲区,同时螺旋桨的遮挡都无法避免,如何在有螺旋桨遮挡的情况下,实现较好的深度图感知,也是一个需要进行关注的方向。在现有的四旋翼无人机的情况下,将双目往高处放置是一个可行的方案,但会带来额外的结构要求。
本实施例提出一种针对在消费级无人机具有的尺寸约束下的,具备无死角全向感知的无人机感知方案;该方案具有完整的无死角全向感知覆盖,仅仅使用8个视觉传感器即可完成所有方向稳定可靠的双目观测,同时没有死角,解决了机身、机臂、桨叶结构对于视觉系统的遮挡问题。本申请使用的感知深度信息的实施例,省去了计算大FOV鱼眼深度图以及直接使用鱼眼深度图建模的庞大计算量,无需使用高性能的计算芯片,也降低了对于功耗、散热的要求。
如图4B、图4C和图4D所示,是本实施例的一种无人机的侧视图、俯视图和正视图,其示出了本实施例视觉传感器的视野范围;本实施例的视觉传感器在无人机上布置方式如下:
使用两种相机模组:
鱼眼相机,例如水平FOV 185度,垂直FOV 140度的相机等;
广角相机,例如水平FOV 105度,垂直FOV 90度等;
在无人机的左前、右前、左右、右后四个角布置四个鱼眼相机,鱼眼相机光轴与无人机机头轴线夹角为-45度、45度、135度、225度;在无人机的下方沿着前后方向部署一对鱼眼相机,光轴垂直向下;在无人机的上方布置一对广角相机,光轴垂直向上。
不同方向的感知方式为:
上方向感知:由一对普通广角双目实现单方向的立体感知;
水平方向感知:由四个鱼眼相机实现水平方向360度的立体感知;
下方向感知:由一对鱼眼相机实现接近半球级别的单方向的立体感知;
在水平方向,飞机左前、右前、左后、右后各一个较大FOV的鱼眼相机,四个相机覆盖整个视界构成水平全向感知。前后方向无遮挡,左右方向无遮挡,但基线远大于前后方向,有较大的感知距离。
本实施例使用四个鱼眼相机覆盖全向,鱼眼相机成本较高,但180度FOV的鱼眼相机成本可接受,效费比基本满足产品化要求。180度FOV的鱼眼相机量产难度较低,相对于更大FOV的镜头,成本把控更容易。
虽然左右方向存在一定的遮挡,但由于机身侧部具有更大的基线长度,约为三倍于机身头部的前向视觉,所以可以在三倍的距离探测到障碍物并建立地图。
在前后方向上,为了达到与左右方向相匹配的观测距离,通过单目视觉系统补齐前后观测距离的缺失。
本实施例的无人机的左右方向上,没有盲区;同时,由于下视鱼眼相机的可靠观测范围与环视的可靠观测范围相交,机臂和桨叶结构遮挡导致的不可靠观测距离很小,仅仅集中于机身附近。基于此,实现了无死角全向感知系统。
上述实施例的具体实现过程可参考前述实施例的描述,本实施例再次不在进行赘 述。
上述方法实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在图像处理的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图5所示,为实施本实施例可移动平台的控制装置500的一种硬件结构图,除了图5所示的处理器501、以及存储器502之外,实施例中用于实施本图像处理方法的图像处理设备,通常根据该图像处理设备的实际功能,还可以包括其他硬件,对此不再赘述。
本实施例中,所述处理器501执行所述计算机程序时实现以下步骤:
基于所述第一传感器和所述第三传感器分别采集的图像,获取所述第一方向的景物的深度信息;
基于所述第二传感器和所述第三传感器分别采集的图像,获取所述第二方向的景物的深度信息;
根据所述深度信息控制所述可移动平台在空间中运动。
所述可移动平台包括机身和机臂,所述机身与所述机臂连接;所述至少三个传感器搭载在所述机身上;
所述机臂用于安装所述可移动平台的动力系统,其中,至少部分所述机臂位于所述第一传感器、第二传感器和第三传感器所处的平面之下。
在一些例子中,所述第一传感器、所述第二传感器、所述第三传感器均位于所述可移动平台的侧部,朝向所述可移动平台的机身外侧。
在一些例子中,所述可移动平台包括第四传感器,所述第四传感器朝向所述可移动平台的下方;
所述处理器还执行:
基于所述第四传感器采集的图像,获取所述可移动平台的下方的景物的深度信息。
在一些例子中,以第四传感器为顶点,所述第四传感器的沿所述机身的头部至所述机身的尾部的方向的视场角,小于或等于沿所述机身的侧部方向的视场角。
在一些例子中,所述第四传感器的沿所述可移动平台的高度方向的视场角的上边界与所述机臂的下表面重合或相交。
在一些例子中,所述可移动平台包括至少两个所述第四传感器,所述至少两个传感器沿所述机身头部至尾部的方向排列设置。
在一些例子中,所述可移动平台还包括照明组件,所述照明组件朝向所述可移动平台的下方。
在一些例子中,所述照明组件设置在至少两个所述第四传感器之间。
在一些例子中,所述第一方向的景物的深度信息时,还通过所述第一传感器在不同位置采集的多个图像和/或所述第三传感器在不同位置采集的多个图像获取到。
在一些例子中,所述可移动平台包括机身,所述机身包括头部、尾部,以及所述头部至所述尾部之间的第一侧部和第二侧部,所述第一侧部和所述第二侧部相对设置;
所述第一传感器设置在所述机身头部与所述第一侧部的转角位置,所述第二传感器设置在所述机身尾部与所述第二侧部的转角位置,所述第三传感器设置在所述机身头部与所述第二侧部的转角位置;
所述机身头部的宽度小于任一侧部的长度;
所述方法还包括:
基于所述第三传感器采集的图像,获取所述第一方向的景物的深度信息;
其中,基于所述第三传感器采集的图像获取所述第一方向的景物的深度信息的方式,不同于基于所述第一传感器和所述第三传感器分别采集的图像获取所述第一方向的景物的深度信息的方式。
在一些例子中,所述至少三个传感器的视野范围,在水平方向上共同构成360°的视野范围。
在一些例子中,所述可移动平台包括机身;
所述传感器设置在所述机身头部与所述机身侧部的转角位置,或所述机身尾部与所述机身侧部的转角位置。
在一些例子中,所述可移动平台包括机身;
所述传感器的主光轴,与所述传感器的沿所述机身头部至所述机身尾部的方向的第一轴线的夹角不为零;或,
所述传感器的主光轴,与所述传感器的沿所述机身的两个侧部的方向的第二轴线的夹角不为零。
在一些例子中,所述可移动平台包括机身,所述机身连接有机臂,所述机臂自所述机身向外延伸,所述传感器设置在所述机臂的远离所述机身的一端。
在一些例子中,所述传感器的水平视场角大于90°。
在一些例子中,所述传感器包括:鱼眼相机。
在一些例子中,所述可移动平台包括双目传感器,所述可移动平台移动时,所述双目传感器朝向所述可移动平台的上方;
所述处理器还执行:
根据所述双目传感器采集的图像,获取在所述可移动平台的上方的景物的深度信息。
如图6所示,本实施例还提供一种可移动平台,所述可移动平台600包括:至少三个传感器;
所述至少三个传感器中,第一传感器601、第二传感器602和第三传感器603基本处于同一水平面;
所述第一传感器与所述第三传感器具有重合的第一视野,所述第一视野用于观测所述可移动平台第一方向上的景物;
所述第二传感器与所述第三传感器具有重合的第二视野,所述第二视野用于观测所述可移动平台第二方向上的景物;所述第一方向与所述第二方向不同;
所述可移动平台还包括处理器604、存储器605、存储在所述存储器上可被所述处理器执行的计算机程序;
所述可移动平台还包括有动力系统606;
所述处理器执行所述计算机程序时实现如下步骤:
基于所述第一传感器和所述第三传感器分别采集的图像,获取所述第一方向的景物的深度信息;
基于所述第二传感器和所述第三传感器分别采集的图像,获取所述第二方向的景 物的深度信息;
根据所述深度信息控制所述可移动平台在空间中运动。
所述可移动平台包括机身和机臂,所述机身与所述机臂连接;所述至少三个传感器搭载在所述机身上;
所述机臂用于安装所述可移动平台的动力系统,其中,至少部分所述机臂位于所述第一传感器、第二传感器和第三传感器所处的平面之下。
在一些例子中,所述第一传感器、所述第二传感器、所述第三传感器均位于所述可移动平台的侧部,朝向所述可移动平台的机身外侧。
在一些例子中,所述可移动平台包括第四传感器,所述第四传感器朝向所述可移动平台的下方;
所述处理器还执行:
基于所述第四传感器采集的图像,获取所述可移动平台的下方的景物的深度信息。
在一些例子中,以第四传感器为顶点,所述第四传感器的沿所述机身的头部至所述机身的尾部的方向的视场角,小于或等于沿所述机身的侧部方向的视场角。
在一些例子中,所述第四传感器的沿所述可移动平台的高度方向的视场角的上边界与所述机臂的下表面重合或相交。
在一些例子中,所述可移动平台包括至少两个所述第四传感器,所述至少两个传感器沿所述机身头部至尾部的方向排列设置。
在一些例子中,所述可移动平台还包括照明组件,所述照明组件朝向所述可移动平台的下方。
在一些例子中,所述照明组件设置在至少两个所述第四传感器之间。
在一些例子中,所述第一方向的景物的深度信息时,还通过所述第一传感器在不同位置采集的多个图像和/或所述第三传感器在不同位置采集的多个图像获取到。
在一些例子中,所述可移动平台包括机身,所述机身包括头部、尾部,以及所述头部至所述尾部之间的第一侧部和第二侧部,所述第一侧部和所述第二侧部相对设置;
所述第一传感器设置在所述机身头部与所述第一侧部的转角位置,所述第二传感器设置在所述机身尾部与所述第二侧部的转角位置,所述第三传感器设置在所述机身头部与所述第二侧部的转角位置;
所述机身头部的宽度小于任一侧部的长度;
所述方法还包括:
基于所述第三传感器采集的图像,获取所述第一方向的景物的深度信息;
其中,基于所述第三传感器采集的图像获取所述第一方向的景物的深度信息的方式,不同于基于所述第一传感器和所述第三传感器分别采集的图像获取所述第一方向的景物的深度信息的方式。
在一些例子中,所述至少三个传感器的视野范围,在水平方向上共同构成360°的视野范围。
在一些例子中,所述可移动平台包括机身;
所述传感器设置在所述机身头部与所述机身侧部的转角位置,或所述机身尾部与所述机身侧部的转角位置。
在一些例子中,所述可移动平台包括机身;
所述传感器的主光轴,与所述传感器的沿所述机身头部至所述机身尾部的方向的第一轴线的夹角不为零;或,
所述传感器的主光轴,与所述传感器的沿所述机身的两个侧部的方向的第二轴线的夹角不为零。
在一些例子中,所述可移动平台包括机身,所述机身连接有机臂,所述机臂自所述机身向外延伸,所述传感器设置在所述机臂的远离所述机身的一端。
在一些例子中,所述传感器的水平视场角大于90°。
在一些例子中,所述传感器包括:鱼眼相机。
在一些例子中,所述可移动平台包括双目传感器,所述可移动平台移动时,所述双目传感器朝向所述可移动平台的上方;
所述处理器还执行:
根据所述双目传感器采集的图像,获取在所述可移动平台的上方的景物的深度信息。
如图7所示,本实施例还提供另一种可移动平台的控制装置,所述可移动平台包括机身和机臂,机臂自所述机身向外延伸,所述机臂用于安装所述可移动平台的动力系统;
所述机身搭载第一传感器和第二传感器;
所述第一传感器朝向所述可移动平台的侧方,所述第二传感器朝向所述可移动平台的下方;
部分所述机臂位于所述第一传感器的沿所述可移动平台的高度方向的视场角的下边界和所述第二传感器的沿所述可移动平台的高度方向的视场角的上边界之间;
所述装置包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
基于所述第一传感器采集的图像和所述第二传感器采集的图像,获取所述可移动平台所处空间的景物的深度信息;
根据所述深度信息控制所述可移动平台在空间中运动。
在一些例子中,所述可移动平台包括机身;
所述第一传感器设置在所述机身的头部与所述机身的侧部的转角位置,或所述机身的尾部与所述机身的侧部的转角位置。
在一些例子中,所述可移动平台包括机身;
所述第一传感器的主光轴,与所述第一传感器的沿所述机身头部至所述机身尾部的方向的第一轴线的夹角不为零;或,
所述第一传感器的主光轴,与所述第一传感器的沿所述机身的两个侧部的方向的夹角不为零。
在一些例子中,所述可移动平台包括机身,所述机身连接有机臂,所述第一传感器设置在所述机臂远离所述机身的一端。
如图8所示,本实施例还提供一种可移动平台,所述可移动平台800包括机身801和机臂802,机臂自所述机身向外延伸,所述机臂用于安装所述可移动平台的动力系统803;
所述机身搭载第一传感器8011和第二传感器8012;
所述第一传感器8011朝向所述可移动平台的侧方,所述第二传感器8012朝向所述可移动平台的下方;
部分所述机臂位于所述第一传感器的沿所述可移动平台的高度方向的视场角的下边界和所述第二传感器的沿所述可移动平台的高度方向的视场角的上边界之间;
所述可移动平台还包括处理器804、存储器805、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
基于所述第一传感器采集的图像和所述第二传感器采集的图像,获取所述可移动平台所处空间的景物的深度信息;
根据所述深度信息控制所述可移动平台在空间中运动。
在一些例子中,所述可移动平台包括机身;
所述第一传感器设置在所述机身的头部与所述机身的侧部的转角位置,或所述机身的尾部与所述机身的侧部的转角位置。
在一些例子中,所述可移动平台包括机身;
所述第一传感器的主光轴,与所述第一传感器的沿所述机身头部至所述机身尾部的方向的第一轴线的夹角不为零;或,
所述第一传感器的主光轴,与所述第一传感器的沿所述机身的两个侧部的方向的夹角不为零。
在一些例子中,所述可移动平台包括机身,所述机身连接有机臂,所述第一传感器设置在所述机臂远离所述机身的一端。
本说明书实施例还提供一种计算机可读存储介质,所述可读存储介质上存储有若干计算机指令,所述计算机指令被执行时实任一实施例所述可移动平台的控制方法的步骤。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体 意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明实施例所提供的方法和装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (28)

  1. 一种可移动平台的控制方法,其特征在于,所述可移动平台包括:至少三个传感器;
    所述至少三个传感器中,第一传感器、第二传感器和第三传感器基本处于同一水平面;
    所述第一传感器与所述第三传感器具有重合的第一视野,所述第一视野用于观测所述可移动平台第一方向上的景物;
    所述第二传感器与所述第三传感器具有重合的第二视野,所述第二视野用于观测所述可移动平台第二方向上的景物;所述第一方向与所述第二方向不同;
    所述方法包括:
    基于所述第一传感器和所述第三传感器分别采集的图像,获取所述第一方向的景物的深度信息;
    基于所述第二传感器和所述第三传感器分别采集的图像,获取所述第二方向的景物的深度信息;
    根据所述深度信息控制所述可移动平台在空间中运动。
  2. 根据权利要求1所述的方法,其特征在于,所述可移动平台包括机身和机臂,所述机身与所述机臂连接;所述至少三个传感器搭载在所述机身上;
    所述机臂用于安装所述可移动平台的动力系统,其中,至少部分所述机臂位于所述第一传感器、第二传感器和第三传感器所处的平面之下。
  3. 根据权利要求1或2所述的方法,其特征在于,所述第一传感器、所述第二传感器、所述第三传感器均位于所述可移动平台的侧部,朝向所述可移动平台的机身外侧。
  4. 根据权利要求1或2所述的方法,其特征在于,所述可移动平台包括第四传感器,所述第四传感器朝向所述可移动平台的下方;
    所述方法还包括:
    基于所述第四传感器采集的图像,获取所述可移动平台的下方的景物的深度信息。
  5. 根据权利要求4所述的方法,其特征在于,以第四传感器为顶点,所述第四传感器的沿所述机身的头部至所述机身的尾部的方向的视场角,小于或等于沿所述机身的侧部方向的视场角。
  6. 根据权利要求4所述的方法,其特征在于,所述第四传感器的沿所述可移动平台的高度方向的视场角的上边界与所述机臂的下表面重合或相交。
  7. 根据权利要求4所述的方法,其特征在于,所述可移动平台包括至少两个所述第四传感器,所述至少两个传感器沿所述机身头部至尾部的方向排列设置。
  8. 根据权利要求4或7所述的方法,其特征在于,所述可移动平台还包括照明组件,所述照明组件朝向所述可移动平台的下方。
  9. 根据权利要求8所述的方法,其特征在于,所述照明组件设置在至少两个所述第四传感器之间。
  10. 根据权利要求1所述的方法,其特征在于,所述第一方向的景物的深度信息时,还通过所述第一传感器在不同位置采集的多个图像和/或所述第三传感器在不同位 置采集的多个图像获取到。
  11. 根据权利要求1或10所述的方法,其特征在于,所述可移动平台包括机身,所述机身包括头部、尾部,以及所述头部至所述尾部之间的第一侧部和第二侧部,所述第一侧部和所述第二侧部相对设置;
    所述第一传感器设置在所述机身头部与所述第一侧部的转角位置,所述第二传感器设置在所述机身尾部与所述第二侧部的转角位置,所述第三传感器设置在所述机身头部与所述第二侧部的转角位置;
    所述机身头部的宽度小于任一侧部的长度;
    所述方法还包括:
    基于所述第三传感器采集的图像,获取所述第一方向的景物的深度信息;
    其中,基于所述第三传感器采集的图像获取所述第一方向的景物的深度信息的方式,不同于基于所述第一传感器和所述第三传感器分别采集的图像获取所述第一方向的景物的深度信息的方式。
  12. 根据权利要求1所述的方法,其特征在于,所述至少三个传感器的视野范围,在水平方向上共同构成360°的视野范围。
  13. 根据权利要求1所述的方法,其特征在于,所述可移动平台包括机身;
    所述传感器设置在所述机身头部与所述机身侧部的转角位置,或所述机身尾部与所述机身侧部的转角位置。
  14. 根据权利要求1所述的方法,其特征在于,所述可移动平台包括机身;
    所述传感器的主光轴,与所述传感器的沿所述机身头部至所述机身尾部的方向的第一轴线的夹角不为零;或,
    所述传感器的主光轴,与所述传感器的沿所述机身的两个侧部的方向的第二轴线的夹角不为零。
  15. 根据权利要求1所述的方法,其特征在于,所述可移动平台包括机身,所述机身连接有机臂,所述机臂自所述机身向外延伸,所述传感器设置在所述机臂的远离所述机身的一端。
  16. 根据权利要求1所述的方法,其特征在于,所述传感器的水平视场角大于90°。
  17. 根据权利要求1所述的方法,其特征在于,所述传感器包括:鱼眼相机。
  18. 根据权利要求1所述的方法,其特征在于,所述可移动平台包括双目传感器,所述可移动平台移动时,所述双目传感器朝向所述可移动平台的上方;
    所述方法还包括:
    根据所述双目传感器采集的图像,获取在所述可移动平台的上方的景物的深度信息。
  19. 一种可移动平台的控制方法,其特征在于,所述可移动平台包括机身和机臂,机臂自所述机身向外延伸,所述机臂用于安装所述可移动平台的动力系统;
    所述机身搭载第一传感器和第二传感器;
    所述第一传感器朝向所述可移动平台的侧方,所述第二传感器朝向所述可移动平台的下方;
    部分所述机臂位于所述第一传感器的沿所述可移动平台的高度方向的视场角的下边界和所述第二传感器的沿所述可移动平台的高度方向的视场角的上边界之间;
    所述方法包括:
    基于所述第一传感器采集的图像和所述第二传感器采集的图像,获取所述可移动平台所处空间的景物的深度信息;
    根据所述深度信息控制所述可移动平台在空间中运动。
  20. 根据权利要求19所述的方法,其特征在于,所述可移动平台包括机身;
    所述第一传感器设置在所述机身的头部与所述机身的侧部的转角位置,或所述机身的尾部与所述机身的侧部的转角位置。
  21. 根据权利要求19所述的方法,其特征在于,所述可移动平台包括机身;
    所述第一传感器的主光轴,与所述第一传感器的沿所述机身头部至所述机身尾部的方向的第一轴线的夹角不为零;或,
    所述第一传感器的主光轴,与所述第一传感器的沿所述机身的两个侧部的方向的夹角不为零。
  22. 根据权利要求19所述的方法,其特征在于,所述可移动平台包括机身,所述机身连接有机臂,所述第一传感器设置在所述机臂远离所述机身的一端。
  23. 一种可移动平台的控制装置,其特征在于,所述可移动平台包括:至少三个传感器;
    所述至少三个传感器中,第一传感器、第二传感器和第三传感器基本处于同一水平面;
    所述第一传感器与所述第三传感器具有重合的第一视野,所述第一视野用于观测所述可移动平台第一方向上的景物;
    所述第二传感器与所述第三传感器具有重合的第二视野,所述第二视野用于观测所述可移动平台第二方向上的景物;所述第一方向与所述第二方向不同;
    所述装置包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至18任一所述的可移动平台的控制方法。
  24. 一种可移动平台,其特征在于,所述可移动平台包括:至少三个传感器;
    所述至少三个传感器中,第一传感器、第二传感器和第三传感器基本处于同一水平面;
    所述第一传感器与所述第三传感器具有重合的第一视野,所述第一视野用于观测所述可移动平台第一方向上的景物;
    所述第二传感器与所述第三传感器具有重合的第二视野,所述第二视野用于观测所述可移动平台第二方向上的景物;所述第一方向与所述第二方向不同;
    所述可移动平台还包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至18任一所述的可移动平台的控制方法。
  25. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有若干计算机指令,所述计算机指令被执行时实现权利要求1至18任一所述的可移动平台的控制方法的步骤。
  26. 一种可移动平台的控制装置,其特征在于,所述可移动平台包括机身和机臂,机臂自所述机身向外延伸,所述机臂用于安装所述可移动平台的动力系统;
    所述机身搭载第一传感器和第二传感器;
    所述第一传感器朝向所述可移动平台的侧方,所述第二传感器朝向所述可移动平台的下方;
    部分所述机臂位于所述第一传感器的沿所述可移动平台的高度方向的视场角的下边界和所述第二传感器的沿所述可移动平台的高度方向的视场角的上边界之间;
    所述装置包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现权利要求19至22任一所述的可移动平台的控制方法。
  27. 一种可移动平台,其特征在于,所述可移动平台包括机身和机臂,机臂自所述机身向外延伸,所述机臂用于安装所述可移动平台的动力系统;
    所述机身搭载第一传感器和第二传感器;
    所述第一传感器朝向所述可移动平台的侧方,所述第二传感器朝向所述可移动平台的下方;
    部分所述机臂位于所述第一传感器的沿所述可移动平台的高度方向的视场角的下边界和所述第二传感器的沿所述可移动平台的高度方向的视场角的上边界之间;
    所述可移动平台还包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现权利要求19至22任一所述的可移动平台的控制方法。
  28. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有若干计算机指令,所述计算机指令被执行时实现权利要求19至22任一所述的可移动平台的控制方法的步骤。
CN202180101631.0A 2021-11-05 2021-11-05 可移动平台的控制方法、装置、可移动平台及存储介质 Pending CN117837156A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/129019 WO2023077432A1 (zh) 2021-11-05 2021-11-05 可移动平台的控制方法、装置、可移动平台及存储介质

Publications (1)

Publication Number Publication Date
CN117837156A true CN117837156A (zh) 2024-04-05

Family

ID=86240497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180101631.0A Pending CN117837156A (zh) 2021-11-05 2021-11-05 可移动平台的控制方法、装置、可移动平台及存储介质

Country Status (2)

Country Link
CN (1) CN117837156A (zh)
WO (1) WO2023077432A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201612853A (en) * 2014-09-30 2016-04-01 Lite On Technology Corp Method for creating depth map and a multi-lens camera system using the method
CN106933243A (zh) * 2015-12-30 2017-07-07 湖南基石信息技术有限公司 一种基于双目视觉的无人机实时避障系统及方法
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
CN105892489B (zh) * 2016-05-24 2019-09-10 国网山东省电力公司电力科学研究院 一种基于多传感器融合的自主避障无人机系统及控制方法
DE102018100315A1 (de) * 2018-01-09 2019-07-11 Connaught Electronics Ltd. Erzeugen von Eingabedaten für ein konvolutionelles neuronales Netzwerk
WO2019140649A1 (zh) * 2018-01-19 2019-07-25 深圳市大疆创新科技有限公司 视觉模组集成模块与无人机
CN207926744U (zh) * 2018-01-19 2018-09-28 深圳市大疆创新科技有限公司 视觉模组集成模块与无人机
CN108933902A (zh) * 2018-07-27 2018-12-04 顺丰科技有限公司 全景图像采集装置、建图方法及移动机器人
CN111107303A (zh) * 2018-10-25 2020-05-05 中华映管股份有限公司 行车图像系统及行车图像处理方法

Also Published As

Publication number Publication date
WO2023077432A1 (zh) 2023-05-11

Similar Documents

Publication Publication Date Title
US11879737B2 (en) Systems and methods for auto-return
US20210065400A1 (en) Selective processing of sensor data
US11604479B2 (en) Methods and system for vision-based landing
US10475209B2 (en) Camera calibration
EP3420428B1 (en) Systems and methods for visual target tracking
US10599149B2 (en) Salient feature based vehicle positioning
JP6745982B2 (ja) 航空機用光センサ構成
WO2017147731A1 (en) Uav hardware architecture
CN117369489A (zh) 碰撞规避系统、深度成像系统、交通工具、地图生成器及其方法
JP2022554248A (ja) 無人飛行体を使用する構造体スキャン
CN108450032B (zh) 飞行控制方法和装置
JP2019050007A (ja) 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体
WO2019106714A1 (ja) 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム
CN117837156A (zh) 可移动平台的控制方法、装置、可移动平台及存储介质
CN213814412U (zh) 一种双云台无人机
KR20180025655A (ko) 무인 비행체
JP2021047738A (ja) 移動体、飛行経路制御方法及びプログラム
CN116745722A (zh) 无人机的控制方法、装置、无人机及存储介质
CN116724279A (zh) 可移动平台、可移动平台的控制方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination