CN116724279A - 可移动平台、可移动平台的控制方法及存储介质 - Google Patents

可移动平台、可移动平台的控制方法及存储介质 Download PDF

Info

Publication number
CN116724279A
CN116724279A CN202180087701.1A CN202180087701A CN116724279A CN 116724279 A CN116724279 A CN 116724279A CN 202180087701 A CN202180087701 A CN 202180087701A CN 116724279 A CN116724279 A CN 116724279A
Authority
CN
China
Prior art keywords
binocular vision
vision module
depth map
movable platform
modules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180087701.1A
Other languages
English (en)
Inventor
周游
贺国平
魏盛华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN116724279A publication Critical patent/CN116724279A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供了一种可移动平台、可移动平台的控制方法及存储介质，通过在平台本体上的不同位置设置具有不同朝向的至少两组双目视觉模组，且随可移动平台在目标方向运动的速度值变化，每组双目视觉模组的朝向与目标方向之间的相对方向关系变化，以使在可移动平台沿目标方向运动的过程中，能够在至少两组双目视觉模组中选择双目视觉模组，进而可以根据选择的双目视觉模组采集的图像数据确定环境观测信息，并基于环境观测信息控制可移动平台运动，实现基于可移动平台的运动情况来动态选择双目视觉模组，极大的提高了可移动平台的安全性。

Description

可移动平台、可移动平台的控制方法及存储介质 技术领域
本申请涉及视觉感知技术领域，尤其涉及一种可移动平台、可移动平台的控制方法及存储介质。
背景技术
随着计算机视觉技术的不断发展，其应用也越来越广，比如在无人驾驶领域用于感知周围环境，进而辅助无人驾驶设备的安全运动，例如无人机的安全飞行或其它无人驾驶车辆的安全运动。目前，通过在无人驾驶设备的运动方向安装基于计算机视觉的双目视觉感知模块来保证无人驾驶设备的安全运动。然而，由于无人驾驶设备的嵌入式平台计算量不足，导致无法平衡双目视觉感知模块的分辨率和观测范围，使得仅通过安装于无人驾驶设备运动方向的双目视觉感知模块无法保证无人驾驶设备的安全。
发明内容
基于此，本申请实施例提供了一种可移动平台、可移动平台的控制方法及存储介质，旨在提高可移动平台的安全性。
第一方面，本申请实施例提供一种可移动平台，所述可移动平台包括：
平台本体；
至少两组双目视觉模组，设置在所述平台本体上的不同位置，每组所述双目视觉模组的朝向不同，随所述可移动平台在目标方向运动的速度值变化，每组所述双目视觉模组的朝向与所述目标方向之间的相对方向关系变化；
控制装置，设置在所述平台本体内，所述控制装置用于实现以下步骤：
在所述可移动平台沿所述目标方向运动的过程中，在所述至少两组双目视觉模组中选择双目视觉模组，其中，以第一速度值运动时选择的所述双目视觉模组，不同于以第二速度值运动时选择的所述双目视觉模组；
根据选择的所述双目视觉模组采集的图像数据确定环境观测信息；
基于所述环境观测信息控制所述可移动平台运动。
第二方面，本申请实施例还提供了一种可移动平台，所述可移动平台包括：
平台本体；
至少两组双目视觉模组，设置在所述平台本体上的不同位置，所述至少两组双目视觉模组的视场角范围至少部分重叠；
控制装置，设置在所述平台本体内，所述控制装置用于：
根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息；
基于所述目标对象的位置信息控制所述可移动平台运动。
第三方面，本申请实施例还提供一种可移动平台的控制方法，所述可移动平台包括平台本体以及设置在所述平台本体上的不同位置的至少两组双目视觉模组；每组所述双目视觉模组的朝向不同，随所述可移动平台在目标方向运动的速度值变化，每组所述双目视觉模组的朝向与所述目标方向之间的相对方向关系变化；所述方法包括：
在所述可移动平台沿所述目标方向运动的过程中，在所述至少两组双目视觉模组中选择双目视觉模组，其中，以第一速度值运动时选择的所述双目视觉模组，不同于以第二速度值运动时选择的所述双目视觉模组；
根据选择的所述双目视觉模组采集的图像数据确定环境观测信息；
基于所述环境观测信息控制所述可移动平台运动。
第四方面，本申请实施例还提供一种可移动平台控制方法，所述可移动平台包括平台本体以及设置在所述平台本体上的不同位置的至少两组双目视觉模组，所述至少两组双目视觉模组的视场角范围至少部分重叠；所述方法包括：
根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息；
基于所述目标对象的位置信息控制所述可移动平台运动。
第五方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上第三方面所述的可移动平台控制方法，或所述计算机程序被处理器执 行时使所述处理器实现如上第四方面所述的可移动平台的控制方法。
本申请实施例提供了一种可移动平台、可移动平台的控制方法及存储介质，通过在平台本体上的不同位置设置具有不同朝向的至少两组双目视觉模组，且随可移动平台在目标方向运动的速度值变化，每组双目视觉模组的朝向与目标方向之间的相对方向关系变化，以使在可移动平台沿目标方向运动的过程中，能够在至少两组双目视觉模组中选择双目视觉模组，进而可以根据选择的双目视觉模组采集的图像数据确定环境观测信息，并基于环境观测信息控制可移动平台运动，实现基于可移动平台的运动情况来动态选择双目视觉模组，极大的提高了可移动平台的安全性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种无人机的结构示意图；
图2是本申请实施例提供的双目视觉模组的观测范围的一场景示意图；
图3是本申请实施例提供的另一种无人机的局部结构示意图；
图4是本申请实施例提供的双目视觉模组的视场角范围示意图；
图5是本申请实施例提供的一种视场角与无人机的姿态信息之间的变化示意图；
图6是本申请实施例提供的另一种视场角与无人机的姿态信息之间的变化示意图；
图7是本申请实施例提供的又一种视场角与无人机的姿态信息之间的变化示意图；
图8是本申请实施例提供的无人机的位置信息与视场角范围之间的关系示意图；
图9是本申请实施例提供的第一深度图与第二深度图的重叠示意图；
图10是本申请实施例提供的一种车辆的结构示意图；
图11是本申请实施例提供的一种可移动平台控制方法的示意流程图；
图12是本申请实施例提供的另一种可移动平台控制方法的示意流程图；
图13是本申请实施例提供的一种控制装置的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
首先，结合图1及图2对现有的可移动平台以及可移动平台的视觉系统进行示例性的说明。目前，常见的可移动平台例如无人机，其视觉系统为双目视觉模组(Stereo Vision System)，如图1所示，图1是本申请实施例提供的一种无人机的结构示意图。由图1可知，现有的无人机的双目视觉模组130设置在无人机100的前端，用于感知周围环境，从而辅助无人机100的安全运动。具体地，由图1可知，现有无人机的双目视觉模组包括第第一摄像头131和第二摄像头132。其中，第一摄像头131和第二摄像头132分别用于拍摄同一时刻，不同角度的两张照片，进而由控制装置(图1中未示出)根据两张照片的差异，以及第一摄像头131和第二摄像头132之间的视场角位置关系，可确定拍摄场景内物体与第一摄像头131和第二摄像头132之间的距离关系，将拍摄场景内物体与第一摄像头131和第二摄像头132之间的位置关系在同一图像上进行显示，可得到拍摄场景内物体的深度图(Depth Map)，进一步根据拍摄场景内物体的深度图确定无人机100周围的环境观测信息。而在实际应用中，由于第一摄像头131和第二摄像头132均是定焦镜头，第一摄像头131和第二摄像头132的焦距一旦确定，则如图2所示，对应双目视觉模组的观测距离与观测范围也就确定，且观测距离与观测范围呈反比关系，即观测距离越大，对应的观测范围越小，反之相同。
另外，由于嵌入式平台计算量的不足，导致应用于可移动平台上的双目视 觉模组的分辨率也比较低，在设计双目视觉模组的时候就要权衡考虑观测距离与观测范围，从而确定焦距。这个平衡点总是很难把握，往往是牺牲了观测范围来保全观测距离，从而提高运动速度，但在运动速度有效提升的同时，由于观测范围变小了，又无法保证运动的安全性。
为了解决上述问题，本申请实施例提供了一种可移动平台、可移动平台的控制方法及存储介质，通过在平台本体上的不同位置设置具有不同朝向的至少两组双目视觉模组，且随可移动平台在目标方向运动的速度值变化，每组双目视觉模组的朝向与目标方向之间的相对方向关系变化，以使在可移动平台沿目标方向运动的过程中，能够在至少两组双目视觉模组中选择双目视觉模组，进而可以根据选择的双目视觉模组采集的图像数据确定环境观测信息，并基于环境观测信息控制可移动平台运动，实现基于可移动平台的运动情况来动态选择双目视觉模组，极大的提高了可移动平台的安全性。
请参阅图3，图3是本申请实施例提供的另一种无人机的局部结构示意图。需要说明的是，图3所示的无人机的完整结构包括图1所示的无人机和图3所示的局部结构，图3仅示例性地示出了本申请实施例提供的无人机与现有无人机存在的局部差异部分。由图3可知，在本申请的实施例中，无人机100除了包括图1所述的机身110、动力系统120、设置在机身110的前侧(机身110的前侧通常称为机头)的第一双目视觉模组130之外，该无人机100还包括设置在机身110上的第二双目视觉模组140，且第二双目视觉模组140与第一双目视觉模组130具有不同的位置和朝向。此外，无人机100还包括控制装置(控制装置在图3中未示出)。
其中，动力系统120可以包括一个或多个螺旋桨121、与一个或多个螺旋桨相对应的一个或多个电机122、一个或多个电子调速器(简称为电调)。其中，电机122连接在电子调速器与螺旋桨121之间；电子调速器用于接收控制装置产生的驱动信号，并根据驱动信号提供驱动电流给电机122，以控制电机122的转速。电机122用于驱动螺旋桨121旋转，从而为无人机100的飞行提供动力，该动力使得无人机100能够实现一个或多个自由度的运动。在某些实施例中，无人机100可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、偏航轴和俯仰轴。应理解，电机122可以是直流电机，也可以交 流电机。另外，电机122可以是无刷电机，也可以是有刷电机。示例性的，无人机100可例如为四旋翼无人机、六旋翼无人机、八旋翼无人机。当然，也可以是固定翼无人机，还可以是旋翼型与固定翼无人机的组合，在此不作限定。
其中，第一双目视觉模组130和第二双目视觉模组140可以分别设置在无人机110的机头位置，第一双目视觉模组130能够观测无人机100的前侧方向上的目标对象，第二双目视觉模组140能够观测与无人机100的前侧方向呈预设夹角对应方向上的目标对象。示例性地，在无人机100的机头处设置有刚性支架，该刚性支架包括第一部分和第二部分，其中，第一部分用于承载第一双目视觉模组130，第二部分用于承载第二双目视觉模组140。
示例性地，第一双目视觉模组130朝向无人机的前侧，能够观测无人机100前侧方向上的目标对象；第二双目视觉模组140朝向无人机100的上侧，能够观测与无人机100前侧方向呈预设夹角的对应方向上的目标对象。示例性地，第二双目视觉模组140能够观测与无人机100前侧方向呈90度方向上的目标对象。
进一步地，图1和图3仅示出了第一双目视觉模组130和第二双目视觉模组140在无人机100上的一种位置关系，并不能构成第一双目视觉模组130与第二双目视觉模组140在无人机100上的位置关系限制，例如，第一双目视觉模组130和第二双目视觉模组140还可以设置在无人机100机身的同一侧的不同位置，分别用于观测不同方向上的目标对象。
在一些实施例中，随无人机100在目标方向运动的速度值变化，第一双目视觉模组130和第二双目视觉模组140的朝向与目标方向之间的相对方向关系变化。其中，所述目标方向为预设的无人机100的运动方向，例如水平方向、与水平方向呈预设夹角的方向(如左前方、右前方)或者垂直方向等，当无人机100在目标方向运动的速度值变化，例如，沿水平方向加速运动时，随着速度的提升，无人机100可能会发生不同角度的倾斜，对应设置在机身110上的第一双目视觉模组130和第二双目视觉模组140随着机身110的倾斜，各自对应的朝向均可能会发生变化。具体地，第一双目视觉模组130和第二双目视觉模组140各自的朝向发生变化之后，与无人机100运动的目标方向之间的相对方向关系也会发生变化，进而能够在无人机100运动的过程中，保证其观测范 围。
在一些实施例中，第一双目视觉模组130和第二双目视觉模组140的参数不同；例如，第一双目视觉模组130和第二双目视觉模组140的视场角不同，或者，第一双目视觉模组130和第二双目视觉模组140的分辨率不同。在无人机100运动的过程中，通过在具有不同视场角或者分辨率的至少两组双目视觉模组中选择双目视觉模组，来达到有效地平衡无人机100的观测范围和观测速度。
具体地，如图4所示，第一双目视觉模组130的第一视场角401的范围小于第二双目视觉模组140的第二视场角402的范围。也即，第一双目视觉模组130相对于第二双目视觉模组140可以为小视场角(如水平视场角为73度，垂直视场角为58度)的双目视觉模组，主要用于观测无人机100前侧方向上的目标对象；第二双目视觉模组140相对于第一双目视觉模组140可以为大视场角(例如水平视场角为63度，垂直视场角为78.8度)的双目视觉模组，主要用于观测与无人机100前侧方向呈预设夹角的对应方向上的目标对象。例如，观测无人机100上方的目标对象。
在一些实施例中，第一双目视觉模组130的分辨率小于第二双目视觉模组140的分辨率。例如，第一双目视觉模组130的分辨率为640×480，第二双目视觉模组140的分辨率为1280×960。
进一步地，第一双目视觉模组130的观测距离与第二双目视觉模组140的观测距离不同。例如，第一双目视觉模组130的观测距离小于(假设为25米)第二双目视觉模组140的观测距离(假设为45米)。
在一些实施例中，第一双目视觉模组130的视场角范围与第二双目视觉模组140的视场角范围至少部分重叠。
请参阅图5，图5是本申请实施例提供的一种视场角与无人机的姿态信息之间的变化示意图。由图5可知，在无人机100处于水平悬停时，第一双目视觉模组130朝向正前方，对应的第一视场角范围401为水平向下29度至水平向上29度；第二双目视觉模组140朝向正上方，对应的第二视场角范围402为铅垂向左68度至铅垂向右10.8度；第一双目视觉模组130的第一视场角401与第二双目视觉模组140的第二视场角402的重叠区域501在水平向上22度 至29度之间，且重叠区域501对应的重叠角度为7度。
请参阅图6，图6是本申请实施例提供的另一种视场角与无人机的姿态信息之间的变化示意图。由图6可知，在无人机100低速向前运动时，随着无人机100向前运动的速度值不同，第一双目视觉模组130的朝向与无人机100的运动方向之间的相对方向关系，以及第二双目视觉模组140的朝向与无人机100的运动方向之间的相对方向关系均会变化。具体地，第一双目视觉模组130的第一视场角401的范围可以为水平向下49度至水平向上9度；第二双目视觉模组140的第二视场角402范围可以为水平向上2度至铅锤线向左9.2度；第一双目视觉模组130的第一视场角401和第二双目视觉模组140的第二视场角402的重叠区域501在水平向上2度至9度之间，且重叠区域的角度范围为7度。
请参阅图7，图7是本申请实施例提供的又一视场角与无人机的姿态信息之间的变化示意图。由图7可知，在无人机100高速向前飞行时，对应第一双目视觉模组130的朝向与无人机100的运动方向之间的相对方向关系，以及第二双目视觉模组140的朝向与无人机100的运动方向之间的相对方向关系均会发生变化。具体地，第一双目视觉模组130的第一视场角401的范围可以为水平向下60度至水平线向下1度；第二双目视觉模组140的第二视场角的范围可以为水平向下8度至铅垂线向左70.8度；第一双目视觉模组130的第一视场角401与第二双目视觉模组140的第二视场角402的重叠区域501在水平向下1度至8度之间，重叠区域501的角度范围为7度。
图5至图7分别示出了无人机100在以不同的速度值运动时，在对应速度值下，第一双目视觉模组130和第二双目视觉模组140的视场角范围的重叠示意图。由于双目视觉模组的分辨率越高时，对应双目视觉模组的观测精度也越高，而在本实施例中，第一双目视觉模组130相对于第二双目视觉模组140来说，对应的分辨率较低，当第一双目视觉模组130与第二双目视觉模组140的视场角范围至少部分重叠时，可以基于重叠区域，通过图像融合技术，来提高第一双目视觉模组130采集的图像数据的精度。
由图5至图7可知，随着无人机100的运动方向变化，第一双目视觉模组130与第二双目视觉模组140的视场角范围的重叠角度大小相同，但是第一双 目视觉模组130和第二双目视觉模组140在无人机100的不同速度值以及不同姿态信息下，各自的朝向不同。
其中，随着无人机100的速度值不同，对应无人机100的姿态信息不同。在不同的姿态信息下，无人机100选择的双目视觉模组也不同。
其中，控制装置可以包括控制器和传感系统。控制器用于控制无人机100的运动，例如，可以根据传感系统测量的姿态信息控制无人机100的运动。应理解，控制器可以按照预先编好的程序指令对无人机100进行控制。传感系统用于测量无人机100的姿态信息，即无人机100在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。
传感系统例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit，IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如，全球导航卫星系统可以是全球定位系统(Global Positioning System，GPS)。
控制器可以包括一个或多个处理器和存储器。处理器例如可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。存储器可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
在本申请的实施例中，控制装置设置在无人机100的机身110内，用于在无人机100沿目标方向运动的过程中，在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组，其中，以第一速度值运动时选择的双目视觉模组，不同于以第二速度值运动时选择的双目视觉模组；根据不同的速度值选择的双目视觉模组采集的图像数据确定环境观测信息；以提高基于环境观测信息控制无人机100运动的安全性。
具体地，控制装置用于在无人机100沿目标方向运动的过程中，根据无人机100的姿态信息，在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组，而无人机100的姿态信息随可移动平台在目标方向的速度值不同而不同，因此实现了根据无人机100以不同的速度值在目标方向运动时，选择不同的双目视觉模组来采集图像数据，并根据选择的双目视觉模组采集的图 像数据确定环境观测信息，进而基于确定的环境观测信息控制无人机100运动，保证了无人机100在以不同速度值运动时的安全性。
在一些实施例中，控制装置在实现在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组时，用于实现：根据无人机100的运动状态信息，在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组。其中，运动状态信息包括姿态信息和运动信息中的至少一种。姿态信息包括俯仰角或偏航角。
具体地，姿态信息与无人机100在目标方向上运动的速度值相关，当无人机100以不同的速度值在目标方向上运动时，其对应的姿态信息会发生相应的变化。例如无人机在以不同的速度值飞行时，由无人机的飞行特性可知，无人机会有不同角度的倾斜，对应的俯仰角不同。
例如，无人机在低速向前飞行时，会向前倾斜，此时对应的俯仰角通常小于0，且在一定的范围内，例如小于或等于-22度；而无人机在高速向前飞行时，对应向前倾斜的角度会变大，此时对应的俯仰角通常小于-20度，例如小于-20度并大于或等于-29度。
对应地，控制装置在实现根据运动状态信息，在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组时，用于实现：根据无人机100的俯仰角或偏航角，在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组。具体地，无人机100的俯仰角发生变化，且俯仰角满足预设视觉模组选择条件，则在第一双目视觉模组130和第二双目视觉模组140中选择的双目视觉模组。
在一些实施例中，控制装置在实现若无人机100的俯仰角发生变化，且俯仰角满足预设视觉模组变化条件，则从第一双目视觉模组130和第二双目视觉模组140中选择的双目视觉模组时，用于实现：若无人机100的俯仰角变化为小于或等于第一俯仰角，则无人机100所选的双目视觉模组为第二双目视觉模组140；若无人机100的俯仰角变化为大于第一俯仰角，且小于或等于第二俯仰角，则无人机100所选的双目视觉模组为第一双目视觉模组130和第二双目视觉模组140；若无人机100的俯仰角变化为大于第二俯仰角，且小于或等于第三俯仰角，则无人机100所选的双目视觉模组为第一双目视觉模组130。
其中，第一俯仰角、第二俯仰角以及第三俯仰角为根据无人机100的运动特征预先设置的值，具体不做限定。示例性地，第一俯仰角可以为-29度，第二俯仰角可以为-22度，第三俯仰角可以为29度。
在一些实施例中，当无人机100处于水平悬停或者是垂直上升下降时，无人机100在水平方向上的速度值为0，在垂直方向上的速度值小于或等于预设的第一速度值。其中，预设的第一速度值为无人机100准备飞行或准备降落时的速度值，通常比较小，例如为20m/s。而当无人机100在水平方向上的速度值为0，在垂直方向上的速度值小于或等于第一速度值时，可以选择不采集水平方向上的图像数据，仅采集垂直方向上较近距离的图像数据，例如25m以内的图像数据；此时，可以选择第二双目视觉模组140采集垂直方向的图像数据，以保证得到垂直方向上所需观测范围内的环境观测信息，进而保证无人机100在垂直方向上升或下降的安全性。
此外，在保证能够获取环境观测信息的同时为了降低无人机100的系统消耗，还可以选择对第二双目视觉模组140采集的图像数据，进行降采样处理。
当无人机100开始起飞时，首先需要低速向前飞行，此时无人机100会有较小角度的倾斜。例如，无人机100以较低速度值(小于或等于第一速度值)水平向前飞行，或者以较低速度值倾斜向上飞行时，随着飞行速度值的不同，无人机100会发生不同程度的小角度倾斜；通常无人机100在第一速度值以内向前飞行时，对应的俯仰角大于第二俯仰角且小于第三俯仰角，例如第二俯仰角为-22度，第三俯仰角为29度；此时，选择第一双目视觉模组130采集水平方向和倾斜向下的图像数据。无人机100在第一速度值以内倾斜向上飞行时，对应的俯仰角大于第一俯仰角且小于第二俯仰角；此时，选择第一双目视觉模组130采集水平方向的图像数据，选择第二双目视觉模组140采集斜上方的图像数据。
当无人机100快速向前飞行时，会发生较大程度的倾斜，此时对应的俯仰角为较大的负值，例如，小于第一俯仰角(-29度)。此时，可以选择第二双目视觉模组140观测斜上方的环境观测信息。需要说明的是，无人机100在快速向前飞行的过程中，俯仰角的变化不会超过最大变化阈值，例如50度，这是因为如果超过最大变化阈值，则会发生翻转。
在本申请的实施例中，为了保证无人机100在目标方向上以不同速度值运动时的安全性，预设了第一俯仰角、第二俯仰角以及第三俯仰角，并根据无人机的俯仰角变化与第一俯仰角、第二俯仰角以及第三俯仰角之间的关系，来选择用于观测环境观测信息的双目视觉模组，提高了无人机运动的安全性。
在一些实施例中，运动信息包括无人机的速度信息、位置信息和加速度信息中的至少一种，控制装置在实现根据无人机的速度信息、位置信息和加速度信息，在至少两组双目视觉模组中选择双目视觉模组时，用于实现：根据无人机101的姿态信息和运动信息，预测无人机100经过预设时间后在双目视觉模组采集到的图像中的目标位置信息；根据目标位置信息、第一双目视觉模组130和第二双目视觉模组140各自对应的视场角，变换无人机100所选的双目视觉模组。
其中，所述姿态信息包括俯仰角，控制装置在实现根据姿态信息和运动信息，预测经过预设时间后可移动平台在双目视觉模组采集到的图像中的目标位置信息时，用于实现：获取第一双目视觉模组130的第一视场角范围和第二双目视觉模组140的第二视场角范围；根据所述第一视场角范围、俯仰角和运动信息，预测经过预设时间后无人机100在第一双目视觉模组130采集到的图像中的第一目标位置信息；根据所述第二视场角范围、俯仰角和运动信息，预测经过预设时间后无人机100在第二双目视觉模组140采集到的图像中的第二目标位置信息。
其中，第一视场角包括第一双目视觉模组130在水平方向的第一水平视场角和在垂直方向的第一垂直视场角；当第一双目视觉模组130用于观测无人机100前侧的环境观测信息时，第一水平视场角为前视图像的水平方向视场角，第一垂直视场角为前视图像的垂直方向视场角；运动信息包括无人机100沿水平方向的第一速度值、沿垂直方向的第二速度值、沿左方向或沿右方向的第三速度值。
在一实施例中，所述根据所述第一视场角范围、俯仰角和速度值，预测经过预设时间后无人机100在第一双目视觉模组130采集到的图像中的第一目标位置信息，包括：根据第一水平视场角、第一速度值和第三速度值，计算经过预设时间后无人机100的质心点在第一双目视觉模组130采集到的图像中的第 一水平坐标；根据第一垂直视场角、俯仰角、第一速度值和第二速度值，预测经过预设时间后无人机100的质心点在第一双目视觉模组130采集到的图像中的第一垂直坐标；根据第一水平坐标、第一垂直坐标和无人机100的尺寸大小，预测第一目标位置信息。
具体地，假设第一水平坐标为u 前，第一垂直坐标为v 前，则
其中，α表示第一水平视场角，vel_x表示无人机沿垂直方向的第二速度值，vel_y表示无人机沿水平方向的第一速度值，β表示第一垂直视场角，atti_pitch表示俯仰角，W 前表示第一双目视觉模组的视场宽度，H 前表示第一双目视觉模组的视场长度。
例如，α等于73度，β等于58度，W 前等于640，H 前等于480。
其中，第二视场角包括第二双目视觉模组140在水平方向的第二水平视场角和在垂直方向的第二垂直视场角；当第二双目视觉模组140用于观测无人机100上侧的环境观测信息时，第二水平视场角为上视图像的水平视场角，第二垂直视场角为上视图像的垂直视场角。
示例性的，所述根据所述第二视场角范围、俯仰角和速度值，预测经过预设时间后无人机100在第二双目视觉模组140采集到的图像中的第二目标位置信息，包括：根据第二水平视场角、第一速度值和第三速度值，计算经过预设时间后无人机100的质心点在第二双目视觉模组140采集到的图像中的第二水平坐标；根据第二垂直视场角、第一速度值和第二速度值，预测经过预设时间后无人机100的质心点在第二双目视觉模组140采集到的图像中的第二垂直坐标；根据第二水平坐标、第二垂直坐标和无人机100的尺寸大小，预测第二目标位置信息。
具体地，假设第二水平坐标为u 上，第一垂直坐标为v 上，则
其中，δ表示第二水平视场角，η表示第二垂直视场角，W 上表示第二双目视觉模组的视场宽度，H 上表示第二双目视觉模组的视场长度。
例如，δ等于63度，η等于78.8度，W 上等于960，H 上等于480。
在一些实施例中，预设时间可以是预先设置的任意时长，例如可以是1秒，2秒，3秒等等。
举例说明，假设无人机100的尺寸大小是30cm×40cm，则需要在计算出的无人机100在第一双目视觉模组130采集的图像中的质心点位置后，在计算得到的质心点位置处预留大于30cm×40cm(例如，预留40cm×50cm的位置，在宽和长方向分别预留了10cm的裕量)的尺寸作为预测的无人机100经过预设时间1s后的位置信息，将预测的该位置信息也可以称为运动通道，在本实施例中，可移动平台为无人机，则预测的位置信息还可以称为飞行通道。
依次类推，当预设时间为2s，3s，...，n秒时，可以分别预测出无人机100在第一双目视觉模组130采集的图像中的位置信息和无人机100在第二双目视觉模组140采集的图像中的位置信息。需要说明的是，无人机100的质心点为预测的位置信息的中心点，也可以称为运动通道的中心点。
在预测经过预设时间后无人机100的位置信息之后，可以通过通过对应所选的双目视觉模组来观测在预测的位置信息处，是否存在目标对象，若在预测的位置信息处，存在目标对象，则需要根据当前无人机的运动信息，确定变换无人机的速度，采取刹车，或者绕道飞行等避障措施，以保证无人机在预设时间内的飞行安全。
此外，还可以根据无人机100的质心点在当前时刻的位置坐标，无人机100的速度值和预设时间，计算出经过预设时间后的质心点的位置坐标，进一步根据相机投影关系，将计算出的质心点的位置坐标分别投影在第一双目视觉 模组130采集的图像和第二双目视觉模组140采集的图像中。具体地，根据相机投影关系可以分别由第一双目视觉模组130和第二双目视觉模组140所采用的相机确定，通常相机确定之后对应的相机投影关系也为确定的，具体可以参见现有相机的投影关系，在此不做具体限定及解释。
在一些实施例中，控制装置在实现根据目标位置信息、第一双目视觉模组130和第二双目视觉模组140各自对应的视场角，变换无人机100所选的双目视觉模组时，用于实现：若第一目标位置信息位于第一视场角范围，而第二目标位置信息不位于第二视场角范围，则变换无人机100所选的双目视觉模组为第一双目视觉模组130；若第一目标位置信息不位于第一视场角范围，而第二目标位置信息位于第二视场角范围，则变换无人机100所选的双目视觉模组为第二双目视觉模组140；若第一目标位置信息位于第一视场角范围，且第二目标位置信息位于第二视场角范围，则变换无人机100所选的双目视觉模组为第一双目视觉模组130和第二双目视觉模组140。
示例性地，请参阅图8，图8是无人机的位置信息与双目视觉模组的视场角范围之间的关系示意图。由图8可知，在本实施例中，无人机100的第一目标位置信息801和第二目标位置信息802重合，且位于第一视场角范围401和第二视场角范围402的重合范围内，此时，选择的双目视觉模组包括第一双目视觉模组130和第二双目视觉模组140。
可以理解地，图8仅是示例性地说明，无人机100的第一目标位置信息801还可以位于第一视场角范围与第二视场角范围不重合的区域，也可以不位于第一视场角范围内；无人机100的第二目标位置信息802也可以位于第二视场角范围内与第一视场角范围不重合的区域，或者可以不位于第二视场角范围内。具体地，在本申请的实施例中，通过无人机100的第一目标位置和第二目标位置分别与第一视场角范围和第二视场角范围的关系，来变换无人机100所选的双目视觉模组，以保证无人机100所选的双目视觉模组能够采集到无人机100所在位置处的图像信息，进而根据采集到的无人机100所在位置处的图像信息确定无人机100周围的环境观测信息，实现根据无人机100周围的环境观测信息控制无人机100运动，提高无人机100安全运动的同时，降低无人机100的功耗。
在一些实施例中，控制装置在实现根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：若选择的双目视觉模组为第一双目视觉模组130，则使能第一双目视觉模组130，且不使能第二双目视觉模组140；根据使能第一双目视觉模组130采集到的第一图像数据，确定环境观测数据。
其中，当选择的双目视觉模组为第一双目视觉模组130，在无人机100的一些运动场景下，可以仅通过第一双目视觉模组130来观测无人机100在目标方向上的环境观测信息，以降低无人机100的系统消耗。示例性地，当无人机100低速水平飞行时，主要需要观测前方和斜下方的环境观测信息，且只需观测较近距离的环境观测信息，仅通过第一双目视觉模组130可以完全保证无人机100的飞行安全。
在一些实施例中，控制装置在实现根据选择的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：若所选的双目视觉模组为第一双目视觉模组130，则同时使能第一双目视觉模组130和第二双目视觉模组140；获取第一双目视觉模组130采集到的第一图像数据和第二双目视觉模组140采集到的第二图像数据，并对第二图像数据进行下采样，得到第三图像数据；根据第一图像数据和第三图像数据，确定环境观测数据。
其中，当选择的双目视觉模组为第一双目视觉模组130，在无人机100的一些运动场景下，可以同时使能第一双目视觉模组130和第二双目视觉模组140，以保证无人机100运动的安全性。示例性地，当无人机100斜向上飞行时，在预设时间内，无人机100可能一直处于第一双目视觉模组130的第一视场角范围内，对应选择的双目视觉模组为第一双目视觉模组130，但是在下一秒，无人机100可能进入第二双目视觉模组140的第二视场角范围内，因此，需要同时使能第二双目视觉模组140采集无人机100斜上方的图像数据。
可以理解地，在无人机100低速斜向上飞行过程中，由于无人机100的速度较小，因此，可以对第二双目视觉模组140采集到的第二图像数据进行下采样，以在实现无人机100安全飞行的同时，降低系统消耗。
在一些实施例中，控制装置在实现根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：若所选的双目标视觉模组为第一双目视觉模组130和第二双目视觉模组140，则同时使能第一双目视觉模组130和第 二双目视觉模组140；获取第一双目视觉模组130采集到的第一图像数据和第二双目视觉模组140采集到的第二图像数据；根据第一图像数据和第二图像数据，确定环境观测数据。
其中，当无人机100进入正常运动状态时，其会相对产生较大的倾斜，对应处于第一双目视觉模组130的第一视场角范围和第二双目视觉模组140的第二视场角范围的重合区域；对应地，需要同时使能第一双目视觉模组130和第二双目视觉模组140，来保证无人机100运动的安全性。示例性地，当无人机100高速向前飞行时，需要使能第一双目视觉模组130采集前方及斜下方的图像数据，同时需要使能第二双目视觉模组140采集斜上方的图像数据。
在一些实施例中，控制装置在实现根据所选的双目视觉模组采集到的图像数据控制无人机100运动时，用于实现：若所选的双目视觉模组为第二双目视觉模组140，则使能第一双目视觉模组140的部分功能，并使能第二双目视觉模组140的全部功能；根据第二双目视觉模组140采集到的第二图像数据，确定无人机100周围的目标对象的位置信息；根据无人机100周围的目标对象的位置信息，控制无人机100运动。
例如，在无人机100以较大速度飞行时，需要对第二双目视觉模组140采集的图像数据进行全采样，以便得到更远距离的观测，进而保证无人机100在斜向上飞行的安全性。而第一双目视觉模组130主要用于采集斜下方的图像数据，可以选择不用跑天空检测、自标定等部分功能，也即关闭第一双目视觉模组130对上方图像数据的采集功能，以降低无人机的系统消耗；甚至当无人机在斜向上飞行时，可以选择降低后视的计算频率，或者关闭后视的天空水面检测等功能，因为此时向前速度很快，前向动能很大，无人机不可能在短时间内变成向后飞行，可以不用关心后方的环境观测数据。
通过上述分析可知，本申请实施例提供的可移动平台，通过设置在平台本体不同位置的具有不同朝向的至少两组双目视觉模组，其中，每组双目视觉模组的朝向不同，每组双目视觉模组的朝向与可移动平台目标方向之间的相对方向关系，随可移动平台在目标方向运动的速度值变化而变化，在可移动平台沿目标方向运动过程中，在至少两组双目视觉模组中选择双目视觉模组，以实现根据选择的双目视觉模组采集的图像数据确定环境观测信息，进而根据确定的 环境观测信息控制可移动平台运动，来提高可以平台运动的安全性。
示例性地，环境观测数据包括所述可移动平台周围的目标对象的位置信息；在一些实施例中，控制装置在实现根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据时，用于实现：根据第一图像数据计算得到第一深度图，并根据第二图像数据计算得到第二深度图；对第一深度图和第二深度图进行融合，得到目标深度图；根据目标深度图，确定可移动平台周围的目标对象的位置信息。由于第一深度图和第二深度图是有具有不同分辨率或者观测范围的两组不同的双目视觉模组分别得到，对第一深度图和第二深度图进行图像融合，可以实现将低分辨率的双目视觉模组采集的深度图进行缩放，以提高低分辨率的双目视觉模组的观测精度。
其中，第一图像数据包括第一双目视觉模组130的两个第一摄像头在同一时刻，不同角度下拍摄的第一图像和第二图像；根据所述第一图像数据计算得到第一深度图，可以包括：根据第一图像和第二图像之间的像素差异、两个第一摄像头之间的位置关系以及角度关系，基于三角定位原理计算得到第一深度图。
第二图像数据包括第二双目视觉模组140的两个第二摄像头在同一时刻，不同角度下拍摄的第三图像和第四图像；根据第二图像数据计算得到第二深度图，可以包括：根据第三图像和第四图像之间的像素差异、两个第二摄像头之间的位置关系以及角度关系，基于三角定位原理计算得到第二深度图。
其中，由于第一双目视觉模组130的视场角范围与第二双目视觉模组140的视场角范围至少部分重合，因此，第一深度图和第二深度度有一定的重合区域。在本申请的实施例中，可以利用第一深度图和第二深度图的重合区域进行融合，得到目标深度图。
示例性地，控制装置在实现对所述第一深度图和所述第二深度图进行融合，得到目标深度图时，用于实现：确定第一深度图与第二深度图之间的重叠区域；根据重叠区域，确定第一深度图的缩放比例；根据缩放比例对第一深度图进行缩放，得到第三深度图；对第二深度图和第三深度图进行融合，得到目标深度图。
如图9所示，图9是本申请实施例提供的第一深度图与第二深度图的重叠 示意图。由图9可知，重叠区域包括位于所述第一深度图中的第一重叠区域901和位于所述第二深度图中的第二重叠区域902，由于第一双目视觉模组130和第二双目视觉模组140的分辨率不同，例如，假设第二双目视觉模组140的分辨率高于第一双目视觉模组130的分辨率，相对而言，第一双目视觉模组130的计算精准度低于第二双目视觉模组140的计算精准度。因此，可以通过特征点跟踪匹配算法将不同计算精准度下的深度图进行特征点匹配，以得到深度图的重叠区域。
在一些实施例中，控制装置在实现确定所述第一深度图与所述第二深度图之间的重叠区域时，用于实现：从所述第一深度图中提取多个第一特征点；将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
所述控制装置在实现根据所述重叠区域，确定所述第一深度图的缩放比例时，用于实现：确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
例如，所述第一重叠区域中的目标对象是一颗树，该树在第一重叠区域的第一尺寸为9.8m，而在第二重叠区域中该树的第二尺寸是10.5m；根据所述第一尺寸9.8与所述第二尺寸10.5可以确定所述第一深度图的缩放比例为10.5/9.8＝1.07，也即需要将第一深度图放大1.07倍得到第三深度图，进而对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
其中，所述第二深度图与所述第三深度图中的相同目标对象的尺寸相同。
在一些实施例中，也可以选择只根据近景进行调整，近景指的是精准观测范围内的景物。其中，近景的观测距离小于极限观测距离，例如，假设第二双目视觉模组302的极限观测距离是45m，那么对应的精准观测距离可能只有30m左右，对应的近景指的是在30m观测距离以内的图像。通过选择根据近景进行图像调整，可以保证双目视觉模组的观测精度。
通过上述分析可知，本申请实施例提供的可移动平台，在根据设置在平台本体上不同位置的具有不同朝向的至少两组双目视觉模组采集的图像数据确 定可移动平台周围的目标对象的位置信息时，采用图像融合方法将至少两组双目视觉模组的视场角范围重合区域的图像数据进行融合，进而根据融合之后的图像数据确定可移动平台周围的环境观测信息，提高可移动平台对周围环境观测信息的检测精度，进而提高可移动平台运动的安全性。
需要说明的是，图3仅以可移动平台为无人机示例性地说明了设置在无人机上的两组双目视觉模组，在实际应用中，随着应用场景的不同，可移动平台还可以是其它可移动对象，示例性地，可移动平台包括无人机、无人驾驶车辆和可移动机器人中的至少一项。在可移动平台的平台本体上也可以对应设置有多于两组的双目视觉模组。即可移动平台可以包括至少两组双目视觉模组，且每组双目视觉模组的朝向不同，随可移动平台在目标方向运动的速度值变化，每组双目视觉模组的朝向与目标方向之间的相对方向关系变化。
如图10所示，图10是本申请实施例提供的一种车辆的示意图。由图10可知，该车辆10包括车辆平台1010，车辆平台1010包括车身的各种设备、部件等。在车辆平台10的不同位置上设置有两组双目视觉模组，分别为第三双目视觉模组1020和第四双目视觉模组930，第三双目视觉模组920和第四双目视觉模组1030的朝向不同，随车辆10在目标方向运动的速度值变化，第三双目视觉模组1020和第四双目视觉模组1030的朝向与目标方向之间的相对方向关系变化。
在本申请的实施例中，车辆10可以是具有自动驾驶系统的车辆，也可以是不具有自动驾驶系统的车辆，比如为L0级的车辆。其中，自动驾驶系统是指由硬件和软件组成的能够持续执行全部动态驾驶任务的系统，不考虑是否有运行工况的限制。比如，自动驾驶系统是指由硬件和软件组成的能够持续执行部分或者全部动态驾驶任务(Dynamic Driving Task)的系统。
其中，动态驾驶任务(Dynamic Driving Task)为：完成车辆驾驶所需的感知、决策和执行。即包括驾驶道路车辆时所有实时的操作类和战术类功能，不包括规划类功能，如行程计划，目的地和路径的选择等。
示例性的，动态驾驶任务包括但不限于如下任务：控制车辆横向运动、控制车辆纵向运动、通过对目标和事件进行探测、识别、分类来监视驾驶环境并准备响应、控制车辆照明及信号装置。
一般来说，当超出运行设计域(Operational Design Domain，简称ODD)或动态驾驶任务相关系统失效时，需要由自动驾驶状态切换到人工驾驶状态，即由驾驶员来继续接管驾驶任务。其中，运行设计域在自动驾驶中扮演着重要角色，一般包括：地理位置、道路类型、速度范围、天气和时间等。
在本申请的实施例中，第三双目视觉模组1020和第四双目视觉模组1030可以分别设置在车辆10的同一侧的不同位置，第三双目视觉模组1020能够观测车辆10的前侧方向上的目标对象，第四双目视觉模组1030能够观测与车辆10的前侧方向呈预设夹角对应方向上的目标对象，如车辆10左前方或右前方的目标对象。
其中，第三双目视觉模组1020和第四双目视觉模组1030的参数关系以及功能，对应与上述第一双目视觉模组130和第二双目视觉模组140之间的参数关系以及对应功能相同。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的车辆由自动驾驶系统控制自动驾驶的具体过程，可以参数与上述以无人机为例的可移动平台的对应过程，在此不再赘述。
例如，车辆相对于无人机，在运动过程中，对应的姿态信息包括偏航角，具体地，随着偏航角的变化，车辆在第三双目视觉模组1020和第四双目视觉模组1030中选择双目视觉模组的过程，可以参考上述无人机随着俯仰角的变化，在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组的过程。其中，车辆在需要转弯时，运动状态信息会发生变化，对应车辆的偏航角会随着车辆运动状态信息的变化发生变化等。
请参阅图11，图11是本申请实施例提供的一种可移动平台控制方法的示意流程图。该可移动平台控制方法可以应用于控制装置，该控制装置用于控制可移动平台，以提高可移动平台运动的安全性。其中，可移动平台可以是如图3所示的无人机，也可以是无人驾驶车辆和可移动机器人中的至少一项。在本实施例中，可移动平台包括平台本体以及设置在平台本体上的不同位置的至少两组双目视觉模组；每组双目视觉模组的朝向不同，随可移动平台在目标方向运动的速度值变化，每组双目视觉模组的朝向与目标方向之间的相对方向关系变化。
如图11所示，该可移动平台控制方法包括步骤S1101至步骤S1103。
S1101，在所述可移动平台沿所述目标方向运动的过程中，在所述至少两组双目视觉模组中选择双目视觉模组，其中，以第一速度值运动时选择的所述双目视觉模组，不同于以第二速度运动时选择的所述双目视觉模组。
在一些实施例中，至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组，其中，第一双目视觉模组的朝向与第二双目视觉模组的朝向呈预设夹角。
在一些实施例中，所述至少两组双目视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上的目标对象。例如，第一双目视觉模组设置在平台本体的前侧，能够观测可移动平台前侧方向上的目标对象；第二双目视觉模组设置在平台本体的上侧，能够观测与可移动平台前侧方向呈预设夹角的对应方向上的目标对象。示例性地，第二双目视觉模组能够观测与可移动平台前侧方向呈90度方向上的目标对象，或者能够观测与可移动平台前侧方向呈锐角方向上的目标对象，如可移动平台左前方或右前方的目标对象。
在一些实施例中，第一双目视觉模组和第二双目视觉模组的参数不同；例如，第一双目视觉模组和第二双目视觉模组的视场角不同，或者，第一双目视觉模组和第二双目视觉模组的分辨率不同。在可移动平台运动的过程中，通过在具有不同视场角或者分辨率的至少两组双目视觉模组中选择双目视觉模组，来达到有效地平衡可移动平台的观测范围和观测速度。
在一些实施例中，第一双目视觉模组的视场角范围与第二双目视觉模组的视场角范围至少部分重叠。
在一些实施例中，第一双目视觉模组的视场角小于第二双目视觉模组的视场角，和/或，第一双目视觉模组的分辨率小于第二视觉模组的分辨率。
在一些实施例中，所述在所述至少两组双目视觉模组中选择双目视觉模组，包括：根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组，所述运动状态信息包括姿态信息和运动信息中的至少一种。
在一些实施例中，所述姿态信息包括俯仰角或偏航角，所述根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组， 包括：根据可移动平台的俯仰角或偏航角，在至少两组双目视觉模组中选择双目视觉模组。
在一些实施例中，所述根据可移动平台的俯仰角或偏航角，在至少两组双目视觉模组中选择双目视觉模组，包括：若可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组变化条件，则从第一视觉模组和第二视觉模组中选择的双目视觉模组。
在一些实施例中，若可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组变化条件，则从第一视觉模组和第二视觉模组中选择的双目视觉模组，包括：若可移动平台的俯仰角变化为小于或等于第一俯仰角，则选择的双目视觉模组为第二双目视觉模组；若可移动平台的俯仰角变化为大于第一俯仰角，且小于或等于第二俯仰角，则选择的双目视觉模组为第一双目视觉模组3和第二双目视觉模组；若可移动平台的俯仰角变化为大于第二俯仰角，且小于或等于第三俯仰角，则选择的双目视觉模组为第一双目视觉模组。
在一些实施例中，所述运动信息包括所述可移动平台的速度信息、位置信息和加速度信息中的至少一种，所述在至少两组双目视觉模组中选择双目视觉模组，包括：根据可移动平台的姿态信息和所述运动信息，预测可移动平台经过预设时间后在双目视觉模组采集到的图像中的目标位置信息；根据所述目标位置信息、第一双目视觉模组和第二双目视觉模组各自对应的视场角，在第一双目视觉模组和第二双目视觉模组中选择双目视觉模组。
其中，所述姿态信息包括俯仰角，所述根据所述姿态信息和所述运动信息，预测经过预设时间后可移动平台在双目视觉模组采集到的图像中的目标位置信息，包括：获取第一双目视觉模组的第一视场角范围和第二双目视觉模组的第二视场角范围；根据所述第一视场角范围、俯仰角和速度值，预测经过预设时间后可移动平台在第一双目视觉模组采集到的图像中的第一目标位置信息；根据所述第二视场角范围、俯仰角和速度值，预测经过预设时间后可移动平台在第二双目视觉模组采集到的图像中的第二目标位置信息。
在一些实施例中，所述根据所述目标位置信息和两组所述双目视觉模组各自对应的视场角，选择双目视觉模组时，包括：若第一目标位置信息位于第一视场角范围，而第二目标位置信息不位于第二视场角范围，则选择的双目视觉 模组为第一双目视觉模组；若第一目标位置信息不位于第一视场角范围，而第二目标位置信息位于第二视场角范围，则选择的双目视觉模组为第二双目视觉模组；若第一目标位置信息位于第一视场角范围，且第二目标位置信息位于第二视场角范围，则选择的双目视觉模组为第一双目视觉模组和第二双目视觉模组。
S1102，根据选择的所述双目视觉模组采集的图像数据确定环境观测信息。
在一些实施例中，所述根据选择的双目视觉模组采集到的图像数据确定环境观测数据，包括：若所选的双目视觉模组为第一双目视觉模组，则使能第一双目视觉模组，且不使能第二双目视觉模组；根据使能所述第一双目视觉模组采集到的第一图像数据，确定所述环境观测数据。
在一些实施例中，根据选择的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：若所选的双目视觉模组为第一双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据，并对所述第二图像数据进行下采样，得到第三图像数据；根据所述第一图像数据和所述第三图像数据，确定所述环境观测数据。
在一些实施例中，所述根据所选的双目视觉模组采集到的图像数据确定环境观测数据，包括：若所选的双目标视觉模组为第一双目视觉模组和第二双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据；根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据。
在一些实施例中，所述环境观测数据包括所述可移动平台周围的目标对象的位置信息；所述根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据，包括：根据所述第一图像数据计算得到第一深度图，并根据所述第二图像数据计算得到第二深度图；对所述第一深度图和所述第二深度图进行融合，得到目标深度图；根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
在一些实施例中，所述对所述第一深度图和所述第二深度图进行融合，得 到目标深度图，包括：确定所述第一深度图与所述第二深度图之间的重叠区域；根据所述重叠区域，确定所述第一深度图的缩放比例；根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
在一些实施例中，所述第二深度图与所述第三深度图中的相同目标对象的尺寸相同。
在一些实施例中，所述确定所述第一深度图与所述第二深度图之间的重叠区域，包括：从所述第一深度图中提取多个第一特征点；将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
在一些实施例中，所述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述根据所述重叠区域，确定所述第一深度图的缩放比例，包括：确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
在一些实施例中，所述根据所选的双目视觉模组采集到的图像数据确定所述环境观测数据，包括：若所选的双目视觉模组为第二双目视觉模组，则使能所述第一双目视觉模组的部分功能，并使能所述第二双目视觉模组的全部功能；
根据所述第二双目视觉模组采集到的第二图像数据，确定所述环境观测数据。
S1103，基于所述环境观测信息控制所述可移动平台运动。
示例性地，该环境观测信息包括目标对象的位置信息；基于环境观测信息控制可移动平台运动，包括：基于目标对象的位置信息控制可移动平台运动。
在一实施例中，若目标对象的位置信息在预测的可移动平台经过预设时间后(例如1s)的运动通道中，则需要控制可移动平台进行避障。例如，根据当前无人机的运动信息，确定变换无人机的速度，采取刹车，或者绕道飞行等避障措施，以保证无人机在预设时间内的飞行安全。
具体地，预测可移动平台经过预设时间后的运动通道的具体过程以及控制 可移动平台运动的具体过程可以参考前述可移动平台实施例中的对应过程，在此不再赘述。
通过上述分析可知，本申请实施例提供的可移动平台控制方法，通过设置在平台本体不同位置的具有不同朝向的至少两组双目视觉模组，其中，每组双目视觉模组的朝向不同，每组双目视觉模组的朝向与可移动平台目标方向之间的相对方向关系，随可移动平台在目标方向运动的速度值变化而变化，在可移动平台沿目标方向运动过程中，在至少两组双目视觉模组中选择双目视觉模组，以实现根据选择的双目视觉模组采集的图像数据确定环境观测信息，进而根据确定的环境观测信息控制可移动平台运动，来提高可以平台运动的安全性。
请参阅图12，图12是本申请实施例提供的另一种可移动平台控制方法的示意流程图。该可移动平台控制方法可以应用于控制装置，该控制装置用于控制可移动平台，以提高可移动平台运动的安全性。其中，可移动平台可以是如图3所示的可移动平台，在本实施例中，可移动平台包括平台本体以及设置在平台本体上的不同位置的至少两组双目视觉模组；所述至少两组双目视觉模组的视场角范围至少部分重叠。
如图12所示，该可移动平台控制方法包括步骤S1201至步骤S1202。
S1101，根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息。
在一些实施例中，每组所述双目视觉模组的朝向不同，每组所述双目视觉模组的朝向与所述可移动平台的速度方向对应的夹角会随着所述可移动平台运动而发生变化。
在一些实施例中，所述至少两组双目视觉模组的参数不同。
在一些实施例中，所述至少两组双目视觉模组的视场角不同。
在一些实施例中，所述至少两组双目视觉模组的分辨率不同。
在一些实施例中，所述至少两组视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上目标对象。
在一些实施例中，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
在一些实施例中，所述第一双目视觉模组能够观测所述可移动平台的前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述前侧方向呈预设夹角对应方向上的目标对象。
在一些实施例中，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
在一些实施例中，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
在一些实施例中，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二双目视觉模组的分辨率。
在一些实施例中，所述根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息，包括：根据第一双目视觉模组采集到的第一图像数据计算得到第一深度图；根据第二双目视觉模组采集到的第二图像数据计算得到第二深度图；对所述第一深度图和所述第二深度图进行融合，得到目标深度图；根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
在一些实施例中，所述对所述第一深度图和所述第二深度图进行融合，得到目标深度图，包括：确定所述第一深度图与所述第二深度图之间的重叠区域；根据所述重叠区域，确定所述第一深度图的缩放比例；根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
在一些实施例中，所述第二深度图与所述第三深度图中相同目标对象的尺寸相同。
在一些实施例中，所述确定所述第一深度图与所述第二深度图之间的重叠区域，包括：从所述第一深度图中提取多个第一特征点；将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
在一些实施例中，所述重叠区域包括位于所述第一深度图中的第一重叠区 域和位于所述第二深度图中的第二重叠区域，所述根据所述重叠区域，确定所述第一深度图的缩放比例时，用于实现：确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
S1202，基于所述目标对象的位置信息控制所述可移动平台运动。
示例性地，该环境观测信息包括目标对象的位置信息；基于环境观测信息控制可移动平台运动，包括：基于目标对象的位置信息控制可移动平台运动。
在一实施例中，若目标对象的位置信息在预测的可移动平台经过预设时间后(例如1s)的运动通道中，则需要控制可移动平台进行避障。例如，根据当前无人机的运动信息，确定变换无人机的速度，采取刹车，或者绕道飞行等避障措施，以保证无人机在预设时间内的飞行安全。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的可移动平台控制方法的具体工作过程，可以参考前述可移动平台实施例中的对应过程，在此不再赘述。
请参阅图13，图13是本申请实施例提供的一种控制装置的结构示意性框图。需要说明的是，该控制装置130安装于如图3所示的可移动平台上，该可移动平台包括平台本体和至少两组双目视觉模组，该至少两组双目视觉模组设置在平台本体上的不同位置，每组双目视觉模组的朝向不同，随可移动平台在目标方向运动的速度值变化，每组双目视觉模组的朝向与目标方向之间的相对方向关系变化。
如图13所示，该控制装置130包括处理器1301和存储器1302，处理器1301和存储器1302通过总线1303连接，该总线1303比如为I3C(Inter-integrated Circuit)总线。该控制装置130用于控制可移动平台。
具体地，处理器1301可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器1302可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行所述计算机程序时实现如下步骤：
在所述可移动平台沿所述目标方向运动的过程中，在所述至少两组双目视觉模组中选择双目视觉模组，其中，以第一速度值运动时选择的所述双目视觉模组，不同于以第二速度值运动时选择的所述双目视觉模组；
根据选择的所述双目视觉模组采集的图像数据确定环境观测信息；
基于所述环境观测信息控制所述可移动平台运动。
在一实施例中，所述至少两组双目视觉模组的参数不同。
在一实施例中，所述至少两组双目视觉模组的视场角不同。
在一实施例中，所述至少两组双目视觉模组的分辨率不同。
在一实施例中，所述至少两组双目视觉模组的视场角范围至少部分重叠。
在一实施例中，所述至少两组双目视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上的目标对象。
在一实施例中，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
在一实施例中，所述第一双目视觉模组能够观测所述可移动平台前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述可移动平台前侧方向呈预设夹角的对应方向上的目标对象。
在一实施例中，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
在一实施例中，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
在一实施例中，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二视觉模组的分辨率。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行在所述至少两组双目视觉模组中选择双目视觉模组时，实现如下步骤：
根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组，所述运动状态信息包括姿态信息和运动信息中的至少一种。
在一实施例中，所述姿态信息包括俯仰角或偏航角，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行在实现根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组时，实现如下步骤：
根据所述可移动平台的俯仰角或偏航角，在所述至少两组双目视觉模组中选择双目视觉模组。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据所述可移动平台的俯仰角，在所述至少两组双目视觉模组中选择双目视觉模组时，实现如下步骤：
若所述可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组选择条件，则从所述至少两组视觉模组中选择选择双目视觉模组。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行若所述可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组选择条件，则从所述至少两组双目视觉模组中选择双目视觉模组时，实现如下步骤：
若所述可移动平台的俯仰角变化为小于或等于第一俯仰角，则选择的双目视觉模组为第二双目视觉模组；
若所述可移动平台的俯仰角变化为大于第一俯仰角，且小于或等于第二俯仰角，则选择的双目视觉模组为第一双目视觉模组和第二双目视觉模组；
若所述可移动平台的俯仰角变化为大于第二俯仰角，且小于或等于第三俯仰角，则选择的双目视觉模组为第一双目视觉模组。
在一实施例中，所述运动状态信息包括所述可移动平台的速度信息、位置信息和加速度信息中的至少一种，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组时，实现如下步骤：
根据所述可移动平台的姿态信息和运动状态信息，预测所述可移动平台经过预设时间后在双目视觉模组采集到的图像中的目标位置信息；
根据所述目标位置信息和至少两组所述双目视觉模组各自对应的视场角，在所述至少两组视觉模组中选择双目视觉模组。
在一实施例中，所述姿态信息包括俯仰角，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行在实现根据所述姿态信息和所述运动状态信息，预测经过预设时间后所述可移动平台在双目视觉模组采集到的图像中的目标位置信息时，实现如下步骤：
获取第一双目视觉模组的第一视场角范围和第二双目视觉模组的第二视场角范围；
根据所述第一视场角范围、俯仰角和速度信息，预测经过预设时间后所述可移动平台在所述第一双目视觉模组采集到的图像中的第一目标位置信息；
根据所述第二视场角范围、俯仰角和速度信息，预测经过预设时间后所述可移动平台在所述第二双目视觉模组采集到的图像中的第二目标位置信息。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行在实现根据所述目标位置信息和至少两组所述双目视觉模组各自对应的视场角，选择双目视觉模组时，实现如下步骤：
若所述第一目标位置信息位于所述第一视场角范围，而所述第二目标位置信息不位于所述第二视场角范围，则选择的双目视觉模组为所述第一双目视觉模组；
若所述第一目标位置信息不位于所述第一视场角范围，而所述第二目标位置信息位于所述第二视场角范围，则选择的双目视觉模组为所述第二双目视觉模组；
若所述第一目标位置信息位于所述第一视场角范围，且所述第二目标位置信息位于所述第二视场角范围，则选择的双目视觉模组为所述第一双目视觉模组和所述第二双目视觉模组。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据选择的双目视觉模组采集到的图像数据确定环境观测数据时，实现如下步骤：
若所选的双目视觉模组为第一双目视觉模组，则使能第一双目视觉模组，且不使能第二双目视觉模组；
根据使能所述第一双目视觉模组采集到的第一图像数据，确定所述环境观测数据。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据选择的双目视觉模组采集到的图像数据确定环境观测数据时，实现如下步骤：
若所选的双目视觉模组为第一双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；
获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据，并对所述第二图像数据进行下采样，得到第三图像数据；
根据所述第一图像数据和所述第三图像数据，确定所述环境观测数据。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，实现如下步骤：
若所选的双目标视觉模组为第一双目视觉模组和第二双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；
获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据；
根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据。
在一实施例中，所述环境观测数据包括所述可移动平台周围的目标对象的位置信息；所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据时，实现如下步骤：
根据所述第一图像数据计算得到第一深度图，并根据所述第二图像数据计算得到第二深度图；
对所述第一深度图和所述第二深度图进行融合，得到目标深度图；
根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行对所述第一深度图和所述第二深度图进行融合，得到目标深度图时，实现如下步骤：
确定所述第一深度图与所述第二深度图之间的重叠区域；
根据所述重叠区域，确定所述第一深度图的缩放比例；
根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；
对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
在一实施例中，所述第二深度图与所述第三深度图中的相同目标对象的尺寸相同。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行确定所述第一深度图与所述第二深度图之间的重叠区域时，实现如下步骤：
从所述第一深度图中提取多个第一特征点；
将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；
根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
在一实施例中，所述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据所述重叠区域，确定所述第一深度图的缩放比例时，实现如下步骤：
确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；
根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据所选的双目视觉模组采集到的图像数据确定所述环境观测数据时，实现如下步骤：
若所选的双目视觉模组为第二双目视觉模组，则使能所述第一双目视觉模组的部分功能，并使能所述第二双目视觉模组的全部功能；
根据所述第二双目视觉模组采集到的第二图像数据，确定所述环境观测数据。
在一实施例中，所述可移动平台包括无人飞行器、载人飞行器、机器人和无人驾驶车辆中的至少一项。
在另一实施例中，处理器1301用于运行存储在存储器1302中的计算机程序，并在执行所述计算机程序时实现如下步骤：
根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息；
基于所述目标对象的位置信息控制所述可移动平台运动。
在一实施例中，每组所述双目视觉模组的朝向不同，每组所述双目视觉模组的朝向与所述可移动平台的速度方向对应的夹角会随着所述可移动平台运动而发生变化。
在一实施例中，所述至少两组双目视觉模组的参数不同。
在一实施例中，所述至少两组双目视觉模组的视场角不同。
在一实施例中，所述至少两组双目视觉模组的分辨率不同。
在一实施例中，所述至少两组视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上目标对象。
在一实施例中，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
在一实施例中，所述第一双目视觉模组能够观测所述可移动平台的前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述前侧方向呈预设夹角对应方向上的目标对象。
在一实施例中，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
在一实施例中，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
在一实施例中，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二双目视觉模组的分辨率。
在一实施例中，所述根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息，包括：
根据第一双目视觉模组采集到的第一图像数据计算得到第一深度图；
根据第二双目视觉模组采集到的第二图像数据计算得到第二深度图；
对所述第一深度图和所述第二深度图进行融合，得到目标深度图；
根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
在一实施例中，所述对所述第一深度图和所述第二深度图进行融合，得到目标深度图，包括：
确定所述第一深度图与所述第二深度图之间的重叠区域；
根据所述重叠区域，确定所述第一深度图的缩放比例；
根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；
对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
在一实施例中，所述第二深度图与所述第三深度图中相同目标对象的尺寸相同。
在一实施例中，所述确定所述第一深度图与所述第二深度图之间的重叠区域，包括：
从所述第一深度图中提取多个第一特征点；
将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；
根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
在一实施例中，所述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述根据所述重叠区域，确定所述第一深度图的缩放比例，包括：
确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；
根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的控制装置的具体工作过程，可以参考前述可移动平台控制方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程 序指令，实现上述实施例提供的可移动平台控制方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的控制装置的内部存储单元，例如所述控制装置的硬盘或内存。所述计算机可读存储介质也可以是所述控制装置的外部存储设备，例如所述控制装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (89)

  1. 一种可移动平台，其特征在于，所述可移动平台包括：
    平台本体；
    至少两组双目视觉模组，设置在所述平台本体上的不同位置，每组所述双目视觉模组的朝向不同，随所述可移动平台在目标方向运动的速度值变化，每组所述双目视觉模组的朝向与所述目标方向之间的相对方向关系变化；
    控制装置，设置在所述平台本体内，所述控制装置用于实现以下步骤：
    在所述可移动平台沿所述目标方向运动的过程中，在所述至少两组双目视觉模组中选择双目视觉模组，其中，以第一速度值运动时选择的所述双目视觉模组，不同于以第二速度值运动时选择的所述双目视觉模组；
    根据选择的所述双目视觉模组采集的图像数据确定环境观测信息；
    基于所述环境观测信息控制所述可移动平台运动。
  2. 根据权利要求1所述的可移动平台，其特征在于，所述至少两组双目视觉模组的参数不同。
  3. 根据权利要求2所述的可移动平台，其特征在于，所述至少两组双目视觉模组的视场角不同。
  4. 根据权利要求2所述的可移动平台，其特征在于，所述至少两组双目视觉模组的分辨率不同。
  5. 根据权利要求1所述的可移动平台，其特征在于，所述至少两组双目视觉模组的视场角范围至少部分重叠。
  6. 根据权利要求1所述的可移动平台，其特征在于，所述至少两组双目视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上的目标对象。
  7. 根据权利要求1所述的可移动平台，其特征在于，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
  8. 根据权利要求7所述的可移动平台，其特征在于，所述第一双目视觉模组能够观测所述可移动平台前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述可移动平台前侧方向呈预设夹角的对应方向上的目标对象。
  9. 根据权利要求8所述的可移动平台，其特征在于，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
  10. 根据权利要求8所述的可移动平台，其特征在于，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
  11. 根据权利要求7所述的可移动平台，其特征在于，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二视觉模组的分辨率。
  12. 根据权利要求1-11中任一项所述的可移动平台，其特征在于，所述控制装置在实现在所述至少两组双目视觉模组中选择双目视觉模组时，用于实现：
    根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组，所述运动状态信息包括姿态信息和运动信息中的至少一种。
  13. 根据权利要求12所述的可移动平台，其特征在于，所述姿态信息包括俯仰角或偏航角，所述控制装置在实现根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组时，用于实现：
    根据所述可移动平台的俯仰角或偏航角，在所述至少两组双目视觉模组中选择双目视觉模组。
  14. 根据权利要求13所述的可移动平台，其特征在于，所述控制装置在实现根据所述可移动平台的俯仰角，在所述至少两组双目视觉模组中选择双目视觉模组时，用于实现：
    若所述可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组选择条件，则从所述至少两组双目视觉模组中选择双目视觉模组。
  15. 根据权利要求14所述的可移动平台，其特征在于，所述控制装置在实现若所述可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组选择条件，则从所述至少两组双目视觉模组中选择双目视觉模组时，用于实现：
    若所述可移动平台的俯仰角变化为小于或等于第一俯仰角，则所选的双目视觉模组为第二双目视觉模组；
    若所述可移动平台的俯仰角变化为大于第一俯仰角，且小于或等于第二俯仰角，则所选的双目视觉模组为第一双目视觉模组和第二双目视觉模组；
    若所述可移动平台的俯仰角变化为大于第二俯仰角，且小于或等于第三俯仰角，则所选的双目视觉模组为第一双目视觉模组。
  16. 根据权利要求12所述的可移动平台，其特征在于，所述运动信息包括所述可移动平台的速度信息、位置信息和加速度信息中的至少一种，所述控制装置在实现根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组时，用于实现：
    根据所述姿态信息和所述运动信息，预测所述可移动平台经过预设时间后在双目视觉模组采集到的图像中的目标位置信息；
    根据所述目标位置信息和至少两组所述双目视觉模组各自对应的视场角，在所述至少两组双目视觉模组中选择双目视觉模组。
  17. 根据权利要求16所述的可移动平台，其特征在于，所述姿态信息包括俯仰角，所述控制装置在实现根据所述姿态信息和所述运动信息，预测经过预设时间后所述可移动平台在双目视觉模组采集到的图像中的目标位置信息时，用于实现：
    获取第一双目视觉模组的第一视场角范围和第二双目视觉模组的第二视场角范围；
    根据所述第一视场角范围、俯仰角和速度信息，预测经过预设时间后所述可移动平台在所述第一双目视觉模组采集到的图像中的第一目标位置信息；
    根据所述第二视场角范围、俯仰角和速度信息，预测经过预设时间后所述可移动平台在所述第二双目视觉模组采集到的图像中的第二目标位置信息。
  18. 根据权利要求17所述的可移动平台，其特征在于，所述控制装置在实现根据所述目标位置信息和至少两组所述双目视觉模组各自对应的视场角，在所述至少两组双目视觉模组中选择双目视觉模组时，用于实现：
    若所述第一目标位置信息位于所述第一视场角范围，而所述第二目标位置信息不位于所述第二视场角范围，则所选的双目视觉模组为所述第一双目视觉模组；
    若所述第一目标位置信息不位于所述第一视场角范围，而所述第二目标位置信息位于所述第二视场角范围，则所选的双目视觉模组为所述第二双目视觉模组；
    若所述第一目标位置信息位于所述第一视场角范围，且所述第二目标位置信息位于所述第二视场角范围，则所选的双目视觉模组为所述第一双目视觉模组和所述第二双目视觉模组。
  19. 根据权利要求1-11中任一项所述的可移动平台，其特征在于，所述控制装置在实现根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：
    若所选的双目视觉模组为第一双目视觉模组，则使能第一双目视觉模组，且不使能第二双目视觉模组；
    根据使能所述第一双目视觉模组采集到的第一图像数据，确定所述环境观测数据。
  20. 根据权利要求1-11中任一项所述的可移动平台，其特征在于，所述控制装置在实现根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：
    若所选的双目视觉模组为第一双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；
    获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据，并对所述第二图像数据进行下采样，得到第三图像数据；
    根据所述第一图像数据和所述第三图像数据，确定所述环境观测数据。
  21. 根据权利要求1-11中任一项所述的可移动平台，其特征在于，所述控制装置在实现根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：
    若所选的双目标视觉模组为第一双目视觉模组和第二双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；
    获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据；
    根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据。
  22. 根据权利要求21所述的可移动平台，其特征在于，所述环境观测数据包括所述可移动平台周围的目标对象的位置信息；所述控制装置在实现根据 所述第一图像数据和所述第二图像数据，确定所述环境观测数据时，用于实现：
    根据所述第一图像数据计算得到第一深度图，并根据所述第二图像数据计算得到第二深度图；
    对所述第一深度图和所述第二深度图进行融合，得到目标深度图；
    根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
  23. 根据权利要求22所述的的可移动平台，其特征在于，所述控制装置在实现对所述第一深度图和所述第二深度图进行融合，得到目标深度图时，用于实现：
    确定所述第一深度图与所述第二深度图之间的重叠区域；
    根据所述重叠区域，确定所述第一深度图的缩放比例；
    根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；
    对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
  24. 根据权利要求23所述的的可移动平台，其特征在于，所述第二深度图与所述第三深度图中的相同目标对象的尺寸相同。
  25. 根据权利要求24所述的的可移动平台，其特征在于，所述控制装置在实现确定所述第一深度图与所述第二深度图之间的重叠区域时，用于实现：
    从所述第一深度图中提取多个第一特征点；
    将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；
    根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
  26. 根据权利要求23所述的的可移动平台，其特征在于，所述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述控制装置在实现根据所述重叠区域，确定所述第一深度图的缩放比例时，用于实现：
    确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；
    根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
  27. 根据权利要求1-11中任一项所述的可移动平台，其特征在于，所述 控制装置在实现根据所选的双目视觉模组采集到的图像数据确定所述环境观测数据时，用于实现：
    若所选的双目视觉模组为第二双目视觉模组，则使能所述第一双目视觉模组的部分功能，并使能所述第二双目视觉模组的全部功能；
    根据所述第二双目视觉模组采集到的第二图像数据，确定所述环境观测数据。
  28. 一种可移动平台，其特征在于，所述可移动平台包括：
    平台本体；
    至少两组双目视觉模组，设置在所述平台本体上的不同位置，所述至少两组双目视觉模组的视场角范围至少部分重叠；
    控制装置，设置在所述平台本体内，所述控制装置用于：
    根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息；
    基于所述目标对象的位置信息控制所述可移动平台运动。
  29. 根据权利要求28所述的可移动平台，其特征在于，每组所述双目视觉模组的朝向不同，每组所述双目视觉模组的朝向与所述可移动平台的速度方向对应的夹角会随着所述可移动平台运动而发生变化。
  30. 根据权利要求29所述的可移动平台，其特征在于，所述至少两组双目视觉模组的参数不同。
  31. 根据权利要求29所述的可移动平台，其特征在于，所述至少两组双目视觉模组的视场角不同。
  32. 根据权利要求29所述的可移动平台，其特征在于，所述至少两组双目视觉模组的分辨率不同。
  33. 根据权利要求29所述的可移动平台，其特征在于，所述至少两组视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上目标对象。
  34. 根据权利要求29所述的可移动平台，其特征在于，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
  35. 根据权利要求34所述的可移动平台，其特征在于，所述第一双目视 觉模组能够观测所述可移动平台的前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述前侧方向呈预设夹角对应方向上的目标对象。
  36. 根据权利要求35所述的可移动平台，其特征在于，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
  37. 根据权利要求35所述的可移动平台，其特征在于，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
  38. 根据权利要求34所述的可移动平台，其特征在于，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二双目视觉模组的分辨率。
  39. 根据权利要求28-38中任一项所述的可移动平台，其特征在于，所述控制装置在实现根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息时，用于实现：
    根据第一双目视觉模组采集到的第一图像数据计算得到第一深度图；
    根据第二双目视觉模组采集到的第二图像数据计算得到第二深度图；
    对所述第一深度图和所述第二深度图进行融合，得到目标深度图；
    根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
  40. 根据权利要求39所述的可移动平台，其特征在于，所述对所述第一深度图和所述第二深度图进行融合，得到目标深度图，包括：
    确定所述第一深度图与所述第二深度图之间的重叠区域；
    根据所述重叠区域，确定所述第一深度图的缩放比例；
    根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；
    对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
  41. 根据权利要求40所述的可移动平台，其特征在于，所述第二深度图与所述第三深度图中相同目标对象的尺寸相同。
  42. 根据权利要求40所述的可移动平台，其特征在于，所述控制装置在实现确定所述第一深度图与所述第二深度图之间的重叠区域时，用于实现：
    从所述第一深度图中提取多个第一特征点；
    将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；
    根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
  43. 根据权利要求40所述的可移动平台，其特征在于，所述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述控制装置在实现根据所述重叠区域，确定所述第一深度图的缩放比例时，用于实现：
    确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；
    根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
  44. 根据权利要求28所述的可移动平台，其特征在于，所述可移动平台包括无人飞行器、载人飞行器、机器人和无人驾驶车辆中的至少一项。
  45. 一种可移动平台的控制方法，其特征在于，所述可移动平台包括平台本体以及设置在所述平台本体上的不同位置的至少两组双目视觉模组；每组所述双目视觉模组的朝向不同，随所述可移动平台在目标方向运动的速度值变化，每组所述双目视觉模组的朝向与所述目标方向之间的相对方向关系变化；所述方法包括：
    在所述可移动平台沿所述目标方向运动的过程中，在所述至少两组双目视觉模组中选择双目视觉模组，其中，以第一速度值运动时选择的所述双目视觉模组，不同于以第二速度运动时选择的所述双目视觉模组；
    根据选择的所述双目视觉模组采集的图像数据确定环境观测信息；
    基于所述环境观测信息控制所述可移动平台运动。
  46. 根据权利要求45所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组的参数不同。
  47. 根据权利要求46所述的可移动平台的控制方法，其特征在于，所述所述至少两组双目视觉模组的视场角不同。
  48. 根据权利要求46所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组的分辨率不同。
  49. 根据权利要求45所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组的视场角范围至少部分重叠。
  50. 根据权利要求45所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上的目标对象。
  51. 根据权利要求45所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
  52. 根据权利要求45所述的可移动平台的控制方法，其特征在于，所述第一双目视觉模组能够观测所述可移动平台前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述可移动平台前侧方向呈预设夹角的对应方向上的目标对象。
  53. 根据权利要求52所述的可移动平台的控制方法，其特征在于，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
  54. 根据权要求52所述的可移动平台的控制方法，其特征在于，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
  55. 根据权利要求51所述的可移动平台的控制方法，其特征在于，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二视觉模组的分辨率。
  56. 根据权利要求45-55中任一项所述的可移动平台的控制方法，其特征在于，所述在所述至少两组双目视觉模组中选择双目视觉模组，包括：
    根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组，所述运动状态信息包括姿态信息和运动信息中的至少一种。
  57. 根据权利要求56所述的可移动平台的控制方法，其特征在于，所述姿态信息包括俯仰角或偏航角，所述根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组，包括：
    根据所述可移动平台的俯仰角或偏航角，在所述至少两组双目视觉模组中选择双目视觉模组。
  58. 根据权利要求57所述的可移动平台的控制方法，其特征在于，所述根据所述可移动平台的俯仰角，在所述至少两组双目视觉模组中选择双目视觉模组，包括：
    若所述可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组选 择条件，则从所述至少两组双目视觉模组中选择双目视觉模组。
  59. 根据权利要求58所述的可移动平台的控制方法，其特征在于，所述若所述可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组选择条件，则从所述至少两组双目视觉模组中选择双目视觉模组，包括：
    若所述可移动平台的俯仰角变化为小于或等于第一俯仰角，则所选的双目视觉模组为第二双目视觉模组；
    若所述可移动平台的俯仰角变化为大于第一俯仰角，且小于或等于第二俯仰角，则所选的双目视觉模组为第一双目视觉模组和第二双目视觉模组；
    若所述可移动平台的俯仰角变化为大于第二俯仰角，且小于或等于第三俯仰角，则所选的双目视觉模组为第一双目视觉模组。
  60. 根据权利要求56所述的可移动平台的控制方法，其特征在于，所述运动信息包括所述可移动平台的速度信息、位置信息和加速度信息中的至少一种，所述根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组，包括：
    根据所述姿态信息和所述运动信息，预测所述可移动平台经过预设时间后在双目视觉模组采集到的图像中的目标位置信息；
    根据所述目标位置信息和至少两组所述双目视觉模组各自对应的视场角，在所述至少两组双目视觉模组中选择双目视觉模组。
  61. 根据权利要求60所述的可移动平台的控制方法，其特征在于，所述姿态信息包括俯仰角，所述根据所述速度值和所述姿态信息，预测经过预设时间后所述可移动平台在双目视觉模组采集到的图像中的目标位置信息，包括：
    获取第一双目视觉模组的第一视场角范围和第二双目视觉模组的第二视场角范围；
    根据所述第一视场角范围、俯仰角和速度信息，预测经过预设时间后所述可移动平台在所述第一双目视觉模组采集到的图像中的第一目标位置信息；
    根据所述第二视场角范围、俯仰角和当前速度信息，预测经过预设时间后所述可移动平台在所述第二双目视觉模组采集到的图像中的第二目标位置信息。
  62. 根据权利要求61所述的可移动平台的控制方法，其特征在于，所述 在实现根据所述目标位置信息和至少两组所述双目视觉模组各自对应的视场角，在所述至少两组双目视觉模组中选择双目视觉模组，包括：
    若所述第一目标位置信息位于所述第一视场角范围，而所述第二目标位置信息不位于所述第二视场角范围，则所选的双目视觉模组为所述第一双目视觉模组；
    若所述第一目标位置信息不位于所述第一视场角范围，而所述第二目标位置信息位于所述第二视场角范围，则所选的双目视觉模组为所述第二双目视觉模组；
    若所述第一目标位置信息位于所述第一视场角范围，且所述第二目标位置信息位于所述第二视场角范围，则所选的双目视觉模组为所述第一双目视觉模组和所述第二双目视觉模组。
  63. 根据权利要求45-55中任一项所述的可移动平台的控制方法，其特征在于，所述控制装置在实现根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：
    若所选的双目视觉模组为第一双目视觉模组，则使能第一双目视觉模组，且不使能第二双目视觉模组；
    根据使能所述第一双目视觉模组采集到的第一图像数据，确定所述环境观测数据。
  64. 根据权利要求45-55中任一项所述的可移动平台的控制方法，其特征在于，所述根据所选的双目视觉模组采集到的图像数据确定环境观测数据，包括：
    若所选的双目视觉模组为第一双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；
    获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据，并对所述第二图像数据进行下采样，得到第三图像数据；
    根据所述第一图像数据和所述第三图像数据，确定所述环境观测数据。
  65. 根据权利要求45-55中任一项所述的可移动平台的控制方法，其特征在于，所述根据所选的双目视觉模组采集到的图像数据确定环境观测数据，包 括：
    若所选的双目标视觉模组为第一双目视觉模组和第二双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；
    获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据；
    根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据。
  66. 根据权利要求65所述的可移动平台的控制方法，其特征在于，所述环境观测数据包括所述可移动平台周围的目标对象的位置信息；所述根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据，包括：
    根据所述第一图像数据计算得到第一深度图，并根据所述第二图像数据计算得到第二深度图；
    对所述第一深度图和所述第二深度图进行融合，得到目标深度图；
    根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
  67. 根据权利要求66所述的的可移动平台的控制方法，其特征在于，所述对所述第一深度图和所述第二深度图进行融合，得到目标深度图，包括：
    确定所述第一深度图与所述第二深度图之间的重叠区域；
    根据所述重叠区域，确定所述第一深度图的缩放比例；
    根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；
    对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
  68. 根据权利要求67所述的的可移动平台的控制方法，其特征在于，所述第二深度图与所述第三深度图中的相同目标对象的尺寸相同。
  69. 根据权利要求68所述的的可移动平台，其特征在于，所述确定所述第一深度图与所述第二深度图之间的重叠区域，包括：
    从所述第一深度图中提取多个第一特征点；
    将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；
    根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
  70. 根据权利要求67所述的的可移动平台的控制方法，其特征在于，所 述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述根据所述重叠区域，确定所述第一深度图的缩放比例，包括：
    确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；
    根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
  71. 根据权利要求45-55中任一项所述的可移动平台，其特征在于，所述根据所选的双目视觉模组采集到的图像数据确定所述环境观测数据，包括：
    若所选的双目视觉模组为第二双目视觉模组，则使能所述第一双目视觉模组的部分功能，并使能所述第二双目视觉模组的全部功能；
    根据所述第二双目视觉模组采集到的第二图像数据，确定所述环境观测数据。
  72. 一种可移动平台的控制方法，其特征在于，所述可移动平台包括平台本体以及设置在所述平台本体上的不同位置的至少两组双目视觉模组，所述至少两组双目视觉模组的视场角范围至少部分重叠；所述方法包括：
    根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息；
    基于所述目标对象的位置信息控制所述可移动平台运动。
  73. 根据权利要求72所述的可移动平台的控制方法，其特征在于，每组所述双目视觉模组的朝向不同，每组所述双目视觉模组的朝向与所述可移动平台的速度方向对应的夹角会随着所述可移动平台运动而发生变化。
  74. 根据权利要求73所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组的参数不同。
  75. 根据权利要求73所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组的视场角不同。
  76. 根据权利要求73所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组的分辨率不同。
  77. 根据权利要求73所述的可移动平台的控制方法，其特征在于，所述至少两组视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本 体的同一侧面的不同位置，能够观测不同方向上目标对象。
  78. 根据权利要求73所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
  79. 根据权利要求78所述的可移动平台的控制方法，其特征在于，所述第一双目视觉模组能够观测所述可移动平台的前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述前侧方向呈预设夹角对应方向上的目标对象。
  80. 根据权利要求79所述的可移动平台的控制方法，其特征在于，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
  81. 根据权利要求79所述的可移动平台的控制方法，其特征在于，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
  82. 根据权利要求78所述的可移动平台的控制方法，其特征在于，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二双目视觉模组的分辨率。
  83. 根据权利要求72-82中任一项所述的可移动平台的控制方法，其特征在于，所述根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息，包括：
    根据第一双目视觉模组采集到的第一图像数据计算得到第一深度图；
    根据第二双目视觉模组采集到的第二图像数据计算得到第二深度图；
    对所述第一深度图和所述第二深度图进行融合，得到目标深度图；
    根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
  84. 根据权利要求83所述的可移动平台的控制方法，其特征在于，所述对所述第一深度图和所述第二深度图进行融合，得到目标深度图，包括：
    确定所述第一深度图与所述第二深度图之间的重叠区域；
    根据所述重叠区域，确定所述第一深度图的缩放比例；
    根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；
    对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
  85. 根据权利要求84所述的可移动平台的控制方法，其特征在于，所述第二深度图与所述第三深度图中相同目标对象的尺寸相同。
  86. 根据权利要求84所述的可移动平台的控制方法，其特征在于，所述 确定所述第一深度图与所述第二深度图之间的重叠区域，包括：
    从所述第一深度图中提取多个第一特征点；
    将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；
    根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
  87. 根据权利要求84所述的可移动平台的控制方法，其特征在于，所述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述根据所述重叠区域，确定所述第一深度图的缩放比例，包括：
    确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；
    根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
  88. 根据权利要求72所述的可移动平台的控制方法，其特征在于，所述可移动平台包括无人飞行器、载人飞行器、机器人和无人驾驶车辆中的至少一项。
  89. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求45-88中任一项所述的可移动平台的控制方法。
CN202180087701.1A 2021-03-12 2021-03-12 可移动平台、可移动平台的控制方法及存储介质 Pending CN116724279A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/080582 WO2022188174A1 (zh) 2021-03-12 2021-03-12 可移动平台、可移动平台的控制方法及存储介质

Publications (1)

Publication Number Publication Date
CN116724279A true CN116724279A (zh) 2023-09-08

Family

ID=83226266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180087701.1A Pending CN116724279A (zh) 2021-03-12 2021-03-12 可移动平台、可移动平台的控制方法及存储介质

Country Status (2)

Country Link
CN (1) CN116724279A (zh)
WO (1) WO2022188174A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485736B (zh) * 2016-10-27 2022-04-12 深圳市道通智能航空技术股份有限公司 一种无人机全景视觉跟踪方法、无人机以及控制终端
US11423791B2 (en) * 2018-01-05 2022-08-23 Gopro, Inc. Adaptive object detection
WO2020037524A1 (zh) * 2018-08-22 2020-02-27 深圳市大疆创新科技有限公司 可移动平台的控制方法、可移动平台及可读存储介质
CN109360150A (zh) * 2018-09-27 2019-02-19 轻客小觅智能科技（北京）有限公司 一种基于深度相机的全景深度图的拼接方法及装置
CN110799853B (zh) * 2018-10-26 2024-04-30 深圳市大疆创新科技有限公司 一种环境感知系统及移动平台
CN109688400A (zh) * 2019-01-04 2019-04-26 Oppo广东移动通信有限公司 电子设备和移动平台
CN110442145A (zh) * 2019-08-22 2019-11-12 台州学院 基于双目视觉的多旋翼无人机云台避障系统及方法
CN112052788B (zh) * 2020-09-03 2024-04-02 深圳市道通智能航空技术股份有限公司 基于双目视觉的环境感知方法、装置及无人飞行器

Also Published As

Publication number Publication date
WO2022188174A1 (zh) 2022-09-15

Similar Documents

Publication Publication Date Title
US11237572B2 (en) Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof
CN110262568B (zh) 一种基于目标跟踪的无人机避障方法、装置及无人机
Shen et al. Vision-based state estimation for autonomous rotorcraft MAVs in complex environments
US20210365038A1 (en) Local sensing based autonomous navigation, and associated systems and methods
CN111615677B (zh) 一种无人机的安全降落方法、装置、无人机及介质
CN112912811A (zh) 一种无人机路径规划方法、装置及无人机
WO2020181418A1 (en) Techniques for collaborative map construction between unmanned aerial vehicle and ground vehicle
JP2015006874A (ja) ３次元証拠グリッドを使用する自律着陸のためのシステムおよび方法
CN108450032B (zh) 飞行控制方法和装置
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
CN115933718A (zh) 一种融合全景slam与目标识别的无人机自主飞行技术方法
US20240019866A1 (en) Aerial vehicle control method and apparatus, aerial vehicle, and storage medium
CN111443733A (zh) 一种无人机飞行控制方法、装置及无人机
CN116724279A (zh) 可移动平台、可移动平台的控制方法及存储介质
EP3957954A1 (en) Active gimbal stabilized aerial visual-inertial navigation system
CN108363387A (zh) 传感器控制方法及装置
CN114326765A (zh) 一种用于无人机视觉着陆的地标跟踪控制系统及方法
JP2023072353A (ja) 移動体の移動経路決定装置、移動体の移動経路決定方法及び移動体の移動経路決定プログラム
WO2021025568A2 (en) A lidar device, system and a control method of the same
WO2020223868A1 (zh) 地面信息处理方法、装置和无人驾驶车辆
JP2021092465A (ja) 無人航空機の推定位置を修正するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体
JP2020095435A (ja) 移動体
US20240037759A1 (en) Target tracking method, device, movable platform and computer-readable storage medium
WO2024087024A1 (zh) 信息处理方法、信息处理设备、飞行器系统及存储介质
US20220060628A1 (en) Active gimbal stabilized aerial visual-inertial navigation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination