CN106595631B - 一种躲避障碍物的方法及电子设备 - Google Patents

Abstract

本发明公开了一种躲避障碍物的方法，应用于具备驱动装置的电子设备，包括：获取图像传感器采集的第一数据，以及获取超声波模块采集的第二数据，其中，第一数据中包含地面和第一障碍物的深度图像信息，第二数据中包含第二障碍物的形状信息、以及第二障碍物与电子设备的距离信息；基于第一数据和第二数据，生成障碍物地图；基于障碍物地图对电子设备进行导航，从而使电子设备能够躲避第一障碍物和第二障碍物。本发明解决了现有技术视觉避障系统存在无法识别透明障碍物的技术问题。同时，本发明还公开了一种电子设备。

Description

一种躲避障碍物的方法及电子设备

技术领域

本发明涉及电子技术领域，尤其涉及一种躲避障碍物的方法及电子设备。

背景技术

机器人在导航过程中，能否自动识别到机器人导航轨迹上的障碍物，并且能否及时躲避障碍物，这是影响运动机器人安全运行的重要方面。这样的系统被称为“自动避障系统”。

目前主流的机器人自动避障系统主要有：激光雷达TOF(Time of flight，飞行时间)测距避障系统、和视觉避障系统。

先进的视觉避障系统，大多采用RGBD(Red Green Blue Depth，红绿蓝深度)图像传感器作为避障传感器，RGBD图像传感器的优点是测量距离长，测量精度较高，成本低，在未知环境或没有地图的情况下，能够对静态障碍物、动态障碍物、以及形状不规则的障碍物实现自主实时避障。

但是，RGBD图像传感器也存在缺点，那就是无法识别玻璃等透明障碍物，这给行驶中的机器人带来了危险。

发明内容

本发明实施例通过提供种躲避障碍物的方法及电子设备，解决了现有技术视觉避障系统存在无法识别透明障碍物的技术问题。

一方面，本发明通过本发明的一实施例提供如下技术方案：

一种躲避障碍物的方法，应用于具备驱动装置的电子设备，所述驱动装置用于为所述电子设备提供驱动力，以使得所述电子设备能够产生位移，在所述电子设备上设置有图像传感器和超声波模块，所述躲避障碍物的方法，包括：

获取所述图像传感器采集的第一数据，以及获取所述超声波模块采集的第二数据，其中，所述第一数据中包含地面和第一障碍物的深度图像信息，所述第二数据中包含第二障碍物的形状信息、以及所述第二障碍物与所述电子设备的距离信息；

基于所述第一数据和所述第二数据，生成障碍物地图；

基于所述障碍物地图对所述电子设备进行导航，从而使所述电子设备能够躲避所述第一障碍物和所述第二障碍物。

优选地，所述基于所述第一数据和所述第二数据，生成障碍物地图，包括：

将所述地面和第一障碍物的深度图像信息转换为所述地面和第一障碍物的3D点云信息；

从所述地面和第一障碍物的3D点云信息中，提取所述第一障碍物的3D点云信息；

基于所述第一障碍物的3D点云信息和所述第二数据，生成所述障碍物地图。

优选地，所述从所述地面和第一障碍物的3D点云信息中，提取所述第一障碍物的3D点云信息，包括：

获取惯性测量单元IMU采集到的第三数据，其中，所述IMU设置在所述电子设备上；

基于所述第三数据，对所述地面和第一障碍物的3D点云信息进行矫正，矫正后的所述地面和第一障碍物的3D点云信息为所述电子设备与地面处于垂直状态下的所述地面和第一障碍物的3D点云信息；

除去矫正后的所述地面和第一障碍物的3D点云信息中的所述地面的3D点云信息，获得所述第一障碍物的3D点云信息。

优选地，所述基于所述第一障碍物的3D点云信息和所述第二数据，生成所述障碍物地图，包括：

基于所述第一障碍物的3D点云信息与所述第二数据，生成当前障碍物地图，其中，所述当前障碍物地图中包括所述第一障碍物的位置信息和所述第二障碍物的位置信息；

获取历史障碍物地图，其中，所述历史障碍物地图中包含有第三障碍物的位置信息；

基于所述当前障碍物地图与所述历史障碍物地图，生成所述障碍物地图，其中，所述障碍物地图中包含所述第一障碍物的位置、所述第二障碍物的位置信息以及所述第三障碍物的位置信息。

优选地，所述基于所述障碍物地图对所述电子设备进行导航，包括：在所述电子设备行驶过程中，基于所述障碍物地图，判断所述电子设备前方一预设距离内是否存在障碍物；

若不存在，则保持原速度行驶；

若存在，则确定一避障路径，并控制所述电子设备按照所述避障路径行驶，从而躲避所述障碍物。

优选地，所述避障路径的路径方程为：

x＝1-d_min(K)，K∈[50,70]

其中，α为预测的可通行角度，r是衰减因子，d_min表示所述障碍物地图中测量的最小距离，a，b是变换参数，V_MAX表示所述电子设备的最大线速度，W_MAX表示所述电子设备的最大角速度。

优选地，所述控制所述电子设备按照所述避障路径行驶，包括：

基于所述避障路径，生成控制指令；其中，所述控制指令包括以下至少之一：控制所述电子设备减速的第一控制指令；控制所述电子设备转向的第二控制指令；控制所述电子设备倒退的第三控制指令；控制所述电子设备停止或悬停的第四控制指令；

执行所述控制指令。

优选地，所述的躲避障碍物方法，还包括：

在控制所述电子设备按照所述避障路径行驶过程中，通过所述IMU获取地面的光滑程度信息；

基于所述光滑程度信息，调节所述电子设备的行驶速度。

另一方面，基于同一发明构思，本发明通过本发明的一实施例，提供如下技术方案：

一种电子设备，所述电子设备具有一驱动装置，所述驱动装置用于为所述电子设备提供驱动力，以使得所述电子设备能够产生位移，其在所述电子设备上设置有图像传感器和超声波模块，所述电子设备，还包括：

获取单元，用于获取所述图像传感器采集的第一数据，以及获取所述超声波模块采集的第二数据，其中，所述第一数据中包含地面和第一障碍物的深度图像信息，所述第二数据中包含第二障碍物的形状信息、以及所述第二障碍物与所述电子设备的距离信息；

生成单元，用于基于所述第一数据和所述第二数据，生成障碍物地图；

导航单元，用于基于所述障碍物地图对所述电子设备进行导航，从而使所述电子设备能够躲避所述第一障碍物和所述第二障碍物。

优选地，所述生成单元，包括：

转换子单元，用于将所述地面和第一障碍物的深度图像信息转换为所述地面和第一障碍物的3D点云信息；

提取子单元，用于从所述地面和第一障碍物的3D点云信息中，提取所述第一障碍物的3D点云信息；

第一生成子单元，用于基于所述第一障碍物的3D点云信息和所述第二数据，生成所述障碍物地图。

优选地，所述提取子单元，具体用于：

获取惯性测量单元IMU采集到的第三数据，其中，所述IMU设置在所述电子设备上；基于所述第三数据，对所述地面和第一障碍物的3D点云信息进行矫正，矫正后的所述地面和第一障碍物的3D点云信息为所述电子设备与地面处于垂直状态下的所述地面和第一障碍物的3D点云信息；除去矫正后的所述地面和第一障碍物的3D点云信息中的所述地面的3D点云信息，获得所述第一障碍物的3D点云信息。

优选地，所述第一生成子单元，具体用于：

基于所述第一障碍物的3D点云信息与所述第二数据，生成当前障碍物地图，其中，所述当前障碍物地图中包括所述第一障碍物的位置信息和所述第二障碍物的位置信息；获取历史障碍物地图，其中，所述历史障碍物地图中包含有第三障碍物的位置信息；基于所述当前障碍物地图与所述历史障碍物地图，生成所述障碍物地图，其中，所述障碍物地图中包含所述第一障碍物的位置、所述第二障碍物的位置信息以及所述第三障碍物的位置信息。

优选地，所述导航单元，包括：

判断子单元，用于在所述电子设备行驶过程中，基于所述障碍物地图，判断所述电子设备前方一预设距离内是否存在障碍物；

保持子单元，用于若不存在，则保持原速度行驶；

控制子单元，用于若存在，则确定一避障路径，并控制所述电子设备按照所述避障路径行驶，从而躲避所述障碍物。

优选地，所述避障路径的路径方程为：

x＝1-d_min(K)，K∈[50,70]

其中，α为预测的可通行角度，r是衰减因子，d_min表示所述障碍物地图中测量的最小距离，a，b是变换参数，V_MAX表示所述电子设备的最大线速度，W_MAX表示所述电子设备的最大角速度。

优选地，所述控制子单元，具体用于：

基于所述避障路径，生成控制指令；其中，所述控制指令包括以下至少之一：控制所述电子设备减速的第一控制指令；控制所述电子设备转向的第二控制指令；控制所述电子设备倒退的第三控制指令；控制所述电子设备停止或悬停的第四控制指令；执行所述控制指令。

优选地，所述控制子单元，还用于：

在控制所述电子设备按照所述避障路径行驶过程中，通过所述IMU获取地面的光滑程度信息；基于所述光滑程度信息，调节所述电子设备的行驶速度。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在本发明实施例中，公开了一种躲避障碍物的方法，应用于具备驱动装置的电子设备，驱动装置用于为电子设备提供驱动力，以使得电子设备能够产生位移，在电子设备上设置有图像传感器和超声波模块，所述躲避障碍物的方法，包括：获取图像传感器采集的第一数据，以及获取超声波模块采集的第二数据，其中，第一数据中包含地面和第一障碍物的深度图像信息，第二数据中包含第二障碍物的形状信息、以及第二障碍物与电子设备的距离信息；基于第一数据和第二数据，生成障碍物地图；基于障碍物地图对电子设备进行导航，从而使电子设备能够躲避第一障碍物和第二障碍物。由于图像传感器具有测量精度高的优点，超声波模块具有可以检测透明障碍物的优点，此处将图像传感器采集到的第一数据进和超声波模块采集到的第二数据相融合，则得到了包含透明障碍物图像信息的高精度的障碍物地图，再基于该障碍物地图进行导航，这样就解决了现有技术中视觉避障系统无法识别透明障碍物的技术问题，实现了对透明障碍物进行躲避的技术效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种躲避障碍物的方法的流程图；

图2为本发明实施例中步骤S102一种实施方式的流程图；

图3为本发明实施例中步骤S102另一种实施方式的流程图；

图4a为本发明实施例中平衡车的主视图；

图4b、图4c为本发明实施例中平衡车的侧视图；

图5a为本发明实施例中无人机的俯视图；

图5b、图5c为本发明实施例中无人机的侧视图；

图6为本发明实施例中一种电子设备的结构示意图。

具体实施方式

本发明实施例通过提供一种躲避障碍物的方法及电子设备，解决了现有技术视觉避障系统存在无法识别透明障碍物的技术问题。

本发明实施例的技术方案为解决上述技术问题，总体思路如下：

一种躲避障碍物的方法，应用于具备驱动装置的电子设备，驱动装置用于为电子设备提供驱动力，以使得电子设备能够产生位移，在电子设备上设置有图像传感器和超声波模块，所述躲避障碍物的方法，包括：获取图像传感器采集的第一数据，以及获取超声波模块采集的第二数据，其中，第一数据中包含地面和第一障碍物的深度图像信息，第二数据中包含第二障碍物的形状信息、以及第二障碍物与电子设备的距离信息；基于第一数据和第二数据，生成障碍物地图；基于障碍物地图对电子设备进行导航，从而使电子设备能够躲避第一障碍物和第二障碍物。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例一

本实施例提供了一种躲避障碍物的方法，应用于具备驱动装置的电子设备，驱动装置用于为电子设备提供驱动力，以使得电子设备能够产生位移。

在具体实施过程中，所述电子设备可以是：地面机器人(例如：平衡车)、或无人机(例如：多旋翼无人机、或固定翼无人机)、或电动汽车等设备，此处，对于所述电子设备具体是何种设备，本实施例不做具体限定。

在具体实施过程中，在所述电子设备上设置有图像传感器和超声波模块，所述图像传感器具体可以为RGBD图像传感器，RGBD图像传感器的优点是测量距离长、测量精度较高、成本低，缺点是无法识别玻璃等透明障碍物，而超声波模块恰好能够识别玻璃等透明障碍物，从而弥补了RGBD图像传感器的缺陷。

如图1所示，所述躲避障碍物的方法，包括：

步骤S101：获取图像传感器采集的第一数据，以及获取超声波模块采集的第二数据。

在具体实施过程中，第一数据中包含地面和第一障碍物的深度图像信息，第一障碍物即为RGBD图像传感器能够识别的一般障碍物(即：非透明障碍物)，基于地面和第一障碍物的深度图像信息，即可确定第一障碍物的在三维空间的位置信息。

在具体实施过程中，第二数据中包含第二障碍物的形状信息、以及第二障碍物与电子设备的距离信息，第二障碍物包括玻璃等透明障碍物。基于第二障碍物的形状信息、以及第二障碍物与电子设备的距离信息，即可确定第二障碍物在三维空间的位置信息。

步骤S102：基于第一数据和第二数据，生成障碍物地图。

在具体实施过程中，在基于第一数据和第二数据生成的障碍物地图中，包含了第一障碍物和第二障碍物在三维空间的位置信息，也就是说，该障碍物地图中包含一般障碍物(即：非透明障碍物)和玻璃等透明障碍物在三维空间的位置信息。

步骤S103：基于障碍物地图对电子设备进行导航，从而使电子设备能够躲避第一障碍物和第二障碍物。

在具体实施过程中，基于步骤S102获得的障碍物地图对电子设备进行导航，即可对一般障碍物(即：非透明障碍物)和玻璃等透明障碍物实现有效的躲避。

作为一种可选的实施例，步骤S103，包括：

在电子设备行驶过程中，基于障碍物地图，判断电子设备前方一预设距离内是否存在障碍物；若不存在，则保持原速度行驶；若存在，则确定一避障路径，并控制电子设备按照避障路径行驶，从而躲避所述障碍物。

在具体实施过程中，可以基于避障路径，生成相应的控制指令；其中，该控制指令包括以下至少之一：控制电子设备减速的第一控制指令，控制电子设备转向的第二控制指令，控制电子设备倒退的第三控制指令，控制电子设备停止(或悬停)的第四控制指令；再执行控制指令，使得电子设备按照避障路径行驶，从而躲避障碍物。

上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：

在本发明实施例中，公开了一种躲避障碍物的方法，应用于具备驱动装置的电子设备，驱动装置用于为电子设备提供驱动力，以使得电子设备能够产生位移，在电子设备上设置有图像传感器和超声波模块，所述躲避障碍物的方法，包括：获取图像传感器采集的第一数据，以及获取超声波模块采集的第二数据，其中，第一数据中包含地面和第一障碍物的深度图像信息，第二数据中包含第二障碍物的形状信息、以及第二障碍物与电子设备的距离信息；基于第一数据和第二数据，生成障碍物地图；基于障碍物地图对电子设备进行导航，从而使电子设备能够躲避第一障碍物和第二障碍物。由于图像传感器具有测量精度高的优点，超声波模块具有可以检测透明障碍物的优点，此处将图像传感器采集到的第一数据进和超声波模块采集到的第二数据相融合，则得到了包含透明障碍物图像信息的高精度的障碍物地图，再基于该障碍物地图进行导航，这样就解决了现有技术中视觉避障系统无法识别透明障碍物的技术问题，实现了对透明障碍物进行躲避的技术效果。

实施例二

基于同一发明构思，下面以所述电子设备为平衡车为例，对所述躲避障碍物的方法进行详细介绍。

如图1所示，本实施例提供了一种躲避障碍物的方法，应用于平衡车中，包括：

步骤S101：获取图像传感器采集的第一数据，以及获取超声波模块采集的第二数据。

在具体实施过程中，在平衡车上设置有图像传感器和超声波模块，图像传感器具体可以为RGBD图像传感器，RGBD图像传感器的优点是测量距离长、测量精度较高、成本低，缺点是无法识别玻璃等透明障碍物，而超声波模块恰好能够识别玻璃等透明障碍物，从而弥补了RGBD图像传感器的缺陷。此处，由超声波模块和RGBD图像传感器相互协作，提高了避障的精度。

如图4a所示，平衡车包括车身401，在车身401两侧安装有车轮402，在车身401上方设置有操控杆403，可以将RGBD图像传感器404和超声波模块405设置在操控杆403上，并朝向平衡车前方，用于检测平衡车前方的障碍物。

在具体实施过程中，第一数据中包含地面和第一障碍物的深度图像信息，第一障碍物即为RGBD图像传感器能够识别的一般障碍物(即：非透明障碍物)，基于地面和第一障碍物的深度图像信息，即可确定第一障碍物的在三维空间的位置信息。

在具体实施过程中，第二数据中包含第二障碍物的形状信息、以及第二障碍物与平衡车的距离信息，第二障碍物包括玻璃等透明障碍物。基于第二障碍物的形状信息、以及第二障碍物与平衡车的距离信息，即可确定第二障碍物在三维空间的位置信息。

步骤S102：基于第一数据和第二数据，生成障碍物地图。

作为一种可选的实施例，如图2所示，步骤S102，包括：

步骤S201：将地面和第一障碍物的深度图像信息转换为地面和第一障碍物的3D点云信息。

在具体实施过程中，地面和第一障碍物的深度图像信息是二维平面信息，通过将地面和第一障碍物的深度图像信息转换为地面和第一障碍物的3D点云信息，可以获得地面和第一障碍物的三维空间信息。

步骤S202：从地面和第一障碍物的3D点云信息中，提取第一障碍物的3D点云信息。

作为一种可选的实施例，步骤S202，包括：

如图4a所示，获取IMU(Inertial Measurement Unit，惯性测量单元)模块406采集到的第三数据，其中，IMU模块406设置在平衡车上；基于第三数据，对地面和第一障碍物的3D点云信息进行矫正，矫正后的地面和第一障碍物的3D点云信息为平衡车与地面处于垂直状态下的地面和第一障碍物的3D点云信息；除去矫正后的地面和第一障碍物的3D点云信息中的地面的3D点云信息，获得第一障碍物的3D点云信息。

在具体实施过程中，平衡车在行驶过程中，平衡车可能会前后摆动，导致操控杆403与地面不垂直(如图4b示)，此时RGBD图像传感器404采集到的图像信息误差较大，无法提供障碍物的准确位置，为了消除这种干扰，在平衡车内还设备有IMU模块406，用于检测平衡车的姿态，并生成记录平衡车的姿态的第三数据，基于第三数据对地面和第一障碍物的3D点云信息进行矫正，从而获得在平衡车的操控杆403与地面垂直时(如图4c所示)地面和第一障碍物的3D点云信息。

在具体实施过程中，对于平衡车来讲，由于平衡车属于地面机器人，在地面行驶，地面对于平衡车来讲不属于障碍物，所以需要将地面的3D点云信息去除，仅保留第一障碍物的3D点云信息。

步骤S203：基于第一障碍物的3D点云信息和第二数据，生成障碍物地图。

作为一种可选的实施例，步骤S203，包括：

基于第一障碍物的3D点云信息与第二数据，生成当前障碍物地图，其中，当前障碍物地图中包括第一障碍物的位置信息和第二障碍物的位置信息；通过Odometry(里程计)模块，获取历史障碍物地图，其中，Odometry模块设置在平衡车上，历史障碍物地图中包含有第三障碍物的位置信息；基于当前障碍物地图与历史障碍物地图，生成障碍物地图，其中，该障碍物地图中包含第一障碍物的位置信息、第二障碍物的位置信息以及第三障碍物的位置信息。

在具体实施过程中，第二数据中记录有第二障碍物的形状信息、以及第二障碍物与平衡车的距离信息，第二障碍物则包括玻璃等透明障碍物，基于第二数据即可确定第二障碍物在三维空间的位置信息。将第一数据与第二数据进行融合，即可获得包含第一障碍物和第二障碍物的当前障碍物地图，其中，包含由RGBD图像传感器404采集到的高精度的第一障碍物的位置信息，以及由超声波模块405采集到的玻璃等透明障碍物的位置信息。

在具体实施过程中，在平衡车行驶过程中，RGBD图像传感器404采集到的第一数据、以及超声波模块405采集到的第二数据实时都在变化，所以要求障碍物地图也是实时更新的。具体来讲，在前一时刻获得当前障碍物地图A后，则将当前障碍物地图A作为障碍物地图对平衡车进行导航，同时，将当前障碍物地图A存储在Odometry模块中作为历史障碍物地图，在后一时刻获得了当前障碍物地图B时，则从Odometry模块中提取历史障碍物地图，并将历史障碍物地图与当前障碍物地图B进行融合，获得更新后的障碍物地图，再基于更新后的障碍物地图对平衡车进行导航，同时，将更新后的障碍物地图存储在Odometry模块中作为历史障碍物地图，依次类推，不断基于新的当前障碍物地图来更新历史障碍物地图，获得平衡车导航需要的障碍物地图。

在本实施例中，由于RGBD图像传感器的Fov(Field of View，视觉覆盖范围)存在局限性，RGBD图像传感器获取的是局部信息，障碍物信息不够全面，容易使平衡车陷入局部位置(例如：角落)无法出来。为了避免这种情况，此处将平衡车前进过程中之前的障碍物信息(即：历史障碍物地图)融合到当前障碍物地图中，弥补了RGBD图像传感器的不足。

步骤S103：基于障碍物地图对电子设备进行导航，从而使电子设备能够躲避第一障碍物和第二障碍物。

在具体实施过程中，可以在平衡车行驶过程中，基于障碍物地图，判断平衡车前方一预设距离内是否存在障碍物；若不存在，则保持原速度行驶；若存在，则确定一避障路径，并控制平衡车按照避障路径行驶，从而躲避障碍物。

在现有技术中，常用的实时避障算法有Bug(爬虫法)、VFF(The Virtual ForceField，虚拟势场法)、VFH(Vector Field Histogram，向量直方图法)、CVM(Curvature-Velocith Method，曲率速度法)、DWA(Dynamic window avoidance，动态窗口避障法)、ND(Nearness Diagram，临近图法)，等等，然而这些算法依赖十分严格的假设，它们假设平衡车为一个点或假设平衡车的形状为圆形，并假平衡车可以在任何方向运动。但是这些假设忽略了平衡车的运动学约束，不符合平衡车的实际情况，平衡车的底盘形状是矩形的，并且因为需要保持平衡，所以其运动学约束不能忽略。

在本实施例中，避障算法采用PTG(Parameterized Trajectory Generator，参数化路径生成器)，并在PTG模型的基础上进行改进，用PTG模型模拟多种路径，将平衡车的运动学约束解耦到PTG模型中，这样就可以将平衡车当作一个点。但是，因为平衡车的惯性较大，速度延迟较大，所以PTG模型中的圆弧路径并不适合平衡车，基于这个问题，此处为平衡车的避障路径设计了如下路径方程，能很好的适应平衡车的运动学特性。其中，该路径方程为：

x＝1-d_min(K)，K∈[50,70]

其中，α为预测的可通行角度(即：在平衡车前进过程中，在前方发现一障碍物时，预测平衡车可以躲避该障碍时的转弯角度)，r是衰减因子，d_min表示障碍物地图中测量的最小距离，a，b是变换参数，V_MAX表示平衡车可以达到的最大线速度，W_MAX表示平衡车可以达到的最大角速度。通过该路径方程可以确定平衡车在躲避障碍物时所需的线速度V和角速度W。

在具体实施过程中，在控制平衡车按照避障路径行驶时，可以基于避障路径，生成相应的控制指令，其中，控制指令包括以下至少之一：控制平衡车减速的第一控制指令，控制平衡车转向的第二控制指令，控制平衡车倒退的第三控制指令，控制平衡车停止的第四控制指令；再执行控制指令，从而躲避障碍物。

另外，由于平衡车的刹车需要一定刹车距离，所以需要该刹车距离之前开始减速，然后才能转向。平衡车的底盘宽度较大，在与障碍物的距离太近时，需要先倒退然后转向。

作为一种可选的实施例，在控制平衡车按照避障路径行驶过程中，还可以通过IMU模块406获取地面的光滑程度信息；并基于该光滑程度信息，调节平衡车的行驶速度。

举例来讲，在确定障碍物的位置后，可以基于IMU模块406获得地面的光滑程度信息，若地面过于光滑(即：光滑程度大于一预设值)，则需要提前减速，以免平衡车与障碍物发生碰撞。

上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：

在本发明实施例中，由于图像传感器具有测量精度高的优点，超声波模块具有可以检测透明障碍物的优点，此处将图像传感器采集到的第一数据进和超声波模块采集到的第二数据相融合，则得到了包含透明障碍物图像信息的高精度的障碍物地图，再基于该障碍物地图对平衡车进行导航，这样就解决了现有技术中视觉避障系统无法识别透明障碍物的技术问题，实现了对透明障碍物进行躲避的技术效果。

实施例三

基于同一发明构思，下面以所述电子设备为无人机为例，对所述躲避障碍物的方法进行详细介绍。

如图1所示，本实施例提供了一种躲避障碍物的方法，应用于无人机中，包括：

步骤S101：获取图像传感器采集的第一数据，以及获取超声波模块采集的第二数据。

如图5a所示，该无人机具体为固定翼无人机，该无人机主要由机身501和机翼502组成，其中，可以设置两组图像传感器和超声波模块，一组安装在无人机下方(例如：将RGBD图像传感器503a和超声波模块504a安装在机身501或机翼502下方)，用于探测无人机下方的障碍物；另一组安装在无人机前方(例如：将RGBD图像传感器503b和超声波模块504b安装在机身前方的机头位置)，用于探测无人机前方的障碍物。

在具体实施过程中，在无人机上应用的RGBD图像传感器503a和RGBD图像传感器503b属于大功率RGBD图像传感器，超声波模块504a和超声波模块504b属于大功率超声波模块，它们的检测距离都比较远，适用于高空飞行的无人机。

在具体实施过程中，第一数据中包含地面和第一障碍物的深度图像信息，第一障碍物即为RGBD图像传感器能够识别的一般障碍物(即：非透明障碍物)，基于地面和第一障碍物的深度图像信息，即可确定第一障碍物的在三维空间的位置信息。

在具体实施过程中，第二数据中包含第二障碍物的形状信息、以及第二障碍物与平衡车的距离信息，第二障碍物包括玻璃等透明障碍物。基于第二障碍物的形状信息、以及第二障碍物与平衡车的距离信息，即可确定第二障碍物在三维空间的位置信息。

步骤S102：基于第一数据和第二数据，生成障碍物地图。

作为一种可选的实施例，如图3所示，步骤S102，包括：

步骤S301：将地面和第一障碍物的深度图像信息转换为地面和第一障碍物的3D点云信息。

在具体实施过程中，地面和第一障碍物的深度图像信息是二维平面信息，通过将地面和第一障碍物的深度图像信息转换为地面和第一障碍物的3D点云信息，可以获得地面和第一障碍物的三维空间信息。

步骤S302：对地面和第一障碍物的3D点云信息进行矫正。

作为一种可选的实施例，步骤S202，包括：

如图5a所示，获取IMU模块505采集到的第三数据，其中，IMU模块505设置在无人机上；基于第三数据对地面和第一障碍物的3D点云信息进行矫正，矫正后的地面和第一障碍物的3D点云信息为无人机与地面处于垂直状态下的地面和第一障碍物的3D点云信息。

在具体实施过程中，无人机在飞行过程中，无人机的姿态会发生变化，导致机身的垂直线Y与地面不垂直(如图5b所示)，此时RGBD图像传感器采集到的图像信息误差较大，无法提供障碍物的准确位置，为了消除这种干扰，在无人机内还设备有IMU模块505，用于检测无人机的姿态，生成记录无人机的姿态的第三数据，基于第三数据对地面和第一障碍物的3D点云信息进行矫正，从而获得无人机的机身的垂直线Y与地面垂直时(如图5c所示)地面和第一障碍物的3D点云信息。

在具体实施过程中，对于无人机来讲，由于无人机在空中飞行，有撞击地面的危险，所以，地面对于无人机来讲属于障碍物，此处需要保留地面的3D点云信息。

步骤S303：基于矫正后的地面和第一障碍物的3D点云信息和第二数据，生成障碍物地图。

作为一种可选的实施例，步骤S303，包括：

基于矫正后的地面和第一障碍物的3D点云信息与第二数据，生成当前障碍物地图，其中，当前障碍物地图中包括地面的位置信息、第一障碍物的位置信息和第二障碍物的位置信息；通过Odometry(里程计)模块，获取历史障碍物地图，其中，Odometry模块设置在无人机上，历史障碍物地图中包含有第三障碍物的位置信息；基于当前障碍物地图与历史障碍物地图，生成障碍物地图，其中，障碍物地图中包含地面的位置信息、第一障碍物的位置、第二障碍物的位置信息以及第三障碍物的位置信息。

在具体实施过程中，第二数据中记录有第二障碍物的形状信息、以及第二障碍物与无人机的距离信息，第二障碍物则包括玻璃等透明障碍物，基于第二数据即可确定第二障碍物在三维空间的位置信息。将第一数据与第二数据进行融合，即可获得包含地面的位置信息、第一障碍物和第二障碍物的当前障碍物地图，其中，包含由RGBD图像传感器503a和RGBD图像传感器503b采集到的高精度的第一障碍物(即：非透明障碍物)的位置信息，以及由超声波模块504a和超声波模块504b采集到的玻璃等透明障碍物的位置信息。

在具体实施过程中，在无人机行驶过程中，RGBD图像传感器(即：RGBD图像传感器503a和RGBD图像传感器503b)采集到的第一数据、以及超声波模块(超声波模块504a和超声波模块504b)采集到的第二数据实时都在变化，所以要求障碍物地图也是实时更新的。具体来讲，在第一时刻获得当前障碍物地图A后，则将当前障碍物地图A作为障碍物地图对无人机进行导航，同时，将当前障碍物地图A存储在Odometry模块中作为历史障碍物地图，在下一时刻获得了当前障碍物地图B时，则从Odometry模块中提取历史障碍物地图，并将历史障碍物地图与当前障碍物地图B进行融合，获得更新后的障碍物地图，再基于更新后的障碍物地图对无人机进行导航，同时，将更新后的障碍物地图存储在Odometry模块中作为历史障碍物地图，依次类推，不断基于新的当前障碍物地图来更新历史障碍物地图，获得无人机导航需要的障碍物地图。

在本实施例中，由于RGBD图像传感器的Fov(Field of View，视觉覆盖范围)存在局限性，RGBD图像传感器获取的是局部的障碍物信息，障碍物信息不够全面，不利于无人机的导航，此处将无人机飞行过程中之前的障碍物信息(即：历史障碍物地图)融合到当前障碍物地图中，弥补了RGBD图像传感器的不足。

步骤S103：基于障碍物地图对电子设备进行导航，从而使电子设备能够躲避第一障碍物和第二障碍物。

在具体实施过程中，可以在无人机飞行过程中，基于障碍物地图，判断无人机前方一预设距离内是否存在障碍物；若不存在，则保持原速度飞行；若存在，则确定一避障路径，并控制无人机按照该避障路径飞行，从而躲避障碍物。。

在具体实施过程中，在控制无人机按照避障路径飞行过程中，可以基于避障路径，生成相应的控制指令；其中，控制指令包括以下至少之一：控制无人机减速的第一控制指令；控制无人机转向的第二控制指令；控制无人机倒退的第三控制指令(主要针对多旋翼无人机)；控制无人机悬停的第四控制指令(主要针对多旋翼无人机)；再执行控制指令，从而躲避障碍物。

上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：

在本发明实施例中，由于图像传感器具有测量精度高的优点，超声波模块具有可以检测透明障碍物的优点，此处，将图像传感器采集到的第一数据进和超声波模块采集到的第二数据相融合，则得到了包含透明障碍物图像信息的高精度的障碍物地图，再基于该障碍物地图对无人机进行导航，这样就解决了现有技术中视觉避障系统无法识别透明障碍物的技术问题，实现了对透明障碍物进行躲避的技术效果。

实施例四

基于同一发明构思，如图6所示，本实施例提供了一种电子设备，该电子设备具有一驱动装置，驱动装置用于为电子设备提供驱动力，以使得电子设备能够产生位移，在电子设备上设置有图像传感器和超声波模块，该电子设备还包括：

获取单元601，用于获取图像传感器采集的第一数据，以及获取超声波模块采集的第二数据，其中，第一数据中包含地面和第一障碍物的深度图像信息，第二数据中包含第二障碍物的形状信息、以及第二障碍物与电子设备的距离信息；

生成单元602，用于基于第一数据和第二数据，生成障碍物地图；

导航单元603，用于基于障碍物地图对电子设备进行导航，从而使电子设备能够躲避第一障碍物和第二障碍物。

作为一种可选的实施例，生成单元601，包括：

转换子单元，用于将地面和第一障碍物的深度图像信息转换为地面和第一障碍物的3D点云信息；

提取子单元，用于从地面和第一障碍物的3D点云信息中，提取第一障碍物的3D点云信息；

第一生成子单元，用于基于第一障碍物的3D点云信息和第二数据，生成障碍物地图。

作为一种可选的实施例，提取子单元，具体用于：

获取惯性测量单元IMU采集到的第三数据，其中，IMU设置在电子设备上；基于第三数据，对地面和第一障碍物的3D点云信息进行矫正，矫正后的地面和第一障碍物的3D点云信息为电子设备与地面处于垂直状态下的地面和第一障碍物的3D点云信息；除去矫正后的地面和第一障碍物的3D点云信息中的地面的3D点云信息，获得第一障碍物的3D点云信息。

作为一种可选的实施例，第一生成子单元，具体用于：

基于第一障碍物的3D点云信息与第二数据，生成当前障碍物地图，其中，当前障碍物地图中包括第一障碍物的位置信息和第二障碍物的位置信息；通过里程计Odometry模块，获取历史障碍物地图，其中，里程计模块设置在电子设备上，历史障碍物地图中包含有第三障碍物的位置信息；基于当前障碍物地图与历史障碍物地图，生成障碍物地图，其中，障碍物地图中包含第一障碍物的位置、第二障碍物的位置信息以及第三障碍物的位置信息。

作为一种可选的实施例，导航单元603，包括：

判断子单元，用于在电子设备行驶过程中，基于障碍物地图，判断电子设备前方一预设距离内是否存在障碍物；

保持子单元，用于若不存在，则保持原速度行驶；

控制子单元，用于若存在，则确定一避障路径，并控制电子设备按照避障路径行驶，从而躲避障碍物。

作为一种可选的实施例，避障路径的路径方程为：

x＝1-d_min(K)，K∈[50,70]

其中，α为预测的可通行角度，r是衰减因子，d_min表示障碍物地图中测量的最小距离，a，b是变换参数，V_MAX表示电子设备的最大线速度，W_MAX表示电子设备的最大角速度。

作为一种可选的实施例，控制子单元，具体用于：

基于避障路径，生成控制指令；其中，控制指令包括以下至少之一：控制电子设备减速的第一控制指令；控制电子设备转向的第二控制指令；控制电子设备倒退的第三控制指令；控制电子设备停止或悬停的第四控制指令；执行控制指令。

作为一种可选的实施例，控制子单元，还用于：

在控制电子设备按照避障路径行驶过程中，通过IMU获取地面的光滑程度信息；基于光滑程度信息，调节电子设备的行驶速度。

由于本实施例所介绍的电子设备为实施本发明实施例中躲避障碍物的方法所采用的电子设备，故而基于本发明实施例中所介绍的躲避障碍物的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中躲避障碍物的方法所采用的电子设备，都属于本发明所欲保护的范围。

上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：

在本发明实施例中，公开了一种电子设备，电子设备具有一驱动装置，驱动装置用于为电子设备提供驱动力，以使得电子设备能够产生位移，在电子设备上设置有图像传感器和超声波模块，该电子设备还包括：获取单元，用于获取图像传感器采集的第一数据，以及获取超声波模块采集的第二数据，其中，第一数据中包含地面和第一障碍物的深度图像信息，第二数据中包含第二障碍物的形状信息、以及第二障碍物与电子设备的距离信息；生成单元，用于基于第一数据和第二数据，生成障碍物地图；导航单元，用于基于障碍物地图对电子设备进行导航，从而使电子设备能够躲避第一障碍物和第二障碍物。由于图像传感器具有测量精度高的优点，超声波模块具有可以检测透明障碍物的优点，此处，将图像传感器采集到的第一数据进和超声波模块采集到的第二数据相融合，则得到了包含透明障碍物图像信息的高精度的障碍物地图，再基于该障碍物地图进行导航，这样就解决了现有技术中视觉避障系统无法识别透明障碍物的技术问题，实现了对透明障碍物进行躲避的技术效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种躲避障碍物的方法，应用于具备驱动装置的电子设备，所述驱动装置用于为所述电子设备提供驱动力，以使得所述电子设备能够产生位移，其特征在于，在所述电子设备上设置有图像传感器和超声波模块，所述躲避障碍物的方法，包括：

获取所述图像传感器采集的第一数据，以及获取所述超声波模块采集的第二数据，其中，所述第一数据中包含地面和第一障碍物的深度图像信息，所述第二数据中包含第二障碍物的形状信息、以及所述第二障碍物与所述电子设备的距离信息；

基于所述第一数据和所述第二数据，生成障碍物地图；

基于所述障碍物地图对所述电子设备进行导航，从而使所述电子设备能够躲避所述第一障碍物和所述第二障碍物；

所述基于所述第一数据和所述第二数据，生成障碍物地图，包括：

将所述地面和第一障碍物的深度图像信息转换为所述地面和第一障碍物的3D点云信息；

从所述地面和第一障碍物的3D点云信息中，提取所述第一障碍物的3D点云信息；

基于所述第一障碍物的3D点云信息和所述第二数据，生成所述障碍物地图；

所述从所述地面和第一障碍物的3D点云信息中，提取所述第一障碍物的3D点云信息，包括：

获取惯性测量单元IMU采集到的第三数据，其中，所述IMU设置在所述电子设备上；

基于所述第三数据，对所述地面和第一障碍物的3D点云信息进行矫正，矫正后的所述地面和第一障碍物的3D点云信息为所述电子设备与地面处于垂直状态下的所述地面和第一障碍物的3D点云信息；

除去矫正后的所述地面和第一障碍物的3D点云信息中的所述地面的3D点云信息，获得所述第一障碍物的3D点云信息。

2.如权利要求1所述的躲避障碍物的方法，其特征在于，所述基于所述第一障碍物的3D点云信息和所述第二数据，生成所述障碍物地图，包括：

基于所述第一障碍物的3D点云信息与所述第二数据，生成当前障碍物地图，其中，所述当前障碍物地图中包括所述第一障碍物的位置信息和所述第二障碍物的位置信息；

获取历史障碍物地图，其中，所述历史障碍物地图中包含有第三障碍物的位置信息；

基于所述当前障碍物地图与所述历史障碍物地图，生成所述障碍物地图，其中，所述障碍物地图中包含所述第一障碍物的位置、所述第二障碍物的位置信息、以及所述第三障碍物的位置信息。

3.如权利要求1所述的躲避障碍物的方法，其特征在于，所述基于所述障碍物地图对所述电子设备进行导航，包括：在所述电子设备行驶过程中，基于所述障碍物地图，判断所述电子设备前方一预设距离内是否存在障碍物；

若不存在，则保持原速度行驶；

若存在，则确定一避障路径，并控制所述电子设备按照所述避障路径行驶，从而躲避所述障碍物。

4.如权利要求3所述的躲避障碍物的方法，其特征在于，所述避障路径的路径方程为：

x＝1-d_min(K)，K∈[50,70]

其中，α为预测的可通行角度，r是衰减因子，d_min表示所述障碍物地图中测量的最小距离，a，b是变换参数，V_MAX表示所述电子设备的最大线速度，W_MAX表示所述电子设备的最大角速度。

5.如权利要求3所述的躲避障碍物的方法，其特征在于，所述控制所述电子设备按照所述避障路径行驶，包括：

基于所述避障路径，生成控制指令；其中，所述控制指令包括以下至少之一：控制所述电子设备减速的第一控制指令；控制所述电子设备转向的第二控制指令；控制所述电子设备倒退的第三控制指令；控制所述电子设备停止或悬停的第四控制指令；

执行所述控制指令。

6.如权利要求3所述的躲避障碍物的方法，其特征在于，还包括：

在控制所述电子设备按照所述避障路径行驶过程中，通过所述IMU获取地面的光滑程度信息；

基于所述光滑程度信息，调节所述电子设备的行驶速度。

7.一种电子设备，所述电子设备具有一驱动装置，所述驱动装置用于为所述电子设备提供驱动力，以使得所述电子设备能够产生位移，其特征在于，在所述电子设备上设置有图像传感器和超声波模块，所述电子设备，还包括：

获取单元，用于获取所述图像传感器采集的第一数据，以及获取所述超声波模块采集的第二数据，其中，所述第一数据中包含地面和第一障碍物的深度图像信息，所述第二数据中包含第二障碍物的形状信息、以及所述第二障碍物与所述电子设备的距离信息；

生成单元，用于基于所述第一数据和所述第二数据，生成障碍物地图；

导航单元，用于基于所述障碍物地图对所述电子设备进行导航，从而使所述电子设备能够躲避所述第一障碍物和所述第二障碍物；

转换子单元，用于将所述地面和第一障碍物的深度图像信息转换为所述地面和第一障碍物的3D点云信息；

提取子单元，用于从所述地面和第一障碍物的3D点云信息中，提取所述第一障碍物的3D点云信息；

第一生成子单元，用于基于所述第一障碍物的3D点云信息和所述第二数据，生成所述障碍物地图；

所述提取子单元，具体用于：

获取惯性测量单元IMU采集到的第三数据，其中，所述IMU设置在所述电子设备上；基于所述第三数据，对所述地面和第一障碍物的3D点云信息进行矫正，矫正后的所述地面和第一障碍物的3D点云信息为所述电子设备与地面处于垂直状态下的所述地面和第一障碍物的3D点云信息；除去矫正后的所述地面和第一障碍物的3D点云信息中的所述地面的3D点云信息，获得所述第一障碍物的3D点云信息。

8.如权利要求7所述的电子设备，其特征在于，所述第一生成子单元，具体用于：

基于所述第一障碍物的3D点云信息与所述第二数据，生成当前障碍物地图，其中，所述当前障碍物地图中包括所述第一障碍物的位置信息和所述第二障碍物的位置信息；获取历史障碍物地图，其中，所述历史障碍物地图中包含有第三障碍物的位置信息；基于所述当前障碍物地图与所述历史障碍物地图，生成所述障碍物地图，其中，所述障碍物地图中包含所述第一障碍物的位置、所述第二障碍物的位置信息、以及所述第三障碍物的位置信息。

9.如权利要求7所述的电子设备，其特征在于，所述导航单元，包括：

判断子单元，用于在所述电子设备行驶过程中，基于所述障碍物地图，判断所述电子设备前方一预设距离内是否存在障碍物；

保持子单元，用于若不存在，则保持原速度行驶；

控制子单元，用于若存在，则确定一避障路径，并控制所述电子设备按照所述避障路径行驶，从而躲避所述障碍物。

10.如权利要求9所述的电子设备，其特征在于，所述避障路径的路径方程为：

x＝1-d_min(K)，K∈[50,70]

其中，α为预测的可通行角度，r是衰减因子，d_min表示所述障碍物地图中测量的最小距离，a，b是变换参数，V_MAX表示所述电子设备的最大线速度，W_MAX表示所述电子设备的最大角速度。

11.如权利要求9所述的电子设备，其特征在于，所述控制子单元，具体用于：

基于所述避障路径，生成控制指令；其中，所述控制指令包括以下至少之一：控制所述电子设备减速的第一控制指令；控制所述电子设备转向的第二控制指令；控制所述电子设备倒退的第三控制指令；控制所述电子设备停止或悬停的第四控制指令；执行所述控制指令。

12.如权利要求9所述的电子设备，其特征在于，所述控制子单元，还用于：

在控制所述电子设备按照所述避障路径行驶过程中，通过所述IMU获取地面的光滑程度信息；基于所述光滑程度信息，调节所述电子设备的行驶速度。