CN109407665A - 一种小型半自动无人驾驶配送车及配送路径规划方法 - Google Patents

Abstract

本发明公开了一种小型半自动无人驾驶配送车及其配送路径规划方法，利用姿态角传感器获取相机的姿态角信息，对图像中的深度信息和颜色信息、姿态角信息进行处理，检测出图像中的地面和障碍物，最后生成路径信息，结合定位系统获得的位置信息，控制小型无人驾驶车辆运行的系统。在复杂条件下，实现远程的实时控制。本发明可以用来实现自动和半自动的无人驾驶配送。

Description

一种小型半自动无人驾驶配送车及配送路径规划方法

技术领域

本发明属于无人驾驶技术、双目视觉技术、三维环境感知技术领域。本发明包含一种新型小型半自动无人驾驶配送车系统，涉及一种利用两个红外相机和一个彩色相机采集图像，利用姿态角传感器获取相机的姿态角信息，对图像中的深度信息和颜色信息、姿态角信息进行处理，检测出图像中的地面和障碍物，最后生成路径信息，结合定位系统获得的位置信息，控制小型无人驾驶车辆运行的系统。在复杂条件下，实现远程的实时控制。

背景技术

随着社会的发展，快递、外卖等行业方兴未艾，对配送的需求也日益增加。但是随着人力成本的上涨，“最后一公里”配送占到物流成本的30％左右，同时，配送行业还存在服务水平低等问题。同时，随着配送人员的增加，相关的交通事故也逐渐提高，对配送人员以及社会都是威胁。

现有的无人驾驶利用激光雷达、图像传感技术，设备笨重，实现成本高；基于超声波技术和激光测距技术的测距范围有限，只能实现单点测距，获取的信息量太少；全自动驾驶目前技术还难以适应安全保障。

发明内容

本发明的目的在于提供一种小型半自动无人驾驶配送车，它可以解决当前人力配送存在的弊端，同时解决无人驾驶的安全性问题。

本发明是目的是通过以下技术方案实现的：一种小型半自动无人驾驶配送车的配送路径规划方法，包括如下步骤：

(1)通过定位模块获取当前位置的经纬度信息，通过通信模块将当前位置的经纬度信息上传至服务器，根据目标位置经纬度信息与当前经纬度信息，进行路径规划，形成目标路径；上位机通过通信模块获得该目标路径；

(2)姿态角传感器采集X，Y，Z三轴方向的转角Angle_X＝α，Angle_Y＝β，Angle_Z＝γ。通过电子罗盘获得地磁场数据，包括x方向的磁场强度B_X、y方向的磁场强度 B_Y和z方向磁场强度B_Z。

(3)通过姿态角度对电子罗盘获得X、Y、Z磁场方向数据B_x、B_y、B_z进行补偿，解算出较为精确的航向角ε。其中中间变量θ、X_h、Y_h分别如下所示：

θ＝arctan(X_h*Y_h) (1)

X_h＝B_x*cos(α)+B_y*sin(β)-B_z*cos(β)*sin(α) (2)

Y_h＝B_y*cos(β)+B_z*sin(β) (3)

(4)根据路径规划方向和当前车辆方向ε，调整车头角度，使得当前车辆朝向为路径规划方向。

(5)红外投射器实时地向前方投射不可见的静态近红外散斑到前方的三维场景中。两个红外相机采集三维场景的两张红外图像IR_left和IR_right。彩色相机采集三维场景的彩色图像Color。

(6)处理器根据图像信息，分析得到可通行区域和非可通行区域；

(7)对可通行区域和非可通行区域进行凸包检测，将凸点记为 p＝1，2，……m,m表示凸点的个数；将凹点记为n表示凹点个数；对于可通行区域的第j行像素点有分别代表当前行的左右两端像素点，对于第j行中的像素点(x_ij,y_ij)(其中i和j 分别代表行和列的标号)，利用以下计算公式求出T的评分：

其中和β_p为评分参数。

利用以下公式求出O的评分：

其中γ_q为评分参数。

(8)对于步骤7获得的可通行区域以内的像素，由以下公式可算出像素点 (x_ij,y_ij)的总评分G：

G＝BT+CO (7)

其中B、C分别为T、O的评分参数。

对于所有属于通行区域的像素进行评分得到像素的评分集合{G_ij}。

取每一行的所有像素取评分最高的像素从而得到从远到近的最高评分像素合集{G_max}。将相邻行最高分像素点用平滑曲线相连，即可获得基于当前的通行路径。

(9)实时根据步骤3-8更新当前的通行路径，直到到达目标位置。

一种小型半自动无人驾驶配送车，该配送车按照上述的路径规划方法规划配送路径，实现配送。

进一步地，包含一个红外投射器、两个相同的红外相机、一个彩色相机、一个姿态角传感器、一个GNSS模块、一个通信模块、一个电池模块、上位机、下位机、一个电子罗盘。红外投射器、红外相机、彩色相机、姿态角传感器、 GNSS模块、通信模块、分别与上位机相连，下位机与上位机相连，用于接收上位机指令，驱动配送车前进、后退、左转、右转等操作。通信模块与服务器远程通讯。

进一步地，红外投射器、相同的红外相机、彩色相机、姿态角传感器、GNSS 模块、通信模块、电池模块、上位机、下位机、电子罗盘均上设置在配送车前部，后部分割为多个独立储物空间。

进一步地，配送车前端配置灯光模块。

本发明的优势主要在于：

(1)极大降低成本。由于使用RGB-D相机替代雷达，在实现完整功能的情况下，极大降低了系统的成本。

(2)环境适应性。由于使用红外投射器和两个红外传感器，该方法在室内室外都可以使用。在室内时，红外投射器投射的静态近红外光斑给三维场景增加了纹理，有利于获取稠密的深度图像。在室外时，阳光的近红外部分和三维场景结合，有利于获取稠密的深度图像。

(3)快速检测。使用深度学习对图像数据进行实时处理，提高了响应速度，有效提高了系统的响应时间。

(4)安全性。在复杂条件下，通过远程控制替代全自动驾驶，保障了系统的安全性，扩展了系统的适用范围。

附图说明

图1为初始规划的路径；

图2为航向角示意图；

图3为调整后的车头朝向；

图4为优化有的路径；

图5为小型半自动无人驾驶配送车的立体示意图；

图6为图5小型半自动无人驾驶配送车的爆炸视图；

图7为小型半自动无人驾驶配送车电路结构示意图；

图8为小型半自动无人驾驶配送车工作流程图；

图9为小型半自动无人驾驶配送车电子罗盘三轴方向示意图。

其中：1-前部外壳、2-后部外壳、3-后部外壳盖子、4-左侧前车轮、41-右侧前车轮、42-右侧后车轮、43-左侧后车轮、5-左车灯、51-右车灯、6-前车轴、61- 后车轴、7-底盘、8-电池、81-上位机、82-定位模块、83-通信模块、84-开关、

85-主控、86-驱动、91-彩色相机、92-红外相机、93-红外投射器、94-姿态角传感器、95-电子罗盘。

具体实现方式

为使本发明的目的、技术方案和有点更加清晰明了，下面结合实例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。下面结合附图，通过实施例对本发明作进一步详细说明：

一种小型半自动无人驾驶配送车的组成部分：

一种小型半自动无人驾驶配送车，包括一个红外投射器、两个相同的红外相机、一个彩色相机、一个姿态角传感器、一个GNSS模块、一个网络通信模块、一个电池模块、外壳、底盘、上位机、下位机、一个电子罗盘。

外壳由前部外壳和后部外壳组成；在前部外壳安装内部电路，前部外壳前方配置灯光模块；后部外壳存放配送货品，分割为独立空间，每个空间由独立的盖子机械连接；底座由底盘、车轮、车轴组成。

一种小型半自动无人驾驶配送车各组成部分的功能：

外壳实现系统保护功能。

底盘实现系统支撑。

红外投射器向三维场景中投射不可见的静态近红外散斑。

两个红外相机实时地采集三维场景的两幅红外图像。

彩色相机实时地采集三维场景的一幅彩色图像。

姿态角传感器实时地获取相机三个方向的姿态角。

上位机对红外相机、彩色相机获取的数据实时处理，获取点云数据，并利用姿态角传感器获取的姿态数据纠正三维空间真实坐标，通过计算最终获得可通行区域范围。并通过串口通信传递给下位机。

定位模块实时获取系统位置。

下位机接收上位机指令，并控制驱动控制系统前进、后退、左转、右转等操作。

通信模块实现系统与远程服务器的通信，将目前的位置和状态信息发送到服务器，实现图像传输，并从服务器获取控制信息。

电子罗盘获得当前方向相对地磁场方向信息。

电池模块给系统供电。

一种小型半自动无人驾驶配送车的各组成部分的位置关系，一个具体实例如图5所示，包括前部外壳1、后部外壳2、在后部外壳上有可以打开的盖子3，前部外壳1、后部外壳2、后部外壳盖子3一起构成了整个系统的外壳。

为了适应配送车的在光照条件较差条件下的运行，在前部外壳1前方放置灯具5/51，灯具5/51由上位机81控制打开和关闭。

整个系统下方由底盘7、前车轴6、后车轴61、前车轮4/41、后车轮42/43 组成，底盘7为整个系统提供支撑，前车轮4/41与前车轴6连接，后车轮42/43 与后车轴61相连，为整个系统的运行机构。

前部外壳下方电池8为系统提供动力，电池8上方为上位机81，作为整个系统计算中心和控制中心，电池8与上位机81之间没有直接接触。上位机81 有散热系统，为上位机提供散热，避免系统过热造成系统损坏。

上位机81上方有外置定位模块82，定位模块82为整个系统提供地理位置坐标，之后通过串口通信方式发送到上位机81，由上位机81对定位数据进行处理、传输和运算。

上位机81上方有外置网络通信模块83，网络通信模块83位整个系统提供通信服务，上位机与相应服务器或者第三方服务器通过数据通信皆由网络通信模块83进行数据发送和接收的双工通信。当网络通信模块83接收信息转发给上位机81，由上位机81对接收的数据进行判断，当接收信息为控制信息时，由上位机81处理控制信息，提取控制信号，通过串口通信将控制信号发送给驱动 86，由驱动86控制车轮4/41/42/43运动，进而控制整个系统的运动。

上位机81上方有彩色相机91、红外相机92、红外投射器93，彩色相机91、红外相机92分别获取彩色图像和深度图像，之后通过串口通信发送到上位机81，由上位机81进行图像处理，包括但不限于可通行区域检测、障碍物检测、水坑检测。上位机81处理图像信息，之后发送数据通过驱动86，控制车轮4/41/42/43 运动，进而控制整个系统的运动。

一种小型半自动无人驾驶配送车的工作流程：

小型半自动无人驾驶配送车的工作流程可分为以下几步。

(1)通过通信模块，从服务器获得目标位置经纬度信息。通过定位模块获取当前位置的经纬度信息，通过通信模块将当前位置的经纬度信息上传至服务器，根据目标位置经纬度信息与当前经纬度信息，进行路径规划，形成目标路径；上位机通过通信模块获得该目标路径；如图1所示：

(2)姿态角传感器采集X，Y，Z三轴方向的转角Angle_X＝α，Angle_Y＝β，Angle_Z＝γ。通过电子罗盘获得地磁场数据，包括x方向的磁场强度B_X、y方向的磁场强度 B_Y和z方向磁场强度B_Z。

(3)通过姿态角度对电子罗盘获得X、Y、Z磁场方向数据B_x、B_y、B_z进行补偿，解算出较为精确的航向角ε。如图2所示：

θ＝arctan(X_h*Y_h) (1)

X_h＝B_x*cos(α)+B_y*sin(β)-B_z*cos(β)*sin(α) (2)

Y_h＝B_y*cos(β)+B_z*sin(β) (3)

(4)根据路径规划方向和当前车辆方向ε，调整车头角度，使得当前车辆朝向为路径规划方向。如图3所示：

(5)红外投射器实时地向前方投射不可见的静态近红外散斑到三维场景中。两个红外相机采集三维场景的两张红外图像IR_left和IR_right。彩色相机采集三维场景的彩色图像Color。

(6)处理器根据图像信息，分析得到可通行区域和非可通行区域。可通行区域和非可通行区域的分析为本领域的常用技术手段，本实施例采用如下步骤进行分析：

(6.1)对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，两个红外相机的基线距离B_IR-IR。对彩色进行一次相机标定，获取彩色相机的焦距f_color，主点位置(c_COLOR-x,c_COLOR-y)。对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离B_IR-COLOR。

上位机使用Roberts算子，对两张红外图像IR_left和IR_right提取Roberts边缘，获得两张边缘特征图像。以获得的其中一个边缘图像为基准，对两张边缘图像进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e₁,e₂,e₃,...,e_M}。

(6.2)以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为d_n＝a_iu_n+b_iv_n+c_i，其中a_i，b_i，c_i为第i个视差平面的系数。

(6.3)在这些视差平面的基础上，将未匹配的像素点(u',v',d')^T转换为匹配的有效点(u,v,d)^T；具体为：该像素点(u',v',d')^T到第i视差平面的距离为设能量函数为其中ε，σ为常数。对该像素点，遍历视差搜索范围所有的视差值d'＝{d'_min,...,d'_max}，求出使得能量函数Energy(d')最小的视差值，当成该像素点的视差值d。另外，u＝u'，v＝v'。

(6.4)遍历所有未匹配的像素点，获取每个点的视差值，得到以左红外相机为基准的视差图像Disparity_left。

(6.5)根据两个红外相机的焦距f_IR和基线距离B_IR-IR，将视差图像Disparity_left转为左红外相机为基准的深度图像Depth_left。遍历视差图像中的每一点(u,v,d)，其深度值为因此深度图像Depth_left中每一点对应为(u,v,depth)。

(6.6)根据深度图像Depth_left，两个红外相机的焦距f_IR和左红外相机的主点位置(c_IR-x,c_IR-y)，可计算出每一点在相机坐标系下的三维坐标(X,Y,Z)。深度图像 Depth_left中一点坐标为(u,v)，其深度值为depth，则三维坐标(X,Y,Z)可由公式(1)计算出：

(6.7)根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z)，以及姿态角传感器三轴方向的转角分别为Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，则可由公式(2) 计算出每一点在世界坐标系下的坐标(X_w,Y_w,Z_w)：

根据每一点在世界坐标系下的坐标(X_w,Y_w,Z_w)，获得所有点的高度信息。

(6.8)利用高度信息进行判断，当高度在[-10cm,+10cm]范围之内，则判断为地面，否则不是地面。

(6.9)利用高斯滤波等滤波函数，填补地面以及非地面区域的漏洞，分别得到可通行区域和非可通行区域。

(7)对可通行区域和非可通行区域进行凸包检测，将凸点记为 p＝1，2，……m,m表示凸点的个数；将凹点记为n表示凹点个数，对于可通行区域的第j行像素点有分别代表当前行像素点的左右两端像素点，对于第j行中的像素点(x_ij,y_ij)(其中i和j分别代表行和列的标号)，利用以下计算公式求出T的评分：、

其中和β_p为评分参数。

利用以下公式求出O的评分：

其中γ_q为评分参数。

(8)对于步骤7获得的可通行区域以内的像素，设置一套评分体系，内容包括且不限于距离可通行区域边缘的远近T、距离障碍物的远近O等。由以下公式可算出像素点(x_ij,y_ij)的总评分G：

G＝BT+CO (7)

其中B、C分别为T、O的评分参数。

对于所有属于通行区域的像素进行评分得到像素的评分集合{G_ij}。

取每一行的所有像素取评分最高的像素从而得到从远到近的最高评分像素合集{G_max}。将相邻行最高分像素点用平滑曲线相连，即可获得基于当前的通行路径。

(9)实时根据步骤3-8更新当前的通行路径，直到到达目标位置，如图4 所示。

Claims (5)

1.一种小型半自动无人驾驶配送车的配送路径规划方法，其特征在于，包括如下步骤：

(1)通过定位模块获取当前位置的经纬度信息，通过通信模块将当前位置的经纬度信息上传至服务器，根据目标位置经纬度信息与当前经纬度信息，进行路径规划，形成目标路径；上位机通过通信模块获得该目标路径；

(2)姿态角传感器采集X，Y，Z三轴方向的转角Angle_X＝α，Angle_Y＝β，Angle_Z＝γ。通过电子罗盘获得地磁场数据，包括x方向的磁场强度B_X、y方向的磁场强度B_Y和z方向磁场强度B_Z。

(3)通过姿态角度对电子罗盘获得X、Y、Z磁场方向数据B_x、B_y、B_z进行补偿，解算出较为精确的航向角ε。其中中间变量θ、X_h、Y_h分别如下所示：

θ＝arctan(X_h*Y_h) (1)

X_h＝B_x*cos(α)+B_y*sin(β)-B_z*cos(β)*sin(α) (2)

Y_h＝B_y*cos(β)+B_z*sin(β) (3)

(4)根据路径规划方向和当前车辆方向ε，调整车头角度，使得当前车辆朝向为路径规划方向。

(5)红外投射器实时地向前方投射不可见的静态近红外散斑到前方的三维场景中。两个红外相机采集三维场景的两张红外图像IR_left和IR_right。彩色相机采集三维场景的彩色图像Color。

(6)处理器根据图像信息，分析得到可通行区域和非可通行区域；

(7)对可通行区域和非可通行区域进行凸包检测，将凸点记为p＝1，2，……m,m表示凸点的个数；将凹点记为q＝1,2……n，n表示凹点个数；对于可通行区域的第j行像素点有分别代表当前行的左右两端像素点，对于第j行中的像素点(x_ij,y_ij)(其中i和j分别代表行和列的标号)，利用以下计算公式求出T的评分：

其中和β_p为评分参数。

利用以下公式求出O的评分：

其中γ_q为评分参数。

(8)对于步骤7获得的可通行区域以内的像素，由以下公式可算出像素点(x_ij,y_ij)的总评分G：

G＝BT+CO (7)

其中B、C分别为T、O的评分参数。

对于所有属于通行区域的像素进行评分得到像素的评分集合{G_ij}。

取每一行的所有像素取评分最高的像素从而得到从远到近的最高评分像素合集{G_max}。将相邻行最高分像素点用平滑曲线相连，即可获得基于当前的通行路径。

(9)实时根据步骤3-8更新当前的通行路径，直到到达目标位置。

2.一种小型半自动无人驾驶配送车，其特征在于，该配送车按照权利要求1所述的路径规划方法规划配送路径，实现配送。

3.根据权利要求2所述的小型半自动无人驾驶配送车，其特征在于，包含一个红外投射器、两个相同的红外相机、一个彩色相机、一个姿态角传感器、一个GNSS模块、一个通信模块、一个电池模块、上位机、下位机、一个电子罗盘。红外投射器、红外相机、彩色相机、姿态角传感器、GNSS模块、通信模块、分别与上位机相连，下位机与上位机相连，用于接收上位机指令，驱动配送车前进、后退、左转、右转等操作。通信模块与服务器远程通讯。

4.根据权利要求3所述的小型半自动无人驾驶配送车，其特征在于，红外投射器、相同的红外相机、彩色相机、姿态角传感器、GNSS模块、通信模块、电池模块、上位机、下位机、电子罗盘均上设置在配送车前部，后部分割为多个独立储物空间。

5.根据权利要求3所述的配送车，其特征在于，配送车前端配置灯光模块。