CN113895543A - 基于园区环境的无人车智能驾驶系统 - Google Patents

Abstract

本发明公开了一种基于园区环境的无人车智能驾驶系统，主要解决当前园区巡检人力成本过高、部分巡检危险的问题。其由传感器数据处理模块、中控模块、运动控制模块、视觉处理模块及远程控制模块组成。该传感器数据处理模块、视觉处理模块、远程控制模块的输出均与中控模块相连；传感器数据处理模块获取巡检的传感器数据；视觉处理模块检测巡检过程中出现的红绿灯与S弯道路；远程控制模块远程下达运动指令；中控模块根据这三个模块传输的信息计算无人车的线速度和角速度，发送给运动控制模块；运动控制模块将其转换为底层电机控制信号，驱动无人车行驶。本发明降低了人力耗费成本及危险性，能按交通规则自主避障驾驶，可用于园区环境的无人驾驶车。

Description

基于园区环境的无人车智能驾驶系统

技术领域

本发明属于自动控制技术领域，特别涉及一种无人智能系统，可用于园区环境的无人驾驶车。

背景技术

伴随着我国社会经济稳步增长，越来越多的巨型企业厂区、高新园区、巨型商场不断的出现在国民生活中，这些场所对安全保卫工作提出了新的特殊需求。通常情况下这些场所中的安保任务都是由工安人员来完成，但是随着巡检范围不断扩大，室内外混合环境，用人成本的持续走高等因素，仅仅依靠工安人员己经不能满足日益复杂化的安保需求。另外在一些危检的环境中，工安人员也不适合执行巡检工作，比如在变电所厂区，到处都是高压电弧，对工安人员来说十分危险。然而这样类似的场所又关系到一个社区，甚至一个城市的正常生活，需要时时刻刻的安全保卫工作。

为了解决上述问题，目前已经有多种无人车可用于园区环境的货物搬运，巡逻检查，安全保障等工作。但这些无人车辆目前大多只可用于园区内的厂房等封闭环境中，工作时只能实现简单的避障自主驾驶，无法辨识交通标志。而实际的园区室外大都有较多的红绿灯和车道线这些交通标志，不仅要求无人驾驶车辆自主避障驾驶，还需要无人车辆在行驶时能够按照交通规则行驶，但现有的无人车技术则不能完成这个目标，无人车无法在园区内室外环境被使用，依然存在上述园区巡检采用人工巡检时巡检成本高，部分巡检工作十分危险的问题。

发明内容

本发明的目的在于针对上述现有技术的问题，提出一种基于园区环境的无人车智能驾驶系统，以降低园区巡检时所耗费的人力成本及巡检的危险性，实现无人驾驶车辆在遵守交通规则的前提下自主避障驾驶。

为实现上述目的，本发明基于园区环境的无人车智能驾驶系统，包括：

传感器数据处理模块，用于获取无人驾驶车辆巡检过程中惯性传感器IMU数据，里程计数据和激光雷达数据，发送给中控模块；

中控模块，根据传感器数据处理模块发送的信息，计算无人驾驶车辆行驶过程中的线速度v和角速度w，并发送给运动控制模块；

运动控制模块，根据中控模块发送的信息，驱动无人驾驶车辆在检测区域内行驶；

其特征在于，还包括：

视觉处理模块，用于获取无人驾驶车辆巡检过程中相机采集的图像数据，并对图像数据做红绿灯检测及车道线检测，即对图像中出现的红绿灯进行识别，对图像中出现的车道线进行识别，将识别后的图像信息发送到远程控制模块，并返回是否有红绿灯、红绿灯状态及车道线在图像中出现的左，右位置，将这些状态信息发送到中控模块；

远程控制模块，用于实现远程对无人驾驶车辆下达运动指令，即将上位机界面中设定的运动目标发送到中控模块，同时接收中控模块发送的小车状态信息及视觉处理模块发送的图像信息，在控制界面进行显示。

进一步，所述中控模块，包括自动行驶控制子模块，红绿灯行驶控制子模块，S弯道行驶控制子模块；

该自动行驶控制子模块，用于在只接收到上位机发送的目标位置信息，而未接收到红绿灯或S弯道的状态信息时，则通过预设的自动行驶控制策略，为无人车规划行驶路线，计算出无人车运动的线速度和角速度，并该将线速度v和角速度w分别发送给运动控制模块和远程控制模块；

该红绿灯行驶控制子模块，用于在接收到红灯状态信息时，将线速度v和角速度w设为零；当接收到绿灯状态信息时，为无人车规划行驶路线，计算出无人车运动的线速度v和角速度w，分别发送给运动控制模块和远程控制模块，并将无人车目前所处的红绿灯道路的状态发送给远程控制模块；

该S弯道行驶控制子模块，用于在接受到S弯道状态信息时，根据无人车相对于车道线的位置信息，确定无人车的线速度v和角速度w，分别发送给运动控制模块和远程控制模块，并将无人车目前所处S弯道路的状态发送给远程控制模块。

进一步，所述运动控制模块驱动无人驾驶车辆在检测区域内行驶，是根据接收中控模块传输的线速度v和角速度w，将其换算为无人驾驶车辆的前轮舵机转向角度α和后轮转动速度k，控制底层电机的转动，换算公式如下：

α＝atan(v×0.45÷w)×57.3；

k＝v×32÷0.43。

进一步，所述视觉处理模块，包括红绿灯识别处理子模块，S弯道识别处理子模块；

该红绿灯识别处理子模块，利用深度学习卷积神经网络CNN完成对红绿灯的识别，即利用提前采集的红绿灯照片标定照片中红绿灯的位置，再利用标定后照片生成的数据集对该网络进行训练，利用训练后的CNN完成对巡检过程中实时采集图片中的红绿灯的识别，并返回是否存在红绿灯及红绿灯状态信息的识别结果；

该S弯道识别处理子模块，利用深度学习车道线检测网络LaneNet完成对车道线的识别，即利用提前采集的车道线照片标定照片中车道线的位置，再利用标定后照片生成的数据集对该网络进行训练，利用训练后的LaneNet完成对巡检过程中实时采集图片中的车道线的识别，并返回即是否处于S弯道及车道线位置信息的识别结果。

本发明与现有技术相比较，具有如下优点：

1.可按交通规则智能行驶。

本发明由于设计了视觉处理模块，在运行时，可以通过对照相机采集的图像进行检测，对是否包含红绿灯相关的图像信息作出判断，并返回判断结果给中控模块，中控模块根据判断的结果确定无人驾驶车辆进入到红绿灯道路并启动红绿灯行驶控制子模块，计算得到无人车运动的线速度v和角速度w，实现无人驾驶车辆按“红灯停，绿灯行”的交通规则智能行驶。

2.可沿S弯道路行驶

本发明由于设计了视觉处理模块，在运行时，可以通过对照相机采集的图像进行检测，对是否包含S弯道相关的图像信息作出判断，并返回判断结果给中控模块，中控模块根据判断的结果确定无人驾驶车辆进入到S弯道路并启动S弯道行驶控制子模块，确定无人车运动的线速度v和角速度w，实现无人驾驶车辆沿S弯车道行驶。

3.可远程监控并控制无人驾驶车辆

本发明由于设计了远程控制模块，一方面接收中控模块发送的小车状态信息及视觉处理模块发送的图像信息，实现对无人驾驶车辆行驶过程中状态信息和图像信息的实时监控，并在控制界面进行显示；另一方面通过将远程控制模块设定的运动目标发送到中控模块，中控模块接收到目标信息后为无人车规划行驶路线，计算出无人车运动的线速度v和角速度w，可以实现对无人驾驶车辆的远程遥控。

附图说明

图1是无人驾驶车辆结构示意图

图2是本发明的系统架设框图；

图3是本发明的实施场景图；

图4是本发明系统的测试结果图。

具体实施方式

以下结合附图，对本发明的实施例和效果做进一步详细说明。

针对当前园区巡检中存在的人力成本过高、部分巡检工作过于危险问题，设计了一种无人车智能驾驶系统，以降低园区巡检时所耗费的人力成本及巡检的危险性，实现无人驾驶车辆在遵守交通规则的前提下自主避障驾驶。

参见图1，无人驾驶车辆结构包括：惯性传感器一个、里程计一个、激光雷达一个，相机一个，中控处理板一块，运动控制板一块，车体运动结构一套，远程监控电脑一台；其中相机固定在车体头部的正前方，激光雷达、里程计及惯性传感器集成在一起固定在车体头部头正上方，中控处理板及运动控制板置于车体内部，远程监控电脑放置在车体外部。

参见图2，本实例系统由传感器数据处理模块1，中控模块2，运动控制模块3，视觉处理模块4，远程控制模块5五部分组成。其中，传感器数据处理模块1通过USB数据线与中控模块2连接，视觉处理模块4通过USB数据线与中控模块2连接，中控模块2通过USB数据线与运动控制模块3连接，中控模块2通过WIFI和远程控制模块5完成相互通信，视觉处理模块通过WIFI将数据发送给远程控制模块5。

所述传感器数据处理模块1，由激光雷达、里程计及惯性传感器三个传感器集成，用于在无人驾驶车辆巡检过程中收集这些传感器产生的惯性传感器IMU数据、里程计数据和激光雷达数据，并通过USB数据线发送给中控模块2；

所述中控模块2，部署在无人驾驶车辆的中控处理板上，其包括自动行驶控制子模块21、红绿灯行驶控制子模块22、S弯道行驶控制子模块23这三个子模块，根据传感器数据处理模块1发送的信息、视觉处理模块4发送的状态信息及远程控制模块5发送的运动目标信息，计算无人驾驶车辆行驶过程中的线速度v和角速度w，并通过USB数据线发送给运动控制模块3，具体实现如下：

该自动行驶控制子模块21，在只接收到上位机发送的目标位置信息，而未接收到红绿灯或S弯道的状态信息时，根据传感器数据处理模块1发送的惯性传感器IMU数据、里程计数据和激光雷达数据，利用gmapping算法计算得出无人驾驶车辆当前所处的位置信息cur及周围的障碍物信息obs，包括检测到障碍物的数量及每个障碍物的位置、占地面积；根据计算得出的无人驾驶车辆当前所处的位置信息cur、周围的障碍物信息obs及远程控制模块5发送的任务目标goal，采用A星算法，规划出一条从当前点cur到目标点goal的规划路径plan，再采用动态窗口DWA算法，利用规划路径plan信息计算出无人车运动的线速度v和角速度w。

gmapping算法的具体计算过程见：Grisetti G,Stachniss C,BurgardW.Improved Techniques for Grid Mapping With Rao-Blackwellized ParticleFilters[J].IEEE Transactions on Robotics,2007,23:p.34-46；

A星算法的具体计算过程见：Hart P E,Nilsson N J,Raphael B.A Formal Basisfor the Heuristic Determination of Minimum Cost Paths[J].IEEE Transactions onSystems Science&Cybernetics,1972,4(2):28-29；

动态窗口DWA算法的具体计算过程见：Fox D,Burgard W.The dynamic windowapproach to collision avoidance[J].IEEE Robotics&Automation Magazine,1997,4(1):P.23-33；

该红绿灯行驶控制子模块22，用于根据接收到的红绿灯状态信息计算无人驾驶车辆的线速度v和角速度w：

当接收到红灯状态信息时，将线速度v和角速度w设为零；

当接收到绿灯状态信息时，根据传感器数据处理模块1发送的惯性传感器IMU数据、里程计数据和激光雷达数据，进行线速度v和角速度w的如下计算：

先利用gmapping算法计算得出无人驾驶车辆当前所处的位置信息cur及周围的障碍物信息obs，包括检测到障碍物的数量及每个障碍物的位置、占地面积；

再根据计算得出的无人驾驶车辆当前所处的位置信息cur、周围的障碍物信息obs及远程控制模块5发送的任务目标goal，采用A星算法，规划出一条从当前点cur到目标点goal的规划路径plan；

然后采用动态窗口DWA算法，利用规划路径plan信息计算出无人车运动的线速度v和角速度w；

该S弯道行驶控制子模块23，用于在接受到S弯道状态信息时，根据视觉处理模块4返回的车道线在图像中出现的左，右位置状态信息，确定出无人车运动的线速度v和角速度w，实现如下：

若车道线出现在图像的正中间，则设置角速度w为零，线速度v为0.5m/s；

若车道线出现在图像的左侧，则设置角速度w为-1rad/s，线速度v为0.3m/s；

若车道线出现在图像的右侧，则设置角速度w为1rad/s，线速度v为0.3m/s。

所述运动控制模块3，部署在无人驾驶车辆的运动控制板上，根据接收中控模块传输的线速度v和角速度w，将其换算为无人驾驶车辆的前轮舵机转向角度α和后轮转动速度k，控制底层电机的转动，驱动无人驾驶车辆在检测区域内行驶，换算公式如下：

α＝atan(v×0.45÷w)×57.3；

k＝v×32÷0.43；

所述视觉处理模块4，部署在无人驾驶车辆的相机上，其包括红绿灯识别处理子模块41，S弯道识别处理子模块42两个子模块，用于获取无人驾驶车辆巡检过程中相机采集的图像数据，并对图像数据做红绿灯检测及车道线检测，即对图像中出现的红绿灯进行识别，对图像中出现的车道线进行识别，将识别后的图像信息发送到远程控制模块5，并返回是否有红绿灯、红绿灯状态及车道线在图像中出现的左，右位置，将这些状态信息通过USB数据线发送到中控模块2，具体实现如下：

该红绿灯识别处理子模块41，利用深度学习卷积神经网络CNN完成对红绿灯的识别，即利用提前采集的红绿灯照片标定照片中红绿灯的位置，再利用标定后照片生成的数据集对该网络进行训练，利用训练后的CNN完成对巡检过程中实时采集图片中的红绿灯的识别，并返回是否存在红绿灯及红绿灯状态信息的识别结果；

该S弯道识别处理子模块42，利用深度学习车道线检测网络LaneNet完成对车道线的识别，即利用提前采集的车道线照片标定照片中车道线的位置，再利用标定后照片生成的数据集对该网络进行训练，利用训练后的LaneNet完成对巡检过程中实时采集图片中的车道线的识别，并返回即是否处于S弯道及车道线位置信息的识别结果。

所述远程控制模块5，部署在远程监控电脑上，即在上位机界面中设置运动目标，通过TCP/UDP通信协议，将设定的运动目标通过WIFI传输发送到中控模块2，同时接收中控模块2发送的小车状态信息及视觉处理模块5发送的图像信息，在上位机界面中将小车状态信息和图像信息显示出来，实现对无人驾驶车辆运行的远程控制和实时监控。

本发明的实用效果可以通过以下实验得到验证：

一.实验场景

参见图3，该实验场景为验证系统性能所设计的一个园区仿真环境，实验场地长9m，宽5m，在场地中布置有一个起点，一个货物装载点，一个货物卸载点，一盏红绿灯，一条S弯道路等设施，并设计了包括直行和转弯的不同道路；

二.实验内容

将一辆无人驾驶车辆放置在实验场景中的起点位置，首先通过上位机界面发送货物装载点坐标，无人驾驶车辆朝货物装载点开始运动，待车辆到达货物装载点后，接着通过上位机界面发送货物卸载点坐标，无人驾驶车辆朝货物卸载点开始运动，此时经过红绿灯道路，红绿灯以“20秒红灯，20秒绿灯”的状态轮流切换，待车辆到达货物卸载点后，然后通过上位机界面发送起点坐标，无人驾驶车辆朝起点开始运动，此时经过S弯道路，当无人驾驶车辆运动到起点停止后，一次实验结束；在该环境中进行50次实验，记录实验结果，如表1所示：

表1

根据表1绘制实验结果分析图，如图4所示；

根据表1及图4可知，在50次实验中，49次能够准确检测到红绿灯，49次能够正确识别红绿灯状态，49次能够遵循“红灯停，绿灯行”的交通规则行驶，47次能够准确检测到S弯道路，47次能够准确沿S弯道路行驶。

经实验证明：本发明系统在园区仿真中有98％的概率可以检测到红绿灯，在此基础上，可以100％正确判断红绿灯状态并遵守“红灯停绿灯行”规则行驶；该系统有94％概率可以检测到S弯道路，在此基础上，可以100％沿S弯道路行驶。

综上所述，本发明提出的基于园区环境的无人车智能驾驶系统，可以用于园区巡检，降低园区巡检时所耗费的人力成本及巡检的危险性，实现无人驾驶车辆在遵守交通规则的前提下自主避障驾驶。

Claims (7)

1.一种基于园区环境的无人车智能驾驶系统，包括：

传感器数据处理模块(1)，用于获取无人驾驶车辆巡检过程中惯性传感器IMU数据，里程计数据和激光雷达数据，发送给中控模块(2)；

中控模块(2)，根据传感器数据处理模块(1)发送的信息，计算无人驾驶车辆行驶过程中的线速度v和角速度w，并发送给运动控制模块(3)；

运动控制模块(3)，根据中控模块(2)发送的信息，驱动无人驾驶车辆在检测区域内行驶；

其特征在于，还包括：

视觉处理模块(4)，用于获取无人驾驶车辆巡检过程中相机采集的图像数据，并对图像数据做红绿灯检测及车道线检测，即对图像中出现的红绿灯进行识别，对图像中出现的车道线进行识别，将识别后的图像信息发送到远程控制模块，并返回是否有红绿灯、红绿灯状态及车道线在图像中出现的左，右位置，将这些状态信息发送到中控模块(2)；

远程控制模块(5)，用于实现远程对无人驾驶车辆下达运动指令，即将上位机界面中设定的运动目标发送到中控模块(2)，同时接收中控模块(2)发送的小车状态信息及视觉处理模块(4)发送的图像信息，在控制界面进行显示。

2.根据权利要求1所述的系统，其特征在于，所述传感器数据处理模块(1)，由激光雷达、里程计及惯性传感器三个传感器集成，在行驶过程中收集惯性传感器IMU数据，里程计数据和激光雷达数据，并发送给中控模块。

3.根据权利要求1所述的系统，其特征在于，所述中控模块(2)，包括自动行驶控制子模块(21)，红绿灯行驶控制子模块(22)，S弯道行驶控制子模块(23)；

该自动行驶控制子模块(21)，用于在只接收到上位机发送的目标位置信息，而未接收到红绿灯或S弯道的状态信息时，则通过预设的自动行驶控制策略，为无人车规划行驶路线，计算出无人车运动的线速度和角速度，并该将线速度v和角速度w分别发送给运动控制模块(3)和远程控制模块(5)；

该红绿灯行驶控制子模块(22)，用于在接收到红灯状态信息时，将线速度v和角速度w设为零；当接收到绿灯状态信息时，为无人车规划行驶路线，计算出无人车运动的线速度v和角速度w，分别发送给运动控制模块(3)和远程控制模块(5)，并将无人车目前所处的红绿灯道路的状态发送给远程控制模块(5)；

该S弯道行驶控制子模块(23)，用于在接受到S弯道状态信息时，根据无人车相对于车道线的位置信息，确定无人车的线速度v和角速度w，分别发送给运动控制模块(3)和远程控制模块(5)，并将无人车目前所处S弯道路的状态发送给远程控制模块(5)。

4.根据权利要求1所述的系统，其特征在于，运动控制模块(3)驱动无人驾驶车辆在检测区域内行驶，是根据接收中控模块(2)传输的线速度v和角速度w，将其换算为无人驾驶车辆的前轮舵机转向角度α和后轮转动速度k，控制底层电机的转动，换算公式如下：

α＝atan(v×0.45÷w)×57.3；

k＝v×32÷0.43。

5.根据权利要求1所述的系统，其特征在于，视觉处理模块(4)，包括红绿灯识别处理子模块(41)，S弯道识别处理子模块(42)；

所述红绿灯识别处理子模块(41)，利用深度学习卷积神经网络CNN完成对红绿灯的识别，即利用提前采集的红绿灯照片标定照片中红绿灯的位置，再利用标定后照片生成的数据集对该网络进行训练，利用训练后的CNN完成对巡检过程中实时采集图片中的红绿灯的识别，并返回是否存在红绿灯及红绿灯状态信息的识别结果；

所述S弯道识别处理子模块(42)，利用深度学习车道线检测网络LaneNet完成对车道线的识别，即利用提前采集的车道线照片标定照片中车道线的位置，再利用标定后照片生成的数据集对该网络进行训练，利用训练后的LaneNet完成对巡检过程中实时采集图片中的车道线的识别，并返回即是否处于S弯道及车道线位置信息的识别结果。

6.根据权利要求2所述的系统，其特征在于，自动行驶控制子模块(21)、红绿灯行驶控制子模块(22)为无人车规划行驶路线，计算无人车运动的线速度v和角速度w，实现如下：

根据传感器数据处理模块(1)发送的惯性传感器IMU数据、里程计数据和激光雷达数据，利用gmapping算法计算得出无人驾驶车辆当前所处的位置信息cur及周围的障碍物信息obs，包括检测到障碍物的数量及每个障碍物的位置、占地面积；

根据计算得出的无人驾驶车辆当前所处的位置信息cur、周围的障碍物信息obs及远程控制模块(5)发送的任务目标goal，采用A星算法，规划出一条从当前点cur到目标点goal的规划路径plan，再采用动态窗口DWA算法，利用规划路径plan信息计算出无人车运动的线速度v和角速度w。

7.根据权利要求2所述的系统，其特征在于，S弯道行驶控制子模块(23)确定出无人车运动的线速度v和角速度w，是根据视觉处理模块(4)返回的车道线在图像中出现的左，右位置状态信息进行：

若车道线出现在图像的正中间，则设置角速度w为零，线速度v为0.5m/s；

若车道线出现在图像的左侧，则设置角速度w为-1rad/s，线速度v为0.3m/s；

若车道线出现在图像的右侧，则设置角速度w为1rad/s，线速度v为0.3m/s。

Images