CN112837554A

CN112837554A - 基于双目相机的agv定位导航方法及系统

Info

Publication number: CN112837554A
Application number: CN202110253039.4A
Authority: CN
Inventors: 艾长胜; 耿敦洋; 冯志全; 孙选; 郑雷; 齐政光
Original assignee: University of Jinan
Current assignee: University of Jinan
Priority date: 2021-03-09
Filing date: 2021-03-09
Publication date: 2021-05-25

Abstract

本发明公开了一种基于双目相机的AGV定位导航方法及系统，系统包括双目相机传感器、车体安全防护装置、自动驾驶控制器、底盘控制器和底层线控单元。双目相机用来获得车道线信息和障碍物信息及站点信息，进行导航和避障及全局定位；车体安全防护装置用来车体安全保护，防止对行人、货物、车体造成伤害。自动驾驶控制器用来系统决策，算法解算；底层线控单元用来执行转角、速度及制动命令。基于双目相机的AGV定位导航系统导航精度高，铺设成本低，仅需要在原有场地进行车道线的铺设即可，工作可靠稳定，适合在室内室外环境下定位导航。

Description

基于双目相机的AGV定位导航方法及系统

技术领域

本发明涉及自动导引车(AGV)导航技术领域,具体是一种基于双目相机的车道线追踪定位导航系统。

背景技术

在当今的导航技术中，无论是GNSS还是激光传感器，都无法胜任室内室外同时工作的要求，而组合传感器即便可以应用于室内室外导航，成本也会非常高昂，造成了在满足室内室外运行的AGV市场上，推广难度大，落地代价高的现状。

发明内容

本发明的主要目的在于克服了现有定位导航方式的不足，提出了一种基于双目相机的自动导引车的定位导航方法，定位过程中使用双目相机识别站牌来确定车体处于全局地图的位置，导航过程，则使用双目相机实时检测到的车道线信息，转化成为车道线方程，来计算出车体偏离车道线的偏差，进而实现车体导航；由于双目相机点云密集、采集信息密度大，低速实时性好，从而保证了车体的高精度的实时定位导航。

本发明为达到上述目的提出以下技术方案：

(1)、在车体上安装的双目相机实时的采集车体前方信息；

(2)、将采集到的图像进行处理，若前方没有包含车道线信息的图像，则系统警告，告诉用户，并跳回(1)步骤。若得到包含车道线信息的图像，则跳到(3)步骤，同时输出障碍物信息及站点信息；

(3)、自动驾驶控制器将车道线信息进行处理，得到车道线方程，通过解算，得出车体当前偏离车道线的横向偏差和航向角偏差；

(4)、自动驾驶控制器得到相对于车道线的横向偏差和航向角偏差后，运行路径追踪算法，得到车体的打角与速度；

(5)、自动驾驶控制器将打角与速度下发至底盘控制器，进行线控转向、线控速度、线控制动的控制；

(6)、自动驾驶控制器将障碍物信息进行处理，进行距离和威胁程度的划分，车辆系统会进行分级别的控制，以避免危险的发生；

(7)、自动驾驶控制器将站点信息进行处理，判断是否到达指定目的地，若到达目的地，则车辆缓停至目的地后，自动驾驶控制器上报到达目的地信息；

(8)、在执行过程中，近距离车体安全防护传感器与双目相机组成的中远距离安全防护实时监测是否有物体侵入车体周围，保障车体的安全；

(9)、本发明提出了一种基于双目相机的AGV定位导航方法及系统，该系统采用双目视觉识别车道线并转化为车道线方程的技术，导航精度高，工作可靠稳定，适合在室内室外的环境下进行导航。

附图说明

图1为一种基于双目相机的AGV定位导航方法及系统的系统组成框图。

图2为一种基于双目相机的AGV定位导航方法及系统的工作流程框图。

图3为一种基于双目相机的AGV定位导航方法及系统的横向偏差与航向角偏差说明。

图4为一种基于双目相机的AGV定位导航方法及系统的车道线路径追踪算法示意图。

图5为车道线路径追踪算法中纯追踪路径追踪算法说明。

图6为车道线路径追踪算法中Stanley路径追踪算法说明。

图7为双目相机获取车道线方程步骤说明。

图8为双目相机获取障碍物距离信息步骤说明。

图9为双目相机获取站点信息步骤说明。

具体实施方式

下面结合附图和实施例对本发明进一步说明：

如图1所示，一种基于双目相机的AGV定位导航方法及系统的组成包括：双目相机传感器、车体安全防护装置、自动驾驶控制器、底盘控制器和底层线控单元。

所述双目相机带有CAN接口传输数据，能够进行输出车道线信息、障碍物类型及距离识别、站点信息获取，并将数据传输给自动驾驶控制器。

所述自动驾驶控制器包括主控芯片、电源稳压模块、通信模块（CAN通信、串口通信等）、双向光耦隔离模块等。自动驾驶控制器通过CAN通信与底盘控制器进行通信，自动驾驶控制器通过CAN通信获取双目相机数据。

所述自动驾驶控制器主要起到决策作用，接收感知层的数据并分析，主要进行：车辆姿态解析、路径跟踪算法解算角度与速度、车体安全解析、站点识别或者UWB定位数据解析等。

所述底盘控制器包括主控芯片、电源稳压模块、通信模块（CAN通信、串口通信等）、双向光耦隔离模块等，主要目的是接收自动驾驶控制器的信息从而对底层线控单元进行精确控制。

所述车体安全防护装置，包括车体前后安装的防撞条，近场的超声波防护和远场的双目视觉防护或者激光防护等起到防护作用的传感器；防撞条为机械接触模式，碰到就触发车辆停止；近场和远场防护为串口通信，自动驾驶控制器根据防护的要求进行分级，执行不同的操作，确保人员和货物、车体的安全。

所述底层线控单元为线控转向部分、线控油门部分、线控制动部分。

如图2所示一种基于双目相机的AGV定位导航方法及系统的工作流程框图，其具体的流程如下。

(1)、当有物料需要运输时，操作人员会使用远程调度管理系统给AGV下发任务，与此同时，在远程调度管理系统上也可以实时的查看车辆的当前状态。

(2)、自动驾驶控制器接收到下发的任务后，会进行车辆任务的解析，按照站点排成执行序列，此时双目相机输出的车道线数据被处理为横向偏差和航向角偏差，自动驾驶控制器会将横向偏差和航向角偏差经过路径追踪算法解析后，得出车辆打角和速度，同时，车体安全防护传感器的数据经过自动驾驶控制器的解析，确认车体周围适宜运行，就会启动车辆，沿着车道线进行追踪。

(3)、在运动过程中，车体安全防护传感器会实时监测车体周围状态，若是出现危险，自动驾驶控制器就会根据危险程度执行相应的措施，减速或者是急刹。

(4)、在车辆运行过程中，双目相机会实时的检测站牌，以此确认自身在全局地图中的位置，若没有到达终点，就会继续执行，若是到达终点，就会减速停车，车辆会将到站信息上传给系统，完成本次任务。

如图3所示一种基于双目相机的AGV定位导航方法及系统的横向偏差与航向角偏差说明如下。

(1)、双目相机获取车道线信息发送给自动驾驶控制器后，为了获得车体相对于车道线的位姿信息，需要将车道线信息转化为车体距离车道线的横向偏差与航向角偏差，以便于后续的路径追踪算法解析。

(2)、为了便于说明，将车道线方程设定为常用的三次方程y=ax³+bx²+cx+d的形式，其在工程中应用的方程包括但不限于三次方程，则车体距离车道线的横向偏差为:

(3)、为了便于说明，将车道线方程设定为常用的三次方程y=ax³+bx²+cx+d的形式，其在工程中应用的方程包括但不限于三次方程，则车体距离车道线的航向角偏差为:

(4)、通过上述计算，就获取了车体相对于车道线的横向偏差与航向角偏差，为下一步的路径追踪解算提供了基础。

如图4为一种基于双目相机的AGV定位导航方法及系统的车道线路径追踪算法，示意图如下。

在获得了车体相对于车道线的位姿信息以后（包括横向偏差、航向角偏差），需要对车体进行路径追踪算法解析，路径追踪算法是基于车辆相对于车道线的偏差来进行解算，其目的是消除车辆相对于车道线的横向偏差与航向角偏差，路径追踪算法有好多种，后文会举出两个例子来进行说明；下面来总体上介绍一下路径追踪算法的思路。

(1)、在车辆沿着车道线追踪的过程中，车体一直会与车道线偏离，只不过是偏离程度大或者小的问题，假设初始过程偏离过程很大，此时的车体会与车道线有横向偏差与航向角偏差。

(2)、自动驾驶控制器获取当前横向偏差与航向角偏差后，使用路径追踪算法使车辆向着车道线靠近，从而使横向偏差和航向角偏差减小。

(3)、当车体与车道线的横向偏差和航向角偏差减小到某一值的时候，车体稳定运行，但由于车道线的变化及车体运行变化，横向偏差和航向角偏差也在变化，此时，路径追踪算法一直在运行调整，使得车辆一直沿着车道线做满足运行精度的跟踪运动。

如图5所示为车道线路径追踪算法中纯追踪路径追踪算法说明如下。

纯追踪算法作为路径追踪算法对于低速场景中车辆控制有较好的效果。

(1)、将四轮车模型简化为二轮自行车模型，则前轮转向角与后轴将遵循的曲率之间的几何关系：

(2)、从自行车模型出发，纯跟踪算法以车后轴为切点, 车辆纵向车身为切线, 通过控制前轮转角，使车辆可以沿着一条经过预瞄点的圆弧行驶；

(3)、根据正弦定理，得：

(4)、得出：

(5)、所得θt就是纯追踪路径追踪算法在车辆当前偏差下计算的车辆航向角偏差。

如图6为车道线路径追踪算法中Stanley路径追踪算法说明如下。

Stanley路径追踪算法是以车辆前轴中心为参考点来进行运算的算法，其具体过程如下。

(1)、在不考虑横向跟踪误差的情况下，前轮偏角和给定路径切线方向一致，其转角应为：

(2)、在不考虑航向跟踪偏差的情况下,横向跟踪误差越大,前轮转向角越大:

(3)、在综合考虑航向跟踪的反馈和横向跟踪的前馈后，综合得出前轮转角应该为：

(4)、所得θt就是Stanley追踪算法在车辆当前偏差下计算的车辆航向角偏差。

图7为双目相机获取车道线方程步骤，说明如下。

(1)、双目相机开始采集图像。

(2)、图像预处理。

(3)、车道线提取。

(4)、车道线拟合。

(5)、得出车道线方程。

如图8为双目相机获取障碍物距离信息步骤，说明如下。

(1)、双目相机开始采集图像。

(2)、图像深度信息处理。

(3)、获取前方障碍物深度数据。

(4)、得到障碍物距离。

如图9为双目相机获取站点信息步骤，说明如下。

(1)、双目相机开始采集图像。

(2)、进行图像处理。

(3)、图像分割提取。

(4)、图像识别处理。

(5)、得到站点信息。

Claims

1.一种基于双目相机的AGV定位导航方法及系统包括双目相机传感器、车体安全防护装置、自动驾驶控制器、底盘控制器和底层线控单元；双目相机用来获得车道线信息和障碍物信息及站点信息，进行导航和避障及全局定位；车体安全防护装置用来车体安全保护，防止对行人、货物、车体造成伤害；自动驾驶控制器用来系统决策，算法解算；底层线控单元用来执行转角、速度及制动命令。

2.根据权利要求1所述的一种基于双目相机的AGV定位导航方法及系统，其特征在于，双目相机提取车道线信息，并转化为车道线方程通过CAN通信传输至自动驾驶控制器进行解析，自动驾驶控制器根据方程解析出车体位姿；并通过CAN通信，下发至底盘控制器，进行车辆控制。

3.根据权利要求1所述的一种基于双目相机的AGV定位导航方法及系统，其特征在于，双目相机还可以提取运行过程中的障碍物信息，并对障碍物进行分类和测量距离，根据属性的不同，自动驾驶控制器做出不同的决策，目的是保护车辆、行人及货物的安全。

4.根据权利要求2所述的车体位姿，其特征包括车体距离车道线的横向偏差距离和车体相对于车道线的航向角偏差角度；这两个量是车体相对于车道线的增量表达式。

5.根据权利要求2所述的车辆控制，其特征在于，通过路径追踪算法程序解析，使车辆计算并执行到最佳的打角角度；包括对车体的横向控制，即目的是消除车体相对于车道线的横向偏差，和对车体的航向角控制，即目的是消除车体相对于车道线的航向角偏差。

6.根据权利要求2所述的车道线方程，包括但不限于一次、二次、三次方程等。

7.根据权利要求3所述的站点识别，其特征在于，当车辆运行过程中，在路径中可以有多个站点，分别执行不同的任务，可以在站点设置明显的标志物，双目相机可以通过识别标志物，来区分当前站点执行何种任务和确认车体自身在全局地图的哪一点，起到了全局定位的效果。

8.根据权利要求3所述的安全检测，其特征在于，车辆运行过程中，会不断识别在运行方向上的物体，若识别出不为所设置的站点信息，就认为是障碍物，根据障碍物的远近程度、对车体的威胁程度适当分级，使自动驾驶控制器做出适当地决策。

9.根据权利要求1所述的一种基于双目相机的AGV定位导航方法及系统，其特征在于，所述车体安全防护装置，包括车体前后防撞条，近场超声波防护和中远场双目视觉传感器或者安全激光传感器或者其他的传感器，主要的目的在于车体周围入侵物的检测，保护车体、行人、货物的安全。

10.根据权利要求5所述的路径追踪算法，其特征在于，使用该算法计算的转角及速度，能够最合理的使车辆沿着车道线行进，满足系统对于平滑度、控制精度等要求，包括但不限于纯追踪算法、Stanley控制算法等。

11.一种基于双目相机的AGV定位导航方法及系统，其定位导航方法步骤如下：

(1)、操作人员使用远程车辆管理系统，下发任务，自动驾驶控制器接收到以后进行解算；

(2)、双目相机模块实时获取图像，进行图像处理，输出车道线方程信息及障碍物信息和站点信息；

(3)、自动驾驶控制器读取双目相机的车道线数据，进行解析，并计算车体距离车道线的航向角偏差和横向偏差；

(4)、得出航向角偏差和横向偏差后，自动驾驶控制器经过路径追踪算法计算得出车体打角，并根据预设的速度进行路径追踪；

(5)、与此同时，车体安全防护实时监测车体周围状态；

(6)、与此同时，自动驾驶控制器实时的解析站点信息，判定是否到达站点；

(7)、当到达预设目的地时，车辆缓速停止，自动驾驶控制器向管理系统汇报执行完毕；

(8)、等待系统做下一次任务的派发。