CN210294888U - 基于深度学习追踪目标的自动跟随运输车 - Google Patents

Abstract

本实用新型公开了一种上述基于深度学习追踪目标的自动跟随运输车，对特定图样跟踪标志进行自动识别和跟踪，其包括设于一跟随运输车的一双目摄像头，所述双目摄像头采集多种特定图样跟踪标志，并进行局部卷积神经网络训练，所述双目摄像头仅识别采集的多种特定图样跟踪标志，所述双目摄像头配有图像识别模块和空间坐标计算模块，所述图像识别模块识别所述特定图样跟踪标志在图像中的位置，所述空间坐标计算模块计算所述特定图样跟踪标志在空间中的三维坐标值，一超声波传感器设于所述跟随运输车，所述超声波传感器探测所述跟随运输车前方的障碍物，不存在高度信息缺失问题，并可实时追踪特定目标，有效帮助运输车完成自动跟随运输任务。

Description

基于深度学习追踪目标的自动跟随运输车

【技术领域】

本实用新型涉及一种运输车，尤指一种基于深度学习追踪目标的自动跟随运输车。

【背景技术】

目前市面上已有跟随运输车的设计方案主要有两种：第一种，采用超声波传感器进行物体探测，获取跟踪目标与跟随运输车的空间相对位置，进而引导跟随运输车完成跟随功能。第二种，采用Xbee通信方式获取跟踪目标与跟随运输车的空间相对位置，进而引导跟随运输车完成跟随功能。

第一种超声波传感器方案存在的缺陷是，不具备实时追踪特定目标的能力，其设计理念是在不同位置布置多个超声波传感器，探测跟随运输车前方物体与自身的相对距离,从而完成引导，然而任何物体都会被认为是有效的跟踪目标，因此跟随运输车只能跟随离它最近的前方目标，不具备跟踪特定目标的能力，跟踪目标上存在测量缺陷，这样就会经常出现跟踪错误的情况，同时也无法准确测得跟踪目标的空间三维坐标值，从而无法准确地引导车辆完成跟随任务，具体可参考中国专利申请公告号CN105629998A。

而第二种Xbee方案虽然具备跟踪特定目标的能力，但是从测量原理上看，Xbee方案只能测量Xbee发射器与安装于跟随车上接收器之间的相对距离，而缺少空间高度信息。因此Xbee方案的缺点是从原理上无法准确测得跟踪目标的空间三维坐标值，存在有效信息缺失，也无法实现准确的跟随效果，具体可参考中国专利申请授权公告号CN207198661U。

上述两种方案均存在成本高、效率低、耗时间等类似问题。

因此，有必要设计一种好的基于深度学习追踪目标的自动跟随运输车，以克服上述问题。

【实用新型内容】

针对背景技术所面临的问题，本实用新型的目的在于通过深度学习，利用局部卷积神经网络深度学习算法(Region Convolutional Neural Network)识别双目摄像头所采集图像中的跟踪目标，同时计算出其准确空间三维坐标值，引导运输车进行跟随，不存在高度信息缺失，可实时追踪特定目标，最终使本实用新型自动跟随运输车跟随更为准确可靠，有效地完成跟随运输任务。

为实现上述目的，本实用新型采用以下技术手段：

一种基于深度学习追踪目标的自动跟随运输车，对特定图样跟踪标志进行自动识别和跟踪，其包括设于一跟随运输车的一双目摄像头，所述双目摄像头采集多种特定图样跟踪标志，并进行局部卷积神经网络训练，所述双目摄像头仅识别采集的多种特定图样跟踪标志，所述双目摄像头配有图像识别模块和空间坐标计算模块，所述图像识别模块识别所述特定图样跟踪标志在图像中的位置，所述空间坐标计算模块计算所述特定图样跟踪标志在空间中的三维坐标值，一超声波传感器设于所述跟随运输车，所述超声波传感器探测所述跟随运输车前方的障碍物，所述跟随运输车具有一底盘，所述底盘安装有一电池和一控制器，所述电池对所述跟随运输车、所述双目摄像头、所述超声波传感器和所述控制器进行电力供应，所述控制器对所述跟随运输车、所述双目摄像头、所述超声波传感器进行操作控制，接收和处理信号，一开关模块对所述跟随运输车进行控制。

进一步地，所述底盘具有两个电机、两个前车轮和两个后车轮，两个所述电机为分别独立设置，两个所述电机对两个所述后轮进行驱动，利用差速控制算法控制所述跟随运输车完成转向，两个所述前车轮为万向轮。

进一步地，所述底盘具有无线充电模块，所述无线充电模块对电池提供无线充电，1kw 功率级无线充电模块，充电气隙超过20mm。

进一步地，所述底盘具有扬声器，当所述跟随运输车出现故障或发生跟随失败时，所述扬声器发出语音提醒，所述扬声器发出的语音提醒包括跟踪目标丢失、电池电量低、超重、车辆自身故障等。

进一步地，所述开关模块包含总开关和离身急停开关，所述总开关对所述跟随运输车上电和断电，所述离身急停开关对所述跟随运输车脱离操作人员控制时进行紧急停车。

进一步地，一模式切换环设于跟随运输车，设置跟随运输车不同的工作模式，工作模式为驻车(P)、跟随(F)、驱动(D)和空挡(N)四种。

进一步地，一速度挡位切换环设于跟随运输车，设置跟随运输车在跟随模式和驱动模式下不同的速度范围。

进一步地，跟随运输车包含四个速度挡位，速度范围分别为一挡0至2km/h，二挡0至4km/h，三挡0至5km/h，四挡0至6km/h。

进一步地，一任务管理系统分为一远程管理系统和一终端管理系统，所述远程管理系统下发物品运输任务，所述终端管理系统接收物品运输任务，通过一平板电脑终端硬件进行任务查看，完成任务后进行回传确认。

进一步地，所述远程管理系统与所述终端管理系统通过4G通信模块进行通讯，所述远程管理系统为云服务器和web管理程序，所述终端管理系统为一平板电脑和相应APP程序，所述4G通信模块位于所述底盘的所述控制器内。

与现有技术相比，本实用新型具有以下有益效果：

上述基于深度学习追踪目标的自动跟随运输车，对特定图样跟踪标志进行自动识别和跟踪，其包括设于一跟随运输车的一双目摄像头，所述双目摄像头采集多种特定图样跟踪标志，并进行局部卷积神经网络训练，所述双目摄像头仅识别采集的多种特定图样跟踪标志，所述双目摄像头配有图像识别模块和空间坐标计算模块，所述图像识别模块识别所述特定图样跟踪标志在图像中的位置，所述空间坐标计算模块计算所述特定图样跟踪标志在空间中的三维坐标值，一超声波传感器设于所述跟随运输车，所述超声波传感器探测所述跟随运输车前方的障碍物，所述跟随运输车具有一底盘，所述底盘安装有一电池和一控制器，所述电池对所述跟随运输车、所述双目摄像头、所述超声波传感器和所述控制器进行电力供应，所述控制器对所述跟随运输车、所述双目摄像头、所述超声波传感器进行操作控制，接收和处理信号，一开关模块对所述跟随运输车进行控制，不存在高度信息缺失问题，并可实时追踪特定目标，有效帮助运输车完成自动跟随运输任务。

【附图说明】

图1为本实用新型特定图样跟踪标志的示意图；

图2为本实用新型基于深度学习追踪目标的自动跟随运输车的货车的示意图；

图3为本实用新型基于深度学习追踪目标的自动跟随运输车的跟随运输车和货车的配合图；

图4为本实用新型基于深度学习追踪目标的自动跟随运输车的示意图；

图5为本实用新型基于深度学习追踪目标的自动跟随运输车另一视角的示意图；

图6为本实用新型基于深度学习追踪目标的自动跟随运输车仰视示意图。

具体实施方式的附图标号说明：

特定图样跟踪标志1 跟随运输车2 后车轮21

前车轮22 双目摄像头3 底盘4

电池5 控制器6 开关模块7

总开关71 离身急停开关72 电机8

跟随车货架9 跟随车推杆10 货车14

连接块141 平板电脑15

驾驶操作手柄17 超声波传感器18 速度挡位切换环19

模式切换环20 减速器23 警示灯24

无线充电模块25

【具体实施方式】

为便于更好的理解本实用新型的目的、结构、特征以及功效等，现结合附图和具体实施方式对本实用新型作进一步说明。

请参见图1至图4，本实用新型基于深度学习追踪目标的自动跟随运输车，对特定图样跟踪标志1进行自动识别和跟踪，一种基于机器视觉利用双目摄像头3，测量跟踪目标，可使得本实用新型自动跟随运输车2更为准确地跟踪目标对象，更有效地完成跟随运输任务。

请参见图1至图3，一种基于深度学习追踪目标的自动跟随运输车，对特定图样跟踪标志1进行自动识别和跟踪，特定图样跟踪标志1用于跟随运输车2的识别和跟踪。前期在深度学习网络训练阶段，利用双目摄像头3采集不同环境下上百幅特定图样跟踪标志1 的图片并用这些图片进行局部卷积神经网络(Region Convolutional Neural Network) 训练，使局部卷积神经网络能对特定图样跟踪标志1达到99％以上的准确识别率。在正式投用阶段，一个经过训练的局部卷积神经网络只识别和跟踪用于训练过它的特定图像跟踪标志1，而不识别其他特定图像跟踪标志1。只要有无数个不同的特定图样跟踪标志1，那么就可以实现无数多的运输车跟随行驶。

设于跟随运输车2前端面的双目摄像头3，所述双目摄像头3采集多种特定图样跟踪标志1，并进行局部卷积神经网络训练，所述双目摄像头3仅识别采集的多种特定图样跟踪标志1，所述双目摄像头3主要用于采集跟随运输车2前方景物图像，并提供给局部卷积神经网进行特定图样跟踪标志1识别，识别得到特定图样跟踪标志1在图像中的位置，所述双目摄像头3配有图像识别模块和空间坐标计算模块，所述图像识别模块(未图示，下同)识别所述特定图样跟踪标志1在图像中的位置，所述空间坐标计算模块(未图示，下同)计算所述特定图样跟踪标志1在空间中的三维坐标值，进而引导运输车完成跟随，一超声波传感器18设于所述跟随运输车2，所述超声波传感器18探测所述跟随运输车2 前方的障碍物，所述跟随运输车2具有一底盘4，所述底盘4安装有一电池5和一控制器 6，所述电池5对所述跟随运输车2、所述双目摄像头3、所述超声波传感器18和所述控制器6进行电力供应，所述控制器6对所述跟随运输车2、所述双目摄像头3、所述超声波传感器18进行操作控制，接收和处理信号，一开关模块7对所述跟随运输车2进行控制。

请参见图1至图3，所述双目摄像头3安装于所述跟随运输车2的前端面，其主要作用是实时拍摄所述跟随运输车2前方的景物，通过所述图像识别模块的技术获得所述特定图样跟踪标志1在图像中的位置，再利用所述空间坐标计算模块的双目空间坐标系计算方法得到所述特定图样跟踪标志1在空间中的三维坐标值，完成所述跟随运输车2的引导。所述超声波传感器18的数量为两个，两个所述超声波传感器18分别安装在所述跟随运输车2前端面的左右两侧，用于所述跟随运输车2前方障碍物的探测，当所述跟随运输车2 的前方存在障碍物时，立即停车，避免发生车辆碰撞事故，此措施可以有效提高所述跟随运输车2使用的安全性。

请参见图3至图5，所述底盘4具有两个电机8、两个后车轮21和两个前车轮22，两个所述电机8为分别独立设置，两个所述电机8对两个所述后车轮21进行驱动，利用差速控制算法控制所述跟随运输车2完成转向，两个所述前车轮22为万向轮。本实施例中所述双目摄像头3、所述超声波传感器18和一手推杆等都安装在所述底盘4，别的实施例中也可以安装在所述跟随运输车2的其余位置，所述电机8的一侧设有减速器23，可以对所述电机8进行降速输出至所述后车轮21。所述底盘4具有无线充电模块25，所述无线充电模块25对电池提供无线充电，1kw功率级无线充电模块25，充电气隙超过20mm，当跟随运输车2电量即将耗尽时，可引导跟随运输车2行驶至无线充电区域进行充电。

请参见图3至图5，所述底盘4具有扬声器(未图示，下同)，当所述跟随运输车2 出现故障或发生跟随失败时，所述扬声器发出语音提醒，所述扬声器发出的语音提醒包括跟踪目标丢失、电池5电量低、超重、车辆自身故障等，而所述控制器6接收并处理各个传感器信号，比如所述双目摄像头3、所述超声波传感器18、压力传感器等，并通过控制算法控制所述跟随运输车2前进。

请参见图3至图5，所述开关模块7安装于扶手侧面，所述开关模块7包含总开关71和离身急停开关72，所述总开关71对所述跟随运输车2上电和断电，所述离身急停开关 72对所述跟随运输车2脱离操作人员控制时进行紧急停车。通过一条锁链，锁链两头有锁扣，一头锁在所述离身急停开关72上，另一头锁在操作人员的腰带上，当手动驾驶所述跟随运输车2时，一旦发生所述跟随运输车2脱手，不受控制，锁在所述离身急停开关72 的锁扣脱离所述离身急停开关72，所述跟随运输车2立即停车，从而避免发生碰撞事故，有效保障运输安全。

请参见图3至图5，一任务管理系统(未图示，下同)分为一远程管理系统和一终端管理系统，所述远程管理系统是一个平台，负责下发物品运输任务，所述终端管理系统接收物品运输任务，通过一平板电脑终端硬件进行任务查看，完成任务后进行回传确认。所述远程管理系统与所述终端管理系统通过4G通信模块进行通讯，所述远程管理系统为云服务器和web管理程序，所述终端管理系统为一平板电脑15和相应APP程序，所述4G通信模块位于所述底盘4的所述控制器6内。通过所述任务管理系统可以辅助操作人员进行物品的正确运输，有效避免物品装载错误，地点运输错误等问题。

请参见图3至图5，还包括一跟随车货架9，所述跟随车货架9主要用于自身载货运输时使用，通常情况下，可载重150kg货物运输行驶。一驾驶操作手柄17和一跟随车推杆10，所述跟随运输车2不但可以实现跟随功能，同样也具备手动驾驶功能，在手动驾驶模式下，可通过安装于扶手上的所述驾驶操作手柄17实现前进、后退和转向控制。

请参见图4至图6，一速度挡位切换环19安装于跟随车推杆上，其作用是设置跟随运输车2在导航模式和跟随模式下不同的速度范围，跟随运输车2包含4个速度挡位，速度范围分别为一挡0至2km/h，二挡0至4km/h，三挡0至5km/h，四挡0至6km/h。可根据不同需要设置速度挡位，以达到最佳的使用效果。

请参见图4至图6，一模式切换环20设于跟随车推杆10，设置跟随运输车2不同的工作模式，工作模式为驻车(P)、跟随(F)、驱动(D)和空挡(N)四种。驻车(P) 模式用于跟随运输车2短暂不工作时，使跟随运输车2刹车不发生滑动；跟随(F)模式用于跟随运输车2跟踪工作人员行驶；驱动(D)模式用于跟随运输车2接受工作人员手动控制，利用操作手柄控制跟随运输车2前进、转弯和后退；空挡(N)模式用于工作人员手推跟随运输车2前进，当跟随运输车2处于低电量情况允许工作人员推动跟随运输车 2至指定地点充电。

请参见图4至图6，此外，所述跟随运输车2除了可以自身作为载体进行货物运输，亦可作为牵引车头牵引货车14进行货物运输，牵引重量可达自身承重的两倍。货车14用于所述跟随运输车2牵引进行货物运输，通过连接块141与所述跟随运输车2拖杆进行连接，货车14只包含货架、车体和车轮，不包含电机8、控制器6等驱动部件，同时采用多车跟随模式，更能成倍地提高运输能力。

请参见图4至图6，一警示灯24安装于跟随运输车2的货架9上，其作用是在跟随运输车2自动跟随模式下发出警示灯光，提醒周围工作人员有跟随运输车2经过。

请参见图1至图4，上述基于深度学习追踪目标的自动跟随运输车，对特定图样跟踪标志1进行自动识别和跟踪，其包括设于一跟随运输车2的一双目摄像头3，所述双目摄像头3采集多种特定图样跟踪标志1，并进行局部卷积神经网络训练，所述双目摄像头3 仅识别采集的多种特定图样跟踪标志1，所述双目摄像头3配有图像识别模块和空间坐标计算模块，所述图像识别模块识别所述特定图样跟踪标志1的位置，所述空间坐标计算模块计算所述特定图样跟踪标志1在空间中的三维坐标值，一超声波传感器18设于所述跟随运输车2，所述超声波传感器18探测所述跟随运输车2前方的障碍物，所述跟随运输车 2具有一底盘4，所述底盘4安装有一电池5和一控制器6，所述电池5对所述跟随运输车 2、所述双目摄像头3、所述超声波传感器18和所述控制器6进行电力供应，所述控制器 6对所述跟随运输车2、所述双目摄像头3、所述超声波传感器18进行操作控制，接收和处理信号，一开关模块7对所述跟随运输车2进行控制，不存在高度信息缺失问题，并可实时追踪特定目标，有效帮助运输车完成自动跟随运输任务。

以上详细说明仅为本实用新型之较佳实施例的说明，非因此局限本实用新型的专利范围，所以，凡运用本创作说明书及图示内容所为的等效技术变化，均包含于本实用新型的专利范围内。

Claims (10)

1.一种基于深度学习追踪目标的自动跟随运输车，对图样跟踪标志进行自动识别和跟踪，其特征在于，包括：设于一跟随运输车的一双目摄像头，所述双目摄像头采集多种图样跟踪标志，并进行局部卷积神经网络训练，所述双目摄像头仅识别采集的多种图样跟踪标志，所述双目摄像头配有图像识别模块和空间坐标计算模块，所述图像识别模块识别所述图样跟踪标志在图像中的位置，所述空间坐标计算模块计算所述图样跟踪标志在空间中的三维坐标值，一超声波传感器设于所述跟随运输车，所述超声波传感器探测所述跟随运输车前方的障碍物，所述跟随运输车具有一底盘，所述底盘安装有一电池和一控制器，所述电池对所述跟随运输车、所述双目摄像头、所述超声波传感器和所述控制器进行电力供应，所述控制器对所述跟随运输车、所述双目摄像头、所述超声波传感器进行操作控制，接收和处理信号，一开关模块对所述跟随运输车进行控制。

2.如权利要求1所述的基于深度学习追踪目标的自动跟随运输车，其特征在于：所述底盘具有两个电机、两个前车轮和两个后车轮，两个所述电机为分别独立设置，两个所述电机对两个所述后车轮进行驱动，利用差速控制算法控制所述跟随运输车完成转向，两个所述前车轮为万向轮。

3.如权利要求2所述的基于深度学习追踪目标的自动跟随运输车，其特征在于：所述底盘具有无线充电模块，所述无线充电模块对电池提供无线充电，1kw功率级无线充电模块，充电气隙超过20mm。

4.如权利要求1所述的基于深度学习追踪目标的自动跟随运输车，其特征在于：所述底盘具有扬声器，当所述跟随运输车出现故障或发生跟随失败时，所述扬声器发出语音提醒，所述扬声器发出的语音提醒包括跟踪目标丢失、电池电量低、超重、车辆自身故障等。

5.如权利要求1所述的基于深度学习追踪目标的自动跟随运输车，其特征在于：所述开关模块包含总开关和离身急停开关，所述总开关对所述跟随运输车上电和断电，所述离身急停开关对所述跟随运输车脱离操作人员控制时进行紧急停车。

6.如权利要求1所述的基于深度学习追踪目标的自动跟随运输车，其特征在于：一模式切换环设于跟随运输车，设置跟随运输车不同的工作模式，工作模式为驻车(P)、跟随(F)、驱动(D)和空挡(N)四种。

7.如权利要求1所述的基于深度学习追踪目标的自动跟随运输车，其特征在于：一速度挡位切换环设于跟随运输车，设置跟随运输车在跟随模式和驱动模式下不同的速度范围。

8.如权利要求7所述的基于深度学习追踪目标的自动跟随运输车，其特征在于：跟随运输车包含四个速度挡位，速度范围分别为一挡0至2km/h，二挡0至4km/h，三挡0至5km/h，四挡0至6km/h。

9.如权利要求1所述的基于深度学习追踪目标的自动跟随运输车，其特征在于：一任务管理系统分为一远程管理系统和一终端管理系统，所述远程管理系统下发物品运输任务，所述终端管理系统接收物品运输任务，通过一平板电脑终端硬件进行任务查看，完成任务后进行回传确认。

10.如权利要求9所述的基于深度学习追踪目标的自动跟随运输车，其特征在于：所述远程管理系统与所述终端管理系统通过4G通信模块进行通讯，所述远程管理系统为云服务器和web管理程序，所述终端管理系统为一平板电脑和相应APP程序，所述4G通信模块位于所述底盘的所述控制器内。

Images