CN110298247A - 一种基于深度学习的道路救援装备正方位拖牵诱导方法 - Google Patents

一种基于深度学习的道路救援装备正方位拖牵诱导方法 Download PDF

Info

Publication number
CN110298247A
CN110298247A CN201910432687.9A CN201910432687A CN110298247A CN 110298247 A CN110298247 A CN 110298247A CN 201910432687 A CN201910432687 A CN 201910432687A CN 110298247 A CN110298247 A CN 110298247A
Authority
CN
China
Prior art keywords
layer
convolution
characteristic pattern
length
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910432687.9A
Other languages
English (en)
Other versions
CN110298247B (zh
Inventor
李旭
曹继文
徐启敏
王培宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910432687.9A priority Critical patent/CN110298247B/zh
Publication of CN110298247A publication Critical patent/CN110298247A/zh
Application granted granted Critical
Publication of CN110298247B publication Critical patent/CN110298247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种基于深度学习的道路救援装备正方位拖牵诱导方法，结合道路救援装备拖牵装置结构和作业特点，首先改进基于tiny‑yolo的车牌识别网络，然后制作样本集对网络进行训练，获得网络参数，接着利用该网络对正方位作业区域图像中的被拖车车牌进行识别，最后测量道路救援装备拖牵装置被拖车之间的横向偏差，实时、稳定、可靠地诱导作业人员实施拖牵作业，从而达到提高拖牵救援效率与安全性能的目的。

Description

一种基于深度学习的道路救援装备正方位拖牵诱导方法
技术领域
本发明属于道路救援技术领域，具体涉及一种基于深度学习的道路救援装备正方位拖牵诱导方法。
背景技术
随着社会经济的不断发展和城镇一体化的快速推进，人民生活水平普遍提高，机动车保有量呈现爆发式增长，道路交通事故救援、违章车辆处理等社会需求也迅速增长，作为汽车后市场的道路救援行业重要性日益凸显，逐渐受到社会重视。道路救援装备具有拖牵、牵拉、扶正、起吊、推铲等多项基本操作，而拖牵救援是道路救援过程中应用最为广泛、频繁的基本操作。但目前国内外专门针对道路救援装备拖牵诱导技术的研究尚浅，拖牵作业智能化程度低，不仅缺少合理的安全监控环节，而且作业人员主要凭借其技术经验进行拖牵救援，缺乏有效的智能化诱导辅助，加之救援环境往往比较复杂，作业人员水平参差不齐，往往导致作业耗时过长，造成交通堵塞，甚至引发“二次事故”，难以保证拖牵救援过程的安全性与高效性，比如道路救援装备无法快速安全高效地从事故车辆前方将其拖离现场，进而完成正方位拖牵作业就是其中之一。
当被拖车夹在左右两车中间，且与两侧相邻车辆的间距很小时，以皮卡救援车为例的道路救援装备，往往选择实施正方位拖牵作业，即从被拖车车头的前方向后倒车，在逐渐靠近被拖车的过程中，将拖牵装置与被拖车进行对准，然后进行抱胎固定，进而将被拖车拖离事故现场，具体如图2所示。在传统的正方位拖牵作业过程中，将道路救援装备拖牵装置与被拖车进行对准这一操作，难度较大，其效率主要依赖于驾驶员技术经验等人为因素，通常需要多次反复倒车进行位置修正，耗时过长，救援效率低下。
近几年来，一些基于车牌定位的正方位拖牵诱导方法出现在道路救援领域，通过机器视觉方法检测出车牌，确定被拖车左右中心位置，进而实施正方位拖牵诱导，在一定程度上提高了道路救援装备的智能化程度，但是基于机器视觉的方法往往需要人工提取并建立特征，且环境适应能力仍有待提高。
发明内容
发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于深度学习的道路救援装备正方位拖牵诱导方法，本发明面对正方位拖牵作业场景，利用深度学习方法对被拖车车牌进行识别，进而测量道路救援装备拖牵装置与被拖车之间的横向偏差，诱导实施拖牵作业，从而提到拖牵救援的安全性与高效性。
技术方案：本发明所述的一种基于深度学习的道路救援装备正方位拖牵诱导方法，依次包括以下步骤：
(1)基于改进tiny-yolo设计车牌识别网络，具体过程如下：
综合权衡该网络所需的特征信息表达能力和对实时性的要求，对tiny-yolo网络结构进行改进，在保证实时性的同时，进一步提高网络对车牌的识别准确度，
(1.1)设计膨胀卷积层：由于车牌实际尺寸较小，因此车牌是图像中的小尺度目标，而车牌位于事故车辆的车头上，相对车牌来讲，车头是图像中的大尺度目标，鉴于上述车牌与车头的关系，在网络的浅层采用膨胀卷积方法；
(1.2)设计NIN卷积层：为进一步提取小尺度目标车牌的局部特征，基于NIN(network in network)思想，把1×1的卷积层置于两个相邻的3×3的卷积层之间；
(1.3)设计分解卷积层：采用卷积核分解的方法进行深层网络设计，将3×3卷积层分解为3×1卷积层和1×3卷积层，这样设计能够保证网络的实时性；
(1.4)确定网络整体架构，即基于上述局部优化设计对tiny-yolo网络进行针对性改进，确定最终的整体网络架构：整个网络共有19层，包含个14个卷积层和5个池化层；
其中，网络的第1、3、5、9、15层为池化层，池化域均为2×2，步长均为2；网络的第2、4层为膨胀卷积层，膨胀率分别为2、4，卷积核大小为3×3，对应卷积核的数量为32、64，步长为1；网络的第0、6、8层为标准卷积层，卷积核大小为3×3，对应卷积核数量分别为16、128、128，步长为1；网络的第7、12层为NIN卷积层，卷积核大小为1×1，对应卷积核数量分别为64、128，步长为1；网络的第10和11、13和14、16和17层为分解卷积层，卷积核的大小分别为3×1、1×3、3×1、1×3、3×1、1×3，对应卷积核的数量分别为256、256、256、256、512、512，步长均为1；最后一层卷积层的卷积核大小为1×1，卷积核数量为18，步长为1；
(2)基于步骤(1)的车牌识别网络进行网络模型训练
在室外模拟道路救援装备正方位拖牵作业过程，采集包含被拖车辆的后方作业图像，制作样本集，然后采用多尺度训练策略；
其中多尺度训练策略的具体内容为：在迭代过程中，每隔固定批次，从设定的多尺度集中重新更换一个尺度对基于改进tiny-yolo的车牌识别网络进行训练，获得网络参数；
(3)车牌识别
使用基于改进tiny-yolo的车牌识别网络对道路救援装备后方作业区域图像中的被拖车车牌进行初始化识别，进而确定车牌相关参数：图像中被拖车车牌中心像素横坐标x0；车牌像素长度l0；
(4)正方位拖牵横向偏差测量
(4.1)判断道路救援装备与被拖车的相对位置关系：
因为在正方位拖牵作业实施的过程中，道路救援装备位于被拖车辆的车头前方，车载摄像机安装于道路救援装备折臂上中间固定位置处，若被拖车辆位于平坦路面，则摄像机水平朝向道路救援装备正后方，此时采集图像中拖牵装置摆臂与图像水平轴的夹角小于10°，且采集图像区域的中轴线与道路救援装备及其拖牵装置的中轴线相一致，而被拖车辆车牌位于其车头正中间位置处。
因此，根据摄像机采集图像的中心与图像中被拖车车牌中心的左右位置关系判断道路救援装备与被拖车的相对位置关系：若被拖车车牌中心在图像中心左侧，则被拖车偏向道路救援装备拖牵装置左侧；若被拖车车牌中心在图像中心右侧，则被拖车偏向道路救援装备拖牵装置右侧；
(4.2)横向偏差计算：在摄像头的采集图像中，道路救援装备拖牵装置的左右中心线与图像的水平中心线一致，因此道路救援装备拖牵装置与被拖车位置之间的横向偏差距离计算公式为：
ΔC0＝|x0-X|×L0/l0
式中，ΔC0为道路救援装备与被拖车位置之间的横向偏差距离，x0为车牌识别得到的车牌中心像素横坐标，l0为车牌识别得到的车牌像素长度，X为摄像头采集图像中心横坐标，L0为车牌字符实际长度；在实施正方位拖牵作业的过程中，根据以上步骤，识别后方作业区域图像中被拖车的车牌，计算道路救援装备与被拖车之间的横向偏差，对作业人员进行方向和距离偏差提示，诱导作业人员进行拖牵，从而提高拖牵救援的安全性与高效性。
2、根据权利要求1所述的基于深度学习的道路救援装备正方位拖牵诱导方法，其特征在于：所述步骤(1.3)中设计后的车牌识别网络共有19层，具体网络结构表述如下：
第0层即标准卷积层0：用16个3×3的卷积核与416×416×3像素的输入样本做卷积，步长为1，得到维度为416×416×16的特征图；
第1层即池化层0：用2×2的核对第0层输出的特征图做最大池化，步长为2，得到维度为208×208×16的特征图；
第2层即膨胀卷积层0：用32个3×3的卷积核与第1层输出的特征图做卷积，步长为1，膨胀率为2，得到维度为208×208×32的特征图；
第3层即池化层1：用2×2的核对第2层输出的特征图做最大池化，步长为2，得到维度为104×104×32的特征图；
第4层即膨胀卷积层1：用64个3×3的卷积核与第3层输出的特征图做卷积，步长为1，膨胀率为4，得到维度为104×104×64的特征图；
第5层即池化层2：用2×2的核对第4层输出的特征图做最大池化，步长为2，得到维度为52×52×64的特征图；
第6层即标准卷积层1：用128个3×3的卷积核与第5层输出的特征图做卷积，步长为1，得到维度为52×52×128的特征图；
第7层即NIN卷积层0：用64个1×1的卷积核与第6层输出的特征图做卷积，步长为1，得到维度为52×52×64的特征图；
第8层即标准卷积层2：用128个3×3的卷积核与第7层输出的特征图做卷积，步长为1，得到维度为52×52×128的特征图；
第9层即池化层3：用2×2的核对第8层输出的特征图做最大池化，步长为2，得到维度为26×26×128的特征图；
第10层即分解卷积层0：用256个3×1的卷积核与第9层输出的特征图做卷积，步长为1，得到维度为26×26×256的特征图；
第11层即分解卷积层1：用256个1×3的卷积核与第10层输出的特征图做卷积，步长为1，得到维度为26×26×256的特征图；
第12层即NIN卷积层1：用128个1×1的卷积核与第11层输出的特征图做卷积，步长为1，得到维度为26×26×128的特征图；
第13层即分解卷积层2：用256个3×1的卷积核与第12层输出的特征图做卷积，步长为1，得到维度为26×26×256的特征图；
第14层即分解卷积层3：用256个1×3的卷积核与第13层输出的特征图做卷积，步长为1，得到维度为26×26×256的特征图；
第15层即池化层4：用2×2的核对第14层输出的特征图做最大池化，步长为2，得到维度为13×13×256的特征图；
第16层即分解卷积层4：用512个3×1的卷积核与第15层输出的特征图做卷积，步长为1，得到维度为13×13×512的特征图；
第17层即分解卷积层5：用512个1×3的卷积核与第16层输出的特征图做卷积，步长为1，得到维度为13×13×512的特征图；
第18层：用18个1×1的卷积核与第17层输出的特征图做卷积，步长为1，得到维度为13×13×18的特征图。
有益效果：本发明一方面通过深度学习识别后方作业区域图像中被拖车的车牌，在图像中进行有效标识并通过可视化装置进行实时显示，另一方面根据识别的结果，测量拖牵装置与被拖车之间的横向偏差，给出偏差提示信息，诱导实施拖牵作业，进而提高拖牵救援的效率。为适应道路救援装备拖牵救援作业需求，本发明能够实时准确可靠地识别出被拖车的车牌，这也是实现正方位拖牵的前提和基础，同时能够根据车牌识别的结果，获得拖牵装置与被拖车之间的横向偏差。
附图说明
图1是本发明的整体流程图；
图2是实施例中道路救援装备正方位拖牵作业示意图；
图3是实施例中正方位拖牵后方作业区域图像被拖车车牌识别结果图；
图4是实施例中正方位拖牵横向偏差测量方法示意图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
当被拖车夹在左右两车中间，且与两侧相邻车辆的间距很小时，以皮卡救援车为例的道路救援装备，往往选择实施正方位拖牵作业，即从被拖车车头的前方向后倒车，在逐渐靠近被拖车的过程中，将拖牵装置与被拖车进行对准，然后进行抱胎固定，进而将被拖车拖离事故现场，具体如图2所示。
在传统的正方位拖牵作业过程中，将道路救援装备拖牵装置与被拖车进行对准这一操作，难度较大，其效率主要依赖于驾驶员技术经验等人为因素，通常需要多次反复倒车进行位置修正，耗时过长，救援效率低下。近几年来，一些利用车牌定位的正方位拖牵诱导方法出现在道路救援领域，其主要是根据人工提取的特征来检测车牌，确定被拖车左右中心位置，进而实施正方位拖牵诱导，在一定程度上提高了道路救援装备的智能化程度，但是基于人工提取特征的传统机器视觉方法往往过度依赖于人工提取的特征，对复杂场景的适应力有限。
为克服上述现有技术缺陷，首先需要做到以下两点：
(1)正方位拖牵救援倒车作业，是为实现拖牵装置与被拖车车轮的对准，而道路救援装备的拖牵装置和几乎所有社会车辆均为对称结构，当道路救援装备位于平坦路面时，若将摄像机置于拖牵装置的横向中间位置，则拖牵装置纵轴与图像左右中心线重合。因此，通过判断事故车辆的左右中心线与图像左右中心线的位置关系，就基本确定拖牵装置与事故车辆的相对位置关系。
(2)对于对称结构的抛锚或碰撞等事故车辆，汽车号牌一般安装在车头左右中心位置处，车牌左右中心线与车辆左右中心线重合，因此，可采用基于车牌识别的方法确定拖牵装置与被拖事故车辆的位置关系，即先检测事故车辆的车牌中心，然后以车牌左右中心线代替车辆左右中心线，通过判断车牌左右中心线与图像左右中心线的关系，确定拖牵装置与事故车辆的位置关系。
根据上述两点，本发明提出了一种基于深度学习的道路救援装备正方位拖牵诱导方法，兼具良好的实时性与可靠性。本发明首先改进基于tiny-yolo的车牌识别网络，然后制作样本集对网络进行训练，获得网络参数，接着利用该网络对正方位作业区域图像中的被拖车车牌进行识别，无需建立过多的人工特征，进而测量道路救援装备拖牵装置被拖车之间的横向偏差，诱导作业人员实施拖牵作业，从而提高拖牵救援作业的安全性与高效性。
如图1所示，具体步骤包括：
(1)基于改进tiny-yolo设计车牌识别网络
采集图像中车牌的尺寸相对较小，但是目前比较流行的轻量化目标实时检测算法如tiny-yolo(详见“陈志韬.基于深度学习的图像目标识别研究[D].哈尔滨工程大学，2018.”)等，对小尺度目标的识别精度仍有待提高。因此，本发明综合权衡该网络所需的特征信息表达能力和对实时性的要求，对tiny-yolo网络结构进行改进，在保证实时性的同时，进一步提高网络对车牌的识别准确度，主要包括以下子步骤：
子步骤(1.1)：设计膨胀卷积层，鉴于车牌与车头的关系，在网络的浅层，采用膨胀卷积方法，能够在保证网络模型参数不变的情况下，增大局部感受野，以提取大尺度目标事故车辆车头的特征。
子步骤(1.2)：设计NIN卷积层，为进一步提取小尺度目标车牌的局部特征，借鉴NIN(network in network)的思想，把1×1的卷积层置于两个相邻的3×3的卷积层之间，用来压缩特征，降低参数数量，进而提高对小尺度目标特征的提取能力。在两个相邻的3×3的卷积层之间插入1×1卷积层，能够在增加或减少通道数量的同时，不改变输入图像的大小。而压缩或增加通道的数量，可以实现对多个特征映射进行线性组合，实现了多通道的信息交互和整合。
子步骤(1.3)：设计分解卷积层，考虑到NIN卷积层的使用在一定程度上会影响网络的实时性，因此，采用卷积核分解的方法进行深层网络设计，将3×3卷积层分解为3×1卷积层和1×3卷积层，能够在一定程度上保证网络的实时性。
子步骤(1.4)：确定网络整体架构，基于上述局部优化设计，对tiny-yolo网络进行针对性改进，确定网络的整体架构，如表1所示。
表1 基于改进tiny-yolo的车牌识别网络架构
从表1中可以看出，本发明的网络共有19层，包含个14个卷积层和5个池化层。其中，网络的第1、3、5、9、15层为池化层，池化域均为2×2，步长均为2；网络的第2、4层为膨胀卷积层，膨胀率分别为2、4，卷积核大小为3×3，对应卷积核的数量为32、64，步长为1；网络的第0、6、8层为标准卷积层，卷积核大小为3×3，对应卷积核数量分别为16、128、128，步长为1；网络的第7、12层为NIN卷积层，卷积核大小为1×1，对应卷积核数量分别为64、128，步长为1；网络的第10和11、13和14、16和17层为分解卷积层，卷积核的大小分别为3×1、1×3、3×1、1×3、3×1、1×3，对应卷积核的数量分别为256、256、256、256、512、512，步长均为1；最后一层卷积层的卷积核大小为1×1，卷积核数量为18，步长为1。
具体网络结构表述如下：
第0层即标准卷积层0：用16个3×3的卷积核与416×416×3像素的输入样本做卷积，步长为1，得到维度为416×416×16的特征图；
第1层即池化层0：用2×2的核对第0层输出的特征图做最大池化，步长为2，得到维度为208×208×16的特征图；
第2层即膨胀卷积层0：用32个3×3的卷积核与第1层输出的特征图做卷积，步长为1，膨胀率为2，得到维度为208×208×32的特征图；
第3层即池化层1：用2×2的核对第2层输出的特征图做最大池化，步长为2，得到维度为104×104×32的特征图；
第4层即膨胀卷积层1：用64个3×3的卷积核与第3层输出的特征图做卷积，步长为1，膨胀率为4，得到维度为104×104×64的特征图；
第5层即池化层2：用2×2的核对第4层输出的特征图做最大池化，步长为2，得到维度为52×52×64的特征图；
第6层即标准卷积层1：用128个3×3的卷积核与第5层输出的特征图做卷积，步长为1，得到维度为52×52×128的特征图；
第7层即NIN卷积层0：用64个1×1的卷积核与第6层输出的特征图做卷积，步长为1，得到维度为52×52×64的特征图；
第8层即标准卷积层2：用128个3×3的卷积核与第7层输出的特征图做卷积，步长为1，得到维度为52×52×128的特征图；
第9层即池化层3：用2×2的核对第8层输出的特征图做最大池化，步长为2，得到维度为26×26×128的特征图；
第10层即分解卷积层0：用256个3×1的卷积核与第9层输出的特征图做卷积，步长为1，得到维度为26×26×256的特征图；
第11层即分解卷积层1：用256个1×3的卷积核与第10层输出的特征图做卷积，步长为1，得到维度为26×26×256的特征图；
第12层即NIN卷积层1：用128个1×1的卷积核与第11层输出的特征图做卷积，步长为1，得到维度为26×26×128的特征图；
第13层即分解卷积层2：用256个3×1的卷积核与第12层输出的特征图做卷积，步长为1，得到维度为26×26×256的特征图；
第14层即分解卷积层3：用256个1×3的卷积核与第13层输出的特征图做卷积，步长为1，得到维度为26×26×256的特征图；
第15层即池化层4：用2×2的核对第14层输出的特征图做最大池化，步长为2，得到维度为13×13×256的特征图；
第16层即分解卷积层4：用512个3×1的卷积核与第15层输出的特征图做卷积，步长为1，得到维度为13×13×512的特征图；
第17层即分解卷积层5：用512个1×3的卷积核与第16层输出的特征图做卷积，步长为1，得到维度为13×13×512的特征图；
第18层：用18个1×1的卷积核与第17层输出的特征图做卷积，步长为1，得到维度为13×13×18的特征图。
(2)网络模型训练
为了提高模型的泛化能力和环境适应性，训练样本应考虑正方位拖牵作业的实际情况，同时兼顾白天和夜晚，晴天和阴天，远距离与近距离以及多种车型等因素。在室外模拟道路救援装备正方位拖牵作业过程，采集包含被拖车辆的后方作业图像，制作样本集，采用多尺度训练策略：在迭代过程中，每隔固定批次，从设定的多尺度集中重新更换一个尺度对设计的基于改进tiny-yolo的车牌识别网络进行训练，获得网络参数。
(3)车牌识别
使用基于改进tiny-yolo的车牌识别网络对道路救援装备后方作业区域图像中的被拖车车牌进行识别，本实施例的识别结果如图3所示，进而确定车牌相关参数，如图像中被拖车车牌中心像素横坐标x0，以及车牌像素长度l0。
(4)正方位拖牵横向偏差测量
在正方位拖牵作业实施的过程中，道路救援装备一般位于被拖车辆的车头前方，车载摄像机安装于道路救援装备折臂上中间固定位置处，若位于平坦路面，则摄像机朝向道路救援装备正后方，采集图像中拖牵装置摆臂与图像水平轴的夹角通常较小(小于10°)，具体如图4所示。采集图像区域的中轴线与道路救援装备及其拖牵装置的中轴线相一致，而被拖车辆车牌一般位于其车头正中间位置处，因而可根据摄像机采集图像的中心与图像中被拖车车牌中心的左右位置关系判断道路救援装备与被拖车的相对位置关系：若被拖车车牌中心在图像中心左侧，则被拖车偏向道路救援装备拖牵装置左侧；若被拖车车牌中心在图像中心右侧，则被拖车偏向道路救援装备拖牵装置右侧。
为了进一步提高拖牵诱导的效率，还应对拖牵作业过程中道路救援装备与被拖车位置之间的横向偏差进行量化计算。图4给出了道路救援装备在平坦路面实施正方位拖牵作业时横向偏差的测量原理示意图。在摄像头的采集图像中，道路救援装备拖牵装置的左右中心线与图像的水平中心线一致，因此道路救援装备拖牵装置与被拖车位置之间的横向偏差距离计算公式为：
ΔC0＝|x0-X|×L0/l0
式中，ΔC0为道路救援装备与被拖车位置之间的横向偏差距离，x0为车牌识别得到的车牌中心像素横坐标，l0为车牌识别得到的车牌像素长度，X为摄像头采集图像中心横坐标，考虑到正方位拖牵作业的有效距离为0～6米，本发明中选用的摄像头焦距范围为4mm～8mm，采集的图像大小为960×540，因此X取值为480，L0为车牌字符实际长度，本实施例中L0取值为42cm。
在实施正方位拖牵作业的过程中，根据上述步骤，识别后方作业区域图像中被拖车的车牌，测量道路救援装备与被拖车之间的横向偏差，对作业人员进行方向和距离偏差提示，诱导作业人员进行拖牵，从而提高拖牵救援的安全性与高效性。

Claims (2)

1.一种基于深度学习的道路救援装备正方位拖牵诱导方法，其特征在于：依次包括以下步骤：
(1)基于改进tiny-yolo设计车牌识别网络，具体过程如下：
(1.1)设计膨胀卷积层：在所采集的图像中，车牌是图像的小尺度目标，车头是图像的大尺度目标，鉴于这种车牌与车头的关系，在网络的浅层采用膨胀卷积方法；
(1.2)设计NIN卷积层：基于NIN思想将1×1的卷积层置于两个相邻的3×3的卷积层之间；
(1.3)设计分解卷积层：采用卷积核分解的方法进行深层网络设计，将3×3卷积层分解为3×1卷积层和1×3卷积层；
(1.4)确定网络整体架构，即基于上述局部优化设计对tiny-yolo网络进行改进，确定最终的整体网络架构：整个网络共有19层，包含个14个卷积层和5个池化层；
其中，网络的第1、3、5、9、15层为池化层，池化域均为2×2，步长均为2；网络的第2、4层为膨胀卷积层，膨胀率分别为2、4，卷积核大小为3×3，对应卷积核的数量为32、64，步长为1；网络的第0、6、8层为标准卷积层，卷积核大小为3×3，对应卷积核数量分别为16、128、128，步长为1；网络的第7、12层为NIN卷积层，卷积核大小为1×1，对应卷积核数量分别为64、128，步长为1；网络的第10和11、13和14、16和17层为分解卷积层，卷积核的大小分别为3×1、1×3、3×1、1×3、3×1、1×3，对应卷积核的数量分别为256、256、256、256、512、512，步长均为1；最后一层卷积层的卷积核大小为1×1，卷积核数量为18，步长为1；
(2)基于步骤(1)的车牌识别网络进行网络模型训练
在室外模拟道路救援装备正方位拖牵作业过程，采集包含被拖车辆的后方作业图像，制作样本集，然后采用多尺度训练策略；
其中多尺度训练策略的具体内容为：在迭代过程中，每隔固定批次，从设定的多尺度集中重新更换一个尺度对基于改进tiny-yolo的车牌识别网络进行训练，获得网络参数；
(3)车牌识别
使用基于改进tiny-yolo的车牌识别网络对道路救援装备后方作业区域图像中的被拖车车牌进行初始化识别，进而确定车牌相关参数：图像中被拖车车牌中心像素横坐标x0；车牌像素长度l0；
(4)正方位拖牵横向偏差测量
(4.1)判断道路救援装备与被拖车的相对位置关系：即根据摄像机采集图像的中心与图像中被拖车车牌中心的左右位置关系判断道路救援装备与被拖车的相对位置关系：若被拖车车牌中心在图像中心左侧，则被拖车偏向道路救援装备拖牵装置左侧；若被拖车车牌中心在图像中心右侧，则被拖车偏向道路救援装备拖牵装置右侧；
(4.2)横向偏差计算：在摄像头的采集图像中，道路救援装备拖牵装置的左右中心线与图像的水平中心线一致，因此道路救援装备拖牵装置与被拖车位置之间的横向偏差距离计算公式为：
ΔC0＝|x0-X|×L0/l0
式中，ΔC0为道路救援装备与被拖车位置之间的横向偏差距离，x0为车牌识别得到的车牌中心像素横坐标，l0为车牌识别得到的车牌像素长度，X为摄像头采集图像中心横坐标，L0为车牌字符实际长度。
2.根据权利要求1所述的基于深度学习的道路救援装备正方位拖牵诱导方法，其特征在于：所述步骤(1.3)中设计后的车牌识别网络共有19层，具体网络结构表述如下：
第0层即标准卷积层0：用16个3×3的卷积核与416×416×3像素的输入样本做卷积，步长为1，得到维度为416×416×16的特征图；
第1层即池化层0：用2×2的核对第0层输出的特征图做最大池化，步长为2，得到维度为208×208×16的特征图；
第2层即膨胀卷积层0：用32个3×3的卷积核与第1层输出的特征图做卷积，步长为1，膨胀率为2，得到维度为208×208×32的特征图；
第3层即池化层1：用2×2的核对第2层输出的特征图做最大池化，步长为2，得到维度为104×104×32的特征图；
第4层即膨胀卷积层1：用64个3×3的卷积核与第3层输出的特征图做卷积，步长为1，膨胀率为4，得到维度为104×104×64的特征图；
第5层即池化层2：用2×2的核对第4层输出的特征图做最大池化，步长为2，得到维度为52×52×64的特征图；
第6层即标准卷积层1：用128个3×3的卷积核与第5层输出的特征图做卷积，步长为1，得到维度为52×52×128的特征图；
第7层即NIN卷积层0：用64个1×1的卷积核与第6层输出的特征图做卷积，步长为1，得到维度为52×52×64的特征图；
第8层即标准卷积层2：用128个3×3的卷积核与第7层输出的特征图做卷积，步长为1，得到维度为52×52×128的特征图；
第9层即池化层3：用2×2的核对第8层输出的特征图做最大池化，步长为2，得到维度为26×26×128的特征图；
第10层即分解卷积层0：用256个3×1的卷积核与第9层输出的特征图做卷积，步长为1，得到维度为26×26×256的特征图；
第11层即分解卷积层1：用256个1×3的卷积核与第10层输出的特征图做卷积，步长为1，得到维度为26×26×256的特征图；
第12层即NIN卷积层1：用128个1×1的卷积核与第11层输出的特征图做卷积，步长为1，得到维度为26×26×128的特征图；
第13层即分解卷积层2：用256个3×1的卷积核与第12层输出的特征图做卷积，步长为1，得到维度为26×26×256的特征图；
第14层即分解卷积层3：用256个1×3的卷积核与第13层输出的特征图做卷积，步长为1，得到维度为26×26×256的特征图；
第15层即池化层4：用2×2的核对第14层输出的特征图做最大池化，步长为2，得到维度为13×13×256的特征图；
第16层即分解卷积层4：用512个3×1的卷积核与第15层输出的特征图做卷积，步长为1，得到维度为13×13×512的特征图；
第17层即分解卷积层5：用512个1×3的卷积核与第16层输出的特征图做卷积，步长为1，得到维度为13×13×512的特征图；
第18层：用18个1×1的卷积核与第17层输出的特征图做卷积，步长为1，得到维度为13×13×18的特征图。
CN201910432687.9A 2019-05-23 2019-05-23 一种基于深度学习的道路救援装备正方位拖牵诱导方法 Active CN110298247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910432687.9A CN110298247B (zh) 2019-05-23 2019-05-23 一种基于深度学习的道路救援装备正方位拖牵诱导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910432687.9A CN110298247B (zh) 2019-05-23 2019-05-23 一种基于深度学习的道路救援装备正方位拖牵诱导方法

Publications (2)

Publication Number Publication Date
CN110298247A true CN110298247A (zh) 2019-10-01
CN110298247B CN110298247B (zh) 2022-04-12

Family

ID=68027143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910432687.9A Active CN110298247B (zh) 2019-05-23 2019-05-23 一种基于深度学习的道路救援装备正方位拖牵诱导方法

Country Status (1)

Country Link
CN (1) CN110298247B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686340A (zh) * 2021-03-12 2021-04-20 成都点泽智能科技有限公司 一种基于深度神经网络的密集小目标检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145797A (zh) * 2018-08-13 2019-01-04 东南大学 基于车底阴影特征定位车牌的轻型道路救援装备正方位拖牵诱导方法
CN109285169A (zh) * 2018-08-13 2019-01-29 东南大学 一种基于车轮识别的道路救援装备侧方位拖牵诱导方法
CN109376733A (zh) * 2018-08-13 2019-02-22 东南大学 一种基于车牌定位的道路救援装备正方位拖牵诱导方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145797A (zh) * 2018-08-13 2019-01-04 东南大学 基于车底阴影特征定位车牌的轻型道路救援装备正方位拖牵诱导方法
CN109285169A (zh) * 2018-08-13 2019-01-29 东南大学 一种基于车轮识别的道路救援装备侧方位拖牵诱导方法
CN109376733A (zh) * 2018-08-13 2019-02-22 东南大学 一种基于车牌定位的道路救援装备正方位拖牵诱导方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
章品正等: "一种应用机器学习的车牌定位方法", 《应用科学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686340A (zh) * 2021-03-12 2021-04-20 成都点泽智能科技有限公司 一种基于深度神经网络的密集小目标检测方法
CN112686340B (zh) * 2021-03-12 2021-07-13 成都点泽智能科技有限公司 一种基于深度神经网络的密集小目标检测方法

Also Published As

Publication number Publication date
CN110298247B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN106296612B (zh) 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法
CN105512623B (zh) 基于多传感器雾天行车视觉增强与能见度预警系统及方法
CN102737248B (zh) 复杂路况下的车道线特征点提取方法与装置
CN103902976B (zh) 一种基于红外图像的行人检测方法
CN105005999B (zh) 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN112132789B (zh) 基于级联式神经网络的受电弓在线检测装置及方法
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN108399403B (zh) 一种基于车牌尺寸计算的车距检测方法
CN110516633B (zh) 一种基于深度学习的车道线检测方法及系统
CN107397658B (zh) 一种多尺度全卷积网络及视觉导盲方法和装置
CN103577809B (zh) 一种基于智能驾驶的地面交通标志实时检测的方法
CN104881661B (zh) 基于结构相似度的车辆检测方法
CN102938057B (zh) 一种车辆阴影消除方法及装置
CN106887004A (zh) 一种基于块匹配的车道线检测方法
CN102252859B (zh) 汽车列车直线行驶横向稳定性自动辨识系统
WO2023155483A1 (zh) 一种车型识别方法、装置和系统
CN107844783A (zh) 一种营运车辆异常驾驶行为检测方法及系统
CN202134079U (zh) 一种无人驾驶车辆车道标志线识别与报警装置
CN109948433A (zh) 一种嵌入式人脸跟踪方法及装置
CN104463935A (zh) 一种用于交通事故还原的车道重建方法和系统
CN105913488A (zh) 一种基于三维映射表的三维点云快速重建方法
CN109632037A (zh) 一种基于图像智能识别的城市内涝积水深度检测方法
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
CN110733416B (zh) 一种基于逆透视变换的车道偏离预警方法
CN110298247A (zh) 一种基于深度学习的道路救援装备正方位拖牵诱导方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant