CN113033352B - 一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法 - Google Patents

一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法 Download PDF

Info

Publication number
CN113033352B
CN113033352B CN202110263472.6A CN202110263472A CN113033352B CN 113033352 B CN113033352 B CN 113033352B CN 202110263472 A CN202110263472 A CN 202110263472A CN 113033352 B CN113033352 B CN 113033352B
Authority
CN
China
Prior art keywords
network
vehicle
target
detection
tail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110263472.6A
Other languages
English (en)
Other versions
CN113033352A (zh
Inventor
郑河荣
张梦蝶
郭东岩
潘翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110263472.6A priority Critical patent/CN113033352B/zh
Publication of CN113033352A publication Critical patent/CN113033352A/zh
Application granted granted Critical
Publication of CN113033352B publication Critical patent/CN113033352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法，本发明能够有效、实时地解决交通执法人员检测到在可变换场景下的交通违法行为的问题。本发明框架简单，性能强大，网络结构简单，性能良好；本发明检测的精度和速度有很大的优势，由于使用的网络结构特殊，所以在保证精度的同时不需要牺牲检测的速度，可以保证该方法的实时性；本发明具有移动性，比起固定的路桩式交通检测摄像头，本方法具有更好的灵活性和移动性，可以跟随车辆的移动，对不同的场景路面进行很好的检测，并且在保证精度的情况下保持速度。

Description

一种基于结合改进目标语义分割和目标检测模型的实时移动 交通违法检测方法
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法。
背景技术
随着城镇化进程的不断加速，城市人口和机动车数目的迅猛增长，产生了一系列严重的安全与交通问题。虽然违反交通规章制度的行为数量日益增长，但现行的电子瞥察系统由于体积大、功耗高等局限性，通常只能安装在固定的地点，监控范围有限，易被驾驶员提前知晓并刻意躲避，使其监管范围和效能受到了极大限制，这给交管执法部门的执法工作带来了很大的困扰。所以，设计一种高效而方便的基于车载移动视觉平台的实时交通违法自动识别方法意义重大。近年来，深度学习思想迅速发展，与传统依赖先验知识的特征提取算法不同，深度神经网络可在训练数据驱动下自适应地构建特征描述，具有更高的灵活性和普适性。作为实现深度学习的一项重要技术，卷积神经网络(CNN)成功地训练了首个深层神经网络结构，已在图像识别、语音识别等工程应用领域取得了卓越的成绩。
车道线检测和车辆目标检测是该方法的两种核心算法。传统的车道线检测方法依靠高度专业化，手工制作的特征和启发式的组合来识别车道。大众选择这些手工制作的线索包括基于颜色的特征，结构张量，条形滤波器，脊线特征等，它们可能与霍夫变换相结合和粒子或卡尔曼滤波器在识别出目标之后，采用后处理技术将错误检测目标过滤掉，以形成最终结果。总体来说，这些传统方法虽然速度快，但会由于道路场景变化而容易于出现鲁棒性差的问题，特别对于弯道的检测效果不佳，计算成本昂贵且不易于扩展。为了改进这些缺点，最近的方法已经用神经网络取代了手工制作的特征检测器，基于CNN的车道线检测属于语义分割任务，在语义分割中需要将视觉输入分为不同的语义可解释类别，语义的可解释性的定义就是分类类别在真实世界中是有意义的。基于CNN的语义分割车道线检测方法会直接为图像中的每个像素进行分类，原始图像经过一个端到端模型后直接输出分割结果，是一种从训练数据出发，贯穿整个模型后直接输出结果的模式。例如，可能需要区分图像中属于汽车的所有像素，并把这些像素涂成蓝色，可能需要区分图像中属于人的所有像素，并把这些像素涂成红色等。与图像分类或目标检测相比，语义分割能对图像有更加细致的了解。这种了解在诸如自动驾驶、机器人以及图像搜索引擎等许多领域都是非常有研究意义的。
目标检测算法大体上可以分为基于传统手工特征的时期(2013之前)以及基于深度学习的目标检测时期(2013～今)。基于传统手工特征的目标检测是通过提取图像的一些特征(如Harr、SIFT、HOG等)，使用DPM模型，用滑动窗口的方式来预测具有较高得分的目标位置边框(bounding box)。2013年以后基于深度学习的目标检测也可分为基于objectproposal、regression的两步检测和基于一体化卷积网络的检测。以CNN,Fast-RCNN,Faster-RCNN为代表的两步走算法是基于候选区域(Region Proposal)的R-CNN系算法，需要先使用启发式方法或者CNN网络(RPN)产生候选区域，然后再在候选区域上做分类与回归。而以YOLOv3,SSD,Retina-Net为代表的一步走算法是基于一体化卷积网络的方法，是可以一次性预测多个Box位置和类别的卷积神经网络，能够实现端到端的目标检测和识别。
发明内容
本发明为克服上述的不足之处，目的在于提供一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法，本发明能够有效、实时地解决交通执法人员检测到在可变换场景下的交通违法行为的问题，以及在速度和精度方面都取得了良好的效果。
本发明是通过以下技术方案达到上述目的：一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法，包括车道线的检测与分类，车辆的车尾检测与分类，设计实现交通违章检测方法，具体步骤如下：
(1)车道线分割训练集增强：对公开数据集采用对抗生成网络进行数据增强，自动实现白天到夜晚的转换，生成弱光照场景下的图片；
(2)设计一个用于车头车尾目标检测的训练数据集：根据图像中目标车辆车尾和车头的所在位置，在原始训练集中裁剪出真实目标区域图像，裁剪出的图像对构成了训练数据集用于车头车尾目标检测；
(3)采用残差因子分解网络改进目标语义分割网络实现车道线语义分割，并通过霍夫线拟合提高车道线分割准确率，采用分类网络对每条检测出来的车道线进行分类；
(4)车头车尾语义目标约束下的交通违章行为判断：首先检测出整体车辆区域，然后针对车辆区域采用一个改进的目标检测网络得到车头车尾的位置区域坐标，最终根据车道线分割结果和车头车尾位置坐标判断是否发生交通违章行为。
作为优选，所述关于车道线的检测与分类，首先使用基于对抗生成网络的数据增强方法对原数据集进行数据增强，增加弱光照场景下的数据，再使用残差因子分解网络改进目标语义分割网络分割出车道线的概率图，并采用霍夫线拟合；再使用传统算法对车道线点区域进行裁切，把裁切出来的图片使用基于残差结构的分类网络对车道线进行分类，分为白虚线、黄虚线、白实线、白虚线、无、马路路边六类；关于车辆的车尾检测与分类，首先采用目标检测网络，检测出车辆的整体位置区域，然后将该整体位置区域裁剪出来用目标检测回归网络回归检测车头和车尾部分，并对车头车尾成功分类；进而在交通违章识别方法里判断车辆行为是否违章。
作为优选，所述步骤(1)中，对车道线分割训练集的数据进行数据增强，根据公开数据集CULane，利用基于对抗生成网络的数据增强方法实现场景转换，生成弱光照场景下的图片；自动实现白天到夜晚的转换，实现数据增强。
作为优选，所述的对抗生成网络由两个生成器和两个鉴别器组成，每个生成器带有一个鉴别器，当生成器在生成图像的时候，对应的鉴别器用来鉴别该生成器生成的图像是否真实；其中，生成器包括两个步长为2的卷积层、9个resnet残差块和两个步长为1的卷积层；为了让编码器能适用于不同分辨率的输入图像，在编码时，自动记录比例的变化情况，并在解码时将其映射到相应的卷积层中；使用5层卷积层作为鉴别器网络，包括3个步长为2的卷积层和2个步长为1的卷积层，其初始通道数为3个通道；鉴别器用来判断生成器生成的图像是否真实，然后把结果反馈给生成器。
作为优选，所述步骤(2)自制车头车尾数据集时，利用CULane、COCO、自制拍摄的图像数据集，并且利用labelImg对图像中车辆的车头和车尾进行标注；利用随机的方式抽选部分数据作为训练集，其余数据作为测试集。
作为优选，所述步骤(3)具体如下：
(3.1)改进目标语义分割网络确定目标定位信息：利用基于残差因子分解网络的改进型目标语义分割网络实现车道线的语义分割，提取图像的类别信息，并将车道线类别图像记为研究区域；将研究区域与背景用二值数据区分，同条车道线使用相同数值标记；利用图像分割技术将原图转化为区分前景、背景的二值图像；其中规定在208高度的二值图像中找特定高度的18行：0,12,24,48,60,70,82,94,106,118,130,142,154,166,178,190,202,207，并找到每行的像素最大值，这些位置的坐标就是检测到的车道线的位置坐标；再根据这些位置坐标找到一条适合的霍夫线离这些坐标最近，最后利用霍夫线的首尾两个点的坐标直线拟合提取最合适的边缘线，其中三次样条插值为量化直线合适度的依据；最终由坐标点确定研究区域的位置信息，即组成一条车道线；
(3.2)利用残差结构的分类网络确定目标分类信息：将检测出来的车道线在原图上表示出来，通过最小外接矩阵分别把4条车道线以矩形的形式旋转后裁剪出来，再通过基于残差结构的分类网络对裁出来的车道线图像进行分类，分为白实线、白虚线、黄实线、白虚线、无、马路边这六类。
作为优选，所述步骤(4)中，使用目标检测网络来检测车辆作为单目标的boundingbox，等待检测出整体车辆的目标位置后，再用目标检测回归网络来回归检测车头和车尾这两类的网络；具体如下：
(4.1)目标检测确定大目标的定位信息：利用基于目标检测网络结构进行大目标的定位，将图像中的车辆目标全部检测出来；目标检测网络进行了三个尺度的检测，分别是在32倍降采样，16倍降采样，8倍降采样时进行检测；在基本的图像特征提取方面，该目标检测网络采用了含有53个卷积层的网络结构；
(4.2)目标检测确定精确目标的定位信息：其中训练车头车尾检测回归网络包括如下：
(i)初始化训练参数设置：将数据集的图像统一设置大小为32的倍数的224*224，该类图像作为精确目标的回归神经网络的输入；对回归神经网络设置初始学习率η，初始迭代次数，批处理数据量batch_size；网络参数迭代时使用随机梯度下降法，另外设置动量参数momentum与权重衰减率参数γ；
(ii)确定回归网络结构：回归网络的网络层包含24层，只有一个7层的conv+max网络来提取特征，嫁接网络采用的是13*13、26*26的分辨率探测网络；每层对应有3个anchors，总共有6个anchors值；还有一个1x1的卷积层，该层的输入和输出部分保持width,height以及channels不变；其卷积公式为:output＝(input+padding-kernel_size)/stride+1，padding＝0；
(iii)模型训练：基于模型训练所需的参数，训练时借鉴BP神经网络误差反向传播的思想，利用随机梯度下降法更新各层参数，直到迭代次数达到上限，或网络参数的更新速率小于预设阈值时结束网络训练；
(4.3)目标检测确定精确目标的定位信息：利用回归网络进行精确目标的定位，将步骤(4.1)中提取到的图像中大目标输入到训练好的车头车尾检测模型中，会对大目标中进行精确的车头车尾定位；
(4.4)根据车道线分割结果和车头车尾位置坐标判断是否发生交通违章行为。
作为优选，所述的交通违章行为类别包括压线、逆行、高速公路上违停；压线、逆行、高速公路上违停的判断方法分别如下：
(I)针对高速公路路段违停行为判断：默认高速公路为3车道，并且找到距离车尾的bounding box的下底边的中心最近的两条车道线，如果这两条车道线都在这个中心坐标的左边，说明该车辆行驶或违停在高速公路应急车道上，判断为违停违章行为；后期需靠执法人员确认，该车辆是否为故障而停靠，或其他原因停靠，可做调节；
(II)压线行为判断：如果检测到的车尾的bounding box的下底边的这段线段中与车道线有交点，可以认为疑似压线，需要进一步判断；首先设置一个阈值，阈值设置公式为：
thresh＝(820-|centerx-820|)/1640
如果线越靠图像两端，阈值就越小，它到框下边中点要更近，才能算压线，如果线越靠近图像中间，阈值就越大，它到框下边中心算压线的范围就越宽；
(III)逆行行为判断：如果检测到车头的bounding box的下底边的中心坐标位于距离该中心坐标距离最近的黄实线的右边，或者检测到车尾的bounding box的下底边的中心坐标位于距离该中心坐标距离最近的黄实线的左边，都判断为逆行。
本发明的有益效果在于：(1)本发明包括基于残差因子分解网络改进目标语义分割网络和具体目标识别模型(目标检测网络+具体位置回归网络)，框架简单，性能强大，网络结构简单，性能良好；(2)本发明检测的精度和速度有很大的优势，由于使用的网络结构特殊，所以在保证精度的同时不需要牺牲检测的速度，可以保证该方法的实时性；(3)本发明具有移动性，比起固定的路桩式交通检测摄像头，本方法具有更好的灵活性和移动性，可以跟随车辆的移动，对不同的场景路面进行很好的检测，并且在保证精度的情况下保持速度。
附图说明
图1是本发明的方法流程示意图；
图2是本发明的车道线检测流程示意图；
图3是本发明的Non-bt-1D示意图；
图4是本发明的车辆检测流程示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例：如图1所示，一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法具体如下：
(1)车道线分割训练集增强，对公开数据集采用对抗生成网络进行数据增强，自动实现白天到夜晚的转换，生成弱光照场景下的图片，提高训练数据的泛化性。
(2)设计一个用于车头车尾目标检测的训练数据集。根据图像中目标车辆车尾和车头的所在位置，在原始训练集中裁剪出真实目标区域图像，裁剪出的图像对构成了训练数据集用于车头车尾目标检测。
(3)采用残差因子分解网络改进目标语义分割网络实现车道线语义分割，并采用霍夫线拟合提高车道线分割准确率，并采用分类网络，对每条检测出来的车道线进行分类。
(4)车头车尾语义目标约束下的交通违章行为判断。该发明首先检测出整体车辆区域，然后针对车辆区域采用一个目标检测回归网络得到车头车尾的位置区域坐标。最终根据车道线分割结果和车头车尾位置坐标判断是否发生交通违章行为。
该方法的总体检测流程如图1所示，本方法主要内容包括以下三个方面：车道线的检测并分类，车辆的车尾的检测并分类，设计实现交通违章检测方法开发。关于车道线的检测，先使用基于对抗生成网络的数据增强方法对原数据集进行数据增强，增加弱光照场景下的数据，再使用残差因子分解网络改进目标语义分割网络分割出车道线的概率图，并采用霍夫线拟合。再使用传统算法对车道线点区域进行裁切，把裁切出来的图片使用基于残差结构的分类网络对车道线进行分类，大致分为白虚线、黄虚线、白实线、白虚线、无、马路路边六类。关于车尾的检测，先采用目标检测网络，检测出车辆的整体位置区域，然后将该整体位置区域裁剪出来用目标检测回归网络回归检测车头和车尾部分，并对车头车尾成功分类。进而在交通违章识别方法里判断车辆行为是否违章。比如根据车尾是否压到车道线来判断是否违反交通法章中的压线，根据黄线右边是否检测到车头或者黄线左边是否检测到车尾来判断该车辆是否逆行。
其中，步骤1是对车道线分割数据集的数据增强，根据公开数据集CULane，通过对抗生成网络实现从合适的光照条件到低光照条件的场景转换，生成3500余张弱光照场景下的图片。即在同一个场景下，自动实现白天到夜晚的转换，从而无需额外的人工收集数据和标记数据即可实现数据增强。这部分生成的数据增加到CULane中，为后续用的车道线检测算法训练使用。
该对抗生成网络由两个生成器和两个鉴别器组成，每个生成器带有一个鉴别器，当生成器在生成图像的时候，对应的鉴别器用来鉴别该生成器生成的图像是否真实。
本方法使用的对抗生成网络的生成器包括两个步长为2的卷积层、9个resnet残差块和两个步长为1的卷积层。为了让编码器能适用于不同分辨率的输入图像，在编码时，自动记录比例的变化情况，并在解码时将其映射到相应的卷积层中。本方法使用5层卷积层作为鉴别器网络，包括3个步长为2的卷积层和2个步长为1的卷积层，它的初始通道数为3个通道。鉴别器用来判断生成器生成的图像是否真实，然后把结果反馈给生成器。
在步骤2中自制车头车尾数据集，用CULane、COCO、自制拍摄的图像等数据集，并且利用labelImg对图像中车辆的车头和车尾进行标注。利用随机的方式抽选80％的数据作为训练集，20％的样本作为测试集。该自制数据集用作后期训练车头车尾检测分类模型。
步骤3是对车道线的检测和分类，流程如图2所示，输入一张图像，下面对检测和分类两步骤做具体说明：
3.1)改进目标语义分割网络确定车道线定位信息：
本发明利用基于残差因子分解网络的改进型目标语义分割网络实现车道线的语义分割，该具有残差网络结构的语义分割提取效果比一般的卷积神经网络好。提取图像的类别信息，并将车道线类别图像记为研究区域。将研究区域与背景用二值数据区分，同条车道线使用相同数值标记。利用图像分割技术将原图转化为区分前景、背景的二值图像。本方法规定在208高度的二值图像中找特定高度的18行：0,12,24,48,60,70,82,94,106,118,130,142,154,166,178,190,202,207，并找到每行的像素最大值，这些位置的坐标就是检测到的车道线的位置坐标。再根据这些位置坐标找到一条适合的霍夫线离这些坐标最近，最后利用霍夫线的首尾两个点的坐标直线拟合提取最合适的边缘线，其中三次样条插值为量化直线合适度的依据。最终由坐标点确定研究区域的位置信息，即组成一条车道线。
在改进目标语义分割网络结构中，从RGB图像(编码器的输入)到像素类别概率(解码器的输出)。算法从1到20的层构成了编码器，由残差块和降采样块组成，比改进前的目标分割网络的16层增加了4层Non-bt-1D层，通过加深特征提取网络深度来增加目标特征信息，实验证明该方法有更好的检测效果。Non-bt-1D网络是一种交织着一些空洞卷积的残差网络，如图3所示，它按照由上往下顺序看是由1个3*1卷积、1个1*3卷积、1个3*1卷积和1个1*3卷积的设计组成，该网络可以收集更多的上下文特征信息，从而提高了分割的准确性。下采样(降低空间分辨率)的缺点是降低了像素精度(较粗的输出)，但它还有两个好处：它可以让更深的层收集更多的上下文(以改善分类)，并有助于减少计算量。因此，为了保持良好的平衡，执行了三个下采样：在第1、2和8层。解码器部分由21到27层组成。其主要任务是对编码器的特征图进行升采样以匹配输入分辨率。拥有一个小型解码器，其目的仅是通过微调细节来对编码器的输出进行上采样。该网络结构不使用max-unpooling操作进行上采样。相反，本目标分割网络体系结构包括具有步幅2的简单反卷积层(也称为转置卷积或全卷积)。使用反卷积的主要优点是不需要共享来自编码器的池索引。因此，反卷积简化了内存和计算需求。此外，本网络也获得了相似(或稍好)的精度。表1为改进目标语义分割网络的网络结构；
表1
3.2)基于残差结构的分类网络确定目标分类信息：
经过2.1)步骤后，将检测出来的车道线在原图上表示出来，通过最小外接矩阵分别把车道线以矩形的形式旋转后裁剪出来，再通过基于残差结构的分类网络对裁出来的车道线图像进行分类，分为白实线、白虚线、黄实线、白虚线、无、马路边这六类。
a.裁剪车道线：
每条线取三个点：一个中点和两个端点，利用opencv的最小外接矩形函数对三个点做最小外接矩形检测，此时得到的一个宽度为30个像素的矩形，(将矩形宽度小于30的扩宽到30)，并裁剪下来。此时得到的矩形框可能是倾斜的(不是水平或者竖直的，无法裁剪出来)，需要对图像进行旋转操作，本方案将所有矩形旋转为水平的。并逐条线裁剪出来，分别作分类预测。
b.训练一个分类器
因为残差网络能解决过深的网络会使分类准确度下降的问题，只需要分类4类，所以不需要过深的网络。
本发明的车辆检测流程图如图4所示。
在步骤4中，使用目标检测网络来检测车辆作为单目标的bounding box，等检测出整体车辆的目标位置后，再用目标检测回归网络来回归检测车头和车尾这两类的网络。
4.1)目标检测确定大目标的定位信息；
对于车辆的目标检测使用的网络是一个全卷积网络，大量使用残差的跳层连接，并且为了降低池化带来的梯度负面效果，不适用pooling，用conv的stride来实现降采样。在这个网络结构中，使用的是步长为2的卷积来进行降采样。这很适合本方法需要进行的对作为小目标的远端汽车的检测。
4.2)目标检测确定精确目标的定位信息；
因为上面使用的目标检测算法对车头车尾的检测效果不佳，所以在该目标检测算法检测出区域之后又新增加了一个回归网络来提取车头和车尾的特征，最终检测到车头和车尾区域位置。考虑到车头车尾只有两类目标，而且目标特征相对比较大。和已有的yolov3网络相比较，发明把目标检测主干网络的卷积层数从53层削减到7层、3个预测分支减少为2个。从而使得网络计算量大大降低，可以在移动端运行，提速2倍，而且性能上基本维持不变。因为回归时的是单目标车辆的区域，所以干扰信息较少，模型体积不大速度还很快的回归网络就能较准确的检测到车尾和车头区域，这对判断有没有成功检测压线至关重要。
4.3)对车头和车尾检测区域进行分类；
对于车头车尾的检测和分类，需要使用到在步骤(2)中自制的数据集，并训练回归网络的检测分类模型。
4.4)对车道线和车辆的检测结果进行整合，按照下列指标对是否有交通违章行为进行判断：
1、针对高速公路路段违停行为判断。
默认高速公路为3车道，并且找到距离车尾的bounding box的下底边的中心最近的两条车道线，如果这两条车道线都在这个中心坐标的左边，说明该车辆行驶或违停在高速公路应急车道上，判断为违停违章行为。后期需靠执法人员确认，该车辆是否为故障而停靠，或其他原因停靠，可做调节。
2、压线行为判断。
如果检测到的车尾的bounding box的下底边的这段线段中与车道线有交点，可以认为疑似压线，因为遮挡可能会造成视觉误差，所以需要进一步判断。首先设置一个阈值，阈值设置公式为：
thresh＝(820-|centerx-820|)/1640
如果线越靠图像两端，阈值就越小，它到框下边中点要更近，才能算压线，如果线越靠近图像中间，阈值就越大，它到框下边中心算压线的范围就越宽。
3、逆行行为判断。
如果检测到车头的bounding box的下底边的中心坐标位于距离该中心坐标距离最近的黄实线的右边，或者检测到车尾的bounding box的下底边的中心坐标位于距离该中心坐标距离最近的黄实线的左边，都判断为逆行。
经过上述步骤的操作，即可实现对交通违规行为的快速检测。
以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (4)

1.一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法，其特征在于，包括车道线的检测与分类，车辆的车尾检测与分类，设计实现交通违章检测方法，关于车道线的检测与分类，首先使用基于对抗生成网络的数据增强方法对原数据集进行数据增强，增加弱光照场景下的数据，再使用残差因子分解网络改进目标语义分割网络分割出车道线的概率图，并采用霍夫线拟合；再使用传统算法对车道线点区域进行裁切，把裁切出来的图片使用基于残差结构的分类网络对车道线进行分类，分为白虚线、黄虚线、白实线、白虚线、无、马路路边六类；关于车辆的车尾检测与分类，首先采用目标检测网络，检测出车辆的整体位置区域，然后将该整体位置区域裁剪出来用目标检测回归网络回归检测车头和车尾部分，并对车头车尾成功分类；进而在交通违章识别方法里判断车辆行为是否违章；具体步骤如下：
(1)车道线分割训练集增强：对公开数据集采用对抗生成网络进行数据增强，自动实现白天到夜晚的转换，生成弱光照场景下的图片；
(2)设计一个用于车头车尾目标检测的训练数据集：根据图像中目标车辆车尾和车头的所在位置，在原始训练集中裁剪出真实目标区域图像，裁剪出的图像对构成了训练数据集用于车头车尾目标检测；
(3)采用残差因子分解网络改进目标语义分割网络实现车道线语义分割，并通过霍夫线拟合提高车道线分割准确率，采用分类网络对每条检测出来的车道线进行分类；具体如下：
(3.1)改进目标语义分割网络确定目标定位信息：利用基于残差因子分解网络的改进型目标语义分割网络实现车道线的语义分割，提取图像的类别信息，并将车道线类别图像记为研究区域；将研究区域与背景用二值数据区分，同条车道线使用相同数值标记；利用图像分割技术将原图转化为区分前景、背景的二值图像；其中规定在208高度的二值图像中找特定高度的18行：0,12,24,48,60,70,82,94,106,118,130,142,154,166,178,190,202,207，并找到每行的像素最大值，这些位置的坐标就是检测到的车道线的位置坐标；再根据这些位置坐标找到一条适合的霍夫线离这些坐标最近，最后利用霍夫线的首尾两个点的坐标直线拟合提取最合适的边缘线，其中三次样条插值为量化直线合适度的依据；最终由坐标点确定研究区域的位置信息，即组成一条车道线；
(3.2)利用残差结构的分类网络确定目标分类信息：将检测出来的车道线在原图上表示出来，通过最小外接矩阵分别把4条车道线以矩形的形式旋转后裁剪出来，再通过基于残差结构的分类网络对裁出来的车道线图像进行分类，分为白实线、白虚线、黄实线、白虚线、无、马路边这六类；
在改进目标语义分割网络结构中，从RGB图像到像素类别概率；RGB图像即编码器的输入，像素类别概率即解码器的输出；算法从1到20的层构成了编码器，由残差块和降采样块组成，比改进前的目标分割网络的16层增加了4层Non-bt-1D层，通过加深特征提取网络深度来增加目标特征信息；Non-bt-1D网络是一种交织着空洞卷积的残差网络，Non-bt-1D网络按照由上往下顺序看是由1个3*1卷积、1个1*3卷积、1个3*1卷积和1个1*3卷积的设计组成；为了保持良好的平衡，执行了三个下采样：在第1、2和8层；解码器部分由21到27层组成，解码器通过微调细节来对编码器的输出进行上采样；该网络结构不使用max-unpooling操作进行上采样；本目标分割网络体系结构包括具有步幅2的简单反卷积层；
(4)车头车尾语义目标约束下的交通违章行为判断：首先检测出整体车辆区域，然后针对车辆区域采用一个改进的目标检测网络得到车头车尾的位置区域坐标，最终根据车道线分割结果和车头车尾位置坐标判断是否发生交通违章行为；其中，使用目标检测网络来检测车辆作为单目标的bounding box，等待检测出整体车辆的目标位置后，再用目标检测回归网络来回归检测车头和车尾这两类的网络；具体如下：
(4.1)目标检测确定大目标的定位信息：利用基于目标检测网络结构进行大目标的定位，将图像中的车辆目标全部检测出来；目标检测网络进行了三个尺度的检测，分别是在32倍降采样，16倍降采样，8倍降采样时进行检测；在基本的图像特征提取方面，该目标检测网络采用了含有53个卷积层的网络结构；
(4.2)目标检测确定精确目标的定位信息：其中训练车头车尾检测回归网络包括如下：
(i)初始化训练参数设置：将数据集的图像统一设置大小为32的倍数的224*224，该类图像作为精确目标的回归神经网络的输入；对回归神经网络设置初始学习率η，初始迭代次数，批处理数据量batch_size；网络参数迭代时使用随机梯度下降法，另外设置动量参数momentum与权重衰减率参数γ；
(ii)确定回归网络结构：回归网络的网络层包含24层，只有一个7层的conv+max网络来提取特征，嫁接网络采用的是13*13、26*26的分辨率探测网络；每层对应有3个anchors，总共有6个anchors值；还有一个1x1的卷积层，该层的输入和输出部分保持width,height以及channels不变；其卷积公式为:output＝(input+padding-kernel_size)/stride+1，padding＝0；
(iii)模型训练：基于模型训练所需的参数，训练时借鉴BP神经网络误差反向传播的思想，利用随机梯度下降法更新各层参数，直到迭代次数达到上限，或网络参数的更新速率小于预设阈值时结束网络训练；
(4.3)目标检测确定精确目标的定位信息：利用回归网络进行精确目标的定位，将步骤(4.1)中提取到的图像中大目标输入到训练好的车头车尾检测模型中，会对大目标中进行精确的车头车尾定位；
(4.4)根据车道线分割结果和车头车尾位置坐标判断是否发生交通违章行为；
其中，所述的交通违章行为类别包括压线、逆行、高速公路上违停；压线、逆行、高速公路上违停的判断方法分别如下：
(I)针对高速公路路段违停行为判断：默认高速公路为3车道，并且找到距离车尾的bounding box的下底边的中心最近的两条车道线，如果这两条车道线都在这个中心坐标的左边，说明该车辆行驶或违停在高速公路应急车道上，判断为违停违章行为；后期需靠执法人员确认，该车辆是否为故障而停靠，或其他原因停靠，可做调节；
(II)压线行为判断：如果检测到的车尾的bounding box的下底边的这段线段中与车道线有交点，可以认为疑似压线，需要进一步判断；首先设置一个阈值，阈值设置公式为：
thresh＝(820-|centerx-820|)/1640
如果线越靠图像两端，阈值就越小，它到框下边中点要更近，才能算压线，如果线越靠近图像中间，阈值就越大，它到框下边中心算压线的范围就越宽；
(III)逆行行为判断：如果检测到车头的bounding box的下底边的中心坐标位于距离该中心坐标距离最近的黄实线的右边，或者检测到车尾的bounding box的下底边的中心坐标位于距离该中心坐标距离最近的黄实线的左边，都判断为逆行。
2.根据权利要求1所述的一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法，其特征在于：所述步骤(1)中，对车道线分割训练集的数据进行数据增强，根据公开数据集CULane，利用基于对抗生成网络的数据增强方法实现场景转换，生成弱光照场景下的图片；自动实现白天到夜晚的转换，实现数据增强。
3.根据权利要求2所述的一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法，其特征在于：所述的对抗生成网络由两个生成器和两个鉴别器组成，每个生成器带有一个鉴别器，当生成器在生成图像的时候，对应的鉴别器用来鉴别该生成器生成的图像是否真实；其中，生成器包括两个步长为2的卷积层、9个resnet残差块和两个步长为1的卷积层；为了让编码器能适用于不同分辨率的输入图像，在编码时，自动记录比例的变化情况，并在解码时将其映射到相应的卷积层中；使用5层卷积层作为鉴别器网络，包括3个步长为2的卷积层和2个步长为1的卷积层，其初始通道数为3个通道；鉴别器用来判断生成器生成的图像是否真实，然后把结果反馈给生成器。
4.根据权利要求1所述的一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法，其特征在于：所述步骤(2)自制车头车尾数据集时，利用CULane、COCO、自制拍摄的图像数据集，并且利用labelImg对图像中车辆的车头和车尾进行标注；利用随机的方式抽选部分数据作为训练集，其余数据作为测试集。
CN202110263472.6A 2021-03-11 2021-03-11 一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法 Active CN113033352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110263472.6A CN113033352B (zh) 2021-03-11 2021-03-11 一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110263472.6A CN113033352B (zh) 2021-03-11 2021-03-11 一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法

Publications (2)

Publication Number Publication Date
CN113033352A CN113033352A (zh) 2021-06-25
CN113033352B true CN113033352B (zh) 2024-02-23

Family

ID=76469579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110263472.6A Active CN113033352B (zh) 2021-03-11 2021-03-11 一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法

Country Status (1)

Country Link
CN (1) CN113033352B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
CN111080648A (zh) * 2019-12-02 2020-04-28 南京理工大学 基于残差学习的实时图像语义分割算法
CN111179345A (zh) * 2019-12-27 2020-05-19 大连海事大学 基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统
CN111582083A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于消失点估计与语义分割的车道线检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
CN111080648A (zh) * 2019-12-02 2020-04-28 南京理工大学 基于残差学习的实时图像语义分割算法
CN111179345A (zh) * 2019-12-27 2020-05-19 大连海事大学 基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统
CN111582083A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于消失点估计与语义分割的车道线检测方法

Also Published As

Publication number Publication date
CN113033352A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN105160309B (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN108710875B (zh) 一种基于深度学习的航拍公路车辆计数方法及装置
CN102708356B (zh) 一种基于复杂背景下的车牌自动定位和识别方法
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
CN103034836B (zh) 道路标志检测方法和道路标志检测设备
CN104751634B (zh) 高速公路隧道行车图像采集信息的综合应用方法
CN102903239B (zh) 交通路口车辆左右违章转向检测方法和系统
CN111814623A (zh) 一种基于深度神经网络的车辆车道偏离视觉检测方法
CN109191830B (zh) 一种基于视频图像处理的道路拥堵检测方法
CN110532961B (zh) 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法
CN109948418A (zh) 一种基于深度学习的违反导向违法自动审核方法
CN115605777A (zh) 一种基于路侧感知单元的动态目标点云快速识别及点云分割方法
CN113160575A (zh) 一种非机动车辆及驾驶人的交通违法行为检测方法及系统
CN102867417A (zh) 一种出租车防伪系统及方法
CN104978567A (zh) 基于场景分类的车辆检测方法
CN114973207B (zh) 一种基于目标检测的路标识别方法
CN114898296A (zh) 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN114092917B (zh) 一种基于mr-ssd的被遮挡交通标志检测方法及系统
CN106056102A (zh) 基于视频图像分析的道路车型分类方法
CN111695565A (zh) 基于道路关卡模糊图像的汽车标志精准定位方法
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
CN103295003A (zh) 一种基于多特征融合的车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant