CN109033950A - 基于多特征融合级联深度模型的车辆违停检测方法 - Google Patents

基于多特征融合级联深度模型的车辆违停检测方法 Download PDF

Info

Publication number
CN109033950A
CN109033950A CN201810599535.3A CN201810599535A CN109033950A CN 109033950 A CN109033950 A CN 109033950A CN 201810599535 A CN201810599535 A CN 201810599535A CN 109033950 A CN109033950 A CN 109033950A
Authority
CN
China
Prior art keywords
feature
network
input
vehicle
prospect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810599535.3A
Other languages
English (en)
Other versions
CN109033950B (zh
Inventor
陈晋音
俞露
王诗铭
龚鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810599535.3A priority Critical patent/CN109033950B/zh
Publication of CN109033950A publication Critical patent/CN109033950A/zh
Application granted granted Critical
Publication of CN109033950B publication Critical patent/CN109033950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多特征融合级联深度模型的车辆违停检测方法，包括：首先使用交通路口的监控摄像头采集违停车辆照片，对图像处理得到训练集；然后通过VGG神经网络得到卷积层的网络参数，输入多次筛选的级联RPN网络高精度提取模型推荐框(可能存在物体的区域)；接下来，将检测结果输出到联合神经网络中进行训练得到识别结果；最终，根据预设的电子围栏判断车辆是否在违停区域内来判断是否违停。该方法克服了已有的车辆检测方法适应性不足，实时性不佳，漏判误判率较高且无法针对车辆局部信息进行识别的缺点。

Description

基于多特征融合级联深度模型的车辆违停检测方法
技术领域
本发明属于深度学习图像处理技术领域，具体涉及一种基于多特征融合级联深度模型的车辆违停检测方法及系统。
背景技术
随着社会经济的发展和人民生活水平的提高，机动车保有量保持快速增长。各国车辆数目急剧增加，当下车辆管理问题已经成为全球性的城市通病，而其中最主要的症状就是违规停车。因此研究基于监控视频的车辆违规停车的检测方法具有十分重要的现实意义，而其中，最关键的核心技术在于，如何对车辆进行精准检测。并且面对摄像头等视频采集设备得到的车辆情况是非常复杂的，例如路边的违停车辆经常会被其他车辆遮挡，摄像头无法顺利采集到完整违停车辆等。
目前车辆检测的方法主要有帧间差算法、边缘检测算法、背景差分算法、基于特征提取方法包括SIFT，LBP，HOG等算法、基于深度学习的物体检测算法等。其中以背景差分法为代表的简单图像处理方法的准确度较低并且容易受到恶劣天气、光照条件、镜头抖动等的外界影响；而以SIFT(尺度不变特征变换匹配算法)为代表的特征提取算法虽然不易受放射变换和光照的影响，但其算法复杂耗时较大，因此实时性不佳，同时也存在着对于光滑边缘无法准确提取特征点的情况；基于深度学习的算法在车辆识别的准确度上有很大的提高，但是在实际场景中存在车辆被部分遮挡的情况或者车辆停留在盲区无法被识别的情况，容易造成一定的误判。
针对于以上对目前技术的分析，目前普遍存在并需要解决的问题有：(1)对场景的应用条件要具有适应性。可以在恶劣天气、不同光照强度等各种应用场景下稳定运行；(2)算法需要满足实时性，且不能具有过复杂的网络结构，在较短的时间内能够检测出车辆；(3)减少违停车辆漏判率，提高车辆在被遮挡，摄像头只能采集局部车辆的情况下的网络对违停车辆的识别精度。
公布号为CN106874863A的专利申请公开了一种基于深度卷积神经网络的车辆违停逆行检测方法，用移动终端检测点作为道路摄像头，移动终端检测点通过摄像头获取图像信息，将深度学习引入路面事件识别并加以改进，以显著提高道路事件识别准确率。具体地，利用卷积神经网络对获取的图像进行分析，将路面ROI区域划分为多个网络，构建路面—非路面识别模型，通过非路面网格反向识别高速公路非法停车、车辆逆向行驶等目标。该方法识别范围有限，不能满足需求。
发明内容
为了克服已有的车辆检测方法适应性不足，实时性不佳，漏判误判率较高且无法针对车辆局部信息进行识别的缺点。本发明提供一种鲁棒性较好，且能够准确识别不完整车辆的整体和局部特征相结合的基于多特征融合的级联深度的车辆违停检测方法及系统。
本发明的技术方案为：
一种基于多特征融合级联深度模型的车辆违停检测方法，包括以下步骤：
(1)从监控视频中截取视频帧，对获得的帧图像打上车辆标签形成训练样本，构建训练集；
(2)构建网络模型，该模型包括VGG-16网络、改进的RPN网络以及联合神经网络，其中，VGG-16网络用于提取输入图像的初始特征，改进的RPN网络的输入连接于VGG-16的输出，通过设定的多个层级检测阈值对获得前景识别边框进行层级筛选，获得最终前景识别边框和前景特征图，联合神经网络的输入与联合神经网络的输出相连，用于提取前景特征的局部特征和全局特征，并分别计算局部特征和全局特征的损失值，将两个损失值之和作为总的损失值；
(3)利用训练集对步骤(2)中构建的网络模型进行训练，直到训练结束，确定网络模型的参数，即获得车辆识别模型；
(4)将待测图像输入至车辆识别模型中，经计算获得待测图像中的车辆；
(5)根据预先划定的电子围栏，判断步骤(4)中识别的车辆是否在电子围栏区域内，从而确定是否违停。
本发明的技术构思为：为了克服已有的车辆检测方法适应性不强，适应性不佳，漏判误判率较高的缺点。本发明提供的基于多特征融合级联深度模型的车辆违停检测方法中，首先使用交通路口的监控摄像头采集违停车辆照片，对图像处理得到训练集；然后通过VGG神经网络得到卷积层的网络参数，输入多次筛选的级联RPN网络高精度提取模型推荐框(可能存在物体的区域)；接下来，将检测结果输出到联合神经网络中进行训练得到识别结果；最终，根据预设的电子围栏判断车辆是否在违停区域内来判断是否违停。
其中，将帧图像输入至网络模型前，还对帧图像进行尺寸调整，以适应网络模型的输入图像尺寸。具体地，若输入图像的长和宽分别为x*,y*，帧图像的长和宽分别为x,y，比较和若大，固定x不变，为y加padding，使得和的大小相等；同理，若大，固定y不变，为x加padding；然后，重新设定到指定尺寸。。
优选地，所述改进的RPN网络的结构为：
卷积层，用于对输入的初始特征图进行特征提取；
基础RPN网络，用于对卷积层输出的特征图进行卷积操作，获得初始前景识别边框BOX0；
前景识别边框筛选网络，根据预设的层级检测阈值对初始前景识别边框BOX0进行层级筛选，获得最终前景识别边框和前景特征。
其中，所述前景识别边框筛选网络包括：
第一池化层，用于将获得的初始前景识别边框BOX0映射到原始输入图像中；
第一检测器，利用预设的第一层级检测阈值对初始前景识别边框BOX0进行筛选，获得前景识别边框BOX1；
第二池化层，用于将获得的前景识别边框BOX1映射到原始输入图像中；
第二检测器，利用预设的第二层级检测阈值对前景识别边框BOX1进行筛选，获得前景识别边框BOX2；
第三池化层，用于将获得的前景识别边框BOX2映射到原始输入图像中；
第三检测器，利用预设的第三层级检测阈值对前景识别边框BOX2进行筛选，获得前景识别边框BOX3和前景识别边框BOX3对应的前景特征图。
具体地，第一层级检测阈值为0.5，第二层级检测阈值为0.6，第三层级检测阈值为0.7。利用这样设置的层级检测阈值和层级筛选，能够获得精度较高的前景识别边框。
优选地，所述联合神经网络包括：
Inception1模块，用于提取前景识别边框BOX3对应的前景特征图的特征；
局部特征和全局特征提取网络，用于提取Inception1模块输出特征图的局部特征和全局特征，该局部特征表示前景识别边框BOX3的特征向量，该全局特征表示图像整体空间粒度的特征向量；
第一loss计算模块，包括依次连接的平均池化层、全连接层，该平均池化层的接收局部特征和全局特征提取网络输出的全局特征，用于计算全局特征的损失值；
多个Inception2模块，用于提取前景识别边框BOX3对应的前景特征图中的特征；
第二loss计算模块，包括接于每个Inception2模块输出端的平均池化层，同时接于多个平均池化层输出端的全连接层，每个Inception2模块输出的特征与局部特征和全局特征提取网络输出的局部特征相加后输入到对应的平均池化层中，然后经过全连接层操作后，计算局部特征的损失值；
第三loss计算模块，用于求全局特征的损失值和局部特征的损失值的和，作为整个联合神经网络的损失值。
其中，所述局部特征和全局特征提取网络包括全局特征提取网络和局部特征提取网络，其中：
在全局特征提取网络中，对输入的特征图依次进行降维操作和两次卷积操作，获得保证图像尺寸的特征；对输入的特征图依次进行平均池化和两次卷积操作，获得保证图像空间深度的特征；将保证图像尺寸的特征与保证图像空间深度的特征进行卷积和归一化后，获得保证图像整体空间粒度的全局特征；
在局部特征提取网络中，对全局特征提取网络中平均池化层输出的特征进行全连接和tanh激活后获得局部特征。
具体地，所述Inception1模块包括：
第一路：对输入的特征图依次进行卷积核为1×1、3×3、3×3的三次卷积操作，获得第一路输出特征图；
第二路：对输入的特征图依次进行卷积核为1×1、3×3的两次卷积操作，获得第二路输出特征图；
第三路：对输入的特征图依次进行池化操作、卷积核为1×1的卷积操作，获得第三路输出特征图；
第四路：对输入的特征图进行卷积核为1×1的卷积操作，获得第三路输出特征图；
Filter Concation：对四路输出的四个特征图进行合并。
所述Inception2模块包括：
第一路：对输入的特征图依次进行卷积核为1×1、1×3、3×1、1×3、3×1的五次卷积操作，获得第一路输出特征图；
第二路：对输入的特征图依次进行卷积核为1×1、1×3、3×1的三次卷积操作，获得第二路输出特征图；
第三路：对输入的特征图依次进行池化操作、卷积核为1×1的卷积操作，获得第三路输出特征图；
第四路：对输入的特征图进行卷积核为1×1的卷积操作，获得第三路输出特征图；
Filter Concation：对四路输出的四个特征图进行合并。
本发明的有益效果主要表现在：
(1)本发明采用多个阈值检测器级联的方式可以大大提高提取推荐框的精度。
(2)对于车辆的分类采用了结合局部特征与全局特征的方式，相比于以往只关注局部特征进行分类的模型，本模型可以达到更高的精度。
(3)在提取局部特征的步骤中，采用了共享Inception参数的方式大大降低了模型复杂度，也提高了模型的计算速度，可以保证较好的实时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的基于多特征融合级联深度模型的车辆违停检测方法的流程框图；
图2是实施例提供的网络模型的结构示意图；
图3是图2中改进的RPN网络的结构示意图；
图4是图2中局部特征和全局特征提取网络HA的结构示意图；
图5是图2中Inception1-d的结构示意图；
图6是图2中Inception2-d的结构示意图；
图7是实施例中提供的待测图像；
图8是利用本发明提供的方法对图7框选车辆后的待测图像。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1是实施例提供的基于多特征融合级联深度模型的车辆违停检测方法的流程框图。如图1所示，该车辆违停检测方法包括以下步骤：
训练集的建立：
读取监控设备收集到的视频数据，并将视频数据的每帧图像抽样提取，特别地，针对部分被遮挡的车辆图像的收集；并对图像进行相应的类似于ImageNet数据集的预处理方法制作成训练数据集；对输入图片的尺寸，指定图片的长和宽标准分别为x*,y*，图片的实际长和宽为x,y，比较和的大小，如果大，固定x不变为y加padding，使得和的大小相等，同理，如果大，固定y不变为x加padding，最后resize到指定的大小。
网络模型的建立：
如图2所示，网络模型包括VGG-16网络、改进的RPN网络以及联合神经网络。
其中，VGG-16网络用于提取输入帧图像的初始特征，形成特征图，该特征图的尺寸为14×14×256，表示输出通道数为256，尺寸14×14的特征图，该特征图中既包括了车辆信息，也包含了一些其他的物体信息。
改进的RPN网络如图3所示，在该改进的RPN网络中进行以下操作：
(1)对VGG-16网络输出的特征图进行一次卷积处理，即为图中改进型RPN网络的第一层，所使用的卷积核为3×3×256×256，即用3×3大小的卷积核对256维输入特征图进行卷积得到256维输出特征图。
(2)对步骤(1)的结果进行cls层的卷积操作，通过卷积核为1×1×256×18，即用1×1大小的卷积核对256维输入特征图进行卷积得到18维输出特征图，每个像素点产生9个anchors，每个anchor有两个参数，一个表示anchor是前景(目标)的概率，另一个表示它是背景的概率。
(3)对步骤(2)的结果进行BOX层的卷积操作，卷积核为1×1×256×36，即用1×1大小的卷积核对256维输入特征图进行卷积得到36维输出特征图，每个像素点产生9个anchors，每个anchor有四个参数，分别为中心坐标x，y和宽高w，h得到图3中所示的初始生成BOX0。
(4)对步骤(2)的输出进行Reshape，再进行softmax，得到初始生成BOX0的概率，并根据该概率值判断该初始生成BOX0是前景还是背景。
(5)将步骤(3)、步骤(4)的结果和原输入图片作为输入池化层，利用9个anchors和卷积得到的36维特征图，来映射每一个prorosals在原图的位置；同时将初始生成BOX0同原图中的物体框进行面积比对，计算出初始生成BOX0与物体框的交集与并集之比，并设置第一层级检测阈值为t＝0.5，去除低于阈值的初始生成BOX0，保留高于阈值的初始生成BOX0作为存在物体的位置。然后，将高于第一层级检测阈值的初始生成BOX0后做一次回归，提高初始生成BOX0与物体框的匹配度。此处得到图3中第一次回归生成的边框BOX1。
(6)将步骤(5)得到的边框BOX1与原输入图片一并输入池化层，利用得到的边框BOX1和边框BOX1对应的特征图来映射新的proposals在原图的位置；重新将边框BOX1与原图的物体框位置进行面积比对，计算出边框BOX1与物体框的交集与并集之比，并设置第二层级检测阈值为t＝0.6，提高精度再次进行筛选，对高于第二层级检测阈值的边框BOX1再次进行回归，进一步提高边框BOX1与物体框的匹配程度。此处得到图3结构图中第二次回归生成的边框BOX2。
(7)将步骤(6)得到的输入到池化层，利用得到的边框BOX2和其边框BOX2对应的特征图映射proposals在原图的位置；将边框BOX2与原图的物体框位置进行面积比对，计算出模型框位置与原图物体框位置交并集之比，并设置第三层级检测阈值为t＝0.7，提高精度再次进行筛选。对高于第二层级检测阈值的边框BOX2进行回归，得到最终的误判率(将背景误判成前景)较低的模型推荐框(即存在物体的区域)。此处得到图3结构图中第三次回归生成的边框BOX3和边框BOX3对应的前景特征图。
如图2所示，在联合神经网络中，进行以下操作：
(a)将步骤(7)中获得边框BOX3对应的前景特征图输出h1＝20，w1＝8,c1＝3的矩阵形式，其中，h1表示高，w1表示宽，c1表示通道数，并将该矩阵形式的前景特征图输入至d＝128的Inception1-d进行特征提取，此处的Inception1-d结构如图5所示，包括：第一路：对输入的特征图依次进行卷积核为1×1、3×3、3×3的三次卷积操作，获得第一路输出特征图；第二路：对输入的特征图依次进行卷积核为1×1、3×3的两次卷积操作，获得第二路输出特征图；第三路：对输入的特征图依次进行池化操作、卷积核为1×1的卷积操作，获得第三路输出特征图；第四路：对输入的特征图进行卷积核为1×1的卷积操作，获得第三路输出特征图；Filter Concation：对四路输出的四个特征图进行合并。
(b)将Inception1-d输出的特征图输入至局部特征和全局特征提取网络HA中，以提取Inception1-d输出的特征图的局部特征和全局特征，该局部特征表示前景识别边框BOX3的特征向量，该全局特征表示图像整体空间粒度的特征向量。
如图4所示，局部特征和全局特征提取网络HA包括两部分，一部分是全局特征提取网络WSA，用于提取图像整体空间粒度；另一部分是局部特征提取网络BA，用于提取局部选框的局部特征。
其中，全局特征提取网络WSA包含空间特征SA、通道特征CA以及归一化三个部分。SA保证了图像的尺寸大小，CA则保证了图像的深度。局部特征和全局特征提取网络HA的输入为Inception1-d输出的特征图，分别输入到SA以及CA两部分，在SA中先做一次降维操作，再使用一个大小为3×3、深度为2的卷积核扫描，调整图片大小，最后用一个大小1×1、深度为1的卷积核扫描获得的特征向量，保证了图像整体空间尺寸的大小；在CA中则做了一次平均池化操作，经过c/r个1×1的卷积核，再经过c个深度为1的1×1卷积核后改变了各层通道的权重，得到了尺寸深度为c的特征向量，保证了图像空间的深度。最后将和的两个特征向量合并，用c个1×1的卷积核进行卷积操作、归一化操作后重新得到了大小为的特征向量，向量中每个元素值都介于0.5到1之间。
部特征提取网络BA中，输入数据来自CA中经过平均池化后的特征向量，它为图像确定了个参数(各选框中心位置的、坐标值)，从而确定选框划分的区域。
(c)对局部特征和全局特征提取网络HA输出的全局特征进行平均池化和全连接，以计算全局特征的损失值，此处，选择交叉熵损失作为损失函数。
交叉熵损失的具体表达式为：
其中yi是实际分类结果，Pj是输入概率向量的第j个值。T是总的输入向量的维度数，即分类数。优化该值可以使分类精度不断提高。
(d)步骤(1)中得到的尺寸为h1＝12，w1＝16,c1＝3的矩阵分别输出到三个共享参数，深度为d＝128的Inception2-d中得到更高质量的特征。其中，Inception2-d的结构如图6所示，包括：第一路：对输入的特征图依次进行卷积核为1×1、1×3、3×1、1×3、3×1的五次卷积操作，获得第一路输出特征图；第二路：对输入的特征图依次进行卷积核为1×1、1×3、3×1的三次卷积操作，获得第二路输出特征图；第三路：对输入的特征图依次进行池化操作、卷积核为1×1的卷积操作，获得第三路输出特征图；第四路：对输入的特征图进行卷积核为1×1的卷积操作，获得第三路输出特征图；Filter Concation：对四路输出的四个特征图进行合并。
(e)将步骤(d)中得到的特征分别与步骤(b)中得到的代表局部选框位置的局部向量θ进行相加，保证得到局部特征的位置信息以及图像特征。
(f)对步骤(e)中得到的特征分别输入平均池化层进行压缩，并提取出信息量更高的特征。
(g)对步骤(f)中得到的特征输入损失函数得到损失值。同样的，这里的损失函数选用交叉熵损失函数。
(h)通过步骤(g)与步骤(c)得到的损失值结果求和得到总损失值。
网络模型的训练：
利用训练集对构建的网络模型进行训练，通过不断优化总损失值的输出值来优化网络参数，直到训练结束，确定网络模型的最终参数，即获得车辆识别模型。
车辆违停的检测：
首先，将待测图像输入至车辆识别模型中，经计算获得待测图像中的车辆；
然后，根据预先划定的电子围栏，判断车辆识别模型识别的车辆是否在电子围栏区域内，从而确定是否违停。
具体地，将图7所示的待测图像输入至车辆识别模型中，获得图8中方框标出的车辆，该些车辆根据预先规定的电子围栏判断，图8中A方框框选的车辆为违停车辆，利用该方法既快又准确地识别获得待测图像中的违停车辆。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多特征融合级联深度模型的车辆违停检测方法，包括以下步骤：
(1)从监控视频中截取视频帧，对获得的帧图像打上车辆标签形成训练样本，构建训练集；
(2)构建网络模型，该模型包括VGG-16网络、改进的RPN网络以及联合神经网络，其中，VGG-16网络用于提取输入图像的初始特征，改进的RPN网络的输入连接于VGG-16的输出，通过设定的多个层级检测阈值对获得前景识别边框进行层级筛选，获得最终前景识别边框和前景特征图，联合神经网络的输入与联合神经网络的输出相连，用于提取前景特征的局部特征和全局特征，并分别计算局部特征和全局特征的损失值，将两个损失值之和作为总的损失值；
(3)利用训练集对步骤(2)中构建的网络模型进行训练，直到训练结束，确定网络模型的参数，即获得车辆识别模型；
(4)将待测图像输入至车辆识别模型中，经计算获得待测图像中的车辆；
(5)根据预先划定的电子围栏，判断步骤(4)中识别的车辆是否在电子围栏区域内，从而确定是否违停。
2.如权利要求1所述的基于多特征融合级联深度模型的车辆违停检测方法，其特征在于，将帧图像输入至网络模型前，还对帧图像进行尺寸调整，以适应网络模型的输入图像尺寸。
3.如权利要求2所述的基于多特征融合级联深度模型的车辆违停检测方法，其特征在于，若输入图像的长和宽分别为x*,y*，帧图像的长和宽分别为x,y，比较和若大，固定x不变，为y加padding，使得和的大小相等；同理，若大，固定y不变，为x加padding；然后，重新设定到指定尺寸。
4.如权利要求2所述的基于多特征融合级联深度模型的车辆违停检测方法，其特征在于，所述改进的RPN网络的结构为：
卷积层，用于对输入的初始特征图进行特征提取；
基础RPN网络，用于对卷积层输出的特征图进行卷积操作，获得初始前景识别边框BOX0；
前景识别边框筛选网络，根据预设的层级检测阈值对初始前景识别边框BOX0进行层级筛选，获得最终前景识别边框和前景特征。
5.如权利要求4所述的基于多特征融合级联深度模型的车辆违停检测方法，其特征在于，所述前景识别边框筛选网络包括：
第一池化层，用于将获得的初始前景识别边框BOX0映射到原始输入图像中；
第一检测器，利用预设的第一层级检测阈值对初始前景识别边框BOX0进行筛选，获得前景识别边框BOX1；
第二池化层，用于将获得的前景识别边框BOX1映射到原始输入图像中；
第二检测器，利用预设的第二层级检测阈值对前景识别边框BOX1进行筛选，获得前景识别边框BOX2；
第三池化层，用于将获得的前景识别边框BOX2映射到原始输入图像中；
第三检测器，利用预设的第三层级检测阈值对前景识别边框BOX2进行筛选，获得前景识别边框BOX3和前景识别边框BOX3对应的前景特征图。
6.如权利要求1所述的基于多特征融合级联深度模型的车辆违停检测方法，其特征在于，所述联合神经网络包括：
Inception1模块，用于提取前景识别边框BOX3对应的前景特征图的特征；
局部特征和全局特征提取网络，用于提取Inception1模块输出特征图的局部特征和全局特征，该局部特征表示前景识别边框BOX3的特征向量，该全局特征表示图像整体空间粒度的特征向量；
第一loss计算模块，包括依次连接的平均池化层、全连接层，该平均池化层接收局部特征和全局特征提取网络输出的全局特征，用于计算全局特征的损失值；
多个Inception2模块，用于提取前景识别边框BOX3对应的前景特征图中的特征；
第二loss计算模块，包括接于每个Inception2模块输出端的平均池化层，同时接于多个平均池化层输出端的全连接层，每个Inception2模块输出的特征与局部特征和全局特征提取网络输出的局部特征相加后输入到对应的平均池化层中，然后经过全连接层操作后，计算局部特征的损失值；
第三loss计算模块，用于求全局特征的损失值和局部特征的损失值的和，作为整个联合神经网络的损失值。
7.如权利要求6所述的基于多特征融合级联深度模型的车辆违停检测方法，其特征在于，所述局部特征和全局特征提取网络包括全局特征提取网络和局部特征提取网络，其中：
在全局特征提取网络中，对输入的特征图依次进行降维操作和两次卷积操作，获得保证图像尺寸的特征；对输入的特征图依次进行平均池化和两次卷积操作，获得保证图像空间深度的特征；将保证图像尺寸的特征与保证图像空间深度的特征进行卷积和归一化后，获得保证图像整体空间粒度的全局特征；
在局部特征提取网络中，对全局特征提取网络中平均池化层输出的特征进行全连接和tanh激活后获得局部特征。
8.如权利要求6所述的基于多特征融合级联深度模型的车辆违停检测方法，其特征在于，所述Inception1模块包括：
第一路：对输入的特征图依次进行卷积核为1×1、3×3、3×3的三次卷积操作，获得第一路输出特征图；
第二路：对输入的特征图依次进行卷积核为1×1、3×3的两次卷积操作，获得第二路输出特征图；
第三路：对输入的特征图依次进行池化操作、卷积核为1×1的卷积操作，获得第三路输出特征图；
第四路：对输入的特征图进行卷积核为1×1的卷积操作，获得第三路输出特征图；
Filter Concation：对四路输出的四个特征图进行合并。
9.如权利要求6所述的基于多特征融合级联深度模型的车辆违停检测方法，其特征在于，所述Inception2模块包括：
第一路：对输入的特征图依次进行卷积核为1×1、1×3、3×1、1×3、3×1的五次卷积操作，获得第一路输出特征图；
第二路：对输入的特征图依次进行卷积核为1×1、1×3、3×1的三次卷积操作，获得第二路输出特征图；
第三路：对输入的特征图依次进行池化操作、卷积核为1×1的卷积操作，获得第三路输出特征图；
第四路：对输入的特征图进行卷积核为1×1的卷积操作，获得第三路输出特征图；
Filter Concation：对四路输出的四个特征图进行合并。
10.如权利要求5所述的基于多特征融合级联深度模型的车辆违停检测方法，其特征在于，第一层级检测阈值为0.5，第二层级检测阈值为0.6，第三层级检测阈值为0.7。
CN201810599535.3A 2018-06-12 2018-06-12 基于多特征融合级联深度模型的车辆违停检测方法 Active CN109033950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810599535.3A CN109033950B (zh) 2018-06-12 2018-06-12 基于多特征融合级联深度模型的车辆违停检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810599535.3A CN109033950B (zh) 2018-06-12 2018-06-12 基于多特征融合级联深度模型的车辆违停检测方法

Publications (2)

Publication Number Publication Date
CN109033950A true CN109033950A (zh) 2018-12-18
CN109033950B CN109033950B (zh) 2020-07-17

Family

ID=64612651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810599535.3A Active CN109033950B (zh) 2018-06-12 2018-06-12 基于多特征融合级联深度模型的车辆违停检测方法

Country Status (1)

Country Link
CN (1) CN109033950B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741333A (zh) * 2018-12-28 2019-05-10 广州海昇计算机科技有限公司 一种改进的目标检测方法、系统及装置
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN109886286A (zh) * 2019-01-03 2019-06-14 武汉精测电子集团股份有限公司 基于级联检测器的目标检测方法、目标检测模型及系统
CN109902676A (zh) * 2019-01-12 2019-06-18 浙江工业大学 一种基于动态背景的违停检测算法
CN110427898A (zh) * 2019-08-07 2019-11-08 广东工业大学 包裹安检识别方法、系统、装置及计算机可读存储介质
CN110619750A (zh) * 2019-08-15 2019-12-27 重庆特斯联智慧科技股份有限公司 面向违停车辆的智能航拍识别方法及系统
CN111178215A (zh) * 2019-12-23 2020-05-19 深圳成谷科技有限公司 一种传感器数据融合处理的方法和装置
CN111931686A (zh) * 2020-08-26 2020-11-13 北京建筑大学 一种基于背景知识增强的视频卫星目标跟踪方法
CN112308105A (zh) * 2019-08-02 2021-02-02 北京图森智途科技有限公司 目标检测方法、目标检测器及相关设备
CN113011556A (zh) * 2021-02-20 2021-06-22 安徽大学 基于INC-DenseUnet网络识别模型建立方法
CN113052037A (zh) * 2021-03-16 2021-06-29 蔡勇 一种采用ai技术判断移动车辆与人形方法
CN113361351A (zh) * 2021-05-27 2021-09-07 湖南信达通信息技术有限公司 一种基于图像识别的逆行判断方法及系统
CN114882455A (zh) * 2022-07-04 2022-08-09 南京信息工程大学 基于改进RetinaNet的斑马线礼让行人检测方法
CN115082903A (zh) * 2022-08-24 2022-09-20 深圳市万物云科技有限公司 非机动车违停识别方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107515895A (zh) * 2017-07-14 2017-12-26 中国科学院计算技术研究所 一种基于目标检测的视觉目标检索方法与系统
CN107609491A (zh) * 2017-08-23 2018-01-19 中国科学院声学研究所 一种基于卷积神经网络的车辆违章停车检测方法
CN107729818A (zh) * 2017-09-21 2018-02-23 北京航空航天大学 一种基于深度学习的多特征融合车辆重识别方法
WO2018081135A1 (en) * 2016-10-25 2018-05-03 Vmaxx Inc. Point to set similarity comparison and deep feature learning for visual recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018081135A1 (en) * 2016-10-25 2018-05-03 Vmaxx Inc. Point to set similarity comparison and deep feature learning for visual recognition
CN107515895A (zh) * 2017-07-14 2017-12-26 中国科学院计算技术研究所 一种基于目标检测的视觉目标检索方法与系统
CN107609491A (zh) * 2017-08-23 2018-01-19 中国科学院声学研究所 一种基于卷积神经网络的车辆违章停车检测方法
CN107729818A (zh) * 2017-09-21 2018-02-23 北京航空航天大学 一种基于深度学习的多特征融合车辆重识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CAI Z: ""Cascade R-CNN: Delving into High Quality Object Detection"", 《ARXIV》 *
LI B: ""Object Detection via Aspect Ratio and Context Aware Region-based Convolutional Networks"", 《AIXIV》 *
SALVADOR A: "" Faster R-CNN Features for Instance Search"", 《CVPR》 *
韩凯: ""一种基于Faster R-CNN的车辆检测算法"", 《西南科技大学学报》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741333A (zh) * 2018-12-28 2019-05-10 广州海昇计算机科技有限公司 一种改进的目标检测方法、系统及装置
CN109829893B (zh) * 2019-01-03 2021-05-25 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN109886286A (zh) * 2019-01-03 2019-06-14 武汉精测电子集团股份有限公司 基于级联检测器的目标检测方法、目标检测模型及系统
CN109902676A (zh) * 2019-01-12 2019-06-18 浙江工业大学 一种基于动态背景的违停检测算法
CN109902676B (zh) * 2019-01-12 2021-04-09 浙江工业大学 一种基于动态背景的违停检测算法
CN112308105B (zh) * 2019-08-02 2024-04-12 北京图森智途科技有限公司 目标检测方法、目标检测器及相关设备
CN112308105A (zh) * 2019-08-02 2021-02-02 北京图森智途科技有限公司 目标检测方法、目标检测器及相关设备
CN110427898A (zh) * 2019-08-07 2019-11-08 广东工业大学 包裹安检识别方法、系统、装置及计算机可读存储介质
CN110427898B (zh) * 2019-08-07 2022-07-29 广东工业大学 包裹安检识别方法、系统、装置及计算机可读存储介质
CN110619750A (zh) * 2019-08-15 2019-12-27 重庆特斯联智慧科技股份有限公司 面向违停车辆的智能航拍识别方法及系统
CN111178215B (zh) * 2019-12-23 2024-03-08 深圳成谷科技有限公司 一种传感器数据融合处理的方法和装置
CN111178215A (zh) * 2019-12-23 2020-05-19 深圳成谷科技有限公司 一种传感器数据融合处理的方法和装置
CN111931686B (zh) * 2020-08-26 2021-05-25 北京建筑大学 一种基于背景知识增强的视频卫星目标跟踪方法
CN111931686A (zh) * 2020-08-26 2020-11-13 北京建筑大学 一种基于背景知识增强的视频卫星目标跟踪方法
CN113011556A (zh) * 2021-02-20 2021-06-22 安徽大学 基于INC-DenseUnet网络识别模型建立方法
CN113011556B (zh) * 2021-02-20 2022-10-11 安徽大学 基于INC-DenseUnet网络识别模型建立方法
CN113052037A (zh) * 2021-03-16 2021-06-29 蔡勇 一种采用ai技术判断移动车辆与人形方法
CN113361351A (zh) * 2021-05-27 2021-09-07 湖南信达通信息技术有限公司 一种基于图像识别的逆行判断方法及系统
CN114882455A (zh) * 2022-07-04 2022-08-09 南京信息工程大学 基于改进RetinaNet的斑马线礼让行人检测方法
CN115082903A (zh) * 2022-08-24 2022-09-20 深圳市万物云科技有限公司 非机动车违停识别方法、装置、计算机设备及存储介质
CN115082903B (zh) * 2022-08-24 2022-11-11 深圳市万物云科技有限公司 非机动车违停识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN109033950B (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN109033950B (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN101398893B (zh) 一种改进AdaBoost算法的鲁棒人耳检测方法
CN111753682B (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN114049572A (zh) 识别小目标的检测方法
CN110688925A (zh) 基于深度学习的级联目标识别方法及系统
CN110363104A (zh) 一种柴油黑烟车的检测方法
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN110298226B (zh) 一种毫米波图像人体携带物的级联检测方法
CN112084869A (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN110309781A (zh) 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法
CN101196991A (zh) 密集客流计数和行人步行速度自动检测方法及系统
CN112560852A (zh) 基于YOLOv3网络具有旋转适应能力的单阶段目标检测方法
CN111461221A (zh) 一种面向自动驾驶的多源传感器融合目标检测方法和系统
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN113111727A (zh) 一种基于特征对齐的遥感场景下旋转目标检测方法
CN112861762B (zh) 基于生成对抗网络的铁路道口异常事件检测方法及系统
CN110852179A (zh) 基于视频监控平台的可疑人员入侵的检测方法
CN117079097A (zh) 一种基于视觉显著性的海面目标识别方法
Sun et al. Exploiting deeply supervised inception networks for automatically detecting traffic congestion on freeway in China using ultra-low frame rate videos
Cao et al. A new region proposal network for far-infrared pedestrian detection
CN103065163A (zh) 一种基于静态图片的快速目标检测识别系统及方法
CN113537211A (zh) 一种基于非对称iou的深度学习车牌框定位方法
CN112766046A (zh) 一种目标检测方法及相关装置
CN115331162A (zh) 一种跨尺度红外行人检测方法、系统、介质、设备及终端
CN109284752A (zh) 一种车辆的快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20181218

Assignee: Shandong Quanyi Machinery Manufacturing Co.,Ltd.

Assignor: JIANG University OF TECHNOLOGY

Contract record no.: X2024980036811

Denomination of invention: Vehicle Violation Detection Method Based on Multi Feature Fusion Cascaded Deep Model

Granted publication date: 20200717

License type: Open License

Record date: 20241220

Application publication date: 20181218

Assignee: FENGCHENG TANTAI BIOTECHNOLOGY Co.,Ltd.

Assignor: JIANG University OF TECHNOLOGY

Contract record no.: X2024980036809

Denomination of invention: Vehicle Violation Detection Method Based on Multi Feature Fusion Cascaded Deep Model

Granted publication date: 20200717

License type: Open License

Record date: 20241220

Application publication date: 20181218

Assignee: Shandong Kangdi Decoration Material Co.,Ltd.

Assignor: JIANG University OF TECHNOLOGY

Contract record no.: X2024980036808

Denomination of invention: Vehicle Violation Detection Method Based on Multi Feature Fusion Cascaded Deep Model

Granted publication date: 20200717

License type: Open License

Record date: 20241220

Application publication date: 20181218

Assignee: Linyi CITIC Information Technology Co.,Ltd.

Assignor: JIANG University OF TECHNOLOGY

Contract record no.: X2024980035541

Denomination of invention: Vehicle Violation Detection Method Based on Multi Feature Fusion Cascaded Deep Model

Granted publication date: 20200717

License type: Open License

Record date: 20241218

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20181218

Assignee: Linyi Taihao Crafts Co.,Ltd.

Assignor: JIANG University OF TECHNOLOGY

Contract record no.: X2024980038521

Denomination of invention: Vehicle Violation Detection Method Based on Multi Feature Fusion Cascaded Deep Model

Granted publication date: 20200717

License type: Open License

Record date: 20241224

Application publication date: 20181218

Assignee: SHANDONG KAIJIA ENERGY SAVING BUILDING MATERIAL ENGINEERING Co.,Ltd.

Assignor: JIANG University OF TECHNOLOGY

Contract record no.: X2024980038522

Denomination of invention: Vehicle Violation Detection Method Based on Multi Feature Fusion Cascaded Deep Model

Granted publication date: 20200717

License type: Open License

Record date: 20241224

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20181218

Assignee: Linyi Xuemilong Commercial Equipment Co.,Ltd.

Assignor: JIANG University OF TECHNOLOGY

Contract record no.: X2024980041730

Denomination of invention: Vehicle Violation Detection Method Based on Multi Feature Fusion Cascaded Deep Model

Granted publication date: 20200717

License type: Open License

Record date: 20241231

Application publication date: 20181218

Assignee: Shuanghe Industrial and Agricultural Tool Manufacturing Factory, Hedong District, Linyi City

Assignor: JIANG University OF TECHNOLOGY

Contract record no.: X2024980041722

Denomination of invention: Vehicle Violation Detection Method Based on Multi Feature Fusion Cascaded Deep Model

Granted publication date: 20200717

License type: Open License

Record date: 20241231

Application publication date: 20181218

Assignee: Hangzhou MuShang Exhibition Design Co.,Ltd.

Assignor: JIANG University OF TECHNOLOGY

Contract record no.: X2024980041361

Denomination of invention: Vehicle Violation Detection Method Based on Multi Feature Fusion Cascaded Deep Model

Granted publication date: 20200717

License type: Open License

Record date: 20241230

Application publication date: 20181218

Assignee: Keyier (Hangzhou) Education Technology Co.,Ltd.

Assignor: JIANG University OF TECHNOLOGY

Contract record no.: X2024980041304

Denomination of invention: Vehicle Violation Detection Method Based on Multi Feature Fusion Cascaded Deep Model

Granted publication date: 20200717

License type: Open License

Record date: 20241231

EE01 Entry into force of recordation of patent licensing contract