CN111429726B - 一种监控视频违停车辆检测、管理方法及对应的系统 - Google Patents

一种监控视频违停车辆检测、管理方法及对应的系统 Download PDF

Info

Publication number
CN111429726B
CN111429726B CN202010286642.8A CN202010286642A CN111429726B CN 111429726 B CN111429726 B CN 111429726B CN 202010286642 A CN202010286642 A CN 202010286642A CN 111429726 B CN111429726 B CN 111429726B
Authority
CN
China
Prior art keywords
vehicle
illegal parking
frame
illegal
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010286642.8A
Other languages
English (en)
Other versions
CN111429726A (zh
Inventor
章东平
郁强
葛俊
李圣权
陈刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCI China Co Ltd
Original Assignee
CCI China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCI China Co Ltd filed Critical CCI China Co Ltd
Priority to CN202010286642.8A priority Critical patent/CN111429726B/zh
Publication of CN111429726A publication Critical patent/CN111429726A/zh
Application granted granted Critical
Publication of CN111429726B publication Critical patent/CN111429726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明提供一种监控视频违停车辆检测、管理方法与对应的系统,针对现阶段违停车辆检测智能化不高，效率较低的状况，提供一种高效智能的自动识别违停车辆的方法与系统，且对违停车辆进行统一管理。

Description

一种监控视频违停车辆检测、管理方法及对应的系统
技术领域
本发明涉及图像处理领域，尤其涉及到一种监控视频违停车辆检测、管理方法及对应的系统。
背景技术
随着社会经济的快速发展，城市道路中车辆的数量也迅速增长，违停车辆是城市交通管理中最为常见的问题，尤其是在人口流动性较高，经济较为繁华的商场地段，违停车辆的问题也更加的严重，它给正常的交通秩序带来了严重的挑战。
目前，主要还是通过人工抓拍的方式来监控违停车辆，存在耗时耗力的问题，利用监控摄像的车牌识别技术对抓拍到的车辆进行车牌识别以获取违停车辆的车辆信息，这种方式对于违停车辆的监控而言，从发现违停车辆到处理违停车辆都比较繁琐，需要付出极大的人力和物力。
现有技术CN10961588A提供一种“基于深度学习的视频车辆违停方法”，通过跟踪特定车辆的方式来实时检测违法停车，但是该方法需要跟踪指定的车辆，难以适用于同时检测同一场景中存在多辆违停车辆的情况，且该方案通过判断目标车辆是否移动来判断目标车辆是否违停车辆，容易误判随停随走的车辆。
发明内容
本发明的目的在于提供一种监控视频违停车辆检测,管理方法与系统,针对现阶段违停车辆检测智能化不高，效率较低的状况，提供一种高效智能的自动识别违停车辆的方法与系统，且对违停车辆进行统一管理。
本方案提供一种监控视频违停车辆管理方法，用于管理监控视频中的违停车辆，包括如下步骤：步骤1：构建车辆检测模型：采用卷积神经网络构建车辆检测与识别模型；步骤2：选取违停区域：利用opencv库提取监控视频中违停区域；步骤3：违停车辆判别与车牌识别：设定停车时间，若某车辆在步骤2选取的违停区域内停车时长超过停车时间,则判断该车辆为违停车辆，并对该车辆进行车牌识别，上传违停车辆对应的违停图像以及违停车辆的车牌识别结果；步骤4：构建违停事件库：保存步骤3中传回的数据，至少记录违停车辆的违停时间、地点、车牌以及至少一违停图像；步骤5：违停处理：依据车牌识别结果寻找车主，并以实时短信或电话通知车主其违停行为，如果在规定的时间内联系不到车主或车主没有驶离违停区域，则对该违停车辆开出罚单。
车辆检测模型的构建过程如下：
(1a)训练与测试数据准备：下载获取车辆公开数据集，对收集的道路监控视频数据使用开源的车辆检测算法提取含有车辆的视频图像；
(1b)数据标注：对(1a)获取的无标注的车辆数据进行标注，得到标注数据样本，标注信息为包围车辆的标注框以及标注框的得分，标签形式如(ci,xi,yi,wi,hi)，其中表示标注框的得分，等于0或者1，当标注框内含有车辆时＝1，当标注框内不含有车辆时＝0；xi,yi,wi,hi分别表示标注框的左上角点的坐标、宽和高；
(1c)数据处理：将标注数据样本划分为训练集、验证集、测试集；
(1d)网络结构设计：算法采用相同结构的三个网络进行级联，主干网络采用残差瓶颈网络块组成提取特征器，初始的预选框由区域候选网络提取，在后续处理层的每个网络都嵌入了针对全局信息感知的网络模块，对每个网络的输出都采用设置的不同的交并比的值(α,β,γ)进行筛选，保留较为准确的输出框，每一级的输出由粗到细；
(1e)训练：采用Adam梯度下降策略进行优化学习；
(1f)测试：输入测试集，输出车辆的包围框信息(x,y,w,h)。
本方案提供一种监控视频违停车辆检测方法，对监控视频中违停区域的车辆进行检测，包括以下步骤：获取第一时刻的连续多帧监控图像的第一时刻车辆目标框，对前后帧的监控图像的第一时刻车辆目标框进行第一重叠度筛查，得到违停车辆候选框集合；以及获取第二时刻的监控图像的第二时刻车辆目标框，对第二时刻车辆目标框和违停车辆候选框集合做第二重叠度筛查，得到违停车辆确定框集合，对违停车辆确定框集合进行重叠框去除处理，得到违停车辆框，其中第二时刻和第一时刻至少间隔设定停车时长。
本方案提供一种监控视频违停车辆检测系统，包括：监控图像提取单元，其中监控图像提取单元获取监控视频，并提取监控视频中的违停区域的监控图像，其中可采用opencv库选取监控视频中监控图像的违停区域；违停车辆检测单元，其中违停车辆检测单元包括内置识别监控图像的车辆框的车辆检测模型以及违停车辆判别模块，其中违停车辆判别模块依据违停车辆判别算法对违停车辆进行判别，得到违停车辆框。
本方案提供一种监控视频违停车辆管理系统，包括：监控图像提取单元，其中监控图像提取单元获取监控视频，并提取监控视频中的违停区域的监控图像，其中可采用opencv库选取监控视频中监控图像的违停区域；违停车辆检测单元，其中违停车辆检测单元包括内置识别监控图像的车辆框的车辆检测模型以及违停车辆判别模块，其中违停车辆判别模块依据违停车辆判别算法对违停车辆进行判别，得到违停车辆框；车辆信息单元，车辆信息单元识别违停车辆框获取车牌识别信息以及对应的车主信息；违停事件库，其中违停事件库内存储违停数据包，其中违停数据包至少包括车牌识别结果，违停车辆框对应的监控图像；处理单元，若在设定反馈时间内未联系到车主或者在设定反馈时间内检测到该违停车辆依旧停留在违停区域，对该违停车辆框对应的违停车辆开罚单。
本方案提供一种监控视频违停车辆管理系统，还包括：训练与测试数据准备单元：用于下载获取车辆公开数据集，对收集的道路监控视频数据使用开源的车辆检测算法提取含有车辆的视频图像；
数据标注单元：用于对获取的无标注的车辆数据进行标注，得到标注数据样本，标注信息为包围车辆的标注框以及标注框的得分，标签形式如(ci,xi,yi,wi,hi)，其中表示标注框的得分，等于0或者1，当标注框内含有车辆时＝1，当标注框内不含有车辆时＝0；xi,yi,wi,hi分别表示标注框的左上角点的坐标、宽和高；
数据处理单元：用于将标注数据样本划分为训练集、验证集、测试集；
网络结构设计单元：用于算法采用相同结构的三个网络进行级联，主干网络采用残差瓶颈网络块组成提取特征器，初始的预选框由区域候选网络提取，在后续处理层的每个网络都嵌入了针对全局信息感知的网络模块，对每个网络的输出都采用设置的不同的交并比的值(α,β,γ)进行筛选，保留较为准确的输出框，每一级的输出由粗到细；
训练单元：用于采用Adam梯度下降策略进行优化学习；
测试单元：用于输入测试集，输出车辆的包围框信息(x,y,w,h)。
本方案提供一种监控视频违停车辆管理系统，还包括：数据分析单元：用于对设定时间段内存储的数据进行分析，获取某地段的违停事件发生数以及发生时间点，判断该地段特定时刻违停车辆现象的状况，并对巡检人员提出某路段巡查建议。
本方案提供一种监控视频违停车辆管理系统，还包括：巡检单元，用于没有解决违停行为时，根据违停车辆的地点向附近的巡检人员指派巡检任务，其中巡检任务至少包括违停车辆的车牌识别结果，违停地点以及处置截止时间，获取巡检人员的处理后图像，分析该处理后图像判断巡检人员是否已完成该巡检任务，若无，继续向巡检人员指派该巡检任务，若已完成巡检任务，结案。
另，本方案提供的监控视频违停车辆检测方法以及监控视频违停车辆管理方法的搭载在计算机程序上实现，该计算机程序可被存储在计算机可读存储介质上，或者，利用处理器处理完成。
相较现有技术，本方案具有以下特点：通过车辆检测模型高效地检测监控视频中的车辆目标框，通过检测设定停车时长前后车辆目标框的位置来判断车辆的违停时间是否超过停车时长，结合车牌识别技术获取违停车辆的车辆信息，并基于违停车辆的车辆信息进行违停车辆的管理。本方案可适用于同时监测同一场景内多辆车辆，且对车辆目标框进行去重叠处理，提高车辆监测的效率和质量。
附图说明
图1是根据本发明的一实施例的监控视频违停车辆检测方法的违停车辆识别网络的结构图。
图2A对应图1中B处理后的图像，图2B对应图1中B1处理后的图像，图2C对应图1中B2处理后的图像，图2D对应图1中B4处理后的图像。
图3是车辆检测模块的全局信息感知模块的示意图。
图4是根据本发明的一实施例的监控视频违停车辆管理方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
首先，本方案提供一种监控视频违停车检测，管理方法及对应的系统，该监控视频违停车辆检测系统利用监控视频违停车辆检测方法获取监控视频中的违停车辆，其中违停车辆指的是在违停区域内停车时间超过设定停车时长的车辆，另，本方案提供的监控视频违停车辆检测系统结合车牌识别技术获取违停车辆的车辆信息，并结合多种管理方法对违停车辆进行管理。
具体的，本方案提供了一种监控视频违停车辆检测方法，对监控视频中违停区域的车辆进行检测，包括以下步骤：
获取第一时刻的连续多帧监控图像的第一时刻车辆目标框，对前后帧的监控图像的第一时刻车辆目标框进行第一重叠度筛查，得到违停车辆候选框集合；
获取第二时刻的监控图像的第二时刻车辆目标框，对第二时刻车辆目标框和违停车辆候选框集合做第二重叠度筛查，得到违停车辆确定框集合，对违停车辆确定框集合进行重叠框去除处理，得到违停车辆框，其中第二时刻和第一时刻至少间隔设定停车时长。
具体的，对前后帧的监控图像的第一时刻车辆目标框遍历计算IOU,若IOU小于第一阈值，保留此车辆目标框，最终汇合车辆目标框得到违停车辆候选框集合。
对第二时刻车辆目标框和违停车辆候选框计算IOU，若IOU大于第二阈值，保留该车辆框，得到违停车辆确定框集合，且，在对违停车辆确定框集合进行非极大值抑制(NMS)处理去除重叠框，得到违停车辆框。
具体的，该监控视频中违停区域的违停车辆框采用以下的违停车辆判别算法进行识别，违停车辆判别算法的步骤如下：
首先在第一时刻t对监控视频中违停区域内进行连续n帧检测得到连续n帧监控图像，Vit表示在t时刻第i帧监控图像中的车辆目标框的数量，Vi+1t表示在t时刻第i+1帧监控图像中的车辆目标框的数量，0<i+1≤n，rj it表示在t时刻第i帧图像的第j个车辆框，0≤j≤Vit，rl i+1t表示在t时刻第i+1帧图像的第l个车辆框,0≤l≤Vi+1t，通过对前后帧图像检测框rj it和rj i+1t的循环遍历计算如果IOU≤δ，保留rj it，以此方式剔除重叠度较大的检查框,得到违停车辆候选框集合M，集合M为t时刻检测n帧所有可能包含违停车辆的结果；
其次，在第一时刻t经过设定停车时长T后的第二时刻t+T，再次对相同的违停区域进行检测得到uit+T个车辆检测框，再次对相同的违停区域进行检测得到uit+T个车辆检测框，uit+T表示t+T时刻第i帧图像的车辆检测数目,sj it+T表示在t+T第i帧图像的第j个车辆框,将车辆框与t时刻的集合M中的候选框做IOU筛选，如果则保留集合N＝{sj it+T}，对集合N通过非极大值抑制去除重叠框，保留下来的框为集合N最终确定的违停车辆框。
另外，在本方案中采用车辆检测模型获取监控图像内的车辆目标框，具体的，该车辆检测模型采用相同结构的三个网络进行级联，主干网络采用残差瓶颈网络块组成提取特征器，初始的预选框由区域候选网络提取，在后续处理层的每个网络都嵌入了针对全局信息感知的网络模块，增强像素间较远距离点之间的联系，弥补卷积神经网络的缺点，对每个网络的输出都采用设置的不同的交并比的值(α,β,γ)进行筛选，保留较为准确的输出框，每一级的输出由粗到细。
该车辆检测模型具有以下特点：每一级网络在训练过程中不仅采用原训练数据而且都利用上一级网络的预选输出作为输入一起进行训练，整个网络实现端到端设计，使得识别精度得到保障。
该车辆检测模型的构建方法：利用标记有包围车辆的矩形框以及标注框得分的监控图像导入车辆检测模型中训练，得到优化参数的车辆检测模型。
具体的，车辆检测模型的构建方法包括以下步骤：
准备训练数据：本方案的车辆识别数据采用车辆公开数据集KITTI、UA-DETRAC，对收集的道路监控视频数据使用开源的车辆检测算法提取含有车辆的监控图像，两类图像共计N张。
数据标记：对获取的无标注的车辆数据进行标注，标注信息为包围车辆的矩形框(标注框)以及标注框的得分，标签形式如(ci,xi,yi,wi,hi)，其中ci表示标注框的得分，ci等于0或者1，当标注框内含有车辆时ci＝1，当标注框内不含有车辆时ci＝0；xi,yi,wi,hi分别表示标注框的左上角点的坐标、宽和高；
网络结构设计：如图1所示，算法采用相同结构的三个网络进行级联，主干网络采用残差瓶颈网络块组成提取特征器，初始的预选框由区域候选网络提取。如图2所示，在后续处理层的每个网络都嵌入了针对全局信息感知的网络模块，增强像素间较远距离点之间的联系，弥补卷积神经网络的缺点，对每个网络的输出都采用设置的不同的交并比的值(α,β,γ)进行筛选，保留较为准确的输出框，每一级的输出由粗到细。每一级网络在训练过程中不仅采用原训练数据而且都利用上一级网络的预选输出作为输入一起进行训练，整个网络实现端到端设计；
数据训练：输入数据标记步骤准备的监控图像，采用Adam梯度下降策略进行优化学习，图像大小设置为416*416，设置输入最小批量数据值为64，学习率为10-3。
测试：输入测试数据，输出车辆的包围框信息(x,y,w,h)。
另外，在本方案中采用opencv库选取监控视频中监控图像的违停区域，opencv是一个主要针对图像处理的C++开源工具；opencv库中具有基于鼠标选点构成包围区域的函数接口。
利用上述监控视频违停车辆检测方法，本方案另外提供一种监控视频违停车辆管理方法，包括以下步骤：
步骤1：构建车辆检测模型：采用卷积神经网络构建车辆检测与识别模型；其中车辆检测模型的构建过程如上所述，在此不累赘说明；
步骤2：选取违停区域：利用opencv库实现监控视频违停区域的提取，所述opencv是一个主要针对图像处理的C++开源工具，opencv库中具有基于鼠标选点构成包围区域的函数接口；
步骤3：违停车辆判别与车牌识别：设定停车时间，如果车辆在步骤2所述的违停区域内停车时长超过设定时长,则判断该车辆属于违停车辆，并对该车辆进行车牌识别，最后上传违停图像以及车牌识别结果，对应的违停车辆判别采用其上提到的违停车辆判别算法，在此不累赘说明。
步骤4：构建违停事件库：保存步骤3中传回的数据，记录违停车辆的违停时间、地点、车牌以及视频片段(或多幅图像)；
步骤5：违停处理：依据识别的车牌信息寻找车主，并实时短信或电话通知其违章行为；如果在一个规定的时间内联系不到车主或车主没有驶离违停区域则对该违停车辆开出罚单；
步骤6：数据分析：对一段时间内步骤4中数据进行分析，根据某地段违停事件发生数、发生时间点，判断该地区某时刻违停车辆现象的状况，给执法巡查人员提出某路段巡查建议；
步骤7：若经过步骤5后依旧没有解决违停行为，根据违停车辆的地点向附近的巡检人员指派巡检任务，其中巡检任务至少包括违停车辆的车牌识别结果，违停地点以及处置截止时间，获取巡检人员的处理后图像，分析该处理后图像判断巡检人员是否已完成该巡检任务，若无，继续向巡检人员指派该巡检任务，若已完成巡检任务，结案。
换言之，本方案另外包括监控视频违停车辆管理方法，该监控视频违停车辆管理方法在其上提到的监控视频违停车辆检测方法的基础上增加车辆管理步骤，具体的，监控视频违停车辆管理方法进一步包括步骤：
违停车辆记录步骤：利用车牌识别技术识别违停车辆框中的车辆，得到车牌识别结果，其中车牌识别结果，违停车辆框对应的监控图像打包生成违停车辆数据包，其中违停车辆数据包上传至违停事件库内被存储；
罚单生成步骤：依据车牌识别结果匹配车主信息，以多种方式通知车主，若在设定反馈时间内未联系到车主或者在设定反馈时间内检测到该违停车辆依旧停留在违停区域，对该违停车辆框对应的违停车辆开罚单；
数据分析步骤：分析违停事件库中的违停车辆数据包，得到违停分析报告。
在本方案的违停车辆记录步骤，违停车辆数据包内进一步包括该违停车辆框对应的违停车辆的违停时间信息以及违停地点信息，违停时间信息以及违停地点信息可直接调用监控视频的源数据。
在本方案的罚单生成步骤，车主信息至少包括车主身份，车主联系方式以及车主车辆信息，通过车主车辆信息和车牌识别结果的匹配获取对应的车主联系方式，可选择通过实时短信或实时电话的方式同时车主。另，在罚单生成步骤中，可通过巡检人员人为反馈违停车辆是否依旧停留在违停区域，也可通过上述的监控视频违停车辆检测方法检测该违停车辆框是否还在违停区域。当然，罚单信息也可存储在违停事件库内以便于管理人员后续对违停情况进行管理。
在数据分析步骤，可通过分析某地段违停事件发生数和/或违停时间，得到特定地段特定时间段的车辆违停情况并生成分析报告，并可根据分析报告给巡检人员提出巡检建议。比如，若某地段某时间段的违停数量特别多，则可建议巡检人员在该时间段内多巡检该区域。
另外，该监控视频违停车辆管理方法在罚单生成步骤之后进一步包括：
巡检任务指派步骤：
根据违停车辆的地点向附近的巡检人员指派巡检任务，其中巡检任务至少包括违停车辆的车牌识别结果，违停地点以及处置截止时间，获取巡检人员的处理后图像，分析该处理后图像判断巡检人员是否已完成该巡检任务，若无，继续向巡检人员指派该巡检任务。
在巡检任务指派步骤当中：
第一，若在处置截止时间之前未获取巡检人员的处理后图像，继续向该巡检人员指派该巡检任务，并对该巡检事项进行记录。
第二，若在处置截止时间之前获取巡检人员的处理后图像，通过其上提到的车辆检测模型获取该处理后图像中的违停车辆，并通过图像分析或者人为判断巡检人员是否对该违停车辆贴置罚单或进行其他处理，并对该巡检事项进行记录。
在设定结案时间之前通过监控视频违停车辆检测方法再次检测该违停区域的车辆违停情况，若未发现问题，结案，若发现问题重复巡检任务指派步骤，其中设定结案时间为第二时刻后一段时间，具体时长根据需求设定。
值得一提的是，巡检事项记录巡检人员对巡检任务的处理情况，可便于管理人员对该巡检人员进行管理以及便于车主对巡检人员进行监督反馈。
本方案提供一种监控视频违停车辆检测系统，包括：
监控图像提取单元，其中监控图像提取单元获取监控视频，并提取监控视频中的违停区域的监控图像，其中可采用opencv库选取监控视频中监控图像的违停区域；
违停车辆检测单元，其中违停车辆检测单元包括内置识别监控图像的车辆框的车辆检测模型以及违停车辆判别模块，其中违停车辆判别模块依据违停车辆判别算法对违停车辆进行判别，得到违停车辆框。
具体的，获取第一时刻对应的违停车辆候选框集合，获取第二时刻的第二时刻车辆目标框，对第二时刻车辆目标框和违停车辆候选框集合做第二重叠度筛查，得到违停车辆确定框集合，对违停车辆确定框集合进行重叠框去除处理，得到违停车辆框，其中第二时刻和第一时刻至少间隔设定停车时长。
具体的，车辆检测模型的搭建和训练方法，以及违停车辆判别算法的具体步骤如上所述，在此不累赘介绍。
通过该监控视频违停车辆检测系统获取监控视频中的违停车辆。
另一方面，本方案提供一种监控视频违停车辆管理系统，该监控视频违停车辆管理系统包括：
监控图像提取单元，其中监控图像提取单元获取监控视频，并提取监控视频中的违停区域的监控图像，其中可采用opencv库选取监控视频中监控图像的违停区域；
违停车辆检测单元，其中违停车辆检测单元包括内置识别监控图像的车辆框的车辆检测模型以及违停车辆判别模块，其中违停车辆判别模块依据违停车辆判别算法对违停车辆进行判别，得到违停车辆框；
车辆信息单元，车辆信息单元识别违停车辆框获取车牌识别信息以及对应的车主信息；
违停事件库，其中违停事件库内存储违停数据包，其中违停数据包至少包括车牌识别结果，违停车辆框对应的监控图像；
处理单元，若在设定反馈时间内未联系到车主或者在设定反馈时间内检测到该违停车辆依旧停留在违停区域，对该违停车辆框对应的违停车辆开罚单。
另外，该监控视频违停车辆管理系统包括：
巡检单元，其中巡检单元根据违停车辆的地点向附近的巡检人员指派巡检任务，其中巡检任务至少包括违停车辆的车牌识别结果，违停地点以及处置截止时间，并获取巡检人员的处理后图像，分析该处理后图像判断巡检人员是否已完成该巡检任务，若无，继续向巡检人员指派该巡检任务。
值得一提的是，本方案提及的监控视频违停车辆检测系统上搭载计算机程序完成监控视频违停车辆检测方法，其内对应提到的模块功能仅为功能分区，且监控视频违停车辆检测系统内未提及的载体功能参见监控视频违停车辆检测方法的说明。
同理，本方案提及的监控视频违停车辆管理系统上搭载计算机程序完成监控视频违停车辆管理方法，其内对应提到的模块功能仅为功能分区，且监控视频违停车辆管理系统内未提及的载体功能参见监控视频违停车辆管理方法的说明。
本方案提供的监控视频违停车辆检测方法以及监控视频违停车辆管理方法的搭载在计算机程序上实现，该计算机程序可被存储在计算机可读存储介质上，或者，利用处理器处理完成。
本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (8)

1.一种监控视频违停车辆管理方法，用于管理监控视频中的违停车辆，其特征在于，包括如下步骤：
步骤1：构建车辆检测模型：采用卷积神经网络构建车辆检测与识别模型；
步骤2：选取违停区域：利用opencv库提取监控视频中违停区域；
步骤3：违停车辆判别与车牌识别：设定停车时间，若某车辆在步骤2选取的违停区域内停车时长超过停车时间,则判断该车辆为违停车辆，并对该车辆进行车牌识别，上传违停车辆对应的违停图像以及违停车辆的车牌识别结果；
步骤4：构建违停事件库：保存步骤3中传回的数据，至少记录违停车辆的违停时间、地点、车牌以及至少一违停图像；
步骤5：违停处理：依据车牌识别结果寻找车主，并以实时短信或电话通知车主其违停行为，如果在规定的时间内联系不到车主或车主没有驶离违停区域，则对该违停车辆开出罚单；
其中，步骤3中，违停车辆判别对应的车辆检测算法如下:
(3a)首先在第一时刻t对监控视频中违停区域内进行连续n帧检测得到连续n帧监控图像，Vit表示在t时刻第i帧监控图像中的车辆目标框的数量，Vi+1t表示在t时刻第i+1帧监控图像中的车辆目标框的数量，0<i+1≤n，rj it表示在t时刻第i帧图像的第j个车辆框，0≤j≤Vit，rl i+1t表示在t时刻第i+1帧图像的第l个车辆框,0≤l≤Vi+1t，通过对前后帧图像检测框rj it和rj i+1t的循环遍历计算如果IOU≤δ，保留rj it，以此方式剔除重叠度较大的检查框,得到违停车辆候选框集合M，集合M为t时刻检测n帧所有可能包含违停车辆的结果；
(3b)其次，在第一时刻t经过设定停车时长T后的第二时刻t+T，再次对相同的违停区域进行检测得到uit+T个车辆检测框，uit+T表示t+T时刻第i帧图像的车辆检测数目,sj it+T表示在t+T第i帧图像的第j个车辆框,将车辆框与t时刻的集合M中的候选框做IOU筛选，如果则保留集合N＝{sj it+T}，对集合N通过非极大值抑制去除重叠框，保留下来的框为集合N最终确定的违停车辆框。
2.根据权利要求1所述的监控视频违停车辆管理方法，其特征在于，步骤1中对应的车辆检测模型的构建过程如下：
(1a)训练与测试数据准备：下载获取车辆公开数据集，对收集的道路监控视频数据使用开源的车辆检测算法提取含有车辆的视频图像；
(1b)数据标注：对(1a)获取的无标注的车辆数据进行标注，得到标注数据样本，标注信息为包围车辆的标注框以及标注框的得分，标签形式如(ci,xi,yi,wi,hi)，其中ci表示标注框的得分，ci等于0或者1，当标注框内含有车辆时ci＝1，当标注框内不含有车辆时ci＝0；xi,yi,wi,hi分别表示标注框的左上角点的坐标、宽和高；
(1c)数据处理：将标注数据样本划分为训练集、验证集、测试集；
(1d)网络结构设计：算法采用相同结构的三个网络进行级联，主干网络采用残差瓶颈网络块组成提取特征器，初始的预选框由区域候选网络提取，在后续处理层的每个网络都嵌入了针对全局信息感知的网络模块，对每个网络的输出都采用设置的不同的交并比的值(α,β,γ)进行筛选，保留较为准确的输出框，每一级的输出由粗到细；
(1e)训练：采用Adam梯度下降策略进行优化学习；
(1f)测试：输入测试集，输出车辆的包围框信息(x,y,w,h)。
3.根据权利要求1所述的监控视频违停车辆管理方法，其特征在于，包括：
步骤6：数据分析：对设定时间段内步骤4中内存储的数据进行分析，获取某地段的违停事件发生数以及发生时间点，判断该地段特定时刻违停车辆现象的状况，并对巡检人员提出某路段巡查建议。
4.根据权利要求1所述的监控视频违停车辆管理方法，其特征在于，包括步骤7：若经过步骤5后依旧没有解决违停行为，根据违停车辆的地点向附近的巡检人员指派巡检任务，其中巡检任务至少包括违停车辆的车牌识别结果，违停地点以及处置截止时间，获取巡检人员的处理后图像，分析该处理后图像判断巡检人员是否已完成该巡检任务，若无，继续向巡检人员指派该巡检任务，若已完成巡检任务，结案。
5.一种监控视频违停车辆管理系统，其特征在于，包括：
监控图像提取单元，其中监控图像提取单元获取监控视频，并提取监控视频中的违停区域的监控图像，采用opencv库选取监控视频中监控图像的违停区域；
违停车辆检测单元，其中违停车辆检测单元包括内置识别监控图像的车辆框的车辆检测模型以及违停车辆判别模块，其中违停车辆判别模块依据违停车辆判别算法对违停车辆进行判别，得到违停车辆框；违停车辆判别对应的车辆检测算法如下:
(3a)首先在第一时刻t对监控视频中违停区域内进行连续n帧检测得到连续n帧监控图像，Vit表示在t时刻第i帧监控图像中的车辆目标框的数量，Vi+1t表示在t时刻第i+1帧监控图像中的车辆目标框的数量，0<i+1≤n，rj it表示在t时刻第i帧图像的第j个车辆框，0≤j≤Vit，rl i+1t表示在t时刻第i+1帧图像的第l个车辆框,0≤l≤Vi+1t，通过对前后帧图像检测框rj it和rj i+1t的循环遍历计算如果IOU≤δ，保留rj it，以此方式剔除重叠度较大的检查框,得到违停车辆候选框集合M，集合M为t时刻检测n帧所有可能包含违停车辆的结果；
(3b)其次，在第一时刻t经过设定停车时长T后的第二时刻t+T，再次对相同的违停区域进行检测得到uit+T个车辆检测框，uit+T表示t+T时刻第i帧图像的车辆检测数目,sj it+T表示在t+T第i帧图像的第j个车辆框,将车辆框与t时刻的集合M中的候选框做IOU筛选，如果则保留集合N＝{sj it+T}，对集合N通过非极大值抑制去除重叠框，保留下来的框为集合N最终确定的违停车辆框；
车辆信息单元，车辆信息单元识别违停车辆框获取车牌识别信息以及对应的车主信息；
违停事件库，其中违停事件库内存储违停数据包，其中违停数据包至少包括车牌识别结果，违停车辆框对应的监控图像；
处理单元，若在设定反馈时间内未联系到车主或者在设定反馈时间内检测到该违停车辆依旧停留在违停区域，对该违停车辆框对应的违停车辆开罚单。
6.根据权利要求5所述的监控视频违停车辆管理系统，其特征在于，还包括：训练与测试数据准备单元：用于下载获取车辆公开数据集，对收集的道路监控视频数据使用开源的车辆检测算法提取含有车辆的视频图像；
数据标注单元：用于对获取的无标注的车辆数据进行标注，得到标注数据样本，标注信息为包围车辆的标注框以及标注框的得分，标签形式如(ci,xi,yi,wi,hi)，其中表示标注框的得分，等于0或者1，当标注框内含有车辆时＝1，当标注框内不含有车辆时＝0；xi,yi,wi,hi分别表示标注框的左上角点的坐标、宽和高；
数据处理单元：用于将标注数据样本划分为训练集、验证集、测试集；
网络结构设计单元：用于算法采用相同结构的三个网络进行级联，主干网络采用残差瓶颈网络块组成提取特征器，初始的预选框由区域候选网络提取，在后续处理层的每个网络都嵌入了针对全局信息感知的网络模块，对每个网络的输出都采用设置的不同的交并比的值(α,β,γ)进行筛选，保留较为准确的输出框，每一级的输出由粗到细；
训练单元：用于采用Adam梯度下降策略进行优化学习；
测试单元：用于输入测试集，输出车辆的包围框信息(x,y,w,h)。
7.根据权利要求5所述的监控视频违停车辆管理系统，其特征在于，还包括：数据分析单元：用于对设定时间段内存储的数据进行分析，获取某地段的违停事件发生数以及发生时间点，判断该地段特定时刻违停车辆现象的状况，并对巡检人员提出某路段巡查建议。
8.根据权利要求5所述的监控视频违停车辆管理系统，其特征在于，还包括：巡检单元，用于没有解决违停行为时，根据违停车辆的地点向附近的巡检人员指派巡检任务，其中巡检任务至少包括违停车辆的车牌识别结果，违停地点以及处置截止时间，获取巡检人员的处理后图像，分析该处理后图像判断巡检人员是否已完成该巡检任务，若无，继续向巡检人员指派该巡检任务，若已完成巡检任务，结案。
CN202010286642.8A 2020-04-13 2020-04-13 一种监控视频违停车辆检测、管理方法及对应的系统 Active CN111429726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010286642.8A CN111429726B (zh) 2020-04-13 2020-04-13 一种监控视频违停车辆检测、管理方法及对应的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010286642.8A CN111429726B (zh) 2020-04-13 2020-04-13 一种监控视频违停车辆检测、管理方法及对应的系统

Publications (2)

Publication Number Publication Date
CN111429726A CN111429726A (zh) 2020-07-17
CN111429726B true CN111429726B (zh) 2021-11-26

Family

ID=71556233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010286642.8A Active CN111429726B (zh) 2020-04-13 2020-04-13 一种监控视频违停车辆检测、管理方法及对应的系统

Country Status (1)

Country Link
CN (1) CN111429726B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164227B (zh) * 2020-08-26 2022-06-28 深圳奇迹智慧网络有限公司 违停车辆告警方法、装置、计算机设备和存储介质
CN112289037B (zh) * 2020-10-29 2022-06-07 南通中铁华宇电气有限公司 基于复杂环境下高视角的机动车辆违规停车检测方法及系统
CN112950942A (zh) * 2021-02-19 2021-06-11 合肥海赛信息科技有限公司 一种基于视频分析的机动车违停智能检测方法
CN113380047A (zh) * 2021-06-22 2021-09-10 重庆盛海科技发展有限公司 一种基于传统摄像机的违规停车检测方法
CN114648748A (zh) * 2022-05-23 2022-06-21 科大天工智能装备技术（天津）有限公司 一种基于深度学习的机动车违停智能识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956632A (zh) * 2016-05-20 2016-09-21 浙江宇视科技有限公司 一种检测目标的方法和装置
CN107609491A (zh) * 2017-08-23 2018-01-19 中国科学院声学研究所 一种基于卷积神经网络的车辆违章停车检测方法
CN108922195A (zh) * 2018-06-07 2018-11-30 安徽清新互联信息科技有限公司 违法停车自动取证系统及其控制方法
CN109255959A (zh) * 2018-06-25 2019-01-22 北京筑梦园科技有限公司 一种车辆监管方法和系统
CN110490150A (zh) * 2019-08-22 2019-11-22 浙江工业大学 一种基于车辆检索的违章图片自动审核系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2199999A1 (en) * 1997-03-14 1998-09-14 Peter Johann Kielland Parking regulation enforcement system
US20160140846A1 (en) * 2014-09-25 2016-05-19 Christopher Scott Outwater System and Method for Parking Management Based on Location Tracking
CN107705574A (zh) * 2017-10-09 2018-02-16 荆门程远电子科技有限公司 一种精准快速的道路违章停车全自动抓拍系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956632A (zh) * 2016-05-20 2016-09-21 浙江宇视科技有限公司 一种检测目标的方法和装置
CN107609491A (zh) * 2017-08-23 2018-01-19 中国科学院声学研究所 一种基于卷积神经网络的车辆违章停车检测方法
CN108922195A (zh) * 2018-06-07 2018-11-30 安徽清新互联信息科技有限公司 违法停车自动取证系统及其控制方法
CN109255959A (zh) * 2018-06-25 2019-01-22 北京筑梦园科技有限公司 一种车辆监管方法和系统
CN110490150A (zh) * 2019-08-22 2019-11-22 浙江工业大学 一种基于车辆检索的违章图片自动审核系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于R-CNN的城市道路行人车辆实时检测识别方法研究;石凡;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200215(第2期);参见正文第15，50页 *
基于改进的Faster_R_CNN物流车辆特征识别研究;许艇;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20190715(第7期);参见正文第10-11，50页 *

Also Published As

Publication number Publication date
CN111429726A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111429726B (zh) 一种监控视频违停车辆检测、管理方法及对应的系统
CN106373426A (zh) 基于计算机视觉的停车位及违规占道停车监控方法
CN110738857B (zh) 一种车辆违章取证方法、装置及设备
CN109740420A (zh) 车辆违法识别方法及相关产品
Zhang et al. Automated detection of grade-crossing-trespassing near misses based on computer vision analysis of surveillance video data
CN110689054A (zh) 一种工人违规行为监测方法
KR102035592B1 (ko) 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법
CN110032947B (zh) 一种监控事件发生的方法及装置
CN111629181B (zh) 消防生命通道监控系统及方法
CN108156406A (zh) 行车记录仪的信息处理方法和装置
CN110288823B (zh) 一种基于朴素贝叶斯网络的交通违章误判识别方法
CN112381014A (zh) 一种基于城市道路的违停车辆检测及管理方法及系统
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN113822285A (zh) 一种用于复杂应用场景的车辆违停识别方法
CN110956104A (zh) 一种检测垃圾桶溢出的方法、装置及系统
CN112883921A (zh) 一种垃圾桶满溢检测模型训练方法及垃圾桶满溢检测方法
CN109344886B (zh) 基于卷积神经网络的遮挡号牌判别方法
CN112991130A (zh) 基于人工智能的城市治理事件处理方法及装置
CN112633163A (zh) 一种基于机器学习算法实现非法运营车辆检测的检测方法
CN112364898A (zh) 图像识别自动标注方法、装置、设备及存储介质
CN111783530A (zh) 一种在限制区域内监控及鉴别行为的安全系统及方法
KR102015945B1 (ko) 자율주행을 위한 학습대상 이미지 패키징 장치 및 방법
CN110674887A (zh) 一种基于视频分类的端到端道路拥堵检测算法
CN112215038A (zh) 特定车辆识别系统、方法及存储介质
KR20200123537A (ko) 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법 및 이를 이용한 싱크홀 탐지시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant