CN110298307A - 一种基于深度学习的异常停车实时检测方法 - Google Patents

一种基于深度学习的异常停车实时检测方法 Download PDF

Info

Publication number
CN110298307A
CN110298307A CN201910570619.9A CN201910570619A CN110298307A CN 110298307 A CN110298307 A CN 110298307A CN 201910570619 A CN201910570619 A CN 201910570619A CN 110298307 A CN110298307 A CN 110298307A
Authority
CN
China
Prior art keywords
time
target
exception parking
threshold
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910570619.9A
Other languages
English (en)
Other versions
CN110298307B (zh
Inventor
高飞
王金超
葛一粟
李云阳
卢书芳
张元鸣
邵奇可
陆佳炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910570619.9A priority Critical patent/CN110298307B/zh
Publication of CN110298307A publication Critical patent/CN110298307A/zh
Application granted granted Critical
Publication of CN110298307B publication Critical patent/CN110298307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公布了一种基于深度学习的异常停车实时检测方法，包括有以下步骤：1)相机预置位设置以及相机标定；2)卷积神经网络模型初始化；3)获取当前视频帧与视频帧时间；4)检查相机工作状态；5)使用卷积神经网络模型对兴趣区域ROI进行车辆目标检测；6)维护静态目标跟踪队列；7)异常停车检测；8)异常停车目标上报。本发明提出了一种基于深度学习的异常停车实时检测算法，具有对环境变化较强的鲁棒性，实现了实时的检测效果以及较高的异常停车识别精度。

Description

一种基于深度学习的异常停车实时检测方法
技术领域
本发明涉及深度学习技术领域，具体涉及一种基于深度学习的异常停车实时检测方法。
背景技术
近年来，随着汽车的普及，城市停车位置出现不足，且伴随着设计不妥以及道路的复杂，停车问题变得及其突出。人们开车上下班、出门旅游，往往因为车位不够或者找到空闲的车位太过于耗时，而导致车主选择随意停放汽车，这种行为不仅会面临交警的罚款，而且会影响道路的畅通。异常停车不仅仅会影响人们的出行效率，甚至更会导致严重的交通事故，严重危害人民的出行安全。因此，准确而实时地进行异常停车检测就显得尤为重要。
现有的一些关于异常停车的检测方法，大多是依赖于传统的图像处理技术，而该方法具有较低的准确率以及较差的鲁棒性，一旦遇到遮挡、天气变化，就会导致检测的准确率大幅度下降；又或者是通过特定的设备来进异常停车检测，这类方法需要较大的人力物力。因此结合现有的交通监控相机以及深度学习进行异常停车检测，具有很强的研究价值和潜在的商业应用。
发明内容
为克服现有技术上检测精度低、检测速度慢的不足，本发明提供了一种基于深度学习的异常停车实时检测方法，用深度卷积神经网络CNN特征进行车辆目标检测，并结合视频时空连续性来准确而快速地进行异常停车检测。
为实现上述发明，采用的技术方案如下：
一种基于深度学习的异常停车实时检测方法，其特征在于，包括如下步骤：
1)相机预置位设置以及相机标定；
2)卷积神经网络模型初始化；
3)获取当前视频帧与视频帧时间；
4)检查相机工作状态；
5)使用卷积神经网络模型对兴趣区域ROI进行车辆目标检测；
6)维护静态目标跟踪队列；
7)异常停车检测；
8)异常停车目标上报。
所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤1)中，所述的相机预置位为进行异常停车检测时相机所处的固定位置。
所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤1)中，所述的相机预置位设置为将摄像头调整到合适的异常停车检测位置，并将当前相机位置设置为预置位。
所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤1)中，所述的相机标定为截取相机视频流的一帧图像，在其上进行车道线、兴趣区域ROI、异常停车检测区域的标定。
所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤2)中，所述的卷积神经网络模型为YOLOv3，卷积神经网络模型初始化为卷积网络模型加载到GPU显卡中以及权重参数恢复。
所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤4)中，所述的检查相机工作状态具体包括以下步骤：
4.1:获取当前相机的位置信息，与预置位比较是否相同，若相同，则进行异常停车检测；否则，将静态目标跟踪队列以及历史异常停车队列重置，并且不进行异常停车检测，直到相机位置恢复到与预置位相同；
4.2:计算当前视频帧时间Tcur与前一帧时间Tpre的时间间隔Tspace，单位为秒，根据公式(1)计算：
Tspace＝Tcur-Tpre (1)
若Tspace≥3，则将静态目标跟踪队列以及历史异常停车队列重置；否则进行正常的异常停车检测。
所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤6)中，所述的维护静态目标跟踪队列包含以下步骤：
6.1:得到当前帧的车辆目标检测结果后，过滤掉不在车道线内以及异常停车检测区域内的车辆；
6.2:基于检测的静态目标匹配：
6.2.1:计算当前帧检测到的车辆目标D和静态目标跟踪队列中目标Q的IoU和宽高误差Ew、Eh；IoU根据公式(2)计算：
其中，Dbox为当前帧的车辆目标D的边界框box，Qinit_box为跟踪队列中目标Q的初始边界框init_box，∩为求交集，∪为求并集；
宽高误差Ew、Eh分别根据公式(3)、公式(4)计算：
其中abs()为求绝对值，Dw和Dh分别为当前帧的车辆目标D边界框box的宽高，Qw和Qh分别为跟踪队列中目标Q边界框box的宽高；
6.2.2:如果IoU≥IoUthreshold，Ew≤Ew_threshold，Eh≤Eh_threshold，则认为D和Q是同一辆车且是静止车辆，将Q标记为当前帧已检测；否则，则将该车辆目标D加入跟踪队列中，初始box为当前目标D的box，初始图像为当前视频帧，初始时间Qinit_time为当前视频帧的时间；其中IoUthreshold，Ew_threshold，Eh_threshold为预先设置的阈值，IoUthreshold的取值范围为0～1.0，Ew_threshold和Eh_threshold的取值要求大于等于0；
6.3:维护静态目标跟踪队列：在静态目标跟踪队列中，若存在跟踪目标Q在当前帧中没有检测到、且前Errortolerate_frame帧也没有得到更新，则认为该目标已经移动，需要将该跟踪目标Q从跟踪队列中移除；其中Errortolerate_frame为预先设置的可调值，Errortolerate_frame≥1。
所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤7)中，所述的异常停车检测包含以下步骤；
7.1:维护历史异常停车队列为将队列中满足条件TspaceL≥ThresholdparkTolerantTime的目标移除；
TspaceL根据公式(5)计算：
TspaceL＝Tcur-Platest_time (5)
其中Tcur为当前视频帧时间，Platest_time为历史异常停车目标P的最新检测时间；
7.2:判断目标车辆是否异常停止：跟踪目标Q满足During≥Thresholdduring以及parkScore≥Thresholdpark，则判断该目标车辆Q异常停止；其中Thresholdduring，Thresholdpark为预先设置的阈值，Thresholdduring的单位为秒，其取值范围为Thresholdduring≥1，Thresholdpark的取值范围为0～1.0；parkScore表示异常停车分数；
停留时间During根据公式(6)计算：
During＝Tcur-Qinit_time (6)
其中，Tcur为当前视频帧时间，Qinit_time为跟踪目标Q的初始时间；
parkScore根据公式(7)计算：
其中，TrackQueue为静态目标跟踪队列，Qarea为跟踪目标Q前5个车位内的区域，且该区域Qarea限制在跟踪目标Q所处车道，|.|为计算区域Qarea或者车辆在道路行驶方向上的长度，IQarea(qi)为判断qi是否在区域Qarea内的指示函数，若qi在Qarea内，则返回1，否则，返回0。
所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤8)中，所述的异常停车上报包含以下步骤：
8.1:计算当前帧检测到的异常停车目标D和历史异常停车队列中目标P的IoU和宽高误差Ew、Eh；IoU根据公式(8)计算：
其中，Dbox为当前帧检测到的异常停车目标D的边界框box，Pbox为历史异常停车队列中目标P的边界框box，∩为求交集，∪为求并集；
宽高误差Ew、Eh分别根据公式(9)、公式(10)计算：
其中abs()为求绝对值，Dw和Dh分别为当前帧的车辆目标D边界框box的宽高，Pw和Ph分别为跟踪队列中目标P边界框box的宽高；
8.2:如果IoU≥IoUthreshold，Ew≤Ew_threshold，Eh≤Eh_threshold，则认为当前帧检测到的异常停车目标D已经处于历史异常停车队列中；
8.3:如果当前帧检测到的异常停车目标D不在历史异常停车队列中，则向历史异常停车队列添加该目标信息P，上报时间和最新检测时间为当前时间，边界框box为异常停车目标D的初始边界框init_box，并上报该异常停车目标；否则，更新历史异常停车目标中该目标信息，最新检测时间设置为当前时间，如果历史异常停车队列中该目标满足Duringreport≥ThresholdparkSaveInterval，则上报该异常停车目标，并设置上报时间report_time为当前时间；ThresholdparkSaveInterval表示违停上报时间间隔，单位为秒，其取值范围为ThresholdparkSaveInterval≥1；
上报间隔时间Duringreport根据公式(11)计算：
Duringreport＝Tcur-Preport_time (11)
其中，Tcur为当前视频帧时间，Preport_time为异常停车目标P的违停上报时间；
8.4:如果需要进行异常停车上报，则在异常停车目标D的初始视频帧和当前视频帧上绘制出检测框，并在视频帧底边添加视频帧时间和地点信息后将两张图像左右排列合并，最后将异常停车信息以及合成图进行上报。
与现有技术相比，本发明具有的主要有益效果为：
本发明提出了一种基于深度学习的异常停车实时检测算法，具有对环境变化较强的鲁棒性，实现了实时的检测效果以及较高的异常停车识别精度，可以极大降低人力资源成本、缓解交通异常情况、减少交通负荷和环境污染、保证交通安全、提高通行效率。
附图说明
图1为本发明方法的步骤流程图；
图2为本发明方法的标定图实例，其中5条实线线段为车道线，较小矩形为异常停车检测区域，较大矩形为兴趣区域ROI；
图3为本发明方法的异常停车检测效果图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
如图1-3所示，本实施例提供的基于深度学习的异常停车实时检测方法包括以下步骤：
S1，相机预置位设置以及相机标定。
具体地，将摄像头调整到合适的异常停车检测位置，并将当前相机位置设置为预置位；之后截取相机视频流的一帧图像，在其上进行车道线、兴趣区域ROI、异常停车检测区域的标定。
S2，卷积神经网络模型初始化。
具体地，将卷积网络模型加载到GPU显卡中并将权重参数恢复。
S3，获取当前视频帧与视频帧时间。
S4，检查相机工作状态。
具体地，包括以下步骤：
S4.1:获取当前相机的位置信息，与预置位比较是否相同，若相同，则进行异常停车检测；否则，将静态目标跟踪队列以及历史异常停车队列重置，并且不进行异常停车检测，直到相机位置恢复到与预置位相同；
S4.2:计算当前视频帧时间Tcur与前一帧时间Tpre的时间间隔Tspace，单位为秒，根据公式(1)计算：
Tspace＝Tcur-Tpre (1)
若Tspace≥3，则将静态目标跟踪队列以及历史异常停车队列重置；否则进行正常的异常停车检测。
S5，使用卷积神经网络模型对兴趣区域ROI进行车辆目标检测。
S6，维护静态目标跟踪队列。
具体地，包括以下步骤：
S6.1:得到当前帧的车辆目标检测结果后，过滤掉不在车道线内以及异常停车检测区域内的车辆；
S6.2:基于检测的静态目标匹配：
S6.2.1:计算当前帧检测到的车辆目标D和静态目标跟踪队列中目标Q的IoU和宽高误差Ew、Eh；IoU根据公式(2)计算：
其中，Dbox为当前帧的车辆目标D的边界框box，Qinit_box为跟踪队列中目标Q的初始边界框init_box，∩为求交集，∪为求并集；
宽高误差Ew、Eh分别根据公式(3)、公式(4)计算：
其中abs()为求绝对值，Dw和Dh分别为当前帧的车辆目标D边界框box的宽高，Qw和Qh分别为跟踪队列中目标Q边界框box的宽高；
S6.2.2:如果IoU≥IoUthreshold，Ew≤Ew_threshold，Eh≤Eh_threshold，则认为D和Q是同一辆车且是静止车辆，将Q标记为当前帧已检测；否则，则将该车辆目标D加入跟踪队列中，初始box为当前目标D的box，初始图像为当前视频帧，初始时间Qinit_time为当前视频帧的时间；其中IoUthreshold，Ew_threshold，Eh_threshold为预先设置的阈值，IoUthreshold的取值范围为0～1.0，Ew_threshold和Eh_threshold的取值要求大于等于0；在本实施例中，IoUthreshold＝0.4，Ew_threshold＝0.5，Eh_threshold＝0.5；
S6.4:维护静态目标跟踪队列：在静态目标跟踪队列中，若存在跟踪目标Q在当前帧中没有检测到、且前Errortolerate_frame帧也没有得到更新，则认为该目标已经移动，需要将该跟踪目标Q从跟踪队列中移除；其中Errortolerate_frame为预先设置的可调值，Errortolerate_frame≥1；在本实施例中Errortolerate_frame＝1。
S7，异常停车检测。
具体地，包含以下步骤：
7.1:维护历史异常停车队列为将队列中满足条件TspaceL≥ThresholdparkTolerantTime的目标移除；
TspaceL根据公式(5)计算：
TspaceL＝Tcur-Platest_time (5)
其中Tcur为当前视频帧时间，Platest_time为历史异常停车目标P的最新检测时间；
7.2:判断目标车辆是否异常停止：跟踪目标Q满足During≥Thresholdduring以及parkScore≥Thresholdpark，则判断该目标车辆Q异常停止；其中Thresholdduring，Thresholdpark为预先设置的阈值，Thresholdduring的单位为秒，其取值范围为Thresholdduring≥1，Thresholdpark的取值范围为0～1.0；parkScore表示异常停车分数；
停留时间During根据公式(6)计算：
During＝Tcur-Qinit_time (6)
其中，Tcur为当前视频帧时间，Qinit_time为跟踪目标Q的初始时间；
parkScore根据公式(7)计算：
其中，TrackQueue为静态目标跟踪队列，Qarea为跟踪目标Q前5个车位内的区域，且该区域Qarea限制在跟踪目标Q所处车道，|.|为计算区域Qarea或者车辆在道路行驶方向上的长度，IQarea(qi)为判断qi是否在区域Qarea内的指示函数，若qi在Qarea内，则返回1，否则，返回0。
S8，异常停车目标上报。
具体地，包含以下步骤：
S8.1:计算当前帧检测到的异常停车目标D和历史异常停车队列中目标P的IoU和宽高误差Ew、Eh；IoU根据公式(8)计算：
其中，Dbox为当前帧检测到的异常停车目标D的边界框box，Pbox为历史异常停车队列中目标P的边界框box，∩为求交集，∪为求并集；
宽高误差Ew、Eh分别根据公式(9)、公式(10)计算：
其中abs()为求绝对值，Dw和Dh分别为当前帧的车辆目标D边界框box的宽高，Pw和Ph分别为跟踪队列中目标P边界框box的宽高；
S8.2:如果IoU≥IoUthreshold，Ew≤Ew_threshold，Eh≤Eh_threshold，则认为当前帧检测到的异常停车目标D已经处于历史异常停车队列中；在本实施例中，IoUthreshold＝0.4，Ew_threshold＝0.5，Eh_threshold＝0.5；
S8.3:如果当前帧检测到的异常停车目标D不在历史异常停车队列中，则向历史异常停车队列添加该目标信息P，上报时间和最新检测时间为当前时间，边界框box为异常停车目标D的初始边界框init_box，并上报该异常停车目标；否则，更新历史异常停车目标中该目标信息，最新检测时间设置为当前时间，如果历史异常停车队列中该目标满足Duringreport≥ThresholdparkSaveInterval，则上报该异常停车目标，并设置上报时间report_time为当前时间；ThresholdparkSaveInterval表示违停上报时间间隔，单位为秒，其取值范围为ThresholdparkSaveInterval≥1；在本实施例中ThresholdparkSaveInterval＝300；
上报间隔时间Duringreport根据公式(11)计算：
Duringreport＝Tcur-Preport_time (11)
其中，Tcur为当前视频帧时间，Preport_time为异常停车目标P的违停上报时间；
S8.4:如果需要进行异常停车上报，则在异常停车目标D的初始视频帧和当前视频帧上绘制出检测框，并在视频帧底边添加视频帧时间和地点信息后将两张图像左右排列合并，最后将异常停车信息以及合成图进行上报。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的异常停车实时检测方法，其特征在于，包括如下步骤：
1)相机预置位设置以及相机标定；
2)卷积神经网络模型初始化；
3)获取当前视频帧与视频帧时间；
4)检查相机工作状态；
5)使用卷积神经网络模型对兴趣区域ROI进行车辆目标检测；
6)维护静态目标跟踪队列；
7)异常停车检测；
8)异常停车目标上传。
2.如权利要求1所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤1)中，所述的相机预置位为进行异常停车检测时相机所处的固定位置。
3.如权利要求1所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤1)中，所述的相机预置位设置为将摄像头调整到合适的异常停车检测位置，并将当前相机位置设置为预置位。
4.如权利要求1所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤1)中，所述的相机标定为截取相机视频流的一帧图像，在其上进行车道线、兴趣区域ROI、异常停车检测区域的标定。
5.如权利要求1所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤2)中，所述的卷积神经网络模型为YOLOv3，卷积神经网络模型初始化为卷积网络模型加载到GPU显卡中以及权重参数恢复。
6.如权利要求1所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤4)中，所述的检查相机工作状态具体包括以下步骤：
4.1):获取当前相机的位置信息，与预置位比较是否相同，若相同，则进行异常停车检测；否则，将静态目标跟踪队列以及历史异常停车队列重置，并且不进行异常停车检测，直到相机位置恢复到与预置位相同；
4.2):计算当前视频帧时间Tcur与前一帧时间Tpre的时间间隔Tspace，单位为秒，根据公式(1)计算：
Tspace＝Tcur-Tpre (1)
若Tspace≥3，则将静态目标跟踪队列以及历史异常停车队列重置；否则进行正常的异常停车检测。
7.如权利要求1所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤6)中，所述的维护静态目标跟踪队列包含以下步骤：
6.1):得到当前帧的车辆目标检测结果后，过滤掉不在车道线内以及异常停车检测区域内的车辆；
6.2):基于检测的静态目标匹配：
6.2.1):计算当前帧检测到的车辆目标D和静态目标跟踪队列中目标Q的IoU和宽高误差Ew、Eh；IoU根据公式(2)计算：
其中，Dbox为当前帧的车辆目标D的边界框box，Qinit_box为跟踪队列中目标Q的初始边界框init_box，∩为求交集，∪为求并集；
宽高误差Ew、Eh分别根据公式(3)、公式(4)计算：
其中abs()为求绝对值，Dw和Dh分别为当前帧的车辆目标D边界框box的宽高，Qw和Qh分别为跟踪队列中目标Q边界框box的宽高；
6.2.2):如果IoU≥IoUthreshold，Ew≤Ew_threshold，Eh≤Eh_threshold，则认为D和Q是同一辆车且是静止车辆，将Q标记为当前帧已检测；否则，则将该车辆目标D加入跟踪队列中，初始box为当前目标D的box，初始图像为当前视频帧，初始时间Qinit_time为当前视频帧的时间；其中IoUthreshold，Ew_threshold，Eh_threshold为预先设置的阈值，IoUthreshold的取值范围为0～1.0，Ew_threshold和Eh_threshold的取值要求大于等于0；
6.3):维护静态目标跟踪队列：在静态目标跟踪队列中，若存在跟踪目标Q在当前帧中没有检测到、且前Errortolerate_frame帧也没有得到更新，则认为该目标已经移动，需要将该跟踪目标Q从跟踪队列中移除；其中Errortolerate_frame为预先设置的可调值，Errortolerate_frame≥1。
8.如权利要求1所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤7)中，所述的异常停车检测包含以下步骤；
7.1):维护历史异常停车队列为将队列中满足条件TspaceL≥ThresholdparkTolerantTime的目标移除；
TspaceL根据公式(5)计算：
TspaceL＝Tcur-Platest_time (5)
其中Tcur为当前视频帧时间，Platest_time为历史异常停车目标P的最新检测时间；
7.2):判断目标车辆是否异常停止：跟踪目标Q满足During≥Thresholdduring以及parkScore≥Thresholdpark，则判断该目标车辆Q异常停止；其中Thresholdduring，Thresholdpark为预先设置的阈值，Thresholdduring的单位为秒，其取值范围为Thresholdduring≥1，Thresholdpark的取值范围为0～1.0；parkScore表示异常停车分数；
停留时间During根据公式(6)计算：
During＝Tcur-Qinit_time (6)
其中，Tcur为当前视频帧时间，Qinit_time为跟踪目标Q的初始时间；
parkScore根据公式(7)计算：
其中，TrackQueue为静态目标跟踪队列，Qarea为跟踪目标Q前5个车位内的区域，且该区域Qarea限制在跟踪目标Q所处车道，|.|为计算区域Qarea或者车辆在道路行驶方向上的长度，为判断qi是否在区域Qarea内的指示函数，若qi在Qarea内，则返回1，否则，返回0。
9.如权利要求1所述的一种基于深度学习的异常停车实时检测方法，其特征在于，步骤8)中，所述的异常停车上传包含以下步骤：
8.1):计算当前帧检测到的异常停车目标D和历史异常停车队列中目标P的IoU和宽高误差Ew、Eh；IoU根据公式(8)计算：
其中，Dbox为当前帧检测到的异常停车目标D的边界框box，Pbox为历史异常停车队列中目标P的边界框box，∩为求交集，∪为求并集；
宽高误差Ew、Eh分别根据公式(9)、公式(10)计算：
其中abs()为求绝对值，Dw和Dh分别为当前帧的车辆目标D边界框box的宽高，Pw和Ph分别为跟踪队列中目标P边界框box的宽高；
8.2):如果IoU≥IoUthreshold，Ew≤Ew_threshold，Eh≤Eh_threshold，则认为当前帧检测到的异常停车目标D已经处于历史异常停车队列中；
8.3):如果当前帧检测到的异常停车目标D不在历史异常停车队列中，则向历史异常停车队列添加该目标信息P，上报时间和最新检测时间为当前时间，边界框box为异常停车目标D的初始边界框init_box，并上报该异常停车目标；否则，更新历史异常停车目标中该目标信息，最新检测时间设置为当前时间，如果历史异常停车队列中该目标满足Duringreport≥ThresholdparkSaveInterval，则上报该异常停车目标，并设置上报时间report_time为当前时间；ThresholdparkSaveInterval表示违停上报时间间隔，单位为秒，其取值范围为ThresholdparkSaveInterval≥1；
上报间隔时间Duringreport根据公式(11)计算：
Duringreport＝Tcur-Preport_time (11)
其中，Tcur为当前视频帧时间，Preport_time为异常停车目标P的违停上报时间；
8.4):如果需要进行异常停车上报，则在异常停车目标D的初始视频帧和当前视频帧上绘制出检测框，并在视频帧底边添加视频帧时间和地点信息后将两张图像左右排列合并，最后将异常停车信息以及合成图进行上报。
CN201910570619.9A 2019-06-27 2019-06-27 一种基于深度学习的异常停车实时检测方法 Active CN110298307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910570619.9A CN110298307B (zh) 2019-06-27 2019-06-27 一种基于深度学习的异常停车实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910570619.9A CN110298307B (zh) 2019-06-27 2019-06-27 一种基于深度学习的异常停车实时检测方法

Publications (2)

Publication Number Publication Date
CN110298307A true CN110298307A (zh) 2019-10-01
CN110298307B CN110298307B (zh) 2021-07-20

Family

ID=68029249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910570619.9A Active CN110298307B (zh) 2019-06-27 2019-06-27 一种基于深度学习的异常停车实时检测方法

Country Status (1)

Country Link
CN (1) CN110298307B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597899A (zh) * 2020-04-16 2020-08-28 浙江工业大学 景区地面塑料瓶探测方法
CN112289037A (zh) * 2020-10-29 2021-01-29 南通中铁华宇电气有限公司 基于复杂环境下高视角的机动车辆违规停车检测方法及系统
CN112767681A (zh) * 2020-12-16 2021-05-07 济南博观智能科技有限公司 一种交通状态检测方法、装置及相关设备
CN112883904A (zh) * 2021-03-15 2021-06-01 珠海安联锐视科技股份有限公司 一种车辆违停占道检测方法
CN112950954A (zh) * 2021-02-24 2021-06-11 电子科技大学 一种基于高位摄像头的智能停车车牌识别方法
CN112991769A (zh) * 2021-02-03 2021-06-18 中科视语(北京)科技有限公司 基于视频的交通量调查方法和装置
CN112990159A (zh) * 2021-05-17 2021-06-18 清德智体（北京）科技有限公司 视频感兴趣片段截取方法、电子设备和存储介质
WO2022218011A1 (zh) * 2021-04-15 2022-10-20 北京百度网讯科技有限公司 交通异常检测方法、装置、设备、存储介质以及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824452A (zh) * 2013-11-22 2014-05-28 银江股份有限公司 一种轻量级的基于全景视觉的违章停车检测装置
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN109087510A (zh) * 2018-09-29 2018-12-25 讯飞智元信息科技有限公司 交通监测方法及装置
CN109615610A (zh) * 2018-11-13 2019-04-12 浙江师范大学 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN109615858A (zh) * 2018-12-21 2019-04-12 深圳信路通智能技术有限公司 一种基于深度学习的智能停车行为判断方法
CN109697420A (zh) * 2018-12-17 2019-04-30 长安大学 一种面向城市交通的移动目标检测及跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824452A (zh) * 2013-11-22 2014-05-28 银江股份有限公司 一种轻量级的基于全景视觉的违章停车检测装置
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN109087510A (zh) * 2018-09-29 2018-12-25 讯飞智元信息科技有限公司 交通监测方法及装置
CN109615610A (zh) * 2018-11-13 2019-04-12 浙江师范大学 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN109697420A (zh) * 2018-12-17 2019-04-30 长安大学 一种面向城市交通的移动目标检测及跟踪方法
CN109615858A (zh) * 2018-12-21 2019-04-12 深圳信路通智能技术有限公司 一种基于深度学习的智能停车行为判断方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597899A (zh) * 2020-04-16 2020-08-28 浙江工业大学 景区地面塑料瓶探测方法
CN111597899B (zh) * 2020-04-16 2023-08-11 浙江工业大学 景区地面塑料瓶探测方法
CN112289037A (zh) * 2020-10-29 2021-01-29 南通中铁华宇电气有限公司 基于复杂环境下高视角的机动车辆违规停车检测方法及系统
CN112289037B (zh) * 2020-10-29 2022-06-07 南通中铁华宇电气有限公司 基于复杂环境下高视角的机动车辆违规停车检测方法及系统
CN112767681A (zh) * 2020-12-16 2021-05-07 济南博观智能科技有限公司 一种交通状态检测方法、装置及相关设备
CN112991769A (zh) * 2021-02-03 2021-06-18 中科视语(北京)科技有限公司 基于视频的交通量调查方法和装置
CN112950954A (zh) * 2021-02-24 2021-06-11 电子科技大学 一种基于高位摄像头的智能停车车牌识别方法
CN112950954B (zh) * 2021-02-24 2022-05-20 电子科技大学 一种基于高位摄像头的智能停车车牌识别方法
CN112883904A (zh) * 2021-03-15 2021-06-01 珠海安联锐视科技股份有限公司 一种车辆违停占道检测方法
WO2022218011A1 (zh) * 2021-04-15 2022-10-20 北京百度网讯科技有限公司 交通异常检测方法、装置、设备、存储介质以及程序产品
CN112990159A (zh) * 2021-05-17 2021-06-18 清德智体（北京）科技有限公司 视频感兴趣片段截取方法、电子设备和存储介质
CN112990159B (zh) * 2021-05-17 2021-09-24 清德智体（北京）科技有限公司 视频感兴趣片段截取方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN110298307B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN110298307A (zh) 一种基于深度学习的异常停车实时检测方法
CN102511046B (zh) 使用近红外照相机对行人进行检测、分类并追踪的有成本效益的系统及方法
US11380105B2 (en) Identification and classification of traffic conflicts
CN110992693B (zh) 一种基于深度学习的交通拥堵程度多维度分析方法
CN110287905B (zh) 一种基于深度学习的交通拥堵区域实时检测方法
Ki et al. A traffic accident recording and reporting model at intersections
Omer et al. An automatic image recognition system for winter road surface condition classification
CN107301776A (zh) 基于视频检测技术的车道路况处理及发布方法
CN106652468A (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN106981202A (zh) 一种基于车道模型的车辆来回变道检测方法
CN106778593A (zh) 一种基于多地面标志融合的车道级定位方法
CN100454355C (zh) 实时采集道路车流量信息的视频方法
CN111027447B (zh) 一种基于深度学习的道路溢出实时检测方法
EP3751480A1 (en) System and method for detecting on-street parking violations
Chang et al. Video analytics in smart transportation for the AIC'18 challenge
Pan et al. Traffic surveillance system for vehicle flow detection
Borkar et al. An efficient method to generate ground truth for evaluating lane detection systems
CN113011331B (zh) 机动车是否礼让行人的检测方法、装置、电子设备及介质
CN110929676A (zh) 一种基于深度学习的违章掉头实时检测方法
CN114248819B (zh) 基于深度学习的铁路侵限异物无人机检测方法、装置及系统
CN116631187B (zh) 一种案件现场勘查信息智能采集分析系统
Al-Kadi et al. Road scene analysis for determination of road traffic density
Wang et al. Detection of lane lines on both sides of road based on monocular camera
CN104408942A (zh) 车辆智能测速装置与方法
CN114038209A (zh) 公交占道处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant