CN113408372A - 一种基于时空间特征的行人车辆异常行为检测方法 - Google Patents

一种基于时空间特征的行人车辆异常行为检测方法 Download PDF

Info

Publication number
CN113408372A
CN113408372A CN202110612396.5A CN202110612396A CN113408372A CN 113408372 A CN113408372 A CN 113408372A CN 202110612396 A CN202110612396 A CN 202110612396A CN 113408372 A CN113408372 A CN 113408372A
Authority
CN
China
Prior art keywords
abnormal
area
region
sample video
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110612396.5A
Other languages
English (en)
Other versions
CN113408372B (zh
Inventor
耿可可
孙宇啸
殷国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110612396.5A priority Critical patent/CN113408372B/zh
Publication of CN113408372A publication Critical patent/CN113408372A/zh
Application granted granted Critical
Publication of CN113408372B publication Critical patent/CN113408372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于时空间特征的行人车辆异常行为检测方法，包括以下步骤：步骤10)基于深度学习法，检测得到样品视频的第一异常区域和第一正常区域；步骤20)基于光流法，检测得到样品视频的第二异常区域和第二正常区域；步骤30)根据贝叶斯理论，结合第一异常区域、第一正常区域、第二异常区域和第二正常区域，得到样品视频的异常区域。本发明方法将基于深度学习方法检测得到的结果和基于光流法方法检测得到的结果，基于贝叶斯理论进行融合，既可弥补小样本数据时基于深度学习方法的表现不足的问题，又可弥补基于光流法针对弱运动目标敏感度不足的问题，从而在没有大样本数据支撑下，提高对异常行为的检测精度和性能。

Description

一种基于时空间特征的行人车辆异常行为检测方法
技术领域
本发明属于交通场景下异常行为检测技术领域，具体涉及一种基于时空间特征的行人车辆异常行为检测方法。
背景技术
随着现代社会的发展，汽车日益成为人类生活中不可分割的一部分，给人们的日常出行提供了极大的便利，但同时，随着汽车保有量和车流密度的不断增加，也带来了交通堵塞，交通安全事故频发等一系列问题。行人车辆异常行检测的提出，能够辅助驾驶员安全行驶，提醒行人避开异常行为区域，甚至针对自动驾驶车辆，与车辆控制系统相结合，自主规避异常区域，这对保证交通场景内的安全有着极大的助力。
目前，针对车辆行人异常行为检测的研究，基于深度学习的方法是国内外学者研究的主流趋势。卷积神经网络CNN具有强大的表征能力和较高的检测精度，但只能提取空间特征，因而常常与长短期记忆网络LSTM结合，以此提取时空间特征。如陈莹等提出一种基于卷积自编码网络和长短期记忆网络对视频帧编码、解码的检测方法。基于光流法的方法是以光流法提取视频帧的光流特征，并以此进行分类，得出异常行为区域。如N.Rasheed等利用LK光流法提取目标对象特征，并反馈到前馈神经网络上进行分类。
基于深度学习的方法因其具有强大的表征能力和较高的检测精度而被广泛应用，但是需要有大量的样本数据支撑。针对小样本数据，极易因为颜色亮度等参数的变化影响到对于异常行为的判断。而基于光流法的方法依靠前后两帧图像提取光流特征，对于弱运动的目标不够敏感，不如基于深度学习方法的鲁棒性好，但对普遍行为不需要大量样本数据支撑即可有较高的检测精度。基于深度学习的方法会随着样本数据的增加而表现的越来越好，但需要弥补前期小样本数据的不足。
发明内容
本发明所要解决的技术问题是：提供一种基于时空间特征的行人车辆异常行为检测方法，在小样本数据条件下具有较高的检测精度。
为解决上述技术问题，本发明提供一种基于时空间特征的行人车辆异常行为检测方法，包括以下步骤：
步骤10)基于深度学习法，检测得到样品视频的第一异常区域和第一正常区域；
步骤20)基于光流法，检测得到样品视频的第二异常区域和第二正常区域；
步骤30)根据贝叶斯理论，结合第一异常区域、第一正常区域、第二异常区域和第二正常区域，得到样品视频的异常区域。
作为本发明实施例的进一步改进，所述步骤30)具体包括：
步骤301)利用式(1)计算得到第一后验概率：
Figure BDA0003096405200000021
式中，p(Ad|o)表示第一后验概率，p(d)表示步骤10)检测出的第一异常区域的准确率，
Figure BDA0003096405200000022
nAd表示第二异常区域内的像素点落在第一异常区域内的个数，NAd表示第一异常区域内的像素点的总数，
Figure BDA0003096405200000031
nNd表示第二异常区域内的像素点落在第一正常区域内的个数；
步骤302)利用式(2)计算得到第二后验概率：
Figure BDA0003096405200000032
式中，p(Ao|d)表示第二后验概率，p(o)表示步骤20)检测出的第二异常区域的准确率，
Figure BDA0003096405200000033
nAo表示第一异常区域内的像素点落在第二异常区域内的个数，NAo表示第二异常区域内的像素点的总数，
Figure BDA0003096405200000034
nNo表示第一异常区域内的像素点落在第二正常区域内的个数；
步骤303)将第一后验概率作为第一异常区域内的像素点的权重，将第二后验概率作为第二异常区域内的像素点的权重，利用式(3)得到样品视频的异常区域：
Figure BDA0003096405200000035
式中，Af表示样品视频的异常区域，AAd表示第一异常区域，AAo表示第二异常区域。
作为本发明实施例的进一步改进，所述步骤10)具体包括：
步骤101)将连续的样品视频帧输入卷积神经网络模型，得到样品视频帧的初级预测结果；所述初级预测结果包括每帧图像中的特征向量及预测的初级区域信息，区域信息包括区域中心坐标、区域长宽、置信度和分类结果；
步骤102)将连续的样品视频帧的初级预测结果输入长短期记忆网络模型，得到样品视频帧的次级预测结果；所述次级预测结果包括每帧图像中预测的次级区域信息，区域信息包括区域中心坐标、区域长宽、置信度和分类结果；
步骤103)将次级预测结果中的分类结果均为异常的区域组成第一异常区域；图像中去除第一异常区域的其他所有区域组成第一正常区域。
作为本发明实施例的进一步改进，所述卷积神经网络模型采用Yolov3架构；将输入图像分别分成13×13、26×26和52×52个格子，每个格子设定3个预测框负责检测落入该格子的物体，获取物体中心坐标、预测框长宽和置信度；通过解码过程计算得出针对整个图像的3个预测框的信息，并根据得分，选出得分最高的预测框区域作为检测出的区域。
作为本发明实施例的进一步改进，卷积神经网络模型的损失函数由置信度误差、IOU误差和分类误差三部分组成，并利用随机梯度下降优化器进行更新优化。
作为本发明实施例的进一步改进，所述长短期记忆网络模型包括1个长短期记忆网络层和1个输出层；长短期记忆网络模型的损失函数由置信度误差、IOU误差和分类误差三部分组成，并利用随机梯度下降优化器进行更新优化。
作为本发明实施例的进一步改进，所述步骤20)具体包括：
步骤201)基于ViBe对样品视频逐帧进行前景提取，提取出动态区域；
步骤202)根据光流法计算动态区域的光流，并根据动态区域的光流特征进行分类，提取出样品视频的第二异常区域和第二正常区域。
作为本发明实施例的进一步改进，所述步骤202)具体包括：
利用式(4)计算动态区域内像素点的光流：
Ixu+Iyv＝-It
Figure BDA0003096405200000041
式中，ni表示预设窗口内的第i个像素点，Ix表示像素点对x方向的偏导，Iy表示像素点对y方向的偏导，It表示像素点对时间t的偏导，u表示像素点在x方向上的速度，v表示像素点在y方向上的速度；
将动态区域内的像素点的光流的均值作为动态区域的光流特征，在训练过程中，通过手工标记异常区域的方式，对视频帧中的每个动态区域赋予真实标签，并利用网格搜索法对光流模型自动调参；采用支持向量机SVM作为分类器，对动态区域进行标签预测，将标记为异常的动态区域总和作为第二异常区域，标记为正常的动态区域总和作为第二正常区域。
与现有技术相比，本发明的技术方案具有以下有益效果：本发明实施例提供的基于时空间特征的行人车辆异常行为检测方法，将基于深度学习方法检测得到的结果和基于光流法方法检测得到的结果，基于贝叶斯理论进行融合，既可弥补小样本数据时基于深度学习方法的表现不足的问题，又可弥补基于光流法针对弱运动目标敏感度不足的问题，从而在没有大样本数据支撑下，提高对异常行为的检测精度和性能。
附图说明
图1为本发明实施例的基于时空间特征的行人车辆异常行为检测方法的流程图；
图2为本发明实施例方法中长短期记忆网络的架构图；
图3(a)为本发明具体实施例中的原始图片，图3(b)为本发明具体实施例中对图3(a)基于ViBe提取出的动态区域的二值图。
具体实施方式
下面对本发明的技术方案进行详细的说明。
本发明实施例提供一种基于时空间特征的行人车辆异常行为检测方法，如图1所示，包括以下步骤：
步骤10)基于深度学习法，检测得到样品视频的第一异常区域和第一正常区域；
步骤20)基于光流法，检测得到样品视频的第二异常区域和第二正常区域；
步骤30)根据贝叶斯理论，结合第一异常区域、第一正常区域、第二异常区域和第二正常区域，得到样品视频的异常区域。
本发明实施例方法，将基于深度学习方法检测得到的结果和基于光流法方法检测得到的结果，基于贝叶斯理论进行融合，既可弥补小样本数据时基于深度学习方法的表现不足的问题，又可弥补基于光流法针对弱运动目标敏感度不足的问题，从而在没有大样本数据支撑下，提高对异常行为的检测精度和性能。
优选的，步骤30)具体包括：
步骤301)利用式(1)计算得到第一后验概率：
Figure BDA0003096405200000061
式中，p(Ad|o)表示第一后验概率，p(d)表示步骤10)检测出的第一异常区域的准确率，
Figure BDA0003096405200000062
nAd表示第二异常区域内的像素点落在第一异常区域内的个数，NAd表示第一异常区域内的像素点的总数，
Figure BDA0003096405200000063
nAd表示第二异常区域内的像素点落在第一正常区域内的个数。
步骤302)利用式(2)计算得到第二后验概率：
Figure BDA0003096405200000064
式中，p(Ao|d)表示第二后验概率，p(o)表示步骤20)检测出的第二异常区域的准确率，
Figure BDA0003096405200000071
nAo表示第一异常区域内的像素点落在第二异常区域内的个数，NAo表示第二异常区域内的像素点的总数，
Figure BDA0003096405200000072
nNo表示第一异常区域内的像素点落在第二正常区域内的个数。
步骤303)将第一后验概率作为第一异常区域内的像素点的权重，将第二后验概率作为第二异常区域内的像素点的权重，利用式(3)得到融合后区域，将融合后区域作为样品视频的异常区域。
Figure BDA0003096405200000073
式中，Af表示融合后区域，AAd表示第一异常区域，AAo表示第二异常区域。
若第一后验概率较大，则选用第一异常区域作为融合后的区域；若第一后验概率较小，选用第二异常区域作为融合后的区域。
与传统方法相比，贝叶斯理论以具有主观性的先验概率入手，并可以不断修正概率，使得准确率得到较大提升。采用贝叶斯理论进行区域融合，将后验概率作为区域检测准确率的权重，可以提高融合后区域的检测精度。
基于深度学习方法的检测具有较好的检测精度和鲁棒性，但依赖于大量的样本数据。在实际中通常较难获取大量的、具有针对性的样本，不得不采用较少的样本数据进行训练，由此极易产生同一类异常行为因为亮度等参数的变化而漏检的问题。而基于光流法的方法对于普遍行为不需要大量数据的支撑即可有较好的表现，针对速度引发的异常行为如急刹车等有较好的检测效果，但随着样本数据的不断积累，其检测精度通常都低于深度学习的方法。采用贝叶斯理论进行融合，无疑可以在小样本数据时弥补深度学习方法的不足；在大样本数据时能具有较高的检测精度。
优选的，步骤10)具体包括：
步骤101)将连续的样品视频帧输入卷积神经网络模型，得到样品视频帧的初级预测结果。初级预测结果包括每帧图像中的特征向量及预测的初级区域信息，区域信息包括区域中心坐标、区域长宽、置信度和分类结果。
步骤102)将连续的样品视频帧的初级预测结果输入长短期记忆网络模型，得到样品视频帧的次级预测结果。次级预测结果包括每帧图像中预测的次级区域信息，区域信息包括区域中心坐标、区域长宽、置信度和分类结果。
步骤103)将次级预测结果中的分类结果均为异常的区域组成第一异常区域，图像中去除第一异常区域的其他所有区域组成第一正常区域。
本发明实施例方法利用卷积神经网络模型仅能提取图像中的空间特征来检测异常行为区域，缺少时间上的联系。通过与LSTM相结合，建立起帧与帧之间的联系，筛选保留之前帧中的信息，有利于对异常行为区域的追踪检测。
进一步，卷积神经网络模型采用Yolov3架构。将输入图像分别分成13×13、26×26和52×52个格子，每个格子设定3个预测框负责检测落入该格子的物体，获取物体中心坐标、预测框长宽和置信度。通过解码过程计算得出针对整个图像的3个预测框的信息，并根据得分，选出得分最高的预测框区域作为检测出的区域。
进一步，卷积神经网络模型的损失函数由置信度误差、IOU误差和分类误差三部分组成，并利用随机梯度下降优化器进行更新优化。
本发明实施例方法采用Yolov3架构的卷积神经网络模型，与RCNN系列和SSD相比，具有更快的检测速度和较低的背景误检率。YOLOv3网络模型设计了3种不同尺寸的网格划分，有利于提高对不同尺寸大小的目标区域的检测精度。
优选的，如图2所示，长短期记忆网络模型包括1个长短期记忆网络层和1个输出层。长短期记忆网络模型的损失函数由置信度误差、IOU误差和分类误差三部分组成，并利用随机梯度下降优化器进行更新优化。
若采用基于Deep Sort的方法，建立起的时间上的联系是相邻帧之间的，无法保留先前相隔较远的图像帧中的信息。本发明实施例方法采用LSTM网络可保留间隔时间较远的图像帧信息，能够更好地对检测区域进行追踪预测。
优选的，步骤20)具体包括：
步骤201)基于ViBe对样品视频逐帧进行前景提取，提取出动态区域。
具体的，针对视频帧中的每一个像素点，都会储存一个样本集，该样本集为该像素点过去的像素值和与其相邻点的像素值。针对视频帧中每一个像素点新的像素值，都会与其样本集进行比较判断该像素点是否为背景点，以此提取动态区域。例如，原始图如图3(a)所示，基于ViBe提取出动态区域的灰值图如图3(b)所示。
步骤202)根据光流法计算动态区域的光流，并根据动态区域的光流特征进行分类，提取出样品视频的第二异常区域和第二正常区域。
进一步，所述步骤202)具体包括：
利用式(3)计算动态区域内像素点的光流：
Ixu+Iyv＝-It
Figure BDA0003096405200000091
式中，ni表示预设窗口内的第i个像素点，Ix表示像素点对x方向的偏导，Iy表示像素点对y方向的偏导，It表示像素点对时间t的偏导，u表示像素点在x方向上的速度，v表示像素点在y方向上的速度。
将视频帧分成若干小部分，并假设这些小部分内保持相同的瞬时速度，则对于给定大小的窗口，可得：
Figure BDA0003096405200000101
以此可解得该区域的光流。
将动态区域内的像素点的光流的均值作为动态区域的光流特征，在训练过程中，通过手工标记异常区域的方式，对视频帧中的每个动态区域赋予真实标签，并利用网格搜索法对光流模型自动调参；采用支持向量机SVM作为分类器，对动态区域进行标签预测，将标记为异常的动态区域总和作为第二异常区域，标记为正常的动态区域总和作为第二正常区域。
较为常见的前景提取方法有帧差法、光流法等。帧差法提取的动态目标极易出现内部区域出现空洞的问题，即仅检测出运动物体的轮廓；光流法提取动态目标时易受噪声和遮挡的影响，造成的误差较大。本发明实施例方法采用ViBe具有较好的检测效果，检测速度较快，对噪声也具有一定的鲁棒性。
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。

Claims (8)

1.一种基于时空间特征的行人车辆异常行为检测方法，其特征在于，包括以下步骤：
步骤10)基于深度学习法，检测得到样品视频的第一异常区域和第一正常区域；
步骤20)基于光流法，检测得到样品视频的第二异常区域和第二正常区域；
步骤30)根据贝叶斯理论，结合第一异常区域、第一正常区域、第二异常区域和第二正常区域，得到样品视频的异常区域。
2.根据权利要求1所述的基于时空间特征的行人车辆异常行为检测方法，其特征在于，所述步骤30)具体包括：
步骤301)利用式(1)计算得到第一后验概率：
Figure FDA0003096405190000011
式中，p(Ad|o)表示第一后验概率，p(d)表示步骤10)检测出的第一异常区域的准确率，
Figure FDA0003096405190000012
nAd表示第二异常区域内的像素点落在第一异常区域内的个数，NAd表示第一异常区域内的像素点的总数，
Figure FDA0003096405190000013
nNd表示第二异常区域内的像素点落在第一正常区域内的个数；
步骤302)利用式(2)计算得到第二后验概率：
Figure FDA0003096405190000014
式中，p(Ao|d)表示第二后验概率，p(o)表示步骤20)检测出的第二异常区域的准确率，
Figure FDA0003096405190000015
nAo表示第一异常区域内的像素点落在第二异常区域内的个数，NAo表示第二异常区域内的像素点的总数，
Figure FDA0003096405190000016
nNo表示第一异常区域内的像素点落在第二正常区域内的个数；
步骤303)将第一后验概率作为第一异常区域内的像素点的权重，将第二后验概率作为第二异常区域内的像素点的权重，利用式(3)得到样品视频的异常区域：
Figure FDA0003096405190000021
式中，Af表示样品视频的异常区域，AAd表示第一异常区域，AAo表示第二异常区域。
3.根据权利要求1所述的基于时空间特征的行人车辆异常行为检测方法，其特征在于，所述步骤10)具体包括：
步骤101)将连续的样品视频帧输入卷积神经网络模型，得到样品视频帧的初级预测结果；所述初级预测结果包括每帧图像中的特征向量及预测的初级区域信息，区域信息包括区域中心坐标、区域长宽、置信度和分类结果；
步骤102)将连续的样品视频帧的初级预测结果输入长短期记忆网络模型，得到样品视频帧的次级预测结果；所述次级预测结果包括每帧图像中预测的次级区域信息，区域信息包括区域中心坐标、区域长宽、置信度和分类结果；
步骤103)将次级预测结果中的分类结果均为异常的区域组成第一异常区域；图像中去除第一异常区域的其他所有区域组成第一正常区域。
4.根据权利要求3所述的基于时空间特征的行人车辆异常行为检测方法，其特征在于，所述卷积神经网络模型采用Yolov3架构；将输入图像分别分成13×13、26×26和52×52个格子，每个格子设定3个预测框负责检测落入该格子的物体，获取物体中心坐标、预测框长宽和置信度；通过解码过程计算得出针对整个图像的3个预测框的信息，并根据得分，选出得分最高的预测框区域作为检测出的区域。
5.根据权利要求4所述的基于时空间特征的行人车辆异常行为检测方法，其特征在于，卷积神经网络模型的损失函数由置信度误差、IOU误差和分类误差三部分组成，并利用随机梯度下降优化器进行更新优化。
6.根据权利要求3所述的基于时空间特征的行人车辆异常行为检测方法，其特征在于，所述长短期记忆网络模型包括1个长短期记忆网络层和1个输出层；长短期记忆网络模型的损失函数由置信度误差、IOU误差和分类误差三部分组成，并利用随机梯度下降优化器进行更新优化。
7.根据权利要求1所述的基于时空间特征的行人车辆异常行为检测方法，其特征在于，所述步骤20)具体包括：
步骤201)基于ViBe对样品视频逐帧进行前景提取，提取出动态区域；
步骤202)根据光流法计算动态区域的光流，并根据动态区域的光流特征进行分类，提取出样品视频的第二异常区域和第二正常区域。
8.根据权利要求7所述的基于时空间特征的行人车辆异常行为检测方法，其特征在于，所述步骤202)具体包括：
利用式(4)计算动态区域内像素点的光流：
Ixu+Iyv＝-It
Figure FDA0003096405190000031
式中，ni表示预设窗口内的第i个像素点，Ix表示像素点对x方向的偏导，Iy表示像素点对y方向的偏导，It表示像素点对时间t的偏导，u表示像素点在x方向上的速度，v表示像素点在y方向上的速度；
将动态区域内的像素点的光流的均值作为动态区域的光流特征，在训练过程中，通过手工标记异常区域的方式，对视频帧中的每个动态区域赋予真实标签，并利用网格搜索法对光流模型自动调参；采用支持向量机SVM作为分类器，对动态区域进行标签预测，将标记为异常的动态区域总和作为第二异常区域，标记为正常的动态区域总和作为第二正常区域。
CN202110612396.5A 2021-06-02 2021-06-02 一种基于时空间特征的行人车辆异常行为检测方法 Active CN113408372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110612396.5A CN113408372B (zh) 2021-06-02 2021-06-02 一种基于时空间特征的行人车辆异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110612396.5A CN113408372B (zh) 2021-06-02 2021-06-02 一种基于时空间特征的行人车辆异常行为检测方法

Publications (2)

Publication Number Publication Date
CN113408372A true CN113408372A (zh) 2021-09-17
CN113408372B CN113408372B (zh) 2024-05-24

Family

ID=77675801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110612396.5A Active CN113408372B (zh) 2021-06-02 2021-06-02 一种基于时空间特征的行人车辆异常行为检测方法

Country Status (1)

Country Link
CN (1) CN113408372B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680614A (zh) * 2020-06-03 2020-09-18 安徽大学 一种基于视频监控中的异常行为检测方法
US10850693B1 (en) * 2018-04-05 2020-12-01 Ambarella International Lp Determining comfort settings in vehicles using computer vision
CN112597877A (zh) * 2020-12-21 2021-04-02 中船重工(武汉)凌久高科有限公司 一种基于深度学习的厂区人员异常行为检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10850693B1 (en) * 2018-04-05 2020-12-01 Ambarella International Lp Determining comfort settings in vehicles using computer vision
CN111680614A (zh) * 2020-06-03 2020-09-18 安徽大学 一种基于视频监控中的异常行为检测方法
CN112597877A (zh) * 2020-12-21 2021-04-02 中船重工(武汉)凌久高科有限公司 一种基于深度学习的厂区人员异常行为检测方法

Also Published As

Publication number Publication date
CN113408372B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN109447018B (zh) 一种基于改进Faster R-CNN的道路环境视觉感知方法
US10223597B2 (en) Method and system for calculating passenger crowdedness degree
CN107766821B (zh) 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统
CN105744232A (zh) 一种基于行为分析技术的输电线路视频防外破的方法
US10878259B2 (en) Vehicle detecting method, nighttime vehicle detecting method based on dynamic light intensity and system thereof
CN105512720A (zh) 一种公交车辆客流统计方法和系统
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN112633149B (zh) 一种域自适应雾天图像目标检测方法和装置
CN104978567A (zh) 基于场景分类的车辆检测方法
CN103810703B (zh) 一种基于图像处理的隧道视频运动目标检测方法
CN115376108A (zh) 一种复杂天气下障碍物检测方法及装置
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
CN112307840A (zh) 指示灯检测方法、装置、设备及计算机可读存储介质
CN111695545A (zh) 一种基于多目标追踪的单车道逆行检测方法
JP7125843B2 (ja) 障害検知システム
CN114821441A (zh) 联合ads-b信息的基于深度学习的机场场面运动目标识别方法
CN113392817A (zh) 一种基于多列卷积神经网络的车辆密度估计的方法及装置
CN108960181B (zh) 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法
CN113408372B (zh) 一种基于时空间特征的行人车辆异常行为检测方法
CN114998689B (zh) 一种轨道数据集的生成方法、轨道识别方法和系统
CN110428443A (zh) 一种智慧社区车辆轨迹跟踪方法
Mo et al. Research on expressway traffic event detection at night based on Mask-SpyNet
Joshi et al. Flow analysis of vehicles on a lane using deep learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant