CN110276398A - 一种视频异常行为自动判断方法 - Google Patents

一种视频异常行为自动判断方法 Download PDF

Info

Publication number
CN110276398A
CN110276398A CN201910548160.2A CN201910548160A CN110276398A CN 110276398 A CN110276398 A CN 110276398A CN 201910548160 A CN201910548160 A CN 201910548160A CN 110276398 A CN110276398 A CN 110276398A
Authority
CN
China
Prior art keywords
video
frame
abnormal behaviour
judging method
automatic judging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910548160.2A
Other languages
English (en)
Inventor
曹源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dipu Technology Co Ltd
Original Assignee
Beijing Dipu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dipu Technology Co Ltd filed Critical Beijing Dipu Technology Co Ltd
Priority to CN201910548160.2A priority Critical patent/CN110276398A/zh
Publication of CN110276398A publication Critical patent/CN110276398A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种视频异常行为自动判断方法。所述方法是对运输车辆的车载视频进行帧提取，获取比较帧。通过比较帧的差分运算，筛选出异常行为帧，进而对违规行为进行筛查，特别适用于运输车的车载视频异常行为分析。本发明误检率低、筛选速度快、对硬件资源要求低。

Description

一种视频异常行为自动判断方法
技术领域
本发明涉及视频处理技术领域，特别是一种视频异常行为自动判断方法。
背景技术
随着社会经济快速发展，智能交通系统在人类经济、社会活动中的地位显著提升。车辆的异常行为监测作为智能交通系统的核心内容，对人们的日常生活、社会进步和经济的发展影响深远。目前，运输车辆普遍安装有车载视频监控系统车载视频的异常行为核查模型误检率较高(约为10％)。而且内存硬件资源需求过高：当单个视频超过50分钟极其以上，算法程序占用内存需要达到16G才可流畅运行。
如果能提供误检率低，且对硬件要求低的技术方案，将是十分有意义的。
发明内容
为达到上述目的，本发明提供了一种视频异常行为自动判断方法，包括如下步骤：
S1：预先确定对原始视频进行帧提取周期及不同的提取起始时间；
S2：获取比较帧；所述比较帧包括获得从X时刻开始提取的原始帧序列L1以及，从X+j时刻开始提取出来的的原始帧序列L2；j为L1、L2提取起始时间的差值；
S3：对L1、L2中排序相同的帧进行差分运算，得到差异帧序列L3；
S4：将L1和L3作为数据，使用基于卷积神经网络的深度学习分类器，训练出拥有自适应调整阈值Y能力的模型M；
S5：利用M，将待检测视频作为原始视频，重复步骤S1～S3，将获取到的差异帧序列L3中所有对象作为输入值依次送入M进行运算，获取各个对象对应的概率值；当概率值大于对应阈值Y时，则判断为异常，获取原始视频对应的时间点；
S5：根据对应的时间点截取对应的视频片段。
进一步的，S3中进行差分运算的具体方法为：
获取帧序列L1、L2的各帧图像的灰度值矩阵，矩阵的各元素为图像对应位置的像素点的灰度值；
利用灰度值矩阵做相减运算，得到差异帧序列L3。
进一步的，将灰度值矩阵转化为单行或者单列数组后将两列数组进行相减运算，运算结果取绝对值，得到差异帧序列L3。
进一步的，S1中，帧提取周期为0.5秒。
进一步的，S2中，X时刻为原始视频从头开始播放的时刻。
进一步的，S2中，j的值等于帧提取周期。
进一步的，在获取M时，由人工对异常行为对应的图像和正常行为对应的图像进行筛选后，将实际产生异常行为对应的差异帧数的图像数据、正常行为对应的图像数据作为训练数据。
进一步的，训练数据被投入到基于CNN的DEEPEXI-VIDEO-CLASSIFI CATION进行迭代训练
本发明的有益效果为：
1.误检率低。对于现有的100小时验证视频来说，异常行为(如遮挡，摄像头翻转)漏检率小于0.5％。
2.筛选速度快。以1小时的视频流为例，只需要5分钟就可以完成初步筛选。
3.对硬件资源要求低。算法程序占用内存低，运行流畅。
附图说明
图1为本发明所述方法的流程图。
具体实施方式
本发明提供了一种视频异常行为自动判断方法。
本发明的设计构思为：对运输车辆的车载视频进行帧提取，获取比较帧。通过比较帧的差分运算，筛选出异常行为帧，进而对违规行为进行筛查。本发明特别适用于运输车的车载视频异常行为分析。所述异常行为包括但不限于视频遮挡，视频翻转、预警区域有人等。
后面所述的原始视频都可以泛指为运输车辆的车载视频。
下面对本发明进行更加详细的说明。
如图1所示，视频信号图像处理方法包括如下步骤：
S1：预先确定对原始视频进行帧提取周期及不同的提取起始时间。
周期应该为一个定值，如0.5秒，即一秒提取2帧。具体取值可根据实际情况确定，使其既不遗漏重要帧，且不因为帧过多而影响计算速率。
不同帧序列提取起始时间应不同。如一个10秒的视频，某次提取从0.0秒开始进行提取第一帧，而另一次则可从0.5秒开始提取第一帧。
用作差分运算的帧序列的提取起始时间差值不宜过大，以一个帧提取周期为最优，这样就不会存在间隔过大，关键内容遗失的情况，降低误检率。
S2：获取比较帧；所述比较帧包括获得从X时刻开始提取的原始帧序列L1以及，从X+j时刻开始提取出来的的原始帧序列L2；j为L1、L2提取起始时间的差值。
X可以为0.0秒，即视频开始播放的时间。j可以为一个帧提取周期，如0.5秒。
S3：对L1、L2中排序相同的帧进行差分运算，得到差异帧序列L3。
进行差分运算的具体过程为：
步骤一：获取帧序列L1、L2中各帧图像对应的灰度值矩阵，矩阵的各元素为图像对应位置的像素点的灰度值。
步骤二：将两个灰度值矩阵转化为单行或者单列数组。转化为单行数组时，是将第2行至最后一行的元素依次排列到第一行元素的后面。转化为单列数组时，是将第2列至最后一列的元素依次排列到第一列元素的后面。
步骤三：将两个数组进行相减操作，对所得结果取绝对值，得到差异帧序列L3。
本实施例并不严格限制相减操作是L1-L2或者L2-L1。需要说明的是，L1排序靠后的帧会在L2中无对应序号帧，应丢弃不进行计算。如L1与L2提取起始时间差一个帧提取周期时，L1会比L2多一个帧，则该帧就可被丢弃，不参与计算。
S4：将L1和L3作为训练数据，使用基于卷积神经网络的深度学习分类器，训练出拥有自适应调整阈值Y能力的模型M；
本实施例的模型M是选取大量类似L1、L3这样的帧序列，及基于正常行为对应帧的图像数据和异常行为对应帧的图像数据作为训练数据。在训练前经人工筛选出异常行为、正常行为，并进行分类。
训练数据被投入到基于CNN的DEEPEXI-VIDEO-CLASSIFI CATION进行迭代训练，最终得到上述提到的模型M。自适应调整阈值时指在对应不同的场景图像下自适应设置阈值，以能够判断出异常行为，阈值还可以人工调整，并且模型M可以实时响应。M还能计算出数组中对象是异常行为的概率值，将该概率值与对应自适应阈值进行比较。
S5：利用M，将待检测视频作为原始视频，重复步骤S1～S3，将获取到的差异帧序列L3中所有对象作为输入值依次送入模型M进行运算，获取各个对象对应的概率值；当概率值大于对应阈值Y时，则获取原始视频对应的时间点。所述概率值是指为异常行为的概率值。
得到M后，通过集成部署，能够对任意视频流文件或者视频流直接进行分析检测，对异常行为进行初步筛选。初步筛选结果可以用于实时监控预警、异常行为分析等一系列分析行为的预处理手段。
S5：根据对应的时间点截取对应视频片段。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种视频异常行为自动判断方法，其特征在于，包括如下步骤：
S1：预先确定对原始视频进行帧提取周期及提取起始时间；
S2：获取比较帧；所述比较帧包括获得从X时刻开始提取的原始帧序列L1以及，从X+j时刻开始提取出来的的原始帧序列L2；j为L1、L2提取起始时间的差值；
S3：对L1、L2中排序序号相同的帧进行差分运算，得到差异帧序列L3；
S4：将L1和L3作为训练数据，使用基于卷积神经网络的深度学习分类器，训练出拥有自适应调整阈值Y能力的模型M；
S5：利用M，将待检测视频作为原始视频，重复步骤S1～S3，将获取到的差异帧序列L3中所有对象作为输入值依次送入模型M进行运算，获取各个对象对应的概率值；当概率值大于对应阈值Y时，则判断为异常，获取原始视频对应的时间点；
S5：根据对应的时间点截取原始视频中对应的视频片段。
2.如权利要求1所述的视频异常行为自动判断方法，其特征在于，S3中进行差分运算的具体方法为：
获取帧序列L1、L2的各帧图像的灰度值矩阵，灰度值矩阵的各元素为图像对应位置的像素点的灰度值；
利用灰度值矩阵做相减运算，得到差异帧序列L3。
3.如权利要求2所述的视频异常行为自动判断方法，其特征在于，将灰度值矩阵转化为单行或者单列数组后将两列数组进行相减运算，运算结果取绝对值，得到差异帧序列L3。
4.如权利要求1或2或3所述的视频异常行为自动判断方法，其特征在于，S1中，帧提取周期为0.5秒。
5.如权利要求1或2或3所述的视频异常行为自动判断方法，其特征在于，S2中，X时刻为原始视频从头开始播放的时刻。
6.如权利要求1或2或3所述的视频异常行为自动判断方法，其特征在于，S2中，j的值等于帧提取周期。
7.如权利要求1或2所述的视频异常行为自动判断方法，其特征在于，S4中，在获取M时，由人工对异常行为对应的图像和正常行为对应的图像进行筛选后，将实际产生异常行为对应的差异帧数的图像数据、正常行为对应的图像数据作为训练数据。
8.如权利要求7所述的视频异常行为自动判断方法，其特征在于，S4中，训练数据被投入到基于CNN的DEEPEXI-VIDEO-CLASSIFI CATION进行迭代训练。
CN201910548160.2A 2019-06-21 2019-06-21 一种视频异常行为自动判断方法 Pending CN110276398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910548160.2A CN110276398A (zh) 2019-06-21 2019-06-21 一种视频异常行为自动判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910548160.2A CN110276398A (zh) 2019-06-21 2019-06-21 一种视频异常行为自动判断方法

Publications (1)

Publication Number Publication Date
CN110276398A true CN110276398A (zh) 2019-09-24

Family

ID=67961590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910548160.2A Pending CN110276398A (zh) 2019-06-21 2019-06-21 一种视频异常行为自动判断方法

Country Status (1)

Country Link
CN (1) CN110276398A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796098A (zh) * 2019-10-31 2020-02-14 广州市网星信息技术有限公司 内容审核模型的训练及审核方法、装置、设备和存储介质
CN111582235A (zh) * 2020-05-26 2020-08-25 瑞纳智能设备股份有限公司 用于实时监控站内异常事件的警报方法、系统及设备
CN113076935A (zh) * 2021-04-29 2021-07-06 平安国际智慧城市科技股份有限公司 基于图像识别的监管方法、相关设备及存储介质
CN116450880A (zh) * 2023-05-11 2023-07-18 湖南承希科技有限公司 一种语义检测的车载视频智能处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123975A1 (en) * 2004-09-08 2008-05-29 Nobuyuki Otsu Abnormal Action Detector and Abnormal Action Detecting Method
CN102663452A (zh) * 2012-04-14 2012-09-12 中国人民解放军国防科学技术大学 基于视频分析的可疑行为检测方法
CN107832708A (zh) * 2017-11-09 2018-03-23 云丁网络技术(北京)有限公司 一种人体动作识别方法及装置
CN109145841A (zh) * 2018-08-29 2019-01-04 武汉大学 一种基于视频监控的异常事件的检测方法及装置
CN109284705A (zh) * 2018-09-07 2019-01-29 电子科技大学 一种交通监控视频的异常检测方法
CN109446920A (zh) * 2018-09-30 2019-03-08 南京地铁集团有限公司 基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123975A1 (en) * 2004-09-08 2008-05-29 Nobuyuki Otsu Abnormal Action Detector and Abnormal Action Detecting Method
CN102663452A (zh) * 2012-04-14 2012-09-12 中国人民解放军国防科学技术大学 基于视频分析的可疑行为检测方法
CN107832708A (zh) * 2017-11-09 2018-03-23 云丁网络技术(北京)有限公司 一种人体动作识别方法及装置
CN109145841A (zh) * 2018-08-29 2019-01-04 武汉大学 一种基于视频监控的异常事件的检测方法及装置
CN109284705A (zh) * 2018-09-07 2019-01-29 电子科技大学 一种交通监控视频的异常检测方法
CN109446920A (zh) * 2018-09-30 2019-03-08 南京地铁集团有限公司 基于卷积神经网络的城市轨道交通乘客拥挤程度检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩冰 等: "《数字音视频处理》", 31 October 2018, 西安电子科技大学出版社 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796098A (zh) * 2019-10-31 2020-02-14 广州市网星信息技术有限公司 内容审核模型的训练及审核方法、装置、设备和存储介质
CN111582235A (zh) * 2020-05-26 2020-08-25 瑞纳智能设备股份有限公司 用于实时监控站内异常事件的警报方法、系统及设备
CN111582235B (zh) * 2020-05-26 2023-04-07 瑞纳智能设备股份有限公司 用于实时监控站内异常事件的警报方法、系统及设备
CN113076935A (zh) * 2021-04-29 2021-07-06 平安国际智慧城市科技股份有限公司 基于图像识别的监管方法、相关设备及存储介质
CN113076935B (zh) * 2021-04-29 2024-06-11 平安国际智慧城市科技股份有限公司 基于图像识别的监管方法、装置、服务器及介质
CN116450880A (zh) * 2023-05-11 2023-07-18 湖南承希科技有限公司 一种语义检测的车载视频智能处理方法
CN116450880B (zh) * 2023-05-11 2023-09-01 湖南承希科技有限公司 一种语义检测的车载视频智能处理方法

Similar Documents

Publication Publication Date Title
CN110276398A (zh) 一种视频异常行为自动判断方法
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
CN108446678B (zh) 一种基于骨骼特征的危险驾驶行为识别方法
CN110378233B (zh) 一种基于人群行为先验知识的双分支异常检测方法
CN111860457A (zh) 一种斗殴行为识别预警方法及其识别预警系统
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN112541393A (zh) 一种基于深度学习的变电站人员检测方法及装置
CN113033310A (zh) 一种基于视觉自注意力网络的表情识别方法
CN112489368A (zh) 智能跌倒识别与检测报警方法及系统
CN104144328A (zh) 一种智能视频监控方法
CN111488850A (zh) 一种基于神经网络的老年人跌倒检测方法
CN110070027A (zh) 基于智能物联网系统的行人重识别方法
CN115690730A (zh) 基于单分类和异常生成的高铁接触网异物检测方法及系统
CN113887489A (zh) 基于位置增强和多尺度融合网络的车厢内人群计数方法
CN115410119A (zh) 一种基于训练样本自适应生成的剧烈运动检测方法及系统
CN115311111A (zh) 课堂参与度评价方法及系统
CN114299473A (zh) 一种基于多源信息融合的驾驶员行为识别方法
EP1908016A1 (en) Event detection method and video surveillance system using said method
CN115546875B (zh) 基于多任务的座舱内行为检测方法、装置以及设备
CN110991243A (zh) 一种基于颜色通道hsv结合卷积神经网络的秸秆燃烧识别方法
CN108960181A (zh) 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法
CN114821760B (zh) 一种基于双流时空自动编码机的人体异常行为检测方法
CN114120291A (zh) 公交驾驶员行为识别方法及公交驾驶员行为监测系统
CN114092844A (zh) 一种基于生成对抗网络的多波段图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190924