CN114639046A - 一种基于时间序列检测的打斗行为识别方法 - Google Patents

一种基于时间序列检测的打斗行为识别方法 Download PDF

Info

Publication number
CN114639046A
CN114639046A CN202210270729.5A CN202210270729A CN114639046A CN 114639046 A CN114639046 A CN 114639046A CN 202210270729 A CN202210270729 A CN 202210270729A CN 114639046 A CN114639046 A CN 114639046A
Authority
CN
China
Prior art keywords
video
fighting
fighting behavior
behavior
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210270729.5A
Other languages
English (en)
Inventor
尹杨
韩国权
曹扬
闫盈盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC Big Data Research Institute Co Ltd
Original Assignee
CETC Big Data Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC Big Data Research Institute Co Ltd filed Critical CETC Big Data Research Institute Co Ltd
Priority to CN202210270729.5A priority Critical patent/CN114639046A/zh
Publication of CN114639046A publication Critical patent/CN114639046A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于时间序列检测的打斗行为识别方法，包括以下步骤：输入视频数据及行为发生时间段‑视频数据预处理‑获取打斗行为识别模型‑打斗行为视频截取。本发明将视频按帧处理成RGB图像，封装成.pkl文件作为深度神经网络的输入，可以节约大量的数据读取时间；对提取的特征进行编码，使得网络能够获得时间序列动作的全局时间信息；采用Faster RCNN目标检测实现了基于深度学习的视频识别和检测的端到端学习，进一步提高了网络的运行速度，并且有效保证了动作定位和分类的准确度。

Description

一种基于时间序列检测的打斗行为识别方法
技术领域
本发明涉及一种基于时间序列检测的打斗行为识别方法，属于计算机视觉技术领域。
背景技术
监狱是对监控系统防护等级要求极高的场所，安全与稳定是监狱工作的第一任务。一直以来，监狱安防工作只起到了监控、控制等作用，对潜在的安全威胁、突发事件无法起到很好的预防作用，现有的被动式人工监控这一传统模式已经无法满足新形式下的监管工作需求。为预防打斗等此类安全事件的发生，提升对犯人的有效管理，基于深度学习的视频智能分析对于提升监狱安防管理智能化、现代化、信息化等方面具有重要意义。
基于时间序列检测的视频打斗行为识别利用深度学习完成视频内容分类与动作定位，不仅能对视频内容进行分类(发生了打斗行为或者未发生打斗行为)，而且能对发生打斗行为的时间段进行定位，即打斗开始时间与打斗结束时间，从发生打斗行为的视频中截取出行为发生的片段且保存到本地，以供相关工作人员进一步查证和判断，有效避免了人工分类和定位的错误，大大降低了工作的时间成本与人力成本。
现有的打斗行为识别方法在不同应用场景下先后取得了较为理想的结果，但同时存在一些问题，例如：现存的针对打斗行为的识别上，研究者们均使用了比较传统的分类方法，且识别结果欠佳。除此之外，现有的时序行为检测方法不能同时兼顾特征提取时间与实现端到端检测，也不能获取全局信息，因此存在检测准确度低、运行速度慢的问题。
综上所述，基于深度学习算法，如何在公开数据资源开发利用场景下设计一个打斗行为识别方法，在保障较快推理速度的情况下依旧能准确识别视频中是否存在打斗行为并精准的定位到行为发生片段，将打斗片段裁剪然后保存到视频库是一个亟待解决的问题。
发明内容
为解决上述技术问题，本发明提供了一种基于时间序列检测的打斗行为识别方法。
本发明通过以下技术方案得以实现。
本发明提供的一种基于时间序列检测的打斗行为识别方法，包括以下步骤：
①输入视频数据及行为发生时间段：输入待识别含有打斗行为的视频作为处理对象，同时传入打斗行为发生时间段；
②视频数据预处理：将输入视频数据转化成帧数据，并统一格式和大小，获取视频帧；
③获取打斗行为识别模型：获取打斗行为发生时间段的视频帧，通过深度学习模型识别出视频帧中的打斗行为，生成打斗行为识别模型；
④打斗行为视频截取：将待识别的视频数据输入打斗行为识别模型，从待识别的视频数据中截取对应的片段保存到本地识别视频库。
所述步骤①中，视频格式应为.mp4或.avi。
所述步骤①中，打斗行为发生时间段为打斗行为发生的起始时间和结束时间。
所述步骤②具体分为以下步骤：
(2.1)将输入视频数据按照fps＝25转化成帧数据，以.jpg图像格式存放，并将所有图像通道统一为RGB格式，获取帧图像；
(2.2)将帧图像统一缩放成(171,128)的大小；
(2.3)将帧图像按照5:1的比例分割成训练集和验证集，并结合标注本文封装成.pkl格式。
所述步骤③分为以下步骤：
(3.1)基于R-C3D，在视频行为识别数据集上进行预训练，获取识别模型；
(3.2)通过迁移学习，将步骤(2.3)中的训练集数据作为共享三维特征提取模块输入，计算卷积特征；
(3.3)将卷积特征输入时序提取模块，获取长度可变候选区域和对应的置信度；
(3.4)将长度可变候选区域和对应的置信度输入识别模型，通过非极大抑制算法进一步分类行为类别和定位行为发生时间段，完成模型迭代微调，获取打斗行为识别模型；
(3.5)在打斗行为识别模型中输入步骤(2.3)中的验证集数据，假设某个待检测视频中实际存在M个打斗片段，打斗行为识别模型检测到N个打斗片段，且每个片段均对应1个分类预测置信度，将N个置信度降序排列，选出top I个打斗行为片段，其中I≤N，然后输出I个打斗行为片段中每个片段所对应的原始视频文件名、打斗行为发生时间段与分类预测置信度。
所述步骤④中，所述步骤④中，读取步骤(3.5)的检测结果，从视频中截取对应的片段保存到本地识别视频库。
本发明的有益效果在于：将视频按帧处理成RGB图像，封装成.pkl文件作为深度神经网络的输入，可以节约大量的数据读取时间；对提取的特征进行编码，使得网络能够获得时间序列动作的全局时间信息；采用Faster RCNN目标检测实现了基于深度学习的视频识别和检测的端到端学习，进一步提高了网络的运行速度，并且有效保证了动作定位和分类的准确度。
附图说明
图1是本发明的流程图。
具体实施方式
下面进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。
如图1所示，本发明主要通过基于R-C3D网络的端到端视频时间序列检测实现了监控视频打斗行为识别，具体包括以下步骤：
①输入视频数据及行为发生时间段：输入待识别含有打斗行为的视频作为处理对象，同时传入打斗行为发生时间段；
②视频数据预处理：输入的原始视频数据存在尺寸不一致等问题，为了使深度神经网络能够更好的提取特征信息，需要预先做以下数据预处理操作，即将输入视频数据转化成帧数据，并统一格式和大小，获取视频帧；
③获取打斗行为识别模型：获取打斗行为发生时间段的视频帧，通过深度学习模型识别出视频帧中的打斗行为，生成打斗行为识别模型；
④打斗行为视频截取：将待识别的视频数据输入打斗行为识别模型，从待识别的视频数据中截取对应的片段保存到本地识别视频库，以供后期相关工作人员进一步审核。
所述步骤①中，视频格式应为.mp4或.avi。
所述步骤①中，打斗行为发生时间段为打斗行为发生的起始时间和结束时间。
所述步骤②具体分为以下步骤：
(2.1)将输入视频数据按照fps＝25转化成帧数据，以.jpg图像格式存放，并将所有图像通道统一为RGB格式，获取帧图像；
(2.2)将帧图像统一缩放成(171,128)的大小；
(2.3)将帧图像按照5:1的比例分割成训练集和验证集，并结合标注本文封装成.pkl格式，以便后期模型训练和测试阶段直接读取。
所述步骤③分为以下步骤：
(3.1)基于R-C3D，在视频行为识别数据集上进行预训练，获取识别模型；
(3.2)通过迁移学习，将步骤(2.3)中的训练集数据作为共享三维特征提取模块输入，计算卷积特征；
(3.3)将卷积特征输入时序提取模块，获取长度可变候选区域和对应的置信度；
(3.4)将长度可变候选区域和对应的置信度输入识别模型，通过非极大抑制算法进一步分类行为类别和定位行为发生时间段，完成模型迭代微调，获取打斗行为识别模型；
(3.5)在打斗行为识别模型中输入步骤(2.3)中的验证集数据，假设某个待检测视频中实际存在M个打斗片段，打斗行为识别模型检测到N个打斗片段，且每个片段均对应1个分类预测置信度，将N个置信度降序排列，从N个打斗片段中选出top I个打斗行为片段，其中I≤N，然后输出I个打斗行为片段中每个片段所对应的原始视频文件名、打斗行为发生时间段与分类预测置信度，获取检测结果。
所述步骤④中，读取步骤(3.5)的检测结果，从视频中截取对应的片段保存到本地识别视频库，以供后期相关工作人员进一步审核。

Claims (6)

1.一种基于时间序列检测的打斗行为识别方法，其特征在于：包括以下步骤：
①输入视频数据及行为发生时间段：输入待识别含有打斗行为的视频作为处理对象，同时传入打斗行为发生时间段；
②视频数据预处理：将输入视频数据转化成帧数据，并统一格式和大小，获取视频帧；
③获取打斗行为识别模型：获取打斗行为发生时间段的视频帧，通过深度学习模型识别出视频帧中的打斗行为，生成打斗行为识别模型；
④打斗行为视频截取：将待识别的视频数据输入打斗行为识别模型，从待识别的视频数据中截取对应的片段保存到本地识别视频库。
2.如权利要求1所述的基于时间序列检测的打斗行为识别方法，其特征在于：所述步骤①中，视频格式应为.mp4或.avi。
3.如权利要求1所述的基于时间序列检测的打斗行为识别方法，其特征在于：所述步骤①中，打斗行为发生时间段为打斗行为发生的起始时间和结束时间。
4.如权利要求1所述的基于时间序列检测的打斗行为识别方法，其特征在于：所述步骤②具体分为以下步骤：
(2.1)将输入视频数据按照fps＝25转化成帧数据，以.jpg图像格式存放，并将所有图像通道统一为RGB格式，获取帧图像；
(2.2)将帧图像统一缩放成(171,128)的大小；
(2.3)将帧图像按照5:1的比例分割成训练集和验证集，并结合标注本文封装成.pkl格式。
5.如权利要求1所述的基于时间序列检测的打斗行为识别方法，其特征在于：所述步骤③分为以下步骤：
(3.1)基于R-C3D，在视频行为识别数据集上进行预训练，获取识别模型；
(3.2)通过迁移学习，将步骤(2.3)中的训练集数据作为共享三维特征提取模块输入，计算卷积特征；
(3.3)将卷积特征输入时序提取模块，获取长度可变候选区域和对应的置信度；
(3.4)将长度可变候选区域和对应的置信度输入识别模型，通过非极大抑制算法进一步分类行为类别和定位行为发生时间段，完成模型迭代微调，获取打斗行为识别模型；
(3.5)在打斗行为识别模型中输入步骤(2.3)中的验证集数据，假设某个待检测视频中实际存在M个打斗片段，打斗行为识别模型检测到N个打斗片段，且每个片段均对应1个分类预测置信度，将N个置信度降序排列，选出topI个打斗行为片段，其中I≤N，然后输出I个打斗行为片段中每个片段所对应的原始视频文件名、打斗行为发生时间段与分类预测置信度，获取检测结果。
6.如权利要求1所述的基于时间序列检测的打斗行为识别方法，其特征在于：所述步骤④中，读取步骤(3.5)的检测结果，从视频中截取对应的片段保存到本地识别视频库。
CN202210270729.5A 2022-03-18 2022-03-18 一种基于时间序列检测的打斗行为识别方法 Pending CN114639046A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210270729.5A CN114639046A (zh) 2022-03-18 2022-03-18 一种基于时间序列检测的打斗行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210270729.5A CN114639046A (zh) 2022-03-18 2022-03-18 一种基于时间序列检测的打斗行为识别方法

Publications (1)

Publication Number Publication Date
CN114639046A true CN114639046A (zh) 2022-06-17

Family

ID=81949093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210270729.5A Pending CN114639046A (zh) 2022-03-18 2022-03-18 一种基于时间序列检测的打斗行为识别方法

Country Status (1)

Country Link
CN (1) CN114639046A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778395A (zh) * 2023-08-21 2023-09-19 成都理工大学 基于深度学习的山洪漫流视频识别监测方法
CN117315379A (zh) * 2023-11-29 2023-12-29 中电科大数据研究院有限公司 面向深度学习的医学影像分类模型公平性评估方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778395A (zh) * 2023-08-21 2023-09-19 成都理工大学 基于深度学习的山洪漫流视频识别监测方法
CN116778395B (zh) * 2023-08-21 2023-10-24 成都理工大学 基于深度学习的山洪漫流视频识别监测方法
CN117315379A (zh) * 2023-11-29 2023-12-29 中电科大数据研究院有限公司 面向深度学习的医学影像分类模型公平性评估方法及装置
CN117315379B (zh) * 2023-11-29 2024-03-12 中电科大数据研究院有限公司 面向深度学习的医学影像分类模型公平性评估方法及装置

Similar Documents

Publication Publication Date Title
Huang et al. Detection algorithm of safety helmet wearing based on deep learning
US10032113B2 (en) Social media event detection and content-based retrieval
US9208226B2 (en) Apparatus and method for generating evidence video
CN101778260B (zh) 一种基于结构化描述的视频监控管理方法及系统
CN114639046A (zh) 一种基于时间序列检测的打斗行为识别方法
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
US8340436B2 (en) Detecting significant events in consumer image collections
WO2017000880A1 (zh) 信息处理方法、信息处理装置和视频监控系统
CN112434178B (zh) 图像分类方法、装置、电子设备和存储介质
CN114067396A (zh) 基于视觉学习的居配工程现场试验数字化管理系统及方法
CN112686180A (zh) 一种封闭空间人员数量计算方法
CN115309871B (zh) 一种基于人工智能算法的工业大数据处理方法及系统
CN116863116A (zh) 基于人工智能的图像识别方法、装置、设备及介质
CN103345625B (zh) 一种三维图像分析方法及系统
Greenwell et al. Implicit land use mapping using social media imagery
Avci et al. Real-Time Building Management System Visual Anomaly Detection Using Heat Points Motion Analysis Machine Learning Algorithm
CN206039561U (zh) 一种动态人像采集比对系统
Saini et al. Proposal and implementation of a novel scheme for image and emotion recognition using Hadoop
CN110738692A (zh) 一种基于spark集群的智能视频识别方法
Sun et al. CPDD: A Cascaded-Parallel Defect Detector with Application to Intelligent Inspection in Substation
CN111885349B (zh) 一种管廊异常检测系统及方法
CN116994338B (zh) 一种基于行为识别的站点无纸化稽查管理系统
Saluja et al. Analysis and comparison of various deep learning models to implement suspicious activity recognition in CCTV surveillance
US20230394820A1 (en) Method and system for annotating video scenes in video data
Xiaoyan et al. Research on intelligent analysis technology of power monitoring video data based on convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination