CN111582031B - 基于神经网络的多模型协同暴力检测方法及系统 - Google Patents

基于神经网络的多模型协同暴力检测方法及系统 Download PDF

Info

Publication number
CN111582031B
CN111582031B CN202010258824.4A CN202010258824A CN111582031B CN 111582031 B CN111582031 B CN 111582031B CN 202010258824 A CN202010258824 A CN 202010258824A CN 111582031 B CN111582031 B CN 111582031B
Authority
CN
China
Prior art keywords
neural network
model
network model
violence
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010258824.4A
Other languages
English (en)
Other versions
CN111582031A (zh
Inventor
杨晨
张嘉森
滕峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aibo Information Technology Co ltd
Original Assignee
Shenzhen Aibo Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aibo Information Technology Co ltd filed Critical Shenzhen Aibo Information Technology Co ltd
Priority to CN202010258824.4A priority Critical patent/CN111582031B/zh
Publication of CN111582031A publication Critical patent/CN111582031A/zh
Application granted granted Critical
Publication of CN111582031B publication Critical patent/CN111582031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于神经网络的多模型协同暴力检测方法及系统，所述方法包括：步骤1：训练神经网络模型A、神经网络模型B及构造运动检测模型；步骤2：接入监控摄像头；步骤3：实时读取下一帧图像；步骤4：对图像进行预处理；步骤5：输入神经网络模型A；步骤6：输入到运动检测模型；步骤7：检查神经网络模型B输入集合中的数据中帧数；步骤8：将数据输入神经网络模型B；步骤9：展示实时暴力检测概率。本发明采用多种模型从不同维度协同解决暴力检测问题，在一定程度上克服了数据集规模的限制，并提高暴力检测的准确率，降低暴力检测的误报率，以及提高暴力检测方法的泛化能力。

Description

基于神经网络的多模型协同暴力检测方法及系统
技术领域
本发明涉及计算机软件应用技术领域，尤其涉及一种基于神经网络的多模型协同暴力检测方法及系统。
背景技术
在公共场所，暴力行为可能为人民生命和财产安全带来极大威胁，是破坏社会稳定和谐的一个重要影响因素。由于近年来监控摄像头的广泛部署，通过使用计算机视觉技术捕获、识别和分析监控摄像头中的视频流以实现暴力检测成为可能。然而目前的相关方法存在准确率较低、误报率较高、泛化能力较弱等问题。此外，在基于计算机视觉的暴力检测领域，公开数据集（特别是含有真实暴力信息的数据集）较少，也成为了掣肘一些暴力检测方法（如基于深度学习的方法）有效研究和应用的一个关键原因。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于神经网络的多模型协同暴力检测方法及系统，以克服数据集规模的限制，并提高暴力检测的准确率，降低暴力检测的误报率，以及提高暴力检测方法的泛化能力。
为了解决上述技术问题，本发明实施例提出了一种基于神经网络的多模型协同暴力检测方法，包括：
步骤1：训练神经网络模型A、神经网络模型B及构造运动检测模型，其中，神经网络模型A检测单帧图像中的个体，其输出为单帧图像中的人数；神经网络模型B检测一组连续图像中的暴力行为，其输出为一组连续图像中暴力行为存在的概率；运动检测模型检测多帧图像中物体的运动幅度，其输出为物体运动幅度值；
步骤2：接入监控摄像头；
步骤3：实时读取监控摄像头中的下一帧图像；
步骤4：对所读取的图像进行预处理，使该图像成为神经网络模型A输入的标准格式；
步骤5：将该帧图像输入神经网络模型A，神经网络模型A输出该帧图像中的人数，若输出结果大于预设的阈值A，则执行步骤6；否则令暴力检测概率为0，执行步骤9；
步骤6：将该帧图像输入到运动检测模型，若输出结果大于预设的阈值B，则将该帧图像保留至神经网络模型B的输入集合中，并执行步骤7；否则清空神经网络模型B的输入集合，令暴力检测概率为0，执行步骤9；
步骤7：检查神经网络模型B的输入集合，当神经网络模型B的输入集合中视频帧的数量大于预设的阈值C时，则将该集合中的视频帧进行预处理，使其成为神经网络模型B输入的标准格式，然后执行步骤8；否则执行步骤3；
步骤8：将步骤7处理后的数据输入神经网络模型B，神经网络模型B输出该组图像中存在暴力行为的概率；
步骤9：展示实时暴力检测概率。
进一步地，所述步骤1还包括：
子步骤1：构造神经网络模型A的数据集A，使用构造的数据集A训练神经网络模型A；
子步骤2：构造神经网络模型B的数据集B，使用构造的数据集B训练神经网络模型B；
子步骤3：载入神经网络模型A，并设定阈值A，阈值A为触发运动检测模型的临界值；
子步骤4：载入运动检测模型，并设定阈值B，阈值B为存储视频帧到神经网络模型B输入集合的临界值；
子步骤5：载入神经网络模型B，并设定阈值C，阈值C为触发神经网络模型B的临界值；
子步骤6：选取视频数据测试神经网络模型A、运动检测模型和神经网络模型B，以检测其是否正常载入。
进一步地，所述步骤9中，将暴力检测概率按照曲线的形式实时绘制并展示。
进一步地，所述神经网络模型A采用基于卷积神经网络的体系结构，其输入为一帧图像，其输出为数字，该数字表示所输入视频帧内的人数；神经网络模型B采用基于卷积神经网络和长短期记忆网络融合的体系结构，其输入为一组图像，其输出为该组图像中是否包含暴力行为的概率。
进一步地，所述运动检测模型为帧差模型、光流模型、梯度模型中的一种。
进一步地，采用相隔固定帧或固定时间的方法从监控摄像头中读取图像。
进一步地，所述预处理包括对图像进行降采样、尺度变换、灰度化处理。
相应地，本发明实施例还提供了一种基于神经网络的多模型协同暴力检测系统，包括神经网络模型A训练子系统、神经网络模型B训练子系统、摄像头管理子系统、暴力行为预测子系统，其中，
神经网络模型A训练子系统包括数据集构造模块A、数据预处理模块A、模型训练模块A、模型管理模块A，数据集构造模块A将不同来源的原始数据集进行标准化；数据预处理模块A将数据集构造模块A所输出的数据集数据进行预处理操作，并将其转换为训练神经网络模型A要求的数据输入格式；模型训练模块A将数据预处理模块A的输出数据输入到神经网络中进行训练，生成相应的训练结果；模型管理模块A负责载入与保存神经网络模型A，以及对模型训练模块A输出的训练结果进行保存和展示；
神经网络模型B训练子系统包括数据集构造模块B、数据预处理模块B、模型训练模块B、模型管理模块B，数据集构造模块B将不同来源的原始数据集进行标准化；数据预处理模块B将数据集构造模块B所输出的数据集数据进行预处理操作，并将其转换为训练神经网络模型B要求的数据输入格式；模型训练模块B将数据预处理模块B的输出数据输入到神经网络中进行训练，生成相应的训练结果；模型管理模块B负责载入与保存神经网络模型B，以及对模型训练模块B输出的训练结果进行保存和展示；
摄像头管理子系统包括摄像头接入模块、摄像头视频帧读取模块、摄像头视频帧预处理模块、摄像头视频帧发送模块，摄像头接入模块用于连接监控摄像头，支持多种型号摄像头同时接入，并支持多种数据传输协议；摄像头视频帧读取模块从连接的摄像头中按帧顺序读取图像；摄像头视频帧预处理模块读取摄像头视频帧模块输出的图像数据，并按照暴力行为预测子系统要求，对图像进行初步处理（如尺度变换）；摄像头视频帧发送模块将视频帧预处理模块输出数据发送到暴力行为预测子系统进行分析；
暴力行为预测子系统包括模型管理模块C、图像处理模块、图像预测模块和暴力行为预测可视化模块，模型管理模块C负责载入用于暴力行为预测子系统的神经网络模型A、运动检测模型、神经网络模型B；图像处理模块接收摄像头管理子系统输出的视频帧，并依据不同模型的不同输入要求，对视频帧进行进一步处理；图像预测模块根据规则调用模型以分析图像处理模块输出数据，并输出暴力检测概率；暴力行为预测可视化模块负责将暴力检测概率按照曲线的形式实时绘制并展示。
进一步地，数据预处理模块A和数据预处理模块B的预处理操作均包括降采样、尺度变换、灰度化处理。
本发明的有益效果为：本发明采用多种模型从不同维度协同解决暴力检测问题，在一定程度上克服了数据集规模的限制，并提高暴力检测的准确率，降低暴力检测的误报率，以及提高暴力检测方法的泛化能力。
附图说明
图1是本发明实施例的基于神经网络的多模型协同暴力检测方法的流程图。
图2是本发明实施例的基于神经网络的多模型协同暴力检测系统的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
本发明实施例中若有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中若涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
请参照图1，本发明实施例的基于神经网络的多模型协同暴力检测方法包括步骤1～步骤9。
步骤1：训练神经网络模型A、神经网络模型B及构造运动检测模型，其中，神经网络模型A检测单帧图像中的个体，其输出为单帧图像中的人数；神经网络模型B检测一组连续图像中的暴力行为，其输出为一组连续图像中暴力行为存在的概率；运动检测模型检测多帧图像中物体的运动幅度，其输出为物体运动幅度值。针对模型A，需要一帧图像；针对运动检测模型，需要至少两帧图像（历史帧和当前读取帧）；针对模型B，需要一组图像。本实施例中，神经网络模型B要求20帧图像为一组输入。
步骤2：接入监控摄像头。所接入监控摄像头为本地监控摄像头或网络监控摄像头。本实施例中，监控摄像头输出分辨率为1280*720P，码率类型为定码率，视频帧率为25，视频编码为H.264。
步骤3：实时读取监控摄像头中的下一帧图像。暴力检测是一个实时检测的过程，监控摄像头中的每一帧图像都需要进行处理与分析，因此应逐帧读取监控摄像头中的图像。特别地，为提高暴力检测效率，减小暴力检测所需的资源开销，也可以提出以下假设：暴力行为是一个连续的过程，该过程中人体存在一系列运动，且一般持续一段特定的时间。因此可以采用相隔固定帧或固定时间的方法从监控摄像头中读取图像。本实施例中，采用逐帧读取监控摄像头中图像的方法。
步骤4：对所读取的图像进行预处理，使该图像成为神经网络模型A输入的标准格式。该预处理包括对图像进行降采样、尺度变换、灰度化处理。本实施例中，图像分辨率统一调整为320*240。
步骤5：将该帧图像输入神经网络模型A，神经网络模型A输出该帧图像中的人数，若输出结果大于预设的阈值A，则执行步骤6；否则令暴力检测概率为0，执行步骤9。对于暴力行为而言，特别是对于打架的暴力行为而言，图像内应该至少有2人存在，否则可以直接判定为非暴力行为。使用神经网络模型A可识别图像中的人体，结合阈值A，可过滤人数不符合设定的情形。
步骤6：将该帧图像输入到运动检测模型。暴力行为存在以下假设：暴力行为是一个连续的过程，该过程中人体存在一系列运动，且一般持续一段特定的时间。因此，在特定时间内（如1秒内），若至少存在两帧（历史帧与当前帧）图像中物体相对静止（即小于特定阈值B），则可认为在该段时间内，不存在暴力行为。若输出结果大于预设的阈值B，则将该帧图像保留至神经网络模型B的输入集合中，并执行步骤7；否则清空神经网络模型B的输入集合，令暴力检测概率为0，执行步骤9。本实施例中，采用输入为两帧图像的运动检测模型，且历史帧与当前帧在监控摄像头的视频流中相差5帧。具体实施时，预处理后的图像优选为并行输入各个模型中。
步骤7：检查神经网络模型B输入集合中的数据。由于神经网络模型B通过分析连续时序数据以做出预测，因此其输入为一组图像。当神经网络模型B输入集合中的视频帧数量大于预设的阈值C时，则将该集合中的视频帧进行预处理，使其成为神经网络模型B输入的标准格式，然后执行步骤8；否则执行步骤3；
步骤8：将步骤7处理后的数据输入神经网络模型B，神经网络模型B输出该组图像中存在暴力行为的概率；
步骤9：展示实时暴力检测概率。将暴力检测概率按照曲线的形式实时绘制，可直观了解暴力行为发生概率的变化过程。本实施例中使用的可视化形式优选为折线图。
作为一种实施方式，步骤1还包括子步骤1～子步骤6。
子步骤1：构造神经网络模型A的数据集A，使用构造的数据集A训练神经网络模型A。优选地，数据集A采用COCO、ImageNet等公开数据集。通过多次迭代训练后，神经网络模型A能分辨单帧图像中的个体，并输出单帧图像中的人数。此模型可以达到较高的准确率和较低的误报率，且具有轻量、计算速度快的特点。本实施例中的神经网络模型A具有以下特征：采用基于卷积神经网络的体系结构。
子步骤2：构造神经网络模型B的数据集B，使用构造的数据集B训练神经网络模型B。优选地，因公开数据集数量有限且标准不统一，数据集B除了采用包括Hockey Fight、movies、UCF101等公开数据集，还可采用自行构造的数据集。通过多次迭代训练，神经网络模型B可以提取图像中的暴力行为特征，并输出暴力行为存在概率。本实施例中的神经网络模型B具有以下特征：采用融合卷积神经网络和长短期记忆网络的体系结构。
子步骤3：载入神经网络模型A，并设定阈值A，阈值A为触发运动检测模型的临界值。
子步骤4：载入运动检测模型，并设定阈值B，阈值B为存储视频帧到神经网络模型B输入集合的临界值。运动检测模型可为帧差模型、光流模型、梯度模型等。与神经网络模型A类似，此类模型性能较好，适合于在暴力检测中作为前置判断条件。本实施例中的运动检测模型具有以下特征：采用光流模型。该模型利用图像序列中像素在时域上的变化计算物体运动。
子步骤5：载入神经网络模型B，并设定阈值C，阈值C为触发神经网络模型B的临界值。
子步骤6：选取视频数据测试神经网络模型A、运动检测模型和神经网络模型B，以检测其是否正常载入。
作为一种实施方式，步骤9中，将暴力检测概率按照曲线的形式实时绘制并展示。
作为一种实施方式，神经网络模型A采用基于卷积神经网络的体系结构，其输入为一帧图像，其输出为数字，该数字表示输入图像内的人数；神经网络模型B采用基于卷积神经网络和长短期记忆网络的体系结构，其输入为20帧图像，其输出为输入图像中是否包含暴力行为的概率。
作为一种实施方式，运动检测模型为帧差模型、光流模型、梯度模型中的一种。
作为一种实施方式，阈值A为1，阈值B为0.5，阈值C为19。
作为一种实施方式，所述预处理包括对图像进行降采样、尺度变换、灰度化处理。
请参照图2，本发明实施例的基于神经网络的多模型协同暴力检测系统包括神经网络模型A训练子系统、神经网络模型B训练子系统、摄像头管理子系统、暴力行为预测子系统。
神经网络模型A训练子系统包括数据集构造模块A、数据预处理模块A、模型训练模块A、模型管理模块A。数据集构造模块A将不同来源的原始数据集进行标准化；数据预处理模块A将数据集构造模块A所输出的数据集数据进行预处理操作，并将其转换为训练神经网络模型A要求的数据输入格式；模型训练模块A将数据预处理模块A的输出数据输入到神经网络中进行训练，生成相应的训练结果；模型管理模块A负责载入与保存神经网络模型A，以及对模型训练模块A输出的训练结果进行保存和展示；
神经网络模型B训练子系统包括数据集构造模块B、数据预处理模块B、模型训练模块B、模型管理模块B。数据集构造模块B将不同来源的原始数据集进行标准化；数据预处理模块B将数据集构造模块B所输出的数据集数据进行预处理操作，并将其转换为训练神经网络模型B要求的数据输入格式；模型训练模块B将数据预处理模块B的输出数据输入到神经网络中进行训练，生成相应的训练结果；模型管理模块B负责载入与保存神经网络模型B，以及对模型训练模块B输出的训练结果进行保存和展示；
摄像头管理子系统包括摄像头接入模块、摄像头视频帧读取模块、摄像头视频帧预处理模块、摄像头视频帧发送模块。摄像头接入模块用于连接监控摄像头，支持多种型号摄像头同时接入，并支持多种数据传输协议；摄像头视频帧读取模块从连接的摄像头中按帧顺序读取图像；摄像头视频帧预处理模块读取摄像头视频帧模块输出的图像数据，并按照暴力行为预测子系统要求，对图像进行初步处理（如尺度变换）；摄像头视频帧发送模块将视频帧预处理模块输出数据发送到暴力行为预测子系统进行分析；
暴力行为预测子系统包括模型管理模块C、图像处理模块、图像预测模块和暴力行为预测可视化模块，模型管理模块C负责载入用于暴力行为预测子系统的神经网络模型A、运动检测模型、神经网络模型B；图像处理模块接收摄像头管理子系统输出的视频帧，并依据不同模型的不同输入要求，对视频帧进行进一步处理（包括降采样、尺度变换、灰度化）；图像预测模块根据规则调用模型以分析图像处理模块输出数据，并输出暴力检测概率；暴力行为预测可视化模块负责将暴力检测概率按照曲线的形式实时绘制并展示。
作为一种实施方式，数据预处理模块A和数据预处理模块B的预处理操作均包括降采样、尺度变换、灰度化处理。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (7)

1.一种基于神经网络的多模型协同暴力检测方法，其特征在于，包括：
步骤1：训练神经网络模型A、神经网络模型B及构造运动检测模型，其中，神经网络模型A检测单帧图像中的个体，其输出为单帧图像中的人数；神经网络模型B检测一组连续图像中的暴力行为，其输出为一组连续图像中暴力行为存在的概率；运动检测模型检测多帧图像中物体的运动幅度，其输出为物体运动幅度值；
步骤2：接入监控摄像头；
步骤3：实时读取监控摄像头中的下一帧图像；
步骤4：对所读取的图像进行预处理，使该图像成为神经网络模型A输入的标准格式；
步骤5：将该帧图像输入神经网络模型A，神经网络模型A输出该帧图像中的人数，若输出结果大于预设的阈值A，则执行步骤6；否则令暴力检测概率为0，执行步骤9；
步骤6：将该帧图像输入到运动检测模型，若输出结果大于预设的阈值B，则将该帧图像保留至神经网络模型B的输入集合中，并执行步骤7；否则清空神经网络模型B的输入集合，令暴力检测概率为0，执行步骤9；
步骤7：检查神经网络模型B的输入集合，当神经网络模型B的输入集合中视频帧的数量大于预设的阈值C时，则将该集合中的视频帧进行预处理，使其成为神经网络模型B输入的标准格式，然后执行步骤8；否则执行步骤3；
步骤8：将步骤7处理后的数据输入神经网络模型B，神经网络模型B输出该组图像中存在暴力行为的概率；
步骤9：展示实时暴力检测概率。
2.如权利要求1所述的基于神经网络的多模型协同暴力检测方法，其特征在于，所述步骤1还包括：
子步骤1：构造神经网络模型A的数据集A，使用构造的数据集A训练神经网络模型A；
子步骤2：构造神经网络模型B的数据集B，使用构造的数据集B训练神经网络模型B；
子步骤3：载入神经网络模型A，并设定阈值A，阈值A为触发运动检测模型的临界值；
子步骤4：载入运动检测模型，并设定阈值B，阈值B为存储视频帧到神经网络模型B输入集合的临界值；
子步骤5：载入神经网络模型B，并设定阈值C，阈值C为触发神经网络模型B的临界值；
子步骤6：选取视频数据测试神经网络模型A、运动检测模型和神经网络模型B，以检测其是否正常载入。
3.如权利要求1所述的基于神经网络的多模型协同暴力检测方法，其特征在于，所述步骤9中，将暴力检测概率按照曲线的形式实时绘制并展示。
4.如权利要求1所述的基于神经网络的多模型协同暴力检测方法，其特征在于，所述神经网络模型A采用基于卷积神经网络的体系结构，其输入为一帧图像，其输出为数字，该数字表示所输入视频帧内的人数；神经网络模型B采用基于卷积神经网络和长短期记忆网络融合的体系结构，其输入为一组图像，其输出为该组图像中是否包含暴力行为的概率。
5.如权利要求1所述的基于神经网络的多模型协同暴力检测方法，其特征在于，所述运动检测模型为帧差模型、光流模型、梯度模型中的一种。
6.如权利要求1所述的基于神经网络的多模型协同暴力检测方法，其特征在于，步骤3中采用相隔固定帧或固定时间的方法从监控摄像头中读取图像。
7.如权利要求1所述的基于神经网络的多模型协同暴力检测方法，其特征在于，所述预处理包括对图像进行降采样、尺度变换、灰度化处理。
CN202010258824.4A 2020-04-03 2020-04-03 基于神经网络的多模型协同暴力检测方法及系统 Active CN111582031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010258824.4A CN111582031B (zh) 2020-04-03 2020-04-03 基于神经网络的多模型协同暴力检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010258824.4A CN111582031B (zh) 2020-04-03 2020-04-03 基于神经网络的多模型协同暴力检测方法及系统

Publications (2)

Publication Number Publication Date
CN111582031A CN111582031A (zh) 2020-08-25
CN111582031B true CN111582031B (zh) 2023-07-14

Family

ID=72111702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010258824.4A Active CN111582031B (zh) 2020-04-03 2020-04-03 基于神经网络的多模型协同暴力检测方法及系统

Country Status (1)

Country Link
CN (1) CN111582031B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950518B (zh) * 2020-08-27 2022-09-13 重庆科技学院 一种用于暴力行为识别的视频图像增强方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500324A (zh) * 2013-09-29 2014-01-08 重庆科技学院 基于视频监控的暴力行为识别方法
CN108596032A (zh) * 2018-03-21 2018-09-28 浙江大华技术股份有限公司 一种视频中打架行为检测方法、装置、设备及介质
WO2019168323A1 (ko) * 2018-02-27 2019-09-06 엘지이노텍 주식회사 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
CN110765964A (zh) * 2019-10-30 2020-02-07 常熟理工学院 基于计算机视觉的电梯轿厢内异常行为的检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500324A (zh) * 2013-09-29 2014-01-08 重庆科技学院 基于视频监控的暴力行为识别方法
WO2019168323A1 (ko) * 2018-02-27 2019-09-06 엘지이노텍 주식회사 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
CN108596032A (zh) * 2018-03-21 2018-09-28 浙江大华技术股份有限公司 一种视频中打架行为检测方法、装置、设备及介质
CN110765964A (zh) * 2019-10-30 2020-02-07 常熟理工学院 基于计算机视觉的电梯轿厢内异常行为的检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Sudhakaran S. et al.Learning to Detect Violent Videos using Convolutional Long Short-Term Memory.14th IEEE International Conference on Advanced Video and Signal Based Surveillance.2018,第1-6页. *
Ullah FUM. et al.Violence Detection Using Spatiotemporal Features with 3D Convolutional Neural Network.SENSORS.2019,第19卷(第11期),第1-15页. *
陈朋.基于卷积神经网络的人群状态研究分析.中国优秀硕士学位论文全文数据库(信息科技辑).2020,第I138-1315页. *

Also Published As

Publication number Publication date
CN111582031A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111178183B (zh) 人脸检测方法及相关装置
CN111079655B (zh) 一种基于融合神经网络的视频中人体行为识别方法
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
CN108846365B (zh) 视频中打架行为的检测方法、装置、存储介质及处理器
CN111310562B (zh) 基于人工智能的车辆驾驶风险管控方法及其相关设备
CN109815787B (zh) 目标识别方法、装置、存储介质及电子设备
CN109766755A (zh) 人脸识别方法及相关产品
WO2023138376A1 (zh) 动作识别方法、模型训练方法、装置及电子设备
CN112989987A (zh) 用于识别人群行为的方法、装置、设备以及存储介质
Vijayan et al. A fully residual convolutional neural network for background subtraction
CN115861915A (zh) 消防通道监控方法、消防通道监控装置以及存储介质
CN111582031B (zh) 基于神经网络的多模型协同暴力检测方法及系统
CN115690496A (zh) 基于YOLOv5的实时区域入侵检测方法
CN112422909B (zh) 一种基于人工智能的视频行为分析管理系统
US20210027463A1 (en) Video image processing and motion detection
CN116994209A (zh) 基于人工智能的图像数据处理系统及其方法
CN114461078B (zh) 一种基于人工智能的人机交互方法
CN116503793A (zh) 一种基于深度学习的工地安全着装识别监控方法
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
CN113762017B (zh) 一种动作识别方法、装置、设备及存储介质
CN114694209A (zh) 视频处理方法、装置、电子设备及计算机存储介质
CN117456610B (zh) 一种攀爬异常行为检测方法、系统及电子设备
CN113128340B (zh) 一种人员入侵检测方法及装置
CN115205787A (zh) 行人摔倒检测方法、装置、电子设备及存储介质
CN116824456A (zh) 一种基于视频流的异常行为检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant