CN107808139A - 一种基于深度学习的实时监控威胁分析方法及系统 - Google Patents

一种基于深度学习的实时监控威胁分析方法及系统 Download PDF

Info

Publication number
CN107808139A
CN107808139A CN201711059966.2A CN201711059966A CN107808139A CN 107808139 A CN107808139 A CN 107808139A CN 201711059966 A CN201711059966 A CN 201711059966A CN 107808139 A CN107808139 A CN 107808139A
Authority
CN
China
Prior art keywords
video
analysis
threat
monitoring
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711059966.2A
Other languages
English (en)
Other versions
CN107808139B (zh
Inventor
高建彬
甘卓欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201711059966.2A priority Critical patent/CN107808139B/zh
Publication of CN107808139A publication Critical patent/CN107808139A/zh
Application granted granted Critical
Publication of CN107808139B publication Critical patent/CN107808139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的实时监控威胁分析方法及系统，涉及基于深度学习的智能监控领域；其方法包括如下步骤：1)视频采集单元采集视频信息；2)视频分析处理单元依次进行基于神经网络的图像预处理、基于网格提取层的目标检测和基于深度神经网络的威胁分析得出分析结果，并发送给视频云处理服务器；3)视频云处理服务器将分析结果传输到视频显示单元进行输出，完成实时监控和威胁分析；本发明解决了现有监控系统监控数据量大导致的实时性和准确性差，监控工作人员工作量大导致的效率低的问题，达到了减轻安保人员人工分析监控数据的压力、降低人力成本和提高安保效率的效果。

Description

一种基于深度学习的实时监控威胁分析方法及系统
技术领域
本发明涉及基于深度学习的智能监控领域，尤其是一种基于深度学习的实时监控威胁分析方法及系统。
背景技术
卷积神经网络是一种能够自动提取特征，进行采样的深度学习模型，它在图像处理领域具有很高使用价值；它具有运行速度快、适应性能好、高效提取图像特征和平移不变性等特点，适用于图像处理。
现代社会中，视频监控系统在安全领域中扮演着十分重要的角色；如今监控摄像头随处可见，根据统计全世界拥有超过2亿个监控摄像机，其中还不包括各种具有摄像头可随时转换为监控的设备，如手机，笔记本，智能眼镜等；伴随着摄像设备数目的飞速增长，其产生的监控数据量极大，要从这些监控数据中提取有用的信息，需要耗费大量的人力物力，并且在实时性和准确率上面临着不稳定性；另一方面因为安保人员很难保证长时间的专注，特别是在面对多个摄像设备时，安保人员很难做到高效地并行处理所有的监控数据，难以避免对某些细节的疏忽，这就容易造成巨大的安全隐患。因此需要一种基于深度学习的实时监控威胁分析系统解决现有存在的问题。
发明内容
本发明的目的在于：本发明提供了一种基于深度学习的实时监控威胁分析方法及系统，解决了现有监控系统监控数据量大导致的实时性和准确性差，监控工作人员工作量大导致的效率低的问题，达到了减轻安保人员人工分析监控数据的压力、降低人力成本和提高安保效率的效果。
本发明采用的技术方案如下：
一种基于深度学习的实时监控威胁分析方法，包括如下步骤：
步骤1：视频采集单元采集视频信息；
步骤2：视频分析处理单元依次进行基于神经网络的图像预处理、基于网格提取层的目标检测和基于深度神经网络的威胁分析得出分析结果，并发送给视频云处理服务器；
步骤3：视频云处理服务器将分析结果传输到视频显示单元进行输出，完成实时监控和威胁分析。
优选地，所述步骤2包括如下步骤：
步骤2.1：视频分析处理单元中的图像预处理模块对视频信息依次进行解码、分解、下采样和归一化得到数帧监控图像数据；
步骤2.2：视频分析处理单元中的目标检测模块基于神经网络利用卷积层和网格提取层等结构层对每一帧监控图像数据，检测出其中每一个人物的位置并将每一个人的图像从监控数据中提取出来发送至视频分析处理单元中的威胁分析模块；
步骤2.3：视频分析处理单元中的威胁分析模块基于深度神经网络对每一个人的图像进行分析、提取威胁特征和输出威胁数字，并按威胁数字设定不同等级的阈值，若检测达到某等级阈值，便将威胁等级发送至视频云处理服务器。
一种基于深度学习的实时监控威胁分析系统，包括视频采集单元、视频云处理服务器和视频显示单元；所述视频云处理服务器包括视频分析处理单元；其中
视频采集单元，用于采集视频信息，作为整个系统的输入；
视频分析处理单元，用于将系统的输入即视频信息基于神经网络依次进行预处理、目标检测和威胁分析后将分析结果输出到视频云处理服务器；
视频云处理服务器，用于将分析结果传输到视频显示单元并进行存储；
视频显示单元，用于将分析结果进行输出，完成实时监控和威胁分析。
优选地，所述视频分析处理单元包括图像预处理模块、目标检测模块和威胁分析模块；所述图像预处理模块、目标检测模块和威胁分析模块顺次连接；其中
图像预处理模块，用于对视频信息依次进行解码、分解、下采样和归一化得到数帧监控图像数据；
目标检测模块，用于基于神经网络利用卷积层和网格提取层等结构层对每一帧监控图像数据，检测出其中每一个人物的位置并将每一个人的图像从监控数据中提取出来发送至威胁分析模块；
威胁分析模块，用于基于深度神经网络对每一个人的图像进行分析、提取威胁特征和输出威胁数字，并按威胁数字设定不同等级的阈值，若检测达到某等级阈值，便将威胁等级发送至视频云处理服务器。通过利用神经网络，增设网格提取层，将目标的可能性提高，将目标检测结果作为深度神经网络学习的输入进行威胁分析，进一步提高目标检测的精度从而提高系统的准确性，提高安保效率；
优选地，所述视频采集单元包括高清监控摄像头和可穿戴设备的摄像头。适用于不同类型的视频采集设备，提高整个系统的实用性和通用性；
优选地，所述视频显示单元包括正常显示设备和可穿戴设备。适用于不同类型的视频输出设备，提高整个系统的实用性和通用性；
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明设置基于深度学习的实时监控威胁分析方法及系统，通过设置视频采集单元、视频分析处理单元、视频云处理服务器和视频显示单元，其中视频分析处理单元基于深度学习在神经网络采用网格提取层的方法提高目标检测精度后进入威胁分析得出威胁分析结果，实现自动分析监控数据，对威胁之处发出警报并提醒安保人员，解决了现有监控系统监控数据量大导致的实时性和准确性差，监控工作人员工作量大导致的效率低的问题，达到了减轻安保人员人工分析监控数据的压力、降低人力成本和提高安保效率的效果；
2.本发明的目标检测模块采用增设有网格提取层的神经网络，可以初步提取网格，并且按照机器学习训练时的优化函数即损失对网格进行排序，选取损失较小的网格，提高提取的网格包含目标的可能性，实现将目标进行精准检测后对目标进行威胁分析，给安保人员标注出威胁等级以及指数，在达到设定阈值之后能够报警提醒安保人员，在输出视频上给安保人员标注清晰的、准确的目标位置，大大提高安保人员的工作效率，提高安保工作的严密程度；
3.本发明的基于深度学习的监控系统能够适应于所有的监控视频采集设备，包括可穿戴设备等新兴设备，提高整个监控系统的实用性和通用性。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的流程图；
图2是本发明的系统框图；
图3是本发明步骤2流程图；
图4是本发明目标检测模块网络结构图；
图5是本发明的目标检测模块网络卷积层结构示意图；
图6是本发明的威胁分析模块网络卷积层结构示意图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1-6对本发明作详细说明。
实施例1
一种基于深度学习的实时监控威胁分析方法，包括如下步骤：
步骤1：视频采集单元采集视频信息；
步骤2：视频分析处理单元依次进行基于神经网络的图像预处理、基于网格提取层的目标检测和基于深度神经网络的威胁分析得出分析结果，并发送给视频云处理服务器；
步骤2包括如下步骤：
步骤2.1：视频分析处理单元中的图像预处理模块对视频信息依次进行解码、分解、下采样和归一化得到数帧监控图像数据；
步骤2.2：视频分析处理单元中的目标检测模块基于神经网络利用卷积层和网格提取层等结构层对每一帧监控图像数据，检测出其中每一个人物的位置并将每一个人的图像从监控数据中提取出来发送至视频分析处理单元中的威胁分析模块；
步骤2.3：视频分析处理单元中的威胁分析模块基于深度神经网络对每一个人的图像进行分析、提取威胁特征和输出威胁数字，并按威胁数字设定不同等级的阈值，若检测达到某等级阈值，便将威胁等级发送至视频云处理服务器；
步骤3：视频云处理服务器将分析结果传输到视频显示单元进行输出，完成实时监控和威胁分析。
一种基于深度学习的实时监控威胁分析系统，包括视频采集单元、视频云处理服务器和视频显示单元；所述视频云处理服务器包括视频分析处理单元；其中
视频采集单元，用于采集视频信息，作为整个系统的输入；
视频分析处理单元，用于将系统的输入即视频信息基于神经网络依次进行预处理、目标检测和威胁分析后将分析结果输出到视频云处理服务器；
视频云处理服务器，用于将分析结果传输到视频显示单元并进行存储；
视频显示单元，用于将分析结果进行输出，完成实时监控和威胁分析。
视频分析处理单元包括图像预处理模块、目标检测模块和威胁分析模块；图像预处理模块、目标检测模块和威胁分析模块顺次连接；其中
图像预处理模块，用于对视频信息依次进行解码、分解、下采样和归一化得到数帧监控图像数据；
目标检测模块，用于基于神经网络利用卷积层和网格提取层等结构层对每一帧监控图像数据，检测出其中每一个人物的位置并将每一个人的图像从监控数据中提取出来发送至威胁分析模块；
威胁分析模块，用于基于深度神经网络对每一个人的图像进行分析、提取威胁特征和输出威胁数字，并按威胁数字设定不同等级的阈值，若检测达到某等级阈值，便将威胁等级发送至视频云处理服务器。通过利用神经网络，增设网格提取层，将目标的可能性提高，将目标检测结果作为深度神经网络学习的输入进行威胁分析，进一步提高目标检测的精度从而提高系统的准确性，提高安保效率；
实施例2
首先视频采集单元对监控区域进行图像采集，采集设备采用高清监控摄像头或者可穿戴设备上的摄像头或者手机的摄像头。
视频采集单元采集到的图像数据经过视频编码器编码后通过无线网络或者是光纤有线网络将数据传输至视频云处理服务器上，视频云处理服务器在处理数据之前将得到的数据存储在视频云处理服务器上备份，然后再将数据送入视频分析处理单元进行处理。
视频分析处理单元对监控视频数据进行预处理。
预处理的步骤为：
S101：监控视频进行解码，然后将视频分解为一帧一帧的图像；
S102：对每一帧图像进行下采样，将图像变为448*448的分辨率，以适应神经网络的输入规格；
S103：用Z-score标准化对图像进行归一化处理；将属性A的原始数据x通过Z-score标准即公式1化成x′；
(其中μ为均值，σ为标准差，Z-score标准化得到的结果是所有数据都聚集在0附近，方差为1。)
经过预处理之后的数据将被送入目标检测模块中，对人物进行检测。目标检测模块为一个神经网络，它的输入为448*448的3通道图像，拥有24个卷积层，两个全连接层，输出层输出9*9*11的张量；目标检测的原理为：先将经过预处理的输入图像传入神经网络中，经过卷积层提取特征后，特征图被传入网格提取层，网格提取层在特征图上直接提取网格，将网格的坐标以及网格的特征图传入之后的网络中，回归出目标具体的位置坐标以及分类结果，其中网格提取层选取网格是将一幅图像分成9x9个大小相同的网格，如果某个目标的中心落在这个网格中，则这个网格就负责预测这个目标；网格选取层位于第24卷积层之后，全连接层之前；目标检测模块网络结构图见图4；
目标检测的步骤如下：
S201：神经网络中卷积层提取特征；具体如下：它首先将conv24层得到的FeatureMap通过1个3*3的滑动窗口，得到的结果再经过1*1的全卷积，将conv24的Feature Map映射为512的向量，然后再利用全卷积层输出4*9*9的张量，4代表的是这个网格(x，y，w，h)，其中分别为中心的坐标、网格的宽和网格的高。
S202：神经网络中网格提取层进行目标检测；具体如下：网格提取层进行网格提取之后开始目标检测之前，通过反向传播以及随机梯度下降法最小化损失函数loss＝∑iLC(Pi,Pi*)+∑iLr(Zi,Zi*)，更新网络参数，使得网格提取层提取出更优的网格，然后将所有的网格的坐标映射到原图，再映射到conv24的特征图上，将网格的特征图输入到后面的全连接层上进行预测；每个网格要预测2个目标框，每个目标框除了要回归自身的位置之外，还要附带预测一个置信值，置信值代表所预测的目标框中含有目标的置信度和这个目标框预测准确率两重信息，置信值Z：Z＝P*IOU(其中若目标落在一个网格里，第一项即P取1，否则取0；第二项是预测的目标框和实际的目标框之间的IOU值)；每个目标框要预测(x，y，w，h)和置信值Z共5个值，x，y为目标框中心的位置，w为目标框的宽度，h为目标框的高度，(x，y，w，h)值决定目标框的位置；置信值Z为一个类别信息(即是目标或者不是目标)；所以9x9个网格，每个网格要预测2个目标框和1个类别，输出就是9*9*(5*2+1)的一个张量；
S203：回归目标位置坐标和截取目标图像；具体如下：利用目标检测模块的神经网络输出每一个目标的位置，目标将会被标记起来，并且每一个标记的目标将会被单独从图像中截取出来，形成一幅独立的图像，为了适应下一个威胁分析模块的神经网络，我们同样需要对其进行预处理；只需要将图像数据变为分辨率448*448的图像，缩放的方式采用各向异性缩放，对原始图片进行插值处理后图像数据最后分别被传入威胁分析模块；目标检测模块网络卷积层结构示意图见图5。
威胁分析模块由一个深度神经网络构成；它拥有5层卷积层，卷积核的大小分别为9*9，5*5，3*3，3*3，3*3，只有第一层卷积层，第二层卷积层和第五层卷积层拥有池化层，池化的方式选择最大池化；所有的全连接层单元选择RELU作为激活函数；在第六层和第七层全连接层之后，加入一个Dropout层；Dropout层的原理是在网络的训练阶段对该层的输出随机丢弃一部分，丢弃的比例可以根据实际的测试效果设置，可以一定程度上缓解过拟合的情况；威胁分析模块网络卷积层结构示意图见图6。
威胁分析步骤如下：
S301：威胁分析模块的神经网络的输入为448*448*3的RGB三通道图像张量，是由目标检测模块检测到的人物图像；将输入进行训练得到输出，输出层有4个单元，分别代表威胁等级，低，中，中上，高，它们都用softmax函数激活，这样输出的4个值就是代表着每一类的概率即威胁指数；输出的四个值中，取最大的两个值，也就是最有可能的两个威胁等级的概率，传入到视频显示单元中；
在视频显示单元中，对于每一帧图像，它将根据目标检测模块得到的目标位置对目标进行标记，使用一个矩形框，矩形框的颜色根据威胁等级而定；高威胁目标用更鲜艳的颜色，如红色进行标记。威胁概率显示到目标矩形框的旁边，如果达到一定的等级就发出警示信息；最终的输出数据将通过光缆或者无线网络传输至各型显示设备上，对安保人员进行提醒，完成实时监控和威胁分析。
在使用目标检测模块前需要对其进行训练，使用带有目标标记的数据对其进行训练，利用误差反向传播算法，从输出层到输入层求梯度，利用随机梯度下降法，以合适的学习率进行迭代，不断地修改每一层的参数，以使其的输出与期望输出之间的误差达到最小值，经过训练后的网络的权值将会保存下来，作为最终模型；在实际使用的时候，直接用最终训练的模型的权值初始化，然后输入监控数据，最后输出每一个目标的位置以及它的置信度，如果置信度达到一定的阈值，那么这个目标框我们就确定其是准确的目标；(置信度的阈值可以根据实际情况设定，阈值越大，表明其越可能是目标)；阈值的设定取决于实际使用的环境，如果对安全等级要求较高，可以将阈值设得小一些，如果对安全等级要求不是太高，可以将阈值设置较大一点。
威胁分析模块的神经网络在训练阶段时，该网络需要用带有标记的图像作为输入，为了适应不同的安保环境，需要对训练数据进行不同级别的标记；例如，对于小区安保来说，一个中等威胁的目标可能就是银行安保环境下的高风险目标，所以对于银行来说使用的训练数据的标记与小区使用的训练数据标记是不同的；训练的过程与目标检测模块神经网络的训练方式相同，采用随机梯度下降和反向传播算法对权值进行迭代更新，训练完成之后，将网络保存下来，就是最终的威胁分析模块。进行威胁分析时，直接使用最终的威胁分析模块进行威胁分析即可。
本发明设置基于深度学习的实时监控威胁分析方法及系统，通过设置视频采集单元、视频分析处理单元、视频云处理服务器和视频显示单元，其中视频分析处理单元基于深度学习在神经网络采用网格提取层的方法提高目标检测精度后进入威胁分析得出威胁分析结果，实现自动分析监控数据，对威胁之处发出警报并提醒安保人员，解决了现有监控系统监控数据量大导致的实时性和准确性差，监控工作人员工作量大导致的效率低的问题，达到了减轻安保人员人工分析监控数据的压力、降低人力成本和提高安保效率的效果。

Claims (6)

1.一种基于深度学习的实时监控威胁分析方法，其特征在于：包括如下步骤：
步骤1：视频采集单元采集视频信息；
步骤2：视频分析处理单元依次进行基于神经网络的图像预处理、基于网格提取层的目标检测和基于深度神经网络的威胁分析得出分析结果，并发送给视频云处理服务器；
步骤3：视频云处理服务器将分析结果传输到视频显示单元进行输出，完成实时监控和威胁分析。
2.根据权利要求1所述的一种基于深度学习的实时监控威胁分析方法，其特征在于：所述步骤2包括如下步骤：
步骤2.1：视频分析处理单元中的图像预处理模块对视频信息依次进行解码、分解、下采样和归一化得到数帧监控图像数据；
步骤2.2：视频分析处理单元中的目标检测模块基于神经网络利用卷积层和网格提取层等结构层对每一帧监控图像数据，检测出其中每一个人物的位置并将每一个人的图像从监控数据中提取出来发送至视频分析处理单元中的威胁分析模块；
步骤2.3：视频分析处理单元中的威胁分析模块基于深度神经网络对每一个人的图像进行分析、提取威胁特征和输出威胁数字，并按威胁数字设定不同等级的阈值，若检测达到某等级阈值，便将威胁等级发送至视频云处理服务器。
3.一种基于深度学习的实时监控威胁分析系统，其特征在于：包括视频采集单元、视频云处理服务器和视频显示单元；所述视频云处理服务器包括视频分析处理单元；其中
视频采集单元，用于采集视频信息，作为整个系统的输入；
视频分析处理单元，用于将系统的输入即视频信息基于神经网络依次进行预处理、目标检测和威胁分析后将分析结果输出到视频云处理服务器；
视频云处理服务器，用于将分析结果传输到视频显示单元并进行存储；
视频显示单元，用于将分析结果进行输出，完成实时监控和威胁分析。
4.根据权利要求3所述的一种基于深度学习的实时监控威胁分析系统，其特征在于：所述视频分析处理单元包括图像预处理模块、目标检测模块和威胁分析模块；所述图像预处理模块、目标检测模块和威胁分析模块顺次连接；其中
图像预处理模块，用于对视频信息依次进行解码、分解、下采样和归一化得到数帧监控图像数据；
目标检测模块，用于基于神经网络利用卷积层和网格提取层等结构层对每一帧监控图像数据，检测出其中每一个人物的位置并将每一个人的图像从监控数据中提取出来发送至威胁分析模块；
威胁分析模块，用于基于深度神经网络对每一个人的图像进行分析、提取威胁特征和输出威胁数字，并按威胁数字设定不同等级的阈值，若检测达到某等级阈值，便将威胁等级发送至视频云处理服务器。
5.根据权利要求4所述的一种基于深度学习的实时监控威胁分析系统，其特征在于：所述视频采集单元包括高清监控摄像头和可穿戴设备的摄像头。
6.根据权利要求5所述的一种基于深度学习的实时监控威胁分析系统，其特征在于：所述视频显示单元包括正常显示设备和可穿戴设备。
CN201711059966.2A 2017-11-01 2017-11-01 一种基于深度学习的实时监控威胁分析方法及系统 Active CN107808139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711059966.2A CN107808139B (zh) 2017-11-01 2017-11-01 一种基于深度学习的实时监控威胁分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711059966.2A CN107808139B (zh) 2017-11-01 2017-11-01 一种基于深度学习的实时监控威胁分析方法及系统

Publications (2)

Publication Number Publication Date
CN107808139A true CN107808139A (zh) 2018-03-16
CN107808139B CN107808139B (zh) 2021-08-06

Family

ID=61591848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711059966.2A Active CN107808139B (zh) 2017-11-01 2017-11-01 一种基于深度学习的实时监控威胁分析方法及系统

Country Status (1)

Country Link
CN (1) CN107808139B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830143A (zh) * 2018-05-03 2018-11-16 深圳市中电数通智慧安全科技股份有限公司 一种基于深度学习的视频分析系统
CN109376613A (zh) * 2018-09-29 2019-02-22 东莞中国科学院云计算产业技术创新与育成中心 基于大数据和深度学习技术的视频智能监控系统
CN109410496A (zh) * 2018-10-25 2019-03-01 北京交通大学 入侵预警方法、装置及电子设备
CN109685017A (zh) * 2018-12-26 2019-04-26 中山大学 一种基于轻量神经网络的超高速实时目标检测系统及检测方法
CN109711275A (zh) * 2018-12-05 2019-05-03 湖北凯瑞知行智能装备有限公司 一种电厂作业过程安全风险采集辨识系统及方法
CN110062208A (zh) * 2019-04-23 2019-07-26 上海赫煊自动化系统工程有限公司 一种安防智能实时分析系统和方法
CN110069664A (zh) * 2019-04-24 2019-07-30 北京博视未来科技有限公司 动漫作品封面图提取方法及其系统
CN110555877A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备、可读介质
CN111008570A (zh) * 2019-11-11 2020-04-14 电子科技大学 一种基于压缩-激励伪三维网络的视频理解方法
CN111464790A (zh) * 2020-04-21 2020-07-28 济南浪潮高新科技投资发展有限公司 一种基于深度学习的工业环境监控视频处理方法及系统
CN111698453A (zh) * 2019-03-11 2020-09-22 杭州海康威视系统技术有限公司 视频处理的方法和装置
CN111884336A (zh) * 2020-07-14 2020-11-03 广西电网有限责任公司钦州供电局 一种基于大数据的实时监控系统
CN111950494A (zh) * 2020-08-20 2020-11-17 宁波广播电视集团 基于卷积神经网络的监控方法、装置及系统和可读存储介质
CN112329497A (zh) * 2019-07-18 2021-02-05 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及设备
CN112347847A (zh) * 2020-09-27 2021-02-09 浙江大丰实业股份有限公司 一种舞台安全监控用自动定位系统
CN112511541A (zh) * 2020-12-01 2021-03-16 万申科技股份有限公司 一种基于云计算的智慧园区应急预警管理系统
CN113079194A (zh) * 2020-05-22 2021-07-06 江苏濠汉信息技术有限公司 一种基于车辆状态分析的封样监控系统
CN113139738A (zh) * 2021-05-06 2021-07-20 马鞍山钢铁股份有限公司 一种使用机器学习进行环保无组织排放监管的方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631427A (zh) * 2015-12-29 2016-06-01 北京旷视科技有限公司 可疑人员检测方法与系统
US20160203525A1 (en) * 2015-01-12 2016-07-14 Ebay Inc. Joint-based item recognition
CN106056628A (zh) * 2016-05-30 2016-10-26 中国科学院计算技术研究所 基于深度卷积神经网络特征融合的目标跟踪方法及系统
CN106127173A (zh) * 2016-06-30 2016-11-16 北京小白世纪网络科技有限公司 一种基于深度学习的人体属性识别方法
CN106203506A (zh) * 2016-07-11 2016-12-07 上海凌科智能科技有限公司 一种基于深度学习技术的行人检测方法
CN106529442A (zh) * 2016-10-26 2017-03-22 清华大学 一种行人识别方法和装置
CN106845430A (zh) * 2017-02-06 2017-06-13 东华大学 基于加速区域卷积神经网络的行人检测与跟踪方法
CN106991440A (zh) * 2017-03-29 2017-07-28 湖北工业大学 一种基于空间金字塔的卷积神经网络的图像分类算法
CN107025420A (zh) * 2016-01-29 2017-08-08 中兴通讯股份有限公司 视频中人体行为识别的方法和装置
CN107194437A (zh) * 2017-06-22 2017-09-22 重庆大学 基于Gist特征提取与概念机递归神经网络的图像分类方法
CN107247967A (zh) * 2017-06-07 2017-10-13 浙江捷尚视觉科技股份有限公司 一种基于r‑cnn的车窗年检标检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160203525A1 (en) * 2015-01-12 2016-07-14 Ebay Inc. Joint-based item recognition
CN105631427A (zh) * 2015-12-29 2016-06-01 北京旷视科技有限公司 可疑人员检测方法与系统
CN107025420A (zh) * 2016-01-29 2017-08-08 中兴通讯股份有限公司 视频中人体行为识别的方法和装置
CN106056628A (zh) * 2016-05-30 2016-10-26 中国科学院计算技术研究所 基于深度卷积神经网络特征融合的目标跟踪方法及系统
CN106127173A (zh) * 2016-06-30 2016-11-16 北京小白世纪网络科技有限公司 一种基于深度学习的人体属性识别方法
CN106203506A (zh) * 2016-07-11 2016-12-07 上海凌科智能科技有限公司 一种基于深度学习技术的行人检测方法
CN106529442A (zh) * 2016-10-26 2017-03-22 清华大学 一种行人识别方法和装置
CN106845430A (zh) * 2017-02-06 2017-06-13 东华大学 基于加速区域卷积神经网络的行人检测与跟踪方法
CN106991440A (zh) * 2017-03-29 2017-07-28 湖北工业大学 一种基于空间金字塔的卷积神经网络的图像分类算法
CN107247967A (zh) * 2017-06-07 2017-10-13 浙江捷尚视觉科技股份有限公司 一种基于r‑cnn的车窗年检标检测方法
CN107194437A (zh) * 2017-06-22 2017-09-22 重庆大学 基于Gist特征提取与概念机递归神经网络的图像分类方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830143A (zh) * 2018-05-03 2018-11-16 深圳市中电数通智慧安全科技股份有限公司 一种基于深度学习的视频分析系统
CN110555877A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备、可读介质
CN109376613A (zh) * 2018-09-29 2019-02-22 东莞中国科学院云计算产业技术创新与育成中心 基于大数据和深度学习技术的视频智能监控系统
CN109410496A (zh) * 2018-10-25 2019-03-01 北京交通大学 入侵预警方法、装置及电子设备
CN109711275A (zh) * 2018-12-05 2019-05-03 湖北凯瑞知行智能装备有限公司 一种电厂作业过程安全风险采集辨识系统及方法
CN109685017A (zh) * 2018-12-26 2019-04-26 中山大学 一种基于轻量神经网络的超高速实时目标检测系统及检测方法
CN111698453A (zh) * 2019-03-11 2020-09-22 杭州海康威视系统技术有限公司 视频处理的方法和装置
CN111698453B (zh) * 2019-03-11 2022-02-08 杭州海康威视系统技术有限公司 视频处理的方法和装置
CN110062208A (zh) * 2019-04-23 2019-07-26 上海赫煊自动化系统工程有限公司 一种安防智能实时分析系统和方法
CN110069664A (zh) * 2019-04-24 2019-07-30 北京博视未来科技有限公司 动漫作品封面图提取方法及其系统
CN110069664B (zh) * 2019-04-24 2021-04-06 北京博视未来科技有限公司 动漫作品封面图提取方法及其系统
CN112329497A (zh) * 2019-07-18 2021-02-05 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及设备
CN111008570B (zh) * 2019-11-11 2022-05-03 电子科技大学 一种基于压缩-激励伪三维网络的视频理解方法
CN111008570A (zh) * 2019-11-11 2020-04-14 电子科技大学 一种基于压缩-激励伪三维网络的视频理解方法
CN111464790A (zh) * 2020-04-21 2020-07-28 济南浪潮高新科技投资发展有限公司 一种基于深度学习的工业环境监控视频处理方法及系统
CN113079193A (zh) * 2020-05-22 2021-07-06 江苏濠汉信息技术有限公司 一种基于深度学习神经网络模型的封样监控系统
CN113079194A (zh) * 2020-05-22 2021-07-06 江苏濠汉信息技术有限公司 一种基于车辆状态分析的封样监控系统
CN113079194B (zh) * 2020-05-22 2022-08-05 江苏濠汉信息技术有限公司 一种基于车辆状态分析的封样监控系统
CN113079193B (zh) * 2020-05-22 2022-08-05 江苏濠汉信息技术有限公司 一种基于深度学习神经网络模型的封样监控系统
CN111884336A (zh) * 2020-07-14 2020-11-03 广西电网有限责任公司钦州供电局 一种基于大数据的实时监控系统
CN111950494A (zh) * 2020-08-20 2020-11-17 宁波广播电视集团 基于卷积神经网络的监控方法、装置及系统和可读存储介质
CN111950494B (zh) * 2020-08-20 2024-01-16 宁波广播电视集团 基于卷积神经网络的监控方法、装置及系统和可读存储介质
CN112347847A (zh) * 2020-09-27 2021-02-09 浙江大丰实业股份有限公司 一种舞台安全监控用自动定位系统
CN112511541A (zh) * 2020-12-01 2021-03-16 万申科技股份有限公司 一种基于云计算的智慧园区应急预警管理系统
CN113139738A (zh) * 2021-05-06 2021-07-20 马鞍山钢铁股份有限公司 一种使用机器学习进行环保无组织排放监管的方法

Also Published As

Publication number Publication date
CN107808139B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN107808139A (zh) 一种基于深度学习的实时监控威胁分析方法及系统
Huang et al. Detection algorithm of safety helmet wearing based on deep learning
Tao et al. Smoke detection based on deep convolutional neural networks
CN104063719B (zh) 基于深度卷积网络的行人检测方法及装置
CN107506692A (zh) 一种基于深度学习的密集人群计数与人员分布估计方法
CN108921039A (zh) 基于多尺寸卷积核的深度卷积模型的森林火灾检测方法
CN109635727A (zh) 一种人脸表情识别方法及装置
CN105426875A (zh) 一种基于深度卷积神经网络的人脸识别方法和考勤系统
CN110046631A (zh) 用于自动推断时空图像的变化的系统和方法
CN109255298A (zh) 一种动态背景中的安全帽检测方法与系统
CN107016357A (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN108764059A (zh) 一种基于神经网络的人体行为识别方法及系统
CN111653023A (zh) 一种智能工厂监管方法
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN110135476A (zh) 一种个人安全装备的检测方法、装置、设备及系统
CN109657582A (zh) 人脸情绪的识别方法、装置、计算机设备及存储介质
CN112560810A (zh) 基于多尺度时空特征神经网络的微表情识别方法
CN107844780A (zh) 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置
CN110909672A (zh) 一种基于双流卷积神经网络和svm的抽烟动作识别方法
CN112488213A (zh) 一种基于多尺度特征学习网络的火灾图片分类方法
CN114926778A (zh) 一种生产环境下的安全帽与人员身份识别系统
CN114022671A (zh) 一种基于残差神经网络的索道缆绳绳位智能识别方法
CN114067438A (zh) 一种基于热红外视觉的停机坪人体动作识别方法及系统
Sakthimohan et al. Detection and Recognition of Face Using Deep Learning
Zambare et al. Deep Learning Model for Disease Identification of Cotton Plants

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant