CN109508736A - 一种基于深度学习的监狱异常情况监测方法及监测系统 - Google Patents
一种基于深度学习的监狱异常情况监测方法及监测系统 Download PDFInfo
- Publication number
- CN109508736A CN109508736A CN201811278053.4A CN201811278053A CN109508736A CN 109508736 A CN109508736 A CN 109508736A CN 201811278053 A CN201811278053 A CN 201811278053A CN 109508736 A CN109508736 A CN 109508736A
- Authority
- CN
- China
- Prior art keywords
- network
- sub
- information
- human body
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 41
- 238000012544 monitoring process Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 230000006399 behavior Effects 0.000 claims abstract description 38
- 230000005856 abnormality Effects 0.000 claims abstract description 24
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims description 23
- 230000007774 longterm Effects 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 210000002310 elbow joint Anatomy 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 210000003127 knee Anatomy 0.000 claims description 10
- 210000001699 lower leg Anatomy 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 8
- 230000002547 anomalous effect Effects 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000008859 change Effects 0.000 abstract description 4
- 238000013139 quantization Methods 0.000 abstract description 4
- 238000001228 spectrum Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 244000309464 bull Species 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的监狱异常情况监测方法及监测系统，包括：基于第一子网络，生成人体关键点时序信息；基于第二子网络，针对音频信息产生序列特征向量；基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。本发明的基于深度学习的监狱异常情况监测方法通过由三个相互关联的子网络构成一个整体网络，约束三个子网络单独进行训练和深度学习，提高了训练速度和识别准确率，能够更快的识别潜在异常事件，降低了人力监控的成本，消除了安全隐患，同时为实现人工智能辅助刑罚变更执行监督、羁押必要性审查评估等任务奠定量化基础。
Description
技术领域
本发明属于智能警戒技术领域，更具体地，涉及一种基于深度学习的监狱异常情况监测方法及监测系统。
背景技术
随着科技的发展，智能警戒得到了广泛的使用，尤其是监狱智能警戒，但是目前使用的动态人脸/人体布控系统，只能实现在监控视频中实时检测、跟踪和识别单个个体，实现在事前、事中和事后的跟踪记录，不能实现自动识别异常行为，智能分析以及智能报警。因此，迫切地需要一种方法能够对服刑人员、监管人员等之间的不正常碰撞等行为自动识别、智能分析，智能预警，能有效的消除牢头狱霸、体罚虐待等安全隐患，提高工作人员的工作效率，为智慧监狱应用提供了基本的信息保障。
发明内容
本发明的目的是提出一种能够自动识别异常行为及智能报警的基于深度学习的监狱异常情况监测方法及监测系统。
为了实现上述目的，本发明提供一种基于深度学习的监狱异常情况监测方法，包括：基于第一子网络，生成人体关键点时序信息；基于第二子网络，针对音频信息产生序列特征向量；基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。
优选的，所述基于第一子网络，生成人体关键点时序信息包括；采用卷积神经网络模型提取所述视频信息的特征点；根据所述特征点确定人体关键点信息；根据所述人体关键点信息生成所述人体关键点时序信息。
优选的，所述基于第二子网络，针对音频信息产生序列特征向量包括；采用梅尔频率倒谱系数算法提取所述音频的倒谱特征向量；采用长短期期记忆算法将所述倒谱特征向量生成序列特征向量；基于所述序列特征向量提取所述关键语音信息。
优选的，所述基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为包括：采用长短期期记忆将所述人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架。
优选的，所述基于识别的人类行为，在行为异常时输出异常报警包括：比较所述人体关键点时序信息和序列特征向量与所述预设特征信息的相似度阈值；若所述相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。
优选的，所述基于第一子网络，生成人体关键点时序信息还包括：采用卷积神经网络模型，提取所述视频信息的人脸特征；基于所述人脸特征进行目标跟踪。
优选的，所述人体关键点信息包括以下任一一种或多种信息，包括：头顶、左手、右手、左肘关节、右肘关节、左膝盖、右膝盖、左脚、右脚。
为了实现上述目的，本发明还提供一种基于深度学习的监狱异常情况监测系统，包括：图像采集装置，所述图像采集装置用于实时采集图像信息，并将采集的视频信息和音频信息发送至网络模型；网络模型，所述网络模型包括：第一子网络、第二子网络、第三子网络；所述第一子网络接收视频信息，生成人体关键点时序信息，将所述人体关键点时序信息发送至第三子网络；所述第二子网络接收音频信息，产生序列特征向量，将所述序列特征向量发送至第三子网络；所述第三子网络接收所述人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。
优选的，所述第一子网络采用卷积神经网络模型，提取所述视频信息的特征点，根据所述特征点确定人体关键点信息，根据所述人体关键点信息生成人体关键点时序信息；第二子网络采用梅尔频率倒谱系数算法提取所述音频的倒谱特征向量，采用长短期期记忆算法将所述倒谱特征向量生成序列特征向量，基于所述序列特征向量提取关键语音信息。
优选的，第三子网络采用长短期期记忆将所述人体关键点时序信息和序列特征向量识别人体动作行为；所述第三子网络比较所述人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值，若所述相似度阈值高于或等于预设阈值，则确认为监狱异常情况，输出异常报警。
本发明的有益效果在于：本发明的基于深度学习的监狱异常情况监测方法及监测系统通过由三个相互关联的子网络构成一个整体网络，约束三个子网络单独进行训练和深度学习，提高了训练速度和识别准确率，能够更快的识别潜在异常事件，降低了人力监控的成本，消除了安全隐患，同时为实现人工智能辅助刑罚变更执行监督、羁押必要性审查评估等任务奠定量化基础。
本发明的系统具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施例中将是显而易见的，或者将在并入本文中的附图和随后的具体实施例中进行详细陈述，这些附图和具体实施例共同用于解释本发明的特定原理。
附图说明
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了根据本发明的一个实施例的基于深度学习的监狱异常情况监测方法的流程图。
图2示出了根据本发明的一个实施例的基于深度学习的监狱异常情况监测方法的工作原理图。
具体实施方式
下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
根据本发明的基于深度学习的监狱异常情况监测方法，包括：基于第一子网络，生成人体关键点时序信息；基于第二子网络，针对音频信息产生序列特征向量；基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。
具体地，第一子网络、第二子网络和第三子网络是三个独立的深度算法模型，能够单独进行大量训练、深度学习，能够准确识别特征。由第一子网络、第二子网络和第三子网络三个相互关联的子网络构成的整体网络，实现对对监狱异常情况进行监测。在监狱管廊的出入口、管廊内部、监舍内部、环隧出入口、活动场所设置图像采集装置，图像采集装置实时采集视频信息和音频信息，第一子网络接收视频信息，根据视频信息生成人体关键点时序信息，再将人体关键点时序信息发送至第三子网络，第二子网络接收音频信息，针对音频信息产生序列特征向量，再将序列特征向量发送至第三子网络，第三子网络根据人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。
根据示例性的实施方式，基于深度学习的监狱异常情况监测方法通过由三个相互关联的子网络构成一个整体网络，约束三个子网络单独进行训练和深度学习，提高了训练速度和识别准确率，能够更快的识别潜在异常事件，降低了人力监控的成本，消除了安全隐患，同时为实现人工智能辅助刑罚变更执行监督、羁押必要性审查评估等任务奠定量化基础。
作为优选方案，基于第一子网络，生成人体关键点时序信息包括；采用卷积神经网络模型提取视频信息的特征点；根据特征点确定人体关键点信息；根据人体关键点信息生成人体关键点时序信息。
具体的，第一子网络针对视频帧信息采用卷积神经网络模型提取视频信息的特征点，卷积神经网络是一种带有卷积结构的神经网络，卷积结构采用权值共享的方式减少了深层网络占用的内存量，也减少了网络的参数个数，缓解模型的过拟合问题。卷积神经网络的基本结构可以分为四个部分：输入层、卷积层、池化层和输出层四个部分。输入层，可以直接作用于原始输入数据；卷积层也叫做特征提取层，包括二个部分，第一部分是真正的卷积层，主要作用是提取输入数据特征，每一个不同的卷积核提取输入数据的特征都不相同，卷积层的卷积核数量越多，就能提取越多输入数据的特征，第二部分是pooling层，也叫下采样层，主要目的是在保留有用信息的基础上减少数据处理量，加快训练网络的速度；池化层对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度，一方面进行特征压缩，提取主要特征，通过池化来降低卷积层输出的特征向量，同时改善结果；全连接层连接所有的特征，传输输出值。然后根据特征向量获得特征点，多个特征向量组合可以确定特征点，再根据特征点确定人体关键点信息，获得人体关键点信息后，提取所有图像中的人体关键点信息，从而根据人体关键点信息生成人体关键点时序信息。
作为优选方案，基于第二子网络，针对音频信息产生序列特征向量包括；采用梅尔频率倒谱系数算法提取音频的倒谱特征向量；采用长短期期记忆算法将倒谱特征向量生成序列特征向量；基于序列特征向量提取关键语音信息。
具体的，第二子网络针对音频信息采用梅尔频率倒谱系数算法提取音频的倒谱特征向量，梅尔频率倒谱系数算法提取特征的过程，先对语音进行预加重、分帧和加窗，然后对每一个短时分析窗，通过FFT快速傅里叶变换得到对应的频谱，将得到的频谱通过梅尔滤波器组得到梅尔频谱，在梅尔频谱上面进行倒谱分析，取对数，做逆变换，实际逆变换一般是通过DCT离散余弦变换来实现，取DCT后的第2个到第13个系数作为梅尔频率倒谱系数，获得梅尔频率倒谱系数MFCC，这个MFCC就是这帧语音的特征向量，即倒谱特征向量。采用长短期期记忆算法将倒谱特征向量生成序列特征向量，长短期期记忆算法是一种深度学习方法，是一种递归方法，长短期记忆算法的关键点是单元状态，向单元状态中移除或添加信息，通过门限来来保护和控制单元状态。门限由一个sigmoid神经网络层和逐点乘法运算组成，sigmoid层输出0到1之间的数字，描述了每个信息应该通过门限的程度。0表示“不让任何信息通过”，而1表示“让所有信息通过”。第一步是决定哪些信息需要从单元状态中抛弃，这项决策是由一个称为“遗忘门限层”的sigmoid层决定的，接下来决定在单元状态中需要存储哪些新信息，分为两个部分一个叫做“输入门限层”的sigmoid层决定哪些信息需要更新，然后一个tanh层创建一个向量，包含新候选信息，这些信息可以添加到这个状态中，然后结合这部分来创建一个状态来更新旧单元状态，输入到新单元状态，在语言模型中，就是弃旧主语性别信息，根据之前步骤添加新信息，得到了需要保留的信息。倒谱特征向量就是输入的信息，通过长短期期记忆算法获得了需要保留的倒谱特征向量，叫做序列特征向量，最后基于序列特征向量提取关键语音信息。
作为优选方案，基于第三子网络采用长短期期记忆将人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架。
具体的，第三子网络通过长短期期记忆算法获得了需要保留的人体关键点时序信息和序列特征向量，根据这些人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架。
作为优选方案，基于识别的人类行为，在行为异常时输出异常报警包括：比较人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值；若相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。
具体的，第三子网络比较人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值，若相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。优选的，通过声、光、显示屏等多种方式报警，第一时间阻止暴力事件的蔓延和加剧，从而能够有效消除牢头狱霸以及体罚虐待等安全隐患。
作为优选方案，基于第一子网络，生成人体关键点时序信息还包括：采用卷积神经网络模型，提取视频信息的人脸特征；基于人脸特征进行目标跟踪。
具体的，第一子网络还采用卷积神经网络模型，提取视频信息的人脸特征，基于人脸特征实现目标跟踪。
作为优选方案，人体关键点信息包括以下任一一种或多种信息，包括：头顶、左手、右手、左肘关节、右肘关节、左膝盖、右膝盖、左脚、右脚。
具体的，通过头顶、左手、右手、左肘关节、右肘关节、左膝盖、右膝盖、左脚、右脚等人体关键点信息，产生人体关键点时序信息。
根据本发明的基于深度学习的监狱异常情况监测系统，包括：图像采集装置，图像采集装置用于实时采集图像信息，并将采集的视频信息和音频信息发送至网络模型；网络模型，网络模型包括：第一子网络、第二子网络、第三子网络；第一子网络接收视频信息，生成人体关键点时序信息，将人体关键点时序信息发送至第三子网络；第二子网络接收音频信息，产生序列特征向量，将序列特征向量发送至第三子网络；第三子网络接收人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。
具体的，第一子网络、第二子网络和第三子网络是三个独立的深度算法模型，能够单独进行大量训练、深度学习，能够准确识别特征。由第一子网络、第二子网络和第三子网络三个相互关联的子网络构成的整体网络，三个子网络单独进行训练和深度学习，实现对对监狱异常情况进行监测。在监狱管廊的出入口、管廊内部、监舍内部、环隧出入口、活动场所设置图像采集装置，图像采集装置实时采集视频信息和音频信息，第一子网络接收视频信息，根据视频信息生成人体关键点时序信息，再将人体关键点时序信息发送至第三子网络，第二子网络接收音频信息，针对音频信息产生序列特征向量，再将序列特征向量发送至第三子网络，第三子网络根据人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。
根据示例性的实施方式，基于深度学习的监狱异常情况监测系统通过由三个相互关联的子网络构成一个整体网络，约束三个子网络单独进行训练和深度学习，提高了训练速度和识别准确率，能够更快的识别潜在异常事件，降低了人力监控的成本，消除了安全隐患，同时为实现人工智能辅助刑罚变更执行监督、羁押必要性审查评估等任务奠定量化基础。
作为优选方案，第一子网络采用卷积神经网络模型，提取视频信息的特征点，根据特征点确定人体关键点信息，根据人体关键点信息生成人体关键点时序信息；第二子网络采用梅尔频率倒谱系数算法提取音频的倒谱特征向量，采用长短期期记忆算法将倒谱特征向量生成序列特征向量，基于序列特征向量提取关键语音信息。
具体的，第一子网络针对视频帧信息采用卷积神经网络模型提取视频信息的特征点，卷积神经网络是一种带有卷积结构的神经网络,卷积结构采用权值共享的方式减少了深层网络占用的内存量，也减少了网络的参数个数，缓解模型的过拟合问题。卷积神经网络的基本结构可以分为四个部分：输入层、卷积层、池化层和输出层四个部分。输入层，可以直接作用于原始输入数据；卷积层也叫做特征提取层，包括二个部分，第一部分是真正的卷积层，主要作用是提取输入数据特征，每一个不同的卷积核提取输入数据的特征都不相同，卷积层的卷积核数量越多，就能提取越多输入数据的特征，第二部分是pooling层，也叫下采样层，主要目的是在保留有用信息的基础上减少数据处理量，加快训练网络的速度；池化层对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度，一方面进行特征压缩，提取主要特征，通过池化来降低卷积层输出的特征向量，同时改善结果；全连接层连接所有的特征，传输输出值。然后根据特征向量获得特征点确定人体关键点信息，获得人体关键点信息后，提取所有图像中的人体关键点信息，从而根据人体关键点信息生成人体关键点时序信息。
作为优选方案，第二子网络针对音频信息采用梅尔频率倒谱系数算法提取音频的倒谱特征向量，采用长短期期记忆算法将倒谱特征向量生成序列特征向量，最后基于序列特征向量提取关键语音信息。
具体的，第二子网络针对音频信息采用梅尔频率倒谱系数算法提取音频的倒谱特征向量，梅尔频率倒谱系数算法提取特征的过程，先对语音进行预加重、分帧和加窗，然后对每一个短时分析窗，通过FFT快速傅里叶变换得到对应的频谱，将得到的频谱通过梅尔滤波器组得到梅尔频谱，在梅尔频谱上面进行倒谱分析，取对数，做逆变换，实际逆变换一般是通过DCT离散余弦变换来实现，取DCT后的第2个到第13个系数作为梅尔频率倒谱系数，获得梅尔频率倒谱系数MFCC，这个MFCC就是这帧语音的特征向量，即倒谱特征向量。采用长短期期记忆算法将倒谱特征向量生成序列特征向量，长短期期记忆算法是一种深度学习方法，是一种递归方法，长短期记忆算法的关键点是单元状态，向单元状态中移除或添加信息，通过门限来来保护和控制单元状态。门限由一个sigmoid神经网络层和逐点乘法运算组成，sigmoid层输出0到1之间的数字，描述了每个信息应该通过门限的程度。0表示“不让任何信息通过”，而1表示“让所有信息通过”。第一步是决定哪些信息需要从单元状态中抛弃，这项决策是由一个称为“遗忘门限层”的sigmoid层决定的，接下来决定在单元状态中需要存储哪些新信息，分为两个部分一个叫做“输入门限层”的sigmoid层决定哪些信息需要更新，然后一个tanh层创建一个向量，包含新候选信息，这些信息可以添加到这个状态中，然后结合这部分来创建一个状态来更新旧单元状态，输入到新单元状态，在语言模型中，就是弃旧主语性别信息，根据之前步骤添加新信息，得到了需要保留的信息。倒谱特征向量就是输入的信息，通过长短期期记忆算法获得了需要保留的倒谱特征向量，叫做序列特征向量，最后基于序列特征向量提取关键语音信息。
作为优选方案，第三子网络采用长短期期记忆将人体关键点时序信息和序列特征向量识别人体动作行为；第三子网络比较人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值，若相似度阈值高于或等于预设阈值，则确认为监狱异常情况，输出异常报警。
具体的，第三子网络采用长短期期记忆算法获得了需要保留的人体关键点时序信息和序列特征向量，根据这些人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架；第三子网络还比较人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值；若相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。优选的，通过声、光、显示屏等多种方式报警，第一时间阻止暴力事件的蔓延和加剧，从而能够有效消除牢头狱霸以及体罚虐待等安全隐患。
实施例
图1示出了根据本发明的一个实施例的基于深度学习的监狱异常情况监测方法的流程图。图2示出了根据本发明的一个实施例的基于深度学习的监狱异常情况监测方法的工作原理图。
结合图1和图2所示，基于深度学习的监狱异常情况监测方法，包括：S102：基于第一子网络，生成人体关键点时序信息；
步骤S102包括步骤S1021～S1023：
S1021：采用卷积神经网络模型提取视频信息的特征点；
S1022：根据特征点确定人体关键点信息；
S1023：根据人体关键点信息生成人体关键点时序信息；
其中，人体关键点信息包括以下任一一种或多种信息，包括：头顶、左手、右手、左肘关节、右肘关节、左膝盖、右膝盖、左脚、右脚。
S104：基于第二子网络，针对音频信息产生序列特征向量；
步骤S104包括步骤S1041～S1043：
S1041：采用梅尔频率倒谱系数算法提取音频的倒谱特征向量；
S1042：采用长短期期记忆算法将倒谱特征向量生成序列特征向量；
S1043：基于序列特征向量提取关键语音信息。
S106：基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。
其中，基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为包括：采用长短期期记忆将人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架。
其中，基于识别的人类行为，在行为异常时输出异常报警包括：比较人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值；若相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。
其中，基于第一子网络，生成人体关键点时序信息还包括：采用卷积神经网络模型，提取视频信息的人脸特征；基于人脸特征进行目标跟踪。
该基于深度学习的监狱异常情况监测方法的工作过程如下：由第一子网络、第二子网络和第三子网络三个相互关联的子网络构成的整体网络，三个子网络单独进行训练和深度学习，在监狱管廊的出入口、管廊内部、监舍内部、环隧出入口、活动场所设置图像采集装置，图像采集装置实时采集视频信息和音频信息，第一子网络接收视频信息，针对视频帧信息采用卷积神经网络模型提取视频信息的特征点，根据特征点确定人体关键点信息，再根据人体关键点信息生成人体关键点时序信息，并将人体关键点时序信息发送至第三子网络。第二子网络接收音频信息，针对音频信息采用梅尔频率倒谱系数算法提取音频的倒谱特征向量，采用长短期期记忆算法将倒谱特征向量生成序列特征向量，最后基于序列特征向量提取关键语音信息，并将序列特征向量发送至第三子网络。第三子网络采用长短期期记忆将人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架，还比较人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值；若相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。
Claims (10)
1.一种基于深度学习的监狱异常情况监测方法，其特征在于，包括：
基于第一子网络，生成人体关键点时序信息；
基于第二子网络，针对音频信息产生序列特征向量；
基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。
2.根据权利要求1所述的监狱异常情况监测方法，其特征在于，所述基于第一子网络，生成人体关键点时序信息包括：
采用卷积神经网络模型提取所述视频信息的特征点；
根据所述特征点确定人体关键点信息；
根据所述人体关键点信息生成所述人体关键点时序信息。
3.根据权利要求1所述的监狱异常情况监测方法，其特征在于，所述基于第二子网络，针对音频信息产生序列特征向量包括：
采用梅尔频率倒谱系数算法提取所述音频的倒谱特征向量；
采用长短期期记忆算法将所述倒谱特征向量生成序列特征向量；
基于所述序列特征向量提取所述关键语音信息。
4.根据权利要求1所述的监狱异常情况监测方法，其特征在于，所述基于第三子网络，根据人体关键点时序信息和序列特征向量识别人类行为包括：
采用长短期期记忆将所述人体关键点时序信息和序列特征向量生成人体动作行为，包括握手、拥抱、争吵、打架。
5.根据权利要求1所述的监狱异常情况监测方法，其特征在于，所述基于识别的人类行为，在行为异常时输出异常报警包括：
比较所述人体关键点时序信息和序列特征向量与所述预设特征信息的相似度阈值；
若所述相似度阈值高于或等于预设阈值，则确定为异常情况，输出异常报警。
6.根据权利要求1所述的监狱异常情况监测方法，其特征在于，所述基于第一子网络，生成人体关键点时序信息还包括：
采用卷积神经网络模型，提取所述视频信息的人脸特征；
基于所述人脸特征进行目标跟踪。
7.根据权利要求2所述的监狱异常情况监测方法，其特征在于，所述人体关键点信息包括以下任一一种或多种信息，包括：头顶、左手、右手、左肘关节、右肘关节、左膝盖、右膝盖、左脚、右脚。
8.一种基于深度学习的监狱异常情况监测系统，其特征在于，包括：
图像采集装置，所述图像采集装置用于实时采集图像信息，并将采集的视频信息和音频信息发送至网络模型；
网络模型，所述网络模型包括：第一子网络、第二子网络、第三子网络；
所述第一子网络接收视频信息，生成人体关键点时序信息，将所述人体关键点时序信息发送至第三子网络；
所述第二子网络接收音频信息，产生序列特征向量，将所述序列特征向量发送至第三子网络；
所述第三子网络接收所述人体关键点时序信息和序列特征向量识别人类行为，基于识别的人类行为，在行为异常时输出异常报警。
9.根据权利要求8所述的监狱异常情况监测系统，其特征在于，所述第一子网络采用卷积神经网络模型，提取所述视频信息的特征点，根据所述特征点确定人体关键点信息，根据所述人体关键点信息生成人体关键点时序信息；
第二子网络采用梅尔频率倒谱系数算法提取所述音频的倒谱特征向量，采用长短期期记忆算法将所述倒谱特征向量生成序列特征向量，基于所述序列特征向量提取关键语音信息。
10.根据权利要求8所述的监狱异常情况监测系统，其特征在于，第三子网络采用长短期期记忆将所述人体关键点时序信息和序列特征向量识别人体动作行为；
所述第三子网络比较所述人体关键点时序信息和序列特征向量与预设特征信息的相似度阈值，若所述相似度阈值高于或等于预设阈值，则确认为监狱异常情况，输出异常报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811278053.4A CN109508736A (zh) | 2018-10-30 | 2018-10-30 | 一种基于深度学习的监狱异常情况监测方法及监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811278053.4A CN109508736A (zh) | 2018-10-30 | 2018-10-30 | 一种基于深度学习的监狱异常情况监测方法及监测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109508736A true CN109508736A (zh) | 2019-03-22 |
Family
ID=65747131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811278053.4A Pending CN109508736A (zh) | 2018-10-30 | 2018-10-30 | 一种基于深度学习的监狱异常情况监测方法及监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109508736A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110113578A (zh) * | 2019-05-28 | 2019-08-09 | 移康智能科技（上海）股份有限公司 | 一种可与物业联动的电子猫眼 |
| CN110213539A (zh) * | 2019-06-03 | 2019-09-06 | 移康智能科技（上海）股份有限公司 | 一种具有留言功能的电子猫眼 |
| CN110263644A (zh) * | 2019-05-21 | 2019-09-20 | 华南师范大学 | 基于三胞胎网络的遥感图像分类方法、系统、设备及介质 |
| CN110458101A (zh) * | 2019-08-12 | 2019-11-15 | 南京邮电大学 | 基于视频与设备结合的服刑人员体征监测方法及设备 |
| CN110659603A (zh) * | 2019-09-20 | 2020-01-07 | 北京小狗智能机器人技术有限公司 | 一种数据处理方法及装置 |
| CN111191511A (zh) * | 2019-12-03 | 2020-05-22 | 北京联合大学 | 一种监狱动态实时行为识别方法及系统 |
| CN111259751A (zh) * | 2020-01-10 | 2020-06-09 | 北京百度网讯科技有限公司 | 基于视频的人体行为识别方法、装置、设备及存储介质 |
| CN111711868A (zh) * | 2020-06-24 | 2020-09-25 | 中国科学院自动化研究所 | 基于视听多模态的舞蹈生成方法、系统、装置 |
| CN113111808A (zh) * | 2021-04-20 | 2021-07-13 | 山东大学 | 基于机器视觉的异常行为检测方法及系统 |
| CN113128383A (zh) * | 2021-04-07 | 2021-07-16 | 杭州海宴科技有限公司 | 一种校园学生欺凌行为的识别方法 |
| CN113239766A (zh) * | 2021-04-30 | 2021-08-10 | 复旦大学 | 基于深度神经网络的行为识别方法及智能报警装置 |
| CN117152668A (zh) * | 2023-10-30 | 2023-12-01 | 成都方顷科技有限公司 | 一种基于物联网的智慧后勤实现方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201315654Y (zh) * | 2008-08-25 | 2009-09-23 | 云南正卓信息技术有限公司 | 监狱专用SkyEyesTM智能监控系统 |
| CN102737480A (zh) * | 2012-07-09 | 2012-10-17 | 广州市浩云安防科技股份有限公司 | 一种基于智能视频的异常语音监控系统及方法 |
| CN105427518A (zh) * | 2015-11-10 | 2016-03-23 | 成都智慧数联信息技术有限公司 | 一种数据化危险判决系统及方法 |
| CN106328134A (zh) * | 2016-08-18 | 2017-01-11 | 都伊林 | 监狱语音数据识别及监测预警系统 |
-
2018
- 2018-10-30 CN CN201811278053.4A patent/CN109508736A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201315654Y (zh) * | 2008-08-25 | 2009-09-23 | 云南正卓信息技术有限公司 | 监狱专用SkyEyesTM智能监控系统 |
| CN102737480A (zh) * | 2012-07-09 | 2012-10-17 | 广州市浩云安防科技股份有限公司 | 一种基于智能视频的异常语音监控系统及方法 |
| CN105427518A (zh) * | 2015-11-10 | 2016-03-23 | 成都智慧数联信息技术有限公司 | 一种数据化危险判决系统及方法 |
| CN106328134A (zh) * | 2016-08-18 | 2017-01-11 | 都伊林 | 监狱语音数据识别及监测预警系统 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263644A (zh) * | 2019-05-21 | 2019-09-20 | 华南师范大学 | 基于三胞胎网络的遥感图像分类方法、系统、设备及介质 |
| CN110113578A (zh) * | 2019-05-28 | 2019-08-09 | 移康智能科技（上海）股份有限公司 | 一种可与物业联动的电子猫眼 |
| CN110213539A (zh) * | 2019-06-03 | 2019-09-06 | 移康智能科技（上海）股份有限公司 | 一种具有留言功能的电子猫眼 |
| CN110458101A (zh) * | 2019-08-12 | 2019-11-15 | 南京邮电大学 | 基于视频与设备结合的服刑人员体征监测方法及设备 |
| CN110458101B (zh) * | 2019-08-12 | 2022-09-16 | 南京邮电大学 | 基于视频与设备结合的服刑人员体征监测方法及设备 |
| CN110659603A (zh) * | 2019-09-20 | 2020-01-07 | 北京小狗智能机器人技术有限公司 | 一种数据处理方法及装置 |
| CN111191511A (zh) * | 2019-12-03 | 2020-05-22 | 北京联合大学 | 一种监狱动态实时行为识别方法及系统 |
| CN111191511B (zh) * | 2019-12-03 | 2023-08-18 | 北京联合大学 | 一种监狱动态实时行为识别方法及系统 |
| CN111259751A (zh) * | 2020-01-10 | 2020-06-09 | 北京百度网讯科技有限公司 | 基于视频的人体行为识别方法、装置、设备及存储介质 |
| CN111259751B (zh) * | 2020-01-10 | 2023-08-29 | 北京百度网讯科技有限公司 | 基于视频的人体行为识别方法、装置、设备及存储介质 |
| CN111711868B (zh) * | 2020-06-24 | 2021-07-20 | 中国科学院自动化研究所 | 基于视听多模态的舞蹈生成方法、系统、装置 |
| CN111711868A (zh) * | 2020-06-24 | 2020-09-25 | 中国科学院自动化研究所 | 基于视听多模态的舞蹈生成方法、系统、装置 |
| CN113128383A (zh) * | 2021-04-07 | 2021-07-16 | 杭州海宴科技有限公司 | 一种校园学生欺凌行为的识别方法 |
| CN113111808A (zh) * | 2021-04-20 | 2021-07-13 | 山东大学 | 基于机器视觉的异常行为检测方法及系统 |
| CN113111808B (zh) * | 2021-04-20 | 2022-03-29 | 山东大学 | 基于机器视觉的异常行为检测方法及系统 |
| CN113239766A (zh) * | 2021-04-30 | 2021-08-10 | 复旦大学 | 基于深度神经网络的行为识别方法及智能报警装置 |
| CN117152668A (zh) * | 2023-10-30 | 2023-12-01 | 成都方顷科技有限公司 | 一种基于物联网的智慧后勤实现方法、装置及设备 |
| CN117152668B (zh) * | 2023-10-30 | 2024-02-06 | 成都方顷科技有限公司 | 一种基于物联网的智慧后勤实现方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109508736A (zh) | 一种基于深度学习的监狱异常情况监测方法及监测系统 | |
| Marchi et al. | A novel approach for automatic acoustic novelty detection using a denoising autoencoder with bidirectional LSTM neural networks | |
| Cheffena | Fall detection using smartphone audio features | |
| CN107527617A (zh) | 基于声音识别的监控方法、装置及系统 | |
| CN109616140B (zh) | 一种异常声音分析系统 | |
| US20110169664A1 (en) | Acoustic signature recognition of running vehicles using spectro-temporal dynamic neural network | |
| Hayashi et al. | Anomalous sound event detection based on wavenet | |
| Papapanagiotou et al. | Chewing detection from an in-ear microphone using convolutional neural networks | |
| CN109271961A (zh) | 基于人物身份特征识别的行为模式判断方法 | |
| Oldoni et al. | Context-dependent environmental sound monitoring using SOM coupled with LEGION | |
| Favaro et al. | Artificial neural network approach for revealing individuality, group membership and age information in goat kid contact calls | |
| Hao et al. | An end-to-end human abnormal behavior recognition framework for crowds with mentally disordered individuals | |
| WO2009028937A1 (en) | Method and apparatus for detection of specific input signal contributions | |
| Droghini et al. | An end-to-end unsupervised approach employing convolutional neural network autoencoders for human fall detection | |
| CN110033785A (zh) | 一种呼救识别方法、装置、可读存储介质及终端设备 | |
| Colonna et al. | A framework for chainsaw detection using one-class kernel and wireless acoustic sensor networks into the amazon rainforest | |
| CN111311466B (zh) | 安全控制方法及装置 | |
| Ntalampiras | Audio surveillance | |
| Astapov et al. | Military vehicle acoustic pattern identification by distributed ground sensors | |
| Potamitis et al. | Automatic acoustic identification of crickets and cicadas | |
| CN116778657A (zh) | 一种智能识别入侵行为的方法及系统 | |
| Oltean et al. | Alarming events detection based on audio signals recognition | |
| Ali et al. | Asphyxiated infant cry classification using Simulink model | |
| Naronglerdrit et al. | Monitoring of indoors human activities using mobile phone audio recordings | |
| Archana et al. | Artificial Neural Network Based Image Processing for Wild Animal Detection and Monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190322 |
|
| RJ01 | Rejection of invention patent application after publication |