CN110781771A - 一种基于深度学习的异常行为实时监测方法 - Google Patents

一种基于深度学习的异常行为实时监测方法 Download PDF

Info

Publication number
CN110781771A
CN110781771A CN201910948269.5A CN201910948269A CN110781771A CN 110781771 A CN110781771 A CN 110781771A CN 201910948269 A CN201910948269 A CN 201910948269A CN 110781771 A CN110781771 A CN 110781771A
Authority
CN
China
Prior art keywords
target
human body
classifier
training
actions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910948269.5A
Other languages
English (en)
Inventor
吴铭
张闯
刘泽萱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910948269.5A priority Critical patent/CN110781771A/zh
Publication of CN110781771A publication Critical patent/CN110781771A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的异常行为实时监测方法，包括：通过摄像头获取人体目标视频数据；将人体目标视频数据根据截取频率按帧提取，得到人体目标图像，将人体目标图像输入至核心控制器中；核心控制器对人体目标图像的身体关键点和骨架结构进行提取，并将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，并将身体姿态演变图输入分类器；分类器基于身体姿态演变图，区分动作分类，得到目标动作，当检测到目标动作为异常行为时，通过报警模块进行提示，该方法将人工智能的算法应用至传统的视频监控系统，获取功能和性能的提升，并可以快速产生动作的分类信息可以良好的反馈人体的状态，纠正、监督人体的异常行为。

Description

一种基于深度学习的异常行为实时监测方法
技术领域
本发明涉及监控技术领域，涉及一种基于深度学习的异常行为实时监测方法。
背景技术
视频监控系统在生产和生活中起着越来越大的作用，成为了人们生活中不可缺少的一道安全屏障，银行、商场、学校、小区、工厂、公共交通等公共领域对视频监控的需要不言而喻，随着平安城市的建设，监控系统也将发挥它的作用。
很多人的安全意识较差，在追逐打闹的过程中容易发生意外伤害的事故，如有的人在短短几分钟内就因为跑跳、打闹而磕伤、碰伤，结果往往是遭受伤痛的折磨，甚至造成残疾，对自己、对他人也对社会关系或社会秩序造成伤害和破坏，并带来一定的法律后果。特别地，打架斗殴会对是非辨别能力不强的未成年人产生极大的诱惑性和腐蚀，一些相对弱小的未成年人为了不受有不良行为的未成年人的欺负，也往往加入打架斗殴的行列，进而发展成为一个小群体，这种欲望的膨胀，往往使他们走上违法犯罪的道路。
针对这些现象，各个安全部门都会花费大量的人力物力来对负责区域进行监控，查看是否有异常情况的出现，但是由于日常的监控视频实在是又多又长，因此视频监控人员难以实时监督所有情况，例如在学校中有数十上百个教室，各个位置的摄像头更是不计其数。同时回看监控视频时也采用的是抽取查看某些教室视频中某时间段的方式，不能做到全视频全时间段的检查。
虽然目前的视频监控系统已在社会各界得到了广泛的应用，也产生了一些积极的作用，但是视频监控系统的智能化程度还远远不能满足需求，大多数的视频监控系统仅仅使用了最原始的视频信息。传统的视频监控还有非常多的缺陷，不仅需要很多监控人员，还可能出现一系列问题，如监控视频数据分析困难、监控视频中异常行为漏报、处理事件不及时等。
如：申请号201710142279.0一种基于人脸和语音识别的课堂行为监控系统及方法，该发明公开了一种基于人脸和语音识别的课堂行为监控系统及方法，包括以下步骤：通过摄像头采集课堂中学生、教师的视频信息；通过录音设备采集课堂中学生、教师的语音信息；主控处理器对接收到的学生、教师的视频信息进行预处理，提取学生、教师的面部表情特征和行为特征；主控处理器对接收到的学生的语音信息进行处理，提取学生语音特征；主控处理器对接收到的教师的语音数据信息进行处理，提取教师语音特征，计算教师教学效果的分值，根据得分对教师教学做出评价并提供指导性建议。
申请号：201610447391.0一种智能家居养老的视频监控异常行为方法，该方法公开了一种智能家居养老的视频监控异常行为方法，属于模式识别、计算机视觉技术领域。该系统通过双镜头监控摄像头实时监控室内活动情况；通过视频处理节点识别处理异常行为，并依据人脸表情作为辅助识别，检测是否出现异常行为活动；然后由通讯中心给用户发送异常行为警告信息。
上述公开的技术方案存在以下缺陷：
1.针对性弱：
目前已有的监控设备几乎都只有单一的录制功能，不能对人的行为进行分类，无法进行针对性的人体行为检测。
2.准确率低：
基于视频监控的人体检测器经常出现定位不准与误判的情况，准确率较低。
3.成本高：
主流的监控设备都需要大量的人力资源来查看与调度，成本很高，且人经常会出现疏忽的情况，在一定程度上无法及时发现危险情况并立即处理。
发明内容
本发明主要解决了传统的视频监控不仅需要很多监控人员，还可能出现一系列问题，如监控视频数据分析困难、监控视频中异常行为漏报、处理事件不及时等技术问题，提出了一种基于深度学习的异常行为实时监测方法，该方法通过摄像头拍摄监控范围内人群的动作，输入至核心控制器判断人的行为，如果判断为追逐打闹等异常行为，则通过报警模块传达给中控室或保卫处，若有喇叭还可以通过喇叭进行提示。故，系统包括如下方法：(1)人体目标视频的获取(2)关键点提取器，得到关键点骨架图(3)行为分类器，区分不同种类的行为(4)纠正器、统计器。本发明通过使用先进的检测模块，可以提高速度,提升关键点的准确度，可以良好的反馈师生的状态，纠正、监督师生的异常行为。
本发明的技术方案如下：
本发明提供了一种基于深度学习的异常行为实时监测方法，包括：
步骤一、通过摄像头获取人体目标视频数据；
步骤二、将人体目标视频数据根据截取频率按帧提取，得到人体目标图像，将人体目标图像输入至核心控制器OpenPose中；
步骤三、核心控制器对人体目标图像的身体关键点和骨架结构进行提取，并将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，并将身体姿态演变图输入分类器Softmax；
步骤四、分类器基于身体姿态演变图，区分动作分类，得到目标动作，当检测到目标动作为异常行为时，通过报警模块进行提示。
所述步骤二中，将人体目标图像输入至核心控制器OpenPose中，包括：首先根据计算资源对人体目标图像的大小和分辨率进行调整，然后输入到已训练好的openpose网络中。
所述步骤三中，所述核心控制器，包括：
首先使用openpose在主流数据集COCO中采用交叉熵损失函数并利用随机梯度下降的方法进行预训练，训练90个迭代周期后得到一个基本模型，随后用从人体目标视频数据中抽帧得到的人体目标图像进行标注作为训练、验证和测试数据集，首先在训练集上对基本模型采用交叉熵损失函数并利用随机梯度下降的方法进行反向传播对模型微调，训练60个迭代周期，再用验证数据集每5个迭代周期验证一次模型的微调的效果，最后得到训练好的核心控制器；最后在测试集上测试模型的效果。
所述交叉熵损失函数为
Figure BDA0002224709660000041
其中，K为标签值个数，且第i个样本预测为第k个标签值的概率为pik，第i个样本的真实标签为yik，Llog为交叉熵损失，N为样本的个数，Y为所有真实标签的集合，P为分类器预测得到的概率分布；在机器学习中，用p(x)描述真实分布，q(x)描述模型预测的分布；计算损失时，使用交叉熵计算概率分布的差异。
所述反向传播算法是建立在梯度下降法的基础上；由激励传播和权重更新两个环节反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。
所述激励传播由正向传播过程和反向传播过程组成；在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层；如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成；误差达到所期望值时，网络学习结束。
所述权重更新为对于每个神经元上的权重，按照以下步骤进行更新：
将输入激励和响应误差相乘，从而获得权重的梯度；将梯度与预设比例相乘并取反后与权重相加；
其中，所述比例将会影响到训练过程的速度和效果，因此称为“训练因子”；梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。
梯度下降法为每次迭代使用一个样本来对参数进行更新，使得训练速度加快；对于第i个样本的目标函数为：
Figure BDA0002224709660000042
其中θ是线性回归方程hθ(x)中的参数向量i＝1,2,...,m，表示样本数，y是输入x的预测目标；
(1)对目标函数求偏导：
Figure BDA0002224709660000043
△为求梯度的符号；
(2)参数更新：
Figure BDA0002224709660000044
其中α为学习率；
在使用时，将从视频数据中提取出的人体目标图像输入至核心控制器中，就可以得到当前目标的身体关键点以及骨架结构。
所述步骤三中，将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，包括：
基于五点线性插值将检测到的身体关键点进行处理：
记得到的14个身体关键点的坐标分别为(x0，y0),(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)，(x6，y6)，(x7，y7)，(x8，y8)，(x9，y9)，(x10，y10)，(x11，y11)，(x12，y12)，(x13，y13)，其中，编号表示：鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝盖-9，右脚踝-10，左臀-11，左膝盖-12，左脚踝-13，如果有，(xi，yi)，(xj，yj)是某个肢干的两个端点，物理意义上这两个端点在人体骨架上是相邻的，例如在人体骨架上脖子(x1，y1)和右肩(x2，y2)在物理意义上是相邻的，其中i，j，＝1,2,K,14i<j，在这两个点中间均匀插入五个采样点，记a＝(xj-xi)/6,b＝(yj-yi)/6，插入的五个点的坐标分别为(xi+a,yi+b)，(xi+2*a,yi+2*b)，(xi+3*a,yi+3*b)，(xi+4*a,yi+4*b)，(xi+5*a,yi+5*b)，使采样点更加稠密，若(xi，yi)，(xj，yj)在物理意义上不相邻，如鼻子和右肩不相邻，则不进行线性插值；
将关键点坐标归一化为[0,1]，将视频数据中提取的所有人体目标图像中检测出来的身体关键点坐标按照时间顺序级联，再将x坐标和y坐标分开成两个维度，生成两个通道的特征图，再添加一个全零通道生成用于训练的身体姿态演变图。
所述分类器Softmax的训练方法，包括：
将训练集的身体姿态演变图的动作分类作为分类器的输入，通过反向传播算法训练分类器，通过传递误差信号来更新梯度，寻找最优值，即找到能够使目标函数最大化的参数，并在验证集上通过反向传播算法进行调整，得到最终的准确率高的分类器；最终的准确率为训练好的分类器在测试集上运行的结果；
在使用时，输入身体姿态演变图，分类器输出一个代表动作分类标号的数字区分动作分类，得到目标动作。
所述在使用时，输入身体姿态演变图，分类器输出一个代表动作分类标号的数字区分动作分类，得到目标动作，包括：
将动作共分为五种类别：踢、打、跑、跳四种异常行为以及正常行为；将踢、打、跑、跳四种异常行为分别标号1、2、3、4，将正常行为标号0；当分类器输出一个0-4的标号时就可根据标号进行类别的判断。
本发明的有益效果是：
本发明将人工智能的算法应用至传统的视频监控系统，获取功能和性能的提升。提供了一个端到端的系统，可以快速产生动作的分类信息可以良好的反馈人体的状态，纠正、监督人体的异常行为。本发明着力于提高人体关键点定位以及动作分类的准确性，将人从监控中解放出来，仅在检测到危险情况并报警后才需要人来处理，能够大大减少人力资源的消耗。
本发明(1)适性强：任何时刻都可以使用本发明，操作简便，随时监控教室内的情况，有助于学生的身心健康。
(2)性价比高：系统还会不断升级，有摄像头、危险报警模块、核心控制器的设备可以有无限的可能性，当本发明载入其他算法后，未来还可以提供更多元化的服务。
(3)准确度高：专有数据集，更目的性的训练，可以提升模型的准确度。
(4)满足实时性：模型框架小，且可在廉价的核心处理器上进行快速的运算，达到一定的实时性。
附图说明
图1所示为一种基于深度学习的异常行为实时监测方法的流程示意图；
图2所示为分类器softmax示意图；
图3所示为人体的身体关键点及骨架结构示意图；
图4a和图4b所示为身体关键点进行5点线性插值示意图；
图5a所示为教室内“跑”情况示例第一帧示意图；
图5b所示为教室内“跑”情况示例第十一帧示意图；
图5c所示为教室内“跑”情况示例第二十一帧示意图；
图5d所示为教室内“跑”情况示例第三十一帧示意图；
图5e所示为教室内“跑”情况示例第四十一帧示意图；
图5f所示为教室内“跑”情况示例第五十一帧示意图；
图5g所示为教室内“跑”情况示例第六十一帧示意图；
图5h所示为教室内“跑”情况示例第七十一帧示意图；
图5i所示为教室内“跑”情况示例第八十一帧示意图；
图5j所示为教室内“跑”情况示例第九十一帧示意图；
图5k所示为教室内“跑”情况示例第一百零一帧示意图；
图5l所示为教室内“跑”情况示例第一百一十一帧示意图；
图5m所示为教室内“跑”情况示例第一百二十一帧示意图；
图5n所示为教室内“跑”情况示例第一百三十一帧示意图；
图6a所示为教室内打闹情况示例第一帧示意图；
图6b所示为教室内打闹情况示例第十一帧示意图；
图6c所示为教室内打闹情况示例第二十一帧示意图；
图6d所示为教室内打闹情况示例第三十一帧示意图；
图6e所示为教室内打闹情况示例第四十一帧示意图；
图6f所示为教室内打闹情况示例第五十一帧示意图；
图6g所示为教室内打闹情况示例第六十一帧示意图；
图6h所示为教室内打闹情况示例第七十一帧示意图；
图6i所示为教室内打闹情况示例第八十一帧示意图；
图6j所示为教室内打闹情况示例第九十一帧示意图；
图6k所示为教室内打闹情况示例第一百零一帧示意图；
图6l所示为教室内打闹情况示例第一百一十一帧示意图；
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
如图1所示，本发明实施例一提供了一种基于深度学习的异常行为实时监测方法，包括：
步骤一、通过摄像头获取人体目标视频数据；
将摄像头摆放到合适位置，获取到人体目标视频数据。
步骤二、将人体目标视频数据根据截取频率按帧提取，得到人体目标图像，将人体目标图像输入至核心控制器OpenPose中；
从摄像头拍摄得到的短视频中每10帧截取出图像(截取频率可根据计算资源调整)，输入至核心处理器中。
将人体目标图像输入至核心控制器OpenPose中，包括：首先根据计算资源对人体目标图像的大小和分辨率进行调整，例如：将图片调整为440*480大小，100*100的分辨率，然后输入到已训练好的openpose网络中。OpenPose人体姿态识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。
步骤三、核心控制器对人体目标图像的身体关键点和骨架结构进行提取，并将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，并将身体姿态演变图输入分类器Softmax；
如图2-3所示，softmax用于多分类过程中，它将多个神经元的输出，映射到(0,1)区间内，可以看成概率来理解，假设我们有一个数组Z，Zi表示Z中的第i个元素，那么这个元素的softmax值就是在Softmax回归中将x分类为类别j的概率为：
Figure BDA0002224709660000081
例：假设有三个类别，将一张图片输入到网络中，网络输出这一张图片属于三个类别的数值分别为3、1、-3，e指数的值为20、2.7、0.05，再分别除以累加和得到最终的概率值，0.879、0.119、0.002。所以属于第一类的概率最大，就将这一个图片判断为第一类。
步骤四、分类器基于身体姿态演变图，区分动作分类，得到目标动作，当检测到目标动作为异常行为时，通过报警模块进行提示。
本发明需要教室的监控视频，而主流的动作分类器的背景都较为复杂，不适合于本发明。故本发明在动作分类器进行了改动。
首先使用openpose在主流数据集COCO中采用交叉熵损失函数并利用随机梯度下降的方法进行预训练，训练90个迭代周期后得到一个基本模型，随后用从人体目标视频数据中抽帧得到的人体目标图像进行标注作为训练、验证和测试数据集，首先在训练集上对基本模型采用交叉熵损失函数并利用随机梯度下降的方法进行反向传播对模型微调，训练60个迭代周期，再用验证数据集每5个迭代周期验证一次模型的微调的效果，最后得到训练好的核心控制器；最后在测试集上测试模型的效果。
所述交叉熵损失函数为
Figure BDA0002224709660000091
其中，我们假设有K个标签值，且第i个样本预测为第k个标签值的概率为pik，第i个样本的真实标签为yik，Llog为交叉熵损失，N为样本的个数，Y为所有真实标签的集合，P为分类器预测得到的概率分布；在机器学习中，往往用p(x)用来描述真实分布，q(x)用来描述模型预测的分布。计算损失，理应使用相对熵来计算概率分布的差异，然而由相对熵推导出的结果看：相对熵＝交叉熵-信息熵。由于信息熵描述的是消除p(即真实分布)的不确定性所需信息量的度量，所以其值应该是最小的、固定的。那么：优化减小相对熵也就是优化交叉熵，所以在机器学习中使用交叉熵就可以了。
所述反向传播算法是建立在梯度下降法的基础上；由激励传播和权重更新两个环节反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。
所述激励传播由正向传播过程和反向传播过程组成；在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层；如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成；误差达到所期望值时，网络学习结束。
所述权重更新为对于每个神经元上的权重，按照以下步骤进行更新：
将输入激励和响应误差相乘，从而获得权重的梯度；将梯度与预设比例相乘并取反后与权重相加；
其中，所述比例将会影响到训练过程的速度和效果，因此称为“训练因子”；梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。
梯度下降法为每次迭代使用一个样本来对参数进行更新，使得训练速度加快；对于第i个样本的目标函数为：其中θ是线性回归方程hθ(x)中的参数向量；i＝1,2,...,m，表示样本数，y是输入x的预测目标
(1)对目标函数求偏导：
Figure BDA0002224709660000102
△为求梯度的符号；
(2)参数更新：
Figure BDA0002224709660000103
其中α为学习率；
在使用时，将从视频数据中提取出的人体目标图像输入至核心控制器中，就可以得到当前目标的身体关键点以及骨架结构。
所述步骤三中，将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，包括：
基于五点线性插值将检测到的身体关键点进行处理：见图4a和图4b，记得到的14个身体关键点的坐标分别为(x0，y0),(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)，(x6，y6)，(x7，y7)，(x8，y8)，(x9，y9)，(x10，y10)，(x11，y11)，(x12，y12)，(x13，y13)，其中，编号表示：鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝盖-9，右脚踝-10，左臀-11，左膝盖-12，左脚踝-13，如果有，(xi，yi)，(xj，yj)是某个肢干的两个端点，物理意义上这两个端点在人体骨架上是相邻的，例如在人体骨架上脖子(x1，y1)和右肩(x2，y2)在物理意义上是相邻的，其中i，j，＝1,2,K,14i<j，在这两个点中间均匀插入五个采样点，记a＝(xj-xi)/6,b＝(yj-yi)/6，插入的五个点的坐标分别为(xi+a,yi+b)，(xi+2*a,yi+2*b)，(xi+3*a,yi+3*b)，(xi+4*a,yi+4*b)，(xi+5*a,yi+5*b)，使采样点更加稠密，若(xi，yi)，(xj，yj)在物理意义上不相邻，如鼻子和右肩不相邻，则不进行线性插值。
又由于不同姿态序列的尺度不同，所以将关键点坐标归一化为[0,1]，再通过身体姿态演变图的方式将目标关键点的运动情况用一个特征图来表示，见图4a和图4b，将视频数据中提取的所有人体目标图像中检测出来的身体关键点坐标按照时间顺序级联，再将x坐标和y坐标分开成两个维度，生成两个通道的特征图，再添加一个全零通道生成用于训练的身体姿态演变图。
所述分类器Softmax的训练方法，包括：
将训练集的身体姿态演变图的动作分类作为分类器的输入，通过反向传播算法训练分类器，通过传递误差信号来更新梯度，寻找最优值，即找到能够使目标函数最大化的参数，并在验证集上通过反向传播算法进行调整，得到最终的准确率高的分类器；最终的准确率为训练好的分类器在测试集上运行的结果；
在使用时，输入身体姿态演变图，分类器输出一个代表动作分类标号的数字区分动作分类，得到目标动作。
所述在使用时，输入身体姿态演变图，分类器输出一个代表动作分类标号的数字区分动作分类，得到目标动作，包括：
将动作共分为五种类别：踢、打、跑、跳四种异常行为以及正常行为；将踢、打、跑、跳四种异常行为分别标号1、2、3、4，将正常行为标号0；当分类器输出一个0-4的标号时就可根据标号进行类别的判断。
以校园内师生为例，例如用图5a至图5n一系列图片中提取的人体关键点生成的姿态演变图通过分类器后就可以得到标号3，即判断为“跑”的异常行为。例如图5a至图5n是“跑”的一个示例，图5a至图5n是从监控视频中获得的“跑”短视频中按时间顺序每隔10帧抽取出的14张图片，图6a至图6l是“打”的一个示例，图6a至图6l是从监控视频中按时间顺序获得的“打”短视频中每隔10帧抽取出的12张图片，并将用openpose模型得到的两个人的身体关键点在图片中展示出来。身体关键点的坐标输入到身体姿态演变图提取器中就可以得到身体姿态演变图。
在校园内，可使用本发明的技术方案，利用身体关键的运动信息来判断学生的动作是否出现异常，比如追逐打闹等问题。一旦发现了学生的异常行为，将过通过危险报警模块将信息传达至中控室或保卫处，并通过教室内的喇叭给予相应提示。
本发明的有益效果是：
本发明将人工智能的算法应用至传统的视频监控系统，获取功能和性能的提升。提供了一个端到端的系统，可以快速产生动作的分类信息可以良好的反馈人体的状态，纠正、监督人体的异常行为。本发明着力于提高人体关键点定位以及动作分类的准确性，将人从监控中解放出来，仅在检测到危险情况并报警后才需要人来处理，能够大大减少人力资源的消耗。
本发明(1)适性强：任何时刻都可以使用本发明，操作简便，随时监控教室内的情况，有助于学生的身心健康。
(2)性价比高：系统还会不断升级，有摄像头、危险报警模块、核心控制器的设备可以有无限的可能性，当本发明载入其他算法后，未来还可以提供更多元化的服务。
(3)准确度高：专有数据集，更目的性的训练，可以提升模型的准确度。
(4)满足实时性：模型框架小，且可在廉价的核心处理器上进行快速的运算，达到一定的实时性。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的异常行为实时监测方法，其特征在于，包括：
步骤一、通过摄像头获取人体目标视频数据；
步骤二、将人体目标视频数据根据截取频率按帧提取，得到人体目标图像，将人体目标图像输入至核心控制器OpenPose中；
步骤三、核心控制器对人体目标图像的身体关键点和骨架结构进行提取，并将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，并将身体姿态演变图输入分类器Softmax；
步骤四、分类器基于身体姿态演变图，区分动作分类，得到目标动作，当检测到目标动作为异常行为时，通过报警模块进行提示。
2.如权利要求1所述的方法，其特征在于，所述步骤三中，所述核心控制器，包括：
使用openpose在主流数据集COCO中采用交叉熵损失函数并利用随机梯度下降的方法进行预训练，训练90个迭代周期后得到一个基本模型；
使用从人体目标视频数据中抽帧得到的人体目标图像进行标注作为训练、验证和测试数据集，在训练集上对基本模型采用交叉熵损失函数并利用随机梯度下降的方法进行反向传播对模型微调，训练60个迭代周期，再用验证数据集每5个迭代周期验证一次模型的微调的效果，得到训练好的核心控制器；
在测试集上测试模型的效果。
3.如权利要求2所述的方法，其特征在于，所述交叉熵损失函数为
Figure FDA0002224709650000011
其中，K为标签值的个数，第i个样本预测为第k个标签值的概率为pik，第i个样本的真实标签为yik，Llog为交叉熵损失，N为样本的个数，Y为所有真实标签的集合，P为分类器预测得到的概率分布；
在机器学习中，用p(x)描述真实分布，q(x)描述模型预测的分布；计算损失时，使用交叉熵计算概率分布的差异。
4.如权利要求2所述的方法，其特征在于，所述反向传播算法是建立在梯度下降法的基础上；由激励传播和权重更新两个环节反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。
5.如权利要求4所述的方法，其特征在于，所述激励传播由正向传播过程和反向传播过程组成；在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层；如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成；误差达到所期望值时，网络学习结束。
6.如权利要求4所述的方法，其特征在于，所述权重更新为对于每个神经元上的权重，按照以下步骤进行更新：
将输入激励和响应误差相乘，从而获得权重的梯度；将梯度与预设比例相乘并取反后与权重相加；
其中，所述比例将会影响到训练过程的速度和效果，因此称为“训练因子”；梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。
7.如权利要求4所述的方法，其特征在于，梯度下降法为每次迭代使用一个样本来对参数进行更新，使得训练速度加快；对于第i个样本的目标函数为：
Figure FDA0002224709650000021
其中θ是线性回归方程hθ(x)中的参数向量；i＝1,2,...,m，表示样本数，y是输入x的预测目标，
(1)对目标函数求偏导：
Figure FDA0002224709650000022
△为求梯度的符号；
(2)参数更新：
Figure FDA0002224709650000023
其中α为学习率；
在使用时，将从视频数据中提取出的人体目标图像输入至核心控制器中，就可以得到当前目标的身体关键点以及骨架结构。
8.如权利要求1所述的方法，其特征在于，所述步骤三中，将提取到的每个目标的身体关键点按照运动时间顺序级联得到身体姿态演变图，包括：
基于五点线性插值将检测到的身体关键点进行处理：
记得到的14个身体关键点的坐标分别为(x0，y0)(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)，(x6，y6)，(x7，y7)，(x8，y8)，(x9，y9)，(x10，y10)，(x11，y11)，(x12，y12)，(x13，y13)，编号表示：鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝盖-9，右脚踝-10，左臀-11，左膝盖-12，左脚踝-13，其中，(xi，yi)，(xj，yj)是某个肢干的两个端点，物理意义上这两个端点在人体骨架上是相邻的，其中i，j，＝1,2,K,14i<j，在这两个点中间均匀插入五个采样点，记a＝(xj-xi)/6,b＝(yj-yi)/6，插入的五个点的坐标分别为(xi+a,yi+b)，(xi+2*a,yi+2*b)，(xi+3*a,yi+3*b)，(xi+4*a,yi+4*b)，(xi+5*a,yi+5*b)，使采样点更加稠密；若(xi，yi)，(xj，yj)在物理意义上不相邻，则不进行线性插值；
将关键点坐标归一化为[0,1]，将视频数据中提取的所有人体目标图像中检测出来的身体关键点坐标按照时间顺序级联，再将x坐标和y坐标分开成两个维度，生成两个通道的特征图，再添加一个全零通道生成用于训练的身体姿态演变图。
9.如权利要求1所述的方法，其特征在于，所述分类器Softmax的训练方法，包括：
将训练集的身体姿态演变图的动作分类作为分类器的输入，通过反向传播算法训练分类器，通过传递误差信号来更新梯度，寻找最优值，即找到能够使目标函数最大化的参数，并在验证集上通过反向传播算法进行调整，得到最终的准确率高的分类器；最终的准确率为训练好的分类器在测试集上运行的结果；
在使用时，输入身体姿态演变图，分类器输出一个代表动作分类标号的数字区分动作分类，得到目标动作。
10.如权利要求9所述的方法，其特征在于，所述在使用时，输入身体姿态演变图，分类器输出一个代表动作分类标号的数字区分动作分类，得到目标动作，包括：
将动作共分为五种类别：踢、打、跑、跳四种异常行为以及正常行为；将踢、打、跑、跳四种异常行为分别标号1、2、3、4，将正常行为标号0；当分类器输出一个0-4的标号时就可根据标号进行类别的判断。
CN201910948269.5A 2019-10-08 2019-10-08 一种基于深度学习的异常行为实时监测方法 Pending CN110781771A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910948269.5A CN110781771A (zh) 2019-10-08 2019-10-08 一种基于深度学习的异常行为实时监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910948269.5A CN110781771A (zh) 2019-10-08 2019-10-08 一种基于深度学习的异常行为实时监测方法

Publications (1)

Publication Number Publication Date
CN110781771A true CN110781771A (zh) 2020-02-11

Family

ID=69385453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910948269.5A Pending CN110781771A (zh) 2019-10-08 2019-10-08 一种基于深度学习的异常行为实时监测方法

Country Status (1)

Country Link
CN (1) CN110781771A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428757A (zh) * 2020-03-05 2020-07-17 支付宝(杭州)信息技术有限公司 模型训练方法、异常数据检测方法、装置和电子设备
CN111428675A (zh) * 2020-04-02 2020-07-17 南开大学 一种融入行人体态姿态特征的行人重识别方法
CN111523559A (zh) * 2020-03-11 2020-08-11 浙江工业大学 一种基于多特征融合的异常行为检测方法
CN111832526A (zh) * 2020-07-23 2020-10-27 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN111914673A (zh) * 2020-07-08 2020-11-10 浙江大华技术股份有限公司 目标行为的检测方法、装置及计算机可读存储介质
CN112329634A (zh) * 2020-11-05 2021-02-05 华中师范大学 课堂行为识别方法、装置、电子设备及存储介质
CN113225363A (zh) * 2020-04-15 2021-08-06 悦生智能科技有限公司 一种智能养老系统及方法
CN113392746A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 动作标准挖掘方法、装置、电子设备和计算机存储介质
CN113870304A (zh) * 2021-12-07 2021-12-31 江西中业智能科技有限公司 异常行为检测与跟踪方法、装置、可读存储介质及设备
CN113963439A (zh) * 2021-10-22 2022-01-21 无锡八英里电子科技有限公司 一种基于机器视觉的电梯轿厢扒门行为识别方法
CN113989540A (zh) * 2021-09-22 2022-01-28 特斯联科技集团有限公司 基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质
CN114021945A (zh) * 2021-11-02 2022-02-08 青岛海尔工业智能研究院有限公司 一种生产监督方法、装置、服务器和存储介质
CN114092045A (zh) * 2021-11-10 2022-02-25 深圳市文君创艺广告文化传媒有限公司 基于物联网的社区建档方法、装置及存储介质
CN114419528A (zh) * 2022-04-01 2022-04-29 浙江口碑网络技术有限公司 异常识别方法、装置、计算机设备及计算机可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027978A (zh) * 2016-06-21 2016-10-12 南京工业大学 一种智能家居养老的视频监控异常行为系统及方法
CN108846365A (zh) * 2018-06-24 2018-11-20 深圳市中悦科技有限公司 视频中打架行为的检测方法、装置、存储介质及处理器
CN109145868A (zh) * 2018-09-11 2019-01-04 广州杰赛科技股份有限公司 一种辅助跑步训练的行为识别方法与装置
CN109299646A (zh) * 2018-07-24 2019-02-01 北京旷视科技有限公司 人群异常事件检测方法、装置、系统和存储介质
CN109344705A (zh) * 2018-08-27 2019-02-15 广州烽火众智数字技术有限公司 一种行人行为检测方法和系统
CN109409209A (zh) * 2018-09-11 2019-03-01 广州杰赛科技股份有限公司 一种人体行为识别方法与装置
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测系统及方法
CN109902562A (zh) * 2019-01-16 2019-06-18 重庆邮电大学 一种基于强化学习的驾驶员异常姿态监测方法
CN109919031A (zh) * 2019-01-31 2019-06-21 厦门大学 一种基于深度神经网络的人体行为识别方法
CN110135249A (zh) * 2019-04-04 2019-08-16 华南理工大学 基于时间注意力机制和lstm的人体行为识别方法
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027978A (zh) * 2016-06-21 2016-10-12 南京工业大学 一种智能家居养老的视频监控异常行为系统及方法
CN108846365A (zh) * 2018-06-24 2018-11-20 深圳市中悦科技有限公司 视频中打架行为的检测方法、装置、存储介质及处理器
CN109299646A (zh) * 2018-07-24 2019-02-01 北京旷视科技有限公司 人群异常事件检测方法、装置、系统和存储介质
CN109344705A (zh) * 2018-08-27 2019-02-15 广州烽火众智数字技术有限公司 一种行人行为检测方法和系统
CN109145868A (zh) * 2018-09-11 2019-01-04 广州杰赛科技股份有限公司 一种辅助跑步训练的行为识别方法与装置
CN109409209A (zh) * 2018-09-11 2019-03-01 广州杰赛科技股份有限公司 一种人体行为识别方法与装置
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测系统及方法
CN109902562A (zh) * 2019-01-16 2019-06-18 重庆邮电大学 一种基于强化学习的驾驶员异常姿态监测方法
CN109919031A (zh) * 2019-01-31 2019-06-21 厦门大学 一种基于深度神经网络的人体行为识别方法
CN110135249A (zh) * 2019-04-04 2019-08-16 华南理工大学 基于时间注意力机制和lstm的人体行为识别方法
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MENGLIN WANG等: "《Abnormal Behavior Detection of ATM Surveillance Videos Based on Pseudo-3D Residual Network》", 《2019 IEEE 4TH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND BIG DATA ANALYSIS (ICCCBDA)》 *
PARUL SHUKLA等: "《Recurrent Neural Network based Action Recognition from 3D Skeleton Data》", 《2017 13TH INTERNATIONAL CONFERENCE ON SIGNAL-IMAGE TECHNOLOGY& INTERNET-BASED SYSTEMS》 *
刘冬寅: "《教室监控视频中人员异常行为检测研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428757A (zh) * 2020-03-05 2020-07-17 支付宝(杭州)信息技术有限公司 模型训练方法、异常数据检测方法、装置和电子设备
CN111523559A (zh) * 2020-03-11 2020-08-11 浙江工业大学 一种基于多特征融合的异常行为检测方法
CN111523559B (zh) * 2020-03-11 2023-07-28 浙江工业大学 一种基于多特征融合的异常行为检测方法
CN111428675A (zh) * 2020-04-02 2020-07-17 南开大学 一种融入行人体态姿态特征的行人重识别方法
CN113225363A (zh) * 2020-04-15 2021-08-06 悦生智能科技有限公司 一种智能养老系统及方法
CN111914673A (zh) * 2020-07-08 2020-11-10 浙江大华技术股份有限公司 目标行为的检测方法、装置及计算机可读存储介质
CN111914673B (zh) * 2020-07-08 2023-06-16 浙江大华技术股份有限公司 目标行为的检测方法、装置及计算机可读存储介质
CN111832526B (zh) * 2020-07-23 2024-06-11 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN111832526A (zh) * 2020-07-23 2020-10-27 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN112329634A (zh) * 2020-11-05 2021-02-05 华中师范大学 课堂行为识别方法、装置、电子设备及存储介质
CN112329634B (zh) * 2020-11-05 2024-04-02 华中师范大学 课堂行为识别方法、装置、电子设备及存储介质
CN113392746A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 动作标准挖掘方法、装置、电子设备和计算机存储介质
CN113989540B (zh) * 2021-09-22 2024-07-05 特斯联科技集团有限公司 基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质
CN113989540A (zh) * 2021-09-22 2022-01-28 特斯联科技集团有限公司 基于深度学习判断异常行为的监控方法、装置、计算机设备和存储介质
CN113963439A (zh) * 2021-10-22 2022-01-21 无锡八英里电子科技有限公司 一种基于机器视觉的电梯轿厢扒门行为识别方法
CN114021945A (zh) * 2021-11-02 2022-02-08 青岛海尔工业智能研究院有限公司 一种生产监督方法、装置、服务器和存储介质
CN114092045A (zh) * 2021-11-10 2022-02-25 深圳市文君创艺广告文化传媒有限公司 基于物联网的社区建档方法、装置及存储介质
CN113870304A (zh) * 2021-12-07 2021-12-31 江西中业智能科技有限公司 异常行为检测与跟踪方法、装置、可读存储介质及设备
CN114419528A (zh) * 2022-04-01 2022-04-29 浙江口碑网络技术有限公司 异常识别方法、装置、计算机设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN110781771A (zh) 一种基于深度学习的异常行为实时监测方法
Chackravarthy et al. Intelligent crime anomaly detection in smart cities using deep learning
CN109376637B (zh) 基于视频监控图像处理的人数统计系统
Garg et al. Convolutional neural network based virtual exam controller
CN105787472B (zh) 一种基于时空拉普拉斯特征映射学习的异常行为检测方法
CN108154075A (zh) 经由单次学习的群体分析法
CN107403154A (zh) 一种基于动态视觉传感器的步态识别方法
CN105405150B (zh) 基于融合特征的异常行为检测方法和装置
Bhadani et al. A facemask detector using machine learning and image processing techniques
CN108985192A (zh) 一种基于多任务深度卷积神经网络的视频烟雾识别方法
CN105373774B (zh) 一种幼师体罚小孩行为的检测方法
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
Gorodnichev et al. Research and Development of a System for Determining Abnormal Human Behavior by Video Image Based on Deepstream Technology
Al-Rammahi Face mask recognition system using MobileNetV2 with optimization function
Jeevitha et al. Detection of Face Mask: A Systematic Approach
US20240135579A1 (en) Method for human fall detection and method for obtaining feature extraction model, and terminal device
Hendryli et al. Classifying abnormal activities in exam using multi-class Markov chain LDA based on MODEC features
Hwang et al. Cut and continuous paste towards real-time deep fall detection
CN111243057A (zh) 一种校园人员流动轨迹绘制方法
Zhang (Retracted) Swimming pool safety detection device based on computer vision
CN112613419A (zh) 一种智慧教育用学习监护系统
Thao et al. FightNet deep learning strategy: An innovative solution to prevent school fighting violence
Kodikara et al. Surveillance based Child Kidnap Detection and Prevention Assistance
Akhter et al. Pedestrian behavior recognition via a smart graph-based optimization
Zope et al. COVID-19 care: checking whether people are following social distancing and wearing face masks or not using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211

RJ01 Rejection of invention patent application after publication