CN113408435B - 一种安全监控方法、装置、设备和存储介质 - Google Patents
一种安全监控方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113408435B CN113408435B CN202110694168.7A CN202110694168A CN113408435B CN 113408435 B CN113408435 B CN 113408435B CN 202110694168 A CN202110694168 A CN 202110694168A CN 113408435 B CN113408435 B CN 113408435B
- Authority
- CN
- China
- Prior art keywords
- sequence
- image
- model
- safety
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008921 facial expression Effects 0.000 claims abstract description 32
- 238000000611 regression analysis Methods 0.000 claims abstract description 21
- 238000012806 monitoring device Methods 0.000 claims abstract description 19
- 230000014509 gene expression Effects 0.000 claims description 95
- 238000001514 detection method Methods 0.000 claims description 41
- 238000013145 classification model Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 20
- 210000003423 ankle Anatomy 0.000 claims description 18
- 210000002683 foot Anatomy 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 12
- 210000003127 knee Anatomy 0.000 claims description 12
- 210000000707 wrist Anatomy 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 3
- 210000000323 shoulder joint Anatomy 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000007935 neutral effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种安全监控方法、装置、设备和存储介质方法，涉及智能监控技术领域。其中，这种安全监控方法包含：S1、接收目标区域的不同角度的多个监控视频。S2、根据多个监控视频，分别获取目标区域中的各个人物的图像序列。S3、根据图像序列，获取各个人物的身体姿态、面部表情序列和手势序列，并进行回归分析，以获得各个人物的安全系数。S4、根据各个安全系数，生成相应的安全报警等级。本发明能够通过多个角度的监控视频准确的判断目标区域内的警情，然后自动生成相应等级的警报，不需要安排人员实时盯着监控，大大节省了安防人员的数量，具有很好的实际意义。
Description
技术领域
本发明涉及智能监控技术领域，具体而言，涉及一种安全监控方法、装置、设备和存储介质方法。
背景技术
日常生活中，为了防止意外的发生，往往会对人群聚集的地方进行监控。为了能够在意外发生的时候及时的发现并处理，往往需要安排专门的安保人员在现场照看，或者在监控室进行监控。
这样的做法，不仅浪费了大量的人力。而且，长时间的工作容易导致安保人员疲劳而不能及时的发现意外的发生，从而错失了制止、抢救意外的最佳时机。
有鉴于此，申请人提出本申请。
发明内容
本发明提供了一种安全监控方法、装置、设备和存储介质方法，以改善相关技术中的人力监控目标区域容易发生错漏的问题。
第一方面、本发明实施例提供了一种安全监控方法，其包含如下步骤：
S1、接收目标区域的不同角度的多个监控视频。
S2、根据多个监控视频，分别获取目标区域中的各个人物的图像序列。
S3、根据图像序列，获取各个人物的身体姿态、面部表情序列和手势序列，并进行回归分析，以获得各个人物的安全系数。
S4、根据各个安全系数，生成相应的安全报警等级。
可选地，步骤S2具体包括：
S21、根据多个监控视频，通过OpenPose模型获取目标区域中的各个人物的不同角度的骨架信息。
S22、根据骨架信息，获取各个人物所在的图像区域。其中，图像区域为各个人物的骨架面积最大的图像所在的区域。
S23、根据图像区域，从多个监控视频中，分别提取各个人物的图像序列。
可选地，步骤S3具体包括：
S3A1、根据图像序列，获取关节点数据，并建立人体骨骼模型。其中，关节点数据包括头部、颈部关节、躯干关节、右肩关节、右肘关节、右腕关节、左肩关节、左肘关节、左腕关节、右踝关节、左膝关节、左踝关节、左髋关节、左膝关节和左踝关节。
S3A2、根据人体骨骼模型，以躯干关节为原点，躯干关节指向颈部关节为Z轴，左肩关节指向右肩关节为x轴，人体朝向方向为Y轴建立人体动态坐标系。
S3A3、根据人体动态坐标系，将各个关节的坐标根据身高进行归一化处理后，计算身体参数。其中，参数包括身高、头到x轴的第一距离、右脚到x轴的第二距离、左脚到x轴的第三距离、身体倾斜角度、脚部角速度、肩部中心角速度和矩信息。
S3A4、根据身体参数，通过SVM模型进行分类，以获得图像序列中人物的身体姿态。
可选地，步骤S3还包括：
S3B1、通过人脸检测模型，获得图像序列中的人脸区域。
S3B2、通过表情识别模型，获得人脸区域中的表情信息。
S3B3、根据图像序列的时间顺序和表情信息，生成初始表情序列。
S3B4、根据初始表情序列，通过预测模型进行校正，以获得面部表情序列。
可选地，步骤S3还包括：
S3C1、基于终端轻量化神经网络模型，构建物体检测模型。
S3C2、通过物体检测模型，提取图像序列中的手部图像，并根据图像序列的时间生成手部图像序列。
S3C3、根据手部图像序列，通过图像分类模型进行分类，以获得手势序列。
可选地，步骤S4具体包括：
S41、根据各个安全系数，计算目标区域中小于预设的安全系数阈值的人数、安全系数的第一平均值和相邻场景的安全系数第二平均值。
S42、将人数、第一平均值和第二平均值，按照时间顺序排列成时序特征。
S43、根据时序特征，通过预测模型进行预测，以获得安全报警等级。
第二方面、本发明实施例提供一种安全监控装置，其包含：
视频模块，用于接收目标区域的不同角度的多个监控视频。
图像模块，用于根据多个监控视频，分别获取目标区域中的各个人物的图像序列。
系数模块，用于根据图像序列，获取各个人物的身体姿态、面部表情序列和手势序列，并进行回归分析，以获得各个人物的安全系数。
等级模块，用于根据各个安全系数，生成相应的安全报警等级。
可选地，图像模块包括：
骨架单元，用于根据多个监控视频，通过OpenPose模型获取目标区域中的各个人物的不同角度的骨架信息。
区域单元，用于根据骨架信息，获取各个人物所在的图像区域。其中，图像区域为各个人物的骨架面积最大的图像所在的区域。
图像单元，用于根据图像区域，从多个监控视频中，分别提取各个人物的图像序列。
可选地，系数模块包括：
人体模型模块，用于根据图像序列，获取关节点数据，并建立人体骨骼模型。其中，关节点数据包括头部、颈部关节、躯干关节、右肩关节、右肘关节、右腕关节、左肩关节、左肘关节、左腕关节、右踝关节、左膝关节、左踝关节、左髋关节、左膝关节和左踝关节。
人体坐标模块，用于根据人体骨骼模型，以躯干关节为原点，躯干关节指向颈部关节为Z轴，左肩关节指向右肩关节为x轴，人体朝向方向为Y轴建立人体动态坐标系。
人体参数模块，用于根据人体动态坐标系，将各个关节的坐标根据身高进行归一化处理后，计算身体参数。其中，参数包括身高、头到x轴的第一距离、右脚到x轴的第二距离、左脚到x轴的第三距离、身体倾斜角度、脚部角速度、肩部中心角速度和矩信息。
人体姿态模块，用于根据身体参数，通过SVM模型进行分类，以获得图像序列中人物的身体姿态。
可选地，系数模块还包括：
区域模块，用于通过人脸检测模型，获得图像序列中的人脸区域。
表情模块，用于通过表情识别模型，获得人脸区域中的表情信息。
初始模块，用于根据图像序列的时间顺序和表情信息，生成初始表情序列。
最终模块，用于根据初始表情序列，通过预测模型进行校正，以获得面部表情序列。
可选地，系数模块还包括：
模型模块，用于基于终端轻量化神经网络模型，构建物体检测模型。
检测模块，用于通过物体检测模型，提取图像序列中的手部图像，并根据图像序列的时间生成手部图像序列。
分类模块，用于根据手部图像序列，通过图像分类模型进行分类，以获得手势序列。
可选地，等级模块包括：
阈值单元，用于根据各个安全系数，计算目标区域中小于预设的安全系数阈值的人数、安全系数的第一平均值和相邻场景的安全系数第二平均值。
时序单元，用于将人数、第一平均值和第二平均值，按照时间顺序排列成时序特征。
等级单元用于根据时序特征，通过预测模型进行预测，以获得安全报警等级。
第三方面、本发明实施例提供一种安全监控设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如第一方面所说的安全监控方法。
第四方面、本发明实施例提供一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如第一方面所说的安全监控方法。
通过采用上述技术方案，本发明可以取得以下技术效果：
本发明通过从过个角度的监控视频中提取出各个人物的较为适合分析的一个角度的图像序列，然后分别分析目标区域内的各个人物的身体姿态、面部表情序列和手势序列，根据这些信息，通过回归分析计算得到每个人的安全系数，然后根据这些安全系数生成相应等级的警报。不需要安排人员实时盯着监控，并且能够及时的发现警情，具有很好的实际意义。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明第一实施例提供的安全监控方法的流程示意图。
图2是目标区域的摄像头布局示意图。
图3是LSTM模型的结构框图。
图4是SSD模型的结构框图。
图5是本发明第一实施例提供的安全监控方法的流程框图。
图6是人体骨骼模型的示意图。
图7是本发明第二实施例提供的安全监控装置的结构示意图。
图8是本发明第五实施例提供的安全监控方法的流程示意图。
图9是本发明第六实施例提供的安全监控装置的结构示意图。
图10是本发明第九实施例提供的安全监控方法的流程示意图。
图11是本发明第十实施例提供的安全监控装置的结构示意图。
图中标记：0-序列模块、1-视频模块、2-图像模块、3-系数模块、4-等级模块、5-人体模型模块、6-人体坐标模块、7-人体参数模块、8-人体姿态模块、9-区域模块、10-表情模块、11-初始模块、12-最终模块、13-模型模块、14-检测模块、15-分类模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合附图与具体实施方式对本发明作进一步详细描述：
实施例一、
请参阅图1至图6，本发明第一实施例提供的安全监控方法，其可由安全监控设备来执行，特别地，由安全监控设备内的一个或多个处理器来执行，以实现步骤S1至步骤S4。
S1、接收目标区域的不同角度的多个监控视频。
具体地，安全监控设备电连接于目标区域的监控系统，能够接收监控系统拍摄的到的监控画面并进行分析。如图2所示，该监控系统具有安装在目标区域的至少三个摄像头，摄像头安装在高于底面2.5m以上的地方，使得摄像头的拍摄视角和目标区域内的人像之间的夹角不大于45°。至少三个摄像头，分别布设在目标区域的不同角度。
需要说明的是，安全监控设备可以是云端的服务器，或者本地的服务器，又或者是本地的计算机，本发明对此不做具体限定。
S2、根据多个监控视频，分别获取目标区域中的各个人物的图像序列。
具体地，由于监控系统具有不同角度拍摄的多个摄像头。因此，监控视频中包含了目标区域中的各个人物的不同角度的视频流。需要从这些视频中选取各个人物的最适合进行后续分析操作的图像数据来进行后续的分析。
在上述实施例的基础上，本发明一可选实施例中，步骤S2具体包括步骤S21至步骤S23。
S21、根据多个监控视频，通过OpenPose模型获取目标区域中的各个人物的不同角度的骨架信息。
S22、根据骨架信息，获取各个人物所在的图像区域。其中，图像区域为各个人物的骨架面积最大的图像所在的区域。
S23、根据图像区域，从多个监控视频中，分别提取各个人物的图像序列。
需要说明的是，当一个人进入到目标区域时，OpenPose模型会在多个监控视频流中，为同一个人进行同一个标识，并持续跟踪这个人。OpenPose模型能够标识出视频流中的人物的骨架信息。
在本实施例中，以骨架所占面积的大小来作为被摄像头拍摄到的人像的面积。针对目标区域中的各个人物，只提取其骨架面积最大的那个方向的摄像头所采集的图像来作为分析的依据。即，根据骨架信息，从多个视频流中，把每个人的骨架面积最大的图像信息提取出来，根据视频流的时间顺序，排序成图像序列。
可以理解的是，在图像中一个人的骨架面积最大的图像所对应的往往是一个人的正面。因此，提取出来的图像序列中，包含有各个人物的人脸表情信息、以及肢体手势信息。
在其它实施例中，还可以结合人脸识别模型，进一步保证所提取出来的图像序列为目标区域中，人物的正面的图像序列，以保证信息的有效性。
S3、根据图像序列，获取各个人物的身体姿态、面部表情序列和手势序列，并进行回归分析，以获得各个人物的安全系数。
具体地，通过一个人的身体姿态，面部表情和手势序列，能够判断出一个人的所处的状态。是否处于生气、剧烈运动的暴乱状态，或者安静平和的正常状态，根据采集到的这些状态和预先设置好的状态的序列进行回归分析，获得当前状态下的安全系数。
在上述实施例的基础上，本发明一可选实施例中，步骤S3具体包括步骤S3A1至步骤S3A4。
S3A1、根据图像序列，获取关节点数据，并建立人体骨骼模型。其中，关节点数据包括头部、颈部关节、躯干关节、右肩关节、右肘关节、右腕关节、左肩关节、左肘关节、左腕关节、右踝关节、左膝关节、左踝关节、左髋关节、左膝关节和左踝关节。
具体地，OpenPose模型已经将各个人物的各个关节点标识出来，并进行追踪。如图6所示，在本实施例中，从OpenPose模型定位出的多个关节点中，选取了以上15个关节点，从而建立一个足够构成肢体语言，关节点又相对较少，便于计算的人体骨骼模型。在其它实施例中，还可以选取更多或更少的关节点，本发明对此不做具体限定。
S3A2、根据人体骨骼模型，以躯干关节为原点，躯干关节指向颈部关节为Z轴，左肩关节指向右肩关节为x轴，人体朝向方向为Y轴建立人体动态坐标系，如图6所示。
S3A3、根据人体动态坐标系，将各个关节的坐标根据身高进行归一化处理后，计算身体参数。其中，参数包括身高、头到x轴的第一距离、右脚到x轴的第二距离、左脚到x轴的第三距离、身体倾斜角度、脚部角速度、肩部中心角速度和矩信息。
具体地，为了能够进一步分析目标区域中的各个人物的肢体语言信息，需要为每个图像序列中的人物建立一个坐标系，以分析各个关节点的位置信息，进一步的分析出肢体信息。
需要说明定的是，为了能够适应不同场景的区别，提高肢体语言判断的正确率。在本实施例中，将人体动态坐标系中的坐标信息，根据每个人的身高信息进行了归一化处理。在其它实施例中，为了减少计算量，也可以不进行归一化处理，本发明对此不做具体限定。在归一化处理后，根据各个关节点的坐标信息，计算出图像序列中任务的身体参数。归一化处理为现有技术，本发明在此不再赘述。
S3A4、根据身体参数，通过SVM模型进行分类，以获得图像序列中人物的身体姿态。
具体地，将上述身体参数输入到SVM模型，通过SVM模型来获取图像序列中的任务的主体语言，例如：站立不动、缓慢匀速行走、匀速推缩手臂、水平方向挥臂、垂直方向挥臂等一系列人的动作姿势。通过SVM模型分析人体行为特征，属于现有技术，本发明在此不再赘述。
在上述实施例的基础上，本发明一可选实施例中，步骤S3还包括步骤S3B1至步骤S3B4。
S3B1、通过人脸检测模型，获得图像序列中的人脸区域。
具体地，步骤S2中获取的图像序列中，包含有人物的正面信息。因此，通过人脸检测模型，从图像序列中检测出来人脸的区域，然后把这部分区域的图像提取出来，从而进一步分析人物的表情信息。
优选地，人脸检测模型为YOLOv3人脸识别模型。YOLOv3人脸识别模型具有良好的迁移性和多目标识别能力以及对小物体的识别能力。能够准确的从图像序列中将人脸区域识别出来。训练能够识别人脸的YOLOv3人脸识别模型为本领域技术人员的常规技术手段，本发明在此不再赘述。在其它实施例中，人脸识别模型可以为其它人脸识别模型，本发明对此不做具体限定。
S3B2、通过表情识别模型，获得人脸区域中的表情信息。
优选地，表情识别模型为VGG16表情分类模型。表情信息包括x类。其中，x类包括neutral、serious、panic、curious、surprise、happiness、despise。训练能够识别x类表情信息的VGG16表情分类模型为本领域技术人员的常规技术手段，本发明在此不再赘述。具体地，通过YOLOv3人脸识别模型将人脸区域识别出来之后，将人脸区域提取出来输入到VGG16表情分类模型中，以获得图像序列中的人物的表情信息。在其它实施例中，表情识别模型可以为其它表情识别模型，本发明对此不做具体限定。
S3B3、根据图像序列的时间顺序和表情信息，生成初始表情序列。
在上述实施例的基础上，本发明一可选实施例中，步骤S3B3具体包括步骤S3B31和S3B32。
S3B31、图像序列中各帧的时间信息，生成时间序列T。
S3B32根据时间序列，对表情信息进行排序，以获得初始表情序列I。
具体地，将VGG16表情分类模型的识别结果按照时间顺序进行排序，从而获得初始表情序列I，时间顺序会影响预测模型的预测效果。因此，通过依次生成初始表情序列，能够为后续的预测模型提供良好的输入数据。具有很好的实际意义。
S3B4、根据初始表情序列，通过预测模型进行校正，以获得面部表情序列。
具体地，通过人脸识别模型和表情分类模型，能够快速的识别图像序列中的表情信息。但是由于这些信息是直接识别出来的，可能会存在个别帧识别错误的情况。为了避免识别错误的情况，在本实施例中，通过LSTM预测模型来对VGG16表情分类模型的识别结果进行校正。从而避免表情识别错误的情况发生。其中，LSTM预测模如图3所示，LSTM模型的输入长度为n，单位长度的特征包括x类。其中，x类对应的就是前面VGG16表情分类模型所判断出来的图像序列中人脸的表情信息，对应的x中类别的表情的概率。在其它实施例中，预测模型可以使用其它现有的预测模型，本发明对此不做具体限定。
在上述实施例的基础上，本发明一可选实施例中，步骤S3B4具体包括步骤S3B41至S3B43。
S3B41、根据初始表情序列，分割成长度为n的输入序列。其中，输入长度n为11帧。在其它实施例中，输入长度还可以是其它帧数，本发明对此不做具体限定。
具体地，人脸表情的变化在时间序列上的表现往往是分段连续的，而并非离散，即在某一时间段内，表情出现突变的概率很低。因此，我们将初始表情序列分割成长度为n的输入序列进行分析，根据小邻域内的检测结果变化，来对其进行校正，提高其准确率。为得到最优的n的个数，发明人统计了整个样本，发现由VGG16分割得到的相同表情的持续时间序列区间为[11-58]，故发明人设计在10-15之间找到最优的n，最终得到最优设计时间序列个数n=11。在本实施例中，选择输出元为11作为一次LSTM的校正序列数量，实现了对表情识别能力的提高。
S3B42、将输入序列输入至预测模型，以获得长度为n的输出序列。
S3B43、根据输出序列，获得面部表情序列。
具体地，将VGG16表情分类模型识别的结果，按照时间顺序排序，将排序后的表情序列序列记为,并以/>表示序列中第i个表情。将对应时间序列记为/>，将/>记为第i个表情出现的时间。将/>与/>信息输入LSTM预测模型，通过LSTM预测模型输出最终分类结果(1：neutral、2：serious、3：panic、4：curious、5：surprise、6：happiness、7：despise)，记为，其中/>为出现在t时刻的图片的分类结果。
在上述实施例的基础上，本发明一可选实施例中，步骤S3还包括步骤S3C1至步骤S3C3：
S3C1、基于终端轻量化神经网络模型，构建物体检测模型。
具体地，图像序列中包含有整个人物的图像信息。因此，直接对其进行手势识别计算量较大。在本实施例中，通过构建物体检测模型，来从图像序列中识别并提取手部图像。进而提高识别速度和正确率。在本实施例中，终端轻量化模型为MnasNet模型。物体检测模型为SSD模型。在其它实施例中，终端轻量化模型和物体检测模型还可以是其它现有的模型，本发明对此不做具体限定。
在上述实施例的基础上，本发明一可选实施例中，步骤S3C1包括步骤S3C11。
S3C11、构建以MnasNet模型为主干网络的SSD模型。如图4所示，其中，主干网络依次包括：1层卷积核为3x3的Conv，1层卷积核为3x3的SpeConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，4层卷积核为3x3的MBConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，1层卷积核为3x3的MBConv，1层Pooling或者1层FC。
具体地，将现有的SSD模型的主杆网络从VGG16卷积主干网络替换为MnasNet，能够减少目标检测过程中的计算量，大大提高目标检测的速度，具有很好的实际意义。
S3C2、通过物体检测模型，提取图像序列中的手部图像，并根据图像序列的时间生成手部图像序列。
在上述实施例的基础上，本发明一可选实施例中，步骤S3C2包括步骤S3C21至步骤S3C23。
S3C21、如图4所示，将图像序列逐帧输入主干网络，以使主干网络逐层对图像进行卷积。
S3C22、提取卷积过程中的尺度为112×112×16、56×56×24、28×28×40、14×14×112、7×7×100的五个中间层进行回归分析，以获得手部图像的区域
S3C23、根据区域从图像中提取手部图像。
在本实施例中，发明人选择在MnasNet中的尺度为112×112×16、56×56×24、28×28×40、14×14×112、7×7×100五个中间层作为SSD框架下的候选区，再在这些候选区中按照SSD的经典方式对候选区进行回归分析，得到最后的定位结果。
S3C3、根据手部图像序列，通过图像分类模型进行分类，以获得手势序列。
由于MnasNet的结构相比于VGG16较为简单，不足以完成定位的同时完成分类的任务，故为了实现对手势的分类，再分割出最终框选出的最终区域，并最后将分割出的图像进行预处理，将其处理为适合VGG16网络输入尺度的图像，输入至VGG16网络进行运算，由VGG16完成最后对手部姿态的分类。相比于传统经典的VGG16网络为主干的SSD框架，替换候选区采集主干网络为MnaNet网络结构，并在最后只对最后框选区使用VGG16进行分类的网络更为轻巧，量级更小，运算速度也相应的更加快速。两模型针对的参数组数对比如下所示。
具体地，通过将图像序列的每一帧输入基于MNaNet的SSD网络，通过MNaNet进行卷积等操作，提取MNaNet在卷积过程中的尺度为112×112×16、56×56×24、28×28×40、14×14×112、7×7×100五个中间层作为手部所在区域的候选区，对这五个候选区通过经典SSD的分析方式对这五个中间层进行回归分析。将这个五个区域中其中置信度最高的区域所标识的手部区域作为手部所在的候选区域，将该候选区域的手部位置映射到原图上，将原图上的对应位置区域扣取出来送入VGG16进行手部姿态类别的分类，得到最终结果。
在本实施例中，图像分类模型为VGG16分类模型。在其它实施例中，图像分类模型可以是其它分类/识别模型，本发明对此不做具体限定。
S4、根据各个安全系数，生成相应的安全报警等级。
在上述实施例的基础上，本发明一可选实施例中，步骤S4包括步骤S41至步骤S43。
S41、根据各个安全系数，计算目标区域中小于预设的安全系数阈值的人数、安全系数的第一平均值和相邻场景的安全系数第二平均值。
S42、将人数、第一平均值和第二平均值，按照时间顺序排列成时序特征。
S43、根据时序特征，通过预测模型进行预测，以获得安全报警等级。
具体地，首先计算场景中每个个体的特征向量。该特征向量计算方式为步骤S3中，计算得到的身体姿态、面部表情序列和手势序列。然后对这些特征向量进行回归分析计算出个体的安全系数。再将个体的安全系数与身体姿态、面部表情序列、手势序列的特征向量合并即得到各个个体的特征向量。
其中，安全系数的计算方法为：先获取一些处于危险状态的个体图片，人工对这些图片进行指标评判，打上1-10分的安全系数，再将这些图片送入步骤S3中的各个模型进行计算获得每个图片的三个特征向量V1、V2、V3，将三个特征向量与最终场景结果与人工打分结果合并生成一个样本。根据这些样本进行线性回归分析，根据生成的回归函数对要打分的场景进行计算，即将新场景的特征向量,/>,/>输入函数中计算得到安全系数
将目标区域中所有人物的特征向量计算出来之后。根据这些特征向量计算小于安全系数阈值的人数、平均阈值、邻近场景阈值等特征，并将其按采集时间排列为时序特征，最终送入LSTM进行安全等级评定，并根据评级结果以及具体使用场景实行相应级别的报警。其中，临近场景阈值为目标区域旁边的区域的安全系数阈值。
本发明实施例，通过从过个角度的监控视频中提取出各个人物的较为适合分析的一个角度的图像序列，然后分别分析目标区域内的各个人物的身体姿态、面部表情序列和手势序列，根据这些信息，通过回归分析计算得到每个人的安全系数，然后根据这些安全系数生成相应等级的警报。不需要安排人员实时盯着监控，并且能够及时的发现警情，具有很好的实际意义。
实施例二、本发明实施例提供一种安全监控装置，其包含：
视频模块1，用于接收目标区域的不同角度的多个监控视频。
图像模块2，用于根据多个监控视频，分别获取目标区域中的各个人物的图像序列。
系数模块3，用于根据图像序列，获取各个人物的身体姿态、面部表情序列和手势序列，并进行回归分析，以获得各个人物的安全系数。
等级模块4，用于根据各个安全系数，生成相应的安全报警等级。
可选地，图像模块2具体包括：
骨架单元，用于根据多个监控视频，通过OpenPose模型获取目标区域中的各个人物的不同角度的骨架信息。
区域单元，用于根据骨架信息，获取各个人物所在的图像区域。其中，图像区域为各个人物的骨架面积最大的图像所在的区域。
图像单元，用于图像区域，从多个监控视频中，分别提取各个人物的图像序列。
可选地，系数模块3包括：
人体模型模块5，用于根据图像序列，获取关节点数据，并建立人体骨骼模型。其中，关节点数据包括头部、颈部关节、躯干关节、右肩关节、右肘关节、右腕关节、左肩关节、左肘关节、左腕关节、右踝关节、左膝关节、左踝关节、左髋关节、左膝关节和左踝关节。
人体坐标模块6，用于根据人体骨骼模型，以躯干关节为原点，躯干关节指向颈部关节为Z轴，左肩关节指向右肩关节为x轴，人体朝向方向为Y轴建立人体动态坐标系。
人体参数模块7，用于根据人体动态坐标系，将各个关节的坐标根据身高进行归一化处理后，计算身体参数。其中，参数包括身高、头到x轴的第一距离、右脚到x轴的第二距离、左脚到x轴的第三距离、身体倾斜角度、脚部角速度、肩部中心角速度和矩信息。
人体姿态模块8，用于根据身体参数，通过SVM模型进行分类，以获得图像序列中人物的身体姿态。
可选地，系数模块3还包括：
区域模块9，用于通过人脸检测模型，获得图像序列中的人脸区域。
表情模块10，用于通过表情识别模型，获得人脸区域中的表情信息。
初始模块11，用于根据图像序列的时间顺序和表情信息，生成初始表情序列。
最终模块12，用于根据初始表情序列，通过预测模型进行校正，以获得面部表情序列。
可选地，人脸检测模型为YOLOv3人脸识别模型。表情识别模型为VGG16表情分类模型。
可选地，表情信息包括x类。其中，x类包括neutral、serious、panic、curious、surprise、happiness、despise。
可选地，初始模块11包括：
时间单元，用于图像序列中各帧的时间信息，生成时间序列T。
初始单元，用于根据时间序列，对表情信息进行排序，以获得初始表情序列I。
可选地，预测模型为LSTM模型。LSTM模型的输入长度为n，单位长度的特征包括x类。
可选地，最终模块12包括：
输入单元，用于根据初始表情序列，分割成长度为n的输入序列。
输出单元，用于将输入序列输入至预测模型，以获得长度为n的输出序列。
最终单元，用于根据输出序列，获得面部表情序列。
可选地，输入长度n为11帧。
可选地，系数模块3还包括：
模型模块13，用于基于终端轻量化神经网络模型，构建物体检测模型。
检测模块14，用于通过物体检测模型，提取图像序列中的手部图像，并根据图像序列的时间生成手部图像序列。
分类模块15，用于根据手部图像序列，通过图像分类模型进行分类，以获得手势序列。
可选地，终端轻量化模型为MnasNet模型。物体检测模型为SSD模型。
可选地，模型模块13具体用于：
构建以MnasNet模型为主干网络的SSD模型。其中，主干网络依次包括：1层卷积核为3x3的Conv，1层卷积核为3x3的SpeConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，4层卷积核为3x3的MBConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，1层卷积核为3x3的MBConv，1层Pooling或者1层FC。
可选地，检测模块14包括：
卷积单元，用于将图像序列逐帧输入主干网络，以使主干网络逐层对图像进行卷积。
分析单元，用于提取卷积过程中的尺度为112×112×16、56×56×24、28×28×40、14×14×112、7×7×100的五个中间层进行回归分析，以获得手部图像的区域
提取单元，用于根据区域从图像中提取手部图像。
可选地，等级模块4包括：
阈值单元，用于根据各个安全系数，计算目标区域中小于预设的安全系数阈值的人数、安全系数的第一平均值和相邻场景的安全系数第二平均值。
时序单元，用于将人数、第一平均值和第二平均值，按照时间顺序排列成时序特征。
等级单元，用于根据时序特征，通过预测模型进行预测，以获得安全报警等级。
实施例三、本发明实施例提供一种安全监控设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如第一方面所说的安全监控方法。
实施例四、本发明实施例提供一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如第一方面所说的安全监控方法。
实施例五、本实施例的表情识别方法，其实现原理和产生的技术效果和实施例一相同，本实施例为简要描述。本实施例未提及之处，可参考实施例一。
请参阅图8，本发明实施例提供一种智能监控的表情识别方法，其可以由智能监控的表情识别设备或者安全监控设备来执行。特别地，由表情识别设备或者安全监控设备内的一个或多个处理器来执行，以至少实现步骤S3B0至步骤S3B4。
S3B0、获取图像序列。其中，图像序列包含有目标人物。
S3B1、通过人脸检测模型，获得图像序列中的人脸区域。
S3B2、通过表情识别模型，获得人脸区域中的表情信息。
S3B3、根据图像序列的时间顺序和表情信息，生成初始表情序列。
S3B4、根据初始表情序列，通过预测模型进行校正，以获得面部表情序列。
可选地，人脸检测模型为YOLOv3人脸识别模型。表情识别模型为VGG16表情分类模型。
可选地，表情信息包括x类。其中，x类包括neutral、serious、panic、curious、surprise、happiness、despise。
可选地，步骤S3B3具体包括：
S3B31、图像序列中各帧的时间信息，生成时间序列T。
S3B32根据时间序列，对表情信息进行排序，以获得初始表情序列I。
可选地，预测模型为LSTM模型。LSTM模型的输入长度为n，单位长度的特征包括x类。
可选地，步骤S3B4具体包括：
S3B41、根据初始表情序列，分割成长度为n的输入序列。
S3B42、将输入序列输入至预测模型，以获得长度为n的输出序列。
S3B43、根据输出序列，获得面部表情序列。
可选地，输入长度n为11帧。
可选地，步骤S3B0具体包括步骤S1和S2：
S1、接收目标区域的不同角度的多个监控视频。
S2、根据多个监控视频，分别获取目标区域中的各个人物的图像序列。
可选地，步骤S2具体包括：
S21、根据多个监控视频，通过OpenPose模型获取目标区域中的各个人物的不同角度的骨架信息。
S22、根据骨架信息，获取各个人物所在的图像区域。其中，图像区域为各个人物的骨架面积最大的图像所在的区域。
S23、根据图像区域，从多个监控视频中，分别提取各个人物的图像序列。
在步骤S3B4之后还包括：
S3、根据面部表情序列进行回归分析，以获得各个人物的安全系数。
S4、根据各个安全系数，生成相应的安全报警等级。
在上述实施例的基础上，本发明一可选实施例中，步骤S4包括步骤S41至步骤S43。
S41、根据各个安全系数，计算目标区域中小于预设的安全系数阈值的人数、安全系数的第一平均值和相邻场景的安全系数第二平均值。
S42、将人数、第一平均值和第二平均值，按照时间顺序排列成时序特征。
S43、根据时序特征，通过预测模型进行预测，以获得安全报警等级。
具体的实施方法请参照实施例一。在本实施例中为了节省计算量，提高识别速度，省略了关于身体姿态和手势序列的部分。在其它实施例中，也可以只省略身体姿态和手势序列中的一个。
实施例六、请参阅图9，本发明实施例提供一种智能监控的表情识别装置，其包含：
序列模块0，用于获取图像序列。其中，图像序列中包含有人的图像。
区域模块9，用于通过人脸检测模型，获得图像序列中的人脸区域。
表情模块10，用于通过表情识别模型，获得人脸区域中的表情信息。
初始模块11，用于根据图像序列的时间顺序和表情信息，生成初始表情序列。
最终模块12，用于根据初始表情序列，通过预测模型进行校正，以获得面部表情序列。
可选地，人脸检测模型为YOLOv3人脸识别模型。表情识别模型为VGG16表情分类模型。
可选地，表情信息包括x类。其中，x类包括neutral、serious、panic、curious、surprise、happiness、despise。
可选地，初始模块11，具体包括：
时间单元，用于根据图像序列中各帧的时间信息，生成时间序列T。
初始单元，用于根据时间序列，对表情信息进行排序，以获得初始表情序列I。
可选地，预测模型为LSTM模型。LSTM模型的输入长度为n，单位长度的特征包括x类。
可选地，最终模块12，具体包括：
输入单元，用于根据初始表情序列，分割成长度为n的输入序列。
输出单元，用于将输入序列输入至预测模型，以获得长度为n的输出序列。
最终单元，用于根据输出序列，获得面部表情序列。
可选地，输入长度n为11帧。
可选地，序列模块0包括实施例一中的视频模块和图像模块,其包括：
接收单元，用于接收目标区域的不同角度的多个监控视频。
骨架单元，用于根据多个监控视频，通过OpenPose模型获取目标区域中的各个人物的不同角度的骨架信息。
区域单元，用于根据骨架信息，获取各个人物所在的图像区域。其中，图像区域为各个人物的骨架面积最大的图像所在的区域。
图像单元，用于根据图像区域，从多个监控视频中，分别提取各个人物的图像序列。
可选地，序列模块0包括实施例一中的视频模块和图像模块,其包括：
视频模块，用于接收目标区域的不同角度的多个监控视频。
图像模块，用于根据多个监控视频，分别获取目标区域中的各个人物的图像序列。
可选地，图像模块包括：
骨架单元，用于根据多个监控视频，通过OpenPose模型获取目标区域中的各个人物的不同角度的骨架信息。
区域单元，用于根据骨架信息，获取各个人物所在的图像区域。其中，图像区域为各个人物的骨架面积最大的图像所在的区域。
图像单元，用于根据图像区域，从多个监控视频中，分别提取各个人物的图像序列。
表情识别装置还包括：
系数模块3，用于根据面部表情序列进行回归分析，以获得各个人物的安全系数。
等级模块4，用于根据各个安全系数，生成相应的安全报警等级。
在上述实施例的基础上，本发明一可选实施例中，等级模块4包括。
阈值单元，用于根据各个安全系数，计算目标区域中小于预设的安全系数阈值的人数、安全系数的第一平均值和相邻场景的安全系数第二平均值。
时序单元，用于将人数、第一平均值和第二平均值，按照时间顺序排列成时序特征。
等级单元，用于根据时序特征，通过预测模型进行预测，以获得安全报警等级。
实施例七、本发明实施例提供一种智能监控的表情识别设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如实施例五所说的智能监控的表情识别方法。
实施例八、本发明实施例提供计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如实施例五所说的智能监控的表情识别方法。
实施例九、本实施例的手势识别方法，其实现原理和产生的技术效果和实施例一相同，本实施例为简要描述。本实施例未提及之处，可参考实施例一。
请参阅图10，本发明实施例提供了一种智能监控的手势识别方法，其可以由智能监控的手势识别设备或者安全监控设备来执行。特别地，由手势识别设备或者安全监控设备内的一个或多个处理器来执行，以至少实现步骤S3C0至步骤S3C3。
S3C0、获取图像序列。其中，图像序列包含有目标人物。
S3C1、基于终端轻量化神经网络模型，构建物体检测模型。
S3C2、通过物体检测模型，提取图像序列中的手部图像，并根据图像序列的时间生成手部图像序列。
S3C3、根据手部图像序列，通过图像分类模型进行分类，以获得手势序列。
可选地，终端轻量化模型为MnasNet模型。物体检测模型为SSD模型。
可选地，步骤S3C1具体包括：
S3C11、构建以MnasNet模型为主干网络的SSD模型。其中，主干网络依次包括：1层卷积核为3x3的Conv，1层卷积核为3x3的SpeConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，4层卷积核为3x3的MBConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，1层卷积核为3x3的MBConv，1层Pooling或者1层FC。
可选地，步骤S3C2具体包括：
S3C21、将图像序列逐帧输入主干网络，以使主干网络逐层对图像进行卷积。
S3C22、提取卷积过程中的尺度为112×112×16、56×56×24、28×28×40、14×14×112、7×7×100的五个中间层进行回归分析，以获得手部图像的区域
S3C23、根据区域从图像中提取手部图像。
可选地，步骤S3C0具体包括步骤S1和S2：
S1、接收目标区域的不同角度的多个监控视频。
S2、根据多个监控视频，分别获取目标区域中的各个人物的图像序列。
可选地，步骤S2具体包括：
S21、根据多个监控视频，通过OpenPose模型获取目标区域中的各个人物的不同角度的骨架信息。
S22、根据骨架信息，获取各个人物所在的图像区域。其中，图像区域为各个人物的骨架面积最大的图像所在的区域。
S23、根据图像区域，从多个监控视频中，分别提取各个人物的图像序列。
在步骤S3C3之后还包括：
S3、根据手势序列进行回归分析，以获得各个人物的安全系数。
S4、根据各个安全系数，生成相应的安全报警等级。
在上述实施例的基础上，本发明一可选实施例中，步骤S4包括步骤S41至步骤S43。
S41、根据各个安全系数，计算目标区域中小于预设的安全系数阈值的人数、安全系数的第一平均值和相邻场景的安全系数第二平均值。
S42、将人数、第一平均值和第二平均值，按照时间顺序排列成时序特征。
S43、根据时序特征，通过预测模型进行预测，以获得安全报警等级。
具体的实施方法请参照实施例一。在本实施例中为了节省计算量，提高识别速度，省略了关于身体姿态和面部表情序列的部分。在其它实施例中，也可以只省略身体姿态和面部表情序列中的一个。
实施例十、请参阅图11，本发明实施例提供一种智能监控的手势识别装置，其包含：
序列模块0，用于获取图像序列。其中，图像序列包含有目标人物。
模型模块13，用于基于终端轻量化神经网络模型，构建物体检测模型。
检测模块14，用于通过物体检测模型，提取图像序列中的手部图像，并根据图像序列的时间生成手部图像序列。
分类模块15，用于根据手部图像序列，通过图像分类模型进行分类，以获得手势序列。
可选地，终端轻量化模型为MnasNet模型。物体检测模型为SSD模型。
可选地，模型模块13具体用于：
构建以MnasNet模型为主干网络的SSD模型。其中，主干网络依次包括：1层卷积核为3x3的Conv，1层卷积核为3x3的SpeConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，4层卷积核为3x3的MBConv，2层卷积核为3x3的MBConv，3层卷积核为5x5的MBConv，1层卷积核为3x3的MBConv，1层Pooling或者1层FC。
可选地，检测模块14，包括：
卷积单元，用于将图像序列逐帧输入主干网络，以使主干网络逐层对图像进行卷积。
分析单元，用于提取卷积过程中的尺度为112×112×16、56×56×24、28×28×40、14×14×112、7×7×100的五个中间层进行回归分析，以获得手部图像的区域
提取单元，用于根据区域从图像中提取手部图像。
可选地，序列模块0包括实施例一中的视频模块和图像模块,其包括：
接收单元，用于接收目标区域的不同角度的多个监控视频。
骨架单元，用于根据多个监控视频，通过OpenPose模型获取目标区域中的各个人物的不同角度的骨架信息。
区域单元，用于根据骨架信息，获取各个人物所在的图像区域。其中，图像区域为各个人物的骨架面积最大的图像所在的区域。
图像单元，用于根据图像区域，从多个监控视频中，分别提取各个人物的图像序列。
手势识别装置还包括：
系数模块3，用于根据手势序列进行回归分析，以获得各个人物的安全系数。
等级模块4，用于根据各个安全系数，生成相应的安全报警等级。
在上述实施例的基础上，本发明一可选实施例中，等级模块4包括。
阈值单元，用于根据各个安全系数，计算目标区域中小于预设的安全系数阈值的人数、安全系数的第一平均值和相邻场景的安全系数第二平均值。
时序单元，用于将人数、第一平均值和第二平均值，按照时间顺序排列成时序特征。
等级单元，用于根据时序特征，通过预测模型进行预测，以获得安全报警等级。
实施例十一、本发明实施例提供一种智能监控的手势识别设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如实施例九所说的手势识别方法。
实施例十二、本发明实施例提供一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如实施例九所说的智能监控的手势识别方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种安全监控方法，其特征在于，包含：
接收目标区域的不同角度的多个监控视频；
根据多个所述监控视频，分别获取所述目标区域中的各个人物的图像序列；
根据所述图像序列，获取各个所述人物的身体姿态、面部表情序列和手势序列，并进行回归分析，以获得各个所述人物的安全系数；
根据各个所述安全系数，生成相应的安全报警等级；
根据多个所述监控视频，分别获取所述目标区域中的各个人物的图像序列，具体为：
根据多个所述监控视频，通过OpenPose模型获取所述目标区域中的各个人物的不同角度的骨架信息；
根据所述骨架信息，获取各个所述人物所在的图像区域；其中，所述图像区域为各个所述人物的骨架面积最大的图像所在的区域；
根据所述图像区域，从多个所述监控视频中，分别提取各个所述人物的图像序列；
根据所述图像序列，获取各个所述人物的身体姿态，具体为：
根据所述图像序列，获取关节点数据，并建立人体骨骼模型；其中，所述关节点数据包括头部、颈部关节、躯干关节、右肩关节、右肘关节、右腕关节、左肩关节、左肘关节、左腕关节、右踝关节、左膝关节、左踝关节、左髋关节、左膝关节和左踝关节；
根据所述人体骨骼模型，以躯干关节为原点，躯干关节指向颈部关节为Z轴，左肩关节指向右肩关节为x轴，人体朝向方向为Y轴建立人体动态坐标系；
根据所述人体动态坐标系，将各个关节的坐标根据身高进行归一化处理后，计算身体参数；其中，所述参数包括身高、头到x轴的第一距离、右脚到x轴的第二距离、左脚到x轴的第三距离、身体倾斜角度、脚部角速度、肩部中心角速度和矩信息；
根据所述身体参数，通过SVM模型进行分类，以获得所述图像序列中人物的所述身体姿态；
根据各个所述安全系数，生成相应的安全报警等级，具体为：
根据各个所述安全系数，计算所述目标区域中小于预设的安全系数阈值的人数、安全系数的第一平均值和相邻场景的安全系数第二平均值；其中，所述相邻场景为目标区域旁边的区域的场景；
将所述人数、第一平均值和第二平均值，按照时间顺序排列成时序特征；
根据所述时序特征，通过预测模型进行预测，以获得所述安全报警等级；
安全系数的计算方法为：先获取处于危险状态的个体图片，人工对这些图片进行指标评判，打上1-10分的安全系数；再获取这些图片的身体姿态特征向量V1、面部表情序列特征向量V2和手势序列特征向量V3，然后将三个特征向量与最终场景结果与人工打分结果合并生成一个样本，并根据这些样本进行线性回归分析生成回归函数；后续根据生成的回归函数对要打分的场景进行计算，即将新场景的特征向量,/>,/>输入回归函数中计算得到安全系数。
2.根据权利要求1所述的安全监控方法，其特征在于，根据所述图像序列，获取各个所述人物的面部表情序列，具体为：
通过人脸检测模型，获得所述图像序列中的人脸区域；
通过表情识别模型，获得所述人脸区域中的表情信息；
根据所述图像序列的时间顺序和所述表情信息，生成初始表情序列；
根据所述初始表情序列，通过预测模型进行校正，以获得所述面部表情序列。
3.根据权利要求1所述的安全监控方法，其特征在于，根据所述图像序列，获取各个所述人物的手部动作序列，具体为：
基于终端轻量化神经网络模型，构建物体检测模型；
通过所述物体检测模型，提取所述图像序列中的手部图像，并根据所述图像序列的时间生成手部图像序列；
根据所述手部图像序列，通过图像分类模型进行分类，以获得所述手势序列。
4.一种安全监控装置，其特征在于，包含：
视频模块，用于接收目标区域的不同角度的多个监控视频；
图像模块，用于根据多个所述监控视频，分别获取所述目标区域中的各个人物的图像序列；
系数模块，用于根据所述图像序列，获取各个所述人物的身体姿态、面部表情序列和手势序列，并进行回归分析，以获得各个所述人物的安全系数；
等级模块，用于根据各个所述安全系数，生成相应的安全报警等级；
所述图像模块包括：
骨架单元，用于根据多个所述监控视频，通过OpenPose模型获取所述目标区域中的各个人物的不同角度的骨架信息；
区域单元，用于根据所述骨架信息，获取各个所述人物所在的图像区域；其中，所述图像区域为各个所述人物的骨架面积最大的图像所在的区域；
图像单元，用于根据所述图像区域，从多个所述监控视频中，分别提取各个所述人物的图像序列；
系数模块包括：
人体模型模块，用于根据图像序列，获取关节点数据，并建立人体骨骼模型；其中，关节点数据包括头部、颈部关节、躯干关节、右肩关节、右肘关节、右腕关节、左肩关节、左肘关节、左腕关节、右踝关节、左膝关节、左踝关节、左髋关节、左膝关节和左踝关节；
人体坐标模块，用于根据人体骨骼模型，以躯干关节为原点，躯干关节指向颈部关节为Z轴，左肩关节指向右肩关节为x轴，人体朝向方向为Y轴建立人体动态坐标系；
人体参数模块，用于根据人体动态坐标系，将各个关节的坐标根据身高进行归一化处理后，计算身体参数；其中，参数包括身高、头到x轴的第一距离、右脚到x轴的第二距离、左脚到x轴的第三距离、身体倾斜角度、脚部角速度、肩部中心角速度和矩信息；
人体姿态模块，用于根据身体参数，通过SVM模型进行分类，以获得图像序列中人物的身体姿态；
等级模块包括：
阈值单元，用于根据各个安全系数，计算目标区域中小于预设的安全系数阈值的人数、安全系数的第一平均值和相邻场景的安全系数第二平均值；其中，所述相邻场景为目标区域旁边的区域的场景；
时序单元，用于将人数、第一平均值和第二平均值，按照时间顺序排列成时序特征；
等级单元，用于根据时序特征，通过预测模型进行预测，以获得安全报警等级；
安全系数的计算方法为：先获取处于危险状态的个体图片，人工对这些图片进行指标评判，打上1-10分的安全系数；再获取这些图片的身体姿态特征向量V1、面部表情序列特征向量V2和手势序列特征向量V3，然后将三个特征向量与最终场景结果与人工打分结果合并生成一个样本，并根据这些样本进行线性回归分析生成回归函数；后续根据生成的回归函数对要打分的场景进行计算，即将新场景的特征向量,/>,/>输入回归函数中计算得到安全系数。
5.一种安全监控设备，其特征在于，包括处理器、存储器，以及存储在所述存储器内的计算机程序；所述计算机程序能够被所述处理器执行，以实现如权利要求1至3任意一项所述的安全监控方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至3任意一项所述的安全监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110694168.7A CN113408435B (zh) | 2021-06-22 | 2021-06-22 | 一种安全监控方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110694168.7A CN113408435B (zh) | 2021-06-22 | 2021-06-22 | 一种安全监控方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113408435A CN113408435A (zh) | 2021-09-17 |
| CN113408435B true CN113408435B (zh) | 2023-12-05 |
Family
ID=77682469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110694168.7A Active CN113408435B (zh) | 2021-06-22 | 2021-06-22 | 一种安全监控方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113408435B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114021945A (zh) * | 2021-11-02 | 2022-02-08 | 青岛海尔工业智能研究院有限公司 | 一种生产监督方法、装置、服务器和存储介质 |
| CN114973398B (zh) * | 2022-03-28 | 2023-02-21 | 慧之安信息技术股份有限公司 | 视图库摄像机分等级报警方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530633A (zh) * | 2016-09-28 | 2017-03-22 | 中国人民解放军国防科学技术大学 | 一种智能事中处置的安防方法及系统 |
| CN109767526A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 安防方法、装置、计算机设备和存储介质 |
| CN110059593A (zh) * | 2019-04-01 | 2019-07-26 | 华侨大学 | 一种基于反馈卷积神经网络的面部表情识别方法 |
| CN110378855A (zh) * | 2019-07-18 | 2019-10-25 | 博瓦鲸视(深圳)科技有限公司 | 一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法 |
| CN110837778A (zh) * | 2019-10-12 | 2020-02-25 | 南京信息工程大学 | 一种基于骨架关节点序列的交警指挥手势识别方法 |
| CN111385530A (zh) * | 2018-12-29 | 2020-07-07 | 杭州登虹科技有限公司 | 一种智能摄像机组合加密方法及系统 |
| CN111461182A (zh) * | 2020-03-18 | 2020-07-28 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN111814775A (zh) * | 2020-09-10 | 2020-10-23 | 平安国际智慧城市科技股份有限公司 | 目标对象异常行为识别方法、装置、终端及存储介质 |
| WO2020247545A1 (en) * | 2019-06-04 | 2020-12-10 | Northeastern University | Lightweight decompositional convolution neural network |
| WO2021042547A1 (zh) * | 2019-09-04 | 2021-03-11 | 平安科技（深圳）有限公司 | 行为识别方法、装置及计算机可读存储介质 |
| AU2021101815A4 (en) * | 2020-12-04 | 2021-05-27 | Zhengzhou Zoneyet Technology Co., Ltd. | Human-computer interaction method and system based on dynamic gesture recognition |
| WO2021114434A1 (zh) * | 2019-12-11 | 2021-06-17 | 上海交通大学 | 多视图相机位姿和场景的纯位姿解算方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10789456B2 (en) * | 2017-12-28 | 2020-09-29 | Adobe Inc. | Facial expression recognition utilizing unsupervised learning |
-
2021
- 2021-06-22 CN CN202110694168.7A patent/CN113408435B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530633A (zh) * | 2016-09-28 | 2017-03-22 | 中国人民解放军国防科学技术大学 | 一种智能事中处置的安防方法及系统 |
| CN109767526A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 安防方法、装置、计算机设备和存储介质 |
| CN111385530A (zh) * | 2018-12-29 | 2020-07-07 | 杭州登虹科技有限公司 | 一种智能摄像机组合加密方法及系统 |
| CN110059593A (zh) * | 2019-04-01 | 2019-07-26 | 华侨大学 | 一种基于反馈卷积神经网络的面部表情识别方法 |
| WO2020247545A1 (en) * | 2019-06-04 | 2020-12-10 | Northeastern University | Lightweight decompositional convolution neural network |
| CN110378855A (zh) * | 2019-07-18 | 2019-10-25 | 博瓦鲸视(深圳)科技有限公司 | 一种构建包含人物身形、面部表情、手势、姿态动作的人物统计模型的方法 |
| WO2021042547A1 (zh) * | 2019-09-04 | 2021-03-11 | 平安科技（深圳）有限公司 | 行为识别方法、装置及计算机可读存储介质 |
| CN110837778A (zh) * | 2019-10-12 | 2020-02-25 | 南京信息工程大学 | 一种基于骨架关节点序列的交警指挥手势识别方法 |
| WO2021114434A1 (zh) * | 2019-12-11 | 2021-06-17 | 上海交通大学 | 多视图相机位姿和场景的纯位姿解算方法及系统 |
| CN111461182A (zh) * | 2020-03-18 | 2020-07-28 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN111814775A (zh) * | 2020-09-10 | 2020-10-23 | 平安国际智慧城市科技股份有限公司 | 目标对象异常行为识别方法、装置、终端及存储介质 |
| AU2021101815A4 (en) * | 2020-12-04 | 2021-05-27 | Zhengzhou Zoneyet Technology Co., Ltd. | Human-computer interaction method and system based on dynamic gesture recognition |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113408435A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109598229B (zh) | 基于动作识别的监控系统及其方法 | |
| CN110991340B (zh) | 一种基于图像压缩的人体动作分析方法 | |
| CN109165685B (zh) | 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统 | |
| US20220180534A1 (en) | Pedestrian tracking method, computing device, pedestrian tracking system and storage medium | |
| US20100033574A1 (en) | Method and System for Object Surveillance and Real Time Activity Recognition | |
| CN113408435B (zh) | 一种安全监控方法、装置、设备和存储介质 | |
| CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
| Zhou et al. | Learning to estimate 3d human pose from point cloud | |
| CN110555975A (zh) | 一种防溺水的监控方法及系统 | |
| CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
| CN113111733B (zh) | 一种基于姿态流的打架行为识别方法 | |
| CN111783702A (zh) | 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法 | |
| CN114550027A (zh) | 基于视觉的运动视频精细分析方法和装置 | |
| CN110956141A (zh) | 一种基于局部识别的人体连续动作快速分析方法 | |
| CN115116127A (zh) | 一种基于计算机视觉和人工智能的跌倒检测方法 | |
| CN116229507A (zh) | 人体姿态检测方法及系统 | |
| Yan et al. | Human-object interaction recognition using multitask neural network | |
| CN114663796A (zh) | 一种目标人物持续跟踪方法、装置及系统 | |
| Huang et al. | Spatial relationship-aware rapid entire body fuzzy assessment method for prevention of work-related musculoskeletal disorders | |
| CN113221815A (zh) | 一种基于骨骼关键点自动检测技术的步态鉴定方法 | |
| CN114639168B (zh) | 一种用于跑步姿态识别的方法和系统 | |
| CN113408434B (zh) | 一种智能监控的表情识别方法、装置、设备和存储介质 | |
| CN113408433B (zh) | 一种智能监控的手势识别方法、装置、设备和存储介质 | |
| CN117253282A (zh) | 一种基于双摄相机的多人混合式人体跌倒检测系统和方法 | |
| CN116402811A (zh) | 一种打架斗殴行为识别方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |