CN111666829A - 多场景多主体身份行为情绪识别分析方法及智能监管系统 - Google Patents
多场景多主体身份行为情绪识别分析方法及智能监管系统 Download PDFInfo
- Publication number
- CN111666829A CN111666829A CN202010417747.2A CN202010417747A CN111666829A CN 111666829 A CN111666829 A CN 111666829A CN 202010417747 A CN202010417747 A CN 202010417747A CN 111666829 A CN111666829 A CN 111666829A
- Authority
- CN
- China
- Prior art keywords
- user
- data
- class
- early warning
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 165
- 238000004458 analytical method Methods 0.000 title claims abstract description 90
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 164
- 238000012544 monitoring process Methods 0.000 claims abstract description 88
- 238000007726 management method Methods 0.000 claims abstract description 54
- 230000002996 emotional effect Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 132
- 230000008569 process Effects 0.000 claims description 82
- 238000012549 training Methods 0.000 claims description 65
- 238000012360 testing method Methods 0.000 claims description 57
- 230000014509 gene expression Effects 0.000 claims description 50
- 238000004364 calculation method Methods 0.000 claims description 46
- 230000008451 emotion Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 38
- 230000008921 facial expression Effects 0.000 claims description 22
- 206010011469 Crying Diseases 0.000 claims description 13
- 238000010191 image analysis Methods 0.000 claims description 10
- 230000000977 initiatory effect Effects 0.000 claims description 10
- 238000004380 ashing Methods 0.000 claims description 9
- 206010063659 Aversion Diseases 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000013481 data capture Methods 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000036651 mood Effects 0.000 abstract description 2
- 230000002349 favourable effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 14
- 238000011176 pooling Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008918 emotional behaviour Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
多场景多主体身份行为情绪识别分析方法及智能监管系统，可以应用到智能视频监控、智能考勤和智能教学等领域，系统包括视频采集装置、前端智控探测预警装置、后端智控探测预警服务器、监控管理端等。本发明将基于人工智能技术的视频图像采集及分析、用户行为采集及分析结合，实现多角度多维度对情感状态、内容等进行智能分析和监控预警。本专利针对多个场景下多名主体的情绪与效率的监控领域，可解决智能教室和智能教学等领域的不同需求，有利于教师及时地了解所有学生的学习情况，对学生的疑问进行反馈和解答，并进行教学进度和速度上的调整。
Description
技术领域
本发明提出了一种多场景多主体身份情绪行为识别方法及智能监控系统，可以应用到 智能视频监控、智能考勤系统和智能教学系统等领域。
背景技术
近几年来，随着国内科学技术的飞速发展，人工智能和机器学习这两个领域不断取得 新的成就。人工智能作为一个多学科交叉的领域，在人类的情绪、行为和效率的监控方面 具有重大作用。目前，基于非生理信号的情绪识别在智能通信和教育等方面有突出表现， 而智能视频监控技术也在智能交通、公共安全、楼宇智能化等领域成功解决了诸多问题。
将基于人工智能大数据技术的视频图像采集、视频图像分析、用户行为采集、用户行 为分析相结合，可以很大程度上提高预测结果的准确性和合理性，为提升多人脸识别及多 人脸表情识别奠定了坚实的基础。本专利针对多个场景下多名主体的情绪与效率的监控领 域，紧密结合工位或教学方面的实际情况，运用多种技术实现了高性能智能系统。
当前智能视频监控和智能考勤领域存在的问题是：(1)缺少对于大量流动人员的身 份识别能力，现有的签到系统为逐个排队签到，地点单一，人员集中时耗时较长；缺少过程性机制，如工位上、休息区的签到机制；(2)缺少对于大量流动人员的情感探查能力， 无法对大量工位或监控区域内的人员的表情侦测，以识别其工作状态和是否可疑；(3) 缺少对于大量流动人员的行为效率的监控能力。员工是企业活动的主体,也是最活跃的因素 和资源，他们的行为表现将直接或间接影响着整体效率。
当前智慧教室、智慧机房和智能教学领域存在的问题是：(1)无法快速完成不同定位的多人签到，传统的点名签到机制浪费时间；(2)缺少对学生学习状态的感知，尤其 在线上的教学过程中，教师无法得知学生的听讲情况；(3)缺乏学习效果实时绩效审计 与实时交互，教师难以了解当下学生对知识的掌握程度，造成讲学不同步的窘况；
发明内容
本发明的目的在于：(1)解决上述问题，实现多个区域多人的快速签到与定位，提高效率；(2)通过对大量人员人脸表情的视频图像进行采集，实时反映情感状态，实现 智能分析和监管；(3)完成对员工或者学生进行行为效率的监控，方便决策层或管理层 人员对现有状态进行调整安排或远程快速部署。
为了实现上述目的，本发明采取了如下技术方案，包括两部分：一是多场景多主体身 份行为情绪识别分析方法10000参见图1，二是基于多场景多主体身份行为情绪识别分析 方法10000的智能监管系统20000参见图2；
1.多场景多主体身份行为情绪识别分析方法(10000)，其特征在于，该方法包括五个 流程：(1)启动探测预警流程200，(2)停止探测预警流程300，(3)人脸表情训练 流程500，(4)内容分析流程600，(5)前端探测预警流程100；
(1)启动探测预警流程200：该流程的功能是启动前端探测预警；
步骤201：启动探测预警：将第n个前端智控探测预警设备的标志位设置为1，即System_Start(n)＝1；
(2)停止探测预警流程300：该流程的功能是停止前端探测预警；
步骤301：停止探测预警：将第n个前端智控探测预警设备的标志位位置为0，即System_Start(n)＝0；
(3)人脸表情训练流程500：该流程的功能是训练人脸表情识别模型；
步骤501：启动训练，步骤501由步骤501.1至步骤501.2两个步骤组成：
步骤501.1：训练表情识别模型：
步骤501.1的输入是：样本是由P张图片组成的数据集，每张图片的文件名是 pic_x_y_zzzzzz.jpg，其中x表示该图片对应的情感类别值，y表示该图片属于训练样本还 是测试样本，zzzzzz表示图片编号；
步骤501.1的输出是：训练后的模型EmotionModel；
步骤501.1的实现方法是：由步骤501.1.1至步骤501.1.4共4个步骤组成；
步骤501.1.1：该步骤将图片转化成为数组；样本是P张图片，根据每个图片文件和图片名称pic_x_y_zzzzzz.jpg，将该图片转化为数据data(pIMG,pType)， data(pIMG,pType)的数据结构如下：data由P行3列构成，data的每一行表示一个图片 的信息，pIMG对应zzzzzz是图片编号；
当pType＝1时，data(pIMG，1)用来存储第pIMG张图片的像素data(pIMG,1)＝ img(pIMG，mIMG，nIMG，cIMG)，该图像每个像素点的值,其中mIMG表示图像像素的行数， nIMG表示图像像素的列数，cIMG表示图像像素的RGB通道号，因此cIMG＝1,2,3；每个 图片的维度大小为size×size，因此，mIMG＝1,2,…,size,nIMG＝1,2,…,size；
当pType＝2时，data(pIMG，2)用来存储第pIMG张图片的情感标签值， data(pIMG,2)的取值在集合eIMG中，即data(pIMG,2)＝eIMG，eIMG＝{1,2,…，10}， 按照情感极性由消极到积极的程度，具体表情对应的标签如下：1大哭、2伤心、3憎恨、 4厌恶、5沮丧、6严肃、7微笑、8喜悦、9惊讶、10大笑，其中eIMG对应x是情感标签；
当pType＝3时，data(pIMG，3)用来存储第pIMG张图片是训练样本还是测试样本，data(pIMG，3)的取值在集合gIMG中，gIMG＝{0，1}即第pIMG个样本图像如果是训练样本 则data(pIMG,3)＝0，如果是测试样本则data(pIMG,3)＝1，其中gIMG对应y是训练样 本或测试样本的类别值；
步骤501.1.2:该步骤将图像进行灰化；将图像从RGB模式转换为L模式，降低计算复 杂度，该步骤的输入是从步骤501.1输出的图像像素值矩阵data(pIMG,1)，该步骤的输出 是灰化后的图片data_gray(pIMG)；
步骤501.1.2将图片从模式RGB转换为灰化L模式的计算方式见公式(1)：
data_gray(pIMG)＝ToGray(data(pIMG,1)) (1)
步骤501.1.3：该步骤将数据划分为训练集和测试集，根据样本图像的第三列，即训 练集与测试集的标记列，将图像数据集划分为训练集和测试集。输出训练集的特征为：x_train(pIMG),训练集的标签为：y_train(pIMG),测试集的特征为：x_test(pIMG)，测 试集的标签为：y_test(pIMG)，计算方式见公式(2)、(3)、(4)、(5)；
当data(pIMG,3)＝0时，表示这些数据是训练集数据，即：
x_train(pIMG)＝data_gray(pIMG) (2)
y_train(pIMG)＝data(pIMG,2) (3)
当data(pIMG,3)＝1时，表示这些数据是测试集数据，即：
x_test(pIMG)＝data_gray(pIMG) (4)
y_test(pIMG)＝data(pIMG,2) (5)
步骤501.1.4:该步骤将训练表情识别模型，使用卷积神经网络进行训练，该步骤的输 入为x_train(pIMG)、y_train(pIMG)、x_test(pIMG)、y_test(pIMG)，输出为模型评价指 标准确率accuracy，训练模型的计算方式见公式(6)：
EmotionModel＝FIT(x_train(pIMG),y_train(pIMG)) (6)
测试模型准确率的的计算方式见公式(7)：
Accuracy＝EmotionModel(x_test(pIMG),y_test(pIMG)) (7)
当模型准确率accuracy达到95％以上时，停止训练，模型保存为EmotionModel；
步骤501.2：训练人脸识别模型；
步骤501.2的输入是：样本是由Q张图片组成的数据集，每张图片的文件名是 pic_userName_id_number_aaaaaa.jpg，其中userNmae表示该张图片所对应的人物的真 实姓名，id表示该张图片所对应的人物的唯一ID索引号，number表示第id个人物的第 number张图片，aaaaaa表示图片编号；
步骤501.2的输出是：训练后的模型FaceModel，识别出该人是谁；
步骤501.2的实现方法是：由步骤501.2.1至步骤501.2.3共3个步骤组成；
步骤501.2.1：该步骤将图片转化成为数组；样本是Q张图片，根据每个图片文件和图片名称pic_userName_id_number_aaaaaa.jpg，将该图片转化为数据 dataface(qIMG,qType)，dataface(qIMG,qType)的数据结构如下：dataface由Q行4列 构成，dataface的每一行表示一个图片的信息，qIMG对应aaaaaa是图片编号；
当qType＝1时，data(qIMG,1)用来存储第qIMG张图片的像素，data(qIMG,1)＝img(qIMG,mIMG，nIMG，cIMG)，该图像每个像素点的值,其中mIMG表示图像像素的行数，nIMG表示图像像素的列数，cIMG表示图像像素的RGB通道号，因此cIMG＝1,2,3；每个 图片的维度大小为size×size，因此，mIMG＝1,2,…,size,nIMG＝1,2,…,size；
当qType＝2时，data(qIMG，2)用来存储第qIMG张图片中人物的真实姓名，其中data(qIMG,2)的取值对应userName；
当qType＝3时，data(qIMG,3)用来存储第qIMG张图片中人物的唯一ID索引号，其中data(qIMG,3)的取值对应id；
当qType＝4时，data(qIMG,4)用来存储第qIMG张图片中，第id个人物的第number张图片，其中data(qIMG,4)的取值对应number；
步骤501.2.2:该步骤将图像进行灰化；将图像从RGB模式转换为L模式，降低计算复 杂度，该步骤的输入是从步骤501.2.1输出的图像像素值矩阵data(qIMG,1)，该步骤的输 出是灰化后的图片data_gray(qIMG)；
步骤501.2.2将图片从模式RGB转换为灰化L模式的计算方式见公式(8)：
data_gray(qIMG)＝ToGray(data(qIMG,1)) (8)
步骤501.2.3：该步骤将训练人脸识别模型，调用人脸识别器进行训练，该步骤的输 入是步骤501.2.2灰度化后的dataface(qIMG，qType)，输出是得到的人脸识别模型FaceModel,训练模型的计算方式见公式(9)：
FaceModel＝Train(dataface) (9)
(4)内容分析流程600：该流程的功能是计算相同文本数same_count(m)，其中same_count(m)表示ID为m用户的相同字符数；
步骤601：启动内容分析，配置字符指针A和B分别指向myText001(m)和 myText002(m)用户的行为内容文本的起点处，其中myText001(m)是ID为m用户接受到 的行为数据，myText002(m)是ID为m用户的行为数据；
步骤602：判断字符指针A或B是否指向myText001(m)或myTest002(m)文本的终点，如果没有指向文本终点，则转到步骤603，如果指向文本终点，则内容分析流程结束；
步骤603：判断字符指针A和B当前所指位置字符是否相同，如果相同，则转到步骤604，如果不同，则转到步骤606；
步骤604：更新指针A、B，其中A加一后，更新A，B加一后，更新B，转到步骤605；
步骤605：相同文本字数same_count计算，same_count加一后转到步骤602；
步骤606：配置新的字符指针C，指向字符指针B的下一个字符，即将B加一后的值赋给C，更新C，转到步骤607；
步骤607：判断指针C是否指向myText002(m)文本终点，如果是，转到步骤608，如果不是，则转到步骤609；
步骤608：更新指针A和B，其中A加一后，更新A，B加一后，更新B，转到步骤602；
步骤609：判断指针C和A指向的字符是否相同，如果相同，转到步骤610，如果不相同，则转到步骤611；
步骤610：更新指针B，使指针B指向当前指针C所指的字符位置，更新B，转到步骤602；
步骤611：更新指针C，其中C加一后，更新C，转到步骤607；
(5)前端智控探测预警流程100由步骤110至步骤180共8个步骤构成：
步骤110:系统参数配置:
初始化系统的启动状态System_Start(n)＝0，其中n＝1,2,…,N，System_Start(n)＝ 0表示令系统中第n个前端探测装置处于停止工作状态，一共有N个前端探测装置；
初始化当前时刻t：t为当前时间，格式为：YY年MM月DD日HH时MM分SS秒；初始 化上次图像处理的时间t_last为当前时间；初始化当前系统时间t与上次图像处理的时间 t_last之间的时间间隔t_between＝0；
初始化触发算法间隔周期T：T的取值为10秒；
初始化人脸数据库NAME(id，name)，其中id＝1,2…Nname表示每张人脸的索引号，Nname表示总人数，name表示人脸对应人的真实姓名；
初始化用户状态报警变量myTime_alert：myTime_alert取值为600s；
初始化用户行为报警变量similatityM：similatityM取值为30；
步骤120:智控探测预警启动判定:
判断是否启动探测预警：检测当前系统的状态，如果System_Start(n)＝1，其中n＝ 1,2,…,N，则启动第n个探测预警系统，如果System_Start(n)＝0，其中n＝1,2，…，N，则不启动探测预警系统；
计算当前时间与上一次执行分析算法的时间差t_between＝t-t_last，如果 t_between<T，则表示距离上一次执行分析算法的时间差小于触发算法执行的最小时间T， 则不执行分析算法，随着t的增大，当t_between>＝T时，则表示距离上一次执行分析算 法的时间差达到了触发算法执行的最小时间T，则执行分析算法，将当前执行时间t设置为 最后一次执行分析算法的时间t_last＝t，进入步骤130；
步骤130:视频图像采集:
步骤130的输入是：第n个前端探测装置在被监控的场景中采集的视频；
步骤130的输出是：第n个前端探测装置在当前时刻采集的图像capture_image(n)， 其中n＝1,2,…,N,表示系统中第n个前端探测装置；
步骤130的实现方法是：获取监控场景中的实时视频，将当前时刻的视频图像存储为 capture_image(n)；
步骤140:视频图像分析:
步骤140由步骤141个体识别分析和步骤142情感指数分析组成；
步骤141：个体识别分析；
步骤141的输入是：第n个前端探测装置在当前时刻采集的图像capture_image(n)；
步骤141的输出是：图片中各人物所出现的次数result(n,id)，其中n＝1，2，…,N,表 示系统中第n个前端探测装置，id表示所所检测到人物的唯一id号；
步骤141的实现方法是：由步骤141.1至步骤141.3共3个步骤组成；
步骤141.1：该步骤将图像进行灰化，将图像从RGB模式转换为L模式，降低计算复杂度，该步骤的输入是从步骤130输出的图像数据capture_image(n)， capture_image(n)＝capture_image_color(n,i,j,c)，i,j表示图片的像素，i＝ 1，2…1024，j＝1,2…1024,c表示图片RGB的三通道，c＝1,2,3；该步骤的输出是灰化后的 图片capture_gray(n)，其中n＝1，2,…,N；
步骤141.1将图片从模式RGB转换为灰化L模式的计算方式见公式(10)：
capture_gray(n)＝ToGray(capture_image(n)) (10)
步骤141.2：该步骤将利用分类器识别出人脸区域，调用人脸检测器，识别出capture_gray(n)中的人脸区域，指定其命名为capture_face(n)，计算方式见公式(11)：
capture_face(n)＝FaceDetect(capture_gray(n)) (11)
步骤141.3：该步骤将用于人脸识别，调用步骤501.2.2步骤中训练好的人脸识别模 型FaceModel，对capture_face(n)中人脸区域中的人脸进行识别，与人脸数据库中的人脸 进行比对，计算连续k个T周期内各个人脸出现的次数，其中5≤k≤10且为整数，计算方式 见公式(12)：
result(id)＝Calculate(FaceModel,capture_face(n)) (12)
如果result(id)≥1，则表示该人物存在，否则表示该人物不存在；
步骤142：情感指数分析；
步骤142的输入是：第n个前端探测装置在当前时刻采集的图像capture_image(n)；
步骤142的输出是：第n个前端探测装置在当前时刻采集的图像中的各类表情及其个 数EMO(i)＝ni,i＝[1,10],其中i表示不同的表情类别；
步骤142的实现方法是：由步骤142.1至步骤142.3共3个步骤组成：
步骤142.1:利用分类器识别出人脸区域，调用人脸检测器，识别出capture_image(n) 的人脸区域，指定其命名为face(n)；
步骤142.2:为识别出的人脸添加坐标框；
步骤142.2的输入是：步骤142.1中的人脸图像face(n)；
步骤142.2的输出是：框选出人脸坐标的图片，指定命名为capture_rectangle(n)；
步骤142.2坐标的计算方式为：指定(x,y)为左下角的坐标，w为宽，h为高，则人脸框右上角的坐标为(x+w，y+h)；
步骤142.3：人脸表情识别，使用步骤501中训练好的模型EmotionModel对步骤142.2中框选出人脸坐标的图片capture_rectangle(n)进行人脸表情识别，输出识别结果大哭、伤心、憎恨、厌恶、沮丧、严肃、微笑、喜悦、惊讶、大笑这十种表情及其个数， 指定大哭表情的人数为EMO(1)＝N1,伤心表情的人数为EMO(2)＝N2，憎恨表情的人数 为EMO(3)＝N3，厌恶表情的人数为EMO(4)＝N4,沮丧表情的人数为EMO(5)＝N5，严 肃表情的人数为EMO(6)＝N6，微笑表情的人数为EMO(7)＝N7，喜悦表情的人数为 EMO(8)＝N8，惊讶表情的人数为EMO(9)＝N9，大笑表情的人数为EMO(10)＝N10；
步骤150:视频图像分析结果预警:
步骤150的输入是：步骤142识别出的表情结果及其个数,EMO(i)＝Ni,i＝ [1,10],Ni＝0,1,…,N,Ni为识别出的不同表情结果的个数
步骤150的输出是：场景的情感状态；
步骤150的实现方法是：由步骤150.1至步骤150.3共3个步骤组成：
步骤150.1：计算当前时刻t场景中的人物整体情感值，按照情感积极到消极的程度, 情感分为大哭、伤心、憎恨、厌恶、沮丧、严肃、微笑、喜悦、惊讶、大笑，设定情感分 值，其中大哭的人数为EMO(1)，大哭的分值是EMO_score(1)＝1，设定10种情感的分值 依次递增，范围为1至10，则大笑的人数为EMO(10)，大笑的分值EMO_score(10)＝10， 则每个时刻t的整体情感值的计算方式见公式(13)：
步骤150.2：计算距离当前时刻t最近的连续T个时刻的平均情感值，其计算方式见公 式(14)：
步骤150.3：输出场景的情感状态：如果7<EMO_lastT(t)≤10,则输出情感状态 为positive，表示当前时间段场景中人物的情感状态为积极状态，不需要预警；如果3< EMO_lastT(t)≤7,则输出情感状态为normal，表示当前时间段场景中人物的情感状态 为中性状态，需要关注；如果0<EMO_lastT(t)≤3,则输出全班的情感状态为negative， 表示当前时间段场景中人物的情感状态为消极状态，需要重点关注并预警，转步骤151；
步骤151：多维度可视化，根据连续时间内的平均情感值EMO_lastT(t)，对情感状态 进行可视化并绘制时刻t-T到当前时刻t之间的曲线Curve，曲线的横轴是时刻t-T到时刻t，纵轴是EMO_lastT(t)；
步骤160:用户行为采集:
在第n个探测预警系统中，用户ID为m的用户向服务器发送该用户ID值m、行为数据myText001(m)、myText002(m)、发送当前时间myTime(m)；
其中myText001(m)是用户ID为m接收的行为数据信息，myText002(m)是用户ID 为m的行为数据信息；
步骤170:用户行为分析:
步骤170的输入是：A类用户行为数据myText002(m)，当前页面时间myTime(m)； B类用户行为数据myText001(m)；
步骤170的输出是：B类用户行为数据与A类用户行为数据比对相似度similarity(m)， A类用户所在当前页面时间间隔myTime_between(m)；
步骤171：处理行为内容正确性，定义参数total_count1(m)表示步骤140获取的B类 用户行为数据的文本总字数，使用名为Length的字符串长度计算方法得出 total_count1(m)，定义参数total_count2(m)表示当前A类用户行为内容文本总字数，使用 名为Length的字符串长度计算方法得出total_count2(m)，定义参数same_count(m)表示两 类用户文本相同的字数，其中same_count(m)的计算方法为内容分析流程600，使用文本 相似度算法计算相似度similarity(m)；
步骤171计算文本相似度的计算方式如下，如果满足条件 (total_count1(m)>total_count2(m))则使用公式(15)进行计算，如果满足条件 (total_count1(m)<total_count2(m))则使用公式(16)进行计算:
similarity(m)＝(same_count(m)÷total_count1(m))×100 (15)
similarity(m)＝(same_count(m)÷total_count2(m))×100 (16)
步骤172：分析用户状态，使用步骤160获取的当前时间myTime(m)，定义参数myTime_last(m)记录上一次获取的用户时间，计算出当前获取时间myTime(m)与上次获 取时间myTime_last(m)的时间间隔myTime_between(m)，其中myTime_between(m)＝ myTime(m)-myTime_last(m)；
步骤180:用户行为分析结果预警:
步骤180的输入是：步骤161计算的文本相似度similarity(m)；步骤172获取的用户 所在页面时间间隔myTime_between(m)；
步骤180的输出是：显示状态预警警告Warning表中状态类型的报警信息,以及用户 行为预警警告Warning表中行为类型的报警信息，其中Warning表是用来存储报警信息的 数据表，包含字段WarningId，Type,m,time,content1,content2,content3，其中WarningId表示报警编号(主键)，Type表示报警类型(1表示行为类型，2表示状态类 型)，m表示用户ID，time表示报警时间，content1表示报警内容，content2表示被报警 用户行为数据以及content3表示更正信息；
步骤180的预警方法是：由步骤180.1至步骤180.2共2个步骤组成：
步骤180.1：显示用户状态预警警报。使用步骤172获取的用户所在页面时间间隔myTime_between(m)；如果myTime_between(m)小于或等于系统预设报警时间 myTime_alert，表示用户这一时间段内工作状态正常，不需要预警；如果 myTime_between(m)大于系统预设报警时间myTime_alert，则表示该用户没有在当前页 面，用户这一时间段内工作状态异常，系统向Warning表中产生一条新的数据，其中报警 类型Type＝2表示报警类型为状态类型的报警，同时录入被报警用户信息m和报警时间 time，并根据报警类型生成相对应的报警信息content1。
步骤180.2：显示用户行为预警警报。使用步骤171计算获得的文本相似度similarity(m)进行判断，此时系统预设的相似度similatityM；如果similarity(m)>similatityM时，表示当前用户工作状态良好，不需要报警；如果similarity(m)<similatityM,表示当前用户工作状态为走神，系统向Warning表中产生一条新的数据，其中报警类型Type＝1表示报警类型为行为类型的报警，同时录入被报警用户信息m和报警时间time，根据报警类型生成相对应的报警信息content1，以及获取当前被报警用户的行为数据content2＝myText002(m)；
步骤181：该步骤是实现发起交互操作。通过判断报警类型Type向报警界面显示对应 类型的报警信息：如果Type＝1，表示该报警信息为用户行为类型的报警，向监控用户端输出用户信息m，报警时间time，报警信息content1，监控用户还通过点击报警信息显示 当前被报警用户的行为数据content2；如果Type＝2，表示该报警信息为用户状态类型的 报警，并输出用户信息m，报警时间time，报警信息content1；根据报警类型，以及输出 的信息，监控端用户向被报警用户发送更正信息content3并要求其改正。
2、基于多场景多主体身份行为情绪识别分析方法10000的智能监管系统20000，以下 简称智能监管系统20000，其特征在于，包括：被监控管理端(1000)、服务器端(2000)、监控管理端(3000)、互联网(5000)，其中，
(1)被监控管理端(1000)：
被监控管理端(1000)的作用是捕捉监控场景中的信息，经过分析后反馈提示监控场景 中的用户；被监控管理端(1000)包含：A类用户(1100)、视频采集装置(1200)、前端智控 探测预警装置(1300)、网络设备(1400)、A类用户终端(1500)、B类用户(1600)、B类用户终端(1700)；
A类用户(1100)是探测场景中被探测的用户；A类用户(1100)被视频采集装置(1200) 采集视频图像信息，A类用户(1100)使用A类用户终端(1500)过程中被记录了行为信息；
视频采集装置(1200)是场景中采集视频信息的装置，可以是高清视频摄像机；视频采 集装置(1200)的输入是A类用户(1100)的视频信息；视频采集装置(1200)的视频输出接口 通过视频模拟数据线或者数字数据线与前端智控探测预警装置(1300)的视频输入接口相 连接，将视频采集装置(1200)采集的视频信息传递给前端智控探测预警装置(1300)；
前端智控探测预警装置(1300)是场景中提供预警警告的装置，可以是警示灯或者是计 算机和显示器；前端智控探测预警装置(1300)的网络接口通过网线与网络设备(1400)的网 口连接，作用一是将前端智控探测预警装置(1300)的数据传给网络设备(1400)，进而通过 互联网(5000)发送给服务器端(2000)；作用二是接收服务器端(2000)返回的警示信息，并 显示给A类用户(1100)；
网络设备(1400)是网络接入设备，可以是交换机或者是无线路由器；网络设备(1400) 的作用：一是获取前端智控探测预警装置(1300)的A类用户(1100)视频数据；二是A类用 户(1100)、B类用户(1600)的行为数据；三是将数据通过互联网(5000)传递给服务器端 (2000)；四是接收服务器端(2000)返回的数据，并显示给A类用户(1100)和B类用户(1600)； 网络设备(1400)的网络接口通过网线与前端智控探测预警装置(1300)、A类用户终端 (1500)、B类用户终端(1700)和和网络设备(5100)的网络接口相连接；
A类用户终端(1500)是获取A类用户(1100)指令和显示系统处理结果的设备，可以是 计算机；A类用户终端(1500)与A类用户(1100)的连接关系是：A类用户(1100)通过A类用户终端(1500)的键盘或者鼠标或者触控屏幕将控制信息输入给A类用户终端(1500)，A类用户终端(1500)通过其自身的显示装置将系统的处理结果反馈给A类用户(1100)；A类用户终端(1500)的网络接口通过数字数据线与网络设备(1400)的网络接口相连接，作用是将A类用户(1100)的行为信息传递给网络设备(1400)；
B类用户(1600)是探测场景中被监控管理端探测的用户，同时也可以向A类用户(1100) 发起监控；B类用户(1600)使用B类用户终端(1700)过程中被记录了行为信息；
B类用户终端(1700)是获取B类用户(1600)指令和显示系统处理结果的设备，可以是 计算机；B类用户终端(1700)与B类用户(1600)的连接关系是：B类用户(1600)通过B类用户终端(1700)的键盘或者鼠标或者触控屏幕将控制信息输入给B类用户终端(1700)，B类用户终端(1700)通过其自身的显示装置将系统的处理结果反馈给B类用户(1600)；B类用户终端(1700)的网络接口通过数字数据线与网络设备(1400)的网络接口相连接；作用是将B类用户(1600)的行为信息传递给网络设备(1400)；
(2)服务器端(2000)：
服务器端(2000)的作用是接收、存储、分析数据，并将处理后的数据通过互联网(5000) 发给被监控端(1000)和监控管理端(3000)；服务器端(2000)包含：网络设备(2100)、后端 智控探测预警服务器(2200)、数据库服务器(2300)、存储服务器(2400)；
网络设备(2100)是网络接入设备，可以是交换机或者是无线路由器；网络设备(2100) 的作用：一是获取来自被监控管理端(1000)和监控管理端(3000)的数据，二是将后端智控 探测预警服务器(2200)处理后的结果通过互联网(5000)返回给被监控管理端(1000)和监 控管理端(3000)，三是实现互联网(5000)的网络设备(5100)与服务器端(2000)的后端智控 探测预警服务器(2200)、数据库服务器(2300)和存储服务器(2400)数据交换传递；网络设 备(2100)的网络接口通过网线与互联网(5000)的后端智控探测预警服务器(2200)、数据库 服务器(2300)、存储服务器(2400)和网络设备(5100)的网络接口相连接；
后端智控探测预警服务器(2200)是处理数据和指令的设备；后端智控探测预警服务器 (2200)的网络接口与网络设备(2100)的网络接口相连接，作用是获取被监控端(1100)与监 控管理端(3000)的数据或指令，并将处理后的数据或指令传递给网络设备(2100)；通过网 络设备(2100)将表格信息存储在数据库服务器(2300)，同时将图片数据存储在存储服务器 (2400)；
数据库服务器(2300)是存储表格数据的设备，数据库服务器(2300)的网络接口与网络 设备(2100)的网络接口相连接，作用是获取、存储和传递表格数据；
存储服务器(2400)是存储图片数据的设备；存储服务器(2400)的网络接口与网络设备 (2100)的网络接口相连接，作用是获取、存储和传递图片数据；
服务器端(2000)中的后端智控探测预警服务器(2200)是智能监管系统(20000)的核心 装置，后端智控探测预警服务器(2200)的输入、处理、输出与基于多场景多主体身份行为 情绪识别分析方法(10000)方法的关系是：
智能监管系统(20000)的视频采集装置(1200)是基于多场景多主体身份行为情绪识别 分析方法(10000)中前端探测预警流程(100)中步骤视频图像采集(103)的执行装置，是基于多场景多主体身份行为情绪识别分析方法(10000)的智能监管系统(20000)运行 过程中视频监测信息的采集输入源；
智能监管系统(20000)的A类用户终端(1500)、B类用户终端(1700)是基于多场景多 主体身份行为情绪识别分析方法(10000)中前端探测预警流程(100)中的用户行为采集(104)的执行装置，是智能监管系统(20000)中用户行为信息的采集；
智能监管系统(20000)的后端智控探测预警服务器(2200)是基于多场景多主体身份 行为情绪识别分析方法(10000)中前端指控探测预警流程(100)、启动探测预警流程(200)、 停止探测预警流程(300)、人脸表情训练流程(500)、内容分析流程(600)的执行装置，是智能监管系统(20000)中对采集输入的用户身份行为信息、视频信息进行分析从 而得到结论输出的执行装置；
智能监管系统(20000)的前端智控探测预警装置(1300)是基于多场景多主体身份行 为情绪识别分析方法(10000)中前端探测预警流程(100)中视频图像分析结果预警(1070) 和用户行为分析结果预警(1080)的执行装置，是智能监管系统(20000)中显示结果、 提供预警的装置；
(3)监控管理端(3000)
监控管理端(3000)的作用是发起监控，获取被监控端用户的信息；监控管理端(3000) 包含：网络设备(3100)、C类用户终端(3200)、D类用户终端(3300)、C类用户(3400)、D 类用户(3500)；
网络设备(3100)是网络接入设备，可以是交换机或者是无线路由器；网络设备(3100) 的作用：一是获取C类用户(3400)的行为信息或指令；二是将C类用户(3400)的行为信息 或指令通过互联网发送给服务器端(2000)；三是是接收服务器端(2000)返回的被监控管理 端(1000)的监控数据，并显示给C类用户(3400)；网络设备(3100)的网络接口通过网线与 C类用户终端(3200)、互联网(5000)的网络设备(5100)的网络接口相连接；
C类用户终端(3200)是获取C类用户(3400)指令和显示系统处理结果的设备，可以是 计算机；C类用户终端(3200)与C类用户(3400)的连接关系是：C类用户(3400)通过C类用户终端(3200)的键盘或者鼠标或者触控屏幕将控制信息输入给C类用户终端(3200)，C类用户终端(3200)通过其自身的显示装置将系统的处理结果反馈给C类用户(3400)；C类用户终端(3200)的网络接口通过数字数据线与网络设备(3100)的网络接口相连接，作用是将C类用户(3400)的行为信息传递给网络设备(3100)；
C类用户(3400)是通过有线方式接入监控系统并发起探测行为的用户；C类用户(3400) 通过C类用户终端(3200)发起监控指令；
D类用户终端(3300)是获取D类用户(3500)指令和显示系统处理结果的设备，可以是 手机或者计算机；D类用户终端(3300)与D类用户(3500)的连接关系是：D类用户(3500)通过D类用户终端(3300)的键盘或者鼠标或者触控屏幕将控制信息输入给D类用户终端(3300)，D类用户终端(3300)通过其自身的显示装置将系统的处理结果反馈给D类用户(3500)；D类用户终端(3300)通过手机网络与移动网络设备(5200)相连接；
D类用户(3500)是通过无线方式接入监控系统并发起探测行为的用户；D类用户(3500) 通过D类用户终端(3300)发起监控指令；
(4)互联网(5000)
互联网(5000)的作用是实现全球任何位置的数据交换，可以是卫星通讯网或者因特网； 互联网(5000)包含：网络设备(5100)、移动网络设备(5200)；
网络设备(5100)是网络接入设备，可以是交换机或者是无线路由器；网络设备(5100) 的网络接口通过网线与网络设备(1400)、网络设备(2100)、网络设备(3100)、系统网络设 备相连接，作用是实现被监控端(1000)、服务器端(2000)与监控管理端(3000)的数据交换 传递。
移动网络设备(5200)是通过无线方式接入网络的设备，可以是无线路由器；移动网络 设备(5200)通过无线网络与D类用户终端(3300)相连，作用是获取D类用户(3500)的行为 信息；移动网络设备(5200)的网络接口通过网线与网络设备(5100)的网络接口相连接，作 用是将D类用户(3500)的行为信息传递给网络设备(5100)；
本发明与现有技术相比的优势：
1)发明的预测方法和系统解决多个区域大量人员的出现与情感的无感知监控问题
2)发明的预测方法和系统解决大量人员非集中办公情况下行为与效率监控问题
3)发明的预测方法和系统解决无感知、高智能、全方位的人员行为质量监控管理系统建设问题
本发明的有益效果：本发明提出的方法和系统针对多个场景下多名主体的情绪与效率 的监控领域，紧密结合工位或教学方面的实际情况，运用多种技术实现了高性能智能系统。
附图说明
附图1多场景多主体身份行为情绪识别分析方法流程图
附图2基于多场景多主体身份行为情绪识别分析方法的智能监管系统的连接关系图
具体实施方式
下面结合图1～图2详细说明本实施例。
1、基于多场景多主体身份行为情绪识别分析方法(10000)的智能监管系统(20000)， 以下简称智能监管系统(20000)，参见图2，包括：被监控管理端(1000)、服务器端(2000)、 监控管理端(3000)、互联网(5000)，其中，
(1)被监控管理端(1000)：
被监控管理端(1000)的作用是捕捉监控场景中的信息，经过分析后反馈提示监控场景 中的用户；被监控管理端(1000)包含：A类用户(1100)、视频采集装置(1200)、前端智控 探测预警装置(1300)、网络设备(1400)、A类用户终端(1500)、B类用户(1600)、B类用户终端(1700)；
本实例中，A类用户(1100)为教室内正在上课的学生，视频采集装置(1200)采用罗技(Logitech)C930e高清网络摄像头，前端智控探测预警装置(1300)采用戴尔U2518D 显示器和戴尔Precision 3431台式工作站，其硬件配置为搭载第9代英特尔酷睿和至强 处理器，内存速度为64GB 2666MHz，显卡为NVIDIA Quadro P40，网络设备(1400)采用 华为S5700交换机和华为USG 6000防火墙，A类用户终端(1500)采用戴尔Precision 3431 台式工作站，B类用户(1600)为教室内正在教课的老师，B类用户终端(1700)采用戴尔Precision 3541移动工作站；
A类用户(1100)是探测场景中被探测的用户，本实例中为教室内正在上课的学生；A类 用户(1100)学生被视频采集装置(1200)罗技(Logitech)C930e高清网络摄像头采集视频 图像信息，A类用户(1100)学生使用A类用户终端(1500)戴尔Precision 3431台式工作站过程中被记录了行为信息；
视频采集装置(1200)是场景中采集视频信息的装置，可以是高清视频摄像机，本实例 中采用罗技(Logitech)C930e高清网络摄像头；视频采集装置(1200)罗技(Logitech)C930e高清网络摄像头的输入是A类用户(1100)学生的视频信息；视频采集装置(1200)罗技(Logitech)C930e高清网络摄像头的视频输出接口通过视频模拟数据线或者数字数据线与前端智控探测预警装置(1300)戴尔U2518D显示器和戴尔Precision 3431台式工作站的视频输入接口相连接，将视频采集装置(1200)罗技(Logitech)C930e高清网络摄像头 采集的视频信息传递给前端智控探测预警装置(1300)戴尔U2518D显示器和戴尔Precision3431台式工作站；
前端智控探测预警装置(1300)是场景中提供预警警告的装置，可以是警示灯或者是计 算机和显示器，本实例中采用戴尔U2518D显示器和戴尔Precision 3431台式工作站；前 端智控探测预警装置(1300)戴尔U2518D显示器和戴尔Precision 3431台式工作站的网络接口通过网线与网络设备(1400)华为S5700交换机和华为USG 6000防火墙的网口连接，作用一是将前端智控探测预警装置(1300)戴尔U2518D显示器和戴尔Precision 3431台式工作站的数据传给网络设备(1400)华为S5700交换机和华为USG 6000防火墙，进而通过 互联网(5000)发送给服务器端(2000)；作用二是接收服务器端(2000)返回的警示信息，并 显示给A类用户(1100)学生；
网络设备(1400)是网络接入设备，可以是交换机或者是无线路由器，本实例中采用华 为S5700交换机和华为USG 6000防火墙；网络设备(1400)的作用：一是获取前端智控探 测预警装置(1300)戴尔U2518D显示器和戴尔Precision 3431台式工作站的A类用户(1100) 学生视频数据；二是A类用户(1100)学生、B类用户(1600)教师的行为数据；三是将数据 通过互联网(5000)传递给服务器端(2000)；四是接收服务器端(2000)返回的数据，并显示 给A类用户(1100)学生和B类用户(1600)教师；网络设备(1400)华为S5700交换机和华为USG 6000防火墙的网络接口通过网线与前端智控探测预警装置(1300)戴尔U2518D显示器和戴尔Precision 3431台式工作站、A类用户终端(1500)戴尔Precision 3431台式工 作站、B类用户终端(1700)戴尔Precision 3541移动工作站和网络设备(5100)华为S5700 交换机和华为USG 6000防火墙的网络接口相连接；
A类用户终端(1500)是获取A类用户(1100)学生指令和显示系统处理结果的设备，可 以是计算机，本实例中采用戴尔Precision 3431台式工作站；A类用户终端(1500)戴尔Precision 3431台式工作站与A类用户(1100)学生的连接关系是：A类用户(1100)学生通过A类用户终端(1500)戴尔Precision 3431台式工作站的键盘或者鼠标或者触控屏幕将控制信息输入给A类用户终端(1500)戴尔Precision 3431台式工作站，A类用户终端(1500)戴尔Precision 3431台式工作站通过其自身的显示装置将系统的处理结果反馈给A类用户(1100)学生；A类用户终端(1500)戴尔Precision 3431台式工作站的网络接口通过数字数据线与网络设备(1400)华为S5700交换机和华为USG 6000防火墙的网络接口相连接， 作用是将A类用户(1100)学生的行为信息传递给网络设备(1400)华为S5700交换机和华为USG 6000防火墙；
B类用户(1600)是探测场景中被监控管理端探测的用户，同时也可以向A类用户(1100) 学生发起监控，本实例中为；B类用户(1600)为教室内正在教课的教师使用B类用户终端 (1700)戴尔Precision 3541移动工作站过程中被记录了行为信息；
B类用户终端(1700)是获取B类用户(1600)教师指令和显示系统处理结果的设备，可 以是计算机，本实例中采用戴尔Precision 3541移动工作站；B类用户终端(1700)戴尔Precision 3541移动工作站与B类用户(1600)教师的连接关系是：B类用户(1600)教师通过B类用户终端(1700)戴尔Precision 3541移动工作站的键盘或者鼠标或者触控屏幕将控制信息输入给B类用户终端(1700)戴尔Precision 3541移动工作站，B类用户终端(1700)戴尔Precision 3541移动工作站通过其自身的显示装置将系统的处理结果反馈给B类用户(1600)教师；B类用户终端(1700)戴尔Precision 3541移动工作站的网络接口通过数字数据线与网络设备(1400)华为S5700交换机和华为USG 6000防火墙的网络接口相连接； 作用是将B类用户(1600)教师的行为信息传递给网络设备(1400)华为S5700交换机和华为USG 6000防火墙；
(2)服务器端(2000)：
服务器端(2000)的作用是接收、存储、分析数据，并将处理后的数据通过互联网(5000) 发给被监控端(1000)和监控管理端(3000)；服务器端(2000)包含：网络设备(2100)、后端 智控探测预警服务器(2200)、数据库服务器(2300)、存储服务器(2400)；
本实例中，网络设备(2100)采用华为S5700交换机和华为USG 6000防火墙，后端智控 探测预警服务器(2200)采用戴尔R730服务器，其硬件配置为，CPU类型为英特尔至强系列 E5-2600v4，CPU频率为2400Mhz，内存插槽数为24，数据库服务器(2300)采用戴尔R730服务器，存储服务器(2400)采用戴尔R730服务器；
网络设备(2100)是网络接入设备，可以是交换机或者是无线路由器，本实例中采用华 为S5700交换机和华为USG 6000防火墙；网络设备(2100)华为S5700交换机和华为USG6000 防火墙的作用：一是获取来自被监控管理端(1000)和监控管理端(3000)的数据，二是将后 端智控探测预警服务器(2200)戴尔R730服务器处理后的结果通过互联网(5000)返回给被 监控管理端(1000)和监控管理端(3000)，三是实现互联网(5000)的网络设备(5100)华为S5700交换机和华为USG 6000防火墙与服务器端(2000)的后端智控探测预警服务器(2200) 戴尔R730服务器、数据库服务器(2300)戴尔R730服务器和存储服务器(2400)戴尔R730 服务器数据交换传递；网络设备(2100)华为S5700交换机和华为USG 6000防火墙的网络 接口通过网线与互联网(5000)的后端智控探测预警服务器(2200)戴尔R730服务器、数据 库服务器(2300)戴尔R730服务器、存储服务器(2400)戴尔R730服务器和网络设备(5100) 华为S5700交换机和华为USG 6000防火墙的网络接口相连接；
后端智控探测预警服务器(2200)是处理数据和指令的设备，本实例中采用采用戴尔 R730服务器；后端智控探测预警服务器(2200)戴尔R730服务器的网络接口与网络设备(2100)华为S5700交换机和华为USG 6000防火墙的网络接口相连接，作用是获取被监控 端(1100)学生与监控管理端(3000)的数据或指令，并将处理后的数据或指令传递给网络设备(2100)华为S5700交换机和华为USG 6000防火墙；通过网络设备(2100)华为S5700交 换机和华为USG 6000防火墙将表格信息存储在数据库服务器(2300)戴尔R730服务器，同 时将图片数据存储在存储服务器(2400)戴尔R730服务器；
数据库服务器(2300)是存储表格数据的设备，本实例中采用戴尔R730服务器，数据库 服务器(2300)戴尔R730服务器的网络接口与网络设备(2100)华为S5700交换机和华为USG 6000防火墙的网络接口相连接，作用是获取、存储和传递表格数据；
存储服务器(2400)是存储图片数据的设备，本实例中采用戴尔R730服务器；存储服务 器(2400)戴尔R730服务器的网络接口与网络设备(2100)华为S5700交换机和华为USG6000 防火墙的网络接口相连接，作用是获取、存储和传递图片数据；
服务器端(2000)中的后端智控探测预警服务器(2200)戴尔R730服务器是智能监管系 统(20000)的核心装置，后端智控探测预警服务器(2200)戴尔R730服务器的输入、处理、 输出与基于多场景多主体身份行为情绪识别分析方法(10000)方法的关系是：
智能监管系统(20000)的视频采集装置(1200)罗技(Logitech)C930e高清网络摄像 头是基于多场景多主体身份行为情绪识别分析方法(10000)中前端探测预警流程(100)中 步骤视频图像采集(103)的执行装置，是基于多场景多主体身份行为情绪识别分析方法(10000)的智能监管系统(20000)运行过程中视频监测信息的采集输入源；
智能监管系统(20000)的A类用户终端(1500)戴尔Precision 3431台式工作站、B类用户终端(1700)戴尔Precision 3541移动工作站是基于多场景多主体身份行为情绪识别分析方法(10000)中前端探测预警流程(100)中的用户行为采集(104)的执行装置， 是智能监管系统(20000)中用户行为信息的采集；
智能监管系统(20000)的后端智控探测预警服务器(2200)戴尔R730服务器是基于多 场景多主体身份行为情绪识别分析方法(10000)中前端指控探测预警流程(100)、启动探测预警流程(200)、停止探测预警流程(300)、人脸表情训练流程(500)、内容分 析流程(600)的执行装置，是智能监管系统(20000)中对采集输入的用户身份行为信息、 视频信息进行分析从而得到结论输出的执行装置；
智能监管系统(20000)的前端智控探测预警装置(1300)戴尔U2518D显示器和戴尔Precision 3431台式工作站是基于多场景多主体身份行为情绪识别分析方法(10000)中前端探测预警流程(100)中视频图像分析结果预警(1070)和用户行为分析结果预警(1080)的执行装置，是智能监管系统(20000)中显示结果、提供预警的装置；
(3)监控管理端(3000)
监控管理端(3000)的作用是发起监控，获取被监控端用户的信息；监控管理端(3000) 包含：网络设备(3100)、C类用户终端(3200)、D类用户终端(3300)、C类用户(3400)、D 类用户(3500)；
本实例中，网络设备(3100)采用华为S5700交换机和华为USG 6000防火墙，C类用户 终端(3200)采用戴尔Precision 3541移动工作站，D类用户终端(3300)采用华为P40手机，C类用户(3400)为教务处和督导组，D类用户(3500)为教务处和督导组。
网络设备(3100)是网络接入设备，可以是交换机或者是无线路由器，本实例中采用华 为S5700交换机和华为USG 6000防火墙；网络设备(3100)华为S5700交换机和华为USG6000 防火墙的作用：一是获取C类用户(3400)教务处和督导组的行为信息或指令；二是将C类 用户(3400)教务处和督导组的行为信息或指令通过互联网发送给服务器端(2000)；三是是 接收服务器端(2000)返回的被监控管理端(1000)的监控数据，并显示给C类用户(3400)教 务处和督导组；网络设备(3100)华为S5700交换机和华为USG 6000防火墙的网络接口通 过网线与C类用户终端(3200)戴尔Precision 3541移动工作站、互联网(5000)的网络设 备(5100)华为S5700交换机和华为USG 6000防火墙的网络接口相连接；
C类用户终端(3200)是获取C类用户(3400)教务处和督导组指令和显示系统处理结果 的设备，可以是计算机，本实例中采用戴尔Precision 3541移动工作站；C类用户终端(3200)戴尔Precision 3541移动工作站与C类用户(3400)教务处和督导组的连接关系是：C类用户(3400)教务处和督导组通过C类用户终端(3200)戴尔Precision 3541移动工作 站的键盘或者鼠标或者触控屏幕将控制信息输入给C类用户终端(3200)戴尔Precision 3541移动工作站，C类用户终端(3200)戴尔Precision 3541移动工作站通过其自身的显 示装置将系统的处理结果反馈给C类用户(3400)教务处和督导组；C类用户终端(3200)戴 尔Precision 3541移动工作站的网络接口通过数字数据线与网络设备(3100)华为S5700 交换机和华为USG 6000防火墙的网络接口相连接，作用是将C类用户(3400)教务处和督 导组的行为信息传递给网络设备(3100)华为S5700交换机和华为USG 6000防火墙；
C类用户(3400)是通过有线方式接入监控系统并发起探测行为的用户，本实例中为教 务处和督导组；C类用户(3400)教务处和督导组通过C类用户终端(3200)戴尔Precision 3541移动工作站发起监控指令；
D类用户终端(3300)是获取D类用户(3500)教务处和督导组指令和显示系统处理结果 的设备，可以是手机或者计算机，本实例中为华为P40手机；D类用户终端(3300)华为P40 手机与D类用户(3500)教务处和督导组的连接关系是：D类用户(3500)教务处和督导组通 过D类用户终端(3300)华为P40手机的键盘或者鼠标或者触控屏幕将控制信息输入给D类 用户终端(3300)华为P40手机，D类用户终端(3300)华为P40手机通过其自身的显示装置将系统的处理结果反馈给D类用户(3500)教务处和督导组；D类用户终端(3300)华为P40 手机通过手机网络与移动网络设备(5200)华为AR161W-S无线路由器相连接；
D类用户(3500)是通过无线方式接入监控系统并发起探测行为的用户，本实例中为教 务处和督导组；D类用户(3500)教务处和督导组通过D类用户终端(3300)华为P40手机发 起监控指令；
(4)互联网(5000)
互联网(5000)的作用是实现全球任何位置的数据交换，可以是卫星通讯网或者因特网； 互联网(5000)包含：网络设备(5100)、移动网络设备(5200)；
本实例中，网络设备(5100)采用华为S5700交换机和华为USG 6000防火墙，移动网络 设备(5200)采用华为AR161W-S无线路由器；
网络设备(5100)是网络接入设备，可以是交换机或者是无线路由器，本实例中采用华 为S5700交换机和华为USG 6000防火墙；网络设备(5100)华为S5700交换机和华为USG6000 防火墙的网络接口通过网线与网络设备(1400)华为S5700交换机和华为USG 6000防火墙、 网络设备(2100)华为S5700交换机和华为USG 6000防火墙、网络设备(3100)华为S5700 交换机和华为USG 6000防火墙、系统网络设备相连接，作用是实现被监控端(1000)、服 务器端(2000)与监控管理端(3000)的数据交换传递。
移动网络设备(5200)是通过无线方式接入网络的设备，可以是无线路由器，本实例中 采用华为AR161W-S无线路由器；移动网络设备(5200)华为AR161W-S无线路由器通过无线 网络与D类用户终端(3300)华为P40手机相连，作用是获取D类用户(3500)教务处和督导组的行为信息；移动网络设备(5200)华为AR161W-S无线路由器的网络接口通过网线与网络设备(5100)华为S5700交换机和华为USG 6000防火墙的网络接口相连接，作用是将D类用户(3500)教务处和督导组的行为信息传递给网络设备(5100)华为S5700交换机和华为USG 6000防火墙；
2.多场景多主体身份行为情绪识别分析方法10000参见图1，该方法包括五个流程： (1)启动探测预警流程200，(2)停止探测预警流程300，(3)人脸表情训练流程500， (4)内容分析流程600，(5)前端探测预警流程100；
(1)启动探测预警流程200：该流程的功能是启动前端探测预警；
步骤201：启动探测预警：将第n个前端智控探测预警设备的标志位设置为1，即System_Start(n)＝1；
(2)停止探测预警流程300：该流程的功能是停止前端探测预警；
步骤301：停止探测预警：将第n个前端智控探测预警设备的标志位设置为0，即System_Start(n)＝0；
(3)人脸表情训练流程500：该流程的功能是训练人脸表情识别模型；
步骤501：启动训练：
步骤501.1：训练表情识别模型：
步骤501.1的输入是：样本是由P张图片组成的数据集，每张图片的文件名是 pic_x_y_zzzzzz.jpg，其中x表示该图片对应的情感类别值，y表示该图片属于训练样本还 是测试样本，zzzzzz表示图片编号；在本实施例中，输入对象是由100000张图片组成的 数据集；
步骤501.1的输出是：训练后的模型EmotionModel，计算出人脸感情值；在本实施例中，输出对象是由100000张人脸表情图片训练好的人脸表情识别模型EmotionModel；
步骤501.1的实现方法是：由步骤501.1.1至步骤501.1.4共4个步骤组成；
步骤501.1.1：该步骤将图片转化成为数组；样本是100000张图片，根据每个图片文件和图片名称pic_x_y_zzzzzz.jpg，将该图片转化为数据data(pIMG,pType)， data(pIMG,pType)的数据结构如下：data由100000行3列构成，data的每一行表示一 个图片的信息，pIMG对应zzzzzz是图片编号；
当pType＝1时，data(pIMG,1)用来存储第pIMG张图片的像素data(pIMG,1)＝ img(pIMG,mIMG,nIMG,cIMG)，该图像每个像素点的值,其中mIMG表示图像像素的行数， nIMG表示图像像素的列数，cIMG表示图像像素的RGB通道号，因此cIMG＝1,2,3；每个 图片的维度大小为size×size，因此，mIMG＝1,2,…,size,nIMG＝1，2，…,size；在本实施 例中，图片的维度大小为size的取值为64；
当pType＝2时，data(pIMG,2)用来存储第pIMG张图片的情感标签值， data(pIMG,2)的取值在集合eIMG中，即data(pIMG,2)＝eIMG，eIMG＝{1,2,…,10}， 按照情感极性由消极到积极的程度，具体表情对应的标签如下：1大哭、2伤心、3憎恨、 4厌恶、5沮丧、6严肃、7微笑、8喜悦、9惊讶、10大笑，其中eIMG对应x是情感标签；
当pType＝3时，data(pIMG,3)用来存储第pIMG张图片是训练样本还是测试样本，data(pIMG,3)的取值在集合gIMG中，gIMG＝{0,1}即第pIMG个样本图像如果是训练样本 则data(pIMG,3)＝0，如果是测试样本则data(pIMG,3)＝1，其中gIMG对应y是训练样 本或测试样本的类别值；
即：当图片文件名是pic_0_5_000123.jpg时，该图片信息存储为：data(123,1)＝img(123,mIMG,nIMG,cIMG)，即img(123,100,200,1)表示第123张图片第100行200列 R通道的值；data(123,2)＝5；data(123,3)＝0；
步骤501.1.2:该步骤将图像进行灰化；将图像从RGB模式转换为L模式，降低计算复 杂度，该步骤的输入是从步骤501.1输出的图像像素值矩阵data(pIMG,1)，该步骤的输出 是灰化后的图片data_gray(pIMG)；
步骤501.1.2将图片从模式RGB转换为灰化L模式的计算方式见公式(1)：
data_gray(pIMG)＝ToGray(data(pIMG，1)) (1)
步骤501.1.3：该步骤将数据划分为训练集和测试集，根据样本图像的第三列，即训 练集与测试集的标记列，将图像数据集划分为训练集和测试集。输出训练集的特征为：x_train(pIMG),训练集的标签为：y_train(pIMG),测试集的特征为：x_test(pIMG)，测 试集的标签为：y_test(pIMG)，计算方式见公式(2)、(3)、(4)、(5)；
当data(pIMG,3)＝0时，表示这些数据是训练集数据，即：
x_train(pIMG)＝data_gray(pIMG) (2)
y_train(pIMG)＝data(pIMG,2) (3)
当data(pIMG,3)＝1时，表示这些数据是测试集数据，即：
x_test(pIMG)＝data_gray(pIMG) (4)
y_test(pIMG)＝data(pIMG,2) (5)
步骤501.1.4:该步骤将训练表情识别模型，使用卷积神经网络进行训练，该步骤的输 入为x_train(pIMG)、y_train(pIMG)、x_test(pIMG)、y_test(pIMG)，输出为模型评价指 标准确率accuracy。在本实施例中，卷积神经网络共7层，分别是：输入层，卷积层1， 池化层1，卷积层2，池化层2，全连接层，输出层组成，其中输入层的输出维度为48×48×1， 卷积层1的输出维数为48×48×32，卷积核为1×1，池化层1的输出维度为23×23×32，池 化核为3×3，卷积层2的输出维数为23×23×32，卷积核为3×3，池化层2的输出维度为 11×11×32，池化核为3×3，全连接层的输出维度为1×1×1024，输出层的输出为1×1×7， 激活函数为softmax函数；模型评价指标准确率的目标为99％；
训练模型的计算方式见公式(6)：
EmotionModel＝FIT(x_train(pIMG),y_train(pIMG)) (6)
测试模型准确率的的计算方式见公式(7)：
Accuracy＝EmotionModel(x_test(pIMG),y_test(pIMG)) (7)
当模型准确率accuracy达到95％以上时，停止训练，模型保存为EmotionModel；
步骤501.2：训练人脸识别模型；
步骤501.2的输入是：样本是由Q张图片组成的数据集，每张图片的文件名是 pic_userName_id_number_aaaaaa.jpg，其中userNmae表示该张图片所对应的人物的真 实姓名，id表示该张图片所对应的人物的唯一ID索引号，number表示第id个人物的第 number张图片，aaaaaa表示图片编号；在本实施例中，输入对象是由8000张图片组成 的数据集，其中id的最大取值为80，number的最大取值为100；
步骤501.2的输出是：训练后的模型FaceModel，识别出该人是谁；在本实施例中，输出对象是由8000张人脸图片训练好的针对该训练集中这80个人的人脸识别模型FaceModel；
步骤501.2的实现方法是：由步骤501.2.1至步骤501.2.3共3个步骤组成；
步骤501.2.1：该步骤将图片转化成为数组；样本是Q张图片，根据每个图片文件和图片名称pic_userName_id_number_aaaaaa.jpg，将该图片转化为数据 dataface(qIMG,qType)，dataface(qIMG,qType)的数据结构如下：dataface由Q行4列 构成，dataface的每一行表示一个图片的信息，qIMG对应aaaaaa是图片编号；
当qType＝1时，data(qIMG,1)用来存储第qIMG张图片的像素，data(qIMG,1)＝img(qIMG,mIMG,nIMG,cIMG)，该图像每个像素点的值,其中mIMG表示图像像素的行数，nIMG表示图像像素的列数，cIMG表示图像像素的RGB通道号，因此cIMG＝1,2,3；每个 图片的维度大小为size×size，因此，mIMG＝1,2,…,size,nIMG＝1,2,…,size；在本实施 例中，图片的维度大小为size的取值为64；
当qType＝2时，data(qIMG,2)用来存储第qIMG张图片中人物的真实姓名，其中data(qIMG,2)的取值对应userName；
当qType＝3时，data(qIMG,3)用来存储第qIMG张图片中人物的唯一ID索引号，其中data(qIMG,3)的取值对应id；
当qType＝4时，data(qIMG,4)用来存储第qIMG张图片中，第id个人物的第number张图片，其中data(qIMG,4)的取值对应number；
即：当图片文件名是pic_zhangsan_5_012_000300.jpg时，该图片信息存储为：data(300,1)＝img(300,mIMG,nIMG,cIMG)，即img(300,100,200,1)表示第300张图片 第100行200列R通道的值；data(300,2)＝zhangsan，表示该图片上人物的姓名是 zhangsan；data(300,3)＝5，表示zhangsan的ID索引号是5，data(300,4)＝12，表示 这是zhangsan的第12张图片；
步骤501.2.2:该步骤将图像进行灰化；将图像从RGB模式转换为L模式，降低计算复 杂度，该步骤的输入是从步骤501.2.1输出的图像像素值矩阵data(qIMG,1)，该步骤的输 出是灰化后的图片data_gray(qIMG)；
步骤501.2.2将图片从模式RGB转换为灰化L模式的计算方式见公式(8)：
data_gray(qIMG)＝ToGray(data(qIMG,1)) (8)
步骤501.2.3：该步骤将训练人脸识别模型，调用人脸识别器进行训练，在该实施例 中，人脸识别器选取的是haarcascade_frontalface，该步骤的输入是步骤501.2.2灰度化 后的dataface(qIMG,qType)，输出是得到的人脸识别模型FaceModel,训练模型的计算方 式见公式(9)：
FaceModel＝Train(dataface) (9)
(4)内容分析流程600：该流程的功能是计算相同文本数same_count(m)；
步骤601：启动内容分析，配置字符指针A和B分别指向myText001(m)和 myText002(m)用户的行为内容文本的起点处；
步骤602：判断字符指针A或B是否指向myText001(m)或myText002(m)文本的终点，如果没有指向文本终点，则转到步骤603，如果指向文本终点，则内容分析流程结束；
步骤603：判断字符指针A和B当前所指位置字符是否相同，如果相同，则转到步骤604，如果不同，则转到步骤606；
步骤604：更新指针A、B，其中A＝A+1，B＝B+1，转到步骤605；
步骤605：相同文本字数计算，same_count＝same_count+1，转到步骤602；
步骤606：配置新的字符指针C，指向字符指针B的下一个字符，C＝B+1，转到步 骤607；
步骤607：判断指针C是否指向myText002(m)文本终点，如果是，转到步骤608，如果不是，则转到步骤609；
步骤608：更新指针A和B，其中A＝A+1,B＝B+1，转到步骤602；
步骤609：判断指针C和A指向的字符是否相同，如果相同，转到步骤610，如果不相同，则转到步骤611；
步骤610：更新指针B，使指针B指向当前指针C所指的字符位置，B＝C，转到步骤602；
步骤611：更新指针C，其中C＝C+1，转到步骤607；
(5)前端智控探测预警流程100由步骤110至步骤180共8个步骤构成：
步骤110:系统参数配置:
初始化系统的启动状态System_Start(n)＝0，其中n＝1,2,…,N，表示一共有N个前 端探测装置；System_Start(n)＝0表示令系统中第n个前端探测装置处于停止工作状态； 在本实施例中，N的取值为50；
初始化当前时刻t：t为当前时间，格式为：YY年MM月DD日HH时MM分SS秒；初始 化上次图像处理的时间t_last为当前时间；初始化当前系统时间t与上次图像处理的时间 t_last之间的时间间隔t_between＝0；
初始化触发算法间隔周期T：T的取值为10秒；
初始化人脸数据库NAME(id，name)，其中id＝1,2…Nname表示每张人脸的索引号，Nname表示总人数，name表示人脸对应人的真实姓名；在本实施例中，Nname的取值为 80；
初始化用户状态报警变量myTime_alert：myTime_alert取值为600s；
初始化用户行为报警变量similatityM：similatityM取值为30；
步骤120:智控探测预警启动判定:
判断是否启动探测预警：检测当前系统的状态，如果System_Start(n)＝1，其中n＝ 1,2,…,N，则启动第n个探测预警系统，如果System_Start(n)＝0，其中n＝1，2，…,N，则不启动探测预警系统；
计算当前时间与上一次执行分析算法的时间差t_between＝t-t_last，如果 t_between<T，则表示距离上一次执行分析算法的时间差小于触发算法执行的最小时间T， 则不执行分析算法，随着t的增大，当t_between>＝T时，则表示距离上一次执行分析算 法的时间差达到了触发算法执行的最小时间T，则执行分析算法，将当前执行时间t设置为 最后一次执行分析算法的时间t_last＝t，进入步骤130；
步骤130:视频图像采集:
步骤130的输入是：第n个前端探测装置在被监控的场景中采集的视频；
步骤130的输出是：第n个前端探测装置在当前时刻采集的图像capture_image(n)， 其中n＝1,2,…,N,表示系统中第n个前端探测装置；在本实施例中，N的取值为50；
步骤130的实现方法是：获取监控场景中的实时视频，将当前时刻的视频图像存储为 capture_image(n)；
步骤140:视频图像分析:
步骤140由步骤141个体识别分析和步骤142情感指数分析组成；
步骤141：个体识别分析；
步骤141的输入是：第n个前端探测装置在当前时刻采集的图像capture_image(n)；
步骤141的输出是：图片中各人物所出现的次数result(n,id)，其中n＝1,2,…,N,表 示系统中第n个前端探测装置，id表示所所检测到人物的唯一id号；在本实施例中，N的取值为50，id的取值为80；
步骤141的实现方法是：由步骤141.1至步骤141.3共3个步骤组成；
步骤141.1：该步骤将图像进行灰化，将图像从RGB模式转换为L模式，降低计算复杂度，该步骤的输入是从步骤130输出的图像数据capture_image(n)， capture_image(n)＝capture_image_color(n,i,j,c)，i,j表示图片的像素，i＝ 1,2…1024,j＝1,2…1024,c表示图片RGB的三通道，c＝1,2,3；该步骤的输出是灰化后的 图片capture_gray(n)，其中n＝1,2,…,N；
步骤141.1将图片从模式RGB转换为灰化L模式的计算方式见公式(10)：
capture_gray(n)＝ToGray(capture_image(n)) (10)
步骤141.2：该步骤将利用分类器识别出人脸区域，调用人脸检测器，在该实施例中， 人脸检测器选取的是haarcascade_frontalface，识别出capture_gray(n)中的人脸区域， 指定其命名为capture_face(n)，计算方式见公式(11)：
capture_face(n)＝FaceModel(capture_gray(n)) (11)
步骤141.3：该步骤将用于人脸识别，调用步骤501.2.2步骤中训练好的人脸识别模 型FaceModel，对capture_face(n)中人脸区域中的人脸进行识别，与人脸数据库中的人脸 进行比对，计算连续k个T周期内各个人脸出现的次数，其中5≤k≤10且为整数，在本实施 例中，k的取值为6，计算方式见公式(12)：
result(id)＝Calculate(FaceModel,capture_face(n)) (12)
如果result(id)≥1，则表示该人物存在，否则表示该人物不存在；
步骤142：情感指数分析；
步骤142的输入是：第n个前端探测装置在当前时刻采集的图像capture_image(n)；
步骤142的输出是：第n个前端探测装置在当前时刻采集的图像中的各类表情及其个 数EMO(i)＝ni,i＝[1,10],其中i表示不同的表情类别；
步骤142的实现方法是：由步骤142.1至步骤142.3共3个步骤组成：
步骤142.1:该步骤用于利用分类器识别出人脸区域，调用人脸检测器，在该实施例中， 人脸检测器选取的是haarcascade_frontalface，识别出capture_image(n)的人脸区域， 指定其命名为face(n)；
步骤142.2:该步骤用于为识别出的人脸添加坐标框；
步骤142.2的输入是：步骤142.1中的人脸图像face(n)；
步骤142.2的输出是：框选出人脸坐标的图片，指定命名为capture_rectangle(n)；
步骤142.2坐标的计算方式为：指定(x,y)为左下角的坐标，w为宽，h为高，则人脸框右上角的坐标为(x+w，y+h)；
步骤142.3：该步骤用于人脸表情识别，使用步骤501中训练好的模型EmotionModel 对步骤142.2中框选出人脸坐标的图片capture_rectangle(n)进行人脸表情识别，输出识 别结果大哭、伤心、憎恨、厌恶、沮丧、严肃、微笑、喜悦、惊讶、大笑这十种表情及其 个数，指定大哭表情的人数为EMO(1)＝N1,伤心表情的人数为EMO(2)＝N2，憎恨表情的人数为EMO(3)＝N3，厌恶表情的人数为EMO(4)＝N4,沮丧表情的人数为EMO(5)＝ N5，严肃表情的人数为EMO(6)＝N6，微笑表情的人数为EMO(7)＝N7，喜悦表情的人数 为EMO(8)＝N8，惊讶表情的人数为EMO(9)＝N9，大笑表情的人数为EMO(10)＝N10；
步骤150:视频图像分析结果预警:
步骤150的输入是：步骤142识别出的表情结果及其个数,EMO(i)＝Ni,i＝ [1,10],Ni＝0,1,…,N,Ni为识别出的不同表情结果的个数；
步骤150的输出是：场景的情感状态；
步骤150的实现方法是：由步骤150.1至步骤150.3共3个步骤组成：
步骤150.1：计算当前时刻t场景中的人物整体情感值，按照情感积极到消极的程度, 情感分为大哭、伤心、憎恨、厌恶、沮丧、严肃、微笑、喜悦、惊讶、大笑，设定情感分 值，其中大哭的人数为EMO(1)，大哭的分值是EMO_score(1)＝1，设定10种情感的分值 依次递增，范围为1至10，则大笑的人数为EMO(10)，大笑的分值EMO_score(10)＝10， 则每个时刻t的整体情感值的计算方式见公式(13)：
步骤150.2：计算距离当前时刻t最近的连续T个时刻的平均情感值，其计算方式见公 式(14)：
步骤150.3：输出场景的情感状态：如果7<EMO_lastT(t)≤10,则输出情感状态 为positive，表示当前时间段场景中人物的情感状态为积极状态，不需要预警；如果3< EMO_lastT(t)≤7,则输出情感状态为normal，表示当前时间段场景中人物的情感状态 为中性状态，需要关注；如果0<EMO_lastT(t)≤3,则输出全班的情感状态为negative， 表示当前时间段场景中人物的情感状态为消极状态，需要重点关注并预警，转步骤151；
步骤151：多维度可视化，根据连续时间内的平均情感值EMO_lastT(t)，对情感状态 进行可视化并绘制时刻t-T到当前时刻t之间的曲线Curve，曲线的横轴是时刻t-T到时刻t，纵轴是EMO_lastT(t)；
步骤160:用户行为采集:
在第n个探测预警系统中，用户ID为m的用户向服务器发送该用户ID值m、行为数据myText001(m)、myText002(m)、发送当前时间myTime(m)；
其中myText001(m)是ID为m用户接收的行为数据信息信息，myText002(m)是ID 为m的用户的行为数据信息，在此实施例中myText001(m)是ID为m的学生接受到的老师 授课行为数据信息，myText001(m)是ID为m的学生的上课行为数据；
步骤170:用户行为分析:
步骤170的输入是：A类用户行为数据myText002(m)，当前页面时间myTime(m)； B类用户行为数据myText001(m)；
步骤170的输出是：B类用户行为数据与A类用户行为数据比对相似度similarity(m)， A类用户所在当前页面时间间隔myTime_between(m)；
步骤171：该步骤用于处理行为内容正确性，定义参数total_count1(m)表示步骤160 获取的B类用户行为数据的文本总字数，使用名为Length的字符串长度计算方法得出total_count1(m)，定义参数total_count2(m)表示当前A类用户行为内容文本总字数，使用名为Length的字符串长度计算方法得出total_count2(m)，定义参数same_count(m)表示两类用户文本相同的字数，其中same_count(m)的计算方法为内容分析流程600，使用文本 相似度算法计算相似度similarity(m)；
步骤171计算文本相似度的计算方式如下，如果满足条件 (total_count1(m)>total_count2(m))则使用公式(15)进行计算，如果满足条件 (total_count1(m)<total_count2(m))则使用公式(16)进行计算:
similarity(m)＝(same_count(m)÷total_count1(m))×100 (15)
similarity(m)＝(same_count(m)÷total_count2(m))×100 (16)
步骤172：该步骤用于分析用户状态，使用步骤140获取的当前时间myTime(m)，定义参数myTime_last(m)记录上一次获取的用户时间，计算出当前获取时间myTime(m)与 上次获取时间myTime_last(m)的时间间隔myTime_between(m)，其中 myTime_between(m)＝myTime(m)-myTime_last(m)；
步骤180:用户行为分析结果预警:
步骤180的输入是：步骤161计算的文本相似度similarity(m)；步骤172获取的用户 所在页面时间间隔myTime_between(m)；
步骤180的输出是：显示状态预警警告Warning表中状态类型的报警信息,以及用户 行为预警警告Warning表中行为类型的报警信息，其中Warning表是用来存储报警信息的 数据表，包含字段WarningId,Type,m,time,content1,content2,content3，其中WarningId表示报警编号(主键)，Type表示报警类型(1表示行为类型，2表示状态类 型)，m表示用户ID，time表示报警时间，content1表示报警内容，content2表示被报警 用户行为数据以及content3表示更正信息；
步骤180的预警方法是：由步骤180.1至步骤180.2共2个步骤组成：
步骤180.1：该步骤用于显示用户状态预警警报。使用步骤172获取的用户所在页面 时间间隔myTime_between(m)；如果myTime_between(m)小于或等于系统预设报警时间myTime_alert，表示用户这一时间段内工作状态正常，不需要预警；如果 myTime_between(m)大于系统预设报警时间myTime_alert，则表示该用户没有在当前页 面，用户这一时间段内工作状态异常，系统向WarningId表中产生一条新的数据 WarningId＝WarningId+1，其中报警类型Type＝2表示报警类型为状态类型的报警， 同时录入被报警用户信息m和报警时间time，并根据报警类型生成相对应的报警信息 content1，在此实施例中，报警信息content1为m同学离开了课堂。
步骤180.2：该步骤用于显示用户行为预警警报。使用步骤171计算获得的文本相似 度similarity(m)进行判断，此时系统预设的相似度similatityM；如果similarity(m)>similatityM时，表示当前用户工作状态良好，不需要报警；如果similarity(m)<similatityM,表示当前用户工作状态为走神，系统向Warning表中产生一条新的数据WarningId＝WarningId+1，其中报警类型Type＝1表示报警类型为行为类型的报警， 同时录入被报警用户信息m和报警时间time，根据报警类型生成相对应的报警信息 content1，以及获取当前被报警用户的行为数据content2＝myText002(m)，在此实施 例中，报警信息content1为m同学当前溜号了；
步骤181：该步骤是实现发起交互操作。通过判断报警类型Type向报警界面显示对应 类型的报警信息：如果Type＝1，表示该报警信息为用户行为类型的报警，向监控用户端输出用户信息m，报警时间time，报警信息content1，监控用户还可以通过点击报警信息 显示当前被报警用户的行为数据content2；如果Type＝2，表示该报警信息为用户状态类 型的报警，并输出用户信息m，报警时间time，报警信息content1；根据报警类型，以及 输出的信息，监控端用户向被报警用户发送更正信息content3并要求其改正，在此实施例 中，content3为老师向同学发出的更正信息。
Claims (2)
1.多场景多主体身份行为情绪识别分析方法，其特征在于，该方法包括五个流程：(1)启动探测预警流程200，(2)停止探测预警流程300，(3)人脸表情训练流程500，(4)内容分析流程600，(5)前端探测预警流程100；
(1)启动探测预警流程200：该流程的功能是启动前端探测预警；
步骤201：启动探测预警：将第n个前端智控探测预警设备的标志位设置为1，即System_Start(n)＝1；
(2)停止探测预警流程300：该流程的功能是停止前端探测预警；
步骤301：停止探测预警：将第n个前端智控探测预警设备的标志位设置为0，即System_Start(n)＝0；
(3)人脸表情训练流程500：该流程的功能是训练人脸表情识别模型；
步骤501：启动训练，步骤501由步骤501.1至步骤501.2两个步骤组成：
步骤501.1：训练表情识别模型：
步骤501.1的输入是：样本是由P张图片组成的数据集，每张图片的文件名是pic_x_y_zzzzzz.jpg，其中x表示该图片对应的情感类别值，y表示该图片属于训练样本还是测试样本，zzzzzz表示图片编号；
步骤501.1的输出是：训练后的模型EmotionModel；
步骤501.1的实现方法是：由步骤501.1.1至步骤501.1.4共4个步骤组成；
步骤501.1.1：该步骤将图片转化成为数组；样本是P张图片，根据每个图片文件和图片名称pic_x_y_zzzzzz.jpg，将该图片转化为数据data(pIMG,pType)，data(pIMG,pType)的数据结构如下：data由P行3列构成，data的每一行表示一个图片的信息，pIMG对应zzzzzz是图片编号；
当pType＝1时，data(pIMG,1)用来存储第pIMG张图片的像素data(pIMG,1)＝img(pIMG,mIMG,nIMG,cIMG)，该图像每个像素点的值,其中mIMG表示图像像素的行数，nIMG表示图像像素的列数，cIMG表示图像像素的RGB通道号，因此cIMG＝1，2，3；每个图片的维度大小为size×size，因此，mIMG＝1，2，…,size，nIMG＝1，2,…,size；
当pType＝2时，data(pIMG,2)用来存储第pIMG张图片的情感标签值，data(pIMG,2)的取值在集合eIMG中，即data(pIMG,2)＝eIMG，eIMG＝{1,2，…,10}，按照情感极性由消极到积极的程度，具体表情对应的标签如下：1大哭、2伤心、3憎恨、4厌恶、5沮丧、6严肃、7微笑、8喜悦、9惊讶、10大笑，其中eIMG对应x是情感标签；
当pType＝3时，data(pIMG,3)用来存储第pIMG张图片是训练样本还是测试样本，data(pIMG，3)的取值在集合gIMG中，gIMG＝{0,1}即第pIMG个样本图像如果是训练样本则data(pIMG,3)＝0，如果是测试样本则data(pIMG，3)＝1，其中gIMG对应y是训练样本或测试样本的类别值；
即：当图片文件名是pic_0_5_000123.jpg时，该图片信息存储为：data(123,1)＝img(123,mIMG,nIMG,cIMG)，即img(123,100,200,1)表示第123张图片第100行200列R通道的值；data(123,2)＝5；data(123,3)＝0；
步骤501.1.2:该步骤将图像进行灰化；将图像从RGB模式转换为L模式，降低计算复杂度，该步骤的输入是从步骤501.1输出的图像像素值矩阵data(pIMG,1)，该步骤的输出是灰化后的图片data_gray(pIMG)；
步骤501.1.2将图片从模式RGB转换为灰化L模式的计算方式见公式(1)：
data_gray(pIMG)＝ToGray(data(pIMG,1)) (1)
步骤501.1.3：该步骤将数据划分为训练集和测试集，根据样本图像的第三列，即训练集与测试集的标记列，将图像数据集划分为训练集和测试集；输出训练集的特征为：x_train(pIMG),训练集的标签为：y_train(pIMG),测试集的特征为：x_test(pIMG)，测试集的标签为：y_test(pIMG)，计算方式见公式(2)、(3)、(4)、(5)；
当data(pIMG,3)＝0时，表示这些数据是训练集数据，即：
x_train(pIMG)＝data_gray(pIMG) (2)
y_train(pIMG)＝data(pIMG,2) (3)
当data(pIMG,3)＝1时，表示这些数据是测试集数据，即：
x_test(pIMG)＝data_gray(pIMG) (4)
y_test(pIMG)＝data(pIMG，2) (5)
步骤501.1.4:该步骤将训练表情识别模型，使用卷积神经网络进行训练，该步骤的输入为x_train(pIMG)、y_train(pIMG)、x_test(pIMG)、y_test(pIMG)，输出为模型评价指标准确率accuracy，训练模型的计算方式见公式(6)：
EmotionModel＝FIT(x_train(pIMG)，y_train(pIMG)) (6)
测试模型准确率的的计算方式见公式(7)：
Accuracy＝EmotionModel(x_test(pIMG)，y_test(pIMG)) (7)
当模型准确率accuracy达到95％以上时，停止训练，模型保存为EmotionModel；
步骤501.2：训练人脸识别模型；
步骤501.2的输入是：样本是由Q张图片组成的数据集，每张图片的文件名是pic_userName_id_number_aaaaaa.jpg，其中userNmae表示该张图片所对应的人物的真实姓名，id表示该张图片所对应的人物的唯一ID索引号，number表示第id个人物的第number张图片，aaaaaa表示图片编号；
步骤501.2的输出是：训练后的模型FaceModel，识别出该人是谁；
步骤501.2的实现方法是：由步骤501.2.1至步骤501.2.3共3个步骤组成；
步骤501.2.1：该步骤将图片转化成为数组；样本是Q张图片，根据每个图片文件和图片名称pic_userName_id_number_aaaaaa.jpg，将该图片转化为数据dataface(qIMG,qType)，dataface(qIMG,qType)的数据结构如下：dataface由Q行4列构成，dataface的每一行表示一个图片的信息，qIMG对应aaaaaa是图片编号；
当qType＝1时，data(qIMG,1)用来存储第qIMG张图片的像素，data(qIMG,1)＝img(qIMG,mIMG,nIMG,cIMG)，该图像每个像素点的值,其中mIMG表示图像像素的行数，nIMG表示图像像素的列数，cIMG表示图像像素的RGB通道号，因此cIMG＝1,2,3；每个图片的维度大小为size×size，因此，mIMG＝1,2，…,size,nIMG＝1，2,…,size；
当qType＝2时，data(qIMG,2)用来存储第qIMG张图片中人物的真实姓名，其中data(qIMG,2)的取值对应userName；
当qType＝3时，data(qIMG,3)用来存储第qIMG张图片中人物的唯一ID索引号，其中data(qIMG,3)的取值对应id；
当qType＝4时，data(qIMG,4)用来存储第qIMG张图片中，第id个人物的第number张图片，其中data(qIMG,4)的取值对应number；
步骤501.2.2:该步骤将图像进行灰化；将图像从RGB模式转换为L模式，降低计算复杂度，该步骤的输入是从步骤501.2.1输出的图像像素值矩阵data(qIMG,1)，该步骤的输出是灰化后的图片data_gray(qIMG)；
步骤501.2.2将图片从模式RGB转换为灰化L模式的计算方式见公式(8)：
data_gray(qIMG)＝ToGray(data(qIMG，1)) (8)
步骤501.2.3：训练人脸识别模型，调用人脸识别器进行训练，该步骤的输入是步骤501.2.2灰度化后的dataface(qIMG,qType)，输出是得到的人脸识别模型FaceModel,训练模型的计算方式见公式(9)：
FaceModel＝Train(dataface) (9)
(4)内容分析流程600：该流程的功能是计算相同文本数same_count(m)，其中same_count(m)表示ID为m用户的相同字符数；
步骤601：启动内容分析，配置字符指针A指向myText001(m)文本的起点处，指针B指向myText002(m)文本的起点处，其中myText001(m)是ID为m用户接受到的行为数据，myText002(m)是ID为m用户的行为数据；
步骤602：判断字符指针A是否指向myText001(m)文本的终点，B是否指向myText002(m)文本的终点，如果没有指向文本终点，则转到步骤603，如果上述判断条件满足任意一个，则内容分析流程结束；
步骤603：判断字符指针A和B当前所指位置字符是否相同，如果相同，则转到步骤604，如果不同，则转到步骤606；
步骤604：更新指针A、B，其中A加一后，更新A，B加一后，更新B，转到步骤605；
步骤605：相同文本字数same_count计算，same_count加一后，更新same_count，转到步骤602；
步骤606：配置新的字符指针C，指向字符指针B的下一个字符，即将B加一后的值赋给C，更新C，转到步骤607；
步骤607：判断指针C是否指向myText002(m)文本终点，如果是，转到步骤608，如果不是，则转到步骤609；
步骤608：更新指针A和B，其中A加一后，更新A，B加一后，更新B，转到步骤602；
步骤609：判断指针C和A指向的字符是否相同，如果相同，转到步骤610，如果不相同，则转到步骤611；
步骤610：更新指针B，使指针B指向当前指针C所指的字符位置，更新B，转到步骤602；
步骤611：更新指针C，其中C加一后，更新C，转到步骤607；
(5)前端智控探测预警流程100由步骤110至步骤180共8个步骤构成：
步骤110:系统参数配置:
初始化系统的启动状态System_Start(n)＝0，其中n＝1,2,…,N，System_Start(n)＝0表示令系统中第n个前端探测装置处于停止工作状态，一共有N个前端探测装置；
初始化当前时刻t：t为当前时间，格式为：YY年MM月DD日HH时MM分SS秒；初始化上次图像处理的时间t_last为当前时间；初始化当前系统时间t与上次图像处理的时间t_last之间的时间间隔t_between＝0；
初始化触发算法间隔周期T：T的取值范围为10秒；
初始化人脸数据库NAME(id，name)，其中id＝1，2…Nnamc表示每张人脸的索引号，Nnamc表示总人数，name表示人脸对应人的真实姓名；
初始化用户状态报警变量myTime_alert：myTime_alert取值为600s；
初始化用户行为报警变量similatityd：similatityd取值为30；
步骤120:智控探测预警启动判定:
判断是否启动探测预警：检测当前系统的状态，如果System_Start(n)＝1，其中n＝1,2,…,N，则启动第n个探测预警系统，如果System_Start(n)＝0，其中n＝1,2,…,N，则不启动探测预警系统；
计算当前时间与上一次执行分析算法的时间差t_between＝t-t_last，如果t_between<T，则表示距离上一次执行分析算法的时间差小于触发算法执行的最小时间T，则不执行分析算法，随着t的增大，当t_between>＝T时，则表示距离上一次执行分析算法的时间差达到了触发算法执行的最小时间T，则执行分析算法，将当前执行时间t设置为最后一次执行分析算法的时间t_last＝t，进入步骤130；
步骤130:视频图像采集:
步骤130的输入是：第n个前端探测装置在被监控的场景中采集的视频；
步骤130的输出是：第n个前端探测装置在当前时刻采集的图像capture_image(n)，其中n＝1,2,…,N,表示系统中第n个前端探测装置；
步骤130的实现方法是：获取监控场景中的实时视频，将当前时刻的视频图像存储为capture_image(n)；
步骤140:视频图像分析:
步骤140由步骤141个体识别分析和步骤142情感指数分析组成；
步骤141：个体识别分析；
步骤141的输入是：第n个前端探测装置在当前时刻采集的图像capture_image(n)；
步骤141的输出是：图片中各人物所出现的次数result(n,id)，其中n＝1,2，…,N,表示系统中第n个前端探测装置，id表示所所检测到人物的唯一id号；
步骤141的实现方法是：由步骤141.1至步骤141.3共3个步骤组成；
步骤141.1：该步骤将图像进行灰化，将图像从RGB模式转换为L模式，降低计算复杂度，该步骤的输入是从步骤130输出的图像数据capture_image(n)，capture_image(n)＝capture_image_color(n,i，j，c)，i，j表示图片的像素，i＝1,2…1024，j＝1,2…1024,c表示图片RGB的三通道，c＝1,2,3；该步骤的输出是灰化后的图片capture_gray(n)，其中n＝1,2,…,N；
步骤141.1将图片从模式RGB转换为灰化L模式的计算方式见公式(10)：
capture_gray(n)＝ToGray(capture_image(n)) (10)
步骤141.2：该步骤将利用分类器识别出人脸区域，调用人脸检测器，识别出capture_gray(n)中的人脸区域，指定其命名为capture_face(n)，计算方式见公式(11)：
capture_face(n)＝FaceDetect(capture_gray(n)) (11)
步骤141.3：该步骤将人脸识别，调用步骤501.2.2步骤中训练好的人脸识别模型FaceModel，对capture_face(n)中人脸区域中的人脸进行识别，与人脸数据库中的人脸进行比对，计算连续k个T周期内各个人脸出现的次数，其中5≤k≤10且为整数，计算方式见公式(12)：
result(id)＝Calculate(FaceModel,capture_face(n)) (12)
如果result(id)≥1，则表示该人物存在，否则表示该人物不存在；
步骤142：情感指数分析；
步骤142的输入是：第n个前端探测装置在当前时刻采集的图像capture_image(n)；
步骤142的输出是：第n个前端探测装置在当前时刻采集的图像中的各类表情及其个数EMO(i)＝ni,i＝[1,10],其中i表示不同的表情类别；
步骤142的实现方法是：由步骤142.1至步骤142.3共3个步骤组成：
步骤142.1:利用分类器识别出人脸区域，调用人脸检测器，识别出capture_image(n)的人脸区域，指定其命名为face(n)；
步骤142.2:为识别出的人脸添加坐标框；
步骤142.2的输入是：步骤142.1中的人脸图像face(n)；
步骤142.2的输出是：框选出人脸坐标的图片，指定命名为capture_rectangle(n)；
步骤142.2坐标的计算方式为：指定(x,y)为左下角的坐标，w为宽，h为高，则人脸框右上角的坐标为(x+w，y+h)；
步骤142.3：人脸表情识别，使用步骤501中训练好的模型EmotionModel对步骤142.2中框选出人脸坐标的图片capture_rectangle(n)进行人脸表情识别，输出识别结果大哭、伤心、憎恨、厌恶、沮丧、严肃、微笑、喜悦、惊讶、大笑这十种表情及其个数，指定大哭表情的人数为EMO(1)＝N1,伤心表情的人数为EMO(2)＝N2，憎恨表情的人数为EMO(3)＝N3，厌恶表情的人数为EMO(4)＝Nz,沮丧表情的人数为EMO(5)＝N5，严肃表情的人数为EMO(6)＝N6，微笑表情的人数为EMO(7)＝N7，喜悦表情的人数为EMO(8)＝N8，惊讶表情的人数为EMO(9)＝N9，大笑表情的人数为EMO(10)＝N10；
步骤150:视频图像分析结果预警:
步骤150的输入是：步骤142识别出的表情结果及其个数,EMO(i)＝Ni,i＝[1，10],Ni＝0,1，…，N,Ni为识别出的不同表情结果的个数
步骤150的输出是：场景的情感状态；
步骤150的实现方法是：由步骤150.1至步骤150.3共3个步骤组成：
步骤150.1：计算当前时刻t场景中的人物整体情感值，按照情感积极到消极的程度,情感分为大哭、伤心、憎恨、厌恶、沮丧、严肃、微笑、喜悦、惊讶、大笑，设定情感分值，其中大哭的人数为EMO(1)，大哭的分值是EMO_score(1)＝1，设定10种情感的分值依次递增，范围为1至10，则大笑的人数为EMO(10)，大笑的分值EMO_score(10)＝10，则每个时刻t的整体情感值的计算方式见公式(13)：
步骤150.2：计算距离当前时刻t最近的连续T个时刻的平均情感值，其计算方式见公式(14)：
步骤150.3：输出场景的情感状态：如果7<EMO_lastT(t)≤10,则输出情感状态为positive，表示当前时间段场景中人物的情感状态为积极状态，不需要预警；如果3<EMO_lastT(t)≤7,则输出情感状态为normal，表示当前时间段场景中人物的情感状态为中性状态，需要关注；如果0<EMO_lastT(t)≤3,则输出全班的情感状态为negative，表示当前时间段场景中人物的情感状态为消极状态，需要重点关注并预警，转步骤151；
步骤151：多维度可视化，根据连续时间内的平均情感值EMO_lastT(t)，对情感状态进行可视化并绘制时刻t-T到当前时刻t之间的曲线Curve，曲线的横轴是时刻t-T到时刻t，纵轴是EMO_lastT(t)；
步骤160:用户行为采集:
在第n个探测预警系统中，用户ID为m的用户向服务器发送该用户ID值m、行为数据myText001(m)、myText002(m)、发送当前时间myTime(m)；
其中myText001(m)是用户ID为m接收的B类用户行为数据信息，myText002(m)是用户ID为m的A类用户行为数据信息；
步骤170:用户行为分析:
步骤170的输入是：A类用户行为数据myText002(m)，当前页面时间myTime(m)；B类用户行为数据myText001(m)；
步骤170的输出是：B类用户行为数据与A类用户行为数据比对相似度similarity(m)，A类用户所在当前页面时间间隔myTime_between(m)；
步骤171：行为内容分析，定义参数total_count1(m)表示步骤160获取的B类用户行为数据的文本总字数，使用名为Length的字符串长度计算方法得出total_count1(m)，定义参数total_count2(m)表示当前A类用户行为内容文本总字数，使用名为Length的字符串长度计算方法得出total_count2(m)，定义参数same_count(m)表示两类用户文本相同的字数，其中same_count(m)的计算方法为内容分析流程600，使用文本相似度算法计算相似度similarity(m)；
步骤171计算文本相似度的计算方式如下，如果满足条件(total_count1(m)>total_count2(m))则使用公式(15)进行计算，如果满足条件(total_count1(m)<total_count2(m))则使用公式(16)进行计算:
similarity(m)＝(same_count(m)÷total_count1(m))×100 (15)
similarity(m)＝(same_count(m)÷total_count2(m))×100 (16)
步骤172：分析用户状态，使用步骤160获取的当前时间myTime(m)，定义参数myTime_last(m)记录上一次获取的用户时间，计算出当前获取时间myTime(m)与上次获取时间myTime_last(m)的时间间隔myTime_between(m)，其中myTime_between(m)＝myTime(m)-myTime_last(m)；
步骤180:用户行为分析结果预警:
步骤180的输入是：步骤171计算的文本相似度similarity(m)；步骤172获取的用户所在页面时间间隔myTime_between(m)；
步骤180的输出是：显示状态预警警告Warning表中状态类型的报警信息,以及用户行为预警警告Warning表中行为类型的报警信息，其中Warning表是用来存储报警信息的数据表，包含字段WarningId,Type,m,time，content1，content2,content3，其中WarningId表示报警编号(主键)，Type表示报警类型，其中1表示行为类型，2表示状态类型，m表示用户ID，time表示报警时间，content1表示报警内容，content2表示被报警用户行为数据以及content3表示更正信息；
步骤180的预警方法是：由步骤180.1至步骤180.2共2个步骤组成：
步骤180.1：显示用户状态预警警报；使用步骤172获取的用户所在页面时间间隔myTime_between(m)；如果myTime_between(m)小于或等于系统预设报警时间myTime_alert，表示用户这一时间段内工作状态正常，不需要预警；如果myTime_between(m)大于系统预设报警时间myTime_alert，则表示该用户没有在当前页面，用户这一时间段内工作状态异常，系统向Warning表中产生一条新的数据，其中报警类型Type＝2表示报警类型为状态类型的报警，同时录入被报警用户信息m和报警时间time，并根据报警类型生成相对应的报警信息content1；
步骤180.2：显示用户行为预警警报；使用步骤171计算获得的文本相似度similarity(m)进行判断，此时系统预设的相似度similarityd；如果similarity(m)>similarityd时，表示当前用户工作状态良好，不需要报警；如果similarity(m)<similarityd,表示当前用户工作状态为走神，系统向Warning表中产生一条新的数据，其中报警类型Type＝1表示报警类型为行为类型的报警，同时录入被报警用户信息m和报警时间time，根据报警类型生成相对应的报警信息content1，以及获取当前被报警用户的行为数据content2＝myText002(m)；
步骤181：该步骤是实现发起交互操作；通过判断报警类型Type向报警界面显示对应类型的报警信息：如果Type＝1，表示该报警信息为用户行为类型的报警，向监控用户端输出用户信息m，报警时间time，报警信息content1，监控用户还通过点击报警信息显示当前被报警用户的行为数据content2；如果Type＝2，表示该报警信息为用户状态类型的报警，并输出用户信息m，报警时间time，报警信息content1；根据报警类型，以及输出的信息，监控端用户向被报警用户发送更正信息content3并要求其改正。
2.基于多场景多主体身份行为情绪识别分析方法的智能监管系统，以下简称智能监管系统，其特征在于，包括：被监控管理端(1000)、服务器端(2000)、监控管理端(3000)、互联网(5000)，其中，
(1)被监控管理端(1000)：
被监控管理端(1000)的作用是捕捉监控场景中的信息，经过分析后反馈提示监控场景中的用户；被监控管理端(1000)包含：A类用户(1100)、视频采集装置(1200)、前端智控探测预警装置(1300)、网络设备(1400)、A类用户终端(1500)、B类用户(1600)、B类用户终端(1700)；
A类用户(1100)是探测场景中被探测的用户；A类用户(1100)被视频采集装置(1200)采集视频图像信息，A类用户(1100)使用A类用户终端(1500)过程中被记录了行为信息；
视频采集装置(1200)是场景中采集视频信息的装置；视频采集装置(1200)的输入是A类用户(1100)的视频信息；视频采集装置(1200)的视频输出接口通过视频模拟数据线或者数字数据线与前端智控探测预警装置(1300)的视频输入接口相连接，将视频采集装置(1200)采集的视频信息传递给前端智控探测预警装置(1300)；
前端智控探测预警装置(1300)是场景中提供预警警告的装置；前端智控探测预警装置(1300)的网络接口通过网线与网络设备(1400)的网口连接，作用一是将前端智控探测预警装置(1300)的数据传给网络设备(1400)，进而通过互联网(5000)发送给服务器端(2000)；作用二是接收服务器端(2000)返回的警示信息，并显示给A类用户(1100)；
网络设备(1400)是网络接入设备；网络设备(1400)的作用：一是获取前端智控探测预警装置(1300)的A类用户(1100)视频数据；二是A类用户(1100)、B类用户(1600)的行为数据；三是将数据通过互联网(5000)传递给服务器端(2000)；四是接收服务器端(2000)返回的数据，并显示给A类用户(1100)和B类用户(1600)；网络设备(1400)的网络接口通过网线与前端智控探测预警装置(1300)、A类用户终端(1500)、B类用户终端(1700)和和网络设备(5100)的网络接口相连接；
A类用户终端(1500)是获取A类用户(1100)指令和显示系统处理结果的设备；A类用户终端(1500)与A类用户(1100)的连接关系是：A类用户(1100)通过A类用户终端(1500)的键盘或者鼠标或者触控屏幕将控制信息输入给A类用户终端(1500)，A类用户终端(1500)通过其自身的显示装置将系统的处理结果反馈给A类用户(1100)；A类用户终端(1500)的网络接口通过数字数据线与网络设备(1400)的网络接口相连接，作用是将A类用户(1100)的行为信息传递给网络设备(1400)；
B类用户(1600)是探测场景中被监控管理端探测的用户，同时也向A类用户(1100)发起监控；B类用户(1600)使用B类用户终端(1700)过程中被记录了行为信息；
B类用户终端(1700)是获取B类用户(1600)指令和显示系统处理结果的设备；B类用户终端(1700)与B类用户(1600)的连接关系是：B类用户(1600)通过B类用户终端(1700)的键盘或者鼠标或者触控屏幕将控制信息输入给B类用户终端(1700)，B类用户终端(1700)通过其自身的显示装置将系统的处理结果反馈给B类用户(1600)；B类用户终端(1700)的网络接口通过数字数据线与网络设备(1400)的网络接口相连接；作用是将B类用户(1600)的行为信息传递给网络设备(1400)；
(2)服务器端(2000)：
服务器端(2000)的作用是接收、存储、分析数据，并将处理后的数据通过互联网(5000)发给被监控端(1000)和监控管理端(3000)；服务器端(2000)包含：网络设备(2100)、后端智控探测预警服务器(2200)、数据库服务器(2300)、存储服务器(2400)；
网络设备(2100)是网络接入设备；网络设备(2100)的作用：一是获取来自被监控管理端(1000)和监控管理端(3000)的数据，二是将后端智控探测预警服务器(2200)处理后的结果通过互联网(5000)返回给被监控管理端(1000)和监控管理端(3000)，三是实现互联网(5000)的网络设备(5100)与服务器端(2000)的后端智控探测预警服务器(2200)、数据库服务器(2300)和存储服务器(2400)数据交换传递；网络设备(2100)的网络接口通过网线与互联网(5000)的后端智控探测预警服务器(2200)、数据库服务器(2300)、存储服务器(2400)和网络设备(5100)的网络接口相连接；
后端智控探测预警服务器(2200)是处理数据和指令的设备；后端智控探测预警服务器(2200)的网络接口与网络设备(2100)的网络接口相连接，作用是获取被监控端(1100)与监控管理端(3000)的数据或指令，并将处理后的数据或指令传递给网络设备(2100)；通过网络设备(2100)将表格信息存储在数据库服务器(2300)，同时将图片数据存储在存储服务器(2400)；
数据库服务器(2300)是存储表格数据的设备，数据库服务器(2300)的网络接口与网络设备(2100)的网络接口相连接，作用是获取、存储和传递表格数据；
存储服务器(2400)是存储图片数据的设备；存储服务器(2400)的网络接口与网络设备(2100)的网络接口相连接，作用是获取、存储和传递图片数据；
服务器端(2000)中的后端智控探测预警服务器(2200)是智能监管系统(20000)的核心装置，后端智控探测预警服务器(2200)的输入、处理、输出与基于多场景多主体身份行为情绪识别分析方法(10000)方法的关系是：
智能监管系统(20000)的视频采集装置(1200)是基于多场景多主体身份行为情绪识别分析方法(10000)中前端探测预警流程(100)中步骤视频图像采集(103)的执行装置，是基于多场景多主体身份行为情绪识别分析方法(10000)的智能监管系统(20000)运行过程中视频监测信息的采集输入源；
智能监管系统(20000)的A类用户终端(1500)、B类用户终端(1700)是基于多场景多主体身份行为情绪识别分析方法(10000)中前端探测预警流程(100)中的用户行为采集(104)的执行装置，是智能监管系统(20000)中用户行为信息的采集；
智能监管系统(20000)的后端智控探测预警服务器(2200)是基于多场景多主体身份行为情绪识别分析方法(10000)中前端指控探测预警流程(100)、启动探测预警流程(200)、停止探测预警流程(300)、人脸表情训练流程(500)、内容分析流程(600)的执行装置，是智能监管系统(20000)中对采集输入的用户身份行为信息、视频信息进行分析从而得到结论输出的执行装置；
智能监管系统(20000)的前端智控探测预警装置(1300)是基于多场景多主体身份行为情绪识别分析方法(10000)中前端探测预警流程(100)中视频图像分析结果预警(1070)和用户行为分析结果预警(1080)的执行装置，是智能监管系统(20000)中显示结果、提供预警的装置；
(3)监控管理端(3000)
监控管理端(3000)的作用是发起监控，获取被监控端用户的信息；监控管理端(3000)包含：网络设备(3100)、C类用户终端(3200)、D类用户终端(3300)、C类用户(3400)、D类用户(3500)；
网络设备(3100)是网络接入设备；网络设备(3100)的作用：一是获取C类用户(3400)的行为信息或指令；二是将C类用户(3400)的行为信息或指令通过互联网发送给服务器端(2000)；三是是接收服务器端(2000)返回的被监控管理端(1000)的监控数据，并显示给C类用户(3400)；网络设备(3100)的网络接口通过网线与C类用户终端(3200)、互联网(5000)的网络设备(5100)的网络接口相连接；
C类用户终端(3200)是获取C类用户(3400)指令和显示系统处理结果的设备；C类用户终端(3200)与C类用户(3400)的连接关系是：C类用户(3400)通过C类用户终端(3200)的键盘或者鼠标或者触控屏幕将控制信息输入给C类用户终端(3200)，C类用户终端(3200)通过其自身的显示装置将系统的处理结果反馈给C类用户(3400)；C类用户终端(3200)的网络接口通过数字数据线与网络设备(3100)的网络接口相连接，作用是将C类用户(3400)的行为信息传递给网络设备(3100)；
C类用户(3400)是通过有线方式接入监控系统并发起探测行为的用户；C类用户(3400)通过C类用户终端(3200)发起监控指令；
D类用户终端(3300)是获取D类用户(3500)指令和显示系统处理结果的设备；D类用户终端(3300)与D类用户(3500)的连接关系是：D类用户(3500)通过D类用户终端(3300)的键盘或者鼠标或者触控屏幕将控制信息输入给D类用户终端(3300)，D类用户终端(3300)通过其自身的显示装置将系统的处理结果反馈给D类用户(3500)；D类用户终端(3300)通过手机网络与移动网络设备(5200)相连接；
D类用户(3500)是通过无线方式接入监控系统并发起探测行为的用户；D类用户(3500)通过D类用户终端(3300)发起监控指令；
(4)互联网(5000)
互联网(5000)的作用是实现全球任何位置的数据交换；互联网(5000)包含：网络设备(5100)、移动网络设备(5200)；
网络设备(5100)是网络接入设备；网络设备(5100)的网络接口通过网线与网络设备(1400)、网络设备(2100)、网络设备(3100)、系统网络设备相连接，作用是实现被监控端(1000)、服务器端(2000)与监控管理端(3000)的数据交换传递；
移动网络设备(5200)是通过无线方式接入网络的设备；移动网络设备(5200)通过无线网络与D类用户终端(3300)相连，作用是获取D类用户(3500)的行为信息；移动网络设备(5200)的网络接口通过网线与网络设备(5100)的网络接口相连接，作用是将D类用户(3500)的行为信息传递给网络设备(5100)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010417747.2A CN111666829A (zh) | 2020-05-18 | 2020-05-18 | 多场景多主体身份行为情绪识别分析方法及智能监管系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010417747.2A CN111666829A (zh) | 2020-05-18 | 2020-05-18 | 多场景多主体身份行为情绪识别分析方法及智能监管系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111666829A true CN111666829A (zh) | 2020-09-15 |
Family
ID=72383748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010417747.2A Pending CN111666829A (zh) | 2020-05-18 | 2020-05-18 | 多场景多主体身份行为情绪识别分析方法及智能监管系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111666829A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642516A (zh) * | 2021-08-31 | 2021-11-12 | 上海明略人工智能(集团)有限公司 | 会议重点内容抽取方法、系统、计算机设备和存储介质 |
| CN114220055A (zh) * | 2021-12-15 | 2022-03-22 | 中国平安人寿保险股份有限公司 | 辅助用户面谈的方法、装置、计算机设备及存储介质 |
| WO2022120925A1 (zh) * | 2020-12-07 | 2022-06-16 | 安徽鸿程光电有限公司 | 信息处理方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103631800A (zh) * | 2012-08-23 | 2014-03-12 | 腾讯科技（深圳）有限公司 | 信息处理方法及装置 |
| CN106778539A (zh) * | 2016-11-25 | 2017-05-31 | 鲁东大学 | 教学效果信息获取方法及装置 |
| CN107608870A (zh) * | 2017-09-22 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种系统资源使用率的统计方法和系统 |
| CN109461104A (zh) * | 2018-10-22 | 2019-03-12 | 杭州闪宝科技有限公司 | 课堂监控方法、装置及电子设备 |
| CN111027865A (zh) * | 2019-12-12 | 2020-04-17 | 山东大学 | 一种基于行为和表情智能识别的课堂教学分析与质量评估系统及方法 |
-
2020
- 2020-05-18 CN CN202010417747.2A patent/CN111666829A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103631800A (zh) * | 2012-08-23 | 2014-03-12 | 腾讯科技（深圳）有限公司 | 信息处理方法及装置 |
| CN106778539A (zh) * | 2016-11-25 | 2017-05-31 | 鲁东大学 | 教学效果信息获取方法及装置 |
| CN107608870A (zh) * | 2017-09-22 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种系统资源使用率的统计方法和系统 |
| CN109461104A (zh) * | 2018-10-22 | 2019-03-12 | 杭州闪宝科技有限公司 | 课堂监控方法、装置及电子设备 |
| CN111027865A (zh) * | 2019-12-12 | 2020-04-17 | 山东大学 | 一种基于行为和表情智能识别的课堂教学分析与质量评估系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 梁利亭: "人脸检测和表情识别在课堂教学评价中的应用研究", 山东商业职业技术学院学报, vol. 20, no. 2, 30 April 2020 (2020-04-30) * |
| 王慧: "基于人脸识别的智能教育管理平台的设计与实现", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2020, 15 January 2020 (2020-01-15), pages 138 - 418 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022120925A1 (zh) * | 2020-12-07 | 2022-06-16 | 安徽鸿程光电有限公司 | 信息处理方法、装置、设备及存储介质 |
| CN113642516A (zh) * | 2021-08-31 | 2021-11-12 | 上海明略人工智能(集团)有限公司 | 会议重点内容抽取方法、系统、计算机设备和存储介质 |
| CN113642516B (zh) * | 2021-08-31 | 2024-02-13 | 上海明略人工智能(集团)有限公司 | 会议重点内容抽取方法、系统、计算机设备和存储介质 |
| CN114220055A (zh) * | 2021-12-15 | 2022-03-22 | 中国平安人寿保险股份有限公司 | 辅助用户面谈的方法、装置、计算机设备及存储介质 |
| CN114220055B (zh) * | 2021-12-15 | 2024-04-05 | 中国平安人寿保险股份有限公司 | 辅助用户面谈的方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110991381B (zh) | 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法 | |
| CN108399376B (zh) | 学生课堂学习兴趣智能分析方法及系统 | |
| US9666088B2 (en) | Video-based teacher assistance | |
| CN111666829A (zh) | 多场景多主体身份行为情绪识别分析方法及智能监管系统 | |
| CN112069970B (zh) | 课堂教学事件分析方法及装置 | |
| CN112949622A (zh) | 融合文本与图像的双模态性格分类方法及装置 | |
| CN112102129A (zh) | 一种基于学生端数据处理的智能考试作弊识别系统 | |
| CN110660275B (zh) | 一种基于视频分析的师生课堂即时互动系统和方法 | |
| CN110399810B (zh) | 一种辅助点名方法及装置 | |
| Zakka et al. | Estimating student learning affect using facial emotions | |
| Zhang et al. | Cross-cultural O2O English teaching based on AI emotion recognition and neural network algorithm | |
| Villegas-Ch et al. | Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques | |
| CN111178263A (zh) | 一种实时表情分析方法及其装置 | |
| CN112861809B (zh) | 基于多目标视频分析的课堂抬头检测系统及其工作方法 | |
| Ray et al. | Design and implementation of affective e-learning strategy based on facial emotion recognition | |
| CN115829234A (zh) | 基于课堂检测的自动化督导系统及其工作方法 | |
| Mai et al. | Video-based emotion recognition in the wild for online education systems | |
| CN115641537A (zh) | 教师多模态情感与学生行为相关性的可视分析方法及系统 | |
| Huang et al. | Research on learning state based on students’ attitude and emotion in class learning | |
| Abdulhamied et al. | Real-time recognition of American sign language using long-short term memory neural network and hand detection | |
| WO2023079370A1 (en) | System and method for enhancing quality of a teaching-learning experience | |
| Cheng | Video-based Student Classroom Classroom Behavior State Analysis | |
| Zhu | Analysis of University Education Management Based on Artificial Intelligence | |
| TW202139061A (zh) | 動作識別方法及裝置、電腦可讀存儲介質 | |
| Shenoy et al. | A Study on various Applications of Computer Vision for Teaching Learning in Classroom |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |