CN107169426A - 一种基于深度神经网络的人群情绪异常检测和定位方法 - Google Patents
一种基于深度神经网络的人群情绪异常检测和定位方法 Download PDFInfo
- Publication number
- CN107169426A CN107169426A CN201710284869.7A CN201710284869A CN107169426A CN 107169426 A CN107169426 A CN 107169426A CN 201710284869 A CN201710284869 A CN 201710284869A CN 107169426 A CN107169426 A CN 107169426A
- Authority
- CN
- China
- Prior art keywords
- mrow
- emotion
- msub
- crowd
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 title claims abstract description 12
- 230000004807 localization Effects 0.000 title claims abstract description 8
- 230000008451 emotion Effects 0.000 claims abstract description 72
- 238000012544 monitoring process Methods 0.000 claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000008909 emotion recognition Effects 0.000 claims description 21
- 230000005856 abnormality Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 230000001815 facial effect Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 208000019901 Anxiety disease Diseases 0.000 claims description 4
- 230000036506 anxiety Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 230000002547 anomalous effect Effects 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 2
- 238000012806 monitoring device Methods 0.000 abstract 2
- 238000013075 data extraction Methods 0.000 abstract 1
- 230000036651 mood Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 208000027534 Emotional disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度神经网络的人群情绪异常检测和定位方法，通过监控设备获取视频数据，并对其进行视频关键帧数据提取，并从视频关键帧数据获取每一帧的人脸图像数据，并进行对齐、分组、排序预处理，然后输入到训练好的基于卷积神经网络的人脸情绪识别模型中，并通过训练好的人群情绪检测和定位模型，获取监测视频数据中人群情绪异常检测和定位结果并反馈给监控设备工作人员，本发明设计合理，通过模型能够得到人群情绪异常与人群异常之间的关系，避免了人群异常与具体异常事件相关联而导致的检测局限性问题，另外，模型采用了混合的深度神经网络结构模型，从而进一步提高了视频人群情绪异常检测和定位的效率。
Description
技术领域
本发明涉及一种计算机视觉技术领域，尤其是一种基于深度神经网络的人群情绪异常检测和定位方法。
背景技术
随着社会的持续稳定发展和人民群众物质文化生活水平的不断提高，城市人群聚集区域的娱乐活动、商业活动等越来越被公众关注，这些活动往往场地空间有限且参与人数众多，一旦发生异常情况，极易对广大人民群众的生命和财产安全产生严重危害，为了尽早的发现异常情况，及时采取措施，主要借助城市中广泛存在的监控设备，通过监控设备进行异常情况的检测和定位；
异常检测主要分为两类：整体异常检测和局部异常检测，整体异常指的是由场景中的所有个体引发的异常，整体异常检测的任务是检测异常事件，并确定异常事件的起始和终止位置，以及它们之间的过渡；
局部异常是指由某个个体引发的异常，这个个体可能有别于其他正常的个体，局部异常检测的任务是检测异常事件，并定位异常发生的位置。
异常检测根据对异常的不同定义而有所区别，通常对于异常的定义会与具体发生的事件关联起来，而人群情绪异常的定义是指人群中整体或个体出现的不正常情绪变化，即对于异常的检测并不与具体的异常事件直接关联。例如，当人群恐慌事件发生时，人群整体上从中性情绪到恐慌情绪的变化，就是一种人群情绪异常情况，需要关注的是情绪的异常变化情况，而不需要知道具体的异常事件；
对于情绪的定义，在研究中普遍采用Ekman的离散情绪模型，它将情绪分为高兴、愤怒、厌恶、恐惧、悲伤、惊奇六类，为了更有效地刻画情绪的变化，在这基础上我们增加了焦虑情绪及中性情绪，
而对于目前来说，监控设备远没有达到智能监控的程度，仍需要大量的工作人员来监测异常情况，对异常情况进行反馈，通过对监控视频异常情况的分析，不仅需要大量工作人员，而且分析结果也不准确，而且反馈具有迟延性，往往在异常情况出现时，才能发现异常情况，极其不利于工作人的监控以及对异常情况的处理。
发明内容
针对现有技术的不足，本发明提供一种基于深度神经网络的人群情绪异常检测和定位方法，从而解决现有人群异常检测技术中存在的异常定义与具体异常事件直接关联而导致的检测局限性问题。
本发明的技术方案为：一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于，包括以下步骤：
S1)、数据获取：通过监控设备获取视频数据作为训练视频数据；
S2、利用视频关键帧提取技术从训练视频数据中提取视频关键帧数据；
S3)、数据处理：利用人脸检测技术从视频关键帧数据中获取每一帧的人脸图像数据，并检测人脸图像中的人脸特征点，根据人脸特征点对齐人脸图像后，按照不同个体对人脸图像进行分组，对分组后的人脸图像数据按视频关键帧顺序排序；
S4)、人脸情绪识别模型的构建：对对齐、分组、排序处理后的人脸图像数据进行情绪标记，并将情绪标注后的人脸图像数据输入到训练好的基于卷积神经网络的人脸情绪识别模型中，并根据人脸图像数据调整模型全连接层权重，从而得到训练好的基于监控视频数据的人脸情绪识别模型
S5)、构建人群情绪检测和定位模型：将人脸情绪识别模型的全连接层输出的特征按时间维度组合成时序特征，并将时序特征输入长短期记忆循环神经网络模型中，构建并训练得到整体的人群情绪检测和定位模型；
S6)、异常情绪检测和定位：重新从监控设备中获取视频数据作为监测视频数据，按照步骤S2、S3对监测视频数据进行预处理，利用训练好的人群情绪检测和定位模型，获取监测视频数据中人群情绪异常检测和定位结果并反馈给监控设备工作人员。
上述技术方案中，步骤S4)中，所述的情绪标记包括高兴、愤怒、厌恶、恐惧、悲伤、惊奇、焦虑、中性。
上述技术方案中，步骤S4)中，所述的基于卷积神经网络的人脸情绪识别模型的构建包括以下步骤:
S401)、获取公开的人脸图像数据集作为训练样本集，并对人脸表情数据集进行人脸对齐，以及进行人脸图像情绪标记；
S402)、将预处理后的训练样本集中的每一张人脸图像转换为灰度图像，由灰度图像转换为像素矩阵X＝[xij]M×N，其中，xij表示图像的第i行第j列的像素值，M为图像的高(以像素为单位)，N为图像的宽(以像素为单位)；
S403)、对所有灰度图像的像素矩阵进行去均值处理，其计算式为：
S404)、将去均值处理后的像素矩阵X输入到卷积神经网络模型中；
S405)、对输入卷积层的灰度图像的像素矩阵进行卷积计算，计算式为：
其中，i为输入特征图的索引，j为输出特征图的索引，Nin为输入特征图个数，l为网络层的索引，表示第l层网络的第j个输出特征图，表示第l层网络的第i个输入特征图对应的卷积核，为偏置；
使用下采样函数down对上一层输出的特征图进行下采样，计算式为：
其中，为偏置；
获取网络结构中最后的下采样层输出的一系列特征图将每一个特征图中的像素依次取出，拼接成一个向量，向量形式为：
S406)、将拼接后的向量Rl作为全连接层的输入，其计算式为：Xl＝f(WlRl+bl)，
其中，Wl表示第l层的权重矩阵，bl表示第l层的偏置；
S407)、将全连接层输出的向量Xl，经激活函数计算得到最后的预测值yi，其计算式为：
yi＝g(UXl+c)，
其中，U为权重矩阵，c为偏置；
S408)、使用交叉熵损失函数，计算预测值yi与真实值的损失函数值，并最小化损失函数值，其计算式为：
其中，i为人脸图像数据的索引，j为人脸图像数据所属8类情绪标识的索引；
S408)、通过随机梯度下降法，调整网络权重k、W、U和偏置a、β、b、c，根据更新后的网络权重k、W、U和偏置a、β、b、c，重新计算上述损失函数值，不断迭代直至损失函数值不再减小或到达设定的迭代次数，得到训练好的基于卷积神经网络的人脸情绪识别模型；
上述技术方案中，步骤S6)中，异常情绪检测和定位还包括以下步骤：
S601)、通过情绪异常检测和定位模型，获取人群情绪的预测结果是否异常；
S602)、若预测结果标识为异常，利用人脸情绪识别模型，输出监测视频数据中存在异常的个体对应的情绪变化情况；
S603)、根据监测视频数据中具体人群中个体情绪异常情况，根据出现异常的个体数，从而判定当前视频人群异常检测结果属于整体异常还是局部异常情况。
本发明的有益效果为：设计合理，通过模型能够得到人群情绪异常与人群异常之间的关系，避免了人群异常与具体异常事件相关联而导致的检测局限性问题，另外，模型采用了混合的深度神经网络结构模型，避免了视频数据特征提取与异常检测和定位任务分开执行的情况，从而进一步提高了视频人群情绪异常检测和定位的效率；并且能够通过以人群情绪异常的检测和定位以个体情绪作为基础，实现整体异常和局部异常的统一处理，从而进一步提高了检测的准确性。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
如图1所示，一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于，包括以下步骤：
S1)、数据获取：通过监控设备获取视频数据作为训练视频数据；
S2、利用视频关键帧提取技术从训练视频数据中提取视频关键帧数据；
S3)、数据处理：利用人脸检测技术从视频关键帧数据中获取每一帧的人脸图像数据，并检测人脸图像中的人脸特征点，根据人脸特征点对齐人脸图像后，按照不同个体对人脸图像进行分组，对分组后的人脸图像数据按视频关键帧顺序排序；
S4)、人脸情绪识别模型的构建：对对齐、分组、排序处理后的人脸图像数据进行情绪标记，并将情绪标注后的人脸图像数据输入到训练好的基于卷积神经网络的人脸情绪识别模型中，并根据人脸图像数据调整模型全连接层权重，从而得到训练好的基于监控视频数据的人脸情绪识别模型；
S5)、构建人群情绪检测和定位模型：将人脸情绪识别模型的全连接层输出的特征按时间维度组合成时序特征，并将时序特征输入长短期记忆循环神经网络模型中，构建并训练得到整体的人群情绪检测和定位模型；
S6)、异常情绪检测和定位：重新从监控设备中获取视频数据作为监测视频数据，按照步骤S2、S3对监测视频数据进行预处理，利用训练好的人群情绪检测和定位模型，获取监测视频数据中人群情绪异常检测和定位结果并反馈给监控设备工作人员。
上述技术方案中，步骤S4)中，所述的情绪标记包括高兴、愤怒、厌恶、恐惧、悲伤、惊奇、焦虑、中性。
上述技术方案中，步骤S4)中，所述的基于卷积神经网络的人脸情绪识别模型包括以下步骤:
S401)、获取公开的人脸图像数据集作为训练样本集，并对人脸表情数据集进行人脸对齐，以及进行人脸图像情绪标记；
S402)、将预处理后的训练样本集中的每一张人脸图像转换为灰度图像，由灰度图像转换为像素矩阵X＝[xij]M×N，其中，xij表示图像的第i行第j列的像素值，M为图像的高(以像素为单位)，N为图像的宽(以像素为单位)；
S403)、对所有灰度图像的像素矩阵进行去均值处理，其计算式为：
S404)、将去均值处理后的像素矩阵X输入到卷积神经网络模型中；
S405)、对输入卷积层的灰度图像的像素矩阵进行卷积计算，计算式为：
其中，i为输入特征图的索引，j为输出特征图的索引，Nin为输入特征图个数，l为网络层的索引，表示第l层网络的第j个输出特征图，表示第l层网络的第i个输入特征图对应的卷积核，为偏置；
使用下采样函数down对上一层输出的特征图进行下采样，计算式为：
其中，为偏置；
获取网络结构中最后的下采样层输出的一系列特征图将每一个特征图中的像素依次取出，拼接成一个向量，向量形式为：
S406)、将拼接后的向量Rl作为全连接层的输入，其计算式为：Xl＝f(WlRl+bl)，
其中，Wl表示第l层的权重矩阵，bl表示第l层的偏置；
S407)、将全连接层输出的向量Xl，经激活函数计算得到最后的预测值yi，其计算式为：
yi＝g(UXl+c)，
其中，U为权重矩阵，c为偏置；
S408)、使用交叉熵损失函数，计算预测值yi与真实值的损失函数值，并最小化损失函数值，其计算式为：
其中，i为人脸图像数据的索引，j为人脸图像数据所属8类情绪标识的索引；
S408)、通过随机梯度下降法，调整网络权重k、W、U和偏置a、β、b、c，根据更新后的网络权重k、W、U和偏置a、β、b、c，重新计算上述损失函数值，不断迭代直至损失函数值不再减小或到达设定的迭代次数，得到训练好的基于卷积神经网络的人脸情绪识别模型；
上述技术方案中，步骤S6)中，异常情绪检测和定位还包括以下步骤：
S601)、通过情绪异常检测和定位模型，获取人群情绪的预测结果是否异常；
S602)、若预测结果标识为异常，利用人脸情绪识别模型，输出监测视频数据中存在异常的个体对应的情绪变化情况；
S603)、根据监测视频数据中具体人群中个体情绪异常情况，根据出现异常的个体数情况从而判定当前视频人群异常检测结果属于整体异常还是局部异常情况，若出现异常的个体数超过检测到的个体数的50％，则判定当前视频人群异常检测结果属于整体异常。
上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
Claims (4)
1.一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于，包括以下步骤：
S1)、数据获取：通过监控设备获取视频数据作为训练视频数据；
S2、利用视频关键帧提取技术从训练视频数据中提取视频关键帧数据；
S3)、数据处理：利用人脸检测技术从视频关键帧数据中获取每一帧的人脸图像数据，并检测人脸图像中的人脸特征点，根据人脸特征点对齐人脸图像后，按照不同个体对人脸图像进行分组，对分组后的人脸图像数据按视频关键帧顺序排序；
S4)、人脸情绪识别模型的构建：对对齐、分组、排序处理后的人脸图像数据进行情绪标记，然后将情绪标记后的人脸图像数据输入到训练好的基于卷积神经网络的人脸情绪识别模型中，并根据人脸图像数据调整模型全连接层权重，从而得到训练好的基于监控视频数据的人脸情绪识别模型；
S5)、构建人群情绪检测和定位模型：将人脸情绪识别模型的全连接层输出的特征按时间维度组合成时序特征，并将时序特征输入长短期记忆循环神经网络模型中，构建并训练得到整体的人群情绪检测和定位模型；
S6)、异常情绪检测和定位：重新从监控设备中获取视频数据作为监测视频数据，按照步骤S2、S3)对监测视频数据进行预处理，利用训练好的人群情绪检测和定位模型，获取监测视频数据中人群情绪异常检测和定位结果并反馈给监控设备工作人员。
2.根据权利要求1所述的一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于：步骤S4)中，所述的情绪标记包括高兴、愤怒、厌恶、恐惧、悲伤、惊奇、焦虑、中性。
3.根据权利要求1所述的一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于：步骤S4)中，所述的基于卷积神经网络的人脸情绪识别模型的构建包括以下步骤:
S401)、获取公开的人脸图像数据集作为训练样本集，并对人脸表情数据集进行人脸对齐，以及人脸图像情绪标记；
S402)、将步骤S401)中处理后的训练样本集中的每一张人脸图像转换为灰度图像，由灰度图像转换为像素矩阵X＝[xij]M×N，其中，xij表示图像的第i行第j列的像素值，M为图像的高(以像素为单位)，N为图像的宽(以像素为单位)；
S403)、对所有灰度图像的像素矩阵进行去均值处理，其计算式为：
<mrow>
<mi>X</mi>
<mo>=</mo>
<msub>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>M</mi>
<mo>&times;</mo>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mi>i</mi>
<mi>M</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mi>j</mi>
<mi>N</mi>
</munderover>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mi>M</mi>
<mo>&times;</mo>
<mi>N</mi>
</mrow>
</msub>
<mo>;</mo>
</mrow>
S404)、将去均值处理后的像素矩阵X输入到卷积神经网络模型中；
S405)、对输入卷积层的灰度图像的像素矩阵进行卷积计算，计算式为：
<mrow>
<msubsup>
<mi>X</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mrow>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
</munderover>
<msubsup>
<mi>a</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mi>X</mi>
<mo>*</mo>
<msubsup>
<mi>k</mi>
<mi>i</mi>
<mi>l</mi>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>b</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
式中，i为输入特征图的索引，j为输出特征图的索引，Nin为输入特征图个数，l为网络层的索引，表示第l层网络的第j个输出特征图，表示第l层网络的第i个输入特征图对应的卷积核，为偏置；
使用下采样函数down对上一层输出的特征图进行下采样，计算式为：
<mrow>
<msubsup>
<mi>S</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&beta;</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mi>d</mi>
<mi>o</mi>
<mi>w</mi>
<mi>n</mi>
<mo>(</mo>
<msubsup>
<mi>X</mi>
<mi>j</mi>
<mrow>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>)</mo>
<mo>+</mo>
<msubsup>
<mi>b</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，为偏置；
获取网络结构中最后的下采样层输出的一系列特征图将每一个特征图中的像素依次取出，拼接成一个向量，向量形式为：
<mrow>
<msubsup>
<mi>S</mi>
<mn>1</mn>
<mrow>
<mi>l</mi>
<mo>-</mo>
<msup>
<mn>1</mn>
<mo>&prime;</mo>
</msup>
</mrow>
</msubsup>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>11</mn>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mn>12</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<msub>
<mi>x</mi>
<mrow>
<mn>1</mn>
<mi>n</mi>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mn>21</mn>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mn>22</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<msub>
<mi>x</mi>
<mrow>
<mn>2</mn>
<mi>n</mi>
</mrow>
</msub>
<mo>,</mo>
<mo>...</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>m</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>m</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>...</mo>
<mo>.</mo>
<mo>,</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>m</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
<mrow>
<msup>
<mi>R</mi>
<mi>l</mi>
</msup>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>S</mi>
<mn>1</mn>
<mrow>
<mi>l</mi>
<mo>-</mo>
<msup>
<mn>1</mn>
<mo>&prime;</mo>
</msup>
</mrow>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>S</mi>
<mn>2</mn>
<mrow>
<mi>l</mi>
<mo>-</mo>
<msup>
<mn>1</mn>
<mo>&prime;</mo>
</msup>
</mrow>
</msubsup>
<mo>;</mo>
<mo>...</mo>
<mo>.</mo>
<mo>;</mo>
<msubsup>
<mi>S</mi>
<mi>j</mi>
<mrow>
<mi>l</mi>
<mo>-</mo>
<msup>
<mn>1</mn>
<mo>&prime;</mo>
</msup>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>;</mo>
</mrow>
S406)、将拼接后的向量Rl作为全连接层的输入，其计算式为：Xl＝f(WlRl+bl)，
其中，Wl表示第l层的权重矩阵，bl表示第l层的偏置；
S407)、将全连接层输出的向量Xl，经激活函数计算得到最后的预测值yi，其计算式为：
yi＝g(UXl+c)，
其中，U为权重矩阵，c为偏置；
S408)、使用交叉熵损失函数，计算预测值yi与真实值的损失函数值，并最小化损失函数值，其计算式为：
其中，i为人脸图像数据的索引，j为人脸图像数据所属8类情绪标识的索引；
S408)、通过随机梯度下降法，调整网络权重k、W、U和偏置a、β、b、c，根据更新后的网络权重k、W、U和偏置a、β、b、c，重新计算上述损失函数值，不断迭代直至损失函数值不再减小或到达设定的迭代次数，从而得到训练好的基于卷积神经网络的人脸情绪识别模型。
4.根据权利要求1所述的一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于：步骤S6)中，异常情绪检测和定位还包括以下步骤：
S601)、通过情绪异常检测和定位模型，获取人群情绪的预测结果是否异常；
S602)、若预测结果标识为异常，利用人脸情绪识别模型，输出监测视频数据中存在异常的个体对应的情绪变化情况；
S603)、根据监测视频数据中具体人群中个体情绪异常情况，根据出现异常的个体数，从而判定当前视频人群异常检测结果属于整体异常还是局部异常情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710284869.7A CN107169426B (zh) | 2017-04-27 | 2017-04-27 | 一种基于深度神经网络的人群情绪异常检测和定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710284869.7A CN107169426B (zh) | 2017-04-27 | 2017-04-27 | 一种基于深度神经网络的人群情绪异常检测和定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107169426A true CN107169426A (zh) | 2017-09-15 |
| CN107169426B CN107169426B (zh) | 2020-03-31 |
Family
ID=59812966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710284869.7A Active CN107169426B (zh) | 2017-04-27 | 2017-04-27 | 一种基于深度神经网络的人群情绪异常检测和定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107169426B (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197274A (zh) * | 2018-01-08 | 2018-06-22 | 合肥工业大学 | 基于对话的异常个性检测方法及装置 |
| CN108509781A (zh) * | 2018-03-27 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 用于解锁的方法及装置 |
| CN108563978A (zh) * | 2017-12-18 | 2018-09-21 | 深圳英飞拓科技股份有限公司 | 一种情绪检测方法与装置 |
| CN108965740A (zh) * | 2018-07-11 | 2018-12-07 | 深圳超多维科技有限公司 | 一种实时视频换脸方法、装置、设备和存储介质 |
| CN109528217A (zh) * | 2018-10-16 | 2019-03-29 | 北京入思技术有限公司 | 一种基于生理振动分析的情绪检测和预警方法 |
| CN109571494A (zh) * | 2018-11-23 | 2019-04-05 | 北京工业大学 | 情绪识别方法、装置及宠物机器人 |
| CN109730699A (zh) * | 2018-12-28 | 2019-05-10 | 苏州泓邃生物科技有限公司 | 一种基于生命体征数据的情绪预测方法 |
| CN109815852A (zh) * | 2019-01-03 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 智慧城市事件管理方法、装置、计算机设备和存储介质 |
| CN109871807A (zh) * | 2019-02-21 | 2019-06-11 | 百度在线网络技术（北京）有限公司 | 人脸图像处理方法和装置 |
| CN109918995A (zh) * | 2019-01-16 | 2019-06-21 | 上海理工大学 | 一种基于深度学习的人群异常检测方法 |
| CN109981928A (zh) * | 2017-12-27 | 2019-07-05 | 杭州百航信息技术有限公司 | 一种智能风控录音录像系统及其工作原理 |
| CN110378233A (zh) * | 2019-06-20 | 2019-10-25 | 上海交通大学 | 一种基于人群行为先验知识的双分支异常检测方法 |
| CN110751015A (zh) * | 2019-09-02 | 2020-02-04 | 合肥工业大学 | 面部红外热图的灌注优化及人工智能情绪监测方法 |
| CN110796020A (zh) * | 2019-09-30 | 2020-02-14 | 深圳云天励飞技术有限公司 | 一种心情指数分析方法及相关装置 |
| CN111914594A (zh) * | 2019-05-08 | 2020-11-10 | 四川大学 | 一种基于运动特征的群体情绪识别方法 |
| CN112084922A (zh) * | 2020-08-31 | 2020-12-15 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于手势和面部表情的行为异常人群检测方法 |
| CN112101129A (zh) * | 2020-08-21 | 2020-12-18 | 广东工业大学 | 一种面对面视音多视图情绪判别方法及系统 |
| CN112699785A (zh) * | 2020-12-29 | 2021-04-23 | 中国民用航空飞行学院 | 基于维度情感模型的群体情感识别与异常情感检测方法 |
| CN113326780A (zh) * | 2021-05-31 | 2021-08-31 | 合肥工业大学 | 基于数据可靠性评价的非接触式负性心境检测方法和装置 |
| CN113642403A (zh) * | 2021-07-13 | 2021-11-12 | 重庆科技学院 | 基于边缘计算的人群异动智能安全检测系统 |
| CN113822181A (zh) * | 2021-09-08 | 2021-12-21 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于肢体活跃度的行为心理异常检测方法 |
| CN113822184A (zh) * | 2021-09-08 | 2021-12-21 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于表情识别的无感情绪异常检测方法 |
| CN116665281A (zh) * | 2023-06-28 | 2023-08-29 | 湖南创星科技股份有限公司 | 一种基于医患交互的关键情绪提取方法 |
| CN117876973A (zh) * | 2024-03-13 | 2024-04-12 | 中科盛阳信息技术有限公司 | 一种基于深度学习的园区安防监测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930248A (zh) * | 2012-10-22 | 2013-02-13 | 中国计量学院 | 基于机器学习的人群异常行为检测方法 |
| US20160275341A1 (en) * | 2015-03-18 | 2016-09-22 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
| CN106022244A (zh) * | 2016-05-16 | 2016-10-12 | 广东工业大学 | 基于递归神经网络建模的无监督人群异常监测及定位方法 |
| CN106127251A (zh) * | 2016-06-23 | 2016-11-16 | 合肥工业大学 | 一种用于描述人脸特征变化的计算机视觉方法 |
-
2017
- 2017-04-27 CN CN201710284869.7A patent/CN107169426B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930248A (zh) * | 2012-10-22 | 2013-02-13 | 中国计量学院 | 基于机器学习的人群异常行为检测方法 |
| US20160275341A1 (en) * | 2015-03-18 | 2016-09-22 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
| CN106022244A (zh) * | 2016-05-16 | 2016-10-12 | 广东工业大学 | 基于递归神经网络建模的无监督人群异常监测及定位方法 |
| CN106127251A (zh) * | 2016-06-23 | 2016-11-16 | 合肥工业大学 | 一种用于描述人脸特征变化的计算机视觉方法 |
Non-Patent Citations (2)
| Title |
|---|
| HAMIDREZA RABIEE等: "Emotion-Based Crowd Representation for Abnormality Detection", 《COMPUTER VISION AND PATTERN RECOGNITON》 * |
| 邓红莉 等: "一种基于深度学习的异常检测方法", 《信息通信》 * |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108563978A (zh) * | 2017-12-18 | 2018-09-21 | 深圳英飞拓科技股份有限公司 | 一种情绪检测方法与装置 |
| CN109981928A (zh) * | 2017-12-27 | 2019-07-05 | 杭州百航信息技术有限公司 | 一种智能风控录音录像系统及其工作原理 |
| CN108197274A (zh) * | 2018-01-08 | 2018-06-22 | 合肥工业大学 | 基于对话的异常个性检测方法及装置 |
| CN108197274B (zh) * | 2018-01-08 | 2020-10-09 | 合肥工业大学 | 基于对话的异常个性检测方法及装置 |
| CN108509781A (zh) * | 2018-03-27 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 用于解锁的方法及装置 |
| CN108965740B (zh) * | 2018-07-11 | 2020-10-30 | 深圳超多维科技有限公司 | 一种实时视频换脸方法、装置、设备和存储介质 |
| CN108965740A (zh) * | 2018-07-11 | 2018-12-07 | 深圳超多维科技有限公司 | 一种实时视频换脸方法、装置、设备和存储介质 |
| CN109528217A (zh) * | 2018-10-16 | 2019-03-29 | 北京入思技术有限公司 | 一种基于生理振动分析的情绪检测和预警方法 |
| CN109571494A (zh) * | 2018-11-23 | 2019-04-05 | 北京工业大学 | 情绪识别方法、装置及宠物机器人 |
| CN109730699A (zh) * | 2018-12-28 | 2019-05-10 | 苏州泓邃生物科技有限公司 | 一种基于生命体征数据的情绪预测方法 |
| CN109815852A (zh) * | 2019-01-03 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 智慧城市事件管理方法、装置、计算机设备和存储介质 |
| CN109918995A (zh) * | 2019-01-16 | 2019-06-21 | 上海理工大学 | 一种基于深度学习的人群异常检测方法 |
| CN109918995B (zh) * | 2019-01-16 | 2023-07-28 | 上海理工大学 | 一种基于深度学习的人群异常检测方法 |
| CN109871807A (zh) * | 2019-02-21 | 2019-06-11 | 百度在线网络技术（北京）有限公司 | 人脸图像处理方法和装置 |
| CN111914594A (zh) * | 2019-05-08 | 2020-11-10 | 四川大学 | 一种基于运动特征的群体情绪识别方法 |
| CN110378233A (zh) * | 2019-06-20 | 2019-10-25 | 上海交通大学 | 一种基于人群行为先验知识的双分支异常检测方法 |
| CN110751015A (zh) * | 2019-09-02 | 2020-02-04 | 合肥工业大学 | 面部红外热图的灌注优化及人工智能情绪监测方法 |
| CN110751015B (zh) * | 2019-09-02 | 2023-04-11 | 合肥工业大学 | 面部红外热图的灌注优化及人工智能情绪监测方法 |
| CN110796020B (zh) * | 2019-09-30 | 2022-03-25 | 深圳云天励飞技术有限公司 | 一种心情指数分析方法及相关装置 |
| CN110796020A (zh) * | 2019-09-30 | 2020-02-14 | 深圳云天励飞技术有限公司 | 一种心情指数分析方法及相关装置 |
| CN112101129A (zh) * | 2020-08-21 | 2020-12-18 | 广东工业大学 | 一种面对面视音多视图情绪判别方法及系统 |
| CN112101129B (zh) * | 2020-08-21 | 2023-08-18 | 广东工业大学 | 一种面对面视音多视图情绪判别方法及系统 |
| CN112084922A (zh) * | 2020-08-31 | 2020-12-15 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于手势和面部表情的行为异常人群检测方法 |
| CN112084922B (zh) * | 2020-08-31 | 2022-10-14 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于手势和面部表情的行为异常人群检测方法 |
| CN112699785A (zh) * | 2020-12-29 | 2021-04-23 | 中国民用航空飞行学院 | 基于维度情感模型的群体情感识别与异常情感检测方法 |
| CN112699785B (zh) * | 2020-12-29 | 2022-06-07 | 中国民用航空飞行学院 | 基于维度情感模型的群体情感识别与异常情感检测方法 |
| CN113326780A (zh) * | 2021-05-31 | 2021-08-31 | 合肥工业大学 | 基于数据可靠性评价的非接触式负性心境检测方法和装置 |
| CN113326780B (zh) * | 2021-05-31 | 2022-08-19 | 合肥工业大学 | 基于数据可靠性评价的非接触式负性心境检测方法和装置 |
| CN113642403B (zh) * | 2021-07-13 | 2023-07-18 | 重庆科技学院 | 基于边缘计算的人群异动智能安全检测系统 |
| CN113642403A (zh) * | 2021-07-13 | 2021-11-12 | 重庆科技学院 | 基于边缘计算的人群异动智能安全检测系统 |
| CN113822184A (zh) * | 2021-09-08 | 2021-12-21 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于表情识别的无感情绪异常检测方法 |
| CN113822181A (zh) * | 2021-09-08 | 2021-12-21 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于肢体活跃度的行为心理异常检测方法 |
| CN113822181B (zh) * | 2021-09-08 | 2024-05-24 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于肢体活跃度的行为心理异常检测方法 |
| CN116665281A (zh) * | 2023-06-28 | 2023-08-29 | 湖南创星科技股份有限公司 | 一种基于医患交互的关键情绪提取方法 |
| CN116665281B (zh) * | 2023-06-28 | 2024-05-10 | 湖南创星科技股份有限公司 | 一种基于医患交互的关键情绪提取方法 |
| CN117876973A (zh) * | 2024-03-13 | 2024-04-12 | 中科盛阳信息技术有限公司 | 一种基于深度学习的园区安防监测方法及系统 |
| CN117876973B (zh) * | 2024-03-13 | 2024-06-07 | 中科盛阳信息技术有限公司 | 一种基于深度学习的园区安防监测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107169426B (zh) | 2020-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107169426B (zh) | 一种基于深度神经网络的人群情绪异常检测和定位方法 | |
| CN107808139B (zh) | 一种基于深度学习的实时监控威胁分析方法及系统 | |
| CN110598736B (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
| CN108921051B (zh) | 基于循环神经网络注意力模型的行人属性识别网络及技术 | |
| CN108470138A (zh) | 用于目标检测的方法和装置 | |
| CN108275524A (zh) | 一种基于第一视角视频序列操作评估的电梯维保操作监测与指导装置 | |
| CN111738044B (zh) | 一种基于深度学习行为识别的校园暴力评估方法 | |
| CN117370919B (zh) | 污水处理设备远程监控系统 | |
| CN113284144B (zh) | 一种基于无人机的隧道检测方法及装置 | |
| CN112766301B (zh) | 一种采油机示功图相似性判断方法 | |
| CN106920241A (zh) | 一种汽包水位监控方法、装置及系统 | |
| CN117975372B (zh) | 一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统及方法 | |
| CN113361686A (zh) | 一种多层异构多模态卷积神经网络集成式机器人巡检方法 | |
| CN116229560A (zh) | 一种基于人体姿态的异常行为识别方法及系统 | |
| Lin et al. | Optimal CNN-based semantic segmentation model of cutting slope images | |
| CN112653870A (zh) | 一种基于大数据的异常行为预警系统 | |
| CN109389170A (zh) | 一种基于3d卷积神经网络的渐变型工况预警方法 | |
| CN117058451A (zh) | 基于二维卷积神经网络的结构加速度数据异常检测方法 | |
| CN105468887B (zh) | 数据分析系统以及方法 | |
| CN107665325A (zh) | 基于原子特征袋模型的视频异常事件检测方法及系统 | |
| CN116308293A (zh) | 一种基于数字化平台的农业设备智能管理系统及方法 | |
| CN113255440B (zh) | 一种基于机器学习的农作物叶片异常检测方法及系统 | |
| CN116152546A (zh) | 一种安全帽检测识别方法 | |
| CN112700425B (zh) | 一种用于电力设备x射线图像质量的判定方法 | |
| CN108427744A (zh) | 一种基于信息运维的智能数据关联关系确定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |