CN107368798B - 一种基于深度学习的人群情绪识别方法 - Google Patents
一种基于深度学习的人群情绪识别方法 Download PDFInfo
- Publication number
- CN107368798B CN107368798B CN201710552019.0A CN201710552019A CN107368798B CN 107368798 B CN107368798 B CN 107368798B CN 201710552019 A CN201710552019 A CN 201710552019A CN 107368798 B CN107368798 B CN 107368798B
- Authority
- CN
- China
- Prior art keywords
- video
- information
- crowd
- multithread
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的视频人群情绪分析方法,主要涉及利用多流神经网络对视频中人群情绪进行分类。该方法包括:构建多流神经网络(像素,光流,显著性),并利用该网络并行提取视频序列的像素信息,叠加光流信息,显著性信息中的特征,最后融合这三种特征,得到人群情绪的分类。本发明充分发挥深度学习的自我学习能力,避免了人工提取特征的局限性,使得本发明方法的适应能力更强。利用多流深度学习网络的结构特征,并行训练及预测,最后融合多流子网络的分类结果,提高了准确率及工作效率。
Description
技术领域
本发明涉及视频分析领域中的人群情绪识别问题,尤其是涉及一种基于深度学习的多流神经网络对人群情绪分类的视频分析方法。
背景技术
人群的情绪分析是通过分析人群的行为,着装来判断人群的情感状态,如激动、兴奋、正常、枯燥等。视频大量存在于现实生活之中,如无人机视频监控,网络共享视频,3D视频等。通过对视频中人群的情绪进行分析将有助于动态的了解视频中的人群的情感及情绪的变化,有着广阔的应用前景。以上海外滩踩踏事件为例,通过分析人群的情绪变化,管理员可以在发生突发事件之前通过干预手段防止此类事件再次发生。
传统人群情绪识别的算法主要是利用一些浅层的算法提取视频帧间的运动特征。对于一些浅层的算法(支持向量机,单层神经网络等),它们需要人工提取特征,且在给定有限数量的样本和计算单元时,浅层结构难以有效的表达复杂模型的特征,尤其当研究的对象具有丰富的含义时,其泛化能力明显不足,所以浅层结构有一定的局限性。
深度学习(Deep Learning)是一个近几年备受关注的研究领域,在机器学习中起着重要的作用。深度学习通过建立、模拟人脑的分层结构来实现对外部输入的数据进行从低级到高级的特征提取,从而能够解释外部数据。深度学习强调网络结构的深度,通常有多个隐藏层,以用来突出特征学习的重要性。与人工规则构造特征的浅层结构相比,深度学习利用大量的数据来学习特征,更能够描述数据特有的丰富的特征信息。我们还可以通过学习一种深层非线性网络,实现复杂模型的逼近,表征输入数据分布式表示。
发明内容
本发明的目的是提供一种视频中人群情绪识别的方法,将深度学习与视频人群情绪相结合,充分发挥深度学习自我学习的优势,可以解决目前浅层学习的参数难以调整,需要人工选取特征,准确率不高等问题。
为了方便说明,首先引入如下概念:
人群情绪分类:对于视频中人群的情感状态进行分析,将视频划分到正确的情绪类别之中。根据实际需求不同,可定义不同的人群情绪类别。
卷积神经网络(CNN):受视觉神经机制的启发而设计的,是为识别二维形状而设计的一种多层感知器,这种网络结构对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。
长短记忆型递归神经网络(LSTM):为了解决循环神经网络在时间上的梯度消失问题,机器学习领域发展出了长短时记忆单元LSTM,通过门的开关实现时间上记忆功能,防止梯度消失。
像素通道:由CNN+LSTM+Softmax(分类器)组成的子神经网络,网络的输入为视频中提取的像素信息,即视频本身的像素信息。主要提取视频帧在空间维度上相关的颜色特征。
光流通道:由CNN+LSTM+Softmax(分类器)组成的子神经网络,网络的输入为从视频中提取的叠加的光流信息(10帧光流叠加平均),主要提取视频在时间维度上的局部运动特征。
显著图通道:由CNN+LSTM+Softmax(分类器)组成的子神经网络,网络的输入为从视频中提取的视觉显著性信息,主要提取视频的视觉显著性特征。
多流神经网络:通过将多个并行的子神经网络,进行加权平均融合形成多流神经网络。
数据集:结合CUHK群体数据集、UCF数据集、Web数据集、PETS2009数据集。这些数据集最终被分为训练集,验证集和测试集,其中训练集和验证集用于训练阶段的训练数据和测试数据,测试集用于对最终训练完成的多流神经网络和参数模型进行测试。
本发明具体采用如下技术方案:
提出了一种基于深度学习的人群情绪识别方法,该方法的主要特征在于:
1.采用像素通道来处理视频的每一帧的像素信息;
2.采用光流通道来处理视频的叠加的光流信息;
3.采用显著图通道来处理视频的显著性信息;
4.采用平均加权的方法对多流神经网络的三个通道进行融合,得到多流神经网络;
该方法主要包括以下步骤:
A.多流神经网络的训练,其具体包括:
A1.将视频数据集分为训练集、测试集和验证集,并贴上定义好的几个情绪类别标签,通过预处理计算每个视频的像素信息、叠加的光流信息和显著性信息;
A2.采用目前图像识别领域典型的数据库ImageNet对多流神经网络模型进行预训练,然后使用步骤A1中的训练集和验证集对多流神经网络模型微调;
A3.训练时先将训练集和验证集视频的像素信息、叠加的光流信息和显著性信息分别输入三个通道训练CNN部分,然后将CNN部分提取的特征输入LSTM部分,完成整个网络的训练,保存生成的网络参数模型,以用于预测;
B.利用多流神经网络与训练好的网络参数模型进行视频的人群情绪分类:
B1.提取步骤A1中生成的测试集视频的像素信息、叠加的光流信息和显著性信息,为分类做准备;
B2.利用多流神经网络和步骤A中生成的网络参数模型,以步骤B1中计算的视频的像素信息、叠加的光流信息和显著性信息作为输入,并融合三通道的分类结果,来预测该视频的人群情绪类别。
优选地,在步骤A1中的情绪类别标签包括bored、excited、frantic、relaxed。
优选地,在步骤A1中数据预处理包括:提取各数据集的视频的像素信息、显著性信息以及光流信息,然后叠加相邻10帧的光流信息取平均得到叠加的光流信息。
优选地,在步骤A3中利用像素通道提取视频帧在空间维度上的颜色特征,利用光流通道提取视频在时间维度上的局部运动特征,利用显著图通道提取视频的显著性特征。
优选地,在步骤B中预测时对视频的像素信息、叠加的光流信息、显著性信息分别分类处理,然后对三个通道的分类结果采用加权平均的方法融合得到最终的人群情绪类别预测结果。
本发明的有益效果是:
(1)充分发挥深度学习的自我学习优势,机器自动学习良好的特征。当输入视频时能够快速准确地提取特征,并行抽取多种特征,融合分类,避免了人工提取特征的局限性,适应能力更强。
(2)利用多流深度学习网络的结构特征,对网络进行并行训练,预测,最后对结果进行融合,可以大大的减少训练及预测所需时间,增加工作效率。
(3)结合多流深度学习网络,融合多种特征(时间,空间,显著图等),使分类结果更加准确、可靠。
(4)将深度学习与视频人群情绪分类相结合,解决传统方法准确率不高等问题,提高研究价值。
附图说明
图1为本发明的基于深度学习的人群情绪识别方法的流程图;
图2为多流神经网络的组成图;
图3为本发明方法在本文测试集上将三通道的分类结果按1:1:1的比例融合的准确度。
具体实施方式
下面通过实例对本发明作进一步的详细说明,有必要指出的是,以下的实施例只用于对本发明做进一步的说明,不能理解为对本发明保护范围的限制,所属领域技术熟悉人员根据上述发明内容,对本发明做出一些非本质的改进和调整进行具体实施,应仍属于本发明的保护范围。
图1中,基于深度学习的人群情绪识别方法,具体包括以下步骤:
(1)利用像素通道来处理视频的每一帧的像素信息,利用光流通道来处理视频的叠加的光流信息,利用显著图通道来处理视频的显著性信息,最后采用平均加权的方法对多流神经网络的三个通道进行融合,得到多流神经网络。
(2)将数据集分为bored,excited,frantic,relaxed四个不同的人群情绪等级,将分好等级的数据集按8:1:1的比例分为训练集、测试集和验证集,并制作数据标签。
(3)预处理:分别计算上述步骤(2)中各数据集的视频序列的像素信息、叠加的光流信息、显著性信息。将每个视频的光流图像按照相邻10帧叠加取平均的方法,得到该视频的叠加光流信息。
(4)训练:采用目前图像识别领域典型的数据库ImageNet对多流神经网络模型进行预训练,然后从上述步骤(3)处理过的训练集和验证集中取1/10的数据对多流神经网络微调,验证输入数据是否有效,如果无效则重新生成输入数据。接着利用步骤(3)中训练集和验证集对多流神经网络进行并行训练。这里先对网络的CNN部分进行训练,然后用CNN提取的特征对LSTM部分进行训练,最后得到训练完成的网络的参数模型,用于预测网络。
(5)多流神经网络加载步骤(4)中得到的网络参数模型。
(6)将上述步骤(3)的验证集视频的像素信息、叠加的光流信息、显著性信息分别输入预测网络的三个通道。
(7)将三个通道得到的结果加权平均融合得到预测结果。
Claims (5)
1.一种基于深度学习的人群情绪识别方法,其特征在于:
1.采用像素通道来处理视频的每一帧的像素信息;
2.采用光流通道来处理视频的叠加的光流信息;
3.采用显著图通道来处理视频的显著性信息;
4.采用加权平均的方法对多流神经网络的三个通道进行融合,得到多流神经网络;
该方法主要包括以下步骤:
A.多流神经网络的训练,其具体包括:
A1.将视频数据集分为训练集、测试集和验证集,并贴上预先定义好的几个情绪类别标签,通过预处理计算每个视频的像素信息、叠加的光流信息和显著性信息;
A2.采用目前图像识别领域典型的数据库ImageNet对多流神经网络模型进行预训练,然后使用步骤A1中的训练集和验证集对多流神经网络模型微调;
A3.训练时先将训练集和验证集视频的像素信息、叠加的光流信息和显著性信息分别输入三个通道训练CNN部分,然后将CNN部分提取的特征输入LSTM部分,完成整个网络的训练,保存生成的网络参数模型,以用于预测;
B.利用多流神经网络与训练好的网络参数模型进行人群情绪分类:
B1.提取步骤A1中生成的测试集视频的像素信息、叠加的光流信息和显著性信息,为分类做准备;
B2.利用多流神经网络和步骤A中生成的网络参数模型,以步骤B1中计算的视频的像素信息、叠加的光流信息和显著性信息作为输入,并融合三通道的分类结果,来预测该视频的人群情绪类别。
2.如权利要求1所述的基于深度学习的人群情绪识别方法,其特征在于步骤A1中的情绪类别标签包括bored、excited、frantic、relaxed。
3.如权利要求1所述的基于深度学习的人群情绪识别方法,其特征在于在步骤A中利用像素通道提取视频帧在空间维度上的颜色特征,利用光流通道提取视频在时间维度上的局部运动特征,利用显著图通道提取视频的视觉显著性特征。
4.如权利要求1所述的基于深度学习的人群情绪识别方法,其特征在于在步骤A1中预处理包括:分别对训练集、测试集和验证集提取视频中的像素信息、显著性信息、光流信息,然后叠加相邻10帧的光流信息取平均得到叠加的光流信息。
5.如权利要求1所述的基于深度学习的人群情绪识别方法,其特征在于:在步骤B中预测时对视频的像素信息、叠加的光流信息、显著性信息分别分类处理,然后对三个通道的分类结果采用加权平均的方法融合得到最终的人群情绪类别预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710552019.0A CN107368798B (zh) | 2017-07-07 | 2017-07-07 | 一种基于深度学习的人群情绪识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710552019.0A CN107368798B (zh) | 2017-07-07 | 2017-07-07 | 一种基于深度学习的人群情绪识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107368798A CN107368798A (zh) | 2017-11-21 |
CN107368798B true CN107368798B (zh) | 2019-11-29 |
Family
ID=60306260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710552019.0A Active CN107368798B (zh) | 2017-07-07 | 2017-07-07 | 一种基于深度学习的人群情绪识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107368798B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108256447A (zh) * | 2017-12-29 | 2018-07-06 | 广州海昇计算机科技有限公司 | 一种基于深度神经网络的无人机航拍视频分析方法 |
CN108335749A (zh) * | 2018-01-26 | 2018-07-27 | 首都师范大学 | 抑郁症数据分析方法及装置 |
CN110090029A (zh) * | 2018-01-28 | 2019-08-06 | 北京师范大学 | 情绪测量系统、智能手环和便携终端 |
CN108921037B (zh) * | 2018-06-07 | 2022-06-03 | 四川大学 | 一种基于BN-inception双流网络的情绪识别方法 |
JP7113674B2 (ja) * | 2018-06-15 | 2022-08-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理装置及び情報処理方法 |
CN110751260A (zh) * | 2018-07-24 | 2020-02-04 | 北京三星通信技术研究有限公司 | 电子设备、任务处理的方法以及训练神经网络的方法 |
CN109508640A (zh) * | 2018-10-12 | 2019-03-22 | 咪咕文化科技有限公司 | 一种人群情感分析方法、装置和存储介质 |
CN109282837B (zh) * | 2018-10-24 | 2021-06-22 | 福州大学 | 基于lstm网络的布拉格光纤光栅交错光谱的解调方法 |
CN109902202B (zh) * | 2019-01-08 | 2021-06-22 | 国家计算机网络与信息安全管理中心 | 一种视频分类方法及装置 |
CN109977846B (zh) * | 2019-03-22 | 2023-02-10 | 中国科学院重庆绿色智能技术研究院 | 一种基于近红外单目摄像的活体检测方法及系统 |
CN111914594B (zh) * | 2019-05-08 | 2022-07-01 | 四川大学 | 一种基于运动特征的群体情绪识别方法 |
CN110287805B (zh) * | 2019-05-31 | 2021-02-09 | 东南大学 | 基于三流卷积神经网络的微表情识别方法及系统 |
CN110418148B (zh) * | 2019-07-10 | 2021-10-29 | 咪咕文化科技有限公司 | 视频生成方法、视频生成设备及可读存储介质 |
CN111274898A (zh) * | 2020-01-15 | 2020-06-12 | 首都医科大学 | 基于深度学习的视频流中群体情绪与凝聚力检测方法及装置 |
CN111325221B (zh) * | 2020-02-25 | 2023-06-23 | 青岛海洋科技中心 | 基于图像深度信息的图像特征提取方法 |
CN111797936B (zh) * | 2020-07-13 | 2023-08-08 | 长沙理工大学 | 基于显著性检测和多层次特征融合的图像情感分类方法及装置 |
CN114386389B (zh) * | 2020-10-22 | 2023-06-06 | 四川大学 | 基于联合学习的方面情感分析方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550699A (zh) * | 2015-12-08 | 2016-05-04 | 北京工业大学 | 一种基于cnn融合时空显著信息的视频识别分类方法 |
CN106228129A (zh) * | 2016-07-18 | 2016-12-14 | 中山大学 | 一种基于matv特征的人脸活体检测方法 |
CN106407889A (zh) * | 2016-08-26 | 2017-02-15 | 上海交通大学 | 基于光流图深度学习模型在视频中人体交互动作识别方法 |
-
2017
- 2017-07-07 CN CN201710552019.0A patent/CN107368798B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550699A (zh) * | 2015-12-08 | 2016-05-04 | 北京工业大学 | 一种基于cnn融合时空显著信息的视频识别分类方法 |
CN106228129A (zh) * | 2016-07-18 | 2016-12-14 | 中山大学 | 一种基于matv特征的人脸活体检测方法 |
CN106407889A (zh) * | 2016-08-26 | 2017-02-15 | 上海交通大学 | 基于光流图深度学习模型在视频中人体交互动作识别方法 |
Non-Patent Citations (5)
Title |
---|
3D CNNs与LSTMs在行为识别中的组合及其应用;秦阳;《测控技术》;20170218;第36卷(第2期);全文 * |
Exploring Coherent Motion Patterns via Structured Trajectory Learning for Crowd Mood Modeling;Yanhao Zhang;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20170331;第27卷(第3期);全文 * |
Long-term recurrent convolutional networks for visual recognition and description;Donahue J;《IEEE Trans on Pattern Analysis and Machine Intelligence》;20161231;第39卷(第4期);全文 * |
Salient Object Detection: A Benchmark;Ali Borji;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20151231;第24卷(第12期);全文 * |
显著性光流直方图字典表示的群体异常事件检测;岑翼刚;《信号处理》;20170331;第33卷(第3期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN107368798A (zh) | 2017-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107368798B (zh) | 一种基于深度学习的人群情绪识别方法 | |
CN108921042B (zh) | 一种基于深度学习的人脸序列表情识别方法 | |
CN109948447B (zh) | 基于视频图像识别的人物网络关系发现及演化呈现方法 | |
CN109815785A (zh) | 一种基于双流卷积神经网络的人脸情绪识别方法 | |
CN106951867B (zh) | 基于卷积神经网络的人脸识别方法、装置、系统及设备 | |
CN105975916B (zh) | 基于多输出卷积神经网络和有序回归的年龄估计方法 | |
CN106529477B (zh) | 基于显著轨迹和时空演化信息的视频人体行为识别方法 | |
CN110502988A (zh) | 视频中的组群定位与异常行为检测方法 | |
CN112274162B (zh) | 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法 | |
CN106599800A (zh) | 一种基于深度学习的人脸微表情识别方法 | |
CN109614885A (zh) | 一种基于lstm的脑电信号快速分类识别方法 | |
CN109793528A (zh) | 一种基于动态脑功能网络的情绪分类方法 | |
CN108205661A (zh) | 一种基于深度学习的atm机异常人脸检测方法 | |
CN110119672A (zh) | 一种嵌入式疲劳状态检测系统及方法 | |
CN109902558A (zh) | 一种基于cnn-lstm的人体健康深度学习预测方法 | |
CN110490239A (zh) | 图像质控网络的训练方法、质量分类方法、装置及设备 | |
CN107007257A (zh) | 面部不自然度的自动评级方法和装置 | |
CN112699785B (zh) | 基于维度情感模型的群体情感识别与异常情感检测方法 | |
CN108416288A (zh) | 基于全局与局部网络融合的第一视角交互动作识别方法 | |
CN109544518A (zh) | 一种应用于骨骼成熟度评估的方法及其系统 | |
CN109376613A (zh) | 基于大数据和深度学习技术的视频智能监控系统 | |
CN110490242A (zh) | 图像分类网络的训练方法、眼底图像分类方法及相关设备 | |
Harati et al. | Discriminating clinical phases of recovery from major depressive disorder using the dynamics of facial expression | |
CN110427881A (zh) | 基于人脸局部区域特征学习的跨数据库微表情识别方法及装置 | |
CN107330412A (zh) | 一种基于深度稀疏表示的人脸年龄估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |