CN111401198A - 观众情绪识别方法、装置及系统 - Google Patents
观众情绪识别方法、装置及系统 Download PDFInfo
- Publication number
- CN111401198A CN111401198A CN202010163550.0A CN202010163550A CN111401198A CN 111401198 A CN111401198 A CN 111401198A CN 202010163550 A CN202010163550 A CN 202010163550A CN 111401198 A CN111401198 A CN 111401198A
- Authority
- CN
- China
- Prior art keywords
- emotion
- image
- recognition
- expression
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000008451 emotion Effects 0.000 claims abstract description 166
- 230000014509 gene expression Effects 0.000 claims abstract description 130
- 230000008921 facial expression Effects 0.000 claims abstract description 31
- 230000008859 change Effects 0.000 claims description 62
- 230000001815 facial effect Effects 0.000 claims description 50
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 description 6
- 230000002996 emotional effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006397 emotional response Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Abstract
本发明涉及情绪识别技术领域，提供一种观众情绪识别方法、装置及系统，所述方法包括：提取包含多个观众的视频图像的每一帧图像；对每一帧图像进行人脸表情识别，获得每一帧图像的表情类别；对所有帧的表情类别进行综合判定，获得综合判定后的表情类别，将综合判定后的表情类别作为视频图像的情绪类别；对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别；对所述视频图像的情绪类别和所述音频的情绪类别进行综合判定，获得观众情绪识别结果。本发明提供的技术方案，能够全面、准确地识别观众在观看节目过程中的整体情绪。
Description
技术领域
本发明涉及情绪识别技术领域，特别涉及一种观众情绪识别方法、一种观众情绪识别装置及一种观众情绪识别系统。
背景技术
情绪是综合了人的感觉、思想和行为的一种状态，在人与人的交流中发挥着重要作用。情绪识别现多指AI(Artificial Intelligence，人工智能)通过获取个体的生理或非生理信号对个体的情绪状态进行自动辨别，是情感计算的一个重要组成部分。
现有的情绪识别方法大多用于对单张人脸进行情绪识别，在同时识别多张人脸时，其结果并不准确。且现有的情绪识别方法在情绪识别过程中仅考虑了单一的影响因素，例如，人的面部表情因素，而人的情绪的展现往往是很复杂的，因此，仅考虑单一因素无法对人的情绪进行全面、准确地识别。此外，现有技术中还未出现过对观看节目的观众进行情绪识别，从而判断观众在观看节目过程中的整体情绪的技术方案。
发明内容
有鉴于此，本发明旨在提出一种观众情绪识别方法、装置及系统，能够全面、准确地识别观众在观看节目过程中的整体情绪。
为达到上述目的，本发明的技术方案是这样实现的：
一种观众情绪识别方法，所述方法包括：
提取包含多个观众的视频图像的每一帧图像；
对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别；
对所有帧的表情类别进行综合判定，获得综合判定后的表情类别，将所述综合判定后的表情类别作为所述视频图像的情绪类别；
对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别；
对所述视频图像的情绪类别和所述音频的情绪类别进行综合判定，获得观众情绪识别结果。
优选地，所述对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别，包括：
对所述每一帧图像均进行以下操作：
对一帧图像进行人脸识别，获得多张人脸识别图像，其中，每张人脸识别图像中均包括人脸特征点；
对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别；
对所有的人脸识别图像的表情类别进行综合判定，获得该帧图像的表情类别。
优选地，所述对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别，包括：
对每张人脸识别图像均进行以下操作：
采用KNN算法将一张人脸识别图像中的所述人脸特征点与预设表情类别的特征点进行比较，将与所述人脸特征点匹配度最高的特征点所对应的预设表情类别作为该张人脸识别图像对应的表情类别。
进一步地，在对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别之后，对所述每一帧图像还进行以下操作：
根据一张人脸识别图像中的所述人脸特征点计算该张人脸识别图像的表情变化程度；
根据一帧图像中每张人脸识别图像的表情变化程度，计算该帧图像的表情变化程度；
根据所述该帧图像的表情变化程度计算该帧图像的情绪得分；
所述方法还包括：
根据每一帧图像的情绪得分计算所述视频图像的情绪得分。
优选地，所述人脸特征点包括：眼睛特征点、嘴巴特征点和脸部特征点，所述根据一张人脸识别图像中的所述人脸特征点计算该张人脸识别图像的表情变化程度，包括：
计算所述眼睛特征点与预设的无表情人脸图像的眼睛特征点之间的偏离程度，获得眼睛变化程度；
计算所述嘴巴特征点与预设的无表情人脸图像的嘴巴特征点之间的偏离程度，获得嘴巴变化程度；
计算所述脸部特征点与预设的无表情人脸图像的脸部特征点之间的偏离程度，获得脸部变化程度；
对所述眼睛变化程度、所述嘴巴变化程度和所述脸部变化程度进行加权平均，获得所述该张人脸识别图像的表情变化程度。
优选地，所述对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别，包括：
对所述音频进行声源提取，获得至少一个声源；
对每个声源进行情绪识别，获得所述每个声源的情绪类别；
对所有声源的情绪类别进行综合判定，获得所述音频的情绪类别。
优选地，所述对每个声源进行情绪识别，获得所述每个声源的情绪类别，包括：
对每个声源均进行以下操作：
将一个声源转化为频谱图；
从所述频谱图中提取该声源的声音特征点；
采用KNN算法将所述声音特征点与预设声音情绪类别的特征点进行比较，将与所述声音特征点匹配度最高的特征点所对应的预设声音情绪类别作为该声源的情绪类别。
进一步地，对每个声源还进行以下操作：
在所述将一个声源转化为频谱图之后，根据所述频谱图获取该声源的音量信息；
根据该声源的音量信息计算该声源的情绪得分；
所述方法还包括：
根据每个声源的情绪得分计算所述音频的情绪得分。
进一步地，所述方法还包括：
根据所述视频图像的情绪得分和所述音频的情绪得分对所述观众所观看的节目效果进行评分。
本发明的另一目的在于提出一种观众情绪识别装置，能够全面、准确地识别观众在观看节目过程中的整体情绪。
为达到上述目的，本发明的技术方案是这样实现的：
一种观众情绪识别装置，所述装置包括：
提取单元，用于提取包含多个观众的视频图像的每一帧图像；
人脸表情识别单元，用于对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别；
第一综合判定单元，用于对所有帧的表情类别进行综合判定，获得综合判定后的表情类别，将所述综合判定后的表情类别作为所述视频图像的情绪类别；
声音情绪识别单元，用于对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别；
第二综合判定单元，用于对所述视频图像的情绪类别和所述音频的情绪类别进行综合判定，获得观众情绪识别结果。
本发明还提供一种观众情绪识别系统，所述系统包括：上述观众情绪识别装置，还包括：连接至所述观众情绪识别装置的机顶盒和移动终端，以及与所述观众情绪识别装置连接的服务器。
本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项观众情绪识别方法。
本发明所述的观众情绪识别方法、装置及系统，通过对采集到的观众的视频图像的每一帧图像进行人脸表情识别，能够获得每一帧图像的表情类别，进而获得该视频图像的表情类别，即该视频图像所传达出的观众整体的面部情绪。同时，对采集到的上述视频图像所对应的音频进行声音情绪识别，以获得该音频的情绪类别，即该音频所传达出的观众整体的声音情绪。将上述视频图像的情绪类别和音频的情绪类别进行综合判定，即从观众的面部情绪和声音情绪两方面来综合判定观众的整体情绪，避免了仅考虑单一因素而造成的识别结果不准确的情况。本发明提供的技术方案，由于在情绪判定过程中综合了视频图像和与该视频图像对应的音频两方面的因素，因此，能够全面、准确地识别观众在观看节目过程中的整体情绪。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例的方法流程图；
图2为本发明实施例中对每一帧图像进行人脸表情识别的方法流程图；
图3为本发明实施例中表情类别为“快乐”的人脸识别图像及其特征点；
图4为本发明实施例中预设的无表情人脸图像及其特征点；
图5为本发明实施例的装置结构图一；
图6为本发明实施例的装置结构图二；
图7为本发明实施例的系统结构图。
附图标记说明
1-观众 2-麦克风 3-摄像头 4-通讯连接线 5-SD卡
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
本发明实施例提供的观众情绪识别方法如图1所示，包括以下步骤：
步骤S101，提取包含多个观众的视频图像的每一帧图像。
如图6所示，本实施例中，用摄像头采集观众的视频图像，用麦克风采集观众的音频，且该音频为上述视频图像对应的音频。为了确保在节目演出的前方(例如，电视机或电影屏幕或演出舞台的前方)可视角范围内的观众均能被采集到，本实施例优选地采用广角摄像头进行视频图像采集。同时，提取上述视频图像的每一帧图像用于后续的图像处理操作。
步骤S102，对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别。
具体地，本步骤优选地采用以下方法实现：
对上述视频图像的每一帧图像均进行以下操作：
步骤S1021，对一帧图像进行人脸识别，获得多张人脸识别图像，其中，每张人脸识别图像中均包括人脸特征点；
由于采集的是观众的视频图像，因此，一帧图像中有多个人脸。对该帧图像进行人脸识别，能够获取到该帧图像中所有人脸的位置信息及每个人脸的人脸框。根据人脸框对人脸进行截取，以获得该人脸的人脸识别图像，且该人脸识别图像中包括识别出的人脸特征点，如图3所示。一帧图像中有多个人脸即可获得多张人脸识别图像。
步骤S1022，对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别；
步骤S1023，对所有的人脸识别图像的表情类别进行综合判定，获得该帧图像的表情类别；
本实施例中，对每张人脸识别图像进行人脸表情识别具体采用如下方法实现：
对每张人脸识别图像均进行以下操作：
采用KNN算法将某一张人脸识别图像中的人脸特征点与预设表情类别的特征点进行比较，将与所述人脸特征点匹配度最高的特征点所对应的预设表情类别作为该张人脸识别图像对应的表情类别。
上述预设表情类别包括：快乐、伤心、恐惧、愤怒、惊讶和厌恶，且每一种预设表情类别均有对应的特征点，将该预设表情类别及其对应的特征点预先存储。在进行人脸表情识别时，提取待识别的人脸识别图像中的人脸特征点分别与预设表情类别的特征点进行比较，得出多个匹配值，将匹配值最大的那个表情类别作为待识别的人脸识别图像的表情类别。
本实施例采用SIFT特征提取算法来提取人脸识别图像中的人脸特征点。上述匹配值可采用特征点的匹配数量来进行计算，即，特征点匹配数量最多的匹配值最大。具体地，在进行特征点匹配的过程中，人脸将匹配到多个相近的表情特征，按照实验得到的经验数据剔除掉特征点之间的距离超过预设值的匹配，然后按照特征点匹配的数量进行排序，将匹配数量最多即匹配值最大的预设表情类别作为表情识别结果。
本实施例中，在对每张人脸识别图像进行人脸表情识别，获得每张人脸识别图像对应的表情类别之后，对每一帧图像还进行以下操作：
(1)根据一张人脸识别图像中的人脸特征点计算该张人脸识别图像的表情变化程度；
本实施例中，人脸特征点包括：眼睛特征点、嘴巴特征点和脸部特征点，并将人脸识别图像划分为三个区域：眼部区域、嘴部区域和脸部区域，所述根据一张人脸识别图像中的人脸特征点计算该张人脸识别图像的表情变化程度，包括：
计算所述眼睛特征点与预设的无表情人脸图像的眼睛特征点之间的偏离程度，获得眼睛变化程度；计算所述嘴巴特征点与预设的无表情人脸图像的嘴巴特征点之间的偏离程度，获得嘴巴变化程度；计算所述脸部特征点与预设的无表情人脸图像的脸部特征点之间的偏离程度，获得脸部变化程度；对所述眼睛变化程度、所述嘴巴变化程度和所述脸部变化程度进行加权平均，获得所述该张人脸识别图像的表情变化程度。本实施例中的预设的无表情人脸图像及其特征点如图4所示。
上述眼睛变化程度、嘴巴变化程度和脸部变化程度均采用方差值来表示。具体地，将无表情人脸图像及其特征点进行预先存储，假设某一张人脸识别图像的眼睛特征点为s1、s2、s3、s4，分别计算s1和s2、s2和s3、s3和s4之间的归一化距离d1、d2和d3；假设无表情人脸图像的眼睛特征点为S1、S2、S3、S4，分别计算S1和S2、S2和S3、S3和S4之间的归一化距离D1、D2和D3。
然后分别计算上述归一化距离之间的差值：
dD1＝d1-D1，dD2＝d2-D2，dD3＝d3-D3
再采用方差公式求dD1、dD2和dD3的方差，即得到人脸识别图像的眼睛特征点与无表情人脸图像的眼睛特征点之间的方差δe。
按照上述方法分别计算出人脸识别图像的嘴巴特征点与无表情人脸图像的嘴巴特征点之间的方差δm，以及人脸识别图像的脸部特征点与无表情人脸图像的脸部特征点之间的方差δf。
对上述三个方差值进行加权平均可获得该张人脸识别图像的表情变化程度。其中，加权平均的系数为实验得到的经验数据。本实施例中，δe、δm和δf各自的加权评价系数分别为0.4、0.4和0.2。
(2)根据一帧图像中每张人脸识别图像的表情变化程度，计算该帧图像的表情变化程度；
本实施例中，计算每张人脸识别图像的表情变化程度之和，得到该帧图像的表情变化程度。
(3)根据所述该帧图像的表情变化程度计算该帧图像的情绪得分；
本实施例中，可以对每一种预设表情类别预先制定情绪评分表，例如，对于表情类别“快乐”，可制定与其对应的“快乐程度”的评分表，根据计算出的“快乐程度”(即上述该帧图像的表情变化程度)，上述评分表中找到对应的分数，作为该帧图像的情绪得分。
需要说明的是，在一帧图像中由于存在多个人脸，即有多张人脸识别图像，而对这多张人脸识别图像进行表情识别时，有时候并不会识别出完全相同的表情类别。但在实际应用中，由于这些观众观看的是同一个节目，对于节目的情绪反应应该大致相同，因此，一帧图像的表情类别应该取大多数人的表情识别结果，而对于少部分不一致的表情识别结果，可不予考虑。
本实施例中，在得到每一帧图像的情绪得分后，还可以进一步根据每一帧图像的情绪得分计算所述视频图像的情绪得分。
具体地，计算每一帧图像的情绪得分之和，得到视频图像的情绪得分。该视频图像的情绪得分反映出观众在面部表情上对观看的节目的反应程度。
需要说明的是，每一帧图像的表情类别可能并不相同，但由于情绪得分反应的是表情变化程度，与表情类别无关，因此可直接采用每一帧图像的情绪得分之和来获得视频图像的情绪得分。
步骤S103，对所有帧的表情类别进行综合判定，获得综合判定后的表情类别，将所述综合判定后的表情类别作为所述视频图像的情绪类别；
本实施例中，每一帧图像的表情类别虽然不尽相同，但对于某一个特定节目，其传达出的整体情绪氛围是一定的，因此，大多数帧图像所对应的表情类别是一样的，对于少部分不一样的表情类别，可能只是节目中偶尔出现的穿插渲染情节，因此，对于这部分内容，可以不予考虑，或者，采用与其它部分加权平均的方式来计算整体的表情类别，其中，加权平均系数预先设定。
步骤S104，对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别；
本实施例中，采用以下方式对音频进行声音情绪识别：
(1)对音频进行声源提取，获得至少一个声源；
本实施例中，采用FastICA算法对音频进行声源提取，获得至少一个声源。由于音频中观众的声音都是混合在一起的，因此，需要将每一个声源单独提取出来，再进行分析处理。在声源提取过程中，对于音量小于预设值的混合声源可不予考虑。
(2)对每个声源进行情绪识别，获得所述每个声源的情绪类别；
本实施例中，采用以下方式对每个声源进行情绪识别：
对每个声源均进行以下操作：将某一个声源转化为频谱图；以2秒时长的窗口截取频谱图，并采用SIFT算法从频谱图中提取该声源的声音特征点；采用KNN算法将所述声音特征点与预设声音情绪类别的特征点进行比较，将与所述声音特征点匹配度最高的特征点所对应的预设声音情绪类别作为该声源的情绪类别。
上述预设声音情绪类别包括：快乐、伤心、恐惧、愤怒、惊讶和厌恶，且每一种预设声音情绪类别均有对应的特征点，将该预设声音情绪类别及其对应的特征点预先存储。在进行声源情绪识别时，提取待识别的声源中的声音特征点分别与预设声音情绪类别的特征点进行比较，得出多个匹配值，将匹配值最大的那个声音情绪类别作为待识别的声源的情绪类别。
(3)对所有声源的情绪类别进行综合判定，获得所述音频的情绪类别。
本实施例中，由于在一段音频中一般有多个观众发声，即有多个声源，而对这多个声源进行情绪识别时，有时候并不会识别出完全相同的情绪类别。但在实际应用中，由于这些观众观看的是同一个节目，对于节目的情绪反应应该大致相同，因此，音频的情绪类别应该取大多数声源的情绪识别结果，而对于少部分不一致的情绪识别结果，可不予考虑。
步骤S105，对所述视频图像的情绪类别和所述音频的情绪类别进行综合判定，获得观众情绪识别结果。
通常来说，视频图像的情绪类别与音频的情绪类别应该一致，当出现不一致的情况时，可以进行多次重复识别以核验识别结果的准确性，重复识别后上述情绪类别仍然不一致的，采用视频图像的情绪类别作为观众情绪识别结果。
本实施例中，与对上述视频帧图像处理相对应地，对每个声源还进行以下操作：在将某一个声源转化为频谱图之后，根据所述频谱图获取该声源的音量信息；根据该声源的音量信息计算该声源的情绪得分。具体地，将该声源的音量首先进行归一化，并根据预设的情绪评分表对该声源的情绪进行评分。例如，归一化音量范围为0—0.25时，情绪得分为1；归一化音量范围为0.25—0.5时，情绪得分为2；归一化音量范围为0.5—0.75时，情绪得分为3；归一化音量范围为0.75—1时，情绪得分为4。
本实施例中，在得到每一声源的情绪得分后，还可以进一步根据每一声源的情绪得分计算所述音频的情绪得分。
具体地，计算每一声源的情绪得分之和获得音频的情绪得分。该音频的情绪得分反映出观众在声音情绪上对观看的节目的反应程度。
在得到视频图像的情绪得分和音频的情绪得分之后，本实施例所述的方法还包括：根据视频图像的情绪得分和音频的情绪得分对观众所观看的节目效果进行评分。具体地，计算视频图像的情绪得分和音频的情绪得分的加权平均值，该加权平均值的结果反映了节目效果。其中，视频图像的情绪得分的加权平均系数设置为0.8，音频的情绪得分的加权平均系数设置为0.2，上述系数值是通过实验获取的经验数据，其被预制于程序中。这种通过对观众情绪进行评分，进而对节目效果进行评分的方式，能够达到实时、准确、及时地进行节目评价的目的。
本实施例中，可以将上述对节目的评分数据存储于SD卡等存储介质，在事后对评分进行分析。
与上述实施方式相对应地，本发明还提供一种观众情绪识别装置，如图5所示，本实施例提供的装置包括：
提取单元，用于提取包含多个观众的视频图像的每一帧图像；
人脸表情识别单元，用于对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别；
第一综合判定单元，用于对所有帧的表情类别进行综合判定，获得综合判定后的表情类别，将所述综合判定后的表情类别作为所述视频图像的情绪类别；
声音情绪识别单元，用于对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别；
第二综合判定单元，用于对所述视频图像的情绪类别和所述音频的情绪类别进行综合判定，获得观众情绪识别结果。
优选地，所述人脸表情识别单元包括：
人脸识别单元，用于对一帧图像进行人脸识别，获得多张人脸识别图像，其中，每张人脸识别图像中均包括人脸特征点；
表情识别子单元，用于对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别；
第三综合判定单元，用于对所有的人脸识别图像的表情类别进行综合判定，获得该帧图像的表情类别。
优选地，所述表情识别子单元采用以下方法对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别：
对每张人脸识别图像均进行以下操作：
采用KNN算法将一张人脸识别图像中的所述人脸特征点与预设表情类别的特征点进行比较，将与所述人脸特征点匹配度最高的特征点所对应的预设表情类别作为该张人脸识别图像对应的表情类别。
进一步地，所述人脸表情识别单元还包括：
第一表情变化计算单元，用于根据一张人脸识别图像中的所述人脸特征点计算该张人脸识别图像的表情变化程度；
第二表情变化计算单元，用于根据一帧图像中每张人脸识别图像的表情变化程度，计算该帧图像的表情变化程度；
第一情绪得分计算单元，用于根据所述该帧图像的表情变化程度计算该帧图像的情绪得分；
所述装置还包括：
第二情绪得分计算单元，用于根据每一帧图像的情绪得分计算所述视频图像的情绪得分。
优选地，所述人脸特征点包括：眼睛特征点、嘴巴特征点和脸部特征点，所述第一表情变化计算单元包括：
眼睛变化程度计算单元，用于计算所述眼睛特征点与预设的无表情人脸图像的眼睛特征点之间的偏离程度，获得眼睛变化程度；
嘴巴变化程度计算单元，用于计算所述嘴巴特征点与预设的无表情人脸图像的嘴巴特征点之间的偏离程度，获得嘴巴变化程度；
脸部变化程度计算单元，用于计算所述脸部特征点与预设的无表情人脸图像的脸部特征点之间的偏离程度，获得脸部变化程度；
加权平均计算单元，用于对所述眼睛变化程度、所述嘴巴变化程度和所述脸部变化程度进行加权平均，获得所述该张人脸识别图像的表情变化程度。
优选地，所述声音情绪识别单元包括：
声源提取单元，用于对所述音频进行声源提取，获得至少一个声源；
声音情绪识别单元，用于对每个声源进行情绪识别，获得所述每个声源的情绪类别；
第四综合判定单元，用于对所有声源的情绪类别进行综合判定，获得所述音频的情绪类别。
优选地，所述声音情绪识别单元采用以下方法对每个声源进行情绪识别，获得所述每个声源的情绪类别：
对每个声源均进行以下操作：
将一个声源转化为频谱图；从所述频谱图中提取该声源的声音特征点；采用KNN算法将所述声音特征点与预设声音情绪类别的特征点进行比较，将与所述声音特征点匹配度最高的特征点所对应的预设声音情绪类别作为该声源的情绪类别。
进一步地，所述声音情绪识别单元还用于在所述将一个声源转化为频谱图之后，根据所述频谱图获取该声源的音量信息；根据该声源的音量信息计算该声源的情绪得分。
进一步地，所述装置还包括：
音频情绪计算单元，用于根据每个声源的情绪得分计算所述音频的情绪得分。
进一步地，所述装置还包括：
节目评分单元，用于根据所述视频图像的情绪得分和所述音频的情绪得分对所述观众所观看的节目效果进行评分。
上述装置的工作原理、工作流程等涉及具体实施方式的内容可参见本发明所提供的观众情绪识别方法的具体实施方式，此处不再对相同的技术内容进行详细描述。
本发明还提供一种观众情绪识别系统，所述系统包括：上述任意一项所述的观众情绪识别装置，还包括：连接至所述观众情绪识别装置的机顶盒和移动终端，以及与所述观众情绪识别装置连接的服务器。
本实施例中，所述机顶盒、移动终端和服务器均用于接收并存储由所述观众情绪识别装置发送的观众情绪识别结果，以及对观众所观看的节目效果的评分。观众情绪识别装置可通过USB通讯连接线与机顶盒连接，可通过无线通信的方式与移动终端和服务器连接。
本发明还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本实施例所述的观众情绪识别方法。
本发明还提供一种终端设备，包括处理器，该处理器用于执行本实施例所述的观众情绪识别方法。
本发明所述的观众情绪识别方法、装置及系统，通过对采集到的观众的视频图像的每一帧图像进行人脸表情识别，能够获得每一帧图像的表情类别，进而获得该视频图像的表情类别，即该视频图像所传达出的观众整体的面部情绪。同时，对采集到的上述视频图像所对应的音频进行声音情绪识别，以获得该音频的情绪类别，即该音频所传达出的观众整体的声音情绪。将上述视频图像的情绪类别和音频的情绪类别进行综合判定，即从观众的面部情绪和声音情绪两方面来综合判定观众的整体情绪，避免了仅考虑单一因素而造成的识别结果不准确的情况。本发明提供的技术方案，由于在情绪判定过程中综合了视频图像和与该视频图像对应的音频两方面的因素，因此，能够全面、准确地识别观众在观看节目过程中的整体情绪。
此外，本发明还进一步计算了视频图像的情绪得分和音频的情绪得分，并根据视频图像的情绪得分和音频的情绪得分对观众所观看的节目效果进行了评分，能够达到实时、准确、及时地进行节目评价的目的。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的不同实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。
Claims (12)
1.一种观众情绪识别方法，其特征在于，所述方法包括：
提取包含多个观众的视频图像的每一帧图像；
对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别；
对所有帧的表情类别进行综合判定，获得综合判定后的表情类别，将所述综合判定后的表情类别作为所述视频图像的情绪类别；
对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别；
对所述视频图像的情绪类别和所述音频的情绪类别进行综合判定，获得观众情绪识别结果。
2.根据权利要求1所述的观众情绪识别方法，其特征在于，所述对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别，包括：
对所述每一帧图像均进行以下操作：
对一帧图像进行人脸识别，获得多张人脸识别图像，其中，每张人脸识别图像中均包括人脸特征点；
对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别；
对所有的人脸识别图像的表情类别进行综合判定，获得该帧图像的表情类别。
3.根据权利要求2所述的观众情绪识别方法，其特征在于，所述对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别，包括：
对每张人脸识别图像均进行以下操作：
采用KNN算法将一张人脸识别图像中的所述人脸特征点与预设表情类别的特征点进行比较，将与所述人脸特征点匹配度最高的特征点所对应的预设表情类别作为该张人脸识别图像对应的表情类别。
4.根据权利要求2所述的观众情绪识别方法，其特征在于，在对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别之后，对所述每一帧图像还进行以下操作：
根据一张人脸识别图像中的所述人脸特征点计算该张人脸识别图像的表情变化程度；
根据一帧图像中每张人脸识别图像的表情变化程度，计算该帧图像的表情变化程度；
根据所述该帧图像的表情变化程度计算该帧图像的情绪得分；
所述方法还包括：
根据每一帧图像的情绪得分计算所述视频图像的情绪得分。
5.根据权利要求4所述的观众情绪识别方法，其特征在于，所述人脸特征点包括：眼睛特征点、嘴巴特征点和脸部特征点，所述根据一张人脸识别图像中的所述人脸特征点计算该张人脸识别图像的表情变化程度，包括：
计算所述眼睛特征点与预设的无表情人脸图像的眼睛特征点之间的偏离程度，获得眼睛变化程度；
计算所述嘴巴特征点与预设的无表情人脸图像的嘴巴特征点之间的偏离程度，获得嘴巴变化程度；
计算所述脸部特征点与预设的无表情人脸图像的脸部特征点之间的偏离程度，获得脸部变化程度；
对所述眼睛变化程度、所述嘴巴变化程度和所述脸部变化程度进行加权平均，获得所述该张人脸识别图像的表情变化程度。
6.根据权利要求4所述的观众情绪识别方法，其特征在于，所述对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别，包括：
对所述音频进行声源提取，获得至少一个声源；
对每个声源进行情绪识别，获得所述每个声源的情绪类别；
对所有声源的情绪类别进行综合判定，获得所述音频的情绪类别。
7.根据权利要求6所述的观众情绪识别方法，其特征在于，所述对每个声源进行情绪识别，获得所述每个声源的情绪类别，包括：
对每个声源均进行以下操作：
将一个声源转化为频谱图；
从所述频谱图中提取该声源的声音特征点；
采用KNN算法将所述声音特征点与预设声音情绪类别的特征点进行比较，将与所述声音特征点匹配度最高的特征点所对应的预设声音情绪类别作为该声源的情绪类别。
8.根据权利要求7所述的观众情绪识别方法，其特征在于，对每个声源还进行以下操作：
在所述将一个声源转化为频谱图之后，根据所述频谱图获取该声源的音量信息；
根据该声源的音量信息计算该声源的情绪得分；
所述方法还包括：
根据每个声源的情绪得分计算所述音频的情绪得分。
9.根据权利要求8所述的观众情绪识别方法，其特征在于，所述方法还包括：
根据所述视频图像的情绪得分和所述音频的情绪得分对所述观众所观看的节目效果进行评分。
10.一种观众情绪识别装置，其特征在于，所述装置包括：
提取单元，用于提取包含多个观众的视频图像的每一帧图像；
人脸表情识别单元，用于对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别；
第一综合判定单元，用于对所有帧的表情类别进行综合判定，获得综合判定后的表情类别，将所述综合判定后的表情类别作为所述视频图像的情绪类别；
声音情绪识别单元，用于对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别；
第二综合判定单元，用于对所述视频图像的情绪类别和所述音频的情绪类别进行综合判定，获得观众情绪识别结果。
11.一种观众情绪识别系统，其特征在于，所述系统包括：权利要求10所述的观众情绪识别装置，还包括：连接至所述观众情绪识别装置的机顶盒和移动终端，以及与所述观众情绪识别装置连接的服务器。
12.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任意一项所述的观众情绪识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010163550.0A CN111401198B (zh) | 2020-03-10 | 2020-03-10 | 观众情绪识别方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010163550.0A CN111401198B (zh) | 2020-03-10 | 2020-03-10 | 观众情绪识别方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111401198A true CN111401198A (zh) | 2020-07-10 |
| CN111401198B CN111401198B (zh) | 2024-04-23 |
Family
ID=71430840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010163550.0A Active CN111401198B (zh) | 2020-03-10 | 2020-03-10 | 观众情绪识别方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111401198B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597938A (zh) * | 2020-12-29 | 2021-04-02 | 杭州海康威视系统技术有限公司 | 一种表情检测方法、装置、电子设备及存储介质 |
| CN115047824A (zh) * | 2022-05-30 | 2022-09-13 | 青岛海尔科技有限公司 | 数字孪生多模态设备控制方法、存储介质及电子装置 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577135A (zh) * | 2008-05-07 | 2009-11-11 | 精工爱普生株式会社 | 盘处理装置及盘处理装置的控制方法 |
| CN101662546A (zh) * | 2009-09-16 | 2010-03-03 | 中兴通讯股份有限公司 | 情绪监控的方法及装置 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107272607A (zh) * | 2017-05-11 | 2017-10-20 | 上海斐讯数据通信技术有限公司 | 一种智能家居控制系统及方法 |
| CN107705808A (zh) * | 2017-11-20 | 2018-02-16 | 合光正锦（盘锦）机器人技术有限公司 | 一种基于面部特征与语音特征的情绪识别方法 |
| CN108197115A (zh) * | 2018-01-26 | 2018-06-22 | 上海智臻智能网络科技股份有限公司 | 智能交互方法、装置、计算机设备和计算机可读存储介质 |
| CN108596011A (zh) * | 2017-12-29 | 2018-09-28 | 中国电子科技集团公司信息科学研究院 | 一种基于组合深度网络的人脸属性识别方法和装置 |
| CN108681390A (zh) * | 2018-02-11 | 2018-10-19 | 腾讯科技（深圳）有限公司 | 信息交互方法和装置、存储介质及电子装置 |
| CN108764047A (zh) * | 2018-04-27 | 2018-11-06 | 深圳市商汤科技有限公司 | 群体情绪行为分析方法和装置、电子设备、介质、产品 |
| CN108932451A (zh) * | 2017-05-22 | 2018-12-04 | 北京金山云网络技术有限公司 | 音视频内容分析方法及装置 |
| CN109040842A (zh) * | 2018-08-16 | 2018-12-18 | 上海哔哩哔哩科技有限公司 | 视频观众情绪信息采集分析方法、装置、系统和存储介质 |
| CN109190487A (zh) * | 2018-08-07 | 2019-01-11 | 平安科技（深圳）有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
| CN109460728A (zh) * | 2018-10-31 | 2019-03-12 | 深圳市安视宝科技有限公司 | 一种基于情绪识别的大数据安防管理平台 |
| CN109766770A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 服务质量评价方法、装置、计算机设备和存储介质 |
| CN110085211A (zh) * | 2018-01-26 | 2019-08-02 | 上海智臻智能网络科技股份有限公司 | 语音识别交互方法、装置、计算机设备和存储介质 |
| CN110110653A (zh) * | 2019-04-30 | 2019-08-09 | 上海迥灵信息技术有限公司 | 多特征融合的情绪识别方法、装置和存储介质 |
| CN110262665A (zh) * | 2019-06-26 | 2019-09-20 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
| CN110263215A (zh) * | 2019-05-09 | 2019-09-20 | 众安信息技术服务有限公司 | 一种视频情感定位方法及系统 |
| CN110852220A (zh) * | 2019-10-30 | 2020-02-28 | 深圳智慧林网络科技有限公司 | 人脸表情的智能识别方法、终端和计算机可读存储介质 |
-
2020
- 2020-03-10 CN CN202010163550.0A patent/CN111401198B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577135A (zh) * | 2008-05-07 | 2009-11-11 | 精工爱普生株式会社 | 盘处理装置及盘处理装置的控制方法 |
| CN101662546A (zh) * | 2009-09-16 | 2010-03-03 | 中兴通讯股份有限公司 | 情绪监控的方法及装置 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107272607A (zh) * | 2017-05-11 | 2017-10-20 | 上海斐讯数据通信技术有限公司 | 一种智能家居控制系统及方法 |
| CN108932451A (zh) * | 2017-05-22 | 2018-12-04 | 北京金山云网络技术有限公司 | 音视频内容分析方法及装置 |
| CN107705808A (zh) * | 2017-11-20 | 2018-02-16 | 合光正锦（盘锦）机器人技术有限公司 | 一种基于面部特征与语音特征的情绪识别方法 |
| CN108596011A (zh) * | 2017-12-29 | 2018-09-28 | 中国电子科技集团公司信息科学研究院 | 一种基于组合深度网络的人脸属性识别方法和装置 |
| CN110085211A (zh) * | 2018-01-26 | 2019-08-02 | 上海智臻智能网络科技股份有限公司 | 语音识别交互方法、装置、计算机设备和存储介质 |
| CN108197115A (zh) * | 2018-01-26 | 2018-06-22 | 上海智臻智能网络科技股份有限公司 | 智能交互方法、装置、计算机设备和计算机可读存储介质 |
| CN108681390A (zh) * | 2018-02-11 | 2018-10-19 | 腾讯科技（深圳）有限公司 | 信息交互方法和装置、存储介质及电子装置 |
| CN108764047A (zh) * | 2018-04-27 | 2018-11-06 | 深圳市商汤科技有限公司 | 群体情绪行为分析方法和装置、电子设备、介质、产品 |
| CN109190487A (zh) * | 2018-08-07 | 2019-01-11 | 平安科技（深圳）有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
| CN109040842A (zh) * | 2018-08-16 | 2018-12-18 | 上海哔哩哔哩科技有限公司 | 视频观众情绪信息采集分析方法、装置、系统和存储介质 |
| CN109460728A (zh) * | 2018-10-31 | 2019-03-12 | 深圳市安视宝科技有限公司 | 一种基于情绪识别的大数据安防管理平台 |
| CN109766770A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 服务质量评价方法、装置、计算机设备和存储介质 |
| CN110110653A (zh) * | 2019-04-30 | 2019-08-09 | 上海迥灵信息技术有限公司 | 多特征融合的情绪识别方法、装置和存储介质 |
| CN110263215A (zh) * | 2019-05-09 | 2019-09-20 | 众安信息技术服务有限公司 | 一种视频情感定位方法及系统 |
| CN110262665A (zh) * | 2019-06-26 | 2019-09-20 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
| CN110852220A (zh) * | 2019-10-30 | 2020-02-28 | 深圳智慧林网络科技有限公司 | 人脸表情的智能识别方法、终端和计算机可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597938A (zh) * | 2020-12-29 | 2021-04-02 | 杭州海康威视系统技术有限公司 | 一种表情检测方法、装置、电子设备及存储介质 |
| CN115047824A (zh) * | 2022-05-30 | 2022-09-13 | 青岛海尔科技有限公司 | 数字孪生多模态设备控制方法、存储介质及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111401198B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240038218A1 (en) | Speech model personalization via ambient context harvesting | |
| US10878824B2 (en) | Speech-to-text generation using video-speech matching from a primary speaker | |
| Czyzewski et al. | An audio-visual corpus for multimodal automatic speech recognition | |
| CN107799126B (zh) | 基于有监督机器学习的语音端点检测方法及装置 | |
| CN108039988B (zh) | 设备控制处理方法及装置 | |
| EP3617946B1 (en) | Context acquisition method and device based on voice interaction | |
| JP6030240B2 (ja) | 顔認識のための方法および装置 | |
| CN112148922A (zh) | 会议记录方法、装置、数据处理设备及可读存储介质 | |
| CN111833876A (zh) | 会议发言控制方法、系统、电子设备及存储介质 | |
| WO2021128817A1 (zh) | 视频音频识别方法、设备、存储介质及装置 | |
| CN108920640B (zh) | 基于语音交互的上下文获取方法及设备 | |
| CN109829363A (zh) | 表情识别方法、装置、计算机设备和存储介质 | |
| Sahoo et al. | Emotion recognition from audio-visual data using rule based decision level fusion | |
| US9947323B2 (en) | Synthetic oversampling to enhance speaker identification or verification | |
| CN111401198A (zh) | 观众情绪识别方法、装置及系统 | |
| CN113129893A (zh) | 一种语音识别方法、装置、设备及存储介质 | |
| CN115937726A (zh) | 说话人检测方法、装置、设备及计算机可读存储介质 | |
| CN112597889A (zh) | 一种基于人工智能的情绪处理方法和装置 | |
| CN112466306B (zh) | 会议纪要生成方法、装置、计算机设备及存储介质 | |
| CN110415689B (zh) | 语音识别装置及方法 | |
| JP7347511B2 (ja) | 音声処理装置、音声処理方法、およびプログラム | |
| CN112908336A (zh) | 一种用于语音处理装置的角色分离方法及其语音处理装置 | |
| JP2017010276A (ja) | 映像解析装置及び映像解析方法 | |
| Fox et al. | Robust multi-modal person identification with tolerance of facial expression | |
| CN114697687B (zh) | 一种数据处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |