CN108764010A - 情绪状态确定方法及装置 - Google Patents
情绪状态确定方法及装置 Download PDFInfo
- Publication number
- CN108764010A CN108764010A CN201810244692.2A CN201810244692A CN108764010A CN 108764010 A CN108764010 A CN 108764010A CN 201810244692 A CN201810244692 A CN 201810244692A CN 108764010 A CN108764010 A CN 108764010A
- Authority
- CN
- China
- Prior art keywords
- user
- emotional state
- characteristic information
- information
- vocal print
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Abstract
本发明提供了一种情绪状态确定方法及装置，涉及数据处理技术领域，所述方法包括：获取视频采集模块发送的视频流，在视频流中提取图像特征和语音特征，根据图像特征确定场景特征信息和用户特征信息，且根据语音特征确定用户的文字特征信息和声纹特征信息，将场景特征信息、用户特征信息、文字特征信息和声纹特征信息导入到预设情绪分析模型中，得到用户的多个情绪状态特征信息；将多个情绪状态特征信息进行融合加权处理，得到用户的情绪状态。本发明的一种情绪状态确定方法及装置，通过解析视频可快速识别用户的情绪状态，节省时间，提高识别效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其是涉及一种情绪状态确定方法及装置。
背景技术
情绪作为人反映客观世界的一种形式，对人的现实生活和精神生活都有重要作用。情绪可以影响和调节人们的知觉、记忆、思维、兴趣、动机和意志，并对人的行为及其活动效率产生重要影响。近年来，随着生活节奏的加快，越来越多的人们承受着工作、学习和生活等方面的巨大压力，情绪变化容易反复无常，常常难以自控。
现有技术中，确定人们的情绪状态一般采用问卷测试等方式，过程比较缓慢，耗时耗力，效率较低。
发明内容
有鉴于此，本发明的目的在于提供一种情绪状态确定方法及装置，以缓解了现有技术中确定人们的情绪状态一般采用问卷测试等方式，过程比较缓慢，耗时耗力，效率较低等技术问题。
第一方面，本发明实施例提供了一种情绪状态确定方法，包括：
获取视频采集模块发送的视频流；
在所述视频流中提取图像特征和语音特征；
根据所述图像特征确定用户所处环境的场景特征信息和用户特征信息，以及根据所述语音特征确定用户的文字特征信息和声纹特征信息；
将所述场景特征信息、所述用户特征信息、所述文字特征信息和所述声纹特征信息导入到预设情绪分析模型中，得到用户的多个情绪状态特征信息；
将所述多个情绪状态特征信息进行融合加权处理，得到用户的情绪状态。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述用户特征信息包括：人体体征、表情特征、行为特征和轨迹特征，根据所述图像特征确定用户所处环境的场景特征信息和用户特征信息，包括：
根据所述视频流的图像帧的时空参数确定所述场景特征信息，所述场景特征信息包括：时间和地点；
当所述视频流的图像帧中包含的人脸数量为一张或者多张时，在所述图像帧中提取与预设用户脸部特征信息相匹配的人脸图像；
在所述视频流的图像帧中确定包含用户人体的区域，得到人体图像；
在所述人体图像的人脸区域提取所述表情特征；
在所述人体图像的身体区域提取所述人体体征、行为特征和轨迹特征。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据所述语音特征确定用户的文字特征信息和声纹特征信息，包括：
提取所述视频流中用户的语音数据；
对所述语音数据进行转化处理，得到所述文字特征信息，所述文字特征信息包括：语义和语法；
对所述语音数据进行声纹处理，得到所述声纹特征信息，所述声纹特征信息包括：语速、基音、音调和停顿。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述场景特征信息还包括：个人属性，所述方法还包括：
接收用户输入的个人属性，所述个人属性包括：性别、年龄、地域和职业。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，将所述场景特征信息、所述用户特征信息、所述文字特征信息和所述声纹特征信息导入到预设情绪分析模型中，得到用户的多个情绪状态特征信息，包括：
针对所述场景特征信息中的每个场景特征，根据场景特征与情绪状态特征信息的对应关系确定与自身对应的第一情绪状态特征信息；
针对所述用户特征信息中的每个用户特征，根据用户特征与情绪状态特征信息的对应关系确定与自身对应的第二情绪状态特征信息；
针对所述文字特征信息中的每个文字特征，根据文字特征与情绪状态特征信息的对应关系确定与自身对应的第三情绪状态特征信息；
针对所述声纹特征信息中的每个声纹特征，根据声纹特征与情绪状态特征信息的对应关系确定与自身对应的第四情绪状态特征信息。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，将所述多个情绪状态特征信息进行融合加权处理，得到用户的情绪状态，包括：
采用加权融合算法，对第一情绪状态特征信息、第二情绪状态特征信息、第三情绪状态特征信息和第四情绪状态特征信息进行融合处理，得到精确的用户的情绪状态。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：
根据用户的情绪状态确定适用于用户的应对方案；
所述根据用户的情绪状态确定适用于用户的应对方案，包括：
根据用户的情绪状态，以及所述预设情绪分析模型中的每个情绪状态与预设应对方案的对应关系确定适用于用户的应对方案。
第二方面，本发明实施例还提供一种情绪状态确定装置，包括：
获取模块，用于获取视频采集模块发送的视频流；
提取模块，用于在所述视频流中提取图像特征和语音特征；
确定模块，用于根据所述图像特征确定用户所处环境的场景特征信息和用户特征信息，以及根据所述语音特征确定用户的文字特征信息和声纹特征信息；
导入模块，用于将所述场景特征信息、所述用户特征信息、所述文字特征信息和所述声纹特征信息导入到预设情绪分析模型中，得到用户的多个情绪状态特征信息；
处理模块，用于将所述多个情绪状态特征信息进行融合加权处理，得到用户的情绪状态。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述程序代码使所述处理器执行所述第一方面所述的方法。
第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行第一方面所述所述的方法。
本发明实施例带来了以下有益效果：本发明实施例提供的一种情绪状态确定方法及装置，获取用户的视频数据，通过解析视频可快速识别用户的情绪状态，节省时间，提高识别效率。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的情绪状态确定方法的流程图；
图2为本发明另一个实施例提供的情绪状态确定方法的流程图；
图3为本发明另一个实施例提供的情绪状态确定方法的流程图；
图4为本发明另一个实施例提供的情绪状态确定方法的流程图；
图5为本发明另一个实施例提供的情绪状态装置的结构示意图。
图标：
11-获取模块；12-提取模块；13-确定模块；14-导入模块；15-处理模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，现有技术中确定人们的情绪状态一般采用问卷测试等方式，过程比较缓慢，耗时耗力，效率较低，基于此，本发明实施例提供的一种情绪状态确定方法及装置，获取用户的视频数据，通过解析视频可快速识别用户的情绪状态，节省时间，提高识别效率。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种情绪状态确定方法进行详细介绍。
如图1所示，在本发明的一个实施例中，提供了一种情绪状态确定方法，所述方法包括以下几个步骤。
S101，获取视频采集模块发送的视频流。
S102，在所述视频流中提取图像特征和语音特征。
具体的，所述视频采集模块可以为：数码摄像机等视频采集设备。视频采集模块用于采集用户的视频数据，将视频数据拆分为图像数据和语音数据，对图像数据进行亮度和区域裁剪等处理，以提高图像识别精度；对语音数据进行降噪处理，以提高语音识别精度。通过图像数据分析用户的表情和行为等信息，通过语音数据分析用户说话的声纹和语义等信息。
S103，根据所述图像特征确定用户所处环境的场景特征信息和用户特征信息，以及根据所述语音特征确定用户的文字特征信息和声纹特征信息。
具体的，所述用户特征信息包括：人体体征、表情特征、行为特征和轨迹特征等信息。如图2所示，根据所述图像特征确定用户所处环境的场景特征信息和用户特征信息的方法包括以下步骤。
S201，根据所述视频流的图像帧的时空参数确定所述场景特征信息，所述场景特征信息包括：时间和地点。
在实际应用中，所述场景特征信息还包括：用户的个人属性。获取用户的个人属性的方法包括以下步骤。
接收用户输入的个人属性，所述个人属性包括：性别、年龄、地域和职业等。
例如，北方人偏急躁，易怒；南方人较温和；睡眠不足影响情绪，易怒和易暴躁等。
S202，当所述视频流的图像帧中包含的人脸数量为一张或者多张时，在所述图像帧中提取与预设用户脸部特征信息相匹配的人脸图像。
具体的，采集的视频可能为单人或者多人场景，当图像帧中多人场景时，需要将图像帧中的多张人脸与预设用户脸部特征信息进行比较，进而提取出用户的人脸图像。
S203，在所述视频流的图像帧中确定包含用户人体的区域，得到人体图像。
具体的，用户人体的区域是指除了人脸之外的其他身体部位，例如，四肢和头部等位置。
S204，在所述人体图像的人脸区域提取所述表情特征。
具体的，所述表情特征包括：人脸的五官表情，例如，额头、眉毛、眼睛和面部下半区域等。当用户的额头紧皱时，表示用户很愤怒。
S205，在所述人体图像的身体区域提取所述人体体征、行为特征和轨迹特征。
具体的，人体体征如：胸部不适和肥胖等；行为特征如：手舞足蹈和哭泣等；轨迹特征如：来回走动等。
在实际应用中，用户说话的声纹和语义可反映出用户的情绪状态，因此对用户情绪状态的判断需要分析用户说话的声纹和语义。如图3所示，根据所述语音特征确定用户的文字特征信息和声纹特征信息的方法包括以下步骤。
S301，提取所述视频流中用户的语音数据。
具体的，将所述视频流的语音数据与预设用户的语音特征比较，以提取出用户的语音数据。
S302，对所述语音数据进行转化处理，得到所述文字特征信息，所述文字特征信息包括：语义和语法。
例如，用户出现语法错误，可表示用户很紧张；语义如高兴，表示用户处于高兴状态。
S303，对所述语音数据进行声纹处理，得到所述声纹特征信息，所述声纹特征信息包括：语速、基音、音调和停顿。
在实际应用中，用户说话时的语速、基音频率和音调高低，以及停顿次数和时长，表示用户处于不同的情绪状态。
S104，将所述场景特征信息、所述用户特征信息、所述文字特征信息和所述声纹特征信息导入到预设情绪分析模型中，得到用户的多个情绪状态特征信息。
具体的，如图4所示，对所述场景特征信息、所述用户特征信息、所述文字特征信息和所述声纹特征信息进行分析，得到用户的多个情绪状态特征信息的方法包括以下几个步骤。
S401，针对所述场景特征信息中的每个场景特征，根据场景特征与情绪状态特征信息的对应关系确定与自身对应的第一情绪状态特征信息。
例如，对于场景特征信息中的地点(即场景特征)，若用户处于教堂内，可能表示用户处于悲哀状态。
S402，针对所述用户特征信息中的每个用户特征，根据用户特征与情绪状态特征信息的对应关系确定与自身对应的第二情绪状态特征信息。
例如，用户特征为：眉宇间出现竖直皱纹、眼睛鼓起和面色涨红，表示用户处于愤怒状态。
S403，针对所述文字特征信息中的每个文字特征，根据文字特征与情绪状态特征信息的对应关系确定与自身对应的第三情绪状态特征信息。
例如，当用户出现说话语无伦次时，表示用户处于紧张状态。
S404，针对所述声纹特征信息中的每个声纹特征，根据声纹特征与情绪状态特征信息的对应关系确定与自身对应的第四情绪状态特征信息。
例如，对于声纹特征信息中的基音(声纹特征)，当用户说话音调很高时，表示用户处于紧张状态。
S105，将所述多个情绪状态特征信息进行融合加权处理，得到用户的情绪状态。
在实际应用中，预先为所述场景特征信息、所述用户特征信息、所述文字特征信息和所述声纹特征信息配置不同的权重，因此由不同特征信息分析得到的情绪状态特征信息具有不同的权重系数。在分析用户的精确情绪状态时，采用加权融合算法，对第一情绪状态特征信息、第二情绪状态特征信息、第三情绪状态特征信息和第四情绪状态特征信息进行融合处理，进而得到精确的用户的情绪状态。
在确定用户的精确情绪状态之后，根据用户的情绪状态确定适用于用户的应对方案。具体的，根据用户的情绪状态确定适用于用户的应对方案的方法包括以下步骤。
根据用户的情绪状态，以及所述预设情绪分析模型中的每个情绪状态与预设应对方案的对应关系确定适用于用户的应对方案。
例如，当用户处于抑郁状态时，应对方案可以为睡眠法、运动法和音乐法等。
本发明实施例提供的一种情绪状态确定方法，获取用户的视频数据，通过解析视频可快速识别用户的情绪状态，节省时间，提高识别效率。并且，根据用户的情绪状态确定适用于用户的应对方案(即情绪调节方法)，更具有针对性。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。如图5所示，在本发明的另一个实施例中，还提供了一种情绪状态确定装置，包括：获取模块11、提取模块12、确定模块13、导入模块14和处理模块15。
获取模块11，用于获取视频采集模块发送的视频流。
提取模块12，用于在所述视频流中提取图像特征和语音特征。
确定模块13，用于根据所述图像特征确定用户所处环境的场景特征信息和用户特征信息，以及根据所述语音特征确定用户的文字特征信息和声纹特征信息。
导入模块14，用于将所述场景特征信息、所述用户特征信息、所述文字特征信息和所述声纹特征信息导入到预设情绪分析模型中，得到用户的多个情绪状态特征信息。
处理模块15，用于将所述多个情绪状态特征信息进行融合加权处理，得到用户的情绪状态。
以下以举例方式说明本发明实施例提供的情绪状态确定方法的具体流程：
系统整体框架
利用视频采集模块采集用户视频数据，通过解析视频数据，将其拆分为图像数据与语音数据。通过图像解析模块分析用户的表情、行为、场景模式；通过语音解析模块，分析用户的声纹信息及语义信息等。
从各项权威数据库中收集相应样本，例如人脸表情识别图片库、表情情感样本、语音情感样本和CASIA情感语音数据库等，将其作为参展样本基础数据库作为对比。
通过融合加权模块综合分析和识别用户情绪属性及程度，根据输出结果给予用户针对性的解决方案，所述解决方案包含但不限于：睡眠、运动、饮食、暗示、颜色、音乐、呼吸、光照等方案。
所述基础数据库、各解析模块以及相应解决方案，可根据大数据分析以及集成学习，扩充、调整、优化其内容与权重。整个系统的模块框架如下表1所示。其中，灰色为辅助模块。
表1
情绪基础库
在一级情绪中，将情绪划分为一下7大类“喜、怒、哀、乐、惊、恐、思“。
每一情绪分类下设置多层延伸情绪词，延伸情绪相较上层情绪更加具体、明确。以下两层情绪仅为示例，每一情绪词在上一级情绪内具有相应权重，具体如表2所示。
每一情绪词具有相应的单一模块解析或组合模块结果，例如“眉毛抬起并集中、瞳孔扩大、手臂环抱“等对应为”恐-害怕-xx-xx……“；反之，单一模块或组合模块结果也可对应单一或组合情绪词，最终情绪属性及程度需要经过融合加权模块调整权重。
通过获取多个解析模块解析得到的信息，进而获取更加准确、精准的用户情绪属性及其程度。
表2
值得注意的是，在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
模块拆解
如表1所示，所述各个模块中，一部分模块直接解析结果，另外一部部分模块属于辅助模块，与其他模块共同解析结果。
一、定位解析模块
1.时间解析模块(辅助模块)
通过时间接收装置，获取用户进行某项情感活动的时点时刻及持续时间。
例如，视频流中用户的活动时间为凌晨一点，可能表示用户在工作、失眠等状态。
2.地点解析模块(辅助模块)
通过时空定位系统，获取用户进行某项情感活动的地理位置及移动轨迹。
例如，视屏流中显示用户在disco娱乐场所，可能表示用户处于高兴、开心等状态。
3.人物属性解析模块
获取用户的个人信息，例如：性别、年龄、职业、出生地、生活地、学历信息、睡眠习惯、业余爱好和基因信息等。
例如，北方人偏急躁，易怒；南方人较温和；睡眠不足影响情绪，易怒和易暴躁；爱好运动用户的压力与孤独感较弱；基因检测信息可分析用户内在的性格与情绪特征。
二、图像解析模块
1.人体解析模块
人体解析模块用于根据用户的人体体征分析用户的情绪状态，其对应关系如表3所示。
表3
| 人体体征 | 相应情绪 |
| 胃及隔膜区不适 | 恐惧、悲伤 |
| 胸部不适 | 悲伤 |
| 肩、颈部不适 | 愤怒 |
| 哮喘 | 孤独、依赖 |
| 头痛 | 压力 |
| 湿疹 | 压力 |
| 斑秃 | 压力、自卑 |
| 肥胖 | 自卑 |
| 残疾 | 自卑 |
2.人物解析模块(辅助模块)
获取用户多角度面部视频作为基础比对数据，通过人物解析模块，匹配待解析用户以及区分单人/多人背景。
3.表情解析模块
表情特征包括：人脸的五官表情，例如，额头、眉毛、眼睛和面部下半区域等。表情特征与情绪状态的对应关系如下表4所示。
表4
4.行为解析模块
行为特征与相应情绪的对应关系如下表5所示。
表5
| 行为 | 相应情绪 |
| 肌肉僵硬、不协调 | 害怕、紧张 |
| 手臂挡在前方 | 厌恶、恐惧、排斥 |
| 手舞足蹈 | 高兴、惊喜 |
| 哭泣 | 悲伤、恐惧 |
| 脸色发白 | 惊吓、恐惧 |
| 脸红 | 紧张、焦虑 |
5.轨迹解析模块(辅助模块)
依据每一帧的图片，将片段性行为轨迹按照时间顺序排序，分析用户行为、运动等的轨迹、轨迹顺序和持续时间等。
三、文字解析模块
1.语法解析模块(辅助模块)
语法错误可增加某类情绪的权重，例如，用户在极度紧张状态下会出现语无伦次、多语法错误的情况。
2.语义解析模块
从用户的口述内容提取关键的情绪类词汇，将这些情绪类词汇导入到精准情绪逻辑库中，可以得到用户的精确情绪状态。
精准情绪逻辑库包括：词汇库和逻辑库(模型)。
1)词汇库
所述词汇库，包含有大量除“啊、的、了“等无含义词汇的所有常用词汇及其同义词汇，还包括情绪类词汇(高兴、愤怒等)、程度副词和否定类等，并且还包含例如长短、高低、快慢、下雨、晴朗、多云、上班、疼痛、恶心等全部词汇。对上述词汇进行分类，可以分为正面词汇、负面词汇以及中立词汇。
此处需注意，同一词汇并非只有一种分类，例如“震惊“，即可解释为正面的惊讶，也可解释为负面的惊吓；”痴恋“，即可解释为正面的迷恋，也可解释为负面的精神障碍。
例如，将同一情绪类词汇进行分类，并进行排序，具体如下表6表示。
表6
其中，词汇大类为一级分类，词汇A小类为二级分类，词汇级别为A小类词汇在词汇大类一级分类中的程度级别。随着词汇量及大数据的扩充，三列数据将实时调整，将会出现B小类三级分类乃至更多小类。
2)逻辑库(模型)
以上述的“震惊“和”痴恋“为例，所有词汇虽有固有的类别(正面、负面、中立)，但由于人物标签不同、事件不同和语境不同等因素，将会产生不同的情绪结果。单纯用单一词汇难以精准判断用户的准确情绪，因此需要建立词汇逻辑库，用户的口述内容的情绪状态需要根据用户表达的关键词以及逻辑表达式进行判断。
逻辑表达式是，是由关键词、关键词程度、时间维度、角色维度、事件种类、事件程度、事件效果、事件结果、事件影响等多个维度组成的组合判断逻辑。
逻辑判别标准
a)时间维度：即期事件级别优于远期事件；
系统不仅可以针对用户当前情绪做出评价及疏导，也可以对一段时间的情绪波动周期进行疏导；
b)角色维度：本人关联事件级别优于非本人关联事件；
根据语境语义以及人物提及频率，对非本人进行关联度排序并判断优先级别；
c)地点维度：熟悉的环境情绪波动较弱，陌生的环境，情绪易有激烈波动；
d)事件种类：事件种类根据个人关注重点关注点不同，事件重要性高低不同；
e)事件程度：根据词汇库的程度副词结合关键词进行综合判断；
f)事件结果：事件种类根据个人关注重点关注点不同，事件重要性高低不同；
g)事件影响：根据影响程度持续时间判断其情绪影响程度。
其中，不同维度的权重比值，以及每个维度与相应的词汇级别的对应关系如下表7所示。
表7
具体的，对于用户的一段口述内容，先根据词汇库和逻辑库定位用户的情绪类别，再根据含有多个维度因素的逻辑表达式计算得到用户在某一类情绪下的具体情绪级别。例如，每个维度的权重比值为：所述的时间维度10％、地点维度7％、角色维度21％、事件种类15％、事件程度17％、事件结果10％、事件影响20％，根据用户的口述内容可判断用户的情绪为“恐惧”，根据逻辑库进行判断，用户获得的分值为80分，将分值对应至“恐惧”词汇级别，推导得出用户当前处于恐惧A8级别，即“疑虑”情绪。
四、声纹解析模块
通过声纹解析模块，将情感语料拆分为可拆解的特征参数，综合分析获得用户声音情感上的情绪识别及波动起伏。
1.语速解析模块
获取用户平静状态下的基础语速信息，用于信息比对。
基础语速信息很快，现获取信息明显变慢，对应以下情绪。遇到心仪对象的紧张情绪；想引起他人注意，强调自己观点的自信的情绪表露；演讲时希望引起共鸣、增加信心；有口难言的丧失信息、卑怯情绪；心虚、底气不足等。
反之，基础语速信息缓慢，现获取信息明显变快，可能想表达隐瞒情绪、紧张情绪等。
2.基音解析模块
通过平均短时能量和平均短时过零率，综合计算分析语音端点，根据自相关函数计算基因周期。
基音解析需要增加性别维度，女性基音频率高于男性，因此不同性别基准不同。
不同情绪的基音频率不同，例如“惊”的基音频率最高，其次是“喜”，“怒”与“哀”的基音频率最低。
3.音调解析模块
通常音调的高低表示情绪的安定或紧张，声音的大小表示情感的波动。
例如面对长辈或领导时，声音会不自觉变尖锐，这是因为意识到对方的身份而紧张所造成的。在人多的场合，例如演讲，由于紧张声音会提高；情绪不安定时，声音也会变得尖锐。反之，面对可以轻松交谈的人群时，声音自然变得放松和轻柔了。
声音的轻重，基于感情的动向而发生变化。当一个人的声音显得轻快而高昂时，往往表示他情绪高涨、心情好；当一个人感到沉痛悲哀时，声音总是给人一种哀伤而沉甸甸的感觉。
4.停顿解析模块
汉语言的短时停顿通常可表示为紧张或思考等，长时停顿可表示赞许、抗拒、下决心等。
五、融合加权模块
预设各解析模块的权重(各百分比仅为示例)，根据权重综合调整各模块的输出结果。各个模块权重如下表8所示。
表8
六、结果输出模块
将最终结果根据权重进行排序，针对前三种可能性给予用户结果及相应解决方案。
例如，用户的情绪状态结果：抑郁、压力和害怕。
七、解决方案模块
根据多个情绪状态结果的优先级，给予用户最佳解决方案。情绪状态与解决方案的对应关系如下表9所示。
表9
在本发明的另一个实施例中，还提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述程序代码使所述处理器执行所述情绪状态确定方法。
在本发明的另一个实施例中，还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述情绪状态确定方法。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例所提供的情绪状态确定方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种情绪状态确定方法，其特征在于，包括：
获取视频采集模块发送的视频流；
在所述视频流中提取图像特征和语音特征；
根据所述图像特征确定用户所处环境的场景特征信息和用户特征信息，以及根据所述语音特征确定用户的文字特征信息和声纹特征信息；
将所述场景特征信息、所述用户特征信息、所述文字特征信息和所述声纹特征信息导入到预设情绪分析模型中，得到用户的多个情绪状态特征信息；
将所述多个情绪状态特征信息进行融合加权处理，得到用户的情绪状态。
2.根据权利要求1所述的情绪状态确定方法，其特征在于，所述用户特征信息包括：人体体征、表情特征、行为特征和轨迹特征，根据所述图像特征确定用户所处环境的场景特征信息和用户特征信息，包括：
根据所述视频流的图像帧的时空参数确定所述场景特征信息，所述场景特征信息包括：时间和地点；
当所述视频流的图像帧中包含的人脸数量为一张或者多张时，在所述图像帧中提取与预设用户脸部特征信息相匹配的人脸图像；
在所述视频流的图像帧中确定包含用户人体的区域，得到人体图像；
在所述人体图像的人脸区域提取所述表情特征；
在所述人体图像的身体区域提取所述人体体征、行为特征和轨迹特征。
3.根据权利要求2所述的情绪状态确定方法，其特征在于，根据所述语音特征确定用户的文字特征信息和声纹特征信息，包括：
提取所述视频流中用户的语音数据；
对所述语音数据进行转化处理，得到所述文字特征信息，所述文字特征信息包括：语义和语法；
对所述语音数据进行声纹处理，得到所述声纹特征信息，所述声纹特征信息包括：语速、基音、音调和停顿。
4.根据权利要求3所述的情绪状态确定方法，其特征在于，所述场景特征信息还包括：个人属性，所述方法还包括：
接收用户输入的个人属性，所述个人属性包括：性别、年龄、地域和职业。
5.根据权利要求4所述的情绪状态确定方法，其特征在于，将所述场景特征信息、所述用户特征信息、所述文字特征信息和所述声纹特征信息导入到预设情绪分析模型中，得到用户的多个情绪状态特征信息，包括：
针对所述场景特征信息中的每个场景特征，根据场景特征与情绪状态特征信息的对应关系确定与自身对应的第一情绪状态特征信息；
针对所述用户特征信息中的每个用户特征，根据用户特征与情绪状态特征信息的对应关系确定与自身对应的第二情绪状态特征信息；
针对所述文字特征信息中的每个文字特征，根据文字特征与情绪状态特征信息的对应关系确定与自身对应的第三情绪状态特征信息；
针对所述声纹特征信息中的每个声纹特征，根据声纹特征与情绪状态特征信息的对应关系确定与自身对应的第四情绪状态特征信息。
6.根据权利要求5所述的情绪状态确定方法，其特征在于，将所述多个情绪状态特征信息进行融合加权处理，得到用户的情绪状态，包括：
采用加权融合算法，对第一情绪状态特征信息、第二情绪状态特征信息、第三情绪状态特征信息和第四情绪状态特征信息进行融合处理，得到精确的用户的情绪状态。
7.根据权利要求6所述的情绪状态确定方法，其特征在于，所述方法还包括：
根据用户的情绪状态确定适用于用户的应对方案；
所述根据用户的情绪状态确定适用于用户的应对方案，包括：
根据用户的情绪状态，以及所述预设情绪分析模型中的每个情绪状态与预设应对方案的对应关系确定适用于用户的应对方案。
8.一种情绪状态确定装置，其特征在于，包括：
获取模块，用于获取视频采集模块发送的视频流；
提取模块，用于在所述视频流中提取图像特征和语音特征；
确定模块，用于根据所述图像特征确定用户所处环境的场景特征信息和用户特征信息，以及根据所述语音特征确定用户的文字特征信息和声纹特征信息；
导入模块，用于将所述场景特征信息、所述用户特征信息、所述文字特征信息和所述声纹特征信息导入到预设情绪分析模型中，得到用户的多个情绪状态特征信息；
处理模块，用于将所述多个情绪状态特征信息进行融合加权处理，得到用户的情绪状态。
9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述程序代码使所述处理器执行所述权利要求1至7任一所述的方法。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810244692.2A CN108764010A (zh) | 2018-03-23 | 2018-03-23 | 情绪状态确定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810244692.2A CN108764010A (zh) | 2018-03-23 | 2018-03-23 | 情绪状态确定方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108764010A true CN108764010A (zh) | 2018-11-06 |
Family
ID=63980313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810244692.2A Pending CN108764010A (zh) | 2018-03-23 | 2018-03-23 | 情绪状态确定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108764010A (zh) |
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472253A (zh) * | 2018-12-28 | 2019-03-15 | 华人运通控股有限公司 | 行车安全智能提醒方法、装置、智能方向盘和智能手环 |
| CN109659009A (zh) * | 2018-12-26 | 2019-04-19 | 杭州行为科技有限公司 | 情绪管理方法、装置及电子设备 |
| CN109654668A (zh) * | 2018-11-14 | 2019-04-19 | 珠海格力电器股份有限公司 | 一种空调显示器控制方法、装置及一种空调 |
| CN109766759A (zh) * | 2018-12-12 | 2019-05-17 | 成都云天励飞技术有限公司 | 情绪识别方法及相关产品 |
| CN109784157A (zh) * | 2018-12-11 | 2019-05-21 | 口碑(上海)信息技术有限公司 | 一种图像处理方法、装置及系统 |
| CN109785977A (zh) * | 2018-12-18 | 2019-05-21 | 平安科技（深圳）有限公司 | 自动化信息录入方法、系统、装置及存储介质 |
| CN109829362A (zh) * | 2018-12-18 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 安检辅助分析方法、装置、计算机设备和存储介质 |
| CN109902574A (zh) * | 2019-01-24 | 2019-06-18 | 北京元和新通科技有限公司 | 人体表象变化测定人体情绪的高危人员检测装置及方法 |
| CN109935242A (zh) * | 2019-01-10 | 2019-06-25 | 上海言通网络科技有限公司 | 可打断式语音处理系统和方法 |
| CN109948780A (zh) * | 2019-03-14 | 2019-06-28 | 江苏集萃有机光电技术研究所有限公司 | 基于人工智能的辅助决策方法、装置及设备 |
| CN109994102A (zh) * | 2019-04-16 | 2019-07-09 | 上海航动科技有限公司 | 一种基于情绪识别的智能外呼系统 |
| CN110010225A (zh) * | 2019-02-22 | 2019-07-12 | 张玲 | 一种基于音视频的心理干预算法 |
| CN110121026A (zh) * | 2019-04-24 | 2019-08-13 | 深圳传音控股股份有限公司 | 智能拍摄设备及其基于生物特征识别的场景生成方法 |
| CN110175526A (zh) * | 2019-04-28 | 2019-08-27 | 平安科技（深圳）有限公司 | 狗情绪识别模型训练方法、装置、计算机设备及存储介质 |
| CN110245236A (zh) * | 2019-06-25 | 2019-09-17 | 北京向上一心科技有限公司 | 信息呈现方法、装置和电子设备 |
| CN110262665A (zh) * | 2019-06-26 | 2019-09-20 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
| CN110399837A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN110459296A (zh) * | 2019-06-26 | 2019-11-15 | 深圳市天彦通信股份有限公司 | 信息推送方法及相关产品 |
| CN110517085A (zh) * | 2019-08-27 | 2019-11-29 | 新华网股份有限公司 | 生成展示报告方法、电子设备及计算机可读存储介质 |
| CN110728997A (zh) * | 2019-11-29 | 2020-01-24 | 中国科学院深圳先进技术研究院 | 一种基于情景感知的多模态抑郁症检测方法和系统 |
| CN110942765A (zh) * | 2019-11-11 | 2020-03-31 | 珠海格力电器股份有限公司 | 一种构建语料库的方法、设备、服务器和存储介质 |
| CN110991344A (zh) * | 2019-12-04 | 2020-04-10 | 陕西科技大学 | 一种基于深度学习的情绪舒缓系统 |
| CN110991427A (zh) * | 2019-12-25 | 2020-04-10 | 北京百度网讯科技有限公司 | 用于视频的情绪识别方法、装置和计算机设备 |
| CN111028827A (zh) * | 2019-12-10 | 2020-04-17 | 深圳追一科技有限公司 | 基于情绪识别的交互处理方法、装置、设备和存储介质 |
| CN111144197A (zh) * | 2019-11-08 | 2020-05-12 | 宇龙计算机通信科技(深圳)有限公司 | 人性识别方法、装置、存储介质和电子设备 |
| CN111198958A (zh) * | 2018-11-19 | 2020-05-26 | Tcl集团股份有限公司 | 匹配背景音乐的方法、装置及终端 |
| CN111339913A (zh) * | 2020-02-24 | 2020-06-26 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种视频中的人物情绪识别方法及装置 |
| CN111354377A (zh) * | 2019-06-27 | 2020-06-30 | 深圳市鸿合创新信息技术有限责任公司 | 通过声音识别情绪的方法及装置、电子设备 |
| CN111476217A (zh) * | 2020-05-27 | 2020-07-31 | 上海乂学教育科技有限公司 | 基于情绪识别的智能学习系统和方法 |
| CN111938674A (zh) * | 2020-09-07 | 2020-11-17 | 南京宇乂科技有限公司 | 一种对话的情绪识别控制系统 |
| CN111968679A (zh) * | 2020-10-22 | 2020-11-20 | 深圳追一科技有限公司 | 情感识别方法、装置、电子设备及存储介质 |
| WO2021003681A1 (en) * | 2019-07-09 | 2021-01-14 | LUI, Yat Wan | Method and system for neuropsychological performance test |
| CN112233699A (zh) * | 2020-10-13 | 2021-01-15 | 中移（杭州）信息技术有限公司 | 语音播报方法、智能语音设备及计算机可读存储介质 |
| CN112990301A (zh) * | 2021-03-10 | 2021-06-18 | 深圳市声扬科技有限公司 | 情绪数据标注方法、装置、计算机设备和存储介质 |
| CN113128534A (zh) * | 2019-12-31 | 2021-07-16 | 北京中关村科金技术有限公司 | 情绪识别的方法、装置以及存储介质 |
| CN113327620A (zh) * | 2020-02-29 | 2021-08-31 | 华为技术有限公司 | 声纹识别的方法和装置 |
| CN113421630A (zh) * | 2021-06-02 | 2021-09-21 | 沃民高新科技（北京）股份有限公司 | 身心健康智能管理方法和系统 |
| CN113415286A (zh) * | 2021-07-14 | 2021-09-21 | 重庆金康赛力斯新能源汽车设计院有限公司 | 路怒检测方法和设备 |
| CN114512144A (zh) * | 2022-01-28 | 2022-05-17 | 中国人民公安大学 | 一种识别恶意语音信息的方法、装置、介质和设备 |
| CN114971658A (zh) * | 2022-07-29 | 2022-08-30 | 四川安洵信息技术有限公司 | 一种反诈宣传方法、系统、电子设备以及存储介质 |
| CN115209218A (zh) * | 2022-06-27 | 2022-10-18 | 联想(北京)有限公司 | 一种视频信息处理方法、电子设备及存储介质 |
| GB2610013A (en) * | 2021-08-20 | 2023-02-22 | Lenovo Beijing Ltd | Processing method and device |
| TWI829944B (zh) * | 2020-02-27 | 2024-01-21 | 未來市股份有限公司 | 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法 |
| CN114512144B (zh) * | 2022-01-28 | 2024-05-17 | 中国人民公安大学 | 一种识别恶意语音信息的方法、装置、介质和设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080275830A1 (en) * | 2007-05-03 | 2008-11-06 | Darryl Greig | Annotating audio-visual data |
| CN104376250A (zh) * | 2014-12-03 | 2015-02-25 | 优化科技（苏州）有限公司 | 基于音型像特征的真人活体身份验证方法 |
| CN106782545A (zh) * | 2016-12-16 | 2017-05-31 | 广州视源电子科技股份有限公司 | 一种将音视频数据转化成文字记录的系统和方法 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107705808A (zh) * | 2017-11-20 | 2018-02-16 | 合光正锦（盘锦）机器人技术有限公司 | 一种基于面部特征与语音特征的情绪识别方法 |
-
2018
- 2018-03-23 CN CN201810244692.2A patent/CN108764010A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080275830A1 (en) * | 2007-05-03 | 2008-11-06 | Darryl Greig | Annotating audio-visual data |
| CN104376250A (zh) * | 2014-12-03 | 2015-02-25 | 优化科技（苏州）有限公司 | 基于音型像特征的真人活体身份验证方法 |
| CN106782545A (zh) * | 2016-12-16 | 2017-05-31 | 广州视源电子科技股份有限公司 | 一种将音视频数据转化成文字记录的系统和方法 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107705808A (zh) * | 2017-11-20 | 2018-02-16 | 合光正锦（盘锦）机器人技术有限公司 | 一种基于面部特征与语音特征的情绪识别方法 |
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109654668A (zh) * | 2018-11-14 | 2019-04-19 | 珠海格力电器股份有限公司 | 一种空调显示器控制方法、装置及一种空调 |
| CN111198958A (zh) * | 2018-11-19 | 2020-05-26 | Tcl集团股份有限公司 | 匹配背景音乐的方法、装置及终端 |
| CN109784157A (zh) * | 2018-12-11 | 2019-05-21 | 口碑(上海)信息技术有限公司 | 一种图像处理方法、装置及系统 |
| CN109766759A (zh) * | 2018-12-12 | 2019-05-17 | 成都云天励飞技术有限公司 | 情绪识别方法及相关产品 |
| CN109829362A (zh) * | 2018-12-18 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 安检辅助分析方法、装置、计算机设备和存储介质 |
| CN109785977A (zh) * | 2018-12-18 | 2019-05-21 | 平安科技（深圳）有限公司 | 自动化信息录入方法、系统、装置及存储介质 |
| CN109659009A (zh) * | 2018-12-26 | 2019-04-19 | 杭州行为科技有限公司 | 情绪管理方法、装置及电子设备 |
| CN109659009B (zh) * | 2018-12-26 | 2022-05-31 | 杭州行为科技有限公司 | 情绪管理方法、装置及电子设备 |
| CN109472253B (zh) * | 2018-12-28 | 2024-04-16 | 华人运通(上海)云计算科技有限公司 | 行车安全智能提醒方法、装置、智能方向盘和智能手环 |
| CN109472253A (zh) * | 2018-12-28 | 2019-03-15 | 华人运通控股有限公司 | 行车安全智能提醒方法、装置、智能方向盘和智能手环 |
| CN109935242A (zh) * | 2019-01-10 | 2019-06-25 | 上海言通网络科技有限公司 | 可打断式语音处理系统和方法 |
| CN109902574A (zh) * | 2019-01-24 | 2019-06-18 | 北京元和新通科技有限公司 | 人体表象变化测定人体情绪的高危人员检测装置及方法 |
| CN110010225A (zh) * | 2019-02-22 | 2019-07-12 | 张玲 | 一种基于音视频的心理干预算法 |
| CN109948780A (zh) * | 2019-03-14 | 2019-06-28 | 江苏集萃有机光电技术研究所有限公司 | 基于人工智能的辅助决策方法、装置及设备 |
| CN109994102A (zh) * | 2019-04-16 | 2019-07-09 | 上海航动科技有限公司 | 一种基于情绪识别的智能外呼系统 |
| CN110121026A (zh) * | 2019-04-24 | 2019-08-13 | 深圳传音控股股份有限公司 | 智能拍摄设备及其基于生物特征识别的场景生成方法 |
| CN110175526A (zh) * | 2019-04-28 | 2019-08-27 | 平安科技（深圳）有限公司 | 狗情绪识别模型训练方法、装置、计算机设备及存储介质 |
| CN110245236A (zh) * | 2019-06-25 | 2019-09-17 | 北京向上一心科技有限公司 | 信息呈现方法、装置和电子设备 |
| CN110262665A (zh) * | 2019-06-26 | 2019-09-20 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
| CN110459296A (zh) * | 2019-06-26 | 2019-11-15 | 深圳市天彦通信股份有限公司 | 信息推送方法及相关产品 |
| CN111354377A (zh) * | 2019-06-27 | 2020-06-30 | 深圳市鸿合创新信息技术有限责任公司 | 通过声音识别情绪的方法及装置、电子设备 |
| WO2021003681A1 (en) * | 2019-07-09 | 2021-01-14 | LUI, Yat Wan | Method and system for neuropsychological performance test |
| CN112997166A (zh) * | 2019-07-09 | 2021-06-18 | 晋斐德 | 神经心理学表现测试的方法和系统 |
| CN110399837A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN110399837B (zh) * | 2019-07-25 | 2024-01-05 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN110517085A (zh) * | 2019-08-27 | 2019-11-29 | 新华网股份有限公司 | 生成展示报告方法、电子设备及计算机可读存储介质 |
| CN111144197A (zh) * | 2019-11-08 | 2020-05-12 | 宇龙计算机通信科技(深圳)有限公司 | 人性识别方法、装置、存储介质和电子设备 |
| CN110942765A (zh) * | 2019-11-11 | 2020-03-31 | 珠海格力电器股份有限公司 | 一种构建语料库的方法、设备、服务器和存储介质 |
| CN110728997A (zh) * | 2019-11-29 | 2020-01-24 | 中国科学院深圳先进技术研究院 | 一种基于情景感知的多模态抑郁症检测方法和系统 |
| CN110728997B (zh) * | 2019-11-29 | 2022-03-22 | 中国科学院深圳先进技术研究院 | 一种基于情景感知的多模态抑郁症检测系统 |
| CN110991344A (zh) * | 2019-12-04 | 2020-04-10 | 陕西科技大学 | 一种基于深度学习的情绪舒缓系统 |
| CN110991344B (zh) * | 2019-12-04 | 2023-02-24 | 陕西科技大学 | 一种基于深度学习的情绪舒缓系统 |
| CN111028827A (zh) * | 2019-12-10 | 2020-04-17 | 深圳追一科技有限公司 | 基于情绪识别的交互处理方法、装置、设备和存储介质 |
| CN110991427A (zh) * | 2019-12-25 | 2020-04-10 | 北京百度网讯科技有限公司 | 用于视频的情绪识别方法、装置和计算机设备 |
| CN113128534A (zh) * | 2019-12-31 | 2021-07-16 | 北京中关村科金技术有限公司 | 情绪识别的方法、装置以及存储介质 |
| CN111339913A (zh) * | 2020-02-24 | 2020-06-26 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种视频中的人物情绪识别方法及装置 |
| TWI829944B (zh) * | 2020-02-27 | 2024-01-21 | 未來市股份有限公司 | 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法 |
| CN113327620A (zh) * | 2020-02-29 | 2021-08-31 | 华为技术有限公司 | 声纹识别的方法和装置 |
| CN111476217A (zh) * | 2020-05-27 | 2020-07-31 | 上海乂学教育科技有限公司 | 基于情绪识别的智能学习系统和方法 |
| CN111938674A (zh) * | 2020-09-07 | 2020-11-17 | 南京宇乂科技有限公司 | 一种对话的情绪识别控制系统 |
| CN112233699B (zh) * | 2020-10-13 | 2023-04-28 | 中移（杭州）信息技术有限公司 | 语音播报方法、智能语音设备及计算机可读存储介质 |
| CN112233699A (zh) * | 2020-10-13 | 2021-01-15 | 中移（杭州）信息技术有限公司 | 语音播报方法、智能语音设备及计算机可读存储介质 |
| CN111968679A (zh) * | 2020-10-22 | 2020-11-20 | 深圳追一科技有限公司 | 情感识别方法、装置、电子设备及存储介质 |
| CN112990301A (zh) * | 2021-03-10 | 2021-06-18 | 深圳市声扬科技有限公司 | 情绪数据标注方法、装置、计算机设备和存储介质 |
| CN113421630A (zh) * | 2021-06-02 | 2021-09-21 | 沃民高新科技（北京）股份有限公司 | 身心健康智能管理方法和系统 |
| CN113415286B (zh) * | 2021-07-14 | 2022-09-16 | 重庆金康赛力斯新能源汽车设计院有限公司 | 路怒检测方法和设备 |
| CN113415286A (zh) * | 2021-07-14 | 2021-09-21 | 重庆金康赛力斯新能源汽车设计院有限公司 | 路怒检测方法和设备 |
| GB2610013A (en) * | 2021-08-20 | 2023-02-22 | Lenovo Beijing Ltd | Processing method and device |
| CN114512144A (zh) * | 2022-01-28 | 2022-05-17 | 中国人民公安大学 | 一种识别恶意语音信息的方法、装置、介质和设备 |
| CN114512144B (zh) * | 2022-01-28 | 2024-05-17 | 中国人民公安大学 | 一种识别恶意语音信息的方法、装置、介质和设备 |
| CN115209218A (zh) * | 2022-06-27 | 2022-10-18 | 联想(北京)有限公司 | 一种视频信息处理方法、电子设备及存储介质 |
| CN114971658A (zh) * | 2022-07-29 | 2022-08-30 | 四川安洵信息技术有限公司 | 一种反诈宣传方法、系统、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764010A (zh) | 情绪状态确定方法及装置 | |
| CN103366618B (zh) | 基于人工智能与虚拟现实用于汉语学习培训的场景设备 | |
| Busso et al. | Interrelation between speech and facial gestures in emotional utterances: a single subject study | |
| Schuller et al. | Emotion recognition in the noise applying large acoustic feature sets | |
| Chen et al. | Speech emotion recognition: Features and classification models | |
| Cowie et al. | Emotion recognition in human-computer interaction | |
| Luengo et al. | Feature analysis and evaluation for automatic emotion identification in speech | |
| CN108197115A (zh) | 智能交互方法、装置、计算机设备和计算机可读存储介质 | |
| US9213558B2 (en) | Method and apparatus for tailoring the output of an intelligent automated assistant to a user | |
| CN108227932A (zh) | 交互意图确定方法及装置、计算机设备及存储介质 | |
| CN108334583A (zh) | 情感交互方法及装置、计算机可读存储介质、计算机设备 | |
| CN107972028B (zh) | 人机交互方法、装置及电子设备 | |
| CN110085262A (zh) | 语音情绪交互方法、计算机设备和计算机可读存储介质 | |
| CN110110169A (zh) | 人机交互方法及人机交互装置 | |
| WO2015158017A1 (zh) | 智能交互及心理慰藉机器人服务系统 | |
| CN110085221A (zh) | 语音情感交互方法、计算机设备和计算机可读存储介质 | |
| Gharavian et al. | Audio-visual emotion recognition using FCBF feature selection method and particle swarm optimization for fuzzy ARTMAP neural networks | |
| CN110085220A (zh) | 智能交互装置 | |
| Albrecht et al. | Automatic generation of non-verbal facial expressions from speech | |
| CN108806686A (zh) | 一种语音搜题应用的启动控制方法及家教设备 | |
| JP5723711B2 (ja) | 音声認識装置および音声認識プログラム | |
| Barbulescu et al. | Which prosodic features contribute to the recognition of dramatic attitudes? | |
| CN104376850A (zh) | 一种汉语耳语音的基频估计方法 | |
| Hassan | On automatic emotion classification using acoustic features | |
| Zhao et al. | Automatic chinese personality recognition based on prosodic features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181106 |
|
| RJ01 | Rejection of invention patent application after publication |