CN105334743B - 一种基于情感识别的智能家居控制方法及其系统 - Google Patents
一种基于情感识别的智能家居控制方法及其系统 Download PDFInfo
- Publication number
- CN105334743B CN105334743B CN201510799123.0A CN201510799123A CN105334743B CN 105334743 B CN105334743 B CN 105334743B CN 201510799123 A CN201510799123 A CN 201510799123A CN 105334743 B CN105334743 B CN 105334743B
- Authority
- CN
- China
- Prior art keywords
- emotion
- emotion recognition
- recognition result
- user
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 189
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000008451 emotion Effects 0.000 claims abstract description 90
- 230000007935 neutral effect Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 16
- 230000002996 emotional effect Effects 0.000 claims description 7
- 235000013399 edible fruits Nutrition 0.000 claims description 6
- 241001672694 Citrus reticulata Species 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011017 operating method Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims 1
- 230000036651 mood Effects 0.000 abstract description 10
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 230000001737 promoting effect Effects 0.000 abstract 1
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 101001004953 Homo sapiens Lysosomal acid lipase/cholesteryl ester hydrolase Proteins 0.000 description 3
- 102100026001 Lysosomal acid lipase/cholesteryl ester hydrolase Human genes 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 235000015096 spirit Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Child & Adolescent Psychology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Automation & Control Theory (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- User Interface Of Digital Computer (AREA)
- Machine Translation (AREA)
Abstract
本发明提供了一种基于情感识别的智能家居控制方法及其系统,所述方法包括:获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果;将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果;基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果;并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作。通过分析用户当前的心情来自动控制家中的智能设备,并据此改变周围的环境条件,具有较好的智能化程度。另外,采用语音语调识别和语义情感解析相结合的方法来进一步提升情感识别的准确性。
Description
技术领域
本发明涉及智能家居技术领域,尤其涉及一种基于情感识别的智能家居控制方法及其系统。
背景技术
现有的智能家居的控制操作方式通常有用户登录手机、电脑对家中的智能设备发送指令,然后由智能设备执行相应用户指令。或者是使用语音控制,例如,用户对着手机上的麦克风说“打开电视”,手机将语音指令发送至智能电视(或者智能控制设备),控制电视机开启。现还有一些图像控制设备,通过图像识别技术中的人脸识别,由用户的不同表情来控制智能设备的运行。
对于现有的智能家居控制操作方式来说,其登陆手机等终端对智能设备进行操作,既麻烦又耽误时间。而且有时在登陆过程中还需要输入用户名和密码,不方便老人操作,存在着整体操作安全性不高的问题。
而且现有的操作方法,仍然需要获取明确用户指令方可完成操作,操控方法智能化程度不足,无法实现自动对智能设备进行操作。这些操作方法并未真正的实现智能化,无法处理用户较为模糊的指令,无法检测用户的心情和感受,并据此对家居环境作出智能化的调整。
即使采用较为先进的人脸识别方法进行控制,受限于图像人脸识别技术的瓶颈,实现实时分析和抓拍、获取清晰的用户人脸图像非常困难。
因此,现有技术还有待发展。
发明内容
鉴于上述现有技术的不足之处,本发明的目的在于提供一种基于情感识别的智能家居控制方法及其系统,旨在解决现有技术中智能家居控制方式智能化程度不足,不便于用户使用的问题。
为了达到上述目的,本发明采取了以下技术方案:
一种基于情感识别的智能家居控制方法,其中,所述方法包括:
获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果;
将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果;
基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果;并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作。
所述的基于情感识别的智能家居控制方法,其中,所述获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果的步骤具体包括:
获取用户的语音信息后,基于面向普通话情感变化检查的情感语音数据库,匹配所述语音信息的语音音调从而生成所述第一情感识别结果。
所述的基于情感识别的智能家居控制方法,其中,所述将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果的步骤具体包括:
选定若干个褒义种子词和若干个贬义种子词生成情感词典;
分别计算所述文字信息中的词语与所述情感词典中的褒义种子词和贬义种子词的词语相似度;
根据所述词语相似度,通过预设的语义情感分析方法生成所述第二情感识别结果。
所述的基于情感识别的智能家居控制方法,其中,所述分别计算所述文字信息中的词语与所述情感词典中的褒义种子词和贬义种子词的词语相似度的步骤具体包括:
根据语义相似度计算方法分别计算所述文字信息中的词语与所述褒义种子词的词语相似度以及所述文字信息中的词语与所述贬义种子词的词语相似度。
所述的基于情感识别的智能家居控制方法,其中,所述根据所述词语相似度,通过预设的语义情感分析方法生成所述第二情感识别结果的步骤具体包括:
通过词语情感倾向算式计算词语情感倾向值:
其中,w表示文字信息中的词语、Kp表示褒义种子词,M为褒义种子词的数量,Kn表示贬义种子词,N为贬义种子词的数量,QG(w)表示词语情感倾向值;表示词语与褒义种子词的词语相似度;表示词语与贬义种子词的词语相似度;
当所述词语情感倾向值大于预定的阈值时,判断文字信息中的词语为褒义情感;
当所述词语情感倾向值小于预定的阈值时,判断文字信息中的词语为贬义情感。
所述的基于情感识别的智能家居控制方法,其中,在所述基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果;并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作步骤之后还包括:
基于预先设置的语音特征数据库,匹配所述用户的语音信息的语义特征从而判断用户的身份。
所述的基于情感识别的智能家居控制方法,其中,所述第一情感识别结果包括高级别和低级别的褒义情感,中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型;
所述第二情感识别结果包括的情感类型与第一情感识别结果相同。
所述的基于情感识别的智能家居控制方法,其中,所述方法还包括:
当所述第一情感识别结果为褒义情感、第二情感识别结果为贬义情感或者所述第一情感识别结果为贬义情感、第二情感识别结果为褒义情感时,重新采集当前的用户的语音信息;
重新对当前的用户的语音信息进行语音语调分析和语义情感分析,生成新的第一情感识别结果和第二情感识别结果。
所述的基于情感识别的智能家居控制方法,其中,所述预定的情感识别结果判断方法具体包括:
当所述第一情感识别结果与第二情感识别结果为不同级别的褒义情感时,判断当前用户情感识别结果为低级别的褒义情感;
当所述第一情感识别结果与第二情感识别结果为不同级别的贬义情感时,判断当前用户情感识别结果为低级别的贬义情感;
当所述第一情感识别结果和第二情感识别结果中一个为中性情感,另一个为贬义或者褒义情感时,判断当前用户情感识别结果为所述褒义或者贬义情感。
一种基于情感识别的智能家居控制系统,其中,所述控制系统包括:
第一识别及获取模块,用于获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果;
第二识别及获取模块,用于将所述语音信息转换为文字信息;对所述文字信息进行语义情感识别生成第二情感识别结果;
综合情感判断及控制模块,用于基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果,并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作。
有益效果:本发明提供的一种基于情感识别的智能家居控制方法及其系统,通过基于用户情感识别的方法来自动操控家中的智能设备,通过分析用户说的对设备聊天或控制语句中的语音、语调和语句内容来分析用户当前的心情是生气、着急、中性、愉悦和高兴等状态,从而自动控制家中的智能设备,通过改变周围的环境条件来改善用户的心情,具有较好的智能化程度,能够挖掘用户语音中的隐含信息。另外,采用语音语调识别和语义情感解析相结合的方法来进一步提升情感识别的准确性。
附图说明
图1为本发明的一种基于情感识别的智能家居控制方法的较佳实施例的流程图;
图2为本发明的一种基于情感识别的智能家居控制方法步骤S2的具体实施例的流程图;
图3为本发明的一种基于智能电视的智能家居设备控制系统的具体应用实施例的流程图;
图4为本发明的一种基于智能电视的智能家居设备控制系统的语音语调识别单元的具体应用实施例的流程图;
图5为本发明的一种基于智能电视的智能家居设备控制系统的文本情感识别单元的具体应用实施例的流程图;
图6为本发明的一种基于情感识别的智能家居控制系统的较佳实施例的功能原理框图。
具体实施方式
本发明提供一种基于情感识别的智能家居控制方法及其系统。为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,为本发明具体实施例的基于情感识别的智能家居控制方法。应当说明的是,本发明所述的方法可以应用于任何合适的,具有一定运算能力,可控制的智能家居系统中,用于提高智能家居系统与用户之间的交互的智能化程度。
对本发明所述的方法进行一些常见的改进,将其应用到其他智能设备与用户交互的领域,例如手机,平板电脑等也属于本领域的常规技术手段的替换或者改变。本领域技术人员可以通过一些常用的改变,将本发明所述方法及其系统应用到其他合适的用户与智能设备交互的领域中,提高智能设备的智能化程度。
所述方法包括:
S1、获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果。
所述语音信息可以为用户的语音指令,用户的语音对话或者其他合适的,能够由设备采集的一段音频信息。
在对音频信息进行情感识别前,还可以进行一些例如高斯滤波等的预处理,降低后续情感识别处理的难度。
S2、将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果。
具体的,所述第一情感识别结果可以包括高级别和低级别的褒义情感,中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型;所述第二情感识别结果包括的情感类型与第一情感识别结果相同。
为陈述简便,在此使用“生气”、“着急”、“中性”、“愉悦”、“高兴”五个词语对应上述5个不同级别的情感类型。当然,为了进一步细化情感识别结果,还可以对所述情感类型进行进一步细分或者进行简化。
S3、基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果;并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作。
所述智能家居设备具体可以包括任何合适的家居设备,例如电视、空调等等,所述智能家居设备也可以在使用过程添加或者减省一些设备,例如空气净化器、咖啡机等。
由于情感识别对于计算机而言是一个相对复杂的问题。因此,在步骤S3中,整合步骤S1和步骤S2获得的第一情感识别结果和第二情感识别结果的方式能够避免单一情感识别算法导致的错误,获取较为准确的结果,最终生成的用户情感识别结果不会与实际情况出现明显的偏差(例如,用户为显著的贬义情感时,识别为褒义情感)。
所述相应的操作具体是指与用户当前情感相符的操作,例如判断当用户心情为着急的时候,该智慧家庭系统会自动打开舒缓的音乐,打开空气净化器,并通过温度传感器判断当前室内温度如果较高就会自动发送命令给空调来降低一点温度,让用户变得冷静。
同时根据当前季节和气候在电视画面上显示一些去除烦躁和保健的生活小常识;还可以自动发送命令为用户冲一杯牛奶,甚至改变墙上的颜色和室内灯的颜色来调节用户心情。
而当判断心情为高兴时,则自动为你播报一些新闻和推荐电影等;还可以建议你做一些有氧运动保持身体健康;播放一首动感的音乐等等。假如判断用户当前心情为中性:该智能家庭系统会自动播放一段小笑话,推荐喜剧电影,为用户祝好咖啡等等。
上述多个智能设备的动作均为连贯完成,由智能家居的控制系统所操作。具体的动作由实际情况(例如智能设备的种类、可供控制的智能设备等等)来决定。当然也可以采用用户自定义的方式,根据自己的习惯自由组合多个事件。
具体的,所述获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果的步骤(亦即语音语调情感识别),具体包括:
获取用户的语音信息后,基于面向普通话情感变化检查的情感语音数据库,匹配所述语音信息的语音音调从而生成所述第一情感识别结果。
所述基于面向普通话情感变化检查的情感语音数据库(即CESD语音数据库)的详细介绍可以参见学术论文《面向情感变化检测的汉语情感语音数据库》,作者:徐露徐明星;来自文献“第十届全国人机语音通讯学术会议论文集”。
该CESD语音数据库以对话的形式录制了包括男士女生情感对话语音1200,以生气、着急、中性、愉悦、高兴为基本情感,共包含20中感情变化模式。除语音文件外,还包含带有静音段/有效语音段、情感类别、情感变化段、情感质量等内容的标注文件,还有很多具有声学特征的特征文件一同存储在该数据库中。可以很好的对用户语音进行情感识别。
更具体的,如图2所示,所述将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果的步骤(亦即语义情感识别)具体包括:
S21、选定若干个褒义种子词和若干个贬义种子词生成情感词典。所述情感词典主要包括情感词词典和情感短语词典这两类。
其中,情感词词典由带有情感特征的词语构成的词典,如喜欢、讨厌等词汇都属于情感词词典中的词汇。情感短语词典由带有情感特征的短语语构成的词典,如兴高采烈、得意洋洋等词汇都属于情感短语词典中的短语。
在情感词典中,词语(包括情感词及情感短语)通常分为褒义(如美丽、高兴等)、贬义(如丑陋、沮丧等)及中性(如电脑、工作等)三个类别。
S22、分别计算所述文字信息中的词语与所述情感词典中的褒义种子词和贬义种子词的词语相似度。
情感词的情感权值(又称情感倾向性)大小与这个词和种子词的语义关联的紧密程度有关(亦即词语相似度)。
在此使用“种子词”这一术语来表示褒贬态度非常明显、强烈、具有代表性的词语。可以这样认为,与贬义种子词关系越紧密,则该词贬义倾向越明确。与褒义种子词关系越紧密,则该词褒义倾向越明确。
具体的,可以根据语义相似度计算方法分别计算所述文字信息中的词语与所述褒义种子词的词语相似度以及所述文字信息中的词语与所述贬义种子词的词语相似度。
中国知网中的词语相似度计算是以词的义原为基础的来的。在中国知网中将同类的义原组成一棵树,因而把义原的相似度计算转化为义原之间在树中的语义距离计算。假设两个义原在这个层次体系中的路径距离为d,则这两个义原的语义距离为其中:p1、p2表示义原;a是一个可调节的参数。
中国知网中一个词有几个义原,因而在此基础上计算词语的相似度,取义原之间相似度最大值作为词语的相似度。对于两个中文词语w1、w2,假设他们分别有多个义原,w1的义原为s11,s12,...s1n,w2的义原为s21,s22,...s2n。其相似度计算公式如下:
Similarity(w1,w2)=maxi=1....n,j...m(s1i,s2j) (1)
为了与上述5个级别的情感类型相对应,可以为每个情感词定义一个情感极性。亦即将该情感极性分为强、弱两个层级。情感极性表示词语之间语义相似程度,相似度越高极性越强,反之则越弱。
S23、根据所述词语相似度,通过预设的语义情感分析方法生成所述第二情感识别结果。
更具体的,所述根据所述词语相似度,通过预设的语义情感分析方法生成所述第二情感识别结果的步骤(S23)具体包括:
通过词语情感倾向算式计算词语情感倾向值:
其中,w表示文字信息中的词语、Kp表示褒义种子词,M为褒义种子词的数量,Kn表示贬义种子词,N为贬义种子词的数量,QG(w)表示词语情感倾向值;表示词语与褒义种子词的词语相似度;表示词语与贬义种子词的词语相似度。
N和M均为正整数,其可以相等也可以不相等。
当所述词语情感倾向值大于预定的阈值时,判断文字信息中的词语为褒义情感。而当所述词语情感倾向值小于预定的阈值时,判断文字信息中的词语为贬义情感。
进一步的,将褒义词中的词汇再按[0,1]之间的大小分为强和弱两个级别,贬义词中的词汇按[-1,0]之间直接的大小分为强弱两个级别,分别对应上述生气、着急、中性、愉悦、高兴5个级别的情感类型。例如,如果极性值大于0.5,则为高兴;如果小于0.5,则为愉悦。如果极性值大于-0.5,则为着急;如果小于-0.5,则为生气。
较佳的是,在所述步骤S3之后,所述方法还包括:
基于预先设置的语音特征数据库,匹配所述用户的语音信息的语义特征从而判断用户的身份。
亦即,通过预先录入声音样本并提取每个样本独一无二的特征建立语音特征数据库,然后使用时将待检声音与数据库中的特征进行匹配,通过分析计算实现说话人户身份的确认。上述用户声纹验证的方式,便于用户操作,无需记忆用户名和密码。同时,具有较好的安全性,能够保证用户身份的准确识别。
在本发明的具体实施例中,所述方法还包括:当所述第一情感识别结果为褒义情感、第二情感识别结果为贬义情感或者所述第一情感识别结果为贬义情感、第二情感识别结果为褒义情感时,重新采集当前的用户的语音信息;
重新对当前的用户的语音信息进行语音语调分析(S1)和语义情感分析(S2),生成新的第一情感识别结果和第二情感识别结果。
由于情感识别的复杂性,可能会存在两个情感识别结果之间相互矛盾的情况。在这种情况下,为保证识别结果的准确性,重新采集数据并进行识别是较好的方法。
具体的,所述步骤S3中预定的情感识别结果判断方法具体为:
当所述第一情感识别结果与第二情感识别结果为不同级别的褒义情感时,判断当前用户情感识别结果为低级别的褒义情感。
当所述第一情感识别结果与第二情感识别结果为不同级别的贬义情感时,判断当前用户情感识别结果为低级别的贬义情感。
当所述第一情感识别结果和第二情感识别结果中一个为中性情感,另一个为贬义或者褒义情感时,判断当前用户情感识别结果为所述褒义或者贬义情感。
总结来讲就是当第一情感识别结果和第二情感识别结果均存在情感倾向时(褒义或者贬义),采用降级选择的方法,选择级别较低的情感类型。而当两者中的其中一个为中性结果时,选择带有情感倾向的结果。
应用该方法,与上述5种情感类型相对应的判断结果具体如表1所示:
第一情感识别结果 | 第二情感识别结果 | 用户情感识别结果 |
生气 | 生气 | 生气 |
生气 | 着急 | 着急 |
着急 | 着急 | 着急 |
高兴 | 高兴 | 高兴 |
高兴 | 愉悦 | 愉悦 |
愉悦 | 愉悦 | 愉悦 |
生气 | 中性 | 生气 |
着急 | 中性 | 着急 |
高兴 | 中性 | 高兴 |
愉悦 | 中性 | 愉悦 |
中性 | 中性 | 中性 |
表1
图3为本发明所述基于情感识别的智能家居控制系统的具体使用实例的流程图,如图3所示,该具体使用实例包括如下步骤:
S100、用户通过语音输入命令或者聊天内容,智能家居系统收到用户语音后在和用户聊天的同时,会通过声纹识别单元验证用户身份,如果是合法用户,则执行步骤S200。
若否,则通过和用户聊天的形式让用户录入声纹信息,成为合法用户。
S200、声纹识别单元将语音发给语音语调识别单元提取语音语调特征判断用户当前情感状态(即情感识别结果),并把识别结果输入到综合情感判断模块。同时该模块再将用户语音传给语音转文字模块转换为文字。
S300、在将文字输入到语义识别单元进行语义情感识别,将识别结果传给综合情感判断单元。
S400、综合情感判断单元根据降级选择的方法判断用户当前情感状态,然后该情感状态发送至智能设备控制单元。
S500、智能设备控制单元收到用户情感结果后,根据用户预先设置已经当前环境等信息自动控制家中智能设备。
其中,如图4所示,语音语调识别的具体流程包括:
S210、分析用户的音频文件,提取音频文件中的语音语调特征。
S220、将该特征和CESD语音数据库中数据特征进行对比。
S230、判断是否与所述数据库中某个情感的特征相同,若是,执行步骤S240。
若否(即匹配不到数据库中的情感特征),则重新获取用户语音分析特征重新返回步骤S210。
S240、得到用户情感识别结果。
进一步的,如图5所示,文本情感识别单元具体流程包括:
S310、将文本信息中的词与情感词典库中的词进行匹配,如果存在褒义词,则执行S320;如果存在贬义词,则执行S330;如果都不存在则判断该句话为中性情感(S350);
S320、判断该情感词的极性值是多少,如果极性值大于0.5,则为高兴;如果小于0.5,则为愉悦;
S330、判断该情感词的极性值是多少,如果极性值大于-0.5,则为着急;如果小于-0.5,则为生气;
S340、当该情感词前存在否定前缀或者否定词的时,将得到的情感识别结果判断为相反的情感类型(如高兴对应生气,愉悦对应着急)。
基于上述方法实施例,本发明还提供了一种基于情感识别的智能家居控制系统。如图6所示,所述基于情感识别的智能家居控制系统包括:
第一识别及获取模块10,用于获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果;
第二识别及获取模块20,用于将所述语音信息转换为文字信息;对所述文字信息进行语义情感识别生成第二情感识别结果;
综合情感判断及控制模块30,用于基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果,并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作。
在具体实施时,如图6所示,所述第一识别及获取模块10可以包括用于获取用户的语音信息的声纹识别单元100以及对所述语音信息的进行语音音调情感识别生成第一情感识别结果的语音语调情感识别单元200。
所述第二识别及获取模块20可以包括用于将所述语音信息转换为文字信息的语音文字转换单元300以及用于对所述文字信息进行语义情感识别生成第二情感识别结果的语义情感识别单元400。
所述综合情感判断及控制模块30可以包括用于基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果的综合情感判断单元500以及用于根据所述用户情感识别结果,控制各智能家居设备执行相应的操作的智能设备控制单元600。
综上所述,本发明提供的一种基于情感识别的智能家居控制方法及其系统,通过基于用户情感识别的方法来自动操控家中的智能设备,通过分析用户说的对设备聊天或控制语句中的语音、语调和语句内容来分析用户当前的心情是生气、着急、中性、愉悦和高兴等状态,从而自动控制家中的智能设备,通过改变周围的环境条件来改善用户的心情,具有较好的智能化程度,能够挖掘用户语音中的隐含信息。另外,采用语音语调识别和语义情感解析相结合的方法来进一步提升情感识别的准确性。
可以理解的是,对本领域普通技术人员来说,可以根据本发明的技术方案及本发明构思加以等同替换或改变,而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (9)
1.一种基于情感识别的智能家居控制方法,其特征在于,所述方法包括:
获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果;
将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果;
基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果;并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作;在所述基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果;并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作步骤之后还包括:
基于预先设置的语音特征数据库,匹配所述用户的语音信息的语义特征从而判断用户的身份。
2.根据权利要求1所述的基于情感识别的智能家居控制方法,其特征在于,所述获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果的步骤具体包括:
获取用户的语音信息后,基于面向普通话情感变化检查的情感语音数据库,匹配所述语音信息的语音音调从而生成所述第一情感识别结果。
3.根据权利要求1所述的基于情感识别的智能家居控制方法,其特征在于,所述将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果的步骤具体包括:
选定若干个褒义种子词和若干个贬义种子词生成情感词典;
分别计算所述文字信息中的词语与所述情感词典中的褒义种子词和贬义种子词的词语相似度;
根据所述词语相似度,通过预设的语义情感分析方法生成所述第二情感识别结果。
4.根据权利要求3所述的基于情感识别的智能家居控制方法,其特征在于,所述分别计算所述文字信息中的词语与所述情感词典中的褒义种子词和贬义种子词的词语相似度的步骤具体包括:
根据语义相似度计算方法分别计算所述文字信息中的词语与所述褒义种子词的词语相似度以及所述文字信息中的词语与所述贬义种子词的词语相似度。
5.根据权利要求4所述的基于情感识别的智能家居控制方法,其特征在于,所述根据所述词语相似度,通过预设的语义情感分析方法生成所述第二情感识别结果的步骤具体包括:
通过词语情感倾向算式计算词语情感倾向值:
其中,w表示文字信息中的词语、Kp表示褒义种子词,M为褒义种子词的数量,Kn表示贬义种子词,N为贬义种子词的数量,QG(w)表示词语情感倾向值;表示词语与褒义种子词的词语相似度;表示词语与贬义种子词的词语相似度;
当所述词语情感倾向值大于预定的阈值时,判断文字信息中的词语为褒义情感;
当所述词语情感倾向值小于预定的阈值时,判断文字信息中的词语为贬义情感。
6.根据权利要求1所述的基于情感识别的智能家居控制方法,其特征在于,所述第一情感识别结果包括高级别和低级别的褒义情感,中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型;
所述第二情感识别结果包括的情感类型与第一情感识别结果相同。
7.根据权利要求6所述的基于情感识别的智能家居控制方法,其特征在于,所述方法还包括:
当所述第一情感识别结果为褒义情感、第二情感识别结果为贬义情感或者所述第一情感识别结果为贬义情感、第二情感识别结果为褒义情感时,重新采集当前的用户的语音信息;
重新对当前的用户的语音信息进行语音语调分析和语义情感分析,生成新的第一情感识别结果和第二情感识别结果。
8.根据权利要求6所述的基于情感识别的智能家居控制方法,其特征在于,所述预定的情感识别结果判断方法具体包括:
当所述第一情感识别结果与第二情感识别结果为不同级别的褒义情感时,判断当前用户情感识别结果为低级别的褒义情感;
当所述第一情感识别结果与第二情感识别结果为不同级别的贬义情感时,判断当前用户情感识别结果为低级别的贬义情感;
当所述第一情感识别结果和第二情感识别结果中一个为中性情感,另一个为贬义或者褒义情感时,判断当前用户情感识别结果为所述褒义或者贬义情感。
9.一种基于情感识别的智能家居控制系统,其特征在于,所述控制系统包括:
第一识别及获取模块,用于获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果;
第二识别及获取模块,用于将所述语音信息转换为文字信息;对所述文字信息进行语义情感识别生成第二情感识别结果;
综合情感判断及控制模块,用于基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果,并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作;
基于预先设置的语音特征数据库,匹配所述用户的语音信息的语义特征从而判断用户的身份。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510799123.0A CN105334743B (zh) | 2015-11-18 | 2015-11-18 | 一种基于情感识别的智能家居控制方法及其系统 |
AU2016277548A AU2016277548A1 (en) | 2015-11-18 | 2016-01-06 | A smart home control method based on emotion recognition and the system thereof |
PCT/CN2016/070270 WO2017084197A1 (zh) | 2015-11-18 | 2016-01-06 | 一种基于情感识别的智能家居控制方法及其系统 |
US15/328,299 US10013977B2 (en) | 2015-11-18 | 2016-01-06 | Smart home control method based on emotion recognition and the system thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510799123.0A CN105334743B (zh) | 2015-11-18 | 2015-11-18 | 一种基于情感识别的智能家居控制方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105334743A CN105334743A (zh) | 2016-02-17 |
CN105334743B true CN105334743B (zh) | 2018-10-26 |
Family
ID=55285356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510799123.0A Active CN105334743B (zh) | 2015-11-18 | 2015-11-18 | 一种基于情感识别的智能家居控制方法及其系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10013977B2 (zh) |
CN (1) | CN105334743B (zh) |
AU (1) | AU2016277548A1 (zh) |
WO (1) | WO2017084197A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102156296B1 (ko) | 2016-03-31 | 2020-09-15 | 선전 쾅-츠 허종 테크놀로지 엘티디. | 클라우드에 기반을 둔 설비 및 그 조작방법 |
Families Citing this family (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590503A (zh) * | 2016-07-07 | 2018-01-16 | 深圳狗尾草智能科技有限公司 | 一种机器人情感数据更新方法及系统 |
CN106203344A (zh) * | 2016-07-12 | 2016-12-07 | 北京光年无限科技有限公司 | 一种用于智能机器人的情绪识别方法及系统 |
WO2018023515A1 (zh) * | 2016-08-04 | 2018-02-08 | 易晓阳 | 一种手势及情感识别家居控制系统 |
WO2018023513A1 (zh) * | 2016-08-04 | 2018-02-08 | 易晓阳 | 一种基于运动识别的家居控制方法 |
WO2018023523A1 (zh) * | 2016-08-04 | 2018-02-08 | 易晓阳 | 一种运动及情感识别家居控制系统 |
CN106251866A (zh) * | 2016-08-05 | 2016-12-21 | 易晓阳 | 一种语音控制音乐网络播放装置 |
CN106125566A (zh) * | 2016-08-05 | 2016-11-16 | 易晓阳 | 一种家居背景音乐控制系统 |
CN106228989A (zh) * | 2016-08-05 | 2016-12-14 | 易晓阳 | 一种语音交互识别控制方法 |
CN106297783A (zh) * | 2016-08-05 | 2017-01-04 | 易晓阳 | 一种语音交互识别智能终端 |
CN106200396A (zh) * | 2016-08-05 | 2016-12-07 | 易晓阳 | 一种基于运动识别的家居控制方法 |
CN106019977A (zh) * | 2016-08-05 | 2016-10-12 | 易晓阳 | 一种手势及情感识别家居控制系统 |
CN106125565A (zh) * | 2016-08-05 | 2016-11-16 | 易晓阳 | 一种运动及情感识别家居控制系统 |
CN106200395A (zh) * | 2016-08-05 | 2016-12-07 | 易晓阳 | 一种多维识别家居控制方法 |
WO2018027507A1 (zh) * | 2016-08-09 | 2018-02-15 | 曹鸿鹏 | 一种基于情感识别的灯光控制系统 |
WO2018027505A1 (zh) * | 2016-08-09 | 2018-02-15 | 曹鸿鹏 | 一种灯光控制系统 |
WO2018027504A1 (zh) * | 2016-08-09 | 2018-02-15 | 曹鸿鹏 | 一种灯光控制方法 |
CN106297826A (zh) * | 2016-08-18 | 2017-01-04 | 竹间智能科技(上海)有限公司 | 语音情感辨识系统及方法 |
CN106354036B (zh) * | 2016-08-30 | 2019-04-30 | 广东美的制冷设备有限公司 | 家电控制方法和装置 |
CN106227054A (zh) * | 2016-08-30 | 2016-12-14 | 广东美的制冷设备有限公司 | 一种基于用户情感的温度控制方法、系统和家电 |
DE102016216407A1 (de) * | 2016-08-31 | 2018-03-01 | BSH Hausgeräte GmbH | Individuelle Kommunikationsunterstützung |
CN106373569B (zh) * | 2016-09-06 | 2019-12-20 | 北京地平线机器人技术研发有限公司 | 语音交互装置和方法 |
CN106503646B (zh) * | 2016-10-19 | 2020-07-10 | 竹间智能科技(上海)有限公司 | 多模态情感辨识系统及方法 |
CN106444452B (zh) * | 2016-10-31 | 2019-02-01 | 广东美的制冷设备有限公司 | 家电控制方法和装置 |
CN106557461B (zh) * | 2016-10-31 | 2019-03-12 | 百度在线网络技术(北京)有限公司 | 基于人工智能的语义解析处理方法和装置 |
US10783883B2 (en) * | 2016-11-03 | 2020-09-22 | Google Llc | Focus session at a voice interface device |
CN106776539A (zh) * | 2016-11-09 | 2017-05-31 | 武汉泰迪智慧科技有限公司 | 一种多维度短文本特征提取方法及系统 |
CN106782615B (zh) * | 2016-12-20 | 2020-06-12 | 科大讯飞股份有限公司 | 语音数据情感检测方法和装置及系统 |
CN106992012A (zh) | 2017-03-24 | 2017-07-28 | 联想(北京)有限公司 | 语音处理方法及电子设备 |
CN106910514A (zh) * | 2017-04-30 | 2017-06-30 | 上海爱优威软件开发有限公司 | 语音处理方法及系统 |
CN107293309B (zh) * | 2017-05-19 | 2021-04-30 | 四川新网银行股份有限公司 | 一种基于客户情绪分析提升舆情监控效率的方法 |
CN107358967A (zh) * | 2017-06-08 | 2017-11-17 | 广东科学技术职业学院 | 一种基于wfst的老年人语音情感识别方法 |
JP7073640B2 (ja) * | 2017-06-23 | 2022-05-24 | カシオ計算機株式会社 | 電子機器、感情情報取得システム、プログラム及び感情情報取得方法 |
CN109254669B (zh) * | 2017-07-12 | 2022-05-10 | 腾讯科技(深圳)有限公司 | 一种表情图片输入方法、装置、电子设备及系统 |
CN109429416B (zh) * | 2017-08-29 | 2020-09-15 | 美智光电科技有限公司 | 用于多用户场景的照明控制方法、装置及系统 |
CN109429415B (zh) * | 2017-08-29 | 2020-09-15 | 美智光电科技有限公司 | 照明控制方法、装置及系统 |
JP7103769B2 (ja) * | 2017-09-05 | 2022-07-20 | 京セラ株式会社 | 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム |
CN107844762A (zh) * | 2017-10-25 | 2018-03-27 | 大连三增上学教育科技有限公司 | 信息处理方法及系统 |
CN108039181B (zh) * | 2017-11-02 | 2021-02-12 | 北京捷通华声科技股份有限公司 | 一种声音信号的情感信息分析方法和装置 |
US10783329B2 (en) * | 2017-12-07 | 2020-09-22 | Shanghai Xiaoi Robot Technology Co., Ltd. | Method, device and computer readable storage medium for presenting emotion |
CN108269570B (zh) * | 2018-01-17 | 2020-09-11 | 深圳聚点互动科技有限公司 | 语音控制背景音乐主机的方法、装置、设备及存储介质 |
CN108446931B (zh) * | 2018-03-21 | 2020-04-10 | 雅莹集团股份有限公司 | 一种服装企业管理系统和基于该系统的试穿反馈方法 |
US10958466B2 (en) * | 2018-05-03 | 2021-03-23 | Plantronics, Inc. | Environmental control systems utilizing user monitoring |
CN108962255B (zh) * | 2018-06-29 | 2020-12-08 | 北京百度网讯科技有限公司 | 语音会话的情绪识别方法、装置、服务器和存储介质 |
CN108563941A (zh) * | 2018-07-02 | 2018-09-21 | 信利光电股份有限公司 | 一种智能家居设备控制方法、智能音箱及智能家居系统 |
CN110728983B (zh) * | 2018-07-16 | 2024-04-30 | 科大讯飞股份有限公司 | 一种信息显示方法、装置、设备及可读存储介质 |
US11037573B2 (en) * | 2018-09-05 | 2021-06-15 | Hitachi, Ltd. | Management and execution of equipment maintenance |
CN110896422A (zh) * | 2018-09-07 | 2020-03-20 | 青岛海信移动通信技术股份有限公司 | 一种基于语音的智能响应方法及装置 |
KR102252195B1 (ko) * | 2018-09-14 | 2021-05-13 | 엘지전자 주식회사 | 감성 인식기 및 이를 포함하는 로봇, 서버 |
CN110970019A (zh) * | 2018-09-28 | 2020-04-07 | 珠海格力电器股份有限公司 | 智能家居系统的控制方法和装置 |
CN111199732B (zh) * | 2018-11-16 | 2022-11-15 | 深圳Tcl新技术有限公司 | 一种基于情感的语音交互方法、存储介质及终端设备 |
JP2020091302A (ja) * | 2018-12-03 | 2020-06-11 | 本田技研工業株式会社 | 感情推定装置、感情推定方法、およびプログラム |
CN109753663B (zh) * | 2019-01-16 | 2023-12-29 | 中民乡邻投资控股有限公司 | 一种客户情绪分级方法及装置 |
CN109784414A (zh) * | 2019-01-24 | 2019-05-21 | 出门问问信息科技有限公司 | 一种电话客服中客户情绪检测方法、装置及电子设备 |
CN109767787B (zh) * | 2019-01-28 | 2023-03-10 | 腾讯科技(深圳)有限公司 | 情绪识别方法、设备及可读存储介质 |
CN109712625A (zh) * | 2019-02-18 | 2019-05-03 | 珠海格力电器股份有限公司 | 基于网关的智能设备控制方法、控制系统、智能网关 |
US10855483B1 (en) * | 2019-03-21 | 2020-12-01 | Amazon Technologies, Inc. | Device-state quality analysis |
CN110188361A (zh) * | 2019-06-10 | 2019-08-30 | 北京智合大方科技有限公司 | 结合文本、语音与情绪特征的语音意图识别方法及装置 |
CN110444229A (zh) * | 2019-06-17 | 2019-11-12 | 深圳壹账通智能科技有限公司 | 基于语音识别的通信服务方法、装置、计算机设备及存储介质 |
CN110262665A (zh) * | 2019-06-26 | 2019-09-20 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
CN110890088B (zh) * | 2019-10-12 | 2022-07-15 | 中国平安财产保险股份有限公司 | 语音信息反馈方法、装置、计算机设备和存储介质 |
CN111028827B (zh) * | 2019-12-10 | 2023-01-24 | 深圳追一科技有限公司 | 基于情绪识别的交互处理方法、装置、设备和存储介质 |
CN111192585A (zh) * | 2019-12-24 | 2020-05-22 | 珠海格力电器股份有限公司 | 一种音乐播放控制系统、控制方法及智能家电 |
CN111179903A (zh) * | 2019-12-30 | 2020-05-19 | 珠海格力电器股份有限公司 | 一种语音识别方法、装置、存储介质及电器 |
CN113154783A (zh) * | 2020-01-22 | 2021-07-23 | 青岛海尔电冰箱有限公司 | 冰箱交互控制方法、冰箱、计算机可读存储介质 |
CN113641106A (zh) * | 2020-04-27 | 2021-11-12 | 青岛海尔多媒体有限公司 | 用于环境调控的方法及装置、电视 |
CN111710349B (zh) * | 2020-06-23 | 2023-07-04 | 长沙理工大学 | 一种语音情感识别方法、系统、计算机设备和存储介质 |
CN112151034B (zh) * | 2020-10-14 | 2022-09-16 | 珠海格力电器股份有限公司 | 设备的语音控制方法、装置、电子设备及存储介质 |
CN111968679B (zh) * | 2020-10-22 | 2021-01-29 | 深圳追一科技有限公司 | 情感识别方法、装置、电子设备及存储介质 |
CN112463108B (zh) * | 2020-12-14 | 2023-03-31 | 美的集团股份有限公司 | 语音交互处理方法、装置、电子设备及存储介质 |
CN112596405B (zh) * | 2020-12-17 | 2024-06-04 | 深圳市创维软件有限公司 | 家用电器的控制方法、装置、设备以及计算机可读存储介质 |
CN112633172B (zh) * | 2020-12-23 | 2023-11-14 | 平安银行股份有限公司 | 通讯优化方法、装置、设备及介质 |
CN113113047A (zh) * | 2021-03-17 | 2021-07-13 | 北京大米科技有限公司 | 一种音频处理的方法、装置、可读存储介质和电子设备 |
CN113268667B (zh) * | 2021-05-28 | 2022-08-16 | 汕头大学 | 一种基于中文评论情感引导的序列推荐方法及系统 |
CN113852524A (zh) * | 2021-07-16 | 2021-12-28 | 天翼智慧家庭科技有限公司 | 基于情感特征融合的智能家居设备控制系统和方法 |
WO2023013927A1 (en) | 2021-08-05 | 2023-02-09 | Samsung Electronics Co., Ltd. | Method and wearable device for enhancing quality of experience index for user in iot network |
US11977358B2 (en) * | 2021-08-17 | 2024-05-07 | Robin H. Stewart | Systems and methods for dynamic biometric control of IoT devices |
CN113870902B (zh) * | 2021-10-27 | 2023-03-14 | 安康汇智趣玩具科技技术有限公司 | 一种语音交互毛绒玩具的情绪识别系统、装置及方法 |
CN115001890B (zh) * | 2022-05-31 | 2023-10-31 | 四川虹美智能科技有限公司 | 基于免应答的智能家电控制方法及装置 |
CN115063874B (zh) * | 2022-08-16 | 2023-01-06 | 深圳市海清视讯科技有限公司 | 智能家居设备的控制方法、装置、设备及存储介质 |
CN115662440B (zh) * | 2022-12-27 | 2023-05-23 | 广州佰锐网络科技有限公司 | 基于机器学习的声纹特征识别方法及系统 |
CN116909159B (zh) * | 2023-01-17 | 2024-07-09 | 广东维锐科技股份有限公司 | 一种基于心情指数的智能家居控制系统及方法 |
CN115862675B (zh) * | 2023-02-10 | 2023-05-05 | 之江实验室 | 一种情感识别方法、装置、设备及存储介质 |
CN117198338B (zh) * | 2023-11-07 | 2024-01-26 | 中瑞科技术有限公司 | 一种基于人工智能的对讲机声纹识别方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831892A (zh) * | 2012-09-07 | 2012-12-19 | 深圳市信利康电子有限公司 | 基于互联网语音交互的玩具控制方法及系统 |
CN102855872A (zh) * | 2012-09-07 | 2013-01-02 | 深圳市信利康电子有限公司 | 基于终端及互联网语音交互的家电控制方法及系统 |
CN102855874A (zh) * | 2012-09-07 | 2013-01-02 | 深圳市信利康电子有限公司 | 基于互联网语音交互的家电控制方法及系统 |
CN103456314A (zh) * | 2013-09-03 | 2013-12-18 | 广州创维平面显示科技有限公司 | 一种情感识别方法以及装置 |
CN103093755B (zh) * | 2012-09-07 | 2016-05-11 | 深圳市信利康电子有限公司 | 基于终端及互联网语音交互的网络家电控制方法及系统 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60108373T2 (de) * | 2001-08-02 | 2005-12-22 | Sony International (Europe) Gmbh | Verfahren zur Detektion von Emotionen in Sprachsignalen unter Verwendung von Sprecheridentifikation |
JP4204839B2 (ja) * | 2002-10-04 | 2009-01-07 | 株式会社エイ・ジー・アイ | 発想モデル装置、自発感情モデル装置、発想のシミュレーション方法、自発感情のシミュレーション方法、およびプログラム |
EP1531458B1 (en) * | 2003-11-12 | 2008-04-16 | Sony Deutschland GmbH | Apparatus and method for automatic extraction of important events in audio signals |
JP4478939B2 (ja) * | 2004-09-30 | 2010-06-09 | 株式会社国際電気通信基礎技術研究所 | 音声処理装置およびそのためのコンピュータプログラム |
US8214214B2 (en) * | 2004-12-03 | 2012-07-03 | Phoenix Solutions, Inc. | Emotion detection device and method for use in distributed systems |
US8209182B2 (en) * | 2005-11-30 | 2012-06-26 | University Of Southern California | Emotion recognition system |
US7983910B2 (en) * | 2006-03-03 | 2011-07-19 | International Business Machines Corporation | Communicating across voice and text channels with emotion preservation |
US8204747B2 (en) * | 2006-06-23 | 2012-06-19 | Panasonic Corporation | Emotion recognition apparatus |
US8195460B2 (en) | 2008-06-17 | 2012-06-05 | Voicesense Ltd. | Speaker characterization through speech analysis |
KR20100054946A (ko) * | 2008-11-17 | 2010-05-26 | 엘지전자 주식회사 | 세탁기 및 그 사용방법 |
CN101604204B (zh) | 2009-07-09 | 2011-01-05 | 北京科技大学 | 智能情感机器人分布式认知系统 |
US8380520B2 (en) * | 2009-07-30 | 2013-02-19 | Industrial Technology Research Institute | Food processor with recognition ability of emotion-related information and emotional signals |
KR101299220B1 (ko) * | 2010-01-08 | 2013-08-22 | 한국전자통신연구원 | 감성 신호 감지 장치와 감성 서비스 제공 장치 간의 감성 통신 방법 |
DE102010006927B4 (de) * | 2010-02-04 | 2021-05-27 | Sennheiser Electronic Gmbh & Co. Kg | Headset und Hörer |
US8903176B2 (en) * | 2011-11-14 | 2014-12-02 | Sensory Logic, Inc. | Systems and methods using observed emotional data |
CN102625005A (zh) * | 2012-03-05 | 2012-08-01 | 广东天波信息技术股份有限公司 | 具有服务质量实时监督功能的呼叫中心系统及其实现方法 |
US9020822B2 (en) * | 2012-10-19 | 2015-04-28 | Sony Computer Entertainment Inc. | Emotion recognition using auditory attention cues extracted from users voice |
US9047871B2 (en) * | 2012-12-12 | 2015-06-02 | At&T Intellectual Property I, L.P. | Real—time emotion tracking system |
TWI489451B (zh) * | 2012-12-13 | 2015-06-21 | Univ Nat Chiao Tung | 基於語音情感辨識之音樂播放系統及其方法 |
EP3049961A4 (en) | 2013-09-25 | 2017-03-22 | Intel Corporation | Improving natural language interactions using emotional modulation |
KR101531664B1 (ko) * | 2013-09-27 | 2015-06-25 | 고려대학교 산학협력단 | 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 |
EP2874110A1 (en) * | 2013-11-15 | 2015-05-20 | Telefonica Digital España, S.L.U. | A method and a system to obtain data from voice analysis in a communication and computer programs products thereof |
US10127927B2 (en) * | 2014-07-28 | 2018-11-13 | Sony Interactive Entertainment Inc. | Emotional speech processing |
CN104409075B (zh) * | 2014-11-28 | 2018-09-04 | 深圳创维-Rgb电子有限公司 | 语音识别方法和系统 |
-
2015
- 2015-11-18 CN CN201510799123.0A patent/CN105334743B/zh active Active
-
2016
- 2016-01-06 WO PCT/CN2016/070270 patent/WO2017084197A1/zh active Application Filing
- 2016-01-06 US US15/328,299 patent/US10013977B2/en active Active
- 2016-01-06 AU AU2016277548A patent/AU2016277548A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831892A (zh) * | 2012-09-07 | 2012-12-19 | 深圳市信利康电子有限公司 | 基于互联网语音交互的玩具控制方法及系统 |
CN102855872A (zh) * | 2012-09-07 | 2013-01-02 | 深圳市信利康电子有限公司 | 基于终端及互联网语音交互的家电控制方法及系统 |
CN102855874A (zh) * | 2012-09-07 | 2013-01-02 | 深圳市信利康电子有限公司 | 基于互联网语音交互的家电控制方法及系统 |
CN103093755B (zh) * | 2012-09-07 | 2016-05-11 | 深圳市信利康电子有限公司 | 基于终端及互联网语音交互的网络家电控制方法及系统 |
CN103456314A (zh) * | 2013-09-03 | 2013-12-18 | 广州创维平面显示科技有限公司 | 一种情感识别方法以及装置 |
Non-Patent Citations (1)
Title |
---|
面向情感变化检测的汉语情感语音数据库;徐露等;《清华大学学报自然科学版》;20091231;第49卷(第S1期);第1413-1418页 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102156296B1 (ko) | 2016-03-31 | 2020-09-15 | 선전 쾅-츠 허종 테크놀로지 엘티디. | 클라우드에 기반을 둔 설비 및 그 조작방법 |
Also Published As
Publication number | Publication date |
---|---|
US20170270922A1 (en) | 2017-09-21 |
CN105334743A (zh) | 2016-02-17 |
AU2016277548A1 (en) | 2017-06-01 |
US10013977B2 (en) | 2018-07-03 |
WO2017084197A1 (zh) | 2017-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105334743B (zh) | 一种基于情感识别的智能家居控制方法及其系统 | |
US11948556B2 (en) | Detection and/or enrollment of hot commands to trigger responsive action by automated assistant | |
CN108000526B (zh) | 用于智能机器人的对话交互方法及系统 | |
CN111459290B (zh) | 交互意图确定方法及装置、计算机设备及存储介质 | |
CN104102627B (zh) | 一种多模态的非接触情感分析记录系统 | |
CN109256136B (zh) | 一种语音识别方法和装置 | |
Kamaruddin et al. | Cultural dependency analysis for understanding speech emotion | |
CN110427472A (zh) | 智能客服匹配的方法、装置、终端设备及存储介质 | |
Aloufi et al. | Emotionless: Privacy-preserving speech analysis for voice assistants | |
CN106847283A (zh) | 智能家电控制方法和装置 | |
CN106599998A (zh) | 基于情感特征调整机器人回答的方法及系统 | |
CN109101663A (zh) | 一种基于互联网的机器人对话系统 | |
CN106952648A (zh) | 一种用于机器人的输出方法以及机器人 | |
KR20150081981A (ko) | 회의 내용 구조화 장치 및 방법 | |
JP2016020963A (ja) | 対話評価装置、対話評価システム、対話評価方法および対話評価プログラム | |
CN111986675A (zh) | 语音对话方法、设备及计算机可读存储介质 | |
WO2023184942A1 (zh) | 语音交互方法、装置及电器 | |
CN107564526A (zh) | 处理方法、装置和机器可读介质 | |
CN107274903A (zh) | 文本处理方法和装置、用于文本处理的装置 | |
CN111435595A (zh) | 文本规整方法及装置 | |
Antunes et al. | A framework to support development of sign language human-computer interaction: Building tools for effective information access and inclusion of the deaf | |
CN108536668A (zh) | 唤醒词评估方法及装置、存储介质、电子设备 | |
CN111128240B (zh) | 一种基于对抗语义擦除的语音情感识别方法 | |
CN106776557B (zh) | 情感机器人的情感状态记忆识别方法及装置 | |
CN107133299B (zh) | 基于人工智能的消防应答方法、移动终端及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |