CN105334743A - 一种基于情感识别的智能家居控制方法及其系统 - Google Patents

一种基于情感识别的智能家居控制方法及其系统 Download PDF

Info

Publication number
CN105334743A
CN105334743A CN201510799123.0A CN201510799123A CN105334743A CN 105334743 A CN105334743 A CN 105334743A CN 201510799123 A CN201510799123 A CN 201510799123A CN 105334743 A CN105334743 A CN 105334743A
Authority
CN
China
Prior art keywords
emotion recognition
emotion
recognition result
word
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510799123.0A
Other languages
English (en)
Other versions
CN105334743B (zh
Inventor
付春元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Shenzhen Skyworth RGB Electronics Co Ltd
Priority to CN201510799123.0A priority Critical patent/CN105334743B/zh
Priority to US15/328,299 priority patent/US10013977B2/en
Priority to AU2016277548A priority patent/AU2016277548A1/en
Priority to PCT/CN2016/070270 priority patent/WO2017084197A1/zh
Publication of CN105334743A publication Critical patent/CN105334743A/zh
Application granted granted Critical
Publication of CN105334743B publication Critical patent/CN105334743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/06Decision making techniques; Pattern matching strategies
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种基于情感识别的智能家居控制方法及其系统,所述方法包括:获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果;将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果;基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果;并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作。通过分析用户当前的心情来自动控制家中的智能设备,并据此改变周围的环境条件,具有较好的智能化程度。另外,采用语音语调识别和语义情感解析相结合的方法来进一步提升情感识别的准确性。

Description

一种基于情感识别的智能家居控制方法及其系统
技术领域
本发明涉及智能家居技术领域,尤其涉及一种基于情感识别的智能家居控制方法及其系统。
背景技术
现有的智能家居的控制操作方式通常有用户登录手机、电脑对家中的智能设备发送指令,然后由智能设备执行相应用户指令。或者是使用语音控制,例如,用户对着手机上的麦克风说“打开电视”,手机将语音指令发送至智能电视(或者智能控制设备),控制电视机开启。现还有一些图像控制设备,通过图像识别技术中的人脸识别,由用户的不同表情来控制智能设备的运行。
对于现有的智能家居控制操作方式来说,其登陆手机等终端对智能设备进行操作,既麻烦又耽误时间。而且有时在登陆过程中还需要输入用户名和密码,不方便老人操作,存在着整体操作安全性不高的问题。
而且现有的操作方法,仍然需要获取明确用户指令方可完成操作,操控方法智能化程度不足,无法实现自动对智能设备进行操作。这些操作方法并未真正的实现智能化,无法处理用户较为模糊的指令,无法检测用户的心情和感受,并据此对家居环境作出智能化的调整。
即使采用较为先进的人脸识别方法进行控制,受限于图像人脸识别技术的瓶颈,实现实时分析和抓拍、获取清晰的用户人脸图像非常困难。
因此,现有技术还有待发展。
发明内容
鉴于上述现有技术的不足之处,本发明的目的在于提供一种基于情感识别的智能家居控制方法及其系统,旨在解决现有技术中智能家居控制方式智能化程度不足,不便于用户使用的问题。
为了达到上述目的,本发明采取了以下技术方案:
一种基于情感识别的智能家居控制方法,其中,所述方法包括:
获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果;
将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果;
基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果;并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作。
所述的基于情感识别的智能家居控制方法,其中,所述获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果的步骤具体包括:
获取用户的语音信息后,基于面向普通话情感变化检查的情感语音数据库,匹配所述语音信息的语音音调从而生成所述第一情感识别结果。
所述的基于情感识别的智能家居控制方法,其中,所述将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果的步骤具体包括:
选定若干个褒义种子词和若干个贬义种子词生成情感词典;
分别计算所述文字信息中的词语与所述情感词典中的褒义种子词和贬义种子词的词语相似度;
根据所述词语相似度,通过预设的语义情感分析方法生成所述第二情感识别结果。
所述的基于情感识别的智能家居控制方法,其中,所述分别计算所述文字信息中的词语与所述情感词典中的褒义种子词和贬义种子词的词语相似度的步骤具体包括:
根据语义相似度计算方法分别计算所述文字信息中的词语与所述褒义种子词的词语相似度以及所述文字信息中的词语与所述贬义种子词的词语相似度。
所述的基于情感识别的智能家居控制方法,其中,所述根据所述词语相似度,通过预设的语义情感分析方法生成所述第二情感识别结果的步骤具体包括:
通过词语情感倾向算式计算词语情感倾向值:
Q G ( w ) = Σ i n s i m i l a r i t y ( K p i , w ) M - Σ i n s i m i l a r i t y ( K n i , w ) N ;
其中,w表示文字信息中的词语、Kp表示褒义种子词,M为褒义种子词的数量,Kn表示贬义种子词,N为贬义种子词的数量,QG(w)表示词语情感倾向值;表示词语与褒义种子词的词语相似度;表示词语与贬义种子词的词语相似度;
当所述词语情感倾向值大于预定的阈值时,判断文字信息中的词语为褒义情感;
当所述词语情感倾向值小于预定的阈值时,判断文字信息中的词语为贬义情感。
所述的基于情感识别的智能家居控制方法,其中,在所述基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果;并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作步骤之后还包括:
基于预先设置的语音特征数据库,匹配所述用户的语音信息的语义特征从而判断用户的身份。
所述的基于情感识别的智能家居控制方法,其中,所述第一情感识别结果包括高级别和低级别的褒义情感,中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型;
所述第二情感识别结果包括的情感类型与第一情感识别结果相同。
所述的基于情感识别的智能家居控制方法,其中,所述方法还包括:
当所述第一情感识别结果为褒义情感、第二情感识别结果为贬义情感或者所述第一情感识别结果为贬义情感、第二情感识别结果为褒义情感时,重新采集当前的用户的语音信息;
重新对当前的用户的语音信息进行语音语调分析和语义情感分析,生成新的第一情感识别结果和第二情感识别结果。
所述的基于情感识别的智能家居控制方法,其中,所述预定的情感识别结果判断方法具体包括:
当所述第一情感识别结果与第二情感识别结果为不同级别的褒义情感时,判断当前用户情感识别结果为低级别的褒义情感;
当所述第一情感识别结果与第二情感识别结果为不同级别的贬义情感时,判断当前用户情感识别结果为低级别的贬义情感;
当所述第一情感识别结果和第二情感识别结果中一个为中性情感,另一个为贬义或者褒义情感时,判断当前用户情感识别结果为所述褒义或者贬义情感。
一种基于情感识别的智能家居控制系统,其中,所述控制系统包括:
第一识别及获取模块,用于获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果;
第二识别及获取模块,用于将所述语音信息转换为文字信息;对所述文字信息进行语义情感识别生成第二情感识别结果;
综合情感判断及控制模块,用于基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果,并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作。
有益效果:本发明提供的一种基于情感识别的智能家居控制方法及其系统,通过基于用户情感识别的方法来自动操控家中的智能设备,通过分析用户说的对设备聊天或控制语句中的语音、语调和语句内容来分析用户当前的心情是生气、着急、中性、愉悦和高兴等状态,从而自动控制家中的智能设备,通过改变周围的环境条件来改善用户的心情,具有较好的智能化程度,能够挖掘用户语音中的隐含信息。另外,采用语音语调识别和语义情感解析相结合的方法来进一步提升情感识别的准确性。
附图说明
图1为本发明的一种基于情感识别的智能家居控制方法的较佳实施例的流程图;
图2为本发明的一种基于情感识别的智能家居控制方法步骤S2的具体实施例的流程图;
图3为本发明的一种基于智能电视的智能家居设备控制系统的具体应用实施例的流程图;
图4为本发明的一种基于智能电视的智能家居设备控制系统的语音语调识别单元的具体应用实施例的流程图;
图5为本发明的一种基于智能电视的智能家居设备控制系统的文本情感识别单元的具体应用实施例的流程图;
图6为本发明的一种基于情感识别的智能家居控制系统的较佳实施例的功能原理框图。
具体实施方式
本发明提供一种基于情感识别的智能家居控制方法及其系统。为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,为本发明具体实施例的基于情感识别的智能家居控制方法。应当说明的是,本发明所述的方法可以应用于任何合适的,具有一定运算能力,可控制的智能家居系统中,用于提高智能家居系统与用户之间的交互的智能化程度。
对本发明所述的方法进行一些常见的改进,将其应用到其他智能设备与用户交互的领域,例如手机,平板电脑等也属于本领域的常规技术手段的替换或者改变。本领域技术人员可以通过一些常用的改变,将本发明所述方法及其系统应用到其他合适的用户与智能设备交互的领域中,提高智能设备的智能化程度。
所述方法包括:
S1、获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果。
所述语音信息可以为用户的语音指令,用户的语音对话或者其他合适的,能够由设备采集的一段音频信息。
在对音频信息进行情感识别前,还可以进行一些例如高斯滤波等的预处理,降低后续情感识别处理的难度。
S2、将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果。
具体的,所述第一情感识别结果可以包括高级别和低级别的褒义情感,中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型;所述第二情感识别结果包括的情感类型与第一情感识别结果相同。
为陈述简便,在此使用“生气”、“着急”、“中性”、“愉悦”、“高兴”五个词语对应上述5个不同级别的情感类型。当然,为了进一步细化情感识别结果,还可以对所述情感类型进行进一步细分或者进行简化。
S3、基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果;并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作。
所述智能家居设备具体可以包括任何合适的家居设备,例如电视、空调等等,所述智能家居设备也可以在使用过程添加或者减省一些设备,例如空气净化器、咖啡机等。
由于情感识别对于计算机而言是一个相对复杂的问题。因此,在步骤S3中,整合步骤S1和步骤S2获得的第一情感识别结果和第二情感识别结果的方式能够避免单一情感识别算法导致的错误,获取较为准确的结果,最终生成的用户情感识别结果不会与实际情况出现明显的偏差(例如,用户为显著的贬义情感时,识别为褒义情感)。
所述相应的操作具体是指与用户当前情感相符的操作,例如判断当用户心情为着急的时候,该智慧家庭系统会自动打开舒缓的音乐,打开空气净化器,并通过温度传感器判断当前室内温度如果较高就会自动发送命令给空调来降低一点温度,让用户变得冷静。
同时根据当前季节和气候在电视画面上显示一些去除烦躁和保健的生活小常识;还可以自动发送命令为用户冲一杯牛奶,甚至改变墙上的颜色和室内灯的颜色来调节用户心情。
而当判断心情为高兴时,则自动为你播报一些新闻和推荐电影等;还可以建议你做一些有氧运动保持身体健康;播放一首动感的音乐等等。假如判断用户当前心情为中性:该智能家庭系统会自动播放一段小笑话,推荐喜剧电影,为用户祝好咖啡等等。
上述多个智能设备的动作均为连贯完成,由智能家居的控制系统所操作。具体的动作由实际情况(例如智能设备的种类、可供控制的智能设备等等)来决定。当然也可以采用用户自定义的方式,根据自己的习惯自由组合多个事件。
具体的,所述获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果的步骤(亦即语音语调情感识别),具体包括:
获取用户的语音信息后,基于面向普通话情感变化检查的情感语音数据库,匹配所述语音信息的语音音调从而生成所述第一情感识别结果。
所述基于面向普通话情感变化检查的情感语音数据库(即CESD语音数据库)的详细介绍可以参见学术论文《面向情感变化检测的汉语情感语音数据库》,作者:徐露徐明星;来自文献“第十届全国人机语音通讯学术会议论文集”。
该CESD语音数据库以对话的形式录制了包括男士女生情感对话语音1200,以生气、着急、中性、愉悦、高兴为基本情感,共包含20中感情变化模式。除语音文件外,还包含带有静音段/有效语音段、情感类别、情感变化段、情感质量等内容的标注文件,还有很多具有声学特征的特征文件一同存储在该数据库中。可以很好的对用户语音进行情感识别。
更具体的,如图2所示,所述将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果的步骤(亦即语义情感识别)具体包括:
S21、选定若干个褒义种子词和若干个贬义种子词生成情感词典。所述情感词典主要包括情感词词典和情感短语词典这两类。
其中,情感词词典由带有情感特征的词语构成的词典,如喜欢、讨厌等词汇都属于情感词词典中的词汇。情感短语词典由带有情感特征的短语语构成的词典,如兴高采烈、得意洋洋等词汇都属于情感短语词典中的短语。
在情感词典中,词语(包括情感词及情感短语)通常分为褒义(如美丽、高兴等)、贬义(如丑陋、沮丧等)及中性(如电脑、工作等)三个类别。
S22、分别计算所述文字信息中的词语与所述情感词典中的褒义种子词和贬义种子词的词语相似度。
情感词的情感权值(又称情感倾向性)大小与这个词和种子词的语义关联的紧密程度有关(亦即词语相似度)。
在此使用“种子词”这一术语来表示褒贬态度非常明显、强烈、具有代表性的词语。可以这样认为,与贬义种子词关系越紧密,则该词贬义倾向越明确。与褒义种子词关系越紧密,则该词褒义倾向越明确。
具体的,可以根据语义相似度计算方法分别计算所述文字信息中的词语与所述褒义种子词的词语相似度以及所述文字信息中的词语与所述贬义种子词的词语相似度。
中国知网中的词语相似度计算是以词的义原为基础的来的。在中国知网中将同类的义原组成一棵树,因而把义原的相似度计算转化为义原之间在树中的语义距离计算。假设两个义原在这个层次体系中的路径距离为d,则这两个义原的语义距离为其中:p1、p2表示义原;a是一个可调节的参数。
中国知网中一个词有几个义原,因而在此基础上计算词语的相似度,取义原之间相似度最大值作为词语的相似度。对于两个中文词语w1、w2,假设他们分别有多个义原,w1的义原为s11,s12,...s1n,w2的义原为s21,s22,...s2n。其相似度计算公式如下:
Similarity(w1,w2)=maxi=1....n,j...m(s1i,s2j)(1)
为了与上述5个级别的情感类型相对应,可以为每个情感词定义一个情感极性。亦即将该情感极性分为强、弱两个层级。情感极性表示词语之间语义相似程度,相似度越高极性越强,反之则越弱。
S23、根据所述词语相似度,通过预设的语义情感分析方法生成所述第二情感识别结果。
更具体的,所述根据所述词语相似度,通过预设的语义情感分析方法生成所述第二情感识别结果的步骤(S23)具体包括:
通过词语情感倾向算式计算词语情感倾向值:
Q G ( w ) = Σ i n s i m i l a r i t y ( K p i , w ) M - Σ i n s i m i l a r i t y ( K n i , w ) N - - - ( 2 )
其中,w表示文字信息中的词语、Kp表示褒义种子词,M为褒义种子词的数量,Kn表示贬义种子词,N为贬义种子词的数量,QG(w)表示词语情感倾向值;表示词语与褒义种子词的词语相似度;表示词语与贬义种子词的词语相似度。
N和M均为正整数,其可以相等也可以不相等。
当所述词语情感倾向值大于预定的阈值时,判断文字信息中的词语为褒义情感。而当所述词语情感倾向值小于预定的阈值时,判断文字信息中的词语为贬义情感。
进一步的,将褒义词中的词汇再按[0,1]之间的大小分为强和弱两个级别,贬义词中的词汇按[-1,0]之间直接的大小分为强弱两个级别,分别对应上述生气、着急、中性、愉悦、高兴5个级别的情感类型。例如,如果极性值大于0.5,则为高兴;如果小于0.5,则为愉悦。如果极性值大于-0.5,则为着急;如果小于-0.5,则为生气。
较佳的是,在所述步骤S3之后,所述方法还包括:
基于预先设置的语音特征数据库,匹配所述用户的语音信息的语义特征从而判断用户的身份。
亦即,通过预先录入声音样本并提取每个样本独一无二的特征建立语音特征数据库,然后使用时将待检声音与数据库中的特征进行匹配,通过分析计算实现说话人户身份的确认。上述用户声纹验证的方式,便于用户操作,无需记忆用户名和密码。同时,具有较好的安全性,能够保证用户身份的准确识别。
在本发明的具体实施例中,所述方法还包括:当所述第一情感识别结果为褒义情感、第二情感识别结果为贬义情感或者所述第一情感识别结果为贬义情感、第二情感识别结果为褒义情感时,重新采集当前的用户的语音信息;
重新对当前的用户的语音信息进行语音语调分析(S1)和语义情感分析(S2),生成新的第一情感识别结果和第二情感识别结果。
由于情感识别的复杂性,可能会存在两个情感识别结果之间相互矛盾的情况。在这种情况下,为保证识别结果的准确性,重新采集数据并进行识别是较好的方法。
具体的,所述步骤S3中预定的情感识别结果判断方法具体为:
当所述第一情感识别结果与第二情感识别结果为不同级别的褒义情感时,判断当前用户情感识别结果为低级别的褒义情感。
当所述第一情感识别结果与第二情感识别结果为不同级别的贬义情感时,判断当前用户情感识别结果为低级别的贬义情感。
当所述第一情感识别结果和第二情感识别结果中一个为中性情感,另一个为贬义或者褒义情感时,判断当前用户情感识别结果为所述褒义或者贬义情感。
总结来讲就是当第一情感识别结果和第二情感识别结果均存在情感倾向时(褒义或者贬义),采用降级选择的方法,选择级别较低的情感类型。而当两者中的其中一个为中性结果时,选择带有情感倾向的结果。
应用该方法,与上述5种情感类型相对应的判断结果具体如表1所示:
第一情感识别结果 第二情感识别结果 用户情感识别结果
生气 生气 生气
生气 着急 着急
着急 着急 着急
高兴 高兴 高兴
高兴 愉悦 愉悦
愉悦 愉悦 愉悦
生气 中性 生气
着急 中性 着急
高兴 中性 高兴
愉悦 中性 愉悦
中性 中性 中性
表1
图3为本发明所述基于情感识别的智能家居控制系统的具体使用实例的流程图,如图3所示,该具体使用实例包括如下步骤:
S100、用户通过语音输入命令或者聊天内容,智能家居系统收到用户语音后在和用户聊天的同时,会通过声纹识别单元验证用户身份,如果是合法用户,则执行步骤S200。
若否,则通过和用户聊天的形式让用户录入声纹信息,成为合法用户。
S200、声纹识别单元将语音发给语音语调识别单元提取语音语调特征判断用户当前情感状态(即情感识别结果),并把识别结果输入到综合情感判断模块。同时该模块再将用户语音传给语音转文字模块转换为文字。
S300、在将文字输入到语义识别单元进行语义情感识别,将识别结果传给综合情感判断单元。
S400、综合情感判断单元根据降级选择的方法判断用户当前情感状态,然后该情感状态发送至智能设备控制单元。
S500、智能设备控制单元收到用户情感结果后,根据用户预先设置已经当前环境等信息自动控制家中智能设备。
其中,如图4所示,语音语调识别的具体流程包括:
S210、分析用户的音频文件,提取音频文件中的语音语调特征。
S220、将该特征和CESD语音数据库中数据特征进行对比。
S230、判断是否与所述数据库中某个情感的特征相同,若是,执行步骤S240。
若否(即匹配不到数据库中的情感特征),则重新获取用户语音分析特征重新返回步骤S210。
S240、得到用户情感识别结果。
进一步的,如图5所示,文本情感识别单元具体流程包括:
S310、将文本信息中的词与情感词典库中的词进行匹配,如果存在褒义词,则执行S320;如果存在贬义词,则执行S330;如果都不存在则判断该句话为中性情感(S350);
S320、判断该情感词的极性值是多少,如果极性值大于0.5,则为高兴;如果小于0.5,则为愉悦;
S330、判断该情感词的极性值是多少,如果极性值大于-0.5,则为着急;如果小于-0.5,则为生气;
S340、当该情感词前存在否定前缀或者否定词的时,将得到的情感识别结果判断为相反的情感类型(如高兴对应生气,愉悦对应着急)。
基于上述方法实施例,本发明还提供了一种基于情感识别的智能家居控制系统。如图6所示,所述基于情感识别的智能家居控制系统包括:
第一识别及获取模块10,用于获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果;
第二识别及获取模块20,用于将所述语音信息转换为文字信息;对所述文字信息进行语义情感识别生成第二情感识别结果;
综合情感判断及控制模块30,用于基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果,并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作。
在具体实施时,如图6所示,所述第一识别及获取模块10可以包括用于获取用户的语音信息的声纹识别单元100以及对所述语音信息的进行语音音调情感识别生成第一情感识别结果的语音语调情感识别单元200。
所述第二识别及获取模块20可以包括用于将所述语音信息转换为文字信息的语音文字转换单元300以及用于对所述文字信息进行语义情感识别生成第二情感识别结果的语义情感识别单元400。
所述综合情感判断及控制模块30可以包括用于基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果的综合情感判断单元500以及用于根据所述用户情感识别结果,控制各智能家居设备执行相应的操作的智能设备控制单元600。
综上所述,本发明提供的一种基于情感识别的智能家居控制方法及其系统,通过基于用户情感识别的方法来自动操控家中的智能设备,通过分析用户说的对设备聊天或控制语句中的语音、语调和语句内容来分析用户当前的心情是生气、着急、中性、愉悦和高兴等状态,从而自动控制家中的智能设备,通过改变周围的环境条件来改善用户的心情,具有较好的智能化程度,能够挖掘用户语音中的隐含信息。另外,采用语音语调识别和语义情感解析相结合的方法来进一步提升情感识别的准确性。
可以理解的是,对本领域普通技术人员来说,可以根据本发明的技术方案及本发明构思加以等同替换或改变,而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于情感识别的智能家居控制方法,其特征在于,所述方法包括:
获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果;
将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果;
基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果;并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作。
2.根据权利要求1所述的基于情感识别的智能家居控制方法,其特征在于,所述获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果的步骤具体包括:
获取用户的语音信息后,基于面向普通话情感变化检查的情感语音数据库,匹配所述语音信息的语音音调从而生成所述第一情感识别结果。
3.根据权利要求1所述的基于情感识别的智能家居控制方法,其特征在于,所述将所述语音信息转换为文字信息后,对所述文字信息进行语义情感识别生成第二情感识别结果的步骤具体包括:
选定若干个褒义种子词和若干个贬义种子词生成情感词典;
分别计算所述文字信息中的词语与所述情感词典中的褒义种子词和贬义种子词的词语相似度;
根据所述词语相似度,通过预设的语义情感分析方法生成所述第二情感识别结果。
4.根据权利要求3所述的基于情感识别的智能家居控制方法,其特征在于,所述分别计算所述文字信息中的词语与所述情感词典中的褒义种子词和贬义种子词的词语相似度的步骤具体包括:
根据语义相似度计算方法分别计算所述文字信息中的词语与所述褒义种子词的词语相似度以及所述文字信息中的词语与所述贬义种子词的词语相似度。
5.根据权利要求4所述的基于情感识别的智能家居控制方法,其特征在于,所述根据所述词语相似度,通过预设的语义情感分析方法生成所述第二情感识别结果的步骤具体包括:
通过词语情感倾向算式计算词语情感倾向值:
Q G ( w ) = Σ i n s i m i l a r i t y ( K p i , w ) M - Σ i n s i m i l a r i t y ( K n i , w ) N ;
其中,w表示文字信息中的词语、Kp表示褒义种子词,M为褒义种子词的数量,Kn表示贬义种子词,N为贬义种子词的数量,QG(w)表示词语情感倾向值;表示词语与褒义种子词的词语相似度;表示词语与贬义种子词的词语相似度;
当所述词语情感倾向值大于预定的阈值时,判断文字信息中的词语为褒义情感;
当所述词语情感倾向值小于预定的阈值时,判断文字信息中的词语为贬义情感。
6.根据权利要求1所述的基于情感识别的智能家居控制方法,其特征在于,在所述基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果;并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作步骤之后还包括:
基于预先设置的语音特征数据库,匹配所述用户的语音信息的语义特征从而判断用户的身份。
7.根据权利要求1所述的基于情感识别的智能家居控制方法,其特征在于,所述第一情感识别结果包括高级别和低级别的褒义情感,中性情感以及高级别和低级别的贬义情感组成的5个级别情感类型;
所述第二情感识别结果包括的情感类型与第一情感识别结果相同。
8.根据权利要求7所述的基于情感识别的智能家居控制方法,其特征在于,所述方法还包括:
当所述第一情感识别结果为褒义情感、第二情感识别结果为贬义情感或者所述第一情感识别结果为贬义情感、第二情感识别结果为褒义情感时,重新采集当前的用户的语音信息;
重新对当前的用户的语音信息进行语音语调分析和语义情感分析,生成新的第一情感识别结果和第二情感识别结果。
9.根据权利要求7所述的基于情感识别的智能家居控制方法,其特征在于,所述预定的情感识别结果判断方法具体包括:
当所述第一情感识别结果与第二情感识别结果为不同级别的褒义情感时,判断当前用户情感识别结果为低级别的褒义情感;
当所述第一情感识别结果与第二情感识别结果为不同级别的贬义情感时,判断当前用户情感识别结果为低级别的贬义情感;
当所述第一情感识别结果和第二情感识别结果中一个为中性情感,另一个为贬义或者褒义情感时,判断当前用户情感识别结果为所述褒义或者贬义情感。
10.一种基于情感识别的智能家居控制系统,其特征在于,所述控制系统包括:
第一识别及获取模块,用于获取用户的语音信息,对所述语音信息的进行语音音调情感识别生成第一情感识别结果;
第二识别及获取模块,用于将所述语音信息转换为文字信息;对所述文字信息进行语义情感识别生成第二情感识别结果;
综合情感判断及控制模块,用于基于所述第一情感识别结果和第二情感识别结果,根据预定的情感识别结果判断方法生成用户情感识别结果,并且根据所述用户情感识别结果,控制各智能家居设备执行相应的操作。
CN201510799123.0A 2015-11-18 2015-11-18 一种基于情感识别的智能家居控制方法及其系统 Active CN105334743B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510799123.0A CN105334743B (zh) 2015-11-18 2015-11-18 一种基于情感识别的智能家居控制方法及其系统
US15/328,299 US10013977B2 (en) 2015-11-18 2016-01-06 Smart home control method based on emotion recognition and the system thereof
AU2016277548A AU2016277548A1 (en) 2015-11-18 2016-01-06 A smart home control method based on emotion recognition and the system thereof
PCT/CN2016/070270 WO2017084197A1 (zh) 2015-11-18 2016-01-06 一种基于情感识别的智能家居控制方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510799123.0A CN105334743B (zh) 2015-11-18 2015-11-18 一种基于情感识别的智能家居控制方法及其系统

Publications (2)

Publication Number Publication Date
CN105334743A true CN105334743A (zh) 2016-02-17
CN105334743B CN105334743B (zh) 2018-10-26

Family

ID=55285356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510799123.0A Active CN105334743B (zh) 2015-11-18 2015-11-18 一种基于情感识别的智能家居控制方法及其系统

Country Status (4)

Country Link
US (1) US10013977B2 (zh)
CN (1) CN105334743B (zh)
AU (1) AU2016277548A1 (zh)
WO (1) WO2017084197A1 (zh)

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106019977A (zh) * 2016-08-05 2016-10-12 易晓阳 一种手势及情感识别家居控制系统
CN106125565A (zh) * 2016-08-05 2016-11-16 易晓阳 一种运动及情感识别家居控制系统
CN106125566A (zh) * 2016-08-05 2016-11-16 易晓阳 一种家居背景音乐控制系统
CN106200395A (zh) * 2016-08-05 2016-12-07 易晓阳 一种多维识别家居控制方法
CN106200396A (zh) * 2016-08-05 2016-12-07 易晓阳 一种基于运动识别的家居控制方法
CN106203344A (zh) * 2016-07-12 2016-12-07 北京光年无限科技有限公司 一种用于智能机器人的情绪识别方法及系统
CN106228989A (zh) * 2016-08-05 2016-12-14 易晓阳 一种语音交互识别控制方法
CN106227054A (zh) * 2016-08-30 2016-12-14 广东美的制冷设备有限公司 一种基于用户情感的温度控制方法、系统和家电
CN106251866A (zh) * 2016-08-05 2016-12-21 易晓阳 一种语音控制音乐网络播放装置
CN106297826A (zh) * 2016-08-18 2017-01-04 竹间智能科技(上海)有限公司 语音情感辨识系统及方法
CN106297783A (zh) * 2016-08-05 2017-01-04 易晓阳 一种语音交互识别智能终端
CN106354036A (zh) * 2016-08-30 2017-01-25 广东美的制冷设备有限公司 家电控制方法和装置
CN106373569A (zh) * 2016-09-06 2017-02-01 北京地平线机器人技术研发有限公司 语音交互装置和方法
CN106444452A (zh) * 2016-10-31 2017-02-22 广东美的制冷设备有限公司 家电控制方法和装置
CN106503646A (zh) * 2016-10-19 2017-03-15 竹间智能科技(上海)有限公司 多模态情感辨识系统及方法
CN106782615A (zh) * 2016-12-20 2017-05-31 科大讯飞股份有限公司 语音数据情感检测方法和装置及系统
CN106776539A (zh) * 2016-11-09 2017-05-31 武汉泰迪智慧科技有限公司 一种多维度短文本特征提取方法及系统
CN106910514A (zh) * 2017-04-30 2017-06-30 上海爱优威软件开发有限公司 语音处理方法及系统
CN106992012A (zh) * 2017-03-24 2017-07-28 联想(北京)有限公司 语音处理方法及电子设备
WO2017166994A1 (zh) * 2016-03-31 2017-10-05 深圳光启合众科技有限公司 基于云端的设备及其操作方法
CN107293309A (zh) * 2017-05-19 2017-10-24 四川新网银行股份有限公司 一种基于客户情绪分析提升舆情监控效率的方法
CN107358967A (zh) * 2017-06-08 2017-11-17 广东科学技术职业学院 一种基于wfst的老年人语音情感识别方法
CN107590503A (zh) * 2016-07-07 2018-01-16 深圳狗尾草智能科技有限公司 一种机器人情感数据更新方法及系统
WO2018023523A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种运动及情感识别家居控制系统
WO2018023513A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种基于运动识别的家居控制方法
WO2018023515A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种手势及情感识别家居控制系统
WO2018027507A1 (zh) * 2016-08-09 2018-02-15 曹鸿鹏 一种基于情感识别的灯光控制系统
WO2018027505A1 (zh) * 2016-08-09 2018-02-15 曹鸿鹏 一种灯光控制系统
WO2018027504A1 (zh) * 2016-08-09 2018-02-15 曹鸿鹏 一种灯光控制方法
WO2018041714A1 (de) * 2016-08-31 2018-03-08 BSH Hausgeräte GmbH Individuelle kommunikationsunterstützung
CN107844762A (zh) * 2017-10-25 2018-03-27 大连三增上学教育科技有限公司 信息处理方法及系统
CN108039181A (zh) * 2017-11-02 2018-05-15 北京捷通华声科技股份有限公司 一种声音信号的情感信息分析方法和装置
CN108269570A (zh) * 2018-01-17 2018-07-10 深圳聚点互动科技有限公司 语音控制背景音乐主机的方法、装置、设备及存储介质
CN108446931A (zh) * 2018-03-21 2018-08-24 广州市迪如服装有限公司 一种服装企业管理系统和基于该系统的试穿反馈方法
CN108563941A (zh) * 2018-07-02 2018-09-21 信利光电股份有限公司 一种智能家居设备控制方法、智能音箱及智能家居系统
CN108962255A (zh) * 2018-06-29 2018-12-07 北京百度网讯科技有限公司 语音会话的情绪识别方法、装置、服务器和存储介质
CN109254669A (zh) * 2017-07-12 2019-01-22 腾讯科技(深圳)有限公司 一种表情图片输入方法、装置、电子设备及系统
CN109429415A (zh) * 2017-08-29 2019-03-05 美的智慧家居科技有限公司 照明控制方法、装置及系统
CN109429416A (zh) * 2017-08-29 2019-03-05 美的智慧家居科技有限公司 用于多用户场景的照明控制方法、装置及系统
CN109712625A (zh) * 2019-02-18 2019-05-03 珠海格力电器股份有限公司 基于网关的智能设备控制方法、控制系统、智能网关
CN109784414A (zh) * 2019-01-24 2019-05-21 出门问问信息科技有限公司 一种电话客服中客户情绪检测方法、装置及电子设备
CN110728983A (zh) * 2018-07-16 2020-01-24 科大讯飞股份有限公司 一种信息显示方法、装置、设备及可读存储介质
CN110896422A (zh) * 2018-09-07 2020-03-20 青岛海信移动通信技术股份有限公司 一种基于语音的智能响应方法及装置
CN110970019A (zh) * 2018-09-28 2020-04-07 珠海格力电器股份有限公司 智能家居系统的控制方法和装置
CN111179903A (zh) * 2019-12-30 2020-05-19 珠海格力电器股份有限公司 一种语音识别方法、装置、存储介质及电器
CN111192585A (zh) * 2019-12-24 2020-05-22 珠海格力电器股份有限公司 一种音乐播放控制系统、控制方法及智能家电
CN111199732A (zh) * 2018-11-16 2020-05-26 深圳Tcl新技术有限公司 一种基于情感的语音交互方法、存储介质及终端设备
CN111341349A (zh) * 2018-12-03 2020-06-26 本田技研工业株式会社 情绪推断装置、情绪推断方法、及存储介质
CN111710349A (zh) * 2020-06-23 2020-09-25 长沙理工大学 一种语音情感识别方法、系统、计算机设备和存储介质
CN111968679A (zh) * 2020-10-22 2020-11-20 深圳追一科技有限公司 情感识别方法、装置、电子设备及存储介质
CN112151034A (zh) * 2020-10-14 2020-12-29 珠海格力电器股份有限公司 设备的语音控制方法、装置、电子设备及存储介质
CN113641106A (zh) * 2020-04-27 2021-11-12 青岛海尔多媒体有限公司 用于环境调控的方法及装置、电视
CN113852524A (zh) * 2021-07-16 2021-12-28 天翼智慧家庭科技有限公司 基于情感特征融合的智能家居设备控制系统和方法
CN115662440A (zh) * 2022-12-27 2023-01-31 广州佰锐网络科技有限公司 基于机器学习的声纹特征识别方法及系统
CN116909159A (zh) * 2023-01-17 2023-10-20 广东维锐科技股份有限公司 一种基于心情指数的智能家居控制系统及方法
CN117198338A (zh) * 2023-11-07 2023-12-08 中瑞科技术有限公司 一种基于人工智能的对讲机声纹识别方法及系统

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557461B (zh) * 2016-10-31 2019-03-12 百度在线网络技术(北京)有限公司 基于人工智能的语义解析处理方法和装置
US10783883B2 (en) * 2016-11-03 2020-09-22 Google Llc Focus session at a voice interface device
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
JP7103769B2 (ja) * 2017-09-05 2022-07-20 京セラ株式会社 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム
US10783329B2 (en) * 2017-12-07 2020-09-22 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
US10958466B2 (en) * 2018-05-03 2021-03-23 Plantronics, Inc. Environmental control systems utilizing user monitoring
US11037573B2 (en) 2018-09-05 2021-06-15 Hitachi, Ltd. Management and execution of equipment maintenance
KR102252195B1 (ko) * 2018-09-14 2021-05-13 엘지전자 주식회사 감성 인식기 및 이를 포함하는 로봇, 서버
CN109753663B (zh) * 2019-01-16 2023-12-29 中民乡邻投资控股有限公司 一种客户情绪分级方法及装置
CN109767787B (zh) * 2019-01-28 2023-03-10 腾讯科技(深圳)有限公司 情绪识别方法、设备及可读存储介质
US10855483B1 (en) 2019-03-21 2020-12-01 Amazon Technologies, Inc. Device-state quality analysis
CN110188361A (zh) * 2019-06-10 2019-08-30 北京智合大方科技有限公司 结合文本、语音与情绪特征的语音意图识别方法及装置
CN110444229A (zh) * 2019-06-17 2019-11-12 深圳壹账通智能科技有限公司 基于语音识别的通信服务方法、装置、计算机设备及存储介质
CN110262665A (zh) * 2019-06-26 2019-09-20 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110890088B (zh) * 2019-10-12 2022-07-15 中国平安财产保险股份有限公司 语音信息反馈方法、装置、计算机设备和存储介质
CN111028827B (zh) * 2019-12-10 2023-01-24 深圳追一科技有限公司 基于情绪识别的交互处理方法、装置、设备和存储介质
CN113154783A (zh) * 2020-01-22 2021-07-23 青岛海尔电冰箱有限公司 冰箱交互控制方法、冰箱、计算机可读存储介质
CN112463108B (zh) * 2020-12-14 2023-03-31 美的集团股份有限公司 语音交互处理方法、装置、电子设备及存储介质
CN112633172B (zh) * 2020-12-23 2023-11-14 平安银行股份有限公司 通讯优化方法、装置、设备及介质
CN113113047A (zh) * 2021-03-17 2021-07-13 北京大米科技有限公司 一种音频处理的方法、装置、可读存储介质和电子设备
CN113268667B (zh) * 2021-05-28 2022-08-16 汕头大学 一种基于中文评论情感引导的序列推荐方法及系统
WO2023013927A1 (en) 2021-08-05 2023-02-09 Samsung Electronics Co., Ltd. Method and wearable device for enhancing quality of experience index for user in iot network
US11977358B2 (en) * 2021-08-17 2024-05-07 Robin H. Stewart Systems and methods for dynamic biometric control of IoT devices
CN113870902B (zh) * 2021-10-27 2023-03-14 安康汇智趣玩具科技技术有限公司 一种语音交互毛绒玩具的情绪识别系统、装置及方法
CN115001890B (zh) * 2022-05-31 2023-10-31 四川虹美智能科技有限公司 基于免应答的智能家电控制方法及装置
CN115063874B (zh) * 2022-08-16 2023-01-06 深圳市海清视讯科技有限公司 智能家居设备的控制方法、装置、设备及存储介质
CN115862675B (zh) * 2023-02-10 2023-05-05 之江实验室 一种情感识别方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831892A (zh) * 2012-09-07 2012-12-19 深圳市信利康电子有限公司 基于互联网语音交互的玩具控制方法及系统
CN102855874A (zh) * 2012-09-07 2013-01-02 深圳市信利康电子有限公司 基于互联网语音交互的家电控制方法及系统
CN102855872A (zh) * 2012-09-07 2013-01-02 深圳市信利康电子有限公司 基于终端及互联网语音交互的家电控制方法及系统
CN103093755A (zh) * 2012-09-07 2013-05-08 深圳市信利康电子有限公司 基于终端及互联网语音交互的网络家电控制方法及系统
CN103456314A (zh) * 2013-09-03 2013-12-18 广州创维平面显示科技有限公司 一种情感识别方法以及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1282113B1 (en) * 2001-08-02 2005-01-12 Sony International (Europe) GmbH Method for detecting emotions from speech using speaker identification
JP4204839B2 (ja) * 2002-10-04 2009-01-07 株式会社エイ・ジー・アイ 発想モデル装置、自発感情モデル装置、発想のシミュレーション方法、自発感情のシミュレーション方法、およびプログラム
DE60320414T2 (de) * 2003-11-12 2009-05-20 Sony Deutschland Gmbh Vorrichtung und Verfahren zur automatischen Extraktion von wichtigen Ereignissen in Audiosignalen
JP4478939B2 (ja) * 2004-09-30 2010-06-09 株式会社国際電気通信基礎技術研究所 音声処理装置およびそのためのコンピュータプログラム
US8214214B2 (en) * 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
US8209182B2 (en) * 2005-11-30 2012-06-26 University Of Southern California Emotion recognition system
US7983910B2 (en) * 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
WO2007148493A1 (ja) * 2006-06-23 2007-12-27 Panasonic Corporation 感情認識装置
US8195460B2 (en) * 2008-06-17 2012-06-05 Voicesense Ltd. Speaker characterization through speech analysis
KR20100054946A (ko) 2008-11-17 2010-05-26 엘지전자 주식회사 세탁기 및 그 사용방법
CN101604204B (zh) 2009-07-09 2011-01-05 北京科技大学 智能情感机器人分布式认知系统
US8380520B2 (en) * 2009-07-30 2013-02-19 Industrial Technology Research Institute Food processor with recognition ability of emotion-related information and emotional signals
KR101299220B1 (ko) * 2010-01-08 2013-08-22 한국전자통신연구원 감성 신호 감지 장치와 감성 서비스 제공 장치 간의 감성 통신 방법
DE102010006927B4 (de) * 2010-02-04 2021-05-27 Sennheiser Electronic Gmbh & Co. Kg Headset und Hörer
US8903176B2 (en) * 2011-11-14 2014-12-02 Sensory Logic, Inc. Systems and methods using observed emotional data
CN102625005A (zh) * 2012-03-05 2012-08-01 广东天波信息技术股份有限公司 具有服务质量实时监督功能的呼叫中心系统及其实现方法
US9020822B2 (en) * 2012-10-19 2015-04-28 Sony Computer Entertainment Inc. Emotion recognition using auditory attention cues extracted from users voice
US9047871B2 (en) * 2012-12-12 2015-06-02 At&T Intellectual Property I, L.P. Real—time emotion tracking system
TWI489451B (zh) * 2012-12-13 2015-06-21 Univ Nat Chiao Tung 基於語音情感辨識之音樂播放系統及其方法
EP3049961A4 (en) 2013-09-25 2017-03-22 Intel Corporation Improving natural language interactions using emotional modulation
KR101531664B1 (ko) * 2013-09-27 2015-06-25 고려대학교 산학협력단 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법
EP2874110A1 (en) 2013-11-15 2015-05-20 Telefonica Digital España, S.L.U. A method and a system to obtain data from voice analysis in a communication and computer programs products thereof
US10127927B2 (en) * 2014-07-28 2018-11-13 Sony Interactive Entertainment Inc. Emotional speech processing
CN104409075B (zh) * 2014-11-28 2018-09-04 深圳创维-Rgb电子有限公司 语音识别方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831892A (zh) * 2012-09-07 2012-12-19 深圳市信利康电子有限公司 基于互联网语音交互的玩具控制方法及系统
CN102855874A (zh) * 2012-09-07 2013-01-02 深圳市信利康电子有限公司 基于互联网语音交互的家电控制方法及系统
CN102855872A (zh) * 2012-09-07 2013-01-02 深圳市信利康电子有限公司 基于终端及互联网语音交互的家电控制方法及系统
CN103093755A (zh) * 2012-09-07 2013-05-08 深圳市信利康电子有限公司 基于终端及互联网语音交互的网络家电控制方法及系统
CN103456314A (zh) * 2013-09-03 2013-12-18 广州创维平面显示科技有限公司 一种情感识别方法以及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐露等: "面向情感变化检测的汉语情感语音数据库", 《清华大学学报自然科学版》 *

Cited By (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017166994A1 (zh) * 2016-03-31 2017-10-05 深圳光启合众科技有限公司 基于云端的设备及其操作方法
JP2019518247A (ja) * 2016-03-31 2019-06-27 シェン ツェン クアン−チ ヘチョン テクノロジー リミティッド クラウドに基づく設備及びその操作方法
KR20180118182A (ko) * 2016-03-31 2018-10-30 선전 쾅-츠 허종 테크놀로지 엘티디. 클라우드를 기반으로 한 설비 및 그 조작방법
CN107590503A (zh) * 2016-07-07 2018-01-16 深圳狗尾草智能科技有限公司 一种机器人情感数据更新方法及系统
CN106203344A (zh) * 2016-07-12 2016-12-07 北京光年无限科技有限公司 一种用于智能机器人的情绪识别方法及系统
WO2018023515A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种手势及情感识别家居控制系统
WO2018023513A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种基于运动识别的家居控制方法
WO2018023523A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种运动及情感识别家居控制系统
CN106019977A (zh) * 2016-08-05 2016-10-12 易晓阳 一种手势及情感识别家居控制系统
CN106200396A (zh) * 2016-08-05 2016-12-07 易晓阳 一种基于运动识别的家居控制方法
CN106297783A (zh) * 2016-08-05 2017-01-04 易晓阳 一种语音交互识别智能终端
CN106125566A (zh) * 2016-08-05 2016-11-16 易晓阳 一种家居背景音乐控制系统
CN106200395A (zh) * 2016-08-05 2016-12-07 易晓阳 一种多维识别家居控制方法
CN106228989A (zh) * 2016-08-05 2016-12-14 易晓阳 一种语音交互识别控制方法
CN106125565A (zh) * 2016-08-05 2016-11-16 易晓阳 一种运动及情感识别家居控制系统
CN106251866A (zh) * 2016-08-05 2016-12-21 易晓阳 一种语音控制音乐网络播放装置
WO2018027507A1 (zh) * 2016-08-09 2018-02-15 曹鸿鹏 一种基于情感识别的灯光控制系统
WO2018027504A1 (zh) * 2016-08-09 2018-02-15 曹鸿鹏 一种灯光控制方法
WO2018027505A1 (zh) * 2016-08-09 2018-02-15 曹鸿鹏 一种灯光控制系统
CN106297826A (zh) * 2016-08-18 2017-01-04 竹间智能科技(上海)有限公司 语音情感辨识系统及方法
CN106354036A (zh) * 2016-08-30 2017-01-25 广东美的制冷设备有限公司 家电控制方法和装置
CN106354036B (zh) * 2016-08-30 2019-04-30 广东美的制冷设备有限公司 家电控制方法和装置
CN106227054A (zh) * 2016-08-30 2016-12-14 广东美的制冷设备有限公司 一种基于用户情感的温度控制方法、系统和家电
WO2018041714A1 (de) * 2016-08-31 2018-03-08 BSH Hausgeräte GmbH Individuelle kommunikationsunterstützung
CN106373569B (zh) * 2016-09-06 2019-12-20 北京地平线机器人技术研发有限公司 语音交互装置和方法
CN106373569A (zh) * 2016-09-06 2017-02-01 北京地平线机器人技术研发有限公司 语音交互装置和方法
CN106503646A (zh) * 2016-10-19 2017-03-15 竹间智能科技(上海)有限公司 多模态情感辨识系统及方法
CN106444452A (zh) * 2016-10-31 2017-02-22 广东美的制冷设备有限公司 家电控制方法和装置
CN106444452B (zh) * 2016-10-31 2019-02-01 广东美的制冷设备有限公司 家电控制方法和装置
CN106776539A (zh) * 2016-11-09 2017-05-31 武汉泰迪智慧科技有限公司 一种多维度短文本特征提取方法及系统
CN106782615B (zh) * 2016-12-20 2020-06-12 科大讯飞股份有限公司 语音数据情感检测方法和装置及系统
CN106782615A (zh) * 2016-12-20 2017-05-31 科大讯飞股份有限公司 语音数据情感检测方法和装置及系统
CN106992012A (zh) * 2017-03-24 2017-07-28 联想(北京)有限公司 语音处理方法及电子设备
US10796689B2 (en) 2017-03-24 2020-10-06 Lenovo (Beijing) Co., Ltd. Voice processing methods and electronic devices
CN106910514A (zh) * 2017-04-30 2017-06-30 上海爱优威软件开发有限公司 语音处理方法及系统
CN107293309A (zh) * 2017-05-19 2017-10-24 四川新网银行股份有限公司 一种基于客户情绪分析提升舆情监控效率的方法
CN107358967A (zh) * 2017-06-08 2017-11-17 广东科学技术职业学院 一种基于wfst的老年人语音情感识别方法
CN109254669B (zh) * 2017-07-12 2022-05-10 腾讯科技(深圳)有限公司 一种表情图片输入方法、装置、电子设备及系统
CN109254669A (zh) * 2017-07-12 2019-01-22 腾讯科技(深圳)有限公司 一种表情图片输入方法、装置、电子设备及系统
CN109429415A (zh) * 2017-08-29 2019-03-05 美的智慧家居科技有限公司 照明控制方法、装置及系统
CN109429416A (zh) * 2017-08-29 2019-03-05 美的智慧家居科技有限公司 用于多用户场景的照明控制方法、装置及系统
CN109429415B (zh) * 2017-08-29 2020-09-15 美智光电科技有限公司 照明控制方法、装置及系统
CN109429416B (zh) * 2017-08-29 2020-09-15 美智光电科技有限公司 用于多用户场景的照明控制方法、装置及系统
CN107844762A (zh) * 2017-10-25 2018-03-27 大连三增上学教育科技有限公司 信息处理方法及系统
CN108039181A (zh) * 2017-11-02 2018-05-15 北京捷通华声科技股份有限公司 一种声音信号的情感信息分析方法和装置
CN108269570A (zh) * 2018-01-17 2018-07-10 深圳聚点互动科技有限公司 语音控制背景音乐主机的方法、装置、设备及存储介质
CN108446931A (zh) * 2018-03-21 2018-08-24 广州市迪如服装有限公司 一种服装企业管理系统和基于该系统的试穿反馈方法
CN108962255A (zh) * 2018-06-29 2018-12-07 北京百度网讯科技有限公司 语音会话的情绪识别方法、装置、服务器和存储介质
CN108563941A (zh) * 2018-07-02 2018-09-21 信利光电股份有限公司 一种智能家居设备控制方法、智能音箱及智能家居系统
CN110728983B (zh) * 2018-07-16 2024-04-30 科大讯飞股份有限公司 一种信息显示方法、装置、设备及可读存储介质
CN110728983A (zh) * 2018-07-16 2020-01-24 科大讯飞股份有限公司 一种信息显示方法、装置、设备及可读存储介质
CN110896422A (zh) * 2018-09-07 2020-03-20 青岛海信移动通信技术股份有限公司 一种基于语音的智能响应方法及装置
CN110970019A (zh) * 2018-09-28 2020-04-07 珠海格力电器股份有限公司 智能家居系统的控制方法和装置
CN111199732A (zh) * 2018-11-16 2020-05-26 深圳Tcl新技术有限公司 一种基于情感的语音交互方法、存储介质及终端设备
CN111341349B (zh) * 2018-12-03 2023-07-25 本田技研工业株式会社 情绪推断装置、情绪推断方法、及存储介质
CN111341349A (zh) * 2018-12-03 2020-06-26 本田技研工业株式会社 情绪推断装置、情绪推断方法、及存储介质
CN109784414A (zh) * 2019-01-24 2019-05-21 出门问问信息科技有限公司 一种电话客服中客户情绪检测方法、装置及电子设备
CN109712625A (zh) * 2019-02-18 2019-05-03 珠海格力电器股份有限公司 基于网关的智能设备控制方法、控制系统、智能网关
CN111192585A (zh) * 2019-12-24 2020-05-22 珠海格力电器股份有限公司 一种音乐播放控制系统、控制方法及智能家电
CN111179903A (zh) * 2019-12-30 2020-05-19 珠海格力电器股份有限公司 一种语音识别方法、装置、存储介质及电器
CN113641106A (zh) * 2020-04-27 2021-11-12 青岛海尔多媒体有限公司 用于环境调控的方法及装置、电视
CN111710349A (zh) * 2020-06-23 2020-09-25 长沙理工大学 一种语音情感识别方法、系统、计算机设备和存储介质
CN112151034A (zh) * 2020-10-14 2020-12-29 珠海格力电器股份有限公司 设备的语音控制方法、装置、电子设备及存储介质
CN111968679A (zh) * 2020-10-22 2020-11-20 深圳追一科技有限公司 情感识别方法、装置、电子设备及存储介质
CN113852524A (zh) * 2021-07-16 2021-12-28 天翼智慧家庭科技有限公司 基于情感特征融合的智能家居设备控制系统和方法
CN115662440A (zh) * 2022-12-27 2023-01-31 广州佰锐网络科技有限公司 基于机器学习的声纹特征识别方法及系统
CN116909159A (zh) * 2023-01-17 2023-10-20 广东维锐科技股份有限公司 一种基于心情指数的智能家居控制系统及方法
CN117198338A (zh) * 2023-11-07 2023-12-08 中瑞科技术有限公司 一种基于人工智能的对讲机声纹识别方法及系统
CN117198338B (zh) * 2023-11-07 2024-01-26 中瑞科技术有限公司 一种基于人工智能的对讲机声纹识别方法及系统

Also Published As

Publication number Publication date
US10013977B2 (en) 2018-07-03
WO2017084197A1 (zh) 2017-05-26
AU2016277548A1 (en) 2017-06-01
CN105334743B (zh) 2018-10-26
US20170270922A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
CN105334743A (zh) 一种基于情感识别的智能家居控制方法及其系统
CN109410927B (zh) 离线命令词与云端解析结合的语音识别方法、装置和系统
CN109256136B (zh) 一种语音识别方法和装置
CN111708869B (zh) 人机对话的处理方法及装置
US20190221208A1 (en) Method, user interface, and device for audio-based emoji input
CN106570496A (zh) 情绪识别方法和装置以及智能交互方法和设备
CN110457432A (zh) 面试评分方法、装置、设备及存储介质
KR20140042994A (ko) 가상 에이전트와의 대화 내용에서 자동으로 추출되는 개인 프로파일링 정보를 이용한 자동학습 기반의 인공지능 대화 시스템
JP2017016566A (ja) 情報処理装置、情報処理方法及びプログラム
CN105810205A (zh) 一种语音处理方法及装置
CN108536668A (zh) 唤醒词评估方法及装置、存储介质、电子设备
CN106775665A (zh) 基于情绪指标的情绪状态变化信息的获取方法及装置
CN111128240B (zh) 一种基于对抗语义擦除的语音情感识别方法
CN103885924A (zh) 一种领域自适应的公开课字幕自动生成系统及方法
Alghifari et al. On the use of voice activity detection in speech emotion recognition
CN112349266A (zh) 一种语音编辑方法及相关设备
CN110866094B (zh) 指令识别方法、装置、存储介质、电子装置
CN107133299B (zh) 基于人工智能的消防应答方法、移动终端及可读存储介质
KR20130068624A (ko) 화자 그룹 기반 음성인식 장치 및 방법
Johar Paralinguistic profiling using speech recognition
CN112037772B (zh) 基于多模态的响应义务检测方法、系统及装置
CN114373443A (zh) 语音合成方法和装置、计算设备、存储介质及程序产品
Schrank et al. Automatic detection of uncertainty in spontaneous german dialogue
CN107066567B (zh) 文字对话中基于话题侦测的用户画像建模方法及系统
CN112307186A (zh) 基于情绪识别的问答服务方法、系统、终端设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant