CN103093752A - 一种基于手机语音的情感分析方法及其系统 - Google Patents

一种基于手机语音的情感分析方法及其系统 Download PDF

Info

Publication number
CN103093752A
CN103093752A CN201310016557XA CN201310016557A CN103093752A CN 103093752 A CN103093752 A CN 103093752A CN 201310016557X A CN201310016557X A CN 201310016557XA CN 201310016557 A CN201310016557 A CN 201310016557A CN 103093752 A CN103093752 A CN 103093752A
Authority
CN
China
Prior art keywords
user
voice
mobile phone
emotion
sentiment analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310016557XA
Other languages
English (en)
Inventor
文贵华
黄金龙
江丽君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201310016557XA priority Critical patent/CN103093752A/zh
Publication of CN103093752A publication Critical patent/CN103093752A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种基于手机语音的情感分析方法,包括:手机通话状态检测,语音信号采集,语音情感特征抽取,语音情感分类,内容推荐和写本地短信息箱;一种基于手机语音的情感分析系统,包括:手机通话状态检测模块,语音信号采集模块,语音情感特征抽取模块,语音情感分类模块,内容推荐模块和写本地短信息箱模块。具有方法简单,系统结构简单和情感分析结果真实等优点。

Description

一种基于手机语音的情感分析方法及其系统
技术领域
本发明涉及一种语音信号处理和模式识别技术,特别涉及一种基于手机语音的情感分析方法及其系统。
背景技术
情感状态体现了心理的健康状态,目前很多人都面临心理压力,或多或少会出现一些心理情感问题,表现为烦躁,焦虑,抑郁等,需要及时引导,但是这些表现出来的信号,对于心理学知识缺乏的人一般很难觉察,因此借助信息技术,自动监测并提醒是很重要的。语音包含了丰富的情感信息,是我们理解情感的重要途径,因此通过语音分析就可以实现人类的情感状态判别。手机是人们经常使用的工具,通话时的语音反映的是用户的自然情感,因此通过自动采集用户通话时的语音,进而语音分析就可以实现用户的情感状态判别,让用户了解自己的情感状态。目前国内外通过用手机语音来分析用户的情感状态还不多见,语音情感分析中的语音采集不自然,使用不方便,情感分析的结果不真实。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种基于手机语音的情感分析方法,该方法情感分析结果真实,方便用户调节情感。
本发明的目的在于克服现有技术的缺点与不足,提供一种基于手机语音的情感分析系统,该系统使用方便。
本发明的首要目的通过下述技术方案实现:一种基于手机语音的情感分析方法,包括:
手机通话状态检测,当用户通话时自动启动情感分析;
语音信号采集,将用户通话语音采集,并保存至本机;
语音情感特征抽取,将保存在文件中的语音抽取特征,转化为语音的特征向量,同时删除临时保存的语音文件;
语音情感分类,采用支持向量机,对语音的特征向量进行情感分析,得出用户的心理情感类别;用户的心理情感类别的分类结果为愤怒、高兴、悲伤、惊讶、厌恶、恐惧或中性;
内容推荐,根据用户的心理情感类别,选择相应的内容,并发送给用户;所述的内容为不同的情感类别预先准备合适的推荐内容并预先存储于情感数据库中;
写本地短信息箱,将情感分析结果和推荐内容直接写入到用户手机的短信箱,供用户阅读。
所述的通话语音采集完成后,把采集到的通话语音以MP3的文件格式保存至本机。
判断用户的心理情感类别是否为突发情感,如果是,则系统发送语音提醒用户注意控制情绪;所述突发情感为愤怒,厌恶或恐惧。
本发明的另一目的通过下述技术方案实现:一种基于手机语音的情感分析系统,包括:
手机通话状态检测模块,用于当用户通话时自动启动情感分析;
语音信号采集模块,用于将用户通话语音采集,并保存至本机;
语音情感特征抽取模块,用于将保存在文件中的语音抽取特征,转化为语音的特征向量,同时删除临时保存的语音文件;
语音情感分类模块,采用支持向量机,用于对语音的特征向量进行情感分析,得出用户的心理情感类别;用户的心理情感类别的分类结果为愤怒、高兴、悲伤、惊讶、厌恶、恐惧或中性;
内容推荐模块,用于根据用户的心理情感类别,选择相应的内容,并发送给用户;所述的内容为不同的情感类别预先准备合适的推荐内容并预先存储于情感数据库中;
写本地短信息箱模块,用于将情感分析结果和推荐内容直接写入到用户手机的短信箱,供用户阅读。
所述的通话语音采集完成后,把采集到的通话语音以MP3的文件格式保存至本机。
判断用户的心理情感类别是否为突发情感,如果是,则系统发送语音提醒用户注意控制情绪;所述突发情感为愤怒,厌恶或恐惧。
本发明相对于现有技术具有如下的优点及效果:
(1)方法简单,系统结构简单,程序独立运行在手机上,不存在隐私问题。
(2)情感分析结果真实;手机通话时,系统自动采集通话的语音,不需要用户特别关注,这样采集的语音更自然,分析的结果更真实;与现有技术相比,本发明具有分析更及时,结果更真实,使用方便的优点。
(3)本发明仅使用日用手机就能对用户的心理情感状况实时分析,简单易用。
(4)能将情感分析分析结果自动发布到用户的短信箱,这样能提醒用户检查情感分析结果,不需要用户去独立运行程序和查看结果。
(5)建立了用户情感档案,帮助用户任何时候了解情感发展趋势,以便采用采取策略,调节情感状态。
(6)本发明的方法自动采集用户通话时的语音信号,抽取语音情感特征,采用语音情感分类器判断用户当时的情感状况,根据情感状态产生推荐内容,通话结束将情感状态和推荐内容写入到用户手机的短信箱;并且本发明的系统完全是安装在手机上,手机用户是给自己发送短信不需要任何使用费。
附图说明
图1是一种基于手机语音的情感分析方法的流程图。
图2是一种基于手机语音的情感分析系统的结构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图1所示,一种基于手机语音的情感分析方法,该方法包括以下步骤:
步骤1、启动用户通话的监测程序,进入手机通话的语音捕捉状态,监测程序是一个后台驻留程序,当用户通话时,其启动语音采集程序;
步骤2、语音采集程序对通话过程中的语音录音,并保存为MP3音频文件到本机;
步骤3、提取MP3音频文件的语音情感特征,形成一个语音情感特征向量;语音情感特征包括短时过零率,短时能量,基音频率,共振峰,谐波噪声比,MFCC参数,一阶MFCC参数,二阶MFCC参数,LPC倒谱系数,线性预测系数,子带能量,和频率中心的平均值,标准方差,最大值,和最小值;
步骤4、采用支持向量机作为语音情感分类器,对语音情感特征向量分类,判断的情感类别为愤怒,高兴,悲伤,惊讶,厌恶,恐惧和平静。
所述支持向量机语音情感分类器的处理步骤有两步:
a)获取大量的语音情感文件为训练样本,对其抽取特征,形成特征向量数据库,作为训练数据。支持向量机分类器在训练数据上训练,获得分类模型,这一步是独立的,获得分类模型后,其保存在手机上,以便在情感分类时使用,手机上不安装训练的原始样本;
b)用分类模型对待识别的情感特征分类,获得通话语音的情感状态;
步骤5、根据情感状态,通过查询数据库,获得对应的推荐内容,数据库是根据领域专家的建议预先建立的,建立情感状态与推荐内容的对应关系。数据库格式为(记录关键字,情感状态,推荐内容);
步骤6、将情感分类和推荐内容直接写入到本机的短信箱,让用户了解自己的情感状态,其不需要经过移动网络,因此不需要任何费用;
步骤7、将情感分类和推荐内容保存到本地数据库,建立情感档案,情感档案格式为(记录关键字,通话日期,通话时间,通话时长,情感状态)。
如图2所示,为一种基于手机语音的情感分析系统的结构图,该系统包括以下模块:
手机通话状态检测模块201,当用户通话时自动启动情感分析的工作流程。
语音信号采集模块202,将用户通话语音采集,并以MP3文件格式保存到本机文件。
语音情感特征抽取模块203,负责将保存在文件中的语音抽取特征,转化为语音的特征向量,同时删除临时保存的语音文件。
语音情感分类模块204,用于对语音的特征向量进行情感分析,得出用户的心理情感类别。情感分类器采用支持向量机、分类结果为愤怒,高兴,悲伤,惊讶,厌恶、恐惧和中性之一。
内容推荐模块205,根据情感状态,选择合适的内容,以便发送给用户,内容的来源保存在情感数据库中,由领域专家针对不同的情感类别预先准备合适的推荐内容。例如在通话过程中检测到的突发情感,若为愤怒,厌恶,和恐惧,系统用语音提醒用户注意。
写本地短信息箱模块206,将情感分析结果和推荐内容直接写入到用户手机的短信箱,以供用户阅读。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (6)

1.一种基于手机语音的情感分析方法,其特征在于,包括:
手机通话状态检测,当用户通话时自动启动情感分析;
语音信号采集,将用户通话语音采集,并保存至本机;
语音情感特征抽取,将保存在文件中的语音抽取特征,转化为语音的特征向量,同时删除临时保存的语音文件;
语音情感分类,采用支持向量机,对语音的特征向量进行情感分析,得出用户的心理情感类别;用户的心理情感类别的分类结果为愤怒、高兴、悲伤、惊讶、厌恶、恐惧或中性;
内容推荐,根据用户的心理情感类别,选择相应的内容,并发送给用户;所述的内容为不同的情感类别预先准备合适的推荐内容并预先存储于情感数据库中;
写本地短信息箱,将情感分析结果和推荐内容直接写入到用户手机的短信箱,供用户阅读。
2.根据权利要求1所述的情感分析方法,其特征在于,所述的通话语音采集完成后,把采集到的通话语音以MP3的文件格式保存至本机。
3.根据权利要求1所述的情感分析方法,其特征在于,判断用户的心理情感类别是否为突发情感,如果是,则系统发送语音提醒用户注意控制情绪;所述突发情感为愤怒,厌恶或恐惧。
4.一种基于手机语音的情感分析系统,其特征在于,包括:
手机通话状态检测模块,用于当用户通话时自动启动情感分析;
语音信号采集模块,用于将用户通话语音采集,并保存至本机;
语音情感特征抽取模块,用于将保存在文件中的语音抽取特征,转化为语音的特征向量,同时删除临时保存的语音文件;
语音情感分类模块,采用支持向量机,用于对语音的特征向量进行情感分析,得出用户的心理情感类别;用户的心理情感类别的分类结果为愤怒、高兴、悲伤、惊讶、厌恶、恐惧或中性;
内容推荐模块,用于根据用户的心理情感类别,选择相应的内容,并发送给用户;所述的内容为不同的情感类别预先准备合适的推荐内容并预先存储于情感数据库中;
写本地短信息箱模块,用于将情感分析结果和推荐内容直接写入到用户手机的短信箱,供用户阅读。
5.根据权利要求3所述的情感分析系统,其特征在于,所述的通话语音采集完成后,把采集到的通话语音以MP3的文件格式保存至本机。
6.根据权利要求3所述的情感分析系统,其特征在于,判断用户的心理情感类别是否为突发情感,如果是,则系统发送语音提醒用户注意控制情绪;所述突发情感为愤怒,厌恶或恐惧。
CN201310016557XA 2013-01-16 2013-01-16 一种基于手机语音的情感分析方法及其系统 Pending CN103093752A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310016557XA CN103093752A (zh) 2013-01-16 2013-01-16 一种基于手机语音的情感分析方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310016557XA CN103093752A (zh) 2013-01-16 2013-01-16 一种基于手机语音的情感分析方法及其系统

Publications (1)

Publication Number Publication Date
CN103093752A true CN103093752A (zh) 2013-05-08

Family

ID=48206257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310016557XA Pending CN103093752A (zh) 2013-01-16 2013-01-16 一种基于手机语音的情感分析方法及其系统

Country Status (1)

Country Link
CN (1) CN103093752A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634472A (zh) * 2013-12-06 2014-03-12 惠州Tcl移动通信有限公司 根据通话语音判断用户心情及性格的方法、系统及手机
CN104538043A (zh) * 2015-01-16 2015-04-22 北京邮电大学 一种通话中实时情感提示装置
CN104702759A (zh) * 2013-12-06 2015-06-10 中兴通讯股份有限公司 通讯录的设置方法及装置
CN105049249A (zh) * 2015-07-09 2015-11-11 中山大学 一种远程可视会话服务的评分方法及系统
CN105096943A (zh) * 2014-04-24 2015-11-25 杭州华为企业通信技术有限公司 信号处理的方法与装置
CN105244023A (zh) * 2015-11-09 2016-01-13 上海语知义信息技术有限公司 课堂教学中教师情绪的提醒系统及方法
CN105681546A (zh) * 2015-12-30 2016-06-15 宇龙计算机通信科技(深圳)有限公司 一种语音处理的方法、装置以及终端
CN105989836A (zh) * 2015-03-06 2016-10-05 腾讯科技(深圳)有限公司 一种语音采集方法、装置及终端设备
CN107086042A (zh) * 2017-04-25 2017-08-22 黄石德龙自动化科技有限公司 一种基于语音情绪预防青少年心理问题的控制方法
US9917948B2 (en) 2014-02-18 2018-03-13 Beijing Zhigu Rui Tuo Tech Co., Ltd Call processing method and apparatus
CN108053822A (zh) * 2017-11-03 2018-05-18 深圳和而泰智能控制股份有限公司 一种语音信号处理方法、装置、终端设备及介质
CN108156317A (zh) * 2017-12-21 2018-06-12 广东欧珀移动通信有限公司 通话语音控制方法、装置及存储介质和移动终端
CN109352666A (zh) * 2018-10-26 2019-02-19 广州华见智能科技有限公司 一种基于机器语音对话的情感发泄方法及系统
CN109559760A (zh) * 2018-12-29 2019-04-02 北京京蓝宇科技有限公司 一种基于语音信息的情感分析方法及系统
CN109994207A (zh) * 2019-03-25 2019-07-09 广东邮电职业技术学院 心理健康预警方法、服务器与系统
CN110086937A (zh) * 2019-04-28 2019-08-02 上海掌门科技有限公司 通话界面的显示方法、电子设备和计算机可读介质
CN110797011A (zh) * 2019-11-15 2020-02-14 天津光电通信技术有限公司 基于支持向量机的语音识别方法、装置、设备及存储介质
US11049147B2 (en) 2016-09-09 2021-06-29 Sony Corporation System and method for providing recommendation on an electronic device based on emotional state detection
EP4149097A1 (en) * 2016-12-30 2023-03-15 Google LLC Feedback controller for data transmissions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090198497A1 (en) * 2008-02-04 2009-08-06 Samsung Electronics Co., Ltd. Method and apparatus for speech synthesis of text message
CN101662546A (zh) * 2009-09-16 2010-03-03 中兴通讯股份有限公司 情绪监控的方法及装置
CN101813973A (zh) * 2009-02-20 2010-08-25 环达电脑(上海)有限公司 情绪共鸣系统
CN102300163A (zh) * 2011-09-22 2011-12-28 宇龙计算机通信科技(深圳)有限公司 信息推送方法、移动终端和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090198497A1 (en) * 2008-02-04 2009-08-06 Samsung Electronics Co., Ltd. Method and apparatus for speech synthesis of text message
CN101813973A (zh) * 2009-02-20 2010-08-25 环达电脑(上海)有限公司 情绪共鸣系统
CN101662546A (zh) * 2009-09-16 2010-03-03 中兴通讯股份有限公司 情绪监控的方法及装置
CN102300163A (zh) * 2011-09-22 2011-12-28 宇龙计算机通信科技(深圳)有限公司 信息推送方法、移动终端和系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104702759A (zh) * 2013-12-06 2015-06-10 中兴通讯股份有限公司 通讯录的设置方法及装置
CN103634472A (zh) * 2013-12-06 2014-03-12 惠州Tcl移动通信有限公司 根据通话语音判断用户心情及性格的方法、系统及手机
US9917948B2 (en) 2014-02-18 2018-03-13 Beijing Zhigu Rui Tuo Tech Co., Ltd Call processing method and apparatus
CN105096943B (zh) * 2014-04-24 2019-04-19 杭州华为企业通信技术有限公司 信号处理的方法与装置
CN105096943A (zh) * 2014-04-24 2015-11-25 杭州华为企业通信技术有限公司 信号处理的方法与装置
CN104538043A (zh) * 2015-01-16 2015-04-22 北京邮电大学 一种通话中实时情感提示装置
CN105989836A (zh) * 2015-03-06 2016-10-05 腾讯科技(深圳)有限公司 一种语音采集方法、装置及终端设备
CN105049249A (zh) * 2015-07-09 2015-11-11 中山大学 一种远程可视会话服务的评分方法及系统
CN105244023A (zh) * 2015-11-09 2016-01-13 上海语知义信息技术有限公司 课堂教学中教师情绪的提醒系统及方法
CN105681546A (zh) * 2015-12-30 2016-06-15 宇龙计算机通信科技(深圳)有限公司 一种语音处理的方法、装置以及终端
US11049147B2 (en) 2016-09-09 2021-06-29 Sony Corporation System and method for providing recommendation on an electronic device based on emotional state detection
EP4149097A1 (en) * 2016-12-30 2023-03-15 Google LLC Feedback controller for data transmissions
CN107086042A (zh) * 2017-04-25 2017-08-22 黄石德龙自动化科技有限公司 一种基于语音情绪预防青少年心理问题的控制方法
CN108053822A (zh) * 2017-11-03 2018-05-18 深圳和而泰智能控制股份有限公司 一种语音信号处理方法、装置、终端设备及介质
CN108156317B (zh) * 2017-12-21 2020-03-10 Oppo广东移动通信有限公司 通话语音控制方法、装置及存储介质和移动终端
CN108156317A (zh) * 2017-12-21 2018-06-12 广东欧珀移动通信有限公司 通话语音控制方法、装置及存储介质和移动终端
CN109352666A (zh) * 2018-10-26 2019-02-19 广州华见智能科技有限公司 一种基于机器语音对话的情感发泄方法及系统
CN109559760A (zh) * 2018-12-29 2019-04-02 北京京蓝宇科技有限公司 一种基于语音信息的情感分析方法及系统
CN109559760B (zh) * 2018-12-29 2021-11-16 李京徽 一种基于语音信息的情感分析方法及系统
CN109994207A (zh) * 2019-03-25 2019-07-09 广东邮电职业技术学院 心理健康预警方法、服务器与系统
CN109994207B (zh) * 2019-03-25 2021-08-03 广东邮电职业技术学院 心理健康预警方法、服务器与系统
CN110086937A (zh) * 2019-04-28 2019-08-02 上海掌门科技有限公司 通话界面的显示方法、电子设备和计算机可读介质
CN110797011A (zh) * 2019-11-15 2020-02-14 天津光电通信技术有限公司 基于支持向量机的语音识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN103093752A (zh) 一种基于手机语音的情感分析方法及其系统
CN101261832B (zh) 汉语语音情感信息的提取及建模方法
CN105374356B (zh) 语音识别方法、语音评分方法、语音识别系统及语音评分系统
CN105244042B (zh) 一种基于有限状态自动机的语音情感交互装置与方法
CN101751923B (zh) 语音情绪的分类方法及其情绪语意模型的建立方法
CN103634472A (zh) 根据通话语音判断用户心情及性格的方法、系统及手机
CN105334743A (zh) 一种基于情感识别的智能家居控制方法及其系统
CN110457432A (zh) 面试评分方法、装置、设备及存储介质
US20170242847A1 (en) Apparatus and method for translating a meeting speech
CN102930866A (zh) 一种用于口语练习的学生朗读作业的评判方法
CN105260416A (zh) 一种基于语音识别的搜索方法及装置
CN105095406A (zh) 一种基于用户特征的语音搜索方法及装置
CN107656983A (zh) 一种基于声纹识别的智能推荐方法及装置
CN109256136A (zh) 一种语音识别方法和装置
CN108766441A (zh) 一种基于离线声纹识别和语音识别的语音控制方法及装置
CN107886951B (zh) 一种语音检测方法、装置及设备
CN102655003B (zh) 基于声道调制信号mfcc的汉语语音情感点识别方法
CN107085717A (zh) 一种家庭监控方法、服务端及计算机可读存储介质
CN103093316A (zh) 一种账单生成方法及装置
CN109326305A (zh) 一种批量测试语音识别和文本合成的方法和测试系统
CN104103272A (zh) 语音识别方法、装置和蓝牙耳机
CN106024010A (zh) 一种基于共振峰曲线的语音信号动态特征提取方法
CN105810205A (zh) 一种语音处理方法及装置
CN106356054A (zh) 一种基于语音识别的农产品信息采集方法和系统
CN101867742A (zh) 一种基于声控控制下的电视系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130508