CN111149172A - 情绪管理方法、设备及计算机可读存储介质 - Google Patents

情绪管理方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111149172A
CN111149172A CN201980003396.6A CN201980003396A CN111149172A CN 111149172 A CN111149172 A CN 111149172A CN 201980003396 A CN201980003396 A CN 201980003396A CN 111149172 A CN111149172 A CN 111149172A
Authority
CN
China
Prior art keywords
emotion
user
result
characteristic data
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980003396.6A
Other languages
English (en)
Other versions
CN111149172B (zh
Inventor
肖岚
朱永胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Top Link Technologies Co Ltd
Original Assignee
Shenzhen Yiyousi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yiyousi Technology Co Ltd filed Critical Shenzhen Yiyousi Technology Co Ltd
Publication of CN111149172A publication Critical patent/CN111149172A/zh
Application granted granted Critical
Publication of CN111149172B publication Critical patent/CN111149172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Abstract

本发明公开了一种情绪管理方法,该情绪管理方法包括:获取用户的语音特征数据和身体特征数据;对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果;根据所述用户情绪结果和预设规则对所述用户进行情绪管理。本发明还公开了一种情绪管理设备和一种计算机可读存储介质。本发明能够实现发现用户情绪变化的功能,实现管理和调节用户情绪的功能。

Description

情绪管理方法、设备及计算机可读存储介质
技术领域
本发明涉及通信技术领域,尤其涉及情绪管理方法、设备及计算机可读存储介质。
背景技术
随着社会的发展,人们的物质生活越来越丰富,但是,人们的幸福感并没有因为物质生活的满足而不断提升,相反,因为社会竞争所带来的各种压力,越来越多的负面情绪出现在我们的生活之中。据不完全统计,有2亿左右的中国人存在不同程度的心理疾病,保守估计,有3000万中国人患有抑郁症。而这些心理疾病的产生主要是因为大家不注意自己管理自我的情绪,日积月累,最终导致相对严重的心理疾病产生,甚至出现非常恶劣的后果,如自杀。
目前,对用户情绪的管理方式,一般采用摄像头拍照获取用户的人脸信息,然后用图像识别的方式从上述用户的头像中识别出用户的表情信息,从而获知用户的情绪,但这种识别方式对表情识别的准确度较低,进而导致对用户情绪的判断不够准确,用户体验较差,这种用户情绪管理方式也不能实现对用户情绪进行管理和调节的作用。
发明内容
本发明的主要目的在于提出一种情绪管理方法、设备及计算机可读存储介质,旨在解决用户情绪不易发现,用户情绪不易管理和调节的技术问题。
为实现上述目的,本发明提供一种情绪管理方法,所述情绪管理方法包括如下步骤:
获取用户的语音特征数据和身体特征数据;
对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果;
根据所述用户情绪结果和预设规则对所述用户进行情绪管理。
可选地,所述根据所述用户情绪结果和预设规则对所述用户进行情绪管理的步骤,包括:
根据所述用户情绪结果和预设音乐规则对所述用户进行情绪管理。
可选地,所述根据所述用户情绪结果和预设规则对所述用户进行情绪管理的步骤,包括:
根据所述用户情绪结果和预设教练规则对所述用户进行情绪管理。
可选地,所述根据所述用户情绪结果和预设规则对所述用户进行情绪管理的步骤,包括:
当所述用户情绪结果为预设情绪结果时,将所述用户情绪结果发送至情绪管理机构;
接收所述情绪管理机构根据所述用户情绪结果返回的情绪干预信息;
根据情绪干预信息对所述用户进行情绪管理。
可选地,所述对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果的步骤,包括:
对所述语音特征数据进行处理,得到用户语音情绪结果;
对所述身体特征数据进行处理,得到用户身体情绪结果;
根据所述用户身体情绪结果对所述用户语音情绪结果进行验证,确定用户情绪结果。
可选地,所述获取用户的语音特征数据和身体特征数据的步骤之后,包括:
获取对话人的情绪相关数据;
对所述情绪相关数据进行处理,得到对话人情绪结果;
所述根据所述用户情绪结果和预设规则对用户进行情绪管理的步骤,包括:
根据所述用户情绪结果、所述对话人情绪结果和预设规则对用户进行情绪管理。
可选地,所述对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果的步骤,包括:
将所述语音特征数据和所述身体特征数据发送至服务器;
接收所述服务器根据所述语音特征数据和所述身体特征数据返回的用户情绪结果。
可选地,所述获取用户的语音特征数据和身体特征数据的步骤,之后包括:
对所述语音特征数据和身体特征数据进行去噪处理。
此外,为实现上述目的,本发明还提供一种设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的情绪管理程序,所述情绪管理程序被所述处理器执行时实现如上所述的情绪管理方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有情绪管理程序,所述情绪管理程序被处理器执行时实现如上所述的情绪管理方法的步骤。
本发明提供了一种情绪管理方法、系统及计算机可读存储介质,获取用户的语音特征数据和身体特征数据;对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果;根据所述用户情绪结果和预设规则对所述用户进行情绪管理。通过上述方式,本发明能够实现发现用户情绪变化的功能,实现管理和调节用户情绪的功能。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图;
图2为本发明情绪管理方法第一实施例的流程示意图;
图3为本发明情绪管理方法第二实施例的流程示意图;
图4为本发明情绪管理方法第三实施例的流程示意图;
图5为本发明情绪管理方法第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:获取用户的语音特征数据和身体特征数据;对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果;根据所述用户情绪结果和预设规则对所述用户进行情绪管理。
现有的对用户情绪的管理方式,一般采用摄像头拍照获取用户的人脸信息,然后用图像识别的方式从上述用户的头像中识别出用户的表情信息,从而获知用户的情绪,但这种识别方式对表情识别的准确度较低,进而导致对用户情绪的判断不够准确,用户体验较差,这种用户情绪管理方式也不能实现对用户情绪进行管理和调节的作用。
本发明旨在解决用户情绪不易发现,用户情绪不易管理和调节的技术问题。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是PC,也可以是智能手机、平板电脑等具有显示功能的可移动式终端设备。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
优选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及情绪管理程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的情绪管理程序,并执行以下操作:
获取用户的语音特征数据和身体特征数据;对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果;根据所述用户情绪结果和预设规则对所述用户进行情绪管理。
进一步地,处理器1001可以调用存储器1005中存储的情绪管理程序,还执行以下操作:
根据所述用户情绪结果和预设音乐规则对所述用户进行情绪管理。
进一步地,处理器1001可以调用存储器1005中存储的情绪管理程序,还执行以下操作:
根据所述用户情绪结果和预设教练规则对所述用户进行情绪管理。
进一步地,处理器1001可以调用存储器1005中存储的情绪管理程序,还执行以下操作:
当所述用户情绪结果为预设情绪结果时,将所述用户情绪结果发送至情绪管理机构;
接收所述情绪管理机构根据所述用户情绪结果返回的情绪干预信息;
根据情绪干预信息对所述用户进行情绪管理。
进一步地,处理器1001可以调用存储器1005中存储的情绪管理程序,还执行以下操作:
对所述语音特征数据进行处理,得到用户语音情绪结果;
对所述身体特征数据进行处理,得到用户身体情绪结果;
根据所述用户身体情绪结果对所述用户语音情绪结果进行验证,确定用户情绪结果。
进一步地,处理器1001可以调用存储器1005中存储的情绪管理程序,还执行以下操作:
获取对话人的情绪相关数据;
对所述情绪相关数据进行处理,得到对话人情绪结果;
所述根据所述用户情绪结果和预设规则对用户进行情绪管理的步骤,包括:
根据所述用户情绪结果、所述对话人情绪结果和预设规则对用户进行情绪管理。
进一步地,处理器1001可以调用存储器1005中存储的情绪管理程序,还执行以下操作:
将所述语音特征数据和所述身体特征数据发送至服务器;
接收所述服务器根据所述语音特征数据和所述身体特征数据返回的用户情绪结果。
进一步地,处理器1001可以调用存储器1005中存储的情绪管理程序,还执行以下操作:
对所述语音特征数据和身体特征数据进行去噪处理。
基于上述硬件结构,提出本发明情绪管理方法实施例。
本发明情绪管理方法。
参照图2,图2为本发明情绪管理方法第一实施例的流程示意图。
本发明实施例中,该情绪管理方法应用于情绪管理设备,所述情绪管理方法包括:
步骤S10,获取用户的语音特征数据和身体特征数据;
在本实施例中,为了减小用户因为情绪波动给人带来的影响或者是当用户出现情绪波动的时候给给予用户适当的情绪调节,情绪管理设备主动在预设时间间隔获取用户的语音特征数据和身体特征数据。其中,情绪管理设备可以是用户使用的穿戴设备,如智能眼镜、智能手环或无线耳机等;情绪管理设备可以设置有用于获取用户语音特征数据的麦克风;情绪管理设备还可以设置有人体传感器,其中人体传感器用于获取用户的脑电波、皮肤电导率、心率;情绪管理设备还可以设置有用于获取用户身体是否处于失重状态的加速度传感器;情绪管理设备还可以设置有用于获取用户的体温的温度传感器;情绪管理设备也可以移动终端;情绪管理设备还可以是固定终端;情绪管理设备还可以是情绪识别机构用于识别用户情绪的设备;其中,语音特征数据是通过情绪管理设备的麦克风或者其它采集设备的麦克风采集的用户说话的语音数据;其中,身体特征数据可以是通过情绪管理设备的人体传感器、加速度传感器和/或温度传感器采集的用户说话的身体特征的数据;身体特征数据还可以是通过其它采集设备的人体传感器、加速度传感器和/或温度传感器采集的用户说话的身体特征的数据;身体特征数据可以包括:用户的脑电波、用户的皮肤电导率、用户的心率数据、用户的体温数据、用户的血压数据等。其中,预设时间间隔为便于及时判断和检测用户情绪而设置的,可以设置为1s-1min,具体可以设置为3s、4s、5s、6s、10s等。
步骤S10获取用户的语音特征数据和身体特征数据之后,可以包括:
步骤a,对所述语音特征数据和身体特征数据进行去噪处理。
在本实施例中,情绪管理设备计算语音特征数据和身体特征数据据的优化参数,该优化参数包括:指向性参数和增益参数。
步骤S20,对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果;
在本实施例中,情绪管理设备在获取到用户的语音特征数据和身体特征数据之后,情绪管理设备对用户的语音特征数据和身体特征数据进行处理,得到用户语音情绪结果。其中,用户情绪结果是对用户的语音特征数据和用户的身体特征数据进行处理和计算之后得到的。
步骤S30,根据所述用户情绪结果和预设规则对所述用户进行情绪管理。
在本实施例中,当情绪管理设备得到用户情绪结果之后,情绪管理设备根据用户情绪结果和预设规则对用户进行情绪管理。
例如,当用户的用户语音情绪结果为高兴时,则不对用户进行情绪管理;当用户的用户语音情绪结果为愤怒时,给用户播放一首优美的音乐,或者给用户讲一则寓言故事,转移用户的注意力;当用户的用户语音情绪结果为悲伤时,给用讲一个笑话。
步骤S30根据所述用户情绪结果和预设规则对所述用户进行情绪管理,可以包括:
步骤b,根据所述用户情绪结果和预设音乐规则对所述用户进行情绪管理。
在本实施例中,当情绪管理设备得到用户情绪结果之后,情绪管理设备根据用户情绪结果和预设音乐规则对用户进行情绪管理。其中,预设音乐规则可以是根据得到的用户情绪结果,通过音乐的方式对用户情绪进行调节的规则,例如当用户情绪结果为愤怒时,给用户播放一首优美的音乐,或者将用户播放的音乐的音量进行调节,以达到缓解用户情绪的规则。
步骤S30根据所述用户情绪结果和预设规则对所述用户进行情绪管理,可以包括:
步骤c,根据所述用户情绪结果和预设教练规则对所述用户进行情绪管理。
在本实施例中,当情绪管理设备得到用户情绪结果之后,情绪管理设备根据用户情绪结果和预设教练规则对用户进行情绪管理。其中,预设教练规则可以是根据得到的用户情绪结果,情绪管理设备给用户推荐与用户情绪结果对应的教练的角色,给用户播报一段语言或一段语言故事,用于专业用户的注意力,环境用户的情绪。
步骤S30根据所述用户情绪结果和预设规则对所述用户进行情绪管理,可以包括:
步骤d1,当所述用户情绪结果为预设情绪结果时,将所述用户情绪结果发送至情绪管理机构;
步骤d2,接收所述情绪管理机构根据所述用户情绪结果返回的情绪干预信息;
步骤d3,根据情绪干预信息对所述用户进行情绪管理。
在本实施例中,当用户情绪结果为极端的情绪结果时,或者当用户情绪结果为情绪管理设备不能处理情绪结果时,情绪管理结构将用户情绪管理结果发送至情绪管理机构,以使得情绪管理机构来判断和提供情绪管理的意见;情绪管理机构在接收到情绪管理设备发送的用户情绪结果之后,情绪管理机构对用户情绪结果进行处理和判断,得到通过情绪管理设备进行干预的情绪干预信息,情绪管理机构将情绪干预信息发送至情绪管理设备,情绪管理设备接收情绪管理机构跟用户情绪结果返回的情绪干预信息,情绪管理设备在接收到情绪干预信息之后,情绪管理设备根据情绪干预信息对用户进行情绪管理,调节用户的情绪;其中,情绪干预信息可以是在用户情绪结果较为严重的时候,通过刺激用户的身体调节用户情绪的信息,情绪干预信息还可以是在情绪结果较为严重的时候,推荐情绪管理设备给相应的情绪治疗机构联系,推荐给用户家属将用户转移到情绪治疗机构进行治疗。
本实施例通过上述方案,获取用户的语音特征数据和身体特征数据;对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果;根据所述用户情绪结果和预设规则对所述用户进行情绪管理。由此,实现了及时发现用户情绪变化的功能,实现了管理和调节用户情绪的功能。
进一步地,参照图3,图3为本发明情绪管理方法第二实施例的流程示意图。基于上述图2所示的实施例,步骤S20对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果,可以包括:
步骤S21,对所述语音特征数据进行处理,得到用户语音情绪结果;
在本实施例中,情绪管理设备在获取到用户的语音特征数据之后,情绪管理设备对用户的语音特征数据进行处理,得到用户语音情绪结果。其中,用户语音情绪结果是对用户语音特征数据进行处理和计算之后得到的。
步骤e1,识别所述语音特征数据中包括的关键词信息和语调信息;
在本实施例中,情绪管理设备从语音特征数据中提取关键词信息和语调信息,其中,所述语调信息包括语音数据的音量、语速、音调以及各自的变化趋势中的至少一种。示例性的,可利用分词词库去除语义内容中的无意义的词,同时提取能表明用户情绪的关键词信息;对于识别的语调,筛选其中满足预设条件的作为语调信息,示例性的,将音量超过最大预设阈值和低于最小预设阈值的筛选出来作为一种目标语调,或将语速超过某一预设阈值的也作为语调信息。
步骤e2,根据所述关键词信息和所述语调信息生成语音情绪模型,并将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成用户语音情绪结果。
在本实施例中,情绪管理设备根据关键词信息和语调信息生成语音情绪模型,并将语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成用户语音情绪结果。
步骤e2,根据所述关键词信息和所述语调信息生成语音情绪模型,并将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配生成用户语音情绪结果,可以包括:
步骤e21,根据所述关键词信息和所述语调信息确定语音特征点;
在本实施例中,对识别到的关键词信息和语调信息进一步分析和筛选,确定其中能够明显表明用户情绪的关键词和语调作为语音特征点,其中,语音特征点包括关键词特征点和语调特征点。示例性的,可通过提前建立的情绪敏感词词库对关键词信息进行筛选,并将筛选出的关键词信息确定为关键词特征点,其中,情绪敏感词词库包括用户各种不同情绪下常说的词汇。由于语调信息通常是以波形图的形式展示的,因此可将变化趋势比较明显的点作为语调特征点,例如语速突然加快的点。
步骤e22,根据所述语音特征点生成语音情绪模型,并在所述语音情绪模型中标定所述语音特征点;
在本实施例中,根据确定的语音特征点生成语音情绪模型,以便根据语音情绪模型分析用户情绪。在语音情绪模型上标定语音特征点,其中,语音特征点可以是中确定的语音特征点中的特征更突出的一部分,由此实现了对用户情绪特征的进一步筛选,使得用户的情绪特征更加明显。
步骤e23,将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配,以调整所述语音情绪模型上已标定的所述语音特征点,并记录所述语音特征点的语音特征变化数据;
在本实施例中,情绪管理设备将所述语音情绪模型与情绪模型库中语音标准情绪模型进行匹配,以调整语音情绪模型上已标定的语音特征点进行微调,并记录语音特征点的语音特征变化数据。语音标准情绪模型可以根据用户的日常语音数据和日常语音数据对应的表情而建立的。
步骤e22,将所述语音特征变化数据与情绪模型库中的语调特征数据和心理行为特征数据进行匹配,并根据匹配结果生成用户语音情绪结果。
在本实施例中,根据语音特征点的语音特征变化数据与情绪模型库中的语调特征数据和心理行为特征数据的匹配结果,输出用户情绪或情绪变化数据。
步骤S22,对所述身体特征数据进行处理,得到用户身体情绪结果;
在本实施例中,情绪管理设备在获取到用户的身体特征数据之后,情绪管理设备对用户的身体特征数据进行处理,得到用户身体情绪结果。其中,用户身体情绪结果是对用户的身体特征数据进行处理和计算之后得到的。
步骤S23,根据所述用户身体情绪结果对所述用户语音情绪结果进行验证,确定用户情绪结果;
在本实施例中,情绪管理设备将用户身体情绪结果和用户语音情绪结果按照同一个时间点分别进行比对,如果一个时间点的用户身体情绪结果与用户语音情绪结果不同,则删除该时间点的用户语音情绪结果;如果一个时间点的用户身体情绪结果与用户语音情绪结果相同,则保留该时间点的用户语音情绪结果;当情绪管理设备在将预设时间间隔内的用户语音情绪结果和身体特征时间信息全部一一比对完成之后,将删除比对结果不同用户语音情绪结果之后的用户语音情绪结果保留并查找用户语音情绪结果。
本实施例通过上述方案,获取用户的语音特征数据和身体特征数据;对所述语音特征数据进行处理,得到用户语音情绪结果;对所述身体特征数据进行处理,得到用户身体情绪结果;根据所述用户身体情绪结果对所述用户语音情绪结果进行验证,确定用户情绪结果;根据所述用户情绪结果和预设规则对所述用户进行情绪管理。由此,实现了及时发现用户情绪变化的功能,实现了管理和调节用户情绪的功能。
进一步地,参照图4,图4为本发明情绪管理方法第三实施例的流程示意图。为了更加准确的管理用户的情绪,基于上述图3所示的实施例,步骤S10获取用户的语音特征数据和身体特征数据之后,可以包括:
步骤S40,获取对话人的情绪相关数据;
在本实施例中,情绪管理设备获取到用户的语音特征数据和身体特征数据之后,情绪管理设备可以获取与用户对话的对话人的情绪相关数据;其中情绪相关数据可以是对话人语音数据,可以是对话人人脸数据,还可以是对话人身体特诊数据;其中,情绪管理设备可以设置有用于获取对话人人脸数据的摄像头;其中,对话人人脸数据语音特征数据是通过情绪管理设备的麦克风或者其它采集设备的麦克风采集的用户说话的语音数据;其中,对话人人脸数据语音特征数据是通过情绪管理设备的摄像头或者其它采集设备的头采集的对话人的人脸数据。
步骤S50,对所述情绪相关数据进行处理,得到对话人情绪结果;
在本实施例中,情绪管理设备在获取到对话人的情绪相关数据之后,情绪管理设备对情绪相关数据进行处理,得到对话人情绪结果。其中,对话人情绪结果是对对话人的情绪相关数据进行处理和计算之后得到的。
步骤S40获取对话人的情绪相关数据,可以包括:
步骤f1,获取对话人的对话人语音数据和对话人人脸数据;
在本实施例中,情绪管理设备获取到用户的语音特征数据和身体特征数据之后,情绪管理设备可以获取与用户对话的对话人语音数据和对话人人脸数据。
步骤S50,所述对所述情绪相关数据进行处理,得到确定对话人情绪结果,可以包括:
步骤g1,对所述对话人语音数据进行处理,得到对话人语音情绪结果;
在本实施例中,情绪管理设备在获取到对话人的对话人语音数据之后,情绪管理设备对对话人的对话人语音数据进行处理,得到对话人语音情绪结果。其中,对话人语音情绪结果是对对话人语音数据进行处理和计算之后得到的。
步骤g2,对所述对话人人脸数据进行处理,得到对话人人脸情绪结果;
在本实施例中,情绪管理设备在获取到对话人的对话人人脸数据之后,情绪管理设备对对话人的对话人人脸数据进行处理,得到对话人人脸情绪结果。其中,对话人人脸情绪结果是对对话人人脸数据进行处理和计算之后得到的。
步骤g2对所述对话人人脸数据进行处理,得到对话人人脸情绪结果,可以包括:
步骤g21,识别所述对话人人脸数据中包含的对话人人脸图像信息;
在本实施例中,情绪管理设备从对话人人脸数据中提取对话人人脸图像信息;其中,所述对话人人脸图像信息可以用于表现对话人表情的图像信息,例如,表示对话人快乐的图像,表示对话人悲伤的图像,表示对话人愤怒的图像;可利用情绪管理设备去除对话人人脸图像信息中的无用户面部表情的图像或者由于对话人快速转动或者移动对话人面部表情不清晰的人脸图像。
步骤g22,根据所述对话人人脸图像信息生成对话人人脸情绪模型,并将所述对话人人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成对话人人脸情绪结果。
在本实施例中,情绪管理设备根据对话人人脸图像信息生成对话人人脸情绪模型,并将对话人人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成对话人人脸情绪结果。
步骤g22根据所述对话人人脸图像信息生成对话人人脸情绪模型,并将所述对话人人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配生成对话人人脸情绪结果,可以包括:
步骤g221,根据所述对话人人脸图像信息确定对话人人脸情绪特征点;
在本实施例中,情绪管理设备对识别到的对话人人脸图像信息进一步分析和筛选,确定其中能够明显表明对话人表情的对话人人脸图像,即确定对话人的对话人人脸情绪特征点。
步骤g222,根据所述对话人人脸情绪特征点生成对话人人脸情绪模型,并在所述对话人人脸情绪模型上标定对话人人脸情绪特征点;
在本实施例中,情绪管理设备根据确定的对话人人脸情绪特征点生成对话人人脸情绪模型,以便根据对话人人脸情绪模型分析对话人情绪。在对话人人脸情绪模型上标定对话人人脸情绪特征点,其中,对话人人脸情绪特征点可以是中确定的人脸情绪特征点中的特征更突出的一部分,由此实现了对用户情绪特征的进一步筛选,使得对话人的情绪特征更加明显。
步骤g223,将对话人人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配,以调整所述对话人人脸情绪模型上已标定的所述对话人人脸情绪特征点,并记录所述对话人人脸情绪特征点的对话人人脸变化数据;
在本实施例中,情绪管理设备将将对话人人脸情绪模型与情绪模型库中人脸标准情绪模型进行匹配,以调整对话人人脸情绪模型上已标定的对话人人脸情绪特征点,并记录对话人人脸情绪特征点的对话人人脸特征变化数据。
步骤g224将所述对话人人脸特征变化数据与情绪模型库中的表情特征数据和所述心理行为特征数据进行匹配,并根据匹配结果生成对话人人脸情绪结果。
在本实施例中,情绪管理设备根据对话人人脸特征点的对话人人脸特征变化数据与情绪模型库中的表情特征数据和心理行为特征数据的匹配结果,输出对话人人脸情绪结果。
步骤g3,根据所述对话人人脸情绪结果对所述对话人语音情绪结果进行验证,确定对话人情绪结果。
在本实施例中,情绪管理设备将对话人人脸情绪结果和对话人语音情绪结果按照同一个时间点分别进行比对,如果一个时间点的对话人人脸情绪结果与对话人语音情绪结果不同,则删除该时间点的对话人语音情绪结果;如果一个时间点的对话人人脸情绪结果与对话人语音情绪结果相同,则保留该时间点的对话人语音情绪结果;当情绪管理设备在将预设时间间隔内的对话人语音情绪结果和身体特征时间信息全部一一比对完成之后,将删除比对结果不同对话人语音情绪结果之后的对话人语音情绪结果保留并查找对话人语音情绪结果。
步骤S30所述根据所述用户情绪结果和预设规则对用户进行情绪管理,可以包括:
步骤S31,根据所述用户情绪结果、所述对话人情绪结果和预设规则对用户进行情绪管理。
在本实施例中,当情绪管理设备得到对话人情绪结果和用户情绪结果之后,情绪管理设备根据用户情绪结果、对话人情绪结果和预设规则对用户进行情绪管理。
本实施例通过上述方案,获取用户的语音特征数据和身体特征数据;获取对话人的情绪相关数据;对所述情绪相关数据进行处理,得到对话人情绪结果;对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果;根据所述用户情绪结果、所述对话人情绪结果和预设规则对用户进行情绪管理。由此,实现了及时发现用户情绪变化的功能,实现了管理和调节用户情绪的功能。
进一步地,参照图5,图5为本发明情绪管理方法第四实施例的流程示意图。基于上述图2所示的实施例,步骤S20获取用户的语音特征数据和身体特征数据之后,还可以包括:
步骤S24,将所述语音特征数据和所述身体特征数据发送至服务器;
步骤S25,接收所述服务器根据所述语音特征数据和所述身体特征数据返回的用户情绪结果。
在本实施例中,情绪管理设备在得到用户的语音特征数据和身体特征数据之后,情绪管理设备可以将用户的语音特征数据和身体特征数据发送至云端服务器进行;以便于云端服务器在接收到语音特征数据和身体特征数据之后,云端服务器对语音特征数据和身体特征数据进行处理,云端服务器根据语音特征数据和身体特征数据得到用户情绪结果,云端服务器将得到的用户情绪结果发送至情绪管理设备,情绪管理设备接收云端服务器根据语音特征数据和身体特征数据返回的用户情绪结果。
本实施例通过上述方案,获取用户的语音特征数据和身体特征数据;将所述语音特征数据和所述身体特征数据发送至服务器;接收所述服务器根据所述语音特征数据和所述身体特征数据返回的用户情绪结果;根据所述用户情绪结果和预设规则对所述用户进行情绪管理。由此,实现了及时发现用户情绪变化的功能,实现了管理和调节用户情绪的功能。
本发明还提供一种情绪管理设备。
本发明情绪管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的情绪管理程序,所述情绪管理程序被所述处理器执行时实现如上所述的情绪管理方法的步骤。
其中,在所述处理器上运行的情绪管理程序被执行时所实现的方法可参照本发明情绪管理方法各个实施例,此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有情绪管理程序,所述情绪管理程序被处理器执行时实现如上所述的情绪管理方法的步骤。
其中,在所述处理器上运行的情绪管理程序被执行时所实现的方法可参照本发明情绪管理方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种情绪管理方法,其特征在于,所述情绪管理方法包括如下步骤:
获取用户的语音特征数据和身体特征数据;
对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果;
根据所述用户情绪结果和预设规则对所述用户进行情绪管理。
2.如权利要求1所述的情绪管理方法,其特征在于,所述根据所述用户情绪结果和预设规则对所述用户进行情绪管理的步骤,包括:
根据所述用户情绪结果和预设音乐规则对所述用户进行情绪管理。
3.如权利要求1所述的情绪管理方法,其特征在于,所述根据所述用户情绪结果和预设规则对所述用户进行情绪管理的步骤,包括:
根据所述用户情绪结果和预设教练规则对所述用户进行情绪管理。
4.如权利要求1所述的情绪管理方法,其特征在于,所述根据所述用户情绪结果和预设规则对所述用户进行情绪管理的步骤,包括:
当所述用户情绪结果为预设情绪结果时,将所述用户情绪结果发送至情绪管理机构;
接收所述情绪管理机构根据所述用户情绪结果返回的情绪干预信息;
根据情绪干预信息对所述用户进行情绪管理。
5.如权利要求1所述的情绪管理方法,其特征在于,所述对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果的步骤,包括:
对所述语音特征数据进行处理,得到用户语音情绪结果;
对所述身体特征数据进行处理,得到用户身体情绪结果;
根据所述用户身体情绪结果对所述用户语音情绪结果进行验证,确定用户情绪结果。
6.如权利要求5所述的情绪管理方法,其特征在于,所述获取用户的语音特征数据和身体特征数据的步骤之后,包括:
获取对话人的情绪相关数据;
对所述情绪相关数据进行处理,得到对话人情绪结果;
所述根据所述用户情绪结果和预设规则对用户进行情绪管理的步骤,包括:
根据所述用户情绪结果、所述对话人情绪结果和预设规则对用户进行情绪管理。
7.如权利要求1所述的情绪管理方法,其特征在于,所述对所述语音特征数据和所述身体特征数据进行处理,确定用户情绪结果的步骤,包括:
将所述语音特征数据和所述身体特征数据发送至服务器;
接收所述服务器根据所述语音特征数据和所述身体特征数据返回的用户情绪结果。
8.如权利要求1所述的情绪管理方法,其特征在于,所述获取用户的语音特征数据和身体特征数据的步骤,之后包括:
对所述语音特征数据和身体特征数据进行去噪处理。
9.一种情绪管理设备,其特征在于,所述情绪管理设备包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行的情绪管理程序,所述情绪管理程序被所述处理器执行时实现如权利要求1至8中任一项所述的情绪管理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有情绪管理程序,所述情绪管理程序被处理器执行时实现如权利要求1至8中任一项所述的情绪管理方法的步骤。
CN201980003396.6A 2019-12-30 2019-12-30 情绪管理方法、设备及计算机可读存储介质 Active CN111149172B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/130021 WO2021134250A1 (zh) 2019-12-30 2019-12-30 情绪管理方法、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111149172A true CN111149172A (zh) 2020-05-12
CN111149172B CN111149172B (zh) 2021-05-11

Family

ID=70525128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980003396.6A Active CN111149172B (zh) 2019-12-30 2019-12-30 情绪管理方法、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111149172B (zh)
WO (1) WO2021134250A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724880A (zh) * 2020-06-09 2020-09-29 百度在线网络技术(北京)有限公司 用户情绪调节方法、装置、设备和可读存储介质
CN112464018A (zh) * 2020-12-10 2021-03-09 山西慧虎健康科技有限公司 一种智能情绪识别调节方法及系统
TWI823055B (zh) * 2020-12-09 2023-11-21 英華達股份有限公司 電子資源推送方法及系統

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010051535A1 (en) * 2000-06-13 2001-12-13 Minolta Co., Ltd. Communication system and communication method using animation and server as well as terminal device used therefor
CN103829958A (zh) * 2014-02-19 2014-06-04 广东小天才科技有限公司 一种监测人情绪的方法及装置
CN104735234A (zh) * 2013-12-21 2015-06-24 陕西荣基实业有限公司 可测量心情的电话
CN206470693U (zh) * 2017-01-24 2017-09-05 广州幻境科技有限公司 一种基于可穿戴设备的情绪识别系统
CN107343095A (zh) * 2017-06-30 2017-11-10 广东欧珀移动通信有限公司 通话音量控制方法、装置、存储介质及终端
CN206946938U (zh) * 2017-01-13 2018-01-30 深圳大森智能科技有限公司 智能机器人主动服务系统
CN108305640A (zh) * 2017-01-13 2018-07-20 深圳大森智能科技有限公司 智能机器人主动服务方法与装置
CN108742516A (zh) * 2018-03-26 2018-11-06 浙江广厦建设职业技术学院 智能家居的情绪测调系统及方法
CN109803572A (zh) * 2016-07-27 2019-05-24 生物说股份有限公司 用于测量和管理生理情绪状态的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295299A (zh) * 2016-08-15 2017-01-04 歌尔股份有限公司 一种智能机器人的用户注册方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010051535A1 (en) * 2000-06-13 2001-12-13 Minolta Co., Ltd. Communication system and communication method using animation and server as well as terminal device used therefor
CN104735234A (zh) * 2013-12-21 2015-06-24 陕西荣基实业有限公司 可测量心情的电话
CN103829958A (zh) * 2014-02-19 2014-06-04 广东小天才科技有限公司 一种监测人情绪的方法及装置
CN109803572A (zh) * 2016-07-27 2019-05-24 生物说股份有限公司 用于测量和管理生理情绪状态的系统和方法
CN206946938U (zh) * 2017-01-13 2018-01-30 深圳大森智能科技有限公司 智能机器人主动服务系统
CN108305640A (zh) * 2017-01-13 2018-07-20 深圳大森智能科技有限公司 智能机器人主动服务方法与装置
CN206470693U (zh) * 2017-01-24 2017-09-05 广州幻境科技有限公司 一种基于可穿戴设备的情绪识别系统
CN107343095A (zh) * 2017-06-30 2017-11-10 广东欧珀移动通信有限公司 通话音量控制方法、装置、存储介质及终端
CN108742516A (zh) * 2018-03-26 2018-11-06 浙江广厦建设职业技术学院 智能家居的情绪测调系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724880A (zh) * 2020-06-09 2020-09-29 百度在线网络技术(北京)有限公司 用户情绪调节方法、装置、设备和可读存储介质
TWI823055B (zh) * 2020-12-09 2023-11-21 英華達股份有限公司 電子資源推送方法及系統
CN112464018A (zh) * 2020-12-10 2021-03-09 山西慧虎健康科技有限公司 一种智能情绪识别调节方法及系统
WO2022121113A1 (zh) * 2020-12-10 2022-06-16 山西慧虎健康科技有限公司 一种智能情绪识别调节方法及系统

Also Published As

Publication number Publication date
CN111149172B (zh) 2021-05-11
WO2021134250A1 (zh) 2021-07-08

Similar Documents

Publication Publication Date Title
US10433052B2 (en) System and method for identifying speech prosody
CN108363706B (zh) 人机对话交互的方法和装置、用于人机对话交互的装置
CN111149172B (zh) 情绪管理方法、设备及计算机可读存储介质
US11195542B2 (en) Detecting repetitions in audio data
CN111194465B (zh) 音频活动追踪及概括
CN109558512A (zh) 一种基于音频的个性化推荐方法、装置和移动终端
CN112739253A (zh) 用于肺部状况监测与分析的系统和方法
CN109819167B (zh) 一种图像处理方法、装置和移动终端
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
CN110399837A (zh) 用户情绪识别方法、装置以及计算机可读存储介质
US20180240458A1 (en) Wearable apparatus and method for vocabulary measurement and enrichment
CN110826637A (zh) 情绪识别方法、系统及计算机可读存储介质
CN110400565A (zh) 说话人识别方法、系统及计算机可读存储介质
CN108628819A (zh) 处理方法和装置、用于处理的装置
CN113033245A (zh) 一种功能调节方法、装置、存储介质及电子设备
KR20200092207A (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
CN110728993A (zh) 一种变声识别方法及电子设备
CN109102813B (zh) 声纹识别方法、装置、电子设备和存储介质
CN110827834B (zh) 声纹注册方法、系统及计算机可读存储介质
WO2019235190A1 (ja) 情報処理装置、情報処理方法、プログラム及び対話システム
KR20210100831A (ko) 인공지능 기반 수어통역 서비스 제공 시스템 및 방법
CN108174030B (zh) 定制化语音控制的实现方法、移动终端及可读存储介质
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
KR20210100832A (ko) 사용자의 감정상태를 판단하는 인공지능 기반 수어통역 서비스 제공 시스템 및 방법
US20240119930A1 (en) Artificial intelligence device and operating method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220316

Address after: The first floor, the second floor, the third floor, the fourth floor, and the second floor of the second building in Xinhao first industrial zone, Qiaotou community, Fuhai street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: SHEN ZHEN TOP-LINK TECHNOLOGIES Co.,Ltd.

Address before: 518000 floor A2, building 2, Xinhao No.1 Industrial Zone, Qiaotou community, Fuhai street, Bao'an District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen yiyousi Technology Co.,Ltd.

TR01 Transfer of patent right