CN105496371A - 一种呼叫中心服务人员的情绪监测方法 - Google Patents
一种呼叫中心服务人员的情绪监测方法 Download PDFInfo
- Publication number
- CN105496371A CN105496371A CN201511003083.0A CN201511003083A CN105496371A CN 105496371 A CN105496371 A CN 105496371A CN 201511003083 A CN201511003083 A CN 201511003083A CN 105496371 A CN105496371 A CN 105496371A
- Authority
- CN
- China
- Prior art keywords
- heart rate
- emotion
- feature
- call center
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明提出了一种呼叫中心服务人员的情绪监测方法,结合呼叫中心服务人员工作场景的特点,通过采集和分析服务人员的语音和脉搏信号,监测服务人员的情绪状态,使用光电容积法采集脉搏信号,传感器可以直接安装在耳麦上,丝毫不影响穿戴者的正常工作,而且通过语音和脉搏双重特征分析情绪,可以使识别结果更加准确可靠。
Description
技术领域
本发明涉及电子电路设计、无线通信、语音信号处理、机器学习等多种领域,具体涉及一种呼叫中心服务人员的情绪监测方法。
背景技术
情绪状态非常复杂,由多种明显与不明显的特征体现。主流的情绪识别方法主要有三种:表情、语音和脉搏。在现有的研究中,多数是采用其中一种特征来识别情绪,但是不同的情绪带来的行为与生理反应的多样性使其不可能由一种特征准确反映,因此多特征融合的方式是情绪识别的必然选择。
语音情绪识别在情绪识别领域应用最为广泛,常用的方法为提取语音的梅尔频率倒谱系数(MFCC)、线性预测倒谱系数(LPCC)、基频、短时能量等特征,由于语音特征数量很多,各种特征对不同的情绪有不同的影响,人工选取特征工作量巨大,而且不一定能选取最合适的特征。如果采用深度学习的方法,深度神经网络会从众多特征中学习最有用的特征,从而避免人工选取特征的局限性。
目前应用最广泛的心率检测方法有三种:压力法、心电位法和光电容积法。前两种方式都需要穿戴复杂的检测装置,使被检测者感到不适,而光电容积法正是解决这个问题的有效方法。根据郎伯-比尔(lamber-beer)定律,物质在一定波长处的吸光度和他的浓度成正比,当恒定波长的光照射到人体组织上时,通过人体组织吸收、反射衰减后测量到的光强在一定程度上反映了被照射部位组织的结构特征。因此选择光电容积法作为脉搏检测是一种非常有效的方法。
在无线传输方面,蓝牙4.0显然是最佳之选。蓝牙4.0集传统蓝牙技术、高速技术和低耗能技术于一体,完全向下兼容,包含经典蓝牙技术规范和最高速度24Mbps的蓝牙高速技术规范,更重要的是,超低的能耗使蓝牙芯片用标准纽扣电池可运行一年乃至数年。
发明内容
为解决现有技术中的缺点和不足,使呼叫中心服务人员提供更加优质的服务,本发明提出一种呼叫中心服务人员的情绪监测方法,将语音信号和脉搏相结合,两种特征互相补充,互相修正;使用光电容积法采集脉搏信号,传感器直接安装在耳麦上,同时将脉搏信号通过蓝牙芯片发送到计算机,不仅考虑穿戴舒适度,还考虑到传输速度和能耗;分析过程采用深度学习的方法,避免了人工选取特征的复杂工作和局限性。
本发明的技术方案是这样实现的:
一种呼叫中心服务人员的情绪监测方法,包括语音信号分析和脉搏信号分析两个过程;
在语音信号分析过程中,使用深度学习的方式;
脉搏信号分析过程使用光电容积法采集脉搏信号,计算为心率用作分析;
最后,将语音信号分析与心率分析进行融合,得到最后的情绪结果。
可选地,在语音信号分析过程中,使用深度学习的方式,具体步骤为:
(11)建立深度学习网络,使用标准语音情绪数据库中的语音提取的基频、短时能量、MFCC、LPCC特征对神经网络进行训练,调整参数;
(12)采集语音信号,将语音信号分段,提取语音信号的基频、短时能量、MFCC、LPCC特征,输入训练好的深度神经网络中进行识别,得到识别结果。
可选地,脉搏信号分析过程使用光电容积法采集脉搏信号,计算为心率用作分析,具体步骤为:
(21)设计光电脉搏传感器电路,包括光电检测电路和放大电路,安装到耳麦中;
(22)采集脉搏信号,将模拟信号转换为数字信号,并计算出心率;
(23)将心率发送到计算机,用作心率情绪分析。
可选地,使用反射式测量法对脉搏进行测量。
可选地,将语音信号分析与心率分析进行融合,融合的方式为:在某心率范围下,出现特定的几种情绪,当判断的语音情绪不属于该心率范围内所属的情绪类别,则排除这个样本。
本发明的有益效果是:
(1)深度学习具有自动学习良好的特征,避免了人工选取特征的局限性,减少了复杂的人工操作,适应能力更强;
(2)使用语音与心率两种特征进行分析,避免了单一特征分析产生的偏差,而且两种特征形成互补优势:语音信号包含更多的信息,但人为的克制可能会使语音信号不能完全反应其情绪,心率不能人为控制,但是信息量有限;
(3)光电容积法检测脉搏,电路设计简单,传感器体积小,可以很容易的安装到耳麦上,被监测的服务人员不需要复杂的操作,只需要像以前一样正常工作即可,不会给服务人员带来额外的紧张情绪;
(4)蓝牙4.0集传统蓝牙技术、高速技术和低耗能技术于一体,低耗能使蓝牙芯片可以用标准纽扣电池运行一年乃至数年,无需考虑频繁的更换电池。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明呼叫中心服务人员的情绪监测方法的流程图;
图2为本发明光电脉搏传感器一个实施例的电路原理图;
图3为本发明采集脉搏信号的流程图;
图4为本发明光电容积法反射式测量原理图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明提出了一种呼叫中心服务人员的情绪监测方法,情绪识别分为语音信号分析和脉搏信号分析两个过程。
在语音信号分析过程中,使用深度学习的方式,具体步骤为:
(11)建立深度学习网络,使用标准语音情绪数据库中的语音提取的基频、短时能量、MFCC、LPCC特征对神经网络进行训练,调整参数;
(12)采集语音信号,将语音信号分段,提取语音信号的基频、短时能量、MFCC、LPCC特征,输入训练好的深度神经网络中进行识别,得到识别结果。
脉搏信号分析过程使用光电容积法采集脉搏信号,计算为心率用作分析,具体步骤为:
(21)设计制作光电脉搏传感器电路,电路主要部分包括光电检测电路和放大电路,安装到耳麦中。图2示出了光电脉搏传感器电路的一个具体实施例,但本发明的保护范围并不限于该实施例。本发明使用反射式测量法对脉搏进行测量,其原理如图4所示。
(22)采集脉搏信号,采集过程如图3所示,蓝牙芯片(选用nRF51822)将模拟信号转换为数字信号,并计算出心率。
(23)蓝牙芯片将心率发送到计算机,用作心率情绪分析。
最后,将语音信号分析与心率分析进行融合,得到最后的情绪结果。融合的方式为:在某心率范围下,只能出现特定的几种情绪,当判断的语音情绪不属于该心率范围内所属的情绪类别,则排除这个样本。
本发明呼叫中心服务人员的情绪监测方法,使用了语音与脉搏两种特征进行情绪监测,两种特征互相补充,互相修正,使分析结果更加可靠;光电容积法检测脉搏信号,避免了被检测者复杂的操作和穿戴的不适感,而且传感器很容易安装到耳麦上;深度学习的使用减少了人工选取特征的复杂操作和应用范围的局限性;无线传输使用蓝牙4.0技术,极低的功耗避免了频繁更换电池的操作,使系统更容易维护。
本发明可以对呼叫中心服务人员的情绪状态进行实时监测,当发现服务人员情绪异常时,及时让其停止工作,并且使其休息以调整心态,或者对其错误行为进行指正。这样不仅能够使呼叫中心提供最优质的服务,避免用户不满意投诉,还能够对工作人员进行保护,避免其长时间工作引起的压抑情绪的扩散。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种呼叫中心服务人员的情绪监测方法,其特点在于,包括语音信号分析和脉搏信号分析两个过程;
在语音信号分析过程中,使用深度学习的方式;
脉搏信号分析过程使用光电容积法采集脉搏信号,计算为心率用作分析;
最后,将语音信号分析与心率分析进行融合,得到最后的情绪结果。
2.如权利要求1所述的呼叫中心服务人员的情绪监测方法,其特点在于,在语音信号分析过程中,使用深度学习的方式,具体步骤为:
(11)建立深度学习网络,使用标准语音情绪数据库中的语音提取的基频、短时能量、MFCC、LPCC特征对神经网络进行训练,调整参数;
(12)采集语音信号,将语音信号分段,提取语音信号的基频、短时能量、MFCC、LPCC特征,输入训练好的深度神经网络中进行识别,得到识别结果。
3.如权利要求1所述的呼叫中心服务人员的情绪监测方法,其特点在于,脉搏信号分析过程使用光电容积法采集脉搏信号,计算为心率用作分析,具体步骤为:
(21)设计光电脉搏传感器电路,包括光电检测电路和放大电路,安装到耳麦中;
(22)采集脉搏信号,将模拟信号转换为数字信号,并计算出心率;
(23)将心率发送到计算机,用作心率情绪分析。
4.如权利要求3所述的呼叫中心服务人员的情绪监测方法,其特点在于,使用反射式测量法对脉搏进行测量。
5.如权利要求1所述的呼叫中心服务人员的情绪监测方法,其特点在于,将语音信号分析与心率分析进行融合,融合的方式为:在某心率范围下,出现特定的几种情绪,当判断的语音情绪不属于该心率范围内所属的情绪类别,则排除这个样本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511003083.0A CN105496371A (zh) | 2015-12-21 | 2015-12-21 | 一种呼叫中心服务人员的情绪监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511003083.0A CN105496371A (zh) | 2015-12-21 | 2015-12-21 | 一种呼叫中心服务人员的情绪监测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105496371A true CN105496371A (zh) | 2016-04-20 |
Family
ID=55704943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511003083.0A Pending CN105496371A (zh) | 2015-12-21 | 2015-12-21 | 一种呼叫中心服务人员的情绪监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105496371A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106205247A (zh) * | 2016-08-31 | 2016-12-07 | 陈龙胜 | 一种具备提醒功能的智能教具 |
CN106264568A (zh) * | 2016-07-28 | 2017-01-04 | 深圳科思创动实业有限公司 | 非接触式情绪检测方法和装置 |
CN106419936A (zh) * | 2016-09-06 | 2017-02-22 | 深圳欧德蒙科技有限公司 | 一种基于脉搏波时间序列分析的情绪分类方法及装置 |
CN111407243A (zh) * | 2020-03-23 | 2020-07-14 | 华南理工大学 | 一种基于深度学习的脉搏信号压力识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102874259A (zh) * | 2012-06-15 | 2013-01-16 | 浙江吉利汽车研究院有限公司杭州分公司 | 一种汽车驾驶员情绪监视及车辆控制系统 |
CN103248771A (zh) * | 2012-02-13 | 2013-08-14 | 塔塔咨询服务有限公司 | 用于呼叫中心对话的对话质量监视的系统及其方法 |
CN103829958A (zh) * | 2014-02-19 | 2014-06-04 | 广东小天才科技有限公司 | 一种监测人情绪的方法及装置 |
CN104699972A (zh) * | 2015-03-18 | 2015-06-10 | 小米科技有限责任公司 | 情绪识别提醒方法及装置 |
CN204765586U (zh) * | 2015-06-30 | 2015-11-18 | 深圳欧德蒙科技有限公司 | 一种腕式脉搏记录和分析装置 |
CN105069318A (zh) * | 2015-09-12 | 2015-11-18 | 宁波江东泓源工业设计有限公司 | 一种情绪分析方法 |
CN105193431A (zh) * | 2015-09-02 | 2015-12-30 | 杨静 | 一种人体精神压力状态分析装置 |
-
2015
- 2015-12-21 CN CN201511003083.0A patent/CN105496371A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103248771A (zh) * | 2012-02-13 | 2013-08-14 | 塔塔咨询服务有限公司 | 用于呼叫中心对话的对话质量监视的系统及其方法 |
CN102874259A (zh) * | 2012-06-15 | 2013-01-16 | 浙江吉利汽车研究院有限公司杭州分公司 | 一种汽车驾驶员情绪监视及车辆控制系统 |
CN103829958A (zh) * | 2014-02-19 | 2014-06-04 | 广东小天才科技有限公司 | 一种监测人情绪的方法及装置 |
CN104699972A (zh) * | 2015-03-18 | 2015-06-10 | 小米科技有限责任公司 | 情绪识别提醒方法及装置 |
CN204765586U (zh) * | 2015-06-30 | 2015-11-18 | 深圳欧德蒙科技有限公司 | 一种腕式脉搏记录和分析装置 |
CN105193431A (zh) * | 2015-09-02 | 2015-12-30 | 杨静 | 一种人体精神压力状态分析装置 |
CN105069318A (zh) * | 2015-09-12 | 2015-11-18 | 宁波江东泓源工业设计有限公司 | 一种情绪分析方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106264568A (zh) * | 2016-07-28 | 2017-01-04 | 深圳科思创动实业有限公司 | 非接触式情绪检测方法和装置 |
CN106264568B (zh) * | 2016-07-28 | 2019-10-18 | 深圳科思创动实业有限公司 | 非接触式情绪检测方法和装置 |
CN106205247A (zh) * | 2016-08-31 | 2016-12-07 | 陈龙胜 | 一种具备提醒功能的智能教具 |
CN106419936A (zh) * | 2016-09-06 | 2017-02-22 | 深圳欧德蒙科技有限公司 | 一种基于脉搏波时间序列分析的情绪分类方法及装置 |
WO2018045623A1 (zh) * | 2016-09-06 | 2018-03-15 | 深圳欧德蒙科技有限公司 | 一种基于脉搏波时间序列分析的情绪分类方法及装置 |
CN111407243A (zh) * | 2020-03-23 | 2020-07-14 | 华南理工大学 | 一种基于深度学习的脉搏信号压力识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105496371A (zh) | 一种呼叫中心服务人员的情绪监测方法 | |
Wang et al. | An optimal set of flesh points on tongue and lips for speech-movement classification | |
CN103327886A (zh) | 光学测量装置和用于光学测量的方法 | |
CN104850231B (zh) | 一种基于表面肌电和肌音信号融合的人机接口系统 | |
CN111262637B (zh) | 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法 | |
CN105266780A (zh) | 智能穿戴设备及生物特征信息的检测方法 | |
CN105380609A (zh) | 基于多光谱的皮肤检测方法与系统 | |
EP1386584A4 (en) | APPARATUS FOR EVALUATING HUMAN FACTORS ACCORDING TO CHAOS THEORY | |
CN103892830A (zh) | 一种基于人体皮肤电阻变化的情绪检测方法及系统 | |
CN110070888A (zh) | 一种基于卷积神经网络的帕金森语音识别方法 | |
CN112631112A (zh) | 一种多功能健康监测智能手表及其控制方法 | |
Zhou et al. | Gammatone spectral latitude features extraction for pathological voice detection and classification | |
Yunusova et al. | Classifications of vocalic segments from articulatory kinematics: Healthy controls and speakers with dysarthria | |
CN111144436A (zh) | 基于可穿戴设备的情绪压力筛查及危机预警方法和装置 | |
US20210027777A1 (en) | Method for monitoring phonation and system thereof | |
CN115702782A (zh) | 基于深度学习的心率检测方法及可穿戴设备 | |
CN110827980B (zh) | 一种基于声学指标的构音障碍分级评估方法 | |
CN103519785B (zh) | 基于实时语音多维建模的语音障碍多维测量系统及其方法 | |
Aharonson et al. | A real-time phoneme counting algorithm and application for speech rate monitoring | |
CN108766462B (zh) | 一种基于梅尔频谱一阶导数的语音信号特征学习方法 | |
Guarin et al. | Video-based facial movement analysis in the assessment of bulbar amyotrophic lateral sclerosis: clinical validation | |
Slis et al. | Analysing spectral changes over time to identify articulatory impairments in dysarthria | |
CN113764099A (zh) | 基于人工智能的心理状态分析方法、装置、设备及介质 | |
CN205215187U (zh) | 基于多光谱的皮肤检测系统 | |
KR20040052973A (ko) | 감성전화기 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160420 |
|
RJ01 | Rejection of invention patent application after publication |