CN106600289A - 一种基于情感计算的智能坐席系统及其现实方法 - Google Patents

一种基于情感计算的智能坐席系统及其现实方法 Download PDF

Info

Publication number
CN106600289A
CN106600289A CN201611092031.XA CN201611092031A CN106600289A CN 106600289 A CN106600289 A CN 106600289A CN 201611092031 A CN201611092031 A CN 201611092031A CN 106600289 A CN106600289 A CN 106600289A
Authority
CN
China
Prior art keywords
detection
module
processing module
central processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611092031.XA
Other languages
English (en)
Inventor
王诚
杨奚诚
熊瑛
邵翔
高波
吴亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei D2s Soft Information Technology Co Ltd
Original Assignee
Hefei D2s Soft Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei D2s Soft Information Technology Co Ltd filed Critical Hefei D2s Soft Information Technology Co Ltd
Priority to CN201611092031.XA priority Critical patent/CN106600289A/zh
Publication of CN106600289A publication Critical patent/CN106600289A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于情感计算的智能坐席系统及其现实方法，包括检测模块、中央处理模块和显示输入模块，所述检测模块和中央处理模块交互式连接，所述显示输入模块和中央处理模块交互式连接。本发明能够智能检测工作人员的在岗状态，根据在岗状态控制环境检测装置的开关，对实时情况进行检测，根据人脸表情识别和环境音量检测，智能判断现场异常情况的出现，在出现异常情况时，自动记录现场情况的图像和语音，便于在出现投诉和纠纷时实时调取当时环境情况，进行查证，避免了大量冗余信息的记录，造成经济成本和时间成本上的浪费。

Description

一种基于情感计算的智能坐席系统及其现实方法
技术领域
本发明涉及坐席系统领域，具体为一种基于情感计算的智能坐席系统及其现实方法。
背景技术
基于营业厅规范管理深化应用的基础上，需要优化客户体验，提高服务质量。
在完成客户业务需求的前提下，提高服务质量，进行优质服务，避免投诉，专利CN105741057A中公开了一种多功能业务柜台辅助工具系统，用来智能检测柜台工作人员的状态等信息，但是现场可能会出现一些客户无理取闹，恶意投诉等行为，所以希望对服务现场进行监控，而不间断的摄像监控及记录，不仅不能抓住重点信息，而且在突发情况的处理时，查询所需的时间也较长，而且现有技术的系统记录数据量大，投入成本过高。
发明内容
本发明旨在现有的智能坐席系统中引入基于情感计算的自动摄录和录音体系，来进行异常服务现场的记录。
本发明的解决方案为提供了一种基于情感计算的智能坐席系统，包括检测模块、中央处理模块和显示输入模块，所述检测模块与中央处理模块交互式连接，所述显示输入模块与中央处理模块交互式连接；所述检测模块包括红外检测装置和环境检测装置，红外检测装置用于检测工作人员在岗状态，并将检测数据发送给中央处理模块；环境检测装置用于根据中央处理模块发送的指令，开启或关闭环境状态的检测；所述中央处理模块，用于接收、处理及存储检测模块发送的检测数据；还用于将处理后的数据，发送给检测模块及显示输入模块；所述显示输入模块，用于接收并显示中央处理模块发送的文字或图像信息，还用于记录客户信息，并发送给中央处理模块。
优选地，所述环境检测装置包括用于检测人员的面部特征的摄像装置、用于记录环境声音的声音获取装置和用于检测环境音量的音量检测装置，所述摄像装置、声音获取装置和音量检测装置分别与所述中央处理模块交互式连接。
优选地，所述中央处理模块包括接口模块和计算处理模块，所述检测模块通过接口模块与计算处理模块交互式连接，所述显示输入模块通过接口模块与计算处理模块交互式连接。
优选地，所述显示输入模块为平板电脑或者触摸式液晶屏。
优选地，还包括与中央处理模块相连的其他输入模块，所述其他输入模块包括键盘、鼠标、扫描仪，所述键盘、鼠标、扫描仪的输出端与中央处理模块的输入端连接。
本发明还提供了一种用于实现基于情感计算的智能坐席系统的方法，其步骤包括：
（1）样本采集：在不同性别、年龄、民族的人群中至少采集500张包括愤怒、厌恶、沮丧、郁闷在内的负面表情样本的源图像并标注，作为训练样本集；
（2）模型训练：建立人脸表情识别模型，将采集到的源图像及标注作为模型的输入，对模型进行迭代训练；
（3）数据采集：通过红外检测装置检测工作人员是否在岗状态，并将检测数据发送给中央处理模块，中央处理模块判断工作人员为在岗状态时，发送开启指令给环境检测装置进行环境状态的检测，并持续接收环境检测装置所发送的环境检测数据，该环境检测数据包括环境声音数据和环境图像数据；
（4）数据处理：中央处理模块对采集到的环境检测数据进行处理，判断当前环境下的人员的情感状态是否处于异常情况：
A．人脸表情识别：根据训练好的人脸表情识别模型，对环境检测装置拍摄的图像进行处理，对图像中的人脸做表情识别，如果图像中人脸的负面表情时间超过预设的时间阈值时，则判定为异常情况出现；
B．环境音量检测：如果环境检测装置检测的环境音量分贝的变化率超过+50%，并超过预设的音量阈值时，则判定为异常状态出现；
（5）数据储存：根据上述数据处理结果，如果现场判定为异常状态时，则中央处理模块对上述异常状态的数据进行储存，并与相应的人员信息链接。
本发明的有益效果为：
由上述技术方案可知，本发明能够智能检测工作人员的在岗状态，根据在岗状态控制环境检测装置的开关，对实时情况进行检测，根据人脸表情识别和环境音量检测，智能判断现场异常情况的出现，在出现异常情况时，自动记录现场情况的图像和语音，便于在出现投诉和纠纷时实时调取当时环境情况，进行查证，避免了大量冗余信息的记录，造成经济成本和时间成本上的浪费。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明的系统示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明的实施方式，如附图1所示，本发明提供了一种基于情感计算的智能坐席系统，包括检测模块200、中央处理模块100、显示输入模块300和其他输入模块400，所述检测模块200包括红外检测装置220和环境检测装置210，中央处理模块100包括交互式连接的接口模块102和计算处理模块101，红外检测装置220的输出端与接口模块102的输入端相连；环境检测装置210包括摄像装置213、声音获取装置212和音量检测装置211，它们分别与接口模块102交互式连接；所述其他输入模块400包括键盘、鼠标、扫描仪，所述键盘、鼠标、扫描仪，它们的输出端分别与接口模块102的输入端连接；显示输入模块300为平板电脑或者触摸式液晶屏，它们分别与接口模块102交互式连接。
本发明还提供了一种用于实现基于情感计算的智能坐席系统的方法，其步骤包括：
（1）样本采集：在不同性别、年龄、民族的人群中至少采集500张包括愤怒、厌恶、沮丧、郁闷在内的负面表情样本的源图像并标注，作为训练样本集；
（2）模型训练：建立人脸表情识别模型，将采集到的源图像及标注作为模型的输入，对模型进行迭代训练；
（3）数据采集：通过红外检测装置检测工作人员是否在岗状态，并将检测数据发送给中央处理模块，中央处理模块判断工作人员为在岗状态时，发送开启指令给环境检测装置进行环境状态的检测，并持续接收环境检测装置所发送的环境检测数据，该环境检测数据包括环境声音数据和环境图像数据；
（4）数据处理：中央处理模块对采集到的环境检测数据进行处理，判断当前环境下的人员的情感状态是否处于异常情况：
A．人脸表情识别：根据训练好的人脸表情识别模型，对环境检测装置拍摄的图像进行处理，对图像中的人脸做表情识别，如果图像中人脸的负面表情时间超过预设的时间阈值时，则判定为异常情况出现；
B．环境音量检测：如果环境检测装置检测的环境音量分贝的变化率超过+50%，并超过预设的音量阈值时，则判定为异常状态出现；
（5）数据储存：根据上述数据处理结果，如果现场判定为异常状态时，则中央处理模块对上述异常状态的数据进行储存，直到服务结束或者现场恢复正常一段时间（时间长度可设置），记录的现场情况，可以根据相应的客户号，处理单号进行绑定，并与相应的人员信息链接。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种基于情感计算的智能坐席系统，包括检测模块、中央处理模块和显示输入模块，其特征在于：所述检测模块与中央处理模块交互式连接，所述显示输入模块与中央处理模块交互式连接；
所述检测模块包括红外检测装置和环境检测装置，红外检测装置用于检测工作人员在岗状态，并将检测数据发送给中央处理模块；环境检测装置用于根据中央处理模块发送的指令，开启或关闭环境状态的检测；
所述中央处理模块，用于接收、处理及存储检测模块发送的检测数据；还用于将处理后的数据，发送给检测模块及显示输入模块；
所述显示输入模块，用于接收并显示中央处理模块发送的文字或图像信息，还用于记录客户信息，并发送给中央处理模块。
2.如权利要求1所述的一种基于情感计算的智能坐席系统，其特征在于：所述环境检测装置包括用于检测人员的面部特征的摄像装置、用于记录环境声音的声音获取装置和用于检测环境音量的音量检测装置，所述摄像装置、声音获取装置和音量检测装置分别与所述中央处理模块交互式连接。
3.如权利要求1所述的一种基于情感计算的智能坐席系统，其特征在于：所述中央处理模块包括接口模块和计算处理模块，所述检测模块通过接口模块与计算处理模块交互式连接，所述显示输入模块通过接口模块与计算处理模块交互式连接。
4.如权利要求1所述的一种基于情感计算的智能坐席系统，其特征在于：所述显示输入模块为平板电脑或者触摸式液晶屏。
5.如权利要求1所述的一种基于情感计算的智能坐席系统，其特征在于：还包括与中央处理模块相连的其他输入模块，所述其他输入模块包括键盘、鼠标、扫描仪，所述键盘、鼠标、扫描仪的输出端与中央处理模块的输入端连接。
6.一种用于实现如权利要求1所述的基于情感计算的智能坐席系统的方法，其特征在于，其步骤包括：
（1）样本采集：在不同性别、年龄、民族的人群中至少采集500张包括愤怒、厌恶、沮丧、郁闷在内的负面表情样本的源图像并标注，作为训练样本集；
（2）模型训练：建立人脸表情识别模型，将采集到的源图像及标注作为模型的输入，对模型进行迭代训练；
（3）数据采集：通过红外检测装置检测工作人员是否在岗状态，并将检测数据发送给中央处理模块，中央处理模块判断工作人员为在岗状态时，发送开启指令给环境检测装置进行环境状态的检测，并持续接收环境检测装置所发送的环境检测数据，该环境检测数据包括环境声音数据和环境图像数据；
（4）数据处理：中央处理模块对采集到的环境检测数据进行处理，判断当前环境下的人员的情感状态是否处于异常情况：
A．人脸表情识别：根据训练好的人脸表情识别模型，对环境检测装置拍摄的图像进行处理，对图像中的人脸做表情识别，如果图像中人脸的负面表情时间超过预设的时间阈值时，则判定为异常情况出现；
B．环境音量检测：如果环境检测装置检测的环境音量分贝的变化率超过+50%，并超过预设的音量阈值时，则判定为异常状态出现；
（5）数据储存：根据上述数据处理结果，如果现场判定为异常状态时，则中央处理模块对上述异常状态的数据进行储存，并与相应的人员信息链接。
CN201611092031.XA 2016-12-01 2016-12-01 一种基于情感计算的智能坐席系统及其现实方法 Pending CN106600289A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611092031.XA CN106600289A (zh) 2016-12-01 2016-12-01 一种基于情感计算的智能坐席系统及其现实方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611092031.XA CN106600289A (zh) 2016-12-01 2016-12-01 一种基于情感计算的智能坐席系统及其现实方法

Publications (1)

Publication Number Publication Date
CN106600289A true CN106600289A (zh) 2017-04-26

Family

ID=58594639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611092031.XA Pending CN106600289A (zh) 2016-12-01 2016-12-01 一种基于情感计算的智能坐席系统及其现实方法

Country Status (1)

Country Link
CN (1) CN106600289A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597506A (zh) * 2018-03-13 2018-09-28 广州势必可赢网络科技有限公司 一种智能穿戴设备警示方法及智能穿戴设备
CN109142518A (zh) * 2017-06-27 2019-01-04 田海飞 一种基于噪音检测的窨井及井盖工作状态监控系统
CN111539376A (zh) * 2020-05-11 2020-08-14 南京林业大学 一种基于视频图像的多模态情感识别系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843543A (zh) * 2012-09-17 2012-12-26 华为技术有限公司 视频会议提醒方法、装置和视频会议系统
CN103617657A (zh) * 2013-12-16 2014-03-05 国家电网公司 人员在岗状态监测与显示系统及方法
CN105347127A (zh) * 2014-08-19 2016-02-24 三菱电机上海机电电梯有限公司 电梯轿厢内异常情况的监控系统及监控方法
CN105578392A (zh) * 2015-12-21 2016-05-11 国网辽宁省电力有限公司鞍山供电公司 人员离岗智能监测装置、方法及系统
CN105788012A (zh) * 2014-12-14 2016-07-20 西安天动数字科技有限公司 一种员工在岗监测装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843543A (zh) * 2012-09-17 2012-12-26 华为技术有限公司 视频会议提醒方法、装置和视频会议系统
CN103617657A (zh) * 2013-12-16 2014-03-05 国家电网公司 人员在岗状态监测与显示系统及方法
CN105347127A (zh) * 2014-08-19 2016-02-24 三菱电机上海机电电梯有限公司 电梯轿厢内异常情况的监控系统及监控方法
CN105788012A (zh) * 2014-12-14 2016-07-20 西安天动数字科技有限公司 一种员工在岗监测装置
CN105578392A (zh) * 2015-12-21 2016-05-11 国网辽宁省电力有限公司鞍山供电公司 人员离岗智能监测装置、方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109142518A (zh) * 2017-06-27 2019-01-04 田海飞 一种基于噪音检测的窨井及井盖工作状态监控系统
CN108597506A (zh) * 2018-03-13 2018-09-28 广州势必可赢网络科技有限公司 一种智能穿戴设备警示方法及智能穿戴设备
CN111539376A (zh) * 2020-05-11 2020-08-14 南京林业大学 一种基于视频图像的多模态情感识别系统及方法

Similar Documents

Publication Publication Date Title
WO2019028592A1 (zh) 一种教学辅助方法及采用该方法的教学辅助系统
CN108154304A (zh) 具有教学质量评估功能的服务器
CN107958351A (zh) 教学质量评估云服务平台
CN107945625A (zh) 一种英语发音测试与评价系统
CN107615395A (zh) 用于事件和差错预测的手术室黑盒设备、系统、方法和计算机可读介质
CN103530912A (zh) 一种具有情绪识别功能的考勤系统及方法
CN110009789A (zh) 一种基于生物识别技术的中小学幼儿园校园接送系统
CN102013176A (zh) 在线学习系统
US12001434B2 (en) Method for monitoring user behavior when interacting with content and a system for its implementation
CN106600289A (zh) 一种基于情感计算的智能坐席系统及其现实方法
CN112233690B (zh) 双录方法、装置、终端及存储介质
CN109345156A (zh) 一种基于机器视觉的课堂教学质量评价系统
CN110659397A (zh) 一种行为检测方法、装置、电子设备和存储介质
CN108109445A (zh) 教学课情监控方法
CN101976356A (zh) 网吧实名制人脸识别方法及识别系统
CN112788269B (zh) 视频处理方法、装置、服务器及存储介质
CN107133611A (zh) 一种课堂学生点头率识别与统计方法及装置
CN107277136A (zh) 一种基于校园网的监测系统及监测方法
US20210304339A1 (en) System and a method for locally assessing a user during a test session
CN109889881A (zh) 一种教师课堂教学数据采集系统
CN114760442B (zh) 一种用于在线教育管理用监控系统
CN113505604B (zh) 一种用于心理学教育的在线辅助实验方法、装置及设备
CN106846198A (zh) 一种计算机应用考试系统
CN111241926A (zh) 考勤与学情分析方法、系统、设备及可读存储介质
CN107292583A (zh) 一种基于校园网的管理系统及管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426