CN111241256A - 一种用于优化机器人对话质量的系统 - Google Patents

一种用于优化机器人对话质量的系统 Download PDF

Info

Publication number
CN111241256A
CN111241256A CN201911408456.0A CN201911408456A CN111241256A CN 111241256 A CN111241256 A CN 111241256A CN 201911408456 A CN201911408456 A CN 201911408456A CN 111241256 A CN111241256 A CN 111241256A
Authority
CN
China
Prior art keywords
user
answer
question
expression
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911408456.0A
Other languages
English (en)
Inventor
杨硕
林文辉
孙科武
王芳
王志刚
刘振宇
王亚平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisino Corp
Original Assignee
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisino Corp filed Critical Aisino Corp
Priority to CN201911408456.0A priority Critical patent/CN111241256A/zh
Publication of CN111241256A publication Critical patent/CN111241256A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于优化机器人对话质量的系统，包括：表情采集模块，用于对处于人机问答的用户的表情进行采集；表情分类模块，用于在人机问答结束时，将获得的用户的表情进行分类；满意度反馈模块，用于根据采集点前后的表情分类，判断用户对此次问答是否满意；优化模块，用于根据所述满意度优化机器人的对话质量，解决现有技术由于不能及时获得当前问答的满意度，不能针对性的优化智能客服系统问答质量的问题。

Description

一种用于优化机器人对话质量的系统
技术领域
本申请涉及人工智能领域，具体涉及一种于优化机器人对话质量的系统。
背景技术
根据机器人的应用环境，国际机器人联盟(IFR)将机器人分为工业机器人和服务机器人。本发明专利依托的移动服务机器人可以提供开机、智能问答、地图导航、主动问好、广告宣传、产品讲解、业务办理、人脸签到、业务深度定制等功能。
将税务业务的智能客服系统应用于移动机器人端，并扩展产品形态打造具备业务交互价值的服务机器人，为企业提供拟人化的服务机器人场景交互解决方案。其中，语音智能问答在移动服务机器人是起着至关重要的作用，它不仅负责业务方向的智能问答，还负责机器人的控制及其他操作，语音的操作提高了服务机器人的智能化水平，也提升了人机的交互感受，舍弃了手指触屏的交互方式，直接通过语音，更接近类人的感觉。在web、微信等渠道中，智能客服系统可以通过给客户发送链接，推送回访等机制，获得客户对本次服务等评价，来有针对性的优化智能客服系统问答质量。
现有的客服系统认为，认为客户的满意度是一个合适反馈机制。当问答结束，或者问答已经长久没有活动，问答窗口会给出提示让客服给此次服务一个评价，评价此次会话回答的是否正确。但是在实际运用中，发现了大部分用户对服务反馈是不积极的。所以，由于不能及时获得当前问答的满意度，不能针对性的优化智能客服系统问答质量。
发明内容
本申请提供一种用于优化机器人对话质量的系统，解决现有技术由于不能及时获得当前问答的满意度，不能针对性的优化智能客服系统问答质量的问题。
本申请提供一种用于优化机器人对话质量的系统，包括：
表情采集模块，用于对处于人机问答的用户的表情进行采集；
表情分类模块，用于在人机问答结束时，将获得的用户的表情进行分类；
满意度反馈模块，用于根据采集点前后的表情分类，判断用户对此次问答是否满意；
优化模块，用于根据所述满意度优化机器人的对话质量。
优选的，表情采集模块，用于对处于人机问答的用户的表情进行采集，包括：
在用户获得机器人的一个回答后，通过人像采集装置采集用户的人脸图像；
使用预先构建的神经网络模型，输出人脸图像对应的表情。
优选的，所述人脸图像，通过采集装置获取。
优选的，使用预先构建的神经网络模型，输出人脸图像对应的表情，包括：
使用预先构建的人脸识别模型，获取人脸区域；
使用预先构建的表情识别模型，输出人脸区域对应的表情。
优选的，表情分类模块，用于在人机问答结束时，将获得的用户的表情进行分类，包括：
在用户提出下一个问答或人像采集装置无法捕捉到用户时，此次人机问答结束；
将获得的用户表情分为生气、害怕、厌恶、开心、悲伤和吃惊；
将开心归类为正向反馈，将吃惊归类为中性反馈，将生气、害怕、厌恶、悲伤归类为负向反馈。
优选的，满意度反馈模块，用于根据采集点前后的表情分类，判断用户对此次问答是否满意，包括：
若用户表情的前后都是正向反馈时，认为用户对此次问答满意；
若用户表情的前后都是负向反馈时，认为用户对此次问答不满意。
优选的，优化模块，用于根据所述满意度优化机器人的对话质量，包括：
当用户对此次问答满意时，将本次回答的匹配对权值提高；
当用户对此次问答不满意时，将本次回答的匹配对权值降低；
使用此次问答满意度作为训练数据，对机器人对话处理模型进行再训练，以优化机器人的对话质量。
本申请提供一种用于优化机器人对话质量的系统，通过对处于人机问答的用户的表情进行采集，对表情进行分类，根据表情分类，判断用户对此次问答是否满意，根据所述满意度优化机器人的对话质量，解决现有技术由于不能及时获得当前问答的满意度，不能针对性的优化智能客服系统问答质量的问题。
附图说明
图1是本申请提供的一种用于优化机器人对话质量的系统的结构图；
图2是本申请涉及的表情采集模块采集表情的流程图；
图3是本申请涉及的表情满意度反馈模块识别满意度的流程图；
图4是本申请涉及的优化模块优化机器人的对话质量的流程图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
图1是本申请提供的一种用于优化机器人对话质量的系统100的结构图，所述系统包括：
表情采集模块110，用于对处于人机问答的用户的表情进行采集；
表情分类模块120，用于在人机问答结束时，将获得的用户的表情进行分类；
满意度反馈模块130，用于根据采集点前后的表情分类，判断用户对此次问答是否满意；
优化模块140，用于根据所述满意度优化机器人的对话质量。
表情采集模块，在用户获得机器人的一个回答后，通过人像采集装置采集用户的人脸图像；使用预先构建的人脸识别模型，获取人脸区域；
使用预先构建的神经网络模型，输出人脸图像对应的表情，包括：使用预先构建的人脸识别模型，获取人脸区域；使用预先构建的表情识别模型，输出人脸区域对应的表情。人脸图像，通过采集装置获取。
表情分类模块，在用户提出下一个问答或人像采集装置无法捕捉到用户时，此次人机问答结束；将获得的用户表情分为生气、害怕、厌恶、开心、悲伤和吃惊；将开心归类为正向反馈，将吃惊归类为中性反馈，将生气、害怕、厌恶、悲伤归类为负向反馈。与语言或者肢体语言一样，人的表情能够反映人们对事物的好恶。本发明建立在人脸识别技术和表情识别技术的基础之上。人脸识别技术和表情识别技术可以使用摄像头作为识别信息获取装置，然后通过将所获取的图像与预先学习而得到的数据库比对、分析、处理，从而完成识别过程。在表情识别技术中所采用的预先学习而得到的数据库，通常是以喜怒哀乐作为基本表情，并且集合人相关的形体及肢体语言，综合而得到的。目前，对于人脸识别技术和表情识别技术均已有成熟的商用算法和接口。图2，是表情采集模块采集表情的流程图，待用户获得机器人的一个回答后，开始采样用户的表情；待用户获得下一个问答或者视频采集装置已经发现无法捕捉到用户的时候，结束此次采集。
满意度反馈模块，若用户表情的前后都是正向反馈时，认为用户对此次问答满意；若用户表情的前后都是负向反馈时，认为用户对此次问答不满意。图3是表情满意度反馈模块识别满意度的流程图，对输入的表情数据进行分类，然后判断是正向表情还是负向表情，用户表情的前后都是正向表情时，是正向反馈，用户表情的前后都是负向表情时，是负向反馈。例如，当吃惊的表情前后都是开心时，认为此次是正向反馈，当吃惊的表情前后时负面情感时，认为此次时一个负向反馈。
优化模块，当用户对此次问答满意时，将本次回答的匹配对权值提高；当用户对此次问答不满意时，将本次回答的匹配对权值降低；使用此次问答满意度作为训练数据，对机器人对话处理模型进行再训练，以优化机器人的对话质量。图4是优化模块优化机器人的对话质量的流程图，当用户对此次问答满意时，获得正向反馈时，认为本次问题回符答的正确率较高，对本次匹配提高权值。相反的不满意时，对本次匹配降低权值。
机器人对话处理包括问题处理与理解模块，知识检索模块，匹配模块、答案生成模块和答案处理模块。问题依次经过这五个模块后获得一个答案返回给客户。对话系统是无法自我鉴定出本次会话的答案是否是真正的正确匹配，所以需要用户给出反馈。一般的客服系统认为，客户的满意度是一个合适反馈机制。当问答结束，或者问答已经长久没有活动，问答窗口会给出提示让客服给此次服务一个评价，评价此次会话回答的是否正确。其中，每个轮次的回答可以作为一个反馈，输入到匹配模块中。当反馈本次回答到准确率较高时，则给予本次匹配一个较高的分值；当反馈本次回答的准确率较低时，则给予本次匹配一个较低的分值。简单的，当用户认为本次回答满意，则认为本次匹配是正确的；当用户对此次回答不满意，则认为本次匹配是不正确的。上述反馈输入到匹配模块中，匹配模块会对模型定期进行再训练，训练的一部分依据就来源于反馈信息，将回答满意的匹配对权值提高，将不满意的匹配对权值降低。这样通过用户的反馈，一方面收集了用户的满意度信息，同时也优化了对话质量。
但是在实际运用中，对服务反馈是不积极的，所以，使用表情识别来判断用户是否对本次问答满意，来达到优化对话质量的目的。
本申请提供一种用于优化机器人对话质量的系统，通过对处于人机问答的用户的表情进行采集，对表情进行分类，根据表情分类，判断用户对此次问答是否满意，根据所述满意度优化机器人的对话质量，解决现有技术由于不能及时获得当前问答的满意度，不能针对性的优化智能客服系统问答质量的问题。
最后应该说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种用于优化机器人对话质量的系统，其特征在于，包括：
表情采集模块，用于对处于人机问答的用户的表情进行采集；
表情分类模块，用于在人机问答结束时，将获得的用户的表情进行分类；
满意度反馈模块，用于根据采集点前后的表情分类，判断用户对此次问答是否满意；
优化模块，用于根据所述满意度优化机器人的对话质量。
2.根据权利要求1所述的系统，其特征在于，表情采集模块，用于对处于人机问答的用户的表情进行采集，包括：
在用户获得机器人的一个回答后，通过人像采集装置采集用户的人脸图像；
使用预先构建的神经网络模型，输出人脸图像对应的表情。
3.根据权利要求2所述的系统，其特征在于，所述人脸图像，通过采集装置获取。
4.根据权利要求2所述的系统，其特征在于，使用预先构建的神经网络模型，输出人脸图像对应的表情，包括：
使用预先构建的人脸识别模型，获取人脸区域；
使用预先构建的表情识别模型，输出人脸区域对应的表情。
5.根据权利要求1所述的系统，其特征在于，表情分类模块，用于在人机问答结束时，将获得的用户的表情进行分类，包括：
在用户提出下一个问答或人像采集装置无法捕捉到用户时，此次人机问答结束；
将获得的用户表情分为生气、害怕、厌恶、开心、悲伤和吃惊；
将开心归类为正向反馈，将吃惊归类为中性反馈，将生气、害怕、厌恶、悲伤归类为负向反馈。
6.根据权利要求1所述的系统，其特征在于，满意度反馈模块，用于根据采集点前后的表情分类，判断用户对此次问答是否满意，包括：
若用户表情的前后都是正向反馈时，认为用户对此次问答满意；
若用户表情的前后都是负向反馈时，认为用户对此次问答不满意。
7.根据权利要求1所述的系统，其特征在于，优化模块，用于根据所述满意度优化机器人的对话质量，包括：
当用户对此次问答满意时，将本次回答的匹配对权值提高；
当用户对此次问答不满意时，将本次回答的匹配对权值降低；
使用此次问答满意度作为训练数据，对机器人对话处理模型进行再训练，以优化机器人的对话质量。
CN201911408456.0A 2019-12-31 2019-12-31 一种用于优化机器人对话质量的系统 Pending CN111241256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911408456.0A CN111241256A (zh) 2019-12-31 2019-12-31 一种用于优化机器人对话质量的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911408456.0A CN111241256A (zh) 2019-12-31 2019-12-31 一种用于优化机器人对话质量的系统

Publications (1)

Publication Number Publication Date
CN111241256A true CN111241256A (zh) 2020-06-05

Family

ID=70871847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911408456.0A Pending CN111241256A (zh) 2019-12-31 2019-12-31 一种用于优化机器人对话质量的系统

Country Status (1)

Country Link
CN (1) CN111241256A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112171676A (zh) * 2020-09-30 2021-01-05 江苏迪迪隆机器人科技发展有限公司 一种提高机器人仿生能力的方法和装置
CN112711656A (zh) * 2021-01-06 2021-04-27 北京中科深智科技有限公司 一种聊天机器人构建方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN105930372A (zh) * 2016-04-12 2016-09-07 华南师范大学 基于多次反馈的情感机器人对话方法、系统以及机器人
CN106202159A (zh) * 2016-06-23 2016-12-07 深圳追科技有限公司 一种客服系统的人机交互方法
CN107645523A (zh) * 2016-07-21 2018-01-30 北京快乐智慧科技有限责任公司 一种情绪交互的方法和系统
CN110472592A (zh) * 2019-08-20 2019-11-19 中国工商银行股份有限公司 基于表情识别的服务满意度评价方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN105930372A (zh) * 2016-04-12 2016-09-07 华南师范大学 基于多次反馈的情感机器人对话方法、系统以及机器人
CN106202159A (zh) * 2016-06-23 2016-12-07 深圳追科技有限公司 一种客服系统的人机交互方法
CN107645523A (zh) * 2016-07-21 2018-01-30 北京快乐智慧科技有限责任公司 一种情绪交互的方法和系统
CN110472592A (zh) * 2019-08-20 2019-11-19 中国工商银行股份有限公司 基于表情识别的服务满意度评价方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112171676A (zh) * 2020-09-30 2021-01-05 江苏迪迪隆机器人科技发展有限公司 一种提高机器人仿生能力的方法和装置
CN112171676B (zh) * 2020-09-30 2021-08-20 江苏迪迪隆机器人科技发展有限公司 一种提高机器人仿生能力的方法和装置
CN112711656A (zh) * 2021-01-06 2021-04-27 北京中科深智科技有限公司 一种聊天机器人构建方法和系统

Similar Documents

Publication Publication Date Title
US11551804B2 (en) Assisting psychological cure in automated chatting
CN108648757B (zh) 一种基于多维度课堂信息的分析方法
CN109117952B (zh) 一种基于深度学习的机器人情感认知的方法
KR20170098675A (ko) 로봇 제어 시스템
CN110580516B (zh) 一种基于智能机器人的交互方法及装置
CN108074571A (zh) 增强现实设备的语音控制方法、系统及存储介质
CN111563663B (zh) 一种机器人、服务质量评价方法及系统
CN107016046A (zh) 基于视觉场景化的智能机器人对话方法及系统
US11816609B2 (en) Intelligent task completion detection at a computing device
CN111241256A (zh) 一种用于优化机器人对话质量的系统
CN111967770A (zh) 基于大数据的问卷调查数据处理方法、装置及存储介质
CN111063370A (zh) 一种语音处理方法及装置
CN112528004A (zh) 语音交互方法、装置、电子设备、介质和计算机程序产品
CN111405054A (zh) 智能助教系统及方法
JP6855737B2 (ja) 情報処理装置、評価システムおよびプログラム
CN109086391B (zh) 一种构建知识图谱的方法及系统
Ray et al. Design and implementation of affective e-learning strategy based on facial emotion recognition
CN115390678B (zh) 虚拟人交互方法、装置、电子设备及存储介质
Quispe et al. Learning user preferences for robot-human handovers
Mandal et al. AI-Based mock interview evaluator: An emotion and confidence classifier model
CN110363278B (zh) 一种亲子互动方法、机器人、服务器及亲子互动系统
CN111324719B (zh) 用于法律咨询的模糊识别系统
CN114550183A (zh) 电子设备及错题记录方法
CN112307186A (zh) 基于情绪识别的问答服务方法、系统、终端设备及介质
CN112383593B (zh) 基于线下陪访的智能内容推送方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination