CN111602154A - 使用对话排名和增强代理进行会话处理 - Google Patents

使用对话排名和增强代理进行会话处理 Download PDF

Info

Publication number
CN111602154A
CN111602154A CN201880084484.9A CN201880084484A CN111602154A CN 111602154 A CN111602154 A CN 111602154A CN 201880084484 A CN201880084484 A CN 201880084484A CN 111602154 A CN111602154 A CN 111602154A
Authority
CN
China
Prior art keywords
human
user
machine
communication session
human user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880084484.9A
Other languages
English (en)
Inventor
G·雷纳德
M·赫鲍克斯
A·弗拉
A·杜伊特
A·默韦列
G·塞奈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xbrain Inc
Original Assignee
Xbrain Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xbrain Inc filed Critical Xbrain Inc
Publication of CN111602154A publication Critical patent/CN111602154A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer And Data Communications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种系统和方法，其用于在人类用户与第一机器之间的通信会话中从人类用户接收用户输入；基于一个或多个情感准则来自主地确定对来自人类用户的用户输入的情感度量，其中情感度量表示人类用户的态度；自主地确定与通信会话相关联的质量度量；基于情感度量和质量度量中的一项或多项来对人类用户与第一机器之间的通信会话进行自主地排名；以及基于排名确定在人类用户与第一机器之间的通信会话中推荐人类代理干预。

Description

使用对话排名和增强代理进行会话处理
相关申请的交叉引用
本申请根据35U.S.C.§119(e)要求于2017年12月29日提交的、题为“使用对话排名和增强代理进行会话处理”的美国临时专利申请第62/612,186号的优先权，其全部内容通过引用并入本文。
背景技术
第一问题是人类代理的费用昂贵并且难以保留，尤其是当需要许多代理进行客户支持时。第二问题是例如聊天机器人系统之类的人工智能(AI)可能并非总是了解用户的意图，这可能会使用户感到沮丧。需要一种减少或消除这些问题的系统。
发明内容
根据本公开中所描述的主题的一个创新方面，一个或多个处理器；以及存储指令的存储器，指令当由一个或多个处理器执行时，使得系统：在人类用户与第一机器之间的通信会话中从人类用户接收用户输入；基于一个或多个情感准则自主地确定对来自人类用户的用户输入的情感度量，其中情感度量表示人类用户的态度；自主地确定与通信会话相关联的质量度量；基于情感度量和质量度量中的一项或多项来对人类用户与第一机器之间的通信会话进行自主地排名；以及基于该排名来确定对人类用户与第一机器之间的通信会话推荐人类代理干预。
一般而言，本公开中所描述的主题的另一创新方面可以体现在以下方法中，该方法包括：使用一个或多个处理器，在人类用户与第一机器之间的通信会话中从人类用户接收用户输入；使用一个或多个处理器，基于一个或多个情感准则来自主地确定对来自人类用户的用户输入的情感度量，其中该情感度量表示人类用户的态度；使用一个或多个处理器自主地确定与通信会话相关联的质量度量；使用一个或多个处理器，基于情感度量和质量度量中的一项或多项，对人类用户与第一机器之间的通信会话进行自主地排名；并且使用一个或多个处理器，基于该排名确定在人类用户与第一机器之间的通信会话中推荐人类代理干预。
这些方面中的一个或多个方面的其他实现方式包括对应系统、装置和计算机程序，其被配置为执行在计算机存储设备上编码的方法的动作。
例如，特征包括：第一机器包括人工智能、或虚拟助手、或聊天机器人。
例如，特征包括：对用户输入的情感度量基于通信会话中的单个人类用户输入、在通信会话期间的多个人类用户输入的集合和情感会话期间的情感趋势中的一项或多项来确定。
例如，特征包括：其中情感度量基于存在攻击性语言、表情符号用法、标点符号用法、字体样式、使用字母大写、话音分析、人类用户对人类的明确请求、拼写错误、响应速度、人类用户的重复输入中的一项或多项来确定。
例如，特征包括：质量度量是与以下中的一项或多项的置信度相关联的数值：与第一机器对由第一机器所确定的人类用户的意图的置信度，以及第一机器对如下答案的置信度，该答案响应于用户输入和由第一机器所确定的人类用户的意图而被确定。
例如，特征包括：响应于从人类用户接收用户输入而执行对情感度量、质量度量和排名的确定，并且在从人类用户接收到后续输入之后，重新执行确定。
例如，操作还包括：基于排名来在图形用户界面内视觉指示：针对通信会话推荐由人类代理进行干预，该图形用户界面被呈现给人类代理；并且从人类代理接收请求干预通信会话的输入。
例如，特征包括：图形用户界面包括多个会话指示符，该多个会话指示符包括与通信会话相关联的第一会话指示符。
例如，操作还包括：从人类代理接收请求第二机器的协助的输入；启动与第二机器的第二通信会话；并且提供图形用户界面，该图形用户界面包括显示人类用户、第一机器和人类代理的输入的第一部分以及显示该人类代理与第二机器之间的通信会话的第二部分。
例如，特征包括：接收代表人类代理的用于结束人类代理干预的请求，其中响应于接收到结束人类代理干预的请求，通信会话在人类用户与第一机器之间继续进行。
本文所描述的特征和优点不是无所不包的，并且鉴于附图和描述，对于本领域的普通技术人员而言，许多其他特征和优点将是显而易见的。而且，应当指出，说明书中所使用的语言主要是出于可读性和指导性目的而选择的，而不是用于限制本发明主题的范围。
附图说明
在附图中，通过示例的方式而非限制的方式图示了本公开，在附图中，类似的附图标记用于是指类似元件。
图1是图示了根据一个实施例的示例会话处理系统的框图。
图2是图示了根据一个实施例的会话服务器的示例的框图。
图3是图示了根据一个实施例的会话引擎的示例的框图。
图4是图示了根据一个实施例的使用对话排名和增强代理进行会话处理的示例的框图。
图5是图示了根据一个实施例的对话排名的示例的框图。
图6是描述了根据一个实施例的增强会话处理的示例的图。
图7描绘了与根据一个实施例的系统相关联的各种示例曲线图。
图8a至图8o图示了根据一个实施例的由系统呈现给人类代理的示例用户界面。
具体实施方式
如先前所指出的，人类代理费用昂贵且难以保留，尤其是当需要许多代理以进行客户支持时。附加地，AI(例如，聊天机器人系统)可能并不总是了解用户(例如，客户)的意图，这可能会使用户感到沮丧。因此，本文中所描述的系统和方法利用了AI(例如，聊天机器人系统)，但是允许人类干预，从而产生会话的吞吐量增加、人类代理的每人/每个班次的会话数增加、客户满意度提高、代理满意度提高、公司的运营成本降低、以及客户的服务时间延长中的一项或多项。
图1是图示了根据一个实施例的示例会话处理系统100的框图。所图示的系统100包括客户端设备106a…106n和会话处理服务器122，它们经由网络102通信耦接以便彼此交互。例如，客户端设备106a...106n可以分别经由信号线104a...104n耦接到网络102，并且可以如线110a...110n所示由用户112a...112n(也单独地和共同地称为用户112)访问。会话处理服务器122可以经由信号线120耦接到网络102。附图标记中使用命名法“a”和“n”指示具有该命名法的任何数目的那些元件可以包括在系统100中。
网络102可以包括任何数目的网络和/或网络类型。例如，网络102可以包括但不限于一个或多个局域网(LAN)、广域网(WAN)(例如，互联网)、虚拟专用网(VPN)、移动网络(例如，蜂窝网络)、无线广域网(WWAN)、Wi-Fi网络、
Figure BDA0002558363950000041
网络、
Figure BDA0002558363950000042
通信网络、对等网络、多个设备可以通过其通信的其他互连数据路径、其各种组合等。由网络102传输的数据可以包括分组数据(例如，互联网协议(IP)数据分组)，其被路由到指定计算设备，该指定计算设备耦接至网络102。在一些实现方式中，网络102可以包括互连系统100的计算设备的有线和无线联网软件和/或硬件(例如，基于陆地的收发器或基于卫星的收发器)的组合。例如，网络102可以包括分组交换设备，其基于包括在数据分组的头部中的信息来将数据分组路由到各种计算设备。
通过网络102交换的数据可以使用包括超文本标记语言(HTML)、可扩展标记语言(XML)、JavaScript对象表示法(JSON)、逗号分隔值(CSV)、Java数据库连接(JDBC)、开放数据库连接(ODBC)等的技术和/或格式来表示。另外，所有或一些链接都可以使用加密技术(例如，安全套接层(SSL)、安全HTTP(HTTPS)和/或虚拟专用网络(VPN)或互联网协议安全性(IPsec))进行加密。在另一实施例中，除了上文所描述的技术之外或者作为其代替，实体可以使用定制数据通信技术和/或专用数据通信技术。取决于实施例，网络102还可以包括到其他网络的链接。附加地，可以压缩通过网络102交换的数据。
客户端设备106a…106n(也单独地和共同地称为客户端设备106)是具有数据处理和通信能力的计算设备。虽然图1图示了两个客户端设备106，但是本说明书适用于具有一个或多个客户端设备106的任何系统体系架构。在一些实施例中，客户端设备106可以包括处理器(例如，虚拟处理器、物理处理器等)、存储器、电源、网络接口和/或其他软件和/或硬件部件，诸如显示器、图形处理器、无线收发器、键盘、扬声器、相机、传感器、固件、操作系统、驱动器、各种物理连接接口(例如，USB、HDMI等)。客户端设备106a…106n可以使用无线连接和/或有线连接经由网络102彼此耦接并且彼此通信，且与系统100的其他实体耦接且通信。在一个实施例中，如下所述的，用户112a可以作为客户，并且用户112a可以与作为人类客户服务代理的用户112n使用其各自的客户端设备106通过会话处理服务器122进行交互。
客户端设备106的示例可以包括但不限于汽车、机器人、移动电话(例如，功能电话、智能电话等)、平板电脑、笔记本电脑、台式机、上网本、服务器设备、服务器、虚拟机器、电视、机顶盒、媒体流设备、便携式媒体播放器、导航设备、个人数字助理等。虽然图1中描绘了两个或更多个客户端设备106，但是系统100可以包括任何数目的客户端设备106。另外，客户端设备106a…106n可以是相同或不同类型的计算设备。例如，在一个实施例中，客户端设备106a是汽车，而客户端设备106n是移动电话。
应当理解，图1所图示的系统100代表根据一个实施例的示例系统，并且应当理解，设想得到多种不同的系统环境和配置，并且它们在本公开的范围内。比如，各种功能可以从服务器移动到客户端，反之亦然，并且一些实现方式可以包括额外或更少的计算设备、服务器和/或网络，并且可以实现各种功能的客户端侧或服务器侧。进一步地，系统100的各种实体可以集成到单个计算设备或系统中，或者在附加计算设备或系统中划分等。更进一步地，系统100可以包括自动语音识别(ASR)功能(未示出)，其可以启用口头/话音输入(例如，经由VOIP)和/或请求、以及文本语音转换(TTS)功能，这可以启用系统向训练者、代理、客户或最终用户的口头输出。然而，应当认识到，输入可以使用文本，并且系统可以经由文本提供输出。
图2是根据一个实施例的示例会话处理服务器122的框图。如所图示的，会话处理服务器122可以包括处理器202、存储器204、通信单元208、以及存储设备241，它们可以通过通信总线206通信耦接。图2中描绘的会话处理服务器122通过示例提供，并且应当理解，在不脱离本公开的范围的情况下，它可以采取其他形式并且包括附加或更少的部件。例如，虽然未示出，但是会话处理服务器122可以包括输入和输出设备(例如，显示器、键盘、鼠标、触摸屏、扬声器等)、各种操作系统、传感器、附加处理器以及其他物理配置。附加地，应当理解，图2中所描绘的和本文中所描述的计算机体系架构可以通过各种修改应用于系统100中的多个实体，其包括例如客户端设备106(例如，通过省略会话引擎124)。
处理器202包括算术逻辑单元、微处理器、通用控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、或某个其他处理器阵列、或其某种组合，以通过执行提供本文中所的特征和功能的各种输入、逻辑和/或数学运算来执行软件指令。处理器202可以通过执行各种输入/输出、逻辑和/或数学运算来执行代码、例程和软件指令。处理器202具有处理数据信号的各种计算体系架构，其包括例如复杂指令集计算机(CISC)体系架构、精简指令集计算机(RISC)体系架构和/或实现指令集合组合的体系架构。处理器202可以是物理处理器和/或虚拟处理器，并且可以包括单个核或多个处理单元和/或多核。在一些实现方式中，处理器202能够生成电子显示信号并且将其提供给显示设备(未示出)，支持图像的显示，捕获并传输图像，执行包括各种类型的特征提取和采样的复杂任务等。在一些实现方式中，处理器202可以经由总线206耦接到存储器204以从中访问数据和指令并且在其中存储数据。总线206可以将处理器202耦接到会话处理服务器122的其他部件，其包括例如存储器204、通信单元208和存储设备241。
存储器204可以存储数据并且向会话处理服务器122的其他部件提供对该数据的访问。在一些实现方式中，存储器204可以存储可以由处理器202执行的指令和/或数据。如所图示的，存储器204可以存储一个或多个引擎，诸如会话引擎124。存储器204还能够存储其他指令和数据，其包括例如操作系统、硬件驱动器、软件应用程序、数据库等。存储器204可以耦接到总线206，以与处理器202和会话处理服务器122的其他部件进行通信。
存储器204包括非暂态计算机可用(例如，可读、可写等)介质，其可以是任何装置或设备，该任何装置或设备可以包含，存储，传达，传播或传输指令、数据、计算机程序、软件、代码、例程等，以供处理器202进行处理或与处理器202结合进行处理。在一些实现方式中，存储器204可以包括易失性存储器和非易失性存储器中的一个或多个。例如，存储器204可以包括但不限于动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、离散存储器设备(例如，PROM、FPROM、ROM)、硬盘驱动器、光盘驱动器(CD、DVD、Blue-rayTM等)中的一个或多个。应当理解，存储器204可以是单个设备，或者可以包括多种类型的设备和配置。
总线206可以包括通信总线，其用于在会话处理服务器122的部件之间或在计算设备106/122之间传送数据；网络总线系统，其包括网络102或其部分；处理器网格；及其组合，在一些实现方式中，会话引擎124、其子部件、以及在会话处理服务器122上操作的各种软件(例如，操作系统、设备驱动器等)可以经由与总线206相关联实现的软件通信机构进行协作和通信。软件通信机构可以包括和/或便于例如进程间通信、本地功能或过程调用、远程过程调用、对象代理(例如，CORBA)、软件模块之中的直接套接通信(例如，TCP/IP套接)、UDP广播和接收、HTTP连接等。进一步地，任何或所有通信都可以是安全的(例如，SSL、HTTPS等)。
通信单元208可以包括一个或多个接口设备(I/F)，其用于与网络102进行有线连接和/或无线连接。比如，通信单元208可以包括但不限于：CAT型接口；无线收发器，其用于使用与移动网络103通信的无线电收发器(4G、3G、2G等)和用于Wi-FiTM和紧密邻近(例如，
Figure BDA0002558363950000081
NFC等)连接性等的无线电收发器发送和接收信号；USB接口；及其各种组合。在一些实现方式中，通信单元208可以将处理器202链接到网络102，该网络102又可以耦接到其他处理系统。通信单元208可以使用各种标准网络通信协议来提供与网络102和系统100的其他实体的其他连接，这些各种标准网络通信协议包括例如本文中其他地方所讨论的那些通信协议。
存储设备241是用于存储数据并且提供对该数据的访问的信息源。在一些实现方式中，存储设备241可以经由总线206耦接到计算设备的部件202，204和208以接收数据并且提供对该数据的访问。数据示例包括但不限于客户信息、聊天机器人所使用的数据和存储库等。
存储设备241可以被包括在会话处理服务器122和/或与会话处理服务器122不同但耦接到会话处理服务器122或可由会话处理服务器122访问的存储系统中。存储设备241可以包括用于存储数据的一个或多个非暂态计算机可读介质。在一些实现方式中，存储设备241可以与存储器204合并或者可以与存储器204不同。在一些实现方式中，存储设备241可以包括可在会话处理服务器122上操作的数据库管理系统(DBMS)。例如，DBMS可以包括结构化查询语言(SQL)DBMS、NoSQL DBMS、其各种组合等。在一些实例中，DBMS可以将数据存储在由行和列组成的多维表中，并且使用编程操作来操纵(即，插入，查询，更新和/或删除)数据行。
如上文所提及的，会话处理服务器122可以包括其他和/或更少的部件。其他部件的示例可以包括显示器、输入设备、传感器等(未示出)。在一个实施例中，计算设备包括显示器。显示器可以包括任何显示设备、监测器或屏幕，其包括例如有机发光二极管(OLED)显示器、液晶显示器(LCD)等。在一些实现方式中，显示器可以是触摸屏显示器，其能够接收来自触控笔、用户112的一个或多个手指等的输入。例如，显示器可以是电容式触摸屏显示器，其能够检测和解释与显示器表面接触的多个点。
输入设备(未示出)可以包括任何设备，其用于将信息输入到会话处理服务器122中。在一些实现方式中，输入设备可以包括一个或多个外围设备。例如，输入设备可以包括键盘(例如，QWERTY键盘或任何其他语言的键盘)、指向设备(例如，鼠标或触摸板)、麦克风、图像/视频捕获设备(例如，相机)等
在一个实施例中，客户端设备可以包括与会话处理服务器122类似的部件202/204/206/208/241。在一个实施例中，客户端设备106和/或会话处理服务器122包括用于接收话音输入的麦克风和用于方便文字转语音(TTS)的扬声器。在一些实现方式中，输入设备可以包括触摸屏显示器，其能够接收来自用户112的一个或多个手指的输入。例如，用户112可以通过使用手指接触键盘区域中的显示器来与在显示器112上显示的模拟(即，虚拟或软)键盘交互。
示例会话引擎124
现在，参考图3，图示了根据一个实施例的示例会话引擎124的框图。在所图示的实施例中，会话引擎124包括AI引擎322、对话排名引擎324、代理引擎326、教练引擎328、主管引擎330、错误引擎332、以及UI引擎334。
图3的引擎322/324/326/328/330/332/334适用于与处理器202协作和通信并且依据引擎与会话引擎124或系统100的其他部件协作和通信。在一些实施例中，引擎可以是可由处理器202执行的指令集合，例如，存储在存储器204中并且可由处理器202访问和执行的指令集合。
AI引擎322以一种或多种人类语言(例如，英语、法语等)向一个或多个会话提供AI功能。在一个实施例中，AI引擎322创建会话并且在会话中回答客户问题。取决于实施例，会话可以基于文本(例如，基于即时消息聊天或基于电子邮件)或基于话音(例如，电话呼叫)。取决于实施例，客户可以是人类用户(例如，经由客户端设备106a与系统交互的用户112a)或机器用户(例如，客户端设备106a或其某些部件)。
在一些实施例中，AI引擎322使用自动语音识别和自然语言处理来确定客户的意图(即，问题)，并且使用通过机器学习推导的算法来确定适当响应。在一些实施例中，AI引擎322基于具有最高置信度的意图来确定客户的意图。例如，AI引擎322使用自然语言处理来确定最可能的意图是检查客户的当前余额并且检查客户的信用额度，并且选择具有更大置信度的意图，该意图可以是统计生成的。此外，例如，AI引擎322确定并选择具有更大置信度的响应，该响应可以是统计生成的(例如，AI引擎322选择以为主卡持有者而非授权用户提供信用额度)。
在一些实施例中，当客户试图获得客户服务时，由AI引擎322开始会话，并且AI引擎322(在本文中有时称为聊天机器人)尝试例如通过回答客户的问题或执行客户所需的一个或多个动作来处理会话。
在一些实施例中，存在不止一个AI引擎322。取决于实施例，存在同一AI引擎322的不同实例(即，同一聊天机器人的多个实例)或不同AI引擎322(即，不同的聊天机器人，例如，三星客户服务聊天机器人和富国银行客户服务聊天机器人)。
在所描绘的实现方式中，会话处理服务器122包括AI引擎322的实例。取决于实施例，AI引擎322可以是板上引擎、板外引擎或它们的组合。例如，在一个实施例中，AI引擎322在客户端设备106上是板上的。在另一示例中，在一个实施例中，AI引擎322在会话处理服务器122上(或者在单独的AI服务器上(未示出))是板外的。在又一示例中，AI引擎322通过AI引擎322在客户端设备106(未示出)和会话处理服务器122两者处操作。
取决于实施例和环境，会话可以在机器(例如，AI、聊天机器人、数字助理等)与人员(例如，客户)之间或两个人员(例如，在客户与人类客户服务代理之间)之间进行。
应当认识到AI引擎322并非绝对可靠。例如，AI引擎322可能错误标识用户的意图和/或可能无法提供答案。因此，存在客户与AI引擎322(例如，AI、聊天机器人、数字助理)之间的会话可能对客户无益并且成为沮丧的根源的情况，这是个技术问题。对话排名引擎324可以至少部分地通过提供问题会话的机器标识准则(例如，经由排名)来提供技术方案，其可能引起可能干预会话的人员(例如，客户服务代理)的注意。
对话排名引擎324监测一个或多个会话，并且对一个或多个会话进行排名。在一些实施例中，对话排名引擎324相对于其他正在进行的会话对会话进行排名。在一些实施例中，对话排名引擎324相对于包括正在进行的会话和历史会话的会话来对会话进行排名。在一些实施例中，指派给会话的排名指示是否值得建议人类代理(在本文中有时称为“代理”)应当干预并且接管用户与机器(例如，聊天机器人)之间的会话中的机器(例如，聊天机器人)的角色。
在一个实施例中，对话排名引擎324基于AI引擎322的答案的质量和会话的情感中的一个或多个来对会话进行排名。在一个实施例中，对话的“质量”可以由对话排名引擎324使用以下各项的一项或多项来确定，其在本文中可以被称为“定性准则”：
·AI引擎322对用户(例如，客户)意图的置信度。例如，当AI引擎322不确信其认为客户正在询问什么的准确性时，对话排名引擎324可以影响排名，以支持用户(例如，客户服务代理)干预。这可以基于会话过程中的平均值(例如，整个会话的平均置信度)或会话的一部分(例如，存在一系列低置信度的意图，它们满足低置信度意图的阈值数目并且主张支持人类代理干预，因此对话排名引擎324对排名进行相应调整)。基于如上文所提及的用于计算置信度的不同类型的算法，系统100可以提供置信度作为百分比或其他数值。根据最终置信度分数，它可以判定激活所预期的意图(例如，当置信度超过80％时)，或者在用户与机器之间创建对话框以询问更高的精度(例如，后续问题以更好辨别预期意图)。当置信度满足第一阈值时(例如，当置信度的准确性在60％与79.9％之间时)，系统100可以自动激活由人员(例如，代理)处理的会话，或者当满足另一阈值时(例如，当置信度的准确性低于60％时)，系统100将会话输入等待列表中以由人员(例如，代理)接管。应当注意，所提供的阈值仅是示例，并且在不脱离本文的公开内容的情况下，可以使用其他阈值。在一个实施例中，阈值可以是系统100中可以定义的参数。
·AI引擎322的一个或多个答案的置信度。例如，如果AI引擎322不确信答案的准确性，则可能会影响排名，以支持用户干预。基于不同类型的算法，系统100可以提供置信度作为百分比或其他数值。在一些实施例中，在AI引擎的答案方面的置信度基于会话过程中的平均值。可替代地，AI引擎的答案方面的置信度可以基于会话的一部分(例如，存在一系列低置信度的意图，它们满足阈值数目的低置信度答案并且主张支持人类代理干预，因此对话排名引擎324对排名进行相应调整)。
·对话的连续性，例如，对话是陷入循环还是客户自己正在重复。例如，对话排名引擎324确定会话中的对话是否正在循环并且调整该会话的排名。在另一示例中，对话排名引擎324确定用户(例如，客户)自己是否正在重复并且调整会话的排名。
·在例如对话结束时接收的反馈。例如，在指示所提供的服务无益的会话结束时对调查的响应可以指示人员应当干预，并且对话排名引擎324使用这种反馈来确定会话排名。
·在检测到的意图中检测到错误。
在一些实施例中，前述定性准则中的一个或多个定性准则用于生成质量度量，该质量度量由对话排名引擎324单独使用或者与情感度量结合使用(取决于实施例)以对对话进行排名。
在一个实施例中，对话的“情感”可以由对话排名引擎324使用每个交互的基于机器的情感分析来评估。在一个实施例中，情感分析是指使用自然语言处理、文本分析、计算语言学和生物统计学(例如，话音)来系统标识，提取和研究感情状态和主观信息，例如，以确定说话者、作者或其他对象的态度。取决于实施例，态度可以是判断或评估(如同评价理论中一样)、感情状态(即，作者或说话者的情绪状态)、或预期情绪沟通(即，作者或谈话者所属意的情绪效果)中的一者或多者。取决于实施例，对话排名引擎324使用以下各种的一项或多项(可以称为“情感准则”)来评估会话的“情感”并且对会话进行排名：
·对话/会话中所有交互的平均(例如,算术或谐波)情感分析，其可以用作对话的预测或交谈气氛。
·会话的情感分析趋势，例如，从积极到消极、从中立到消极、针锋相对(theopposite)等。
·攻击性语言用法，例如，使用基于攻击的n元语法(n-gram)词典的关键字检测。
·检测表情符号，其可以平衡对话的趋势(例如，眨眼、伸出舌头、或微笑的表情符号可能指示原本的攻击性词语被玩乐地或开玩笑地使用)。
·标点符号(例如，使用感叹号可能指示生气或沮丧)
·字体样式(例如，使用粗体、下划线或斜体可能指示生气或沮丧)。
·大写字母(例如，使用所有大写字母可能指示生气或沮丧)。
·反应迅速(例如，立即回答可能指示紧急性)
·明确要求客户服务代理(人员)。
·话音分析(例如，检测客户话音中的压力、紧急性、生气、沮丧等)。
·话语、单词、记号或其组合的数目。
·情境历史。
·拼写错误。
在一些实施例中，前述情感准则中的一个或多个情感准则用于生成情感度量，其由对话排名引擎324单独使用或与情感度量结合使用(取决于实施例)来对对话进行排名。
对话排名引擎324使用定性准则和情感准则中的一者或多者(例如，经由情感分析)来确定会话的排名(例如，基于所确定的度量)。例如，对话排名引擎324使用定性准则和情感准则来确定用于确定会话排名的值。用于确定会话排名的值可能会取决于实施例而发生变化。例如，该值可以是使用定性准则和情感准则计算的加权平均值。在一些实施例中，指派给每个准则的权重可以是动态的(例如，可以由用户团队设置，可以随时间而变化，并且可以使用机器学习来指派等)。
取决于实施例，由对话排名引擎324指派的排名可以在形式上发生变化。例如，在一些实施例中，对话排名引擎324可以指派数字排名(例如，以最有可能需要代理干预到最不可能需要代理干预的次序或者以最不可能需要代理干预到最有可能需要代理干预的次序)。在另一示例中，在一些实施例中，对话排名引擎324可以指派分类排名(例如，积极、消极和中立，其中积极排名的会话可能需要代理干预)。
代理引擎326使代理能够监测系统100内的会话或系统100内的会话的子集，并且干预会话(例如，基于由对话排名引擎324指派的排名的会话，其中对话进行得不好)。在一个实施例中，代理引擎326生成用于向代理提供用户界面的图形信息，这允许可视化正在进行的会话、排名信息(例如，基于由对话排名引擎324指派的排名)，代理可以使用图形信息来确定和可视化代理应当干预的会话。根据一个实施例，下文参考图8a至图8o对示例用户界面进行讨论。
在一些实施例中，一旦代理干预了会话，该代理可以回答客户的问题，执行客户所请求的动作(例如，开设账户、订购物品等)或执行服务客户的其他动作。代理引擎326允许代理结束他/她已经干预的会话。在一个实施例中，代理结束会话不会终止该会话，但是会结束代理参与会话，例如，与客户和聊天机器人的会话可以继续进行。
教练引擎328是AI引擎322，其被设计为帮助和支持人类代理。例如，教练引擎328可以向干预了会话的代理提供信息(例如，客户的当前余额)和/或建议(例如，基于客户的行为的模式来设置常用转账(recurring transfer))或回答代理可能具有的问题(例如，如何执行所请求的操作或其是否涉及费用)。在一个实施例中，教练引擎328可以确定其不具有回答代理的问题的知识，但是可以确定个人(例如，具有专长的主管或代理)可以具有该信息并且可以指引该代理去找该个人(例如，经由侧栏窗口使用主管引擎330)。
主管引擎330使得个人(例如，主管、更高级代理、或专家、或其他代理)和该代理能够在侧栏中交互(例如，经由单独的聊天窗口或电话呼叫进行单面对话)，使得代理可以更好地协助客户。
错误引擎332使得代理能够标识系统100中的错误。错误的示例可能包括来自聊天机器人的错误答案、对交互的情感的错误标识等。在一个实施例中，错误引擎332包括能够在激活错误之前生成消歧，重新表述客户问题，询问更多详细信息以定义客户查询的最终含义，或前述的某个组合。
在一个实施例中，错误引擎332包括一套工具(未示出)，以帮助机器的训练者标识训练中的错误并且修复错误或以其他方式改善AI/聊天机器人的训练。在一个实施例中，错误引擎332可以执行以下各项中的一项或多项：标识预测中的错误源，标识潜在错误，指示错误源(例如，指示错误可能归因于意图的错误标识和/或指示多个意图类似，其可能会导致聊天机器人标识混乱)，提示训练者移除与意图相关联的示例提示(例如，句子)以减少过度拟合，提示用户针对意图提供附加和/或变化的提示(例如，通过显示低变化度的意图)，标识以低速率与一个或多个意图匹配的句子以供训练者进行评估和分类。
在一些实施例中，所标识的错误用于改善(例如，训练)AI引擎322和/或对话排名引擎324，使得AI引擎322随时间而改善并且可以在将来提供更好的答案，和/或对话排名引擎324可以在将来更好地标识问题会话/对话。
示例方法
图4和图5描绘了由上文参考图1至图3所描述的系统执行的方法400和500。
参考图4，示出了根据一个实施例的用于使用会话排名和增强代理进行会话处理的示例方法400。在框402处，AI引擎322创建会话。在框404处，对话排名引擎324基于质量和/或情感的排名来确定与AI聊天机器人的会话有问题。在框406处，代理引擎326警告代理，并且在框408处，代理经由代理引擎326干预会话。在框410处，代理引擎326将会话返回给AI引擎322。
参考图5，示出了根据一个实施例的示例会话排名方法500。在框502处，对话排名引擎324监测情感，并且在框504处，监测会话的质量。在框506处，对话排名引擎324例如相对于其他正在进行的会话和/或先前的会话对对话进行排名。在框508处，对话排名引擎324将排名的对话呈现给代理。
在一个实施例中，排名使用加权平均值。例如，在一个实施例中，每个参数的准确性，这些参数例如，情感分析，对话和/或每个句子的单词分布、关于同一代理的整个对话的对话中的发声数等。取决于实施例，准确性可以通过人工神经网络或简单线性代数计算(例如，矢量距离)来计算。在一个实施例中，参数中的一个或多个参数然后被归一化为百分比。在一个实施例中，参数接收权重以计算对话的平均准确性。在一些实施例中，权重可以被定义为系统100中的参数，或者训练另一类型的人工神经网络，以基于由负责训练系统100的团队所定义的少量权重通过回归的方式来定义参数的最佳权重分布。
应当指出，这些方法仅是示例，设想得到其他方法，并且这些方法在本公开的范围内。例如，这些方法可以包括更多不同或更少的框；这些框可以按次序变化或并行执行(例如，框502和504可以是顺序的或并行的)。
示例图示和UI
图6是描述了根据一个实施例的增强会话处理的示例的图。在图6所图示的实施例中，会话仅由AI在呼叫中心时间(即，所图示的示例中的下午6点至上午8点)之外进行处理。在呼叫中心的时间期间，AI和增强代理处理会话。应当认识到，与给定数目的代理能够单独处理的情况相比，使用本文中的增强代理、系统和方法使得AI服务更多呼叫，并且通过标识与AI进行不顺利的会话并且允许人类代理干预来改善客户体验。
图7描绘了根据一个实施例的与系统相关联的各种示例曲线图。例如，左上方的曲线图包括一天中每个小时的对话/会话的条形图(多个条形图)，其中叠加的线指示全天中对话的“平均积极性”。右列示出了三个对话以及随着对话的进行而在那些对话中的情感。更具体地，Conv 1显示了正在发展并且当前为积极的对话(如由对话排名引擎324确定的)。Conv 2显示正在消极发展但当前为中立的对话(如由对话排名引擎324确定的)。Conv 3显示正在消极发展且当前为消极的对话(如由对话排名引擎324确定的)。在对话中的每次对话(Conv1-3)中，每个客户交互(即，客户所说或键入的内容的输入)都被指派为积极情感、中立情感或消极情感。在一个实施例中，这些情感由对话排名引擎324指派并且用于对对话进行排名。
图8a至图8o是根据上文参考图1至图3所描述的系统的一个实施例呈现给人类代理的示例用户界面。在图8A中，选择“全部”标签802，其指示正在进行140个会话。在一个实施例中，网格804包括用于那些会话中的每个对话的视觉指示符。可以基于一个或多个准则，在网格内布置会话的视觉指示符，该会话的视觉指示符是相对于与其他会话相关联的其他视觉指示符而言的。例如，可以基于排名来布置网格中的指示符(例如，使得被确定为进行不佳的对话位于附近，诸如位于UI的顶部附近)。在另一示例中，可以基于年龄来布置网格中的指示符(例如，使得在栏810中将会话从最旧到最新排序)。在另一示例中，可以基于代理是已干预还是正在干预来布置网格中的指示符(例如，使得与这种会话相关联的指示符在栏810内彼此邻近定位)。在另一示例中，可以基于信道来布置网格中的指示符(例如，使得对与SMS相关联的会话进行视觉分组，对与电话呼叫相关联的会话进行视觉分组，并且对与电子邮件相关联的会话进行视觉分组)。
在一个实施例中，视觉指示符基于会话正在如何进行而发生变化(如由对话排名引擎324确定的)。例如，对话排名引擎324可以指派不同的颜色以指示会话的排名。会话排名指示会话排名引擎324所确定的会话是否进行得好(积极)、差(消极)、中立。会话排名引擎324还可以将会话指示为等待(例如，指示人类代理已经被客户要求完全或部分绕过与聊天机器人的交互)。用户界面可以直观地指示哪个聊天机器人正在处理会话。在一个实施例中，本文中所图示的视觉指示符可以基于包括当前排名的状态(例如，随着排名变为消极而改变颜色)，是否进行了代理干预(例如，上面有手的图标指示当前或历史人类代理干预会话，这取决于实施例)等而在设计上有所变化。
在图8b中，已经选择了网格的会话元素806，其由视觉区别指示，该视觉区别在会话元素806上被图示为X。响应于会话元素806的选择，UI的部分808由代理引擎326更新，以显示与该会话相关联的会话。栏810指示对话排名引擎324如何对对话中的每个客户交互进行排名(例如，使用情感分析)。栏810内的指示符和/或部分808中的语音气泡的颜色可以基于例如如由对话排名引擎324确定的相关联的交互的情感进行颜色编码。可以看出，如由对话排名引擎324所确定的，“I NEED HELP TO Place an order”是“中立的”，而非积极的，可能部分是由于大写，并且与客户先前所说的重复，以及“aaaah！！！！”为消极的，可能是因为感叹号和“Ah”所具有的沮丧的指示。人类代理可以通过选择“TAKE OVER”812图形元素来判定进行干预。
在图8c中，选择了“TAKE OVER”812图形元素，并且部分808指示人类代理已经做了自我介绍，并且用户已请求订单和驱动轴中心支持的帮助。图8c还图示了该UI在“Mine”选项卡814下，并且该代理当前正在参与5个会话。
在图8d中，代理选择了“END”816图形元素(例如，在回答了客户的问题(未示出)之后)，并且显示了窗口818，其指示会话将返回到机器人并且要求来自代理的确认。
在图8e中，选择了“用户信息”选项卡。该选项卡包含用户帐户信息(例如，登录名、姓名和帐号)以及与客户的会话日志。
在图8f中，代理已经选择了会话822，并且窗口824显示了该会话的对话/内容。
在图8g中，已经选择“Bot”标签826。UI显示了三个机器人，其中一个机器人OSCAR被选中。取决于实施例，机器人可以与同一公司或不同公司内的不同部门相关联(例如，当代理为代表多个公司或大公司的各个部门进行客户服务呼叫的呼叫中心工作时)。
图8h图示了进行不顺利(即，由对话排名引擎324确定为消极)并且已经被代理选择进行查看的会话。代理选择“TAKE OVER”812图形元素和教练元素828。随后，图8i呈现给代理，其包括教练侧栏830，其中在所图示的实施例中用于支持和协助代理的聊天机器人可用。如所图示的，教练聊天机器人提供了有关客户、Peter、最近请求、当前余额以及图8j中的Peter的行为模式和建议为Peter提供的服务(常用转账)的附加信息。在图8k中，代理已向教练聊天机器人询问费用和限额。教练聊天机器人能够回答关于费用的问题，但是没有回答关于限额的问题，因此，向代理将个人“Max Apple”标识为有可能知道有关限额的答案，询问Max Apple并且向代理提供答复。教练机器人还提议将Max包含在侧栏830的对话中，并且应代理人的要求这样做。在图8i至图8k所图示的实施例中，使用视觉指示符(即，文本气泡中的机器人图标)来标识聊天机器人对会话的贡献，并且使用另一视觉指示符(即，稍后的文本气泡中的人员图标)来标识代理对会话的贡献。应当认识到，这些视觉指示符仅是示例，并且在不脱离本文公开的情况下，可以使用其他指示符。
图8l至图8n公开了错误标识。在图8l中，用户可以选择与交互相关联的元素832。作为响应，如图8m所示，显示窗口834，用户可以在该窗口中选择指示错误类型(例如，情感或其他)的元素。在一些实施例中，附加界面可以允许用户纠正差错或指示正确情感是什么，其可以用于训练对话排名引擎324的一个或多个排名算法。在图8n中，代理选择元素836，并且显示窗口838，用户可以在该窗口中选择指示错误类型的元素(例如，网上机器人的回答不正确或其他)。在一些实施例中，附加界面可以允许用户提供正确答案，其可以用于训练AI引擎322，使得聊天机器人变得更有能力。
图8o图示了栏810的不同表示，其图示了会话内的交互以及相关联的情感，这减小了栏810中每个块之间的空间，其中每个块与客户对会话的输入相关联，并且根据与该输入相关联的情感进行颜色编码(例如，由对话排名引擎确定)。
尽管在图8a至图8o中未图示，但是附录C的一些UI包括标识源通道的指示符(例如，通信/对话是否使用Skype、Facebook、电话、电子邮件等)。
其他考虑
在以上描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践本文中所描述的技术。进一步地，以框图形式示出了各种系统、设备和结构，以避免使描述晦涩难懂。比如，各种实现方式被描述为具有特定硬件、软件和用户界面。然而，本公开适用于可以接收数据和命令的任何类型的计算设备，并且适用于提供服务的任何外围设备。
在说明书中对“一个实施例”或“实施例”或“一个实现方式”或“实现方式”的引用是指结合该实施例或实现方式所描述的特定特征、结构或特点包括在至少一个实施例或实现方式中。说明书中各个地方出现的短语“在一个实施例中”或“在一个实现方式中”不一定全部是指同一实施例或实现方式。
在一些实例中，本文中可以根据对计算机存储器内的数据位的操作的算法和符号表示来呈现各种实现方式。算法在本文中通常被认为是导致期望结果的自洽操作集合。这些操作是需要对物理量进行物理操纵的操作。通常，尽管不是必须的，这些数量采取能够被存储、传送、组合、比较和以其他方式操纵的电信号或磁信号的形式。主要出于通用的原因，已经证明将这些信号称为位、值、元素、符号、字符、项、数字等有时具有便利性。
然而，应当牢记，所有这些和类似术语均应与适当物理量相关联，并且仅仅是应用于这些数量的方便标签。除非从以下讨论中另外明确指出，否则应当领会在整个本公开中，利用包括“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“显示”等的术语的讨论是指计算机系统或类似电子计算设备的动作和过程，该计算机系统或类似电子计算设备将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据变换为其他数据，该其他数据类似地表示为计算机系统存储器或寄存器或其他这种信息存储、传输或显示设备内的物理量。
本文中所描述的各种实现方式可以涉及用于执行本文中的操作的装置。该装置可以为此目的而专门构造，或者可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这种计算机程序可以存储在计算机可读存储介质中，其包括但不限于任何类型的盘(其包括软盘、光盘、CD ROM和磁盘)、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、包括具有非易失性存储器的USB密钥的闪存、或适用于存储电子指令的任何类型的介质，每种介质均耦接到计算机系统总线。
本文中所描述的技术可以采取完全硬件实现方式、完全软件实现方式、或包含硬件元件和软件元件两者的实现方式的形式。比如，该技术可以用软件实现，该软件包括但不限于固件、驻留软件、微代码等。
更进一步地，该技术可以采取可从计算机可用介质或计算机可读介质访问的计算机程序产品的形式，该计算机可用介质或计算机可读介质提供由计算机或任何指令执行系统使用或与其结合使用的程序代码。为了本描述的目的，计算机可用介质或计算机可读介质可以是任何非暂态存储装置，其可以包含，存储，传达，传播或传送程序以供指令执行系统、装置或设备使用与之结合使用。
适用于存储和/或执行程序代码的数据处理系统可以包括至少一个处理器，其通过系统总线直接或间接耦接到存储器元件。存储器元件可以包括在程序代码的实际执行期间使用的本地存储器、大容量存储装置、以及提供至少一些程序代码的临时存储以便减少在执行期间可以从大容量存储装置中获取代码的次数的高速缓存存储器。输入/输出或I/O设备(其包括但不限于键盘、显示器、指向设备等)可以直接或通过中间I/O控制器耦接到系统。
网络适配器还可以耦接到系统，以使得数据处理系统能够通过中间私有网络和/或公共网络耦接到其他数据处理系统、存储设备、远程打印机等。无线(例如，Wi-FiTM)收发器、以太网适配器和调制解调器只是网络适配器的一些示例。私有网络和公用网络可以具有任何数目的配置和/或拓扑结构。可以使用包括例如各种因特网层协议、传送层协议或应用层协议在内的各种不同的通信协议经由网络在这些设备之间传输数据。例如，可以使用传输控制协议/因特网协议(TCP/IP)、用户数据报协议(UDP)、传输控制协议(TCP)、超文本传输协议(HTTP)、安全超文本传输协议(HTTPS)、HTTP上的动态自适应流(DASH)、实时流协议(RTSP)、实时传输协议(RTP)和实时传输控制协议(RTCP)、互联网语音协议(VOIP)、文件传输协议(FTP)、WebSocket(WS)、无线访问协议(WAP)、各种消息传递协议(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAV等)、或其他已知协议经由网络传输数据。
最后，本文中所提出的结构、算法和/或界面并不固有地与任何特定计算机或其他装置有关。各种通用系统可以与根据本文中的教导的程序一起使用，或者可以证明构造更专用装置来执行方法框是便利地。根据上文的描述，将出现各种这些系统的结构。另外，未参考任何特定编程语言来对该说明书进行描述。将会理解，可以使用各种编程语言来实现如本文中所描述的说明书的教导。
出于说明和描述的目的已经给出了前述描述。并不旨在穷举或将说明书限制为所公开的精确形式。根据上文教导，许多修改和变化是可能的。本公开的范围不旨在受到该具体实施方式的限制，而是由本申请的权利要求书限制。应当理解，在不脱离其精神或基本特点的情况下，本说明书可以以其他特定形式体现。同样地，模块、例程、特征、属性、方法和其他方面的特定命名和划分并非是强制性的或者重要的，并且实现说明书或其特征的机构可能具有不同的名称、划分和/或格式。
更进一步地，本公开的引擎、模块、例程、特征、属性、方法和其他方面可以被实现为软件、硬件、固件或前述的任意组合。此外，无论何处说明书中的部件——该部件的示例是模块——被实施为软件，都可以将该部件实现为独立程序、为更大程序的一部分、为多个单独程序、为静态或者动态链接的库、为内核可加载模块、为设备驱动器和/或以现在或者将来知道的每种和任何其它方式来实施。附加地，本公开绝不限于以任何特定编程语言或针对任何特定操作系统或环境的实现方式。因而，本公开旨在是说明性的而非限制所附权利要求书中所阐述的主题的范围。

Claims (20)

1.一种方法，包括：
使用一个或多个处理器，在人类用户与第一机器之间的通信会话中从所述人类用户接收用户输入；
使用所述一个或多个处理器，基于一个或多个情感准则自主地确定对来自所述人类用户的所述用户输入的情感度量，其中所述情感度量表示所述人类用户的态度；
使用所述一个或多个处理器，自主地确定与所述通信会话相关联的质量度量；
使用所述一个或多个处理器，基于所述情感度量和所述质量度量中的一项或多项对人类用户与第一机器之间的所述通信会话进行自主地排名；以及
使用所述一个或多个处理器，基于所述排名确定在所述人类用户与所述第一机器之间的所述通信会话中推荐人类代理干预。
2.根据权利要求1所述的方法，其中所述第一机器包括人工智能、虚拟助手、或聊天机器人。
3.根据权利要求1所述的方法，其中对所述用户输入的所述情感度量基于以下中的一项或多项而被确定：所述通信会话中的单个人类用户输入、所述通信会话期间的多个人类用户输入的集合以及所述通信会话期间的情感趋势。
4.根据权利要求1所述的方法，其中所述情感度量基于以下中的一项或多项而被确定：攻击性语言的存在、表情符号用法、标点符号用法、字体样式、字母大写的使用、话音分析、所述人类用户对人类的明确请求、拼写错误、响应速度、所述人类用户的重复输入。
5.根据权利要求1所述的方法，其中所述质量度量是与以下中的一项或多项的置信度相关联的数值：所述第一机器对由所述第一机器所确定的所述人类用户的意图的置信度，和所述第一机器对如下答案的置信度，所述答案响应于所述用户输入和由所述第一机器所确定的所述人类用户的所述意图而被确定。
6.根据权利要求1所述的方法，其中所述情感度量、所述质量度量和所述排名的确定响应于从所述人类用户接收所述用户输入而被执行，并且在从所述人类用户接收到后续输入之后被重新执行。
7.根据权利要求1所述的方法，包括：
基于所述排名在图形用户界面内视觉地指示：针对所述通信会话推荐由人类代理进行干预，所述图形用户界面被呈现给所述人类代理；以及
从所述人类代理接收请求干预所述通信会话的输入。
8.根据权利要求7所述的方法，其中所述图形用户界面包括多个会话指示符，所述多个会话指示符包括与所述通信会话相关联的第一会话指示符。
9.根据权利要求1所述的方法，包括：
从人类代理接收请求第二机器的协助的输入；
启动与所述第二机器的第二通信会话；以及
提供图形用户界面，所述图形用户界面包括显示所述人类用户、第一机器和人类代理的输入的第一部分以及显示所述人类代理与所述第二机器之间的通信会话的第二部分。
10.根据权利要求1所述的方法，包括：
接收代表所述人类代理的用以结束所述人类代理的干预的请求，其中响应于接收到结束所述人类代理的干预的所述请求，所述通信会话在所述人类用户与所述第一机器之间继续。
11.一种系统，包括：
一个或多个处理器；以及
存储器，其存储指令，所述指令当由所述一个或多个处理器执行时，使所述系统：
在人类用户与第一机器之间的通信会话中从所述人类用户接收用户输入；
基于一个或多个情感准则自主地确定对来自所述人类用户的所述用户输入的情感度量，其中所述情感度量表示所述人类用户的态度；
自主地确定与所述通信会话相关联的质量度量；
基于所述情感度量和所述质量度量中的一项或多项对人类用户与第一机器之间的所述通信会话进行自主地排名；以及
基于所述排名来确定在所述人类用户与所述第一机器之间的所述通信会话中推荐人类代理干预。
12.根据权利要求11所述的系统，其中所述第一机器包括人工智能、或虚拟助手、或聊天机器人。
13.根据权利要求11所述的系统，其中对所述用户输入的所述情感度量基于以下中的一项或多项而被确定：所述通信会话中的单个人类用户输入、所述通信会话期间的多个人类用户输入的集合以及所述情感会话期间的情感趋势。
14.根据权利要求11所述的系统，其中所述情感度量基于以下中的一项或多项而被确定：攻击性语言的存在、表情符号用法、标点符号用法、字体样式、字母大写的使用、话音分析、所述人类用户对人类的明确请求、拼写错误、响应速度、所述人类用户的重复输入。
15.根据权利要求11所述的系统，其中所述质量度量是与以下中的一项或多项的置信度相关联的数值：所述第一机器对由所述第一机器所确定的所述人类用户的意图的置信度，和所述第一机器对如下答案的置信度，所述答案响应于所述用户输入和由所述第一机器所确定的所述人类用户的所述意图而被确定。
16.根据权利要求11所述的系统，其中所述情感度量、所述质量度量和所述排名的确定响应于从所述人类用户接收所述用户输入而被执行，并且在从所述人类用户接收到后续输入之后被重新执行。
17.根据权利要求11所述的系统，其中，所述系统还被配置为：
基于所述排名在图形用户界面内视觉地指示：针对所述通信会话推荐由人类代理进行干预，所述图形用户界面被呈现给所述人类代理；以及
从所述人类代理接收请求干预所述通信会话的输入。
18.根据权利要求17所述的系统，其中所述图形用户界面包括多个会话指示符，所述多个会话指示符包括与所述通信会话相关联的第一会话指示符。
19.根据权利要求11所述的系统，其中所述系统还被配置为：
从人类代理接收请求第二机器的协助的输入；
启动与所述第二机器的第二通信会话；以及
提供图形用户界面，所述图形用户界面包括显示所述人类用户、第一机器和人类代理的输入的第一部分以及显示所述人类代理与所述第二机器之间的通信会话的第二部分。
20.根据权利要求11所述的系统，其中所述系统还被配置为：
接收代表人类代理的用以结束所述人类代理的干预的请求，其中响应于接收到结束所述人类代理的干预的所述请求，所述通信会话在所述人类用户与所述第一机器之间继续。
CN201880084484.9A 2017-12-29 2018-12-28 使用对话排名和增强代理进行会话处理 Pending CN111602154A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762612186P 2017-12-29 2017-12-29
US62/612,186 2017-12-29
PCT/US2018/067946 WO2019133863A1 (en) 2017-12-29 2018-12-28 Session handling using conversation ranking and augmented agents

Publications (1)

Publication Number Publication Date
CN111602154A true CN111602154A (zh) 2020-08-28

Family

ID=65269041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880084484.9A Pending CN111602154A (zh) 2017-12-29 2018-12-28 使用对话排名和增强代理进行会话处理

Country Status (7)

Country Link
US (1) US20190215249A1 (zh)
EP (1) EP3695353A1 (zh)
JP (1) JP2021508888A (zh)
KR (1) KR20200108000A (zh)
CN (1) CN111602154A (zh)
CA (1) CA3084496A1 (zh)
WO (1) WO2019133863A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117857599A (zh) * 2024-01-09 2024-04-09 北京安真医疗科技有限公司 一种基于物联网的数字人对话智能管理系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586175B2 (en) 2014-05-23 2020-03-10 NewVoiceMedia Ltd. System and method for an optimized, self-learning and self-organizing contact center
US20190340527A1 (en) * 2018-05-07 2019-11-07 Microsoft Technology Licensing, Llc Graphical user interface features for updating a conversational bot
JP1633433S (zh) * 2018-08-30 2019-06-10
US11409961B2 (en) * 2018-10-10 2022-08-09 Verint Americas Inc. System for minimizing repetition in intelligent virtual assistant conversations
US10395648B1 (en) * 2019-02-06 2019-08-27 Capital One Services, Llc Analysis of a topic in a communication relative to a characteristic of the communication
US11521114B2 (en) 2019-04-18 2022-12-06 Microsoft Technology Licensing, Llc Visualization of training dialogs for a conversational bot
US10565317B1 (en) * 2019-05-07 2020-02-18 Moveworks, Inc. Apparatus for improving responses of automated conversational agents via determination and updating of intent
WO2021141419A1 (en) * 2020-01-07 2021-07-15 Samsung Electronics Co., Ltd. Method and apparatus for generating customized content based on user intent
US11201966B1 (en) * 2020-08-25 2021-12-14 Bank Of America Corporation Interactive voice response system with a real time conversation scoring module
CN116508016A (zh) 2021-01-29 2023-07-28 三星电子株式会社 确定聊天机器人保持会话的时间的电子设备及其操作方法
KR20220109895A (ko) * 2021-01-29 2022-08-05 삼성전자주식회사 챗봇의 세션을 유지하는 시간을 결정하는 전자 장치 및 그 동작 방법
US11635878B2 (en) * 2021-01-31 2023-04-25 Walmart Apollo, Llc Systems and methods for altering a graphical user interface
US11895061B2 (en) * 2021-06-15 2024-02-06 Genesys Cloud Services, Inc. Dynamic prioritization of collaboration between human and virtual agents
KR102598033B1 (ko) * 2021-12-09 2023-11-03 주식회사 와이즈넛 챗봇 대화 시스템에서 대화 주제를 매칭하고 시스템에 알람하는 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100463706B1 (ko) * 2004-04-27 2004-12-29 주식회사 엠포컴 유무선 네트워크를 통한 음성 인식 기반 감정 분석 시스템및 그 방법
US20110141919A1 (en) * 2009-12-10 2011-06-16 Verizon Patent And Licensing Inc. Method and system for virtual agent session monitoring and barge-in
JP2014174938A (ja) * 2013-03-12 2014-09-22 Hitachi Systems Ltd ヘルプデスク支援システム
CN105207890A (zh) * 2015-08-24 2015-12-30 北京智齿博创科技有限公司 一种在线客服的方法
CN105577529A (zh) * 2015-12-30 2016-05-11 上海智臻智能网络科技股份有限公司 机器人客服及其客服方法、智能客服系统
CN205405310U (zh) * 2016-03-08 2016-07-27 张海梁 一种基于树莓派的客服人员工作状态监测系统
CN106844750A (zh) * 2017-02-16 2017-06-13 深圳追科技有限公司 一种基于客服机器人中情感安抚的人机交互方法及系统
CN106844378A (zh) * 2015-12-04 2017-06-13 中国移动通信集团公司 一种应答方式确定方法和装置
US20170324867A1 (en) * 2016-05-06 2017-11-09 Genesys Telecommunications Laboratories, Inc. System and method for managing and transitioning automated chat conversations
WO2017218560A1 (en) * 2016-06-13 2017-12-21 Google Llc Escalation to a human operator

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073699B2 (en) * 2005-08-16 2011-12-06 Nuance Communications, Inc. Numeric weighting of error recovery prompts for transfer to a human agent from an automated speech response system
US11068954B2 (en) * 2015-11-20 2021-07-20 Voicemonk Inc System for virtual agents to help customers and businesses
US9330088B2 (en) * 2013-04-23 2016-05-03 International Business Machines Corporation Preventing frustration in online chat communication
US20170277993A1 (en) * 2016-03-22 2017-09-28 Next It Corporation Virtual assistant escalation
EP3453160B1 (en) * 2016-05-06 2023-06-21 Greeneden U.S. Holdings II, LLC System and method for managing and transitioning automated chat conversations
US20180053119A1 (en) * 2016-08-16 2018-02-22 Rulai, Inc. Method and system for semi-supervised learning in generating knowledge for intelligent virtual agents
US20180054464A1 (en) * 2016-08-16 2018-02-22 Rulai, Inc. Method and system for collaborative intelligent virtual agents
US20180054523A1 (en) * 2016-08-16 2018-02-22 Rulai, Inc. Method and system for context sensitive intelligent virtual agents
US20180068012A1 (en) * 2016-09-07 2018-03-08 International Business Machines Corporation Chat flow tree structure adjustment based on sentiment and flow history
US10546586B2 (en) * 2016-09-07 2020-01-28 International Business Machines Corporation Conversation path rerouting in a dialog system based on user sentiment
US10574824B2 (en) * 2017-11-02 2020-02-25 [24]7.ai, Inc. Method and apparatus for facilitating agent conversations with customers of an enterprise

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100463706B1 (ko) * 2004-04-27 2004-12-29 주식회사 엠포컴 유무선 네트워크를 통한 음성 인식 기반 감정 분석 시스템및 그 방법
US20110141919A1 (en) * 2009-12-10 2011-06-16 Verizon Patent And Licensing Inc. Method and system for virtual agent session monitoring and barge-in
JP2014174938A (ja) * 2013-03-12 2014-09-22 Hitachi Systems Ltd ヘルプデスク支援システム
CN105207890A (zh) * 2015-08-24 2015-12-30 北京智齿博创科技有限公司 一种在线客服的方法
CN106844378A (zh) * 2015-12-04 2017-06-13 中国移动通信集团公司 一种应答方式确定方法和装置
CN105577529A (zh) * 2015-12-30 2016-05-11 上海智臻智能网络科技股份有限公司 机器人客服及其客服方法、智能客服系统
CN205405310U (zh) * 2016-03-08 2016-07-27 张海梁 一种基于树莓派的客服人员工作状态监测系统
US20170324867A1 (en) * 2016-05-06 2017-11-09 Genesys Telecommunications Laboratories, Inc. System and method for managing and transitioning automated chat conversations
WO2017218560A1 (en) * 2016-06-13 2017-12-21 Google Llc Escalation to a human operator
CN106844750A (zh) * 2017-02-16 2017-06-13 深圳追科技有限公司 一种基于客服机器人中情感安抚的人机交互方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117857599A (zh) * 2024-01-09 2024-04-09 北京安真医疗科技有限公司 一种基于物联网的数字人对话智能管理系统
CN117857599B (zh) * 2024-01-09 2024-08-13 北京安真医疗科技有限公司 一种基于物联网的数字人对话智能管理系统

Also Published As

Publication number Publication date
EP3695353A1 (en) 2020-08-19
JP2021508888A (ja) 2021-03-11
KR20200108000A (ko) 2020-09-16
CA3084496A1 (en) 2019-07-04
WO2019133863A1 (en) 2019-07-04
US20190215249A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
CN111602154A (zh) 使用对话排名和增强代理进行会话处理
US10922491B2 (en) Natural transfer of knowledge between human and artificial intelligence
CA3001869C (en) Method and apparatus for facilitating customer intent prediction
JP7565373B2 (ja) 自動面接セッションを実施するためのシステム及び方法
US10311895B2 (en) Assessing the structural quality of conversations
US20200160199A1 (en) Multi-modal dialogue agent
US11223723B2 (en) Call center system having reduced communication latency
US11238508B2 (en) Conversational assistant using extracted guidance knowledge
WO2019177816A1 (en) Sequence to sequence conversational query understanding
US11625556B1 (en) Customer service learning machine
CN116521841B (zh) 用于生成回复信息的方法、装置、设备及介质
CN113810265B (zh) 用于消息插入和引导的系统和方法
US11734030B2 (en) Classification and visualization of user interactions with an interactive computing platform
JP6030659B2 (ja) メンタルヘルスケア支援装置、システム、方法およびプログラム
CN118312598A (zh) 文本生成方法、文本生成模型的训练方法及装置
US11037459B2 (en) Feedback system and method for improving performance of dialogue-based tutors
US20220108174A1 (en) Training neural networks using auxiliary task update decomposition
US20210012791A1 (en) Image representation of a conversation to self-supervised learning
CN112199476A (zh) 在会话智能导师系统中部分正确答案后选择支架的自动决策
KR20190116044A (ko) 대화 이해 ai 시스템에 의한, 사용자간 온라인 채팅 세션의 능동적 분석 및 분석 결과의 사용자에 대한 시각적 제시 방법 및 컴퓨터 판독가능 기록 매체
Gellens et al. " JAQ: a chatbot for foreign students
KR20240000266U (ko) 가상비서 디바이스
Best 42 Rules for Using AI in Your Contact Center (Book Excerpt)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination