CN115129832A - 经由聊天机器人促进关于产品支持问题的故障排除对话 - Google Patents

经由聊天机器人促进关于产品支持问题的故障排除对话 Download PDF

Info

Publication number
CN115129832A
CN115129832A CN202111253888.6A CN202111253888A CN115129832A CN 115129832 A CN115129832 A CN 115129832A CN 202111253888 A CN202111253888 A CN 202111253888A CN 115129832 A CN115129832 A CN 115129832A
Authority
CN
China
Prior art keywords
product
product line
categories
classification model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111253888.6A
Other languages
English (en)
Inventor
M·达斯
S·C·伦农
S·M·阿梅德
R·S·邓拉普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Enterprise Development LP
Original Assignee
Hewlett Packard Enterprise Development LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Enterprise Development LP filed Critical Hewlett Packard Enterprise Development LP
Publication of CN115129832A publication Critical patent/CN115129832A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及经由聊天机器人促进关于产品支持问题的故障排除对话。本文中所描述的实施例大体上涉及分类模型的训练及其通过聊天机器人来标识客户指定的产品支持问题并且提供合适的故障排除指导的用途。根据一个示例，经由聊天机器人接收描述与供应商的产品线相关联的问题的文本。问题的矢量表示通过使用与产品线相对应的词关联模型来创建，并且基于与针对产品线的多个所支持的问题类别有关的历史支持案例集合进行训练。通过将分类模型应用于矢量表示，来确定问题是否与针对产品线的所支持的问题类别内的类别相匹配。当这一确定是肯定性的时，经由聊天机器人的与用户的自动化交互式会话式故障排除对话被启动并且基于产品线内的类别的决策树来指导。

Description

经由聊天机器人促进关于产品支持问题的故障排除对话
背景技术
聊天机器人是一种可以通常经由文本或话音与之通信的程序。聊天机器人可以使用人工智能(AI)和自然语言处理(NLP)来了解人类需求并且提供交互式指导。技术和机器学习的最新发展让聊天机器人在解释自然语言方面具有更强大的能力，既可以更好地理解，又可以随着时间的推移学习。
附图说明
在附图的各个图中，通过示例的方式而非限制的方式对本文所描述的实施例进行了说明，在附图中，相似的附图标记指代相似的元件。
图1示出了概念性地图示根据示例实施例的聊天机器人环境内的高级交互的框图。
图2示出了图示根据示例实施例的工作流程和集成的框图。
图3示出了图示根据示例实施例的架构的框图。
图4示出了图示根据示例实施例的监督学习处理的流程图。
图5示出了图示根据示例实施例的分类模型的实时应用的流程图。
图6示出了图示根据示例实施例的周期性分类模型和解决工作流程评价的流程图。
图7示出了根据示例实施例的计算机系统的框图。
图8示出了根据另一示例实施例的计算机系统的框图。
具体实施方式
本文中所描述的实施例大体上涉及分类模型的训练及其通过聊天机器人来标识客户指定的产品支持问题并且为其提供合适的故障排除指导的用途。阐述了许多具体细节，以便提供对示例性实施例的透彻理解。然而，对于本领域技术人员而言将显而易见的是，可以在没有这些具体细节中的一些具体细节的情况下实践本文中所描述的实施例。
呼叫中心可以表示集中部门，来自当前客户和/或潜在客户的例如形式为入站电话呼叫、文本消息、电子邮件消息和/或实时聊天会话的查询被引导到该集中部门。呼叫中心可以位于公司内，或者可以外包给专门处理这样的通信的另一公司。在处理产品/服务支持的呼叫中心的上下文中，呼叫中心的代理可以应对客户关于特定供应商的产品/服务的请求，并且可以捕获关于交互的基于文本的信息作为历史案例数据。例如，响应于接收到产品支持查询，可以在客户关系管理(CRM)应用中打开表示客户问题或疑问的新产品支持案例(或简称案例)，以存储除其他之外的关于产品线和问题或疑问与之有关的特定组件的信息、问题的描述、解决方案、客户是否可以远程(例如，无需更换部件，也无需现场工程师)解决问题、以及问题的严重程度(例如，关键与非关键)。当产品支持查询涉及实时聊天谈话时，也可以记录聊天记录。
产品供应商继续在人工代理上投入大量金钱、时间、精力和持续培训，以处理许多入门级至中程技术支持问题(例如，级别0或L0、级别1或L1等)。假设每年由供应商或代表供应商在产品支持案例与诸如聊天机器人(以及基础AI模型、基础设施和资源)之类的自动化手段的保守偏转率为1％的情况下处理数以万计的这样的案例，供应商可以合理地期望每年节省数百万美元。然而，使技术支持问题的处理变得自动化存在各种技术障碍和复杂性，这些技术支持问题包括从历史案例数据中标识产品问题类别，标识要由聊天机器人支持的合适范围的产品问题类别(例如，可由客户自行解决的产品问题类别)，训练AI分类模型(无需对训练数据进行过度的前期手动标记)以允许聊天机器人准确标识客户的意图，并且将所标识的意图映射到所支持的产品问题类别中的一个所支持的产品问题类别。附加地，每个产品问题类别可能涉及许多复杂的解决工作流程(本文中还可以被称为故障排除工作流程和/或决策树)。更进一步地，理想情况下，聊天机器人应该优雅地处理如下场景：客户正在询问的问题当前无法由聊天机器人解决；聊天机器人在多次尝试之后无法从客户文本中标识出意图；客户指示他/她的问题在聊天机器人耗尽其故障排除流程之后仍未解决；客户提出了聊天机器人之前未见过或未学习的问题(因此，聊天机器人无法正确标识问题)；解决特定问题/疑问的有效性或准确性随着时间的推移而减少(例如，由于产品线的改变)等。在前述复杂性之上还有一个问题是如何将领域专家(SME)的产品特定领域专业知识合适地并入相关过程和阶段(例如，标识要解决的产品问题类型、训练数据的精选、AI模型训练、以及操作化)。
本文中所描述的实施例试图通过使用新颖分类方法将实时文本表达客户意图映射到产品问题类别和即时标记方法来独立或组合解决上文所描述的各种问题。如下文所进一步详细描述的，新颖问题分类方法可以涉及使用每个产品线的单独词关联模型(例如，Word2Vec模型)来捕获用于描述产品问题的词与用于将用户自由文本的表示(例如，矢量表示)映射到产品问题类别的匹配表示(例如，矢量表示)的中间分类模型(例如，产品线特定长短期记忆网络(LSTM)模型)之间的语义相似性。如下文所进一步详细说明的，即时标记方法降低了对大量数据进行前期手动标记的负担，取而代之的是选择准确性随着时间的推移(例如，随着若干个监督训练迭代)而提高到可用水平的分类模型。
根据一个实施例，在操作时，聊天机器人从用户接收描述与供应商的产品线相关联的问题的产品支持案例的自由文本输入。通过使用来自与产品线相对应的多个词关联模型的集合中的词关联模型对自由文本输入的至少一部分进行令牌化和矢量化来创建问题的矢量表示。多个词关联模型中的每个词关联模型都基于与供应商的多个产品线的相应产品线的多个所支持的问题类别有关的历史支持案例集合，这些历史支持案例可被远程解决并且满足预定义的临界性阈值。通过将中间分类模型应用于矢量表示来确定问题是否与产品线的所支持的问题类别内的类别相匹配。响应肯定性确定，启动经由聊天机器人的与用户的自动化交互式会话式故障排除对话，其中该故障排除对话基于产品线内的特定问题类别的决策树来指导。
根据另一实施例，可以训练中间分类模型(例如，产品特定LSTM模型)，以使用迭代主动学习过程将产品问题的客户描述映射到供应商的相应产品线的所支持的产品问题类别。类别可以通过从跨越多个产品线的历史支持案例集合提取与特定产品线有关的聊天记录并且在特定产品线内的组件级执行无监督聚类来标识特定产品线的多个问题类别。可以通过从来自历史支持案例集合的与特定产品线相关的随机选定案例记录子集提取数据来创建训练数据集。然后，可以使用来自SME的输入基于选自多个问题类别的问题类别来标记训练数据集。可以基于训练数据集来训练中间分类模型。当中间分类模型的分类准确性处于或低于期望准确性阈值时：(i)与特定产品线有关的另一随机选定案例记录子集的附加数据可以从历史支持案例集合提取，并且附加到训练数据集；(ii)对于与小于预定义的或可配置的概率阈值的种类概率相关联的训练数据集的那些项，可以从SME接收关于通过中间分类模型针对训练数据集预测的多个问题类别的标签的输入。可以重复训练、提取和附加，直至达到期望准确性阈值。
术语
如本文中所使用的，“聊天机器人”(a/k/会话式代理)通常是指在基于硬件的处理资源上执行的计算机程序或软件应用，该计算机程序或软件应用利用自然语言处理(NLP)并且出于模拟与真人的会话或交互而被设计为模仿书面或口头人类语音。在本文中所描述的各种实施例中，聊天机器人可以在客户服务的一般上下文中，并且更具体地，在信息技术(IT)产品支持的上下文中，以经由文本或文本到语音进行在线聊天会话，代替或在将产品支持案例逐步升级到实时人工代理之前(例如，对于未被标识的问题和/或不受支持的产品问题类别)。在一些示例中，可以从聊天机器人所支持的产品问题类别中排除某些类型的技术问题(例如，不能远程解决的技术问题和/或关键的技术问题)。
术语“连接”或“耦接”以及相关术语在操作意义上使用并且不一定限于直接连接或耦接。因此，例如，两个设备可以直接耦接，或者经由一个或多个中间介质或设备耦接。作为另一示例，设备可以耦接，使得信息可以在它们之间传递，而彼此之间不共享任何物理连接。基于本文中所提供的公开内容，本领域普通技术人员将理解根据前述定义存在连接或耦接的多种方式。
如果说明书规定组件或特征“可以”、“可”、“可能”或“能”被包括或具有特性，则该特定组件或特征不一定需要被包括或具有特性。
如在本文中的描述和随后的权利要求书中所使用的，除非上下文另有明确规定，否则“一”、“一个”和“该”的含义包括复数引用。此外，如在本文中的描述中所使用的，除非上下文另有明确规定，否则“在……中”的含义包括“在……中”和“在……上”。
如本文中所使用的，“呼叫中心”通常是指促进处理客户的服务相关通信的物理或虚拟基础设施。呼叫中心可以位于组织内，外包给另一组织，或者其组合。一些呼叫中心可以具有集中物理位置，在该集中物理位置处，组织通常使用一定数目的计算机自动化处理大量客户和其他电话呼叫。其他呼叫中心可能在形式上更为虚拟，以促进对各种分布式地理位置中的代理的支持。虽然传统呼叫中心模型专注于入站电话呼叫和/或出站电话呼叫，但是本文中所使用的“呼叫中心”旨在涵盖附加信道和通信形式，这些通信形式包括但不限于实时聊天。
如本文中所使用的，短语“案例记录”旨在广义指代由呼叫中心维护或以其他方式利用的案例数据单元。除其他之外，案例记录还可以包括标题、描述、主题、唯一标识符(例如，案例编号)，标识所讨论的产品/服务的信息，标识所讨论的产品/服务的型号、序列号和/或版本的信息，以及各种其他自由形式的文本字段(例如，案例注释字段)。
说明书中对“一个实施例”或“一实施例”的引用是指结合实施例所描述的特定特征、结构或特点可以包括在本发明的至少一个实施例中。短语“在一个实施例中”的出现不一定都是指同一实施例。
图1示出了概念性地图示根据示例实施例的聊天机器人环境100内的高级交互的框图。在本文中所描述的各种实施例的上下文中，聊天机器人(例如，聊天机器人120)从客户(例如，客户110)接收实时聊天文本111。实时聊天文本111可以包括客户在供应商的产品线中正在遇到的疑问或问题的呈客户的词的描述。聊天机器人继而可以基于所定义的故障排除工作流程集合140内的故障排除工作流程来启动指导式问题解决122。
故障排除工作流程140可以与产品问题类别130相对应，该产品问题类别130表示聊天机器人的范围内的产品问题类别的全集。可以通过聊天机器人120将实时聊天文本121映射到所支持的产品问题类别130内的特定产品问题类别来标识合适的故障排除工作流程。如下文参考图2所进一步描述的，在一个实施例中，类别可以基于经精选的和/或预先处理的历史案例数据来确定产品问题类别130，该经精选的和/或预先处理的历史案例数据包括实时人工代理随时间的推移而捕获的历史信息，这些历史信息向客户提供关于技术支持问题的指导。
根据一个实施例，故障排除工作流程在产品支持领域专家(SME)的帮助下并且参考产品手册和/或支持知识文章而设计的指导式故障排除决策树。下文参考图2进一步描述可以由人类SME和机器学习方法的组合执行以产生故障排除工作流程140的意图发现和获取的非限制性示例。
产品问题类别130还可以用于定义CRM应用150内的问题类别，以允许人工代理将支持案例标记为与产品问题类别130中的一个产品问题类别相关联。
在一个实施例中，当聊天机器人无法解决客户的问题时，产品支持案例可以逐步升级123到实时人工代理。附加地，聊天机器人(或更准确地，它所依赖的基础分类模型)可以从经逐步升级的案例中学习151。
下文参考图2进一步描述在聊天机器人的操作期间可能有用的集成的各种其他非限制性示例。
图2示出了图示根据示例实施例的工作流程和集成的框图。可以执行以便支持聊天机器人环境的工作流程的各种非限制性示例包括意图发现和获取210、领域数据准备220、以及测试、评估和可以在AI实验室230中执行的其他活动。
在本示例的上下文中，意图发现和获取210可以包括由人类SME和机器学习过程的组合执行的活动。在一个实施例中，可以执行意图标识处理以解决与解释来自客户的自由文本问题描述相关联的问题。由于供应商(例如，IT产品供应商)可能具有若干个产品线并且当前可能由实时人工代理处理多类别型的产品支持问题，所以可能首先期望定义产品问题类别的范围以转移到聊天机器人(例如，聊天机器人240)。当前由人工代理处理的入门级至中程产品支持问题/案例通常落入涉及不可知意图(例如，保单覆盖查询和产品支持案例状态查询)、直接部件更换(例如，客户已确认部件发生故障并且需要更换部件)、以及客户可自行解决意图(例如，不重要且客户可远程解决的问题)的场景。在一个实施例中，聊天机器人要解决的产品问题类别的范围限于落入后者的产品问题类别。也就是说，产品问题或疑问应具有非关键性质，并且客户应可以远程解决问题而无需现场工程师或更换部件。
在一个实施例中，意图标识可以首先涉及过滤历史案例数据以创建可远程解决且非关键的产品支持案例子集。神经网络分类模型可以使用指示关键性和远程可解析性的字段的预标记的数据进行训练。然后，可以执行一系列AI分类任务来确定整个历史案例数据的关键性和远程可解析性，从而允许标识历史产品支持案例子集。所得产品支持案例子集可能会以迭代方式进行进一步处理，其中SME检查人工代理所制作的案例注释的领域特定原始文本，以构建分类法或还可以通过机器学习聚类算法处理的种类问题(产品问题类别)的精选列表。例如，基于历史案例数据，SME可以在每个产品线的基础上标识历史案例数据内发生的热门问题(或主题)。一个或多个统计建模方法(例如，主题建模)可以用于发现历史案例数据中发生的抽象“主题”。可以使用的主题建模方法的非限制性示例是潜在狄利克雷分配(Latent Dirichlet Allocation)(LDA)。如下文所进一步描述的，在一些实施例中，LDA可以在产品组件级和产品类别问题级两者应用。最终，可以通过使用直接人工反馈和机器学习模型的混合方法来实现出于标记目的最终问题分类。
基于聊天机器人要针对每个所讨论的产品线支持的有限产品问题类别集合，可以使用来自产品工程团队的合适成员的输入来创建给定产品线内的每个问题类别的聊天机器人特定的经批准的工作流程。一旦通过合适利益相关者的审查和批准，可以对故障排除工作流程进行编码，并且该工作流程在运行时例如经由应用编程接口(API)(例如，具象状态传输(REST)API)供聊天机器人使用。在一个实施例中，故障排除工作流程可以并入理解自然语言的第三方平台(例如，Google Dialogflow)中。
领域数据准备220阶段和AI实验室230阶段可以涉及结合是否将产品支持案例从聊天机器人逐步升级到实时人工代理以及来自经逐步升级的案例的关联学习而做出的决策。根据一个实施例，历史案例数据准备和特征选择和标记逻辑可以作为领域数据准备220阶段的一部分来执行，该部分包括案例数据的预先处理，该预先处理包括将“问题题材”字段和“问题描述”字段级联在一起、清理(例如，删除标点符号、数字和停用词)、令牌化(例如，使用一元分词、二元分词和三元分词)。然后，可以通过产品线过滤案例历史文本以创建自定义语料库，该自定义语料库可以作为输入馈送到词关联模型(例如，Word2Vec)，从而产生每个产品线的产品线特定词关联模型。例如，在案例记录内注释的客户提供的产品标识信息(例如，序列号)可以用于促进自动过滤，以创建多个产品线的自定义语料库。在一个实施例中，如下文参考图5所进一步描述的，在客户实时聊天文本的实时处理期间，经令牌化的文本可以通过这些经学习的词关联模型转换为数值矢量。
在AI实验室230阶段中，可以使用实时测试数据来评价各种词关联模型，并且确定每次迭代的准确性水平。在一个实施例中，在达到期望准确性水平之后，可以经由REST API保存和公开选定模型，以供聊天机器人在运行时使用。下文参考图4来描述可以在AI实验室230阶段中执行的主动学习过程的非限制性示例。
每个实时聊天可以涉及一般流程，该一般流程包括问候、授权检查、问题讨论和解决阶段。在运行时，在词关联和分类模型(例如，产品线特定长短期记忆网络(LSTM)模型)的操作化期间，聊天机器人还可以利用NLP引擎库250和各种集成260。在一个实施例中，NLP引擎库250可以在与客户的会话式对话的每个步骤处用于支持语音标识(例如，使用语音分类器的部件、实体和意图标识等解析和拆分文本)。在本示例的上下文中，合适的接口可以供聊天机器人使用来检查客户授权对所讨论的产品的支持，将案例传送到实时代理，在CRM应用内创建案例，和/或通过基于客户定义的问题文本和标识所讨论的产品线的信息(例如，产品名称或序列号)来返回由搜索产品支持知识文章数据库而产生的知识文章来协助客户自行解决产品问题。
图3示出了图示根据示例实施例的架构300的框图。虽然结合通过经由聊天机器人和/或实时人工代理(例如，代理301)的实时聊天对产品/服务问题进行故障排除，在协助客户(例如，最终用户302)的上下文中对本文中所提供的各种示例进行描述，但是本文中所描述的方法和系统一般可适用于涉及实时聊天的其他过程。
在本示例的上下文中，架构300包括一个或多个云120a-b，该一个或多个云120a-b可以表示私有云或公共云。云320a可以是公共云，通过该公共云，客户关系管理(CRM)应用330(例如，Salesforce、Microsoft Dynamics 365和Zoho CRM)和相关联的联系中心解决方案335作为服务递送到代理，例如，促进处理并存档来自特定产品或服务的供应商的客户的入站通信。根据一个实施例，CRM应用330包括案例记录数据库331和应用编程接口(API)332。案例记录数据库331可以存储历史案例数据，该历史案例数据包括由呼叫中心代理以基于文本的信息形式输入的与客户所提出的支持问题有关的案例注释。附加地，案例记录数据库331可以存储实时聊天会话的聊天记录。例如，客户可以通过联系中心解决方案335所支持的聊天和/或其他通信机制(例如，话音呼叫或视频呼叫)与呼叫中心代理进行通信。取决于特定实施方式，API 332可以是通过其可以处理CRM应用330与其他外部系统之间的包括与聊天环境相关联的交互在内的交互的REST API。
云320b可以是供应商的私有云，在该私有云中，可以实现处理和分析从CRM应用330提取的案例数据的功能。在本示例的上下文中，云320b包括聊天机器人345(其可以与聊天机器人120和240相对应)、主题建模引擎340、标记引擎360、映射引擎350、决策树355、以及多个产品线特定词关联模型346，它们可以基于按产品线过滤的案例历史文本来针对每个产品线进行训练。例如，多个产品线特定词关联模型346可以基于领域数据准备220阶段中的历史案例数据准备的结果来生成，决策树355通常可以与在意图发现和获取210阶段期间编码的工作流程相对应，并且映射引擎350所采用的分类模型可以是在AI实验室230中测试和评价并最终经由REST API公开的分类模型。
在一个实施例中，主题建模引擎340负责寻找案例集群以及可以用来标识那些案例集群以促进产品问题分类的所建议的热门词。例如，主题建模引擎340可以经由API 332将来自案例记录数据库331的案例记录子集加载到输入案例数据数据库341中以促进LDA在一个或多个粒度水平下的性能。在一个实施例中，在组件级(例如，电源、电池或服务器的风扇)、产品线级(例如，Hewlett Packard Enterprise Company所生产的HPE ProLiant ML服务器)和/或问题级(例如，硬盘驱动器故障、电源固件的更新方式)对所提取的案例数据执行LDA。如上文所指出的，可以首先清理从案例记录提取的问题文本，并且可以将词提取为单个词(一元分词)、两个连续词(二元分词)和/或三个连续词(三元分词)。主题/类别的数目(例如，LDA针对问题类别中的每个问题类别标识的热门词)可以在几个运行中发生变化，并且可以针对每个组合计算混淆度分数。然后，所标识的词组合(或由SME提供的修订类别标签)可以用于问题类别，持续存在于所支持的问题类别数据库341中，并且在通过应用来自产品线特定词关联模型346中的对应产品线特定词关联模型完成时由单个矢量表示。在一个实施例中，所支持的问题类别可以经由API 332推送到CRM应用330以允许代理301适当标记他们继续使用一致产品问题类别来处理的产品支持案例。
在另一实施例中，对集群的数目和每个集群的热门词执行主题建模(例如，LDA)结果的双重检查。例如，系统可以被设计为约束产品类别问题和问题解决类别相等的集群计数，然后迭代检查问题与解决集群之间的接近一对一的映射。如下文所进一步描述的，混淆度分数可以用作确定合适数目的集群的手段。
在本示例的上下文中，映射引擎350可以负责将客户对问题的描述映射到聊天机器人345的范围内的产品问题类别。例如，中间分类模型(例如，形式为产品线特定LSTM模型)可以用于将表示他/她正在经历的产品问题的客户描述的产品线特定词关联模型的经过矢量化的输出与表示聊天机器人345所支持的产品问题类别的产品线特定词关联模型的经过矢量化的对应输出相匹配。然后，如下文所进一步描述的，基于所标识的产品问题类别，可以启动经由聊天机器人345与最终用户302的自动化交互式会话式故障排除对话，如基于决策树的对应决策树355所指导的。自动化是指使用指导式决策树故障排除流程，交互式是指客户与聊天机器人之间的问答会话，会话是指处理客户在作为一种通信手段的聊天谈话期间输入的自由文本(例如，自然语言文本)的能力，而非例如与包括按钮或菜单选择在内的传统用户接口的交互。
在一个实施例中，标记引擎360可操作为例如通过监督学习过程在训练映射引擎350期间关联产品问题类别的标签(和/或通过具有训练数据集的产品线特定词关联模型进行的相同输出的经过矢量化的对应表示)。下文参考图4来描述用于训练映射引擎350的监督学习过程的非限制性示例。产品线特定词关联模型可以与监督学习过程同时进行训练。
本文中所描述的各种引擎(例如，本文中所描述的主题建模引擎340、映射引擎350和标记引擎360和其他功能单元(例如，聊天机器人345)以及下文参考图4至图6的流程图所描述的处理))可以以存储在机器可读介质上并且由处理资源(例如，微控制器、微处理器、中央处理单元核、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)的可执行指令的形式和/或以其他类型的电子电路系统的形式实现。例如，处理可以由各种形式的一个或多个虚拟或物理计算机系统(诸如下文参考图7至图8所描述的计算机系统)执行。
图4示出了图示根据示例实施例的监督学习处理的流程图。在本示例的上下文中，采用主动学习过程来迭代训练中间分类模型(例如，表示映射引擎350)，以将产品问题的客户描述映射到特定产品线的所支持的产品问题类别(例如，所支持的问题类别341)。更具体地，中间分类模型将产品线特定词关联模型(例如，产品线特定词关联模型346中的一个产品线特定词关联模型346)的输出(例如，数值矢量)与所支持的产品问题类别的表示(例如，数值矢量)相匹配。可以重复每个产品线的监督学习过程，以训练每个产品线的产品线特定LSTM模型。
在框410处，可以基于历史案例记录(例如，案例记录331)来标识产品问题类别(例如，热门词)。根据一个实施例，可以通过从存储在历史案例记录中的实时聊天的聊天记录提取文本来创建数据语料库，并且可以应用主题模型(例如，LDA)来查找案例集群(表示产品问题类别)以及用于命名集群的所提议的热门词。
如上文所指出的，主题模型可以在组件级和产品级执行。经验数据表明，当历史案例记录首先按组件(例如，按照SME的建议)然后在组件级执行主题建模进行隔离时，至少对于某些产品线，可以提高从客户问题描述到产品问题类别的映射的准确性。对于特定产品线(例如，存储平台)仅在一个水平下进行聚类，不同的硬盘相关问题可能倾向于包含在所有一个硬盘驱动器(HDD)故障类别下；然而，当首先执行聚类以将问题聚类到诸如HDD之类的组件中，然后针对特定产品线执行另一聚类水平时，可以实现改进产品问题类别。在一个实施例中，所标识的产品问题类别被显示给SME以促进后续人工标记。附加地，基于来自SME的输入，可以可选地合并对与产品问题类别相关联的标签的修订。
在框420处，可以通过从历史案例记录提取相对较小批量的随机选定未标记数据来创建初始训练数据集。相对较小批量的案例记录选自与所讨论的产品线有关的历史案例记录，并且可能表示跨越所有产品线的案例记录的总数的大约1％到4％。
在框430处，通过SME对训练数据集中的每个项执行手动标记。对于训练数据集中的每个项，可以从SME接收关于从要与项相关联的所支持的问题类别中的选定标签的信息。以这种方式，例如，可以创建第一批量的2,000个手动标记的项。
在框440处，基于训练数据集的当前状态来训练中间分类模型。例如，给定有限的第一数据集合，人工神经网络训练技术可以用于将包含在历史案例记录中的问题文本映射到不同的问题类别，从而使能可以用于运行时理解描述与供应商产品线相关联的问题的客户自由文本输入的分类模型。可以使用的人工神经网络训练技术的非限制性示例包括多层感知(MLP)、LSTM、循环神经网络(RNN)、以及其他经典方法(例如，支持向量机(SVM)或随机森林)。在本文中所描述的各种示例中，由于可以如下文所进一步讨论的，还以迭代方式重新训练经训练的模型，以便实现统计上可接受的和准确的结果，所以框440被认为是中间步骤。
在决策框450处，确定中间分类模型的准确性是否超过预定义的或可配置的准确性阈值。如果是，处理分支到框460；否则，处理继续到框470。在一个实施例中，通过留出原始数据集的30％用于测试和验证来测量准确性。例如，可以针对不可见的30％数据集运行经学习的模型，并且可以使用已经存在的SME验证标签检查预测。可以基于正确预测的数目除以预测的总数来测量准确性。在一个实施例中，准确性阈值是90％，并且在达到这样的准确性之前预期执行多个训练迭代。
当以未知数据集开始时，没有任何预标记的数据以促进计算准确性。如此，连贯性(热门词解释主题的最佳方式)和混淆度(模型在看到新数据时的惊讶程度)可以用于评价主题数目和主题建模通常是否按预期工作。较高的连贯性通常与更好建模相关，而较低的混淆度通常与更好的模型拟合相关。对于主题建模(例如，LDA)，连贯性和混淆度是用于评价的有效性的标准测量。对于LSTM，不可见的数据的准确性度量(例如，基于精度、召回或F1分数)可以用于评价模型的有效性。
基于涉及可变数目的主题或问题类别的经验数据，随着聚类数目的增加，混淆度和连贯性分数显示出改善，因为同一问题类别内的记录的多样性较少；然而，由于这些类别不够泛化并且倾向于更多地与单个记录对齐，所以将新的不可见的数据集分类到集群中变得不太准确。如此，本文中所描述的各种实施例通过将分类模型的准确性与混淆度和连贯性分数进行比较以例如在线性化混淆度分数与线性化准确性分数相交的点处找到聚类的数目方面的正确平衡来解决该权衡。随着时间的推移，随着预标记的数据可用，中间分类模型的准确性可以基于客户描述的正确预测的产品问题类别标签的数目与预测的总数的比例或基于其他度量(例如，精确性、召回或F1分数)来计算。
如果中间分类模型已经被充分训练以达到期望准确性阈值(框450处的“是”)，则过程进行到框460，其中分类模型(例如，中间分类模型和产品线特定词关联模型)可以部署到生产环境以供聊天机器人(例如，聊天机器人345)在与客户的实时聊天谈话期间使用。
在框465处，可以在CRM应用内定义所支持的问题类别。以这种方式，实时人工代理(例如，代理301)可以将合适产品问题类别标签与他们在持续的基础上继续处理的产品支持案例相关联。在一个实施例中，可以包括“其他”类别以捕获不适合现有产品问题类别集合的产品支持案例。如下文所进一步解释的，参考图6，这个其他类别可以用作执行对分类模型的再训练/刷新的触发条件。
如果确定中间分类模型还不足以达到期望准确性阈值(框450处的“否”)，则过程进行到框470。在框470处，附加批量的随机选定未标记数据从历史案例记录提取并且附加到现有训练数据集，从而创建包括一些手动标记数目和一些未标记数据的训练数据集。在一个示例中，附加批量中的案例记录的数目可以与在框420中选择的初始批量相同。此时，(如框470使用附加记录所更新的)训练数据集的当前状态可以馈送到中间分类模型。
在框480处，可以标识训练数据集中的边界项。例如，确定与训练数据集中个别项相关联的种类概率是否小于期望概率阈值。也就是说，确定中间分类模型对其预测标签的置信度是否小于期望概率阈值。中间分类模型的置信度小于期望概率阈值的个别训练数据被视为边界项，然后处理继续到框485。如果没有置信度值小于期望概率阈值，则处理分支到框490。在一个实施例中，期望概率阈值为0.7。
在框485处，可以通过SME执行对边界项的预测标签的验证或在决策框480处标识的边界项的重新标记。例如，对于临界项中的每个临界项，SME可以确认中间分类模型所做出的预测是正确的，SME可以选择与该项的所支持的问题类别中的一个所支持的问题类别相关联的不同标签。此时，处理可以循环回到框440以执行另一训练迭代。
在框490处，当训练数据集中所有项的种类概率满足或超过期望概率阈值时，无需对标签或重新标记进行SME验证。
为了说明，中间分类模型可以以少量人工标记的数据(例如，2,000)开始。随后，可能会向分类器发送附加批量(例如，2,000)的新记录，并且取决于准确性，以非准确方式对某个比例进行分类。为了校正，这些错误分类的案例可以使用为种类预测指派的概率发送到SME，并且与正确分类的训练数据组合，然后，可以使用组合(例如，4,000)数据运行后续迭代。随着时间的推移，模型的准确性提高到可用水平，并且可以避免前期手动标记大量数据以实现“及时”标记。
图5示出了图示根据示例实施例的分类模型的实时应用的流程图。在框510处，从客户(例如，最终用户302中的一个最终用户)接收描述与供应商的产品线相关联的问题的产品支持案例的自由文本输入。在一个实施例中，在聊天机器人(例如，聊天机器人345)从客户接收到标识所讨论的产品或产品线的信息(例如，产品名称或序列号)之后，通过聊天机器人(例如，聊天机器人345)接收自由文本输入。
在框520处，客户所描述的问题或疑问的矢量表示通过对自由文本输入的一部分进行令牌化和矢量化来创建。在一个实施例中，包含问题描述的自由文本输入输入到产品线特定词关联模型(例如，Word2Vec模型)。
在框530处，客户问题描述(例如，由产品线特定词关联模型输出的数字矢量)通过映射引擎(例如，映射引擎350)映射到所支持的问题类别。例如，中间分类模型(例如，根据参考图4所描述的监督学习方法训练的产品特定LSTM模型)可以尝试将客户问题描述的表示与所支持的问题类别的表示相匹配。
在决策框540处，确定客户问题描述是否与所讨论的产品线的所支持的问题类别(例如，所支持的问题类别341)集合内的类别相匹配。如果是，则处理继续到框560；否则，处理分支到框550。
在框560处，聊天机器人可以启动与用户的自动化交互式会话式故障排除对话，该自动化交互式会话式故障排除对话基于如在决策框540处标识的产品线内的匹配产品问题类别的决策树(决策树355中的一个决策树)来指导。
在框550处，没有找到针对客户问题描述的匹配，并且产品支持案例可以逐步升级到实时人工代理。这可能是由于客户描述了先前不可见(或未学习)的产品问题，或客户问题描述不在聊天机器人可解决的那些问题的范围内。用于逐步升级产品支持案例的其他潜在原因可能包括发现客户无权获得所讨论的产品的支持，聊天机器人在多次尝试后无法从客户文本中标识出意图，和/或客户提供在聊天机器人执行了故障排除流程后他/她的问题仍未解决的反馈。在一个实施例中，在将产品支持案例逐步升级到实时人工代理之前，聊天机器人还可以尝试基于客户定义的问题文本通过支持知识文章数据库执行搜索来帮助客户自行解决问题，并且可以将与相关知识文档的相关链接返回到客户。
图6示出了图示根据示例实施例的周期性分类模型和解决工作流程评价的流程图。在决策框610处，确定评价间隔是否已经期满。如果是，则处理继续到框620；否则，处理循环回到决策框610。
在框620处，从CRM应用(例如，CRM应用330)提取信息。例如，可以获得关于由于聊天机器人(例如，聊天机器人345)未标识的客户问题而逐步升级的产品支持案例的数目的统计信息，例如，由于从聊天机器人(例如，聊天机器人345)逐步升级的产品支持案例和/或聊天机器人对问题的不满意解决，所以通过人工代理(例如，代理301)执行产品支持问题的持续手动标记。
在决策框630处，确定由代理使用CRM应用内定义的产品问题类别中的“其他”问题类别示踪的产品支持案例的数目是否已经超过阈值。如果是，处理分支到框640；否则，处理继续进行决策框650。与由聊天机器人支持的定义的产品问题类别中的一个或多个定义的产品问题类别相比较，通过代理与“其他”问题类别相关联的相对较大数目的产品支持案例可以指示数目不足列表过时或的所支持的产品问题类别。
在框640处，可以触发对分类模型的重新训练或刷新。根据一个实施例，可以通过人为提升(例如，不成比例地表示)训练数据集中的逐步升级的案例的比例来从经逐步升级的案例中学习新兴产品问题类别。例如，可以通过将代表性不足的逐步升级的案例复制一个因子(诸如因子为2至8)来提升经逐步升级的案例，以创建具有比例更为均衡的标签计数的人工训练数据。预计在新聊天机器人部署的初始阶段中，对分类模型的刷新会更频繁地发生，并且随着基础模型的成熟而变得不会那么频繁。
在决策框650处，确定由于聊天机器人无法标识客户问题描述而逐步升级的案例的数目是否超过阈值。如果是，处理分支到框640；否则，处理继续进行决策框660。聊天机器人无法标识的相对较大数目的客户问题可以指示需要重新训练/刷新所讨论的产品线的词关联模型。例如，类别总数的前3至7个类别中的“其他”类别可以用作用于重新训练/刷新所讨论的产品线的词关联模型的触发条件。
在决策框660处，确定例如基于客户经由聊天机器人提供的反馈来确定问题解决准确性是否低于阈值。如果是，处理继续框670；否则，处理循环回到决策框610。低于期望问题解决准确性可以指示随着时间的推移例如由于产品线的改变而降低的针对特定问题/疑问的故障排除工作流程的有效性或准确性。在一个实施例中，大约在80％至90％之间的问题解决准确性可以用作期望问题解决准确性阈值。
在框670处，可以针对聊天机器人环境的管理用户生成关于解决工作流程检查和/或刷新的潜在需要的通知或警报。
虽然在本示例的上下文中，评价中的每个评价都与相同的评价区间相联系，但是应理解的是，在备选实施例中，各种评价可以具有单独评价区间。例如，可以每季度执行问题解决准确性评价，而可以更频繁地执行对“其他”问题类别的增长的监测。
图7示出了根据实施例的计算机系统的框图。在图7所图示的示例中，计算机系统700包括处理资源710，该处理资源710耦接到非暂态机器可读介质720，该处理资源710使用指令进行编码，以执行本文中所描述的一个或多个过程。处理资源710可以包括微控制器、微处理器、一个或多个CPU核、一个或多个GPU核、ASIC、FPGA、和/或适合于从机器可读介质720检索和/或执行指令以执行与本文中所描述的各种示例有关的功能的其他硬件设备。附加地或备选地，处理资源710可以包括电子电路系统，该电子电路系统用于执行本文中所描述的指令的功能。
机器可读介质720可以是适合于存储可执行指令的任何介质。机器可读介质720的非限制性示例包括RAM、ROM、EEPROM、闪存、硬盘驱动器、光盘等。机器可读介质720可以设置在计算机系统700内，如图7所示，在这种情况下，可执行指令可以被视为“安装”或“嵌入”在计算机系统700上。备选地，机器可读介质720可以是便携式(例如，外部)存储介质，并且可以是“安装封装”的一部分”。存储在机器可读介质720上的指令可以用于实现本文中所描述的方法中的至少一个或多个方法。
在本示例的上下文中，机器可读介质720使用可执行指令730至790的集合进行编码。应理解的是，在备选实施方式中，一个框内包括的部分或全部可执行指令和/或电子电路可以包括在图所示的不同框中或未示出的不同框中。
指令730在执行时可以使处理资源710基于历史案例记录来标识和显示问题类别。在一个实施例中，指令730可以用于执行图4的框410。
指令740在执行时可以使处理资源710基于从历史案例记录提取的未标记数据来创建和/或更新训练数据集。在一个实施例中，指令740可以用于执行图4的框420或框470。
指令750在执行时可以使处理资源710从SME接收标签和/或验证。在一个实施例中，指令750可以用于执行图4的框430或框485。
指令760在执行时可以使处理资源710基于训练数据集来训练中间分类模型。在一个实施例中，指令760可以用于执行图4的框440。
指令770在执行时可以使处理资源710确定中间分类模型的准确性是否超过准确性阈值。在一个实施例中，指令770可以用于执行图4的决策框450。
指令780在执行时可以使处理资源710将分类模型部署到生产环境并且在CRM应用中定义问题类别。在一个实施例中，指令780可以用于执行图4的框460和465。
指令790在执行时可以使处理资源710确定种类概率是否小于阈值。在一个实施例中，指令790可以用于执行图4的决策框480。
图8是根据备选实施例的计算机系统的框图。在图8所图示的示例中，计算机系统800包括处理资源810，该处理资源820耦接到非暂态机器可读介质820，该处理资源820使用指令进行编码以执行本文中所描述的一个或多个过程。如上文，处理资源810可以包括微控制器、微处理器、中央处理单元核心、ASIC、FPGA、和/或其他硬件设备，这些硬件设备适于从机器可读介质820检索和/或执行指令以与本文中所描述的各种示例有关的功能。附加地或备选地，处理资源810可以包括电子电路系统，该电子电路系统用于执行本文中所描述的指令的功能。
机器可读介质820可以是适合于存储可执行指令的任何介质。机器可读介质820的非限制性示例包括RAM、ROM、EEPROM、闪存、硬盘驱动器、光盘等。机器可读介质820可以设置在计算机系统800内，如图8所示，在这种情况下，可执行指令可以被视为“安装”或“嵌入”在计算机系统800上。备选地，机器可读介质820可以是便携式(例如，外部)存储介质，并且可以是“安装封装”的一部分。机器可读介质820上存储的指令可以用于实现本文中所描述的方法的至少一部分。
在本示例的上下文中，机器可读介质820使用可执行指令830至870的集合进行编码。应理解的是，在备选实施方式中，一个框内包括的部分或全部可执行指令和/或电子电路可以包括在图中所示的不同框中或未示出的不同框中。例如，在一个实施例中，图7的可执行指令730至790的集合和可执行指令830至880的集合可以安装在同一计算机系统上。
指令830在执行时可以使处理资源810接收来自用户的描述与供应商的产品线相关联的问题的产品支持案例的自由文本输入。在一个实施例中，指令830可以用于执行图5的框510。
指令840在执行时可以使处理资源810使用产品线特定词关联模型来创建问题的矢量表示。在一个实施例中，指令840可以用于执行图5的框520。
指令850在执行时可以使处理资源810执行将问题描述映射到所支持的问题类别。在一个实施例中，指令850可以用于执行图5的框530。
指令860在执行时可以使处理资源810确定问题是否与所支持的问题类别匹配。在一个实施例中，指令860可以用于执行图5的决策框540。
指令870在执行时可以使处理资源810将产品支持案例逐步升级到人工代理。在一个实施例中，指令870可以用于执行图5的框550。
指令880在执行时可以使处理资源810启动经由聊天机器人的与用户的自动化交互式会话式故障排除对话，该自动化交互式会话式故障排除对话基于产品线内的类别的决策树来指导。在一个实施例中，指令880可以用于执行图5的框560。
在前述描述中，阐述了许多细节以提供对本文中所公开的主题的理解。然而，可以在没有这些细节的部分或全部的情况下进行实现。其他实施方式可能包括对上文所讨论的细节的修改、组合和变化。以下声明旨在覆盖这样的修改、组合和变化。

Claims (20)

1.一种系统，包括：
处理资源；以及
非暂态计算机可读介质，耦接到所述处理资源，其中存储有指令，所述指令在由所述处理资源执行时，使所述系统：
经由聊天机器人，从用户接收产品支持案例的自由文本输入，其中，所述自由文本输入描述与供应商的产品线相关联的问题；
通过使用与所述产品线相对应的多个词关联模型中的词关联模型对所述自由文本输入的至少一部分进行令牌化和矢量化，来创建所述问题的矢量表示，其中，所述多个词关联模型中的每个词关联模型基于与针对所述供应商的多个产品线中的相应产品线的多个所支持的问题类别有关的历史支持案例集合，所述历史支持案例能够被远程解决并且满足预定义的临界性阈值；
通过将中间分类模型应用于所述矢量表示，来确定所述问题是否与针对所述产品线的所述多个所支持的问题类别内的类别相匹配；以及
响应于肯定性确定，启动经由所述聊天机器人的与所述用户的自动化交互式会话式故障排除对话，所述自动化交互式会话式故障排除对话基于针对所述产品线内的所述类别的决策树来指导。
2.根据权利要求1所述的系统，其中，所述指令还使所述系统：响应于否定性确定，将所述产品支持案例逐步升级到人工代理。
3.根据权利要求1所述的系统，其中，所述多个词关联模型中的每个词关联模型通过来生成：应用主题模型，以在所述相应产品线的组件级和针对所述相应产品线的所述多个所支持的问题类别内的类别级，根据分类法标识所述历史支持案例集合的集群。
4.根据权利要求3所述的系统，其中，所述主题模型包括潜在狄利克雷分配。
5.根据权利要求1所述的系统，其中，所述指令还使所述系统：通过基于训练数据集重新训练所述多个词关联模型中与特定产品线相对应的特定词关联模型，来更新针对所述特定产品线的所述多个所支持的问题类别以包括在经逐步升级的产品支持案例内观察到的新兴问题类别，其中在所述训练数据集中所述经逐步升级的产品支持案例不成比例地被表示。
6.根据权利要求1所述的系统，其中，所述指令还使所述系统：通过使用主动学习过程对从所述历史支持案例集合提取的新数据进行分类来减少要由领域专家SME执行的手动标记的量，所述主动学习过程利用所述中间分类模型并且将通过所述SME进行的所述手动标记限制在如下临界案例，在所述临界案例中，所述中间分类模型的概率低于预定义的概率阈值。
7.根据权利要求6所述的系统，其中，所述中间分类模型包括人工智能AI分类模型。
8.根据权利要求7所述的系统，其中，所述AI分类模型包括长短期记忆LSTM模型。
9.一种由一个或多个计算机系统的一个或多个处理资源执行的方法，所述方法包括：
通过从跨越多个产品线的历史支持案例集合提取与特定产品线有关的聊天记录并且在所述特定产品线内的组件级执行无监督聚类，来标识针对供应商的多个产品线中的所述特定产品线的多个问题类别；
通过从来自所述历史支持案例集合的与所述特定产品线有关的随机选定案例记录子集提取数据，来创建训练数据集；
使用来自领域专家SME的输入，基于选自所述多个问题类别中的问题类别来标记所述训练数据集；
基于所述训练数据集来训练中间分类模型；
响应于针对所述训练数据集的所述中间分类模型的分类准确性处于或低于预定的或可配置的准确性阈值：
从来自所述历史支持案例集合的与所述特定产品线有关的另一随机选定案例记录子集提取附加数据；
将所述附加数据附加到所述训练数据集；以及
对于所述训练数据集中与小于预定义的或可配置的概率阈值的种类概率相关联的那些项，从所述SME接收输入，所述输入与由所述中间分类模型针对所述训练数据集预测的所述多个问题类别的标签相关；以及
重复所述训练、提取和附加，直至所述分类的所述准确性超过所述预定的或可配置的准确性阈值。
10.根据权利要求9所述的方法，其中，所述随机选定案例记录子集表示少于所述历史支持案例集合内的案例记录总数的5％。
11.根据权利要求9所述的方法，其中所述中间分类模型包括长短期记忆LSTM模型。
12.一种非暂态机器可读介质，所述非暂态机器可读介质存储有指令，所述指令当由计算机系统的处理资源执行时，使所述计算机系统：
经由聊天机器人，从用户接收产品支持案例的自由文本输入，其中，所述自由文本输入描述与供应商的产品线相关联的问题；
通过使用与所述产品线相对应的多个词关联模型中的词关联模型对所述自由文本输入的至少一部分进行令牌化和矢量化，来创建所述问题的矢量表示，其中，所述多个词关联模型中的每个词关联模型基于与针对所述供应商的多个产品线中的相应产品线的多个所支持的问题类别有关的历史支持案例集合，所述历史支持案例能够被远程解决并且满足预定义的临界性阈值；
通过将中间分类模型应用于所述矢量表示，来确定所述问题是否与针对所述产品线的所述多个所支持的问题类别内的类别相匹配；以及
响应于肯定性确定，启动经由所述聊天机器人的与所述用户的自动化交互式会话式故障排除对话，所述自动化交互式会话式故障排除对话基于针对所述产品线内的所述类别的决策树来指导。
13.根据权利要求12所述的非暂态机器可读介质，其中，由所述处理资源对所述指令的执行还使所述计算机系统：响应于否定性确定，将所述产品支持案例逐步升级到人工代理。
14.根据权利要求12所述的非暂态机器可读介质，其中，所述多个词关联模型中的每个词关联模型通过来生成：应用主题模型，以在所述相应产品线的组件级和针对所述相应产品线的所述多个所支持的问题类别内的类别类别级，根据分类法标识所述历史支持案例集合的集群。
15.根据权利要求14所述的非暂态机器可读介质，其中，所述主题模型包括潜在狄利克雷分配。
16.根据权利要求12所述的非暂态机器可读介质，其中，由所述处理资源对所述指令的执行还使所述计算机系统：通过基于训练数据集重新训练与所述多个词关联模型中与特定产品线相对应的特定词关联模型，来更新针对所述特定产品线的所述多个所支持的问题类别以包括在经逐步升级的产品支持案例内观察到的新兴问题类别，其中在所述训练数据集中所述经逐步升级的产品支持案例不成比例地被表示。
17.根据权利要求12所述的非暂态机器可读介质，其中由所述处理资源对所述指令的执行还使所述计算系统：通过使用主动学习过程对从所述历史支持案例集合提取的新数据进行分类来减少要由领域专家SME执行的手动标记的量，所述主动学习过程利用所述中间分类模型并且将通过所述SME进行的所述手动标记限制在如下临界案例，在所述临界案例中，所述中间分类模型的概率低于预定义的概率阈值。
18.根据权利要求17所述的非暂态机器可读介质，其中，所述中间分类模型包括人工智能AI分类模型。
19.根据权利要求12所述的非暂态机器可读介质，其中，所述AI分类模型包括长短期记忆LSTM模型。
20.根据权利要求18所述的非暂态机器可读介质，其中，所述中间分类模型特定于所述产品线。
CN202111253888.6A 2021-03-23 2021-10-27 经由聊天机器人促进关于产品支持问题的故障排除对话 Pending CN115129832A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/209,572 2021-03-23
US17/209,572 US20220309250A1 (en) 2021-03-23 2021-03-23 Facilitating an automated, interactive, conversational troubleshooting dialog regarding a product support issue via a chatbot

Publications (1)

Publication Number Publication Date
CN115129832A true CN115129832A (zh) 2022-09-30

Family

ID=83192838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111253888.6A Pending CN115129832A (zh) 2021-03-23 2021-10-27 经由聊天机器人促进关于产品支持问题的故障排除对话

Country Status (3)

Country Link
US (1) US20220309250A1 (zh)
CN (1) CN115129832A (zh)
DE (1) DE102021126866A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220358456A1 (en) * 2021-05-04 2022-11-10 Uber Technologies, Inc. Categorization of items for delivery service
US20220398598A1 (en) * 2021-06-10 2022-12-15 Hewlett Packard Enterprise Development Lp Facilitating an automated, interactive, conversational troubleshooting dialog regarding a product support issue via a chatbot and associating product support cases with a newly identified issue category
US20230164095A1 (en) * 2021-11-24 2023-05-25 Verizon Patent And Licensing Inc. Systems and methods for analyzing chatbot communication sessions to reduce escalation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367814B1 (en) * 2011-12-27 2016-06-14 Google Inc. Methods and systems for classifying data using a hierarchical taxonomy
US10438212B1 (en) * 2013-11-04 2019-10-08 Ca, Inc. Ensemble machine learning based predicting customer tickets escalation
US10467261B1 (en) * 2017-04-27 2019-11-05 Intuit Inc. Methods, systems, and computer program product for implementing real-time classification and recommendations
US10529001B2 (en) * 2017-07-18 2020-01-07 International Business Machines Corporation Elicit user demands for item recommendation
US10498898B2 (en) * 2017-12-13 2019-12-03 Genesys Telecommunications Laboratories, Inc. Systems and methods for chatbot generation
EP3640855A1 (en) * 2018-10-19 2020-04-22 Tata Consultancy Services Limited Systems and methods for conversational based ticket logging
US11397762B2 (en) * 2020-01-24 2022-07-26 Accenture Global Solutions Limited Automatically generating natural language responses to users' questions
US11513886B2 (en) * 2021-03-11 2022-11-29 UiPath, Inc. System and computer-implemented method for managing robotic process automation (RPA) robots

Also Published As

Publication number Publication date
US20220309250A1 (en) 2022-09-29
DE102021126866A1 (de) 2022-09-29

Similar Documents

Publication Publication Date Title
US11004013B2 (en) Training of chatbots from corpus of human-to-human chats
US11676067B2 (en) System and method for creating data to train a conversational bot
US11748414B2 (en) Methods and systems of operating computerized neural networks for modelling CSR-customer relationships
US10839404B2 (en) Intelligent, interactive, and self-learning robotic process automation system
US11017038B2 (en) Identification and evaluation white space target entity for transaction operations
US20230018172A1 (en) System and Method for Estimation of Interlocutor Intents and Goals in Turn-Based Electronic Conversational Flow
US11336539B2 (en) Support ticket summarizer, similarity classifier, and resolution forecaster
US20200005117A1 (en) Artificial intelligence assisted content authoring for automated agents
US20220398598A1 (en) Facilitating an automated, interactive, conversational troubleshooting dialog regarding a product support issue via a chatbot and associating product support cases with a newly identified issue category
US20210089624A1 (en) Determining context and intent in omnichannel communications using machine learning based artificial intelligence (ai) techniques
CN115129832A (zh) 经由聊天机器人促进关于产品支持问题的故障排除对话
US11295251B2 (en) Intelligent opportunity recommendation
US20150032724A1 (en) System and method for auto-suggesting responses based on social conversational contents in customer care services
US20210142291A1 (en) Virtual business assistant ai engine for multipoint communication
US11551171B2 (en) Utilizing natural language processing and machine learning to automatically generate proposed workflows
US20220284171A1 (en) Hierarchical structure learning with context attention from multi-turn natural language conversations
US20230237276A1 (en) System and Method for Incremental Estimation of Interlocutor Intents and Goals in Turn-Based Electronic Conversational Flow
US20200159526A1 (en) Methods and systems for automatically updating software functionality based on natural language input
US20220156460A1 (en) Tool for categorizing and extracting data from audio conversations
US10896034B2 (en) Methods and systems for automated screen display generation and configuration
US11514458B2 (en) Intelligent automation of self service product identification and delivery
US11314488B2 (en) Methods and systems for automated screen display generation and configuration
Richetti et al. Analysis of knowledge-intensive processes focused on the communication perspective
US11463328B2 (en) Training a machine learning algorithm to create survey questions
WO2023164312A1 (en) An apparatus for classifying candidates to postings and a method for its use

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination