CN103226563A - 对自动客户支持系统中的客户活动进行分类的方法和系统 - Google Patents

对自动客户支持系统中的客户活动进行分类的方法和系统 Download PDF

Info

Publication number
CN103226563A
CN103226563A CN2013100341321A CN201310034132A CN103226563A CN 103226563 A CN103226563 A CN 103226563A CN 2013100341321 A CN2013100341321 A CN 2013100341321A CN 201310034132 A CN201310034132 A CN 201310034132A CN 103226563 A CN103226563 A CN 103226563A
Authority
CN
China
Prior art keywords
probability
customer support
support system
client
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100341321A
Other languages
English (en)
Other versions
CN103226563B (zh
Inventor
C·S·皮年泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN103226563A publication Critical patent/CN103226563A/zh
Application granted granted Critical
Publication of CN103226563B publication Critical patent/CN103226563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/101Collaborative creation, e.g. joint development of products or services

Landscapes

  • Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于对自动客户支持系统中的客户活动进行分类的方法、装置和制造品。该方法包括从自动客户支持系统获取输入,其中该输入包括自动客户支持系统中的客户活动的可观察度量;计算该输入对应于一个或多个概率模型中的一个的概率;以及通过考虑对应于最大计算概率的概率模型,使用该计算的概率对自动客户支持系统中的客户活动进行分类。

Description

对自动客户支持系统中的客户活动进行分类的方法和系统
技术领域
本发明的实施例一般涉及信息技术,且更具体而言涉及分类系统。
背景技术
尽管可以由人类代理(human agent)当面或通过电话来提供客户支持,近年来出现了大量的自动系统,其允许客户获取支持而不用人类联系(contact)。例子包括自动语音响应系统(VRS)和基于因特网的网站。但是,对这些自动客户支持系统的度量被证明存在挑战。一般度量涉及对与自动系统的客户联系的分类,并包括将联系分类为特定类别例如成功或失败的需要。这在技术支持系统的情形下尤其重要,在技术支持系统中确定客户是否解决了其问题是成功的关键度量。
在基于代理的计算机支持系统中,交互的成功或失败可以由代理、以及由其他度量例如用户花费了多少时间来解决其问题来确定。但是,对那些自动客户支持系统的有用性的度量经常凭借对客户的调查或采访,这需要客户的良好意愿或报酬。在这样的情形下,由于接收调查来宣泄其对使用系统的失望的不高兴的客户,或由于接收报酬的人们的特定人口特征,度量会变得有偏差。特别是在试图对用户在其交互中成效如何进行度量时,基于调查的度量可能以不可预测的方式影响到结果。
因此,需要这样的技术,其能够检查用户在自动系统中的活动的踪迹(例如,他/她读了哪些文档、从菜单中选择了哪些选项、以及提供了哪些信息),且基于此,根据预先指定的类别来对交互进行分类。
发明内容
在本发明的一个方面,提供了使用概率模型来对活动进行分类的技术。用于对自动客户支持系统中的客户活动进行分类的示例性计算机实现的方法可包括下列步骤:从自动客户支持系统获取输入,其中该输入包括自动客户支持系统中的客户活动的可观察度量;计算该输入对应于一个或多个概率模型中的一个的概率;以及通过考虑对应于最大计算概率的概率模型,使用该计算的概率对自动客户支持系统中的客户活动进行分类。
本发明的另一方面及其元素可以用有形地实现计算机可读指令的制造品的形式来实现,所述指令被实现时,使得计算机实现如这里所述的多个方法步骤。此外,本发明的另一方面及其元素可以用包含存储器和至少一个处理器的装置的形式来实现,该处理器耦合到存储器并可操作来执行所述方法步骤。
此外,本发明的又一个方面及其元素可以用实现这里描述的方法步骤的装置或其元素的形式来实现;该装置可以包括(i)硬件模块,(ii)软件模块,或(iii)硬件和软件模块的组合;(i)-(iii)中的任一个实现这里阐述的特定技术,且软件模块被存储在有形的计算机可读存储介质(或多个这样的介质)中。
根据结合附图阅读的说明性实施例的下列详细描述,本发明的这些和其他目标、特征和优势将变得明显。
附图说明
图1是示出根据本发明的实施例的描述了对自动技术支持网站的成功访问的隐马尔科夫模型(HMM)的图;
图2是示出根据本发明的方面的示例性实施例的框图;
图3是示出根据本发明的实施例的用于对自动客户支持系统中的客户活动进行分类的技术的流程图;以及
图4是示例性计算机系统的系统图,本发明的至少一个实施例可以在该计算机系统上实现。
具体实施方式
如这里所述,本发明的方面包括使用概率模型对自动客户支持系统中的客户活动进行分类。自动客户支持系统可以包括例如语音响应系统和互联网网站。分类系统的输入可以包括客户与自动系统交互的任何可观察度量。这可以包括例如客户/用户读取的文档、从菜单中选择了哪些选项、系统提供了哪些信息、以及对客户/用户情感状态的感知度量。
与现有方法相反,本发明的方面包括对用户活动建模,以识别例如用户在从网站获取信息时的成功或失败。而且,执行用户活动分类而没有用户干预。因此,概率模型被用于确定对应于用户(例如在使用网站时)的成功或失败的使用模式。本发明的一实施例还包括启用多个提示(cue),其避免诸如用户滚动文档而不阅读这样的情形。例如,本发明的实施例可以包括文档被用户发送到打印机的提示,这通常是用户找到了有用信息的信号。
在本发明的至少一个实施例中,具有隐藏状态的概率模型被用于允许对用户的隐藏状态(例如用户成功解决问题的状态)进行建模,用户的这些隐藏状态的活动没有直接的度量。尽管根据定义,隐藏状态不能被直接度量,它们使得概率模型对于系统开发者来说更为可理解,并允许系统具有更好的结构。隐藏状态的一个例子是,在用户找到问题的可能解决方法之后,用户实际尝试解决其问题时。尽管系统不太可能检测到解决问题的实际尝试,在模型中包含表明该尝试的隐藏状态使其更为可理解,并同时允许概率识别过程使用该隐藏状态来给隐藏状态分配时间。如这里所详述的,本发明的一实施例还可以包括使用隐马尔科夫模型(HMM)作为分类系统的概率模型。
本发明的方面还包括使用打标签(label)的数据集来训练概率模型。具有在已知用户实际活动类型时用户与系统之间的交互数据集合的数据集可以允许对系统的内部参数的改进。例如,通过使用例如Baum-Welch重估算法等技术,基于HMM的系统可以改进其性能。
另外如这里所述,本发明的一实施例可以包括将代理生成的信息与机器捕获的数据进行组合,并使用该组合数据来对每个客户联系进行分类。在混合客户支持系统中,其中用户在使用系统时还可以联系人类代理,关于解决过程的信息可被代理手动捕获,并用作分类过程的部分输入数据。例如,代理可以记录用户已经尝试了支持系统中描述的解决方法,且该信息可被用于识别活动模型中的状态。而且,可以用概率模型将捕获的数据分为不同的联系。例如,对关于非常不同的主题的搜索或者非常长的不活动时段的信息通常表明捕获的数据包含多个联系。捕获的数据可以包括例如关于用户未和自动系统进行交互的时间段的信息。
根据本发明的方面,分类系统M基于概率模型的集合:C={c1,c2,...,cq}。在本发明的一示例性实施例中,概率模型集合可以被系统开发者手动创建,且与每个模型相关的概率可以被系统开发者手动确定。而且,本发明的另一示例性实施例可以包括使用基于打标签的数据集的标准训练方法。每个概率模型ci可以计算可观察序列O=o1,o2,...on符合该模型的概率Pr(ci|O)。因此,给定可观察序列O,分类系统M可以通过计算M(O)=arg max Pr(ci|O)来计算该序列最可能的分类。
如这里所述,可观察序列可以是客户与自动系统交互的任何度量,例如读取的文档、从菜单选择了哪些选项、系统提供了哪些信息、或者客户情感状态的感知量度。
在HMM中,分类系统中的特定类别是用描述客户或系统状态的一组状态、从任何状态转换到另一状态的联合概率、每个状态为初始状态的概率、对应于客户和系统交互的度量的一组可观察标记(token)、以及在任何给定状态中观察到每个标记的概率来建模的。
图1是示出根据本发明的实施例的描述了对自动技术支持网站的成功访问的HMM的图。作为说明,图1示出了隐藏用户状态102、隐藏分类器状态104、具有高概率的标记106、以及具有高概率的转换108。图1示出了成功访问的一种情形,其开始于用户没有问题的状态110,且用户登录到系统中,这被登录动作标记检测到,从而将用户带到状态112。在登录之后,除了注销标记以外的任何活动标记或小时间延迟(lag)将用户保持在状态114,而中等持续时间的延迟将用户移动到状态116。注销标记或者长时间不活动表明用户结束与系统的交互并将用户移动到状态118。
如图所示,图1示出了使用HMM表示对自动技术支持系统的访问的示例图。实际的概率未被显示,但图中的弧线表示具有对每个状态的较高概率的转换,且每个状态中的弧线表示在该状态中可被观察到的具有较高概率的标记。
如这里所详述的,给定观察序列O,本发明的方面对该序列进行如下分类。对于模型集合C中的每个模型ci,通过Pr(ci|O)来计算观察序列O被该模型观察到的概率。每个概率模型可以被系统开发者手动创建,且与它相关的概率可以被系统开发者手动确定或由基于打标签的数据集的标准训练方法来发现。在HMM模型的特定例子中,观察序列O被该模型观察到的概率可以用众所周知的向前/向后过程来计算。基于每个模型ci观察到O的概率,例如通过考虑具有最大概率Pr(ci|O)的模型ci来对观察序列进行分类。
在使用HMM的本发明的实施例中,状态转换的概率、初始状态可能性以及标记观察可以基于关于其相对分布的已知数据或通过最佳猜测估算,来手动地设置。
还如这里所述,在本发明的至少一个实施例中,可以用打标签的数据来训练概率模型以提升性能。在该情形下,需要为系统提供已被打标签的一组可观察序列O1,O2,...,Ok。即,每个可观察序列Oj被分配有其模型ci。基于该打标签的数据集,可以计算每个模型ci的一组状态转换的概率、初始状态可能性以及标记观察,其增加了该模型正确识别Oj的可能性。例如可以增加在可观察状态Oj的序列中实际观察到的ci中的状态之间的转换概率。通过这样做,与Oj相似的交互序列更可能被训练系统识别为ci。本领域技术人员应理解,存在很多不同的方法和标准可被用于重新计算模型概率。例如,基于HMM的系统可以使用已知的Baum-Welch重估算方法。
如这里另外所述,代理生成的信息和机器捕获的数据可以被组合,且该组合数据可被用于对每个客户联系进行分类。在本发明的这种实施例中,代理生成的信息被转换为可观察标记,被包含到可观察序列中并如上被分类。
还可以用概率模型将捕获的数据划分为不同的联系。在本发明的这种实施例中,使用概率模型来划分例如包含与系统的很多不同联系的客户交互的观察序列。此外,如这里所述,捕获的数据可以包括关于客户不和自动系统交互的时间段的信息。在这种实施例中,“用户沉默”的时段即观察之间的时间段被映射为可观察序列中的标记。作为示例,图1示出了一个例子,其中观察之间的不同时段被分类为小、中和大延迟,并被认为是分类过程中的可观察标记。
本发明的实施例还可以包括使动态编程适于在与客户支持中心的客户联系的上下文中使用。如这里所使用的,动态编程是指计算机科学领域中的一组已知技术,其将大的复杂问题分解为可被单独解决而不用大问题的上下文的子问题。在本发明的实施例的上下文中,来自客户支持中心的信息可允许系统断言概率模型的子序列被已知为已发生,且由此使得对包含该子序列的模型的识别更为简单和鲁棒。
图2是示出根据本发明的方面的示例性实施例的框图。作为说明,图2示出了在自动客户支持系统210中包含用户步骤日志模块220,其生成将被存储在日志集合数据库230中的日志集合,该数据库包含与自动客户支持系统210的用户活动的可检测步骤序列。所述序列对应于个体用户的活动。来自日志集合数据库230的日志集合可被实时或离线用作活动识别模块240的输入,该模块实现用于识别概率模型数据库250中包含的概率模型的算法。每个序列的最可能的模型被存储到已识别用户活动数据库260中,该数据库可被报告生成模块270用于创建活动报告280。在本发明的至少一个实施例中,活动识别模块240还可以将个体的日志集合识别为不是个体活动,而是对应于概率模型的序列的多个活动的序列。
图3是示出根据本发明的实施例的用于对自动客户支持系统中的客户活动进行分类的技术的流程图。如这里所述,自动客户支持系统可以包括语音响应系统、基于因特网的系统等。步骤302包括从自动客户支持系统获取输入,其中,该输入包括自动客户支持系统中的客户活动的可观察度量。例如可以用日志集合数据库(例如如图2中的组件230所示)来实现该步骤。
步骤304包括计算输入对应于一个或多个概率模型中的一个的概率。该步骤例如可以使用图2的日志集合数据库230中的日志集合以及图2的概率模型数据库250中包含的概率用户活动模型作为输入,用图2中的活动识别模块240来实现。概率模型可以包括隐马尔科夫模型。同时,概率模型可以包括隐藏状态,从而允许对客户的隐藏状态进行建模。
步骤306包括通过考虑对应于最大计算概率的概率模型,使用计算的概率来对自动客户支持系统中的客户活动进行分类。该步骤例如可以使用图2的活动识别模块240并在图2的已识别用户活动数据库270中存储结果来实现。
图3中示出的技术还可以包括用打标签的数据集来训练概率模型。而且,本发明的实施例包括将代理生成的信息与机器捕获的数据进行组合,并使用该组合数据来对自动客户支持系统中的每个客户活动进行分类。此外,图3中示出的技术可包括使用动态编程方法用概率模型将获取的输入划分为不同的联系。
如这里所详述,在本发明的实施例中,获取的输入包括关于客户未和自动客户支持系统进行交互的时间段的信息。用户未和自动系统进行交互的这处时间段可被映射为可观察活动序列中的标记。
如这里所述,图3中示出的技术还包括提供一种系统,其中该系统包括不同的软件模块,每个不同的软件模块在有形的计算机可读可记录存储介质中实现。例如,所有模块(或其任何子集)可以在同一介质中,或每个模块可以在不同的介质中。这些模块可以包括图中所示的任何或所有组件。在本发明的方面,这些模块包括例如可以在硬件处理器上运行的用户步骤日志模块、活动识别模块和报告生成模块。于是所述方法步骤可以用如上所述在硬件处理器上执行的系统的不同软件模块来实现。此外,计算机程序产品可以包括有形的计算机可读可记录存储介质,其具有的代码适于被执行以实现这里描述的至少一个方法步骤,包括为系统供应不同的软件模块。
此外,图3示出的技术可通过计算机程序产品被实施,该计算机程序产品可包括存储在数据处理系统中的计算机可读存储介质中的计算机可用程序代码,且其中该计算机可用程序代码经由网络从远程数据处理系统被下载。而且,在本发明的一个方面,计算机程序产品可包括存储在服务器数据处理系统中的计算机可读存储介质中的计算机可用程序代码,且其中该计算机可用程序代码通过网络被下载到远程数据处理系统,以在远程系统的计算机可读存储介质中使用。
所属技术领域的技术人员知道,本发明可以实现为系统、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等),还可以是硬件和软件结合的形式,本文一般称为“电路”、“模块”或“系统”。此外,在一些实施例中,本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。
本发明的方面或及其元件可被实施为装置的形式,该装置包括存储器和至少一个处理器,该处理器耦合到所述存储器,且可操作以执行示例性方法步骤。
而且,本发明的方面可利用运行在通用计算机或工作站上的软件。参考图4,这样的实施方式可利用例如处理器402、存储器404、以及例如由显示器406和键盘408形成的输入/输出接口。在此使用的术语“处理器”旨在包括任何处理设备,诸如例如包括CPU(中央处理单元)和/或其他形式的处理电路的处理设备。而且,术语“处理器”可指多于一个的单独处理器。术语“存储器”旨在包括与处理器或CPU关联的存储器,诸如例如RAM(随机存取存储器)、ROM(只读存储器)、固定存储设备(例如硬盘驱动器)、可移动存储设备(例如软盘)、闪存等。此外,在此使用的短语“输入/输出接口”旨在包括例如用于将数据输入到处理单元的机制(例如鼠标),以及用于提供与处理单元关联的结果的机制(例如打印机)。处理器402、存储器404和诸如显示器406和键盘408的输入/输出接口可例如经由作为数据处理单元412的一部分的总线410被互连。例如经由总线410的合适的互连也可被提供给诸如网卡的网络接口414,其可被提供以与计算机网络接口连接,以及被提供给诸如软盘或CD-ROM驱动器的介质接口416,其可被提供以与介质418接口连接。
因此,如在此描述的,包括用于执行本发明的方法的指令或代码的计算机软件可被存储在相关联的存储设备(例如,ROM、固定或可移动存储器)中,而且当准备好被使用时,被部分或全部地加载(例如到RAM中),并由CPU实施。这样的软件可包括但不限于固件、驻留软件、微代码等。
适于存储和/或执行程序代码的数据处理系统将包括至少一个处理器402,其通过系统总线410直接或间接耦合到存储元件404。存储元件可包括在程序代码的实际实现期间使用的本地存储器、大容量存储器和高速缓存存储器,高速缓存存储器提供至少一些程序代码的临时存储以便降低在实施期间代码必须从大容量存储器被检索的次数。
输入/输出或I/O设备(包括但不限于键盘408、显示器406、指点设备等)可被直接耦合到系统(诸如经由总线410)或通过介于其间I/O控制器(为了清楚在此忽略)耦合到系统。
通过介于其间私有或公共网络,诸如网络接口414的网络适配器也可被耦合到系统以使得数据处理系统变得耦合到其他数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解调器和以太网卡仅是当前可获得的一些网络适配器的类型。
如这里使用的,包括在权利要求中,“服务器”包括运行服务器程序的物理数据处理系统(例如图4示出的系统412)。将理解这样的物理服务器可以包括或可以不包括显示器和键盘。
应注意,本发明的方面可采取实施在其上具有计算机可读程序代码的计算机可读介质中的计算机程序产品的形式。而且,可使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电、磁、光、电磁、红外或半导体系统、装置或器件,或任何以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任何合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任何合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任何合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任何种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
这里参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,这些计算机程序指令通过计算机或其它可编程数据处理装置执行,产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中,这样,存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品(article ofmanufacture)。因此,本发明的方面包括有形地实施计算机可读指令的制造品,当被实施时,其使得计算机执行在此描述的多个方法步骤。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
应注意在此描述的任何方法可包括提供系统的额外步骤,该系统包括实施在计算机可读存储介质上的不同软件模块;这些模块可包括例如图2示出的任何或所有组件。于是可使用如以上描述的在硬件处理器402上执行的系统的不同软件模块和/或子模块来执行方法步骤。而且,计算机程序产品可包括具有代码的计算机可读存储介质,所述代码适于被实施以执行在此描述的至少一个方法步骤,包括供应具有所述不同软件模块的系统。
在任何情况下,应当理解在此示出的组件可以被实施为各种形式的硬件、软件或其组合;例如,专用集成电路(ASICS)、功能电路、具有相关存储器的适当编程的通用数字计算机等。通过在此提供的本发明的教导,本领域技术人员将能够考虑到本发明的组件的其他实施方式。
此处使用的术语仅是为了描述特定实施例,且不旨在限制本发明。如在此使用的,单数形式“一”、“一个”和“该”也旨在包括多数形式,除非上下文另有清楚的规定。还将理解,术语“包括”和/或“包含”,当在本说明中使用时,明确说明存在所陈述的特点、整体、步骤、操作、元件和/或组件,但不排除一个或多个其他的特点、整体、步骤、操作、元件、组件和/或其组的存在或添加。
以下权利要求中的所有装置或步骤加功能元件的相应结构、材料、操作和等价物以及(如适用),旨在包括结合在权利要求中特意阐明的其他元件而执行所述功能的任何结构、材料或操作。本发明的说明已出于解释和描述的目的被展示,但不旨在是穷尽性的或将本发明限制在公开的形式。许多修改和变化对于本领域普通技术人员来说是明显的,且不脱离本发明的精神和范围。选择并描述实施例是为了最好地解释本发明的原理和实际应用,且使得本领域普通技术人员能理解本发明的具有适用于所打算的特定用户的各种修改的各种实施例。
本发明的至少一个方面可提供有益效果,诸如例如使用概率模型将自动用户支持系统用户活动分类,而不需要用户干预。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (18)

1.一种用于对自动客户支持系统中的客户活动进行分类的方法,其中,该方法包括:
从自动客户支持系统获取输入,其中该输入包括自动客户支持系统中的客户活动的可观察度量;
计算该输入对应于一个或多个概率模型中的一个的概率;以及
通过考虑对应于最大计算概率的概率模型,使用该计算的概率对自动客户支持系统中的客户活动进行分类;
其中至少一个上述步骤由计算机设备来实现。
2.如权利要求1所述的方法,其中,所述自动客户支持系统包括语音响应系统。
3.如权利要求1所述的方法,其中,所述自动客户支持系统包括基于因特网的系统。
4.如权利要求1所述的方法,其中,所述一个或多个概率模型包括一个或多个隐马尔科夫模型。
5.如权利要求1所述的方法,其中,所述一个或多个概率模型包括具有隐藏状态的一个或多个概率模型,从而允许对客户的隐藏状态进行建模。
6.如权利要求1所述的方法,还包括:
使用一个或多个打标签的数据集来训练所述一个或多个概率模型。
7.如权利要求1所述的方法,还包括:
将代理生成的信息与机器捕获的数据进行组合;以及
使用组合的数据来对自动客户支持系统中的每个客户活动进行分类。
8.如权利要求1所述的方法,还包括:
通过使用动态编程方法使用一个或多个概率模型将所获取的输入划分为多个不同的联系。
9.如权利要求1所述的方法,其中,所获取的输入包括关于客户不和自动客户支持系统进行交互的一个或多个时间段的信息。
10.如权利要求9所述的方法,其中,客户不和自动系统交互的一个或多个时间段被映射为可观察活动序列中的一个或多个标记。
11.如权利要求1所述的方法,还包括:
提供一种系统,其中该系统包括至少一个不同的软件模块,每个不同的软件模块在有形的计算机可读可记录存储介质中实现,且其中,该至少一个不同的软件模块包括在硬件处理器上执行的用户步骤日志模块、活动识别模块和报告生成模块。
12.一种用于对自动客户支持系统中的客户活动进行分类的系统,包括:
至少一个不同的软件模块,每个不同的软件模块在有形的计算机可读介质上实现;
存储器;以及
至少一个处理器,其耦合到存储器并可操作用于:
从自动客户支持系统获取输入,其中该输入包括自动客户支持系统中的客户活动的可观察度量;
计算该输入对应于一个或多个概率模型中的一个的概率;以及
通过考虑对应于最大计算概率的概率模型,使用该计算的概率对自动客户支持系统中的客户活动进行分类。
13.如权利要求12所述的系统,其中,所述一个或多个概率模型包括一个或多个隐马尔科夫模型。
14.如权利要求12所述的系统,其中,所述一个或多个概率模型包括具有隐藏状态的一个或多个概率模型,从而允许对客户的隐藏状态进行建模。
15.如权利要求12所述的系统,其中,所述耦合到存储器的至少一个处理器还可操作用于:
使用一个或多个打标签的数据集来训练所述一个或多个概率模型。
16.如权利要求12所述的系统,其中,所述耦合到存储器的至少一个处理器还可操作用于:
将代理生成的信息与机器捕获的数据进行组合;以及
使用组合的数据来对自动客户支持系统中的每个客户活动进行分类。
17.如权利要求12所述的系统,其中,所获取的输入包括关于客户不和自动客户支持系统进行交互的一个或多个时间段的信息。
18.如权利要求17所述的系统,其中,客户不和自动系统交互的一个或多个时间段被映射为可观察活动序列中的一个或多个标记。
CN201310034132.1A 2012-01-30 2013-01-29 对自动客户支持系统中的客户活动进行分类的方法和系统 Active CN103226563B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/360,878 2012-01-30
US13/360,878 US8938405B2 (en) 2012-01-30 2012-01-30 Classifying activity using probabilistic models

Publications (2)

Publication Number Publication Date
CN103226563A true CN103226563A (zh) 2013-07-31
CN103226563B CN103226563B (zh) 2016-03-16

Family

ID=48837011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310034132.1A Active CN103226563B (zh) 2012-01-30 2013-01-29 对自动客户支持系统中的客户活动进行分类的方法和系统

Country Status (2)

Country Link
US (1) US8938405B2 (zh)
CN (1) CN103226563B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424354A (zh) * 2013-08-27 2015-03-18 国际商业机器公司 使用用户操作生成模型检测异常用户行为的方法和系统
CN112470145A (zh) * 2018-08-14 2021-03-09 赫尔实验室有限公司 对载具的消费者可观察对象进行分割和聚类的基于超图的方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436758B1 (en) * 2011-12-27 2016-09-06 Google Inc. Methods and systems for partitioning documents having customer feedback and support content
US9753441B2 (en) 2013-05-13 2017-09-05 Massachusetts Institute Of Technology Controlling dynamical systems with bounded probability of failure
US10831509B2 (en) 2017-02-23 2020-11-10 Ab Initio Technology Llc Dynamic execution of parameterized applications for the processing of keyed network data streams
US11947978B2 (en) 2017-02-23 2024-04-02 Ab Initio Technology Llc Dynamic execution of parameterized applications for the processing of keyed network data streams
US11736292B2 (en) * 2017-10-23 2023-08-22 Huawei Technologies Co., Ltd. Access token management method, terminal, and server

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010018691A1 (en) * 1999-12-28 2001-08-30 Yutaka Sakakibara Customer support system
US20090164395A1 (en) * 2007-12-21 2009-06-25 Heck Larry P Modeling, detecting, and predicting user behavior with hidden markov models
CN101983383A (zh) * 2008-02-01 2011-03-02 罗纳德·H·温斯顿 相似性匹配系统和方法
CN102136123A (zh) * 2011-03-15 2011-07-27 中国工商银行股份有限公司 一种银行目标客户识别系统
US20110289076A1 (en) * 2010-01-28 2011-11-24 International Business Machines Corporation Integrated automatic user support and assistance

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6742141B1 (en) * 1999-05-10 2004-05-25 Handsfree Networks, Inc. System for automated problem detection, diagnosis, and resolution in a software driven system
US20040236843A1 (en) * 2001-11-15 2004-11-25 Robert Wing Online diagnosing of computer hardware and software
US7647631B2 (en) 2003-12-10 2010-01-12 Hewlett-Packard Development Company Automated user interaction in application assessment
US20060100874A1 (en) * 2004-10-22 2006-05-11 Oblinger Daniel A Method for inducing a Hidden Markov Model with a similarity metric
US7693817B2 (en) 2005-06-29 2010-04-06 Microsoft Corporation Sensing, storing, indexing, and retrieving data leveraging measures of user activity, attention, and interest
US7707284B2 (en) 2005-08-03 2010-04-27 Novell, Inc. System and method of searching for classifying user activity performed on a computer system
US8121890B2 (en) 2006-06-09 2012-02-21 International Business Machines Corporation Method and system for automated service climate measurement based on social signals
US8136154B2 (en) * 2007-05-15 2012-03-13 The Penn State Foundation Hidden markov model (“HMM”)-based user authentication using keystroke dynamics
US8180642B2 (en) * 2007-06-01 2012-05-15 Xerox Corporation Factorial hidden Markov model with discrete observations
US7962578B2 (en) * 2008-05-21 2011-06-14 The Delfin Project, Inc. Management system for a conversational system
US20100005169A1 (en) * 2008-07-03 2010-01-07 Von Hilgers Philipp Method and Device for Tracking Interactions of a User with an Electronic Document
US8275899B2 (en) 2008-12-29 2012-09-25 At&T Intellectual Property I, L.P. Methods, devices and computer program products for regulating network activity using a subscriber scoring system
US8407163B2 (en) 2009-08-27 2013-03-26 Xerox Corporation Monitoring a device, network, or system with adaptive dynamic classification employing a hidden Markov model operating on a time sequence of information
US8639638B2 (en) * 2011-01-21 2014-01-28 International Business Machines Corporation Enabling a support service to provide automated problem resolution based on real time chat analytics
US8666916B2 (en) * 2011-07-07 2014-03-04 Yahoo! Inc. Method for summarizing event-related texts to answer search queries

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010018691A1 (en) * 1999-12-28 2001-08-30 Yutaka Sakakibara Customer support system
US20090164395A1 (en) * 2007-12-21 2009-06-25 Heck Larry P Modeling, detecting, and predicting user behavior with hidden markov models
CN101983383A (zh) * 2008-02-01 2011-03-02 罗纳德·H·温斯顿 相似性匹配系统和方法
US20110289076A1 (en) * 2010-01-28 2011-11-24 International Business Machines Corporation Integrated automatic user support and assistance
CN102136123A (zh) * 2011-03-15 2011-07-27 中国工商银行股份有限公司 一种银行目标客户识别系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424354A (zh) * 2013-08-27 2015-03-18 国际商业机器公司 使用用户操作生成模型检测异常用户行为的方法和系统
CN104424354B (zh) * 2013-08-27 2017-09-12 国际商业机器公司 使用用户操作生成模型检测异常用户行为的方法和系统
CN112470145A (zh) * 2018-08-14 2021-03-09 赫尔实验室有限公司 对载具的消费者可观察对象进行分割和聚类的基于超图的方法

Also Published As

Publication number Publication date
US20130198114A1 (en) 2013-08-01
CN103226563B (zh) 2016-03-16
US8938405B2 (en) 2015-01-20

Similar Documents

Publication Publication Date Title
CN103226563A (zh) 对自动客户支持系统中的客户活动进行分类的方法和系统
EP3724789B1 (en) Systems and methods for chatbot generation
EP3786833B1 (en) Artificial intelligence based virtual agent trainer
US20230085061A1 (en) Systems and methods for continual updating of response generation by an artificial intelligence chatbot
CN106328166B (zh) 人机对话异常检测系统及方法
Griol et al. An automatic dialog simulation technique to develop and evaluate interactive conversational agents
CN114556354A (zh) 自动确定和呈现来自事件的个性化动作项
JP2020514860A5 (zh)
US20200097879A1 (en) Techniques for automatic opportunity evaluation and action recommendation engine
CN107636647A (zh) 自动提取通信和内容中的承诺和请求
CN106021403B (zh) 客服方法及装置
CN106378781A (zh) 服务机器人引导系统及方法
CN108139918A (zh) 以每用户为基础定制程序特征
CN111371767B (zh) 恶意账号识别方法、恶意账号识别装置、介质及电子设备
CN108074571A (zh) 增强现实设备的语音控制方法、系统及存储介质
US20230138557A1 (en) System, server and method for preventing suicide cross-reference to related applications
Wallace et al. A generative joint, additive, sequential model of topics and speech acts in patient-doctor communication
US20150379126A1 (en) Automation of crowd-sourced polling
CN115129832A (zh) 经由聊天机器人促进关于产品支持问题的故障排除对话
CN109783622A (zh) 一种基于问题分类确定问题答案方法、装置及电子设备
Suh Forecasting the daily outbreak of topic-level political risk from social media using hidden Markov model-based techniques
CN111507849A (zh) 核保方法及相关装置、设备
WO2023154542A1 (en) Incident resolution system
CN113763928A (zh) 音频类别预测方法、装置、存储介质及电子设备
CN112949824A (zh) 一种基于神经网络的多输出多任务特征评估方法、装置和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant