CN108363745A - 机器人客服转人工客服的方法和装置 - Google Patents

机器人客服转人工客服的方法和装置 Download PDF

Info

Publication number
CN108363745A
CN108363745A CN201810076926.7A CN201810076926A CN108363745A CN 108363745 A CN108363745 A CN 108363745A CN 201810076926 A CN201810076926 A CN 201810076926A CN 108363745 A CN108363745 A CN 108363745A
Authority
CN
China
Prior art keywords
user
customer service
feature
confidence
session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810076926.7A
Other languages
English (en)
Other versions
CN108363745B (zh
Inventor
杨明晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810076926.7A priority Critical patent/CN108363745B/zh
Publication of CN108363745A publication Critical patent/CN108363745A/zh
Priority to TW107145199A priority patent/TWI698830B/zh
Priority to PCT/CN2018/125297 priority patent/WO2019144773A1/zh
Priority to JP2020536672A priority patent/JP6991341B2/ja
Priority to SG11202006127PA priority patent/SG11202006127PA/en
Priority to EP18902124.9A priority patent/EP3719732A4/en
Priority to KR1020207018960A priority patent/KR102445992B1/ko
Priority to US16/888,801 priority patent/US10977664B2/en
Application granted granted Critical
Publication of CN108363745B publication Critical patent/CN108363745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Abstract

本说明书提供一种机器人客服转人工客服的方法，包括：从机器人客服与用户的至少一轮会话中获取会话特征；获取用户的状态特征；将所述会话特征和状态特征输入信心分评估模型，得到当前信心分评估值；所述信心分评估模型为机器学习模型，采用标记有出人工点的机器人客户与用户的会话样本、以及用户的状态特征样本进行训练；在当前信心分评估值满足预定出人工条件时，将用户转接人工客服。

Description

机器人客服转人工客服的方法和装置
技术领域
本说明书涉及数据处理技术领域，尤其涉及一种机器人客服转人工客服的方法和装置。
背景技术
随着互联网的发展，基于人工智能技术的虚拟机器人在企业用户服务领域的应用越来越广泛。机器人客服不需要休息，可以更加快速和标准化的响应用户的问题，以语音对话或文字聊天的形式与用户进行沟通，将人工客服从大量重复性问答中解放出来。
对一些非常规的用户问题，机器人客服往往难以给出令用户满意的答复。目前客服中心最为常用的架构是机器人客服与人工客服并存，缺省由机器人客服先接待用户，当机器人客服不解决用户的问题时，转接人工客服。出人工点(即以人工客服代替机器人客服为用户服务的时点)是否适当对客服中心的运营效率和用户的满意度都有重要的影响。
发明内容
有鉴于此，本说明书提供一种机器人客服转人工客服的方法，包括：
从机器人客服与用户的至少一轮会话中获取会话特征；
获取用户的状态特征；
将所述会话特征和状态特征输入信心分评估模型，得到当前信心分评估值；所述信心分评估模型为机器学习模型，采用标记有出人工点的机器人客户与用户的会话样本、以及用户的状态特征样本进行训练；
在当前信心分评估值满足预定出人工条件时，将用户转接人工客服。
本说明书还提供了一种机器人客服转人工客服的装置，包括：
会话特征获取单元，用于从机器人客服与用户的至少一轮会话中获取会话特征；
状态特征获取单元，用于获取用户的状态特征；
信心分评估单元，用于将所述会话特征和状态特征输入信心分评估模型，得到当前信心分评估值；所述信心分评估模型为机器学习模型，采用标记有出人工点的机器人客户与用户的会话样本、以及用户的状态特征样本进行训练；
转接判断单元，用于在当前信心分评估值满足预定出人工条件时，将用户转接人工客服。
本说明书提供的一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行上述机器人客服转人工客服的方法所述的步骤。
本说明书提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述机器人客服转人工客服的方法所述的步骤。
由以上技术方案可见，本说明书的实施例中，以从机器人与用户的会话中获取的会话特征和用户的状态特征作为信心分评估机器学习模型的输入，得到当前信心分评估值，并根据当前信心分评估值来判断是否需要转接人工客服，由于用户的状态特征常常能够体现其具体需求和迫切程度，应用本说明书的实施例后可以提高出人工点的准确性，在提升客服中心服务效率的同时使用户对服务更加满意。
附图说明
图1是本说明书实施例中一种机器人客服转人工客服的方法的流程图；
图2是本说明书应用示例中一种Wide and Deep模型的结构示意图；
图3是本说明书应用示例中一次客户服务的处理流程图；
图4是运行本说明书实施例的设备的一种硬件结构图；
图5是本说明书实施例中一种机器人客服转人工客服的装置的逻辑结构图。
具体实施方式
在用户接受机器人客服服务的过程中，用户与机器人客服的交互过程能够体现机器人客服的服务效果。例如，如果用户在交互中重复着同样的问题，或者表达了不满情绪，通常意味着机器人客服对用户问题的解决能力欠佳，需要人工客服处理。因此，用户与机器人客服的会话通常会被用来作为判断是否需要转接人工客服的依据。
另一方面，用户的自身因素也会影响对人工客户的需求程度。例如，账户被盗的用户通常都有较强的人工客服需求，而查询账单的用户一般有更好的耐心与机器人客户沟通。此外，不同年龄、职业、教育背景的用户，对机器人客服的接受度也不尽相同，青年用户能较快理解机器人客服的回答，而老年用户常常需要人工客服的详细指导。
本说明书的实施例提出一种新的机器人客服转人工客服的方法，采用用户的状态特征来描述用户的自身因素，利用以机器人客服与用户会话中提取的会话特征和用户的状态特征训练完成的信心分评估模型，得到当前信心分评估值，在当前信心分评估值满足预定出人工条件时转接人工客服，由于信心分评估模型不仅基于机器人客服与用户的会话过程，并且基于用户状态特征体现的用户对人工客服的需求程度和迫切程度来给出当前信心分评估值，本说明书的实施例能够对出人工点给出更加准确的判断，不仅能够提高客服中心的服务效率，而且还能够提高用户对服务的满意程度。
本说明书的实施例可以运行在任何具有计算和存储能力的设备上，如手机、平板电脑、PC(Personal Computer，个人电脑)、笔记本、服务器等设备；还可以由运行在两个或两个以上设备的逻辑节点来实现本说明书实施例中的各项功能。
本说明书的实施例中，采用从机器人客服与用户的会话中提取的会话特征、和用户的状态特征来建立机器学习模型，本说明书中称之为信心分评估模型。其中，从机器人客服与用户的会话中提取的会话特征可以是以机器人客服与用户的会话为基础，采用NLP(Natural Language Processing，自然语言处理)方法能够获取的任何特征，即NLP特征。具体而言，可以是用户提问与机器人回答的关联度、问答轮数、答案类型(机器人客服的答案是陈述还是提问、答案是具体问题的答案还是兜底答案等等)、答案重复次数、用户是否提出换人工、用户是否在解释自己的问题等特征中的任意个数。会话特征的确定和从会话中获取会话特征的具体方式均可参照现有技术实现，不再赘述。
除与机器人客服的会话以外，其他能够体现用户当前对人工客服的需求程度以及解决问题的迫切程度的用户信息都可以用来作为用户的状态特征，本说明书的实施例对具体的状态特征以及状态特征的数量均不做限定。以下举例说明。
第一个例子：用户的行为记录特征。用户的行为记录特征包括用户在预定时间段内对客服中心咨询服务范围内所有产品的访问记录、和/或功能使用记录等。例如，可以是过去72小时内在某个App(应用程序)内打开哪些页面、进行哪些功能操作等。用户的行为记录特征反映了短期内用户对被咨询产品的使用情况；如果某个用户在该时间段内频繁使用客服功能，并且查询了同一个知识点，那么该用户很可能遇到了机器人客服解决不了的问题，需要人工服务；如果某个用户尝试了某个功能操作很多遍，该用户对人工客服有的需求往往更为迫切。
第二个例子：用户的业务状态特征。用户的业务状态特征体现了用户在被咨询产品上所开设账户的信息，可以包括用户账户的业务开通状态、账户认证状态、账户登录状态、和/或账户异常状态等。用户的业务状态特征常常能够体现用户解决问题的迫切程度，如果用户账户处在“被冻结”(一种账户异常状态)、“异地登录”(一种账户登录状态)等状态时，用户很可能遇到了被盗被骗等问题，对人工客服会有很迫切的需求。
第三个例子：用户的身份信息特征。用户的身份信息特征是用户作为自然人的信息，可以包括用户的性别、年龄、常驻地域、和/或教育程度等。不同身份信息特征的用户对机器人客服的接受程度通常不同，如年轻的用户、教育程度高的用户更习惯机器人客服的问答模式，年长的用户、教育程度较低的用户对人工客服更加偏爱。
如前所述，信心分评估模型的输入包括从机器人客服与用户的会话中获取会话特征、以及用户的状态特征，其输出包括信心分评估值。信心分评估模型采用标记有出人工点的机器人客户与用户的会话样本、以及用户的状态特征样本进行训练，其中，出人工点是在与用户的会话过程中，以人工客服代替机器人客服的适当时点。在训练信心分评估模型时，可以在会话样本中标记了出人工点和会话特征后输入信心分评估模型进行训练；也可以只在会话样本中标记出人工点，由计算机程序自动对会话样本进行NLP处理后得到会话特征，再输入信心分评估模型进行训练。
信心分评估模型所采用的机器学习算法可以根据实际应用场景的特点来选择，不做限定。信心分评估模型可以是基于支持向量机的机器学习模型，如SVC(Support VectorMachine，支持向量机)等；可以是基于树型的机器学习模型，如GBDT(Gradient BoostingDecision Tree，梯度提升决策树)等；可以是线性模型，如LR(Logistic Regression，逻辑回归)等；也可以是神经网络模型，如DNN(Deep Neural Networks，深度神经网络)、RNN(Recurrent NeuralNetworks，循环神经网络)、CNN(ConvolutionalNeural Networks，卷积神经网络)等。
在一种实现方式中，采用Wide and Deep(深度和广度)模型来建立信心分评估模型。Wide and Deep模型包括线性子模型和深度神经网络子模型，采用将深度神经网络子模型与浅层线性子模型相结合的训练模式。通过结合线性子模型的记忆能力(memorization)和深度神经网络子模型的泛化能力(generalization)，并且采用联合训练(jointtraining)，将整体模型的训练误差同时反馈到线性子模型和深度神经网络子模型中进行参数更新，同时优化2个子模型的参数，从而达到整体Wide and Deep模型的预测能力最优。
在用户与机器人客服的问答过程中，会话特征直接体现了用户对人工客服的需求，属于强相关特征；而用户的状态特征与问答过程没有直接的关联，只是间接影响着用户对人工客服的需求，属于弱相关特征。为了体现这两类特征对结果的影响，可以采用Wideand Deep learning模型中不同的子模型来处理这两类特征。具体而言，以会话特征作为线性子模型的输入，经线性子模型处理后得到线性子模型的输出向量；以用户的状态特征作为深度神经网络子模型的输入，经深度神经网络子模型处理后得到深度神经网络子模型的输出向量；然后将两个子模型的输出向量拼起来，经过一个神经元计算输出。
在Wide and Deep learning模型训练阶段，可以将是否标记为出人工点作为输出(假设信心分评估值分别为1或0)；在使用训练后的模型进行预测时，输出可以视为该时点是出人工点的可能性(信心分评估值为0到1之间的浮点数)。
本说明书的实施例中，机器人客服转人工客服的方法的流程如图1所示。
步骤110，从机器人客服与用户的至少一轮会话中获取会话特征。
在信心分评估模型训练完成后，可以在实时的机器人客服与用户的会话过程中，利用信心分评估模型来判断在会话中用户发言后的时点，是否需要切换为人工客服。
本说明书的实施例中，以一次用户发言、或者一次机器人客服发言和一次用户发言为一个轮次。通常机器人客服与用户的会话的第一轮是用户发言，第二轮及后续轮次是一次机器人客服发言和一次用户发言。每个轮次以用户发言来结束，该时点也即是可以由人工客服代替机器人客服的时点，或者说是可能的出人工点。
可以将机器人客服与用户会话的一个到多个轮次来作为获取会话特征的基础。例如将当前时点前预定轮次数目的会话作为获取会话特征的基础，如果当前时点已经进行的会话轮次小于预定轮次数目，则整个会话作为获取会话特征的基础；再如，始终将已经进行的整个会话作为获取会话特征的基础。
步骤120，获取用户的状态特征。
根据实际应用场景中客服中心和所咨询服务产品服务端的具体实现，可以从保存用户状态特征的预定网络位置、预定数据库表等处读取到用户的状态特征，不做限定。
需要说明的是，步骤110和步骤120之间没有时序关系。机器人客服与用户的会话通常随着会话过程的继续不断更新，而用户的状态特征则一般在一次客户服务过程中不会发生变化，因此步骤110在一次客户服务过程中可能执行多次，而步骤120则通常执行一次。
步骤130，将会话特征和状态特征输入信心分评估模型，得到当前信心分评估值。
将从当前时点前若干轮次的机器人客服与用户的会话中提取的会话特征、用户的状态特征输入到信心分评估模型中，得到在会话中用户最后一次发言后的当前时点(即当前轮次会话的用户发言后时点)的信心分评估值。
步骤140，在当前信心分评估值满足预定出人工条件时，将用户转接人工客服。
如果当前信心分评估值满足预定出人工条件，则认为当前时点需要人工客服介入，将用户转接至人工客服。
预定出人工条件可以是当前信心分评估值大于或小于预定信心分阈值，视实际应用场景中当前信心分评估值更高是代表更强的对人工客服的需求程度，还是更弱的对人工客服的需求程度。预定信心分阈值可以综合考虑训练后信心评估分模型与会话样本的拟合程度、实际应用场景中的用户与人工客服的数量比例等因素来确定。也可以由设置一定的标准，由程序根据所设置的标准自动确定预定信心分阈值。例如，可以将会话样本输入到训练后的信心评估模型中，得到会话样本中对应于出人工点的样本信心分评估值；设定一系列不同的预定信心分阈值的具体数值，计算当选择不同数值的预定信心分阈值时样本信心分评估值的覆盖率和准确率，设定针对覆盖率和准确率的评判标准，按照评判标准的评价最好的覆盖率和准确率对应的数值作为预定信心分阈值。
可见，本说明书的实施例中，采用用户的状态特征来描述用户的自身因素，以从机器人与用户的会话中获取的会话特征和用户的状态特征作为信心分评估机器学习模型的输入，得到当前信心分评估值，在当前信心分评估值满足预定出人工条件时转接人工客服，由于信心分评估模型基于用户状态特征体现的用户对人工客服的需求程度和迫切程度来给出当前信心分评估值，应用本说明书的实施例后可以增加出人工点的准确性，不仅能够提高客服中心的服务效率，而且还能够提高用户对服务的满意程度。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书的一个应用示例中，第三方支付平台的客服中心为使用其客户端App的用户提供在线服务。客户中心的技术人员采用从机器人客服与用户的会话中提取的会话特征、以及用户的状态特征，建立Wide and Deep模型，作为信心分评估模型。本应用示例中，用户的状态特征包括用户的行为记录特征、业务状态特征和身份信息特征。
Wide and Deep模型的结构如图2所示，以会话特征作为线性子模型的输入，以用户的状态特征作为深度神经网络子模型的输入。通常Wide and Deep模型中深度神经网络子模型的各层神经层均为Dense(紧密)神经层，即该神经层采用若干个Dense神经元进行数据处理。本应用示例中，深度神经网络子模型采用Dense神经层处理业务状态特征，采用Dense神经层处理身份信息特征，采用LSTM(Long Short-Term Memory，长短期记忆网络)神经层处理行为记录特征；上述三个神经层的输出经Dense神经层将三种用户状态特征的处理结果综合为一个深度神经网络子模型的输出向量，再由一个Dense神经层将两个子模型的输出向量综合为整个模型的输出，即信心分评估值。经本申请的发明人在试验中发现，图2所示的神经层结构能够达到更好的效果。
技术人员在若干机器人客服与用户的会话的历史记录中标注出人工点后，将其作为会话样本，并将这些用户的状态特征作为状态特征样本，由程序自动从会话样本中提取出会话特征后，将会话样本的会话特征和状态特征样本输入到Wide and Deep模型中进行训练。
当客服中心接到用户的服务请求时，其处理过程如图3所示。
步骤305，接收用户的输入。
步骤310，由机器人客服根据用户的问题给出回复。
步骤315，获取用户的行为记录特征、业务状态特征和身份信息特征。
步骤320，判断是否收到用户的下一次输入，如果未收到，流程结束；如果收到，执行步骤325。
步骤325，从机器人客服与用户在本次服务的所有会话中提取会话特征。
步骤330，将会话特征和用户的状态特征输入到训练完成的Wide and Deep信心分评估模型中，模型的输出为当前信心分评估值。
步骤335，判断当前信心分评估值是否满足预定出人工条件，如果是，执行步骤340；如果否，执行步骤345。
步骤340，转接人工客服，流程结束。
步骤345，由机器人客服给出用户回复，转步骤320。
与上述流程实现对应，本说明书的实施例还提供了一种机器人客服转人工客服的装置。该装置均可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为逻辑意义上的装置，是通过所在设备的CPU(Central Process Unit，中央处理器)将对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图4所示的CPU、内存以及存储器之外，机器人客服转人工客服的装置所在的设备通常还包括用于进行无线信号收发的芯片等其他硬件，和/或用于实现网络通信功能的板卡等其他硬件。
图5所示为本说明书实施例提供的一种机器人客服转人工客服的装置，包括会话特征获取单元、状态特征获取单元、信心分评估单元和转接判断单元，其中：会话特征获取单元用于从机器人客服与用户的至少一轮会话中获取会话特征；状态特征获取单元用于获取用户的状态特征；信心分评估单元用于将所述会话特征和状态特征输入信心分评估模型，得到当前信心分评估值；所述信心分评估模型为机器学习模型，采用标记有出人工点的机器人客户与用户的会话样本、以及用户的状态特征样本进行训练；转接判断单元用于在当前信心分评估值满足预定出人工条件时，将用户转接人工客服。
一个例子中，所述信心分评估模型为深度和广度Wide and Deep模型，所述Wideand Deep模型包括线性子模型和深度神经网络子模型，以会话特征作为线性子模型的输入，以状态特征作为深度神经网络子模型的输入。
上述例子中，所述状态特征可以包括以下至少一项：用户的行为记录特征、业务状态特征和身份信息特征；所述深度神经网络子模型采用Dense紧密神经层处理业务状态特征，采用Dense神经层处理身份信息特征，采用长短期记忆网络LSTM神经层处理行为记录特征。
可选的，所述会话特征为自然语言处理NLP特征，包括以下的一项到多项：用户提问与机器人回答的关联度、问答轮数、答案类型。
可选的，所述状态特征包括以下至少一项：用户的行为记录特征、业务状态特征和身份信息特征；所述行为记录特征包括以下至少一项：用户在预定时间段内的访问记录、操作记录；所述业务状态特征包括以下至少一项：用户账户的业务开通状态、账户认证状态、账户登录状态、账户异常状态；所述身份信息特征包括以下至少一项：用户的性别、年龄、常驻地域。
可选的，所述信心分评估模型包括：基于支持向量机的机器学习模型、基于树型的机器学习模型、线性模型、神经网络模型。
可选的，所述预定出人工条件包括：当前信心分评估值大于或小于预定信心分阈值。
本说明书的实施例提供了一种计算机设备，该计算机设备包括存储器和处理器。其中，存储器上存储有能够由处理器运行的计算机程序；处理器在运行存储的计算机程序时，执行本说明书实施例中机器人客服转人工客服的方法的各个步骤。对机器人客服转人工客服的方法的各个步骤的详细描述请参见之前的内容，不再重复。
本说明书的实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，这些计算机程序在被处理器运行时，执行本说明书实施例中机器人客服转人工客服的方法的各个步骤。对机器人客服转人工客服的方法的各个步骤的详细描述请参见之前的内容，不再重复。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (16)

1.一种机器人客服转人工客服的方法，包括：
从机器人客服与用户的至少一轮会话中获取会话特征；
获取用户的状态特征；
将所述会话特征和状态特征输入信心分评估模型，得到当前信心分评估值；所述信心分评估模型为机器学习模型，采用标记有出人工点的机器人客户与用户的会话样本、以及用户的状态特征样本进行训练；
在当前信心分评估值满足预定出人工条件时，将用户转接人工客服。
2.根据权利要求1所述的方法，所述信心分评估模型为深度和广度Wide and Deep模型，所述Wide and Deep模型包括线性子模型和深度神经网络子模型，以会话特征作为线性子模型的输入，以状态特征作为深度神经网络子模型的输入。
3.根据权利要求2所述的方法，所述状态特征包括以下至少一项：用户的行为记录特征、业务状态特征和身份信息特征；
所述深度神经网络子模型采用Dense紧密神经层处理业务状态特征，采用Dense神经层处理身份信息特征，采用长短期记忆网络LSTM神经层处理行为记录特征。
4.根据权利要求1所述的方法，所述会话特征为自然语言处理NLP特征，包括以下的一项到多项：用户提问与机器人回答的关联度、问答轮数、答案类型。
5.根据权利要求1所述的方法，所述状态特征包括以下至少一项：用户的行为记录特征、业务状态特征和身份信息特征；
所述行为记录特征包括以下至少一项：用户在预定时间段内的访问记录、操作记录；
所述业务状态特征包括以下至少一项：用户账户的业务开通状态、账户认证状态、账户登录状态、账户异常状态；
所述身份信息特征包括以下至少一项：用户的性别、年龄、常驻地域。
6.根据权利要求1所述的方法，所述信心分评估模型包括：基于支持向量机的机器学习模型、基于树型的机器学习模型、线性模型、神经网络模型。
7.根据权利要求1所述的方法，所述预定出人工条件包括：当前信心分评估值大于或小于预定信心分阈值。
8.一种机器人客服转人工客服的装置，包括：
会话特征获取单元，用于从机器人客服与用户的至少一轮会话中获取会话特征；
状态特征获取单元，用于获取用户的状态特征；
信心分评估单元，用于将所述会话特征和状态特征输入信心分评估模型，得到当前信心分评估值；所述信心分评估模型为机器学习模型，采用标记有出人工点的机器人客户与用户的会话样本、以及用户的状态特征样本进行训练；
转接判断单元，用于在当前信心分评估值满足预定出人工条件时，将用户转接人工客服。
9.根据权利要求8所述的装置，所述信心分评估模型为深度和广度Wide and Deep模型，所述Wide and Deep模型包括线性子模型和深度神经网络子模型，以会话特征作为线性子模型的输入，以状态特征作为深度神经网络子模型的输入。
10.根据权利要求9所述的装置，所述状态特征包括以下至少一项：用户的行为记录特征、业务状态特征和身份信息特征；
所述深度神经网络子模型采用Dense紧密神经层处理业务状态特征，采用Dense神经层处理身份信息特征，采用长短期记忆网络LSTM神经层处理行为记录特征。
11.根据权利要求8所述的装置，所述会话特征为自然语言处理NLP特征，包括以下的一项到多项：用户提问与机器人回答的关联度、问答轮数、答案类型。
12.根据权利要求8所述的装置，所述状态特征包括以下至少一项：用户的行为记录特征、业务状态特征和身份信息特征；
所述行为记录特征包括以下至少一项：用户在预定时间段内的访问记录、操作记录；
所述业务状态特征包括以下至少一项：用户账户的业务开通状态、账户认证状态、账户登录状态、账户异常状态；
所述身份信息特征包括以下至少一项：用户的性别、年龄、常驻地域。
13.根据权利要求8所述的装置，所述信心分评估模型包括：基于支持向量机的机器学习模型、基于树型的机器学习模型、线性模型、神经网络模型。
14.根据权利要求8所述的装置，所述预定出人工条件包括：当前信心分评估值大于或小于预定信心分阈值。
15.一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行如权利要求1到7任意一项所述的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行如权利要求1到7任意一项所述的步骤。
CN201810076926.7A 2018-01-26 2018-01-26 机器人客服转人工客服的方法和装置 Active CN108363745B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201810076926.7A CN108363745B (zh) 2018-01-26 2018-01-26 机器人客服转人工客服的方法和装置
TW107145199A TWI698830B (zh) 2018-01-26 2018-12-14 機器人客服轉人工客服的方法和裝置及其電腦設備與電腦可讀儲存媒體
SG11202006127PA SG11202006127PA (en) 2018-01-26 2018-12-29 Method and apparatus for transferring from robot customer service to human customer service
JP2020536672A JP6991341B2 (ja) 2018-01-26 2018-12-29 ロボットの顧客サービスから人間の顧客サービスへの移行のための方法および装置
PCT/CN2018/125297 WO2019144773A1 (zh) 2018-01-26 2018-12-29 机器人客服转人工客服的方法和装置
EP18902124.9A EP3719732A4 (en) 2018-01-26 2018-12-29 METHOD AND DEVICE FOR TRANSFERRING A ROBOTIC CUSTOMER SERVICE TO A HUMAN CUSTOMER SERVICE
KR1020207018960A KR102445992B1 (ko) 2018-01-26 2018-12-29 로봇 고객 서비스로부터 사람 고객 서비스로 전환하기 위한 방법 및 장치
US16/888,801 US10977664B2 (en) 2018-01-26 2020-05-31 Method and apparatus for transferring from robot customer service to human customer service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810076926.7A CN108363745B (zh) 2018-01-26 2018-01-26 机器人客服转人工客服的方法和装置

Publications (2)

Publication Number Publication Date
CN108363745A true CN108363745A (zh) 2018-08-03
CN108363745B CN108363745B (zh) 2020-06-30

Family

ID=63007175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810076926.7A Active CN108363745B (zh) 2018-01-26 2018-01-26 机器人客服转人工客服的方法和装置

Country Status (8)

Country Link
US (1) US10977664B2 (zh)
EP (1) EP3719732A4 (zh)
JP (1) JP6991341B2 (zh)
KR (1) KR102445992B1 (zh)
CN (1) CN108363745B (zh)
SG (1) SG11202006127PA (zh)
TW (1) TWI698830B (zh)
WO (1) WO2019144773A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109202908A (zh) * 2018-10-19 2019-01-15 和美（深圳）信息技术股份有限公司 机器人的控制方法、装置、设备、系统和存储介质
CN110020426A (zh) * 2019-01-21 2019-07-16 阿里巴巴集团控股有限公司 将用户咨询分配到客服业务组的方法及装置
WO2019144773A1 (zh) * 2018-01-26 2019-08-01 阿里巴巴集团控股有限公司 机器人客服转人工客服的方法和装置
CN110602334A (zh) * 2019-09-03 2019-12-20 上海航动科技有限公司 一种基于人机协同的智能外呼方法及系统
CN110838014A (zh) * 2019-09-20 2020-02-25 北京智齿博创科技有限公司 在线客服系统中人工智能路由策略
CN111143537A (zh) * 2019-12-30 2020-05-12 税友软件集团股份有限公司 一种基于智能客服系统的服务方法、装置、设备及介质
CN111369080A (zh) * 2020-05-27 2020-07-03 支付宝(杭州)信息技术有限公司 一种智能客服解决率预测方法和系统以及多业务预测模型
CN111538822A (zh) * 2020-04-24 2020-08-14 支付宝(杭州)信息技术有限公司 一种智能客户服务机器人训练数据的生成方法和系统
CN111861610A (zh) * 2019-04-30 2020-10-30 北京嘀嘀无限科技发展有限公司 一种数据处理方法、装置、电子设备及存储介质
CN111901487A (zh) * 2020-08-13 2020-11-06 周铭 基于大数据处理的用户语音呼叫系统及方法
CN112329928A (zh) * 2020-12-30 2021-02-05 四川新网银行股份有限公司 基于异构模型的用户满意度分析方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200050941A1 (en) * 2018-08-07 2020-02-13 Amadeus S.A.S. Machine learning systems and methods for attributed sequences
US11907670B1 (en) 2020-07-14 2024-02-20 Cisco Technology, Inc. Modeling communication data streams for multi-party conversations involving a humanoid
US11875362B1 (en) 2020-07-14 2024-01-16 Cisco Technology, Inc. Humanoid system for automated customer support
CN111932144B (zh) * 2020-08-25 2023-09-19 腾讯科技（上海）有限公司 一种客服坐席分配方法、装置、服务器及存储介质
CN112182189B (zh) * 2020-10-10 2023-06-30 网易（杭州）网络有限公司 一种对话处理方法、装置、电子设备及存储介质
CN112508585A (zh) * 2020-12-03 2021-03-16 大唐融合通信股份有限公司 一种广电客户服务业务处理的方法、设备及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105072173A (zh) * 2015-08-03 2015-11-18 谌志群 自动客服和人工客服自动切换的客服方法及系统
CN105592237A (zh) * 2014-10-24 2016-05-18 中国移动通信集团公司 一种会话切换的方法、装置及智能客服机器人
CN105701088A (zh) * 2016-02-26 2016-06-22 北京京东尚科信息技术有限公司 从机器对话切换到人工对话的方法和装置
CN105808652A (zh) * 2016-02-26 2016-07-27 北京京东尚科信息技术有限公司 在线客服的实现方法和装置
US20170300814A1 (en) * 2016-04-13 2017-10-19 Google Inc. Wide and deep machine learning models
CN107590159A (zh) * 2016-07-08 2018-01-16 阿里巴巴集团控股有限公司 机器人客服转人工客服的方法和装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275806B1 (en) 1999-08-31 2001-08-14 Andersen Consulting, Llp System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
US7222075B2 (en) * 1999-08-31 2007-05-22 Accenture Llp Detecting emotions using voice signal analysis
JP5033994B2 (ja) * 2006-01-19 2012-09-26 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット
JP4412504B2 (ja) 2007-04-17 2010-02-10 本田技研工業株式会社 音声認識装置、音声認識方法、及び音声認識用プログラム
JP2011033680A (ja) 2009-07-30 2011-02-17 Sony Corp 音声処理装置及び方法、並びにプログラム
CN103456297B (zh) 2012-05-29 2015-10-07 中国移动通信集团公司 一种语音识别匹配的方法和设备
US8788439B2 (en) 2012-12-21 2014-07-22 InsideSales.com, Inc. Instance weighted learning machine learning model
US9177318B2 (en) 2013-04-22 2015-11-03 Palo Alto Research Center Incorporated Method and apparatus for customizing conversation agents based on user characteristics using a relevance score for automatic statements, and a response prediction function
US9728184B2 (en) 2013-06-18 2017-08-08 Microsoft Technology Licensing, Llc Restructuring deep neural network acoustic models
US9613619B2 (en) 2013-10-30 2017-04-04 Genesys Telecommunications Laboratories, Inc. Predicting recognition quality of a phrase in automatic speech recognition systems
US9413891B2 (en) 2014-01-08 2016-08-09 Callminer, Inc. Real-time conversational analytics facility
US20150201077A1 (en) 2014-01-12 2015-07-16 Genesys Telecommunications Laboratories, Inc. Computing suggested actions in caller agent phone calls by using real-time speech analytics and real-time desktop analytics
KR102143238B1 (ko) * 2014-03-13 2020-08-10 에스케이플래닛 주식회사 메신저 서비스에서 프로필 정보를 이용한 부가정보 제공 방법, 이를 위한 시스템 및 장치
US10235639B1 (en) * 2014-03-14 2019-03-19 Directly Software, Inc. Al based CRM system
CN104409075B (zh) 2014-11-28 2018-09-04 深圳创维－Rgb电子有限公司 语音识别方法和系统
US9635181B1 (en) 2015-10-19 2017-04-25 Genesys Telecommunications Laboratories, Inc. Optimized routing of interactions to contact center agents based on machine learning
CN106909930A (zh) * 2015-12-23 2017-06-30 神州数码信息系统有限公司 一种基于政务机器问答系统的人机自动切换的模型与方法
US10063702B2 (en) * 2015-12-30 2018-08-28 Shanghai Xiaoi Robot Technology Co., Ltd. Intelligent customer service systems, customer service robots, and methods for providing customer service
CN107025228B (zh) * 2016-01-29 2021-01-26 阿里巴巴集团控股有限公司 一种问题推荐方法及设备
CN114357128A (zh) * 2016-04-18 2022-04-15 谷歌有限责任公司 适当的代理的自动化助理调用
JP6736691B2 (ja) * 2016-06-13 2020-08-05 グーグル エルエルシー 人間のオペレータへのエスカレーション
US10403273B2 (en) 2016-09-09 2019-09-03 Oath Inc. Method and system for facilitating a guided dialog between a user and a conversational agent
CN107071193B (zh) * 2016-11-28 2020-05-29 阿里巴巴集团控股有限公司 互动应答系统接入用户的方法和装置
CN106611597B (zh) 2016-12-02 2019-11-08 百度在线网络技术（北京）有限公司 基于人工智能的语音唤醒方法和装置
CN107451199B (zh) * 2017-07-05 2020-06-26 阿里巴巴集团控股有限公司 问题推荐方法及装置、设备
CN107506372A (zh) * 2017-07-11 2017-12-22 哈尔滨工业大学深圳研究生院 一种机器人客服在混合类型会话下的自动会话切换方法
US10558852B2 (en) * 2017-11-16 2020-02-11 Adobe Inc. Predictive analysis of target behaviors utilizing RNN-based user embeddings
CN108363745B (zh) * 2018-01-26 2020-06-30 阿里巴巴集团控股有限公司 机器人客服转人工客服的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592237A (zh) * 2014-10-24 2016-05-18 中国移动通信集团公司 一种会话切换的方法、装置及智能客服机器人
CN105072173A (zh) * 2015-08-03 2015-11-18 谌志群 自动客服和人工客服自动切换的客服方法及系统
CN105701088A (zh) * 2016-02-26 2016-06-22 北京京东尚科信息技术有限公司 从机器对话切换到人工对话的方法和装置
CN105808652A (zh) * 2016-02-26 2016-07-27 北京京东尚科信息技术有限公司 在线客服的实现方法和装置
US20170300814A1 (en) * 2016-04-13 2017-10-19 Google Inc. Wide and deep machine learning models
CN107590159A (zh) * 2016-07-08 2018-01-16 阿里巴巴集团控股有限公司 机器人客服转人工客服的方法和装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977664B2 (en) 2018-01-26 2021-04-13 Advanced New Technologies Co., Ltd. Method and apparatus for transferring from robot customer service to human customer service
WO2019144773A1 (zh) * 2018-01-26 2019-08-01 阿里巴巴集团控股有限公司 机器人客服转人工客服的方法和装置
CN109202908A (zh) * 2018-10-19 2019-01-15 和美（深圳）信息技术股份有限公司 机器人的控制方法、装置、设备、系统和存储介质
CN110020426A (zh) * 2019-01-21 2019-07-16 阿里巴巴集团控股有限公司 将用户咨询分配到客服业务组的方法及装置
CN110020426B (zh) * 2019-01-21 2023-09-26 创新先进技术有限公司 将用户咨询分配到客服业务组的方法及装置
CN111861610A (zh) * 2019-04-30 2020-10-30 北京嘀嘀无限科技发展有限公司 一种数据处理方法、装置、电子设备及存储介质
CN110602334A (zh) * 2019-09-03 2019-12-20 上海航动科技有限公司 一种基于人机协同的智能外呼方法及系统
CN110838014A (zh) * 2019-09-20 2020-02-25 北京智齿博创科技有限公司 在线客服系统中人工智能路由策略
CN111143537A (zh) * 2019-12-30 2020-05-12 税友软件集团股份有限公司 一种基于智能客服系统的服务方法、装置、设备及介质
CN111538822A (zh) * 2020-04-24 2020-08-14 支付宝(杭州)信息技术有限公司 一种智能客户服务机器人训练数据的生成方法和系统
CN111538822B (zh) * 2020-04-24 2023-05-09 支付宝(杭州)信息技术有限公司 一种智能客户服务机器人训练数据的生成方法和系统
CN111369080A (zh) * 2020-05-27 2020-07-03 支付宝(杭州)信息技术有限公司 一种智能客服解决率预测方法和系统以及多业务预测模型
CN111901487B (zh) * 2020-08-13 2021-05-21 山东泰盈科技有限公司 基于大数据处理的用户语音呼叫系统及方法
CN111901487A (zh) * 2020-08-13 2020-11-06 周铭 基于大数据处理的用户语音呼叫系统及方法
CN112329928A (zh) * 2020-12-30 2021-02-05 四川新网银行股份有限公司 基于异构模型的用户满意度分析方法

Also Published As

Publication number Publication date
US10977664B2 (en) 2021-04-13
SG11202006127PA (en) 2020-07-29
WO2019144773A1 (zh) 2019-08-01
US20200294063A1 (en) 2020-09-17
JP6991341B2 (ja) 2022-01-12
TWI698830B (zh) 2020-07-11
EP3719732A1 (en) 2020-10-07
KR20200095516A (ko) 2020-08-10
JP2021524071A (ja) 2021-09-09
KR102445992B1 (ko) 2022-09-21
CN108363745B (zh) 2020-06-30
TW201933267A (zh) 2019-08-16
EP3719732A4 (en) 2020-10-07

Similar Documents

Publication Publication Date Title
CN108363745A (zh) 机器人客服转人工客服的方法和装置
CN110020426B (zh) 将用户咨询分配到客服业务组的方法及装置
CN106448670B (zh) 基于深度学习和强化学习的自动回复对话系统
US8788439B2 (en) Instance weighted learning machine learning model
CN106295792B (zh) 基于多模型输出的对话数据交互处理方法及装置
Lee et al. An intelligent fuzzy agent for meeting scheduling decision support system
CN107590159A (zh) 机器人客服转人工客服的方法和装置
CN108962238A (zh) 基于结构化神经网络的对话方法、系统、设备及存储介质
CN107704482A (zh) 方法、装置以及程序
CN107911491A (zh) 信息推荐方法、装置及存储介质、服务器和移动终端
CN109101624A (zh) 对话处理方法、装置、电子设备及存储介质
CN107071193A (zh) 互动应答系统接入用户的方法和装置
CN107330130A (zh) 一种向人工客服推荐回复内容的对话机器人的实现方法
CN110083693A (zh) 机器人对话回复方法及装置
CN111309887B (zh) 一种训练文本关键内容提取模型的方法和系统
CN110457709A (zh) 外呼对话处理方法、装置及服务器
CN109325780A (zh) 一种面向电子政务领域的智能客服系统的交互方法
CN108595609A (zh) 基于人物ip的机器人回复生成方法、系统、介质及设备
WO2022187545A1 (en) Recommending matches using machine learning
CN110472798A (zh) 时间序列数据的预测方法、装置及计算机可读存储介质
Shah et al. Problem solving chatbot for data structures
US11797769B1 (en) Artificial intelligence system using hybrid technique for task-oriented dialog management
CN111353290B (zh) 一种自动响应用户询问的方法和系统
CN110060083A (zh) 基于机器学习的个性化繁忙等待服务的方法、装置和设备
CN111340218B (zh) 一种训练问题识别模型的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right