CN110046642B - 计算机执行的用户意图预测方法、装置及设备 - Google Patents

计算机执行的用户意图预测方法、装置及设备 Download PDF

Info

Publication number
CN110046642B
CN110046642B CN201910063961.XA CN201910063961A CN110046642B CN 110046642 B CN110046642 B CN 110046642B CN 201910063961 A CN201910063961 A CN 201910063961A CN 110046642 B CN110046642 B CN 110046642B
Authority
CN
China
Prior art keywords
user
network
upper layer
sample set
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910063961.XA
Other languages
English (en)
Other versions
CN110046642A (zh
Inventor
陈岑
唐才智
张晓露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN201910063961.XA priority Critical patent/CN110046642B/zh
Publication of CN110046642A publication Critical patent/CN110046642A/zh
Application granted granted Critical
Publication of CN110046642B publication Critical patent/CN110046642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种计算机执行的用户意图预测方法、装置及设备，在预测方法中，接收用户请求。根据用户请求，确定当前领域。获取在预定特征空间表达的用户特征。若当前领域为源领域，则将用户特征输入深度学习网络的源领域路径，以通过源领域路径预测用户意图。若当前领域为目标领域，则将用户特征输入深度学习网络的目标领域路径，以通过目标领域路径预测用户意图。源领域路径包括深度学习网络的底层网络部分和第一上层部分，目标领域路径包括深度学习网络的底层网络部分和第二上层部分。源领域路径通过源领域的第一样本集训练确定，目标领域路径通过目标领域的第二样本集训练确定，第一样本集的样本数量大于第二样本集的样本数量。

Description

计算机执行的用户意图预测方法、装置及设备
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种计算机执行的用户意图预测方法、装置及设备。
背景技术
传统的用户意图预测方法如下：获取待预测意图用户的用户特征。将获取的用户特征输入预测模型，以预测用户意图。为了保证预测模型的精度，其通常是基于预先收集的大量样本数据训练得到的。然而，当某领域的样本数据比较少或者难获取时，如，在客服系统冷启动阶段，或者用户反馈缺失等情况下，通常只能收集到较少的样本数据，从而训练得到的预测模型往往不能很好地对用户意图进行预测。
因此，需要提供一种用户意图预测方法，以便能够在样本数据较少的情况下，也能够对用户意图进行准确预测。
发明内容
本说明书一个或多个实施例描述了一种计算机执行的用户意图预测方法、装置及设备，可以在目标领域的样本集的样本数量较少的情况下，实现对用户意图的准确预测。
第一方面，提供了一种计算机执行的用户意图预测方法，包括：
接收用户的用户请求；
根据所述用户请求，确定当前领域；
获取所述用户的在预定特征空间表达的用户特征；
若当前领域为源领域，则将所述用户特征输入深度学习网络的源领域路径，以通过所述源领域路径预测所述用户的用户意图；
若当前领域为目标领域，则将所述用户特征输入深度学习网络的目标领域路径，以通过所述目标领域路径预测所述用户的用户意图；
其中，所述深度学习网络包括底层网络部分和上层网络部分，所述上层网络部分包括第一上层部分和第二上层部分；所述源领域路径包括所述底层网络部分和所述第一上层部分，所述目标领域路径包括所述底层网络部分和所述第二上层部分；所述源领域路径通过所述源领域的第一样本集训练确定，所述目标领域路径通过所述目标领域的第二样本集训练确定，所述第一样本集的样本数量大于所述第二样本集的样本数量。
第二方面，提供了一种计算机执行的用户意图预测装置，包括：
接收单元，用于接收用户的用户请求；
确定单元，用于根据所述接收单元接收的所述用户请求，确定当前领域；
获取单元，用于所述用户的在预定特征空间表达的用户特征；
输入单元，用于若当前领域为源领域，则将所述用户特征输入深度学习网络的源领域路径，以通过所述源领域路径预测所述用户的用户意图；
所述输入单元，还用于若当前领域为目标领域，则将所述用户特征输入深度学习网络的目标领域路径，以通过所述目标领域路径预测所述用户的用户意图；
其中，所述深度学习网络包括底层网络部分和上层网络部分，所述上层网络部分包括第一上层部分和第二上层部分；所述源领域路径包括所述底层网络部分和所述第一上层部分，所述目标领域路径包括所述底层网络部分和所述第二上层部分；所述源领域路径通过所述源领域的第一样本集训练确定，所述目标领域路径通过所述目标领域的第二样本集训练确定，所述第一样本集的样本数量大于所述第二样本集的样本数量。
第三方面，提供了一种计算机执行的用户意图预测设备，包括：
存储器；
一个或多个处理器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：
接收用户的用户请求；
根据所述用户请求，确定当前领域；
获取所述用户的在预定特征空间表达的用户特征；
若当前领域为源领域，则将所述用户特征输入深度学习网络的源领域路径，以通过所述源领域路径预测所述用户的用户意图；
若当前领域为目标领域，则将所述用户特征输入深度学习网络的目标领域路径，以通过所述目标领域路径预测所述用户的用户意图；
其中，所述深度学习网络包括底层网络部分和上层网络部分，所述上层网络部分包括第一上层部分和第二上层部分；所述源领域路径包括所述底层网络部分和所述第一上层部分，所述目标领域路径包括所述底层网络部分和所述第二上层部分；所述源领域路径通过所述源领域的第一样本集训练确定，所述目标领域路径通过所述目标领域的第二样本集训练确定，所述第一样本集的样本数量大于所述第二样本集的样本数量。
本说明书一个或多个实施例提供的计算机执行的用户意图预测方法、装置及设备，接收用户请求。根据用户请求，确定当前领域。获取在预定特征空间表达的用户特征。若当前领域为源领域，则将用户特征输入深度学习网络的源领域路径，以通过源领域路径预测用户意图。若当前领域为目标领域，则将用户特征输入深度学习网络的目标领域路径，以通过目标领域路径预测用户意图。源领域路径包括深度学习网络的底层网络部分和第一上层部分，目标领域路径包括深度学习网络的底层网络部分和第二上层部分。源领域路径通过源领域的第一样本集训练确定，目标领域路径通过目标领域的第二样本集训练确定，第一样本集的样本数量大于第二样本集的样本数量。由此可以看出，本说明书提供的用户意图预测方法，针对不同领域可以选择模型的不同的路径来预测用户意图。由于该两条路径共享底层网络部分，且该底层网络部分是基于两个领域的样本集共同训练确定，由此可以实现源领域对目标领域的辅助学习，从而可以提高目标领域的预测模型的准确性。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书提供的计算机执行的用户意图预测方法应用场景示意图；
图2本说明书提供的深度学习网络的训练方法示意图；
图3为本说明书提供的深度学习网络示意图；
图4为本说明书一个实施例提供的计算机执行的用户意图预测方法流程图；
图5为本说明书另一个实施例提供的计算机执行的用户意图预测方法示意图；
图6为本说明书一个实施例提供的计算机执行的用户意图预测装置示意图；
图7为本说明书一个实施例提供的计算机执行的用户意图预测设备示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
在介绍本说明书提供的方案之前，先对本方案的发明构思作以下介绍。
在客服体系中，用户意图预测有着重要的作用，其是客服面对用户的第一道关卡。以支付宝系统的“猜你问题”为例来说，当用户进入支付宝系统中我的客服页面，会立即看到一个问题推荐列表，这就是“猜你问题”。需要说明的是，上述问题推荐列表是在预测模型基于用户特征(如，用户的历史行为或者状态等)对用户意图进行预测之后，基于预测的用户意图而确定的。这里的预测模型可以是通过对深度学习网络(简称网络)进行训练后得到的。由于每个用户的用户特征各不相同，因此每个用户看到的问题推荐列表也可以各不相同。
由上可以看出，用户意图预测的本质是基于用户的历史行为等用户特征来预测用户可能碰到的问题，达到“未问先答”，帮助用户解决问题，提高用户的满意度，并且节省客服的人力成本。因此，用户意图预测广泛应用于多个领域，这里的领域可以是基于不同的业务或者场景而划分得到。如，“大病无忧保”场景以及“保险综合”场景就可以作为两个不同的领域。
而根据背景技术的内容可知，为了保证预测模型的精度，通常需要根据大量的样本数据来对该模型进行训练。然而，在一些领域，样本数据非常稀少，因此在这样的领域实现用户意图的准确预测面临很大的困难。
申请人了解到，迁移学习可以利用从样本数据充分的源领域里学习的知识/表达，来辅助样本数据不多的目标领域进行知识学习/表达。因此，本说明书可以通过借鉴迁移学习的思想，来训练样本数据较少的领域的预测模型。
为了保证不同领域间迁移学习的学习效果，申请人考虑可以只在相近领域间实现上述迁移学习。由于相近领域的样本数据之间具有很大的相似性，因此可以基于各个领域的样本数据共同更新网络的底层部分，之后再分别基于每个领域的样本数据，更新各自的上层网络部分。以领域的个数为两个(如，一个源领域和一个目标领域)为例来说，通过上述方式可以在模型中训练得到两条路径：源领域路径和目标领域路径。该两条路径共享底层网络部分，此外不同路径还覆盖上层网络的不同部分。
具体实现思路可以为：构建三个不同的损失函数，第一个损失函数是将底层网络部分的网络参数作为自变量构建的，第二个损失函数是将第一上层部分的网络参数作为自变量构建的，第三个损失函数是将第二上层部分的网络参数作为自变量构建的。在构建好上述三个损失函数之后，当网络中输入源领域的样本数据时，基于第一个损失函数来控制底层网络部分的网络参数的更新，基于第二个损失函数来控制第一上层部分的网络参数的更新。当网络中输入目标领域的样本数据时，基于第一个损失函数来控制底层网络部分的网络参数的更新，基于第三个损失函数来控制第二上层部分的网络参数的更新。也即底层网络部分的网络参数是基于源领域的样本数据以及目标领域的样本数据共同来更新的，由此实现了利用从源领域里学习的知识/表达，来辅助目标领域进行知识的学习/表达。
总之，针对部分领域样本数据不足的问题，我们能够利用相似领域的样本数据，共同进行知识学习/表达，提升模型的表征能力，帮助目标领域进行用户意图预测。
以上就是本说明书提供的方案的发明构思，以下对本方案进行详细阐述。
图1为本说明书提供的计算机执行的用户意图预测方法应用场景示意图，图1中，客服系统可以为某业务系统(如，支付宝系统)的一个子模块或者子单元，该业务系统可以提供不同的业务(场景)。当用户针对不同业务(场景)请求相应的用户问题时，客服系统可以对该用户的意图进行预测。之后针对所预测的用户意图，生成相对应的问题推荐列表并展示给用户。需要说明的是，上述用户针对不同业务(场景)请求相应的用户问题时，客服系统进行用户意图预测的过程也可以理解为是对不同领域的用户意图进行预测。
需要说明的是，为实现不同领域的用户意图的预测，可以先训练(获取)深度学习网络。以下以基于两个领域(如，一个源领域和一个目标领域)的用户特征，来训练深度学习网络为例来说。
图2为本说明书提供的深度学习网络的训练方法示意图。如图2所示，该模型的训练过程具体可以如下：
首先，收集源领域的第一样本集以及目标领域的第二样本集。
这里的源领域和目标领域可以为相近领域，且源领域的第一样本集的样本数量大于目标领域的第二样本集的样本数量。
如，可以是从客服系统的后台数据库中来收集上述第一样本集以及第二样本集。然而，当某业务(或场景)为业务系统的新兴业务(或新场景)时，那么用户对该新兴业务(或新场景)的用户问题点击量很少，从而收集的该领域的样本集的样本数量就比较有限。若想要对该领域的用户意图进行预测，那么可以同时收集样本数量较大的相近领域的样本集。举例来说，当目标领域为“大病无忧保”场景时，那么可以同时收集源领域“保险综合”场景的样本集。
其次，从第一样本集中提取在预定空间表达的第一用户特征，从第二样本集中提取在预定空间表达的第二用户特征。
这里的用户特征可以包括但不限于用户的画像特征、历史行为特征、状态特征以及其它特征等。这里的状态特征也可以称为因子特征，例如可以为地址位置等。其它特征可以包括但不限于文本特征(如，问题类型)等。
在一种实现方式中，可以直接从各自的样本集中提取在相同特征空间表达的第一用户特征和第二用户特征。
在另一种实现方式中，也可以先从第一样本集提取第一用户特征，从第二样本集提取第二用户特征。之后可以分别对其执行数据清洗以及特征转换等预处理操作。这里的特征转换可以包括但不限于离散化以及归一化等。最后，将第一用户特征以及第二用户特征映射到相同的特征空间。
需要说明的是，由于不同的领域，其相同用户特征的表示方式往往不同。如，在A领域，用户性别的表示方式如下：男：0；女：1，而在B领域，用户性别的表示方式如下：男：1；女：0。由于本说明书可以基于不同领域的用户特征，来对深度学习网络进行训练，因此可以将具有同一物理含义的用户特征进行统一表示。在一种实现方式中，可以将不同领域的用户特征映射到相同的特征空间。如，可以统一将用户性别按照如下方式表示：男：0，女：1。
可以理解的是，将源领域的用户特征与目标领域的用户特征映射到相同的特征空间之后，就实现了源领域的用户特征与目标领域的用户特征的融合，由此便可以打通不同领域的数据间“壁垒”。
最后，根据第一用户特征以及第一损失函数，对底层网络部分的网络参数和第一上层部分的网络参数进行更新。根据第二用户特征以及第二损失函数，对底层网络部分的网络参数和第二上层部分的网络参数进行更新。
在一种实现方式中，第一损失函数可以是将对抗损失函数以及源领域损失函数进行加权求和后得到的。其中，源领域损失函数的权重可以大于对抗损失函数的权重。第二损失函数是将对抗损失函数以及目标领域损失函数进行加权求和后得到的。其中，目标领域损失函数的权重可以大于对抗损失函数的权重。这里的对抗损失函数可以是将底层网络部分的网络参数作为自变量构建的。源领域损失函数可以是将第一上层部分的网络参数作为自变量构建的。目标领域损失函数可以是将第二上层部分的网络参数作为自变量构建的。
在另一种实现方式中，第一损失函数也可以是直接将底层网络部分的网络参数以及第一上层部分的网络参数共同作为自变量构建的。同样地，第二损失函数也可以是直接将底层网络部分的网络参数以及第二上层部分的网络参数共同作为自变量构建的。
需要说明的是，虽然图2中的深度学习网路由一层以上的多层感知器(Multi-Layer Perceptron，MLP)构成，但是在实际应用中，也可以在该一层以上的MLP的基础上，再添加卷积神经网络(Convolutional Neural Networks，CNN)和/或长短期记忆网络(LongShort-Term Memory，LSTM)等等，本说明书对此不作限定。
图3为本说明书提供的深度学习网络示意图。图3中示出了两条不同的路径：源领域路径和目标领域路径，其中，源领域路径与目标领域路径共享深度学习网路的底层网络部分，此外，源领域路径还包括深度学习网络的第一上层部分，目标领域路径还包括深度学习网络的第二上层部分。
综上，本说明书在训练深度学习网络的过程中，通过挖掘源领域样本集中获取的知识表征，快速帮助模型学习目标领域知识，从而提高了目标领域的预测模型的精度。由此，解决了由于目标领域的样本数据较少，从而训练的预测模型精度不高的问题。此外，由于本说明书训练得到的深度学习网络包括了两条预测路径，从而既可以对源领域的用户意图进行预测，又可以对目标领域的用户意图进行预测，这提高了预测模型的通用性。
需要说明的是，在训练好上述深度学习网络之后，就可以对不同领域的用户意图进行预测了。以下对本说明书提供的用户意图的预测方法进行说明。
图4为本说明书一个实施例提供的计算机执行的用户意图预测方法流程图。所述方法的执行主体可以为具有处理能力的设备：服务器或者系统或者装置，如，可以为图1中的客服系统等。如图4所示，所述方法具体可以包括：
步骤402，接收用户的用户请求。
这里的用户请求可以是用于请求与某业务(或场景)相应的用户问题。针对不同的业务(或场景)，用户可以通过上述业务系统的不同页面或者入口发送上述用户请求。当用户通过不同的页面或者入口发送上述用户请求时，客服系统就接收到了不同领域的用户请求。
步骤404，根据用户请求，确定当前领域。
当用户通过业务系统的不同页面或者入口发送用户请求时，该用户请求中可以包括该不同页面或者入口的相关信息。具体地，客服系统可以根据该相关信息，来确定当前领域。
步骤406，获取用户的在预定特征空间表达的用户特征。
这里的用户特征可以包括但不限于用户的画像特征、历史行为特征、状态特征以及其它特征等。这里的状态特征也可以称为因子特征，例如可以为地址位置等。其它特征可以包括但不限于文本特征(如，问题类型)等。
在一个例子中，上述用户请求还可以包括用户的标识信息(如，登录账户)。具体地，可以根据该标识信息，从客服系统的后台数据库中获取该用户的用户特征。
在获取到用户的用户特征之后，可以对获取的用户特征进行预处理。这里的预处理可以包括数据清洗以及特征转换等。这里的特征转换可以包括但不限于离散化以及归一化等。
需要说明的是，当不能直接获取到在预定特征空间表达的用户特征时，也可以在用户特征预处理完成之后，对其进行特征空间映射。即映射到网络训练过程中所统一设定的特征空间。如，可以统一将用户性别按照如下方式表示：男：0，女：1。
步骤408，若当前领域为源领域，则将用户特征输入深度学习网络的源领域路径，以通过源领域路径预测用户的用户意图。
步骤410，若当前领域为目标领域，则将用户特征输入深度学习网络的目标领域路径，以通过目标领域路径预测用户的用户意图。
以图3为例来说，若当前领域为源领域，则通过图中左侧的路径来预测用户意图。若当前领域为目标领域，则通过图中右侧的路径来预测用户意图。
综上，本说明书实施例提供的用户意图预测方法，针对不同领域可以选择模型的不同的路径来预测用户意图，从而具有更好的通用性。
需要说明的是，图4只是描述了一种用户意图预测方法。在该方法中，深度学习网络适用于多个领域的用户意图的预测。在实际应用中，也可以将深度学习网络与领域建立对应关系，如，深度学习网络只用于预测目标领域的用户意图。在该种情况下，可以直接网络的预测路径：目标领域路径。其具体预测过程可以如图5所示，图5中，首先，接收目标领域的用户请求。根据接收的用户请求，获取目标领域的用户特征。对获取的用户特征进行预处理。将预处理后的目标领域的用户特征进行特征空间映射。将特征空间映射后的用户特征输入深度学习网络。深度学习网络通过预先设定好的目标领域路径对用户意图进行预测。
与上述计算机执行的用户意图预测方法对应地，本说明书一个实施例还提供的一种计算机执行的用户意图预测装置，如图6所示，该装置可以包括：
接收单元602，用于接收用户的用户请求。
确定单元604，用于根据接收单元602接收的用户请求，确定当前领域。
获取单元606，用于获取用户的在预定特征空间表达的用户特征。
这里用户特征可以包括以下任一种或多种：画像特征、历史行为特征、状态特征以及其它特征等。
输入单元608，用于若当前领域为源领域，则将用户特征输入深度学习网络的源领域路径，以通过源领域路径预测用户的用户意图。
输入单元608，还用于若当前领域为目标领域，则将用户特征输入深度学习网络的目标领域路径，以通过目标领域路径预测用户的用户意图。
其中，深度学习网络包括底层网络部分和上层网络部分，上层网络部分包括第一上层部分和第二上层部分。源领域路径包括底层网络部分和第一上层部分，目标领域路径包括底层网络部分和第二上层部分。源领域路径通过源领域的第一样本集训练确定，目标领域路径通过目标领域的第二样本集训练确定，第一样本集的样本数量大于第二样本集的样本数量。
这里的深度学习网络可以包括以下任一种或多种：多层感知器MLP、卷积神经网络CNN以及长短期记忆网络LSTM等。
可选地，该装置还可以包括：
收集单元610，用于收集源领域的第一样本集以及目标领域的第二样本集。
提取单元612，用于从收集单元610收集的第一样本集中提取在预定空间表达的第一用户特征，从收集单元610收集的第二样本集中提取在预定空间表达的第二用户特征。
更新单元614，用于根据提取单元612提取的第一用户特征以及第一损失函数，对底层网络部分的网络参数和第一上层部分的网络参数进行更新。
更新单元614，还用于根据提取单元612提取的第二用户特征以及第二损失函数，对底层网络部分的网络参数和第二上层部分的网络参数进行更新。
可选地，第一损失函数是将对抗损失函数以及源领域损失函数进行加权求和后得到的。对抗损失函数是将底层网络部分的网络参数作为自变量构建的。源领域损失函数是将第一上层部分的网络参数作为自变量构建的。
所述第二损失函数是将对抗损失函数以及目标领域损失函数进行加权求和后得到的。目标领域损失函数是将第二上层部分的网络参数作为自变量构建的。
此外，上述源领域损失函数的权重可以大于对抗损失函数的权重。目标领域损失函数的权重可以大于对抗损失函数的权重。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书一个实施例提供的计算机执行的用户意图预测装置，接收单元602接收用户的用户请求。确定单元604根据用户请求，确定当前领域。获取单元606获取用户的在预定特征空间表达的用户特征。输入单元608，若当前领域为源领域，则将用户特征输入深度学习网络的源领域路径，以通过源领域路径预测用户的用户意图。若当前领域为目标领域，则将用户特征输入深度学习网络的目标领域路径，以通过目标领域路径预测用户的用户意图。由此，可以实现针对不同领域可以选择模型的不同的路径来预测用户意图，从而具有更好的通用性。
本说明书一个实施例提供的计算机执行的用户意图预测装置可以为图1中客服系统的一个模块或者单元。
与上述计算机执行的用户意图预测方法对应地，本说明书实施例还提供了一种计算机执行的用户意图预测设备，如图7所示，该设备可以包括：存储器702、一个或多个处理器704以及一个或多个程序。其中，该一个或多个程序存储在存储器702中，并且被配置成由一个或多个处理器704执行，该程序被处理器704执行时实现以下步骤：
接收用户的用户请求。
根据用户请求，确定当前领域。
获取用户的在预定特征空间表达的用户特征。
若当前领域为源领域，则将用户特征输入深度学习网络的源领域路径，以通过源领域路径预测用户的用户意图。
若当前领域为目标领域，则将用户特征输入深度学习网络的目标领域路径，以通过目标领域路径预测用户的用户意图。
其中，深度学习网络包括底层网络部分和上层网络部分，上层网络部分包括第一上层部分和第二上层部分。源领域路径包括底层网络部分和第一上层部分，目标领域路径包括底层网络部分和第二上层部分。源领域路径通过源领域的第一样本集训练确定，目标领域路径通过目标领域的第二样本集训练确定，第一样本集的样本数量大于第二样本集的样本数量。
本说明书一个实施例提供的计算机执行的用户意图预测设备，可以实现针对不同领域可以选择模型的不同的路径来预测用户意图，从而具有更好的通用性。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (13)

1.一种计算机执行的用户意图预测方法，包括：
接收用户的用户请求；
根据所述用户请求，确定当前领域；
获取所述用户的在预定特征空间表达的用户特征；
若当前领域为源领域，则将所述用户特征输入深度学习网络的源领域路径，以通过所述源领域路径预测所述用户的用户意图；
若当前领域为目标领域，则将所述用户特征输入深度学习网络的目标领域路径，以通过所述目标领域路径预测所述用户的用户意图;
其中，所述深度学习网络包括底层网络部分和上层网络部分，所述上层网络部分包括第一上层部分和第二上层部分；所述源领域路径包括所述底层网络部分和所述第一上层部分，所述目标领域路径包括所述底层网络部分和所述第二上层部分；所述源领域路径通过所述源领域的第一样本集训练确定，所述目标领域路径通过所述目标领域的第二样本集训练确定，所述第一样本集的样本数量大于所述第二样本集的样本数量。
2.根据权利要求1所述的方法，还包括更新所述底层网络部分的网络参数、所述第一上层部分的网络参数以及所述第二上层部分的网络参数的步骤，包括：
收集所述源领域的第一样本集以及所述目标领域的第二样本集；
从所述第一样本集中提取在所述预定特征空间表达的第一用户特征，从所述第二样本集中提取在所述预定特征空间表达的第二用户特征；
根据所述第一用户特征以及第一损失函数，对所述底层网络部分的网络参数和所述第一上层部分的网络参数进行更新；
根据所述第二用户特征以及第二损失函数，对所述底层网络部分的网络参数和所述第二上层部分的网络参数进行更新。
3.根据权利要求2所述的方法，
所述第一损失函数是将对抗损失函数以及源领域损失函数进行加权求和后得到的；所述对抗损失函数是将所述底层网络部分的网络参数作为自变量构建的；所述源领域损失函数是将所述第一上层部分的网络参数作为自变量构建的；
所述第二损失函数是将所述对抗损失函数以及目标领域损失函数进行加权求和后得到的；所述目标领域损失函数是将所述第二上层部分的网络参数作为自变量构建的。
4.根据权利要求3所述的方法，所述源领域损失函数的权重大于所述对抗损失函数的权重；所述目标领域损失函数的权重大于所述对抗损失函数的权重。
5.根据权利要求1所述的方法，所述深度学习网络包括以下任一种或多种：多层感知器MLP、卷积神经网络CNN以及长短期记忆网络LSTM。
6.根据权利要求1-5任一项所述的方法，所述用户特征包括以下任一种或多种：画像特征、历史行为特征、状态特征以及其它特征。
7.一种计算机执行的用户意图预测装置，包括：
接收单元，用于接收用户的用户请求；
确定单元，用于根据所述接收单元接收的所述用户请求，确定当前领域；
获取单元，用于所述用户的在预定特征空间表达的用户特征；
输入单元，用于若当前领域为源领域，则将所述用户特征输入深度学习网络的源领域路径，以通过所述源领域路径预测所述用户的用户意图；
所述输入单元，还用于若当前领域为目标领域，则将所述用户特征输入深度学习网络的目标领域路径，以通过所述目标领域路径预测所述用户的用户意图；
其中，所述深度学习网络包括底层网络部分和上层网络部分，所述上层网络部分包括第一上层部分和第二上层部分；所述源领域路径包括所述底层网络部分和所述第一上层部分，所述目标领域路径包括所述底层网络部分和所述第二上层部分；所述源领域路径通过所述源领域的第一样本集训练确定，所述目标领域路径通过所述目标领域的第二样本集训练确定，所述第一样本集的样本数量大于所述第二样本集的样本数量。
8.根据权利要求7所述的装置，还包括：
收集单元，用于收集所述源领域的第一样本集以及所述目标领域的第二样本集；
提取单元，用于从所述收集单元收集的所述第一样本集中提取在所述预定特征空间表达的第一用户特征，从所述收集单元收集的所述第二样本集中提取在所述预定特征空间表达的第二用户特征；
更新单元，用于根据所述提取单元提取的所述第一用户特征以及第一损失函数，对所述底层网络部分的网络参数和所述第一上层部分的网络参数进行更新；
所述更新单元，还用于根据所述提取单元提取的所述第二用户特征以及第二损失函数，对所述底层网络部分的网络参数和所述第二上层部分的网络参数进行更新。
9.根据权利要求8所述的装置，
所述第一损失函数是将对抗损失函数以及源领域损失函数进行加权求和后得到的；所述对抗损失函数是将所述底层网络部分的网络参数作为自变量构建的；所述源领域损失函数是将所述第一上层部分的网络参数作为自变量构建的；
所述第二损失函数是将所述对抗损失函数以及目标领域损失函数进行加权求和后得到的；所述目标领域损失函数是将所述第二上层部分的网络参数作为自变量构建的。
10.根据权利要求9所述的装置，所述源领域损失函数的权重大于所述对抗损失函数的权重；所述目标领域损失函数的权重大于所述对抗损失函数的权重。
11.根据权利要求7所述的装置，所述深度学习网络包括以下任一种或多种：多层感知器MLP、卷积神经网络CNN以及长短期记忆网络LSTM。
12.根据权利要求7-11任一项所述的装置，所述用户特征包括以下任一种或多种：画像特征、历史行为特征、状态特征以及其它特征。
13.一种计算机执行的用户意图预测设备，包括：
存储器；
一个或多个处理器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：
接收用户的用户请求；
根据所述用户请求，确定当前领域；
获取所述用户的在预定特征空间表达的用户特征；
若当前领域为源领域，则将所述用户特征输入深度学习网络的源领域路径，以通过所述源领域路径预测所述用户的用户意图；
若当前领域为目标领域，则将所述用户特征输入深度学习网络的目标领域路径，以通过所述目标领域路径预测所述用户的用户意图;
其中，所述深度学习网络包括底层网络部分和上层网络部分，所述上层网络部分包括第一上层部分和第二上层部分；所述源领域路径包括所述底层网络部分和所述第一上层部分，所述目标领域路径包括所述底层网络部分和所述第二上层部分；所述源领域路径通过所述源领域的第一样本集训练确定，所述目标领域路径通过所述目标领域的第二样本集训练确定，所述第一样本集的样本数量大于所述第二样本集的样本数量。
CN201910063961.XA 2019-01-23 2019-01-23 计算机执行的用户意图预测方法、装置及设备 Active CN110046642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910063961.XA CN110046642B (zh) 2019-01-23 2019-01-23 计算机执行的用户意图预测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910063961.XA CN110046642B (zh) 2019-01-23 2019-01-23 计算机执行的用户意图预测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110046642A CN110046642A (zh) 2019-07-23
CN110046642B true CN110046642B (zh) 2023-06-30

Family

ID=67274131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910063961.XA Active CN110046642B (zh) 2019-01-23 2019-01-23 计算机执行的用户意图预测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110046642B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570279A (zh) * 2019-09-04 2019-12-13 深圳创新奇智科技有限公司 一种基于用户实时行为的策略化推荐方法及装置
CN111046153B (zh) * 2019-11-14 2023-12-29 深圳市优必选科技股份有限公司 一种语音助手定制方法、语音助手定制装置及智能设备
CN111858868A (zh) * 2019-12-31 2020-10-30 北京嘀嘀无限科技发展有限公司 一种客服应答模型训练方法和系统
CN111353029B (zh) * 2020-02-22 2020-09-22 杭州电子科技大学 一种基于语义匹配的多轮对话口语理解方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548210B (zh) * 2016-10-31 2021-02-05 腾讯科技（深圳）有限公司 基于机器学习模型训练的信贷用户分类方法及装置
US11631236B2 (en) * 2017-03-14 2023-04-18 Samsung Electronics Co., Ltd. System and method for deep labeling
CN106991439A (zh) * 2017-03-28 2017-07-28 南京天数信息科技有限公司 基于深度学习与迁移学习的图像识别方法
CN108053030A (zh) * 2017-12-15 2018-05-18 清华大学 一种开放领域的迁移学习方法及系统
CN109214421B (zh) * 2018-07-27 2022-01-28 创新先进技术有限公司 一种模型训练方法、装置、及计算机设备

Also Published As

Publication number Publication date
CN110046642A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN110046642B (zh) 计算机执行的用户意图预测方法、装置及设备
CN110458663B (zh) 一种车辆推荐方法、装置、设备及存储介质
CN110020426B (zh) 将用户咨询分配到客服业务组的方法及装置
US20200202226A1 (en) System and method for context based deep knowledge tracing
CN108021934B (zh) 多要素识别的方法及装置
CN109816483B (zh) 信息推荐方法及装置、可读存储介质
CN110659744A (zh) 训练事件预测模型、评估操作事件的方法及装置
CN111079056A (zh) 提取用户画像的方法、装置、计算机设备和存储介质
CN114003949B (zh) 基于隐私数据集的模型训练方法和装置
CN110555148B (zh) 一种用户行为评估方法、计算设备及存储介质
JP2020061173A (ja) 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム
US20220019916A1 (en) Apparatus and method for recommending federated learning based on tendency analysis of recognition model and method for federated learning in user terminal
CN112836025A (zh) 一种意图识别方法及装置
CN112287068A (zh) 基于人工智能的问诊对话数据处理方法及装置
CN111353554B (zh) 预测缺失的用户业务属性的方法及装置
CN111242091A (zh) 年龄识别模型训练方法、装置及电子设备
CN110704599B (zh) 为预测模型生成样本、预测模型训练的方法及装置
CN110163151B (zh) 人脸模型的训练方法、装置、计算机设备和存储介质
CN115034886A (zh) 一种违约风险预测方法及装置
CN113806501B (zh) 意图识别模型的训练方法、意图识别方法和设备
CN114358250A (zh) 数据处理方法、装置、计算机设备、介质及程序产品
CN113420203A (zh) 对象推荐方法、装置、电子设备及存储介质
CN113516182B (zh) 视觉问答模型训练、视觉问答方法和装置
CN114328995A (zh) 内容推荐方法、装置、设备及存储介质
CN111737491B (zh) 一种交互过程的控制方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201015

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201015

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

GR01 Patent grant
GR01 Patent grant