CN113837669B

CN113837669B - 一种标签体系的评价指标构建方法和相关装置

Info

Publication number: CN113837669B
Application number: CN202111416545.7A
Authority: CN
Inventors: 陆笛; 周霄
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-11-26
Filing date: 2021-11-26
Publication date: 2022-03-18
Anticipated expiration: 2041-11-26
Also published as: CN113837669A

Abstract

本申请公开一种标签体系的评价指标构建方法和相关装置，一方面获取多个历史交互样本的标注簇聚类结果，另一方面根据对象画像的第一标签体系预测多个历史交互样本中每个历史交互样本的第一标签，根据第一标签对多个历史交互样本进行聚类，得到第一预测簇聚类结果。根据标注簇聚类结果和第一预测簇聚类结果之间的相似性，构建第一标签体系的评价指标。该评价指标可以反映出第一预测簇聚类结果与标注簇聚类结果的相似性，相似性越高说明第一预测簇聚类结果与真实情况越符合，第一标签体系的区分度越合理，故该第一标签体系的评价指标可以较为准确地衡量构建的标签体系的优劣，进而基于该评价指标可以更为准确地构建出区分度合理的标签体系。

Description

一种标签体系的评价指标构建方法和相关装置

技术领域

本申请涉及数据处理领域，特别是涉及一种标签体系的评价指标构建方法和相关装置。

背景技术

用户画像（User Profile）是根据用户基本属性、社会属性、行为属性、心理属性等真实信息而抽象出的一个标签化的、虚拟的用户模型，以便通过用户画像了解用户的需求和偏好，进而为用户更好的提供服务。用户画像作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，在各领域例如对话产品、个性化推荐、精准营销等领域得到了广泛的应用。

为了建立用户画像，需要定义各个维度的画像特征，以及各维度画像标签的取值，即构建用户画像的标签体系。目前构建的标签体系，要么是标签粒度太粗没有区分度，要么是粒度过细导致标签体系太过复杂而不具有通用性。

因此，亟需一种标签体系评价指标来衡量构建的标签体系的优劣，进而基于标签体系评价指标构建出区分度合理的标签体系。

发明内容

为了解决上述技术问题，本申请提供了一种标签体系的评价指标构建方法和相关装置，构建得到的第一标签体系的评价指标可以较为准确地衡量构建的标签体系的优劣，进而基于该评价指标可以更为准确地构建出区分度合理的标签体系。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种标签体系的评价指标构建方法，所述方法包括：

获取目标对象的多个历史交互样本；

获取所述多个历史交互样本的标注簇聚类结果，所述标注簇聚类结果是对所述多个历史交互样本进行语义聚类而标注得到的；

根据对象画像的第一标签体系预测所述多个历史交互样本中每个历史交互样本的第一标签；

根据所述第一标签对所述多个历史交互样本进行聚类，得到第一预测簇聚类结果；

根据所述标注簇聚类结果和所述第一预测簇聚类结果之间的相似性，构建所述第一标签体系的评价指标。

第二方面，本申请实施例提供一种标签体系的评价指标构建装置，所述装置包括获取单元、预测单元、聚类单元和构建单元：

所述获取单元，用于获取目标对象的多个历史交互样本；

所述获取单元，还用于获取所述多个历史交互样本的标注簇聚类结果，所述标注簇聚类结果是对所述多个历史交互样本进行语义聚类而标注得到的；

所述预测单元，用于根据对象画像的第一标签体系预测所述多个历史交互样本中每个历史交互样本的第一标签；

所述聚类单元，用于根据所述第一标签对所述多个历史交互样本进行聚类，得到第一预测簇聚类结果；

所述构建单元，用于根据所述标注簇聚类结果和所述第一预测簇聚类结果之间的相似性，构建所述第一标签体系的评价指标。

第三方面，本申请实施例提供标签体系的评价指标构建设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的方法。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现第一方面所述的方法。

由上述技术方案可以看出，对于目标对象的多个历史交互样本，一方面可以获取其对应的标注簇聚类结果，另一方面，可以根据对象画像的第一标签体系预测多个历史交互样本中每个历史交互样本的第一标签，根据第一标签对多个历史交互样本进行聚类，得到第一预测簇聚类结果，也就是说第一预测簇聚类结果是根据第一标签体系划分的。由于标注簇聚类结果是根据真实情况将语义相似的历史交互样本聚类到一个标注簇而标注得到的，是符合语义理解的真实情况的，故可以将标注簇聚类结果作为评价第一标签体系的标准。若第一标签体系构建的较为合理，区分度适中，那么根据第一标签体系划分的第一预测簇聚类结果应该符合真实情况，即第一预测簇聚类结果应该与标注得到的标注簇聚类结果较为相似，故可以根据标注簇聚类结果和第一预测簇聚类结果之间的相似性，构建第一标签体系的评价指标。这样，第一标签体系的评价指标可以反映出第一预测簇聚类结果与标注簇聚类结果的相似性，第一预测簇聚类结果与标注簇聚类结果的相似性越高，说明第一预测簇聚类结果与真实情况越符合，第一标签体系的区分度越合理，故该第一标签体系的评价指标可以较为准确地衡量构建的标签体系的优劣（例如区分度是否合理），进而基于该评价指标可以更为准确地构建出区分度合理的标签体系。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术成员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种标签体系的评价指标构建方法的系统架构示意图；

图2为本申请实施例提供的一种标签体系的评价指标构建方法的流程图；

图3为本申请实施例提供的一种标注簇聚类结果的示例图；

图4为本申请实施例提供的一种标注簇标识序列和第一预测簇标识序列的示例图；

图5为本申请实施例提供的一种第一预测簇聚类结果示例图；

图6为本申请实施例提供的一种智能音箱对话产品的标签体系的标签区分度变化情况示例图；

图7为本申请实施例提供的一种基于构建的评价指标迭代优化标签体系的方法的流程图；

图8为本申请实施例提供的一种标签体系的评价指标构建装置的结构图；

图9为本申请实施例提供的一种终端的结构图；

图10为本申请实施例提供的一种服务器的结构图。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

相关技术中对于用户画像的标签体系没有较好的评价指标，这也导致建立的标签体系要么是标签粒度太粗没有区分度，从而导致用户画像不够精准，要么是粒度过细导致标签体系太过复杂而不具有通用性。

为了解决上述技术问题，本申请实施例提供一种标签体系的评价指标构建方法，该方法根据真实情况将语义相似的历史交互样本聚类到一个标注簇得到的标注簇聚类结果，并将标注簇聚类结果作为评价第一标签体系的标准，将基于第一标签体系对多个历史交互样本进行划分得到的第一预测簇聚类结果与标注簇聚类结果进行比较，基于第一预测簇聚类结果与标注簇聚类结果的相似性构建第一标签体系的评价指标，使得该评价指标可以反映出第一预测簇聚类结果与标注簇聚类结果的相似性，进而体现第一预测簇聚类结果与真实情况的符合程度，第一标签体系的区分度合理程度。

需要说明的是，本申请实施例提供的方法可以应用到各种需要建立对象画像的场景中，尤其应用到这类场景的标签体系的构建阶段，例如可以应用对话产品（问答平台、智能音箱等等人机对话产品）、个性化推荐、精准营销等场景，本申请实施例对此不做限定。

需要说明的是，本申请实施例提供的方法可以涉及人工智能领域，人工智能(Artificial Intelligence, AI) 是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。

本申请实施例可以涉及人工智能领域中的自然语言处理(Nature Languageprocessing，NLP)技术，自然语言处理技术是实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。例如在本申请实施例中可以通过文本处理、语义理解对多个历史交互样本进行聚类；又如在本申请实施例中，可以涉及机器人问答，通过机器人问答技术实现用户与机器人的对话（人机对话）。

参见图1，图1为本申请实施例提供的标签体系的评价指标构建方法的系统架构示意图。该系统架构中包括终端101和服务器102，其中，终端101是可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等，但并不局限于此。图1以终端101是智能手机为例进行介绍，用户可以与终端101进行交互，例如用户可以与终端101进行人机对话，或者终端101为用户提供个性化推荐，本申请实施例主要以提供人机对话服务的对话产品为例进行介绍。

服务器102可以是终端101为用户提供服务（例如人机对话、个性化推荐）所对应的服务器，服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端101以及服务器102可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

在本申请实施例中，服务器102可以获取目标对象的多个历史交互样本，历史交互样本可以是目标对象与终端101进行人机交互产生的交互样本，以对话产品为例，则该历史交互样本可以是历史对话样本。其中，对象可以是用户（人）、车辆、动物等各种类型，在本申请实施例中主要以对象是用户为例。

服务器102可以获取多个历史交互样本的标注簇聚类结果，标注簇聚类结果是根据真实情况将语义相似的历史交互样本聚类到同一标注簇而标注得到的，符合语义理解的真实情况。标注簇聚类结果可以固定下来，作为判别第一标签体系是否合理的标准。

另一方面，服务器102还可以根据对象画像的第一标签体系预测多个历史交互样本中每个历史交互样本的第一标签，根据第一标签对多个历史交互样本进行聚类，得到第一预测簇聚类结果，也就是说第一预测簇聚类结果是根据第一标签体系划分的。

在将标注簇聚类结果作为评价第一标签体系的标准的情况下，若第一标签体系构建的较为合理，区分度适中，那么根据第一标签体系划分的第一预测簇聚类结果应该符合真实情况，即第一预测簇聚类结果应该与标注得到的标注簇聚类结果较为相似，故服务器102可以根据标注簇聚类结果和第一预测簇聚类结果之间的相似性，构建第一标签体系的评价指标。该第一标签体系的评价指标可以较为准确地衡量构建的标签体系的优劣（例如区分度是否合理），进而基于该评价指标可以更为准确地构建出区分度合理的标签体系，以便基于最终构建的标签体系在上述对话产品、个性化推荐、精准营销等场景中建立精准的用户画像。

需要说明的是，图1中以服务器102执行标签体系的评价指标构建方法为例进行介绍。在一些可能的实现方式中，还可以由终端101执行标签体系的评价指标构建方法，或者由终端101和服务器102配合执行标签体系的评价指标构建方法，本申请实施例对标签体系的评价指标构建方法的执行主体不做限定。

接下来，将以服务器为执行主体，结合附图对标签体系的评价指标构建方法

参见图2，图2示出了一种标签体系的评价指标构建方法的流程图，所述方法包括：

S201、获取目标对象的多个历史交互样本。

针对目标对象的对象画像是基于目标对象的历史交互样本挖掘得到的，故在本申请实施例中，可以首先获取目标对象的多个历史交互样本。

以对话产品为例，目标对象即目标用户、对象画像即用户画像，在对话产品中的用户画像，是根据用户与机器人对话过程中的历史对话挖掘的，可以通过用户的单轮历史对话挖掘用户画像，也可以通过多轮历史对话挖掘用户画像。本实施例以单轮历史对话挖掘用户画像为例进行介绍，即将单轮历史对话（该历史对话可以是查询词，表示为query）作为历史交互样本。故在本实施例中，服务器可以从对话产品的用户对话日志中，随机抽样一批目标用户的历史对话query（单轮或多轮的历史对话）作为目标对象的多个历史交互样本。目标对象的多个历史交互样本可以表示为Q1、Q2、Q3、……、Q7、Q8、……、Qm。

可以理解的是，在本申请的具体实施方式中，涉及到历史交互样本等与用户信息等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

S202、获取所述多个历史交互样本的标注簇聚类结果，所述标注簇聚类结果是对所述多个历史交互样本进行语义聚类而标注得到的。

在得到多个历史交互样本后，可以标注多个历史交互样本，即根据真实情况对多个历史交互样本进行语义聚类，根据真实情况把语义相似的历史交互样本标注为一个簇，该簇可以称为标注簇，从而得到多个历史交互样本的标注簇聚类结果。该标注簇聚类结果指示多个历史交互样本中每个历史交互样本位于哪个标注簇。

以多个历史交互样本是Q1、Q2、Q3、……、Q7、Q8、……、Qm为例，对该多个历史交互样本进行聚类，得到的标注簇聚类结果可以参见图3所示，Q1、Q3、Q5、Q7位于标注簇1，Q2、Q4、Q6、Q8位于标注簇2，……，Qm位于标注簇N等。

在一种可能的情况下，为了区分不同的标注簇，可以为标注簇赋予对应的标注簇标识（identifier，id），不同的标注簇对应的标注簇id不同。这样，当一个历史交互样本聚类至某个标注簇，则该历史交互样本对应该标注簇的标注簇id，从而体现该历史交互样本位于哪个标注簇。在这种情况下，获取多个历史交互样本的标注簇聚类结果的方式可以是获取多个历史交互样本中每个历史交互样本的标注簇标识，将每个历史交互样本的标注簇标识按照预设顺序排列得到标注簇标识序列，标注簇标识序列作为标注簇聚类结果。

其中，预设顺序可以是历史交互样本的排列顺序。若历史交互样本为Q1、Q2、Q3、……、Q7、Q8、……、Qm，其排列顺序参见图4所示的多个历史交互样本所示。Q1、Q3、Q5、Q7位于标注簇1，标注簇1的标注簇标识为1，则Q1、Q3、Q5、Q7对应的标注簇标识为1；Q2、Q4、Q6、Q8位于标注簇2，标注簇2的标注簇标识为2，则Q2、Q4、Q6、Q8对应的标注簇标识为2；……；Qm位于标注簇N，标注簇N的标注簇标识为N，则Qm对应的标注簇标识为N。故，按照历史交互样本的排列顺序，将历史交互样本的标注簇标识进行排列得到的标注簇标识序列为1、2、1、2、1、2、1、2、……、N，参见图4所示。

需要说明的是，得到的标注簇聚类结果是标注完成的数据，标注簇聚类结果可以固定下来，作为历次迭代判别第一标签体系优劣的标准。

可以理解的是，上述标注簇标识仅是一种示例，每个标注簇的标注簇标识也可以通过其他值表示，本申请实施例对此不做限定。

S203、根据对象画像的第一标签体系预测所述多个历史交互样本中每个历史交互样本的第一标签。

其中，第一标签体系是当前构建的、待评价的标签体系，对象画像（用户画像）的核心工作就是给对象打标签。标签通常是高度精炼的特征标识，如年龄、性别、地域、兴趣等。这些标签就能抽象出一个用户的信息全貌，每个标签分别描述了该用户的一个维度，各个维度之间相互联系，共同构成对用户的一个整体描述。

服务器可以根据对象画像的第一标签体系预测多个历史交互样本中每个历史交互样本的第一标签，例如图5所示，Q1、Q2、Q3、Q4的第一标签是<兴趣：财经；行为：问询；情绪：正面>，Q5、Q6、Q7、Q8的第一标签是<兴趣：旅游；行为：问询；情绪：正面>，……，Qm的第一标签是<兴趣：交通；行为：问询；情绪：正面>。

需要说明的是，在一种可能的实现方式中，可以利用与第一标签体系相对应的用于打标签的模型预测得到第一标签。该模型可以是预先训练得到的，故本申请实施例提供的方法可以涉及人工智能领域的机器学习，机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。通过机器学习可以训练得到与第一标签体系相对应的用于打标签的模型。

S204、根据所述第一标签对所述多个历史交互样本进行聚类，得到第一预测簇聚类结果。

服务器在得到第一标签后，可以根据第一标签对多个历史交互样本进行聚类，得到第一预测簇聚类结果。该第一预测簇聚类结果指示多个历史交互样本中每个历史交互样本位于哪个预测簇。

继续参见图5所示，在图5中，Q1、Q2、Q3、Q4位于预测簇1，Q5、Q6、Q7、Q8位于预测簇2，……，Qm位于预测簇K。

与标注簇类似，为了区分不同的预测簇，可以为预测簇赋予对应的预测簇标识（identifier，id），不同的预测簇对应的预测簇id不同。这样，当一个历史交互样本聚类至某个预测簇，则该历史交互样本对应该预测簇的预测簇id，从而体现该历史交互样本位于哪个预测簇。在这种情况下，根据第一标签对多个历史交互样本进行聚类，得到第一预测簇聚类结果的方式可以是将第一标签的值相同的历史交互样本聚类至一个预测簇，得到每个历史交互样本的第一预测簇标识，将每个历史交互样本的第一预测簇标识按照预设顺序排列得到第一预测簇标识序列，第一预测簇标识序列作为第一预测簇聚类结果。

其中，预设顺序可以是历史交互样本的排列顺序。若历史交互样本为Q1、Q2、Q3、……、Q7、Q8、……、Qm，其排列顺序参见图4所示的多个历史交互样本所示。Q1、Q2、Q3、Q4位于预测簇1，预测簇1的第一预测簇标识为1，则Q1、Q2、Q3、Q4对应的第一预测簇标识为1；Q5、Q6、Q7、Q8位于预测簇2，预测簇2的第一预测簇标识为2，则Q5、Q6、Q7、Q8对应的第一预测簇标识为2；……；Qm位于预测簇K，预测簇K的第一预测簇标识为K，则Qm对应的第一预测簇标识为K。故，按照历史交互样本的排列顺序，将历史交互样本的第一预测簇标识进行排列得到的第一预测簇标识序列为1、1、1、1、2、2、2、2、……、K，参见图4所示。

可以理解的是，上述第一预测簇标识仅是一种示例，每个预测簇的第一预测簇标识也可以通过其他值表示，本申请实施例对此不做限定。

S205、根据所述标注簇聚类结果和所述第一预测簇聚类结果之间的相似性，构建所述第一标签体系的评价指标。

由于标注簇聚类结果是将语义相似的历史交互样本聚类到一个标注簇而标注得到的，是符合语义理解的真实情况的，故服务器可以将标注簇聚类结果作为评价第一标签体系的标准。若第一标签体系构建的较为合理，区分度适中，那么根据第一标签体系划分的第一预测簇聚类结果应该符合真实情况，即第一预测簇聚类结果应该与标注得到的标注簇聚类结果较为相似，故服务器可以根据标注簇聚类结果和第一预测簇聚类结果之间的相似性，构建第一标签体系的评价指标。

其中，第一标签体系的评价指标可以是标签区分度。第一预测簇聚类结果与标注簇聚类结果的相似性越高，说明第一预测簇聚类结果与真实情况越符合，第一标签体系的区分度越合理，既不会使得区分度过小，也不会使得区分度过大导致标签体系太过复杂而不具有通用性。故根据相似性构建的第一标签体系的评价指标可以较为准确地衡量构建的标签体系的优劣，进而基于该评价指标可以更为准确地构建出区分度合理的标签体系。

若标注簇聚类结果为标注簇标识序列，第一预测簇聚类结果为第一预测簇标识序列，则根据标注簇聚类结果和第一预测簇聚类结果之间的相似性，构建第一标签体系的评价指标的方式可以是计算标注簇标识序列和第一预测簇标识序列之间的标识分布相似性，进而根据标识分布相似性构建第一标签体系的评价指标。

第一标签体系的评价指标可以通过调整互信息(Adjusted Mutual Informationbased scores，AMI)计算得到，调整互信息AMI常见于聚类效果的评价指标。类似的，其他常见的聚类评价指标MI（互信息）、NMI（标准化互信息）亦可以作为第一标签体系的评价指标，本申请实施例对此不做限定。本申请实施例以调整互信息AMI作为第一标签体系的评价指标为例进行介绍。此时，第一标签体系的评价指标的计算公式如下所示：

其中，

为标注簇标识序列和第一预测簇标识序列的调整互信息，也可以称为归一化的互信息；

为标注簇标识序列和第一预测簇标识序列的互信息，表示标注簇标识序列和第一预测簇标识序列之间的标识分布相似性，U表示标注簇标识序列，V表示第一预测簇标识序列；

表示上述互信息的期望；H(U)表示标注簇标识序列的标识分布的熵，H(V) 表示第一预测簇标识序列的标识分布的熵。

的取值范围在[-1, 1]，第一标签体系的评价指标例如标签区分度越接近1，则表示第一标签体系划分越合理。第一标签体系的评价指标例如标签区分度越接近-1，则表示第一标签体系划分越不合理。

需要说明的是，

、H(U)、H(U)的计算公式分别如下所示：

其中，

表示标注簇标识序列的概率分布，i为标注簇标识序列中的任一标注簇标识；

表示第一预测簇标识序列的概率分布，j为第一预测簇标识序列中的任一第一预测簇标识；

表示标注簇标识序列与第一预测簇标识序列之间的联合分布概率。

第一标签体系的评价指标用于评价第一标签体系的优劣，在本申请实施例中可以基于构建的评价指标迭代优化标签体系。具体的，在得到第一标签体系的评价指标后，若第一标签体系为第1次迭代构建（初次构建）的标签体系，则将第一标签体系的评价指标作为基准指标。若第一标签体系为第k次迭代构建（非初次构建）的标签体系，根据第一标签体系的评价指标进行标签体系迭代更新，确定目标标签体系（即最新版本的标签体系），k为大于1的整数。

在一种可能的实现方式中，根据第一标签体系的评价指标进行标签体系迭代更新，确定目标标签体系的方式可以是对比第一标签体系的评价指标与对象画像的第二标签体系的评价指标，第二标签体系为第k-1次迭代构建的标签体系，然后根据得到的对比结果确定目标标签体系。

若对比结果指示第一标签体系优于第二标签体系，将第一标签体系作为目标标签体系；若对比结果指示第一标签体系劣于第二标签体系，将第二标签体系作为目标标签体系。

例如第一标签体系的评价指标是第一标签体系的标签区分度，第二标签体系的评价指标是第二标签体系的标签区分度，若对比结果是第一标签体系的标签区分度高于第二标签体系的标签区分度，则说明第一标签体系优于第二标签体系，即第k次迭代有增益效果，故将第一标签体系作为目标标签体系。若对比结果是第一标签体系的标签区分度低于第二标签体系的标签区分度，则说明第一标签体系劣于第二标签体系，即第k次迭代无增益效果，故将第二标签体系（上一版本的标签体系，即第k-1次迭代构建的标签体系）作为目标标签体系。

本申请通过上述方式不断地进行标签体系迭代更新，以标签区分度为评价指标为迭代好坏的评价依据，不断优化对象画像的标签体系。

需要说明的是，在本申请实施例中第一标签体系可以是基于前一次迭代构建的标签体系例如第二标签体系调整得到的。若第一标签体系为第k次迭代构建的标签体系，k为大于1的整数，则第一标签体系的构建方式可以是根据第二标签体系预测多个历史交互样本中每个历史交互样本的第二标签，第二标签体系为第k-1次迭代构建的标签体系。然后，根据第二标签对多个历史交互样本进行聚类，得到第二预测簇聚类结果。确定第二预测簇聚类结果所指示的每个预测簇中历史交互样本的数量，一个预测簇中历史交互样本的数量越多，该预测簇越大，可能将一些不应该划分至一个预测簇中的历史交互样本划分至一个预测簇中，进而说明该第二标签体系的标签区分度越小，后续需要调整第二标签体系，提高其标签区分度，进而针对性的减小较大的预测簇；反之，则说明该第二标签体系的标签区分度越大，后续需要调整第二标签体系，降低其标签区分度，进而针对性的扩大较小的预测簇。故可以根据每个预测簇中历史交互样本的数量对第二标签体系进行调整，得到第一标签体系。

具体的，在根据每个预测簇中历史交互样本的数量对第二标签体系进行调整得到第一标签体系时，可以根据每个预测簇中历史交互样本的数量，确定第一目标预测簇，第一目标预测簇中历史交互样本的数量达到第一预设数量阈值，即第一目标预测簇为划分出的较大的预测簇。然后对第一目标预测簇进行分析，根据分析结果扩充第二标签体系中的标签维度或第一标签维度对应的标签值，得到第一标签体系，以便在基于第一标签体系进行预测簇划分时，可以针对性的减小较大的预测簇。

在根据每个预测簇中历史交互样本的数量对第二标签体系进行调整得到第一标签体系时，还可以根据每个预测簇中历史交互样本的数量，确定第二目标预测簇，第二目标预测簇中历史交互样本的数量少于第二预设数量阈值，第二预设数量阈值小于第一预设数量阈值，即第二目标预测簇为划分出的过小的预测簇。然后对第二目标预测簇进行分析，根据分析结果缩减第二标签体系中的标签维度或第二标签维度对应的标签值，得到第一标签体系，以便在基于第一标签体系进行预测簇划分时，可以针对性的扩大过小的预测簇。

本申请实施例提供了上述基于构建的评价指标迭代优化标签体系的方法，可以应用于各种场景下（例如智能音箱产品）的历次标签体系的迭代，为迭代提供了评判和调整指引。参见图6，图6为一段时间内（例如2020/6/25-2020/7/17）智能音箱对话产品的标签体系的标签区分度变化情况，可以看到迭代后标签体系的标签区分度的增益，标签区分度先逐渐增加，后又略有降低，但基本保持在标签区分度比较合适的变化范围，使得标签区分度既不太大，也不太小。

接下来，将结合实际应用场景对本申请实施例提供的基于构建的评价指标迭代优化标签体系的方法进行介绍。在本申请实施例中以对话产品这一应用场景为例，此时对象画像可以是用户画像。为了在对话产品（用户和机器人对话）中可以建立准确的用户画像，为机器人下一步发起话题提供更好的用户画像支持，可以基于构建的评价指标迭代优化标签体系，从而得到标签区分度符合真实情况，即标签区分度合理的标签体系。

在本申请实施例中，基于构建的评价指标迭代优化标签体系的方法主要分为四个阶段，参见图7所示，阶段1是数据准备阶段，阶段2是标签体系评估阶段，阶段3是标签体系调整阶段，阶段4是迭代循环阶段，具体步骤如下：

S701、随机抽样目标用户的历史对话。

S702、对历史对话进行语义聚类，获得标注簇聚类结果。

其中，S701- S702为阶段1，数据准备阶段主要是准备后续过程可以重复利用的数据，例如标注簇聚类结果、历史对话等。

S703、针对第一标签体系，计算第一标签体系的评价指标。

其中，第一标签体系为当前待评估的标签体系，第一标签体系的评价指标的计算方法可以参见S203-S205所示，此处不再赘述。利用得到的第一标签体系的评价指标来评估第一标签体系，即S703为阶段2。若第一标签体系为第1次迭代构建（初次构建）的标签体系，则将第一标签体系的评价指标作为基准指标。

S704、根据第一标签体系的评价指标进行标签体系迭代更新，确定目标标签体系。

S704即为阶段3，根据评价指标进行标签体系调整阶段。S704的具体实现方式可以参见前述实施例的介绍，此处不再赘述。

然后进入阶段4所示的迭代循环阶段。每次循环迭代时，对此次循环迭代构建的第一标签体系，通过循环迭代阶段2与阶段3，以上述构建的评价指标为迭代好坏的评价依据，不断优化标签体系。

需要说明的是，本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。

基于图2对应实施例提供的标签体系的评价指标构建方法，本申请实施例还提供一种标签体系的评价指标构建装置，参见图8，所述装置800包括获取单元801、预测单元802、聚类单元803和构建单元804：

所述获取单元801，用于获取目标对象的多个历史交互样本；

所述获取单元801，还用于获取所述多个历史交互样本的标注簇聚类结果，所述标注簇聚类结果是对所述多个历史交互样本进行语义聚类而标注得到的；

所述预测单元802，用于根据对象画像的第一标签体系预测所述多个历史交互样本中每个历史交互样本的第一标签；

所述聚类单元803，用于根据所述第一标签对所述多个历史交互样本进行聚类，得到第一预测簇聚类结果；

所述构建单元804，用于根据所述标注簇聚类结果和所述第一预测簇聚类结果之间的相似性，构建所述第一标签体系的评价指标。

在一种可能的实现方式中，所述获取单元801，用于：

获取所述多个历史交互样本中每个历史交互样本的标注簇标识；

将所述每个历史交互样本的标注簇标识按照预设顺序排列得到标注簇标识序列，所述标注簇标识序列作为所述标注簇聚类结果；

所述聚类单元803，用于：

将所述第一标签的值相同的历史交互样本聚类至一个预测簇，得到每个历史交互样本的第一预测簇标识；

将所述每个历史交互样本的第一预测簇标识按照所述预设顺序排列得到第一预测簇标识序列，所述第一预测簇标识序列作为所述第一预测簇聚类结果。

在一种可能的实现方式中，所述构建单元804，用于：

计算所述标注簇标识序列和所述第一预测簇标识序列之间的标识分布相似性；

根据所述标识分布相似性构建所述第一标签体系的评价指标。

在一种可能的实现方式中，所述装置还包括确定单元：

所述确定单元，用于若所述第一标签体系为第1次迭代构建的标签体系，将所述第一标签体系的评价指标作为基准指标。

在一种可能的实现方式中，所述装置还包括确定单元：

所述确定单元，用于若所述第一标签体系为第k次迭代构建的标签体系，根据所述第一标签体系的评价指标进行标签体系迭代更新，确定目标标签体系，所述k为大于1的整数。

在一种可能的实现方式中，所述确定单元，具体用于：

对比所述第一标签体系的评价指标与所述对象画像的第二标签体系的评价指标，所述第二标签体系为第k-1次迭代构建的标签体系；

根据得到的对比结果确定所述目标标签体系。

在一种可能的实现方式中，所述确定单元，具体用于：

若所述对比结果指示所述第一标签体系优于所述第二标签体系，将所述第一标签体系作为所述目标标签体系；

若所述对比结果指示所述第一标签体系劣于所述第二标签体系，将所述第二标签体系作为所述目标标签体系。

在一种可能的实现方式中，若所述第一标签体系为第k次迭代构建的标签体系，所述k为大于1的整数，所述构建单元804还用于：

根据第二标签体系预测所述多个历史交互样本中每个历史交互样本的第二标签，所述第二标签体系为第k-1次迭代构建的标签体系；

根据所述第二标签对所述多个历史交互样本进行聚类，得到第二预测簇聚类结果；

确定所述第二预测簇聚类结果所指示的每个预测簇中历史交互样本的数量；

根据所述每个预测簇中历史交互样本的数量对所述第二标签体系进行调整得到所述第一标签体系。

在一种可能的实现方式中，所述构建单元804具体用于：

根据每个预测簇中历史交互样本的数量，确定第一目标预测簇，所述第一目标预测簇中历史交互样本的数量达到第一预设数量阈值；

对所述第一目标预测簇进行分析，根据分析结果扩充所述第二标签体系中的标签维度或第一标签维度对应的标签值，得到所述第一标签体系。

在一种可能的实现方式中，所述构建单元804具体用于：

根据每个预测簇中历史交互样本的数量，确定第二目标预测簇，所述第二目标预测簇中历史交互样本的数量少于第二预设数量阈值，所述第二预设数量阈值小于第一预设数量阈值；

对所述第二目标预测簇进行分析，根据分析结果缩减所述第二标签体系中的标签维度或第二标签维度对应的标签值，得到所述第一标签体系。

本申请实施例还提供了一种标签体系的评价指标构建设备，该设备可以是终端，以终端为智能手机为例：

图9示出的是与本申请实施例提供的智能手机的部分结构的框图。参考图9，智能手机包括：射频（英文全称：Radio Frequency，英文缩写：RF）电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真（英文全称：wireless fidelity，英文缩写：WiFi）模块970、处理器980、以及电源990等部件。输入单元930可包括触控面板931以及其他输入设备932，显示单元940可包括显示面板941，音频电路960可以包括扬声器961和传声器962。本领域技术人员可以理解，图9中示出的智能手机结构并不构成对智能手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储器920可用于存储软件程序以及模块，处理器980通过运行存储在存储器920的软件程序以及模块，从而执行智能手机的各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据智能手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器980是智能手机的控制中心，利用各种接口和线路连接整个智能手机的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行智能手机的各种功能和处理数据，从而对智能手机进行整体监控。可选的，处理器980可包括一个或多个处理单元；优选的，处理器980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器980中。

在本实施例中，所述智能手机中的处理器980可以执行以下步骤：

获取目标对象的多个历史交互样本；

该设备还可以是服务器，本申请实施例还提供服务器，请参见图10所示，图10为本申请实施例提供的服务器1000的结构图，服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（Central Processing Units，简称CPU）1022（例如，一个或一个以上处理器）和存储器1032，一个或一个以上存储应用程序1042或数据1044的存储介质1030（例如一个或一个以上海量存储设备）。其中，存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1022可以设置为与存储介质1030通信，在服务器1000上执行存储介质1030中的一系列指令操作。

服务器1000还可以包括一个或一个以上电源1026，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1058，和/或，一个或一个以上操作系统1041，例如Windows Server^TM，Mac OS X^TM，Unix^TM, Linux^TM，FreeBSD^TM等等。

在本实施例中，所述服务器1000中的中央处理器1022可以执行以下步骤：

获取目标对象的多个历史交互样本；

根据本申请的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述各个实施例所述的标签体系的评价指标构建方法。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例各种可选实现方式中提供的方法。

上述各个附图对应的流程或结构的描述各有侧重，某个流程或结构中没有详述的部分，可以参见其他流程或结构的相关描述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术成员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种标签体系的评价指标构建方法，其特征在于，所述方法包括：

获取目标对象的多个历史交互样本；所述历史交互样本为历史对话样本；

将所述第一标签的值相同的历史交互样本聚类至同一个预测簇，得到每个历史交互样本的第一预测簇标识；

将所述每个历史交互样本的第一预测簇标识按照所述预设顺序排列得到第一预测簇标识序列，所述第一预测簇标识序列作为所述第一预测簇聚类结果；

根据所述标注簇聚类结果和所述第一预测簇聚类结果之间的相似性，构建所述第一标签体系的评价指标；所述第一标签体系的评价指标为标签区分度。

2.根据权利要求1所述的方法，其特征在于，所述根据所述标注簇聚类结果和所述第一预测簇聚类结果之间的相似性，构建所述第一标签体系的评价指标，包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一标签体系为第1次迭代构建的标签体系，将所述第一标签体系的评价指标作为基准指标。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一标签体系为第k次迭代构建的标签体系，根据所述第一标签体系的评价指标进行标签体系迭代更新，确定目标标签体系，所述k为大于1的整数。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一标签体系的评价指标进行标签体系迭代更新，确定目标标签体系，包括：

根据得到的对比结果确定所述目标标签体系。

6.根据权利要求5所述的方法，其特征在于，所述根据得到的对比结果确定所述目标标签体系，包括：

7.根据权利要求1所述的方法，其特征在于，若所述第一标签体系为第k次迭代构建的标签体系，所述k为大于1的整数，所述第一标签体系的构建方式为：

8.根据权利要求7所述的方法，其特征在于，根据所述每个预测簇中历史交互样本的数量对所述第二标签体系进行调整得到所述第一标签体系，包括：

9.根据权利要求7或8所述的方法，其特征在于，根据所述每个预测簇中历史交互样本的数量对所述第二标签体系进行调整得到所述第一标签体系，包括：

10.一种标签体系的评价指标构建装置，其特征在于，所述装置包括获取单元、预测单元、聚类单元和构建单元：

所述获取单元，用于获取目标对象的多个历史交互样本；所述历史交互样本为历史对话样本；

所述获取单元，还用于获取所述多个历史交互样本中每个历史交互样本的标注簇标识；将所述每个历史交互样本的标注簇标识按照预设顺序排列得到标注簇标识序列，所述标注簇标识序列作为所述标注簇聚类结果；

所述聚类单元，用于将所述第一标签的值相同的历史交互样本聚类至同一个预测簇，得到每个历史交互样本的第一预测簇标识；将所述每个历史交互样本的第一预测簇标识按照所述预设顺序排列得到第一预测簇标识序列，所述第一预测簇标识序列作为所述第一预测簇聚类结果；

所述构建单元，用于根据所述标注簇聚类结果和所述第一预测簇聚类结果之间的相似性，构建所述第一标签体系的评价指标；所述第一标签体系的评价指标为标签区分度。

11.一种标签体系的评价指标构建设备，其特征在于，所述设备包括处理器以及存储器：

所述处理器用于根据所述程序代码中的指令执行权利要求1-9任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-9任一项所述的方法。