CN115129849A - 题目表示的获取方法、设备以及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种题目表示的获取方法、设备以及计算机可读存储介质，方法包括：获取目标题目中包括的题目描述信息和题目解答信息，并将目标题目、题目描述信息以及题目解答信息输入题目表示生成模型。通过题目表示生成模型的掩码语言模型层获取语义特征。通过第一文本编码层和第一池化层获得题目描述信息的第一向量表示，并通过题目分类层得到题目分类特征。通过第二文本编码层和第二池化层获得题目解答信息的第二向量表示，基于第一向量表示和第二向量表示得到题目结构组成特征。通过特征合并层基于语义特征、题目分类特征和题目结构组成特征生成融合特征作为题目表示。采用本申请，可提高题目表示的生成效率，增强题目表示的适用性。

Description

题目表示的获取方法、设备以及计算机可读存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种题目表示的获取方法、设备以及计算机可读存储介质。

背景技术

随着在线教育的飞速发展，各种在线学习平台可以向学生等信息推送对象提供丰富的学习资源，学生可以通过在线学习平台推送的题目做练习以掌握学习的知识内容。一般来说，在线学习平台等向信息推送对象推送资源时可以获取到待推送的各题目的题目表示，从而基于各题目的题目表示进行题目聚类、题目相似度匹配获得各题目匹配的推荐题目，并向学生推送推荐题目以向学生提供在线学习服务。然而，在题目聚类、题目相似度匹配中，如何获得各题目对应的更加准确或者信息丰富的题目表示，关系着题目推送的效率或者准确度等，如何获得各题目的题目表示成为亟待解决的技术问题之一。

发明内容

本申请实施例提供一种题目表示的获取方法、设备以及计算机可读存储介质，可提高题目表示的生成效率，增强题目表示的适用性。

第一方面，本申请实施例提供了一种题目表示的获取方法，该方法包括：

获取目标题目中包括的题目描述信息和题目解答信息，上述题目描述信息包括题干信息和/或选项信息，上述题目解答信息包括答案信息和/或解析信息，将上述目标题目、上述题目描述信息以及上述题目解答信息输入题目表示生成模型；

通过上述题目表示生成模型中的掩码语言模型层，基于输入的上述目标题目，获取上述目标题目的语义特征；

通过上述题目表示生成模型中的第一文本编码层和第一池化层获得输入的上述题目描述信息对应的第一向量表示，并通过上述题目表示生成模型中的题目分类层，基于上述第一向量表示得到上述目标题目的题目分类特征；

通过上述题目表示生成模型中的第二文本编码层和第二池化层获得输入的上述题目解答信息对应的第二向量表示，并基于上述第一向量表示和上述第二向量表示得到上述目标题目的题目结构组成特征；

通过上述题目表示生成模型中的特征合并层，基于上述语义特征、上述题目分类特征和上述题目结构组成特征生成上述目标题目的融合特征作为上述目标题目的题目表示，上述题目表示用于目标应用的题目聚类和/或相似题目推荐。

在一种可能的实现方式中，上述掩码语言模型层中包括第三文本编码层和掩码分类层；上述通过上述题目表示生成模型中的掩码语言模型层，基于输入的上述目标题目，获取上述目标题目的语义特征之前，上述方法还包括：

将上述目标题目中的一个或者多个目标词语替换为一个或者多个掩码标签，将上述一个或者多个掩码标签携带在上述目标题目中输入上述题目表示生成模型；

上述通过上述题目表示生成模型中的掩码语言模型层，基于输入的上述目标题目获取上述目标题目的语义特征包括：

通过上述第三文本编码模型获得上述一个或者多个掩码标签对应的词向量以得到上述一个或者多个目标词语的词向量；

通过上述掩码分类层基于上述词向量得到的上述一个或者多个掩码标签对应的预测目标词语作为上述目标题目的语义特征。

在一种可能的实现方式中，上述题目表示生成模型中包括至少一个上述题目分类层，上述通过上述题目表示生成模型中的第一文本编码层和第一池化层获得输入的上述题目描述信息对应的第一向量表示，并通过上述题目表示生成模型中的题目分类层，基于上述第一向量表示得到上述目标题目的题目分类特征包括：

通过上述题目表示生成模型中的第一文本编码模型得到上述题目描述信息中各词语对应的词向量，并通过上述题目表示生成模型中的第一池化层对上述各词语对应的词向量进行序列维度的求和以得到上述题目描述信息对应的第一向量表示；

通过上述题目表示生成模型中的任一上述题目分类层基于上述第一向量表示得到上述目标题目对应的任一分类，获取通过各个上述题目分类层获得的各个分类，并基于上述各个分类得到上述题目描述信息对应的题目分类特征。

在一种可能的实现方式中，上述通过上述题目表示生成模型中的第二文本编码层和第二池化层获得输入的上述题目解答信息对应的第二向量表示包括：

通过上述题目表示生成模型中的第二文本编码模型得到上述题目解答信息中各词语对应的词向量，并通过上述题目表示生成模型中的第二池化层对上述各词语对应的词向量进行序列维度的求和以得到上述第二向量表示。

在一种可能的实现方式中，上述获取上述目标题目中包括的题目描述信息和题目解答信息之前，上述方法还包括：

基于多个样本题目和上述掩码语言模型层得到上述题目表示生成模型生成上述语义特征对应的第一损失函数，基于上述多个样本题目和上述第一文本编码层、上述第一池化层和上述题目分类层得到上述题目表示生成模型生成上述题目分类特征对应的第二损失函数，并基于上述多个样本题目和上述第一文本编码层、上述第一池化层、上述第二文本编码层以及上述第二池化层得到上述题目表示生成模型生成上述题目结构组成特征对应的第三损失函数；

将上述第一损失函数、上述第二损失函数以及上述第三损失函数加权求和得到目标损失函数，基于上述目标损失函数和上述多个样本题目对上述题目表示生成模型进行训练，以使上述题目表示生成模型的上述掩码语言模型层获取对输入的任一目标题目得到上述任一目标题目的语义特征的能力，使得上述第一文本编码层、第一池化层和上述题目分类层对输入的任一目标题目的题目描述信息得到上述任一目标题目的题目分类特征的能力，并使得上述第一文本编码层、上述第一池化层、上述第二文本编码层和上述第二池化层对输入的任一目标题目的上述题目描述信息以及上述题目解答信息得到上述任一目标题目的题目结构组成特征的能力。

在一种可能的实现方式中，上述多个样本题目中各个样本题目中至少包括样本题目描述信息以及样本题目解答信息，上述基于上述多个样本题目和上述第一文本编码层、上述第一池化层、上述第二文本编码层以及上述第二池化层得到第三损失函数包括：

将任一样本题目中的上述样本题目描述信息与上述样本题目解答信息设置为上述任一样本题目的第一训练样本，将上述任一样本题目中的上述样本题目描述信息与上述多个样本题目中的剩余样本信息两两配对以构成上述任一样本题目的第二训练样本，上述剩余样本信息为上述多个样本题目包括的除上述任一样本题目的上述样本题目解答信息之外的其他样本题目解答信息；

基于上述各个样本题目的上述第一训练样本和上述第二训练样本训练上述第一文本编码层、上述第一池化层、上述第二文本编码层和上述第二池化层以获得上述第三损失函数。

在一种可能的实现方式中，上述通过上述题目表示生成模型中的特征合并层，基于上述语义特征、上述题目分类特征和上述题目结构组成特征生成上述目标题目的融合特征作为上述目标题目的题目表示之后，上述方法还包括：

获取上述融合特征与多个候选推荐题目中各候选推荐题目对应的候选推荐特征的余弦相似度，基于上述融合特征与各候选推荐特征的余弦相似度从多个候选推荐特征中获取目标推荐特征，将上述目标推荐特征关联的候选推荐题目作为第一候选题目；

通过文本相似度匹配从上述多个候选推荐题目中获得与上述目标题目的文本相似度不小于设定阈值的第二候选题目，并基于上述第一候选题目和上述第二候选题目得到的上述目标题目的相似题目，向目标推送对象发送上述目标题目的相似题目。

第二方面，本申请实施例提供了一种题目表示的获取装置，该装置包括：

获取模块，用于在接收到目标题目时，获取上述目标题目中包括的题目描述信息和题目解答信息，上述题目描述信息包括题干信息和/或选项信息，上述题目解答信息包括答案信息和/或解析信息，将上述目标题目、上述题目描述信息以及上述题目解答信息输入题目表示生成模型；

语义特征生成模块，用于在上述目标题目输入上述题目表示生成模型时，通过上述题目表示生成模型中的掩码语言模型层获取上述目标题目的语义特征；

题目分类特征生成模块，用于在上述题目描述信息输入上述题目表示生成模型时，通过上述题目表示生成模型中的第一文本编码层和第一池化层获得上述题目描述信息对应的第一向量表示，并通过上述题目表示生成模型中的题目分类层基于上述第一向量表示得到上述目标题目的题目分类特征。

题目结构组成特征生成模块，用于在上述题目解答信息输入上述题目表示生成模型时，通过上述题目表示生成模型中的第二文本编码层和第二池化层获得上述题目解答信息对应的第二向量表示，并基于上述第一向量表示和上述第二向量表示得到上述目标题目的题目结构组成特征；

题目表示生成模块，用于通过上述题目表示生成模型中的特征合并层基于上述语义特征、上述题目分类特征和上述题目结构组成特征生成上述目标题目的融合特征作为上述目标题目的题目表示。

第三方面，本申请实施例提供了一种计算机设备，上述计算机设备包括：处理器、存储器以及网络接口；

上述处理器与存储器、网络接口相连，其中，网络接口用于提供数据通信功能，上述存储器用于存储程序代码，上述处理器用于调用上述程序代码，以执行如本申请实施例第一方面中的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，当上述处理器执行上述程序指令时执行如本申请实施例第一方面中的方法。

第五方面，本申请实施例提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序存储在计算机可读存储介质中，上述计算机程序适于由处理器读取并执行，以使得具有上述处理器的计算机设备执行如本申请实施例第一方面中的方法。

在本申请中，通过当接收到目标题目时，获取目标题目中包括的题目描述信息和题目解答信息，题目描述信息包括题干信息和/或选项信息，题目解答信息包括答案信息和/或解析信息，并将目标题目、题目描述信息以及题目解答信息输入题目表示生成模型。可以将上述目标题目输入题目表示生成模型中的掩码语言模型层，通过掩码语言模型层得到目标题目的语义特征。接着，还可以将上述题目描述信息依次输入题目表示生成模型中的第一文本编码层和第一池化层，并通过题目分类层基于第一池化层输出的第一向量表示得到上述目标题目的题目分类特征。最后，将上述题目描述信息依次输入题目表示生成模型中的第二文本编码层和第二池化层，并基于第二池化层输出的第二向量表示和上述第一向量表示得到目标题目的题目分类特征。通过题目表示生成模型中的特征合并层对上述语义特征、上述题目分类特征和上述题目结构组成特征进行融合以生成上述目标题目的融合特征作为该目标题目的题目表示，使得题目表示中包括题目语义信息、题目结构组成信息以及题目类别信息以更充分地表示对应的题目，题目表示的生成效率高，增强了题目表示的适用性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的系统架构示意图；

图2是本申请实施例提供的题目表示的获取方法的流程示意图；

图3是本申请实施例提供的目标题目组成示意图；

图4是本申请实施例提供的掩码语言模型层结构示意图；

图5是本申请实施例提供的题目表示生成模型结构示意图；

图6是本申请实施例提供的题目分类特征生成流程示意图；

图7是本申请实施例提供的题目结构组成特征生成流程示意图；

图8是本申请实施例提供的题目表示生成的流程示意图；

图9是本申请实施例提供的相似题目生成的流程示意图；

图10是本申请实施例提供的题目表示的获取装置的结构示意图；

图11是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

自然语言处理(Nature Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本申请实施例提供的方案涉及人工智能领域中的自然语言处理以及机器学习技术，具体通过如下实施例进行说明：

本申请实施例提供的题目表示的获取方法(或简称本申请实施例提供的方法)适用于基于应用程序(比如学习应用)中的题目生成对应的题目表示，各题目对应的题目表示可以包括题目的多种信息(比如题目语义、题目类别等)，从而可以基于各题目对应的题目表示进行题目数据处理(可以是题目聚类、题库搭建、相似题目推荐等)以增强对象(可以是学生等)使用学习应用的学习效果。举例来说，学习应用可以向对象(或目标推送对象)推送多个推荐题目，上述多个推荐题目可以是基于一个或多个题目推送的多个相似题目，目标推送对象可以练习上述学习应用推送的多个相似题目以进一步巩固知识点。在相似题目推荐过程中，可以获取待推荐的多个题目对应的题目表示，并基于多个题目表示从待推荐的多个题目中选取部分相似题目进行推送。然而，通常的题目表示生成过程中无法同时将题目的多个维度信息(比如，题目语义信息、题目结构组成信息以及题目类别信息等)融入到题目表示中，或者对各种信息的表示不够充分(不是显示的融入，即有部分信息不在优化的目标函数里面)，从而导致基于生成的题目表示进行题目聚类、相似题目推荐时不能取得最优的聚类效果和推荐效果。因此，可以将包括题目语义信息、题目结构组成信息以及题目类别信息(可以是题型、题目难度以及题目知识点)等融入题目表示以更充分地表示对应的题目，从而基于题目表示更好地实现题目聚类以及相似题目推荐等，增强目标推送对象在学习应用中的题目练习体验，题目表示获取效果好，适用性强。

在本申请实施例提供的方法中，在题目表示的获取过程中可以接收用于生成对应题目表示的题目(可以称作目标题目)，并获取上述目标题目中的题目描述信息和题目解答信息。这里，题目描述信息可以包括目标题目的题干信息，在目标题目为选择题时，题目描述信息可以包括题干信息和选项信息，题目解答信息可以包括目标题目的答案信息和解析信息。在题目表示的获取过程中可以将上述目标题目输入题目表示生成模型中的掩码语言模型层，通过掩码语言模型层得到目标题目的语义特征。在题目表示的获取过程中还可以将上述题目描述信息(可以包括题干信息，或者题干信息和选项信息)依次输入题目表示生成模型中的第一文本编码层和第一池化层，并通过题目分类层基于第一池化层的输出(可以是第一向量表示)得到上述目标题目的题目分类特征(可以是基于题型、题目难度以及题目知识点分别对应的分类结果生成的题目分类特征)。最后，将上述题目描述信息依次输入题目表示生成模型中的第二文本编码层和第二池化层，并基于第二池化层的输出(可以是第二向量表示)和上述第一向量表示得到上述目标题目的题目分类特征。通过题目表示生成模型中的特征合并层对上述语义特征、上述题目分类特征和上述题目结构组成特征进行融合以生成上述目标题目的融合特征作为该目标题目的题目表示，使得题目表示中包括题目语义信息、题目结构组成信息以及题目类别信息以更充分地表示对应的题目，题目表示生成效果好。此外，通过在进行题目分类特征和题目结构组成特征过程中共用题目表示生成模型中的部分模型层(比如第一文本编码层和第一池化层)，可以进一步提高通过题目表示生成模型获取题目表示的效率，以及在对题目表示生成模型进行训练(比如多任务预训练)以获得生成题目表示能力的训练效果和训练效率。

参见图1，图1是本申请实施例提供的系统架构示意图。如图1所示，该系统架构可以包括业务服务器100以及终端集群，终端集群可以包括：终端设备200a、终端设备200b、终端设备200c、……、终端设备200n等终端设备。其中，上述业务服务器100可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云数据库、云服务、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备(包括终端设备200a、终端设备200b、终端设备200c、……、终端设备200n)可以是智能手机、平板电脑、笔记本电脑、台式计算机、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备(例如智能手表、智能手环等)、智能电脑、智能车载等智能终端。其中，业务服务器100与终端集群中的各终端设备可以建立通信连接，终端集群中的各终端设备之间也可建立通信连接。换句话说，业务服务器100可与终端设备200a、终端设备200b、终端设备200c、……、终端设备200n中的各终端设备建立通信连接，例如终端设备200a与业务服务器100之间可建立通信连接。终端设备200a与终端设备200b之间可建立通信连接，终端设备200a与终端设备200c之间也可建立通信连接。其中，上述通信连接不限定连接方式，可以通过有线通信方式进行直接或间接地连接，也可以通过无线通信方式进行直接或间接地连接等，具体可根据实际应用场景确定，本申请在此不做限制。

应该理解，如图1所示的终端集群中的每个终端设备均可以安装有应用客户端，当该应用客户端运行于各终端设备中时，可以分别与上述图1所示的业务服务器100之间进行数据交互，使得业务服务器100可以接收来自于每个终端设备的业务数据，或者业务服务器100向各终端设备推送业务数据(比如相似题目)。其中，上述应用客户端可以为学习应用、社交应用、即时通信应用、直播应用、新闻应用、短视频应用、视频应用、音乐应用、购物应用、小说应用、支付应用等具有显示文字、图像以及视频等数据信息功能的应用客户端，具体可根据实际应用场景需求确定，在此不做限制。其中，该应用客户端可以为独立的客户端，也可以为集成在某客户端(例如即时通信客户端、社交客户端等)中的嵌入式子客户端，具体可根据实际应用场景确定，在此不做限定。以学习应用为例，目标推送对象在通过终端设备使用学习应用的过程中，可以通过终端设备查看并练习学习应用中的题目。业务服务器100作为学习应用的服务器，可以为包括该应用客户端对应的后台服务器、数据处理服务器等多个服务器的集合。业务服务器100可以接收到来自终端设备的业务数据(比如，目标推送对象通过终端设备发送的基于目标题目的相似题目推荐指令)，基于目标题目生成对应的题目表示，从而基于题目表示从多个候选题目中获取对应的相似题目，并将上述相似题目返回上述终端设备以通过其安装的学习应用向目标推送对象推荐并展示。本申请实施例提供的方法可以由如图1所示的业务服务器100执行，也可以由终端设备(如图1所示的终端设备200a、终端设备200b、……、终端设备200n中的任意一个)执行，还可以由终端设备和业务服务器共同执行，具体可根据实际应用场景确定，此处不做限制。

在一些可行的实施方式中，业务服务器100可以得到目标题目，并获取上述目标题目中的题目描述信息和题目解答信息。这里，题目描述信息可以包括目标题目的题干信息，在目标题目为选择题时，题目描述信息可以包括题干信息和选项信息，题目解答信息可以包括目标题目的答案信息和解析信息。业务服务器100中可以部署有题目表示生成模型，即业务服务器100可以将上述目标题目输入题目表示生成模型中的掩码语言模型层，通过掩码语言模型层得到目标题目的语义特征。业务服务器100还可以将上述题目描述信息(可以包括题干信息，或者题干信息和选项信息)依次输入题目表示生成模型中的第一文本编码层和第一池化层，并通过题目分类层基于第一池化层的输出(可以是第一向量表示)得到上述目标题目的题目分类特征(可以是基于题型、题目难度以及题目知识点分别对应的分类结果生成的题目分类特征)。业务服务器100将上述题目描述信息依次输入题目表示生成模型中的第二文本编码层和第二池化层，并基于第二池化层的输出(可以是第二向量表示)和上述第一向量表示得到上述目标题目的题目分类特征。业务服务器100通过题目表示生成模型中的特征合并层对上述语义特征、上述题目分类特征和上述题目结构组成特征进行融合以生成上述目标题目的融合特征作为该目标题目的题目表示，使得题目表示中包括题目语义信息、题目结构组成信息以及题目类别信息以更充分地表示对应的题目，题目表示生成效果好。此外，业务服务器100在进行题目分类特征和题目结构组成特征过程中共用了上述题目表示生成模型中的部分模型层(比如第一文本编码层和第一池化层)，可以进一步提高通过题目表示生成模型获取题目表示的效率，以及在对题目表示生成模型进行训练(比如多任务预训练)以获得生成题目表示能力的训练效果和训练效率。业务服务器100可以获取多个候选推荐题目对应的多个候选推荐特征，并基于上述融合特征从上述多个候选推荐特征中获取目标推荐特征，基于上述标推荐特征得到一部分候选题目(可以是第一候选题目)，业务服务器100还可以基于目标题目从上述多个候选推荐题目中通过文本相似度匹配得到第二候选题目，并从上述第一候选题目和上述第二候选题目选取部分候选题目作为目标题目的相似题目，将相似题目发送给各终端设备以向目标推送对象展示，相似题目推荐效果好，增强相似题目推荐的推荐效果。

在一些可行的实施方式中，可以是终端设备200a通过其装载的应用程序客户端(如学习应用)获取目标题目，并获取上述目标题目中的题目描述信息和题目解答信息。这里，题目描述信息可以包括目标题目的题干信息，在目标题目为选择题时，题目描述信息可以包括题干信息和选项信息，题目解答信息可以包括目标题目的答案信息和解析信息。终端设备200a中可以部署有题目表示生成模型，即终端设备200a可以将上述目标题目输入题目表示生成模型中的掩码语言模型层，通过掩码语言模型层得到目标题目的语义特征。终端设备200a还可以将上述题目描述信息(可以包括题干信息，或者题干信息和选项信息)依次输入题目表示生成模型中的第一文本编码层和第一池化层，并通过题目分类层基于第一池化层的输出(可以是第一向量表示)得到上述目标题目的题目分类特征(可以是基于题型、题目难度以及题目知识点分别对应的分类结果生成的题目分类特征)。终端设备200a将上述题目描述信息依次输入题目表示生成模型中的第二文本编码层和第二池化层，并基于第二池化层的输出(可以是第二向量表示)和上述第一向量表示得到上述目标题目的题目分类特征。终端设备200a通过题目表示生成模型中的特征合并层对上述语义特征、上述题目分类特征和上述题目结构组成特征进行融合以生成上述目标题目的融合特征作为该目标题目的题目表示，使得题目表示中包括题目语义信息、题目结构组成信息以及题目类别信息以更充分地表示对应的题目，题目表示生成效果好。此外，终端设备200a在进行题目分类特征和题目结构组成特征过程中共用了上述题目表示生成模型中的部分模型层(比如第一文本编码层和第一池化层)，可以进一步提高通过题目表示生成模型获取题目表示的效率，以及在对题目表示生成模型进行训练(比如多任务预训练)以获得生成题目表示能力的训练效果和训练效率。终端设备200a可以获取多个候选推荐题目对应的多个候选推荐特征，并基于上述融合特征从上述多个候选推荐特征中获取目标推荐特征，基于上述标推荐特征得到一部分候选题目(可以是第一候选题目)，终端设备200a还可以基于目标题目从上述多个候选推荐题目中通过文本相似度匹配得到第二候选题目，并从上述第一候选题目和上述第二候选题目选取部分候选题目作为目标题目的相似题目向目标推送对象展示，相似题目推荐效果好，增强相似题目推荐的推荐效果。

为方便描述，下面将以终端设备作为本申请实施例提供的方法的执行主体，通过一个实施例具体说明通过终端设备进行题目表示的获取方法。

参见图2，图2是本申请实施例提供的题目表示的获取方法的流程示意图。如图2所示，该方法包括如下步骤：

S101，当接收到目标题目时，获取目标题目中包括的题目描述信息和题目解答信息，并将目标题目、题目描述信息以及题目解答信息输入题目表示生成模型。

在一些可行的实施方式中，终端设备(比如终端设备200a)可以接收目标题目，该目标题目可以基于目标推送对象通过终端设备中装载的应用客户端(比如学习应用)发送的相似题目推荐指令中获取得到。当接收到目标题目时，终端设备可以获取目标题目中包括的题目描述信息和题目解答信息，具体的，上述题目描述信息可以包括目标题目的题干信息，在目标题目为选择题时，上述题目描述信息可以包括题干信息和选项信息，上述题目解答信息可以包括目标题目的答案信息和解析信息。例如，请参见图3，图3是本申请实施例提供的目标题目组成示意图，如图3所示，该目标题目的题目描述信息为：“下列四个命题中，错误的是()；A)、有一组邻角相等的平行四边形是矩形B)、有三个角都相等的四边形是矩形；C)、有一组对边相等，一组对角是直角的四边形是矩形；D)、对角线互相平分且相等的四边形是矩形。”其中，该目标题目为选择题，题目描述信息包括题干信息：“下列四个命题中，错误的是()”和选项信息：“A)、有一组邻角相等的平行四边形是矩形B)、有三个角都相等的四边形是矩形C)、有一组对边相等，一组对角是直角的四边形是矩形D)、对角线互相平分且相等的四边形是矩形。”再次参见图3，该目标题目的题目解答信息中，包括答案信息为：“答案：B”，还包括解析信息：“A、∵平行四边形ABCD，∴AD∥BC，∴∠A+∠B＝180°，∵∠A＝∠B，∴∠A＝∠B＝90°，∴平行四边形ABCD是矩形，故本选项错误；B、∵∠A＝∠B＝∠C，不能证出∠D和∠A、∠B、∠C相等，故本选项错误正确；C、连接AC，∵∠B＝∠D＝90°，AC＝AC，AB＝CD，∴Rt△ABC≌Rt△CDA(HL)，∴AD＝BC，∴平行四边形ABCD是矩形，故本选项错误；D、∵OA＝OC，OB＝OD，∴平行四边形ABCD是平行四边形，∵AC＝BD，∴平行四边形ABCD是矩形，故本选项错误，故选B。”终端设备可以将接收到的目标题目输入题目表示生成模型，同时将上述题目描述信息和题目解答信息输入题目表示生成模型，通过题目表示生成模型得到该目标题目的题目表示。可选的，将上述题目描述信息和题目解答信息输入题目表示生成模型时，可以是通过“题干信息+选项信息+答案信息+解析信息”的格式输入题目表示生成模型，若有部分信息缺失(如目标题目中不包括选项信息)，则将对应信息设置为空以提高数据输入效率。

S102，通过题目表示生成模型中的掩码语言模型层基于输入的目标题目获取目标题目的语义特征。

在一些可行的实施方式中，终端设备可以将目标题目输入题目表示生成模型中的掩码语言模型层，以通过上述掩码语言模型层获取目标题目的语义特征。具体的，上述掩码语言模型层可以包括文本编码层(可以称作第三文本编码层)和掩码分类层，请参见图4，图4是本申请实施例提供的掩码语言模型层结构示意图。如图4所示，题目表示生成模型中的掩码语言模型层中包括第三文本编码层和掩码分类层，终端设备可以通过掩码语言模型层中第三文本编码层和掩码分类层基于输入的目标题目得到语义特征。可选的，上述掩码语言模型层中的第三文本编码层可以是上述题目表示生成模型中独立的文本编码层，也可以由题目表示生成模型中其他文本编码层所构成，为方便描述，本申请实施例以掩码语言模型层中的第三文本编码层由题目表示生成模型中其他文本编码层所构成为例进行说明。请参见图5，图5是本申请实施例提供的题目表示生成模型结构示意图。如图5所示，题目表示生成模型中的掩码语言模型层中包括第三文本编码层和掩码分类层，第三文本编码层为第一文本编码层和第二文本编码层共同组成，也就是说，通过该题目表示生成模型中的掩码语言模型层获取目标题目的语义特征过程中，与通过该题目表示生成模型中获取目标题目的其他特征(比如题目分类特征、题目结构组成特征)的过程中共用了部分文本编码层(第一文本编码层和第二文本编码层)，从而可以进一步提高通过题目表示生成模型获取题目表示的效率，以及在对题目表示生成模型进行训练(比如多任务预训练)以获得生成题目表示能力的训练效果和训练效率。

在一些可行的实施方式中，终端设备将上述目标设备输入题目表示生成模型中的掩码语言模型层之前，终端设备可以随机选取上述目标题目中的部分词语(可以称作目标词语)并替换为对应的掩码标签(或称mask标签)，将带有上述掩码标签的目标题目输入题目表示生成模型。比如，请再次参见图5，终端设备可以将目标题目中的题目描述信息(可以包括题干信息，或者题干信息和选项信息)中的目标词语替换为掩码标签，将目标题目中的题目解答信息(可以包括答案信息和解析信息)中的目标词语替换为掩码标签，并将带有掩码标签的目标题目输入题目表示生成模型中的第三文本编码模型(第三文本编码模型与第一文本编码模型和第二文本编码模型共用，即可以将带有掩码标签的题目描述信息输入第一文本编码模型，将带有掩码标签的题目解答信息输入第二文本编码模型)。终端设备通过第三文本编码模型得到上述各掩码标签对应的词向量，并将第三文本编码模型生成的词向量输入掩码分类层，以通过掩码分类层预测(可以使用softmax激活)各掩码标签对应的目标词语(即被替换的目标词语)，上述掩码分类层输出的各掩码标签对应的预测目标词语包含了上述目标题目的语义信息，从而将上述各掩码标签对应的预测目标词语作为目标题目的语义特征。通过上述掩码语言模型层得到的语义特征可以提取上述目标题目的语义信息，从而可以基于该语义特征得到更充分的题目表示，语义特征提取效果好。

在一些可行的实施方式中，上述第一文本编码层和第二文本编码层可以是基于albert-tiny文本编码模型的文本编码层、基于albert文本编码模型的文本编码层和基于bert文本编码模型的文本编码层，具体可根据实际应用场景确定，本申请在此不做限制。可选的，上述第一文本编码模型和第二文本编码模型可以是使用同一个模型编码(即共享参数)。

S103，通过题目表示生成模型中的第一文本编码层和第一池化层获得输入的题目描述信息对应的第一向量表示，并通过题目表示生成模型中的题目分类层基于第一向量表示得到目标题目的题目分类特征。

在一些可行的实施方式中，终端设备可以通过上述题目表示生成模型(题目表示生成模型结构可参见图5)中的第一文本编码层和第一池化层(可以是sum-pooling层)基于上述目标题目的题目描述信息得到对应的向量表示(可以是第一向量表示)，并通过题目表示生成模型中的题目分类层基于第一向量表示得到目标题目的题目分类特征。具体的，上述题目表示生成模型中可以包括一个或多个题目分类层，各个题目分类层可以对应不同的题目分类任务，从而通过各个题目分类层基于第一向量表示得到不同的分类，一个题目分类层生成目标题目的一个分类。请参见图6，图6是本申请实施例提供的题目分类特征生成流程示意图。如图6所示，图6包括题目分类层1、题目分类层2以及题目分类层3，其中，题目分类层1可以对应题目难度分类(一个目标题目可以对应一个难度等级，难度等级可以包括容易、较易、中等、较难、难等)，题目分类层2可以对应题目类型分类(一个目标题目可以对应一个题目类型，可以包括选择题、填空题、判断题等)，题目分类层3可以对应题目知识点分类(一个目标题目可以包括多个知识点标签，比如数学、一元二次方程、方程组等)。上述题目分类层1和题目分类层2对应的分类任务可以称作单分类任务，题目分类层3对应的分类任务可以称作多分类任务。对于单分类任务，分类结果可以为独热编码(one-hot)形式。对于多分类任务，分类结果可以为多热编码(multi-hot)再归一化的形式，使得和为1，例如在题目知识点分类中，通过[0.5,0,0,0.5,0,…]表示包含知识点1和知识点4的知识点分类。终端设备可以通过图6中的第一文本编码模型得到目标题目的题目描述信息中各词语对应的词向量，并通过第一池化层对各词语对应的词向量进行序列维度的求和以得到第一向量表示，通过上述多个题目分类层(题目分类层1、题目分类层2以及题目分类层3)分别基于上述第一向量表示得到目标题目对应的多个分类(可以包括题目难度分类、题目类型分类以及题目知识点分类)，将上述多个分类作为上述目标题目的题目分类特征。通过多个题目分类层可以得到更充分体现目标题目特征的题目分类特征，题目分类特征包含的分类信息丰富，从而可以基于该题目分类特征得到更充分的题目表示。

S104，通过题目表示生成模型中的第二文本编码层和第二池化层获得输入的题目解答信息对应的第二向量表示，并基于第一向量表示和第二向量表示得到目标题目的题目结构组成特征。

在一些可行的实施方式中，终端设备可以通过上述题目表示生成模型(题目表示生成模型结构可参见图5)中的第二文本编码层和第二池化层(可以是sum-pooling层)基于上述目标题目的题目描述信息得到对应的向量表示(可以是第二向量表示)，并基于由上述第一文本编码层和第一池化层基于上述目标题目的题目描述信息得到的第一向量表示和第二向量表示得到目标题目的题目结构组成特征。请参见图7，图7是本申请实施例提供的题目结构组成特征生成流程示意图。如图7所示，终端设备可以通过图7中的第一文本编码模型得到目标题目的题目描述信息中各词语对应的词向量，并通过上述第二池化层对各词语对应的词向量进行序列维度的求和以得到第二向量表示。终端设备还可以通过图7中的第二文本编码模型得到目标题目的题目解答信息中各词语对应的词向量，并通过上述第二池化层对各词语对应的词向量进行序列维度的求和以得到第二向量表示，最后基于上述第一向量表示和第二向量表示得到目标题目的题目结构组成特征。通过由上述题目描述信息得到的第一向量表示和由题目解答信息得到的第二向量表示得到题目结构组成特征，使得题目结构组成特征包括目标题目中题目描述信息与题目解答信息的匹配关系以得到更充分体现目标题目结构组成的题目结构组成特征，从而可以基于该题目结构组成特征得到更准确的题目表示。此外，上述图7中的第一文本编码模型和第一池化层可以与上述图6中的第一文本编码模型和第一池化层共用(比如，可参见图5所示的题目表示生成模型结构中的第一文本编码模型和第一池化层)，即题目结构组成特征生成过程中可以直接使用上述题目分类特征生成过程中的第一向量表示，从而提高特征生成效率，题目结构组成特征生成效果好。

S105，通过题目表示生成模型中的特征合并层基于语义特征、题目分类特征和题目结构组成特征生成目标题目的融合特征作为目标题目的题目表示。

在一些可行的实施方式中，终端设备可以通过上述题目表示生成模型中的特征合并层基于上述语义特征、题目分类特征和题目结构组成特征得到目标题目的融合特征，以将该融合特征作为目标题目的题目表示。具体的，请再次参见图5，图5所示的题目表示生成模型中的特征合并层可以接收来自掩码分类层输出的语义特征、多个题目分类层(题目分类层1、题目分类层2以及题目分类层3)输出的题目分类特征以及第一池化层和第二池化层输出的题目结构组成特征，特征合并层可以将各特征合并以得到融合特征作为目标题目的题目表示。上述特征合并层可以是通过将上述语义特征、题目分类特征和题目结构组成特征序列维度上求和以得到融合特征。作为目标题目的题目表示，融合特征包含了目标题目在语义信息、分类信息(也可以称作元数据信息，可以包括题目难度、题目类型和题目知识点)以及题目结构组成信息多个维度的信息，使得题目表示更充分地表示目标题目，题目表示生成效果好。

在一些可行的实施方式中，终端设备获取上述目标题目中包括的题目描述信息和题目解答信息之前，还可以获取多个样本题目，并通过题目表示生成模型基于上述多个样本题目得到第一损失函数、第二损失函数以及第三损失函数。具体的，终端设备可以基于多个样本题目和上述掩码语言模型层得到第一损失函数，基于上述多个样本题目和上述第一文本编码层、上述第一池化层和上述题目分类层得到第二损失函数，并基于上述多个样本题目和上述第一文本编码层、上述第一池化层、上述第二文本编码层以及上述第二池化层得到第三损失函数。终端设备可以将上述第一损失函数、上述第二损失函数以及上述第三损失函数进行加权求和以得到目标损失函数，并基于上述目标损失函数和上述多个样本题目对上述题目表示生成模型进行训练，从而使得题目表示生成模型的掩码语言模型层获取对输入的任一目标题目得到任一目标题目的语义特征的能力，使得第一文本编码层、第一池化层和题目分类层对输入的任一目标题目的题目描述信息得到任一目标题目的题目分类特征的能力，并使得第一文本编码层、第一池化层、第二文本编码层和第二池化层对输入的任一目标题目的题目描述信息以及题目解答信息得到任一目标题目的题目结构组成特征的能力。通过将生成各特征(语义特征、题目分类特征和题目结构组成特征)对应的损失函数加权求和得到目标损失函数，从而基于目标损失函数对题目表示生成模型进行训练以同时优化该模型基于目标语句生成语义特征、题目分类特征和题目结构组成特征的效果，同时，通过在进行题目分类特征和题目结构组成特征过程中共用题目表示生成模型中的部分模型层(比如第一文本编码层和第一池化层)，可以提高模型的训练效率。

在一些可行的实施方式中，上述多个样本题目中各个样本题目中可以包括样本题目描述信息以及样本题目解答信息，终端设备基于上述多个样本题目训练上述第一文本编码层、第一池化层、第二文本编码层和第二池化层以获得第三损失函数的过程中，终端设备可以将任一样本题目中的样本题目描述信息与样本题目解答信息设置为对应样本题目的正样本(可以是第一训练样本)第一训练样本，将任一样本题目中的样本题目描述信息与上述多个样本题目中除上述任一样本题目的样本题目解答信息之外的其他样本题目解答信息分别进行两两配对，以构成上述任一样本题目的负样本(可以是第二训练样本)。可选的，上述第二训练样本还可以在同一个批处理(batch)公用，以节省终端设备的计算量，提高模型的训练效率。同时由于训练过程中不同样本是独立的，可方便的扩展为多卡训练。终端设备可以通过第一文本编码层、第一池化层、第二文本编码层和第二池化层基于第一训练样本和第二训练样本训练得到第三损失函数loss，可以表示为：

其中，终端设备将第一训练样本中的样本题目描述信息通过第一文本编码层和第一池化层得到对应的向量表示，将第一训练样本中的样本题目解答信息通过第二文本编码层和第二池化层得到对应的向量表示后，获取得到的两个向量(样本题目描述信息对应的向量表示和样本题目解答信息对应的向量表示)表示之间的余弦相似度以得到c+。同样的，c₁-、c₂-以及c₃-等可以是终端设备基于第二训练样本通过第一文本编码层、第一池化层、第二文本编码层和第二池化层生成的各向量表示之间的余弦相似度得到。终端设备可以基于加权有上述第三损失函数的目标损失函数对上述第一文本编码层、第一池化层、第二文本编码层和第二池化层进行训练，以使得各文本编码层和各池化层对其输入的目标题目(包括题目描述信息和题目解答信息)以得到更贴近题目描述信息和题目解答信息之间关系的题目结构组成特征，增强题目表示生成模型的泛化能力。

在一些可行的实施方式中，请参见图8，图8是本申请实施例提供的题目表示生成的流程示意图。如图8所示，终端设备可以获取样本题目，并将样本题目输入预训练好的文本编码层(可以包括第一文本编码层和第二文本编码层，上述第一文本编码层和第二文本编码层可以是基于albert-tiny文本编码模型的文本编码层、基于albert文本编码模型的文本编码层和基于bert文本编码模型的文本编码层等)和各分类层(可以包括掩码分类层和题目分类层)，以通过上述预训练好的文本编码层和各分类层基于样本题目进行多任务预训练。其中，上述样本题目可以中各个样本题目中可以包括样本题目描述信息以及样本题目解答信息。上述多任务预训练可以包括基于上述目标损失函数(可以是将上述第一损失函数、上述第二损失函数以及上述第三损失函数进行加权求和得到)对预训练好的文本编码层和各分类层进行训练以得到题目表示生成模型，使得上述题目表示生成模型获取对输入的任一目标题目得到对应的语义特征、题目分类特征以及题目结构组成特征的能力。终端设备可以将获取的目标题目输入训练好的题目表示生成模型，通过上述题目表示生成模型基于目标题目得到题目表示。上述目标题目的题目表示包含了目标题目在语义信息、分类信息(也可以称作元数据信息，可以包括题目难度、题目类型和题目知识点)以及题目结构组成信息多个维度的信息，使得题目表示更充分地表示目标题目，题目表示生成效果好。

在一些可行的实施方式中，终端设备得到目标题目的题目表示后，可以通过生成的题目表示进行题目聚类，即通过得到不同题目的题目表示后获取各题目表示对应的余弦相似度以将各题目划分为不同的类别。终端设备还可以基于题目表示应用于各种题目层级的下游任务，或者在下游任务的数据上接着训练上述题目表示生成模型，以通过题目表示生成模型实现其他题目处理任务(例如相似题召回任务)。

在一些可行的实施方式中，终端设备可以在得到目标题目的题目表示后，基于该题目表示进行相似题目推荐。具体的，请参见图9，图9是本申请实施例提供的相似题目生成的流程示意图。如图9所示，终端设备可以通过题目表示生成模型基于目标题目得到对应的题目表示(或称作融合特征)，并获取多个候选推荐题目以及各候选推荐题目对应的候选推荐特征，终端设备可以基于上述题目表示通过向量检索得到上述题目表示与各候选推荐特征之间的余弦相似度，基于余弦相似度度量题目之间的相似程度以从多个候选推荐特征中获取目标推荐特征，从而得到目标推荐特征对应的候选题目(可以称作第一候选题目)。进一步地，终端设备还可以基于上述目标题目通过文本匹配(检索ES)从多个候选推荐题目中获得与目标题目的文本相似度不小于设定阈值(比如，文本相似度不小于90％)的第二候选题目，并基于上述第一候选题目和第二候选题目进行相似题目选取，可以通过保留第一候选题目和第二候选题目中重复的部分题目作为相似题目，在重复的部分之外，还可以从第一候选题目和第二候选题目中非重复的题目按照余弦相似度从高到低选取部分题目作为相似题目，最后确定的相似题目可以经过排序及业务规则过滤后通过学习应用推送并向目标推送对象展示。通过加入使用由题目表示生成模型生成的题目表示进行相似题目推荐，获取的的相似题目的准确性和丰富度能够得到提升，因此能够提升目标推送对象请求的相似题目的精度和覆盖率指标(经过测试，通过本申请提出的题目表示生成模型生成的题目表示进行相似题目推荐，相似题目推荐的精度和覆盖率有明显的提升(初中数学精度提升3.9％，覆盖率提升2.3％)，并且训练模型耗时小于10ms)，相似题目推荐效果好。

在本申请实施例提供的方法中，终端设备可以接收目标题目，该目标题目可以基于目标推送对象通过终端设备中装载的学习应用发送的相似题目推荐指令中获取得到。当接收到目标题目时，终端设备可以获取目标题目中包括的题目描述信息和题目解答信息，具体的，上述题目描述信息可以包括目标题目的题干信息，在目标题目为选择题时，上述题目描述信息可以包括题干信息和选项信息，上述题目解答信息可以包括目标题目的答案信息和解析信息。终端设备可以随机选取上述目标题目中的部分词语(可以称作目标词语)并替换为对应的掩码标签(或称mask标签)，将带有上述掩码标签的目标题目输入题目表示生成模型。终端设备通过上述题目表示生成模型中掩码语言模型层中的第三文本编码模型得到上述各掩码标签对应的词向量，并将第三文本编码模型生成的词向量输入掩码分类层，以通过掩码分类层预测(可以使用softmax激活)各掩码标签对应的目标词语，上述掩码分类层输出的各掩码标签对应的预测目标词语包含了上述目标题目的语义信息，从而将上述各掩码标签对应的预测目标词语作为目标题目的语义特征。终端设备还可以通过上述题目表示生成模型中第一文本编码模型得到目标题目的题目描述信息中各词语对应的词向量，并通过第一池化层对各词语对应的词向量进行序列维度的求和以得到第一向量表示，通过题目表示生成模型中的一个或多个题目分类层分别基于上述第一向量表示得到目标题目对应的多个掩码语言模型层中包括以获取上述目标题目的题目分类特征。终端设备还可以通过上述题目表示生成模型中的第二文本编码层和第二池化层基于上述目标题目的题目描述信息得到对应的第二向量表示，并基于由上述第一文本编码层和第一池化层基于上述目标题目的题目描述信息得到的第一向量表示和第二向量表示得到目标题目的题目结构组成特征。终端设备可以通过上述题目表示生成模型中的特征合并层基于上述语义特征、题目分类特征和题目结构组成特征得到目标题目的融合特征，以将该融合特征作为目标题目的题目表示。上述题目表示包含了目标题目在语义信息、分类信息(也可以称作元数据信息，可以包括题目难度、题目类型和题目知识点)以及题目结构组成信息多个维度的信息，使得题目表示更充分地表示目标题目，题目表示生成效果好。

基于上述题目表示的获取方法实施例的描述，本申请实施例还公开了一种题目表示的获取装置。该题目表示的获取装置可以被应用于图1至图9所示实施例的题目表示的获取方法中，以用于执行题目表示的获取方法中的步骤。这里，题目表示的获取装置可以是上述图1至图9所示实施例中的业务服务器或者终端设备，即该题目表示的获取装置可以为上述图1至图9所示实施例中题目表示的获取方法的执行主体。请参见图10，图10是本申请实施例提供的题目表示的获取装置的结构示意图。在本申请实施例中，该装置可运行如下模块：

获取模块31，用于在接收到目标题目时，获取上述目标题目中包括的题目描述信息和题目解答信息，上述题目描述信息包括题干信息和/或选项信息，上述题目解答信息包括答案信息和/或解析信息，将上述目标题目、上述题目描述信息以及上述题目解答信息输入题目表示生成模型；

语义特征生成模块32，用于在上述目标题目输入上述题目表示生成模型时，通过上述题目表示生成模型中的掩码语言模型层获取上述目标题目的语义特征；

题目分类特征生成模块33，用于在上述题目描述信息输入上述题目表示生成模型时，通过上述题目表示生成模型中的第一文本编码层和第一池化层获得上述题目描述信息对应的第一向量表示，并通过上述题目表示生成模型中的题目分类层基于上述第一向量表示得到上述目标题目的题目分类特征。

题目结构组成特征生成模块34，用于在上述题目解答信息输入上述题目表示生成模型时，通过上述题目表示生成模型中的第二文本编码层和第二池化层获得上述题目解答信息对应的第二向量表示，并基于上述第一向量表示和上述第二向量表示得到上述目标题目的题目结构组成特征；

题目表示生成模块35，用于通过上述题目表示生成模型中的特征合并层基于上述语义特征、上述题目分类特征和上述题目结构组成特征生成上述目标题目的融合特征作为上述目标题目的题目表示。

在一些可行的实施方式中，上述掩码语言模型层中包括第三文本编码层和掩码分类层，上述语义特征生成模块32还用于：

将上述目标题目中的一个或者多个目标词语替换为一个或者多个掩码标签，将上述一个或者多个掩码标签携带在上述目标题目中输入上述题目表示生成模型；

上述通过上述题目表示生成模型中的掩码语言模型层基于输入的上述目标题目获取上述目标题目的语义特征包括：

通过上述第三文本编码模型获得上述一个或者多个掩码标签对应的词向量以得到上述一个或者多个目标词语的词向量；

通过上述掩码分类层基于上述词向量得到的上述一个或者多个掩码标签对应的预测目标词语作为上述目标题目的语义特征。

在一些可行的实施方式中，上述题目表示生成模型中包括至少一个上述题目分类层，上述题目分类特征生成模块33还用于：

通过上述题目表示生成模型中的第一文本编码模型得到上述题目描述信息中各词语对应的词向量，并通过上述题目表示生成模型中的第一池化层对上述各词语对应的词向量进行序列维度的求和以得到上述题目描述信息对应的第一向量表示；

通过上述题目表示生成模型中的任一上述题目分类层基于上述第一向量表示得到上述目标题目对应的任一分类，获取通过各个上述题目分类层获得的各个分类，并基于上述各个分类得到上述题目描述信息对应的题目分类特征。

在一些可行的实施方式中，上述题目结构组成特征生成模块34还用于：

通过上述题目表示生成模型中的第二文本编码模型得到上述题目解答信息中各词语对应的词向量，并通过上述题目表示生成模型中的第二池化层对上述各词语对应的词向量进行序列维度的求和以得到上述第二向量表示。

在一些可行的实施方式中，上述获取上述目标题目中包括的题目描述信息和题目解答信息之前，上述语义特征生成模块32、题目分类特征生成模块33和题目结构组成特征生成模块34还用于：

基于多个样本题目和上述掩码语言模型层得到上述题目表示生成模型生成上述语义特征对应的第一损失函数，基于上述多个样本题目和上述第一文本编码层、上述第一池化层和上述题目分类层得到上述题目表示生成模型生成上述题目分类特征对应的第二损失函数，并基于上述多个样本题目和上述第一文本编码层、上述第一池化层、上述第二文本编码层以及上述第二池化层得到上述题目表示生成模型生成上述题目结构组成特征对应的第三损失函数；

将上述第一损失函数、上述第二损失函数以及上述第三损失函数加权求和得到目标损失函数，基于上述目标损失函数和上述多个样本题目对上述题目表示生成模型进行训练，以使上述题目表示生成模型的上述掩码语言模型层获取对输入的任一目标题目得到上述任一目标题目的语义特征的能力，使得上述第一文本编码层、第一池化层和上述题目分类层对输入的任一目标题目的题目描述信息得到上述任一目标题目的题目分类特征的能力，并使得上述第一文本编码层、上述第一池化层、上述第二文本编码层和上述第二池化层对输入的任一目标题目的上述题目描述信息以及上述题目解答信息得到上述任一目标题目的题目结构组成特征的能力。

在一些可行的实施方式中，上述多个样本题目中各个样本题目中至少包括样本题目描述信息以及样本题目解答信息，上述题目结构组成特征生成模块34还用于：

将任一样本题目中的上述样本题目描述信息与上述样本题目解答信息设置为上述任一样本题目的第一训练样本，将上述任一样本题目中的上述样本题目描述信息与上述多个样本题目中的剩余样本信息两两配对以构成上述任一样本题目的第二训练样本，上述剩余样本信息为上述多个样本题目包括的除上述任一样本题目的上述样本题目解答信息之外的其他样本题目解答信息；

基于上述各个样本题目的上述第一训练样本和上述第二训练样本训练上述第一文本编码层、上述第一池化层、上述第二文本编码层和上述第二池化层以获得上述第三损失函数。

在一些可行的实施方式中，上述通过上述题目表示生成模型中的特征合并层基于上述语义特征、上述题目分类特征和上述题目结构组成特征生成上述目标题目的融合特征作为上述目标题目的题目表示之后，上述获取模块31还用于：获取上述融合特征与多个候选推荐题目中各候选推荐题目对应的候选推荐特征的余弦相似度，基于上述融合特征与各候选推荐特征的余弦相似度从多个候选推荐特征中获取目标推荐特征，将上述目标推荐特征关联的候选推荐题目作为第一候选题目；

通过文本相似度匹配从上述多个候选推荐题目中获得与上述目标题目的文本相似度不小于设定阈值的第二候选题目，并基于上述第一候选题目和上述第二候选题目得到的上述目标题目的相似题目，向目标推送对象发送上述目标题目的相似题目。

根据上述图2所对应的实施例，图2所示的题目表示的获取方法中步骤S101至S105所描述的实现方式可由图10所示的装置的各个模块执行。例如，上述图2所示的题目表示的获取方法中步骤S101所描述的实现方式可由图10所示的装置中获取模块31来执行，步骤S102所描述的实现方式可由语义特征生成模块32来执行，步骤S103所描述的实现方式可由题目分类特征生成模块33来执行，步骤S104所描述的实现方式可由题目结构组成特征生成模块34来执行，步骤S105所描述的实现方式可由题目表示生成模块35来执行。其中，上述获取模块31、语义特征生成模块32、题目分类特征生成模块33、题目结构组成特征生成模块34以及题目表示生成模块35所执行的实现方式可参见上述图2所对应的实施例中各个步骤所提供的实现方式，在此不再赘述。

在本申请实施例中，题目表示的获取装置可以接收目标题目，该目标题目可以基于目标推送对象通过题目表示的获取装置中装载的学习应用发送的相似题目推荐指令中获取得到。当接收到目标题目时，题目表示的获取装置可以获取目标题目中包括的题目描述信息和题目解答信息，具体的，上述题目描述信息可以包括目标题目的题干信息，在目标题目为选择题时，上述题目描述信息可以包括题干信息和选项信息，上述题目解答信息可以包括目标题目的答案信息和解析信息。题目表示的获取装置可以随机选取上述目标题目中的部分词语(可以称作目标词语)并替换为对应的掩码标签(或称mask标签)，将带有上述掩码标签的目标题目输入题目表示生成模型。题目表示的获取装置通过上述题目表示生成模型中掩码语言模型层中的第三文本编码模型得到上述各掩码标签对应的词向量，并将第三文本编码模型生成的词向量输入掩码分类层，以通过掩码分类层预测(可以使用softmax激活)各掩码标签对应的目标词语，上述掩码分类层输出的各掩码标签对应的预测目标词语包含了上述目标题目的语义信息，从而将上述各掩码标签对应的预测目标词语作为目标题目的语义特征。题目表示的获取装置还可以通过上述题目表示生成模型中第一文本编码模型得到目标题目的题目描述信息中各词语对应的词向量，并通过第一池化层对各词语对应的词向量进行序列维度的求和以得到第一向量表示，通过题目表示生成模型中的一个或多个题目分类层分别基于上述第一向量表示得到目标题目对应的多个掩码语言模型层中包括以获取上述目标题目的题目分类特征。题目表示的获取装置还可以通过上述题目表示生成模型中的第二文本编码层和第二池化层基于上述目标题目的题目描述信息得到对应的第二向量表示，并基于由上述第一文本编码层和第一池化层基于上述目标题目的题目描述信息得到的第一向量表示和第二向量表示得到目标题目的题目结构组成特征。题目表示的获取装置可以通过上述题目表示生成模型中的特征合并层基于上述语义特征、题目分类特征和题目结构组成特征得到目标题目的融合特征，以将该融合特征作为目标题目的题目表示。上述题目表示包含了目标题目在语义信息、分类信息(也可以称作元数据信息，可以包括题目难度、题目类型和题目知识点)以及题目结构组成信息多个维度的信息，使得题目表示更充分地表示目标题目，题目表示生成效果好。

在本申请实施例中，上述图所示的装置中的各个模块可以分别或全部合并为一个或若干个另外的模块来构成，或者其中的某个(些)模块还可以再拆分为功能上更小的多个模块来构成，这可以实现同样的操作，而不影响本申请实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由多个模块来实现，或者多个模块的功能由一个模块实现。在本申请的其它可行的实现方式中，上述装置也可以包括其它模块，在实际应用中，这些功能也可以由其它模块协助实现，并且可以由多个模块协作实现，在此不做限制。

请参见图11，图11是本申请实施例提供的计算机设备的结构示意图。如图11所示，该计算机设备1000可以为上述图2-9所对应实施例中的终端设备。该计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，该计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

其中，该计算机设备1000中的网络接口1004还可以与上述图1所对应实施例中的终端200a进行网络连接，且可选用户接口1003还可以包括显示屏(Display)、键盘(Keyboard)。在图11所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为开发人员提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现前文图2所对应实施例中题目表示的获取方法。

应当理解，本申请实施例中所描述的计算机设备1000可执行前文图2所对应实施例中对题目表示的获取方法的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

此外，这里需要指出的是本申请实施例还提供了一种计算机可读存储介质，且上述计算机可读存储介质中存储有前文提及的题目表示的获取装置所执行的计算机程序，且上述计算机程序包括程序指令，当上述处理器执行上述程序指令时，能够执行前文图2所对应实施例中对题目表示的获取方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。

此外，需要说明的是：本申请实施例还提供了一种计算机程序产品，该计算机程序产品可以包括计算机程序，该计算机程序可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器可以执行该计算机程序，使得该计算机设备执行前文图2至图9所对应实施例中对题目表示的获取方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机程序产品实施例中未披露的技术细节，请参照本申请方法实施例的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (11)

1.一种题目表示的获取方法，其特征在于，所述方法包括：

获取目标题目中包括的题目描述信息和题目解答信息，所述题目描述信息包括题干信息和/或选项信息，所述题目解答信息包括答案信息和/或解析信息，将所述目标题目、所述题目描述信息以及所述题目解答信息输入题目表示生成模型；

通过所述题目表示生成模型中的掩码语言模型层，基于输入的所述目标题目，获取所述目标题目的语义特征；

通过所述题目表示生成模型中的第一文本编码层和第一池化层获得输入的所述题目描述信息对应的第一向量表示，并通过所述题目表示生成模型中的题目分类层，基于所述第一向量表示得到所述目标题目的题目分类特征；

通过所述题目表示生成模型中的第二文本编码层和第二池化层获得输入的所述题目解答信息对应的第二向量表示，并基于所述第一向量表示和所述第二向量表示得到所述目标题目的题目结构组成特征；

通过所述题目表示生成模型中的特征合并层，基于所述语义特征、所述题目分类特征和所述题目结构组成特征生成所述目标题目的融合特征作为所述目标题目的题目表示，所述题目表示用于目标应用的题目聚类和/或相似题目推荐。

2.根据权利要求1所述的方法，其特征在于，所述掩码语言模型层中包括第三文本编码层和掩码分类层；所述通过所述题目表示生成模型中的掩码语言模型层，基于输入的所述目标题目，获取所述目标题目的语义特征之前，所述方法还包括：

将所述目标题目中的一个或者多个目标词语替换为一个或者多个掩码标签，将所述一个或者多个掩码标签携带在所述目标题目中输入所述题目表示生成模型；

所述通过所述题目表示生成模型中的掩码语言模型层，基于输入的所述目标题目，获取所述目标题目的语义特征包括：

通过所述第三文本编码模型获得所述一个或者多个掩码标签对应的词向量以得到所述一个或者多个目标词语的词向量；

通过所述掩码分类层基于所述词向量得到的所述一个或者多个掩码标签对应的预测目标词语作为所述目标题目的语义特征。

3.根据权利要求2所述的方法，其特征在于，所述题目表示生成模型中包括至少一个所述题目分类层，所述通过所述题目表示生成模型中的第一文本编码层和第一池化层获得输入的所述题目描述信息对应的第一向量表示，并通过所述题目表示生成模型中的题目分类层，基于所述第一向量表示得到所述目标题目的题目分类特征包括：

通过所述题目表示生成模型中的第一文本编码模型得到所述题目描述信息中各词语对应的词向量，并通过所述题目表示生成模型中的第一池化层对所述各词语对应的词向量进行序列维度的求和以得到所述题目描述信息对应的第一向量表示；

通过所述题目表示生成模型中的任一所述题目分类层基于所述第一向量表示得到所述目标题目对应的任一分类，获取通过各个所述题目分类层获得的各个分类，并基于所述各个分类得到所述题目描述信息对应的题目分类特征。

4.根据权利要求3所述的方法，其特征在于，所述通过所述题目表示生成模型中的第二文本编码层和第二池化层获得输入的所述题目解答信息对应的第二向量表示包括：

通过所述题目表示生成模型中的第二文本编码模型得到所述题目解答信息中各词语对应的词向量，并通过所述题目表示生成模型中的第二池化层对所述各词语对应的词向量进行序列维度的求和以得到所述第二向量表示。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述获取所述目标题目中包括的题目描述信息和题目解答信息之前，所述方法还包括：

基于多个样本题目和所述掩码语言模型层得到所述题目表示生成模型生成所述语义特征对应的第一损失函数，基于所述多个样本题目和所述第一文本编码层、所述第一池化层和所述题目分类层得到所述题目表示生成模型生成所述题目分类特征对应的第二损失函数，并基于所述多个样本题目和所述第一文本编码层、所述第一池化层、所述第二文本编码层以及所述第二池化层得到所述题目表示生成模型生成所述题目结构组成特征对应的第三损失函数；

将所述第一损失函数、所述第二损失函数以及所述第三损失函数加权求和得到目标损失函数，基于所述目标损失函数和所述多个样本题目对所述题目表示生成模型进行训练。

6.根据权利要求5所述的方法，其特征在于，所述多个样本题目中各个样本题目中至少包括样本题目描述信息以及样本题目解答信息，所述基于所述多个样本题目和所述第一文本编码层、所述第一池化层、所述第二文本编码层以及所述第二池化层得到第三损失函数包括：

将任一样本题目中的所述样本题目描述信息与所述样本题目解答信息设置为所述任一样本题目的第一训练样本，将所述任一样本题目中的所述样本题目描述信息与所述多个样本题目中的剩余样本信息两两配对以构成所述任一样本题目的第二训练样本，所述剩余样本信息为所述多个样本题目包括的除所述任一样本题目的所述样本题目解答信息之外的其他样本题目解答信息；

基于所述各个样本题目的所述第一训练样本和所述第二训练样本训练所述第一文本编码层、所述第一池化层、所述第二文本编码层和所述第二池化层以获得所述第三损失函数。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述通过所述题目表示生成模型中的特征合并层，基于所述语义特征、所述题目分类特征和所述题目结构组成特征生成所述目标题目的融合特征作为所述目标题目的题目表示之后，所述方法还包括：

获取所述融合特征与多个候选推荐题目中各候选推荐题目对应的候选推荐特征的余弦相似度，基于所述融合特征与各候选推荐特征的余弦相似度从多个候选推荐特征中获取目标推荐特征，将所述目标推荐特征关联的候选推荐题目作为第一候选题目；

通过文本相似度匹配从所述多个候选推荐题目中获得与所述目标题目的文本相似度不小于设定阈值的第二候选题目，并基于所述第一候选题目和所述第二候选题目得到的所述目标题目的相似题目，向目标推送对象发送所述目标题目的相似题目。

8.一种题目表示的获取装置，其特征在于，包括：

获取模块，用于在接收到目标题目时，获取所述目标题目中包括的题目描述信息和题目解答信息，所述题目描述信息包括题干信息和/或选项信息，所述题目解答信息包括答案信息和/或解析信息，将所述目标题目、所述题目描述信息以及所述题目解答信息输入题目表示生成模型；

语义特征生成模块，用于在所述目标题目输入所述题目表示生成模型时，通过所述题目表示生成模型中的掩码语言模型层获取所述目标题目的语义特征；

题目分类特征生成模块，用于在所述题目描述信息输入所述题目表示生成模型时，通过所述题目表示生成模型中的第一文本编码层和第一池化层获得所述题目描述信息对应的第一向量表示，并通过所述题目表示生成模型中的题目分类层，基于所述第一向量表示得到所述目标题目的题目分类特征；

题目结构组成特征生成模块，用于在所述题目解答信息输入所述题目表示生成模型时，通过所述题目表示生成模型中的第二文本编码层和第二池化层获得所述题目解答信息对应的第二向量表示，并基于所述第一向量表示和所述第二向量表示得到所述目标题目的题目结构组成特征；

题目表示生成模块，用于通过所述题目表示生成模型中的特征合并层，基于所述语义特征、所述题目分类特征和所述题目结构组成特征生成所述目标题目的融合特征作为所述目标题目的题目表示。

9.一种计算机设备，其特征在于，包括：处理器、存储器以及网络接口；

所述处理器与所述存储器、所述网络接口相连，其中，所述网络接口用于提供数据通信功能，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行权利要求1-7任一项所述的方法。

11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，所述计算机程序适于由处理器读取并执行，以使得具有所述处理器的计算机设备执行权利要求1至7任一项所述的方法。

Images