CN113918710A - 文本数据处理方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本公开提供了一种文本数据处理方法、装置、电子设备和计算机可读存储介质，涉及计算机技术领域。其中，文本数据处理方法包括：获取待识别的对话文本中与目标意图关联的意图转换特征；提取所述对话文本中与所述目标意图相关的文本嵌入特征；基于分类模型对所述意图转换特征与所述文本嵌入特征进行分类，以得到第一意图分类或第二意图分类。通过本公开的技术方案，基于意图转换特征与文本嵌入特征并采用分类模型进行分类，以得到准确性较高的第一分类意图或第二分类意图，通过引入对话中的意图流转与文本中的嵌入信息，提升了分类结果的准确性。

Description

文本数据处理方法、装置、电子设备和可读存储介质

技术领域

本公开涉及机器学习技术领域，尤其涉及一种文本数据处理方法、一种文本数据处理装置、一种电子设备和一种计算机可读存储介质。

背景技术

随着大数据和人工智能技术的发展，通过对用户的对话进行文本处理，能够得到大量的用户语义标签，基于用户语义能够实现用户对话的意图分类。

相关技术中，通过基于词袋模型或词向量模型(Word-embedding Model)进行用户对话的文本挖掘，并使用分类模型对挖掘结果进行分类，实现用户语义的意图分类，但由于词袋模型使用量化的数字表达、词向量模型适用的文本长度有限，导致意图分类的准确性较低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种文本数据处理方法、装置、电子设备和计算机可读存储介质，至少在一定程度上克服相关技术中分类模型得到的意图分类的准确性较低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种文本数据处理方法，包括：获取待识别的对话文本中与目标意图关联的意图转换特征；提取所述对话文本中与所述目标意图相关的文本嵌入特征；基于分类模型对所述意图转换特征与所述文本嵌入特征进行分类，以得到第一意图分类或第二意图分类。

在本公开的一个实施例中，所述获取待识别的对话文本中与目标意图关联的意图转换特征包括：根据所述对话文本构建对话中意图流转过程的有向图；从所述有向图中提取与所述目标意图关联的所述意图转换特征。

在本公开的一个实施例中，所述根据所述对话文本构建对话中意图流转过程的有向图包括：确定所述对话文本中每个语句对应的意图标签；将所述意图标签转化为意图节点；基于所述意图节点生成所述意图流转过程的有向图。

在本公开的一个实施例中，所述基于所述意图节点生成所述意图流转过程的有向图包括：根据表征不同意图的相邻的所述意图节点之间的语序确定流转方向；基于所述流转方向在相邻的所述意图节点之间生成有向边；基于所述多个意图节点与对应的所述有向边构建所述有向图。

在本公开的一个实施例中，所述从所述有向图中提取与所述目标意图关联的所述意图转换特征包括：采用图嵌入的方式从所述有向图中提取与所述目标意图关联的所述意图转换特征。

在本公开的一个实施例中，所述采用图嵌入的方式从所述有向图中提取与所述目标意图关联的所述意图转换特征包括：采用随机游走的方式将所述多个意图节点配置为节点序列；对所述节点序列中所述目标意图的节点之外的其它节点的无监督任务进行神经网络训练，以得到向量形式的所述意图转换特征。

在本公开的一个实施例中，所述对所述节点序列中所述目标意图的节点之外的其它节点的无监督任务进行神经网络训练，以得到向量形式的所述意图转换特征包括：基于跳字模型对所述其它节点的无监督任务进行所述神经网络训练；基于所述神经网络训练的结果，从所述神经网络的隐藏层中获取所述意图节点的图嵌入特征表示，以作为所述意图转换特征。

在本公开的一个实施例中，所述提取所述对话文本中与所述目标意图相关的文本嵌入特征包括：采用预训练模型从所述对话文本中提取与所述目标意图相关的所述文本嵌入特征。

在本公开的一个实施例中，所述预训练模型为BERT预训练模型；所述采用预训练模型从所述对话文本中提取与所述目标意图相关的所述文本嵌入特征包括：基于所述目标意图，将所述对话文本切割为多个子文本；将所述子文本进行拼接操作，得到拼接文本；将所述拼接文本输入所述BERT预训练模型，以输出所述文本嵌入特征。

在本公开的一个实施例中，所述基于所述目标意图，将所述对话文本切割为多个子文本包括：提取所述对话文本中包括所述目标意图的第一语句、所述第一语句之前的第二语句与所述第一语句之后的第三语句；将所述第一语句、所述第二语句与所述第三语句作为一个所述子文本，执行切割操作，以得到所述多个子文本。

在本公开的一个实施例中，所述将所述拼接文本输入所述BERT预训练模型，以输出所述文本嵌入特征包括：将所述拼接文本输入到所述BERT预训练模型，所述BERT预训练模型包括多个Transformer层，将上一Transformer层输出的嵌入向量作为下一Transformer层的输入向量，以将最后一个Transformer层输出的隐状态作为所述文本嵌入特征；其中，所述文本嵌入特征包括语义特征、语气特征与语态特征中的至少一种。

在本公开的一个实施例中，所述基于分类模型对所述意图转换特征与所述文本嵌入特征进行分类，以得到第一意图分类或第二意图分类包括：获取对话对象的属性信息；对所述属性信息、所述意图转换特征与所述文本嵌入特征进行融合，以生成特征向量；将所述特征向量输入所述分类模型，以基于所述分类模型的分类边界对所述特征向量进行分类，以输出所述第一意图分类或所述第二意图分类。

在本公开的一个实施例中，所述属性信息包括所述对话对象的风险属性信息。

在本公开的一个实施例中，所述文本数据处理方法还包括：根据历史特征向量生成训练样本；基于对所述分类模型的损失函数的最小化处理规则与所述训练样本对逻辑回归模型进行训练，以生成所述分类边界；基于所述分类边界生成所述分类模型。

根据本公开的另一个方面，提供一种文本数据处理装置，包括：获取模块，用于获取待识别的对话文本中与目标意图关联的意图转换特征；提取模块，用于提取所述对话文本中与所述目标意图相关的文本嵌入特征；分类模块，用于基于分类模型对所述意图转换特征与所述文本嵌入特征进行分类，以得到第一意图分类或第二意图分类。

根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的文本数据处理方法。

根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一项的文本数据处理方法。

本公开的实施例所提供的文本数据处理方案，通过挖掘对话文本中意图转换特征与文本嵌入特征，以意图转换特征中体现对话文本中的意图流转，文本嵌入特征在体现对对话文本的语义理解的同时，还能够体现语气与语态，因此基于上述的意图转换特征与文本嵌入特征并采用分类模型进行分类，以得到准确性较高的第一分类意图或第二分类意图，通过引入对话中的意图流转与文本中的嵌入信息，提升了分类结果的准确性。

进一步地，通过在对话文本中挖掘意图转化特征，以基于意图转化特征体现对话文本的上下文之间的关联性，从而提升了分类结果的召回率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开实施例中一种文本数据处理系统结构的示意图；

图2示出本公开实施例中一种文本数据处理方法的流程图；

图3示出本公开实施例中另一种文本数据处理方法的流程图；

图4示出本公开实施例中文本数据处理过程使用的意图转换的有向图的示意图；

图5示本公开实施例中另一种文本数据处理方法的流程图；

图6示出本公开实施例中文本数据处理过程使用的文本嵌入特征提取的示意图；

图7示出本公开实施例中一种文本数据处理过程的示意图；

图8示出本公开实施例中一种文本数据处理装置的示意图；

图9示出本公开实施例中一种电子设备的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本申请提供的方案，通过挖掘对话文本中意图转换特征与文本嵌入特征，以意图转换特征中体现对话文本中的意图流转，文本嵌入特征在体现对对话文本的语义理解的同时，还能够体现语气与语态，因此基于上述的意图转换特征与文本嵌入特征并采用分类模型进行分类，以得到准确性较高的第一分类意图或第二分类意图，通过引入对话中的意图流转与文本中的嵌入信息，提升了分类结果的准确性。

为了便于理解，下面首先对本申请涉及到的几个名词进行解释。

意图识别(Intention Recognition)：属于常见的自然语言理解任务，是一种文本分类问题，通过规则/机器学习/深度学习的等方法将话语打标为标准化的用户意图类别。

文本嵌入(Word2Vec)：将自然语言表示的单词转换为计算机能够理解的向量或矩阵形式的技术。该技术能够考虑多种因素比如词的语义(同义词近义词)、语料中词之间的关系(上下文)和向量的维度(处理复杂度)等。

本申请实施例提供的方案涉及计算机视觉技术的图形处理和图像识别等技术，具体通过如下实施例进行说明。

图1示出本公开实施例中一种文本数据处理系统的结构示意图，包括多个终端120和服务器集群140。

终端120可以是手机、游戏主机、平板电脑、电子书阅读器、智能眼镜、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、智能家居设备、AR(Augmented Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备等移动终端，或者，终端120也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。

其中，终端120中可以安装有用于提供文本数据处理的应用程序。

终端120与服务器集群140之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。

服务器集群140是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。服务器集群140用于为提供文本数据处理的应用程序提供后台服务。可选地，服务器集群140承担主要计算工作，终端120承担次要计算工作；或者，服务器集群140承担次要计算工作，终端120承担主要计算工作；或者，终端120和服务器集群140之间采用分布式计算架构进行协同计算。

在一些可选的实施例中，服务器集群140用于存储文本数据处理信息，譬如，待检测的图像、参考图像库和完成检测的图像。

可选地，不同的终端120中安装的应用程序的用户端是相同的，或两个终端120上安装的应用程序的用户端是不同控制系统平台的同一类型应用程序的用户端。基于终端平台的不同，该应用程序的用户端的具体形态也可以不同，比如，该应用程序用户端可以是手机用户端、PC用户端或者全球广域网(World Wide Web，Web)用户端等。

本领域技术人员可以知晓，上述终端120的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。

可选的，该系统还可以包括管理设备(图1未示出)，该管理设备与服务器集群140之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。

可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(ExtensibleMarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(InternetProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

下面，将结合附图及实施例对本示例实施方式中的文本数据处理方法的各个步骤进行更详细的说明。

图2示出本公开实施例中一种文本数据处理方法流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行，例如如图1中的终端120和/或服务器集群140。在下面的举例说明中，以终端120为执行主体进行示例说明。

如图2所示，终端120执行文本数据处理方法，包括以下步骤：

步骤S202，获取待识别的对话文本中与目标意图关联的意图转换特征。

其中，目标意图可以理解为能够在对话文本中直接提取出的意图，即目标文本表面上体现的意图，目标意图可以为下述步骤S206中的第一意图分类或第二意图分类，如果目标意图与下述的分类结果一致，表明目标意图为真实意图，如果目标意图与下述的分类结果不一致，表明目标意图为虚假意图。

通过对对话文本中上下文关系的解析，确定上下文之间的意图转换，并生成意图转换特征。

步骤S204，提取对话文本中与目标意图相关的文本嵌入特征。

文本嵌入特征包括但不限于语义特征、语气特征与语态特征。

步骤S206，基于分类模型对意图转换特征与文本嵌入特征进行分类，以得到第一意图分类或第二意图分类。

其中，分类模型可以基于逻辑回归模型、支持向量机模型、K最近邻分类模型、高斯朴素贝叶斯模型、分类决策树模型、随机森林分类模型或梯度提升分类树模型等训练生成。

另外，分类模型可以为二分类模型，也可以为两个以上的多分类模型。

在该实施例中，通过挖掘对话文本中意图转换特征与文本嵌入特征，以意图转换特征中体现对话文本中的意图流转，文本嵌入特征在体现对对话文本的语义理解的同时，还能够体现语气与语态，因此基于上述的意图转换特征与文本嵌入特征并采用分类模型进行分类，以得到准确性较高的第一分类意图或第二分类意图，通过引入对话中的意图流转与文本中的嵌入信息，提升了分类结果的准确性。

在本公开的一个实施例中，步骤S202，获取待识别的对话文本中与目标意图关联的意图转换特征包括：

根据对话文本构建对话中意图流转过程的有向图。

其中，通过构建有向图，以将用户对话以句为单位或以词为单位进行拆分后以图表的形式表示。

从有向图中提取与目标意图关联的意图转换特征。

其中，从有向图中提取与目标意图关联的意图转换特征的一种具体实现方式包括：采用图嵌入的方式从有向图中提取与目标意图关联的意图转换特征。

其中，图嵌入(Graph Embedding)是一种将图数据(通常为高维稠密的矩阵)映射为低微稠密向量的过程。图嵌入需要捕捉到图的拓扑结构，顶点与顶点的关系，以及其他的信息(如子图，连边等)。采用图嵌入的处理方式，能够将更多的对话信息表示出来，从而使下游的任务获得更好的表现。

其中，完成有向图的构建后，通过图嵌入的方式提取表示“目的意图”节点，以及目的节点的上下游的意图流转特征，从而使得该节点前后的意图流转信息向量化。

在该实施例中，通过有向图的构建，能够体现用户对话上下文之间的语义关联，进而能够基于关联的语义捕捉对话过程中的目标意图，以及与目标意图相关的转变因素，结合图嵌入的方式，将有向图的图数据映射为向量数据，以生成向量形式的意图转换特征，将包括意图转换特征的待分类数据输入分类模型进行分类，在提升意图分类的准确性的图示，也有利于提升意图分类的召回率与泛化能力。

如图3所示，在本公开的一个实施例中，步骤S202，获取待识别的对话文本中与目标意图关联的意图转换特征具体包括：

步骤S302，确定对话文本中每个语句对应的意图标签。

其中，可以采用自动语音识别(Automatic Speech RecogniTIon)的方式，将用户对话中的词汇内容转换为计算机可读的输入，例如二进制编码或者字符序列，基于二进制编码或者字符序列生成意图标签。

步骤S304，将意图标签转化为意图节点。

基于意图节点生成意图流转过程的有向图，包括：

步骤S306，根据表征不同意图的相邻的意图节点之间的语序确定流转方向。

步骤S308，基于流转方向在相邻的意图节点之间生成有向边。

步骤S310，基于多个意图节点与对应的有向边构建有向图。

其中，由于用户在对话过程中，其上下句话语意图的转变具有关联性，且意图的转变可能会反复出现，因此采用图的方式表示整个对话中用户意图的流转情况。

有向图被定义为节点与边的集合为G＝(V，E)，其中，V为节点，E为边，构图过程中以节点的形式表示意图标签，以得到意图节点，若对话过程中检测到用户意图从A转变为B，则意图节点A与意图节点B之间存在一条有向边A→B，采用这种方式，将对话中用户意图的流转过程采用为有向图形式表示，如图4所示。

步骤S312，采用随机游走的方式将多个意图节点配置为节点序列。

具体地，图嵌入流程的第一步为：采用随机游走的方式生成节点序列，具体地，采用有偏随机游走(Biased Random Walk)的方式，通过超参数p，q实现调节广度优先搜索(Breadth-First Search，BFS)和深度优先搜索(Depth First Search，DFS)在序列生成过程中的权重，从而能够按需捕捉到意图流转过程中的局部特征和长链路的深度特征。

步骤S314，对节点序列中目标意图的节点之外的其它节点的无监督任务进行神经网络训练，以得到向量形式的意图转换特征。

其中，步骤S314对节点序列中目标意图的节点之外的其它节点的无监督任务进行神经网络训练，以得到向量形式的意图转换特征的一种实现方式，包括：

基于跳字模型对其它节点的无监督任务进行神经网络训练；基于神经网络训练的结果，从神经网络的隐藏层中获取意图节点的图嵌入特征表示，以作为意图转换特征。

具体地，图嵌入流程的第二步为：结合上一步生成的节点序列与跳字模型(即skip-gram模型，为Word2Vec模型中的一种)，使用某个节点预测序列中其他节点的无监督任务进行神经网络训练，训练目标为使得每一个节点预测序列前后节点的概率最大，得到目标函数为：

其中u_i为i节点的one-hot向量，N_s(u_i)为以策略s帮助u_i找到的序列中其他节点向量的集合。

通过此无监督训练，能够从神经网络隐藏层中获取节点的图嵌入特征表示。

在该实施例中，在对话具有多轮，并对应产生大量的文本信息的情况下，通过图嵌入的方式，将多轮对话文本抽象成不同意图，并将流转意图流进一步转构为有向图，以捕捉用户对话全流程中的关键信息和意图转变，以基于意图转变，确定用户的实际意图是否与目标意图一致，以提升意图分类的准确性。

在本公开的一个实施例中，步骤S204，提取对话文本中与目标意图相关的文本嵌入特征包括：采用预训练模型从对话文本中提取与目标意图相关的文本嵌入特征。

其中，预训练模型具体为预先通过大量文本语料训练的通用语言理解模型。

下面以BERT预训练模型作为预训练模型，对文本嵌入特征的提取进行具体描述。

具体地，如图5所示，采用预训练模型从对话文本中提取与目标意图相关的文本嵌入特征的一种实现方式，包括：

步骤S502，基于目标意图，将对话文本切割为多个子文本。

其中，基于目标意图，将对话文本切割为多个子文本的具体实现方式包括：提取对话文本中包括目标意图的第一语句、第一语句之前的第二语句与第一语句之后的第三语句；将第一语句、第二语句与第三语句作为一个子文本，执行切割操作，以得到多个子文本。

如图6所示，[CLS]为classification，BERT模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类，可以理解为：与文本中已有的其它字/词相比，这个无明显语义信息的符号会更“公平”地融合文本中各个字/词的语义信息，另外还对输入的两句话之间用一个[SEP]符号作分割，并分别对两句话附加两个不同的文本向量以作区分。

步骤S504，将子文本进行拼接操作，得到拼接文本。

步骤S506，将拼接文本输入BERT预训练模型，以输出文本嵌入特征。

将拼接文本输入BERT预训练模型，以输出文本嵌入特征的一种具体实现方式包括：

具体地，步骤S506将拼接文本输入BERT预训练模型，以输出文本嵌入特征包括：将拼接文本输入到BERT预训练模型，BERT预训练模型包括多个Transformer层，将上一Transformer层输出的嵌入向量作为下一Transformer层的输入向量，以将最后一个Transformer层输出的隐状态作为文本嵌入特征。

其中，文本嵌入特征包括语义特征、语气特征与语态特征中的至少一种。

在该实施例中，通过BERT(Bidirectional Encoder Representation fromTransformers，双向transformer编码器)模型提取待判断语句的文本嵌入(WordEmbedding)特征，具体地，由于BERT对文本长度存在限制，且更适用于短文本分类任务，因此可以将包括目标意图的当前句、前一句以及后一句进行拼接在，输入BERT模型，如图6所示，BERT模型包括第一层602、第二层604，以及第N层606等，每个层均为Transformer层，经由多个Transformer层，每层接受上一层输出的一组词向量的embeddings列表，产生相同数目的embeddings作为输出，并继续输入至下一层，最终获取最后一层的[CLS]对应的多维embedding向量，再通过分类器608与预测模块610，完成文本嵌入特征提取工作。

例如，12个Transformer层能够对应输出768维的embedding向量。

采用该文本嵌入特征的提取方案，能够保留全部文本，包括“嗯”“啊”“吧”等各类语气词与连接词，从而使模型有可能学习到较为细腻的语气语态信息，通过提升文本嵌入特征的提高模型分类的精度。

在该实施例中，使用大规模预训练语言模型，实现用户话语中的语义理解，通过Transformer网络作为模型基本结构，在大规模无监督语料上通过掩蔽语言模型和上下句预测任务实现预训练，与相关技术中的词袋模型相比，基于此方式生成的文本嵌入特征能够全面并且准确的反应用户的实际意图。

在本公开的一个实施例中，基于分类模型对意图转换特征与文本嵌入特征进行分类，以得到第一意图分类或第二意图分类包括：

获取对话对象的属性信息。

其中，对话对象的属性信息主要包括对话对象的风险属性，包括但不限于年龄、性别、消费行为画像、历史信贷行为与用户风险评级等。

对属性信息、意图转换特征与文本嵌入特征进行融合，以生成特征向量。

将特征向量输入分类模型，以基于分类模型的分类边界对特征向量进行分类，以输出第一意图分类或第二意图分类

在该实施例中，通过引入用户的属性信息，能够基于用户的属性信息有效拟合出不同用户在表达同一意图时情感的差异性，以在分类识别中同时兼顾对话的文本特征与用户特征。基于业务经验，在贷后催收场景中，用户出于伪装、敷衍、欺骗等动机表现出一些虚假意图，主要是由于其不具备还款能力或还款意愿。加入能够表征其还款能力和意愿的用户特征，如消费能力、风险评级等信息对识别虚假意图有显著增益。

如图7所示，将有向图702通过向量转化形成意图转换向量708，并提取与目标意图相关的意图转换特征712。

将文本特征704输入BERT模型710，输出文本嵌入特征714。

意图转换特征712、结合文本嵌入特征714，结合用户属性信息706，通过连接模块716，进行二分类处理，得到分类结果718。

在本公开的一个实施例中，文本数据处理方法还包括：根据历史特征向量生成训练样本；基于对所述分类模型的损失函数的最小化处理规则与所述训练样本对逻辑回归模型进行拟合，以生成分类边界；基于所述分类边界生成所述分类模型。

在该实例中，分类模型本质上为有监督二分类。基于以上步骤，我们获取每条样本的用户意图流转情况的图嵌入特征，用户话语的文本嵌入特征，以及用户本身的一些属性类特征。将以上特征输入逻辑回归模型中进行拟合。

本公开描述的文本数据处理方法，不需要过多的语义分析和专家经验，实现一种细粒度语气/语态识别。该方法与传统专家规则方法相比，不需要人工进行大量的语料阅读和语法分析，也不再受限于人工经验可捕捉到的文本特征，能够捕捉到更多的隐式信息。

下面以“承诺还款为真实意图”为第一意图分类，“承诺还款为虚假意图”为第二意图分类，对本公开的数据处理方案进行具体说明。

对于此技术方案，实验以区分用户真实“承诺还款”意图和虚假“承诺还款”意图为例。一般来说，若“承诺还款”意图为真，则用户会在承诺后一周内完成还款动作；若“承诺还款”意图为假，则用户未在承诺后一周内完成还款动作，甚至在更长时间内彻底不还款。

以用户一次多轮对话为一个样本，数据集包含信息如表1所示。

表1

每句话均存在一个语句意图标签，标签如表2所示。

表2

1.模型效果评价

(1)评价指标

对于此类有监督二分类问题，使用以下评价指标：

AUC：AUC是指ROC曲线下的面积，而ROC曲线根据样本的真实类别和预测概率得到的，其x轴是真阳率(True Positive Rate)，y轴是假阳率(False Positive Rate)，适合用于二分类的问题。AUC取值范围在0.5到1之间，AUC越接近于1，其检测方法的真实性越高。

KS：KS是用来衡量模型风险区分能力的指标，它计算好坏样本累计分部之间的差值。好坏样本累计差异越大，KS指标越大，那么模型的风险区分能力越强。

(2)评价结果如表3所示。

表3

实验证明，本方案模型效果较好。

需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图8来描述根据本发明的这种实施方式的文本数据处理装置800。图8所示的文本数据处理装置800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

文本数据处理装置800以硬件模块的形式表现。文本数据处理装置800的组件可以包括但不限于：获取模块802，用于获取待识别的对话文本中与目标意图关联的意图转换特征；提取模块804，用于提取所述对话文本中与所述目标意图相关的文本嵌入特征；分类模块806，用于基于分类模型对所述意图转换特征与所述文本嵌入特征进行分类，以得到第一意图分类或第二意图分类。

下面参照图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930。

其中，存储单元存储有程序代码，程序代码可以被处理单元910执行，使得处理单元910执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元910可以执行如图1中所示的步骤S202、S204和S206，以及本公开的文本数据处理方法中限定的其他步骤。

存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。

存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器940与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器940通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (17)

1.一种文本数据处理方法，其特征在于，包括：

获取待识别的对话文本中与目标意图关联的意图转换特征；

提取所述对话文本中与所述目标意图相关的文本嵌入特征；

基于分类模型对所述意图转换特征与所述文本嵌入特征进行分类，以得到第一意图分类或第二意图分类。

2.根据权利要求1所述的文本数据处理方法，其特征在于，所述获取待识别的对话文本中与目标意图关联的意图转换特征包括：

根据所述对话文本构建对话中意图流转过程的有向图；

从所述有向图中提取与所述目标意图关联的所述意图转换特征。

3.根据权利要求2所述的文本数据处理方法，其特征在于，所述根据所述对话文本构建对话中意图流转过程的有向图包括：

确定所述对话文本中每个语句对应的意图标签；

将所述意图标签转化为意图节点；

基于所述意图节点生成所述意图流转过程的有向图。

4.根据权利要求3所述的文本数据处理方法，其特征在于，所述基于所述意图节点生成所述意图流转过程的有向图包括：

根据表征不同意图的相邻的所述意图节点之间的语序确定流转方向；

基于所述流转方向在相邻的所述意图节点之间生成有向边；

基于所述多个意图节点与对应的所述有向边构建所述有向图。

5.根据权利要求3所述的文本数据处理方法，其特征在于，所述从所述有向图中提取与所述目标意图关联的所述意图转换特征包括：

采用图嵌入的方式从所述有向图中提取与所述目标意图关联的所述意图转换特征。

6.根据权利要求5所述的文本数据处理方法，其特征在于，所述采用图嵌入的方式从所述有向图中提取与所述目标意图关联的所述意图转换特征包括：

采用随机游走的方式将所述多个意图节点配置为节点序列；

对所述节点序列中所述目标意图的节点之外的其它节点的无监督任务进行神经网络训练，以得到向量形式的所述意图转换特征。

7.根据权利要求6所述的文本数据处理方法，其特征在于，所述对所述节点序列中所述目标意图的节点之外的其它节点的无监督任务进行神经网络训练，以得到向量形式的所述意图转换特征包括：

基于跳字模型对所述其它节点的无监督任务进行所述神经网络训练；

基于所述神经网络训练的结果，从所述神经网络的隐藏层中获取所述意图节点的图嵌入特征表示，以作为所述意图转换特征。

8.根据权利要求1所述的文本数据处理方法，其特征在于，所述提取所述对话文本中与所述目标意图相关的文本嵌入特征包括：

采用预训练模型从所述对话文本中提取与所述目标意图相关的所述文本嵌入特征。

9.根据权利要求8所述的文本数据处理方法，其特征在于，所述预训练模型为BERT预训练模型；

所述采用预训练模型从所述对话文本中提取与所述目标意图相关的所述文本嵌入特征包括：

基于所述目标意图，将所述对话文本切割为多个子文本；

将所述子文本进行拼接操作，得到拼接文本；

将所述拼接文本输入所述BERT预训练模型，以输出所述文本嵌入特征。

10.根据权利要求9所述的文本数据处理方法，其特征在于，所述基于所述目标意图，将所述对话文本切割为多个子文本包括：

提取所述对话文本中包括所述目标意图的第一语句、所述第一语句之前的第二语句与所述第一语句之后的第三语句；

将所述第一语句、所述第二语句与所述第三语句作为一个所述子文本，执行切割操作，以得到所述多个子文本。

11.根据权利要求9所述的文本数据处理方法，其特征在于，所述将所述拼接文本输入所述BERT预训练模型，以输出所述文本嵌入特征包括：

将所述拼接文本输入到所述BERT预训练模型，所述BERT预训练模型包括多个Transformer层，将上一Transformer层输出的嵌入向量作为下一Transformer层的输入向量，以将最后一个Transformer层输出的隐状态作为所述文本嵌入特征；

其中，所述文本嵌入特征包括语义特征、语气特征与语态特征中的至少一种。

12.根据权利要求1至11中任一项所述的文本数据处理方法，其特征在于，所述基于分类模型对所述意图转换特征与所述文本嵌入特征进行分类，以得到第一意图分类或第二意图分类包括：

获取对话对象的属性信息；

对所述属性信息、所述意图转换特征与所述文本嵌入特征进行融合，以生成特征向量；

将所述特征向量输入所述分类模型，以基于所述分类模型的分类边界对所述特征向量进行分类，以输出所述第一意图分类或所述第二意图分类。

13.根据权利要求12所述的文本数据处理方法，其特征在于，所述属性信息包括所述对话对象的风险属性信息。

14.根据权利要求12所述的文本数据处理方法，其特征在于，所述文本数据处理方法还包括：

根据历史特征向量生成训练样本；

基于对所述分类模型的损失函数的最小化处理规则与所述训练样本对逻辑回归模型进行训练，以生成所述分类边界；

基于所述分类边界生成所述分类模型。

15.一种文本数据处理装置，其特征在于，包括：

获取模块，用于获取待识别的对话文本中与目标意图关联的意图转换特征；

提取模块，用于提取所述对话文本中与所述目标意图相关的文本嵌入特征；

分类模块，用于基于分类模型对所述意图转换特征与所述文本嵌入特征进行分类，以得到第一意图分类或第二意图分类。

16.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～14中任意一项所述的文本数据处理方法。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～14中任意一项所述的文本数据处理方法。

Images