CN114416970A - 带角色的文本分类模型以及对话文本分类方法及装置 - Google Patents
带角色的文本分类模型以及对话文本分类方法及装置 Download PDFInfo
- Publication number
- CN114416970A CN114416970A CN202111477810.2A CN202111477810A CN114416970A CN 114416970 A CN114416970 A CN 114416970A CN 202111477810 A CN202111477810 A CN 202111477810A CN 114416970 A CN114416970 A CN 114416970A
- Authority
- CN
- China
- Prior art keywords
- statement
- vector
- text
- sentence
- context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013145 classification model Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 175
- 230000015654 memory Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
提供带角色的文本分类模型以及对话文本分类方法及装置。该模型包括:语句编码层、语句匹配层、语句分类层和对话分类层;对话文本经过语句编码层,其中的多个语句被编码为多个语句向量;多个语句向量经过语句匹配层,被分别归类为至少两个角色,构建每个语句向量的上下文语义表示,并基于每个语句向量及其对应的上下文语义表示构建上下文增强的语句向量;上下文增强的语句向量经过语句分类层,与相应的角色向量进行拼接,得到带角色信息的语句向量,并得到对应的风险预测结果;所有语句向量的风险预测结果经过对话分类层,被聚合得到对话文本的风险预测结果。该模型将对话文本中的角色和语句关联建模,从而得到与角色相关的风险预测结果。
Description
技术领域
本公开涉及计算机技术领域,更具体而言,涉及一种带角色的文本分类模型以 及对话文本分类方法及装置。
背景技术
近年来,随着互联网的高速发展,人类进入大数据时代,每天都会产生海量的 数据,因此对海量数据进行分析、获取有价值的信息己成为学术界和工业界共同关 心的热点,相应地文本处理技术也成为大众关注的热点,并由此产生很多落地应用。 例如,采用文本分类方法为文档输出分类标签。
图1是一个智能客服系统的界面图。智能客服系统得到对话文本11,并可将对 话文本11输出给文本分类模型,文本分类模型生成整个文本的风险预测结果。但是 由于现有的文本分类模型将对话文本视为普通文本进行处理,没有考虑对话中的各 种角色对风险预测结果的影响,因此会出现类如预测错位的错误,例如,将图上的 “客户”辱骂预测成“客服”辱骂。
发明内容
有鉴于此,本公开旨在提供一种带角色的文本分类模型以及对话文本分类方法及装置,以解决现有技术中存在的问题。
根据本公开的第一方面,提供一种带角色的文本分类模型,包括:语句编码层、 角色选择的语句匹配层、语句分类层和对话分类层;
输入给所述文本分类模型的对话文本经过所述语句编码层,所述对话文本中的多个语句被编码为多个语句向量;
所述多个语句向量经过所述角色选择的语句匹配层,被分别归类为至少两个角色,构建每个语句向量对应的上下文语义表示,并基于每个语句向量及其对应的上 下文语义表示构建对应的归类于相应角色的上下文增强的语句向量;
所述上下文增强的语句向量经过所述语句分类层,与相应的角色向量进行拼接,得到每个带角色信息的语句向量,并进而得到每个带角色信息的语句向量的风险预 测结果;
所述每个带角色信息的语句向量的风险预测结果经过所述对话分类层,被聚合得到所述对话文本的风险预测结果。
在一些实施例中,所述对话文本中的多个语句被编码为多个语句向量包括:
采用BiLSTM模型,计算所述对话文本中的每个句子中的每个字符在句子中的上下文信息表示,通过注意力机制,计算每个句子的每个字符的上下文信息表示的权 重,并据此得到每个句子对应的中间语句向量;
采用BiLSTM模型,计算所述对话文本中的每个句子在所述对话文本中的上下文信息表示,然后基于每个句子的上下文信息表示和其对应的中间语句向量得到最终 的语句向量。
在一些实施例中,所述构建每个语句向量对应的上下文语义表示包括:
通过该语句向量对应的角色之外的与其相关角色的语句向量的权重求和获得 该语句向量的上下文语义表示;
则所述基于每个语句向量及其对应的上下文语义表示构建对应的归类于相应 角色的上下文增强的语句向量包括:
将基于每个语句向量及其对应的上下文语义表示通过拼接组织在一起,以获得对应的归类于相应角色的上下文增强的语句向量。
在一些实施例中,所述得到每个带角色信息的语句向量的风险预测结果包括:
通过将每个带角色信息的语句向量输入给激活函数,得到每个带角色信息的语句向量的风险预测结果,所述激活函数针对多个不同类型风险得到对应的多个可能 性预测。
在一些实施例中,所述聚合得到所述对话文本的风险预测结果包括:
针对每个风险标签,计算每个带角色信息的语句向量的注意力权重;
针对每个风险标签,通过权重求和计算得到所述对话文本的风险预测可能性。
在一些实施例中,还包括:将风险预测可能性超过设定阈值的风险标签作为所 述对话文本的风险标签。
根据本公开的第二方面,提供一种对话文本分类方法,包括:
获取对话文本,所述对话文本包括至少两个角色的一轮对话;
将所述对话文本输入上述的带角色的文本分类模型,以获得所述对话文本的风险预测结果。
根据本公开的第三方面,提供一种对话文本分类装置,包括:
对话文本获取模块,用于获取对话文本,所述对话文本包括至少两个角色的一 轮对话;
文本分类模块,用于将所述对话文本输入给带角色的文本分类模型,以获得所 述对话文本的风险预测结果,
其中,所述带角色的文本分类模型包括语句编码层、角色选择的语句匹配层、 语句分类层和对话分类层,
在所述语句编码层,将所述对话文本中的多个语句编码为多个语句向量;
在所述角色选择的语句匹配层中,将所述多个语句向量分别归类为所述至少两个角色,构建每个语句向量对应的上下文语义表示,并基于每个语句向量及其对应 的上下文语义表示构建对应的归类于相应角色的上下文增强的语句向量;
在所述语句分类层,将每个上下文增强的语句向量与相应的角色向量进行拼接,以得到每个带角色信息的语句向量,并进而得到每个带角色信息的语句向量的风险 预测结果;
在所述对话分类层,对所有带角色信息的语句向量的风险预测结果进行聚合, 以得到所述对话文本的风险预测结果。
根据本公开的第四方面,提供一种电子设备,包括存储器和处理器,所述存储 器存储有可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现上 述任意一项所述的对话文本分类方法。
根据本公开的第五方面,提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述任意一项所述的对话文 本分类方法。
本公开实施例提供了对话文本分类方法,将对话文本中的角色和语句进行关联建模,并针对带角色信息的语句进行风险预测,由此提高了风险预测的针对性,并 解决了识别错位的问题。
附图说明
通过参考以下附图对本公开实施例的描述,本公开的上述以及其它目的、特征 和优点将更为清楚,在附图中:
图1是一个智能客服系统的界面图。
图2示出了模型训练和应用的场景示意图;
图3示出了一个可作为训练装置和执行装置的服务器的结构图;
图4示出了根据本公开一实施例的对话文本分类方法的流程图;
图5是本公开一实施例提供的带角色的文本分类模型的结构示意图;
图6是本公开一实施例提供的对话文本分类装置的结构示意图。
具体实施方式
以下基于实施例对本公开进行描述,但是本公开并不仅仅限于这些实施例。在 下文对本公开的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员 来说没有这些细节部分的描述也可以完全理解本公开。为了避免混淆本公开的实质, 公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
本公开的应用场景和应用的体系架构
图2示出了模型训练和应用的场景示意图。该示意图包括训练设备110和执行 设备120。训练设备110包括待训练的带角色的文本分类模型111和模型训练装置 112,执行设备120用于运行已经训练好的带角色的文本分类模型113,已经训练好 的带角色的文本分类模型113对对话文本进行识别分类,并输出风险预测结果。
众所周知,从零开始的模型训练是在权重参数为初始值的神经网络结构上进行的,这个过程需要耗费大量资源,包括但不限于大量的训练样本、大量的计算机资 源和较长训练时间。但是并不是所有的模型训练过程都需要从零开始。一些训练可 从一个预训练模型开始。预训练模型由于经过了在先的训练得到了一组较好的权重 参数,但在将其应用到特定任务之前,还需要对权重参数进行微调(Fine-tune), 微调包括修改输入和输出层、采集特定任务下的训练样本进行增量训练等。微调的 目的是使得输出模型能更好的适应所述特定任务。图上的待训练的文本分类模型111 可以是一个预训练模型,该模型包括现有的文本分类模型中的某些层以及用于将角 色信息融入根据对话文本得到的语句向量的新增层。有了预训练模型之后,可以利 用模型训练装置112对其进行增量训练,增量训练结束后,得到已经训练好的带角 色的文本分类模型113。这里模型训练装置112是通过计算机程序实现的虚拟装置, 其功能一般包括:执行待训练的文本分类模型并根据损失函数不断地调整模型的权 重参数。得到文本分类模型113之后,就可以将其部署到执行设备120上以进行实 际环境中的对对话文本进行识别分类
图3是一个示例性的服务器300的结构示意图。该设备可作为训练设备110,还 可作为执行设备130。如图上所示,服务器300包括经由总线305耦接的调度器301、 存储单元303、I/O接口304、多个模型加速单元302。
存储单元303可以包括易失性存储单元形式的可读介质,例如随机存取存储单 元(RAM)和/或高速缓存存储单元。存储单元303还可以包括非易失性存储单元形 式的可读介质,例如,只读存储单元(ROM)、闪存存储器和各种磁盘存储器。
存储单元303可以存储各种程序模块和数据,各种程序模块包括操作系统、提 供诸如文本处理、视频播放、软件编辑和编译等功能的应用程序。这些应用程序的 可执行代码被调度器301从存储单元303中读出并执行,以实现这些程序模块预定 的操作。调度器301一般为处理器(CPU)。在本例中,存储单元303存储的程序模 块和数据包括待训练的带角色的文本分类模型111和已经训练好的带角色的文本分 类模型113。带角色的文本分类模型111和已经训练好的带角色的文本分类模型113 以静态文件或者动态的代码文件的形式存在。此外,样本数据和实际数据都可以存 储在存储单元303。
总线305可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存 储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任 意总线结构的局域总线。
服务器300可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等) 通信,还可与一个或者多个使得用户能与该服务器300交互的设备通信,和/或与使 得服务器300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调 制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口304进行。并且, 服务器300还可以通过网络适配器(未示出)与一个或者多个网络(例如局域网(LAN), 广域网(WAN)和/或公共网络,例如因特网)通信。例如通过网络适配器,图1中 的终端103可访问服务器300。应当明白,尽管图中未示出,基于服务器300可使 用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、 外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
如图上所示,服务器300包括多个模型加速单元302。传统的处理器架构设计, 逻辑控制方面十分有效,而在大规模并行计算方面则效率不够,因此对模型计算并 不高效。为此,开发出模型加速单元,不同模型可适配于不同的模型加速单元。不 同的模型加速单元例如为神经网络加速单元(NPU)。NPU采用数据驱动并行计算的 架构,用于处理各神经网络节点的大量运算(例如卷积、池化等)的处理单元。再 或者为图形处理单元(GPU),用于专门做图像和图形相关的运算工作,由于图形处 理单元采用大量用于专门做图形计算的计算单元,使显卡减少了对CPU的依赖,承 担了CPU原来承担的一些计算密集的图形图像处理工作,因此对于图像数据的处理 效率大大提高。
多个模型加速单元302接受调度器301的控制。调度器301控制多个模型加速 单元302协作执行模型的可执行代码并从存储单元中读取数据。例如,如果训练设 备110采用如图3的服务器300,则由模型加速单元302执行模型得到训练样本的 预测结果被反馈给调度器301,由调度器301计算损失值并调整模型中的权重参数, 如果执行设备130采用如图3的服务器300,则由模型加速单元302执行模型得到 例如如图1所示的对话文本11的预测结果,并将预测结果提供给由调度器301运行 的智能客服系统,以便于智能客户系统采取相应措施。
根据本公开实施例的对话文本分类方法
根据本公开的一个实施例,提供了一种对话文本分类方法。该方法的操作可由 图3所示的服务器执行。图4是该方法的流程图,具体包括以下步骤。
在步骤S401中,获取对话文本,所述对话文本包括至少两个角色的一轮对话。
在步骤S402中,将对话文本输入给带角色的文本分类模型,以获得对话文本的 风险预测结果。
本实施例中的带角色的文本分类模型即为图2中的已经训练好的带角色的文本分类模型113。其中,该带角色的文本分类模型包括语句编码层、角色选择的语句 匹配层、语句分类层和对话分类层。
在语句编码层,将对话文本中的多个语句编码为多个语句向量。
在角色选择的语句匹配层中,将多个语句向量归类为至少两个角色,构建每个 语句向量对应的上下文语义表示,并基于每个语句向量及其对应的上下文语义表示 构建对应的归类为相应角色的上下文增强的语句向量。
在语句分类层,将归类于相应角色的上下文增强的语句向量与相应的角色向量进行拼接,以得到带角色信息的语句向量,进而得到每个带角色信息的语句向量的 风险预测结果。
在对话分类层,对所有带角色信息的语句向量的风险预测结果进行聚合,以得 到对话文本的风险预测结果。
图5示出了带角色的文本分类模型的结构图。如图5所示,该模型包括语句编 码层501、角色选择的语句匹配层502、语句分类层503和对话分类层504。其中, 语句分类层503可以被视为能够识别并自适应地包含与输入的对话文本涉及的多个 角色分别匹配的多个角色语句分类层。为了示例,图上示出了第一角色语句分类层 5031和第二角色语句分类层5032。
语句编码层501用于将对话文本的多个句子分别编码为多个语句向量h1,..., hL。由于传统的语句向量的生成方式是基于字向量取加权平均得到语句向量,但是 这种生成方式没有结合上下文的语义,例如同一个字符在不同的语境意思可能不一 样,但却生成同样的语句向量。因此作为一个优选的方式,语句编码层501以BiLS TM为基础构建,并具体包括以BiLSTM为基础的字编码器和以BiLSTM为基础的句子 编码器。每个对话文本d∈D包括L个句子[u1,...,uL]。每个句子ut对应一个BiLST M模块,每个BiLSTM模块用于获得对应句子的语句向量,具体而言,每个字符在句 子中的隐含状态被获取,该隐含状态可视为相应字符在句子中的上下文信息表示, 然后字符级的注意力机制计算所有字符的隐含状态的权重,并根据权重的总和得到 语句向量。相应地,L个句子[u1,...,uL]得到L个语句向量[x1,...,xL]。L 个语句向量[x1,...,xL]被输入给另一个以BiLSTM为基础的句子编码器,通过句 子编码器捕捉每个句子在对话文本中的上下文信息,并基于以下公式产生语句向量[h1,...,hL],其中,BILSTM对输入的句子向量按顺序操作,ht-1表示句子的上下文 信息,t∈[1,...,L]。由此,语句编码层501对于对话文本中的每个语句,得到带有 该句子的上下文信息的语句向量。
ht=BiLSTM(xt,ht-1) (1)
但除此之外,语句编码层还存在其他实施方式,例如可采用BERT编码。BERT是 一个提供很好的初始权重参数的预训练模型,经过微调能够得到适用于本实施例的 权重参数。
在角色选择的语句匹配层502,先对句子按照角色进行分组,对于每个语句向量,通过注意力机制查找到与其最相关的其他角色的语句向量并据此生成该语句向量的 上下文语义表示,然后根据句子向量与其对应的上下文语义表示生成上下文增强的 语句向量。
以图1为例,首先将向量归属到两个角色下,即将向量h1,...,hL分成两个角色 下的对应的两个组:客户组和客服组。假设客户组的语句向量为:对应 于图上的h1,h3,ht。客服组的语句向量为:对应于图上的h2,h4,hL。然后 语句匹配层502对于客户组内的任意一个语句向量,从客服语句向量h2,h4,hL中查 找相关的客服语句,同样,对于客服组的任意一个客服语句,从客户语句h1,h3,ht中 查找相关的客户语句集合,再然后在客服组和客户组,通过向量拼接获得上下文增 强的客户语句向量和上下文增强的客服语句向量。也就是说,通过与每个客户语句 向量相关的客服语句向量集合表征与该客户语句向量对应的上下文增强的客户语句 向量,同样,通过与每个客服语句向量相关的客户语句向量集合表征与该客服语句 向量对应的上下文增强的客服语句向量。
在一个实施例中,归属于同一角色的各个语句向量可统一采用与该角色相关的另一个角色的语句向量生成的上下文语义表示。这种在对话文本中只包括两个角色 时非常适用。
其中,Lc表示对话文本中的客户句子的数量,βk∈[0,1]表示公式(3)计算得到 的注意力权重,是客户组的语句向量,和由模型 训练学习到的模型参数,k是索引。是形状为K一维实数空间,是K*2K 的二维实数空间,T是对参数矩阵v1求转置运算。
其中,Ls是对话文本d中的客服句子的数量,Lc+Ls=L,且γk∈[0,1]表示公 式(5)计算出来的注意力权重,和为由模型训练 学习到的模型参数,是一维实数空间,是二维实数空间,T是对参数矩阵v2做转置操作。
在语句分类层,虽然接收到的上下文增强的客户语句向量和上下文增强的客服语句向量已经根据角色进行了分类,但是该层在分类过程中将继续考虑了角色信息 的作用,将上下文增强的语句向量与相应的角色组织到一起,并针对组织得到的向 量获得风险预测结果。图上将语句分类层503示例性的分成了客户角色语句分类层 5031和客服角色分类层5032。如果设置客户角色为[0,1],客服角色为[1,0],则客 户角色语句分类层5031将客户角色[0,1]与接收到的上下文增强的客户语句向量组 织到一起(例如将向量拼接到一起),客服角色语句分类层5032将客服角色[1,0] 与接收到的上下文增强的客服语句向量组织到一起(例如将向量拼接到一起),然 后根据组织之后的语句向量得到风险预测结果。
在一个实施例中,语句分类层相应的公式如下表示。客户角色向量为rc=[0,1]和客服角色向量rs=[1,0],输出的上下文增强的语句向量Ox和角色向量rx经向量 拼接得到与角色相关的语句向量,如公式(7)所示,然后采用公式(8)的线性变 换函数和激活函数sigmoid去获取每个句子的风险预测结果。因而有如下公式:
P=δ(U3O+b3) (8)
其中,是一个激活(sigmoid)函数,和是 经由训练学习到的参数,P∈R|Ω|×L表征不同类型风险的可能性预测,R|Ω|×L表示参 数矩阵形状为|Ω|×L,而Ω表示包括多个风险类型的风险类型集合,|Ω|为风险类型 数目。也就是说,对于每个语句向量,得到与多个类型风险对应的多个可能性预测。
在对话分类层504,接收句子级别的语句向量的风险可能性预测结果,然后对句子级别的风险可能性预测结果进行聚合,以得到对话文本的风险预测结果。
Q=softmax(Vtanh(U4O+b4)) (9)
其中,和是经由模型训练学习到的参数,是一个与风险标签类型相关的注意力权重(label-wise attention weights),以便为每条语句的不同风险类型赋予不同权重。最终,使用以下公式基于各个语句 向量的风险预测可能性得到对话文本的风险预测结果
总结而言,针对每个风险标签,计算出每个带角色信息的语句向量的风险预测 可能性,然后针对每个风险标签,通过权重求和计算得到对话文本针对该风险标签 的风险预测可能性,然后将风险预测可能性大于设定阈值的风险标签输出。
关于上述的参数学习,通过样本训练以最小化风险预测可能性和基本事实的交叉熵来得到模型参数,其公式如下:
在一些实施例中,由于上述实施例已经将语句按照角色区分开来,因此,可以 针对整个对话文本产生只产生某个或某些角色的风险标签,例如针对图1的智能客 服系统的对话文本进行风险预测,只分析并只产生关于客户的风险标签(因为客服 的风险极低)。
表1是采用本公开的模型和采用其他模型对对话文本进行文本分类和风险识别得到的比对结果表格。考虑四种对话风险类型:客户抱怨CC、客户辱骂CA、客服辱 骂SA、无风险NR,并使用Fscore-1(即F1)来预测每种标签下的二分类性能,同 时考虑所有标签的平均结果Macro F1(即Mac F1)和Precision@4(即P@4)来评价 多标签分类结果。
表格1
模型 | CC FI | CA FI | SA FI | NR FI | Mac FI | P@4 |
LSTM | 90.69% | 76.75% | 83.60% | 85.71% | 84.18% | 0.9223 |
HTrans | 91.76% | 75.06% | 86.56% | 85.23% | 84.15% | 0.9241 |
HAN | 91.59% | 77.49% | 86.13% | 85.51% | 85.18% | 0.9284 |
HWN | 87.09% | 88.97% | 93.82% | 80.82% | 87.67% | 0.9359 |
DRDN | 91.17% | 92.58% | 96.76% | 86.27% | 91.65% | 0.9571 |
通过表格可以看出,LSTM和HTrans执行的效果最差,这是因为它们都忽视了对 话文本中的交互关系。HWN考虑了对话文本中的交互关系,但是忽视了角色和风险 类型的相关性。DRDN是本公开自行构建的模型结构,从表中可以看出其执行效果最 好,因为它同时考虑了角色与语句的匹配以及基于角色的风险预测。
图6是本公开实施例提供的对话文本分类装置的结构图。如图上所示,对话文 本分类装置600包括对话文本获取模块601和文本分类模块602。
对话文本获取模块601用于获取对话文本,对话文本包括至少两个角色的一轮 对话。文本分类模块602,用于将对话文本输入给带角色的文本分类模型,以获得 对话文本的风险预测结果,
其中,带角色的文本分类模型包括语句编码层、角色选择的语句匹配层、语句 分类层和对话分类层,在语句编码层,将对话文本中的多个语句编码为多个语句向 量;在角色选择的语句匹配层中,将多个语句向量归类为至少两个角色,构建每个 语句向量对应的上下文语义表示,并基于每个语句向量及其对应的上下文语义表示 构建对应的归属于相应角色的上下文增强的语句向量;在语句分类层,将归类于相 应角色的上下文增强的语句向量与相应的角色向量进行拼接,以得到带角色信息的 语句向量,进而得到每个带角色信息的语句向量的风险预测结果;在对话分类层, 对所有带角色信息的语句向量的风险预测结果进行聚合,以得到对话文本的风险预 测结果。
由于带角色的文本分类模型的实现细节在上文的实施例均已有详细介绍,为节约篇幅,故这里不详细描述。
另外,本公开实施例还提供一个计算机可读介质,用于存储实现上述对话文本 分类的计算机可读指令。
本公开的商业价值
本公开实施例提供了对话文本分类方法。相比现有技术,该方法将对话文本中 的角色和语句进行关联建模从而获得角色相关的风险预测结果。该模型对于对话文 本的分类和风险识别具有现实的应用价值和经济价值。
需要领会,以上所述仅为本公开的优选实施例,并不用于限制本公开,对于本 领域技术人员而言,本说明书的实施例存在许多变型。凡在本公开的精神和原理之 内所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
应该理解,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间 相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同 之处。
应该理解,上述对本说明书特定实施例进行了描述。其它实施例在权利要求书 的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施 例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一 定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多 任务处理和并行处理也是可以的或者可能是有利的。
应该理解,本文用单数形式描述或者在附图中仅显示一个的元件并不代表将该元件的数量限于一个。此外,本文中被描述或示出为分开的模块或元件可被组合为 单个模块或元件,且本文中被描述或示出为单个的模块或元件可被拆分为多个模块 或元件。
还应理解,本文采用的术语和表述方式只是用于描述,本说明书的一个或多个 实施例并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示 意和描述(或其中部分)的等效特征,应认识到可能存在的各种修改也应包含在权利 要求范围内。其他修改、变化和替换也可能存在。相应的,权利要求应视为覆盖所 有这些等效物。
Claims (10)
1.一种带角色的文本分类模型,包括:语句编码层、角色选择的语句匹配层、语句分类层和对话分类层;
输入给所述文本分类模型的对话文本经过所述语句编码层,所述对话文本中的多个语句被编码为多个语句向量;
所述多个语句向量经过所述角色选择的语句匹配层,被分别归类为至少两个角色,构建每个语句向量对应的上下文语义表示,并基于每个语句向量及其对应的上下文语义表示构建对应的归类于相应角色的上下文增强的语句向量;
所述上下文增强的语句向量经过所述语句分类层,与相应的角色向量进行拼接,得到每个带角色信息的语句向量,并进而得到每个带角色信息的语句向量的风险预测结果;
所述每个带角色信息的语句向量的风险预测结果经过所述对话分类层,被聚合得到所述对话文本的风险预测结果。
2.根据权利要求1所述的文本分类模型,其中,所述对话文本中的多个语句被编码为多个语句向量包括:
采用BiLSTM模型,计算所述对话文本中的每个句子中的每个字符在句子中的上下文信息表示,通过注意力机制,计算每个句子的每个字符的上下文信息表示的权重,并据此得到每个句子对应的中间语句向量;
采用BiLSTM模型,计算所述对话文本中的每个句子在所述对话文本中的上下文信息表示,然后基于每个句子的上下文信息表示和其对应的中间语句向量得到最终的语句向量。
3.根据权利要求1所述的文本分类模型,其中,所述构建每个语句向量对应的上下文语义表示包括:
通过该语句向量对应的角色之外的与其相关角色的语句向量的权重求和获得该语句向量的上下文语义表示;
则所述基于每个语句向量及其对应的上下文语义表示构建对应的归类于相应角色的上下文增强的语句向量包括:
将基于每个语句向量及其对应的上下文语义表示通过拼接组织在一起,以获得对应的归类于相应角色的上下文增强的语句向量。
4.根据权利要求1所述的文本分类模型,其中,所述得到每个带角色信息的语句向量的风险预测结果包括:
通过将每个带角色信息的语句向量输入给激活函数,得到每个带角色信息的语句向量的风险预测结果,所述激活函数针对多个不同类型风险得到对应的多个可能性预测。
5.根据权利要求4所述的文本分类模型,其中,所述聚合得到所述对话文本的风险预测结果包括:
针对每个风险标签,计算每个带角色信息的语句向量的注意力权重;
针对每个风险标签,通过权重求和计算得到所述对话文本的风险预测可能性。
6.根据权利要求5所述的文本分类模型,还包括:将风险预测可能性超过设定阈值的风险标签作为所述对话文本的风险标签。
7.一种对话文本分类方法,包括:
获取对话文本,所述对话文本包括至少两个角色的一轮对话;
将所述对话文本输入所述权利要求1-6中任一所述的带角色的文本分类模型,以获得所述对话文本的风险预测结果。
8.一种对话文本分类装置,包括:
对话文本获取模块,用于获取对话文本,所述对话文本包括至少两个角色的一轮对话;
文本分类模块,用于将所述对话文本输入给带角色的文本分类模型,以获得所述对话文本的风险预测结果,
其中,所述带角色的文本分类模型包括语句编码层、角色选择的语句匹配层、语句分类层和对话分类层,
在所述语句编码层,将所述对话文本中的多个语句编码为多个语句向量;
在所述角色选择的语句匹配层中,将所述多个语句向量分别归类为所述至少两个角色,构建每个语句向量对应的上下文语义表示,并基于每个语句向量及其对应的上下文语义表示构建对应的归类于相应角色的上下文增强的语句向量;
在所述语句分类层,将每个上下文增强的语句向量与相应的角色向量进行拼接,以得到每个带角色信息的语句向量,并进而得到每个带角色信息的语句向量的风险预测结果;
在所述对话分类层,对所有带角色信息的语句向量的风险预测结果进行聚合,以得到所述对话文本的风险预测结果。
9.一种电子设备,包括存储器和处理器,所述存储器存储有可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求7所述的对话文本分类方法。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求7所述的对话文本分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111477810.2A CN114416970A (zh) | 2021-12-06 | 2021-12-06 | 带角色的文本分类模型以及对话文本分类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111477810.2A CN114416970A (zh) | 2021-12-06 | 2021-12-06 | 带角色的文本分类模型以及对话文本分类方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114416970A true CN114416970A (zh) | 2022-04-29 |
Family
ID=81265507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111477810.2A Pending CN114416970A (zh) | 2021-12-06 | 2021-12-06 | 带角色的文本分类模型以及对话文本分类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114416970A (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110781302A (zh) * | 2019-10-23 | 2020-02-11 | 清华大学 | 文本中事件角色的处理方法、装置、设备及存储介质 |
KR20210146089A (ko) * | 2020-05-26 | 2021-12-03 | 주식회사 케이티 | 대화 스타일링 서비스를 위한 다중 페르소나 모델 생성 방법 및 이를 이용한 대화 스타일링 방법 |
-
2021
- 2021-12-06 CN CN202111477810.2A patent/CN114416970A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110781302A (zh) * | 2019-10-23 | 2020-02-11 | 清华大学 | 文本中事件角色的处理方法、装置、设备及存储介质 |
KR20210146089A (ko) * | 2020-05-26 | 2021-12-03 | 주식회사 케이티 | 대화 스타일링 서비스를 위한 다중 페르소나 모델 생성 방법 및 이를 이용한 대화 스타일링 방법 |
Non-Patent Citations (2)
Title |
---|
MAHMOUD AZAB 等: "Representing Movie Characters in Dialogues", 《COMPUTATIONAL NATURAL LANGUAGE LEARNING》, 30 November 2019 (2019-11-30), pages 99 * |
祝娜 等: "语义角色标注及其在科技情报分析中的应用研究", 《情报理论与实践》, 20 January 2015 (2015-01-20), pages 98 - 103 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109101537B (zh) | 基于深度学习的多轮对话数据分类方法、装置和电子设备 | |
CN108959246B (zh) | 基于改进的注意力机制的答案选择方法、装置和电子设备 | |
CN109033068B (zh) | 基于注意力机制的用于阅读理解的方法、装置和电子设备 | |
CN108959482B (zh) | 基于深度学习的单轮对话数据分类方法、装置和电子设备 | |
CN110457718B (zh) | 一种文本生成方法、装置、计算机设备及存储介质 | |
CN111475642A (zh) | 一种文本分类方法、装置及模型训练方法 | |
CN110737839A (zh) | 短文本的推荐方法、装置、介质及电子设备 | |
CN111400492B (zh) | 基于sfm-dcnn的层次特征文本分类方法和系统 | |
CN113761868B (zh) | 文本处理方法、装置、电子设备及可读存储介质 | |
US11797281B2 (en) | Multi-language source code search engine | |
Dai et al. | Hybrid deep model for human behavior understanding on industrial internet of video things | |
US20220383119A1 (en) | Granular neural network architecture search over low-level primitives | |
CN113297351A (zh) | 文本数据标注方法及装置、电子设备及存储介质 | |
CN114492661B (zh) | 文本数据分类方法和装置、计算机设备、存储介质 | |
CN114398899A (zh) | 预训练语言模型的训练方法、装置、计算机设备和介质 | |
CN115795038A (zh) | 基于国产化深度学习框架的意图识别方法和装置 | |
US20220383195A1 (en) | Machine learning algorithm search | |
US20230121404A1 (en) | Searching for normalization-activation layer architectures | |
Eyraud et al. | TAYSIR Competition: Transformer+\textscrnn: Algorithms to Yield Simple and Interpretable Representations | |
CN111445271A (zh) | 模型生成方法、作弊酒店的预测方法、系统、设备和介质 | |
CN116341564A (zh) | 基于语义理解的问题推理方法和装置 | |
CN115878094A (zh) | 代码搜索方法、装置、设备及存储介质 | |
CN114416970A (zh) | 带角色的文本分类模型以及对话文本分类方法及装置 | |
CN115129863A (zh) | 意图识别方法、装置、设备、存储介质和计算机程序产品 | |
CN114398482A (zh) | 一种词典构造方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |