CN113344060B - 文本分类模型训练方法、诉讼状分类方法及装置 - Google Patents
文本分类模型训练方法、诉讼状分类方法及装置 Download PDFInfo
- Publication number
- CN113344060B CN113344060B CN202110600977.7A CN202110600977A CN113344060B CN 113344060 B CN113344060 B CN 113344060B CN 202110600977 A CN202110600977 A CN 202110600977A CN 113344060 B CN113344060 B CN 113344060B
- Authority
- CN
- China
- Prior art keywords
- text
- graph
- result
- event
- classification model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种文本分类模型训练方法、诉讼状分类方法及装置,训练方法包括:获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;根据所述文本表征结果进行分类预测,获得预测结果;根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛。本发明的技术方案能够提高文本分类准确率,获得更好的分类效果。
Description
技术领域
本发明涉及文本分类技术领域,具体而言,涉及一种文本分类模型训练方法、诉讼状分类方法及装置。
背景技术
文本分类是对文本集按照一定的分类规则进行自动分类标记。目前,常用的文本分类方法主要是对文本中涉及到的词语进行嵌入操作,得到各个词语的向量表示,然后按照文本中词语出现的顺序对词语的嵌入向量进行特征学习,得到整个文本的表征结果,最后根据得到的文本的表征结果进行分类。
现有的文本分类方法对简单的文本具有不错的效果,但是在面对包含了大量人物事件关系等词语间联系较复杂文本时,例如诉讼状等文本,诉讼状中包括了大量人物与人物之间关系、人物与事件之间关系和事件与事件之间关系等人物事件关系,由于现有的文本方法仅通过捕获的词语出现的顺序关系特征、词语本身的语义特征和词语出现的频率分布特征等进行分类,进行分类时依据的特征比较单一,无法体现词语间的联系,分类效果较差,分类准确率较低。
发明内容
本发明解决的问题是如何提高文本的分类准确率,获得更好的分类效果。
为解决上述问题,本发明提供一种文本分类模型训练方法、诉讼状分类方法、装置及存储介质。
第一方面,本发明提供了一种文本分类模型训练方法,包括:
获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;
将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;
基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;
根据所述文本表征结果进行分类预测,获得预测结果;
根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛。
可选地,所述文本分类模型包括解码器,所述根据所述文本表征结果、所述预测结果和所述标签迭代训练所述文本分类模型至收敛包括:
采用所述解码器对所述文本表征结果进行恢复,获得恢复出的邻接矩阵;
根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵确定L2范数损失;
根据所述文本表征结果和所述标签确定交叉熵损失,并根据所述L2范数损失和所述交叉熵损失确定联合损失;
根据所述联合损失迭代优化所述文本分类模型至收敛。
可选地,所述人物事件关系图包括人物与人物关系图、人物与事件关系图和事件与事件关系图。
可选地,所述文本分类模型包括图卷积神经网络,所述将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码包括:
确定各个所述人物事件关系图对应的真实邻接矩阵,并将各个所述真实邻接矩阵输入所述图卷积神经网络,采用第一公式分别对各个所述人物事件关系图进行编码,所述第一公式包括:
其中,k表示任一所述人物事件关系图,表示第l层的图卷积神经网络对人物事件关系图k进行编码得到的编码结果,Wk (l)表示第l层图卷积神经网络的参数矩阵, 是人物事件关系图k的真实邻接矩阵Ak的伴随矩阵,Ik是单位矩阵,是矩阵的度矩阵,函数φ表示非线性激活函数。
可选地,所述文本分类模型包括全连接神经网络,通过所述全连接神经网络采用第二公式分别确定各个所述编码结果的权重值,所述第二公式包括:
根据所述权重值采用第三公式对各个所述编码结果进行加权求和,所述第三公式包括:
Z=∑k∈{pe,pp,ee}αkZk,
其中,Z表示所述文本表征结果,k表示任一所述人物事件关系图,pp表示人物与人物关系图,pe表示人物与事件关系图,ee表示事件与事件关系图。
可选地,采用所述解码器根据第四公式对所述文本表征结果进行恢复,所述第四公式包括:
Ape′=sigmoid(Z·WA·ZT),
可选地,根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵采用第五公式确定L2范数损失,所述第五公式包括:
Lr=||Ape-Ape′||2,
其中,Lr表示所述L2范数损失,Ape′表示恢复出的邻接矩阵,Ape表示真实邻接矩阵。
可选地,所述文本分类模型包括分类器,根据所述文本表征结果,所述分类器采用第六公式进行分类预测,所述第六公式包括:
Y′=softmax(WC·Z+bC),
可选地,根据所述文本表征结果和所述标签采用第七公式确定交叉熵损失,所述第七公式包括:
Lc=CrossEntrophy(Y′,y),
其中,Lc表示所述交叉熵损失,y表示所述文本信息的标签,Y′表示所述预测结果。
根据所述L2范数损失和所述交叉熵损失采用第八公式确定联合损失,所述第八公式包括:
L=Lr+Lc,
其中,L表示所述联合损失,Lr表示所述L2范数损失。
第二方面,本发明提供了一种诉讼状分类方法,包括:
获取待分类的诉讼状;
提取所述诉讼状中的人物和/或事件,以及关系,以所述人物和/或所述事件为节点,所述关系为边构建人物事件关系图;
将所述人物事件关系图输入训练好的文本分类模型,输出所述诉讼状的分类结果,其中,所述文本分类模型,采用如上所述的文本分类模型训练方法训练得到。
第三方面,本发明提供了一种文本分类模型训练装置,包括:
第一获取模块,用于获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;
编码模块,用于将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;
融合模块,用于基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;
分类模块,用于根据所述文本表征结果进行分类预测,获得预测结果;
优化模块,用于根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛。
第四方面,本发明提供了一种诉讼状分类装置,包括:
第二获取模块,用于获取待分类的诉讼状;
构建模块,用于提取所述诉讼状中的人物和/或事件,以及关系,以所述人物和/或所述事件为节点,所述关系为边构建人物事件关系图;
预测模块,用于将所述人物事件关系图输入训练好的文本分类模型,输出所述诉讼状的分类结果,其中,所述文本分类模型,采用如上所述的文本分类模型训练方法训练得到。
第五方面,本发明提供了一种电子设备,包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如上所述的文本分类模型训练方法或如上所述的诉讼状分类方法。
第六方面,本发明提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如上所述的文本分类模型训练方法或如上所述的诉讼状分类方法。
本发明的文本分类模型训练方法、诉讼状分类方法、装置及存储介质的有益效果是:获取预先根据文本信息建立的人物事件关系图,可将原始的文本分类人物转化为图分类人物,通过文本分类模型对各个人物事件关系图进行编码,能得到维度较小的图表征结果,能够降低后续处理的数据维度,提高处理速度。然后对各个编码结果进行融合,能够得到包含了更多特征信息的文本表征结果,结合该文本表征结果和文本信息的标签迭代优化文本分类模型,能够提高训练得到的文本分类模型的分类准确率,获得更好的分类效果。
附图说明
图1为本发明实施例的一种文本分类模型训练方法的流程示意图;
图2为本发明实施例的文本分类模型的结构示意图;
图3为本发明又一实施例的一种诉讼状分类方法的流程示意图;
图4为本发明又一实施例的一种文本分类模型训练装置的结构示意图;
图5为本发明又一实施例的一种诉讼状分类装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
如图1所示,本发明实施例提供的一种文本分类模型训练方法,包括:
步骤S110,获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签。
可选地,所述人物事件关系图包括人物与人物关系图、人物与事件关系图和事件与事件关系图。
具体地,获取文本信息后,提取文本信息中人物和人物间关系,以人物为节点,人物之间的关系为边构建人物与人物关系图;提取文本信息中的人物和事件,以及人物与事件之间的关系,以人物和事件为节点,人物和事件之间的关系为边构建人物与事件关系图;提取文本信息中的事件和事件之间的关系,以事件为节点,事件之间的关系为边构建事件与事件关系图。人物事件关系图可通过软件程序进行构建,也可通过人工手动绘制。文本信息的标签就是该文本信息属于的种类。
步骤S120,将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果。
可选地,如图2所示,所述文本分类模型包括编码器,编码器包括图卷积神经网络(GCN)和注意力融合模块,每种人物事件关系图采用一组图卷积神经网络进行编码,所述将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码包括:
确定各个所述人物事件关系图对应的真实邻接矩阵,并将各个所述真实邻接矩阵输入所述图卷积神经网络,采用第一公式分别对各个所述人物事件关系图进行编码,所述第一公式包括:
其中,k表示任一所述人物事件关系图,k∈{pp,pe,ee},pp表示人物与人物关系图,pe表示人物与事件关系图,ee表示事件与事件关系图,表示第l层的图卷积神经网络对人物事件关系图k进行编码得到的编码结果,本实施例中图卷积神经网络为两层结构,表示输入层,其中N表示人物事件关系图k中包括的节点个数,D表示每个节点的嵌入维度,即X表示人物事件关系图k中各个节点的特征组成的N×D维矩阵,每个节点都有对应的特征,Ak表示人物事件关系图k的真实邻接矩阵,即人物事件关系图k中各个节点之间的关系组成的矩阵,Wk (l)表示第l层图卷积神经网络的参数矩阵, 是人物事件关系图k的真实邻接矩阵Ak的伴随矩阵,Ik是单位矩阵,是矩阵的度矩阵,函数φ表示非线性激活函数。
本可选的实施例中,对根据文本信息构建的人物事件关系图进行编码,获得维度较小的图表征结果,能够降低后续处理的数据维度,提高分类速度。
步骤S130,基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果。
可选地,所述文本分类模型包括全连接神经网络,通过所述全连接神经网络采用第二公式分别确定各个所述编码结果的权重值,所述第二公式包括:
其中,αk表示人物事件关系图k的权重值,参数矩阵以及 分别为全连接神经网络中的待训练参数,向量为待训练的共享向量,表示人物事件关系图k的编码结果Zk的转置矩阵,softmax表示softmax函数,tanh表示激活函数;
根据所述权重值采用第三公式对各个所述编码结果进行加权求和,具体为基于权重值,通过注意力融合模块采用第三公式对各个编码结果进行融合,所述第三公式包括:
Z=∑k∈{pe,pp,ee}αkZk,
其中,Z表示所述文本表征结果,k表示任一所述人物事件关系图,pp表示人物与人物关系图,pe表示人物与事件关系图,ee表示事件与事件关系图。
本可选的实施例中,通过注意力机制对经过图卷积神经网络分别编码后的人物与人物关系图的编码结果、人物与事件关系图的编码结果和事件与事件关系图的编码结果进行融合,得到包含更多特征的文本表征结果,能够提高后续的分类准确率,实现更好的分类效果。
步骤S140,根据所述文本表征结果进行分类预测,获得预测结果。
可选地,如图2所示,所述文本分类模型包括分类器,根据所述文本表征结果,所述分类器采用第六公式进行分类预测,所述第六公式包括:
Y′=softmax(WC·Z+bC),
具体地,将文本表征结果输入单层全连接网络构成的分类器,通过softmax函数进行分类,确定根据该人物事件关系图预测得到的该文本信息的分类标签。
步骤S150,根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛。
可选地,如图2所示,所述文本分类模型还包括解码器,所述根据所述文本表征结果、所述预测结果和所述标签迭代训练所述文本分类模型至收敛包括:
步骤S151,采用所述解码器对所述文本表征结果进行恢复,获得恢复出的邻接矩阵。
可选地,采用所述解码器根据第四公式对所述文本表征结果进行恢复,所述第四公式包括:
Ape′=sigmoid(Z·WA·ZT),
步骤S152,根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵确定L2范数损失。
可选地,根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵采用第五公式确定L2范数损失,所述第五公式包括:
Lr=||Ape-Ape′||2,
其中,Lr表示所述L2范数损失,Ape′表示恢复出的邻接矩阵,Ape表示真实邻接矩阵,||·||2表示L2范数的计算公式。
具体地,由于人物与人物关系图只能反应人物之间的结构关系,事件与事件关系图只能反应事件之间的结构关系,均只包括单一种类节点,因此,在解码过程中可根据文本信息对应的文本表征结果选择对包含了更多节点种类,且结构更复杂的人物与事件关系图的邻接矩阵进行恢复,具体为通过一个待训练的参数矩阵,分别左乘文本表征结果,并右乘该文本表征结果,然后通过sigmoid函数进行处理,确定最终的恢复结果。为了保证编码器编码后的结果能够最大程度的包含人物与事件关系图的所有特征,需要使人物与事件关系图对应的恢复出的邻接矩阵最大程度地接近人物与事件关系图对应的真实邻接矩阵。
本可选的实施例中,对经过编码和加权求和后得到的文本表征结果进行恢复,得到恢复出的邻接矩阵,并根据恢复出的邻接矩阵和真实邻接矩阵确定L2范数损失,便于后续根据L2范数损失优化文本分类模型,能够减少编码过程中的特征遗漏,提高文本表征结果包含的特征数量,进而提高文本分类的准确率,获得更好的分类效果。
步骤S153,根据所述文本表征结果和所述标签确定交叉熵损失,并根据所述L2范数损失和所述交叉熵损失确定联合损失。
可选地,采用第七公式根据所述文本表征结果和所述标签确定交叉熵损失,所述第七公式包括:
Lc=CrossEntrophy(Y′,y),
其中,Lc表示所述交叉熵损失,y表示所述文本信息的标签,Y′表示所述预测结果,CrossEntrophy(·)表示交叉熵损失函数。
根据所述L2范数损失和所述交叉熵损失采用第八公式确定联合损失,所述第八公式包括:
L=Lr+Lc,
其中,L表示所述联合损失,Lr表示所述L2范数损失。
本可选的实施例中,联合损失包括两部分,一部分是根据图编码结果进行分类预测的预测记过与其对应的标签的交叉熵损失,另一部分是根据图编码结果恢复得到的人物与事件的恢复邻接矩阵与对应的人物与事件的真实邻接矩阵计算的第二范数损失,采用联合损失来优化整个模型,能够提高分类准确率,获得更好的分类效果。
步骤S154,根据所述联合损失迭代优化所述文本分类模型至收敛。
本实施例中,获取预先根据文本信息建立的人物事件关系图,可将原始的文本分类人物转化为图分类人物,通过文本分类模型对各个人物事件关系图进行编码,能得到维度较小的图表征结果,能够降低后续处理的数据维度,提高处理速度。然后对各个编码结果进行融合,能够得到包含了更多特征信息的文本表征结果,结合该文本表征结果和文本信息的标签迭代优化文本分类模型,能够提高训练得到的文本分类模型的分类准确率,获得更好的分类效果。
如图3所示,本发明另一实施例提供的一种诉讼状分类方法,包括:
步骤S210,获取待分类的诉讼状;
步骤S220,提取所述诉讼状中的人物和/或事件,以及关系,以所述人物和/或所述事件为节点,所述关系为边构建人物事件关系图。
具体地,提取诉讼状中的人物和人物间关系,以人物为节点,人物之间的关系为边构建人物与人物关系图;提取诉讼状中的人物和事件,以及人物与事件之间的关系,以人物和事件为节点,人物和事件之间的关系为边构建人物与事件关系图;提取诉讼状中的事件和事件之间的关系,以事件为节点,事件之间的关系为边构建事件与事件关系图。人物事件关系图可通过软件程序进行构建。
步骤S230,将所述人物事件关系图输入训练好的文本分类模型,输出所述诉讼状的分类结果,其中,所述文本分类模型,采用如上所述的文本分类模型训练方法训练得到。
本实施例中,获取包含了大量人物事件关系的诉讼状,提取诉讼状中的各个人物和事件,以及人物与人物之间,人物与事件之间和事件与事件之间的关系,进而构建人物事件关系图,能够将文本分类人物转化为图分类任务,降低分类复杂度,提高分类效果和速度。将构建的任务事件关系图输入到训练好的文本分类模型,通过该文本分类模型能够提高文本分类的准确率,获得更好的分类效果。
如图4所示,本发明又一实施例提供的一种文本分类模型训练装置,包括:
第一获取模块,用于获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;
编码模块,用于将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;
融合模块,用于基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;
分类模块,用于根据所述文本表征结果进行分类预测,获得预测结果;
优化模块,用于根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛。
如图5所示,本发明又一实施例提供的一种诉讼状分类装置,包括:
第二获取模块,用于获取待分类的诉讼状;
构建模块,用于提取所述诉讼状中的人物和/或事件,以及关系,以所述人物和/或所述事件为节点,所述关系为边构建人物事件关系图;
预测模块,用于将所述人物事件关系图输入训练好的文本分类模型,输出所述诉讼状的分类结果,其中,所述文本分类模型,采用如上所述的文本分类模型训练方法训练得到。
本发明又一实施例提供的一种电子设备包括存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于当执行所述计算机程序时,实现如上所述的文本分类模型训练方法或如上所述的诉讼状分类方法。
本发明再一实施例提供的一种计算机可读存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如上所述的文本分类模型训练方法或如上所述的诉讼状分类方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。在本申请中,所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
虽然本发明公开披露如上,但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。
Claims (13)
1.一种文本分类模型训练方法,其特征在于,包括:
获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;
将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;
基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;
根据所述文本表征结果进行分类预测,获得预测结果;
根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛;
所述文本分类模型包括图卷积神经网络,所述将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码包括:
确定各个所述人物事件关系图对应的真实邻接矩阵,并将各个所述真实邻接矩阵输入所述图卷积神经网络,采用第一公式分别对各个所述人物事件关系图进行编码,所述第一公式包括:
2.根据权利要求1所述的文本分类模型训练方法,其特征在于,所述文本分类模型包括解码器,所述根据所述文本表征结果、所述预测结果和所述标签迭代训练所述文本分类模型至收敛包括:
采用所述解码器对所述文本表征结果进行恢复,获得恢复出的邻接矩阵;
根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵确定L2范数损失;
根据所述文本表征结果和所述标签确定交叉熵损失,并根据所述L2范数损失和所述交叉熵损失确定联合损失;
根据所述联合损失迭代优化所述文本分类模型至收敛。
3.根据权利要求2所述的文本分类模型训练方法,其特征在于,所述人物事件关系图包括人物与人物关系图、人物与事件关系图和事件与事件关系图。
4.根据权利要求2所述的文本分类模型训练方法,其特征在于,所述文本分类模型包括全连接神经网络,通过所述全连接神经网络采用第二公式分别确定各个所述编码结果的权重值,所述第二公式包括:
根据所述权重值采用第三公式对各个所述编码结果进行加权求和,所述第三公式包括:
Z=∑k∈{pe,pp,ee}αkZk,
其中,Z表示所述文本表征结果,k表示任一所述人物事件关系图,pp表示人物与人物关系图,pe表示人物与事件关系图,ee表示事件与事件关系图。
6.根据权利要求5所述的文本分类模型训练方法,其特征在于,根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵采用第五公式确定L2范数损失,所述第五公式包括:
Lr=||Ape-Ape'||2,
其中,Lr表示所述L2范数损失,Ape'表示恢复出的邻接矩阵,Ape表示真实邻接矩阵。
8.根据权利要求7所述的文本分类模型训练方法,其特征在于,根据所述文本表征结果和所述文本信息的标签采用第七公式确定交叉熵损失,所述第七公式包括:
Lc=CrossEntrophy(Y',y),
其中,Lc表示所述交叉熵损失,y表示所述文本信息的标签,Y'表示所述预测结果;
根据所述L2范数损失和所述交叉熵损失采用第八公式确定联合损失,所述第八公式包括:
L=Lr+Lc,
其中,L表示所述联合损失,Lr表示所述L2范数损失。
9.一种诉讼状分类方法,其特征在于,包括:
获取待分类的诉讼状;
提取所述诉讼状中的人物和/或事件,以及关系,以所述人物和/或所述事件为节点,所述关系为边构建人物事件关系图;
将所述人物事件关系图输入训练好的文本分类模型,输出所述诉讼状的分类结果,其中,所述文本分类模型,采用如权利要求1至8任一项所述的文本分类模型训练方法训练得到。
10.一种文本分类模型训练装置,其特征在于,包括:
第一获取模块,用于获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;
编码模块,用于将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;
融合模块,用于基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;
分类模块,用于根据所述文本表征结果进行分类预测,获得预测结果;
优化模块,用于根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛;
所述文本分类模型包括图卷积神经网络,所述将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码包括:
确定各个所述人物事件关系图对应的真实邻接矩阵,并将各个所述真实邻接矩阵输入所述图卷积神经网络,采用第一公式分别对各个所述人物事件关系图进行编码,所述第一公式包括:
11.一种诉讼状分类装置,其特征在于,包括:
第二获取模块,用于获取待分类的诉讼状;
构建模块,用于提取所述诉讼状中的人物和/或事件,以及关系,以所述人物和/或所述事件为节点,所述关系为边构建人物事件关系图;
预测模块,用于将所述人物事件关系图输入训练好的文本分类模型,输出所述诉讼状的分类结果,其中,所述文本分类模型,采用如权利要求1至8任一项所述的文本分类模型训练方法训练得到。
12.一种电子设备,其特征在于,包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如权利要求1至8任一项所述的文本分类模型训练方法或如权利要求9所述的诉讼状分类方法。
13.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1至8任一项所述的文本分类模型训练方法或如权利要求9所述的诉讼状分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110600977.7A CN113344060B (zh) | 2021-05-31 | 2021-05-31 | 文本分类模型训练方法、诉讼状分类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110600977.7A CN113344060B (zh) | 2021-05-31 | 2021-05-31 | 文本分类模型训练方法、诉讼状分类方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113344060A CN113344060A (zh) | 2021-09-03 |
CN113344060B true CN113344060B (zh) | 2022-07-08 |
Family
ID=77472807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110600977.7A Active CN113344060B (zh) | 2021-05-31 | 2021-05-31 | 文本分类模型训练方法、诉讼状分类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113344060B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113553433B (zh) * | 2021-09-17 | 2022-01-07 | 平安科技(深圳)有限公司 | 基于人工智能的产品分类方法、装置、介质及终端设备 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103235772B (zh) * | 2013-03-08 | 2016-06-08 | 北京理工大学 | 一种文本集人物关系自动提取方法 |
CN106713108B (zh) * | 2015-11-13 | 2019-08-13 | 华中科技大学 | 一种结合用户关系与贝叶斯理论的邮件分类方法 |
CN111309815A (zh) * | 2018-12-12 | 2020-06-19 | 北京嘀嘀无限科技发展有限公司 | 一种关系图谱的处理方法、装置和电子设备 |
CN110347839B (zh) * | 2019-07-18 | 2021-07-16 | 湖南数定智能科技有限公司 | 一种基于生成式多任务学习模型的文本分类方法 |
CN112256867A (zh) * | 2020-09-27 | 2021-01-22 | 华为技术有限公司 | 文本分类模型的训练方法、系统及相关设备 |
CN112163416B (zh) * | 2020-10-09 | 2021-11-02 | 北京理工大学 | 一种融合句法和实体关系图卷积网络的事件联合抽取方法 |
CN112269874A (zh) * | 2020-10-10 | 2021-01-26 | 北京物资学院 | 一种文本分类方法及系统 |
CN112241458B (zh) * | 2020-10-13 | 2022-10-28 | 北京百分点科技集团股份有限公司 | 文本的知识结构化处理方法、装置、设备和可读存储介质 |
CN112380385B (zh) * | 2020-11-18 | 2023-12-29 | 湖南大学 | 一种基于多模态关系图的视频时刻定位方法及设备 |
CN112487143B (zh) * | 2020-11-30 | 2022-11-18 | 重庆邮电大学 | 一种基于舆情大数据分析的多标签文本分类方法 |
CN112699243B (zh) * | 2021-01-15 | 2022-10-18 | 上海交通大学 | 基于法条图卷积网络文本的案件文书案由分类方法及介质 |
-
2021
- 2021-05-31 CN CN202110600977.7A patent/CN113344060B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113344060A (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109918671B (zh) | 基于卷积循环神经网络的电子病历实体关系抽取方法 | |
CN107526785B (zh) | 文本分类方法及装置 | |
CN111079532B (zh) | 一种基于文本自编码器的视频内容描述方法 | |
CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
CN111291212A (zh) | 基于图卷积神经网络的零样本草图图像检索方法和系统 | |
CN109783666B (zh) | 一种基于迭代精细化的图像场景图谱生成方法 | |
CN111310852B (zh) | 一种图像分类方法及系统 | |
CN108287904A (zh) | 一种基于社会化卷积矩阵分解的文档上下文感知推荐方法 | |
CN117475038B (zh) | 一种图像生成方法、装置、设备及计算机可读存储介质 | |
CN112417289A (zh) | 一种基于深度聚类的资讯信息智能推荐方法 | |
CN112667920A (zh) | 基于文本感知的社交影响力预测方法、装置及设备 | |
CN113344060B (zh) | 文本分类模型训练方法、诉讼状分类方法及装置 | |
CN112989833A (zh) | 一种基于多层lstm的远程监督实体关系联合抽取方法和系统 | |
CN116595406A (zh) | 基于角色一致性的事件论元角色分类方法及系统 | |
CN116310339A (zh) | 基于矩阵分解增强全局特征的遥感图像分割方法 | |
CN117058276B (zh) | 图像生成方法、装置、设备及存储介质 | |
CN117150148A (zh) | 一种基于预训练模型的社交网络舆情态势监控方法 | |
CN112100486A (zh) | 一种基于图模型的深度学习推荐系统及其方法 | |
CN115810215A (zh) | 面部图像生成方法、装置、设备及存储介质 | |
CN113609355B (zh) | 一种基于动态注意力与图网络推理的视频问答系统、方法、计算机及存储介质 | |
CN115705464A (zh) | 一种信息的处理方法、装置及设备 | |
CN113743315A (zh) | 一种基于结构增强的手写体初等数学公式识别方法 | |
KR102608266B1 (ko) | 이미지 생성 장치 및 방법 | |
US20240169623A1 (en) | Multi-modal image generation | |
CN114821602B (zh) | 训练对抗神经网络生成字库的方法、系统、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |