CN113344060A - 文本分类模型训练方法、诉讼状分类方法及装置 - Google Patents

文本分类模型训练方法、诉讼状分类方法及装置 Download PDF

Info

Publication number
CN113344060A
CN113344060A CN202110600977.7A CN202110600977A CN113344060A CN 113344060 A CN113344060 A CN 113344060A CN 202110600977 A CN202110600977 A CN 202110600977A CN 113344060 A CN113344060 A CN 113344060A
Authority
CN
China
Prior art keywords
text
result
event
classification model
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110600977.7A
Other languages
English (en)
Other versions
CN113344060B (zh
Inventor
王文博
刘秉权
孙承杰
刘远超
单丽莉
林磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202110600977.7A priority Critical patent/CN113344060B/zh
Publication of CN113344060A publication Critical patent/CN113344060A/zh
Application granted granted Critical
Publication of CN113344060B publication Critical patent/CN113344060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种文本分类模型训练方法、诉讼状分类方法及装置,训练方法包括:获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;根据所述文本表征结果进行分类预测,获得预测结果;根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛。本发明的技术方案能够提高文本分类准确率,获得更好的分类效果。

Description

文本分类模型训练方法、诉讼状分类方法及装置
技术领域
本发明涉及文本分类技术领域,具体而言,涉及一种文本分类模型训练方法、诉讼状分类方法及装置。
背景技术
文本分类是对文本集按照一定的分类规则进行自动分类标记。目前,常用的文本分类方法主要是对文本中涉及到的词语进行嵌入操作,得到各个词语的向量表示,然后按照文本中词语出现的顺序对词语的嵌入向量进行特征学习,得到整个文本的表征结果,最后根据得到的文本的表征结果进行分类。
现有的文本分类方法对简单的文本具有不错的效果,但是在面对包含了大量人物事件关系等词语间联系较复杂文本时,例如诉讼状等文本,诉讼状中包括了大量人物与人物之间关系、人物与事件之间关系和事件与事件之间关系等人物事件关系,由于现有的文本方法仅通过捕获的词语出现的顺序关系特征、词语本身的语义特征和词语出现的频率分布特征等进行分类,进行分类时依据的特征比较单一,无法体现词语间的联系,分类效果较差,分类准确率较低。
发明内容
本发明解决的问题是如何提高文本的分类准确率,获得更好的分类效果。
为解决上述问题,本发明提供一种文本分类模型训练方法、诉讼状分类方法、装置及存储介质。
第一方面,本发明提供了一种文本分类模型训练方法,包括:
获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;
将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;
基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;
根据所述文本表征结果进行分类预测,获得预测结果;
根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛。
可选地,所述文本分类模型包括解码器,所述根据所述文本表征结果、所述预测结果和所述标签迭代训练所述文本分类模型至收敛包括:
采用所述解码器对所述文本表征结果进行恢复,获得恢复出的邻接矩阵;
根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵确定L2范数损失;
根据所述文本表征结果和所述标签确定交叉熵损失,并根据所述L2范数损失和所述交叉熵损失确定联合损失;
根据所述联合损失迭代优化所述文本分类模型至收敛。
可选地,所述人物事件关系图包括人物与人物关系图、人物与事件关系图和事件与事件关系图。
可选地,所述文本分类模型包括图卷积神经网络,所述将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码包括:
确定各个所述人物事件关系图对应的真实邻接矩阵,并将各个所述真实邻接矩阵输入所述图卷积神经网络,采用第一公式分别对各个所述人物事件关系图进行编码,所述第一公式包括:
Figure BDA0003092961220000021
其中,k表示任一所述人物事件关系图,
Figure BDA0003092961220000022
表示第l层的图卷积神经网络对人物事件关系图k进行编码得到的编码结果,W(l)表示第l层图卷积神经网络的参数矩阵,
Figure BDA0003092961220000031
Figure BDA0003092961220000032
是人物事件关系图k的真实邻接矩阵Ak的伴随矩阵,Ik是单位矩阵,
Figure BDA0003092961220000033
是矩阵
Figure BDA0003092961220000034
的度矩阵,函数φ表示非线性激活函数。
可选地,所述文本分类模型包括全连接神经网络,通过所述全连接神经网络采用第二公式分别确定各个所述编码结果的权重值,所述第二公式包括:
Figure BDA0003092961220000035
其中,αk表示人物事件关系图k的权重值,参数矩阵
Figure BDA0003092961220000036
以及
Figure BDA0003092961220000037
Figure BDA0003092961220000038
分别为全连接神经网络中的待训练参数,向量
Figure BDA0003092961220000039
为待训练的共享向量,
Figure BDA00030929612200000310
表示人物事件关系图k的编码结果Zk的转置矩阵;
根据所述权重值采用第三公式对各个所述编码结果进行加权求和,所述第三公式包括:
Z=∑k∈{pe,pp,ee}αkZk
其中,Z表示所述文本表征结果,k表示任一所述人物事件关系图,pp表示人物与人物关系图,pe表示人物与事件关系图,ee表示事件与事件关系图。
可选地,采用所述解码器根据第四公式对所述文本表征结果进行恢复,所述第四公式包括:
Figure BDA00030929612200000311
其中,Ape′表示所述恢复出的邻接矩阵,
Figure BDA00030929612200000312
为待训练的权重系数,Z表示所述文本表征结果。
可选地,根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵采用第五公式确定L2范数损失,所述第五公式包括:
Lr=||Ape-Ape′||2
其中,Lr表示所述L2范数损失,Ape′表示恢复出的邻接矩阵,Ape表示真实邻接矩阵。
可选地,所述文本分类模型包括分类器,根据所述文本表征结果,所述分类器采用第六公式进行分类预测,所述第六公式包括:
Y′=softmax(WC·Z+bC),
其中,
Figure BDA0003092961220000041
表示所述预测结果,参数矩阵
Figure BDA0003092961220000042
以及
Figure BDA0003092961220000043
则表示所述分类器的待训练参数,Z表示所述文本表征结果。
可选地,根据所述文本表征结果和所述标签采用第七公式确定交叉熵损失,所述第七公式包括:
Lc=CrossEntrophy(Y′,y),
其中,Lc表示所述交叉熵损失,y表示所述文本信息的标签,Y′表示所述预测结果。
根据所述L2范数损失和所述交叉熵损失采用第八公式确定联合损失,所述第八公式包括:
L=Lr+Lc
其中,L表示所述联合损失,Lr表示所述L2范数损失。
第二方面,本发明提供了一种诉讼状分类方法,包括:
获取待分类的诉讼状;
提取所述诉讼状中的人物和/或事件,以及关系,以所述人物和/或所述事件为节点,所述关系为边构建人物事件关系图;
将所述人物事件关系图输入训练好的文本分类模型,输出所述诉讼状的分类结果,其中,所述文本分类模型,采用如上所述的文本分类模型训练方法训练得到。
第三方面,本发明提供了一种文本分类模型训练装置,包括:
第一获取模块,用于获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;
编码模块,用于将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;
融合模块,用于基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;
分类模块,用于根据所述文本表征结果进行分类预测,获得预测结果;
优化模块,用于根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛。
第四方面,本发明提供了一种诉讼状分类装置,包括:
第二获取模块,用于获取待分类的诉讼状;
构建模块,用于提取所述诉讼状中的人物和/或事件,以及关系,以所述人物和/或所述事件为节点,所述关系为边构建人物事件关系图;
预测模块,用于将所述人物事件关系图输入训练好的文本分类模型,输出所述诉讼状的分类结果,其中,所述文本分类模型,采用如上所述的文本分类模型训练方法训练得到。
第五方面,本发明提供了一种电子设备,包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如上所述的文本分类模型训练方法或如上所述的诉讼状分类方法。
第六方面,本发明提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如上所述的文本分类模型训练方法或如上所述的诉讼状分类方法。
本发明的文本分类模型训练方法、诉讼状分类方法、装置及存储介质的有益效果是:获取预先根据文本信息建立的人物事件关系图,可将原始的文本分类人物转化为图分类人物,通过文本分类模型对各个人物事件关系图进行编码,能得到维度较小的图表征结果,能够降低后续处理的数据维度,提高处理速度。然后对各个编码结果进行融合,能够得到包含了更多特征信息的文本表征结果,结合该文本表征结果和文本信息的标签迭代优化文本分类模型,能够提高训练得到的文本分类模型的分类准确率,获得更好的分类效果。
附图说明
图1为本发明实施例的一种文本分类模型训练方法的流程示意图;
图2为本发明实施例的文本分类模型的结构示意图;
图3为本发明又一实施例的一种诉讼状分类方法的流程示意图;
图4为本发明又一实施例的一种文本分类模型训练装置的结构示意图;
图5为本发明又一实施例的一种诉讼状分类装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
如图1所示,本发明实施例提供的一种文本分类模型训练方法,包括:
步骤S110,获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签。
可选地,所述人物事件关系图包括人物与人物关系图、人物与事件关系图和事件与事件关系图。
具体地,获取文本信息后,提取文本信息中人物和人物间关系,以人物为节点,人物之间的关系为边构建人物与人物关系图;提取文本信息中的人物和事件,以及人物与事件之间的关系,以人物和事件为节点,人物和事件之间的关系为边构建人物与事件关系图;提取文本信息中的事件和事件之间的关系,以事件为节点,事件之间的关系为边构建事件与事件关系图。人物事件关系图可通过软件程序进行构建,也可通过人工手动绘制。文本信息的标签就是该文本信息属于的种类。
步骤S120,将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果。
可选地,如图2所示,所述文本分类模型包括编码器,编码器包括图卷积神经网络(GCN)和注意力融合模块,每种人物事件关系图采用一组图卷积神经网络进行编码,所述将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码包括:
确定各个所述人物事件关系图对应的真实邻接矩阵,并将各个所述真实邻接矩阵输入所述图卷积神经网络,采用第一公式分别对各个所述人物事件关系图进行编码,所述第一公式包括:
Figure BDA0003092961220000071
其中,k表示任一所述人物事件关系图,k∈{pp,pe,ee},pp表示人物与人物关系图,pe表示人物与事件关系图,ee表示事件与事件关系图,
Figure BDA0003092961220000072
表示第l层的图卷积神经网络对人物事件关系图k进行编码得到的编码结果,本实施例中图卷积神经网络为两层结构,
Figure BDA0003092961220000073
表示输入层,
Figure BDA0003092961220000074
其中N表示人物事件关系图k中包括的节点个数,D表示每个节点的嵌入维度,即X表示人物事件关系图k中各个节点的特征组成的N×D维矩阵,每个节点都有对应的特征,Ak表示人物事件关系图k的真实邻接矩阵,即人物事件关系图k中各个节点之间的关系组成的矩阵,W(l)表示第l层图卷积神经网络的参数矩阵,
Figure BDA0003092961220000075
Figure BDA0003092961220000076
是人物事件关系图k的真实邻接矩阵Ak的伴随矩阵,Ik是单位矩阵,
Figure BDA0003092961220000077
是矩阵
Figure BDA0003092961220000078
的度矩阵,函数φ表示非线性激活函数。
本可选的实施例中,对根据文本信息构建的人物事件关系图进行编码,获得维度较小的图表征结果,能够降低后续处理的数据维度,提高分类速度。
步骤S130,基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果。
可选地,所述文本分类模型包括全连接神经网络,通过所述全连接神经网络采用第二公式分别确定各个所述编码结果的权重值,所述第二公式包括:
Figure BDA0003092961220000079
其中,αk表示人物事件关系图k的权重值,参数矩阵
Figure BDA00030929612200000710
以及
Figure BDA00030929612200000711
Figure BDA0003092961220000081
分别为全连接神经网络中的待训练参数,向量
Figure BDA0003092961220000082
为待训练的共享向量,
Figure BDA0003092961220000083
表示人物事件关系图k的编码结果Zk的转置矩阵,softmax表示softmax函数,tanh表示激活函数;
根据所述权重值采用第三公式对各个所述编码结果进行加权求和,具体为基于权重值,通过注意力融合模块采用第三公式对各个编码结果进行融合,所述第三公式包括:
Z=∑k∈{pe,pp,ee}αkZk
其中,Z表示所述文本表征结果,k表示任一所述人物事件关系图,pp表示人物与人物关系图,pe表示人物与事件关系图,ee表示事件与事件关系图。
本可选的实施例中,通过注意力机制对经过图卷积神经网络分别编码后的人物与人物关系图的编码结果、人物与事件关系图的编码结果和事件与事件关系图的编码结果进行融合,得到包含更多特征的文本表征结果,能够提高后续的分类准确率,实现更好的分类效果。
步骤S140,根据所述文本表征结果进行分类预测,获得预测结果。
可选地,如图2所示,所述文本分类模型包括分类器,根据所述文本表征结果,所述分类器采用第六公式进行分类预测,所述第六公式包括:
Y′=softmax(WC·Z+bC),
其中,
Figure BDA0003092961220000084
表示所述预测结果,参数矩阵
Figure BDA0003092961220000085
以及
Figure BDA0003092961220000086
则表示所述分类器的待训练参数,分类器可由单层全连接网络构成。
具体地,将文本表征结果输入单层全连接网络构成的分类器,通过softmax函数进行分类,确定根据该人物事件关系图预测得到的该文本信息的分类标签。
步骤S150,根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛。
可选地,如图2所示,所述文本分类模型还包括解码器,所述根据所述文本表征结果、所述预测结果和所述标签迭代训练所述文本分类模型至收敛包括:
步骤S151,采用所述解码器对所述文本表征结果进行恢复,获得恢复出的邻接矩阵。
可选地,采用所述解码器根据第四公式对所述文本表征结果进行恢复,所述第四公式包括:
Figure BDA0003092961220000091
其中,Ape′表示所述恢复出的邻接矩阵,
Figure BDA0003092961220000092
为待训练的权重系数,Z表示所述文本表征结果。
步骤S152,根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵确定L2范数损失。
可选地,根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵采用第五公式确定L2范数损失,所述第五公式包括:
Lr=||Ape-Ape′||2
其中,Lr表示所述L2范数损失,Ape′表示恢复出的邻接矩阵,Ape表示真实邻接矩阵,||·||2表示L2范数的计算公式。
具体地,由于人物与人物关系图只能反应人物之间的结构关系,事件与事件关系图只能反应事件之间的结构关系,均只包括单一种类节点,因此,在解码过程中可根据文本信息对应的文本表征结果选择对包含了更多节点种类,且结构更复杂的人物与事件关系图的邻接矩阵进行恢复,具体为通过一个待训练的参数矩阵,分别左乘文本表征结果,并右乘该文本表征结果,然后通过sigmoid函数进行处理,确定最终的恢复结果。为了保证编码器编码后的结果能够最大程度的包含人物与事件关系图的所有特征,需要使人物与事件关系图对应的恢复出的邻接矩阵最大程度地接近人物与事件关系图对应的真实邻接矩阵。
本可选的实施例中,对经过编码和加权求和后得到的文本表征结果进行恢复,得到恢复出的邻接矩阵,并根据恢复出的邻接矩阵和真实邻接矩阵确定L2范数损失,便于后续根据L2范数损失优化文本分类模型,能够减少编码过程中的特征遗漏,提高文本表征结果包含的特征数量,进而提高文本分类的准确率,获得更好的分类效果。
步骤S153,根据所述文本表征结果和所述标签确定交叉熵损失,并根据所述L2范数损失和所述交叉熵损失确定联合损失。
可选地,采用第七公式根据所述文本表征结果和所述标签确定交叉熵损失,所述第七公式包括:
Lc=CrossEntrophy(Y′,y),
其中,Lc表示所述交叉熵损失,y表示所述文本信息的标签,Y′表示所述预测结果,CrossEntrophy(·)表示交叉熵损失函数。
根据所述L2范数损失和所述交叉熵损失采用第八公式确定联合损失,所述第八公式包括:
L=Lr+Lc
其中,L表示所述联合损失,Lr表示所述L2范数损失。
本可选的实施例中,联合损失包括两部分,一部分是根据图编码结果进行分类预测的预测记过与其对应的标签的交叉熵损失,另一部分是根据图编码结果恢复得到的人物与事件的恢复邻接矩阵与对应的人物与事件的真实邻接矩阵计算的第二范数损失,采用联合损失来优化整个模型,能够提高分类准确率,获得更好的分类效果。
步骤S154,根据所述联合损失迭代优化所述文本分类模型至收敛。
本实施例中,获取预先根据文本信息建立的人物事件关系图,可将原始的文本分类人物转化为图分类人物,通过文本分类模型对各个人物事件关系图进行编码,能得到维度较小的图表征结果,能够降低后续处理的数据维度,提高处理速度。然后对各个编码结果进行融合,能够得到包含了更多特征信息的文本表征结果,结合该文本表征结果和文本信息的标签迭代优化文本分类模型,能够提高训练得到的文本分类模型的分类准确率,获得更好的分类效果。
如图3所示,本发明另一实施例提供的一种诉讼状分类方法,包括:
步骤S210,获取待分类的诉讼状;
步骤S220,提取所述诉讼状中的人物和/或事件,以及关系,以所述人物和/或所述事件为节点,所述关系为边构建人物事件关系图。
具体地,提取诉讼状中的人物和人物间关系,以人物为节点,人物之间的关系为边构建人物与人物关系图;提取诉讼状中的人物和事件,以及人物与事件之间的关系,以人物和事件为节点,人物和事件之间的关系为边构建人物与事件关系图;提取诉讼状中的事件和事件之间的关系,以事件为节点,事件之间的关系为边构建事件与事件关系图。人物事件关系图可通过软件程序进行构建。
步骤S230,将所述人物事件关系图输入训练好的文本分类模型,输出所述诉讼状的分类结果,其中,所述文本分类模型,采用如上所述的文本分类模型训练方法训练得到。
本实施例中,获取包含了大量人物事件关系的诉讼状,提取诉讼状中的各个人物和事件,以及人物与人物之间,人物与事件之间和事件与事件之间的关系,进而构建人物事件关系图,能够将文本分类人物转化为图分类任务,降低分类复杂度,提高分类效果和速度。将构建的任务事件关系图输入到训练好的文本分类模型,通过该文本分类模型能够提高文本分类的准确率,获得更好的分类效果。
如图4所示,本发明又一实施例提供的一种文本分类模型训练装置,包括:
第一获取模块,用于获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;
编码模块,用于将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;
融合模块,用于基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;
分类模块,用于根据所述文本表征结果进行分类预测,获得预测结果;
优化模块,用于根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛。
如图5所示,本发明又一实施例提供的一种诉讼状分类装置,包括:
第二获取模块,用于获取待分类的诉讼状;
构建模块,用于提取所述诉讼状中的人物和/或事件,以及关系,以所述人物和/或所述事件为节点,所述关系为边构建人物事件关系图;
预测模块,用于将所述人物事件关系图输入训练好的文本分类模型,输出所述诉讼状的分类结果,其中,所述文本分类模型,采用如上所述的文本分类模型训练方法训练得到。
本发明又一实施例提供的一种电子设备包括存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于当执行所述计算机程序时,实现如上所述的文本分类模型训练方法或如上所述的诉讼状分类方法。
本发明再一实施例提供的一种计算机可读存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如上所述的文本分类模型训练方法或如上所述的诉讼状分类方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。在本申请中,所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
虽然本发明公开披露如上,但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。

Claims (14)

1.一种文本分类模型训练方法,其特征在于,包括:
获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;
将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;
基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;
根据所述文本表征结果进行分类预测,获得预测结果;
根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛。
2.根据权利要求1所述的文本分类模型训练方法,其特征在于,所述文本分类模型包括解码器,所述根据所述文本表征结果、所述预测结果和所述标签迭代训练所述文本分类模型至收敛包括:
采用所述解码器对所述文本表征结果进行恢复,获得恢复出的邻接矩阵;
根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵确定L2范数损失;
根据所述文本表征结果和所述标签确定交叉熵损失,并根据所述L2范数损失和所述交叉熵损失确定联合损失;
根据所述联合损失迭代优化所述文本分类模型至收敛。
3.根据权利要求2所述的文本分类模型训练方法,其特征在于,所述人物事件关系图包括人物与人物关系图、人物与事件关系图和事件与事件关系图。
4.根据权利要求2或3所述的文本分类模型训练方法,其特征在于,所述文本分类模型包括图卷积神经网络,所述将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码包括:
确定各个所述人物事件关系图对应的真实邻接矩阵,并将各个所述真实邻接矩阵输入所述图卷积神经网络,采用第一公式分别对各个所述人物事件关系图进行编码,所述第一公式包括:
Figure FDA0003092961210000021
其中,k表示任一所述人物事件关系图,
Figure FDA0003092961210000022
表示第l层的图卷积神经网络对人物事件关系图k进行编码得到的编码结果,W(l)表示第l层图卷积神经网络的参数矩阵,
Figure FDA0003092961210000023
是人物事件关系图k的真实邻接矩阵Ak的伴随矩阵,Ik是单位矩阵,
Figure FDA0003092961210000024
是矩阵
Figure FDA0003092961210000025
的度矩阵,函数φ表示非线性激活函数。
5.根据权利要求4所述的文本分类模型训练方法,其特征在于,所述文本分类模型包括全连接神经网络,通过所述全连接神经网络采用第二公式分别确定各个所述编码结果的权重值,所述第二公式包括:
Figure FDA0003092961210000026
其中,αk表示人物事件关系图k的权重值,参数矩阵
Figure FDA0003092961210000027
以及
Figure FDA0003092961210000028
Figure FDA0003092961210000029
分别为全连接神经网络中的待训练参数,向量
Figure FDA00030929612100000210
为待训练的共享向量,
Figure FDA00030929612100000211
表示人物事件关系图k的编码结果Zk的转置矩阵;
根据所述权重值采用第三公式对各个所述编码结果进行加权求和,所述第三公式包括:Z=∑k∈{pe,pp,ee}αkZk
其中,Z表示所述文本表征结果,k表示任一所述人物事件关系图,pp表示人物与人物关系图,pe表示人物与事件关系图,ee表示事件与事件关系图。
6.根据权利要求5所述的文本分类模型训练方法,其特征在于,采用所述解码器根据第四公式对所述文本表征结果进行恢复,所述第四公式包括:
Figure FDA00030929612100000213
其中,Ape′表示所述恢复出的邻接矩阵,
Figure FDA00030929612100000212
为待训练的权重系数,Z表示所述文本表征结果。
7.根据权利要求6所述的文本分类模型训练方法,其特征在于,根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵采用第五公式确定L2范数损失,所述第五公式包括:
Lr=||Ape-Ape′||2
其中,Lr表示所述L2范数损失,Ape′表示恢复出的邻接矩阵,Ape表示真实邻接矩阵。
8.根据权利要求7所述的文本分类模型训练方法,其特征在于,所述文本分类模型包括分类器,根据所述文本表征结果,所述分类器采用第六公式进行分类预测,所述第六公式包括:
Y′=softmax(WC·Z+bC),
其中,
Figure FDA0003092961210000031
表示所述预测结果,参数矩阵
Figure FDA0003092961210000032
以及
Figure FDA0003092961210000033
则表示所述分类器的待训练参数,Z表示所述文本表征结果。
9.根据权利要求8所述的文本分类模型训练方法,其特征在于,根据所述文本表征结果和所述文本信息的标签采用第七公式确定交叉熵损失,所述第七公式包括:
Lc=CrossEntrophy(Y′,y),
其中,Lc表示所述交叉熵损失,y表示所述文本信息的标签,Y′表示所述预测结果;
根据所述L2范数损失和所述交叉熵损失采用第八公式确定联合损失,所述第八公式包括:
L=Lr+Lc
其中,L表示所述联合损失,Lr表示所述L2范数损失。
10.一种诉讼状分类方法,其特征在于,包括:
获取待分类的诉讼状;
提取所述诉讼状中的人物和/或事件,以及关系,以所述人物和/或所述事件为节点,所述关系为边构建人物事件关系图;
将所述人物事件关系图输入训练好的文本分类模型,输出所述诉讼状的分类结果,其中,所述文本分类模型,采用如权利要求1至9任一项所述的文本分类模型训练方法训练得到。
11.一种文本分类模型训练装置,其特征在于,包括:
第一获取模块,用于获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;
编码模块,用于将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;
融合模块,用于基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;
分类模块,用于根据所述文本表征结果进行分类预测,获得预测结果;
优化模块,用于根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛。
12.一种诉讼状分类装置,其特征在于,包括:
第二获取模块,用于获取待分类的诉讼状;
构建模块,用于提取所述诉讼状中的人物和/或事件,以及关系,以所述人物和/或所述事件为节点,所述关系为边构建人物事件关系图;
预测模块,用于将所述人物事件关系图输入训练好的文本分类模型,输出所述诉讼状的分类结果,其中,所述文本分类模型,采用如权利要求1至9任一项所述的文本分类模型训练方法训练得到。
13.一种电子设备,其特征在于,包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如权利要求1至9任一项所述的文本分类模型训练方法或如权利要求10所述的诉讼状分类方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1至9任一项所述的文本分类模型训练方法或如权利要求10所述的诉讼状分类方法。
CN202110600977.7A 2021-05-31 2021-05-31 文本分类模型训练方法、诉讼状分类方法及装置 Active CN113344060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110600977.7A CN113344060B (zh) 2021-05-31 2021-05-31 文本分类模型训练方法、诉讼状分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110600977.7A CN113344060B (zh) 2021-05-31 2021-05-31 文本分类模型训练方法、诉讼状分类方法及装置

Publications (2)

Publication Number Publication Date
CN113344060A true CN113344060A (zh) 2021-09-03
CN113344060B CN113344060B (zh) 2022-07-08

Family

ID=77472807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110600977.7A Active CN113344060B (zh) 2021-05-31 2021-05-31 文本分类模型训练方法、诉讼状分类方法及装置

Country Status (1)

Country Link
CN (1) CN113344060B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553433A (zh) * 2021-09-17 2021-10-26 平安科技(深圳)有限公司 基于人工智能的产品分类方法、装置、介质及终端设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235772A (zh) * 2013-03-08 2013-08-07 北京理工大学 一种文本集人物关系自动提取方法
CN106713108A (zh) * 2015-11-13 2017-05-24 华中科技大学 一种结合用户关系与贝叶斯理论的邮件分类方法
CN110347839A (zh) * 2019-07-18 2019-10-18 湖南数定智能科技有限公司 一种基于生成式多任务学习模型的文本分类方法
CN111309815A (zh) * 2018-12-12 2020-06-19 北京嘀嘀无限科技发展有限公司 一种关系图谱的处理方法、装置和电子设备
CN112163416A (zh) * 2020-10-09 2021-01-01 北京理工大学 一种融合句法和实体关系图卷积网络的事件联合抽取方法
CN112241458A (zh) * 2020-10-13 2021-01-19 北京百分点信息科技有限公司 文本的知识结构化处理方法、装置、设备和可读存储介质
CN112256867A (zh) * 2020-09-27 2021-01-22 华为技术有限公司 文本分类模型的训练方法、系统及相关设备
CN112269874A (zh) * 2020-10-10 2021-01-26 北京物资学院 一种文本分类方法及系统
CN112380385A (zh) * 2020-11-18 2021-02-19 湖南大学 一种基于多模态关系图的视频时刻定位方法及设备
CN112487143A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112699243A (zh) * 2021-01-15 2021-04-23 上海交通大学 基于法条图卷积网络文本的案件文书案由分类方法及介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235772A (zh) * 2013-03-08 2013-08-07 北京理工大学 一种文本集人物关系自动提取方法
CN106713108A (zh) * 2015-11-13 2017-05-24 华中科技大学 一种结合用户关系与贝叶斯理论的邮件分类方法
CN111309815A (zh) * 2018-12-12 2020-06-19 北京嘀嘀无限科技发展有限公司 一种关系图谱的处理方法、装置和电子设备
CN110347839A (zh) * 2019-07-18 2019-10-18 湖南数定智能科技有限公司 一种基于生成式多任务学习模型的文本分类方法
CN112256867A (zh) * 2020-09-27 2021-01-22 华为技术有限公司 文本分类模型的训练方法、系统及相关设备
CN112163416A (zh) * 2020-10-09 2021-01-01 北京理工大学 一种融合句法和实体关系图卷积网络的事件联合抽取方法
CN112269874A (zh) * 2020-10-10 2021-01-26 北京物资学院 一种文本分类方法及系统
CN112241458A (zh) * 2020-10-13 2021-01-19 北京百分点信息科技有限公司 文本的知识结构化处理方法、装置、设备和可读存储介质
CN112380385A (zh) * 2020-11-18 2021-02-19 湖南大学 一种基于多模态关系图的视频时刻定位方法及设备
CN112487143A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112699243A (zh) * 2021-01-15 2021-04-23 上海交通大学 基于法条图卷积网络文本的案件文书案由分类方法及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YING FANG等: "Self-adaptivetopic model:A solution to the problem of "rich topics gert richer"", 《CHINA COMMUNICATIONS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553433A (zh) * 2021-09-17 2021-10-26 平安科技(深圳)有限公司 基于人工智能的产品分类方法、装置、介质及终端设备
CN113553433B (zh) * 2021-09-17 2022-01-07 平安科技(深圳)有限公司 基于人工智能的产品分类方法、装置、介质及终端设备

Also Published As

Publication number Publication date
CN113344060B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN107526785B (zh) 文本分类方法及装置
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN110517329B (zh) 一种基于语义分析的深度学习图像压缩方法
CN111310852B (zh) 一种图像分类方法及系统
CN108287904A (zh) 一种基于社会化卷积矩阵分解的文档上下文感知推荐方法
CN112231584A (zh) 基于小样本迁移学习的数据推送方法、装置及计算机设备
CN111444367A (zh) 一种基于全局与局部注意力机制的图像标题生成方法
CN110688537A (zh) 一种计算图节点低维表征及相关应用方法
CN112667920A (zh) 基于文本感知的社交影响力预测方法、装置及设备
CN113344060B (zh) 文本分类模型训练方法、诉讼状分类方法及装置
CN117475038A (zh) 一种图像生成方法、装置、设备及计算机可读存储介质
CN111444399A (zh) 回复内容的生成方法、装置、设备及可读存储介质
CN117058276B (zh) 图像生成方法、装置、设备及存储介质
CN117150148A (zh) 一种基于预训练模型的社交网络舆情态势监控方法
CN112801107A (zh) 一种图像分割方法和电子设备
CN112100486A (zh) 一种基于图模型的深度学习推荐系统及其方法
CN115810215A (zh) 面部图像生成方法、装置、设备及存储介质
CN112950501B (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质
CN115186085A (zh) 回复内容处理方法以及媒体内容互动内容的交互方法
CN115705464A (zh) 一种信息的处理方法、装置及设备
CN114821602B (zh) 训练对抗神经网络生成字库的方法、系统、设备和介质
KR102608266B1 (ko) 이미지 생성 장치 및 방법
CN113420561B (zh) 一种命名实体识别方法、装置、设备及存储介质
US20240169623A1 (en) Multi-modal image generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant