CN116804997A - 基于图神经网络的中文相似案例推荐方法、装置和设备 - Google Patents
基于图神经网络的中文相似案例推荐方法、装置和设备 Download PDFInfo
- Publication number
- CN116804997A CN116804997A CN202310893270.9A CN202310893270A CN116804997A CN 116804997 A CN116804997 A CN 116804997A CN 202310893270 A CN202310893270 A CN 202310893270A CN 116804997 A CN116804997 A CN 116804997A
- Authority
- CN
- China
- Prior art keywords
- meta
- path
- node
- information
- case
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 107
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims description 26
- 238000004220 aggregation Methods 0.000 claims description 25
- 230000002776 aggregation Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 239000013604 expression vector Substances 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种基于图神经网络的中文相似案例推荐方法、装置和设备。所述方法包括：通过构建以法律层次体系信息和所述案例信息为节点，法条之内、案例之内以及法条和案例之间的关系信息为边构建的异构图，构建元路径并生成元路径的实例，进而进行节点特征获取、节点特征转换，通过元路径内汇聚策略和元路径间汇聚策略进行异构图表示学习，得到节点的最终表示向量。本发明一方面能够获取法律案例文件和法规的文本信息，另一方面通过异构图以及设计的元路径融合了法条之内、案例之内和法条和案例之间存在着的结构信息，可以将挖掘的结构信息与文本信息融合，从而提高相似案例推荐的精确度。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于图神经网络的中文相似案例推荐方法、装置和设备。
背景技术
相似法律案例检索的任务旨在为给定的新法律案例描述检索相似的案例。相似法律案例检索可以为目标案件的判决提供额外的信息支持。鉴于先前案件的数量庞大，法律决策者需要耗费大量的时间和精力来寻找和判断相似的法律案件，并且效率低下。因此，迫切需要检索类似案例的自动化工具。相似法律案例检索系统可以快捷地获取与目标案例相似的案例。目前主流的研究方法要么使用只利用了结构信息，要么只利用了文本信息，在效果上无法满足相似案例推荐的精确度要求，还不能完全利用好这两个方面的信息。因此，现有技术存在适应性不佳的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高法律相似案例推荐精准度的基于图神经网络的中文相似案例推荐方法、装置、计算机设备和存储介质。
一种基于图神经网络的中文相似案例推荐方法，所述方法包括：
获取法律层次体系信息和案例信息；所述法律层次体系信息包括法律整体文本信息、编文本信息、章文本信息、节文本信息和法条文本信息；
以所述法律层次体系信息和所述案例信息为节点，法条之内、案例之内以及法条和案例之间的关系信息为边，构建异构图；所述法条之内、案例之内以及法条和案例之间的关系信息包括法规结构之间的隶属关系信息、法条之间的相似关系信息、案例之间的相似关系信息和案例与法条之间的参照关系信息；
根据所述异构图，构建元路径，根据所述元路径生成元路径的实例；所述元路径包括案例-法条-案例、案例-案例-案例、案例-法条-法条-案例和案例-法条-节-法条-案例；
根据所述元路径的实例进行节点特征获取、节点特征转换，通过元路径内汇聚策略和元路径间汇聚策略进行异构图表示学习，得到节点的最终表示向量；
根据所述节点的最终表示向量对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络，通过所述训练好的相似案例推荐图神经网络进行相似案例推荐。
在其中一个实施例中，还包括：根据所述元路径的实例获取各个节点文本信息的向量表示，并将不同类型节点的向量表示转化到同一隐向量空间，得到转化节点特征；
根据所述转化节点特征通过基于注意力机制的元路径内汇聚策略学习给定元路径下不同元路径实例所反映的结构信息，得到元路径内汇聚节点特征；
根据所述元路径内汇聚节点特征通过基于注意力机制的元路径间汇聚策略学习不同元路径所反映的结构信息，得到元路径间汇聚节点特征；
将所述元路径间汇聚节点特征投影到目标空间，得到节点的最终表示向量。
在其中一个实施例中，还包括：根据所述元路径的实例通过BERT模型获取各个节点文本信息的向量表示：
其中，是类型为A的节点v的词序列，/>是经过BERT模型处理之后得到的向量，/> 是类型为A的节点集合，dA表示A的节点表示向量的维数；
通过线性变化将不同类型节点的向量表示转化到同一隐向量空间，得到转化节点特征：
其中，是转化后的矩阵，/>是参数矩阵，d′表示转化后向量的维数。
在其中一个实施例中，还包括：给定元路径P，对元路径实例P(v，u)＝(t0，t1，...，tn)，通过基于关系旋转的解码器得到元路径实例的向量表示：
其中，ti表示元路径实例上的节点，v，u为元路径的终点和起点，tn＝v，t1＝u，Ri是连接ti-1和ti的关系，ri是Ri旋转向量，oi表示第i次旋转得到的向量，是转化后的元路径实例P(v，u)的表示向量；
通过基于注意力机制的元路径内汇聚策略学习不同元路径实例所反映的结构信息，得到元路径内汇聚节点特征
在其中一个实施例中，还包括：根据所述元路径内汇聚节点特征通过基于注意力机制的元路径间汇聚策略学习不同元路径所反映的结构信息，得到元路径间汇聚节点特征表示所有起始点或终点类型为A的元路径的集合，M表示不同元路径的个数。
在其中一个实施例中，还包括：将所述元路径间汇聚节点特征投影到目标空间，得到节点的最终表示向量：
其中，是模型对节点v的最终表示向量，do是任务需要的向量维数，是参数矩阵，σ(·)是激活函数。
在其中一个实施例中，还包括：通过负样本采样的方式获得负样本集合；
根据所述节点的最终表示向量和所述负样本集合对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络；
向所述训练好的相似案例推荐图神经网络输入新案例的文本表示和结构信息，得到所述新案例的表示hnew；
根据所述新案例的表示hnew和已经存在的案例的表示计算相似概率；
根据所述相似概率进行相似案例推荐。
一种基于图神经网络的中文相似案例推荐装置，所述装置包括：
信息获取模块，用于获取法律层次体系信息和案例信息；所述法律层次体系信息包括法律整体文本信息、编文本信息、章文本信息、节文本信息和法条文本信息；
异构图构建模块，用于以所述法律层次体系信息和所述案例信息为节点，法条之内、案例之内以及法条和案例之间的关系信息为边，构建异构图；所述法条之内、案例之内以及法条和案例之间的关系信息包括法规结构之间的隶属关系信息、法条之间的相似关系信息、案例之间的相似关系信息和案例与法条之间的参照关系信息；
元路径构建模块，用于根据所述异构图，构建元路径，根据所述元路径生成元路径的实例；所述元路径包括案例-法条-案例、案例-案例-案例、案例-法条-法条-案例和案例-法条-节-法条-案例；
异构图学习模块，用于根据所述元路径的实例进行节点特征获取、节点特征转换，通过元路径内汇聚策略和元路径间汇聚策略进行异构图表示学习，得到节点的最终表示向量；
模型训练使用模块，用于根据所述节点的最终表示向量对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络，通过所述训练好的相似案例推荐图神经网络进行相似案例推荐。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取法律层次体系信息和案例信息；所述法律层次体系信息包括法律整体文本信息、编文本信息、章文本信息、节文本信息和法条文本信息；
以所述法律层次体系信息和所述案例信息为节点，法条之内、案例之内以及法条和案例之间的关系信息为边，构建异构图；所述法条之内、案例之内以及法条和案例之间的关系信息包括法规结构之间的隶属关系信息、法条之间的相似关系信息、案例之间的相似关系信息和案例与法条之间的参照关系信息；
根据所述异构图，构建元路径，根据所述元路径生成元路径的实例；所述元路径包括案例-法条-案例、案例-案例-案例、案例-法条-法条-案例和案例-法条-节-法条-案例；
根据所述元路径的实例进行节点特征获取、节点特征转换，通过元路径内汇聚策略和元路径间汇聚策略进行异构图表示学习，得到节点的最终表示向量；
根据所述节点的最终表示向量对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络，通过所述训练好的相似案例推荐图神经网络进行相似案例推荐。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取法律层次体系信息和案例信息；所述法律层次体系信息包括法律整体文本信息、编文本信息、章文本信息、节文本信息和法条文本信息；
以所述法律层次体系信息和所述案例信息为节点，法条之内、案例之内以及法条和案例之间的关系信息为边，构建异构图；所述法条之内、案例之内以及法条和案例之间的关系信息包括法规结构之间的隶属关系信息、法条之间的相似关系信息、案例之间的相似关系信息和案例与法条之间的参照关系信息；
根据所述异构图，构建元路径，根据所述元路径生成元路径的实例；所述元路径包括案例-法条-案例、案例-案例-案例、案例-法条-法条-案例和案例-法条-节-法条-案例；
根据所述元路径的实例进行节点特征获取、节点特征转换，通过元路径内汇聚策略和元路径间汇聚策略进行异构图表示学习，得到节点的最终表示向量；
根据所述节点的最终表示向量对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络，通过所述训练好的相似案例推荐图神经网络进行相似案例推荐。
上述基于图神经网络的中文相似案例推荐方法、装置、计算机设备和存储介质，通过构建以法律层次体系信息和所述案例信息为节点，法条之内、案例之内以及法条和案例之间的关系信息为边构建的异构图，构建元路径并生成元路径的实例，进而进行节点特征获取、节点特征转换，通过元路径内汇聚策略和元路径间汇聚策略进行异构图表示学习，得到节点的最终表示向量。本发明一方面能够获取法律案例文件和法规的文本信息，另一方面通过异构图以及设计的元路径融合了法条之内、案例之内和法条和案例之间存在着的结构信息，可以将挖掘的结构信息与文本信息融合，从而提高相似案例推荐的精确度。
附图说明
图1为一个实施例中基于图神经网络的中文相似案例推荐方法的流程示意图；
图2为一个具体实施例中构建的异构图示意图；
图3为一个实施例中基于图神经网络的中文相似案例推荐装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于图神经网络的中文相似案例推荐方法，包括以下步骤：
步骤102，获取法律层次体系信息和案例信息。
本发明提出的异构图由案件文件和法条层次体系两部分组成，案件文件包括案件基本信息、法院分析和对案件的判决，法规的层次结构是法律(整篇)，编，章，节和条款的集合。一个完整的法律可以分为多个编，每个编可以分为多个章节，章和节可以以类似的方式划分。但是并不是所有的法律结构都包含所有的下属结构，比方有些法律中的章下面只有法条，而没有节。
本发明方法同时考虑了案例文件和法律体系的结构信息和文本信息，案例文件和法规之间的链接可以作为模型生成的嵌入的法律领域知识补充。
步骤104，以法律层次体系信息和案例信息为节点，法条之内、案例之内以及法条和案例之间的关系信息为边，构建异构图。
异构图的定义如下：设图其中/>是图节点的集合，ε是图边的集合。设图具有点类型映射函数/>和边类型映射函数/>其中/>和/>分别是点和边的种类集合，那么/>是异构图当且仅当/>
本实施例中，如图2所示，act，chapter，topic，section，article和d分别代表了法律(指一套完整的法律)，编，章，节，条和案例。图中还有四种类型的边：(1)法规结构之间的隶属关系：使用黑色的实箭头连线代表法规结构之间的隶属关系，这类边表示法条中的上级结构包含下级结构，或者下级结构隶属于上级结构。这些边与法律或者条例的实际结构有关，所以是已知的。(2)法条之间的相似关系：使用黑色的虚线表示不同的法规条例之间的法条的相似关系，这类边表明相连的两个法条之间存在相似关系。这种关系是人为标定的。(3)案例之间的相似关系：使用第一虚线代表违纪案例间的相似关系，这类边表明相连的两个案例之间存在相似关系。这种关系是人为标定的。(4)案例与法条之间的参照关系：使用第二虚线代表案例与法条的参照关系，这类边说明案例中的违法情况符合与之相连的法条中的处分情形，或者说在给该案例判决时需要参考与之相连的案例。这种关系是人为标定的。
步骤106，根据异构图，构建元路径，根据元路径生成元路径的实例。
元路径P定义为形如的路径，其中的A1，A2，...，Al+1为节点，R1，R2，...，Rl用来描述节点之间的关系。元路径用来描述A1与Al+1的复合关系 表示关系的复合运算符。
在元路径的基础上定义元路径的实例，元路径的实例定义为节点类型和边类型与元路径相同的节点序列，记为p。比如说对于元路径是P的一个实例。另外，规定P(u，v)表示连接节点u，v的元路径实例。
不同形式的元路径有不同的语义含义，在异构图中可以用于表达不同类型的信息，为了能够表示构建的异构网络，需要根据任务来人为选择多个对任务有影响的元路径，从而充分利用异构图中的结构信息。下面具体介绍构建的元路径：
(1)案例-法条-案例
由于法规条例中的一个法条内具体规定了某一种行为需要受到的惩戒，那么如果有两个案例都参照了同一个法条，可以认为这两个案例包含相似的违法情况，进而可以认为这两个案例是相似的。这种元路径可以帮助获取参照了同一个法条的案例的结构信息，所以构建案例-法条-案例这种元路径。
(2)案例-案例-案例
有理由认为当两个案例都与同一个案例相似时，这两个案例很可能也是相似的，这种元路径可以帮助获取案例两两相似的结构信息，所以构架了案例-案例-案例这种元路径。
(3)案例-法条-法条-案例
已知不同法规条例的法条之间是存在相似关系的，这表明这两个法条所描述的违法情况是相似的，则可以认为参照这两个相似法条的两个不同案例相似的可能性较大，这种元路径可以获取参照不同法规条例的案例的相似关系，所以构架了案例-法条-法条-案例这种元路径。
(4)案例-法条-节-法条-案例
在同一节之中规定着同一类型的违法情况所要受到的处罚，即在在同一节内，不同法条所描述的违法情况的类型相似。则如果两个案例参照了属于同一节的两个法条的话，说明这两个案例描述的违纪行为属于同一种类型。这种元路径获取了案例行为类型的相似关系，所以构建了案例-法条-节-法条-案例这种元路径。
步骤108，根据元路径的实例进行节点特征获取、节点特征转换，通过元路径内汇聚策略和元路径间汇聚策略进行异构图表示学习，得到节点的最终表示向量。
在异构图中生成节点的向量表示需要三个步骤，即节点内容转换、元路径内聚合和元路径间聚合。由于异构图包含多种节点类型，因此需要节点内容转换将异构节点的特征投影到同一向量空间。然后，将元路径内聚合应用于每个元路径的实例，以便从中获取和整合元路径实例信息。此外，应用元路径间聚合来自所有类型的元路径的信息并获得最终节点嵌入。在这两种聚合策略中都要使用注意机制，根据元路径实例或元路径的贡献以不同的方式融合信息。
本发明提出一种异构图的表示学习方法，使得在将异构图节点的向量化表示时，既可以考虑节点本身的特征，又可以考虑异构图的结构信息。具体来说异构图的结构信息是由元路径体现的，使用注意力机制，使得模型既可以获取一条元路径上各个节点的内容特征，又关注考虑其他元路径的影响。
步骤110，根据节点的最终表示向量对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络，通过训练好的相似案例推荐图神经网络进行相似案例推荐。
训练得到的模型可以输出新案例和过去案例的向量表示，进而计算相似度。
上述基于图神经网络的中文相似案例推荐方法中，通过构建以法律层次体系信息和所述案例信息为节点，法条之内、案例之内以及法条和案例之间的关系信息为边构建的异构图，构建元路径并生成元路径的实例，进而进行节点特征获取、节点特征转换，通过元路径内汇聚策略和元路径间汇聚策略进行异构图表示学习，得到节点的最终表示向量。本发明一方面能够获取法律案例文件和法规的文本信息，另一方面通过异构图以及设计的元路径融合了法条之内、案例之内和法条和案例之间存在着的结构信息，可以将挖掘的结构信息与文本信息融合，从而提高相似案例推荐的精确度。
在其中一个实施例中，还包括：根据元路径的实例获取各个节点文本信息的向量表示，并将不同类型节点的向量表示转化到同一隐向量空间，得到转化节点特征；根据转化节点特征通过基于注意力机制的元路径内汇聚策略学习给定元路径下不同元路径实例所反映的结构信息，得到元路径内汇聚节点特征；根据元路径内汇聚节点特征通过元路径间汇聚策略学习不同元路径所反映的结构信息，得到元路径间汇聚节点特征；将元路径间汇聚节点特征投影到目标空间，得到节点的最终表示向量。
在其中一个实施例中，还包括：根据元路径的实例通过BERT模型获取各个节点文本信息的向量表示：
其中，是类型为A的节点v的词序列，/>是经过BERT模型处理之后得到的向量，/> 是类型为A的节点集合，dA表示A的节点表示向量的维数；
通过线性变化将不同类型节点的向量表示转化到同一隐向量空间，得到转化节点特征：
其中，是类型为A的节点v的词序列，在本任务中节点的种类有四种分别对应act、chapter、section和fact。/>是文本经过BERT模型处理之后得到的向量，dA表示A的节点表示向量的维数，而因为所有种类的文本都是经过BERT处理的，维数等于768。
BERT模型的输入是前后加了CLS和SEP的词序列，在BERT模型中，词序列中的每一个字都会被分配一个初始化的向量表示embedding，然后经过多层的Transformer解码器获得每一个词的向量表示，值得注意的是在获取输出的时候只取了第一个token的表示hCLS，即CLS的表示，这样做的原因有两个：(1)经过BERT模型中多层的Transformer解码器的训练，最后一层的每一个token的表示都包含了所有词的语义信息，(2)CLS最初不包含特殊的含义，在经过多层的自注意力机制的信息传递后，CLS给每个词的权重并无差别，也就是说选择hCLS作为序列的语义表示能够公平地融合所有字的语义信息。
异构图本身包含多种节点，每一个节点的向量表示可能具有不同的维度，或者即便有相同的维度，这些向量也很可能存在于不同的特征空间中。比如通过BERT模型获得的案例的本文表示和法条的文本表示不在同一个特征空间。因此要想在一个统一的框架下对不同类型节点的表示进行处理，首先需要将不同种节点的内容特征转化到同一个特征空间。
在其中一个实施例中，还包括：给定元路径P，对元路径实例P(v，u)＝(t0，t1，...，tn)，通过基于关系旋转的解码器得到元路径实例的向量表示：
其中，ti表示元路径实例上的节点，v，u为元路径的终点和起点，tn＝v，t1＝u，Ri是连接ti-1和ti的关系，ri是Ri旋转向量，oi表示第i次旋转得到的向量，是转化后的元路径实例P(v，u)的表示向量；
对一个目标节点来说，它的表示不仅仅和它自身的特征有关系，还与它身处的元路径有关系，元路径的信息应该通过某种方法传递给目标节点，最后得到节点在给定元路径P时的表示。
需要将元路径上的信息传递给目标节点。显然不同元路径实例对任务的贡献程度不一样，想要能为任务提供更多信息的元路径实例在表示节点时占据的份额更多，比如在本任务中想预测两个案例之间的相似关系，那么就想要突出那些连接着相似案例的元路径实例，让它们在表示节点时所占的份额更多。使用注意力机制来计算不同元路径实例对目标节点的重要程度。则有：
其中，表示P(v，u)和节点v的相似程度，或者说/>表示P(v，u)对节点v的贡献程度，||表示拼接两个向量的运算符，/>是元路径P的参数化注意力向量，用于学习不同元路径实例的注意力权重。/>是将计算得来的贡献程度进行加权归一化，具体而言对于每一个基于元路径的邻居/>所对应的元路径实例计算对目标节点的贡献程度然后经过softmax函数进行归一化。接着对每一个/>进行加权求和，最后通过一个激活函数σ(·)获得节点v的表示/>
当然这种注意力机制还可以拓展到多注意力头，多注意力头被证明可以允许模型同时关注来自不同位置的不同表示子空间的信息。或者说单个注意力头仅仅关注一个子空间的信息，通过引入多个注意力头，可以学习到复杂异构图中更多方面的信息，避免模型因为仅仅注意到一个方面的内容导致的训练过程不稳定和高方差，进而改进模型的效果。具体而言独立地使用K次注意力机制，然后把它们的结果拼接起来，则有：
其中，表示在第k注意力参数运算的结果。
综上所述，假设目标节点的类型为A，目标节点为v，则给定异构图的所有节点投影后的向量表示/>和所有起始点或终点类型为A的元路径的集合基于元路径内汇聚的异构图表示方法为v生成了M个针对不同元路径的向量表示，记为/>如果不考虑多注意力头，则/>对于任意一个向量表示/> 表示的是元路径Pi的所有实例通过注意力机制对v的聚合，而元路径本身可以反映一种类型的结构信息，所以/>就可以视为将元路径Pi所反映结构信息汇聚到节点v的表示。
在其中一个实施例中，还包括：根据元路径内汇聚节点特征通过元路径间汇聚策略学习不同元路径所反映的结构信息，得到元路径间汇聚节点特征 表示所有起始点或终点类型为A的元路径的集合，M表示不同元路径的个数。
通过使用元路径内的汇聚策略能够获得每种元路径表达的结构信息。但是这些结构信息还分布在M个向量中，若希望获得一个能够表达所有结构信息的向量来表示目标节点，可以通过基于注意力机制的元路径间汇聚策略来解决这个问题。
一种直观的想法是对中的每一个向量都按元素取平均值，但是这样就认为每一种元路径对任务的贡献程度相同，为了能够区分出每一种元路径的重要程度，这里再次使用注意力机制来计算不同元路径对某种类型节点的权重，然后加权求和。
对给定节点类型对每一个节点/>可以生成/>来表示从不同种类的元路径学到的结构信息，则对A类型的节点，一共有/>组/>首先，计算元路径/>对所有节点汇聚表示的平均值：
其中，和/>是参数矩阵和向量。接着使用注意力机制将所有类型的元路径信息汇聚在一起：
其中，是可以学习的注意力向量，用来描述元路径Pi对A类型的节点的重要程度，再经过softmax函数进行归一化处理得到/>即Pi对A类型的节点的相对重要程度，最后将所有种类的元路径汇聚表示加权求和得到最后结果/> 表示起始点或者终点类型为A的所有元路径汇聚到目标节点v的向量表达。
在其中一个实施例中，还包括：将元路径间汇聚节点特征投影到目标空间，得到节点的最终表示向量：
其中，是模型对节点v的最终表示向量，do是任务需要的向量维数，是参数矩阵，σ(·)是激活函数。
在其中一个实施例中，还包括：通过负样本采样的方式获得负样本集合；根据节点的最终表示向量和负样本集合对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络；向训练好的相似案例推荐图神经网络输入新案例的文本表示和结构信息，得到新案例的表示hnew；根据新案例的表示hnew和已经存在的案例的表示计算相似概率；根据相似概率进行相似案例推荐。
在异构图神经网络的背景下，本发明任务是典型的连接预测任务(1inkprediction)，具体来说需要通过训练已有的案例之间的相互联系，来预测新案例和旧案例之间的联系。为了训练模型，通过一种负样本采样的方法获得负例，具体来说就是先使用存在相似关系的案例构建正例集Ω+＝{(u，v)|<factu，factv>}，再求Ω+关于所有任意案例两两结合的补集，就构成了负样本集合Ω-。使用如下的损失函数对模型进行训练：
其中，hv，hu，hv′，hu′是对应节点在异构图中得到的表示，σ(·)为sigmoid函数，表示训练损失。
在预测时，输入新案例的文本表示和结构信息，得到表示hnew，然后对每个已经存在的案例的表示都可以计算相似概率：
pu＝σhuT·hnew
然后，可以得到所有的概率集合按照大小排序后，就可以将每个概率对应的旧案例推荐出来了。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种基于图神经网络的中文相似案例推荐装置，包括：信息获取模块302、异构图构建模块304、元路径构建模块306、异构图学习模块308和模型训练使用模块310，其中：
信息获取模块302，用于获取法律层次体系信息和案例信息；法律层次体系信息包括法律整体文本信息、编文本信息、章文本信息、节文本信息和法条文本信息；
异构图构建模块304，用于以法律层次体系信息和案例信息为节点，法条之内、案例之内以及法条和案例之间的关系信息为边，构建异构图；法条之内、案例之内以及法条和案例之间的关系信息包括法规结构之间的隶属关系信息、法条之间的相似关系信息、案例之间的相似关系信息和案例与法条之间的参照关系信息；
元路径构建模块306，用于根据异构图，构建元路径，根据元路径生成元路径的实例；元路径包括案例-法条-案例、案例-案例-案例、案例-法条-法条-案例和案例-法条-节-法条-案例；
异构图学习模块308，用于根据元路径的实例进行节点特征获取、节点特征转换，通过元路径内汇聚策略和元路径间汇聚策略进行异构图表示学习，得到节点的最终表示向量；
模型训练使用模块310，用于根据节点的最终表示向量对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络，通过训练好的相似案例推荐图神经网络进行相似案例推荐。
异构图学习模块308还用于根据元路径的实例获取各个节点文本信息的向量表示，并将不同类型节点的向量表示转化到同一隐向量空间，得到转化节点特征；
根据转化节点特征通过基于注意力机制的元路径内汇聚策略学习给定元路径下不同元路径实例所反映的结构信息，得到元路径内汇聚节点特征；
根据元路径内汇聚节点特征通过元路径间汇聚策略学习不同元路径所反映的结构信息，得到元路径间汇聚节点特征；
将元路径间汇聚节点特征投影到目标空间，得到节点的最终表示向量。
异构图学习模块308还用于根据元路径的实例通过BERT模型获取各个节点文本信息的向量表示：
其中，是类型为A的节点v的词序列，/>是经过BERT模型处理之后得到的向量，/> 是类型为A的节点集合，dA表示A的节点表示向量的维数；
通过线性变化将不同类型节点的向量表示转化到同一隐向量空间，得到转化节点特征：
其中，是转化后的矩阵，/>是参数矩阵，d′表示转化后向量的维数。
异构图学习模块308还用于给定元路径P，对元路径实例P(v，u)＝(t0，t1，...，tn)，通过基于关系旋转的解码器得到元路径实例的向量表示：
/>
其中，ti表示元路径实例上的节点，v，u为元路径的终点和起点，tn＝v，t1＝u，Ri是连接ti-1和ti的关系，ri是Ri旋转向量，oi表示第i次旋转得到的向量，是转化后的元路径实例P(v，u)的表示向量；
通过基于注意力机制的元路径内汇聚策略学习不同元路径实例所反映的结构信息，得到元路径内汇聚节点特征
异构图学习模块308还用于根据元路径内汇聚节点特征通过元路径间汇聚策略学习不同元路径所反映的结构信息，得到元路径间汇聚节点特征 表示所有起始点或终点类型为A的元路径的集合，M表示不同元路径的个数。
异构图学习模块308还用于将元路径间汇聚节点特征投影到目标空间，得到节点的最终表示向量：
其中，是模型对节点v的最终表示向量，do是任务需要的向量维数，是参数矩阵，σ(·)是激活函数。
模型训练使用模块310还用于通过负样本采样的方式获得负样本集合；根据节点的最终表示向量和负样本集合对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络；向训练好的相似案例推荐图神经网络输入新案例的文本表示和结构信息，得到新案例的表示hnew；根据新案例的表示hnew和已经存在的案例的表示计算相似概率；根据相似概率进行相似案例推荐。
关于基于图神经网络的中文相似案例推荐装置的具体限定可以参见上文中对于基于图神经网络的中文相似案例推荐方法的限定，在此不再赘述。上述基于图神经网络的中文相似案例推荐装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于图神经网络的中文相似案例推荐方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于图神经网络的中文相似案例推荐方法，其特征在于，所述方法包括：
获取法律层次体系信息和案例信息；所述法律层次体系信息包括法律整体文本信息、编文本信息、章文本信息、节文本信息和法条文本信息；
以所述法律层次体系信息和所述案例信息为节点，法条之内、案例之内以及法条和案例之间的关系信息为边，构建异构图；所述法条之内、案例之内以及法条和案例之间的关系信息包括法规结构之间的隶属关系信息、法条之间的相似关系信息、案例之间的相似关系信息和案例与法条之间的参照关系信息；
根据所述异构图，构建元路径，根据所述元路径生成元路径的实例；所述元路径包括案例-法条-案例、案例-案例-案例、案例-法条-法条-案例和案例-法条-节-法条-案例；
根据所述元路径的实例进行节点特征获取、节点特征转换，通过元路径内汇聚策略和元路径间汇聚策略进行异构图表示学习，得到节点的最终表示向量；
根据所述节点的最终表示向量对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络，通过所述训练好的相似案例推荐图神经网络进行相似案例推荐。
2.根据权利要求1所述的方法，其特征在于，根据所述元路径的实例进行节点特征获取、节点特征转换，通过元路径内汇聚策略和元路径间汇聚策略进行异构图表示学习，得到节点的最终表示向量，包括：
根据所述元路径的实例获取各个节点文本信息的向量表示，并将不同类型节点的向量表示转化到同一隐向量空间，得到转化节点特征；
根据所述转化节点特征通过基于注意力机制的元路径内汇聚策略学习给定元路径下不同元路径实例所反映的结构信息，得到元路径内汇聚节点特征；
根据所述元路径内汇聚节点特征通过基于注意力机制的元路径间汇聚策略学习不同元路径所反映的结构信息，得到元路径间汇聚节点特征；
将所述元路径间汇聚节点特征投影到目标空间，得到节点的最终表示向量。
3.根据权利要求2所述的方法，其特征在于，根据所述元路径的实例获取各个节点文本信息的向量表示，并将不同类型节点的向量表示转化到同一隐向量空间，得到转化节点特征，包括：
根据所述元路径的实例通过BERT模型获取各个节点文本信息的向量表示：
其中，是类型为A的节点v的词序列，/>是经过BERT模型处理之后得到的向量，/> 是类型为A的节点集合，dA表示A的节点表示向量的维数；
通过线性变化将不同类型节点的向量表示转化到同一隐向量空间，得到转化节点特征：
其中，是转化后的矩阵，/>是参数矩阵，d′表示转化后向量的维数。
4.根据权利要求3所述的方法，其特征在于，根据所述转化节点特征通过基于注意力机制的元路径内汇聚策略学习给定元路径下不同元路径实例所反映的结构信息，得到元路径内汇聚节点特征，包括：
给定元路径P，对元路径实例P(v，u)＝(t0，t1，...，tn)，通过基于关系旋转的解码器得到元路径实例的向量表示：
其中，ti表示元路径实例上的节点，v，u为元路径的终点和起点，tn＝v，t1＝u，Ri是连接ti-1和ti的关系，ri是Ri旋转向量，oi表示第i次旋转得到的向量，是转化后的元路径实例P(v，u)的表示向量；
通过基于注意力机制的元路径内汇聚策略学习不同元路径实例所反映的结构信息，得到元路径内汇聚节点特征
5.根据权利要求4所述的方法，其特征在于，根据所述元路径内汇聚节点特征通过基于注意力机制的元路径间汇聚策略学习不同元路径所反映的结构信息，得到元路径间汇聚节点特征，包括：
根据所述元路径内汇聚节点特征通过基于注意力机制的元路径间汇聚策略学习不同元路径所反映的结构信息，得到元路径间汇聚节点特征 表示所有起始点或终点类型为A的元路径的集合，M表示不同元路径的个数。
6.根据权利要求5所述的方法，其特征在于，将所述元路径间汇聚节点特征投影到目标空间，得到节点的最终表示向量，包括：
将所述元路径间汇聚节点特征投影到目标空间，得到节点的最终表示向量：
其中，是模型对节点v的最终表示向量，do是任务需要的向量维数，是参数矩阵，σ(·)是激活函数。
7.根据权利要求1所述的方法，其特征在于，根据所述节点的最终表示向量对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络，通过所述训练好的相似案例推荐图神经网络进行相似案例推荐，包括：
通过负样本采样的方式获得负样本集合；
根据所述节点的最终表示向量和所述负样本集合对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络；
向所述训练好的相似案例推荐图神经网络输入新案例的文本表示和结构信息，得到所述新案例的表示hnew；
根据所述新案例的表示hnew和已经存在的案例的表示计算相似概率；
根据所述相似概率进行相似案例推荐。
8.一种基于图神经网络的中文相似案例推荐装置，其特征在于，所述装置包括：
信息获取模块，用于获取法律层次体系信息和案例信息；所述法律层次体系信息包括法律整体文本信息、编文本信息、章文本信息、节文本信息和法条文本信息；
异构图构建模块，用于以所述法律层次体系信息和所述案例信息为节点，法条之内、案例之内以及法条和案例之间的关系信息为边，构建异构图；所述法条之内、案例之内以及法条和案例之间的关系信息包括法规结构之间的隶属关系信息、法条之间的相似关系信息、案例之间的相似关系信息和案例与法条之间的参照关系信息；
元路径构建模块，用于根据所述异构图，构建元路径，根据所述元路径生成元路径的实例；所述元路径包括案例-法条-案例、案例-案例-案例、案例-法条-法条-案例和案例-法条-节-法条-案例；
异构图学习模块，用于根据所述元路径的实例进行节点特征获取、节点特征转换，通过元路径内汇聚策略和元路径间汇聚策略进行异构图表示学习，得到节点的最终表示向量；
模型训练使用模块，用于根据所述节点的最终表示向量对预先构建的相似案例推荐图神经网络进行训练，得到训练好的相似案例推荐图神经网络，通过所述训练好的相似案例推荐图神经网络进行相似案例推荐。
9.根据权利要求8所述的装置，其特征在于，所述异构图学习模块还用于：
根据所述元路径的实例获取各个节点文本信息的向量表示，并将不同类型节点的向量表示转化到同一隐向量空间，得到转化节点特征；
根据所述转化节点特征通过基于注意力机制的元路径内汇聚策略学习给定元路径下不同元路径实例所反映的结构信息，得到元路径内汇聚节点特征；
根据所述元路径内汇聚节点特征通过基于注意力机制的元路径间汇聚策略学习不同元路径所反映的结构信息，得到元路径间汇聚节点特征；
将所述元路径间汇聚节点特征投影到目标空间，得到节点的最终表示向量。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310893270.9A CN116804997A (zh) | 2023-07-19 | 2023-07-19 | 基于图神经网络的中文相似案例推荐方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310893270.9A CN116804997A (zh) | 2023-07-19 | 2023-07-19 | 基于图神经网络的中文相似案例推荐方法、装置和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116804997A true CN116804997A (zh) | 2023-09-26 |
Family
ID=88080757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310893270.9A Pending CN116804997A (zh) | 2023-07-19 | 2023-07-19 | 基于图神经网络的中文相似案例推荐方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116804997A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117149999A (zh) * | 2023-11-01 | 2023-12-01 | 人民法院信息技术服务中心 | 基于法律要素层次网络和文本特征的类案推荐方法及装置 |
| CN117708821A (zh) * | 2024-02-06 | 2024-03-15 | 山东省计算中心（国家超级计算济南中心） | 基于异构图嵌入的勒索软件检测方法、系统、设备及介质 |
-
2023
- 2023-07-19 CN CN202310893270.9A patent/CN116804997A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117149999A (zh) * | 2023-11-01 | 2023-12-01 | 人民法院信息技术服务中心 | 基于法律要素层次网络和文本特征的类案推荐方法及装置 |
| CN117149999B (zh) * | 2023-11-01 | 2024-01-23 | 人民法院信息技术服务中心 | 基于法律要素层次网络和文本特征的类案推荐方法及装置 |
| CN117708821A (zh) * | 2024-02-06 | 2024-03-15 | 山东省计算中心（国家超级计算济南中心） | 基于异构图嵌入的勒索软件检测方法、系统、设备及介质 |
| CN117708821B (zh) * | 2024-02-06 | 2024-04-30 | 山东省计算中心（国家超级计算济南中心） | 基于异构图嵌入的勒索软件检测方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11170257B2 (en) | Image captioning with weakly-supervised attention penalty | |
| CN116804997A (zh) | 基于图神经网络的中文相似案例推荐方法、装置和设备 | |
| Xu et al. | Causality learning: A new perspective for interpretable machine learning | |
| CN112528035B (zh) | 基于关系注意力的知识图谱推理方法、装置和计算机设备 | |
| Zhang et al. | Exploring region relationships implicitly: Image captioning with visual relationship attention | |
| US11049043B2 (en) | Model induction method for explainable A.I | |
| Li et al. | A survey of explainable graph neural networks: Taxonomy and evaluation metrics | |
| Omrani et al. | Multi-label class assignment in land-use modelling | |
| Chattopadhyay et al. | Abductive learning of quantized stochastic processes with probabilistic finite automata | |
| Hyun et al. | VarSR: Variational super-resolution network for very low resolution images | |
| Pham et al. | Unsupervised training of Bayesian networks for data clustering | |
| CN115098556A (zh) | 用户需求匹配方法、装置、电子设备及存储介质 | |
| CN113343091A (zh) | 面向产业和企业的科技服务推荐计算方法、介质及程序 | |
| CN114444517B (zh) | 一种量刑标准知识增强的数值感知的智能法律判决方法 | |
| CN113516182B (zh) | 视觉问答模型训练、视觉问答方法和装置 | |
| Sidnyaev et al. | Statistical and linguistic decision-making techniques based on fuzzy set theory | |
| CN115062619A (zh) | 中文实体链接方法、装置、设备及存储介质 | |
| Zhang | An English teaching resource recommendation system based on network behavior analysis | |
| Shen et al. | Software crowdsourcing task pricing based on topic model analysis | |
| Ding et al. | Three-way decisions in generalized intuitionistic fuzzy environments: survey and challenges | |
| Dutta et al. | Towards Causality-Based Explanation of Aerial Scene Classifiers | |
| Au et al. | Component-wise boosting of targets for multi-output prediction | |
| Simon et al. | Forecasting the CATS benchmark with the Double Vector Quantization method | |
| CN116992035B (zh) | 一种提案智能分类的方法、装置、计算机设备和介质 | |
| CN116405323B (zh) | 安全态势感知攻击预测方法、装置、设备、介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |