CN110717843A - 一种可复用的法条推荐框架 - Google Patents
一种可复用的法条推荐框架 Download PDFInfo
- Publication number
- CN110717843A CN110717843A CN201911009434.7A CN201911009434A CN110717843A CN 110717843 A CN110717843 A CN 110717843A CN 201911009434 A CN201911009434 A CN 201911009434A CN 110717843 A CN110717843 A CN 110717843A
- Authority
- CN
- China
- Prior art keywords
- law
- case
- model
- recommendation
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000014509 gene expression Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 12
- 230000008901 benefit Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 239000013604 expression vector Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 2
- 238000013145 classification model Methods 0.000 abstract description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Tourism & Hospitality (AREA)
- Bioinformatics & Computational Biology (AREA)
- Technology Law (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种可复用的法条推荐框架，包括以下步骤：提取裁判文书集构建训练语料；对裁判文书进行预处理，包括抽取出案件基本情况段落和引用法条列表，对案件基本情况进行中文分词，学习案件基本情况的向量表示模型，构建法条推荐任务的输出空间以及学习法条的语义向量模型；对用户输入的案件情况进行预处理；设计多标签分类模型对法条集进行预排序获得候选推荐法条集；对候选推荐法条集进行二次排序，获得最终推荐结果；输出推荐法条列表。本发明模拟给定案件基本情况筛选相关法条进行引用的真实场景，额外考虑法条自身的语义信息、法条与法条之间的关联进行法条推荐，通过再排序策略优化推荐结果，提高了法条推荐的准确性。
Description
技术领域
本发明涉及一种法条推荐框架，具体涉及一种可复用的法条推荐框架，属于自然语言处理领域。
背景技术
近年来，人民法院信息化建设迈出了跨越式步伐，现代科技与法院工作愈发深度融合，信息时代审判运行新模式正在逐步形成。审判结果预测作为人工智能在法院信息化建设过程中的一个成功应用，吸引了众多研究学者的关注，其目标在于自动、高效且准确地预测案件的指控罪名、案件引用的法律法条等一系列审判结果。
在案件的裁决过程中，法官通常需要完寻找合适的法律法条作为审判依据。在这一过程中，一方面，鉴于法条总数之多，针对每一个案件寻找几条甚至是确切的某一条法条是一项庞大且困难的工作；另一方面，每天发生的案件数量之多也使得为数不多的法官分身乏力，面对频繁发生的案件类型，重复相似的过程以寻找合适法律条文是很容易让人感到疲乏的；相反，如果案件情况很复杂，就需要消耗大量的时间和精力去分析案件过程以寻得合适的法条。而对于那些牵扯案件或面对法律问题却缺乏相关法律专业知识的普通群众而言，他们则需要寻找专业的法律顾问来解决问题，这一过程需要花费大量的时间与金钱。这时，法条推荐的作用便突显出来了。一个优秀的法条推荐系统就既可以提高法官的工作效率与准确性，也能给普通群众带来极大的便利。
在自然语言处理领域中，深度神经网络的特征抽取功能之强大在自然语言的语义抽取方面取得了重大突破，推动着相关研究工作的飞速发展，众多研究学者也对基于神经网络的法条推荐方法做出了各类研究，但大多数方法都仅局限于关注案件和各个法条之间的联系。事实上，某些法条常会被同时引用，而它们在法律意义上是相辅相成的。其次，在分类框架下，内容丰富的法条仅被当作标签，这是对法条自身所蕴含的语义的忽视。另外，在案件基本情况的描述文本中，隐含丰富信息的案件描述词汇一般会直接影响到预测结果。因此，在做法条推荐的时候，我们可以通过更多地关注这些关键词以达到更好的预测结果。综上，本发明基于深度神经网络框架，结合上面提及的应当考虑提取的文本语义，以裁判文书为数据源，着重研究了一种可复用的法条推荐框架。
发明内容
本发明是一种可复用的法条推荐框架，研究了一种基于深度神经网络的法条推荐方法，包括一个循环神经网络结构与最大池化层的结合架构、一种利用注意力机制自动关注案件描述文本中的关键词以生成准确上下文向量的方法、一个学习法条语义表示的神经网络算法以及一个提取法条之间关联并对它们进行二次排序的解码器-编码器框架。该框架能着重关注案件基本情况描述文本中的关键词，结合法条自身的语义信息，生成案件基本情况的语义表示向量，捕获案件基本情况与法条之间、法条与法条之间的多重关联，并以此为依据，进行法条推荐。以上思想符合真实情况下，法官或普通群众基于案件基本情况获取相应法条的场景。最后，本发明所设计的推荐框架是可复用的，适用于其它主题的推荐场景。
本发明所述的一种可复用的法条推荐框架，其特征在于包含以下步骤：
步骤(1)从中国裁判文书网中随机提取裁判文书集，构建训练语料；
步骤(2)裁判文书预处理；
步骤(3)用户输入预处理；
步骤(4)法条集预排序；
步骤(5)提取推荐法条集；
步骤(6)输出推荐法条列表。
2.根据权利要求1所述的一种可复用的法条推荐框架，其特征在于步骤(1)中从中国裁判文书网中随机提取裁判文书集，构建训练语料。
3.根据权利要求1所述的一种可复用的法条推荐框架，其特征在于步骤(2)中裁判文书预处理，具体子步骤包括：
步骤(2.1)使用正则表达式从裁判文书中抽取出案件基本情况段落和引用法条列表；
步骤(2.2)将案件基本情况段落进行中文分词，转化成由词汇组成的列表，同时得到语料库包含的所有词汇的集合；
步骤(2.3)去停用词。首先构建法律专有停用词列表，其内容包括：连词、介词一类的常用停止词；时间、地点、人名一类的专有名词；频繁出现在裁判文书中但对区别具体案件没有实际作用的法律专有词汇。接着去除整个数据集中的所有停用词；
步骤(2.4)学习案件基本情况的词向量表示模型。基于以上步骤获取的语料词汇集合，利用Word2vec模型训练得到案件基本情况的词向量表示模型；
步骤(2.5)构建法条推荐任务的输出空间。将训练语料中每一篇裁判文书引用的法条合并起来，从中挑选频次相对较高的法条构成该任务的输出空间；
步骤(2.6)学习法条的语义向量模型。学习一个关于案件基本情况的语言模型，以一篇案件基本情况中的上下文词汇及其所引用的法条为输入，预测对应的中心词汇。通过不断优化该模型的预测效果，同时学习得到了法条的语义向量模型。
4.根据权利要求1所述的一种可复用的法条推荐框架，其特征在于步骤(3)中对用户输入的案件基本情况进行预处理，具体子步骤包括：
步骤(3.1)中文分词；
步骤(3.2)去除法律专有停用词；
步骤(3.3)将案件基本情况转化为固定大小的词向量表示。
5.根据权利要求1所述的一种可复用的法条推荐框架，其特征在于步骤(4)中将案件基本情况转换为语义表达，并以此为依据对输出空间中的所有法条进行预排序。具体子步骤包括：
步骤(4.1)训练法条集的预排序模型。该模型以词向量表示的案件基本情况为输入，首先通过双向GRU捕捉案件基本情况的时序信息，得到一个中间向量；接着分别通过注意力机制和最大池化层得到了两个关于案件基本情况的不同层面的语义表示向量；最后基于一个全连接神经网络结合注意力向量和最大池化向量的语义信息得到输出空间中所有法条的概率值。基于训练语料不断对该模型进行训练，训练目标是让被引用的法条经模型计算得到的概率尽可能的大；
步骤(4.2)使用上述训练好的预排序模型根据用户输入的案件基本情况，按照每个法条的被引用概率降序排序，选择前K1个法条组成候选推荐法条集，等待进一步处理。
6.根据权利要求1所述的一种可复用的法条推荐框架，其特征在于步骤(5)中根据上一步骤所得的候选推荐法条集，结合法条自身的语义信息、法条与案件基本情况间的关联、法条与法条之间的语义关联进一步排序，提取最终的推荐法条集。具体子步骤包括：
步骤(5.1)训练针对候选推荐法条集的二次排序模型。该步骤中的排序采用了编码器-解码器的框架：首先基于案件基本情况的词向量和K1个候选推荐法条的语义向量，经过LSTM编码，得到一个带有丰富语义表示的上下文向量；以该向量为解码器的初始向量，解码器的每一步以上一步的输出向量和隐藏层向量为输入，依次输出一个维度为K1的向量，每个维度对应一个候选推荐法条的概率；最终基于贪心思想进行排序，每一步都选择概率值最大的法条作为当前时间步的输出结果。该过程以依次输出正确引用的法条为训练目标，基于训练语料不断进行训练。
步骤(5.2)使用预训练的法条语义向量模型对在步骤(4)中的得到的K1个候选推荐法条进行编码；
步骤(5.3)使用上述训练好的模型，根据用户输入的案件基本情况和编码后的候选推荐法条集，按照每个时间步法条被输出的先后顺序重新进行排序，取前K2个法条作为最终法条推荐的结果。
7.根据权利要求1所述的一种可复用的法条推荐框架，其特征在于步骤(6)输出推荐法条集。法条推荐的效果采用准确率、召回率、F1值、错误率和覆盖率依照框架分成两部分依次进行评估。
本发明与现有技术相比，其显著优点是：结合循环神经网络与卷积神经网络的架构优势，更精准地提取序列文本潜在的语义信息；对于案件基本情况描述文本中的关键词在生成上下文向量时给予更高的权重，符合关键词在法条推荐中起关键作用的真实情况；对法条自身蕴含的语义信息进行编码，增强案件基本情况与法条间的语义关联；将多个法条的内部关联纳入法条的推荐依据，提升了推荐结果的准确性、完整性。总而言之，该框架深度结合了法条推荐任务中的语义信息，符合现实中根据案件基本情况寻找相应法条的场景。同时，该框架适用于其它的推荐任务，具有一定的复用性。
附图说明
图1可复用的法条推荐框架流程图
图2裁判文书示例图
图3提取特定的裁判文书段落的正则表达式
图4基于神经网络的法条嵌入表示模型生成方法
图5多标签分类模型结构
图6基于编码器-解码器框架的再排序方法
图7多标签分类模型的对比试验结果(K1＝10)
图8不同K1、K2值对应再排序推荐效果的实验对比结果
具体实施方式
为使本发明的目的、技术方案和优点更加清晰，下面将结合附图及具体实施例对本发明进行详细描述。
本发明的目的在于解决法条推荐问题，提出了一种可复用的法条推荐框架方法。这是一个基于深度神经网络的两阶段框架模型。通过结合双向GRU与最大池化层，充分利用了循环神经网络和卷积神经网络的优势，在捕获文本序列信息后，基于全局进一步提取案件基本情况的文本描述中潜在的语义信息；通过注意力机制使得模型自动关注案件基本情况篇章中的关键词，生成了一个精确概括文本信息的上下文向量；通过一种学习法条嵌入表示模型的神经网络算法，捕捉法条之间的语义联系，从而将法条自身蕴含的丰富语义纳入法条的推荐依据范围之内；此外，还利用了一个编码器-解码器框架，结合案件基本情况的语义信息、法条自身的语义信息、案件基本情况与法条之间的语义关联，法条与法条之间的基本联系作为最终推荐的依据。总而言之，该框架分为预推荐与最终推荐两个阶段，同时考虑多个影响推荐的因素，符合真实场景下完成法条推荐任务的实际情况，同时满足法官与普通群众寻找案件相关法条依据的基本需求。本发明概括来说主要包括以下步骤：
步骤(1)从中国裁判文书网中随机提取裁判文书集，构建训练语料；
步骤(2)裁判文书预处理；
步骤(3)用户输入预处理；
步骤(4)法条集预排序；
步骤(5)提取推荐法条集；
步骤(6)输出推荐法条列表。
上述一种可复用的法条推荐框架的详细工作流程如图1所示。这里将对上述步骤进行详细描述。
1.为了设计一个具有普适性而非针对某些特定案件的学习模型，从而生成一个能够普遍预测各种类型的案件的分类器，在步骤1中需要从中国裁判文书网随机挑选分别属于不同刑事案件类型的裁判文书构成训练语料。
2.为了从裁判文书中获得与模型训练有关的内容段落，确定预测目标，同时便于模型后期对各类文本隐含的语义及文本间的潜在联系的提取，在步骤2中需要对裁判文书进行预处理。具体步骤是：
步骤(2.1)使用正则表达式从裁判文书中抽取出案件基本情况段落和引用法条列表。鉴于裁判文书属于半结构化文本，一些常用的短语和句子标志着案件不同部分的开始，如图2所示，标记出的“经审理查明”、“本院认为”、“依照……判决如下”这些文本分别对应裁判文书的“案件基本情况”、“审判分析”、“法条”三个部分。我们将分别使用图3所列出的两个正则表达式匹配事实描述训练所需的案件基本情况和引用的法条。
步骤(2.2)中文分词。由于单个中文语句中各字符间没有空格，我们需要将各字符切割为单词，从而将语句转化为单词序列，同时获得整个语料库的词汇集合。
步骤(2.3)去停用词。经过分词得到的单词序列中存在一些常见但对最终预测没有太大用处的单词，为了更高效的进行语义提取，需要将这一类单词从单词序列中剔除。尽管网络上存在很多成熟且完整的停用词列表，但是由于裁判文书中存在大量“原告”、“被告”、“当事人”一类的专业术语，一般的停用词列表对裁判文书并不适用。因此，我们构建了一个法律专有停用词列表，其内容包括：连词、介词一类的常用停止词；时间、地点、人名一类的专有名词；频繁出现在多数裁判文书中但对区别具体案件没有实际作用的法律专有词汇。基于已构建的法律专用停用词列表，去除整个数据集中的所有停用词。
步骤(2.4)学习案件基本情况的词向量表示模型。基于去除停用词后的词汇集合，经由Word2vec，每个单词学习到了一个固定大小的向量表示，这个预训练得到的词嵌入模型可以同时反映文本蕴含的语法信息和语义信息。
步骤(2.5)构建法条推荐任务的输出空间。将训练语料中的不同裁判文书引用的法条合并起来，从中挑选频次相对较高的法条构成该任务的输出空间；
步骤(2.6)学习法条的语义向量模型。在将法条推荐问题视为分类模型的背景下，很容易由于将各法条视为分类目标而忽视法条自身蕴含的丰富语义信息，本发明受到Doc2Vec模型的启发，构建了一个关于案件基本情况的语言模型Statute2Vec。给定裁判文书的上下文及其引用的法条，该模型可以完成对中心词的预测。在训练该模型时，法条表示向量的优化过程就是法条自身语义表示的不断学习过程。因此，我们将训练语料中的裁判文书表示为{s1，…，sm，wt-l，…，wt+l}，其中s表示引用的法条，w表示案件基本情况中的各个单词。在该模型中，所有会被引用的法条构成了矩阵S，所有的单词向量组成了矩阵W。所有的法条向量与单词向量经过平均或者连接得到一个中间向量用于中心词的预测。整个模型的框架如图4所示，训练目标时最大化中心词预测的平均对数概率，计算公式如下：
训练完成后得到的矩阵S便是需要的法条语义表示模型。
3.为了去除用户输入的案件基本情况中存在的噪声数据，需要对用户输入的案件基本情况进行预处理，其过程与对训练语料中案件基本情况的处理基本一致。具体步骤包括：
步骤(3.1)中文分词；
步骤(3.2)去除法律专有停用词；
步骤(3.3)将案件基本情况通过以上步骤得到的词嵌入模型转化为固定大小的词向量表示。
4.该步骤作为法条推荐的第一阶段，将法条推荐视为一个多标签分类问题，即先将案件基本情况转换为语义表达，再以此为依据寻找多个相关法条，从中挑选K1个构成候选推荐法条集。具体步骤包括：
步骤(4.1)训练法条集的预排序模型。考虑到循环神经网络捕获序列时序信息的能力，首先，以向量表示的案件基本情况为输入，通过一个双向GRU，得到每个时间步下的隐藏单元值ht，然后利用参数矩阵Ww来衡量不同时间步的重要性，即通过公式ut＝tanh(Wwht+bw)进一步计算；然而，这样的上下文向量缺少强调不同关键词在最终预测中的重要性，因此引入注意力机制计算得到一个对句子中不同词语给予不同关注度的上下文向量，该计算过程如下：
di＝∑tαtut
其中，Wa为模型中要训练的参数，di表示第i篇案件基本情况描述文本的上下文向量。
另一方面，为了捕获文本全局上的语义信息，丰富上下文向量的内涵，该模型利用卷积神经网络的优势，通过一个最大池化层在隐藏单元的基础上进一步捕捉信息，从而得到了一个最大池化向量，其计算如下：
以上得到的两个向量从不同角度捕获了案件基本情况的语义信息，将它们放入一个全连接神经网络中，输出层与整个框架输出空间中的法条一一对应，即每一个输出神经元代表一个法条的预测概率。上述过程如图5所示。基于训练语料，不断对该模型进行训练，训练目标是最小化以下计算交叉熵的损失函数：
其中，n表示训练样本的个数，
在第i个案件真实引用了第j条法条的时候值为1，否则为0；
表示上述模型预测得到的第i个案件引用第j条法条的概率。
步骤(4.2)使用上述训练好的预排序模型根据用户输入的案件基本情况，按照每个法条预测的被引用概率降序排序，选择前K1个法条做进一步预测，K1的值由训练语料中每个案件所引用的平均法条数决定。
5.以上分类过程只考虑了案件与单个法条间的关联，忽略了法条与法条之间的关系。现实情况下，某些法条常会同时被引用，这些法条在法律意义上是相辅相成的。此外，通过利用法条自身蕴含的语义信息可以增强模型对案件与法条间关联的捕获能力。因此根据上一步骤所得的候选推荐法条集，接下来将结合法条自身语义、法条与案件基本情况间的深度关联、法条与法条之间的语义关联进一步排序，提取最终的推荐法条集。具体子步骤包括：
步骤(5.1)训练针对候选推荐法条集的二次排序模型。该步骤采用了一个全新的基于编码器-编码器框架的排名方法：给定候选推荐法条序列s1，s2，…，sK1，目标是寻找最佳顺序s1*，s2*，…，sK1*，使其符合对应案件引用法条的真实情况，其思想如图6所示。首先，将案件基本情况和经过预排序得到的K1条法条分别编码成向量，并将它们拼接起来通过LSTM编码成一个上下文语义向量，即ci＝LSTM(s1，s2，…，sK1，Xi)。解码器部分依旧通过LSTM，以ci作为解码器的初始状态，以前一个时间步的状态和输出为输入，得到当前时间步的输出，即ot＝LSTM(et-1，ot-1)。其中ot的维度被设置为K1，其第j个值
(j∈[1，K1])表示对应法条sj的概率。接下来采用贪心思想，在第t个解码时间步下，选择当前概率值最大的法条输出。最终选择K2个排序位置靠前的法条作为最终推荐结果。该模型计算条件概率的公式如下：
其中，Xi表示第i个案件的基本情况，θ是该模型的参数。该模型基于训练语料通过以下训练目标进行学习：
步骤(5.2)使用步骤(2.6)预训练所得的法条语义向量模型对在步骤(4.2)中的得到的K1条候选推荐法条进行编码；
步骤(5.3)使用上述训练好的模型，根据用户输入的案件基本情况和编码后的候选推荐法条集，按照每个时间步法条被输出的先后顺序重新进行排序，取前K2个法条作为最终法条推荐的结果。
6.提取推荐法条集。
本发明法条推荐效果的评估根据模型框架，分为两个部分：一是对比法条推荐相关的经典的基准模型，对第一阶段的多标签分类模型做对比实验，二是通过设置K1、K2的数值大小，观察再排序对推荐效果的影响。在评价指标方面，本发明倾向于利用基于案件的评价指标对法条推荐的效果进行评估，除了用到传统的准确率、召回率、F1值之外，还用到了错误率和覆盖率对本发明第一阶段的分类效果进行更全面的衡量，其中错误率计算的是模型预测的具有最大概率值的法条在真实场景下是否被引用，而覆盖率计算的是排序后的法条序列完全覆盖所有正确法条的步数。
实验中，本发明针对从中国裁判文书网中随机提取的39900个包含多种案件类型的刑事案件进行实验，用于对比本发明所采用的多标签分类模型的法条推荐效果的基准模型包含如下：基于TF-IDF的词袋模型，具体包括通过余弦距离计算特征空间下文本相似度的Cosine Distance_TF-IDF(CD_TF-IDF)模型、基于支持向量机和神经网络通过训练分类器进行推荐的SVM_TF-IDF模型和NN_TF-IDF；LDA主题模型，具体包括分别基于神经网络和Jensen Shannon Divergence(JSD)距离的NN_LDA模型和JSD_LDA模型；基于神经网络的词向量模型NN_Word2Vec；仅使用了GRU的法条推荐模型；结合使用了GRU和最大卷积层的GRU+MP模型。第一阶段的对比实验中，设置K1值为10，实验结果如图7所示。可见，GRU相较于普通的神经网络，由于其强大的时序信息捕获能力，各数值表现均得以提升；而在引入了了最大池化层和注意力机制后，模型得以获取语义更加丰富的上下文向量，分类效果更好。
尽管上述分类器已经达到了足够优秀的推荐效果，本发明还是期望通过再排序策略进一步优化。基于上述分类器得到的K1个候选推荐法条，通过不断调整(K1，K2)数值对的大小，观察再排序带来的推荐效果的提升，结果如图8所示。可见，当K2值为5时，随着K1值的增加，模型的推荐效果呈上升趋势，相较于只使用分类器的模型，最终结果在召回率上得到了9％的提升。显然，本发明采用的再排序策略是行之有效的，在第一阶段错误分类的法条在再排序阶段的位置得以正确调整。
上面已经参考附图对根据本发明实施的一种可复用的法条推荐框架进行了详细描述。本发明具有如下优点：结合利用循环神经网络的序列信息提取优势与卷积神经网络的全局信息提取优势，更精准地捕捉序列文本潜在的语义信息；考虑不同的词对分类结果的贡献度不尽相同，框架基于注意力机制对于案件基本情况描述文本中的关键词在生成上下文向量时给予更高的权重，符合关键词在法条推荐中起关键性作用的真实情况；通常将法条推荐任务视为分类问题，由于将法条视为分类标签，容易造成对法条自身蕴含的丰富语义的忽视，本发明对法条自身蕴含的语义信息进行编码，增强了案件基本情况与法条间的语义关联；鉴于现实场景中存在多个法条总是同时被案件引用的情况，因此本发明将多个法条的内部关联纳入法条的推荐依据，提升了推荐结果的准确性、完整性；本发明所提出的两阶段框架同样适用于其它主题的推荐任务，具有较强的可复用性。
需要明确，本发明并不局限于上文所描述并在图中示出的特定配置和处理。并且，为了简明起见，这里省略对已知方法技术的详细描述。当前的实施例在所有方面都被看作是示例性的而非限定性的，本发明的范围由所附权利要求而非上述描述定义，并且，落入权利要求的含义和等同物的范围内的全部改变从而都被包括在本发明的范围之中。
Claims (7)
1.一种可复用的法条推荐框架，其特征在于包含以下步骤：
步骤(1)从中国裁判文书网中随机提取裁判文书集，构建训练语料；
步骤(2)裁判文书预处理；
步骤(3)用户输入预处理；
步骤(4)法条集预排序；
步骤(5)提取推荐法条集；
步骤(6)输出推荐法条列表。
2.根据权利要求1所述的一种可复用的法条推荐框架，其特征在于步骤(1)中从中国裁判文书网中随机提取裁判文书集，构建训练语料。
3.根据权利要求1所述的一种可复用的法条推荐框架，其特征在于步骤(2)中裁判文书预处理，具体子步骤包括：
步骤(2.1)使用正则表达式从裁判文书中抽取出案件基本情况段落和引用法条列表；
步骤(2.2)将案件基本情况段落进行中文分词，转化成由词汇组成的列表，同时得到语料库包含的所有词汇的集合；
步骤(2.3)去停用词。首先构建法律专有停用词列表，其内容包括：连词、介词一类的常用停止词；时间、地点、人名一类的专有名词；频繁出现在裁判文书中但对区别具体案件没有实际作用的法律专有词汇。接着去除整个数据集中的所有停用词；
步骤(2.4)学习案件基本情况的词向量表示模型。基于以上步骤获取的语料词汇集合，利用Word2vec模型训练得到案件基本情况的词向量表示模型；
步骤(2.5)构建法条推荐任务的输出空间。将训练语料中每一篇裁判文书引用的法条合并起来，从中挑选频次相对较高的法条构成该任务的输出空间；
步骤(2.6)学习法条的语义向量模型。学习一个关于案件基本情况的语言模型，以一篇案件基本情况中的上下文词汇及其所引用的法条为输入，预测对应的中心词汇。通过不断优化该模型的预测效果，同时学习得到了法条的语义向量模型。
4.根据权利要求1所述的一种可复用的法条推荐框架，其特征在于步骤(3)中对用户输入的案件基本情况进行预处理，具体子步骤包括：
步骤(3.1)中文分词；
步骤(3.2)去除法律专有停用词；
步骤(3.3)将案件基本情况转化为固定大小的词向量表示。
5.根据权利要求1所述的一种可复用的法条推荐框架，其特征在于步骤(4)中将案件基本情况转换为语义表达，并以此为依据对输出空间中的所有法条进行预排序。具体子步骤包括：
步骤(4.1)训练法条集的预排序模型。该模型以词向量表示的案件基本情况为输入，首先通过双向GRU捕捉案件基本情况的时序信息，得到一个中间向量；接着分别通过注意力机制和最大池化层得到了两个关于案件基本情况的不同层面的语义表示向量；最后基于一个全连接神经网络结合注意力向量和最大池化向量的语义信息得到输出空间中所有法条的概率值。基于训练语料不断对该模型进行训练，训练目标是让被引用的法条经模型计算得到的概率尽可能的大；
步骤(4.2)使用上述训练好的预排序模型根据用户输入的案件基本情况，按照每个法条的被引用概率降序排序，选择前K1个法条组成候选推荐法条集，等待进一步处理。
6.根据权利要求1所述的一种可复用的法条推荐框架，其特征在于步骤(5)中根据上一步骤所得的候选推荐法条集，结合法条自身的语义信息、法条与案件基本情况间的关联、法条与法条之间的语义关联进一步排序，提取最终的推荐法条集。具体子步骤包括：
步骤(5.1)训练针对候选推荐法条集的二次排序模型。该步骤中的排序采用了编码器-解码器的框架：首先基于案件基本情况的词向量和K1个候选推荐法条的语义向量，经过LSTM编码，得到一个带有丰富语义表示的上下文向量；以该向量为解码器的初始向量，解码器的每一步以上一步的输出向量和隐藏层向量为输入，依次输出一个维度为K1的向量，每个维度对应一个候选推荐法条的概率；最终基于贪心思想进行排序，每一步都选择概率值最大的法条作为当前时间步的输出结果。该过程以依次输出正确引用的法条为训练目标，基于训练语料不断进行训练。
步骤(5.2)使用预训练的法条语义向量模型对在步骤(4)中的得到的K1个候选推荐法条进行编码；
步骤(5.3)使用上述训练好的模型，根据用户输入的案件基本情况和编码后的候选推荐法条集，按照每个时间步法条被输出的先后顺序重新进行排序，取前K2个法条作为最终法条推荐的结果。
7.根据权利要求1所述的一种可复用的法条推荐框架，其特征在于步骤(6)输出推荐法条集。法条推荐的效果采用准确率、召回率、F1值、错误率和覆盖率依照框架分成两部分依次进行评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911009434.7A CN110717843A (zh) | 2019-10-21 | 2019-10-21 | 一种可复用的法条推荐框架 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911009434.7A CN110717843A (zh) | 2019-10-21 | 2019-10-21 | 一种可复用的法条推荐框架 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110717843A true CN110717843A (zh) | 2020-01-21 |
Family
ID=69214055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911009434.7A Pending CN110717843A (zh) | 2019-10-21 | 2019-10-21 | 一种可复用的法条推荐框架 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717843A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111694945A (zh) * | 2020-06-03 | 2020-09-22 | 北京北大软件工程股份有限公司 | 基于神经网络的法条关联推荐方法及装置 |
| CN112001162A (zh) * | 2020-07-31 | 2020-11-27 | 银江股份有限公司 | 基于小样本学习的智能审判系统 |
| CN112148868A (zh) * | 2020-09-27 | 2020-12-29 | 南京大学 | 一种基于法条共现的法条推荐方法 |
| CN112148867A (zh) * | 2020-09-27 | 2020-12-29 | 南京大学 | 一种基于法条关系的法条推荐方法 |
| CN112365372A (zh) * | 2020-10-09 | 2021-02-12 | 银江股份有限公司 | 一种面向裁判文书的质量检测及评估方法及系统 |
| CN112541351A (zh) * | 2020-12-08 | 2021-03-23 | 济南市城乡建设数字化中心 | 一种住建领域政务热线工单派发方法及系统 |
| CN113626557A (zh) * | 2021-05-17 | 2021-11-09 | 四川大学 | 一种基于要素标注与bert和rcnn算法的智能法条推荐辅助系统 |
| CN114610891A (zh) * | 2022-05-12 | 2022-06-10 | 湖南工商大学 | 面向不平衡司法裁判文书数据的法条推荐方法及系统 |
| US20230140828A1 (en) * | 2021-10-28 | 2023-05-04 | Mckinsey & Company, Inc. | Machine Learning Methods And Systems For Cataloging And Making Recommendations Based On Domain-Specific Knowledge |
| CN112001162B (zh) * | 2020-07-31 | 2024-05-31 | 银江技术股份有限公司 | 基于小样本学习的智能审判系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107562938A (zh) * | 2017-09-21 | 2018-01-09 | 重庆工商大学 | 一种法院智能审判方法 |
| CN108763484A (zh) * | 2018-05-25 | 2018-11-06 | 南京大学 | 一种基于lda主题模型的法条推荐方法 |
| CN109241285A (zh) * | 2018-08-29 | 2019-01-18 | 东南大学 | 一种基于机器学习的辅助司法案件判决的装置 |
| CN109376963A (zh) * | 2018-12-10 | 2019-02-22 | 杭州世平信息科技有限公司 | 一种基于神经网络的刑事案件罪名法条联合预测方法 |
| CN109829055A (zh) * | 2019-02-22 | 2019-05-31 | 苏州大学 | 基于过滤门机制的用户法条预测方法 |
-
2019
- 2019-10-21 CN CN201911009434.7A patent/CN110717843A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107562938A (zh) * | 2017-09-21 | 2018-01-09 | 重庆工商大学 | 一种法院智能审判方法 |
| CN108763484A (zh) * | 2018-05-25 | 2018-11-06 | 南京大学 | 一种基于lda主题模型的法条推荐方法 |
| CN109241285A (zh) * | 2018-08-29 | 2019-01-18 | 东南大学 | 一种基于机器学习的辅助司法案件判决的装置 |
| CN109376963A (zh) * | 2018-12-10 | 2019-02-22 | 杭州世平信息科技有限公司 | 一种基于神经网络的刑事案件罪名法条联合预测方法 |
| CN109829055A (zh) * | 2019-02-22 | 2019-05-31 | 苏州大学 | 基于过滤门机制的用户法条预测方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111694945A (zh) * | 2020-06-03 | 2020-09-22 | 北京北大软件工程股份有限公司 | 基于神经网络的法条关联推荐方法及装置 |
| CN112001162A (zh) * | 2020-07-31 | 2020-11-27 | 银江股份有限公司 | 基于小样本学习的智能审判系统 |
| CN112001162B (zh) * | 2020-07-31 | 2024-05-31 | 银江技术股份有限公司 | 基于小样本学习的智能审判系统 |
| CN112148868A (zh) * | 2020-09-27 | 2020-12-29 | 南京大学 | 一种基于法条共现的法条推荐方法 |
| CN112148867A (zh) * | 2020-09-27 | 2020-12-29 | 南京大学 | 一种基于法条关系的法条推荐方法 |
| CN112365372A (zh) * | 2020-10-09 | 2021-02-12 | 银江股份有限公司 | 一种面向裁判文书的质量检测及评估方法及系统 |
| CN112365372B (zh) * | 2020-10-09 | 2024-01-12 | 银江技术股份有限公司 | 一种面向裁判文书的质量检测及评估方法及系统 |
| CN112541351B (zh) * | 2020-12-08 | 2023-09-05 | 济南市城乡建设数字化中心 | 一种住建领域政务热线工单派发方法及系统 |
| CN112541351A (zh) * | 2020-12-08 | 2021-03-23 | 济南市城乡建设数字化中心 | 一种住建领域政务热线工单派发方法及系统 |
| CN113626557A (zh) * | 2021-05-17 | 2021-11-09 | 四川大学 | 一种基于要素标注与bert和rcnn算法的智能法条推荐辅助系统 |
| US20230140828A1 (en) * | 2021-10-28 | 2023-05-04 | Mckinsey & Company, Inc. | Machine Learning Methods And Systems For Cataloging And Making Recommendations Based On Domain-Specific Knowledge |
| CN114610891B (zh) * | 2022-05-12 | 2022-07-22 | 湖南工商大学 | 面向不平衡司法裁判文书数据的法条推荐方法及系统 |
| CN114610891A (zh) * | 2022-05-12 | 2022-06-10 | 湖南工商大学 | 面向不平衡司法裁判文书数据的法条推荐方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717843A (zh) | 一种可复用的法条推荐框架 | |
| CN110348016B (zh) | 基于句子关联注意力机制的文本摘要生成方法 | |
| CN111143550B (zh) | 一种基于层次注意力神经网络模型的争议焦点自动识别方法 | |
| CN110119765A (zh) | 一种基于Seq2seq框架的关键词提取方法 | |
| Perez-Martin et al. | Improving video captioning with temporal composition of a visual-syntactic embedding | |
| CN109522411A (zh) | 一种基于神经网络的写作辅助方法 | |
| CN109241255A (zh) | 一种基于深度学习的意图识别方法 | |
| CN110188192B (zh) | 一种多任务网络构建与多尺度的罪名法条联合预测方法 | |
| CN112231472B (zh) | 融入领域术语词典的司法舆情敏感信息识别方法 | |
| CN109992669B (zh) | 一种基于语言模型和强化学习的关键词问答方法 | |
| CN110807324A (zh) | 一种基于IDCNN-crf与知识图谱的影视实体识别方法 | |
| CN113505200B (zh) | 一种结合文档关键信息的句子级中文事件检测的方法 | |
| CN114564565A (zh) | 面向公共安全事件分析的深度语义识别模型及其构建方法 | |
| CN111291188A (zh) | 一种智能信息抽取方法及系统 | |
| CN112818698B (zh) | 一种基于双通道模型的细粒度的用户评论情感分析方法 | |
| CN110287298A (zh) | 一种基于问句主题的自动问答答案选择方法 | |
| CN115952292B (zh) | 多标签分类方法、装置及计算机可读介质 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
| CN114417851A (zh) | 一种基于关键词加权信息的情感分析方法 | |
| CN111984780A (zh) | 多意图识别模型训练方法和多意图识别方法及相关装置 | |
| CN113836269B (zh) | 一种基于问答式系统的篇章级核心事件抽取方法 | |
| CN114611520A (zh) | 一种文本摘要生成方法 | |
| Chen et al. | Research on automatic essay scoring of composition based on CNN and OR | |
| CN113065356B (zh) | 一种基于语义分析算法的it设备运维故障建议处理方法 | |
| CN112989830B (zh) | 一种基于多元特征和机器学习的命名实体识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200121 |
|
| WD01 | Invention patent application deemed withdrawn after publication |