CN111460817A - 一种刑事法律文书相关法条的推荐方法和系统 - Google Patents

Abstract

本发明涉及一种刑事法律文书相关法条的推荐方法和系统。该方法包括：获取刑事法律文书，并对刑事法律文书进行分词处理得到以词条为单位的文本集合；获取深度注意力卷积神经网络模型；深度卷注意力积神经网络模型为以文本集合为输入，以每一文本匹配各法条的概率为输出的神经网络模型；利用深度注意力卷积神经网络模型，根据文本集合得到每一文本匹配各法条的概率；获取预设概率阈值，并比较概率和概率阈值，得到比较结果；在比较结果中，若概率大于等于概率阈值，则保留与概率相对应的法条；若概率小于概率阈值，则删除与概率相对应的法条。本发明提供的刑事法律文书相关法条的推荐方法和系统，能够在提高法条推荐精度的同时，提高推荐效率。

Description

一种刑事法律文书相关法条的推荐方法和系统

技术领域

本发明涉及刑事法律文书处理技术领域，特别是涉及一种刑事法律文书相关法条的推荐方法和系统。

背景技术

随着智能化时代的到来，司法界也已经逐步开启了智能化时代，法律智能旨在赋予机器阅读理解法律文本与定量分析案例的能力，完成法条预测、法律条款推荐、刑期预测等具有实际应用需求的任务，有望辅助法官、律师等人士更加高效地进行法律判决。

近年来，以深度学习和自然语言处理为代表的人工智能技术取得巨大突破，也开始在法律智能领域崭露头角，受到学术界和产业界的广泛关注。司法界希望解决目前智慧法院亟需解决的案例分析、法律文件阅读与分析等问题，快速在法条预测、法律条款推荐、判决结果预测、刑期预测等具有实际应用需求的问题上形成能力，加速司法人工智能研发，促进学科发展、加快产业升级。

目前深度学习面临着复杂模型计算代价相对较高，而简单模型精度不尽如人意的问题。在数据量大的情况下，这一问题尤为明显。

此外，刑事法律文书是一个语言相对规范得体、偏书面化的自然语料，包含内容也在限定范围内，具有很强的领域特征。那么对于刑事法律文书的处理和普通的自然语言处理过程自然会有所区别。如何进行领域适应性的移植和改进是刑事法律文书处理的关键之一。

发明内容

本发明的目的是提供一种改进后的刑事法律文书相关法条的推荐方法和系统，以在提高推荐精度的同时，提高推荐效率。

为实现上述目的，本发明提供了如下方案：

一种刑事法律文书相关法条的推荐方法，包括：

获取刑事法律文书，并对所述刑事法律文书进行分词处理得到以词条为单位的文本集合；

获取深度注意力卷积神经网络模型；所述深度注意力卷积神经网络模型为以所述文本集合为输入，以每一文本匹配各法条的概率为输出的神经网络模型；

利用所述深度注意力卷积神经网络模型，根据所述文本集合得到所述每一文本匹配各法条的概率；

获取预设概率阈值，并比较所述概率和所述概率阈值，得到比较结果；

在所述比较结果中，若所述概率大于等于所述概率阈值，则保留与所述概率相对应的法条；若所述概率小于所述概率阈值，则删除与所述概率相对应的法条。

可选的，所述深度注意力卷积神经网络模型包括：嵌入层、汉诺塔模块和压缩模块。

可选的，所述汉诺塔模块包括多个卷积模块；每一所述卷积模块包括多个一维卷积层。

可选的，所述压缩模块包括：一维卷积层和最大池化层。

可选的，所述嵌入层为词向量模型；所述词向量模型为以文本集合为输入，以词向量矩阵为输出的神经网络模型。

可选的，所述推荐方法还包括：

选取所述刑事法律文书中符合预设条件的刑事法律文书进行标定采样；

获取标定采样后的刑事法律文书的文本集合以及与所述文本集合中每条文本匹配法条概率大于等于所述概率阈值的法条，作为训练样本对；

采用所述训练样本对对所述深度注意力卷积神经网络模型进行训练。

一种刑事法律文书相关法条的推荐系统，包括：

文本集合确定模块，用于获取刑事法律文书，并对所述刑事法律文书进行分词处理得到以词条为单位的文本集合；

深度注意力卷积神经网络模型获取模块，用于获取深度注意力卷积神经网络模型；所述深度注意力卷积神经网络模型为以所述文本集合为输入，以每一文本匹配各法条的概率为输出的神经网络模型；

概率确定模块，用于利用所述深度注意力卷积神经网络模型，根据所述文本集合得到所述每一文本匹配各法条的概率；

比较结果确定模块，用于获取预设概率值，并比较所述概率和所述概率阈值，得到比较结果；

法条确定模块，用于在所述比较结果中，若所述概率大于等于所述概率阈值，则保留与所述概率相对应的法条；若所述概率小于所述概率阈值，则删除与所述概率相对应的法条。

可选的，所述推荐系统还包括：

标定采样模块，用于选取所述刑事法律文书中符合预设条件的刑事法律文书进行标定采样；

训练样本对获取模块，用于获取标定采样后的刑事法律文书的文本集合以及与所述文本集合中每条文本匹配法条概率大于等于所述概率阈值的法条，作为训练样本对；

训练模块，用于采用所述训练样本对对所述深度注意力卷积神经网络模型进行训练。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的刑事法律文书相关法条的推荐方法和系统，通过采用以文本集合为输入，以每一文本匹配各法条的概率为输出的深度注意力卷积神经网络模型，对刑事法律文书进行处理得到与该刑事法律文书中每一文本匹配各法条的概率，然后通过概率阈值精确保留与每一文本相匹配的各个法条，以在提高法条推荐精度的同时，提高推荐效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的刑事法律文书相关法条推荐方法的流程图；

图2为本发明实施例提供的深度注意力卷积神经网络模型的结构示意图；

图3为本发明实施例提供的汉诺塔模块的结构示意图；

图4为本发明实施例提供的卷积模块的结构示意图；

图5为本发明实施例提供的压缩模块的结构示意图；

图6为本发明实施例提供的标签注意力机制流程示意图；

图7为本发明实施例提供的刑事法律文书相关法条推荐系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种改进后的刑事法律文书相关法条的推荐方法和系统，以在提高推荐精度的同时，提高推荐效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例提供的刑事法律文书相关法条推荐方法的流程图，如图1所示，一种刑事法律文书相关法条的推荐方法，包括：

S1、获取刑事法律文书，并对所述刑事法律文书进行分词处理得到以词条为单位的文本集合；

S2、获取深度注意力卷积神经网络模型；所述深度注意力卷积神经网络模型为以所述文本集合为输入，以每一文本匹配各法条的概率为输出的神经网络模型；

S3、利用所述深度注意力卷积神经网络模型，根据所述文本集合得到所述每一文本匹配各法条的概率；

S4、获取预设概率阈值，并比较所述概率和所述概率阈值，得到比较结果；

S5、在所述比较结果中，若所述概率大于等于所述概率阈值，则保留与所述概率相对应的法条；若所述概率小于所述概率阈值，则删除与所述概率相对应的法条。

为了在提高法条推荐精确度的同时，能够提高推荐效率，本发明对现有技术中采用的神经网络模型进行了进一步的改进。如图2所示，本发明提供的深度注意力卷积神经网络模型的结构具体包括：嵌入层、一维卷积层、最大池化层、第一汉诺塔模块、压缩模块、第二汉诺塔模块、全局最大池化层、3个全连接层和sigmoid分离器。

其中，如图3所示，每一汉诺塔模块包括多个卷积模块；每一所述卷积模块又包括多个一维卷积层(卷积模块的结构如图4所示)。

如图5所示，压缩模块包括：一维卷积层和最大池化层。

嵌入层为词向量模型；所述词向量模型为以文本集合为输入，以词向量矩阵为输出的神经网络模型。

为了进一步提高法条推荐的精度，本发明提供的推荐方法还包括：

选取所述刑事法律文书中符合预设条件的刑事法律文书进行标定采样；

获取标定采样后的刑事法律文书的文本集合以及与所述文本集合中每条文本匹配法条概率大于等于所述概率阈值的法条，作为训练样本对；

采用所述训练样本对对所述深度注意力卷积神经网络模型进行训练。

下面对本发明所提供的刑事法律文书相关法条推荐方法进行细化说明。

本发明所提供的刑事法律文书相关法条推荐方法的细化实施过程具体包括：

步骤一、根据刑事法律文书的案情描述和事实部分，建立相应的语言模型。其目的是对文本进行处理来获得模型可用的输入和标签。步骤一具体包括：

利用正则工具提取原始数据中刑事法律文书中的案情部分和相关法条部分；

针对刑事法律文书中的案情部分进行分词、去除停用词处理；分词、去停用词使用的是python上的开源工具包jieba实现。去停用词的停用词表为自己针对数据集统计后构建；

对所得文本进行统计分析，获得词数等统计数据，以便确定词向量模型的输入维度；

将处理后的文本采用词向量模型转化为词向量矩阵；

针对刑事法律文书中的相关法条部分，将其构建为多标签分类训练所需的多维向量构成的标签矩阵用于训练。构建为多维向量构成的标签矩阵是指针对刑事法律文书相关法条可能存在多条并存现象，既多标签分类问题所生成的标签向量构成的矩阵，目的是用于多标签分类训练。

其中，训练词向量方法，来自Google的开源词向量工具Word2vec，这里使用收集的法律文书使用Skip-gram模型进行训练，得到128维的词向量模型。

步骤二、根据刑事法律文书的特点，构建刑事法律文书的深度注意力卷积神经网络模型，具体包括：

根据刑法法律文书统计数据，取超过95％刑法法律文书词数的词数长度为输入层维度；

根据步骤一中的词向量模型，取上述输入层维度和词向量模型的输入维度来设定嵌入层参数；

由于刑法法律领域文本较长、表述方式较书面化、法条标签信息极其丰富的特点，其适合较复杂的深度神经网络和利用标签信息的结构，并且需要控制计算代价不能过大。因此本发明设计了如下的深度注意力卷积神经网络具体网络结构设定过程：

步骤1：构建计算代价相对小、高效的深度注意力卷积神经网络模型，具体包括以下步骤：

1)深度注意力卷积神经网络模型的输入是经过了分词的法律文书文本，每条法律文书经过嵌入层转换为由词向量构成的一个矩阵。这里嵌入层利用之前预训练的128维的词向量模型进行转换。

2)嵌入层之后是一个一维卷积层和一维最大池化层的组合。用于初步提取文本的空间特征。

3)然后空间特征被送入由汉诺塔模块和压缩模块的组合，该组合将会重复使用3次。即依次送入汉诺塔模块和压缩模块3次(如图2所示)。汉诺塔模块由几个卷积模块组成。卷积模块其中有两个一维卷积层。第一层和第二层卷积滤波器的宽度分别为1和3，第一层的特征图是第二层的4倍大。这一结构可以减少整体特征图的数量，从而降低计算成本。每个卷积模块都与其他卷积模块直接相连，而不仅仅是像传统卷积神经网络一样，只有前后的卷积块直接相连。假设汉诺塔模块中有X个卷积块，那么卷积块之间将会有X·(X-1)/2个连接。然而，在一个普通X层卷积神经网络中，卷积层之间只有X个连接。换句话说，汉诺塔模块最终的输出是由其所有的卷积模块输出和直接的初始输入组成，而普通卷积神经网络只有最后一层的输出。这些额外的直接连接是本发明所提供的深度注意力卷积神经网络模型与普通积神经网络性能不同的关键原因。

值得注意的是，卷积模块的输入大小会逐渐增大，因为每个卷积模块的输入都是之前所有卷积模块的输出和初始输入的总和。如果每个卷积模块第二个特征图层的特征图为m(第一个卷积层的特征图应为4m)，则下一个卷积块的输入特征图将比前一个卷积块的输入特征图增加m。那么第k个卷积块的输入特征图大小M为:

M＝M₀+n·(k-1)

其中M₀为第一个卷积块的输入特征图大小。递增特征图大小n可以表示为：

n＝i·d

其中i为递增特征图中的通道数，属于超参数，d为递增特征图中维数，d在汉诺塔模块中不发生变化。

超参数i可以控制每个卷积模块最终输出的信息量。而为了得到一个良好的输出结果，增长率通常设置的很小。因此，汉诺塔模块的特征图非常狭窄。在这个汉诺塔模块中，如果将每个卷积模块的特征图按顺序堆叠起来，其看起来就像汉诺塔的纵切面，因此取名为汉诺塔模块。

由于汉诺塔模块的结构、特征图，尤其是其通道数量均有所增加。那么，若汉诺塔模块被重复使用几次，特征图会变得很大，导致出现计算代价较高的问题。为避免这一问题，设置有压缩模块，其结构具体为在一维最大池化层之前使用一维卷积层，其卷积滤波器宽度为1。在压缩模块之后，特征图在维度和通道上都进行了压缩。

由于汉诺塔模块的每个卷积模块输入是之前所有卷积模块的输出与原始输入之和，这就使得整个模型能够有效解决深度学习中的梯度消失和梯度爆炸问题，并且训练速度快。

在重复使用3次汉诺塔模块和压缩模块后将再使用一个汉诺塔模块，之后是全局一维最大池化层。经过上面的结构，初步提取的文本空间特征转换成了高度提取的文本空间特征。最后高度提取的文本空间特征将进入三层全连接层，再使用sigmoid分类器进行分类。

本发明所提供的深度注意力卷积神经网络模型中所有的池化层使用一维最大池化，所有卷积层之后将使用批次标准化操作。所有卷积层和全连通层的激活函数是整流线性单元(RELU)。

步骤2：设计能够充分利用标签中法条信息的标签注意力机制(标签注意力机制的流程如图6所示)。具体包括以下步骤：

将全部标签文本通过嵌入层转换为低维向量：

L＝{l₁,…,l_k}

其中，k为标签类型的个数。这里嵌入层同样利用之前预训练的128维的词向量模型进行转换。

通过模型特征提取步骤提取样本的特征可以表示为：

V＝{v₁,…,v_d}

其中，d为提取的特征映射的维数。这里用余弦相似度C∈R^d×k来描述L和V之间的相关程度：

其中

是第i个特征向量v_i和第j个标签嵌入向量l_j的余弦相似度。

之后使用卷积滤波器宽度较小的多层卷积神经网络结构来捕捉标签与提取特征之间进一步的空间关联。

在多层卷积神经网络结构之后，使用最大池化筛选标签向量中间最相关的一个，记为向量h。随后通过softmax算法来计算第i个注意力权重a_i：

其中h_i是h的第i个元素，L是h的长度。

最后使用注意力权重a_i来计算特征V的加权和(标签注意力机制)t：

其中v_i为V的第i个特征向量。标签注意力机制t将用作分类器的输入。

步骤3：将以上两种方法结合构建深度注意力卷积神经网络。具体包括以下步骤：

记最后一个汉诺塔模块提取的样本特征为：V＝{v₁,…,v_d}，这里去掉最后一个汉诺塔模块后的一维全局最大池层。在大而复杂的数据中使用深度注意力卷积神经网络时，会在最后一个汉诺塔模块之后使用一维最大池化层来进一步减少参数。

将V和标签嵌入后的低维向量L＝{l₁,…,l_k}作为标签注意力机制的输入，得到V的注意力机制t。

将t送入三层全连接层，再使用sigmoid分类器进行分类。

步骤三、使用监督学习的方法优化步骤二的模型参数。具体包括：

从步骤一中刑事法律文书中的经过处理的案情部分，获取数据集和标签；

按9:1:1的比例随机划分文本数据和对应标签为训练集、验证集和测试集；其中，随机划分文本数据使用python开源软件包scikit-learn实现。

将训练集送入步骤二中深度注意力卷积神经网络训练，根据验证集调整模型超参数；

在测试集测试不同的超参数效果，筛选出最佳超参数；

将全部数据送入基于最佳超参数的模型训练得到最终模型，最终输出每条文本匹配各个法条的概率。

其中，整个深度注意力卷积神经网络使用python上的深度学习开源工具包Keras构建。对应sigmoid分类，损失函数使用二元交叉熵binary_crossentropy。优化器使用Adam，初始学习率设置为0.001，前两个批次嵌入层设为不可训练，之后嵌入层将改为参数可训练。

步骤四、利用语言模型和深度注意力卷积神经网络进行建模，预测出相关刑法法条。具体包括：

从步骤三中训练的最终模型获取其输出；

将所获取的输出值中所有大于0.5的类别作为预测类别；

如果没有大于0.5的类别存在则选取最大值所在的类作为预测类别；

根据预测类别得出预测的相关法条。

由于模型的输出的结果是各分类的独立概率，基于多标签分类的基础上，我们将选取所有概率大于0.5的类作为预测类别，如果没有大于0.5的类存在则选取最大值所在的类作为预测类别。各个预测类别一一对应各个刑法相关法条。

本发明提供的刑事法律文书相关法条的推荐，通过对刑事法律文书进行处理获取基础数据，然后根据基础数据构造相应的深度注意力卷积神经网络，再利用该模型依据刑事法律文书中的案情描述和事实部分，来预测涉及的相关法条，这就能够对相关法条进行较为准确的预测。而且，相比传统机器学习方法，省去了大量人工构建领域特征的步骤，显得简洁、科学和可靠。

并且，采用本发明提供的刑事法律文书相关法条的推荐方法，可以辅助相关法律从事人员处理各类刑事案件，有效保障刑事案件判决的客观性、公平性，并提高刑事案件的审案效率。具体来说：

深度注意力卷积神经网络模型由于其重复使用了汉诺塔模块，能够在计算代价相对小的情况下构建了相当深的网络。这使得该网络能够提取浅层神经网络难以提取的长距离和层次特征，并且效率很高。而刑事法律文书一般较长，结构规范且较复杂，所以深度卷积神经网络在刑事法律文书法条上的效果比传统浅层神经网络有明显的提升。

本发明采用标签注意力机制可以有效地提取标签信息。这使得该方法能够提取作为标签的刑法法条中丰富的语义信息来提升最终的推荐效果。

针对上述刑事法律文书相关法条的推荐方法，本发明还对应提供了一种刑事法律文书相关法条的推荐系统，如图7所示，该系统包括：文本集合确定模块1、深度注意力卷积神经网络模型获取模块2、概率确定模块3、比较结果确定模块4和法条确定模块5。

文本集合确定模块1用于获取刑事法律文书，并对所述刑事法律文书进行分词处理得到以词条为单位的文本集合；

深度注意力卷积神经网络模型获取模块2用于获取深度注意力卷积神经网络模型；所述深度注意力卷积神经网络模型为以所述文本集合为输入，以每一文本匹配各法条的概率为输出的神经网络模型；

概率确定模块3用于利用所述深度注意力卷积神经网络模型，根据所述文本集合得到所述每一文本匹配各法条的概率；

比较结果确定模块4用于获取预设概率值，并比较所述概率和所述概率阈值，得到比较结果；

法条确定模块5用于在所述比较结果中，若所述概率大于等于所述概率阈值，则保留与所述概率相对应的法条；若所述概率小于所述概率阈值，则删除与所述概率相对应的法条。

此外，上述推荐系统还包括：标定采样模块、训练样本对获取模块和训练模块。

标定采样模块用于选取所述刑事法律文书中符合预设条件的刑事法律文书进行标定采样；

训练样本对获取模块用于获取标定采样后的刑事法律文书的文本集合以及与所述文本集合中每条文本匹配法条概率大于等于所述概率阈值的法条，作为训练样本对；

训练模块用于采用所述训练样本对对所述深度注意力卷积神经网络模型进行训练。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种刑事法律文书相关法条的推荐方法，其特征在于，包括：

获取刑事法律文书，并对所述刑事法律文书进行分词处理得到以词条为单位的文本集合；

获取深度注意力卷积神经网络模型；所述深度注意力卷积神经网络模型为以所述文本集合为输入，以每一文本匹配各法条的概率为输出的神经网络模型；

利用所述深度注意力卷积神经网络模型，根据所述文本集合得到所述每一文本匹配各法条的概率；

获取预设概率阈值，并比较所述概率和所述概率阈值，得到比较结果；

在所述比较结果中，若所述概率大于等于所述概率阈值，则保留与所述概率相对应的法条；若所述概率小于所述概率阈值，则删除与所述概率相对应的法条。

2.根据权利要求1所述的一种刑事法律文书相关法条的推荐方法，其特征在于，所述深度注意力卷积神经网络模型包括：嵌入层、汉诺塔模块和压缩模块。

3.根据权利要求2所述的一种刑事法律文书相关法条的推荐方法，其特征在于，所述汉诺塔模块包括多个卷积模块；每一所述卷积模块包括多个一维卷积层。

4.根据权利要求2所述的一种刑事法律文书相关法条的推荐方法，其特征在于，所述压缩模块包括：一维卷积层和最大池化层。

5.根据权利要求2所述的一种刑事法律文书相关法条的推荐方法，其特征在于，所述嵌入层为词向量模型；所述词向量模型为以文本集合为输入，以词向量矩阵为输出的神经网络模型。

6.根据权利要求1所述的一种刑事法律文书相关法条的推荐方法，其特征在于，所述推荐方法还包括：

选取所述刑事法律文书中符合预设条件的刑事法律文书进行标定采样；

获取标定采样后的刑事法律文书的文本集合以及与所述文本集合中每条文本匹配法条概率大于等于所述概率阈值的法条，作为训练样本对；

采用所述训练样本对对所述深度注意力卷积神经网络模型进行训练。

7.一种刑事法律文书相关法条的推荐系统，其特征在于，包括：

文本集合确定模块，用于获取刑事法律文书，并对所述刑事法律文书进行分词处理得到以词条为单位的文本集合；

深度注意力卷积神经网络模型获取模块，用于获取深度注意力卷积神经网络模型；所述深度注意力卷积神经网络模型为以所述文本集合为输入，以每一文本匹配各法条的概率为输出的神经网络模型；

概率确定模块，用于利用所述深度注意力卷积神经网络模型，根据所述文本集合得到所述每一文本匹配各法条的概率；

比较结果确定模块，用于获取预设概率值，并比较所述概率和所述概率阈值，得到比较结果；

法条确定模块，用于在所述比较结果中，若所述概率大于等于所述概率阈值，则保留与所述概率相对应的法条；若所述概率小于所述概率阈值，则删除与所述概率相对应的法条。

8.根据权利要求7所述的一种刑事法律文书相关法条的推荐系统，其特征在于，所述推荐系统还包括：

标定采样模块，用于选取所述刑事法律文书中符合预设条件的刑事法律文书进行标定采样；

训练样本对获取模块，用于获取标定采样后的刑事法律文书的文本集合以及与所述文本集合中每条文本匹配法条概率大于等于所述概率阈值的法条，作为训练样本对；

训练模块，用于采用所述训练样本对对所述深度注意力卷积神经网络模型进行训练。

Images