CN112101559B - 一种基于机器学习的案件罪名推断方法 - Google Patents

Abstract

本发明涉及一种基于机器学习的案件罪名推断方法，其中，包括：罪名推断模型训练和罪名推断；罪名推断模型训练包括：将已有案件情节及对应的罪名转化后的向量输入罪名推断模型；计算预测结果与人工标注的案件情节、罪名和刑罚之间的交叉熵损失；更新模型参数；保存罪名推断模型；罪行推断包括：输入案件情节转化后的向量；将案件情节输入罪名推断模型中进行罪名推测；对罪名推断模型自身推断结果进行结果修正；从罪名推断模型中输出修正后的罪名推断结果。本发明基于机器学习的案件罪名推断方法，能够在保证判断速度较快的情况下，进行准确率较高的罪名推断。

Description

一种基于机器学习的案件罪名推断方法

技术领域

本发明涉及司法电子系统技术，特别涉及一种基于机器学习的案件罪名推断方法。

背景技术

现有的案件判定过程需要法官、检察官、律师等法律专业人士的参与。然而，普通民众由于缺乏专业的法律知识，难以对案件的判决结果形成合理的预期。败诉方往往不服判决结果，拒绝执行生效判决，甚至缠访闹访，极大地损害了司法公信力。与此同时，随着人工智能技术的发展，“数字法治、智慧司法”信息化建设不断推进。案件卷宗、裁判文书、法律法规等文件的大规模数字化存储奠定了深度学习的数据基础，机器阅读理解水平的提高使得计算机能够对法律文本进行智能语义分析，知识图谱构建和应用技术的发展也使得计算机能够学习和积累法律知识。在此基础上，案件辅助判定成为了司法知识服务系统的重要组成部分。一方面，案件辅助判定技术可以为不熟悉法律术语和复杂判定程序的普通民众提供低成本、高质量的法律咨询服务。另一方面，案件辅助判定技术也可以为专业人士提供便利的参考意见，从而提高他们的工作效率。

中国专利“CN110704571A庭审辅助处理方法、审判辅助处理方法、装置、设备及介质”设计了一种基于机器学习的系统装置，在在先案件文本数据存在的基础上，通过对庭审原始语音翻译并处理的方法，处理获得并记录庭审原始文本数据，进而与在先文本数据进行对比，突出显示原始文本数据的重要部分，并给出相应的判决提示文。

中国专利“CN107633465A智能辅助判案方法”则给出了一种以存储和检索为主要方法的智能辅助判案方法。该方法利用具有存储模块的数据处理设备和相应的案件信息数据库，实现了庭审阶段的笔录存储，并在判决阶段通过法官的按键操作查询并显示数据库中同类案件的相关信息如同类案件的常见争议点、同类案件依据裁决规则给出的不同判别方法发比例等，进而辅助法官进行相应的判决。

中国专利“CN108133436A自动判案方法及系统”实现了一种自动判案的方法及系统。在该系统中，待判案件的相关资料通过分词和向量化转化成待判案件的文本向量，预先构建的先验知识库中信息通过向量化处理转化成先验知识向量，进而将待判案件的文本向量和先验知识向量输入预先构建的判案模型，得到待判案件的判案结果。

中国专利“CN110704571A庭审辅助处理方法、审判辅助处理方法、装置、设备及介质”给出的审判辅助方法重点在于麦克风采集相应的语音数据，将其转化为原始文字数据，再进行与在先文本数据进行比对。在进行文本处理之前加上了语音采集和转化成文字的步骤，而语音转文字模型本身就是一种较为复杂的模型，且在实际的语音转文字的过程中存在转化错误的情况，在文字处理前就可能已经降低了案件判决的准确性。此外，想要达到较好的审判辅助效果，待判案件信息关键词进行检索匹配需要较大的在先案件文本数据库，这既需要大量的先验案件文本数据支持和较大的设备存储空间支持，文本检索匹配也可能出现速度较慢的情况。

中国专利“CN107633465A智能辅助判案方法”中，其系统软件同样建立在大型数据库的存储和检索上，对于数据量和存储设备有较高的要求，文本检索匹配上同样可能会存在运行速度的问题。此外，该智能辅助判案方法以人工按键操作为查询依据，并未能较为准确地给出相应的罪名判决和判决依据，在实际使用中可能仍需要使用者大量的思考和选择。

中国专利“CN108133436A自动判案方法及系统”所提出的系统对于不同频次的罪名判断使用了相同的模型，可能导致频次较低的罪名误判率较高，判断速度较慢。此外，由于神经网络模型自身的“就近归类”特性与法律判决的“罪刑法定原则”有一定的冲突性，因此在实际应用中，可能会出现一定的误判率。

可见，现有技术存在着数据需求量大，要求存储介质性能较高，判断速度较慢，判断准确率低的问题。

发明内容

本发明的目的在于提供一种基于机器学习的案件罪名推断方法，用于解决上述现有技术的问题。

本发明一种基于机器学习的案件罪名推断方法，其中，包括：罪名推断模型训练和罪名推断；罪名推断模型训练包括：将已有案件情节及对应的罪名转化后的向量输入罪名推断模型；计算预测结果与人工标注的案件情节、罪名和刑罚之间的交叉熵损失；更新模型参数；保存罪名推断模型；罪行推断包括：输入案件情节转化后的向量；将案件情节输入罪名推断模型中进行罪名推测；对罪名推断模型自身推断结果进行结果修正；从罪名推断模型中输出修正后的罪名推断结果。

根据本发明的基于机器学习的案件罪名推断方法的一实施例，其中，罪名推断模型包括输入层、隐藏层和输出层。

根据本发明的基于机器学习的案件罪名推断方法的一实施例，其中，输入层用于输入为案情情节的向量二维矩阵；隐藏层用于对案情情节输入向量矩阵进行抽象，得到更深层次的文本信息；输出层将得到的特征向量通过至少一全连接层与激活函数层，得到基于案情情节输入向量预测分类结果。

根据本发明的基于机器学习的案件罪名推断方法的一实施例，其中，隐藏层中通过卷积神经网络将罪名推断视为不同罪名的二分类任务用CNN提取特征，以进行分类，将案情情节输入向量用不同大小的卷积核进行卷积操作，并通过最大池池化，再将得到特征拼接在一起得到最终特征。

根据本发明的基于机器学习的案件罪名推断方法的一实施例，其中，罪名推断模型训练使用随机梯度下降算法更新模型参数。

根据本发明的基于机器学习的案件罪名推断方法的一实施例，其中，机器学习采用的模型拓朴结构包括输入层、隐藏层和输出层；输入层：输入为案情情节的向量二维矩阵；隐藏层：用于对案情情节输入向量矩阵进行抽象，得到更深层次的文本信息，将案情情节输入向量用不同大小的卷积核进行卷积操作，并通过最大池池化，再将得到特征拼接在一起得到最终的特征；输出层：将得到的特征向量通过一或多个全连接层与激活函数层，再通过sigmoid函数得到基于案情情节输入向量预测分类结果。

根据本发明的基于机器学习的案件罪名推断方法的一实施例，其中，隐藏层卷积神经网络使用窗口大小为1、2、3以及4的卷积核，每个卷积核有64个，输出层采用线性层的结构，设输入层特征为S_f，，隐藏层输入特征为S_h1，隐藏层输出特征为S_h2，输出层为S_l；输入层特征S_f首先通过S_f×S_h1的线性连接层，再通过Tanh函数：

Tanh(x)＝(e^x-e^-x)/(e^x+e^-x)；

S_h1＝Tanh(w·S_f+b)；

隐藏层内S_h1特征通过多个卷积核提取并进行最大池化后得到S_h2特征，其中一个卷积核对h个特征向量产生特征，从特征x_i：i+h-1的窗口生成特征c_i：

c_i＝f(w·x_i：i+h-1+b)；

对特征{x_1：h，x_2：h+1，…x_n-h+1：n}通过卷积核卷积产生特征图；

c＝[c₁，c₂，…c_n-h+1]；

其中对特征运用最大池池化/>

多卷积核特征串联得到S_h2特征；

S_h2特征通过S_h2×S_l的线性连接层，再通过Tanh函数得到S_l特征，

S_l＝Tanh(w·S_h2+b)。

本发明基于机器学习的案件罪名推断方法，能够在保证判断速度较快的情况下，进行准确率较高的罪名推断。采用模型训练与模型调用分离的模式，利用预先训练完成的轻量级单分类和多分类模型快速得到准确率较高的罪名推断结果。

附图说明

图1为罪名推断模型训练部分的流程图；

图2为构建关联规则知识库部分的流程图；

图3为机器学习模型拓朴结构图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明技术主要由两个部分构成，分别为罪名推断模型训练部分和罪名推断模型使用部分。以下分别介绍两个部分的具体实现步骤

图1为罪名推断模型训练部分的流程图，如图1所示，其具体实现步骤如下：

收集大量针对不同罪名的裁判文书并进行数据清洗和数据提取。

利用jieba分词组件和腾讯AI实验室的200维预训练词向量对训练文本向量化；

将向量化的训练文本输入罪名推断模型；

计算预测结果与人工标注的案件情节、罪名和刑罚之间的交叉熵损失。

使用随机梯度下降算法更新模型参数。

保存罪名推断模型。

图2所示为罪行推断模型的使用部分的流程图，其具体实现步骤如下：

使用人员输入案件情节。

系统将输入的案件情节向量化后输入罪名推测模型；

单分类或多分类罪名推测模型输出罪名推断结果；

将案件情节输入罪名推断模型中进行罪名推测；

在上述三个部分中涉及到的机器学习模型拓朴结构如图3所示，模型自身包括输入层、隐藏层和输出层。其中：

输入层：输入为案情情节的向量二维矩阵，如限定输入为案情情节最大长度为500词，每个词向量维度设为200，那么输入应为500×200的二维矩阵。

隐藏层：主要用于对案情情节输入向量矩阵进行抽象，得到更深层次的文本信息。在该模型中，我们使用卷积神经网络(CNN)作为该层。在隐藏层中，卷积神经网络将罪名推断视为不同罪名的二分类任务用CNN提取特征用于分类。将案情情节输入向量用不同大小的卷积核进行卷积操作，并通过最大池池化，再将得到特征拼接在一起得到最终的特征。

输出层：将得到的特征向量通过一或多个全连接层与激活函数层。再通过sigmoid函数得到基于案情情节输入向量预测分类结果。

本实验中隐藏层CNN使用窗口大小为1、2、3、4的卷积核，每个卷积核有64个。输出层采用线性层的结构。设输入层特征为S_f，，隐藏层输入特征为S_h1，隐藏层输出特征为S_h2，输出层为S_l。

输入层特征S_f首先通过S_f×S_h1的线性连接层，再通过Tanh函数：

Tanh(x)＝(e^x-e^-x)/(e^x+e^-x)

即：

S_h1＝Tanh(w·S_f+b)

隐藏层内S_h1特征通过多个卷积核提取并进行最大池化后得到S_h2特征。其中一个卷积核对h个特征向量产生特征，从特征x_i：i+h-1的窗口生成特征c_i：

c_i＝f(w·x_i：i+h-1+b)

对特征{x_1：h，x_2：h+1，…x_n-h+1：n}通过卷积核卷积产生特征图

c＝[c₁，c₂，…c_n-h+1]

其中对特征运用最大池池化/>

多卷积核特征串联得到S_h2特征。

S_h2特征通过S_h2×S_l的线性连接层，再通过Tanh函数得到S_l特征，即：

S_l＝Tanh(w·S_h2+b)

此外，在训练模型的过程中，线性层设置dropout，概率为0.5。训练的batch size设置为100，训练的最大epoch设置为40，采用早停机制停止训练，当5个epoch后f1score在开发集上不再提升就停止训练，其中f1score：

f1score＝2*(precision*recall)/(precision+recall)

该罪名推断模型是轻量级的，因此，该模型的训练不会占用过多的时间成本,判断速度较快，并且具有较好的鲁棒性。

本发明通过利用向量化文本数据对轻量单分类和多分类级模型进行训练，使得罪名推断模型的训练时间得到一定的缩减，提高了罪名的判断速度，提升了罪名推断模型的鲁棒性和准确性。

本发明提出的罪名推断方法与系统通过采用轻量级机器学习模型，降低了以往机器学习罪名推断模型的复杂程度，减少了罪名推断模型在训练时的时间成本。与此同时，从实验的测试结果来看，该罪名推断模型的判断速度和判断准确性都较高，且模型本身具有较高的鲁棒性。其各方面性能满足了罪名推断的应用要求。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种基于机器学习的案件罪名推断方法，其特征在于，包括：罪名推断模型训练和罪名推断；

罪名推断模型训练包括：

将已有案件情节及对应的罪名转化后的向量输入罪名推断模型；

计算预测结果与人工标注的案件情节、罪名和刑罚之间的交叉熵损失；

更新模型参数；

保存罪名推断模型；

罪行推断包括：

输入案件情节转化后的向量；

将案件情节输入罪名推断模型中进行罪名推测；

对罪名推断模型自身推断结果进行结果修正；

从罪名推断模型中输出修正后的罪名推断结果；

其中，

罪名推断模型包括输入层、隐藏层和输出层；

隐藏层卷积神经网络使用窗口大小为1、2、3以及4的卷积核，每个卷积核有64个，输出层采用线性层的结构，设输入层特征为S_f，，隐藏层输入特征为S_h1，隐藏层输出特征为S_h2，输出层为S_l；

输入层特征S_f首先通过S_f×S_h1的线性连接层，再通过Tanh函数：

Tanh(x)＝(e^x-e^-x)/(e^x+e^-x)；

S_h1＝Tanh(w·S_f+b)；

隐藏层内S_h1特征通过多个卷积核提取并进行最大池化后得到S_h2特征，其中一个卷积核对h个特征向量产生特征，从特征x_i：i+h-1的窗口生成特征c_i：

c_i＝f(w·x_i：i+h-1+b)；

对特征{x_1：h，x_2：h+1，…x_n-h+1：n}通过卷积核卷积产生特征图；

c＝[c₁，c₂，…c_n-h+1]；

其中对特征运用最大池池化/>

多卷积核特征串联得到S_h2特征；

S_h2特征通过S_h2×S_l的线性连接层，再通过Tanh函数得到S_l特征，S_l＝Tanh(w·s_h2+b)。

2.如权利要求1所述的基于机器学习的案件罪名推断方法，其特征在于，输入层用于输入为案情情节的向量二维矩阵；隐藏层用于对案情情节输入向量矩阵进行抽象，得到更深层次的文本信息；输出层将得到的特征向量通过至少一全连接层与激活函数层，得到基于案情情节输入向量预测分类结果。

3.如权利要求2所述的基于机器学习的案件罪名推断方法，其特征在于，隐藏层中通过卷积神经网络将罪名推断视为不同罪名的二分类任务用CNN提取特征，以进行分类，将案情情节输入向量用不同大小的卷积核进行卷积操作，并通过最大池池化，再将得到特征拼接在一起得到最终特征。

4.如权利要求1所述的基于机器学习的案件罪名推断方法，其特征在于，罪名推断模型训练使用随机梯度下降算法更新模型参数。

5.如权利要求1所述的基于机器学习的案件罪名推断方法，其特征在于，机器学习采用的模型拓朴结构包括输入层、隐藏层和输出层；

输入层：输入为案情情节的向量二维矩阵；

隐藏层：用于对案情情节输入向量矩阵进行抽象，得到更深层次的文本信息，将案情情节输入向量用不同大小的卷积核进行卷积操作，并通过最大池池化，再将得到特征拼接在一起得到最终的特征；

输出层：将得到的特征向量通过一或多个全连接层与激活函数层，再通过sigmoid函数得到基于案情情节输入向量预测分类结果。