CN109376227A - 一种基于多任务人工神经网络的刑期预测方法 - Google Patents
一种基于多任务人工神经网络的刑期预测方法 Download PDFInfo
- Publication number
- CN109376227A CN109376227A CN201811441634.5A CN201811441634A CN109376227A CN 109376227 A CN109376227 A CN 109376227A CN 201811441634 A CN201811441634 A CN 201811441634A CN 109376227 A CN109376227 A CN 109376227A
- Authority
- CN
- China
- Prior art keywords
- layer
- term
- vector
- data
- prison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000013598 vector Substances 0.000 claims description 105
- 230000007246 mechanism Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 21
- 230000001373 regressive effect Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000000644 propagated effect Effects 0.000 claims description 5
- 230000008901 benefit Effects 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 239000003814 drug Substances 0.000 claims description 3
- 229940079593 drug Drugs 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 210000000056 organ Anatomy 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 238000003062 neural network model Methods 0.000 abstract 2
- 208000027418 Wounds and injury Diseases 0.000 abstract 1
- 230000006378 damage Effects 0.000 abstract 1
- 238000007405 data analysis Methods 0.000 abstract 1
- 208000014674 injury Diseases 0.000 abstract 1
- 238000003058 natural language processing Methods 0.000 description 3
- 230000035508 accumulation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000004218 nerve net Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000019606 astringent taste Nutrition 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Biomedical Technology (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Technology Law (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于多任务人工神经网络刑期预测方法，用于对裁判文书进行数据分析与挖掘，对新获得的犯罪事实描述与嫌疑人基本信息进行刑期预测。该方法以裁判文书引用法律条款的属性关注点为指导，通过全面利用裁判文书中的多维度相关数据，构造具有相互支撑效果的多任务神经网络模型，并以预处理的裁判文书数据进行训练，获得了具有精度高、实用性强的刑期预测方法。该方法以罪名、伤害程度、涉案金额等21项法律条文关注属性为辅助任务，并且对无期和死刑另做分类处理，实现了对刑期的准确预测。与不使用基于此类属性的单任务神经网络模型相比，本发明提出的方法预测准确率更高，表明本发明提出的方法是有效、实用的。
Description
技术领域
本发明涉及一种基于多任务人工神经网络刑期预测方法，属于自然语言处理技术领域。
背景技术
刑期预测问题是裁判文书信息挖掘与分析重要的基本问题之一，其目标是根据犯罪事实描述，预测此犯罪事实在法律等相关信息基础上，将会被处以的刑期。可用于后续自动审判、法律智能咨询。近年来，以神经网络为基础的自然语言处理技术发展和应用极大地推动了裁判文书信息处理与挖掘的发展。传统基于人工神经网络的刑期预测方法基于犯罪事实描述，直接预测刑期。
随着人工智能相关技术的发展，利用自然语言处理方法对裁判文书进行处理、分析与应用已成为研究的热点。通过刑期预测方法，可根据犯罪事实描述，利用现有的大规模显示裁判文书中包含的信息，给出准确的刑期预测，并且其中涉及到的各种中间计算结果可以进一步应用于诸如罪名预测、文书检索等领域。基于刑期预测方法，可以实现自动审判、法律智能咨询等服务，为法律相关行业提供高效、有效的参考。
基于人工神经网络的刑期预测方法虽然在一定程度上实现了智能化地裁判文书信息挖掘与利用，但是，传统的基于人工神经网络的刑期预测方法，根据犯罪事实描述直接预测刑期，未能充分利用裁判文书中包含的大量信息，忽略了刑期与其他维度各种信息的相关关系，基于单任务人工神经网络的刑期预测方法，仅仅以犯罪事实为输入、仅以刑期为输出，忽略了裁判文书中各个维度的有用信息之间的关联，例如罪名、嫌疑人基本信息、犯罪事实描述的属性信息，因此，导致模型训练的收敛性差、实际预测结果偏差大等问题，难以满足实际应用需求。
因此，如何充分利用裁判文书中所包含的各个维度的有用信息，实现准确、有效地刑期预测，是现在要解决的重要问题。
发明内容
针对现有技术的不足，本发明提供了一种基于多任务人工神经网络刑期预测方法；
本发明可以有效的利用裁判文书中包含的多维度信息，来提高刑期预测的精度。
术语解释：
1、分词处理：是指将一个文本以词语为最小单元分开，即将一句话拆分成单个词语存储，以便于下一步的构建词典。
2、最大化池化方式，是指在一个矩阵中，根据核的大小，取核所覆盖范围内的最大值最为该区域的代表。
3、自注意力机制，根据人的大脑处理信息的原理，人在处理眼睛看到的信息或者耳朵听到的信息的时候，通常注意力只会放在重点区域或者重点信息段上面。本发明的中的注意力机制是指在特征信息从LSTM层传输到下一层的时候，有一个权重矩阵将对于结果重要的信息放大传输到下一层，不重要的信息减小比重。
4、神经网络前向传播计算，是指信息流在网络里向前传播，这里的前是指从输入到输出，每一层的结果都是经过上一层的结果经过本层的权重矩阵加上偏置项，最终经过激活函数得到最终输出。
5、全连接神经网络：第N层的每个节点都与第N-1层的所有节点相连，即第N层的每个节点都是上一层的所有节点的加权和。
6、反向传播原理，是指信息反向传播，根据模型最后预测器的输出和目标之间的误差，反向调整模型中的参数，以使输出与真实值之间的误差尽量的小。
本发明的技术方案为：
一种基于多任务人工神经网络刑期预测方法，包括步骤如下：
(1)对原始数据进行预处理：
抽取所需信息，实现数据结构化，构造结构化数据集；
(2)训练阶段：
把结构化数据集随机分为两部分，比例为8：2，大的部分数据集打乱后分成N份，每次取N-1份做训练，1份做验证，做N次交叉验证，评估模型性能，小的部分作为测试数据集；获得当前训练阶段所需要的训练数据，将训练数据依次进行分词处理、词向量映射后，输入模型，获得输出；
所述模型包括词向量嵌入层、双向LSTM层、最大池化层、注意力机制层、平均池化层、分类器、计算损失层、更新参数层；所述词向量嵌入层、所述双向LSTM层、所述最大池化层依次连接；所述双向LSTM层、所述注意力机制层、所述平均池化层依次连接；所述分类器包括罪名分类器、法律属性分类器、刑期回归预测器，所述罪名分类器、所述法律属性分类器、所述刑期回归预测器都是二分类；所述最大池化层、所述计算损失层、所述更新参数层依次连接；所述双向LSTM层、所述注意力机制层、所述法律属性分类器、所述计算损失层、所述更新参数层依次连接；所述最大池化层、所述平均池化层均连接所述刑期回归预测器，所述刑期回归预测、所述计算损失层、所述更新参数层依次连接；所述罪名分类器为M分类，M罪名类型的数量；所述法律属性分类器有18个；包括步骤如下：
A、所述词向量嵌入层将样本从原始数据转换为词向量；方便后面模型输入；
B、所述双向LSTM层以词向量为输入，将词向量转换为具有某种语义的特征，输出固定长度的特征向量；
C、所述最大池化层以双向LSTM层输出的特征向量为输入，作用是简化模型复杂度使之容易计算，提取主要特征，输出一维向量；
D、所述注意力机制层以双向LSTM层输出的特征向量为输入，从特征向量中根据不同的任务提取出不同的信息，输出为每个任务一个一维向量，即法律属性的特征向量；
E、所述平均池化层将所述注意力机制层的输出的多个一维向量合并为一个矩阵，并计算成一个一维向量；作用与最大池化层一样，输出为一个一维向量；
F、所述计算损失层将所述最大池化层的输出与所述平均池化层的输出拼接为一个一维向量，该一维向量经过两层神经网络转化为长度和数据标签一样形式的数据，对于预测罪名和法律属性的分类任务，采用交叉熵形式分类误差，计算输出与目标的误差；对于刑期回归任务，采用均方差形式进行计算误差，计算目标与实际刑期之间的均方误差；将所有误差累计，称之为总损失；
G、所述罪名分类器将所述最大池化层的输出与所述平均池化层的输出拼接成的一个一维向量，变为一个267长度(即为现阶段本发明已有数据库中罪名的数量)的向量，归一化处理后，数值最大的对应位置上的罪名类型即为本条数据预测的罪名；
H、所述法律属性分类器将所述注意力机制层的输出向量变为一个2长度的向量，归一化处理后，数值最大的对应位置上的法律属性型即为本条数据预测的法律属性，即第一个位置的数字大，代表该属性为是，第二个位置的数据大，代表该属性为否；
I、所述刑期回归预测器将所述最大池化层的输出与所述平均池化层的输出拼接成的一个一维向量，再加上嫌疑人基本信息，变为一个数字，该数字即是对该条数据刑期的预测；嫌疑人基本信息为一维，长度为3，包括年龄、性别，是否有前科；
J、所述更新参数层采用反向传播原理，计算输出目标对各个参数节点的梯度，每一层的梯度都是间接由上一层的梯度求出，根据梯度下降的方向更新参数，参数是指上述各层中的参数，包括所述词向量嵌入层的词向量、所述双向LSTM层的参数、所述注意力机制层的参数、所述罪名分类器的参数、所述法律属性分类器的参数和所述刑期回归预测器的参数，直到达到预设的迭代次数，将误差最小的模型保存至本地；
(3)测试阶段：
加载训练阶段中保存的模型，对测试数据集进行采样，获得测试所用数据，将测试所用数据输入模型，依次进行分词、词向量映射、神经网络前向传播计算，输出刑期预测值，显示预测刑期，并与实际刑期进行比对，评估模型性能。
进一步优选的，所述步骤(2)中，对于预测罪名和中间属性的分类任务，采用交叉熵形式分类误差，计算输出与目标的误差；交叉熵计算公式如式(Ⅰ)所示：
式(Ⅰ)中，y′i为标签中的第i个值，yi为对应的预测分量，当交叉熵越小时，说明分类越准确。Hy′(y)是指交叉熵；
进一步优选的，所述步骤(2)中，对于刑期回归任务，采用均方差形式进行计算误差，计算目标与实际刑期之间的均方误差；均方差计算公式如式(II)所示：
式(II)中，y′i为标签中的第i个值，yi为对应的预测分量，当均方误差越小时，说明预测刑期与真实刑期越接近。MSEy′(y)指均方差；
根据本发明优选的，所述步骤(1)中，
所需信息包括犯罪事实描述与嫌疑人基本信息数据，嫌疑人基本信息数据包括年龄、性别、是否有前科；
实现数据结构化，是指：
对每一个犯罪嫌疑人的年龄，进行标准处理，如式(Ⅰ)所示：
式(Ⅲ)中，X为输入数据，μ为输入数据的均值，σ为输入数据的方差，X′为标准化处理后的数据；
对每一个犯罪嫌疑人的性别，0表示男性，1表示女性；
对每一个犯罪嫌疑人的是否有前科信息，0表示无前科信息，1表示有前科信息。
根据本发明优选的，所述步骤(2)中，犯罪事实描述结构化，将犯罪事实依次进行分词处理、词向量映射，包括：对犯罪事实描述与嫌疑人基本信息数据进行分词处理，并将分词结果中的每一个词映射为对应的词向量，即得到犯罪事实描述的特征向量。
进一步优选的，所述分词处理，包括分词、截断或填充，分词后，词语数目多于300词的，截断为300词，不足300词的，采用特殊填充字符填充至300词。按照上述结构化方式将犯罪事实描述进行结构化处理。
进一步优选的，所述词向量映射中，词向量维度采用300维。
根据本发明优选的，所述步骤(2)中，
对获得的各个向量，分别输入各自的后续人工网络中；
将犯罪事实描述的特征向量输入罪名分类器中，该分类器采用两层全连接神经网络(已在名词解释中给出)，计算其在469项罪名上的概率分布；
所述法律属性分类器有18个，分别表示金额是否巨大、是否涉毒、是否涉黄、是否以营利为目的、是否非法占有、是否团伙作案、是否涉枪、是否涉黑、是否国家工作人员、是否暴力、是否致人受伤、是否故意为之、是否生产过程犯罪、是否涉恐、是否胁迫他人、是否多次犯罪、是否存在欺骗行为、情节是否严重；每个法律属性分类器包括两层人工神经网络，每个都是二分类器，即最后的预测为是或否中的一个；
将与犯罪事实各个法律相关属性的特征向量(即注意力机制的输出)输入各自的所述法律属性分类器中；
所述刑期回归预测器采用三层全连接神经网络；将所述最大池化层的输出与所述平均池化层的输出拼接成的一个一维向量，再加上嫌疑人基本信息，输入所述刑期回归预测器中，该神经网络采用三层全连接神经网络，嫌疑人基本信息为一维，长度为3，包括年龄、性别，是否有前科；输出刑期的连续值预测，连续值以年为单位，采用小数表示月份。
对获得的各个输出，丢弃罪名预测和18项属性预测最后输出，或者这部分信息另做他用，而只将刑期输出并显示、保存。
本发明的有益效果为：
1、与单任务刑期预测的方法相比，本发明采用多任务模型，不仅可以预测刑期，同时兼顾罪名预测，实现了多效果同时实现。
2、本发明将刑期预测与罪名之间的联系通过神经网络实现，通过罪名预测提高了刑期预测的准确率。
3、与不采用多任务人工神经网络的刑期预测方法相比，本发明提出的方法通过法律文书中引用的法律条款所设计的关键属性信息作为多任务预测目标，实现了对刑期预测任务的辅助作用。
4、本发明独立设计裁判文书数据集，将数据结构化，在一定程上对最终目标的提高起到了促进作用，奠定了坚固的基础。
附图说明
图1是基于多任务人工神经网络的刑期预测方法示意框图；
图2是本发明的刑期预测模型的示意框图；
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于多任务人工神经网络刑期预测方法，如图1所示，包括步骤如下：
(1)对原始数据进行预处理：
抽取所需信息，实现数据结构化，构造结构化数据集；
(2)训练阶段：
把结构化数据集随机分为两部分，比例为8：2，大的部分数据集打乱后分成N份，每次取N-1份做训练，1份做验证，做N次交叉验证，评估模型性能，小的部分作为测试数据集；获得当前训练阶段所需要的训练数据，将训练数据依次进行分词处理、词向量映射后，输入模型，获得输出；
模型如图2所示，模型包括词向量嵌入层、双向LSTM层、最大池化层、注意力机制层、平均池化层、分类器、计算损失层、更新参数层；词向量嵌入层、双向LSTM层、最大池化层依次连接；双向LSTM层、注意力机制层、平均池化层依次连接；分类器包括罪名分类器、法律属性分类器、刑期回归预测器，罪名分类器、法律属性分类器、刑期回归预测器都是二分类；最大池化层、计算损失层、更新参数层依次连接；双向LSTM层、注意力机制层、法律属性分类器、计算损失层、更新参数层依次连接；最大池化层、平均池化层均连接刑期回归预测器，刑期回归预测、计算损失层、更新参数层依次连接；罪名分类器为M分类，M罪名类型的数量；法律属性分类器有18个；包括步骤如下：
A、词向量嵌入层将样本从原始数据转换为词向量；方便后面模型输入；
B、双向LSTM层以词向量为输入，将词向量转换为具有某种语义的特征，输出固定长度的特征向量；
C、最大池化层以双向LSTM层输出的特征向量为输入，作用是简化模型复杂度使之容易计算，提取主要特征，输出一维向量；
D、注意力机制层以双向LSTM层输出的特征向量为输入，从特征向量中根据不同的任务提取出不同的信息，输出为每个任务一个一维向量，即法律属性的特征向量；
E、平均池化层将注意力机制层的输出的多个一维向量合并为一个矩阵，并计算成一个一维向量；作用与最大池化层一样，输出为一个一维向量；
F、计算损失层将最大池化层的输出与平均池化层的输出拼接为一个一维向量，该一维向量经过两层神经网络转化为长度和数据标签一样形式的数据，对于预测罪名和法律属性的分类任务，采用交叉熵形式分类误差，计算输出与目标的误差；对于刑期回归任务，采用均方差形式进行计算误差，计算目标与实际刑期之间的均方误差；将所有误差累计，称之为总损失；
G、罪名分类器将最大池化层的输出与平均池化层的输出拼接成的一个一维向量，变为一个267长度(即为现阶段本发明已有数据库中罪名的数量)的向量，归一化处理后，数值最大的对应位置上的罪名类型即为本条数据预测的罪名；
H、法律属性分类器将注意力机制层的输出向量变为一个2长度的向量，归一化处理后，数值最大的对应位置上的法律属性型即为本条数据预测的法律属性，即第一个位置的数字大，代表该属性为是，第二个位置的数据大，代表该属性为否；
I、刑期回归预测器将最大池化层的输出与平均池化层的输出拼接成的一个一维向量，再加上嫌疑人基本信息，变为一个数字，该数字即是对该条数据刑期的预测；嫌疑人基本信息为一维，长度为3，包括年龄、性别，是否有前科；
J、更新参数层采用反向传播原理，计算输出目标对各个参数节点的梯度，每一层的梯度都是间接由上一层的梯度求出，根据梯度下降的方向更新参数，参数是指上述各层中的参数，包括词向量嵌入层的词向量、双向LSTM层的参数、注意力机制层的参数、罪名分类器的参数、法律属性分类器的参数和刑期回归预测器的参数，直到达到预设的迭代次数，将误差最小的模型保存至本地。；
(3)测试阶段：
加载训练阶段中保存的模型，对测试数据集进行采样，获得测试所用数据，将测试所用数据输入模型，依次进行分词、词向量映射、神经网络前向传播计算，输出刑期预测值，显示预测刑期，并与实际刑期进行比对，评估模型性能。
实施例2
根据实施例1所述的一种基于多任务人工神经网络刑期预测方法，其区别在于：
步骤(2)中，对于预测罪名和中间属性的分类任务，采用交叉熵形式分类误差，计算输出与目标的误差；交叉熵计算公式如式(Ⅰ)所示：
式(Ⅰ)中，y′i为标签中的第i个值，yi为对应的预测分量，当交叉熵越小时，说明分类越准确。Hy′(y)是指交叉熵；
步骤(2)中，对于刑期回归任务，采用均方差形式进行计算误差，计算目标与实际刑期之间的均方误差；均方差计算公式如式(II)所示：
式(II)中，y′i为标签中的第i个值，yi为对应的预测分量，当均方误差越小时，说明预测刑期与真实刑期越接近。MSEy′(y)指均方差；
所述步骤(1)中，
所需信息包括犯罪事实描述与嫌疑人基本信息数据，嫌疑人基本信息数据包括年龄、性别、是否有前科；
实现数据结构化，是指：
对每一个犯罪嫌疑人的年龄，进行标准处理，如式(Ⅰ)所示：
式(Ⅲ)中，X为输入数据，μ为输入数据的均值，σ为输入数据的方差，X′为标准化处理后的数据；
对每一个犯罪嫌疑人的性别，0表示男性，1表示女性；
对每一个犯罪嫌疑人的是否有前科信息，0表示无前科信息，1表示有前科信息。
步骤(2)中，犯罪事实描述结构化，将犯罪事实依次进行分词处理、词向量映射，包括：对犯罪事实描述与嫌疑人基本信息数据进行分词处理，并将分词结果中的每一个词映射为对应的词向量，即得到犯罪事实描述的特征向量。
分词处理，包括分词、截断或填充，分词后，词语数目多于300词的，截断为300词，不足300词的，采用特殊填充字符填充至300词。按照上述结构化方式将犯罪事实描述进行结构化处理。
词向量映射中，词向量维度采用300维。
步骤(2)中，对获得的各个向量，分别输入各自的后续人工网络中；
将犯罪事实描述的特征向量输入罪名分类器中，该分类器采用两层全连接神经网络(已在名词解释中给出)，计算其在469项罪名上的概率分布；
法律属性分类器有18个，分别表示金额是否巨大、是否涉毒、是否涉黄、是否以营利为目的、是否非法占有、是否团伙作案、是否涉枪、是否涉黑、是否国家工作人员、是否暴力、是否致人受伤、是否故意为之、是否生产过程犯罪、是否涉恐、是否胁迫他人、是否多次犯罪、是否存在欺骗行为、情节是否严重；每个法律属性分类器包括两层人工神经网络，每个都是二分类器，即最后的预测为是或否中的一个；
将与犯罪事实各个法律相关属性的特征向量(即注意力机制的输出)输入各自的法律属性分类器中；
法律属性及对应的罪名如表1所示：
表1
刑期回归预测器采用三层全连接神经网络；将最大池化层的输出与平均池化层的输出拼接成的一个一维向量，再加上嫌疑人基本信息，输入刑期回归预测器中，该神经网络采用三层全连接神经网络，嫌疑人基本信息为一维，长度为3，包括年龄、性别，是否有前科；输出刑期的连续值预测，连续值以年为单位，采用小数表示月份。
对获得的各个输出，丢弃罪名预测和18项属性预测最后输出，或者这部分信息另做他用，而只将刑期输出并显示、保存。
Claims (8)
1.一种基于多任务人工神经网络刑期预测方法，其特征在于，包括步骤如下：
(1)对原始数据进行预处理：
抽取所需信息，实现数据结构化，构造结构化数据集；
(2)训练阶段：
把结构化数据集随机分为两部分，比例为8：2，大的部分数据集打乱后分成N份，每次取N-1份做训练，1份做验证，做N次交叉验证，评估模型性能，小的部分作为测试数据集；获得当前训练阶段所需要的训练数据，将训练数据依次进行分词处理、词向量映射后，输入模型，获得输出；
所述模型包括词向量嵌入层、双向LSTM层、最大池化层、注意力机制层、平均池化层、分类器、计算损失层、更新参数层；所述词向量嵌入层、所述双向LSTM层、所述最大池化层依次连接；所述双向LSTM层、所述注意力机制层、所述平均池化层依次连接；所述分类器包括罪名分类器、法律属性分类器、刑期回归预测器，所述罪名分类器、所述法律属性分类器、所述刑期回归预测器都是二分类；所述最大池化层、所述计算损失层、所述更新参数层依次连接；所述双向LSTM层、所述注意力机制层、所述法律属性分类器、所述计算损失层、所述更新参数层依次连接；所述最大池化层、所述平均池化层均连接所述刑期回归预测器，所述刑期回归预测、所述计算损失层、所述更新参数层依次连接；所述罪名分类器为M分类，M罪名类型的数量；所述法律属性分类器有18个；包括步骤如下：
A、所述词向量嵌入层将样本从原始数据转换为词向量；
B、所述双向LSTM层以词向量为输入，将词向量转换为具有某种语义的特征，输出固定长度的特征向量；
C、所述最大池化层以双向LSTM层输出的特征向量为输入，提取主要特征，输出一维向量；
D、所述注意力机制层以双向LSTM层输出的特征向量为输入，从特征向量中根据不同的任务提取出不同的信息，输出为每个任务一个一维向量，即法律属性的特征向量；
E、所述平均池化层将所述注意力机制层的输出的多个一维向量合并为一个矩阵，并计算成一个一维向量；
F、所述计算损失层将所述最大池化层的输出与所述平均池化层的输出拼接为一个一维向量，该一维向量经过两层神经网络转化为长度和数据标签一样形式的数据，对于预测罪名和法律属性的分类任务，采用交叉熵形式分类误差，计算输出与目标的误差；对于刑期回归任务，采用均方差形式进行计算误差，计算目标与实际刑期之间的均方误差；将所有误差累计，称之为总损失；
G、所述罪名分类器将所述最大池化层的输出与所述平均池化层的输出拼接成的一个一维向量，变为一个267长度的向量，归一化处理后，数值最大的对应位置上的罪名类型即为本条数据预测的罪名；
H、所述法律属性分类器将所述注意力机制层的输出向量变为一个2长度的向量，归一化处理后，数值最大的对应位置上的法律属性型即为本条数据预测的法律属性，即第一个位置的数字大，代表该属性为是，第二个位置的数据大，代表该属性为否；
I、所述刑期回归预测器将所述最大池化层的输出与所述平均池化层的输出拼接成的一个一维向量，再加上嫌疑人基本信息，变为一个数字，该数字即是对该条数据刑期的预测；嫌疑人基本信息为一维，长度为3，包括年龄、性别，是否有前科；
J、所述更新参数层采用反向传播原理，计算输出目标对各个参数节点的梯度，每一层的梯度都是间接由上一层的梯度求出，根据梯度下降的方向更新参数，参数是指上述各层中的参数，包括所述词向量嵌入层的词向量、所述双向LSTM层的参数、所述注意力机制层的参数、所述罪名分类器的参数、所述法律属性分类器的参数和所述刑期回归预测器的参数，直到达到预设的迭代次数，将误差最小的模型保存至本地；
(3)测试阶段：
加载训练阶段中保存的模型，对测试数据集进行采样，获得测试所用数据，将测试所用数据输入模型，依次进行分词、词向量映射、神经网络前向传播计算，输出刑期预测值，显示预测刑期，并与实际刑期进行比对，评估模型性能。
2.根据权利要求1所述的一种基于多任务人工神经网络刑期预测方法，其特征在于，所述步骤(2)中，对于预测罪名和中间属性的分类任务，采用交叉熵形式分类误差，计算输出与目标的误差；交叉熵计算公式如式(Ⅰ)所示：
式(Ⅰ)中，y′i为标签中的第i个值，yi为对应的预测分量，Hy'(y)是指交叉熵。
3.根据权利要求1所述的一种基于多任务人工神经网络刑期预测方法，其特征在于，所述步骤(2)中，对于刑期回归任务，采用均方差形式进行计算误差，计算目标与实际刑期之间的均方误差；均方差计算公式如式(II)所示：
式(II)中，y′i为标签中的第i个值，yi为对应的预测分量，MSEy'(y)指均方差。
4.根据权利要求1所述的一种基于多任务人工神经网络刑期预测方法，其特征在于，所述步骤(1)中，所需信息包括犯罪事实描述与嫌疑人基本信息数据，嫌疑人基本信息数据包括年龄、性别、是否有前科；
实现数据结构化，是指：
对每一个犯罪嫌疑人的年龄，进行标准处理，如式(Ⅰ)所示：
式(Ⅲ)中，X为输入数据，μ为输入数据的均值，σ为输入数据的方差，X′为标准化处理后的数据；
对每一个犯罪嫌疑人的性别，0表示男性，1表示女性；
对每一个犯罪嫌疑人的是否有前科信息，0表示无前科信息，1表示有前科信息。
5.根据权利要求1所述的一种基于多任务人工神经网络刑期预测方法，其特征在于，所述步骤(2)中，犯罪事实描述结构化，将犯罪事实依次进行分词处理、词向量映射，包括：对犯罪事实描述与嫌疑人基本信息数据进行分词处理，并将分词结果中的每一个词映射为对应的词向量，即得到犯罪事实描述的特征向量。
6.根据权利要求5所述的一种基于多任务人工神经网络刑期预测方法，其特征在于，所述分词处理，包括分词、截断或填充，分词后，词语数目多于300词的，截断为300词，不足300词的，采用特殊填充字符填充至300词。
7.根据权利要求5所述的一种基于多任务人工神经网络刑期预测方法，其特征在于，所述词向量映射中，词向量维度采用300维。
8.根据权利要求1-7任一所述的一种基于多任务人工神经网络刑期预测方法，其特征在于，所述步骤(2)中，将犯罪事实描述的特征向量输入罪名分类器中，计算其在469项罪名上的概率分布；
所述法律属性分类器有18个，分别表示金额是否巨大、是否涉毒、是否涉黄、是否以营利为目的、是否非法占有、是否团伙作案、是否涉枪、是否涉黑、是否国家工作人员、是否暴力、是否致人受伤、是否故意为之、是否生产过程犯罪、是否涉恐、是否胁迫他人、是否多次犯罪、是否存在欺骗行为、情节是否严重；每个法律属性分类器包括两层人工神经网络，每个都是二分类器，即最后的预测为是或否中的一个；
将与犯罪事实各个法律相关属性的特征向量输入各自的所述法律属性分类器中；
所述刑期回归预测器采用三层全连接神经网络；将所述最大池化层的输出与所述平均池化层的输出拼接成的一个一维向量，再加上嫌疑人基本信息，输入所述刑期回归预测器中，嫌疑人基本信息为一维，长度为3，包括年龄、性别，是否有前科；输出刑期的连续值预测，连续值以年为单位，采用小数表示月份。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2018112684594 | 2018-10-29 | ||
| CN201811268459 | 2018-10-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109376227A true CN109376227A (zh) | 2019-02-22 |
| CN109376227B CN109376227B (zh) | 2019-08-13 |
Family
ID=65374879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811441634.5A Active CN109376227B (zh) | 2018-10-29 | 2018-11-29 | 一种基于多任务人工神经网络的刑期预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109376227B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110119857A (zh) * | 2019-07-01 | 2019-08-13 | 南京擎盾信息科技有限公司 | 一种符合加减刑专家常识规则的刑期自动预测方法 |
| CN110188192A (zh) * | 2019-04-16 | 2019-08-30 | 西安电子科技大学 | 一种多任务网络构建与多尺度的罪名法条联合预测方法 |
| CN110377618A (zh) * | 2019-06-17 | 2019-10-25 | 平安科技（深圳）有限公司 | 裁决结果分析方法、装置、计算机设备和存储介质 |
| CN110442684A (zh) * | 2019-08-14 | 2019-11-12 | 山东大学 | 一种基于文本内容的类案推荐方法 |
| CN110532383A (zh) * | 2019-07-18 | 2019-12-03 | 中山大学 | 一种基于强化学习的专利文本分类方法 |
| CN110610005A (zh) * | 2019-09-16 | 2019-12-24 | 哈尔滨工业大学 | 基于深度学习的盗窃罪辅助量刑方法 |
| CN110889536A (zh) * | 2019-10-29 | 2020-03-17 | 新智认知数字科技股份有限公司 | 警情态势预测和预警方法及其系统 |
| CN111046185A (zh) * | 2019-12-16 | 2020-04-21 | 重庆邮电大学 | 一种文本信息的知识图谱关系抽取方法、装置及终端 |
| CN111126057A (zh) * | 2019-12-09 | 2020-05-08 | 航天科工网络信息发展有限公司 | 一种分级神经网络的案件情节精准量刑系统 |
| CN111259673A (zh) * | 2020-01-13 | 2020-06-09 | 山东财经大学 | 一种基于反馈序列多任务学习的法律判决预测方法及系统 |
| CN111460100A (zh) * | 2020-03-30 | 2020-07-28 | 中南大学 | 一种刑事法律文书罪名的推荐方法和系统 |
| CN111768024A (zh) * | 2020-05-20 | 2020-10-13 | 中国地质大学（武汉） | 一种基于注意力机制的刑期预测方法、设备及存储设备 |
| CN112052673A (zh) * | 2020-08-28 | 2020-12-08 | 丰图科技(深圳)有限公司 | 物流网点识别方法、装置、计算机设备和存储介质 |
| CN112232576A (zh) * | 2020-10-22 | 2021-01-15 | 北京明略昭辉科技有限公司 | 判决预测方法、装置、电子设备及可读存储介质 |
| WO2021022933A1 (zh) * | 2019-08-06 | 2021-02-11 | 平安科技（深圳）有限公司 | 多任务预测方法、装置、电子设备及存储介质 |
| CN112396201A (zh) * | 2019-07-30 | 2021-02-23 | 北京国双科技有限公司 | 一种罪名预测方法及系统 |
| CN112749826A (zh) * | 2019-10-31 | 2021-05-04 | 北京国双科技有限公司 | 刑期预测方法、装置、存储介质及设备 |
| CN114444517A (zh) * | 2022-04-11 | 2022-05-06 | 东南大学 | 一种量刑标准知识增强的数值感知的智能法律判决方法 |
| CN114860900A (zh) * | 2022-04-07 | 2022-08-05 | 海信集团控股股份有限公司 | 一种量刑预测方法及装置 |
| CN116823541A (zh) * | 2023-08-29 | 2023-09-29 | 山东大学 | 一种基于非线性模型的量刑计算方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107918921A (zh) * | 2017-11-21 | 2018-04-17 | 南京擎盾信息科技有限公司 | 刑事案件判决结果度量方法及系统 |
| CN108133436A (zh) * | 2017-11-23 | 2018-06-08 | 科大讯飞股份有限公司 | 自动判案方法及系统 |
| US20180211117A1 (en) * | 2016-12-20 | 2018-07-26 | Jayant Ratti | On-demand artificial intelligence and roadway stewardship system |
-
2018
- 2018-11-29 CN CN201811441634.5A patent/CN109376227B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180211117A1 (en) * | 2016-12-20 | 2018-07-26 | Jayant Ratti | On-demand artificial intelligence and roadway stewardship system |
| CN107918921A (zh) * | 2017-11-21 | 2018-04-17 | 南京擎盾信息科技有限公司 | 刑事案件判决结果度量方法及系统 |
| CN108133436A (zh) * | 2017-11-23 | 2018-06-08 | 科大讯飞股份有限公司 | 自动判案方法及系统 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188192A (zh) * | 2019-04-16 | 2019-08-30 | 西安电子科技大学 | 一种多任务网络构建与多尺度的罪名法条联合预测方法 |
| CN110188192B (zh) * | 2019-04-16 | 2023-01-31 | 西安电子科技大学 | 一种多任务网络构建与多尺度的罪名法条联合预测方法 |
| CN110377618A (zh) * | 2019-06-17 | 2019-10-25 | 平安科技（深圳）有限公司 | 裁决结果分析方法、装置、计算机设备和存储介质 |
| CN110377618B (zh) * | 2019-06-17 | 2024-01-05 | 平安科技（深圳）有限公司 | 裁决结果分析方法、装置、计算机设备和存储介质 |
| CN110119857A (zh) * | 2019-07-01 | 2019-08-13 | 南京擎盾信息科技有限公司 | 一种符合加减刑专家常识规则的刑期自动预测方法 |
| CN110532383A (zh) * | 2019-07-18 | 2019-12-03 | 中山大学 | 一种基于强化学习的专利文本分类方法 |
| CN112396201A (zh) * | 2019-07-30 | 2021-02-23 | 北京国双科技有限公司 | 一种罪名预测方法及系统 |
| WO2021022933A1 (zh) * | 2019-08-06 | 2021-02-11 | 平安科技（深圳）有限公司 | 多任务预测方法、装置、电子设备及存储介质 |
| CN110442684A (zh) * | 2019-08-14 | 2019-11-12 | 山东大学 | 一种基于文本内容的类案推荐方法 |
| CN110610005A (zh) * | 2019-09-16 | 2019-12-24 | 哈尔滨工业大学 | 基于深度学习的盗窃罪辅助量刑方法 |
| CN110889536A (zh) * | 2019-10-29 | 2020-03-17 | 新智认知数字科技股份有限公司 | 警情态势预测和预警方法及其系统 |
| CN112749826A (zh) * | 2019-10-31 | 2021-05-04 | 北京国双科技有限公司 | 刑期预测方法、装置、存储介质及设备 |
| CN111126057A (zh) * | 2019-12-09 | 2020-05-08 | 航天科工网络信息发展有限公司 | 一种分级神经网络的案件情节精准量刑系统 |
| CN111046185A (zh) * | 2019-12-16 | 2020-04-21 | 重庆邮电大学 | 一种文本信息的知识图谱关系抽取方法、装置及终端 |
| CN111046185B (zh) * | 2019-12-16 | 2023-02-24 | 重庆邮电大学 | 一种文本信息的知识图谱关系抽取方法、装置及终端 |
| CN111259673A (zh) * | 2020-01-13 | 2020-06-09 | 山东财经大学 | 一种基于反馈序列多任务学习的法律判决预测方法及系统 |
| CN111259673B (zh) * | 2020-01-13 | 2023-05-09 | 山东财经大学 | 一种基于反馈序列多任务学习的法律判决预测方法及系统 |
| CN111460100A (zh) * | 2020-03-30 | 2020-07-28 | 中南大学 | 一种刑事法律文书罪名的推荐方法和系统 |
| CN111768024A (zh) * | 2020-05-20 | 2020-10-13 | 中国地质大学（武汉） | 一种基于注意力机制的刑期预测方法、设备及存储设备 |
| CN111768024B (zh) * | 2020-05-20 | 2023-03-24 | 中国地质大学（武汉） | 一种基于注意力机制的刑期预测方法、设备及存储设备 |
| CN112052673A (zh) * | 2020-08-28 | 2020-12-08 | 丰图科技(深圳)有限公司 | 物流网点识别方法、装置、计算机设备和存储介质 |
| CN112232576A (zh) * | 2020-10-22 | 2021-01-15 | 北京明略昭辉科技有限公司 | 判决预测方法、装置、电子设备及可读存储介质 |
| CN114860900A (zh) * | 2022-04-07 | 2022-08-05 | 海信集团控股股份有限公司 | 一种量刑预测方法及装置 |
| CN114444517A (zh) * | 2022-04-11 | 2022-05-06 | 东南大学 | 一种量刑标准知识增强的数值感知的智能法律判决方法 |
| CN116823541A (zh) * | 2023-08-29 | 2023-09-29 | 山东大学 | 一种基于非线性模型的量刑计算方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109376227B (zh) | 2019-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109376227B (zh) | 一种基于多任务人工神经网络的刑期预测方法 | |
| CN111737495B (zh) | 基于领域自分类的中高端人才智能推荐系统及其方法 | |
| CN104318340B (zh) | 基于文本履历信息的信息可视化方法及智能可视分析系统 | |
| Jin et al. | Uncertain probabilistic linguistic term sets in group decision making | |
| CN109242140A (zh) | 一种基于LSTM_Attention网络的交通流预测方法 | |
| Zhene et al. | Deep convolutional mesh RNN for urban traffic passenger flows prediction | |
| CN105893483A (zh) | 大数据挖掘过程模型总体框架的构造方法 | |
| CN113688221B (zh) | 基于模型的话术推荐方法、装置、计算机设备和存储介质 | |
| CN103838857B (zh) | 一种基于语义的自动服务组合系统及方法 | |
| CN111241425B (zh) | 一种基于层次注意力机制的poi推荐方法 | |
| CN116186359B (zh) | 一种高校多源异构数据的集成管理方法、系统及存储介质 | |
| CN110675023A (zh) | 一种基于神经网络的诉讼请求合理性预测模型训练方法和预测方法及装置 | |
| CN114186582A (zh) | 一种基于自然语义处理的同行车辆发现方法 | |
| Xu et al. | Analysis of the environmental trend of network finance and its influence on traditional commercial banks | |
| CN107705227A (zh) | 一种用于提供法律金融服务的网络系统 | |
| CN110310012A (zh) | 数据分析方法、装置、设备及计算机可读存储介质 | |
| CN114491023A (zh) | 一种文本处理方法、装置、电子设备和存储介质 | |
| Lhasiw et al. | A bidirectional LSTM model for classifying Chatbot messages | |
| CN107798137B (zh) | 一种基于可加模型的多源异构数据融合架构系统 | |
| CN113610626A (zh) | 银行信贷风险识别知识图谱构建方法、装置、计算机设备及计算机可读存储介质 | |
| Lu et al. | Prediction of tourist flow based on multi‐source traffic data in scenic spot | |
| WO2023137918A1 (zh) | 文本数据的分析方法、模型训练方法、装置及计算机设备 | |
| Wang et al. | Reveal the hidden layer via entity embedding in traffic prediction | |
| Xia et al. | Analysis and prediction of telecom customer churn based on machine learning | |
| Shan et al. | Predicting duration of traffic accidents based on ensemble learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |