CN111815485A - 一种基于深度学习bert模型的量刑预测方法和装置 - Google Patents
一种基于深度学习bert模型的量刑预测方法和装置 Download PDFInfo
- Publication number
- CN111815485A CN111815485A CN202010535575.9A CN202010535575A CN111815485A CN 111815485 A CN111815485 A CN 111815485A CN 202010535575 A CN202010535575 A CN 202010535575A CN 111815485 A CN111815485 A CN 111815485A
- Authority
- CN
- China
- Prior art keywords
- criminal
- vector
- prediction
- model
- crime
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 76
- 238000013145 classification model Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 13
- 229940079593 drug Drugs 0.000 claims description 11
- 239000003814 drug Substances 0.000 claims description 11
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012886 linear function Methods 0.000 description 3
- 239000002574 poison Substances 0.000 description 3
- 231100000614 poison Toxicity 0.000 description 3
- GVGLGOZIDCSQPN-PVHGPHFFSA-N Heroin Chemical compound O([C@H]1[C@H](C=C[C@H]23)OC(C)=O)C4=C5[C@@]12CCN(C)[C@@H]3CC5=CC=C4OC(C)=O GVGLGOZIDCSQPN-PVHGPHFFSA-N 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 229960002069 diamorphine Drugs 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Databases & Information Systems (AREA)
- Technology Law (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于深度学习BERT模型的量刑预测方法和装置。该方法包括：从裁判文书中抽取出审判的省份、犯罪事实文本及数值；将抽取出的犯罪事实文本和数值转化为向量；其中犯罪事实文本利用BERT模型转化为向量；利用犯罪事实文本的向量，以真实的审判罪名为标签，训练罪名分类模型；利用犯罪事实文本的向量及数值的向量，以实际的刑期为标签，训练初步的刑期预测模型；根据省份和由罪名分类模型得到的罪名，对初步的刑期预测模型进行微调，得到不同省份和罪名的多个刑期预测模型；然后基于罪名分类模型和刑期预测模型进行刑期预测。本发明能够通过案件情节要素自动给出预测的刑期，并在此基础上给出实际判决的偏离度预测结果。
Description
技术领域
本发明涉及一种自动根据犯罪事实计算刑期的方法，具体涉及一种基于深度学习BERT模型的量刑预测及量刑偏离度评价方法和装置，属于人工智能领域。
背景技术
现有的司法实践中，刑事裁决及量刑主要是通过对案件中的情节要素进行梳理，根据法官经验，参考量刑标准及大量的相似判例，对案件进行定罪量刑。对于量刑的偏离度评价则需要参考更多的相似判例中的量刑情况，需要大量的人力进行评估，效率极低，且由于人带有一定的主观性，无法给出准确的偏离数值。
在司法大数据建设的背景下，目前的审判案例数目已经有了一定量的积累，且23类常见罪名的判例更加丰富，这23类常见罪名为：1交通肇事罪、2故意伤害罪、3强奸罪、4非法拘禁罪、5抢劫罪、6盗窃罪、7诈骗罪、8抢夺罪、9职务侵占罪、10敲诈勒索罪、11妨害公务罪、12聚众斗殴、13寻衅滋事罪、14掩饰隐瞒犯罪所得、犯罪所得收益罪、15走私、贩卖、运输、制造毒品罪、16危险驾驶罪、17非法吸收公众存款罪、18集资诈骗罪、19信用卡诈骗罪、20合同诈骗罪、21非法持有毒品罪、22容留他人吸毒罪、23引诱、容留、介绍卖淫罪。深度学习模型可以有效地利用历史案件数据进行模型训练，海量的数据可以保障模型在各种情况下的鲁棒性和适应性。目前已有通过卷积神经网络和循环神经网络提取文本特征，用于罪名、法条、刑期及罚金的预测。基于大量的判例事实，这些模型已经有了一定的准确性，但仍存在可以提升的空间。
发明内容
本发明的主要目的在于提供一种针对常见罪名犯罪的量刑预测方案，能够通过案件情节要素自动给出预测的刑期，并在此基础上给出实际判决的偏离度预测方案。
本发明采用的技术方案如下：
一种基于深度学习BERT模型的量刑预测模型构建方法，包括以下步骤：
从裁判文书中抽取出审判的省份、犯罪事实文本及数值；
将抽取出的犯罪事实文本和数值转化为向量；其中犯罪事实文本利用BERT模型转化为向量；
利用犯罪事实文本的向量，以真实的审判罪名为标签，训练罪名分类模型；
利用犯罪事实文本的向量及数值的向量，以实际的刑期为标签，训练初步的刑期预测模型；
根据省份和由罪名分类模型得到的罪名，对初步的刑期预测模型进行微调，得到不同省份和罪名的多个刑期预测模型。
进一步地，所述犯罪事实文本包括公诉机关认为和本院认为两部分文本内容，通过BERT模型将两部分文本内容分别转换为句向量；所述数值包括金钱数额、毒品质量及酒精浓度；所述数值采用以下方式之一转化为向量：
方式1：将各数值精确到小数点后两位，之后从最低位向最高位进行遍历，依次将各位上的值填入16维的向量中，不足补零；
方式2：根据量刑指导意见中的数值进行阶段划分，并将各数值替换为对应的阶段。
进一步地，所述初步的刑期预测模型的损失函数定义为：
其中，i为神经网络的输出向量，i＝0,1,2,…n，n＝302，i＝0表示无罪，i＝301表示无期、i＝302表示死刑；
p(yi)表示刑期为i个月的概率；q(i)＝f(|T-i|)，T为实际的刑期，q(i)为T-i的绝对值的函数，是在非负区间单调递增的任意函数。
一种基于深度学习BERT模型的量刑预测模型构建装置，其包括：
文书抽取单元，用于从裁判文书中抽取出审判的省份、犯罪事实文本及数值；
转化向量单元，用于将抽取出的犯罪事实文本和数值转化为向量；其中犯罪事实文本利用BERT模型转化为向量；
罪名分类模型训练单元，用于利用犯罪事实文本的向量，以真实的审判罪名为标签，训练罪名分类模型；
刑期预测模型训练单元，用于利用犯罪事实文本的向量及数值的向量，以实际的刑期为标签，训练初步的刑期预测模型；然后根据省份和由罪名分类模型得到的罪名，对初步的刑期预测模型进行微调，得到不同省份和罪名的多个刑期预测模型。
一种基于深度学习BERT模型的量刑预测方法，基于本发明方法得到的罪名分类模型和刑期预测模型进行刑期预测，包括以下步骤：
从待预测的犯罪事实中抽取出犯罪事实文本及数值，并转化为向量；
将犯罪事实文本的向量输入罪名分类模型，得到预测的罪名；
根据罪名和省份选择刑期预测模型，将犯罪事实文本及数值的向量输入选择的刑期预测模型，得到预测的刑期。
进一步地，还包括偏离度评价步骤，该步骤将预测的刑期与法官判决刑期进行对比以得到偏离度，所述偏离度的计算公式如下：
其中bias为偏离度，Tm为预测的刑期，Tl为法官判断的刑期，x是根据罪名及案情的不同法官所拥有的自由裁量权的月数。
一种基于深度学习BERT模型的量刑预测装置，基于本发明方法得到的罪名分类模型和刑期预测模型进行刑期预测，包括以下单元：
抽取单元，用于从待预测的犯罪事实中抽取出犯罪事实文本及数值；
转化向量单元，用于将抽取的犯罪事实文本及数值转化为向量；其中犯罪事实文本利用BERT模型转化为向量；
罪名预测单元，用于将犯罪事实文本的向量输入罪名分类模型，得到预测的罪名；
刑期预测单元，用于根据罪名和省份选择刑期预测模型，将犯罪事实文本及数值的向量输入选择的刑期预测模型，得到预测的刑期。
进一步地，还包括偏离度评价单元，用于将预测的刑期与法官判决刑期进行对比以得到偏离度，所述偏离度的计算公式如下：
其中bias为偏离度，Tm为预测的刑期，Tl为法官判断的刑期，x是根据罪名及案情的不同法官所拥有的自由裁量权的月数。
本发明的有益效果如下：
1)本发明能够通过案件情节要素自动给出预测的刑期(如23种常见罪名犯罪的预测的刑期)，并在此基础上给出实际判决的偏离度预测结果。
2)法官能够通过本发明对某一案件给出的预测刑期作为参考，进行常见案件的判决。
3)采用本发明能够替代人工进行大量文书的翻阅，从而减轻法官负担。
附图说明
图1是本发明方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明的一个实施例提供一种基于深度学习BERT模型的量刑预测方法，具体步骤如下：
步骤(1)：收集大量法律领域内文本，进行BERT模型的预训练。
收集大量法律领域内文本，训练得到适应法律文本的BERT(BidirectionalEncoder Representation from Transformers)语言模型。BERT模型是通过多层注意力机制堆叠而成的深度神经网络，对文本特征提取在多项任务上已经超越了其他的网络的性能。训练完成后，该模型可以将文本转化为向量。
步骤(2)：由于裁判文书格式规整，可以使用规则匹配和简单模型抽取的方式从裁判文书中提取出如下内容：
a)审判省份；
b)公诉机关认为和本院认为两部分文本内容；
c)涉及财产、赔偿等案件中的金额、涉及毒品案件中的质量及交通肇事危险驾驶案件中的酒精等数值、数额。之后将数值进行换算，金额换算为人民币元作为单位，毒品质量按毒品种类换算为海洛因并以克作为单位，血液中的酒精含量以毫克/100毫升作为单位。
步骤(3)：对步骤(2)中的金钱数额、毒品质量及酒精浓度进行转换，变成一个16维的向量，具体方法为将各数值精确到小数点后两位，之后从最低位向最高位进行遍历，依次将各位上的值填入向量中，不足补零。
步骤(4)：通过BERT模型将公诉机关认为和本院认为两部分内容分别转换为句向量，初始化一个神经网络，将句向量作为该神经网络的输入，以真实的审判罪名作为标签，训练出一个罪名预测的模型。以下称为罪名分类模型。其中神经网络可以是卷积神经网络、全连接神经网络等。
步骤(5)：初始化一个神经网络，通过BERT模型将公诉机关认为和本院认为两部分内容分别转换为句向量，同金钱数额、毒品质量及酒精浓度通过步骤(3)转换得到的三个向量一起作为输入，输入神经网络，将实际的刑期作为标签，损失函数使用Loss＝∑ip(yi)q(i)训练网络模型，q(i)使用系数为正的一次函数。其中神经网络可以是卷积神经网络、全连接神经网络等。
上述损失函数定义为：
其中[y0、y1、y2…yi…yn](其中n＝302)为神经网络的输出向量，上式中
表示刑期为i个月的概率，其中i＝0表示无罪，i＝301表示无期、i＝302表示死刑。T为实际的刑期，则q(i)＝f(|T-i|)，q(i)为T-i的绝对值的函数，这个函数可以是在非负区间单调递增的任何函数，在实际调参过程中为了网络效率采用了一次函数、二次函数和指数函数。该损失函数的目的主要是增加了整个网络在预测的刑期与实际刑期相差较大时反向传播的梯度，通过该损失函数向神经网络传递一般分类问题中并不存在的类与类之间的间距信息。
步骤(6)：将文书根据省份和罪名分开，对步骤(5)得到的模型进行进一步的微调，得到不同省份和罪名的刑期预测模型。
步骤(7)：在进行量刑预测和评价偏离度时，将待预测的犯罪事实部分输入步骤(4)中的罪名分类模型，得到预测罪名，之后根据罪名和省份选择步骤(6)中微调后的刑期预测模型，将犯罪事实和通过步骤(3)中的方法得到的3个向量一起输入微调后的刑期预测模型，得到预测的刑期。之后和法官判定的刑期对比，得到偏离度。偏离度计算公式如下：
其中bias为偏离度，Tm为模型判断的刑期，Tl为法官判断的刑期，x是根据罪名及案情的不同法官所拥有的自由裁量权的月数。因为不同的法官判案习惯风格都不相同，对实际数据进行查看后相似案情上刑期差别在1-6个月的数据量不少，模型和法律专业人员都无法区分其中的差别，因此过于严格的评价没有意义，在实际使用中，一般取x为3个月。
本发明的另一个实施例具体步骤为：
步骤(1)：收集大量法律领域内文本，进行BERT模型的预训练。
步骤(2)：由于裁判文书格式规整，可以使用规则匹配和简单模型抽取的方式从裁判文书中提取出如下内容：
a)审判省份；
b)公诉机关认为和本院认为两部分文本内容；
c)涉及财产、赔偿等案件中的金额、涉及毒品案件中的质量及交通肇事危险驾驶案件中的酒精等数值、数额。之后将数值进行换算，金额换算为人民币元作为单位，毒品质量按毒品种类换算为海洛因并以克作为单位，血液中的酒精含量以毫克/100毫升作为单位。
步骤(3)：将金钱数额、毒品质量及酒精浓度根据量刑指导意见中的数值进行阶段划分并替换为对应的阶段，例如酒精浓度可以划分为0-20mg/100ml，20-80mg/100ml，80-200mg/100ml，200mg/100ml以上这4个阶段，并替换原文中的数值。
步骤(4)：通过BERT模型将公诉机关认为和本院认为两部分内容分别转换为句向量，初始化一个神经网络，将句向量作为该神经网络的输入，以真实的审判罪名作为标签，训练出一个罪名预测的模型。以下称为罪名分类模型。其中神经网络可以是卷积神经网络、全连接神经网络等。
步骤(5)：初始化一个神经网络，通过BERT模型将公诉机关认为和本院认为两部分内容分别转换为句向量，输入神经网络，将实际的刑期作为标签，损失函数使用Loss＝∑ip(yi)q(i)训练网络模型，q(i)使用系数为正的一次函数。其中神经网络可以是卷积神经网络、全连接神经网络等。
步骤(6)：将文书根据省份和罪名分开，对步骤(5)得到的模型进行进一步的微调，得到不同省份和罪名的刑期预测模型。
步骤(7)：在进行量刑预测和评价偏离度时，将待预测的犯罪事实部分输入步骤(4)中的罪名分类模型，得到预测罪名。之后和法官判定的刑期对比，得到偏离度。偏离度计算方法同前。
本发明的另一个实施例提供一种基于深度学习BERT模型的量刑预测模型构建装置，其包括：
文书抽取单元，用于从裁判文书中抽取出审判的省份、犯罪事实文本及数值(金额、重量及浓度等)；
转化向量单元，用于将抽取出的犯罪事实文本和数值转化为向量；其中犯罪事实文本利用BERT模型转化为向量；
罪名分类模型训练单元，用于利用犯罪事实文本的向量，以真实的审判罪名为标签，训练罪名分类模型；
刑期预测模型训练单元，用于利用犯罪事实文本的向量及数值的向量，以实际的刑期为标签，训练初步的刑期预测模型；然后根据省份和由罪名分类模型得到的罪名，对初步的刑期预测模型进行微调，得到不同省份和罪名的多个刑期预测模型。
本发明的另一个实施例提供一种基于深度学习BERT模型的量刑预测装置，其基于本发明方法得到的罪名分类模型和刑期预测模型进行刑期预测，包括以下单元：
抽取单元，用于从待预测的犯罪事实中抽取出犯罪事实文本及数值；
转化向量单元，用于将抽取的犯罪事实文本及数值转化为向量；其中犯罪事实文本利用BERT模型转化为向量；
罪名预测单元，用于将犯罪事实文本的向量输入罪名分类模型，得到预测的罪名；
刑期预测单元，用于根据罪名和省份选择刑期预测模型，将犯罪事实文本及数值的向量输入选择的刑期预测模型，得到预测的刑期。
该基于深度学习BERT模型的量刑预测装置还包括偏离度评价单元，用于将预测的刑期与法官判决刑期进行对比以得到偏离度，对法官判决进行评价。
本发明的另一个实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。
本发明的另一个实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于深度学习BERT模型的量刑预测模型构建方法，其特征在于，包括以下步骤：
从裁判文书中抽取出审判的省份、犯罪事实文本及数值；
将抽取出的犯罪事实文本和数值转化为向量；其中犯罪事实文本利用BERT模型转化为向量；
利用犯罪事实文本的向量，以真实的审判罪名为标签，训练罪名分类模型；
利用犯罪事实文本的向量及数值的向量，以实际的刑期为标签，训练初步的刑期预测模型；
根据省份和由罪名分类模型得到的罪名，对初步的刑期预测模型进行微调，得到不同省份和罪名的多个刑期预测模型。
2.根据权利要求1所述的方法，其特征在于，所述犯罪事实文本包括公诉机关认为和本院认为两部分文本内容，通过BERT模型将两部分文本内容分别转换为句向量；所述数值包括金钱数额、毒品质量及酒精浓度；所述数值采用以下方式之一转化为向量：
方式1：将各数值精确到小数点后两位，之后从最低位向最高位进行遍历，依次将各位上的值填入16维的向量中，不足补零；
方式2：根据量刑指导意见中的数值进行阶段划分，并将各数值替换为对应的阶段。
3.根据权利要求1所述的方法，其特征在于，所述初步的刑期预测模型的损失函数定义为：
其中，i为神经网络的输出向量，i＝0,1,2,…n，n＝302，i＝0表示无罪，i＝301表示无期、i＝302表示死刑；
p(yi)表示刑期为i个月的概率；q(i)＝f(|T-i|)，T为实际的刑期，q(i)为T-i的绝对值的函数，是在非负区间单调递增的任意函数。
4.一种基于深度学习BERT模型的量刑预测模型构建装置，其特征在于，包括：
文书抽取单元，用于从裁判文书中抽取出审判的省份、犯罪事实文本及数值；
转化向量单元，用于将抽取出的犯罪事实文本和数值转化为向量；其中犯罪事实文本利用BERT模型转化为向量；
罪名分类模型训练单元，用于利用犯罪事实文本的向量，以真实的审判罪名为标签，训练罪名分类模型；
刑期预测模型训练单元，用于利用犯罪事实文本的向量及数值的向量，以实际的刑期为标签，训练初步的刑期预测模型；然后根据省份和由罪名分类模型得到的罪名，对初步的刑期预测模型进行微调，得到不同省份和罪名的多个刑期预测模型。
5.一种基于深度学习BERT模型的量刑预测方法，其特征在于，基于权利要求1～3中任一权利要求所述方法得到的罪名分类模型和刑期预测模型进行刑期预测，包括以下步骤：
从待预测的犯罪事实中抽取出犯罪事实文本及数值，并转化为向量；
将犯罪事实文本的向量输入罪名分类模型，得到预测的罪名；
根据罪名和省份选择刑期预测模型，将犯罪事实文本及数值的向量输入选择的刑期预测模型，得到预测的刑期。
6.根据权利要求5所述的方法，其特征在于，其特征在于，还包括偏离度评价步骤，该步骤将预测的刑期与法官判决刑期进行对比以得到偏离度，所述偏离度的计算公式如下：
其中bias为偏离度，Tm为预测的刑期，Tl为法官判断的刑期，x是根据罪名及案情的不同法官所拥有的自由裁量权的月数。
7.一种基于深度学习BERT模型的量刑预测装置，其特征在于，基于权利要求1～3中任一权利要求所述方法得到的罪名分类模型和刑期预测模型进行刑期预测，包括以下单元：
抽取单元，用于从待预测的犯罪事实中抽取出犯罪事实文本及数值；
转化向量单元，用于将抽取的犯罪事实文本及数值转化为向量；其中犯罪事实文本利用BERT模型转化为向量；
罪名预测单元，用于将犯罪事实文本的向量输入罪名分类模型，得到预测的罪名；
刑期预测单元，用于根据罪名和省份选择刑期预测模型，将犯罪事实文本及数值的向量输入选择的刑期预测模型，得到预测的刑期。
8.根据权利要求7所述的装置，其特征在于，还包括偏离度评价单元，用于将预测的刑期与法官判决刑期进行对比以得到偏离度，所述偏离度的计算公式如下：
其中bias为偏离度，Tm为预测的刑期，Tl为法官判断的刑期，x是根据罪名及案情的不同法官所拥有的自由裁量权的月数。
9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～3、5～6中任一权利要求所述方法的指令，或者包括。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～3、5～6中任一权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010535575.9A CN111815485A (zh) | 2020-06-12 | 2020-06-12 | 一种基于深度学习bert模型的量刑预测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010535575.9A CN111815485A (zh) | 2020-06-12 | 2020-06-12 | 一种基于深度学习bert模型的量刑预测方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111815485A true CN111815485A (zh) | 2020-10-23 |
Family
ID=72844948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010535575.9A Pending CN111815485A (zh) | 2020-06-12 | 2020-06-12 | 一种基于深度学习bert模型的量刑预测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815485A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642756A (zh) * | 2021-05-27 | 2021-11-12 | 复旦大学 | 基于深度学习技术的减刑刑期预测方法 |
| CN114444517A (zh) * | 2022-04-11 | 2022-05-06 | 东南大学 | 一种量刑标准知识增强的数值感知的智能法律判决方法 |
| CN116089808A (zh) * | 2023-02-06 | 2023-05-09 | 迪爱斯信息技术股份有限公司 | 一种特征选择方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180082202A1 (en) * | 2016-09-20 | 2018-03-22 | Public Engines, Inc. | Device and method for generating a crime type combination based on historical incident data |
| CN108563703A (zh) * | 2018-03-26 | 2018-09-21 | 北京北大英华科技有限公司 | 一种罪名的判定方法、装置及计算机设备、存储介质 |
| CN109558993A (zh) * | 2018-12-18 | 2019-04-02 | 华南师范大学 | 犯罪理论刑期的预测方法、装置、存储介质及服务器 |
| CN110969276A (zh) * | 2018-09-30 | 2020-04-07 | 北京国双科技有限公司 | 判决预测方法、判决预测模型获得方法及装置 |
| CN110968689A (zh) * | 2018-09-30 | 2020-04-07 | 北京国双科技有限公司 | 罪名及法条预测模型的训练方法以及罪名及法条预测方法 |
| CN110991694A (zh) * | 2019-10-30 | 2020-04-10 | 南京大学 | 一种基于深度学习的量刑预测方法 |
| CN111178817A (zh) * | 2018-11-13 | 2020-05-19 | 北大方正集团有限公司 | 基于深度学习的裁判结果获取方法和装置 |
-
2020
- 2020-06-12 CN CN202010535575.9A patent/CN111815485A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180082202A1 (en) * | 2016-09-20 | 2018-03-22 | Public Engines, Inc. | Device and method for generating a crime type combination based on historical incident data |
| CN108563703A (zh) * | 2018-03-26 | 2018-09-21 | 北京北大英华科技有限公司 | 一种罪名的判定方法、装置及计算机设备、存储介质 |
| CN110969276A (zh) * | 2018-09-30 | 2020-04-07 | 北京国双科技有限公司 | 判决预测方法、判决预测模型获得方法及装置 |
| CN110968689A (zh) * | 2018-09-30 | 2020-04-07 | 北京国双科技有限公司 | 罪名及法条预测模型的训练方法以及罪名及法条预测方法 |
| CN111178817A (zh) * | 2018-11-13 | 2020-05-19 | 北大方正集团有限公司 | 基于深度学习的裁判结果获取方法和装置 |
| CN109558993A (zh) * | 2018-12-18 | 2019-04-02 | 华南师范大学 | 犯罪理论刑期的预测方法、装置、存储介质及服务器 |
| CN110991694A (zh) * | 2019-10-30 | 2020-04-10 | 南京大学 | 一种基于深度学习的量刑预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 桑塔努•帕塔纳雅克: "《TensorFlow深度学习：数学原理与Python实战进阶》", 30 April 2020 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642756A (zh) * | 2021-05-27 | 2021-11-12 | 复旦大学 | 基于深度学习技术的减刑刑期预测方法 |
| CN113642756B (zh) * | 2021-05-27 | 2023-11-24 | 复旦大学 | 基于深度学习技术的减刑刑期预测方法 |
| CN114444517A (zh) * | 2022-04-11 | 2022-05-06 | 东南大学 | 一种量刑标准知识增强的数值感知的智能法律判决方法 |
| CN116089808A (zh) * | 2023-02-06 | 2023-05-09 | 迪爱斯信息技术股份有限公司 | 一种特征选择方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428053B (zh) | 一种面向税务领域知识图谱的构建方法 | |
| CN111815485A (zh) | 一种基于深度学习bert模型的量刑预测方法和装置 | |
| CN110163242B (zh) | 风险识别方法、装置及服务器 | |
| CN110188346A (zh) | 一种基于信息抽取的网络安全法案件智能研判方法 | |
| WO2022156328A1 (zh) | 一种融合服务协作关系的Restful类型Web服务聚类方法 | |
| CN110674970A (zh) | 企业法务风险预警方法、装置、设备及可读存储介质 | |
| CN111026880B (zh) | 基于联合学习的司法知识图谱构建方法 | |
| CN112989761B (zh) | 文本分类方法及装置 | |
| CN110532398A (zh) | 基于多任务联合神经网络模型的家族图谱自动构建方法 | |
| CN109871452A (zh) | 确定犯罪特征的方法、装置以及存储介质 | |
| CN112016313A (zh) | 口语化要素识别方法及装置、警情分析系统 | |
| CN112116168B (zh) | 一种用户行为的预测方法、装置及电子设备 | |
| CN111666373A (zh) | 一种基于Transformer的中文新闻分类方法 | |
| CN113449111A (zh) | 基于时空语义知识迁移的社会治理热点话题自动识别方法 | |
| CN115221387A (zh) | 一种基于深度神经网络的企业信息整合方法 | |
| CN110503537A (zh) | 一种财务记账数据智能匹配方法及系统 | |
| CN116703682B (zh) | 一种基于深度学习的政务数据平台 | |
| CN116502173A (zh) | 一种状态识别方法、装置、存储介质及设备 | |
| CN113590846B (zh) | 法律知识图谱构建方法及相关设备 | |
| CN113222471B (zh) | 一种基于新媒体数据的资产风控方法及设备 | |
| Xia et al. | Analysis and prediction of telecom customer churn based on machine learning | |
| CN115204140A (zh) | 一种基于注意力机制与知识图谱的法律条文预测方法 | |
| CN113742495A (zh) | 基于预测模型的评级特征权重确定方法及装置、电子设备 | |
| CN113643141A (zh) | 解释性结论报告生成方法、装置、设备及存储介质 | |
| CN111950717A (zh) | 一种基于神经网络的舆情量化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201023 |