CN112329891B - 双向注意力和判案逻辑结合的辅助判案方法、装置、介质 - Google Patents

双向注意力和判案逻辑结合的辅助判案方法、装置、介质 Download PDF

Info

Publication number
CN112329891B
CN112329891B CN202011367208.9A CN202011367208A CN112329891B CN 112329891 B CN112329891 B CN 112329891B CN 202011367208 A CN202011367208 A CN 202011367208A CN 112329891 B CN112329891 B CN 112329891B
Authority
CN
China
Prior art keywords
case
text
logic
original
appeal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011367208.9A
Other languages
English (en)
Other versions
CN112329891A (zh
Inventor
吴飞
况琨
甘磊磊
杨易
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202011367208.9A priority Critical patent/CN112329891B/zh
Publication of CN112329891A publication Critical patent/CN112329891A/zh
Application granted granted Critical
Publication of CN112329891B publication Critical patent/CN112329891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services; Handling legal documents

Abstract

本申请提供一种双向注意力和判案逻辑结合的辅助判案方法、装置、介质。本发明将判案逻辑和类案知识应用于基于深度学习的法律判决自动预测任务，相比一般的法律判决自动预测算法，本发明对查明事实和原告诉请、原告诉请之间的判案逻辑知识进行了建模，能有效提升算法的可解释性。本发明首次运用判案逻辑知识对法律判决进行自动预测，与其它在该认为上尝试过的模型相比较，本发明在算法和运用上都有自己的独创性和独特性。本发明可以将司法领域专家知识显性地与深度神经网络相结合，提升智能司法判案准确率，并提供判案可解释性。

Description

双向注意力和判案逻辑结合的辅助判案方法、装置、介质
技术领域
本发明涉及智能司法领域，尤其涉及一种双向注意力机制和判案逻辑知识结合的可解释性判决方法。
背景技术
随着我国法律体系的不断完善、人民群众法律意识的不断提升，各级司法机关每年接收的案件数量也在持续增长。与此同时，人工智能技术能够帮助实现司法流程自动化，减少法官重复劳动，方便司法当事人维护自身权益。智能司法已经逐渐成为人工智能技术落地的关键领域。
法律判决的自动预测是智能司法领域一项非常重要的工作，该任务要求能根据法律文本的输入自动预测出对应的判决。之前的工作往往将其形式化为自然语言处理中的文本分类任务，并采用基于传统机器学习的方法或者基于深度神经网络的方法来解决。基于传统机器学习的方法一般使用有监督方法(如支持向量机)，然而此类方法依赖手动构建文本特征(如TF-IDF)。基于深度神经网络的方法(如卷积神经网络，循环神经网络等)无需手动构建文本特征，能直接进行端到端的训练，自动学习出法律文本到判决标签的映射。然而深度神经网络固有的黑盒特性、缺少可解释性的缺点是法律判决的自动预测任务中亟待解决的问题。因此，如何基于深度神经网络设计一种可解释的法律判案方法，对于智能司法的长远发展至关重要。
发明内容
本发明的目的是克服现有技术的不足，提供一种双向注意力机制和判案逻辑知识结合的可解释性判决方法。本发明具体采用的技术方案如下：
第一方面，本发明提供了一种双向注意力和判案逻辑结合的辅助判案方法，其包括如下步骤：
S1：获取法院查明事实文本、原告诉请及对应的标签，得到司法判案训练集；
S2：使用词嵌入层对基于单词的查明事实文本、原告诉请文本进行嵌入，得到词向量表示；
S3：使用长短时记忆网络对法院查明事实文本、原告诉请文本进行建模，得到文本特征表示；
S4：基于各文本特征表示，使用双向注意力机制分别构建查明事实感知的原告诉请表示，以及原告诉请感知的查明事实表示；
S5：基于上述双向注意力机制输出的深度神经网络表示，构建交叉特征，并输入到一个激活函数为softmax的全连接层；
S6：定义软逻辑编码原则，用于将离散的一阶谓词逻辑司法专家知识转化为可微的端到端训练的神经网络组成部分；
S7：使用上述全连接神经网络层的输出，对查明事实和诉请之间的判案逻辑、以及诉请与诉请之间的判案逻辑知识进行编码表示，并将编码表示输出与神经网络输出进行相加；
S8：将S7中相加后得到的结合了神经网络和判案逻辑知识的总输出，输入到另外一个激活函数为softmax的全连接层，基于该全连接层输出y’和真实标签，使用交叉熵作为损失函数，并使用反向传播算法学习模型参数，将学习得到的深度神经网络用于进行司法辅助判案。
在上述方案基础上，各步骤可以采用如下优选的具体方式实现。
作为优选，所述的步骤S1具体包含以下步骤：
S101：获取法院查明事实文本集合表示为I＝{I1,I2,…,IT}，其中T为文本集合中样本数目，Ii＝{wi1,wi2,…,wiN}表示第i个查明事实文本，wij为第i个查明事实文本中的第j个单词，i∈{0,…,T}，j∈{0,…,N}，N为第i个查明事实文本中的单词个数；
S102：获取原告诉请文本集合表示为Ci＝{ci1,ci2,…,ciK}，其中Ci为第i个样本的原告诉请，cik＝{wik1,wik2,…,wikM}表示第i个样本的第k个诉请文本，wikm为第i个样本的第k个诉请文本中的第m个单词，k∈{0,…,K}，m∈{0,…,M}，K为第i个样本中的诉请文本个数，M为第i个样本的第k个诉请文本中的单词个数；
S103：获取待分类的原告诉请文本对应的可训练标签Yi＝{yi1,yi2,…,yiK}，Yi为第i个样本的第j个原告诉请的可训练标签，yik表示第i个样本的第k个原告诉请对应的可训练标签；
S104：将每个用于训练的样本表示为三元组(Ii,Ci,Yi),i∈{1,…,T}，以所有三元组样本组成司法判案训练集。
进一步的，所述的步骤S2具体包含以下步骤：
S201：使用词嵌入网络层将每个样本的查明事实文本Ii和原告诉请文本Ci映射到词向量空间，即将词嵌入网络层输出的w维向量Wi作为文本的特征。
进一步的，所述的步骤S3具体包含以下步骤：
S301：使用长短时记忆网络将每个查明事实文本和诉请文本的词向量特征Wi映射到上下文特征空间，即将双向长短时记忆网络的隐层输出的h维向量Hf和Hc作为文本的上下文特征。
进一步的，所述的步骤S4具体包含以下步骤：
S401：计算S3中获得的查明事实和原告诉请之间的上下文特征相似度矩阵S：
Figure GDA0003588680360000031
S402：计算原告诉请感知的查明事实文本表示
Figure GDA0003588680360000032
Figure GDA0003588680360000033
αi＝softmax(S，dim＝1)
其中：
Figure GDA0003588680360000034
表示
Figure GDA0003588680360000035
中的第i列向量，dim表示维度，αi表示
Figure GDA0003588680360000036
的权重，
Figure GDA0003588680360000037
表示Hc中的第i列向量；
S403：计算查明事实感知的原告诉请文本表示
Figure GDA0003588680360000038
Figure GDA0003588680360000039
βi＝softmax(S，dim＝2)
其中：
Figure GDA00035886803600000310
为
Figure GDA00035886803600000311
中的第i列向量，βi表示
Figure GDA00035886803600000312
的权重，
Figure GDA00035886803600000313
表示Hf中的第i列向量，h为双向长短期记忆网络的隐状态维度大小。
进一步的，所述的步骤S5具体包含以下步骤：
S501：基于S4中双向注意力机制的输出
Figure GDA00035886803600000314
和
Figure GDA00035886803600000315
构建交叉特征G如下：
Figure GDA0003588680360000041
其中：符号“
Figure GDA0003588680360000042
”表示Hc和
Figure GDA0003588680360000043
的逐元素相乘运算；
S502：将所述交叉特征G输入一个使用softmax作为激活函数的第一全连接层中：
y＝softmax(WG)
其中W是模型训练参数，y表示第一全连接层的输出结果。
进一步的，所述的步骤S6具体包含以下步骤：
S601：定义关键证据事实，用于构成一阶谓词逻辑变量集合，，其中：
XTIR:表示当前原告诉请是否为利息请求；
XRIO:表示当前约定利率是否合法；
XRIA:表示当前借贷双方是否约定利率；
XDIL:表示当前原告请求逾期还贷日期是否合法；
XTIC:表示当前原告诉请是否为诉讼费请求；
S602：定义一阶逻辑规则用于表示法律知识，其中：
K1:
Figure GDA0003588680360000044
规则K1表示当约定利率违反法律规定时，不应支持原告诉请；
K2:
Figure GDA0003588680360000045
规则K2表示当逾期利息还款日期违法法律规定时，不应支持原告诉请；
K3:∧j≠iYj∧XTIC→Yi：规则K3表示当原告其余诉请皆判支持时，原告对于诉讼费的诉请也应该被支持；
式中：“
Figure GDA0003588680360000046
”表示否定，“∧”表示合取，“∨”表示析取，“→”表示蕴涵；
S603：定义软逻辑编码原则，用于将离散的一阶谓词逻辑司法专家知识转化为可微的、端到端训练的神经网络组成部分：
Γ(P)＝y(P)
Figure GDA0003588680360000047
Γ(P1∧…∧Pn)＝max(0，∑Γ(Pi)-N+1)
Γ(P1∨…∨Pn)＝min(1，∑Γ(Pi))
其中：max(,)表示取最大值操作，min(,)表示取最小值操作，P表示基本命题，Pi表示第i个基本命题。
进一步的，所述的步骤S8具体包含以下步骤：
S801：定义另一个使用softmax作为激活函数的第二全连接层，将S7中的编码表示结果Γ(X)和双向注意力神经网络输出y的相加结果，输入第二全连接层中：
y′＝softmax(y+Γ(X))
其中：y′为第二全连接层的输出结果；
S802：输入训练集中的训练样本，根据损失函数
Figure GDA0003588680360000052
对深度神经网络进行反向回馈以得到深度神经网络的各层的参数θ；所述损失函数
Figure GDA0003588680360000053
为交叉熵损失：
Figure GDA0003588680360000051
其中：y′ik为第i个样本的第k个原告诉请在第二全连接层中的输出结果y′；
S803：根据学习得到的深度神经网络，进行司法辅助判案以输出审判结果。
第二方面，本发明提供了一种双向注意力和判案逻辑结合的辅助判案装置，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如第一方面任一项方案所述的双向注意力和判案逻辑结合的辅助判案方法。
第三方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一方面任一项方案所述的双向注意力和判案逻辑结合的辅助判案方法。
本发明将判案逻辑和类案知识应用于基于深度学习的法律判决自动预测任务。相比一般的法律判决自动预测算法，本发明对查明事实和原告诉请、原告诉请之间的判案逻辑知识进行了建模，能有效提升算法的可解释性。本发明首次运用判案逻辑知识对法律判决进行自动预测，与其它在该认为上尝试过的模型相比较，本发明在算法和运用上都有自己的独创性和独特性，本发明的模型算法性能也已达到世界领先水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的一种双向注意力机制和判案逻辑知识结合的可解释性判决方法的流程示意图。
图2是本发明实施例提供的一种双向注意力机制和判案逻辑知识结合的可解释性判决方法的训练逻辑图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中存在的问题，本发明实施例提供了一种基于双向注意力机制和判案逻辑知识结合的可解释性司法辅助判决方法，如图1所示，其具体包括如下步骤：
S1：获取法院查明事实文本、原告诉请及对应的标签，得到司法判案训练集；
S2：使用词嵌入层对基于单词的查明事实文本、原告诉请文本进行嵌入，得到词向量表示；
S3：使用LSTM(长短时记忆网络)对法院查明事实文本、原告诉请文本进行建模，得到文本特征表示；
S4：基于各文本特征表示，使用双向注意力机制分别构建查明事实感知的原告诉请表示，以及原告诉请感知的查明事实表示；
S5：基于上述双向注意力机制输出的深度神经网络表示，构建交叉特征，并输入到一个激活函数为softmax的全连接层；
S6：定义软逻辑编码原则，用于将离散的一阶谓词逻辑司法专家知识转化为可微的端到端训练的神经网络组成部分；
S7：使用上述全连接神经网络层的输出，对查明事实和诉请之间的判案逻辑、以及诉请与诉请之间的判案逻辑知识进行编码表示，并将编码表示输出与神经网络输出进行相加；
S8：将S7中相加后得到的结合了神经网络和判案逻辑知识的总输出，输入到另外一个激活函数为softmax的全连接层，基于该全连接层输出y’和真实标签，使用交叉熵作为损失函数，并使用反向传播算法学习模型参数，将学习得到的深度神经网络用于进行司法辅助判案。
本发明的上述S1～S8的实现方法，可以将司法领域专家知识显性地与深度神经网络相结合，提升智能司法判案准确率，并提供判案可解释性。在本实施例中，上述各步骤可以通过以下具体方式实现。
本实施例中，步骤S1的具体子步骤包括：
S101：获取法院查明事实文本集合表示为I＝{I1,I2,…,IT}，其中T为文本集合中样本数目，Ii＝{wi1,wi2,…,wiN}表示第i个查明事实文本，wij为第i个查明事实文本中的第j个单词，i∈{0,…,T}，j∈{0,…,N}，N为第i个查明事实文本中的单词个数；
S102：获取原告诉请文本集合表示为Ci＝{ci1,ci2,…,ciK}，其中Ci为第i个样本的原告诉请，cik＝{wik1,wik2,…,wikM}表示第i个样本的第k个诉请文本，wikm为第i个样本的第k个诉请文本中的第m个单词，k∈{0,…,K}，m∈{0,…,M}，K为第i个样本中的诉请文本个数，M为第i个样本的第k个诉请文本中的单词个数；
S103：获取待分类的原告诉请文本对应的可训练标签Yi＝{yi1,yi2,…,yiK}，Yi为第i个样本的第j个原告诉请的可训练标签，yik表示第i个样本的第k个原告诉请对应的可训练标签；
S104：将每个用于训练的样本表示为三元组(Ii,Ci,Yi),i∈{1,…,T}，以所有三元组样本组成司法判案训练集。
本实施例中，步骤S2的具体子步骤包括：
S201：使用词嵌入网络层将每个样本的查明事实文本Ii和原告诉请文本Ci映射到词向量空间，即将词嵌入网络层输出的w维向量Wi作为文本的特征。
本实施例中，步骤S3的具体子步骤包括：
S301：使用长短时记忆网络将每个查明事实文本和诉请文本的词向量特征Wi映射到上下文特征空间，即将双向长短时记忆网络的隐层输出的h维向量Hf和Hc作为文本的上下文特征。
本实施例中，步骤S4的具体子步骤包括：
S401：计算S3中获得的查明事实和原告诉请之间的上下文特征相似度矩阵S：
Figure GDA0003588680360000081
S402：计算原告诉请感知的查明事实文本表示
Figure GDA0003588680360000082
Figure GDA0003588680360000083
αi＝softmax(S，dim＝1)
其中：
Figure GDA0003588680360000084
表示
Figure GDA0003588680360000085
中的第i列向量，dim表示维度，αi表示
Figure GDA0003588680360000086
的权重，
Figure GDA0003588680360000087
表示Hc中的第i列向量；
S403：计算查明事实感知的原告诉请文本表示
Figure GDA0003588680360000088
Figure GDA0003588680360000089
βi＝softmax(S，dim＝2)
其中：
Figure GDA00035886803600000810
为
Figure GDA00035886803600000811
中的第i列向量，βi表示
Figure GDA00035886803600000812
的权重，
Figure GDA00035886803600000813
表示Hf中的第i列向量，h为双向长短期记忆网络的隐状态维度大小。
本实施例中，步骤S5的具体子步骤包括：
S501：基于S4中双向注意力机制的输出
Figure GDA00035886803600000814
和
Figure GDA00035886803600000815
构建交叉特征G如下：
Figure GDA00035886803600000816
其中：符号“
Figure GDA00035886803600000817
”表示Hc和
Figure GDA00035886803600000818
的逐元素相乘运算；
S502：将所述交叉特征G输入一个使用softmax作为激活函数的第一全连接层中：
y＝softmax(WG)
其中W是模型训练参数，y表示第一全连接层的输出结果。
本实施例中，步骤S6的具体子步骤包括：
S601：定义关键证据事实，用于构成一阶谓词逻辑变量集合，，其中：
XTIR:表示当前原告诉请是否为利息请求；
XRIO:表示当前约定利率是否合法；
XRIA:表示当前借贷双方是否约定利率；
XDIL:表示当前原告请求逾期还贷日期是否合法；
XTIC:表示当前原告诉请是否为诉讼费请求；
S602：定义一阶逻辑规则用于表示法律知识，其中：
K1:
Figure GDA0003588680360000091
规则K1表示当约定利率违反法律规定时，不应支持原告诉请；
K2:
Figure GDA0003588680360000092
规则K2表示当逾期利息还款日期违法法律规定时，不应支持原告诉请；
K3:∧j≠iYj∧XTIC→Yi：规则K3表示当原告其余诉请皆判支持时，原告对于诉讼费的诉请也应该被支持；
式中：“
Figure GDA0003588680360000093
”表示否定，“∧”表示合取，“∨”表示析取，“→”表示蕴涵；
S603：定义软逻辑编码原则，用于将离散的一阶谓词逻辑司法专家知识转化为可微的、端到端训练的神经网络组成部分：
Γ(P)＝y(P)
Figure GDA0003588680360000094
Γ(P1∧…∧Pb)＝max(0，∑Γ(Pi)-N+1)
Γ(P1∨…∨Pn)＝min(1，∑Γ(Pi))
其中：max(,)表示取最大值操作，min(,)表示取最小值操作，P表示基本命题，Pi表示第i个基本命题。
本实施例中，步骤S7的具体子步骤包括：
在前述的第一全连接层中获得了输出y，因此可以对查明事实和诉请之间的判案逻辑、以及诉请与诉请之间的判案逻辑知识进行编码表示，获得一个编码表示输出结果，此处记为Γ(X)，此处的X通式性表示根据实际情况调整的输入数据。该输出结果代表了司法领域专家知识，因此可以将其显性地与深度神经网络的输出相结合，作为后续网络层的输入进行判案结果的输出，两者的结合可以表示为(y+Γ(X))。
本实施例中，步骤S8的具体子步骤包括：
S801：定义另一个使用softmax作为激活函数的第二全连接层，将S7中的编码表示结果Γ(X)和双向注意力神经网络输出y的相加结果，输入第二全连接层中：
y′＝softmax(y+Γ(X))
其中：y′为第二全连接层的输出结果；
S802：输入训练集中的训练样本，根据损失函数
Figure GDA0003588680360000102
对深度神经网络进行反向回馈以得到深度神经网络的各层的参数θ；所述损失函数
Figure GDA0003588680360000103
为交叉熵损失：
Figure GDA0003588680360000101
其中：y′ik为第i个样本的第k个原告诉请在第二全连接层中的输出结果y′；
本发明的整体网络框架的训练逻辑图参见图2所示。
S803：根据学习得到的深度神经网络，将原始的查明事实文本、原告诉请文本输入其中，按照与训练数据相同的方式即可进行司法辅助判案，输出审判结果(包括支持、部分支持或拒绝原告的诉请)。
在另一实施例中，本发明还提供了一种双向注意力和判案逻辑结合的辅助判案装置，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现前述S1～S8所述的双向注意力和判案逻辑结合的辅助判案方法。
在另一实施例中，本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现前述S1～S8所述的双向注意力和判案逻辑结合的辅助判案方法。
需要注意的是，存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。当然，还装置中还应当具有实现程序运行的必要组件，例如电源、通信总线等等。
下面利用前述实施例中的双向注意力和判案逻辑结合的辅助判案方法，通过一个具体的应用实例来展示本发明分类方法的具体效果。具体的方法步骤如前所述，不再赘述，下面仅展示其具体效果。
实施例
本实施例在中国裁判文书网收集的民间借贷数据集上进行测试。该数据集包含61,611个民间借贷法律案例。数据集中的每个实例都由事实描述和原告的多个诉请。平均而言：每个案件在事实描述中包含5.94句话，在原告诉请中包含1.89个诉请。诉请被标为支持、部分支持或拒绝。数据集的统计结果如表1所示。
表1民间借贷数据集统计信息
划分 支持 部分支持 拒绝
训练集 70,386 18,921 6,438
验证集 8,777 2,440 858
测试集 8,839 2.293 855
为了客观评估本算法的性能，我们使用预训练模型BERT作为基准测试模型，并采用Macro F1和Micro F1(Mac.F1和Mic.F1)作为算法评价的主要指标。
所得实验结果如表2所示，结果表明，本发明的判决方法具有较高的性能性能表现，并超过基准测试模型。
表2总体性能表现
方法 Mac.P Mac.R Mac.F1 Mic.F1
BERT 74.8 70.0 72.2 82.7
CoATT 78.2 78.0 78.1 86.4
CoATT+LK 79.8 78.9 79.3 87.2
其中CoATT表示只使用了双向注意力机制，+LK表示使用了判案逻辑知识。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (8)

1.一种双向注意力和判案逻辑结合的辅助判案方法，其特征在于，包括如下步骤：
S1：获取法院查明事实文本、原告诉请及对应的标签，得到司法判案训练集；
S2：使用词嵌入层对基于单词的查明事实文本、原告诉请文本进行嵌入，得到词向量表示；
S3：使用长短时记忆网络对法院查明事实文本、原告诉请文本进行建模，得到文本特征表示；
S4：基于各文本特征表示，使用双向注意力机制分别构建查明事实感知的原告诉请表示，以及原告诉请感知的查明事实表示；
S5：基于上述双向注意力机制输出的深度神经网络表示，构建交叉特征，并输入到一个激活函数为softmax的全连接层；
S6：定义软逻辑编码原则，用于将离散的一阶谓词逻辑司法专家知识转化为可微的端到端训练的神经网络组成部分；
S7：使用上述全连接神经网络层的输出，对查明事实和诉请之间的判案逻辑、以及诉请与诉请之间的判案逻辑知识进行编码表示，并将编码表示输出与神经网络输出进行相加；
S8：将S7中相加后得到的结合了神经网络和判案逻辑知识的总输出，输入到另外一个激活函数为softmax的全连接层，基于该全连接层输出y’和真实标签，使用交叉熵作为损失函数，并使用反向传播算法学习模型参数，将学习得到的深度神经网络用于进行司法辅助判案；
所述的步骤S6具体包含以下步骤：
S601：定义关键证据事实，用于构成一阶谓词逻辑变量集合，其中：
XTIR：表示当前原告诉请是否为利息请求；
XRIO：表示当前约定利率是否合法；
XRIA：表示当前借贷双方是否约定利率；
XDIL：表示当前原告请求逾期还贷日期是否合法；
XTIC：表示当前原告诉请是否为诉讼费请求；
S602：定义一阶逻辑规则用于表示法律知识，其中：
K1：
Figure FDA0003588680350000021
规则K1表示当约定利率违反法律规定时，不应支持原告诉请；
K2：
Figure FDA0003588680350000022
规则K2表示当逾期利息还款日期违反法律规定时，不应支持原告诉请；
K3：∧j≠iYj∧XTIC→Yi：规则K3表示当原告其余诉请皆判支持时，原告对于诉讼费的诉请也应该被支持；
S603：定义软逻辑编码原则，用于将离散的一阶谓词逻辑司法专家知识转化为可微的、端到端训练的神经网络组成部分：
Γ(P)＝y(P)
Figure FDA0003588680350000026
Γ(P1∧...∧Pn)＝max(0，∑Γ(Pi)-N+1)
Γ(P1∨...∨Pn)＝min(1，∑Γ(Pi))
其中：max(，)表示取最大值操作，min(，)表示取最小值操作，P表示基本命题，Pi表示第i个基本命题；N为第i个查明事实文本中的单词个数；
所述的步骤S8具体包含以下步骤：
S801：定义另一个使用softmax作为激活函数的第二全连接层，将S7中的编码表示结果Γ(X)和双向注意力神经网络输出y的相加结果，输入第二全连接层中：
y′＝softmax(y+Γ(X))
其中：y′为第二全连接层的输出结果；
S802：输入训练集中的训练样本，根据损失函数
Figure FDA0003588680350000023
对深度神经网络进行反向回馈以得到深度神经网络的各层的参数θ；所述损失函数
Figure FDA0003588680350000024
为交叉熵损失：
Figure FDA0003588680350000025
其中：y′ik为第i个样本的第k个原告诉请在第二全连接层中的输出结果y′；
S803：根据学习得到的深度神经网络，进行司法辅助判案以输出审判结果。
2.如权利要求1所述的双向注意力和判案逻辑结合的辅助判案方法，其特征在于，所述的步骤S1具体包含以下步骤：
S101：获取法院查明事实文本集合表示为I＝{I1，I2，…，IT}，其中T为文本集合中样本数目，Ii＝{wi1，wi2，...，wiN}表示第i个查明事实文本，wij为第i个查明事实文本中的第j个单词，i∈{0，…，T}，j∈{0，…，N}，N为第i个查明事实文本中的单词个数；
S102：获取原告诉请文本集合表示为Ci＝{ci1，ci2，…，ciK}，其中Ci为第i个样本的原告诉请，cik＝{wik1，wik2，...，wikM}表示第i个样本的第k个诉请文本，wikm为第i个样本的第k个诉请文本中的第m个单词，k∈{0，…，K}，m∈{0，…，M}，K为第i个样本中的诉请文本个数，M为第i个样本的第k个诉请文本中的单词个数；
S103：获取待分类的原告诉请文本对应的可训练标签Yi＝{yi1，yi2，…，yiK}，Yi为第i个样本的第j个原告诉请的可训练标签，yik表示第i个样本的第k个原告诉请对应的可训练标签；
S104：将每个用于训练的样本表示为三元组(Ii，Ci，Yi)，i∈{1，…，T}，以所有三元组样本组成司法判案训练集。
3.如权利要求2所述双向注意力和判案逻辑结合的辅助判案方法，其特征在于，所述的步骤S2具体包含以下步骤：
S201：使用词嵌入网络层将每个样本的查明事实文本Ii和原告诉请文本Ci映射到词向量空间，即将词嵌入网络层输出的w维向量Wi作为文本的特征。
4.如权利要求3所述双向注意力和判案逻辑结合的辅助判案方法，其特征在于，所述的步骤S3具体包含以下步骤：
S301：使用长短时记忆网络将每个查明事实文本和诉请文本的词向量特征Wi映射到上下文特征空间，即将双向长短时记忆网络的隐层输出的h维向量Hf和Hc作为文本的上下文特征。
5.如权利要求4所述双向注意力和判案逻辑结合的辅助判案方法，其特征在于，所述的步骤S4具体包含以下步骤：
S401：计算S3中获得的查明事实和原告诉请之间的上下文特征相似度矩阵S：
Figure FDA0003588680350000031
S402：计算原告诉请感知的查明事实文本表示
Figure FDA0003588680350000032
Figure FDA0003588680350000041
αi＝softmax(S，dim＝1)
其中：
Figure FDA0003588680350000042
表示
Figure FDA0003588680350000043
中的第i列向量，dim表示维度，αi表示
Figure FDA0003588680350000044
的权重，
Figure FDA0003588680350000045
表示Hc中的第i列向量；
S403：计算查明事实感知的原告诉请文本表示
Figure FDA0003588680350000046
Figure FDA0003588680350000047
βi＝softmax(S，dim＝2)
其中：
Figure FDA0003588680350000048
为
Figure FDA0003588680350000049
中的第i列向量，βi表示
Figure FDA00035886803500000410
的权重，
Figure FDA00035886803500000411
表示Hf中的第i列向量，h为双向长短期记忆网络的隐状态维度大小。
6.如权利要求5所述双向注意力和判案逻辑结合的辅助判案方法，其特征在于，所述的步骤S5具体包含以下步骤：
S501：基于S4中双向注意力机制的输出
Figure FDA00035886803500000412
和
Figure FDA00035886803500000413
构建交叉特征G如下：
Figure FDA00035886803500000414
其中：符号
Figure FDA00035886803500000415
表示Hc和
Figure FDA00035886803500000416
的逐元素相乘运算；
S502：将所述交叉特征G输入一个使用softmax作为激活函数的第一全连接层中：
y＝softmax(WG)
其中W是模型训练参数，y表示第一全连接层的输出结果。
7.一种双向注意力和判案逻辑结合的辅助判案装置，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1～6任一项所述的双向注意力和判案逻辑结合的辅助判案方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1～6任一项所述的双向注意力和判案逻辑结合的辅助判案方法。
CN202011367208.9A 2020-11-27 2020-11-27 双向注意力和判案逻辑结合的辅助判案方法、装置、介质 Active CN112329891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011367208.9A CN112329891B (zh) 2020-11-27 2020-11-27 双向注意力和判案逻辑结合的辅助判案方法、装置、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011367208.9A CN112329891B (zh) 2020-11-27 2020-11-27 双向注意力和判案逻辑结合的辅助判案方法、装置、介质

Publications (2)

Publication Number Publication Date
CN112329891A CN112329891A (zh) 2021-02-05
CN112329891B true CN112329891B (zh) 2022-05-31

Family

ID=74308060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011367208.9A Active CN112329891B (zh) 2020-11-27 2020-11-27 双向注意力和判案逻辑结合的辅助判案方法、装置、介质

Country Status (1)

Country Link
CN (1) CN112329891B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487453B (zh) * 2021-06-07 2023-12-05 山东大学 基于犯罪要素的法律判决预测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133436A (zh) * 2017-11-23 2018-06-08 科大讯飞股份有限公司 自动判案方法及系统
CN108304386A (zh) * 2018-03-05 2018-07-20 上海思贤信息技术股份有限公司 一种基于逻辑规则推断法律文书判决结果的方法及装置
CN109829055A (zh) * 2019-02-22 2019-05-31 苏州大学 基于过滤门机制的用户法条预测方法
CN109858008A (zh) * 2017-11-30 2019-06-07 南京大学 基于深度学习的文书判决结果倾向性的方法及装置
CN110334213A (zh) * 2019-07-09 2019-10-15 昆明理工大学 基于双向交叉注意力机制的汉越新闻事件时序关系识别方法
CN110781650A (zh) * 2020-01-02 2020-02-11 四川大学 一种基于深度学习的裁判文书自动生成方法及系统
CN110889786A (zh) * 2019-12-02 2020-03-17 北明软件有限公司 一种基于lstm技术的法律诉讼被告人保全用审判服务方法
CN110929039A (zh) * 2019-10-18 2020-03-27 平安科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
CN111783399A (zh) * 2020-06-24 2020-10-16 北京计算机技术及应用研究所 一种法律裁判文书信息抽取方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133436A (zh) * 2017-11-23 2018-06-08 科大讯飞股份有限公司 自动判案方法及系统
CN109858008A (zh) * 2017-11-30 2019-06-07 南京大学 基于深度学习的文书判决结果倾向性的方法及装置
CN108304386A (zh) * 2018-03-05 2018-07-20 上海思贤信息技术股份有限公司 一种基于逻辑规则推断法律文书判决结果的方法及装置
CN109829055A (zh) * 2019-02-22 2019-05-31 苏州大学 基于过滤门机制的用户法条预测方法
CN110334213A (zh) * 2019-07-09 2019-10-15 昆明理工大学 基于双向交叉注意力机制的汉越新闻事件时序关系识别方法
CN110929039A (zh) * 2019-10-18 2020-03-27 平安科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
CN110889786A (zh) * 2019-12-02 2020-03-17 北明软件有限公司 一种基于lstm技术的法律诉讼被告人保全用审判服务方法
CN110781650A (zh) * 2020-01-02 2020-02-11 四川大学 一种基于深度学习的裁判文书自动生成方法及系统
CN111783399A (zh) * 2020-06-24 2020-10-16 北京计算机技术及应用研究所 一种法律裁判文书信息抽取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Logic-Driven Framework for Consistency of Neural Models;Tao Li 等;《arXiv:1909.00126v4 [cs.AI]》;20190913;第1-12页 *

Also Published As

Publication number Publication date
CN112329891A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
Tang et al. Effective LSTMs for target-dependent sentiment classification
Wu et al. Social media opinion summarization using emotion cognition and convolutional neural networks
CN110321563B (zh) 基于混合监督模型的文本情感分析方法
CN110825879A (zh) 判案结果确定方法、装置、设备及计算机可读存储介质
CN108073988B (zh) 一种基于强化学习的法律认知方法、装置和介质
US9348901B2 (en) System and method for rule based classification of a text fragment
CN110825880A (zh) 案件胜率确定方法、装置、设备及计算机可读存储介质
Zhao et al. The study on the text classification for financial news based on partial information
US20220237386A1 (en) Aspect-aware sentiment analysis of user reviews
Jain et al. Nowcasting gentrification using Airbnb data
CN116383399A (zh) 一种事件舆情风险预测方法及系统
CN112329891B (zh) 双向注意力和判案逻辑结合的辅助判案方法、装置、介质
Liu et al. Ontology representation and mapping of common fuzzy knowledge
CN112347245A (zh) 面向投融资领域机构的观点挖掘方法、装置和电子设备
Fu et al. Improving distributed word representation and topic model by word-topic mixture model
Zhang et al. Modeling and prediction of stock price with convolutional neural network based on blockchain interactive information
Li et al. Piecewise convolutional neural networks with position attention and similar bag attention for distant supervision relation extraction
CN114896392A (zh) 工单数据的聚类方法、装置、电子设备及存储介质
CN112417155B (zh) 基于指针-生成Seq2Seq模型的庭审询问生成方法、装置、介质
Xu et al. A healthcare‐oriented mobile question‐and‐answering system for smart cities
CN113220900A (zh) 实体消歧模型的建模方法和实体消歧预测方法
CN111143573B (zh) 基于用户反馈信息进行知识图谱目标节点预测的方法
CN117391497A (zh) 一种新闻稿件质量主客观评分一致性评价方法及系统
Ermatita et al. Sentiment Analysis of COVID-19 using Multimodal Fusion Neural Networks.
Wang et al. Knowledge management of web financial reporting in human-computer interactive perspective

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant