CN110348024A - 基于法律知识图谱的智能识别系统 - Google Patents

Abstract

本发明涉及基于法律知识图谱的智能识别系统，属于知识图谱和自然语言处理等技术与法律融合的领域，包括词向量表征模块，模型训练模块，标注问句模块，获取候选实体集模块和情感识别模块，其中，词向量表征模块是采用Skip‑gram模型来进行所述词向量表征模型训练；模型训练模块是利用tensorflow对实体识别模型开始训练；标注问句模块是利用词向量提取用户问句特征，并输入训练好的模型中，得到模型标注后的问句序列；获取候选实体集模块是通过标注问句模块获取问句序列中标注的实体标签，再通过实体标签获得候选实体名称；情感识别模块是从与用户的问题描述语句中提取用户情感。本发明可大幅度减少人工成本，增加智能识别法律语义的速度。

Description

基于法律知识图谱的智能识别系统

技术领域

本发明涉及基于法律知识图谱的智能识别系统，属于知识图谱和自然语言处理等技术与法律融合的技术领域。

背景技术

知识图谱技术日益成为人工智能的基础，它是机器理解自然语言和构建知识网络的重要方法。近年来，知识图谱在司法领域的运用悄然兴起，它帮助从业人员快速地在线检索相关的法务内容，从而提高法院审判工作质量和效率。目前存在的自动法律问答系统是基于全文检索技术或者深度学习语义匹配技术来实现，往往不能真正理解用户真实的法律诉求，解决不了用户法律方面的问题，实用性差。

人工智能时代，人们期待像科幻电影中那样简单直接地与机器进行交互。这也是以自然语言为交互方式的智能机器人、智能个人助理系统备受用户和一线互联网公司青睐的原因。随着大数据时代的来临，互联网上每时每刻都在产生着包括文字、图片、视频在内的海量法律数据。这些法律数据在给人们获取信息带来了便利的同时，也存在海量的无效和错误的法律条例极大地干扰着人们去获取需要的信息，而这可能会造成国民对司法常识的误知。

搜索引擎作为互联网时代人们获取信息的主要窗口，已经越来越难以满足人们的需求。现有的法律知识图谱的智能识别系统主要是基于规则、排序等思想，往往不能真正理解用户真实的法律诉求，解决不了用户法律方面的问题，实用性差。常用的RNN虽然在时序模型中提取文本特征上有很大的优势，但梯度消失和梯度爆炸问题会导致句子过长时模型的拟合表现变差。并且缺乏对法律常识的语义分析和语义理解，这是机器理解和人类自然语言表达的天然隔阂。这个过程操作也相对繁琐，返回的网页结果无论是按相关程度还是时间排序，都无法给予用户完全准确的答案，需要消耗大量人力与时间去进行筛选并剔除无关的法律信息，造成了大量资源的浪费和消耗。

发明内容

针对现有的法律知识图谱的智能识别系统缺乏对法律常识的语义分析和语义理解，过程操作相对繁琐，无法给予用户完全准确的答案，且需要消耗大量人力与时间去进行筛选并剔除无关的法律信息的技术问题。基于法律知识图谱的智能识别系统采用知识图谱、自然语言处理和深度学习等领域的技术，使用基于序列标注的思想来充分利用上下文信息定位问句的候选实体位置，从而达到大幅度减少人工成本，增加了智能识别法律语义的速度的目的。

为了实现上述目的，本发明所采用的技术方案包括：

基于法律知识图谱的智能识别系统，包括词向量表征模块，模型训练模块，标注问句模块，获取候选实体集模块和情感识别模块，其中：

词向量表征模块：采用Skip-gram模型来进行所述词向量表征模型训练，依次包括构建实体词典、构建构体识别标注集模块和词向量输入模块；

模型训练模块：利用tensorflow对实体识别模型开始训练；

标注问句模块：利用词向量提取用户问句特征，并输入训练好的模型中，得到模型标注后的问句序列；

获取候选实体集模块：所述获取候选实体集是通过所述标注问句模块获取所述问句序列中标注的实体标签，再通过所述实体标签获得候选实体名称；

情感识别模块：采用情感识别技术，从与用户的问题描述语句中提取用户情感。

进一步的，所述构建实体词典是直接从知识图谱的知识三元组中提取实体名称。

进一步的，所述构建构体识别标注集模块是在命名实体识别的训练和测试过程中对语料问句和实体做出标注。

进一步的，所述构建构体识别标注集模块的算法流程为：

首先：对每一个所述语料问句标准答案反向查找知识图谱中所述知识三元组；

其次：根据查找到的所述知识三元组确定所述语料问句相关的实体名称；

再次：对每一个所述语料问句序列中与所述实体名称重合的词语进行标注为“1”，其他标注为“0”，并将所述语料问句输出；

最后：将标注好的所述语料问句的序列保存。

进一步的，所述标注问句模块是利用词向量提取用户问句特征，并输入训练好的模型中，基于实体识别算法将所述用户问句分词，并利用预训练的所述词向量进行表示，再对所述用户问句中每个单词输入编码层进行编码处理，根据所述编码处理结果对所述用户问句的编码向量计算得到解码向量，再利用sigmoid与所述解码向量得到模型标注后的问句序列。

进一步的，所述实体识别算法是基于Bi-LSTM的实体识别算法。

进一步的，所述情感识别模块包括词汇的情感倾向计算和词汇的原始极性计算；所述词汇的情感倾向是句子情感倾向计算的基础，通过计算句子中修饰语词汇的出现频率，以确定情感倾向；所述词汇的原始极性计算是以情感词库为基础，给每个褒义词和贬义词赋予一个语义倾向度量值。

附图说明

图1是基于法律知识图谱智能识别的主要算法流程图；

图2是基于双向长短期记忆网络(Bi-LSTM)算法图；

图3是情感词修饰极性的计算原理图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

基于法律知识图谱的推理式精准智能问答方法，如图1-3所示：

一、词向量表征模块：

1、构建实体词典：

直接从知识图谱三元组中提取实体名称构建实体词典。

2、构建构体识别标注集模块：

命名实体识别的训练和测试过程也需要专门的数据集，与一般的法律数据集不同，我们需要对语料问句和实体做出专门标注。其算法(伪代码)流程如下所示。

算法：实体识别标注集构建算法；

输入：训练集(问句序列、标准答案)、知识图谱；

输出：实体标注集；

方法:

首先，对每一个语料问句标准答案反向查找知识图谱中知识三元组；

其次，根据查找到的知识三元组确定问句相关的实体名称；

再次，对每一个问句序列中与实体名称重合的词语进行标注“1”，其他标注“0”输出所有；

最后，标注好的问句序列并保存。

3、词向量输入模块：

2013年Mikolovt提出的Skip-gram模型和CBOW模型，极大程度的降低了词向量模型的训练时间。由于其在训练时间上的优异表现，在大规模数据集的词汇分布训练中都得到广大研宄者们的青睐。实验表明，在训练超大规模数据集时CBOW模型的表现更好一些，而本系统采用的数据集并没有达到非常大的规模，所以在本系统设计的算法框架中采用Skip-gram模型。Lai等从模型、语料、参数三个不同方面探讨了其对词向量模型训练的影响，最终结果表明语料对模型的影响远大于另外两个方面。通常训练词向量使用的是维基百科语料(种类多、规模相对比较大)，但由于本系统为智能识别系统，为了获取尽可能好的效果我们更希望利用对话领域的相关语料来训练，这对智能识别系统过程中的语义分析过程有重要的意义。

二、模型训练模块：

利用tensorflow对实体识别模型开始训练。

长短期记忆模型(LSTM)的优势在于保留了RNN处理序列模型的特点，其特有的门结构也在一定程度解决了梯度爆炸和梯度消失的问题。为了更好的处理序列信息，研究者们提出了双向长短期记忆网络(Bi-directional LSTM，Bi-LSTM)，采用前、后向两个LSTM单元对输入序列进行处理，最后输出向量为两个LSTM输出向量的拼接(如图附2)。相对于LSTM模型，Bi-LSTM模型在保留其优点的同时，通过分别训练前后向序列兼顾了上下文信息，可以更好的提取深层次的语义信息。

Bi-LSTM中前、后向的LSTM序列分别对输入向量(x₁，x₂，…，x_t)，进行处理得到输出向量h_t，其表示如下所示。

其中，为前向序列的输出，为后向序列的输出。Bi-LSTM得到的输出还会送入sigmoid层进行处理，sigmoid函数如下所示。

模型的输出向量为(y₁，y₂，…，y_n)，其中n为输入序列的长度，可以看到该模型输出向量长度与输入序列是保持一致的，y_i对应输入问句中第i个单词的标注信息，如果为“1”则代表为寻找的实体，反之则不是。

在本模型中，使用均方误差作为模型的损失函数其定义如下所示。

其中w为权重，b为偏差。为L₂正则化，λ为控制正则化的超参数。

三、标注问句模块：

利用词向量提取用户问句特征，并输入训练好的模型中，得到模型标注后的问句序列。算法(伪代码)流程如下所示。

算法：基于Bi-LSTM的实体识别算法；

输入：标注实体的问句序列、实体字典；

输出：问句实体标注标签；

方法:

1)将训练集问句转化为词向量输入Q，以及标注向量Q’，并按批次输入至模型；

2)初始化Bi-LSTM神经网络，利用梯度下降方法求解网络中权重参数；

3)将用户问句Q_user分词，并利用预训练的词向量进行表示；

4)对Q_user中每个单词输入编码层进行编码处理(隐藏状态、上下文状态)；

5)根据4)中对Q_user的编码向量计算得到解码向量；

6)利用sigmoid与解码向量得到单词的实体标注(1或0)；

7)输出问句实体标注标签。

四、获取候选实体集模块：

通过上文模型可以获取到问句中标注的实体标签，而通过实体标签可以获得候选实体。但由于自然语言表达与知识三元组可能存在的不一致性，以及神经网络标注的准确性限制，标注得到实体名称很难和实体词典中的实体名称完全匹配，所以这里还需要人工设定一定的规则从实体词典中获取所有符合的标准实体。可能存在的情况，比如“000110100”，这里设定人工规则:当实体标签“1”不连续时，取包括首位和末位为“1”以及之间的词语作为待选实体去实体库中匹配。其算法(伪代码)流程如下所示。

算法：候选实体匹配算法；

输入：问句及实体标签、实体字典；

输出：候选实体集合；

方法：

1)取标注实体的问句序列中首位和末位为“1”之间的字符串作为问句包含的实体名称；

2)读取实体字典所有实体名称，并建立单词查找树；

3)根据1)步骤中的实体名称，在2)中建立的单词查找树中沿着根节点向下查找，若查找路径中包含的字符串与1)中实体名称一致，则寻找到的实体名称(路径字符串)加入候选实体集；

4)若向下至无节点，则寻找初始位置另一子节点执行2)步骤。

五、情感识别模块：

情感识别模块，采用情感识别相关的技术，从与用户的问题描述语句中提取用户情感，具体实现包括：

1、词汇的情感倾向计算：

词汇的情感倾向是句子情感倾向计算的基础，在一个句子中，由于否定或强调副词等修饰语的出现，词汇在句子中的倾向极性将发生变化，因此还需要计算词汇在上下文环境中的情感倾向。

2、词汇的原始极性计算：

以情感词库为基础，给每个褒义词和贬义词赋予一个语义倾向度量值。从知网中抽取的已标注“良”(褒义)和“莠”(贬义)的词汇作为基准词，词典中每个词条的格式为：词汇、情感倾向值。为丰富词汇量，本文还收录了大量网络上收集整理的情感本体。下面给出基于知网的语义相似度计算公式计算词汇倾向极性值的方法。

对于两个汉语词汇t₁和t₂，如果t₁有n个义项(概念)：s₁₁，s₁₂，…，s_1n，t₂有m个义项(概念)：s₂₁，s₂₂，…，s_2m，t₁和t₂的相似度取各个概念的相似度之最大值，如下公式所示：

Sim(t₁，t₂)＝max_{i＝1，…，n，j＝1，…，m}Sim(s_1i，s_2j)，

由于所有的概念都用义原(个别地方用具体词)来表示，所以义原的相似度计算是概念相似度计算的基础。根据两个义原在树状的义原层次体系中路径距离d，两个义原p₁和p₂之间的语义距离采用下公式计算(其中α是一个可调节的参数)：

计算待定词汇W的情感值的方法如下：将待定词汇W与基准词集中褒义词WP_i的近似度减去待定词汇W与基准词集中贬义词WN_j的近似度，得到词汇W的语义倾向性polarity，如下公式所示：

polarity(W)＝∑_i＝1Sim(W，WP_i)-∑_j＝1Sim(W，WN_j)，

其中，p为褒义词可能的近义词词数，n为贬义词可能的近义词词数。

情感词语在上下文中情感值的计算：

每个情感词有其原始极性，但在文本的上下文环境中，修饰语会影响情感词的极性，情感词在上下文中的极性称作修饰极性。例如褒义词“支持”添加否定词前缀后则变为贬义词。经过分析发现，文本中影响其情感倾向性的词汇的词性为动词、名词、形容词和副词。使用依存句法分析器分析之后，可以得到这四类词汇之间存在的相互修饰关系，它们分别为SBV(主谓关系)、ADV(状中关系)、VOB(动宾关系)和ATT(定中关系)依存关系对。在这些依存关系对中，只考虑动词、实体名词、形容词和副词作修饰语的情况。

为了与整句的主语、谓语、宾语成分区分，这里的依存关系对SBV和VOB中动词不能是句子的核心动词。

情感词修饰极性的计算方法如下：

令polarity_m表示修饰词的极性，polar-ity_c表示中心词的原始极性，polarity_m_c表示中心词的修饰极性。

当修饰词是定语时，采用如图附3所给出的规则计算修饰词对中心词情感值的影响：

当修饰词为否定词时，中心词的修饰极性与其原始极性相反。

当修饰词为程度副词时，中心词的修饰极性不变，但极性值发生变化。

中心词的修饰极性＝修饰词的极性值或强度值×情感词的原始极性。

下面结合附图和具体实施例对本发明作进一步的说明。

图1是主流程。设计了基于法律知识图谱的智能识别流程：

S1.词向量表征模块：首先直接从知识图谱三元组中提取实体名称构建实体词典，其次需要对语料问句和实体做出专门标注，对于词向量输入，本系统设计的算法框架中采用Skip-gram模型，极大程度的降低了词向量模型的训练时间。

S2.实体识别标注集：在词向量表征模块中对语料问句和实体做出的专门标注

S3.模型训练模块：通过上述获取的实体识别标注集，利用tensorflow对实体识别模型开始训练。

S4.标注问句模块：利用词向量提取用户问句特征，并输入训练好的模型中，得到模型标注后的问句序列。

S5.知识图谱与实体识别字典：知识图谱与实体识别字典是从词向量表征模块获取，用于获取候选实体集。

S6.获取候选实体集模块：通过上文模型可以获取到问句中标注的实体标签，而通过实体标签可以获得候选实体。但由于自然语言表达与知识三元组可能存在的不一致性，以及神经网络标注的准确性限制，标注得到实体名称很难和实体词典中的实体名称完全匹配，所以这里还需要人工设定一定的规则从实体词典中获取所有符合的标准实体。

S7.情感识别模块：情感识别模块是采用情感识别相关的技术，从与用户的问题描述语句中提取用户情感。

图2是基于双向长短期记忆网络(Bi-LSTM)算法图：

SA1.输入层：对输入向量(x₁，x₂，…，x_t)

SA2.sigmoid层：对输入向量(x₁，x₂，…，x_t)会被送入sigmoid层进行处理，其中sigmoid函数如下。

SA3.输出层：对于sigmoid层处理后的向量进行输出，输出向量为(y₁，y₂，…，y_n)，其中n为输入序列的长度。

图3是情感词修饰极性的计算原理图：

其中polarity_m表示修饰词的极性，polarity_c表示中心词的原始极性

polarity_m_c表示中心词的修饰极性。当修饰词为否定词时，中心词的修饰极性与其原始极性相反。当修饰词为程度副词时，中心词的修饰极性不变，但极性值发生变化。

中心词的修饰极性＝修饰词的极性值或强度值×情感词的原始极性。

Claims (7)

1.基于法律知识图谱的智能识别系统，其特征在于，包括词向量表征模块，模型训练模块，标注问句模块，获取候选实体集模块和情感识别模块，其中：

词向量表征模块：采用Skip-gram模型来进行所述词向量表征模型训练，依次包括构建实体词典、构建构体识别标注集模块和词向量输入模块；

模型训练模块：利用tensorflow对实体识别模型开始训练；

标注问句模块：利用词向量提取用户问句特征，并输入训练好的模型中，得到模型标注后的问句序列；

获取候选实体集模块：通过所述标注问句模块获取所述问句序列中标注的实体标签，再通过所述实体标签获得候选实体名称；

情感识别模块：采用情感识别技术，从与用户的问题描述语句中提取用户情感。

2.根据权利要求1所述的基于法律知识图谱的智能识别系统，其特征在于，所述构建实体词典是直接从知识图谱的知识三元组中提取实体名称。

3.根据权利要求1所述的基于法律知识图谱的智能识别系统，其特征在于，所述构建构体识别标注集模块是在命名实体识别的训练和测试过程中对语料问句和实体做出标注。

4.根据权利要求3所述的基于法律知识图谱的智能识别系统，其特征在于，所述构建构体识别标注集模块的算法流程为：

首先：对每一个所述语料问句标准答案反向查找知识图谱中所述知识三元组；

其次：根据查找到的所述知识三元组确定所述语料问句相关的实体名称；

再次：对每一个所述语料问句序列中与所述实体名称重合的词语进行标注为“1”，其他标注为“0”，并将所述语料问句输出；

最后：将标注好的所述语料问句的序列保存。

5.根据权利要求1-4任一项所述的基于法律知识图谱的智能识别系统，其特征在于，所述标注问句模块是利用词向量提取用户问句特征，并输入训练好的模型中，基于实体识别算法将所述用户问句分词，并利用预训练的所述词向量进行表示，再对所述用户问句中每个单词输入编码层进行编码处理，根据所述编码处理结果对所述用户问句的编码向量计算得到解码向量，再利用sigmoid与所述解码向量得到模型标注后的问句序列。

6.根据权利要求5所述的基于法律知识图谱的智能识别系统，其特征在于，所述实体识别算法是基于Bi-LSTM的实体识别算法。

7.根据权利要求6所述的基于法律知识图谱的智能识别系统，其特征在于，所述情感识别模块包括词汇的情感倾向计算和词汇的原始极性计算；所述词汇的情感倾向是句子情感倾向计算的基础，通过计算句子中修饰语词汇的出现频率，以确定情感倾向；所述词汇的原始极性计算是以情感词库为基础，给每个褒义词和贬义词赋予一个语义倾向度量值。