CN112667820B - 全流程可追溯生态链监管知识图谱的深度学习构建方法 - Google Patents

Abstract

本发明公开一种全流程可追溯生态链监管知识图谱的深度学习构建方法，该方法包括以下步骤：步骤一、构建全流程可追溯生态链监管语料库。步骤二、对语料库进行信息抽取，去掉无关词组，保留对全流程可追溯生态链监管有实际意义的信息，这一过程通过利用长短期记忆人工神经网络进行信息编码来实现。步骤三、对步骤二输出的固定长度向量进行解码，提出了一种新的解码操作称为局部约束注意力机制，局部约束注意力机制在传统解码器的基础上，引入了受人类直觉启发的注意力机制，并且在注意力计算中新增加了局部约束权重，经过上述信息解码操作后获得包含目标信息的输出序列。步骤四、采用自底向上的方法，构建全流程可追溯生态链监管知识图谱。

Description

全流程可追溯生态链监管知识图谱的深度学习构建方法

技术领域

本发明涉及基于深度学习策略来构建全流程可追溯生态链监管知识图谱的方法。

背景技术

为了推进国家诚信体系的不断建设，实现公民安全消费，全流程可追溯生态链监管受到高度重视。使用全流程追溯技术构建的生态链逐步覆盖农贸产品追溯系统、文化出版物追溯系统、林业渔业养殖业追溯和学校单位饭堂餐饮追溯系统等多元化应用场景。全流程追溯链可以实现原料进厂、产品生产、仓储物流、终端销售和市场消费的全链可视化管理，协助企业快速建立符合国家与市场监管的追溯体系，帮组企业实现大数据生态系统信息化管理，完善企业供应链各环节在计划、协同、操作、优化的活动与过程，并可实现高效、精准、灵活的策略与决策。所谓的全流程可追溯生态链监管模式，主要由六个功能链条组成。第一个是技术链：它为全流程可追溯提供技术支持；第二个是数据链：它完成数据结构化处理，为全流程可追溯提供大数据支持；第三个是保障链：它由为消费者需求提供可追溯产品市场化供应支持；第四个是监管链，它强化部门间信息互联互通、共享共用，提升监管力量；第五个是追溯链：它帮助监管部门和消费者实时了解产品的产地、生产加工等各环节信息；第六个是环境链：它主要由政策支持、法律保障和舆论环境所构成。

构建知识图谱对全流程可追溯生态链监管具有重要意义，利用知识图谱可以更好地开发针对溯源系统的信息检索、问答系统、数据融合、自然语言处理应用等等。知识图谱能够提供物品之间的复杂的语义关联，是一种语义网络拥有极强的表达能力和建模灵活性。首先，知识图谱是一种语义表示，可以对现实世界中的实体，概念，属性以及他们之间的关系进行建模；其次，知识图谱是一种特殊的图数据，它是语义的和可复用的。具体来说，它是一种带标记的有向属性图。知识图谱中每个节点都有若干属性和属性值，实体与实体之间的边表示的是节点之间的关系，边的指向方向表示了关系的方向，而边上的标记表示了关系的类型。当在一个追溯系统中构建了一个知识图谱，可以把产品生产和消费等过程中，任何与产品有关的实体、关系等信息都统一起来，构建关系网，这样追溯系统中信息链可以具有更加丰富的内容。构建具有知识图谱的全流程追溯系统可以将技术链、数据链、保障链、监管链、追溯链和环境链等六个功能结合起来，统一到同一个网络，各链之间相互依存，相互作用、链链互联、信息互通、共享共用，为政府决策、市场监管、企业生产经营和消费者舌尖安全提供大数据服务。

综上所述，提出了全流程可追溯生态链监管知识图谱构建方法。首先，构建全流程可追溯生态链监管语料库，再利用长短期记忆人工神经网络(LSTM网络) 和局部约束注意力机制进行知识抽取，最后根据抽取到的信息构建知识图谱。

发明内容

为解决现有的全流程可追溯生态链存在的局限性，如：不能统计与产品有关物品的信息，监管信息不明确，产品政策支持、法律保障和舆论环境信息缺失等。本文发明提出了一种全流程可追溯生态链监管知识图谱的构建方法。本发明的主要流程如下：

步骤一：全流程可追溯生态链监管语料库的构建。

利用大数据和数据挖掘技术对产品的生产信息，物流信息，存储信息，监管信息等信息进行分析，将分析出的信息存储到云端服务器。

步骤二：基于深度学习的关系抽取。

采用LSTM网络和局部约束注意力机制对存储在云端服务器的产品相关信息进行信息抽取，例如：生产原料，运输途径，销售商家，产品舆论情况等。

步骤三：知识图谱的构建。

采用自生产向销售的构建方式构建知识图谱。自生产向销售的构建方式，是指先确定产品的生产相关信息，在根据产品的后续情况去填充具体数据，最终形成知识图谱。

有益效果

与现有技术相比，采用本发明所述的方法，可以达到以下技术效果：

1：构建的全流程可追溯生态链监管语料库，具有更多的源头信息，获得更多的附加信息。语料库以计算机为载体，承载产品的基础信息，通过后续的加工和处理，成为系统需要的有用资源。

2：采用LSTM网络和局部约束注意力机制的深度学习自然语言方法，处理语料库中的资源，可以得到大量的系统需要的信息。比人工筛选和单纯的标签查找法，节省大量的时间和额外开销。

3：采用具有知识图谱的全流程可追溯生态链，可以做到生态整合。采用本技术构建的追溯生态链监管模式可以作为一项系统工程，到达全社会参与和公 (共)治。追溯过程中不仅仅考虑产品的信息，还能充分整合行政、政策、法律、金融、舆论等社会资源，使追溯体系运行与外部环境和谐共生，形成可持续发展的有机生态体。

附图说明

图1是本发明方法框架流程图。

具体实施方式：

步骤一：全流程可追溯生态链监管语料库的构建

(1)信息采集：记录产品从原料收购，生产加工检验到销售权(全)产业链等信息。收集与产品有关的政策和舆论等环境信息。

(2)信息整理：将收集到的非电子信息整理成电子形式存在的材料。为没有标准形式的信息，设定标准。已有国际标准或国家标准的信息，如：产品批号等信息约束。

(3)确定文本分类标准：

a)外部标准：语料库识别信息：名称、生产者、发行者、建库日期等

b)内部标准：主题，样式，分组，

c)确定标注方案和标记语言：标注的定义，分类信息及结构信息的编码，选择标记语言XML。

(4)构建语料库：填充信息，为检索、维护和升级开发接口。

步骤二：利用长短期记忆人工神经网络(LSTM网络)进行信息编码

步骤一建立的语料库是收集的关于产品相关的各种信息，但是这些信息不能直接用于追溯系统，例如：关于产品的各种新闻信息需要抽取出来报道内容，去掉新闻报道作者，新闻出版单位等无关信息。此外，对于一些长句子，也要将其中无关的词组舍弃。所以还需要进一步对语料库中的信息进行抽取。

在对长文进行抽取时，寻找上文信息以帮助对后面内容的理解，传统神经网络是不能做到的。这种长依赖关系，需要循环神经网络(RNN)实现。因此，知识抽取技术使用一种特殊的RNN：LSTM网络。

长短记忆网络是最早被提出的循环神经网络门控算法，其对应的循环单元，长短记忆网络单元包含三个门控：输入门、遗忘门和输出门。相对于循环神经网络对系统状态建立的递归计算，三个门控单元对长短记忆网络单元的内部状态建立了自循环。具体地，输入门决定当前时间步的输入和前一个时间步的系统状态对内部状态的更新；遗忘门决定前一个时间步内部状态对当前时间步内部状态的更新，输出门决定内部状态对系统状态的更新。

输入门、遗忘门和输出门，这三个门本质上就是权值，形象点则类似电路中用于控制电流的开关。当值为1，表示开关闭合，流量无损耗流过；当值为0，表示开关打开，完全阻塞流量；当值介于(0，1)，则表示流量通过的程度。这种取值，都是通过Sigmod函数实现的。

从语料库中选取一段文本信息，标记为样本X。首先需要将选取的文本信息编码成向量形式。将样本X送入LSTM网络编码：

(1)：针对不重要的词汇，模型选择性忘记：

其中h_t-1为t-1时刻的输出，为遗忘权重，b_f是偏置项，δ为激活函数，x(t) 为t时刻的样本输入。

(2)：针对重要的词汇，模型需要记住：

其中h_t-1为t-1时刻的输出，为输入保存权重，b_i是偏置项，δ为激活函数，x(t)为t时刻的样本输入。

(3)：模型记住了一些词汇，又会忘记一些词汇，这时候需要将整个都更新的cell(“细胞单元”)中记录下来作为下一个神经元考虑：

S_t＝g_t*i_t+s_t-1*f_t

其中h_t-1为t-1时刻的输出，为输出权重，b_g是偏置项，δ为激活函数，s_t-1是t-1时的状态，x(t)为t时刻的样本输入。

(4)：得到模型的输出：

h(t)＝S_t*O_t

其中h_t-1为t-1时刻的输出，权重系数，b_f是偏置项，S_t为t-1时刻的状态，x(t)为t时刻的样本输入。

(5)：定义t时刻的损失函数为：

L_t＝(h_t-y_t)²

其中h_t为预测值，y_t为真实输出值

(6)：通过损失函数得到预测和真实输出值的差距，进行反向传播。进行反复训练，最终得到更加精确的网络模型。

步骤三:基于局部约束注意力机制的信息解码

步骤二中对步骤一中的各类产品相关信息进行了编码。通过LSTM将各种输入文本序列转化成一个固定长度的向量。因为最终的目的是要得出一系列需要信息的文本序列，所以还需要对信息编码形成的向量进行解码操作，将向量再转化成输出序列。本专利提出了一种新的解码操作-局部约束注意力机制。

注意力机制和人类直觉相似。在进行知识抽取时，需要将目标(光)放在所需要的信息上。比如：生产日期，生产原料，生产商等等信息。在网络中增加局部约束注意力机制，可以使输出结果更好的得到想要的结果。再得到使用LSTM 网络进行编码的信息时，局部约束注意力机制和解码器同时工作。解码器的初始状态s₀是编码器最后一个状态，和其它架构不同，这里编码器所有状态都要保留，需要计算s₀与每个状态的相关信息。

(1)信息输入：输入一个长句子X＝[x₁，······，x_N]，其中x_N表示为一个短句，x_N，i＝[w₁······w_N]，w_N代表一个单词。

(2)局部约束注意力计算：对于长句子抽取，首先对长句子局部的一个子短句进行抽取。为子短句添加注意力机制时，局部约束权重。令 key＝value＝x_N给出注意力分布：

α_i＝softmax(s(key_i，q))＝softmax(s(w_i，q))

其中将α_i称为注意力分布(概率分布)，s(w_i，q)为注意力打分机制，q表示为一个和抽取目标相关的向量q，打分机制采用点积模型：

(3)信息加权：在对单词约束完，注意力分布α_i可以解释为在上下文查询 q时，第i个信息受关注的程度，采用信息选择机制对输入信息x_i进行编码：

(4)信息解码：对编码出来的特征信息结合注意力机制使用全卷积网络解码出来需要的目标信息。

步骤四：全流程可追溯生态链监管知识图谱的构建

经过步骤二和步骤三后，得到了构建知识图谱的基本信息，可以着手构建知识图谱了。知识图谱的构建采用自底向上的构建方法，也就是从产品生产开始至消费者消费而止。自底向上的构建方法，从开放链接的数据源中提取实体、属性和关系(步骤三的工作)，加入到知识图谱的数据层；然后将这些知识要素进行归纳组织，逐步往上抽象为概念，最后形成模式层。

(1)知识融合：经由步骤三之后的信息单元间的关系是扁平化的，缺乏层次和逻辑性，同时提取的信息存在大量冗余甚至错误的信息。知识融合，简单理解，就是将多个知识库中的知识进行整合，形成一个知识库的过程，在这个过程中，主要的关键技术包含：指代消解、实体消歧、实体链接等。

a)指代消解一般分为3种：回指、共指和下指。其中回指是当前的指代词与上下文出现的词、短语或句子存在密切的语义关联性，它指向另一个词，该指代词的解释依赖于先行词的解释。共指是两个名词指向真实世界中的统一参照体时，这种指代脱离上下文仍然成立。下指和回指正好相反。

b)实体消歧：实体的写法可能不一样，例如生产商的名称有些使用的为全称，有时为简写。但实际都是指代同一个公司，这种情况下，实体消歧可以减少实体的种类，降低图谱的稀疏性。

c)实体链接：对抽取和处理后的实体对象，将其链接到知识库中对应的正确实体对象的操作。例如：对于一个手机的生产，芯片作为原材料。对于芯片进行实体链接时，需要将芯片和手机链接起来，标注原材料。该过程体现追溯的逻辑性。

(2)知识加工：通过步骤三抽取的海量信息，通过知识融合之后得到了一些基本的事实表达，但并不等同于知识。构建的知识图谱应该是结构化、网络化的知识体系。要达到这个效果，还需要经过质量评估后，才能将合格的部分纳入确保整个追溯的真实性。知识加工主要包括3 方面内容：本体构建、知识推理和质量评估。

a)本体构建：本体定义了组成领域的词汇表的基本术语及其关系，以及结合这些术语和关系来定义词汇表外延的规则。例如对于小米公司、华为公司、微信这三个实体，如果不进行本体构建，知识图谱可能认为他们之间并没有什么差别，如果去计算三个实体之间的相似度就会发现，小米和华为同属于手机生产商公司，相关性更大一点。但这样构建，知识图谱缺少了上下层概念，知识图谱仍然不明白小米和华为应属于生产商，不能只清楚微信与两者差别很大，而应该理解，微信应该作为公司的一种产品，位于公司的下一层。因此在实体上下位关系抽取就是完成这样工作的，最后生成本体。所以本体的构建需要包含三个过程：实体相似度计算、上下位关系抽取、本体生成。

b)知识推理：完成了本体的构建之后，知识图谱的基本模型已经搭建好了。但是图谱内部可能存在大量的残缺关系，缺失值严重。这时候，需要根据已有的信息去进行推理，完成进一步的关联。例如：A 公司生产商品C，同时发现B公司负责了运输商品C，那么通过实体之间知识推理，可以推理出他们之间的关系应该是委托或者承包。知识推理的对象不只局限于实体间的关系，也可以是实体的属性值，本体的概念层次关系等。

c)质量评估：本阶段是知识图谱最后一步，也是重要的组成部分，为了保证追溯体系的真实性和实时性，需要对构建的知识图谱和提起到的知识进行可信度量化，关注可信度较低的信息，保证体系的质量。

Claims (1)

1.一种全流程可追溯生态链监管知识图谱的深度学习构建方法，其特征在于：至少包括以下步骤：

步骤一、构建全流程可追溯生态链监管语料库，具体操作包括信息采集、信息整理、确定文本分类外部和内部标准、确定标注方案和标记语言，最后在此基础上构建语料库；

步骤二、对步骤一获得的语料库中的句子，进行信息抽取，去掉无关词组，保留对全流程可追溯生态链监管有实际意义的信息，这一过程通过利用长短期记忆人工神经网络进行信息编码来实现，长短期记忆人工神经网络由输入门、遗忘门和输出门三种门控组合实现，最后将文本转化为固定长度向量；

步骤三、对步骤二输出的固定长度向量进行解码，提出了新的信息解码方式，称为局部约束注意力机制，局部约束注意力机制在传统解码器的基础上，引入了注意力机制，首先输入长句子，然后进行局部约束注意力计算，其中对长句子局部的短句进行抽取，添加注意力机制时增加了局部约束注意力计算，打分机制采用点积模型，之后根据受关注程度进行信息加权，最后采用全卷积网络进行信息解码输出，经过上述信息解码操作后获得包含目标信息的输出序列；

步骤四、基于步骤三所获得的知识图谱底层信息，采用自底向上的构建方法，从开放链接的数据源中提取实体、属性和关系，加入到知识图谱的数据层，然后将这些知识要素进行归纳组织，逐步向上抽象为概念，形成模式层，最终完成全流程可追溯生态链监管知识图谱的构建。

Images