CN114168745B - 面向环氧乙烷衍生品生产过程的知识图谱构建方法 - Google Patents

Abstract

本发明属于知识图谱技术领域，提供了面向环氧乙烷衍生品生产过程的知识图谱构建方法。根据数据类型及特点，梳理环氧乙烷衍生品生产过程的数据源，将其划分为结构化、非结构化、其他类型三种数据。采用自顶向下和自底向上相结合的方法构建知识图谱的本体层和数据层。提出一种基于数据驱动的增量式本体建模方法，保证知识图谱的可扩展性。面向结构化知识抽取，采用虚拟知识图谱的方法，保证原始数据存储的安全性，提出一种新的映射机制，实现数据实体化。面向非结构化知识抽取，融合预训练语言模型BERT，基于BERT‑BiLSTM‑CRF命名实体识别模型实现实体抽取任务。

Description

面向环氧乙烷衍生品生产过程的知识图谱构建方法

技术领域

本发明属于知识图谱(KnowledgeGraph)技术领域，尤其涉及环氧乙烷衍生品生产过程不同数据来源的知识抽取方法，提出一种面向精细化工生产过程的知识图谱构建方法。

背景技术

精细化工领域是当今化学工业中最具活力的新兴领域之一。近年来，我国精细化工产业正处于快速发展期，其产品因品种多、规模小、指标要求高等特殊性，使得精细化工生产过程工艺复杂、安全风险高。如何改善精细化工生产的安全风险管控措施是亟待解决的本质安全管理问题，具有重要的理论意义和十分迫切的现实意义。

环氧乙烷衍生品(EOD)作为精细化工中的重点生产产品，其安全生产数据具有来源多样、结构复杂、相互关联的特点。第一，环氧乙烷衍生精细化学品的安全监控与决策涉及的信息多种多样，包括仪表测量、图像监测、故障库、故障追踪报告、安检报告、安全状态分析等，数据量庞大；第二，数据类型复杂，有结构化、非结构化、半结构化形态，缺乏统一的语义表达，造成对生产安全知识的理解不充分，描述不准确；第三，数据流同时又包括生产、质量、库存、维护、能耗等环节，这些信息往往独立采集和处置，造成了数据分散，使得数据收集工作繁琐、决策效率低下，无法充分利用相关安全生产信息。

因此，本领域亟需解决对多源的安全生产信息、规则知识、经验知识等进行融合与关联，构建面向设备、过程装置、操作运行的安全生产知识体系，打通精细化工企业所面临的信息孤岛问题，为环氧乙烷衍生品安全生产分析与管控提供全面的数据来源。针对上述问题，本发明提出了面向环氧乙烷衍生品生产过程的知识图谱构建方法，接下来详细介绍知识图谱构建的背景技术。

知识图谱是大规模语义网络，是构建和挖掘信息关联关系的一种重要技术。相比较传统结构化数据处理工具，知识图谱在非结构化和半结构化数据的特征提取、内容检索、表示推理方面更具优势。相对于传统知识工程方法，知识图谱可以通过自动化构建、众包等形式实现大规模知识库的构建，具有良好的扩展性。

面向多源异构数据，每一种数据源的知识化都需要综合各种不同的技术的手段。知识图谱构建的基本流程为：首先确定知识表示模型，实现本体(Ontology)层的定义；接着根据数据来源选择不同的知识抽取方法导入知识，对于非结构数据，需要综合命名实体识别(Named Entity Recognition)、关系抽取(Relation Extraction)、事件抽取(EventExtraction)等自然语言处理技术，实现非结构化知识抽取。对于结构化数据，需要定义数据到本体模型之间的语义映射，实现结构化知识抽取。对于半结构化数据，需要通过包装器的方法完成信息的抽取；最后综合利用知识推理、知识融合等技术对构建的知识图谱进行质量提升。

知识图谱技术与各行业的深度融合和已经成为一个重要趋势。虽然目前精细化工行业已获得和存储了大量工业数据，但是由于缺少智能化手段，这些工业数据没有创造出“1+1>2”的价值。通过知识图谱技术对数据进行提炼、萃取、关联、整合从而形成领域知识，并构建知识引擎从而实现知识应用自动化，已成为行业智能化日渐清晰的一条路径。

发明内容

本发明针对在环氧乙烷衍生品生产过程场景下的知识管理任务，提出了一种完整、准确、高效的精细化工领域知识图谱构建技术。

本发明的技术方案：

面向环氧乙烷衍生品生产过程的知识图谱构建方法，步骤如下：

(1)梳理数据来源

本发明涵盖了环氧乙烷衍生品(EOD)生产过程的以下5种数据：一是EOD流程图和PID图纸，详细描述了EOD工艺流程以及监控样点对应流程中的位置；二是集散控制系统(DCS)中的过程测量数据，即监控样点，用于实时监控生产线的过程变量状态。EOD生产线存在三种类型过程测量数据：压力、温度、流速；三是DCS岗位运行记录表，记录了员工在岗对EOD生产线每一环节的监控及操作行为；四是EOD装置的工艺控制条件，描述了EOD生产线每一个环节、每一个设备的工艺控制范围；五是安全仪表系统(SIS)中的安全联锁规则，用于装置的安全联锁停车；六是危险与可操作性分析(HAZOP)报告，记录了EOD生产过程中异常行为的状态、引发条件、后果、处理方案以及预处理措施等内容；

针对以上6种数据，面向EOD生产过程的知识图谱的构建过程分为两个部分：本体层构建和数据层获取；采用“自顶向下”与“自底向上”相结合的方法构建本体层以及数据层；

(2)基于本体论的知识建模

本体层的构建是抽象出EOD领域内的概念层次结构，定义每个概念的相关属性、关系以及公理准则。由于实际工厂中存在大量多模态数据，本发明中所涉及的数据源仅仅是EOD生产过程中所产生的一部分数据，因此提出了一种基于数据驱动的增量式本体建模方法来逐步构建本体层，完善概念层定义，保证了知识图谱的可扩展性。同时利用OWL语言对本体层进行知识表示和公理的设计。本发明将本体模型定义为：

O＝<C,R,A,E,F>

其中，O：EOD本体模型；

C：本体或类，指某一类实体对象或概念的集合；

R：逻辑关系，指本体之间的语义关系；

A：属性关系，指本体具有的属性和属性值；

E：实体，指本体的实例化；

F：函数或公理，用于表示本体间复杂关系的描述逻辑；

基于上述本体模型的定义，构建以EOD生产过程为核心的面向设备结构域、装置结构域、系统结构域、风险原因域、风险类别域和维修措施域6个相互关联的域的本体；采用自顶向下的方法进行本体体系划分，并对本体进行属性关系的定义，搭建EOD知识图谱的本体层框架；同时，将EOD装置的工艺控制条件和SIS安全联锁规则以公理的形式表示，进而对相关实体属性进行约束，使得EOD本体模型具备推理机制；

由于构建知识图谱是一个迭代更新的过程，新知识的融合在填充数据层的同时也会不断完善本体层框架；因此，通过对多源数据的知识抽取，采用自底向上的方式细化和补全本体层相关概念及属性；

(3)基于DCS数据库的结构化知识抽取

DCS数据库将关于EOD生产线监控样点的历史数据存储在关系数据库中；对结构化类型数据进行知识抽取时，为了避免数据的重复冗余，采用虚拟知识图谱的方式对DCS数据库中的数据进行虚拟映射，从而支持以访问知识图谱的形式直接访问关系数据库；

本方法提出了一种新的映射机制实现结构化知识抽取；DCS数据库设计模式是用位号即监控样点作为关系表属性或字段；因此，首先根据关系数据库的设计模式在步骤(2)知识建模的基础上细化本体层相关概念及属性的定义，然后通过映射规则实现三元组映射。基于将监控样点每一条历史数据实体化这一目的，设计了一种新的映射规则：将关系表中的属性定义为知识图谱中的本体，包括时间本体和位号本体；而关系表中的属性值作为知识图谱中的实体存在，每一个传感器实体具有时间戳属性，连接对应时间实体。如下：

ex:EOD/DCS/{PI-3175}a:监控点

ex:EOD/DCS/{TIME}a:时间点

ex:EOD/DCS/{PI-3175}TimeStamp{TIME}

其中，ex代表EOD知识图谱的命名空间，将DCS数据库中的属性为PI-3175的每一条属性值作为实体链接到知识图谱监控点本体上，属性为TIME的每一条属性值作为实体链接到时间点本体上，每一个监控点实体与对应的时间实体通过TimeStamp对象属性相关联。

除了DCS数据库中的生产数据外，DCS岗位运行记录表也是以结构化的形式存储在相应系统平台上，记录了员工在巡检过程中的监控和操作行为，这部分结构化数据通过相同的映射方式实现知识抽取；因此，在本体层定义了员工本体，该员工本体具有工号、工位、在岗时间、生产操作的逻辑属性；然后将记录表相关属性及属性值依次映射到知识图谱上，相关属性包括进料开始、脱气开始、中和剂进入、冷却；

(4)基于HAZOP报告的非结构化知识抽取

HAZOP报告包含了大量EOD生产过程中的事故状态、引发原因、造成后果以及处理措施等异常事件描述。由于HAZOP报告以非结构化文本呈现，需要通过自然语言处理技术，实现从文本中抽取知识。本发明采用命名实体识别技术(NER)进行非结构化知识抽取，需要提取的实体有化学品(Chemical)、事故(Accident)、设备(Equipment)。

首先从HAZOP中提取出相关语句进行数据标注，采用BIO格式进行数据标注，其中B表示实体的第一个字，I表示实体的中间部分，O表示非实体。将数据集相关实体标注为“B-CHE”，“B-ACC”，“B-EQU”，“I-CHE”，“I-ACC”，“I-EQU”,非实体标注为O。标注好的数据集以8:1:1的比例划分成训练集、测试集和验证集。

然后以BERT+BiLSTM+CRF模型作为命名实体识别模型进行训练验证。该模型由Bert、BiLSTM、CRF三个模块组成。

模型第一层利用BERT预训练模进行字嵌入(embedding),有效提取文本中的语义特征。BERT的网络架构使用多层Transformer结构，其本质是通过在海量语料的基础上无监督训练为单词学习一个好的特征表示，更好的融合前后文的知识，为下游任务学习大量的先验的语言、句法、词义等信息；

模型第二层为双向LSTM层，第一层获取的嵌入向量作为第二层LSTM各个时间步的输入。LSTM由3个门控组成：

①遗忘门：f_t＝σ(W_f·[h_t-1,x_t]+b_f)

其中，h_t-1为前一时刻的隐藏状态，x_t为当前时刻的输入信息，W_f为权重矩阵，b_f为偏置项，σ为激活函数；

②输入门：i_t＝σ(W_i·[h_t-1,x_t]+b_i)

进而得到当前时刻的单元状态：

其中，W_i为权重矩阵，b_i为偏置项，W_c为权重矩阵，b_c为偏置项,C_t-1为前一时刻的单元状态；

③输出门：O_t＝σ(W_o·[h_t-1,x_t]+b_o)

h_t＝O_t*tanh(C_t)

输入的文本信息从前向和后向两个方向获得隐藏状态序列

(前向)、

(后向)，最后通过拼接得到最终的隐藏状态序列h_t

模型第三层将第二层的h_t通过线性输出层映射到k维(数据集标注的标签类别数目)，得到每一个字属于每一个分类标签的概率，最后通过CRF层计算得分函数，概率最大的标签序列作为预测结果输出，得分函数定义如下：

其中，

代表文本信息中词x_i映射到标签y_i的非归一化概率，转移矩阵

代表标签y_i到y_i+1的转移概率，通过对所有词x_i标签概率矩阵与转移矩阵的求和得到得分函数S(X,y)，再利用softmax函数进行归一化得到输入序列属于某一个标签序列的概率P(y|X)。概率最大的序列作为该模型的预测结果。

本发明的有益效果：

(1)自顶向下和自底向上相结合的本体构建方式

本发明结合了EOD生产线数据特点，以生产过程为核心通过人工总结归纳概念自顶向下构建本体层框架。同时考虑到工厂数据多源分散、结构复杂，我们无法一次性抽取出所有知识。因此，我们采用了迭代增量式方法，通过不断获取多模态数据自底向上逐步抽象生成顶层概念，完善和扩充本体层框架。

(2)一种新的结构化知识抽取映射规则

本发明为了将结构化数据以实体形式映射到知识图谱，以更好得与其他数据实体相关联，避免实体的冗余和繁琐，打破了传统的数据库的映射规则，将数据库中的每一条数据实体化、每一列属性本体化，为EOD结构化知识的抽取提供了一种新的映射方式。同时，我们采用虚拟知识图谱的方法实现结构化知识抽取，避免了通过知识图谱向最终用户暴露原始数据源的问题，保证了数据存储在工厂原系统的安全性。集成后的数据相当于原始数据上的一个视图，通常不需要固化，而是可以保持虚拟化，这样也减少了固化视图数据的时间和额外的存储空间，使得数据集成更加高效灵活，具有可扩展性。

(3)非结构化知识抽取模型的有效性

本发明所采用的命名实体识别模型BERT-BiLSTM-CRF，借助了BERT强大的特征提取能力，字嵌入特征的提取是通过BERT的预训练+fine-tune获得，解决了NER标注数据少导致文本信息抽取效果不佳的问题。同时，本发明在标注数据时，每一个字对应一个标签，使得通过BiLSTM层后预测的标签是独立的，考虑到实体内标签预测的一致性，因此使用了CRF来计算整个标签序列的全局最优，从而实现实体识别。

附图说明

图1为本发明EOD知识图谱构建整体流程框架图。

图2为本发明本体层框架图。

图3为本发明非结构化知识抽取的模型图。

具体实施方式

下面结合附图和技术方案，进一步说明本发明的具体实施方式。

本实施例所使用的数据是EOD生产过程的相关数据，共搜集分析了6种数据源。根据数据类型及特点的不同，将其划分为结构化数据、非结构化数据、其他类型数据三种。针对数据的类型和用途分别采用本发明提出的相应方法进行知识建模和知识抽取。

知识图谱本体层的构建以EOD生产过程为核心，首先梳理EOD生产流水线，包括生产环节、生产设备、传感器设备、物料等，抽象出相关概念，进行类别划分，利用OWL语言构建本体层，依据EOD工艺控制条件设计本体的逻辑属性。比如：

①子类说明。声明两个类的子属关系。如：

exp:安全风险owl:subclass exp:环氧乙烷衍生品生产线

exp:后处理owl:subclass exp:工艺流程

②等价性说明。声明两个类、属性和实例是等价的。如：

exp:环氧乙烷衍生品owl:equivalentClassexp:EOD

exp:危险与可操作性分析owl:equivalentClassexp:HAZOP

exp:异丁烯醇聚氧乙烯醚owl:equivalentClassexp:HPEG

③属性互逆说明。声明两个属性有互逆的关系。如：

exp:ConnectToowl:inverseOfexp:ConnectFrom

④属性范围说明。声明属性的主语和谓语的对象范围。如：

exp:reactantrdfs:domainexp:chemical

exp:reactantrdfs:rangeexp:chemical reaction

exp:V-2110储罐温度正常范围rdfs:range exp:20-110

OWL强大的语义表达能力使得可以定义较为复杂的公理准则，利用其推理机制基于公理准则进行前向链推理。比如，在EOD生产过程中，当出现多处异常时，SIS系统会紧急联锁来防止重大事故发生。SIS系统所设计的安全联锁规则可以用OWL的公理表示：

PSHH-3204somexsd:integer[>＝700]and

TSHHH-3202some xsd:integer[>＝205]

其中，上述语言对一个安全联锁规则实体进行属性约束。当出现以上两个位号PSHHH-3204和TSHH-3202各自联锁值越过界值时，触发该安全联锁规则实体：关闭EOD进料管线阀门。

知识图谱数据层的构建采用结构化知识抽取、非结构化知识抽取的方法，实现将EOD生产过程数据加入到知识库中。DCS数据库、DCS岗位运行记录表等结构化数据通过虚拟知识图谱映射的方式映射到相应本体层。首先确定工厂中数据库的设计模式，包括每一个数据表的属性、域等，将每一种属性定义为本体、域定义为本体的逻辑属性；然后利用Ontop等OBDA系统(基于本体的数据库访问系统)设计映射规则，最后完成数据映射。

HAZOP报告等以文本形式存在的非结构化数据基本涵盖了EOD生产中所涉及的物料、事故、设备等信息，通过命名实体识别(NER)技术将相关实体自动化抽取出来链接到知识图谱。首先采用BIO格式对文本数据进行逐字标注,并将标注好的数据划分为训练集、测试集和验证集；然后利用官方颁布的Bert训练好的模型chinese_L-12_H-768_A-12向量化语料样本，输入到搭建好的BiLSTM+CRF模型中，进行模型训练、测试和验证。

图1为本发明EOD知识图谱构建整体流程框架图。将EOD知识图谱的构建为两部分：本体层构建和数据层构建。本体层采用了自顶向下和自底向上相结合的方法增量迭代式不断扩充本体框架，知识建模的工具使用了斯坦福大学医学院生物信息研究所中心基于Java语言开发的本体编辑和本体开发工具——Protégé。数据层主要以结构化数据和非结构化数据为数据来源，分别采用虚拟映射的方式和命名实体识别技术的方法实现知识抽取，将数据加入到知识库中，同时完善本体层知识体系。

图2为本发明本体层框架图。通过梳理数据源，采用自顶向下的方式对EOD生产过程相关知识进行了分析和类别划分，定义了如图示中的顶层本体框架。主要将EOD生产过程分为了五个大类即顶层本体：工艺流程类、设备装置类、安全风险类、控制系统类和班组日志类。然后以五个大类为基础细化相关概念，通过对不同数据源的知识抽取，抽象出数据实体的概念，不断完善和补充本体层框架。

图3为本发明非结构化知识抽取的模型图。本模型利用强大的预训练语言模型——BERT模型作为字嵌入模块，提取文本中丰富的语义信息特征。BERT由多层Transformer结构组成，图中一个“Trm”对应一个Transformer块。然后将由BERT模块获得的字向量输入BiLSTM模块，学习上下文特征信息，得到每一个字属于每个类别标签的非归一化概率。最后通过CRF层计算每一种标签序列的概率值，得分最高的序列作为模型的输出。

Claims (1)

1.一种面向环氧乙烷衍生品生产过程的知识图谱构建方法，其特征在于，步骤如下：

(1)数据整理

环氧乙烷衍生品EOD生产过程包括6类数据：1)EOD流程图和PID控制图，用于描述EOD工艺流程以及监控样点对应流程中的位置；2)集散控制系统DCS中的过程测量数据即监控样点，用于实时监控生产线的过程变量状态；其中EOD生产线存在三种类型过程测量数据：压力、温度、流速；3)DCS岗位运行记录表，用于记录员工在岗对EOD生产线每一环节的监控及操作行为；4)EOD装置的工艺控制条件，用于描述EOD生产线每一个环节、每一个设备的工艺控制范围；5)安全仪表系统SIS中的安全联锁规则，用于装置的安全联锁停车；6)危险与可操作性分析HAZOP报告，用于记录EOD生产过程中异常行为的状态、引发条件、后果、处理方案以及预处理措施；

针对以上6种数据，面向EOD生产过程的知识图谱的构建过程分为两个部分：本体层构建和数据层获取；采用“自顶向下”与“自底向上”相结合的方法构建本体层以及数据层；

(2)基于本体论的知识建模

本体层的构建是抽象出EOD领域内的概念层次结构，定义每个概念的相关属性、关系以及公理准则；综合考虑EOD生产过程的数据类型及特点，提出一种基于数据驱动的增量式本体建模方法来逐步构建本体层，利用OWL语言对本体层进行知识表示和公理的设计；将本体模型定义为：

O＝<C,R,A,E,F>

其中，O：EOD本体模型；

C：本体或类，指某一类实体对象或概念的集合；

R：逻辑关系，指本体之间的语义关系；

A：属性关系，指本体具有的属性和属性值；

E：实体，指本体的实例化；

F：函数或公理，用于表示本体间复杂关系的描述逻辑；

基于上述本体模型的定义，构建以EOD生产过程为核心的面向设备结构域、装置结构域、系统结构域、风险原因域、风险类别域和维修措施域6个相互关联的域的本体；采用自顶向下的方法进行本体体系划分，并对本体进行属性关系的定义，搭建EOD知识图谱的本体层框架；同时，将EOD装置的工艺控制条件和SIS安全联锁规则以公理的形式表示，进而对相关实体属性进行约束，使得EOD本体模型具备推理机制；

由于构建知识图谱是一个迭代更新的过程，新知识的融合在填充数据层的同时也会不断完善本体层框架；因此，通过对多源数据的知识抽取，采用自底向上的方式细化和补全本体层相关概念及属性；

(3)基于DCS数据库的结构化知识抽取

DCS数据库将关于EOD生产线监控样点的历史数据存储在关系数据库中；对结构化类型数据进行知识抽取时，为了避免数据的重复冗余，采用虚拟知识图谱的方式对DCS数据库中的数据进行虚拟映射，从而支持以访问知识图谱的形式直接访问关系数据库；

本方法提出了一种新的映射机制实现结构化知识抽取；DCS数据库设计模式是用位号即监控样点作为关系表属性或字段；因此，首先根据关系数据库的设计模式在步骤(2)知识建模的基础上细化本体层相关概念及属性的定义，然后通过映射规则实现三元组映射；基于将监控样点的每一条历史数据实体化这一目的，设计了一种新的映射规则：将关系表中的属性定义为知识图谱中的本体，包括时间点本体和位号本体；而关系表中的属性值作为知识图谱中的实体存在，每一个位号实体具有时间戳属性，连接对应时间实体；如下：

ex:EOD/DCS/{PI-3175}a:监控样点

ex:EOD/DCS/{TIME}a:时间点

ex:EOD/DCS/{PI-3175}TimeStamp{TIME}

其中，ex代表EOD知识图谱的命名空间，将DCS数据库中的属性为PI-3175的每一条属性值作为实体链接到知识图谱监控样点本体上，属性为TIME的每一条属性值作为实体链接到时间点本体上，每一个监控样点实体与对应的时间实体通过TimeStamp对象属性相关联；

除了DCS数据库中的生产数据外，DCS岗位运行记录表也是以结构化的形式存储在相应系统平台上，记录了员工在巡检过程中的监控和操作行为，这部分结构化数据通过相同的映射方式实现知识抽取；因此，在本体层定义了员工本体，该员工本体具有工号、工位、在岗时间、生产操作的逻辑属性；然后将记录表相关属性及属性值依次映射到知识图谱上，相关属性包括进料开始、脱气开始、中和剂进入、冷却；

(4)基于HAZOP报告的非结构化知识抽取

HAZOP报告包含EOD生产过程中的事故状态、引发原因、造成后果以及处理措施异常事件描述；采用命名实体识别技术进行非结构化知识抽取，需要提取的实体有化学品Chemical、事故Accident、设备Equipment；

首先从HAZOP报告中提取出相关语句进行数据标注，采用BIO格式进行数据标注，其中，B表示实体的第一个字，I表示实体的中间部分，O表示非实体；将数据集相关实体标注为“B-CHE”，“B-ACC”，“B-EQU”，“I-CHE”，“I-ACC”，“I-EQU”,非实体标注为O；标注好的数据集以8:1:1的比例划分成训练集、测试集和验证集；

然后以BERT+BiLSTM+CRF模型作为命名实体识别模型进行训练验证，该模型由Bert、BiLSTM、CRF三个模块组成；

模型第一层利用BERT预训练模型进行字嵌入，提取文本中的语义特征；BERT的网络架构使用多层Transformer结构；

模型第二层为双向LSTM层，第一层获取的嵌入向量作为第二层LSTM各个时间步的输入；LSTM由3个门控组成：

①遗忘门：f_t＝σ(W_f·[h_t-1,x_t]+b_f)

其中，h_t-1为前一时刻的隐藏状态，x_t为当前时刻的输入信息，W_f为权重矩阵，b_f为偏置项，σ为激活函数；

②输入门：i_t＝σ(W_i·[h_t-1,x_t]+b_i)

进而得到当前时刻的单元状态：

其中，W_i为权重矩阵，b_i为偏置项，W_c为权重矩阵，b_c为偏置项,C_t-1为前一时刻的单元状态；

③输出门：O_t＝σ(W_o·[h_t-1,x_t]+b_o)

h_t＝O_t*tanh(C_t)

输入的文本信息从前向和后向两个方向获得隐藏状态序列

最后通过拼接得到最终的隐藏状态序列h_t；

模型第三层为CRF层，将第二层的h_t通过线性输出层映射到k维即数据集标注的标签类别数目，得到每一个字属于每一个分类标签的概率，最后通过CRF层计算得分函数，概率最大的标签序列作为预测结果输出，得分函数定义如下：

其中，

代表文本信息中词x_i映射到标签y_i的非归一化概率，转移矩阵

代表标签y_i到y_i+1的转移概率，通过对所有词x_i标签概率矩阵与转移矩阵的求和得到得分函数S(X,y)，再利用softmax函数进行归一化得到输入序列属于某一个标签序列的概率P(y|X)；概率最大的序列作为该模型的预测结果。

Images