CN108052576A - 一种事理知识图谱构建方法及系统 - Google Patents

Abstract

本发明涉及一种事理知识图谱构建方法及系统，该构建系统包括：宏观事件层构建模块、微观知识层构建模块、关系映射模块、本体层构建模块和事理知识图谱生成模块；所述宏观事件层构建模块包括：事件实体抽取单元、事件演化单元和因果关系抽取单元；所述微观知识层构建模块包括：微观实体抽取单元。本发明通过从结构化数据中获取事件实体和微观实体，分别构建宏观事件层和微观实体层，并抽取不同事件实体之间的因果关系映射到微观实体中，通过对微观实体层中微观实体的关系、类型和因果关系进行抽象和归纳，由此判断事件形成突发性群体响应的本质原因，对突发事件进行预警预测。

Description

一种事理知识图谱构建方法及系统

技术领域

本发明涉及信息挖掘技术领域，尤其涉及一种事理知识图谱构建方法及系统。

背景技术

随着虚拟化、云计算等互联网技术的广泛应用，特别是社会化媒体，诸如微博、微信等在民众中的飞速发展与广泛普及，网络空间较现实社会更频繁的成为个体交流和情感表达的场所。以世界著名的在线社交网站Facebook为例，2011年底其月活跃用户已达8.45亿，而在2014年，微信的月活跃用户数超过8.06亿(2014年全国人口为13.68亿人)。覆盖面如此广泛的社会化媒体一方面能够大幅度降低获取信息的难度，为人们日常工作生活带来便利；另一方面也由于管控成本及时效的原因，导致部分携带虚假、负面信息的内容极易大范围扩散，乃至形成一些应激突发性的恶性群体性事件。

近年来，知识图谱相关技术由于其广泛的应用场景与灵活高效的归纳、推理、分析手段而广为人知。作为知识图谱技术的原始模型，1977年E.A.Feigenbaum首次提出知识工程的概念并通过恰当利用计算机处理分析特定专业领域数据来解决实际应用。2012年，谷歌基于大量前期研究与应用提出了知识图谱项目，其最初目标为满足用户智能搜索需求，为用户提供附带推理分析功能的智能搜索结果。在此基础上，伴随着大量相关应用于研究发现，知识图谱附带的本体层能够有效归纳知识的本质特征，为实现基于知识的推理提供了保证。但知识图谱的结构与构建方式需要根据实际的应用环境进行有针对性的调整，才能真正付诸使用。

发明内容

为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种事理知识图谱构建方法，包括：

从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层，通过聚合演化使所述宏观事件层内的事件实体之间形成事件演化链，并基于事件演化链抽取事件实体之间的因果关系；

从所述结构化数据中抽取微观实体组成微观知识层，根据事件实体与微观实体之间的映射关系，将所述因果关系映射到所述微观知识层；

对所述微观知识层的微观实体和微观实体间的因果关系进行抽象和归纳，形成事理知识本体层，由所述宏观事件层、微观知识层和事理知识本体层构成事理知识图谱。

可选的，所述通过知识抽取技术从所述结构化数据中抽取微观实体组成微观知识层，具体包括：

通过命名实体识别、实体间关系抽取和实体属性抽取技术从所述结构化数据中抽取实体、实体间关系和实体属性，组成包括所述实体、实体间关系和实体属性的微观实体，并通过所述微观实体组成微观知识层。

可选的，所述从所述结构化数据中抽取微观实体组成微观知识层，还包括：

对抽取得到的所述实体和实体间关系进行指代消歧和共指消解处理；

基于预存储的实体关系的连通图对所述实体进行关系预测，得到预测实体间关系，并将所述预测实体间关系添加到所述实体间关系中。

可选的，从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层，具体包括：

对所述结构化数据进行快速事件检测得到所有待处理事件实体；

对所有所述待处理事件实体分别进行事件实体属性抽取，分别得到每一组待处理事件实体的事件实体属性组，事件实体属性组中事件实体属性的种类包括：标题、时间、地点、人物、类型、情感和关键词；

将事件实体属性的类型与所述预设置类型相同的待处理事件实体作为所述事件实体，并通过所有所述事件实体组成宏观事件层。

可选的，所述从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层之前，还包括：

通过基于流式异常图检测的事件检测算法从数据源中获取各种类型的源数据，并对所述源数据进行预处理，得到所述结构化数据；所述预处理包括：采集、清洗和规范化。

本发明实施例还提供了一种事理知识图谱构建系统，包括：宏观事件层构建模块、微观知识层构建模块、关系映射模块、本体层构建模块和事理知识图谱生成模块；所述宏观事件层构建模块包括：事件实体抽取单元、事件演化单元和因果关系抽取单元；所述微观知识层构建模块包括：微观实体抽取单元；

所述宏观事件层构建模块，用于通过所述事件实体抽取单元从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层；

所述事件演化单元，用于通过聚合演化使所述宏观事件层内的事件实体之间形成事件演化链；

所述因果关系抽取单元，用于基于事件演化链抽取事件实体之间的因果关系；

所述微观知识层构建模块，用于通过微观实体抽取单元利用知识抽取技术从所述结构化数据中抽取微观实体组成微观知识层；

所述关系映射模块，用于根据事件实体与微观实体之间的映射关系，将所述因果关系映射到所述微观知识层；

所述本体层构建模块，用于对所述微观知识层的微观实体和微观实体间的因果关系进行抽象和归纳，形成事理知识本体层；

事理知识图谱生成模块，用于由所述宏观事件层、微观知识层和事理知识本体层构成事理知识图谱。

可选的，微观知识层构建模块，具体用于，通过微观实体抽取单元利用命名实体识别、实体间关系抽取和实体属性抽取技术从所述结构化数据中抽取实体、实体间关系和实体属性，组成包括所述实体、实体间关系和实体属性的微观实体，并通过所述微观实体组成微观知识层。

可选的，所述微观知识层构建模块还包括：微观实体融合单元，用于对抽取得到的所述实体和实体间关系进行指代消歧和共指消解处理；并基于预存储的实体关系的连通图对所述实体进行关系预测，得到预测实体间关系，将所述预测实体间关系添加到所述实体间关系中。

可选的，所述宏观事件层构建模块，具体用于，通过所述事件实体抽取单元对所述结构化数据进行快速事件检测得到所有待处理事件实体；对所有所述待处理事件实体分别进行事件实体属性抽取，分别得到每一组待处理事件实体的事件实体属性组；将事件实体属性的类型与所述预设置类型相同的待处理事件实体作为所述事件实体，并通过所有所述事件实体组成宏观事件层；事件实体属性组中事件实体属性的种类包括：标题、时间、地点、人物、类型、情感和关键词。

可选的，该构建系统还包括：数据清洗模块，用于通过基于流式异常图检测的事件检测算法从数据源中获取各种类型的源数据，并对所述源数据进行预处理，得到所述结构化数据；所述预处理包括：采集、清洗和规范化。

本发明的上述技术方案与现有技术相比具有如下优点：本发明通过从结构化数据中获取事件实体和微观实体，分别构建宏观事件层和微观实体层，并抽取不同事件实体之间的因果关系映射到微观实体中，通过对微观实体层中微观实体的关系、类型和因果关系进行抽象和归纳，由此判断事件形成突发性群体响应的本质原因，对突发事件进行预警预测。

附图说明

图1是本发明实施例提供的一种事理知识图谱构建方法流程示意图；

图2是本发明另一实施例提供的一种事理知识图谱构建系统结构示意图；

图3是本发明另一实施例提供的一种事理知识图谱构建系统结构示意图其一；

图4是本发明又一实施例提供的一种事理知识图谱中因果关系映射实例结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供的一种事理知识图谱构建方法，包括：

从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层，通过聚合演化使宏观事件层内的事件实体之间形成事件演化链，并基于事件演化链抽取事件实体之间的因果关系；

通过知识抽取技术从结构化数据中抽取微观实体组成微观知识层，根据事件实体与微观实体之间的映射关系，将因果关系映射到微观知识层；

对微观知识层的微观实体和微观实体间的因果关系进行抽象和归纳，形成事理知识本体层，由宏观事件层、微观知识层和事理知识本体层构成事理知识图谱。

上述实施例，本发明实施例通过从结构化数据中获取事件实体构建宏观事件层，由此抽取不同事件实体之间的因果关系，并获取结构化数据中的微观实体构建微观实体层，因事件实体均可与部分微观实体进行对应，由此将不同事件实体之间的因果关系映射到微观实体中，对微观实体层中微观实体的关系、类型和因果关系进行抽象和归纳，形成事理知识本体，根据事理知识本体构建事理知识图谱，由此判断事件形成突发性群体响应的本质原因，对突发事件进行预警预测，突发性群体响应事件的共性即为预设置类型，如人身伤害类、自然灾害类、金融诈骗类等引发公众舆论的时间，可用textCNN等分类算法给出的。

如图2和图3所示，本发明另一实施例提供的一种事理知识图谱构建系统，包括：宏观事件层构建模块、微观知识层构建模块、关系映射模块、本体层构建模块和事理知识图谱生成模块；宏观事件层构建模块包括：事件实体抽取单元、事件演化单元和因果关系抽取单元；微观知识层构建模块包括：微观实体抽取单元；

宏观事件层构建模块，用于通过事件实体抽取单元从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层，宏观事件层以实体加属性的形式定义事件实体，该预设置类型为突发性群体响应事件的共性，如人身伤害类、自然灾害类、金融诈骗类等引发公众舆论的时间，可用textCNN等分类算法给出的；

事件演化单元，用于通过聚合演化使宏观事件层内的事件实体之间形成事件演化链；

因果关系抽取单元，用于基于事件演化链抽取事件实体之间的因果关系，具体的，对事件实体之间的因果分析，采用偏序因果关系抽取技术抽取事件实体之间的因果关系，具有因果关系的两个事件实体间存在时序上的先后关系；

微观知识层构建模块，用于通过微观实体抽取单元利用知识抽取技术从结构化数据中抽取微观实体组成微观知识层，微观知识层一方面保有传统知识图谱中实体及实体间关系、属性等元素；另一方面将宏观事件层的事件实体进行细粒度拆解，将事件实体之间的因果关系与微观知识层中的微观实体一一对应；

关系映射模块，用于根据事件实体与微观实体之间的映射关系，将因果关系映射到微观知识层，由于事件实体的属性均可对应微观知识层中的实体，所以宏观事件层中的事件实体均可在微观知识层匹配合适的实体，形成映射关系。这样一来，事件的描述便可借由微观知识层中实体间的关系进行进一步扩展，对事件进行更细粒度的剖析，挖掘事件实体之间的因果关系与细粒度微观实体间因果关系的映射方式，因果关系是描述对象间存在的一种先后相继、彼此制约的一对范畴，此类因果关系在时序上具有严格的先后关系，且不受关系间微观实体的影响，从文本数据中抽取因果关系并进行归纳能够直接用来作为继发预测的依据，因此，本发明实施例基于统计数据及经过抽取的文本特征采用规则方法抽取同一事件不同演化阶段间的因果关系，以此作为预警预测的依据；

本体层构建模块，用于对微观知识层的微观实体和微观实体间的因果关系进行抽象和归纳，形成事理知识本体层，具体的，针对微观知识层中对应不同事件实体间语义、结构的归纳抽象，以及事件发展演化过程中明显的因果知识，形成事理知识本体层；

事理知识图谱生成模块，用于由宏观事件层、微观知识层和事理知识本体层构成事理知识图谱。

微观知识层是宏观事件层中实体的细粒度表示，而本体层是微观知识层中事理知识的抽象。这样的结构能够有效抽取事件的细粒度事理知识，同样能够有效发现不同事件间深层次的共性，积淀难以直接发现的事件本质联系及知识。

上述结构化数据通过数据清洗模块从数据源获取源数据处理后得到，用于通过基于流式异常图检测的事件检测算法从数据源中获取各种类型的源数据，并对源数据进行预处理，得到结构化数据，得到质量更好的输入数据进行处理，减少后续工作中不必要的工作量；预处理包括：采集、清洗和规范化，数据源中包括：结构化数据、半结构化数据和非结构化数据。

如图3所示，在本实施例中，微观知识层构建模块，通过知识抽取技术从结构化数据中抽取微观实体，为本发明提供传统的知识图谱的数据以得到数据支撑，具体的，通过微观实体抽取单元利用命名实体识别、实体间关系抽取和实体属性抽取技术从结构化数据中抽取实体、实体间关系和实体属性，组成包括实体、实体间关系和实体属性的微观实体，并通过微观实体组成微观知识层，作为信息抽取领域的经典问题，选取近期成熟的基于attention机制的Bi-LSTM模型及CRF、softmax等下游输出层来获取包括实体、关系、属性的知识。

如图3所示，在本实施例中，微观知识层构建模块还包括：微观实体融合单元，通过知识融合技术对从结构化数据中抽取的实体进行处理，减少冗余，提高抽取得到的知识的质量，对抽取得到的实体和实体间关系进行指代消歧和共指消解处理；并基于预存储的实体关系的连通图对实体进行关系预测，得到预测实体间关系，将预测实体间关系添加到实体间关系中，具体的，为了提升抽取知识的质量，优化微观知识层的知识结构，对抽取到的微观实体进行实体链接及链接预测操作。其中，实体链接作为对微观实体及微观实体间关系进行指代消歧与共指消解的工作，能够有效削减知识结构中冗余实体、关系的个数，提升知识的精炼程度。而链接预测作为探索微观实体间隐含关系的任务能够将原本稀疏的知识结构变得更为稠密，从而为后续关系挖掘提供更可靠的数据支持。

如图3所示，在本实施例中，宏观事件层构建模块，具体用于，通过事件实体抽取单元对结构化数据进行快速事件检测得到所有待处理事件实体；为了进一步贴合事件实体的定义，我们将事件表示形式设置为标准的七元组，七元组包括：标题、时间、地点、人物、类型、情感和关键词，并以事件实体属性的形式将其存储在宏观事件层，对所有待处理事件实体分别进行事件实体属性抽取，即为图3中事件元组抽取，分别得到每一组待处理事件实体的事件实体属性组；将事件实体属性的类型与预设置类型相同的待处理事件实体作为事件实体，并通过所有事件实体组成宏观事件层；事件实体属性组中事件实体属性的种类。

如图4所示，本发明提供的一个具体实施例，“徐玉玉案”事件的发生与省公安部的挂牌督办存在直接的因果关系，而观察其在微观知识层映射所形成的事件相关微观实体所组成图结构不难发现，两个事件间存在的因果关系可直接反应在“死亡”，“督办”这两个微观实体间，因此将“徐玉玉案”事件的发生代表的事件实体和省公安部的挂牌督办代表的事件实体之间的因果关系映射到“死亡”和“督办”这两个微观实体上，在完成上述操作后，微观知识层中存在于微观实体间的因果关系在更细粒度上解释了宏观事件层中不同事件实体间演化的事理知识，成为事理知识本体层的数据来源。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种事理知识图谱构建方法，其特征在于，包括：

从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层，通过聚合演化使所述宏观事件层内的事件实体之间形成事件演化链，并基于事件演化链抽取事件实体之间的因果关系；

从所述结构化数据中抽取微观实体组成微观知识层，根据事件实体与微观实体之间的映射关系，将所述因果关系映射到所述微观知识层；

对所述微观知识层的微观实体和微观实体间的因果关系进行抽象和归纳，形成事理知识本体层，由所述宏观事件层、微观知识层和事理知识本体层构成事理知识图谱。

2.根据权利要求1所述的一种事理知识图谱构建方法，其特征在于，所述从所述结构化数据中抽取微观实体组成微观知识层，具体包括：

通过命名实体识别、实体间关系抽取和实体属性抽取技术从所述结构化数据中抽取实体、实体间关系和实体属性，组成包括所述实体、实体间关系和实体属性的微观实体，并通过所述微观实体组成微观知识层。

3.根据权利要求2所述的一种事理知识图谱构建方法，其特征在于，所述通过知识抽取技术从所述结构化数据中抽取微观实体组成微观知识层，还包括：

对抽取得到的所述实体和实体间关系进行指代消歧和共指消解处理；

基于预存储的实体关系的连通图对所述实体进行关系预测，得到预测实体间关系，并将所述预测实体间关系添加到所述实体间关系中。

4.根据权利要求1所述的一种事理知识图谱构建方法，其特征在于，从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层，具体包括：

对所述结构化数据进行快速事件检测得到所有待处理事件实体；

对所有所述待处理事件实体分别进行事件实体属性抽取，分别得到每一组待处理事件实体的事件实体属性组，事件实体属性组中事件实体属性的种类包括：标题、时间、地点、人物、类型、情感和关键词；

将事件实体属性的类型与所述预设置类型相同的待处理事件实体作为所述事件实体，并通过所有所述事件实体组成宏观事件层。

5.根据权利要求1-4中任一所述的一种事理知识图谱构建方法，其特征在于，所述从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层之前，还包括：

通过基于流式异常图检测的事件检测算法从数据源中获取各种类型的源数据，并对所述源数据进行预处理，得到所述结构化数据；所述预处理包括：采集、清洗和规范化。

6.一种事理知识图谱构建系统，其特征在于，包括：宏观事件层构建模块、微观知识层构建模块、关系映射模块、本体层构建模块和事理知识图谱生成模块；所述宏观事件层构建模块包括：事件实体抽取单元、事件演化单元和因果关系抽取单元；所述微观知识层构建模块包括：微观实体抽取单元；

所述宏观事件层构建模块，用于通过所述事件实体抽取单元从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层；

所述事件演化单元，用于通过聚合演化使所述宏观事件层内的事件实体之间形成事件演化链；

所述因果关系抽取单元，用于基于事件演化链抽取事件实体之间的因果关系；

所述微观知识层构建模块，用于通过微观实体抽取单元从所述结构化数据中抽取微观实体组成微观知识层；

所述关系映射模块，用于根据事件实体与微观实体之间的映射关系，将所述因果关系映射到所述微观知识层；

所述本体层构建模块，用于对所述微观知识层的微观实体和微观实体间的因果关系进行抽象和归纳，形成事理知识本体层；

事理知识图谱生成模块，用于由所述宏观事件层、微观知识层和事理知识本体层构成事理知识图谱。

7.根据权利要求6所述的一种事理知识图谱构建系统，其特征在于，微观知识层构建模块，具体用于，通过微观实体抽取单元利用命名实体识别、实体间关系抽取和实体属性抽取技术从所述结构化数据中抽取实体、实体间关系和实体属性，组成包括所述实体、实体间关系和实体属性的微观实体，并通过所述微观实体组成微观知识层。

8.根据权利要求7所述的一种事理知识图谱构建系统，其特征在于，所述微观知识层构建模块还包括：微观实体融合单元，用于对抽取得到的所述实体和实体间关系进行指代消歧和共指消解处理；并基于预存储的实体关系的连通图对所述实体进行关系预测，得到预测实体间关系，将所述预测实体间关系添加到所述实体间关系中。

9.根据权利要求6所述的一种事理知识图谱构建系统，其特征在于，所述宏观事件层构建模块，具体用于，通过所述事件实体抽取单元对所述结构化数据进行快速事件检测得到所有待处理事件实体；对所有所述待处理事件实体分别进行事件实体属性抽取，分别得到每一组待处理事件实体的事件实体属性组；将事件实体属性的类型与所述预设置类型相同的待处理事件实体作为所述事件实体，并通过所有所述事件实体组成宏观事件层。

10.根据权利要求6-9中任一所述的一种事理知识图谱构建系统，其特征在于，该构建系统还包括：数据清洗模块，用于通过基于流式异常图检测的事件检测算法从数据源中获取各种类型的源数据，并对所述源数据进行预处理，得到所述结构化数据；所述预处理包括：采集、清洗和规范化。