CN110990585B - 构建行业知识图谱的多源数据和时间序列处理方法及装置 - Google Patents

Abstract

本发明公开了一种构建行业知识图谱的多源数据和时间序列处理方法及装置，包括以下步骤：构建知识图谱的本体层，包括本体、本体属性和本体关系；从多个数据源中抽取实体和实体属性，对实体进行不一致性检验；对各实体的实体属性进行不一致性检验；实体之间的实体关系继承实体所对应的本体之间的本体关系；建立知识图谱数据库与时间序列数据库的索引。本发明的优点是:通过标准命名表和关系型数据库的唯一性设置最大限度地保证实体冲突解决的准确性，利用知识图谱具有本体层的优势，通过建立同类标签实现实体属性的精确分类，有效提高融合效率，通过建立知识图谱数据库本体与时间序列数据库表单之间的索引，解决知识图谱处理时间序列数据难的问题。

Description

构建行业知识图谱的多源数据和时间序列处理方法及装置

技术领域

本发明属于知识图谱技术领域，具体涉及一种构建行业知识图谱的多源数据和时间序列处理方法及装置。

背景技术

在大数据时代背景下，随着海量数据的出现以及多数据源融合交叉应用，多源异构数据难以融合的问题日益凸显，数据关联显得尤其重要，如果缺乏联系，会形成信息孤岛，使得对大数据进行处理和分析时，局限于某一小的区域内而不能挖掘出更有价值的信息。近年来，知识图谱作为一种新的知识表示方法和数据管理模式，建立真实世界中存在的各种实体或概念及其关系，实现不同数据源的数据整合。对于垂直领域的知识图谱来说，数据源主要包括三种：一是业务本身的数据，这部分数据通常包含在公司内的数据库表并以结构化的方式存储；二是网络上公开、抓取的数据，这部分数据通常是以网页形式存在的半结构化数据；三是纯文本资料、图像和视频等非结构化数据。

理论上凭借知识图谱可解决多源异构数据的抽取、融合与存储问题，但对于垂直领域的知识图谱目前缺乏有效的多源数据处理方法，一些有名的领域知识库大多是领域专家手工构建的，虽然质量高，但存在自动化程度低，知识覆盖率低、更新慢等问题，若采用半自动化方式构建行业知识图谱，利用通用知识图谱的知识抽取、融合方式，知识库质量难以保证，并且哪些环节需要人工参与以及具体处理方式等问题也一直是领域知识图谱落地的关键问题；此外，数据的暴涨与更新表明知识图谱是动态的，其中垂直领域的很多知识涉及时间序列，诸如日观测值、日销售量，日股票收盘价格、月平均气温等，此类数据不适宜直接存入图数据库，但又是分析研究之必须，知识图谱应如何处理这部分时间序列数据。

综上，构建行业知识图谱存在多源海量数据处理效率低、时间序列数据处理难等不足，本领域技术人员应寻求构建行业知识图谱的多源数据及时间序列处理方法。

发明内容

本发明的目的是根据上述现有技术的不足之处，提供一种构建行业知识图谱的多源数据和时间序列处理方法及装置，该处理方法通过实体标准命名表和关系型数据库唯一性设置进行实体冲突检测，实体建立后再基于本体属性一一抽取各实体的实体属性，同类本体属性下的实体属性建立同类标签，遍历同类标签进行实体属性融合，实体关系继承本体关系，最后建立知识图谱数据库与时间序列数据库之间的索引。

本发明目的实现由以下技术方案完成：

一种构建行业知识图谱的多源数据和时间序列处理方法，其特征在于所述处理方法包括以下步骤：

（S1）构建知识图谱的本体层，包括本体、本体属性以及本体关系；

（S2）从多个数据源中抽取实体和实体属性，并对实体进行不一致性检验；

（S3）对各实体的实体属性进行不一致性检验；

（S4）实体之间的实体关系继承实体所对应的本体之间的本体关系；

（S5）建立知识图谱数据库与时间序列数据库的索引。

步骤（S2）包括以下步骤：

（a）针对已有数据库中的结构化数据，进行结构化解析，提取实体和实体属性并存储至关系型数据库中；

针对来源于文档和图纸的半结构化数据和非结构化数据，创建具有固定格式和固定存储地址的标准数据表，所述固定格式包括实体及实体属性，根据所述固定存储地址将所述标准数据表定向联动存储至所述关系型数据库中；

针对来源于互联网上的半结构化或非结构化数据，通过爬虫技术进行采集、处理成结构化数据，提取实体和实体属性并存储至所述关系型数据库中；

（b）建立实体标准命名表，每个存储入所述关系型数据库中的实体遍历所述实体标准命名表，如所述实体标准命名表中不存在则报错并进行修改；在所述关系型数据库中预先设置实体的字段组的唯一性，所述字段组为单个字段或多个字段，在实体的字段组通过唯一性检测之后再存储入所述关系型数据库中。

步骤（S3）包括以下步骤：

从所述关系型数据库中将每个本体相应的实体抽取并存储至知识图谱数据库中，将实体具备的与本体的本体属性相同的实体属性抽取至所述知识图谱数据库中；

同类本体属性下的各实体属性建立同类标签，遍历同类标签进行实体属性融合，包括实体属性存入所述知识图谱数据库时以其所对应的本体属性作为标签，当新的实体属性录入到所述知识图谱数据库时，查找具有同一本体属性标签的实体属性进行检验，若不存在具有同一本体属性标签的实体属性，则增加该实体属性并以其所对应的本体属性作为标签；若已存在具有同一本体属性标签的实体属性，则直接建立该实体属性与实体的实体关系。

步骤（S5）包括以下步骤：建立所述知识图谱数据库与所述时间序列数据库的索引，所述时间序列数据库包括实体的表单以及各实体所对应的时间序列数据，所述索引可以通过本体查询其所对应实体的表单，再通过实体的表单查询到该实体对应的所有时间序列数据。

一种涉及任一所述构建行业知识图谱的多源数据和时间序列处理方法的装置，其特征在于所述装置包括多源数据处理模块和时间序列数据处理模块，其中：

所述多源数据处理模块包括数据采集子模块以及不一致性检验子模块；所述数据采集子模块用于获取来自于多个数据源中的结构化数据、半结构化数据以及非结构化数据，抽取实体和实体属性；所述不一致性检验子模块基于实体标准命名表中的命名规则和关系型数据库中的唯一性设置进行实体冲突检测；实体建立后再基于本体属性一一抽取各实体的实体属性，同类本体属性下的各实体属性建立同类标签，遍历同类标签进行实体属性融合；

所述时间序列数据处理模块用于建立知识图谱数据库与时间序列数据库的索引，时间序列数据库包括实体的表单以及各实体所对应的时间序列数据，所述索引可以通过本体查询其所对应实体的表单，再通过实体的表单查询到该实体对应的所有时间序列数据。

本发明的优点是：通过标准命名表和关系型数据库的唯一性设置最大限度地保证实体冲突解决的准确性，利用知识图谱具有本体层的优势，通过建立同类标签实现实体属性的精确分类，并有效提高融合效率，通过建立知识图谱数据库本体与时间序列数据库表单之间的索引，解决知识图谱处理时间序列数据难的问题。

附图说明

图1为本发明中构建行业知识图谱的多源数据和时间序列处理方法的流程示意图；

图2为本发明中在运营隧道结构安全评估领域的知识图谱本体层的示意图；

图3为本发明中实体和实体属性进行知识抽取和知识融合的流程示意图；

图4为本发明中建立知识图谱数据库与时间序列数据库索引的示意图。

具体实施方式

以下结合附图通过实施例对本发明的特征及其它相关特征作进一步详细说明，以便于同行业技术人员的理解：

实施例：如图1-4所示，本实施例具体涉及一种构建行业知识图谱的多源数据和时间序列处理方法，该处理方法主要包括以下步骤：

S1：结合领域知识和专家经验构建行业知识图谱的本体层，本体层包括本体、本体属性以及本体关系，如图2所示，其中方框表示本体，椭圆表示本体属性，菱形表示本体之间的本体关系；其中，本体层所包括的本体、本体属性以及本体关系均经过专家人工审核校验，保证合理性和全覆盖。

S2：如图3所示，从多个数据源中抽取实体和实体属性，并对实体进行不一致性检验，具体的：

（a）抽取实体和实体属性：

针对可访问的企业数据库中的结构化数据，进行结构化解析，提取实体和实体属性并存储至关系型数据库中，例如，提取地层、隧道管片等实体；

针对来源于文档和图纸的半结构化数据和非结构化数据，创建具有固定格式和固定存储地址的标准数据表，该固定格式包括实体及实体属性，根据固定存储地址将标准数据表定向联动存储至关系型数据库中，并留有日志可供追溯数据更新过程；

针对来源于互联网上的半结构化或非结构化数据，通过爬虫技术进行采集、处理成结构化数据，提取实体和实体属性并存储至关系型数据库中；

（b）实体不一致性检验：

在对前述多个数据源中的数据缓存过程中，建立实体标准命名表，每个存储入关系型数据库中的实体遍历所述实体标准命名表，如所述实体标准命名表中不存在则报错并进行修改；

此外，对于不允许冗余的数据，设计关系型数据库表单时预先考虑字段的唯一性，所述字段可由单个或多个字段联合组成；新数据通过唯一性检测后录入；若后期发现需要设置唯一性可补充设置；通过标准命名表和关系型数据库的唯一性设置最大限度地保证实体冲突解决的准确性；

轨道交通领域实体表达方式总体比较规范，少量存在差异，如隧道区间名称在不同数据库中可能表述方式不尽相同（天潼路站～国际客运中心站，天潼路站～国客站），建立标准命名表，如规定“天潼路站～国际客运中心站”，每个录入关系型数据库的实体遍历标准命名表，如天潼路站～国客站入库时将报错，技术人员将其修改为“天潼路站～国际客运中心站”，同时，输入关系型数据库，该关系型数据库预先根据不可冗余数据设计表单，所述不可冗余数据字段设置唯一性，如同一基坑工程应有且只有同一工程名称，唯一性设置也可由多个字段联合组成，如上海轨道交通2号线虹桥火车站～虹桥2号航站楼区间，上海轨道交通10号线虹桥火车站～虹桥2号航站楼区间，若仅以隧道区间名称作为唯一性检测，则会遗漏数据，可将线路号+隧道区间名称作为唯一性检测联合字段，该方法可在存入图数据库前完成大量知识融合，效率比较高，判断是否存在，存在会丢弃掉这行数据，不做任何插入，否则插入。MySQL数据库唯一性设置可在建表时添加，也可在后期发现需要设置唯一性再进行补充设置。

S3：对各实体的实体属性进行不一致性检验，具体包括以下步骤：

实体建立后再基于本体属性一一抽取各实体的实体属性，从关系型数据库中将每个本体相应的实体抽取并存储至知识图谱数据库中，将实体具备的与本体的本体属性相同的实体属性抽取至知识图谱数据库中；例如，隧道管片是本体，管片1-600环是其实体，分别与隧道管片建立is_a的关系，再根据实体具备与本体相同或部分属性，抽取实体属性存储至图数据库，如轨道交通具有2项属性线路号和运行方向，其实体上海轨道交通10号线也具有相同的2项属性，线路号为10，运行方向为上行，隧道区间具有5项属性，由于数据保密或记录缺失等原因导致属性难以获得，其实体国权路~五角场具有2项属性，分别为竣工时间2010.4.10和施工工艺土压平衡；

同类本体属性下的各实体属性建立同类标签，遍历同类标签进行实体属性融合，包括实体属性存入知识图谱数据库时以其所对应的本体属性作为标签，当新的实体属性录入到所述知识图谱数据库时，查找具有同一本体属性标签的实体属性进行检验，若不存在具有同一本体属性标签的实体属性，则增加该实体属性并以其所对应的本体属性作为标签；若已存在具有同一本体属性标签的实体属性，则直接建立该实体属性与实体的实体关系；通过建立同类标签实现实体属性的精确分类，并有效提高融合效率；例如，隧道管片的属性“与洞口和旁通道的位置关系”，其实体属性为A、B、C、D、E，当A、B、C、D存入数据库时，均打上标签“与洞口和旁通道的位置关系”，当管片200环的属性E入库时，仅需遍历具有“与洞口和旁通道的位置关系”这一标签的实体属性，而不用遍历知识图谱数据库中其他的实体属性，知识图谱数据库中不存在E，则增加E并打上标签“与洞口和旁通道的位置关系”，如果再有管片300环的属性E入库，则E已存在，直接建立管片300环与属性E的关系。

S4：实体之间的实体关系继承实体所对应的本体之间的本体关系，例如，隧道区间is_part_of 轨道交通，则国权路～五角场is_part_of上海轨道交通10号线。

S5：建立知识图谱数据库与时间序列数据库的索引，时间序列数据库包括实体的表单以及各实体所对应的时间序列数据，索引可以通过本体查询其所对应实体的表单，再通过实体的表单查询到该实体对应的所有时间序列数据；例如，如图4所示，本体“隧道管片”与关系型数据库表单“测值”建立索引，本体“隧道管片”下有实体“隧道管片200环”，在表单“测值”中查询“隧道管片200环”在2019-1-1、2019-2-1、2019-3-1等日期的测值。

本实施例通过结合领域知识和专家经验构建行业知识图谱的本体层，抽取实体和实体属性，并以基于标准命名规则和关系型数据库唯一性设置进行实体冲突检测，实体建立后再基于本体属性一一抽取各实体的实体属性，同类本体属性下的实体属性建立同类标签，遍历同类标签进行实体属性融合，实体关系继承本体关系，最后建立知识图谱数据库与时间序列数据库的索引，通过本体导向、二次抽取、属性分类等技术实现多源异构数据中实体和实体属性的快速融合和精准融合，通过数据库索引解决时间序列数据的存储和应用问题。

本实施例中还涉及到了该处理方法所采用到的处理装置，包括多源数据处理模块和时间序列数据处理模块，其中：

A. 多源数据处理模块，用于抽取实体和实体属性，并以基于标准命名规则和关系型数据库唯一性设置进行实体冲突检测，实体建立后再基于本体属性一一抽取各实体的实体属性，同类本体属性下的实体属性建立同类标签，遍历同类标签进行实体属性融合，实体关系继承本体关系。

该装置可由软件和/或硬件实现，一般可集成在服务器，该装置包括：数据采集子模块、不一致性检验子模块。

数据采集子模块用于获取隧道结构安全领域的结构化、半结构化、非结构化数据。

不一致性检验子模块用于进行实体名称和实体属性冲突检测并解决，基于标准命名规则和关系型数据库唯一性设置进行实体冲突检测；实体建立后再基于本体属性一一抽取各实体的实体属性，同类本体属性下的实体属性建立同类标签，遍历同类标签进行实体属性融合。

B. 时间序列数据处理模块，用于建立知识图谱数据库本体与时间序列数据库表单之间的索引，可以通过本体查询其相应的实体，通过本体查询其相应的表单，再由实体查询表单中的该实体对应的所有时间序列数据。

Claims (3)

1.一种构建行业知识图谱的多源数据和时间序列处理方法，其特征在于所述处理方法包括以下步骤：

（S1）构建知识图谱的本体层，包括本体、本体属性以及本体关系；

（S2）从多个数据源中抽取实体和实体属性，并对实体进行不一致性检验；

步骤（S2）包括以下步骤：

（a）针对已有数据库中的结构化数据，进行结构化解析，提取实体和实体属性并存储至关系型数据库中；

针对来源于文档和图纸的半结构化数据和非结构化数据，创建具有固定格式和固定存储地址的标准数据表，所述固定格式包括实体及实体属性，根据所述固定存储地址将所述标准数据表定向联动存储至所述关系型数据库中；

针对来源于互联网上的半结构化或非结构化数据，通过爬虫技术进行采集、处理成结构化数据，提取实体和实体属性并存储至所述关系型数据库中；

（b）建立实体标准命名表，每个存储入所述关系型数据库中的实体遍历所述实体标准命名表，如所述实体标准命名表中不存在则报错并进行修改；在所述关系型数据库中预先设置实体的字段组的唯一性，所述字段组为单个字段或多个字段，在实体的字段组通过唯一性检测之后再存储入所述关系型数据库中；

（S3）对各实体的实体属性进行不一致性检验；

步骤（S3）包括以下步骤：

从所述关系型数据库中将每个本体相应的实体抽取并存储至知识图谱数据库中，将实体具备的与本体的本体属性相同的实体属性抽取至所述知识图谱数据库中；

同类本体属性下的各实体属性建立同类标签，遍历同类标签进行实体属性融合，包括实体属性存入所述知识图谱数据库时以其所对应的本体属性作为标签，当新的实体属性录入到所述知识图谱数据库时，查找具有同一本体属性标签的实体属性进行检验，若不存在具有同一本体属性标签的实体属性，则增加该实体属性并以其所对应的本体属性作为标签；若已存在具有同一本体属性标签的实体属性，则直接建立该实体属性与实体的实体关系；

（S4）实体之间的实体关系继承实体所对应的本体之间的本体关系；

（S5）建立知识图谱数据库与时间序列数据库的索引。

2.根据权利要求1所述的一种构建行业知识图谱的多源数据和时间序列处理方法，其特征在于步骤（S5）包括以下步骤：建立所述知识图谱数据库与所述时间序列数据库的索引，所述时间序列数据库包括实体的表单以及各实体所对应的时间序列数据，所述索引可以通过本体查询其所对应实体的表单，再通过实体的表单查询到该实体对应的所有时间序列数据。

3.一种涉及权利要求1-2中任一所述构建行业知识图谱的多源数据和时间序列处理方法的装置，其特征在于所述装置包括多源数据处理模块和时间序列数据处理模块，其中：

所述多源数据处理模块包括数据采集子模块以及不一致性检验子模块；所述数据采集子模块用于获取来自于多个数据源中的结构化数据、半结构化数据以及非结构化数据，抽取实体和实体属性；所述不一致性检验子模块基于实体标准命名表中的命名规则和关系型数据库中的唯一性设置进行实体冲突检测；实体建立后再基于本体属性一一抽取各实体的实体属性，同类本体属性下的各实体属性建立同类标签，遍历同类标签进行实体属性融合；

所述时间序列数据处理模块用于建立知识图谱数据库与时间序列数据库的索引，时间序列数据库包括实体的表单以及各实体所对应的时间序列数据，所述索引可以通过本体查询其所对应实体的表单，再通过实体的表单查询到该实体对应的所有时间序列数据。