CN112966118A - 一种运维知识图谱构建方法 - Google Patents
一种运维知识图谱构建方法 Download PDFInfo
- Publication number
- CN112966118A CN112966118A CN202110154559.XA CN202110154559A CN112966118A CN 112966118 A CN112966118 A CN 112966118A CN 202110154559 A CN202110154559 A CN 202110154559A CN 112966118 A CN112966118 A CN 112966118A
- Authority
- CN
- China
- Prior art keywords
- data
- maintenance
- relation
- field
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种运维知识图谱构建方法，包括模型数据管理、图谱构建和图谱探测；所述模型数据管理支持对运维数据进行模型化，包括创建运维对象模型、创建运维对象关系模型以及对模型的属性进行个性化管理；所述图谱构建分为数据接入、数据融合和图谱建立，数据接入用于接入不同数据源的运维数据，为后续数据融合提供基础，数据融合是图谱建立的基础，所述图谱建立用于图谱平台中的运维数据以图形化的形式进行存储，支持全量同步和增量更新两种方式；所述图谱探索支持对运维数据的图形化展示，包括运维数据整体拓扑展示、应用和设备之间的路径展现的图形化展示。
Description
技术领域
本发明涉及一种运维知识图谱平台的数据构建方法，尤其是涉及一种运维知识图谱构建方法。
背景技术
随着数据中心运维设备规模的增长，运维数据越来越庞大，对于数据的准确性和数据的精细化就成为需要考虑以及解决的问题。特别是对于一些动态变化的资源，仅依靠人工已无法满足运维需求；同时对于每一个运维对象更是需要了解其状态变迁和关系网络。知识图谱技术的出现和发展为运维数据图形化提供了技术支撑，构建一个可以直观反映出运维现状从而可以快速发现和解决运维问题的图谱平台成为运维工作的迫切需求。
传统运维工作存在以下主要问题：
(1)运维人员无法针对日益增加的运维数据进行快速有效查询，无法对复杂关系进行快捷查询；
(2)运维人员对于运维对象的状态变迁和网络关系不能全面的掌握和了解，导致出现运维问题是不能够即使解决。
知识图谱平台可以为运维人员提供一个直观的运维关系数据展示，提升运维数据的准确性和实时性，提高解决运维问题的效率，知识图谱平台重点解决以下难题：
(1)对运维数据进行模型化管理，对运维数据进行分类管理，增加数据的准确性和维护性。
(2)运维对象的图谱数据展示以及关系追溯，可以通过图谱钻取到不同深度的运维关系，也可以快速展示出点到点的访问路径，方便快速定位到相关设备。
发明内容
本发明提供了一种运维知识图谱构建方法，用于解决上述问题，其技术方案如下所述：
一种运维知识图谱构建方法，包括模型数据管理、图谱构建和图谱探测；所述模型数据管理支持对运维数据进行模型化，包括创建运维对象模型、创建运维对象关系模型以及对模型的属性进行个性化管理；所述图谱构建分为数据接入、数据融合和图谱建立，数据接入用于接入不同数据源的运维数据，为后续数据融合提供基础，数据融合是图谱建立的基础，所述图谱建立用于图谱平台中的运维数据以图形化的形式进行存储，支持全量同步和增量更新两种方式；所述图谱探索支持对运维数据的图形化展示，包括运维数据整体拓扑展示、应用和设备之间的路径展现的图形化展示。
所述模型数据管理用于维护模型化后的运维数据，为图谱构建提供数据支持，包括以下步骤：
S1：设置运维对象数据模型，模型能够根据运维对象设备类型进行分类并创建，每个模型对应数据库中一张数据表，模型之间存在继承关系，继承后子模型保留父模型的所有字段属性，每个模型支持自定义表单配置，除页面创建方式外，模型还支持模板导入创建；
S2：配置运维对象关系模型，关系模型存储具有相同关系类型、相同关系方向的两个运维对象之间的关系数据，每个关系模型对应一张数据表，同时也能够设置特有的属性字段；
S3：添加具体的运维数据至模型中，数据支持页面填写、Excel模板导入和第三方数据源融合导入三种方式，数据支持版本管理。
进一步的，步骤S1中，所述模型能够自定义配置属性字段、字段类型及校验规则，所述校验规则支持预设选择和自定义正则校验方式，所述模型都默认继承Class模型，所述Class模型用于存储所有运维对象数据。
所述图谱构建包括以下步骤：
S11：设置需要同步的数据源信息，每个数据源信息在创建完成后都会生成自己独有的沙箱区用于存储同步过来的数据，所述沙箱区分为运维对象数据沙箱和运维对象关系数据沙箱；
S12：创建数据同步任务，能够设置任务的执行频率以保证数据的时效性，同步任务除了根据执行频率自动执行外还能够人工触发，触发成功后会生成一条任务实例对应每一次同步任务的执行；
S13：设置调和规则，调和规则支持单个设置也支持导入和批量设置，设置完成后的调和规则能够从知识图谱平台和数据源两个维度查看；
S14：创建数据融合任务，任务通过设置执行频率通过定时作业自动执行，也能够人工触发执行，每次执行都会生成一个对应的执行实例，每个实例都会有独立的执行记录，若存在需要人工审核的数据也将会存储；
S15：如果存在需要人工审核的数据，则进行人工审核处理，处理的数据以任务实例执行的结果为基准，单条进行审核也可批量进行审核；
S16：数据融合能够同时进行图谱建立，图谱建立支持将图谱平台中的数据通过接口调用的方式进行格式化，将数据以节点、关系和属性的形式图形化存储。
进一步的，步骤S11中，数据接入时，能够在数据源中选择设置数据同步方式，所述数据同步方式包括脚本同步和平台同步；所述脚本同步只需将数据源对应的脚本上传至图谱平台，在后续同步任务中会自动执行，执行完成后会将数据源中的数据表字段映射的沙箱区的字段名存入数据源的表映射规则中；所述平台同步用于运维数据存储规范的数据源，使用平台同步时在创建完数据源后需要设置表映射，选择需要同步的数据表并设置对应的映射规则，该映射规则设置数据源中的数据表字段在同步之后映射到沙箱区的字段名，默认以源数据表的字段名进行映射，若数据源中缺少某个字段也能够在此处进行添加并赋值，映射规则需要指定数据表对应的配置项类型。
进一步的，步骤S13中，所述调和规则包括以下三种：
(1)设置数据源与知识图谱平台之间的数据唯一映射规则，唯一映射规则用于鉴别数据源的数据是否已经存在于图谱平台中，为后续数据的融合方式提供基础，所述唯一映射分为全局映射和配置项映射，全局映射是指当前数据源到知识图谱平台的所有配置项都适用的映射规则，配置项映射只应用于某一个配置项类型，若两者同时存在则已配置项映射为准；
(2)设置运维数据之间的调和规则，支持按字段设置，同时能够设置数据融合方式，包括自动融合、人工审核和无需处理三种方式，运维数据之间的调和规则需要指明知识图谱平台和数据源的配置项类型以及各自对应的字段，否则将无法生效；在调和时会根据设置的字段取值进行比对，再根据比对的结果选择调和规则中的冲突和无冲突方式，然后选择设置融合方式进行数据融合；
(3)设置运维数据之间的关系调和规则，设置时需要指定知识图谱平台的关系模型、数据源的源和目的配置项类、唯一确定数据源关系的源和目的字段以及数据源关系类型，还需要根据数据源中关系的存储方式选择调和规则中对应的关系存储方式。
进一步的，步骤(3)中，关系存储方式分为关系名称存储和属性方式存储两种，所述关系名称存储是指关系数据单独存储，通过一条关系数据找到对应的源和目的运维对象；所述属性方式存储是指目的运维对象的唯一字段值存储在源运维对象的某个字段中，通过该字段确定两个运维对象存在关系。
所述属性方式存储时，除了在关系调和规则中的关系存储方式选择属性外还需要选择源配置项中能确定关系的字段，后续融合时根据所选字段的值找到对应的运维对象，将关系转换为知识图谱平台所需的存储方式进行存储，包括以下操作步骤：
S21：在图谱平台中ciName是唯一的，而在数据源中通过name和type两个字段才能确定唯一一条数据，则在设置唯一映射规则时数据源配置类型选择host，字段选择name和type两个字段；图谱平台配置项类型选择Server,字段选择ciName；
S22：设置属性调和规则时，若只同步数据源的name字段，那么数据源配置类型选择host，字段选择name；图谱平台配置项类型选择Server，字段选择name，无冲突解决方式选择插入，冲突解决方式选择直接录入；
S23：设置关系调和规则，假如图谱平台有关系模型ServerUseIp，数据源有关系数据host_use_ip,并且数据源中的关系数据以id为源和目的进行存储，则在创建关系调和规则时选择生产区关系ServerUseIp，选择对应数据源后分别选择源配置项host，目的配置项ip，源和目的字段名都选择id，关系存储方式选择关系名称，不存在冲突选择添加，存在冲突选择删除后添加。
进一步的，步骤S16中，在图谱中，图是由顶点、边和属性组成的，顶点和边能够设置属性，顶点也就是节点，边也就是关系，每个节点和关系都能够有一个或多个属性。在知识图谱平台中，图谱构建完成后，节点就是运维对象，而关系就是运维对象之间的关系类型。
所述运维知识图谱构建方法可以实现对运维数据的模块化管理；支持不同数据源的数据融合；支持数据字段自定义更新；支持运维数据图谱的构建；支持点对点的路径图谱展现，为运维人员提供简便的数据管理方式和直观的数据展现，提升工作效率。
附图说明
图1是所述知识图谱平台功能模块的示意图；
图2是所述模型数据管理流程图；
图3是图谱构建整体流程图；
图4是数据同步融合流程图；
图5是图谱建立流程图。
具体实施方式
如图1所示，所述运维知识图谱平台主要实现数据模型化以及不同数据源的接入融合等数据输入管理功能，包括模型数据管理、图谱构建和图谱探测，同时也实现了运维数据的图谱化输出展示功能。进而，所述知识图谱平台总体架构对应分为数据模型管理模块、图谱构建模块和图谱探索模块，主要开发语言为JAVA，后端选用SPRINGCLOUDK框架的HOXTON.SR1版本，前端选用VUE框架，数据库使用POSTGRESQL。
1、模型数据管理
如图2所示，模型数据管理支持对运维数据进行模型化，包括创建运维对象模型、创建运维对象关系模型以及对模型的属性进行个性化管理。运维对象模型可以通过继承将父级的属性保留同时父级模型会存储所有子级模型的运维数据；关系模型主要用于存储运维对象之间的关系数据。模型数据管理可维护模型化后的运维数据，为图谱提供数据支持，步骤主要为：
(1)设置运维对象数据模型：
a.模型可根据运维对象设备类型进行分类并创建，每个模型对应数据库中一张数据表，例如创建一个名为Server的数据模型，创建完成后数据库中会自自动创建一张名为Server的数据表；
b.模型之间存在继承关系，继承后子模型保留父模型的所有字段属性，在此基础上模型也可以灵活配置独有的属性字段，字段类型及校验规则也可以在数据库支持的基础上进行自定义设置，校验规则支持预设选择和自定义正则校验等方式。需要注意的是所有的数据模型都会默认继承Class模型，而Class模型会存储所有运维对象数据，class表结构如下：
c.每个模型支持自定义表单配置，可根据需求进行灵活配置；
d.除页面创建方式外，模型还支持模板导入创建。
数据模型创建完成后会存放在以下数据表中：
| 字段名 | 字段类型 | 字段说明 |
| id | varchar | 主键，格式为UUID |
| code | varchar | 配置项模型编码，也是对应的数据表名称 |
| name | varchar | 配置项模型名称 |
| notes | varchar | 备注 |
| create_time | timestamp | 模型创建时间 |
| update_time | timestamp | 模型变更时间 |
| creator | varchar | 模型创建人 |
| super_class | varchar | 父模型编码 |
| is_super | is_super | 是否可被继承 |
| version | integer | 模型版本 |
(2)配置运维对象关系模型，关系模型存储具有相同关系类型、相同关系方向的两个运维对象之间的关系数据，每个关系模型对应一张数据表，同时也可以设置特有的属性字段。关系模型之间不可以继承，但所有的关系模型数据表都会默认继承relation表，同时relation表中会存储所有关系数据，relation表结构如下：
关系模型创建完成后，会存放在如下数据表中：
| 字段名 | 字段类型 | 字段说明 |
| id | varchar | 主键，格式为UUID |
| code | varchar | 关系模型编码 |
| name | varchar | 关系模型名称 |
| src_code | varchar | 源数据模型编码 |
| src_id | varchar | 源数据模型ID |
| dest_code | varchar | 目的数据模型编码 |
| dest_id | varchar | 目的数据模型ID |
| notes | varchar | 备注 |
| creator | varchar | 创建人 |
| create_time | timestamp | 数据模型创建时间 |
| update_time | timestamp | 数据模型更新时间 |
| type | varchar | 关系类型编码 |
| version | integer | 数据模型版本 |
| constraint | varchar | 源-目的的约束：1:N、N:N、N:1、1:1 |
(3)添加具体的运维数据至模型中：
a.数据支持页面填写、Excel模板导入和第三方数据源融合导入三种方式；
b.数据支持版本管理，在详情页面可以查看之前的数据版本并进行版本比对。
2、图谱构建
如图3所示，图谱构建模块主要分为数据接入融合和图谱建立两部分，数据接入可以接入不同数据源的运维数据，为后续数据融合提供基础，而融合后的数据是构建图谱的基础。数据融合主要分为以下三个步骤：
根据不同的数据源设置调和规则，包括唯一映射规则、运维数据调和规则和关系数据调和规则。唯一映射规则用于验证数据源的数据是否存在于图谱平台中；运维数据调和规则需要根据运维数据的不同属性值进行设置；关系调和规则分为关系名称和属性两类，主要用于运维对象之间的关系数据融合。
按数据源设置数据融合任务，也可以指定数据源中的部分运维数据进行融合；
融合任务执行完成后可以根据调和规则中设置的融合方式对运维数据进行人工审核。
图谱建立是将图谱平台中的运维数据以图形化的形式进行存储，支持全量同步和增量更新两种方式，全量同步使用知识图谱平台全部的运维数据进行构建，而增量更新是在现有图谱的基础上使用新的数据进行完善或新增。
图谱构建，支持第三方数据源的数据融合导入，在此基础上可以对数据进行人工确认审核以增加数据准确性，融合后的数据为图构建的基础数据，如图4所示，主要步骤如下：
(1)设置需要同步的数据源信息，每个数据源信息在创建完成后都会生成自己独有的沙箱区用于存储同步过来的数据，而沙箱区又可分为运维对象数据沙箱和运维对象关系数据沙箱。在数据源中可以选择设置数据同步方式，主要分为以下两种：
a.脚本同步，脚本同步时只需将数据源对应的脚本上传至图谱平台，在后续同步任务中会自动执行，执行完成后会将数据源中的数据表字段映射的沙箱区的字段名存入数据源的表映射规则中；
b.平台同步，平台同步用于运维数据存储规范的数据源，此处的规范是指存储格式与知识谱图平台类似。使用平台同步时在创建完数据源后需要设置表映射，选择需要同步的数据表并设置对应的映射规则，该映射规则主要设置数据源中的数据表字段在同步之后映射到沙箱区的字段名，默认会以源数据表的字段名进行映射，若数据源中缺少某个字段也可在此处进行添加并赋值；映射规则需要指定数据表对应的配置项类型，可以通过表字段设置，也可以自定义输入，允许一对多。
沙箱表结构会参照如下表结构进行创建：
a.数据沙箱表
b.关数数据沙箱表
(2)创建数据同步任务，此处可以设置任务的执行频率以保证数据的时效性。同步任务除了根据执行频率自动执行外还可以人工触发，触发成功后会生成一条任务实例对应每一次同步任务的执行。实例在执行后会将对应数据源的数据同步到独有的沙箱区，而沙箱区的数据是执行数据融合的基础；
(3)设置调和规则，如图5所示，调和规则支持单个设置也支持导入和批量设置，设置完成后的调和规则可从知识图谱平台和数据源两个维度查看。调和规则主要是将数据源的数据进行规则化，转换成统一的数据格式融合进知识图谱平台，调和规则设置主要分为以下三种：
a.设置数据源与知识图谱平台之间的数据唯一映射规则，唯一映射规则主要用于鉴别数据源的数据是否已经存在于图谱平台中，为后续数据的融合方式提供基础。唯一映射分为全局映射和配置项映射，全局映射是指当前数据源到知识图谱平台的所有配置项都适用的映射规则，配置项映射只应用于某一个配置项类型，若两者同时存在则已配置项映射为准。映射规则中的字段可以灵活设置，支持多对多的形式；
b.设置运维数据之间的调和规则，调和规则可以根据需求进行灵活设置。调和规则支持按字段设置，同时可以设置数据融合方式，包括自动融合、人工审核和无需处理三种方式。调和规则需要指明知识图谱平台和数据源的配置项类型以及各自对应的字段，否则将无法生效；在调和是会根据设置的字段取值进行比对，再根据比对的结果选择调和规则中的冲突和无冲突方式，然后选择设置融合方式进行数据融合；
c.设置运维数据之间的关系调和规则，关系调和规则设置时需要指定知识图谱平台的关系模型、数据源的源和目的配置项类、可以唯一确定数据源关系的源和目的字段以及数据源关系类型，除此之外还需要根据数据源中关系的存储方式选择调和规则中对应的关系存储方式，关系存储方式分为以下两种：
一是关系名称存储，关系名称存储是指关系数据单独存储，可以通过一条关系数据找到对应的源和目的运维对象，此时关系调和规则中的关系存储方式选择关系名称即可，除了上述操作外无需其他操作；
二是属性方式存储，属性方式存储是指目的运维对象的唯一字段值存储在源运维对象的某个字段中，通过该字段确定两个运维对象存在关系。这种情况除了在关系调和规则中的关系存储方式选择属性外还需要选择源配置项中能确定关系的字段，后续融合时会根据所选字段的值找到对应的运维对象，将关系转换为知识图谱平台所需的存储方式进行存储。
例如同步数据源类型为host的运维数据至图谱平台Server模型中，假设数据源数据中有name和type字段，图谱平台中的字段参照上面的Class模型，操作步骤如下：
a.因为在图谱平台中ciName是唯一的，而在数据源中我们通过name和type两个字段才能确定唯一一条数据，所以在设置唯一映射规则时数据源配置类型可以选择host，字段可以选择name和type两个字段；图谱平台配置项类型可以选择Server,字段可以选择ciName；
b.设置属性调和规则时，我们只想同步数据源的name字段，那么数据源配置类型可以选择host，字段可以选择name；图谱平台配置项类型选择Server,字段可以选择name，无冲突解决方式选择插入，冲突解决方式选择直接录入。这样在数据融合之后会将数据源中的name字段值存入图谱平台中的Server模型的name字段中，而type字段则不会被存储；
c.设置关系调和规则，假如图谱平台有关系模型ServerUseIp，数据源有关系数据host_use_ip,并且数据源中的关系数据以id为源和目的进行存储，则在创建关系调和规则时可以选择生产区关系ServerUseIp，选择对应数据源后分别选择源配置项host，目的配置项ip，源和目的字段名都选择id，关系存储方式选择关系名称，不存在冲突选择添加，存在冲突选择删除后添加。在相应的调和任务执行完成后会将数据源的关系数据存入图谱平台对应的数据表中。
(4)创建数据融合任务，任务可以设置执行频率通过定时作业自动执行，也可以人工触发执行，每次执行都会生成一个对应的执行实例，每个实例都会有独立的执行记录，若存在需要人工审核的数据也将会对存储。作业执行时会取出对应数据源的沙箱区数据，基于调和规则进行数据调和，调和后的数据会根据规则中设置的是否冲突以及选择的处理方式进行存储：
a.无冲突处理，无冲突是指通过唯一映射规则在知识图谱平台未获取到相关的运维对象数据或者是根据关系调和规则中的设置未获取到相关的关系数据，此时可以直接存入图谱平台的表中也可放入人工审核表中等待审核后在存入图谱平台的表中。
b.冲突处理，冲突是指在知识图谱平台获取到了与数据源相同的运维对象数据或关系数据。若是运维对象数据可以按数据源中的数据进行更新，也可以忽略数据源数据或者存入人工审核表等待审核；若是关系数据则可以删除图谱平台中的数据后将数据源的数据插入，也可以忽略或人工审核。
(5)如果存在需要人工审核的数据，可进行人工审核处理，处理的数据以任务实例执行的结果为基准，可以单条进行审核也可批量进行审核。
(6)数据融合可以进行图谱建立，图谱建立支持将图谱平台中的数据通过接口调用的方式进行格式化，将数据以节点、关系和属性的形式图形化存储。在图谱中，图是由顶点、边和属性组成的，顶点和边可以设置属性，顶点也就是节点，边也就是关系，每个节点和关系都可以有一个或多个属性。在知识图谱平台中，图谱建立完成后，节点就是运维对象，而关系就是运维对象之间的关系类型。
3、图谱探索
图谱探索支持对运维数据的图形化展示，包括运维数据整体拓扑展示、应用和设备之间的路径展现等图形化展示。同时也支持根据运维设备或设备关系类型进行下拉选择查询或者自定义语句进行查询，查询语句可以进行保存以便于之后使用。
图谱探索支持多种场景查询显示，除了可下拉选择进行查询外还支持自定义查询语句，通过对图谱节点的点选可以对节点关系进行钻取，主要步骤如下：
(1)点击选择需要展现的标签或输入自定义查询语句进行查询：
a.自定义语句查询全网关系图谱：
MATCH p＝()-->()RETURN p
b.查询名称包含旅客保护的业务使用数据库的情况：
MATCH p＝(n:Business)-[:`使用`]-(:DBUser)--(:DB)-[:包含|使用*1..2]-()
WHERE n.ciName＝～'.*旅客保护.*'
RETURN p
c.查询与ciName为RDB-RAC的数据库高可用有组成或使用关系的图谱：
MATCH p＝(d:DBResPool{ciName:"RDB-RAC"})<-[:`组成`|使用*..2]-(m)
RETURN p
(2)在数据图谱上点击节点进行关系钻取。
本发明可以实现对运维数据的模块化管理；支持不同数据源的数据融合；支持数据字段自定义更新；支持运维数据图谱的构建；支持点对点的路径图谱展现，为运维人员提供简便的数据管理方式和直观的数据展现，提升工作效率。
Claims (9)
1.一种运维知识图谱构建方法，包括模型数据管理、图谱构建和图谱探测；所述模型数据管理支持对运维数据进行模型化，包括创建运维对象模型、创建运维对象关系模型以及对模型的属性进行个性化管理；所述图谱构建分为数据接入、数据融合和图谱建立，数据接入用于接入不同数据源的运维数据，为后续数据融合提供基础，数据融合是图谱建立的基础，所述图谱建立用于图谱平台中的运维数据以图形化的形式进行存储，支持全量同步和增量更新两种方式；所述图谱探索支持对运维数据的图形化展示，包括运维数据整体拓扑展示、应用和设备之间的路径展现的图形化展示。
2.根据权利要求1所述的运维知识图谱构建方法，其特征在于：所述模型数据管理用于维护模型化后的运维数据，为图谱构建提供数据支持，包括以下步骤：
S1：设置运维对象数据模型，模型能够根据运维对象设备类型进行分类并创建，每个模型对应数据库中一张数据表，模型之间存在继承关系，继承后子模型保留父模型的所有字段属性，每个模型支持自定义表单配置，除页面创建方式外，模型还支持模板导入创建；
S2：配置运维对象关系模型，关系模型存储具有相同关系类型、相同关系方向的两个运维对象之间的关系数据，每个关系模型对应一张数据表，同时也能够设置特有的属性字段；
S3：添加具体的运维数据至模型中，数据支持页面填写、Excel模板导入和第三方数据源融合导入三种方式，数据支持版本管理。
3.根据权利要求2所述的运维知识图谱构建方法，其特征在于：步骤S1中，所述模型能够自定义配置属性字段、字段类型及校验规则，所述校验规则支持预设选择和自定义正则校验方式，所述模型都默认继承Class模型，所述Class模型用于存储所有运维对象数据。
4.根据权利要求1所述的运维知识图谱构建方法其特征在于：所述图谱构建包括以下步骤：
S11：设置需要同步的数据源信息，每个数据源信息在创建完成后都会生成自己独有的沙箱区用于存储同步过来的数据，所述沙箱区分为运维对象数据沙箱和运维对象关系数据沙箱；
S12：创建数据同步任务，能够设置任务的执行频率以保证数据的时效性，同步任务除了根据执行频率自动执行外还能够人工触发，触发成功后会生成一条任务实例对应每一次同步任务的执行；
S13：设置调和规则，调和规则支持单个设置也支持导入和批量设置，设置完成后的调和规则能够从知识图谱平台和数据源两个维度查看；
S14：创建数据融合任务，任务通过设置执行频率通过定时作业自动执行，也能够人工触发执行，每次执行都会生成一个对应的执行实例，每个实例都会有独立的执行记录，若存在需要人工审核的数据也将会存储；
S15：如果存在需要人工审核的数据，则进行人工审核处理，处理的数据以任务实例执行的结果为基准，单条进行审核也可批量进行审核；
S16：数据融合能够同时进行图谱建立，图谱建立支持将图谱平台中的数据通过接口调用的方式进行格式化，将数据以节点、关系和属性的形式图形化存储。
5.根据权利要求4所述的运维知识图谱构建方法，其特征在于：步骤S11中，数据接入时，能够在数据源中选择设置数据同步方式，所述数据同步方式包括脚本同步和平台同步；所述脚本同步只需将数据源对应的脚本上传至图谱平台，在后续同步任务中会自动执行，执行完成后会将数据源中的数据表字段映射的沙箱区的字段名存入数据源的表映射规则中；所述平台同步用于运维数据存储规范的数据源，使用平台同步时在创建完数据源后需要设置表映射，选择需要同步的数据表并设置对应的映射规则，该映射规则设置数据源中的数据表字段在同步之后映射到沙箱区的字段名，默认以源数据表的字段名进行映射，若数据源中缺少某个字段也能够在此处进行添加并赋值，映射规则需要指定数据表对应的配置项类型。
6.根据权利要求4所述的运维知识图谱构建方法，其特征在于：步骤S13中，所述调和规则包括以下三种：
(1)设置数据源与知识图谱平台之间的数据唯一映射规则，唯一映射规则用于鉴别数据源的数据是否已经存在于图谱平台中，为后续数据的融合方式提供基础，所述唯一映射分为全局映射和配置项映射，全局映射是指当前数据源到知识图谱平台的所有配置项都适用的映射规则，配置项映射只应用于某一个配置项类型，若两者同时存在则已配置项映射为准；
(2)设置运维数据之间的调和规则，支持按字段设置，同时能够设置数据融合方式，包括自动融合、人工审核和无需处理三种方式，运维数据之间的调和规则需要指明知识图谱平台和数据源的配置项类型以及各自对应的字段，否则将无法生效；在调和时会根据设置的字段取值进行比对，再根据比对的结果选择调和规则中的冲突和无冲突方式，然后选择设置融合方式进行数据融合；
(3)设置运维数据之间的关系调和规则，设置时需要指定知识图谱平台的关系模型、数据源的源和目的配置项类、唯一确定数据源关系的源和目的字段以及数据源关系类型，还需要根据数据源中关系的存储方式选择调和规则中对应的关系存储方式。
7.根据权利要求6所述的运维知识图谱构建方法，其特征在于：步骤(3)中，关系存储方式分为关系名称存储和属性方式存储两种，所述关系名称存储是指关系数据单独存储，通过一条关系数据找到对应的源和目的运维对象；所述属性方式存储是指目的运维对象的唯一字段值存储在源运维对象的某个字段中，通过该字段确定两个运维对象存在关系。
8.根据权利要求7所述的运维知识图谱构建方法，其特征在于：所述属性方式存储时，除了在关系调和规则中的关系存储方式选择属性外还需要选择源配置项中能确定关系的字段，后续融合时根据所选字段的值找到对应的运维对象，将关系转换为知识图谱平台所需的存储方式进行存储，包括以下操作步骤：
S21：在图谱平台中ciName是唯一的，而在数据源中通过name和type两个字段才能确定唯一一条数据，则在设置唯一映射规则时数据源配置类型选择host，字段选择name和type两个字段；图谱平台配置项类型选择Server,字段选择ciName；
S22：设置属性调和规则时，若只同步数据源的name字段，那么数据源配置类型选择host，字段选择name；图谱平台配置项类型选择Server，字段选择name，无冲突解决方式选择插入，冲突解决方式选择直接录入；
S23：设置关系调和规则，假如图谱平台有关系模型ServerUseIp，数据源有关系数据host_use_ip,并且数据源中的关系数据以id为源和目的进行存储，则在创建关系调和规则时选择生产区关系ServerUseIp，选择对应数据源后分别选择源配置项host，目的配置项ip，源和目的字段名都选择id，关系存储方式选择关系名称，不存在冲突选择添加，存在冲突选择删除后添加。
9.根据权利要求4所述的运维知识图谱构建方法，其特征在于：步骤S16中，在图谱中，图是由顶点、边和属性组成的，顶点和边能够设置属性，顶点也就是节点，边也就是关系，每个节点和关系都能够有一个或多个属性。在知识图谱平台中，图谱构建完成后，节点就是运维对象，而关系就是运维对象之间的关系类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110154559.XA CN112966118A (zh) | 2021-02-04 | 2021-02-04 | 一种运维知识图谱构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110154559.XA CN112966118A (zh) | 2021-02-04 | 2021-02-04 | 一种运维知识图谱构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112966118A true CN112966118A (zh) | 2021-06-15 |
Family
ID=76273810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110154559.XA Pending CN112966118A (zh) | 2021-02-04 | 2021-02-04 | 一种运维知识图谱构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112966118A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114117077A (zh) * | 2021-12-02 | 2022-03-01 | 睿云奇智(重庆)科技有限公司 | 运维知识图谱构建及运维的方法、装置及计算机设备、存储介质 |
| CN114691882A (zh) * | 2022-03-03 | 2022-07-01 | 北京海致星图科技有限公司 | 多源数据实时计算方法、装置、存储介质和设备 |
| CN115983736A (zh) * | 2023-01-13 | 2023-04-18 | 北京三维天地科技股份有限公司 | 一种基于主从关系的主数据建模方法 |
| EP4239495A1 (en) * | 2022-02-09 | 2023-09-06 | Accenture Global Solutions Limited | Ontology driven data synchronization mechanism |
| WO2023165271A1 (zh) * | 2022-03-01 | 2023-09-07 | 支付宝(杭州)信息技术有限公司 | 知识图谱的构建、和图计算 |
-
2021
- 2021-02-04 CN CN202110154559.XA patent/CN112966118A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114117077A (zh) * | 2021-12-02 | 2022-03-01 | 睿云奇智(重庆)科技有限公司 | 运维知识图谱构建及运维的方法、装置及计算机设备、存储介质 |
| EP4239495A1 (en) * | 2022-02-09 | 2023-09-06 | Accenture Global Solutions Limited | Ontology driven data synchronization mechanism |
| WO2023165271A1 (zh) * | 2022-03-01 | 2023-09-07 | 支付宝(杭州)信息技术有限公司 | 知识图谱的构建、和图计算 |
| CN114691882A (zh) * | 2022-03-03 | 2022-07-01 | 北京海致星图科技有限公司 | 多源数据实时计算方法、装置、存储介质和设备 |
| CN115983736A (zh) * | 2023-01-13 | 2023-04-18 | 北京三维天地科技股份有限公司 | 一种基于主从关系的主数据建模方法 |
| CN115983736B (zh) * | 2023-01-13 | 2023-09-08 | 北京三维天地科技股份有限公司 | 一种基于主从关系的主数据建模方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112966118A (zh) | 一种运维知识图谱构建方法 | |
| US8892504B2 (en) | Method and system for reconciling meta-data in a data warehouse | |
| US10558642B2 (en) | Mechanism for deprecating object oriented data | |
| CN103299303B (zh) | 可扩展的rdf数据库 | |
| US8997091B1 (en) | Techniques for compliance testing | |
| US7099887B2 (en) | Hierarchical environments supporting relational schemas | |
| US9330120B2 (en) | Visual data importer | |
| US7865820B2 (en) | Generating a business document model | |
| US8190648B1 (en) | Method and system for the storage and use of engineering modeling alternatives with unitized data | |
| EP1585036A2 (en) | Management of parameterized database queries | |
| US20080040181A1 (en) | Managing provenance for an evolutionary workflow process in a collaborative environment | |
| US20070180425A1 (en) | Method and apparatus for extensible utility network part types and part properties in 3D computer models | |
| CN109753537A (zh) | 一种从关系数据到图数据的交互式数据迁移方法 | |
| CN112559704A (zh) | 一种用户自定义配置的知识图谱生成工具 | |
| CN112966004B (zh) | 数据查询方法、装置、电子设备以及计算机可读介质 | |
| CN109376153A (zh) | 一种基于NiFi的数据写入图数据库的系统及方法 | |
| WO2012130489A1 (en) | Method, system, and computer program product for maintaining data consistency between two databases | |
| US20200242559A1 (en) | Dynamically controlling case model structure using case fragments | |
| Math | Database Schema Integration Process–A Methodology and Aspects of Its Applying | |
| Esser et al. | Graph-based version control for asynchronous BIM level 3 collaboration | |
| US20060136482A1 (en) | Defining and generating a viewtype for a base model | |
| Boyd et al. | The automed schema integration repository | |
| CN111126961B (zh) | 一种复杂产品全生命周期数字主线服务系统 | |
| CN113342325A (zh) | 可视化建模方法、系统、电子设备及存储介质 | |
| Vukovic et al. | A UML-based approach to reverse engineering of relational databases |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |