CN110955655B - 动态cmdb数据库模型存储方法和系统 - Google Patents

Abstract

本发明提供了一种动态CMDB数据库模型存储方法及系统，所述存储方法包括以下步骤：配置项表数据动态存储单元将配置项拆分为字段对应的表，按字段类型对表进行动态存储，获取配置项的全部字段属性并转换为JSON数据格式；动态表结构生成单元将动态存储的表结构由扁平数据结构转换为Schema表结构，通过对应的配置项类型的名称，获取对应的配置项属性表，返回JSON数据格式；缓存存储单元对JSON数据进行缓存；动态表结构配置单元给用户提供动态表结构的配置，配置数据进入数据库后，动态表结构生成单元对表结构进行转换。本发明极大减少了调整的时间，节省了传统调整编写代码的人力成本，又规避了数据库表结构变更的危险操作。

Description

动态CMDB数据库模型存储方法和系统

技术领域

本发明属于数据存储技术领域，具体涉及一种动态CMDB数据库模型存储方法和系统。

背景技术

CMDB(Configuration Management Database，配置管理数据库)是现代互联网企业中运运维数据管理的核心平台，存储与管理企业IT架构中设备的各种配置信息，它与所有服务支持和服务交付流程都紧密相联，支持这些流程的运转、发挥配置信息的价值，同时依赖于相关流程保证数据的准确性。作为IT管理的核心，CMDB不仅是各大管理软件厂商关注的重点，也逐渐成为系统管理项目实施的热点。CMDB存储的管理配置信息作为核心的统一的数据源，提供给互联网企业的告警，发布，流程ITSM等平台统一的完善的数据配置项信息，同时通过变更行程闭环写会CMDB。

CMDB建设过程中，企业逐渐会形成自己的配置项管理数据模型，即CMDB应包含哪些配置项种类，每个配置项种类包含哪些属性和字段，每种属性和字段的类型，每种配置项的字段之间会有怎样的限制与关联。然而，CMDB的建设是随着运维基础设施建设的规模扩大和技术与业务的不断演进同步进行的，因此建设整个周期中会伴随着大量的数据模型的变更，配置项字段的增加等，同时，在系统建设完成后，也会因为业务的原因进行相应的字段属性的变更操作。

传统的CMDB建设，大部分采取数据模型对应数据表的建设思路，即给每种类型的配置项数据，创建对应的数据表，同时在程序中固化对应的增删改查操作，以及对应的控制逻辑等，这种方式主要包含DB层和DAO层，即数据库层和数据库访问层，数据库层通过对应的数据库结构定义语句，创建对应类型的配置项表，数据库访问层编写相关的代码，将每一种CMDB配置项种类固化为具有特定属性的程序类(class)，再在这些程序类种定义对应的增删改查和校验方法，提供给上层CMDB的前端界面或者接口访问。

传统的CMDB建设的存储方式，建立在事先固定的数据模型表结构的基础上，当随着业务的发展，随着需求的变化，数据模型产生对应的变化，导致配置项类型增加或者减少，或者已有的配置项类型的属性增加或者减少时，必须通过重新编写数据库结构定义DDL(Data Definition Language，数据定义语言)语句，修改已有的表结构，并修改原先的数据库访问层DAO中的增删改查数据配置项的定义方法。由于CMDB建设过程中数据模型的变更较为频繁，因此数据库结构变更和执行DDL这种高危操作带来了极高的风险，容易出现相应的数据丢失等问题，而且由于每次模型变更都要进行数据库的语句执行，数据库访问DAO层模型的调整与开发，导致变更过程缓慢，修改后还需要执行CMDB系统发布等操作。

发明内容

本发明提供了一种可配置的动态数据库模型CMDB存储方式和系统实现，通过增加虚拟模型层，将原本实体配置项化解为可动态配置的属性集合，并在虚拟模型层的基础上生成动态的表结构，从而按照虚拟的表结构拆分原始的数据，按属性进行相应的存储的方法。同时，为提高查询性能，使用缓存层对于主键ID进行KV存储，提高了CMDB配置项结构变更效率，节省人力成本，避免高危操作。

本发明采用的技术方案如下：

一种动态CMDB数据库模型存储方法，所述存储方法包括以下步骤：

配置项表数据动态存储单元将配置项拆分为字段对应的表，按字段类型对表进行动态存储，获取配置项的全部字段属性并转换为JSON数据格式；

动态表结构生成单元将动态存储的表结构由扁平数据结构转换为Schema表结构，通过对应的配置项类型的名称，获取对应的配置项属性表，返回JSON数据格式；

缓存存储单元对JSON数据进行缓存；

动态表结构配置单元给用户提供动态表结构的配置，配置数据进入数据库后，动态表结构生成单元对表结构进行转换。

进一步地，所述配置项表数据动态存储单元在对用户配置项数据项存储的实现中包括记录配置项字段属性值的数据库表和记录配置项基础信息的表，配置项字段属性值的数据库表用以按属性存储对应的CMDB配置项拆分后的数据内容。

进一步地，所述配置项表数据动态存储单元通过配置项ID获取配置项的全部字段属性并转换为JSON数据格式的方法返回；通过JSON格式配置项数据的插入或者更新，根据配置项类型获取对应字段的ID，并将全部属性拆分插入属性记录表。

进一步地，所述动态表结构生成单元包括记录配置项类型的表和记录配置项属性的表，配置项类型的表记录了配置项的类型和名称，配置项属性的表记录了每种配置项具体包含的字段列表，通过类型条件查询配置项属性的表，即可查出配置项类型具备的属性。

进一步地，当用户执行数据查询操作时，数据优先从缓存存储单元获取JSON格式的配置项数据；当用户执行数据插入或者更新操作时，缓存存储单元会更新存储由动态表结构生成单元和缓存存储单元返回的数据。

本发明还提供了一种动态CMDB数据库模型存储系统，所述存储系统包括：

配置项表数据动态存储单元，用于将配置项拆分为字段对应的表，按字段类型对表进行动态存储，获取配置项的全部字段属性并转换为JSON数据格式；

动态表结构生成单元，用于将动态存储的表结构由扁平数据结构转换为Schema表结构，通过对应的配置项类型的名称，获取对应的配置项属性表，返回JSON数据格式；

缓存存储单元，用于对JSON数据进行缓存；

动态表结构配置单元，用于给用户提供动态表结构的配置，配置数据进入数据库后，动态表结构生成单元对表结构进行转换。

进一步地，所述存储系统还包括HOOK机制单元，用于执行数据操作过程的前置后置校验任务，用户根据对应的配置项类型进行对应的校验逻辑的配置。

进一步地，所述轨存储系统还包括一组RESTful API，用于提供外围系统进行对应的数据增删改查对应操作。

进一步地，所述RESTful API包括：配置项类型列表获取，按类型的配置项属性获取，按类型的配置项列表获取，按配置项ID的配置项属性值获取，按类型的配置项数据插入，按配置项ID的配置项属性更新；

所述RESTful API在进行数据获取和操作时，需在请求header中记录请求的appid和对应的token，存储系统服务器会验证信息是否一致及是否具备对应的操作获取权限。

本发明还提供了一种存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行如下步骤：

配置项表数据动态存储单元将配置项拆分为字段对应的表，按字段类型对表进行动态存储，获取配置项的全部字段属性并转换为JSON数据格式；

动态表结构生成单元将动态存储的表结构由扁平数据结构转换为Schema表结构，通过对应的配置项类型的名称，获取对应的配置项属性表，返回JSON数据格式；

缓存存储单元对JSON数据进行缓存；

动态表结构配置单元给用户提供动态表结构的配置，配置数据进入数据库后，动态表结构生成单元对表结构进行转换。

本发明的有益效果在于，针对传统建设方式的死板，结构变更的耗时费力，以及后期巨大的人力成本，本发明提出了一种可配置的动态的虚拟的配置项表结构，管理员只需要后台配置，即可完成相应的配置项表结构的变化和表类型的增加删除等调整。既无需代码的编写与调整，又无需数据库执行数据库结构定义DDL语句，极大减少了调整的时间，节省了传统调整编写代码的人力成本，又规避了数据库表结构变更的危险操作。

附图说明

图1为本发明CMDB表数据流向图；

图2为本发明数据库底层设计表结构示意图；

图3为本发明动态CMDB数据库模型存储系统结构图。

具体实施方式

本发明实现了一种基于动态的表结构的CMDB，在保证了支持传统的主流数据类型及CRUD(增删改查)性能的前提下，确保了CMDB的配置表结构通过配置相关的字段和类型即可通过无需DDL执行，无需操作数据库的前提下，即可完成表结构的动态变更，极大降低了对于数据库的频繁操作导致的风险，并极大的提高了表结构变更效率。此外，该方法还提供了一种HOOK机制，使得不同的配置项在进行相关操作时，可以定制对应的前置或者后置函数，满足数据校验等复杂的操作。同时，该系统还提供了一组RESTful API可供外围系统通过权限控制进行相关的数据增删改查和数据结构的操作。

实施例一：

图1为本发明CMDB表数据流向图，图中包括：一个包含一组特定设计的表结构的后台数据库，一种动态的CMDB配置项模型构建方法，一种动态的CMDB数据库模型转换方法，一个动态配置项模型和属性的配置页面，一个基于REDIS的缓存层和一组RESTful的应用程序接口API。

所述数据库，是指包含特定数据表结构的数据库，主要存储配置项类型信息和配置项实例信息。主要包含以下数据表：

配置项类型表，记录配置项类型列表，创建人，创建时间等信息；

配置项属性表，记录每种配置项包含的属性列表，属性包括属性名称，属性类型，属性创建时间，属性所属的配置项等信息；

配置项实例表，记录一条配置项的基本信息，创建时间，创建人，所属类型等信息；

配置项实例属性值表，记录每一条配置项的每个字段的值，会根据不同的类型将对应的字段值放置到本表不同的字段，而本表中对应的配置项字段关联本值属于哪个配置项实例的哪一个属性。

所述动态的CMDB模型构建方法，通过读取数据库中存储的配置字段，根据类型获取某种特定的配置项类型，根据类型从配置项属性表获取对应的配置项属性列表，按照需要将获取的配置项属性转换为属性LIST。

所述的配置项数据库模型转换方法，执行查询操作时，通过调用动态的CMDB模型构建方法获取构建的表结构，通过查询配置项实例表，获取对应类型的配置项列表，通过查询配置项实例属性值表，查询出对应的配置项属性的值，将配置项转换为JSON形式的列表返回。

所述的动态配置项模型和属性的配置页面，主要包含增加，删除配置项虚拟表的操作，可以增加删除配置项虚拟表。

所述的基于REDIS的缓存层，主要可通过对接口访问的配置项实例值信息的JSON缓存达到快速高效的查询效果。

所述的RESTful API，主要包含以下接口获取形式：

配置项类型列表获取；

按类型的配置项属性获取；

按类型的配置项列表获取；

按配置项ID的配置项属性值获取；

按类型的配置项数据插入；

按配置项ID的配置项属性更新。

所述RESTful API在进行数据获取和操作时，需在请求header中记录请求的appid和对应的token，cmdb存储系统服务器会验证信息是否一致及是否具备对应的操作获取权限。

结合图2，对本发明的一个优选实施例进行详细描述：

步骤S11：增加配置项表结构配置，首先管理员用户增加一个CMDB配置项类型，通过CMDB的配置界面，进行配置项类型的创建，填写配置项类型名称，如服务器，应用等。

优选地，配置项类型创建时，CMDB服务器进一步进行以下操作：

1)填写配置项的类型名称会进行唯一性检验

2)将命名配置项类型信息插入CI_TYPE表中，即完成此种类型的配置项创建。

步骤S12：配置项表结构的属性配置，首先管理员用户选择一个配置项类型，通过CMDB的配置界面，进行配置项类型的字段创建，修改，增加等。

优选地，配置项类型属性创建时，CMDB服务器进一步进行以下操作：

1)对本配置项类型的属性进行唯一性检验，防止重复插入相同名称属性

2)将配置项属性名插入CI_ATTR表中，并将该属性关联到配置项类型表中的类型条目

步骤S13：配置项实例的数据插入操作，调用Restful API的INSERT方法进行数据的插入操作，动态的CMDB数据库模型转换方法将其存储于数据库对应的表中。

优选地，配置项实例数据插入CMDB时，动态的数据库模型转换方法会读取CI_ATTR表中，该配置项实例的属性列表，根据属性列表，生成虚拟的动态表结构。同时，转换方法会在CI表中插入一条数据，记录该条数据的类型CI_TYPE_ID为对应的类型ID。

优选地，转换方法会将要插入的配置项的属性，按照查询到的配置项类型的属性进行拆分，其后将每一个拆分后的属性插入到CI_ATTR_VALUE表中的一条数据，而每一条CI_ATTR_VALUE都与CI_ATTR表中的配置项属性ID绑定。

优选地，转换方法拆分配置项实例属性的过程中，会根据查询到的配置项类型的属性的值类型，将拆分后的字段的值，插入到CI_ATTR_VALUE的不同字段之中，这样保留了原始的配置项表的字段值类型。

优选地，转换方法会将原始的JSON格式的数据，通过id为key，value为值的方式，存放到缓存系统中，方便查询时快速实时。

步骤S14：调用配置项实例数据生成与查询的Restful API时，CMDB系统将查询缓存系统查找是否存在该条数据，若存在，则直接返回数据，若不存在，动态的CMDB数据库模型转换方法将动态查询生成数据，返回数据并存储一份拷贝在缓存系统中。

具体的，配置项数据查询的API首先访问到缓存系统，缓存系统会根据配置项实例的ID进行相应的查找，如果缓存中存在，则返回缓存中数据。

优选地，如果缓存中不存在，则由动态的数据库模型转换方法生成新的配置项数据结构，具体的生成转换方法如下：

1)根据查询的配置项实例ID查询配置项实例属性值列表

2)根据查询的配置项实例ID查询配置项实例的基本属性如类型等

3)根据查询到的配置项实例的配置项类型，获取对应配置项类型的属性列表

4)根据查询到的配置项类型的属性列表与步骤1)查询到的属性值匹配，

查询对应的值类型，确定该字段值存放于CI_ATTR_VALUE哪个字段之中，获取对应的字段值

5)将获取到的字段值与其对应的属性的名称结合，生成最终的配置项实例JSON，生成的配置项JSON通过Restful API返回调用方。

优选地，动态的数据库模型转换方法生成配置项实例的数据结构并返回后，会将数据存储一份于缓存系统之中。

实施例二：

图3为本发明动态CMDB数据库模型存储系统结构图，所述存储系统包括配置项表数据动态存储单元、动态表结构生成单元、缓存存储单元和动态表结构配置单元。

配置项表数据动态存储单元，将常规结构的配置项拆分为字段进行对应的单表按字段类型动态存储。

优选地，所述配置项表数据动态存储单元，在对用户配置项数据项存储的实现中，包括：

一张记录配置项字段属性值的数据库表(ci_attr_values)，该表包含attr_id，ci_id，value_string，value_int，value_date，value_bool等字段，用以按属性存储对应的CMDB配置项拆分后的数据内容；

一张记录配置项基础信息的表(ci)，该表包含ci_id，updater，creater，ci_type_id等信息。

优选地，所述配置项表数据动态存储单元，所实现的功能包括：

通过配置项的ci_id，获取该配置项的全部字段属性并转换为JSON格式的方法返回；

通过JSON格式配置项数据的插入或者更新，可根据类型获取对应字段的ID，并将全部属性拆分插入属性记录表。

动态表结构生成单元，将动态配置的表结构由数据存储的扁平数据结构转换为正常的表结构schema。

优选地，所述动态表结构生成单元包括：

一张记录配置项类型的表(ci_type)，该表包含id，name等定义字段，该表记录配置项有哪些类型及名称等附加属性；

一张记录配置项表属性名称表(ci_attributes)，该表包含id，ci_id，type，该表记录了每种配置项具体包含的字段列表，通过某种类型的条件查询该表，即可查出某种配置项类型具备哪些属性。

优选地，所述动态表结构生成单元，所实现的功能包括：通过对应的配置项类型名称，获取对应的配置项属性列表，并返回JSON数据格式。

缓存存储单元，主要将动态表结构及动态数据生成的JSON对象进行缓存和失效。

优选地，所述缓存存储单元所实现的功能包括：

当用户执行数据查询操作时，数据优先根据ID从缓存系统获取JSON格式的配置项完整信息；

当用户执行数据更新插入操作时，缓存存储系统会更新存储由数据结构生成单元和存储单元返回的数据，以ID作为key，JSON格式的配置项信息为value。

动态表结构配置单元，提供用户动态表结构的配置。

优选地，本发明存储系统还包括：HOOK机制单元，用于执行数据操作过程的前置后置校验任务。

所述HOOK单元包括一组用户前置任务或者后置任务的执行方法，用户可根据对应的配置项类型进行对应的校验逻辑的配置，pre_save为保存前置校验，post_save为保存后置校验。可通过配置逻辑生成对应的复写代码。

优选地，本发明存储系统还包括一组Restful API，用于提供外围系统进行对应的数据增删改查对应操作。

所述的Restful API包括：

配置项类型列表获取；

按类型的配置项属性获取；

按类型的配置项列表获取；

按配置项ID的配置项属性值获取；

按类型的配置项数据插入；

按配置项ID的配置项属性更新。

所述Restful API在进行数据获取和操作时，需在请求header中记录请求的appid和对应的token，cmdb存储系统服务器会验证信息是否一致及是否具备对应的操作获取权限。

实施例三：

本发明还提供了一种存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行如下步骤：

配置项表数据动态存储单元将配置项拆分为字段对应的表，按字段类型对表进行动态存储，获取配置项的全部字段属性并转换为JSON数据格式；

动态表结构生成单元将动态存储的表结构由扁平数据结构转换为Schema表结构，通过对应的配置项类型的名称，获取对应的配置项属性表，返回JSON数据格式；

缓存存储单元对JSON数据进行缓存；

动态表结构配置单元给用户提供动态表结构的配置，配置数据进入数据库后，动态表结构生成单元对表结构进行转换。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (7)

1.一种动态CMDB数据库模型存储方法，其特征在于，所述存储方法包括以下步骤：

配置项表数据动态存储单元将配置项拆分为字段对应的表，按字段类型对表进行动态存储，获取配置项的全部字段属性并转换为JSON数据格式；

动态表结构生成单元将动态存储的表结构由扁平数据结构转换为Schema表结构，通过对应的配置项类型的名称，获取对应的配置项属性表，返回JSON数据格式；

缓存存储单元对JSON数据进行缓存；

动态表结构配置单元给用户提供动态表结构的配置，配置数据进入数据库后，动态表结构生成单元对表结构进行转换；

所述配置项表数据动态存储单元在对用户配置项数据项存储的实现中包括记录配置项字段属性值的数据库表和记录配置项基础信息的表，配置项字段属性值的数据库表用以按属性存储对应的CMDB配置项拆分后的数据内容；

所述配置项表数据动态存储单元通过配置项ID获取配置项的全部字段属性并转换为JSON数据格式的方法返回；通过JSON格式配置项数据的插入或者更新，根据配置项类型获取对应字段的ID，并将全部属性拆分插入属性记录表；

所述动态表结构生成单元包括记录配置项类型的表和记录配置项属性的表，配置项类型的表记录了配置项的类型和名称，配置项属性的表记录了每种配置项具体包含的字段列表，通过类型条件查询配置项属性的表，即可查出配置项类型具备的属性。

2.如权利要求1所述的一种动态CMDB数据库模型存储方法，其特征在于，当用户执行数据查询操作时，数据优先从缓存存储单元获取JSON格式的配置项数据；当用户执行数据插入或者更新操作时，缓存存储单元会更新存储由动态表结构生成单元和缓存存储单元返回的数据。

3.一种动态CMDB数据库模型存储系统，其特征在于，所述存储系统包括：

配置项表数据动态存储单元，用于将配置项拆分为字段对应的表，按字段类型对表进行动态存储，获取配置项的全部字段属性并转换为JSON数据格式；

动态表结构生成单元，用于将动态存储的表结构由扁平数据结构转换为Schema表结构，通过对应的配置项类型的名称，获取对应的配置项属性表，返回JSON数据格式；

缓存存储单元，用于对JSON数据进行缓存；

动态表结构配置单元，用于给用户提供动态表结构的配置，配置数据进入数据库后，动态表结构生成单元对表结构进行转换；

所述配置项表数据动态存储单元在对用户配置项数据项存储的实现中包括记录配置项字段属性值的数据库表和记录配置项基础信息的表，配置项字段属性值的数据库表用以按属性存储对应的CMDB配置项拆分后的数据内容；

所述配置项表数据动态存储单元，还用于通过配置项ID获取配置项的全部字段属性并转换为JSON数据格式的方法返回；通过JSON格式配置项数据的插入或者更新，根据配置项类型获取对应字段的ID，并将全部属性拆分插入属性记录表；

所述动态表结构生成单元包括记录配置项类型的表和记录配置项属性的表，配置项类型的表记录了配置项的类型和名称，配置项属性的表记录了每种配置项具体包含的字段列表，通过类型条件查询配置项属性的表，即可查出配置项类型具备的属性。

4.如权利要求3所述的一种动态CMDB数据库模型存储系统，其特征在于，所述存储系统还包括HOOK机制单元，用于执行数据操作过程的前置后置校验任务，用户根据对应的配置项类型进行对应的校验逻辑的配置。

5.如权利要求4所述的一种动态CMDB数据库模型存储系统，其特征在于，所述存储系统还包括一组RESTful API，用于提供外围系统进行对应的数据增删改查对应操作。

6.如权利要求5所述的一种动态CMDB数据库模型存储系统，其特征在于，所述RESTfulAPI包括：配置项类型列表获取，按类型的配置项属性获取，按类型的配置项列表获取，按配置项ID的配置项属性值获取，按类型的配置项数据插入，按配置项ID的配置项属性更新；

所述RESTful API在进行数据获取和操作时，需在请求header中记录请求的appid和对应的token，存储系统服务器会验证信息是否一致及是否具备对应的操作获取权限。

7.一种存储器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被处理器执行如下步骤：

配置项表数据动态存储单元将配置项拆分为字段对应的表，按字段类型对表进行动态存储，获取配置项的全部字段属性并转换为JSON数据格式；

动态表结构生成单元将动态存储的表结构由扁平数据结构转换为Schema表结构，通过对应的配置项类型的名称，获取对应的配置项属性表，返回JSON数据格式；

缓存存储单元对JSON数据进行缓存；

动态表结构配置单元给用户提供动态表结构的配置，配置数据进入数据库后，动态表结构生成单元对表结构进行转换；

所述配置项表数据动态存储单元在对用户配置项数据项存储的实现中包括记录配置项字段属性值的数据库表和记录配置项基础信息的表，配置项字段属性值的数据库表用以按属性存储对应的CMDB配置项拆分后的数据内容；

所述配置项表数据动态存储单元通过配置项ID获取配置项的全部字段属性并转换为JSON数据格式的方法返回；通过JSON格式配置项数据的插入或者更新，根据配置项类型获取对应字段的ID，并将全部属性拆分插入属性记录表；

所述动态表结构生成单元包括记录配置项类型的表和记录配置项属性的表，配置项类型的表记录了配置项的类型和名称，配置项属性的表记录了每种配置项具体包含的字段列表，通过类型条件查询配置项属性的表，即可查出配置项类型具备的属性。

Images