CN117743397A - 数据查询方法、装置、设备及存储介质 - Google Patents
数据查询方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117743397A CN117743397A CN202311697805.1A CN202311697805A CN117743397A CN 117743397 A CN117743397 A CN 117743397A CN 202311697805 A CN202311697805 A CN 202311697805A CN 117743397 A CN117743397 A CN 117743397A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- cmdb
- configuration item
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000002159 abnormal effect Effects 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000004044 response Effects 0.000 claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 230000006399 behavior Effects 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims description 73
- 238000004422 calculation algorithm Methods 0.000 claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 238000012512 characterization method Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 13
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 12
- 230000000977 initiatory effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000003139 buffering effect Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据查询方法、装置、设备及存储介质,该数据查询方法应用于缓存有CMDB的配置项数据和关系数据的高连续性缓存平台。获取CMDB的运行状态,根据运行状态判断CMDB是否存在运行异常行为。若是,接收每个接入平台的全部查询请求,响应全部查询请求根据配置项数据和关系数据查询业务,完成全部业务处理;若否,根据与CMDB之间的协同机制接收部分接入平台的特征查询请求,响应特征查询请求根据配置项数据和关系数据查询业务完成特征业务处理。通过构建高连续性缓存平台缓存配置项数据和关系数据,无需依赖图数据库或关系数据库即可完成关系数据查询,不但提升查询速度,还确保故障时CMDB数据查询服务的可用性。
Description
技术领域
本申请涉及数据库技术领域,尤其涉及一种数据查询方法、装置、设备及存储介质。
背景技术
配置管理数据库(Configuration Management Database,CMDB)是存储运维对象的关键平台,基于CMDB的关系计算广泛应用于各类运维场景。
目前的CMDB通常通过引入图数据库或关系数据库建立配置项关系和提升复杂关系的查询速度,图数据库往往用于存储、检索关系数据,CMDB复杂关联关系的查询强依赖于图数据库或关系数据库的性能和稳定性。例如复杂关系查询速度相对较慢,并且一旦图数据库出现故障,CMDB的关系查询业务势必面临查询风险,导致CMDB不可用。
可见,亟需一种解决方案克服现有CMDB关系查询强依赖于图数据库或关系数据库可能存在的缺陷。
发明内容
本申请提供一种数据查询方法、装置、设备及存储介质,用于解决现有CMDB关系查询强依赖于图数据库或关系数据库存在的查询速度较慢以及故障导致CMDB的关系查询业务面临风险的技术问题。
第一方面,本申请提供一种数据查询方法,应用于高连续性缓存平台,所述高连续性缓存平台缓存有CMDB的配置项数据和关系数据;所述方法,包括:
获取所述CMDB的运行状态,根据所述运行状态判断所述CMDB是否存在运行异常行为;
若是,接收每个接入平台的全部查询请求,响应所述全部查询请求根据所述配置项数据和所述关系数据查询业务,以完成全部业务处理;
若否,根据与所述CMDB之间的协同机制接收部分接入平台的特征查询请求,响应所述特征查询请求根据所述配置项数据和所述关系数据查询业务,以完成特征业务处理。
在一种可能的设计中,所述方法,还包括:
根据所述CMDB的跨层关系缓存所述配置项数据和所述关系数据,并根据增量更新策略实时更新所述配置项数据和所述关系数据。
在一种可能的设计中,所述根据增量更新策略实时更新所述配置项数据和所述关系数据,包括:
响应数据变更指令获取变更数据,所述变更数据包括与所述配置项数据和所述关系数据各自关联的属性与关系变化数据;
采用邮箱式投递方式将所述变更数据增量投递至所述高连续性缓存平台的搜索引擎,以对所述配置项数据和所述关系数据进行实时更新。
在一种可能的设计中,所述方法,还包括:
通过预测算法根据所述配置项数据和所述关系数据预测未来查询结果,并缓存所述未来查询结果;
响应所述每个接入平台或者所述部分接入平台的关联查询请求,调用所述未来查询结果,获取与所述关联查询请求相匹配的查询结果以完成关联业务处理;
其中,所述关联业务是指与所述全部业务或者所述特征业务具有关联场景的业务。
在一种可能的设计中,所述通过预测算法根据所述配置项数据和关系数据预测未来查询结果,包括:
使用图神经网络根据所述CMDB的特征查询路径预测查询链路,所述预测算法包括所述图神经网络;
根据预测到的所述查询链路从所述配置项数据和所述关系数据获取所述未来查询结果。
在一种可能的设计中,所述使用图神经网络根据所述CMDB的特征查询路径预测查询链路,包括:
根据所述CMDB的特征查询路径生成图结构,所述图结构中的节点表示所述特征查询路径中的实体,所述图结构中的边表示所述节点之间的连接关系;
通过所述图神经网络从所述节点和所述边的特征中学习到节点表征数据,所述节点表征数据包括特征向量,每个特征向量用于对应表示每个节点在所述图结构所属网络数据中的特征信息和上下文信息;
根据所述节点表征数据预测所述每个节点之间的连接概率,根据所述连接概率得到所述查询链路。
在一种可能的设计中,所述根据所述节点表征数据预测所述每个节点之间的连接概率,包括:
使用多层感知机将所述节点表征数据映射为对应预测值,所述预测值包括预测分数或预测概率;
根据所述预测值使用回归任务预测所述每个节点之间的连接概率,所述连接概率包括连接强度或连接权重。
在一种可能的设计中,所述通过预测算法根据所述配置项数据和关系数据预测未来查询结果,包括:
通过集成学习预测算法获取历史查询数据中存在的规律性查询模式;
根据所述规律性查询模式对所述配置项数据和所述关系数据进行调用与预测,以获取所述未来查询结果;
其中,所述预测算法包括所述集成学习预测算法,所述规律性查询模式包括多个查询周期的规律性模式。
在一种可能的设计中,所述通过预测算法根据所述配置项数据和关系数据预测未来查询结果,包括:
检测针对所述配置项数据和关系数据进行的变更类操作;
根据所述变更类操作获取所述未来查询结果;
其中,所述变更类操作包括配置项变更操作和/或节点关系变更操作,所述配置项变更操作包括对所述配置项数据进行创建、更新或者删除中的任意一种操作,所述节点关系变更操作包括创建或删除所述节点关系。
第二方面,本申请提供一种数据查询装置,应用于高连续性缓存平台,所述高连续性缓存平台缓存有CMDB的配置项数据和关系数据;所述装置,包括:
获取与判断模块,用于获取所述CMDB的运行状态,根据所述运行状态判断所述CMDB是否存在运行异常行为;
查询模块,若确定所述CMDB存在运行异常行为,用于接收每个接入平台的全部查询请求,响应所述全部查询请求根据所述配置项数据和所述关系数据查询业务,以完成全部业务处理;
若确定所述CMDB未存在运行异常行为,所述查询模块还用于根据与所述CMDB之间的协同机制接收部分接入平台的特征查询请求,响应所述特征查询请求根据所述配置项数据和所述关系数据查询业务,以完成特征业务处理。
在一种可能的设计中,所述数据查询装置,还包括:缓存与更新模块;所述缓存与更新模块,用于:
根据所述CMDB的跨层关系缓存所述配置项数据和所述关系数据,并根据增量更新策略实时更新所述配置项数据和所述关系数据。
在一种可能的设计中,所述缓存与更新模块,还用于:
响应数据变更指令获取变更数据,所述变更数据包括与所述配置项数据和所述关系数据各自关联的属性与关系变化数据;
采用邮箱式投递方式将所述变更数据增量投递至所述高连续性缓存平台的搜索引擎,以对所述配置项数据和所述关系数据进行实时更新。
在一种可能的设计中,所述数据查询装置,还包括:预测查询模块,所述预测查询模块,用于:
通过预测算法根据所述配置项数据和所述关系数据预测未来查询结果,并缓存所述未来查询结果;
响应所述每个接入平台或者所述部分接入平台的关联查询请求,调用所述未来查询结果,获取与所述关联查询请求相匹配的查询结果以完成关联业务处理;
其中,所述关联业务是指与所述全部业务或者所述特征业务具有关联场景的业务。
在一种可能的设计中,所述预测查询模块,还用于:
使用图神经网络根据所述CMDB的特征查询路径预测查询链路,所述预测算法包括所述图神经网络;
根据预测到的所述查询链路从所述配置项数据和所述关系数据获取所述未来查询结果。
在一种可能的设计中,所述预测查询模块,还用于:
根据所述CMDB的特征查询路径生成图结构,所述图结构中的节点表示所述特征查询路径中的实体,所述图结构中的边表示所述节点之间的连接关系;
通过所述图神经网络从所述节点和所述边的特征中学习到节点表征数据,所述节点表征数据包括特征向量,每个特征向量用于对应表示每个节点在所述图结构所属网络数据中的特征信息和上下文信息;
根据所述节点表征数据预测所述每个节点之间的连接概率,根据所述连接概率得到所述查询链路。
在一种可能的设计中,所述预测查询模块,还用于:
使用多层感知机将所述节点表征数据映射为对应预测值,所述预测值包括预测分数或预测概率;
根据所述预测值使用回归任务预测所述每个节点之间的连接概率,所述连接概率包括连接强度或连接权重。
在一种可能的设计中,所述预测查询模块,还用于:
通过集成学习预测算法获取历史查询数据中存在的规律性查询模式;
根据所述规律性查询模式对所述配置项数据和所述关系数据进行调用与预测,以获取所述未来查询结果;
其中,所述预测算法包括所述集成学习预测算法,所述规律性查询模式包括多个查询周期的规律性模式。
在一种可能的设计中,所述预测查询模块,还用于:
检测针对所述配置项数据和关系数据进行的变更类操作;
根据所述变更类操作获取所述未来查询结果;
其中,所述变更类操作包括配置项变更操作和/或节点关系变更操作,所述配置项变更操作包括对所述配置项数据进行创建、更新或者删除中的任意一种操作,所述节点关系变更操作包括创建或删除所述节点关系。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现第一方面中所提供的任意一种可能的数据查询方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面中所提供的任意一种可能的数据查询方法。
第五方面,本申请提供一种计算机程序产品,包括计算机执行指令,该计算机执行指令被处理器执行时用于实现第一方面中所提供的任意一种可能的数据查询方法。
本申请提供一种数据查询方法、装置、设备及存储介质,该数据查询方法应用于高连续性缓存平台,该高连续性缓存平台缓存有CMDB的配置项数据和关系数据。获取CMDB的运行状态,根据运行状态判断CMDB是否存在运行异常行为。当确定CMDB存在运行异常行为时,则接收每个接入平台的全部查询请求,响应其全部查询请求根据配置项数据和关系数据查询业务,以完成来自所有接入平台的全部业务处理。而若确定CMDB未存在运行异常行为,则根据与CMDB之间的协同机制接收部分接入平台的特征查询请求,响应特征查询请求根据配置项数据和关系数据查询业务完成特征业务处理。通过构建的高连续性缓存平台缓存CMDB的配置项数据和关系数据,在当CMDB不存在运行异常行为时,高连续性缓存平台根据其与CMDB之间的协同机制与CMDB协同完成接入平台的数据查询,而当CMDB存在运行异常时独立完成所有接入平台的数据查询,无需依赖图数据库或关系数据库即可完成CMDB的关系数据查询,不但提升了查询速度,还确保了出现故障时CMDB数据查询服务的可用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图;
图2为本申请实施例提供的一种数据查询方法的流程示意图;
图3为本申请实施例提供的一种关系存储结构对比图;
图4为本申请实施例提供的原有CMDB与高连续性缓存平台应对查询业务的示意图;
图5为本申请实施例提供的另一种数据查询方法的流程示意图;
图6为本申请实施例提供的再一种数据查询方法的流程示意图;
图7为本申请实施例提供的又一种数据查询方法的流程示意图;
图8为本申请实施例提供的一种数据查询装置的结构示意图;
图9为本申请实施例提供的另一种数据查询装置的结构示意图;
图10为本申请实施例提供的再一种数据查询装置的结构示意图;
图11为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和装置的例子。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请的技术方案中,所涉及的数据等信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
目前的CMDB通常通过引入图数据库建立配置项关系和提升复杂关系的查询速度,图数据库往往用于存储、检索关系数据,CMDB复杂关联关系的查询强依赖于图数据库的性能和稳定性。例如复杂关系查询速度相对较慢,并且一旦图数据库出现故障,CMDB的关系查询业务势必面临查询风险,导致CMDB不可用。
针对现有技术中存在的上述问题,本申请提供一种数据查询方法、装置、设备及存储介质。本申请提供的数据查询方法的发明构思在于:构建有高连续性缓存平台,采用高连续性缓存平台直接存储CMDB的配置项数据和关系数据。在CMDB未存在运行异常行为时,高连续性缓存平台根据与CMDB之间的协同机制处理来自部分接入平台的特征查询请求,以完成特征业务处理,从而可以与CMDB协同处理来自各接入平台的数据查询,优化查询服务的性能和可靠性,提升查询速度。而当CMDB存在运行异常行为时,则独立应对各接入平台的数据查询,对外继续提供查询服务,确保CMDB查询业务的可用性。
图1为本申请实施例提供的一种应用场景示意图。如图1所示,电子设备100被配置为执行本申请实施例提供的数据查询方法,电子设备100中运行有CMDB的高连续性缓存平台,该高连续性缓存平台缓存有CMDB的配置项数据和关系数据,CMDB运行于电子设备200。当CMDB不存在运行异常行为时,高连续性缓存平台根据与CMDB之间的协同机制处理来自部分接入平台300的特征查询请求,以完成特征业务处理,高连续性缓存平台可以与CMDB协同处理来自各接入平台300的数据查询,优化查询服务的性能和可靠性,提升查询速度。而当CMDB存在运行异常行为时,高连续性缓存平台独立应对各接入平台300的数据查询,对外继续提供查询服务,确保CMDB查询业务服务的可用性。
在一些实施例中,接入平台300可以例如CMDB的任意服务接入方,比如运维大脑、物理机平台等等。接入平台300的设备可以例如计算机、服务器、服务器集群、智能手机、平板电脑等,本申请实施例对于接入平台300的设备类型不作限定,图1中的接入平台300以计算机为例示出。电子设备100和电子设备200分别用于运行高连续性缓存平台和传统的CMDB,电子设备100和电子设备200可以为计算机、服务器、服务器集群、智能手机、平板电脑等,本申请实施例对于电子设备100和电子设备200的设备类型不作限定,图1中的电子设备100和电子设备200均以计算机为例示出。
值得说明的是,上述应用场景仅仅是示意性的,本申请实施例提供的数据查询方法、装置、设备及存储介质包括但不仅限应用于上述应用场景。
图2为本申请实施例提供的一种数据查询方法的流程示意图,该数据查询方法应用于高连续性缓存平台,高连续性缓存平台缓存有CMDB的配置项数据和关系数据。如图2所示,本申请实施例提供的数据查询方法,包括:
S101:根据CMDB的跨层关系缓存配置项数据和关系数据。
按照CMDB的跨层关系对CMDB的配置项数据和关系数据直接展开存储,从而于高连续性缓存平台对CMDB的配置项数据和关系数据进行缓存,例如缓存至ES(ElasticSearch)等搜索引擎中,使得配置项数据和关系数据以最终的关系结构为数据存储结构存储于高连续性缓存平台。
图3为本申请实施例提供的一种关系存储结构对比图。如图3中(a)示出了现有方案中配置项数据和关系数据的存储结构,现有方案中通常依赖图数据库或者关系数据库查询出跨层的关系数据,还依赖其他数据存储组件存储关系路径、直连关系、属性等数据,涉及数据计算流程复杂。如图3中(b)示出了配置项数据和关系数据于高连续性缓存平台的存储结构,其以配置项数据和关系数据的最终关系结构对数据进行直接存储,可以简化计算逻辑,便于提高查询速度。
S102:获取CMDB的运行状态。
高连续性缓存平台获取CMDB的运行状态,根据运行状态确定是否通过高连续缓存平台对外提供全部的查询服务。
在一些实施例中,CMDB的运行状态可能会因为先产品级缺陷导致其存在异常运行行为。
S103:根据运行状态判断CMDB是否存在运行异常行为。
例如获取到的运行状态中包括原有的CMDB的查询响应时间,将查询响应时间与预设响应时间进行比较,若查询响应时间大于预设响应时间,则表示该原有的CMDB可能存在运行异常行为,进而执行步骤S104及步骤S105;反之,若查询响应时间等于或者小于预设响应时间,则表示该原有的CMDB运行正常未存在运行异常行为,进而执行步骤S106及步骤S107。
S104:接收每个接入平台的全部查询请求。
S105:响应全部查询请求根据配置项数据和关系数据查询业务,以完成全部业务处理。
若确定原有的该CMDB存在运行异常行为,高连续性缓存平台自动分流各接入平台的查询业务,由高连续性缓存平台通过对外接口继续面向各接入平台提供查询服务。具体地,高连续缓存平台接收每个接入平台的全部查询请求,响应全部查询请求从其缓存的配置项数据和关系数据中调用查询请求对应的数据,并反馈查询请求对应的数据至发起该查询请求的接入平台,为发起查询请求的各接入平台提供数据查询服务,从而完成来自接入平台针对数据查询服务的全部业务处理。
S106:根据与CMDB之间的协同机制接收部分接入平台的特征查询请求。
S107:响应特征查询请求根据配置项数据和关系数据查询业务,以完成特征业务处理。
若原有的该CMDB未存在运行异常行为,高连续性缓存平台与原有的CMDB共同分担来自各接入平台的查询业务。例如原有的CMDB与高连续性缓存平台之间预设有协同机制,协同机制用于划分原有的CMDB与高连续性缓存平台之间的查询业务分工。比如,原有的CMDB用于响应接入平台针对高时效业务的查询,而高连续性缓存平台用于响应接入平台针对非高时效业务的查询。在一些实施例中,将针对非高时效业务的查询请求定义为特征查询请求,高连续性缓存平台则响应特征查询请求从其缓存的配置项数据和关系数据中调用特征查询请求对应的数据,并反馈特征查询请求对应的数据至发起该特征查询请求的接入平台,为发起特征查询请求的接入平台提供数据查询服务,从而完成来自非高时效业务查询需求的接入平台针对数据查询服务的特征业务处理,特征业务可以为非高时效业务。非高时效业务查询需求的接入平台被定义为部分接入平台。可选地,高时效业务的查询则由原有的CMDB完成。
图4为本申请实施例提供的原有CMDB与高连续性缓存平台应对查询业务的示意图。图4中的(a)示出了原有的CMDB不存在运行异常行为时,原有CMDB与高连续性缓存平台根据协同机制共同分担来自接入平台的查询业务。图4中的(b)示出了原有的CMDB存在运行异常行为时,由高连续性缓存平台独立分担来自接入平台的查询业务。图4中(a)所示的协同机制以高时效业务和非高时效业务为例示出,协同机制也可以按照业务比例进行划分,本申请实施例对于协同机制的具体内容不作限定。
本申请实施例提供的数据查询方法应用于高连续性缓存平台,该高连续性缓存平台缓存有CMDB的配置项数据和关系数据。获取CMDB的运行状态,根据运行状态判断CMDB是否存在运行异常行为。当确定CMDB存在运行异常行为时,则接收每个接入平台的全部查询请求,响应其全部查询请求根据配置项数据和关系数据查询业务,以完成来自所有接入平台的全部业务处理。而若确定CMDB未存在运行异常行为,则根据与CMDB之间的协同机制接收部分接入平台的特征查询请求,响应特征查询请求根据配置项数据和关系数据查询业务完成特征业务处理。通过构建的高连续性缓存平台缓存CMDB的配置项数据和关系数据,在当CMDB不存在运行异常行为时,高连续性缓存平台根据其与CMDB之间的协同机制与CMDB协同完成接入平台的数据查询,而当CMDB存在运行异常时独立完成所有接入平台的数据查询,无需依赖图数据库或关系数据库即可完成CMDB的关系数据查询,不但提升了查询速度,还确保了图数据库出现故障时CMDB数据查询服务的可用性。
在复杂关系查询的业务场景中,与CMDB主结构相比,高连续性缓存平台数据结构相对简单,查询性能可以提升10倍以上。并且在性能提升的同时,高连续性缓存平台的数据时效性还可以实现准实时更新。
在一些实施例中,本申请实施例提供的数据查询方法还包括:根据增量更新策略实时更新其缓存的配置项数据和关系数据。
例如,当CMDB的数据发生变化时,原有的CMDB生成数据变更指令,高连续性缓存平台则响应数据变更指令获取变更数据,进而采用邮箱式投递方式将变更数据增量投递至高连续性缓存平台的搜索引擎,以对高连续性缓存平台原缓存的配置项数据和关系数据进行实时更新,从而保持数据为准实时更新的状态。其中,变更数据包括与配置项数据和关系数据各自关联的属性与关系变化数据,变更数据会被详细进行记录。
在一些实施例中,数据变更指令也可以定时生成,高连续性缓存平台响应数据变更指令获取变更数据,将对配置项数据和关系数据的更新作为定时任务执行。
本申请实施例提供的数据查询方法中根据增量更新策略实现数据准实时更新,可以有效避免多次查询、低效查询,实现快速投递变更数据,并且可以大幅缩短获取最新配置项数据或者关系数据所需时间。此外,增量投递的整体设计重视可靠稳定,且全生命周期可溯源,例如变更数据存储在例如搜索引擎的文件系统中,稳定可靠,可视性强。并且变更数据被详细记录便于溯源和定位所在状态。本申请实施例采用增量更新策略实现数据准实时更新等同于订阅全量数据,在数据发生变化时将所有变更数据增量投递以更新到高连续性缓存平台,保持数据为准实时更新的状态。再者,对于变更数据增量投递使得数据发生变化时,修改范围不需要全量数据扫描,只需要进行局部进行调整,从而对于整体数据的调整效率得到提高。针对数据查询业务占CMDB日常整体业务的90%以上的运行场景而言,数据修改的频次相对较低,有益于CMDB日常运行。
进一步地,上述各实施例提供的数据查询方法还包括智能预测,也即利用高连续性缓存平台预测未来查询,将预测到的未来查询结果提前缓存至高连续性缓存平台,提高未来查询业务的查询响应速度。
图5为本申请实施例提供的另一种数据查询方法的流程示意图。如图5所示,本申请实施例提供的数据查询方法,还包括:
S201:通过预测算法根据配置项数据和关系数据预测未来查询结果,并缓存未来查询结果。
通过预测算法对CMDB未来可能涉及的查询场景进行预测,并根据高连续性缓存平台已缓存的配置项数据和关系数据获取查询场景对应的查询结果,该查询结果即为未来查询结果,从而实现对未来查询结果的预测,并缓存预测到的未来查询结果。
S202:响应每个接入平台或者部分接入平台的关联查询请求,调用未来查询结果。
根据原有CMDB的运行状态接收来自每个接入平台或者部分接入平台的关联查询请求,例如原有CMDB存在运行异常行为时,则接收来自每个接入平台的关联查询请求,若原有CMDB未存在运行异常行为时,则接收来自部分接入平台的关联查询请求。进而调用已缓存的未来查询结果。
其中,关联查询请求用于表征对关联业务进行查询,关联业务是指与各接入平台要查询的全部业务或者部分接入平台要查询的特征业务具有关联场景的业务。常见关联场景可以例如在查询虚拟机后,极大可能会继续查询与虚拟机关联的物理机和/或与其关联的应用子系统、应用中心、应用系统等直接关联或在图关联路径的节点等数据。查询虚拟机可以发生于全部业务或者特征业务中。
S203:获取与关联查询请求相匹配的查询结果以完成关联业务处理。
从调用到的未来查询结果中获取与关联查询请求相匹配的查询结果,向发起关联查询请求的接入平台反馈该相匹配的查询结果,完成关联业务处理。
本申请实施例提供的数据查询方法,利用高连续性缓存平台通过预测算法预测未来查询,将预测到的未来查询结果提前缓存至高连续性缓存平台。当接入平台发起关联查询请求时,响应关联查询请求调用未来查询结果以向发起关联查询请求的接入平台反馈与关联查询请求相匹配的查询结果,实现未来查询场景预测,提高未来查询业务的查询响应速度。
在一种可能的设计中,预测算法可以包括图神经网络。步骤S201可能的实现方式如图6所示。图6为本申请实施例提供的再一种数据查询方法的流程示意图。如图6所示,本申请实施例包括:
S301:使用图神经网络根据CMDB的特征查询路径预测查询链路。
图神经网络是一类专门用于处理图结构数据的深度学习模型,能够学习节点和边的特征表示,并在此基础上进行预测任务。因此,使用图神经网络(Graph NeuralNetworks,GNN)结合CMDB的特征查询路径可以进行未来查询的链路预测,特征查询路径通常为CMDB中的关键查询路径。关键查询路径由实际工况中CMDB中实际数据之间的关系确定,对此本申请实施例不作限定。
在一种可能的设计中,步骤S301的可能实现方式如图7所示。图7为本申请实施例提供的又一种数据查询方法的流程示意图。如图7所示,本申请实施例包括:
S401:根据CMDB的特征查询路径生成图结构。
将原有的CMDB的特征查询路径所属的网络数据标识为图结构,以根据CMDB的特征查询路径生成图结构。其中,图结构中的节点表示特征查询路径中的实体,实体例如应用系统、虚拟机等,图结构中的边表示节点之间的连接关系,连接关系例如拓扑结构等。
S402:通过图神经网络从节点和边的特征中学习到节点表征数据。
其中,节点表征数据包括特征向量,每个特征向量用于对应表示每个节点在图结构所属网络数据中的特征信息和上下文信息。
图神经网络(GNN)通过多轮的消息传递和聚合操作,对图结构的节点和边的特征进行学习,以学习到节点表征数据,其中,节点表征数据以特征向量标识,从而每个节点都会得到一个特征向量进行表示,每个特征向量用于捕捉每个节点在图结构所属网络数据中的特征信息和上下文信息。
S403:根据节点表征数据预测每个节点之间的连接概率,根据连接概率得到查询链路。
在节点表征数据的基础上,构建一个边预测模型来预测节点之间的连接概率,根据连接概率确定图结构中的目标节点,将目标节点形成的链路确定为查询链路。
例如,使用多层感知机(Multilayer Perceptron,MLP)将节点表征数据映射为对应预测值,预测值可以例如预测分数或预测概率,进而根据预测值使用回归任务预测每个节点之间的连接概率,连接概率可以例如连接强度或连接权重。
本申请实施例提供的数据查询方法使用图神经网络,进而结合CMDB的特征查询路径,以利用图结构、关系查询路径、节点与邻居节点之间的关系,进行未来查询的链路预测,以预测到查询链路,为获取未来查询结果供先决条件。
S302:根据预测到的查询链路从配置项数据和关系数据获取未来查询结果。
在预测到查询链路后,获取查询链路上的配置项数据和关系数据以得到未来查询结果。
本申请实施例提供的数据查询方法中的预测算法包括图神经网络,基于图神经网络根据CMDB的特征查询路径预测查询链路,根据预测到的查询链路从配置项数据和关系数据获取未来查询结果,实现基于图模型关联关系的未来查询预测,使用图神经网络结合CMDB的关键查询路径进行查询链路预测,基于图神经网络的模型有点可以提升预测的准确性,有利于提升未来查询结果的准确性。
在一种可能的设计中,预测算法还可以包括集成学习预测算法,该集成学习预测算法可以根据多个日常的查询周期进行,日常查询周期可以例如日周期或者周周期等。
具体地,可以通过集成学习预测算法(Stacking Regressor)获取历史查询数据中存在的规律性查询模式,然后根据规律性查询模式对配置项数据和关系数据按照规律性查询模式中的查询结果进行调用与预测,调用与预测到的查询结果即为预测到的未来查询结果。其中,规律性查询模式则包括多个日常的查询周期的规律性模式。历史查询数据包括过去的时间周期内原有CMDB以及高连续性缓存平台处理查询业务所反馈给接入平台的数据。
在一种可能的设计中,预测算法还包括变更类操作后的预测策略。在CMDB的运行过程中,通常发生变更类操作之后会产生接入平台对应的查询业务需求。鉴于此,则可以根据针对CMDB的配置项数据和关系数据发生的变更类操作进行未来查询结果的预测。
具体地,首先检测针对配置项数据和关系数据进行的变更类操作,继而获取变更类操作之后可能对应发生的查询业务所涉及的配置项数据和关系数据,以得到未来查询结果。
例如,变更类操作可以包括配置项变更操作和/或节点关系变更操作,配置项变更操作包括创建配置项数据进行、更新配置项数据或者删除配置项数据中的任意一种操作。节点关系变更操作包括创建节点关系。发生创建配置项数据之后通常会发生查询该配置项数据的查询业务;更新配置项数据之后通常会发生查询该更新后的配置项数据的查询业务;删除配置项数据之后,通常会发生查询相关节点、相关关系数据的查询业务;创建节点关系之后,通常会发生查询相关节点、相关关系数据的查询业务;删除节点关系之后,通常会发生查询相关节点的关系数据的查询业务。
在一种可能的设计中,预测算法还可以包括图神经网络、集成学习预测算法以及变更类操作后的预测策略三者之间的任意融合。通过引入预测算法预测未来查询结果,并对未来查询结果提前缓存,以当接收到关联查询请求之后,调用未来查询结果,向发起关联查询请求的接入平台反馈对应查询结果。预测到的未来查询结果预估可以覆盖CMDB日常运行中50%的查询业务,可以提升查询响应速度,提升CMDB的使用效率。
图8为本申请实施例提供的一种数据查询装置的结构示意图,该数据查询装置可应用于高连续性缓存平台,高连续性缓存平台缓存有CMDB的配置项数据和关系数据。如图8所示,本申请实施例提供的数据查询装置500,包括:
获取与判断模块501,用于获取CMDB的运行状态,根据运行状态判断CMDB是否存在运行异常行为;
查询模块502,若确定CMDB存在运行异常行为,用于接收每个接入平台的全部查询请求,响应全部查询请求根据配置项数据和关系数据查询业务,以完成全部业务处理;
若确定CMDB未存在运行异常行为,查询模块502还用于根据与CMDB之间的协同机制接收部分接入平台的特征查询请求,响应特征查询请求根据配置项数据和关系数据查询业务,以完成特征业务处理。
在图8基础上,图9为本申请实施例提供的另一种数据查询装置的结构示意图。如图9所示,本申请实施例提供的数据查询装置500,还包括:缓存与更新模块503,该缓存与更新模块503,用于:
根据CMDB的跨层关系缓存配置项数据和关系数据,并根据增量更新策略实时更新配置项数据和关系数据。
在一种可能的设计中,缓存与更新模块503,还用于:
响应数据变更指令获取变更数据,变更数据包括与配置项数据和关系数据各自关联的属性与关系变化数据;
采用邮箱式投递方式将变更数据增量投递至高连续性缓存平台的搜索引擎,以对配置项数据和关系数据进行实时更新。
在图9基础上,图10为本申请实施例提供的再一种数据查询装置的结构示意图。如图10所示,本申请实施例提供的数据查询装置500,还包括:预测查询模块504。该预测查询模块504,用于:
通过预测算法根据配置项数据和关系数据预测未来查询结果,并缓存未来查询结果;
响应每个接入平台或者部分接入平台的关联查询请求,调用未来查询结果,获取与关联查询请求相匹配的查询结果以完成关联业务处理;
其中,关联业务是指与全部业务或者特征业务具有关联场景的业务。
在一种可能的设计中,预测查询模块504,还用于:
使用图神经网络根据CMDB的特征查询路径预测查询链路,预测算法包括图神经网络;
根据预测到的查询链路从配置项数据和关系数据获取未来查询结果。
在一种可能的设计中,预测查询模块504,还用于:
根据CMDB的特征查询路径生成图结构,图结构中的节点表示特征查询路径中的实体,图结构中的边表示节点之间的连接关系;
通过图神经网络从节点和边的特征中学习到节点表征数据,节点表征数据包括特征向量,每个特征向量用于对应表示每个节点在图结构所属网络数据中的特征信息和上下文信息;
根据节点表征数据预测每个节点之间的连接概率,根据连接概率得到查询链路。
在一种可能的设计中,预测查询模块504,还用于:
使用多层感知机将节点表征数据映射为对应预测值,预测值包括预测分数或预测概率;
根据预测值使用回归任务预测每个节点之间的连接概率,连接概率包括连接强度或连接权重。
在一种可能的设计中,预测查询模块504,还用于:
通过集成学习预测算法获取历史查询数据中存在的规律性查询模式;
根据规律性查询模式对配置项数据和关系数据进行调用与预测,以获取未来查询结果;
其中,预测算法包括集成学习预测算法,规律性查询模式包括多个查询周期的规律性模式。
在一种可能的设计中,预测查询模块504,还用于:
检测针对配置项数据和关系数据进行的变更类操作;
根据变更类操作获取未来查询结果;
其中,变更类操作包括配置项变更操作和/或节点关系变更操作,配置项变更操作包括对配置项数据进行创建、更新或者删除中的任意一种操作,节点关系变更操作包括创建或删除节点关系。
本申请实施例提供的数据查询装置,可以执行上述方法实施例中数据查询方法的相应步骤,其实现原理和技术效果类似,在此不再赘述。
图11为本申请实施例提供的一种电子设备的结构示意图。如图11所示,该电子设备600可以包括:处理器601,以及与处理器601通信连接的存储器602。
存储器602,用于存放程序。具体地,程序可以包括程序代码,程序代码包括计算机执行指令。
存储器602可能包含高速RAM存储器,也可能还包括非易失性存储器(NoN-volatile memory),例如至少一个磁盘存储器。
处理器601用于执行存储器602存储的计算机执行指令,以实现上述数据查询方法。
其中,处理器601可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
可选地,存储器602既可以是独立的,也可以跟处理器601集成在一起。当存储器602是独立于处理器601之外的器件时,电子设备600,还可以包括:
总线603,用于连接处理器601以及存储器602。总线可以是工业标准体系结构(industry standard architecture,简称为ISA)总线、外部设备互连(peripheralcomponent,PCI)总线或扩展工业标准体系结构(extended industry standardarchitecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器602和处理器601集成在一块芯片上实现,则存储器602和处理器601可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质,具体的,该计算机可读存储介质中存储有计算机执行指令,计算机执行指令用于上述实施例中的方法。
本申请还提供了一种计算机程序产品,包括计算机执行指令,该计算机指令被处理器执行时实现上述实施例中的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (13)
1.一种数据查询方法,其特征在于,应用于高连续性缓存平台,所述高连续性缓存平台缓存有CMDB的配置项数据和关系数据;所述方法,包括:
获取所述CMDB的运行状态,根据所述运行状态判断所述CMDB是否存在运行异常行为;
若是,接收每个接入平台的全部查询请求,响应所述全部查询请求根据所述配置项数据和所述关系数据查询业务,以完成全部业务处理;
若否,根据与所述CMDB之间的协同机制接收部分接入平台的特征查询请求,响应所述特征查询请求根据所述配置项数据和所述关系数据查询业务,以完成特征业务处理。
2.根据权利要求1所述的数据查询方法,其特征在于,所述方法,还包括:
根据所述CMDB的跨层关系缓存所述配置项数据和所述关系数据,并根据增量更新策略实时更新所述配置项数据和所述关系数据。
3.根据权利要求2所述的数据查询方法,其特征在于,所述根据增量更新策略实时更新所述配置项数据和所述关系数据,包括:
响应数据变更指令获取变更数据,所述变更数据包括与所述配置项数据和所述关系数据各自关联的属性与关系变化数据;
采用邮箱式投递方式将所述变更数据增量投递至所述高连续性缓存平台的搜索引擎,以对所述配置项数据和所述关系数据进行实时更新。
4.根据权利要求1-3任一项所述的数据查询方法,其特征在于,所述方法,还包括:
通过预测算法根据所述配置项数据和所述关系数据预测未来查询结果,并缓存所述未来查询结果;
响应所述每个接入平台或者所述部分接入平台的关联查询请求,调用所述未来查询结果,获取与所述关联查询请求相匹配的查询结果以完成关联业务处理;
其中,所述关联业务是指与所述全部业务或者所述特征业务具有关联场景的业务。
5.根据权利要求4所述的数据查询方法,其特征在于,所述通过预测算法根据所述配置项数据和关系数据预测未来查询结果,包括:
使用图神经网络根据所述CMDB的特征查询路径预测查询链路,所述预测算法包括所述图神经网络;
根据预测到的所述查询链路从所述配置项数据和所述关系数据获取所述未来查询结果。
6.根据权利要求5所述的数据查询方法,其特征在于,所述使用图神经网络根据所述CMDB的特征查询路径预测查询链路,包括:
根据所述CMDB的特征查询路径生成图结构,所述图结构中的节点表示所述特征查询路径中的实体,所述图结构中的边表示所述节点之间的连接关系;
通过所述图神经网络从所述节点和所述边的特征中学习到节点表征数据,所述节点表征数据包括特征向量,每个特征向量用于对应表示每个节点在所述图结构所属网络数据中的特征信息和上下文信息;
根据所述节点表征数据预测所述每个节点之间的连接概率,根据所述连接概率得到所述查询链路。
7.根据权利要求6所述的数据查询方法,其特征在于,所述根据所述节点表征数据预测所述每个节点之间的连接概率,包括:
使用多层感知机将所述节点表征数据映射为对应预测值,所述预测值包括预测分数或预测概率;
根据所述预测值使用回归任务预测所述每个节点之间的连接概率,所述连接概率包括连接强度或连接权重。
8.根据权利要求5所述的数据查询方法,其特征在于,所述通过预测算法根据所述配置项数据和关系数据预测未来查询结果,包括:
通过集成学习预测算法获取历史查询数据中存在的规律性查询模式;
根据所述规律性查询模式对所述配置项数据和所述关系数据进行调用与预测,以获取所述未来查询结果;
其中,所述预测算法包括所述集成学习预测算法,所述规律性查询模式包括多个查询周期的规律性模式。
9.根据权利要求5所述的数据查询方法,其特征在于,所述通过预测算法根据所述配置项数据和关系数据预测未来查询结果,包括:
检测针对所述配置项数据和关系数据进行的变更类操作;
根据所述变更类操作获取所述未来查询结果;
其中,所述变更类操作包括配置项变更操作和/或节点关系变更操作,所述配置项变更操作包括对所述配置项数据进行创建、更新或者删除中的任意一种操作,所述节点关系变更操作包括创建或删除所述节点关系。
10.一种数据查询装置,其特征在于,应用于高连续性缓存平台,所述高连续性缓存平台缓存有CMDB的配置项数据和关系数据;所述装置,包括:
获取与判断模块,用于获取所述CMDB的运行状态,根据所述运行状态判断所述CMDB是否存在运行异常行为;
查询模块,若确定所述CMDB存在运行异常行为,用于接收每个接入平台的全部查询请求,响应所述全部查询请求根据所述配置项数据和所述关系数据查询业务,以完成全部业务处理;
若确定所述CMDB未存在运行异常行为,所述查询模块还用于根据与所述CMDB之间的协同机制接收部分接入平台的特征查询请求,响应所述特征查询请求根据所述配置项数据和所述关系数据查询业务,以完成特征业务处理。
11.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至9任一项所述的数据查询方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至9任一项所述的数据查询方法。
13.一种计算机程序产品,包括计算机执行指令,该计算机执行指令被处理器执行时用于实现如权利要求1至9任一项所述的数据查询方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311697805.1A CN117743397A (zh) | 2023-12-11 | 2023-12-11 | 数据查询方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311697805.1A CN117743397A (zh) | 2023-12-11 | 2023-12-11 | 数据查询方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117743397A true CN117743397A (zh) | 2024-03-22 |
Family
ID=90250102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311697805.1A Pending CN117743397A (zh) | 2023-12-11 | 2023-12-11 | 数据查询方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117743397A (zh) |
-
2023
- 2023-12-11 CN CN202311697805.1A patent/CN117743397A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108595207B (zh) | 一种灰度发布方法、规则引擎、系统、终端和存储介质 | |
CN109614262B (zh) | 业务校验方法、装置及计算机可读存储介质 | |
CN108062243B (zh) | 执行计划的生成方法、任务执行方法及装置 | |
CN110222116B (zh) | 一种交易数据存储的控制方法、装置及存储介质 | |
WO2021223662A1 (zh) | 基于扫码的页面访问 | |
CN110222265A (zh) | 一种信息推送的方法、系统、用户终端及服务器 | |
CN111355610A (zh) | 一种基于边缘网络的异常处理方法及装置 | |
CN103607424A (zh) | 一种服务器连接方法及服务器系统 | |
US10810269B2 (en) | Method and system for second-degree friend query | |
CN111651526B (zh) | 冗余前端处理器的数据同步方法、前端处理器和处理系统 | |
CN112866421A (zh) | 基于分布式缓存以及nsq的智能合约运行方法及装置 | |
CN108632078B (zh) | 一种配置的获取方法 | |
CN106446050A (zh) | 一种针对数据库的变化数据进行订阅的方法及系统 | |
CN111259007B (zh) | 电动车信息监控方法、装置、服务器及电动车管理系统 | |
CN117743397A (zh) | 数据查询方法、装置、设备及存储介质 | |
CN106875184A (zh) | 异常场景模拟方法、装置及设备 | |
CN116414628A (zh) | 一种新旧系统切换过程中交易请求的处理方法和装置 | |
CN113556407B (zh) | 标识解析节点的接口调用方法、装置和电子设备 | |
CN109859038A (zh) | 一种区块链智能合约的生效方法及装置 | |
CN113760398A (zh) | 接口调用方法、服务器、系统以及存储介质 | |
CN107707383B (zh) | 放通处理方法、装置、第一网元及第二网元 | |
CN115495251B (zh) | 一种数据集成作业中计算资源智能控制方法及系统 | |
CN106850619B (zh) | 核心业务缓存降低底层数据库io的方法及使用其的服务站 | |
CN115622988B (zh) | web接口的调用响应方法、装置、电子设备和存储介质 | |
CN116760715A (zh) | 异常根因拓扑图生成方法及其装置、设备、介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |