CN117312297B - 数据管理方法及装置 - Google Patents

Abstract

本发明实施例提供了一种数据管理方法及装置。该方法包括：以第一数据节点所对应的数对为起始数对，基于数对间的取数逻辑对存储的多个数对进行轮询，直至确定出根源数据节点，其中，所述第一数据节点为需进行数据修改的数据节点；向所述根源数据节点发送修改通知报文，以在所述根源数据节点进行对应地数据修改。通过本发明实施例，可以解决相关技术中缺少以全局视角进行数据管理的问题，达到提高数据管理效率的效果。

Description

数据管理方法及装置

技术领域

本发明实施例涉及数据处理技术领域，具体而言，涉及一种数据管理方法及装置。

背景技术

相关技术中，多源数据治理采用下游系统配置数据清洗规则，定时清洗并通知反馈源系统的方式，缺少以“数据供应链”的全局视角进行数据质量维护的策略，从而导致终端用户发现数据问题后，缺少有效的数据维护方式。且若仅在下游系统修改数据，而不修改源系统数据，还可能会因副本覆盖，而导致数据更新失效。

发明内容

本发明实施例提供了一种数据管理方法及装置，以至少解决相关技术中缺少以全局视角进行数据管理的问题。

根据本发明的一个实施例，提供了一种数据管理方法，包括：以第一数据节点所对应的数对为起始数对，基于数对间的取数逻辑对存储的多个数对进行轮询，直至确定出根源数据节点，其中，所述第一数据节点为需进行数据修改的数据节点；向所述根源数据节点发送修改通知报文，以在所述根源数据节点进行对应地数据修改。

在一个示例性实施例中，基于数对间的取数逻辑对存储的多个数对进行轮询之前，所述方法还包括：按照获取需修改数据的先后顺序，将获取了所述需修改数据的数据节点进行关联，并得到多个数对。

在一个示例性实施例中，每个数据节点包括一个前驱节点以及一个或多个后继节点。

在一个示例性实施例中，对获取了所述需修改数据的数据节点进行关联，包括：对于任一所述获取了所述需修改数据的数据节点，在该数据节点为非根源数据节点的情况下，将该数据节点与该数据节点的前驱数据节点组成为一个数对；在该数据节点为根源数据节点的情况下，将该数据节点与空节点组成一个数对。

在一个示例性实施例中，基于数对间的取数逻辑对存储的多个数对进行轮询，直至确定出根源数据节点，包括：基于数对间的取数逻辑对存储的多个数对进行轮询，直至从所述多个数对中筛选出包含所述空节点的目标数对；将所述目标数对中非空节点的数据节点确定为所述根源数据节点。

在一个示例性实施例中，向所述根源数据节点发送修改通知报文之后，所述方法还包括：所述根源数据节点响应于所述修改通知报文进行数据修改；根据所述根源数据节点的数据修改，基于所述取数逻辑，对获取了需修改数据的其他数据节点进行数据更新。

根据本发明的另一个实施例，提供了一种数据管理装置，包括：轮询模块，用于以第一数据节点所对应的数对为起始数对，基于数对间的取数逻辑对存储的多个数对进行轮询，直至确定出根源数据节点，其中，所述第一数据节点为需进行数据修改的数据节点；发送模块，用于向所述根源数据节点发送修改通知报文，以在所述根源数据节点进行对应地数据修改。

在一个示例性实施例中，该装置还包括：关联模块，用于按照获取需修改数据的先后顺序，将获取了所述需修改数据的数据节点进行关联，并得到多个数对。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明上述实施例，在某一数据节点需进行数据修改时，基于数对间的取数逻辑对存储的多个数对进行轮询，从而确定出该数据节点对应的根源数据节点，并在根源数据节点进行数据修改，之后将修改后的数据通过根源数据节点覆盖至其余数据节点，使其余数据节点完成数据修改更新，从而可保证全局数据的一致性。因此，可以解决相关技术中缺少以全局视角进行数据管理的问题，达到提高数据管理效率的效果。

附图说明

图1是本发明实施例的运行数据管理方法的计算机终端的硬件结构框图；

图2是根据本发明实施例的数据管理方法的流程图；

图3是根据本发明实施例的数据管理装置的结构框图；

图4是根据本发明实施例的数据维护方法的流程图；

图5是根据本发明实施例的多源数据系统示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的运行数据管理方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器或可编程逻辑器件（FieldProgrammable Gate Array，FPGA）等的处理装置）和用于存储数据的存储器104，其中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的数据管理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述计算机终端的多源数据管理方法，图2是根据本发明实施例的数据管理方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，以第一数据节点所对应的数对为起始数对，基于数对间的取数逻辑对存储的多个数对进行轮询，直至确定出根源数据节点，其中，所述第一数据节点为需进行数据修改的数据节点。

在本实施例中，取数逻辑即每个节点获取数据的逻辑关系，例如：对于“主机序列号”数据所对应的一个数据供应链：系统C---->系统A---->系统B 中，系统C中的“主机序列号”数据取数据于系统A，系统A中的“主机序列号”数据取数据于系统B，系统B中的“主机序列号”取于自身。

在本实施例的步骤S202之前，所述方法还包括：按照获取需修改数据的先后顺序，将获取了所述需修改数据的数据节点进行关联，并得到多个数对。

在本实施例中，每个数据节点包括一个前驱节点以及一个或多个后继节点。对于任一数据，每个数据节点均从其对应的前驱节点获取该数据；同时也将该数据提供于其后续的后继节点。

在一个实施例中，对获取了所述需修改数据的数据节点进行关联，包括：对于任一所述获取了所述需修改数据的数据节点，在该数据节点为非根源数据节点的情况下，将该数据节点与该数据节点的前驱数据节点组成为一个数对；在该数据节点为根源数据节点的情况下，将该数据节点与空节点组成一个数对。

在本实施例的步骤S202中，对获取了所述需修改数据的数据节点进行关联，包括：对于任一所述获取了所述需修改数据的数据节点，在该数据节点为非根源数据节点的情况下，将该数据节点与该数据节点的前驱数据节点组成为一个数对；在该数据节点为根源数据节点的情况下，将该数据节点与空节点组成一个数对。

步骤S204，向所述根源数据节点发送修改通知报文，以在所述根源数据节点进行对应地数据修改。

在本实施例的步骤S204之后，所述方法还包括：所述根源数据节点响应于所述修改通知报文进行数据修改；根据所述根源数据节点的数据修改，基于所述取数逻辑，对获取了需修改数据的其他数据节点进行数据更新。

通过上述步骤，在某一数据节点需进行数据修改时，基于数对间的取数逻辑对存储的多个数对进行轮询，从而确定出该数据节点对应的根源数据节点，并在根源数据节点进行数据修改，之后将修改后的数据通过根源数据节点覆盖至其余数据节点，使其余数据节点完成数据修改更新，从而可保证全局数据的一致性。因此，可以解决相关技术中缺少以全局视角进行数据管理的问题，达到提高数据管理效率的效果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器（Read-Only Memory/ Random Access Memory， ROM/RAM）、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

在本实施例中还提供了一种多源数据管理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的多源数据管理装置的结构框图，图3所示，该装置包括：轮询模块10、发送模块20以及关联模块30。

轮询模块10，用于以第一数据节点所对应的数对为起始数对，基于数对间的取数逻辑对存储的多个数对进行轮询，直至确定出根源数据节点，其中，所述第一数据节点为需进行数据修改的数据节点；

发送模块20，用于向所述根源数据节点发送修改通知报文，以在所述根源数据节点进行对应地数据修改。

关联模块30，用于按照获取需修改数据的先后顺序，对获取了所述需修改数据的数据节点进行关联，并得到多个数对。

通过上述数据管理装置，可站在“数据供应链”的全局视角，来设计数据质量维护策略；同时还方便用户在使用中反馈数据问题，从数据源进行数据确认、更新，所有下游系统自动完成数据同步，能显著提升管理效率和质量。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

现有的多数据源系统，在进行本地数据维护时，采用数据清洗的方式，来保证数据质量，即在数据采集完成后，通过系统中预先配置的数据规则进行数据检查，在本地进行数据维护，同时，通过系统外的数据治理机制，来保证相关源系统数据的准确性和一致性。

但通过系统外的数据治理机制修改上游源系统内的数据，以及下游系统的本地数据，可能出现上、下游修改信息不同步、不一致等问题，针对这一问题，常用的数据治理方案，还需通过严格的制度、规范以及人工流程等来控制。

本发明实施例提供一种数据维护方案，针对数据需求侧系统，即下游系统，可解决如何保证用户在发现数据问题后，便捷的完成数据更新。在本实施例中，是从下游系统发起修改任务通知，从上游系统修改数据，之后基于上游系统的数据修改自动同步所有下游系统，从而保证上下游数据一致性。

下面以配置管理数据库（Configuration Management Database，CMDB）为例，对本发明实施例的上述方案进行详细描述。

针对CMDB中的多个来源数据，如何采用通用的方法，完成数据维护，为本发明意图解决的问题。因CMDB中的数据取自其他系统，且每日均要从来源系统进行全量数据更新，因此，只有在源系统修改数据，才能完成CMDB中的数据维护，而不是仅在CMDB修改数据，否则会在每日的数据更新中再次被错误的数据覆盖。

本发明实施例提供一种数据供应链，通过数据供应链可采用全局视角，将多个系统平台中的数据以彼此关联且前驱后继的关系，保存为数据供应链形式。其中，数据供应链首节点（即根源数据节点）的数据，取自根源数据，通过将所有数据供应链上各节点的数据都与根源数据保持一致，从而实现数据供应链上所有节点的数据具有一致性。

在本发明实施例中，CMDB的数据维护（管理），不是在CMDB系统中进行修改，而是先查询相应的数据供应链，再根据数据供应链明确根源数据系统，再向该根源系统发送修改通知报文，由根源系统修改数据，再通过系统间的数据同步接口更新至CMDB。

本发明实施例根据数据治理要求：从源头解决数据质量问题，以“数据供应链”的全局视角，来设计数据质量维护策略，通过在下游系统配置自动化流程，并与下游系统的数据查询使用功能结合，来提升用户使用的便捷性，并有效提升数据质量，全面推动数据维护任务达成。

图4是根据本发明实施例的数据维护方法的流程图，如图4所示，该方法包括如下步骤：

步骤S402，根据领域知识，将领域内分散在各个数据孤岛内的数据进行关联，并按照数据获取的先后进行排序。

因为在各个系统间领域知识、数据基础、信息共享能力等诸多差异，被看作一个个数据孤岛，很难通过一个任务自动完成上、下游数据的一致性、准确性维护。

在本实施例中，每个数据节点可能有多个后继节点，但只会有唯一的前驱节点。各数据节点间可能存在取数关系，根据存在的取数关系，会将部分节点关联起来，形成多条数据供应链，但在系统中并不直接存储数据供应链，数据供应链仅是一种隐含的逻辑关系。

例如：如图5所示，对于CMDB来说，从系统A到系统K都是CMDB的数据源系统，也即上述实施例中的数据节点。但对于具体某一类数据，比如“主机序列号”，很可能从系统A、系统B、系统C中都能取到，因此，在梳理“主机序列号”的数据供应链时，根据“主机”管理业务流程中的各相关方接管顺序，也是系统A、系统B、系统C中生成“主机序列号”数据的顺序，来定义“主机序列号”数据供应链，为：

系统C---->系统A---->系统B。

此处需注意，可能有以下数据供应链：

系统C---->系统A---->系统B；

系统C---->系统F---->系统H；

系统C---->系统A---->系统D；

但不会有以下的数据供应链：

系统C---->系统A---->系统B；

系统M---->系统A---->系统B。

即一个节点可以有多个子节点，但不会有不同的父节点。

步骤S404，根据定义好的关联排序数据，将每个数据节点和该数据节点的前驱节点组成数对（Node，prevNode），数据供应链的首节点和“null”（即空节点）组成数对（Node，null），保存到CMDB中。

在本实施例中，CMDB中保存多个数对，这些数对都是前期根据领域知识进行保存的，保存时仅涉及每个系统的取数逻辑，例如：系统C中的“主机序列号”数据取数据于系统A，系统A中的“主机序列号”数据取数据于系统B，系统B中的“主机序列号”取于自身。

这种保存数对的方法具有逻辑简单且通用性强的优点：

一方面，为获取数据供应链，需要收集领域知识，而各个领域间的取数逻辑是必须掌握的，以数对的方式保存取数逻辑，既能隐含获取数据供应链，又能使得到的数据供应链的知识最准确、最方便获取的；

另一方面，数据供应链有长有短，如果在系统里保存完整的数据供应链，以统一的模式来保存，会浪费计算和存储资源，并且还可能需要整合和解析，计算逻辑复杂。而以数对来保存，便无需考虑数据供应链长短的问题，都以一种通用的方式来保存，在查询数据供应链时也是以通用的方式，实现供应链源节点（即根源数据节点）的查找。

以上述“主机序列号”的数据供应链：系统C---->系统A---->系统B为例，其数对可以在CMDB中保存为：

（系统C.“主机序列号”，系统A.“主机序列号”）；

（系统A.“主机序列号”，系统B.“主机序列号”）；

（系统B.“主机序列号”，null）。

步骤S406，CMDB在进行数据维护时，根据修改的数据节点，查询相对应的数据供应链，如果一次修改多个数据节点，需要分别查询相应的数据供应链，再明确根源数据所属的系统，向根源数据所属的系统发送数据修改通知报文。

在本实施例中，明确根源数据所属的系统（即根源数据节点）包括：根据“节点与前驱节点”数对，进行轮询，直至找到predNode==null，则本数对的Node为对应根源数据节点。

例如：需修改CMDB下的C系统的“主机序列号”数据，则包括如下步骤：

步骤S1，在CMDB中查询系统C中对应于“主机序列号”的数对，即找到数对：（系统C.“主机序列号”，系统A.“主机序列号”），此时前驱节点为系统A。

步骤S2，继续查询系统A中对应于“主机序列号”的数对，即找到数对（系统A.“主机序列号”，系统B.“主机序列号”），此时，前驱节点为系统B。

步骤S3，查询系统B中对应于“主机序列号”的数对，即找到数对（系统B.“主机序列号”，null），此时前驱节点为null（即空节点），说明系统B 为“主机序列号”数据的根源数据节点，“主机序列号”数据从其自身获取。

步骤S408，根源数据节点响应数据修改通知报文进行数据修改，基于所述根源数据节点修改后的数据，对其他数据节点进行数据更新，其中，其他数据节点为：除是根源数据节点外，其他获取了需修改数据的数据节点。

通过本发明上述实施例，以“数据供应链”的全局视角，来设计数据质量维护策略，在下游系统配置通用的自动化流程，将数据分类定义不同的流程节点，对应不同的多个数据源，保障数据一致性。在下游系统完成数据供应链管理，发现数据问题，发送数据更新通知报文至根源系统，提升数据修改的便捷性和效率。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种数据管理方法，其特征在于，包括：

以第一数据节点所对应的数对为起始数对，基于数对间的取数逻辑对存储的多个数对进行轮询，直至确定出根源数据节点，其中，所述第一数据节点为需进行数据修改的数据节点；

向所述根源数据节点发送修改通知报文，以在所述根源数据节点进行对应地数据修改；

其中，基于数对间的取数逻辑对存储的多个数对进行轮询之前，所述方法还包括：

按照获取需修改数据的先后顺序，将获取了所述需修改数据的数据节点进行关联，并得到多个数对；

其中，基于数对间的取数逻辑对存储的多个数对进行轮询，直至确定出根源数据节点，包括：

基于数对间的取数逻辑对存储的多个数对进行轮询，直至从所述多个数对中筛选出包含空节点的目标数对；

将所述目标数对中非空节点的数据节点确定为所述根源数据节点；

其中，每个数据节点包括一个前驱节点以及一个或多个后继节点；

其中，将获取了所述需修改数据的数据节点进行关联，包括：

对于任一所述获取了所述需修改数据的数据节点，在该数据节点为非根源数据节点的情况下，将该数据节点与该数据节点的前驱数据节点组成为一个数对；

在该数据节点为根源数据节点的情况下，将该数据节点与空节点组成一个数对。

2.根据权利要求1所述的方法，其特征在于，向所述根源数据节点发送修改通知报文之后，所述方法还包括：

所述根源数据节点响应于所述修改通知报文进行数据修改；

根据所述根源数据节点的数据修改，基于所述取数逻辑，对获取了需修改数据的其他数据节点进行数据更新。

3.一种数据管理装置，其特征在于，包括：

轮询模块，用于以第一数据节点所对应的数对为起始数对，基于数对间的取数逻辑对存储的多个数对进行轮询，直至确定出根源数据节点，其中，所述第一数据节点为需进行数据修改的数据节点；

发送模块，用于向所述根源数据节点发送修改通知报文，以在所述根源数据节点进行对应地数据修改；

其中，所述装置，还用于按照获取需修改数据的先后顺序，将获取了所述需修改数据的数据节点进行关联，并得到多个数对；还用于基于数对间的取数逻辑对存储的多个数对进行轮询，直至从所述多个数对中筛选出包含空节点的目标数对；将所述目标数对中非空节点的数据节点确定为所述根源数据节点；

其中，每个数据节点包括一个前驱节点以及一个或多个后继节点；

其中，对于任一所述获取了所述需修改数据的数据节点，所述装置，还用于在该数据节点为非根源数据节点的情况下，将该数据节点与该数据节点的前驱数据节点组成为一个数对；在该数据节点为根源数据节点的情况下，将该数据节点与空节点组成一个数对。

4.根据权利要求3所述的装置，其特征在于，还包括：

关联模块，用于按照获取需修改数据的先后顺序，将获取了所述需修改数据的数据节点进行关联，并得到多个数对。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至2任一项中所述的方法。

6.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至2任一项中所述的方法。