CN113722295A - 数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种数据处理方法及装置，该方法包括：接收待处理数据；确定所述待处理数据的目标数据库；判断所述待处理数据是否满足所述目标数据库的入库条件；在所述待处理数据满足所述入库条件的情况下，确定所述目标数据库中当前是否存在历史数据；若所述目标数据库中存在历史数据，则确定所述待处理数据的优先级是否高于所述历史数据的优先级；所述历史数据的属性类型与所述待处理数据的属性类型一致；若所述待处理数据的优先级高于所述历史数据的优先级，则将所述待处理数据存储至所述目标数据库中。应用本发明提供的方法，能够防止数据的反复覆盖，避免重要数据的丢失。

Description

数据处理方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种数据处理方法及装置。

背景技术

随着计算机科学技术的发展，数据库也得到了广泛的应用，在一些场景下，将数据存储到数据库的过程中，数据来源的范围通常具有多样性，即，多个数据中心由不同的系统进行维护。例如，第一数据中心的软件A将数据存储到数据库中，第二数据中心的软件B将数据存储到数据库中，两份数据由于管理上的要求存在同一设备都归属于软件A、B的情况，因此，数据库中存储的数据将会被软件A的数据和软件B的数据反复覆盖，导致重要的数据丢失。

发明内容

本发明所要解决的技术问题是提供一种数据处理方法，能够防止数据的反复覆盖，避免重要数据的丢失。

本发明还提供了一种数据处理装置，用以保证上述方法在实际中的实现及应用。

一种数据处理方法，包括：

接收待处理数据；

确定所述待处理数据的目标数据库；

判断所述待处理数据是否满足所述目标数据库的入库条件；

在所述待处理数据满足所述入库条件的情况下，确定所述目标数据库中当前是否存在历史数据；

若所述目标数据库中存在历史数据，则确定所述待处理数据的优先级是否高于所述历史数据的优先级；所述历史数据的属性类型与所述待处理数据的属性类型一致；

若所述待处理数据的优先级高于所述历史数据的优先级，则将所述待处理数据存储至所述目标数据库中。

上述的方法，可选的，所述判断所述待处理数据是否满足所述目标数据库的入库条件，包括：

确定与所述待处理数据的属性类型相关联的目标属性类型；

获取所述待处理数据的目标属性类型的关联属性数据；

判断所述关联属性数据是否满足所述目标属性类型对应的配置规则；

在所述关联属性数据满足所述目标属性类型对应的配置规则的情况下，判定所述待处理数据满足所述目标数据库的入库条件；

在所述关联属性数据不满足所述目标属性类型对应的配置规则的情况下，判定所述待处理数据不满足所述目标数据库的入库条件。

上述的方法，可选的，所述确定所述待处理数据的优先级是否高于所述历史数据的优先级，包括：

根据所述待处理数据的目标属性类型的关联属性数据，确定所述待处理数据的优先级，以及根据所述历史数据的目标属性类型的关联属性数据，确定所述历史数据的优先级；

确定所述待处理数据的优先级是否高于所述历史数据的优先级。

上述的方法，可选的，还包括：

若所述目标数据库中不存在历史数据，则将该待处理数据存储至所述目标数据库中。

上述的方法，可选的，所述将所述待处理数据存储至所述目标数据库中，包括：

将所述待处理数据对所述目标数据库中的历史数据进行覆盖存储。

一种数据处理装置，包括：

接收单元，用于接收待处理数据；

第一确定单元，用于确定所述待处理数据的目标数据库；

判断单元，用于判断所述待处理数据是否满足所述目标数据库的入库条件；

第二确定单元，用于在所述待处理数据满足所述入库条件的情况下，确定所述目标数据库中当前是否存在历史数据；

第三确定单元，用于若所述目标数据库中存在历史数据，则确定所述待处理数据的优先级是否高于所述历史数据的优先级；所述历史数据的属性类型与所述待处理数据的属性类型一致；

第一存储单元，用于若所述待处理数据的优先级高于所述历史数据的优先级，则将所述待处理数据存储至所述目标数据库中。

上述的装置，可选的，所述判断单元，包括：

第一确定子单元，用于确定与所述待处理数据的属性类型相关联的目标属性类型；

获取子单元，用于获取所述待处理数据的目标属性类型的关联属性数据；

判断子单元，用于判断所述关联属性数据是否满足所述目标属性类型对应的配置规则；

第一判定子单元，用于在所述关联属性数据满足所述目标属性类型对应的配置规则的情况下，判定所述待处理数据满足所述目标数据库的入库条件；

第二判定子单元，用于在所述关联属性数据不满足所述目标属性类型对应的配置规则的情况下，判定所述待处理数据不满足所述目标数据库的入库条件。

上述的装置，可选的，所述第三确定单元，包括：

第二确定子单元，用于根据所述待处理数据的目标属性类型的关联属性数据，确定所述待处理数据的优先级，以及根据所述历史数据的目标属性类型的关联属性数据，确定所述历史数据的优先级；

第三确定子单元，用于确定所述待处理数据的优先级是否高于所述历史数据的优先级。

上述的装置，可选的，还包括：

第二存储单元，用于若所述目标数据库中不存在历史数据，则将该待处理数据存储至所述目标数据库中。

上述的装置，可选的，所述第一存储单元，包括：

存储子单元，用于将所述待处理数据对所述目标数据库中的历史数据进行覆盖存储。

与现有技术相比，本发明包括以下优点：

本发明提供了一种数据处理方法及装置，可以先接收待处理数据；确定所述待处理数据的目标数据库；判断所述待处理数据是否满足所述目标数据库的入库条件；在所述待处理数据满足所述入库条件的情况下，确定所述目标数据库中当前是否存在历史数据；若所述目标数据库中存在历史数据，则确定所述待处理数据的优先级是否高于所述历史数据的优先级；所述历史数据的属性类型与所述待处理数据的属性类型一致；若所述待处理数据的优先级高于所述历史数据的优先级，则将所述待处理数据存储至所述目标数据库中。也就是说，应用本发明提供的方案，能够确定待处理数据是否满足数据库的入库条件，并在待处理的数据的优先级高于该历史数据的优先级的情况下，将该待处理的数据存储至数据库中，通过比较数据的优先级，能够防止低优先级的数据覆盖高优先级的数据，避免优先级高的数据的丢失。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种数据处理方法的方法流程图；

图2为本发明提供的一种判断待处理数据是否满足目标数据库的入库条件的过程的流程图；

图3为本发明提供的一种确定待处理数据的优先级是否高于历史数据的优先级的过程的流程图；

图4为本发明提供的一种数据处理装置的结构示意图；

图5为本发明提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例提供了一种数据处理方法，该方法可以应用于电子设备，所述方法的方法流程图如图1所示，具体包括：

S101：接收待处理数据。

在本发明实施例中，可以接收包含待处理数据的数据存储请求，在该数据存储请求中获取该待处理数据，该数据存储请求可以为预设的子系统集合中的任意一个子系统发送的，子系统集合可以包括非金融系统、供给系统、变更系统等。

其中，该待处理数据可以为各个类型的系统状态信息，例如，可以为CPU核数。

S102：确定所述待处理数据的目标数据库。

在本发明实施例中，该目标数据库可以配置管理数据库，该目标数据库包括配置项全生命周期的信息以及配置项之间的关系，该目标数据库可以为由至少一个物理数据库组成的逻辑实体。

所述目标数据库可以用于对所属系统中的所有的IT组件、组件的不同版本和状态，以及组件之间的关系进行跟踪。

其中，配置项之间的关系可以包括物理关系、实时通信关系、非实时通信关系和依赖关系中的至少一种。

具体的，可以根据待处理数据所属的数据存储请求确定该该处理数据的目标数据库，该数据存储请求中可以包含待处理数据的数据库标识，可以根据数据库标识确定目标数据库。

S103：判断所述待处理数据是否满足所述目标数据库的入库条件；若是，执行S104；若否，则执行S107。

在本发明实施例中，该入库条件可以为待处理数据对应的关联属性数据满足预先设置的配置规则。

S104：确定所述目标数据库中当前是否存在历史数据，若是，则执行S105，若否，则执行S106。

S105：若所述目标数据库中存在历史数据，则确定所述待处理数据的优先级是否高于所述历史数据的优先级；若所述待处理数据的优先级高于历史数据的优先级，则执行S106，否则，执行S107。

其中，所述历史数据的属性类型与所述待处理数据的属性类型一致，例如，待处理数据的属性类型可以为CPU核数类型，历史数据的属性类型也可以为CPU核数类型。

具体的，该待处理数据的优先级和该历史数据的优先级可以为预先配置的。

S106：将所述待处理数据存储至所述目标数据库中。

其中，在待处理数据的优先级高于历史数据的优先级的情况下，将待处理数据存储至目标数据库的一种可行的方式为：将所述待处理数据对所述目标数据库中的历史数据进行覆盖存储。

在目标数据库不存在历史数据的情况下，则可以直接将该待处理数据存储至该目标数据库中。

S107：拒绝将所述待处理数据存储至所述目标数据库。

应用本发明提供的方法，能够确定待处理数据是否满足数据库的入库条件，并在待处理的数据的优先级高于该历史数据的优先级的情况下，将该待处理的数据存储至数据库中，通过比较数据的优先级，能够防止低优先级的数据覆盖高优先级的数据，避免优先级高的数据的丢失。

在本发明提供的方法中，基于上述的实施过程，具体的，所述判断所述待处理数据是否满足所述目标数据库的入库条件，如图2所示，具体包括：

S201：确定与所述待处理数据的属性类型相关联的目标属性类型。

其中，待处理数据的属性类型可以为系统的各种状态信息类型，例如CPU核数类型，目标数据类型可以为待处理数据所属的责任对象类型、地域类型和设备类型等以上一种或多种。

S202：获取所述待处理数据的目标属性类型的关联属性数据。

在本发明实施例中，获取该待处理数据的目标属性类型的关联属性数据，例如，该待处理数据的目标属性类型为责任对象类型，则该关联属性数据可以为该待处理数据的责任对象，例如，单位A。

S203：判断所述关联属性数据是否满足所述目标属性类型对应的配置规则，若满足，则执行S204，若不满足，则执行S205。

其中，该配置规则可以是根据实际需求进行设置的，例如，该配置规则可以为关联属性数据与预设的标准数据一致、待处理数据对应的关联属性数据的值类型为预设的标准值类型、待处理数据对应的关联属性数据的值满足预设的阈值、待处理数据对应的关联属性所表征的归属对象为预设的归属对象等以上一种或多种。

S204：判定所述待处理数据满足所述目标数据库的入库条件。

S205：判定所述待处理数据不满足所述目标数据库的入库条件。

在本发明提供的方法中，基于上述的实施过程，具体的，所述确定所述待处理数据的优先级是否高于所述历史数据的优先级，如图3所示，具体包括：

S301：根据所述待处理数据的目标属性类型的关联属性数据，确定所述待处理数据的优先级，以及根据所述历史数据的目标属性类型的关联属性数据，确定所述历史数据的优先级。

在本发明实施例中，预先设置有优先级配置文件，优先级配置文件中可以记录有不同的关联属性数据对应的优先级，基于待处理数据的关联属性数据遍历该优先级配置文件，即可确定待处理数据的优先级，基于该历史数据的关联属性类型遍历该优先级配置文件，获得该历史数据的优先级。

S302：确定所述待处理数据的优先级是否高于所述历史数据的优先级。

在本发明实施例中，在获取到待处理数据的优先级的历史数据的优先级之后，可以将待处理数据的优先级和历史数据的优先级进行比较，从而确定待处理数据的优先级是否高于历史数据的优先级。

在本发明提供的方法中，基于上述的实施过程，具体的，所述将所述待处理数据存储至所述目标数据库中，包括：

将所述待处理数据对所述目标数据库中的历史数据进行覆盖存储。

本发明实施例提供的方法数据处理方法，可以应用于各个领域之中，例如，可以应用于金融领域的银行系统之后，银行系统可以为由多个子系统的系统集合，例如，可以包含非金融系统、供给系统、变更系统等，每一系统均可产生待处理的数据。

可以预先为归属于不同数据源的数据进行加工处理，为不同数据源的数据的各个属性之间建立关系。例如，“CPU核数”是一个类型的属性，“机器归属地域”是另一个类型的属性。将两个类型的属性数据之间建立好关联关系并存储。关联关系之外，还要建立对应的规则。规则是否入库的准入规则，即数据是否允许入库。举例来说，若关联属性是枚举值，列举准入的枚举值；若关联属性是数字，存储准入的阈值。

当数据覆盖时，第一步，先做关联关系的检查，即关联的属性数据是否允许数据入库。举例来说，CPU核数入库时，若关联的属性是设备归属责任方，则检查设备归属责任方是否符合规则，例如，若设备归属方为“地域1的单位A”，则取高优先级。若设备归属方为“地域1的单位B”，则取低优先级。低优先级的数据不会覆盖高优先级数据。反之，高优先级数据会覆盖低优先级数据。通过该装置的设置，保证在规则满足业务需求的前提下，对数据进行了优先级排列，保证了数据的准确入库。

与图1所述的方法相对应，本发明实施例还提供了一种数据处理装置，用于对图1中方法的具体实现，本发明实施例提供的数据处理装置可以应用于电子设备中，其结构示意图如图4所示，具体包括：

接收单元401，用于接收待处理数据；

第一确定单元402，用于确定所述待处理数据的目标数据库；

判断单元403，用于判断所述待处理数据是否满足所述目标数据库的入库条件；

第二确定单元404，用于在所述待处理数据满足所述入库条件的情况下，确定所述目标数据库中当前是否存在历史数据；

第三确定单元405，用于若所述目标数据库中存在历史数据，则确定所述待处理数据的优先级是否高于所述历史数据的优先级；所述历史数据的属性类型与所述待处理数据的属性类型一致；

第一存储单元406，用于若所述待处理数据的优先级高于所述历史数据的优先级，则将所述待处理数据存储至所述目标数据库中。

本发明实施例提供的数据处理装置，通过接收待处理数据；确定待处理数据的目标数据库；判断待处理数据是否满足目标数据库的入库条件；在待处理数据满足入库条件的情况下，确定目标数据库中当前是否存在历史数据；若目标数据库中存在历史数据，则确定待处理数据的优先级是否高于历史数据的优先级；历史数据的属性类型与待处理数据的属性类型一致；若待处理数据的优先级高于历史数据的优先级，则将待处理数据存储至所述目标数据库中。应用本发明提供的装置，能够确定待处理数据是否满足数据库的入库条件，并在待处理的数据的优先级高于该历史数据的优先级的情况下，将该待处理的数据存储至数据库中，通过比较数据的优先级，能够防止低优先级的数据覆盖高优先级的数据，避免优先级高的数据的丢失。

在本发明提供的一实施例中，基于上述的方案，可选的，所述判断单元403，包括：

第一确定子单元，用于确定与所述待处理数据的属性类型相关联的目标属性类型；

获取子单元，用于获取所述待处理数据的目标属性类型的关联属性数据；

判断子单元，用于判断所述关联属性数据是否满足所述目标属性类型对应的配置规则；

第一判定子单元，用于在所述关联属性数据满足所述目标属性类型对应的配置规则的情况下，判定所述待处理数据满足所述目标数据库的入库条件；

第二判定子单元，用于在所述关联属性数据不满足所述目标属性类型对应的配置规则的情况下，判定所述待处理数据不满足所述目标数据库的入库条件。

在本发明提供的一实施例中，基于上述的方案，可选的，所述第三确定单元405，包括：

第二确定子单元，用于根据所述待处理数据的目标属性类型的关联属性数据，确定所述待处理数据的优先级，以及根据所述历史数据的目标属性类型的关联属性数据，确定所述历史数据的优先级；

第三确定子单元，用于确定所述待处理数据的优先级是否高于所述历史数据的优先级。

在本发明提供的一实施例中，基于上述的方案，可选的，还包括：

第二存储单元，用于若所述目标数据库中不存在历史数据，则将该待处理数据存储至所述目标数据库中。

在本发明提供的一实施例中，基于上述的方案，可选的，所述第一存储单元406，包括：

存储子单元，用于将所述待处理数据对所述目标数据库中的历史数据进行覆盖存储。

上述本发明实施例公开的数据处理装置中的各个单元和模块具体的原理和执行过程，与上述本发明实施例公开的数据处理方法相同，可参见上述本发明实施例提供的数据处理方法中相应的部分，这里不再进行赘述。

本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述数据处理方法。

本发明实施例还提供了一种电子设备，其结构示意图如图5所示，具体包括存储器501，以及一个或者一个以上的指令502，其中一个或者一个以上指令502存储于存储器501中，且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作：

接收待处理数据；

确定所述待处理数据的目标数据库；

判断所述待处理数据是否满足所述目标数据库的入库条件；

在所述待处理数据满足所述入库条件的情况下，确定所述目标数据库中当前是否存在历史数据；

若所述目标数据库中存在历史数据，则确定所述待处理数据的优先级是否高于所述历史数据的优先级；所述历史数据的属性类型与所述待处理数据的属性类型一致；

若所述待处理数据的优先级高于所述历史数据的优先级，则将所述待处理数据存储至所述目标数据库中。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种数据处理方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

接收待处理数据；

确定所述待处理数据的目标数据库；

判断所述待处理数据是否满足所述目标数据库的入库条件；

在所述待处理数据满足所述入库条件的情况下，确定所述目标数据库中当前是否存在历史数据；

若所述目标数据库中存在历史数据，则确定所述待处理数据的优先级是否高于所述历史数据的优先级；所述历史数据的属性类型与所述待处理数据的属性类型一致；

若所述待处理数据的优先级高于所述历史数据的优先级，则将所述待处理数据存储至所述目标数据库中。

2.根据权利要求1所述的方法，其特征在于，所述判断所述待处理数据是否满足所述目标数据库的入库条件，包括：

确定与所述待处理数据的属性类型相关联的目标属性类型；

获取所述待处理数据的目标属性类型的关联属性数据；

判断所述关联属性数据是否满足所述目标属性类型对应的配置规则；

在所述关联属性数据满足所述目标属性类型对应的配置规则的情况下，判定所述待处理数据满足所述目标数据库的入库条件；

在所述关联属性数据不满足所述目标属性类型对应的配置规则的情况下，判定所述待处理数据不满足所述目标数据库的入库条件。

3.根据权利要求2所述的方法，其特征在于，所述确定所述待处理数据的优先级是否高于所述历史数据的优先级，包括：

根据所述待处理数据的目标属性类型的关联属性数据，确定所述待处理数据的优先级，以及根据所述历史数据的目标属性类型的关联属性数据，确定所述历史数据的优先级；

确定所述待处理数据的优先级是否高于所述历史数据的优先级。

4.根据权利要求1所述的方法，其特征在于，还包括：

若所述目标数据库中不存在历史数据，则将该待处理数据存储至所述目标数据库中。

5.根据权利要求1所述的方法，其特征在于，所述将所述待处理数据存储至所述目标数据库中，包括：

将所述待处理数据对所述目标数据库中的历史数据进行覆盖存储。

6.一种数据处理装置，其特征在于，包括：

接收单元，用于接收待处理数据；

第一确定单元，用于确定所述待处理数据的目标数据库；

判断单元，用于判断所述待处理数据是否满足所述目标数据库的入库条件；

第二确定单元，用于在所述待处理数据满足所述入库条件的情况下，确定所述目标数据库中当前是否存在历史数据；

第三确定单元，用于若所述目标数据库中存在历史数据，则确定所述待处理数据的优先级是否高于所述历史数据的优先级；所述历史数据的属性类型与所述待处理数据的属性类型一致；

第一存储单元，用于若所述待处理数据的优先级高于所述历史数据的优先级，则将所述待处理数据存储至所述目标数据库中。

7.根据权利要求6所述的装置，其特征在于，所述判断单元，包括：

第一确定子单元，用于确定与所述待处理数据的属性类型相关联的目标属性类型；

获取子单元，用于获取所述待处理数据的目标属性类型的关联属性数据；

判断子单元，用于判断所述关联属性数据是否满足所述目标属性类型对应的配置规则；

第一判定子单元，用于在所述关联属性数据满足所述目标属性类型对应的配置规则的情况下，判定所述待处理数据满足所述目标数据库的入库条件；

第二判定子单元，用于在所述关联属性数据不满足所述目标属性类型对应的配置规则的情况下，判定所述待处理数据不满足所述目标数据库的入库条件。

8.根据权利要求7所述的装置，其特征在于，所述第三确定单元，包括：

第二确定子单元，用于根据所述待处理数据的目标属性类型的关联属性数据，确定所述待处理数据的优先级，以及根据所述历史数据的目标属性类型的关联属性数据，确定所述历史数据的优先级；

第三确定子单元，用于确定所述待处理数据的优先级是否高于所述历史数据的优先级。

9.根据权利要求6所述的装置，其特征在于，还包括：

第二存储单元，用于若所述目标数据库中不存在历史数据，则将该待处理数据存储至所述目标数据库中。

10.根据权利要求6所述的装置，其特征在于，所述第一存储单元，包括：

存储子单元，用于将所述待处理数据对所述目标数据库中的历史数据进行覆盖存储。

Images