CN112256978A - 一种基于数据模型的数据处理方法、装置、介质 - Google Patents

Abstract

本发明提供了一种基于数据模型的数据处理方法、装置及存储介质，该方法包括：在数据库中基于数据源设定数据的验证规则和数据样式；使用所述验证规则对来自所述数据源的数据进行验证，验证通过后，基于所述数据样式生成所述数据源的初始模板；基于用户的业务环境对数据的需求对所述初始模板进行调整得到数据组件模板；基于所述数据组件模板将来自数据源的数据进行筛选，得到满足用户业务环境的数据存储在数据库中。本发明根据用户的业务环境对初始模板进行调整得到对应的数据组件模板，使用所述数据组件模板重新将来自数据源的数据进行筛选，得到满足该用户业务环境的数据，且对监控字段的数据项的监控，可以完成同步数据，以保证数据的时效性。

Description

一种基于数据模型的数据处理方法、装置、介质

技术领域

本发明涉及计算机程序设计技术领域，特别是一种基于数据模型的数据处理方法、装置及存储介质。

背景技术

随着‘云服务‘的快速发展、互联网应用的飞速迭代，支持应用运行的基础资源的数量正在与日俱增，并且种类与规格也层出不穷。尽管各个平台都有其对应的管理平台，但是在现如今这个混合云的时代单独且脱离生产场景的管理就显得苍白无力了，正因为如此，基础资源数据的统一化管理和二次开发迫在眉睫，它能够对于在细致了解应用资源详情和尽早排查应用潜在风险起到了支撑和指导的作用。

现有技术存在以下技术缺陷：

每一个应用往往是根据定制好的组件模板（模型）进行数据的筛选，也就是每一个应用都需要从基础数据获取、定义数据之间的关联关系、导出数据用于开发的前期工作，无法根据应用场景进行数据模板的适应性扩展；组件模板之间不能进行关联扩展，导致数据难以开发应用，难以定制化开发利用。

数据展示模型过于单一，应用系统中想要展示的某种模型，只能通过硬逻辑“专项专治”，而不能做到“通性通法”；不同平台的输出数据格式（字段名称、类型）难以统一。

筛选获取到的数据仅限于当前开发系统，无法作为全量接口提供给其他系统使用；数据本身过于纯粹，无法支撑起应用进行风险的排查，无法完成数据的及时更新。

发明内容

本发明针对上述现有技术中的缺陷，提出了如下技术方案。

一种基于数据模型的数据处理方法，该方法包括：

设定步骤，在数据库中基于数据源设定数据的验证规则和数据样式；

初始模板生成步骤，使用所述验证规则对来自所述数据源的数据进行验证，验证通过后，基于所述数据样式生成所述数据源的初始模板；

调整步骤，基于用户的业务环境对数据的需求对所述初始模板进行调整得到数据组件模板；

获取步骤，基于所述数据组件模板将来自数据源的数据进行筛选，得到满足用户业务环境的数据存储在数据库中。

更进一步地，在基于用户的业务环境对数据的需求对所述初始模板进行调整得到组件模板是指，分别获取多个用户的业务环境，基于所述业务环境获取与所述业务环境对应的业务需求，对所述业务需求进行分析得到调整参数，基于所述调整参数对所述初始模板进行调整得到与每个用户对应的组件模板，共获得多个组件模板。

更进一步地，编写关联脚本将所述多个组件模板基于组件模板中字段的逻辑关系进行关联生成复合组件模板。

更进一步地，使用所述复合组件模板对来自数据源的数据进行筛选处理后存储在另一数据库中以供二次开发使用。

更进一步地，对所述多个组件模板及复合组件模板中的字段进行分析确定每个组件模板及复合组件模板中的监控字段，基于所述监控字段基于监控策略对所述数据源中的相应数据项进行监控，当监控发现所述数据源中与所述监控字段相应的数据项发生更新时，基于所述监控字段对所述数据库及所述另一数据库中的数据进行更新，在更新时，为每一个组件模板及复合组件模板分配一个线程同时基于多个组件模板及复合组件模板对来自数据源的数据进行更新。

本发明还提出了一种基于数据模型的数据处理装置，该装置包括：

设定单元，在数据库中基于数据源设定数据的验证规则和数据样式；

初始模板生成单元，使用所述验证规则对来自所述数据源的数据进行验证，验证通过后，基于所述数据样式生成所述数据源的初始模板；

调整单元，基于用户的业务环境对数据的需求对所述初始模板进行调整得到数据组件模板；

获取单元，基于所述数据组件模板将来自数据源的数据进行筛选，得到满足用户业务环境的数据存储在数据库中。

更进一步地，在基于用户的业务环境对数据的需求对所述初始模板进行调整得到组件模板是指，分别获取多个用户的业务环境，基于所述业务环境获取与所述业务环境对应的业务需求，对所述业务需求进行分析得到调整参数，基于所述调整参数对所述初始模板进行调整得到与每个用户对应的组件模板，共获得多个组件模板。

更进一步地，编写关联脚本将所述多个组件模板基于组件模板中字段的逻辑关系进行关联生成复合组件模板。

更进一步地，使用所述复合组件模板对来自数据源的数据进行筛选处理后存储在另一数据库中以供二次开发使用；对所述多个组件模板及复合组件模板中的字段进行分析确定每个组件模板及复合组件模板中的监控字段，基于所述监控字段基于监控策略对所述数据源中的相应数据项进行监控，当监控发现所述数据源中与所述监控字段相应的数据项发生更新时，基于所述监控字段对所述数据库及所述另一数据库中的数据进行更新，在更新时，为每一个组件模板及复合组件模板分配一个线程同时基于多个组件模板及复合组件模板对来自数据源的数据进行更新。

本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。

本发明的一种基于数据模型的数据处理方法、装置及存储介质，该方法包括：设定步骤，在数据库中基于数据源设定数据的验证规则和数据样式；初始模板生成步骤，使用所述验证规则对来自所述数据源的数据进行验证，验证通过后，基于所述数据样式生成所述数据源的初始模板；调整步骤，基于用户的业务环境对数据的需求对所述初始模板进行调整得到数据组件模板；获取步骤，基于所述数据组件模板将来自数据源的数据进行筛选，得到满足用户业务环境的数据存储在数据库中。本发明中，首先基于设定数据的验证规则和数据样式生成了初始模板，然后根据用户的业务环境对初始模板进行调整得到了该用户对应的数据组件模板，使用所述数据组件模板重新将来自数据源的数据进行筛选，得到满足该用户业务环境的数据，使得初始数据模板可以进行扩展即可以得到用户需要的数据组件模板，解决了现有技术中每一个应用（用户）都需要定制模板从基础数据获取、定义数据之间的关联关系、导出数据用于开发的前期工作、无法根据应用场景进行数据模板的适应性扩展的技术缺陷，本发明中，在每个组件模板及复合组件模板中确定了监控字段，监控字段是中数据中比较核心、重要的字段，通过对监控字段定时的进行排查，可以进行数据风险的排查，且对监控字段的数据项的监控，可以完成同步数据，以保证数据的时效性，解决了现有技术中无法完成数据的及时更新的技术问题，提高了数据模板的生成效率，进而避免了每一个用户都需要从数据加工的初始步骤开始，提高了数据生成效率，本发明可以将多个数据组件模板进行关联使用，以适应多种业务场景、多种数据源等复杂的工作场景，解决了现有技术中的数据模型展示只能通过硬逻辑“专项专治”、不同平台的输出数据格式难以统一的技术问题。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。

图1是根据本发明的实施例的一种基于数据模型的数据处理方法的流程图。

图2是根据本发明的实施例的一种基于数据模型的数据处理装置的示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本发明的一种基于数据模型的数据处理方法，该方法包括：

本发明主要解决目前存在的基础资源数据的统一化管理的上述技术难题和难以二次开发利用的缺陷，以及数据的风险排查、更新等问题。该方法包括：

设定步骤S101，在数据库中基于数据源设定数据的验证规则和数据样式；本发明中，将来自数据源（可以是一个或多个）的数据规格化存储在数据库中，数据的验证规则是用于验证数据的正确性，验证规则包括比如数据的阈值、数据的类型、数据的格式等等，数据样式是指将筛选后的数据以什么样的方式进行存储。

初始模板生成步骤S102，使用所述验证规则对来自所述数据源的数据进行验证，验证通过后，基于所述数据样式生成所述数据源的初始模板；初始模板为系统根据设定数据样式自动生成的模板，这是一个统一的数据初始模板。

调整步骤S103，基于用户的业务环境对数据的需求对所述初始模板进行调整得到数据组件模板；在实践中，由于用户的工作环境不同，每个用户对数据的需要不同，因此，可以根据用户的业务环境对初始模板进行增删等修改，以获得与该用户对应的数据组件模板。

获取步骤S104，基于所述数据组件模板将来自数据源的数据进行筛选，得到满足用户业务环境的数据存储在数据库中。这样就获得了与该用户的业务环境对应的数据，方便用户的使用。

本发明中，首先基于设定数据的验证规则和数据样式生成了初始模板，然后根据用户的业务环境对初始模板进行调整得到了该用户对应的数据组件模板，使用所述数据组件模板重新将来自数据源的数据进行筛选，得到满足该用户业务环境的数据，使得初始数据模板可以进行扩展即可以得到用户需要的数据组件模板，解决了现有技术中每一个应用（用户）都需要定制模板从基础数据获取、定义数据之间的关联关系、导出数据用于开发的前期工作、无法根据应用场景进行数据模板的适应性扩展的技术缺陷，这是本发明的一个重要发明点。

为了更进一步地体现本发明的发明点，在下述实施例中，在基于用户的业务环境对数据的需求对所述初始模板进行调整得到组件模板是指，分别获取多个用户的业务环境，基于所述业务环境获取与所述业务环境对应的业务需求，对所述业务需求进行分析得到调整参数，基于所述调整参数对所述初始模板进行调整得到与每个用户对应的组件模板，共获得多个组件模板。调整参数可以对初始模板中的一些字段进行增加、删除、修改等操作，通过该方式，可以获得对应不同业务环境的数据组件模板，提高了数据模板的生成效率，进而避免了每一个用户都需要从数据加工的初始步骤开始，提高了数据生成效率，这是本发明的另一个重要发明点。

在一个实施例中，编写关联脚本将所述多个组件模板基于组件模板中字段的逻辑关系进行关联生成复合组件模板。通过制定组件相同或不同的两个或多个模板之间字段逻辑关系（等于、大于、小于、包含、不包含等）的一个逻辑定义；通过这种逻辑便能很好的关联出一种既定的多数据源类型的数据模型，也可以根据实际生产环境产生的逻辑关联出应用数据模型，通过规范化组件关联出来的应用数据组件模型，相较于传统方式关联的数据模型自主程度更高，因为从一开始生成组件就自定义了组件模板，再到组件关联时也是通过自定义的关联逻辑进行关联；更贴近应用本身的数据模型，在建设模型的过程中是以应用的层面来设置关联逻辑，这种关联不是写死的硬关联而是通过抽象出来的业务模型形成的关联，模型抽象程度越高所获得的应用数据模型越具体。因此，本发明可以将多个数据组件模板进行关联使用，以适应多种业务场景、多种数据源等复杂的工作场景，解决了现有技术中的数据模型展示只能通过硬逻辑“专项专治”、不同平台的输出数据格式难以统一的技术问题，这是本发明的另一个重要发明点。

优选地，使用所述复合组件模板对来自数据源的数据进行筛选处理后存储在另一数据库中以供二次开发使用，本发明中，经筛选处理的数据存储下来，其他应用可以对这些筛选出来的数据进行更加深入的分析，以挖掘更多的数据特征。

在一个实施例中，对所述多个组件模板及复合组件模板中的字段进行分析确定每个组件模板及复合组件模板中的监控字段，基于所述监控字段基于监控策略对所述数据源中的相应数据项进行监控，当监控发现所述数据源中与所述监控字段相应的数据项发生更新时，基于所述监控字段对所述数据库及所述另一数据库中的数据进行更新，在更新时，为每一个组件模板及复合组件模板分配一个线程同时基于多个组件模板及复合组件模板对来自数据源的数据进行更新。

本发明中，在每个组件模板及复合组件模板中确定了监控字段，监控字段是中数据中比较核心、重要的字段，比如，一条记录中人的身份证号，或者，一个订单中，订单的ID、状态等，通过对监控字段定时的进行排查，可以进行数据风险的排查，且对监控字段的数据项的监控，可以完成同步数据，以保证数据的时效性，数据核查、同步的时间大小的需根据数据提供方的数据变化频率来进行制定，这里不做明确规定，解决了现有技术中无法完成数据的及时更新的技术问题，这是本发明的另一个重要发明点。

图2示出了本发明的一种基于数据模型的数据处理装置，本发明主要解决目前存在的基础资源数据的统一化管理的上述技术难题和难以二次开发利用的缺陷，以及数据的风险排查、更新等问题。该装置包括：

设定单元201，在数据库中基于数据源设定数据的验证规则和数据样式；本发明中，将来自数据源（可以是一个或多个）的数据规格化存储在数据库中，数据的验证规则是用于验证数据的正确性，验证规则包括比如数据的阈值、数据的类型、数据的格式等等，数据样式是指将筛选后的数据以什么样的方式进行存储。

初始模板生成单元202，使用所述验证规则对来自所述数据源的数据进行验证，验证通过后，基于所述数据样式生成所述数据源的初始模板；初始模板为系统根据设定数据样式自动生成的模板，这是一个统一的数据初始模板。

调整单元203，基于用户的业务环境对数据的需求对所述初始模板进行调整得到数据组件模板；在实践中，由于用户的工作环境不同，每个用户对数据的需要不同，因此，可以根据用户的业务环境对初始模板进行增删等修改，以获得与该用户对应的数据组件模板。

获取单元204，基于所述数据组件模板将来自数据源的数据进行筛选，得到满足用户业务环境的数据存储在数据库中。这样就获得了与该用户的业务环境对应的数据，方便用户的使用。

本发明中，首先基于设定数据的验证规则和数据样式生成了初始模板，然后根据用户的业务环境对初始模板进行调整得到了该用户对应的数据组件模板，使用所述数据组件模板重新将来自数据源的数据进行筛选，得到满足该用户业务环境的数据，使得初始数据模板可以进行扩展即可以得到用户需要的数据组件模板，解决了现有技术中每一个应用（用户）都需要定制模板从基础数据获取、定义数据之间的关联关系、导出数据用于开发的前期工作、无法根据应用场景进行数据模板的适应性扩展的技术缺陷，这是本发明的一个重要发明点。

为了更进一步地体现本发明的发明点，在下述实施例中，在基于用户的业务环境对数据的需求对所述初始模板进行调整得到组件模板是指，分别获取多个用户的业务环境，基于所述业务环境获取与所述业务环境对应的业务需求，对所述业务需求进行分析得到调整参数，基于所述调整参数对所述初始模板进行调整得到与每个用户对应的组件模板，共获得多个组件模板。调整参数可以对初始模板中的一些字段进行增加、删除、修改等操作，通过该方式，可以获得对应不同业务环境的数据组件模板，提高了数据模板的生成效率，进而避免了每一个用户都需要从数据加工的初始步骤开始，提高了数据生成效率，这是本发明的另一个重要发明点。

在一个实施例中，编写关联脚本将所述多个组件模板基于组件模板中字段的逻辑关系进行关联生成复合组件模板。通过制定组件相同或不同的两个或多个模板之间字段逻辑关系（等于、大于、小于、包含、不包含等）的一个逻辑定义；通过这种逻辑便能很好的关联出一种既定的多数据源类型的数据模型，也可以根据实际生产环境产生的逻辑关联出应用数据模型，通过规范化组件关联出来的应用数据组件模型，相较于传统方式关联的数据模型自主程度更高，因为从一开始生成组件就自定义了组件模板，再到组件关联时也是通过自定义的关联逻辑进行关联；更贴近应用本身的数据模型，在建设模型的过程中是以应用的层面来设置关联逻辑，这种关联不是写死的硬关联而是通过抽象出来的业务模型形成的关联，模型抽象程度越高所获得的应用数据模型越具体。因此，本发明可以将多个数据组件模板进行关联使用，以适应多种业务场景、多种数据源等复杂的工作场景，解决了现有技术中的数据模型展示只能通过硬逻辑“专项专治”、不同平台的输出数据格式难以统一的技术问题，这是本发明的另一个重要发明点。

优选地，使用所述复合组件模板对来自数据源的数据进行筛选处理后存储在另一数据库中以供二次开发使用，本发明中，经筛选处理的数据存储下来，其他应用可以对这些筛选出来的数据进行更加深入的分析，以挖掘更多的数据特征。

在一个实施例中，对所述多个组件模板及复合组件模板中的字段进行分析确定每个组件模板及复合组件模板中的监控字段，基于所述监控字段基于监控策略对所述数据源中的相应数据项进行监控，当监控发现所述数据源中与所述监控字段相应的数据项发生更新时，基于所述监控字段对所述数据库及所述另一数据库中的数据进行更新，在更新时，为每一个组件模板及复合组件模板分配一个线程同时基于多个组件模板及复合组件模板对来自数据源的数据进行更新。

本发明中，在每个组件模板及复合组件模板中确定了监控字段，监控字段是中数据中比较核心、重要的字段，比如，一条记录中人的身份证号，或者，一个订单中，订单的ID、状态等，通过对监控字段定时的进行排查，可以进行数据风险的排查，且对监控字段的数据项的监控，可以完成同步数据，以保证数据的时效性，数据核查、同步的时间大小的需根据数据提供方的数据变化频率来进行制定，这里不做明确规定，解决了现有技术中无法完成数据的及时更新的技术问题，这是本发明的另一个重要发明点。

本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然， 在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质 中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。

最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于数据模型的数据处理方法，其特征在于，该方法包括：

设定步骤，在数据库中基于数据源设定数据的验证规则和数据样式；

初始模板生成步骤，使用所述验证规则对来自所述数据源的数据进行验证，验证通过后，基于所述数据样式生成所述数据源的初始模板；

调整步骤，基于用户的业务环境对数据的需求对所述初始模板进行调整得到数据组件模板；

获取步骤，基于所述数据组件模板将来自数据源的数据进行筛选，得到满足用户业务环境的数据存储在数据库中。

2.根据权利要求1所述的方法，其特征在于，在基于用户的业务环境对数据的需求对所述初始模板进行调整得到组件模板是指，分别获取多个用户的业务环境，基于所述业务环境获取与所述业务环境对应的业务需求，对所述业务需求进行分析得到调整参数，基于所述调整参数对所述初始模板进行调整得到与每个用户对应的组件模板，共获得多个组件模板。

3.根据权利要求2所述的方法，其特征在于，编写关联脚本将所述多个组件模板基于组件模板中字段的逻辑关系进行关联生成复合组件模板。

4.根据权利要求3所述的方法，其特征在于，使用所述复合组件模板对来自数据源的数据进行筛选处理后存储在另一数据库中以供二次开发使用。

5.根据权利要求4所述的方法，其特征在于，对所述多个组件模板及复合组件模板中的字段进行分析确定每个组件模板及复合组件模板中的监控字段，基于所述监控字段基于监控策略对所述数据源中的相应数据项进行监控，当监控发现所述数据源中与所述监控字段相应的数据项发生更新时，基于所述监控字段对所述数据库及所述另一数据库中的数据进行更新，在更新时，为每一个组件模板及复合组件模板分配一个线程同时基于多个组件模板及复合组件模板对来自数据源的数据进行更新。

6.一种基于数据模型的数据处理装置，其特征在于，该装置包括：

设定单元，在数据库中基于数据源设定数据的验证规则和数据样式；

初始模板生成单元，使用所述验证规则对来自所述数据源的数据进行验证，验证通过后，基于所述数据样式生成所述数据源的初始模板；

调整单元，基于用户的业务环境对数据的需求对所述初始模板进行调整得到数据组件模板；

获取单元，基于所述数据组件模板将来自数据源的数据进行筛选，得到满足用户业务环境的数据存储在数据库中。

7.根据权利要求6所述的装置，其特征在于，在基于用户的业务环境对数据的需求对所述初始模板进行调整得到组件模板是指，分别获取多个用户的业务环境，基于所述业务环境获取与所述业务环境对应的业务需求，对所述业务需求进行分析得到调整参数，基于所述调整参数对所述初始模板进行调整得到与每个用户对应的组件模板，共获得多个组件模板。

8.根据权利要求7所述的装置，其特征在于，编写关联脚本将所述多个组件模板基于组件模板中字段的逻辑关系进行关联生成复合组件模板。

9.根据权利要求8所述的装置，其特征在于，使用所述复合组件模板对来自数据源的数据进行筛选处理后存储在另一数据库中以供二次开发使用；对所述多个组件模板及复合组件模板中的字段进行分析确定每个组件模板及复合组件模板中的监控字段，基于所述监控字段基于监控策略对所述数据源中的相应数据项进行监控，当监控发现所述数据源中与所述监控字段相应的数据项发生更新时，基于所述监控字段对所述数据库及所述另一数据库中的数据进行更新，在更新时，为每一个组件模板及复合组件模板分配一个线程同时基于多个组件模板及复合组件模板对来自数据源的数据进行更新。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行权利要求1-5之任一的方法。

Images