CN115576934A - 一种数据管理方法、装置及计算机可读存储介质 - Google Patents

Abstract

本申请提供了一种数据管理方法，所述数据管理方法应用于一种数据管理系统，包括：获取若干业务平台的业务数据，其中，每一业务平台传输不同数据类型的业务数据，按照标准化数据类型，对若干业务平台的业务数据进行标准化处理，以将若干业务平台的业务数据按照标准化类型，进行整合存储；响应于其他业务平台的业务处理请求，按照业务处理请求调取对应的标准化业务数据，并传输至其他业务平台进行数据调度。通过上述方式，数据管理系统可以动态承接各平台通过不同通信方式的不同类型数据，具有良好的时效性，兼容性，可靠性。

Description

一种数据管理方法、装置及计算机可读存储介质

技术领域

本申请主要涉及数据处理技术领域，尤其是涉及一种数据管理方法、装置及计算机可读存储介质。

背景技术

目前银行行内不同平台之间数据通信，通常需要进行接口，Mq，Rpc或者通过其他通信方式的对接，当一个新业务场景需要在平台之间进行数据流转时，需要动用开发，测试，运维技术人员参与，上线流程长，费时费力，无法满足日益加速的业务诉求，每新增一种业务场景，需要重新对齐上下游通路，再走一遍流程，限制了业务迭代周期。

发明内容

为解决上述技术问题，本申请提供了一种数据管理方法、装置及计算机可读存储介质。

为解决上述技术问题，本申请提供了一种数据管理方法，所述数据管理方法应用于一种数据管理系统，所述数据管理方法包括：

获取若干业务平台的业务数据，其中，每一业务平台传输不同数据类型的业务数据；

按照标准化数据类型，对所述若干业务平台的业务数据进行标准化处理，以将所述若干业务平台的业务数据按照标准化类型，进行整合存储；

响应于其他业务平台的业务处理请求，按照所述业务处理请求调取对应的标准化业务数据，并传输至所述其他业务平台进行数据调度。

其中，所述按照标准化类型，对所述若干业务平台的业务数据进行标准化处理，包括：

获取所述若干业务平台的相同业务数据的不同数据类型；

按照所述相同业务数据，获取所述数据管理系统中的标准化数据类型；

将所述若干业务平台的相同业务数据由原来的数据类型统一切换至所述标准化数据类型，从而对业务数据进行标准化处理。

其中，所述按照标准化数据类型，对所述若干业务平台的业务数据进行标准化处理之后，所述数据管理方法还包括：

对标准化业务数据按照业务内容进行分类，并对分类后的标准化业务数据设置相应的业务标签。

其中，所述按照所述业务处理请求调取对应的标准化业务数据，包括：

按照所述业务处理请求获取对应的业务标签；

调取设置为所述业务标签的标准化业务数据。

其中，所述对标准化业务数据按照业务内容进行分类之后，所述数据管理方法还包括：

按照分类后的标准化业务数据，从而其他业务平台调取相同业务内容的业务数据，对所述分类后的标准化业务数据进行数据补充。

其中，所述按照标准化数据类型，对所述若干业务平台的业务数据进行标准化处理之后，所述数据管理方法还包括：

按照所述标准化数据类型的业务内容，判断所述若干业务平台的业务数据是否完整；

若否，对标准化处理后的业务数据设置相应的缺漏标签。

其中，所述标准化数据类型为json数据对象。

其中，所述按照标准化数据类型，对所述若干业务平台的业务数据进行标准化处理之后，所述数据管理方法还包括：

按照标准化处理后的业务数据判断所述数据管理系统中是否存在相同的业务数据；

若是，将所述标准化处理后的业务数据丢弃；

若否，将所述标准化处理后的业务数据与所述数据管理系统中相同业务的其他业务数据进行合并。

为解决上述技术问题，本申请提供一种数据管理装置，所述数据管理装置包括存储器以及与所述存储器耦接的处理器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的数据管理方法。

为解决上述技术问题，本申请提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现上述的数据管理方法。

区别于现有技术，本申请提供了一种数据管理方法，应用于一种数据管理系统，包括：获取若干业务平台的业务数据，其中，每一业务平台传输不同数据类型的业务数据，按照标准化数据类型，对若干业务平台的业务数据进行标准化处理，以将若干业务平台的业务数据按照标准化类型，进行整合存储；响应于其他业务平台的业务处理请求，按照业务处理请求调取对应的标准化业务数据，并传输至其他业务平台进行数据调度。通过上述方式，数据管理系统可以动态承接各平台通过不同通信方式的不同类型数据，具有良好的时效性，兼容性，可靠性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的数据管理方法的一实施例的流程示意图；

图2是本申请提供的数据管理方法的一实施例中步骤S12的子步骤流程示意图；

图3是本申请提供的数据管理方法的第二实施例的流程示意图；

图4是本申请提供的数据管理方法的第四实施例的流程示意图；

图5是本申请提供的数据管理方法的第五实施例的流程示意图；

图6是本申请提供的数据管理方法的整体流程示意图；

图7是本申请提供数据管理方法的第六实施例的流程示意图；

图8是本申请提供的数据管理方法的一实施例中步骤S13的子步骤流程示意图；

图9是本申请提供的数据管理装置的一实施例的框架示意图；

图10是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参见图1，图1是本申请提供的数据管理方法的一实施例的流程示意图。其中，本申请提供的数据管理方法应用于一种数据管理系统，而数据管理系统可以搭载在一种数据管理装置上。

如图1所示，本申请实施例中数据管理方法的具体步骤如下：

步骤S11：获取若干业务平台的业务数据。

具体地，数据管理装置获取银行系统中若干业务平台的业务数据，上述业务平台可以为银行系统中任一业务的办理平台，例如：信用卡贷款平台、储蓄平台、基金理财平台等。业务数据包括但不限于用户的姓名、证件号码、联系方式、业务交互数据、合同数据等。

其中，每一业务平台可以通过不同通信方式传输不同数据类型的业务数据。

步骤S12：按照标准化数据类型，对若干业务平台的业务数据进行标准化处理，以将若干业务平台的业务数据按照标准化类型，进行整合存储。

具体地，数据管理装置通过规则引擎按照指定的规则进行分类，获得合法分类后会进行额外定制业务，进一步按照标准化数据类型，对若干业务平台不同种类的业务数据进行标准化处理。

进一步地，将标准化处理后的数据进行整合储存，将任一不满足标准化数据类型的数据进行剔除。

其中，在本申请一实施例中，标准化数据类型可以为json(JavaScript ObjectNotation)数据对象。json是一种用于数据交换的文本格式，取代繁琐笨重的XML格式。相比XML格式，json格式有两个显著的优点：书写简单，一目了然；符合JavaScript原生语法，可以由规则引擎直接处理，不用另外添加代码。

为了进一步实现数据管理方法，本申请提出一具体步骤用于对若干业务平台的业务数据进行标准化处理及补充。具体请参见图2，图2是本申请提供的数据管理方法的一实施例中步骤S12的子步骤流程示意图。

如图2所示，其具体步骤如下：

步骤S121：获取若干业务平台的相同业务数据的不同数据类型。

具体地，数据管理系统获取银行若干不同业务平台中相同业务数据的不同数据类型，其中，相同业务数据的不同数据类型为不同形式或不同源或不同格式的数据。例如，同一业务数据在一业务平台的数据类型为姓名，在另一业务平台的数据类型为name，在又一业务平台的数据类型为Chinese name。

步骤S122：按照相同业务数据，获取数据管理系统中的标准化数据类型。

具体地，数据管理系统根据动态的数据承接，提供标准化的HTTP和RPC接口，进行实时传输，同时也支持异步的Mq数据源。目前支持的MQ包括rocketMq和ISCMQ。数据管理系统对接上游数据时候，会需要为上游数据源分配唯一渠道标示，数据管理系统将为数据源自动创建专属的数据空间，用于存放标准化过的数据内容。

进一步地，本申请提出一方法用于建立标准化数据类型，即建立标准数据模型储存于数据管理系统中。具体请参见图3，图3是本申请提供的数据管理方法的第二实施例的流程示意图。

如图3所示，数据管理系统对标准字段进行映射，进而从源数据中挖掘原始字段，对该字段是否有值进行加工。若存在加工，则通过字段加工链进行字段检验，通过并字段为空后，采用默认值，继续进行字段检验，直到字段为空后产生标准数据模型。若该字段为空，即该字段为null，则直接采用默认值，继续进行字段检验，直到字段为空后产生标准数据模型。

步骤S123：将若干业务平台的相同业务数据由原来的数据类型统一切换至标准化数据类型，从而对业务数据进行标准化处理。

具体地，将不同业务平台中的相同业务数据按照标准数据模型进行标准化处理，通过对上游数据的序列化，将数据类型转变成基本的json数据对象，使用配置好的数据适配器，将会将标准数据，进行格式转换。并且在此过程中可以配置针对数据源纬度的数据补充，将转换好的数据作为参数，通过统一抽象过通信api(Callers)，调用外部系统并将返回值同样进行数据标准化，补充到刚才的数据体中，该过程支持同步或者异步进行补充，仅需按照统一标准进行对接即可。

步骤S124：对标准化业务数据按照业务内容进行分类，并对分类后的标准化业务数据设置相应的业务标签。

具体地，标准化的业务数据可以通过规则引擎按照指定的规则进行分类，获得合法分类后会进行额外定制业务。其中，业务数据可以按照业务进行分类。例如：贷款业务、申卡业务、存款业务等。还可以按照数据内容分类，例如：个人信息、企业信息、流水信息、交互信息等。

具体请参见图4，图4是本申请提供的数据管理方法的第四实施例的流程示意图。

如图4所示，数据管理系统可以使用NEO规则引擎或aviator表达式引擎生成规则组件，根据规则组件进一步对标准化业务数据进行分类。

步骤S125：按照分类后的标准化业务数据，从而其他业务平台调取相同业务内容的业务数据，对分类后的标准化业务数据进行数据补充。

具体地，数据管理系统对分类后的标准化业务数据进行解析，若缺少数据，则从其他业务平台调取相同内容的业务数据，对标准化业务数据进行数据补充。

通过步骤S121-步骤S125，数据管理系统对若干业务平台的业务数据进行标准化处理及补充，灵活的全流程编排系统，支持数据流程的动态修改，对于经常发生调度规则修改的场景，可以减少发布，加快上线流程，大大降低业务的试错成本。可回溯的机制保证了业务场景的稳定，降低了因为过度的系统灵活性，带来的不稳定风险。

在本申请一实施例中，数据管理系统按照标准化数据类型的业务内容进行解析，判断若干业务平台的业务数据是否完整，若解析结果为否，对标准化处理后的业务数据设置相应的缺漏标签，进一步识别有缺漏标签的业务数据进行补充。

为了解决现有技术的问题，本申请还提出另一种数据管理方法的具体实施例用于数据整合，能够有效对重复业务数据进行筛选以及查重。具体请参见图5，图5是本申请提供的数据管理方法的第五实施例的流程示意图。

如图5所示，其具体步骤如下：

步骤S21：按照标准化处理后的业务数据判断数据管理系统中是否存在相同的业务数据。

具体地，数据管理装置对标准化处理后的业务数据进行解析，按照标准化处理后的业务数据，根据数据管理系统中的业务数据进行字段、数据相似度对比。判断数据管理系统中是否存在相同的业务数据。若是，则继续执行步骤S22，若否则执行步骤S23。

具体请参见图6，图6是本申请提供的数据管理方法的整体流程示意图。

从数据库中捞取主键相同数据进行数据整合，若主键不同则进行数据合并，若主键相同则直接丢弃。

步骤S22：将标准化处理后的业务数据丢弃。

步骤S23：将标准化处理后的业务数据与数据管理系统中相同业务的其他业务数据进行合并。

通过上述方式，减少多余数据的重复运算，提高极大的提高了时效性。

具体地，本申请提供一实施例用于数据合并即数据组装，具体请参见图7，图7是本申请提供数据管理方法的第六实施例的流程示意图。

如图7所示，具体如下：

从数据源获取名单加工器进行遍历，根据名单加工器名称获取标准字段和参数字段映射，通过网络调用外部接口，根据名单加工器名称获取返回字段和参数字段映射，进而将字段内容加入到标准数据模型中，完成数据组装。

在不同平台间设置相同的为上下游系统之间的数据调度提供了稳定可靠高效的定制化服务。

步骤S13：响应于其他业务平台的业务处理请求，按照业务处理请求调取对应的标准化业务数据，并传输至其他业务平台进行数据调度。

具体地，当银行系统中其他业务平台向数据管理装置下发业务处理请求时，数据管理装置响应于其他业务平台的业务处理请求，按照该业务处理请求，向数据管理系统请求调取对应的标准化业务数据。进一步将对应的标准化业务数据传输至其他平台，使得其他业务平台按照标准化业务数据将其内的业务数据进行标准化处理，实现数据调度。

通过上述方式，数据管理系统可以动态承接各平台通过不同通信方式的不同类型数据，具有良好的时效性，兼容性，可靠性。

本申请还提出一实施例，作为步骤S13的子步骤，用于完成数据调度。具体请参见图8，图8是本申请提供的数据管理方法的一实施例中步骤S13的子步骤流程示意图。

步骤S131：按照业务处理请求获取对应的业务标签。

具体地，数据管理装置对标准化业务数据按照业务内容进行分类，并对分类后的标准化业务数据设置相应的业务标签。数据管理装置按照业务处理请求获取业务处理请求所对应的业务标签。例如，对于所有贷款业务的业务项目设置贷款标签，当用户请求办理贷款业务下任一子业务时，数据管理装置获取贷款标签。

其中，业务数据可以按照业务设置标签如：贷款业务、申卡业务、存款业务等。还可以按照数据内容设置标签，例如：个人信息、企业信息、流水信息、交互信息等。

步骤S132：调取设置为业务标签的标准化业务数据。

具体地，数据管理装置根据相应业务标签，向数据管理系统调取对应的标准化业务数据。

通过上述方式，通过上述方式，极大的提高了时效性，数据调度将在秒级完成，非常适合使用在时效要求高的数据调度场景。

为实现上述实施例中的数据管理方法，本申请还提供一种数据管理装置，请参阅图9，图9是本申请提供的数据管理装置的一实施例的框架示意图。

本申请实施例的数据管理装置500包括处理器51、存储器52、输入输出设备53以及总线54。

该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有程序数据，处理器51用于执行程序数据以实现上述实施例所述的数据管理方法。

在本申请实施例中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，请继续参阅图10，图10是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质600中存储有计算机程序61，该计算机程序61在被处理器执行时，用以实现上述实施例的数据管理方法。

本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，方式利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种数据管理方法，其特征在于，所述数据管理方法应用于一种数据管理系统，所述数据管理方法包括：

获取若干业务平台的业务数据，其中，每一业务平台传输不同数据类型的业务数据；

按照标准化数据类型，对所述若干业务平台的业务数据进行标准化处理，以将所述若干业务平台的业务数据按照标准化类型，进行整合存储；

响应于其他业务平台的业务处理请求，按照所述业务处理请求调取对应的标准化业务数据，并传输至所述其他业务平台进行数据调度。

2.根据权利要求1所述的数据管理方法，其特征在于，

所述按照标准化类型，对所述若干业务平台的业务数据进行标准化处理，包括：

获取所述若干业务平台的相同业务数据的不同数据类型；

按照所述相同业务数据，获取所述数据管理系统中的标准化数据类型；

将所述若干业务平台的相同业务数据由原来的数据类型统一切换至所述标准化数据类型，从而对业务数据进行标准化处理。

3.根据权利要求2所述的数据管理方法，其特征在于，

所述按照标准化数据类型，对所述若干业务平台的业务数据进行标准化处理之后，所述数据管理方法还包括：

对标准化业务数据按照业务内容进行分类，并对分类后的标准化业务数据设置相应的业务标签。

4.根据权利要求3所述的数据管理方法，其特征在于，

所述按照所述业务处理请求调取对应的标准化业务数据，包括：

按照所述业务处理请求获取对应的业务标签；

调取设置为所述业务标签的标准化业务数据。

5.根据权利要求3所述的数据管理方法，其特征在于，

所述对标准化业务数据按照业务内容进行分类之后，所述数据管理方法还包括：

按照分类后的标准化业务数据，从而其他业务平台调取相同业务内容的业务数据，对所述分类后的标准化业务数据进行数据补充。

6.根据权利要求1所述的数据管理方法，其特征在于，

所述按照标准化数据类型，对所述若干业务平台的业务数据进行标准化处理之后，所述数据管理方法还包括：

按照所述标准化数据类型的业务内容，判断所述若干业务平台的业务数据是否完整；

若否，对标准化处理后的业务数据设置相应的缺漏标签。

7.根据权利要求1所述的数据管理方法，其特征在于，

所述标准化数据类型为json数据对象。

8.根据权利要求1所述的数据管理方法，其特征在于，所述按照标准化数据类型，对所述若干业务平台的业务数据进行标准化处理之后，所述数据管理方法还包括：

按照标准化处理后的业务数据判断所述数据管理系统中是否存在相同的业务数据；

若是，将所述标准化处理后的业务数据丢弃；

若否，将所述标准化处理后的业务数据与所述数据管理系统中相同业务的其他业务数据进行合并。

9.一种数据管理装置，其特征在于，所述数据管理装置包括存储器以及与所述存储器耦接的处理器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1至8任一项所述的数据管理方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至8任一项所述的数据管理方法。

Images