CN113360556A - 一种数据处理方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、装置、设备和存储介质，该方法应用于数据处理系统，包括：根据待处理数据所属的上游系统，为数据处理系统配置对应的数据处理方式，数据处理方式包括补全方式、校验方式和映射方式；基于补全方式对待处理数据进行数据补全处理，并在补全成功时得到目标数据；基于校验方式对目标数据进行数据校验；如果目标数据通过数据校验，则根据待处理数据对应的下游系统以及映射方式将目标数据映射为已处理数据。上述技术方案，通过为数据处理系统配置数据处理方式，可以实现根据待处理数据所属的上游系统快速更改数据处理方式，进而实现快速处理待处理数据。

Description

一种数据处理方法、装置、设备和存储介质

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据处理方法、装置、设备和存储介质。

背景技术

随着经济的发展和信息技术的进步，越来越多的行业正大步迈向现代化。在这其中，企业的财务相关数据直接与人们利益息息相关，因此，对于获取企业财务相关数据的准确性和及时性要求很高。当然，随着计算机技术的快速发展，财务相关数据也可以通过计算机来处理。

现有技术中，可以通过接口/消息接收上游系统发送的待处理数据，并通过编码处理待处理数据后，将待处理数据发送至计费系统，计算待处理数据对应的财务相关数据。

在实现本发明的过程中，发现现有技术中至少存在以下技术问题：

1、待处理数据的数量越来越大，处理待处理数据的代码越来越臃肿，且如果待处理数据的处理方式发生变化，则需要重新进行编码、测试和上线，无法实现快速响应处理方式的变化；

2、长期项目中处理待处理数据的代码经过多次编码，逻辑混乱，不利于项目的长期发展。

发明内容

本发明提供一种数据处理方法、装置、设备和存储介质，以实现对待处理数据的快速处理。

第一方面，本发明实施例提供了一种数据处理方法，应用于数据处理系统，所述方法包括：

根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；

基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；

基于所述校验方式对所述目标数据进行数据校验；

如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。

第二方面，本发明实施例还提供了一种数据处理装置，包括：

配置模块，用于根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；

补全模块，用于基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；

校验模块，用于基于所述校验方式对所述目标数据进行数据校验；

映射模块，用于如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如第一方面中任一所述的数据处理方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面中任一所述的数据处理方法。

上述发明中的实施例具有如下优点或有益效果：

本发明实施例提供一种数据处理方法，应用于数据处理系统，所述方法包括：根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；基于所述校验方式对所述目标数据进行数据校验；如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。上述技术方案，可以根据待处理数据所属的上游系统，为数据处理系统配置对应的数据处理方式，使得数据处理系统与业务逻辑解耦，数据处理系统只负责定义，通过配置规则引擎脚本接入实现数据接入。进而可以基于数据处理方式对待处理数据进行数据处理，以得到已处理数据。通过少量的配置加入快速实现新业务的接入，少量的配置变更快速实现业务需求变更，进而可以实现根据待处理数据所属的上游系统快速更改数据处理方式，实现快速处理待处理数据。当然，配置即改即生效，可以在线灵活配置，实现新业务快速试错。并且大大提升人效，缩短需求的接入时间。

附图说明

图1为本发明实施例提供的一种数据处理系统示意图；

图2为本发明实施例一提供的一种数据处理方法的流程图；

图3为本发明实施例二提供的一种数据处理方法的流程图；

图4为本发明实施例二提供的一种数据处理方法中S350的流程图；

图5为本发明实施例二提供的一种数据处理方法的实现流程图；

图6为本发明实施例三提供的一种数据处理装置的结构示意图；

图7为本发明实施例四提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种数据处理系统示意图，本发明各实施例所提供的数据处理方法可以应用于该数据处理系统，如图1所示，该系统可以设置在适配层中，适配层可以包括上游适配模块、规则引擎模块、数据存储模块以及下游适配模块，适配层可以通过上游适配模块以及数据接口与消息队列、JSF接口、大数据推送和补数推送至少之一通信连接，以接收来自消息队列、JSF接口、大数据推送和补数推送至少之一的待处理数据。

上游适配模块可以包括接数适配器，该接数适配器可以使得从数据接口获取到的待处理数据与数据处理系统相适配；规则引擎模块可以通过配置的数据处理方式对待处理数据进行处理得到已处理数据。另外，规则引擎模块还可以对数据处理系统进行权限控制，设置可以访问数据处理系统的账号信息；数据存储模块可以对已处理数据进行暂存，并且在下游系统需要时，通过下游适配模块将已处理数据发送至对应的下游系统；下游适配模块可以包括下游适配器，该下游适配器可以使得已处理数据与下游系统相适配。该数据处理系统只有功能代码，没有业务逻辑代码，减少频繁上线可能引发的各种系统问题。

当然，该数据处理系统还可以包括记录模块和统计模块，记录模块可以用于记录数据处理过程，统计模块可以用于数据处理的数量。

下述实施例将结合上述图1示出的数据处理系统对本申请提供的数据处理方法进行说明。

实施例一

图2为本发明实施例一提供的一种数据处理方法的流程图，本发明实施例可应用于数据处理系统，适用于需要对数据进行快速预处理的情况。该方法可以由数据处理装置来执行，该装置可以由软件和/或硬件的方式来实现。可选的，该数据处理装置可配置于用户终端中，该用户终端可以是笔记本电脑，智能平板、手机等计算机设备。如图2所述，该方法具体包括以下步骤：

S210、根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式。

其中，待处理数据可以为上游系统中用于下游系统的数据，具体地，上游系统为物流系统，则待处理数据可以为用于进行财务计算的数据，例如，处理数据可以包括运货量、各货物的重量和体积以及运输人员信息等。

具体地，上游适配模块可以通过数据接口获取上游系统发送的待处理数据，该待处理数据为通过数据清洗，从上游系统所产生的所有数据中筛选出的可以用于下游系统的数据。当然，各上游系统所产生的数据各不相同，因而对应的数据处理方式不同，例如，上游系统可以包括物流系统、商家系统和用户系统等，对于各系统，其产生的数据的数据格式以及数据内容等各不相同，所以数据处理方式不同。当然，对于待处理数据的数据处理方式可以包括补全方式、校验方式和映射方式，分属不同上游系统的待处理数据的补全方式、校验方式和映射方式也可以各不相同。

需要说明的是，本发明实施例所提供的数据处理方法可以应用于数据处理系统，该系统可以设置在适配层中。因而，可以通过数据接口将待处理数据发送至适配层，以便于数据处理系统对待处理数据进行处理。

本发明实施例中，通过数据接口可以将消息队列(Message Queue，MQ)数据、库存数据或者主流程和数据发送至数据处理系统。

S220、基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据。

其中，当待处理数据所属的上游系统不同时，需要进行补全的数据也可以不相同，所以，对于分属不同上游系统的待处理数据，其对应的补全方式也不相同。

具体地，规则引擎模块可以基于补全方式对待处理数据进行计算数据补全、单位转换、字段转换、预设字段赋值以及将时间信息转换为预设时间格式。当然，待处理数据所属的上游系统不同时，其对应的补全方式中的计算数据补全方式、单位转换方式、字段转换方式、预设字段赋值数值以及将时间信息转换为预设时间格式的转换方式也各不相同。基于计算数据补全方式、单位转换方式、字段转换方式、预设字段赋值数值以及将时间信息转换为预设时间格式的转换方式对待处理数据进行补全处理，以得到目标数据。目标数据可以包括下游系统进行业务计算所需的格式的所有数据。

需要说明的是，还可以调用数据接口从上游系统拉取补充其他与待处理数据相关的用于下游系统的数据。

当然，在数据补全之前，还可以确定配置的数据处理方式与待处理数据是否匹配，在确定匹配时，可以继续执行S220，否则，可以基于配置信息对数据处理系统的数据处理方式进行更新。

本发明实施例中，规则引擎模块在对待处理数据进行数据补全之前，可以将原始的待处理数据存储在数据表中。

当然，若待处理数据对应的下游系统需要一天内、一周内或者一月内的待处理数据以进行业务计算，则可以基于规则引擎模块为该下游系统、待处理数据以及对应的上游系统配置对应的免存天数以及进入下游系统前的存储天数处理逻辑。在对待处理数据成功进行数据补全得到目标数据之后，将目标数据按天、周或者月进行暂存，若该目标数据的存储时长大于该下游系统进行业务计算所需的预设存储天数，则可以从数据表中调取预设存储天数的待处理数据，并继续对待处理数据进行数据校验。

S230、基于所述校验方式对所述目标数据进行数据校验。

可以为目标数据配置对应的校验方式，以实现基于校验方式对目标数据进行数据校验。

其中，数据校验可以包括类型校验、非空校验、范围校验、长度校验、枚举校验、字符校验、联合校验和自定义校验至少之一。

具体地，在类型校验中，可以校验目标数据的数据类型，若目标数据的数据类型符合下游系统所需的数据类型，则校验通过；在非空校验中，可以校验目标数据是否为空，若目标数据不为空，则校验通过；在范围校验中，可以校验目标数据的数据范围，若目标数据的数据范围在下游系统所需的数据范围内，则校验通过；在长度校验中，可以校验目标数据的数据长度，若目标数据的数据长度符合下游系统所需的数据长度范围，则校验通过；在枚举校验中，若目标数据落入下游系统所需的数据集合中，则校验通过；在字符校验中，若目标数据的数据格式符合下游系统所需的字符格式，则校验通过；在联合校验中，若目标数据的关联性符合下游系统所需的数据关系，则校验通过。校验通过后，可以继续执行S240，当然，如果目标数据校验不通过，则可以将该异常状态进行记录，并将异常状态发送至对应的下游系统。

需要说明的是，在实际应用中，对目标数据的数据校验可以包括类型校验、非空校验、范围校验、长度校验、枚举校验、字符校验、联合校验和自定义校验至少之一，具体地校验方式可以根据目标数据对应的待处理数据的上游系统进行决定，且该校验方式可以在待处理数据接入数据处理系统之前根据待处理数据所属的上游系统进行配置。

本发明实施例中，还可以根据上游系统，为该上游系统的待处理数据配置自定义的数据校验方式，在自定义校验中，若目标数据符合下游系统所需的其他数据要求，则校验通过，并继续执行S240；同样的，若校验未通过，则可以将该异常状态进行记录，并将异常状态发送至对应的下游系统。

S240、如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。

具体地，上游系统发送至数据处理系统的待处理数据在经过处理后得到已处理数据，该已处理数据可以发送至下游系统，以用于下游系统的业务计算。不同的业务计算需要不同格式的数据，进而在目标数据通过数据校验之后，可以根据目标数据对应的待处理数据对应的下游系统对应的映射方式将目标数据映射为已处理数据。

其中，映射方式可以包括将目标数据的字段格式转换为预设字段格式，该预设字段格式可以根据下游系统进行确定，且已经提前配置在该数据处理系统中。

本发明实施例中，上游系统可以为运营系统，下游系统可以为计费系统，相应地，已处理数据可以包括同一个订单中多个日用品的集合，多个日用品可以分属不同的商家，且不同商家的计费方式不同，则可以对已处理数据进行查单处理，具体可以将分属不同商家的日用品进行拆分，以将其发送至不同的下游系统进行计费。

另外，本发明实施例中，对已处理数据的拆单处理还包括：a)按单字段拆单，例如同一单多个结算主体编码为一个字段；b)按多字段拆单，例如同一单多个结算主体编码为不同字段；c)集合拆单，明细拍平到主单，支持多级明细拆单；d)多到一拆分，明细维度拆分多条，例如，每个明细的结算主体不同，同时计费是按明细计费；e)多到一(组)拆分，明细维度按组维度(例如同一商家)拆分多条。

需要说明的是，当待处理数据为MQ数据时，下游系统可以只接收预设商家系统或者预设仓库系统对应的已处理数据，则在得到已处理数据后，还可以对已处理数据进行数据过滤，具体可以根据预设条件判断已处理数据是否可以接入下游系统，在已处理数据满足预设条件时可以将已处理数据发送至下游系统，否则可以将已处理数据存储在数据存储模块中。其中，可以根据预设商家系统或者预设仓库系统对待处理数据进行标注，则预设条件可以为已处理数据是否包含预设商家系统或者预设仓库系统对应的标注信息，若包含则将已处理数据发送至下游系统，否则，将已处理数据存储在数据存储模块中

本发明实施例一提供的一种数据处理方法，应用于数据处理系统，所述方法包括：根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；基于所述校验方式对所述目标数据进行数据校验；如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。上述技术方案，可以根据待处理数据所属的上游系统，为数据处理系统配置对应的数据处理方式，使得数据处理系统与业务逻辑解耦，数据处理系统只负责定义，通过配置规则引擎脚本接入实现数据接入。进而可以基于数据处理方式对待处理数据进行数据处理，以得到已处理数据。通过少量的配置加入快速实现新业务的接入，少量的配置变更快速实现业务需求变更，进而可以实现根据待处理数据所属的上游系统快速更改数据处理方式，实现快速处理待处理数据。当然，配置即改即生效，可以在线灵活配置，实现新业务快速试错。并且大大提升人效，缩短需求的接入时间。

实施例二

图3为本发明实施例二提供的一种数据处理方法的流程图，本发明实施例可适用于计算机设备，适用于需要对数据进行快速预处理的情况。本发明实施例在上述实施例的基础上，在根据所述待处理数据所属上游系统，为数据处理系统配置对应的数据处理方式之前，增加了“基于各数据接口接收所述待处理数据，并根据各所述数据接口，确定所述待处理数据所属的上游系统。”，在根据所述待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式之后，增加了“对所述待处理数据进行异步存储，并统计异步存储的存储时间；如果所述存储时间大于预设存储时间，则继续执行基于所述补全方式对所述待处理数据进行数据补全处理，以将所述待处理数据转换为预设数据格式的待处理数据。”，还增加了“如果所述待处理数据未成功进行数据补全，则记录第一异常状态；如果所述目标数据未通过数据校验，则记录第二异常状态；基于所述异常处理方式将所述第一异常状态和所述第二异常状态发送至所述下游系统。”，其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图3，本发明实施例提供的数据处理方法包括：

S310、基于各数据接口接收所述待处理数据，并根据各所述数据接口，确定所述待处理数据所属的上游系统。

其中，数据接口可以包括消息队列接口、JSF接口(JSF框架接口)、大数据接口和补数接口，消息队列接口可以接收MQ数据，JSF接口可以接收库存数据，大数据接口可以接收主流程数据，补数接口可以用于数据补全，具体可以基于补数接口从待处理数据对应的上游系统抽取对应的补全数据。

具体地，各数据接口可以接收来自不同上游系统的待处理数据，且来自不同上游系统的待处理数据可以包含代表其上游系统的数据标识，进而可以确定待处理数据所属的上游系统。

S320、根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式。

可选的，如果所述待处理数据为暂存处理，相应地，在S320之后，该方法还包括：

S330、对所述待处理数据进行异步存储，并统计异步存储的存储时间。

具体地，数据处理系统包括数据存储模块，数据存储模块可以包括弹性数据库和搜索与数据分析引擎(Elasticsearch，Es)。本发明实施例中，可以将待处理数据依次以数据表的格式存储在弹性数据库中，并且在同一上游系统的第一个待处理数据存储进入弹性数据库之后开始统计存储时间。

S340、如果所述存储时间大于预设存储时间，则继续执行S350。

具体地，如果存储时间大于预设存储时间，则表明待处理数据的数据量已经足够下游系统进行业务计算，则可以从数据库将待处理数据提取出来，并继续执行S350。

S350、基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据。

具体地，数据补全处理可以将不同的数据集合转换为同一的明细、包裹数据格式。

图4为本发明实施例二提供的一种数据处理方法中S350的流程图，一种实施方式中，如图4所示，S350具体可以包括：

S3510、基于所述上游系统和所述补全方式为所述待处理数据补全所述下游系统所需的计算数据。

可选的，所述计算数据包括：固定数据和计费数据。

相应地，S3510具体可以包括：

从所述上游系统获取上游标准数据，并对所述上游标准数据进行拆解，得到各字段的所述上游标准数据，各字段的所述上游标准数据包括所述固定数据和所述计费数据；将所述固定数据和所述计费数据补全至所述待处理数据。

其中，固定数据可以包括用于下游系统业务计算的比例信息或者系数信息等。

具体地，上游系统传输至数据处理系统的待处理数据有时不满足下游系统所需的全部信息，则可以基于补数接口从上游系统继续拉取补充下游系统所需的计算数据。另外，固定数据可以与上游系统对应预存在数据存储模块中，并在补全计算数据时，从数据存储模块中调用该固定数据。

当然，在数据处理之前，可以基于上游系统为数据处理系统配置对应的固定数据。

S3520、基于所述下游系统和所述补全方式对所述待处理数据进行单位转换和字段转换。

具体地，上游系统传输至数据处理系统的待处理数据的数据单位与下游系统所需的数据单位可能不同，例如同样的重量信息，待处理数据的数据单位可能为千克，但是下游系统所需的数据单位可能为克，则可以基于上游系统和下游系统对待处理数据进行单位转换。

另外，在上游系统和下游系统中，对于同一种型号或者信息的字段表示可能不同，例如，对应同一个型号的车辆，例如，单厢车在上游系统中的字段为10，在下游系统中的字段为9，则可以基于上游系统和下游系统对待处理数据进行字段转换。

同样的，在数据处理之前，可以基于上游系统为数据处理系统配置对应的单位转换方式和字段转换方式。

S3530、根据所述上游系统和所述补全方式为所述待处理数据中的预设字段进行赋值。

具体地，对于下游系统的业务计算，上游系统发送的待处理数据的预设上游字段需要进行特定的赋值，则可以基于上游系统对待处理数据中的预设字段进行赋值。

同样的，在数据处理之前，可以基于上游系统为数据处理系统配置对应的赋值方式。

S3540、根据所述下游系统和所述补全方式将所述待处理数据中的时间信息转换为所述下游系统所需的预设时间格式。

具体地，下游系统业务计算所需的时间格式与上游系统发送至数据处理系统的待处理数据的时间信息的格式可能不同，则可以基于预设格式转换方式将待处理数据中的时间信息转换为预设时间格式。

同样的，在数据处理之前，可以基于上游系统为数据处理系统配置对应的预设格式转换方式。

本发明实施例中，可以基于从上游系统重新拉取补充的计算数据以及根据上游系统配置的固定数据、单位转换方式、字段转换方式、赋值方式和预设格式转换方式实现对待处理数据的补全，进而可以得到目标数据。

S360、基于所述校验方式对所述目标数据进行数据校验。

当然，在数据处理之前，可以基于上游系统为数据处理系统配置对应的数据校验方式。

一种实施方式中，S360具体可以包括：

基于所述校验方式对所述目标数据进行类型校验、非空校验、范围校验、长度校验、枚举校验、字符校验、联合校验和自定义校验至少之一。

具体地，在数据处理之前，可以基于上游系统为数据处理系统配置对应的类型校验、非空校验、范围校验、长度校验、枚举校验、字符校验、联合校验和自定义校验至少之一。

本发明实施例中，可以基于类型校验确定目标数据的数据类型是否符合下游系统所需的数据类型，可以基于非空校验确定目标数据是否为空，可以基于范围校验确定目标数据的数据范围是否在下游系统所需的数据范围内，可以基于长度校验确定目标数据的数据长度是否符合下游系统所需的数据长度范围，可以基于枚举校验确定目标数据是否落入下游系统所需的数据集合中，可以基于字符校验确定目标数据的数据格式是否符合下游系统所需的字符格式，可以基于联合校验确定目标数据的关联性是否符合下游系统所需的数据关系。

当然，在实际应用中，还可以根据上游系统，为该上游系统的待处理数据配置自定义的数据校验方式。进而可以基于自定义校验确定目标数据是否符合自定义的要求。

S370、如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。

具体地，如果目标数据满足根据上游系统配置的数据校验，例如，如果目标数据满足，符合下游系统所需的数据类型，不为空，在下游系统所需的数据范围内，符合下游系统所需的数据长度范围，落入下游系统所需的数据集合中，符合下游系统所需的字符格式，符合下游系统所需的数据关系以及符合自定义的要求至少之一，则可以根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。

一种实施方式中，S370具体可以包括：

确定所述下游系统所需的预设字段格式；基于所述预设字段格式以及所述映射方式将所述目标数据映射为已处理数据。

具体地，当下游系统为计费系统时，计费系统可以包括仓计费模块、通用计费模块、标准价计费模块和青龙计费等，各计费系统所需的字段格式不同。上游系统对应的待处理数据在输入数据处理系统之前可以确定对应的计费系统，则可以在数据处理之前，为数据处理系统配置对应的映射方式以及预设字段格式，以使得可以基于映射方式和预设字段格式将目标数据映射为已处理数据。

在上述实施例的基础上，所述数据处理方式还包括异常处理方式，相应地，所述方法还包括：

S380、如果所述待处理数据未成功进行数据补全，则记录第一异常状态；如果所述目标数据未通过数据校验，则记录第二异常状态；基于所述异常处理方式将所述第一异常状态和所述第二异常状态发送至所述下游系统。

具体地，数据补全失败的第一异常状态和数据校验失败的第二异常状态均可以发送至下游系统，下游系统基于显示界面显示业务计算失败。

当然，在实际应用中，业务计算失败时，可以进行重推类单据处理、异步降级单据处理或者业务憋单处理，以在数据补全成功以及数据校验成功后继续执行数据映射以得到目标数据，进而使得下游系统可以实现业务计算。

本发明实施例二提供的一种数据处理方法，应用于数据处理系统，所述方法包括：根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；基于所述校验方式对所述目标数据进行数据校验；如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。上述技术方案，可以根据待处理数据所属的上游系统，为数据处理系统配置对应的数据处理方式，使得数据处理系统与业务逻辑解耦，数据处理系统只负责定义，通过配置规则引擎脚本接入实现数据接入。进而可以基于数据处理方式对待处理数据进行数据处理，以得到已处理数据。通过少量的配置加入快速实现新业务的接入，少量的配置变更快速实现业务需求变更，进而可以实现根据待处理数据所属的上游系统快速更改数据处理方式，实现快速处理待处理数据。当然，配置即改即生效，可以在线灵活配置，实现新业务快速试错。并且大大提升人效，缩短需求的接入时间。

其次，在下游系统需要预设时间段的已处理数据用于业务处理时，可以对对待处理数据进行异步存储，并统计异步存储的存储时间，在存储时间大于预设存储时间，继续对数据进行处理，以得到已处理数据进行下游系统的业务计算；当然，还可以对已处理数据进行异步存储，并统计异步存储的存储时间，在存储时间大于预设存储时间，将已处理数据发送至下游系统进行业务计算。

再次，在数据补全失败和\或数据校验失败时，可以记录并存储异常状态，并在数据补全成功且数据校验成功时，继续进行数据映射，以实现下游系统的业务计算。

图5为本发明实施例二提供的一种数据处理方法的实现流程图，示例性的给出了其中一种实现方式。如图5所示，该实现方式包括：

S510、基于各数据接口接收待处理数据，并根据各数据接口，确定待处理数据所属的上游系统。

S511、判断待处理数据路由条件是否完整。

S512、若待处理数据的路由条件不完整，则对路由条件进行补充，直至完整，并执行S513。

S513、若待处理数据的路由条件完整，则将待处理数据暂存在数据存储模块中。

S514、基于配置有上游系统对应的数据处理方式的数据处理系统对待处理数据进行数据补全，得到目标数据。

S515、判断数据补全是否成功，若成功则记录补全结果并继续执行S517。

S516、进行异常处理。

S517、基于配置有上游系统对应的数据处理方式的数据处理系统对目标数据进行数据校验。

S518、判断数据校验是否成功，若成功则记录校验结果并继续执行S519，否则，返回执行S516。

S519、基于配置有上游系统对应的数据处理方式的数据处理系统对目标据进行数据映射，得到已处理数据。

本实现方式所提供的数据处理方法具备执行前述实施例所提供的数据处理方法相应的功能模块和有益效果。

实施例三

图6为本发明实施例三提供的一种数据处理装置的结构示意图。该装置与上述各实施例的数据处理方法属于同一个发明构思，在数据处理装置的实施例中未详尽描述的细节内容，可以参考上述数据处理方法的实施例。

该数据处理装置的具体结构如图6所示，包括：

配置模块610，用于根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；

补全模块620，用于基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；

校验模块630，用于基于所述校验方式对所述目标数据进行数据校验；

映射模块640，用于如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。

本发明实施例三提供的一种数据处理装置，根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；基于所述校验方式对所述目标数据进行数据校验；如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。上述技术方案，可以根据待处理数据所属的上游系统，为数据处理系统配置对应的数据处理方式，使得数据处理系统与业务逻辑解耦，数据处理系统只负责定义，通过配置规则引擎脚本接入实现数据接入。进而可以基于数据处理方式对待处理数据进行数据处理，以得到已处理数据。通过少量的配置加入快速实现新业务的接入，少量的配置变更快速实现业务需求变更，进而可以实现根据待处理数据所属的上游系统快速更改数据处理方式，实现快速处理待处理数据。当然，配置即改即生效，可以在线灵活配置，实现新业务快速试错。并且大大提升人效，缩短需求的接入时间。

在上述实施例的基础上，该装置还包括：

接收模块，用于基于各数据接口接收所述待处理数据，并根据各所述数据接口，确定所述待处理数据所属的上游系统。

在上述实施例的基础上，补全模块620，具体用于：

基于所述上游系统和所述补全方式为所述待处理数据补全所述下游系统所需的计算数据；

基于所述下游系统和所述补全方式对所述待处理数据进行单位转换和字段转换。

可选的，所述计算数据包括：固定数据和计费数据。

一种实施方式中，基于所述上游系统和所述补全方式，为所述待处理数据补全所述下游系统所需的计算数据，包括：

从所述上游系统获取上游标准数据，并对所述上游标准数据进行拆解，得到各字段的所述上游标准数据，各字段的所述上游标准数据包括所述固定数据和所述计费数据；

将所述固定数据和所述计费数据补全至所述待处理数据。

在上述实施例的基础上，补全模块620，还具体用于：

根据所述上游系统和所述补全方式为所述待处理数据中的预设字段进行赋值；

根据所述下游系统和所述补全方式将所述待处理数据中的时间信息转换为所述下游系统所需的预设时间格式。

在上述实施例的基础上，校验模块630，具体用于：

基于所述校验方式对所述目标数据进行类型校验、非空校验、范围校验、长度校验、枚举校验、字符校验、联合校验和自定义校验至少之一。

在上述实施例的基础上，所述数据处理方式还包括异常处理方式，相应地，所述装置还包括：

异常处理模块，用于如果所述待处理数据未成功进行数据补全，则记录第一异常状态；如果所述目标数据未通过数据校验，则记录第二异常状态；基于所述异常处理方式将所述第一异常状态和所述第二异常状态发送至所述下游系统。

在上述实施例的基础上，映射模块640，具体用于：

确定所述下游系统所需的预设字段格式；

基于所述预设字段格式以及所述映射方式将所述目标数据映射为已处理数据。

在上述实施例的基础上，如果所述待处理数据为暂存处理，相应地，所述装置还包括：

异步存储模块，用于对所述待处理数据进行异步存储，并统计异步存储的存储时间；

判断执行模块，用于如果所述存储时间大于预设存储时间，则继续执行基于所述补全方式对所述待处理数据进行数据补全处理，以将所述待处理数据转换为预设数据格式的待处理数据。

本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行数据处理方法相应的功能模块和有益效果。

值得注意的是，上述数据处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例四

图7为本发明实施例四提供的一种计算机设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性计算机设备8的框图。图7显示的计算机设备8仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机设备8以通用计算计算机设备的形式表现。计算机设备8的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备8典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备8访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备8可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备8也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备8交互的设备通信，和/或与使得该计算机设备8能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备8还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器20通过总线18与计算机设备8的其它模块通信。应当明白，尽管图7中未示出，可以结合计算机设备8使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及页面显示，例如实现本发实施例所提供的数据处理方法，

其中，该方法包括：

根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；

基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；

基于所述校验方式对所述目标数据进行数据校验；

如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的数据处理方法的技术方案。

实施例五

本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现例如本发实施例所提供的数据处理方法，

其中，该方法包括：

根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；

基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；

基于所述校验方式对所述目标数据进行数据校验；

如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种数据处理方法，其特征在于，应用于数据处理系统，所述方法包括：

根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；

基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；

基于所述校验方式对所述目标数据进行数据校验；

如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。

2.根据权利要求1所述的数据处理方法，其特征在于，在根据所述待处理数据所属上游系统，为所述数据处理系统配置对应的数据处理方式之前，还包括：

基于各数据接口接收所述待处理数据，并根据各所述数据接口，确定所述待处理数据所属的上游系统。

3.根据权利要求1所述的数据处理方法，其特征在于，基于所述补全方式对所述待处理数据进行数据补全处理，包括：

基于所述上游系统和所述补全方式为所述待处理数据补全所述下游系统所需的计算数据；

基于所述下游系统和所述补全方式对所述待处理数据进行单位转换和字段转换。

4.根据权利要求3所述的数据处理方法，其特征在于，所述计算数据包括：固定数据和计费数据。

5.根据权利要求4所述的数据处理方法，其特征在于，基于所述上游系统和所述补全方式，为所述待处理数据补全所述下游系统所需的计算数据，包括：

从所述上游系统获取上游标准数据，并对所述上游标准数据进行拆解，得到各字段的所述上游标准数据，各字段的所述上游标准数据包括所述固定数据和所述计费数据；

将所述固定数据和所述计费数据补全至所述待处理数据。

6.根据权利要求1所述的数据处理方法，其特征在于，基于所述补全方式对所述待处理数据进行数据补全处理，还包括：

根据所述上游系统和所述补全方式为所述待处理数据中的预设字段进行赋值；

根据所述下游系统和所述补全方式将所述待处理数据中的时间信息转换为所述下游系统所需的预设时间格式。

7.根据权利要求1所述的数据处理方法，其特征在于，基于所述校验方式对所述目标数据进行数据校验，包括：

基于所述校验方式对所述目标数据进行类型校验、非空校验、范围校验、长度校验、枚举校验、字符校验、联合校验和自定义校验至少之一。

8.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方式还包括异常处理方式，

相应地，所述方法还包括：

如果所述待处理数据未成功进行数据补全，则记录第一异常状态；

如果所述目标数据未通过数据校验，则记录第二异常状态；

基于所述异常处理方式将所述第一异常状态和所述第二异常状态发送至所述下游系统。

9.根据权利要求1所述的数据处理方法，其特征在于，根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据，包括：

确定所述下游系统所需的预设字段格式；

基于所述预设字段格式以及所述映射方式将所述目标数据映射为已处理数据。

10.根据权利要求1所述的数据处理方法，其特征在于，如果所述待处理数据为暂存处理，

相应地，在根据所述待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式之后，还包括：

对所述待处理数据进行异步存储，并统计异步存储的存储时间；

如果所述存储时间大于预设存储时间，则继续执行基于所述补全方式对所述待处理数据进行数据补全处理，以将所述待处理数据转换为预设数据格式的待处理数据。

11.一种数据处理装置，其特征在于，包括：

配置模块，用于根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；

补全模块，用于基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；

校验模块，用于基于所述校验方式对所述目标数据进行数据校验；

映射模块，用于如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。

12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-10中任一所述的数据处理方法。

13.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10中任一所述的数据处理方法。

Images