CN111274299A - 数据处理的方法、装置、系统及存储介质 - Google Patents

Abstract

本申请公开了一种数据处理的方法、装置、系统及存储介质，应用于应用程序领域，该方法包括：获取最近时间段内终端发送的业务数据；从业务数据中提取资源转移数据；按照预设格式对资源转移数据进行自动存储，得到格式处理后的资源转移数据；基于设置的数据处理要素，调用预设算法对格式处理后的资源转移数据进行分析处理，得到数据处理结果。上述最近时间段是分钟级别的时间段，该方法通过对分钟级别时间段内的业务中的资源转移数据进行格式处理，并对格式处理后的资源转移数据进行分析处理，能够获得接近实时的数据处理结果；上述接近实时的数据处理结果可以即时的反馈资源流动情况，从而达到实时监控资源流动情况的目的。

Description

数据处理的方法、装置、系统及存储介质

技术领域

本申请涉及应用程序领域，特别涉及一种数据处理的方法、装置、系统及存储介质。

背景技术

在平台上，每天会产生成千上万的业务流水，业务流水的产生伴随着资源的转移，而资源转移的过程涉及多方平台的参与。

比如，第三方平台用于为用户提供资源转移通道，平台为用户提供资源转移服务需要借助于第三方平台提供的资源转移通道；平台还为用户提供资源暂存服务，并进行定期的资源清算及转移。因此，用户、平台、以及第三方平台之间需要进行定期的资源清算及转移。一般情况下，平台与用户、第三方平台之间每天进行一次资源清算及转移。

发明内容

本申请实施例提供了一种数据处理的方法、装置、系统及存储介质，可以解决在每天一次分析处理的情形下，若当天的资源数据出现了问题，第二天才能够发现，会导致解决问题的最佳时机被错过的问题。所述技术方案如下：

根据本申请的一个方面，提供了一种数据处理系统，该系统包括数据存储服务器和数据处理服务器；

数据存储服务器，用于通过消息中间件获取最近时间段内终端发送的业务数据，最近时间段是指位于当前时刻之前且长度为预设时长的分钟级别时间段；从业务数据中提取资源转移数据；按照预设格式对资源转移数据进行自动存储，得到格式处理后的资源转移数据；

数据处理服务器，用于从数据存储服务器中获取格式处理后的资源转移数据；基于设置的数据处理要素，调用预设算法对格式处理后的资源转移数据进行分析处理，得到数据处理结果。

在一些实施例中，数据处理服务器中设置有至少两级数据处理要素；

数据处理服务器，用于按照数据处理场次、数据处理时间、以及至少两级数据处理要素构建数据处理任务；执行数据处理任务，通过预设算法对格式处理后的资源转移数据进行分层级的分析处理，得到数据处理结果；

其中，数据处理结果包括至少两级数据处理要素中每一级数据处理要素对应的数据处理结果。

在一些实施例中，至少两级数据处理要素包括一级数据处理要素和二级数据处理要素，则数据处理任务包括一级子务和二级子任务；一级处理要素包括q类要素，二级处理要素包括p类要素，q大于或者等于p，q、p为正整数；

数据处理服务器，用于按照数据处理场次、数据处理时间构建在q类要素的q个维度上的一级子任务，以及在p类要素的p个维度上的二级子任务。

在一些实施例中，数据处理服务器，还用于根据预设监控规则对数据处理结果进行实时监控；响应于数据处理结果不符合预设监控规则，发出警报。

在一些实施例中，数据处理结果包括业务成本，预设监控规则包括业务成本小于成本阈值；

或者，数据处理结果包括业务收入，预设监控规则包括业务收入大于收入阈值；

或者，数据处理结果包括业务支出，预设监控规则包括业务支出小于支出阈值；

或者，数据处理结果包括业务净金额，预设监控规则包括业务净金额大于净金额阈值。

在一些实施例中，数据存储服务器，用于校验资源转移数据中的每一项资源要素；响应于资源要素均准确无误，将资源要素按照预设格式自动存储，得到格式处理后的资源转移数据。

根据本申请的一个方面，提供了一种数据处理的方法，应用于如上述一个方面的数据处理系统中，该方法包括：

通过消息中间件获取最近时间段内终端发送的业务数据，最近时间段是指位于当前时刻之前且长度为预设时长的分钟级别时间段；

从业务数据中提取资源转移数据；

按照预设格式对资源转移数据进行自动存储，得到格式处理后的资源转移数据；

基于设置的数据处理要素，调用预设算法对格式处理后的资源转移数据进行分析处理，得到数据处理结果。

在一些实施例中，计算机设备中设置有至少两级数据处理要素；

基于设置的数据处理要素，调用预设算法对格式处理后的资源转移数据进行分析处理，得到数据处理结果，包括：

按照数据处理场次、数据处理时间、以及至少两级数据处理要素构建数据处理任务；

执行数据处理任务，通过预设算法对格式处理后的资源转移数据进行分层级的分析处理，得到数据处理结果；

其中，数据处理结果包括至少两级数据处理要素中每一级数据处理要素对应的数据处理结果。

在一些实施例中，至少两级数据处理要素包括一级数据处理要素和二级数据处理要素，则数据处理任务包括一级子务和二级子任务；一级处理要素包括q类要素，二级处理要素包括p类要素，q大于或者等于p，q、p为正整数；

按照数据处理场次、数据处理时间、以及至少两级数据处理要素构建数据处理任务，包括：

按照数据处理场次、数据处理时间构建在q类要素的q个维度上的一级子任务，以及在p类要素的p个维度上的二级子任务。

在一些实施例中，该方法还包括：

根据预设监控规则对数据处理结果进行实时监控；

响应于数据处理结果不符合预设监控规则，发出警报。

在一些实施例中，数据处理结果包括业务成本，预设监控规则包括业务成本小于成本阈值；

或者，数据处理结果包括业务收入，预设监控规则包括业务收入大于收入阈值；

或者，数据处理结果包括业务支出，预设监控规则包括业务支出小于支出阈值；

或者，数据处理结果包括业务净金额，预设监控规则包括业务净金额大于净金额阈值。

在一些实施例中，按照预设格式对资源转移数据自动存储，得到格式处理后的资源转移数据，包括：

校验资源转移数据中的每一项资源要素；

响应于资源要素均准确无误，将资源要素按照预设格式自动存储，得到格式处理后的资源转移数据。

根据本申请的另一方面，提供了一种数据处理的装置，该装置包括：

获取模块，通过消息中间件获取最近时间段内终端发送的业务数据，最近时间段是指位于当前时刻之前且长度为预设时长的分钟级别时间段；

提取模块，用于从业务数据中提取资源转移数据；

处理模块，用于按照预设格式对资源转移数据进行自动存储，得到格式处理后的资源转移数据；

处理模块，用于基于设置的数据处理要素，调用预设算法对格式处理后的资源转移数据进行分析处理，得到数据处理结果。

在一些实施例中，计算机设备中设置有至少两级数据处理要素；

处理模块，包括：

任务构建子模块，用于按照数据处理场次、数据处理时间、以及至少两级数据处理要素构建数据处理任务；

处理子模块，用于执行数据处理任务，通过预设算法对格式处理后的资源转移数据进行分层级的分析处理，得到数据处理结果；

其中，数据处理结果包括至少两级数据处理要素中每一级数据处理要素对应的数据处理结果。

在一些实施例中，至少两级数据处理要素包括一级数据处理要素和二级数据处理要素，则数据处理任务包括一级子务和二级子任务；一级处理要素包括q类要素，二级处理要素包括p类要素，q大于或者等于p，q、p为正整数；

任务构建子模块，用于按照数据处理场次、数据处理时间构建在q类要素的q个维度上的一级子任务，以及在p类要素的p个维度上的二级子任务。

在一些实施例中，该装置还包括：

监控模块，用于根据预设监控规则对数据处理结果进行实时监控；

报警模块，用于响应于数据处理结果不符合预设监控规则，发出警报。

在一些实施例中，数据处理结果包括业务成本，预设监控规则包括业务成本小于成本阈值；

或者，数据处理结果包括业务收入，预设监控规则包括业务收入大于收入阈值；

或者，数据处理结果包括业务支出，预设监控规则包括业务支出小于支出阈值；

或者，数据处理结果包括业务净金额，预设监控规则包括业务净金额大于净金额阈值。

在一些实施例中，处理模块，还包括：

校验子模块，用于校验资源转移数据中的每一项资源要素；

处理子模块，用于响应于资源要素均准确无误，将资源要素按照预设格式自动存储，得到格式处理后的资源转移数据。

根据本申请的另一方面，提供了一种服务器，该服务器包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上一个方面及其可选实施例的任一项所述的数据处理的方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上一个方面及其可选实施例的任一项所述的数据处理的方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

上述数据处理的方法通过对分钟级别时间段内的业务数据中的资源转移数据进行格式处理，并对格式处理后的资源转移数据进行分析处理，能够获得接近实时的数据处理结果；上述接近实时的数据处理结果可以即时的反馈资源流动情况，从而达到实时监控资源流动情况的目的，若资源流动出现问题，工作人员即可以通过接近实时的数据处理结果及时获知，从而把握最佳时机做出应对方案以解决资源流动问题，减少了资源流动性的风险。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本申请一个示例性实施例提供的数据处理的方法的流程图；

图2本申请一个示例性实施例提供的分析处理的用户界面的示意图；

图3本申请另一个示例性实施例提供的数据处理的方法的流程图；

图4本申请另一个示例性实施例提供的数据处理的方法的流程图；

图5本申请另一个示例性实施例提供的数据处理的方法的流程图；

图6本申请一个示例性实施例提供的数据处理系统的结构示意图；

图7本申请一个示例性实施例提供的数据处理的装置的结构示意图；

图8是本申请一个示例性实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在消费平台上，每天成交成千上万的消费订单，从而产生成千上万的支付流水，而订单的成交实际上涉及了多方平台的参与，比如，除了消费平台之外还包括第三方支付平台的参与。其中，消费平台为商户提供了网上交易服务，商户则需要支付消费平台相应的服务费用，商户在一段时间内的交易收入又是由消费平台代为管理，因此，消费平台与商户之间需要每隔一段时间进行一次资金清分以及资金结算；其次，消费平台还需要通过第三支付平台为商户提供支付服务，消费平台则需要支付第三方支付平台相应的服务费用，因此，消费平台与第三方支付平台之间也需要每隔一段时间进行一次资金清分以及资金结算。

一般情况下，消费平台与商户、第三方支付平台与消费平台之间进行资金清分的最短时间段为一天，也就是说，当天的资金流动情况在第二条才能够通过清分结果获知；在上述情形下则存在以下问题：若是当天的资金流动出现了问题，工作人员第二天才能够发现，导致错过解决问题的最佳时机。因此，本申请提供了一种后台服务，通过执行数据处理的方法能够获知接近实时的资金的清分结果，从而获知接近实时的资金流动情况，实现对资金流动的实时监控，以如下实施例对上述数据处理的方法进行说明。

请参考图1，示出了本申请一个示例性实施例提供的数据处理的方法的流程图，该方法应用于计算机设备中，该方法包括以下步骤：

步骤101，获取最近时间段内终端发送的业务数据。

上述最近时间段是指位于当前时刻之前且长度为预设时长的分钟级别时间段；比如，当前时刻为14:30:00(即14点30分0秒)，预设时长为1分钟，最近时间段可以为14:29:00至14:30:59。

可选地，为了能够获取接近实时的业务数据，计算机设备可以通过消息中间件获取最近时间段内终端发送的业务数据。示意性的，在分布式系统中，终端作为消息生产者，用于执行本申请中数据处理的方法的计算机设备作为消费者，消息中间件接收到终端发送的消息；上述计算机设备监听消息中间件，当消息中间件接收到终端发送的上述计算机设备的订阅消息(即业务数据)时，上述计算机设备从消息中间件中获取上述业务数据。上述分布式系统中还包括用于执行其他功能的其他计算机设备，其他计算机设备也对消息中间件进行监听，当消息中间件接收到终端发送的其他计算机设备的订阅消息时，其他计算机设备从消息中间件中获取对应的订阅消息。消息中间件实现了分布式服务的异步处理、服务解耦，通过异步提高了对终端中程序的响应速度，不必阻塞终端中程序执行其他操作。

还需要说明的是，上述预设时长可以是计算机设备中设置的默认时长；或者可以由用户根据需求自定义的时长，比如，可以将预设时长设置为3分钟、5分钟、甚至更长的分钟级别时长；若是对数据处理结果的实时性需求弱，甚至还可以自定义为一天、一周、甚至一个月。

步骤102，从业务数据中提取资源转移数据。

业务数据中包括资源转移数据，计算机设备从业务数据中提取资源转移数据；上述资源转移数据包括与资源相关的要素，即资源要素；可选地，资源要素可以包括目标对象的标识、资源转移类型、资源转移时间、资源接收机构、资源发送机构、资源转移通道、资源转移数量中的至少一种。其中，目标对象的标识是指目标对象在平台上的标识信息；资源转移类型是指资源转移双方采用的资源转移的方式，比如，可以是在线上进行资源转移的方式；资源转移时间是指资源转移成功的时间；资源接收机构是指资源转入的机构；资源发送结构是指资源转出的机构；资源转移通道是指资源转移的途径。

示意性的，上述业务数据可以包括订单数据，对应的，上述订单数据中包括资金数据，资金数据中包括与资金相关的要素，即资金要素；资金要素包括商户标识、交易类型、交易时间、交易接收机构、交易发送机构、支付通道、交易金额中的至少一种。

其中，商户标识是指商户在消费平台上的标识信息，比如，商户标识可以是商户在入住消费平台时注册的商户代码或者商户名称；交易类型是指顾客与商户之间交易的方式，比如，交易类型可以为线上支付；交易时间是指完成订单交易的时间，比如，顾客在上午11点完成了订单支付，则交易时间即为上午11点；交易接收机构是指交易时资金转入的机构，交易发送机构则是指交易时资金转出的机构，比如，顾客支付订单后资金从顾客的第三方支付机构的账户下转移至商户的银联账户下，则交易发送机构为第三方支付机构，交易接收机构为银联；支付通道是指交易时支付所采用的支付方式，比如，采用银行卡支付、或者消费平台上的账户余额支付、或者第三方支付平台支付；交易金额是指订单的消费金额，比如，顾客花费36元购买了午餐，那么该笔订单的交易金额即为36元。

计算机设备从最近时间段内业务数据中的每一笔业务数据中提取出对应的资源要素，生成资源转移数据。

步骤103，按照预设格式对资源转移数据进行自动存储，得到格式处理后的资源转移数据。

计算机设备中设置有预设格式，计算机设备在从最近时间段内业务数据中提取得到资源要素之后，按照预设格式对资源要素进行自动存储，得到格式处理后的资源转移数据。比如，预设格式为“商户标识+交易类型+交易时间+交易接收机构+交易发送机构+支付通道+支付通道成本金额+返点金额+交易金额”，则从订单数据中的每一笔订单中提取出的资金要素均按照上述预设格式一笔一笔的对应存储，如表1，以表格的形式对资金数据的存储进行展示，下述每一条资金数据的资金要素均按照预设格式给出的顺序进行存储，示意性的，存储的第一条资金数据则是“001123在线支付2019/12/12 13:12:05银联银联银联0.10 0.20 51.00”。

表1

步骤104，基于设置的数据处理要素，调用预设算法对格式处理后的资源转移数据进行分析处理，得到数据处理结果。

示意性的，上述对格式处理后的资源转移数据进行分析数据可以包括对格式处理后的资源转移数据的清分。在本申请中，清分可以是指将一段时间内的资源转移数据按照资源转移的双方之间的资源转移数量、业务数量等进行整理、分类、汇总。

以资金交易为例，清分即是指将一段时间内的资金数据按照交易双方之间交易笔数、交易金额等进行轧差、整理、分类、汇总，是交易双方之间交易结算的准备工作；其中，轧差是指利用抵销、合同更新等法律制度，最终取得一方对另一方的一个数额的净债权或者净债务。比如，消费平台对各商户的交易收入进行代收，因此，消费平台需要每隔一段时间与各商户之间进行清分，也就是说，对该段时间内的资金数据进行整理、分类、汇总，以将该段时间内商户的交易收入减去消费平台的服务费用后，计算出消费平台需要结算给商户的金额。

计算机设备中设置有数据处理要素，设置的数据处理要素即是设置的分析处理的维度；可选地，数据处理要素可以包括目标对象的标识、资源转移类型、资源转移时间、资源接收机构、资源发送机构、资源转移通道、资源转移数量中的至少一种。

示意性的，若资源转移数据为资金数据，则数据处理要素资源要素可以包括商户标识、交易类型、交易时间、交易接收机构、交易发送机构、支付通道、交易金额、业务收入、业务支出、业务成本、业务净金额、业务返点中的至少一种。比如，计算机设备中设置的数据处理要素包括商户标识、支付通道、业务净金额，则计算机设备从上述商户、支付通道、业务净金额三个维度进行数据统计、分析，示意性的，分析最近时间段内每一个商户在不同支付通道下的支付订单数量、每一个商户的业务净金额。

其中，业务收入是指完成业务的资金收入，比如，商户完成n笔外卖订单的资金收入；业务支出是指完成业务的资金支出，比如，商户完成m笔外卖订单需要支付的服务费用；业务成本是指在完成业务过程中需要耗费的资金，比如，消费平台需要通过第三方支付平台为商户提供支付服务，在此过程中，消费平台向第三方支付平台支付服务费用即为消费平台为商户提供服务的成本；业务净金额是指业务收入除去成本后的净收入金额，比如，针对外卖服务，消费平台向商户收取服务费用A，同时向第三方支付平台支付服务费用B，则消费平台业务净金额为(A-B)，其中，A的取值大于B的取值；业务返点是指消费者经由导购商引导去第三方商家消费，第三方商家支付部分利润给导购商，导购商再将得到的部分利润的一部分返给消费者，比如，消费平台从商户处抽取部分利润，并将部分利润返给顾客一部分，即为业务返点；本实施例中上述业务返点可以是指业务返点的金额，也可以是业务返点的比例，比如，消费平台可以将第三方商家支付的部分利润的百分之十返给顾客。

可选地，上述数据处理要素包括用户自定义的数据处理要素，示意性的，与计算机设备有线或者无线连接的终端上，显示数据处理要素的设置界面，用户可以通过需求选择数据处理要素，并将上述数据处理要素设置至计算机设备中，示意性的，如图2，设置界面11上设置有数据处理要素的选项12，用户可以选择至少两项数据处理要素，并点击确认控件13，即可以将选择的至少两项数据处理要素设置至计算机设备中，计算机设备按照用户设置的数据处理要素调用预设算法对格式处理后的资金数据进行分析处理，并得到最终的数据处理结果；计算机设备还将上述数据处理结果发送至终端上进行展示，如图2上的对业务净金额清分的结果的展示14。

示意性的，上述数据处理结果可以包括在最新时间段内每一个商户的业务收入、业务支出、业务成本、以及业务净金额；还可以包括在最新时间段内消费平台的业务收入、业务支出、业务成本、业务净金额、以及业务返点。上述数据处理结果可以用户反映最近时间段内的资金流动情况。上述数据处理结果还用于为商户、消费平台、第三方支付平台之间的资金结算做准备。

需要说明的是，上述计算机设备可以包括终端、服务器中的至少一种。

综上所述，本实施例提供的数据处理的方法，通过对分钟级别时间段内的订单中的资源转移数据进行格式处理，并对格式处理后的资源转移数据进行分析处理，能够获得接近实时的数据处理结果；上述接近实时的数据处理结果可以即时的反馈资源流动情况，从而达到实时监控资源流动情况的目的，若资源流动出现问题，工作人员即可以通过接近实时的数据处理结果及时获知，从而把握最佳时机做出应对方案以解决资源流动问题，减少了资源流动性的风险。

该方法还通过消息中间件异步获取业务数据，对服务间关系解耦，从而提高了对终端中程序的响应速度，不必阻塞终端中程序执行其他操作。

该方法还通过用户自定义分析处理的数据处理要素实现了分析处理的灵活定制，满足用户的不同需求，解决了不同分析处理功能需要单独定制系统、浪费资源的问题。

基于图1，为了能够更及时的提醒工作人员资金流动的情况，计算机设备中还设置有预设监控规则，以对资金流动的情况进行监控，示意性的，在步骤104之后增加步骤105至步骤107，如图3，步骤如下：

步骤105，根据预设监控规则对数据处理结果进行实时监控。

计算机设备中预设有监控规则，该预设监控规则是计算机设备中设置的监控规则，用于对数据处理结果实时监控以在资源流动异常时发出警报。

上述资源流动异常可以包括最新时间段内业务收入远小于收入预期，或者是业务支出远大于支出预期，或者是业务净金额远小于净金额预期，或者业务成本远大于成本预期。

示意性的，若数据处理结果包括业务成本，则预设监控规则可以包括业务成本小于成本阈值；其中，成本阈值大于等于成本预期，成本预期是根据历史资源转移数据分析得到的该最新时间段内业务成本的预估值。

若数据处理结果包括业务收入，则预设监控规则包括业务收入大于收入阈值；其中，收入阈值小于等于收入预期，收入预期是根据历史资源转移数据分析得到的该最新时间段内业务收入的预估值。

若数据处理结果包括业务支出，则预设监控规则包括业务支出小于支出阈值；其中，支出阈值大于等于支出预期，支出阈值是根据历史资源转移数据分析得到的该最新时间段内业务支出的预估值。

若数据处理结果包括业务净金额，则预设监控规则包括业务净金额大于净金额阈值；其中，净金额阈值小于等于净金额预期，净金额预期是根据历史资源转移数据分析得到的该最新时间段内业务净金额的预估值。

还需要说明的是，上述成本阈值、或者收入阈值、或者支出阈值、或者净金额阈值可以是计算机设备中预先设置的，或者，也可以是用户设置的。

步骤106，响应于数据处理结果符合预设监控规则，返回执行步骤105。

也就是说，对下一个数据处理批次的数据处理结果进行监控，其中，计算机设备将一个预设时长内的资源转移数据定义为一个数据处理批次。

示意性的，若数据处理结果包括业务成本，响应于业务成本小于成本阈值，返回执行步骤105。

若数据处理结果包括业务收入，响应于业务收入大于收入阈值，返回执行步骤105。

若数据处理结果包括业务支出，响应于业务支出小于支出阈值，返回执行步骤105。

若数据处理结果包括业务净金额，响应于业务净金额大于净金额阈值，返回执行步骤105。

步骤107，响应于数据处理结果不符合预设监控规则，发出警报。

示意性的，若数据处理结果包括业务成本，业务成本大于等于成本阈值，发出警报。

若数据处理结果包括业务收入，业务收入小于等于收入阈值，发出警报。

若数据处理结果包括业务支出，业务支出大于等于支出阈值，发出警报。

若数据处理结果包括业务净金额，业务净金额小于等于净金额阈值，发出警报。

综上所述，本实施例提供的数据处理的方法，还通过在计算机设备中设置监控规则，对数据处理结果进行实时监控，当资源流动出现异常时，及时发出警报，使工作人员能够及时的发现问题，并做出应对策略，以避免损失或者降低损失。

需要说明的是，针对资源转移数据的分析处理，计算机设备可以同时在多个层级上针对不同维度的资源要素进行分析处理运算，因此，图1或者图3中步骤104可以包括步骤1042至步骤1044，以图1中的步骤举例说明，如图4，步骤如下：

步骤1042，按照数据处理场次、数据处理时间、以及至少两级数据处理要素构建数据处理任务。

上述数据处理时间是指对最新时间段内资源转移数据进行处理的时间，比如，对15:20:00至15:20:59这一时间段内的资源转移数据在15:22:00开始处理，那么15:22:00即为数据处理时间。

计算机设备中设置有至少两级数据处理要素。可选地，层级间的数据处理要素具有依赖关系，比如，第三层级的数据处理要素包含第二层级的数据处理要素，第二层级的数据处理要素包含了第一层级的数据处理要素，层级越高分析处理的维度越多，分析处理的粒度越精细。

可选地，层级间的数据处理要素也可以不具有依赖关系；比如，第一层级与第二层级中包含交集要素，交集要素是指存在于至少两个层级的数据处理要素，比如，既存在于第一层级又存在于第二层级的数据处理要素；第一层级与第二层级又分别包含非交集要素，非交集要素是指仅存在于一个层级的数据处理要素，比如，仅存在于第一层级或者第二层级的数据处理要素。

可选地，上述每一个层级的数据处理要素可以包括用户根据需求设置的数据处理要素。

计算机设备针对某一数据处理批次的资源转移数据，构建在数据处理时间上按照至少两级数据处理要素进行清分的任务，并将上述数据处理任务放置至队列中，等待执行。

示意性的，至少两级数据处理要素包括一级数据处理要素和二级数据处理要素，则数据处理任务包括一级子务和二级子任务；一级处理要素包括q类要素，二级处理要素包括p类要素，q大于或者等于p，q、p为正整数；

计算机设备按照数据处理场次、数据处理时间构建在q类要素的q个维度上的一级子任务，以及在p类要素的p个维度上的二级子任务。

步骤1044，执行数据处理任务，通过预设算法对格式处理后的资源转移数据进行分层级的分析处理，得到数据处理结果。

其中，上述数据处理结果包括至少两级数据处理要素中每一级数据处理要素对应的数据处理结果。

计算机设备执行数据处理任务，通过预设算法对某一数据处理批次的资源转移数据分别按照不同层级上的数据处理要素进行分层级的分析处理，上述资源转移数据为格式处理后的资源转移数据。比如，计算机设备通过预设算法按照第一层级的数据处理要素对资源转移数据进行分析处理，同时按照第二层级的数据处理要素对资源转移数据进行分析处理，以此类推，计算机设备同时还按照第n层级的数据处理要素对资源转移数据进行分析处理，n为正整数。

综上所述，本实施例提供的数据处理的方法，还通过在多个层级上针对不同维度的资源要素进行分析处理运算，为用户同时提供多维度的数据处理结果，使用户可以从不同粒度来监控资源流动情况，满足用户需求，提高了用户的体验。

还需要说明的是，为了提高数据处理结果的准确性，还需要对资源转移数据进行校验，示意性的，图1或者图4中步骤103还包括步骤1032至步骤1036，以图1中的步骤举例说明，如图5，步骤如下：

步骤1032，校验资源转移数据中的每一项资源要素。

计算机设备校验资源转移数据中每一项资源要素，即是校验资源转移数据中每一项资源要素是否缺失，以及每一项资源要素的真实准确性。

步骤1034，响应于资源要素准确无误，将资源要素按照预设格式自动存储，得到格式处理后的资源转移数据。

比如，计算机设备响应于一条资源转移数据对应的业务的资源转移通道与该条资源转移数据中的资源转移通道一致，将该资源转移通道按照预设格式存储于相应的位置。

步骤1036，响应于资源要素出现缺失或者错误，发出资源要素缺失或者错误的警报。

比如，计算机设备响应于一条资源转移数据对应的业务的资源转移通道与该条资源转移数据中的资源转移通道不一致，发出资源要素缺失或者错误的警报。

综上所述，本实施例提供的数据处理的方法，通过在资源转移数据整理阶段校验资源转移数据中的每一项资源要素，保证资源转移数据的准确性，从而确保最终计算得到的数据处理结果的准确。

需要说明的是，上述图1至5所示的方法实施例可以应用于如图6所示的数据处理系统200中，该数据处理系统200包括数据存储服务器220和数据处理服务器240；

数据存储服务器220，用于通过消息中间件获取最近时间段内终端发送的业务数据，最近时间段是指位于当前时刻之前且长度为预设时长的分钟级别时间段；从业务数据中提取资源转移数据；按照预设格式对资源转移数据进行自动存储，得到格式处理后的资源转移数据；

数据处理服务器240，用于从数据存储服务器220中获取格式处理后的资源转移数据；基于设置的数据处理要素，调用预设算法对格式处理后的资源转移数据进行分析处理，得到数据处理结果。

在一些实施例中，数据处理服务器240中设置有至少两级数据处理要素；

数据处理服务器240，用于按照数据处理场次、数据处理时间、以及至少两级数据处理要素构建数据处理任务；执行数据处理任务，通过预设算法对格式处理后的资源转移数据进行分层级的分析处理，得到数据处理结果；

其中，数据处理结果包括至少两级数据处理要素中每一级数据处理要素对应的数据处理结果。

在一些实施例中，至少两级数据处理要素包括一级数据处理要素和二级数据处理要素，则数据处理任务包括一级子务和二级子任务；一级处理要素包括q类要素，二级处理要素包括p类要素，q大于或者等于p，q、p为正整数；

数据处理服务器240，用于按照数据处理场次、数据处理时间构建在q类要素的q个维度上的一级子任务，以及在p类要素的p个维度上的二级子任务。

在一些实施例中，数据处理服务器240，还用于根据预设监控规则对数据处理结果进行实时监控；响应于数据处理结果不符合预设监控规则，发出警报。

在一些实施例中，数据处理结果包括业务成本，预设监控规则包括业务成本小于成本阈值；

或者，数据处理结果包括业务收入，预设监控规则包括业务收入大于收入阈值；

或者，数据处理结果包括业务支出，预设监控规则包括业务支出小于支出阈值；

或者，数据处理结果包括业务净金额，预设监控规则包括业务净金额大于净金额阈值。

在一些实施例中，数据存储服务器220，用于校验资源转移数据中的每一项资源要素；响应于资源要素均准确无误，将资源要素按照预设格式自动存储，得到格式处理后的资源转移数据。

综上所述，本实施例提供的数据处理系统，通过对分钟级别时间段内的订单中的资源转移数据进行格式处理，并对格式处理后的资源转移数据进行分析处理，能够获得接近实时的数据处理结果；上述接近实时的数据处理结果可以即时的反馈资源流动情况，从而达到实时监控资源流动情况的目的，若资源流动出现问题，工作人员即可以通过接近实时的数据处理结果及时获知，从而把握最佳时机做出应对方案以解决资源流动问题，减少了资源流动性的风险。

以下为本申请的装置实施例，对于装置实施例中未详细描述的细节，可以结合参考上述方法实施例中相应的记载，本文不再赘述。

请参考图7，示出了本申请的一个示例性实施例提供的数据处理的装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，该装置包括：

获取模块201，通过消息中间件获取最近时间段内终端发送的业务数据，最近时间段是指位于当前时刻之前且长度为预设时长的分钟级别时间段；

提取模块202，用于从业务数据中提取资源转移数据；

处理模块203，用于按照预设格式对资源转移数据进行自动存储，得到格式处理后的资源转移数据；

处理模块203，用于基于设置的数据处理要素，调用预设算法对格式处理后的资源转移数据进行分析处理，得到数据处理结果。

在一些实施例中，计算机设备中设置有至少两级数据处理要素；

处理模块203，包括：

任务构建子模块2031，用于按照数据处理场次、数据处理时间、以及至少两级数据处理要素构建数据处理任务；

处理子模块2032，用于执行数据处理任务，通过预设算法对格式处理后的资源转移数据进行分层级的分析处理，得到数据处理结果；

其中，数据处理结果包括至少两级数据处理要素中每一级数据处理要素对应的数据处理结果。

在一些实施例中，至少两级数据处理要素包括一级数据处理要素和二级数据处理要素，则数据处理任务包括一级子务和二级子任务；一级处理要素包括q类要素，二级处理要素包括p类要素，q大于或者等于p，q、p为正整数；

任务构建子模块2031，用于按照数据处理场次、数据处理时间构建在q类要素的q个维度上的一级子任务，以及在p类要素的p个维度上的二级子任务。

在一些实施例中，该装置还包括：

监控模块204，用于根据预设监控规则对数据处理结果进行实时监控；

报警模块205，用于响应于数据处理结果不符合预设监控规则，发出警报。

在一些实施例中，数据处理结果包括业务成本，预设监控规则包括业务成本小于成本阈值；

或者，数据处理结果包括业务收入，预设监控规则包括业务收入大于收入阈值；

或者，数据处理结果包括业务支出，预设监控规则包括业务支出小于支出阈值；

或者，数据处理结果包括业务净金额，预设监控规则包括业务净金额大于净金额阈值。

在一些实施例中，处理模块203，还包括：

校验子模块2033，用于校验资源转移数据中的每一项资源要素；

处理子模块2032，用于响应于资源要素均准确无误，将资源要素按照预设格式自动存储，得到格式处理后的资源转移数据。

综上所述，本实施例提供的数据处理的装置，通过对分钟级别时间段内的订单中的资源转移数据进行格式处理，并对格式处理后的资源转移数据进行分析处理，能够获得接近实时的数据处理结果；上述接近实时的数据处理结果可以即时的反馈资源流动情况，从而达到实时监控资源流动情况的目的，若资源流动出现问题，工作人员即可以通过接近实时的数据处理结果及时获知，从而把握最佳时机做出应对方案以解决资源流动问题，减少了资源流动性的风险。

请参考图8，示出了本申请一个示例性实施例提供的计算机设备的结构示意图。该计算机设备可以用于执行上述可选实施例中的数据处理的方法，具体来讲：

计算机设备300包括中央处理单元(Central Processing Unit，CPU)301、包括随机存取存储器(Random Access Memory，RAM)302和只读存储器(Read-Only Memory，ROM)303的系统存储器304，以及连接系统存储器304和中央处理单元301的系统总线305。计算机设备300还包括帮助计算机内的各个器件之间传输信息的基本输入/输出(Input/Output，I/O)系统306，和用于存储操作系统313、应用程序314和其他程序模块315的大容量存储设备307。

基本输入/输出系统306包括有用于显示信息的显示器308和用于用户输入信息的诸如鼠标、键盘之类的输入设备309。其中显示器308和输入设备309都通过连接到系统总线305的输入输出控制器310连接到中央处理单元301。基本输入/输出系统306还可以包括输入输出控制器310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器310还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备307通过连接到系统总线305的大容量存储控制器(未示出)连接到中央处理单元301。大容量存储设备307及其相关联的计算机可读介质为计算机设备300提供非易失性存储。也就是说，大容量存储设备307可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、闪存(Flash Memory)或其他固态存储其技术，CD-ROM、数字通用光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器304和大容量存储设备307可以统称为存储器。

根据本申请的各种实施例，计算机设备300还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备300可以通过连接在系统总线305上的网络接口单元311连接到网络312，或者说，也可以使用网络接口单元311来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU 301执行。

本申请还提供一种计算机设备，该计算机设备包括：处理器和存储器，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的数据处理的方法。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的数据处理的方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种数据处理系统，其特征在于，所述系统包括数据存储服务器和数据处理服务器；

所述数据存储服务器，用于通过消息中间件获取最近时间段内终端发送的业务数据，所述最近时间段是指位于当前时刻之前且长度为预设时长的分钟级别时间段；从所述业务数据中提取资源转移数据；按照预设格式对所述资源转移数据进行自动存储，得到格式处理后的资源转移数据；

所述数据处理服务器，用于从所述数据存储服务器中获取所述格式处理后的资源转移数据；基于设置的数据处理要素，调用预设算法对所述格式处理后的资源转移数据进行分析处理，得到数据处理结果。

2.根据权利要求1所述的系统，其特征在于，所述数据处理服务器中设置有至少两级数据处理要素；

所述数据处理服务器，用于按照数据处理场次、数据处理时间、以及所述至少两级数据处理要素构建数据处理任务；执行所述数据处理任务，通过所述预设算法对所述格式处理后的资源转移数据进行分层级的分析处理，得到所述数据处理结果；

其中，所述数据处理结果包括所述至少两级数据处理要素中每一级数据处理要素对应的数据处理结果。

3.根据权利要求2所述的系统，其特征在于，所述至少两级数据处理要素包括一级数据处理要素和二级数据处理要素，则所述数据处理任务包括一级子务和二级子任务；所述一级处理要素包括q类要素，所述二级处理要素包括p类要素，q大于或者等于p，q、p为正整数；

所述数据处理服务器，用于按照所述数据处理场次、所述数据处理时间构建在所述q类要素的q个维度上的所述一级子任务，以及在所述p类要素的p个维度上的所述二级子任务。

4.根据权利要求1至3任一所述的系统，其特征在于，

所述数据处理服务器，还用于根据预设监控规则对所述数据处理结果进行实时监控；响应于所述数据处理结果不符合所述预设监控规则，发出警报。

5.根据权利要求4所述的系统，其特征在于，

所述数据处理结果包括业务成本，所述预设监控规则包括所述业务成本小于成本阈值；

或者，

所述数据处理结果包括业务收入，所述预设监控规则包括所述业务收入大于收入阈值；

或者，

所述数据处理结果包括业务支出，所述预设监控规则包括所述业务支出小于支出阈值；

或者，

所述数据处理结果包括业务净金额，所述预设监控规则包括所述业务净金额大于净金额阈值。

6.根据权利要求1至3任一所述的系统，其特征在于，

所述数据存储服务器，用于校验所述资源转移数据中的每一项资源要素；响应于所述资源要素均准确无误，将所述资源要素按照所述预设格式自动存储，得到所述格式处理后的资源转移数据。

7.一种数据处理的方法，其特征在于，应用于如权利要求1所述的数据处理系统中，所述方法包括：

通过消息中间件获取最近时间段内终端发送的业务数据，所述最近时间段是指位于当前时刻之前且长度为预设时长的分钟级别时间段；

从所述业务数据中提取资源转移数据；

按照预设格式对所述资源转移数据进行自动存储，得到格式处理后的资源转移数据；

基于设置的数据处理要素，调用预设算法对所述格式处理后的资源转移数据进行分析处理，得到数据处理结果。

8.根据权利要求7所述的方法，其特征在于，所述计算机设备中设置有至少两级数据处理要素；

所述基于设置的数据处理要素，调用预设算法对所述格式处理后的资源转移数据进行分析处理，得到数据处理结果，包括：

按照数据处理场次、数据处理时间、以及所述至少两级数据处理要素构建数据处理任务；

执行所述数据处理任务，通过所述预设算法对所述格式处理后的资源转移数据进行分层级的分析处理，得到所述数据处理结果；

其中，所述数据处理结果包括所述至少两级数据处理要素中每一级数据处理要素对应的数据处理结果。

9.根据权利要求8所述的方法，其特征在于，所述至少两级数据处理要素包括一级数据处理要素和二级数据处理要素，则所述数据处理任务包括一级子务和二级子任务；所述一级处理要素包括q类要素，所述二级处理要素包括p类要素，q大于或者等于p，q、p为正整数；

所述按照数据处理场次、数据处理时间、以及所述至少两级数据处理要素构建数据处理任务，包括：

按照所述数据处理场次、所述数据处理时间构建在所述q类要素的q个维度上的所述一级子任务，以及在所述p类要素的p个维度上的所述二级子任务。

10.根据权利要求7至9任一所述的方法，其特征在于，所述方法还包括：

根据预设监控规则对所述数据处理结果进行实时监控；

响应于所述数据处理结果不符合所述预设监控规则，发出警报。

11.根据权利要求10所述的方法，其特征在于，

所述数据处理结果包括业务成本，所述预设监控规则包括所述业务成本小于成本阈值；

或者，

所述数据处理结果包括业务收入，所述预设监控规则包括所述业务收入大于收入阈值；

或者，

所述数据处理结果包括业务支出，所述预设监控规则包括所述业务支出小于支出阈值；

或者，

所述数据处理结果包括业务净金额，所述预设监控规则包括所述业务净金额大于净金额阈值。

12.根据权利要求7至9任一所述的方法，其特征在于，所述按照预设格式对所述资源转移数据自动存储，得到格式处理后的资源转移数据，包括：

校验所述资源转移数据中的每一项资源要素；

响应于所述资源要素均准确无误，将所述资源要素按照所述预设格式自动存储，得到所述格式处理后的资源转移数据。

13.一种数据处理的装置，其特征在于，所述装置包括：

获取模块，通过消息中间件获取最近时间段内终端发送的业务数据，所述最近时间段是指位于当前时刻之前且长度为预设时长的分钟级别时间段；

提取模块，用于从所述业务数据中提取资源转移数据；

处理模块，用于按照预设格式对所述资源转移数据进行自动存储，得到格式处理后的资源转移数据；

所述处理模块，用于基于设置的数据处理要素，调用预设算法对所述格式处理后的资源转移数据进行分析处理，得到数据处理结果。

14.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求7至12任一项所述的数据处理的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行，以实现如权利要求7至12任一项所述的数据处理的方法。

Images