CN111967959B - 资金流向统计方法及装置 - Google Patents

Abstract

本发明公开了一种资金流向统计方法及装置，其中该方法包括：实时获取机构中的交易流水数据；根据用户配置的统计维度生成资金流向统计模型；按照资金流向统计模型统计交易流水数据中每个统计维度的交易总金额。本发明可以通过灵活维度配置的方式，实时对银行客户的资金流向进行统计与分析。

Description

资金流向统计方法及装置

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种资金流向统计方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

资金流向统计分析，是指通过对客户账户交易流水数据进行实时统计分析，形成各机构多维度的资金流向统计结果数据和视图的方法。资金流向实时统计分析功能，使银行管理人员能够实时洞悉多维度资金流向，从而可以进行精细化管理，及时进行客户营销。目前银行资金流向统计分析大都以天为周期，采用批量统计方式，具有较大的延迟性，目前的分析维度不够灵活，不能快速支持新增维度及修改当前维度。

发明内容

本发明实施例提供一种资金流向统计方法，用以通过灵活维度配置的方式，实时对银行客户的资金流向进行统计与分析，该方法包括：

实时获取机构中的交易流水数据；

根据用户配置的统计维度生成资金流向统计模型；

按照资金流向统计模型统计交易流水数据中每个统计维度的交易总金额；

其中，所述资金流向统计模型根据如下方法统计交易流水数据中每个维度的交易总金额：

利用SparkStreaming技术，按照交易时间所属时间段的不同对预处理后的交易流水数据进行拆分，得到至少一个数据分组；

对于每个数据分组中的交易流水数据，利用RDD实例对属于相同交易日期及相同统计维度的交易金额进行汇总，得到每个统计维度的交易总金额。

本发明实施例还提供一种资金流向统计装置，用以通过灵活维度配置的方式，实时对银行客户的资金流向进行统计与分析，该装置包括：

获取模块，用于实时获取机构中的交易流水数据；

模型生成模块，用于根据用户配置的统计维度生成资金流向统计模型；

统计模块，用于按照模型生成模块生成的资金流向统计模型统计获取模块获取的交易流水数据中每个统计维度的交易总金额；

其中，统计模块用于：

利用SparkStreaming技术，按照交易时间所属时间段的不同对预处理后的交易流水数据进行拆分，得到至少一个数据分组；

对于每个数据分组中的交易流水数据，利用RDD实例对属于相同交易日期及相同统计维度的交易金额进行汇总，得到每个统计维度的交易总金额。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述资金流向统计方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述资金流向统计方法的计算机程序。

本发明实施例以大数据流式处理技术为基础，以参数化配置的方式实现了统计维度的灵活变化，用户可以根据自身需求设置统计维度，使得资金流向分析模型更加贴合用户需求，避免计算资源的浪费，同时，在装置维护过程中如需增加、修改或删除统计维度时，仅需修改统计维度的配置参数即可，无需进行大量的参数修改。此外，还可以实现低延迟、高效的交易流水数据的统计与分析，从而提供了实时的、高效、可灵活扩展的资金流向统计分析功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中一种资金流向统计方法的流程图；

图2为本发明实施例中另一种资金流向统计方法的流程图；

图3为本发明实施例中另一种资金流向统计方法的流程图；

图4为本发明实施例中一种资金流向统计装置的结构示意图；

图5为本发明实施例中另一种资金流向统计装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

随着大数据技术在银行业的广泛应用，个性化服务、用户体验提升等复杂的业务需求对大数据处理技术提出了更高的要求。为了满足这些需求，大数据处理系统必须在毫秒级甚至微秒级的时间内返回处理结果。大数据流式处理技术可以近乎实时的返回处理结果，给用户更好的体验。

利用大数据流式处理技术，通过建立的资金流向统计模型实时处理交易流水数据，并通过灵活配置实现多维度资金流向统计分析，可以达到辅助管理、决策和营销目的。

基于上述技术构思，本发明实施例提供了一种资金流向统计方法，如图1所示，该方法包括步骤101至步骤103：

步骤101、实时获取机构中的交易流水数据。

在一种实现方式中，可以从kafka中获取交易流水数据，kafka与机构中的银行业务处理系统对接，接收银行业务处理系统上送的交流流水数据，并存储交易流水数据。

需要说明的是，本发明实施例中的方法一般用于统计分析一个机构，如一个银行网点，整体的资金流向，而不是用于统计分析单个用户的资金流向。因此，获取的交易流水数据也是一个机构上送的所有交易流水数据。

步骤102、根据用户配置的统计维度生成资金流向统计模型。

在发明实施例的一种实现方式中，用户配置的统计维度包括如下维度中的一种或几种的组合：资金流入总额、资金流出总额、资金变动总额、每个交易类型的资金流入额、每个交易类型的资金流出额、交易对象、购买每种产品的资金流入额、售出每种产品的资金流出额、每种交易渠道的资金流入额和每种交易渠道的资金流出额。

其中，资金变动总额为资金流入总额与资金流出总额的差值，该差值可以利用资金流入总额减去资金流出总额计算，也可以利用资金流出总额减去资金流入总额计算，该资金变动总额可以为正数、0或负数。

交易类型，如转账、汇款、现金存取款、贷款、消费等。

交易对象，如A机构向B机构转账，则B机构为一个交易对象。考虑到某个银行即包含大量的银行网点，如果将每个银行网点统计为一个交易对象，则会产生大量的交易对象，同时会产生大量的资金流向统计结果，在本发明实施例中，可以将A银行的c网点与A银行的d网点、e网点、f网点等交易时，将d、e、f网点统一统计为交易对象为A银行行内，以减少所需统计的交易对象的数量。类似的，A银行的c网点向B银行的g网点、h网点等转账时，可以将g、h网点统一统计为交易对象为B银行。

产品，如投资类产品、代收付类产品、贷款类产品、结算类产品等。

交易渠道，为客户通过哪种渠道进行交易，如交易渠道可以为银行柜台、ATM、手机银行、支付宝或微信等。

步骤103、按照资金流向统计模型统计交易流水数据中每个统计维度的交易总金额。

交易流水数据中包含各个统计维度的信息，该些信息可以直接从交易流水数据中获取得到，或者可以根据交易流水数据进行处理后得到，比如说，交易对象“中国银行”、交易渠道“银行柜台”等可以直接从交易流水数据中获取得到；而当以人民币统计时，一些以外币进行的交易则需要将外币金额按照汇率转换为人民币，中间经过外币到人民币的处理过程。

在执行步骤103按照资金流向统计模型统计交易流水数据中每个统计维度的交易总金额之前，如图2所示，还可以执行如下步骤201，同时，在执行完步骤201之后，步骤103可以执行为如下步骤1031：：

步骤201、对交易流水数据进行预处理。

其中，预处理包括过滤不符合预设条件的交易流水数据，以及将交易流水数据中的各个字段按照设定规则进行标准化处理。

预设条件由用户设置，例如，对于某项数值数据，可以设置其范围，当交易流水数据中该项数值数据不在该范围之内时，就将该项交易流水数据剔除；或者，设置某个字段的字段值，当交易流水数据中该字段的字段值与设定的字段值不同时，将该项交易流水数据剔除。

标准化处理的目的是根据设定规则将交易流水数据处理为规范的数据，设定规则同样由用户设置，比如说，交易流水数据中的交易对象字段包含了“建行”、“建设银行”、“中国建行”和“中国建设银行”等，按照设定规则，将该些字段标准化处理为“中国建设银行”；再比如，将以外币进行交易的交易金额根据汇率标准化处理为人民币金额等。

步骤1031、按照资金流型统计模型统计预处理后的交易流水数据中每个维度的交易总金额。

在本发明实施例的一种实现方式中，如图3所示，步骤103可以执行为如下步骤301：

资金流向统计模型根据如下方法统计交易流水数据中每个维度的交易总金额：利用SparkStreaming技术，按照交易时间所属时间段的不同对预处理后的交易流水数据进行拆分，得到至少一个数据分组；对于每个数据分组中的交易流水数据，利用RDD实例对属于相同交易日期及相同统计维度的交易金额进行汇总，得到每个统计维度的交易总金额。

由于本发明实施例中实时采集交易流水数据，因此，将每个时间段中采集的交易流水数据进行实时处理，比如说，将1分钟设置为一个时间段，某项交易的交易时间为10点48分45秒，则将该项交易与其他在10点48分0秒至10点48分59秒之间发生的交易流水数据划分到一个数据分组中。时间段的具体长度，可以由用户自行设定，本发明实施例对其不做限定。

在一些情况下，可能划分的一个时间段中恰好跨越了24点进入下一天，以1分钟的时间段为例，该1分钟时间段为24点59分30秒至0点0分30秒，这样以该时间段划分数据分组时会将前一天与后一天的数据划分到同一个数据分组中进行统计分析，然而，银行中一般会按天，也就是从0点0时0分到24点59分59秒作为一个统计区间，在这种情况下，则将该数据分组中的交易流水数据以24点59分59秒为界，拆分为两个数组分组。利用两个RDD实例分别对属于前一天的相同统计维度的交易金额，以及后一天的相同统计维度的交易金额进行汇总，以便于银行对每天的交易流水数据进行统计。

利用本发明实施例的方法可以得到每个时间段的资金流向汇总，在统计得到每天的流向各个统计维度的资金后，还可以对每天的资金进行汇总，进而统计得到一周、一个月、一年等多天的资金流向信息。

本发明实施例中，还可以将计算得到的资金流向统计分析结果数据，通过多种渠道展示给业务管理人员，如行信、微信或网页等，展示的形式包括如折线图、柱状图或数据表等。

本发明实施例以大数据流式处理技术为基础，以参数化配置的方式实现了统计维度的灵活变化，用户可以根据自身需求设置统计维度，使得资金流向分析模型更加贴合用户需求，避免计算资源的浪费，同时，在装置维护过程中如需增加、修改或删除统计维度时，仅需修改统计维度的配置参数即可，无需进行大量的参数修改。此外，还可以实现低延迟、高效的交易流水数据的统计与分析，从而提供了实时的、高效、可灵活扩展的资金流向统计分析功能。

本发明实施例中还提供了一种资金流向统计装置，如下面的实施例所述。由于该装置解决问题的原理与资金流向统计方法相似，因此该装置的实施可以参见资金流向统计方法的实施，重复之处不再赘述。

如图4所示，该装置400包括获取模块401、模型生成模块402和统计模块403。

其中，获取模块401，用于实时获取机构中的交易流水数据。

模型生成模块402，用于根据用户配置的统计维度生成资金流向统计模型。

统计模块403，用于按照模型生成模块402生成的资金流向统计模型统计获取模块401获取的交易流水数据中每个统计维度的交易总金额。

在本发明实施例的一种实现方式中，用户配置的统计维度包括如下维度中的一种或几种的组合：资金流入总额、资金流出总额、资金变动总额、每个交易类型的资金流入额、每个交易类型的资金流出额、交易对象、购买每种产品的资金流入额、售出每种产品的资金流出额、每种交易渠道的资金流入额和每种交易渠道的资金流出额。

在本发明实施例的一种实现方式中，如图5所示，该装置400还包括：

预处理模块504，用于对获取模块401获取的交易流水数据进行预处理，预处理包括过滤不符合预设条件的交易流水数据，以及将交易流水数据中的各个字段按照设定规则进行标准化处理。

统计模块403，用于：

按照资金流型统计模型统计经过预处理模块预处理后的交易流水数据中每个维度的交易总金额。

在本发明实施例的一种实现方式中，统计模块403，用于：

利用SparkStreaming技术，按照交易时间所属时间段的不同对预处理后的交易流水数据进行拆分，得到至少一个数据分组；

对于每个数据分组中的交易流水数据，利用RDD实例对属于相同交易日期及相同统计维度的交易金额进行汇总，得到每个统计维度的交易总金额。

本发明实施例以大数据流式处理技术为基础，以参数化配置的方式实现了统计维度的灵活变化，用户可以根据自身需求设置统计维度，使得资金流向分析模型更加贴合用户需求，避免计算资源的浪费，同时，在装置维护过程中如需增加、修改或删除统计维度时，仅需修改统计维度的配置参数即可，无需进行大量的参数修改。此外，还可以实现低延迟、高效的交易流水数据的统计与分析，从而提供了实时的、高效、可灵活扩展的资金流向统计分析功能。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述资金流向统计方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述资金流向统计方法的计算机程序。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种资金流向统计方法，其特征在于，所述方法包括：

实时获取机构中的交易流水数据；

根据用户配置的统计维度生成资金流向统计模型；

按照资金流向统计模型统计交易流水数据中每个统计维度的交易总金额；

其中，所述资金流向统计模型根据如下方法统计交易流水数据中每个维度的交易总金额：

利用Spark Streaming技术，按照交易时间所属时间段的不同对预处理后的交易流水数据进行拆分，得到至少一个数据分组；

对于每个数据分组中的交易流水数据，利用RDD实例对属于相同交易日期及相同统计维度的交易金额进行汇总，得到每个统计维度的交易总金额。

2.根据权利要求1所述的方法，其特征在于，用户配置的统计维度包括如下维度中的一种或几种的组合：资金流入总额、资金流出总额、资金变动总额、每个交易类型的资金流入额、每个交易类型的资金流出额、交易对象、购买每种产品的资金流入额、售出每种产品的资金流出额、每种交易渠道的资金流入额和每种交易渠道的资金流出额。

3.根据权利要求1或2所述的方法，其特征在于，在按照资金流向统计模型统计交易流水数据中每个统计维度的交易总金额之前，所述方法还包括：

对交易流水数据进行预处理，所述预处理包括过滤不符合预设条件的交易流水数据，以及将交易流水数据中的各个字段按照设定规则进行标准化处理。

4.一种资金流向统计装置，其特征在于，所述装置包括：

获取模块，用于实时获取机构中的交易流水数据；

模型生成模块，用于根据用户配置的统计维度生成资金流向统计模型；

统计模块，用于按照模型生成模块生成的资金流向统计模型统计获取模块获取的交易流水数据中每个统计维度的交易总金额；

其中，统计模块用于：

利用Spark Streaming技术，按照交易时间所属时间段的不同对预处理后的交易流水数据进行拆分，得到至少一个数据分组；

对于每个数据分组中的交易流水数据，利用RDD实例对属于相同交易日期及相同统计维度的交易金额进行汇总，得到每个统计维度的交易总金额。

5.根据权利要求4所述的装置，其特征在于，用户配置的统计维度包括如下维度中的一种或几种的组合：资金流入总额、资金流出总额、资金变动总额、每个交易类型的资金流入额、每个交易类型的资金流出额、交易对象、购买每种产品的资金流入额、售出每种产品的资金流出额、每种交易渠道的资金流入额和每种交易渠道的资金流出额。

6.根据权利要求4或5所述的装置，其特征在于，所述装置还包括：

预处理模块，用于对获取模块获取的交易流水数据进行预处理，所述预处理包括过滤不符合预设条件的交易流水数据，以及将交易流水数据中的各个字段按照设定规则进行标准化处理。

7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一所述方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至3任一所述方法的计算机程序。