CN111858716A - 海量金融支付数据的自动流程化处理技术 - Google Patents

Abstract

本发明提出海量金融支付数据的自动流程化处理技术，包括海量金融支付数据的自动流程化处理方法与用于自动化处理海量金融支付数据的数据处理系统。所述数据处理系统包括支付数据库、子矩阵块数据库、数据量化编码模块、向量相似度计算模块、矩阵稳定性分析模块以及数据获取模块；所述系统还包括用户画像构建模块，所述用户画像构建模块基于所述所述矩阵稳定性分析模块分析得出的稳定性量化矩阵包含的金融支付数据构建用户画像。所述方法包括获取数据、数据量化编码表示生成量化向量集、计算相似度以及判断稳定性等步骤。本发明的技术方案能够使得金融支付数据的小样本更具有分散代表性，使得大样本本身数据稳定，从而后续使用更有针对性。

Description

海量金融支付数据的自动流程化处理技术

技术领域

本发明属于大数据处理技术领域，尤其涉及一种海量金融支付数据的自动流程化处理技术。

背景技术

数据仓库(Data Warehouse)是近年来信息领域中发展较为迅速的一种数据库新技术。数据仓库的出现可帮助企业充分利用现有的数据资源，将不会说话的数据转换为可读的信息，并从中挖掘出对企业更有利的内涵，最终帮助企业创造价值。

各数据源在被提取进入数据仓库之前，需要被重新按照一定的业务规则进行筛选和处理，使之满足业务分析的要求。随着数据仓库在各行各业的广泛应用，不仅是大中型企业对数据检库进行了重点开发和使用，一些小企业也开始使用互联网化的数据来进行数据仓库的建设，且应用的范围也是从生活服务类、大中型工厂类、互联网服务类扩展到了金融类领域。

金融领域的监管比较严格，对客户的风险控制要遵循客户适当性原则，合理向客户推荐对应风险等级的金融产品，这时就需要金融机构在数据仓库的基础上通过各种维度的分析来了解自己的客户，送就衍生出了大数据金融的概念。

大数据金融可为金融机构或者金融服务电商平台在客户推广和客户适当性原则上提供技术支撑。大数据的金融服务平台大数据为依托，提供金融服务为目标，其核心是如何快速从大量数据中获取有价值信息。

申请号为CN201810162378.X的中国发明专利申请提出一种基于大数据的金融客户管理方法及系统，该管理方法的具体步骤如下：S1：数据采集；S2：将采集的金融数据导入一个分布式存储数据库中，并进行审核；S3：对存储的海量金融数据进行汇总、统计，并生成统计报表；S4：构建的模型算出金融市场各类风险敞口，并作出预测以及预警；S5：制定规避金融市场风险投资敞口的符合金融客户的管理方案。该发明通过采集到的金融数据以及金融机构存储的数据，为金融管理机构及时掌握金融市场动态、制定合适的金融管理方案以及完善金融市场管理体制提供信息化的处理方式，并利用大数据平台，为金融客户提供相关的实时数据支撑。

然而，如何从大数据中获取有价值的信息，尤其是从大量实时产生的支付事件中获取稳定的、具有广泛代表性的金融支付信息，仍然是一个亟待解决的问题。

发明内容

为解决上述技术问题，本发明提出海量金融支付数据的自动流程化处理技术，包括海量金融支付数据的自动流程化处理方法与用于自动化处理海量金融支付数据的数据处理系统。所述数据处理系统包括支付数据库、子矩阵块数据库、数据量化编码模块、向量相似度计算模块、矩阵稳定性分析模块以及数据获取模块；所述系统还包括用户画像构建模块，所述用户画像构建模块基于所述所述矩阵稳定性分析模块分析得出的稳定性量化矩阵包含的金融支付数据构建用户画像。所述方法包括获取数据、数据量化编码表示生成量化向量集、计算相似度以及判断稳定性等步骤。本发明的技术方案能够使得金融支付数据的小样本更具有分散代表性，使得大样本本身数据稳定，从而后续使用更有针对性。

本发明上述方法可以通过计算机程序指令自动化实现，因此，本发明还提出一种计算机可读存储介质，其上存储有计算机程序指令，通过处理器和存储器执行所述程序指令，用于实现海量金融支付数据的自动流程化处理方法。

具体来说，在本发明的第一个方面，提供一种海量金融支付数据的自动流程化处理方法，所述方法包括如下步骤：

S1：获取当前支付数据Di，所述当前支付数据Di是由用户基于支付事件产生的；

S2：获取当前支付数据Di的多个数据属性，将所述多个属性数据按照预设量化方法进行量化表示，得到当前支付数据Di的量化向量Div＝{di1,di2,…，din}；其中，n为支付数据的数据属性个数；

S3：获取支付数据库中当前已经保存的支付数据集D对应的量化向量集Dv；

S4：判断所述量化向量集Dv是否为空；

如果是，则将当前支付数据Di的量化向量Div保存至所述支付数据库中，返回步骤S1；

如果否，将当前支付数据Di的量化向量Div与所述量化向量集Dv中的每一个量化向量Dvk进行相似度计算；

S5：判断是否所有相似度计算的结果均为相似度低于第一预定阈值；

如果是，则将当前支付数据Di及其量化向量Div保存至所述量化向量集Dv中；

如果否，则将所述量化向量集Dv中与当前支付数据Di的量化向量Div的相似度最高的量化向量删除后，将当前支付数据Di及其量化向量Div保存至所述量化向量集Dv中；

其中，所述支付数据Di的多个数据属性包括：支付终端属性、支付方式属性、支付发起时间、支付方ID、收款方ID、收款响应时间、支付金额以及支付成功标记。

在所述步骤S5之后，所述方法还包括：

S6：获取所述支付数据库中当前已经保存的支付数据集D对应的量化向量集Dv的个数m；

如果m＝n，则判断所述m个量化向量集Dv组成的量化矩阵是否稳定；

如果是，则提取所述m个量化向量集Dv进入自动化流程处理过程；

如果否，则将所述m个量化向量集Dv组成的量化矩阵另存为子矩阵块保存至子矩阵块数据库中；

S7：从所述支付数据库中删除所述m个量化向量集Dv，返回步骤S1。

在第二个方面，本发明还提出用于自动化处理海量金融支付数据的数据处理系统，所述数据处理系统包括支付数据库、子矩阵块数据库、数据量化编码模块、向量相似度计算模块、矩阵稳定性分析模块以及数据获取模块，

所述数据获取模块用于获取所述海量金融支付数据，所述支付数据是由用户基于支付事件产生的多属性数据，所述多属性包括支付终端属性、支付方式属性、支付发起时间、支付方ID、收款方ID、收款响应时间、支付金额以及支付成功标记；

所述数据量化编码模块，用于对所述支付数据进行量化编码，获得所述支付数据的多属性量化向量值；

所述支付数据库用于保存所述支付数据的多属性量化向量值；

所述向量相似度计算模块，用于计算支付数据的多属性量化向量之间的相似度；

所述矩阵稳定性分析模块，用于分析支付数据的多属性量化向量组成的量化矩阵的稳定性；

所述子矩阵块数据库，用于保存当所述支付数据的多属性量化向量满足预定条件时生成的子矩阵块。

所述系统还包括用户画像构建模块，所述用户画像构建模块基于所述所述矩阵稳定性分析模块分析得出的稳定性量化矩阵包含的金融支付数据构建用户画像。

所述数据获取模块还包括安装于客户移动终端上的金融支付数据采集APP，所述数据获取模块通过所述金融支付数据采集APP获取不同客户的金融支付数据；

所述金融支付数据采集APP包括输入环境探测组件，所述输入环境探测组件用于在探测到客户登录所述移动终端后，采集操作所述移动终端的编辑参数。

基于所述用户画像，向所述移动终端上的金融支付数据采集APP发送页面调整消息；

当所述客户登录所述金融支付数据采集APP时，基于所述页面调整信息调整所述金融支付数据采集APP的页面显示模式。

不同于现有技术，本发明首先从海量支付大数据中自动化的筛选出有代表性的分散性金融数据样本，作为后续的小样本分析数据；然后，基于稳定性分析，得出剩余大量数据样本的稳定数据库，作为后续的大样本分析数据，进入自动化的画像生成过程。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种海量金融支付数据的自动流程化处理方法主要流程图

图2是图1所述方法的进一步优选实现方式流程示意图

图3是实现图1-图2所述方法的自动化处理海量金融支付数据的数据处理系统的结构图

图4是图1所述方法具体应用于移动终端的原理示意图

具体实施方式

下面，结合附图以及具体实施方式，对发明做出进一步的描述。

参见图1，是本发明一个实施例的一种海量金融支付数据的自动流程化处理方法主要流程图。

图1所述方法可以通过计算机存贮介质形式的计算机程序指令自动化实现，所述方法包括如下步骤：

S1：获取当前支付数据Di，所述当前支付数据Di是由用户基于支付事件产生的；

S2：获取当前支付数据Di的多个数据属性，将所述多个属性数据按照预设量化方法进行量化表示，得到当前支付数据Di的量化向量Div＝{di1,di2,…，din}；其中，n为支付数据的数据属性个数；

S3：获取支付数据库中当前已经保存的支付数据集D对应的量化向量集Dv；

S4：判断所述量化向量集Dv是否为空；

如果是，则将当前支付数据Di的量化向量Div保存至所述支付数据库中，返回步骤S1；

如果否，将当前支付数据Di的量化向量Div与所述量化向量集Dv中的每一个量化向量Dvk进行相似度计算；

S5：判断是否所有相似度计算的结果均为相似度低于第一预定阈值；

如果是，则将当前支付数据Di及其量化向量Div保存至所述量化向量集Dv中；

如果否，则将所述量化向量集Dv中与当前支付数据Di的量化向量Div的相似度最高的量化向量删除后，将当前支付数据Di及其量化向量Div保存至所述量化向量集Dv中；

其中，所述支付数据Di的多个数据属性包括：支付终端属性、支付方式属性、支付发起时间、支付方ID、收款方ID、收款响应时间、支付金额以及支付成功标记。

在图1中，所述支付终端属性还包括：支付终端的硬件环境参数、支付终端的软件环境参数以及支付方法操作所述支付终端的编辑参数；

所述编辑参数包括在所述支付发起时间与所述收款响应时间之间所述支付方在所述支付终端上的操作参数，所述操作参数包括后退、删除以及页面停顿操作。

在所属步骤S2中，将所述多个属性数据按照预设量化方法进行量化表示，得到当前支付数据Di的量化向量Div＝{di1,di2,…，din}，可以采用本领域多种常见的量化编码方法。

这是因为，基于支付事件直接得到的数据是不能被计算机理解的，必须经过编码处理。

根据数据属性的类型不同，可以采用各种不同的向量化表示方法，包括二值化编码方法、分值归一化方法、专家打分法以及量化法，本发明对此不作具体限制。

例如，将支付数据的其中一个属性支付发起时间向量化编码可以是：

支付发起时间[0:00-6:00]，表示为001；

支付发起时间[6:00-8:00]，表示为002；

……

诸如此类，可以建立不同支付数据的不同属性的量化向量值，从而获得所述当前支付数据Di的量化向量Div＝{di1,di2,…，din}。

在图1基础上，进一步参见图2。

图2中，在所述步骤S5之后，所述方法还包括：

S6：获取所述支付数据库中当前已经保存的支付数据集D对应的量化向量集Dv的个数m；

如果m＝n，则判断所述m个量化向量集Dv组成的量化矩阵是否稳定；

如果是，则提取所述m个量化向量集Dv进入自动化流程处理过程；

如果否，则将所述m个量化向量集Dv组成的量化矩阵另存为子矩阵块保存至子矩阵块数据库中；

S7：从所述支付数据库中删除所述m个量化向量集Dv，返回步骤S1。

其中，所述判断所述m个量化向量集Dv组成的量化矩阵是否稳定，具体包括：

判断所述m个量化向量集Dv组成的量化矩阵的所有特征根的绝对值是否小于预定阈值，如果是，则所述量化矩阵稳定。

所述自动化流程处理包括：

基于所述量化矩阵对应的支付数据，建立用户画像。

更为优选的，所述自动化流程处理包括：

判断所述子矩阵块数据库中是否存在4q个所述子矩阵块，其中q为大于1的正整数；

如果存在，则判断所述4q个所述子矩阵块组成的量化矩阵是否稳定；

如果是，则提取所述m个量化向量集Dv进入自动化流程处理过程。

根据上述实施例，图1所述的方法可以得到更具有广泛代表性和分散性的小样本数据，结合图2所述的方法，则可以得到海量数据样本下的稳定性数据块，从而用于后续处理，例如用于用户画像的建立。

客户画像是客户的标识，用来确定如何对待这些客户——他们接受什么价位，喜欢什么样的产品，需要付出多少努力可以留住或者赢得这些客户。比如说一个客户：男，31岁，已婚，收入1万以上，爱美食，团购达人，喜欢红酒配香烟。这样一串描述即为用户画像的典型案例。如果用一句话来描述，即：用户信息标签化。

客户画像的核心工作是为用户打标签，标签提供了一种便捷的方式，使得计算机能够程序化处理与人相关的信息，甚至通过算法、模型能够“理解”人。因此，基于客户画像的数据挖掘技术能更方便的让人理解并且易于计算机处理，从而大大提高挖掘结论的实用性。

客户画像是建立许多数据挖掘项目的基础，客户画像的字段确定了客户在数据中的表示，同时也决定了数据挖掘模型的有效性和信息量。对事务的定期汇总组成了客户画像指标体系的大部分字段。

在已有数据基础上，如何得到客户画像，在本领域也有已知的方法，本发明在此不再赘述，例如可参见：

硕士论文：赵飞鸿.基于金融类客户画像的二分K均值算法分析研究与应用[D].中国科学院大学(工程管理与信息技术学院),2016.

硕士论文：杨志春.用户画像和智能推送技术的研究与应用[D].重庆大学,2018.

图3-图4示出实现图1-2所述的方法的计算机数据处理系统。

参见图3，所述数据处理系统包括支付数据库、子矩阵块数据库、数据量化编码模块、向量相似度计算模块、矩阵稳定性分析模块以及数据获取模块，

所述数据获取模块用于获取所述海量金融支付数据，所述支付数据是由用户基于支付事件产生的多属性数据，所述多属性包括支付终端属性、支付方式属性、支付发起时间、支付方ID、收款方ID、收款响应时间、支付金额以及支付成功标记；

所述数据量化编码模块，用于对所述支付数据进行量化编码，获得所述支付数据的多属性量化向量值；

所述支付数据库用于保存所述支付数据的多属性量化向量值；

所述向量相似度计算模块，用于计算支付数据的多属性量化向量之间的相似度；

所述矩阵稳定性分析模块，用于分析支付数据的多属性量化向量组成的量化矩阵的稳定性；

所述子矩阵块数据库，用于保存当所述支付数据的多属性量化向量满足预定条件时生成的子矩阵块。

所述系统还包括用户画像构建模块，所述用户画像构建模块基于所述所述矩阵稳定性分析模块分析得出的稳定性量化矩阵包含的金融支付数据构建用户画像。

在图3基础上，参见图4。

所述数据获取模块还包括安装于客户移动终端上的金融支付数据采集APP，所述数据获取模块通过所述金融支付数据采集APP获取不同客户的金融支付数据；

所述金融支付数据采集APP包括输入环境探测组件，所述输入环境探测组件用于在探测到客户登录所述移动终端后，采集操作所述移动终端的编辑参数。

所述移动终端操作支付事件时，作为本发明所述的支付终端。所述支付终端属性还包括：支付终端的硬件环境参数、支付终端的软件环境参数以及支付方法操作所述支付终端的编辑参数；

所述编辑参数包括在所述支付发起时间与所述收款响应时间之间所述支付方在所述支付终端上的操作参数，所述操作参数包括后退、删除以及页面停顿操作。

基于所述用户画像，向所述移动终端上的金融支付数据采集APP发送页面调整消息；

当所述客户登录所述金融支付数据采集APP时，基于所述页面调整信息调整所述金融支付数据采集APP的页面显示模式。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种海量金融支付数据的自动流程化处理方法，其特征在于：

所述方法包括如下步骤：

S1：获取当前支付数据Di，所述当前支付数据Di是由用户基于支付事件产生的；

S2：获取当前支付数据Di的多个数据属性，将所述多个属性数据按照预设量化方法进行量化表示，得到当前支付数据Di的量化向量Div＝{di1,di2,…，din}；其中，n为支付数据的数据属性个数；

S3：获取支付数据库中当前已经保存的支付数据集D对应的量化向量集Dv；

S4：判断所述量化向量集Dv是否为空；

如果是，则将当前支付数据Di的量化向量Div保存至所述支付数据库中，返回步骤S1；

如果否，将当前支付数据Di的量化向量Div与所述量化向量集Dv中的每一个量化向量Dvk进行相似度计算；

S5：判断是否所有相似度计算的结果均为相似度低于第一预定阈值；

如果是，则将当前支付数据Di及其量化向量Div保存至所述量化向量集Dv中；

如果否，则将所述量化向量集Dv中与当前支付数据Di的量化向量Div的相似度最高的量化向量删除后，将当前支付数据Di及其量化向量Div保存至所述量化向量集Dv中；

其中，所述支付数据Di的多个数据属性包括：支付终端属性、支付方式属性、支付发起时间、支付方ID、收款方ID、收款响应时间、支付金额以及支付成功标记。

2.如权利要求1所述的一种海量金融支付数据的自动流程化处理方法，其特征在于，

所述支付终端属性还包括：支付终端的硬件环境参数、支付终端的软件环境参数以及支付方法操作所述支付终端的编辑参数；

所述编辑参数包括在所述支付发起时间与所述收款响应时间之间所述支付方在所述支付终端上的操作参数，所述操作参数包括后退、删除以及页面停顿操作。

3.如权利要求1所述的一种海量金融支付数据的自动流程化处理方法，其特征在于：

在所述步骤S5之后，所述方法还包括：

S6：获取所述支付数据库中当前已经保存的支付数据集D对应的量化向量集Dv的个数m；

如果m＝n，则判断所述m个量化向量集Dv组成的量化矩阵是否稳定；

如果是，则提取所述m个量化向量集Dv进入自动化流程处理过程；

如果否，则将所述m个量化向量集Dv组成的量化矩阵另存为子矩阵块保存至子矩阵块数据库中；

S7：从所述支付数据库中删除所述m个量化向量集Dv，返回步骤S1。

4.如权利要求3所述的一种海量金融支付数据的自动流程化处理方法，其特征在于：

所述判断所述m个量化向量集Dv组成的量化矩阵是否稳定，具体包括：判断所述m个量化向量集Dv组成的量化矩阵的所有特征根的绝对值是否小于预定阈值，如果是，则所述量化矩阵稳定。

5.如权利要求3所述的一种海量金融支付数据的自动流程化处理方法，其特征在于：

所述自动化流程处理包括：

基于所述量化矩阵对应的支付数据，建立用户画像。

6.如权利要求3所述的一种海量金融支付数据的自动流程化处理方法，其特征在于：

所述自动化流程处理包括：

判断所述子矩阵块数据库中是否存在4q个所述子矩阵块，其中q为大于1的正整数；

如果存在，则判断所述4q个所述子矩阵块组成的量化矩阵是否稳定；如果是，则提取所述m个量化向量集Dv进入自动化流程处理过程。

7.一种用于自动化处理海量金融支付数据的数据处理系统，所述数据处理系统包括支付数据库、子矩阵块数据库、数据量化编码模块、向量相似度计算模块、矩阵稳定性分析模块以及数据获取模块，

其特征在于：

所述数据获取模块用于获取所述海量金融支付数据，所述支付数据是由用户基于支付事件产生的多属性数据，所述多属性包括支付终端属性、支付方式属性、支付发起时间、支付方ID、收款方ID、收款响应时间、支付金额以及支付成功标记；

所述数据量化编码模块，用于对所述支付数据进行量化编码，获得所述支付数据的多属性量化向量值；

所述支付数据库用于保存所述支付数据的多属性量化向量值；

所述向量相似度计算模块，用于计算支付数据的多属性量化向量之间的相似度；

所述矩阵稳定性分析模块，用于分析支付数据的多属性量化向量组成的量化矩阵的稳定性；

所述子矩阵块数据库，用于保存当所述支付数据的多属性量化向量满足预定条件时生成的子矩阵块。

8.如权利要求7所述的一种用于自动化处理海量金融支付数据的数据处理系统，其特征在于：

所述系统还包括用户画像构建模块，所述用户画像构建模块基于所述所述矩阵稳定性分析模块分析得出的稳定性量化矩阵包含的金融支付数据构建用户画像。

9.如权利要求8所述的一种用于自动化处理海量金融支付数据的数据处理系统，其特征在于：

所述数据获取模块还包括安装于客户移动终端上的金融支付数据采集APP，所述数据获取模块通过所述金融支付数据采集APP获取不同客户的金融支付数据；

所述金融支付数据采集APP包括输入环境探测组件，所述输入环境探测组件用于在探测到客户登录所述移动终端后，采集操作所述移动终端的编辑参数。

10.如权利要求9所述的一种用于自动化处理海量金融支付数据的数据处理系统，其特征在于：

基于所述用户画像，向所述移动终端上的金融支付数据采集APP发送页面调整消息；

当所述客户登录所述金融支付数据采集APP时，基于所述页面调整信息调整所述金融支付数据采集APP的页面显示模式。

Images