CN113536395B - 一种银行可信数据校验方法 - Google Patents

Abstract

本发明公开了一种银行可信数据校验方法，所述银行可信数据校验方法包括对接收的待处理数据进行跨时间一致性、统计一致性和内在一致性分析，实现对数据可信度的评估校验。过本发明的可信数据校验方法，实现了一套标准化的对数据可信度评估流程，能够让企业有效的评估第三方海量数据的被篡改风险。同时，本发明方法评估通过的第三方数据，能有效降低数据被篡改风险；因为该方法体系使得单点或小范围修改数据是无法通过评估，而需要把有关联性的数据全量修改，且要符合关联性的特点，才能通过。这样能极大的提升要数据篡改的成本，使得评估有效的同时，还能有效抑制数据篡改者的执行意图。

Description

一种银行可信数据校验方法

技术领域

本发明属于数据校验领域，尤其涉及一种银行可信数据校验方法。

背景技术

大数据是数字时代的新型战略资源，亦是服务创新、驱动发展的重要抓手。随着互联网及金融科技公司崛起、信息壁垒被打破，大数据和信息科技正逐步颠覆银行过往的业务模式。传统银行在产品更新迭代、客户体验优化等方面变得落伍了。

银行数字化转型的必要性逐渐显露。体现在三个方面：1.数据源不再只有行内数据，第三方数据价值贡献明显提升。2.数据处理能力(处理数据量与时效性)、整合能力重要性日益明显。3.数据决策场景愈加广泛，对数据质量要求越来越高。

银行数字化转型的本质，就是要挖掘大数据价值，实现数据价值变现，服务于业务，随着数字化转型持续发展，技术能力不断完善，数据价值变现逐渐进入深水区，如何评估量化数据资产价值成为首要解决问题。目前数据资产价值量化其中首要，也是最主要的一环即数据可信度评估，如果数据不可信或被篡改，那即使数据质量与价值在高也没有任何意义。

现有技术方案主要通过5个维度，对数据可信进行保证：

维度1可信的数据源，原则：机器不会说谎。

数据可信的基础，是数据获取的数据源的来源，是真实的机器数据。可信执行环境(TEE,Trusted Execution Environment)在数据源的信任方案，是基于Intel芯片的SGX以及基于ARM开源框架的TrustZone是可信执行环境中最被广泛认知且应用的。

维度2可信的数据传输环境，原则：数据源头开始非对称加密。

当前中心化的互联网结构，因为数据一旦在公网上传输，就有可能被盗取赋值。非对称加密，可以保证去中心化环境下数据传输环节的可信。通用解决技术方案：在智能设备上实现非对称加密方案RSA加密方案。

维度3可信的数据云计算和校验，原则：多方计算，少数服从多数。

在数据分布式处理过程中，可能产生错误，影响数据可信性。解决方案是“安全多方计算”(Multi Party Computation)，是图灵奖得主姚期智院士提出，其提出场景为百万富翁问题，就是“在没有可信第三方的前提下，两个百万富翁如何在不泄漏自己真实财产的状态下比较谁更有钱”。及多个持有私有数据的参与方，共同执行一个计算逻辑并获得计算结果。但在过程中，参与的每一方均不泄漏各自数据的计算。

维度4可信的智能合约框架，原则：安全域+可信基。

首先，利用TEE技术将合约引擎和必要的交易处理以及密码学运算单元集成封装在“安全域”(Safety Margin)。在区块链的TEE合约链中，合约分为隐私合约和明文合约。隐私合约的代码和相应的数据加密存储，仅在TEE内部解密执行，相应的回执和状态均加密存储于外部数据库。

联盟链服务器端硬件架构采用INTEL SGX，形成可信基(Trusted computingbase,TCB)。TCB是非常重要的，一旦可信基的某个构件出现程序错误或者安全隐患，就对整个系统的安全造成危害。与之相反，如果除TCB之外的系统的其他部分出现问题，也只是泄漏了系统安全策略赋予它们的相关权限而已，这些权限一般都是比较低的。

这二者将构建一个可信区块链环境，支持明文合约及隐私合约。

维度5可信时间戳，原则：不可篡改的记录事件产生的精确时间。

现有技术的视角，主要是围绕数据的生成、传输、扭转的整个过程，并通过技术手段去保证在该过程中数据不被篡改。是站在宏观层面或者行业标准层面去思考如何保证数据的可信。

而作为依赖大数据用户，无法要求数据源可信、也无法要求数据传输的标准化。基于这种微观层面，如何检验数据可信度是本发明要解决的核心问题。它是一种基于数据本身的自检方案，是对以往数据可信度评估体系的补充。

发明内容

本发明的目的在于，为克服现有技术缺陷，提供了一种银行可信数据校验方法，从跨时间一致性、统计一致性、内在一致性三个维度，结合周期性分析、关联分析、因子分析以及时序预测等数据挖掘手段，实现对海量数据可信度的有效评估。

本发明目的通过下述技术方案来实现：

一种银行可信数据校验方法，所述银行可信数据校验方法包括对接收的待处理数据进行跨时间一致性、统计一致性和内在一致性分析，实现对数据可信度的评估校验。

根据一个优选的实施方式，跨时间一致性分析中，通过周期性分析和时序预测完成数据可信度评估。

根据一个优选的实施方式，所述周期性分析为对待处理数据进行周期性规律获取，并基于获取的周期性规律在时间维度上检测待处理数据的周期性变化情况；在时间维度上，当待处理的数据的周期性出现变化，则待处理数据的可信度下降。

根据一个优选的实施方式，所述时序预测为通过时序模型，以类似滑动窗口的模式，不断用历史数据预测后续的趋势并与实际后续数据做比较，形成可信评估。

根据一个优选的实施方式，统计一致性分析基于正态校验与趋势校验完成。

根据一个优选的实施方式，所述正态校验包括通过正态检验评估待处理数据的各个维度属性，并基于待处理数据的各个维度是否复合正态分布的情况完成待处理数据的可信度评估。

根据一个优选的实施方式，所述趋势校验包括集中趋势分析和离中趋势分析，通过待处理数据的平均数、中数、众数或全距、四分差、平均差、方差进行数据可信度评估。

根据一个优选的实施方式，所述内在一致性分析基于关联分析、回归分析和因子分析完成；其中，所述关联分析包括基于待处理数据的各个维度之间的正相关特性、负相关特性和不相关特性完成数据可信度评估。

根据一个优选的实施方式，所述回归分析为通过将待处理数据的重要指标与其相关的指标进行回归分析，得出其关联性，作为后续待处理数据的校验规则。

根据一个优选的实施方式，所述因子分析为将待处理数据中的重要指标的影响因素提取出来，并基于影响权重发生变化情况或者影响因素迁移情况完成待处理数据的可信度评估。

前述本发明主方案及其各进一步选择方案可以自由组合以形成多个方案，均为本发明可采用并要求保护的方案；且本发明，(各非冲突选择)选择之间以及和其他选择之间也可以自由组合。本领域技术人员在了解本发明方案后根据现有技术和公知常识可明了有多种组合，均为本发明所要保护的技术方案，在此不做穷举。

本发明的有益效果：通过本发明的可信数据校验方法，实现了一套标准化的对数据可信度评估流程，能够让企业有效的评估第三方海量数据的被篡改风险。同时，本发明方法评估通过的第三方数据，能有效降低数据被篡改风险；因为该方法体系使得单点或小范围修改数据是无法通过评估，而需要把有关联性的数据全量修改，且要符合关联性的特点，才能通过。这样能极大的提升要数据篡改的成本，使得评估有效的同时，还能有效抑制数据篡改者的执行意图。

附图说明

图1是本发明银行可信数据校验方法的原理结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

因此，以下对本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，本发明要指出的是，本发明中，如未特别写出具体涉及的结构、连接关系、位置关系、动力来源关系等，则本发明涉及的结构、连接关系、位置关系、动力来源关系等均为本领域技术人员在现有技术的基础上，可以不经过创造性劳动可以得知的。

参考图1所示，本发明公开了一种银行可信数据校验方法，所述银行可信数据校验方法包括对接收的待处理数据进行跨时间一致性、统计一致性和内在一致性分析，实现对数据可信度的评估校验。

本发明方法为一套技术体系，通过一系列统计分析技术的组合，实现对数据可信度的全面性评估。

优选地，跨时间一致性中，通过周期性分析和时序预测实现。具体描述如下：

周期性分析：数据往往存在周期性规律。例如周末业务会上涨等。如果时间前后，周期性有变化，数据可信度下降。

时序预测：通过时序模型，以类似滑动窗口的模式，不断用历史数据预测后续的趋势并与实际后续数据做比较，形成可信评估。

优选地，统计一致性评估基于正态校验与趋势校验完成。描述如下：

正态校验：大部分数据，数值上都服从或近似服从正态分布，通过正态校验评估数据的各个维度属性，如果大部分维度不符合正太分别，存在可疑。

正态分布：正态分布(英语：normal distribution)又名高斯分布(英语：Gaussiandistribution)，是一个非常常见的连续概率分布。正态分布在统计学上十分重要，经常用在自然和社会科学来代表一个不明的随机变量。正态分布的数学期望值或期望值等于位置参数，决定了分布的位置；其方差的开平方或标准差等于尺度参数，决定了分布的幅度。正态分布的概率密度函数曲线呈钟形，因此人们又经常称之为钟形曲线(类似于寺庙里的大钟，因此得名)。通常所说的标准正态分布是位置参数，尺度参数的正态分布。

趋势校验主要包括：集中趋势分析、离中趋势分析。通过平均数、中数、众数或全距、四分差、平均差、方差进行评估。趋势表明数据的自身特点，如果该趋势发生变化，那么可信度有问题。

优选地，在内在一致性中，基于关联分析，回归分析、因子分析等方式完成。实现如下：

关联分析：数据的各个维度之间，存在关联性。主要三种：正相关(同增同减)、负相关(你增我减)，以及不相关。

可以通过相似性进行刻画。例如：在贷余额与提款笔数正相关，与还款笔数负相关。同时结合大数据及挖掘技术，实现各维度相似性挖掘，发现更多相关性。最后相似性发生迁移或变化，可以认为数据可信度低。

相关分析是指对两个或多个具备相关性的变量元素进行分析，从而衡量两个因素的的相关密切程度，相关性的元素之间需要存在一定的联系或者概率才可以进行相关性分析。

回归分析：相关性刻画的各维度间的简单关系、复杂关系需要用到回归分析。例如(A＝Y-B*X)，通过将重要指标与其相关的指标进行回归分析，得出复杂关系，可以作为以后校验规则。

回归分析法指利用数据统计原理，对大量统计数据进行数学处理，并确定因变量与某些自变量的相关关系，建立一个相关性较好的回归方程(函数表达式)，并加以外推，用于预测今后的因变量的变化的分析方法。根据因变量和自变量的个数分为：一元回归分析和多元回归分析；根据因变量和自变量的函数表达式分为：线性回归分析和非线性回归分析。

因子分析：因子分析是源于建模特征工程的一种方法，它能够将影响识别结果的重要因素给抽取出来。因此通过因子分析可以将重要指标的影响因素给提取出来，如果影响权重发生变化或者影响因素迁移，都会降低可信度得分。

因子分析是一种数据简化的技术。它通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个假想变量来表示其基本的数据结构。这几个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子。即一种用来在众多变量中辨别、分析和归结出变量间的相互关系并用简单的变量(因子)来描述这种关系的数据分析方法。

由于数据可信度评估，本质上是要从数据本身规律中发现数据被篡改或传输过程中产生的误差，所以技术方案的构建可以理解为一个博弈过程，违规人员会通过哪些手段篡改数据，技术方案中通过哪些手段检测到。

完整技术方案会模拟多个场景，描述每个场景用户篡改数据的方式，如何被检测一级这些检测技术手段被组合起来所产生的价值。

实施例

首先，做一个全局的假设场景，假设在一家小微企业需要融资，正在银行进行授信，银行要求小微企业提供一份最近一年的交易流水，以评估小微企业的经营情况。交易流水数据中包含每个客户的“客户手机号、交易时间、交易金额”。同时银行有该小微企业上一年的交易流水，内容相同，可以作为已有历史数据进行对比。同时假设小微企业主为了在银行授信中获得更高的额度，有意篡改了数据以使得总交易量上涨20％。

篡改场景1：小微企业主通过修改一小部分客户的交易额度，使得总交易额度上涨。

由于评估技术体系中，只有一部分方法能监测到篡改异常，所以对应篡改场景只描述监测有效的方法流程。篡改场景1中的数据异常会在跨周期一致性上判断异常感知明显。

具体地，监测方法如下：1.首先将交易流水数据按时间端进行分桶，桶内数据进行交易量累加，分桶的时间段可以是一天、一小时、一周等；分桶时间段选择视数据稀疏程度与总量而定，尽量保证分桶内的平均数据量不会太少。2.分桶后累计每个桶内的交易笔数与交易金额，并按照分桶时间进行排序形成对应时序图。3.对步骤2所生成的时序图进行周期性分析，该步骤的分析基于肉眼观察数据，先观察数据是否存在明显周期性规律，例如一个周期内，数据的波动幅度与频率是相似，如果存在在观察有没有哪些单个周期打破了该规律。同时评估数据是否存在明显的抖动、断崖是上升或下降的情况。如果上述情况存在，则判定存在跨周期性不一致。

4.步骤3中的分析判定，基于肉眼观察数据，优势是效率高，缺点是不一致情况明显时才能被发现，当不一致情况比较模糊时，需要借助量化工具比如时序预测。

该步骤通过时序预测的方式量化判断时序数据是否打破周期规律。同理还是基于步骤2得到的数据，首先，设置一个时间窗口，该窗口内是一个完整是的时间周期(如一个月或一周)；将这个窗口中的数据按照7:1的比例分为两份，占比7/8的那份作为训练数据传输给时序预测模型，模型会预测出1/8那部分数据的数据预测值以及上下限。然后，通过对比实际值与预测值、上下限的关系，以此量化的判断是否打破周期规律(比如实际值在预测的上下限之间或者附件在符合规律，如果实际值超出上下限较多的不符合周期规律)。

篡改场景2：小微企业发现主通过修改某几个客户的交易额度来提升总交易额会被怀疑篡改数据。于是小微企业主将要提升的交易总额平摊到超过半数的客户中，这样跨周期一致性就较难发现异常。但小微企业主的篡改数据成本已经明显增加。

这时需要通过统计一致性来分析发现数据篡改的线索。

其中正态分布校验与趋势分布校验具体方法如下：1.首先找到小微企业以前提交的历史交易流水数据，与当前提交的数据，分别作为对照组与测试组；2.同理还是基于场景1中前两个步骤的方式生成交易金额的时序数据。3.将对照组与测试组中同一周期内的数据进行分片，例如一天为一个周期，那么分片可以为(上午、下午、晚上、夜间)。4.对不同周期内的同一个分片内的数据进行抽取与分组，例如同样以天为周期，将每一天的上午的分片的数据抽取出来分到一个组里，对照组与测试组都按此方式抽取与分组。5.对照组与测试组同时计算数据的正态分布图，然后对比正态分布图的波峰有没有偏移或起伏，如果存在则说明当前提交数据有篡改嫌疑，可信度降低。6.同理趋势校验，前四个步骤方法一样，后面一步将正态分布图计算换成平均数、中数、众数或全距、四分差、平均差、方差等对比指标，并比较这些指标是否存在差异，以评估当前提交数据有篡改嫌疑。7.同样计算其他分片对应组的对照组与测试组数据，进行相关统计的值对比。

篡改场景3：假设小微企业主发现验证方的验证方法，知道上调客户交易额，始终会被发现，于是转变思路新增虚假客户以及交易额，来实现总交易额的上涨；由于小微企业主在数据篡改上下功夫，伪造的客户与交易同真实的数据类似，所以篡改后的数据在统计一致性上已经真伪难辨。于是考虑用第三种方式，基于内在一致性进行评估识别。

内在一致性评估的具体方法包括相关性分析、回归分析与因子分析；相关性分析与回归分析流程类似先一起描述，而因子分析涉及更多数据维度与更复杂流程，后面单独将介绍。相关性分析与回归分析详细流程如下：1.首先找到小微企业以前提交的历史交易流水数据与当前提交的数据，分别作为对照组与测试组；2.还是基于场景1中前两个步骤的方式，分别在对照组与测试组中生成多种时序数据，比如用户增量时序图、交易量时序图、交易金额时序图。3.分别针对两个组中用户增量、交易量、交易金额三个时序数据两两计算“线性相关系数计算”，计算公式如下：

4.计算完成后，进行对照组与测试组之间对应的相关性系数比较，如对照组中用户增量与交易量时序数据间的线性相关系数，与测试组中相同的线性相关系数进行对比，如果发现系数有明显变化，则数据可信度降低，怀疑被篡改。举例说明：在历史数据中，一个用户平均会带来2-3个交易，如果插入的虚假用户与交易数都是一对一的，那这个相关系数就会下降，从而本发明监测到；5.步骤4为关联性分析，而回归分析类似，它是通过回归的方式找出各个时序数据间的函数关系(即量化关系)。所以首先将用户增量、交易增量、交易金额分别作为因变量与自变量，同样进行两两配对，并求解因变量与自变量线性关系；然后从对照组与测试组中抽取相同的线性关系进行对比，线性关系中权重变化比例较大，则说明数据存在篡改嫌疑。同样举例用户增量与交易量的关系，在对照组中得出交易量＝2.4*用户增量，而测试组中交易量＝1.8*用户增量，那么可以判断数据有被篡改嫌疑。

由于为使得场景与处理流程的描述简单明了，便于理解，本实施例中举例的数据相对简单，维度很少；而实际企业中，数据维度十分丰富，可以计算更多的维度对之间的相关性与线下关系；从而进一步提升数据信度评估的可靠性。而当维度数量增大时计算量也会呈几何倍数上涨，评估时间成本变得不可控，这时就会考虑用因子分析的方式进行评估。

因子分析本质上会启到降维的效果，具体流程如下：1.首先找到小微企业以前提交的历史交易流水数据与当前提交的数据，分别作为对照组与测试组；2.还是基于场景1中前两个步骤的方式，分别在对照组与测试组中生成N种时序数据，这里N>100。3.然后在这N个维度中选择一个为目标维度，然后基于因子分析计算，得到M个维度的代表因子与原始N个维度组成的矩阵(M是因子分析计算过程中的一个参数，可以人为设置，一般设置为3-10之间)，代表因子就是对N个维度的降维，该矩阵是原始维度N在代表因子维度上的权重映射。4.对照组与测试组，都会计算出这个权重矩阵，从对照组中依次选定一列代表因子，筛选出其中原始维度(N1、N2、N3……N100)中权重较高的维度，然后对应到测试组的矩阵中，比较这些对应权重是否变化较大，如果变化较大则表明数据有被篡改风险。

通过本发明的可信数据校验方法，实现了一套标准化的对数据可信度评估流程，能够让企业有效的评估第三方海量数据的被篡改风险。同时，本发明方法评估通过的第三方数据，能有效降低数据被篡改风险；因为该方法体系使得单点或小范围修改数据是无法通过评估，而需要把有关联性的数据全量修改，且要符合关联性的特点，才能通过。这样能极大的提升要数据篡改的成本，使得评估有效的同时，还能有效抑制数据篡改者的执行意图。

前述本发明基本例及其各进一步选择例可以自由组合以形成多个实施例，均为本发明可采用并要求保护的实施例。本发明方案中，各选择例，与其他任何基本例和选择例都可以进行任意组合。本领域技术人员可知有众多组合。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种银行可信数据校验方法，其特征在于，所述银行可信数据校验方法包括对接收的待处理数据进行跨时间一致性、统计一致性和内在一致性分析，实现对数据可信度的评估校验；

跨时间一致性分析中，通过周期性分析和时序预测完成数据可信度评估；

所述周期性分析为对待处理数据进行周期性规律获取，并基于获取的周期性规律在时间维度上检测待处理数据的周期性变化情况；

在时间维度上，当待处理的数据的周期性出现变化，则待处理数据的可信度下降；

所述时序预测为通过时序模型，以类似滑动窗口的模式，不断用历史数据预测后续的趋势并与实际后续数据做比较，形成可信评估；

统计一致性分析基于正态校验与趋势校验完成；

所述正态校验包括通过正态检验评估待处理数据的各个维度属性，并基于待处理数据的各个维度是否复合正态分布的情况完成待处理数据的可信度评估；

所述趋势校验包括集中趋势分析和离中趋势分析，通过待处理数据的平均数、中数、众数或全距、四分差、平均差、方差进行数据可信度评估；

所述内在一致性分析基于关联分析、回归分析和因子分析完成；

其中，所述关联分析包括基于待处理数据的各个维度之间的正相关特性、负相关特性和不相关特性完成数据可信度评估；

所述回归分析为通过将待处理数据的重要指标与其相关的指标进行回归分析，得出其关联性，作为后续待处理数据的校验规则；

所述因子分析为将待处理数据中的重要指标的影响因素提取出来，并基于影响权重发生变化情况或者影响因素迁移情况完成待处理数据的可信度评估。