一种基于区块链的金融大数据管理系统
技术领域
本发明涉及及金融大数据技术领域,特别是涉及一种基于区块链的金融大数据管理系统。
背景技术
随着互联网时代的发展,大数据在各个领域都得到了广泛的应用,金融大数据是运用在金融领域的大数据技术,相较于传统金融的数据分析,金融大数据分析是建立在云计算的基础之上的;在金融行业中,信用风险是面临的最大的风险,即使监管流程再完善,也不能做到对风险进行完全有效的管理,信用风险预测需要的基础是用户的全方位数据,利用风险评估模型对全面的、准确的、及时的用户数据进行信用风险的预估和分析,在现有技术中,可以利用分布式计算做出风险评估模型、系统仿真方法、计划评审技术、主观概率法、效用理论、灰色系统理论等对全方位数据进行综合分析评价,但是在数据分析过程中算法的选择和复杂程度以及算法的计算误差都会影响风险分析的结果,例如,蒙塔卡罗方法根据数据进行风险分析时,将确定性的问题转化为了随机性问题,实际处理的数据不同,所以会导致数据处理的过程中的误差增大,而模糊风险综合评价在数据分析时却可以将所有的因素做出一个综合性评价,但是当数据边界不明显时,很容易漏掉一些因素,为了利用提高风险分析的准确性,降低数据分析模型带来的误差的影响,使得根据风险分析采取更有效的管理措施,为此,我们根据大数据分析中风险评估、欺诈风险管理、风险分析的特点提出了一种基于区块链的金融大数据管理系统。
发明内容
针对上述情况,为克服现有技术之缺陷,本发明之目的在于提供一种基于区块链的金融大数据管理系统,通过系统分析模块利用人工神经网络的方法对风险预测数据进行分类处理得到确定性数据和边缘数据,在通过利用模糊数学分析模型和蒙塔卡罗分析法分别对确定性数据和边缘数据进行分析,利用不同的风险分析模型对不同类型的数据进行分析预测,系统分析模块再利用系统定理学模型和分析结果做出整体的风险预测,提高了风险预测的准确性,加强了金融大数据的管理程度。
其解决的技术方案是,一种基于区块链的金融大数据管理系统,包括数据采集模块、云存储模块、云计算模块、第一分析模块、第二分析模块、第三分析模块、系统分析模块,云计算模块将分析得到的风险预测数据发送至系统分析模块,系统分析模块对风险预测数据进行分析处理得到预处理数据和待处理数据,并根据第一分析模块、第二分析模块和第三分析模块的分析结果和预处理数据进行风险分析,此系统管理过程具体如下:
(1)数据采集模块对用户的所有的非交易数据和交易数据进行采集,并将采集的非交易数据和交易数据发送至云存储模块,云计算模块可以根据系统分析模块发出的风险预测的请求提取云存储模块中的存储数据,并对提取的存储数据利用分布式计算方法进行分析得到风险预测数据,云计算模块将风险预测数据发送至系统分析模块;
(2)系统分析模块对接收到的风险预测数据进行预处理和分类得到预处理数据和待处理数据,并将待处理数据发送分别发送至第一分析模块、第二分析模块、第三分析模块进行分析得到分析结果,系统分析模块根据分析结果和预处理数据建立系统动力学模型进行风险分析,具体分析过程如下:
步骤1、系统分析模块对风险预测数据进行分析,首先对风险预测数据进行数据预处理得到预处理数据,并提取预处理数据中具有非相关关系的数据集,根据人工神经网络分类算法对数据集训练得到的评估模型进行分类得到分类数据,具体分类方程如下:
Y=f(N),
其中,N为神经网络中的一个神经元的输入值,xi一个数据集中的数据项,wi为权值,Y为非线性输出函数,θ为分类误差,根据Y和数据集得到训练的最佳匹配值,根据最佳匹配值得到自适应权重作用于输入值,根据人工神经网络分类算法对预处理数据进行处理得到分类数据;
步骤2、系统分析模块提取分类数据中的确定性数据和边缘数据得到待处理数据,将待处理数据发送至第一分析模块、第二分析模块、第三分析模块进行分析处理得到包含误差分析结果、确定性分析结果和边缘分析结果的分析结果并发送至系统分析模块;
步骤3、系统分析模块根据分析结果和预处理数据建立系统动力学模型,利用分析结果建立状态函数方程式,再利用系统动力学模型进行最终的风险预测分析,具体方程如下:
其中,L0为初始状态量,L(t)为状态函数,建立预处理数据中的信息链,以Ri(t)边缘分析结果中的边缘分析值,Ro(t)确定性分析结果的确定分析值,∈为状态误差,根据状态函数建立状态空间表达式:
再建立系统动力学方程得到一阶微分方程,利用分离变量法对一阶微分方程进行求解得到y,再对求得的解进行分析归纳,一阶微分方程如下:
其中,y为决策变量,x表示进行预测的预处理数据的实际值,C(x)为数据之间的关系函数,P(x)为数据之间的扰动函数,通过求解的y来分析系统的动态趋势,具体的y的求解公式如下:
y=e∫P(x)dx∫Q(x)e-∫P(x)dx,
(3)利用分析得到的y进行分析归纳得到风险分析预测值。
所述系统分析模块将预处理数据中确定性数据发送至第一分析模块,第一数据分析模块利用模糊数学分析模型对确定性数据进行分析得到确定性分析结果,将边缘数据发送至第二分析模块,第二分析模块利用蒙塔卡罗分析法对边缘数据进行分析得到边缘分析结果,第一分析模块和第二分析模块将确定性分析结果和边缘分析结果发送给至第三分析模块,第三分析模块根据确定性分析结果和边缘分析结果进行误差分析,并将包含误差分析结果、确定性分析结果和边缘分析结果的分析结果发送至系统分析模块,具体过程如下:
步骤1、第一分析模块根据确定性数据建立模糊数学分析模型,利用模糊数学分析模型对确定性数据进行风险预测,并利用矩阵分析得到分析预测的误差,利用模糊数学分析模型中样本的矩的值来估计总体的值,再对总体矩表示成的参数方程结合确定性数据进行分析得到确定性分析结果;
步骤2、第二分析模块利用蒙塔卡罗分析法对边缘数据进行分析,选取边缘数据中净现值的敏感变量,再确定敏感变量的概率分布,通过抽取的敏感变量转化为输入变量的抽样值,再将抽样值组成一组项目评价基础数据,第二分析模块通过对项目评价基础数据的评价分析来预测边缘数据得到边缘分析结果;
步骤3、第一分析模块将分析得到的确定性分析结果发送至第三分析模块,第二分析模块将分析得到的边缘分析结果发送至第三分析模块,第三分析模块对接收到的确定性分析结果、边缘分析结果和预处理数据进行误差分析。
所述第三分析模块利用第一分析模块分析的确定性分析结果与第二分析模块分析得到的边缘分析结果进行综合分析,并将分析结果发送至系统分析模块进行总体分析,具体分析过程如下:
步骤一、第三分析模块利用泊松分布对预处理数据估测损失次数,利用损失次数来估算预处理数据的误差,设每次预测分析中的λ个相关关系数据反映发生错误的概率相等,则预处理数据的误差数X为服从参数λ的泊松分布,其规律如下:
泊松分布的期望值为E(X)=λ,方差为Var(X)=λ,利用期望值与方差来确定预处理数据的泊松误差;
步骤二、第三分析模块对模糊数学分析模型中的误差、蒙塔卡罗分析模型算法中的误差和泊松误差进行综合分析得到综合误差∈,并将综合误差发送至系统分析模块进行整体的动力学系统中误差的影响进行分析。
所述数据采集模块所采集的是用户的所有数据,交易数据是交易过程中的数据信息进行采集,非交易数据是用户在非交易过程中产生的数据,所述数据采集模块将采集到的交易数据和非交易数据发送至云存储模块中进行云存储,云计算模块利用分布式计算的方法对云存储中的数据进行分析计算,并根据系统分析模块对云存储模块中的存储数据进行提取。
由于以上技术方案的采用,本发明与现有技术相比具有如下优点;
1.系统的系统分析模块利用人工神经网络的方法对风险预测数据进行分类处理得到确定性数据和边缘数据,通过对数据的分类使得数的分析更加细化,系统分析模块根据分类数据得到确定性数据和边缘数据,通过第一分析模块、第二分析模块和第三分析模块对确定性数据和边缘数据的分析得到分析结果,系统分析模块再利用系统动力学模型对分类结果和预处理数据进行整体的风险预测分析,通过系统动力学分析模型对风险预测数据的整体分析提高了金融大数据中风险预测分析的准确性,减小了预测分析的误差。
2.系统的第一分析模块通过利用模糊数学分析模型对确定性数据进行分析得到确定性分析结果,系统的第二分析模块利用蒙塔卡罗分析法分别对边缘数据进行分析得到边缘分析结果,利用不同的分析模型对不同类型的数据进行分析预测,第一分析模块和第二分析模块共同克服了模糊数学分析模型分析数据时会考虑不全所有的因素和蒙塔卡罗分析法将确定性问题变为随机性问题的缺点,第三分析模块利用泊松分布估算得到泊松误差,再将综合误差发送至系统分析模块,使得在系统动力学模型风险预测过程中充分考虑到所有的误差,从而提高了风险预测的准确性,加强了金融大数据的风险管理程度。
附图说明
图1为本系统的整体模块图;
图2为本系统的整体计算流程图。
具体实施方式
有关本发明的前述及其他技术内容、特点与功效,在以下配合参考附图1至图2对实施例的详细说明中,将可清楚的呈现。以下实施例中所提到的结构内容,均是以说明书附图为参考。
大量的数据支持和数据处理能力是金融大数据发展的关键因素,大数据挖掘克服了传统的金融行业中的弊端,通过对大数据的处理可以降低金融行业的影响,数据分析可以利用金融数据进行风险控制、服务创新、精准营销、产品创新,金融数据包括交易信息、行为数据、客户数据,一种基于区块链的金融大数据管理系统,包括数据采集模块、云存储模块、云计算模块、第一分析模块、第二分析模块、第三分析模块、系统分析模块,区块链是一种去中心化的存储技术,在区块链技术中不存在中心,区块链的每一个节点都是平等的,所有的结点通过加密协议方共同维护公共数据库,区块链所存储的数据具有不可篡改、可溯源的特性,是一种非常有效的解决去中心网络信任问题的方案,而云计算模块采用的主要的技术是利用分布式计算来进行分析,区块链与分布式计算的结合,不仅保留了现有区块链就技术原有的特点,还克服了现有区块链技术财产分配不公、计算资源浪费、占用存储空间过大、规则不够灵活的缺点,云计算模块将分析得到的风险预测数据发送至系统分析模块,系统分析模块对风险预测数据进行分析处理得到预处理数据和待处理数据,并根据第一分析模块、第二分析模块和第三分析模块的分析结果和预处理数据进行风险分析,系统分析模块是金融行业行业中进行分析分析的关键模块,对于不同的用户行为和不同的用户的不同方面进行风险预测的原始数据是不同的,此系统管理过程具体如下:
(1)数据采集模块对用户的所有的非交易数据和交易数据进行采集,并将采集的非交易数据和交易数据发送至云存储模块,数据采集模块的采集过程就是金融行业的大数据的采集过程,大数据信息量庞大的特点使得数据采集模块采集的数据必须存放再云存储模块中,云存储模块中的存储模式是分布式存储,例如,当系统分析模块要针对一个客户进行信用贷款的风险预测过程时,系统分析模块要利用云计算模块和云存储模块来得到与客户相关的交易数据和非交易数据,再对数据进行分析从而进行风险预测,云计算模块可以根据系统分析模块发出的风险预测的请求提取云存储模块中的存储数据,并对提取的存储数据利用分布式计算方法进行分析得到风险预测数据,云计算模块将风险预测数据发送至系统分析模块,云计算模块可以利用分布式计算的特点对的数据进行分析计算使得得到更有效的风险预测信息,进而提高系统分析模块进行风险分析的准确性;
(2)系统分析模块对接收到的风险预测数据进行预处理和分类得到预处理数据和待处理数据,对于不同的风险分析主题,数据的选择不同,预处理操作包括对数据的清洗、筛选、提取,并将待处理数据发送分别发送至第一分析模块、第二分析模块、第三分析模块进行分析得到分析结果,第一分析模块、第二分析模块、第三分析模块的作用是对不同的数据进行不同的数据分析,从而避免不同数据处理算法带来的分析误差,系统分析模块根据分析结果和预处理数据建立系统动力学模型进行风险分析,具体分析过程如下:
步骤1、系统分析模块对风险预测数据进行分析,首先对风险预测数据进行数据预处理得到预处理数据,并提取预处理数据中具有非相关关系的数据集,不同数据的相关关系和数据的特点不同,利用不同的数据分析算法首先要进行数据分类,人工神经网络分类器是数据挖掘中常用的分类方法,利用人工神经网络分类算法可以进行进行数据的分类,根据人工神经网络分类算法对数据集训练得到的评估模型进行分类得到分类数据,具体分类方程如下:
Y=f(N),
其中,N为神经网络中的一个神经元的输入值,xi一个数据集中的数据项,wi为权值,Y为非线性输出函数,θ为分类误差,根据Y和数据集得到训练的最佳匹配值,根据最佳匹配值得到自适应权重作用于输入值,根据人工神经网络分类算法对预处理数据进行处理得到分类数据;
步骤2、系统分析模块提取分类数据中的确定性数据和边缘数据得到待处理数据,对分类数据进行提取确定性数据和边缘数据是利用计算数据矩阵的距离的进行提取的,计算欧氏距离,并确定一个划分范围,在范围以内的分类数据为确定数据,代表数据之间的高相关性,在范围以外的分类数据为边缘数据,将待处理数据发送至第一分析模块、第二分析模块、第三分析模块进行分析处理得到包含误差分析结果、确定性分析结果和边缘分析结果的分析结果并发送至系统分析模块;
步骤3、系统分析模块根据分析结果和预处理数据建立系统动力学模型,利用分析结果建立状态函数方程式,再利用系统动力学模型进行最终的风险预测分析,系统动力学模型擅长研究的是复杂的经济系统,在金融行业中的风险分析过程中涉及到复杂的数据分析,利用系统动力学模型可以从内部微观入手,系统的对整个数据整体进行风险分析,也可以进行长期的风险预测,具体方程如下:
其中,L0为初始状态量,L(t)为状态函数,建立预处理数据中的信息链,以Ri(t)边缘分析结果中的边缘分析值,Ro(t)确定性分析结果的确定分析值,∈为状态误差,时间对应的状态方程表示的是与不同时间点对应的数据的状态,不同的状态中包含了不同的数据误差,边缘分析值和确定分析值的和表示出了所有的数据的分析结果,L0表示的是在数据处理初期时数据的状态量,根据状态函数建立状态空间表达式:
再建立系统动力学方程得到一阶微分方程,利用分离变量法对一阶微分方程进行求解得到y,再对求得的解进行分析归纳,一阶微分方程如下:
其中,y为决策变量,x表示进行预测的预处理数据的实际值,C(x)为数据之间的关系函数,P(x)为数据之间的扰动函数,通过求解的y来分析系统的动态趋势,从微观学角度进行分析时,P(x)扰动函数表示的不是不同数据间的扰动量,可以指对数据波动影响的所有的扰动因素服从的函数变化,以状态空间表达式T表示时间点的空间状态影响力,并将数据之间的关系重新考虑在内,对y值得求解时利用了分离变量法,具体的y的求解公式如下:
y=e∫P(x)dx∫Q(x)e-∫P(x)dx,
(3)利用分析得到的y进行分析归纳得到风险分析预测值。
所述系统分析模块将预处理数据中确定性数据发送至第一分析模块,第一数据分析模块利用模糊数学分析模型对确定性数据进行分析得到确定性分析结果,将边缘数据发送至第二分析模块,第二分析模块利用蒙塔卡罗分析法对边缘数据进行分析得到边缘分析结果,第一分析模块和第二分析模块将确定性分析结果和边缘分析结果发送给至第三分析模块,第三分析模块根据确定性分析结果和边缘分析结果进行误差分析,并将包含误差分析结果、确定性分析结果和边缘分析结果的分析结果发送至系统分析模块,具体过程如下:
步骤1、模糊数学在很多方面都有广泛的应用,通过模糊数学评价方法可以将所有的因素考虑在内,但是数据分析的划分边界也会存在不清晰的情况,导致数据的因素的归类出现错误,导致风险预估出错,通过对确定性数据的分析可以减少边界不清的数据的影响,第一分析模块根据确定性数据建立模糊数学分析模型,利用模糊数学分析模型对确定性数据进行风险预测,并利用矩阵分析得到分析预测的误差,利用模糊数学分析模型中样本的矩的值来估计总体的值,再对总体矩表示成的参数方程结合确定性数据进行分析得到确定性分析结果;
步骤2、蒙塔卡罗方法是一种统计模拟方法,是一种以概率统计理论为指导的数值计算方法,导致蒙塔卡罗方法将确定性问题转化为随机性问题的缺点,利用对数据边沿的边缘数据本身的随机性的分析,可以有效避免这一缺点,第二分析模块利用蒙塔卡罗分析法对边缘数据进行分析,选取边缘数据中净现值的敏感变量,再确定敏感变量的概率分布,通过抽取的敏感变量转化为输入变量的抽样值,再将抽样值组成一组项目评价基础数据,第二分析模块通过对项目评价基础数据的评价分析来预测边缘数据得到边缘分析结果;
步骤3、第一分析模块将分析得到的确定性分析结果发送至第三分析模块,第二分析模块将分析得到的边缘分析结果发送至第三分析模块,第三分析模块对接收到的确定性分析结果、边缘分析结果和预处理数据进行误差分析。
所述第三分析模块利用第一分析模块分析的确定性分析结果与第二分析模块分析得到的边缘分析结果进行综合分析,并将分析结果发送至系统分析模块进行总体分析,具体分析过程如下:
步骤一、第三分析模块利用泊松分布对预处理数据估测损失次数,利用损失次数来估算预处理数据的误差,设每次预测分析中的λ个相关关系数据反映发生错误的概率相等,则预处理数据的误差数X为服从参数λ的泊松分布,其规律如下:
泊松分布的期望值为E(X)=×λ,方差为Var(X)=λ,在泊松分布过程中,k表示的是误差的具体次数,k!=k(k-1)(k-2)...3×2×1,利用期望值与方差来确定预处理数据的泊松误差;
步骤二、第三分析模块对模糊数学分析模型中的误差、蒙塔卡罗分析模型算法中的误差和泊松误差进行综合分析得到综合误差∈,并将综合误差发送至系统分析模块进行整体的动力学系统中误差的影响进行分析。
所述数据采集模块所采集的是用户的所有数据,交易数据是交易过程中的数据信息进行采集,非交易数据是用户在非交易过程中产生的数据,所述数据采集模块将采集到的交易数据和非交易数据发送至云存储模块中进行云存储,云计算模块利用分布式计算的方法对云存储中的数据进行分析计算,并根据系统分析模块对云存储模块中的存储数据进行提取。
本发明具体使用时,系统主要包括数据采集模块、云存储模块、云计算模块、第一分析模块、第二分析模块、第三分析模块、系统分析模块,数据采集模块将采集到的交易数据和非交易数据存储预云存储模块,云计算模块根据系统分析模块发送的风险预测请求从云存储模块中提取数据进行分析得到的风险预测数据,并将风险预测数据发送至系统分析模块,系统分析模块首先利用人工神经网络分类器对风险预测数据进行分类,并将提取分类过后得到的分类数据中的确定性数据和边缘性数据,并将确定性数据和边缘性数据发送至第一分析模块、第二分析模块和第三分析模块中,第一分析模块通过利用模糊数学分析模型对确定性数据进行分析得到确定性分析结果,第二分析模块通过利用蒙塔卡罗分析法分别对边缘数据进行分析得到边缘分析结果,通过第一预测模块和第二预测模块还可以分析模糊数学分析模型和蒙塔卡罗分析法分析过程中的误差,并将确定性分析结果和边缘分析结果发送至第三分析模块,利用不同的分析模型对不同类型的数据进行分析预测,第一分析模块和第二分析模块共同克服了模糊数学分析模型分析数据时会考虑不全所有的因素和蒙塔卡罗分析法将确定性问题变为随机性问题的缺点,实现了分析模型之间有点和缺点之间的互补,第三分析模块利用泊松分布估算得到泊松误差,并将综合误差发送至系统分析模块,使得在系统动力学模型风险预测过程中充分考虑到所有的误差,提高了风险预测的准确性,加强了金融大数据的风险管理程度。
以上所述是结合具体实施方式对本发明所作的进一步详细说明,不能认定本发明具体实施仅局限于此;对于本发明所属及相关技术领域的技术人员来说,在基于本发明技术方案思路前提下,所作的拓展以及操作方法、数据的替换,都应当落在本发明保护范围之内。