CN116303786A - 一种基于多维数据融合算法的区块链金融大数据管理系统 - Google Patents
一种基于多维数据融合算法的区块链金融大数据管理系统 Download PDFInfo
- Publication number
- CN116303786A CN116303786A CN202310266904.8A CN202310266904A CN116303786A CN 116303786 A CN116303786 A CN 116303786A CN 202310266904 A CN202310266904 A CN 202310266904A CN 116303786 A CN116303786 A CN 116303786A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- service
- value
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 70
- 230000004927 fusion Effects 0.000 title claims abstract description 42
- 238000013523 data management Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 238000007405 data analysis Methods 0.000 claims abstract description 6
- 210000004027 cell Anatomy 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 9
- 238000007726 management method Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000005303 weighing Methods 0.000 claims description 4
- 230000002547 anomalous effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000012821 model calculation Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于多维数据融合算法的区块链金融大数据管理系统，包括区块链集成性云平台模块、区块链数据分析模块和区块链数据管理模块。针对目前Web3.0中区块链技术的发展速度缓慢，数据差异性强和数据管理难度大等问题，利用集成性云平台结合多维数据融合算法和数据异常监测算法优化区块链中的数据管理能力，其应用层面广，经济成本低，可以推广至社会应用，带来良好的社会和经济效益。
Description
技术领域
本发明涉及互联网升级领域，具体地说，涉及一种基于多维数据融合算法的区块链金融大数据管理系统。
背景技术
当下，区块链技术在金融领域的应用已经取得了一定进展和一些初步成果。从区块链被提出至今，区块链也从小众话题，迅速扩散成为学界和社会大众广泛关注的创新科技。区块链技术被很多人看作是可以改变现有交易模式、从底层基础设施重构社会的突破性变革技术，区块链技术在短时间内受到极大的重视。尤其是对于金融业来说，区块链有潜力为金融行业的经济和交易制度创造新的技术基础。区块链在金融业的应用不仅是传统业务模式的挑战，更是创建新业务和简化内部流程的重要机会。区块链技术以更低成本、更便捷的方式为更广泛的人群提供平等有效的金融服务，这也是发展普惠金融的根本目的。但现阶段，区块链技术距离在金融领域大规模商用仍有较长的路要走，距离真正融入日常生产生活和社会治理体系也还需要较长的一段时间。目前Web3.0中区块链技术的发展速度缓慢，数据差异性强和数据管理难度大等问题仍然存在，本发明利用集成性云平台结合多维数据融合算法和数据异常监测算法优化区块链中的数据管理能力，其应用层面广，经济成本低，可以推广至社会应用，带来良好的社会和经济效益。
发明内容
本发明的目的在于提供一种基于多维数据融合算法的区块链金融大数据管理系统，以解决上述背景技术中提出的问题。
为实现上述目的，提供了一种基于多维数据融合算法的区块链金融大数据管理系统，包括区块链集成性云平台模块、区块链数据分析模块和区块链数据管理模块；具体过程描述如下：
S1.选定Web3.0的服务行业和范围，基于去中心化基础，搭建具体业务网络模型的图结构，根据业务的逻辑关系和图结构搭建服务于区块链的系统数据库，利用公共网关和云服务构建一种新型生态的区块链平台，用于业务逻辑中关键数据信息的读取，修改和存储；
S2.在业务网络模型的图结构基础上，结合业务逻辑将数据信息进行动态处理，得到数据与与关键业务属性的链值匹配；
S3.在链值匹配的基础上，根据某一时间段内的业务目标，选定关键业务属性，利用业务网络模型的图结构进行逆向递推，确定影响该关键业务属性的关联因素，构建多维数据融合算法模型，得到影响该关键业务属性的公共特征，并进行特征分析；
S4.在特征分析过程中，构建数据监测算法对单位时间段内的业务数据进行监测，如果不存在异常数据，继续重复步骤S2和S3，保证动态运维管理，如果存在异常数据，则根据异常值构建对抗数据异常的动态化策略模型；
S5.将训练好的多维数据融合算法模型和对抗数据异常的动态化策略模型部署至S1中搭建的云平台，作为云计算的数据驱动机制，精准区块链中的数据管理。
进一步的，所述S1中基于去中心化基础，搭建一种新型的业务网络模型的图结构，详细过程如下：
通过建立基于组织价格，业务类别，对外服务这三点以及三者之间存在的关系的个性化初始模型
训练本地模型/>
其中
为t时刻的本地模型，μ为学习速率，/>
为t时刻下本地模型的损失函数。
将新训练的本地模型
通过管理系统发送给其他业务部门，在系统中达成共识后，获取其他业务部门提供的模型参数，将计算得到的模型重新赋值到/>
上生成新的个性化模型/>
其中
为系数，改进后的算法模型能更好的聚合生成本地个性化模型。
进一步的，所述S3中利用业务网络模型的图结构进行逆向递推，确定影响该关键业务属性的关联因素，构建多维数据融合算法模型，详细过程如下：
在链值匹配的基础上，根据某一时间段内的业务目标，选定关键业务属性，利用业务网络模型的图结构进行逆向递推，确定影响该关键业务属性的关联因素，构建多维数据融合算法模型，得到影响该关键业务属性的公共特征，并进行特征分析，本发明使用卡尔曼滤波的算法，基于系统数据库的索引反演关键业务属性信息是否存在异常，将关键业务属性与逆向递推信息差异进行匹配，按序列进行融合估计，消除属性信息结果中的不确定性，提高数据的准确性，降低数据的重复性，得到更准确的信息匹配数据，并采用加权自适应估计算法，在总均方误差最小的情况下，自适应寻找对应的最优加权因子，获得最优的关键业务属性信息数据。
改进的卡尔曼滤波操作主要包括两个步骤:首先在预估阶段，算法根据上两个时刻的估计结果预测下一时刻的值，成为先验估计；然后是校正阶段，这时首先计算卡尔曼增益，利用前两个时刻的先验估计计算后验估计并更新先验误差到后验误差。卡尔曼滤波算法预测值的状态估计式为：
X(k|k-1)＝A×X(k-1|k-1)+A2×X(k-2|k-2)+BT×U(k)
式中，X(k|k-1)为利用上一状态预测得到的结果；X(k-1|k-1)为上一状态最优结果；X(k-2|k-2)为上两个状态最优结果；A、B为输入控制项矩阵；U(k)为现在状态的控制量。更新预测结果与实际值误差的协方差，预测值的协方差矩阵估计式为：
P(k|k-1)＝A×P(k-1|k-1)+A2×X(k-2|k-2)×AT+Q
式中，P(k|k-1)为X(k|k-1)对应的协方差；P(k-1|k-1)为X(k-1|k-1)对应的协方差；P(k-2|k-2)为X(k-2|k-2)对应的协方差；为系统噪声的协方差；
卡尔曼滤波器更新值的状态估计式为：
X(k|k)＝X(k|k-1)+G(k)×[Z(k)-H×X(k|k-1)]
式中，X(k|k)为当前最优估计值；Z(k)为当前传感器的观测值；H为测量矩阵；G(k)为卡尔曼增益，其计算为：
其中，R是测量噪声协方差。协方差更新值的状态估计式为：
P(k|k)＝[I-G(k)×H]P(k|k-1)
式中，P(k|k)为当前最优估计值的协方差；I为单位矩阵。算法主要改进了滤波器的输入控制矩阵，改进后的算法计算得出的后验估计误差值更小，预测结果更为精准，符合本发明的数据量级要求。
进一步的，所述S3中特征分析，主要是基于多维数据融合算法模型计算的结果所得到的特征参数，详细过程如下：
利用数据融合算法，输入系统关键业务数据集Ta和关联业务数据集Tb，训练数据集T，测试数据集S，首先初始化训练数据集中各部分权重向量Ci:
进行数据分类，分类参数α表示为：
其中N为训练集样本数量，p为分析系数，m为训练数据集中数据个数，表示为：
进一步的，所述S4中在特征分析过程中，构建数据监测算法对单位时间段内的业务数据进行监测，详细过程如下：
基于LSTM的数据流异常检测模型：(1)设定好时间窗口大小K并按照时间窗口大小对数据集进行改造，利用过去K个值预测下一时刻的值，将时间序列转化为有监督序列，下一时刻的值作为监督值；(2)将使用的数据集划分为训练集和测试集，并将数据的格式转换为LSTM中需要的格式；(3)确定模型中使用的参数，包含迭代次数、每次迭代的数据量以及神经元的数量；(4)建立LSTM模型；对数据流中的数据进行预测的模型构建好后，即可对数据进行预测。将数据格式进行相应的反变换，计算监督值与预测值的差，利用当前时刻前K时刻数据的预测差值进行正态分布建模，计算当前时刻预测差值概率密度值的倒数，作为异常分数，当异常分数大于设定的阈值时，认为数据异常。
LSTM数据流异常检测模型算法如下：
输入数据集Data，时间窗口K；输出异常值集合；(1)将数据集转化为有监督学习问题并进行归一化；(2)将数据集划分为训练集和测试集并重构为规定形式；(3)搭建LSTM模型并进行优化；(4)利用模型对数据进行预测，并根据与真实值的差异来判断数据异常。
进一步的，所述S4中根据异常值构建对抗数据异常的动态化策略模型，详细过程如下：
(1)采用改进的异常数据修复网络，使用LSTM和全连接层搭建异常数据修复网络，其中使用长短时记忆网络筛选保留信息，通过长短时记忆网络的内部结构，保留有用的信息，滤去无效信息。
(2)首先利用“输入门”结构决定更新信息，然后将Ht-1和Xt通过tanh层计算得到新的候选细胞信息
候选细胞信息/>
的一部分被更新到细胞信息中，计算公式如下：
It＝σ([Ht-1,Xt+bI])
其中，It为输入门输出的信息，Ht-1和Xt分别为t-1和t时刻的隐藏状态的信息，WI和bI分别为权重和偏差因子，σ为激活函数sigmoid；
(3)更新旧的细胞信息Ct-1，使其变为新的细胞信息Ct，具体步骤为通过“遗忘门”输出的信息选择删减旧的细胞信息，然后通过“输入门”输出的信息选择添加候选细胞信息
中的一部分信息，最后得到新的细胞信息Ct：
(4)根据输入的Ht-1和Xt判断输出细胞的哪些状态与特征，将细胞状态通过tanh层计算得到一个向量：
Ot＝σ([Ht-1,Xt+bo)
其中，Ot为输出门输出的信息，Ht-1和Xt分别为t-1和t时刻的隐藏状态的信息，Wo和bo分别为权重和偏差因子，σ为激活函数sigmoid。利用改进的异常数据修复网络，相比于传统的LTSM数据流异常检测模型，增加了全连接层搭建异常数据修复网络，通过设置异常分数对预测值进行判断，对单位时间段内的业务数据进行监测时准确性更高。
本发明有益效果：本发明阐述了一种基于多维数据融合算法的区块链金融大数据管理系统，包括区块链集成性云平台模块、区块链数据分析模块和区块链数据管理模块。选定Web3.0的服务行业和范围，基于去中心化基础，通过结合系统架构，运营业务，服务状况这三点以及三者之间存在的关系来构建业务网络模型，根据业务的逻辑关系和图结构搭建服务于区块链的系统数据库，利用公共网关和云服务构建一种新型生态的区块链平台，用于业务逻辑中关键数据信息的读取，修改和存储。并在业务网络模型的图结构基础上，以MySQL数据库为基础方式建立数据库，结合业务逻辑将数据信息进行动态处理，得到数据与与关键业务属性的链值匹配，在链值匹配的基础上，根据某一时间段内的业务目标，选定关键业务属性，将基于矩阵与权重的改进Apriori算法应用到特征提取和分析领域，利用业务网络模型的图结构进行逆向递推，确定影响该关键业务属性的关联因素，构建多维数据融合算法模型，得到影响该关键业务属性的公共特征，并进行特征分析。使用基于LSTM的数据流异常检测模型对单位时间段内的业务数据进行监测，如果不存在异常数据，继续重复步骤S2和S3，保证动态运维管理，如果存在异常数据，则根据异常值构建对抗数据异常的动态化策略模型，再将训练好的多维数据融合算法模型和对抗数据异常的动态化策略模型部署至S1中搭建的云平台，作为云计算的数据驱动机制，精准区块链中的数据管理。本发明针对目前Web3.0中区块链技术的发展速度缓慢，数据差异性强和数据管理难度大等问题，利用集成性云平台结合多维数据融合算法和数据异常监测算法优化区块链中的数据管理能力，其应用层面广，经济成本低，可以推广至社会应用，带来良好的社会和经济效益。
附图说明
利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明结构示意图。
具体实施方式
结合以下实例对本发明作进一步描述。
参见图1，本发明旨在提供一种基于多维数据融合算法的区块链金融大数据管理系统，以解决上述背景技术中提出的问题。
为实现上述目的，提供了一种基于多维数据融合算法的区块链金融大数据管理系统，包括区块链集成性云平台模块、区块链数据分析模块和区块链数据管理模块；具体过程描述如下：
S1.选定Web3.0的服务行业和范围，基于去中心化基础，搭建具体业务网络模型的图结构，详细过程如下：
通过建立基于组织价格，业务类别，对外服务这三点以及三者之间存在的关系的个性化初始模型
训练本地模型/>
其中
为t时刻的本地模型，μ为学习速率，/>
为t时刻下本地模型的损失函数。
将新训练的本地模型
通过管理系统发送给其他业务部门，在系统中达成共识后，获取其他业务部门提供的模型参数，将计算得到的模型重新赋值到/>
上生成新的个性化模型/>
其中
为系数，改进后的算法模型能更好的聚合生成本地个性化模型。
S2.在业务网络模型的图结构基础上，结合业务逻辑将数据信息进行动态处理，得到数据与与关键业务属性的链值匹配；
S3.在链值匹配的基础上，根据某一时间段内的业务目标，选定关键业务属性，利用业务网络模型的图结构进行逆向递推，确定影响该关键业务属性的关联因素，构建多维数据融合算法模型，详细过程如下：
在链值匹配的基础上，根据某一时间段内的业务目标，选定关键业务属性，利用业务网络模型的图结构进行逆向递推，确定影响该关键业务属性的关联因素，构建多维数据融合算法模型，得到影响该关键业务属性的公共特征，并进行特征分析，本发明使用卡尔曼滤波的算法，基于系统数据库的索引反演关键业务属性信息是否存在异常，将关键业务属性与逆向递推信息差异进行匹配，按序列进行融合估计，消除属性信息结果中的不确定性，提高数据的准确性，降低数据的重复性，得到更准确的信息匹配数据，并采用加权自适应估计算法，在总均方误差最小的情况下，自适应寻找对应的最优加权因子，获得最优的关键业务属性信息数据。
改进的卡尔曼滤波操作主要包括两个步骤:首先在预估阶段，算法根据上两个时刻的估计结果预测下一时刻的值，成为先验估计；然后是校正阶段，这时首先计算卡尔曼增益，利用前两个时刻的先验估计计算后验估计并更新先验误差到后验误差。卡尔曼滤波算法预测值的状态估计式为：
X(k|k-1)＝A×X(k-1|k-1)+A2×X(k-2|k-2)+BT×U(k)
式中，X(k|k-1)为利用上一状态预测得到的结果；X(k-1|k-1)为上一状态最优结果；X(k-2|k-2)为上两个状态最优结果；A、B为输入控制项矩阵；U(k)为现在状态的控制量。更新预测结果与实际值误差的协方差，预测值的协方差矩阵估计式为：
P(k|k-1)＝A×P(k-1|k-1)+A2×X(k-2|k-2)×AT+Q
式中，P(k|k-1)为X(k|k-1)对应的协方差；P(k-1|k-1)为X(k-1|k-1)对应的协方差；P(k-2|k-2)为X(k-2|k-2)对应的协方差；为系统噪声的协方差；
卡尔曼滤波器更新值的状态估计式为：
X(k|k)＝X(k|k-1)+G(k)×[Z(k)-H×X(k|k-1)]
式中，X(k|k)为当前最优估计值；Z(k)为当前传感器的观测值；H为测量矩阵；G(k)为卡尔曼增益，其计算为：
其中，R是测量噪声协方差。协方差更新值的状态估计式为：
P(k|k)＝[I-G(k)×H]P(k|k-1)
式中，P(k|k)为当前最优估计值的协方差；I为单位矩阵。算法主要改进了滤波器的输入控制矩阵，改进后的算法计算得出的后验估计误差值更小，预测结果更为精准，符合本发明的数据量级要求。
利用数据融合算法，输入系统关键业务数据集Ta和关联业务数据集Tb，训练数据集T，测试数据集S，首先初始化训练数据集中各部分权重向量Ci:
进行数据分类，分类参数α表示为：
其中N为训练集样本数量，p为分析系数，表示为：
S4.在特征分析过程中，构建数据监测算法对单位时间段内的业务数据进行监测，如果不存在异常数据，继续重复步骤S2和S3，保证动态运维管理，如果存在异常数据，则根据异常值构建对抗数据异常的动态化策略模型，详细过程如下：
使用基于LSTM的数据流异常检测模型。对数据进行预处理后，对时间序列的数据建模进行预测，且设计了差值正态建模来判断数据异常。构建LSTM异常检测模型，主要环节如下：基于LSTM的数据流异常检测模型：(1)设定好时间窗口大小K并按照时间窗口大小对数据集进行改造，利用过去K个值预测下一时刻的值，将时间序列转化为有监督序列，下一时刻的值作为监督值；(2)将使用的数据集划分为训练集和测试集，并将数据的格式转换为LSTM中需要的格式；(3)确定模型中使用的参数，包含迭代次数、每次迭代的数据量以及神经元的数量；(4)建立LSTM模型；对数据流中的数据进行预测的模型构建好后，即可对数据进行预测。将数据格式进行相应的反变换，计算监督值与预测值的差，利用当前时刻前K时刻数据的预测差值进行正态分布建模，计算当前时刻预测差值概率密度值的倒数，作为异常分数，当异常分数大于设定的阈值时，认为数据异常。数据流异常检测模型算法如下：
输入数据集Data，时间窗口K；输出异常值集合；(1)将数据集转化为有监督学习问题并进行归一化；(2)将数据集划分为训练集和测试集并重构为规定形式；(3)搭建LSTM模型并进行优化；(4)利用模型对数据进行预测，并根据与真实值的差异来判断数据异常。
构建对抗数据异常的动态化策略模型，详细过程如下：
(1)采用改进的异常数据修复网络，使用LSTM和全连接层搭建异常数据修复网络，其中使用长短时记忆网络筛选保留信息，通过长短时记忆网络的内部结构，保留有用的信息，滤去无效信息。
(2)首先利用“输入门”结构决定更新信息，然后将Ht-1和Xt通过tanh层计算得到新的候选细胞信息
候选细胞信息/>
的一部分被更新到细胞信息中，计算公式如下：
It＝σ([Ht-1,Xt+bI])
其中，It为输入门输出的信息，Ht-1和Xt分别为t-1和t时刻的隐藏状态的信息，WI和bI分别为权重和偏差因子，σ为激活函数sigmoid；
(3)更新旧的细胞信息Ct-1，使其变为新的细胞信息Ct，具体步骤为通过“遗忘门”输出的信息选择删减旧的细胞信息，然后通过“输入门”输出的信息选择添加候选细胞信息
中的一部分信息，最后得到新的细胞信息Ct：
(4)根据输入的Ht-1和Xt判断输出细胞的哪些状态与特征，将细胞状态通过tanh层计算得到一个向量：
Ot＝σ([Ht-1,Xt+bo)
其中，Ot为输出门输出的信息，Ht-1和Xt分别为t-1和t时刻的隐藏状态的信息，Wo和bo分别为权重和偏差因子，σ为激活函数sigmoid。利用改进的异常数据修复网络，相比于传统的LTSM数据流异常检测模型，增加了全连接层搭建异常数据修复网络，通过设置异常分数对预测值进行判断，对单位时间段内的业务数据进行监测时准确性更高。
S5.将训练好的多维数据融合算法模型和对抗数据异常的动态化策略模型部署至S1中搭建的云平台，作为云计算的数据驱动机制，精准区块链中的数据管理。
本发明有益效果：本发明阐述了一种基于多维数据融合算法的区块链金融大数据管理系统，包括区块链集成性云平台模块、区块链数据分析模块和区块链数据管理模块。选定Web3.0的服务行业和范围，基于去中心化基础，通过结合系统架构，运营业务，服务状况这三点以及三者之间存在的关系来构建业务网络模型，根据业务的逻辑关系和图结构搭建服务于区块链的系统数据库，利用公共网关和云服务构建一种新型生态的区块链平台，用于业务逻辑中关键数据信息的读取，修改和存储。并在业务网络模型的图结构基础上，以MySQL数据库为基础方式建立数据库，结合业务逻辑将数据信息进行动态处理，得到数据与与关键业务属性的链值匹配，在链值匹配的基础上，根据某一时间段内的业务目标，选定关键业务属性，将基于矩阵与权重的改进Apriori算法应用到特征提取和分析领域，利用业务网络模型的图结构进行逆向递推，确定影响该关键业务属性的关联因素，构建多维数据融合算法模型，得到影响该关键业务属性的公共特征，并进行特征分析。使用基于LSTM的数据流异常检测模型对单位时间段内的业务数据进行监测，如果不存在异常数据，继续重复步骤S2和S3，保证动态运维管理，如果存在异常数据，则根据异常值构建对抗数据异常的动态化策略模型，再将训练好的多维数据融合算法模型和对抗数据异常的动态化策略模型部署至S1中搭建的云平台，作为云计算的数据驱动机制，精准区块链中的数据管理。本发明针对目前Web3.0中区块链技术的发展速度缓慢，数据差异性强和数据管理难度大等问题，利用集成性云平台结合多维数据融合算法和数据异常监测算法优化区块链中的数据管理能力，其应用层面广，经济成本低，可以推广至社会应用，带来良好的社会和经济效益。
本发明还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令，该指令由处理器加载并执行，以实现上述方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
本发明实施方式是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种基于多维数据融合算法的区块链金融大数据管理系统，包括区块链集成性云平台模块、区块链数据分析模块和区块链数据管理模块；具体过程描述如下：
S1.选定Web3.0的服务行业和范围，基于去中心化基础，搭建一种新型的业务网络模型的图结构，根据业务的逻辑关系和图结构搭建服务于区块链系统驱动系统数据库，利用公共网关和云服务构建一种新型生态的区块链平台，用于业务逻辑中关键数据信息的读取，修改和存储；
S2.在业务网络模型的图结构基础上，结合业务逻辑将数据信息进行动态处理，得到数据与关键业务属性的链值匹配；
S3.在链值匹配的基础上，根据某一时间段内的业务目标，选定关键业务属性，利用业务网络模型的图结构进行逆向递推，确定影响该关键业务属性的关联因素，构建多维数据融合算法模型，得到影响该关键业务属性的公共特征，并进行特征分析；
S4.在特征分析过程中，构建数据监测算法对单位时间段内的业务数据进行监测，如果不存在异常数据，继续重复步骤S2和S3，保证动态运维管理，如果存在异常数据，则根据异常值构建对抗数据异常的动态化策略模型；
S5.将训练好的多维数据融合算法模型和对抗数据异常的动态化策略模型部署至S1中搭建的云平台，作为云计算的数据驱动机制，精准区块链中的数据管理。
2.根据权利要求1所述一种基于多维数据融合算法的区块链金融大数据管理系统，其特征在于，所述S1中基于去中心化基础，搭建一种新型的业务网络模型的图结构，详细过程如下：
通过建立基于组织价格，业务类别，对外服务这三点以及三者之间存在的关系的个性化初始模型
训练本地模型/>
其中
为t时刻的本地模型，μ为学习速率，/>
为t时刻下本地模型的损失函数；
将新训练的本地模型
通过管理系统发送给其他业务部门，在系统中达成共识后，获取其他业务部门提供的模型参数，将计算得到的模型重新赋值到/>
上生成新的个性化模型/>
其中
为系数，改进后的算法模型能更好的聚合生成区块链系统驱动数据库。
3.根据权利要求1所述一种基于多维数据融合算法的区块链金融大数据管理系统，其特征在于，所述S2中系统数据库以关系型数据库为基础，主要以MySQL数据库为基础方式。
4.根据权利要求1所述一种基于多维数据融合算法的区块链金融大数据管理系统，其特征在于，所述S3中利用业务网络模型的图结构进行逆向递推，确定影响该关键业务属性的关联因素，构建多维数据融合算法模型，详细过程如下：
在链值匹配的基础上，根据某一时间段内的业务目标，选定关键业务属性，利用业务网络模型的图结构进行逆向递推，确定影响该关键业务属性的关联因素，构建多维数据融合算法模型，得到影响该关键业务属性的公共特征，并进行特征分析，基于系统数据库的索引反演关键业务属性信息是否存在异常，将关键业务属性与逆向递推信息差异进行匹配，按序列进行融合估计，消除属性信息结果中的不确定性，提高数据的准确性，降低数据的重复性，得到更准确的信息匹配数据，并采用加权自适应估计算法，在总均方误差最小的情况下，自适应寻找对应的最优加权因子，获得最优的关键业务属性信息数据；采用改进的卡尔曼滤波操作主要包括两个步骤:首先在预估阶段，算法根据上两个时刻的估计结果预测下一时刻的值，成为先验估计；然后是校正阶段，这时首先计算卡尔曼增益，利用前两个时刻的先验估计计算后验估计并更新先验误差到后验误差，卡尔曼滤波算法预测值的状态估计式为：
X(k|k-1)＝A×X(k-1|k-1)+A2×X(k-2|k-2)+BT×U(k)
式中，X(k|k-1)为利用上一状态预测得到的结果；X(k-1|k-1)为上一状态最优结果；X(k-2|k-2)为上两个状态最优结果；A、B为输入控制项矩阵；U(k)为现在状态的控制量，k代表状态序号，更新预测结果与实际值误差的协方差，预测值的协方差矩阵估计式为：
P(k|k-1)＝A×P(k-1|k-1)+A2×X(k-2|k-2)×AT式中，P(k|k-1)为X(k|k-1)对应的协方差；P(k-1|k-1)为X(k-1|k-1)对应的协方差；P(k-2|k-2)为X(k-2|k-2)对应的协方差；为系统噪声的协方差；
卡尔曼滤波器更新值的状态估计式为：
X(k|k)＝X(k|k-1)+G(k)×[Z(k)-H×X(k|k-1)]
式中，X(k|k)为当前最优估计值；Z(k)为当前传感器的观测值；H为测量矩阵；G(k)为卡尔曼增益，其计算为：
其中，R是测量噪声协方差。协方差更新值的状态估计式为：
P(k|k)＝[I-G(k)×H]P(k|k-1)
式中，P(k|k)为当前最优估计值的协方差；I为单位矩阵，算法主要改进了滤波器的输入控制矩阵，改进后的算法计算得出的后验估计误差值更小，预测结果更为精准。
5.根据权利要求1所述一种基于多维数据融合算法的区块链金融大数据管理系统，其特征在于，所述S3中特征分析，主要是基于多维数据融合算法模型计算的结果所得到的特征参数，详细过程如下：
利用数据融合算法，输入系统关键业务数据集Ta和关联业务数据集Tb，训练数据集T，测试数据集S，首先初始化训练数据集中各部分权重向量Ci：
进行数据分类，分类参数α表示为：
其中N为训练集样本数量，p为分析系数，m为训练数据集中数据个数，表示为：
6.根据权利要求1所述一种基于多维数据融合算法的区块链金融大数据管理系统，其特征在于，所述S4中在特征分析过程中，构建数据监测算法对单位时间段内的业务数据进行监测，详细过程如下：
基于LSTM的数据流异常检测模型：(1)设定好时间窗口大小K并按照时间窗口大小对数据集进行改造，利用过去K个值预测下一时刻的值，将时间序列转化为有监督序列，下一时刻的值作为监督值；(2)将使用的数据集划分为训练集和测试集，并将数据的格式转换为LSTM中需要的格式；(3)确定模型中使用的参数，包含迭代次数、每次迭代的数据量以及神经元的数量；(4)建立LSTM模型；对数据流中的数据进行预测的模型构建好后，即可对数据进行预测，将数据格式进行相应的反变换，计算监督值与预测值的差，利用当前时刻前K时刻数据的预测差值进行正态分布建模，计算当前时刻预测差值概率密度值的倒数，作为异常分数，当异常分数大于设定的阈值时，认为数据异常。
7.根据权利要求1所述一种基于多维数据融合算法的区块链金融大数据管理系统，其特征在于，所述S4中根据异常值构建对抗数据异常的动态化策略模型，详细过程如下：
(1)采用改进的异常数据修复网络，使用LSTM和全连接层搭建异常数据修复网络，其中使用长短时记忆网络筛选保留信息，通过长短时记忆网络的内部结构，保留有用的信息，滤去无效信息；
(2)首先利用“输入门”结构决定更新信息，然后将Ht-1和Xt通过tanh层计算得到新的候选细胞信息
候选细胞信息/>
的一部分被更新到细胞信息中，计算公式如下：
It＝σ([Ht-1，Xt+bI])
其中，It为输入门输出的信息，Ht-1和Xt分别为t-1和t时刻的隐藏状态的信息，WI和bI分别为权重和偏差因子，σ为激活函数sigmoid；
(3)更新旧的细胞信息Ct-1，使其变为新的细胞信息Ct，具体步骤为通过“遗忘门”输出的信息选择删减旧的细胞信息，然后通过“输入门”输出的信息选择添加候选细胞信息
中的一部分信息，最后得到新的细胞信息Ct：
(4)根据输入的Ht-1和Xt判断输出细胞的状态与特征，将细胞状态通过tanh层计算得到一个向量：
Ot＝σ([Ht-1，Xt+bo)
Ht＝Ot*tanh(Ct)
其中，Ot为输出门输出的信息，Ht-1和Xt分别为t-1和t时刻的隐藏状态的信息，Wo和bo分别为权重和偏差因子，σ为激活函数sigmoid；利用改进的异常数据修复网络，相比于传统的LTSM数据流异常检测模型，增加了全连接层搭建异常数据修复网络，通过设置异常分数对预测值进行判断，对单位时间段内的业务数据进行监测时准确性更高。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310266904.8A CN116303786B (zh) | 2023-03-18 | 2023-03-18 | 一种基于多维数据融合算法的区块链金融大数据管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310266904.8A CN116303786B (zh) | 2023-03-18 | 2023-03-18 | 一种基于多维数据融合算法的区块链金融大数据管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116303786A true CN116303786A (zh) | 2023-06-23 |
| CN116303786B CN116303786B (zh) | 2023-10-27 |
Family
ID=86779391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310266904.8A Active CN116303786B (zh) | 2023-03-18 | 2023-03-18 | 一种基于多维数据融合算法的区块链金融大数据管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116303786B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726389A (zh) * | 2023-09-09 | 2024-03-19 | 广东德澳智慧医疗科技有限公司 | 一种基于聚类推荐算法的跨境电商产品购买引导系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298650A (zh) * | 2014-09-30 | 2015-01-21 | 杭州电子科技大学 | 基于多方法融合的量化卡尔曼滤波方法 |
| CN109754013A (zh) * | 2018-12-31 | 2019-05-14 | 浙江大学 | 一种基于无迹卡尔曼滤波的电力系统混合量测融合方法 |
| CN109974714A (zh) * | 2019-04-29 | 2019-07-05 | 南京航空航天大学 | 一种Sage-Husa自适应无迹卡尔曼滤波姿态数据融合方法 |
| CN110208740A (zh) * | 2019-07-09 | 2019-09-06 | 北京智芯微电子科技有限公司 | Tdoa-imu数据自适应融合定位装置及方法 |
| CN110880984A (zh) * | 2019-10-18 | 2020-03-13 | 平安科技（深圳）有限公司 | 基于模型的流量异常监测方法、装置、设备及存储介质 |
| CN112528548A (zh) * | 2020-11-27 | 2021-03-19 | 东莞市汇林包装有限公司 | 一种自适应深度耦合卷积自编码多模态数据融合方法 |
| CN112881979A (zh) * | 2021-01-19 | 2021-06-01 | 上海工程技术大学 | 一种基于ekf滤波的初始状态自适应融合定位方法 |
| CN113283461A (zh) * | 2021-03-10 | 2021-08-20 | 上海麦咪科技发展有限公司 | 基于区块链的金融大数据处理系统及方法 |
| CN113391287A (zh) * | 2021-06-10 | 2021-09-14 | 哈尔滨工业大学 | 基于时间序列的高频地波雷达海态数据融合方法 |
| CN113660286A (zh) * | 2021-09-03 | 2021-11-16 | 南方电网数字电网研究院有限公司 | 结合卡尔曼滤波数据融合的通信协议融合方法及相关设备 |
| CN114818888A (zh) * | 2022-04-13 | 2022-07-29 | 合肥工业大学 | 基于多通道卡尔曼滤波的土壤成分数据融合方法和系统 |
| WO2022160902A1 (zh) * | 2021-01-28 | 2022-08-04 | 广西大学 | 面向云环境下大规模多元时间序列数据异常检测方法 |
| US20220269258A1 (en) * | 2020-09-15 | 2022-08-25 | Zhejiang University | Method for anomaly classification of industrial control system communication network |
| CN115238789A (zh) * | 2022-07-22 | 2022-10-25 | 新华融合媒体科技发展(北京)有限公司 | 基于改进gru的金融行业另类数据预测方法和系统 |
-
2023
- 2023-03-18 CN CN202310266904.8A patent/CN116303786B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298650A (zh) * | 2014-09-30 | 2015-01-21 | 杭州电子科技大学 | 基于多方法融合的量化卡尔曼滤波方法 |
| CN109754013A (zh) * | 2018-12-31 | 2019-05-14 | 浙江大学 | 一种基于无迹卡尔曼滤波的电力系统混合量测融合方法 |
| CN109974714A (zh) * | 2019-04-29 | 2019-07-05 | 南京航空航天大学 | 一种Sage-Husa自适应无迹卡尔曼滤波姿态数据融合方法 |
| CN110208740A (zh) * | 2019-07-09 | 2019-09-06 | 北京智芯微电子科技有限公司 | Tdoa-imu数据自适应融合定位装置及方法 |
| CN110880984A (zh) * | 2019-10-18 | 2020-03-13 | 平安科技（深圳）有限公司 | 基于模型的流量异常监测方法、装置、设备及存储介质 |
| US20220269258A1 (en) * | 2020-09-15 | 2022-08-25 | Zhejiang University | Method for anomaly classification of industrial control system communication network |
| CN112528548A (zh) * | 2020-11-27 | 2021-03-19 | 东莞市汇林包装有限公司 | 一种自适应深度耦合卷积自编码多模态数据融合方法 |
| CN112881979A (zh) * | 2021-01-19 | 2021-06-01 | 上海工程技术大学 | 一种基于ekf滤波的初始状态自适应融合定位方法 |
| WO2022160902A1 (zh) * | 2021-01-28 | 2022-08-04 | 广西大学 | 面向云环境下大规模多元时间序列数据异常检测方法 |
| CN113283461A (zh) * | 2021-03-10 | 2021-08-20 | 上海麦咪科技发展有限公司 | 基于区块链的金融大数据处理系统及方法 |
| CN113391287A (zh) * | 2021-06-10 | 2021-09-14 | 哈尔滨工业大学 | 基于时间序列的高频地波雷达海态数据融合方法 |
| CN113660286A (zh) * | 2021-09-03 | 2021-11-16 | 南方电网数字电网研究院有限公司 | 结合卡尔曼滤波数据融合的通信协议融合方法及相关设备 |
| CN114818888A (zh) * | 2022-04-13 | 2022-07-29 | 合肥工业大学 | 基于多通道卡尔曼滤波的土壤成分数据融合方法和系统 |
| CN115238789A (zh) * | 2022-07-22 | 2022-10-25 | 新华融合媒体科技发展(北京)有限公司 | 基于改进gru的金融行业另类数据预测方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| 吴耀;李文钧;姜华;何风行;: "基于动态Kalman滤波的多传感数据融合算法研究", 物联网技术, no. 01 * |
| 朱树云，姜静: "扩展卡尔曼滤波算法在导航中的应用研究", 《自动化应用》, no. 11 * |
| 湛晓宇: "基于深度学习的桥梁 SHM 数据异常检测与修复", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, no. 11 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726389A (zh) * | 2023-09-09 | 2024-03-19 | 广东德澳智慧医疗科技有限公司 | 一种基于聚类推荐算法的跨境电商产品购买引导系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116303786B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563706A (zh) | 一种基于lstm网络的多变量物流货运量预测方法 | |
| CN110414788B (zh) | 一种基于相似日和改进lstm的电能质量预测方法 | |
| CN111860982A (zh) | 一种基于vmd-fcm-gru的风电场短期风电功率预测方法 | |
| CN112990556A (zh) | 一种基于Prophet-LSTM模型的用户用电能耗预测方法 | |
| CN113554466B (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN113449919B (zh) | 一种基于特征和趋势感知的用电量预测方法及系统 | |
| CN112733997A (zh) | 基于woa-lstm-mc的水文时间序列预测优化方法 | |
| CN116303786B (zh) | 一种基于多维数据融合算法的区块链金融大数据管理系统 | |
| CN114580545A (zh) | 一种基于融合模型的风电机组齿轮箱故障预警方法 | |
| CN112766603A (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
| CN115587666A (zh) | 基于季节趋势分解和混合神经网络的负荷预测方法及系统 | |
| CN116187835A (zh) | 一种基于数据驱动的台区理论线损区间估算方法及系统 | |
| CN115561005A (zh) | 基于eemd分解和轻量化神经网络的化工过程故障诊断方法 | |
| CN111191823A (zh) | 一种基于深度学习的生产物流预测方法 | |
| Wu et al. | A forecasting model based support vector machine and particle swarm optimization | |
| CN115794805A (zh) | 一种中低压配网量测数据补齐方法 | |
| Kotenko et al. | Formation of Indicators for Assessing Technical Reliability of Information Security Systems | |
| CN114298413A (zh) | 一种水电机组振摆趋势预测方法 | |
| CN113837443A (zh) | 基于深度BiLSTM的变电站线路负载预测方法 | |
| CN112183814A (zh) | 一种短期风速预测方法 | |
| CN113762591A (zh) | 一种基于gru和多核svm对抗学习的短期电量预测方法及系统 | |
| Li et al. | A data-driven rutting depth short-time prediction model with metaheuristic optimization for asphalt pavements based on RIOHTrack | |
| Tran-Quang et al. | Aquaculture environment prediction based on improved lstm deep learning model | |
| CN111179070A (zh) | 一种基于lstm的借贷风险时效性预测系统及方法 | |
| CN112561203B (zh) | 一种基于聚类和gru实现水位预警的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |