CN111612261B - 基于区块链的金融大数据分析系统 - Google Patents

基于区块链的金融大数据分析系统 Download PDF

Info

Publication number
CN111612261B
CN111612261B CN202010466325.4A CN202010466325A CN111612261B CN 111612261 B CN111612261 B CN 111612261B CN 202010466325 A CN202010466325 A CN 202010466325A CN 111612261 B CN111612261 B CN 111612261B
Authority
CN
China
Prior art keywords
financial data
clustering
data
financial
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010466325.4A
Other languages
English (en)
Other versions
CN111612261A (zh
Inventor
李国安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lianbo Chengdu Technology Co ltd
Original Assignee
Lianbo Chengdu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lianbo Chengdu Technology Co ltd filed Critical Lianbo Chengdu Technology Co ltd
Priority to CN202010466325.4A priority Critical patent/CN111612261B/zh
Priority to CN202011362126.5A priority patent/CN112330067B/zh
Publication of CN111612261A publication Critical patent/CN111612261A/zh
Application granted granted Critical
Publication of CN111612261B publication Critical patent/CN111612261B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06—Asset management; Financial planning or analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Biophysics (AREA)
  • Operations Research (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Technology Law (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于区块链的金融大数据分析系统，包括金融数据收集模块、金融数据处理模块、区块链存储模块和金融数据分析模块，所述金融数据收集模块用于收集金融数据，所述金融数据处理模块用于对收集的金融数据进行入侵检测，将通过入侵检测的金融数据传输至区块链存储模块进行存储，所述金融数据分析模块用于从区块链存储模块中调取所述金融数据进行分析。本发明的有益效果：通过聚类算法将收集大的金融数据划分为不同的类别，并对划分的类别进行入侵检测后传输至区块链存储模块进行存储，能够有效的避免恶意数据对金融数据分析系统的攻击；金融数据分析模块采用BP神经网络对金融数据的走势进行预测，从而能够及时掌握金融数据的走势。

Description

基于区块链的金融大数据分析系统
技术领域
本发明创造涉及金融领域，具体涉及一种基于区块链的金融大数据分析系统。
背景技术
在金融市场中，经常需要做数据分析，以便通过历史数据对当前的市场走向提供参考依据。中国的证券市场成立十几年来，随着计算机技术、信息化和网络化的不断发展，金融行业的各个金融机构存储并积累了大量的原始金融数据，怎样使金融数据挖掘管理不断完善，也成为了一个热门话题。
发明内容
针对上述问题，本发明旨在提供一种基于区块链的金融大数据分析系统。
本发明创造的目的通过以下技术方案实现：
一种基于区块链的金融大数据分析系统，包括金融数据收集模块、金融数据处理模块、区块链存储模块和金融数据分析模块，所述金融数据收集模块用于收集历史金融数据和实时金融数据，所述金融数据处理模块用于对收集的历史金融数据和实时金融数据进行预处理，并分别将预处理后的历史金融数据和实时金融数据进行聚类，根据聚类结果对收集的历史金融数据和实时金融数据进行入侵检测，将通过入侵检测的金融数据传输至区块链存储模块进行存储，所述金融数据分析模块用于从区块链存储模块中调取所述历史金融数据和实时金融数据对金融数据的未来走势进行预测。
本发明创造的有益效果：通过聚类算法将收集到的金融数据划分为不同的类别，并对划分的类别进行入侵检测后传输至区块链存储模块进行存储，能够有效的避免恶意数据对金融数据分析系统的攻击；金融数据分析模块采用收集到的历史金融数据对BP神经网络进行训练，并采用训练好的BP神经网络对金融数据的走势进行预测，能够及时了解金融数据的走势。
附图说明
利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明结构示意图。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种基于区块链的金融大数据分析系统，包括金融数据收集模块、金融数据处理模块、区块链存储模块和金融数据分析模块，所述金融数据收集模块用于收集历史金融数据和实时金融数据，所述金融数据处理模块用于对收集的历史金融数据和实时金融数据进行预处理，并分别将预处理后的历史金融数据和实时金融数据进行聚类，根据聚类结果对收集的历史金融数据和实时金融数据进行入侵检测，将通过入侵检测的金融数据传输至区块链存储模块进行存储，所述金融数据分析模块用于从区块链存储模块中调取所述历史金融数据和实时金融数据对金融数据的未来走势进行预测。
优选地，所述金融数据处理模块包括数据预处理单元、数据聚类单元和入侵检测单元，所述数据预处理单元用于对收集的历史金融数据和实时金融数据进行归一化处理，所述数据聚类单元分别将归一化处理后的历史金融数据和实时金融数据进行聚类，所述入侵检测单元用于根据聚类结果对收集的历史金融数据和实时金融数据进行入侵检测，当检测到类中的金融数据为入侵数据时将该类进行删除，当检测到类中的金融数据为正常数据时将该类传输至区块链存储模块进行存储。
优选地，所述金融数据分析模块包括金融数据分析单元、BP神经网络训练单元和金融数据预测单元，所述金融数据分析单元用于对区块链存储模块中存储的历史金融数据进行分析，确定所述历史金融数据的走势，所述BP神经网络训练单元将区块链存储模块中存储的历史金融数据的聚类结果作为BP神经网络的输入量，将金融数据分析单元确定的所述历史金融数据的走势作为BP神经网络的输出量对BP神经网络进行训练，所述金融数据预测单元采用BP神经网络训练单元训练好的BP神经网络对实时金融数据的走势进行预测，所述BP神经网络的输入量为区块链存储模块中存储的实时金融数据的聚类结果。
本优选实施例通过聚类算法将收集到的金融数据划分为不同的类别，并对划分的类别进行入侵检测后传输至区块链存储模块进行存储，能够有效的避免恶意数据对金融数据分析系统的攻击；金融数据分析模块采用收集到的历史金融数据对BP神经网络模型进行训练，并采用训练好的BP神经网络对金融数据的走势进行预测，能够及时了解金融数据的走势。
优选地，所述数据聚类单元用于将所述金融数据进行聚类，采用FCM聚类算法将所述金融数据进行初次聚类，设X表示金融数据集合，且X＝{xi，i＝1，2，…，N}，C1表示采用FCM聚类算法将金融数据集合X划分的类别集合，且
Figure GDA0002784268550000021
V1表示类别集合C1中的类所对应的聚类中心集合，且
Figure GDA0002784268550000031
其中，xi表示金融数据集合X中的第i个金融数据，N表示金融数据集合X中的金融数据量，
Figure GDA0002784268550000032
表示类别集合C1中的第j个类，
Figure GDA0002784268550000033
表示类
Figure GDA0002784268550000034
对应的聚类中心，l表示划分的类别数。
优选地，对金融数据集合X中的金融数据进行二次聚类，设V2表示二次聚类中心的集合，在金融数据集合X中选取l个二次聚类中心，设xm表示金融数据集合X中的第m个金融数据，定义J(xm)为金融数据xm对应的信息值，且J(xm)的值为：
Figure GDA0002784268550000035
式中，L(xm)表示金融数据xm的局部邻域数据集合，且
Figure GDA0002784268550000036
Figure GDA0002784268550000037
其中，xn表示局部邻域数据集合L(xm)中的第n个金融数据，H(xm)为金融数据xm对应的局部距离阈值，且
Figure GDA0002784268550000038
当金融数据xm在初次聚类时为聚类中心时，c1(xm)表示在初次聚类时金融数据xm所在的类，当金融数据xm在初次聚类时不为聚类中心时，c1(xm)表示在初次聚类时金融数据xm在类别集合C1中具有最大隶属度的类，xt表示类c1(xm)中的第t个金融数据，
Figure GDA0002784268550000039
为金融数据xm在局部邻域数据集合L(xm)中的邻域检测系数，且
Figure GDA00027842685500000310
的表达式为：
Figure GDA00027842685500000311
其中，ML(xm)表示局部邻域数据集合L(xm)中的金融数据量，f(xn)为金融数据xn对应的邻域判断函数，设L(xn)表示金融数据xn的局部邻域数据集合，
Figure GDA00027842685500000312
表示金融数据xn在局部邻域数据集合L(xn)中的邻域检测系数，当
Figure GDA00027842685500000313
时，则f(xn)＝0，当
Figure GDA00027842685500000314
时，则f(xn)＝1；
将金融数据集合X中的金融数据按其信息值由大到小进行排列，选取前2l个金融数据组成集合K，且K＝{xp，p＝1，2，...，2l}，其中，xp表示集合K中的第p个金融数据；对集合K中的金融数据进行筛选，当xp∈V1时，则选取金融数据xp为二次聚类中心，并将金融数据xp加入到集合V2中，设在集合K中选取的二次聚类中心组成的集合
Figure GDA00027842685500000315
其中，
Figure GDA00027842685500000316
表示集合V2中的第q个二次聚类中心，M(K)表示在集合K中选取的二次聚类中心的数量，当M(K)＝l时，则二次聚类中心选取完成，当M(K)＜l时，则采用竞争的方式在金融数据集合X中选取剩余的二次聚类中心，设xs表示金融数据集合X中的第s个金融数据，定义金融数据xs竞争二次聚类中心的优先级为F(xs)，则F(xs)的表达式为：
Figure GDA0002784268550000041
式中，τ(xs)为金融数据xs对应的判断函数，当xs∈V2时，则τ(xs)＝0，当
Figure GDA0002784268550000042
时，则τ(xs)＝1，J(xs)表示金融数据xs对应的信息值，M(V2)表示当前时刻集合V2中的二次聚类中心数；
在金融数据集合X中选取具有最大优先级的金融数据为二次聚类中心，并将选取的二次聚类中心加入到集合V2中，继续采用竞争的方式在金融数据集合X中选取剩余的二次聚类中心，直到集合V2中的二次聚类中心数等于l时，即停止选取。
本优选实施例用于对金融数据集合中的金融数据进行聚类，采用FCM聚类算法对金融数据集合中的金融数据进行初次聚类后，金融数据集合中的金融数据都以一定的隶属度隶属于各个类，当所述金融数据隶属于各类的隶属度都较为接近时，如果仅仅将所述金融数据归属于其具有最大隶属度的类，容易造成分类不准确的缺陷，针对这种缺陷，本优选实施例采用不同的方式对金融数据集合中的金融数据进行二次聚类，在聚类的过程中引入了初次聚类的结果进行调节，从而增加了聚类结果的准确性；对金融数据集合中的金融数据进行二次聚类时，首先选取二次聚类的二次聚类中心，定义金融数据对应的信息值，所述信息值中的邻域检测系数通过统计所述金融数据和局部邻域数据集合中的金融数据的距离和局部邻域数据集合中的数据量来判断所述金融数据周围的数据分布情况，选取具有较大信息值的金融数据作为二次聚类中心保证了选取的二次聚类中心的周围分布有较多的金融数据，当金融数据集合中的金融数据分布的较为复杂或者不规则时，采用局部距离阈值获得的局部邻域数据集合并不能保证所述金融数据和其局部邻域数据集合中的金融数据之间的相似性，即计算所得的邻域检测系数并不能够准确的反应所述金融数据周围的数据分布情况，从而对二次聚类中心的选取造成影响，针对上述情况，本优选实施例在信息值的计算公式中引入了余弦形式的修正部分，对局部邻域数据集合中的金融数据进行邻域判断，通过将所述待判断金融数据的邻域检测系数和所述金融数据的邻域检测系数进行比较，当两者的差值较小时，则认为所述待判断金融数据与所述金融数据相似，当两者的差值较大时，则认为所述待判断金融数据和所述金融数据并不相似，当局部邻域数据集合中和所述金融数据不相似的金融数据的数量越多，信息值中的修正部分的值越小，即减少了邻域检测系数的值，使得所述金融数据的信息值能够更准确的描述所述金融数据周围的数据分布情况，从而使得根据金融数据的信息值选取的聚类中心更加的符合金融数据集合X中金融数据的分布情况。
优选地，将金融数据集合X中未被选取为二次聚类中心的金融数据视为普通金融数据，对金融数据集合X中的普通金融数据进行聚类，具体包括：
(1)根据初次聚类的结果对金融数据集合X中的金融数据的聚类属性进行标定，设xg表示金融数据集合X中的第g个金融数据，定义金融数据xg的聚类属性判断函数为λ(xg)，且λ(xg)的表达式为：
Figure GDA0002784268550000051
式中，
Figure GDA0002784268550000052
表示在初次聚类时金融数据xg属于类别集合C1中类的最大隶属度值，
Figure GDA0002784268550000053
表示在初次聚类时金融数据xg属于类
Figure GDA0002784268550000054
的隶属度值，且
Figure GDA0002784268550000055
当聚类属性判断函数λ(xg)＞1时，则将金融数据xg的聚类属性标记为1，当聚类属性判断函数λ(xg)≤1时，则将金融数据xg的聚类属性标记为0，此外，将初次聚类时的聚类中心所对应的金融数据也标记为1，将金融数据集合X中聚类属性标记为1的金融数据组成集合A(1)，将金融数据集合X中聚类属性标记为0的金融数据组成集合B(0)；
(2)设xb表示金融数据集合X中的第b个普通金融数据，定义普通金融数据xb和二次聚类中心
Figure GDA0002784268550000056
的聚合值为
Figure GDA0002784268550000057
目
Figure GDA0002784268550000058
的值为：
Figure GDA0002784268550000059
式中，
Figure GDA00027842685500000510
表示普通金融数据xb和二次聚类中心
Figure GDA00027842685500000511
之间的模糊调节系数，则
Figure GDA00027842685500000512
的值采用下列方式确定：
当普通金融数据xb和二次聚类中心
Figure GDA00027842685500000513
的聚类属性相同，且xb，
Figure GDA00027842685500000514
时，则
Figure GDA00027842685500000515
的值为：
Figure GDA00027842685500000516
式中，当二次聚类中心
Figure GDA00027842685500000517
所对应的金融数据在初次聚类时为聚类中心时，则
Figure GDA00027842685500000518
表示二次聚类中心
Figure GDA0002784268550000061
所对应的金融数据在初次聚类时所在的类，当二次聚类中心
Figure GDA0002784268550000062
所对应的金融数据在初次聚类时不是聚类中心时，则
Figure GDA0002784268550000063
表示在初次聚类时二次聚类中心
Figure GDA0002784268550000064
所对应的金融数据在类别集合C1中具有最大隶属度的类，
Figure GDA0002784268550000065
表示在初次聚类时普通金融数据xb属于类
Figure GDA0002784268550000066
的隶属度，当普通金融数据xb在初次聚类时为聚类中心且所在的类和类
Figure GDA0002784268550000067
相同时，则
Figure GDA0002784268550000068
当普通金融数据xb在初次聚类时为聚类中心且所在的类和类
Figure GDA0002784268550000069
不同时，则
Figure GDA00027842685500000610
当普通金融数据xb和二次聚类中心
Figure GDA00027842685500000611
的聚类属性相同，且xb，
Figure GDA00027842685500000612
时，则
Figure GDA00027842685500000613
的值为：
Figure GDA00027842685500000614
式中，
Figure GDA00027842685500000615
表示类别集合C1中的第p个类，
Figure GDA00027842685500000616
表示在初次聚类时普通金融数据xb属于类
Figure GDA00027842685500000617
的隶属度，当普通金融数据xb在初次聚类时为聚类中心且所在的类和类
Figure GDA00027842685500000618
相同时，则
Figure GDA00027842685500000619
当普通金融数据xb在初次聚类时为聚类中心且所在的类和类
Figure GDA00027842685500000620
不同时，则
Figure GDA00027842685500000621
Figure GDA00027842685500000622
表示在初次聚类时二次聚类中心
Figure GDA00027842685500000623
所对应的金融数据属于类
Figure GDA00027842685500000624
的隶属度，当二次聚类中心
Figure GDA00027842685500000625
所对应的金融数据在初次聚类时为聚类中心且所在的类和类
Figure GDA00027842685500000626
相同时，则
Figure GDA00027842685500000627
当二次聚类中心
Figure GDA00027842685500000628
所对应的金融数据在初次聚类时为聚类中心且所在的类和类
Figure GDA00027842685500000629
不同时，则
Figure GDA00027842685500000630
当普通金融数据xb和二次聚类中心
Figure GDA00027842685500000631
的聚类属性不同时，则
Figure GDA00027842685500000632
的值为：
Figure GDA00027842685500000633
式中，xe表示金融数据集合X中的第e个金融数据，
Figure GDA00027842685500000634
表示在初次聚类时金融数据xe属于类
Figure GDA0002784268550000071
的隶属度，
Figure GDA0002784268550000072
表示在初次聚类时金融数据xe属于类
Figure GDA0002784268550000073
的隶属度，当普通金融数据xb在初次聚类时为聚类中心时，则c1(xb)表示普通金融数据xb在初次聚类时所在的类，当普通金融数据xb在初次聚类时不是聚类中心时，则c1(xb)表示在初次聚类时普通金融数据xb在类别集合C1中具有最大隶属度的类，
Figure GDA0002784268550000074
表示在初次聚类时金融数据xe属于类c1(xb)的隶属度；
普通金融数据xb选取和其具有最大聚合值的二次聚类中心加入，当金融数据集合X中所有的普通金融数据都加入到二次聚类中心后，所形成的类即为二次聚类的划分结果。
本优选实施例用于根据选取的二次聚类中心将金融数据集合中的金融数据进行分类，首先根据初次聚类的结果对金融数据集合中的金融数据的聚类属性进行标记，判断所述金融数据在初次聚类时的分类程度，定义聚类属性判断函数，所述聚类属性判断函数根据金融数据对类别集合中各类的隶属度判断该金融数据在初次聚类时所属类别的明确性，当所述金融数据在初次聚类时的最大隶属度值和其他隶属度值的差值都较大时，该金融数据较大概率属于具有最大隶属度的类，即表明该金融数据在初次聚类时的分类结果较为明确，将该金融数据标记为1，当所述金融数据在初次聚类时的最大隶属度和其他隶属度值的差值较小时，表明该金融数据的分类结果较为模糊，将该金融数据标记为0；对金融数据集合中的金融数据的聚类属性标记结束后，通过定义所述金融数据和二次聚类中心之间聚合值判断所述金融数据加入的二次聚类中心，定义的聚合值中除了引入了传统的距离因素外，还额外引入了能够反应所述金融数据和二次聚类中心在初次聚类时的相似关系的模糊调节系数对所述聚合值进行调节，采用模糊聚类算法聚类的金融数据都以一定的隶属度隶属于所有的簇，因此，所述模糊调节系数在衡量所述金融数据和二次聚类中心之间的相似关系时，根据所述金融数据和二次聚类中心在初次聚类时的聚类属性确定所述金融数据和二次聚类中心之间的相似关系，当所述金融数据和二次聚类中心在初次聚类时的聚类属性都标记为1，且所述金融数据具有最大隶属度的类和二次聚类中心具有最大隶属度的类为同一个类时，表明所述金融数据和二次聚类中心的聚类结果较为明确，所述金融数据和二次聚类中心具有较大概率属于同一类，即
Figure GDA0002784268550000075
的值较大，此时，模糊调节系数的值较大，即增加了所述金融数据和二次聚类中心之间的聚合值；当所述金融数据和二次聚类中心在初次聚类时的聚类属性都标记为1，但所述金融数据和二次聚类中心在初次聚类时具有最大隶属度的类别为不同类时，表明所述金融数据和二次聚类中心的聚类结果较为明确，所述金融数据和二次聚类中心具有较大概率不属于同一类，即
Figure GDA0002784268550000081
的值较小，此时，模糊调节系数的值较小，即减小了所述金融数据和二次聚类中心之间的聚合值；当所述金融数据和二次聚类中心在初次聚类时的聚类属性都标记为0，表明所述金融数据和二次聚类中心的聚类结果较为模糊，此时，通过统计所述金融数据和二次聚类中心在类别集合中各类的重叠程度判断所述金融数据和二次聚类中心的相似性，重叠程度越高，表明所述金融数据和二次聚类中心的相似性越高，所述金融数据和二次聚类中心处于同一类的可能性越大，此时，模糊调节系数的值较大，即增加了所述金融数据和二次聚类中心之间的聚合值；当所述金融数据的聚类属性标记为1而二次聚类中心的聚类属性标记为0时，则表明所述金融数据在初次聚类时的聚类结果较为明确，而二次聚类中心在初次聚类时的聚类结果较为模糊，此时，通过统计类别集合中的类和所述金融数据具有最大隶属度的类的加权重叠程度而判断所述金融数据和二次聚类中心之间的相似性，重叠程度越高，表明所述金融数据和二次聚类中心之间的相似性越高，所述金融数据和二次聚类中心处于同一类的可能性越大，此时，模糊调节系数的值越大，即增加了所述金融数据和二次聚类中心之间的聚合值；当所述金融数据的聚类属性标记为0而二次聚类中心的聚类属性标记为1时，则表明所述金融数据在初次聚类时的聚类结果较为模糊，而二次聚类中心在初次聚类时的聚类结果较为明确，此时，通过统计类别集合中的类和所述二次聚类中心具有最大隶属度的类的加权重叠程度而判断所述金融数据和二次聚类中心之间的相似性，重叠程度越高，表明所述金融数据和二次聚类中心之间的相似性越高，所述金融数据和二次聚类中心处于同一类的可能性越大，此时，模糊调节系数的值越大，即增加了所述金融数据和二次聚类中心之间的聚合值；所述聚合值综合引入了距离因素和初次聚类的结果，所述普通金融数据选取和其具有最大聚合值的二次聚类中心加入，保证了类中金融数据的相似性，增加了二次聚类结果的准确性。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (3)

1.一种基于区块链的金融大数据分析系统，其特征是，包括金融数据收集模块、金融数据处理模块、区块链存储模块和金融数据分析模块，所述金融数据收集模块用于收集历史金融数据和实时金融数据，所述金融数据处理模块用于对收集的历史金融数据和实时金融数据进行预处理，并分别将预处理后的历史金融数据和实时金融数据进行聚类，根据聚类结果对收集的历史金融数据和实时金融数据进行入侵检测，将通过入侵检测的金融数据传输至区块链存储模块进行存储，所述金融数据分析模块用于从区块链存储模块中调取所述历史金融数据和实时金融数据对金融数据的未来走势进行预测；所述金融数据处理模块包括数据预处理单元、数据聚类单元和入侵检测单元，所述数据预处理单元用于对收集的历史金融数据和实时金融数据进行归一化处理，所述数据聚类单元分别将归一化处理后的历史金融数据和实时金融数据进行聚类，所述入侵检测单元用于根据聚类结果对收集的历史金融数据和实时金融数据进行入侵检测，当检测到类中的金融数据为入侵数据时将该类进行删除，当检测到类中的金融数据为正常数据时将该类传输至区块链存储模块进行存储；所述数据聚类单元用于将所述金融数据进行聚类，采用FCM聚类算法将所述金融数据进行初次聚类，设X表示金融数据集合，且X＝{xi，i＝1，2，...，N}，C1表示采用FCM聚类算法将金融数据集合X划分的类别集合，且
Figure FDA0002784268540000011
V1表示类别集合C1中的类所对应的聚类中心集合，且
Figure FDA0002784268540000012
其中，xi表示金融数据集合X中的第i个金融数据，N表示金融数据集合X中的金融数据量，
Figure FDA0002784268540000013
表示类别集合C1中的第j个类，
Figure FDA0002784268540000014
表示类
Figure FDA0002784268540000015
对应的聚类中心，l表示划分的类别数；对金融数据集合X中的金融数据进行二次聚类，设V2表示二次聚类中心的集合，在金融数据集合X中选取l个二次聚类中心，设xm表示金融数据集合X中的第m个金融数据，定义J(xm)为金融数据xm对应的信息值，且J(xm)的值为：
Figure FDA0002784268540000016
式中，L(xm)表示金融数据xm的局部邻域数据集合，且
Figure FDA0002784268540000017
Figure FDA0002784268540000018
其中，xn表示局部邻域数据集合L(xm)中的第n个金融数据，H(xm)为金融数据xm对应的局部距离阈值，且
Figure FDA0002784268540000019
当金融数据xm在初次聚类时为聚类中心时，c1(xm)表示在初次聚类时金融数据xm所在的类，当金融数据xm在初次聚类时不为聚类中心时，c1(xm)表示在初次聚类时金融数据xm在类别集合C1中具有最大隶属度的类，xt表示类c1(xm)中的第t个金融数据，
Figure FDA0002784268540000021
为金融数据xm在局部邻域数据集合L(xm)中的邻域检测系数，且
Figure FDA0002784268540000022
的表达式为：
Figure FDA0002784268540000023
其中，ML(xm)表示局部邻域数据集合L(xm)中的金融数据量，f(xn)为金融数据xn对应的邻域判断函数，设L(xn)表示金融数据xn的局部邻域数据集合，
Figure FDA0002784268540000024
表示金融数据xn在局部邻域数据集合L(xn)中的邻域检测系数，当
Figure FDA0002784268540000025
时，则f(xn)＝0，当
Figure FDA0002784268540000026
Figure FDA0002784268540000027
时，则f(xn)＝1；
将金融数据集合X中的金融数据按其信息值由大到小进行排列，选取前2l个金融数据组成集合K，且K＝{xp，p＝1，2，...，2l}，其中，xp表示集合K中的第p个金融数据；对集合K中的金融数据进行筛选，当xp∈V1时，则选取金融数据xp为二次聚类中心，并将金融数据xp加入到集合V2中，设在集合K中选取的二次聚类中心组成的集合
Figure FDA0002784268540000028
其中，
Figure FDA0002784268540000029
表示集合V2中的第q个二次聚类中心，M(K)表示在集合K中选取的二次聚类中心的数量，当M(K)＝l时，则二次聚类中心选取完成；当M(K)＜l时，则采用竞争的方式在金融数据集合X中选取剩余的二次聚类中心，设xs表示金融数据集合X中的第s个金融数据，定义金融数据xs竞争二次聚类中心的优先级为F(xs)，则F(xs)的表达式为：
Figure FDA00027842685400000210
式中，τ(xs)为金融数据xs对应的判断函数，当xs∈V2时，则τ(xs)＝0，当
Figure FDA00027842685400000211
时，则τ(xs)＝1，J(xs)表示金融数据xs对应的信息值，M(V2)表示当前时刻集合V2中的二次聚类中心数；
在金融数据集合X中选取具有最大优先级的金融数据为二次聚类中心，并将选取的二次聚类中心加入到集合V2中，继续采用竞争的方式在金融数据集合X中选取剩余的二次聚类中心，直到集合V2中的二次聚类中心数等于l时，即停止选取。
2.根据权利要求1所述的一种基于区块链的金融大数据分析系统，其特征是，金融数据分析模块包括金融数据分析单元、BP神经网络训练单元和金融数据预测单元，所述金融数据分析单元用于对区块链存储模块中存储的历史金融数据进行分析，确定所述历史金融数据的走势，所述BP神经网络训练单元将区块链存储模块中存储的历史金融数据的聚类结果作为BP神经网络的输入量，将金融数据分析单元确定的所述历史金融数据的走势作为BP神经网络的输出量对BP神经网络进行训练，所述金融数据预测单元采用BP神经网络训练单元训练好的BP神经网络对实时金融数据的走势进行预测，所述BP神经网络的输入量为区块链存储模块中存储的实时金融数据的聚类结果。
3.根据权利要求1所述的一种基于区块链的金融大数据分析系统，其特征是，将金融数据集合X中未被选取为二次聚类中心的金融数据视为普通金融数据，对金融数据集合X中的普通金融数据进行聚类。
CN202010466325.4A 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统 Expired - Fee Related CN111612261B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010466325.4A CN111612261B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统
CN202011362126.5A CN112330067B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010466325.4A CN111612261B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011362126.5A Division CN112330067B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统

Publications (2)

Publication Number Publication Date
CN111612261A CN111612261A (zh) 2020-09-01
CN111612261B true CN111612261B (zh) 2021-04-09

Family

ID=72198407

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011362126.5A Active CN112330067B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统
CN202010466325.4A Expired - Fee Related CN111612261B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011362126.5A Active CN112330067B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统

Country Status (1)

Country Link
CN (2) CN112330067B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112881434B (zh) * 2021-01-14 2022-10-14 深圳医爱健康管理有限公司 基于5g和区块链的肿瘤细胞放射敏感性检测系统及方法
CN113065710A (zh) * 2021-04-09 2021-07-02 深圳市小金象科技有限公司 一种基于人工智能和区块链的金融预测系统
CN113191880A (zh) * 2021-05-24 2021-07-30 中国工商银行股份有限公司 银行柜员终端加钞建议确定方法及装置
CN115205041B (zh) * 2022-07-15 2023-07-07 山东大学 一种基于区块链的金融大数据处理系统及方法
CN116432064B (zh) * 2023-03-06 2023-10-27 北京车讯互联网股份有限公司 一种数据预处理系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281674B (zh) * 2014-09-29 2017-07-11 同济大学 一种基于集聚系数的自适应聚类方法及系统
CN106203478A (zh) * 2016-06-27 2016-12-07 南昌大学 一种用于智能电表大数据的负荷曲线聚类方法
CN108521434B (zh) * 2018-05-29 2019-11-19 东莞市大易产业链服务有限公司 一种基于区块链技术的网络安全入侵检测系统
CN108765194A (zh) * 2018-05-29 2018-11-06 深圳源广安智能科技有限公司 一种有效的居民用电行为分析系统
CN111192144A (zh) * 2020-01-03 2020-05-22 湖南工商大学 一种金融数据预测方法、装置、设备及存储介质
CN111986811B (zh) * 2020-02-24 2021-10-15 广州瘦吧网络科技有限公司 一种基于算法和大数据的疾病预测系统

Also Published As

Publication number Publication date
CN111612261A (zh) 2020-09-01
CN112330067A (zh) 2021-02-05
CN112330067B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN111612261B (zh) 基于区块链的金融大数据分析系统
CN107633265B (zh) 用于优化信用评估模型的数据处理方法及装置
Rao et al. 2-stage modified random forest model for credit risk assessment of P2P network lending to “Three Rurals” borrowers
CN107909299B (zh) 人伤理赔数据风险检测方法和系统
Song et al. Multi-view ensemble learning based on distance-to-model and adaptive clustering for imbalanced credit risk assessment in P2P lending
US9330127B2 (en) Methods and systems for automatic selection of classification and regression trees
Mukid et al. Credit scoring analysis using weighted k nearest neighbor
CN111105104A (zh) 一种基于相似日和rbf神经网络的短期电力负荷预测方法
Mohammadi et al. Customer credit risk assessment using artificial neural networks
CN110459292B (zh) 一种基于聚类和pnn的药品风险分级方法
CN103714261A (zh) 二阶段混合模型的智能辅助医疗决策支持方法
CN110837523A (zh) 一种基于级联神经网络的高置信改造质量和减假暂量化评估方法
CN112001788A (zh) 一种基于rf-dbscan算法的信用卡违约欺诈识别方法
Aphale et al. Predict loan approval in banking system machine learning approach for cooperative banks loan approval
CN112529638B (zh) 基于用户分类和深度学习的服务需求动态预测方法及系统
Ghazal et al. Data Mining and Exploration: A Comparison Study among Data Mining Techniques on Iris Data Set
Jupri et al. Data mining, fuzzy AHP and TOPSIS for optimizing taxpayer supervision
Wang et al. Mushroom toxicity recognition based on multigrained cascade forest
Karimi-Haghighi et al. Predicting early dropout: Calibration and algorithmic fairness considerations
CN107016416A (zh) 基于邻域粗糙集和pca融合的数据分类预测方法
CN109685133A (zh) 基于构建的预测模型低成本、高区分度的数据分类方法
Jain et al. Increasing Fairness in Predictions Using Bias Parity Score Based Loss Function Regularization
WO2024027146A1 (zh) 阵列式人脸美丽预测方法、设备及存储介质
Xu et al. An ensemble learning method based on an evidential reasoning rule considering combination weighting
CN115018006A (zh) 一种基于Dempster-Shafer框架的分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210323

Address after: No. 408, block B, No. 1677, North Tianfu Avenue, high tech Zone, Chengdu, Sichuan 610000

Applicant after: LianBo (Chengdu) Technology Co.,Ltd.

Address before: No.8, Yantian Road, xinyingwan District, Yangpu Economic Development Zone, Danzhou City, Hainan Province

Applicant before: Yangpu Minoan Electronic Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210409