CN112330067A - 基于区块链的金融大数据分析系统 - Google Patents

基于区块链的金融大数据分析系统 Download PDF

Info

Publication number
CN112330067A
CN112330067A CN202011362126.5A CN202011362126A CN112330067A CN 112330067 A CN112330067 A CN 112330067A CN 202011362126 A CN202011362126 A CN 202011362126A CN 112330067 A CN112330067 A CN 112330067A
Authority
CN
China
Prior art keywords
financial data
clustering
class
representing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011362126.5A
Other languages
English (en)
Other versions
CN112330067B (zh
Inventor
李国安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shandong Digital Technology Group Co ltd
Original Assignee
Yangpu Minoan Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangpu Minoan Electronic Technology Co ltd filed Critical Yangpu Minoan Electronic Technology Co ltd
Priority to CN202011362126.5A priority Critical patent/CN112330067B/zh
Publication of CN112330067A publication Critical patent/CN112330067A/zh
Application granted granted Critical
Publication of CN112330067B publication Critical patent/CN112330067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06—Asset management; Financial planning or analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Biophysics (AREA)
  • Operations Research (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Technology Law (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于区块链的金融大数据分析系统，包括金融数据收集模块、金融数据处理模块、区块链存储模块和金融数据分析模块，所述金融数据收集模块用于收集金融数据，所述金融数据处理模块用于对收集的金融数据进行入侵检测，将通过入侵检测的金融数据传输至区块链存储模块进行存储，所述金融数据分析模块用于从区块链存储模块中调取所述金融数据进行分析。本发明的有益效果：通过聚类算法将收集大的金融数据划分为不同的类别，并对划分的类别进行入侵检测后传输至区块链存储模块进行存储，能够有效的避免恶意数据对金融数据分析系统的攻击；金融数据分析模块采用BP神经网络对金融数据的走势进行预测，从而能够及时掌握金融数据的走势。

Description

基于区块链的金融大数据分析系统
技术领域
本发明创造涉及金融领域，具体涉及一种基于区块链的金融大数据分析系统。
背景技术
在金融市场中，经常需要做数据分析，以便通过历史数据对当前的市场走向提供参考依据。中国的证券市场成立十几年来，随着计算机技术、信息化和网络化的不断发展，金融行业的各个金融机构存储并积累了大量的原始金融数据，怎样使金融数据挖掘管理不断完善，也成为了一个热门话题。
发明内容
针对上述问题，本发明旨在提供一种基于区块链的金融大数据分析系统。
本发明创造的目的通过以下技术方案实现：
一种基于区块链的金融大数据分析系统，包括金融数据收集模块、金融数据处理模块、区块链存储模块和金融数据分析模块，所述金融数据收集模块用于收集历史金融数据和实时金融数据，所述金融数据处理模块用于对收集的历史金融数据和实时金融数据进行预处理，并分别将预处理后的历史金融数据和实时金融数据进行聚类，根据聚类结果对收集的历史金融数据和实时金融数据进行入侵检测，将通过入侵检测的金融数据传输至区块链存储模块进行存储，所述金融数据分析模块用于从区块链存储模块中调取所述历史金融数据和实时金融数据对金融数据的未来走势进行预测。
本发明创造的有益效果：通过聚类算法将收集到的金融数据划分为不同的类别，并对划分的类别进行入侵检测后传输至区块链存储模块进行存储，能够有效的避免恶意数据对金融数据分析系统的攻击；金融数据分析模块采用收集到的历史金融数据对BP神经网络进行训练，并采用训练好的BP神经网络对金融数据的走势进行预测，能够及时了解金融数据的走势。
附图说明
利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明结构示意图。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种基于区块链的金融大数据分析系统，包括金融数据收集模块、金融数据处理模块、区块链存储模块和金融数据分析模块，所述金融数据收集模块用于收集历史金融数据和实时金融数据，所述金融数据处理模块用于对收集的历史金融数据和实时金融数据进行预处理，并分别将预处理后的历史金融数据和实时金融数据进行聚类，根据聚类结果对收集的历史金融数据和实时金融数据进行入侵检测，将通过入侵检测的金融数据传输至区块链存储模块进行存储，所述金融数据分析模块用于从区块链存储模块中调取所述历史金融数据和实时金融数据对金融数据的未来走势进行预测。
优选地，所述金融数据处理模块包括数据预处理单元、数据聚类单元和入侵检测单元，所述数据预处理单元用于对收集的历史金融数据和实时金融数据进行归一化处理，所述数据聚类单元分别将归一化处理后的历史金融数据和实时金融数据进行聚类，所述入侵检测单元用于根据聚类结果对收集的历史金融数据和实时金融数据进行入侵检测，当检测到类中的金融数据为入侵数据时将该类进行删除，当检测到类中的金融数据为正常数据时将该类传输至区块链存储模块进行存储。
优选地，所述金融数据分析模块包括金融数据分析单元、BP神经网络训练单元和金融数据预测单元，所述金融数据分析单元用于对区块链存储模块中存储的历史金融数据进行分析，确定所述历史金融数据的走势，所述BP神经网络训练单元将区块链存储模块中存储的历史金融数据的聚类结果作为BP神经网络的输入量，将金融数据分析单元确定的所述历史金融数据的走势作为BP神经网络的输出量对BP神经网络进行训练，所述金融数据预测单元采用BP神经网络训练单元训练好的BP神经网络对实时金融数据的走势进行预测，所述BP神经网络的输入量为区块链存储模块中存储的实时金融数据的聚类结果。
本优选实施例通过聚类算法将收集到的金融数据划分为不同的类别，并对划分的类别进行入侵检测后传输至区块链存储模块进行存储，能够有效的避免恶意数据对金融数据分析系统的攻击；金融数据分析模块采用收集到的历史金融数据对BP神经网络模型进行训练，并采用训练好的BP神经网络对金融数据的走势进行预测，能够及时了解金融数据的走势。
优选地，所述数据聚类单元用于将所述金融数据进行聚类，采用FCM聚类算法将所述金融数据进行初次聚类，设X表示金融数据集合，且X＝{xi,i＝1,2,…,N}，C1表示采用FCM聚类算法将金融数据集合X划分的类别集合，且
Figure BDA0002804284340000031
V1表示类别集合C1中的类所对应的聚类中心集合，且
Figure BDA0002804284340000032
其中，xi表示金融数据集合X中的第i个金融数据，N表示金融数据集合X中的金融数据量，
Figure BDA0002804284340000033
表示类别集合C1中的第j个类，
Figure BDA0002804284340000034
表示类
Figure BDA0002804284340000035
对应的聚类中心，l表示划分的类别数。
优选地，对金融数据集合X中的金融数据进行二次聚类，设V2表示二次聚类中心的集合，在金融数据集合X中选取l个二次聚类中心，设xm表示金融数据集合X中的第m个金融数据，定义J(xm)为金融数据xm对应的信息值，且J(xm)的值为：
Figure BDA0002804284340000036
式中，L(xm)表示金融数据xm的局部邻域数据集合，且
Figure BDA0002804284340000037
Figure BDA0002804284340000038
其中，xn表示局部邻域数据集合L(xm)中的第n个金融数据，H(xm)为金融数据xm对应的局部距离阈值，且
Figure BDA0002804284340000039
当金融数据xm在初次聚类时为聚类中心时，c1(xm)表示在初次聚类时金融数据xm所在的类，当金融数据xm在初次聚类时不为聚类中心时，c1(xm)表示在初次聚类时金融数据xm在类别集合C1中具有最大隶属度的类，xt表示类c1(xm)中的第t个金融数据，
Figure BDA00028042843400000310
为金融数据xm在局部邻域数据集合L(xm)中的邻域检测系数，
Figure BDA00028042843400000311
的表达式为：
Figure BDA00028042843400000312
其中，ML(xm)表示局部邻域数据集合L(xm)中的金融数据量，f(xn)为金融数据xn对应的邻域判断函数，设L(xn)表示金融数据xn的局部邻域数据集合，
Figure BDA00028042843400000313
表示金融数据xn在局部邻域数据集合L(xn)中的邻域检测系数，当
Figure BDA00028042843400000314
时，则f(xn)＝0，当
Figure BDA00028042843400000315
Figure BDA00028042843400000316
时，则f(xn)＝1；
将金融数据集合X中的金融数据按其信息值由大到小进行排列，选取前2l个金融数据组成集合K，且K＝{xp,p＝1,2,…,2l}，其中，xp表示集合K中的第p个金融数据；对集合K中的金融数据进行筛选，当xp∈V1时，则选取金融数据xp为二次聚类中心，并将金融数据xp加入到集合V2中，设在集合K中选取的二次聚类中心组成的集合
Figure BDA00028042843400000317
其中，
Figure BDA00028042843400000318
表示集合V2中的第q个二次聚类中心，M(K)表示在集合K中选取的二次聚类中心的数量，当M(K)＝l时，则二次聚类中心选取完成，当M(K)＜l时，则采用竞争的方式在金融数据集合X中选取剩余的二次聚类中心，设xs表示金融数据集合X中的第s个金融数据，定义金融数据xs竞争二次聚类中心的优先级为F(xs)，则F(xs)的表达式为：
Figure BDA0002804284340000041
式中，τ(xs)为金融数据xs对应的判断函数，当xs∈V2时，则τ(xs)＝0，当
Figure BDA0002804284340000042
时，则τ(xs)＝1，J(xs)表示金融数据xs对应的信息值，M(V2)表示当前时刻集合V2中的二次聚类中心数；
在金融数据集合X中选取具有最大优先级的金融数据为二次聚类中心，并将选取的二次聚类中心加入到集合V2中，继续采用竞争的方式在金融数据集合X中选取剩余的二次聚类中心，直到集合V2中的二次聚类中心数等于l时，即停止选取。
本优选实施例用于对金融数据集合中的金融数据进行聚类，采用FCM聚类算法对金融数据集合中的金融数据进行初次聚类后，金融数据集合中的金融数据都以一定的隶属度隶属于各个类，当所述金融数据隶属于各类的隶属度都较为接近时，如果仅仅将所述金融数据归属于其具有最大隶属度的类，容易造成分类不准确的缺陷，针对这种缺陷，本优选实施例采用不同的方式对金融数据集合中的金融数据进行二次聚类，在聚类的过程中引入了初次聚类的结果进行调节，从而增加了聚类结果的准确性；对金融数据集合中的金融数据进行二次聚类时，首先选取二次聚类的二次聚类中心，定义金融数据对应的信息值，所述信息值中的邻域检测系数通过统计所述金融数据和局部邻域数据集合中的金融数据的距离和局部邻域数据集合中的数据量来判断所述金融数据周围的数据分布情况，选取具有较大信息值的金融数据作为二次聚类中心保证了选取的二次聚类中心的周围分布有较多的金融数据，当金融数据集合中的金融数据分布的较为复杂或者不规则时，采用局部距离阈值获得的局部邻域数据集合并不能保证所述金融数据和其局部邻域数据集合中的金融数据之间的相似性，即计算所得的邻域检测系数并不能够准确的反应所述金融数据周围的数据分布情况，从而对二次聚类中心的选取造成影响，针对上述情况，本优选实施例在信息值的计算公式中引入了余弦形式的修正部分，对局部邻域数据集合中的金融数据进行邻域判断，通过将所述待判断金融数据的邻域检测系数和所述金融数据的邻域检测系数进行比较，当两者的差值较小时，则认为所述待判断金融数据与所述金融数据相似，当两者的差值较大时，则认为所述待判断金融数据和所述金融数据并不相似，当局部邻域数据集合中和所述金融数据不相似的金融数据的数量越多，信息值中的修正部分的值越小，即减少了邻域检测系数的值，使得所述金融数据的信息值能够更准确的描述所述金融数据周围的数据分布情况，从而使得根据金融数据的信息值选取的聚类中心更加的符合金融数据集合X中金融数据的分布情况。
优选地，将金融数据集合X中未被选取为二次聚类中心的金融数据视为普通金融数据，对金融数据集合X中的普通金融数据进行聚类，具体包括：
(1)根据初次聚类的结果对金融数据集合X中的金融数据的聚类属性进行标定，设xg表示金融数据集合X中的第g个金融数据，定义金融数据xg的聚类属性判断函数为λ(xg)，且λ(xg)的表达式为：
Figure BDA0002804284340000051
式中，
Figure BDA0002804284340000052
表示在初次聚类时金融数据xg属于类别集合C1中类的最大隶属度值，
Figure BDA0002804284340000053
表示在初次聚类时金融数据xg属于类
Figure BDA0002804284340000054
的隶属度值，且
Figure BDA0002804284340000055
当聚类属性判断函数λ(xg)＞1时，则将金融数据xg的聚类属性标记为1，当聚类属性判断函数λ(xg)≤1时，则将金融数据xg的聚类属性标记为0，此外，将初次聚类时的聚类中心所对应的金融数据也标记为1，将金融数据集合X中聚类属性标记为1的金融数据组成集合A(1)，将金融数据集合X中聚类属性标记为0的金融数据组成集合B(0)；
(2)设xb表示金融数据集合X中的第b个普通金融数据，定义普通金融数据xb和二次聚类中心
Figure BDA0002804284340000056
的聚合值为
Figure BDA0002804284340000057
且
Figure BDA0002804284340000058
的值为：
Figure BDA0002804284340000059
式中，
Figure BDA00028042843400000510
表示普通金融数据xb和二次聚类中心
Figure BDA00028042843400000511
之间的模糊调节系数，则
Figure BDA00028042843400000512
的值采用下列方式确定：
当普通金融数据xb和二次聚类中心
Figure BDA00028042843400000513
的聚类属性相同，且
Figure BDA00028042843400000514
时，则
Figure BDA00028042843400000515
的值为：
Figure BDA0002804284340000061
式中，当二次聚类中心
Figure BDA0002804284340000062
所对应的金融数据在初次聚类时为聚类中心时，则
Figure BDA0002804284340000063
表示二次聚类中心
Figure BDA0002804284340000064
所对应的金融数据在初次聚类时所在的类，当二次聚类中心
Figure BDA0002804284340000065
所对应的金融数据在初次聚类时不是聚类中心时，则
Figure BDA0002804284340000066
表示在初次聚类时二次聚类中心
Figure BDA0002804284340000067
所对应的金融数据在类别集合C1中具有最大隶属度的类，
Figure BDA0002804284340000068
表示在初次聚类时普通金融数据xb属于类
Figure BDA0002804284340000069
的隶属度，当普通金融数据xb在初次聚类时为聚类中心且所在的类和类
Figure BDA00028042843400000610
相同时，则
Figure BDA00028042843400000611
当普通金融数据xb在初次聚类时为聚类中心且所在的类和类
Figure BDA00028042843400000612
不同时，则
Figure BDA00028042843400000613
当普通金融数据xb和二次聚类中心
Figure BDA00028042843400000614
的聚类属性相同，且
Figure BDA00028042843400000615
时，则
Figure BDA00028042843400000616
的值为：
Figure BDA00028042843400000617
式中，
Figure BDA00028042843400000618
表示类别集合C1中的第p个类，
Figure BDA00028042843400000619
表示在初次聚类时普通金融数据xb属于类
Figure BDA00028042843400000620
的隶属度，当普通金融数据xb在初次聚类时为聚类中心且所在的类和类
Figure BDA00028042843400000621
相同时，则
Figure BDA00028042843400000622
当普通金融数据xb在初次聚类时为聚类中心且所在的类和类
Figure BDA00028042843400000623
不同时，则
Figure BDA00028042843400000624
Figure BDA00028042843400000625
表示在初次聚类时二次聚类中心
Figure BDA00028042843400000626
所对应的金融数据属于类
Figure BDA00028042843400000627
的隶属度，当二次聚类中心
Figure BDA00028042843400000628
所对应的金融数据在初次聚类时为聚类中心且所在的类和类
Figure BDA00028042843400000629
相同时，则
Figure BDA00028042843400000630
当二次聚类中心
Figure BDA00028042843400000631
所对应的金融数据在初次聚类时为聚类中心且所在的类和类
Figure BDA00028042843400000632
不同时，则
Figure BDA00028042843400000633
当普通金融数据xb和二次聚类中心
Figure BDA00028042843400000634
的聚类属性不同时，则
Figure BDA00028042843400000635
的值为：
Figure BDA0002804284340000071
式中，xe表示金融数据集合X中的第e个金融数据，
Figure BDA0002804284340000072
表示在初次聚类时金融数据xe属于类
Figure BDA0002804284340000073
的隶属度，
Figure BDA0002804284340000074
表示在初次聚类时金融数据xe属于类
Figure BDA0002804284340000075
的隶属度，当普通金融数据xb在初次聚类时为聚类中心时，则c1(xb)表示普通金融数据xb在初次聚类时所在的类，当普通金融数据xb在初次聚类时不是聚类中心时，则c1(xb)表示在初次聚类时普通金融数据xb在类别集合C1中具有最大隶属度的类，
Figure BDA0002804284340000076
表示在初次聚类时金融数据xe属于类c1(xb)的隶属度；
普通金融数据xb选取和其具有最大聚合值的二次聚类中心加入，当金融数据集合X中所有的普通金融数据都加入到二次聚类中心后，所形成的类即为二次聚类的划分结果。
本优选实施例用于根据选取的二次聚类中心将金融数据集合中的金融数据进行分类，首先根据初次聚类的结果对金融数据集合中的金融数据的聚类属性进行标记，判断所述金融数据在初次聚类时的分类程度，定义聚类属性判断函数，所述聚类属性判断函数根据金融数据对类别集合中各类的隶属度判断该金融数据在初次聚类时所属类别的明确性，当所述金融数据在初次聚类时的最大隶属度值和其他隶属度值的差值都较大时，该金融数据较大概率属于具有最大隶属度的类，即表明该金融数据在初次聚类时的分类结果较为明确，将该金融数据标记为1，当所述金融数据在初次聚类时的最大隶属度和其他隶属度值的差值较小时，表明该金融数据的分类结果较为模糊，将该金融数据标记为0；对金融数据集合中的金融数据的聚类属性标记结束后，通过定义所述金融数据和二次聚类中心之间聚合值判断所述金融数据加入的二次聚类中心，定义的聚合值中除了引入了传统的距离因素外，还额外引入了能够反应所述金融数据和二次聚类中心在初次聚类时的相似关系的模糊调节系数对所述聚合值进行调节，采用模糊聚类算法聚类的金融数据都以一定的隶属度隶属于所有的簇，因此，所述模糊调节系数在衡量所述金融数据和二次聚类中心之间的相似关系时，根据所述金融数据和二次聚类中心在初次聚类时的聚类属性确定所述金融数据和二次聚类中心之间的相似关系，当所述金融数据和二次聚类中心在初次聚类时的聚类属性都标记为1，且所述金融数据具有最大隶属度的类和二次聚类中心具有最大隶属度的类为同一个类时，表明所述金融数据和二次聚类中心的聚类结果较为明确，所述金融数据和二次聚类中心具有较大概率属于同一类，即
Figure BDA0002804284340000081
的值较大，此时，模糊调节系数的值较大，即增加了所述金融数据和二次聚类中心之间的聚合值；当所述金融数据和二次聚类中心在初次聚类时的聚类属性都标记为1，但所述金融数据和二次聚类中心在初次聚类时具有最大隶属度的类别为不同类时，表明所述金融数据和二次聚类中心的聚类结果较为明确，所述金融数据和二次聚类中心具有较大概率不属于同一类，即
Figure BDA0002804284340000082
的值较小，此时，模糊调节系数的值较小，即减小了所述金融数据和二次聚类中心之间的聚合值；当所述金融数据和二次聚类中心在初次聚类时的聚类属性都标记为0，表明所述金融数据和二次聚类中心的聚类结果较为模糊，此时，通过统计所述金融数据和二次聚类中心在类别集合中各类的重叠程度判断所述金融数据和二次聚类中心的相似性，重叠程度越高，表明所述金融数据和二次聚类中心的相似性越高，所述金融数据和二次聚类中心处于同一类的可能性越大，此时，模糊调节系数的值较大，即增加了所述金融数据和二次聚类中心之间的聚合值；当所述金融数据的聚类属性标记为1而二次聚类中心的聚类属性标记为0时，则表明所述金融数据在初次聚类时的聚类结果较为明确，而二次聚类中心在初次聚类时的聚类结果较为模糊，此时，通过统计类别集合中的类和所述金融数据具有最大隶属度的类的加权重叠程度而判断所述金融数据和二次聚类中心之间的相似性，重叠程度越高，表明所述金融数据和二次聚类中心之间的相似性越高，所述金融数据和二次聚类中心处于同一类的可能性越大，此时，模糊调节系数的值越大，即增加了所述金融数据和二次聚类中心之间的聚合值；当所述金融数据的聚类属性标记为0而二次聚类中心的聚类属性标记为1时，则表明所述金融数据在初次聚类时的聚类结果较为模糊，而二次聚类中心在初次聚类时的聚类结果较为明确，此时，通过统计类别集合中的类和所述二次聚类中心具有最大隶属度的类的加权重叠程度而判断所述金融数据和二次聚类中心之间的相似性，重叠程度越高，表明所述金融数据和二次聚类中心之间的相似性越高，所述金融数据和二次聚类中心处于同一类的可能性越大，此时，模糊调节系数的值越大，即增加了所述金融数据和二次聚类中心之间的聚合值；所述聚合值综合引入了距离因素和初次聚类的结果，所述普通金融数据选取和其具有最大聚合值的二次聚类中心加入，保证了类中金融数据的相似性，增加了二次聚类结果的准确性。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (3)

1.一种基于区块链的金融大数据分析系统，其特征是，包括金融数据收集模块、金融数据处理模块、区块链存储模块和金融数据分析模块，所述金融数据收集模块用于收集历史金融数据和实时金融数据，所述金融数据处理模块用于对收集的历史金融数据和实时金融数据进行预处理，并分别将预处理后的历史金融数据和实时金融数据进行聚类，根据聚类结果对收集的历史金融数据和实时金融数据进行入侵检测，将通过入侵检测的金融数据传输至区块链存储模块进行存储，所述金融数据分析模块用于从区块链存储模块中调取所述历史金融数据和实时金融数据对金融数据的未来走势进行预测；所述金融数据处理模块包括数据预处理单元、数据聚类单元和入侵检测单元，所述数据预处理单元用于对收集的历史金融数据和实时金融数据进行归一化处理，所述数据聚类单元分别将归一化处理后的历史金融数据和实时金融数据进行聚类，所述入侵检测单元用于根据聚类结果对收集的历史金融数据和实时金融数据进行入侵检测，当检测到类中的金融数据为入侵数据时将该类进行删除，当检测到类中的金融数据为正常数据时将该类传输至区块链存储模块进行存储；所述数据聚类单元用于将所述金融数据进行聚类，采用FCM聚类算法将所述金融数据进行初次聚类，设X表示金融数据集合，且X＝{xi，i＝1，2，...，N}，C1表示采用FCM聚类算法将金融数据集合X划分的类别集合，且
Figure FDA0002804284330000011
V1表示类别集合C1中的类所对应的聚类中心集合，且
Figure FDA0002804284330000012
其中，xi表示金融数据集合X中的第i个金融数据，N表示金融数据集合X中的金融数据量，
Figure FDA0002804284330000013
表示类别集合C1中的第j个类，
Figure FDA0002804284330000014
表示类
Figure FDA0002804284330000015
对应的聚类中心，l表示划分的类别数；对金融数据集合X中的金融数据进行二次聚类，设V2表示二次聚类中心的集合，在金融数据集合X中选取l个二次聚类中心，设xm表示金融数据集合X中的第m个金融数据，定义J(xm)为金融数据xm对应的信息值，且J(xm)的值为：
Figure FDA0002804284330000016
式中，L(xm)表示金融数据xm的局部邻域数据集合，且
Figure FDA0002804284330000017
Figure FDA0002804284330000018
其中，xn表示局部邻域数据集合L(xm)中的第n个金融数据，H(xm)为金融数据xm对应的局部距离阈值，且
Figure FDA0002804284330000019
当金融数据xm在初次聚类时为聚类中心时，c1(xm)表示在初次聚类时金融数据xm所在的类，当金融数据xm在初次聚类时不为聚类中心时，c1(xm)表示在初次聚类时金融数据xm在类别集合C1中具有最大隶属度的类，xt表示类c1(xm)中的第t个金融数据，
Figure FDA0002804284330000021
为金融数据xm在局部邻域数据集合L(xm)中的邻域检测系数，且
Figure FDA0002804284330000022
的表达式为：
Figure FDA0002804284330000023
其中，ML(xm)表示局部邻域数据集合L(xm)中的金融数据量，f(xn)为金融数据xn对应的邻域判断函数，设L(xn)表示金融数据xn的局部邻域数据集合，
Figure FDA0002804284330000024
表示金融数据xn在局部邻域数据集合L(xn)中的邻域检测系数，当
Figure FDA0002804284330000025
时，则f(xn)＝0，当
Figure FDA0002804284330000026
Figure FDA0002804284330000027
时，则f(xn)＝1；
将金融数据集合X中的金融数据按其信息值由大到小进行排列，选取前2l个金融数据组成集合K，且K＝{xp，p＝1，2，...，2l}，其中，xp表示集合K中的第p个金融数据；对集合K中的金融数据进行筛选，当xp∈V1时，则选取金融数据xp为二次聚类中心，并将金融数据xp加入到集合V2中，设在集合K中选取的二次聚类中心组成的集合
Figure FDA0002804284330000028
其中，
Figure FDA0002804284330000029
表示集合V2中的第q个二次聚类中心，M(K)表示在集合K中选取的二次聚类中心的数量，当M(K)＝l时，则二次聚类中心选取完成；当M(K)＜l时，则采用竞争的方式在金融数据集合X中选取剩余的二次聚类中心，设xs表示金融数据集合X中的第s个金融数据，定义金融数据xs竞争二次聚类中心的优先级为F(xs)，则F(xs)的表达式为：
Figure FDA00028042843300000210
式中，τ(xs)为金融数据xs对应的判断函数，当xs∈V2时，则τ(xs)＝0，当
Figure FDA00028042843300000211
时，则τ(xs)＝1，J(xs)表示金融数据xs对应的信息值，M(V2)表示当前时刻集合V2中的二次聚类中心数；
在金融数据集合X中选取具有最大优先级的金融数据为二次聚类中心，并将选取的二次聚类中心加入到集合V2中，继续采用竞争的方式在金融数据集合X中选取剩余的二次聚类中心，直到集合V2中的二次聚类中心数等于l时，即停止选取；
所述金融数据分析模块包括金融数据分析单元、BP神经网络训练单元和金融数据预测单元。
2.根据权利要求1所述的一种基于区块链的金融大数据分析系统，其特征是，所述金融数据分析单元用于对区块链存储模块中存储的历史金融数据进行分析，确定所述历史金融数据的走势，所述BP神经网络训练单元将区块链存储模块中存储的历史金融数据的聚类结果作为BP神经网络的输入量，将金融数据分析单元确定的所述历史金融数据的走势作为BP神经网络的输出量对BP神经网络进行训练，所述金融数据预测单元采用BP神经网络训练单元训练好的BP神经网络对实时金融数据的走势进行预测，所述BP神经网络的输入量为区块链存储模块中存储的实时金融数据的聚类结果；
将金融数据集合X中未被选取为二次聚类中心的金融数据视为普通金融数据，对金融数据集合X中的普通金融数据进行聚类。
3.根据权利要求2所述的一种基于区块链的金融大数据分析系统，其特征是，对金融数据集合X中的普通金融数据进行聚类具体包括：
(1)根据初次聚类的结果对金融数据集合X中的金融数据的聚类属性进行标定，设xg表示金融数据集合X中的第g个金融数据，定义金融数据xg的聚类属性判断函数为λ(xg)，且λ(xg)的表达式为：
Figure FDA0002804284330000031
式中，
Figure FDA0002804284330000032
表示在初次聚类时金融数据xg属于类别集合C1中类的最大隶属度值，
Figure FDA0002804284330000033
表示在初次聚类时金融数据xg属于类
Figure FDA0002804284330000034
的隶属度值，且
Figure FDA0002804284330000035
当聚类属性判断函数λ(xg)＞1时，则将金融数据xg的聚类属性标记为1，当聚类属性判断函数f(xg)≤1时，则将金融数据xg的聚类属性标记为0，此外，将初次聚类时的聚类中心所对应的金融数据的聚类属性也标记为1，将金融数据集合X中聚类属性标记为1的金融数据组成集合A(1)，将金融数据集合X中聚类属性标记为0的金融数据组成集合B(0)；
(2)设xb表示金融数据集合X中的第b个普通金融数据，定义普通金融数据xb和二次聚类中心
Figure FDA0002804284330000036
的聚合值为
Figure FDA0002804284330000037
且
Figure FDA0002804284330000038
的值为：
Figure FDA0002804284330000039
式中，
Figure FDA00028042843300000310
表示普通金融数据xb和二次聚类中心
Figure FDA00028042843300000311
之间的模糊调节系数，
Figure FDA00028042843300000312
的值采用下列方式确定：
当普通金融数据xb和二次聚类中心
Figure FDA0002804284330000041
的聚类属性相同，且xb，
Figure FDA0002804284330000042
时，则
Figure FDA0002804284330000043
的值为：
Figure FDA0002804284330000044
其中，当二次聚类中心
Figure FDA0002804284330000045
所对应的金融数据在初次聚类为聚类中心时，则
Figure FDA0002804284330000046
表示二次聚类中心
Figure FDA0002804284330000047
所对应的金融数据在初次聚类时所在的类，当二次聚类中心
Figure FDA0002804284330000048
所对应的金融数据在初次聚类不是聚类中心时，
Figure FDA0002804284330000049
表示在初次聚类时二次聚类中心
Figure FDA00028042843300000410
所对应的金融数据在类别集合C1中具有最大隶属度的类，
Figure FDA00028042843300000411
表示在初次聚类时普通金融数据xb属于类
Figure FDA00028042843300000412
的隶属度，当普通金融数据xb在初次聚类时为聚类中心且所在的类和类
Figure FDA00028042843300000413
相同时，则
Figure FDA00028042843300000414
当普通金融数据xb在初次聚类时为聚类中心且所在的类和类
Figure FDA00028042843300000415
不同时，则
Figure FDA00028042843300000416
当普通金融数据xb和二次聚类中心
Figure FDA00028042843300000417
的聚类属性相同，且xb，
Figure FDA00028042843300000418
时，则
Figure FDA00028042843300000419
的值为：
Figure FDA00028042843300000420
式中，
Figure FDA00028042843300000421
表示类别集合C1中的第p个类，
Figure FDA00028042843300000422
表示在初次聚类时普通金融数据xb属于类
Figure FDA00028042843300000423
的隶属度，当普通金融数据xb在初次聚类时为聚类中心且所在的类和类
Figure FDA00028042843300000424
相同时，则
Figure FDA00028042843300000425
当普通金融数据xb在初次聚类时为聚类中心且所在的类和类
Figure FDA00028042843300000439
不同时，则
Figure FDA00028042843300000427
Figure FDA00028042843300000428
表示在初次聚类时二次聚类中心
Figure FDA00028042843300000429
所对应的金融数据属于类
Figure FDA00028042843300000440
的隶属度，当二次聚类中心
Figure FDA00028042843300000431
所对应的金融数据在初次聚类时为聚类中心且所在的类和类
Figure FDA00028042843300000441
相同时，则
Figure FDA00028042843300000433
当二次聚类中心
Figure FDA00028042843300000434
所对应的金融数据在初次聚类时为聚类中心且所在的类和类
Figure FDA00028042843300000435
不同时，则
Figure FDA00028042843300000436
当普通金融数据xb和二次聚类中心
Figure FDA00028042843300000437
的聚类属性不同时，则
Figure FDA00028042843300000442
的值为：
Figure FDA0002804284330000051
式中，xe表示金融数据集合X中的第e个金融数据，
Figure FDA0002804284330000052
表示在初次聚类时金融数据xe属于类
Figure FDA0002804284330000053
的隶属度，
Figure FDA0002804284330000054
表示在初次聚类时金融数据xe属于类
Figure FDA0002804284330000055
的隶属度，当普通金融数据xb在初次聚类时为聚类中心时，则c1(xb)表示普通金融数据xb在初次聚类时所在的类，当普通金融数据xb在初次聚类时不是聚类中心时，则c1(xb)表示在初次聚类时普通金融数据xb在类别集合C1中具有最大隶属度的类，
Figure FDA0002804284330000056
表示在初次聚类时金融数据xe属于类c1(xb)的隶属度；
普通金融数据xb选取和其具有最大聚合值的二次聚类中心加入，当金融数据集合X中所有的普通金融数据都加入到二次聚类中心后，所形成的类即为二次聚类的聚类结果。
CN202011362126.5A 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统 Active CN112330067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011362126.5A CN112330067B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011362126.5A CN112330067B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统
CN202010466325.4A CN111612261B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010466325.4A Division CN111612261B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统

Publications (2)

Publication Number Publication Date
CN112330067A true CN112330067A (zh) 2021-02-05
CN112330067B CN112330067B (zh) 2021-06-25

Family

ID=72198407

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010466325.4A Expired - Fee Related CN111612261B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统
CN202011362126.5A Active CN112330067B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010466325.4A Expired - Fee Related CN111612261B (zh) 2020-05-28 2020-05-28 基于区块链的金融大数据分析系统

Country Status (1)

Country Link
CN (2) CN111612261B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065710A (zh) * 2021-04-09 2021-07-02 深圳市小金象科技有限公司 一种基于人工智能和区块链的金融预测系统
CN113191880A (zh) * 2021-05-24 2021-07-30 中国工商银行股份有限公司 银行柜员终端加钞建议确定方法及装置
CN116432064A (zh) * 2023-03-06 2023-07-14 北京车讯互联网股份有限公司 一种数据预处理系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112881434B (zh) * 2021-01-14 2022-10-14 深圳医爱健康管理有限公司 基于5g和区块链的肿瘤细胞放射敏感性检测系统及方法
CN115205041B (zh) * 2022-07-15 2023-07-07 山东大学 一种基于区块链的金融大数据处理系统及方法
CN117788174B (zh) * 2024-02-26 2024-06-11 山东华创远智信息科技有限公司 基于区块链的金融用户数据安全保护方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203478A (zh) * 2016-06-27 2016-12-07 南昌大学 一种用于智能电表大数据的负荷曲线聚类方法
CN108521434A (zh) * 2018-05-29 2018-09-11 广西电网有限责任公司 一种基于区块链技术的网络安全入侵检测系统
CN108765194A (zh) * 2018-05-29 2018-11-06 深圳源广安智能科技有限公司 一种有效的居民用电行为分析系统
CN111161879A (zh) * 2020-02-24 2020-05-15 梅里医疗科技(洋浦)有限责任公司 一种基于大数据的疾病预测系统
CN111192144A (zh) * 2020-01-03 2020-05-22 湖南工商大学 一种金融数据预测方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281674B (zh) * 2014-09-29 2017-07-11 同济大学 一种基于集聚系数的自适应聚类方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203478A (zh) * 2016-06-27 2016-12-07 南昌大学 一种用于智能电表大数据的负荷曲线聚类方法
CN108521434A (zh) * 2018-05-29 2018-09-11 广西电网有限责任公司 一种基于区块链技术的网络安全入侵检测系统
CN108765194A (zh) * 2018-05-29 2018-11-06 深圳源广安智能科技有限公司 一种有效的居民用电行为分析系统
CN111192144A (zh) * 2020-01-03 2020-05-22 湖南工商大学 一种金融数据预测方法、装置、设备及存储介质
CN111161879A (zh) * 2020-02-24 2020-05-15 梅里医疗科技(洋浦)有限责任公司 一种基于大数据的疾病预测系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065710A (zh) * 2021-04-09 2021-07-02 深圳市小金象科技有限公司 一种基于人工智能和区块链的金融预测系统
CN113191880A (zh) * 2021-05-24 2021-07-30 中国工商银行股份有限公司 银行柜员终端加钞建议确定方法及装置
CN116432064A (zh) * 2023-03-06 2023-07-14 北京车讯互联网股份有限公司 一种数据预处理系统及方法
CN116432064B (zh) * 2023-03-06 2023-10-27 北京车讯互联网股份有限公司 一种数据预处理系统及方法

Also Published As

Publication number Publication date
CN111612261B (zh) 2021-04-09
CN112330067B (zh) 2021-06-25
CN111612261A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN112330067B (zh) 基于区块链的金融大数据分析系统
CN107633265B (zh) 用于优化信用评估模型的数据处理方法及装置
Zhou et al. Assignment of attribute weights with belief distributions for MADM under uncertainties
Chiappa et al. A causal Bayesian networks viewpoint on fairness
CN107909299B (zh) 人伤理赔数据风险检测方法和系统
Huang et al. An empirical analysis of data preprocessing for machine learning-based software cost estimation
WO2021051917A1 (zh) 人工智能ai模型的评估方法、系统及设备
US20190180379A1 (en) Life insurance system with fully automated underwriting process for real-time underwriting and risk adjustment, and corresponding method thereof
CN111105104A (zh) 一种基于相似日和rbf神经网络的短期电力负荷预测方法
CN107798871A (zh) 一种高速公路收费站交通流量预测方法及系统
CN106326913A (zh) 一种洗钱账户的确定方法及装置
CN110459292B (zh) 一种基于聚类和pnn的药品风险分级方法
CN112001788A (zh) 一种基于rf-dbscan算法的信用卡违约欺诈识别方法
Ghazal et al. Data Mining and Exploration: A Comparison Study among Data Mining Techniques on Iris Data Set
Rava et al. A burden shared is a burden halved: A fairness-adjusted approach to classification
Siddalingappa et al. Anomaly detection on medical images using autoencoder and convolutional neural network
CN113674862A (zh) 一种基于机器学习的急性肾功能损伤发病预测方法
Karimi-Haghighi et al. Predicting early dropout: Calibration and algorithmic fairness considerations
CN114186646A (zh) 区块链异常交易识别方法及装置、存储介质及电子设备
CN110689140A (zh) 一种通过大数据进行轨交报警数据智能管理的方法
Jain et al. Increasing fairness in predictions using bias parity score based loss function regularization
CN114549897A (zh) 一种分类模型的训练方法、装置及存储介质
CN109685133A (zh) 基于构建的预测模型低成本、高区分度的数据分类方法
CN112785004A (zh) 一种基于粗糙集理论和d-s证据理论的温室智能决策方法
CN115756922A (zh) 一种故障预测诊断方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210607

Address after: 276000 building e, phase III, Yigao Shanghai Street, Liuqing street, Lanshan District, Linyi City, Shandong Province

Applicant after: SHANDONG SHENDU NETWORK TECHNOLOGY Co.,Ltd.

Address before: 571700 government affairs center, No.8 Yantian Road, xinyingwan District, Yangpu Economic Development Zone, Danzhou City, Hainan Province

Applicant before: Yangpu Minoan Electronic Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 276000 building e, phase III, Yigao Shanghai Street, Liuqing street, Lanshan District, Linyi City, Shandong Province

Patentee after: Shenzhen (Shandong) Digital Technology Group Co.,Ltd.

Address before: 276000 building e, phase III, Yigao Shanghai Street, Liuqing street, Lanshan District, Linyi City, Shandong Province

Patentee before: SHANDONG SHENDU NETWORK TECHNOLOGY Co.,Ltd.