CN116523640A - 一种基于调度反馈算法的金融信息管理系统 - Google Patents
一种基于调度反馈算法的金融信息管理系统 Download PDFInfo
- Publication number
- CN116523640A CN116523640A CN202310370229.3A CN202310370229A CN116523640A CN 116523640 A CN116523640 A CN 116523640A CN 202310370229 A CN202310370229 A CN 202310370229A CN 116523640 A CN116523640 A CN 116523640A
- Authority
- CN
- China
- Prior art keywords
- financial
- financial information
- module
- algorithm
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 88
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 239000002245 particle Substances 0.000 claims description 96
- 238000000034 method Methods 0.000 claims description 51
- 238000007726 management method Methods 0.000 claims description 30
- 238000003860 storage Methods 0.000 claims description 27
- 230000010354 integration Effects 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 23
- 230000000739 chaotic effect Effects 0.000 claims description 20
- 238000009826 distribution Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 17
- 238000002790 cross-validation Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 239000003818 cinder Substances 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000013468 resource allocation Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 241001334134 Rugopharynx epsilon Species 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000011835 investigation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000035772 mutation Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Technology Law (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于调度反馈算法的金融信息管理系统,包括金融信息检测模块、金融信息反馈模块、金融资源调度模块;本发明基于当前金融信息监测和管理能力的不足,通过交易信息的特征分析,构建金融大数据信息反馈算法,以互联网云平台为媒介,实时更新金融数据,基于信息反馈建立金融资源和交易能力之间的匹配关系,优化金融资源,保证金融信息的智能管理。
Description
技术领域
本发明涉及金融数据管理领域,具体地说,涉及一种基于调度反馈算法的金融信息管理系统。
背景技术
随着金融发展迈向信息化,金融领域全面发展和应用现代信息技术,以创新智能技术工具更新改造和装备金融业,大大降低了金融业务服务成本,提升了业务的处理效率,促进了金融产品的创新和服务内容的完善。信息化在促进经济发展的同时也引发了金融系统结构复杂化的问题,大量金融信息传输于庞大的网络系统中,随着金融产品创新、金融业务种类日益增加,外围系统不断增多,造成了金融后台结构复杂化,核心处理系统压力增大等问题。基于调度反馈算法的金融信息管理系统能够利用自身的金融信息检测模块、反馈模块、金融资源调度模块,对金融运维信息快速计算,对信息资源合理分配,并做到金融信息的交叉验证,及时反馈金融大数据信息,改变了传统的业务渠道与金融核心处理系统的连接方式,极大程度地优化了金融系统结构,分担了金融系统的处理压力。
发明内容
本发明的目的在于提供一种基于调度反馈算法的金融信息管理系统,以解决上述背景技术中提出的问题。
为实现上述目的,提出了一种基于调度反馈算法的金融信息管理系统,包括金融信息检测模块、金融信息反馈模块、金融资源调度模块;首先,构建金融信息检测模块,基于金融交易能力和资源架构,构建金融信息系统数据库,将数据库集成至互联网云平台,搭建符合金融信息运维的云计算和边缘计算的资源分配方式,并进行金融信息的交叉验证;然后,基于交叉验证结果,利用概率分布分析数据信息的特征,并构建基于金融大数据的信息反馈算法;最后,构建金融资源调度模块,基于信息反馈建立金融资源和交易能力之间的匹配关系,基于量子粒子群算法优化金融资源多目标,将优化结果分布式反馈给用户,保证金融信息的智能管理和能力优化。
进一步的,所述金融信息检测模块,金融信息系统数据库,详细过程如下:对金融行业来说,在数据库系统可用性、数据一致性、交易延时等方面有更严格的要求,系统可用性要求高,本发明在MySQL集群作为数据节点的基础上,利用调度组件Grid实现了具有高可用、动态扩展、分布式事务、HTAP混合、兼容MySQL等特性的分布式关系型数据库。该数据库通过类Raft增强一致性算法和Zookeeper自动选主实现了整个系统组件的高可用,并通过Grid组件调度,实现了自动分库分表、SQL路由、分布式事务等功能的支持。在架构设计上,本发明的分布式数据库由调度节点、数据节点和配置节点构成。其中,数据节点基于MySQL集群方案,负责数据存储、本地事务管理、本地结果集计算等功能,Grid调度节点负责全局事务管理、分布式执行计划的生成和调度、集群扩缩容以及数据节点的高可用调度等功能,而配置节点基于Zookeeper实现,负责集群运行态元数据的存储同步以及配置管理。在数据节点的实现上,与TiDB以及OceanBase等分布式数据库不同的是,本发明使用了MySQL集群的方案。本发明通过增强Raft算法的细节提供数据库集群节点的强一致保证,解决了传统主从复制容易出现的脑裂问题。调度节点Grid主要用来进行SQL解析,实现分布式的SQL语句执行优化。
进一步的,所述金融信息检测模块,将数据库集成至互联网云平台,搭建符合金融信息运维的云计算和边缘计算的资源分配方式,详细过程如下:
使用由多个服务组件构成OpenStack基础架构云平台,通过6个子模块搭建OpenStack平台,包括Keystone子模块、Nova子模块、Glance子模块、Neutron子模块、Cinder子模块和Horizon子模块;其中,Keystone子模块负责OpenStack的认证服务,用于对云平台系统的用户进行验证和管理权限组件;Nova子模块主要负责云平台中虚拟机实例的生成、监控、删除,使用MMOA-Pr算法进行优先级求解,步骤如下:(1)计算设备Ui的资源占系统总资源的比例fi:
fi表示设备Ui的资源充盈度,越小表示其本地处理能力越弱,其任务需要到云平台进行处理的程度越大;fi,user表示所有任务;K表示任务总数。
(2)计算设备Ui的频率分配权重
其中,ti表示设备Ui任务的紧急程度,越大表示任务越紧急。
(3)对权重进行归一化:
Glance子模块为云平台中虚拟机实例提供镜像服务,同时用户利用云平台中现有虚拟机实例来制作自定义的镜像;Neutron子模块负责OpenStack虚拟实例的网络连接;Cinder子模块负责OpenStack存储块服务,是云平台中存储服务的调度监控模块,为虚拟机实例提供存储的块设备,其存储块服务负责OpenStack各组件与存储的通信,为了保障系统的安全性,Cinder子模块中含有保障系统安全性的防火墙节点:(1)控制节点,提供访问控制,API控制类的服务运行在此节点;负责各节点之间的数据传输和虚拟机实例的网络连接;(2)网络节点:提供网络资源,负责管理平台内部的虚拟机网络,负责对外网络与内部网络之间的通信;(3)计算节点,提供计算所需的CPU和内存等资源,负责虚拟机运行;(4)存储节点,提供块存储和对象存储资源,负责对虚拟机的自身以外存储的管理。;Horizon子模块为用户提供操作OpenStack平台的交互式界面的组件;
进一步的,所述金融信息检测模块,金融信息的交叉验证,使用15折交叉验证,即将原始数据集随机划分为样本数量近乎相等的15个子集,轮流将其中的14个合并作为训练集,其余1个作为测试集;在每次试验中计算正确率等评价指标,最终通过15次试验后取评价指标的平均值来评估该模型的泛化能力;15折交叉验证的基本步骤如下:(1)原始数据集划分为15个样本量尽可能均衡的子集;(2)使用第1个子集作为测试集,第2~14个子集合并作为训练集;(3)使用训练集对模型进行训练,计算多种评价指标在测试集下的结果;(4)轮流将第2~14个子集作为测试集,使用其他14个集合作为训练集;(5)使用切比雪夫有距离计算各评价指标的平均值作为最终结果。本发明采用均方根误差RMSE进行误差判断,均方根误差是观测值与真实值的偏差平方和观测次数比值的平方根,反应了预测的真实性程度,公式如下:
其中,y表示真实值,为测试结果;
本发明相比于传统常用的10折交叉验证,将原始数据分成15个子集,更符合本发明数据量大的特点,同时重复运用随机产生的子样本进行训练和验证,每次的结果验证一次,相比于10折交叉验证可以提高计算精度。
进一步的,所述金融信息反馈模块,基于交叉验证结果,利用概率分布分析数据信息的特征,详细过程如下:
基于交叉验证结果,使用一种基于敏感代价自适应数据权重的改进RBF径向基网络算法来进行评分,使用蒙特卡洛方法进行数据抽样,通过得到变量的期望值来估计样本数据集的权重系数,设x为随机变量且服从概率分布p(x),通过不断从概率分布p(x)中抽样得到样本xi,从而得到近似的概率密度f(x)的期望:
根据蒙特卡洛方法的思想进行改进,得到代价敏感的自适应数据权重,具体流程如下:(1)初始化M类数据权重为(2)从样本数据集中进行抽样xi,按照样本所属的类别更新样本权重wi,同时更新其他类别权重wj;(3)对于更新后得到的样本权重wi、更新前样本权重/>迭代误差阈值ε,若有/>则返回第(2)步,否则进入第(4)步;(4)迭代完成,输出样本数据权重
进一步的,所述金融信息反馈模块,金融大数据的信息反馈算法,详细过程如下:金融信息集成云平台中信息反馈算法结合模糊特征匹配方法聚类处理金融大数据信息,信息融合聚类的评价决策函数:
式中,vid(t)表示金融信息集成云平台中信息估计的属性集合,p表示信息特征量,得到信息反馈的数据分布为:
式中,λ表示信息反馈的自适应权重,μ表示金融信息集成云平台的约束统计变量,r表示金融信息集成云平台中信息分布特征集,通过金融信息集成云平台中信息反馈的自相关参数集,得到云平台中信息反馈模型表示为:
Q=x(t)·m(x)
式中,x(t)表示金融信息集成云平台的均为常量,由云平台系统数据库输出,m(x)为金融信息集成云平台中信息反馈算法得到的数据分布,得到金融信息集成云平台中反馈的标准化决策参数模型为:
S=p-m(x)
得到标准化决策参数模型后使用HCM算法进行聚类,具体流程如下:
初始化:指定聚类类别数C,2<C<n,n是数据个数,设定迭代停止阈值ε,初始化聚类中心v0,设置迭代计数器b=0;
步骤一:计算或更新划分矩阵u:
其中vi是第个聚类中心,xi为金融信息。
步骤二:根据下面公式更新聚类中心V
进一步的,所述金融资源调度模块,量子粒子群算法优化金融资源多目标,详细过程如下:
使用粒子群算法进行金融资源调度优化,算法流程如下:(1)输入N个粒子组成的初始解,初始化粒子群确定种群位置、速度;(2)计算每个粒子的适应度值;(3)找到粒子的个体历史最优和全局历史最优;(4)更新粒子的位置;(5)判断更新后的粒子是否满足约束条件;(6)若未达到终止条件重复步骤(2)~(5),否则结束,输出全局最优值。
8.根据权利要求7所述一种基于调度反馈算法的金融信息管理系统,其特征在于,所述金融资源调度模块,量子粒子群算法优化金融资源多目标,详细过程如下:使用在改进粒子群算法基础上提出的全局优化量子粒子群算法,算法过程描述如下:(1)初始化粒子位置及算法相关参数(算法迭代次数、种群数量、变量维数),假设在搜索空间内随机生成个粒子,则粒子位置表示为:
其中,D是粒子群数量,为了保证种群多样性和粒子搜索遍历性,引入混沌映射序列来代替随机初始化,从而使种群具有遍历性;
xi,j,xmin,j,xmax,j代表粒子的位置,μ表示混沌状态参数,代表第i,j、第j,i+1、第j,i个位置粒子的系统参数
式中,当μ=4时,系统进入混沌状态,混沌状态中算法遍历[0,1]之间的所有状态;
(2)更新粒子最优位置,采用蒙特卡洛随机模拟方式得到粒子的运动轨迹。
式中,为t+1时刻粒子/>在d维位置;/>为t时刻粒子/>在d维位置;为t时刻粒子最优位置;α为收缩-扩张系数,其取值直接影响搜索空间范围;当粒子适应度值趋于一致或局部最优时,α增大,此时粒子搜索算法扩大,找到最优解的可能性增强;当粒子适应度值比较分散时,α减小,粒子局部挖掘开发能力增强,精细收缩效果变好;
(3)计算群体当前全局最优位置,即
其中表示所有时刻粒子最优位置的集合。
(4)计算粒子最优适应度值并与前一次迭代结果对比,更新粒子最优适应度值;
(5)迭代终止,算法停止搜索,得到算法最优解。
进一步的,所述金融资源调度模块,量子粒子群算法优化金融资源多目标,详细过程如下:本发明针对传统粒子群算法进行改进,主要改进如下:
(1)迭代初期通过引入混沌搜索来提高初始种群的多样性。
zn+1=uzn(1-zn)
Yn=Ymin+zn(Ymax-Ymin)
式中:u为混沌参数;zn为迭代n次时变量z的取值,且zn∈[0,1];Yn为优化变量;Ymax,Ymin分别为优化变量取值的上、下限。
(2)对粒子赋予不同的权重,以减小弱势粒子的干扰,加快种群搜索速度。
(3)考察迭代范围缩小后,若变异的最优个体的适应度优于原个体的适应度,则将原个体更新为变异个体;否则,对原个体进行随机替换。设Y是Y′变异后的个体变量,则
式中:Rk,Rmax,Rmin分别为邻域搜索半径和半径的上、下限;k为迭代次数;kmax为迭代次数的最大值;r为搜索系数,r∈[0,1]。
本发明有益效果:
本发明阐述了一种基于调度反馈算法的金融信息管理系统,包括金融信息检测模块、金融信息反馈模块、金融资源调度模块。本发明在MySQL集群作为数据节点的基础上,利用调度组件Grid实现了具有高可用、动态扩展、分布式事务、HTAP混合、兼容MySQL等特性的分布式关系型数据库,并使用OpenStack基础架构进行云平台搭建。金融信息检测模块中,本发明使用15折交叉验证,基于交叉验证结果,使用一种基于敏感代价自适应数据权重的改进RBF径向基网络算法进行评分分析数据特征。金融信息反馈模块中结合模糊特征匹配方法聚类处理金融大数据信息。金融资源调度模块中使用粒子群算法进行金融资源调度优化,在改进粒子群算法基础上提出的全局优化量子粒子群算法,相比于传统算法,本发明在迭代初期通过引入混沌搜索来提高初始种群的多样性,同时对粒子赋予不同的权重,以减小弱势粒子的干扰,加快种群搜索速度。使用立体式反馈机制,将优化结果分布式反馈给用户,兼具连贯性和纵深性,可通过线性反馈及时获取原生反馈信息,垂直性地与用户直接交流与动,达到平台与用户直接沟通的目的。本发明基于当前金融信息监测和管理能力的不足,通过交易信息的特征分析,构建金融大数据信息反馈算法,以互联网云平台为媒介,实时更新金融数据,基于信息反馈建立金融资源和交易能力之间的匹配关系,优化金融资源,保证金融信息的智能管理。
附图说明
利用附图对发明创造作进一步说明,但附图中的实施例不构成对本发明创造的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明结构示意图。
具体实施方式
结合以下实例对本发明作进一步描述。
参见图1,本发明旨在提供一种基于调度反馈算法的金融信息管理系统,以解决上述背景技术中提出的问题。
为实现上述目的,提出了一种基于调度反馈算法的金融信息管理系统,包括金融信息检测模块、金融信息反馈模块、金融资源调度模块;首先,构建金融信息检测模块,基于金融交易能力和资源架构,构建金融信息系统数据库,将数据库集成至互联网云平台,搭建符合金融信息运维的云计算和边缘计算的资源分配方式,并进行金融信息的交叉验证;然后,基于交叉验证结果,利用概率分布分析数据信息的特征,并构建基于金融大数据的信息反馈算法;最后,构建金融资源调度模块,基于信息反馈建立金融资源和交易能力之间的匹配关系,基于量子粒子群算法优化金融资源多目标,将优化结果分布式反馈给用户,保证金融信息的智能管理和能力优化,各个模块的过程如下:
金融信息检测模块:使用由多个服务组件构成OpenStack基础架构云平台,通过6个子模块搭建OpenStack平台,包括Keystone子模块、Nova子模块、Glance子模块、Neutron子模块、Cinder子模块和Horizon子模块;其中,Keystone子模块负责OpenStack的认证服务,用于对云平台系统的用户进行验证和管理权限组件;Nova子模块主要负责云平台中虚拟机实例的生成、监控、删除,使用MMOA-Pr算法进行优先级求解,步骤如下:(1)计算设备Ui的资源占系统总资源的比例fi:
fi表示设备Ui的资源充盈度,越小表示其本地处理能力越弱,其任务需要到云平台进行处理的程度越大;fi,user表示所有任务;K表示任务总数。
(2)计算设备Ui的频率分配权重
其中,ti表示设备Ui任务的紧急程度,越大表示任务越紧急。
(3)对权重进行归一化:
Glance子模块为云平台中虚拟机实例提供镜像服务,同时用户利用云平台中现有虚拟机实例来制作自定义的镜像;Neutron子模块负责OpenStack虚拟实例的网络连接;Cinder子模块负责OpenStack存储块服务,是云平台中存储服务的调度监控模块,为虚拟机实例提供存储的块设备,其存储块服务负责OpenStack各组件与存储的通信,为了保障系统的安全性,Cinder子模块中含有保障系统安全性的防火墙节点:(1)控制节点,提供访问控制,API控制类的服务运行在此节点;负责各节点之间的数据传输和虚拟机实例的网络连接;(2)网络节点:提供网络资源,负责管理平台内部的虚拟机网络,负责对外网络与内部网络之间的通信;(3)计算节点,提供计算所需的CPU和内存等资源,负责虚拟机运行;(4)存储节点,提供块存储和对象存储资源,负责对虚拟机的自身以外存储的管理。;Horizon子模块为用户提供操作OpenStack平台的交互式界面的组件;
使用15折交叉验证,即将原始数据集随机划分为样本数量近乎相等的15个子集,轮流将其中的14个合并作为训练集,其余1个作为测试集;在每次试验中计算正确率等评价指标,最终通过15次试验后取评价指标的平均值来评估该模型的泛化能力;15折交叉验证的基本步骤如下:(1)原始数据集划分为15个样本量尽可能均衡的子集;(2)使用第1个子集作为测试集,第2~14个子集合并作为训练集;(3)使用训练集对模型进行训练,计算多种评价指标在测试集下的结果;(4)轮流将第2~14个子集作为测试集,使用其他14个集合作为训练集;(5)使用切比雪夫有距离计算各评价指标的平均值作为最终结果。本发明相比于传统常用的10折交叉验证,将原始数据分成15个子集,更符合本发明数据量大的特点,同时重复运用随机产生的子样本进行训练和验证,每次的结果验证一次,相比于10折交叉验证可以提高计算精度。
金融信息反馈模块:基于交叉验证结果,使用一种基于敏感代价自适应数据权重的改进RBF径向基网络算法来进行评分,使用蒙特卡洛方法进行数据抽样,通过得到变量的期望值来估计样本数据集的权重系数,设x为随机变量且服从概率分布p(x),通过不断从概率分布p(x)中抽样得到样本xi,从而得到近似的概率密度f(x)的期望:
根据蒙特卡洛方法的思想进行改进,得到代价敏感的自适应数据权重,具体流程如下:(1)初始化M类数据权重为(2)从样本数据集中进行抽样xi,按照样本所属的类别更新样本权重wi,同时更新其他类别权重wj;(3)对于更新后得到的样本权重wi、更新前样本权重/>迭代误差阈值ε,若有/>则返回第(2)步,否则进入第(4)步;(4)迭代完成,输出样本数据权重
金融信息集成云平台中信息反馈算法结合模糊特征匹配方法聚类处理金融大数据信息,信息融合聚类的评价决策函数:
式中,vid(t)表示金融信息集成云平台中信息估计的属性集合,p表示信息特征量,得到信息反馈的数据分布为:
式中,λ表示信息反馈的自适应权重,μ表示金融信息集成云平台的约束统计变量,r表示金融信息集成云平台中信息分布特征集,通过金融信息集成云平台中信息反馈的自相关参数集,得到云平台中信息反馈模型表示为:
Q=x(t)·m(x)
式中,x(t)表示金融信息集成云平台的均为常量,由云平台系统数据库输出,m(x)为金融信息集成云平台中信息反馈算法得到的数据分布,得到金融信息集成云平台中反馈的标准化决策参数模型为:
S=p-m(x)
得到标准化决策参数模型后使用HCM算法进行聚类,具体流程如下:
初始化:指定聚类类别数C,2<C<n,n是数据个数,设定迭代停止阈值ε,初始化聚类中心v0,设置迭代计数器b=0;
步骤一:计算或更新划分矩阵u:
其中vi是第个聚类中心,xi为金融信息。
步骤二:根据下面公式更新聚类中心V
金融资源调度模块:(1)输入N个粒子组成的初始解,初始化粒子群确定种群位置、速度;(2)计算每个粒子的适应度值;(3)找到粒子的个体历史最优和全局历史最优;(4)更新粒子的位置;(5)判断更新后的粒子是否满足约束条件;(6)若未达到终止条件重复步骤(2)~(5),否则结束,输出全局最优值。
8.根据权利要求7所述一种基于调度反馈算法的金融信息管理系统,其特征在于,所述金融资源调度模块,量子粒子群算法优化金融资源多目标,详细过程如下:使用在改进粒子群算法基础上提出的全局优化量子粒子群算法,算法过程描述如下:(1)初始化粒子位置及算法相关参数(算法迭代次数、种群数量、变量维数),假设在搜索空间内随机生成个粒子,则粒子位置表示为:
其中,D是粒子群数量。为了保证种群多样性和粒子搜索遍历性,引入混沌映射序列来代替随机初始化,从而使种群具有遍历性;
xi,j,xmin,j,xmax,j代表粒子的位置,μ表示混沌状态参数,代表第i,j、第j,i+1、第j,i个位置粒子的系统参数
式中,当μ=4时,系统进入混沌状态,混沌状态中算法遍历[0,1]之间的所有状态;
(2)更新粒子最优位置,采用蒙特卡洛随机模拟方式得到粒子的运动轨迹。
式中,为t+1时刻粒子/>在d维位置;/>为t时刻粒子/>在d维位置;/>为t时刻粒子最优位置;α为收缩-扩张系数,其取值直接影响搜索空间范围;当粒子适应度值趋于一致或局部最优时,α增大,此时粒子搜索算法扩大,找到最优解的可能性增强;当粒子适应度值比较分散时,α减小,粒子局部挖掘开发能力增强,精细收缩效果变好;
(3)计算群体当前全局最优位置,即
其中表示所有时刻粒子最优位置的集合。
(4)计算粒子最优适应度值并与前一次迭代结果对比,更新粒子最优适应度值;
(5)迭代终止,算法停止搜索,得到算法最优解。
本发明针对传统粒子群算法进行改进,主要改进如下:
(1)迭代初期通过引入混沌搜索来提高初始种群的多样性;
zn+1=uzn(1-zn)
Yn=Ymin+zn(Ymax-Ymin)
式中,u为混沌参数;zn为迭代n次时变量z的取值,且zn∈[0,1];Yn为优化变量;Ymax,Ymin分别为优化变量取值的上、下限;
(2)对粒子赋予不同的权重,以减小干扰,加快种群搜索速度;
(3)考察迭代范围缩小后,若变异的最优个体的适应度优于原个体的适应度,则将原个体更新为变异个体;否则,对原个体进行随机替换,设Y是Y′变异后的个体变量:
式中,Rk,Rmax,Rmin分别为邻域搜索半径和半径的上、下限;k为迭代次数;kmax为迭代次数的最大值;r为搜索系数,r∈[0,1]。
本发明有益效果:本发明阐述了一种基于调度反馈算法的金融信息管理系统,包括金融信息检测模块、金融信息反馈模块、金融资源调度模块。本发明在MySQL集群作为数据节点的基础上,利用调度组件Grid实现了具有高可用、动态扩展、分布式事务、HTAP混合、兼容MySQL等特性的分布式关系型数据库,并使用OpenStack基础架构进行云平台搭建。金融信息检测模块中,本发明使用15折交叉验证,基于交叉验证结果,使用一种基于敏感代价自适应数据权重的改进RBF径向基网络算法进行评分分析数据特征。金融信息反馈模块中结合模糊特征匹配方法聚类处理金融大数据信息。金融资源调度模块中使用粒子群算法进行金融资源调度优化,在改进粒子群算法基础上提出的全局优化量子粒子群算法,相比于传统算法,本发明在迭代初期通过引入混沌搜索来提高初始种群的多样性,同时对粒子赋予不同的权重,以减小弱势粒子的干扰,加快种群搜索速度。使用立体式反馈机制,将优化结果分布式反馈给用户,兼具连贯性和纵深性,可通过线性反馈及时获取原生反馈信息,垂直性地与用户直接交流与动,达到平台与用户直接沟通的目的。本发明基于当前金融信息监测和管理能力的不足,通过交易信息的特征分析,构建金融大数据信息反馈算法,以互联网云平台为媒介,实时更新金融数据,基于信息反馈建立金融资源和交易能力之间的匹配关系,优化金融资源,保证金融信息的智能管理。
本发明还提供了一种计算机可读存储介质,该存储介质中存储有至少一条指令,该指令由处理器加载并执行,以实现上述方法。其中,该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
本发明实施方式是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本发明所示的这些实施例,而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种基于调度反馈算法的金融信息管理系统,包括金融信息检测模块、金融信息反馈模块、金融资源调度模块;首先,构建金融信息检测模块,基于金融交易能力和资源架构,构建金融信息系统数据库,将数据库集成至互联网云平台,搭建符合金融信息运维的云计算和边缘计算的资源分配方式,并进行金融信息的交叉验证;然后,基于交叉验证结果,利用概率分布分析数据信息的特征,并构建基于金融大数据的信息反馈算法;最后,构建金融资源调度模块,基于信息反馈建立金融资源和交易能力之间的匹配关系,基于量子粒子群算法优化金融资源多目标,将优化结果分布式反馈给用户,保证金融信息的智能管理和能力优化。
2.根据权利要求1所述一种基于调度反馈算法的金融信息管理系统,其特征在于,所述金融信息检测模块,在MySQL集群作为数据节点的基础上,利用调度组件Grid构建分布式关系型数据库。
3.根据权利要求1所述一种基于调度反馈算法的金融信息管理系统,其特征在于,所述金融信息检测模块,将数据库集成至互联网云平台,搭建符合金融信息运维的云计算和边缘计算的资源分配方式,详细过程如下:使用由多个服务组件构成OpenStack基础架构云平台,通过6个子模块搭建OpenStack平台,包括Keystone子模块、Nova子模块、Glance子模块、Neutron子模块、Cinder子模块和Horizon子模块;其中,Keystone子模块负责OpenStack的认证服务,用于对云平台系统的用户进行验证和管理权限组件;Nova子模块主要负责云平台中虚拟机实例的生成、监控、删除,使用MMOA-Pr算法进行优先级求解,步骤如下:(1)计算设备Ui的资源占系统总资源的比例fi:
fi表示设备Ui的资源充盈度,越小表示本地处理能力越弱,任务需要到云平台进行处理的程度越大;fi,user表示所有任务;K表示任务总数;
(2)计算设备Ui的频率分配权重
其中,ti表示设备Ui任务的紧急程度,越大表示任务越紧急;
(3)对权重进行归一化:
Glance子模块为云平台中虚拟机实例提供镜像服务,同时用户利用云平台中现有虚拟机实例来制作自定义的镜像;Neutron子模块负责OpenStack虚拟实例的网络连接;Cinder子模块负责OpenStack存储块服务,是云平台中存储服务的调度监控模块,为虚拟机实例提供存储的块设备,其存储块服务负责OpenStack各组件与存储的通信,为了保障系统的安全性,Cinder子模块中含有保障系统安全性的防火墙节点:(1)控制节点,提供访问控制,API控制类的服务运行在此节点;负责各节点之间的数据传输和虚拟机实例的网络连接;(2)网络节点:提供网络资源,负责管理平台内部的虚拟机网络,负责对外网络与内部网络之间的通信;(3)计算节点,提供计算所需的CPU和内存等资源,负责虚拟机运行;(4)存储节点,提供块存储和对象存储资源,负责对虚拟机的自身以外存储的管理;Horizon子模块为用户提供操作OpenStack平台的交互式界面的组件。
4.根据权利要求1所述一种基于调度反馈算法的金融信息管理系统,其特征在于,所述金融信息检测模块,详细过程如下:使用15折交叉验证,即将原始数据集随机划分为样本数量近乎相等的15个子集,轮流将其中的14个合并作为训练集,其余1个作为测试集;在每次试验中计算正确率等评价指标,最终通过15次试验后取评价指标的平均值来评估该模型的泛化能力;15折交叉验证的基本步骤如下:(1)原始数据集划分为15个样本量均衡的子集;(2)使用第1个子集作为测试集,第2~14个子集合并作为训练集;(3)使用训练集对模型进行训练,计算多种评价指标在测试集下的结果;(4)轮流将第2~14个子集作为测试集,使用其他14个集合作为训练集;(5)使用切比雪夫有距离计算各评价指标的平均值作为最终结果;采用均方根误差RMSE进行误差判断,公式如下:
其中,y表示真实值,为测试结果。
5.根据权利要求1所述一种基于调度反馈算法的金融信息管理系统,其特征在于,所述金融信息反馈模块,基于交叉验证结果,利用概率分布分析数据信息的特征,详细过程如下:
基于交叉验证结果,使用一种基于敏感代价自适应数据权重的改进RBF径向基网络算法来进行评分,使用蒙特卡洛方法进行数据抽样,通过得到变量的期望值来估计样本数据集的权重系数,设x为随机变量且服从概率分布p(x),通过不断从概率分布p(x)中抽样得到样本xi,从而得到近似的概率密度f(x)的期望:
根据蒙特卡洛方法的思想进行改进,得到代价敏感的自适应数据权重,具体流程如下:(1)初始化M类数据权重为(2)从样本数据集中进行抽样xi,按照样本所属的类别更新样本权重wi,同时更新其他类别权重wj;(3)对于更新后得到的样本权重wi、更新前样本权重迭代误差阈值ε,若有/>则返回第(2)步,否则进入第(4)步;(4)迭代完成,输出样本数据权重。
6.根据权利要求1所述一种基于调度反馈算法的金融信息管理系统,其特征在于,所述金融信息反馈模块,金融大数据的信息反馈算法,详细过程如下:金融信息集成云平台中信息反馈算法结合模糊特征匹配方法聚类处理金融大数据信息,信息融合聚类的评价决策函数:
式中,vid(t)表示金融信息集成云平台中信息估计的属性集合,p表示信息特征量,得到信息反馈的数据分布为:
式中,λ表示信息反馈的自适应权重,μ表示金融信息集成云平台的约束统计变量,r表示金融信息集成云平台中信息分布特征集,通过金融信息集成云平台中信息反馈的自相关参数集,得到云平台中信息反馈模型表示为:
Q=x(t)·m(x)
式中,x(t)表示金融信息集成云平台的均为常量,由金融信息系统数据库输出,m(x)为金融信息集成云平台中信息反馈算法得到的数据分布,得到金融信息集成云平台中反馈的标准化决策参数模型为:
S=p-m(x)
得到标准化决策参数模型后使用HCM算法进行聚类,具体流程如下:
初始化:指定聚类类别数C,2<C<n,n是数据个数,设定迭代停止阈值ε,初始化聚类中心v0,设置迭代计数器b=0;
步骤一:计算更新划分矩阵u:
其中vi是第个聚类中心,xi为金融信息;
步骤二:根据公式更新聚类中心vi:
7.根据权利要求1所述一种基于调度反馈算法的金融信息管理系统,其特征在于,所述金融资源调度模块,基于信息反馈建立金融资源和交易能力之间的匹配关系,详细过程如下:使用粒子群算法进行金融资源调度优化,算法流程如下:(1)输入N个粒子组成的初始解,初始化粒子群确定种群位置、速度;(2)计算每个粒子的适应度值;(3)找到粒子的个体历史最优和全局历史最优;(4)更新粒子的位置;(5)判断更新后的粒子是否满足约束条件;(6)若未达到终止条件重复步骤(2)~(5),否则结束,输出全局最优值。
8.根据权利要求7所述一种基于调度反馈算法的金融信息管理系统,其特征在于,所述金融资源调度模块,量子粒子群算法优化金融资源多目标,详细过程如下:使用在改进粒子群算法基础上提出的全局优化量子粒子群算法,算法过程描述如下:(1)初始化粒子位置及算法相关参数(算法迭代次数、种群数量、变量维数),假设在搜索空间内随机生成个粒子,则粒子位置表示为:
其中,D是粒子群数量,为了保证种群多样性和粒子搜索遍历性,引入混沌映射序列来代替随机初始化;
xi,j,xmin,j,xmax,j代表粒子的位置,μ表示混沌状态参数,代表第i,j、第j,i+1、第j,i个位置粒子的系统参数;
式中,当μ=4时,系统进入混沌状态,混沌状态中算法遍历[0,1]之间的所有状态;
(2)更新粒子最优位置,采用蒙特卡洛随机模拟方式得到粒子的运动轨迹;
式中,为t+1时刻粒子/>在d维位置;/>为t时刻粒子/>在d维位置;/>为t时刻粒子最优位置;α为收缩-扩张系数;
(3)计算群体当前全局最优位置,即
其中表示所有时刻粒子最优位置的集合;
(4)计算粒子最优适应度值并与前一次迭代结果对比,更新粒子最优适应度值;
(5)迭代终止,算法停止搜索,得到算法最优解。
9.根据权利要求8所述一种基于调度反馈算法的金融信息管理系统,其特征在于,所述金融资源调度模块,量子粒子群算法优化金融资源多目标,详细过程如下:针对传统粒子群算法进行改进,主要改进如下:
(1)迭代初期通过引入混沌搜索来提高初始种群的多样性;
zn+1=uzn(1-zn)
Yn=Ymin+zn(Ymax-Ymin)
式中,u为混沌参数;zn为迭代n次时变量z的取值,且zn∈[0,1];Yn为优化变量;Ymax,Ymin分别为优化变量取值的上、下限;
(2)对粒子赋予不同的权重,以减小干扰,加快种群搜索速度;
(3)考察迭代范围缩小后,若变异的最优个体的适应度优于原个体的适应度,则将原个体更新为变异个体;否则,对原个体进行随机替换,设Y是Y′变异后的个体变量:
式中,Rk,Rmax,Rmin分别为邻域搜索半径和半径的上、下限;k为迭代次数;kmax为迭代次数的最大值;r为搜索系数,r∈[0,1]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310370229.3A CN116523640A (zh) | 2023-04-08 | 2023-04-08 | 一种基于调度反馈算法的金融信息管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310370229.3A CN116523640A (zh) | 2023-04-08 | 2023-04-08 | 一种基于调度反馈算法的金融信息管理系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116523640A true CN116523640A (zh) | 2023-08-01 |
Family
ID=87393120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310370229.3A Pending CN116523640A (zh) | 2023-04-08 | 2023-04-08 | 一种基于调度反馈算法的金融信息管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116523640A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117909855A (zh) * | 2024-03-20 | 2024-04-19 | 南京鼎研电力科技有限公司 | 基于电力模型的数据监测与辅助治理方法 |
-
2023
- 2023-04-08 CN CN202310370229.3A patent/CN116523640A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117909855A (zh) * | 2024-03-20 | 2024-04-19 | 南京鼎研电力科技有限公司 | 基于电力模型的数据监测与辅助治理方法 |
CN117909855B (zh) * | 2024-03-20 | 2024-05-10 | 南京鼎研电力科技有限公司 | 基于电力模型的数据监测与辅助治理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20150302432A1 (en) | Classifying, Clustering, and Grouping Demand Series | |
US20130151535A1 (en) | Distributed indexing of data | |
CN110008259A (zh) | 可视化数据分析的方法及终端设备 | |
CN111552509B (zh) | 一种接口间依赖关系的确定方法及装置 | |
CN110619231B (zh) | 一种基于MapReduce的差分可辨性k原型聚类方法 | |
CN113821332B (zh) | 自动机器学习系统效能调优方法、装置、设备及介质 | |
CN110414627A (zh) | 一种模型的训练方法及相关设备 | |
CN116523640A (zh) | 一种基于调度反馈算法的金融信息管理系统 | |
CN115147092A (zh) | 资源审批方法、随机森林模型的训练方法及装置 | |
CN114386466B (zh) | 一种用于脉冲星搜寻中候选体信号挖掘的并行的混合聚类方法 | |
CN110705606A (zh) | 一种基于Spark分布式内存计算的空间K均值聚类方法 | |
CN113704565B (zh) | 基于全局区间误差的学习型时空索引方法、装置及介质 | |
CN115220916A (zh) | 视频智能分析平台的自动算力调度方法、装置及系统 | |
CN111414961A (zh) | 一种基于任务并行的细粒度分布式深度森林训练方法 | |
CN114626886A (zh) | 一种调查问卷数据分析方法及系统 | |
CN114417095A (zh) | 一种数据集划分方法及装置 | |
CN115412401B (zh) | 训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置 | |
CN113850346B (zh) | Mec环境下多维属性感知的边缘服务二次聚类方法及系统 | |
CN115344383A (zh) | 一种基于进程并行的流线可视化并行加速方法 | |
CN112650770B (zh) | 基于query workload分析的MySQL参数推荐方法 | |
Anitha et al. | Improved parallel clustering with optimal initial centroids | |
Zhai et al. | SparsePipe: Parallel Deep Learning for 3D Point Clouds | |
Huang et al. | Projection pursuit flood disaster classification assessment method based on multi-swarm cooperative particle swarm optimization | |
CN117610970B (zh) | 一种数据迁移工作的智能评估方法及系统 | |
CN111274109B (zh) | 一种基于请求处理模拟的系统软硬件拓扑的评估方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |