CN110334157A - 一种云计算管理系统 - Google Patents

一种云计算管理系统 Download PDF

Info

Publication number
CN110334157A
CN110334157A CN201910636403.8A CN201910636403A CN110334157A CN 110334157 A CN110334157 A CN 110334157A CN 201910636403 A CN201910636403 A CN 201910636403A CN 110334157 A CN110334157 A CN 110334157A
Authority
CN
China
Prior art keywords
data
particle
cloud
storage
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910636403.8A
Other languages
English (en)
Other versions
CN110334157B (zh
Inventor
关怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rose Tree Technology Co., Ltd
Original Assignee
Nanchang Norway Pharmaceutical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Norway Pharmaceutical Technology Co Ltd filed Critical Nanchang Norway Pharmaceutical Technology Co Ltd
Priority to CN201910636403.8A priority Critical patent/CN110334157B/zh
Publication of CN110334157A publication Critical patent/CN110334157A/zh
Application granted granted Critical
Publication of CN110334157B publication Critical patent/CN110334157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种云计算管理系统，包括云客户数据端、数据采集模块、数据传输模块和云计算中心，所述云客户数据端用于汇总储存本地客户的相关数据，所述数据采集模块用于对云客户数据端中的数据进行采集和安全检测，并将检测的安全数据通过数据传输模块传输至云计算中心，所述云计算中心用于对接收到的数据进行存储和处理。本发明提供一种云计算管理系统，通过对采集的数据进行安全检测，确保了云计算管理系统的安全性；对云计算中心的数据存储方式和处理方式进行改进，从而有效的提高了云计算系统中数据存储的可靠性，并保证了云节点之间负载的均衡，从而有效的提高了云计算系统的应用处理性能。

Description

一种云计算管理系统
技术领域
本发明创造涉及云计算领域，具体涉及一种云计算管理系统。
背景技术
云计算是一种新兴的商业模式，它是分布式计算、并行计算、网格计算、虚拟化、负载均衡等技术融合发展的产物。云计算系统服务的实现主要依靠云数据中心完成，由于云计算技术的发展，对云数据中心的要求越来越复杂。云数据中心主要由数量巨大的服务器和网络设备组成，这些网络设备和服务器的异构性强，用户的需求复杂、要求高质量的服务、要求更合理的动态资源管理，因此对云数据中心提出了更高的要求。但实际上云数据中心目前存在着效率低、成本高、能耗高等问题。
而云资源调度技术的进步、数据存储的均衡，将灵活地管理云数据中心资源，使得云资源的利用率不断提高，资源配置更优化，云资源浪费得到改善，降低云基础设施升级的成本，更好地满足用户的使用体验。
发明内容
针对上述问题，本发明旨在提供一种云计算管理系统。
本发明创造的目的通过以下技术方案实现：
一种云计算管理系统，包括云客户数据端、数据采集模块、数据传输模块和云计算中心，所述云客户数据端用于汇总储存本地客户的相关数据，所述数据采集模块用于对云客户数据端中储存的数据进行采集，并对采集得到的数据集进行安全检测，当检测所述数据集为安全数据时即通过数据传输模块传输至云计算中心，由云计算中心对所述安全数据进行分布式存储和处理；所述数据采集模块用于对采集得到的数据集进行安全检测，包括数据聚类部分和恶意数据检测部分，所述数据聚类部分采用模糊C均值聚类算法将采集的数据集划分为l个子类，并给每一个子类定义一个聚类中心，采用粒子群算法寻找最优聚类中心，设所述数据划分的类别集合为{C＝c1,c2,…,cl}，对应的聚类中心集合为{V＝v1,v2,…,vl}，则定义粒子群算法的适应度函数为：
式中，m是模糊指数，vj为类cj的聚类中心，uij为数据集中第i个数据样本在类别cj中的隶属度，n为数据集中的数据总数，l为聚类中心的个数；所述恶意数据检测部分用于判断各分类中的数据是否为恶性数据，当检测为恶性数据时即将该类中的数据删除。
优选地，在所述粒子群算法的第k次迭代后，将粒子群中各粒子按其适应度值由大到小进行排列后组成集合F(k)＝{hi(k),i＝1,2,…M}(其中，M为粒子种群规模，hi(k)为粒子i在第k次迭代时对应的适应度值)，将集合F(k)按顺序划分为两个集合H(k)和L(k)，集合H(k)由集合F(k)中前的粒子组成，集合L(k)中由集合F(k)中后的粒子组成，当集合H(k)和集合L(k)中的粒子的适应度值满足条件值满足条件时(其中，为集合H(k)中各粒子适应度值的均值，为集合L(k)中各粒子适应度值的均值，pbest(j)为第j次迭代时的全局最优值，pbest(j+1)为第(j+1)次迭代时的全局最优值，为设定的数值较小的正数)，即采用迭代的方式对粒子群中的较优粒子进行局部调整，具体为：
设当前局部调整迭代次数为t，设置局部调整最大迭代次数为Tmax，在集合H(k)中随机选取三个粒子xj(k)、xm(k)和xn(k)(j＜m＜n)，采用下式生成新的粒子：
式中，为局部调整第t次迭代时生成的粒子xc在第d维的位置，d＝1,2,…,D，其中，D为粒子群算法的搜索空间，为粒子群算法在第k次迭代时粒子xj在第d维的位置，为粒子群算法在第k次迭代时粒子xm在第d维的位置，为粒子群算法在第k次迭代时粒子xn在第d维的位置，a1和a2为随机生成局部调整方向参数，且a1和a2均为大于0小于1的随机数；
设xc(t)为生成的新粒子xc在局部调整的第t次迭代时的位置，xc(t)对应的适应度函数为h(xc(t))，当h(xc(t))＞h(xj(k))时，即用粒子xc(t)替换粒子xj(k)；当适应度值h(xm(k))＜h(xc(t))＜h(xj(k))时，即用粒子xc(t)替换粒子xm(k)；当h(xn(k))＜h(xc(t))＜h(xm(k))时，即用xc(t)替换粒子xn(k)；当h(xc(t))＜h(xn(k))时，即随机初始化a1和a2；
当局部调整的迭代次数达到局部调整的最大迭代次数Tmax时，即停止局部调整，当集合H(k)中存在粒子的适应度值高于全局最优值对应的适应度值时，则令该粒子替换全局最优值，成为新的全局最优值。
优选地，所述数据采集模块定时检测云客户数据端中是否有数据更新，如果检测到有数据更新则进行数据采集。
优选地，云计算中心包括数据存储单元和数据处理单元，所述数据存储单元用于对接收到的数据进行分布式存储，所述数据处理单元用于对存储后的数据进行处理。
优选地，所述数据存储单元在Hadoop云计算框架下，将接收到的数据分割成L个大小为N的数据块，并采用下列方式选择云节点存储所述数据块，具体为：
(1)定义云节点i的存储优先级为Ci，则存储优先级Ci的计算公式为：
式中，N表示分割的数据块大小，fi表示服务器的当前利用率，Fbest表示服务器的最优利用率，Si表示该文件已经分配到云节点i的数据块数量，Oi表示云节点i的磁盘读I/O性能，a和b为权重系数，且a+b＝1；
(2)定义各个云节点存储数据块数量的存储阈值为H，则云节点i对应的存储阈值Hi为：
式中，L表示分割的数据块总数，Ci为上述计算所得的云节点i的存储优先级，Ck为云节点k的存储优先级，Y表示云节点的总数，μ为调节参数；
(3)选择云节点对数据块进行存储，设置存储的数据块副本数为3，当上传该数据块的云节点为本地节点时，NameNode选择本地节点中具有最高存储优先级且存储的数据块数小于其存储阈值的云节点存储该数据块的第一副本(当上传该数据块的云节点不是本地节点时，随意选取一个机架中具有最高存储优先级且存储的数据块数小于其存储阈值的云节点作为本地节点，存储该数据块的第一副本)，选择本地节点所在机架的任一节点存储该数据块的第二副本，选择另一机架上具有最高存储优先级且存储的数据块数小于其存储阈值的云节点存储该数据块的第三副本。
本发明创造的有益效果：提供一种云计算管理系统，通过对采集得到的数据集进行安全检测，保证了云计算管理系统的安全性；对云计算中心的数据存储方式和处理方式进行改进，从而有效的提高了云计算系统中数据存储的可靠性，并保证了云节点之间负载的均衡，从而有效的提高了云计算系统的应用处理性能。
附图说明
利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明结构示意图。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种云计算管理系统，包括云客户数据端1、数据采集模块2、数据传输模块3和云计算中心4，所述云客户数据端1用于汇总储存本地客户的相关数据，所述数据采集模块2用于对云客户数据端1中储存的数据进行采集，并对采集得到的数据集进行安全检测，当检测所述数据集为安全数据时即通过数据传输模块3传输至云计算中心4，由云计算中心4对所述安全数据进行分布式存储和处理；所述数据采集模块2用于对采集得到的数据集进行安全检测，包括数据聚类部分和恶意数据检测部分，所述数据聚类部分采用模糊C均值聚类算法将采集的数据集划分为l个子类，并给每一个子类定义一个聚类中心，采用粒子群算法寻找最优聚类中心，设所述数据划分的类别集合为{C＝c1,c2,…,cl}，对应的聚类中心集合为{V＝v1,v2,…,vl}，则定义粒子群算法的适应度函数为：
式中，m是模糊指数，vj为类cj的聚类中心，uij为数据集中第i个数据样本在类别cj中的隶属度，n为数据集中的数据总数，l为聚类中心的个数；所述恶意数据检测部分用于判断各分类中的数据是否为恶性数据，当检测为恶性数据时即将该类中的数据删除。
本优选实施例通过对采集得到的数据集进行安全检测，保证了云计算管理系统的安全性；对云计算中心的数据存储方式和处理方式进行改进，从而有效的提高了云计算系统中数据存储的可靠性，并保证了云节点之间负载的均衡，从而有效的提高了云计算系统的应用处理性能。
优选地，在所述粒子群算法的第k次迭代后，将粒子群中各粒子按其适应度值由大到小进行排列后组成集合F(k)＝{hi(k),i＝1,2,…M}(其中，M为粒子种群规模，hi(k)为粒子i在第k次迭代时对应的适应度值)，将集合F(k)按顺序划分为两个集合H(k)和L(k)，集合H(k)由集合F(k)中前的粒子组成，集合L(k)中由集合F(k)中后的粒子组成，当集合H(k)和集合L(k)中的粒子的适应度值满足条件值满足条件时(其中，为集合H(k)中各粒子适应度值的均值，为集合L(k)中各粒子适应度值的均值，pbest(j)为第j次迭代时的全局最优值，pbest(j+1)为第(j+1)次迭代时的全局最优值，为设定的数值较小的正数)，即采用迭代的方式对粒子群中的较优粒子进行局部调整，具体为：
设当前局部调整迭代次数为t，设置局部调整最大迭代次数为Tmax，在集合H(k)中随机选取三个粒子xj(k)、xm(k)和xn(k)(j＜m＜n)，采用下式生成新的粒子：
式中，为局部调整第t次迭代时生成的粒子xc在第d维的位置，d＝1,2,…,D，其中，D为粒子群算法的搜索空间，为粒子群算法在第k次迭代时粒子xj在第d维的位置，为粒子群算法在第k次迭代时粒子xm在第d维的位置，为粒子群算法在第k次迭代时粒子xn在第d维的位置，a1和a2为随机生成局部调整方向参数，且a1和a2均为大于0小于1的随机数；
设xc(t)为生成的新粒子xc在局部调整的第t次迭代时的位置，xc(t)对应的适应度函数为h(xc(t))，当h(xc(t))＞h(xj(k))时，即用粒子xc(t)替换粒子xj(k)；当适应度值h(xm(k))＜h(xc(t))＜h(xj(k))时，即用粒子xc(t)替换粒子xm(k)；当h(xn(k))＜h(xc(t))＜h(xm(k))时，即用xc(t)替换粒子xn(k)；当h(xc(t))＜h(xn(k))时，即随机初始化a1和a2；
当局部调整的迭代次数达到局部调整的最大迭代次数Tmax时，即停止局部调整，当集合H(k)中存在粒子的适应度值高于全局最优值对应的适应度值时，则令新该粒子替换全局最优值，成为新的全局最优值。
本优选实施例引入的局部调整策略较好的平衡了粒子群的全局搜索能力和局部搜索能力，避免了算法容易陷入局部极值的缺陷，提高了算法的搜索速度，减少了算法的迭代次数和运算时间；采用迭代式局部调整策略，避免了传统的采用步长因子的局部搜索策略中步长因子难以确定的缺陷，同时增加了粒子群对整个搜索空间的搜索水平。
优选地，所述恶意数据检测部分用于判断各分类中数据是否为恶性数据，设数据聚类部分将所述数据集划分的类别集合{C＝c1,c2,…,cl}，定义恶意数据判断因子为F(cp)，则F(cp)的计算公式为：
式中，F(cp)为类别cp对应的恶意数据判断因子，l为类别数，θ为调节参数，且θ＜1；
取使得的最小e值(其中，ρ为设置的阈值)，计算类别集合{C}中每个类别所对应的恶意数据判断因子，并将计算所得的恶意数据判断因子值按递减的顺序进行排列，则判定前e个类别为恶意数据类别。
本优选实施例通过定义恶意数据判断因子对划分的类别进行判断，有效的实现了恶意数据类别的判断，从而实现了对采集得到的数据集中恶意数据的拦截。
优选地，所述数据采集模块2定时检测云客户数据端1中是否有数据更新，如果检测到有数据更新即进行数据采集。
优选地，云计算中心4包括数据存储单元41和数据处理单元42，所述数据存储单元41用于对接收到的数据进行分布式存储，所述数据处理单元42用于对存储后的数据进行处理。
优选地，所述数据存储单元41在Hadoop云计算框架下，将接收到的数据分割成L个大小为N的数据块，并采用下列方式选择云节点存储所述数据块，具体为：
(1)定义云节点i的存储优先级为Ci，则存储优先级Ci的计算公式为：
式中，N表示分割的数据块大小，fi表示服务器的当前利用率，Fbest表示服务器的最优利用率，Si表示该文件已经分配到云节点i的数据块数量，Oi表示云节点i的磁盘读I/O性能，a和b为权重系数，且a+b＝1；
(2)定义各个云节点存储数据块数量的存储阈值为H，则云节点i对应的存储阈值Hi为：
式中，L表示分割的数据块总数，Ci为上述计算所得的云节点i的存储优先级，Ck为云节点k的存储优先级，Y表示云节点的总数，μ为调节参数；
(3)选择云节点对数据块进行存储，设置存储的数据块副本数为3，当上传该数据块的云节点为本地节点时，NameNode选择本地节点中具有最高存储优先级且存储的数据块数小于其存储阈值的云节点存储该数据块的第一副本(当上传该数据块的云节点不是本地节点时，随意选取一个机架中具有最高存储优先级且存储的数据块数小于其存储阈值的云节点作为本地节点，存储该数据块的第一副本)，选择本地节点所在机架的任一节点存储该数据块的第二副本，选择另一机架上具有最高存储优先级且存储的数据块数小于其存储阈值的云节点存储该数据块的第三副本。
本优选实施例在对数据块进行存储时，设置存储的数据块副本数为3，能够有效的平衡系统性能和存储空间效率，在选择云节点对数据块进行存储，引入了云节点的存储优先级和存储阈值两个条件，存储优先级的限制使得选择的云节点具有较高的数据处理能力，存储阈值的限制能够控制每个文件在各个云节点上存储的数据块数量，从而能够有效的平衡各个云节点之间数据处理时间；此外，在计算各个云节点的存储优先级时，综合考虑了云节点的自身性能和数据处理的能力，进而根据云节点的存储优先级设置其对应的存储阈值，使得具有较高性能的云节点中能够存储较多的数据块，从而有利于节点之间的均衡存储，从而提高系统性能。
优选地，所述数据处理单元42用于对存储后的数据块进行处理，并在处理过程中检测各个云节点上的任务运行情况，判断落后任务，对检测到的落后任务进行数据备份，定义云节点的权重为D，则云节点权重D的计算公式为：
式中，Dj表示云节点j的权重，表示当前时刻云节点j上任务运行的实时速度，表示当前时刻云节点任务运行的平均实时速度，taskj表示云节点j上正在执行的任务个数，Taskj表示云节点j上允许执行的最大任务数，A和B表示权重系数，且A+B＝1；
当云节点i上运行的落后任务为map任务时，选择本地机架中具有最高权重D的云节点作为对该落后任务进行数据备份的候选节点，若本地机架中没有空闲任务槽进行数据备份，则选择异地机架中具有最高权重D的云节点作为对该落后任务进行备份的候选节点，当云节点i上运行的异常任务为reduce任务时，选择云节点中具有最高权重D的云节点作为该落后任务进行数据备份的候选节点；
设选取的候选节点为n，节点i中的任务为落后任务，对候选节点n进行检验，当候选节点n满足下列条件时，即令候选节点n对该落后任务进行数据备份，否则放弃对该落后任务进行备份，
式中，taskn表示云节点n上正在运行的任务数，progressi表示云节点i上任务运行的当前进度值，表示候选节点n上任务运行的实时速度，表示云节点i上任务运行的实时速度。
本优选实施例对检测到的落后任务进行备份处理，相较于传统的随意选择云节点进行备份的方法，本优选实施例定义了云节点权重的计算方法，并选取具有最高权重的云节点作为对落后任务进行数据备份的候选节点，使得选取的进行数据备份的候选节点自身具有较少的任务数的同时，具有较高的任务处理速率，从而能够保证云节点之间的负载均衡；此外，对候选节点进行验证后，才决定是否进行数据备份，从而保证了数据备份任务的有效性，避免了启动无效备份任务造成的资源浪费。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (5)

1.一种云计算管理系统，其特征是，包括云客户数据端、数据采集模块、数据传输模块和云计算中心，所述云客户数据端用于汇总储存本地客户的相关数据，所述数据采集模块用于对云客户数据端中储存的数据进行采集，并对采集得到的数据集进行安全检测，当检测所述数据集中的数据为安全数据时即通过数据传输模块传输至云计算中心，由云计算中心对所述安全数据进行分布式存储和处理；所述数据采集模块用于对采集得到的数据集进行安全检测，包括数据聚类部分和恶意数据检测部分，所述数据聚类部分采用模糊C均值聚类算法将采集的数据集划分为个子类，并给每一个子类定义一个聚类中心，采用粒子群算法寻找最优聚类中心，设所述数据划分的类别集合为，对应的聚类中心集合为，则定义粒子群算法的适应度函数为：
式中，是模糊指数，为类的聚类中心，为数据集中第个数据样本在类别中的隶属度，为数据集中的数据总数，为聚类中心的个数；所述恶意数据检测部分用于判断各分类中的数据是否为恶性数据，当检测为恶性数据时即将该类中的数据删除。
2.根据权利要去1所述的一种云计算管理系统，其特征是，在所述粒子群算法的第次迭代后，将粒子群中各粒子按其适应度值由大到小进行排列后组成集合（其中，为粒子种群规模，为粒子在第次迭代时对应的适应度值），将集合按顺序划分为两个集合和，集合由集合中前的粒子组成，集合中由集合中后的粒子组成，当集合和集合中的粒子的适应度值满足条件值满足条件时（其中，为集合中各粒子适应度值的均值，为集合中各粒子适应度值的均值，为第次迭代时的全局最优值，为第次迭代时的全局最优值，为设定的数值较小的正数），即采用迭代的方式对粒子群中的较优粒子进行局部调整，具体为：
设当前局部调整迭代次数为，设置局部调整最大迭代次数为，在集合中随机选取三个粒子、和，采用下式生成新的粒子：
式中，为局部调整第次迭代时生成的粒子在第维的位置，，其中，为粒子群算法的搜索空间，为粒子群算法在第次迭代时粒子在第维的位置，为粒子群算法在第次迭代时粒子在第维的位置，为粒子群算法在第次迭代时粒子在第维的位置，和为随机生成局部调整方向参数，且和均为大于0小于1的随机数；
设为生成的新粒子在局部调整的第次迭代时的位置，对应的适应度函数为，当时，即用粒子替换粒子；当适应度值时，即用粒子替换粒子；当时，即用替换粒子；当时，即随机初始化和；
当局部调整的迭代次数达到局部调整的最大迭代次数时，即停止局部调整，当集合中存在粒子的适应度值高于全局最优值对应的适应度值，则令该粒子替换全局最优值，成为新的全局最优值。
3.根据权利要求2所述的一种云计算管理系统，其特征是，所述数据采集模块定时检测云客户数据端中是否有数据更新，当检测到有数据更新时即进行数据采集。
4.根据权利要求3所述的一种云计算管理系统，其特征是，云计算中心包括数据存储单元和数据处理单元，所述数据存储单元用于对接收到安全数据进行分布式存储，所述数据处理单元用于对存储后的数据进行处理。
5.根据权利要求4所述的一种云计算管理系统，其特征是，所述数据存储单元在Hadoop云计算框架下，将接收到的数据分割成个大小为的数据块，并采用下列方式选择云节点存储所述数据块，具体为：
（1）定义云节点的存储优先级为，则存储优先级的计算公式为：
式中，表示分割的数据块大小，表示服务器的当前利用率，表示服务器的最优利用率，表示该文件已经分配到云节点的数据块数量，表示云节点的磁盘读I/O性能，和为权重系数，且；
（2）定义各个云节点存储数据块数量的存储阈值为，则云节点对应的存储阈值为：
式中，表示分割的数据块总数，为上述计算所得的云节点的存储优先级，为云节点的存储优先级，表示云节点的总数，为调节参数；
（3）选择云节点对数据块进行存储，设置存储的数据块副本数为3，当上传该数据块的云节点为本地节点时，NameNode选择本地节点中具有最高存储优先级且存储的数据块数小于其存储阈值的云节点存储该数据块的第一副本（当上传该数据块的云节点不是本地节点时，随意选取一个机架中具有最高存储优先级且存储的数据块数小于其存储阈值的云节点作为本地节点，存储该数据块的第一副本），选择本地节点所在机架的任一节点存储该数据块的第二副本，选择另一机架上具有最高存储优先级且存储的数据块数小于其存储阈值的云节点存储该数据块的第三副本。
CN201910636403.8A 2019-07-15 2019-07-15 一种云计算管理系统 Active CN110334157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910636403.8A CN110334157B (zh) 2019-07-15 2019-07-15 一种云计算管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910636403.8A CN110334157B (zh) 2019-07-15 2019-07-15 一种云计算管理系统

Publications (2)

Publication Number Publication Date
CN110334157A true CN110334157A (zh) 2019-10-15
CN110334157B CN110334157B (zh) 2020-08-14

Family

ID=68144922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910636403.8A Active CN110334157B (zh) 2019-07-15 2019-07-15 一种云计算管理系统

Country Status (1)

Country Link
CN (1) CN110334157B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008673A (zh) * 2019-12-24 2020-04-14 国网天津市电力公司 配电网信息物理系统中恶性数据链采集提取方法
CN111708932A (zh) * 2020-06-08 2020-09-25 中联云港数据科技股份有限公司 一种云计算平台及其调度、数据分析方法及系统
CN112051771A (zh) * 2020-09-01 2020-12-08 北京视界云天科技有限公司 多云数据采集方法、装置、计算机设备和存储介质
CN113810792A (zh) * 2021-11-19 2021-12-17 南京绛门信息科技股份有限公司 一种基于云计算的边缘数据采集分析系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236344A (zh) * 2010-04-27 2011-11-09 姜永东 基于云计算的机动车能源管理系统及方法
CN102413143A (zh) * 2011-12-01 2012-04-11 江苏华丽网络工程有限公司 基于云计算的安全审计系统及方法
CN102480500A (zh) * 2010-11-26 2012-05-30 黑龙江亿林网络技术服务有限公司 分布式有害信息管理系统和方法
CN102831474A (zh) * 2012-08-06 2012-12-19 江南大学 基于量子粒子群优化改进的模糊c-均值聚类方法
CN109284672A (zh) * 2018-08-03 2019-01-29 金陵科技学院 一种基于PSO-Kmeans算法的高压断路器机械故障诊断方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236344A (zh) * 2010-04-27 2011-11-09 姜永东 基于云计算的机动车能源管理系统及方法
CN102480500A (zh) * 2010-11-26 2012-05-30 黑龙江亿林网络技术服务有限公司 分布式有害信息管理系统和方法
CN102413143A (zh) * 2011-12-01 2012-04-11 江苏华丽网络工程有限公司 基于云计算的安全审计系统及方法
CN102831474A (zh) * 2012-08-06 2012-12-19 江南大学 基于量子粒子群优化改进的模糊c-均值聚类方法
CN109284672A (zh) * 2018-08-03 2019-01-29 金陵科技学院 一种基于PSO-Kmeans算法的高压断路器机械故障诊断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈佳: "基于粒子群和模糊聚类算法的入侵检测方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008673A (zh) * 2019-12-24 2020-04-14 国网天津市电力公司 配电网信息物理系统中恶性数据链采集提取方法
CN111708932A (zh) * 2020-06-08 2020-09-25 中联云港数据科技股份有限公司 一种云计算平台及其调度、数据分析方法及系统
CN112051771A (zh) * 2020-09-01 2020-12-08 北京视界云天科技有限公司 多云数据采集方法、装置、计算机设备和存储介质
CN113810792A (zh) * 2021-11-19 2021-12-17 南京绛门信息科技股份有限公司 一种基于云计算的边缘数据采集分析系统
CN113810792B (zh) * 2021-11-19 2022-02-18 南京绛门信息科技股份有限公司 一种基于云计算的边缘数据采集分析系统

Also Published As

Publication number Publication date
CN110334157B (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN110334157A (zh) 一种云计算管理系统
CN104978236B (zh) 基于多衡量指标的hdfs负载源宿节点选取方法
CN110413389A (zh) 一种资源不均衡Spark环境下的任务调度优化方法
CN107103332A (zh) 一种面向大规模数据集的相关向量机分类方法
Wolfrath et al. Haccs: Heterogeneity-aware clustered client selection for accelerated federated learning
CN103595805A (zh) 一种基于分布式集群的数据放置方法
US20140279766A1 (en) Systems and methods for vector scalability of evolutionary algorithms
CN108805193A (zh) 一种基于混合策略的电力缺失数据填充方法
CN109947558A (zh) 主机资源利用率计算方法和资源调度方法
CN101594371A (zh) 食品安全追溯数据库的负载均衡优化方法
CN101217427B (zh) 不确定网络环境中网络服务评价和优选方法
CN114936708A (zh) 基于边云协同任务卸载的故障诊断优化方法及电子设备
CN108845886A (zh) 基于相空间的云计算能耗优化方法和系统
CN107193940A (zh) 大数据优化分析方法
Anwar et al. Optimization of many objective pickup and delivery problem with delay time of vehicle using memetic decomposition based evolutionary algorithm
CN115941696A (zh) 异构大数据分布式集群存储优化方法
CN116755872A (zh) 基于topsis的容器化流媒体服务动态加载系统及方法
CN114913033A (zh) 一种电网多样性数据分级存储均衡与交易安全方法及系统
CN116014764A (zh) 一种分布式储能优化处理方法及装置
CN114546609A (zh) 一种面向异构集群的dnn推理任务批调度方法
CN115391047A (zh) 资源调度方法及装置
CN109583727A (zh) 一种利用电缆线路移动巡检数据确定电缆状态的方法及系统
Zuo et al. A cloud resource evaluation model based on entropy optimization and ant colony clustering
CN108256694A (zh) 基于重复遗传算法的模糊时间序列预测系统、方法及装置
CN102143526A (zh) 基于能量均衡和QoS约束的传感器资源节点选择方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200707

Address after: G1806, Room 401, building 1, No. 88, Qixing Road, Meishan, Beilun District, Ningbo City, Zhejiang Province

Applicant after: QIANGWEI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 612-13, No. 2999 Ziyang Avenue, Nanchang Hi-tech Industrial Development Zone, Jiangxi Province

Applicant before: Nanchang Norway Pharmaceutical Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 401, building 1, No. 88, Qixing Road, Meishan, Beilun District, Ningbo City, Zhejiang Province

Patentee after: Rose Tree Technology Co., Ltd

Address before: Room 401, building 1, No. 88, Qixing Road, Meishan, Beilun District, Ningbo City, Zhejiang Province

Patentee before: QIANGWEI INFORMATION TECHNOLOGY Co.,Ltd.