CN109445935A - 云计算环境下一种高性能大数据分析系统自适应配置方法 - Google Patents

云计算环境下一种高性能大数据分析系统自适应配置方法 Download PDF

Info

Publication number
CN109445935A
CN109445935A CN201811177798.1A CN201811177798A CN109445935A CN 109445935 A CN109445935 A CN 109445935A CN 201811177798 A CN201811177798 A CN 201811177798A CN 109445935 A CN109445935 A CN 109445935A
Authority
CN
China
Prior art keywords
neural network
network model
model
deep neural
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811177798.1A
Other languages
English (en)
Other versions
CN109445935B (zh
Inventor
蒋从锋
葛浙奉
樊甜甜
仇烨亮
万健
张纪林
殷昱煜
任祖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201811177798.1A priority Critical patent/CN109445935B/zh
Publication of CN109445935A publication Critical patent/CN109445935A/zh
Application granted granted Critical
Publication of CN109445935B publication Critical patent/CN109445935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种云计算环境下一种高性能的大数据分析系统自适应配置方法。本发明应用深度神经网络模型来自适应配置云环境下大数据分析系统的资源。通过识别大数据分析系统的任务负载特征和平台性能特性,动态自适应的对大数据分析系统进行资源配置和管理。本发明不仅可以满足大数据分析系统对资源的性能要求,自适应的配置系统,实现系统性能随着负载规模自动扩展,提高服务质量,而且可以降低资源使用,节省系统的运行成本。

Description

云计算环境下一种高性能大数据分析系统自适应配置方法
技术领域
本发明涉及大数据分析系统的自适应配置与系统资源管理与分配的实现方法,尤其在大规模部署虚拟化技术的云环境下,应用深度神经网络技术实现自适应配置系统资源,优化系统性能,提高应用的服务质量。
背景技术
近些年来,随着信息与通信技术的进步,人类产生数据的速度越来越快,数据规模也变得越来越大。数据的爆炸式增长对数据处理技术的要求越来越高。因此,目前主要使用基于云计算平台的高性能大数据分析系统进行大数据处理与分析。传统的大数据平台配置方法主要是静态预分配系统资源给所需执行的任务,无法满足大数据处理业务负载及系统资源本身动态变化的情况。另外,由于待处理的数据规模、处理复杂度、业务逻辑的不同,大数据处理分析任务对处理平台的配置要求也不相同。对云计算环境下的大数据处理平台来说,若所分配系统资源过小,可能导致系统任务阻塞,造成服务质量下降;若所分配系统资源过大,则造成系统资源利用率低,浪费系统资源,增加系统运行成本。因此,在云计算环境下,面对不同特征类型的分析负载和数据应用,如何自适应动态构建一个高性能的、可扩展的大数据处理平台是个具有挑战性的问题。
神经网络模型是由具有适应性的简单单元组成的广泛并行互连的网络模型,其最基本的组成是神经元模型(简单单元)。深度神经网络模型即具有较深层次的神经网络,具有更多层隐藏层,使用多层非线性处理单元级联进行问题模型特征提取和转换。深度神经网络后继层使用前层的输出作为自己的输入,通过数据转换、数据抽象和数据表达,实现具有可学习历史数据、不需要精确模型等优点,可用于构建复杂系统模型用于模式识别、分类、系统辨识,而不必关心模型具体实现。
发明内容
本发明针对现有技术的不足,提供了一种云计算环境下一种高性能大数据分析系统自适应配置方法。
本发明的具体步骤是:
步骤1:基于Linux sysstat、perfctl及其它Linux内核操作函数构建实时监控大数据分析系统性能的代理程序,监控吞吐量、任务等待时间、执行时间、任务分布、系统能耗,作为深度神经网络模型的目标输出,以训练深度神经网络模型。
步骤2:建立系统自适应配置的深度神经网络模型,所述深度神经网络模型输入为系统配置参数和待处理数据,输出为系统性能。将系统配置参数和待处理数据信息向量化,输入到深度神经网络模型的输入层;深度神经网络模型向量化输出系统性能。
步骤3:通过监督学习来训练所述深度神经网络模型,具体是:首先固定待处理数据输入参数不变,不断改变系统的配置参数,得到系统性能输出向量,与步骤1中得到的实际系统性能相比较,然后通过反向传播算法不断更新模型参数,得到初始模型;再不断为该深度神经网络模型输入数据,同样用监督学习和反向传播算法来训练该模型,检验该模型的准确性。不断训练深度神经网络模型,直至达到目标要求。
步骤4:根据步骤3中训练所得到的深度神经网络模型,得到系统性能与系统配置和数据输入参数的相关关系,生成映射表,该映射表在实际数据更新并输入计算,依据神经网络模型不断更新的参数,而不断更新此映射表。
步骤5:针对目标大数据分析系统,向深度神经网络模型系统输入待处理数据与目标系统性能,根据系统性能与系统配置参数的映射表,获取系统配置参数,以实现系统自适应配置。
步骤6:在得到稳定的深度神经网络模型后,对深度神经网络模型进行剪枝以进行模型压缩。具体是对模型进行网络剪枝,删减对神经网络模型不重要的参数:首先设置一个权值参数阈值,将每条连接上的权值与阈值相比较,将权值小于阈值的连接进行剪枝,完成全部剪枝后重新训练该神经网络模型,对训练好的模型再剪枝,再重新训练该神经网络模型,直到满足所设定条件。
步骤7:循环执行步骤1至步骤6,直到大数据分析系统终止。
本发明的有益效果:本发明应用深度神经网络模型来自适应配置云环境下大数据分析系统的资源。通过识别大数据分析系统的任务负载特征和平台性能特性,动态自适应的对大数据分析系统进行资源配置和管理。本发明不仅可以满足大数据分析系统对资源的性能要求,自适应的配置系统,实现系统性能随着负载规模自动扩展,提高服务质量,而且可以降低资源使用,节省系统的运行成本。
附图说明
图1为神经网络层次图。
图2为整个系统的架构图。
图3为网络剪枝图。
具体实施方式
以下结合附图对本发明作进一步说说明。
本发明是在云环境下应用深度神经网络,提出一种大数据分析系统的自适应配置方法,主要包括三个组件:实时监控大数据分析系统性能的代理程序,系统自适应配置的深度神经网络模型和深度神经网络模型压缩。
(1)实时监控大数据分析系统性能的代理程序
应用服务器性能检测工具,利用Linux sysstat、perfctl及其它Linux内核操作函数来实时监控大数据分析系统的性能,本发明的监控代理程序主要用来监控吞吐量、任务等待时间、执行时间、任务分布、系统能耗等。
(2)系统自适应配置的深度神经网络模型
本发明的深度神经网络模型的输入为CPU数量、内存容量、JVM配置等系统硬件资源和软件配置,输入还包括系统待处理数据;深度神经网络模型的输出为吞吐量、数据分析执行时间、系统时延、每瓦特性能(能效)等系统性能,模型的输入输出可以动态配置。
图1为神经网络层次图。
在本发明提出的深度神经网络模型中,根据大数据分析系统性能指标集合进行神经元分类标识并按照一定规则连接起来,神经元按照层来布局,包括输入层、输出层和隐藏层。输入层负责接收系统实时监控数据;输出层负责输出神经网络数据抽象和聚合;输入层和输出层之间为隐藏层,中间的隐藏层的层数和神经元节点根据服务器系统迭代能力和系统负载变化周期联合设置。隐藏层数量越多,节点数目越多,模型提取特征的能力就越强,但随之带来的是计算时间和系统能耗的增加。本发明根据实际要求进行设置隐藏层层数和神经元节点数量,并可动态修改配置。除输入层外,每个神经元都有计算能力,每个节点的输入为前一层所有节点输出与连接上的权值乘积之和,经过每个神经元激励函数非线性转换后作为输出。
本发明的神经网络模型由4层神经元组成,其中包括一层输入层、两层隐藏层和一层输出层。为了不失一般性,图1中分别给出了4个输入神经元和4个输出神经元,神经网络的两层隐藏层分别由6个神经元(第一层隐藏层)和5个神经元(第二层隐藏层)组成。
本发明的神经网络的输入参数用xi表示,所有的输入量形成一个输入向量即:
其中x1,x2…分别表示CPU数量、内存容量等系统配置和待处理数据,总共有n个输入量。
神经网络的输出数据用yj表示,所有的神经网络输出形成一个输出向量即:
其中y1,y2,…分别表示吞吐量、执行时间等系统性能指标,总共有m个输出量。
图1中,同一层的神经元之间没有连接,除输入层外,只有第n层的每个神经元与第n-1层的所有神经元连接,如第5个神经元与输入层的4个神经元都相连,而且每个连接都有一个权值,分别记为w15、w25、w35、w45,这几个权值的初始值由系统启动时设定,记为超参数。通过系统多次实时计算和分析,即可得到该神经网络最合适的连接权值,确定神经网络中的各项参数。第n层的每个神经元的输入为第n-1层所有神经元输出与连接权值乘积之和,如第5个神经元的输入为输入层中每个神经元也就是系统配置参数和待处理数据与连接权值的乘积,即
z5=x1·w15+x2·w25+x3·w35+x4·w45
用向量表示为
本发明中,每个神经元经过激励函数非线性转换后作为输出,本发明使用的激励函数为sigmoid函数。由此可得每个神经元的输出为
输出层每个神经元的输出为
其中为前一层上所有神经元与该神经元连接权值,为前一层所有神经元输出。
本发明使用深度神经网络输入系统初始配置参数和大数据处理系统的性能指标要求等参数,预测输出系统性能,通过迭代训练得到大数据处理系统配置参数和大数据系统性能之间的模型。用监督学习的方式来训练深度神经网络模型,实时监控代理程序中监测到的实际系统性能作为目标输出即:
其中t1,t2,…分别表示监控代理程序实时监控到的系统吞吐量、执行时间等系统性能数据,共监控m个系统性能值,与神经网络模型的输出数量一致。
在本发明中,比较目标输出和神经网络输出就可以得到目标与实际输出的差值,选择合适的代价函数,通过反向传播算法更新神经元节点连接的参数权值。首先通过不断改变系统配置参数,训练神经网络,不断更新参数,得到初始模型。接着不断改变待处理数据输入,继续训练模型并检验模型的准确性。
图2为整个系统的架构图。
(3)深度神经网络模型压缩方法
深度神经网络模型压缩是指利用数据集对已经训练好的深度神经网络模型进行精简操作,进而得到一个轻量且准确率相当的神经网络模型。压缩后的网络模型具有更小的结构和更少的参数,可以降低计算和存储开销。
本发明在得到稳定的初始神经网络后,在不影响神经网络模型预测准确率的前提下,通过网络剪枝、权值共享、权值量化、权值参数编码等过程,对深度神经网络模型进行压缩。
1)网络剪枝
网络剪枝指删减神经网络模型中对输出结果影响不大的连接,即去除那些不重要的连接,进而加快模型的计算速度和减小模型的存储。图3是网络剪枝图。在本发明的神经网络剪枝中,删除那些权值较小的连接,再训练模型,即在得到稳定的深度神经网络模型之后,设定一个特定的权值阈值,删除连接权值比所设定阈值小的连接,得到新的神经网络模型,再训练该模型。重复上述步骤,直至达到神经网络系统迭代时间需求。
2)权值共享
权值共享让一些连接共享一个权值,以达到缩减参数个数的目的。假设相邻两层神经元是全连接,每层由1000个神经元,那么这两层之间就有1000×1000=100万个权值参数。可以将这100万个权值做聚类,用每一类的均值代替这一类中的每个权值大小,这样同属于一类的很多连接共享相同的权值,假设把100万个权值聚成1000个类,则可以把参数个数从100万减少到1000个。所以模型只要存储码本(聚类后的权值)和每个连接在码本中的索引,极大减少了存储空间。
3)权值量化
在未进行模型压缩之前,神经网络模型的参数一般都用32比特长度的浮点数表示,在本发明中,不需要这么高的精度来表示一个参数,所以可以通过量化,比如用8比特长度存储0~255来表示32比特所表示的精度,通过降低参数精度来提高计算速度和减少存储空间。
4)权值编码
本发明用霍夫曼编码对权值参数进行编码,首先对权值共享聚类后每个类中的连接进行计数,并按降序排序,对单个类中连接数最多的类的权值用最少位数来编码,并按此类推,以实现缩减存储空间。
本发明方法的具体步骤是:
步骤1:应用可实时监控大数据分析系统性能的代理程序,监控吞吐量、任务等待时间、执行时间、任务分布、系统能耗等系统参数。
步骤2:建立系统自适应配置的深度神经网络模型,神经网络输入为系统配置参数和待处理数据系统性能需求值,输出为系统性能,包括吞吐量、执行时间等。
步骤3:训练深度神经网络模型,首先固定待处理数据输入参数不变,改变系统的配置参数,得到初始模型;再不断为该神经网络模型输入数据,训练该模型,检验该模型的准确性。
步骤4:通过神经网络模型得到系统配置参数和系统性能的函数关系,生成一张系统配置参数和在不同负载下与系统性能之间的映射表。
步骤5:向系统输入所需分析数据与目标系统性能,根据系统配置参数与系统性能的映射表,获取系统配置参数,以实现系统自适应配置。
步骤6:通过模型压缩,减小深度神经网络模型的规模,减少计算量,提高模型计算速度。
步骤7:循环执行步骤1至步骤6,直到大数据分析系统终止。
下面分别对上述实施步骤进行详细说明。
(1)步骤1
基于Linux sysstat、perfctl及其它Linux内核操作函数构建实时监控大数据分析系统性能的代理程序,监控吞吐量、任务等待时间、执行时间、任务分布、系统能耗等系统性能,作为深度神经网络的目标输出,以训练深度神经网络。
(2)步骤2
建立系统自适应配置的深度神经网络,神经网络输入为系统配置参数和待处理数据,输出为系统性能,包括吞吐量、执行时间等。将系统配置参数和待处理数据信息向量化,输入到深度神经网络的输入层;神经网络向量化输出系统性能。本发明中间的隐藏层设置为两层,可根据实际需求更改隐藏层层数和神经元节点数量。神经元与神经元之间连接的权值需初始设置,以便训练神经网络。
(3)步骤3
为了得到神经网络的每个连接上合适的权值,训练神经网络,以确定网络模型参数。本发明通过监督学习来训练该神经网络,首先固定待处理数据输入参数不变,不断改变系统的配置参数,得到系统性能输出向量与步骤1中得到的实际系统性能相比较,再通过反向传播算法不断更新模型参数,得到初始模型;再不断为该神经网络模型输入数据,同样用监督学习和反向传播算法来训练该模型,检验该模型的准确性。不断训练神经网络,直至达到目标要求。
本发明使用的反向传播算法首先从神经网络的输出层开始,比较输出层神经元的输出yi与目标输出ti得到误差项di,di的计算公式根据不同的激励函数有所不同,本发明用的激励函数为sigmoid,
所以对于输出层神经元i,
di=yi·(1-yi)·(ti-yi)
对于隐藏层神经元i,
di=ai·(1-ai)·∑wik·dk
其中ai是神经元i的输出值,wik是当前层神经元i到它下一层神经元k的连接的权值,dk是神经元k的误差项。
最后,更新每个连接上的权值,
wji=wji+η·di·aj
其中wji是神经元j到神经元i的权值,η是学习速率,根据实际大数据处理平台的性能反馈值进行设置,aj是第j个神经云的输出值。
本发明使用的反向传播算法的详细描述如下:
(4)步骤4
根据步骤3中训练所得到的深度神经网络模型,得到系统性能与系统配置和数据输入参数的相关关系,生成映射表,该映射表在实际数据更新并输入计算,依据神经网络不断更新的参数,而不断更新此映射表。
(5)步骤5
针对目标大数据分析系统,向神经网络模型系统输入待处理数据与目标系统性能,根据系统性能与系统配置参数的映射表,获取系统配置参数,以实现系统自适应配置。
(6)步骤6
在得到稳定的深度神经网络后,为了提升计算速度,减少存储空间,降低系统功耗,减小神经网络规模,对深度神经网络进行剪枝以进行模型压缩。
首先对模型进行网络剪枝,删减对神经网络模型不重要的参数,具体步骤为首先设置一个权值参数阈值,将每条连接上的权值与阈值相比较,将权值小于阈值的连接进行剪枝,完成全部剪枝后重新训练该神经网络,对训练好的模型再剪枝,再重新训练该神经网络,直到满足所设定条件。
以下为网络剪枝算法描述。
网络剪枝得到稀疏连接的神经网络后,通过权值共享,生成一张权值码表,里面记录了权值聚类后每一类的平均权值,而每条连接不需要存储具体权值参数,只需存储码本上对应权值的索引。然后对码本上的权值进行量化操作,用8比特长度的存储来表示32比特的精度。最后对量化后的权值进行霍夫曼编码,进一步缩减存储空间。训练压缩后的神经网络模型,只要对码本上的码字进行更新即可,并不断更新步骤4中的映射表。
(7)步骤7
循环执行步骤1至步骤6,直到大数据分析系统终止。

Claims (3)

1.云计算环境下一种高性能的大数据分析系统自适应配置方法,其特征在于该方法包括如下步骤:
步骤1:基于Linux内核操作函数构建实时监控大数据分析系统性能的代理程序,监控吞吐量、任务等待时间、执行时间、任务分布、系统能耗,作为深度神经网络模型的目标输出,以训练深度神经网络模型;
步骤2:建立系统自适应配置的深度神经网络模型,所述深度神经网络模型输入为系统配置参数和待处理数据,输出为系统性能;将系统配置参数和待处理数据信息向量化,输入到深度神经网络模型的输入层;深度神经网络模型向量化输出系统性能;
步骤3:通过监督学习来训练所述深度神经网络模型,具体是:首先固定待处理数据输入参数不变,不断改变系统的配置参数,得到系统性能输出向量,与步骤1中得到的实际系统性能相比较,然后通过反向传播算法不断更新模型参数,得到初始模型;再不断为该深度神经网络模型输入数据,同样用监督学习和反向传播算法来训练该模型,检验该模型的准确性;不断训练深度神经网络模型,直至达到目标要求;
步骤4:根据步骤3中训练所得到的深度神经网络模型,得到系统性能与系统配置和数据输入参数的相关关系,生成映射表,该映射表在实际数据更新并输入计算,依据神经网络模型不断更新的参数,而不断更新此映射表;
步骤5:针对目标大数据分析系统,向深度神经网络模型系统输入待处理数据与目标系统性能,根据系统性能与系统配置参数的映射表,获取系统配置参数,以实现系统自适应配置;
步骤6:在得到稳定的深度神经网络模型后,对深度神经网络模型进行剪枝以进行模型压缩;具体是对模型进行网络剪枝,删减对神经网络模型不重要的参数:首先设置一个权值参数阈值,将每条连接上的权值与阈值相比较,将权值小于阈值的连接进行剪枝,完成全部剪枝后重新训练该神经网络模型,对训练好的模型再剪枝,再重新训练该神经网络模型,直到满足所设定条件;
步骤7:循环执行步骤1至步骤6,直到大数据分析系统终止。
2.根据权利要求1所述的云计算环境下一种高性能的大数据分析系统自适应配置方法,其特征在于:所述的深度神经网络模型中的隐藏层设置为两层,可根据实际需求更改隐藏层层数和神经元节点数量;神经元与神经元之间连接的权值需初始设置,以便训练神经网络模型。
3.根据权利要求1或2所述的云计算环境下一种高性能的大数据分析系统自适应配置方法,其特征在于:网络剪枝得到稀疏连接的神经网络模型后,通过权值共享,生成一张权值码表,里面记录了权值聚类后每一类的平均权值,而每条连接不需要存储具体权值参数,只需存储码本上对应权值的索引;然后对码本上的权值进行量化操作,用8比特长度的存储来表示32比特的精度;最后对量化后的权值进行霍夫曼编码,进一步缩减存储空间;训练压缩后的神经网络模型,只要对码本上的码字进行更新即可,并不断更新步骤4中的映射表。
CN201811177798.1A 2018-10-10 2018-10-10 云计算环境下一种高性能大数据分析系统自适应配置方法 Active CN109445935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811177798.1A CN109445935B (zh) 2018-10-10 2018-10-10 云计算环境下一种高性能大数据分析系统自适应配置方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811177798.1A CN109445935B (zh) 2018-10-10 2018-10-10 云计算环境下一种高性能大数据分析系统自适应配置方法

Publications (2)

Publication Number Publication Date
CN109445935A true CN109445935A (zh) 2019-03-08
CN109445935B CN109445935B (zh) 2021-08-10

Family

ID=65544879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811177798.1A Active CN109445935B (zh) 2018-10-10 2018-10-10 云计算环境下一种高性能大数据分析系统自适应配置方法

Country Status (1)

Country Link
CN (1) CN109445935B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993304A (zh) * 2019-04-02 2019-07-09 北京同方软件有限公司 一种基于语义分割的检测模型压缩方法
CN110766138A (zh) * 2019-10-21 2020-02-07 中国科学院自动化研究所 基于脑发育机制的自适应神经网络模型的构建方法及系统
CN111031116A (zh) * 2019-12-02 2020-04-17 嘉兴学院 一种云服务合成方法、云服务器和云服务合成系统
WO2020206637A1 (zh) * 2019-04-09 2020-10-15 深圳鲲云信息科技有限公司 基于数据流的深度网络加速方法、装置、设备及存储介质
CN112052937A (zh) * 2020-07-28 2020-12-08 广西小珈智能科技有限责任公司 基于集成Jetson Nano域控制器运行神经网络的优化算法
CN112307202A (zh) * 2019-07-29 2021-02-02 中移(苏州)软件技术有限公司 一种文本信息的修正方法、云计算系统和计算机存储介质
CN112802141A (zh) * 2021-03-22 2021-05-14 深圳金三立视频科技股份有限公司 一种应用于图像目标检测的模型压缩方法及终端
CN112948353A (zh) * 2021-03-01 2021-06-11 北京寄云鼎城科技有限公司 一种应用于DAstudio的数据分析方法、系统及存储介质
CN113094116A (zh) * 2021-04-01 2021-07-09 中国科学院软件研究所 一种基于负载特征分析的深度学习应用云配置推荐方法及系统
CN115061898A (zh) * 2022-08-17 2022-09-16 杭州安恒信息技术股份有限公司 基于Hadoop分析平台的自适应限速方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609416A (zh) * 2009-07-13 2009-12-23 清华大学 提高分布式系统性能调优速度的方法
CN103699440A (zh) * 2012-09-27 2014-04-02 北京搜狐新媒体信息技术有限公司 一种云计算平台系统为任务分配资源的方法和装置
US20160154676A1 (en) * 2014-11-28 2016-06-02 Inventec (Pudong) Technology Corp. Method of Resource Allocation in a Server System
CN106126407A (zh) * 2016-06-22 2016-11-16 西安交通大学 一种针对分布式存储系统的性能监控调优系统及方法
CN107229693A (zh) * 2017-05-22 2017-10-03 哈工大大数据产业有限公司 基于深度学习的大数据系统配置参数调优的方法和系统
CN108093085A (zh) * 2018-01-16 2018-05-29 成都寻道科技有限公司 一种大数据系统实时服务参数自适应调整方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609416A (zh) * 2009-07-13 2009-12-23 清华大学 提高分布式系统性能调优速度的方法
CN103699440A (zh) * 2012-09-27 2014-04-02 北京搜狐新媒体信息技术有限公司 一种云计算平台系统为任务分配资源的方法和装置
US20160154676A1 (en) * 2014-11-28 2016-06-02 Inventec (Pudong) Technology Corp. Method of Resource Allocation in a Server System
CN106126407A (zh) * 2016-06-22 2016-11-16 西安交通大学 一种针对分布式存储系统的性能监控调优系统及方法
CN107229693A (zh) * 2017-05-22 2017-10-03 哈工大大数据产业有限公司 基于深度学习的大数据系统配置参数调优的方法和系统
CN108093085A (zh) * 2018-01-16 2018-05-29 成都寻道科技有限公司 一种大数据系统实时服务参数自适应调整方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAJIB KUNDU等: "Application performance modeling in a virtualized environment", 《IEEE》 *
闻静: "基于CPU利用率预测的虚拟机动态部署方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993304A (zh) * 2019-04-02 2019-07-09 北京同方软件有限公司 一种基于语义分割的检测模型压缩方法
WO2020206637A1 (zh) * 2019-04-09 2020-10-15 深圳鲲云信息科技有限公司 基于数据流的深度网络加速方法、装置、设备及存储介质
CN112307202B (zh) * 2019-07-29 2022-12-13 中移(苏州)软件技术有限公司 一种文本信息的修正方法、云计算系统和计算机存储介质
CN112307202A (zh) * 2019-07-29 2021-02-02 中移(苏州)软件技术有限公司 一种文本信息的修正方法、云计算系统和计算机存储介质
CN110766138A (zh) * 2019-10-21 2020-02-07 中国科学院自动化研究所 基于脑发育机制的自适应神经网络模型的构建方法及系统
CN111031116A (zh) * 2019-12-02 2020-04-17 嘉兴学院 一种云服务合成方法、云服务器和云服务合成系统
CN112052937A (zh) * 2020-07-28 2020-12-08 广西小珈智能科技有限责任公司 基于集成Jetson Nano域控制器运行神经网络的优化算法
CN112948353A (zh) * 2021-03-01 2021-06-11 北京寄云鼎城科技有限公司 一种应用于DAstudio的数据分析方法、系统及存储介质
CN112802141A (zh) * 2021-03-22 2021-05-14 深圳金三立视频科技股份有限公司 一种应用于图像目标检测的模型压缩方法及终端
CN113094116B (zh) * 2021-04-01 2022-10-11 中国科学院软件研究所 一种基于负载特征分析的深度学习应用云配置推荐方法及系统
CN113094116A (zh) * 2021-04-01 2021-07-09 中国科学院软件研究所 一种基于负载特征分析的深度学习应用云配置推荐方法及系统
CN115061898A (zh) * 2022-08-17 2022-09-16 杭州安恒信息技术股份有限公司 基于Hadoop分析平台的自适应限速方法、装置、设备及介质
CN115061898B (zh) * 2022-08-17 2022-11-08 杭州安恒信息技术股份有限公司 基于Hadoop分析平台的自适应限速方法、装置、设备及介质

Also Published As

Publication number Publication date
CN109445935B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN109445935A (zh) 云计算环境下一种高性能大数据分析系统自适应配置方法
CN109102126B (zh) 一种基于深度迁移学习的理论线损率预测模型
Deng et al. Comprehensive snn compression using admm optimization and activity regularization
CN106570597A (zh) 一种sdn架构下基于深度学习的内容流行度预测方法
CN107169573A (zh) 利用复合机器学习模型来执行预测的方法及系统
Bin et al. Regression model for appraisal of real estate using recurrent neural network and boosting tree
CN102622418A (zh) 一种基于bp神经网络的预测装置及设备
CN109597965A (zh) 基于深度神经网络的数据处理方法、系统、终端及介质
CN102708404A (zh) 一种基于机器学习的多核下mpi最优运行时的参数预测方法
WO2024087512A1 (zh) 一种图神经网络压缩方法、装置、电子设备及存储介质
CN105279692A (zh) 金融信息技术系统性能预测方法和装置
Yan et al. Study on deep unsupervised learning optimization algorithm based on cloud computing
CN109871809A (zh) 一种基于语义网的机器学习流程智能组装方法
CN116340006A (zh) 一种基于深度学习的算力资源空闲预测方法和存储介质
CN109976908A (zh) 一种基于rnn时间序列预测的服务器集群动态伸缩方法
CN111667069A (zh) 预训练模型压缩方法、装置和电子设备
Cai et al. Credit Payment Fraud detection model based on TabNet and Xgboot
Li et al. Resource usage prediction based on BiLSTM-GRU combination model
CN110533109A (zh) 一种喷涂生产监测数据的存储及特征分析方法及其装置
Guo et al. Skewed normal cloud modified whale optimization algorithm for degree reduction of S-λ curves
CN115528750B (zh) 一种面向电网安全稳定的数据模型混合驱动机组组合方法
CN110322342A (zh) 借贷风险预测模型的构建方法、系统及借贷风险预测方法
CN116244484A (zh) 一种面向不平衡数据的联邦跨模态检索方法及系统
Chen et al. Research on high performance computing of power system based on machine learning algorithm
Xu et al. LRP-based policy pruning and distillation of reinforcement learning agents for embedded systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant