CN116610458B - 一种优化功耗损失的数据处理方法及系统 - Google Patents
一种优化功耗损失的数据处理方法及系统 Download PDFInfo
- Publication number
- CN116610458B CN116610458B CN202310896223.XA CN202310896223A CN116610458B CN 116610458 B CN116610458 B CN 116610458B CN 202310896223 A CN202310896223 A CN 202310896223A CN 116610458 B CN116610458 B CN 116610458B
- Authority
- CN
- China
- Prior art keywords
- data
- processing
- control parameter
- data set
- cooling control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 274
- 230000017525 heat dissipation Effects 0.000 claims abstract description 127
- 238000004364 calculation method Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000001816 cooling Methods 0.000 claims description 115
- 239000007788 liquid Substances 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 46
- 238000004458 analytical method Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 17
- 238000002076 thermal analysis method Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 12
- 238000005265 energy consumption Methods 0.000 claims description 7
- 230000002441 reversible effect Effects 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 238000010801 machine learning Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005057 refrigeration Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20836—Thermal management, e.g. server temperature control
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Thermal Sciences (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种优化功耗损失的数据处理方法及系统,属于数据处理领域,其中方法包括:获取待处理数据集按照业务类型进行聚类,获取类划分结果;根据业务执行频率对类划分结果进行标记,获取类频率特征;根据业务计算量对类划分结果进行标记,获取类计算量特征;对待处理数据集进行分组,获取本地处理数据集和云处理数据集;将数据集分别发送至云处理端和本地处理端;当本地处理数据集被调用时,对散热控制进行优化,确定散热控制参数执行散热控制。本申请解决了现有数据处理系统无法根据数据集特征动态优化功耗损失的技术问题,达到了通过对数据集分类分组,在本地处理端和云处理端动态优化功耗损失的技术效果。
Description
技术领域
本发明涉及数据处理领域,具体涉及一种优化功耗损失的数据处理方法及系统。
背景技术
随着数据采集和产生速度的加快,数据处理系统的规模不断扩大,如何降低其功耗损失成为需要解决的技术问题。现有的数据处理系统通常采用降低数据处理过程的散热从而降低功耗损失,无法根据数据集的特征实现动态的平衡和调度,导致系统的整体功耗损失较大。
发明内容
本申请通过提供了一种优化功耗损失的数据处理方法及系统,旨在解决现有数据处理系统无法根据数据集特征动态优化功耗损失的技术问题。
鉴于上述问题,本申请提供了一种优化功耗损失的数据处理方法及系统。
本申请公开的第一个方面,提供了一种优化功耗损失的数据处理方法,该方法包括:获取待处理数据集按照业务类型进行聚类,获取类划分结果;根据业务执行频率对类划分结果进行标记,获取类频率特征;根据业务计算量对类划分结果进行标记,获取类计算量特征;根据类频率特征和类计算量特征,对待处理数据集进行分组,获取本地处理数据集和云处理数据集;将云处理数据集发送至云处理端,将本地处理数据集发送至本地处理端;当本地处理数据集被调用时,对本地处理端的数据处理中心的散热控制进行优化,确定散热控制参数执行散热控制。
本申请公开的另一个方面,提供了一种优化功耗损失的数据处理系统,该系统包括:类划分结果模块,用于获取待处理数据集按照业务类型进行聚类,获取类划分结果;类频率特征模块,用于根据业务执行频率对类划分结果进行标记,获取类频率特征;类计算量特征模块,用于根据业务计算量对类划分结果进行标记,获取类计算量特征;处理数据集模块,用于根据类频率特征和类计算量特征,对待处理数据集进行分组,获取本地处理数据集和云处理数据集;数据集发送模块,用于将云处理数据集发送至云处理端,将本地处理数据集发送至本地处理端;散热控制执行模块,用于当本地处理数据集被调用时,对本地处理端的数据处理中心的散热控制进行优化,确定散热控制参数执行散热控制。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了先基于数据集的业务类型和特征,对数据集进行分类和标注,分析得到每个数据集类别的执行频率特征和计算量特征;然后,根据这两种特征选择将不同的数据集类别分配到云处理端或本地处理端,实现系统计算资源的动态平衡和负载均衡;当本地处理的数据集类别被调用时,根据当前数据集的特征实时优化本地数据中心的散热控制参数,实现精准高效的散热控制,最大限度减少功耗损失的技术方案,解决现有数据处理系统无法根据数据集特征动态优化功耗损失的技术问题,达到通过对数据集分类分组,在本地处理端和云处理端动态优化功耗损失的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了一种优化功耗损失的数据处理方法可能的流程示意图;
图2为本申请实施例提供了一种优化功耗损失的数据处理方法中将本地处理数据集发送至本地处理端可能的流程示意图;
图3为本申请实施例提供了一种优化功耗损失的数据处理方法中获取散热控制参数执行散热控制可能的流程示意图;
图4为本申请实施例提供了一种优化功耗损失的数据处理系统可能的结构示意图。
附图标记说明:类划分结果模块11,类频率特征模块12,类计算量特征模块13,处理数据集模块14,数据集发送模块15,散热控制执行模块16。
具体实施方式
本申请提供的技术方案总体思路如下:
本申请实施例提供了一种优化功耗损失的数据处理方法及系统。通过数据集分类、特征分析和动态优化散热控制来实现数据中心功耗损失最小化。
首先,获取待处理的数据集,按照业务类型对数据集进行分类,得到类划分结果。然后,根据业务执行频率和计算量对类划分结果进行标记,分析得到每个数据集类别的频率特征和计算量特征。根据这两种特征,选择将不同的数据集类别分配到云处理端或本地处理端。数据集类别调用频繁或计算量较大者,优先选择本地处理;数据集类别调用较少或计算量较小者,则选择云处理。使云端和本地端的处理负载得到均衡,减小整体系统的功耗损失。当本地处理的数据集被调用进行处理时,根据当前数据集的特征动态优化本地数据中心的散热控制参数。通过监控数据集调用和处理状态,实时调整数据中心的温控系统,以实现精准和高效的散热控制,最大限度地减小数据中心处理本地数据集时的散热损失和功耗浪费。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了一种优化功耗损失的数据处理方法,该方法应用于优化功耗损失的数据处理系统,该系统包括本地处理端和云处理端。
具体而言,优化功耗损失的数据处理方法应用于一种包括本地处理端和云处理端的功耗损失的数据处理系统。本地处理端是指部署在用户本地的计算和存储设备,其功耗损失主要来源于数据处理和散热等。云处理端是指基于云计算技术构建的虚拟化的资源池,包括大规模的计算资源、存储资源和软件资源等,用户可以通过网络访问云处理端。
该数据处理方法包括:
步骤S1000:获取待处理数据集按照业务类型进行聚类,获取类划分结果;
具体而言,首先,获取待处理数据集,该数据集包括需要进行处理和计算的各类数据。然后,根据数据内容和特征提取数据所属的业务类型,如图像处理、语音识别、机器学习等。接着,对该数据集进行聚类,获取类划分结果,例如,图像数据根据其中包含的图像特征提取信息划分到图像处理类别,语音数据根据语音特征提取信息划分到语音识别类别,机器学习数据根据数据规律性和特征提取信息划分到机器学习类别等。
通过针对数据集内容和特征的聚类,将不同业务类型的全部数据准确划分到对应的类别中,为后续的存储位置选择和热量预测打下基础。
步骤S2000:根据业务执行频率对所述类划分结果进行标记,获取类频率特征;
具体而言,类频率特征是指每个类别中业务执行次数占总执行次数的比例,反映类别中的数据被访问和计算的频率。根据历史记录或统计分析,可以获得每个类别的业务执行次数,并计算其占总执行次数的比例,则可得到类频率特征。例如,如果某时间段内,图像处理类别的业务执行次数为80次,语音识别类别为60次,机器学习类别为40次,而总执行次数为200次,则图像处理类别的类频率特征为80/200=40%,语音识别类别为30%,机器学习类别为20%。
通过历史记录分析或系统监控等手段,跟踪统计每个类别的业务执行次数,并校准总执行次数,最终计算出每个类别的业务执行频率,实现对类划分结果的标记和类频率特征的获取,为存储位置选择提供依据。
步骤S3000:根据业务计算量对所述类划分结果进行标记,获取类计算量特征;
具体而言,业务计算量是指每个类别中的数据被处理和计算时所需要的计算资源数量,包括CPU周期、内存占用、I/O带宽等。
针对每个类别的典型业务,采用性能分析工具进行测试,监控和统计业务处理过程中占用的CPU周期、内存占用、I/O带宽等计算资源,确定类别的总体业务计算量,即类计算量特征。例如,针对图像处理类型的图像识别业务,进行性能测试,发现其在处理过程中CPU周期占用较高,内存占用中等,I/O带宽占用较低,则可以判断图像处理category的业务计算量以CPU周期为主,内存占用次要,I/O带宽占用较小。同时,收集和分析每个类别的业务历史执行记录,监控和统计历史执行过程中占用的计算资源,确定类别的总体业务计算量,得到类计算量特征。
通过测试和分析不同类型业务的计算资源占用,确定每个类别的业务计算量,实现对类划分结果的标记和类计算量特征的获取,有助于选择类别数据的最优存储和处理位置,减小本地处理端的热量和功耗损失,实现功耗优化。
步骤S4000:根据所述类频率特征和所述类计算量特征,对所述待处理数据集进行分组,获取本地处理数据集和云处理数据集;
具体而言,本地处理数据集是指需要部署在本地处理端进行存储和处理的数据,云处理数据集是指需要上传至云处理端进行存储和处理的数据。通过规则匹配、权衡判断、专家评估等方式根据类频率特征判断每个类别中的数据被访问计算的频率,频率较高的类别数据优先考虑加入本地处理数据集;根据类计算量特征判断每个类别中的数据处理时需要占用的计算资源,资源需求较高的类别数据优先考虑加入云处理数据集。
例如,类频率特征显示图像处理类型的访问频率最高,语音识别类型次之,机器学习类型最低,则图像处理类型和语音识别类型的数据优先加入本地处理数据集,机器学习类型的数据加入云处理数据集;类计算量特征显示,图像处理类型和语音识别类型的数据处理主要占用CPU资源,机器学习类型的数据处理需要大量CPU、内存和I/O资源,则机器学习类型的数据优先加入云处理数据集,图像处理类型和语音识别类型的数据加入本地处理数据集。
通过综合得到的类频率特征和得到的类计算量特征,确定本地处理数据集和云处理数据集的划分方案,实现数据集的分组和划分,从而为优化功率损失提供数据划分基础。
步骤S5000:将所述云处理数据集发送至云处理端,将所述本地处理数据集发送至本地处理端;
具体而言,云处理端是指基于云计算技术构建的虚拟化的资源池,具有海量的计算、存储和软件资源,可作为数据集存储和处理的部署位置,以减少本地处理端的资源占用和功耗。本地处理端是指部署在用户本地的计算和存储设备,作为部分数据集存储和处理的部署位置。
采用数据迁移或同步等手段,实现数据集在本地处理端和云处理端之间的传输与部署。例如,对云处理数据集采用数据上传或同步工具,将数据从本地处理端传输至云存储或云计算资源,完成数据迁移。对本地处理数据集,直接采用本地存储或处理资源完成数据部署。
通过将云处理数据集被部署在资源丰富的云处理端,本地处理数据集被部署在用户本地处理端,最大限度的利用云处理端的计算和存储资源,减轻本地处理端的资源占用,实现系统的负载均衡,从而降低本地处理端的功耗损失。
步骤S6000:当所述本地处理数据集被调用时,对所述本地处理端的数据处理中心的散热控制进行优化,确定散热控制参数执行散热控制。
具体而言,当本地处理数据集被调用进行处理时,对本地处理端的数据处理中心的散热控制进行优化,确定最佳的参数作为散热控制参数,执行对应散热控制。
本地处理端的数据处理中心是本地处理数据集被部署和执行的位置,其产生的热量决定本地处理端的功耗损失,为减小处理中心的热量积聚和功耗损失,需要对其散热控制进行优化。
首先,获取本地处理数据集被调用时的数据处理量和时序信息,预测数据处理中心热量变化情况和趋势。然后,构建适应度函数,遍历历史散热记录,匹配并选择参数组合,判断哪组参数可以实现热量的最优散导和控制,确定最佳散热控制参数。例如,获取图像处理业务处理5GB图像数据的时序信息,预测处理中心热量在未来2小时内急剧上升,遍历历史散热记录,匹配风扇转速和制冷温度参数,构建适应度函数,判断若风扇转速提高20%且制冷温度降低2°C,可以最大限度降低热量积聚,则确定对应的散热控制参数执行控制。最后,根据确定的散热控制参数,对数据处理中心的散热系统进行控制,如控制风扇转速、调节制冷系统温度等,引导热量的产生和散导,减少热量的积聚,优化处理中心的功耗损失。
通过对本地处理端的数据处理中心的散热控制进行优化,确定散热控制参数执行散热控制,实现对本地处理端的数据处理中心的散热控制及功耗优化,达到通过对数据集分类分组,在本地处理端和云处理端动态优化功耗损失的技术效果。
进一步的,本申请实施例还包括:
步骤S4100:当所述类计算量特征大于计算量阈值时,将所述类划分结果归类为第一数据组;
步骤S4200:当所述类计算量特征小于或等于所述计算量阈值时,将所述类划分结果归类为第二数据组;
步骤S4300:当所述类计算量特征小于或等于所述计算量阈值,且所述类频率特征大于频率阈值时,将所述第二数据组归类为第三数据组;
步骤S4400:当所述类计算量特征小于或等于所述计算量阈值,且所述类频率特征小于或等于所述频率阈值时,将所述第二数据组归类为第四数据组;
步骤S4500:将所述第一数据组添加进所述云处理数据集;
步骤S4600:将所述第三数据组和所述第四数据组添加进所述本地处理数据集。
具体而言,计算量阈值是指判断划分数据集的计算资源需求高低的阈值,当某类别的数据处理时需要占用的CPU周期、内存或I/O带宽超过计算量阈值时,表明其计算资源需求较高,对应的数据划分结果优先加入第一数据组。首先,预先设置计算资源需求的计算量阈值,如CPU周期阈值、内存占用阈值和I/O带宽阈值。然后,比较每个类别的类计算量特征与各计算量阈值,判断计算资源需求是否超过阈值,如果超过则将对应的数据划分结果归入第一数据组。如果全部低于所设阈值,则将对应的数据划分结果归入第二数据组。
例如,设置CPU周期阈值20000个周期、内存占用阈值4GB、I/O带宽阈值200MB/s。某类别的数据处理CPU周期需求30000个周期,内存占用2GB,I/O带宽需求150MB/s,则该类别的数据处理时CPU周期需求超过阈值,其数据划分结果加入第一数据组;某类别的数据处理CPU周期需求10000个周期,内存占用3GB,I/O带宽需求100MB/s,则该类别的数据处理时全部计算资源需求低于各阈值,其数据划分结果加入第二数据组。
在确定类别计算资源需求较低的基础上,进一步根据类频率特征判断数据被访问的频率。如果访问频率超过频率阈值,表明被访问较为频繁,则将对应的数据划分结果从第二数据组划分入第三数据组。首先,预先设置数据访问频率的频率阈值,如访问次数阈值或访问频率比例阈值。然后,比较每个类别的类频率特征与频率阈值,判断被访问频率是否超过阈值,如果超过阈值,则将对应的数据从第二数据组划分入第三数据组;如果类频率特征小于或等于频率阈值时,则将第二数据组中的对应数据划分结果归类为第四数据组。
最后,将第一数据组添加至云处理数据集,将第三数据组和第四数据组添加至本地处理数据集。实现对数据集的划分与获取。
通过设置计算量阈值和频率阈值,比较类别特征与阈值,判断计算资源需求和访问频率高低,实现对四类数据组的数据划分与归类,并最终将不同的数据组添加至云处理数据集或本地处理数据集,为根据数据集特征动态优化功耗损失提供数据划分支持。
进一步的,如图2所示,本申请实施例还包括:
步骤S5100:获取所述本地处理端的第一存储器和第二存储器,其中,所述第一存储器的运转速度小于所述第二存储器;
步骤S5200:将所述第三数据组存储于所述第二存储器;
步骤S5300:将所述第四数据组存储于所述第一存储器。
具体而言,查询本地处理端存储设备的技术规格和性能参数,判断读写速度和可用容量,选择两种性能较高和较低的存储设备,确定为对应的第一存储器和第二存储器。其中,第一存储器和第二存储器是指本地处理端具有的两种数据存储设备,第二存储器的运转速度高于第一存储器,可以实现数据存储和高速读取。例如,本地处理端具有SSD、HDD和内存三种存储设备,查询结果显示SSD读写速度最快,HDD次之,内存容量最小,则选定SSD作为第二存储器,HDD作为第一存储器,内存暂不考虑。
第三数据组的数据被访问频繁,第四数据组的数据被访问较少,将访问频繁的数据存储于速度较快的第二存储器,以实现频繁读取;将访问较少的数据存储于速度较慢的第一存储器,以减小第二存储器的读写压力和功耗损失。
通过对不同类型的数据进行在本地处理器的存储布局,最大限度的发挥存储器的高速读写能力,将常用的数据集存储于高速存储器,同时也减小了第二存储器的存取压力,避免其长期高速运转导致的大量功耗损失,实现对本地处理端的数据存储和系统功耗的优化。
进一步的,本申请实施例还包括:
步骤S6100:当所述本地处理数据集被调用时,获取执行业务类型;
步骤S6200:根据所述执行业务类型,匹配数据处理量时序信息;
步骤S6300:根据所述数据处理量时序信息对所述数据处理中心进行热量分析,获取生成预测热量时序信息;
步骤S6400:根据所述生成预测热量时序信息进行散热控制优化,获取所述散热控制参数执行散热控制。
具体而言,当本地处理数据集被调用进行处理时,首先,获取正在执行的业务类型。其中,执行业务类型是指本地处理数据集中正在处理的业务分类,如图像处理、自然语言处理、机器学习等。监控本地处理数据集的元数据或数据结构,判断当前正在读取或处理的数据属于哪个业务分类,确定执行业务类型。例如,监控本地处理数据集,发现当前有50GB图像数据被调度到GPU进行处理,则执行业务类型为图像处理。
然后,根据执行业务类型,匹配对应的数据处理量时序信息。其中,数据处理量时序信息是指某业务分类的数据在一定时间段内的处理资源需求变化情况。建立业务类型与数据处理时序的对应关系库,根据已知的执行业务类型,查询关系库中匹配的处理时序信息,如果没有直接匹配结果,则采用近似匹配等技术手段选择最为匹配的处理时序。
接着,根据数据处理量时序信息,对数据处理中心进行热量分析,获取预测热量时序信息。其中,数据处理中心是本地处理数据集进行执行和处理的位置,其CPU、硬件设备的运转会产生大量热量。采用热传导方程、有限元法等技术手段,建立数据处理量和处理中心热量的对应关系。根据数据处理量时序信息计算机数据处理中心在不同时刻的热量变化,得到热量时序预测信息。
最后,根据预测热量时序信息进行散热控制优化,获取散热控制参数执行控制。其中,散热控制参数是指控制处理中心散热系统的具体参数,如风扇转速、制冷系统温度等。构建散热控制参数与处理中心温度之间的关系模型。根据预测热量时序信息计算不同参数组合下的温度变化,选择可以最大限度抑制温度上升的散热参数,确定散热控制参数执行控制。
通过获取执行业务类型、匹配数据处理量时序信息、热量分析与预测、散热参数优化,对本地处理端的数据处理中心进行散热控制与温度管理,有效降低处理中心温度和功耗损失,确保系统安全稳定运行。
进一步的,本申请实施例还包括:
步骤S6210:获取所述数据处理中心的历史处理记录,所述历史处理记录包括业务类型记录和数据处理量记录;
步骤S6220:通过专家组对所述业务类型记录和所述数据处理量记录进行标识,获取生成热量标识信息;
步骤S6230:通过所述业务类型记录和所述数据处理量记录,基于BP神经网络进行正向传播,获取生成热量训练数据;
步骤S6240:根据所述生成热量标识信息对所述生成热量训练数据进行偏离度分析,获取训练损失量;
步骤S6250:当所述训练损失量对所述BP神经网络进行逆向传播;
步骤S6260:重复训练,当连续N次训练的所述训练损失量小于或等于损失量阈值,获取热量分析模型;
步骤S6270:根据所述热量分析模型依次对所述数据处理量时序信息进行处理,获取所述生成预测热量时序信息。
具体而言,获取数据处理中心的历史处理记录,历史处理记录包括业务类型记录和数据处理量记录。其中,历史处理记录是指数据处理中心过去一段时间内处理的业务分类和对应的数据量信息。通过查询数据处理中心的业务执行日志、任务调度记录和资源监控信息等,统计不同业务分类在一定时间段内的处理数据量,形成业务类型记录和数据处理量记录,作为历史处理记录。
通过专家组对业务类型记录和数据处理量记录进行标识,获取生成热量标识信息。通过请示相关领域的专家,对历史处理记录中的不同业务类型和数据量大小进行判断与标识,判断某业务类型和数据量是否会导致数据处理中心产生较大热量,如果会,则进行对应的标识,最终形成热量标识信息,表示哪些业务和数据量会产生较高的热量。例如,专家组判断图像识别业务处理200TB数据和语音识别业务处理50TB数据,均会产生较高热量,则在两条记录上进行标识,形成热量标识信息。
通过业务类型记录和数据处理量记录,基于BP神经网络进行正向传播,获取生成热量训练数据。根据业务类型和数据处理量构建BP神经网络的输入层,然后以历史监控数据确定的处理中心热量值为期望输出,训练BP神经网络,得到各输入对应的数据处理中心热量输出值,形成热量训练数据。将热量标识信息作为热量训练数据输出的期望结果,计算两者的差异度或偏离度,得到训练损失量,如果损失量超过预定阈值,表示训练效果不佳,需要对BP神经网络进行逆向传播,返回更新网络权重,继续训练。当训练效果不佳时,通过对BP神经网络重复进行训练,当N次连续训练的训练损失量小于或等于损失量阈值时,表明网络模型已基本收敛,获取热量分析模型。
最后,将数据处理量时序信息中各个时刻的业务分类和数据量输入热量分析模型,热量分析模型根据网络参数计算各个输入对应的热量值,并以时间顺序输出,形成预测热量时序信息。
通过获取历史处理记录、热量标识与训练、模型训练与评估、预测热量生成等技术手段,构建出的数据中心热量预测模型,利用该模型可以输入不同业务类型和数据量时序,得到数据处理中心热量变化的预估结果,为数据处理中心散热控制与优化功耗损失提供依据。
进一步的,如图3所示,本申请实施例还包括:
步骤S6410:根据所述生成预测热量时序信息,获取第i时序生成预测热量;
步骤S6420:根据所述第i时序生成预测热量和所述执行业务类型,匹配历史散热记录的风冷控制参数记录数据和液冷控制参数记录数据;
步骤S6430:构建适应度函数,其中,所述适应度函数为能耗的倒数;
步骤S6440:根据所述适应度函数,遍历所述风冷控制参数记录数据和所述液冷控制参数记录数据进行处理,获取适应度最大值对应的所述风冷控制参数记录数据和所述液冷控制参数记录数据,设为所述散热控制参数。
具体而言,生成预测热量时序信息是指通过热量分析模型得到的数据中心在不同时刻的热量变化预计结果。从该信息中提取出第i个时序对应的热量输出结果,作为当前时序生成预测热量。历史散热记录是指数据中心过去进行散热控制时采用的控制参数与热量变化的对应关系信息,在历史散热记录中建立预测热量、业务类型与散热控制参数之间的映射关系,根据当前预测热量值和执行业务类型,在映射关系中查询最为匹配的控制参数选项,作为散热候选参数。例如,历史记录显示当处理图像业务、热量达到42°C时,采用风扇转速60%、制冷温度18°C的控制参数,效果较好,则这两个参数作为当前时刻的散热候选参数。
适应度函数是指评估不同散热控制参数的适用程度与效果的度量标准,定义适应度函数为对应参数组合的能耗倒数,即能耗越小,参数适应度越高。在已知的控制参数候选范围内,计算不同参数组合的能耗结果及适应度,比较计算所得适应度,选择最大值对应的控制参数组合,即风冷控制参数记录数据和液冷控制参数记录数据,作为散热控制参数采用。
通过时序热量预测、历史记录匹配、适应度函数构建及遍历筛选等技术手段,在数据中心当前热量水平与业务条件下选择最佳的散热控制策略,最大限度降低数据中心能耗,实现对数据中心散热的精细管理与动态优化,从而针对性精细优化功耗损失。
进一步的,本申请实施例还包括:
步骤S6441:遍历所述风冷控制参数记录数据和所述液冷控制参数记录数据进行标识,获取历史散热量标识信息;
步骤S6442:根据所述风冷控制参数记录数据、所述液冷控制参数记录数据和所述历史散热量标识信息,训练散热量分析模型;
步骤S6443:设定预设调整步长;
步骤S6444:根据所述预设调整步长对所述风冷控制参数记录数据和所述液冷控制参数记录数据进行调整,获取风冷控制参数扩充数据和液冷控制参数扩充数据;
步骤S6445:将所述风冷控制参数扩充数据和所述液冷控制参数扩充数据输入所述散热量分析模型,获取散热量分析结果;
步骤S6446:根据所述散热量分析结果与所述第i时序生成预测热量的偏差小于或等于偏差阈值的所述风冷控制参数扩充数据和所述液冷控制参数扩充数据,添加进所述风冷控制参数记录数据和所述液冷控制参数记录数据,获取第二风冷控制参数记录数据和第二液冷控制参数记录数据;
步骤S6447:根据所述适应度函数,遍历所述第二风冷控制参数记录数据和所述第二液冷控制参数记录数据进行处理,获取适应度最大值对应的所述风冷控制参数记录数据和所述液冷控制参数记录数据,设为所述散热控制参数。
具体而言,控制参数记录数据是指历史运行选择的不同控制参数与对应产生的热量信息。在记录数据中遍历控制参数记录,识别各参数对应的热量输出结果,形成历史散热量标识信息,表明同一业务条件下,不同控制参数选择会导致的数据中心热量不同。其次,采用线性回归模型、神经网络模型等机器学习方法建立热量分析模型,利用控制参数记录数据、液冷控制参数记录数据和历史散热量标识信息作为训练样本,建立模型的输入与输出关系,得到散热量分析模型。然后,根据数据中心的散热特性、控制精度要求以及寻优计算负荷等因素预设调整步长,过大的步长会导致训练过程跳跃过大,寻优难以收敛;过小的步长会增加计算量,延长模型训练时间,一般在1%—10%的范围内进行设定。例如,根据控制器和自动化设备的调整精度,确定预设调整步长为5%。接着,将控制参数记录数据中的每个参数值增加预设调整步长,得到控制参数上限值;同时将每个参数值减少预设调整步长,得到控制参数下限值。新生成的参数上下限值与原记录参数一起,构成风冷控制参数扩充数据和液冷控制参数扩充数据。之后,将风冷控制参数扩充数据和液冷控制参数扩充数据中的每个参数组合逐一输入散热量分析模型。模型根据自身建立的输入与输出映射关系,计算每个参数组合对应的热量值,并输出,得到散热量分析结果。
第二控制参数记录数据是指在原控制参数记录的基础上添加部分热量偏差满足要求的扩充参数所构成的新参数集。计算散热量分析结果中每个参数组合的热量值与第i时序生成预测热量的差值,作为对应参数的偏差,再判断各个参数的偏差是否小于预设偏差阈值,偏差小于阈值的参数记录添加至原控制参数记录数据,得到新的第二控制参数记录数据。最后,计算不同第二控制参数的适应度,选择适应度最大的参数组合作为散热控制参数。
通过构建热量分析模型,设定预设调整步长对控制参数进行扩充,并结合最优遍历算法选择全局最优控制参数,实现对数据中心散热控制的精细化和动态优化,具有更高的运算效率和控制精度,为数据中心的安全与高效运行提供更强有力的支持。
综上所述,本申请实施例所提供的一种优化功耗损失的数据处理方法具有如下技术效果:
获取待处理数据集按照业务类型进行聚类,获取类划分结果,对数据集进行分类,提供数据集类别信息;根据业务执行频率对类划分结果进行标记,获取类频率特征,分析每个数据集类别的调用频率,为数据集的分组提供参考依据;根据业务计算量对类划分结果进行标记,获取类计算量特征,分析每个数据集类别的计算量大小,为数据集的分组提供参考依据;根据类频率特征和类计算量特征,对待处理数据集进行分组,获取本地处理数据集和云处理数据集,实现对数据集的划分;将云处理数据集发送至云处理端,将本地处理数据集发送至本地处理端,为散热控制提供基础;当本地处理数据集被调用时,对本地处理端的数据处理中心的散热控制进行优化,确定散热控制参数执行散热控制,进而达到动态优化功耗损失的技术效果。
实施例二
基于与前述实施例中一种优化功耗损失的数据处理方法相同的发明构思,如图4所示,本申请实施例提供了一种优化功耗损失的数据处理系统,该系统包含本地处理端和云处理端,数据处理系统包括:
类划分结果模块11,用于获取待处理数据集按照业务类型进行聚类,获取类划分结果;
类频率特征模块12,用于根据业务执行频率对所述类划分结果进行标记,获取类频率特征;
类计算量特征模块13,用于根据业务计算量对所述类划分结果进行标记,获取类计算量特征;
处理数据集模块14,用于根据所述类频率特征和所述类计算量特征,对所述待处理数据集进行分组,获取本地处理数据集和云处理数据集;
数据集发送模块15,用于将所述云处理数据集发送至云处理端,将所述本地处理数据集发送至本地处理端;
散热控制执行模块16,用于当所述本地处理数据集被调用时,对所述本地处理端的数据处理中心的散热控制进行优化,确定散热控制参数执行散热控制。
进一步的,处理数据集模块14包括以下执行步骤:
当所述类计算量特征大于计算量阈值时,将所述类划分结果归类为第一数据组;
当所述类计算量特征小于或等于所述计算量阈值时,将所述类划分结果归类为第二数据组;
当所述类计算量特征小于或等于所述计算量阈值,且所述类频率特征大于频率阈值时,将所述第二数据组归类为第三数据组;
当所述类计算量特征小于或等于所述计算量阈值,且所述类频率特征小于或等于所述频率阈值时,将所述第二数据组归类为第四数据组;
将所述第一数据组添加进所述云处理数据集;
将所述第三数据组和所述第四数据组添加进所述本地处理数据集。
进一步的,数据集发送模块15包括以下执行步骤:
获取所述本地处理端的第一存储器和第二存储器,其中,所述第一存储器的运转速度小于所述第二存储器;
将所述第三数据组存储于所述第二存储器;
将所述第四数据组存储于所述第一存储器。
进一步的,散热控制执行模块16包括以下执行步骤:
当所述本地处理数据集被调用时,获取执行业务类型;
根据所述执行业务类型,匹配数据处理量时序信息;
根据所述数据处理量时序信息对所述数据处理中心进行热量分析,获取生成预测热量时序信息;
根据所述生成预测热量时序信息进行散热控制优化,获取所述散热控制参数执行散热控制。
进一步的,散热控制执行模块16还包括以下执行步骤:
获取所述数据处理中心的历史处理记录,所述历史处理记录包括业务类型记录和数据处理量记录;
通过专家组对所述业务类型记录和所述数据处理量记录进行标识,获取生成热量标识信息;
通过所述业务类型记录和所述数据处理量记录,基于BP神经网络进行正向传播,获取生成热量训练数据;
根据所述生成热量标识信息对所述生成热量训练数据进行偏离度分析,获取训练损失量;
当所述训练损失量对所述BP神经网络进行逆向传播;
重复训练,当连续N次训练的所述训练损失量小于或等于损失量阈值,获取热量分析模型;
根据所述热量分析模型依次对所述数据处理量时序信息进行处理,获取所述生成预测热量时序信息。
进一步的,散热控制执行模块16还包括以下执行步骤:
根据所述生成预测热量时序信息,获取第i时序生成预测热量;
根据所述第i时序生成预测热量和所述执行业务类型,匹配历史散热记录的风冷控制参数记录数据和液冷控制参数记录数据;
构建适应度函数,其中,所述适应度函数为能耗的倒数;
根据所述适应度函数,遍历所述风冷控制参数记录数据和所述液冷控制参数记录数据进行处理,获取适应度最大值对应的所述风冷控制参数记录数据和所述液冷控制参数记录数据,设为所述散热控制参数。
进一步的,散热控制执行模块16还包括以下执行步骤:
遍历所述风冷控制参数记录数据和所述液冷控制参数记录数据进行标识,获取历史散热量标识信息;
根据所述风冷控制参数记录数据、所述液冷控制参数记录数据和所述历史散热量标识信息,训练散热量分析模型;
设定预设调整步长;
根据所述预设调整步长对所述风冷控制参数记录数据和所述液冷控制参数记录数据进行调整,获取风冷控制参数扩充数据和液冷控制参数扩充数据;
将所述风冷控制参数扩充数据和所述液冷控制参数扩充数据输入所述散热量分析模型,获取散热量分析结果;
根据所述散热量分析结果与所述第i时序生成预测热量的偏差小于或等于偏差阈值的所述风冷控制参数扩充数据和所述液冷控制参数扩充数据,添加进所述风冷控制参数记录数据和所述液冷控制参数记录数据,获取第二风冷控制参数记录数据和第二液冷控制参数记录数据;
根据所述适应度函数,遍历所述第二风冷控制参数记录数据和所述第二液冷控制参数记录数据进行处理,获取适应度最大值对应的所述风冷控制参数记录数据和所述液冷控制参数记录数据,设为所述散热控制参数。
综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中,并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法,在此不做多余限制。
进一步的,综上所述的第一或第二可能不止代表次序关系,也可能代表某项特指概念,和/或指的是多个元素之间可单独或全部选择。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。
Claims (6)
1.一种优化功耗损失的数据处理方法,其特征在于,应用于优化功耗损失的数据处理系统,所述系统包括本地处理端和云处理端,包括:
获取待处理数据集按照业务类型进行聚类,获取类划分结果;
根据业务执行频率对所述类划分结果进行标记,获取类频率特征;
根据业务计算量对所述类划分结果进行标记,获取类计算量特征;
根据所述类频率特征和所述类计算量特征,对所述待处理数据集进行分组,获取本地处理数据集和云处理数据集;
将所述云处理数据集发送至云处理端,将所述本地处理数据集发送至本地处理端;
当所述本地处理数据集被调用时,对所述本地处理端的数据处理中心的散热控制进行优化,确定散热控制参数执行散热控制,包括:
当所述本地处理数据集被调用时,获取执行业务类型;
根据所述执行业务类型,匹配数据处理量时序信息;
根据所述数据处理量时序信息对所述数据处理中心进行热量分析,获取生成预测热量时序信息;
根据所述生成预测热量时序信息进行散热控制优化,获取所述散热控制参数执行散热控制;
其中,根据所述数据处理量时序信息对所述数据处理中心进行热量分析,获取生成预测热量时序信息,包括:
获取所述数据处理中心的历史处理记录,所述历史处理记录包括业务类型记录和数据处理量记录;
通过专家组对所述业务类型记录和所述数据处理量记录进行标识,获取生成热量标识信息;
通过所述业务类型记录和所述数据处理量记录,基于BP神经网络进行正向传播,获取生成热量训练数据;
根据所述生成热量标识信息对所述生成热量训练数据进行偏离度分析,获取训练损失量;
当所述训练损失量对所述BP神经网络进行逆向传播;
重复训练,当连续N次训练的所述训练损失量小于或等于损失量阈值,获取热量分析模型;
根据所述热量分析模型依次对所述数据处理量时序信息进行处理,获取所述生成预测热量时序信息。
2.如权利要求1所述的方法,其特征在于,根据所述类频率特征和所述类计算量特征,对所述待处理数据集进行分组,获取本地处理数据集和云处理数据集,包括:
当所述类计算量特征大于计算量阈值时,将所述类划分结果归类为第一数据组;
当所述类计算量特征小于或等于所述计算量阈值时,将所述类划分结果归类为第二数据组;
当所述类计算量特征小于或等于所述计算量阈值,且所述类频率特征大于频率阈值时,将所述第二数据组归类为第三数据组;
当所述类计算量特征小于或等于所述计算量阈值,且所述类频率特征小于或等于所述频率阈值时,将所述第二数据组归类为第四数据组;
将所述第一数据组添加进所述云处理数据集;
将所述第三数据组和所述第四数据组添加进所述本地处理数据集。
3.如权利要求2所述的方法,其特征在于,将所述本地处理数据集发送至本地处理端,包括:
获取所述本地处理端的第一存储器和第二存储器,其中,所述第一存储器的运转速度小于所述第二存储器;
将所述第三数据组存储于所述第二存储器;
将所述第四数据组存储于所述第一存储器。
4.如权利要求1所述的方法,其特征在于,根据所述生成预测热量时序信息进行散热控制优化,获取所述散热控制参数执行散热控制,包括:
根据所述生成预测热量时序信息,获取第i时序生成预测热量;
根据所述第i时序生成预测热量和所述执行业务类型,匹配历史散热记录的风冷控制参数记录数据和液冷控制参数记录数据;
构建适应度函数,其中,所述适应度函数为能耗的倒数;
根据所述适应度函数,遍历所述风冷控制参数记录数据和所述液冷控制参数记录数据进行处理,获取适应度最大值对应的所述风冷控制参数记录数据和所述液冷控制参数记录数据,设为所述散热控制参数。
5.如权利要求4所述的方法,其特征在于,根据所述适应度函数,遍历所述风冷控制参数记录数据和所述液冷控制参数记录数据进行处理,获取适应度最大值对应的所述风冷控制参数记录数据和所述液冷控制参数记录数据,设为所述散热控制参数,包括:
遍历所述风冷控制参数记录数据和所述液冷控制参数记录数据进行标识,获取历史散热量标识信息;
根据所述风冷控制参数记录数据、所述液冷控制参数记录数据和所述历史散热量标识信息,训练散热量分析模型;
设定预设调整步长;
根据所述预设调整步长对所述风冷控制参数记录数据和所述液冷控制参数记录数据进行调整,获取风冷控制参数扩充数据和液冷控制参数扩充数据;
将所述风冷控制参数扩充数据和所述液冷控制参数扩充数据输入所述散热量分析模型,获取散热量分析结果;
根据所述散热量分析结果与所述第i时序生成预测热量的偏差小于或等于偏差阈值的所述风冷控制参数扩充数据和所述液冷控制参数扩充数据,添加进所述风冷控制参数记录数据和所述液冷控制参数记录数据,获取第二风冷控制参数记录数据和第二液冷控制参数记录数据;
根据所述适应度函数,遍历所述第二风冷控制参数记录数据和所述第二液冷控制参数记录数据进行处理,获取适应度最大值对应的所述风冷控制参数记录数据和所述液冷控制参数记录数据,设为所述散热控制参数。
6.一种优化功耗损失的数据处理系统,其特征在于,所述系统包括本地处理端和云处理端,包括:
类划分结果模块,所述类划分结果模块用于获取待处理数据集按照业务类型进行聚类,获取类划分结果;
类频率特征模块,所述类频率特征模块用于根据业务执行频率对所述类划分结果进行标记,获取类频率特征;
类计算量特征模块,所述类计算量特征模块用于根据业务计算量对所述类划分结果进行标记,获取类计算量特征;
处理数据集模块,所述处理数据集模块用于根据所述类频率特征和所述类计算量特征,对所述待处理数据集进行分组,获取本地处理数据集和云处理数据集;
数据集发送模块,所述数据集发送模块用于将所述云处理数据集发送至云处理端,将所述本地处理数据集发送至本地处理端;
散热控制执行模块,所述散热控制执行模块用于当所述本地处理数据集被调用时,对所述本地处理端的数据处理中心的散热控制进行优化,确定散热控制参数执行散热控制;
所述散热控制执行模块包括以下执行步骤:
当所述本地处理数据集被调用时,获取执行业务类型;
根据所述执行业务类型,匹配数据处理量时序信息;
根据所述数据处理量时序信息对所述数据处理中心进行热量分析,获取生成预测热量时序信息;
根据所述生成预测热量时序信息进行散热控制优化,获取所述散热控制参数执行散热控制;
获取所述数据处理中心的历史处理记录,所述历史处理记录包括业务类型记录和数据处理量记录;
通过专家组对所述业务类型记录和所述数据处理量记录进行标识,获取生成热量标识信息;
通过所述业务类型记录和所述数据处理量记录,基于BP神经网络进行正向传播,获取生成热量训练数据;
根据所述生成热量标识信息对所述生成热量训练数据进行偏离度分析,获取训练损失量;
当所述训练损失量对所述BP神经网络进行逆向传播;
重复训练,当连续N次训练的所述训练损失量小于或等于损失量阈值,获取热量分析模型;
根据所述热量分析模型依次对所述数据处理量时序信息进行处理,获取所述生成预测热量时序信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310896223.XA CN116610458B (zh) | 2023-07-21 | 2023-07-21 | 一种优化功耗损失的数据处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310896223.XA CN116610458B (zh) | 2023-07-21 | 2023-07-21 | 一种优化功耗损失的数据处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116610458A CN116610458A (zh) | 2023-08-18 |
CN116610458B true CN116610458B (zh) | 2023-11-14 |
Family
ID=87680522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310896223.XA Active CN116610458B (zh) | 2023-07-21 | 2023-07-21 | 一种优化功耗损失的数据处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116610458B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117194020B (zh) * | 2023-09-04 | 2024-04-05 | 北京宝联之星科技股份有限公司 | 一种云计算的原始大数据处理方法、系统和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014011922A (ja) * | 2012-07-02 | 2014-01-20 | Osaka Gas Co Ltd | 熱電併給システム |
CN106487854A (zh) * | 2015-08-31 | 2017-03-08 | 株式会社日立制作所 | 存储资源分配方法、装置和系统 |
CN111935185A (zh) * | 2020-10-09 | 2020-11-13 | 北京元支点信息安全技术有限公司 | 基于云计算构建大规模诱捕场景的方法及系统 |
CN114442794A (zh) * | 2022-01-20 | 2022-05-06 | 苏州浪潮智能科技有限公司 | 服务器功耗控制方法、系统、终端及存储介质 |
CN115510904A (zh) * | 2022-09-26 | 2022-12-23 | 天津大学 | 基于时序预测的锅炉受热面积灰监测方法 |
CN115525779A (zh) * | 2022-10-09 | 2022-12-27 | 科大讯飞股份有限公司 | 一种数据处理方法及系统 |
-
2023
- 2023-07-21 CN CN202310896223.XA patent/CN116610458B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014011922A (ja) * | 2012-07-02 | 2014-01-20 | Osaka Gas Co Ltd | 熱電併給システム |
CN106487854A (zh) * | 2015-08-31 | 2017-03-08 | 株式会社日立制作所 | 存储资源分配方法、装置和系统 |
CN111935185A (zh) * | 2020-10-09 | 2020-11-13 | 北京元支点信息安全技术有限公司 | 基于云计算构建大规模诱捕场景的方法及系统 |
CN114442794A (zh) * | 2022-01-20 | 2022-05-06 | 苏州浪潮智能科技有限公司 | 服务器功耗控制方法、系统、终端及存储介质 |
CN115510904A (zh) * | 2022-09-26 | 2022-12-23 | 天津大学 | 基于时序预测的锅炉受热面积灰监测方法 |
CN115525779A (zh) * | 2022-10-09 | 2022-12-27 | 科大讯飞股份有限公司 | 一种数据处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116610458A (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108595301B (zh) | 一种基于机器学习的服务器能耗预测方法和系统 | |
CN110166282B (zh) | 资源分配方法、装置、计算机设备和存储介质 | |
CN116610458B (zh) | 一种优化功耗损失的数据处理方法及系统 | |
CN111258767B (zh) | 复杂系统仿真应用的云计算资源智能分配方法与装置 | |
CN103218435B (zh) | 一种中文文本数据聚类方法及系统 | |
CN111880747B (zh) | 一种基于分级映射的Ceph存储系统自动均衡存储方法 | |
US20190361811A1 (en) | Data processing apparatus and prefetch method | |
CN107122126B (zh) | 数据的迁移方法、装置和系统 | |
CN105607952B (zh) | 一种虚拟化资源的调度方法及装置 | |
CN112286953A (zh) | 多维数据查询方法、装置和电子设备 | |
CN106709068A (zh) | 一种热点数据识别方法及其装置 | |
CN112398700B (zh) | 一种服务降级方法及装置、存储介质、计算机设备 | |
CN112527448A (zh) | 基于openstack的动态负载调整方法及其系统 | |
CN112835698A (zh) | 一种基于异构集群的请求分类处理的动态负载均衡方法 | |
CN108241864A (zh) | 基于多变量分组的服务器性能预测方法 | |
CN112328332B (zh) | 一种面向云计算环境的数据库配置优化方法 | |
CN108241533B (zh) | 一种基于预测和分层抽样的资源池未来负载生成方法 | |
CN115576924A (zh) | 一种数据迁移的方法 | |
CN112925793B (zh) | 一种多种结构数据分布式混合存储方法和系统 | |
CN111984652B (zh) | 一种位图数据中空闲块的查找方法及相关组件 | |
CN111598390B (zh) | 服务器高可用性评估方法、装置、设备和可读存储介质 | |
CN113704220A (zh) | 一种基于LSTM和遗传算法的Ceph参数调优方法 | |
CN110134575B (zh) | 一种服务器集群的服务能力计算方法及装置 | |
CN112446490A (zh) | 一种网络训练的数据集缓存方法、装置、设备及存储介质 | |
CN117807411B (zh) | 一种服务器性能指标预测方法、装置、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |