CN114996228A - 一种面向服务器无感知的数据传输成本优化方法 - Google Patents
一种面向服务器无感知的数据传输成本优化方法 Download PDFInfo
- Publication number
- CN114996228A CN114996228A CN202210617619.1A CN202210617619A CN114996228A CN 114996228 A CN114996228 A CN 114996228A CN 202210617619 A CN202210617619 A CN 202210617619A CN 114996228 A CN114996228 A CN 114996228A
- Authority
- CN
- China
- Prior art keywords
- transmission
- server
- prediction model
- data transmission
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000005457 optimization Methods 0.000 title claims abstract description 26
- 238000007906 compression Methods 0.000 claims abstract description 64
- 230000006835 compression Effects 0.000 claims abstract description 64
- 230000006870 function Effects 0.000 claims abstract description 57
- 230000008447 perception Effects 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 230000015654 memory Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000013144 data compression Methods 0.000 claims description 5
- 238000007620 mathematical function Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种面向服务器无感知(Serverless)的数据传输成本优化方法，包括如下步骤：测试分析服务器无感知环境的带宽、云函数的计算能力以及计费模式；建立传输时间与传输成本预测模型；用户提交传输任务，在传输任务中指定传输的地址以及执行的时间约束；生成采样任务对新文件进行特征采样，然后利用压缩性能预测模型预测文件的压缩率信息；系统根据任务描述选择传输成本最低且满足时间约束的传输参数；系统根据任务描述以及传输参数，利用服务器无感知计算资源进行实际传输；系统收集执行结果，并更新传输时间预测模型以及压缩性能预测模型。本发明能够保障传输任务在规定时间内完成的前提下，以最低的成本完成传输任务。
Description
技术领域
本发明涉及云环境下的数据传输领域，尤其涉及一种面向服务器无感知的数据传输成本优化方法。
背景技术
当今时代，云计算作为一种重要信息化基础设施服务，支撑着上层众多行业的应用运行。云计算租赁虚拟机模式(如AWS EC2)作为一种传统技术，正逐渐面临环境配置繁琐、实例冗余笨重、弹性伸缩能力较差等问题。近年来，服务器无感知计算正逐渐发展成为新一代云计算技术，它以云函数(Function as a Service，FaaS，如AWS Lambda)形式提供计算资源，使得用户无需关注底层虚拟服务器的管理，并且具有更快速的伸缩能力与更细粒度的计费方式。服务器无感知计算的快捷交付、极致弹性、更低成本等特点，引起学术界和工业界的广泛关注。另一方面，在现实应用中存在大量的数据传输需求，例如数据灾备、应用CDN(Content Delivery Network)以及我国的东数西算工程。研究显示，云厂商每年需要花费上亿美元用于数据传输，并且云上传输性能差的问题一直存在。因此，在服务器无感知平台上进行数据传输是非常有前景的，尤其是对于那些服务器无感知原生应用。
现有服务器无感知系统通常通过读写远程存储方式完成云函数之间的数据传输。并且，在云函数中可以对传输数据进行数据压缩，从而减少传输数据量以及提升传输效率。然而，由于数据压缩本身也会额外引入很大计算开销，固定采用某种压缩方法有时会带来负面效果。因此，需要根据不同的场景需求，选择不同的压缩方法。在服务器无感知场景下实现高效的数据传输，不仅需要选择合适的压缩方法，还面临着云函数的系统配置问题。
现有的数据传输优化方法包括传输压缩方法的选择、最优参数的自动搜索以及针对服务器无感知场景的数据传输优化这三类。
第一类关于传输压缩方法选择方法，主要是权衡压缩方法的压缩率与压缩速率，以达到优化传输能耗或传输效率的目的。然而，这些方法没有考虑服务器无感知环境的特点，难以有效解决服务器无感知场景下的压缩方法选择问题。
第二类关于系统参数自动搜索方法，主要分为黑盒、灰盒与白盒三种类别：1)黑盒搜索算法仅在搜索空间内进行采样或遍历，不需要考虑问题的特点，但可能存在效率低以及效果差的问题；2)灰盒算法则会根据历史的参数优化下一步的参数选择；3)白盒算法则充分分析问题的特点，从而可以数值计算方法精准快速地找到较好的参数。目前现有方法主要基于黑盒算法和灰盒算法，而本方法则基于白盒算法。
第三类关于服务器无感知下的传输优化方法，主要针对特定应用的性能和成本进行优化，如大数据分析应用、视频分析系统以及机器学习应用等。这些方法主要考虑远程存储系统的访问成本以及访问效率的问题。与这些方法不同的是，本方法考虑的是远程存储与云函数跨域的情况，该场景下传输效率更低且包含昂贵的带宽成本。
综上分析，现有方法难以在服务器无感知传输优化场景下同时满足参数搜索效率、参数质量以及时间约束的要求。
发明内容
发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提供一种服务器无感知场景下高效精准的数据传输成本优化方法，能够保障传输任务在规定时间内完成的前提下，以最低的成本完成传输任务。
技术方案：为实现上述发明目的，本发明提出了一种面向服务器无感知的数据传输成本优化方法，包括如下步骤：
(1)通过标准测试程序检测服务器无感知环境的传输带宽、计算能力与系统配置的关系，并统计分析服务器无感知云厂商在数据传输过程中的各项计费项目；
(2)根据数据传输过程的特点，以及步骤(1)中的各项关系信息，构建服务器无感知环境下的数据传输时间的第一预测模型与传输成本的第二预测模型；
(3)用户将传输任务的任务描述以JSON格式输入到系统中，在任务描述中指定传输任务的时间约束以及传输任务的地址信息；
(4)对于压缩性能未知的文件，首先进行文件的特征采样，并利用提前训练好的压缩性能的第三预测模型来预测文件的压缩性能；
(5)根据步骤(3)的任务描述、步骤(4)文件的压缩性能以及步骤(2)的第一预测模型和第二预测模型，自动搜索满足时间约束且成本最低的传输参数，所述传输参数包括服务器无感知云函数的内存配置、并发度以及数据压缩方法；
(6)根据步骤(3)的任务描述以及步骤(5)的传输参数，利用服务器无感知计算资源进行数据传输，并监控作业的执行情况；
(7)任务执行结束，收集执行的信息，然后更新所述第一预测模型、第二预测模型和第三预测模型。
进一步地，所述步骤(1)中，测试了关于服务器无感知云函数内存大小与传输带宽的关系以及服务器无感知云函数内存大小与计算性能系数的关系。
进一步地，所述步骤(2)中，以传输带宽和压缩速率为瓶颈构建了第一预测模型，以基于函数拟合的方法构建了第一预测模型的数学函数关系表达式，并根据步骤(1)中的计费项目结合第一预测模型构建第二预测模型的数学关系表达式。
进一步地，所述步骤(4)中，利用文件的字节熵作为特征，以文件的压缩率以及压缩速率作为标签，采用随机森林回归模型提前训练好压缩性能的第三预测模型；对于压缩性能已知的文件，跳过步骤(4)。
进一步地，所述步骤(4)中，利用Cochran定理对文件进行分块采样，针对不同文件分块的特征，利用第三预测模型预测不同文件分块的压缩性能，最终结果取不同文件分块压缩性能的平均值，所述压缩性能包括压缩率以及压缩速率信息。
进一步地，所述步骤(5)中，将所述传输参数的搜索问题抽象成非线性整数规划问题，并对所述非线性整数规划问题进行枚举变量与非光滑函数的处理，再以序列二次规划法快速搜索出最优的参数。
进一步地，所述步骤(6)中，利用投机执行方法解决在大规模并行数据传输时产生的长尾效应。
本发明的有益效果：本发明能够在服务器无感知场景下，根据用户给定的传输性能需求，为用户选择出传输成本最低的传输参数。首先，本发明通过构建准确的性能成本预测模型，实现无需实际传输就能预估不同传输参数的传输时间与成本。然后，本发明通过将参数搜索问题抽象成非线性整数规划问题，并设计出巧妙的数值计算方法，达到快速精准搜索出满足时间约束的最优参数的目的。因此，本发明能够实现经济高效的数据传输。
附图说明
图1为本发明的总体流程示意图；
图2(a)为本发明在TPC-H的Lineitem 10GB数据集上，与现有技术的参数优化效果实验对比图；图2(b)与图2(c)分别为本发明在四种数据集上，与现有技术的传输时间与传输成本实验对比图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明提出一种面向服务器无感知的数据传输成本优化方法，解决了现有方法难以在服务器无感知传输优化场景下同时满足搜索效率、精准度、鲁棒性以及时间约束的问题。如图1所示，本发明的完整流程分为建模阶段和传输优化阶段。下面以一个10GB的Lineitem数据集在服务器无感知环境中的传输为例，说明本发明的具体的实施方式。
建模阶段包括服务器无感知环境检测与时间成本模型构建两个步骤，其作为后面进行成本优化的基础，并且检测结果与平台相关。对于特定平台，一般只需建模一次，后续可根据历史数据进行动态更新，具体实施方式如下：
服务器无感知环境检测步骤对应技术方案步骤(1)。具体实施方式为：首先测试在不同云函数内存下的传输带宽，设置云函数内存大小分别为256～3096MB，每个设置间隔256MB。在某个特定内存大小的云函数中，不断生成固定大小(例如64MB)的数据块，然后写入到对象存储中，从而测得该内存大小下的平均传输带宽。接着，使用一个限时计数程序测试不同云函数内存大小下的计数值，从而估算出不同云函数内存大小下，云函数所能使用的CPU时间片占最大情况的比例系数，该系数可以用来估算不同云函数内存下的压缩速率。最后，对服务器无感知云厂商的计价项目进行分析建模，寻找出关键成本因素。例如，在AWS上，进行跨区域的远程数据传输，涉及的相关系统的成本主要为三类成本：服务器无感知计算成本、对象存储成本和带宽成本。表1为AWS上各个计价项目的参考值，其中最右边一列展示了在AWS环境下传输50GB英文维基百科镜像文件的各项成本(配置1024MB云函数内存大小，50函数并发度，使用zlib压缩方法对数据进行压缩)。
表1亚马逊云(AWS)上各个计价项目参考值
| 计价项目 | AWS参考值 | 总成本×10<sup>-3</sup>$(美元) |
| Lambda计算单价 | 1.67e-5～2.3e-5$/GB/sec | 125.25 |
| Lambda请求单价 | 0.2$/Mops | 0.01 |
| S3存储单价 | 1.4e-8$/GB/sec | 0.105 |
| S3请求单价 | 5$/Mops | 64 |
| 单位流量成本 | 0.01～0.16$/GB | 142.8 |
数据传输时间成本模型构建步骤对应技术方案步骤(2)。具体实施方式为：将数据传输分为读取、压缩、写入三个过程，这个三个过程以流水线方式并行执行。由于读取速率一般快于写入速率，并且解压缩速率快于压缩速率，因此将整体传输时间建模为压缩时间与写入时间中最长的时间。对于步骤(1)中得到的云函数传输带宽与云函数内存大小的关系，以及云函数单核CPU性能系数与云函数内存大小的关系，可使用分段线性拟合的方式进行拟合，从而得到第一预测模型的数学关系表达式。最后，将数学关系表达式代入步骤(1)中得到的计价模型，从而可以得到第二预测模型的数学关系表达式，这两个表达式可在给定上述系列参数时，直接根据数学表达式求出传输所需的时间与成本。
传输优化阶段是本发明所述的技术方案的第二阶段，该阶段包含提交传输任务、文件特征采样与压缩性能预测、最优传输参数搜索、执行数据传输以及更新模型五个步骤，分别对应技术方案步骤(3)～(7)。
提交传输任务步骤对应技术方案步骤(3)。具体实施方式为：用户将传输任务的描述以JSON格式输入到系统中，在任务描述中需要指定传输任务的时间约束以及传输任务的地址信息。例如用户希望200秒内传输完10GB的Lineitem数据集，则需要利用三个字段分别指定源路径、目标路径以及时间约束，并将该JSON对象作为步骤(4)的输入。
文件特征采样与压缩性能预测步骤对应技术方案步骤(4)。具体实施方式为：首先提前训练好压缩性能的第三预测模型，该模型为随机森林回归模型，模型的输入为文件的字节熵，输出为文件的压缩率或压缩速率。可以将各种不同种类的数据文件划分成多个小文件，并利用压缩方法对这些小文件进行压缩，从而产生训练数据集。然后对于指定需要传输的文件Lineitem，按照4MB大小将文件划分成不相交的2560个分块，利用Cochran定理，取95％的置信水平、5％的误差边界，从2560个分块中采样335个文件分块，并统计这些文件分块的字节熵，然后利用第三预测模型来预测这335个文件分块的压缩率和压缩速率，最终整个Lineitem文件的压缩率和压缩速率取这335个文件分块的平均值。由于不同文件分块的预测误差相互抵消，因此该方法的预测具有较高的准确率。并且，采样方法避免了全量数据的扫描，使得特征提取的过程更加快速。不同文件分块的特征提取过程是独立的，因此特征采样过程可利用并行化技术进一步提升性能。最后，压缩速率与压缩率的预测信息将作为步骤(5)的输入之一。
最优传输参数搜索步骤对应技术方案步骤(5)。具体实施方式为：首先将参数搜索问题转化为非线性整数规划问题。对于本问题，由于需要最小化传输成本，并且满足传输时间约束，因此为不等式约束优化问题。对于压缩方法的选择问题，本发明对所有压缩方法进行编号，将压缩方法的编号作为搜索参数之一，由于云函数内存大小、云函数的并发度以及压缩方法编号均为整数值，因此为整数规划问题。而步骤(2)中的模型在实际建模过程中，一般为非线性模型。因此，参数搜索问题可以抽象成非线性整数规划问题。对于压缩方法参数，本发明对其进行枚举，由于压缩方法数量相对较少，因此枚举开销不大。然后，对于问题中的目标函数(成本函数)，由于本发明对传输时间建模时采用了取最大值以及分段线性拟合的方法，而目标函数中包含传输时间项(传输时间影响服务器无感知计算成本)，因此目标函数为多面体函数，非连续可微。本发明将目标函数中关于传输时间项替换成用户给定的时间约束，从而得出目标函数的上界函数，以上界函数替代原目标函数进行优化，从而使得新目标函数连续可微。接着，对于问题中的时间约束项，由于传输时间预测模型为多面体函数，本发明将该约束项拆分成多个等价的连续可微的约束。到此，整个问题中所有项均连续可微。然后，本发明采用序列二次规划法求解该问题，由于该方法类似牛顿法，并且同时考虑到问题的边界解和内部解，因此可以快速求解出问题的较优解。最后，对于对比每个压缩方法对应的参数，选择其中最好的那个作为最终的传输参数，并作为步骤(6)的输入。
执行数据传输以及更新模型步骤对应技术方案步骤(6)和(7)。具体实施方式为：根据步骤(5)中得到的参数，设置服务器无感知云函数的函数内存大小、函数并发度以及数据压缩方法，然后将原始的Lineitem文件在逻辑上等分为不同partition，partition数量就是函数的并发度，每个云函数分别处理一个partition，不同云函数并发执行。并且利用线程池技术监听每个函数的执行情况，对于函数并发度较大(20以上)，当其中x％比例的云函数完成时，对于剩下未完成的云函数，启动新的云函数来传输这些云函数的所需传输的数据。最终所有partition都传输完成时，结束剩下未完成的云函数，从而减少长尾效应对整体传输时间带来的影响。在任务结束后，每个云函数内部会统计传输带宽、压缩率等信息并返回给系统，系统将这些信息收集后作为步骤(7)的输入。然后，将收集的信息用于更新步骤(2)和步骤(4)中的三种预测模型。
本发明提出了一种高效精准且面向服务器无感知场景的数据传输成本优化的方法。为测试该方法的实际性能，本发明在真实AWS平台上进行测试。首先本发明评估了最优传输参数搜索阶段的效率。测试中，首先对比了另外七种最先进的参数搜索方法的参数搜索时间以及使用该参数进行传输时所需要花费的成本，结果如图2(a)所示。测试结果表明，与现有最先进的参数搜索方法相比，本发明可以将参数搜索效率提高3倍以上，并且在精准度和鲁棒性上也优于绝大多数算法。进一步，对比了整个传输成本优化方法与现有技术的传输成本优化方法的端到端的传输时间和成本，结果如图2(b)所示，测试结果表明，本发明的传输成本优化方法具有更低的传输成本以及更高的传输效率。
Claims (7)
1.一种面向服务器无感知的数据传输成本优化方法，包括以下步骤：
(1)通过标准测试程序检测服务器无感知环境的传输带宽、计算能力与系统配置的关系，并统计分析服务器无感知云厂商在数据传输过程中的各项计费项目；
(2)根据数据传输过程的特点，以及步骤(1)中的各项关系信息，构建服务器无感知环境下的数据传输时间的第一预测模型与传输成本的第二预测模型；
(3)用户将传输任务的任务描述以JSON格式输入到系统中，在任务描述中指定传输任务的时间约束以及传输任务的地址信息；
(4)对于压缩性能未知的文件，首先进行文件的特征采样，并利用提前训练好的压缩性能的第三预测模型来预测文件的压缩性能；
(5)根据步骤(3)的任务描述、步骤(4)文件的压缩性能以及步骤(2)的第一预测模型和第二预测模型，自动搜索满足时间约束且成本最低的传输参数，所述传输参数包括服务器无感知云函数的内存配置、并发度以及数据压缩方法；
(6)根据步骤(3)的任务描述以及步骤(5)的传输参数，利用服务器无感知计算资源进行数据传输，并监控作业的执行情况；
(7)任务执行结束，收集执行的信息，然后更新所述第一预测模型、第二预测模型和第三预测模型。
2.根据权利要求1所述一种面向服务器无感知的数据传输成本优化方法，其特征在于：所述步骤(1)中，测试了关于服务器无感知云函数内存大小与传输带宽的关系以及服务器无感知云函数内存大小与计算性能系数的关系。
3.根据权利要求1所述一种面向服务器无感知的数据传输成本优化方法，其特征在于：所述步骤(2)中，以传输带宽和压缩速率为瓶颈构建了第一预测模型，以基于函数拟合的方法构建了第一预测模型的数学函数关系表达式，并根据所述步骤(1)中的计费项目结合第一预测模型构建第二预测模型的数学关系表达式。
4.根据权利要求1所述一种面向服务器无感知的数据传输成本优化方法，其特征在于：所述步骤(4)中，利用文件的字节熵作为特征，以文件的压缩率以及压缩速率作为标签，采用随机森林回归模型提前训练好第三预测模型；对于压缩性能已知的文件，跳过步骤(4)。
5.根据权利要求1所述一种面向服务器无感知的数据传输成本优化方法，其特征在于：所述步骤(4)中，利用Cochran定理对文件进行分块采样，针对不同文件分块的特征，利用第三预测模型预测不同文件分块的压缩性能，最终结果取不同文件分块压缩性能的平均值，所述压缩性能包括压缩率以及压缩速率信息。
6.根据权利要求1所述一种面向服务器无感知的数据传输成本优化方法，其特征在于：所述步骤(5)中，将所述传输参数的搜索问题抽象成非线性整数规划问题，并对所述非线性整数规划问题进行枚举变量与非光滑函数的处理，再以序列二次规划法快速搜索出最优的参数。
7.根据权利要求1所述一种面向服务器无感知的数据传输成本优化方法，其特征在于：所述步骤(6)中，利用投机执行方法解决在大规模并行数据传输时产生的长尾效应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210617619.1A CN114996228A (zh) | 2022-06-01 | 2022-06-01 | 一种面向服务器无感知的数据传输成本优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210617619.1A CN114996228A (zh) | 2022-06-01 | 2022-06-01 | 一种面向服务器无感知的数据传输成本优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114996228A true CN114996228A (zh) | 2022-09-02 |
Family
ID=83030266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210617619.1A Pending CN114996228A (zh) | 2022-06-01 | 2022-06-01 | 一种面向服务器无感知的数据传输成本优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114996228A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116149575A (zh) * | 2023-04-20 | 2023-05-23 | 北京大学 | 面向服务器无感知计算的磁盘冗余阵列写入方法及系统 |
-
2022
- 2022-06-01 CN CN202210617619.1A patent/CN114996228A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116149575A (zh) * | 2023-04-20 | 2023-05-23 | 北京大学 | 面向服务器无感知计算的磁盘冗余阵列写入方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022037337A1 (zh) | 机器学习模型的分布式训练方法、装置以及计算机设备 | |
| Mahgoub et al. | {OPTIMUSCLOUD}: Heterogeneous configuration optimization for distributed databases in the cloud | |
| US7660884B2 (en) | Apparatus, system, and method for generating a resource utilization description for a parallel data processing system | |
| CN103605662B (zh) | 一种分布式计算框架参数优化方法、装置及系统 | |
| WO2019015631A1 (zh) | 生成机器学习样本的组合特征的方法及系统 | |
| CN111797928A (zh) | 生成机器学习样本的组合特征的方法及系统 | |
| US20210103858A1 (en) | Method and system for model auto-selection using an ensemble of machine learning models | |
| CN114298323A (zh) | 生成机器学习样本的组合特征的方法及系统 | |
| Chen et al. | Incremental mechanism of attribute reduction based on discernible relations for dynamically increasing attribute | |
| CN111324635A (zh) | 工业大数据云平台数据处理方法及系统 | |
| CN114996228A (zh) | 一种面向服务器无感知的数据传输成本优化方法 | |
| CN116450486A (zh) | 多元异构计算系统内节点的建模方法、装置、设备及介质 | |
| CN111291936A (zh) | 产品生命周期预估模型生成方法、装置及电子设备 | |
| CN114528284A (zh) | 一种底层数据清洗方法、装置、移动终端和存储介质 | |
| CN116662674B (zh) | 一种基于高效马尔科夫毯学习机制的服务推荐方法及系统 | |
| CN114238085A (zh) | 接口测试方法、装置、计算机设备、存储介质 | |
| WO2023160290A1 (zh) | 神经网络推理加速方法、目标检测方法、设备及存储介质 | |
| CN116737373A (zh) | 负载均衡方法、装置、计算机设备、存储介质 | |
| CN116820767A (zh) | 一种云资源管理方法、装置、电子设备及存储介质 | |
| CN114896250B (zh) | 一种键值分离的键值存储引擎索引优化方法及装置 | |
| CN114780443A (zh) | 微服务应用自动化测试方法、装置、电子设备及存储介质 | |
| CN113918561A (zh) | 基于云上分析场景的混合查询方法和系统、存储介质 | |
| CN112699140A (zh) | 数据处理方法、装置、设备和存储介质 | |
| de Oliveira et al. | SmarT: Machine learning approach for efficient filtering and retrieval of spatial and temporal data in big data | |
| CN116975052A (zh) | 数据处理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |