CN116701350B - 自动优化方法及训练方法、装置、电子设备 - Google Patents
自动优化方法及训练方法、装置、电子设备 Download PDFInfo
- Publication number
- CN116701350B CN116701350B CN202310574970.1A CN202310574970A CN116701350B CN 116701350 B CN116701350 B CN 116701350B CN 202310574970 A CN202310574970 A CN 202310574970A CN 116701350 B CN116701350 B CN 116701350B
- Authority
- CN
- China
- Prior art keywords
- adjustment
- index parameters
- adjusted
- target
- target index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000005457 optimization Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 title claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 57
- 238000003062 neural network model Methods 0.000 claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims description 30
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Biology (AREA)
- Feedback Control In General (AREA)
- Stored Programmes (AREA)
Abstract
本申请实施例提供了一种自动优化方法及训练方法、装置、电子设备，自动优化方法，包括：在对计算引擎进行大数据基准测试时，获得所述计算引擎的若干个指标参数；通过神经网络模型，从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值；根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
Description
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种自动优化方法及训练方法、装置、电子设备。
背景技术
在大数据之前，一般使用数据库引擎进行数据处理和存储，其由数据计算和数据存储两部分组成。大数据时代到来之后，由于企业等用户需要计算的数据量越来越大，促使了数据库引擎中计算引擎和存储引擎分开各自演进，使得两者获得解放，极大地促使了大数据时代的技术发展。
但是，当前计算引擎售卖过程中，各计算引擎需要进行基准测试，并需要相关专家使用经验根据基准测试结果配置进行调优，调优效率低且成本高。
有鉴于此，现有技术亟需解决的技术问题是如何提供一种新的调优方案。
发明内容
有鉴于此，本申请实施例提供一种调优方案，以至少部分解决上述问题。
根据本申请实施例的第一方面，提供了一种自动优化方法，包括：在对计算引擎进行大数据基准测试时，获得所述计算引擎的若干个指标参数；通过神经网络模型，从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值；根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
根据本申请实施例的第二方面，提供了一种用于优化计算引擎的神经网络模型的训练方法，包括：获得计算引擎对应的样本数据，所述样本数据包括所述计算引擎的历史指标参数及其对应的目标样本指标参数，所述目标样本指标参数为所述历史指标参数中对所述计算引擎的性能影响度排序位于前列的指标参数；利用所述历史指标参数及其对应的目标样本指标参数，对神经网络模型进行训练，使得训练后的所述神经网络模型用于从若干个所述计算引擎的指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值，以根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
根据本申请实施例的第三方面，提供了一种自动优化装置，包括：参数采集模块，用于在对计算引擎进行大数据基准测试时，获得所述计算引擎的若干个指标参数；参数确定模块，用于通过神经网络模型，从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值；调整模块，用于根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
根据本申请实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述方法对应的操作。
根据本申请实施例提供的调优方案，在对计算引擎进行大数据基准测试时，获得所述计算引擎的若干个指标参数，由此，可以保证采集的若干个指标参数的准确性；之后通过神经网络模型，从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值，可以从若干个指标参数中，快速准确地确定出重点影响计算引擎性能的目标指标参数；并根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能，实现了对计算引擎的自动优化，极大地节省了计算引擎的优化成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为适用本申请实施例的自动优化方法的示例性系统的示意图；
图2为根据本申请实施的一种自动优化方法的步骤流程图；
图3A为根据本申请实施例的一种自动优化方法的步骤流程图；
图3B为图3A所示的自动优化方法的雷达图；
图4为根据本申请实施的一种用于优化计算引擎的神经网络模型的训练方法的流程示意图；
图5为根据本申请实施例的一种自动优化装置的结构框图；
图6为根据本申请实施例的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
图1示出了一种适用本申请实施例的自动优化方法的示例性系统。如图1所示，该系统100可以包括云服务端102、通信网络104和/或一个或多个用户设备106，图1中示例为多个用户设备。
云服务端102可以是用于部署计算引擎的任何适当的设备，包括但不限于分布式存储系统设备、服务器集群、云计算服务端集群等。在一些实施例中，云服务端102可以执行任何适当的功能。例如，在一些实施例中，云服务端102可以用于进行计算。作为可选的示例，在一些实施例中，云服务端102可以被用于在用户的请求下对计算引擎进行基准测试。作为另一示例，在一些实施例中，云服务端102可以被用于将测试结果发送至用户。
在一些实施例中，通信网络104可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络104能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(Wide Area Network，WAN)、局域网(Local Area Network,LAN)、无线网络、数字订户线路(Digital Subscriber Line，DSL)网络、帧中继网络、异步转移模式(AsynchronousTransfer Mode,ATM)网络、虚拟专用网(Virtual Private Network，VPN)和/或任何其它合适的通信网络。用户设备106能够通过一个或多个通信链路(例如，通信链路112)连接到通信网络104，该通信网络104能够经由一个或多个通信链路(例如，通信链路114)被链接到云服务端102。通信链路可以是适合于在用户设备106和云服务端102之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路或此类链路的任何合适的组合。
用户设备106可以包括适合于指示云服务端102进行云计算、指示云服务端进行基准测试或者呈现基准测试的测试结果的任何一个或多个用户设备。在一些实施例中，用户设备106可以包括任何合适类型的设备。例如，在一些实施例中，用户设备106可以包括移动设备、平板计算机、膝上型计算机、台式计算机、可穿戴计算机、游戏控制台、媒体播放器、车辆娱乐系统和/或任何其他合适类型的用户设备。
基于上述系统，本申请实施例提供了一种自动优化方法，以下通过多个实施例进行说明。
参见图2，示出了本实施例提供的一种自动优化方法的流程示意图，如图所示，其包括：
S201、在对计算引擎进行大数据基准测试时，获得所述计算引擎的若干个指标参数；
计算引擎自身可以进行高并行或者高实时的计算，为相关用户提高极高的计算支持。
计算引擎按照处理类型可以分为批处理和流处理两类，批处理是指每次处理一批数据，批处理对实时性要求较低，但处理的数据量较大，对并行度要求较高；流处理是指处理数据流，对处理的实时性要求较高。还有一类计算引擎可以兼顾批处理和流处理，这类计算引擎也在本申请的保护范围内。
另外需要说明的是，本申请中的计算引擎可以为部署在云端的计算引擎，也可以为部署在本地处理器的计算引擎，均在本申请的保护范围内。
以分布式计算框架为例，分布式计算框架可以分为映射阶段(Map)和分解阶段(Reduce)两部分。
在通过计算引擎进行计算时，Map阶段可以将数据自动地进行分区，并分布到多台处理机上进行并行处理，分区后的数据为中间数据，中间数据通过键值对的方式进行存储。Reduce阶段会根据中间数据的键值key通过分区函数(如，Hash函数)处理并分布到不同处理机上进行相同的计算。由此，可以利用磁盘的高I/O操作实现并行计算。
连接Map阶段和Reduce阶段的过程称为重分布过程(shuffle)，即shuffle过程为将map的输出作为reduce的输入的过程。
Shuffle可以分为两端，分别对应于Map阶段和Reduce阶段。
对应于Map阶段的Shuffle：由Map阶段产生的结果并不会直接写入到磁盘中，而是先存储在内存中，当内存中的数据量达到设定的阀值时，一次性写入到本地磁盘中。并同时进行排序(sort)、合并(combine)、分片(partition)等操作。其中，排序是把Map阶段产生的结果按照键值key进行排序；合并是把键值key相同的记录进行合并；分片是把合并后的数据均衡的分配给reduce阶段的各个节点。
对应于Reduce阶段的Shuffle：由于Map和Reduce阶段往往不在同一个节点上实现，所以实现Reduce阶段的各个节点Reducer需要通过Shuffle从多个节点上下载Map的结果数据并写入本地，才能继续实现Reduce阶段。
在上述过程中，Map阶段和Reduce阶段的配置参数会影响计算引擎的计算效率；并且Shuffle作为承接Map阶段和Reduce阶段的重要中间阶段，Shuffle的配置参数也极大地影响了计算引擎的计算效率。
为了能够优化计算引擎，本实施例提供的方案，在大数据基准测试时采集指标参数，并根据指标参数进行优化。
具体地，大数据基准测试的主要目的是进行测试来评估在不同硬件平台、不同数据量和不同计算任务下的性能表现，通过在大数据基准测试时获得所述计算引擎的若干个指标参数，可以使得获得的指标参数更加全面可靠。
本实施例中，所述指标参数包括系统级指标参数和应用级指标参数。系统级指标参数是指操作系统级别的各项指标参数，例如操作系统的CPU利用率、内存利用率等；应用级指标参数是指操作系统中运行的各个应用的指标参数，例如，应用对其分配的内存的利用率等。
S202、通过神经网络模型，从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值。
神经网络模型可以为任意的神经网络模型，只要能够准确计算指标参数对计算引擎的性能影响度即可。
具体地，本申请实施例中，神经网络模型包括随机梯度增强回归树(RandomizedGradient Boosting Regression Tree，RGBoost)，它结合了梯度提升回归树(GradientBoosting Regression Tree，简称GBRT)和随机森林(Random Forest，简称RF)的优点。该算法的主要思想是通过多个回归树的集成来提高预测精度，并采用随机样本和特征采样的方法来减小过拟合的风险，提高算法的泛化能力。
本实施例中，通过神经网络模型，从若干个指标参数中选择出对计算引擎的性能影响度排序靠前的多个目标指标参数，再基于目标指标参数进行后续的优化步骤，优化过程简单且效率高。
本实施例中，可以通过神经网络模型，对若干个所述指标参数分别计算影响度，再根据影响度从大到小的排序结果从中确定出前n个作为多个目标指标参数；也可以将影响度大于影响度阈值的指标参数确定为目标指标参数，均在本申请的保护范围内。
S203、根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
本实施例中，每个指标参数可以分别对应于调整对象，具体可由本领域的技术人员根据经验值进行设置。
在确定出目标指标参数后，可从多个目标指标参数对应的调整对象中确定待调整的调整对象，并确定出对应地调整值，以及据此对计算引擎的资源配置进行自动调整。
可选地，在本申请的一种实现方式中，步骤S203可以包括：
根据所述目标指标参数对应的影响度分值，确定所述目标指标参数分别对应的调整对象的调整优先级分值；根据优先级分值，确定待调整的调整对象以及所述待调整的调整对象对应的调整值；根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
由此，可以综合考虑多个目标指标参数对应的影响度分值，确定出待调整的调整对象，并进行调整，提高了优化效率。
具体地，本实施例中，所述根据所述目标指标参数对应的影响度分值，确定所述目标指标参数分别对应的调整对象的调整优先级分值，根据优先级分值确定待调整的调整对象，并确定所述待调整的调整对象对应的调整值，包括：将对应于同一个调整对象的所述目标指标参数的影响度分值进行求和，得到所述调整对象对应的调整优先级分值；根据所述调整优先级分值确定待调整的调整对象，并确定所述待调整的调整对象对应的调整值。
示例地，若目标指标参数包括6个，分别为目标指标参数1、2、3、4、5、6，六个目标指标参数对应的影响度分值依次为93、93、85、84、82、68，其中，目标指标参数1、4、5对应于调整对象1，目标指标参数2、3对应于调整对象2，目标指标参数6对应于调整对象3，则调整对象1的调整优先级分值可以为目标指标参数1、4、5的影响度分值的和，即93+84+82＝259，调整对象2的调整优先级分值可以为93+85＝178，第三调整对象的调整优先级分值为68，则可以将调整对象1确定为待调整的调整对象。当然，也可以将目标指标参数按照排序结果赋予对应的权重，并按照权重对影响度分值进行加权求和得到调整对象的调整优先级分值，这也在本申请的保护范围内。之后可以根据目标指标参数1、4、5具体的指标值来确定调整对象1对应的调整值，或者确定调整对象1对应的预设调整倍数，并将其作为调整值。
可选地，在本申请的另一种实现方式中，步骤S203可以包括：按照影响度分值由大到小的顺序，遍历多个所述目标指标参数，并针对所述目标指标参数执行以下步骤：
确定所述目标指标参数对应的调整对象，根据所述目标指标参数对应的影响度分值，确定所述调整对象对应的调整值，并根据所述调整对象及其对应的调整值，对所述计算引擎中资源配置进行自动调整。
本实施例中，针对每个目标指标参数，可以对其对应的调整对象进行一次调整，使得调整过程更加细致，调整精度更高。
示例地，若目标指标参数包括6个，分别为目标指标参数1、2、3、4、5、6，六个目标指标参数对应的影响度分值依次为93、93、85、84、82、68，则可以针对目标指数参数1-6，依次进行遍历，确定每个目标指标参数对应的调整对象和调增值并进行调整。
可选地，本实施例中，所述调整对象包括重分布配置，所述调整值包括调整倍数，所述根据所述调整对象及其对应的调整值，对所述计算引擎中资源配置进行自动调整包括以下至少之一：
将所述重分布配置中对应于映射阶段的写缓冲区的当前大小与所述调整倍数相乘，得到第一目标值，并将所述写缓冲区的大小设置为所述第一目标值；
将所述重分布配置中对应于分解阶段的读缓冲区的当前大小与所述调整倍数相乘，得到第二目标值，并将所述读缓冲区的大小设置为所述第二目标值；
若所述调整值包括并行度目标阈值，则将所述重分布配置中对应于分解阶段的并行度阈值设置为所述并行度目标阈值。
本实施例提供的自动优化方案，在对计算引擎进行大数据基准测试时，获得所述计算引擎的若干个指标参数，由此，可以保证采集的若干个指标参数的准确性；之后通过神经网络模型，从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值，可以从若干个指标参数中，快速准确地确定出重点影响计算引擎性能的目标指标参数；并根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能，实现了对计算引擎的自动优化，极大地节省了计算引擎的优化成本。
参见图3A，示出了本申请实施例提供的一种自动优化方法的流程示意图，如图所示，其包括：
S301、设置需要采集的指标参数，以及各个指标参数对应的调整对象。
S302、开始对计算引擎进行大数据基准测试，并在对计算引擎进行大数据基准测试时，获得所述计算引擎的若干个指标参数；
指标参数可以分为系统级指标参数和应用级指标参数。
系统级指标参数可以例如：CPU利用率、内存利用率、网络利用率、磁盘利用率。
应用级指标参数可以例如下表中的指标：
S303、根据大数据基准测试结果，判断计算引擎的计算性能是否符合预设条件。
若符合，则结束流程，若不符合，则继续执行步骤S304。
S304、通过神经网络模型，从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值。
本实施例中，得到的多个目标指标参数及其对应的影响度分值可以通过雷达图的方式展示。
示例地，如图3B所示，图中示出了多个目标指标参数及其影响度分值形成的雷达图，图中示出的目标指标参数包括SDMI、影响度分值为43；TERMI、影响度分值为27；MOMI、影响度分值为9；MRST、影响度分值为7；还包括目标指标参数MRFT、RORI、ROMI、TWDMI、TERMI。图中的影响度分值为百分比数，所有影响度分值的和为100％。
S305、根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
自动调整后可以返回步骤S302继续执行，直至计算引擎的计算性能是否符合预设条件。
如图3B所示，目标指标参数SDMI的影响度分值最高，且其对应的调整对象为Shuffle。则对Shuffle进行调优的过程可以包括更改Shuffle的配置：
具体地，在Map端，计算结果会以中间文件的形式被写入到磁盘文件系统。同时，为了避免频繁的I/O操作，中间文件会被存储到写缓冲区(Write Buffer)。通过设置spark.shuffle.file.buffer可以扩大写缓冲区的大小，缓冲区越大，能够缓存的落盘数据越多，需要刷盘的次数就越少，I/O效率也就能得到整体的提升。
在Reduce端，主要通过网络从不同节点的磁盘中拉取中间文件，中间文件以数据块的形式暂存到计算节点的读缓冲区(Read Buffer)。缓冲区越大，可以暂存的数据块越多，在数据总量不变的情况下，拉取数据所需的网络请求次数越少，单次请求的网络吞吐越高，网络I/O的效率也就越高。则可以通过spark.reducer.maxSizeInFlight配置项控制Reduce端缓冲区大小，来调节Shuffle过程中的网络负载。
本实施例提供的自动优化方案，在对计算引擎进行大数据基准测试时，获得所述计算引擎的若干个指标参数，由此，可以保证采集的若干个指标参数的准确性；之后通过神经网络模型，从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值，可以从若干个指标参数中，快速准确地确定出重点影响计算引擎性能的目标指标参数；并根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能，实现了对计算引擎的自动优化，极大地节省了计算引擎的优化成本。
参见图4，示出了一种用于优化计算引擎的神经网络模型的训练方法的流程示意图，如图所示其包括：
S401、获得计算引擎对应的样本数据，所述样本数据包括所述计算引擎的历史指标参数及其对应的目标样本指标参数，所述目标样本指标参数为所述历史指标参数中对所述计算引擎的性能影响度排序位于前列的指标参数。
本实施例中，历史指标参数及其对应的目标样本指标参数可以包括多组，多组可以对应于相同或者不同类型的计算引擎，均在本申请的保护范围内。
历史指标参数的具体内容可参考上述指标参数的相关内容，目标样本指标参数可以参考上述目标指标参数的相关内容，本实施例对此不再赘述。
S402、利用所述历史指标参数及其对应的目标样本指标参数，对神经网络模型进行训练。
具体进行训练时可以采用无监督或者半监督的训练方式，均在本申请的保护范围内。
训练后的所述神经网络模型用于从若干个所述计算引擎的指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值，以根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
通过本实施例提供的方案训练的神经网络模型，能够从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值，其中，指标参数是在对计算引擎进行大数据基准测试时，获得的计算引擎的若干个指标参数，由此，可以保证采集的若干个指标参数的准确性；之后可以根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能，实现了对计算引擎的自动优化，极大地节省了计算引擎的优化成本。
参见图5，示出了本申请实施例提供的一种自动优化装置的结构示意图，如图所示，其包括：参数采集模块501、参数确定模块502、调整模块503。
参数采集模块501，用于在对计算引擎进行大数据基准测试时，获得所述计算引擎的若干个指标参数；
参数确定模块502，用于通过神经网络模型，从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值；
调整模块503，用于根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
本实施例提供的自动优化方案，在对计算引擎进行大数据基准测试时，获得所述计算引擎的若干个指标参数，由此，可以保证采集的若干个指标参数的准确性；之后通过神经网络模型，从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值，可以从若干个指标参数中，快速准确地确定出重点影响计算引擎性能的目标指标参数；并根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能，实现了对计算引擎的自动优化，极大地节省了计算引擎的优化成本。
本实施例中各模块的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
参照图6，示出了根据本申请实施例五的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图6所示，该电子设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中：
处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604，用于与其它电子设备或服务器进行通信。
处理器602，用于执行程序610，具体可以执行上述自动优化方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序610可包括多条计算机指令，程序610具体可以通过多条计算机指令使得处理器602执行前述多个方法实施例中任一实施例所描述的自动优化方法对应的操作。
程序610中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述多个方法实施例中任一实施例所描述的方法。该计算机存储介质包括但不限于：只读光盘(Compact Disc Read-Only Memory，CD-ROM)、随机存储器(RandomAccess Memory，RAM)、软盘、硬盘或磁光盘等。
本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一自动优化方法对应的操作。
此外，需要说明的是，本申请实施例所涉及到的与用户有关的信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于对模型进行训练的样本数据、用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如专用集成电路(Application Specific Integrated Circuit，ASIC)或现场可编辑门阵列(Field Programmable Gate Array，FPGA))的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，随机存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。
Claims (10)
1.一种自动优化方法，包括：
在对计算引擎进行大数据基准测试时，获得所述计算引擎的若干个指标参数；
通过神经网络模型，从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值；
根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
2.根据权利要求1所述的方法，其中，所述根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能，包括：
根据所述目标指标参数对应的影响度分值，确定所述目标指标参数分别对应的调整对象的调整优先级分值，根据优先级分值确定待调整的调整对象，并确定所述待调整的调整对象对应的调整值；
根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
3.根据权利要求2所述的方法，其中，所述根据所述目标指标参数对应的影响度分值，确定所述目标指标参数分别对应的调整对象的调整优先级分值，根据优先级分值确定待调整的调整对象，并确定所述待调整的调整对象对应的调整值，包括：
将对应于同一个调整对象的所述目标指标参数的影响度分值进行求和，得到所述调整对象对应的调整优先级分值；
根据所述调整优先级分值确定待调整的调整对象，并确定所述待调整的调整对象对应的调整值。
4.根据权利要求1所述的方法，其中，所述根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能，包括：
按照影响度分值由大到小的顺序，遍历多个所述目标指标参数，并针对所述目标指标参数执行以下步骤：
确定所述目标指标参数对应的调整对象，根据所述目标指标参数对应的影响度分值，确定所述调整对象对应的调整值，并根据所述调整对象及其对应的调整值，对所述计算引擎中资源配置进行自动调整。
5.根据权利要求1所述的方法，其中，所述调整对象包括重分布配置，所述调整值包括调整倍数，所述根据所述调整对象及其对应的调整值，对所述计算引擎中资源配置进行自动调整包括以下至少之一：
将所述重分布配置中对应于映射阶段的写缓冲区的当前大小与所述调整倍数相乘，得到第一目标值，并将所述写缓冲区的大小设置为所述第一目标值；
将所述重分布配置中对应于分解阶段的读缓冲区的当前大小与所述调整倍数相乘，得到第二目标值，并将所述读缓冲区的大小设置为所述第二目标值；
若所述调整值包括并行度目标阈值，则将所述重分布配置中对应于分解阶段的并行度阈值设置为所述并行度目标阈值。
6.根据权利要求1所述的方法，其中，所述指标参数包括系统级指标参数和应用级指标参数。
7.根据权利要求1所述的方法，其中，所述神经网络模型包括随机梯度增强回归树。
8.一种用于优化计算引擎的神经网络模型的训练方法，包括：
获得计算引擎对应的样本数据，所述样本数据包括所述计算引擎的历史指标参数及其对应的目标样本指标参数，所述目标样本指标参数为所述历史指标参数中对所述计算引擎的性能影响度排序位于前列的指标参数；
利用所述历史指标参数及其对应的目标样本指标参数，对神经网络模型进行训练，使得训练后的所述神经网络模型用于从若干个所述计算引擎的指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值，以根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
9.一种自动优化装置，包括：
参数采集模块，用于在对计算引擎进行大数据基准测试时，获得所述计算引擎的若干个指标参数；
参数确定模块，用于通过神经网络模型，从若干个所述指标参数中，确定出对所述计算引擎的性能影响度排序位于前列的多个目标指标参数，以及所述目标指标参数对应的影响度分值；
调整模块，用于根据多个所述目标指标参数分别对应的调整对象，以及所述目标指标参数对应的影响度分值，确定待调整的调整对象及其对应的调整值，并根据待调整的调整对象及其对应的调整值，对所述计算引擎的资源配置进行自动调整，以优化所述计算引擎的性能。
10.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8中任一项所述的方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310574970.1A CN116701350B (zh) | 2023-05-19 | 2023-05-19 | 自动优化方法及训练方法、装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310574970.1A CN116701350B (zh) | 2023-05-19 | 2023-05-19 | 自动优化方法及训练方法、装置、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116701350A CN116701350A (zh) | 2023-09-05 |
| CN116701350B true CN116701350B (zh) | 2024-03-29 |
Family
ID=87831905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310574970.1A Active CN116701350B (zh) | 2023-05-19 | 2023-05-19 | 自动优化方法及训练方法、装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116701350B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1387067A2 (en) * | 2002-08-01 | 2004-02-04 | Toyota Jidosha Kabushiki Kaisha | automatic compliance device, automatic compliance method, automobile, and storage medium |
| CN107239339A (zh) * | 2016-03-29 | 2017-10-10 | 阿里巴巴集团控股有限公司 | 系统性能优化参数确定方法、系统性能优化方法及装置 |
| WO2019237523A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技（深圳）有限公司 | 安全风险评估方法、装置、计算机设备和存储介质 |
| WO2020258508A1 (zh) * | 2019-06-27 | 2020-12-30 | 平安科技（深圳）有限公司 | 模型超参数调整控制方法、装置、计算机设备及存储介质 |
| JP2021144696A (ja) * | 2020-03-11 | 2021-09-24 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | モデルパラメータ更新方法及び装置 |
| CN114356893A (zh) * | 2022-01-11 | 2022-04-15 | 平安科技（深圳）有限公司 | 基于机器学习的元数据调优方法、装置、设备及存储介质 |
| CN115687304A (zh) * | 2022-11-07 | 2023-02-03 | 中盈优创资讯科技有限公司 | 一种Flink状态存储优化方法及装置 |
| WO2023029155A1 (zh) * | 2021-09-03 | 2023-03-09 | 中国科学院深圳先进技术研究院 | 一种Spark GraphX参数调优方法、装置、电子设备及存储介质 |
| CN115905293A (zh) * | 2022-12-23 | 2023-04-04 | 中国工商银行股份有限公司 | 作业执行引擎的切换方法及装置 |
| CN116107664A (zh) * | 2023-03-03 | 2023-05-12 | 安徽大学 | 一种低代价的高维多目标软件配置参数调优方法及系统 |
-
2023
- 2023-05-19 CN CN202310574970.1A patent/CN116701350B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1387067A2 (en) * | 2002-08-01 | 2004-02-04 | Toyota Jidosha Kabushiki Kaisha | automatic compliance device, automatic compliance method, automobile, and storage medium |
| CN107239339A (zh) * | 2016-03-29 | 2017-10-10 | 阿里巴巴集团控股有限公司 | 系统性能优化参数确定方法、系统性能优化方法及装置 |
| WO2019237523A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技（深圳）有限公司 | 安全风险评估方法、装置、计算机设备和存储介质 |
| WO2020258508A1 (zh) * | 2019-06-27 | 2020-12-30 | 平安科技（深圳）有限公司 | 模型超参数调整控制方法、装置、计算机设备及存储介质 |
| JP2021144696A (ja) * | 2020-03-11 | 2021-09-24 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | モデルパラメータ更新方法及び装置 |
| WO2023029155A1 (zh) * | 2021-09-03 | 2023-03-09 | 中国科学院深圳先进技术研究院 | 一种Spark GraphX参数调优方法、装置、电子设备及存储介质 |
| CN114356893A (zh) * | 2022-01-11 | 2022-04-15 | 平安科技（深圳）有限公司 | 基于机器学习的元数据调优方法、装置、设备及存储介质 |
| CN115687304A (zh) * | 2022-11-07 | 2023-02-03 | 中盈优创资讯科技有限公司 | 一种Flink状态存储优化方法及装置 |
| CN115905293A (zh) * | 2022-12-23 | 2023-04-04 | 中国工商银行股份有限公司 | 作业执行引擎的切换方法及装置 |
| CN116107664A (zh) * | 2023-03-03 | 2023-05-12 | 安徽大学 | 一种低代价的高维多目标软件配置参数调优方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 流处理技术在事中反欺诈领域的应用;王新根;《软件和集成电路》;20161231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116701350A (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3109481A1 (en) | Identification and application of hyperparameters for machine learning | |
| EP3550447B1 (en) | Performing cache update adaption | |
| US11074516B2 (en) | Load balancing for distributed processing of deterministically assigned data using statistical analysis of block data | |
| CN107784030B (zh) | 一种处理连接查询的方法及装置 | |
| CN112000467A (zh) | 一种数据倾斜处理方法、装置、终端设备及存储介质 | |
| US20170011076A1 (en) | Flexible scheduling in a database system | |
| CN112927173B (zh) | 模型压缩方法、装置、计算设备及存储介质 | |
| US10901993B2 (en) | Performing cache update adaptation | |
| US20160314484A1 (en) | Method and system for mining churn factor causing user churn for network application | |
| CN114021507B (zh) | 一种自动化集成电路并行仿真方法 | |
| CN111598457A (zh) | 一种电力无线网络质量的确定方法及装置 | |
| CN111783830A (zh) | 基于oct的视网膜分类方法、装置、计算机设备及存储介质 | |
| CN116701350B (zh) | 自动优化方法及训练方法、装置、电子设备 | |
| CN111310918A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN114168318A (zh) | 存储释放模型的训练方法、存储释放方法及设备 | |
| CN116820709B (zh) | 任务链的运行方法、装置、终端及计算机存储介质 | |
| CN110826911B (zh) | 基于大数据的决策方法、设备及介质 | |
| CN104778088A (zh) | 一种基于减少进程间通信开销的并行i/o优化方法与系统 | |
| CN116739742A (zh) | 信贷风控模型的监控方法、装置、设备及存储介质 | |
| CN115879514A (zh) | 类相关性预测改进方法、装置、计算机设备及存储介质 | |
| US8533423B2 (en) | Systems and methods for performing parallel multi-level data computations | |
| CN114595146A (zh) | Ab测试方法、装置、系统、电子设备及介质 | |
| CN113722100A (zh) | 基于趋势预测的云平台内存资源动态超分配方法及设备 | |
| CN110825493A (zh) | 一种虚拟机调优的方法及装置 | |
| CN117194020B (zh) | 一种云计算的原始大数据处理方法、系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |