CN117851206A - 一种Flink多维度关键配置参数智能筛选方法与系统 - Google Patents
一种Flink多维度关键配置参数智能筛选方法与系统 Download PDFInfo
- Publication number
- CN117851206A CN117851206A CN202311725928.1A CN202311725928A CN117851206A CN 117851206 A CN117851206 A CN 117851206A CN 202311725928 A CN202311725928 A CN 202311725928A CN 117851206 A CN117851206 A CN 117851206A
- Authority
- CN
- China
- Prior art keywords
- configuration parameters
- key configuration
- screening
- program
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000012216 screening Methods 0.000 title claims abstract description 76
- 230000008569 process Effects 0.000 claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000010276 construction Methods 0.000 claims abstract description 15
- 230000009467 reduction Effects 0.000 claims abstract description 12
- 238000011056 performance test Methods 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012847 principal component analysis method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012106 screening analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种Flink多维度关键配置参数智能筛选方法与系统，所述方法包括：通过语义识别初步筛选Flink程序运行过程中的配置参数；对初步筛选后的配置参数进行性能测试，筛选影响性能指标的关键配置参数；对关键配置参数进行随机取值并运行程序，获取程序运行过程中的性能指标perf，构建样本集；采用样本集构建基于随机梯度提升树算法的性能模型，并对模型构建过程中的关键配置参数进行特征重要性排序和筛选；对筛选得到的关键配置参数进行线性相关性降维，得到最终的关键配置参数。本发明可自动化筛选对Flink程序性能显著影响的配置参数，并通过降低参数维度节约后续配置参数调整时计算资源和运行时间。
Description
技术领域
本发明涉及大数据查询分析技术领域，尤其是一种Flink多维度关键配置参数智能筛选方法与系统。
背景技术
随着大数据时代的到来，各种业务场景每天都有海量的数据产生。Flink作为目前热度最高的流处理大数据引擎，可以有效的处理实时流数据，已经被许多互联网公司广泛应用。然而，Flink为了满足功能的需求，提供了300多项配置参数，包括CPU核数，任务使用的内存，运行过程中的消息大小等。这些配置参数在程序运行过程中对资源调度与分配起着重要作用。同时还有一些配置参数如端口号，web UI配置等与Flink程序的性能无关。合理的调整配置参数可以有效提高程序运行的性能，反之，会造成集群资源浪费甚至程序启动失败的问题。
如何调整配置参数来提高Flink程序运行过程中的性能是目前比较关注的问题。Flink由于配置参数维度过大，在调整配置参数时复杂度过高。如何降低配置参数的维度，筛选关键的配置参数进行调整，对Flink的性能调优尤为重要。
目前，大数据框架的配置参数调优的方法主要包括两种，一种是手动调参，基于专家经验，对特定的Flink程序任务调整个别配置参数来提高性能，这种方法的时间成本较高，且需要专业的知识背景，不具有普适性。另一种是大数据框架的配置参数自动调优，基于机器学习算法，收集程序运行过程中的配置参数，构建性能预测模型进而选取配置参数。然而大量的配置参数导致机器学习预测的时间成本较高，且准确率降低，不具有通用性。因此，在配置参数调优之前的关键配置参数筛选至关重要，且不同程序对应的需要调整的配置参数不同，不能使用一套固定的配置参数去进行调优，而是不同的程序对应一套对应的配置参数进行优化从而提升该程序的性能。另外，现有的配置参数调优中只是简单的筛选需要调整的配置参数，不具有普适性。如专利号“CN202111456351.X”的专利提出的“一种基于贝叶斯优化的流数据处理系统配置参数调优方法”，其只是陈述了一种配置参数调优的方法，并没有具体描述配置参数的筛选过程。如专利号“CN202210740159.1”的专利提出的“智能电网中大数据平台参数自适应调整方法及装置”，其在配置参数调优之前通过资源层面的性能测试对Flink的配置参数进行了简单的筛选，考虑的不够全面，且不具有普适性。
发明内容
为解决上述现有技术问题，本发明提供一种Flink多维度关键配置参数智能筛选方法与系统。
本发明提出了一种Flink多维度关键配置参数智能筛选方法，包括：
S1，通过语义识别，初步筛选Flink程序运行过程中的配置参数；
S2，对S1初步筛选后的配置参数进行性能测试，筛选影响性能指标的关键配置参数；
S3，对关键配置参数进行随机取值并运行程序，获取程序运行过程中的性能指标perf，采用关键配置参数以及性能指标perf构建样本集；
S4，采用样本集构建基于随机梯度提升树算法的性能模型，并对模型构建过程中的关键配置参数进行特征重要性排序和筛选；
S5，对S4筛选得到的关键配置参数进行线性相关性降维，得到最终的关键配置参数。
优选地，所述S1根据待筛选配置参数的Flink程序所在Flink框架的版本号，获取该版本号对应的Flink程序运行过程中的默认配置参数及其语义解释，根据设定的语义判别规则对语义解释进行判别，去除语义解释与性能无关的配置参数，实现多维度配置参数的初步筛选。
优选地，所述S2将S1初步筛选后的配置参数在设定的取值范围内变化，收集Flink程序在不同的配置参数下的性能指标，筛选对性能指标影响超出设定程度的关键配置参数。
优选地，所述性能指标包括系统性能指标，资源性能指标，Flink集群性能指标，其中，系统性能指标为程序运行过程总的吞吐量和延迟；资源性能指标为程序运行过程中的CPU，内存，网络的变化量，磁盘的读写速率的变化量；Flink集群性能指标为程序运行过程中通过集群监控指标Flink Metrics收集的JVM，GC，运行组件的变化量。
优选地，所述S3将关键配置参数在设定的取值范围内随机取值，获取Flink程序运行过程中的吞吐量、p99延迟，进而得到性能指标perf＝吞吐量/p99延迟。
优选地，所述S4中，随机梯度提升树算法采用样本集中关键配置参数为输入，性能指标perf为输出，构建性能模型；并采用特征重要性排序算法对模型构建过程中的关键配置参数进行特征重要性排序，筛选并去除模型构建过程中特征重要性低于预设值的关键配置参数。
优选地，所述S5采用主成分分析法筛选并去除线性相关性超出设定标准的关键配置参数，得到最终的关键配置参数。
本发明提出了一种Flink多维度关键配置参数智能筛选系统，包括：
初步筛选模块，用于通过语义识别，初步筛选Flink程序运行过程中的配置参数；
性能测试模块，用于对初步筛选后的配置参数进行性能测试，筛选影响性能指标的关键配置参数；
样本集构建模块，用于对关键配置参数进行随机取值并运行程序，获取程序运行过程中的性能指标perf，采用关键配置参数以及性能指标perf构建样本集；
特征重要性筛选模块，用于采用样本集构建基于随机梯度提升树算法的性能模型，并对模型构建过程中的关键配置参数进行特征重要性排序和筛选；
线性相关性降维模块，用于对筛选得到的关键配置参数进行线性相关性降维，得到最终的关键配置参数。
一种终端，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行所述方法的步骤。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述方法的步骤。
本发明的有益效果体现在：
1.从多个维度、多性能指标层次筛选关键的配置参数，具体通过语义识别与性能无显著相关性的Flink配置参数，通过系统性能指标，资源性能指标和Flink集群性能指标实现多层次筛选Flink关键配置参数，可以有效提取对Flink程序性能显著影响的配置参数，其可在Flink程序正式执行前确定的配置参数集，相较于默认的配置参数集，方便后续进行参数调优，从而有效的提高程序的性能，可以有效避免Flink程序因为配置参数不合理而导致程序运行失败的情况。
2.通过机器学习算法随机梯度提升树的的特征重要性排序算法和主成分分析算法降低配置参数维度，有利于后续配置参数调整时节约计算资源和运行时间。
3.可实现自动化筛选，只需要输入待运行的Flink程序和Flink的版本，就可以得到该Flink程序在该版本下的一套关键配置参数集，不需要专业的调参知识背景，节约了人力成本，通过筛选关键配置参数，有利于降低配置参数调优的时间开销和提高优化的准确率。
4.定制化，针对每一个Flink程序，都能从多维度性能指标进行筛选过滤得到一组对应的关键配置参数组合，针对每一个Flink程序，都生成一套对应的配置参数进行调整；并通过提高Flink程序运行中的性能指标(吞吐量和p99延迟)来有效提高Flink程序的性能，从而达到节省计算和内存资源，提高运行效率的目的。
5.适用于各种大数据框架配置参数筛选，不局限于Flink。
附图说明
图1为本发明一种基于Flink的多维度关键配置参数智能自动化筛选方法流程图；
图2为本发明一种基于Flink的多维度关键配置参数智能自动化筛选方法逻辑原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明提出了一种基于Flink的多维度关键配置参数智能自动化筛选方法，目的是在运行指定Flink程序前，从多个维度筛选出一套影响程序性能的关键配置参数组合，包括系统性能指标，资源性能指标以及Flink集群性能指标。同时结合机器学习算法的特征重要性排序算法以及主成分分析算法进一步降低关键配置参数的维度，从而实现针对每一个运行的Flink程序，得到一组关键配置参数集。然后通过调整给定的关键配置参数集来提高Flink程序的性能。且该方法形成一套自动化流程，只需要给出待运行的Flink程序以及Flink框架的版本，可筛选出影响该Flink程序的关键配置参数集，方便后续的配置参数调优。该发明以大数据框架Flink为例，方法思想同样适用于其它大数据框架，如spark，Hadoop，storm等。本发明的技术方案包含两个方面，包括多维度关键配置参数的筛选和配置参数降维。多维度关键配置参数筛选包括两个部分：首先是Flink程序运行中的关键配置参数初步筛选。只关注直接影响Flink框架本身的配置参数，过滤掉托管于第三方的相关配置参数。该部分可以根据配置参数语义，读取选择的Flink版本的配置参数及其对应的语义解释，去除与性能没有显著相关性的配置参数。其次是性能测试，包括系统性能指标，资源性能指标和Flink集群性能指标。系统性能指标为程序运行过程中收集的吞吐量和延迟。资源性能指标包括程序运行过程中系统的CPU、内存、磁盘和网络四个方面。Flink集群性能指标是Flink Metrics提供的集群运行总的指标，包括JVM，GC，运行组件等，通过rest API获取。在Flink程序运行过程中，通过控制变量法在变量值域范围内进行测试，收集对不同性能指标影响较大的配置参数。配置参数降维包括性能模型的特征重要性筛选和主成分分析筛选。将筛选的关键配置参数集和对应的系统性能指标(吞吐率和延迟)构成样本集。基于机器学习算法随机梯度提升树算法构建性能模型，通过机器学习算法的特征重要性排序算法和主成分分析法降低关键配置参数的维度。确定最终的关键配置参数样本集。如图1-图2所示，本发明方法具体步骤如下：
S1，通过语义识别，初步筛选Flink程序运行过程中的配置参数；
该步骤根据当前运行的大数据Flink框架提供的配置参数及语义解释，通过语义识别排除与程序性能没有明显相关性的配置参数，例如，端口号、web UI参数，以及没有用到的依托于第三方相关装置的配置参数。具体包括：
S11：输入待筛选配置参数的Flink程序以及所在的Flink框架的版本；
S12：根据S11提供的Flink版本号，从Apache Flink官网上获取该版本对应的Flink默认配置参数及其语义解释；
S13：根据设定的语义判别规则，去除与性能无明显相关性的配置参数，得到当前的配置参数集p1，其中语义判别规则根据官方配置参数的解释以及当前运行的Flink集群部署模式设定。
S2，对S1初步筛选后的配置参数进行性能测试，筛选影响性能指标的关键配置参数；
该步骤通过性能测试进一步筛选Flink程序运行过程中关键的配置参数：对S1过滤后的配置参数进行性能测试，包括三个部分：系统性能指标，资源性能指标和Flink集群性能指标。通过控制变量法控制配置参数在设定值域范围内变化，观察程序的性能变化，即通过控制变量法，在设定的值域范围内变化单一配置项的值观察程序运行过程中的性能指标变化。筛选在性能测试中对性能影响较大的配置参数。具体包括：
S21：对配置参数集p1中的配置参数进行性能测试。将配置参数集p1中的配置参数在设定的取值范围内变化，收集Flink程序在不同的配置参数下的性能指标。包括系统性能指标，资源性能指标，Flink集群性能指标；
系统性能指标为程序运行过程总的吞吐量和延迟。在程序运行过程中，收集系统的吞吐量，p99延迟，p95延迟；
资源性能指标为程序运行过程中的CPU、内存、网络、磁盘读写的变化；在程序运行过程中收集CPU，内存，网络的变化，磁盘的读写速率的变化；
Flink集群性能指标为程序运行过程中通过集群监控指标Flink Metrics收集的JVM，GC，运行组件(如，JM，TM，Slot,作业，算子)等的变化。通过rest API，根据Flink程序的Job ID，获取程序运行过程总的Flink Metrics收集的性能指标的变化；其中FlinkMetrics：Flink提供的Metrics可以在Flink内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。Slot为任务槽；JM为JobManager，负责整个Flink集群任务的调度以及资源的管理，从客户端中获取提交的应用，然后根据集群中TaskManager上TaskSlot的使用情况，为提交的应用分配相应的TaskSlot资源并命令TaskManager启动从客户端中获取的应用；TM为TaskManager,TaskManager相当于整个集群的Slave节点，负责具体的任务执行和对应任务在每个节点上的资源申请和管理。JM，TM，Slot都是Flink中的运行组件。
S22：筛选性能测试中对性能影响较大的配置参数，得到配置参数集p2。
S3，对关键配置参数进行随机取值并运行程序，获取程序运行过程中的性能指标perf，采用关键配置参数以及性能指标perf构建样本集；
该步骤根据配置参数集p2，在设定的取值范围内随机取值，重新运行Flink程序，收集Flink程序运行过程中的系统性能指标，包括程序运行过程中的吞吐量和p99延迟。这里为了同时兼备Flink程序运行过程中的高吞吐量和低延迟，将两个性能指标融合。定义性能指标perf＝吞吐量/p99延迟。并根据筛选的关键配置参数生成样本集，每一个样本都是由一组关键配置参数和对应的性能指标。具体收集1000组配置参数和性能指标。将配置参数集p2的取值和对应的性能指标构成样本集s＝{p2,perf}。其中P99延迟为Flink程序运行过程中过去10秒内最慢的1％请求的平均延时，一种延时的统计指标，P95延迟类似。
S4，采用样本集构建基于随机梯度提升树算法的性能模型，并对模型构建过程中的关键配置参数进行特征重要性排序和筛选；
该步骤使用机器学习算法对S31生成的样本集s构建性能模型，以配置参数集p2做模型的输入，对应的性能perf做模型的输出，即将每一组样本中配置参数集作为输入，对应的性能指标作为输出，使用随机梯度提升树算法构建性能模型。并使用随机梯度提升树算法的特征重要性排序算法筛选关键配置参数，对模型构建过程中的配置参数进行特征重要性排序，将特征重要性低于0.05的配置参数过滤，得到配置参数集p3。
S5，对S4筛选得到的关键配置参数进行线性相关性降维，得到最终的关键配置参数。
该步骤对配置参数集使用主成分分析法，将具有明显线性相关的配置参数过滤掉，进一步筛选关键配置参数，降低配置参数的维度，得到最终的该Flink程序需要调整的配置参数集p4，输出最终的关键配置参数集p4。
本发明的实施例以大数据框架Flink为例实现多维度关键配置参数筛选。但该发明提到的技术思想同样适用于其它大数据框架，如spark，Hadoop，storm等。
本发明还提出一种Flink多维度关键配置参数智能筛选系统，包括：
初步筛选模块，用于通过语义识别，初步筛选Flink程序运行过程中的配置参数；
性能测试模块，用于对初步筛选后的配置参数进行性能测试，筛选影响性能指标的关键配置参数；
样本集构建模块，用于对关键配置参数进行随机取值并运行程序，获取程序运行过程中的性能指标perf，采用关键配置参数以及性能指标perf构建样本集；
特征重要性筛选模块，用于采用样本集构建基于随机梯度提升树算法的性能模型，并对模型构建过程中的关键配置参数进行特征重要性排序和筛选；
线性相关性降维模块，用于对筛选得到的关键配置参数进行线性相关性降维，得到最终的关键配置参数。
一种终端，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据所述方法的步骤。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述方法的步骤。
在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。其中，“里侧”是指内部或围起来的区域或空间。“外围”是指某特定部件或特定区域的周围的区域。
在本发明的实施例的描述中，术语“第一”、“第二”、“第三”、“第四”仅用以描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的实施例的描述中，需要理解的是，“-”和“～”表示的是两个数值之同的范围，并且该范围包括端点。例如:“A-B”表示大于或等于A，且小于或等于B的范围。“A～B”表示大于或等于A，且小于或等于B的范围。
在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种Flink多维度关键配置参数智能筛选方法，其特征在于，所述方法包括：
S1，通过语义识别，初步筛选Flink程序运行过程中的配置参数；
S2，对S1初步筛选后的配置参数进行性能测试，筛选影响性能指标的关键配置参数；
S3，对关键配置参数进行随机取值并运行程序，获取程序运行过程中的性能指标perf，采用关键配置参数以及性能指标perf构建样本集；
S4，采用样本集构建基于随机梯度提升树算法的性能模型，并对模型构建过程中的关键配置参数进行特征重要性排序和筛选；
S5，对S4筛选得到的关键配置参数进行线性相关性降维，得到最终的关键配置参数。
2.根据权利要求1所述的一种Flink多维度关键配置参数智能筛选方法，其特征在于：
所述S1根据待筛选配置参数的Flink程序所在Flink框架的版本号，获取该版本号对应的Flink程序运行过程中的默认配置参数及其语义解释，根据设定的语义判别规则对语义解释进行判别，去除语义解释与性能无关的配置参数，实现多维度配置参数的初步筛选。
3.根据权利要求1所述的一种Flink多维度关键配置参数智能筛选方法，其特征在于：
所述S2将S1初步筛选后的配置参数在设定的取值范围内变化，收集Flink程序在不同的配置参数下的性能指标，筛选对性能指标影响超出设定程度的关键配置参数。
4.根据权利要求3所述的一种Flink多维度关键配置参数智能筛选方法，其特征在于：
所述性能指标包括系统性能指标，资源性能指标，Flink集群性能指标，其中，系统性能指标为程序运行过程总的吞吐量和延迟；资源性能指标为程序运行过程中的CPU，内存，网络的变化量，磁盘的读写速率的变化量；Flink集群性能指标为程序运行过程中通过集群监控指标Flink Metrics收集的JVM，GC，运行组件的变化量。
5.根据权利要求1所述的一种Flink多维度关键配置参数智能筛选方法，其特征在于：
所述S3将关键配置参数在设定的取值范围内随机取值，获取Flink程序运行过程中的吞吐量、p99延迟，进而得到性能指标perf＝吞吐量/p99延迟。
6.根据权利要求1所述的一种Flink多维度关键配置参数智能筛选方法，其特征在于：
所述S4中，随机梯度提升树算法采用样本集中关键配置参数为输入，性能指标perf为输出，构建性能模型；并采用特征重要性排序算法对模型构建过程中的关键配置参数进行特征重要性排序，筛选并去除模型构建过程中特征重要性低于预设值的关键配置参数。
7.根据权利要求1所述的一种Flink多维度关键配置参数智能筛选方法，其特征在于：
所述S5采用主成分分析法筛选并去除线性相关性超出设定标准的关键配置参数，得到最终的关键配置参数。
8.一种Flink多维度关键配置参数智能筛选系统，利用权利要求1至7任一项所述的方法，其特征在于，所述系统包括：
初步筛选模块，用于通过语义识别，初步筛选Flink程序运行过程中的配置参数；
性能测试模块，用于对初步筛选后的配置参数进行性能测试，筛选影响性能指标的关键配置参数；
样本集构建模块，用于对关键配置参数进行随机取值并运行程序，获取程序运行过程中的性能指标perf，采用关键配置参数以及性能指标perf构建样本集；
特征重要性筛选模块，用于采用样本集构建基于随机梯度提升树算法的性能模型，并对模型构建过程中的关键配置参数进行特征重要性排序和筛选；
线性相关性降维模块，用于对筛选得到的关键配置参数进行线性相关性降维，得到最终的关键配置参数。
9.一种终端，包括处理器及存储介质；其特征在于：
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1至7任一项所述方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311725928.1A CN117851206A (zh) | 2023-12-15 | 2023-12-15 | 一种Flink多维度关键配置参数智能筛选方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311725928.1A CN117851206A (zh) | 2023-12-15 | 2023-12-15 | 一种Flink多维度关键配置参数智能筛选方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117851206A true CN117851206A (zh) | 2024-04-09 |
Family
ID=90542741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311725928.1A Pending CN117851206A (zh) | 2023-12-15 | 2023-12-15 | 一种Flink多维度关键配置参数智能筛选方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117851206A (zh) |
-
2023
- 2023-12-15 CN CN202311725928.1A patent/CN117851206A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111885012B (zh) | 基于多种网络设备信息采集的网络态势感知方法及系统 | |
| CN107612886B (zh) | 一种Spark平台Shuffle过程压缩算法决策方法 | |
| DE112011100143B4 (de) | Optimieren der elektrischen Leistungsaufnahme in einem Rechenzentrum | |
| EP3324304A1 (en) | Data processing method, device and system | |
| US8387059B2 (en) | Black-box performance control for high-volume throughput-centric systems | |
| CN111400186B (zh) | 性能测试方法及系统 | |
| US20070143246A1 (en) | Method and apparatus for analyzing the effect of different execution parameters on the performance of a database query | |
| CN110719194B (zh) | 一种网络数据的分析方法及装置 | |
| CN110740079B (zh) | 一种面向分布式调度系统的全链路基准测试系统 | |
| EP4167149A1 (en) | Method and apparatus for building predictive model, computing device, and storage medium | |
| CN112052082B (zh) | 任务属性优化方法、装置、服务器及存储介质 | |
| KR20200010624A (ko) | 머신러닝을 이용한 빅데이터 통합진단 예측 시스템 | |
| CN115858168B (zh) | 一种基于重要性排序的地球应用模型编排系统及其方法 | |
| CN107807853B (zh) | 一种基于机器实时负载和任务状态机的节点筛选方法及装置 | |
| CN104427547A (zh) | 业务和网络关联测试方法、装置及系统 | |
| CN113946450A (zh) | 一种用于k8s微服务框架的自适应带权轮询负载均衡系统 | |
| CN109905481B (zh) | 一种基于RTI-DDS的Qos模型的构建及Qos策略方案的运行性能预测方法 | |
| CN108073582B (zh) | 一种计算框架选择方法和装置 | |
| CN113641567B (zh) | 一种数据库巡检方法、装置、电子设备及存储介质 | |
| CN112910798B (zh) | 一种流量自动调度方法、系统、设备及存储介质 | |
| CN112631754A (zh) | 数据处理方法、装置、存储介质及电子装置 | |
| CN116401236B (zh) | 一种数据库参数自适应优化的方法及设备 | |
| CN117851206A (zh) | 一种Flink多维度关键配置参数智能筛选方法与系统 | |
| CN112328254A (zh) | 一种数据同步软件的性能优化方法与装置 | |
| CN112749003A (zh) | 系统优化的方法、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |