CN106326005B - 一种迭代型MapReduce作业的参数自动调优方法 - Google Patents
一种迭代型MapReduce作业的参数自动调优方法 Download PDFInfo
- Publication number
- CN106326005B CN106326005B CN201610692752.8A CN201610692752A CN106326005B CN 106326005 B CN106326005 B CN 106326005B CN 201610692752 A CN201610692752 A CN 201610692752A CN 106326005 B CN106326005 B CN 106326005B
- Authority
- CN
- China
- Prior art keywords
- mapreduce
- parameter
- parameter configuration
- optimal
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种迭代型MapReduce作业的参数自动调优方法，包括：判断是否满足迭代结束条件，若是，则迭代计算任务结束，反之，则执行步骤B；B、通过参数搜索算法，进而根据给定的MapReduce参数搜索空间，搜索得出新的MapReduce参数配置；C、采用搜索出的新的MapReduce参数配置来实现当前MapReduce作业的运行，运行结束后，对当前MapReduce作业的运行效果进行判断，并根据判断结果从而进行相应的数据调整处理；D、返回执行步骤A。通过使用本发明的方法能提高每一次迭代MapReduce作业的运行效率，为用户带来方便，以及大大减少了时间资源的浪费。本发明的方法可广泛应用于Hadoop运行参数调优领域中。
Description
技术领域
本发明涉及计算机信息处理技术，尤其涉及一种针对迭代型MapReduce作业的Hadoop运行参数自动调优方法。
背景技术
技术词解释
参数配置：这里指的是由Hadoop提供的MapReduce参数组成的、可供MapReduce作业配置的一组参数值成为一组参数配置；在两个参数配置中，当且仅当这两个参数配置中每一个MapReduce参数的参数值都相同，这两个参数配置才是相同的，否则为不同的参数配置。
参数搜索空间：指的是所有可被参数搜索算法使用的参数配置组成的集合，称为参数搜索空间。
邻居参数配置：指的是在给定的参数配置下，只改变该参数配置中其中一个MapReduce参数值后得到的新的参数配置，称为原来参数配置的邻居参数配置。
MapReduce：其是Google提出的一个分布式计算软件架构，用于大规模数据集的并行运算；在MapReduce编程模型中，通过定义Map和Reduce操作，能把一堆杂乱无章的数据按照某种特征归纳起来，然后通过大规模并行处理后得到最后的结果；基于MapReduce写出来的应用能运行在上千台服务器组成的集群上，并以一种可靠的容错的方式并行处理数据，大大地提升了数据处理的速度，让大数据处理成为了可能。
Hadoop：其是一个实现了MapReduce计算模型的开源分布式并行编程框架，在这个框架下它可以将编写的程序运行于计算机集群上，从而实现对海量数据的处理。
在实现MapReduce作业运行的过程中，Hadoop平台提供将近两百多个运行参数可供用户调整，若用户对运行参数不作任何调整的话，Hadoop则将以默认的参数配置来运行MapReduce作业。然而，大量的相关研究工作以及实际应用证明了，以默认的参数配置运行的MapReduce Job往往不处于最优性能状态，因此，用户应该结合计算任务实际的运行情况自行调整参数配置来获取更优的性能表现。但是，对于Hadoop运行参数调优的工作，其要求相关的调优人员要对整个Hadoop平台有很深的了解，熟悉Hadoop平台提供的运行参数的作用以及有一定的实践调优经验，因此，对于大多数人来说，这项参数调优的工作不但非常困难而且需要花费大量的时间和精力。而目前，为了解决Hadoop手动经验调优难度大这一问题，专家们纷纷提出了多种解决方案，例如，基于离散事件的Hadoop模拟器的自动参数调优方案、基于机器训练的自动参数调优策略等。但是，这些方案均比较适用于运行应用程序种类非常多的Hadoop集群环境中，而若对于某个只运行单一应用程序的Hadoop集群来说，使用这些现有的自动调优方案显然是有点得不偿失的，因为大量的前期机器训练或者数据采集工作，会造成巨大的资源时间浪费。
发明内容
为了解决上述技术问题，本发明的目的是提供一种专门针对迭代型MapReduce作业的、节省资源且效率高的Hadoop运行参数自动调优方法。
本发明所采用的技术方案是：一种迭代型MapReduce作业的参数自动调优方法，该方法包括：
A、判断是否满足迭代结束条件，若是，则迭代计算任务结束，反之，则执行步骤B；
B、通过参数搜索算法，进而根据给定的MapReduce参数搜索空间，搜索得出新的MapReduce参数配置；
C、采用搜索出的新的MapReduce参数配置来实现当前MapReduce作业的运行，运行结束后，对当前MapReduce作业的运行效果进行判断，并根据判断结果从而进行相应的数据调整处理；
D、返回执行步骤A。
进一步，所述步骤B包括：
B1、判断是否存在历史最优的MapReduce参数配置，若存在，则执行步骤B2，反之，则执行步骤B4；
B2、根据历史最优的MapReduce参数配置以及给定的MapReduce参数搜索空间，进而通过参数搜索算法在给定的MapReduce参数搜索空间中进行参数搜索，并生成历史最优的MapReduce参数配置的所有邻居参数配置；
B3、判断步骤B2生成的所有邻居参数配置是否均存在运行日志记录中，若是，则结束参数自动调优工作，并将历史最优的MapReduce参数配置作为最终最优的MapReduce参数配置输出，反之，则从所有邻居参数配置中选取一个未运行过的邻居参数配置作为新的MapReduce参数配置；
B4、将默认的MapReduce参数配置作为新的MapReduce参数配置。
进一步，所述步骤C包括：
C1、采用搜索出的新的MapReduce参数配置来实现当前MapReduce作业的运行，运行结束后，将当前MapReduce作业的运行信息保存至运行日志记录中；
C2、判断当前MapReduce作业的运行时间是否比历史最优的运行时间快，若是，则将所述的新的MapReduce参数配置作为历史最优的MapReduce参数配置，反之，则根据计算出的接受概率值，从而对历史最优的MapReduce参数配置做出相应的处理。
进一步，所述的根据计算出的接受概率值，从而对历史最优的MapReduce参数配置做出相应的处理这一步骤，其具体为：
根据当前MapReduce作业的运行时间与历史最优的运行时间，从而计算接受概率值；
判断计算出的接受概率值是否满足预设的条件，若满足，则将所述的新的MapReduce参数配置作为历史最优的MapReduce参数配置，反之，所述的历史最优的MapReduce参数配置则不变。
进一步，所述根据当前MapReduce作业的运行时间与历史最优的运行时间，从而计算接受概率值这一步骤，其包括：
根据当前MapReduce作业的运行时间与历史最优的运行时间，从而计算接受概率值，计算接受概率值的计算公式如下所示：
P＝e(t1-t2)/T
其中，t1表示为历史最优的运行时间，t2表示为当前MapReduce作业的运行时间，T为第一接受值；
对第一接受值进行衰减处理，进而得到第二接受值，然后将第二接受值的数值赋值于第一接受值。
进一步，所述对第一接受值进行衰减处理这一步骤，其所采用的计算公式如下所示：
f(x)＝0.9x
其中，f(x)表示为第二接受值，x表示为第一接受值。
进一步，所述MapReduce参数搜索空间包括参数名、默认值信、取值范围、步长以及参数描述。
本发明的有益效果是：通过使用本发明的方法，能对每一次迭代MapReduce作业进行一次参数配置自动调整优化，能提高每一次迭代MapReduce作业的运行效率，从而高整体应用程序运行的效率，而且，还无需依赖人工操作以及无需做大量的前期数据采集和机器训练工作，从而为用户带来方便，以及大大减少了时间资源的浪费。
附图说明
下面结合附图对本发明的具体实施方式作进一步说明：
图1是本发明一种迭代型MapReduce作业的参数自动调优方法的步骤流程框图；
图2是本发明一种迭代型MapReduce作业的参数自动调优方法的一具体实施例步骤流程图。
具体实施方式
如图1所示，一种迭代型MapReduce作业的参数自动调优方法，该方法包括：
A、判断是否满足迭代结束条件，若是，则迭代计算任务结束，反之，则执行步骤B；
B、通过参数搜索算法，进而根据给定的MapReduce参数搜索空间，搜索得出新的MapReduce参数配置；
C、采用搜索出的新的MapReduce参数配置来实现当前MapReduce作业的运行，运行结束后，对当前MapReduce作业的运行效果进行判断，并根据判断结果从而进行相应的数据调整处理；
D、返回执行步骤A。
进一步作为优选的实施方式，所述步骤B包括：
B1、判断是否存在历史最优的MapReduce参数配置，若存在，则执行步骤B2，反之，则执行步骤B4；
B2、根据历史最优的MapReduce参数配置以及给定的MapReduce参数搜索空间，进而通过参数搜索算法在给定的MapReduce参数搜索空间中进行参数搜索，并生成历史最优的MapReduce参数配置的所有邻居参数配置；
B3、判断步骤B2生成的所有邻居参数配置是否均存在运行日志记录中，若是，则结束参数自动调优工作，并将历史最优的MapReduce参数配置作为最终最优的MapReduce参数配置输出，反之，则从所有邻居参数配置中选取一个未运行过的邻居参数配置作为新的MapReduce参数配置；
B4、将默认的MapReduce参数配置作为新的MapReduce参数配置。
进一步作为优选的实施方式，所述步骤C包括：
C1、采用搜索出的新的MapReduce参数配置来实现当前MapReduce作业的运行，运行结束后，将当前MapReduce作业的运行信息保存至运行日志记录中；
C2、判断当前MapReduce作业的运行时间是否比历史最优的运行时间快，若是，则将所述的新的MapReduce参数配置作为历史最优的MapReduce参数配置，反之，则根据计算出的接受概率值，从而对历史最优的MapReduce参数配置做出相应的处理。对于所述的历史最优的运行时间，其是指在之前多个MapReduce作业的运行时间中，最快的运行时间。另外，若当前为MapReduce作业的第一次运行，那么此时则不存在历史最优的运行时间，因此，在判断当前MapReduce作业的运行时间是否比历史最优的运行时间快时，则可直接判定当前MapReduce作业的运行时间比历史最优的运行时间快。
则将所述的历史最优的运行时间设为0，从而与当前MapReduce作业的运行时间进行比较。
进一步作为优选的实施方式，所述的根据计算出的接受概率值，从而对历史最优的MapReduce参数配置做出相应的处理这一步骤，其具体为：
根据当前MapReduce作业的运行时间与历史最优的运行时间，从而计算接受概率值；
判断计算出的接受概率值是否满足预设的条件，若满足，则将所述的新的MapReduce参数配置作为历史最优的MapReduce参数配置，反之，所述的历史最优的MapReduce参数配置则不变。对于所述预设的条件，其可根据实际情况来进行不同的设置，因此此处并不做详细的描述。
进一步作为优选的实施方式，所述根据当前MapReduce作业的运行时间与历史最优的运行时间，从而计算接受概率值这一步骤，其包括：
根据当前MapReduce作业的运行时间与历史最优的运行时间，从而计算接受概率值，计算接受概率值的计算公式如下所示：
P＝e(t1-t2)/T
其中，t1表示为历史最优的运行时间，t2表示为当前MapReduce作业的运行时间，T为第一接受值；
对第一接受值进行衰减处理，进而得到第二接受值，然后将第二接受值的数值赋值于第一接受值。
进一步作为优选的实施方式，所述对第一接受值进行衰减处理这一步骤，其所采用的计算公式如下所示：
f(x)＝0.9x
其中，f(x)表示为第二接受值，x表示为第一接受值。
进一步作为优选的实施方式，所述MapReduce参数搜索空间包括参数名、默认值信、取值范围、步长以及参数描述。
本发明方法的一具体实施例
本发明的方法应用于迭代计算循环过程中。基于MapReduce编写的应用程序在进入迭代计算任务时，每一次的迭代运算应用程序客户端都会向Hadoop提交一个新的MapReduce作业，直至满足迭代结束条件才结束。而针对这种迭代型MapReduce作业的Hadoop运行参数自动调优方法，如图2所示，其具体包括：
S1、判断是否满足迭代结束条件，若是，则这一迭代计算任务结束，反之，则执行步骤S2；
S2、判断是否存在历史最优的MapReduce参数配置，若存在，则执行步骤S3，反之，则表示当前MapReduce作业为第一次运行，那么则执行步骤S5；
S3、根据历史最优的MapReduce参数配置以及给定的MapReduce参数搜索空间，进而通过参数搜索算法在给定的MapReduce参数搜索空间中进行参数搜索，并生成获得历史最优的MapReduce参数配置的所有邻居参数配置，如邻居参数配置M1、邻居参数配置M1、……、邻居参数配置Mn；
对于所述的邻居参数配置，其指的是在给定的参数配置下，只改变该参数配置中其中一个MapReduce参数值后得到的新的参数配置，称为原来参数配置的邻居参数配置，也就是说，对于历史最优的MapReduce参数配置的所有邻居参数配置，它们均是以历史最优的MapReduce参数配置为基础，然后改变历史最优的MapReduce参数配置中其中一个MapReduce参数值后所得到的新的参数配置；
另外，对于所述的MapReduce参数搜索空间，其包括参数名、默认值信、取值范围、步长以及参数描述，具体地，所述给定的MapReduce参数搜索空间，其可如表1所示：
表1
对于上述的参数名，其代表MapReduce参数，取值范围表示该参数可调整的值的范围，步长表示为参数值变化的值大小；
S4、判断上述生成的所有邻居参数配置是否均存在运行日志记录中，即判断邻居参数配置M1、邻居参数配置M1、……、邻居参数配置Mn是否均已存在运行日志记录中，若是，则表示已无未运行过的邻居参数配置，那么则可结束参数自动调优的工作，并且将这一历史最优的MapReduce参数配置作为最终最优的MapReduce参数配置输出，而在之后所提交的每一次MapReduce作业均采用这一最终最优的MapReduce参数配置来运行便可，直至满足迭代结束条件为止，即直至这一迭代计算任务结束为止；
反之，则从所有邻居参数配置中随机选取一个未运行过的邻居参数配置，如邻居参数配置M6，作为新的MapReduce参数配置，然后执行步骤S6；
S5、将默认的MapReduce参数配置作为新的MapReduce参数配置，由于此时为MapReduce作业的第一次运行，因此此时，对于所述的默认的MapReduce参数配置，其同时也作为历史最优的MapReduce参数配置；
然后执行步骤S6；
S6、采用搜索出的新的MapReduce参数配置，如邻居参数配置M6，来实现当前MapReduce作业的运行，运行结束后，将当前MapReduce作业的运行信息，如用于当前MapReduce作业运行的MapReduce参数配置、运行时间等，保存至运行日志记录中；
S7、判断当前MapReduce作业的运行时间是否比历史最优的运行时间快，若是，则将所述的新的MapReduce参数配置作为历史最优的MapReduce参数配置，反之，则根据计算出的接受概率值，从而对历史最优的MapReduce参数配置做出相应的处理；
其中，对于所述根据计算出的接受概率值，从而对历史最优的MapReduce参数配置做出相应的处理这一步骤，其具体包括：
利用模拟退火算法中避免局部最优的思想，根据当前MapReduce作业的运行时间与历史最优的运行时间，从而计算接受概率值，计算接受概率值的计算公式如下所示：
P＝e(t1-t2)/T
其中，t1表示为历史最优的运行时间，t2表示为当前MapReduce作业的运行时间，T为第一接受值，而T的初始值为100；
对第一接受值进行衰减处理，进而得到第二接受值，然后将第二接受值的数值赋值于第一接受值，而所述对第一接受值进行衰减处理这一步骤，其所采用的计算公式如下所示：
f(x)＝0.9x
其中，f(x)表示为第二接受值，x表示为第一接受值；
由上述可得，当t1值与t2值之间的差越大，概率P将越小，并且每次产生一次接受概率值后均对第一接受值T进行衰减处理，因此，随着接受概率值计算的次数越多，第一接受值也变得越来越小，而接受概率值也变得越来越小；
判断计算出的接受概率值是否满足预设的条件，若满足，则将所述的新的MapReduce参数配置作为历史最优的MapReduce参数配置，反之，所述的历史最优的MapReduce参数配置则不变；
S8、返回执行步骤S1。
由上述可得，本发明的方法所包括的优点有：
1、通过在计算任务迭代循环过程中，对每一次迭代MapReduce作业进行一次参数配置自动调整优化的方式，使得在进行多次迭代后，迭代MapReduce作业的运行性能会变得越来越好，并且在参数搜索完毕后，即参数自动调整优化后，会得到该迭代MapReduce作业在给定的参数搜索空间中最优的一个MapReduce参数配置，由此可得，通过使用本发明的方法，能够自动地进行参数的调整优化，无需人工操作，而且针对迭代型MapReduce作业的计算任务，不仅可大大提高运行效率，并且还可大大节省资源，减少资源时间的浪费；
2、当当前MapReduce作业的运行时间比历史最优的运行时间慢时，本发明的方法是根据计算出的接受概率值，从而对历史最优的MapReduce参数配置做出相应的处理，因此，可避免参数搜索算法每次都以同一个参数配置来生成邻居配置，且可避免由于该参数配置的所有邻居参数配置运行效果都比它差而造成的搜索提前结束，搜索结果仅为局部最优的问题。
另外，需要说明的是，对于一次计算任务的迭代循环中，每一次的迭代MapReduce作业的数据处理量是相同的，因此在该次计算任务中的不同次迭代可以用运行时间来比较；而对于不同计算任务之间的迭代循环，新的计算任务处理的数据量可能会和上一次计算任务的不同，因此，新计算任务的迭代MapReduce作业不能直接和上一次计算任务的迭代作业的运行时间做比较。这里在新计算任务开启的首次迭代MapReduce作业时，可使用上一个计算任务历史日志中的最优参数配置来运行，从而得到该已知最优参数配置在新计算任务下的运行时间，在第二次迭代MapReduce作业开始就可以用新的运行时间作为比较依据，即此时，对于新计算任务的历史最优的运行时间，其为新计算任务中首次迭代MapReduce作业运行后的时间，而并不是上一次计算任务中所得到的历史最优的运行时间。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (6)
1.一种迭代型MapReduce作业的参数自动调优方法，其特征在于：该方法包括：
A、判断是否满足迭代结束条件，若是，则迭代计算任务结束，反之，则执行步骤B；
B、通过参数搜索算法，进而根据给定的MapReduce参数搜索空间，搜索得出新的MapReduce参数配置；
C、采用搜索出的新的MapReduce参数配置来实现当前MapReduce作业的运行，运行结束后，对当前MapReduce作业的运行效果进行判断，并根据判断结果从而进行相应的数据调整处理；
D、返回执行步骤A；
所述步骤B包括：
B1、判断是否存在历史最优的MapReduce参数配置，若存在，则执行步骤B2，反之，则执行步骤B4；
B2、根据历史最优的MapReduce参数配置以及给定的MapReduce参数搜索空间，进而通过参数搜索算法在给定的MapReduce参数搜索空间中进行参数搜索，并生成历史最优的MapReduce参数配置的所有邻居参数配置；
B3、判断步骤B2生成的所有邻居参数配置是否均存在运行日志记录中，若是，则结束参数自动调优工作，并将历史最优的MapReduce参数配置作为最终最优的MapReduce参数配置输出，反之，则从所有邻居参数配置中选取一个未运行过的邻居参数配置作为新的MapReduce参数配置；
B4、将默认的MapReduce参数配置作为新的MapReduce参数配置。
2.根据权利要求1所述一种迭代型MapReduce作业的参数自动调优方法，其特征在于：所述步骤C包括：
C1、采用搜索出的新的MapReduce参数配置来实现当前MapReduce作业的运行，运行结束后，将当前MapReduce作业的运行信息保存至运行日志记录中；
C2、判断当前MapReduce作业的运行时间是否比历史最优的运行时间快，若是，则将所述的新的MapReduce参数配置作为历史最优的MapReduce参数配置，反之，则根据计算出的接受概率值，从而对历史最优的MapReduce参数配置做出相应的处理。
3.根据权利要求2所述一种迭代型MapReduce作业的参数自动调优方法，其特征在于：所述的根据计算出的接受概率值，从而对历史最优的MapReduce参数配置做出相应的处理这一步骤，其具体为：
根据当前MapReduce作业的运行时间与历史最优的运行时间，从而计算接受概率值；
判断计算出的接受概率值是否满足预设的条件，若满足，则将所述的新的MapReduce参数配置作为历史最优的MapReduce参数配置，反之，所述的历史最优的MapReduce参数配置则不变。
4.根据权利要求3所述一种迭代型MapReduce作业的参数自动调优方法，其特征在于：所述根据当前MapReduce作业的运行时间与历史最优的运行时间，从而计算接受概率值这一步骤，其包括：
根据当前MapReduce作业的运行时间与历史最优的运行时间，从而计算接受概率值，计算接受概率值的计算公式如下所示：
P＝e(t1-t2)/T
其中，t1表示为历史最优的运行时间，t2表示为当前MapReduce作业的运行时间，T为第一接受值；
对第一接受值进行衰减处理，进而得到第二接受值，然后将第二接受值的数值赋值于第一接受值。
5.根据权利要求4所述一种迭代型MapReduce作业的参数自动调优方法，其特征在于：所述对第一接受值进行衰减处理这一步骤，其所采用的计算公式如下所示：
f(x)＝0.9x
其中，f(x)表示为第二接受值，x表示为第一接受值。
6.根据权利要求1所述一种迭代型MapReduce作业的参数自动调优方法，其特征在于：所述MapReduce参数搜索空间包括参数名、默认值信、取值范围、步长以及参数描述。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2016100406584 | 2016-01-21 | ||
| CN201610040658 | 2016-01-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106326005A CN106326005A (zh) | 2017-01-11 |
| CN106326005B true CN106326005B (zh) | 2019-12-17 |
Family
ID=57744628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610692752.8A Active CN106326005B (zh) | 2016-01-21 | 2016-08-18 | 一种迭代型MapReduce作业的参数自动调优方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106326005B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681487B (zh) * | 2018-05-21 | 2021-08-24 | 千寻位置网络有限公司 | 传感器算法参数调优的分布式系统和调优方法 |
| CN110046643B (zh) * | 2019-02-11 | 2023-06-16 | 创新先进技术有限公司 | 业务参数调优方法以及装置 |
| CN111340240A (zh) * | 2020-03-25 | 2020-06-26 | 第四范式（北京）技术有限公司 | 实现自动机器学习的方法及装置 |
| CN112632723B (zh) * | 2020-12-22 | 2024-04-16 | 中国农业大学 | 一种水泵叶片参数的获取方法、装置及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761138A (zh) * | 2014-01-16 | 2014-04-30 | 昆明理工大学 | 一种交通仿真软件的参数校正方法 |
| CN104077328A (zh) * | 2013-03-29 | 2014-10-01 | 百度在线网络技术（北京）有限公司 | MapReduce分布式系统的作业诊断方法及设备 |
| CN104484733A (zh) * | 2014-11-12 | 2015-04-01 | 广东工业大学 | 一种生产车间作业自适应调度方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9264966B2 (en) * | 2013-03-11 | 2016-02-16 | Alcatel Lucent | Method and apparatus for LTE handover reduction |
-
2016
- 2016-08-18 CN CN201610692752.8A patent/CN106326005B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077328A (zh) * | 2013-03-29 | 2014-10-01 | 百度在线网络技术（北京）有限公司 | MapReduce分布式系统的作业诊断方法及设备 |
| CN103761138A (zh) * | 2014-01-16 | 2014-04-30 | 昆明理工大学 | 一种交通仿真软件的参数校正方法 |
| CN104484733A (zh) * | 2014-11-12 | 2015-04-01 | 广东工业大学 | 一种生产车间作业自适应调度方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| "基于性能预估的Hadoop参数自动调优系统";曾林西;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140615(第2014年06期);I138-131 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106326005A (zh) | 2017-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106326005B (zh) | 一种迭代型MapReduce作业的参数自动调优方法 | |
| WO2015196911A1 (zh) | 数据挖掘方法和节点 | |
| CN103440167B (zh) | Hadoop多作业环境下自学习反馈的任务调度方法 | |
| CN103064664A (zh) | 一种基于性能预估的Hadoop参数自动优化方法和系统 | |
| CN103942108B (zh) | Hadoop同构集群下的资源参数优化方法 | |
| WO2015058578A1 (zh) | 一种分布式计算框架参数优化方法、装置及系统 | |
| WO2017124930A1 (zh) | 一种特征数据处理方法及设备 | |
| CN112540849A (zh) | 一种分布式计算作业的参数配置优化方法及系统 | |
| JP2020060922A (ja) | ハイパーパラメータチューニング方法、装置及びプログラム | |
| CN113822173A (zh) | 基于节点归并和路径预测的行人属性识别训练加速方法 | |
| CN106339252A (zh) | 分布式dag系统的自适应优化方法和装置 | |
| CN109032630A (zh) | 一种参数服务器中全局参数的更新方法 | |
| CN104320460A (zh) | 一种大数据处理方法 | |
| CN108776698B (zh) | 一种基于Spark的抗偏斜的数据分片方法 | |
| CN107679107B (zh) | 一种基于图数据库的电网设备可达性查询方法及系统 | |
| CN110874635A (zh) | 一种深度神经网络模型压缩方法及装置 | |
| JP2023123636A (ja) | ハイパーパラメータチューニング方法、装置及びプログラム | |
| CN112445746B (zh) | 一种基于机器学习的集群配置自动优化方法和系统 | |
| CN107122231A (zh) | 一种基于蒙特卡络模拟法的数据流调度优化方法 | |
| CN108804224B (zh) | 一种基于Spark框架的中间数据权重设置方法 | |
| Ying et al. | Towards fault tolerance optimization based on checkpoints of in-memory framework spark | |
| CN103279328A (zh) | 基于Haloop的BlogRank算法并行化处理的构建方法 | |
| Liu et al. | A survey of speculative execution strategy in MapReduce | |
| CN114169100A (zh) | 一种超大变量叶轮机械高效设计优化方法及系统及应用 | |
| Chen et al. | SDTP: Accelerating wide-area data analytics with simultaneous data transfer and processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 510631 No. 55, Zhongshan Avenue, Guangzhou, Guangdong Co-patentee after: GUANGDONG INTELLIGENT DATA TECHNOLOGY Co.,Ltd. Patentee after: SOUTH CHINA NORMAL University Address before: 510631 No. 55, Zhongshan Avenue, Guangzhou, Guangdong Co-patentee before: GUANGZHOU SHIYUN INFORMATION TECHNOLOGY Co.,Ltd. Patentee before: SOUTH CHINA NORMAL University |