CN110413338B - 一种配置大数据平台的方法、设备及可读介质 - Google Patents
一种配置大数据平台的方法、设备及可读介质 Download PDFInfo
- Publication number
- CN110413338B CN110413338B CN201910561007.3A CN201910561007A CN110413338B CN 110413338 B CN110413338 B CN 110413338B CN 201910561007 A CN201910561007 A CN 201910561007A CN 110413338 B CN110413338 B CN 110413338B
- Authority
- CN
- China
- Prior art keywords
- sub
- conditions
- input
- limiting
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003860 storage Methods 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种配置大数据平台的方法,包括以下步骤:建立参数库,参数库包括相互对应的限制条件和配置参数;读取用户的输入条件,将输入条件与参数库中的限制条件进行匹配;响应于输入条件与参数库中的限制条件匹配成功,根据限制条件对应的配置参数对大数据平台进行配置;以及响应于输入条件与参数库中的限制条件匹配失败,基于与配置场景的相关度选定输入条件的子输入条件,并将其与限制条件的子限制条件进行匹配;根据匹配到的子限制条件的限制条件所对应的配置参数对大数据平台进行配置。本发明还公开了一种计算机设备和可读存储介质。本发明提出的配置大数据平台的方法及装置可以充分利用系统资源,简化部署步骤,提高部署效能。
Description
技术领域
本发明涉及大数据平台领域,更具体地,特别是指一种配置大数据平台的方法、设备及可读介质。
背景技术
随着数据量的增长、业务的可用性和重要性的增加,用户对大数据平台的要求越来越高,既需要具有整合资源、共享数据、提供服务的功能,又需要具有简单部署、高性能、低成本的特点。浪潮高密度服务器i48为大数据平台,在提供高性能,高密度特性的同时,灵活扩展,易于管理。
现有浪潮高密度服务器i48的大数据平台需要对每个应用组件进行手工配置,依靠人力配置多且复杂的配置文件,不仅效率低,管理麻烦而且被动,当一个配置有问题时,需要手动修改当前配置,并上传到其他节点。市面上的大数据平台管理工具,减少了手工配置的部分过程,但是不能推出优化的配置建议,对于新搭建的平台需要人工评估,费时费力。配置评估过高,会影响应用组件之间的使用,降低性能;配置评估过低,会导致资源利用率低,浪费资源。
客户对大数据平台配置的要求不再简单地需要手动查看节点资源信息、应用组件和复杂的配置文件,更需要能和生产相关的业务需求结合起来,目前基于浪潮高密度服务器i48的大数据平台不能将资源、应用、业务需求很好的结合进行配置,需要人工评估,配置容易出现问题,并且任务繁琐、效率低下,严重的会给生产造成灾难性问题。
发明内容
有鉴于此,本发明实施例的目的在于提出一种配置大数据平台的方法及装置,可以自主获取主机资源和应用组件信息,通过数据分析,生成最优配置建议,使用户合理有效地利用资源,减少不合理的资源配置,避免资源浪费。
基于上述目的,本发明实施例的一方面提供了一种配置大数据平台的方法,包括如下步骤:建立参数库,参数库包括相互对应的限制条件和配置参数;读取用户的输入条件,将输入条件与参数库中的限制条件进行匹配;响应于输入条件与参数库中的限制条件匹配成功,根据限制条件对应的配置参数对大数据平台进行配置;以及响应于输入条件与参数库中的限制条件匹配失败,基于与配置场景的相关度选定输入条件的子输入条件,并将其与限制条件的子限制条件进行匹配;根据匹配到的子限制条件的限制条件所对应的配置参数对大数据平台进行配置。
在一些实施方式中,将输入条件与参数库中的限制条件进行匹配包括:判断输入条件的多个子输入条件是否均满足限制条件的多个子限制条件。
在一些实施方式中,基于与配置场景的相关度选定输入条件的子输入条件,并将其与限制条件的子限制条件进行匹配包括:基于配置场景确定各个子输入条件的相关度排序;删除其中相关度最低的子输入条件,并将剩下的子输入条件与参数库中的子限制条件进行匹配。
在一些实施方式中,基于配置场景确定各个子输入条件的相关度排序包括:预设多个配置场景对应的标签,设置各个标签之间的相关度;对子输入条件分配对应的标签;以及读取当前配置场景的标签,并根据其与子输入条件对应的标签之间的相关度来对子输入条件进行相关度排序。
在一些实施方式中,删除其中相关度最低的子输入条件,并将剩下的子输入条件与参数库中的子限制条件进行匹配包括:删除当前相关度最低的子输入条件;将剩下的子输入条件与参数库中的子限制条件进行匹配;响应于没有限制条件的子限制条件匹配成功,判断剩下的子输入条件的个数是否大于一,若是,重复前两个步骤。
在一些实施方式中,删除其中相关度最低的子输入条件,并将剩余的子输入条件与参数库中的子限制条件进行匹配还包括:
响应于多个限制条件的子限制条件匹配成功,根据多个限制条件中的一个对应的配置参数对大数据平台进行配置。
本发明实施例的另一方面,还提供了一种计算机设备,包括:至少一个处理器;以及存储器,存储器存储有可在处理器上运行的计算机指令,指令由处理器执行以实现如下步骤:建立参数库,参数库包括相互对应的限制条件和配置参数;读取用户的输入条件,将输入条件与参数库中的限制条件进行匹配;响应于输入条件与参数库中的限制条件匹配成功,根据限制条件对应的配置参数对大数据平台进行配置;以及响应于输入条件与参数库中的限制条件匹配失败,基于与配置场景的相关度选定输入条件的子输入条件,并将其与限制条件的子限制条件进行匹配;根据匹配到的子限制条件的限制条件所对应的配置参数对大数据平台进行配置。
在一些实施方式中,将输入条件与参数库中的限制条件进行匹配包括:判断输入条件的多个子输入条件是否均满足限制条件的多个子限制条件。
在一些实施方式中,基于与配置场景的相关度选定输入条件的子输入条件,并将其与限制条件的子限制条件进行匹配包括:基于配置场景确定各个子输入条件的相关度排序;删除其中相关度最低的子输入条件,并将剩下的子输入条件与参数库中的子限制条件进行匹配。
本发明实施例的再一方面,还提供了一种计算机可读存储介质,计算机可读存储介质存储有被处理器执行时执行如上方法的计算机程序。
本发明具有以下有益技术效果:可以自主获取主机资源和应用组件信息,通过数据分析,生成最优配置建议,使用户合理有效地利用资源,减少不合理的资源配置,避免了资源浪费。用户可以根据特定业务需求手动修改相关配置,提高组件部署效率,减少实施人员工作量和人力成本,提高应用的资源利用率和模块化部署效能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本发明提供的配置大数据平台的方法的实施例的示意图;
图2为本发明提供的配置大数据平台的方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
基于上述目的,本发明实施例的第一个方面,提出了一种配置大数据平台的方法的实施例。图1示出的是本发明提供的配置大数据平台的方法的实施例的示意图。如图1所示,本发明实施例包括如下步骤:
S1、建立参数库,参数库包括相互对应的限制条件和配置参数;
S2、读取用户的输入条件,将输入条件与参数库中的限制条件进行匹配;
S3、响应于输入条件与参数库中的限制条件匹配成功,根据限制条件对应的配置参数对大数据平台进行配置;
S4、响应于输入条件与参数库中的限制条件匹配失败,基于与配置场景的相关度选定输入条件的子输入条件,并将其与限制条件的子限制条件进行匹配;
S5、根据匹配到的子限制条件的限制条件所对应的配置参数对大数据平台进行配置。
本发明实施例以浪潮高密度服务器i48为例进行说明,当然,这不是对大数据平台进行限制,在其他实施例中可以使用其他的大数据平台。
浪潮高密度服务器i48可以包括系统资源信息模块、大数据组件模块、配置文件定制优化模块、配置文件展示模块和配置文件分发模块。系统资源信息模块收集本节点的系统资源的使用情况,可以包括CPU、内存、硬盘、网络等信息,并可以将信息传输给配置文件定制优化模块。大数据组件模块包含大数据平台中的各种组件,以及组件默认配置文件的路径和内容,为配置文件的生成提供基础的大数据平台组件信息,同样的,大数据组件模块可以将大数据平台组件信息传输给配置文件定制优化模块。配置文件定制优化模块结合系统资源信息模块和大数据组件模块的信息,同时根据用户输入的信息,包括集群规模、业务需求等,业务需求可以例如业务性能侧重点是低延时还是高吞吐,或者要求达到的性能指标情况,通过内部计算,得出配置最优建议。
具体的,可以对大数据平台的各组件的可用资源进行分配,例如可以根据系统资源的使用情况进行划分,原则上不同组件的资源之和小于或等于当前系统的可用资源。然后,可以对组件内部进行资源分配。可以配置特定组件的内部参数,在本实施例中包括参数库,参数库中包含各种使用场景的参数配置范围,系统可以根据用户输入的条件到参数库中进行匹配,匹配到的最佳参数作为最优配置。当然,如果用户对上述最优配置不满意,可以对最优配置进行编辑。
可以预设参数库,参数库中可以包括限制条件和配置参数,限制条件和配置参数一一对应。例如组件为A,配置参数为(A1、A2、A3、A4、A5),限制条件用M和N代替,则其中一套方案对应的表达式为(M1、N1)/P1(A1、A2、A3、A4、A5),含义是在M1和N1的条件下采用P1方案对大数据平台进行配置。
在某些实施例中,在对应的配置参数对大数据平台进行配置之后还包括:展示根据对应配置参数生成的配置文件。配置文件展示模块可以在网页(web)平台页面上展示配置文件定制优化模块生成的最优配置,同时提供编辑修改功能,用户可以根据自己的需求进行对应的修改,生成最终的配置文件。
读取用户的输入条件,将输入条件与参数库中的限制条件进行匹配。如果输入条件和参数库中的限制条件匹配成功,根据限制条件对应的配置参数对大数据平台进行配置。在一些实施方式中,将输入条件与参数库中的限制条件进行匹配包括:判断输入条件的多个子输入条件是否均满足限制条件的多个子限制条件。继续上例,用户的输入条件为B(B1、B2),B1、B2均属于输入条件B的子输入条件,如果B1、B2正好均满足M1、N1,表明输入条件与参数库中的限制条件匹配成功,则(M1、N1)对应的配置参数P1(A1、A2、A3、A4、A5)为最佳的配置建议。如果输入条件与参数库中的限制条件匹配失败,基于相关度对输入条件的子输入条件与参数库中的子限制条件进行匹配。继续上例,如果参数库中所有的限制条件均不能与B匹配,则根据子输入条件与配置场景的相关度对子输入条件进行配置。
在某些实施例中,基于与配置场景的相关度选定输入条件的子输入条件,并将其与限制条件的子限制条件进行匹配包括:基于配置场景确定各个子输入条件的相关度排序;删除其中相关度最低的子输入条件,并将剩下的子输入条件与参数库中的子限制条件进行匹配。
具体的,基于配置场景确定各个子输入条件的相关度排序可以包括:预设多个配置场景对应的标签,设置各个标签之间的相关度;对子输入条件分配对应的标签;以及读取当前配置场景的标签,并根据其与子输入条件对应的标签之间的相关度来对子输入条件进行相关度排序。继续上例,预先设置有关吞吐量的场景的标签为“吞吐量”,设置有关延时的场景的标签为“延时”,“吞吐量”与“吞吐量”之间的相关度显然高于“吞吐量”与“延时”,假如当前配置场景的标签为“吞吐量”,B1为延时小于1ms,B2为吞吐量大于35000,那么B2的相关度大于B1。
具体的,根据一些实施例,删除其中当前相关度最低的子输入条件,并将剩下的子输入条件与参数库中的子限制条件进行匹配可以包括:删除当前相关度最低的子输入条件;将剩下的子输入条件与参数库中的子限制条件进行匹配;响应于没有限制条件的子限制条件匹配成功,判断剩下的子输入条件的个数是否大于一,若是,重复前两个步骤。否则,可以提示用户重新设置输入条件。另外,在一些实施方式中,还包括:响应于多个限制条件的子限制条件匹配成功,根据多个限制条件中的一个对应的配置参数对大数据平台进行配置。假设现在有三个子输入条件,相关度从高到低依次为B1、B2、B3,首先删除B3,对B1和B2进行匹配,如果匹配成功,可能存在多个匹配建议,可以选择其中一个对大数据平台进行配置;如果匹配失败,需要判断子输入条件的个数是否大于一,此时还存在两个子输入条件,满足上述条件,则再删除B2,对B1进行匹配,如果匹配成功,选择一个匹配建议对大数据平台进行配置,如果还是失败,继续判断子输入条件的个数是否大于一,由于此时只有一个子输入条件,不满足上述条件,则有可能是用户设置的输入条件过于苛刻,可以提示用户重新设置输入条件。
在某些实施例中,在展示根据对应配置参数生成的配置文件之后还包括:将生成的配置文件进行分发。将生成的配置文件进行分发包括:获取配置文件路径信息和集群信息;以及根据路径信息和集群信息将配置文件分发到大数据平台组件对应的路径下。例如可以根据配置文件分发模块从大数据组件模块获得集群配置文件路径信息,从配置文件定制优化模块获得集群信息,将生成的配置文件,分发到对应组件节点的对应路径下,便于后续安装部署使用。
在某些实施例中,还包括:在读取系统资源的使用情况之前,通过tomcat部署大数据平台组件的运行环境。上述方法可以基于java技术以网页形式展示界面,运作流程可以基于脚本实现。通过tomcat部署,实现跨平台的特性。
图2示出的是本发明提供的配置大数据平台的方法的实施例的流程图,根据图2对本发明实施例进行完整的说明。
假设用户输入条件为B,B包括三个子输入条件B1、B2和B3,本发明实施例涉及的组件为A,配置参数为(A1、A2、A3、A4、A5),参数库中存在10套方案,分别是P1、P2……P10,参数库中的限制条件为Q,Q包括三个子限制条件M、N和O,Q1对应于P1,Q2对应于P2,以此类推。
首先判断输入条件B和限制条件Q是否匹配。如果限制条件Q1至Q10中存在至少一个能够与B进行匹配,则可以在这至少一个限制条件对应的配置参数中选择一个对大数据平台进行配置。
如果10个限制条件均不能与输入条件进行匹配,则对输入条件的子条件进行相关度排序。具体可以根据配置场景进行相关度排序,假如子输入条件从高到低的排序为B1、B2、B3,则删除当前相关度最小的子输入条件,即B3,对B1和B2进行匹配,如果限制条件Q1至Q10中存在至少一个能够与B1和B2进行匹配,则可以在这至少一个限制条件对应的配置参数中选择一个对大数据平台进行配置;如果限制条件Q1至Q10中不能与B1和B2进行匹配,则判断此时子输入条件的个数是否大于一,由于此时子输入条件为B1和B2,大于一,因此,继续删除B2,对B1进行匹配,如果匹配成功,选择一个匹配建议对大数据平台进行配置,如果还是失败,继续判断子输入条件的个数是否大于一,由于此时只有一个子输入条件B1,则有可能是用户设置的输入条件过于苛刻,可以提示用户重新设置输入条件。
需要特别指出的是,上述配置大数据平台的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减,因此,这些合理的排列组合变换之于清理数据库异常退出的会话的方法也应当属于本发明的保护范围,并且不应将本发明的保护范围局限在实施例之上。
通过本发明实施例生成的配置建议,更加充分合理高效的利用了系统资源,同时简化部署步骤、降低部署难度,提高应用的资源利用率和模块化部署效能,对新平台的搭建具有指导意义,避免配置评估不合理带来的平台性能问题或严重的灾难性问题。用户可以根据特定业务需求手动修改相关配置。提高组件部署效率,减少实施人员工作量和人力成本,提高应用的资源利用率和模块化部署效能。
基于上述目的,本发明实施例的第二个方面,提出了一种计算机设备,包括:至少一个处理器;以及存储器,存储器存储有可在处理器上运行的计算机指令,指令由处理器执行以实现如下步骤:建立参数库,参数库包括相互对应的限制条件和配置参数;读取用户的输入条件,将输入条件与参数库中的限制条件进行匹配;响应于输入条件与参数库中的限制条件匹配成功,根据限制条件对应的配置参数对大数据平台进行配置;以及响应于输入条件与参数库中的限制条件匹配失败,基于与配置场景的相关度选定输入条件的子输入条件,并将其与限制条件的子限制条件进行匹配;根据匹配到的子限制条件的限制条件所对应的配置参数对大数据平台进行配置。
在一些实施例中,将输入条件与参数库中的限制条件进行匹配包括:判断输入条件的多个子输入条件是否均满足限制条件的多个子限制条件。
在一些实施例中,基于与配置场景的相关度选定输入条件的子输入条件,并将其与限制条件的子限制条件进行匹配包括:基于配置场景确定各个子输入条件的相关度排序;删除其中相关度最低的子输入条件,并将剩下的子输入条件与参数库中的子限制条件进行匹配。
本发明还提供了一种计算机可读存储介质,计算机可读存储介质存储有被处理器执行时执行如上方法的计算机程序。
最后需要说明的是,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关硬件来完成,清理数据库异常退出的会话的方法的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例,可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
此外,根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序,该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时,执行本发明实施例公开的方法中限定的上述功能。
此外,上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
此外,应该明白的是,本文的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的,非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM),该RAM可以充当外部高速缓存存储器。作为例子而非限制性的,RAM可以以多种形式获得,比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行:通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器,但是可替换地,处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器,使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中,存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中,处理器和存储介质可以作为分立组件驻留在用户终端中。
在一个或多个示例性设计中,功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现,则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质,该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的,该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备,或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外,任何连接都可以适当地称为计算机可读介质。例如,如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件,则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的,磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘,其中磁盘通常磁性地再现数据,而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种配置大数据平台的方法,其特征在于,包括:
建立参数库,所述参数库包括相互对应的限制条件和配置参数;
读取用户的输入条件,将所述输入条件与所述参数库中的限制条件进行匹配;
响应于所述输入条件与所述参数库中的限制条件匹配成功,根据所述限制条件对应的配置参数对大数据平台进行配置;以及
响应于所述输入条件与所述参数库中的限制条件匹配失败,基于与配置场景的相关度选定所述输入条件的子输入条件,并将其与所述限制条件的子限制条件进行匹配;
根据匹配到的子限制条件的限制条件所对应的配置参数对大数据平台进行配置。
2.根据权利要求1所述的方法,其特征在于,将所述输入条件与所述参数库中的限制条件进行匹配包括:
判断所述输入条件的多个子输入条件是否均满足所述限制条件的多个子限制条件。
3.根据权利要求1所述的方法,其特征在于,基于与配置场景的相关度选定所述输入条件的子输入条件,并将其与所述限制条件的子限制条件进行匹配包括:
基于配置场景确定各个所述子输入条件的相关度排序;
删除其中相关度最低的子输入条件,并将剩下的子输入条件与所述参数库中的子限制条件进行匹配。
4.根据权利要求3所述的方法,其特征在于,基于配置场景确定各个所述子输入条件的相关度排序包括:
预设多个配置场景对应的标签,设置各个标签之间的相关度;
对所述子输入条件分配对应的标签;以及
读取当前配置场景的标签,并根据其与所述子输入条件对应的标签之间的相关度来对所述子输入条件进行相关度排序。
5.根据权利要求3所述的方法,其特征在于,删除其中相关度最低的子输入条件,并将剩下的子输入条件与所述参数库中的子限制条件进行匹配包括:
删除当前相关度最低的子输入条件;
将剩下的子输入条件与所述参数库中的子限制条件进行匹配;
响应于没有子限制条件匹配成功,判断剩下的子输入条件的个数是否大于一,若是,重复前两个步骤。
6.根据权利要求5所述的方法,其特征在于,删除其中相关度最低的子输入条件,并将剩余的子输入条件与所述参数库中的子限制条件进行匹配还包括:
响应于多个限制条件的子限制条件匹配成功,根据所述多个限制条件中的一个对应的配置参数对大数据平台进行配置。
7.一种计算机设备,其特征在于,包括:
至少一个处理器;以及
存储器,所述存储器存储有可在所述处理器上运行的计算机指令,所述指令由所述处理器执行以实现如下步骤:
建立参数库,所述参数库包括相互对应的限制条件和配置参数;
读取用户的输入条件,将所述输入条件与所述参数库中的限制条件进行匹配;
响应于所述输入条件与所述参数库中的限制条件匹配成功,根据所述限制条件对应的配置参数对大数据平台进行配置;以及
响应于所述输入条件与所述参数库中的限制条件匹配失败,基于与配置场景的相关度选定所述输入条件的子输入条件,并将其与所述限制条件的子限制条件进行匹配;
根据匹配到的子限制条件的限制条件所对应的配置参数对大数据平台进行配置。
8.根据权利要求7所述的计算机设备,其特征在于,将所述输入条件与所述参数库中的限制条件进行匹配包括:
判断所述输入条件的多个子输入条件是否均满足所述限制条件的多个子限制条件。
9.根据权利要求8所述的计算机设备,其特征在于,基于与配置场景的相关度选定所述输入条件的子输入条件,并将其与所述限制条件的子限制条件进行匹配包括:
基于配置场景确定各个所述子输入条件的相关度排序;
删除其中相关度最低的子输入条件,并将剩余的子输入条件与所述参数库中的子限制条件进行匹配。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时执行权利要求1-6任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910561007.3A CN110413338B (zh) | 2019-06-26 | 2019-06-26 | 一种配置大数据平台的方法、设备及可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910561007.3A CN110413338B (zh) | 2019-06-26 | 2019-06-26 | 一种配置大数据平台的方法、设备及可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110413338A CN110413338A (zh) | 2019-11-05 |
CN110413338B true CN110413338B (zh) | 2023-01-06 |
Family
ID=68358219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910561007.3A Active CN110413338B (zh) | 2019-06-26 | 2019-06-26 | 一种配置大数据平台的方法、设备及可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110413338B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112000389B (zh) * | 2020-06-24 | 2022-07-08 | 苏州浪潮智能科技有限公司 | 一种配置推荐方法、系统、装置及计算机存储介质 |
CN112612514B (zh) * | 2020-12-31 | 2023-11-28 | 青岛海尔科技有限公司 | 程序开发方法和装置、存储介质及电子装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101122983A (zh) * | 2007-08-28 | 2008-02-13 | 南京联创科技股份有限公司 | 条件配置管理的方法 |
CN105224599A (zh) * | 2015-08-31 | 2016-01-06 | 浪潮(北京)电子信息产业有限公司 | 一种数据库自动优化配置的方法及系统 |
-
2019
- 2019-06-26 CN CN201910561007.3A patent/CN110413338B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101122983A (zh) * | 2007-08-28 | 2008-02-13 | 南京联创科技股份有限公司 | 条件配置管理的方法 |
CN105224599A (zh) * | 2015-08-31 | 2016-01-06 | 浪潮(北京)电子信息产业有限公司 | 一种数据库自动优化配置的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110413338A (zh) | 2019-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7933296B2 (en) | Services for data sharing and synchronization | |
CN104615606B (zh) | 一种Hadoop分布式文件系统及其管理方法 | |
CN102938784A (zh) | 应用于分布式存储系统中的数据存储方法和系统 | |
CN110413338B (zh) | 一种配置大数据平台的方法、设备及可读介质 | |
CN109977099A (zh) | 数据库部署方法、用户设备、存储介质及装置 | |
CN111818175B (zh) | 企业服务总线配置文件生成方法、装置、设备和存储介质 | |
CN110781156A (zh) | 一种数据节点的分配方法、设备及介质 | |
CN101937335B (zh) | 一种生成Widget图标的方法、Widget摘要文件的生成方法及Widget引擎 | |
CN110389766A (zh) | HBase容器集群部署方法、系统、设备及计算机可读存储介质 | |
US10606837B2 (en) | Partitioned join with dense inner table representation | |
US20150127798A1 (en) | Object version management | |
CN110659165A (zh) | 一种多节点服务器自动化测试方法和装置 | |
CN112328257A (zh) | 代码转换方法及装置 | |
CN106021359A (zh) | Cad文件的修改方法及装置 | |
CN111309264B (zh) | 一种使目录配额兼容快照的方法、系统、设备及介质 | |
CN110851343A (zh) | 一种基于决策树的测试方法和装置 | |
US10761940B2 (en) | Method, device and program product for reducing data recovery time of storage system | |
CN100337433C (zh) | 在网管系统中控制和管理电信设备的方法 | |
CN111813346A (zh) | 基于云平台搭建Ceph分布式存储的方法、系统、设备及介质 | |
CN113360215A (zh) | 程序运行方法、装置及计算机可读存储介质 | |
CN103561113A (zh) | Web Service接口的生成方法及装置 | |
CN116127154A (zh) | 知识标签推荐方法、装置、电子设备及存储介质 | |
CN113590348A (zh) | 基于树状结构的参数传递方法、装置、设备及介质 | |
CN111240933B (zh) | 多数据中心的性能数据监测的方法、系统、设备及介质 | |
CN111831394A (zh) | 采用kubernetes部署有状态pod的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |