CN113435489A - 部署系统的方法、装置、计算机可读存储介质及处理器 - Google Patents

部署系统的方法、装置、计算机可读存储介质及处理器 Download PDF

Info

Publication number
CN113435489A
CN113435489A CN202110675243.5A CN202110675243A CN113435489A CN 113435489 A CN113435489 A CN 113435489A CN 202110675243 A CN202110675243 A CN 202110675243A CN 113435489 A CN113435489 A CN 113435489A
Authority
CN
China
Prior art keywords
server
deployed
component
configuration parameters
deployment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110675243.5A
Other languages
English (en)
Other versions
CN113435489B (zh
Inventor
李春淼
郭家杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenyan Intelligent Technology Co ltd
Original Assignee
Beijing Shenyan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenyan Intelligent Technology Co ltd filed Critical Beijing Shenyan Intelligent Technology Co ltd
Priority to CN202110675243.5A priority Critical patent/CN113435489B/zh
Publication of CN113435489A publication Critical patent/CN113435489A/zh
Application granted granted Critical
Publication of CN113435489B publication Critical patent/CN113435489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种部署系统的方法、装置、计算机可读存储介质及处理器。其中,该方法包括:获取服务器的配置参数;根据服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,其中,第一部署规划信息用于部署待部署系统和待部署组件;根据第一部署规划信息,将待部署系统和待部署组件部署在服务器中。本发明解决了手动在服务器中部署系统及其组件过程繁琐易出错的技术问题。

Description

部署系统的方法、装置、计算机可读存储介质及处理器
技术领域
本发明涉及数据处理领域,具体而言,涉及一种部署系统的方法、装置、计算机可读存储介质及处理器。
背景技术
在服务器中部署系统时,由于服务器可以为一个或者多个,因此需要进行相应的规划。相关技术中,通过手动上传部署包的方式进行部署,部署过程烦琐,容易出错,还需要进行针对性的测试,考虑的事情比较多,并且安全性也很难得到保障。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种部署系统的方法、装置、计算机可读存储介质及处理器,以至少解决手动在服务器中部署系统及其组件过程繁琐易出错的技术问题。
根据本发明实施例的一个方面,提供了一种部署系统的方法,包括:获取服务器的配置参数;根据所述服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,其中,所述第一部署规划信息用于部署所述待部署系统和所述待部署组件;根据所述第一部署规划信息,将所述待部署系统和所述待部署组件部署在所述服务器中。
可选地,根据所述服务器的配置参数、所述待部署系统和所述待部署组件,生成第一部署规划信息,包括:根据所述服务器的配置参数,为所述服务器进行分类,得到所述服务器的第一类型;获取预设的部署规划模板,其中,所述预设的部署规划模板与所述第一类型对应;根据所述待部署系统、所述待部署组件及所述部署规划模板,生成所述第一部署规划信息。
可选地,根据所述服务器的配置参数,为所述服务器进行分类,得到所述服务器的第一类型,包括:将所述服务器的配置参数输入预先训练的第一逻辑回归模型,得到所述服务器的特征值,其中,所述第一逻辑回归模型基于多组第一样本数据进行机器学习得到,所述第一样本数据包括样本服务器的配置参数和所述样本服务器的特征值;根据所述服务器的特征值与预设的服务器特征值集合,确定所述服务器的所述第一类型。
可选地,根据所述服务器的配置参数,为所述服务器进行分类,得到所述服务器的第一类型,还包括:使用随机森林算法为所述服务器的配置参数分类,得到所述服务器配置参数的第二类型;将所述服务器的配置参数以及所述第二类型输入预先训练的第二逻辑回归模型,得到所述服务器的特征值,其中,所述第二逻辑回归模型基于多组第二样本数据进行机器学习得到,所述第二样本数据包括样本服务器的配置参数、所述样本服务器的配置参数的第二类型以及所述样本服务器的特征值。
可选地,根据所述第一部署规划信息,将所述待部署系统和所述待部署组件部署在所述服务器中,包括:将所述待部署系统和所述待部署组件分别容器化,得到多个容器;根据所述第一部署规划信息,将所述多个容器分别部署到所述服务器中。
可选地,上述方法还包括:将所述服务器的配置参数、所述待部署系统、所述待部署组件以及所述第一部署规划信息存储在数据库中,其中,所述数据库为容器化后的数据库容器;在所述服务器中包括大数据集群的情况下,将所述数据库中的数据上传到所述大数据集群中。
可选地,上述方法还包括:扫描所述服务器,确定所述服务器中是否已部署第一组件,其中,所述第一组件为所述待部署组件之一;在所述服务器中已部署所述第一组件的情况下,根据所述服务器的配置参数、所述待部署系统和第二组件,生成第二部署规划信息,其中,所述第二部署规划信息用于部署所述待部署系统和所述第二组件,所述第二组件为所述待部署组件中尚未部署在所述服务器中的组件;根据所述第二部署规划信息,将所述待部署系统和所述第二组件部署在所述服务器中。
根据本发明实施例的另一方面,还提供了一种部署系统的装置,包括:获取模块,用于获取服务器的配置参数;生成模块,用于根据所述服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,其中,所述第一部署规划信息用于部署所述待部署系统和所述待部署组件;部署模块,用于根据所述第一部署规划信息,将所述待部署系统和所述待部署组件部署在所述服务器中。
根据本发明实施例的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的部署系统的方法。
根据本发明实施例的再一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述任意一项所述的部署系统的方法。
在本发明实施例中,采用获取服务器的配置参数的方式,通过根据服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,达到了根据第一部署规划信息,将待部署系统和待部署组件部署在服务器中的目的,从而实现了准确、高效地在服务器中部署系统及其组件的技术效果,进而解决了手动在服务器中部署系统及其组件过程繁琐易出错的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例提供的部署系统的方法的流程示意图;
图2是根据本发明可选实施方式提供的系统部署流程的示意图;
图3是根据本发明可选实施方式提供的系统智能部署平台的示意图;
图4是根据本发明实施例提供的部署系统的装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,对本申请实施例进行描述的过程中出现的部分名词或者术语适用于如下解释:
CDP系统,即客户数据中台Customer Data Platform,简称为CDP系统。
容器,一种虚拟化技术,能够有效的将单个操作系统的资源划分到孤立的组中,以便更好的在孤立的组之间平衡有冲突的资源的使用需求,其中,孤立的组即为一个容器。
组件,是对数据和方法的简单封装,使用组件可以实现拖放式编程、快速的属性处理以及真正的面向对象的设计。
实施例1
根据本发明实施例,提供了一种部署系统的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例提供的部署系统的方法的流程示意图,如图1所示,该方法包括如下步骤:
步骤S102,获取服务器的配置参数。本步骤中所述的服务器可以为一台服务器,也可以为多台服务器,即可以包括一个服务器集群。可选地,服务器的配置参数可以包括以下至少之一:CPU的型号,核心数,内存大小或者存储空间。通过获取每一个服务器的配置参数,可以清晰地了解服务器的状态,使后续的部署规划过程更加科学可靠。
步骤S104,根据服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,其中,第一部署规划信息用于部署待部署系统和待部署组件。
其中,待部署组件可以为待部署系统在服务器中运行时所需要的组件。例如,待部署组件可以包括大数据组件以及业务组件,通过在服务器中部署大数据组件,可以在服务器中部署大数据集群;通过在服务器中部署业务组件,可以在服务器中部署待部署系统运行时所需要的业务功能模块,例如,业务组件可以包括Redis服务等。
可以使用多种形式的第一部署规划信息,例如,第一部署规划信息可以包括部署规划表或者部署规划图,用于指示待部署系统和待部署组件在服务器中的部署位置。部署规划表可以为条目图表的形式,其中的每一个条目用于表示待部署系统中的一个部分或者待部署组件中的一个组件的部署情况。
步骤S106,根据第一部署规划信息,将待部署系统和待部署组件部署在服务器中。
可选地,待部署系统可以包括CDP系统。一套CDP系统手动部署下来很麻烦,功能模块众多,并且安全性也很难得到保障。通过第一部署规划信息可以合理的分配CDP系统及其相关的待部署组件在服务器中的部署位置,便捷高效地完成CDP系统的部署。
通过上述步骤,采用获取服务器的配置参数的方式,通过根据服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,达到了根据第一部署规划信息,将待部署系统和待部署组件部署在服务器中的目的,从而实现了准确、高效地在服务器中部署系统及其组件的技术效果,进而解决了手动在服务器中部署系统及其组件过程繁琐易出错技术问题。
作为一种可选的实施例,可以根据服务器的配置参数,为服务器进行分类,得到服务器的第一类型;获取与第一类型对应的预设的部署规划模板;根据待部署系统、待部署组件及部署规划模板,生成第一部署规划信息。不同的服务器的具体配置参数不同,因此在服务器上配置系统的规划方案也不同。根据服务器的配置参数,可以为服务器进行分类,确定当前服务器属于预设的多种类型服务器中的哪一种类型。然后根据服务器类型确定与该服务器类型对应的部署规划模板,将待部署系统、待部署组件套入部署规划模板中,得到第一部署规划信息,其中,第一部署规划信息包括待部署系统中的模块以及待部署组件中的每一个组件可以部署在服务器中的具体位置。
作为一种可选的实施例,可以通过如下方式进行分类得到服务器的第一类型:将服务器的配置参数输入预先训练的第一逻辑回归模型,得到服务器的特征值,其中,第一逻辑回归模型基于多组第一样本数据进行机器学习得到,第一样本数据包括样本服务器的配置参数和样本服务器的特征值;根据服务器的特征值与预设的服务器特征值集合,确定服务器的第一类型。
逻辑回归模型是一种采用逻辑回归算法进行机器学习得到的模型,其中逻辑回归(logistics regression,简称LR)模型可以接收输入的服务器的配置参数之后,输出一个特征值,经过训练的逻辑回归模型输出的该特征值可以用来表示服务器的综合特性。在模型的训练过程中,使用的样本服务器的特征值可以是人为根据样本服务器的配置参数和特点进行标定的特征值。
此外,可以根据服务器的特征值与预设的服务器特征值集合,确定服务器的第一类型。服务器的特征值集合可以包括多个服务器的特征值,集合中的每一个特征值均预先与一类服务器对应。当把服务器的配置参数输入第一逻辑回归模型并输出一个特征值后,将该特征值与特征值集合中的特征值进行比对,找出与该特征值数值上最接近的特征值集合中的特征值为目标特征值,则该目标特征值对应的服务器类型即为该服务器的类型。
作为一种可选的实施例,还可以通过如下方式进行分类得到服务器的第一类型:使用随机森林算法为服务器的配置参数分类,得到服务器配置参数的第二类型;将服务器的配置参数以及第二类型输入预先训练的第二逻辑回归模型,得到服务器的特征值,其中,第二逻辑回归模型基于多组第二样本数据进行机器学习得到,第二样本数据包括样本服务器的配置参数、样本服务器的配置参数的第二类型以及样本服务器的特征值。
本可选的实施例中,通过预先对服务器的配置参数进行分类,第二逻辑回归模型可以提供更准确的服务器的特征值。在服务器中部署系统及组件时,服务器的不同的配置参数对部署结果的影响是不同的,提前对服务器的配置参数进行分类并将分类结果一并输入第二逻辑回归模型中,可以优化第二逻辑回归模型输出的特征值,使该特征值能够更好地反映出服务器的特点。可选地,还可以采用除随机森林以外的其他分类算法对服务器的配置参数进行分类,例如,还可以决策树、SVM、贝叶斯或者神经网络的方法对配置参数进行分类,在此不做限定。
作为一种可选的实施例,将待部署系统和待部署组件部署在服务器中时,可以先将待部署系统和待部署组件分别容器化,得到多个容器;然后根据第一部署规划信息,将多个容器分别部署到服务器中。采用容器化的方式部署系统和组件,有利于在服务器中构建操作系统实例时为系统管理员提供极大的灵活性,降低系统开销,提高性能表现,便于之后的维护和扩展。
此外,容器化的部署方式,可以在后续实现基于对容器化的编排处理来管理容器的资源使用情况。还可以通过资源空间隔离技术对容器使用的资源进行分类隔离管理,包括带部署系统的非自有业务依赖组件以及非自有大数据集群的资源控制,包括组件的部署规划及其默认参数配置以及自定义参数配置的调优。
作为一种可选的实施例,可以将服务器的配置参数、待部署系统、待部署组件以及第一部署规划信息存储在数据库中,其中,数据库为容器化后的数据库容器;在服务器中包括大数据集群的情况下,将数据库中的数据上传到大数据集群中。
可选地,数据库可以以容器的方式呈现,其中数据均可以通过先落到磁盘,以临时压缩文件的方式备份后,再上传到大数据集群中,并在一定时间后删除临时文件,最终以副本级的方式在大数据集群中进行存储。在大数据集群中,数据的存储类别可以为首次全量,其余增量,因此数据无需进行备份,数据文件在大数据集群中的生命周期也可以根据需求可自行调整。而且数据以压缩文件的方式短暂存储在磁盘,如需迁移,可以直接通过界面化的操作一键导出,同理可以一键导入数据,导入过程中自行判断文件格式,符合格式要求的,对数据文件先进行压缩处理再自行上传到大数据集群中。因此如果需要迁移整个系统到另一个环境,比如将系统从云下迁移到云上,那么只需要在云上环境部署相同的数据库并在数据库中加载相应的数据,之后按照云下环境的系统及组件部署过程,在云上环境中再次执行一遍即可完成整个迁移过程,非常的方便。
作为一种可选的实施例,本实施例的方案还可以扫描服务器,确定服务器中是否已部署第一组件,其中,第一组件为待部署组件之一;在服务器中已部署第一组件的情况下,根据服务器的配置参数、待部署系统和第二组件,生成第二部署规划信息,其中,第二部署规划信息用于部署待部署系统和第二组件,第二组件为待部署组件中尚未部署在服务器中的组件;根据第二部署规划信息,将待部署系统和第二组件部署在服务器中。
可选地,当服务器中已经有自有组件时,可以选择不将待部署组件中的与自有组件重复的部分再次部署在服务器中。部署作业的工作人员可以灵活选择将哪些内容部署在服务器中,避免了没有意义的重复作业,否则可能会造成服务器中冗余部分过多,部署过程浪费时间和资源。
图2是根据本发明可选实施方式提供的系统部署流程的示意图,如图2所示,可以通过如下步骤实现系统部署:
S1,获取服务器的配置参数;S2,确定部署系统的过程中是否要部署自有组件,自有组件指服务器中当前不具备的业务组件;如果要部署自有组件,进入S3,不部署自有组件,进入S4;S3,由部署人员主动选择需要部署的依赖组件;S4,确定部署系统的过程中是否要部署自有的大数据集群组件,若需要,进入S5,若不需要则进入S6;S5,由部署人员主动添加使用的大数据集群组件;S6,根据待部署系统以及待部署的组件,自动生成部署规划列表,其中,部署规划列表为部署规划信息之一,用以显示待部署的系统、组件以及各自在服务器中的部署位置,供决策人员参考;S7,确定是否要修改部署规划列表,若是,进入S8,若不修改,进入S9;S8,手动修改部署规划列表,得到自定义规划列表;S9,根据规划列表在服务器中开始部署工作,并同时生成记录部署过程的日志;S10,判断是否部署成功,若部署成功了,则部署流程结束,若没有成功,查找问题并重新进行部署工作。
可选地,根据上述部署系统的方法,本申请提出了一种用于在服务器中部署系统的系统智能部署平台。该系统智能部署平台可以包括用户管理模块,资源管理模块,智能信息模块,智能部署模块,数据管理模块,版本控制模块,监控管理模块以及日志审计模块。图3是根据本发明可选实施方式提供的系统智能部署平台的示意图,下面结合图3对系统智能部署平台的各个模块进行简要说明。
用户管理模块,可以通过使用该模块导入现有的企业用户管理系统的数据来实现对用户的管理,根据在数据库中设定用户权限ID,角色ID来进行划分,并与容器的namespace的ID关联,从而做到用户user与容器namespace的一对一或者一对多的关系,进而可以对用户使用的资源做出权限管控。
资源管理模块,可以基于对服务器中的容器的编排处理来管理容器的资源使用情况,并通过资源空间隔离技术对容器使用的资源进行分类隔离管理,包括系统的非自有业务依赖组件以及非自有大数据集群的资源控制,还包括组件的部署列表及其默认参数配置以及自定义参数配置的调优。另外,资源管理模块还可以通过下述的智能信息模块来对各个服务器节点进行心跳检测,同时后台利用主节点的token对从节点进行关联,从而实现对服务器节点的动态扩容与缩容。
智能信息模块,用于信息的传输与交互,其底层可以基于安全外壳协议(SecureShell,简称ssh)并利用自动化运维工具Ansible来实现对信息以及文件的分发,并利用构建agent的方式来实现对服务器的心跳检测,并通过api-server的方式将平台上的各种信息进行处理,同时还可以进行操作信息、输入信息、调用信息等的分发与管理。
智能部署模块,整个系统智能部署平台的核心,可以根据服务器的配置参数,将服务器按照CPU型号、核心数、内存大小、存储空间等配置参数进行排序分类,并将部署组件的配置参数与服务器的配置参数进行比对。智能信息模块可以将此配置参数传递到资源管理模块,智能部署模块可以对资源管理模块存储的服务器的配置参数使用随机森林算法并使用逻辑回归模型处理,并将得出的特征值与预设的特征值集合做比较。其中,当得出的特征值包含在某个具体的特征值集合中的范围内时,此范围可以与预设的部署规划表对应,从而得出最适合此服务器的部署规划表。待用户确认后智能部署模块会根据该列表利用其分发功能对服务器进行批量初始优化操作,从而使服务器满足部署条件,部署过程中按照优先级进行划分并依次部署(优先级可以为:大数据组件>业务组件>待部署系统),智能部署模块在每部署完一个组件并成功启动后都会在界面上显示部署进度与是否完成的标识,并在日志审计模块中记录具体日志,且相同组件支持批量部署。
数据管理模块,可以用于创建自有的数据节点,并将操作信息均通过智能信息模块传递到数据管理模块中进行管理,包括创建容器的数据仓库,以及待部署系统的非自有数据库的数据信息。数据库以容器的方式呈现,其中数据均可以通过落到磁盘以临时压缩文件的方式备份后再上传到大数据集群中,并在一定时间后删除临时文件最终以副本级的方式在集群中进行存储。存储类别为首次全量,其余增量,因此数据无需备份,数据文件的生命周期根据需求可自行调整,而且数据以压缩文件的方式短暂存储在磁盘,如需迁移,可以直接通过界面化一键导出,同理可以一键引入,引入过程中自行判断文件格式,符合要求则对文件先进行压缩处理再自行上传到大数据集群中,因此如果需要迁移整个待部署系统到另一个环境,比如从云下迁移到云上,那么只需要在云上环境重新部署一套本可选实施方式的平台即可,之后将云下环境的数据节点一键导出后在一键导入到云上的数据节点,即可完成整个迁移过程,非常的方便。
版本控制模块,可以通过Git进行管理,对所部署的系统的非自有业务依赖组件、大数据组件以及系统发布的版本通过容器tag的方式进行标识,并利用Jenkinsfile与dockerfile并结合容器的编排能力从而实现对版本的更新,升级,发布,回滚。
监控告警管理模块,可以结合智能信息模块与资源管理模块,根据自行研发的监控模板(内置监控项信息),通过调取api的方式获取所部署的系统的非自有业务依赖组件、大数据组件、系统所占用资源情况的监控数据,并对各个服务器节点的资源使用情况通过分发部署node_exporter来获取监控数据,这些数据统一存放到数据管理模块下,通过容器化的监控组件进行界面展示,同时根据资源设定阈值发出相应的告警信息,支持短信,邮件,webhook。
日志审计模块,可以将日志采集工具进行容器化并内置在平台中,并结合智能信息模块、资源管理模块以及智能部署模块于对所部署的系统的非自有业务依赖组件、大数据组件、CDP系统的操作日志收集与图形化展示,日志审计模块中配置智能分析引擎,将利用聚类算法将所有导致问题出现的原因进行分组后排序,并利用朴素贝叶斯算法将最有可能的问题特征呈现出来与现有问题解决特征值做对比,得出结果后通过智能消息模块在日志审计界面中体现出来,进而节省大量的运维成本。
实施例2
根据本发明实施例,还提供了一种用于实施上述部署系统的方法的部署系统的装置,图4是根据本发明实施例提供的部署系统的装置的结构框图,如图4所示,该部署系统的装置包括:获取模块42,生成模块44和部署模块46,下面对该部署系统的装置进行说明。
获取模块42,用于获取服务器的配置参数;
生成模块44,连接于上述获取模块42,用于根据服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,其中,第一部署规划信息用于部署待部署系统和待部署组件;
部署模块46,连接于上述生成模块44,用于根据第一部署规划信息,将待部署系统和待部署组件部署在服务器中。
此处需要说明的是,上述获取模块42,生成模块44和部署模块46对应于实施例1中的步骤S102至步骤S106,三个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。
实施例3
本发明的实施例可以提供一种计算机设备,可选地,在本实施例中,上述计算机设备可以位于计算机网络的多个网络设备中的至少一个网络设备。该计算机设备包括存储器和处理器。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的部署系统的方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的部署系统的方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取服务器的配置参数;根据服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,其中,第一部署规划信息用于部署待部署系统和待部署组件;根据第一部署规划信息,将待部署系统和待部署组件部署在服务器中。
可选的,上述处理器还可以执行如下步骤的程序代码:根据服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,包括:根据服务器的配置参数,为服务器进行分类,得到服务器的第一类型;获取预设的部署规划模板,其中,预设的部署规划模板与第一类型对应;根据待部署系统、待部署组件及部署规划模板,生成第一部署规划信息。
可选的,上述处理器还可以执行如下步骤的程序代码:根据服务器的配置参数,为服务器进行分类,得到服务器的第一类型,包括:将服务器的配置参数输入预先训练的第一逻辑回归模型,得到服务器的特征值,其中,第一逻辑回归模型基于多组第一样本数据进行机器学习得到,第一样本数据包括样本服务器的配置参数和样本服务器的特征值;根据服务器的特征值与预设的服务器特征值集合,确定服务器的第一类型。
可选的,上述处理器还可以执行如下步骤的程序代码:根据服务器的配置参数,为服务器进行分类,得到服务器的第一类型,还包括:使用随机森林算法为服务器的配置参数分类,得到服务器配置参数的第二类型;将服务器的配置参数以及第二类型输入预先训练的第二逻辑回归模型,得到服务器的特征值,其中,第二逻辑回归模型基于多组第二样本数据进行机器学习得到,第二样本数据包括样本服务器的配置参数、样本服务器的配置参数的第二类型以及样本服务器的特征值。
可选的,上述处理器还可以执行如下步骤的程序代码:根据第一部署规划信息,将待部署系统和待部署组件部署在服务器中,包括:将待部署系统和待部署组件分别容器化,得到多个容器;根据第一部署规划信息,将多个容器分别部署到服务器中。
可选的,上述处理器还可以执行如下步骤的程序代码:将服务器的配置参数、待部署系统、待部署组件以及第一部署规划信息存储在数据库中,其中,数据库为容器化后的数据库容器;在服务器中包括大数据集群的情况下,将数据库中的数据上传到大数据集群中。
可选的,上述处理器还可以执行如下步骤的程序代码:扫描服务器,确定服务器中是否已部署第一组件,其中,第一组件为待部署组件之一;在服务器中已部署第一组件的情况下,根据服务器的配置参数、待部署系统和第二组件,生成第二部署规划信息,其中,第二部署规划信息用于部署待部署系统和第二组件,第二组件为待部署组件中尚未部署在服务器中的组件;根据第二部署规划信息,将待部署系统和第二组件部署在服务器中。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种计算机可读存储介质。可选地,在本实施例中,上述计算机可读存储介质可以用于保存上述实施例1所提供的部署系统的方法所执行的程序代码。
可选地,在本实施例中,上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:获取服务器的配置参数;根据服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,其中,第一部署规划信息用于部署待部署系统和待部署组件;根据第一部署规划信息,将待部署系统和待部署组件部署在服务器中。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:根据服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,包括:根据服务器的配置参数,为服务器进行分类,得到服务器的第一类型;获取预设的部署规划模板,其中,预设的部署规划模板与第一类型对应;根据待部署系统、待部署组件及部署规划模板,生成第一部署规划信息。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:根据服务器的配置参数,为服务器进行分类,得到服务器的第一类型,包括:将服务器的配置参数输入预先训练的第一逻辑回归模型,得到服务器的特征值,其中,第一逻辑回归模型基于多组第一样本数据进行机器学习得到,第一样本数据包括样本服务器的配置参数和样本服务器的特征值;根据服务器的特征值与预设的服务器特征值集合,确定服务器的第一类型。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:根据服务器的配置参数,为服务器进行分类,得到服务器的第一类型,还包括:使用随机森林算法为服务器的配置参数分类,得到服务器配置参数的第二类型;将服务器的配置参数以及第二类型输入预先训练的第二逻辑回归模型,得到服务器的特征值,其中,第二逻辑回归模型基于多组第二样本数据进行机器学习得到,第二样本数据包括样本服务器的配置参数、样本服务器的配置参数的第二类型以及样本服务器的特征值。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:根据第一部署规划信息,将待部署系统和待部署组件部署在服务器中,包括:将待部署系统和待部署组件分别容器化,得到多个容器;根据第一部署规划信息,将多个容器分别部署到服务器中。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:将服务器的配置参数、待部署系统、待部署组件以及第一部署规划信息存储在数据库中,其中,数据库为容器化后的数据库容器;在服务器中包括大数据集群的情况下,将数据库中的数据上传到大数据集群中。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:扫描服务器,确定服务器中是否已部署第一组件,其中,第一组件为待部署组件之一;在服务器中已部署第一组件的情况下,根据服务器的配置参数、待部署系统和第二组件,生成第二部署规划信息,其中,第二部署规划信息用于部署待部署系统和第二组件,第二组件为待部署组件中尚未部署在服务器中的组件;根据第二部署规划信息,将待部署系统和第二组件部署在服务器中。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种部署系统的方法,其特征在于,包括:
获取服务器的配置参数;
根据所述服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,其中,所述第一部署规划信息用于部署所述待部署系统和所述待部署组件;
根据所述第一部署规划信息,将所述待部署系统和所述待部署组件部署在所述服务器中。
2.根据权利要求1所述的方法,其特征在于,根据所述服务器的配置参数、所述待部署系统和所述待部署组件,生成第一部署规划信息,包括:
根据所述服务器的配置参数,为所述服务器进行分类,得到所述服务器的第一类型;
获取预设的部署规划模板,其中,所述预设的部署规划模板与所述第一类型对应;
根据所述待部署系统、所述待部署组件及所述部署规划模板,生成所述第一部署规划信息。
3.根据权利要求2所述的方法,其特征在于,根据所述服务器的配置参数,为所述服务器进行分类,得到所述服务器的第一类型,包括:
将所述服务器的配置参数输入预先训练的第一逻辑回归模型,得到所述服务器的特征值,其中,所述第一逻辑回归模型基于多组第一样本数据进行机器学习得到,所述第一样本数据包括样本服务器的配置参数和所述样本服务器的特征值;
根据所述服务器的特征值与预设的服务器特征值集合,确定所述服务器的所述第一类型。
4.根据权利要求2所述的方法,其特征在于,根据所述服务器的配置参数,为所述服务器进行分类,得到所述服务器的第一类型,还包括:
使用随机森林算法为所述服务器的配置参数分类,得到所述服务器配置参数的第二类型;
将所述服务器的配置参数以及所述第二类型输入预先训练的第二逻辑回归模型,得到所述服务器的特征值,其中,所述第二逻辑回归模型基于多组第二样本数据进行机器学习得到,所述第二样本数据包括样本服务器的配置参数、所述样本服务器的配置参数的第二类型以及所述样本服务器的特征值。
5.根据权利要求1所述的方法,其特征在于,根据所述第一部署规划信息,将所述待部署系统和所述待部署组件部署在所述服务器中,包括:
将所述待部署系统和所述待部署组件分别容器化,得到多个容器;
根据所述第一部署规划信息,将所述多个容器分别部署到所述服务器中。
6.根据权利要求1所述的方法,其特征在于,还包括:
将所述服务器的配置参数、所述待部署系统、所述待部署组件以及所述第一部署规划信息存储在数据库中,其中,所述数据库为容器化后的数据库容器;
在所述服务器中包括大数据集群的情况下,将所述数据库中的数据上传到所述大数据集群中。
7.根据权利要求1所述的方法,其特征在于,还包括:
扫描所述服务器,确定所述服务器中是否已部署第一组件,其中,所述第一组件为所述待部署组件之一;
在所述服务器中已部署所述第一组件的情况下,根据所述服务器的配置参数、所述待部署系统和第二组件,生成第二部署规划信息,其中,所述第二部署规划信息用于部署所述待部署系统和所述第二组件,所述第二组件为所述待部署组件中尚未部署在所述服务器中的组件;
根据所述第二部署规划信息,将所述待部署系统和所述第二组件部署在所述服务器中。
8.一种部署系统的装置,其特征在于,包括:
获取模块,用于获取服务器的配置参数;
生成模块,用于根据所述服务器的配置参数、待部署系统和待部署组件,生成第一部署规划信息,其中,所述第一部署规划信息用于部署所述待部署系统和所述待部署组件;
部署模块,用于根据所述第一部署规划信息,将所述待部署系统和所述待部署组件部署在所述服务器中。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的部署系统的方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的部署系统的方法。
CN202110675243.5A 2021-06-17 2021-06-17 部署系统的方法、装置、计算机可读存储介质及处理器 Active CN113435489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110675243.5A CN113435489B (zh) 2021-06-17 2021-06-17 部署系统的方法、装置、计算机可读存储介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110675243.5A CN113435489B (zh) 2021-06-17 2021-06-17 部署系统的方法、装置、计算机可读存储介质及处理器

Publications (2)

Publication Number Publication Date
CN113435489A true CN113435489A (zh) 2021-09-24
CN113435489B CN113435489B (zh) 2023-08-01

Family

ID=77756443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110675243.5A Active CN113435489B (zh) 2021-06-17 2021-06-17 部署系统的方法、装置、计算机可读存储介质及处理器

Country Status (1)

Country Link
CN (1) CN113435489B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115664862A (zh) * 2022-12-27 2023-01-31 深圳市四格互联信息技术有限公司 安全基线扫描方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107896162A (zh) * 2017-11-08 2018-04-10 平安科技(深圳)有限公司 监控系统的部署方法、 装置、 计算机设备及存储介质
CN112416369A (zh) * 2020-11-29 2021-02-26 中国科学院电子学研究所苏州研究院 一种面向异构混合环境的智能化部署方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107896162A (zh) * 2017-11-08 2018-04-10 平安科技(深圳)有限公司 监控系统的部署方法、 装置、 计算机设备及存储介质
CN112416369A (zh) * 2020-11-29 2021-02-26 中国科学院电子学研究所苏州研究院 一种面向异构混合环境的智能化部署方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115664862A (zh) * 2022-12-27 2023-01-31 深圳市四格互联信息技术有限公司 安全基线扫描方法、装置及存储介质
CN115664862B (zh) * 2022-12-27 2023-05-26 深圳市四格互联信息技术有限公司 安全基线扫描方法、装置及存储介质

Also Published As

Publication number Publication date
CN113435489B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN106020930B (zh) 一种基于应用容器的应用管理方法及系统
CN110598110B (zh) 业务推送方法和装置
CN112099917B (zh) 调控系统容器化应用运行管理方法、系统、设备及介质
CN106407757A (zh) 数据库的访问权限处理方法、装置及系统
CN113435489A (zh) 部署系统的方法、装置、计算机可读存储介质及处理器
CN112202879A (zh) 中间件管理方法、装置、电子设备和存储介质
CN116680040A (zh) 一种容器处理方法、装置、设备、存储介质及程序产品
CN114816728A (zh) 一种云环境MongoDB数据库集群实例节点弹性伸缩方法和系统
CN110008006B (zh) 基于容器的大数据工具部署方法及系统
CN115203709B (zh) 安全指标验证系统的构建方法、装置、计算机设备及介质
CN107623705A (zh) 基于视频云存储系统的存储模式升级方法、装置和系统
CN115022198B (zh) 资源信息获取方法、设备及存储介质
CN110377568A (zh) 一种元数据采集方法及装置
CN110858846A (zh) 资源配置方法、装置和存储介质
CN115809292A (zh) 数据处理方法、装置、设备及介质
WO2022126646A9 (en) Automated platform for managing, deploying and orchestrating highly distributed service applications
CN114564210A (zh) 一种副本部署方法、装置、系统、电子设备及存储介质
CN110417736B (zh) 银行跨隔离区软件发布方法、装置及计算机可读存储介质
CN112468337A (zh) 车联网微服务的部署方法、装置、设备及存储介质
CN113568708B (zh) 平台创建方法、装置及设备
CN112817635B (zh) 一种模型处理方法和数据处理系统
CN111338752B (zh) 容器调整方法及装置
CN109104499A (zh) 一种会话建立方法、装置、设备和存储介质
CN115658606B (zh) 文件处理方法和装置、存储介质及电子装置
CN112765176B (zh) 一种微服务模式下属性扩展方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant