CN111158872A - 一种提交并守护spark任务的方法及装置 - Google Patents

一种提交并守护spark任务的方法及装置 Download PDF

Info

Publication number
CN111158872A
CN111158872A CN201911291724.5A CN201911291724A CN111158872A CN 111158872 A CN111158872 A CN 111158872A CN 201911291724 A CN201911291724 A CN 201911291724A CN 111158872 A CN111158872 A CN 111158872A
Authority
CN
China
Prior art keywords
spark
task
monitoring
guarding
submitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911291724.5A
Other languages
English (en)
Other versions
CN111158872B (zh
Inventor
付少波
喻波
王志海
董爱华
安鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wondersoft Technology Co Ltd
Original Assignee
Beijing Wondersoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wondersoft Technology Co Ltd filed Critical Beijing Wondersoft Technology Co Ltd
Priority to CN201911291724.5A priority Critical patent/CN111158872B/zh
Publication of CN111158872A publication Critical patent/CN111158872A/zh
Application granted granted Critical
Publication of CN111158872B publication Critical patent/CN111158872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种提交交守护spark任务的方法及装置，方法包括：部署及装置Docker集群环境；基于Docker集群安装部署Spark集群，并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务；应用程序微服务部署服务器，为该服务器配置Spark监听微服务的访问地址；应用程序控制台配置需要提交的spark任务的参数信息，调用请求提交spark任务；所述应用程序微服务通过Spring Clound的Feign调用Spark监听微服务，传递参数信息给所述Spark监听微服务；所述Spark监听微服务调用SparkLauncher提交所述spark任务，并通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护。根据本发明的方案，解决了当spark集群和提交spark任务的应用程序不在同一台机器上时提交spark任务困难的问题。

Description

一种提交并守护spark任务的方法及装置
技术领域
本发明涉及分布式系统领域，尤其涉及一种提交并守护spark任务的方法及装置。
背景技术
目前，随着各行业对数据的重视程度的日益加深，分布式系统广泛用于解决大数据的使用问题。
Docker是一个开源的应用容器引擎，针对于很多基于Docker部署的系统来说，应用系统是单独部署在容器中的，spark集群一般也是单独部署在多个容器中的。现有技术中可以使用命令行的方式提交spark任务，也可以使用spark提供的SparkLauncher提交spark任务，即在spark内部通过提交任务的方式，在spark集群中执行需要提交任务的程序或命令。虽然各个容器之间可以通过网络互通，但对于SparkLauncher提交spark任务这种实现方式来说，需要调用spark容器中的脚本，但这个脚本在应用系统容器中是不可见的，即现有的基于Docker部署的微服务系统中的应用系统微服务容器与spark集群容器之间不能提交spark任务。
现有技术的缺点是无论使用命令行的方式提交spark任务，还是使用spark提供的SparkLauncher提交任务，都需要在spark所在集群机器上提交任务，但大部分系统部署一般不会将应用系统和spark集群部署在同一台机器上，因此，现有技术实现由应用系统提交spark任务非常困难，即在需要提交spark任务的应用系统与spark集群没有部署在同一台服务器时，spark任务的提交存在困难。
发明内容
为解决上述技术问题，本发明提出了一种提交并守护spark任务的方法及装置，所述方法及装置，用以解决现有技术中需要提交spark任务的应用系统与spark集群没有部署在同一台服务器时，spark任务的提交存在困难的技术问题。
根据本发明的第一方面，提供一种提交并守护spark任务的方法，所述方法基于Docker及Spring Clound实现SparkLauncher提交并守护spark任务，包括以下步骤：
步骤S101：部署及装置Docker集群环境；
步骤S102：基于Docker集群安装部署Spark集群，并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务；
步骤S103：应用程序微服务部署服务器，为该服务器配置Spark监听微服务的访问地址；
步骤S104：应用程序控制台配置需要提交的spark任务的参数信息，调用请求提交spark任务；
步骤S105：所述应用程序微服务通过Spring Clound的Feign调用Spark监听微服务，传递参数信息给所述Spark监听微服务；
步骤S106：所述Spark监听微服务调用SparkLauncher提交所述spark任务，并通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护。
进一步地，所述步骤S103“应用程序微服务”，是在Spark环境系统中部署的java应用程序微服务。
进一步地，所述步骤S105“传递参数信息给所述Spark监听微服务”，包括解析Spark服务目录以及提交的spark任务的参数信息。
进一步地，所述步骤S106“通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护”，由Spark守护应用程序启动任务监听线程，监听提交的Spark任务，如果Spark任务异常停止，则监听线程重新启动所述Spark任务，实现对Spark节点、任务的守护。
根据本发明第二方面，提供一种提交并守护spark任务的装置，所述装置基于Docker及Spring Clound实现SparkLauncher提交并守护spark任务，所述装置包括：
部署Docker集群模块：部署及装置Docker集群环境；
部署Spark监控与提交任务微服务模块：基于Docker集群安装部署Spark集群，并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务；
配置Spark监听微服务模块：用于由应用程序微服务部署服务器，为该服务器配置Spark监听微服务的访问地址；
第一调用模块：用于由应用程序控制台配置需要提交的spark任务的参数信息，调用请求提交spark任务；
第二调用模块：用于由所述应用程序微服务通过Spring Clound的Feign调用Spark监听微服务，传递参数信息给所述Spark监听微服务；
监听及守护模块：用于由所述Spark监听微服务调用SparkLauncher提交所述spark任务，并通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护。
进一步地，所述配置Spark监听微服务模块是在Spark环境系统中部署的java应用程序微服务。
进一步地，所述第二调用模块，还用于解析Spark服务目录以及提交的spark任务的参数信息。
进一步地，所述监听及守护模块，还用于由Spark守护应用程序启动任务监听线程，监听提交的Spark任务，如果Spark任务异常停止，则监听线程重新启动所述Spark任务，实现对Spark节点、任务的守护。
根据本发明第三方面，提供一种提交并守护spark任务的系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的提交并守护spark任务的方法。
根据本发明第四方面，提供一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的提交并守护spark任务的方法。
根据本发明的上述方案，通过采用在Spark环境系统中部署java应用程序微服务，需求提交的spark任务通过Spring Cloud提供Feign调用Spark环境中部署的java应用程序微服务，传递需要启动的spark任务的启动参数等信息，实现Spark环境中部署的java应用程序调用SparkLauncher提交Spark任务。解决了当spark集群和提交spark任务的应用程序不在同一台机器上时提交spark任务困难的问题；本发明的方案中spark守护应用提供能对spark任务的守护功能，监听所有spark任务，如果spark任务异常停止则重新启动spark任务。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供如下附图进行说明。在附图中：
图1为本发明一个实施方式的提交并守护spark任务的方法流程图；
图2为本发明一个实施方式的提交并守护spark任务的总体方法示意图；
图3为本发明一个实施方式的提交并守护Spark任务的方法实现过程示意图；
图4为本发明一个实施方式的提交并守护spark任务的装置结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
定义：
Docker：Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任务流行的Linux或Windows机器上，也可以实现虚拟化。容器完全使用沙箱机制，相互之间没有任何接口。
Spring Cloud：Spring Cloud是一系列框架的有序集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，例如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用Spring Boot的开发风格做到一键启动和部署。Spring Cloud并没有重复制造轮子，它只是将目前各家公司开发的比较成熟、经得起实际考验的服务框架组合起来，通过Spring Boot风格进行再封装屏蔽掉了复杂的配置和实现原理，最终给开发者留出了一套简单易懂、易部署和易维护的分布式系统开发工具包。
SparkLauncher：spark提供的一种提交spark任务的方式，有两种方式提交spark任务，一种是调用SparkLauncher实例的startApplication方法，另一种是调用SparkLauncher.lanunch()方法。
首先结合图1说明为本发明一个实施方式的提交并守护spark任务的方法流程图。如图1所示，所述方法基于Docker及Spring Clound实现SparkLauncher提交并守护spark任务，包括以下步骤：
步骤S101：部署及装置Docker集群环境；
步骤S102：基于Docker集群安装部署Spark集群，并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务；
步骤S103：应用程序微服务部署服务器，为该服务器配置Spark监听微服务的访问地址；
步骤S104：应用程序控制台配置需要提交的spark任务的参数信息，调用请求提交spark任务；
步骤S105：所述应用程序微服务通过Spring Clound的Feign调用Spark监听微服务，传递参数信息给所述Spark监听微服务；
步骤S106：所述Spark监听微服务调用SparkLauncher提交所述spark任务，并通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护。
图2为本发明一个实施方式的提交并守护spark任务的总体方法示意图，如图2所示：
可选地，所述步骤S103“应用程序微服务”是在Spark环境系统中部署的java应用程序微服务。
可选地，所述步骤S105“传递参数信息给所述Spark监听微服务”包括解析Spark服务目录以及提交的spark任务的参数信息。
可选地，所述步骤S106“通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护”，由Spark守护应用程序启动任务监听线程，监听提交的Spark任务，如果Spark任务异常停止，则监听线程重新启动所述Spark任务，实现对Spark节点、任务的守护。
本申请通过采用在Spark环境系统中部署java应用程序微服务，需求提交的spark任务通过Spring Cloud提供Feign调用Spark环境中部署的java应用程序微服务，传递需要启动的spark任务的启动参数等信息，实现Spark环境中部署的java应用程序调用SparkLauncher提交Spark任务。
以下结合实施例进一步说明本发明的提交并守护Spark任务的方法。
在安全集中监控与审计系统中应用该方法。用户通过浏览器配置指标、规则、策略需要提交的Spark任务参数，应用程序通过Feign调用提交Spark守护应用程序接口，Spark守护应用程序解析参数信息，调用SparkLauncher提交Spark任务到Spark集群中，并且Spark守护应用程序启动任务监听线程，监听提交的Spark任务，如果Spark任务异常停止，则监听线程重新启动所述Spark任务，实现对Spark节点、任务的守护。
以下结合另一实施例进一步说明本发明的提交并守护Spark任务的方法。结合图3说明本发明的提交并守护Spark任务的方法。如图3所示：
步骤S301：用户登录应用程序，配置指标、规则、策略信息；
步骤S302：策略页面点击启动按钮，构造的所述指标、规则、策略信息通过Feign调用Spark守护应用程序；
步骤S303：所述Spark守护应用程序解析参数信息，并解析Spark环境参数信息；
步骤S304：Spark守护应用调用SparkLauncher提交Spark任务到Spark集群；
步骤S305：所述Spark守护应用启动任务监控线程，监控当前提交的Spark任务的心跳状态是否停止，如果停止则重新启动异常停止的任务。
本发明实施例进一步给出一种提交并守护spark任务的装置，如图4所示，所述装置基于Docker及Spring Clound实现SparkLauncher提交并守护spark任务，所述装置包括：
部署Docker集群模块：部署及装置Docker集群环境；
部署Spark监控与提交任务微服务模块：基于Docker集群安装部署Spark集群，并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务；
配置Spark监听微服务模块：用于由应用程序微服务部署服务器，为该服务器配置Spark监听微服务的访问地址；
第一调用模块：用于由应用程序控制台配置需要提交的spark任务的参数信息，调用请求提交spark任务；
第二调用模块：用于由所述应用程序微服务通过Spring Clound的Feign调用Spark监听微服务，传递参数信息给所述Spark监听微服务；
监听及守护模块：用于由所述Spark监听微服务调用SparkLauncher提交所述spark任务，并通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护。
本发明实施例进一步给出一种提交并守护spark任务的系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的提交并守护spark任务的方法。
本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的提交并守护spark任务的方法。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种提交并守护spark任务的方法，其特征在于，所述方法基于Docker及SpringClound实现SparkLauncher提交并守护spark任务，包括以下步骤：
步骤S101：部署及装置Docker集群环境；
步骤S102：基于Docker集群安装部署Spark集群，并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务；
步骤S103：应用程序微服务部署服务器，为该服务器配置Spark监听微服务的访问地址；
步骤S104：应用程序控制台配置需要提交的spark任务的参数信息，调用请求提交spark任务；
步骤S105：所述应用程序微服务通过Spring Clound的Feign调用Spark监听微服务，传递参数信息给所述Spark监听微服务；
步骤S106：所述Spark监听微服务调用SparkLauncher提交所述spark任务，并通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护。
2.如权利要求1所述的提交并守护spark任务的方法，其特征在于，所述步骤S103“应用程序微服务”，是在Spark环境系统中部署的java应用程序微服务。
3.如权利要求1所述的提交并守护spark任务的方法，其特征在于，所述步骤S105“传递参数信息给所述Spark监听微服务”，包括解析Spark服务目录以及提交的spark任务的参数信息。
4.如权利要求1所述的提交并守护spark任务的方法，其特征在于，所述步骤S106“通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护”，由Spark守护应用程序启动任务监听线程，监听提交的Spark任务，如果Spark任务异常停止，则监听线程重新启动所述Spark任务，实现对Spark节点、任务的守护。
5.一种提交并守护spark任务的装置，其特征在于，所述装置基于Docker及SpringClound实现SparkLauncher提交并守护spark任务，所述装置包括：
部署Docker集群模块：部署及装置Docker集群环境；
部署Spark监控与提交任务微服务模块：基于Docker集群安装部署Spark集群，并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务；
配置Spark监听微服务模块：用于由应用程序微服务部署服务器，为该服务器配置Spark监听微服务的访问地址；
第一调用模块：用于由应用程序控制台配置需要提交的spark任务的参数信息，调用请求提交spark任务；
第二调用模块：用于由所述应用程序微服务通过Spring Clound的Feign调用Spark监听微服务，传递参数信息给所述Spark监听微服务；
监听及守护模块：用于由所述Spark监听微服务调用SparkLauncher提交所述spark任务，并通过监听线程监听Spark节点心跳状态，保持对Spark节点的守护。
6.如权利要求5所述的提交并守护spark任务的装置，其特征在于，所述配置Spark监听微服务模块是在Spark环境系统中部署的java应用程序微服务。
7.如权利要求5所述的提交并守护spark任务的装置，其特征在于，所述第二调用模块，还用于解析Spark服务目录以及提交的spark任务的参数信息。
8.如权利要求5所述的提交并守护spark任务的装置，其特征在于，所述监听及守护模块，还用于由Spark守护应用程序启动任务监听线程，监听提交的Spark任务，如果Spark任务异常停止，则监听线程重新启动所述Spark任务，实现对Spark节点、任务的守护。
9.一种提交并守护spark任务的系统，其特征在于，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如权利要求1-4之任一项所述的提交并守护spark任务的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-4之任一项所述的提交并守护spark任务的方法。
CN201911291724.5A 2019-12-16 2019-12-16 一种提交并守护spark任务的方法及装置 Active CN111158872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911291724.5A CN111158872B (zh) 2019-12-16 2019-12-16 一种提交并守护spark任务的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911291724.5A CN111158872B (zh) 2019-12-16 2019-12-16 一种提交并守护spark任务的方法及装置

Publications (2)

Publication Number Publication Date
CN111158872A true CN111158872A (zh) 2020-05-15
CN111158872B CN111158872B (zh) 2023-06-16

Family

ID=70557229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911291724.5A Active CN111158872B (zh) 2019-12-16 2019-12-16 一种提交并守护spark任务的方法及装置

Country Status (1)

Country Link
CN (1) CN111158872B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114328130A (zh) * 2022-03-03 2022-04-12 深圳市明源云科技有限公司 服务器监控方法、系统、设备及计算机可读存储介质
CN115529306A (zh) * 2022-07-22 2022-12-27 四川启睿克科技有限公司 一种基于springboot的spark jar包远程提交方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569789A (zh) * 2015-10-13 2017-04-19 北京国双科技有限公司 任务提交的方法和装置
CN106790483A (zh) * 2016-12-13 2017-05-31 武汉邮电科学研究院 基于容器技术的Hadoop集群系统及快速构建方法
CN107562472A (zh) * 2017-08-24 2018-01-09 四川长虹电器股份有限公司 基于docker容器的微服务系统及方法
CN107977260A (zh) * 2017-11-23 2018-05-01 北京神州泰岳软件股份有限公司 任务提交方法及装置
CN108038051A (zh) * 2017-11-03 2018-05-15 深圳市牛鼎丰科技有限公司 微服务的发布方法、装置、计算机设备和存储介质
CN108334410A (zh) * 2018-01-26 2018-07-27 福建星瑞格软件有限公司 一种分布式应用程序客户端轻量化方法以及计算机设备
US20190007495A1 (en) * 2016-05-18 2019-01-03 EMC IP Holding Company LLC Data processing and data movement in cloud computing environment
CN109814909A (zh) * 2019-01-18 2019-05-28 南京绿新能源研究院有限公司 基于Spring cloud微服务架构云化SCADA系统的方法
CN110134455A (zh) * 2019-04-12 2019-08-16 平安医疗健康管理股份有限公司 一种应用管理系统及方法
CN110321152A (zh) * 2019-07-04 2019-10-11 青岛华正信息技术股份有限公司 一种软件开发平台
CN110414849A (zh) * 2019-07-31 2019-11-05 广东电网有限责任公司 一种面向用户的综合能源系统智能信息交互平台
CN110471777A (zh) * 2019-06-27 2019-11-19 中国科学院计算机网络信息中心 一种Python-Web环境中多用户共享使用Spark集群的实现方法和系统
CN110543296A (zh) * 2019-08-26 2019-12-06 成都市知用科技有限公司 一种智慧校园微服务平台架构体系

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569789A (zh) * 2015-10-13 2017-04-19 北京国双科技有限公司 任务提交的方法和装置
US20190007495A1 (en) * 2016-05-18 2019-01-03 EMC IP Holding Company LLC Data processing and data movement in cloud computing environment
CN106790483A (zh) * 2016-12-13 2017-05-31 武汉邮电科学研究院 基于容器技术的Hadoop集群系统及快速构建方法
CN107562472A (zh) * 2017-08-24 2018-01-09 四川长虹电器股份有限公司 基于docker容器的微服务系统及方法
CN108038051A (zh) * 2017-11-03 2018-05-15 深圳市牛鼎丰科技有限公司 微服务的发布方法、装置、计算机设备和存储介质
CN107977260A (zh) * 2017-11-23 2018-05-01 北京神州泰岳软件股份有限公司 任务提交方法及装置
CN108334410A (zh) * 2018-01-26 2018-07-27 福建星瑞格软件有限公司 一种分布式应用程序客户端轻量化方法以及计算机设备
CN109814909A (zh) * 2019-01-18 2019-05-28 南京绿新能源研究院有限公司 基于Spring cloud微服务架构云化SCADA系统的方法
CN110134455A (zh) * 2019-04-12 2019-08-16 平安医疗健康管理股份有限公司 一种应用管理系统及方法
CN110471777A (zh) * 2019-06-27 2019-11-19 中国科学院计算机网络信息中心 一种Python-Web环境中多用户共享使用Spark集群的实现方法和系统
CN110321152A (zh) * 2019-07-04 2019-10-11 青岛华正信息技术股份有限公司 一种软件开发平台
CN110414849A (zh) * 2019-07-31 2019-11-05 广东电网有限责任公司 一种面向用户的综合能源系统智能信息交互平台
CN110543296A (zh) * 2019-08-26 2019-12-06 成都市知用科技有限公司 一种智慧校园微服务平台架构体系

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
天海行者: "spark任务提交", 《HTTPS://BLOG.CSDN.NET/MA969070578/ARTICLE/DETAILS/85067865》 *
熊凯: "基于Spring Cloud的培训商务系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114328130A (zh) * 2022-03-03 2022-04-12 深圳市明源云科技有限公司 服务器监控方法、系统、设备及计算机可读存储介质
CN114328130B (zh) * 2022-03-03 2022-08-12 深圳市明源云科技有限公司 服务器监控方法、系统、设备及计算机可读存储介质
CN115529306A (zh) * 2022-07-22 2022-12-27 四川启睿克科技有限公司 一种基于springboot的spark jar包远程提交方法
CN115529306B (zh) * 2022-07-22 2024-05-17 四川启睿克科技有限公司 一种基于springboot的spark jar包远程提交方法

Also Published As

Publication number Publication date
CN111158872B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN111338854B (zh) 基于Kubernetes集群快速恢复数据的方法及系统
EP3082314B1 (en) Resource management method and apparatus
EP2816467B1 (en) Method and device for checkpoint and restart of container state
JP2021529386A (ja) オンデマンドネットワークコード実行システム上での補助機能の実行
CN113296792B (zh) 存储方法、装置、设备、存储介质和系统
EP2838228B1 (en) Alarm correlation analysis method, apparatus, and system
US9292278B2 (en) Providing high availability for state-aware applications
CN111090823B (zh) 一种页面应用的集成系统以及应用访问方法、装置和设备
CN104954411A (zh) 分布式系统共享网络资源的方法、终端及系统
CN112698929B (zh) 一种信息采集方法及装置
CN111158872A (zh) 一种提交并守护spark任务的方法及装置
CN111857951A (zh) 容器化部署平台及部署方法
CN105357042A (zh) 一种高可用集群系统及其主节点和从节点
CN115454636A (zh) 一种容器云平台gpu资源调度方法、装置及应用
CN113672368A (zh) 任务调度方法及系统
CN106293945A (zh) 一种跨虚拟机的资源感知方法及系统
CN111147600B (zh) 集群环境下的服务执行方法及终端
CN112087516A (zh) 基于Docker虚拟化技术的存储升级方法和装置
CN104657240B (zh) 多内核操作系统的失效控制方法及装置
CN117453272A (zh) 汽车软件版本管理系统
CN105787359B (zh) 进程守护方法和装置
EP4443291A1 (en) Cluster management method and device, and computing system
JP6418419B2 (ja) ハードディスクがアプリケーションコードを実行するための方法および装置
CN110162389A (zh) 应用程序的启动方法、装置和智能交互设备
CN116954810A (zh) 容器应用实例的创建方法、系统、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant