CN110941474A - Hadoop与Kubernetes系统共享计算资源的方法、系统、设备及存储介质 - Google Patents

Hadoop与Kubernetes系统共享计算资源的方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN110941474A
CN110941474A CN201811115370.4A CN201811115370A CN110941474A CN 110941474 A CN110941474 A CN 110941474A CN 201811115370 A CN201811115370 A CN 201811115370A CN 110941474 A CN110941474 A CN 110941474A
Authority
CN
China
Prior art keywords
hadoop
kubernets
image file
computing resources
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811115370.4A
Other languages
English (en)
Inventor
杨松
腾爽
李冬峰
王哲涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201811115370.4A priority Critical patent/CN110941474A/zh
Publication of CN110941474A publication Critical patent/CN110941474A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45575—Starting, stopping, suspending or resuming virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种Hadoop与Kubernetes系统共享计算资源的方法、系统、设备及存储介质。其中方法包括：获取Hadoop系统的镜像文件；将所述镜像文件加载到所述Kubernetes系统中；在所述Kubernetes系统的docker上运行所述镜像文件，以在所述Kubernetes系统上启动Hadoop服务。本发明通过加载镜像文件的方式实现了在Kubernetes系统中启动Hadoop服务，实现了利用Kubernetes系统的闲置资源运行Hadoop系统的计算任务，可以节省巨大的硬件资源采购成本，避免了为了满足Hadoop系统需要处理的数据越来越多而必须进行系统扩容，从而降低了大数据处理的成本。本发明实现了Hadoop与Kubernetes系统的计算资源的统一管理，实现了Hadoop系统相关业务运行时所需的生产环境。Hadoop系统可以利用Kubernetes系统的闲置计算资源进行海量数据计算与加工，可以降低成本。

Description

Hadoop与Kubernetes系统共享计算资源的方法、系统、设备及 存储介质
技术领域
本发明涉及分布式系统领域，特别涉及一种Hadoop(一种分布式系统)与Kubernetes(一种分布式系统)系统共享计算资源的方法、系统、设备及存储介质。
背景技术
现有的互联网网站很多采用基于Kubernetes分布式系统(简称：Kubernetes系统)构建。Kubernetes系统是基于谷歌内部的Borg(一种大规模集群管理工具)系统，提供了面向应用的容器集群部署和管理系统。能够为互联网网站的业务系统提供高效、稳定的技术服务体系。同时，互联网网站的大数据业务很多是构建在Hadoop分布式系统(简称：Hadoop系统)上，Hadoop系统是大数据业务的基石和数据载体。大数据为搜索推荐、人工智能、无界零售、人脸识别等的业务提供数据服务。Kubernetes系统和Hadoop系统是各自负责相对独立的业务。就像人的两条腿，相辅相成、相对独立。若想行走奔跑，二者必须配合协作，缺一不可。
但是，对于不同的互联网网站，根据其具体需求的不同，Kubernetes系统和Hadoop系统各自承担的业务有所不同，相应系统的运行压力在每天24小时中的分布也不相同。例如，针对具体业务的Kubernetes系统的主要压力是在白天的9点至24点之间，而在凌晨0至8点时Kubernetes系统80％的资源处于闲置状态。而Hadoop系统负责处理大数据业务，需要提供7*24小时数据服务。Hadoop系统是数据加工的流水线，每时每刻对海量数据进行清洗、转换、加工等操作，生成搜索推荐、人工智能、无界零售、人脸识别等系统所需的基础数据。但随着互联网网站业务需求的高速发展与快速扩张，大数据的Hadoop系统需要处理的数据越来越多，每年互联网网站需要花费巨额资金对现有大数据的计算、存储能力进行扩容，这必然导致成本过高。
发明内容
本发明要解决的技术问题是为了克服现有技术中随着大数据相关业务需求的高速发展与快速扩张，Hadoop系统需要处理的数据越来越多，针对现有大数据的计算、存储能力进行扩容导致成本过高的缺陷，提供一种能够利用Kubernetes系统的闲置资源运行Hadoop系统的计算任务从而能够降低针对现有大数据的计算、存储能力进行扩容的成本的Hadoop与Kubernetes系统共享计算资源的方法、系统、设备及存储介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供了一种Hadoop与Kubernetes系统共享计算资源的方法，包括：
获取Hadoop系统的镜像文件；
将所述镜像文件加载到所述Kubernetes系统中；
在所述Kubernetes系统的docker(一个开源的应用容器引擎)上运行所述镜像文件，以在所述Kubernetes系统上启动Hadoop服务。
本方案中，通过加载镜像文件的方式实现了在Kubernetes系统中启动Hadoop服务，即使得Hadoop系统的计算任务能够运行到Kubernetes系统上，Hadoop服务在Kubernetes系统上运行起来，即支持Hadoop的计算任务执行，也即实现了利用Kubernetes系统的闲置资源运行Hadoop系统的计算任务，从而能够以较低的成本满足现有的大数据相关业务需求的高速发展与快速扩张、Hadoop系统需要处理的数据越来越多的需求。本方案能够利用现有的Kubernetes系统的闲置资源运行Hadoop系统的计算任务，从而降低针对现有大数据的计算、存储能力进行扩容的成本。
较佳地，所述方法还包括：制作所述镜像文件。
本方案中，在获取Hadoop系统的镜像文件之前还包括提前根据需要制作Hadoop系统的镜像文件的步骤。本方案通过制作和加载镜像文件的方式实现了利用Kubernetes系统的闲置资源运行Hadoop系统的计算任务，可以节省巨大的硬件资源采购成本，避免了为了满足Hadoop系统需要处理的数据越来越多而必须进行系统扩容，从而降低了大数据处理的成本。
较佳地，所述制作所述镜像文件包括：
基于所述Hadoop系统的正式运行环境文件制作所述镜像文件，所述正式运行环境文件包括：hdfs-site.xml、core-site.xml、yarn-site.xml、mapred-site.xml和hadoop-env.sh。
本方案中，Hadoop系统的镜像文件是基于Hadoop正式运行环境文件制作的文件集合，具体包括Hadoop系统运行所需的核心配置文件。制作Hadoop系统的镜像文件时，建议OS(操作系统)使用ubuntu14.04(一种开源操作系统)，java(一种面向对象编程语言)环境使用openjdk7(一种开源java平台)。
较佳地，将所述镜像文件加载到所述Kubernetes系统中采用预先加载的方式。
本方案中，当镜像文件制作完成后，需要将镜像文件预先加载到Kubernetes系统中，本方案中采用预先加载，而不是实时加载的方式。原因是Hadoop系统的镜像文件很大，实时加载对网络带宽和实时性要求非常高。为保证业务所需要的即插即用的需求，本方案采用预加载的方式实现。
较佳地，所述镜像文件存储在镜像仓库中，所述Kubernetes系统从所述镜像仓库拉取所述镜像文件以实现预先加载。
本方案中，Hadoop系统的镜像文件制作完成后存储在专门的镜像仓库中，Kubernetes系统根据需要去镜像仓库拉取镜像文件。拉取过程中需要先进行身份认证，认证通过后才可以拉取镜像文件。
较佳地，所述方法还包括：
设置存储路径，以将所述Hadoop服务产生的最终结果存储至HDFS(HadoopDistributed File System，Hadoop分布式文件系统)中。
本方案中，在Kubernetes系统上启动Hadoop服务成功后，Hadoop系统的计算任务即可通过统一调度将计算任务分配到Kubernetes系统上的Hadoop服务中运行。Hadoop系统的计算任务在Kubernetes系统上启动Hadoop服务中运行与在Hadoop系统中运行的计算过程没有区别，但是本方案中，在计算结果存储的处理方式中，有如下区别：本方案中采用将计算任务中生成的中间数据、过渡数据、临时数据等非最终结果数据，存储在Kubernetes系统docker的本地存储中，占用docker本身的存储资源；计算任务的最终结果存储到Hadoop系统的HDFS中存储。以此避免Kubernetes系统资源回收后造成的数据流失。本方案中通过修改存储路径实现将运行在Kubernetes系统上的Hadoop服务产生的最终结果写入到HDFS中。
较佳地，所述方法还包括：
在所述Kubernetes系统上停止所述Hadoop服务。
本方案中，在所述Kubernetes系统上启动所述Hadoop服务后，能够根据需要在所述Kubernetes系统上停止所述Hadoop服务，以优先保证Kubernetes系统自身的应用需求，也即保证只有在Kubernetes系统具有闲置资源时才可以执行Hadoop服务的计算任务，其它时候停止Kubernetes系统中的Hadoop服务中的全部计算任务。
较佳地，所述方法还包括：
在所述Kubernetes系统上销毁所述Hadoop服务。
本方案中，在所述Kubernetes系统上启动所述Hadoop服务，以及根据需要在所述Kubernetes系统上停止所述Hadoop服务中的全部计算任务后，还能够在Kubernetes系统上销毁Hadoop服务，也即销毁所有Hadoop服务所使用的docker，将Hadoop服务使用的资源归还给Kubernetes系统。
较佳地，根据所述Kubernetes系统的资源的闲置情况定时自动在所述Kubernetes系统的docker上运行所述镜像文件、定时自动停止所述Hadoop服务以及定时自动销毁所述Hadoop服务。
本方案中，根据Kubernetes系统以及Hadoop系统具体的应用需求，能够定时自动在Kubernetes系统上启动、停止及销毁Hadoop服务。例如：每天凌晨12点时Kubernetes系统的资源是闲置的，此时在所述Kubernetes系统的docker上运行所述镜像文件，自动启动Hadoop服务。如果Kubernetes系统白天时要承载其自身的线上业务，没有闲置资源可供使用，则可以每天早晨8:30时自动停止所述Hadoop服务，即每天8:30起，通过接口获取Hadoop服务的所有活着的计算任务列表。保障在每天9点前停止Kubernetes系统中的Hadoop服务中的全部计算任务。每天9点整，自动销毁所有Hadoop服务所使用的docker，将资源归还给Kubernetes系统，以保证Kubernetes系统白天时能够承载其自身的线上业务的正常运行。
较佳地，所述将所述镜像文件加载到所述Kubernetes系统中包括：
所述Kubernetes系统启动时默认启动所述docker，在所述docker内加载所述镜像文件。
本方案中，加载的方式是，Kubernetes系统在启动时，默认会启动一个docker容器，并在此容器内加载最新的Hadoop系统的镜像文件。
较佳地，所述启动Hadoop服务包括：
启动Yarn(Yet Another Resource Negotiator，另一种资源协调者)的ResourceManager；
启动Yarn的NodeManager。
本方案中，启动功能本质上是在Kubernetes系统的docker上运行Hadoop服务对应的镜像文件，具体包括Yarn的ResourceManager的启动和Yarn的NodeManager的启动。
较佳地，所述在所述Kubernetes系统上停止所述Hadoop服务包括：
停止向所述Kubernetes系统的Hadoop服务中提交计算任务；
关闭所述Kubernetes系统中运行中的计算任务。
较佳地，所述在所述Kubernetes系统上销毁所述Hadoop服务包括：
获取全部所述Hadoop服务占用的docker的列表；
销毁所述列表中的docker，以释放所述Kubernetes系统的资源。
本发明还提供了一种Hadoop与Kubernetes系统共享计算资源的系统，包括：
获取模块，用于获取Hadoop系统的镜像文件；
加载模块，用于将所述镜像文件加载到所述Kubernetes系统中；
启动模块，用于在所述Kubernetes系统的docker上运行所述镜像文件，以在所述Kubernetes系统上启动Hadoop服务。
较佳地，所述系统还包括：
制作模块，用于制作所述镜像文件。
较佳地，所述制作模块用于基于所述Hadoop系统的正式运行环境文件制作所述镜像文件，所述正式运行环境文件包括：hdfs-site.xml、core-site.xml、yarn-site.xml、mapred-site.xml和hadoop-env.sh。
较佳地，所述加载模块用于采用预先加载的方式将所述镜像文件加载到所述Kubernetes系统中。
较佳地，所述镜像文件存储在镜像仓库中，所述加载模块用于通过所述Kubernetes系统从所述镜像仓库拉取所述镜像文件以实现预先加载。
较佳地，所述系统还包括：
存储模块，用于设置存储路径，以将所述Hadoop服务产生的最终结果存储至HDFS中。
较佳地，所述系统还包括：
停止模块，用于在所述Kubernetes系统上停止所述Hadoop服务。
较佳地，所述系统还包括：
销毁模块，用于在所述Kubernetes系统上销毁所述Hadoop服务。
较佳地，所述启动模块用于根据所述Kubernetes系统的资源的闲置情况定时自动在所述Kubernetes系统的docker上运行所述镜像文件；
所述停止模块用于根据所述Kubernetes系统的资源的闲置情况定时自动停止所述Hadoop服务；
所述销毁模块用于根据所述Kubernetes系统的资源的闲置情况定时自动销毁所述Hadoop服务。
较佳地，所述Kubernetes系统启动时默认启动所述docker，所述加载模块用于在所述docker内加载所述镜像文件。
较佳地，所述启动模块中启动Hadoop服务包括启动Yarn的ResourceManager和启动Yarn的NodeManager。
较佳地，所述停止模块包括：
停止任务提交模块，用于停止向所述Kubernetes系统的Hadoop服务中提交计算任务；
关闭任务模块，用于关闭所述Kubernetes系统中运行中的计算任务。
较佳地，所述销毁模块包括：
列表获取模块，用于获取全部所述Hadoop服务占用的docker的列表；
销毁执行模块，用于销毁所述列表中的docker，以释放所述Kubernetes系统的资源。
本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述的Hadoop与Kubernetes系统共享计算资源的方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的Hadoop与Kubernetes系统共享计算资源的方法的步骤。
本发明的积极进步效果在于：本发明提供的Hadoop与Kubernetes系统共享计算资源的方法、系统、设备及存储介质，通过加载镜像文件的方式实现了在Kubernetes系统中启动Hadoop服务，即使得Hadoop服务在Kubernetes系统上运行起来，支持Hadoop服务的计算任务的执行，也即实现了利用Kubernetes系统的闲置资源运行Hadoop系统的计算任务，可以节省巨大的硬件资源采购成本，避免了为了满足Hadoop系统需要处理的数据越来越多而必须进行系统扩容，从而降低了大数据处理的成本。本发明实现了Hadoop与Kubernetes系统的计算资源的统一管理，实现了Hadoop系统相关业务运行时所需的生产环境。Hadoop系统可以利用Kubernetes系统的闲置计算资源进行海量数据计算与加工，可以降低成本。
附图说明
图1为本发明实施例1的Hadoop与Kubernetes系统共享计算资源的方法的流程图。
图2为本发明实施例2的Hadoop与Kubernetes系统共享计算资源的系统的模块示意图。
图3为本发明实施例3的电子设备的结构示意图。
图4为基于本发明的技术构思实现的一种Hadoop与Kubernetes系统资源共享计算资源的统一运维方案的总架构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示，本实施例提供了一种Hadoop与Kubernetes系统共享计算资源的方法，包括以下步骤：
步骤101、制作Hadoop系统的镜像文件，将所述镜像文件存储至镜像仓库中。
其中，基于所述Hadoop系统的正式运行环境文件制作所述镜像文件，所述正式运行环境文件包括：hdfs-site.xml、core-site.xml、yarn-site.xml、mapred-site.xml和hadoop-env.sh。制作Hadoop系统的镜像文件时，建议OS使用ubuntu14.04，java环境使用openjdk7。
步骤102、获取所述镜像文件。
其中，所述Kubernetes系统从所述镜像仓库拉取所述镜像文件。
步骤103、采用预先加载的方式将所述镜像文件加载到所述Kubernetes系统中。
其中，所述Kubernetes系统启动时默认启动一个docker，在所述docker内加载所述镜像文件。
步骤104、在所述Kubernetes系统的docker上运行所述镜像文件，以在所述Kubernetes系统上启动Hadoop服务。
其中，具体的启动Hadoop服务的时间根据所述Kubernetes系统的资源的闲置情况决定，本实施例中采用定时自动启动的方式，每天在Kubernetes系统的资源闲置时自动启动。其中，启动功能本质上是在Kubernetes系统的docker上运行Hadoop服务对应的镜像文件，具体包括Yarn的ResourceManager的启动和Yarn的NodeManager的启动。其中，Yarn的ResourceManager的启动包括获取容器IP(网络之间互连的协议地址)、启动master(主)节点Hadoop以及启动hosts(主机)注册服务。Yarn的NodeManager的启动包括传进master的server(服务器)名、启动向master注册hostname(主机名)和IP的服务以及为了容器启动后不退出所执行的命令。
步骤105、设置存储路径，以将所述Hadoop服务产生的最终结果存储至HDFS中。
步骤106、在所述Kubernetes系统上停止所述Hadoop服务。
其中，Hadoop服务在所述Kubernetes系统上运行起来后，何时停止所述Hadoop服务由所述Kubernetes系统自身的业务需求决定，本实施例中采用定时自动停止的方式，即每天在固定时间自动停止运行在Kubernetes系统上的Hadoop服务，以保证Kubernetes系统自身要要承载的业务的正常运行。其中，停止所述Hadoop服务包括：停止向所述Kubernetes系统的Hadoop服务中提交计算任务；关闭所述Kubernetes系统中运行中的计算任务。本实施例中，具体实现时可以获取计算任务接口API(应用程序编程接口)，根据开始时间和完成时间查询正在运行的任务，也可以根据任务ID(标识号)获取任务信息。
步骤107、在所述Kubernetes系统上销毁所述Hadoop服务。
其中，在所述Kubernetes系统上停止所述Hadoop服务还需要自动销毁所有Hadoop服务所使用的docker，将资源归还给Kubernetes系统，以保证Kubernetes系统自身要要承载的业务对资源的正常使用。其中，在所述Kubernetes系统上销毁所述Hadoop服务包括：获取全部所述Hadoop服务占用的docker的列表；销毁所述列表中的docker，以释放所述Kubernetes系统的资源。
本实施例中，通过制作和加载镜像文件的方式实现了在Kubernetes系统中启动Hadoop服务，即使得Hadoop系统的计算任务能够运行到Kubernetes系统上，Hadoop服务在Kubernetes系统上运行起来，支持Hadoop的计算任务执行，也即实现了利用Kubernetes系统的闲置资源运行Hadoop系统的计算任务，从而能够以较低的成本满足现有的大数据相关业务需求的高速发展与快速扩张、Hadoop系统需要处理的数据越来越多的需求。
本实施例中，在镜像文件制作完成后，采用预先加载的方式将镜像文件预先加载到Kubernetes系统中，而不是实时加载的方式。原因是Hadoop系统的镜像文件很大，实时加载对网络带宽和实时性要求非常高。本实施例通过预加载的方式保证了业务所需要的即插即用的需求。
本实施例中，Hadoop系统的镜像文件制作完成后存储在专门的镜像仓库中，Kubernetes系统根据需要去镜像仓库拉取镜像文件。拉取过程中需要先进行身份认证，认证通过后才可以拉取镜像文件。具体包括：在命令行模式下执行docker login(一种Kubernetes的命令)，输入登录的地址、账号、密码等信息，只有在通过权限认证后，在命令行模式下执行docker pull(一种Kubernetes的命令)，才可获取镜像文件。
本实施例中，在Kubernetes系统上启动Hadoop服务成功后，Hadoop系统的计算任务即可通过统一调度将计算任务分配到Kubernetes系统上的Hadoop服务中运行。Hadoop系统的计算任务在Kubernetes系统上启动Hadoop服务中运行与在Hadoop系统中运行的计算过程没有区别，但是本实施例中，在计算结果存储的处理方式中，有如下区别：本实施例中采用将计算任务中生成的中间数据、过渡数据、临时数据等非最终结果数据，存储在Kubernetes系统docker的本地存储中，占用docker本身的存储资源；计算任务的最终结果存储到Hadoop系统的HDFS中存储。以此避免Kubernetes系统资源回收后造成的数据流失。本实施例中具体通过修改存储路径实现将运行在Kubernetes系统上的Hadoop服务产生的最终结果写入到HDFS中。
本实施例中，根据Kubernetes系统以及Hadoop系统具体的应用需求，能够定时自动在Kubernetes系统上启动、停止及销毁Hadoop服务。例如：每天凌晨12点时Kubernetes系统的资源是闲置的，此时在所述Kubernetes系统的docker上运行所述镜像文件，自动启动Hadoop服务。如果Kubernetes系统白天时要承载其自身的线上业务，没有闲置资源可供使用，则可以每天早晨8:30时自动停止所述Hadoop服务，即每天8:30起，通过接口获取Hadoop服务的所有活着的计算任务列表。保障在每天9点前停止Kubernetes系统中的Hadoop服务中的全部计算任务。每天9点整，自动销毁所有Hadoop服务所使用的docker，将资源归还给Kubernetes系统，以保证Kubernetes系统白天时能够承载其自身的线上业务的正常运行。
本实施例实现了Hadoop与Kubernetes系统的计算资源的统一管理，实现了Hadoop系统相关业务运行时所需的生产环境，利用现有的Kubernetes系统的闲置资源运行Hadoop系统的计算任务。Hadoop系统可以利用Kubernetes系统的闲置计算资源进行海量数据计算与加工，可以降低成本。
实施例2
如图2所示，本实施例提供了一种Hadoop与Kubernetes系统共享计算资源的系统，包括：
制作模块1，用于制作Hadoop系统的镜像文件，并存储至镜像仓库中。具体为，所述制作模块1用于基于所述Hadoop系统的正式运行环境文件制作所述镜像文件，所述正式运行环境文件包括：hdfs-site.xml、core-site.xml、yarn-site.xml、mapred-site.xml和hadoop-env.sh。
获取模块2，用于获取Hadoop系统的镜像文件。
加载模块3，用于将所述镜像文件加载到所述Kubernetes系统中。本实施例中，所述加载模块3用于采用预先加载的方式将所述镜像文件加载到所述Kubernetes系统中。所述加载模块3用于通过所述Kubernetes系统从所述镜像仓库拉取所述镜像文件以实现预先加载。
启动模块4，用于在所述Kubernetes系统的docker上运行所述镜像文件，以在所述Kubernetes系统上启动Hadoop服务。本实施例中，所述启动模块4用于根据所述Kubernetes系统的资源的闲置情况定时自动在所述Kubernetes系统的docker上运行所述镜像文件。所述Kubernetes系统启动时默认启动所述docker，所述加载模块3用于在所述docker内加载所述镜像文件。所述启动模块4中启动Hadoop服务包括启动Yarn的ResourceManager和启动Yarn的NodeManager。
存储模块5，用于设置存储路径，以将所述Hadoop服务产生的最终结果存储至HDFS中。
停止模块6，用于在所述Kubernetes系统上停止所述Hadoop服务。本实施例中，所述停止模块6用于根据所述Kubernetes系统的资源的闲置情况定时自动停止所述Hadoop服务。其中停止模块6包括停止任务提交模块和关闭任务模块。停止任务提交模块用于停止向所述Kubernetes系统的Hadoop服务中提交计算任务；关闭任务模块用于关闭所述Kubernetes系统中运行中的计算任务。
销毁模块7，用于在所述Kubernetes系统上销毁所述Hadoop服务。本实施例中，所述销毁模块7用于根据所述Kubernetes系统的资源的闲置情况定时自动销毁所述Hadoop服务。其中销毁模块7包括列表获取模块和销毁执行模块。列表获取模块用于获取全部所述Hadoop服务占用的docker的列表；销毁执行模块用于销毁所述列表中的docker，以释放所述Kubernetes系统的资源。
本实施例中，通过制作和加载镜像文件的方式实现了在Kubernetes系统中启动Hadoop服务，即使得Hadoop系统的计算任务能够运行到Kubernetes系统上，Hadoop服务在Kubernetes系统上运行起来，支持Hadoop的计算任务执行，也即实现了利用Kubernetes系统的闲置资源运行Hadoop系统的计算任务，从而能够以较低的成本满足现有的大数据相关业务需求的高速发展与快速扩张、Hadoop系统需要处理的数据越来越多的需求。
本实施例中，在镜像文件制作完成后，采用预先加载的方式将镜像文件预先加载到Kubernetes系统中，保证了业务所需要的即插即用的需求。
本实施例实现了Hadoop与Kubernetes系统的计算资源的统一管理，实现了Hadoop系统相关业务运行时所需的生产环境，利用现有的Kubernetes系统的闲置资源运行Hadoop系统的计算任务。Hadoop系统可以利用Kubernetes系统的闲置计算资源进行海量数据计算与加工，可以降低成本。
实施例3
图3为本发明实施例3提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1的Hadoop与Kubernetes系统共享计算资源的方法。图3显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的Hadoop与Kubernetes系统共享计算资源的方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1所提供的Hadoop与Kubernetes系统共享计算资源的方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1所述的Hadoop与Kubernetes系统共享计算资源的方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
下面继续通过具体的例子，进一步说明本发明的技术方案和技术效果。
本例子为基于本发明的技术构思实现的一种Hadoop与Kubernetes系统资源共享计算资源的统一运维方案，其中总架构如图4所示，本架构的核心目标是：使Hadoop系统的计算任务能够运行到Kubernetes系统上，最终将计算的结果存储到HDFS。具体实现步骤如下：
第一步：制作Hadoop镜像。
为了实现在Kubernetes系统的资源闲置时，将Hadoop系统的计算任务运行到Kubernetes系统容器上的目标。首先，需要制作Hadoop系统的镜像。Hadoop系统的镜像是基于Hadoop正式运行环境文件制作的文件集合，可以理解为Windows(一种操作系统)系统的镜像文件，也就是Windows的系统镜像文件。
1、Hadoop系统运行所需核心配置如下：
1)hdfs-site.xml
2)core-site.xml
3)yarn-site.xml
4)mapred-site.xml
5)hadoop-env.sh。
2、制作Hadoop系统的镜像
建议OS使用的是ubuntu14.04，java环境使用的openjdk7。
示例如下：(采用Linux命令)
FROM ubuntu:14.04
MAINTAINER zhangzy65@mail2.sysu.edu.cn
WORKDIR/root
3、产生Hadoop系统的镜像Dockerfile
示例如下：
Figure BDA0001810411260000161
Figure BDA0001810411260000171
第二步：为Kubernetes系统自动部署Hadoop系统的镜像。
当第一步的镜像制作完成后，需要将镜像预先加载到Kubernetes系统中。加载的方式是Kubernetes系统在启动时，默认会启动一个docker容器，并在此容器内加载最新的Hadoop的镜像文件。本例子中采用预先加载，而不是实时加载的方式。这样做的理由是：Hadoop系统的镜像文件很大，实时加载对网络带宽和实时性要求太高。为保证业务所需要的即插即用的需求，采用的预加载方式。
Hadoop的镜像文件存储在京东的镜像仓库中，Kubernetes系统需求去镜像仓库拉取镜像。需要进行身份认证，认证通过后才可以拉取镜像。具体方法为：
1、在命令行模式下，执行docker login，输入如下信息：
1)docker-server为通过docker login登陆时输入的地址；
2)docker-username为登陆时的账号；
3)docker-password为登陆时的密码；
4)docker-email为注册的账号时的邮箱地址。
2、通过权限认证后，在命令行模式下，执行docker pull，即可获取镜像文件。
第三步：在Kubernetes系统上启动Hadoop服务。
当镜像部署完成后，Hadoop服务已经具备了在Kubernetes系统上运行的条件，并且随时等待运行。这时即可使用统一运维系统的“启动”功能。
触发启动功能采用自动触发的方式。即：统一运维系统每天凌晨12点时，自动触发启动功能。因为只有这时京东的Kubernetes系统的资源是闲置的，才可以为Hadoop提供服务。若其他时间段启动会影响京东商城的正常运行。
启动功能本质上是在Kubernetes系统的docker上运行Hadoop的服务镜像文件，具体包括：
1)Yarn的ResourceManager启动
示例如下：
service ssh start
#获取容器IP
ip＝`ifconfig eth0|grep'inet addr'|cut-d:-f 2|cut-d”-f 1`
sed-i"s/hadoop-master/$ip/"$HADOOP_HOME/etc/hadoop/core-site.xml
sed-i"s/hadoop-master/$ip/"$HADOOP_HOME/etc/hadoop/yarn-site.xml
#启动master节点hadoop
$HADOOP_HOME/sbin/start-dfs.sh&
$HADOOP_HOME/sbin/start-yarn.sh&
#启动hosts注册服务(这个服务采用go语言撰写)
/tmp/registerServer&
/bin/gotty--port 8000--permit-write--reconnect/bin/bash
2)Yarn的NodeManager启动
示例如下：
service ssh start
#传进master的server名
sed-i"s/hadoop-master/$1/"$HADOOP_HOME/etc/hadoop/core-site.xml
sed-i"s/hadoop-master/$1/"$HADOOP_HOME/etc/hadoop/yarn-site.xml
#启动NodeManager和DataNode服务
/usr/local/hadoop/sbin/hadoop-daemon.sh start datanode&
/usr/local/hadoop/sbin/yarn-daemon.sh start nodemanager&
#启动向master注册hostname和IP的服务
/tmp/registerClient$1
#为了容器启动后不退出(如果脚本执行完，容器就结束了)
tail-f/dev/null
至此Hadoop的服务已经在Kubernetes系统上运行起来，可以支持Hadoop的计算任务执行。运行原理同Hadoop系统的运行原理，其中container为Hadoop系统所使用的容器。
第四步：在Kubernetes系统上计算与存储。
当第三步在Kubernetes系统上启动Hadoop服务成功后，Hadoop系统的计算任务即可通过“统一调度系统”将计算任务(即：job)分配到Kubernetes系统上的Hadoop服务运行。本领域技术人员可以根据公知常识实现“统一调度系统”，实现方式根据需要多种多样，为现有技术，在此不再赘述。
Hadoop的计算任务在Kubernetes系统上启动Hadoop服务中运行与在Hadoop系统中运行计算过程没有区别。但是在计算结果存储的处理方式中，有如下区别：
1)计算任务中生成的中间数据、过渡数据、临时数据、log(日志)等非最终结果数据，存储在Kubernetes系统docker的本地存储中，占用的docker本身的存储资源。
2)计算任务的最终结果需要存储到Hadoop系统HDFS中存储并保持。避免Kubernetes系统资源回收后造成的数据流失。
关于Hadoop系统的HDFS数据写入，本例子只是修改了存储路径，并没有进行其他修改。
第五步：在Kubernetes系统上停止Hadoop服务。
由于Kubernetes系统白天时要承载京东商城的线上业务，没有闲置资源可供使用。每天早晨8:30时，统一运维系统会自动触发“停止”功能。
每天8:30天起，统一运维系统会从接口Hadoop服务的获取所有活着的计算任务列表。最终保障在每天9:00点前停止Kubernetes的Hadoop服务中全部计算任务。
具体方法如下：
1.停止向Kubernetes系统的Hadoop服务中提交计算任务。
2.获取计算任务接口API，如下：
1)所有任务http://*/ws/v1/cluster/apps
2)查询正在运行的任务
http://*/ws/v1/cluster/apps？states＝RUNNING
3)根据开始时间和完成时间，任务状态查询任务
http://*/ws/v1/cluster/apps？startedTimeBegin＝开始时间&finishedTimeEnd＝结束时间&state＝FAILED
4)根据jobid获取任务信息
http://*/ws/v1/cluster/apps/application_jobID
3.关闭全部运行中的计算任务
1)查看正在运行的Hadoop任务：hadoop job-list
2)关闭Hadoop任务进程：hadoop job-kill$jobId。
第六步：在Kubernetes系统上销毁Hadoop服务。
每天9点整，统一运维系统向Kubernetes系统自动触发“销毁”功能。
销毁所有Hadoop服务所使用的docker，将资源归还给Kubernetes系统。
具备方法包括：
1.获取全部Hadoop服务占用的docker列表
示例如下：
Figure BDA0001810411260000211
2.销毁列表中docker，释放资源
示例如下：
[root@ku8-1 tmp]#kubectl delete pods sonarqube-1880671902-s3fdq
pod"sonarqube-1880671902-s3fdq"deleted
[root@ku8-1 tmp]#
3.确认结果
示例如下：
Figure BDA0001810411260000212
通过上述6个步骤，本例子实现了一种Hadoop与Kubernetes系统资源共享计算资源的统一运维方案，实现了大数据Hadoop系统可以在凌晨0至9点期间，利用Kubernetes系统闲置的资源进行数据计算与加工。最终形成了Hadoop与Kubernetes的统一运维系统，实现了以下目标：
1)实现了基于Kubernetes系统的Hadoop镜像制作与镜像仓库管理；
2)实现了基于Kubernetes系统上Hadoop自动部署；
3)实现了基于Kubernetes系统上自动启动Hadoop计算任务；
4)实现了基于Kubernetes系统上自动停止Hadoop计算任务；
5)实现了基于Kubernetes系统上Hadoop计算资源的自动销毁。
本例子中，Hadoop系统可以利用Kubernetes夜间的闲置计算资源进行海量数据计算与加工，可以为企业节省巨大的硬件资源采购成本。以京东为例，可以至少节省1万台服务器采购数量，节省资金10亿元成本。实现了Hadoop与Kubernetes系统的计算资源的统一管理，实现了业务运行时所需的生产环境。不仅适用于电商行业，也可以解决同时具备Hadoop与Kubernetes系统的其他行业的需求。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (28)

1.一种Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，包括：
获取Hadoop系统的镜像文件；
将所述镜像文件加载到所述Kubernetes系统中；
在所述Kubernetes系统的docker上运行所述镜像文件，以在所述Kubernetes系统上启动Hadoop服务。
2.如权利要求1所述的Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，所述方法还包括：
制作所述镜像文件。
3.如权利要求2所述的Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，所述制作所述镜像文件包括：
基于所述Hadoop系统的正式运行环境文件制作所述镜像文件，所述正式运行环境文件包括：hdfs-site.xml、core-site.xml、yarn-site.xml、mapred-site.xml和hadoop-env.sh。
4.如权利要求1所述的Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，将所述镜像文件加载到所述Kubernetes系统中采用预先加载的方式。
5.如权利要求4所述的Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，所述镜像文件存储在镜像仓库中，所述Kubernetes系统从所述镜像仓库拉取所述镜像文件以实现预先加载。
6.如权利要求1所述的Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，所述方法还包括：
设置存储路径，以将所述Hadoop服务产生的最终结果存储至HDFS中。
7.如权利要求1所述的Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，所述方法还包括：
在所述Kubernetes系统上停止所述Hadoop服务。
8.如权利要求7所述的Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，所述方法还包括：
在所述Kubernetes系统上销毁所述Hadoop服务。
9.如权利要求8所述的Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，
根据所述Kubernetes系统的资源的闲置情况定时自动在所述Kubernetes系统的docker上运行所述镜像文件、定时自动停止所述Hadoop服务以及定时自动销毁所述Hadoop服务。
10.如权利要求4所述的Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，所述将所述镜像文件加载到所述Kubernetes系统中包括：
所述Kubernetes系统启动时默认启动所述docker，在所述docker内加载所述镜像文件。
11.如权利要求1所述的Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，所述启动Hadoop服务包括：
启动Yarn的ResourceManager；
启动Yarn的NodeManager。
12.如权利要求7所述的Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，所述在所述Kubernetes系统上停止所述Hadoop服务包括：
停止向所述Kubernetes系统的Hadoop服务中提交计算任务；
关闭所述Kubernetes系统中运行中的计算任务。
13.如权利要求8所述的Hadoop与Kubernetes系统共享计算资源的方法，其特征在于，所述在所述Kubernetes系统上销毁所述Hadoop服务包括：
获取全部所述Hadoop服务占用的docker的列表；
销毁所述列表中的docker，以释放所述Kubernetes系统的资源。
14.一种Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，包括：
获取模块，用于获取Hadoop系统的镜像文件；
加载模块，用于将所述镜像文件加载到所述Kubernetes系统中；
启动模块，用于在所述Kubernetes系统的docker上运行所述镜像文件，以在所述Kubernetes系统上启动Hadoop服务。
15.如权利要求14所述的Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，所述系统还包括：
制作模块，用于制作所述镜像文件。
16.如权利要求15所述的Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，所述制作模块用于基于所述Hadoop系统的正式运行环境文件制作所述镜像文件，所述正式运行环境文件包括：hdfs-site.xml、core-site.xml、yarn-site.xml、mapred-site.xml和hadoop-env.sh。
17.如权利要求14所述的Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，所述加载模块用于采用预先加载的方式将所述镜像文件加载到所述Kubernetes系统中。
18.如权利要求17所述的Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，所述镜像文件存储在镜像仓库中，所述加载模块用于通过所述Kubernetes系统从所述镜像仓库拉取所述镜像文件以实现预先加载。
19.如权利要求14所述的Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，所述系统还包括：
存储模块，用于设置存储路径，以将所述Hadoop服务产生的最终结果存储至HDFS中。
20.如权利要求14所述的Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，所述系统还包括：
停止模块，用于在所述Kubernetes系统上停止所述Hadoop服务。
21.如权利要求20所述的Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，所述系统还包括：
销毁模块，用于在所述Kubernetes系统上销毁所述Hadoop服务。
22.如权利要求20所述的Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，
所述启动模块用于根据所述Kubernetes系统的资源的闲置情况定时自动在所述Kubernetes系统的docker上运行所述镜像文件；
所述停止模块用于根据所述Kubernetes系统的资源的闲置情况定时自动停止所述Hadoop服务；
所述销毁模块用于根据所述Kubernetes系统的资源的闲置情况定时自动销毁所述Hadoop服务。
23.如权利要求17所述的Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，所述Kubernetes系统启动时默认启动所述docker，所述加载模块用于在所述docker内加载所述镜像文件。
24.如权利要求14所述的Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，所述启动模块中启动Hadoop服务包括启动Yarn的ResourceManager和启动Yarn的NodeManager。
25.如权利要求20所述的Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，所述停止模块包括：
停止任务提交模块，用于停止向所述Kubernetes系统的Hadoop服务中提交计算任务；
关闭任务模块，用于关闭所述Kubernetes系统中运行中的计算任务。
26.如权利要求21所述的Hadoop与Kubernetes系统共享计算资源的系统，其特征在于，所述销毁模块包括：
列表获取模块，用于获取全部所述Hadoop服务占用的docker的列表；
销毁执行模块，用于销毁所述列表中的docker，以释放所述Kubernetes系统的资源。
27.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至13任一项所述的Hadoop与Kubernetes系统共享计算资源的方法。
28.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至13任一项所述的Hadoop与Kubernetes系统共享计算资源的方法的步骤。
CN201811115370.4A 2018-09-25 2018-09-25 Hadoop与Kubernetes系统共享计算资源的方法、系统、设备及存储介质 Pending CN110941474A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811115370.4A CN110941474A (zh) 2018-09-25 2018-09-25 Hadoop与Kubernetes系统共享计算资源的方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811115370.4A CN110941474A (zh) 2018-09-25 2018-09-25 Hadoop与Kubernetes系统共享计算资源的方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110941474A true CN110941474A (zh) 2020-03-31

Family

ID=69905030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811115370.4A Pending CN110941474A (zh) 2018-09-25 2018-09-25 Hadoop与Kubernetes系统共享计算资源的方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110941474A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629061A (zh) * 2020-05-28 2020-09-04 苏州浪潮智能科技有限公司 一种基于Kubernetes的推理服务系统
CN112084009A (zh) * 2020-09-17 2020-12-15 湖南长城科技信息有限公司 PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法
CN112286526A (zh) * 2020-10-16 2021-01-29 科大国创云网科技有限公司 一种基于Gotty的Docker容器控制台访问方法及系统
CN113746887A (zh) * 2020-11-05 2021-12-03 北京沃东天骏信息技术有限公司 一种跨集群数据请求处理方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790483A (zh) * 2016-12-13 2017-05-31 武汉邮电科学研究院 基于容器技术的Hadoop集群系统及快速构建方法
CN106850621A (zh) * 2017-02-07 2017-06-13 南京云创大数据科技股份有限公司 一种基于容器云技术快速搭建Hadoop集群的方法
US20180097744A1 (en) * 2016-10-05 2018-04-05 Futurewei Technologies, Inc. Cloud Resource Provisioning for Large-Scale Big Data Platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180097744A1 (en) * 2016-10-05 2018-04-05 Futurewei Technologies, Inc. Cloud Resource Provisioning for Large-Scale Big Data Platform
CN106790483A (zh) * 2016-12-13 2017-05-31 武汉邮电科学研究院 基于容器技术的Hadoop集群系统及快速构建方法
CN106850621A (zh) * 2017-02-07 2017-06-13 南京云创大数据科技股份有限公司 一种基于容器云技术快速搭建Hadoop集群的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李伟: "基于Docker的镜像组合技术研究与实现", 《中国优秀硕士学位论文全文数据库》, no. 2018, pages 139 - 104 *
赵乐乐: "基于Docker技术的全文搜索引擎的研究与应用", 《中国优秀硕士学位论文全文数据库》, no. 2018, pages 138 - 2891 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629061A (zh) * 2020-05-28 2020-09-04 苏州浪潮智能科技有限公司 一种基于Kubernetes的推理服务系统
CN111629061B (zh) * 2020-05-28 2023-01-24 苏州浪潮智能科技有限公司 一种基于Kubernetes的推理服务系统
CN112084009A (zh) * 2020-09-17 2020-12-15 湖南长城科技信息有限公司 PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法
CN112286526A (zh) * 2020-10-16 2021-01-29 科大国创云网科技有限公司 一种基于Gotty的Docker容器控制台访问方法及系统
CN113746887A (zh) * 2020-11-05 2021-12-03 北京沃东天骏信息技术有限公司 一种跨集群数据请求处理方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109639794B (zh) 一种有状态集群恢复方法、装置、设备及可读存储介质
CN110941474A (zh) Hadoop与Kubernetes系统共享计算资源的方法、系统、设备及存储介质
US10812566B2 (en) Distributed steam processing
US9473356B2 (en) Automatic configuration of applications based on host metadata using application-specific templates
US9886260B2 (en) Managing software version upgrades in a multiple computer system environment
CN112291298B (zh) 异构系统的数据传输方法、装置、计算机设备和存储介质
CN106713493B (zh) 一种在计算机集群环境中构建分布式文件系统及方法
CN113204353B (zh) 一种大数据平台组件部署方法及装置
CN109067599A (zh) 一种部署集群的方法及装置
CN108509435B (zh) 实例系统挂载远程文件的方法和装置
CN116860746A (zh) 用于轻量大数据的处理系统
US20220237090A1 (en) Autonomous organization and role selection of homogenous workers
CN111400350A (zh) 配置数据读取方法、系统、电子设备和存储介质
CN109614271B (zh) 多个集群数据一致性的控制方法、装置、设备及存储介质
Todorov Design and deployment of kubernetes cluster on raspberry pi os
US11709749B1 (en) Diagnostic data collection for kubernetes
CN110673898A (zh) 一种设备管理方法、第一设备及交互系统
Khalel et al. Enhanced load balancing in kubernetes cluster by minikube
CN116107694A (zh) k8s子集群的部署方法、装置及存储介质
US10776134B2 (en) Management of application properties
Cheng et al. Hadoop environment management App based on mobile cloud computing
CN113157550A (zh) 基于容器的漏洞环境管理方法、系统
Galov et al. The smartroom infrastructure: Service runtime reliability
CN114356214B (zh) 一种针对kubernetes系统提供本地存储卷的方法及系统
US20220413894A1 (en) Self orchestrated containers for cloud computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination