CN111045791A - 一种大数据容器化中心调度系统和方法 - Google Patents
一种大数据容器化中心调度系统和方法 Download PDFInfo
- Publication number
- CN111045791A CN111045791A CN201911295883.2A CN201911295883A CN111045791A CN 111045791 A CN111045791 A CN 111045791A CN 201911295883 A CN201911295883 A CN 201911295883A CN 111045791 A CN111045791 A CN 111045791A
- Authority
- CN
- China
- Prior art keywords
- scheduling
- service request
- layer
- container
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 238000007726 management method Methods 0.000 claims description 49
- 238000004140 cleaning Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 230000000737 periodic effect Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 5
- 238000013475 authorization Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种大数据容器化中心调度系统，包括接入层，用于接收用户的服务请求；任务管理层，用于接收接入层的服务请求，生成对作业、程序、工作流的管理数据命令；容器层，包括多个容器节点，用于产生基于任务管理层中服务请求的调度结果；资源层，用于为容器层提供资源支撑。通过原生支持的容器调度，实现容器化批处理任务的编排、调度、监控；无缝对接已有的大数据平台，提供数据展现。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种大数据容器化中心调度系统和方法。
背景技术
数据中台建设过程中，单个系统不能满足复杂的业务需求，很多时候需要多个子系统相互协作，异步地按照指定流程完成一项特定的功能。一个灵活的大数据调度系统的作用越来越重要。目前国内外市场上有一些大数据调度框架和基于这些框架的大数据调度平台，但还没有一个可以简单与任何大数据平台无缝接入的集调度、授权、监控与一体的完整的大数据容器化调度系统。
基于Apache Oozie大数据调度框架的Gear爱奇艺大数据调度平台解决了Hadoop上的任务调度，目前已经管理了大部分Hadoop/Spark任务，也应用到一些与Hadoop无关的定时任务管理上。但是Oozie本身的使用比较困难，用户需要理解各种繁杂的概念，不容易上手。同时Gear旨在打造成爱奇艺内部通用的定时任务、工作流管理平台,难以被各行业通用。
基于Airflow(Airbnb)搭建的Maat阿里云基于DAG的分布式任务调度平台，将各类流程化的任务集中管理，各个任务节点以分布式的方式运行在不同的容器内，以保证流程高效稳定运行。由于原生的Airflow的管控比较简单，是基于描述任务流程DAG的Python脚本调度，用户进行任务的创建、更新、运行需要深入学习Airflow的原理才能上手，并且后期维护只能基于文件进行操作。
Kettle(Pentaho)作为开源ETL工具，功能强大简洁。但Kettle本身的调度监控功能比较弱，Pentaho官方只能建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。
目前已有大数据容器化调度中心系统主要有以下不足：现有的大数据调度中心系统没有基于容器的任务调度，调度策略不够灵活；没有集成的监控报警支持，UI界面不够友好，使用复杂；没有提供数据及服务的安全机制。
发明内容
为解决上述技术问题，本发明提出了一种大数据容器化中心调度系统和方法，通过原生支持的容器调度，实现容器化批处理任务的编排、调度、监控；无缝对接已有的大数据平台，提供数据展现。
根据本发明的一实施例，本发明提出了一种大数据容器化中心调度系统，该系统包括接入层，用于接收用户的服务请求；
任务管理层，用于接收接入层的服务请求，生成对作业、程序、工作流的管理数据命令；
容器层，包括多个容器节点，用于产生基于任务管理层中服务请求的调度结果；
资源层，用于为容器层提供资源支撑。
进一步的，所述接入层通过用户界面接收用户的服务请求。
进一步的，所述任务管理层包括任务服务器，数据处理节点，任务调度模块以及数据存储模块，其中，
所述任务服务器，用于接收接入层的服务请求；
所述数据处理节点，用于对根据所述服务请求采集数据源，对数据源进行清洗、处理操作；
所述任务调度模块，用于将清洗、处理后的数据调度至容器层进行处理；
所述数据存储模块，用于存储服务请求的信息、容器层处理后的结果信息以及与服务请求对应的资源信息。
进一步的，所述容器节点包括监控执行节点、调度预处理节点以及调度决策节点，
所述监控执行节点，用于监控所有容器节点的运行状态，以及判断是否有来自任务管理层的服务请求；
所述调度预处理节点，用于根据接收到的服务请求进行资源匹配；
所述调度决策节点，用于将服务请求调度至匹配的资源容器进行资源调度处理，以及根据容器的运行状态进行周期性的调度和决策。
进一步的，所述用户界面根据任务关联关系对基于服务请求的调度结果进行可视化展现，并自动生成高精度的数据依赖可视化图标，从而为用户提供交互界面。
进一步的，所述系统还包括安全决策层，用于支持Hadoop/Hive/Spark的策略管理，并对相应的策略添加白名单、黑名单的分组及用户。
根据本发明又一实施例，本发明还提出了一种大数据容器化中心调度方法，所述方法包括，
通过接入层接收用户的服务请求；
通过任务管理层接收所述服务请求，生成对作业、程序、工作流的管理数据命令；
通过容器层产生基于任务管理层中服务请求的调度结果，并向用户展示所述调度结果，所述容器层包括多个容器节点，并部署在资源层中。
进一步的，通过任务管理层接收所述服务请求，生成对作业、程序、工作流的管理数据命令的步骤包括：
通过任务服务器接收接入层的服务请求；
通过数据处理节点对根据所述服务请求采集数据源，对数据源进行清洗、处理操作；
通过任务调度模块将清洗、处理后的数据调度至容器层进行处理；
通过数据存储模块存储服务请求的信息、容器层处理后的结果信息以及与服务请求对应的资源信息。
进一步的，通过容器层产生基于任务管理层中服务请求的调度结果的步骤，包括：
通过监控执行节点监控所有容器节点的运行状态，以及判断是否有来自任务管理层的服务请求；
通过调度预处理节点根据接收到的服务请求进行资源匹配；
通过调度决策节点将服务请求调度至匹配的资源容器进行资源调度处理，以及根据容器的运行状态进行周期性的调度和决策。
进一步的，向用户展示所述调度结果的步骤包括根据任务关联关系对基于服务请求的调度结果进行可视化展现，并自动生成高精度的数据依赖可视化图标，从而为用户提供交互界面。
本发明的有益效果是：第一，填补了大数据领域基于容器化任务调度的市场空白，原生支持容器调度，实现容器化批处理任务的编排、调度、监控；第二，本发明提供大数据资源Hadoop/Hive数据访问认证及授权管理，一套部署多环境支持，隔离发布，集成第三方应用，丰富调度和监控功能；第三，本发明界面UI友好，提供DAG作业界面式拖拉，作业及数据依赖全景图展示。
附图说明
图1为本发明提出的大数据容器化中心调度系统框架图；
图2为本发明提出的大数据容器化中心调度方法流程图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
本发明实施例旨在解决或缓解现有技术中大数据调度时调度策略不灵活，没有集成的监控报警支持，UI界面不友好，使用复杂，从而不方便对平台有效调度的相关技术问题。本发明实施例主要采用了基于容器化的中心调度大数据服务的技术方案，从而填补了大数据领域基于容器化任务调度的市场空白，原生支持容器调度，实现容器化批处理任务的编排、调度、监控，以解决现有技术的一个或多个技术问题。下面分别通过以下实施例进行技术方案的展开描述。
实施例一
请参阅图1，本实施例一提供了一种大数据容器化中心调度系统，该系统包括接入层、任务管理层、容器层以及资源层。
所述接入层，用于接收用户的服务请求。
其中，所述接入层的实现可以基于用户交互界面来接收用户的服务请求，当接收到该服务请求后，通过http方式将该请求转发至任务管理层中。
所述任务管理层，用于接收接入层的服务请求，生成对作业、程序、工作流的管理数据命令。
具体的，所述任务管理层包括任务服务器，数据处理节点，任务调度模块以及数据存储模块，其中，
所述任务服务器，用于接收接入层的服务请求；
所述数据处理节点，用于对根据所述服务请求采集数据源，对数据源进行清洗、处理操作；
所述任务调度模块，用于将清洗、处理后的数据调度至容器层进行处理；
所述数据存储模块，用于存储服务请求的信息、容器层处理后的结果信息以及与服务请求对应的资源信息。
容器层，包括多个容器节点，用于产生基于任务管理层中服务请求的调度结果。
所述容器节点包括监控执行节点、调度预处理节点以及调度决策节点，
所述监控执行节点，用于监控所有容器节点的运行状态，以及判断是否有来自任务管理层的服务请求；
所述调度预处理节点，用于根据接收到的服务请求进行资源匹配；
所述调度决策节点，用于将服务请求调度至匹配的资源容器进行资源调度处理，以及根据容器的运行状态进行周期性的调度和决策。
在本发明中，用户界面根据任务关联关系对基于服务请求的调度结果进行可视化展现，并自动生成高精度的数据依赖可视化图标，从而为用户提供交互界面。
资源层，用于为容器层提供资源支撑。
在本发明中，系统还包括安全决策层，用于支持Hadoop/Hive/Spark的策略管理，并对相应的策略添加白名单、黑名单的分组及用户。
在本发明中，任务管理层的任务服务器接收来自接入层的服务请求并将其转发至数据处理节点，由数据处理节点对服务请求进行数据源采集、清洗及处理操作。
作为本发明的方案，为实现资源的交互，系统的容器层以及任务管理层需要对数据源进行采集和处理，以实现资源的调度。为此，本发明的数据采集、清洗处理方案还包括：在数据采集中，通过爬虫程序定期爬取网页信息作为数据源，作为可替代的方案，也可以通过Spark作业进行数据采集，在数据采集的方案中不做具体的限定，完成数据采集的过程即可。采集完的数据需要进行数据处理，在本发明中，通过数据采集调度作业Sqoop作业抽取数据到Hive的贴源表，通过Hive作业创建Hive数据清洗后所存放数据的目标表，并通过数据清洗作业对数据进行清洗，最后由数据统计作业对清洗后的数据进行统计，并通过数据导出作业对数据导出。
作为本发明的一实施方案，在对本系统的工作流进行管理时，每个作业可单独执行，也可以通过创建工作流的方式进行，应用DAG作业界面式拖拉，对作业进行管理和监控。为实现本发明的安全管理，本发明的系统还包括一安全决策层，用于支持Hadoop/Hive/Spark的策略管理，并对相应的策略添加白名单、黑名单的分组及用户。
作为大数据工作流和作业的分布式调度系统，通过容器化的任务调度，实现容器化批处理任务的编排、调度、监控，本发明的系统可以无缝接入已有大数据平台，一套部署多环境支持，隔离发布，同时，本发明的系统还提供Sqoop/Hive/Spark等作业，支持自定义作业调度，任务排队和插队机制。DAG作业界面式拖拉，全作业管理监控，作业及数据依赖全景图，失败任务链路影响分析。
实施例二
如图2所示，本发明还提出了一种大数据容器化中心调度方法，所述方法包括，
通过接入层接收用户的服务请求；
通过任务管理层接收所述服务请求，生成对作业、程序、工作流的管理数据命令；
通过任务管理层接收所述服务请求，生成对作业、程序、工作流的管理数据命令的步骤包括：
通过任务服务器接收接入层的服务请求；
通过数据处理节点对根据所述服务请求采集数据源，对数据源进行清洗、处理操作；
通过任务调度模块将清洗、处理后的数据调度至容器层进行处理；
通过数据存储模块存储服务请求的信息、容器层处理后的结果信息以及与服务请求对应的资源信息。
通过容器层产生基于任务管理层中服务请求的调度结果，并向用户展示所述调度结果，所述容器层包括多个容器节点，并部署在资源层中。
通过容器层产生基于任务管理层中服务请求的调度结果的步骤，包括：
通过监控执行节点监控所有容器节点的运行状态，以及判断是否有来自任务管理层的服务请求；
通过调度预处理节点根据接收到的服务请求进行资源匹配；
通过调度决策节点将服务请求调度至匹配的资源容器进行资源调度处理，以及根据容器的运行状态进行周期性的调度和决策。
向用户展示所述调度结果的步骤包括根据任务关联关系对基于服务请求的调度结果进行可视化展现，并自动生成高精度的数据依赖可视化图标，从而为用户提供交互界面。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节，而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。
Claims (10)
1.一种大数据容器化中心调度系统，其特征在于，包括接入层，用于接收用户的服务请求；
任务管理层，用于接收接入层的服务请求，生成对作业、程序、工作流的管理数据命令；
容器层，包括多个容器节点，用于产生基于任务管理层中服务请求的调度结果；
资源层，用于为容器层提供资源支撑。
2.根据权利要求1所述的一种大数据容器化中心调度系统，其特征在于，所述接入层通过用户界面接收用户的服务请求。
3.根据权利要求1所述的一种大数据容器化中心调度系统，其特征在于，所述任务管理层包括任务服务器，数据处理节点，任务调度模块以及数据存储模块，其中，
所述任务服务器，用于接收接入层的服务请求；
所述数据处理节点，用于对根据所述服务请求采集数据源，对数据源进行清洗、处理操作；
所述任务调度模块，用于将清洗、处理后的数据调度至容器层进行处理；
所述数据存储模块，用于存储服务请求的信息、容器层处理后的结果信息以及与服务请求对应的资源信息。
4.根据权利要求1所述的一种大数据容器化中心调度系统，其特征在于，所述容器节点包括监控执行节点、调度预处理节点以及调度决策节点，
所述监控执行节点，用于监控所有容器节点的运行状态，以及判断是否有来自任务管理层的服务请求；
所述调度预处理节点，用于根据接收到的服务请求进行资源匹配；
所述调度决策节点，用于将服务请求调度至匹配的资源容器进行资源调度处理，以及根据容器的运行状态进行周期性的调度和决策。
5.根据权利要求2所述的一种大数据容器化中心调度系统，其特征在于，所述用户界面根据任务关联关系对基于服务请求的调度结果进行可视化展现，并自动生成高精度的数据依赖可视化图标，从而为用户提供交互界面。
6.根据权利要求1所述的一种大数据容器化中心调度系统，其特征在于，所述系统还包括安全决策层，用于支持Hadoop/Hive/Spark的策略管理，并对相应的策略添加白名单、黑名单的分组及用户。
7.一种大数据容器化中心调度方法，其特征在于，所述方法包括，
通过接入层接收用户的服务请求；
通过任务管理层接收所述服务请求，生成对作业、程序、工作流的管理数据命令；
通过容器层产生基于任务管理层中服务请求的调度结果，并向用户展示所述调度结果，所述容器层包括多个容器节点，并部署在资源层中。
8.根据权利要求7所述的大数据容器化中心调度方法，其特征在于，通过任务管理层接收所述服务请求，生成对作业、程序、工作流的管理数据命令的步骤包括：
通过任务服务器接收接入层的服务请求；
通过数据处理节点对根据所述服务请求采集数据源，对数据源进行清洗、处理操作；
通过任务调度模块将清洗、处理后的数据调度至容器层进行处理；
通过数据存储模块存储服务请求的信息、容器层处理后的结果信息以及与服务请求对应的资源信息。
9.根据权利要求7所述的大数据容器化中心调度方法，其特征在于，通过容器层产生基于任务管理层中服务请求的调度结果的步骤，包括：
通过监控执行节点监控所有容器节点的运行状态，以及判断是否有来自任务管理层的服务请求；
通过调度预处理节点根据接收到的服务请求进行资源匹配；
通过调度决策节点将服务请求调度至匹配的资源容器进行资源调度处理，以及根据容器的运行状态进行周期性的调度和决策。
10.根据权利要求7所述的大数据容器化中心调度方法，其特征在于，向用户展示所述调度结果的步骤包括根据任务关联关系对基于服务请求的调度结果进行可视化展现，并自动生成高精度的数据依赖可视化图标，从而为用户提供交互界面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911295883.2A CN111045791A (zh) | 2019-12-16 | 2019-12-16 | 一种大数据容器化中心调度系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911295883.2A CN111045791A (zh) | 2019-12-16 | 2019-12-16 | 一种大数据容器化中心调度系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111045791A true CN111045791A (zh) | 2020-04-21 |
Family
ID=70236761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911295883.2A Pending CN111045791A (zh) | 2019-12-16 | 2019-12-16 | 一种大数据容器化中心调度系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111045791A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111506412A (zh) * | 2020-04-22 | 2020-08-07 | 上海德拓信息技术股份有限公司 | 基于Airflow的分布式异步任务构建、调度系统及方法 |
| CN111722981A (zh) * | 2020-06-15 | 2020-09-29 | 武汉达梦数据库有限公司 | 一种hadoop集群运行ETL流程的实时监控方法及装置 |
| CN111897622A (zh) * | 2020-06-10 | 2020-11-06 | 中国科学院计算机网络信息中心 | 基于容器技术的高通量计算方法及系统 |
| CN111984371A (zh) * | 2020-08-18 | 2020-11-24 | 济南浪潮高新科技投资发展有限公司 | 一种流程编排服务调度和发布方法 |
| CN112286671A (zh) * | 2020-12-29 | 2021-01-29 | 湖南星河云程信息科技有限公司 | 一种容器化批处理作业调度方法、装置和计算机设备 |
| CN112327719A (zh) * | 2020-11-19 | 2021-02-05 | 山东高速信息集团有限公司 | 一种智慧园区中台统一应用接口库的实现方法及系统 |
| CN112559280A (zh) * | 2020-12-04 | 2021-03-26 | 国网安徽省电力有限公司信息通信分公司 | 基于数据中台的数据全链路监控方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108173919A (zh) * | 2017-12-22 | 2018-06-15 | 百度在线网络技术（北京）有限公司 | 大数据平台搭建系统、方法、设备及计算机可读介质 |
| CN109088750A (zh) * | 2018-07-23 | 2018-12-25 | 下代互联网重大应用技术（北京）工程研究中心有限公司 | 基于容器的网络态势感知系统设计与部署方法 |
| CN109714400A (zh) * | 2018-12-12 | 2019-05-03 | 华南理工大学 | 一种面向容器集群的能耗优化资源调度系统及其方法 |
| CN109885389A (zh) * | 2019-02-19 | 2019-06-14 | 山东浪潮云信息技术有限公司 | 一种基于容器的并行深度学习调度训练方法及系统 |
-
2019
- 2019-12-16 CN CN201911295883.2A patent/CN111045791A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108173919A (zh) * | 2017-12-22 | 2018-06-15 | 百度在线网络技术（北京）有限公司 | 大数据平台搭建系统、方法、设备及计算机可读介质 |
| CN109088750A (zh) * | 2018-07-23 | 2018-12-25 | 下代互联网重大应用技术（北京）工程研究中心有限公司 | 基于容器的网络态势感知系统设计与部署方法 |
| CN109714400A (zh) * | 2018-12-12 | 2019-05-03 | 华南理工大学 | 一种面向容器集群的能耗优化资源调度系统及其方法 |
| CN109885389A (zh) * | 2019-02-19 | 2019-06-14 | 山东浪潮云信息技术有限公司 | 一种基于容器的并行深度学习调度训练方法及系统 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111506412A (zh) * | 2020-04-22 | 2020-08-07 | 上海德拓信息技术股份有限公司 | 基于Airflow的分布式异步任务构建、调度系统及方法 |
| CN111506412B (zh) * | 2020-04-22 | 2023-04-25 | 上海德拓信息技术股份有限公司 | 基于Airflow的分布式异步任务构建、调度系统及方法 |
| CN111897622A (zh) * | 2020-06-10 | 2020-11-06 | 中国科学院计算机网络信息中心 | 基于容器技术的高通量计算方法及系统 |
| CN111897622B (zh) * | 2020-06-10 | 2022-09-30 | 中国科学院计算机网络信息中心 | 基于容器技术的高通量计算方法及系统 |
| CN111722981A (zh) * | 2020-06-15 | 2020-09-29 | 武汉达梦数据库有限公司 | 一种hadoop集群运行ETL流程的实时监控方法及装置 |
| CN111722981B (zh) * | 2020-06-15 | 2021-05-07 | 武汉达梦数据库有限公司 | 一种hadoop集群运行ETL流程的实时监控方法及装置 |
| CN111984371A (zh) * | 2020-08-18 | 2020-11-24 | 济南浪潮高新科技投资发展有限公司 | 一种流程编排服务调度和发布方法 |
| CN112327719A (zh) * | 2020-11-19 | 2021-02-05 | 山东高速信息集团有限公司 | 一种智慧园区中台统一应用接口库的实现方法及系统 |
| CN112559280A (zh) * | 2020-12-04 | 2021-03-26 | 国网安徽省电力有限公司信息通信分公司 | 基于数据中台的数据全链路监控方法 |
| CN112559280B (zh) * | 2020-12-04 | 2023-08-22 | 国网安徽省电力有限公司信息通信分公司 | 基于数据中台的数据全链路监控方法 |
| CN112286671A (zh) * | 2020-12-29 | 2021-01-29 | 湖南星河云程信息科技有限公司 | 一种容器化批处理作业调度方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111045791A (zh) | 一种大数据容器化中心调度系统和方法 | |
| CN106775632B (zh) | 一种业务流程可灵活扩展的高性能地理信息处理方法及系统 | |
| DE112012004747B4 (de) | Verborgenes automatisiertes Spiegeln von Daten für native Schnittstellen in verteilten virtuellen Maschinen | |
| US9003356B2 (en) | Business process change controller | |
| US9189226B2 (en) | Software logistics protocols | |
| US7703019B2 (en) | Visual administrator for specifying service references to support a service | |
| CN108733461B (zh) | 分布式任务调度方法和装置 | |
| US20100138268A1 (en) | Progress management platform | |
| KR20210064186A (ko) | 로봇 프로세스 자동화를 위한 로봇 스케줄링 | |
| CN110471824A (zh) | 监控方法、装置、系统、电子设备和计算机可读存储介质 | |
| CN112256406B (zh) | 作业流程平台化调度方法 | |
| US20180349179A1 (en) | Centralized flexible deployment system | |
| CN109165913A (zh) | 一种工作项目组管理方法、装置、计算设备和存储介质 | |
| CN110347494A (zh) | 上下文信息管理方法、装置、系统及计算机可读存储介质 | |
| CN114930356A (zh) | 经由动作中心来补充人工智能（ai）/机器学习（ml）模型、ai/ml模型重新训练硬件控制以及ai/ml模型设置管理 | |
| US7657590B2 (en) | Load balancing system and method | |
| CN117667573A (zh) | 基于ai语言模型的集群运维方法及装置 | |
| US20150113420A1 (en) | Overloaded schedule detection and notification | |
| CN110188258B (zh) | 使用爬虫获取外部数据的方法及装置 | |
| CN115567526B (zh) | 数据监控方法、装置、设备及介质 | |
| CN110515602B (zh) | 一种在线交互式编程开放实验系统 | |
| US20130138690A1 (en) | Automatically identifying reused model artifacts in business process models | |
| CN114298313A (zh) | 一种人工智能计算机视觉推理方法 | |
| BR102020016116A2 (pt) | plataforma de integração de ferramentas open source | |
| US20140019193A1 (en) | Issue Processing Systems and Methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200421 |
|
| RJ01 | Rejection of invention patent application after publication |