CN110351384B - 大数据平台资源管理方法、装置、设备及可读存储介质 - Google Patents
大数据平台资源管理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN110351384B CN110351384B CN201910658873.4A CN201910658873A CN110351384B CN 110351384 B CN110351384 B CN 110351384B CN 201910658873 A CN201910658873 A CN 201910658873A CN 110351384 B CN110351384 B CN 110351384B
- Authority
- CN
- China
- Prior art keywords
- resource
- application
- management server
- user side
- engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 207
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 238000013468 resource allocation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010017472 Fumbling Diseases 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及金融科技领域，并公开了一种大数据平台资源管理方法，包括：在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；基于所述作业请求参数，判断所述用户端是否满足资源申请条件；若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端；通过引擎管理服务器将引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群。本发明还公开了一种大数据平台资源管理装置、设备和可读存储介质。本发明通过统一资源管理服务器，对用户端的资源使用做了更细的划分和控制，不允许用户过量使用Yarn集群资源，也为用户支持多组件在一个大数据平台上执行作业有更细的资源控制。
Description
技术领域
本发明涉及金融科技(Fintech)技术领域，尤其涉及金融行业的大数据平台资源管理方法、装置、设备及可读存储介质。
背景技术
随着计算机技术的发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，越来越多的技术应用于金融行业。金融行业的开发人员，通常会使用大数据开发平台Apache Hadoop YARN，这是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，在Hadoop集群中充当资源管理和任务调度的框架。
在现有的Hadoop生态组件中，用户的计算资源使用，大都要依赖yarn组件资源池(pool)，每个pool里有一定量的资源，每个用户属于某个pool，其提交的作业可使用这个pool中的资源。资源的分配主要是依据CPU虚拟核数和内存量。在一个统一的大数据平台上，个别组件单独对应多租户管理，采用的队列资源池的资源管理方式比较粗放，在同一个队列的用户存在资源竞争关系时，没有地方可以单独设置用户最大使用资源大小，无法灵活控制资源分配。
发明内容
本发明的主要目的在于提出一种大数据平台资源管理方法、装置、设备及可读存储介质，旨在解决现有技术中Hadoop生态组件在资源分配时难以管理的问题。
为实现上述目的，本发明提供一种大数据平台资源管理方法，所述大数据平台资源管理方法包括如下步骤：
在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；
基于所述作业请求参数，判断所述用户端是否满足资源申请条件；
若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端；
通过所述引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群，以供所述Yarn集群分配集群资源。
可选地，所述作业请求参数包括用户名、所述用户名对应的组件类别及实例运行资源大小；所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤包括：
判断所述统一资源管理服务器中是否存在所述用户名可用的第一应用资源；
若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，则判断所述第一应用资源中是否存在所述组件类别可用的第二应用资源；
若所述第一应用资源中存在所述组件类别可用的第二应用资源，则判断所述第二应用资源中是否存在所述实例运行资源大小可用的第三应用资源；
若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端满足资源申请条件，且将所述用户端满足资源申请条件对应的第一信息返回至用户端。
可选地，所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤之后，所述大数据平台资源管理方法还还包括：
若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，或
若所述第一应用资源中存在所述组件类别可用的第二应用资源，或
若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则通过所述统一资源管理服务器请求全局锁，以锁住对应的第一应用资源/第二应用资源/第三应用资源；
在请求全局锁成功后，广播所述第一应用资源/第二应用资源/第三应用资源分别对应的已锁定资源事件。
可选地，所述全局锁为分布式锁。
可选地，所述若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端的步骤包括：
若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器根据所述实例运行资源大小，启动对应的引擎客户端。
可选地，所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤之后，所述大数据平台资源管理方法包括：
若所述统一资源管理服务器中未存在所述用户名可用的第一应用资源，或
若所述第一应用资源中未存在所述组件类别可用的第二应用资源，或
若所述第二应用资源中未存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端不满足所述资源申请条件，且将所述用户端不满足资源申请条件对应的第二信息返回至用户端。
可选地，所述在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数的步骤包括：
在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；
通过统一作业执行入口判断所述引擎管理服务器是否存在所述作业请求参数对应的空闲引擎；
若所述引擎管理服务器存在所述作业请求参数对应的空闲引擎，则复用所述空闲引擎，并执行所述通过引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群的步骤；
若所述引擎管理服务器未存在所述作业请求参数对应的空闲引擎，则执行所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤。
此外，为实现上述目的，本发明还提供一种大数据平台资源管理装置，所述大数据平台资源管理装置包括：
接收模块，在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；
判断模块，用于基于所述作业请求参数，判断所述用户端是否满足资源申请条件；
启动模块，用于若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端；
提交模块，用于通过所述引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群，以供所述Yarn集群分配集群资源。
可选地，所述作业请求参数包括用户名、所述用户名对应的组件类别及实例运行资源大小；所述判断模块包括：
第一判断单元，用于判断所述统一资源管理服务器中是否存在所述用户名可用的第一应用资源：
第二判断单元，用于若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，则判断所述第一应用资源中是否存在所述组件类别可用的第二应用资源；
第三判断单元，用于若所述第一应用资源中存在所述组件类别可用的第二应用资源，则判断所述第二应用资源中是否存在所述实例运行资源大小可用的第三应用资源；
返回单元，用于若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端满足资源申请条件，且将所述用户端满足资源申请条件对应的第一信息返回至用户端。
可选地，大数据平台资源管理装置还包括锁定模块，在所述判断模块判断所述用户端是否满足资源申请条件之后，用于
若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，或
若所述第一应用资源中存在所述组件类别可用的第二应用资源，或
若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则通过所述统一资源管理服务器请求全局锁，以锁住对应的第一应用资源/第二应用资源/第三应用资源；
在请求全局锁成功后，广播所述第一应用资源/第二应用资源/第三应用资源分别对应的已锁定资源事件。
此外，为实现上述目的，本发明还提供一种大数据平台资源管理设备，所述大数据平台资源管理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大数据平台资源管理程序，所述大数据平台资源管理程序被所述处理器执行时实现如上所述的大数据平台资源管理方法的步骤。
此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有大数据平台资源管理程序，所述大数据平台资源管理程序被处理器执行时实现如上所述的大数据平台资源管理方法的步骤。
本发明提出的大数据平台资源管理方法，增加了统一资源管理服务器，在统一资源管理服务器接收到用户端的资源请求指令后，根据资源请求指令对应的作业请求参数，对用户端是否满足资源申请条件进行判断，其中，作业请求参数包括如用户名、用户名对应的组件类别及实例运行资源大小三个层次，在用户端满足资源申请条件时，引擎管理服务器开始创建对应的引擎客户端。本发明通过统一资源管理服务器，对用户端的资源使用做了更细的划分和控制，不允许用户过量使用Yarn集群资源，也为用户支持多组件在一个大数据平台上执行作业有更细的资源控制。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明大数据平台资源管理方法第一实施例的流程示意图；
图3为本发明大数据平台资源管理方法第一实施例的结构示意图；
图4为本发明大数据平台资源管理方法第一实施例的流程框架图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例大数据平台资源管理设备可以是PC机或服务器设备。
如图1所示，该大数据平台资源管理设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及大数据平台资源管理程序。
在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的大数据平台资源管理程序，并执行下述大数据平台资源管理方法各个实施例中的操作。
基于上述硬件结构，提出本发明大数据平台资源管理方法实施例。
参照图2，图2为本发明大数据平台资源管理方法第一实施例的流程示意图，所述方法包括：
步骤S10，在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；
本实施例中，大数据平台Apache Hadoop Yarn，是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn在Hadoop集群中充当资源管理和任务调度的框架。Spark，如Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎，Spark使用了内存运算技术,能在数据尚未写入硬盘时在内存分析运算。SparkOn Yarn是把Spark任务提交到Yarn集群上运行，提交Spark任务的地方，就是客户端。Yarn是提供大数据平台中作业调度和集群资源管理的框架。在金融行业，开发人员通常会使用大数据平台Apache Hadoop Yarn进行产品开发。
现有的大数据资源管理架构Yarn，提供以下三种可用资源调度器：先进先出队列FIFO Scheduler，容器调度器Capacity Scheduler，公平调度器Fair Scheduler，三种可用资源调度器是为了在Yarn中，负责给应用分配资源。
先进先出队列FIFO Scheduler，即采用先进先出策略，所有的任务都放在一个队列中，只有执行完一个任务后，才会进行下一个。这种调度方式最简单，但真实场景中并不推荐，因为会有很多问题，比如如果有大任务独占资源，会导致其他任务一直处于pending状态等。
容器调度器Capacity Scheduler，更适合多租户安全地共享大型集群，以便在分配的容量限制下及时分配资源。采用队列的概念，任务提交到队列，队列可以设置资源的占比，并且支持层级队列、访问控制、用户限制、预定等等配置，因此，对于资源占用比需要不断的摸索与权衡，资源管控不够便利。
公平调度器Fair Scheduler，能够公平地共享大型集群中的资源，Fair调度器会为所有运行的job动态的调整系统资源。当只有一个job在运行时，该应用程序最多可获取所有资源，再提交其他job时，资源将会被重新分配给目前的job，这可以让大量job在合理的时间内完成，减少作业pending的情况，因此，Fair Schedule比较适用于多用户共享的大集群，使用范围具有局限性。
多租户环境通常用到的是公平调度策略，因为这种策略既能让长时间运行的作业及时完成，也能并发的运行占用资源少的作业。使用yarn的公平调度，是一种赋予作业资源的方法，它的目的是让所有的作业随着时间的推移，都能平均的获取等同的共享资源。
综上所述，现有的资源管理存在以下缺陷：
(1)用户计算资源管理方式较为粗放，目前大都通过队列资源池来管理资源，同一个队列的用户存在资源竞争关系时，没有地方可以单独设置用户最大使用资源大小，无法灵活控制资源分配。
(2)同一个用户的不同组件使用资源没有进行控制，导致用户的批量调度任务占用了大量资源，而用户的实时分析任务没有资源可以使用。在使用同一种开源产品时，任务的优先级会按照开源产品自身的优先级体系进行运行，当同时使用多款开源产品时，基于Yarn的大数据资源管理架构就无法做到运行优先级的全局最优化。
(3)对于用户申请的资源和实际使用的资源缺乏管控，有的作业并不需要那么大资源而造成资源浪费，缺乏用户资源的实际使用监控机制。
因此，本案增加了一个统一资源管理服务器RM(Resource Management)，从入口上管理用户在整个大数据平台的资源使用，新增的资源管理服务器RM能够对外提供用户资源管理服务和引擎微服务资源管理。并且，增加一个统一作业执行入口，让用户端统一接入该统一资源管理服务器BDPE-RM。
需要说明的是，本案中的所指的资源，主要是指CPU、内存计算资源。
如图3所示，接入方为用户端，开发人员在使用大数据平台Apache Hadoop Yarn时，用户端需要使用的平台资源可以包括集成开发环境(IDE，Integrated DevelopmentEnvironment)、WTSS大数据调度(WTSS，witness system)、QML算法平台(QML，Quality ofService Modeling Language)及DWC前端(DWC，Compressed file archive)，通过统一作业执行服务接口与统一资源管理服务器RM连接，且统一资源管理服务器RM可以包括服务资源管理、用户资源管理、资源事件调度、实例资源请求服务、资源负载均衡及资源实时查阅，统一资源管理服务器RM与引擎管理服务器连接，并且，引擎管理服务器可以包括引擎管理器、Spark引擎、Hive引擎及Python引擎。
如图4所示，接入方为用户端，可以包括IDE集成开发环境、可视化报表、数量调度及业务系统等，其中，可视化报表是统一资源管理服务器对外提供用户的实时资源查看功能，把资源使用统计信息以报表的形式呈现给用户。用户端通过统一作业执行入口连接统一资源管理服务器RM及引擎管理服务器，在判定引擎管理服务器未存在所述作业请求参数对应的空闲引擎时，用户端需要进行资源申请；在判定引擎管理服务器存在所述作业请求参数对应的空闲引擎时，则用户端可直接复用该空闲引擎。
当用户端发送资源请求指令时，通过统一作业执行入口提交资源请求指令对应的作业请求参数，统一资源管理服务器通过统一作业执行入口接收该作业请求参数，该作业请求参数包括用户名、用户名对应的组件类别及实例运行资源大小三个层次。
通过增加的统一资源管理服务器，以便于后续对用户端是否满足资源申请条件的判断，实现从用户端入口进行更细致的资源管控。
步骤S20，基于所述作业请求参数，判断所述用户端是否满足资源申请条件；
该步骤中，统一资源管理服务器根据作业请求参数，判断所述用户端是否满足资源申请条件。需要说明的是，作业请求参数包括用户名、所述用户名对应的组件类别及实例运行资源大小。
资源判断过程具体为：基于所述资源请求指令判断所述统一资源管理服务器中是否存在所述用户名可用的第一应用资源；若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，则判断所述第一应用资源中是否存在所述组件类别可用的第二应用资源；若所述第一应用资源中存在所述组件类别可用的第二应用资源，则判断所述第二应用资源中是否存在所述实例运行资源大小可用的第三应用资源；若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端满足资源申请条件，且将所述用户端满足资源申请条件对应的第一信息返回至用户端。
统一资源管理服务器支持从用户名、组件类别、实例运行资源大小三个层次进行资源管理，用户每次新资源的申请必须同时满足以上三个层次的资源申请才能提交到Yarn集群运行应用。
通过资源计算，对用户的资源使用做了更细的划分和控制，不允许用户过量使用Yarn集群资源，也为用户支持多组件在一个大数据平台上执行作业有更细的资源控制。
步骤S30，若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端；
该步骤中，在用户端满足资源申请条件时，引擎管理服务器开始创建引擎，引擎管理服务器根据作业请求参数启动对应的引擎客户端。
具体地，引擎管理服务器根据作业请求参数中的实例运行资源大小启动对应的引擎客户端。
步骤S40，通过所述引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群，以供所述Yarn集群分配集群资源。
该步骤中，在引擎管理服务器创建对应的引擎客户端后，将引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群，如图4所示，引擎管理服务器包括Spark引擎、Hive引擎、Python引擎及Tensorflow引擎等；Yarn集群包括的类别应用可以包括Spark应用、Hive应用、MapReduce应用及机器学习应用等类别。
在前期用户端的资源申请阶段进行管控，得到用户端具体的实例资源需求，从而使得后期Yarn集群的分配集群资源具有针对性，避免资源浪费。
本发明提出的大数据平台资源管理方法，增加了统一资源管理服务器，在统一资源管理服务器接收到用户端的资源请求指令后，根据资源请求指令对应的作业请求参数，对用户端是否满足资源申请条件进行判断，其中，作业请求参数包括如用户名、用户名对应的组件类别及实例运行资源大小三个层次，在用户端满足资源申请条件时，引擎管理服务器开始创建对应的引擎客户端。本发明通过统一资源管理服务器，对用户端的资源使用做了更细的划分和控制，不允许用户过量使用Yarn集群资源，也为用户支持多组件在一个大数据平台上执行作业有更细的资源控制。
进一步地，基于本发明大数据平台资源管理方法的第一实施例，提出本发明大数据平台资源管理方法的第二实施例；所述作业请求参数包括用户名、所述用户名对应的组件类别及实例运行资源大小；如图4所示，步骤S20可以包括：
判断所述统一资源管理服务器中是否存在所述用户名可用的第一应用资源；
若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，则判断所述第一应用资源中是否存在所述组件类别可用的第二应用资源；
若所述第一应用资源中存在所述组件类别可用的第二应用资源，则判断所述第二应用资源中是否存在所述实例运行资源大小可用的第三应用资源；
若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端满足资源申请条件，且将所述用户端满足资源申请条件对应的第一信息返回至用户端。
本实施例中，在接收到所述资源请求界面对应的资源请求指令时，首先判断统一资源管理服务器中是否存在所述用户名可用的第一应用资源，若是，再判断第一应用资源中是否存在所述组件类别可用的第二应用资源，若是，再判断第二应用资源中是否存在所述实例运行资源大小可用的第三应用资源，在三个判断均为是的情况下，才能提交到Yarn集群运行应用。
通过对用户名、组件类别、实例运行资源大小三个层次的资源计算，用户每次新资源的申请必须同时满足以上三个层次的资源申请才能提交到Yarn集群运行应用。有了资源管理服务后，可以进行更细的资源管控使用。
进一步地，步骤S20之后，大数据平台资源管理方法还可以包括：
若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，或
若所述第一应用资源中存在所述组件类别可用的第二应用资源，或
若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则通过所述统一资源管理服务器请求全局锁，以锁住对应的第一应用资源/第二应用资源/第三应用资源；
在请求全局锁成功后，广播所述第一应用资源/第二应用资源/第三应用资源分别对应的已锁定资源事件。
在本实施例中，若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，或若所述第一应用资源中存在所述组件类别可用的第二应用资源，或若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源时，都需要进行请求全局锁，可以根据服务级/用户级/用户实例级，锁住资源，即锁住对应的第一应用资源/第二应用资源/第三应用资源，在成功锁住时，广播锁住事件，即广播所述第一应用资源/第二应用资源/第三应用资源分别对应的已锁定资源事件，以便于告知其他用户端、引擎管理服务器上述资源已被锁住，无法在该时间段内进行申请。
通过对各个层次资源申请时存在可用资源时，引入全局锁机制，当然，也可以是其他类型的锁，以便于告知其他用户端及引擎管理服务器上述资源已被锁住，无法在该时间段内进行申请，有效避免资源分配的过程中脏数据的产生。
进一步地，所述全局锁为分布式锁。
本实施例中，可选该分布式锁为ZooKeeper，它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Zookeeper作为Hadoop和Hbase的重要组件，可以为分布式应用程序协调服务，同时还能使用Java和C的接口。
为了保证高可用，Zookeeper需要以集群形态来部署，这样只要集群中大部分机器是可用的(能够容忍一定的机器故障)，那么Zookeeper本身仍然是可用的。客户端在使用Zookeeper时，需要知道集群机器列表，通过与集群中的某一台机器建立TCP连接来使用服务，客户端使用这个TCP链接来发送请求、获取结果、获取监听事件以及发送心跳包。如果这个连接异常断开了，客户端可以连接到另外的机器上。
Zookeeper分布式锁算法流程如下：
1、客户端连接Zookeeper，并在/lock下创建临时的且有序的子节点，第一个客户端对应的子节点为/lock/lock-0000000000，第二个为/lock/lock-0000000001，以此类推；
2、客户端获取/lock下的子节点列表，判断自己创建的子节点是否为当前子节点列表中序号最小的子节点，如果是则认为获得锁，否则监听刚好在自己之前一位的子节点删除消息，获得子节点变更通知后重复此步骤直至获得锁；
3、执行业务代码；
4、完成业务流程后，删除对应的子节点释放锁。
本案中的Zookeeper分布式锁的优势在于，某个节点尝试创建临时节点znode，此时创建成功了就获取了这个锁；这个时候其他的客户端来创建锁会失败，只能注册个监听器监听这个锁。释放锁就是删除这个节点znode，一旦释放掉就会通知客户端，然后有一个等待着的客户端就可以再次重新加锁。
进一步地，步骤S30可以包括：
若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器根据所述实例运行资源大小，启动对应的引擎客户端。
在本实施例中，当用户端成功申请资源时，引擎管理服务器启动引擎，根据作业请求参数中的实例运行资源大小启动对应的引擎客户端。
可以理解的是，作业请求参数中的用户名、组件类别及实例运行资源大小三个层次一一对应，作业请求参数即某个用户名想要申请某个组件类别的实例运行资源大小，因此，在确定了用户名、组件类别及实例运行资源大小均拥有可用资源后，根据实例运行资源大小确定对应的引擎客户端。
在确定对应的引擎客户端后，才能通过引擎客户端将应用提交至Yarn集群，以便于Yarn集群根据该实例运行资源大小进行资源分配。
通过建立新的资源计算方式，将资源的使用细化到用户的某种类型的创建者Creator上，并计算某种类型某个实例的资源使用需求。
进一步地，步骤S20之后，大数据平台资源管理方法还可以包括：
若所述统一资源管理服务器中未存在所述用户名可用的第一应用资源，或
若所述第一应用资源中未存在所述组件类别可用的第二应用资源，或
若所述第二应用资源中未存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端不满足所述资源申请条件，且将所述用户端不满足资源申请条件对应的第二信息返回至用户端。
在本实施例中，当统一资源管理服务器中未存在所述用户名可用的第一应用资源，或者是即使统一资源管理服务器中存在所述用户名可用的第一应用资源，但第一应用资源中未存在所述组件类别可用的第二应用资源时，或者是，即使统一资源管理服务器中存在所述用户名可用的第一应用资源，且第一应用资源中存在所述组件类别可用的第二应用资源，但第二应用资源中未存在所述实例运行资源大小可用的第三应用资源时，均可判定该用户端不满足资源申请条件，即上述三个判断任意一个判定结果为未存在，则可直接判定用户端不满足资源申请条件，此时，将该不满足资源申请条件对应的第二信息返回至用户端，以便于用户端得知该信息。
不管用户端是否满足资源申请条件，都会将申请信息告知用户端，以便于用户端得知具体的申请进程，使得资源申请的管理更加细致化。
由于申请不合理或者作业本身的问题导致资源浪费，通过计算资源成本优化管理，及时要求用户修改资源申请或限制资源使用，避免造成资源浪费。针对用户还可以做资源和作业的监控，让用户清楚的知道自己哪些作业需要优化，哪些队列需要调整。
进一步地，步骤S10可以包括：
在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；
通过统一作业执行入口判断所述引擎管理服务器是否存在所述作业请求参数对应的空闲引擎；
若所述引擎管理服务器存在所述作业请求参数对应的空闲引擎，则复用所述空闲引擎，并执行所述通过引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群的步骤；
若所述引擎管理服务器未存在所述作业请求参数对应的空闲引擎，则执行所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤。
本实施例中，用户端在进行作业前，进行作业执行请求，通过统一作业执行入口向统一资源管理服务器提交作业执行请求指令，作业执行请求指令中包含了对应的作业请求参数，并且，作业请求参数包含用户名、用户名对应的组件类别及实例运行资源大小。然后，判断引擎管理服务器是否存在作业请求参数对应的空闲引擎，在存在时，可直接复用空闲引擎，并执行步骤S30；若不存在，则需要走申请资源程序，即执行步骤S20。
复用空闲引擎中的复用，即重复运用，说明之前有使用记录，用户端在使用过该引擎后，且该引擎在作业请求时处于空闲状态，因此，用户端可以再次使用，避免再次申请资源，造成用户端作业进程慢，有效避免资源浪费。
本发明还提供一种大数据平台资源管理装置。本发明所述大数据平台资源管理装置包括：
接收模块，在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；
判断模块，用于基于所述作业请求参数，判断所述用户端是否满足资源申请条件；
启动模块，用于若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端；
提交模块，用于通过所述引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群，以供所述Yarn集群分配集群资源。
进一步地，所述作业请求参数包括用户名、所述用户名对应的组件类别及实例运行资源大小；所述判断模块包括：
第一判断单元，用于判断所述统一资源管理服务器中是否存在所述用户名可用的第一应用资源：
第二判断单元，用于若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，则判断所述第一应用资源中是否存在所述组件类别可用的第二应用资源；
第三判断单元，用于若所述第一应用资源中存在所述组件类别可用的第二应用资源，则判断所述第二应用资源中是否存在所述实例运行资源大小可用的第三应用资源；
返回单元，用于若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端满足资源申请条件，且将所述用户端满足资源申请条件对应的第一信息返回至用户端。
进一步地，大数据平台资源管理装置还包括锁定模块，在所述判断模块判断所述用户端是否满足资源申请条件之后，用于：
若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，或
若所述第一应用资源中存在所述组件类别可用的第二应用资源，或
若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则通过所述统一资源管理服务器请求全局锁，以锁住对应的第一应用资源/第二应用资源/第三应用资源；
在请求全局锁成功后，广播所述第一应用资源/第二应用资源/第三应用资源分别对应的已锁定资源事件。
进一步地，所述全局锁为分布式锁。
进一步地，所述启动模块还用于：
若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器根据所述实例运行资源大小，启动对应的引擎客户端。
进一步地，大数据平台资源管理装置还包括反馈模块，在所述判断模块判断所述用户端是否满足资源申请条件之后，用于：
若所述统一资源管理服务器中未存在所述用户名可用的第一应用资源，或
若所述第一应用资源中未存在所述组件类别可用的第二应用资源，或
若所述第二应用资源中未存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端不满足所述资源申请条件，且将所述用户端不满足资源申请条件对应的第二信息返回至用户端。
进一步地，所述接收模块还用于：
在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；
通过统一作业执行入口判断所述引擎管理服务器是否存在所述作业请求参数对应的空闲引擎；
若所述引擎管理服务器存在所述作业请求参数对应的空闲引擎，则复用所述空闲引擎，并启动模块执行所述通过引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群的步骤；
若所述引擎管理服务器未存在所述作业请求参数对应的空闲引擎，则判断模块执行所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有大数据平台资源管理程序，所述大数据平台资源管理程序被处理器执行时实现如上所述的大数据平台资源管理方法的步骤。
其中，在所述处理器上运行的大数据平台资源管理程序被执行时所实现的方法可参照本发明大数据平台资源管理方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台大数据平台资源管理设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种大数据平台资源管理方法，其特征在于，所述大数据平台资源管理方法包括如下步骤：
在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；
基于所述作业请求参数，判断所述用户端是否满足资源申请条件；
若所述用户端满足所述资源申请条件，则通过引擎管理服务器启动所述作业请求参数对应的引擎客户端；
通过所述引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群，以供所述Yarn集群分配集群资源；
其中，所述作业请求参数包括用户名、所述用户名对应的组件类别及实例运行资源大小；
所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤包括：
判断所述统一资源管理服务器中是否存在所述用户名可用的第一应用资源；
若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，则判断所述第一应用资源中是否存在所述组件类别可用的第二应用资源；
若所述第一应用资源中存在所述组件类别可用的第二应用资源，则判断所述第二应用资源中是否存在所述实例运行资源大小可用的第三应用资源；
若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端满足资源申请条件，且将所述用户端满足资源申请条件对应的第一信息返回至用户端。
2.如权利要求1所述的大数据平台资源管理方法，其特征在于，所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤之后，所述大数据平台资源管理方法还包括：
若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，或
若所述第一应用资源中存在所述组件类别可用的第二应用资源，或
若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则通过所述统一资源管理服务器请求全局锁，以锁住对应的第一应用资源/第二应用资源/第三应用资源；
在请求全局锁成功后，广播所述第一应用资源/第二应用资源/第三应用资源分别对应的已锁定资源事件。
3.如权利要求2所述的大数据平台资源管理方法，其特征在于，所述全局锁为分布式锁。
4.如权利要求1所述的大数据平台资源管理方法，其特征在于，所述若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端的步骤包括：
若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器根据所述实例运行资源大小，启动对应的引擎客户端。
5.如权利要求1所述的大数据平台资源管理方法，其特征在于，所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤之后，所述大数据平台资源管理方法包括：
若所述统一资源管理服务器中未存在所述用户名可用的第一应用资源，或
若所述第一应用资源中未存在所述组件类别可用的第二应用资源，或
若所述第二应用资源中未存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端不满足所述资源申请条件，且将所述用户端不满足资源申请条件对应的第二信息返回至用户端。
6.如权利要求1至5中任意一项所述的大数据平台资源管理方法，其特征在于，所述在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数的步骤包括：
在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；
通过统一作业执行入口判断所述引擎管理服务器是否存在所述作业请求参数对应的空闲引擎；
若所述引擎管理服务器存在所述作业请求参数对应的空闲引擎，则复用所述空闲引擎，并执行所述通过引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群的步骤；
若所述引擎管理服务器未存在所述作业请求参数对应的空闲引擎，则执行所述基于所述作业请求参数，判断所述用户端是否满足资源申请条件的步骤。
7.一种大数据平台资源管理装置，其特征在于，所述大数据平台资源管理装置包括：
接收模块，在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；
判断模块，用于基于所述作业请求参数，判断所述用户端是否满足资源申请条件；
启动模块，用于若所述用户端满足所述资源申请条件，则通过引擎管理服务器启动所述作业请求参数对应的引擎客户端；
提交模块，用于通过所述引擎管理服务器将所述引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群，以供所述Yarn集群分配集群资源；
其中，所述作业请求参数包括用户名、所述用户名对应的组件类别及实例运行资源大小；所述判断模块包括：
第一判断单元，用于判断所述统一资源管理服务器中是否存在所述用户名可用的第一应用资源：
第二判断单元，用于若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，则判断所述第一应用资源中是否存在所述组件类别可用的第二应用资源；
第三判断单元，用于若所述第一应用资源中存在所述组件类别可用的第二应用资源，则判断所述第二应用资源中是否存在所述实例运行资源大小可用的第三应用资源；
返回单元，用于若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则判定所述用户端满足资源申请条件，且将所述用户端满足资源申请条件对应的第一信息返回至用户端。
8.如权利要求7所述的大数据平台资源管理装置，其特征在于，大数据平台资源管理装置还包括锁定模块，在所述判断模块判断所述用户端是否满足资源申请条件之后，用于：
若所述统一资源管理服务器中存在所述用户名可用的第一应用资源，或
若所述第一应用资源中存在所述组件类别可用的第二应用资源，或
若所述第二应用资源中存在所述实例运行资源大小可用的第三应用资源，则通过所述统一资源管理服务器请求全局锁，以锁住对应的第一应用资源/第二应用资源/第三应用资源；
在请求全局锁成功后，广播所述第一应用资源/第二应用资源/第三应用资源分别对应的已锁定资源事件。
9.一种大数据平台资源管理设备，其特征在于，所述大数据平台资源管理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大数据平台资源管理程序，所述大数据平台资源管理程序被所述处理器执行时实现如权利要求1至6中任一项所述的大数据平台资源管理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有大数据平台资源管理程序，所述大数据平台资源管理程序被处理器执行时实现如权利要求1至6中任一项所述的大数据平台资源管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910658873.4A CN110351384B (zh) | 2019-07-19 | 2019-07-19 | 大数据平台资源管理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910658873.4A CN110351384B (zh) | 2019-07-19 | 2019-07-19 | 大数据平台资源管理方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110351384A CN110351384A (zh) | 2019-10-18 |
| CN110351384B true CN110351384B (zh) | 2024-08-06 |
Family
ID=68179422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910658873.4A Active CN110351384B (zh) | 2019-07-19 | 2019-07-19 | 大数据平台资源管理方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110351384B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110932935A (zh) * | 2019-11-26 | 2020-03-27 | 深圳前海微众银行股份有限公司 | 资源控制方法、装置、设备及计算机存储介质 |
| CN110941681B (zh) * | 2019-12-11 | 2021-02-23 | 南方电网数字电网研究院有限公司 | 电力系统的多租户数据处理系统、方法和装置 |
| CN113051064B (zh) * | 2019-12-26 | 2024-05-24 | 中移(上海)信息通信科技有限公司 | 任务调度方法、装置、设备及存储介质 |
| CN111240836A (zh) * | 2020-01-06 | 2020-06-05 | 北京百度网讯科技有限公司 | 算力资源管理方法、装置、电子设备及存储介质 |
| CN111431970B (zh) * | 2020-02-29 | 2023-05-26 | 深圳壹账通智能科技有限公司 | 基于微服务架构的资源分配方法、装置、设备及存储介质 |
| CN113391796B (zh) * | 2020-03-13 | 2024-01-30 | 华为云计算技术有限公司 | 一种集成开发环境的构建方法、装置、设备及介质 |
| CN112256414A (zh) * | 2020-10-19 | 2021-01-22 | 浪潮天元通信信息系统有限公司 | 一种连接多种计算存储引擎的方法及系统 |
| CN112612588A (zh) * | 2020-12-25 | 2021-04-06 | 北京知因智慧科技有限公司 | 任务处理方法、装置、设备及存储介质 |
| CN113515377A (zh) * | 2021-06-07 | 2021-10-19 | 广发银行股份有限公司 | 一种跨平台的大数据资源管理系统及方法 |
| CN113467939B (zh) * | 2021-06-24 | 2024-09-24 | 深圳前海微众银行股份有限公司 | 一种容量管理方法、装置、平台和存储介质 |
| CN113656484A (zh) * | 2021-08-31 | 2021-11-16 | 平安医疗健康管理股份有限公司 | 数据库的访问系统及方法、装置、电子设备、存储介质 |
| CN115017186A (zh) * | 2022-04-21 | 2022-09-06 | 北京火山引擎科技有限公司 | 一种任务处理方法、装置、设备及介质 |
| CN116360990B (zh) * | 2023-03-27 | 2024-01-09 | 合芯科技有限公司 | 分布式计算任务合理性预判方法、系统、设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992418A (zh) * | 2019-03-25 | 2019-07-09 | 华南理工大学 | Sla感知的多租户大数据平台资源优先级调度方法及系统 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140173618A1 (en) * | 2012-10-14 | 2014-06-19 | Xplenty Ltd. | System and method for management of big data sets |
| CN104780146B (zh) * | 2014-01-13 | 2018-04-27 | 华为技术有限公司 | 资源管理方法及装置 |
| CN104615526A (zh) * | 2014-12-05 | 2015-05-13 | 北京航空航天大学 | 一种大数据平台的监控系统 |
| CN105824810B (zh) * | 2015-01-04 | 2019-04-23 | 中国移动通信集团河北有限公司 | 一种Hadoop集群系统及数据处理方法 |
| CN104734892A (zh) * | 2015-04-02 | 2015-06-24 | 江苏物联网研究发展中心 | 大数据处理系统Hadoop在云平台OpenStack上自动部署系统 |
| US10452442B2 (en) * | 2015-11-27 | 2019-10-22 | Huawei Technologies Co., Ltd. | System and method for resource management |
| CN107483364A (zh) * | 2016-06-08 | 2017-12-15 | 国家计算机网络与信息安全管理中心 | 一种Hadoop Yarn网络带宽资源调度、隔离方法和装置 |
| CN106331092A (zh) * | 2016-08-23 | 2017-01-11 | 浪潮电子信息产业股份有限公司 | 一种基于hadoop大数据平台的应用服务系统及部署方法 |
| US10249047B2 (en) * | 2016-09-13 | 2019-04-02 | Intelligent Fusion Technology, Inc. | System and method for detecting and tracking multiple moving targets based on wide-area motion imagery |
| CN107168782A (zh) * | 2017-04-24 | 2017-09-15 | 复旦大学 | 一种基于Spark与GPU的并行计算系统 |
| CN107832153B (zh) * | 2017-11-14 | 2020-12-29 | 北京科技大学 | 一种Hadoop集群资源自适应分配方法 |
| CN108256019A (zh) * | 2018-01-09 | 2018-07-06 | 顺丰科技有限公司 | 数据库主键生成方法、装置、设备及其存储介质 |
| CN109408229B (zh) * | 2018-09-30 | 2021-06-04 | 华为技术有限公司 | 一种调度方法及装置 |
| CN109347974B (zh) * | 2018-11-16 | 2020-10-13 | 北京航空航天大学 | 提高在线服务质量和集群资源利用率的混合调度系统 |
| CN109656879B (zh) * | 2018-12-13 | 2023-06-13 | 深圳前海微众银行股份有限公司 | 大数据资源管理方法、装置、设备及存储介质 |
| CN109558446B (zh) * | 2018-12-13 | 2020-12-22 | 杭州数梦工场科技有限公司 | 作业请求方法、装置、电子设备及存储介质 |
| CN109614241B (zh) * | 2018-12-17 | 2024-03-12 | 杭州玳数科技有限公司 | 基于Yarn队列实现多集群多租户资源隔离的方法及系统 |
| CN109815008A (zh) * | 2018-12-21 | 2019-05-28 | 航天信息股份有限公司 | Hadoop集群用户资源监控方法和系统 |
| CN109753364A (zh) * | 2018-12-28 | 2019-05-14 | 北京明朝万达科技股份有限公司 | 一种基于网络的分布式锁的实现方法、设备及介质 |
-
2019
- 2019-07-19 CN CN201910658873.4A patent/CN110351384B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992418A (zh) * | 2019-03-25 | 2019-07-09 | 华南理工大学 | Sla感知的多租户大数据平台资源优先级调度方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110351384A (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110351384B (zh) | 大数据平台资源管理方法、装置、设备及可读存储介质 | |
| US8171132B2 (en) | Provisioning grid services to maintain service level agreements | |
| US8219997B2 (en) | Execution the job that is divided into job tasks based on the estimated completion time | |
| US7810098B2 (en) | Allocating resources across multiple nodes in a hierarchical data processing system according to a decentralized policy | |
| CN109995669B (zh) | 分布式限流方法、装置、设备及可读存储介质 | |
| JP2007128521A (ja) | コンピュータのネットワークでソフトウェアを提供する方法および装置 | |
| CN109117252B (zh) | 基于容器的任务处理的方法、系统及容器集群管理系统 | |
| WO2016095535A1 (zh) | 资源分配方法、装置和服务器 | |
| US20100121904A1 (en) | Resource reservations in a multiprocessor computing environment | |
| CN109766172B (zh) | 一种异步任务调度方法以及装置 | |
| WO2020108337A1 (zh) | 一种cpu资源调度方法及电子设备 | |
| US11438271B2 (en) | Method, electronic device and computer program product of load balancing | |
| CN111913784A (zh) | 任务调度方法及装置、网元、存储介质 | |
| CN111163140A (zh) | 资源获取和分配的方法、装置和计算机可读存储介质 | |
| CN114138434A (zh) | 一种大数据任务调度系统 | |
| CN110914805A (zh) | 用于分层任务调度的计算系统 | |
| CN113886069A (zh) | 一种资源分配方法、装置、电子设备及存储介质 | |
| CN116010064A (zh) | Dag作业调度和集群管理的方法、系统及装置 | |
| CN113419839A (zh) | 多类型作业的资源调度方法、装置、电子设备及存储介质 | |
| GB2417580A (en) | Method for executing a bag of tasks application on a cluster by loading a slave process onto an idle node in the cluster | |
| US20100122261A1 (en) | Application level placement scheduler in a multiprocessor computing environment | |
| JP2007102332A (ja) | 負荷分散システム及び負荷分散方法 | |
| CN113590294B (zh) | 一种自适应的和规则制导的分布式调度方法 | |
| CN115964152A (zh) | Gpu资源调度方法、设备和存储介质 | |
| CN111435319A (zh) | 一种集群的管理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |