CN106557370A - 基于实时统计数据的计算资源动态调度平台 - Google Patents

基于实时统计数据的计算资源动态调度平台 Download PDF

Info

Publication number
CN106557370A
CN106557370A CN201611090046.2A CN201611090046A CN106557370A CN 106557370 A CN106557370 A CN 106557370A CN 201611090046 A CN201611090046 A CN 201611090046A CN 106557370 A CN106557370 A CN 106557370A
Authority
CN
China
Prior art keywords
center
resource
surveillance center
hardware device
platform based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611090046.2A
Other languages
English (en)
Inventor
张晟
孙慧
侯文权
仇文彬
吴骏华
陈兆明
徐立霞
顾文
陈璐
周红霞
林浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bao Zun Agel Ecommerce Ltd
Original Assignee
Shanghai Bao Zun Agel Ecommerce Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bao Zun Agel Ecommerce Ltd filed Critical Shanghai Bao Zun Agel Ecommerce Ltd
Priority to CN201611090046.2A priority Critical patent/CN106557370A/zh
Publication of CN106557370A publication Critical patent/CN106557370A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于实时统计数据的计算资源动态调度平台，其特征在于，包括监控中心、调度中心、配置中心、注册中心，监控中心包括监控模块、数据库，监控中心分别与调度中心、配置中心、注册中心进行数据传输。其优点在于，合理调度硬件设备资源；能够根据现有资源的实时使用情况去动态分配和调度部署不同的应用；提高资源利用率，提高业务处理速度。

Description

基于实时统计数据的计算资源动态调度平台
技术领域
本发明涉及互联网技术领域，具体地说，是基于实时统计数据的计算资源动态调度平台。
背景技术
随着会联网的高速发展，互联网公司所使用的硬件设备越来越多，其中在服务器或者其他硬件设备上部署应用种类越来越多。然而，大多数公司都无法根据业务需求实时的调度应用去动态的部署到拥有空闲资源的硬件设备上，降低资源利用率，减缓业务处理速度。
因此，亟需一种能够动态分布资源、提高资源利用率的资源动态调度平台，而目前关于这种平台还未见报道。
发明内容
本发明的目的是针对现有技术中的不足，提供一种基于实时统计数据的计算资源动态调度平台。
为实现上述目的，本发明采取的技术方案是：
一种基于实时统计数据的计算资源动态调度平台，包括监控中心、调度中心、配置中心、注册中心，监控中心包括监控模块、数据库，监控中心分别与调度中心、配置中心、注册中心进行数据传输。
基于实时统计数据的计算资源动态调度平台的工作流程为：
S01：监控模块部署在被监控的硬件设备；
S02：监控模块定时采集硬件设备上的数据信息；
S03：监控模块将采集到的数据信息传输到监控中心；
S04：监控中心将数据信息录入至数据库；
S05：监控中心对数据信息进行分析，形成一个配置文件；
S06：监控中心将配置文件传输到配置中心；
S07：监控中心发现硬件设备出现资源消耗异常增长情况时，对增长情况进行判断；
S08：监控中心根据判断结果自动生成一个部署增加资源节点的调度策略，将调度策略传输到调度中心；
S09：调度中心对调度策略进行验证；
S10：验证完成后，实施资源调度计划；
S11：在实施资源调度计划的过程中，完成对某个资源节点的部署，就在注册中心添加该资源节点，并记录该事件；
S12：资源调度计划完成后，调度中心通知注册中心；
S13：注册中心检验实施结果；
S14：在检验实施结果过程中，注册中心通知监控中心，并在监控中心添加新的监控；
S15：资源调度结束后，按原步骤回收资源。
工作流程中的S02步骤中的数据信息包括应用使用硬件设备资源的情况和硬件设备资源所有的消耗情况。
工作流程中的S05步骤中的对数据信息进行分析的内容包括应用实际的使用硬件设备资源的情况，使用情况内容的交叉对比。
工作流程中的S05步骤中的配置文件的内容包括应用的类型和应用的标准使用硬件设备资源情况。
工作流程中的S07步骤中的判断为从数据库中的数据模型进行匹配，根据匹配的数据模型的数据，得到未来资源消耗的情况。
工作流程中的S13步骤中的新的监控的目的是在资源使用高峰结束后提供预警。
本发明优点在于：
1、合理调度硬件设备资源；
2、能够根据现有资源的实时使用情况去动态分配和调度部署不同的应用；
3、提高资源利用率，提高业务处理速度
附图说明
附图1是本发明的基于实时统计数据的计算资源动态调度平台的示意图。
附图2是本发明的基于实时统计数据的计算资源动态调度平台的工作流程示意图。
具体实施方式
下面结合附图对本发明提供的具体实施方式作详细说明。
参照图1，本发明的基于实时统计数据的计算资源动态调度平台，包括监控中心、调度中心、配置中心、注册中心，监控中心包括监控模块、数据库，监控中心分别与调度中心、配置中心、注册中心进行数据传输。
参照图2，本发明的基于实时统计数据的计算资源动态调度平台的工作流程如下：
S01：监控模块部署在所有被监控的客户机的硬件设备上；
S02：监控模块定时采集硬件设备上的信息，其包括硬件资源所有的消耗情况；
S03：将所有的消耗情况数据传输至监控中心服务器上；
S04：监控中心服务器将数据录入数据库；
S05：监控中心服务器每天对所用应用的采集数据进行分析；
S06：分析的内容为该应用实际的使用硬件资源的情况，并将使用情况的内容做交叉对比，形成一个可信的对应用使用情况的一个配置文件；
S07：配置文件储存在配置中心，配置文件详细记录了该应用的类型以及该应用的标准使用资源情况；
S08：监控中心监控硬件设备，发现异常增长情况；
S09：对异常增长情况进行分析后，根据以往增长的数据模型分析，判断此次资源消耗的增长情况属于以往哪一种情况；
S10：在数据库中找到了以往模型的匹配情况，则根据匹配模型的数据，得出未来资源消耗的情况，自动生成一个部署增加资源节点的策略，将策略发送至调度中心；
S11：调度中心接收到策略后，首先根据侧率文件的监控预警信息去监控中心进行验证，验证完毕后，确认书剑属实后开始实施增加资源计划；
S12：在计划实施的过程中，一旦完成了对某个资源节点的部署过程就在注册中心里面添加这个资源节点，注册中心会记录该事件；
S13：调度中心完成所有的部署的时候，再次通知注册中心，由注册中心去检验实施结果；
S14：注册中心在监控中心里添加新的监控，该监控的目的是在资源使用高峰结束后的提供一个预警；
S15：资源使用高峰结束后，按照原步骤回收资源。
本发明的基于实时统计数据的计算资源动态调度平台的优点在于，合理调度硬件设备资源；能够根据现有资源的实时使用情况去动态分配和调度部署不同的应用；提高资源利用率，提高业务处理速度。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (6)

1.一种基于实时统计数据的计算资源动态调度平台，其特征在于，包括监控中心、调度中心、配置中心、注册中心，监控中心包括监控模块、数据库，监控中心分别与调度中心、配置中心、注册中心进行数据传输，包括以下步骤：
S01：监控模块部署在被监控的硬件设备；
S02：监控模块定时采集硬件设备上的数据信息；
S03：监控模块将采集到的数据信息传输到监控中心；
S04：监控中心将数据信息录入至数据库；
S05：监控中心对数据信息进行分析，形成一个配置文件；
S06：监控中心将配置文件传输到配置中心；
S07：监控中心发现硬件设备出现资源消耗异常增长情况时，对增长情况进行判断；
S08：监控中心根据判断结果自动生成一个部署增加资源节点的调度策略，将调度策略传输到调度中心；
S09：调度中心对调度策略进行验证；
S10：验证完成后，实施资源调度计划；
S11：在实施资源调度计划的过程中，完成对某个资源节点的部署，就在注册中心添加该资源节点，并记录该事件；
S12：资源调度计划完成后，调度中心通知注册中心；
S13：注册中心检验实施结果；
S14：在检验实施结果过程中，注册中心通知监控中心，并在监控中心添加新的监控；
S15：资源调度结束后，按原步骤回收资源。
2.根据权利要求1所述的基于实时统计数据的计算资源动态调度平台，其特征在于，S02步骤中的数据信息包括应用使用硬件设备资源的情况和硬件设备资源所有的消耗情况。
3.根据权利要求1所述的基于实时统计数据的计算资源动态调度平台，其特征在于，S05步骤中的对数据信息进行分析的内容包括应用实际的使用硬件设备资源的情况，使用情况内容的交叉对比。
4.根据权利要求1所述的基于实时统计数据的计算资源动态调度平台，其特征在于，S05步骤中的配置文件的内容包括应用的类型和应用的标准使用硬件设备资源情况。
5.根据权利要求1所述的基于实时统计数据的计算资源动态调度平台，其特征在于，S07步骤中的判断为从数据库中的数据模型进行匹配，根据匹配的数据模型的数据，得到未来资源消耗的情况。
6.根据权利要求1所述的基于实时统计数据的计算资源动态调度平台，其特征在于，S13步骤中的新的监控的目的是在资源使用高峰结束后提供预警。
CN201611090046.2A 2016-11-28 2016-11-28 基于实时统计数据的计算资源动态调度平台 Pending CN106557370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611090046.2A CN106557370A (zh) 2016-11-28 2016-11-28 基于实时统计数据的计算资源动态调度平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611090046.2A CN106557370A (zh) 2016-11-28 2016-11-28 基于实时统计数据的计算资源动态调度平台

Publications (1)

Publication Number Publication Date
CN106557370A true CN106557370A (zh) 2017-04-05

Family

ID=58445805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611090046.2A Pending CN106557370A (zh) 2016-11-28 2016-11-28 基于实时统计数据的计算资源动态调度平台

Country Status (1)

Country Link
CN (1) CN106557370A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066074A (zh) * 2017-04-12 2017-08-18 广东南方新视界传媒科技有限公司 一种led显示屏多源环保节能控制方法和系统
CN108021447A (zh) * 2017-11-28 2018-05-11 象翌微链科技发展有限公司 一种基于分布式数据确定最优资源策略的方法及系统
CN108363627A (zh) * 2018-02-09 2018-08-03 上海宝尊电子商务有限公司 电商海量订单的实时流控与处理能力调整系统及方法
CN109522129A (zh) * 2018-11-23 2019-03-26 快云信息科技有限公司 一种资源动态均衡方法、装置及相关设备
CN111930729A (zh) * 2020-07-02 2020-11-13 上海微亿智造科技有限公司 动态实时计算大数据量的六西格玛数值的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103684916A (zh) * 2013-12-13 2014-03-26 国家计算机网络与信息安全管理中心 一种云计算下智能监控分析方法及系统
US20160170882A1 (en) * 2014-12-16 2016-06-16 Samsung Electronics Co., Ltd. Adaptable data caching mechanism for in-memory cluster computing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103684916A (zh) * 2013-12-13 2014-03-26 国家计算机网络与信息安全管理中心 一种云计算下智能监控分析方法及系统
US20160170882A1 (en) * 2014-12-16 2016-06-16 Samsung Electronics Co., Ltd. Adaptable data caching mechanism for in-memory cluster computing

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066074A (zh) * 2017-04-12 2017-08-18 广东南方新视界传媒科技有限公司 一种led显示屏多源环保节能控制方法和系统
CN108021447A (zh) * 2017-11-28 2018-05-11 象翌微链科技发展有限公司 一种基于分布式数据确定最优资源策略的方法及系统
CN108021447B (zh) * 2017-11-28 2021-08-03 象翌微链科技发展有限公司 一种基于分布式数据确定最优资源策略的方法及系统
CN108363627A (zh) * 2018-02-09 2018-08-03 上海宝尊电子商务有限公司 电商海量订单的实时流控与处理能力调整系统及方法
CN109522129A (zh) * 2018-11-23 2019-03-26 快云信息科技有限公司 一种资源动态均衡方法、装置及相关设备
CN111930729A (zh) * 2020-07-02 2020-11-13 上海微亿智造科技有限公司 动态实时计算大数据量的六西格玛数值的方法及系统

Similar Documents

Publication Publication Date Title
CN106557370A (zh) 基于实时统计数据的计算资源动态调度平台
CN105281981B (zh) 网络服务的数据流量监控方法和装置
TWI689874B (zh) 神經網路模型訓練、交易行為風險識別方法及裝置
CN109063612A (zh) 城市智能红线管理方法及机器可读存储介质
CN107645562A (zh) 数据传输处理方法、装置、设备及系统
CN101950296B (zh) 云数据审计的方法及系统
CN110933147B (zh) 一种基于云计算的信息技术分析系统
US20200287972A1 (en) Internet of things information system
CN104333556B (zh) 基于资源服务管理系统安全认证网关分布式配置管理方法
CN111798664B (zh) 一种违法数据识别方法及装置、电子设备
CN105808353A (zh) 一种摄像机资源共享的方法和装置
CN113825129B (zh) 一种5g网络环境下工业互联网资产测绘方法
CN109144734A (zh) 一种容器资源配额分配方法和装置
CN106371976A (zh) 客户端及Web服务器监控线程的方法及其系统
CN107016529A (zh) 基于大数据的科技项目申报辅导系统
CN112163026A (zh) 一种用于整合多类技术应用数据的多源异构接口管控方法
CN108288025A (zh) 一种车载视频监控方法、装置及设备
CN114925391A (zh) 隐私信息的流转监管方法、装置、电子设备和存储介质
CN114491492A (zh) 一种企业级信息系统权限重构的方法和系统
CN112732992B (zh) 一种多类资源融合治理的法院网络司法查控系统及其方法
CN115689610A (zh) 一种基于大数据的信用卡营销获客方法和装置
CN113778709B (zh) 接口调用方法、装置、服务器及存储介质
CN112685510B (zh) 一种基于全流量标签的资产标签方法、计算机程序及存储介质
CN110544182B (zh) 一种基于机器学习技术的配电通信网融合控制方法及系统
CN108874415A (zh) 企业云系统迁移中的升级推荐系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170405

RJ01 Rejection of invention patent application after publication