CN112765515A - 基于云计算的集群网站管理系统 - Google Patents
基于云计算的集群网站管理系统 Download PDFInfo
- Publication number
- CN112765515A CN112765515A CN202011519362.3A CN202011519362A CN112765515A CN 112765515 A CN112765515 A CN 112765515A CN 202011519362 A CN202011519362 A CN 202011519362A CN 112765515 A CN112765515 A CN 112765515A
- Authority
- CN
- China
- Prior art keywords
- resource
- module
- cloud
- local
- management system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 32
- 238000007726 management method Methods 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 10
- 238000013468 resource allocation Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000008901 benefit Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及云计算技术领域，公开了基于云计算的集群网站管理系统，包括包括云端服务器和与该云端服务器连接的多个本地物理终端，云端服务器中设有中央服务器和与该中央服务器分别连接的云数据库、资源收集器、资源池、云端资源监控模块、资源调度模块和工作队列分配模块，多个本地物理终端内分别设有微处理器和与该微处理器连接的通讯模块、本地资源监控模块、本地资源分配模块，用以实现对集群网站的资源优化配置。
Description
技术领域
本发明涉及集群网站管理系统技术领域，尤其涉及基于云计算的集群网站管理系统。
背景技术
集群网站也称集群式网站、网站集群，是指建立在统一标准、统一技术构架基础之上,分级管理、分级维护、耦合程度高、信息可以实现基于特定权限共享呈送的网站集合。网站集群系统是一种多网站架构模式，支持生成独立网站、多个网站,完成各个网站横向一体化和纵向一体化网站群的构建，主站、子站、网站间的信息可共享和信息互联，简单的说，就是一个企业/个人可以像申请博客那样自助建站、维护、更新、而分布式，就是把问题分开解决的意思，即系统分布在几个不同服务器上，一般出于以下三种情况使用1)单台服务器无法承受压力；2)需要实现发生错误时候，自动切换；3)学习或者测试分布式技术。
现有的分布式集群资源管理系统，存在着机器和计算资源管理不合理的问题，例如：亚马逊和阿里巴巴的这两家公司之间有一个巨大的共同点，就是它们都是电商公司。电商公司的特点很明显，就是流量不是固定的，往往会受到大促节日的影响，像是国内的双十一和美国的黑色星期五就是典型的大促，在大促的时候的流量会是平常的十倍甚至更多，这么大的流量必须要有更多的机器去应对。但问题是如果去买这么多机器，但是大促过了，流量下降，那么这些机器就又用不到了，显然就会造成浪费。
在大数据时代到来之前，基本上机器变更基本上都是系统上线下线的情况，这还好说。毕竟一般的公司系统变化不会特别频繁，但是大数据时代来临之后，临时任务的数量大增，今天需要跑下用户的这份数据，明天需要统计一份报表，来来回回的临时需求，而且这些需求往往需要用到大量机器，靠运维来人工处理很浪费时间也不现实，而且容易出错。所以申请人开发一套基于云计算的集群网站管理系统来做这件事情，通过云计算技术来合理的规划和配置集群网站的计算资源。
发明内容
(一)要解决的技术问题
本发明实施例提供基于云计算的集群网站管理系统，用以实现对集群网站的资源优化配置。
(二)发明内容
本发明实施例提供基于云计算的集群网站管理系统，包括云端服务器和与该云端服务器连接的多个本地物理终端，云端服务器中设有中央服务器和与该中央服务器分别连接的云数据库、资源收集器、资源池、云端资源监控模块、资源调度模块和工作队列分配模块，多个本地物理终端内分别设有微处理器和与该微处理器连接的通讯模块、本地资源监控模块、本地资源分配模块；
云数据库，用来存储并实时更新本地物理终端中的各个模块的技术架构；云端服务器和本地物理终端均设有通讯模块，二者之间的全部通讯信息和产生的操作文档也保存于云数据库之中；
资源收集器，用于收集中央服务器的闲置处理器资源并将其放入资源池；
云端资源监控模块，用于收集多台本地物理终端的微处理器的使用情况，并监控云端服务器的资源使用情况；
资源调度模块，用于调度中央处理器和多个微处理器的资源；
工作队列模块，用于为各项任务分配工作队列和处理器资源；
本地资源监控模块，用于监控其所属的本地物理终端的微处理器资源使用情况；
本地资源分配模块，用于分配其所属的本地物理终端的微处理器资源的使用。
进一步的，每一个本地物理终端均被分成多个虚拟物理终端。
进一步的，虚拟物理终端为虚拟机或者docker。
进一步的，工作队列分配模块可以分配spark、MapReduce、MPI等多种任务。
进一步的，云端资源监控模块包括计时模块，查重模块、数据交换量统计模块和资源分析模块。
进一步的，计时模块用于对每个任务占用资源的时长进行计时。
进一步的，查重模块，用于将单个任务所调用的内容与其实际访问的内容进行对比和重复率统计。
进一步的，数据交换量统计模块用于统计单个任务与中央处理器之间的数据交换总量。
进一步的，资源分析模块根据计时模块，查重模块，数据交换量统计模块的统计结果来分析资源占用情况，并将其反馈至资源调度模块。
进一步的，云端资源监控模块的统计时间为一个月。
(三)有益效果
本发明实施例提供的基于云计算的集群网站管理系统，通过在云端服务器中部署资源收集器、资源池、云端资源监控模块、资源调度模块和工作队列分配模块来监控、规划并合理调度中央处理器和微处理器的计算资源，来实现对集群网站的资源优化配置。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的基于云计算的集群网站管理系统的组成结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“第一”“第二”“第三”是为了清楚说明产品部件进行的编号，不代表任何实质性区别。“上”“下”“左”“右”的方向均以附图所示方向为准。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。
需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在发明实施例中的具体含义。
图1是本发明实施例中的集群网站管理系统，包括云端服务器和与该云端服务器连接的多个本地物理终端，云端服务器中设有中央服务器和与该中央服务器分别连接的云数据库、资源收集器、资源池、云端资源监控模块、资源调度模块和工作队列分配模块，多个本地物理终端内分别设有微处理器和与该微处理器连接的通讯模块、本地资源监控模块、本地资源分配模块；
其中，云数据库，用来存储并实时更新本地物理终端中的各个模块的技术架构；云端服务器和本地物理终端均设有通讯模块，二者之间的全部通讯信息和产生的操作文档也保存于云数据库之中；资源收集器，用于收集中央服务器的闲置处理器资源并将其放入资源池；云端资源监控模块，用于收集多台本地物理终端的微处理器的使用情况，并监控云端服务器的资源使用情况；资源调度模块，用于调度中央处理器和多个微处理器的资源；工作队列模块，用于为各项任务分配工作队列和处理器资源；本地资源监控模块，用于监控其所属的本地物理终端的微处理器资源使用情况，本地资源分配模块，用于分配其所属的本地物理终端的微处理器资源的使用。
由于一台物理终端的功能非常强大，所以一般我们不会直接接入系统，而是会在上面部署多个容器，相当于多个虚拟机，也就是把一台机器变成多台加入集群。所以这个过程称为虚拟化。以前很多C++工程师是就是专门做这个的，现在docker兴起，很多已经逐渐换成docker了。好处是如果单个或若干个容器宕机，整个物理机还活着，可以随时重启。还有一个原因是一般没有那么大的任务可以吃掉一整个物理机的资源，也是节约资源。除了容器之外，还需要一个节点管理器，负责和整个管理系统通信。每一个本地物理终端均被分成多个虚拟物理终端。这样可以不用依赖于人工运维来处理，减小人力成本，并避免人工操作可能产生的粗心大意的失误。
进一步的，工作队列分配模块可以分配spark、MapReduce、MPI等多种任务。
进一步的，云端资源监控模块包括计时模块，查重模块、数据交换量统计模块和资源分析模块，计时模块用于对每个任务占用资源的时长进行计时；查重模块，用于将单个任务所调用的内容与其实际访问的内容进行对比和重复率统计；交换量统计模块用于统计单个任务与中央处理器之间的数据交换总量；为了保证数据的准确性，防止系统误差，云端资源监控模块的统计时间为一个月数据，上述数据传送至资源分析模块，资源分析模块根据计时模块，查重模块，数据交换量统计模块的统计结果来分析资源占用情况，并将其反馈至资源调度模块，资源调度模块来下达资源的回收、释放指令，回收限制的计算资源到资源池，并将其分配至当前待处理的工作队列，结束占用资源过长，重复率过高的任务进程，并回收其占用的资源。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.基于云计算的集群网站管理系统，包括云端服务器和与该云端服务器连接的多个本地物理终端，其特征在于，所述云端服务器中设有中央服务器和与所述中央服务器分别连接的云数据库、资源收集器、资源池、云端资源监控模块、资源调度模块和工作队列分配模块，所述多个本地物理终端内分别设有微处理器和与所述微处理器连接的通讯模块、本地资源监控模块、本地资源分配模块；
所述云数据库，用来存储并实时更新本地物理终端中各个模块的技术架构；所述云端服务器和所述本地物理终端均设有的通讯模块，二者之间的全部通讯信息和产生的操作文档也保存于所述云数据库之中；
所述资源收集器，用于收集所述中央服务器的闲置处理器资源并将其放入所述资源池；
所述云端资源监控模块，用于收集所述多台本地物理终端的微处理器的使用情况，并监控云端服务器的资源使用情况；
所述资源调度模块，用于调度所述中央处理器和所述多个微处理器的资源；
所述工作队列模块，用于为各项任务分配工作队列和处理器资源；
所述本地资源监控模块，用于监控其所属的本地物理终端的微处理器资源使用情况；
所述本地资源分配模块，用于分配其所属的本地物理终端的微处理器资源的使用。
2.根据权利要求1所述的基于云计算的集群网站管理系统，其特征在于，所述每一个本地物理终端均被分成多个虚拟物理终端。
3.根据权利要求2所述的基于云计算的集群网站管理系统，其特征在于，所述虚拟物理终端为虚拟机或者docker。
4.根据权利要求1所述的基于云计算的集群网站管理系统，其特征在于，所述工作队列分配模块可以分配spark、MapReduce、MPI等多种任务。
5.根据权利要求1所述的基于云计算的集群网站管理系统，其特征在于，所述云端资源监控模块包括计时模块，查重模块、数据交换量统计模块和资源分析模块。
6.根据权利要求5所述的基于云计算的集群网站管理系统，其特征在于，所述计时模块用于对每个任务占用资源的时长进行计时。
7.根据权利要求5所述的基于云计算的集群网站管理系统，其特征在于，所述查重模块，用于将单个任务所调用的内容与其实际访问的内容进行对比和重复率统计。
8.根据权利要求5所述的基于云计算的集群网站管理系统，其特征在于，所述数据交换量统计模块用于统计单个任务与中央处理器之间的数据交换总量。
9.根据权利要求5所述的基于云计算的集群网站管理系统，其特征在于，所述资源分析模块根据所述计时模块，所述查重模块，所述数据交换量统计模块的统计结果来分析资源占用情况，并将其反馈至所述资源调度模块。
10.根据权利要求5所述的基于云计算的集群网站管理系统，其特征在于，所述云端资源监控模块的统计时间为一个月。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011519362.3A CN112765515A (zh) | 2020-12-21 | 2020-12-21 | 基于云计算的集群网站管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011519362.3A CN112765515A (zh) | 2020-12-21 | 2020-12-21 | 基于云计算的集群网站管理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112765515A true CN112765515A (zh) | 2021-05-07 |
Family
ID=75695156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011519362.3A Pending CN112765515A (zh) | 2020-12-21 | 2020-12-21 | 基于云计算的集群网站管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112765515A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345431A (zh) * | 2013-07-23 | 2013-10-09 | 中国联合网络通信有限公司海南省分公司 | 一种基于虚拟化技术的业务云平台系统 |
| CN107147531A (zh) * | 2017-05-27 | 2017-09-08 | 遵义华宁科技有限公司 | Cdm集群网站管理系统 |
| US10635657B1 (en) * | 2019-07-18 | 2020-04-28 | Capital One Services, Llc | Data transfer and resource management system |
-
2020
- 2020-12-21 CN CN202011519362.3A patent/CN112765515A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345431A (zh) * | 2013-07-23 | 2013-10-09 | 中国联合网络通信有限公司海南省分公司 | 一种基于虚拟化技术的业务云平台系统 |
| CN107147531A (zh) * | 2017-05-27 | 2017-09-08 | 遵义华宁科技有限公司 | Cdm集群网站管理系统 |
| US10635657B1 (en) * | 2019-07-18 | 2020-04-28 | Capital One Services, Llc | Data transfer and resource management system |
Non-Patent Citations (1)
| Title |
|---|
| 陈思颖等: "《移动云计算随机任务序列的执行调度》", 《电脑知识与技术》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107066319B (zh) | 一种面向异构资源的多维调度系统 | |
| US11755452B2 (en) | Log data collection method based on log data generated by container in application container environment, log data collection device, storage medium, and log data collection system | |
| CN108335075B (zh) | 一种面向物流大数据的处理系统及方法 | |
| CN109347974B (zh) | 提高在线服务质量和集群资源利用率的混合调度系统 | |
| CN108776934A (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
| CN102694868A (zh) | 一种集群系统实现及任务动态分配方法 | |
| CN104735095A (zh) | 一种云计算平台作业调度方法及装置 | |
| CN108696571B (zh) | 云存储服务系统、方法、云服务智能设备及电子装置 | |
| CN112579304A (zh) | 基于分布式平台的资源调度方法、装置、设备及介质 | |
| CN109873714A (zh) | 云计算节点配置更新方法及终端设备 | |
| Simoncelli et al. | Stream-monitoring with blockmon: convergence of network measurements and data analytics platforms | |
| CN103067486A (zh) | 基于PaaS平台的大数据处理方法 | |
| CN116340110A (zh) | 云平台集群监控指标数据的自动化巡检方法及系统 | |
| Jonathan et al. | Rethinking Adaptability in {Wide-Area} Stream Processing Systems | |
| CN104468710A (zh) | 一种混合大数据处理系统及处理方法 | |
| CN105825332B (zh) | 基于云计算的电能计量监测平台及其方法 | |
| CN112765515A (zh) | 基于云计算的集群网站管理系统 | |
| CN116226067A (zh) | 日志管理方法、日志管理装置、处理器和日志平台 | |
| Long et al. | An improved topology schedule algorithm for storm system | |
| CN105991366B (zh) | 一种业务监控方法及系统 | |
| CN114090201A (zh) | 资源调度方法、装置、设备及存储介质 | |
| CN110912957B (zh) | 一种实现生产设备状态实时监控的多服务集群设计方法 | |
| Liu et al. | Distributed ale in rfid middleware | |
| CN106844021B (zh) | 计算环境资源管理系统及其管理方法 | |
| CN113110922B (zh) | 一种基于Quartz与多线程的不动产登记方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210507 |