CN108616403A - 一种基于云计算的资源管理系统 - Google Patents

Abstract

本发明涉及一种基于云计算的资源管理系统，包含客户端应用模块、主管理模块、业务运行模块；该系统能够根据不同数据的处理能力分布到各个模块，并提供一种有效的资源查询方法，从而为系统提供了良好的可靠性和可用性。此外该机制还采用缓存器用来排队数据及完整的文件存储策略来保证系统的负载性以及存储查找效率。

Description

一种基于云计算的资源管理系统

技术领域

本发明涉及云计算领域，为一种基于云计算的资源管理系统。

背景技术

云计算中的资源管理关键技术根据用户的需求并通过监控系统的各项参数指标对系统资源进行动态规划、调度与调整，是影响云计算系统性能的核心要素之一。但是当前云计算特别是基于架构的云计算系统在该方面仍然存在着一些不足。首先是存储资源排序缺乏灵活性的问题。由于用户对不同数据的需求也不尽相同，这样一来会使得某些数据文件成为“热点”。因此在云计算存储资源排序过程中对这些数据文件一视同仁是不合理的，需要一种区分不同数据需求的动态存储资源排序机制。第二，资源在云存储中是一个关键问题。当前元数据管理机制多为单中心节点的主从架构，仅有的一些多节点元数据管理方式在元数据划分、持久化以及故障恢复等方面均存在不足，必须对资源的存储进行科学规划。

发明内容

有鉴于此，本发明提供一种解决或部分解决上述问题的基于云计算的资源管理系统。

为达到上述技术方案的效果，本发明的技术方案为：一种基于云计算的资源管理系统，包含客户端应用模块、主管理模块、业务运行模块；

客户端应用模块包含N个客户端以及与客户端配套的应用单元，N为自然数，客户端上设置了一排访问接口，访问接口暴露在资源管理系统之外，用于用户的访问，客户端被编号，并按照编号的大小升序排列，访问接口在其所在的客户端上也编上序号，访问接口在资源管理系统上的地址为，二进制数表示的访问接口所在客户端的编号为基地址，而二进制数表示的访问接口的序号为偏移地址，在基地址与偏移地址之间加上00并组合作为访问接口在资源管理系统上的地址；在访问请求中加入发送其的访问接口的地址，并放入需要访问的文档的ID；

应用单元内置访问请求处理器以及缓存器，访问请求处理器用于处理用户通过访问接口发送的访问请求以及传送访问请求需要访问的数据，将访问请求依照其产生的时间顺序存入缓存器中，并从缓存器中取出访问请求需要访问的数据；

需要访问的文档等于访问请求需要访问的数据；

缓存器用于临时存储访问请求需要访问的数据以及访问请求，当同一个客户端需要发送多个访问请求以及访问请求需要访问的数据多于一条时，必须使用缓存器进行缓存，在缓存器中依照访问请求的产生时间顺序排列成一个闭环，在闭环中设置一个缓存出口以及一个缓存入口，缓存出口用于将访问请求从闭环中取出并发出给业务运行模块或者将访问请求需要访问的数据从闭环中取出并发送给访问接口，缓存入口用于接收访问请求处理器发送的访问请求并存入缓存器，或者从主管理模块中取出访问请求需要访问的数据并存入缓存器，并且，当用户在访问请求中标注紧急标志，紧急标志表示该访问请求需要被优先被处理，改变缓存出口的位置到该访问请求所在闭环中的位置，将其优先取出并发送给业务运行模块，发送完毕时缓存出口被移动回到原有位置；

主管理模块中，包含M个文件服务器以及M个文件存储器，M为正整数，一个文件服务器以及一个文件存储器组成一个块，块组成了链式的结构存储，在块的头部以及尾部各设置一个钩子，分别以虚拟链条钩向前一个块、后一个块，块以访问的次数排列，在块中增加块头，块头中加入一个计时器；计时器用于对所在块的访问的次数计数，当所在块被访问一次，计数器加一；以周期T为一个时间单位，按块的访问的次数进行调整块的链式的结构，调整将虚拟链条断开，按块的访问的次数将块重新排列，再将虚拟链条重新将块钩上，组成块的链式的结构；

将资源以文档的形式进行存储在文件存储器中，资源为单一的图片、视频、音频、文本或几种混合存在，每一个文档都有独一无二的ID，并且，文档以层次化的结构进行存储，在一个文件存储器中只存储一个层次化的结构；在层次化的结构中，文档分为文档头以及文档尾，在文档头上放入ID，文档尾内放入文档的内容；将文档封装，封装成一个文档结点，文档接点上设置一个父绑定点以及2C+1个子绑定点、C个元素点，C为正整数，表示该文档结点所在层次的层次号，层次的编号从下至上排列，最上层的层次上只放置一个文档结点，该文档接点上的父绑定点为空，最下层的层次上放置的文档结点上的所述子绑定点为空；

父绑定点用于连接父绑定点所在文档结点上一个层次的一个文档结点，表示父绑定点所在文档结点是父绑定点所在文档结点上一个层次的一个文档结点的包含的内容扩展；子绑定结点用于连接子绑定点所在文档结点下一个层次的一个文档结点，表示子绑定点所在文档结点是子绑定点所在文档结点下一个层次的一个文档结点的包含的内容的精炼；元素点可以连接元素点所在文档结点的下一个层次的任一文档结点，表示连接的下一个层次的文档结点的内容为元素点所在文档结点的内容的核心；连接中使用连接线进行连接，连接线分为固定连接线与自由连接线，当连接使用固定连接线连接，表示连接的两个文档结点不可以解除连接关系，当连接使用自由连接线，表示连接的两个文档结点可以解除连接关系，分为两种情况，自动解除连接与手动解除连接，自动解除连接时在自由连接线上标注时间周期，表示在时间周期范围内两个文档结点连接，一旦超过时间周期，两个文档结点解除连接，手动解除连接时在自由连接线不再标注任何内容，用户可以自由解除连接关系；连接元素点的连接线必须为固定连接线；

文件服务器主要负责从同一个块中的文件存储器中查找访问请求需要访问的数据，查找的命令由业务运行模块发出；

在业务运行模块中，负责对块进行命名，按照块的链式的结构中块的顺序存储块的名字，制成一个索引表，以周期T为一个时间单位，同时更新块的名字的顺序，块的名字的顺序与链式的结构中块的顺序保持一致；块的序号由块的名字进行哈希得到，并且，每一个块都作为云结点存储在一个云中，每一个云结点配一个邻接表，在邻接表上存储块的链式的结构中上一个块的名字、下一个块的名字、块的IP地址；与索引表中块的名字对应，将每一个层次化的结构中的文档的ID以树形结构存储在业务运行模块的存储块中，当收到从缓存器发送的访问请求，在存储块中调出需要访问的文档的ID以及索引表中相应的块的名字，然后调用其同一个块中的文件服务器将访问请求需要访问的数据调出连同其的访问接口的地址传送回缓存器，经过缓存器的闭环排队后，解析访问接口的地址，传送给发送访问请求的访问接口。

本发明的有益成果为：本发明提供了一种基于云计算的资源管理系统，该系统能够根据不同数据的处理能力分布到各个模块，并提供一种有效的资源查询方法，从而为系统提供了良好的可靠性和可用性。此外该机制还采用缓存器用来排队数据及完整的文件存储策略来保证系统的负载性以及存储查找效率。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，能实现同样功能的产品属于等同替换和改进，均包含在本发明的保护范围之内。具体方法如下：

实施例1：不同厂家有不同的云计算方案，并且根据厂家自身的特点和目标，各种云计算平台有不同侧重，但是不可否认的是基本上所有的云计算平台都有相同的技术体系机构。云计算的技术体系结构大致可以归纳为四个层次面向服务的体系结构)构建层、管理层、资源池层与物理资源层。

物理资源层包括各种服务器，普通，各种存储介质，网络设备，软件等，是云计算系统中的实体资源的集合。资源池层可以理解为是物理资源层中各实体资源的抽象和汇聚，如各种类型的计算机和内部的存储、计算资源汇聚构成计算资源池，又如计算机上的软件汇聚构成软件资源池。构建层是云计算体系结构的一大特点。云计算本身即可用三种服务来定义，所以构建层可以看成是云计算的外在表现，是各种功能的对外接口。构建层可以包括服务的注册、接口、访问查找等。管理层一方面要对云计算中的各种资源进行管理即资源管理功能，还要有面向服务的任务管理以及用户管理功能，同时还要保障整个系统的安全。管理层的最终目的是为服务和用户提供资源接口，并保证资源能够安全、高效的提供服务。资源管理层包含资源调度算法、故障检测、故障恢复、监视统计、信息发布等内容。资源调度中使用多种调度算法，根据任务的需求，以资源实时监视信息为数据源，达到成本最优、任务执行时间最小等调度优化目标。故障检测周期性的测试资源软硬件状况，当发生异常时向管理员报告。故障恢复是发生故障或异常时，根据预先配置和设定进行故障处理。监控统计要监控各类资源的状态，汇总数据并及时提供给其它功能模块进行相应计算。

资源监控是指根据资源软硬件使用的实时信息来监控资源的运行状态和使用情况。由于动态实时信息描述了资源的使用情况，所以资源动态信息的更新速率越高，资源监控的实时性越好；并且由于资源的调度也依赖于资源的动态信息，所以资源动态信息的更新速率越高资源调度的性能越好。资源监控算法设计的重点在于怎样高性能的完成需要监控的资源大量、分布式资源的动态信息的采集和信息更新。针对这种应用场景和功能特点，资源信息采集功能的实现主要采用生产者消费者模式和线程池技术结合的体系架构。生产者消费者模式是指某一刻独立工作的模块负责生产数据，另一模块负责处理数据，它们各自依赖于数据，但是它们之间无直接依赖关系。产生数据的模块称为生产者，处理数据的称为消费者，生产者和消费者所依赖的数据称为数据单元，而数据单元一般要具有完整性、独立性和良好的颗粒度，数据单元需存放在缓冲区中。生产者、消费者、缓冲区和数据单元是生产者消费者模式的三大要素。在云计算资源管理的资源信息采集应用场景中，消费者是釆集信息的主体。其具体实现的功能为：根据输入数据单元中计算资源的地址和端口号，调用资源接口，获取资源的动态实时信息；根据接口调用情况判断资源的运行状态；将动态信息结构化到设计好的数据结构中；更新数据库资源信息表中资源的相应记录。

消费者的数据源是需要进行信息采集的资源的地址和端口号，所以资源地址和端口号就作为数据单元。资源地址和端口号可以唯一确认平台中的一个资源，所以满足数据单元设计要求中的完整性和独立性。一次资源采集过程总是放生在管理节点和一个资源之间，所以一个资源地址和端口号也是恰当的颗粒度。

生产者是信息釆集的数据准备。其具体实现的功能为：查询数据库，根据管理节点自身获取管理节点需要采集的资源列表；把列表中所有的资源组成数据单元写入缓冲队列。

缓冲区数据结构的设计应保证生产者和消费者对缓冲区的操作是互斥的。最简单的实现方案是线程安全队列。生产者中数据单元入队和消费者中数据单元出队时都要先获取对象锁，操作完成后释放对象锁，从而实现缓冲区的线程安全。当资源较多或是消费者线程较多时，数据入队出队过程中对象锁获取释放的系统开销会加剧并影响系统性能，解决方法是采用双缓冲区结构。双缓冲区总是一个用于生产者，另一个用于消费者。当两个缓冲区都操作完，进行一次切换(先前被生产者写入的转为消费者读出，先前消费者读取的转为生产者写入)。由于生产者和消费者不会同时操作同一个缓冲区，操作不会发生冲突，所以就不需要在读写每一个数据单元的时候都进行同步互斥操作。

在本发明文档的结点的存储中，例如门诊看病时，在看病这个文档结点的子绑定点上连接门诊的文档结点以及X射线的看病结果的文档结点的父绑定点，门诊的文档结点上的元素点连接看病这个文档结点的元素点。

实施例2：轮询调度算法。轮询调度算法是基于调度算法实现的。其设计原理是每一次把任务轮流分配给云计算系统内的资源上，从开始，直到计算资源个数，然后重新开始循环。算法实现简洁，一定程度上能够优化系统负载率。在资源列表中维护一个指示器变量，指示器指向列表中当前任务分配给的资源，下一次调度选择位置后的第一个可用资源分配给任务。

最优匹配调度算法。最优匹配调度算法的设计原理是每一次把任务分配给符合任务需求的资源列表中，评分最高的资源。当接收到一个任务需求时，遍历当前符合任务需求资源集合，根据任务需求对每一个计算资源做出评价，任务分配给评价最高的资源。

随机调度算法。随机调度算法设计原理是当接收到一个任务需求时，随机从符合任务需求资源集合中返回一个资源。

增加的系统控制器包括如下三点主要功能：

记录历史访问信息：当名字节点接收到客户端发来的文件读取请求的时候，会将此请求保存在访问记录中。每隔时间，保存在中的信息都会被传送到系统控制器中的历史记录当中。

计时器可能存在这样一种情况，即来自客户端对某文件读取请求在短时间内激增而随即又急剧下降。该计时器的主要功能主要是防止在这一情况下副本数量也在短时间内发生相应变化而给系统增加的负担。

确定需要增加或删除副本的节点的位置：系统控制器主要通过保存的历史信息来决定合适节点的位置。

本发明的有益成果为：本发明提供了一种基于云计算的资源管理系统，该系统能够根据不同数据的处理能力分布到各个模块，并提供一种有效的资源查询方法，从而为系统提供了良好的可靠性和可用性。此外该机制还采用缓存器用来排队数据及完整的文件存储策略来保证系统的负载性以及存储查找效率。

以上所述仅为本发明之较佳实施例，并非用以限定本发明的权利要求保护范围。同时以上说明，对于相关技术领域的技术人员应可以理解及实施，因此其他基于本发明所揭示内容所完成的等同改变，均应包含在本权利要求书的涵盖范围内。

Claims (1)

1.一种基于云计算的资源管理系统，其特征在于，所述资源管理系统包含客户端应用模块、主管理模块、业务运行模块；

所述客户端应用模块包含N个客户端以及与所述客户端配套的应用单元，所述应用单元与所述客户端的个数相等，一个应用单元对应一个客户端；其中，N为自然数；

在所述客户端上设置了一排访问接口，所述访问接口被暴露在所述资源管理系统之外，所述访问接口用于用户的访问；所述客户端从1开始被依次被升序编号，并按照所述编号的大小升序排列，所述访问接口在其所在的客户端上也被编上序号；所述访问接口在所述资源管理系统上的地址被设定为，首先设定二进制数表示的所述访问接口所在客户端的编号为基地址，再设定二进制数表示的所述访问接口的序号为偏移地址，在所述基地址与所述偏移地址之间加上00并组合作为所述访问接口在所述资源管理系统上的地址，即设定所述访问接口在所述资源管理系统上的地址为所述基地址+00+所述偏移地址；设定所述访问请求中包含发送所述访问请求的访问接口的地址以及需要访问的文档的ID；

所述应用单元内置访问请求处理器以及缓存器，所述访问请求处理器用于处理用户通过所述访问接口发送的访问请求以及传送所述访问请求需要访问的数据，将访问请求依照其产生的时间顺序存入所述缓存器中，并从所述缓存器中取出所述访问请求需要访问的数据；

需要访问的文档等于访问请求需要访问的数据；

所述缓存器用于临时存储所述访问请求需要访问的数据以及所述访问请求，当同一个所述客户端需要发送多个访问请求以及访问请求需要访问的数据多于一条时，必须使用所述缓存器进行缓存，在所述缓存器中依照访问请求的产生时间顺序排列成一个闭环，在所述闭环中设置一个缓存出口以及一个缓存入口，所述缓存出口用于将访问请求从所述闭环中取出并发出给所述业务运行模块或者将访问请求需要访问的数据从所述闭环中取出并发送给访问接口，所述缓存入口用于接收所述访问请求处理器发送的访问请求并存入所述缓存器，或者从所述主管理模块中取出访问请求需要访问的数据并存入所述缓存器，并且，当用户可以在访问请求中标注紧急标志，所述紧急标志表示该访问请求需要被优先被所述访问请求处理器处理，将所述缓存出口的位置移动到该访问请求所在闭环中的位置，以将其优先取出并发送给所述业务运行模块，发送完毕时所述缓存出口被移动回原有位置；

在所述主管理模块中，设置M个文件服务器以及M个文件存储器，M为正整数，一个文件服务器以及一个文件存储器组成一个块，多个块再组成了链式的结构来存储，在块的头部以及尾部各设置一个钩子，分别钩向其在链式结构中的前一个块、后一个块，并且，在链式结构中块以访问的次数排列，被访问次数多的块放在链式结构中的后面；

在块中增加块头，在所述块头中加入一个计时器；所述计时器用于对其所在块的访问的次数计数，当所在块被访问一次，所述计数器加一；所述主管理模块以周期T为一个时间单位，按块的访问的次数调整块的链式的结构，按块的访问的次数将块在链式结构中重新排列，组成新的块的链式的结构；所述周期T的范围为1分钟到10分钟；

资源被存储在所述文件存储器中，所述资源包含单一的图片、视频、音频、文本或几种混合的形式，每一个文档都有独一无二的ID，由用户任意指定，为数字与字母任意组合；并且，文档以层次化的结构进行存储在所述文件存储器中，但在一个所述文件存储器中只存储一个层次化的结构；在所述层次化的结构中，所述文档分为文档头以及文档尾，在所述文档头上放入文档的ID，所述文档尾内放入所述文档内容，所述文档内容等于资源；文档被封装成一个文档结点，每一个文档结点上设置一个父绑定点以及2C+1个子绑定点、C个元素点，所述文档结点、所述父绑定点、所述子绑定点都被统称为结点；其中，C为正整数，表示该文档结点在层次化结构中层次的编号，所述层次的编号从下至上依次从1开始升序编号，并且从下至上依次放置文档结点，最上层的层次上只放置一个文档结点，该文档接点上的所述父绑定点为空，最下层的层次上放置的文档结点上的所述子绑定点为空；在所述层次化的结构中，文档结点被依次放置在各个层次中；

所述父绑定点用于连接所述父绑定点所在文档结点上一个层次的一个文档结点，表示所述父绑定点所在文档结点中存储的文档内容是所述父绑定点所在文档结点上一个层次的一个文档结点中存储的文档内容扩展，即所述父绑定点所在文档结点中存储的文档内容包含所述父绑定点所在文档结点上一个层次的一个文档结点中存储的文档内容；所述子绑定结点用于连接所述子绑定点所在文档结点下一个层次的一个文档结点，表示所述子绑定点所在文档结点中存储的文档内容是所述子绑定点所在文档结点下一个层次的一个文档结点中存储的文档内容的精炼，即所述子绑定点所在文档结点中存储的文档内容被包含在所述子绑定点所在文档结点下一个层次的一个文档结点中存储的文档内容中；所述元素点可以连接所述元素点所在文档结点的下一个层次的任一个文档结点，表示连接的下一个层次的文档结点的内容为所述元素点所在文档结点的内容的核心内容；在上述的过程中，连接中使用连接线进行连接，所述连接线分为固定连接线与自由连接线，当连接使用固定连接线连接，表示连接的两个结点不可以解除连接关系，当连接使用自由连接线，表示连接的两个结点可以解除连接关系，并且，自由连接线被分为两种情况，自动解除连接与手动解除连接，自动解除连接时在所述自由连接线上标注时间周期，表示在所述时间周期范围内两个结点连接，一旦超过所述时间周期，两个结点解除连接，手动解除连接时在所述自由连接线不再标注任何内容，用户可以自由解除连接关系；但是，连接所述元素点的连接线必须为固定连接线；

所述文件服务器主要负责从同一个块中的所述文件存储器中查找访问请求需要访问的数据，查找的命令由所述业务运行模块发出；

在所述业务运行模块中，首先，负责对块进行命名，按照块的链式的结构中块的顺序存储块的名字，并将其制成一个索引表，以周期T为一个时间单位，同时更新块的名字的顺序，块的名字的顺序与链式结构上的顺序保持一致；块的IP地址由块的名字进行哈希得到，并且，每一个块都作为云结点存储在一个云中，每一个云结点配一个邻接表，在所述邻接表上存储块的链式的结构中前一个块的名字、后一个块的名字、块的IP地址；与所述索引表中块的名字对应，将每一个层次化的结构中的文档的ID以树形结构存储在所述业务运行模块的存储块中，当收到从所述缓存器发送的所述访问请求，在所述存储块中调出需要访问的文档的ID以及所述索引表中相应的块的名字，然后调用其同一个块中的所述文件服务器将访问请求需要访问的数据调出，并且连同需要访问的数据的访问接口的地址传送回所述缓存器，经过在所述缓存器的闭环中排队后，再解析访问接口的地址，传送给发送访问请求的访问接口；其中，访问接口的地址等于所述访问接口在所述资源管理系统上的地址。