CN106100880B - 一种云数据资源部署及可视化管理方法 - Google Patents

Abstract

本发明提出了一种基于云数据资源部署方法及可视化管理方法。为了达到各个节点负载均衡的目的，每次新资源存储时使用哈希算法对资源进行分配存储，通过比较哈希算法对资源分布性的均匀程度，最终采用字符系数哈希算法实现均衡地动态分布数据文件。基于云平台的数据资源部署方法，该发明对包括管理员与用户对云平台资源节点的可视化管理，其中包含一个服务器节点和多个虚拟存储节点，服务器与虚拟存储节点间通过套接字进行通信，传递数据资源等；服务器端与数据库进行交互，长期存储数据资源信息；同时达到可视化信息管理的目的。通过模拟实现云数据资源的可视化管理，提高系统的数据资源利用率和服务质量，实现节能、负载均衡的目的。

Description

一种云数据资源部署及可视化管理方法

技术领域

本发明涉及一种基于自主化构建云平台的数据可视化技术，属于云计算数据视觉表现形式的科学研究领域。

背景技术

近年来，随着大量智能手机、平板电脑、云计算及传感器和物联网的出现，产生了人们不可想像的数据量。这两年产生的数据量，超过了此前的历史上的数据量。同时国内移动互联网市场规模不断扩大,用户数量已经超过5亿,并带来了海量的移动互联网流量数据，人们将更会注意到大数据的力量。因此带动了云计算产业飞速发展，目前越来越多的业务和应用开始部署到云计算平台上。数据存储和管理是云计算中非常重要也极具研究价值的领域，主要解决云计算中的数据存储与管理问题。目前，许多IT巨头们都在大力开发云存储技术和产品。例如，Google一直致力于推广以GFS、BigTab了等技术为基础的应用引擎，为用户进行海量数据处理提供了手段。

1、云平台

而如今云平台作为一种新兴的技术,云将IT基础设施、平台和软件以服务的形式通过网络以按需分配的方式对外提供。借助虚拟化技术，云计算将资源的粒度由物理主机缩小到虚拟机实例，使得原来很多较难实现或者需要耗费大量人力的管理操作如虚拟机迁移和虚拟机配置调整等变得更容易。云计算通过虚拟化的方式将计算、存储、网络等资源构建成统一的资源池，有效降低资源分配和管理的难度。实现一个高可用和可扩展的云计算服务平台来有效承载这些业务，在保证服务质量的同时充分利用平台的管理灵活性、可扩展特性及其带来的资源成本节约等优势变得至关重要。

由于云服务器是各个云厂商提供的，分布广泛且配置不同。当用户需要访问数据时，应该能快速地找到，当用户存储数据时，应该能够把数据存放在合适的服务器中，而且必须解决服务器的故障等问题，这些都需要进行管理。在此背景下,基于云平台会承载海量的数据，因此获得后台数据资源的可视化可以有效地帮助管理人员对后台服务器的性能和存储进行管理。

2、数据可视化技术

信息资源可视化是可视化技术在非空间数据领域的应用,可以增强数据呈现效果,让用户以直观交互的方式实现对数据的观察和浏览,从而发现数据中隐藏的特征、关系和模式。资源可视化管理可以提高系统的数据资源利用率和服务质量。由于业务的资源需求规模和系统负载呈现周期性波动，用户无法及时准确地调整资源，导致出现业务运行异常和资源浪费等问题。针对这些问题，将数据资源可视化可以提高系统的管理。获得信息的最佳方式之一是，通过视觉化方式，快速抓住要点信息。另外，通过视觉化呈现数据，也揭示了令人惊奇的模式和观察结果，是不可能通过简单统计就能显而易见看到的模式和结论。获得信息的最佳方式之一是，通过视觉化方式，快速抓住要点信息。因此本发明为实现对云平台资源的可视化，并致力于提供均衡负载的方式。在实现可视化的同时，如何提高云平台资源数据的合理调度和管理是研究的难点以及重点。

发明内容

技术问题；本发明所要解决的技术问题是：提供一种基于自主化构建云平台的数据可视化系统，并设计一种均衡负载的方式，保证服务器上资源均匀分布在各个节点中并足以保证各节点服务器正常运行。

技术方案：本发明的一种云数据资源部署及可视化管理方法，整体上分为资源部署方法和资源管理模块两部分；当用户上传新资源存储时，资源部署方法使用哈希算法对资源进行分配存储，通过多种哈希算法对资源分布性的均匀程度比较，最终采用字符系数哈希算法实现均衡地动态分布数据文件在虚拟节点上；资源管理模块提供了管理员和用户的可操作可视化界面，通过网页直接对资源文件进行操作，在保证一致性和安全性的基础上，通过权限设置，使得管理员对云平台的节点状态进行管理；同时，用户通过可视化界面对自身文件信息进行管理。

所述云数据资源部署方法具体包含如下步骤：

步骤一：随机生成长度可变、支持大小写、相当于文件名的字符串，

步骤二：每个字符串都利用既定的哈希函数进行取值，

步骤三：得到的哈值对云平台中节点个数进行模运算，

步骤四：由于数据量较大，因此采用标准化方法对数据进行标准化，

步骤五：对标准化后数据求方差，重复步骤一、二、三、四，分别对每次随机生成的字符串集标准化后求方差，比较离散程度确定哈希函数的分布策略。

所述资源管理模块，将资源管理模块的系统架构分为数据源、服务端、客户端和通信层四个部分，如下所述：

1).数据源包括虚拟机上模拟云平台的各个节点实例中的数据，为每个节点建立独立文件夹作为资源存储路径；

2).客户端运行在虚拟机模拟云平台的各个节点上，负责采集各节点CPU、内存的性能数据指标，主要获取内存中资源占有情况及数据存储情况，统一打包后发回服务器端；

3).服务端整合虚拟机模拟云平台的各个节点信息，即汇总各个客户端送回的资源存储情况，然后过滤存储到数据库中，并可为各个客户端设定存储阈值，若超过阈值则返回时回送预警信息；

4).通信层负责并保证客户端与服务器间的可靠通信，实现采集的资源占有情况从客户端上传到服务端。

有益效果：

1.利用FusionCharts实现资源的可视化操作，获得的节点状态信息及用户文件存储信息以图表形式展示。本系统采用FusionCharts工具对数据进行动态Flush显示，与用户交互性好，可视化效果强。通过java后台获取数据信息进行格式化后，利用Javascript脚本调用相应数据文件、图表模板进行动态图表渲染。

2.利用哈希算法实现数据分布，将海量数据均匀分布在不同节点上，同时管理员可通过可视化界面查看到各个节点的资源占有情况，除了利用哈希算法，管理员也可以进行对批量文件的迁移，从而达到虚拟云平台均衡负载的目的。

3.本系统提供了管理员和用户的可视化界面，操作方便，易于上手。通过网页可以直接对资源文件进行操作，在保证一致性和安全性的基础上，通过权限设置，使得管理员对云平台的节点状态进行管理；同时，用户通过可视化界面可以对自身文件信息进行管理。

4.本系统在使用过程中可以增加云平台节点数量，此系统对扩充云平台中的虚拟节点具有很好的兼容性，如此，在未来数据量很大的时候，可以增加虚拟机节点同时进行文件迁移，均衡负载。

附图说明

图1是本发明中整体软件系统的结构图。

图2是本发明中各个虚拟节点通信过程图。

具体实施方式

本发明将系统架构分为数据源、服务端、客户端和通信层四个部分：

数据源包括虚拟机上模拟云平台的各个节点实例中的数据，为每个节点建立独立文件夹作为资源存储路径；

客户端运行在虚拟机模拟云平台的各个节点上，负责采集各节点CPU、内存的性能数据指标，主要获取内存中资源占有情况及数据存储情况，统一打包后发回服务器端；

服务器端整合虚拟机模拟云平台的各个节点信息，即汇总各个客户端送回的资源存储情况，然后过滤存储到数据库中。并可为各个客户端设定存储阈值，若超过阈值则返回时回送预警信息；

通信层负责并保证客户端与服务器间的可靠通信，实现采集的资源占有情况从客户端上传到服务端。

上述功能的具体实现步骤及技术如下：

步骤1，构建虚拟节点并与服务器通信，在主机的虚拟机上创建多个虚拟节点，并配置IP地址及端口号。实现服务器端与虚拟节点的socket通信，并保证连接中的数据可靠发送与接收。

步骤2，java与FusionCharts工具的结合使用实现对数据资源的动态可视化界面显示，通过对数据资源信息的整合，使得java作为控制端对数据进行格式化，从而得到FusionCharts可识别的数据格式(例如XML或JSON)，利用Web脚本语言调用来创建和发布动态的、功能强大的表。

步骤3，系统需求设计，对于管理员后台实现管理员与超级管理员的功能区分，超级管理员不仅对用户及用户信息具有管理权限，而且对普通管理员具有管理权限，基本功能包含：登录、信息修改、图表显示(CPU利用率、节点存储信息、文件存储信息、用户文件分布信息)、文件管理(审核删除)、用户管理(审核删除)、管理员管理(超级管理员权限，增加超级管理员，删除管理员)、节点管理(文件迁移等)；对于用户前台实现用户注册、登录、图表显示(用户资源分布)、资源删除、上传新资源等。

步骤4，在用户进行新文件上传时，选择合适节点存储。海量存储系统中主要针对文件名和路径进行哈希，从而决定数据分布策略，实现均匀的数据分布(最好支持新节点的加入)。

进一步的，在步骤1、2、3和4之前，系统中为了保持资源存储信息的一致性，应通过数据库的长期存储来保证前台后台获取的资源状态相同。每次节点更新所得数据统计，将它们存储到数据库中再在系统界面中通过图表方式展现给用户，对于每个节点的存储都要进行遍历，从中检索出登陆用户存储的资源进行显示；管理员界面可查看全部用户存储历史，及当前节点存储数据。因此，重点是对每个用户建立自己的关系表，同时每个用户存储的资源信息应对他人隐藏。获取的每个节点的信息存储在数据库中，使用时获取保证数据的一致性。

本发明主要提出了在自主构架云平台的基础上，实现数据资源部署及可视化的方法。为了达到各个节点负载均衡的目的，每次当用户上传新资源存储时使用哈希算法对资源进行分配存储，通过多种哈希算法对资源分布性的均匀程度比较，最终采用字符系数哈希算法实现均衡地动态分布数据文件。基于数据资源的均衡分布，本发明实现了云平台管理模块的设计，在提供部署方法的同时，为用户提供可视化操作界面，方便用户使用。

在提出资源部署方法的基础上，本发明给出了云平台资源管理可视化方案，针对超级管理员、管理员和用户，分别给予不同的权限，并开发出了基于云平台的资源可视化管理系统，该系统包括管理员与用户对云平台资源节点的可视化管理，其中包含一个服务器节点和多个虚拟存储节点，服务器与虚拟存储节点间通过套接字进行通信，传递数据资源等；服务器端与数据库进行交互，长期存储数据资源信息；同时，区分管理员与用户权限，并达到可视化信息管理的目的。其详细的组件功能分为四个模块，可描述如下：

一.云平台数据资源部署方法模块

在上传文件时要求文件资源均匀分布在云平台的各个节点上。由于优良的哈希算法具有很好的散列性、抗冲突性和较高的计算效率，通常在海量存储系统中主要对文件名和路径进行哈希，从而决定数据分布策略。确定好的哈希函数来对文件名进行哈希值的计算，通过哈希值决定存储系统中数据的分布和定位，并保证数据的均匀分布和高效定位。以下是对针对本发明中应用哈希算法的测试过程：

1)随机生成字符串10万个(相当于文件名，长度可变，支持大小写)。

2)每个字符串都利用既定的哈希函数进行取值，由于10万个字符串的字典，关键字重复率高，因此选择适用于字符串的哈希函数。以下对本发明使用的哈希函数进行说明：

a.字符串ASCII码叠加(ASCII码叠加函数)

直接想到的办法就是让字符串中的每个字符的ascii码相加，得到其和SUM，让SUM作为哈希值，如SUM(text)＝t+e+x+t，上式求得SUM为字符串中每个字符的ascii码之和。

b.字符系数哈希算法

基于第一种方法，根据ascii码表得知a(97)+d(100)＝b(98)+c(99)，如此得出利用第一种哈希函数直接求和的话很容易发生碰撞，因此我们可以对字符间的差距进行放大，乘以一个系数，系数应当选择大于1的奇数，这样可以很好的降低碰撞的几率。

公式(1)中p[i]代表字符串中逐个字符的ascii码，n代表字符串中有多少个字符，M代表对字符进行放大的系数，求得SUM为得到的哈希值。

3)得到的哈值对云平台中节点个数进行模运算，使得每个文件分布在不同节点上，得到分布在每个节点上的文件数量。

4)由于10万个数据量较大，因此分布在各节点上的文件数量值过大，因此采用min-max标准化方法对数据进行标准化。

公式(2)中，即对数据进行标准化操作，表示得到的新数据，表示原数据，表示数据集中最小值，表示数据集中最大值。

5)对标准化后数据求方差，重复以上1、2、3、4的操作，对每次生成的字符串集标准化并求方差，比较离散程度确定哈希函数的分布策略，应用在本发明的资源管理模块中文件上传时确定文件存储位置。

二.数据库设计模块

表1Admin管理员表

表2Users用户表

表3divsave文件资源存储情况表

表4divnodefilenum文件资源存储情况表

表5nodefileNum文件资源存储情况表

三.技术细节实现模块

1.为了保证各个虚拟机节点间的可靠通信，采用java socket实现进程间通信，要求位于不同网络节点中不同进程的通信双方必须遵循同意的通信协议方可实现。各节点提前配置IP地址，每次采用未占用端口号进行通信实现对节点中文件资源信息的获取和文件传输等操作。

2.为了实现动态图表的显示，在系统中实现了在J2EE中嵌入FusionCharts工具的功能。服务器端对各节点中获取的文件信息进行整合和格式化操作(数据都以XML数据格式为标准)，写入相应的XML文件中。Web脚本语言实现XML文件对FusionCharts工具中SWFflash图表的映射，来实现相应的动态效果。

四.资源管理及可视化界面模块

基于数据资源部署方法，本发明提供了对云平台上部署后的数据资源管理方案及具体实现。

1.管理员管理界面功能

1)登录模块

管理员登陆时匹配数据库中管理员表中管理员名和密码，若匹配可登录；否则重新输入。

2)修改个人信息模块

管理员可对个人信息进行修改，首先要匹配原始管理员名和密码，匹配成功则修改成功；否则重新输入匹配。

3)图表形式查看信息模块

主机与各个虚拟机节点通信获取文件资源储存信息，全部返回主机，利用Dom4j工具的接口格式化数据，存储在相应XML文件中，在页面前端的脚本语言中调用相应的数据文件映射到FusionCharts中的图表上，在前端界面显示。相应图表的样式可以在写入XML文件时设置。图表显示包含CPU利用率、节点存储信息、文件存储信息和用户文件分布信息等。

4)文件、用户、管理员信息管理模块

管理员分为超级管理员和普通管理员，超级管理员可以对系统中所有管理员进行查看、审核、删除和增加超级管理员操作，而普通管理员没有此权限；所有管理员都可对云平台中各个节点中的文件进行查看、审核和删除操作；同时可以对用户进行查看、审核和删除操作。

5)节点资源迁移

用户上传文件时虽然已经有对文件均匀分布的算法实现，但基于云平台中节点内存有限或节点的CPU利用率长期处于较高的状态时，管理员可以根据实际情况进行节点资源迁移。选择原始节点迁移目标文件夹到目标节点。

2.用户管理界面功能

1)登录、注册模块

通过注册创建新用户，同时在数据库中的用户表、用户文件表中为新用户创建行，方便以后的状态存储；注册后，可以通过用户名、密码匹配登入系统中，以便实现用户对个人系统中信息的操作。

2)个人文件信息模块

用户仅有查看自己文件存储情况的权限，包括文件名、路径、虚拟节点位置等，并可对文件执行删除操作，注意此项操作并不是根本删除文件本身，只是将文件在数据库中的标识修改为不存在，在一定时间内可以恢复，若超过时间后，管理员可以在后台进行批量删除。

3)个人文件上传模块

用户上传本地文件到云资源服务器虚拟节点中，通过既定的数据资源部署方法中确定的哈希算法实现文件上传的分布策略，使得存储节点中文件均匀分布。

Claims (1)

1.一种云数据资源部署及可视化管理方法，其特征在于，该方法整体上分为资源部署方法和资源管理模块两部分；当用户上传新资源存储时，资源部署方法使用哈希算法对资源进行分配存储，通过多种哈希算法对资源分布性的均匀程度比较，最终采用字符系数哈希算法实现均衡地动态分布数据文件在虚拟节点上；资源管理模块提供了管理员和用户的可操作可视化界面，通过网页直接对资源文件进行操作，在保证一致性和安全性的基础上，通过权限设置，使得管理员对云平台的节点状态进行管理；同时，用户通过可视化界面对自身文件信息进行管理；

云数据资源部署方法具体包含如下步骤：

步骤一：随机生成长度可变、支持大小写、相当于文件名的字符串，

步骤二：每个字符串都利用既定的哈希函数进行取值，

步骤三：得到的哈希值对云平台中节点个数进行模运算，

步骤四：由于数据量较大，因此采用标准化方法对数据进行标准化，

步骤五：对标准化后数据求方差，重复步骤一、二、三、四，分别对每次随机生成的字符串集标准化后求方差，比较离散程度确定哈希函数的分布策略；

所述资源管理模块，将资源管理模块的系统架构分为数据源、服务端、客户端和通信层四个部分，如下所述：

1).数据源包括虚拟机上模拟云平台的各个节点实例中的数据，为每个节点建立独立文件夹作为资源存储路径；

2).客户端运行在虚拟机模拟云平台的各个节点上，负责采集各节点CPU、内存的性能数据指标，主要获取内存中资源占有情况及数据存储情况，统一打包后发回服务器端；

3).服务端整合虚拟机模拟云平台的各个节点信息，即汇总各个客户端送回的资源存储情况，然后过滤存储到数据库中，并可为各个客户端设定存储阈值，若超过阈值则返回时回送预警信息；

4).通信层负责并保证客户端与服务器间的可靠通信，实现采集的资源占有情况从客户端上传到服务端。