CN102333114A

CN102333114A - 一种基于云服务的数据处理方案

Info

Publication number: CN102333114A
Application number: CN201110224440A
Authority: CN
Inventors: 张新钰; 郑莉; 许斌; 王茜; 贾宁
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2011-08-05
Filing date: 2011-08-05
Publication date: 2012-01-25

Abstract

本发明提供了一种基于云服务的数据处理方案，方法包括：用户在云服务器端注册成为云服务器客户；云服务器为各用户分配处理空间；用户选择具有可视化模板的抽取构件；用户将本地数据上传到云服务器；云端对数据进行处理，包括对数据进行抽取、转换、分析和展示操作；数据处理结果保存在云服务器。装置包括：注册模块，用于完成用户在云服务器端的注册和空间分配；选择模块，用于选择具有可视化模板的抽取构件；上传模块，用于完成用户将数据上传到云服务器；数据处理模块，用于完成对数据的处理，包括对数据的抽取、转换、分析和展示；储存模块，用于完成数据在云端的储存；导出模块，用于完成将数据导出到用户本地。

Description

一种基于云服务的数据处理方案

技术领域

本发明涉及数据处理领域，特别是涉及一种基于云服务的数据处理方案。

背景技术

云服务的核心思想是将大量用网络连接的计算资源统一管理和调度，构成一个资源池向用户按需服务。狭义的云服务被定义为：“提供资源的网络”，云中的资源在使用者看来是可以无限扩展的，并且可以随时获取。广义的云服务是一些可以自我维护和管理的虚拟资源，云服务将所有的资源集中起来，并由软件实现自动管理，无需人为参与。云服务的一个核心理念就是通过不断提高“云”的处理能力，进而减少用户终端的处理负担，最终使用户终端简化成一个单纯的输入输出设备，并能按需享受“云”的强大计算处理能力！

数据处理领域(Data Processing Domain，DPD)是计算机应用的一个重要领域，一种基于云服务的数据处理系统，其主要特点和要求包括：高精确性、实时性、可信性。随着被处理数据的复杂程度越来越高，需要准确度更高、可信度更好的数据处理系统。

发明内容

本发明所要解决的技术问题是提供一种基于云服务的数据处理方案，用以对数据进行抽取、转换、分析和展示处理，对数据的处理过程由构件中的可视化的模板指引用户操作，同时将数据永久地保存在云服务器。

为了解决上述问题，本发明公开了一种基于云服务的数据处理方案，所述方法包括：

用户在云服务器端注册成为云服务器客户；

云服务器为各用户分配处理空间；

用户选择具有可视化模板的抽取构件；

用户将本地数据上传到云服务器；

云端对数据进行处理，包括对数据进行抽取、转换、分析和展示操作；

数据处理结果保存在云服务器。

优选的，所述对数据的处理过程由构件中的可视化模板指引用户完成，该可视化模板的类型与用户上传的数据类型相匹配。

优选的，所述云服务器为各用户分配的处理空间剩余不足时，云端自动为该用户分配处理空间。

优选的，所述对数据的抽取由用户新建相同数据，移除导入数据中不需要的数据。

优选的，所述对数据的转换由云服务器自动对数据进行清洗、加载选项，并建立索引。

优选的，所述上传到云服务器中的数据会安全永久地存储在用户的个人空间内。

优选的，用户能直接查看并导出储存在云端的数据信息。

所述装置包括：

注册模块，用于完成用户在云服务器端的注册和空间分配；

选择模块，用于选择具有可视化模板的抽取构件；

上传模块，用于完成用户将数据上传到云服务器；

数据处理模块，用于完成对数据的处理，包括对数据的抽取、转换、分析和展示；

储存模块，用于完成数据在云端的储存；

导出模块，用于完成将数据导出到用户本地。

优选的，所述数据处理模块，完成数据抽取之后，将不同数据源的数据统一化之后集成放入数据仓库。

优选的，所述数据处理模块中对数据的处理过程由构件中的可视化模板指引用户完成，该可视化模板的类型与用户上传的数据类型相匹配。

与现有技术相比，本发明具有以下优点：

本发明中，用户导入云服务器中的数据会在云服务器上安全永久地保存；云端系统能对用户数据进行抽取、转换、分析和展示处理，处理过程由构件中的可视化的模板指引用户完成，该可视化模板类型与用户上传数据类型相匹配；用户能随时查看保存在云端的数据并下载到本地。

附图说明

图1是本发明实施例一所述的一种基于云服务的数据处理流程图；

图2是本发明实施例一所述的一种储存空间自动扩展的示意图；

图3是本发明实施例一所述的数据处理领域的模型图；

图4是本发明实施例二所述的一种基于云服务的数据处理装置的结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种基于云服务的数据处理方案的流程图，所述方法具体包括：

步骤S101，用户在云服务器端注册成为用户；

优选的，所述方法还包括：用户注册时，系统会为用户自动创建一个系统邮箱，用于系统向用户发送消息。

在实际应用中，用户首先会在云服务器端进行注册，同时获得一个自己的站内邮箱，用来接收云服务器发送的信息。

步骤S102，云端为用户分配处理空间；

在用户注册为云服务器的客户后，云服务器端会自动为每个用户分配一个数据处理空间。

优选的，用户空间的所有数据信息在云服务器上安全永久的保存。

更为优选的，所述云服务器上客户的空间为自动扩展型。

云端服务器会将用户的所有数据资料安全永久地保存在云端服务器，用户在云端的空间容量是可自动扩展的，当用户的数据量接近当前容量上限时，系统会自动为该用户扩展容量，这样就使储存资源不会因大量空闲而浪费，用户也不用担心因空间容量不足，数据无法上传或者保存。

参照图2，示出了一种空间容量自动扩展的示意图，用户的所有数据资料保存在云端服务器，用户注册后，云端会自动为用户分配一定大小的储存空间(假设为300M)，当用户上传数据时，如果剩余可用空间不足(假设不足10M)，云端服务器会自动再为该用户分配储存空间(假设再分配300M)，然后用户再重新上传数据；如果用户的可用空间充足，云端服务器就会将用户上传的数据进行处理，并储存在云端。这样就既不会因为大量空间闲置而浪费储存资源，用户空间又不会因为超过储存容量而无法上传或者保存处理数据。

步骤S103，用户选择具有可视化模板的抽取构件；

用户选择的抽取构件中含有与要上传数据类型相匹配的可视化模板，该可视化模板用来指引用户完成对数据处理的操作。

步骤S104，用户将本地数据上传到云端服务器；

优选的，导入云服务器中的数据资料会存储在用户个人的空间内。

用户将本地数据上传到云服务器后，云端会自动将数据保存到用户个人的空间内，云端对数据的抽取、转换、分析和展示操作，都不会改变用户的原始数据资料，所有对数据的处理，都基于储存在云端空间中的数据。

步骤S105，云服务器对数据进行处理；

参照图3，示出了一种数据处理领域的模型图，当数据上传到用户云端空间后，云服务器便可以根据用户的需求对数据进行抽取、转换、分析和展示处理。

数据抽取的目的是在异构数据源之间进行有价值的数据的导入和导出。对于一个数据处理的软件系统来说，数据源可以是来自外部或者内部的结构化的数据，也有可能是电子文档、网页之类的非结构化的数据，甚至可能是云计算环境下的分布式数据。

抽取到这些数据之后，必须将不同数据源的数据统一化之后集成进入数据仓库，这个过程就叫做数据转换。数据转换的关键在于将在不同的数据源中识别数据的意义，并将各种数据统一化。数据转换的过程包括清洗、转换、加载和索引。抽取到的数据经过数据转换后，就可以保存到数据仓库中。

数据仓库中保存了采集好的数据，就可以进行数据分析，数据分析过程就是通过数学计算、统计、数据挖掘各种分析算法，从数据仓库中获得业务需要的信息。数据分析是整个数据处理的核心，也是最复杂的部分，在不同的应用领域中，都有专门的数据分析方法和指标，在本方案中，更关注准确性较强的数据分析方法。

数据处理的最后一个阶段是数据展示，这个过程将数据分析得到的信息，通过报表、图片、数据文件等方式展现给决策人员。

优选的，这种对数据的处理过程会由所选构件中的可视化的模板指引用户完成操作，该构件中的可视化的模板类型与用户上传数据的类型相匹配。

步骤S106，数据的安全永久储存。

经过处理后的数据以及空间内的其他数据，都会被永久保存在安全性很高的云端服务器。

优选的，用户可以随时查看数据信息。

优选的，用户可以下载云端数据到本地。

在云端服务器储存数据，有数据安全可靠、数据远程存储的特点，保证了数据的长久安全存储，提高了数据的安全性，数据及其统计分析的结果都将长期保存。

参照图4，示出了本发明的一种基于云服务的数据处理装置的结构图，所述装置包括：

注册模块，用于完成用户在云服务器端的注册和空间分配；

选择模块，用于选择具有可视化模板的抽取构件；

上传模块，用于完成用户将数据上传到云服务器；

数据处理模块，用于完成数据的处理，其中包括对数据的抽取、转换、分析和展示；

存储模块，用于完成数据在云端的储存；

导出模块，用于完成将数据导出到用户本地。

优选的，所述装置还包括：

数据处理模块中完成数据抽取之后，将不同数据源的数据统一化之后集成放入数据仓库。

优选的，对数据的处理过程，由所选构件中的可视化的模板指引用户完成，该构件中的可视化模板类型与用户上传数据的类型相匹配。

导入数据时，用户选择导入类型，即选择相应的抽取构件，连接至相应的可视化模板，提示上传本地源数据。用户选择需要上传的数据，提交后，进入可视化模板的数据抽取过程，现有导入数据中出现上传数据后说明本地数据已经导入并读取出来，然后新建一个与上传数据类型相同的数据，在名称处输入新建数据的名称，选择要操作的工作薄，即用户上传到云服务器的数据，选中希望移除的内容，点击移除按钮，提交后即可完成数据的抽取过程。

导出新建数据，云服务器自动完成对数据的转换处理，加载创建时间、最后修改时间、记录所有者、最后修改者以及对数据进行的查看、删除、修改等项目，并建立索引。

数据转换后，对数据进行分析，选择新建分析，进入后新建一个视图，在名称中输入视图名称，在所有字段中选择要进行分析的字段，选择字段规则，完成对数据的分析。

数据分析后对分析结果进行展示，点击新建展示，选择展示类型，设置展示名称、统计方式、图表类型等参数，对分析结果进行直观地展示。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种基于云服务的数据处理方案和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于云服务的数据处理方案，其特征在于，所述方法包括：

用户在云服务器端注册成为云服务器客户；

云服务器为各用户分配处理空间；

用户选择具有可视化模板的抽取构件；

用户将本地数据上传到云服务器；

数据处理结果保存在云服务器。

2.根据权利要求1所述的方法，其特征在于，所述对数据的处理过程由构件中的可视化模板指引用户完成，该可视化模板的类型与用户上传的数据类型相匹配。

3.根据权利要求1所述的方法，其特征在于，所述云服务器为各用户分配的处理空间剩余不足时，云端自动为该用户分配处理空间。

4.根据权利要求1所述的方法，其特征在于，所述对数据的抽取由用户新建相同数据，移除导入数据中不需要的数据。

5.根据权利要求1所述的方法，其特征在于，所述对数据的转换由云服务器自动对数据进行清洗、加载选项，并建立索引。

6.根据权利要求1所述的方法，其特征在于，所述上传到云服务器中的数据会安全永久地存储在用户的个人空间内。

7.根据权利要求1所述的方法，其特征在于，用户能直接查看并导出储存在云端的数据信息。

8.一种基于云服务的数据处理方案，其特征在于，所述装置包括：

注册模块，用于完成用户在云服务器端的注册和空间分配；

选择模块，用于选择具有可视化模板的抽取构件；

上传模块，用于完成用户将数据上传到云服务器；

储存模块，用于完成数据在云端的储存；

导出模块，用于完成将数据导出到用户本地。

9.根据权利要求8所述的装置，其特征在于，所述数据处理模块，完成数据抽取之后，将不同数据源的数据统一化之后集成放入数据仓库。

10.根据权利要求8所述的装置，其特征在于，所述数据处理模块中对数据的处理过程由构件中的可视化模板指引用户完成，该可视化模板的类型与用户上传的数据类型相匹配。