CN109726321A - 一种可视化集成云计算应用系统及方法 - Google Patents

Abstract

本发明公开了一种可视化集成云计算应用系统，包括云计算数据抓取模块、数据分析及整合模块、大数据过滤模块、数据挖掘模块、视觉模型展现模块、云存储数据库和修饰及交互模块；通过云计算数据抓取模块从目标对象采集原始数据，经过预处理和结构调整后，对相关数据进行关联，生成数据关联链路；根据生成的数据关联链路建立数据可视化模型，并通过可视化工具将视觉模型通过可视化图形进行展现；对可视化图形进行微调，生成用户交互控制窗口，通过用户交互控制窗口与可视化数据中的内容进行交互。本发明解决了大数据处理无法可视化的问题，能对海量数据进行快速处理，并可视化展示，并能与用户可视化数据中的内容进行交互。

Description

一种可视化集成云计算应用系统及方法

技术领域

本发明涉及大数据处理技术领域，特别是一种可视化集成云计算应用系统及方法。

背景技术

目前，随着我国信息技术的快速发展，无论在物联网技术领域还是网络技术领域，都会存在一个数据量过大以及数据复杂性大的问题，而在大数据分析过程中，大数据发挥着关键的作用。而大数据的基本特征为：数据量大、类型繁多、价值密度低、速度快、时效高；由此引发的如何从海量数据中挖掘出有用数据成为人们关心的问题。随着目前数据挖掘技术的发展，传统的大数据处理已经能快速提取价值数据等，但还不能将有用数据转换为可视化信息，无法供用户实现交互性操作。

发明内容

本发明的目的在于克服现有技术的不足，提供一种可视化集成云计算应用系统及方法，解决了大数据处理无法可视化的问题，能对海量数据进行快速处理，并可视化展示，并能与用户可视化数据中的内容进行交互。

本发明的目的是通过以下技术方案来实现的：

一种可视化集成云计算应用系统，包括云计算数据抓取模块、数据分析及整合模块、大数据过滤模块、数据挖掘模块、视觉模型展现模块、云存储数据库和修饰及交互模块；

云计算数据抓取模块用于通过传感器、日志文件或Web爬虫从目标对象采集原始数据，并对原始数据进行预处理，剔除无用数据、残缺数据和错误数据；

数据分析及整合模块用于对数据结构类型进行核对、检查、调整和分类，其中还包括对不同结构类型的数据进行转换；

大数据过滤模块用于筛选出目标数据，删除或压缩与目标数据无关的数据；

数据挖掘模块用于从大量数据中通过算法搜索数据中的内容，对并数据进行优化处理；

视觉模型展现模块用于通过获取的数据信息建立视觉模型，并通过可视化工具将视觉模型通过可视化图形进行展现；

云存储数据库用于建立可视化数据平台以及调用数据库中的内容对大数据进行解读和匹配处理；

修饰及交互模块用于对视觉模型进行微调，并建立可视化交互窗口，用于与用户实现交互式控制。

优选的，数据来源获取及预处理模块中通过传感器、日志文件或web爬虫采集的原始数据包括分类、序列、数量、关系和位置在内的五种类别。

优选的，，可视化工具包括D3.js/protovis开发框架、Processing/Processingjs、Sketchpad、R+ggplot2和Heatmapjs。

一种可视化集成云计算应用方法，包括以下步骤：

S1、通过云计算数据抓取模块从目标对象采集原始数据，经过预处理和结构调整后，对相关数据进行关联，生成数据关联链路；

S2、根据生成的数据关联链路建立数据可视化模型，并通过可视化工具将视觉模型通过可视化图形进行展现；

S3、对可视化图形进行微调，生成用户交互控制窗口，通过用户交互控制窗口与可视化数据中的内容进行交互。

优选的，通过用户交互控制窗口与可视化数据中的内容进行交互，还具体包括：

对可视化数据进行解读和匹配处理，得到动态易读化数据流；

获取用户交互窗口的交互控制命令，并对交互控制命令进行解析，将解析后的结果送入数据模型中；

通过数据模型对可视化数据进行调整。

本发明的有益效果是：

本发明能从海量数据中进行数据提取和数据挖掘，并通过分析和数据匹配解读，得到可视化图形，通过用户的交互窗口能调节数据模型中的数据内容，有利于与用户实现可视化数据交互，便于提供给用户查询和使用。

附图说明

图1为本发明的方法流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例：

一种可视化集成云计算应用系统，能从海量数据中进行数据提取和数据挖掘，并通过分析和数据匹配解读，得到可视化图形，通过用户的交互窗口能调节数据模型中的数据内容，有利于与用户实现可视化数据交互，便于提供给用户查询和使用。以下对可视化集成云计算应用系统进行进一步说明。

一种可视化集成云计算应用系统，包括云计算数据抓取模块、数据分析及整合模块、大数据过滤模块、数据挖掘模块、视觉模型展现模块、云存储数据库和修饰及交互模块；

云计算数据抓取模块用于通过传感器、日志文件或Web爬虫从目标对象采集原始数据，并对原始数据进行预处理，剔除无用数据、残缺数据和错误数据；

数据分析及整合模块用于对数据结构类型进行核对、检查、调整和分类，其中还包括对不同结构类型的数据进行转换；

大数据过滤模块用于筛选出目标数据，删除或压缩与目标数据无关的数据；

数据挖掘模块用于从大量数据中通过算法搜索数据中的内容，对并数据进行优化处理；

视觉模型展现模块用于通过获取的数据信息建立视觉模型，并通过可视化工具将视觉模型通过可视化图形进行展现；

云存储数据库用于建立可视化数据平台以及调用数据库中的内容对大数据进行解读和匹配处理；

修饰及交互模块用于对视觉模型进行微调，并建立可视化交互窗口，用于与用户实现交互式控制。

优选的，数据来源获取及预处理模块中通过传感器、日志文件或web爬虫采集的原始数据包括分类、序列、数量、关系和位置在内的五种类别。

优选的，可视化工具包括D3.js/protovis开发框架、Processing/Processingjs、Sketchpad、R+ggplot2和Heatmapjs。

一种可视化集成云计算应用方法，请参阅附图1所示，包括以下步骤：

S1、通过云计算数据抓取模块从目标对象采集原始数据，经过预处理和结构调整后，对相关数据进行关联，生成数据关联链路；

S2、根据生成的数据关联链路建立数据可视化模型，并通过可视化工具将视觉模型通过可视化图形进行展现；

S3、对可视化图形进行微调，生成用户交互控制窗口，通过用户交互控制窗口与可视化数据中的内容进行交互。

优选的，通过用户交互控制窗口与可视化数据中的内容进行交互，还具体包括：

对可视化数据进行解读和匹配处理，得到动态易读化数据流；

获取用户交互窗口的交互控制命令，并对交互控制命令进行解析，将解析后的结果送入数据模型中；

通过数据模型对可视化数据进行调整。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种可视化集成云计算应用系统，其特征在于，包括云计算数据抓取模块、数据分析及整合模块、大数据过滤模块、数据挖掘模块、视觉模型展现模块、云存储数据库和修饰及交互模块；

云计算数据抓取模块用于通过传感器、日志文件或Web爬虫从目标对象采集原始数据，并对原始数据进行预处理，剔除无用数据、残缺数据和错误数据；

数据分析及整合模块用于对数据结构类型进行核对、检查、调整和分类，其中还包括对不同结构类型的数据进行转换；

大数据过滤模块用于筛选出目标数据，删除或压缩与目标数据无关的数据；

数据挖掘模块用于从大量数据中通过算法搜索数据中的内容，对并数据进行优化处理；

视觉模型展现模块用于通过获取的数据信息建立视觉模型，并通过可视化工具将视觉模型通过可视化图形进行展现；

云存储数据库用于建立可视化数据平台以及调用数据库中的内容对大数据进行解读和匹配处理；

修饰及交互模块用于对视觉模型进行微调，并建立可视化交互窗口，用于与用户实现交互式控制。

2.根据权利要求1所述一种可视化集成云计算应用系统，其特征在于，数据来源获取及预处理模块中通过传感器、日志文件或web爬虫采集的原始数据包括分类、序列、数量、关系和位置在内的五种类别。

3.根据权利要求1所述一种可视化集成云计算应用系统，其特征在于，可视化工具包括D3.js/protovis开发框架、Processing/Processingjs、Sketchpad、R+ggplot2和Heatmapjs。

4.一种根据权利要求1所述可视化集成云计算应用方法，其特征在于，包括以下步骤：

S1、通过云计算数据抓取模块从目标对象采集原始数据，经过预处理和结构调整后，对相关数据进行关联，生成数据关联链路；

S2、根据生成的数据关联链路建立数据可视化模型，并通过可视化工具将视觉模型通过可视化图形进行展现；

S3、对可视化图形进行微调，生成用户交互控制窗口，通过用户交互控制窗口与可视化数据中的内容进行交互。

5.根据权利要求4所述一种可视化集成云计算应用方法，其特征在于，通过用户交互控制窗口与可视化数据中的内容进行交互，还具体包括：

对可视化数据进行解读和匹配处理，得到动态易读化数据流；

获取用户交互窗口的交互控制命令，并对交互控制命令进行解析，将解析后的结果送入数据模型中；

通过数据模型对可视化数据进行调整。