CN108563666A - 一种基于大数据技术的数据可视化处理系统及方法 - Google Patents

Abstract

本发明具体涉及一种基于大数据技术的数据可视化处理系统及方法，涉及大数据技术领域，所述系统包括：数据展示层，用于进行组件展示、工作台展示、数据监控、数据集展示和工程权限管理；业务逻辑层，用于进行模板管理、主题管理、事件管理、组件管理、工程管理和数据源管理；数据源层，用于提供进行数据处理的数据源。具有可视化程度高、操作简便和结构简单的优点。

Description

一种基于大数据技术的数据可视化处理系统及方法

技术领域

本发明涉及大数据技术领域，具体涉及一种基于大数据技术的数据可视化处理系统及方法。

背景技术

随着公民信息的不断完善，数据和信息量与日俱增，如何使数据和信息以及数据之间的关系能够直观的展现出来，就需要把数据变为具象数据。数据可视化不仅能够将具象的数据和信息显现出来还能将抽象的数据信息转化为一目了然的、可视化的显现，这样无形中提高决策分析的准确性。

同时随着信息技术的迅猛发展，互联网、物联网、云计算、大数据、人工智能等信息技术越来越频繁的出现在我们的生活中，各个领域产生了海量数据，包括政治、军事、经济和生活等方面的数据。数据的背后隐藏着信息，蕴含着知识和智慧。而数据隐含的的真正价值，需要进一步数据分析和决策支持服务。从这一立足点出发，从两个方面展开数据分析：一是强调机器的计算能力和人工智能,以各种高性能处理算法、智能搜索与挖掘算法等为主要研究内容；另一个是强调基于人机交互的、符合人的认知规律的分析方法，意图将人所具备的、机器并不擅长的认知能力融入分析过程中。这就是大数据可视化分析。

当今大数据可视化分析的大趋势是向可视化设计UE、自助式探索分析、分析和展现一体化平台发展。随着技术的发展和演进，BI领域已经迎来了新一代敏捷BI的革新。基于大数据的处理技术，其对TB-PB级的数据可实现秒级响应。看到了数据，能交互式分析，能深入向下挖掘，能发现问题找到答案。

现有的敏捷BI系统没有改变数据的堆砌，是基于表格和图表化的分析,用户很难为其增加辅助性的说明文字，加入自己的观点！

现有的敏捷BI系统发布的报表是独立存在的,不能与外部数据源进行关联，从而让分析者、查看者没有整体的感知，并不能根据外部数据源的参数进行动态分析。

发明内容

鉴于此，本发明的目的是提供一种基于大数据技术的数据可视化处理系统及方法，具有可视化程度高、操作简便和结构简单的优点。

本发明采用的技术方案如下：

一种基于大数据技术的数据可视化处理系统，所述系统包括：

数据展示层，用于进行组件展示、工作台展示、数据监控、数据集展示和工程权限管理；

业务逻辑层，用于进行模板管理、主题管理、事件管理、组件管理、工程管理和数据源管理；

数据源层，用于提供进行数据处理的数据源。

进一步的，所述业务逻辑层包括：

组件管理单元，用于进行组件管理；

工程管理单元，用于进行工程管理；

数据源管理单元，用于进行数据源管理。

进一步的，所述组件管理单元包括：

图表组件管理模块，用于进行图表组件管理；

基本组件管理模块，用于进行基本组件管理；

业务组件管理模块，用于进行业务组件管理。

进一步的，所属数据源管理单元包括：

关系数据库单元，用于进行关系数据库管理；

文本数据库单元，用于进行文本数据库管理。

一种基于大数据技术的数据可视化处理方法，所述方法包括：

步骤1：根据需求新建工程，工程可以是单独的一个应用页面，也可以是一个完整的WEB工程；

步骤2：进行数据建模，配置数据模型需要的数据源，并配置的数据模型的维度、度量和关联关系；系统根据这些配置自动生成Mondrian或Kylin的模型，实现基于混合数据组织的OLAP实现；

步骤3：进行可视化设计，在可视化设计引擎中对工程的应用页面进行拖拉拽的页面布局，并实现展示数据或数据模型的绑定；

步骤4：进行BI展示，根据完成的页面布局、数据和数据模型的绑定，系统自动识别从关系数据源或Kylin数据源中获取关系数据或多维分析数据，并实现页面BI的渲染。

进一步的，所述可视化配置步骤包括：

步骤1：新建工程和应用，更好的对应用配置进行管理；在工具栏中点击“打开”按钮，在工程视图中会显示已处于打开状态的工程；点击工程展示按钮可将工程树形结构展开并可看到工程下已存在的所有应用，双击应用名称可打开该应用的配置页面，配置应用展示内容；

步骤2：配置应用展示内容，在组件栏拖动相应组件到应用画布区域，放置的区域会生成该组件的默认展示效果，选择该组件在画布区域拖动继续调整组件放置的位置，拖动组件边框可调整组件显示区域的大小；

步骤3：设置组件数据源，在画布区域点击已有的组件，点击组件显示区域右上方的设置按钮进数据源配置页面；点击“数据集”按钮，在数据集列表中选择需要作为数据源的数据集，将需要展示的维度和度量拖动到配置框中，在中间的预览区域会实时展示图形展示效果，配置完成后点击保存；数据集列表的内容来源于数据建模；

步骤4：进行组件属性配置，调整组件的展示效果；点击选中需要调整的组件，在属性面板中可对组件的基本属性和组件特有的属性进行设置，并在画布区域可以实时查看到属性设置后的展示效果；

步骤5：进行页面属性设置，设置画布区域的属性；点击工具栏中的页面属性设置按钮，打开页面属性设置框，可设置页面的背景图、背景颜色、字体大小、字体颜色、画面区域大小、上下边距等；

步骤6：进行模板设置，快速配置应用需求展示的内容和展示效果。在工具栏点击“模板”按钮，打开模板设置框，点击选择需要的模板，在画布区域会展示和模板一样的内容和展示效果；

步骤7：进行主题配置，快速设置应用的组件展示的风格；在工具栏点击“主题”按钮，打开主题设置框，点击选择需要的主题，在画布区域的所有组件的显示颜色和字体大小等展示效果会设置成和主题的效果一样。

步骤8：进行选择层配置，用于选择被其它组件遮挡住的层；在工具栏点击“层选择”按钮，在层选择设置框中勾选需要选中的层。

步骤9：保存应用配置，点击工具栏中的保存按钮，保存所有配置信息。

步骤10：工程发布，将工程发布为完整的WEB页面或独立的WEB工程。

与现有技术相比，本发明的有益效果是：具有数据可视化，为敏捷BI和人工智能展示需求提供可视化、快速的配置展示平台。数据可视化对敏捷BI和人工智能展示需求的指标、模块、位置和展示方式提供灵活的配置方式，在配置过程中即可清析的看到配置后将要展示的效果，对组件和数据源以服务的方式进行配置和管理，以实现组件和数据源的复用，最终以多种数据展示方式为用户展示统计结果，并提供分析数据的下载，体现了“分析和展现一体化”。

附图说明

图1为本发明的基于大数据技术的数据可视化处理系统的结构示意图。

图2为本发明的基于大数据技术的数据可视化处理方法的处理流程示意图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

实施例1：

如图1和图2所示，一种基于大数据技术的数据可视化处理系统，所述系统包括：

数据展示层，用于进行组件展示、工作台展示、数据监控、数据集展示和工程权限管理；

业务逻辑层，用于进行模板管理、主题管理、事件管理、组件管理、工程管理和数据源管理；

数据源层，用于提供进行数据处理的数据源。

进一步的，所述业务逻辑层包括：

组件管理单元，用于进行组件管理；

工程管理单元，用于进行工程管理；

数据源管理单元，用于进行数据源管理。

进一步的，所述组件管理单元包括：

图表组件管理模块，用于进行图表组件管理；

基本组件管理模块，用于进行基本组件管理；

业务组件管理模块，用于进行业务组件管理。

进一步的，所属数据源管理单元包括：

关系数据库单元，用于进行关系数据库管理；

文本数据库单元，用于进行文本数据库管理。

实施例2：一种基于大数据技术的数据可视化处理方法，所述方法包括：

步骤1：根据需求新建工程，工程可以是单独的一个应用页面，也可以是一个完整的WEB工程；

步骤2：进行数据建模，配置数据模型需要的数据源，并配置的数据模型的维度、度量和关联关系；系统根据这些配置自动生成Mondrian或Kylin的模型，实现基于混合数据组织的OLAP实现；

步骤3：进行可视化设计，在可视化设计引擎中对工程的应用页面进行拖拉拽的页面布局，并实现展示数据或数据模型的绑定；

步骤4：进行BI展示，根据完成的页面布局、数据和数据模型的绑定，系统自动识别从关系数据源或Kylin数据源中获取关系数据或多维分析数据，并实现页面BI的渲染。

进一步的，所述可视化配置步骤包括：

步骤1：新建工程和应用，更好的对应用配置进行管理；在工具栏中点击“打开”按钮，在工程视图中会显示已处于打开状态的工程；点击工程展示按钮可将工程树形结构展开并可看到工程下已存在的所有应用，双击应用名称可打开该应用的配置页面，配置应用展示内容；

步骤2：配置应用展示内容，在组件栏拖动相应组件到应用画布区域，放置的区域会生成该组件的默认展示效果，选择该组件在画布区域拖动继续调整组件放置的位置，拖动组件边框可调整组件显示区域的大小；

步骤3：设置组件数据源，在画布区域点击已有的组件，点击组件显示区域右上方的设置按钮进数据源配置页面；点击“数据集”按钮，在数据集列表中选择需要作为数据源的数据集，将需要展示的维度和度量拖动到配置框中，在中间的预览区域会实时展示图形展示效果，配置完成后点击保存；数据集列表的内容来源于数据建模；

步骤4：进行组件属性配置，调整组件的展示效果；点击选中需要调整的组件，在属性面板中可对组件的基本属性和组件特有的属性进行设置，并在画布区域可以实时查看到属性设置后的展示效果；

步骤5：进行页面属性设置，设置画布区域的属性；点击工具栏中的页面属性设置按钮，打开页面属性设置框，可设置页面的背景图、背景颜色、字体大小、字体颜色、画面区域大小、上下边距等；

步骤6：进行模板设置，快速配置应用需求展示的内容和展示效果。在工具栏点击“模板”按钮，打开模板设置框，点击选择需要的模板，在画布区域会展示和模板一样的内容和展示效果；

步骤7：进行主题配置，快速设置应用的组件展示的风格；在工具栏点击“主题”按钮，打开主题设置框，点击选择需要的主题，在画布区域的所有组件的显示颜色和字体大小等展示效果会设置成和主题的效果一样。

步骤8：进行选择层配置，用于选择被其它组件遮挡住的层；在工具栏点击“层选择”按钮，在层选择设置框中勾选需要选中的层。

步骤9：保存应用配置，点击工具栏中的保存按钮，保存所有配置信息。

步骤10：工程发布，将工程发布为完整的WEB页面或独立的WEB工程。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于大数据技术的数据可视化处理系统，其特征在于，所述系统包括：

数据展示层，用于进行组件展示、工作台展示、数据监控、数据集展示和工程权限管理；

业务逻辑层，用于进行模板管理、主题管理、事件管理、组件管理、工程管理和数据源管理；

数据源层，用于提供进行数据处理的数据源。

2.如权利要求1所述的基于大数据技术的数据可视化处理系统，其特征在于，所述业务逻辑层包括：

组件管理单元，用于进行组件管理；

工程管理单元，用于进行工程管理；

数据源管理单元，用于进行数据源管理。

3.如权利要求2所述的基于大数据技术的数据可视化处理系统，其特征在于，所述组件管理单元包括：

图表组件管理模块，用于进行图表组件管理；

基本组件管理模块，用于进行基本组件管理；

业务组件管理模块，用于进行业务组件管理。

4.如权利要求3所述的基于大数据技术的数据可视化处理系统，其特征在于，所属数据源管理单元包括：

关系数据库单元，用于进行关系数据库管理；

文本数据库单元，用于进行文本数据库管理。

5.一种基于大数据技术的数据可视化处理方法，其特征在于，所述方法包括：

步骤1：根据需求新建工程，工程可以是单独的一个应用页面，也可以是一个完整的WEB工程；

步骤2：进行数据建模，配置数据模型需要的数据源，并配置的数据模型的维度、度量和关联关系；系统根据这些配置自动生成Mondrian或Kylin的模型，实现基于混合数据组织的OLAP实现；

步骤3：进行可视化设计，在可视化设计引擎中对工程的应用页面进行拖拉拽的页面布局，并实现展示数据或数据模型的绑定；

步骤4：进行BI展示，根据完成的页面布局、数据和数据模型的绑定，系统自动识别从关系数据源或Kylin数据源中获取关系数据或多维分析数据，并实现页面BI的渲染。

6.一种基于大数据技术的数据可视化处理方法，其特征在于，所述可视化配置步骤包括：

步骤1：新建工程和应用，更好的对应用配置进行管理；在工具栏中点击“打开”按钮，在工程视图中会显示已处于打开状态的工程；点击工程展示按钮可将工程树形结构展开并可看到工程下已存在的所有应用，双击应用名称可打开该应用的配置页面，配置应用展示内容；

步骤2：配置应用展示内容，在组件栏拖动相应组件到应用画布区域，放置的区域会生成该组件的默认展示效果，选择该组件在画布区域拖动继续调整组件放置的位置，拖动组件边框可调整组件显示区域的大小；

步骤3：设置组件数据源，在画布区域点击已有的组件，点击组件显示区域右上方的设置按钮进数据源配置页面；点击“数据集”按钮，在数据集列表中选择需要作为数据源的数据集，将需要展示的维度和度量拖动到配置框中，在中间的预览区域会实时展示图形展示效果，配置完成后点击保存；数据集列表的内容来源于数据建模；

步骤4：进行组件属性配置，调整组件的展示效果；点击选中需要调整的组件，在属性面板中可对组件的基本属性和组件特有的属性进行设置，并在画布区域可以实时查看到属性设置后的展示效果；

步骤5：进行页面属性设置，设置画布区域的属性；点击工具栏中的页面属性设置按钮，打开页面属性设置框，可设置页面的背景图、背景颜色、字体大小、字体颜色、画面区域大小、上下边距等；

步骤6：进行模板设置，快速配置应用需求展示的内容和展示效果。在工具栏点击“模板”按钮，打开模板设置框，点击选择需要的模板，在画布区域会展示和模板一样的内容和展示效果；

步骤7：进行主题配置，快速设置应用的组件展示的风格；在工具栏点击“主题”按钮，打开主题设置框，点击选择需要的主题，在画布区域的所有组件的显示颜色和字体大小等展示效果会设置成和主题的效果一样。

步骤8：进行选择层配置，用于选择被其它组件遮挡住的层；在工具栏点击“层选择”按钮，在层选择设置框中勾选需要选中的层。

步骤9：保存应用配置，点击工具栏中的保存按钮，保存所有配置信息。

步骤10：工程发布，将工程发布为完整的WEB页面或独立的WEB工程。