CN111767335A

CN111767335A - 数据可视化分析方法

Info

Publication number: CN111767335A
Application number: CN202010651406.1A
Authority: CN
Inventors: 不公告发明人
Original assignee: Suzhou Fengzhiding Information Technology Co ltd
Current assignee: Suzhou Fengzhiding Information Technology Co ltd
Priority date: 2020-07-08
Filing date: 2020-07-08
Publication date: 2020-10-13

Abstract

本发明涉及一种数据可视化分析方法，通过数据集成组件，用于各种异构数据源抽取规则设定，将数据汇聚至数据仓库，实现异构数据源抽取；通过数据源管理模块，对各种异构数据源进行管理，实现数据集成；通过数据模型模块，对用户基于数据源构建成待分析的数据模型，实现数据模型构建；通过报表和看板组件，生成开发与设计分析的报表，实现数据分析界面构建；通过行业组件，令用户利进行数据分析，实现数据分析呈现；通过行业应用模块，实现行业套件的使用。由此，能够实现可视化的设定工作内容，完成数据交换与集成，可实现高速数据抽取和写入，完成异构系统之间海量数据的集成。将本发明应用到软件后，实时显示业务用户的分析结果。

Description

数据可视化分析方法

技术领域

本发明涉及一种数据分析方法，尤其涉及一种数据可视化分析方法。

背景技术

商业智能数据分析出现在20世纪后期，并且在20世纪90年代有了突飞猛进的发展，尤其是众多跨国集团和大型企业对商业智能需求极大地促进了其发展。当前数据分析正经历着从传统向智能变革：

传统分析阶段--企业数字化的基础，实现企业内部数据整合，为内部管理使用，一般为内部开发团队专门定制化开发，灵活度不高；

数据分析产品化阶段--独立软件厂商发行通用的数据分析软件，包含表格，图表等组件，开发人员通过二次代码开发的方式实现分析，灵活度较高，但对于使用者需要较强的开发技能，主要依赖内部IT团队或供应商对历史数据进行分析；

智能化敏捷阶段--行业细分愈发明显，在多变的市场环境中，业务团队需要能够快速，自定义进行数据分析，逐渐减低对传统IT或研发部门的依赖，并且依托机器学习，人工智能算法对未来的趋势做一定的预测，

结合目前实现数据可视化一般方式来看，其往往有两种：

1、通过定制化代码的方式进行渲染，数据的获取，清洗，模型的制定都需要手工编写代码；

2、采购相关软件，依托平台做二次加工或定制开发，数据来源与加工，仍然需要手工处理。

当前的技术有如下缺点：

1.数据分析依赖的底层数据，需要手工处理，包含数据交换与集成，按规则清洗等等，缺乏一站式，可视化的平台统一处理，处理速度慢，无法满足实时数据分析的需求。

2.数据分析时，采用的普通的表格，对于报表的样式调整，数据分析规则，需要手动更新且无法及时呈现，时效性太差。

数据分析的功能缺乏行业相关性，无法满足行业用户的快速实现的需求，实施上线的成本过高。

有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种数据可视化分析方法，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种数据可视化分析方法。

本发明的数据可视化分析方法，其中：通过数据集成组件，用于各种异构数据源抽取规则设定，将数据汇聚至数据仓库，实现异构数据源抽取；通过数据源管理模块，对各种异构数据源进行管理，实现数据集成；通过数据模型模块，对用户基于数据源构建成待分析的数据模型，实现数据模型构建；通过报表和看板组件，生成开发与设计分析的报表，实现数据分析界面构建；通过行业组件，令用户利进行数据分析，实现数据分析呈现；通过行业应用模块，实现行业套件的使用。

进一步地，上述的数据可视化分析方法，其中，所述异构数据源抽取规则为，按照源数据的增量对字段进行表示，通过自增键或时间戳进行匹配，完成数据的增量抽取写入或是全量覆盖更新，异构数据源的数据通过标准的数据交换协议写入到数据仓库，所述数据交换协议包括JDBC、FTP、HTTP、API中的一种或是多种。

更进一步地，上述的数据可视化分析方法，其中，用户通过自定义数据源，通过报表和看板组件，生成开发与设计分析的报表。

更进一步地，上述的数据可视化分析方法，其中，所述行业套件包括智能制造数据分析、经营数据分析。

更进一步地，上述的数据可视化分析方法，其中，所述异构数据源的管理为，步骤一，通过数据集成组件，连接源端数据库与目的端数据仓库，通过可视化界面，字段的映射关系进行配置。步骤二，在配置映射关系时，设定转换规则，在字段级别自定义字段的函数转换，完成数据转换。步骤三，异构数据被集成进入数据仓库，用户对其分析。步骤四，用户构建数据分析界面，生成图形化数据分析报告。步骤五，对图形化数据分析报告进行发布。

更进一步地，上述的数据可视化分析方法，其中，所述步骤二中，通过在字段级别设定各个源数据库的函数或是平台支持的脚本函数，对字段数据进行转换、合并，构成抽取过滤条件；在配置映射关系时，动态配置多个抽取过滤条件，将不符合要求的记录排除在数据抽取的任务之外，实现无效数据的清洗。

更进一步地，上述的数据可视化分析方法，其中，所述步骤三中，用户利用数据分析组件，通过自定义数据模型，实现数据可视化分析。

更进一步地，上述的数据可视化分析方法，其中，所述步骤四中，用户利用可视化组件，构建数据分析的界面，所述界面包括行业套件、看板、可视化报表、行业组件中的一种或是多种。

再进一步地，上述的数据可视化分析方法，其中，所述步骤五中，用户通过内置机制进行发布，不同的权限的人员通过数据平台的接入，能实时查看数据，所述数据平台包括智能手机、平板设备，电脑、显示屏中的一种或是多种。

借由上述方案，本发明至少具有以下优点：

1、能够实现可视化的设定工作内容，完成数据交换与集成，可实现高速数据抽取和写入，完成异构系统之间海量数据的集成。

2、将本发明应用到软件后，可以实现可视化拖拽式组件，支持工业组件模型、三维仿真、个性化突变等组件，用户完全自定义界面风格、数据源、数据的转换规则，实时显示业务用户的分析结果，无需完成耗时的“需求-变更-上线”的流程。

3、可以构建一站式数据分析平台，减少投资浪费，且具有开箱即用的功能特性，大幅度减少部署上线的周期。

4、可以有效利用丰富的行业模版套件，提升工作效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是数据可视化分析方法所设计到的组件分布示意图。

图2是数据可视化分析方法的流程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1至2的数据可视化分析方法，其与众不同之处在于：通过数据集成组件，用于各种异构数据源抽取规则设定，将数据汇聚至数据仓库，异构数据源抽取。同时，通过数据源管理模块，对各种异构数据源进行管理，实现数据集成。在实际实施期间，可通过数据模型模块，对用户基于数据源构建成待分析的数据模型，实现数据模型构建，其可以满足自定义数据模型的需要。并且，可通过报表和看板组件，生成开发与设计分析的报表。为了拥有较佳的可视化分析效果，便于用户进行对应的数据分析，本发明可通过行业组件，令用户利进行数据分析，实现数据分析呈现，实现数据分析界面构建。实际实施时，采用的行业组件可包括钻取，透视图等，也可以利用行业组件如3D仿真模型，智能产线模型。最终，可通过行业应用模块，实现行业套件的使用。

结合本发明一较佳的实施方式来看，采用的异构数据源抽取规则为，按照源数据的增量对字段(如主键)进行表示。在实际实施期间，通过自增键或时间戳进行匹配，完成数据的增量抽取写入或是全量覆盖更新。并且，异构数据源的数据通过标准的数据交换协议写入到数据仓库。考虑到涉及数据的多样性，为了提高可执行的范围，数据交换协议包括JDBC、FTP、HTTP、API中的一种或是多种。同时，在实施期间，可以实现适当的集成化配置，能够对可能涉及到的时间间隔进行定义。具体来说，系统自动定时根据增量或全量的规则创建执行任务，在任务中完成数据抽取，写入。

进一步来看，为了便于用户的衔接使用，用户可利用自定义数据源，通过报表和看板组件，生成开发与设计分析的报表。这样，便于用户更好的探索数据规律，发现数据隐藏的关联关系，为业务决策起到辅助作用。结合实际实施来看，本发明采用的行业套件包括智能制造数据分析、经营数据分析。同时，还可以包括其他业内常用的分析模块，便于提升效率。

为了更好的实施本方法，所采用的异构数据源的管理可包括如下步骤：

步骤一，通过数据集成组件，连接源端数据库与目的端数据仓库，通过可视化界面，字段的映射关系进行配置。

步骤二，在配置映射关系时，设定转换规则，在字段级别自定义字段的函数转换，完成数据转换。具体来说，通过在字段级别设定各个源数据库的函数或是平台支持的脚本函数，对字段数据进行转换、合并，构成抽取过滤条件。之后，在配置映射关系时，可动态配置多个抽取过滤条件，将不符合要求的记录排除在数据抽取的任务之外，实现无效数据的清洗。这样，可以提高数据转换效率。

步骤三，异构数据被集成进入数据仓库，用户对其分析。在此期间，用户可以利用本方法中自带或是自己熟悉的数据分析组件，通过自定义数据模型，实现数据可视化分析。

步骤四，用户构建数据分析界面，生成图形化数据分析报告。具体来说，用户利用可视化组件，构建数据分析的界面，界面包括行业套件、看板、可视化报表、行业组件中的一种或是多种。

步骤五，对图形化数据分析报告进行发布。结合实际实施来看，用户通过内置机制进行发布，不同的权限的人员通过数据平台的接入，能实时查看数据，数据平台包括智能手机、平板设备，电脑、显示屏中的一种或是多种。

本发明的工作原理如下，以实际操作来看：

用户通过本方法选择待分析的数据源，其可选直连或抽取，若需要抽取至数据仓库，则开启数据集成组件，可视化的配置数据集成任务。之后，用户选择待分析的数据源，建立数据分析模型。然后，用户选择行业模版，或自行创建看板的方式构建数据分析界面。接着，用户选择数据模型，选择对应的分析组件(包括通用的图表组件)、行业相关组件等进行自由组合。随后，用户选择相关处理算法，针对性的分析当前数据，保存当前的数据分析。完成上述步骤后，用户通过看板或大屏看板发布分析报告。由此，不同权限的人员可以察看分析报告，并进行反馈。

通过上述的文字表述并结合附图可以看出，采用本发明后，拥有如下优点：

4、可以有效利用丰富的行业模版套件，提升工作效率。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims

1.数据可视化分析方法，其特征在于：

通过数据集成组件，用于各种异构数据源抽取规则设定，将数据汇聚至数据仓库，实现异构数据源抽取；

通过数据源管理模块，对各种异构数据源进行管理，实现数据集成；

通过数据模型模块，对用户基于数据源构建成待分析的数据模型，实现数据模型构建；

通过报表和看板组件，生成开发与设计分析的报表，实现数据分析界面构建；

通过行业组件，令用户利进行数据分析，实现数据分析呈现；

通过行业应用模块，实现行业套件的使用。

2.根据权利要求1所述的数据可视化分析方法，其特征在于：所述异构数据源抽取规则为，按照源数据的增量对字段进行表示，通过自增键或时间戳进行匹配，完成数据的增量抽取写入或是全量覆盖更新，异构数据源的数据通过标准的数据交换协议写入到数据仓库，所述数据交换协议包括JDBC、FTP、HTTP、API中的一种或是多种。

3.根据权利要求1所述的数据可视化分析方法，其特征在于：用户通过自定义数据源，通过报表和看板组件，生成开发与设计分析的报表。

4.根据权利要求1所述的数据可视化分析方法，其特征在于：所述行业套件包括智能制造数据分析、经营数据分析。

5.根据权利要求1所述的数据可视化分析方法，其特征在于：所述异构数据源的管理为，

步骤一，通过数据集成组件，连接源端数据库与目的端数据仓库，通过可视化界面，字段的映射关系进行配置；

步骤二，在配置映射关系时，设定转换规则，在字段级别自定义字段的函数转换，完成数据转换；

步骤三，异构数据被集成进入数据仓库，用户对其分析；

步骤四，用户构建数据分析界面，生成图形化数据分析报告；

步骤五，对图形化数据分析报告进行发布。

6.根据权利要求5所述的数据可视化分析方法，其特征在于：所述步骤二中，通过在字段级别设定各个源数据库的函数或是平台支持的脚本函数，对字段数据进行转换、合并，构成抽取过滤条件；在配置映射关系时，动态配置多个抽取过滤条件，将不符合要求的记录排除在数据抽取的任务之外，实现无效数据的清洗。

7.根据权利要求5所述的数据可视化分析方法，其特征在于：所述步骤三中，用户利用数据分析组件，通过自定义数据模型，实现数据可视化分析。

8.根据权利要求5所述的数据可视化分析方法，其特征在于：所述步骤四中，用户利用可视化组件，构建数据分析的界面，所述界面包括行业套件、看板、可视化报表、行业组件中的一种或是多种。

9.根据权利要求5所述的数据可视化分析方法，其特征在于：所述步骤五中，用户通过内置机制进行发布，不同的权限的人员通过数据平台的接入，能实时查看数据，所述数据平台包括智能手机、平板设备，电脑、显示屏中的一种或是多种。