CN113934820A

CN113934820A - 非结构化数据的可视化处理系统、方法、存储介质和终端

Info

Publication number: CN113934820A
Application number: CN202111197952.3A
Authority: CN
Inventors: 王永旭; 陈良旭; 周锋; 陈�光; 田丰
Original assignee: GRG Banking Equipment Co Ltd
Current assignee: GRG Banking IT Co Ltd
Priority date: 2021-10-14
Filing date: 2021-10-14
Publication date: 2022-01-14
Also published as: WO2023061454A1

Abstract

本发明提供了一种非结构化数据的可视化处理系统、方法、存储介质和终端，属于数据可视化处理技术领域，系统包括双向通信的数据可视化处理模块、数据引擎模块和数据源模块，数据可视化处理模块包括应用模板库、图表库、条件构造器和绘图组件，用于接收和渲染来自数据引擎模块统一分析和处理的数据结果，以实现多样化需求的数据展示。方法通过统一数据处理方案，解决了以往非结构化数据无法直接进行可视化问题，同时解决了生成可视化图表后需要重新部署应用问题，让业务人员也能轻松实现海量数据可视化分析。

Description

非结构化数据的可视化处理系统、方法、存储介质和终端

技术领域

本发明属于数据可视化处理技术领域，具体涉及一种非结构化数据的可视化处理系统、方法、存储介质和终端。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术或先有技术。

数据可视化，是关于数据视觉表现形式的科学技术研究。其中，这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。该技术允许利用图形、图像处理、计算机视觉以及用户界面，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化解释。数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息

数据可视化被广泛应用于互联网大数据的运营领域，通过挖掘数据和将挖掘数据简单归纳以可视化展示的功能。然而，现有的数据处理中，如申请号为201810299437.8的专利公开了一种数据可视化展示方法及系统，其方法缺乏对结构化和非结构化数据的统一处理，非结构化数据无法直接进行可视化，同时生成可视化图表后需要重新部署应用，这些导致实现数据处理难、数据可视化过程复杂、实施周期长、成本较高。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种非结构化数据的可视化处理系统、方法、存储介质和终端，其能解决上述问题。

设计原理：

总体方案：为了解决上述问题，本申请的总体设计方案如下。

一种非结构化数据的可视化处理系统，所述可视化处理系统包括双向通信的数据可视化处理模块、数据引擎模块和数据源模块，其中，所述数据可视化处理模块包括应用模板库、图表库、条件构造器和绘图组件，用于接收和渲染来自数据引擎模块统一分析和处理的数据结果，以实现多样化需求的数据展示。

本发明还提供了一种非结构化数据的可视化方法，方法包括：

S1、确立分析维度，基于实际可视化需求，确立指标分析维度；

S2、选择图表，基于分析维度，选择图表类型；

S3、选择数据源，从数据源列表选择要分析的数据源，并将所选数据源字段按维度和指标进行归类；

S4、构造绘制条件，设置坐标轴维度和度量，并筛选条件；

S5、非结构化数据处理，将所选条件提交到数据引擎模块进行统一分析及处理并返回结果，再将结果及设置的页面样式属性进行实时渲染；

S6、排版布局，在前端绘制区进行栅格化布局和样式调整；

S7、生成应用，将完成排版布局后的数据生成应用预览页，保存至数据库并在后台生成独立应用工程且分配一个未被使用端口号，并添加到应用列表中，生成可部署状态的应用；

S8、部署应用，将生成的可视化应用进行编译、打包成微服务镜像，推送到镜像服务器；

S9、运行/查看应用，运行应用镜像，生成应用URL，可通过URL进行访问应用。

进一步的，步骤S1中，分析维度确定联系、分布、比较、构成四个，

其中，联系为数据之间的关系，比较为数据系列的排名，分布为项目的频率情况，构成关注每个部分所占整体的百分比。

进一步的，步骤S3中的数据源的数据类型包括CSV/Excel文件、结构化数据源、和/或非结构化数据源，将所选数据源字段按维度和指标进行归类，并将维度作为“X坐标/维度轴”选择参数，将指标作为“Y坐标/度量轴”统计参数。

本发明还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行前述方法的步骤。

本发明还提供了一种终端，包括存储器和处理器，所述存储器上储存有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行前述方法的步骤。

相比现有技术，本发明的有益效果在于：通过本发明的统一数据处理方案，解决了以往非结构化数据无法直接进行可视化问题，同时解决了生成可视化图表后需要重新部署应用问题，让业务人员也能轻松实现海量数据可视化分析。

附图说明

图1为本发明可视化处理系统示意图；

图2为本发明方法的流程图；

图3为确立分析维度即新建应用的界面图；

图4为可视化应用编辑界面；

图5为样式调整或设置的界面图；

图6为应用部署界面图；

图7为应用运行开始界面图；

图8为应用运行结果界面图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

第一实施例

一种非结构化数据的可视化处理系统，参见图1，可视化处理系统包括双向通信的数据可视化处理模块、数据引擎模块和数据源模块。

其中，所述数据可视化处理模块包括应用模板库、图表库、条件构造器和绘图组件，用于接收和渲染来自数据引擎模块统一分析和处理的数据结果，以实现多样化需求的数据展示。

系统提供一站式自助可视化数据分析及呈现，从平台数据源接入到上层应用自助分析数据及交互展现，都可以在方法中轻松、高效完成。同时解决了以往可视化过度依赖SQL运算问题，零代码，鼠标拖拽式操作交互，让业务人员也能轻松实现海量数据可视化分析。

第二实施例

一种非结构化数据的可视化方法，参见图2-图8，方法具体包括如下步骤。

S1、确立分析维度，基于实际可视化需求，确立指标分析维度。

一个示例中，分析维度确定联系、分布、比较、构成四个。

联系：数据之间的关系；

比较：数据系列的排名，可以展示事物的排列顺序；

分布：项目的频率情况，主要关心各数值范围内包含了多少项目；

构成：关注每个部分所占整体的百分比。

该步骤即应用的创建，参见图3，可选择空白模板及已预置好的应用模板，填写应用相关信息(包括应用名称、开发者、画布比例、应用描述、应用logo)。

图3标记说明：11、模板列表；12为应用基本信息填写区。

S2、选择图表，基于分析维度，选择图表类型；

确立好分析维度后，我们能选用的图表类型也基本能确定了，根据以上维度进行图表选择。

图标类型主要包括：

联系类：散点图、气泡图、雷达图；

比较类：柱状图、条形图、折线图；

分布类：地图、散点图、气泡图；

构成类：饼图、面积图、漏斗图。

具体的，参见图4的可视化应用编辑界面，根据需求，从图表库选择图表类型，将图表拖到图表绘制区即可。

附图4包括标记说明：

21、应用标题；

22、工具栏；

23、操作按钮；

24、图形列表；

25、图表工作区；

26、数据和样式标签页；

27、数据源选择区；

28、条件筛选区；

29、维度和度量设置。

S3、选择数据源，从数据源列表选择要进行分析的数据源，并将所选数据源字段按维度和指标进行归类。并将维度作为“X坐标/维度轴”选择参数，将指标作为“Y坐标/度量轴”统计参数。

其中，数据源的数据类型包括CSV/Excel文件、结构化数据源、和/或非结构化数据源。

其中，维度：通常是指不可被聚合的字段，常用来做分类。

指标：也称为度量，是可以被测量和聚合或用于数据运算的字段。

S4、构造绘制条件，设置坐标轴维度和度量，并筛选条件。具体包括：

S41、设置维度和度量：

X坐标轴，从维度列表选择要分析的维度字段；

Y坐标轴，从指标列表选择要进行统计的指标字段进行聚合操作，多维图表支持选择多个指标进行统计；

其中，数值类型-可以进行(求和、平均值、最大值、最小值、计数)聚合统计；

非数值类型-可以进行计数统计。

S42、条件筛选，选择条件字段，识别字段类型。

字段说明：

字符类型：支持多选，通过group by获取值列表。

数值类型：区间值，取字段最小值作为起始值，最大值作为结束值

日期类型：区间值，取字段最小日期作为起始日期，最大日期作为结束日期。

S5、非结构化数据处理，将所选条件提交到数据引擎模块进行统一分析及处理并返回结果，再将结果及设置的页面样式属性进行实时渲染；具体包括以下步骤。

S51、设置维度和指标后，将构造条件以JSON格式提交给数据处理引擎模块，请求参数格式。

S52、数据处理引擎模块接收到请求参数，将参数进行SQL转化。

转化规则：

Select；

遍历measures；

函数名(指标字段1),函数名(指标字段2),…；

from表名；

group by维度字段。

S53、完成SQL转化后，通过x-pack sql方式进行提交；

POST/_xpack/sql？format＝json

{

"query":转化后的sql

}

S54、查询后将结果返回前端，对应图表根据结果数据进行实时渲染。

S6、排版布局，在前端绘制区进行栅格化布局和样式调整；具体包括：

S61、栅格化布局：通过拖拉拽，将图表摆放到绘制区想要的位置；

S62、样式调整，参见图5的样式设置界面，具体如下：

应用背景色调整；

图表背景色调整；

定义标题，字体大小、颜色、上下间距、摆放位置；

图表样式，颜色系选择、线条大小/间距；

悬浮提示；

X轴Y轴角度调整等。

通过该步骤，可在绘制区拖动图表任意布局、设置应用及图表颜色、定义标题，字体、位置等样式。

S7、生成应用，将完成排版布局后的数据生成应用预览页，保存至数据库并在后台生成独立应用工程且分配一个未被使用端口号，并添加到应用列表中，生成可部署状态的应用。

通过步骤1-6就完成了应用及图表的制作。接着可以一键生成应用，在服务端会生成一个独立的可视化应用工程，并给该应用自动分配一个未被使用的端口号，作为后续应用访问的端口号，此时应用状态变为可部署状态。

具体包括：弹出大屏应用览页面，并生成html保存到数据库中；生成应用，在后台生成独立应用工程且分配一个未被使用端口号，并添加到应用列表中。

S8、部署应用，参见图6，将生成的可视化应用进行编译、打包成微服务镜像，推送到镜像服务器。

S9、运行/查看应用，参见图7，运行应用镜像，点击运行按钮，生成应用URL，可通过URL进行访问应用，参见图8，显示运行结果，可进行查看和停用。

URL格式：http://IP:端口。

由此可见，方法支持多种类型数据源，除了传统的Excel、CSV、关系型数据库外，还支持非关系型数据库Elasticsearch。绘图组件丰富，操作简易，多维探索，通过拖拉拽实现绘图。支持应用模板库，用户根据业务场景选择相应的模板后，只需更换预制图表数据源，即可渲染成图表，无需进行绘制，大大减少了用户可视化开发难度及时间成本。编辑完成，可直接进行应用大屏预览、一键生成应用、部署应用、发布应用，实现了从创建可视化应用到发布应用的整个生命周期。

方案要点：

1、将非结构化数据转化为统一查询SQL进行数据提取；

2、将可视化图表一键生成应用并部署。

方案通过统一数据处理，解决了以往非结构化数据无法直接进行可视化问题，同时解决了生成可视化图表后需要重新部署应用问题，让业务人员也能轻松实现海量数据可视化分析。

第三实施例

本发明还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行前述方法的步骤。其中，所述方法请参见前述部分的详细介绍，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

第四实施例

本发明还提供了一种终端，包括存储器和处理器，所述存储器上储存有数据源和能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行前述方法的步骤。其中，所述方法请参见前述部分的详细介绍，此处不再赘述。

需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种非结构化数据的可视化处理系统，其特征在于：所述可视化处理系统包括双向通信的数据可视化处理模块、数据引擎模块和数据源模块，其中，所述数据可视化处理模块包括应用模板库、图表库、条件构造器和绘图组件，用于接收和渲染来自数据引擎模块统一分析和处理的数据结果，以实现多样化需求的数据展示。

2.一种非结构化数据的可视化方法，其特征在于，方法包括：

S2、选择图表，基于分析维度，选择图表类型；

S4、构造绘制条件，设置坐标轴维度和度量，并筛选条件；

S6、排版布局，在前端绘制区进行栅格化布局和样式调整；

3.根据权利要求2所述的可视化方法，其特征在于：步骤S1中，分析维度确定联系、分布、比较、构成四个，其中，联系为数据之间的关系，比较为数据系列的排名，分布为项目的频率情况，构成关注每个部分所占整体的百分比。

4.根据权利要求2所述的可视化方法，其特征在于：步骤S3中的数据源的数据类型包括CSV/Excel文件、结构化数据源、和/或非结构化数据源，将所选数据源字段按维度和指标进行归类，并将维度作为“X坐标/维度轴”选择参数，将指标作为“Y坐标/度量轴”统计参数。

5.根据权利要求2所述的可视化方法，其特征在于，步骤S4包括：

S41、设置维度和度量：X坐标轴，从维度列表选择要分析的维度字段；Y坐标轴，从指标列表选择要进行统计的指标字段进行聚合操作，多维图表支持选择多个指标进行统计；

S42、条件筛选，选择条件字段，识别字段类型。

6.根据权利要求2所述的可视化方法，其特征在于，步骤S5包括：

S51、设置维度和指标后，将构造条件以JSON格式提交给数据处理引擎模块，请求参数格式；

S52、数据处理引擎模块接收到请求参数，将参数进行SQL转化；

S53、完成SQL转化后，通过x-pack sql方式进行提交；

7.根据权利要求2所述的可视化方法，其特征在于，步骤S6包括：

S62、样式调整：包括应用背景色调整、图表背景色调整、定义标题、图表样式、悬浮提示、和X轴Y轴角度调整。

8.根据权利要求2所述的可视化方法，其特征在于：步骤S9中，URL格式采用http://IP:端口。

9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于：所述计算机指令运行时执行权利要求2-8任一项所述方法的步骤。

10.一种终端，包括存储器和处理器，所述存储器上储存有能够在所述处理器上运行的计算机指令，其特征在于：所述处理器运行所述计算机指令时执行权利要求2-8任一项所述方法的步骤。