CN110442550A - 日志聚屏实时可视化方法及装置 - Google Patents

Abstract

本发明公开了一种日志聚屏实时可视化方法及装置，其中，该方法包括：S1，获取日志数据；S2，从日志数据筛选出日志指标数据，对日志指标数据进行视图映射生成初始日志指标态势图；S3，对初始日志指标态势图进行视图配置得到优化日志指标态势图；S4，基于文件管理的模式对优化日志指标态势图进行提取和复用生成日志聚屏，以展示日志数据态势。该方法以可视化图形图像的方式实时展示日志数据，实现了数据向知识的转化，更快的洞察日志数据中隐藏的信息，赋予日志数据更高的价值，利于分析者做出精准分析与决策。

Description

日志聚屏实时可视化方法及装置

技术领域

本发明涉及数据处理和数据监控技术领域，特别涉及一种日志聚屏实时可视化方法及装置。

背景技术

随着大数据时代下信息化技术的迅猛发展，网络安全和大数据可视分析成为新兴交叉领域，以“技术驱动”为理念，结合了人的认知能力和机器的数据处理能力，能够将抽象、海量、复杂、多变的数据信息转化为直观的可视图，并提供对其中的关键指标进行标注，从而实现全方位感知网络安全态势。而日志可视化是监控网络安全的最有效手段，将抽象的网络和系统日志以图形图像的方式展现出来，帮助分析人员分析网络状况，识别网络异常、入侵、预测网络安全事件发展趋势。但基于日志数据的海量性、复杂多变性、有效性、时变性四大特征，只有保证日志数据的实时性才能赋予数据价值，因此保证可视图表中的数据模型与日志数据源同步才能有效监测网络状态变化，降低决策误差。综上，日志源实时与可视图表保持同步是日志可视化分析中的一大挑战。

目前对于大多数企业来说，正面临着来自内外部的信息安全问题，而很多企业的监控日志数据仍停留在原生文本态，不利于进行数据分析和决策。即使分析者从繁杂无序的日志数据中找到问题所在，或许这份日志数据已经失去了时效性，变得毫无意义。通过对监控日志进行有效及时的分析及可视化展现具有重要的意义，能够将日志数据进行价值变现，利于正确决策。

在一个相关技术中，公开了一种日志实时展示和查询的方法和系统。该方法通过日志收集器LogStash采集日志信息，并采用消息模式发送给消息系统服务器Kafka；Tornado服务器通过多线程并发读取模式从消息系统Kafka读取日志消息记录，并提供过滤服务；Tornado服务器采用高性能的WebSocket长连接快速将日志消息发送到前台终端Livetail；前台终端Livetail通过特定方式实时显示日志消息，并提供过滤和搜索功能。

在另一个相关技术中，公开了一种基于Web技术的多屏实时交互系统，包括至少一个客户端、静态资源WEB服务器、实时通讯服务器、数据接口API服务器、认证服务器、大屏控制器，所述客户端支持Html5网页浏览；所述静态资源WEB服务器提供给客户端网页代码、图片、样式定义和脚本程序；实时通讯服务器提供实时通讯服务，将监控数据实时推送到客户端，且共享客户端间的操作数据，且根据预定方案将控制指令发送到大屏控制器；数据接口API服务器提供业务数据给实时通讯服务器，并推送至客户端,使得客户端通过Ajax请求获取数据；认证服务器提供客户端接入认证；大屏控制器与大屏硬件对接，接收socket指令，并切换大屏投屏模式。

但是，在已有的数据实时展示与查询系统中，均采用socket创建浏览器与服务器之间的双向数据通道实现数据双向通信，实现了真正的实时，但是均停留在数据获取阶段，数据可视化同步与展示阶段却没有被涉及或是没有得到很好的处理，尤其是针对特殊的日志数据，使得数据获取后很难直观的进行态势判断和聚合指标分析。日志数据的价值受限于实时性，其价值的发挥则受限于日志数据的实时可视化，而现有系统并没有提供一套基于日志数据的集实时获取数据、数据制图、图表配置、实时日志聚屏于一体的完整技术方案。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种日志聚屏实时可视化方法，该方法以可视化图形图像的方式实时展示日志数据，实现了数据向知识的转化，更快的洞察日志数据中隐藏的信息，赋予日志数据更高的价值，利于分析者做出精准分析与决策。

本发明的另一个目的在于提出一种日志聚屏实时可视化装置。

为达到上述目的，本发明一方面实施例提出了一种日志聚屏实时可视化方法，包括：

S1，获取日志数据；

S2，从所述日志数据筛选出日志指标数据，对所述日志指标数据进行视图映射生成初始日志指标态势图；

S3，对所述初始日志指标态势图进行视图配置得到优化日志指标态势图；

S4，基于文件管理的模式对所述优化日志指标态势图进行提取和复用生成日志聚屏，以展示日志数据态势。

本发明实施例的日志聚屏实时可视化方法，通过建立数据源与日志推送平台、日志推送平台与客户端的双向数据通道实现日志数据实时获取；获取到日志数据并经过数据处理和筛选，经数据转换模型生成可以作图的数据结构后利用开源图表库Echarts进行可视化视图映射得到日志指标态势图，初次生成的态势图是基于default模式，故提供丰富的配置项以提高易用性，美观性；利用组件提取复用并基于文件管理的模式动态生成日志聚屏，并可实时展示日志数据态势，实现秒级平稳实时刷新。

另外，根据本发明上述实施例的日志聚屏实时可视化方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述S1，进一步包括：

通过建立数据源与日志推送平台、日志推送平台与客户端的双向数据通道来获取所述日志数据。

进一步地，在本发明的一个实施例中，所述S2，进一步包括：

对所述日志数据进行筛选得到所述日志指标数据，通过数据转换模型将所述日志指标数据转换为可视化数据结构，并通过视图转换模型进行日志数据的视图映射生成所述初始日志指标态势图。

进一步地，在本发明的一个实施例中，所述S3，进一步包括：

为所述初始日志指标态势图提供图表标题、类型、样式、图例、坐标、备注、预警设置、数值格式化的视图配置项。

进一步地，在本发明的一个实施例中，所述S4，进一步包括：

将所述优化日志指标态势图添加到指定文件夹下的指定专题日志报告中，由多个优化日志指标态势图组成专题日志报告以形成日志聚屏，并通过显示屏进行显示。

为达到上述目的，本发明另一方面实施例提出了一种日志聚屏实时可视化装置，包括：

日志数据实时获取模块，用于获取日志数据；

可视化视图映射模块，用于从所述日志数据筛选出日志指标数据，对所述日志指标数据进行视图映射生成初始日志指标态势图；

可视化视图配置模块，用于对所述初始日志指标态势图进行视图配置得到优化日志指标态势图；

实时日志聚屏模块，用于基于文件管理的模式对所述优化日志指标态势图进行提取和复用生成日志聚屏，以展示日志数据态势。

本发明实施例的日志聚屏实时可视化装置，通过建立数据源与日志推送平台、日志推送平台与客户端的双向数据通道实现日志数据实时获取；获取到日志数据并经过数据处理和筛选，经数据转换模型生成可以作图的数据结构后利用开源图表库Echarts进行可视化视图映射得到日志指标态势图，初次生成的态势图是基于default模式，故提供丰富的配置项以提高易用性，美观性；利用组件提取复用并基于文件管理的模式动态生成日志聚屏，并可实时展示日志数据态势，实现秒级平稳实时刷新。

另外，根据本发明上述实施例的日志聚屏实时可视化装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述日志数据实时获取模块，具体用于，

通过建立数据源与日志推送平台、日志推送平台与客户端的双向数据通道来获取所述日志数据。

进一步地，在本发明的一个实施例中，所述可视化视图映射模块，具体用于，

对所述日志数据进行处理和筛选出可作图的所述日志指标数据，通过数据转换模型将所述日志指标数据转换为可视化数据结构，并通过视图转换模型进行日志数据的可视化视图映射生成所述初始日志指标态势图。

进一步地，在本发明的一个实施例中，所述可视化视图配置模块，具体用于，

为所述初始日志指标态势图提供图表标题、类型、样式、图例、坐标、备注、预警设置、数值格式化的视图配置项。

进一步地，在本发明的一个实施例中，所述实时日志聚屏模块，具体用于，

将所述优化日志指标态势图添加到指定文件夹下的指定专题日志报告中，由多个优化日志指标态势图组成专题日志报告以形成日志聚屏，并通过显示屏进行显示。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的日志聚屏实时可视化方法流程图；

图2为根据本发明一个实施例的日志聚屏实时可视化方法流程框图；

图3为根据本发明一个实施例的日志可视化流程图；

图4为根据本发明一个实施例的视图配置流程图；

图5为根据本发明一个实施例的组件化动态渲染日志聚屏报告流程；

图6为根据本发明一个实施例的日志聚屏报告级实时流程图；

图7为根据本发明一个实施例的日志聚屏视图级实时流程图；

图8为根据本发明一个实施例的日志聚屏实时可视化装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的日志聚屏实时可视化方法及装置。

首先将参照附图描述根据本发明实施例提出的日志聚屏实时可视化方法。

图1为根据本发明一个实施例的日志聚屏实时可视化方法流程图。

如图1所示，该日志聚屏实时可视化方法包括以下步骤：

步骤S1，获取日志数据。

进一步地，步骤S1，具体包括：

通过建立数据源与日志推送平台、日志推送平台与客户端的双向数据通道来获取日志数据。

具体地，利用WebSocket实现数据实时获取，WebSocket是实现服务器与浏览器之间全双工通信的网络应用层协议，基于TCP连接，为前后端数据实时传输提供了可靠的数据通道。

如图2所示，在获取日志数据时，可以通过日志数据实时获取模块来实现，在日志数据实时获取模块中，日志收集器管理器(Watcher)作为数据源提供者负责管理、启动、暂停日志文件收集器(filebeat)和系统指标收集器(metricbeat)，Watcher通过socket实现与日志推送平台的双向数据通信，进而通过WebSoctet实现与客户端的双向数据通信。

步骤S2，从日志数据筛选出日志指标数据，对日志指标数据进行视图映射生成初始日志指标态势图。

进一步地，步骤S2，具体包括：

对日志数据进行筛选得到日志指标数据，通过数据转换模型将日志指标数据转换为可视化数据结构，并通过视图转换模型进行日志数据的视图映射生成初始日志指标态势图。

具体地，利用开源可视化图表库Echarts及VUE的双向数据绑定机制通过数据劫持结合发布者-订阅者模式实现数据到视图的转换。

如图2所示，步骤S2可以通过可视化视图映射模块来进行日志数据的处理和筛选及数据类型的转换，在可视化视图映射模块中，对实时获取到的日志数据进行处理并筛选出欲作图的日志指标数据后，通过配置维度、度量、图表类型并将其作为参数传递给获取日志数据API，将API返回数据通过数据转换模型转换为数据条目一致的数组结构，通过视图转换模型从而进行日志数据的可视化渲染。

步骤S3，对初始日志指标态势图进行视图配置得到优化日志指标态势图。

进一步地，步骤S3，具体包括：

为初始日志指标态势图提供图表标题、类型、样式、图例、坐标、备注、预警设置、数值格式化的视图配置项。

如图2所示，视图配置可以通过可视化视图配置模块来实现，在可视化视图配置模块中，针对视图映射生成的初始日志指标态势图提供图表标题、类型、样式、图例、坐标、备注、预警设置、数值格式化九大维度的丰富配置项。

步骤S4，基于文件管理的模式对优化日志指标态势图进行提取和复用生成日志聚屏，以展示日志数据态势。

进一步地，步骤S4具体包括：

将优化日志指标态势图添加到指定文件夹下的指定专题日志报告中，由多个优化日志指标态势图组成专题日志报告以形成日志聚屏，并通过显示屏进行显示。

如图2所示，步骤S4可以通过实时日志聚屏模块来实现，利用组件提取复用动态实现基于文件管理的日志聚屏，实时展示日志数据变化趋势。

具体地，将配置好的态势图添加到指定文件夹下的指定专题日志报告中，由多个态势图组成的专题日志报告形成日志聚屏，可以在任何有网络的显示屏中展示，并以交互式界面设计的方式提供实时日志聚屏。由于原始日志数据的更新周期不可预知，请求频率难以确定，故提供两种实时模式：手动模式，分析者想要查看最新日志数据时手动点击“实时”按钮，但此模式会有丢失数据的风险；配置模式，分析者可自定义配置刷新间隔实现日志数据秒级实时平稳刷新，但此模式会加重服务器负载，消耗更多网络带宽资源。此外，该模块提供自由排版机制，数据动态轮播模式等。

可以理解的是，日志聚屏实时可视化方法以可视化图形图像的方式实时展示日志数据，实现了数据向知识的转化，更快的洞察日志数据中隐藏的信息，赋予日志数据更高的价值，利于分析者做出精准分析与决策。

下面结合附图对日志聚屏实时可视化方法进行详细说明。

本方法为一种日志聚屏实时可视化技术，将数据可视化技术、基于组件化的动态文件管理技术、实时技术相结合，从日志数据源实时获取到实时日志聚屏展示一共分为四个模块。模块具体流程如下：

(1)日志数据实时获取模块

在日志数据实时获取模块中，还包括日志收集器管理器子模块、日志文件收集器子模块、系统指标收集器子模块构成，日志收集器管理器负责管理、启动、停止日志文件收集器和系统指标收集器，收集器收集到数据后通过socket将其推送至日志推送平台，实现双向数据传输。

(1-1)日志收集器管理器子模块：此模块设计了运行脚本添加日志收集器管理器(Watcher)的方式，在浏览器端通过添加有实际意义的、具有区别性的自定义标签的方式生成一条shell命令，于待收集数据的节点上执行该命令，将自动下载并启动日志收集器管理器，启动服务器收集日志的服务。启动成功后，负责监听日志文件收集器(filebeat)与系统服务指标收集器(metricbeat)。当节点数据发生变化，节点将数据以JSON格式推送至对应日志文件收集器或系统服务指标收集器中。

(1-2)日志文件收集器子模块：是对普通日志文件(如.txt，.log文件)的收集，通过配置数据源，包括对日志路径、类型、字段、是否启动、匹配模式、合并方式等字段的配置；配置目的地，包括对host地址、索引、ES版本号的配置；确认并添加收集器：填写名称、描述、类型并提供对beat信息的修改完成对日志数据的收集配置，配置完成后将其分发至指定日志收集器管理器进行日志文件收集器启动并开始进行日志收集。此时，服务器节点日志文件数据发生变化后就会通过日志收集器管理器推送至日志文件收集器并进入日志推送平台，浏览器端即可通过WebSocket与服务器进行双向通信。

(1-3)系统监控指标收集器子模块，是对系统监控指标的收集(如CPU，Mem)，通过配置系统信息，选择监控信息类别；配置发送方式，提供三类发送数据目的地，包括Elasticsearch服务，Kafka，本地文件；配置确认并发送收集器，填写名称、描述并提供对module信息、beat信息的修改完成系统监控数据的收集配置，配置完成后将其分发至指定日志收集器管理器进行系统监控数据收集器启动并开始进行系统监控指标收集。此后，服务器节点系统监控指标数据发生变化后就会通过日志收集器管理器推推送至系统监控指标收集器并进入日志推送平台，浏览器端即可通过WebSocket与服务器进行双向通信。

(2)可视化视图映射模块

在可视化视图映射模块中，由表格分析子模块和探索式制图子模块组成，表格分析子模块方便用户对日志数据的初步感知，并为筛选机制提供依据；探索式制图子模块实现日志指标数据向日志态势图的转换，利于用户对日志数据的深度分析。

(2-1)表格分析子模块：通过用户选择想要进行数据分析的日志源，字段类型，监测时间段及自定义数据条数获取查询条件，将其传递给相应的接口，从而按照需求查询数据库得到预处理后的日志数据。由于日志数据量太大，不利于分析者捕获关键信息，为避免海量繁杂的日志数据给分析者带来视觉上的混淆，该模块提供强大的筛选机制与实时开关相结合的模式。当筛选出想要分析的日志指标后，开启实时分析，日志数据将会进行秒级平稳实时刷新。方便分析者捕获最新数据，做出相应决策。

日志筛选规则如下：

1、父级条件：must代表必须包含此条件，must_not代表必须排除此条件，should代表可以包含此条件。

2、子级条件：equal代表严格等于，gte代表大于等于，lte代表小于等于，regexp代表正则表达式。

3、支持任意组合，层级嵌套。

(2-2)探索式制图子模块：基于一个或多个日志源条件下，通过动态添加维度轴配置项的方式实现对一个或多个日志指标数据的可视化。针对日志数据维度提供不同的图表类型(多值图、单值图、融合图)以满足分析者的需要与日志数据展示的美观与便捷。并通过判断日志数据维度特性，智能显示满足该日志数据类型的图表种类，减少分析者人工探索过程。步骤如下：

1、分析者通过选择想要分析的日志字段(如system.process.memory.size)，聚合指标(如计数、求和、最大值、最小值、平均值)，填写自定义图例名称，配置筛选规则(如host.name must equal master代表数据来源必须为服务器master)。

2、点击添加字段，配置下一个日志字段，日志字段名可与(1)相同也可不同，选择聚合指标(如计数、求和、最大值、最小值、平均值)，填写自定义图例名称，配置筛选规则(如host.name must equal slave1代表数据来源必须为服务器slave1，与(1)不同源或host.name must equal master代表数据来源必须为服务器master，与(1)同源)。

3、基于Y轴维度的配置重复上述步骤。

4、基于X轴度量的配置：填写自定义坐标间隔，选择间隔维度(如秒、分、时)、自动显示日志条数。

5、基于根据数据维度特性智能判断后显示的图表类型，再由人工根据图表最能表达的语义筛选出一种最合适的图表类型，如折线图适合观察数据波动情况，数据源从维度上支持多维数据；饼图适合观察占比情况，数据源从维度上支持一维数据。

6、将上述所有查询条件转换为数据对象，将其传递给相应的接口，查询数据库得到生成图表的原始数据，通过数据转换模型的处理形成统一格式的可视化数据结构，再通过视图转换模型进行数据向视图的转换，最终渲染呈现给用户。

如图3所示，展示了日志可视化的流程。

(3)可视化视图配置模块

在可视化视图配置模块中，对日志指标字段可视化作图后，提供丰富的视图配置项，以满足日志指标数据的多样性，复杂性要求，并可为维度和度量添加告警规则。

配置项分类如下：

1、图表类型相关配置项：根据数据维度特性智能显示可支持的图表类型，提供不同图表类型之间的切换。

2、图表标题和图表备注：提供对图表标题和图表备注的修改。

3、图例相关配置项：可控制图例的显示与隐藏；支持图例名称动态编辑；图例排列方式变更，vertical对应垂直排列，horizontal对应水平排列；位置变更，分为右上方、右下方、左上方、左下方。

4、坐标轴相关配置项：分为对X轴与Y轴的配置。均提供坐标轴的显示与隐藏；坐标轴标签的可编辑。

5、图表样式相关配置项：维度级颜色绘制。

可视化视图配置实现方案如下：

1、利用VUE的双向绑定机制展示默认配置项，并获取默认视图Option。

2、为每一个配置项绑定change事件，待配置项中内容改变后，传递给视图Option中对应项。

3、利用Echarts的setOption API重新渲染Option，实现自定义视图配置。

如图4所示，展示了视图配置的流程。

(4)实时日志聚屏模块

在实时日志聚屏模块中，分为文件区和视图区，文件区基于文件管理的模式提供对日志聚屏报告的统一分类管理，支持动态添加任意多个文件夹，在某一文件夹下添加任意多个日志聚屏报告，在某一日志聚屏报告中可以添加任意多个日志指标态势图实现增量扩展。报告区提供态势图组合展示，将一类相关的日志指标态势图置于同一个日志聚屏报告中，方便用户进行关联分析，日志聚屏报告中包含任意多个态势图，达到数据立方的效果。通过点击文件区和视图区中间的箭头按钮可以实现文件区隐藏态、展示态自由切换，为用户提供友好的交互方式。

日志聚屏实时机制是基于所有日志指标态势图均已添加完毕的前提下实现的，首先，日志聚屏报告是利用组件提取复用并基于文件管理的模式动态生成，组件化动态渲染日志聚屏报告实现方案如下：

1、容器(Container)组件：请求获取报告数据的API，将返回数据中的全部视图Option和布局Location处理后分别添加到OptionArray和LayoutArray中。将OptionArray和LayoutArray作为Props传递给Dashboard组件。

2、仪表板(Dashboard)组件：接收到LayoutArray循环驱动DOM BOX动态生成，接收到OptionArray循环驱动将每个Option传递给Panel组件，由Panel组件完成DOM BOX中态势图渲染。

3、态势图(Panel)组件：根据Dashboard组件传递的ChartID获取DOM结构，利用Echarts的initAPI初始化实例；根据Dashboard组件传递的SingleOption并利用Echarts的setOptionAPI进行视图渲染。其中，在视图渲染过程中将按比例重新计算视图宽度和高度，利用Echarts的resize事件实现屏幕自适应。

如图5所示，展示了组件化动态渲染日志聚屏报告的流程。

其次，在日志聚屏报告已生成的前提下实现实时机制，本方法采用WebSocket实现服务器与浏览器之间全双工通信，实现实时日志聚屏报告技术。因为业务需求，实时机制分为报告级实时和视图级实时，又分别细分为手动实时和自动实时。报告级手动实时通过点击刷新按钮拉取报告级别整体最新数据，实现日志报告中所有态势图整体更新；视图级手动实时是针对每一个态势图，提供独立实时机制，通过手动点击单个态势图中刷新按钮单独查看日志报告中该态势图的最新数据并加以分析，减小网络带宽，节省流量。报告级自动实时通过在报告级配置实时间隔的方式并通过setInterval函数定时向服务器发送WebSocket请求实现日志报告中所有态势图整体定时更新。视图级自动实时通过在视图级配置实时间隔的方式并通过setInterval函数定时向服务器发送WebSocket请求实现日志报告中单个特定态势图定时更新。

具体地，报告级实时实现方案—手动实时：

1、在容器组件中点击刷新，调用获取报告数据API，获得特定报告中所有初始态势图数据。

2、循环所有态势图数据，在单次循环中取出制图API所需要的不变参数，另外获取制图API所需要的变化参数(控制数据更新的参数)组合成完整参数传递给制图API，调用获取单个视图最新数据。获得最新数据后调用自研DChart插件根据视图类型重新渲染获得更新后Option，并替换OptionArray中原有Option。

3、循环完毕，更新报告，更新流程同组件化动态渲染日志聚屏报告流程。

具体地，报告级实时实现方案—自动实时：

1、判断实时是否开启，如果是关闭状态，则将定时器置为Null，达到清除定时器的效果。

2、如果是开启状态，则获得自定义时间间隔，开启setInterval异步定时器。

3、调用获取报告数据API，获得特定报告中所有初始态势图数据。

4、循环所有态势图数据，在单次循环中取出制图API所需要的不变参数，另外获取制图API所需要的变化参数(控制数据更新的参数)组合成完整参数传递给制图API，调用获取单个视图最新数据。获得最新数据后调用自研DChart插件根据视图类型重新渲染获得更新后Option，并替换OptionArray中原有Option。

5、循环完毕，更新报告，更新流程同组件化动态渲染日志聚屏报告流程，本次更新结束，经过一定时间间隔后，在实时未关闭的条件下，定时再次开始。

如图6所示，展示了日志聚屏报告级实时的流程图。

具体地，视图级实时实现方案—手动实时：

1、在态势图组件中，点击态势图中实时图标，利用e.target获取当前态势图的chartId。

2、调用获取报告数据API，根据chartId从返回数据中检索出当前态势图数据。取出制图API所需要的不变参数，另外获取制图API所需要的变化参数(控制数据更新的参数)组合成完整参数传递给制图API，调用获取当前态势图最新数据。获得最新数据后调用自研DChart插件根据视图类型重新渲染获得更新后Option，将其作为参数之一传递给更新视图API实现视图持久更新。

具体地，视图级实时实现方案—自动实时：

1、判断实时是否开启，如果是关闭状态，则将定时器置为Null，达到清除定时器的效果。

2、如果是开启状态，则获得自定义时间间隔，开启setInterval异步定时器，并利用e.target获取当前态势图的chartId。

3、调用获取报告数据API，根据chartId从返回数据中检索出当前态势图数据。取出制图API所需要的不变参数，另外获取制图API所需要的变化参数(控制数据更新的参数)组合成完整参数传递给制图API，调用获取当前态势图最新数据。获得最新数据后调用自研DChart插件根据视图类型重新渲染获得更新后Option，将其作为参数之一传递给更新视图API实现视图持久更新。

4、本次更新完毕，经过一定时间间隔后，在实时未关闭的条件下，定时再次开始。

如图7所示，展示了日志聚屏视图级实时的流程图。

综上，本方法提供了一个兼具日志数据实时获取、可视化视图映射、可视化视图配置、实时日志聚屏报告的日志可视化流程，提供了一个可配置、可复用、可扩展的日志实时监测可视化解决方案，具有美感、灵活、实时的特点。

根据本发明实施例提出的日志聚屏实时可视化方法，通过建立数据源与日志推送平台、日志推送平台与客户端的双向数据通道实现日志数据实时获取；获取到日志数据并经过数据处理和筛选，经数据转换模型生成可以作图的数据结构后利用开源图表库Echarts进行可视化视图映射得到日志指标态势图，初次生成的态势图是基于default模式，故提供丰富的配置项以提高易用性，美观性；利用组件提取复用并基于文件管理的模式动态生成日志聚屏，并可实时展示日志数据态势，实现秒级平稳实时刷新。

其次参照附图描述根据本发明实施例提出的日志聚屏实时可视化装置。

图8为根据本发明一个实施例的日志聚屏实时可视化装置结构示意图。

如图8所示，该日志聚屏实时可视化装置包括：日志数据实时获取模块100、可视化视图映射模块200、可视化视图配置模块300和实时日志聚屏模块400。

日志数据实时获取模块100，用于获取日志数据；

可视化视图映射模块200，用于从日志数据筛选出日志指标数据，对日志指标数据进行视图映射生成初始日志指标态势图；

可视化视图配置模块300，用于对初始日志指标态势图进行视图配置得到优化日志指标态势图；

实时日志聚屏模块400，用于基于文件管理的模式对优化日志指标态势图进行提取和复用生成日志聚屏，以展示日志数据态势。

该装置以可视化图形图像的方式实时展示日志数据，实现了数据向知识的转化，更快的洞察日志数据中隐藏的信息，赋予日志数据更高的价值，利于分析者做出精准分析与决策。

进一步地，在本发明的一个实施例中，日志数据实时获取模块，具体用于，

通过建立数据源与日志推送平台、日志推送平台与客户端的双向数据通道来获取日志数据。

进一步地，在本发明的一个实施例中，可视化视图映射模块，具体用于，

对日志数据进行处理和筛选出可作图的日志指标数据，通过数据转换模型将日志指标数据转换为可视化数据结构，并通过视图转换模型进行日志数据的可视化视图映射生成初始日志指标态势图。

进一步地，在本发明的一个实施例中，可视化视图配置模块，具体用于，

为初始日志指标态势图提供图表标题、类型、样式、图例、坐标、备注、预警设置、数值格式化的视图配置项。

进一步地，在本发明的一个实施例中，实时日志聚屏模块，具体用于，

将优化日志指标态势图添加到指定文件夹下的指定专题日志报告中，由多个优化日志指标态势图组成专题日志报告以形成日志聚屏，并通过显示屏进行显示。

需要说明的是，前述对日志聚屏实时可视化方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

根据本发明实施例提出的日志聚屏实时可视化装置，通过建立数据源与日志推送平台、日志推送平台与客户端的双向数据通道实现日志数据实时获取；获取到日志数据并经过数据处理和筛选，经数据转换模型生成可以作图的数据结构后利用开源图表库Echarts进行可视化视图映射得到日志指标态势图，初次生成的态势图是基于default模式，故提供丰富的配置项以提高易用性，美观性；利用组件提取复用并基于文件管理的模式动态生成日志聚屏，并可实时展示日志数据态势，实现秒级平稳实时刷新。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种日志聚屏实时可视化方法，其特征在于，包括以下步骤：

S1，获取日志数据；

S2，从所述日志数据筛选出日志指标数据，对所述日志指标数据进行视图映射生成初始日志指标态势图；

S3，对所述初始日志指标态势图进行视图配置得到优化日志指标态势图；

S4，基于文件管理的模式对所述优化日志指标态势图进行提取和复用生成日志聚屏，以展示日志数据态势。

2.根据权利要求1所述的方法，其特征在于，所述S1，进一步包括：

通过建立数据源与日志推送平台、日志推送平台与客户端的双向数据通道来获取所述日志数据。

3.根据权利要求1所述的方法，其特征在于，所述S2，进一步包括：

对所述日志数据进行筛选得到所述日志指标数据，通过数据转换模型将所述日志指标数据转换为可视化数据结构，并通过视图转换模型进行日志数据的视图映射生成所述初始日志指标态势图。

4.根据权利要求1所述的方法，其特征在于，所述S3，进一步包括：

为所述初始日志指标态势图提供图表标题、类型、样式、图例、坐标、备注、预警设置、数值格式化的视图配置项。

5.根据权利要求1所述的方法，其特征在于，所述S4，进一步包括：

将所述优化日志指标态势图添加到指定文件夹下的指定专题日志报告中，由多个优化日志指标态势图组成专题日志报告以形成日志聚屏，并通过显示屏进行显示。

6.一种日志聚屏实时可视化装置，其特征在于，包括：

日志数据实时获取模块，用于获取日志数据；

可视化视图映射模块，用于从所述日志数据筛选出日志指标数据，对所述日志指标数据进行视图映射生成初始日志指标态势图；

可视化视图配置模块，用于对所述初始日志指标态势图进行视图配置得到优化日志指标态势图；

实时日志聚屏模块，用于基于文件管理的模式对所述优化日志指标态势图进行提取和复用生成日志聚屏，以展示日志数据态势。

7.根据权利要求6所述的装置，其特征在于，所述日志数据实时获取模块，具体用于，

通过建立数据源与日志推送平台、日志推送平台与客户端的双向数据通道来获取所述日志数据。

8.根据权利要求6所述的装置，其特征在于，所述可视化视图映射模块，具体用于，

对所述日志数据进行处理和筛选出可作图的所述日志指标数据，通过数据转换模型将所述日志指标数据转换为可视化数据结构，并通过视图转换模型进行日志数据的可视化视图映射生成所述初始日志指标态势图。

9.根据权利要求6所述的装置，其特征在于，所述可视化视图配置模块，具体用于，

为所述初始日志指标态势图提供图表标题、类型、样式、图例、坐标、备注、预警设置、数值格式化的视图配置项。

10.根据权利要求6所述的装置，其特征在于，所述实时日志聚屏模块，具体用于，

将所述优化日志指标态势图添加到指定文件夹下的指定专题日志报告中，由多个优化日志指标态势图组成专题日志报告以形成日志聚屏，并通过显示屏进行显示。