CN111813751A

CN111813751A - 应用系统日志数据的处理方法、应用系统、设备及介质

Info

Publication number: CN111813751A
Application number: CN202010602738.0A
Authority: CN
Inventors: 万伟
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2020-06-29
Filing date: 2020-06-29
Publication date: 2020-10-23
Also published as: WO2021151315A1

Abstract

本发明涉及区块链技术领域，公开了一种应用系统日志数据的处理方法、应用系统、终端设备及计算机可读存储介质，该应用系统日志数据的处理方法包括：采集所述应用系统生成的日志数据，并将所述日志数据缓存至临时数据库中；按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗，并为经过清洗的日志数据创建索引标签；将携带有所述索引标签的日志数据存储至预设数据库中以供查询。其中，所述索引标签可存储于区块链中。本发明基于周期性的清洗日志数据，并为对清洗后的日志数据创建索引标签，既去除了存在泄漏用户隐私数据隐患的敏感数据，还提升了日志数据的查询速度和查询的便捷性，提高了基于日志数据对应用系统进行运维的运维效率。

Description

应用系统日志数据的处理方法、应用系统、设备及介质

技术领域

本发明涉及区块链技术领域，尤其涉及一种应用系统日志数据的处理方法、应用系统、终端设备以及计算机可读存储介质。

背景技术

在应用系统的运行和维护过程中，其任意功能模块的启动和结束、用户的登录和退出以及在运行期间出现的异常信息等，都将通过日志数据进行记录并保存下来以用于对该应用系统进行管理，因此，日志俨然已经成为针对应用系统运维管理过程中极为重要的组成部分。

尽管目前很多的应用系统已经拥有了针对日志参数的定制化功能，可以实现自由选择需要的日志数据进行查看或者打印，然而，由于现有应用系统所产生的日志数据数量繁多且通常会包含有许多诸如用户的身份证信息、电话号码或者银行卡号等敏感信息，现有应用系统针对日志数据的基本处理方式就显得十分有限，在对应用系统的日常运行维护过程中，仍然需要耗费大量的时间成本和人力成本，运维效率低下。

发明内容

本发明的主要目的在于提供一种应用系统日志数据的处理方法、应用系统、终端设备及计算机可读存储介质，旨在解决现有应用系统难以对产生的日志数据进行有效管理，导致系统的日常运维效率低下的技术问题。

为实现上述目的，本发明实施例提供一种应用系统日志数据的处理方法，所述应用系统日志数据的处理方法应用于客户端，所述应用系统日志数据的处理方法包括：

采集所述应用系统生成的日志数据，并将所述日志数据缓存至临时数据库中；

按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗，并为经过清洗的日志数据创建索引标签；

将携带有所述索引标签的日志数据存储至预设数据库中以供查询。

优选地，所述将所述日志数据缓存至临时数据库中的步骤，包括：

对采集到的日志数据进行压缩；

按照预设第二周期将经过压缩后的日志数据发送至所述临时数据库，以供所述临时数据对经过压缩后的日志数据进行持久缓存。

优选地，所述按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗的步骤，包括：

按照预设第一周期将所述临时数据库中缓存的日志数据发送至预设清洗服务器，其中，所述预设清洗服务器按照分布式架构进行设置；

接收所述预设清洗服务器对包含有敏感信息的目标日志数据进行清洗后异步反馈的清洗结果。

优选地，所述为经过清洗的日志数据创建索引标签的步骤，包括：

从所述清洗结果中提取所述预设清洗服务器清洗所述目标日志数据后保留下的留存日志数据；

检测所述留存日志数据的数据源，根据所述数据源为所述留存日志数据创建索引标签，并将所述索引标签存储于区块链中。

优选地，在所述从所述清洗结果中提取所述预设清洗服务器清洗所述目标日志数据后保留下的留存日志数据的步骤之后，还包括：

检测所述留存日志数据的采集信息，并根据所述采集信息为所述留存日志数据创建索引标签并将所述索引标签存储于区块链中，其中，所述采集信息包括采集时间。

优选地，所述将携带有所述索引标签的日志数据存储至预设数据库中以供查询的步骤，包括：

将携带有所述索引标签的日志数据转化为结构化数据，并根据所述索引标签创建连接所述预设数据库的数据流通道；

针对所述数据流通道设置存储队列，并将所述结构化数据传输至所述存储队列中；

按照所述存储队列的存取规则将所述结构化数据存储至所述预设数据库中以供基于所述索引标签对日志数据进行查询。

优选地，在所述将携带有所述索引标签的日志数据存储至预设数据库中以供查询的步骤之后，还包括：

对存储在所述预设数据库中的日志数据进行展示；

所述对存储在所述预设数据库中的日志数据进行展示的步骤，包括：

从所述预设数据库存储的结构化数据中，获取所述索引标签对应的目标结构数据；

将所述目标结构数据输出至所述应用系统的前端页面以对所述索引标签关联的日志数据进行展示。

此外，为实现上述目的，本发明还提供一种应用系统，所述应用系统包括：存储器、处理器，通信总线以及存储在所述存储器上的应用系统日志数据的处理程序，

所述通信总线用于实现处理器与存储器间的通信连接；

所述处理器用于执行所述应用系统日志数据的处理程序，以实现以下步骤：

对采集到的日志数据进行压缩；

检测所述留存日志数据的数据源，并根据所述数据源为所述留存日志数据创建索引标签。

检测所述留存日志数据的采集信息，并根据所述采集信息为所述留存日志数据创建索引标签，其中，所述采集信息包括采集时间。

对存储在所述预设数据库中的日志数据进行展示；

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于：

本发明提供的应用系统日志数据的处理方法、应用系统、终端设备以及计算可读存储介质，通过采集所述应用系统生成的日志数据，并将所述日志数据缓存至临时数据库中；按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗，并为经过清洗的日志数据创建索引标签；将携带有所述索引标签的日志数据存储至预设数据库中以供查询。

本发明基于采集应用系统所产生的日志数据，并对该日志数据进行临时的缓存，然后周期性的对该日志数据进行清洗，不仅减少了应用系统所产生日志数据的冗余，更去除了存在泄漏用户隐私数据隐患的敏感数据，提高了基于日志数据对应用系统进行运维时日志数据的查询速度，并提高了应用系统的运行安全性。此外，本发明在对清洗后的日志数据进行最终存储的过程中，为该日志数据创建供后续索引查询的索引标签，提升了对日志数据进行查询的便捷性，极大程度上提高了基于日志数据对应用系统进行运维时的运维效率。

附图说明

图1为本发明实施例方法涉及的终端设备硬件运行环境的结构示意图；

图2为本发明应用系统日志数据的处理方法一实施例的流程示意图；

图3为本发明应用系统日志数据的处理方法一实施例中步骤S200的细化流程示意图；

图4为本发明应用系统日志数据的处理方法一实施例中步骤S200的另一细化流程示意图；

图5为本发明应用系统日志数据的处理方法另一实施例的流程示意图；

图6为本发明应用系统日志数据的处理方法一实施例的应用场景示意图；

图7为本发明应用系统的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：采集所述应用系统生成的日志数据，并将所述日志数据缓存至临时数据库中；按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗，并为经过清洗的日志数据创建索引标签；将携带有所述索引标签的日志数据存储至预设数据库中以供查询。

现有技术中，应用系统所产生的日志数据数量繁多且通常会包含有许多诸如用户的身份证信息、电话号码或者银行卡号等敏感信息，现有应用系统针对日志数据的基本处理方式就显得十分有限，在对应用系统的日常运行维护过程中，仍然需要耗费大量的时间成本和人力成本，运维效率低下。

本发明提供的解决方案，基于采集应用系统所产生的日志数据，并对该日志数据进行临时的缓存，然后周期性的对该日志数据进行清洗，不仅减少了应用系统所产生日志数据的冗余，更去除了存在泄漏用户隐私数据隐患的敏感数据，提高了基于日志数据对应用系统进行运维时日志数据的查询速度，并提高了应用系统的运行安全性。此外，本发明在对清洗后的日志数据进行最终存储的过程中，为该日志数据创建供后续索引查询的索引标签，提升了对日志数据进行查询的便捷性，极大程度上提高了基于日志数据对应用系统进行运维时的运维效率。

如图1所示，图1是本发明实施例方案涉及的终端设备硬件运行环境的设备结构示意图。

本发明实施例终端设备可以是PC，也可以是智能手机、平板电脑和便携计算机等终端设备。

如图1所示，该终端设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，该终端设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在设备移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的设备结构并不构成对终端设备的限定，在其它实施方式当中，终端设备还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及应用系统日志数据的处理程序。

在图1所示的终端设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的应用系统日志数据的处理程序，并执行以下步骤：

进一步地，处理器1001可以用于调用存储器1005中存储的应用系统日志数据的处理程序，还执行以下步骤：

对采集到的日志数据进行压缩；

进一步地，处理器1001可以用于调用存储器1005中存储的应用系统日志数据的处理程序，在执行从所述清洗结果中提取所述预设清洗服务器清洗所述目标日志数据后保留下的留存日志数据之后，还执行以下步骤：

进一步地，处理器1001可以用于调用存储器1005中存储的应用系统日志数据的处理程序，在执行将携带有所述索引标签的日志数据存储至预设数据库中以供查询之后，还执行以下步骤：

对存储在所述预设数据库中的日志数据进行展示。

本发明应用系统日志数据的处理方法所涉及终端设备的具体实施例与下述应用系统日志数据的处理方法的各具体实施例基本相同，在此不作赘述。

本发明提供一种应用系统日志数据的处理方法。

请参照图2，图2为本发明应用系统日志数据的处理方法第一实施例的流程示意图，本发明应用系统日志数据的处理方法第一实施例应用于客户端，在本实施例中，该应用系统日志数据的处理方法包括：

步骤S100，采集所述应用系统生成的日志数据，并将所述日志数据缓存至临时数据库中；

终端设备在设定好的采集路径下，调用日志采集工具全量采集应用系统所生成的日志数据，待采集到该日志数据时，将该日志数据发送至临时数据库中进行缓存。

需要说明的是，在本实施例中，应用系统具体可以为基于任意一种应用服务器在当前终端设备上安装的应用程序的运行系统，采集路径具体可以根据应用系统的运维工作人员预先根据对日志数据进行管理的需求而自主定义的数据传输路径；此外，日志采集工具可以为filebeat(一种轻量型日志采集器)，应当理解的是，在其它实施方式中，日志采集工具同样也可以才有其它任意成熟的日志采集工具，本发明应用系统日志数据的处理方法并不对所使用的现有日志采集工具的类型进行具体限定。

具体地，例如，在如图6所示的应用场景中，由工作人员预先根据对当前终端设备上所安装应用程序进行运维的需要，自主定义用于采集该应用程序所生成日志数据的数据传输路径，并由工作人员通过该应用程序的应用服务器，在当前终端设备上安装配置日志采集工具-filebeat，并将该日志采集工具-filebeat设为daemon进程(一种在终端设备上持续运行的服务端程序，又称为守护进程)，从而在后台持续运行，然后，基于该日志采集工具-filebeat在当前终端设备的运行过程中，持续不断地全量采集该应用程序的应用服务器生成并通过该数据传输路径传输的日志数据，在终端设备基于该日志采集工具-filebeat采集到该应用服务器所生成的日志数据之后，即时将该日志数据发送至临时数据库中以进行对该日志数据进行清洗前的缓存。

进一步地，在另一种实施例中，在终端设备基于日志采集工具采集由应用服务器所传输日志数据的过程中，可以对采集到的日志数据添加数据标签或者对该日志数据进行编译转化为结构化的元数据。

进一步地，在一种实施例中，步骤S100中，将所述日志数据缓存至临时数据库中的步骤，可以包括：

步骤S101，对采集到的日志数据进行压缩；

步骤S102，按照预设第二周期将经过压缩后的日志数据发送至所述临时数据库，以供所述临时数据对经过压缩后的日志数据进行持久缓存。

在终端设备调用日志采集工具全量采集应用系统所生成的日志数据之后，采用任意数据编译压缩语言对采集到的日志数据进行编译和压缩，然后将压缩后的日志数据缓存在临时数据库当中。

具体地，在本实施例中，临时数据库具体可以选用Redis(一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库)，基于该Redis提供的多种语言的应用程序接口，可选择现有任意用于编译压缩的数据语言对日志数据进行编译压缩，然后将压缩后的日志数据通过Redis提供的应用程序接口传输至该Redis当中，以使Redis对采集到的日志数据做持久化的缓存。

进一步地，在另一种实施例中，由于应用系统所生成的日志数据较多(通常每一天都将产生接近几十亿条)，因此，考虑到对全量采集到的日志数据进行压缩和缓存的处理压力会对当前终端设备或者临时数据库-Redis的运行造成影响，因此可以由终端设备采用多种数据语言分别对日志数据压缩，从而通过临时数据库-Redis提供的多种应用程序接口同步传输压缩后的日志数据，或者，还可以在终端设备将压缩后日志数据传输至临时数据库-Redis以做持久化缓存的过程中，在当前终端设备与临时数据库-Redis之间的数据流通道内设置存储队列，然后按照存储队列的存储规则按序将压缩后日志数据传输至临时数据库-Redis。

步骤S200，按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗，并为经过清洗的日志数据创建索引标签；

当前终端设备在将采集到的应用系统所生成的日志数据，发送至临时数据库中进行缓存之后，按照预设第一周期将该临时数据库中缓存的日志数据发送至预先设定好的清洗服务器中，由该清洗服务器对日志数据中包含有敏感信息的部分数据数据进行清洗，然后为经过清洗所保留下来的日志数据创建用于后续索引查询的索引标签。

需要说明的是，在本实施例中，预设第一周期为预先由工作人员根据应用系统的运行和维护需要，自主定义的针对日志数据进行清洗的时间，具体可以为每一天的某一个时刻，如每天的凌晨1点，应当理解的是，在其它的实施方式中，该预设第一周期也可根据日志数据的数据量定义为在该数据量累积到某一个阈值时，随即开始对该日志数据进行清洗，本发明应用系统日志数据的处理方法并不对该预设第一周期的具体设置进行限定。

具体地，例如，在如图6所示的应用场景中，在当前终端设备基于日志采集工具-filebeat采集到应用服务器生成的日志数据，并将该日志数据发送至临时数据库-Redis中做持久化缓存之后，当前终端设备随即控制该临时数据库-Redis在每天的凌晨1点将缓存的该日志数据传输至预先设定好的清洗服务器当中，以供该清洗服务器按照工作人员在设定该清洗服务器即定义好的清洗规则(如将该日志数据中包含有诸如客户的身份证、电话号码、银行卡等敏感信息的数据进行清除)，对该日志数据进行清洗过滤，然后将清晰过滤保留下来的日志数据封装在清洗结果中返回至当前终端设备，由当前终端设备对该保留下来的日志数据添加用于后续索引查询的索引标签。

进一步地，在另一种实施例中，如图6所示的应用场景，若当前终端设备控制临时数据库-Redis中向清洗服务器传输的日志数据全部符合工作人员定义好的清洗规则时，该清洗服务器便直接对该日志数据进行格式化处理，并向当前终端设备反馈格式化处理该日志数据后的清洗结果。

进一步地，在另一种实施例中，当前终端设备除了可以在将日志数据经过清洗服务器清洗过滤后，针对保留下来的日志数据添加索引标签之外，还可以在基于日志采集工具采集到应用系统所生成的日志数据时，即开始针对采集到的全部日志数据添加索引标签。

步骤S300，将携带有所述索引标签的日志数据存储至预设数据库中以供查询；

当前终端设备为经过清洗所保留下来的日志数据创建用于索引查询的索引标签之后，将该携带有索引标签的日志数据传输至预先连接好的预设数据库中，并按照各自的索引标签对该日志数据进行分类并固定存储，从而，在后续基于该日志数据对应用系统进行运维管理时，可基于该索引标签从该预设数据中直接索引查询待需要的日志数据。

需要说明的是，在本实施例中，预设数据库具体可以为在当前终端设备的磁盘空间中预先建立的用于存储日志数据的数据库，或者，该预设数据库还可以为预先与当前终端设备连接好的其它云存储服务器，应当理解的是，本发明应用系统日志数据的处理方法并不对所使用对日志数据进行固定存储的数据库的种类进行具体限定。

具体地，例如，在如图6所示的应用场景中，在当前终端设备基于清洗服务器按照设定好的清洗规则对日志数据进行清洗过滤，并对清洗过滤保留下来的日志数据添加用于后续索引查询的索引标签之后，按照该索引标签对该日志数据进行分类，然后按照分类后各日志数据的类别将各日志数据对应存储在当前终端设备本地的磁盘空间中，从而在后续工作人员对应用系统进行运维管理时，根据工作人员基于前端页面所输入的索引标签，从该磁盘空间当中提取出该索引标签所关联的日志数据并反馈至工作人员。

在本实施例中，通过终端设备在设定好的采集路径下，调用日志采集工具全量采集应用系统所生成的日志数据，待采集到该日志数据时，将该日志数据发送至临时数据库中进行缓存；然后按照预设第一周期将该临时数据库中缓存的日志数据发送至预先设定好的清洗服务器中，由该清洗服务器对日志数据中包含有敏感信息的部分数据数据进行清洗，然后为经过清洗所保留下来的日志数据创建用于后续索引查询的索引标签；最后将该携带有索引标签的日志数据传输至预先连接好的预设数据库中，并按照各自的索引标签对该日志数据进行分类并固定存储，从而，在后续基于该日志数据对应用系统进行运维管理时，可基于该索引标签从该预设数据中直接索引查询待需要的日志数据。

实现了基于采集应用系统所产生的日志数据，并对该日志数据进行临时的缓存，然后周期性的对该日志数据进行清洗，不仅减少了应用系统所产生日志数据的冗余，更去除了存在泄漏用户隐私数据隐患的敏感数据，提高了基于日志数据对应用系统进行运维时日志数据的查询速度，并提高了应用系统的运行安全性。此外，本发明在对清洗后的日志数据进行最终存储的过程中，为该日志数据创建供后续索引查询的索引标签，提升了对日志数据进行查询的便捷性，极大程度上提高了基于日志数据对应用系统进行运维时的运维效率。

进一步地，在本发明应用系统日志数据的处理方法第一实施例的基础上，提出应用系统日志数据的处理方法第二实施例，请参照图3，图3是上述实施例步骤S200的细化流程示意图，在本实施例中，上述步骤S200中，按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗，可以包括：

步骤S201，按照预设第一周期将所述临时数据库中缓存的日志数据发送至预设清洗服务器，其中，所述预设清洗服务器按照分布式架构进行设置；

步骤S202，接收所述预设清洗服务器对包含有敏感信息的目标日志数据进行清洗后异步反馈的清洗结果。

需要说明的是，在本实施例中，预设清洗服务器具体可以选用多个logstash服务器(一种应用程序日志、事件的传输、处理、管理和搜索的平台，可以用于统一对应用程序的日志数据清洗等处理)，基于工作人员预先采用分布式的架构对该多个logstash服务器进行设置，并基于当前终端设备的前端页面配置该多个logstash服务器的清洗规则，该清洗规则包括但不限于针对日志数据中字段的过滤规则、日志数据的转换规则、信息整合规则以及根据应用业务方需求设置的数据格式化规则。

具体地，例如，当前终端设备控制对采集到的用服务器生成的日志数据进行持久化缓存的临时数据库-Redis在每天的凌晨1点将缓存的该日志数据传输至预先以分布式架构设定好的多个logstash服务器，各logstash服务器在接收到该日志数据之后，各自按照预先由工作人员配置好的清洗规则：清除包含有敏感信息的数据，并行的对该日志数据进行清洗以将该日志数据当中包含有诸如客户的身份证、电话号码、银行卡等敏感信息的目标日志数据进行清除，然后各logstash服务器将自身清除掉的日志数据的数据量以及清除目标日志数据之后所保留的日志数据封装在针对当前接收到的全部日志数据进行清洗后的清洗结果中，并异步反馈至当前终端设备。

进一步地，请参照图4，图4是上述实施例步骤S200的另一细化流程示意图，上述步骤S200中，为经过清洗的日志数据创建索引标签，可以包括：

步骤S203，从所述清洗结果中提取所述预设清洗服务器清洗所述目标日志数据后保留下的留存日志数据；

具体地，在本实施例中，留存日志数据即为各logstash服务器按照预先设定的清洗规则对接收到的全部日志数据进行清洗后，所保留下来的日志数据；由于logstash服务器在将该保留下来的日志数据封装值清洗结果中时，需要对该保留下来的日志数据进行格式的转换，因此，在当前终端设备接收到各logstash服务器反馈的清洗结果之后，预先对各清洗结果进行解析并从解析后的清洗结果中，提取出各logstash服务器对接收到的全部日志数据进行清洗后，所保留下来的日志数据。

步骤S204，检测所述留存日志数据的数据源，根据所述数据源为所述留存日志数据创建索引标签，并将所述索引标签存储于区块链中。

需要说明的是，在本实施例中，由于在应用系统的运行期间，运行该应用系统的终端设备的cpu(中央处理器)、运行内存、磁盘、网络以及安装的各应用程序均会产生对应的日志数据，因此，根据各日志数据的输出方(即上述cpu、运行内存、磁盘、网络以及各应用程序)，将该终端设备的cpu(中央处理器)、运行内存、磁盘、网络以及安装的各应用程序定义为各日志数据的数据源。

具体地，例如，在当前终端设备从各logstash服务器所反馈的清洗结果中，提取出各logstash服务器对接收到的全部日志数据进行清洗后所保留下来的日志数据之后，当前终端设备检测该保留下来的日志数据中记录的数据源，然后将该数据源作为用于后续对该保留下来的日志数据进行索引查询的索引标签，并将该索引标签添加至该保留下来的日志数据中，然后将该索引标签与该保留下来的日志数据建立关联并存储在一区块链的节点当中。

需要说明的是，在本实施例中，为了保证为保留下来的日志数据创建索引标签，不会被错误修改或者移除，还可以将该保留下来的日志数据的索引标签存储于一区块链的节点中，确保了该索引标签的安全性，更确保了后续在基于该索引标签索引日志数据对应用系统进行运维时索引数据的准确性，进一步提升了运维效率。

进一步地，在另一种实施例中，在上述步骤S203之后，上述步骤S200中，为经过清洗的日志数据创建索引标签，还可以包括：

步骤S205，检测所述留存日志数据的采集信息，并根据所述采集信息为所述留存日志数据创建索引标签并将所述索引标签存储于区块链中，其中，所述采集信息包括采集时间。

需要说明的是，在本实施例中，采集时间具体可以定义为某一天的不同时间区段，例如，每一天的凌晨1点至凌晨6点、凌晨6点至中午12点、中午12点至下午6点、下午6点至晚上9点以及晚上9点至凌晨1点。

具体地，例如，在当前终端设备从各logstash服务器所反馈的清洗结果中，提取出各logstash服务器对接收到的全部日志数据进行清洗后所保留下来的日志数据之后，当前终端设备检测预先基于日志采集工具-filebeat采集该保留下来的日志数据时所属的时间区段为晚上9点至凌晨1点，则当前终端设备随即将该时间区段-晚上9点至凌晨1点作为用于后续对该保留下来的日志数据进行索引查询的索引标签，并将该索引标签添加至该保留下来的日志数据中，然后将该索引标签与该保留下来的日志数据建立关联并存储在一区块链的节点当中。

进一步地，在一种实施例中，由于应用系统所产生日志数据的数据量较大，因此可以预先配置多个日志采集设备进行日志数据的采集，从而当前终端设备还可以将各logstash服务器对接收到的全部日志数据进行清洗后所保留下来的日志数据所属的采集工具的编号，作为采集信息当中的一种，从而基于检测该保留下来的日志数据所属采集工具的编号，并将该编号作为用于后续对该保留下来的日志数据进行索引查询的索引标签，并将该索引标签添加至该保留下来的日志数据中。

在本实施例中，按照预先定义好的时间周期，将临时数据库中缓存的日志数据发送至按照分布式架构进行设置的各清洗服务器中，以供各清洗服务器按照配置好的清洗规则并行的对接收到的全部日志数据中，包含有敏感信息的目标日志数据进行清洗，然后异步的反馈封装有清洗保留下来的日志数据的清洗结果，从而，采用分布式设置多台清洗服务器对日志数据进行清洗，提高了日志数据的清洗效率，并且，基于对所采集到全部日志数据中包含有敏感数据或者其他根据清洗规则需要清除的日志数据进行清洗过滤，不仅减少了应用系统所产生日志数据的冗余，更去除了存在泄漏用户隐私数据隐患的敏感数据，提高了基于日志数据对应用系统进行运维时日志数据的查询速度，并提高了应用系统的运行安全性。此外，在接收到清洗服务器所反馈的经过清洗后保留的日志数据之后，根据该保留下来的日志数据的数据源、采集时间或者采集工具的编号等采集信息，为该保留的日志数据创建供后续索引查询的索引标签，提升了对该日志数据进行查询的便捷性，极大程度上提高了基于日志数据对应用系统进行运维时的运维效率。

进一步地，在本发明应用系统日志数据的处理方法第一实施例的基础上，提出本发明应用系统日志数据的处理方法的第三实施例，在本实施例中，上述步骤S300，将携带有所述索引标签的日志数据存储至预设数据库中以供查询，可以包括：

步骤S301，将携带有所述索引标签的日志数据转化为结构化数据，并根据所述索引标签创建连接所述预设数据库的数据流通道；

当前终端设备在从预设清洗服务反馈的清洗结果中提取出经过清洗后保留下来的日志数据，并为该保留下来的日志数据添加用于后续索引查询的索引标签之后，当前终端设备基于现有任意成熟的结构化数据语言将该携带了索引标签的日志数据转化为结构化数据，并按照该日志数据各自所携带的索引标签在存储该日志数据的预设数据库之间建立对应的数据流通道。

具体地，例如，在当前终端设备从各logstash服务器所反馈的清洗结果中，提取出各logstash服务器对接收到的全部日志数据进行清洗后所保留下来的日志数据，并根据该保留下来的日志数据的数据源为该日志数据添加索引标签之后，当前终端设备基于SQL(Structured Query Language：数据库查询和程序设计语言)将该日志数据转化为结构化数据-SQL语句，并在与当前终端设备磁盘空间中建立好的用于存储该日志数据的数据库之间，根据该日志数据的数据源建立携带有相同索引标签的日志数据所专属数据流通道。

步骤S302，针对所述数据流通道设置存储队列，并将所述结构化数据传输至所述存储队列中；

步骤S303，按照所述存储队列的存取规则将所述结构化数据存储至所述预设数据库中以供基于所述索引标签对日志数据进行查询。

当前终端设备分别针对与存储该结构化数据的预设数据库之间建立的各数据流通道，设置控制该预设数据库对结构化数据进行写入保存的存储队列，然后将该结构化数据传输至该存储队列当中，以按照该存储队列针对所输入结构化数据的存取规则，按序将该结构化数据写入保存至该预设数据当中，并在后续工作人员基于该日志数据对应用系统进行运维管理时，可基于索引标签从该预设数据中索引查询该索引标签所关联的日志数据。

具体地，例如，当前终端设备针对在与磁盘空间中建立好的用于存储保留下日志数据的数据库之间，根据该日志数据的数据源建立的多条数据流通道，分别设置各自的存储队列，然后将转化该保留下的日志数据得到的结构化数据传输到该存储队列中，由该存储队列在堆积的结构化数据较多时，暂时停止将该结构化数据存写至该数据库，然后在该存储队列里的结构化数据消化至一定阈值之后，再继续将该结构化数据存写至该数据库，从而在后续工作人员对应用系统进行运维管理时，根据工作人员基于前端页面所输入的索引标签，从该磁盘空间当中提取出该索引标签所关联的日志数据并反馈至工作人员。

进一步地，请参照图5，图5为本发明应用系统日志数据的处理方法另一实施例的流程示意图，在本实施例中，在上述步骤S300，将携带有所述索引标签的日志数据存储至预设数据库中以供查询之后，本发明应用系统日志数据的处理方法，还包括：

步骤S400，对存储在所述预设数据库中的日志数据进行展示；

当前终端设备按照各自的索引标签对日志数据进行分类并固定存储在了预设数据库中之后，当前终端设备进一步基于前端可视化页面对该日志数据进行输出展示。

进一步地，在一种实施例中，步骤S400，可以包括：

步骤S401，从所述预设数据库存储的结构化数据中，获取所述索引标签对应的目标结构数据；

终端设备从存储转化携带有索引标签的日志数据得到的结构化数据的预设数据库中，提取出各索引标签在该结构化数据中对应的目标结构数据。

具体地，例如，在当前终端设备基于经过清洗后保留下来的日志数据的数据源，为该保留下来的日志数据添加索引标签，然后通过SQL将该日志数据转化为结构化数据-SQL语句然后将该结构化数据-SQL语句写入存储至本地磁盘空间的中数据库之后，当前终端设备从该本地磁盘空间的中数据库中提取出该结构化数据-SQL语句中，各保留下来的日志数据各自的数据源所对应的目标结构数据。

步骤S402，将所述目标结构数据输出至所述应用系统的前端页面以对所述索引标签关联的日志数据进行展示。

需要说明的是，在本实施例中，前端页面具体可以为结合ES(Elasticsearch：基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎)及kibana(一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作)提供的前端页面，基于该前端页面，工作人员可通过自主定义与索引标签相关的结构化查询语句，从而在预设数据库索引提取出转化携带有该索引标签的日志数据得到的结构化数据(基于需要可再次基于结构化数据语言转化为原日志数据)。

具体地，例如，在如图6所示的应用场景中，当前终端设备将从本地磁盘空间的数据库中提取出的各保留下来的日志数据各自索引标签-数据源所对应的目标结构数据，输出至结合ES及kibana提供的前端页面，基于该前端页面将经过清洗后保留下的日志数据清晰的展现在工作人员面前，以便于工作人员对日志数据进行分析，或者，工作人员可根据利用日志数据对应用系统进行运维的需要，自主定义与索引标签相关的SQL语句，从该数据库中提取出该索引标签相关联的日志数据。

在本实施例中，当前终端设备按照各自的索引标签对日志数据进行分类并固定存储在了预设数据库中之后，进一步基于前端可视化页面对该日志数据进行输出展示，从而基于该前端页面，工作人员可通过自主定义与索引标签相关的结构化查询语句，从而在预设数据库索引提取出转化携带有该索引标签的日志数据得到的结构化数据，进一步提升了对日志数据进行查询的便捷性，进而可以更加快速的获取到需要的日志数据以用于对应用系统的运维管理，提高了运行效率。

进一步地，在本发明应用系统日志数据的处理方法第四实施例的基础上，提出本发明应用系统日志数据的处理方法第五实施例，在本发明应用系统日志数据的处理方法第五实施例中，在上述步骤B之后，本发明应用系统日志数据的处理方法，还可以包括：

步骤D，若所述第一签名和/或者所述第二签名未验证通过，则拦截所述网络服务请求，并向所述客户端反馈新的算法指令，以供所述客户端根据所述新的算法指令获取目标加密算法；

在客户端网确定第一签名和/或者第二签名未验证通过时，即时将客户端所发送的网络服务请求进行拦截，并在拦截该网络服务请求的同时再次动态下发新的算法指令至客户端，以供客户端接收该新的算法指令，并基于解析该新的算法指令，获取得到该客户端网关指定的目标加密算法。

需要说明的是，在客户端获取客户端网关指定的目标加密算法之后，基于该目标加密算法先后针对所发起网络服务请求，再次添加第三签名和第四签名，其中，目标加密算法包括第一目标加密算法和第二目标加密算法，客户端获取得到该第一目标加密算法和第二目标加密算法的过程，与上述客户端获取得到预设第一加密算法和预设第二加密算法的过程相同，在此不再赘述；客户端基于目标加密算法先后针对所发起网络服务请求，再次添加第三签名和第四签名的过程，与客户端理由预设第一加密算法和预设第二加密算法运算生成网络服务请求的第一签名和第二签名的过程相同，在此不再赘述。

步骤E，接收所述客户端上传的携带有第三签名和第四签名的网络服务请求，并对所述第三签名和所述第四签名分别进行验证，其中，所述第三签名和所述第四签名为所述客户端基于所述目标加密算法生成。

客户端网关接收客户端再次发送的携带有第三签名和第四签名的网络服务请求，并解析得出该第三签名和第四签名，然后针对该第三签名和第四签名再次进行验证。

需要说明的是，在本实施例中，客户端网关针对网络服务请求中携带的第三签名和第四签名进行解析验证的过程，与上述客户端网关针对网络服务请求中携带的第一签名和第二签名进行解析验证的过程相同，在此不再进行赘述。

此外，本发明还提供了应用系统，请参照图7，图7为本发明应用系统的功能模块示意图，该应用系统包括：

采集模块101，用于采集所述应用系统生成的日志数据，并将所述日志数据缓存至临时数据库中；

清洗模块102，用于按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗，并为经过清洗的日志数据创建索引标签；

存储模块103，用于将携带有所述索引标签的日志数据存储至预设数据库中以供查询。

优选地，采集模块101，包括：

压缩单元，用于对采集到的日志数据进行压缩；

缓存单元，用于按照预设第二周期将经过压缩后的日志数据发送至所述临时数据库，以供所述临时数据对经过压缩后的日志数据进行持久缓存。

优选地，清洗模块102，包括：

第一传输单元，用于按照预设第一周期将所述临时数据库中缓存的日志数据发送至预设清洗服务器，其中，所述预设清洗服务器按照分布式架构进行设置；

接收单元，用于接收所述预设清洗服务器对包含有敏感信息的目标日志数据进行清洗后异步反馈的清洗结果。

优选地，清洗模块102，还包括：

提取单元，用于从所述清洗结果中提取所述预设清洗服务器清洗所述目标日志数据后保留下的留存日志数据；

创建单元，用于检测所述留存日志数据的数据源，根据所述数据源为所述留存日志数据创建索引标签，并将所述索引标签存储于区块链中。

优选地，创建单元，还用于检测所述留存日志数据的采集信息，并根据所述采集信息为所述留存日志数据创建索引标签并将所述索引标签存储于区块链中，其中，所述采集信息包括采集时间。

优选地，存储模块103，包括：

转换单元，用于将携带有所述索引标签的日志数据转化为结构化数据，并根据所述索引标签创建连接所述预设数据库的数据流通道；

第二传输单元，用于针对所述数据流通道设置存储队列，并将所述结构化数据传输至所述存储队列中；

存储单元，用于按照所述存储队列的存取规则将所述结构化数据存储至所述预设数据库中以供基于所述索引标签对日志数据进行查询。

优选地，本发明应用系统，还包括：

展示模块，用于对存储在所述预设数据库中的日志数据进行展示。

优选地，展示模块，包括：

获取单元，用于从所述预设数据库存储的结构化数据中，获取所述索引标签对应的目标结构数据；

展示单元，用于将所述目标结构数据输出至所述应用系统的前端页面以对所述索引标签关联的日志数据进行展示。

本发明应用系统的具体实施方式与上述应用系统日志数据的处理方法各实施例基本相同，在此不再赘述

此外，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者一个以上程序，该一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于：

此外，该一个或者一个以上程序还可被一个或者一个以上的处理器执行还用于：

对采集到的日志数据进行压缩；

此外，在执行将携带有所述索引标签的日志数据存储至预设数据库中以供查询之后，该一个或者一个以上程序还可被一个或者一个以上的处理器执行还用于：

对存储在所述预设数据库中的日志数据进行展示；

该一个或者一个以上程序还可被一个或者一个以上的处理器执行还用于：

本发明计算机可读存储介质具体实施方式与上述应用系统日志数据的处理方法各实施例基本相同，在此不再赘述。

需要说明的是，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。此外，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种应用系统日志数据的处理方法，其特征在于，所述应用系统日志数据的处理方法包括：

2.如权利要求1所述的应用系统日志数据的处理方法，其特征在于，所述将所述日志数据缓存至临时数据库中的步骤，包括：

对采集到的日志数据进行压缩；

3.如权利要求1所述的应用系统日志数据的处理方法，其特征在于，所述按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗的步骤，包括：

4.如权利要求3所述的应用系统日志数据的处理方法，其特征在于，所述为经过清洗的日志数据创建索引标签的步骤，包括：

5.如权利要求4所述的应用系统日志数据的处理方法，其特征在于，在所述从所述清洗结果中提取所述预设清洗服务器清洗所述目标日志数据后保留下的留存日志数据的步骤之后，还包括：

6.如权利要求1所述的应用系统日志数据的处理方法，其特征在于，所述将携带有所述索引标签的日志数据存储至预设数据库中以供查询的步骤，包括：

7.如权利要求6所述的应用系统日志数据的处理方法，其特征在于，在所述将携带有所述索引标签的日志数据存储至预设数据库中以供查询的步骤之后，还包括：

对存储在所述预设数据库中的日志数据进行展示；

8.一种应用系统，其特征在于，所述应用系统包括：

采集模块，用于采集所述应用系统生成的日志数据，并将所述日志数据缓存至临时数据库中；

清洗模块，用于按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗，并为经过清洗的日志数据创建索引标签；

存储模块，用于将携带有所述索引标签的日志数据存储至预设数据库中以供查询。

9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器，通信总线以及存储在所述存储器上的应用系统日志数据的处理程序，

所述通信总线用于实现处理器与存储器间的通信连接；

所述处理器用于执行所述基于互联网的应用系统日志数据的处理程序，以实现如权利要求1至7中任一项所述的应用系统日志数据的处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有应用系统日志数据的处理程序，所述应用系统日志数据的处理程序被处理器执行时实现如权利要求1至7中任一项所述的应用系统日志数据的处理方法的步骤。