CN114968959A - 日志处理方法、日志处理装置及存储介质 - Google Patents
日志处理方法、日志处理装置及存储介质 Download PDFInfo
- Publication number
- CN114968959A CN114968959A CN202210508683.6A CN202210508683A CN114968959A CN 114968959 A CN114968959 A CN 114968959A CN 202210508683 A CN202210508683 A CN 202210508683A CN 114968959 A CN114968959 A CN 114968959A
- Authority
- CN
- China
- Prior art keywords
- log data
- abnormal
- data
- area
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
Abstract
本实施例提供日志处理方法、日志处理装置及存储介质,属于人工智能技术领域。该方法应用于服务器端,包括:接收用户端上报的目标日志数据;其中,目标日志数据包括用户行为信息和日志状态信息、环境信息,日志状态信息包括异常状态,用户行为信息包括行为时间;将目标日志数据存储至归档区;获取目标日志数据为异常状态的异常时间;根据异常时间和预设选取时间区间生成异常时间区间;从归档区提取行为时间位于异常时间区间的目标日志数据;将目标日志数据进行可视化处理,得到异常数据视图。本公开实施例的用户端采集的日志数据能够分:类上报给服务器端,服务器端可以对异常的日志数据进行可视化。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种日志处理方法、日志处理装置及存储介质。
背景技术
随着互联网的发展,软件逐渐成为人们生活与工作必不可少的工具。其中软件异常数量和异常问题解决的效率是衡量一个软件质量的重要指标,因此,在软件运行过程中需要采集软件异常时的异常日志,同时需要采集用户行为日志。其中,用户端采集的异常日志和用户行为日志后立即上传至服务器端,服务器端接收异常日志和用户行为日志以生成日志数据,并根据日志数据进行异常分析,但是由于服务端连接多个用户端,所接收的日志数据量太大,展示异常的日志数据不直观,不方便异常的日志数据的监控。
发明内容
本公开实施例的主要目的在于提出及一种日志处理方法、日志处理装置及存储介质,用户端采集的日志数据能够分类上报给服务器端,服务器端可以对异常的日志数据进行可视化。
为了实现上述目的,本公开实施例的第一方面提出了一种日志处理方法,应用于服务器端,所述服务器端包括归档区,所述方法包括:
接收用户端上报的目标日志数据;其中,所述目标日志数据包括用户行为信息和日志状态信息、环境信息,所述日志状态信息包括异常状态,所述用户行为信息包括行为时间;
将所述目标日志数据存储至所述归档区;
获取所述目标日志数据为所述异常状态的异常时间;
根据所述异常时间和预设选取时间区间生成异常时间区间;
从所述归档区提取所述行为时间位于所述异常时间区间的所述目标日志数据;
将所述目标日志数据进行可视化处理,以得到异常数据视图。
在一些实施例,所述用户行为信息还包括:操作界面信息、调用接口信息、调用链路信息;所述环境信息包括:服务器信息,所述异常数据视图包括:行为时间轴视图、网络拓扑图和服务器折线图;所述将所述目标日志数据进行可视化处理,以得到异常数据视图,包括:
根据所述行为时间的排序将对应的所述操作界面信息进行可视化处理,以得到所述行为时间轴视图;
将所述调用接口信息和所述调用链路信息进行可视化处理,以得到所述网络拓扑图;
将所述服务器信息进行折线可视化处理,以得到服务器折线图。
在一些实施例,所述服务器端还包括回收区,所述归档区存储有无效数据,在将所述目标日志数据存储至所述归档区之后,所述方法还包括:
将归档区的所述无效数据迁移至所述回收区,具体包括:
获取接收时长,所述接收时长为所述服务器端接收所述目标日志数据的时长;
根据所述接收时长将所述无效数据从所述归档区迁移至所述回收区;
根据所述接收时长到达预设时长,清除所述回收区的所述无效数据。
为了实现上述目的,本公开实施例的第二方面提出了一种日志处理方法,应用于用户端,所述方法包括:
采集用户的原始日志数据;其中,所述原始日志数据包括用户行为信息和日志状态信息、环境信息,所述日志状态信息包括异常状态,所述用户行为信息包括行为时间;
将所述原始日志数据存储至预设暂存区;
从所述预设暂存区提取所述原始日志数据;
对提取的所述原始日志数据进行分类处理,以得到目标日志数据;
将所述目标日志数据存储至索引区;其中,所述索引区用于映射至服务器端的归档区;
将所述索引区的所述目标日志数据上报至所述服务器端,以使所述服务器端将所述目标日志数据存储至所述归档区。
在一些实施例,所述对提取的所述原始日志数据进行分类处理,以得到目标日志数据,包括:
获取所述原始日志数据的预设紧急等级和预设重要等级;
根据所述预设紧急等级和所述预设重要等级生成日志类别;
根据所述日志类别对提取的所述原始日志数据进行分类处理,以得到具有所述日志类别的所述目标日志数据。
在一些实施例,所述将所述目标日志数据存储至索引区,包括:
获取所述目标日志数据的日志类别;
根据所述日志类别获取对应的所述索引区;
将所述目标日志数据存储至对应的所述索引区。
在一些实施例,所述将所述索引区的目标日志数据上报至所述服务器端,以使所述服务器端将所述目标日志数据存储至所述归档区,包括:
获取所述索引区的上报规则;
根据所述上报规则,将存储于所述索引区的所述目标日志数据上报至所述服务器端,以使所述服务器端将所述目标日志数据存储至所述归档区。
为实现上述目的,本公开的第三方面提出了一种日志处理装置,应用于服务器端,所述服务器端包括归档区,所述装置包括:
接收模块,用于接收用户端上报的目标日志数据;其中,所述目标日志数据包括用户行为信息和日志状态信息、环境信息,所述日志状态信息包括异常状态;所述用户行为信息包括行为时间;
数据存储模块,用于将所述目标日志数据存储至所述归档区;
获取模块,用于获取所述目标日志数据为所述异常状态的异常时间;
生成模块,用于根据异常时间和预设选取时间区间生成异常时间区间;
数据提取模块,用于从所述归档区中获取所述行为时间位于所述异常时间区间的所述目标日志数据;
可视化处理模块,用于将所述目标日志数据进行可视化处理,以得到异常数据视图。
为实现上述目的,本公开的第四方面提出了一种日志处理装置,应用于用户端,所述装置包括:
采集模块,用于采集用户的原始日志数据;其中,所述原始日志数据包括用户行为信息和日志状态信息、环境信息,所述日志状态信息包括异常状态;所述用户行为信息包括行为时间;
日志存储模块,用于将所述原始日志数据存储至预设暂存区;
日志提取模块,用于从所述预设暂存区提取所述原始日志数据;
分类模块,用于对提取的所述原始日志数据进行分类处理,以得到目标日志数据;
分类存储模块,将所述目标日志数据存储至索引区;其中,所述索引区用于映射至服务器端的归档区;
上报模块,用于将所述索引区的所述目标日志数据上报至所述服务器端,以使所述服务器端将所述目标日志数据存储至所述归档区。
为实现上述目的,本公开的第五方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行:
如第一方面所述的方法,或如第二方面所述的方法。
本公开实施例提出的日志处理方法、日志处理装置及存储介质,通过用户端先对原始日志数据进行分类后再上传至服务器端,且服务器端将目标日志数据存储至归档区中,且服务器端对异常时间区间的目标日志数据进行可视化处理,既降低了服务器端运行崩溃的概率,还能够实现异常的日志数据进行直观展示和监控,从而提高软件异常问题解决的效率。因此,用户端采集的日志数据能够分类上报给服务器端,服务器端可以对异常的原始日志数据进行可视化。
附图说明
图1是本公开实施例提供的日志处理方法中服务器端和用户端之间的系统框架图;
图2是本公开实施例提供的日志处理方法的流程图;
图3是图1中的步骤S160的流程图;
图4是本公开实施例提供的日志处理方法中异常复现的流程图;
图5是本公开另一实施例提供的日志处理方法的流程图;
图6是本公开实施例提供的日志处理方法的流程图;
图7是图6中的步骤S240的流程图;
图8是图6中的步骤S250的流程图;
图9是图6中的步骤S360的流程图;
图10是本公开实施例提供应用于服务器端的日志处理装置的模块框图;
图11是本公开实施例提供应用于用户端的日志处理装置的模块框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
需要说明的是,在本申请的各个具体实施方式中,当涉及到需要根据用户信息、用户行为数据,用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时,都会先获得用户的许可或者同意,而且,对这些数据的收集、使用和处理等,都会遵守相关国家和地区的相关法律法规和标准。此外,当本申请实施例需要获取用户的敏感个人信息时,会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意,在明确获得用户的单独许可或者单独同意之后,再获取用于使本申请实施例能够正常运行的必要的用户相关数据。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。
首先,对本申请中涉及的若干名词进行解析:
人工智能(Artificial Intelligence,AI):是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学;人工智能是计算机科学的一个分支,人工智能企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
IndexedDB:IndexedDB是一种在浏览器中持久存储数据的方法,允许我们不考虑网络可用性,创建具有丰富查询能力的可离线web应用程序。IndexedDB对于存储大量数据的应用程序和不需要持久internet链接的应用程序(例如邮件客户端、待办事项列或记事本)很有用。首先IndexedDB是一个key-value型数据库,可以使用一个key作为索引获取或者存储数据。IndexedDB是事务模式的数据库。其次IndexedDB是一种异步API,IndexedDB是面向对象的。要求我们为一种数据创建一个对象仓库(objectStore),只要这种数据是一个js对象即可。
异常复现:解决异常的关键之一就是复现异常。比如,对于偶现异常,如果能要找到必现路径,那问题就变得容易多了。解决异常问题首先要了解异常,清楚异常怎么发生的,什么条件下发生的。其中,异常复现需要注意的点为:1、仔细阅读异常描述,弄清楚异常产生步骤、异常概率、异常预置条件,并预判属于哪一类异常;2、复现前,确认是否打LOG,如果是偶现问题,务必开启此异常类型需要LOG;3、根据描述复现异常,如果是偶现问题,注意条件,尽量找出异常必现路径;4、如果没有复现异常,和异常信息提供人沟通,再次复现。
软件在运行过程中不可避免会发生异常,且软件异常数量和异常问题解决的效率是衡量一个软件产品质量的重要指标。日志追踪技术是提供软件产品质量的一项重要技术,日志追踪技术通过收集软件的运行日志,在软件发生异常时能够第一时间获取异常日志,并根据异常日志解决异常问题,从而帮助企业改善软件产品质量,以提升用户使用软件的满意度。
相关技术中,为了快速解决软件的异常问题,需要实时收集软件的运行日志,且收集运行日志后直接将运行日志上传至服务器端,由于服务器端连接多个用户端,且运行原始日志数据量较大,若多个用户端直接上传运行的日志数据至服务器端容易导致服务器端崩溃,则降低了服务器解决异常问题的效率。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
基于此,本公开实施例提供一种日志处理方法,通过用户端先对原始日志数据进行分类后再上传至服务器端,且服务器端将目标日志数据存储至归档区中,无需马上对日志数据进行处理,从而降低了服务器端运行崩溃的概率,同时服务器端对异常时间区间的目标数据进行可视化处理以得到异常数据视图,实现异常的日志数据进行直观展示和监控,使得软件异常问题可以快速解决。
本公开实施例提供一种日志处理方法、日志处理装置及存储介质,具体通过如下实施例进行说明,首先描述本公开实施例中的一种日志处理方法。
本申请实施例提供的日志处理方法、日志处理装置及存储介质,涉及人工智能技术领域,尤其涉及三维建模技术领域。本申请实施例提供的日志处理方法可应用于终端或服务器端,还可以是运行于终端或服务器端中的软件。在一些实施例中,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机或者智能手表等;服务器端可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器;软件可以是实现日志处理方法的应用等,但并不局限于以上形式。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
请参照图1,图1是本公开实施例提供的日志处理方法中服务器端和用户端之间的系统框架图。其中,日志处理方法应用于服务器端和用户端,且用户端中设有预设暂存区和索引区,服务器端设有归档区和回收区,用户端采集用户行为信息、日志状态信息和环境信息,并根据用户行为信息、日志状态信息和环境信息生成原始日志数据,并将原始日志数据存储至预设暂存区,然后根据预设暂存区的原始日志数据的预设紧急等级和预设重要等级将原始日志数据分类存储至对应的索引区,最后用户端根据索引区的上报规则将目标日志数据上报至服务器端,服务器端将目标日志数据存储至归档区中,且根据目标日志数据的接收时长超过预设有效时长的目标日志数据转换为无效数据,并将无效数据迁移至回收区,当回收区中无效数据的接收时长超过预设时长则清空回收区的无效数据,以空出对应的存储空间,从而减轻服务器端的存储压力。
请参照图2,图2是本公开实施例提供的日志处理方法的一个可选的流程图,该日志处理方法应用于服务器端,日志处理方法包括步骤S110、S120、S130、S140、S150、S160,应理解,本申请实施例的日志处理方法包括但不限于步骤S110至步骤S160,下面结合图2对步骤S110至步骤S160进行详细介绍。
步骤S110:接收用户端上报的目标日志数据;其中,目标日志数据包括用户行为信息和日志状态信息、环境信息,日志状态信息包括异常状态,用户行为信息包括行为时间。
需要说明的是,目标日志数据包括用户行为信息和日志状态信息、环境信息,其中,日志状态信息包括异常状态和正常状态,异常状态也即用户端上的软件发生异常,且异常状态对应的用户行为信息为导致软件发生异常的用户行为信息,而正常状态对应的用户行为信息为软件正常运行时的用户行为信息。但是异常状态对应的用户行为信息难以定位和查找,因此需要根据用户行为信息的行为时间进一步去定位异常时间对应的用户行为信息,以快速定位到异常状态对应的用户行为信息。接收用户端上传的目标日志数据,且目标日志数据包括用户行为信息,用户行为信息包括行为时间,则可以根据行为时间筛选出对应的用户行为信息,以快速定位异常问题,从而提高异常问题解决的效率。
步骤S120:将目标日志数据存储至归档区。
需要说明的是,当服务器端接收目标日志数据后统一将目标日志数据存储至归档区,其中,用户端根据原始日志数据的日志类别将原始日志数据分类存储至对应的索引区,且不同索引区上传至服务器端的上报规则不同,所以服务器端没有集中接收到目标日志数据,从而减轻服务器端的压力,并且服务器端直接将目标日志数据存储至归档区,以便于用户端发生异常时可以直接从归档区调取对应的目标日志数据,一方面减轻用户端存储目标日志数据的存储负担,另一方面便于服务器端直接从归档区提取对应的目标日志数据进行异常分析。
步骤S130:获取目标日志数据为异常状态的异常时间。
需要说明的是,为了快速定位异常和解决异常问题,本实施例通过将异常复现,但是进行异常复现则需要开发人员花费大量时间去复现问题,不仅降低了开发效率还影响了用户满意度,从而丧失用户对软件产品的认可。因此通过获取目标日志数据为异常状态的异常时间,即可根据异常时间查找异常时间前一时间段的目标日志数据,以对异常时间区间内的目标日志数据去排查异常状态对应的用户行为信息,以减少异常排查的时间,从而提高异常问题定位的效率。
步骤S140:根据异常时间和预设选取时间区间生成异常时间区间。
需要说明的是,确定了异常时间后,也即确定了用户端上软件发生异常对应的时间,则需要排查出异常状态对应的用户行为信息,以定位出异常问题,若直接对异常时间前的目标日志数据进行排查,则需要耗费大量的时间。因此,通过根据异常时间和预设选取时间区间生成异常时间区间,也即确定异常时间前预设选取时间区间之间的时间区间为异常时间区间。通过确定异常时间区间,即可根据异常时间区间对该时间区间内的目标日志数据进行排查,以快速定位异常状态对应的用户行为数据。
例如,若异常时间为15:00,预设选取时间区间为00:10,则根据异常时间和预设选取时间区间确定异常时间区间为:14:50-15:00,因此通过确定异常时间区间即可获取异常发生前一段时间内的用户行为信息,以还原出软件发生异常时的场景,从而快速定位异常问题。
步骤150:从归档区提取行为时间位于异常时间区间的目标日志数据。
需要说明的是,为了减少异常问题排查的数据量,则从归档区中提取行为时间位于异常时间区间的目标日志数据,以减少需要排查异常问题的异常数据,即可加快异常问题的定位,从而提高异常问题定位的效率。
具体的,当目标日志数据经过处理队列,并按照行为时间的顺序将目标日志数据插入至归档区中的原始日志数据库,当异常发生时,根据异常时间确定异常时间区间,由于目标日志数据是按照行为时间存储,则便于根据异常时间区间从归档区中的原始日志数据库将目标日志数据提取出来。
步骤S160:将目标日志数据进行可视化处理,以得到异常数据视图。
需要说明的是,由于软件发生异常时,仅仅根据异常时间提取对应的目标日志数据还不足以完全抓住异常问题,且异常发生的位置并不一定是异常根源所在位置,所以需要对异常状态对应的目标日志数据进行还原,才可以快速定位异常发生的原因。因此,通过将目标日志数据进行可视化处理得到异常数据视图,实现异常的日志数据进行直观展示和监控,即可根据异常数据视图快速定位异常发生的原因,以快速解决异常问题,从而提高用户对于软件产品的信任。
综上步骤S110至步骤S160,通过将目标日志数据按照行为时间的顺序存储至归档区,当软件发生异常时,获取目标日志数据为异常状态的异常时间,在根据异常时间和预设选取时间区间生成异常时间区间,再从而行为时间位于异常时间区间的目标日志数据,减少异常问题排查时的目标日志数据,进而减少异常问题排查的时间,最后将行为时间位于异常时间区间的目标日志数据进行可视化处理,得到异常数据视图,实现异常的日志数据进行直观展示和监控,即可根据异常数据视图快速定位异常发生的原因,以提高异常问题解决的效率,从而提高用户对于软件产品的认可度。
请参照图3,在本申请的一些实施例中,用户行为信息还包括:操作界面信息、调用接口信息和调用链路信息,异常数据视图包括:行为时间轴视图、网络拓扑图和服务器折线图。步骤S160可以包括但不限于步骤S161、步骤S162和步骤S163。
步骤S161:根据行为时间的排序将对应的操作界面信息进行可视化处理,以得到行为时间轴视图。
需要说明的是:用户行为信息包括操作界面信息,且操作界面信息为在异常时间区间用户操作了哪些界面的行为信息。由于在用户运行用户端时自触动了锚点,根据锚点触动对用户行为信息进行录制以收集用户行为信息,且录制用户的操作界面信息。为了还原异常时间区间内的目标日志数据,以快速定位异常发生的原因,通过将操作界面信息按照行为时间的排序进行可视化处理以得到行为时间轴视图,且行为时间轴视图为以行为时间对应的操作界面信息,即可根据行为时间轴视图清楚在异常时间区间用户操作了哪一些界面。通过行为时间轴视图还原异常时间前的用户的操作界面信息,以便于根据行为时间轴视图快速定位异常问题,从而提高异常问题解决的效率。
步骤S162:将调用接口信息和调用链路信息进行可视化处理,以得到网络拓扑图。
需要说明的是,用户行为信息还包括调用接口信息和调用链路信息,其中,调用接口信息为异常时间区间内用户调用了哪些接口,调用链路信息为异常时间区间用户调用的链路信息。因此通过将调用接口信息和调用链路信息进行可视化处理,也即根据调用接口信息和对应的调用链路信息生成网络拓扑图,且网络拓扑图记录了用户在异常时间区间调用了哪些接口和链路,从而根据网络拓扑图定位异常状态对应的调用接口信息和调用链路信息,从而快读定位异常发生的原因,并提高了异常问题解决的效率。
步骤S163:将服务器信息进行折线可视化处理,以得到服务器折线图。
需要说明的是,用户行为信息还包括服务器信息,服务器信息也即每一行为时间对应的服务器信息。其中,服务器信息包括:网络状态、内存信息和CPU信息,由于软件发生异常时服务器的网络状态、内存信息和CPU信息不同,因此通过将异常时间区间内的网络状态、内存信息和CPU信息进行折线可视化处理以得到服务器折线图。
具体地,服务器折线图包括:网络折线图、内存折线图和CPU折线图,根据行为时间顺序对应的网络状态生成网络折线图,根据行为时间顺序对应的内存信息生成内存折线图,根据行为时间顺序对应的CPU信息生成CPU折线图。因此,通过网络折线图、内存折线图和CPU折线图可以直观地查看在异常时间区间内网络状态、内存信息和CPU信息的变化,则在定位异常问题时可以根据网络折线图、内存折线图和CPU折线图定位变化强烈时的行为时间以得到目标时间,并获取目标时间对应的操作界面信息、调用接口信息和调用链路信息,从而快速定位异常问题,找出异常发生的原因,从而提高异常问题解决的效率。
例如,请参照图4,在用户端埋下描点,若用户操作界面则启动录制程序,以通过录制程序采集界面操作信息、调用链路信息、调用接口信息和环境信息,并将界面操作信息、调用链路信息、调用接口信息和服务器信息按照队列方式存储至原始日志数据库,当发生异常时,服务器端上的IndexedDB通过采集行为时间位于异常采集时间的界面操作信息、调用链路信息、调用接口信息和服务器信息。通过复现程序对操作界面信息进行可视化处理以得到行为时间轴视图,对调用接口信息和调用链路信息进行可视化处理以得到网络拓扑图,对服务器信息进行折线可视化处理以得到服务器折线图,因此通过行为时间轴视图、网络拓扑图和服务器折线图即可实现异常的日志数据进行直观展示和监控,并快速定位发生异常的原因,以解决异常问题。
在本申请的一些实施例中,服务器端还包括回收区,归档区存储有无效数据,在步骤S120之后,日志处理方法还包括但不限于步骤S170。
步骤S170:将归档区的无效数据迁移至回收区。
需要说明的是,归档区中存储有无效数据,无效数据无法进行异常分析,所以对于软件异常问题排查无用,因此需要将归档区中的无效数据迁移至回收区,以减少归档区的存储空间浪费,以便于归档区能够具备更大的存储空间给目标日志数据存储。
其中,请参照图5,步骤S170可以包括但不限于步骤S171、步骤S172和步骤S173。
步骤S171:获取接收时长,接收时长为服务器端接收目标日志数据的时长。
需要说明的是,无效数据可以是用户端发送的无效数据,且无效数据也可以为一段时间后无需进行异常分析的目标日志数据。因此,通过获取目标日志数据的接收时长,若接收时长超过预设有效时长,则将目标日志数据转换为无效数据,以减少无效数据占用归档区的存储空间,以提升归档区的存储性能。
步骤S172:根据接收时长将无效数据从归档区迁移至回收区。
需要说明的是,根据接收时长将无效数据从归档区迁移至回收区,由于无效数据对于异常分析无效,所以直接将无效数据迁移至回收区,一方面节省了归档区的存储空间浪费,另一方面可以提升归档区的存储性能。
例如,若预设有效时长定义为10天,若接收时长超过10天的目标日志数据定义为无效数据,并将无效数据从归档区迁移至回收区,从而降低归档区的存储压力。
步骤S173:根据接收时长到达预设时长,清除回收区中的无效数据。
需要说明的是,为了减轻回收区的存储压力,根据接收时长到达预设时长时清除回收区中的无效数据,使得回收区空出存储空间存储新的无效数据。
其中,服务器端还获取目标日志数据为异常状态的异常次数,若异常次数超过预设数值则发送报警信息至预设通讯信息对应的通讯地址,以通知用户及时进行异常问题检查。具体地,预设数值设置多个,且不同的预设数值对应的报警规则不同,也即根据异常次数超过哪一个预设数值触发对应的报警规则,以按照对应的报警规则发送对应的报警信息至预设通讯信息对应的通讯地址,则用户可以根据报警信息确定对应的异常等级,以根据异常等级做出对应的异常处理。
综上,通过在用户端埋下描点,当用户操作用户端时采集操作界面信息、调用接口信息、调用链路信息和服务器信息,当软件发生异常时,接收来自用户端发送异常状态的目标日志数据,则获取目标日志数据为异常状态的异常时间,然后根据异常时间和预设选取时间区间确定异常时间区间,并获取行为时间位于异常时间区间的操作界面信息、调用接口信息、调用链路信息和服务器信息,并对操作界面信息进行可视化处理以得到行为时间轴视图,对调用接口信息和调用链路信息进行可视化处理以得到网络拓扑图,对服务器信息进行折线可视化处理以得到服务器折线图。因此通过服务器折线图可以查找服务器变化最明显的行为时间以得到目标时间,再根据目标时间从行为时间轴视图和网络拓扑图定位异常问题并查找出异常原因,即可实现异常的日志数据进行直观展示和监控,以根据异常问题和异常原因快速解决异常问题,从而提高异常恢复的效率,并提高了用户对于软件产品的满意度和信赖度。
另外,请参照图6,本公开实施例还公开了一种日志处理方法,应用于用户端,该日志处理方法包括步骤S210、步骤S220、步骤S230、步骤S240、步骤S250、步骤S260。应理解,本申请实施例的日志处理方法包括但不限于步骤S210至步骤S260,下面结合图6对步骤S210至步骤S260进行详细介绍。
步骤S210:采集用户的原始日志数据;其中,原始日志数据包括用户行为信息和日志状态信息、环境信息,日志状态信息包括异常状态,用户行为信息包括行为时间。
需要说明的是,由于原始日志数据包括用户行为信息,且服务器端链接多个用户端,若大量的用户端同时在线并将每次采集原始日志数据都直接上传会造成服务器端的崩溃。因此用户端在采集用户的原始日志数据时,且原始日志数据包括用户行为信息、日志状态信息和环境信息,其中日志状态信息包括正常状态和异常状态,且正常状态对应的原始日志数据为软件正常运行对应的原始日志数据,而异常状态对应的原始日志数据为软件发生异常对应的原始日志数据。由于软件发生异常时对应的原始日志数据并无法筛查出异常问题,因此用户行为信息包括行为时间,则上传原始日志数据至服务器端,服务器端可以根据行为时间和目标日志数据为异常状态的异常时间确定需要采集的目标日志数据,原始日志数据包括:用户行为信息和环境信息,则可以从采集的原始日志数据中排查出异常问题以找到异常发生的原因,从而快速解决异常问题。
步骤S220:将原始日志数据存储至预设暂存区。
具体地,原始日志数据采集后需要先存储到预设暂存区,且预设暂存区对应IndexedDB中的一个store,也即将原始日志数据存储至IndexedDB中的一个store。用户端采集用户行为信息、日志状态信息和环境信息后形成原始日志数据,并将原始日志数据立即存入至IndexedDB中的一个store。
步骤S230:从预设暂存区提取原始日志数据。
需要说明的是,由于预设暂存区的存储空间较小,无法存储大量的原始日志数据,所以需要从预设暂存区中提取原始日志数据转存至索引区,再将原始日志数据上传。
具体地,通过设置一个循环任务不断从预设暂存区中读取原始日志数据,以防止预设暂存区中的原始日志数据遗落上传至服务器端,则服务器端无法准确判断出异常原因。其中,设置一个循环任务根据预设时间间隔周期对预设暂存区进行读取,以根据预设时间间隔周期读取预设暂存区的原始日志数据。
步骤S240:对提取的原始日志数据进行分类处理,以得到目标日志数据。
需要说明的是,为了减轻服务器端接收目标日志数据的压力,所以将提取的原始日志数据进行分类处理以得到目标日志数据,则可以将分类后的目标日志数据存储至对应的索引区,且不同索引区对应的上报规则不同,从而将原始日志数据分类处理后则可以根据原始日志数据的日志类别确定对应的上报规则,无需集中将所有的原始日志数据直接上报至服务器端,以减轻服务器端的存储压力。
步骤S250:将目标日志数据存储至索引区;其中,索引区用于映射至服务器端的归档区。
需要说明的是,将原始日志数据分类处理后得到目标日志数据,且索引区设置多个,根据目标日志数据的日志类别确定对应的索引区,并将目标日志数据存储至对应的索引区,从而实现目标日志数据的分类存储。其中,每个索引区将目标日志数据上报至服务器端的上报规则不同,所以将目标日志数据分别存储至对应的索引区,也即根据日志类别确定了目标日志数据的上报规则,以日志类别将目标日志数据上报至服务器端,无需采集到原始日志数据后直接上报至服务器端,从而减轻服务器端的存储压力。
具体地,将目标日志数据存储至对应的索引区后,需要对原始日志数据进行格式化,以根据预设格式将目标日志数据进行格式转换,以便于将目标日志数据转换成同一种格式的数据,则服务器端接收目标日志数据后直接进行分析,无需再将目标日志数据进行格式转换,以提高服务器端对目标日志数据的分析效率。
步骤S260:将索引区的目标日志数据上报至服务器端,以使服务器端将目标日志数据存储至归档区。
需要说明的是,由于索引区对应于服务器端的归档区,所以将索引区中的目标日志数据上报至服务器端后,服务器端将目标日志数据存储至对应的归档区。其中,为了减轻服务器端的存储压力,每个索引区的上报规则不同,以根据索引区的上报规则将目标日志数据上传至服务器端中。
请参照图7,在本申请的一些实施例中,步骤S240可以包括但不限于步骤S241和步骤S242。
步骤S241:获取原始日志数据的预设紧急等级和预设重要等级。
需要说明的是,在采集原始日志数据时同时将原始日志数据标记上对一个的预设紧急等级和预设重要等级。其中,原始日志数据的预设紧急等级和预设重要等级根据预设定义的等级映射关系确定,且预先定义的等级映射关系包括原始日志数据的数据类型和预设紧急等级、预设重要等级的映射关系,因此通过获取原始日志数据的数据类型并根据等级映射关系确定原始日志数据的预设紧急等级和预设重要等级,并对原始日志数据标记上对应的预设紧急等级和预设重要等级。
具体地,预设紧急等级包括:紧急和不紧急,预设重要等级包括:重要和不重要。其中,定义接口错误和前端引起错误的原始日志数据为紧急且重要,定义非法数据引起错误的原始日志数据为紧急且不重要,定义非法记录用户行为信息的原始日志数据为不紧急且重要,定义环境信息的原始日志数据为不紧急且不重要。因此,根据不同的数据类型确定对应的预设紧急等级和预设重要等级,即可根据预设紧急等级和预设重要等级将原始日志数据进行分类处理,以根据原始日志数据的紧急等级和重要等级确定对应上报规则,既能够减轻服务器端的存储压力,又能够将紧急且重要的原始日志数据及时上报,不影响异常问题查找的效率。
步骤S242:根据预设紧急等级和预设重要等级生成日志类别。
需要说明的是,通过根据预设紧急等级和预设重要等级确定日志类别,也即确定目标日志数据的日志类别。其中,日志类别和索引区匹配,则根据日志类别将目标日志数据分别存储至对应的索引区,以实现目标日志数据的分类存储。
具体地,预设紧急等级包括紧急和不紧急,预设重要等级包括重要和不重要,所以日志类别包括:紧急且重要、紧急且不重要、不紧急且重要、不紧急且不重要。因此,通过根据预设紧急等级和预设重要等级确定日志类别,以将原始日志数据进行分类。
步骤S243:根据日志类别对提取的原始日志数据进行分类处理,以得到具有日志类别的目标日志数据。
需要说明的是,通过将原始日志数据分成四个日志类别,即可根据目标日志数据的紧急程度和重要程度决定是否立即上传至服务器端,不仅不影响服务器端对异常问题的分析和排查,又能够减轻服务器端的存储压力。
请参照图8,在本申请的一些实施例中,步骤S250可以包括但不限于步骤S251、步骤S252、步骤S253。
步骤S251:获取目标日志数据的日志类别。
需要说明的是,索引区设置多个,且不同索引区用于存储对应日志类别的目标日志数据,因此需要获取目标日志数据的日志类别,以根据日志类别确定目标日志数据的预设紧急等级和预设重要等级。
步骤S252:根据日志类别获取对应的索引区。
需要说明的是,不同的日志类别对应的索引区不同,所以根据日志类别即可确定对应的索引区。例如,若索引区设置三个,且三个索引区分别定义为立即上报索引区、批量上报索引区、分区上报索引区,且立即上报索引区对应的日志类别为紧急且重要,批量上报索引区对应的日志类别为紧急且不重要、不紧急且重要,分区上报索引区对应的日志类别为不紧急且不重要。因此,根据日志类别即可确定对应的索引区,则将目标日志数据存储至对应的索引区,实现目标日志数据的分类存储。
步骤S253:将目标日志数据存储至对应的索引区。
需要说明的是,确定了日志类别对应的索引区后,直接将同一个日志类别的目标日志数据存储至对应的索引区,以将目标日志数据分类存储,则可以根据索引区的上报规则将目标日志数据上报至服务器端,既不影响服务器端排查异常问题的效率又能够减轻服务器端的存储压力。
请参照图9,在本申请的一些实施例中,步骤S260可以包括但不限于步骤S261、步骤S262。
步骤S261:获取索引区的上报规则。
需要说明的是,不同的日志类别对应不同的索引区,且不同的索引区对应的上报规则不同,因此在索引区提取目标日志数据上报至服务器端时,需要先获取索引区的上报规则,以便于根据索引区的上报规则确定目标日志数据的上报方式。
例如,索引区包括:立即上报索引区、批量上报索引区、分区上报索引区,其中,立即上报索引区的上报规则为立即上报,也即立即上报索引区若存在目标日志数据即刻上报;批量上报索引区对应有预设数据量,且批量上报索引区对应的上报规则为当目标日志数据的数据量到达预设数据量才将所有的目标日志数据上报;分区上报索引区的上报规则是目标日志数据存满后再将所有的目标日志数据上报。
步骤S262:根据上报规则,将存储于索引区的目标日志数据上报至服务器端,以使服务器端将目标日志数据存储至归档区。
需要说明的是,获取上报规则后,即可根据每个索引区的上报规则将对应的目标日志数据上报至服务器端。其中,立即上报索引区中存储重要且紧急的目标日志数据,批量上报索引区存储不紧急且重要、紧急且不重要的目标日志数据,分区上报索引区存储不紧急且不重要的目标日志数据,所以根据不同日志类别确定对应的上报规则,既不影响服务器端分析异常问题,又能减轻服务器端的存储压力。
综上,用户端通过采集用户行为信息、日志状态信息和环境信息以生成原始日志数据,并将原始日志数据存储至预设暂存区,通过预设时间间隔周期读取预设暂存区的原始日志数据。获取原始日志数据的预设紧急等级和预设重要等级,根据预设紧急等级和预设重要等级确定原始日志数据的日志类别,并根据日志类别将原始日志数据分类处理以得到目标日志数据,因此根据日志类别将日志类别数据分别存储至对应的索引区,且每个索引区的上报规则不同,则可根据索引区的上报规则将对应的目标日志数据上报至服务器端,即时上报紧急且重要的目标日志数据,对于预设紧急等级和预设重要等级一般的目标日志数据则采用分批或分区进行上报。因此,在不影响服务器端根据目标日志数据进行异常问题分析的前提下,又能够减轻服务器端的存储压力。
另外,请参照图10,本申请的另一个实施例公开了一种日志处理装置,应用于服务器端,服务器端包括归档区,装置包括:接收模块101,用于接收用户端上报的目标日志数据;其中,目标日志数据包括用户行为信息和日志状态信息、环境信息,日志状态信息包括异常状态;用户行为信息包括行为时间;数据存储模块102,用于将目标日志数据存储至归档区;获取模块103,用于获取目标日志数据为异常状态的异常时间;生成模块104,用于根据异常时间和预设选取时间区间生成异常时间区间;数据提取模块105,用于从归档区中获取行为时间位于异常时间区间的目标日志数据;可视化处理模块106,用于将目标日志数据进行可视化处理,以得到异常数据视图。
本公开实施例的日志处理装置用于执行上述实施例中图2至图5的日志处理方法,其具体处理过程与上述实施例中的日志处理方法相同,此处不再一一赘述。
本公开实施例提供的日志处理方法,通过获取目标日志数据为异常状态的异常时间,再根据异常时间和预设选取时间区间生成异常时间区间,通过从归档区提取行为时间位于异常时间区间的目标日志数据,最后将位于异常时间区间的目标日志数据进行可视化处理得到异常数据视图,则在进行异常发生的原因排查时,可以直观地通过异常数据视图查找出对应地异常问题和异常原因,实现异常的日志数据进行直观展示和监控,以提高异常问题解决的效率,从而提高用户对于软件产品的满意度和信赖度。
另外,请参照图11,本申请的另一个实施例公开了一种日志处理装置,应用于用户端,装置包括:采集模块201,用于采集用户的原始日志数据;其中,原始日志数据包括用户行为信息和日志状态信息、环境信息,日志状态信息包括异常状态;用户行为信息包括行为时间;日志存储模块202,用于将原始日志数据存储至预设暂存区;日志提取模块203,用于从预设暂存区提取原始日志数据;分类模块204,用于对提取的原始日志数据进行分类处理,以得到目标日志数据;分类存储模块205,将目标日志数据存储至索引区;其中,索引区用于映射至服务器端的归档区;上报模块206,用于将索引区的目标日志数据上报至所述服务器端,以使服务器端将目标日志数据存储至归档区。
本公开实施例的日志处理装置用于执行上述实施例中图6至图9的日志处理方法,其具体处理过程与上述实施例中的日志处理方法相同,此处不再一一赘述。
本公开实施例提供的日志处理方法,通过提取预设暂存区内的原始日志数据,再对原始日志数据进行分类处理以得到目标日志数据,则可以将目标日志数据存储至对应的索引区,即可将索引区的目标日志数据上报至服务器端,无需采集原始日志数据后直接上报至服务器端,以减轻服务器端的运行压力。
本公开实施例还提供了一种存储介质,该存储介质是计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令用于使计算机执行上述图2至图5的日志处理方法,或者执行上述图6至图9的日志处理方法。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本公开实施例提供的日志处理方法、日志处理装置及存储介质,根据预设紧急等级和预设重要等级确定原始日志数据的日志类别,并根据日志类别将原始日志数据分类处理以得到目标日志数据,因此根据日志类别将日志类别数据分别存储至对应的索引区,且每个索引区的上报规则不同,则可根据索引区的上报规则将对应的目标日志数据上报至服务器端,从而减轻服务器端的存储压力。服务器端接收目标日志数据后,获取目标日志数据为异常状态的异常时间,然后根据异常时间和预设选取时间区间确定异常时间区间,并获取行为时间位于异常时间区间的目标日志数据,并对目标日志数据进行可视化处理以得到异常数据视图,则用户即可根据异常数据视图快速定位异常问题,从而提高异常恢复的效率,并提高了用户对于软件产品的满意度和信赖度。
本公开实施例描述的实施例是为了更加清楚的说明本公开实施例的技术方案,并不构成对于本公开实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本公开实施例提供的技术方案对于类似的技术问题,同样适用。
本领域技术人员可以理解的是,图2至图5,或图6至图9中示出的技术方案并不构成对本公开实施例的限定,可以包括比图示更多或更少的步骤,或者组合某些步骤,或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本公开实施例的优选实施例,并非因此局限本公开实施例的权利范围。本领域技术人员不脱离本公开实施例的范围和实质内所作的任何修改、等同替换和改进,均应在本公开实施例的权利范围之内。
Claims (10)
1.一种日志处理方法,其特征在于,应用于服务器端,所述服务器端包括归档区,所述方法包括:
接收用户端上报的目标日志数据;其中,所述目标日志数据包括用户行为信息和日志状态信息、环境信息,所述日志状态信息包括异常状态,所述用户行为信息包括行为时间;
将所述目标日志数据存储至所述归档区;
获取所述目标日志数据为所述异常状态的异常时间;
根据所述异常时间和预设选取时间区间生成异常时间区间;
从所述归档区提取所述行为时间位于所述异常时间区间的所述目标日志数据;
将所述目标日志数据进行可视化处理,以得到异常数据视图。
2.根据权利要求1所述的日志处理方法,其特征在于,所述用户行为信息还包括:操作界面信息、调用接口信息、调用链路信息;所述环境信息包括:服务器信息,所述异常数据视图包括:行为时间轴视图、网络拓扑图和服务器折线图;所述将所述目标日志数据进行可视化处理,以得到异常数据视图,包括:
根据所述行为时间的排序将对应的所述操作界面信息进行可视化处理,以得到所述行为时间轴视图;
将所述调用接口信息和所述调用链路信息进行可视化处理,以得到所述网络拓扑图;
将所述服务器信息进行折线可视化处理,以得到服务器折线图。
3.根据权利要求1或2所述的日志处理方法,其特征在于,所述服务器端还包括回收区,所述归档区存储有无效数据,在将所述目标日志数据存储至所述归档区之后,所述方法还包括:
将归档区的所述无效数据迁移至所述回收区,具体包括:
获取接收时长,所述接收时长为所述服务器端接收所述目标日志数据的时长;
根据所述接收时长将所述无效数据从所述归档区迁移至所述回收区;
根据所述接收时长到达预设时长,清除所述回收区的所述无效数据。
4.一种日志处理方法,其特征在于,应用于用户端,所述方法包括:
采集用户的原始日志数据;其中,所述原始日志数据包括用户行为信息和日志状态信息、环境信息,所述日志状态信息包括异常状态,所述用户行为信息包括行为时间;
将所述原始日志数据存储至预设暂存区;
从所述预设暂存区提取所述原始日志数据;
对提取的所述原始日志数据进行分类处理,以得到目标日志数据;
将所述目标日志数据存储至索引区;其中,所述索引区用于映射至服务器端的归档区;
将所述索引区的所述目标日志数据上报至所述服务器端,以使所述服务器端将所述目标日志数据存储至所述归档区。
5.根据权利要求4所述的日志处理方法,其特征在于,所述对提取的所述原始日志数据进行分类处理,以得到目标日志数据,包括:
获取所述原始日志数据的预设紧急等级和预设重要等级;
根据所述预设紧急等级和所述预设重要等级生成日志类别;
根据所述日志类别对提取的所述原始日志数据进行分类处理,以得到具有所述日志类别的所述目标日志数据。
6.根据权利要求5所述的日志处理方法,其特征在于,所述将所述目标日志数据存储至索引区,包括:
获取所述目标日志数据的日志类别;
根据所述日志类别获取对应的所述索引区;
将所述目标日志数据存储至对应的所述索引区。
7.根据权利要求4至6任一项所述的日志处理方法,其特征在于,所述将所述索引区的目标日志数据上报至所述服务器端,以使所述服务器端将所述目标日志数据存储至所述归档区,包括:
获取所述索引区的上报规则;
根据所述上报规则,将存储于所述索引区的所述目标日志数据上报至所述服务器端,以使所述服务器端将所述目标日志数据存储至所述归档区。
8.一种日志处理装置,其特征在于,应用于服务器端,所述服务器端包括归档区,所述装置包括:
接收模块,用于接收用户端上报的目标日志数据;其中,所述目标日志数据包括用户行为信息和日志状态信息、环境信息,所述日志状态信息包括异常状态;所述用户行为信息包括行为时间;
数据存储模块,用于将所述目标日志数据存储至所述归档区;
获取模块,用于获取所述目标日志数据为所述异常状态的异常时间;
生成模块,用于根据异常时间和预设选取时间区间生成异常时间区间;
数据提取模块,用于从所述归档区中获取所述行为时间位于所述异常时间区间的所述目标日志数据;
可视化处理模块,用于将所述目标日志数据进行可视化处理,以得到异常数据视图。
9.一种日志处理装置,应用于用户端,其特征在于,所述装置包括:
采集模块,用于采集用户的原始日志数据;其中,所述原始日志数据包括用户行为信息和日志状态信息、环境信息,所述日志状态信息包括异常状态;所述用户行为信息包括行为时间;
日志存储模块,用于将所述原始日志数据存储至预设暂存区;
日志提取模块,用于从所述预设暂存区提取所述原始日志数据;
分类模块,用于对提取的所述原始日志数据进行分类处理,以得到目标日志数据;
分类存储模块,将所述目标日志数据存储至索引区;其中,所述索引区用于映射至服务器端的归档区;
上报模块,用于将所述索引区的所述目标日志数据上报至所述服务器端,以使所述服务器端将所述目标日志数据存储至所述归档区。
10.一种存储介质,所述存储介质为计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行:
如权利要求1至3任一项所述的方法;或,
如权利要求4至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210508683.6A CN114968959A (zh) | 2022-05-11 | 2022-05-11 | 日志处理方法、日志处理装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210508683.6A CN114968959A (zh) | 2022-05-11 | 2022-05-11 | 日志处理方法、日志处理装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114968959A true CN114968959A (zh) | 2022-08-30 |
Family
ID=82980571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210508683.6A Pending CN114968959A (zh) | 2022-05-11 | 2022-05-11 | 日志处理方法、日志处理装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114968959A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115426278A (zh) * | 2022-08-31 | 2022-12-02 | 长春嘉诚信息技术股份有限公司 | 一种Web应用实时异常分析方法及系统 |
CN115454954A (zh) * | 2022-08-31 | 2022-12-09 | 上海移柯通信技术股份有限公司 | 数据处理方法、系统、装置及电子设备 |
-
2022
- 2022-05-11 CN CN202210508683.6A patent/CN114968959A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115426278A (zh) * | 2022-08-31 | 2022-12-02 | 长春嘉诚信息技术股份有限公司 | 一种Web应用实时异常分析方法及系统 |
CN115454954A (zh) * | 2022-08-31 | 2022-12-09 | 上海移柯通信技术股份有限公司 | 数据处理方法、系统、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11586972B2 (en) | Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs | |
CN110210227B (zh) | 风险检测方法、装置、设备和存储介质 | |
CN111241154A (zh) | 一种基于大数据的蓄电池故障预警方法及系统 | |
CN114968959A (zh) | 日志处理方法、日志处理装置及存储介质 | |
CN111078513B (zh) | 日志处理方法、装置、设备、存储介质及日志告警系统 | |
CN106815125A (zh) | 一种日志审计方法及平台 | |
CN111339175B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
CN111866016A (zh) | 日志的分析方法及系统 | |
CN112416705A (zh) | 一种异常信息的处理方法和装置 | |
CN112988509B (zh) | 一种告警消息过滤方法、装置、电子设备及存储介质 | |
CN109284331B (zh) | 基于业务数据资源的制证信息获取方法、终端设备及介质 | |
CN114567538A (zh) | 告警信息处理方法及装置 | |
CN114461534A (zh) | 软件性能测试方法、系统、电子设备及可读存储介质 | |
CN113722134A (zh) | 一种集群故障处理方法、装置、设备及可读存储介质 | |
CN115033876A (zh) | 日志处理方法、日志处理装置、计算机设备及存储介质 | |
CN112416896A (zh) | 数据异常的报警方法和装置、存储介质、电子装置 | |
CN116340536A (zh) | 运维知识图谱构建方法、装置、设备、介质及程序产品 | |
CN115545452B (zh) | 运维方法、运维系统、设备及存储介质 | |
CN113535458B (zh) | 异常误报的处理方法及装置、存储介质、终端 | |
CN115580528A (zh) | 故障根因定位方法、装置、设备及可读存储介质 | |
CN115577369A (zh) | 源代码泄露行为检测方法、装置、电子设备及存储介质 | |
CN115310139A (zh) | 文件监控预警系统、方法、计算设备及计算机存储介质 | |
CN115065539A (zh) | 数据安全监测方法、装置、设备及存储介质 | |
CN113420003A (zh) | 一种数据交互日志的处理方法、装置、设备及介质 | |
Mishra et al. | Improving Intelligence Metrics using Frequency Domain Convolutions for Improving Bug Prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |