CN110069464A - 日志分析处理方法、装置、设备及可读存储介质 - Google Patents
日志分析处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN110069464A CN110069464A CN201910205703.0A CN201910205703A CN110069464A CN 110069464 A CN110069464 A CN 110069464A CN 201910205703 A CN201910205703 A CN 201910205703A CN 110069464 A CN110069464 A CN 110069464A
- Authority
- CN
- China
- Prior art keywords
- interface
- analysis
- journal file
- log
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 129
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 241000208340 Araliaceae Species 0.000 claims abstract description 35
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims abstract description 35
- 235000003140 Panax quinquefolius Nutrition 0.000 claims abstract description 35
- 235000008434 ginseng Nutrition 0.000 claims abstract description 35
- 238000004573 interface analysis Methods 0.000 claims abstract description 26
- 238000012216 screening Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 7
- 238000007405 data analysis Methods 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008676 import Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志分析处理方法，所述方法包括：采集集群中各个终端设备上传的日志文件，并将日志文件推送至分析队列中；当接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对所述分析队列中的日志文件进行解析，得到接口调用数据；读取所述接口调用数据，得到调用的接口名、接口之间的关联关系和出入参；将所述接口名、接口之间的关联关系和出入参作为日志文件的分析结果，并将所述分析结果输出至显示界面进行显示。本发明还公开了一种装置、设备及可读存储介质。本发明通过对日志文件进行数据分析，能够更便捷地为接口调用方或被调方或项目开发人员清晰展示接口的调用情况。
Description
技术领域
本发明涉及数据分析技术领域，尤其涉及一种日志分析处理方法、装置、设备及可读存储介质。
背景技术
随着通信技术的不断发展，各种不同的通信技术标准均得到了广泛的应用，现有软件系统一般都需要通过接口与不同的外部系统进行对接，实现数据交互，从而产生了海量的日志文件。
目前，在项目应用工程中，不可避免要去调用第三方的接口去获得和使用相应的数据，然而有的接口可能还存在下级接口调用，而有的则没有。传统下级接口的调用数据仰赖人工来判断和粘贴，使得接口调用方或被调用方往往需要对接口调用的分析投入大量的人力物力资源。
发明内容
本发明的主要目的在于提供一种日志分析处理方法、装置、设备及可读存储介质，旨在解决如何通过日志文件快捷准确地分析出调用的接口及其相关数据，进而清楚展示接口的调用情况的技术问题。
为实现上述目的，本发明提供的一种日志分析处理方法，所述日志分析处理方法包括以下步骤：
采集集群中各个终端设备上传的日志文件，并将日志文件推送至分析队列中；
当接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对所述分析队列中的日志文件进行解析，得到接口调用数据；
读取所述接口调用数据，得到调用的接口名、接口之间的关联关系和出入参；
将所述接口名、接口之间的关联关系和出入参作为日志文件的分析结果，并将所述分析结果输出至显示界面进行显示。
优选地，所述采集集群中各个终端设备上传的日志文件，并将日志文件推送至分析队列中，包括：
通过预设的服务接口实时采集集群中各个终端设备上传的日志文件；
将采集的日志文件转换成预设标准格式的日志文件后，推送至分析队列中，以待调用。
优选地，所述当接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对所述分析队列中的日志文件进行解析，得到接口调用数据，包括：
当接收到分析终端设备的接口分析指令时，根据所述接口分析指令携带的设备标识，从所述分析队列中提取出与所述设备标识相匹配的日志文件；
对提取的日志文件进行解析，得到事件日志，并以预设文件名为关键字，获取所述事件日志中记录的接口调用数据。
优选地，所述当接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对所述分析队列中的日志文件进行解析，得到接口调用数据，包括：
当接收到接口调用查询请求时，确定查询的事件类型；
根据所述事件类型与日志文件携带的属性信息，对所述分析队列中的日志文件进行筛选；
对筛选后的日志文件进行解析，得到事件日志，并以预设文件名为关键字，获取所述事件日志中记录的接口调用数据。
优选地，对日志文件进行解析的方式至少包括：json格式数据解析、list格式数据解析、map格式数据解析、xml格式数据解析中的任一种。
优选地，所述读取所述接口调用数据，得到调用的接口名、接口之间的关联关系和出入参，包括：
读取所述接口调用数据，并通过预设关键字抓取得到调用的接口名和相应的出入参；
通过层级之间的预设关键字，确定调用的各个接口之间的关联关系，其中，所述关联关系包括平级调用关系和/或上下级调用关系。
优选地，在所述得到调用的接口名、接口之间的关联关系和出入参的操作之后，还包括：
根据接口名、接口之间的关联关系，统计调用的接口数量以及各接口的调用次数，并更新所述分析结果。
此外，为实现上述目的，本发明还提供一种日志分析装置，所述日志分析装置包括：
采集模块，用于采集集群中各个终端设备上传的日志文件，并将日志文件推送至分析队列中；
解析模块，用于当接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对所述分析队列中的日志文件进行解析，得到接口调用数据；
读取模块，用于读取所述接口调用数据，得到调用的接口名、接口之间的关联关系和出入参；
显示模块，用于将所述接口名、接口之间的关联关系和出入参作为日志文件的分析结果，并将所述分析结果输出至显示界面进行显示。
此外，为实现上述目的，本发明还提供一种日志分析设备，所述日志分析设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志分析程序，所述日志分析程序被所述处理器执行时实现如上述中任一项所述的日志分析处理方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志分析程序，所述日志分析程序被处理器执行时实现如上述中任一项所述的日志分析处理方法的步骤。
本发明首先通过采集集群中各个终端设备上传的日志文件，并将日志文件推送至分析队列中，然后在接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对分析队列中的日志文件进行解析，得到接口调用数据，再读取接口调用数据，得到调用的接口名、接口之间的关联关系和出入参，最后将接口名、接口之间的关联关系和出入参作为日志文件的分析结果输出至显示界面进行显示。本发明通过对日志文件进行数据分析，能够更便捷地为接口调用方或被调方或项目开发人员清晰展示接口的调用情况，进而可帮助人们作出判断，以便采取适当行动或进一步优化接口调用。
附图说明
图1为本发明实施例方案涉及的日志分析设备运行环境的结构示意图；
图2为本发明日志分析处理方法一实施例的流程示意图；
图3为图2步骤S10一实施例的细化流程示意图；
图4为本发明日志分析装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的日志分析设备运行环境的结构示意图。
如图1所示，该日志分析设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，日志分析设备还可以包括摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。
本领域技术人员可以理解，图1中示出的日志分析设备的硬件结构并不构成对日志分析设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序。其中，操作系统是管理和控制日志分析设备和软件资源的程序，支持日志分析程序以及其他程序或软件的运行。
在图1所示的日志分析设备的硬件结构中，网络接口1004主要用于接入网络；用户接口1003主要用于侦测确认指令和编辑指令等。而处理器1001可以用于调用存储器1005中存储的日志分析程序，并执行以下日志分析处理方法的各实施例的步骤。
基于上述日志分析设备硬件结构，提出本发明日志分析处理方法的各个实施例。
参照图2，图2为本发明日志分析处理方法一实施例的流程示意图。
本实施例中，日志分析处理方法包括：
步骤S10，采集集群中各个终端设备上传的日志文件，并将日志文件推送至分析队列中；
本实施例中，日志分析处理方法应用于日志分析设备中，日志分析设备可选为图1的日志分析设备，即该日志分析设备可以为实体设备，还可以是虚拟软件系统，如日志文件系统，具体不做限定。集群中的各个终端设备包括但不限于包含应用程序的终端、网络设备和/或内置有负载均衡软件的终端，比如可以包括手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable MediaPlayer，PMP)、导航装置、可穿戴设备、智能手环、计步器等。
本实施例中，日志的概念为了维护自身系统资源的运行状况，计算机系统一般都会有相应的日志记录系统有关日常事件或者误操作警报的日期及时间戳信息。日志文件是终端设备用于记录系统操作事件的记录文件或文件集合，包括事件日志和/或消息日志。事件日志记录在系统的执行中发生的事件，具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。消息日志记录的是互联网中的即时消息，包括聊天记录、用户状态、昵称改变等。由于集群中终端设备有多台，且每台设备可多次上传是日志文件，导致采集的日志文件数量庞大，因而将日志文件推送至分析队列中，使得各日志文件按照采集顺序依次存放管理，进而在针对海量日志进行分析时，可避免随机抽取，同时，还可避免日志文件的重复分析。
步骤S20，当接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对分析队列中的日志文件进行解析，得到接口调用数据；
本实施例中，分析终端设备的接口分析指令由日志分析设备或日志文件系统使用方触发，而接口调用查询请求由接口调用方、接口被调用方通过客户端向日志分析设备发送的查询请求。当接收到接口分析指令和/或接口调用查询请求时，满足当前对分析队列中的日志文件进行数据分析的预设条件。数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。在实际开发过程中，经常需要调用对方提供的接口或测试自己写的接口是否合适。解析日志文件得到接口调用数据，进而对调用的接口进行分析可帮助人们作出判断，以便采取适当行动。
进一步地，对日志文件进行解析的方式至少包括：json格式数据解析、list格式数据解析、map格式数据解析、xml格式数据解析中的任一种。解析方式不同，得到的接口调用数据的格式不相同，因而在对分析队列中的多个日志文件进行解析时，统一选择其中一种方式进行解析，具体选择哪一方式进行解析，根据实际需要进行设置。具体地，选取任一种格式数据解析方式，解析得到相同格式的接口调用数据，比如采用json格式数据解析日志文件，得到json格式的接口调用数据；采用list格式数据解析日志文件，得到list格式的接口调用数据，其他以此类推，不再赘述。优选json格式数据解析，json格式是一种轻量级的数据交换格式，任何支持的类型都可以通过json来表示，例如字符串、数字、数组等；同时，json又易于阅读和编写，也易于解析和生成，并有效提升网络传输效率，可提升了日志分析设备分析日志文件的效率，并且降低了网络资源的耗费。
步骤S30，读取接口调用数据，得到调用的接口名、接口之间的关联关系和出入参；
本实施例中，程序应用的一个事件的执行都是调用一个接口，或者调用多个接口来实现的。同时调用的接口也存在调用下级接口来实现功能的情况，即一个接口可从一个或多个基接口继承。读取接口调用数据，也即读取与接口调用相关的数据信息，从而得到事件发生所调用的"name"接口名，比如ActionListener、ItemListener、WindowListener等等。也可以得到接口之间的关联关系，如平级调用关系、上下级调用关系等。也就是只调用一个接口，还是先调用A接口，A接口下又调用B接口等，具体根据实际情况而得。还可以得到出入参，出入参包括出参(获取参数)和入参(请求参数)。
步骤S40，将接口名、接口之间的关联关系和出入参作为日志文件的分析结果，并将分析结果输出至显示界面进行显示。
本实施例中，在界面上显示日志文件所分析得到的接口名、接口之间的关联关系和出入参，接口调用方、接口被调用方、项目开发员等都可以一目了然看出来调用了哪些接口，又是哪些接口进行了下级接口调用，且入参和出参也可以清晰展示，进而为mock工程节省了大量人力。需要说明的是，通过出入参用户可以了解数据间流转的过程，进而在项目工程中可以更好地采取适当行动或进一步优化接口调用。
本实施例中，首先通过采集集群中各个终端设备上传的日志文件，并将日志文件推送至分析队列中，然后在接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对分析队列中的日志文件进行解析，得到接口调用数据，再读取接口调用数据，得到调用的接口名、接口之间的关联关系和出入参，最后将接口名、接口之间的关联关系和出入参作为日志文件的分析结果输出至显示界面进行显示。本发明通过对日志文件进行数据分析，能够更便捷地为接口调用方或被调方或项目开发人员清晰展示接口的调用情况，进而可帮助人们作出判断，以便采取适当行动或进一步优化接口调用。
参照图3，图3为图2步骤S10一实施例的细化流程示意图。
基于上述实施例，本实施例中，步骤S10，采集集群中各个终端设备上传的日志文件，并将日志文件推送至分析队列中，包括：
步骤S11，通过预设的服务接口实时采集集群中各个终端设备上传的日志文件；
本实施例中，预设的服务接口包括syslog(systemlog，系统日志编程接口)或log-api(log-applicationprogramminginterface，日志-应用程序编程接口)等，具体根据实际需要而设置。通过服务接口即可实时采集集群中各个终端设备上传的日志文件，可及时避免终端日志文件被串改或恶意破坏。
步骤S12，将采集的日志文件转换成预设标准格式的日志文件后，推送至分析队列中，以待调用。
本实施例中，由于集群中各个终端设备不同，因此，可能导致上传的日志文件的格式不同，若日志采集设备采集的是不同10格式的日志，在对日志文件进行分析还需针对不同格式设计不同分析方案，导致日志文件的分析效率降低，且耗费大量资源。因此，在将日志文件推送至分析队列前，先将采集的日志文件转换成预设标准格式的日志文件，优选为log文件格式。log文件是一种日志文件类型，一般的应用程序都会生成log格式文件，主要用来记录一些安装或者运行时产生的信息，可以实时查看用户的操作记录。log文件易于解析和生成，能够有效提高日志文件的分析效率，降低了网络资源的耗费。将转换成预设标准格式的日志文件推送至分析队列中，以待调用，进而可在有需要分析时有针对性地提取日志文件，避免海量日志随机抽取，同时，还可避免日志文件的重复分析。
基于上述实施例，本实施例中，对于接收到接口分析指令或接口调用查询请求，所处理的方式不同，具体地，步骤S20，当接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对分析队列中的日志文件进行解析，得到接口调用数据，包括以下两种方式：
第一种：步骤A，当接收到分析终端设备的接口分析指令时，根据接口分析指令携带的设备标识，从分析队列中提取出与设备标识相匹配的日志文件；步骤B，对提取的日志文件进行解析，得到事件日志，并以预设文件名为关键字，获取事件日志中记录的接口调用数据。
本实施例中，分析终端设备的接口分析指令由日志分析设备或日志文件系统使用方触发，即使用方可根据实际情况有目的性的针对某个终端设备的日志文件进行全面分析。触发的分析终端设备的接口分析指令携带有设备标识，即指定哪台终端设备上传的所有日志文件。设备标识，顾名思义就是用来识别每个终端设备的代码，可以是IP地址、MAC地址、ID号、用户名、代号等。具体地，只要是可以用来区分每个不同的终端设备即可。根据设备标识，从分析队列中提取出与之相匹配的日志文件，也就是查找到由该设备标识对应终端设备上传的日志文件。
本实施例中，日志文件持续记录终端设备的所有操作事件，因而日志容量无限增大，导致读写效率不佳，同时日志文件一般包括事件发生日期与时间，启动此时间的服务名称或函数名称，启动需要调用到的接口，调用接口的实际数据内容。很多项目都会封装规定好本身项目的接口规范，而发生的事件会根据预设规矩记录保存到文件中，比如/var/log/messages这个文件名记录错误信息，/var/log/secure涉及到需要输入账号密码的软件时，那么当登录时都会被记录到此文件中，/var/log/dmesg记录系统再开机的时候核心侦测过程中所产生的各种信息，/var/log/cron记录执行脚本，包括可调用外部命令来执行等等。因而根据预设文件名来定点解析提取的日志文件，得到事件日志，并能够快速定位得到需要的数据内容，即得到事件日志记录的与接口调用相关的数据信息。
第二种：步骤a，当接收到接口调用查询请求时，确定查询的事件类型；步骤b，根据事件类型与日志文件携带的属性信息，对分析队列中的日志文件进行筛选；步骤c，对筛选后的日志文件进行解析，得到事件日志，并以预设文件名为关键字，获取事件日志中记录的接口调用数据。
本实施例中，接口调用查询请求是由接口调用方、接口被调用方通过客户端向日志分析设备发送的查询请求。根据接口调用查询请求，确定查询的事件类型。事件类型可根据不同应用程序对应设置类型，比如语音聊天、在线公安、视频播放等，那么对应的日志文件的属性信息也包括多种。根据事件类型与日志文件携带的属性信息，在分析队列的海量日志文件中筛选出符合的日志文件，进而根据预设文件名来定点解析筛选后的日志文件，得到事件日志，并能够快速定位得到需要的数据内容，即得到事件日志记录的与接口调用相关的数据信息。
需要补充说明的是，在将分析结果输出至显示界面进行显示，可以是输出至本地日志分析设备的显示界面进行显示，也可以是输出至发送查询请求的客户端的显示界面进行显示。
基于上述实施例，本实施例中，步骤S30，读取接口调用数据，得到调用的接口名、接口之间的关联关系和出入参，包括：
1、读取接口调用数据，并通过预设关键字抓取得到调用的接口名和相应的出入参；
本实施例中，接口数据都是统一封装好的，通过用户关键字即可抓取到接口调用的接口名和相应的出入参。预设关键字比如"name"，即可抓取到调用的接口名，比如ActionListener、ItemListener、WindowListener等。预设关键字比如"input"、"diseaseCategoryId"、"operId"即可抓取到接口的出参(请求参数)。比如通过"input"，抓取到入参如：import Utils.WebUtil；import com.alibaba.druid.util.StringUtils；import com.alibaba.fastjson.JSONObject；import com.alibaba.fastjson.JSON等。预设关键字比如"output"、"checkInNo"即可抓取到接口的出参(获取参数)。比如通过"output"，抓取到出参比如：return new Result(a,b,c)；return age+1等等，具体根据实际接口调用数据情况而得。用户通过出入参，即可了解数据间的流转过程。
2、通过层级之间的预设关键字，确定调用的各个接口之间的关联关系，其中，关联关系包括平级调用关系和/或上下级调用关系。
本实施例中，通过层级之间的关键字将接口调用的关系连接起来。关键字为预先设置的，如Model、Controller、interface、string、class、public void等等，进而可确定调用的各个接口之间的关联关系在一个事件中是平级调用关系还是上下级调用关系。比如两个事件，一个事件调用了A接口，同时A接口下还有依次调用了A2、A3接口，另一个事件调用了B接口。A、B接口为平级调用关系，A与A2为上下级调用关系，A2与A3为上下级调用关系。进一步地，B与A2、A3没有关联关系。用户通过关联关系，即可了解每个事件的发生需要调用到哪些接口，实现哪些数据交互，接口之间怎么配合使用。
进一步地，在步骤S30之后，日志分析处理方法还包括：根据接口名、接口之间的关联关系，统计调用的接口数量以及各接口的调用次数，并更新分析结果。
本实施例中，一个事件先后调用了三个接口，第一个接口A下无下级接口，第二个接口B下有一个下级接口C，第三个接口还是A下有两个下级接口D、E，统计得到调用的接口数量为5个。A接口调用了2次，B、C、D、E个调用了一次。将统计得到的接口数量和各接口的调用次数，更新分析结果，也就是将统计的添加到分析结果中，以供用户(接口调用方或被调方或项目开发人员)查看，节省用户自己统计的步骤。
参照图4，图4为本发明日志分析装置一实施例的功能模块示意图。
本实施例中，日志分析装置包括：
采集模块10，用于采集集群中各个终端设备上传的日志文件，并将日志文件推送至分析队列中；
解析模块20，用于当接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对所述分析队列中的日志文件进行解析，得到接口调用数据；
读取模块30，用于读取所述接口调用数据，得到调用的接口名、接口之间的关联关系和出入参；
显示模块40，用于将所述接口名、接口之间的关联关系和出入参作为日志文件的分析结果，并将所述分析结果输出至显示界面进行显示。
需要说明的是，日志分析装置的各个实施例与上述日志分析处理方法的各实施例基本相同，在此不再详细赘述。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志分析程序，所述日志分析程序被处理器执行时实现如上述中任一项所述的日志分析处理方法的步骤。
本发明计算机可读存储介质具体实施例与上述日志分析处理方法的各实施例基本相同，在此不再详细赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种日志分析处理方法，其特征在于，所述日志分析处理方法包括以下步骤：
采集集群中各个终端设备上传的日志文件，并将日志文件推送至分析队列中；
当接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对所述分析队列中的日志文件进行解析，得到接口调用数据；
读取所述接口调用数据，得到调用的接口名、接口之间的关联关系和出入参；
将所述接口名、接口之间的关联关系和出入参作为日志文件的分析结果，并将所述分析结果输出至显示界面进行显示。
2.如权利要求1所述的日志分析处理方法，其特征在于，所述采集集群中各个终端设备上传的日志文件，并将日志文件推送至分析队列中，包括：
通过预设的服务接口实时采集集群中各个终端设备上传的日志文件；
将采集的日志文件转换成预设标准格式的日志文件后，推送至分析队列中，以待调用。
3.如权利要求1所述的日志分析处理方法，其特征在于，所述当接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对所述分析队列中的日志文件进行解析，得到接口调用数据，包括：
当接收到分析终端设备的接口分析指令时，根据所述接口分析指令携带的设备标识，从所述分析队列中提取出与所述设备标识相匹配的日志文件；
对提取的日志文件进行解析，得到事件日志，并以预设文件名为关键字，获取所述事件日志中记录的接口调用数据。
4.如权利要求1所述的日志分析处理方法，其特征在于，所述当接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对所述分析队列中的日志文件进行解析，得到接口调用数据，包括：
当接收到接口调用查询请求时，确定查询的事件类型；
根据所述事件类型与日志文件携带的属性信息，对所述分析队列中的日志文件进行筛选；
对筛选后的日志文件进行解析，得到事件日志，并以预设文件名为关键字，获取所述事件日志中记录的接口调用数据。
5.如权利要求1所述的日志分析处理方法，其特征在于，对日志文件进行解析的方式至少包括：json格式数据解析、list格式数据解析、map格式数据解析、xml格式数据解析中的任一种。
6.如权利要求1所述的日志分析处理方法，其特征在于，所述读取所述接口调用数据，得到调用的接口名、接口之间的关联关系和出入参，包括：
读取所述接口调用数据，并通过预设关键字抓取得到调用的接口名和相应的出入参；
通过层级之间的预设关键字，确定调用的各个接口之间的关联关系，其中，所述关联关系包括平级调用关系和/或上下级调用关系。
7.如权利要求1-6中任一项所述的日志分析处理方法，其特征在于，在所述得到调用的接口名、接口之间的关联关系和出入参的操作之后，还包括：
根据接口名、接口之间的关联关系，统计调用的接口数量以及各接口的调用次数，并更新所述分析结果。
8.一种日志分析装置，其特征在于，所述日志分析装置包括：
采集模块，用于采集集群中各个终端设备上传的日志文件，并将日志文件推送至分析队列中；
解析模块，用于当接收到分析终端设备的接口分析指令和/或接收到接口调用查询请求时，对所述分析队列中的日志文件进行解析，得到接口调用数据；
读取模块，用于读取所述接口调用数据，得到调用的接口名、接口之间的关联关系和出入参；
显示模块，用于将所述接口名、接口之间的关联关系和出入参作为日志文件的分析结果，并将所述分析结果输出至显示界面进行显示。
9.一种日志分析设备，其特征在于，所述日志分析设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志分析程序，所述日志分析程序被所述处理器执行时实现如权利要求1至7中任一项所述的日志分析处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志分析程序，所述日志分析程序被处理器执行时实现如权利要求1至7中任一项所述的日志分析处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910205703.0A CN110069464A (zh) | 2019-03-16 | 2019-03-16 | 日志分析处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910205703.0A CN110069464A (zh) | 2019-03-16 | 2019-03-16 | 日志分析处理方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110069464A true CN110069464A (zh) | 2019-07-30 |
Family
ID=67365348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910205703.0A Pending CN110069464A (zh) | 2019-03-16 | 2019-03-16 | 日志分析处理方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110069464A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110727646A (zh) * | 2019-10-10 | 2020-01-24 | 京东数字科技控股有限公司 | 系统日志的格式转换方法、装置、电子设备及计算机介质 |
| CN111045848A (zh) * | 2019-12-19 | 2020-04-21 | 广州唯品会信息科技有限公司 | 日志分析方法、终端设备及计算机可读存储介质 |
| CN111090457A (zh) * | 2019-12-17 | 2020-05-01 | 广州品唯软件有限公司 | 接口分析方法、终端设备及计算机可读存储介质 |
| CN112333188A (zh) * | 2020-11-04 | 2021-02-05 | 成都中科大旗软件股份有限公司 | 数据服务接口、日志监管方法、系统、存储介质及终端 |
| CN112363904A (zh) * | 2020-11-30 | 2021-02-12 | 歌尔科技有限公司 | log数据分析定位方法、装置及计算机可读存储介质 |
| CN112433757A (zh) * | 2020-11-27 | 2021-03-02 | 中国建设银行股份有限公司 | 一种确定接口调用关系的方法和装置 |
| CN112685274A (zh) * | 2020-12-29 | 2021-04-20 | 北京达佳互联信息技术有限公司 | 日志生成方法、装置、电子设备和存储介质 |
| CN113283884A (zh) * | 2020-12-31 | 2021-08-20 | 深圳怡化电脑股份有限公司 | 一种日志处理方法和装置 |
| CN113297078A (zh) * | 2021-05-24 | 2021-08-24 | 平安壹钱包电子商务有限公司 | Mock系统与基于mock系统的数据测试方法 |
| CN113297078B (zh) * | 2021-05-24 | 2024-07-05 | 平安壹钱包电子商务有限公司 | Mock系统与基于mock系统的数据测试方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090292742A1 (en) * | 2008-05-21 | 2009-11-26 | International Business Machines | System, Method, and Computer Readable Media for Identifying a Log File Record in a Log File |
| CN104598348A (zh) * | 2015-02-28 | 2015-05-06 | 南京途牛科技有限公司 | 一种远程实时分析外部系统接口性能的方法及系统 |
| CN107391746A (zh) * | 2017-08-10 | 2017-11-24 | 深圳前海微众银行股份有限公司 | 日志分析方法、设备和计算机可读存储介质 |
| CN109271289A (zh) * | 2017-07-18 | 2019-01-25 | 车伯乐（北京）信息科技有限公司 | 一种应用接口监控方法、装置、设备及计算机可读介质 |
| CN109408337A (zh) * | 2018-10-31 | 2019-03-01 | 京东方科技集团股份有限公司 | 一种接口运维的方法及装置 |
-
2019
- 2019-03-16 CN CN201910205703.0A patent/CN110069464A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090292742A1 (en) * | 2008-05-21 | 2009-11-26 | International Business Machines | System, Method, and Computer Readable Media for Identifying a Log File Record in a Log File |
| CN104598348A (zh) * | 2015-02-28 | 2015-05-06 | 南京途牛科技有限公司 | 一种远程实时分析外部系统接口性能的方法及系统 |
| CN109271289A (zh) * | 2017-07-18 | 2019-01-25 | 车伯乐（北京）信息科技有限公司 | 一种应用接口监控方法、装置、设备及计算机可读介质 |
| CN107391746A (zh) * | 2017-08-10 | 2017-11-24 | 深圳前海微众银行股份有限公司 | 日志分析方法、设备和计算机可读存储介质 |
| CN109408337A (zh) * | 2018-10-31 | 2019-03-01 | 京东方科技集团股份有限公司 | 一种接口运维的方法及装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110727646A (zh) * | 2019-10-10 | 2020-01-24 | 京东数字科技控股有限公司 | 系统日志的格式转换方法、装置、电子设备及计算机介质 |
| CN110727646B (zh) * | 2019-10-10 | 2021-05-04 | 京东数字科技控股有限公司 | 系统日志的格式转换方法、装置、电子设备及计算机介质 |
| CN111090457A (zh) * | 2019-12-17 | 2020-05-01 | 广州品唯软件有限公司 | 接口分析方法、终端设备及计算机可读存储介质 |
| CN111045848A (zh) * | 2019-12-19 | 2020-04-21 | 广州唯品会信息科技有限公司 | 日志分析方法、终端设备及计算机可读存储介质 |
| CN111045848B (zh) * | 2019-12-19 | 2024-04-19 | 广州唯品会信息科技有限公司 | 日志分析方法、终端设备及计算机可读存储介质 |
| CN112333188A (zh) * | 2020-11-04 | 2021-02-05 | 成都中科大旗软件股份有限公司 | 数据服务接口、日志监管方法、系统、存储介质及终端 |
| CN112433757A (zh) * | 2020-11-27 | 2021-03-02 | 中国建设银行股份有限公司 | 一种确定接口调用关系的方法和装置 |
| CN112363904B (zh) * | 2020-11-30 | 2022-11-22 | 歌尔科技有限公司 | log数据分析定位方法、装置及计算机可读存储介质 |
| CN112363904A (zh) * | 2020-11-30 | 2021-02-12 | 歌尔科技有限公司 | log数据分析定位方法、装置及计算机可读存储介质 |
| CN112685274A (zh) * | 2020-12-29 | 2021-04-20 | 北京达佳互联信息技术有限公司 | 日志生成方法、装置、电子设备和存储介质 |
| CN113283884A (zh) * | 2020-12-31 | 2021-08-20 | 深圳怡化电脑股份有限公司 | 一种日志处理方法和装置 |
| CN113297078A (zh) * | 2021-05-24 | 2021-08-24 | 平安壹钱包电子商务有限公司 | Mock系统与基于mock系统的数据测试方法 |
| CN113297078B (zh) * | 2021-05-24 | 2024-07-05 | 平安壹钱包电子商务有限公司 | Mock系统与基于mock系统的数据测试方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110069464A (zh) | 日志分析处理方法、装置、设备及可读存储介质 | |
| CN109828903B (zh) | 自动化测试方法、装置、计算机装置及存储介质 | |
| US7139978B2 (en) | Recording user interaction with an application | |
| CN107391746A (zh) | 日志分析方法、设备和计算机可读存储介质 | |
| CN106357457B (zh) | 一种告警测试方法、装置以及系统 | |
| CN108255729B (zh) | 一种基于Unity平台的手机游戏自动化测试方法和系统 | |
| CN107870933A (zh) | 统计安卓应用页面浏览行为的方法、装置及系统 | |
| CN110347716A (zh) | 日志数据处理方法、装置、终端及存储介质 | |
| CN107040578A (zh) | 数据同步方法、装置和系统 | |
| CN109684052A (zh) | 事务分析方法、装置、设备及存储介质 | |
| CN111078519A (zh) | 异常监控行为回溯的方法、装置和电子设备 | |
| CN111159014A (zh) | 探索性测试的响应方法及装置、计算机设备、存储介质 | |
| CN108170609A (zh) | 程序漏洞的定位方法、装置、计算机设备及可读存储介质 | |
| CN106713011A (zh) | 一种获取测试数据的方法与系统 | |
| WO2019000895A1 (zh) | 一种Flash播放器异常日志管理方法及系统 | |
| CN108039956A (zh) | 应用监控方法、系统和计算机可读存储介质 | |
| CN110727947A (zh) | 一种安全漏洞处理方法、装置、设备及可读存储介质 | |
| CN109902030A (zh) | 一种手机应用程序自动化测试步骤记录与回放的方法 | |
| KR20220060429A (ko) | 원격지의 네트워크 스위치에 대한 로그 수집 시스템 및 이의 빅데이터 구축 방법 | |
| CN106302349A (zh) | 基于libpcap的HTTP包分析方法及装置 | |
| CN109639494B (zh) | 接口信息的统计方法、装置、服务器及存储介质 | |
| CN116662204A (zh) | 一种无码测试案例生成方法、装置、系统及存储介质 | |
| CN109684159A (zh) | 分布式消息系统的状态监控方法、装置、设备及存储介质 | |
| CN109902113B (zh) | 征信反馈报告处理方法及装置、存储介质、计算机设备 | |
| CN110990237B (zh) | 一种信息收集系统、方法及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |