CN113608979B - 日志数据的分析统计方法、装置、移动终端及存储介质 - Google Patents
日志数据的分析统计方法、装置、移动终端及存储介质 Download PDFInfo
- Publication number
- CN113608979B CN113608979B CN202110822024.5A CN202110822024A CN113608979B CN 113608979 B CN113608979 B CN 113608979B CN 202110822024 A CN202110822024 A CN 202110822024A CN 113608979 B CN113608979 B CN 113608979B
- Authority
- CN
- China
- Prior art keywords
- log
- buried point
- analysis
- information
- analysis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000007405 data analysis Methods 0.000 title claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 95
- 230000015654 memory Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009933 burial Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志数据的分析统计方法、装置、移动终端及存储介质。所述日志数据的分析统计方法包括以下步骤:在系统软件中进行埋点,得到埋点日志;获取所述埋点日志,并根据预设模型对所述埋点日志进行数据分析,得到分析结果;根据所述分析结果,生成并输出统计报告。本发明提供的日志数据的分析统计方法能够进行自动化分析并统计,能够快速完成日志分析统计并输出报告,节约时间和精力,相较于人工检索分析统计,本发明公开的日志数据的分析统计方法提供的统计报告更为精确。
Description
技术领域
本发明涉及数据采集分析技术领域,尤其涉及一种日志数据的分析统计方法、装置、移动终端及存储介质。
背景技术
目前,在测试软件在RC阶段(发布候选版阶段)时需要测试系统和应用在网络场景下对数据网络的访问情况。由于测试时间长,且测试场景较多,其中测试场景的数据网络包括2G、3G、LTE、5G、WiFi或模拟网络等,且一次测试需要至少分析5份日志,如果用人工检索日志的方式,每份日志至少需要一小时的时间完成检查,最终输出一份完整的测试报告需要一天的时间。人工检索并手动统计日志的方式极为耗时耗力,并且统计报告并不精准,大量分析日志会带来大量的人力和时间消耗,在项目后期时间和人力比较紧张的情况下会成为项目的一大阻碍。
因此,本发明提供一种日志数据的分析统计方法、装置、移动终端及存储介质用于解决上述问题。
发明内容
本发明要解决的技术问题在于,人工检索并手动统计日志的方式极为耗时耗力,并且统计报告并不精准,大量分析日志会带来大量的人力和时间消耗,因此,本发明提供一种日志数据的分析统计方法、装置、移动终端及存储介质用于解决上述问题。
本发明解决技术问题所采用的技术方案如下:
第一方面,本发明提供一种日志数据的分析统计方法,其包括以下步骤:
在系统软件中进行埋点,得到埋点日志;
获取所述埋点日志,并根据预设模型对所述埋点日志进行数据分析,得到分析结果;
根据所述分析结果,生成并输出统计报告。
在一种实施方式中,所述在系统软件中进行埋点,得到埋点日志的具体步骤包括:
在连接时,获取每一次网络连接时的域名及与所述域名相对应的进程名以及IP地址信息,根据所述域名及与所述域名相对应的进程名以及IP地址信息在系统软件中进行埋点,得到包含上述信息的埋点日志。
在一种实施方式中,所述在系统软件中进行埋点,得到埋点日志,具体包括:
在系统软件中的libc库的域名系统查询过程和防火墙中进行埋点,得到埋点日志。
在一种实施方式中,所述获取所述埋点日志,并根据预设模型对所述埋点日志进行数据分析,得到分析结果,具体包括:
采集移动终端使用时系统软件的埋点日志;
提取含有埋点信息的埋点日志并对所述埋点日志进行数据分析,得到分析结果。
在一种实施方式中,所述提取含有埋点信息的埋点日志并对所述埋点日志进行数据分析,得到分析结果,具体包括:
分别提取埋点日志中的网络日志和终端日志;
根据所述网络日志和所述终端日志,使用预设模型将网络日志和终端日志中域名与应用程序包名相映射,得到键值对的结构对象,得到分析结果;其中,所述预设模型为Python语言编写程序。
在一种实施方式中,所述根据所述分析结果,生成并输出统计报告,具体包括:
通过PythonDoc组件自动绘制表格;
根据所述分析结果将键值对的结构对象写到所述表格中,生成并输出统计报告。
在一种实施方式中,所述日志数据的分析统计方法还包括以下具体步骤:
统计并输出网络日志和终端日志中的域名与应用程序包名无法一一对应的项。
第二方面,本发明提供一种日志数据的分析统计装置,所述装置包括:
日志信息埋点模块,用于在系统软件中进行埋点,得到埋点日志;
日志信息分析模块,用于获取所述埋点日志,并根据预设模型对所述埋点日志进行数据分析,得到分析结果;以及
日志信息统计模块,用于根据所述分析结果,生成并输出统计报告。
第三方面,本发明提供一种移动终端,所述移动终端包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的日志数据的分析统计程序,所述处理器执行所述日志数据的分析统计程序时,实现如上所述的日志数据的分析统计方法的步骤。
第四方面,本发明提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有日志数据的分析统计程序,所述日志数据的分析统计程序被执行时,实现如上所述的日志数据的分析统计方法的步骤。
有益效果:本发明提供日志数据的分析统计方法通过在系统软件中进行埋点,进而获取埋点信息,对埋点信息进行分析并统计,能够快速完成日志分析统计并输出报告,节约时间和精力,相较于人工检索分析统计,本发明公开的日志数据的分析统计方法提供的统计报告更为精确,能够更好地帮助开发人员快速了解系统软件中存在的问题。
本发明的更多实施例还能够实现其它未一一列出的有利技术效果,这些其它的技术效果在下文中可能有部分描述,并且对于本领域的技术人员而言在阅读了本发明后是可以预期和理解的。本发明内容部分旨在以简化的形式引入将在“具体实施方式”中如下文进一步描述的构思和选择,以帮助阅读者更易于理解本发明。本发明内容并非旨在识别所要求保护的主题的关键特征或基本特征,也并非旨在用于限制所要求保护的主题的范围。所有的上述特征都将被理解为只是示例性的,并且可以从本发明公开中收集关于结构和方法的更多的特征和目的。对本发明的特征、细节、实用性以及优点的更全面的展示,将在以下对本发明的各种实施例的书面描述中提供,在附图中图示,并且在所附权利要求中限定。因此,如果不进一步阅读整个说明书以及权利要求书及附图,则无法理解对本发明内容的诸多限制性解释。
附图说明
图1是本发明提供的日志数据的分析统计方法的具体步骤流程图;
图2是图1所示的步骤S02的具体步骤流程图;
图3是图2所示的步骤S22的具体步骤流程图;
图4是本发明提供的快速统计日志装置的结构框图;
图5是本发明提供的快速统计日志的移动终端的结构框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图,并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
应当理解,所图示和描述的实施例在应用中不限于在以下描述中阐明或在附图中图示的构件的构造和布置的细节。所图示的实施例可以是其它的实施例,并且能够以各种方式来实施或执行。各示例通过对所公开的实施例进行解释而非限制的方式来提供。实际上,将对本领域技术人员显而易见的是,在不背离本发明公开的范围或实质的情况下,可以对本发明的各实施例作出各种修改和变型。例如,作为一个实施例的一部分而图示或描述的特征,可以与另一实施例一起使用,以仍然产生另外的实施例。因此,本发明公开涵盖属于所附权利要求及其等同要素范围内的这样的修改和变型。同样,要理解到,本文中所使用的词组和用语是出于描述的目的,而不应当被认为是限制性的。本文中的“包括”、“包含”或“具有”及其变型的使用,旨在开放式地包括其后列出的项及其等同项以及附加的项。除非另有限制,否则,本文中的用语“连接”、“联接”和“安装”及其变型广泛地使用,并且包含直接和间接的连接、联接以及安装。另外,用语“连接”和“相连”及其变型不局限于物理的或机械的连接或联接。在本公开中,“模块化”或“模块”意味着模块化的部件或构件是独立的、具有一致的机械或数据连接接口的单元,其中相同类型的模块化部件或模块在本公开的显示装置中可以是重复使用和可更换的。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
在本发明实施例的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明实施例中的具体含义。
下面将参考本发明的若干具体实施例结合附图对本发明进行更详细的描述。需要说明的是,在不冲突的情况下,本申请中的实施例和实施例中的特征可以相互结合。
请同时参阅图1-图5,其中,图1是本发明提供的日志数据的分析统计方法的具体步骤流程图,图2是图1所示的步骤S02的具体步骤流程图,图3是图2所示的步骤S22的具体步骤流程图,图4是本发明提供的快速统计日志装置的结构框图,图5是本发明提供的快速统计日志的移动终端的结构框图。
随着电子产品的发展和进步,手机的使用越来越普及,手机已经成为人们生活中不可缺少的通信工具。然而,由于手机的应用程序日益增多,所带的系统模块也变得越来越多,同时手机还支持第三方应用程序安装,导致系统的稳定性越来越得到重视。现有技术中,需要测试软件在RC阶段(发布候选版阶段)时系统和应用在网络场景下对数据网络的访问情况,得到其24小时内后台数据的统计报告,用来展示RC软件在24小时内对数据网络的访问情况,使得测试人员通过分析日志统计报告得以查看及处理软件的运行情况。RC=Release Candidate,含义是"发布候选版",它不是最终的版本,而是最终版(RTM=ReleaseTo Manufacture)之前的最后一个版本。因此,对RC阶段的网络log日志分析是十分必要的。然而,现有技术中人工检索并手动统计日志的方式极为耗时耗力,并且统计报告并不精准,大量分析日志会带来大量的人力和时间消耗。
为了解决上述问题,本发明提供一种日志数据的分析统计方法、装置、移动终端及存储介质用于解决上述问题。本发明提供一种日志数据的分析统计方法,其包括以下步骤:
在系统软件中进行埋点,得到埋点日志;
获取所述埋点日志,并根据预设模型对所述埋点日志进行数据分析,得到分析结果;
根据所述分析结果,生成并输出统计报告。
本发明提供日志数据的分析统计方法通过在系统软件中进行埋点,进而获取埋点信息,对埋点信息进行分析并统计,能够快速完成日志分析统计并输出报告,节约时间和精力,相较于人工检索分析统计,本发明公开的日志数据的分析统计方法提供的统计报告更为精确,能够更好地帮助开发人员快速了解系统软件中存在的问题。
示例性方法
本实施例提供一种日志数据的分析统计的方法,该方法可应用于后台的数据统计及日志分析中。具体实施时,如图1所示,本实施例中的所述日志数据的分析统计方法包括以下步骤:
步骤S01、在系统软件中进行埋点,得到埋点日志。
在本实施例中,埋点是指事件追踪(Event Tracking),是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。埋点是为了满足快捷、高效、丰富的数据应用而做的用户行为过程及结果记录。埋点是数据的来源,采集的数据可以分析系统/应用的使用情况。埋点实质上就是在应用中特定的流程收集一些信息,用来跟踪应用使用的状况,后续用来进一步优化产品或是提供运营的数据支撑,包括访问数(Visits),访客数(Visitor),停留时长(Time On Site),页面浏览数(Page Views)和跳出率(Bounce Rate)。这样的信息收集可以大致分为两种:页面统计(track this virtual page view),统计操作行为(track this button by an event)。埋点可以是某个按钮,某个点击区域,某个提示,甚至可以用来统计一些特殊的代码是否被执行,在终端中,需要在代码中定义一个事件行为。通过在系统软件中进行埋点可以跟踪应用使用的状况,因此本实施例中首先要在系统中进行埋点。
在一种实施方式中,具体包括:在连接时,获取每一次网络连接时的域名及与所述域名相对应的进程名以及IP地址信息,根据所述域名及与所述域名相对应的进程名以及IP地址信息在系统软件中进行埋点,得到包含上述信息的埋点日志。即关键信息包括每一次网络连接时的域名及与所述域名相对应的进程名以及IP地址的日志信息,埋点操作用于监听每一次网络连接时的域名及与所述域名相对应的进程名以及IP地址的日志信息。域名(英语:Domain Name),又称网域,是由一串用点分隔的名字组成的Internet上某一台计算机或计算机组的名称,用于在数据传输时对计算机的定位标识(有时也指地理位置)。由于IP地址具有不方便记忆并且不能显示地址组织的名称和性质等缺点,人们设计出了域名,并通过网域名称系统(DNS,Domain Name System)来将域名和IP地址相互映射,使人更方便地访问互联网,而不用去记住能够被机器直接读取的IP地址数串。
在一种实施方式中,具体包括:在系统软件中的libc库的域名系统查询过程和防火墙中进行埋点,得到埋点日志。即,本步骤中的埋点操作在libc库的域名系统查询过程和防火墙中进行。所述libc库是Linux下的ANSI C的函数库,ANSI C是基本的C语言函数库,包含了C语言最基本的库函数。进一步的,所述防火墙为安卓防火墙。这种埋点在不同的版本中是隔离的,因此,所得到的日志信息不会出现在用户的移动终端中。
具体的,在本实施例中,所述关键信息还可以包括用户的访问日志,所述访问日志包括所述用户的访问行为数据,所述访问行为数据包括所述用户的身份信息、访问页面、访问频次和访问轨迹之中的至少一种数据,所述用户的身份信息是指能表征用户具有唯一身份的数据。即当关键信息还包括用户的访问信息时,通过分析统计后续的埋点日志还能获取更多的访问信息。
步骤S02、获取所述埋点日志,并根据预设模型对所述埋点日志进行数据分析,得到分析结果。
日志包括系统日志和埋点日志,系统日志是由开发人员在系统后台代码中加入的日志输出语句,这类日志对了解系统的运行情况有一定的帮助,当系统出现异常情况,能借助这些信息来分析问题。用户可以通过它来检查错误发生的原因,或者寻找受到攻击时攻击者留下的痕迹。但这类日志信息的输出内容是由开发人员通过编写相应输出代码产生的,并不是一种架构级的日志输出方案。所以这类输出信息并不全面,不能细致地把系统的运行信息进行输出。而网站运营人员和业务人员更关注的数据是通过埋点产生的日志分析出来的。当获取含有关键信息的埋点日志时,即可进行自动化分析并将分析结果储存。该步骤中仅获取含有关键信息的埋点日志,不获取不含有关键信息的埋点日志,能够避免获取冗杂的数据,避免造成后续的庞大的分析量。
在一种实施方式中,请具体参阅图2,所述步骤S02具体包括:
步骤S21、获取移动终端使用时系统软件的埋点日志;
步骤S22、提取含有埋点信息的埋点日志并对所述埋点日志进行数据分析,得到分析结果。
更进一步的,请具体参阅图3,所述步骤S22具体包括:
步骤S221、分别提取埋点日志中的网络日志和终端日志;
步骤S222、根据所述网络日志和所述终端日志,使用预设模型将网络日志和终端日志中域名与应用程序包名相映射,得到键值对的结构对象,得到分析结果;其中,所述预设模型为Python语言编写程序。
具体的,步骤S02中需要读取移动终端使用时的埋点日志,分别提取埋点日志中的网络日志和终端日志的中的关键信息,并将两者的关键信息进行映射,分析得到关于网络日志和终端日志的map对象。Map对象是一个键值对的结构对象,Map是一组键值对的结构,具有极快的查找速度。分别将域名与应用程序包名相映射,得到含有关键信息的日志信息,能够从该日志信息中得到每一次网络连接时的域名及与所述域名相对应的进程名、以及IP地址的日志信息,能够得到后台的访问频次数据。
步骤S03中、根据所述分析结果,生成并输出统计报告。
具体的,步骤S03中还包括:
步骤S31、通过PythonDoc组件自动绘制表格;
步骤S32、根据所述分析结果将键值对的结构对象写到所述表格中,生成并输出统计报告。
在本实施例中,统计报告的输出功能依赖PythonDoc组件,PythonDoc组件用于自动绘制表格,再将map对象中的信息写入表格中,得到统计报告。除此之外,统计报告的输出也可以使用其他组件,本发明不对此作出限制。
需要说明的是,除此之外,所述日志数据的分析统计方法还包括以下具体步骤:统计并输出不符合标准的统计项,其中,所述不符合标准的统计项包括网络日志和终端日志中的域名与应用程序包名无法一一对应的项。该输出项能够帮助测试人员更好地分析软件可能出现的问题。
示例性装置
第二方面,基于上述实施例,本发明提供一种日志数据的分析统计装置,请具体参阅图4,所述日志数据的分析统计装置包括相连接的日志信息埋点模块10、日志信息分析模块20和日志信息统计模块30。
所述日志信息埋点模块10用于在系统软件中进行埋点,得到埋点日志。具体的,所述日志信息埋点在连接时,获取每一次网络连接时的域名及与所述域名相对应的进程名以及IP地址的信息,根据上述信息在系统软件中进行埋点,得到包含上述信息的埋点日志。
所述日志信息分析模块20,用于获取所述埋点日志,并根据预设模型进行分析,得到分析结果。具体的,所述日志信息分析模块20用于采集移动终端使用时系统软件的埋点日志,分别提取埋点日志中的网络日志和终端日志,并根据所述网络日志和所述终端日志,使用预设模型将网络日志和终端日志中域名与应用程序包名相映射,得到键值对的结构对象,得到分析结果。
所述日志信息统计模块30,用于根据所述分析结果,生成并输出统计报告。其中,所述日志信息统计模块30通过PythonDoc组件自动绘制表格,并根据所述分析结果将键值对的结构对象写到所述表格中,生成并输出统计报告。
第三方面,本发明还提供一种移动终端,所述移动终端包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的日志数据的分析统计程序,所述处理器执行所述日志数据的分析统计程序时,实现如下操作指令:
在系统软件中进行埋点,得到埋点日志;
获取所述埋点日志,并根据预设模型进行分析,得到分析结果;
根据所述分析结果,生成并输出统计报告。
具体的,请参阅图5,基于上述实施例,所述移动终端包括通过系统总线连接的处理器、存储器、网络接口和显示屏。其中,所述移动终端的处理器用于提供计算和控制能力。所述移动终端的存储器包括非易失性存储介质、内存储器。所述非易失性存储介质存储有操作系统和计算机程序。所述内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。所述移动终端的网络接口用于与外部的终端通过网络连接通信。所述计算机程序被处理器执行时以实现一种日志数据的分析统计方法。所述移动终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
第四方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有快速分统计日志,所述日志数据的分析统计程序被处理器执行时,实现本发明提供的快速分统计日志方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。
一些实施例可以,例如,使用机器或有形的计算机可读取的介质或制品来实现,所述介质或制品可以存储指令或一组指令,如果由机器执行,可以导致机器执行根据各实施例的方法和/或操作。这样的机器可以包括,例如,任何合适的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器等等,并可以使用硬件和/或软件的任何合适的组合来实现。机器可读取的介质或制品可以包括,例如,任何合适类型的存储器单元、存储器设备、存储器制品、存储器介质、存储设备、存储器制品、存储器介质和/或存储器单元,例如,存储器、可移动或不可移动介质、可擦除的或非可擦除的介质,可写入的或重写的介质、数字或模拟介质、硬盘、软盘、只读光盘存储器(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-RW)、光盘、磁性介质、磁光介质、可移动存储器卡或盘、各种类型的数字多功能盘(DVD)、磁带、磁带盒等等。指令可包括任何合适类型的代码,如源代码、已编译的代码、已解释的代码、可执行代码、静态代码、动态代码、加密代码等等,使用任何合适的高级别的、低级别的、面向对象的、可视的、已编译的和/或解释性编程语言来实现。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当所述计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
除非特别声明,应该理解,诸如“处理”、“计算”、“运算”、“判断”等等之类的术语是指计算机或计算系统,或类似的电子计算设备的动作和/或进程,所述计算系统或类似的电子计算设备操纵和/或转换表示为计算系统的寄存器和/或存储器内的物理(如,电子)量的数据,将这些数据转换为类似地表示为计算系统存储器或寄存器或其他这样的信息存储器、传输或移动终端内的物理量的其他数据。在此上下文中,实施例不受限制。
此处可以使用术语“耦合”来指正被讨论的组件之间的任何类型的关系,直接的或间接的,并可以应用于电气的、机械的、流体的、光学的、电磁的、机电的或其他连接。另外,术语“第一”、“第二”等等此处只用于便于讨论,没有特定时间的或按时间顺序的意义,除非另有陈述。
综上所述,本发明提供日志数据的分析统计方法通过在系统软件中进行埋点并获取埋点日志,进行自动化分析并统计,能够快速完成日志分析统计并输出报告,节约时间和精力。相较于人工检索分析统计,本发明公开的日志数据的分析统计方法提供的统计报告更为精确,同时输出不符合标准的统计项,能够更好地帮助开发人员快速了解系统存在的问题。
最后应说明的是,对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (7)
1.一种日志数据的分析统计方法,其特征在于,包括以下步骤:
在系统软件中进行埋点,得到埋点日志;
获取所述埋点日志,并根据预设模型对所述埋点日志进行数据分析,得到分析结果;
根据所述分析结果,生成并输出统计报告;
所述获取所述埋点日志,并根据预设模型对所述埋点日志进行数据分析,得到分析结果,具体包括:
获取所述系统软件的埋点日志;提取含有埋点信息的埋点日志并对所述埋点日志进行数据分析,得到分析结果;
所述提取含有埋点信息的埋点日志并对所述埋点日志进行数据分析,得到分析结果,具体包括:
分别提取埋点日志中的网络日志和终端日志中的关键信息;根据所述网络日志和所述终端日志中的关键信息,使用预设模型将网络日志和终端日志中域名与应用程序包名相映射,得到键值对的结构对象,得到含有关键信息的日志信息的分析结果;其中,所述预设模型为Python语言编写程序;所述关键信息包括每一次网络连接时的域名及与所述域名相对应的进程名以及IP地址的日志信息,以及用户的访问日志;
所述日志数据的分析统计方法还包括以下具体步骤:
统计并输出网络日志和终端日志中的域名与应用程序包名无法一一对应的项。
2.根据权利要求1所述的日志数据的分析统计方法,其特征在于,所述在系统软件中进行埋点,得到埋点日志的具体步骤包括:
在连接时,获取每一次网络连接时的域名及与所述域名相对应的进程名以及IP地址信息,根据所述域名及与所述域名相对应的进程名以及IP地址信息在系统软件中进行埋点,得到包含上述信息的埋点日志。
3.根据权利要求1所述的日志数据的分析统计方法,其特征在于,所述在系统软件中进行埋点,得到埋点日志,具体包括:
在系统软件中的libc库的域名系统查询过程和防火墙中进行埋点,得到埋点日志。
4.根据权利要求1所述的日志数据的分析统计方法,其特征在于,所述根据所述分析结果,生成并输出统计报告,具体包括:
通过PythonDoc组件自动绘制表格;
根据所述分析结果将键值对的结构对象写到所述表格中,生成并输出统计报告。
5.一种日志数据的分析统计装置,其特征在于,所述装置包括:
日志信息埋点模块,用于在系统软件中进行埋点,得到埋点日志;
日志信息分析模块,用于获取所述埋点日志,并根据预设模型对所述埋点日志进行数据分析,得到分析结果;
所述获取所述埋点日志,并根据预设模型对所述埋点日志进行数据分析,得到分析结果,具体包括:
获取所述系统软件的埋点日志;提取含有埋点信息的埋点日志并对所述埋点日志进行数据分析,得到分析结果;
所述提取含有埋点信息的埋点日志并对所述埋点日志进行数据分析,得到分析结果,具体包括:
分别提取埋点日志中的网络日志和终端日志中的关键信息;根据所述网络日志和所述终端日志中的关键信息,使用预设模型将网络日志和终端日志中域名与应用程序包名相映射,得到键值对的结构对象,得到含有关键信息的日志信息的分析结果;其中,所述预设模型为Python语言编写程序;所述关键信息包括每一次网络连接时的域名及与所述域名相对应的进程名以及IP地址的日志信息,以及用户的访问日志;以及
日志信息统计模块,用于根据所述分析结果及统计并输出的网络日志和终端日志中的域名与应用程序包名无法一一对应的项,生成并输出统计报告。
6.一种移动终端,其特征在于,所述移动终端包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的日志数据的分析统计程序,所述处理器执行所述日志数据的分析统计程序时,实现如权利要求1-4任一项所述的日志数据的分析统计方法的步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有日志数据的分析统计程序,所述日志数据的分析统计程序被执行时,实现如权利要求1-4任一项所述的日志数据的分析统计方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110822024.5A CN113608979B (zh) | 2021-07-20 | 2021-07-20 | 日志数据的分析统计方法、装置、移动终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110822024.5A CN113608979B (zh) | 2021-07-20 | 2021-07-20 | 日志数据的分析统计方法、装置、移动终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113608979A CN113608979A (zh) | 2021-11-05 |
CN113608979B true CN113608979B (zh) | 2023-11-10 |
Family
ID=78304936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110822024.5A Active CN113608979B (zh) | 2021-07-20 | 2021-07-20 | 日志数据的分析统计方法、装置、移动终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113608979B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107832210A (zh) * | 2017-10-27 | 2018-03-23 | 广州四三九九信息科技有限公司 | 日志埋点接入测试方法、装置及服务器 |
WO2019100614A1 (zh) * | 2017-11-22 | 2019-05-31 | 平安科技(深圳)有限公司 | 埋点数据处理方法、装置、计算机设备和存储介质 |
CN112306826A (zh) * | 2020-02-24 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 用于终端的处理信息的方法和装置 |
-
2021
- 2021-07-20 CN CN202110822024.5A patent/CN113608979B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107832210A (zh) * | 2017-10-27 | 2018-03-23 | 广州四三九九信息科技有限公司 | 日志埋点接入测试方法、装置及服务器 |
WO2019100614A1 (zh) * | 2017-11-22 | 2019-05-31 | 平安科技(深圳)有限公司 | 埋点数据处理方法、装置、计算机设备和存储介质 |
CN112306826A (zh) * | 2020-02-24 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 用于终端的处理信息的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113608979A (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110442511B (zh) | 可视化埋点测试方法及装置 | |
CN107562620B (zh) | 一种埋点自动设置方法和装置 | |
CN108667855B (zh) | 网络流量异常监测方法、装置、电子设备及存储介质 | |
Sathe et al. | Data acquisition techniques in mobile forensics | |
CN105095207A (zh) | 检索、获取应用软件内容的方法和装置 | |
CN106776339A (zh) | 自动化测试方法及装置 | |
CN112925757A (zh) | 一种追踪智能设备操作日志的方法、设备、存储介质 | |
CN113268427A (zh) | 一种针对二进制程序的崩溃分析方法及系统 | |
CN102043720A (zh) | 利用sql语句自动生成测试数据的方法和装置 | |
CN113742200A (zh) | 数据库版本升级的测试方法、设备及计算机可读介质 | |
CN111460178A (zh) | 一种基于知识图谱的区块链可视化系统 | |
CN113608979B (zh) | 日志数据的分析统计方法、装置、移动终端及存储介质 | |
CN116383155B (zh) | 一种基于eda验证仿真器的日志查询系统 | |
CN108897633A (zh) | 一种基于机器数据的故障诊断方法与装置 | |
CN111124894B (zh) | 代码覆盖率的处理方法、装置和计算机设备 | |
CN112835779A (zh) | 测试用例确定方法、装置、计算机设备 | |
Gonçalves et al. | Revisiting the dataset gap problem–On availability, assessment and perspective of mobile forensic corpora | |
CN113791980A (zh) | 测试用例的转化分析方法、装置、设备及存储介质 | |
CN114064510A (zh) | 功能测试方法、装置、电子设备和存储介质 | |
CN109062797B (zh) | 生成信息的方法和装置 | |
CN114238048A (zh) | 一种Web前端性能自动化测试方法及系统 | |
CN112597041A (zh) | 代码覆盖率的跨分支合并方法、系统、设备及存储介质 | |
CN110569189A (zh) | 回归测试的方法、装置、计算机设备和存储介质 | |
CN114327377B (zh) | 需求跟踪矩阵生成方法、装置、计算机设备及存储介质 | |
CN111309623B (zh) | 一种坐标类数据分类测试方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |