CN116680156A - 一种日志监控处理方法、装置、设备及存储介质 - Google Patents
一种日志监控处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116680156A CN116680156A CN202310719311.2A CN202310719311A CN116680156A CN 116680156 A CN116680156 A CN 116680156A CN 202310719311 A CN202310719311 A CN 202310719311A CN 116680156 A CN116680156 A CN 116680156A
- Authority
- CN
- China
- Prior art keywords
- log
- log information
- information
- monitoring processing
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 29
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 19
- 238000012800 visualization Methods 0.000 claims description 15
- 238000004140 cleaning Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000001960 triggered effect Effects 0.000 claims description 7
- 238000011161 development Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012423 maintenance Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种日志监控处理方法、装置、设备及存储介质，基于大数据技术与智能算法能够实现多源离散日志的统一采集、处理，能够做到自动采集，自动上传，回捞日志，实现了日志统一采集，自动上报，记录关键帧，关键埋点以及相应的上下文信息，帮助开发人员、运维人员更方便的解决移动端APP存在的问题，且分析移动端APP运营数据，解决了难以收集需要的错误信息，且在应用没有集成日志收集框架的时候，需要用户配合才能获取操作信息，无法快速定位bug的技术问题。
Description
技术领域
本申请涉及金融科技技术领域，尤其涉及一种日志监控处理方法、装置、设备及存储介质。
背景技术
在开发移动端应用的时候，总会遇到各种各样的bug。如果是本地发现的bug，可以经过本地IDE调试，通过报错的堆栈和报错信息来定位问题所在。但是生产环境线上出现问题，就很难定位问题所在。
一般来讲，我们可以通过一些其他的错误上报系统，比如腾讯的Bugly，来收集错误提示信息。但是很多时候，Bugly上报的错误并不能正确的把我们需要的错误信息反馈给我们，或者说，我们无法定位bug真正出现的时机点，用户之前的操作是什么。甚至有时候Bugly上报的堆栈信息是错误的时间节点，这让我们定位bug发生真正时机很困难。
在银行金融系统中，一旦出现bug，可能会导致用户的资金遭受损失，极大地降低了用户的体验性，且移动端应用的用户量庞大，若无法及时发现问题，后果比较严重。
在应用没有集成日志收集框架的时候，当线上出现问题的时候，客服需要联系到这个用户，争取获得用户的配合。通过发送私包给用户，由用户安装后，重现刚才的bug，才能把操作日志写入App的错误日志中，让用户通过交流软件发给我们。这个过程反复沟通的时间成本无法估量，也存在用户的信息遗漏或缺失。随着业务的不断扩张，业务复杂度不断加深，这种传统的方式显然不能够满足各个开发同学的需要，也无法快速定位问题。
发明内容
本申请提供了一种日志监控处理方法、装置、设备及存储介质，解决了难以收集需要的错误信息，且在应用没有集成日志收集框架的时候，需要用户配合才能获取操作信息，无法快速定位bug的技术问题。
有鉴于此，本申请第一方面提供了一种日志监控处理方法，所述方法包括：
S1、通过预设埋点，基于日志采集器filebeat获取第一日志信息；
S2、响应于当检测到有crash时触发的日志拉取指令，获取crash对应的第二日志信息；
S3、对所述第一日志信息以及所述第二日志信息进行过滤清洗，得到第三日志信息；
S4、将所述第三日志信息存储于数据库中，并在所述数据库中建立索引；
S5、通过kibana对所述数据库中的所述第三日志信息进行分析，并可视化分析结果。
可选地，所述步骤S1具体包括：
根据业务需求确定预设埋点，所述预设埋点包括用户的页面访问情况、点击事件、停留时间以及错误信息；
基于日志采集器filebeat获取所述预设埋点上报的第一日志信息，所述第一日志信息为JSON格式。
可选地，所述步骤S2具体包括：
当检测到有crash时，基于PLCrashReporter收集发生crash时的堆栈信息；
响应于开发基于所述堆栈信息确定的日志拉取指令，获取crash对应的第二日志信息。
可选地，所述步骤S3具体包括：
通过logstash对所述第一日志信息以及所述第二日志信息进行过滤清洗，将所述第一日志信息以及所述第二日志信息中的数据格式统一为目标格式，并过滤所述一日志信息以及所述第二日志信息中的无效信息。
可选地，所述步骤S5中可视化分析结果具体包括：
基于仪表盘展示实时和历史的指标和数据；
将所述第三日志信息转化为图表或表格进行可视化；
对实时和历史的所述第三日志信息进行数据统计可视化。
可选地，还包括：
根据对所述第三日志信息的分析结果，进行报警和通知。
可选地，还包括：
通过kibana响应于日志搜索指令，从所述数据库中查询对应的第三日志信息。
本申请第二方面提供一种日志监控处理装置，所述装置包括：
第一获取单元，用于通过预设埋点，基于日志采集器filebeat获取第一日志信息；
第二获取单元，用于响应于当检测到有crash时触发的日志拉取指令，获取crash对应的第二日志信息；
过滤单元，用于对所述第一日志信息以及所述第二日志信息进行过滤清洗，得到第三日志信息；
存储单元，用于将所述第三日志信息存储于数据库中，并在所述数据库中建立索引；
可视化单元，用于通过kibana对所述数据库中的所述第三日志信息进行分析，并可视化分析结果。
本申请第三方面提供一种日志监控处理设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的日志监控处理方法的步骤。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的日志监控处理方法的步骤。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请中，提供了一种日志监控处理方法、装置、设备及存储介质，基于大数据技术与智能算法能够实现多源离散日志的统一采集、处理，能够做到自动采集，自动上传，回捞日志，实现了日志统一采集，自动上报，记录关键帧，关键埋点以及相应的上下文信息，帮助开发人员、运维人员更方便的解决移动端APP存在的问题，且分析移动端APP运营数据，解决了难以收集需要的错误信息，且在应用没有集成日志收集框架的时候，需要用户配合才能获取操作信息，无法快速定位bug的技术问题。
附图说明
图1为本申请实施例中日志监控处理方法的方法流程图；
图2为本申请实施例中日志监控处理装置的结构示意图；
图3为本申请实施例中日志监控处理设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请设计了一种日志监控处理方法、装置、设备及存储介质，解决了难以收集需要的错误信息，且在应用没有集成日志收集框架的时候，需要用户配合才能获取操作信息，无法快速定位bug的技术问题。
为了便于理解，请参阅图1，图1为本申请实施例中日志监控处理方法的方法流程图，如图1所示，具体为：
S1、通过预设埋点，基于日志采集器filebeat获取第一日志信息；
步骤S1具体包括：
根据业务需求确定预设埋点，预设埋点包括用户的页面访问情况、点击事件、停留时间以及错误信息；
基于日志采集器filebeat获取预设埋点上报的第一日志信息，第一日志信息为JSON格式。
需要说明的是，FileBeat是一个轻量级的开源日志收集工具，它可以从各种来源收集、解析和转发日志。
本系统会提供埋点功能，在关键节点打埋点。记录关键帧，这些数据后续会上送到后端系统。根据业务需求，需要统计用户的页面访问情况、点击事件、停留时间、错误信息等，并且要做到及时、准确、可靠，还要保证数据的完整性和隐私性。
埋点的数据上报，使用HTTPS协议进行数据传输，确保数据的安全性和完整性。数据采用JSON格式，上报前先进行压缩，以减小数据传输大小。
S2、响应于当检测到有crash时触发的日志拉取指令，获取crash对应的第二日志信息；
步骤S2具体包括：
当检测到有crash时，基于PLCrashReporter收集发生crash时的堆栈信息；
响应于开发基于堆栈信息确定的日志拉取指令，获取crash对应的第二日志信息。
需要说明的是，在APP中发生Crash时，通常会产生一个崩溃报告，其中包含了发生Crash时的堆栈信息。我们可以通过读取崩溃报告中的堆栈信息来定位和解决Crash问题。堆栈信息收集，借用一个开源的工具库PLCrashReporter，该工具库可以自动帮收集堆栈信息，收集后上传到后台系统进行分析。
读取移动端Crash时候的堆栈信息，以及相应的上下文信息，打包成文件上传到我们的后端系统。再有后端系统分析这些堆栈信息。人工再参与进去分析bug发生的位置、原因等。
S3、对第一日志信息以及第二日志信息进行过滤清洗，得到第三日志信息；
步骤S3具体包括：
通过logstash对第一日志信息以及第二日志信息进行过滤清洗，将第一日志信息以及第二日志信息中的数据格式统一为目标格式，并过滤一日志信息以及第二日志信息中的无效信息。
需要说明的是，利用Logstash这个开源的工具来进行数据清洗。日志清洗的过程，主要是指对采集到的原始日志数据进行处理和转化，从而达到更好的可读性和可用性的过程。比如数据格式转化，原始日志数据格式可能不同于其他数据格式，需要进行格式转化以方便统一处理和分析。
数据过滤则是为了过滤一些无效无用或敏感的文案，比如IP地址、用户名等。
S4、将第三日志信息存储于数据库中，并在数据库中建立索引；
S5、通过kibana对数据库中的第三日志信息进行分析，并可视化分析结果；
步骤S5中可视化分析结果具体包括：
基于仪表盘展示实时和历史的指标和数据；
将第三日志信息转化为图表或表格进行可视化；
对实时和历史的第三日志信息进行数据统计可视化。
可选地，还包括：
根据对第三日志信息的分析结果，进行报警和通知。
可选地，还包括：
通过kibana响应于日志搜索指令，从数据库中查询对应的第三日志信息。
需要说明的是，通过kibana对数据库中的第三日志信息进行分析，并可视化分析结果，一套完善的日志分析平台需要以下可视化界面：
1、仪表盘：展示实时和历史的指标和数据，例如CPU使用率、内存使用率、网络流量、日志时间数据等。
2、日志搜索界面：提供高效的日志搜索功能，支持关键字搜索、时间范围搜索、正则表达式搜索等，以方便开发人员快速找到所需的日志事件。
3、报警和通知界面：提供报警和通知功能，当系统发生异常或达到预设的阈值时，自动发送邮件、短信，以便开发人员及时采取响应的措施。
4、可视化分析界面：将日志数据转化成图表、表格等可视化形式，以便用户可以更加直观的了解数据分布、趋势、关联等信息。
5、系统配置界面：提供用户管理、权限管理、数据源管理等权限配置。
6、统计分析界面：提供对日志数据进行统计分析的功能，例如关键词出现频率，IP地址分布，用户行为分析等。
请参阅图2，图2为本申请实施例中日志监控处理装置的结构示意图，如图2所示，具体为：
第一获取单元201，用于通过预设埋点，基于日志采集器filebeat获取第一日志信息；
具体包括：
根据业务需求确定预设埋点，预设埋点包括用户的页面访问情况、点击事件、停留时间以及错误信息；
基于日志采集器filebeat获取预设埋点上报的第一日志信息，第一日志信息为JSON格式。
需要说明的是，FileBeat是一个轻量级的开源日志收集工具，它可以从各种来源收集、解析和转发日志。
本系统会提供埋点功能，在关键节点打埋点。记录关键帧，这些数据后续会上送到后端系统。根据业务需求，需要统计用户的页面访问情况、点击事件、停留时间、错误信息等，并且要做到及时、准确、可靠，还要保证数据的完整性和隐私性。
埋点的数据上报，使用HTTPS协议进行数据传输，确保数据的安全性和完整性。数据采用JSON格式，上报前先进行压缩，以减小数据传输大小。
第二获取单元202，用于响应于当检测到有crash时触发的日志拉取指令，获取crash对应的第二日志信息；
具体包括：
当检测到有crash时，基于PLCrashReporter收集发生crash时的堆栈信息；
响应于开发基于堆栈信息确定的日志拉取指令，获取crash对应的第二日志信息。
需要说明的是，在APP中发生Crash时，通常会产生一个崩溃报告，其中包含了发生Crash时的堆栈信息。我们可以通过读取崩溃报告中的堆栈信息来定位和解决Crash问题。堆栈信息收集，借用一个开源的工具库PLCrashReporter，该工具库可以自动帮收集堆栈信息，收集后上传到后台系统进行分析。
读取移动端Crash时候的堆栈信息，以及相应的上下文信息，打包成文件上传到我们的后端系统。再有后端系统分析这些堆栈信息。人工再参与进去分析bug发生的位置、原因等。
过滤单元203，用于对第一日志信息以及第二日志信息进行过滤清洗，得到第三日志信息；
具体包括：
通过logstash对第一日志信息以及第二日志信息进行过滤清洗，将第一日志信息以及第二日志信息中的数据格式统一为目标格式，并过滤一日志信息以及第二日志信息中的无效信息。
需要说明的是，利用Logstash这个开源的工具来进行数据清洗。日志清洗的过程，主要是指对采集到的原始日志数据进行处理和转化，从而达到更好的可读性和可用性的过程。比如数据格式转化，原始日志数据格式可能不同于其他数据格式，需要进行格式转化以方便统一处理和分析。
数据过滤则是为了过滤一些无效无用或敏感的文案，比如IP地址、用户名等。
存储单元204，用于将第三日志信息存储于数据库中，并在数据库中建立索引；
可视化单元205，用于通过kibana对数据库中的第三日志信息进行分析，并可视化分析结果。
可视化分析结果具体包括：
基于仪表盘展示实时和历史的指标和数据；
将第三日志信息转化为图表或表格进行可视化；
对实时和历史的第三日志信息进行数据统计可视化。
可选地，还包括：
根据对第三日志信息的分析结果，进行报警和通知。
可选地，还包括：
通过kibana响应于日志搜索指令，从数据库中查询对应的第三日志信息。
需要说明的是，通过kibana对数据库中的第三日志信息进行分析，并可视化分析结果，一套完善的日志分析平台需要以下可视化界面：
1、仪表盘：展示实时和历史的指标和数据，例如CPU使用率、内存使用率、网络流量、日志时间数据等。
2、日志搜索界面：提供高效的日志搜索功能，支持关键字搜索、时间范围搜索、正则表达式搜索等，以方便开发人员快速找到所需的日志事件。
3、报警和通知界面：提供报警和通知功能，当系统发生异常或达到预设的阈值时，自动发送邮件、短信，以便开发人员及时采取响应的措施。
4、可视化分析界面：将日志数据转化成图表、表格等可视化形式，以便用户可以更加直观的了解数据分布、趋势、关联等信息。
5、系统配置界面：提供用户管理、权限管理、数据源管理等权限配置。
6、统计分析界面：提供对日志数据进行统计分析的功能，例如关键词出现频率，IP地址分布，用户行为分析等。
本申请实施例还提供了另一种日志监控处理设备，如图3所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(英文全称：PersonalDigitalAssistant，英文缩写：PDA)、销售终端(英文全称：Point ofSales，英文缩写：POS)、车载电脑等任意终端设备，以终端为手机为例：
图3示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图3，手机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(英文全称：wirelessfidelity，英文缩写：WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图3中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图3对手机的各个构成部件进行具体的介绍：
RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：LowNoiseAmplifier，英文缩写：LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(英文全称：Global System ofMobile communication，英文缩写：GSM)、通用分组无线服务(英文全称：GeneralPacket Radio Service，GPRS)、码分多址(英文全称：CodeDivision Multiple Access，英文缩写：CDMA)、宽带码分多址(英文全称：Wideband CodeDivisionMultipleAccess,英文缩写：WCDMA)、长期演进(英文全称：Long TermEvolution，英文缩写：LTE)、电子邮件、短消息服务(英文全称：ShortMessaging Service，SMS)等。
存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(英文全称：Liquid Crystal Display，英文缩写：LCD)、有机发光二极管(英文全称：Organic Light-Emitting Diode，英文缩写：OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图3中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图3示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池)，优选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该终端所包括的处理器1080还具有以下功能：
S1、通过预设埋点，基于日志采集器filebeat获取第一日志信息；
S2、响应于当检测到有crash时触发的日志拉取指令，获取crash对应的第二日志信息；
S3、对第一日志信息以及第二日志信息进行过滤清洗，得到第三日志信息；
S4、将第三日志信息存储于数据库中，并在数据库中建立索引；
S5、通过kibana对数据库中的第三日志信息进行分析，并可视化分析结果。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例的一种日志监控处理方法中的任意一种实施方式。
本申请实施例中，提供了一种日志监控处理方法、装置、设备及存储介质，基于大数据技术与智能算法能够实现多源离散日志的统一采集、处理，能够做到自动采集，自动上传，回捞日志，实现了日志统一采集，自动上报，记录关键帧，关键埋点以及相应的上下文信息，帮助开发人员、运维人员更方便的解决移动端APP存在的问题，且分析移动端APP运营数据，解决了难以收集需要的错误信息，且在应用没有集成日志收集框架的时候，需要用户配合才能获取操作信息，无法快速定位bug的技术问题。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种日志监控处理方法，其特征在于，包括：
S1、通过预设埋点，基于日志采集器filebeat获取第一日志信息；
S2、响应于当检测到有crash时触发的日志拉取指令，获取crash对应的第二日志信息；
S3、对所述第一日志信息以及所述第二日志信息进行过滤清洗，得到第三日志信息；
S4、将所述第三日志信息存储于数据库中，并在所述数据库中建立索引；
S5、通过kibana对所述数据库中的所述第三日志信息进行分析，并可视化分析结果。
2.根据权利要求1所述的日志监控处理方法，其特征在于，所述步骤S1具体包括：
根据业务需求确定预设埋点，所述预设埋点包括用户的页面访问情况、点击事件、停留时间以及错误信息；
基于日志采集器filebeat获取所述预设埋点上报的第一日志信息，所述第一日志信息为JSON格式。
3.根据权利要求1所述的日志监控处理方法，其特征在于，所述步骤S2具体包括：
当检测到有crash时，基于PLCrashReporter收集发生crash时的堆栈信息；
响应于开发基于所述堆栈信息确定的日志拉取指令，获取crash对应的第二日志信息。
4.根据权利要求1所述的日志监控处理方法，其特征在于，所述步骤S3具体包括：
通过logstash对所述第一日志信息以及所述第二日志信息进行过滤清洗，将所述第一日志信息以及所述第二日志信息中的数据格式统一为目标格式，并过滤所述一日志信息以及所述第二日志信息中的无效信息。
5.根据权利要求1所述的日志监控处理方法，其特征在于，所述步骤S5中可视化分析结果具体包括：
基于仪表盘展示实时和历史的指标和数据；
将所述第三日志信息转化为图表或表格进行可视化；
对实时和历史的所述第三日志信息进行数据统计可视化。
6.根据权利要求1所述的日志监控处理方法，其特征在于，还包括：
根据对所述第三日志信息的分析结果，进行报警和通知。
7.根据权利要求1所述的日志监控处理方法，其特征在于，还包括：
通过kibana响应于日志搜索指令，从所述数据库中查询对应的第三日志信息。
8.一种日志监控处理装置，其特征在于，包括：
第一获取单元，用于通过预设埋点，基于日志采集器filebeat获取第一日志信息；
第二获取单元，用于响应于当检测到有crash时触发的日志拉取指令，获取crash对应的第二日志信息；
过滤单元，用于对所述第一日志信息以及所述第二日志信息进行过滤清洗，得到第三日志信息；
存储单元，用于将所述第三日志信息存储于数据库中，并在所述数据库中建立索引；
可视化单元，用于通过kibana对所述数据库中的所述第三日志信息进行分析，并可视化分析结果。
9.一种日志监控处理设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的日志监控处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的日志监控处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310719311.2A CN116680156A (zh) | 2023-06-16 | 2023-06-16 | 一种日志监控处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310719311.2A CN116680156A (zh) | 2023-06-16 | 2023-06-16 | 一种日志监控处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116680156A true CN116680156A (zh) | 2023-09-01 |
Family
ID=87783568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310719311.2A Pending CN116680156A (zh) | 2023-06-16 | 2023-06-16 | 一种日志监控处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116680156A (zh) |
-
2023
- 2023-06-16 CN CN202310719311.2A patent/CN116680156A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106453511B (zh) | 一种数据备份方法及设备 | |
| CN110597793A (zh) | 数据管理方法及装置、电子设备和计算机可读存储介质 | |
| CN103501487A (zh) | 分类器更新方法、装置、终端、服务器及系统 | |
| CN111913848A (zh) | 一种数据监测分析方法及相关设备 | |
| CN112131093A (zh) | 一种基于混沌测试的测试用例自动生成方法和装置 | |
| CN116976898B (zh) | 一种数据获取方法、数据可视化方法、装置及相关产品 | |
| CN115904950A (zh) | 一种测试用例生成方法、装置、设备及存储介质 | |
| CN116303085A (zh) | 一种测试原因分析方法、装置、设备及存储介质 | |
| CN116468382A (zh) | 一种rpa机器人流程管理方法、装置、设备及存储介质 | |
| CN115510005A (zh) | 异常日志信息的展示方法、装置、电子设备及存储介质 | |
| CN116680156A (zh) | 一种日志监控处理方法、装置、设备及存储介质 | |
| CN115617899A (zh) | 一种数据可视化处理方法、装置、设备及存储介质 | |
| CN112069079B (zh) | 一种性能测试的方法、相关装置及存储介质 | |
| CN115145910A (zh) | 一种协议数据的管理方法以及相关装置 | |
| CN112596980A (zh) | ios性能收集方法及装置、移动终端、计算机可读存储介质 | |
| CN114490307A (zh) | 一种单元测试方法、装置及存储介质 | |
| CN106896896B (zh) | 省电方法、装置及电子设备 | |
| CN116862473A (zh) | 银行生产应用调用关系分析方法、装置、设备及存储介质 | |
| CN110213312B (zh) | 一种用户现场展示的方法、相关装置及系统 | |
| CN117041013A (zh) | 一种故障节点处理方法、装置、系统、设备及存储介质 | |
| CN116361189A (zh) | 一种单元测试统计方法、装置、设备及存储介质 | |
| CN116501413A (zh) | 一种自动生成接口调用方法、装置、设备及存储介质 | |
| CN116383077A (zh) | 一种测试用例相似度计算方法、装置、设备及存储介质 | |
| CN116881143A (zh) | 一种数据对象复制异常排查方法、装置、设备及存储介质 | |
| CN117743015A (zh) | 一种sql故障定位方法、装置、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |