CN112882892A - 数据处理方法和装置、电子设备及存储介质 - Google Patents

数据处理方法和装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112882892A
CN112882892A CN202110163788.8A CN202110163788A CN112882892A CN 112882892 A CN112882892 A CN 112882892A CN 202110163788 A CN202110163788 A CN 202110163788A CN 112882892 A CN112882892 A CN 112882892A
Authority
CN
China
Prior art keywords
data processing
log
service
abnormal
node service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110163788.8A
Other languages
English (en)
Other versions
CN112882892B (zh
Inventor
张清林
孟旭辉
郑茂
赵永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu New Hope Finance Information Co Ltd
Original Assignee
Chengdu New Hope Finance Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu New Hope Finance Information Co Ltd filed Critical Chengdu New Hope Finance Information Co Ltd
Priority to CN202110163788.8A priority Critical patent/CN112882892B/zh
Publication of CN112882892A publication Critical patent/CN112882892A/zh
Application granted granted Critical
Publication of CN112882892B publication Critical patent/CN112882892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供的数据处理方法和装置、电子设备及存储介质,涉及数据处理技术领域。数据处理方法应用于电子设备,电子设备上部署有pm2‑event‑moniter服务和Node服务,数据处理方法包括:首先,通过pm2‑event‑moniter服务监测Node服务的日志是否异常;其次,在异常时,获取Node服务的异常日志,根据异常日志进行报警处理。通过上述方法,可以实现通过自身工具监控异常日志,避免了现有技术中采用第三方工具监控Node服务进程是否异常,所导致的数据处理的安全性不高的问题。

Description

数据处理方法和装置、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种数据处理方法和装置、电子设备及存储介质。
背景技术
经发明人研究发现,现有技术中在使用PM2服务部署自己的NodeJS应用时,一般采用第三方工具监控Node服务进程是否异常,从而存在着数据处理的安全性不高的问题。
发明内容
有鉴于此,本申请的目的在于提供一种数据处理方法和装置、电子设备及存储介质,以改善现有技术中存在的问题。
为实现上述目的,本申请实施例采用如下技术方案:
第一方面,本发明提供一种数据处理方法,应用于电子设备,所述电子设备上部署有pm2-event-moniter服务和Node服务,所述数据处理方法包括:
通过所述pm2-event-moniter服务监测所述Node服务的日志是否异常;
若是,则获取所述Node服务的异常日志,根据所述异常日志进行报警处理。
在可选的实施方式中,所述电子设备预存有错误等级和报警方式的对应关系,所述根据所述异常日志进行报警处理的步骤,包括:
对所述异常日志进行分类处理,得到所述Node服务的错误等级;
根据所述Node服务的错误等级和所述对应关系得到所述错误等级对应的报警方式,根据所述报警方式进行报警处理。
在可选的实施方式中,所述电子设备预存有异常日志和错误等级的对应关系,所述对所述异常日志进行分类处理,得到所述Node服务的错误等级的步骤,包括:
根据所述异常日志和所述对应关系得到所述Node服务的错误等级。
在可选的实施方式中,所述数据处理方法还包括获取所述pm2-event-moniter服务的步骤,该步骤包括:
封装pm2-event-moniter的pm2包,得到pm2-event-moniter服务。
在可选的实施方式中,所述数据处理方法还包括:
将所述Node服务的异常日志转化为预设格式并上报给服务器。
在可选的实施方式中,所述预设格式包括Elasticsearch格式、Logstash格式和Kibana格式。
第二方面,本发明提供一种数据处理装置,应用于电子设备,所述电子设备上部署有pm2-event-moniter服务和Node服务,所述数据处理装置包括:
监测模块,用于通过所述pm2-event-moniter服务监测所述Node服务的日志是否异常;
报警模块,用于在异常时,获取所述Node服务的异常日志,根据所述异常日志进行报警处理。
在可选的实施方式中,所述电子设备预存有错误等级和报警方式的对应关系,所述报警模块具体用于:
对所述异常日志进行分类处理,得到所述Node服务的错误等级;
根据所述Node服务的错误等级和所述对应关系得到所述错误等级对应的报警方式,根据所述报警方式进行报警处理。
第三方面,本发明提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现前述实施方式任一项所述的数据处理方法。
第四方面,本发明提供一种存储介质,所述存储介质包括计算机程序,所述计算机程序运行时控制所述存储介质所在电子设备执行前述实施方式任一项所述的数据处理方法。
本申请实施例提供的数据处理方法和装置、电子设备及存储介质,通过部署的pm2-event-moniter服务监测Node服务的日志是否异常,并在异常时进行报警处理,实现了通过自身工具监控异常日志,避免了现有技术中采用第三方工具监控Node服务进程是否异常,所导致的数据处理的安全性不高的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的数据处理系统的结构框图。
图2示出了本申请实施例提供的电子设备的结构框图。
图3为本申请实施例提供的数据处理方法的流程示意图。
图4为本申请实施例提供的数据处理装置的结构框图。
图标:10-数据处理系统;100-电子设备;110-存储器;120-处理器;130-通信模块;200-服务器设备;400-数据处理装置;410-监测模块;420-报警模块。
具体实施方式
随着基于NodeJS前后端分离方案的推行,前端的开发模式和角色也在发生着悄无声息的变化,而今NodeJS的开发俨然已经成为我们日常工作中的一部分,前端工程师与服务端、运维都有了更多的交集,但随着业务和项目的扩张,生产环境Node服务也在不断增多,如何实时获取这些服务的运行状态和各项指标是当前遇到的挑战。
现有技术中初衷是建立一个专门针对NodeJS的服务监控平台,它能够支持服务集群的统一管理和多用户登录,旨在帮助团队的开发者、架构人员以及管理者能够直观的观察线上各个服务的实时状态,并能够帮助开发者及时发现线上服务的异常情况(比如内存泄露、服务崩溃重启、慢路由等)。
PM2是一款非常优秀的Node进程管理工具,它有着丰富的特性:能够充分利用多核CPU且能够负载均衡、能够帮助应用在崩溃后自动重启、能够监控资源的使用情况并且支持API方式查看、并且有配套的Keymetrics可以用于服务的监控。Keymetrics可以监控Node服务进程异常和CPU使用率等情况功能很丰富,但是存在一定风险和缺陷。
不少开发者都在使用PM2部署自己的NodeJS应用,起初也曾尝试使用Keymetrics,但Keymetrics作为一款第三方商业服务且价格不菲,可能存在数据泄露的问题。
为了改善本申请所提出的上述至少一种技术问题,本申请实施例提供一种数据处理方法和装置、电子设备及存储介质,下面通过可能的实现方式对本申请的技术方案进行说明。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案,都应该是发明人在发明过程中做出的贡献。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在不冲突的情况下,本申请的实施例中的特征可以相互结合。
图1为本申请实施例提供的数据处理系统10的结构框图,其提供了一种数据处理系统10可能的实现方式,参见图1,该数据处理系统10可以包括电子设备100、服务器设备200中的一种或多种。
其中,电子设备100与服务器设备200通信连接,以对服务器设备200进行异常日志监测。
可选地,服务器设备200的具体组成不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,服务器设备200可以是单独的物理服务器。又例如,在另一种可以替代的示例中,服务器设备200也可以为包括多个物理服务器的服务器集群。
需要说明的是,电子设备100可以是和服务器设备200不同的设备,也可以为同一设备,也就是说,可以对设备自身进行异常日志监测。
请参照图2,是本申请实施例提供的一种电子设备100的方框示意图,本实施例中的电子设备100可以为能够进行数据交互、处理的服务器、处理设备、处理平台等。电子设备100包括存储器110、处理器120及通信模块130。存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,存储器110用于存储程序或者数据。存储器110可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序,并执行相应地功能。通信模块130用于通过网络建立电子设备100与其它通信终端之间的通信连接,并用于通过网络收发数据。
应当理解的是,图2所示的结构仅为电子设备100的结构示意图,电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
图3示出了本申请实施例所提供的数据处理方法的流程图之一,该方法可应用于图1所示的电子设备100,由图1中的电子设备100执行。应当理解,在其他实施例中,本实施例的数据处理方法中的部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。下面对图3所示的数据处理方法的流程进行详细描述。
步骤S310,通过pm2-event-moniter服务监测Node服务的日志是否异常。
在本申请实施例中,通过pm2-event-moniter服务监测Node服务的日志不异常时,判定Node服务正常;通过pm2-event-moniter服务监测Node服务的日志异常时,判定Node服务异常,执行步骤S302。
步骤S320,获取Node服务的异常日志,根据异常日志进行报警处理。
上述方法通过部署的pm2-event-moniter服务监测Node服务的日志是否异常,并在异常时进行报警处理,实现了通过自身工具监控异常日志,避免了现有技术中采用第三方工具监控Node服务进程是否异常,所导致的数据处理的安全性不高的问题。
对于步骤S310,需要说明的是,通过pm2-event-moniter服务监测Node服务的日志是否异常的具体方式不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,可以通过pm2-event-moniter服务对Node服务进行监控,检测是否出现异常日志,在出现异常日志时判定Node服务异常。
又例如,在另一种可以替代的示例中,可以通过pm2-event-moniter服务实时获取Node服务的所有日志,对实时获取的所有日志进行检测,判断是否出现异常日志,在出现异常日志时判定Node服务异常。
详细地,可以利用pm2的launchBus的机制,监控日志Error、kill、stop、start、restart、reload以及日志异常堆栈信息log:err和log:Exception。
需要说明的是,在步骤S310之前,本申请实施例还提供了获取pm2-event-moniter服务的步骤,该步骤具体可以包括以下子步骤:
封装pm2-event-moniter的pm2包,得到pm2-event-moniter服务。
详细地,可以封装pm2-event-moniter的pm2包,将该包推送到NPM私服进行管理,提供shell脚本或者远程执行命令并集成一键node环境部署机制,并聚合pm2-event-moniter到该机制当中,部署node环境以后,会在目标服务器生成pm2-event-monitor的进程用于实时监控node进程的异常情况。
其中,NPM是随同NodeJS一起安装的包管理工具,能解决NodeJS代码部署上的很多问题,常见的使用场景有以下几种:允许用户从NPM服务器下载别人编写的第三方包到本地使用;允许用户从NPM服务器下载并安装别人编写的命令行程序到本地使用;允许用户将自己编写的包或命令行程序上传到NPM服务器供别人使用。
Shell是一个用C语言编写的程序,它是用户使用Linux的桥梁。Shell既是一种命令语言,又是一种程序设计语言。Shell是指一种应用程序,这个应用程序提供了一个界面,用户可以通过这个界面访问操作系统内核的服务。Shell脚本(shell script),是一种为shell编写的脚本程序。
对于步骤S320,需要说明的是,根据异常日志进行报警处理的具体方式不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,电子设备100预存有错误等级和报警方式的对应关系,步骤S320可以包括以下子步骤:
对异常日志进行分类处理,得到Node服务的错误等级;
根据Node服务的错误等级和对应关系得到错误等级对应的报警方式,根据报警方式进行报警处理。
需要说明的是,Node服务的错误等级可以包括,但不限于error(不能容忍的错误,会对系统造成影响的非正常流程)、warning(警告,说明有些地方不规范,不会对系统造成影响的非正常流程)、info(提示信息,特定场景出现)、bug(对进程和程序都没有影响)四个等级,可以给每个错误等级赋予详细的堆栈信息和异常告警方式。
可选地,错误等级和报警方式的具体对应关系不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,错误等级越高,发出报警信号的时间越短。在错误等级为error等级时,需要立即发出报警信号;在错误等级为warning等级时,可以在1分钟之内发出报警信号;在错误等级为info等级时,可以在10分钟之内发出报警信号;在错误等级为bug等级时,可以在1小时之内发出报警信号。
例如,在一种可以替代的示例中,错误等级越高,发出报警信号的方式更多。在错误等级为error等级时,可以通过弹窗+横幅+铃声+短信的方式发出报警信号;在错误等级为warning等级时,可以通过弹窗+横幅+铃声的方式发出报警信号;在错误等级为info等级时,可以通过弹窗+横幅的方式发出报警信号;在错误等级为bug等级时,可以通过弹窗方式发出报警信号。
进一步地,本申请实施例提供的pm2-event-moniter服务可以接入Zookeerper(分布式服务框架)配置消息提醒人员白名单,并提供权限校验机制。其中,ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态,Zookeeper的目的就在于此。
Zookeeper的核心是原子广播,这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式,它们分别是恢复模式(选主)和广播模式(同步)。当服务启动或者在领导者崩溃后,Zab就进入了恢复模式,当领导者被选举出来,且大多数Server完成了和leader的状态同步以后,恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。
也就是说,在接入Zookeerper之后,可以配置消息提醒人员白名单,向消息提醒人员白名单内的人员发送报警信号,并提供权限校验机制,验证用户是否在消息提醒白名单内。
进一步地,本申请实施例提供的pm2-event-moniter服务还可以接入node-mailer和微信zibbix告警机制以及各个渠道上报机制,例如提供上报接口等。也就是说,可以将报警信号通过邮件和微信信息的方式进行上报。
可选地,对异常日志进行分类处理,得到Node服务的错误等级的具体方式不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,电子设备100预存有异常日志和错误等级的对应关系,对异常日志进行分类处理,得到Node服务的错误等级的步骤,包括:
根据异常日志和对应关系得到Node服务的错误等级。
详细地,可以利用日志异常堆栈信息err包括的stack的信息内容和对应关系,将错误等级划分为error、warning、info、bug四个等级。
进一步地,在步骤S320之后,本申请实施例提供的数据处理方法还可以包括转换异常日志格式的步骤,也就是说,数据处理方法还可以包括以下子步骤:
将Node服务的异常日志转化为预设格式并上报给服务器。
需要说明的是,在将异常日志转换为预设格式之后,可以将预设格式的数据上报给服务器进行存储,也可以由电子设备100进行存储。
其中,预设格式可以包括Elasticsearch格式、Logstash格式和Kibana格式。也就是说,可以定制化格式日志上报的ELK(ERK是Elasticsearch格式、Logstash格式、Kibana格式的简称,这三者是核心套件,但并非全部)。
Elasticsearch是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能,是一套开放REST和JAVAAPI等结构提供高效搜索功能,可扩展的分布式系统,它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志,可以从许多来源接收日志,这些来源包括syslog、消息传递(例如RabbitMQ)和JMX,能够以多种方式输出数据,包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面,用于搜索、分析和可视化存储在Elasticsearch指标中的日志数据,可以利用Elasticsearch的REST接口来检索数据,不仅允许用户创建他们自己的数据的定制仪表板视图,还允许以特殊的方式查询和过滤数据。
通过上述方法,本申请实施例提供了基于Pm2的Node进程实时监控工具,适用于所有的Node服务、Node脚本执行监控,目的在于解决使用Pm2配套的Keymetrics带来的数据安全、机器配额低和昂贵的费用等缺陷,提供一种基于Pm2的二次开发,并集成错误等级划分、和日志格式标准化定义以及各渠道分发的解决方案。也就是说,本申请实施例提供的方法可以实时监控node进程、等级划分和各渠道分发,具有以下优点:
1、解决了现有技术Zookeerper价格昂贵的问题,所有的服务监控只需要一键接入pm2-event-monitor即可实现目标服务器上所有node服务的异常情况。
2、解决了现有技术Zookeerper数据暴露在第三方,存在风险的问题,工具是部署在自己服务器上面。
3、将系统异常进行严格的等级划分,根据不同的等级详情进行错误上报和各个渠道告警,实时监控服务运行详情。
4、定制化日志格式,并实时推送ELK,在ELK上面可以查看日志记录并定位问题。
结合图4,本申请实施例还提供了一种数据处理装置400,该数据处理装置400实现的功能对应上述方法执行的步骤。该数据处理装置400可以理解为上述电子设备100的处理器120,也可以理解为独立于上述电子设备100或处理器120之外的在电子设备100控制下实现本申请功能的组件。其中,数据处理装置400可以包括监测模块410和报警模块420。
监测模块410,用于通过pm2-event-moniter服务监测Node服务的日志是否异常。在本申请实施例中,监测模块410可以用于执行图3所示的步骤S310,关于监测模块410的相关内容可以参照前文对步骤S310的描述。
报警模块420,用于在异常时,获取Node服务的异常日志,根据异常日志进行报警处理。在本申请实施例中,报警模块420可以用于执行图3所示的步骤S320,关于报警模块420的相关内容可以参照前文对步骤S320的描述。
进一步地,电子设备100预存有错误等级和报警方式的对应关系,报警模块420可以具体用于:
对异常日志进行分类处理,得到Node服务的错误等级;
根据Node服务的错误等级和对应关系得到错误等级对应的报警方式,根据报警方式进行报警处理。
此外,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器120运行时执行上述数据处理方法的步骤。
本申请实施例所提供的数据处理方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行上述方法实施例中的数据处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
综上所述,本申请实施例提供的数据处理方法和装置、电子设备及存储介质,通过部署的pm2-event-moniter服务监测Node服务的日志是否异常,并在异常时进行报警处理,实现了通过自身工具监控异常日志,避免了现有技术中采用第三方工具监控Node服务进程是否异常,所导致的数据处理的安全性不高的问题。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法,其特征在于,应用于电子设备,所述电子设备上部署有pm2-event-moniter服务和Node服务,所述数据处理方法包括:
通过所述pm2-event-moniter服务监测所述Node服务的日志是否异常;
若是,则获取所述Node服务的异常日志,根据所述异常日志进行报警处理。
2.如权利要求1所述的数据处理方法,其特征在于,所述电子设备预存有错误等级和报警方式的对应关系,所述根据所述异常日志进行报警处理的步骤,包括:
对所述异常日志进行分类处理,得到所述Node服务的错误等级;
根据所述Node服务的错误等级和所述对应关系得到所述错误等级对应的报警方式,根据所述报警方式进行报警处理。
3.如权利要求2所述的数据处理方法,其特征在于,所述电子设备预存有异常日志和错误等级的对应关系,所述对所述异常日志进行分类处理,得到所述Node服务的错误等级的步骤,包括:
根据所述异常日志和所述对应关系得到所述Node服务的错误等级。
4.如权利要求1所述的数据处理方法,其特征在于,所述数据处理方法还包括获取所述pm2-event-moniter服务的步骤,该步骤包括:
封装pm2-event-moniter的pm2包,得到pm2-event-moniter服务。
5.如权利要求1所述的数据处理方法,其特征在于,所述数据处理方法还包括:
将所述Node服务的异常日志转化为预设格式并上报给服务器。
6.如权利要求5所述的数据处理方法,其特征在于,所述预设格式包括Elasticsearch格式、Logstash格式和Kibana格式。
7.一种数据处理装置,其特征在于,应用于电子设备,所述电子设备上部署有pm2-event-moniter服务和Node服务,所述数据处理装置包括:
监测模块,用于通过所述pm2-event-moniter服务监测所述Node服务的日志是否异常;
报警模块,用于在异常时,获取所述Node服务的异常日志,根据所述异常日志进行报警处理。
8.如权利要求7所述的数据处理装置,其特征在于,所述电子设备预存有错误等级和报警方式的对应关系,所述报警模块具体用于:
对所述异常日志进行分类处理,得到所述Node服务的错误等级;
根据所述Node服务的错误等级和所述对应关系得到所述错误等级对应的报警方式,根据所述报警方式进行报警处理。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至6任一项所述的数据处理方法。
10.一种存储介质,其特征在于,所述存储介质包括计算机程序,所述计算机程序运行时控制所述存储介质所在电子设备执行权利要求1至6任一项所述的数据处理方法。
CN202110163788.8A 2021-02-05 2021-02-05 数据处理方法和装置、电子设备及存储介质 Active CN112882892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110163788.8A CN112882892B (zh) 2021-02-05 2021-02-05 数据处理方法和装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110163788.8A CN112882892B (zh) 2021-02-05 2021-02-05 数据处理方法和装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112882892A true CN112882892A (zh) 2021-06-01
CN112882892B CN112882892B (zh) 2024-04-12

Family

ID=76057447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110163788.8A Active CN112882892B (zh) 2021-02-05 2021-02-05 数据处理方法和装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112882892B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114880247A (zh) * 2022-07-04 2022-08-09 成都行远捷科技有限公司 分布式条件下基于日志引导系统的bug分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180225605A1 (en) * 2017-02-06 2018-08-09 American Express Travel Related Services Company, Inc. Risk assessment and alert system
CN109189503A (zh) * 2018-09-17 2019-01-11 深圳点猫科技有限公司 一种基于教育系统的管理后端服务项目的方法及电子设备
CN109446058A (zh) * 2018-09-12 2019-03-08 深圳点猫科技有限公司 一种用于编程的单元测试方法及电子设备
CN110750426A (zh) * 2019-10-30 2020-02-04 北京明朝万达科技股份有限公司 服务状态监测方法、装置、电子设备及可读存储介质
CN111177618A (zh) * 2019-12-17 2020-05-19 腾讯科技(深圳)有限公司 网站搭建方法、装置、设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180225605A1 (en) * 2017-02-06 2018-08-09 American Express Travel Related Services Company, Inc. Risk assessment and alert system
CN109446058A (zh) * 2018-09-12 2019-03-08 深圳点猫科技有限公司 一种用于编程的单元测试方法及电子设备
CN109189503A (zh) * 2018-09-17 2019-01-11 深圳点猫科技有限公司 一种基于教育系统的管理后端服务项目的方法及电子设备
CN110750426A (zh) * 2019-10-30 2020-02-04 北京明朝万达科技股份有限公司 服务状态监测方法、装置、电子设备及可读存储介质
CN111177618A (zh) * 2019-12-17 2020-05-19 腾讯科技(深圳)有限公司 网站搭建方法、装置、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
路人甲的世界: "十个PM2中冷门但实用的功能", pages 1 - 9, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/139116801> *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114880247A (zh) * 2022-07-04 2022-08-09 成都行远捷科技有限公司 分布式条件下基于日志引导系统的bug分析方法

Also Published As

Publication number Publication date
CN112882892B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
US11586972B2 (en) Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs
US10783062B2 (en) Automated diagnostic testing of databases and configurations for performance analytics visualization software
US11080121B2 (en) Generating runbooks for problem events
US8763006B2 (en) Dynamic generation of processes in computing environments
US8972963B2 (en) End-to-end patch automation and integration
US8195931B1 (en) Application change control
US20100198636A1 (en) System and method for auditing governance, risk, and compliance using a pluggable correlation architecture
US9811443B2 (en) Dynamic trace level control
CN110427307A (zh) 日志解析方法、装置、计算机设备及存储介质
US20230403215A1 (en) Systems and methods of monitoring and controlling remote assets
CN107491371B (zh) 一种监控部署的方法以及装置
US20110054964A1 (en) Automatic Documentation of Ticket Execution
US20210200740A1 (en) System and method for processing logs
WO2022042126A1 (en) Fault localization for cloud-native applications
CN112882892B (zh) 数据处理方法和装置、电子设备及存储介质
EP3852424B1 (en) Application resilience for applications deployed on a cloud platform
CN115150292A (zh) k8s集群的监控方法、装置、电子设备及存储介质
CN113760856A (zh) 数据库管理方法及装置、计算机可读存储介质、电子设备
Sasidharan Implementation of High Available and Scalable Syslog Server with NoSQL Cassandra Database and Message Queue
CN117439873A (zh) 一种多云服务下的统一告警方法、系统、设备及介质
US20230419806A1 (en) Method and system for device monitoring and diagnostics
Kleehaus et al. Multi-layer monitoring and visualization
Mustafa AWS Monitoring and Observability Tools
CN116107833A (zh) 基于selenium的web应用程序监控方法及装置
CN117435499A (zh) 应用程序运行的测试方法和装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant