CN113590492A - 信息处理方法、系统、电子设备及计算机可读存储介质 - Google Patents

信息处理方法、系统、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113590492A
CN113590492A CN202110968978.7A CN202110968978A CN113590492A CN 113590492 A CN113590492 A CN 113590492A CN 202110968978 A CN202110968978 A CN 202110968978A CN 113590492 A CN113590492 A CN 113590492A
Authority
CN
China
Prior art keywords
error
server
log
processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110968978.7A
Other languages
English (en)
Other versions
CN113590492B (zh
Inventor
刘国华
秦晓宁
许飞
陈颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nettrix Information Industry Beijing Co Ltd
Original Assignee
Nettrix Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nettrix Information Industry Beijing Co Ltd filed Critical Nettrix Information Industry Beijing Co Ltd
Priority to CN202110968978.7A priority Critical patent/CN113590492B/zh
Publication of CN113590492A publication Critical patent/CN113590492A/zh
Application granted granted Critical
Publication of CN113590492B publication Critical patent/CN113590492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供一种信息处理方法、系统、电子设备及计算机可读存储介质,涉及计算机技术领域。该方法通过测试服务器来收集对应的错误日志后发送给代理服务器,然后代理服务器可以获取错误日志对应的错误类别,将错误日志发送至与错误类别匹配的目标处理服务器进行处理,这样可以将错误日志进行分类后发送至对应的处理服务器进行处理,使得一个处理服务器不用对全部的错误日志进行处理,效率更高。

Description

信息处理方法、系统、电子设备及计算机可读存储介质
技术领域
本申请涉及计算机技术领域,具体而言,涉及一种信息处理方法、系统、电子设备及计算机可读存储介质。
背景技术
目前对服务器进行测试时,是由人工来检测服务器所产生的错误日志,然后将错误日志收集起来以供研发人员进行分析。若是需要测试的服务器数量较大时,研发人员则需要面对数量庞大的错误日志,对日志的分析处理效率较低。
发明内容
本申请实施例的目的在于提供一种信息处理方法、系统、电子设备及计算机可读存储介质,用以改善现有技术中日志收集效率低,且处理效率低的问题。
第一方面,本申请实施例提供了一种信息处理方法,应用于代理服务器,所述方法包括:获取各个测试服务器发送的错误日志,所述错误日志为各个测试服务器在对应的测试状态下所产生的;获取所述错误日志对应的错误类别;将所述错误日志发送给与所述错误类别匹配的目标处理服务器,以使所述目标处理服务器对所述错误日志进行处理。
在上述实现过程中,该方法通过测试服务器来收集对应的错误日志后发送给代理服务器,然后代理服务器可以获取错误日志对应的错误类别,将错误日志发送至与错误类别匹配的目标处理服务器进行处理,这样可以将错误日志进行分类后发送至对应的处理服务器进行处理,使得一个处理服务器不用对全部的错误日志进行处理,效率更高。
可选地,所述错误日志为各个测试服务器根据日志过滤信息对日志信息进行过滤获得的。这样可以通过测试服务器初步过滤掉一些不需要的错误日志,使得可以减少后续处理服务器对错误日志进行分析的工作量。并且,可以根据需求设置日志过滤信息,实现日志信息的按需过滤。
可选地,所述将所述错误日志发送给与所述错误类别匹配的目标处理服务器之后,所述方法还包括:
接收所述目标处理服务器对所述错误日志进行处理后返回的处理信息;
将所述处理信息进行存储,并向各个测试服务器反馈表征信息成功处理的提示信息。
在上述实现过程中,在接收到处理服务器返回的处理信息后,向测试服务器反馈表征信息成功处理的提示信息,从而可使得测试服务器知晓错误日志的处理情况,以避免测试服务器重复向代理服务器发送错误日志的问题。
可选地,所述将所述错误日志发送给与所述错误类别匹配的目标处理服务器之后,所述方法还包括:
若在预设时间段内未接收到所述目标处理服务器反馈的处理信息,则继续向所述目标处理服务器发送所述错误日志。
在上述实现过程中,代理服务器在未接收到处理服务器反馈的处理信息时,继续向处理服务器发送错误日志,以避免由于错误日志没有发送到处理服务器而没有被处理服务器处理的问题。
可选地,所述方法还包括:
接收各个处理服务器发送的能处理的错误类别的提示信息;
根据所述提示信息构建错误类别与对应处理服务器的对应关系;
所述将所述错误日志发送给与所述错误类别匹配的目标处理服务器,包括:
根据所述对应关系查找获得所述错误日志的错误类别对应的目标处理服务器;
将所述错误日志发送给所述目标处理服务器。
在上述实现过程中,各个处理服务器自动向代理服务器发送其自身能处理的错误日志的错误类别,如此可无需人工在代理服务器进行相应配置,即可实现无人参与的信息传输,更加灵活方便。且在处理服务器能处理的错误日志的错误类别发生改变时,也可以及时通知到代理服务器进行更新。
第二方面,本申请实施例提供了一种信息处理方法,应用于测试服务器,所述方法包括:
获取在各种状态下所产生的错误日志;
将所述错误日志发送给对应的代理服务器,以使所述代理服务器根据所述错误日志所属的错误类别将所述错误日志发送给对应的目标处理服务器进行处理。
在上述实现过程中,通过测试服务器来收集对应的错误日志后发送给代理服务器,代理服务器可以将错误日志进行分类后发送至对应的处理服务器进行处理,这样一个处理服务器不用对全部的错误日志进行处理,效率更高。
可选地,所述将所述错误日志发送给对应的代理服务器,包括:
分析获得所述错误日志所属的错误类别;
将所述错误日志标记所述错误类别对应的类别标签后发送给对应的代理服务器。
在上述实现过程中,由测试服务器来分析错误日志所属的类别,这样无需代理服务器接收到所有的测试服务器的错误日志后再进行分析,可减轻代理服务器的处理压力。
可选地,所述获取在各种测试状态下所产生的错误日志,包括:
从前端设备获取日志过滤信息;
根据所述日志过滤信息从在各种测试状态下所产生的日志信息中提取对应的错误日志。
在上述实现过程中,测试服务器根据日志过滤信息来提取所需的错误日志,这样可以根据需求对日志信息进行过滤后发送给代理服务器,以减少后续处理服务器的处理负担。
第三方面,本申请实施例提供一种信息处理系统,所述信息处理系统包括代理服务器和至少一个处理服务器;所述代理服务器用于与多个测试服务器连接,所述代理服务器分别与每个处理服务器连接;
所述代理服务器,用于获取各个测试服务器发送的错误日志;
所述代理服务器,还用于获取所述错误日志对应的错误类别;
所述代理服务器,还用于将所述错误日志发送给与所述错误类别匹配的目标处理服务器,所述至少一个处理服务器包括所述目标处理服务器;
所述目标处理服务器,用于对所述错误日志进行处理。
第四方面,本申请实施例提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面或第二方面提供的所述方法中的步骤。
第五方面,本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面或第二方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种信息处理方法的流程图;
图2为本申请实施例提供的一种系统架构的示意图;
图3为本申请实施例提供的另一种信息处理方法的流程图;
图4为本申请实施例提供的一种信息处理系统的结构示意图;
图5为本申请实施例提供的一种信息处理装置的结构框图;
图6为本申请实施例提供的另一种信息处理装置的结构框图;
图7为本申请实施例提供的一种用于执行信息处理方法的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请提供了一种信息处理方法,该方法通过测试服务器来收集对应的错误日志后发送给代理服务器,然后代理服务器可以获取错误日志对应的错误类别,将错误日志发送至与错误类别匹配的目标处理服务器进行处理,这样可以将错误日志进行分类后发送至对应的处理服务器进行处理,使得一个处理服务器不用对全部的错误日志进行处理,效率更高。
请参照图1,图1为本申请实施例提供的一种信息处理方法的流程图,该方法应用于代理服务器,包括如下步骤:
步骤S110:获取各个测试服务器发送的错误日志。
其中,本申请中的测试服务器是指配置有测试系统(Software Under Test,SUT)的服务器,然后可对这些服务器在一些测试状态下的信息进行监控,如idel测试、压力测试、性能测试、稳定性测试、硬件测试等,当然还可以对这些服务器在正常运行状态下的信息进行监控。错误日志是指各个测试服务器在各种状态(包括但不限于:各种测试状态以及正常运行状态)下所产生的日志,测试状态即是指服务器处于压力测试、性能测试、稳定性测试、硬件测试等测试下的状态。
错误日志是软件用于记录测试服务器运行时出错信息的文本文件,后续处理服务器可以根据这些错误日志分析出测试服务器在对应的状态下的运行情况、以及测试服务器哪里出现了问题等。所以,各个测试服务器在进行各种测试或者正常运行时,将所产生的日志信息存储起来,然后可以在一个或所有的测试完成后,从中提取出错误日志,然后将其发送给代理服务器。
在一些实施方式中,为了使得处理服务器能够识别错误日志是何种状态下的错误日志,各个测试服务器还可以将对应的状态(如各种测试状态、正常运行状态)以及错误日志发送给代理服务器,然后由代理服务器转发给对应的处理服务器。
各个处理服务器不直接与各个测试服务器连接,错误日志而是由代理服务器进行转发,所以,这样可以使得处理服务器不用直接面对多个测试服务器,信息处理效率更高。
一个处理服务器可能会接收到多个测试服务器的错误日志,所以为了对各个测试服务器的错误日志进行区分,测试服务器在发送错误日志时,还可以将测试服务器的设备信息、机器状态(如测试状态、运行状态等)和错误日志一并发送给代理服务器,或者将错误日志添加测试服务器的标识、机器状态的标识后再发送给代理服务器,使得处理服务器获取到错误日志后,即可获得错误日志对应的机器状态以及测试服务器。
步骤S120:获取所述错误日志对应的错误类别。
代理服务器可以接收到各个测试服务器发送的错误日志,为了减轻处理服务器的处理压力,每个处理服务器可以分摊不同的错误日志,如每个处理服务器处理不同的错误类别的错误日志,即各个处理服务器所处理的错误日志的错误类别不同,或者也有一部分的处理服务器所处理的错误日志的错误类别相同,比如有两个处理服务器均能处理错误类别为硬件错误的错误日志,例如,处理服务器1能够处理的错误类别包括错误类别1和错误类别2,处理服务器2能够处理的错误类别包括错误类别2和/或错误类别3等。
代理服务器在获得错误日志后,可以对错误日志进行错误类别分析,错误类别可以根据实际需求进行区分,如错误类别包括:硬盘错误、处理器错误、系统错误等。错误日志中携带有表征这些错误类别的相关字段,这样代理服务器就可以从错误日志中提取相应的字段,然后通过这些字段来获得错误日志所属的错误类别。
或者,在一些实施方式中,还可以是测试服务器通过同样的分析方式分析获得错误日志所属的错误类别,然后将错误日志标记错误类别对应的类别标签后发送给对应的代理服务器。例如,测试服务器在分析获得某一条错误日志的错误类别为硬盘错误时,将该错误日志归类到该错误类别下,在分析完所有的错误日志后,则可针对一个错误类别下的所有错误日志均进行标记,如硬盘错误对应的错误日志包括有10条,则可对这10条错误日志分别标记硬盘错误对应的类别标签,或者也可以将这10条错误日志打包为一个文件,然后将该文件标记硬盘错误对应的类别标签。
可以理解地,错误类别对应的类别标签可以是根据实际需求灵活设置的,如可以通过数字标识来表征各个错误类别对应的类别标签,如硬盘错误对应的类别标签为01,系统错误对应的类别标签为02。这样代理服务器在获得错误日志后,可以根据其携带的类别标签来确定错误日志对应的错误类别,如代理服务器中预先存储有错误类别与类别标签的对应关系,所以代理服务器可以通过该对应关系查找获得错误日志的类别标签对应的错误类别,如此即可获得错误日志所属的错误类别。
步骤S130:将所述错误日志发送给与所述错误类别匹配的目标处理服务器,以使所述目标处理服务器对所述错误日志进行处理。
为了便于代理服务器将错误日志发送给对应的处理服务器,代理服务器在上电启动后,可以自动与处理服务器建立连接,然后处理服务器可将自身能处理的错误日志的错误类别发送给代理服务器,代理服务器可存储错误类别与处理服务器之间的对应关系,这样可便于代理服务器对错误日志进行转发处理。具体实现过程为:代理服务器接收各个处理服务器发送的能处理的错误类别的提示信息,然后根据提示信息构建错误类别与对应处理服务器的对应关系,在获取错误日志的错误类别时,可以根据对应关系查找获得错误日志的错误类别对应的目标处理服务器,然后将错误日志发送给目标处理服务器。
例如,代理服务器在获得某条错误日志对应的错误类别为硬盘错误,通过查找对应关系,确定处理服务器1能够处理该硬盘错误的错误日志,则确定该处理服务器1为目标处理服务器,然后代理服务器则将该错误日志发送给处理服务器1。
需要说明的是,处理服务器的数量可以为至少一个,即在处理服务器为1个的情况下,该处理服务器中可以部署有多个处理任务,每个处理任务可用于处理不同的错误类别的错误日志,或者该处理服务器只用于处理一些错误类别的错误日志,如代理服务器将与该处理服务器匹配的错误日志发送给该代理服务器,而其他的错误日志可进行丢弃或者其他处理的。也即,在有对部分的错误类别的错误日志的处理需求时,可以只部署一台处理服务器即可。
另外,代理服务器和处理服务器可以是指同一台设备,如一台服务器上可以部署代理服务和处理服务(如两个服务可以为两个不同的应用程序),代理服务用于进行错误日志转发,处理服务用于对错误日志进行处理。实际应用中,设备部署情况可以根据需求灵活部署。为了便于描述,本申请实施例中以分开的设备进行说明。
在一些实施方式中,若有些处理服务器所处理的错误日志的错误类别是相同时,则代理服务器在发送错误日志时,可以根据这些处理服务器的负载均衡来发送。如对于错误日志1,其错误类别为错误类别1,能够处理该错误类别1的错误日志的处理服务器包括处理服务器1和处理服务器2,代理服务器在发送错误日志1时,可以随机选择发送给处理服务器1或处理服务器2。或者代理服务器可以向处理服务器1和处理服务器2发送负载获取请求,处理服务器1和处理服务器2则可将自身的负载发送给代理服务器,代理服务器则可根据负载均衡原则将错误日志1发送给负载较小的处理服务器,如处理服务器1的负载小于处理服务器2的负载,则将错误日志1发送给处理服务器1。
另外,处理服务器在接收到错误日志后,可以对该错误日志进行进一步分析处理,如可以从这些错误日志中筛选出有效的错误日志(因为测试服务器从日志信息中提取的错误日志只是经过初步筛选后的,处理服务器可以基于错误日志对应的错误类别,筛选获得该错误类别对应的有效的错误日志),如过滤一些误报的错误日志,或者,是从中筛选出对分析该错误类别的测试问题有用的错误日志,筛选的方式可以是根据一些规则匹配进行筛选的。如预先在处理服务器上存储筛选规则(如表征误判的错误日志的相关字段、设置的对分析对应的错误类别的测试问题没有用的错误日志的相关字段),处理服务器则可根据筛选规则来对每条错误日志进行匹配,对于匹配获得的错误日志则认为是无用的错误日志,剩余的错误日志则认为是有用的错误日志。
可以理解地,处理服务器对错误日志的处理方式还可以跟具体的业务需求有关,在不同的业务需求时对处理服务器配置的处理方式也不同,如处理服务器还可以对错误日志进行分析,以分析出在不同状态下测试服务器所产生的问题原因,如对于硬盘错误的错误日志,若是在压力测试时所产生的,则可根据错误日志分析测试服务器的硬盘在压力测试下的运行情况,从而可以分析测试服务器的各种软硬件在各种状态下的运行情况,以对测试服务器进行全方位的测试。
在上述实现过程中,该方法通过测试服务器来收集对应的错误日志后发送给代理服务器,相比于人工进行错误日志的收集,本申请中错误日志收集的效率更高。且代理服务器可以获取错误日志对应的错误类别,将错误日志发送至与错误类别匹配的目标处理服务器进行处理,这样可以将错误日志进行分类后发送至对应的处理服务器进行处理,这样一个处理服务器不用对全部的错误日志进行处理,效率更高。
在上述实施例的基础上,处理服务器在进行上电后,还可以向代理服务器发送心跳信号来告知代理服务器自身的状态为存活状态,若代理服务器接收不到某个处理服务器的心跳信号,则代理服务器判断该处理服务器处于宕机或断线状态,代理服务器可以向该处理服务器发送连接请求,若没有响应,则代理服务器可以输出提示信息或保存该处理服务器的状态信息,以供前端设备的测试人员可以根据提示信息对处理服务器进行故障排查。
在上述实施例的基础上,测试服务器在上电启动后,也可以先与代理服务器建立连接,测试服务器可以向代理服务器发送心跳信号来告知代理服务器当前为存活状态,若代理服务器没有接收到某个测试服务器发送的心跳信号,则可认为该测试服务器宕机或者离线等,代理服务器可将该测试服务器的状态进行记录,在前端设备进行查看时,可以输出给前端设备,或者代理服务器也可以直接向前端设备输出提示信息。
在上述实施例的基础上,错误日志还可以为各个测试服务器根据日志过滤信息对日志信息进行过滤获得的,如各个测试服务器在上电启动后,可以获取日志过滤信息,然后根据日志过滤信息从在各种状态下所产生的日志信息中提取对应的错误日志。
日志过滤信息可以是指日志过滤规则,如过滤关键字,测试服务器在获取到该过滤关键字后,可以基于该过滤关键字对日志信息进行检索,以从中检索出所需的错误日志,这样测试服务器可对错误日志进行初步筛选,如筛选出一些明显是误报的错误日志,这样可以通过测试服务器初步过滤掉一些不需要的错误日志,使得可以减少后续处理服务器对错误日志进行分析的工作量。并且,日志过滤信息可以根据需求灵活设置,从而可以实现日志信息的按需过滤。
在一些实施方式中,日志过滤信息可以是通过更新信息发布模块获取的,更新信息发布模块可以部署在前端设备,这样测试服务器可以从前端设备获取日志过滤信息;当然,更新信息发布模块也可以部署在代理服务器上。用户可以在更新信息发布模块中根据业务需求配置对应的日志过滤信息,测试服务器在上电启动后,即可从更新信息发布模块中获取日志过滤信息,或者更新信息发布模块可以将日志过滤信息同步给各个测试服务器。
更新信息发布模块分别与各个测试服务器连接,其可以提供一对多的更新信息的发布,更新信息发布模块可以提供日志过滤信息的修改功能,还可以提供日志过滤信息的持久化操作功能,还可以提供各个测试服务器的自动连接功能(即测试服务器上电启动后,自动与更新信息发布模块建立连接)。
为了便于用户能够对日志过滤信息进行更新,还可以提供面向用户的更新接口,该更新接口与更新信息发布模块连接,如图2所示。更新接口可以为用户提供更新信息的操作方式,如用户可以通过更新接口提交日志过滤信息。在需要对日志过滤信息进行修改时,用户也可以通过更新接口提交修改后的日志过滤信息,更新接口将接收到的日志过滤信息提交给更新信息发布模块。这样即可实现根据需求设置日志过滤信息,从而实现日志过滤信息的动态更新。
更新接口还可以提供单线更新和并发更新的功能,单线更新是指更新信息发布模块可以将日志过滤信息可以只同步给其中一个或部分测试服务器,并发更新是指更新信息发布模块可以将日志过滤信息同步给所有的测试服务器。用户可以通过对更新接口进行相应配置,以配置对应的单线更新或并发更新的功能,如若更新接口配置了并发更新的功能,则更新信息发布模块在获取到日志过滤信息后,将其同步给所有的测试服务器,这样所有的测试服务器基于相同的日志过滤信息提取错误日志。若更新接口配置了单线更新的功能,则更新信息发布模块在获取到日志过滤信息后,可以确定该日志过滤信息对应的测试服务器(用户在提交日志过滤信息时,可以在其中携带有对应的测试服务器的标识),如果该日志过滤信息中携带的测试服务器的标识为测试服务器1,则更新信息发布模块可以只将该日志过滤信息同步给测试服务器1,而其他的测试服务器可以基于历史的日志过滤信息进行错误日志提取。
更新接口还可以提供对测试服务器的升级功能,如在测试服务器需要进行升级时,还可以通过更新接口提交升级请求,或者,还可以根据实际需求,配置更新接口的其他功能等。
测试服务器在获取到日志过滤信息后,还可以对日志过滤信息进行持久化操作,也便于可以对日志过滤信息的历史情况进行追溯。
另外,在本申请的任一实施例的基础上,各个模块或设备之间可以采用Zeromq技术进行通信,Zeromq是网络通信中新的一层,介于应用层和传输层之间,其是一个可伸缩层,可并行运行,分散在分布式系统间。Zeromq不是单独的服务,而是一个嵌入式库,它封装了网络通信、消息队列、线程调度等功能,向上层提供简洁的API,应用程序通过加载库文件,调用API函数来实现高性能网络通信。可以理解地,各个模块或设备之间还可以采用其他通信技术进行通信。
其中,更新信息发布模块与各个测试服务器可以使用PUS-SUB(发布者/多订阅者)模式的连接策略,其可以使用在消息单向传输的应用场景,即本申请中更新信息发布模块为发布者,各个测试服务器为订阅者,这样日志过滤信息可以单向地从更新信息发布模块传输给测试服务器。
更新接口与更新信息发布模块之间可以使用PULL-PUSH(推/拉)模式的连接策略,也就是说,更新信息发布模块可以从更新接口获取日志过滤信息,更新接口也可以自动向更新信息发布模块推送日志过滤信息。
而各个测试服务器与代理服务器之间可以采用REQ-REP(请求-应答)模式的连接策略,也就是说,测试服务器向代理服务器发送请求后,代理服务器才可以对测试服务器进行响应,反之同理。代理服务器与各个处理服务器也可以采用REQ-REP模式的连接策略,即代理服务器向处理服务器发送请求后,处理服务器才会返回响应,反之也一样。这样就可以提供严谨可靠的信息接收发送且保证收到的信息能够被处理完成。
在上述实施例的基础上,代理服务器在接收到测试服务器发送的错误日志后,将错误日志发送给对应的目标处理服务器进行处理,目标处理服务器在对错误日志进行处理完成后,向代理服务器返回对应的处理信息,则代理服务器可接收到目标处理服务器对错误日志进行处理后返回的处理信息,然后可将处理信息进行存储,并向各个测试服务器反馈表征信息成功处理的提示信息。
例如,若处理服务器对错误日志进行处理,是提取其中有用的错误日志,则处理服务器可在处理完后将获得的有用的错误日志发送给代理服务器,此时代理服务器接收到的处理信息即为有用的错误日志,代理服务器可将有用的错误日志进行持久化存储,并可根据该有用的错误日志中携带的测试服务器的标识来向各个测试服务器发送对应的提示信息,以告知测试服务器处理完成,从而可使得测试服务器知晓错误日志的处理情况。这样测试服务器在接收到该提示信息后,在下次发送错误日志时,可不用再发送已经处理完成的错误日志了,而是重新根据日志过滤信息检索出新的错误日志发送给代理服务器。
代理服务器在接收到处理服务器返回的处理信息后,可以将从测试服务器获取的错误日志进行删除,然后将该处理信息进行持久化。而测试服务器在接收到提示信息后,也可以将自身存储的错误日志进行删除,在下次检索时,可以自动过滤掉历史已经发送过的错误日志,而是获取新的错误日志,这样可以避免对相同的错误日志进行重复处理,浪费资源的问题。
在一些实施方式中,代理服务器在获得处理信息后,可以对处理信息进行简单分析处理,如对处理信息进行匹配,筛选出其中的未知错误的错误日志和已知错误的错误日志,如可以针对已知错误,在代理服务器内部存储一个白名单,通过查找白名单中的内容来确定处理信息中的已知错误的错误日志,对于未知错误的错误日志,代理服务器可以将其进行输出,如代理服务器可以预留一个接口,以供用户对未知错误的错误日志进行访问或调取,从而可以使得用户能够对未知错误的错误日志进行分析处理。
在上述实施例的基础上,若代理服务器在预设时间段内未接收到目标处理服务器反馈的处理信息,则会继续向目标处理服务器发送对应的错误日志。例如,对于错误类别1的错误日志,由处理服务器1进行处理,而若代理服务器在预设时间段内未接收到处理服务器1返回的处理信息,则表示处理服务器1可能处理失败,或者是处理服务器1出现死机或离线或者处理服务器1没有接收到错误日志等问题,为了确保错误日志能够被处理,代理服务器可继续尝试继续向处理服务器1发送对应的错误日志。
在上述实现过程中,代理服务器在未接收到处理服务器反馈的处理信息时,继续向处理服务器发送错误日志,以避免由于错误日志没有发送到处理服务器而没有被处理服务器处理的问题。
在上述实施例的基础上,为了便于进行业务扩展,在图2所示的系统架构下,还可以设置一个自定义服务操作接口,其可以根据业务需求对该接口的功能进行相应配置,如操作所有的测试服务器关机或开机,如抓取测试服务器中的某个文件等。该自定义服务器接口可以部署在前端设备上,也可以部署在测试服务器上,从而可以在后续进行业务扩展时,可以通过该接口实现。
请参照图3,图3为本申请实施例提供的另一种信息处理方法的流程图,该方法应用于测试服务器,包括如下步骤:
步骤S210:获取在各种状态下所产生的错误日志。
步骤S220:将所述错误日志发送给对应的代理服务器,以使所述代理服务器根据所述错误日志所属的错误类别将所述错误日志发送给对应的目标处理服务器进行处理。
在上述实现过程中,通过测试服务器来收集对应的错误日志后发送给代理服务器,相比于人工进行错误日志的收集,本申请中错误日志收集的效率更高。且代理服务器可以将错误日志进行分类后发送至对应的处理服务器进行处理,这样一个处理服务器不用对全部的错误日志进行处理,采用多个处理服务器分别进行处理,效率更高。
可选地,所述将所述错误日志发送给对应的代理服务器,包括:
分析获得所述错误日志所属的错误类别;
将所述错误日志标记所述错误类别对应的类别标签后发送给对应的代理服务器。
在上述实现过程中,由测试服务器来分析错误日志所属的类别,这样无需代理服务器接收到所有的测试服务器的错误日志后再进行分析,可减轻代理服务器的处理压力。
可选地,所述获取在各种测试状态下所产生的错误日志,包括:
从前端设备获取日志过滤信息;
根据所述日志过滤信息从在各种测试状态下所产生的日志信息中提取对应的错误日志。
在上述实现过程中,测试服务器根据日志过滤信息来提取所需的错误日志,这样可以根据需求对日志信息进行过滤后发送给代理服务器,以减少后续处理服务器的处理负担。
可以理解地,该实施例的具体实现过程可参照上述实施例的相关描述,为了描述的简洁,在此不再重复赘述。
请参照图4,图4为本申请实施例提供的一种信息处理系统300的结构示意图,所述信息处理系统300包括代理服务器310和至少一个处理服务器320;所述代理服务器310用于与多个测试服务器330连接,所述代理服务器310分别与每个处理服务器320连接;
各个测试服务器330,用于获取在各种状态下所产生的错误日志;如根据日志过滤信息提取对应的错误日志;
各个测试服务器330,用于将所述错误日志发送给对应的代理服务器310;
所述代理服务器310,用于获取所述错误日志对应的错误类别;
所述代理服务器310,还用于将所述错误日志发送给与所述错误类别匹配的目标处理服务器;所述至少一个处理服务器320包括所述目标处理服务器;
所述目标处理服务器,用于对所述错误日志进行处理。
请参照图5,图5为本申请实施例提供的一种信息处理装置400的结构示意图,该信息处理装置400运行于代理服务器,该装置400可以是电子设备上的模块、程序段或代码。应理解,该装置400与上述图1方法实施例对应,能够执行图1方法实施例涉及的各个步骤,该装置400具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。
可选地,所述装置400包括:
日志获取模块410,用于获取各个测试服务器发送的错误日志;
类别获取模块420,用于获取所述错误日志对应的错误类别;
日志发送模块430,用于将所述错误日志发送给与所述错误类别匹配的目标处理服务器,以使所述目标处理服务器对所述错误日志进行处理。
可选地,所述错误日志为各个测试服务器根据日志过滤信息对日志信息进行过滤获得的。
可选地,所述装置400还包括:
处理信息获取模块,用于接收所述目标处理服务器对所述错误日志进行处理后返回的处理信息;将所述处理信息进行存储,并向各个测试服务器反馈表征信息成功处理的提示信息。
可选地,所述日志发送模块430,还用于若在预设时间段内未接收到所述目标处理服务器反馈的处理信息;则继续向所述目标处理服务器发送所述错误日志。
可选地,所述装置400还包括:
对应关系构建模块,用于接收各个处理服务器发送的能处理的错误类别的提示信息;根据所述提示信息构建错误类别与对应处理服务器的对应关系;
所述日志发送模块430,用于根据所述对应关系查找获得所述错误日志的错误类别对应的目标处理服务器;将所述错误日志发送给所述目标处理服务器。
请参照图6,图6为本申请实施例提供的另一种信息处理装置500的结构示意图,该信息处理装置500运行于测试服务器,该装置500可以是电子设备上的模块、程序段或代码。应理解,该装置500与上述图3方法实施例对应,能够执行图3方法实施例涉及的各个步骤,该装置500具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。
可选地,所述装置500包括:
日志提取模块510,用于获取在各种状态下所产生的错误日志;
日志传输模块520,用于将所述错误日志发送给对应的代理服务器,以使所述代理服务器根据所述错误日志所属的错误类别将所述错误日志发送给对应的目标处理服务器进行处理。
可选地,所述日志传输模块520,用于分析获得所述错误日志所属的错误类别;将所述错误日志标记所述错误类别对应的类别标签后发送给对应的代理服务器。
可选地,所述日志提取模块510,用于从前端设备获取日志过滤信息;根据所述日志过滤信息从在各种测试状态下所产生的日志信息中提取对应的错误日志。
需要说明的是,本领域技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再重复描述。
请参照图7,图7为本申请实施例提供的一种用于执行信息处理方法的电子设备的结构示意图,所述电子设备可以为上述的代理服务器或测试服务器,其可以包括:至少一个处理器610,例如CPU,至少一个通信接口620,至少一个存储器630和至少一个通信总线640。其中,通信总线640用于实现这些组件直接的连接通信。其中,本申请实施例中设备的通信接口620用于与其他节点设备进行信令或数据的通信。存储器630可以是高速RAM存储器,也可以是非易失性的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器630可选的还可以是至少一个位于远离前述处理器的存储装置。存储器630中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器610执行时,电子设备执行上述图1或图3所示方法过程。
可以理解,图7所示的结构仅为示意,所述电子设备还可包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,执行如图1或图3所示方法实施例中电子设备所执行的方法过程。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如,包括:获取各个测试服务器发送的错误日志,所述错误日志为各个测试服务器在对应的测试状态下所产生的;获取所述错误日志对应的错误类别;将所述错误日志发送给与所述错误类别匹配的目标处理服务器,以使所述目标处理服务器对所述错误日志进行处理。
综上所述,本申请实施例提供一种信息处理方法、系统、电子设备及计算机可读存储介质,该方法通过测试服务器来收集对应的错误日志后发送给代理服务器,然后代理服务器可以获取错误日志对应的错误类别,将错误日志发送至与错误类别匹配的目标处理服务器进行处理,这样可以将错误日志进行分类后发送至对应的处理服务器进行处理,使得一个处理服务器不用对全部的错误日志进行处理,效率更高。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种信息处理方法,其特征在于,应用于代理服务器,所述方法包括:
获取各个测试服务器发送的错误日志;
获取所述错误日志对应的错误类别;
将所述错误日志发送给与所述错误类别匹配的目标处理服务器,以使所述目标处理服务器对所述错误日志进行处理。
2.根据权利要求1所述的方法,其特征在于,所述错误日志为各个测试服务器根据日志过滤信息对日志信息进行过滤获得的。
3.根据权利要求1所述的方法,其特征在于,所述将所述错误日志发送给与所述错误类别匹配的目标处理服务器之后,所述方法还包括:
接收所述目标处理服务器对所述错误日志进行处理后返回的处理信息;
将所述处理信息进行存储,并向各个测试服务器反馈表征信息成功处理的提示信息。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收各个处理服务器发送的能处理的错误类别的提示信息;
根据所述提示信息构建错误类别与对应处理服务器的对应关系;
所述将所述错误日志发送给与所述错误类别匹配的目标处理服务器,包括:
根据所述对应关系查找获得所述错误日志的错误类别对应的目标处理服务器;
将所述错误日志发送给所述目标处理服务器。
5.一种信息处理方法,其特征在于,应用于测试服务器,所述方法包括:
获取在各种状态下所产生的错误日志;
将所述错误日志发送给对应的代理服务器,以使所述代理服务器根据所述错误日志所属的错误类别将所述错误日志发送给对应的目标处理服务器进行处理。
6.根据权利要求5所述的方法,其特征在于,所述将所述错误日志发送给对应的代理服务器,包括:
分析获得所述错误日志所属的错误类别;
将所述错误日志标记所述错误类别对应的类别标签后发送给对应的代理服务器。
7.根据权利要求5所述的方法,其特征在于,所述获取在各种测试状态下所产生的错误日志,包括:
从前端设备获取日志过滤信息;
根据所述日志过滤信息从在各种状态下所产生的日志信息中提取对应的错误日志。
8.一种信息处理系统,其特征在于,所述信息处理系统包括代理服务器和至少一个处理服务器;所述代理服务器用于与多个测试服务器连接,所述代理服务器分别与每个处理服务器连接;
所述代理服务器,用于获取各个测试服务器发送的错误日志;
所述代理服务器,还用于获取所述错误日志对应的错误类别;
所述代理服务器,还用于将所述错误日志发送给与所述错误类别匹配的目标处理服务器,所述至少一个处理服务器包括所述目标处理服务器;
所述目标处理服务器,用于对所述错误日志进行处理。
9.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-4或权利要求5-7任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-4或权利要求5-7任一所述的方法。
CN202110968978.7A 2021-08-23 2021-08-23 信息处理方法、系统、电子设备及计算机可读存储介质 Active CN113590492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110968978.7A CN113590492B (zh) 2021-08-23 2021-08-23 信息处理方法、系统、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110968978.7A CN113590492B (zh) 2021-08-23 2021-08-23 信息处理方法、系统、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113590492A true CN113590492A (zh) 2021-11-02
CN113590492B CN113590492B (zh) 2024-07-19

Family

ID=78238965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110968978.7A Active CN113590492B (zh) 2021-08-23 2021-08-23 信息处理方法、系统、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113590492B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513400A (zh) * 2021-12-30 2022-05-17 上海川源信息科技有限公司 一种日志聚合系统及一种提高日志聚合系统可用性的方法
CN116185695A (zh) * 2023-03-02 2023-05-30 宁畅信息产业(北京)有限公司 一种日志处理方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145445A (zh) * 2017-05-05 2017-09-08 携程旅游信息技术(上海)有限公司 软件自动化测试的报错日志的自动分析方法和系统
CN107463602A (zh) * 2017-06-15 2017-12-12 努比亚技术有限公司 一种日志处理方法及服务器、客户端
CN107870849A (zh) * 2016-09-28 2018-04-03 平安科技(深圳)有限公司 测试日志的处理方法和装置
CN108306776A (zh) * 2018-04-19 2018-07-20 腾讯科技(深圳)有限公司 信息提示方法、装置、系统及计算机可读存储介质
CN109766239A (zh) * 2018-12-25 2019-05-17 努比亚技术有限公司 日志输出控制方法、系统及计算机可读存储介质
US20190236000A1 (en) * 2017-03-24 2019-08-01 International Business Machines Corporation Distributed system test device
CN111563016A (zh) * 2020-04-27 2020-08-21 平安医疗健康管理股份有限公司 日志采集分析方法、装置、计算机系统及可读存储介质
CN111949551A (zh) * 2020-09-01 2020-11-17 网易(杭州)网络有限公司 应用程序测试方法、装置、设备及存储介质
CN112528206A (zh) * 2020-12-25 2021-03-19 平安普惠企业管理有限公司 网页日志收集方法、装置、电子设备及存储介质
CN112711520A (zh) * 2020-12-30 2021-04-27 平安科技(深圳)有限公司 异常日志信息的处理方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107870849A (zh) * 2016-09-28 2018-04-03 平安科技(深圳)有限公司 测试日志的处理方法和装置
US20190236000A1 (en) * 2017-03-24 2019-08-01 International Business Machines Corporation Distributed system test device
CN107145445A (zh) * 2017-05-05 2017-09-08 携程旅游信息技术(上海)有限公司 软件自动化测试的报错日志的自动分析方法和系统
CN107463602A (zh) * 2017-06-15 2017-12-12 努比亚技术有限公司 一种日志处理方法及服务器、客户端
CN108306776A (zh) * 2018-04-19 2018-07-20 腾讯科技(深圳)有限公司 信息提示方法、装置、系统及计算机可读存储介质
CN109766239A (zh) * 2018-12-25 2019-05-17 努比亚技术有限公司 日志输出控制方法、系统及计算机可读存储介质
CN111563016A (zh) * 2020-04-27 2020-08-21 平安医疗健康管理股份有限公司 日志采集分析方法、装置、计算机系统及可读存储介质
CN111949551A (zh) * 2020-09-01 2020-11-17 网易(杭州)网络有限公司 应用程序测试方法、装置、设备及存储介质
CN112528206A (zh) * 2020-12-25 2021-03-19 平安普惠企业管理有限公司 网页日志收集方法、装置、电子设备及存储介质
CN112711520A (zh) * 2020-12-30 2021-04-27 平安科技(深圳)有限公司 异常日志信息的处理方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LLHL: ""ELK 日志分析系统+redis+log4j"", pages 1 - 8, Retrieved from the Internet <URL:《https://www.cnblogs.com/llhl/p/9648660.html》> *
刘思尧 等: ""基于ELK的电力信息监控日志审计系统实现"", 《电脑知识与技术》, 19 December 2016 (2016-12-19), pages 61 - 64 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513400A (zh) * 2021-12-30 2022-05-17 上海川源信息科技有限公司 一种日志聚合系统及一种提高日志聚合系统可用性的方法
WO2023123801A1 (zh) * 2021-12-30 2023-07-06 上海川源信息科技有限公司 一种日志聚合系统及一种提高日志聚合系统可用性的方法
CN114513400B (zh) * 2021-12-30 2024-05-28 上海川源信息科技有限公司 一种日志聚合系统及一种提高日志聚合系统可用性的方法
CN116185695A (zh) * 2023-03-02 2023-05-30 宁畅信息产业(北京)有限公司 一种日志处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113590492B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
CN111046011B (zh) 日志收集方法、系统、装置、电子设备及可读存储介质
CN105357038B (zh) 监控虚拟机集群的方法和系统
CN108234170B (zh) 一种服务器集群的监控方法和装置
CN110781143B (zh) 一种服务器日志查询提取的方法及装置
CN113590492B (zh) 信息处理方法、系统、电子设备及计算机可读存储介质
CN110688280B (zh) 一种告警事件的管理系统、方法、设备和存储介质
CN112506915B (zh) 一种应用数据的管理系统以及处理方法、装置和服务器
CN108521339A (zh) 一种基于集群日志的反馈式节点故障处理方法及系统
CN102479113A (zh) 异常自适应处理方法及系统
CN110231998B (zh) 分布式定时任务的检测方法、装置及存储介质
CN110764980A (zh) 日志处理方法和装置
CN107919987B (zh) 一种微服务云部署的实现方法
CN112506755B (zh) 日志采集方法、装置、计算机设备和存储介质
CN111008109A (zh) 一种监控数据处理方法、装置、电子设备及存储介质
CN112417050A (zh) 数据同步方法和装置、系统、存储介质及电子装置
CN110955551B (zh) 一种基于tomcat中间件的故障智能诊断装置
CN110505177B (zh) 一种信息收集系统、终端设备及远程主机
CN113704216A (zh) 系统日志处理方法、装置、计算机设备和存储介质
CN113672452A (zh) 一种数据采集任务的运行监控方法、系统
CN112260902A (zh) 网络设备监控方法、装置、设备及存储介质
CN108228417A (zh) 车联网日志处理方法及处理装置
CN112579406A (zh) 一种日志调用链生成方法和装置
CN111698109A (zh) 监控日志的方法和装置
CN112950447B (zh) 资源调度方法、装置、服务器及存储介质
CN115220992A (zh) 接口变更监控方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant