CN111309584A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111309584A CN111309584A CN201811516109.5A CN201811516109A CN111309584A CN 111309584 A CN111309584 A CN 111309584A CN 201811516109 A CN201811516109 A CN 201811516109A CN 111309584 A CN111309584 A CN 111309584A
- Authority
- CN
- China
- Prior art keywords
- keyword
- environment
- detection
- preset
- recovery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 275
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000011084 recovery Methods 0.000 claims description 126
- 238000000034 method Methods 0.000 claims description 85
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 51
- 238000012423 maintenance Methods 0.000 abstract description 15
- 238000013515 script Methods 0.000 abstract description 15
- 238000004458 analytical method Methods 0.000 abstract description 9
- 230000002159 abnormal effect Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 125000004432 carbon atom Chemical group C* 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Abstract
本发明实施例提供数据处理方法、装置、电子设备及存储介质,属于自动化检测技术领域。该数据处理方法通过从失败日志中提取出关键字,对关键字所对应的设备的运行环境进行检测,得到检测结果,在确认所述检测结果与所述关键字匹配时,对检测结果所对应的设备的运行环境进行恢复,从而在自动化运行中快速及时感知和处理会导致在异常环境下的执行脚本测试,进而减少因失败日志所造成的后期分析耗费人力,并且通过对设备的运行环境进行恢复,不但可以减轻运维人员工作量,还能够保证测试周期正常,进而提高了整个测试的通过率。
Description
技术领域
本发明涉及自动化检测技术领域,具体而言,涉及数据处理方法、装置、电子设备及存储介质。
背景技术
当前测试领域中自动化普及度和重视程度逐年提高,各公司都有自己的自动化平台。自动化测试能大大减轻测试人员工作量,避免测试人员对同一功能的重复验证能有充足时间投入到探索、压力测试中。传统自动化测试中按照选取的脚本依次执行测试,测试完一个脚本后返回成功或失败,如果失败则记录失败原因并记录日志。但是随着自动化测试运用越来越广,在使用过程中出现的问题逐渐增多,对于自动化运维人员的工作量也不断增加,后期测试人员失败日志分析的工作量也越来越大。
即使当前自动化测试中都配备运维人员,但在实际测试中由于测试环境存在多样性、综合性、差异性以及其他非测试设备软件问题等因素导致大量无效日志。自动化长期运行可能存在环境和设备的不稳定性,当出现异常时如不能及时检测恢复会导致测试资源损耗、异常设备参与到脚本测试,特别是自动化7*24小时运行特点运维人员无法对环境实时监测,往往发现问题时已经运行了大量的脚本且产生了大量的无效日志将增加后期的分析人力、降低整个测试通过率。
发明内容
本发明实施例提供数据处理方法、装置、电子设备及存储介质。
第一方面,本发明实施例提供了一种数据处理方法,所述方法包括:提取失败日志中的关键字;对所述关键字所对应的设备的运行环境进行检测,得到检测结果;在确认所述检测结果与所述关键字匹配时,对所述检测结果所对应的所述运行环境进行恢复。在本发明实施例中,通过从失败日志中提取出关键字,对关键字所对应的设备的运行环境进行检测,得到检测结果,在确认所述检测结果与所述关键字匹配时,对检测结果所对应的设备的运行环境进行恢复,从而在自动化运行中快速及时感知和处理会导致在异常环境下的执行脚本测试,进而减少因失败日志所造成的后期分析耗费人力,并且通过对设备的运行环境进行恢复,不但可以减轻运维人员工作量,还能够保证测试周期正常,进而提高了整个测试的通过率。
进一步地,所述对所述关键字所对应的设备的运行环境进行检测,得到检测结果,包括:确定所述关键字所对应的设备的运行环境的检测方法;基于所述检测方法对所述设备的运行环境进行环境检测,得到检测结果。在本发明实施例中,通过确定关键字对应的检测方法,从而通过检测方法快速对设备的运行环境进行检测,以得到检测结果,使得后续可以通过在检测结果满足预设要求时,快速对检测结果所对应的设备的运行环境进行恢复,从而在自动化运行中快速及时感知和处理会导致在异常环境下的执行脚本测试,进而减少因失败日志所造成的后期分析耗费人力,并且通过对设备的运行环境进行恢复,不但可以减轻运维人员工作量,还能够保证测试周期正常。
进一步地,所述确定所述关键字所对应的设备的运行环境的检测方法,包括:确定所述关键字是否与预设失败信息库中的失败关键字匹配,所述预设失败信息库中预先存储有多个失败关键字;若是,获取预设环境检测库中与所述失败关键字匹配的匹配检测方法。在本发明实施例中,通过从确定所述关键字是否与预设失败信息库中的失败关键字匹配,当关键字与预设失败信息库中的失败关键字匹配时,从预设环境检测库中查询与失败关键字匹配的检测方法,从而通过查找失败关键字的方式查找与失败关键字匹配的检测方法,通过关联查找,可以有效缩短查询范围,有效提高对关键字的针对性查询,使得查询结果更加精确,同时有效缩短查询时间。
进一步地,确定所述关键字所对应的设备的运行环境的检测方法,包括:确定所述关键字是否与预设失败信息库中的失败关键字匹配,所述预设失败信息库中预先存储有多个失败关键字;若否,获取所述预设环境检测库中所有的检测方法;利用所述预设环境检测库中所有的检测方法分别对所述关键字所对应的设备的运行环境进行检测,得到多个检测结果;获取所述多个检测结果中与所述关键字匹配的检测结果所对应的检测方法。在本发明实施例中,当没有查询到与所述关键字匹配的失败关键字时,且当没有查询到与关键字匹配的匹配检测方法时,利用所述预设环境检测库中所有的检测方法分别对所述关键字所对应的设备的运行环境进行检测,可以有效降低由于预设失败信息库中存储的失败信息不足而导致被误检的概率,进而提高检测准确率。
进一步地,所述在确认所述检测结果与所述关键字匹配时,对所述检测结果所对应的所述运行环境进行恢复,包括:确认所述检测结果与所述关键字是否匹配;若是,确定预设环境恢复库中是否存储与所述关键字匹配的匹配恢复方法,所述预设环境恢复库中预先存储有多种预设恢复方法;若是,根据所述匹配恢复方法对所述检测结果所对应的所述运行环境进行恢复。
进一步地,所述对所述检测结果所对应的所述运行环境进行恢复,包括:确定预设环境恢复库中是否存储与所述关键字匹配的匹配恢复方法,所述预设环境恢复库中预先存储有多种预设恢复方法;若否,获取所述预设环境恢复库中所有的恢复方法;利用所述预设环境恢复库中所有的恢复方法对所述检测结果所对应的设备的运行环境进行环境恢复,得到多个恢复结果;获取所述多个恢复结果中与所述关键字匹配的检测结果所对应的恢复方法,对所述检测结果所对应的设备的运行环境进行恢复。在本发明实施例中,通过判断检测结果是否携带有预设标记信息,从而判断检测结果是否满足预设要求,进而对检测结果所对应的所述运行环境进行恢复,进而减轻运维人员工作量以及有效保证测试周期正常。并且当关键字没有匹配的匹配恢复方法时,通过利用所述预设环境恢复库中所有的恢复方法对所述检测结果所对应的设备的运行环境进行环境恢复,尝试用当前已知的恢复手段进行恢复。进而有效提高对环境恢复的概率,进一步减轻运维人员工作量以及有效保证测试周期正常。
进一步地,在对所述检测结果所对应的设备的运行环境进行恢复之后,所述方法还包括:确定对所述运行环境进行恢复后所返回的失败信息是否与所述预设失败信息库中的失败关键字匹配;若是,将所述检测结果所对应的设备进行隔离。在本发明实施例中,通过将设备标记为待隔离设备,进而有效避免问题设备重复测试,进而提高整体脚本测试成功率。
第二方面,本发明实施例提供一种数据处理装置,所述系统包括:提取模块,用于提取失败日志中的关键字;检测模块,用于对所述关键字所对应的设备的运行环境进行检测,得到检测结果;恢复模块,用于在确认所述检测结果与所述关键字匹配时,对所述检测结果所对应的设备的所述运行环境进行恢复。
进一步地,检测模块,还用于确定所述关键字所对应的设备的运行环境的检测方法;基于所述检测方法对所述设备的运行环境进行环境检测,得到检测结果。
进一步地,所述检测模块还用于确定所述关键字是否与预设失败信息库中的失败关键字匹配,所述预设失败信息库中预先存储有多个失败关键字;若是,获取预设环境检测库中与所述失败关键字匹配的匹配检测方法。
进一步地,所述检测模块还用于确定所述关键字是否与预设失败信息库中的失败关键字匹配,所述预设失败信息库中预先存储有多个失败关键字;若否,获取将所述预设环境检测库中所有的检测方法;利用所述预设环境检测库中所有的检测方法分别对所述关键字所对应的设备的运行环境进行检测,得到多个检测结果;获取所述多个检测结果中与所述关键字匹配的检测结果所对应的检测方法。
进一步地,恢复模块,还用于确认所述检测结果与所述关键字是否匹配;若是,确定预设环境恢复库中是否存储与所述关键字匹配的匹配恢复方法,所述预设环境恢复库中预先存储有多种预设恢复方法;若是,根据所述匹配恢复方法对所述检测结果所对应的设备的所述运行环境进行恢复。
进一步地,所述恢复模块还用于确定预设环境恢复库中是否存储与所述关键字匹配的匹配恢复方法,所述预设环境恢复库中预先存储有多种预设恢复方法;若否,获取所述预设环境恢复库中所有的恢复方法;利用所述预设环境恢复库中所有的恢复方法对所述检测结果所对应的设备的运行环境进行环境恢复,得到多个恢复结果;获取所述多个恢复结果中与所述关键字匹配的检测结果所对应的恢复方法,对所述检测结果所对应的设备的运行环境进行恢复。
进一步地,所述数据处理装置还包括:隔离模块;用于在对所述检测结果所对应的设备的运行环境进行恢复之后,确定对所述运行环境进行恢复后所返回的失败信息是否与所述预设失败信息库中的失败关键字匹配;若是,将所述检测结果所对应的设备进行隔离。
第三方面,本发明实施例提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面提供的数据处理方法。
第四方面,本发明实施例提供的一种存储介质,所述存储介质用于存储指令,当所述指令在计算机上运行时,使得所述计算机执行如第一方面任一项所述的数据处理方法。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明第一实施例提供的一种数据处理方法的流程图;
图2为图1所示的一种数据处理方法中的预设失败信息库与预设环境检测库关联的示意图;
图3为图1所示的一种数据处理方法中的预设失败信息库与预设环境恢复库关联的示意图;
图4为本发明第三实施例提供的一种数据处理装置的结构框图;
图5示出了一种可应用于本发明实施例中的电子设备的结构框图;
图6为本发明实施例提供的一种电子设备的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和展示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
第一实施例
由于现有的实际测试中由于测试环境存在多样性、综合性、差异性以及其他非测试设备软件问题等因素导致大量无效日志。自动化长期运行可能存在环境和设备的不稳定性,当出现异常时如不能及时检测恢复会导致测试资源损耗、异常设备参与到脚本测试,特别是自动化7*24小时运行特点运维人员无法对环境实时监测,往往发现问题时已经运行了大量的脚本且产生了大量的无效日志将增加后期的分析人力、降低整个测试通过率,为了减轻运维人员工作量的同时提高整个测试的通过率,本实施例提供了一种数据处理方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。
请参照图1,图1为本发明实施例提供的一种数据处理方法的流程图,数据处理方法应用于自动化测试环境中的测试设备,所述方法包括如下步骤:
步骤S110:提取失败日志中的关键字。
可选地,失败日志是指在自动化测试中,测试失败时所产生的日志文件。
可选地,关键字用于表征失败日志中所记载的失败的原因。例如,topo_error、link_error、device_error等。在此,不作具体限定。
步骤S120:对所述关键字所对应的设备的运行环境进行检测,得到检测结果。
作为一种实施方式,步骤S120,包括:确定所述关键字所对应的设备的运行环境的检测方法;基于所述检测方法对所述设备的运行环境进行环境检测,得到检测结果。
在本发明实施例中,通过确定关键字对应的检测方法,从而通过检测方法快速对运行环境进行检测,以得到检测结果,使得后续可以通过确认检测结果与从失败日志中提取的关键字匹配时,即确认失败日志记录的错误真实存在时,快速对检测结果所对应的设备的运行环境进行恢复,从而在自动化运行中快速及时感知和处理,避免在异常环境下执行脚本测试,进而减少因失败日志所造成的后期分析耗费人力,并且通过对设备的运行环境进行恢复,不但可以减轻运维人员工作量,还能够保证测试周期正常。
可选地,确定的关键字对应的检测方法可以是从预设环境检测库中获取,预设环境检测库中预先存储有当前已知的多种检测方法。
可选地,预设环境检测库中预先存储的检测方法主要是自动化中常用的环境检查以及排错的手段。
可选地,确定所述关键字所对应的设备的运行环境的检测方法,包括:确定所述关键字是否与预设失败信息库中的失败关键字匹配;若是,获取预设环境检测库中与所述失败关键字匹配的检测方法。
可选地,所述预设失败信息库中预先存储有多个失败关键字,例如,topo_error、link_error、device_error等。在此,不作具体限定。
其中,失败关键字用于表征测试脚本失败的原因。
可选地,失败关键字为预设失败信息库中的多个失败关键字中的一个。
可选地,确定的关键字对应的检测方法为预设环境检测库中的多种检测方法中的至少一种。
可选地,预先将预设失败信息库中的失败关键字与预设环境检测库中的检测方法进行关联。例如,失败关键字topo_error与检测方法check_topo关联,从而通过定点问题定点检查的方式快速确定,进而可以有效提高对关键字的针对性查询,使得查询结果更加精确,同时有效缩短查询时间。
举例来说,如图2所示,假设预设失败信息库包括topo_error(拓扑错误)、link_error(连接错误)、device_error(设备错误)、neigh_error(邻居错误)、unknow_error(未知错误)等失败关键字,预设环境检测库包括check_topo(拓扑检查)、check_link(连接检查)、check_device(设备检查)、check_port(端口检查)、check_nei(邻居检查)、check_all(所有检查)等多种检测方法。将topo_error与check_topo关联,将link_error与check_link和check_port关联,将device_error分别与check_device和check_ver关联,将neigh_error分别与check_link、check_port和check_nei关联,将unknow_error与check_all关联等。从而使得当查询到预设失败信息库中存在与所述关键字匹配的失败关键字时,通过该失败关键字所关联的检测方法,快速确定与失败关键字匹配的检测方法,例如,查询到的失败关键字为topo_error时,其匹配的检测方法为check_topo。进而通过check_topo方法对topo_error所对应的所述设备的运行环境进行环境检测,以得到检测结果。
在本发明实施例中,通过从预设失败信息库中查询与所述关键字匹配的失败关键字,从预设环境检测库中查询与失败关键字匹配的检测方法,从而通过查找失败关键字的方式查找与失败关键字匹配的检测方法,通过关联查找,可以有效缩短查询范围,并且由于预设失败信息库中预先存储有多个失败信息,可以有效提高对关键字的针对性查询,使得查询结果更加精确,同时有效缩短查询时间。
可选地,确定所述关键字所对应的设备的运行环境的检测方法,包括:确定所述关键字是否与预设失败信息库中的失败关键字匹配,所述预设失败信息库中预先存储有多个失败关键字;若否,获取将所述预设环境检测库中所有的检测方法;利用所述预设环境检测库中所有的检测方法分别对所述关键字所对应的设备的运行环境进行检测,得到多个检测结果;获取所述多个检测结果中与所述关键字匹配的检测结果所对应的检测方法。
在本发明实施例中,当没有查询到与所述关键字匹配的失败关键字时,且当没有查询到与关键字匹配的匹配检测方法时,通过预设环境检测库中所有的检测方法分别对关键字对应的运行环境进行检测,通过用已知的检测方法来进行检测,可以有效降低由于预设失败信息库中存储的失败信息不足而导致被误检的概率,进而提高检测准确率。
在一可能的实施例中,若所述预设失败信息库中没有存储与所述关键字匹配的失败关键字,将所述关键字存储至预设失败信息库。
在一可能的实施例中,查询预设失败日志信息统计库中是否存在与所述关键字匹配的关键字信息;若否,将所述关键字存储至所述预设失败日志信息统计库;若有,将所述关键字信息对应的失败次数加一,所述预设失败日志信息统计库中存储多有多个所述关键字信息,所述关键字信息包括预设关键字以及与所述预设关键字对应的所述失败次数。
可选地,预设失败日志信息统计库用于记录相同关键字下日志失败次数。例如,关键字信息为:关键字为neigh_error,失败次数为2。
步骤S130:在确认所述检测结果与所述关键字匹配时,对所述检测结果所对应的设备的所述运行环境进行恢复。
作为一种实施方式,步骤S130,包括:确认所述检测结果与所述关键字是否匹配;若是,则确认失败日志中的关键字指示的错误是真实错误,确定预设环境恢复库中是否存储与所述关键字匹配的匹配恢复方法,所述预设环境恢复库中预先存储有多种预设恢复方法;若是,根据所述匹配恢复方法对所述检测结果所对应的设备的所述运行环境进行恢复。
在本发明实施例中,通过判断检测结果与所述关键字是否匹配,进而确定是否对检测结果所对应的所述运行环境进行恢复,从而减轻运维人员工作量以及有效保证测试周期正常。
可选地,对所述检测结果所对应的设备的所述运行环境进行恢复,包括:确定预设环境恢复库是否存储中与所述关键字匹配的匹配恢复方法,所述预设环境恢复库中预先存储有多种预设恢复方法;若是,根据所述匹配恢复方法对所述检测结果所对应的设备的所述运行环境进行恢复。
可选地,预设环境恢复库中存储的有多种预设恢复方法为自动化中常用的环境恢复命令。例如,如:recover_topo、recover_link、recover_device、recover_all等。在此,不作具体限定。
可选地,匹配恢复方法为预设环境恢复库中的多种预设恢复方法中的至少一种。
可选地,预先将预设失败信息库中的失败关键字与预设环境恢复库中的预设恢复方法进行关联。例如,如图3所示的失败关键字topo_error与预设恢复方法recover_topo关联,从而通过定点问题定点检查的方式快速恢复。从而使得当查询到预设失败信息库中存在与所述关键字匹配的失败关键字时,通过该失败关键字所关联的预设恢复方法,快速确定匹配恢复方法,以使处于自动测试环境中的设备的运行环境保持正常,进而有效提高整个测试的通过率。
在本发明实施例中,通过从查询预设环境恢复库中与所述关键字匹配的匹配恢复方法,实现采用定点问题定点恢复的方式快速恢复,有效缩短恢复时间。
可选地,对所述检测结果所对应的设备的所述运行环境进行恢复,包括:查询预设环境恢复库中是否存储与所述关键字匹配的匹配恢复方法,所述预设环境恢复库中预先存储有多种预设恢复方法;若否,获取所述预设环境恢复库中所有的恢复方法;利用所述预设环境恢复库中所有的恢复方法对所述检测结果所对应的设备的运行环境进行环境恢复,得到多个恢复结果;获取所述多个恢复结果中与所述关键字匹配的检测结果所对应的恢复方法,对所述检测结果所对应的设备的运行环境进行恢复。
在一可能的实施例中,在对所述检测结果所对应的设备的运行环境进行恢复之后,所述数据处理方法还包括:确定对所述运行环境进行恢复后所返回的失败信息是否与所述预设失败信息库中的失败关键字匹配;若是,将所述检测结果所对应的设备进行隔离。
可选地,在将所述检测结果所对应的设备进行隔离之后,还包括:输出提醒日志,以提示用户所述待隔离设备需要运维人员参与检测。
在一可能的实施例中,在确认所述检测结果与所述关键字是否匹配之后,所述数据处理方法还包括:若所述检测结果与所述关键字不对应,确定所述关键字所对应的失败次数是否大于预设阀值;若是,查询预设环境检测库中是否存在与所述关键字匹配的检测方法;若是,根据所述检测方法对所述关键字所对应的所述设备的运行环境进行环境检测。
可选地,预设阀值的设置可以根据用户需求进行设置。例如,预设阀值可以是10,也可以是20等。
当然,在实际使用中,预设阀值的选取还可以根据对测试的精度来进行确定。
在本发明实施例中,通过设置预设阀值,使得当失败次数大于预设阀值时,实现自动检测,从而可以避免一台设备出现多次相同问题且长时间无法发现的问题,进而实现提高整体脚本测试成功率。
可选地,在确定所述关键字所对应的失败次数是否大于预设阀值之后,所述数据处理方法还包括:若关键字所对应的失败次数小于预设阀值,获取所述预设环境检测库中所有的检测方法;利用所述预设环境检测库中所有的检测方法分别对所述关键字所对应的设备的运行环境进行检测,得到多个检测结果;确定多个所述检测结果中是否存在与所述关键字匹配的目标检测结果;若否,确定所述检测结果为误报。
在本发明实施例中,当关键字所对应的失败次数小于预设阀值时,通过获取所述预设环境检测库中所有的检测方法;利用所述预设环境检测库中所有的检测方法分别对所述关键字所对应的设备的运行环境进行检测,从而来避免在进行环境检测时被误检,进而降低被误检的概率,以提高对环境检测的准确率。
在一可能的实施例中,所述数据处理方法还包括:若预设环境检测库中不存在与所述失败关键字匹配的检测方法,获取所述预设环境检测库中所有的检测方法;利用所述预设环境检测库中所有的检测方法分别对所述关键字所对应的设备的运行环境进行检测,得到多个检测结果;确定多个所述检测结果中是否存在与所述关键字匹配的目标检测结果;若否,确定所述检测结果为误报。
可选地,目标检测结果用于表征多个所述检测结果中与所述关键字匹配的检测结果。
在本发明实施例中,当预设环境检测库中不存在与所述失败关键字匹配的检测方法时,通过获取所述预设环境检测库中所有的检测方法;利用所述预设环境检测库中所有的检测方法分别对所述关键字所对应的设备的运行环境进行检测,从而来避免在进行环境检测时被误检,进而降低被误检的概率,以提高对环境检测的准确率。
本发明实施例提供的数据处理方法,通过从失败日志中提取出关键字,对关键字所对应的设备的运行环境进行检测,得到检测结果,在确认所述检测结果与所述关键字匹配时,对检测结果所对应的设备的运行环境进行恢复,从而在自动化运行中快速及时感知和处理会导致在异常环境下的执行脚本测试,进而减少因失败日志所造成的后期分析耗费人力,并且通过对设备的运行环境进行恢复,不但可以减轻运维人员工作量,还能够保证测试周期正常,进而提高了整个测试的通过率。
第二实施例
对应于第一实施例中的数据处理方法,图4示出了采用第一实施例所示的数据处理方法一一对应的数据处理装置。如图4所示,所述数据处理装置200包括提取模块210、检测模块220和恢复模块230。其中,提取模块210、检测模块220和恢复模块230的实现功能与第一实施例中对应的步聚一一对应,为避免赘述,本实施例不一一详述。
提取模块210,用于提取失败日志中的关键字。
检测模块220,用于对所述关键字所对应的设备的运行环境进行检测,得到检测结果。
可选地,检测模块220,还用于确定所述关键字所对应的设备的运行环境的检测方法;基于所述检测方法对所述设备的运行环境进行环境检测,得到检测结果。
可选地,检测模块220,还用于确定所述关键字是否与预设失败信息库中的失败关键字匹配,所述预设失败信息库中预先存储有多个失败关键字;若是,获取预设环境检测库中与所述失败关键字匹配的匹配检测方法,所述预设环境检测库中预先存储有多种检测方法。
可选地,检测模块220,还用于确定所述关键字是否与预设失败信息库中的失败关键字匹配,所述预设失败信息库中预先存储有多个失败关键字;若否,获取将所述预设环境检测库中所有的检测方法;利用所述预设环境检测库中所有的检测方法分别对所述关键字所对应的设备的运行环境进行检测,得到多个检测结果;获取所述多个检测结果中与所述关键字匹配的检测结果所对应的检测方法。
恢复模块230,用于在确认所述检测结果与所述关键字匹配时,对所述检测结果所对应的设备的所述运行环境进行恢复,以使处于自动测试环境中的设备的运行环境保持正常。
可选地,恢复模块230,还用于确认所述检测结果与所述关键字是否匹配;若是,确定预设环境恢复库中是否存储与所述关键字匹配的匹配恢复方法,所述预设环境恢复库中预先存储有多种预设恢复方法;若是,根据所述匹配恢复方法对所述检测结果所对应的设备的所述运行环境进行恢复。
可选地,恢复模块230,还用于确定预设环境恢复库中是否存储与所述关键字匹配的匹配恢复方法,所述预设环境恢复库中预先存储有多种预设恢复方法;若否,获取所述预设环境恢复库中所有的恢复方法;利用所述预设环境恢复库中所有的恢复方法对所述检测结果所对应的设备的运行环境进行环境恢复,得到多个恢复结果;获取所述多个恢复结果中与所述关键字匹配的检测结果所对应的恢复方法,对所述检测结果所对应的设备的运行环境进行恢复。
可选地,所述数据处理装置200还包括:隔离模块;隔离模块,用于在对所述检测结果所对应的设备的运行环境进行恢复之后,确定对所述运行环境进行恢复后所返回的失败信息是否与所述预设失败信息库中的失败关键字匹配;若是,将所述检测结果所对应的设备进行隔离。
可选地,所述数据处理装置200还包括:第一处理模块;第一处理模块,用于在确认所述检测结果与所述关键字是否匹配之后,若所述检测结果与所述关键字不匹配,确定所述关键字所对应的失败次数是否大于预设阀值;若是,查询预设环境检测库中是否存在与所述关键字匹配的检测方法;若是,根据所述检测方法对所述关键字所对应的所述设备的运行环境进行环境检测。
可选地,所述数据处理装置200还包括:第二处理模块;第二处理模块,用于在没有获取到预设环境检测库中与所述失败关键字匹配的检测方法之后,获取所述预设环境检测库中所有的检测方法;利用所述预设环境检测库中所有的检测方法分别对所述关键字所对应的设备的运行环境进行检测,得到多个检测结果;确定多个所述检测结果中是否存在与所述关键字匹配的目标检测结果;若否,确定所述检测结果为误报。
第三实施例
如图5所示,是电子设备300的示意图。所述电子设备300包括存储器302、处理器304以及存储在所述存储器302中并可在所述处理器304上运行的计算机可读取指令303。当所述计算机可读取指令303由所述处理器304执行时,运行如第一实施例中的所述数据处理方法,为避免重复,此处不再赘述。或者,当所述计算机可读取指令303由所述处理器304执行时,实现如第二实施例所述数据处理装置中各模块/单元的功能,为避免重复,此处不再赘述。
示例性的,计算机可读取指令303可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器302中,并由处理器304执行,以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机可读取指令303在电子设备300中的执行过程。例如,计算机可读取指令303可以被分割成第二实施例中的提取模块210、检测模块220和恢复模块230,各模块的具体功能如第二实施例所述,在此不一一赘述。
其中,存储器302可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器302用于存储程序,所述处理器304在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器304中,或者由处理器304实现。
处理器304可能是一种集成电路芯片,具有信号的处理能力。上述的处理器304可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解的是,图5所示的结构仅为电子设备300的一种结构示意图,电子设备300还可以包括比图5所示更多或更少的组件。图5中所示的各组件可以采用硬件、软件或其组合实现。
请参照图6,图6为本发明实施例提供的一种电子设备的另一种结构示意图,所述电子设备可以包括:至少一个处理器510,例如CPU,至少一个通信接口520,至少一个存储器530和至少一个通信总线540。其中,通信总线540用于实现这些组件直接的连接通信。其中,本发明实施例中设备的通信接口520用于与其他节点设备进行信令或数据的通信。存储器530可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器530可选的还可以是至少一个位于远离前述处理器的存储装置。存储器530中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器510执行时,电子设备执行上述图1所示方法过程。或者是电子设备实现上述图4所示装置的功能。
第四实施例
本发明实施例还提供一种存储介质,所述存储介质上存储有指令,当所述指令在计算机上运行时,所述计算机程序被处理器执行时实现第一实施例中的数据处理方法,为避免重复,此处不再赘述。或者,所述计算机程序被处理器执行时实现第二实施例所述数据处理装置中各模块/单元的功能,为避免重复,此处不再赘述。
综上所述,本发明实施例提供数据处理方法、装置、电子设备及存储介质,通过从失败日志中提取出关键字,对关键字所对应的设备的运行环境进行检测,得到检测结果,在确认所所述检测结果与所述关键字匹配时,对检测结果所对应的设备的运行环境进行恢复,从而在自动化运行中快速及时感知和处理会导致在异常环境下的执行脚本测试,进而减少因失败日志所造成的后期分析耗费人力,并且通过对设备的运行环境进行恢复,不但可以减轻运维人员工作量,还能够保证测试周期正常,进而提高了整个测试的通过率。
在本发明所提供的几个实施例中,应该理解到,所披露的装置和方法,也可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者电子设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
提取失败日志中的关键字;
对所述关键字所对应的设备的运行环境进行检测,得到检测结果;
在确认所述检测结果与所述关键字匹配时,对所述检测结果所对应的设备的运行环境进行恢复。
2.根据权利要求1所述的方法,其特征在于,所述对所述关键字所对应的设备的运行环境进行检测,得到检测结果,包括:
确定所述关键字所对应的设备的运行环境的检测方法;
基于所述检测方法对所述设备的运行环境进行检测,得到检测结果。
3.根据权利要求2所述的方法,其特征在于,所述确定所述关键字所对应的设备的运行环境的检测方法,包括:
确定所述关键字是否与预设失败信息库中的失败关键字匹配,所述预设失败信息库中预先存储有多个失败关键字;
若是,获取预设环境检测库中与所述失败关键字匹配的检测方法。
4.根据权利要求2所述的方法,其特征在于,所述确定所述关键字所对应的设备的运行环境的检测方法,包括:
确定所述关键字是否与预设失败信息库中的失败关键字匹配,所述预设失败信息库中预先存储有多个失败关键字;
若否,获取所述预设环境检测库中所有的检测方法;
利用所述预设环境检测库中所有的检测方法分别对所述关键字所对应的设备的运行环境进行检测,得到多个检测结果;
获取所述多个检测结果中与所述关键字匹配的检测结果所对应的检测方法。
5.根据权利要求1所述的方法,其特征在于,所述在确认所述检测结果与所述关键字匹配时,对所述检测结果所对应的设备的所述运行环境进行恢复,包括:
确认所述检测结果与所述关键字是否匹配;
若是,确定预设环境恢复库中是否存储与所述关键字匹配的匹配恢复方法,所述预设环境恢复库中预先存储有多种预设恢复方法;
若是,根据所述匹配恢复方法对所述检测结果所对应的设备的所述运行环境进行恢复。
6.根据权利要求5所述的方法,其特征在于,所述对所述检测结果所对应的设备的所述运行环境进行恢复,包括:
确定预设环境恢复库中是否存储与所述关键字匹配的匹配恢复方法,所述预设环境恢复库中预先存储有多种预设恢复方法;
若否,获取所述预设环境恢复库中所有的恢复方法;
利用所述预设环境恢复库中所有的恢复方法对所述检测结果所对应的设备的运行环境进行环境恢复,得到多个恢复结果;
获取所述多个恢复结果中与所述关键字匹配的检测结果所对应的恢复方法,对所述检测结果所对应的设备的运行环境进行恢复。
7.根据权利要求6所述的方法,其特征在于,在对所述检测结果所对应的设备的运行环境进行恢复之后,所述方法还包括:
确定对所述运行环境进行恢复后所返回的失败信息是否与所述预设失败信息库中的失败关键字匹配;
若是,将所述检测结果所对应的设备进行隔离。
8.一种数据处理装置,其特征在于,所述装置包括:
提取模块,用于提取失败日志中的关键字;
检测模块,用于对所述关键字所对应的设备的运行环境进行检测,得到检测结果;
恢复模块,用于在确认所述检测结果与所述关键字匹配时,对所述检测结果所对应的设备的运行环境进行恢复。
9.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-7中任一权项所述的方法。
10.一种存储介质,其特征在于,所述存储介质用于存储指令,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1至7任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811516109.5A CN111309584B (zh) | 2018-12-11 | 2018-12-11 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811516109.5A CN111309584B (zh) | 2018-12-11 | 2018-12-11 | 数据处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111309584A true CN111309584A (zh) | 2020-06-19 |
CN111309584B CN111309584B (zh) | 2024-02-23 |
Family
ID=71154847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811516109.5A Active CN111309584B (zh) | 2018-12-11 | 2018-12-11 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111309584B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112363934A (zh) * | 2020-11-11 | 2021-02-12 | 展讯半导体(成都)有限公司 | 自动化测试Log的存储方法、系统、设备及存储介质 |
CN112612664A (zh) * | 2020-12-24 | 2021-04-06 | 百度在线网络技术(北京)有限公司 | 电子设备的测试方法、装置、电子设备和存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1877543A (zh) * | 2005-06-06 | 2006-12-13 | 华为技术有限公司 | 数据驱动的自动化测试系统及方法 |
US20090300427A1 (en) * | 2007-08-23 | 2009-12-03 | Honeywell International Inc. | Method of logging stack trace information |
CN103019931A (zh) * | 2012-11-26 | 2013-04-03 | 华为技术有限公司 | Asn.1接口的检测处理方法和装置 |
US20140379386A1 (en) * | 2013-06-25 | 2014-12-25 | Arthur Paul Drennan, III | System and method for evaluating text to support multiple insurance applications |
CN106095678A (zh) * | 2016-06-08 | 2016-11-09 | 上海爱数信息技术股份有限公司 | 用于Windows平台下数据库业务操作的自动化结果检查方法 |
CN106681930A (zh) * | 2017-01-23 | 2017-05-17 | 北京思特奇信息技术股份有限公司 | 分布式自动检测应用运行异常方法及系统 |
CN107145445A (zh) * | 2017-05-05 | 2017-09-08 | 携程旅游信息技术(上海)有限公司 | 软件自动化测试的报错日志的自动分析方法和系统 |
CN107273280A (zh) * | 2017-06-30 | 2017-10-20 | 百度在线网络技术(北京)有限公司 | 一种日志处理方法、装置、电子设备和存储介质 |
CN107301115A (zh) * | 2017-06-26 | 2017-10-27 | 中国铁道科学研究院电子计算技术研究所 | 应用程序异常监控和恢复方法及设备 |
CN107766219A (zh) * | 2017-10-30 | 2018-03-06 | 郑州云海信息技术有限公司 | 自动化测试日志收集方法、系统、设备及计算机存储设备 |
CN108108297A (zh) * | 2016-11-25 | 2018-06-01 | 腾讯科技(深圳)有限公司 | 自动化测试的方法和装置 |
CN108921532A (zh) * | 2018-06-28 | 2018-11-30 | 中国建设银行股份有限公司 | 交易请求处理方法、装置及服务器 |
-
2018
- 2018-12-11 CN CN201811516109.5A patent/CN111309584B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1877543A (zh) * | 2005-06-06 | 2006-12-13 | 华为技术有限公司 | 数据驱动的自动化测试系统及方法 |
US20090300427A1 (en) * | 2007-08-23 | 2009-12-03 | Honeywell International Inc. | Method of logging stack trace information |
CN103019931A (zh) * | 2012-11-26 | 2013-04-03 | 华为技术有限公司 | Asn.1接口的检测处理方法和装置 |
US20140379386A1 (en) * | 2013-06-25 | 2014-12-25 | Arthur Paul Drennan, III | System and method for evaluating text to support multiple insurance applications |
CN106095678A (zh) * | 2016-06-08 | 2016-11-09 | 上海爱数信息技术股份有限公司 | 用于Windows平台下数据库业务操作的自动化结果检查方法 |
CN108108297A (zh) * | 2016-11-25 | 2018-06-01 | 腾讯科技(深圳)有限公司 | 自动化测试的方法和装置 |
CN106681930A (zh) * | 2017-01-23 | 2017-05-17 | 北京思特奇信息技术股份有限公司 | 分布式自动检测应用运行异常方法及系统 |
CN107145445A (zh) * | 2017-05-05 | 2017-09-08 | 携程旅游信息技术(上海)有限公司 | 软件自动化测试的报错日志的自动分析方法和系统 |
CN107301115A (zh) * | 2017-06-26 | 2017-10-27 | 中国铁道科学研究院电子计算技术研究所 | 应用程序异常监控和恢复方法及设备 |
CN107273280A (zh) * | 2017-06-30 | 2017-10-20 | 百度在线网络技术(北京)有限公司 | 一种日志处理方法、装置、电子设备和存储介质 |
CN107766219A (zh) * | 2017-10-30 | 2018-03-06 | 郑州云海信息技术有限公司 | 自动化测试日志收集方法、系统、设备及计算机存储设备 |
CN108921532A (zh) * | 2018-06-28 | 2018-11-30 | 中国建设银行股份有限公司 | 交易请求处理方法、装置及服务器 |
Non-Patent Citations (2)
Title |
---|
Z. JIA 等: "SMARTLOG: Place error log statement by deep understanding of log intention", 《2018 IEEE 25TH INTERNATIONAL CONFERENCE ON SOFTWARE ANALYSIS, EVOLUTION AND REENGINEERING (SANER)》, pages 61 - 71 * |
顾兆军 等: "多源日志聚合分析方法", 《计算机工程与设计》, vol. 38, no. 07, pages 1702 - 1708 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112363934A (zh) * | 2020-11-11 | 2021-02-12 | 展讯半导体(成都)有限公司 | 自动化测试Log的存储方法、系统、设备及存储介质 |
CN112612664A (zh) * | 2020-12-24 | 2021-04-06 | 百度在线网络技术(北京)有限公司 | 电子设备的测试方法、装置、电子设备和存储介质 |
CN112612664B (zh) * | 2020-12-24 | 2024-04-02 | 百度在线网络技术(北京)有限公司 | 电子设备的测试方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111309584B (zh) | 2024-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108985057B (zh) | 一种webshell检测方法及相关设备 | |
US10248517B2 (en) | Computer-implemented method, information processing device, and recording medium | |
KR101892516B1 (ko) | 이기종 네트워크의 장애예측 방법, 장치 및 프로그램 | |
US11640459B2 (en) | Abnormality detection device | |
JPWO2018069950A1 (ja) | ログ分析方法、システムおよびプログラム | |
CN111984488B (zh) | 一种内存故障检测方法、装置、电子设备及可读存储介质 | |
CN112540887A (zh) | 故障演练方法、装置、电子设备及存储介质 | |
CN105630656A (zh) | 基于日志模型的系统健壮性分析方法及装置 | |
CN111309584B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN111133396B (zh) | 生产设备监视装置、生产设备监视方法以及记录介质 | |
CN110489260B (zh) | 故障识别方法、装置及bmc | |
CN111413952B (zh) | 机器人故障检测方法、装置、电子设备及可读存储介质 | |
CN113312258A (zh) | 一种接口测试方法、装置、设备及存储介质 | |
CN111124809B (zh) | 一种服务器传感器系统的测试方法及装置 | |
CN112882898A (zh) | 基于大数据日志分析的异常检测方法、系统、设备及介质 | |
CN109145609B (zh) | 一种数据处理方法和装置 | |
CN114461476B (zh) | 一种内存条故障检测方法、装置及系统 | |
CN115766402A (zh) | 服务器故障根因的过滤方法和装置、存储介质及电子装置 | |
CN113037521B (zh) | 识别通讯设备状态的方法、通讯系统及存储介质 | |
JP2016071696A (ja) | 予兆検知支援プログラム、方法、装置、及び予兆検知プログラム、 | |
CN117493127B (zh) | 一种应用程序检测方法、装置、设备及介质 | |
CN111953544B (zh) | 一种服务器的故障检测方法、装置、设备及存储介质 | |
CN113515507B (zh) | 应用于大坝渗水检测的方法及系统 | |
CN114707911B (zh) | 一种结合云计算的跨境电商信息风险分析方法及服务器 | |
CN112612882B (zh) | 检阅报告生成方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |