CN110069401B - 基于数据建模的系统测试异常定位方法及系统 - Google Patents

基于数据建模的系统测试异常定位方法及系统 Download PDF

Info

Publication number
CN110069401B
CN110069401B CN201910203325.2A CN201910203325A CN110069401B CN 110069401 B CN110069401 B CN 110069401B CN 201910203325 A CN201910203325 A CN 201910203325A CN 110069401 B CN110069401 B CN 110069401B
Authority
CN
China
Prior art keywords
abnormality
test
machine learning
learning model
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910203325.2A
Other languages
English (en)
Other versions
CN110069401A (zh
Inventor
陈晰亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910203325.2A priority Critical patent/CN110069401B/zh
Publication of CN110069401A publication Critical patent/CN110069401A/zh
Application granted granted Critical
Publication of CN110069401B publication Critical patent/CN110069401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

本发明涉及数据建模领域,揭示了一种基于数据建模的系统测试异常定位方法及系统,该方法包括:当系统测试中出现异常报错时,在所述系统测试包括的测试系统中确定异常测试系统;将所述异常测试系统的日志数据输入目标机器学习模型,获取所述目标机器学习模型输出的异常定位信息;根据所述异常定位信息输出所述异常测试系统的异常类型与异常原因。此方法下,基于数据建模技术,利用预先训练好的目标机器学习模型可以直接获取异常测试系统的日志数据相匹配的异常定位信息,并输出异常类型与异常原因,提高了定位系统异常的效率,自动化程度更高。

Description

基于数据建模的系统测试异常定位方法及系统
技术领域
本发明涉及数据建模技术领域,特别涉及一种基于数据建模的系统测试异常定位方法及系统。
背景技术
目前,系统测试已广泛应用到不同领域的业务系统中,例如,系统测试可以应用到金融业务系统中对金融业务系统进行测试,利用系统测试可以发现金融业务系统存在的异常问题,用以在测试阶段发现并及时更正异常问题,提高系统运行的稳定性。
在实践中发现,当金融业务系统在系统测试过程中出现异常问题时,往往需要人工分析并定位该异常问题的出现缘由,通常的,异常问题的出现缘由包括代码编写问题、数据问题和第三方系统错误问题等。具体的,人工分析并定位该异常问题的出现缘由需要人工分析金融业务系统的日志,由于金融业务系统的日志包含的数据量非常庞大,因而这种人工定位系统异常的方式存在着效率低下的问题。
综上,现有技术的缺陷在于:人工定位系统异常的方式存在着效率低下的问题。
发明内容
为了解决相关技术中存在的人工定位系统异常以至于效率低下的问题,本发明提供了一种基于数据建模的系统测试异常定位方法及系统。
本发明实施例第一方面公开一种基于数据建模的系统测试异常定位方法,所述方法包括:
当系统测试出现异常报错时,在所述系统测试所包括的测试系统中确定异常测试系统;
将所述异常测试系统的日志数据输入目标机器学习模型,获取所述目标机器学习模型输出的异常定位信息;
根据所述异常定位信息输出所述异常测试系统的异常类型与异常原因。
本发明实施例第二方面公开一种基于数据建模的系统测试异常定位系统,所述系统包括:
确定单元,用于当系统测试出现异常报错时,在所述系统测试所包括的测试系统中确定异常测试系统;
获取单元,用于将所述异常测试系统的日志数据输入目标机器学习模型,获取所述目标机器学习模型输出的异常定位信息;
输出单元,用于根据所述异常定位信息输出所述异常测试系统的异常类型与异常原因。
本发明实施例第三方面公开一种电子设备,所述电子设备包括:
处理器;
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如前所述的方法。
本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,所述计算机程序使得计算机执行如前所述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果:
本发明所提供的基于数据建模的系统测试异常定位方法包括如下步骤,当系统测试中出现异常报错时,在系统测试包括的测试系统中确定异常测试系统;将异常测试系统的日志数据输入目标机器学习模型,获取目标机器学习模型输出的异常定位信息;根据异常定位信息输出异常测试系统的异常类型与异常原因。
此方法下,基于数据建模技术,利用预先训练好的目标机器学习模型可以直接获取异常测试系统的日志数据相匹配的异常定位信息,并输出异常类型与异常原因,提高了定位系统异常的效率,自动化程度更高。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种装置的示意图;
图2是根据一示例性实施例示出的一种基于数据建模的系统测试异常定位方法的流程图;
图3是根据一示例性实施例示出的另一种基于数据建模的系统测试异常定位方法的流程图;
图4是根据一示例性实施例示出的一种基于数据建模的系统测试异常定位系统的框图;
图5是根据一示例性实施例示出的另一种基于数据建模的系统测试异常定位系统的框图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明的实施环境可以是便携移动设备,例如智能手机、平板电脑、台式电脑。
图1是根据一示例性实施例示出的一种运行基于数据建模的系统测试异常定位系统的装置示意图。装置100可以是上述便携移动设备。如图1所示,装置100可以包括以下一个或多个组件:处理组件102,存储器104,电源组件106,多媒体组件108,音频组件110,传感器组件114以及通信组件116。
处理组件102通常控制装置100的整体操作,诸如与显示,电话呼叫,数据通信,相机操作以及记录操作相关联的操作等。处理组件102可以包括一个或多个处理器118来执行指令,以完成下述的方法的全部或部分步骤。此外,处理组件102可以包括一个或多个模块,用于便于处理组件102和其他组件之间的交互。例如,处理组件102可以包括多媒体模块,用于以方便多媒体组件108和处理组件102之间的交互。
存储器104被配置为存储各种类型的数据以支持在装置100的操作。这些数据的示例包括用于在装置100上操作的任何应用程序或方法的指令。存储器104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static RandomAccess Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Red-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。存储器104中还存储有一个或多个模块,用于该一个或多个模块被配置成由该一个或多个处理器118执行,以完成如下所示方法中的全部或者部分步骤。
电源组件106为装置100的各种组件提供电力。电源组件106可以包括电源管理系统,一个或多个电源,及其他与为装置100生成、管理和分配电力相关联的组件。
多媒体组件108包括在所述装置100和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(Liquid Crystal Display,简称LCD)和触摸面板。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(Organic Light Emitting Display,简称OLED)。
音频组件110被配置为输出和/或输入音频信号。例如,音频组件110包括一个麦克风(Microphone,简称MIC),当装置100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器104或经由通信组件116发送。在一些实施例中,音频组件110还包括一个扬声器,用于输出音频信号。
传感器组件114包括一个或多个传感器,用于为装置100提供各个方面的状态评估。例如,传感器组件114可以检测到装置100的打开/关闭状态,组件的相对定位,传感器组件114还可以检测装置100或装置100一个组件的位置改变以及装置100的温度变化。在一些实施例中,该传感器组件114还可以包括磁传感器,压力传感器或温度传感器。
通信组件116被配置为便于装置100和其他设备之间有线或无线方式的通信。装置100可以接入基于通信标准的无线网络,如WiFi(Wireless-Fidelity,无线保真)。在一个示例性实施例中,通信组件116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件116还包括近场通信(Near FieldCommunication,简称NFC)模块,用于以促进短程通信。例如,在NFC模块可基于射频识别(Radio Frequency Identification,简称RFID)技术,红外数据协会(Infrared DataAssociation,简称IrDA)技术,超宽带(Ultra Wideband,简称UWB)技术,蓝牙技术和其他技术来实现。
在示例性实施例中,装置100可以被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit,简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现,用于执行下述方法。
图2是根据一示例性实施例示出的一种基于数据建模的系统测试异常定位方法的流程图。如图2所示,此方法包括以下步骤:
步骤201,当系统测试出现异常报错时,在系统测试所包括的测试系统中确定异常测试系统。
本发明实施例中,系统测试用于对测试系统进行测试,也即是,系统测试的测试对象为测试系统。系统测试所包括的测试系统可以为一个,也可以为多个,本发明实施例中不做限定。当系统测试所包括的测试系统为一个时,当系统测试出现异常报错时,将该测试系统确定为异常测试系统。当系统测试所包括的测试系统为多个时,根据每一测试系统的日志数据确定异常测试系统。
作为一种可选的实施方式,当系统测试出现异常报错时,在系统测试所包括的测试系统中确定异常测试系统之前,还可以执行以下步骤:
输出测试需求界面,该测试需求界面用于接收用户输入的测试产品信息;
检测用户在该测试需求界面上输入的测试产品信息,并确定与该测试产品信息相匹配的测试系统;
根据该测试产品信息所包括的测试流程,在测试系统中对该测试产品进行测试。
通过实施这种可选的实施方式,可以根据用户需要测试某一测试产品的需求在测试产品涉及到的测试系统中对该测试产品信息进行测试,测试的智能化程度更高。
作为另一种可选的实施方式,当系统测试出现异常报错时,在系统测试所包括的测试系统中确定异常测试系统可以包括:
当系统测试出现异常报错时,根据上述测试产品信息所包括的测试流程,确定当前时间点对应的测试环节;
将该测试环节所对应的测试系统确定为目标测试系统;
根据目标测试系统的日志数据,在目标测试系统中确定异常测试系统。
通过实施这种可选的实施方式,当系统测试出现异常报错时,可以根据测试流程确定出当前时间点对应的测试环节,将当前时间点对应的测试环节所涉及的测试系统确定为目标测试系统,只需根据目标测试系统的日志数据就可以在目标测试系统中确定出异常系统。这一过程减少了获取日志数据的系统数量,从而降低了根据日志数据确定异常系统的算法复杂度,进而提高了确定异常系统的效率。
步骤202,将异常测试系统的日志数据输入目标机器学习模型,获取目标机器学习模型输出的异常定位信息。
本发明实施例中,目标机器学习模型为预先训练好的能够根据日志数据输出异常定位信息的机器学习模型。其中,异常定位信息可以为某些预先设定好的异常标识,根据这些异常标识可以确定出具体的异常类型和异常原因等。
步骤203,根据异常定位信息输出异常测试系统的异常类型与异常原因。
本发明实施例中,异常类型可以包括但不限于功能响应异常和指令输入异常等,异常原因可以包括但不限于代码编写异常、数据异常和第三方系统异常等,本发明实施例中不做限定。
上述方法下,基于数据建模技术,利用预先训练好的目标机器学习模型可以直接获取异常测试系统的日志数据相匹配的异常定位信息,并输出异常类型与异常原因,提高了定位系统异常的效率,自动化程度更高。
图3是根据一示例性实施例示出的另一种基于数据建模的系统测试异常定位方法的流程图。如图3所示,此方法包括以下步骤:
步骤301,获取测试日志数据以及测试日志数据相匹配的测试异常定位信息。
本发明实施例中,测试日志数据可以包括若干个数据,每一数据对应有相应的异常定位信息,测试异常定位信息可以包括若干个异常定位信息。
步骤302,将测试日志数据设置为训练机器学习模型的输入数据,以及将测试异常定位信息设置为训练机器学习模型的输出数据。
本发明实施例中,训练机器学习模型为未经过训练的机器学习模型,通过对训练机器学习模型进行训练可以获得目标机器学习模型。具体的,对训练机器学习模型进行训练的输入数据与输出数据为若干组上述数据与上述异常定位信息,一个数据对应一个异常定位信息,测试日志数据包含若干数据,测试异常定位信息包含若干异常定位信息。
步骤303,将输入数据输入训练机器学习模型,并调整训练机器学习模型的参数直至输出输出数据。
本发明实施例中,将输入数据输入训练机器学习模型,并调整训练机器学习模型的参数直至输出输出数据的方式具体为:将输入数据中的每一数据输入训练机器学习模型,并调整训练机器学习模型的参数直至输出与该数据相匹配的异常定位信息。
步骤304,获取训练机器学习模型输出输出数据时的第一参数。
作为一种可选的实施方式,获取训练机器学习模型输出输出数据时的第一参数可以包括:
根据训练机器学习模型输出上述输出数据时的参数,获取参数集合;
以参数集合所包括的参数对应的拟合曲线为依据,获得误差参数;
从参数集合中去除误差参数,获得正常参数;
计算正常参数的平均值,并将平均值确定为第一参数。
本发明实施例中,训练机器学习模型输出上述输出数据时的参数即为训练机器学习模型输出若干异常定位信息时的参数,其中包含了多个参数,构成了参数集合。根据参数集合所包括的参数可以绘制拟合曲线,参数集合中与该拟合曲线的偏差较大的参数确定为误差参数,并从参数集合中去除该误差参数,获得正常参数,可以将正常参数的平均值确定为第一参数,从而获得较为可靠的用于设置训练机器学习模型的参数的值。
通过实施这种可选的实施方式,可以在训练机器学习模型输出上述输出数据时对应的所有参数集合中去除掉误差参数,以正常参数的平均值作为第一参数,由于去除掉误差参数获取第一参数,因而第一参数的准确度高,从而提高了根据第一参数获得的目标机器学习模型的性能。
步骤305,根据第一参数设置训练机器学习模型的参数,获得目标机器学习模型。
步骤306,当系统测试出现异常报错时,在系统测试所包括的测试系统中确定异常测试系统。
步骤307,根据异常测试系统的日志数据提取异常日志数据。
步骤308,将异常日志数据输入目标机器学习模型。
步骤309,判断是否存在目标机器学习模型输出的异常定位信息,如果存在,执行步骤310至步骤311,如果不存在,结束本次流程。
作为一种可选的实施方式,在判断出不存在目标机器学习模型输出的异常定位信息之后,还可以执行以下步骤:
生成包含异常日志数据的提示信息,并将提示信息发送给异常测试系统相匹配的系统异常定位人员;
接收系统异常定位人员根据提示信息返回的人工异常定位信息;
将异常日志数据设置为目标机器学习模型的训练输入数据,以及将人工异常定位信息设置为目标机器学习模型的训练输出数据;
将训练输入数据输入目标机器学习模型,并调整目标机器学习模型的参数直至目标机器学习模型输出训练输出数据;
获取目标机器学习模型输出训练输出数据时的第二参数;
根据第二参数调整目标机器学习模型的参数。
本发明实施例中,如果判断出不存在目标机器学习模型输出的异常定位信息,还可以向系统异常定位人员发送提示信息,以使系统异常定位人员根据提示信息返回人工异常定位信息,将该异常日志数据和该人工异常定位信息输入目标机器学习模型,实现对目标机器学习模型的不断训练与更新。
通过实施这种可选的实施方式,在目标机器学习模型不能根据异常日志数据输出异常定位信息时,可以根据人工解决异常的人工异常定位信息和异常日志数据对目标机器学习模型进行训练,不断调整目标机器学习模型的参数,从而实现了利用新数据不断训练强化目标机器学习模型,智能化程度更高,目标机器学习模型的性能更佳。
步骤310,获取目标机器学习模型输出的异常定位信息。
步骤311,根据异常定位信息输出异常测试系统的异常类型与异常原因。
作为一种可选的实施方式,在根据异常定位信息输出异常测试系统的异常类型与异常原因之后,还可以执行以下步骤:
判断在预置异常解决方案数据库中是否存在异常类型和异常原因相匹配的错误解决方案;
如果是,根据错误解决方案解决异常测试系统的异常;
如果否,将异常类型和异常原因发送给异常测试系统相匹配的系统异常解决人员,以使系统异常解决人员解决异常测试系统的异常。
本发明实施例中,预置异常解决方案数据库中对应存储有异常类型、异常原因和错误解决方案,如果预置异常解决方案数据中存在异常类型和异常原因相匹配的错误解决方案,可以根据该错误解决方案解决异常测试系统的异常,如果不存在,可以将异常类型和异常原因发送给系统异常解决人员,以使系统异常解决人员解决异常测试系统的异常。
通过实施这种可选的实施方式,在输出异常测试系统的异常类型与异常原因之后,如果预置异常解决方案数据库存在与之匹配的错误解决方案,便能够自动根据该错误解决方案解决异常测试系统的异常,如果不存在与之匹配的错误解决方案,可以将异常类型和异常原因发送给相应的人员用以人工解决异常测试系统的异常。这一过程不仅能够输出异常类型与异常原因,还能够解决异常,功能更加丰富。
作为另一种可选的实施方式,在将异常类型和异常原因发送至异常测试系统相匹配的系统异常解决人员,以使系统异常解决人员解决异常测试系统的异常之后,还可以执行以下步骤:
获取系统异常解决人员解决异常测试系统的异常所采用的目标错误解决方案;
将异常类型、异常原因和目标错误解决方案对应存储至预置异常解决方案数据库。
通过实施这种可选的实施方式,如果在预置异常解决方案数据库中不存在与该异常类型和异常原因相匹配的错误解决方案,则获取人工解决该异常采用的目标错误解决方案,将该目标错误解决方案与异常类型和异常原因对应存储至预置异常解决方案数据库,实现对预置异常解决方案数据库的实时更新,提高预置异常解决方案数据库的可靠性。
上述方法下,基于数据建模技术,利用预先训练好的目标机器学习模型可以直接获取异常测试系统的日志数据相匹配的异常定位信息,并输出异常类型与异常原因,提高了定位系统异常的效率,自动化程度更高。
以下是本发明的系统实施例。
图4是根据一示例性实施例示出的一种基于数据建模的系统测试异常定位系统的框图。如图4所示,该系统包括:
确定单元401,用于当系统测试出现异常报错时,在系统测试所包括的测试系统中确定异常测试系统。
本发明实施例中,系统测试用于对测试系统进行测试,也即是,系统测试的测试对象为测试系统。系统测试所包括的测试系统可以为一个,也可以为多个,本发明实施例中不做限定。当系统测试所包括的测试系统为一个时,当系统测试出现异常报错时,将该测试系统确定为异常测试系统。当系统测试所包括的测试系统为多个时,根据每一测试系统的日志数据确定异常测试系统。
作为一种可选的实施方式,当系统测试出现异常报错时,确定单元401在系统测试所包括的测试系统中确定异常测试系统之前,确定单元401还可以用于:
输出测试需求界面,该测试需求界面用于接收用户输入的测试产品信息;
检测用户在该测试需求界面上输入的测试产品信息,并确定与该测试产品信息相匹配的测试系统;
根据该测试产品信息所包括的测试流程,在测试系统中对该测试产品进行测试。
通过实施这种可选的实施方式,可以根据用户需要测试某一测试产品的需求在测试产品涉及到的测试系统中对该测试产品信息进行测试,测试的智能化程度更高。
作为另一种可选的实施方式,当系统测试出现异常报错时,确定单元401在系统测试所包括的测试系统中确定异常测试系统可以包括:
当系统测试出现异常报错时,确定单元401根据上述测试产品信息所包括的测试流程,确定当前时间点对应的测试环节;
确定单元401将该测试环节所对应的测试系统确定为目标测试系统;
确定单元401根据目标测试系统的日志数据,在目标测试系统中确定异常测试系统。
通过实施这种可选的实施方式,当系统测试出现异常报错时,可以根据测试流程确定出当前时间点对应的测试环节,将当前时间点对应的测试环节所涉及的测试系统确定为目标测试系统,只需根据目标测试系统的日志数据就可以在目标测试系统中确定出异常系统。这一过程减少了获取日志数据的系统数量,从而降低了根据日志数据确定异常系统的算法复杂度,进而提高了确定异常系统的效率。
获取单元402,用于将异常测试系统的日志数据输入目标机器学习模型,获取目标机器学习模型输出的异常定位信息。
作为一种可选的实施方式,获取单元402将异常测试系统的日志数据输入目标机器学习模型,获取目标机器学习模型输出的异常定位信息可以包括:
获取单元402根据异常测试系统的日志数据提取异常日志数据;
获取单元402将异常日志数据输入目标机器学习模型,获取目标机器学习模型输出的异常定位信息。
通过实施这种可选的实施方式,可以从日志数据中提取异常日志数据,将其作为目标机器学习模型的输入数据,输入之前的这一提取过程能够有效减小目标机器学习模型的计算量,效率更高。
作为另一种可选的实施方式,在获取单元402将异常日志数据输入目标机器学习模型之后,获取单元402还可以用于:
判断是否存在目标机器学习模型输出的异常定位信息;
如果不存在异常定位信息,生成包含异常日志数据的提示信息,并将提示信息发送给异常测试系统相匹配的系统异常定位人员;
接收系统异常定位人员根据提示信息返回的人工异常定位信息;
将异常日志数据设置为目标机器学习模型的训练输入数据,以及将人工异常定位信息设置为目标机器学习模型的训练输出数据;
将训练输入数据输入目标机器学习模型,并调整目标机器学习模型的参数直至目标机器学习模型输出训练输出数据;
获取目标机器学习模型输出训练输出数据时的第二参数;
根据第二参数调整目标机器学习模型的参数;
如果存在异常定位信息,执行上述的获取目标机器学习模型输出的异常定位信息。
本发明实施例中,如果判断出不存在目标机器学习模型输出的异常定位信息,还可以向系统异常定位人员发送提示信息,以使系统异常定位人员根据提示信息返回人工异常定位信息,将该异常日志数据和该人工异常定位信息输入目标机器学习模型,实现对目标机器学习模型的不断训练与更新。
通过实施这种可选的实施方式,在输出异常测试系统的异常类型与异常原因之后,如果预置异常解决方案数据库存在与之匹配的错误解决方案,便能够自动根据该错误解决方案解决异常测试系统的异常,如果不存在与之匹配的错误解决方案,可以将异常类型和异常原因发送给相应的人员用以人工解决异常测试系统的异常。这一过程不仅能够输出异常类型与异常原因,还能够解决异常,功能更加丰富。输出单元403,用于根据异常定位信息输出异常测试系统的异常类型与异常原因。
作为一种可选的实施方式,在输出单元403根据异常定位信息输出异常测试系统的异常类型与异常原因之后,输出单元403还可以用于:
判断在预置异常解决方案数据库中是否存在异常类型和异常原因相匹配的错误解决方案;
如果是,根据错误解决方案解决异常测试系统的异常;
如果否,将异常类型和异常原因发送给异常测试系统相匹配的系统异常解决人员,以使系统异常解决人员解决异常测试系统的异常。
本发明实施例中,预置异常解决方案数据库中对应存储有异常类型、异常原因和错误解决方案,如果预置异常解决方案数据中存在异常类型和异常原因相匹配的错误解决方案,可以根据该错误解决方案解决异常测试系统的异常,如果不存在,可以将异常类型和异常原因发送给系统异常解决人员,以使系统异常解决人员解决异常测试系统的异常。
通过实施这种可选的实施方式,在输出异常测试系统的异常类型与异常原因之后,如果预置异常解决方案数据库存在与之匹配的错误解决方案,便能够自动根据该错误解决方案解决异常测试系统的异常,如果不存在与之匹配的错误解决方案,可以将异常类型和异常原因发送给相应的人员用以人工解决异常测试系统的异常。这一过程不仅能够输出异常类型与异常原因,还能够解决异常,功能更加丰富。
作为另一种可选的实施方式,在输出单元403将异常类型和异常原因发送至异常测试系统相匹配的系统异常解决人员,以使系统异常解决人员解决异常测试系统的异常之后,输出单元403还可以用于:
获取系统异常解决人员解决异常测试系统的异常所采用的目标错误解决方案;
将异常类型、异常原因和目标错误解决方案对应存储至预置异常解决方案数据库。
通过实施这种可选的实施方式,如果在预置异常解决方案数据库中不存在与该异常类型和异常原因相匹配的错误解决方案,则获取人工解决该异常采用的目标错误解决方案,将该目标错误解决方案与异常类型和异常原因对应存储至预置异常解决方案数据库,实现对预置异常解决方案数据库的实时更新,提高预置异常解决方案数据库的可靠性。
可见,通过实施图4所描述的基于数据建模的系统测试异常定位系统,基于数据建模技术,利用预先训练好的目标机器学习模型可以直接获取异常测试系统的日志数据相匹配的异常定位信息,并输出异常类型与异常原因,提高了定位系统异常的效率,自动化程度更高。
图5是根据一示例性实施例示出的另一种基于数据建模的系统测试异常定位系统的框图。图5是在图4基础上优化得到的,与图4所示的基于数据建模的系统测试异常定位系统相比,在图5所示的基于数据建模的系统测试异常定位系统中:
获取单元402,还用于获取测试日志数据以及测试日志数据相匹配的测试异常定位信息。
可选的,图5所示的基于数据建模的系统测试异常定位系统还可以包括:
设置单元404,用于将测试日志数据设置为训练机器学习模型的输入数据,以及将测试异常定位信息设置为训练机器学习模型的输出数据。
本发明实施例中,训练机器学习模型为未经过训练的机器学习模型,通过对训练机器学习模型进行训练可以获得目标机器学习模型。具体的,对训练机器学习模型进行训练的输入数据与输出数据为若干组上述数据与上述异常定位信息,一个数据对应一个异常定位信息,测试日志数据包含若干数据,测试异常定位信息包含若干异常定位信息。
调整单元405,用于将输入数据输入训练机器学习模型,并调整训练机器学习模型的参数直至输出输出数据。
本发明实施例中,将输入数据输入训练机器学习模型,并调整训练机器学习模型的参数直至输出输出数据的方式具体为:将输入数据中的每一数据输入训练机器学习模型,并调整训练机器学习模型的参数直至输出与该数据相匹配的异常定位信息。
获取单元402,还用于获取训练机器学习模型输出输出数据时的第一参数,根据第一参数设置训练机器学习模型的参数,获得目标机器学习模型。
作为一种可选的实施方式,获取单元402获取训练机器学习模型输出输出数据时的第一参数可以包括:
获取单元402根据训练机器学习模型输出输出数据时的参数,获取参数集合;
获取单元402以参数集合所包括的参数对应的拟合曲线为依据,获得误差参数;
获取单元402从参数集合中去除误差参数,获得正常参数;
获取单元402计算正常参数的平均值,并将平均值确定为第一参数。
本发明实施例中,训练机器学习模型输出上述输出数据时的参数即为训练机器学习模型输出若干异常定位信息时的参数,其中包含了多个参数,构成了参数集合。根据参数集合所包括的参数可以绘制拟合曲线,参数集合中与该拟合曲线的偏差较大的参数确定为误差参数,并从参数集合中去除该误差参数,获得正常参数,可以将正常参数的平均值确定为第一参数,从而获得较为可靠的用于设置训练机器学习模型的参数的值。
通过实施这种可选的实施方式,提高了根据第一参数获得的目标机器学习模型的性能。
可见,通过实施图5所描述的基于数据建模的系统测试异常定位系统,基于数据建模技术,利用预先训练好的目标机器学习模型可以直接获取异常测试系统的日志数据相匹配的异常定位信息,并输出异常类型与异常原因,提高了定位系统异常的效率,自动化程度更高。
本发明还提供一种电子设备,该电子设备包括:
处理器;
存储器,该存储器上存储有计算机可读指令,该计算机可读指令被处理器执行时,实现如前所示的基于数据建模的系统测试异常定位方法。
该电子设备可以是图1所示装置100。
在一示例性实施例中,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如前所示的基于数据建模的系统测试异常定位方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种基于数据建模的系统测试异常定位方法,其特征在于,所述方法包括:
当系统测试出现异常报错时,在所述系统测试所包括的测试系统中确定异常测试系统;
根据所述异常测试系统的日志数据提取异常日志数据;
将所述异常日志数据输入目标机器学习模型;
判断是否存在所述目标机器学习模型输出的异常定位信息;
如果不存在所述异常定位信息,生成包含所述异常日志数据的提示信息,并将所述提示信息发送给所述异常测试系统相匹配的系统异常定位人员;
接收所述系统异常定位人员根据所述提示信息返回的人工异常定位信息;
将所述异常日志数据设置为所述目标机器学习模型的训练输入数据,以及将所述人工异常定位信息设置为所述目标机器学习模型的训练输出数据;
将所述训练输入数据输入所述目标机器学习模型,并调整所述目标机器学习模型的参数直至所述目标机器学习模型输出所述训练输出数据;
获取所述目标机器学习模型输出所述训练输出数据时的第二参数;
根据所述第二参数调整所述目标机器学习模型的参数;
如果存在所述异常定位信息,则根据所述异常定位信息输出所述异常测试系统的异常类型与异常原因。
2.根据权利要求1所述的方法,其特征在于,在所述当系统测试出现异常报错时,在所述系统测试所包括的测试系统中确定异常测试系统之前,所述方法还包括:
获取测试日志数据以及所述测试日志数据相匹配的测试异常定位信息;
将所述测试日志数据设置为训练机器学习模型的输入数据,以及将所述测试异常定位信息设置为所述训练机器学习模型的输出数据;
将所述输入数据输入所述训练机器学习模型,并调整所述训练机器学习模型的参数直至输出所述输出数据;
获取所述训练机器学习模型输出所述输出数据时的第一参数;
根据所述第一参数设置所述训练机器学习模型的参数,获得目标机器学习模型。
3.根据权利要求2所述的方法,其特征在于,所述获取所述训练机器学习模型输出所述输出数据时的第一参数,包括:
根据所述训练机器学习模型输出所述输出数据时的参数,获取参数集合;
以所述参数集合所包括的参数对应的拟合曲线为依据,获得误差参数;
从所述参数集合中去除所述误差参数,获得正常参数;
计算所述正常参数的平均值,并将所述平均值确定为第一参数。
4.根据权利要求1至3任一项所述的方法,其特征在于,在所述根据所述异常定位信息输出所述异常测试系统的异常类型与异常原因之后,所述方法还包括:
判断在预置异常解决方案数据库中是否存在所述异常类型和所述异常原因相匹配的错误解决方案;
如果是,根据所述错误解决方案解决所述异常测试系统的异常;
如果否,将所述异常类型和所述异常原因发送给所述异常测试系统相匹配的系统异常解决人员,以使所述系统异常解决人员解决所述异常测试系统的异常。
5.根据权利要求4所述的方法,其特征在于,在将所述异常类型和所述异常原因发送给所述异常测试系统相匹配的系统异常解决人员,以使所述系统异常解决人员解决所述异常测试系统的异常之后,所述方法还包括:
获取所述系统异常解决人员解决所述异常测试系统的异常所采用的目标错误解决方案;
将所述异常类型、所述异常原因和所述目标错误解决方案对应存储至所述预置异常解决方案数据库。
6.一种基于数据建模的系统测试异常定位系统,其特征在于,所述系统包括:
确定单元,用于当系统测试出现异常报错时,在所述系统测试所包括的测试系统中确定异常测试系统;
获取单元,用于根据所述异常测试系统的日志数据提取异常日志数据;将所述异常日志数据输入目标机器学习模型;判断是否存在所述目标机器学习模型输出的异常定位信息;如果不存在所述异常定位信息,生成包含所述异常日志数据的提示信息,并将所述提示信息发送给所述异常测试系统相匹配的系统异常定位人员;接收所述系统异常定位人员根据所述提示信息返回的人工异常定位信息;将所述异常日志数据设置为所述目标机器学习模型的训练输入数据,以及将所述人工异常定位信息设置为所述目标机器学习模型的训练输出数据;将所述训练输入数据输入所述目标机器学习模型,并调整所述目标机器学习模型的参数直至所述目标机器学习模型输出所述训练输出数据;获取所述目标机器学习模型输出所述训练输出数据时的第二参数;根据所述第二参数调整所述目标机器学习模型的参数;
输出单元,用于如果存在所述异常定位信息,则根据所述异常定位信息输出所述异常测试系统的异常类型与异常原因。
7.一种电子设备,其特征在于,所述电子设备包括:
处理器;
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,其存储计算机程序,所述计算机程序使得计算机执行权利要求1~5任一项所述的方法。
CN201910203325.2A 2019-03-18 2019-03-18 基于数据建模的系统测试异常定位方法及系统 Active CN110069401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910203325.2A CN110069401B (zh) 2019-03-18 2019-03-18 基于数据建模的系统测试异常定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910203325.2A CN110069401B (zh) 2019-03-18 2019-03-18 基于数据建模的系统测试异常定位方法及系统

Publications (2)

Publication Number Publication Date
CN110069401A CN110069401A (zh) 2019-07-30
CN110069401B true CN110069401B (zh) 2023-09-12

Family

ID=67365336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910203325.2A Active CN110069401B (zh) 2019-03-18 2019-03-18 基于数据建模的系统测试异常定位方法及系统

Country Status (1)

Country Link
CN (1) CN110069401B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685207A (zh) * 2019-10-18 2021-04-20 伊姆西Ip控股有限责任公司 错误评估的方法、设备和计算机程序产品
CN111290953B (zh) * 2020-01-22 2021-09-14 华为技术有限公司 分析测试日志的方法与装置
CN113448827A (zh) * 2020-03-26 2021-09-28 北京沃东天骏信息技术有限公司 一种测试数据的处理方法和装置
CN112817814A (zh) * 2021-01-21 2021-05-18 网思科技股份有限公司 异常监控方法、系统、存储介质及电子装置
CN112966927A (zh) * 2021-03-03 2021-06-15 北京京东乾石科技有限公司 运输设备运行管理的方法和装置
CN112966957A (zh) * 2021-03-22 2021-06-15 国家电网有限公司大数据中心 一种数据链路异常定位方法、装置、电子设备及存储介质
CN113687209A (zh) * 2021-07-15 2021-11-23 上海华岭集成电路技术股份有限公司 基于深度学习的集成电路测试异常分析系统及其方法
CN113900865B (zh) * 2021-08-16 2023-07-11 广东电力通信科技有限公司 智能的电网设备自动化测试方法、系统和可读存储介质
CN113778875B (zh) * 2021-09-09 2024-04-30 上海浦东发展银行股份有限公司 一种系统测试缺陷分类方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731698A (zh) * 2013-12-20 2015-06-24 深圳中兴力维技术有限公司 基于自动化测试的异常测试用例自动生成处理方法及装置
CN108228442A (zh) * 2016-12-14 2018-06-29 华为技术有限公司 一种异常节点的检测方法及装置
CN108665237A (zh) * 2018-05-03 2018-10-16 广州供电局有限公司 一种基于业务系统建立自动巡检模型和定位异常的方法
CN109359098A (zh) * 2018-10-31 2019-02-19 云南电网有限责任公司 一种调度数据网行为监测系统及方法
CN109389329A (zh) * 2018-11-13 2019-02-26 平安科技(深圳)有限公司 测试系统的测试性能预测方法、装置、介质及电子设备
CN109474483A (zh) * 2019-01-08 2019-03-15 Oppo广东移动通信有限公司 一种设备异常情况的检测方法、检测装置及终端设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491320A (zh) * 2018-03-05 2018-09-04 平安普惠企业管理有限公司 应用程序的异常分析方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731698A (zh) * 2013-12-20 2015-06-24 深圳中兴力维技术有限公司 基于自动化测试的异常测试用例自动生成处理方法及装置
CN108228442A (zh) * 2016-12-14 2018-06-29 华为技术有限公司 一种异常节点的检测方法及装置
CN108665237A (zh) * 2018-05-03 2018-10-16 广州供电局有限公司 一种基于业务系统建立自动巡检模型和定位异常的方法
CN109359098A (zh) * 2018-10-31 2019-02-19 云南电网有限责任公司 一种调度数据网行为监测系统及方法
CN109389329A (zh) * 2018-11-13 2019-02-26 平安科技(深圳)有限公司 测试系统的测试性能预测方法、装置、介质及电子设备
CN109474483A (zh) * 2019-01-08 2019-03-15 Oppo广东移动通信有限公司 一种设备异常情况的检测方法、检测装置及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
试析基于大数据机器学习的进程行为异常检测方法;陈兵兵;;智能城市(22);全文 *

Also Published As

Publication number Publication date
CN110069401A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110069401B (zh) 基于数据建模的系统测试异常定位方法及系统
CN110162442B (zh) 一种系统性能瓶颈定位方法及系统
CN110147318B (zh) 一种生成测试数据的方法及装置、电子设备
KR20200085490A (ko) 신경망 모델을 이용한 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체
CN110717509B (zh) 基于树分裂算法的数据样本分析方法及装置
CN110460583B (zh) 一种敏感信息记录方法及装置、电子设备
CN110348703B (zh) 基于用户行为画像的数据处理方法、装置及电子设备
CN109766483B (zh) 正则表达式生成方法、装置、计算机设备和存储介质
CN111078446A (zh) 一种故障信息获取方法、装置、电子设备及存储介质
CN110347672A (zh) 数据表关联更新的验证方法及装置、电子设备及存储介质
CN110111062B (zh) 一种基于大数据的伪装考勤场景识别方法及装置
CN110334008B (zh) 一种数据自动化处理方法、装置、电子设备及存储介质
CN112131079A (zh) 数据监控方法、装置、电子设备和存储介质
CN109543409B (zh) 用于检测恶意应用及训练检测模型的方法、装置及设备
CN110119354A (zh) 基于测试用例生成的软件测试方法、装置及电子设备
CN110457365B (zh) 基于时序并行的决策树生成方法及装置、电子设备
CN110716914B (zh) 数据库配置方法、系统、计算机可读存储介质及终端设备
CN110046095B (zh) 基于测试流程改进的系统集成方法及装置
CN109800784B (zh) 基于神经网络的合同核对方法及装置
CN109783313B (zh) 一种系统异常处理方法及系统
CN109525548B (zh) 一种基于代价函数的白名单更新方法、装置及电子设备
CN110288272B (zh) 数据处理方法、装置、电子设备及存储介质
CN109241729B (zh) 应用程序的检测、处理方法、装置、终端设备及电子设备
CN111124721B (zh) 网页处理方法、装置及电子设备
CN110096427A (zh) 基于软件测试的异常系统定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant