CN109871315A - 基于机器学习的系统升级失败的诊断方法及装置 - Google Patents

基于机器学习的系统升级失败的诊断方法及装置 Download PDF

Info

Publication number
CN109871315A
CN109871315A CN201910004453.4A CN201910004453A CN109871315A CN 109871315 A CN109871315 A CN 109871315A CN 201910004453 A CN201910004453 A CN 201910004453A CN 109871315 A CN109871315 A CN 109871315A
Authority
CN
China
Prior art keywords
upgrading
index value
analysis system
test
data analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910004453.4A
Other languages
English (en)
Other versions
CN109871315B (zh
Inventor
陈珍妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910004453.4A priority Critical patent/CN109871315B/zh
Publication of CN109871315A publication Critical patent/CN109871315A/zh
Priority to PCT/CN2019/117672 priority patent/WO2020140619A1/zh
Application granted granted Critical
Publication of CN109871315B publication Critical patent/CN109871315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明揭示了一种基于机器学习的系统升级失败的诊断方法、装置、计算机设备及存储介质,属于计算机技术领域,其中方法包括:获取对金融数据分析系统测试得到的测试指标值,其中,所述测试指标值为金融数据分析系统在被测试为升级失败时,对测试时向所述金融数据分析系统输入金融产品的运行数据后所述金融数据分析系统针对测试指标得到的数值;将所述测试指标值输入至预设的第一机器学习模型进行处理得到升级失败类型标签。本发明提出的方法使得在金融数据分析系统升级失败时,能快速找到金融数据分析系统升级失败的原因,并及时对金融数据分析系统升级失败的问题进行处理,提高金融数据分析系统升级开发的效率。

Description

基于机器学习的系统升级失败的诊断方法及装置
技术领域
本发明涉及计算机技术领域,特别是涉及检测基于机器学习的系统升级失败的诊断方法、装置、计算机设备及存储介质。
背景技术
金融数据分析系统是指对金融产品的运行数据进行分析,例如对股票的涨跌曲线进行分析,从而得到金融分析指标值的系统。其中,金融分析指标一般包括持仓率、涨跌率等指标。由于金融数据分析系统在升级后,金融数据分析系统中的代码发生相应改变,其性能可能出现波动,因此需要测试金融数据分析系统的该次升级是否成功。
在对金融数据分析系统进行升级测试时,将某一金融产品的运行数据分别输入到升级前以及升级后的金融数据分析系统中进行分析得到对应的金融分析指标值,如果升级前后得到的金融分析指标值相差很大,则说明金融数据分析系统此次升级失败。
现有技术中,对于金融数据分析系统升级失败的情况,一般只能将升级前以及升级后的金融数据分析系统对应的代码进行比对确定升级失败的原因。由于该方法需要开发人员花费大量的时间去分析代码,因此无法快速找到金融数据分析系统升级失败的原因,从而不能及时对金融数据分析系统升级失败的问题进行处理,使得金融数据分析系统升级开发的效率降低。
发明内容
基于此,为解决现有技术中,对于金融数据分析系统升级失败的情况,无法快速找到金融数据分析系统升级失败的原因的技术问题,本发明提供了一种基于机器学习的系统升级失败的诊断方法、装置、计算机设备及存储介质。
第一方面,本发明提供了一种基于机器学习的系统升级失败的诊断方法,包括:
获取对金融数据分析系统测试得到的测试指标值,其中,所述测试指标值为金融数据分析系统在被测试为升级失败时,对测试时向所述金融数据分析系统输入金融产品的运行数据后所述金融数据分析系统针对测试指标得到的数值;
将所述测试指标值输入至预设的第一机器学习模型进行处理得到升级失败类型标签,其中,所述第一机器学习模型用于根据所述测试指标值确定所述金融数据分析系统在升级失败时的升级失败类型,作为升级失败类型标签;
将所述测试指标值以及所述升级失败类型标签输入至预设的第二机器学习模型进行处理得到升级失败原因标签,其中,所述第二机器学习模型用于根据所述测试指标值以及所述升级失败类型标签确定所述金融数据分析系统在升级失败时的升级失败原因,作为升级失败原因标签;
输出所述升级失败原因标签。
第二方面,本发明提供了一种基于机器学习的系统升级失败的诊断装置,所述装置包括:
第一获取单元,用于获取对金融数据分析系统测试得到的测试指标值,其中,所述测试指标值为金融数据分析系统在被测试为升级失败时,对测试时向所述金融数据分析系统输入金融产品的运行数据后所述金融数据分析系统针对测试指标得到的数值;
第一执行单元,用于将所述测试指标值输入至预设的第一机器学习模型进行处理得到升级失败类型标签,其中,所述第一机器学习模型用于根据所述测试指标值确定所述金融数据分析系统在升级失败时的升级失败类型,作为升级失败类型标签;
第二执行单元,用于将所述测试指标值以及所述升级失败类型标签输入至预设的第二机器学习模型进行处理得到升级失败原因标签,其中,所述第二机器学习模型用于根据所述测试指标值以及所述升级失败类型标签确定所述金融数据分析系统在升级失败时的升级失败原因,作为升级失败原因标签;
输出单元,用于输出所述升级失败原因标签。
第三方面,本发明提供了一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述基于机器学习的系统升级失败的诊断方法的步骤。
第四方面,本发明提供了一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述基于机器学习的系统升级失败的诊断方法的步骤。
本发明提供的技术方案可以包括以下有益效果:
获取对金融数据分析系统测试得到的测试指标值;将所述测试指标值输入至预设的第一机器学习模型进行处理得到升级失败类型标签;将所述测试指标值以及所述升级失败类型标签输入至预设的第二机器学习模型进行处理得到升级失败原因标签;输出所述升级失败原因标签。对于金融数据分析系统升级失败的情况,本发明能快速找到金融数据分析系统升级失败的原因,从而能及时对金融数据分析系统升级失败的问题进行处理,使得金融数据分析系统升级开发的效率显著提高。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
图1是本发明第一实施例中提供的基于机器学习的系统升级失败的诊断方法的实现流程图。
图2是本发明第二实施例中提供的基于机器学习的系统升级失败的诊断方法的实现流程图。
图3是本发明第三实施例中提供的基于机器学习的系统升级失败的诊断装置的实现流程图。
图4示意性示出一种用于实现上述基于机器学习的系统升级失败的诊断方法的计算机设备的示例框图。
图5示意性示出一种用于实现上述基于机器学习的系统升级失败的诊断方法的计算机可读存储介质。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参阅图1,图1是本发明第一实施例提供的一种基于机器学习的系统升级失败的诊断方法的实现流程图,本实施例中的基于机器学习的系统升级失败的诊断方法的执行主体为计算机设备,本发明中的系统指的是金融数据分析系统,其中,金融数据分析系统是指对金融产品的运行数据,例如股票的涨跌曲线进行分析,从而得到金融分析指标值的系统。
如图1所示的基于机器学习的系统升级失败的诊断方法可包括以下步骤:
步骤S101,获取对金融数据分析系统测试得到的测试指标值,其中,所述测试指标值为金融数据分析系统在被测试为升级失败时,对测试时向所述金融数据分析系统输入金融产品的运行数据后所述金融数据分析系统针对测试指标得到的数值。
在步骤S101中,对于金融数据分析系统,需要对其进行定期的升级更新,以使得该系统的功能更加完善。在对金融数据分析系统进行升级更新时,由于金融数据分析系统中对应的代码会产生改变,因此其性能可能会产生相应的波动,因此需要对升级后的金融数据分析系统进行升级测试,判断其是否升级成功。
在对金融数据分析系统进行测试时,一般采用将某种金融产品的运行数据分别输入到升级前以及升级后的金融数据分析系统中进行分析,得到针对测试指标的金融分析指标值;如果升级前后得到的金融分析指标值相差很大,则说明金融数据分析系统的升级失败。其中,金融产品的运行数据具体可以为股票的涨跌曲线数据,相应的金融分析指标值具体可以为持仓率、涨跌率等指标,当然,并不限定于此。
在金融数据分析系统升级失败时,需要及时找到金融数据分析系统此次升级失败的原因,以使得管理人员能及时解决金融数据分析系统此时升级失败的问题,而金融数据分析系统在升级失败时,其对金融产品的运行数据进行分析得到的输出结果与金融数据分析系统升级失败的原因之间存在对应关系。为了获取金融数据分析系统升级失败的具体原因,计算机设备需要获取测试指标值,其中,该测试指标值为金融数据分析系统在升级失败时,对输入至金融数据分析系统中的金融产品的运行数据进行处理得到的输出结果,即对应的金融分析指标值,计算机设备需要基于该测试指标值确定金融数据分析系统在升级失败的具体原因。
步骤S102,将所述测试指标值输入至预设的第一机器学习模型进行处理得到升级失败类型标签,其中,所述第一机器学习模型用于根据所述测试指标值确定所述金融数据分析系统在升级失败时的升级失败类型,作为升级失败类型标签。
在步骤S102中,计算机设备将测试指标值输入至预设的第一机器学习模型进行处理得到升级失败类型标签。其中,第一机器学习模型需要经过训练得到,其存储于计算机设备中,第一机器学习模型具体用于对输入的测试指标值进行分析处理,确定金融数据分析系统在升级失败时的升级失败类型,并将其作为升级失败类型标签。
需要说明的是,金融数据分析系统在升级失败时,存在多种升级失败的原因,其中相似的升级失败的原因可以作为一个升级失败的类型标签,因此,每个升级失败类型标签中包含多个升级失败原因相似但是存在区别的升级失败原因标签,每个升级失败原因标签表示金融数据分析系统在升级失败时的一种失败原因。
步骤S103,将所述测试指标值以及所述升级失败类型标签输入至预设的第二机器学习模型进行处理得到升级失败原因标签,其中,所述第二机器学习模型用于根据所述测试指标值以及所述升级失败类型标签确定所述金融数据分析系统在升级失败时的升级失败原因,作为升级失败原因标签。
在步骤S103中,计算机设备将测试指标值以及升级失败类型标签输入至预设的第二机器学习模型进行处理得到升级失败原因标签。其中,第二机器学习模型需要经过训练得到,其存储于计算机设备中,第二机器学习模型用于对输入的测试指标值以及升级失败类型标签进行分析处理,确定金融数据分析系统在升级失败时的升级失败原因,并将其作为升级失败原因标签。
由于每个升级失败类型标签中包含多个升级失败原因相似但是存在区别的升级失败原因标签,为了进一步分析金融数据分析系统在升级失败时具体原因,第二机器学习模型需要根据测试指标值以及第一机器学习模型根据测试指标值所确定的升级失败原因标签去分析得到对应的升级失败原因标签。
步骤S104,输出所述升级失败原因标签。
在步骤S104中,计算机设备获取升级失败原因标签,并输出升级失败原因标签至对应的显示界面或展示界面中,便于管理人员及时获取金融数据分析系统在升级失败时的具体失败原因,从而能及时对金融数据分析系统升级失败的问题进行处理,使得金融数据分析系统升级开发的效率显著提高。
以上可以看出,计算机设备获取对金融数据分析系统测试得到的测试指标值;将所述测试指标值输入至预设的第一机器学习模型进行处理得到升级失败类型标签;将所述测试指标值以及所述升级失败类型标签输入至预设的第二机器学习模型进行处理得到升级失败原因标签;输出所述升级失败原因标签。对于金融数据分析系统升级失败的情况,本发明能快速找到金融数据分析系统升级失败的原因,从而能及时对金融数据分析系统升级失败的问题进行处理,使得金融数据分析系统升级开发的效率显著提高。
进一步地,在本实施例中,所述第一机器学习模型采用以下方法预先训练:
获取用于对第一机器训练模型进行训练的第一样本数据,并将所述第一样本数据分成第一训练集和第一测试集;其中,所述第一样本数据中的每条样本数据均包括所述测试指标值及已知的升级失败类型标签。
将所述第一训练集中的每条样本数据包含的所述测试指标值作为所述第一机器训练模型的输入,将所述第一训练集中的每条样本数据包含的所述已知的升级失败类型标签作为所述第一机器训练模型的输出,对所述第一机器训练模型进行训练。
将所述第一测试集中的每条样本数据包含的所述测试指标值输入至训练好的所述第一机器训练模型,得到预测的升级失败类型标签。
基于所述第一测试集中的每条样本数据包含的所述已知的升级失败类型标签对训练好的所述第一机器训练模型进行校验。
若校验通过,则将训练好的所述第一机器训练模型识别为所述第一机器学习模型。
计算机设备在对第一机器学习模型进行训练时,需要获取用于对第一机器训练模型进行训练的第一样本数据,并将第一样本数据分成第一训练集和第一测试集;其中,第一样本数据中的每条样本数据均包含测试指标值以及已知的升级失败类型标签,该测试指标值即为金融数据分析系统在升级失败时对输入的金融产品的运行数据集的单个金融产品的运行数据进行处理得到的输出结果,已知的升级失败类型标签为金融数据分析系统在升级失败时所已知的升级失败类型标签。
计算机设备将第一训练集中的每条样本数据包含的测试指标值作为第一机器训练模型的输入,将第一训练集中的每条样本数据包含的已知的升级失败类型标签作为第一机器训练模型的输出,对第一训练模型进行训练。
优选地,计算机设备将第一训练集中的每条样本数据包含的测试指标值作为第一机器训练模型的输入,将第一训练集中的每条样本数据包含的已知的升级失败类型标签作为第一机器训练模型的输出,对第一机器训练模型进行训练的方法可以包括:计算机设备对测试指标值进行归一化处理生成测试指标值向量。上述归一化处理是将测试指标值中的所有元素指标除以该元素指标的标准值生成对应的测试指标值向量;其中,每个元素指标的标准值指的是升级前的金融数据分析系统对输入的金融产品的运行数据进行处理得到的输出结果中对应的元素指标值;因此,计算机设备对测试指标值进行归一化处理时,还需要获取升级前的金融数据分析系统对输入的金融产品的运行数据进行处理得到的输出结果,以便于对测试指标值进行归一化处理生成测试指标值向量。
计算机设备在对测试指标值进行归一化处理生成测试指标值向量之后,还对第一训练集中的每个样本对应的测试指标值向量通过聚类算法,聚成N个类,其中,N为大于1的正整数,通过上述方法聚成的每个类的测试指标值向量具有相似的特点,计算机设备将根据聚成的每个类的测试指标值向量对应的测试指标值所对应的升级失败类型标签为该类贴上相应的升级失败类型标签。
计算机设备通过聚类算法,聚成N个类的方法具体包括:在所有的测试指标值向量中任取N个测试指标值向量,作为聚类中心;对于所有的测试指标值向量,确定每个测试指标值向量与每个聚类中心的距离,将该测试指标值向量归到与之距离最小的某个类中,根据聚成的每一类中所有测试指标值向量的平均向量,将其作为该类重新选取的聚类中心。
重复上述步骤,继续确定该测试指标值向量与每个聚类中心的距离,将该测试指标值向量归到与之距离最小的某个类中,根据聚成的每一类中所有测试指标值向量的平均向量,并将其再次作为该类重新选取的聚类中心。重复上述步骤,直到相邻两次聚类的结果完全一样为止,这样聚成的每个类的测试指标值向量具有相似的特点。
计算机设备从N个类中的每个类中各选取出多个测试指标值向量,并将选取每个类的多个测试指标值向量以及为该类所贴上的升级失败类型标签输入至第一机器训练模型,对第一机器训练模型进行训练,使得其学习根据测试指标值进行处理得到升级失败类型标签。
在第一机器训练模型训练完成后,计算机设备将第一测试集中的每条样本数据包含的测试指标值输入至训练好的第一机器训练模型,得到预测的升级失败类型标签。计算机设备基于第一测试集中的每条样本数据包含的已知的升级失败类型标签对训练好的第一机器训练模型进行校验,若校验通过,则将训练好的第一机器训练模型识别为第一机器学习模型,否则,则继续对第一机器训练模型进行训练。
其中,基于第一测试集中的每条样本数据包含的所述已知的升级失败类型标签对训练好的第一机器训练模型进行校验的方法,具体包括:判断第一测试集中的已知的升级失败类型标签与预测的升级失败类型标签是否一致来对训练好的第一训练模型进行校验。
若第一测试集中的已知的升级失败类型标签与预测的升级失败类型标签一致的样本数据条数占第一测试集中样本数据条数的比例超过预定比例阈值,则说明校验通过,因此计算机设备将训练好的第一机器训练模型识别为第一机器学习模型。若第一测试集中的已知的升级失败类型标签与预测的升级失败类型标签的样本数据条数占第一测试集中样本数据条数的比例小于或等于预定比例阈值,则说明校验未通过,计算机设备则需要继续对第一机器训练模型进行训练。
进一步地,在本实施例中,所述第二机器学习模型采用以下方法进行训练:
获取用于对第二机器训练模型进行训练的第二样本数据,并将所述第二样本数据分成第二训练集和第二测试集;其中,所述第二样本数据中的每条样本数据均包括所述测试指标值、所述预测的升级失败类型标签以及已知的升级失败原因标签。
将所述第二训练集中的每条样本数据包含的所述测试指标值、所述预测的升级失败类型标签作为所述第二机器训练模型的输入,将所述第二训练集中的每条样本数据包含的所述已知的升级失败原因标签作为所述第二机器训练模型的输出,对所述第二机器训练模型进行训练。
将所述第二测试集中的每条样本数据包含的所述测试指标值、所述预测的升级失败类型标签输入至训练好的所述第二机器训练模型,得到预测的升级失败原因标签。
基于所述第二测试集中的每条样本数据包含的所述已知的升级失败原因标签对训练好的所述第二机器训练模型进行校验。
若校验通过,则将训练好的所述第二机器训练模型识别为所述第二机器学习模型。
计算机设备在对第二机器学习模型进行训练时,需要获取用于对第二机器训练模型进行训练的第二样本数据,并将第二样本数据分成第二训练集和第二测试集;其中,第二样本数据中的每条样本数据均包含测试指标值、预测的升级失败类型标签以及已知的升级失败原因标签。该测试指标值即为金融数据分析系统在升级失败时对输入的金融产品的运行数据集的单个金融产品的运行数据进行处理得到的输出结果,预测的升级失败类型标签为第一机器学习模型对该测试指标值进行处理后的输出结果,已知的升级失败原因标签为金融数据分析系统在升级失败时所已知的升级失败的原因标签。
计算机设备将第二训练集中的每条样本数据包含的测试指标值、预测的升级失败类型标签以及已知的升级失败原因标签作为第二机器训练模型的输入,将第二训练集中的每条样本数据包含的已知的升级失败原因标签作为第二机器训练模型的输出,对第二机器训练模型进行训练,使得其学习根据测试指标值以及第一机器学习模型对该测试指标值进行处理后所确定的预测的升级失败类型标签进行处理得到预测的升级失败原因标签。
在第二机器训练模型训练完成后,计算机设备将第二测试集中的每条样本数据包含的测试指标值以及预测的升级失败类型标签入至训练好的所述第二机器训练模型,得到预测的升级失败原因标签;并基于第二测试集中的每条样本数据包含的已知的升级失败原因标签对训练好的第二机器训练模型进行校验,若校验通过,则将训练好的第二机器训练模型识别为第二机器学习模型,否则,则继续对第二机器训练模型进行训练。其中,基于第二测试集中的每条样本数据包含的已知的升级失败原因标签对训练好的第二机器训练模型进行校验的方法,具体包括:判断第二测试集中的已知的升级失败原因标签与预测的升级失败原因型标签是否一致对训练好的第二机器训练模型进行校验,若第二测试集中的已知的升级失败原因标签与预测的升级失败原因型标签一致的样本数据条数占第二测试集中样本数据条数的比例超过预定比例阈值,则说明校验通过,因此计算机设备将训练好的第二机器训练模型识别为第二机器学习模型。若第二测试集中的已知的升级失败原因标签与预测的升级失败类型标签不一致的样本数据条数占第一测试集中样本数据条数的比例小于或等于预定比例阈值,则说明校验未通过,计算机设备需要继续对第二机器训练模型进行训练。
参阅图2,图2是本发明第二实施例提供的基于机器学习的系统升级失败的诊断方法的实现流程图。本实施例与第一实施例的区别在于,本实施例中在S201之前还包括S2011~S2012。其中S201~S204与第一实施例中的S101~S104相同,具体请参阅第一实施例中S101~S104的相关描述,此处不赘述。S2011~S2012具体如下:
步骤S2011,获取升级前的金融数据分析系统对所述金融产品的运行数据进行处理得到的比对指标值,以及获取升级后的金融数据分析系统对所述金融产品的运行数据进行处理得到的所述测试指标值。
在步骤S2011中,计算机设备获取升级前的金融数据分析系统对金融产品的运行数据进行处理得到的比对指标值,比对指标值即为升级前的金融数据分析系统对金融产品的运行数据进行处理得到的金融分析指标值,计算机设备还获取升级后的金融数据分析系统对金融产品的运行数据进行处理得到的测试指标值;测试指标值即为升级后的金融数据分析系统对金融产品的运行数据进行处理得到的金融分析指标值。
步骤S2012,若所述测试指标值和所述比对指标值之间的差值大于或等于预设阈值,则判定所述金融数据分析系统升级失败。
在步骤S2012中,计算机设备将测试指标值和比对指标值进行比对,若测试指标值和比对指标值之间的差值大于或等于预设阈值,则说明升级前后得到的金融分析指标值相差很大,则计算机设备判定金融数据分析系统的此次升级失败,其中,该预设阈值根据测试指标值中的具体的指标类型进行设置。
进一步地,参阅图2,第二实施例中的基于机器学习的系统升级失败的诊断方法,在步骤S2011之后还包括步骤S2013。
步骤S2013,若所述测试指标值和所述比对指标值之间的差值小于预设阈值,则判定所述金融数据分析系统升级成功。
在步骤S2013中,计算机设备将测试指标值和比对指标值进行比对,若测试指标值和比对指标值之间的差值小于预设阈值,则说明升级前后得到的金融分析指标值相差很小,则计算机设备判定金融数据分析系统此次升级成功。
参阅图3,图3是本发明第三实施例提供的基于机器学习的系统升级失败的诊断装置,所述基于机器学习的系统升级失败的诊断装置可以集成于上述的计算机设备中,具体可以包括第一获取单元101、第一执行单元102、第二执行单元103以及代理输出单元104。
第一获取单元101,用于获取对金融数据分析系统测试得到的测试指标值,其中,所述测试指标值为金融数据分析系统在被测试为升级失败时,对测试时向所述金融数据分析系统输入金融产品的运行数据后所述金融数据分析系统针对测试指标得到的数值。
第一执行单元102,用于将所述测试指标值输入至预设的第一机器学习模型进行处理得到升级失败类型标签,其中,所述第一机器学习模型用于根据所述测试指标值确定所述金融数据分析系统在升级失败时的升级失败类型,作为升级失败类型标签。
第二执行单元103,用于将所述测试指标值以及所述升级失败类型标签输入至预设的第二机器学习模型进行处理得到升级失败原因标签,其中,所述第二机器学习模型用于根据所述测试指标值以及所述升级失败类型标签确定所述金融数据分析系统在升级失败时的升级失败原因,作为升级失败原因标签。
输出单元104,用于输出所述升级失败原因标签。
上述装置中各个模块的功能和作用的实现过程具体详见上述基于机器学习的系统升级失败的诊断方法中对应步骤的实现过程,在此不再赘述。
可选地,所述基于机器学习的系统升级失败的诊断装置,还包括:
第二获取单元,用于获取升级前的金融数据分析系统对所述金融产品的运行数据进行处理得到的比对指标值,以及获取升级后的金融数据分析系统对所述金融产品的运行数据进行处理得到的所述测试指标值。
第一判定单元,用于若所述测试指标值和所述比对指标值之间的差值大于或等于预设阈值,则判定所述金融数据分析系统升级失败。
可选地,所述基于机器学习的系统升级失败的诊断装置,还包括:
第二判定单元,用于若所述测试指标值和所述比对指标值之间的差值小于预设阈值,则判定所述金融数据分析系统升级成功。
可选地,所述第一机器学习模型采用以下方法预先训练:
获取用于对第一机器训练模型进行训练的第一样本数据,并将所述第一样本数据分成第一训练集和第一测试集;其中,所述第一样本数据中的每条样本数据均包括所述测试指标值及已知的升级失败类型标签。
将所述第一训练集中的每条样本数据包含的所述测试指标值作为所述第一机器训练模型的输入,将所述第一训练集中的每条样本数据包含的所述已知的升级失败类型标签作为所述第一机器训练模型的输出,对所述第一机器训练模型进行训练。
将所述第一测试集中的每条样本数据包含的所述测试指标值输入至训练好的所述第一机器训练模型,得到预测的升级失败类型标签。
基于所述第一测试集中的每条样本数据包含的所述已知的升级失败类型标签对训练好的所述第一机器训练模型进行校验。
若校验通过,则将训练好的所述第一机器训练模型识别为所述第一机器学习模型。
可选地,所述基于所述第一测试集中的每条样本数据包含的所述已知的升级失败类型标签对训练好的所述第一机器训练模型进行校验的步骤,包括:
判断所述第一测试集中的每条样本数据包含的所述已知的升级失败类型标签与所述预测的升级失败类型标签是否一致对所述训练好的所述第一机器训练模型进行校验。
所述若校验通过,则将训练好的所述第一机器训练模型识别为所述第一机器学习模型的步骤,包括:
若所述第一测试集中的所述已知的升级失败类型标签与所述预测的升级失败类型标签一致的样本数据条数占第一测试集中样本数据条数的比例超过预定比例阈值,则将训练好的所述第一机器训练模型识别为所述第一机器学习模型。
可选地,所述第二机器学习模型采用以下方法进行训练:
获取用于对第二机器训练模型进行训练的第二样本数据,并将所述第二样本数据分成第二训练集和第二测试集;其中,所述第二样本数据中的每条样本数据均包括所述测试指标值、所述预测的升级失败类型标签以及已知的升级失败原因标签。
将所述第二训练集中的每条样本数据包含的所述测试指标值、所述预测的升级失败类型标签作为所述第二机器训练模型的输入,将所述第二训练集中的每条样本数据包含的所述已知的升级失败原因标签作为所述第二机器训练模型的输出,对所述第二机器训练模型进行训练。
将所述第二测试集中的每条样本数据包含的所述测试指标值、所述预测的升级失败类型标签输入至训练好的所述第二机器训练模型,得到预测的升级失败原因标签。
基于所述第二测试集中的每条样本数据包含的所述已知的升级失败原因标签对训练好的所述第二机器训练模型进行校验。
若校验通过,则将训练好的所述第二机器训练模型识别为所述第二机器学习模型。
可选地,所述基于所述第二测试集中的每条样本数据包含的所述已知的升级失败原因标签对训练好的所述第二机器训练模型进行校验的步骤,包括:
判断所述第二测试集中的每条样本数据包含的所述已知的升级失败原因标签与所述预测的升级失败原因标签是否一致对所述训练好的所述第二机器训练模型进行校验。
所述若校验通过,则将训练好的所述第二机器训练模型识别为所述第二机器学习模型的步骤,包括:
若所述第二测试集中的已知的升级失败原因标签与所述预测的升级失败类型标签一致的样本数据条数占第二测试集中样本数目条数的比例超过预定比例阈值,则将训练好的所述第二机器训练模型识别为所述第二机器学习模型。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
参阅图4,图4是根据本发明的这种实施方式的计算机设备400。图4显示的电子设备400仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于:上述至少一个处理单元410、上述至少一个存储单元420、连接不同系统组件(包括存储单元420和处理单元410)的总线430。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元410执行,使得所述处理单元410执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元410可以执行如图1中所示的步骤S101:获取对金融数据分析系统测试得到的测试指标值;步骤S102:将所述测试指标值输入至预设的第一机器学习模型进行处理得到升级失败类型标签;步骤S103:将所述测试指标值以及所述升级失败类型标签输入至预设的第二机器学习模型进行处理得到升级失败原因标签;步骤S104:输出所述升级失败原因标签。
存储单元420可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)4201和/或高速缓存存储单元4202,还可以进一步包括只读存储单元(ROM)4203。
存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204,这样的程序模块4205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线430可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备400也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备400交互的设备通信,和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口440进行。并且,电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器460通过总线430与电子设备400的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图5所示,描述了根据本发明的实施方式的用于实现上述方法的程序产品500,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在计算机设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种基于机器学习的系统升级失败的诊断方法,其特征在于,包括:
获取对金融数据分析系统测试得到的测试指标值,其中,所述测试指标值为金融数据分析系统在被测试为升级失败时,对测试时向所述金融数据分析系统输入金融产品的运行数据后所述金融数据分析系统针对测试指标得到的数值;
将所述测试指标值输入至预设的第一机器学习模型进行处理得到升级失败类型标签,其中,所述第一机器学习模型用于根据所述测试指标值确定所述金融数据分析系统在升级失败时的升级失败类型,作为升级失败类型标签;
将所述测试指标值以及所述升级失败类型标签输入至预设的第二机器学习模型进行处理得到升级失败原因标签,其中,所述第二机器学习模型用于根据所述测试指标值以及所述升级失败类型标签确定所述金融数据分析系统在升级失败时的升级失败原因,作为升级失败原因标签;
输出所述升级失败原因标签。
2.根据权利要求1所述的方法,其特征在于,所述获取对金融数据分析系统测试得到的测试指标值的步骤之前,还包括:
获取升级前的金融数据分析系统对所述金融产品的运行数据进行处理得到的比对指标值,以及获取升级后的金融数据分析系统对所述金融产品的运行数据进行处理得到的所述测试指标值;
若所述测试指标值和所述比对指标值之间的差值大于或等于预设阈值,则判定所述金融数据分析系统升级失败。
3.根据权利要求2所述的方法,其特征在于,所述获取升级前的金融数据分析系统对所述金融产品的运行数据进行处理得到的比对指标值,以及获取升级后的金融数据分析系统对所述金融产品的运行数据进行处理得到的所述测试指标值的步骤之后,还包括:
若所述测试指标值和所述比对指标值之间的差值小于预设阈值,则判定所述金融数据分析系统升级成功。
4.根据权利要求1所述的方法,其特征在于,所述第一机器学习模型采用以下方法预先训练:
获取用于对第一机器训练模型进行训练的第一样本数据,并将所述第一样本数据分成第一训练集和第一测试集;其中,所述第一样本数据中的每条样本数据均包括所述测试指标值及已知的升级失败类型标签;
将所述第一训练集中的每条样本数据包含的所述测试指标值作为所述第一机器训练模型的输入,将所述第一训练集中的每条样本数据包含的所述已知的升级失败类型标签作为所述第一机器训练模型的输出,对所述第一机器训练模型进行训练;
将所述第一测试集中的每条样本数据包含的所述测试指标值输入至训练好的所述第一机器训练模型,得到预测的升级失败类型标签;
基于所述第一测试集中的每条样本数据包含的所述已知的升级失败类型标签对训练好的所述第一机器训练模型进行校验;
若校验通过,则将训练好的所述第一机器训练模型识别为所述第一机器学习模型。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一测试集中的每条样本数据包含的所述已知的升级失败类型标签对训练好的所述第一机器训练模型进行校验的步骤,包括:
判断所述第一测试集中的每条样本数据包含的所述已知的升级失败类型标签与所述预测的升级失败类型标签是否一致对所述训练好的所述第一机器训练模型进行校验;
所述若校验通过,则将训练好的所述第一机器训练模型识别为所述第一机器学习模型的步骤,包括:
若所述第一测试集中的所述已知的升级失败类型标签与所述预测的升级失败类型标签一致的样本数据条数占第一测试集中样本数据条数的比例超过预定比例阈值,则将训练好的所述第一机器训练模型识别为所述第一机器学习模型。
6.根据权利要求4所述的方法,其特征在于,所述第二机器学习模型采用以下方法进行训练:
获取用于对第二机器训练模型进行训练的第二样本数据,并将所述第二样本数据分成第二训练集和第二测试集;其中,所述第二样本数据中的每条样本数据均包括所述测试指标值、所述预测的升级失败类型标签以及已知的升级失败原因标签;
将所述第二训练集中的每条样本数据包含的所述测试指标值、所述预测的升级失败类型标签作为所述第二机器训练模型的输入,将所述第二训练集中的每条样本数据包含的所述已知的升级失败原因标签作为所述第二机器训练模型的输出,对所述第二机器训练模型进行训练;
将所述第二测试集中的每条样本数据包含的所述测试指标值、所述预测的升级失败类型标签输入至训练好的所述第二机器训练模型,得到预测的升级失败原因标签;
基于所述第二测试集中的每条样本数据包含的所述已知的升级失败原因标签对训练好的所述第二机器训练模型进行校验;
若校验通过,则将训练好的所述第二机器训练模型识别为所述第二机器学习模型。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第二测试集中的每条样本数据包含的所述已知的升级失败原因标签对训练好的所述第二机器训练模型进行校验的步骤,包括:
判断所述第二测试集中的每条样本数据包含的所述已知的升级失败原因标签与所述预测的升级失败原因标签是否一致对所述训练好的所述第二机器训练模型进行校验;
所述若校验通过,则将训练好的所述第二机器训练模型识别为所述第二机器学习模型的步骤,包括:
若所述第二测试集中的已知的升级失败原因标签与所述预测的升级失败类型标签一致的样本数据条数占第二测试集中样本数目条数的比例超过预定比例阈值,则将训练好的所述第二机器训练模型识别为所述第二机器学习模型。
8.一种基于机器学习的系统升级失败的诊断装置,其特征在于,所述装置包括:
第一获取单元,用于获取对金融数据分析系统测试得到的测试指标值,其中,所述测试指标值为金融数据分析系统在被测试为升级失败时,对测试时向所述金融数据分析系统输入金融产品的运行数据后所述金融数据分析系统针对测试指标得到的数值;
第一执行单元,用于将所述测试指标值输入至预设的第一机器学习模型进行处理得到升级失败类型标签,其中,所述第一机器学习模型用于根据所述测试指标值确定所述金融数据分析系统在升级失败时的升级失败类型,作为升级失败类型标签;
第二执行单元,用于将所述测试指标值以及所述升级失败类型标签输入至预设的第二机器学习模型进行处理得到升级失败原因标签,其中,所述第二机器学习模型用于根据所述测试指标值以及所述升级失败类型标签确定所述金融数据分析系统在升级失败时的升级失败原因,作为升级失败原因标签;
输出单元,用于输出所述升级失败原因标签。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的方法。
10.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至7中任一项所述的方法。
CN201910004453.4A 2019-01-03 2019-01-03 基于机器学习的系统升级失败的诊断方法及装置 Active CN109871315B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910004453.4A CN109871315B (zh) 2019-01-03 2019-01-03 基于机器学习的系统升级失败的诊断方法及装置
PCT/CN2019/117672 WO2020140619A1 (zh) 2019-01-03 2019-11-12 基于机器学习的系统升级失败的诊断方法、装置、计算机设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910004453.4A CN109871315B (zh) 2019-01-03 2019-01-03 基于机器学习的系统升级失败的诊断方法及装置

Publications (2)

Publication Number Publication Date
CN109871315A true CN109871315A (zh) 2019-06-11
CN109871315B CN109871315B (zh) 2021-09-24

Family

ID=66917467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910004453.4A Active CN109871315B (zh) 2019-01-03 2019-01-03 基于机器学习的系统升级失败的诊断方法及装置

Country Status (2)

Country Link
CN (1) CN109871315B (zh)
WO (1) WO2020140619A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362478A (zh) * 2019-06-19 2019-10-22 平安科技(深圳)有限公司 应用升级测试方法、装置、计算机设备和存储介质
CN110362479A (zh) * 2019-06-19 2019-10-22 平安科技(深圳)有限公司 系统升级测试方法和系统
CN110990575A (zh) * 2019-12-18 2020-04-10 斑马网络技术有限公司 测试用例失败原因分析方法、装置及电子设备
WO2020140619A1 (zh) * 2019-01-03 2020-07-09 平安科技(深圳)有限公司 基于机器学习的系统升级失败的诊断方法、装置、计算机设备及计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100066B (zh) * 2020-09-10 2023-07-04 杭州览众数据科技有限公司 一种数据指标准确性的校验方法及自动化测试工具
CN112785001B (zh) * 2021-03-02 2024-01-05 华南师范大学 克服歧视与偏见的人工智能教育反省机器人
CN113900865B (zh) * 2021-08-16 2023-07-11 广东电力通信科技有限公司 智能的电网设备自动化测试方法、系统和可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100169243A1 (en) * 2008-12-27 2010-07-01 Kibboko, Inc. Method and system for hybrid text classification
CN106407664A (zh) * 2016-08-31 2017-02-15 深圳市中识创新科技有限公司 呼吸气体诊断系统的领域自适应方法及装置
CN108196143A (zh) * 2017-12-11 2018-06-22 囯网河北省电力有限公司电力科学研究院 电力变压器故障深度诊断方法及终端设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303197B (zh) * 2015-11-11 2019-01-25 中通服咨询设计研究院有限公司 一种基于机器学习的车辆跟车安全自动评估方法
EP3188041B1 (en) * 2015-12-31 2021-05-05 Dassault Systèmes Update of a machine learning system
US10289925B2 (en) * 2016-11-29 2019-05-14 Sap Se Object classification in image data using machine learning models
CN106790008B (zh) * 2016-12-13 2018-08-24 浙江中都信息技术有限公司 用于在企业网络中检测异常主机的机器学习系统
CN107844867A (zh) * 2017-11-22 2018-03-27 广州优视网络科技有限公司 数据处理方法、装置及设备
CN109871315B (zh) * 2019-01-03 2021-09-24 平安科技(深圳)有限公司 基于机器学习的系统升级失败的诊断方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100169243A1 (en) * 2008-12-27 2010-07-01 Kibboko, Inc. Method and system for hybrid text classification
CN106407664A (zh) * 2016-08-31 2017-02-15 深圳市中识创新科技有限公司 呼吸气体诊断系统的领域自适应方法及装置
CN108196143A (zh) * 2017-12-11 2018-06-22 囯网河北省电力有限公司电力科学研究院 电力变压器故障深度诊断方法及终端设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140619A1 (zh) * 2019-01-03 2020-07-09 平安科技(深圳)有限公司 基于机器学习的系统升级失败的诊断方法、装置、计算机设备及计算机可读存储介质
CN110362478A (zh) * 2019-06-19 2019-10-22 平安科技(深圳)有限公司 应用升级测试方法、装置、计算机设备和存储介质
CN110362479A (zh) * 2019-06-19 2019-10-22 平安科技(深圳)有限公司 系统升级测试方法和系统
CN110990575A (zh) * 2019-12-18 2020-04-10 斑马网络技术有限公司 测试用例失败原因分析方法、装置及电子设备
CN110990575B (zh) * 2019-12-18 2023-06-23 斑马网络技术有限公司 测试用例失败原因分析方法、装置及电子设备

Also Published As

Publication number Publication date
CN109871315B (zh) 2021-09-24
WO2020140619A1 (zh) 2020-07-09

Similar Documents

Publication Publication Date Title
CN109871315A (zh) 基于机器学习的系统升级失败的诊断方法及装置
US10490184B2 (en) Voice recognition apparatus and method
CN109325541A (zh) 用于训练模型的方法和装置
CN110136723A (zh) 基于语音信息的数据处理方法及装置
CN109583332A (zh) 人脸识别方法、人脸识别系统、介质及电子设备
CN106502889B (zh) 预测云软件性能的方法和装置
CN105488539B (zh) 分类模型的生成方法及装置、系统容量的预估方法及装置
CA3055506A1 (en) Payment method prediction method, payment method prediction apparatus, and computer-readable media
CN109857431A (zh) 代码修改方法及装置、计算机可读介质及电子设备
CN109840276A (zh) 基于文本意图识别的智能对话方法、装置和存储介质
CN109669853A (zh) 测试报告生成方法及装置、存储介质、电子终端
CN111105786B (zh) 一种多采样率语音识别方法、装置、系统及存储介质
CN108805071A (zh) 身份核验方法及装置、电子设备、存储介质
CN111178537B (zh) 一种特征提取模型训练方法及设备
CN109960650A (zh) 基于大数据的应用程序评估方法、装置、介质及电子设备
US11176019B2 (en) Automated breakpoint creation
CN110704597B (zh) 对话系统可靠性校验方法、模型生成方法及装置
US20220164204A1 (en) Self-learning artificial intelligence voice response based on user behavior during interaction
US20160357886A1 (en) System for analytic model development
CN109308226A (zh) 数据异常确定方法及装置、存储介质和电子设备
CN109660533A (zh) 实时识别异常流量的方法、装置、计算机设备和存储介质
CN110109824A (zh) 大数据自动回归测试方法、装置、计算机设备和存储介质
CN109783359A (zh) 自动检测接口有效标识的方法、装置和计算机设备
CN116932265A (zh) 故障模拟处理方法、装置、设备及存储介质
CN109933926A (zh) 用于预测航班可靠性的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant