CN113742216A - 一种检测机器学习引擎的效率的方法、装置和存储介质 - Google Patents
一种检测机器学习引擎的效率的方法、装置和存储介质 Download PDFInfo
- Publication number
- CN113742216A CN113742216A CN202110845950.4A CN202110845950A CN113742216A CN 113742216 A CN113742216 A CN 113742216A CN 202110845950 A CN202110845950 A CN 202110845950A CN 113742216 A CN113742216 A CN 113742216A
- Authority
- CN
- China
- Prior art keywords
- efficiency
- machine learning
- learning engine
- characteristic
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000012360 testing method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Testing Of Engines (AREA)
Abstract
本申请公开了一种检测机器学习引擎的效率的方法、装置和存储介质，该方法包括：获取训练样本集，训练样本集包括多个训练样本，训练样本包括机器学习引擎的特征参数以及与特征参数对应的第一效率结果；利用训练样本对效率预测模型进行训练；基于待测试机器学习引擎的特征参数与训练后的效率预测模型，生成待测试机器学习引擎的第二效率结果。通过上述方式，本申请能够快速计算出待测试机器学习引擎的工作效率，节省测试时间。
Description
技术领域
本申请涉及机器学习技术领域，具体涉及一种检测机器学习引擎的效率的方法、装置和存储介质。
背景技术
对于各种基于机器学习的引擎来说，效率是体现引擎性能的重要指标，在引擎的开发迭代过程中，引擎中模块的增减、功能的修改都对引擎效率有着潜在的影响，如何确定引擎效率合理的取值对体现引擎性能有着重要的价值。但相关技术中效率结果均是基于测试人员根据少量线上数据、人工建设的测试数据测试得到的效率结果，测试效率较低。
发明内容
本申请提供一种检测机器学习引擎的效率的方法、装置和存储介质，能够快速计算出待测试机器学习引擎的机器学习引擎的工作效率，节省测试时间。
为解决上述技术问题，本申请采用的技术方案是：提供一种检测机器学习引擎的效率的方法，该方法包括：获取训练样本集，训练样本集包括多个训练样本，训练样本包括机器学习引擎的特征参数以及与特征参数对应的第一效率结果；利用训练样本对效率预测模型进行训练；基于待测试机器学习引擎的特征参数与训练后的效率预测模型，生成待测试机器学习引擎的第二效率结果。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种检测装置，该检测装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的检测机器学习引擎的效率的方法。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的检测机器学习引擎的效率的方法。
通过上述方案，本申请的有益效果是：首先获取训练样本集，该训练样本包括机器学习引擎的特征参数以及与特征参数对应的第一效率结果；然后采用机器学习的方法，基于训练样本集去拟合一个关于效率结果与特征参数之间的关系的模型，生成一个训练好的效率预测模型；然后基于训练好的效率预测模型与待测试机器学习引擎的特征参数，便可得到第二效率结果，实现对待测试机器学习引擎的机器学习引擎的效率预测；由于利用训练好的模型来对待测试机器学习引擎的效率进行测试，无需进行多次测试，能够快速计算出待测试机器学习引擎的工作效率，降低测试效率所花费的时间，而且服务器还能够执行除测试效率之外的其他测试任务，无需占用服务器的所有资源。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的检测机器学习引擎的效率的方法一实施例的流程示意图；
图2是本申请提供的检测机器学习引擎的效率的方法另一实施例的流程示意图；
图3是图2所示的实施例中步骤21的流程示意图；
图4是本申请提供的检测装置一实施例的结构示意图；
图5是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中引擎效率的测试方法主要有两个方面的缺点：
1)测试耗时较长，且占用服务器资源
虽然测试人员测试引擎效率已经通过脚本实现自动化测试，但由于效率测试需多次重复以求取平均值，所以需要经历较长时间才可以得到最终的结果。并且在测试效率的过程中，服务器通常不允许进行其他的测试工作，服务器将会被长时间占用，给测试人员的工作带来极大的不便。
2)效率结果不稳定
在效率测试的过程中，每个版本的引擎针对同一效率测试数据集可能有不同的结果，通常都是对多次测试的结果取平均值，但是平均值容易受到异常值的影响，因此结果精度并不高。此外，在版本迭代的过程中，对引擎内部的修改有可能造成效率的提升或下降，但是通常都是通过测试人员主观去判断效率结果的升降，并没有一个可以量化的指标，导致版本修改实际给引擎效率带来的影响可能未被发现，使得效率结果不准确。
为了解决上述问题，本申请采用一种统计学原理结合机器学习算法模型的方法，来推断预测机器学习引擎的效率的合理值，下面对本申请所采用的引擎效率预测方案进行详细阐述。
请参阅图1，图1是本申请提供的检测机器学习引擎的效率的方法一实施例的流程示意图，该方法包括：
步骤11：获取训练样本集。
训练样本集包括多个训练样本，该训练样本包括机器学习引擎的特征参数以及与特征参数对应的第一效率结果；具体地，机器学习引擎为基于机器学习实现各种图像处理任务、文字处理任务或语音处理任务的引擎，比如：自然语言处理(Natural LanguageProcessing，NLP)或光学字符识别(Optical Character Recognition，OCR)，第一效率结果为机器学习引擎对输入的效率测试数据集进行处理所花费的时间。
进一步地，一个引擎的效率受多方面因素的影响，例如：引擎代码模块数、使用的模型种类、使用的模型参数或规则数量等，可以通过统计学方法基于历史版本的大量测试结果(即历史效率测试结果)，推断出每一个历史版本的效率的合理取值(即第一效率结果)，并统计每个版本的引擎的具体模块数、引擎实现语言、代码行数、组件数、规则行数、模型数或模型种类等与引擎相关的特征参数，基于特征参数以及与特征参数对应的第一效率结果，构建训练样本，即待测试机器学习引擎与机器学习引擎为同一引擎的不同版本，训练样本中的特征参数为待测试机器学习引擎的当前版本之前的历史版本的特征参数。
可以理解地，在其他实施例中，还可将当前版本的特征参数也加入训练样本，即训练样本包括历史版本的特征参数与历史版本的特征参数，能够增加训练样本的数量，且由于引入当前版本的信息，可提升效率预测模型对当前版本的效率结果的预测准确率。或者，待测试机器学习引擎与机器学习引擎还可为不同引擎，但需要具有相似的特征参数或两个引擎的功能/作用相似，以便利用机器学习引擎的信息去训练效率预测模型，进而预测待测试机器学习引擎的工作效率。
步骤12：利用训练样本对效率预测模型进行训练。
效率预测模型可以为基于机器学习的算法模型，比如：XGBOOST模型、线性回归模型、深度学习模型或树模型等；在获取到训练样本后，可将每个训练样本输入效率预测模型，得到相应的模型输出结果，通过对模型输出结果进行分析或对训练的次数进行分析，可以确定是否达到训练终止的条件，如果未达到训练终止的条件，就继续将训练样本集中的训练样本输入效率预测模型，并调整模型的参数，直至满足训练终止的条件，得到一个训练好的效率预测模型。
可以理解地，可以根据具体应用需要，选择直接将特征参数输入效率预测模型，或者先对特征参数进行处理、再输入效率预测模型。
步骤13：基于待测试机器学习引擎的特征参数与训练后的效率预测模型，生成待测试机器学习引擎的第二效率结果。
待测试机器学习引擎为当前待估测效率的机器学习引擎，在完成对效率预测模型的训练后，获取待测试机器学习引擎的特征参数，然后将该特征参数输入训练后的效率预测模型，或者对特征参数进行处理、再输入训练后的效率预测模型，得到相应的效率结果(即第二效率结果)。例如，以机器学习引擎与待测试机器学习引擎为相同引擎的不同版本为例，当前版本为3.0，历史版本包括1.0与2.0，可收集1.0版本与2.0版本的特征参数与效率结果，以形成训练样本集，然后用训练样本集中的数据进行训练，得到一个对效率估计准确率较高的效率预测模型；然后采用效率预测模型对3.0版本的特征参数进行处理，便可得到3.0版本的效率结果。
本实施例提出了一种将统计学和机器学习相结合以确定引擎效率的合理值的方法，首先根据历史效率测试结果，统计出每一个版本所对应的测试效率作为因变量，并统计出每一版本的引擎的特征参数，以生成训练样本集；然后采用机器学习方法基于训练样本集去拟合一个关于效率结果与版本特征的模型，得到训练好的效率预测模型，输入待测试机器学习引擎的特征至该效率预测模型即可得到相应的效率结果。由于利用训练好的模型来对待测试机器学习引擎进行效率估计，无需进行多次测试，测试所花费的时间较短，而且服务器能够执行除测试引擎效率以外的其他测试任务，不占用服务器的所有资源。
请参阅图2，图2是本申请提供的检测机器学习引擎的效率的方法另一实施例的流程示意图，该方法包括：
步骤21：统计每个历史版本的特征参数与对应的第一效率结果。
为了获取训练样本集，可采用如图3所示的方法进行数据收集，具体包括：
步骤211：获取历史版本的特征参数，并采用历史版本的机器学习引擎对效率测试数据集进行处理，得到效率结果。
可获取效率测试数据集，该效率测试数据集包括效率测试数据，效率测试数据为机器学习引擎的输入数据，检测机器学习引擎从接收到效率测试数据开始至输出处理结果所花费的时间即为效率结果。数据收集包括两个层面：特征层面与效率结果层面，下面进行详细描述。
(1)获取历史版本的多个特征参数。
不同的机器学习引擎虽然处理方式不同，但影响机器学习引擎效率的共通之处甚多；为了模型的建立与预测，收集可能影响引擎效率的所有特征参数以及每个版本对应的效率结果，具体的特征参数如下表所示：
以上表格的内容为可能对引擎效率有影响的特征参数，具体应用中还可发掘出更多特征，虽然特征的增多可能使得模型过拟合，但是通过后续的特征工程可以很好地避免出现此问题。
由以上描述可知：特征参数包括代码量、代码语言、引擎模块数量、模型种类、资源的大小、资源的种类、服务器核数、中央处理器(central processing unit，CPU)主频、效率测试数据集大小或测试配置数据；具体地，代码语言包括C++、Java或Python，资源包括规则或文法，测试配置数据包括外部请求数或内部并发数。
(2)对特征参数进行处理，得到第一特征值。
在获取到影响效率的特征参数之后，可进行特征工程，包括但不限制于使用归一化、特征编码或特征筛选等手段对特征参数进行处理，获得可以用来训练模型的第一特征值。
在一具体的实施例中，先对特征参数进行编码处理，得到第三特征值；再对第三特征值进行归一化，得到第一特征值；具体地，可使用独热(One-Hot)编码对特征参数进行编码；为了方便计算，每种特征参数对应的第一特征值的长度可以设置为相同。
在另一具体的实施例中，先对特征参数进行编码处理，得到第三特征值；再采用特征筛选方法对第三特征值进行特征选取处理，得到第一特征值。
在其他实施例例中，还可先对特征参数进行编码处理，得到第三特征值；再对第三特征值进行归一化，得到第四特征值；然后采用特征筛选方法对第四特征值进行特征选取处理，得到第一特征值。
步骤212：对所有效率结果进行平均，得到第一效率结果。
由于同一版本的引擎针对同一效率测试数据集的效率可能不同，不同版本之间针对同一效率测试数据集的效率也可能不同，因此如何确定每一个版本对应的效率值是非常关键的问题。每个历史版本的第一效率结果可以采用测试多次取平均值的方式获得，即对每个历史版本的机器学习引擎的所有效率结果进行平均，得到该历史版本的第一效率结果。例如，假设对机器学习引擎的1.2版本进行N次测试，得到的测试结果分别为T1-TN，则1.2版本的第一效率结果为:(T1+T2+…+TN)/N。
步骤22：将历史版本的特征参数与第一效率结果组成训练样本，以构建训练样本集。
在获取到每个版本的特征参数以及相应的第一效率结果后，将第一特征值与第一效率结果配对组成训练样本，最终得到训练样本集，该训练样本集包括训练集与测试集，训练集与测试集均包括多个训练样本。
步骤23：从训练样本集中选择一个训练样本，并将训练样本的第一特征值输入效率预测模型，得到当前效率结果。
根据收集来的数据(即因变量(第一效率结果)以及对应的可能影响效率的第一特征值)可以对效率预测模型进行训练；具体地，从训练集中选择一个训练样本(记作当前样本)，将该当前样本的第一特征值输入效率预测模型，以使得效率预测模型对第一特征值进行处理得到预估的效率结果(即当前效率结果)。
步骤24：将当前效率结果与第一效率结果进行比较，并调整效率预测模型的参数，直至满足预设训练停止条件，得到训练后的效率预测模型。
将当前效率结果与当前样本的第一效率结果进行比较，计算出当前损失值；然后判断当前是否满足预设停止条件，如果未达到预设停止条件，则继续使用训练集中的训练样本进行训练，并调整模型参数，直至完成训练，得到训练好的效率预测模型。
进一步地，预设停止条件包括：损失值收敛，即上一损失值与当前损失值的差值小于设定值；判定当前损失值是否小于预设损失值，该预设损失值为预先设置的损失阈值，若当前损失值小于预设损失值，则确定达到预设停止条件；训练次数达到设定值(例如：训练10000次)；或者使用测试集进行测试时获得的准确率达到设定条件(比如：超过预设准确率)等。
在一具体的实施例中，效率预测模型可以为有监督学习模型，比如：XGBOOST模型，XGBOOST模型具有特征重要性选择的作用，可以根据XGBOOST模型选择出的对效率影响较大的特征值进行模型训练。
步骤25：获取待测试机器学习引擎的特征参数，并对待测试机器学习引擎的特征参数进行处理，得到第二特征值。
待测试机器学习引擎为当前版本的机器学习引擎，获取该机器学习引擎的特征参数，然后采用与历史版本的特征参数的处理方式相同的手段，对该特征参数进行处理(比如：编码、归一化或特征筛选)，生成第二特征值。
步骤26：将第二特征值输入训练后的效率预测模型，得到第二效率结果。
将待测试机器学习引擎的第二特征值输入训练好的效率预测模型，即可得到第二效率结果。
本实施例通过统计学方法，基于历史过往的大量测试结果推断出每一个引擎效率所对应的合理取值；在此基础上，通过机器学习模型算法，基于影响引擎效率的各种因素的特征值去拟合模型，并通过特征工程选出对引擎效率影响较大的特征值，找到引擎中存在的各种特征与效率之间的关系，生成一个效率预测模型。相关技术中效率的测试工作往往费时且占用机器，难以获得不同服务器环境、不同版本下的精确的效率结果；而通过本方案可以针对性的解决相关技术中的问题，根据历史的效率结果、引擎的相关特征建立模型，以进行效率结果的预测，虽然需要历史数据的建设，但是后期执行较为便捷，且预测的效率结果精确，可以实现高效率和高准确率地验证机器学习引擎的性能。
请参阅图4，图4是本申请提供的检测装置一实施例的结构示意图，检测装置40包括互相连接的存储器41和处理器42，存储器41用于存储计算机程序，计算机程序在被处理器42执行时，用于实现上述实施例中的检测机器学习引擎的效率的方法。
本实施例所提供的检测装置不仅可以解决迭代版本中引擎效率结果是否合理的问题，在针对全新版本的引擎的测试中也能很快地定位该版本的引擎效率的合理取值。
请参阅图5，图5是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质50用于存储计算机程序51，计算机程序51在被处理器执行时，用于实现上述实施例中的检测机器学习引擎的效率的方法。
计算机可读存储介质50可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种检测机器学习引擎的效率的方法，其特征在于，包括：
获取训练样本集，所述训练样本集包括多个训练样本，所述训练样本包括机器学习引擎的特征参数以及与所述特征参数对应的第一效率结果；
利用所述训练样本对效率预测模型进行训练；
基于待测试机器学习引擎的特征参数与训练后的效率预测模型，生成所述待测试机器学习引擎的第二效率结果。
2.根据权利要求1所述的检测机器学习引擎的效率的方法，其特征在于，所述利用所述训练样本对效率预测模型进行训练的步骤，包括：
对所述特征参数进行处理，得到第一特征值；
利用所述第一特征值与所述第一效率结果对所述效率预测模型进行训练。
3.根据权利要求2所述的检测机器学习引擎的效率的方法，其特征在于，所述对所述特征参数进行处理，得到第一特征值的步骤，包括：
对所述特征参数进行编码处理，得到第三特征值；
对所述第三特征值进行归一化，得到所述第一特征值。
4.根据权利要求2所述的检测机器学习引擎的效率的方法，其特征在于，所述对所述特征参数进行处理，得到第一特征值的步骤，包括：
对所述特征参数进行编码处理，得到第三特征值；
采用特征筛选方法对所述第三特征值进行特征选取处理，得到所述第一特征值。
5.根据权利要求3所述的检测机器学习引擎的效率的方法，其特征在于，所述利用所述第一特征值与所述第一效率结果对所述效率预测模型进行训练的步骤，包括：
从所述训练样本集中选择一个训练样本，并将所述训练样本的第一特征值输入所述效率预测模型，得到当前效率结果；
将所述当前效率结果与所述第一效率结果进行比较，并调整所述效率预测模型的参数，直至满足预设训练停止条件，得到所述训练后的效率预测模型。
6.根据权利要求3所述的检测机器学习引擎的效率的方法，其特征在于，所述基于待测试机器学习引擎的特征参数与训练后的效率预测模型，生成所述待测试机器学习引擎的第二效率结果的步骤，包括：
获取所述待测试机器学习引擎的特征参数，并对所述待测试机器学习引擎的特征参数进行处理，得到第二特征值；
将所述第二特征值输入所述训练后的效率预测模型，得到所述第二效率结果。
7.根据权利要求1所述的检测机器学习引擎的效率的方法，其特征在于，
所述特征参数为所述待测试机器学习引擎的当前版本之前的历史版本的特征参数。
8.根据权利要求7所述的检测机器学习引擎的效率的方法，其特征在于，所述方法还包括：
获取所述历史版本的特征参数，并采用所述历史版本的机器学习引擎对效率测试数据集进行处理，得到效率结果；
对所有所述效率结果进行平均，得到所述第一效率结果。
9.一种检测装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-8中任一项所述的检测机器学习引擎的效率的方法。
10.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-8中任一项所述的检测机器学习引擎的效率的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845950.4A CN113742216B (zh) | 2021-07-26 | 2021-07-26 | 一种检测机器学习引擎的效率的方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845950.4A CN113742216B (zh) | 2021-07-26 | 2021-07-26 | 一种检测机器学习引擎的效率的方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113742216A true CN113742216A (zh) | 2021-12-03 |
| CN113742216B CN113742216B (zh) | 2023-12-01 |
Family
ID=78729222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110845950.4A Active CN113742216B (zh) | 2021-07-26 | 2021-07-26 | 一种检测机器学习引擎的效率的方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113742216B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106169096A (zh) * | 2016-06-24 | 2016-11-30 | 山西大学 | 一种机器学习系统学习性能的评估方法 |
| CN106897918A (zh) * | 2017-02-24 | 2017-06-27 | 上海易贷网金融信息服务有限公司 | 一种混合式机器学习信用评分模型构建方法 |
| US20170372230A1 (en) * | 2016-06-22 | 2017-12-28 | Fujitsu Limited | Machine learning management method and machine learning management apparatus |
| CN111861488A (zh) * | 2020-07-15 | 2020-10-30 | 中国工商银行股份有限公司 | 机器学习模型对比方法及装置 |
| CN111950738A (zh) * | 2020-08-10 | 2020-11-17 | 中国平安人寿保险股份有限公司 | 机器学习模型优化效果评估方法、装置、终端及存储介质 |
| US20210073627A1 (en) * | 2019-09-11 | 2021-03-11 | Sap Se | Detection of machine learning model degradation |
| CN112749894A (zh) * | 2021-01-12 | 2021-05-04 | 云南电网有限责任公司电力科学研究院 | 一种缺陷检测模型评价方法以及装置 |
| US20210133632A1 (en) * | 2019-11-04 | 2021-05-06 | Domino Data Lab, Inc. | Systems and methods for model monitoring |
-
2021
- 2021-07-26 CN CN202110845950.4A patent/CN113742216B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170372230A1 (en) * | 2016-06-22 | 2017-12-28 | Fujitsu Limited | Machine learning management method and machine learning management apparatus |
| CN106169096A (zh) * | 2016-06-24 | 2016-11-30 | 山西大学 | 一种机器学习系统学习性能的评估方法 |
| CN106897918A (zh) * | 2017-02-24 | 2017-06-27 | 上海易贷网金融信息服务有限公司 | 一种混合式机器学习信用评分模型构建方法 |
| US20210073627A1 (en) * | 2019-09-11 | 2021-03-11 | Sap Se | Detection of machine learning model degradation |
| US20210133632A1 (en) * | 2019-11-04 | 2021-05-06 | Domino Data Lab, Inc. | Systems and methods for model monitoring |
| CN111861488A (zh) * | 2020-07-15 | 2020-10-30 | 中国工商银行股份有限公司 | 机器学习模型对比方法及装置 |
| CN111950738A (zh) * | 2020-08-10 | 2020-11-17 | 中国平安人寿保险股份有限公司 | 机器学习模型优化效果评估方法、装置、终端及存储介质 |
| CN112749894A (zh) * | 2021-01-12 | 2021-05-04 | 云南电网有限责任公司电力科学研究院 | 一种缺陷检测模型评价方法以及装置 |
Non-Patent Citations (2)
| Title |
|---|
| TAI SONG等: "Pattern Reorder for Test Cost Reduction Through Improved SVMRANK Algorithm", IEEE ACCESS * |
| 石昀;邓世权;: "基于人工智能数据预测模型的对比", 电子技术与软件工程, no. 07 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113742216B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106294120B (zh) | 测试代码的方法、设备和计算机程序产品 | |
| KR102522005B1 (ko) | 가상 네트워크 관리를 위한 머신 러닝 기반 vnf 이상 탐지 시스템 및 방법 | |
| CN110572297B (zh) | 网络性能的评估方法、服务器及存储介质 | |
| CN108491302B (zh) | 一种检测spark集群节点状态的方法 | |
| CN111290967A (zh) | 一种软件缺陷预测方法、装置、设备及存储介质 | |
| CN110275878B (zh) | 业务数据检测方法、装置、计算机设备及存储介质 | |
| CN111160329A (zh) | 一种根因分析的方法及装置 | |
| CN111881023A (zh) | 一种基于多模型对比的软件老化预测方法及装置 | |
| CN111045902A (zh) | 服务器的压力测试方法及装置 | |
| CN112100067B (zh) | 一种基于回归分析的测试方法、系统及存储介质 | |
| CN113742216B (zh) | 一种检测机器学习引擎的效率的方法、装置和存储介质 | |
| CN112395280B (zh) | 一种数据质量检测方法及其系统 | |
| CN113238908B (zh) | 一种服务器性能测试数据分析方法及相关装置 | |
| CN115203556A (zh) | 一种评分预测模型训练方法、装置、电子设备及存储介质 | |
| CN114238395A (zh) | 一种数据库优化方法、装置、电子设备及存储介质 | |
| CN113626340A (zh) | 测试需求识别方法、装置、电子设备及存储介质 | |
| CN113535458A (zh) | 异常误报的处理方法及装置、存储介质、终端 | |
| CN112506565A (zh) | 处理器微体系结构事件的重要性确定方法、介质和设备 | |
| CN110968518A (zh) | 自动化测试日志文件的分析方法及装置 | |
| CN111898389B (zh) | 信息确定方法、装置、计算机设备及存储介质 | |
| CN113641848B (zh) | 一种电子产品的在线组装连接指导方法及系统 | |
| CN117371506A (zh) | 模型训练、模型测试方法、装置、电子设备及存储介质 | |
| CN116225767A (zh) | 日志故障分类模型训练方法、装置、设备及存储介质 | |
| CN116149899A (zh) | 获取平台故障成因的方法及平台故障自动检查处置方法 | |
| CN117193184A (zh) | Vae与深度神经网络混合的智能制造工厂过程质量监控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |