CN111667010A - 基于人工智能的样本评估方法、装置、设备及存储介质 - Google Patents
基于人工智能的样本评估方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111667010A CN111667010A CN202010514014.0A CN202010514014A CN111667010A CN 111667010 A CN111667010 A CN 111667010A CN 202010514014 A CN202010514014 A CN 202010514014A CN 111667010 A CN111667010 A CN 111667010A
- Authority
- CN
- China
- Prior art keywords
- training
- sample
- evaluated
- model
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 49
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 545
- 238000012360 testing method Methods 0.000 claims abstract description 132
- 230000006870 function Effects 0.000 claims description 206
- 230000008859 change Effects 0.000 claims description 38
- 238000012216 screening Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 abstract description 15
- 230000006872 improvement Effects 0.000 abstract description 9
- 238000005457 optimization Methods 0.000 abstract description 9
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于人工智能的样本评估方法、装置、计算机设备及存储介质，该方法包括：获取训练数据集；采用待评估训练模型对N个测试训练样本进行训练，获取待评估训练模型对应的样本损失函数；选取K个目标训练样本；将训练数据集中除K个目标训练样本外的N‑K个测试训练样本输入待评估训练模型进行训练，获取第一影响函数；将K个更新特征样本和训练数据集中除K个目标训练样本外的N‑K个测试训练样本输入待评估训练模型进行训练，获取第二影响函数；基于第一影响函数和第二影响函数，获取样本影响结果。本发明的技术方案实现了目标训练样本对待评估训练模型输出结果的影响的可解释性，有助于后续优化改进待评估训练模型。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种基于人工智能的样本评估方法、装置、计算机设备及存储介质。
背景技术
在人工智能领域中，待评估训练模型的预测性能是一项重要的性能指标。但是待评估训练模型输出的样本影响结果的可解释性同样是一项重要的性能指标。因为通过理解待评估训练模型输出样本影响结果的原因，可以直接改变影响待评估训练模型输出样本影响结果的因素，来提升待评估训练模型的性能，同时也能向用户提供样本影响结果的解释，这在业务涉及用户敏感信息时显得尤为重要。
然而现有许多领域中的待评估训练模型，例如用于图像和语音识别的深度神经网络模型，是一种复杂的黑箱模型，难以对输出的样本影响结果作出解释。现有技术主要着重于理解固定的待评估训练模型是如何与特定的样本影响结果对应，例如通过在测试数据点周围局部拟合更简单的待评估训练模型或通过对测试数据添加干扰来观测输出的样本影响结果。现有技术只是从待评估训练模型的角度解释了待评估训练模型输出的样本影响结果，但是没有从训练样本角度对待评估训练模型输出结果的影响，不利于对待评估训练样本进行后续优化改进。
发明内容
本发明实施例提供一种基于人工智能的样本评估方法、装置、计算机设备及存储介质，以解决无法解释训练样本对待评估训练模型输出结果的影响的问题。
一种基于人工智能的样本评估方法，包括：
获取训练数据集，所述训练数据集包括N个测试训练样本，其中，N为正整数；
采用待评估训练模型对N个所述测试训练样本进行训练，获取所述待评估训练模型对应的样本损失函数；
对N个所述测试训练样本进行检测，选取K个目标训练样本，其中，K为正整数；
将所述训练数据集中除K个所述目标训练样本外的N-K个测试训练样本输入所述待评估训练模型进行训练，获取与所述样本损失函数相对应的第一影响函数；
对K个所述目标训练样本进行样本特征变更，获取K个更新特征样本，将K个所述更新特征样本和所述训练数据集中除K个所述目标训练样本外的N-K个测试训练样本输入所述待评估训练模型进行训练，获取与所述样本损失函数相对应的第二影响函数；
基于所述第一影响函数和所述第二影响函数，获取K个所述目标训练样本对所述待评估训练模型的样本影响结果。
一种基于人工智能的样本评估装置，包括：
数据获取模块，用于获取训练数据集，所述训练数据集包括N个测试训练样本，其中，N为正整数；
样本训练模块，用于采用待评估训练模型对N个所述测试训练样本进行训练，获取所述待评估训练模型对应的样本损失函数；
样本检测模块，用于对N个所述测试训练样本进行检测，选取K个目标训练样本，其中，K为正整数；
第一影响函数模块，用于将所述训练数据集中除K个所述目标训练样本外的N-K个测试训练样本输入所述待评估训练模型进行训练，获取与所述样本损失函数相对应的第一影响函数；
第二影响函数模块，用于对K个所述目标训练样本进行样本特征变更，获取K个更新特征样本，将K个所述更新特征样本和所述训练数据集中除K个所述目标训练样本外的N-K个测试训练样本输入所述待评估训练模型进行训练，获取与所述样本损失函数相对应的第二影响函数；
结果获取模块，用于基于所述第一影响函数和所述第二影响函数，获取K个所述目标训练样本对所述待评估训练模型的样本影响结果。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于人工智能的样本评估方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于人工智能的样本评估方法。
上述基于人工智能的样本评估方法、装置、计算机设备及存储介质，服务端将测试训练样本在待评估训练模型进行训练后的输出预测值与N个测试训练样本对应的实际值进行对比，获取相应的样本损失函数，以便下一步对影响待评估训练模型的输出预测值的原因进行分析；通过对选取的K个目标训练样本来进一步对待评估训练模型的输出预测值的影响进行测试，能够目标训练样本的角度对待评估训练模型输出结果的影响进行分析或评估，有助于后续优化改进待评估训练模型。进一步地，服务端通过对第一影响函数和第二影响函数进行计算，保持较拟合精度的情况下，使得对于不能求导能微微积分的待评估训练模型能够以较低的计算成本计算第一影响函数和第二影响函数，得到K个目标训练样本对待评估训练模型的样本影响结果，通过对样本影响结果进行分析，得到目标训练样本对待评估训练模型的影响，实现了目标训练样本对待评估训练模型输出结果的影响的可解释性，有助于后续优化改进待评估训练模型。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于人工智能的样本评估方法的一应用环境示意图；
图2是本发明一实施例中基于人工智能的样本评估方法的一流程图；
图3是本发明一实施例中基于人工智能的样本评估方法的另一流程图；
图4是本发明一实施例中基于人工智能的样本评估方法的另一流程图；
图5是本发明一实施例中基于人工智能的样本评估方法的另一流程图；
图6是本发明一实施例中基于人工智能的样本评估方法的另一流程图；
图7是本发明一实施例中基于人工智能的样本评估装置的一示意图；
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于人工智能的样本评估方法，该基于人工智能的样本评估方法可应用如图1所示的应用环境中。具体地，该基于人工智能的样本评估方法应用在样本评估系统中，该样本评估系统包括如图1所示的客户端和服务端，客户端与服务端通过网络进行通信，用于实现基于人工智能的样本评估方法。其中，客户端又称为用户端，是指与服务端相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务端可以用独立的服务端或者是多个服务端组成的服务端集群来实现。服务端将测试训练样本在待评估训练模型进行训练后的输出预测值与N个测试训练样本对应的实际值进行对比，获取相应的样本损失函数，以便下一步对影响待评估训练模型的输出预测值的原因进行分析；通过对选取的K个目标训练样本来进一步对待评估训练模型的输出预测值的影响进行测试，能够目标训练样本的角度对待评估训练模型输出结果的影响进行分析或评估，有助于后续优化改进待评估训练模型。进一步地，服务端通过对第一影响函数和第二影响函数进行计算，保持较拟合精度的情况下，使得对于不能求导能微微积分的待评估训练模型能够以较低的计算成本计算第一影响函数和第二影响函数，得到K个目标训练样本对待评估训练模型的样本影响结果，通过对样本影响结果进行分析，得到目标训练样本对待评估训练模型的影响，实现了目标训练样本对待评估训练模型输出结果的影响的可解释性，有助于后续优化改进待评估训练模型。
在一实施例中，如图2所示，提供一种基于人工智能的样本评估方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
S10：获取训练数据集，训练数据集包括N个测试训练样本，其中，N为正整数。
其中，训练数据集为用户自定义设置用于存储测试训练样本的集合，本示例中，训练数据集存储有N个测试训练样本，以便基于N个测试训练样本分析。测试训练样本包括训练数据和训练数据对应的标签。作为一示例，测试训练样本可以为车损训练样本，其中，一个车损训练样本具体包括车损图像和车损图像对应的标签，此时，车损图像为训练数据。
S20：采用待评估训练模型对N个测试训练样本进行训练，获取待评估训练模型对应的样本损失函数。
其中，待评估训练模型为需要进行评估分析的模型，具体可以为对测试训练样本进行训练的深度学习模型。可选地，待评估训练模型包括但不限于为Faster RCNN模型或SSD模型。样本损失函数为计算待评估训练模型的输出预测值与测试训练样本的实际值之间的差异的函数。输出预测值为待评估训练模型对测试训练样本进行训练后得到的值。实际值为测试训练样本实际对应的值，此处的实际值可以理解为训练数据的标签。例如，测试训练样本实际对应的值为A，待评估训练模型对测试训练样本进行训练后得到的输出预测值为B，样本损失函数为度量A和B之间差异的函数
具体地，服务端将N个测试训练样本输入到待评估训练模型进行训练。待评估训练模型对N个测试训练样本进行训练后，得到与N个测试训练样本对应的输出预测值。服务端将N个输出预测值与N个测试训练样本对应的实际值进行对比，获取N个测试训练样本对应的样本损失值，再基于N个样本损失值构建样本损失函数，用于下一步对影响待评估训练模型的输出预测值的原因进行分析。
S30：对N个测试训练样本进行检测，选取K个目标训练样本，其中，K为正整数。
其中，目标训练样本为用于对待评估训练模型的输出预测值的影响进行测试的样本。
具体地，服务端对N个测试训练样本进行检测，并从训练数据集中选取K个目标训练样本。可选地，选取目标训练样本的可以是从训练数据集中随机选取K个目标训练样本，或者按照预设选取方式从N个测试训练样本进行筛选所确定的K个目标训练样本。其中，预设选取方式为用户自定义设置的选取方式，用于对目标训练样本进行选取。
可以理解地，服务端通过对选取的K个目标训练样本来进一步对待评估训练模型的输出预测值的影响进行测试，能够提高目标训练样本对待评估训练模型的输出预测值的影响进行分析的效率。
S40：将训练数据集中除K个目标训练样本外的N-K个测试训练样本输入待评估训练模型进行训练，获取与样本损失函数相对应的第一影响函数。
其中，第一影响函数为计算N-K个测试训练样本对待评估训练模型的输出预测值影响的函数。
具体地，为了分析目标训练样本对待评估训练模型的输出预测值的影响，服务端通过选取的K个目标训练样本后，将训练数据集中剩余的N-K个测试训练样本输入待评估训练模型进行检测，根据待评估训练模型的输出预测值，进一步地，服务端通过待评估训练模型的输出预测值和样本损失函数进行计算，获取第一影响函数，以便后续根据第一影响函数对待评估训练模型的输出预测值进行分析，获取样本影响结果，以实现对影响待评估训练模型的输出预测值的训练样本进行分析，有助于从训练样本角度对待评估训练模型进行优化改进。
S50：对K个目标训练样本进行样本特征变更，获取K个更新特征样本，将K个更新特征样本和训练数据集中除K个目标训练样本外的N-K个测试训练样本输入待评估训练模型进行训练，获取与样本损失函数相对应的第二影响函数。
其中，第二影响函数为计算K个更新特征样本和N-K个测试训练样本对待评估训练模型的输出预测值影响的函数。
具体地，为了分析目标训练样本对待评估训练模型的输出预测值的影响，服务端通过对目标训练样本的样本特征进行变更后，得到K个更新特征样本，将训练数据集中剩余的N-K个测试训练样本和K个更新特征样本输入待评估训练模型进行检测，根据待评估训练模型的输出预测值，获取第二模型参数。进一步地，服务端通过对第二模型参数和样本损失函数进行计算，获取第二影响函数，以便后续根据第二影响函数对待评估训练模型的输出预测值进行分析，获取样本影响结果的影响，以实现对影响待评估训练模型的输出预测值的原因进行分析。
作为一示例，对K个目标训练样本的样本特征β进行样本特征变更，得到K个样本特征为δ的更新特征样本。
S60：基于第一影响函数和第二影响函数，获取K个目标训练样本对待评估训练模型的样本影响结果。
其中，样本影响结果为对待评估训练模型的输出预测值的影响进行评估或分析的结果。
具体地，服务端基于预设处理逻辑对第一影响函数和第二影响函数进行综合分析处理，获取K个目标训练样本对待评估训练模型的样本影响结果。其中，预设处理逻辑为对第一影响函数和第二影响函数进行加权或求差处理。即服务端在获取第一影响函数和第二影响函数后，可通过第一影响函数和第二影响函数，分析出目标训练样本对待评估训练模型的输出预测值的样本影响结果。服务端通过对样本影响结果进行分析，得到目标训练样本对待评估训练模型的影响，实现对待评估训练模型的输出预测值的影响进行评估或分析。
在本实施例中，服务端将测试训练样本在待评估训练模型进行训练后的输出预测值与N个测试训练样本对应的实际值进行对比，获取相应的样本损失函数，以便下一步对影响待评估训练模型的输出预测值的原因进行分析；通过对选取的K个目标训练样本来进一步对待评估训练模型的输出预测值的影响进行测试，能够目标训练样本的角度对待评估训练模型输出结果的影响进行分析或评估，有助于后续优化改进待评估训练模型。进一步地，服务端通过对第一影响函数和第二影响函数进行计算，保持较拟合精度的情况下，使得对于不能求导能微微积分的待评估训练模型能够以较低的计算成本计算第一影响函数和第二影响函数，得到K个目标训练样本对待评估训练模型的样本影响结果，通过对样本影响结果进行分析，得到目标训练样本对待评估训练模型的影响，实现了目标训练样本对待评估训练模型输出结果的影响的可解释性，有助于后续优化改进待评估训练模型。
在一实施例中，如图3所示，步骤S20，即采用待评估训练模型对N个测试训练样本进行训练，获取待评估训练模型对应的样本损失函数，包括：
S21：采用待评估训练模型对N个测试训练样本进行训练，获取N个测试训练样本对应的输出预测值。
具体地，服务端通过待评估训练模型对N个测试训练样本进行训练，获取待评估训练模型的输出预测值。可以理解地，服务端通过N个测试训练样本和待评估训练模型的输出预测值能够进一步计算待评估训练模型的输出预测值与测试训练样本的实际值之间的差异的样本损失函数函数。
S22：基于测试训练样本和输出预测值，获取样本损失函数。
具体地，服务端通过对N个测试训练样本的实际值和待评估训练模型的输出预测值进行计算，获取N个样本损失值，并基于N个样本损失值获取对应的样本损失函数，以便后续利用样本损失函数对影响待评估训练模型的输出预测值的原因进行分析。
作为一示例，X是输入空间车损图像，Y是输出空间如车损图像对应的标签，而每一个测试训练样本则定义为Z1,...,Zn，其中Zi＝(Xi,Yi)∈X×Y。对于一个测试训练样本Z和待评估训练模型θ∈Θ，对应样本损失函数为L(Z,θ)，则整个训练数据集的经验风险为
从而可以定义对应的初始模型参数为
其中，假设经验风险可二次微积分并且对于初始模型参数θ是凸函数。
本实施例中，服务端获取测试训练样本在待评估训练模型进行训练后，获取用于计算待评估训练模型的输出预测值与测试训练样本对应的实际值之间的差异的样本损失函数，通过样本损失函数对影响待评估训练模型的输出预测值的原因进行进一步分析，保证分析结果的准确性和有效性。
在一实施例中，如图4所示，步骤S30，即对N个测试训练样本进行检测，选取K个目标训练样本，包括：
S31：获取N个测试训练样本对应的当前样本参数，判断当前样本参数是否满足筛选参数阈值。
其中，当前样本参数为测试训练样本中的数据参数。筛选参数阈值为用户自定义设置的数值，用于对当前样本参数进行筛选。
具体地，服务端获取N个测试训练样本对应的当前样本参数后，对当前样本参数进行判断，判断当前样本参数是够满足筛选参数阈值，以通过筛选参数阈值对测试训练样本进行筛选，以便从N个测试训练样本中筛选出满足筛选参数阈值的K个目标训练样本，利用K个目标训练样本对影响待评估训练模型的输出预测值的原因进行分析，以便后续根据K个目标训练样本对待评估训练模型的样本影响结果，更新相应的训练样本，以提高待评估训练模型的准确率。
作为一示例，测试训练样本为车损训练样本，服务端获取训练数据集中每一车损训练样本中的车损图像对应的当前样本参数，该当前样本参数可以为图像分辨率大小、图像水平分辨率、图像垂直分辨率、图像亮度和对比度中的至少一个评估特征，每一评估特征对应的筛选参数阈值设置为X，若获取的当前样本参数为Y，X<Y时，则将当前样本参数确定为目标训练样本。
S32：若当前样本参数满足筛选参数阈值，则将测试训练样本确定为目标训练样本。
本示例中，筛选参数阈值的条件可以由用户自定义设置的阈值。作为一示例，将当前样本参数满足筛选参数阈值确定为从N个测试训练样本中筛选K个目标训练样本的筛选条件，具体可以是当前样本参数大于或等于筛选参数阈值。
具体地，当N个测试训练样本对应的当前样本参数中，若存在满足筛选参数阈值的当前样本参数，则将满足筛选参数阈值的当前样本参数对应的测试训练样本确定为目标训练样本。
在本实施例中，服务端通以通过筛选参数阈值对测试训练样本进行筛选，以便从N个测试训练样本中筛选出满足筛选参数阈值的K个目标训练样本，利用K个目标训练样本对影响待评估训练模型的输出预测值的原因进行分析，以便后续根据K个目标训练样本对待评估训练模型的样本影响结果，更新相应的训练样本，以提高待评估训练模型的准确率。
在一实施例中，如图5所示，步骤S40中，将训练数据集中除K个目标训练样本外的N-K个测试训练样本输入待评估训练模型进行训练，获取与样本损失函数相对应的第一影响函数，包括：
S41：将训练数据集中除K个目标训练样本外的N-K个测试训练样本输入待评估训练模型进行训练，获取待评估训练模型的第一变更权重。
其中，第一变更权重为利用除K个目标训练样本外的N-K个测试训练样本对待评估训练模型进行训练之后，确定的待评估训练模型中各模型参数的权重。
具体地，服务端将训练数据集中除K个目标训练样本外的N-K个测试训练样本输入待评估训练模型进行训练，基于样本损失函数获取经验风险，基于经验风险获取第一变更权重。其中，经验风险为通过样本损失函数对目标训练样本进行累加计算后的平均值。可以理解地，由于将K个目标训练样本剔除后，除K个目标训练样本外的N-K个测试训练样本在待评估训练模型中训练，其模型参数的权重相应的发生改变，通过经验风险获取的第一变更权重，能够进一步获取目标训练样本的样本权重的变化对影响待评估训练模型的输出预测值的原因进行分析。
作为一示例，选取的目标训练样本Zk，删除K个目标训练样本Zk，由经验风险
可知，其中，L(Zi,θ)为样本损失函数，Zi为第i个训练样本，i为正整数。未删除K个目标训练样本Zk前的求和式为
删除K个目标训练样本Zk后，加入了一项
则经验风险变成
此时，删除K个目标训练样本Zk，第一变更权重为
S42：根据待评估训练模型对应的初始模型参数和第一变更权重，获取待评估训练模型的第一模型参数。
其中，初始模型参数为将样本损失函数计算的差异降为最小的初始参数，是基于经验风险获取的参数。第一模型参数为将样本损失函数对N-K个测试训练样本的计算差异降为最小的测试参数。
作为一示例，经验风险具体为
通过对经验风险进行计算得到初始模型参数
其中，
为初始模型参数，Θ为数据库中所有模型的集合，θ为待评估检测模型，L(Zi,θ)为样本损失函数。
具体地，服务端对K个目标训练样本进行删除后，初始模型参数变成
对应的初始模型参数变化为
进一步地，基于第一变更权重和初始模型参数，获取待评估训练模型对应的第一模型参数为
S43：基于待评估训练模型对应的第一模型参数和样本损失函数，获取与样本损失函数相对应的第一影响函数。
具体的，为了分析目标训练样本对待评估训练模型输出结果的影响，服务端删除选取的K个目标训练样本后，将训练数据集中剩余的N-K个测试训练样本输入待评估训练模型进行检测，对待评估训练模型对应的初始模型参数和第一变更权重进行更新，获取第一模型参数。进一步地，服务端通过基于初始模型参数与第一模型参数的变化量和样本损失函数进行计算，获取第一影响函数，通过第一影响函数对待评估训练模型的输出预测值进行分析，获取样本影响结果的影响，以实现对影响待评估训练模型的输出预测值的原因进行分析。
作为一示例，基于第一变更权重，对第一模型参数进行计算，获取初始模型参数与第一模型参数的变化量
其中，Jup,params(Z)为初始模型参数与第一模型参数的变化量，
为基于第一变更权重，对第一变更权重进行求导。
为损失函数
的黑塞矩阵的二阶导。
为黑塞矩阵的一阶导。可以理解地，服务端获取初始模型参数与第一模型参数的变化量Jup,params(Z)，能够实现无需测试训练样本，即可评估出去除某K个目标训练样本后对第一模型参数的影响。
进一步地，基于初始模型参数与第一模型参数的变化量Jup,params(Z)，获取第一影响函数，第一影响函数为
其中，
为
为黑塞矩阵的一阶导的转置。
在本实施例中，服务端通过对第一模型参数和样本损失函数进行计算，保持较拟合精度的情况下，使得对于不能求导能微微积分的待评估训练模型能够以较低的计算成本计算，获取第一影响函数，通过第一影响函数对待评估训练模型的输出预测值进行分析，获取样本影响结果的影响，以实现对影响待评估训练模型的输出预测值的原因进行分析，提高基于人工智能的样本评估方法的效率。
作为一示例，步骤S43，即基于待评估训练模型对应的第一模型参数和样本损失函数，获取与样本损失函数相对应的第一影响函数，包括：基于黑塞向量乘积和预设迭代次数，对待评估训练模型对应的第一模型参数和样本损失函数进行处理，获取与样本损失函数相对应的第一影响函数。
其中，黑塞向量乘积为用于对第一影响函数和第二影响函数进行计算的方法。预设迭代次数为用户自定义设置的对第一影响函数和第二影响函数进行迭代计算的次数。
具体地，获取改变样本权重对目标训练样本Ztest的第一影响函数Jup,loss(Z,Ztest)，需要计算黑塞矩阵的逆，而这将消耗巨大的运算资源。为此，本实施例利用了黑塞向量乘积
来避免直接计算黑塞矩阵的逆，通过高效地估计黑塞向量乘积
来计算第一影响函数Jup,loss(Z,Ztest)。而
的计算，则可以通过随机参数估计(stochastic estimation)的方法来实现。随机参数估计方法每一次迭代中只需采样一个样本点，因此能够极大地提高计算速度，降低运算资源；同时随机参数估计方法在基于自动求导的机器学习、深度学习框架中也极易实现，无需大量的代码。随机参数估计的方法基于
的泰勒展开，在下面的描述中省略
中的
并用
表示H-1泰勒展开的前j项估计：
从泰勒展开的性质可知，当j→∞时，
因此
的无偏估计
仍有
在此，实施例基于
来计算第一影响函数Jup,loss(Z,Ztest)。
具体地，从训练数据集中选取K个目标训练样本，Z1...Zk，并定义
黑塞向量乘积初始值为
将选取的K个目标训练样本对应的第一影响函数根据预设迭代次数进行迭代计算
将最后一次迭代计算的结果确定为第一影响函数
在本实施例中，服务端通过黑塞向量乘积对第一影响函数进行计算能提高计算效率，以提高服务端通过样本影响结果对待评估训练模型的输出预测值的影响进行评估或分析的效率，并通过黑塞向量乘积的高效率计算得到第一影响函数实现对待评估训练模型的输出预测值的影响进行评估或分析。
在一实施例中，如图6所示，步骤S50中，将K个更新特征样本和训练数据集中除K个目标训练样本外的N-K个测试训练样本输入待评估训练模型进行训练，获取与样本损失函数相对应的第二影响函数，包括：
S51：将K个更新特征样本和训练数据集中除K个目标训练样本外的N-K个测试训练样本输入待评估训练模型进行训练，获取待评估训练模型对应的第二变更权重。
其中，第二变更权重为目标训练样本的样本特征进行变更后，更新特征样本的权重。由于将K个目标训练样本的样本特征进行变更后，K个更新特征样本在待评估训练模型中的权重相应的发生改变，通过第二变更权重能够进一步获取样本权重的变化对影响待评估训练模型的输出预测值的原因进行分析。
可以理解地，目标训练样本的样本特征进行变更后，对于更新特征样本Zδ权重∈响应的也进行变更，服务端通过第二变更权重能够进一步获取样本权重的变化对影响待评估训练模型的输出预测值的原因进行分析。
S52：根据待评估训练模型对应的初始模型参数和第二变更权重，获取待评估训练模型对应的第二模型参数。
其中，第二模型参数为将样本损失函数对K个更新特征样本和N-K个测试训练样本的计算差异降为最小的测试参数。
具体地，服务端对初始，初始模型参数和第二变更权重进行计算，获取待评估训练模型对应的第二模型参数，第二模型参数为
S53：根据待评估训练模型对应的第二模型参数和样本损失函数，获取与样本损失函数相对应的第二影响函数。
具体地，服务端对目标训练样本的样本特征进行变更后，基于第二变更权重，获取待评估训练模型对应第二模型参数，并对第二模型参数和样本损失函数进行计算，获取第二影响函数。
作为一示例，服务端先基于第二变更权重，对第二模型参数进行计算，获取初始模型参数与第二模型参数的变化量。再根据第二模型参数
获取初始模型参数与第二模型参数的变化量
进一步得到，
表示改变目标训练样本特征Zk对第二模型参数的影响。进一步地，第二影响函数通过对测试训练样本的样本损失函数对更新特征样本Zδ微积分求得，
在本实施例中，服务端通过第二变更权重能够进一步获取样本权重的变化对影响待评估训练模型的输出预测值的原因进行分析；接着，通过第二变更权重，获取待评估训练模型对应的第二模型参数，对第二模型参数和样本损失函数进行计算，保持较拟合精度的情况下，使得对于不能求导能微微积分的待评估训练模型能够以较低的计算成本计算获取第二影响函数，以使服务端能够通过第二影响函数对待评估训练模型的输出预测值的影响进行评估或分析。
在一实施例中，步骤S53，即基于待评估训练模型对应的第二模型参数和样本损失函数，获取与样本损失函数相对应的第二影响函数，包括：基于黑塞向量乘积和预设迭代次数，对待评估训练模型对应的第二模型参数和样本损失函数，获取与样本损失函数相对应的第二影响函数。
具体地，获取改变样本特征对目标训练样本Ztest的第二影响函数Jpert,loss(Z,Ztest)T，需要计算黑塞矩阵的逆，而这将消耗巨大的运算资源。为此，本实施例利用了黑塞向量乘积
来避免直接计算黑塞矩阵的逆，通过高效地估计黑塞向量乘积
来计算第二影响函数Jpert,loss(Z,Ztest)T。
作为一示例，具体地，从训练数据集中选取K个目标训练样本，Z1...Zk，并定义
黑塞向量乘积初始值为
将选取的K个目标训练样本对应的第二影响函数根据预设迭代次数进行迭代计算
将最后一次迭代计算的结果确定为第二影响函数
在本实施例中，服务端通过黑塞向量乘积对第二影响函数进行计算能提高计算效率，以提高服务端通过样本影响结果对待评估训练模型的输出预测值的影响进行评估或分析的效率，并通过黑塞向量乘积的高效率计算得到第二影响函数实现对待评估训练模型的输出预测值的影响进行评估或分析。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于人工智能的样本评估装置，该基于人工智能的样本评估装置与上述实施例中基于人工智能的样本评估方法一一对应。如图7所示，该基于人工智能的样本评估装置包括数据获取模块10、样本训练模块20、样本检测模块30、第一影响函数模块40、第二影响函数模块50和结果获取模块60。各功能模块详细说明如下：
数据获取模块10，用于获取训练数据集，训练数据集包括N个测试训练样本，其中，N为正整数；
样本训练模块20，用于采用待评估训练模型对N个测试训练样本进行训练，获取待评估训练模型对应的样本损失函数；
样本检测模块30，用于对N个测试训练样本进行检测，选取K个目标训练样本，其中，K为正整数；
第一影响函数模块40，用于将训练数据集中除K个目标训练样本外的N-K个测试训练样本输入待评估训练模型进行训练，获取与样本损失函数相对应的第一影响函数；
第二影响函数模块50，用于对K个目标训练样本进行样本特征变更，获取K个更新特征样本，将K个更新特征样本和训练数据集中除K个目标训练样本外的N-K个测试训练样本输入待评估训练模型进行训练，获取与样本损失函数相对应的第二影响函数；
结果获取模块60，用于基于第一影响函数和第二影响函数，获取K个目标训练样本对待评估训练模型的样本影响结果。
进一步地，样本训练模块20包括：
预测值获取子模块，用于采用待评估训练模型对N个测试训练样本进行训练，获取N个测试训练样本对应的输出预测值；
损失函数子模块，用于基于测试训练样本和输出预测值，获取样本损失函数。
进一步地，样本检测模块30包括：
阈值判断子模块，用于获取N个测试训练样本对应的当前样本参数，判断当前样本参数是否满足筛选参数阈值；
样本确定子模块，用于当当前样本参数满足筛选参数阈值时，则将测试训练样本确定为目标训练样本。
进一步地，第一影响函数模块40包括：
第一权重子模块，用于将训练数据集中除K个目标训练样本外的N-K个测试训练样本输入待评估训练模型进行训练，获取待评估训练模型的第一变更权重；
第一参数子模块，用于根据待评估训练模型对应的初始模型参数和第一变更权重，获取待评估训练模型的第一模型参数；
第一函数子模块，用于基于待评估训练模型对应的第一模型参数和样本损失函数，获取与样本损失函数相对应的第一影响函数。
进一步地，第一影响函数模块40还包括：
第一参数处理子模块，用于基于黑塞向量乘积和预设迭代次数，对待评估训练模型对应的第一模型参数和样本损失函数进行处理，获取与样本损失函数相对应的第一影响函数。
进一步地，第二影响函数模块50包括：
第二权重子模块，用于将K个更新特征样本和训练数据集中除K个目标训练样本外的N-K个测试训练样本输入待评估训练模型进行训练，获取待评估训练模型对应的第二变更权重；
第二参数子模块，用于根据待评估训练模型对应的初始模型参数和第二变更权重，获取待评估训练模型对应的第二模型参数；
第二函数子模块，用于基于待评估训练模型对应的第二模型参数和样本损失函数，获取与样本损失函数相对应的第二影响函数。
进一步地，第二影响函数模块50还包括：
第二参数处理子模块，用于基于黑塞向量乘积和预设迭代次数，对待评估训练模型对应的第二模型参数和样本损失函数，获取与样本损失函数相对应的第二影响函数。
关于基于人工智能的样本评估装置的具体限定可以参见上文中对于基于人工智能的样本评估方法的限定，在此不再赘述。上述基于人工智能的样本评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于样本评估。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的样本评估方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于人工智能的样本评估方法，例如步骤S10至步骤S60，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现基于人工智能的样本评估装置这一实施例中的各模块/单元的功能，例如模块10至模块60，为避免重复，这里不再赘述。
在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中基于人工智能的样本评估方法，例如例如步骤S10至步骤S60，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述基于人工智能的样本评估装置这一实施例中的各模块/单元的功能，例如模块10至模块60，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于人工智能的样本评估方法，其特征在于，包括：
获取训练数据集，所述训练数据集包括N个测试训练样本，其中，N为正整数；
采用待评估训练模型对N个所述测试训练样本进行训练，获取所述待评估训练模型对应的样本损失函数；
对N个所述测试训练样本进行检测，选取K个目标训练样本，其中，K为正整数；
将所述训练数据集中除K个所述目标训练样本外的N-K个测试训练样本输入所述待评估训练模型进行训练，获取与所述样本损失函数相对应的第一影响函数；
对K个所述目标训练样本进行样本特征变更，获取K个更新特征样本，将K个所述更新特征样本和所述训练数据集中除K个所述目标训练样本外的N-K个测试训练样本输入所述待评估训练模型进行训练，获取与所述样本损失函数相对应的第二影响函数；
基于所述第一影响函数和所述第二影响函数，获取K个所述目标训练样本对所述待评估训练模型的样本影响结果。
2.如权利要求1所述的基于人工智能的样本评估方法，其特征在于，所述采用待评估训练模型对N个所述测试训练样本进行训练，获取所述待评估训练模型对应的样本损失函数，包括：
采用待评估训练模型对N个所述测试训练样本进行训练，获取N个所述测试训练样本对应的输出预测值；
基于所述测试训练样本和所述输出预测值，获取所述样本损失函数。
3.如权利要求1所述的基于人工智能的样本评估方法，其特征在于，所述对N个所述测试训练样本进行检测，选取K个目标训练样本，包括：
获取N个所述测试训练样本对应的当前样本参数，判断所述当前样本参数是否满足筛选参数阈值；
若所述当前样本参数满足所述筛选参数阈值，则将所述测试训练样本确定为所述目标训练样本。
4.如权利要求1所述的基于人工智能的样本评估方法，其特征在于，所述将所述训练数据集中除K个所述目标训练样本外的N-K个测试训练样本输入所述待评估训练模型进行训练，获取与所述样本损失函数相对应的第一影响函数，包括：
将所述训练数据集中除K个所述目标训练样本外的N-K个测试训练样本输入所述待评估训练模型进行训练，获取所述待评估训练模型的第一变更权重；
根据所述待评估训练模型对应的初始模型参数和所述第一变更权重，获取所述待评估训练模型的第一模型参数；
基于所述待评估训练模型对应的第一模型参数和所述样本损失函数，获取与所述样本损失函数相对应的第一影响函数。
5.如权利要求4所述的基于人工智能的样本评估方法，其特征在于，所述基于所述待评估训练模型对应的第一模型参数和所述样本损失函数，获取与所述样本损失函数相对应的第一影响函数，包括：
基于黑塞向量乘积和预设迭代次数，对所述待评估训练模型对应的第一模型参数和所述样本损失函数进行处理，获取与所述样本损失函数相对应的第一影响函数。
6.如权利要求3所述的基于人工智能的样本评估方法，其特征在于，所述将K个所述更新特征样本和所述训练数据集中除K个所述目标训练样本外的N-K个测试训练样本输入所述待评估训练模型进行训练，获取与所述样本损失函数相对应的第二影响函数，包括：
将K个所述更新特征样本和所述训练数据集中除K个所述目标训练样本外的N-K个测试训练样本输入所述待评估训练模型进行训练，获取所述待评估训练模型对应的第二变更权重；
根据所述待评估训练模型对应的初始模型参数和所述第二变更权重，获取所述待评估训练模型对应的第二模型参数；
基于所述待评估训练模型对应的第二模型参数和所述样本损失函数，获取与所述样本损失函数相对应的第二影响函数。
7.如权利要求6所述的基于人工智能的样本评估方法，其特征在于，所述基于所述待评估训练模型对应的第二模型参数和所述样本损失函数，获取与所述样本损失函数相对应的第二影响函数，包括：
基于黑塞向量乘积和预设迭代次数，对所述待评估训练模型对应的第二模型参数和所述样本损失函数，获取与所述样本损失函数相对应的第二影响函数。
8.一种基于人工智能的样本评估装置，其特征在于，包括：
数据获取模块，用于获取训练数据集，所述训练数据集包括N个测试训练样本，其中，N为正整数；
样本训练模块，用于采用待评估训练模型对N个所述测试训练样本进行训练，获取所述待评估训练模型对应的样本损失函数；
样本检测模块，用于对N个所述测试训练样本进行检测，选取K个目标训练样本，其中，K为正整数；
第一影响函数模块，用于将所述训练数据集中除K个所述目标训练样本外的N-K个测试训练样本输入所述待评估训练模型进行训练，获取与所述样本损失函数相对应的第一影响函数；
第二影响函数模块，用于对K个所述目标训练样本进行样本特征变更，获取K个更新特征样本，将K个所述更新特征样本和所述训练数据集中除K个所述目标训练样本外的N-K个测试训练样本输入所述待评估训练模型进行训练，获取与所述样本损失函数相对应的第二影响函数；
结果获取模块，用于基于所述第一影响函数和所述第二影响函数，获取K个所述目标训练样本对所述待评估训练模型的样本影响结果。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于人工智能的样本评估方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于人工智能的样本评估方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010514014.0A CN111667010A (zh) | 2020-06-08 | 2020-06-08 | 基于人工智能的样本评估方法、装置、设备及存储介质 |
| PCT/CN2020/135339 WO2021121128A1 (zh) | 2020-06-08 | 2020-12-10 | 基于人工智能的样本评估方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010514014.0A CN111667010A (zh) | 2020-06-08 | 2020-06-08 | 基于人工智能的样本评估方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111667010A true CN111667010A (zh) | 2020-09-15 |
Family
ID=72385723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010514014.0A Pending CN111667010A (zh) | 2020-06-08 | 2020-06-08 | 基于人工智能的样本评估方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111667010A (zh) |
| WO (1) | WO2021121128A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528159A (zh) * | 2020-12-24 | 2021-03-19 | 北京百度网讯科技有限公司 | 一种特征质量评估方法、装置、电子设备及存储介质 |
| CN112990958A (zh) * | 2021-01-19 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、存储介质及计算机设备 |
| WO2021121128A1 (zh) * | 2020-06-08 | 2021-06-24 | 平安科技（深圳）有限公司 | 基于人工智能的样本评估方法、装置、设备及存储介质 |
| CN113066549A (zh) * | 2021-04-06 | 2021-07-02 | 青岛瑞斯凯尔生物科技有限公司 | 基于人工智能的医疗器械的临床有效性评估方法及系统 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723835B (zh) * | 2021-09-02 | 2024-02-06 | 国网河北省电力有限公司电力科学研究院 | 火电厂用水评估方法和终端设备 |
| CN115935761B (zh) * | 2023-01-10 | 2023-06-20 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 设备的可靠性仿真方法、装置、计算机设备和存储介质 |
| CN116070469B (zh) * | 2023-04-04 | 2023-06-09 | 合肥通用机械研究院有限公司 | 一种设备运行参数优化方法和风险管理方法 |
| CN116388884B (zh) * | 2023-06-05 | 2023-10-20 | 浙江大学 | 防窃听超声波干扰样本设计方法、系统及装置 |
| CN116957052B (zh) * | 2023-06-09 | 2024-06-04 | 清华大学 | 基于构造样本相似度的风险评估模型的训练方法 |
| CN116911662B (zh) * | 2023-06-25 | 2024-04-16 | 施勒智能科技(上海)股份有限公司 | 基于人工智能的空气品质优化方法及系统 |
| CN117170991A (zh) * | 2023-07-21 | 2023-12-05 | 国网信息通信产业集团有限公司 | 基于人工智能平台服务接口的验证方法 |
| CN116842853B (zh) * | 2023-09-01 | 2023-11-28 | 中国空气动力研究与发展中心计算空气动力研究所 | 用于不确定度量化的导弹气动特性预测模型构建方法 |
| CN117315466B (zh) * | 2023-09-20 | 2024-04-09 | 北京佳格天地科技有限公司 | 一种生长监测管理方法及系统 |
| CN117057027B (zh) * | 2023-10-13 | 2023-12-22 | 江苏通创现代建筑产业技术研究院有限公司 | 一种墙体保温隔热性能评估方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013106720A1 (en) * | 2012-01-12 | 2013-07-18 | Schlumberger Canada Limited | Method for constrained history matching coupled with optimization |
| CN109859039A (zh) * | 2018-12-28 | 2019-06-07 | 北京邮电大学 | 一种预测方法及装置 |
| CN110363243B (zh) * | 2019-07-12 | 2024-07-12 | 腾讯科技（深圳）有限公司 | 分类模型的评估方法和装置 |
| CN111667010A (zh) * | 2020-06-08 | 2020-09-15 | 平安科技（深圳）有限公司 | 基于人工智能的样本评估方法、装置、设备及存储介质 |
-
2020
- 2020-06-08 CN CN202010514014.0A patent/CN111667010A/zh active Pending
- 2020-12-10 WO PCT/CN2020/135339 patent/WO2021121128A1/zh active Application Filing
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021121128A1 (zh) * | 2020-06-08 | 2021-06-24 | 平安科技（深圳）有限公司 | 基于人工智能的样本评估方法、装置、设备及存储介质 |
| CN112528159A (zh) * | 2020-12-24 | 2021-03-19 | 北京百度网讯科技有限公司 | 一种特征质量评估方法、装置、电子设备及存储介质 |
| CN112528159B (zh) * | 2020-12-24 | 2024-03-26 | 北京百度网讯科技有限公司 | 一种特征质量评估方法、装置、电子设备及存储介质 |
| CN112990958A (zh) * | 2021-01-19 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、存储介质及计算机设备 |
| CN113066549A (zh) * | 2021-04-06 | 2021-07-02 | 青岛瑞斯凯尔生物科技有限公司 | 基于人工智能的医疗器械的临床有效性评估方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021121128A1 (zh) | 2021-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111667010A (zh) | 基于人工智能的样本评估方法、装置、设备及存储介质 | |
| JP7167306B2 (ja) | ニューラルネットワークモデル訓練方法、装置、コンピュータ機器および記憶媒体 | |
| US20180240041A1 (en) | Distributed hyperparameter tuning system for machine learning | |
| CN111881023B (zh) | 一种基于多模型对比的软件老化预测方法及装置 | |
| CN109933515B (zh) | 一种回归测试用例集的优化方法和自动优化装置 | |
| KR20220027830A (ko) | 양자 노이즈 프로세스 분석 방법, 시스템, 저장 매체 및 전자 기기 | |
| CN113269359B (zh) | 用户财务状况预测方法、设备、介质及计算机程序产品 | |
| CN117156442B (zh) | 基于5g网络的云数据安全保护方法及系统 | |
| CN111290967A (zh) | 一种软件缺陷预测方法、装置、设备及存储介质 | |
| CN111582488A (zh) | 一种事件推演方法及装置 | |
| CN111768247A (zh) | 下单率预测方法、设备及可读存储介质 | |
| CN112988606B (zh) | 测试用例生成方法、装置、设备及存储介质 | |
| CN111124898A (zh) | 问答系统测试方法、装置、计算机设备和存储介质 | |
| CN114781532A (zh) | 机器学习模型的评估方法、装置、计算机设备及介质 | |
| CN114818600A (zh) | 一种芯片验证方法、装置、电子设备以及存储介质 | |
| CN113110961B (zh) | 设备异常检测方法、装置、计算机设备及可读存储介质 | |
| CN114169460A (zh) | 样本筛选方法、装置、计算机设备和存储介质 | |
| CN107977980B (zh) | 一种目标跟踪方法、设备以及可读介质 | |
| CN114549849A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN112712181A (zh) | 模型构建优化方法、装置、设备和可读存储介质 | |
| CN113010687B (zh) | 一种习题标签预测方法、装置、存储介质以及计算机设备 | |
| CN114880363A (zh) | 一种数据中心流量预测系统及训练方法、预测方法 | |
| JP7331938B2 (ja) | 学習装置、推定装置、学習方法及び学習プログラム | |
| CN115114135A (zh) | 软件数据测试方法、装置、设备、介质及产品 | |
| CN113689020A (zh) | 业务信息预测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200915 |
|
| RJ01 | Rejection of invention patent application after publication |