CN114419434A - 一种推理方法、装置、设备以及计算机存储介质 - Google Patents

Abstract

本申请实施例公开了一种推理方法、装置、设备以及计算机存储介质。该方法包括：将待检测图像输入目标推理模型，得到预测结果；在检测到待检测图像为异常图像的情况下，根据异常图像的异常类别，对目标推理模型的原始模型特征按照不同比例进行更新；在检测到待检测图像是正常图像的情况下，输出预测结果。

Description

一种推理方法、装置、设备以及计算机存储介质

技术领域

本申请涉及计算机软件技术领域，尤其涉及一种推理方法、装置、设备以及计算机存储介质。

背景技术

随着互联网信息技术的飞速发展，互联网技术所应用的业务场景也逐渐增多。由于互联网应用具有场景变化快、更新周期短等特点，在进行模型更新时，不仅要求更新的模型的覆盖率和准确率较高，还要求模型更新效率高。在

然而，模型更新过程中，由于存在样本图像和原始训练图像差异较大的情况，导致采用常规的更新策略时，如果遇到异常样本，那么可能会使得模型的准确率不升反降，而且由于异常样本参与更新会使得模型的参数增加，所需的计算资源增加，给模型更新工作带来了困难。

发明内容

本申请提出一种推理方法、装置、设备以及计算机存储介质，本申请的技术方案是这样实现的：

第一方面，本申请实施例提供了一种推理方法，所述方法包括：

将待检测图像输入目标推理模型，得到预测结果；

在检测到所述待检测图像为异常图像的情况下，根据所述异常图像的异常类别，对所述目标推理模型的原始模型特征按照不同比例进行更新；

在检测到所述待检测图像是正常图像的情况下，输出所述预测结果。

在一些实施例中，所述方法还包括：

通过异常检测模块计算所述待检测图像与所述初始训练图像之间的差异值；

若所述差异值大于异常阈值，则确定所述检测结果指示所述待检测图像为所述异常图像，并确定所述异常图像的异常类别；

若所述差异值小于或等于所述异常阈值，则确定所述检测结果指示所述待检测图像为所述正常图像。

在一些实施例中，所述确定所述异常图像的异常类别，包括：

对所述异常图像进行度量计算，确定所述异常图像的差异值；

根据所述异常图像的差异值和异常阈值的差值，确定所述异常图像的异常类别；其中，所述异常类别至少包括以下的其中一种：新类型样本、难学习样本或者漂移样本。

在一些实施例中，当检测到所述待检测图像是异常图像时，所述方法还包括：

将所述异常图像存储至异常数据库；

在所述异常数据库中所述异常图像的数量达到更新阈值的情况下，利用所述异常数据库中的异常图像对所述目标推理模型进行更新。

在一些实施例中，在所述异常数据库中所述异常图像的数量达到预设更新阈值的情况下，所述方法还包括：

基于对所述异常图像进行的数据标注，生成标注异常图像；

相应地，所述根据所述异常图像的异常类别，对所述目标推理模型的原始模型特征按照不同比例进行更新，包括：

对属于新类型样本的异常头像、属于难学习样本的异常图像和属于漂移样本的异常图像进行统计，并根据统计结果确定数据偏移值；

在所述数据偏移值大于偏移阈值的情况下，基于第一类更新策略，利用所述标注异常图像对所述目标推理模型进行更新处理；或者，

在所述数据偏移值小于或等于偏移阈值的情况下，基于第二类更新策略，利用所述标注异常图像对所述目标推理模型进行更新处理；

其中，所述目标推理模型的原始模型特征在所述第一类更新策略中的更新的比例小于所述目标预测模型的原始模型特征在所述第二类更新策略中的更新比例。

在一些实施例中，所述第一类更新策略至少包括贪心聚类更新策略，所述目标推理模型至少包括记忆模块；

所述基于第一类更新策略，利用所述标注异常图像对所述目标推理模型进行更新处理，包括：

将所述目标推理模型中待更新的原始模型特征存储至所述记忆模块；

基于所述贪心聚类更新策略，采用所述异常数据库中的所述标注异常图像对所述记忆模块进行更新处理。

在一些实施例中，所述基于贪心聚类更新策略，采用所述异常数据库中的所述标注异常图像对所述记忆模块进行更新处理，包括：

基于所述异常数据库中的所述标注异常图像，确定增量特征集合；

获取所述记忆模块的当前特征集合；

对所述增量特征集合和所述当前特征集合进行交集运算，得到目标交集；

对所述目标交集进行聚类处理，得到新的特征集合，并利用所述新的特征集合对所述记忆模块进行参数更新。

第二方面，本申请实施例提供了一种推理装置，包括：

推理模块，配置为将待检测图像输入目标推理模型，得到预测结果；

在检测到所述待检测图像为异常图像的情况下，根据所述异常图像的异常类别，对所述目标推理模型的原始模型特征按照不同比例进行更新；

在检测到所述待检测图像是正常图像的情况下，输出所述预测结果。

第三方面，本申请实施例提供了一种电子设备，包括：

存储器，用于存储能够在处理器上运行的计算机程序；

处理器，用于在运行所述计算机程序时，执行如第一方面中任一项所述的方法。

第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如第一方面任一项所述的方法。

本申请实施例所提供的一种推理方法、装置、设备以及计算机存储介质。该方法包括：将待检测图像输入目标推理模型，得到预测结果；在检测到待检测图像为异常图像的情况下，根据异常图像的异常类别，对目标推理模型的原始模型特征按照不同比例进行更新；在检测到待检测图像是正常图像的情况下，输出预测结果。这样，利用异常图像对目标推理模型的原始特征进行部分更新，不仅减少了计算资源，降低了计算复杂度；而且在保证目标推理模型的精度情况下，还能够提高目标推理模型的推理能力。

附图说明

图1为本申请实施例提供的一种推理方法的流程示意图；

图2为本申请实施例提供的另一种推理方法的流程示意图；

图3为本申请实施例提供的一种推理装置的工作过程示意图；

图4为本申请实施例提供的一种推理装置的组成结构示意图；

图5为本申请实施例提供的一种电子设备的硬件结构示意图；

图6为本申请实施例提供的一种电子设备的组成结构示意图。

具体实施方式

为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。还需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅是用于区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

在相关技术中，随着人工智能快速发展，各种边缘推理模型不断在实际生产中落地。对于推理模型来说，需要通过大量的训练样本来确定多种模型参数，才能够用于实际生产过程。然而，在实际边缘模型推理场景过程中，输入的真实数据样本可能会和训练集存在一定差异，此时推理模型并不能对其进行准确判断，从而导致推理效果不理想。如何根据这些数据快速更新模型参数，同时满足：(1)在新数据上模型精度显著上升；(2)在原来数据上模型精度不明显下降；(3)模型的参数(或知识库大小)不会无限增加；(4)所需计算资源不会随着更新越来越多等等这些条件是一大难题。

基于此，本申请实施例提供了一种推理方法，该方法的基本思想是：将待检测图像输入目标推理模型，得到预测结果；在检测到待检测图像为异常图像的情况下，根据异常图像的异常类别，对目标推理模型的原始模型特征按照不同比例进行更新；在检测到待检测图像是正常图像的情况下，输出预测结果。这样，利用异常图像对目标推理模型的原始特征进行部分更新，不仅减少了计算资源，降低了计算复杂度；而且在保证目标推理模型的精度情况下，还能够提高目标推理模型的推理能力。

下面将结合附图对本申请各实施例进行详细说明。

在本申请的一实施例中，参见图1，其示出了本申请实施例提供的一种推理方法的流程示意图，如图1所示，该方法可以包括：

S101：将待检测图像输入目标推理模型，得到预测结果。

需要说明的是，本申请实施例提供的推理方法可以应用于具有计算功能的多种电子设备。这里，电子设备可以是诸如计算机、智能手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、服务器等等。在本申请实施例中，电子设备具体可以是移动边缘计算(Mobile Edge Computing，MEC)服务器，但是这里对此不作具体限定。

在本申请实施例中，推理模型具体可以是多种领域的推理模型，例如图像处理领域、语音识别领域、自然语言识别领域等等。具体地，推理模型用于对待检测图像进行特定检测，以输出预测结果。

S102：在检测到待检测图像为异常图像的情况下，根据异常图像的异常类别，对目标推理模型的原始模型特征按照不同比例进行更新。

需要说明的是，在推理模型使用过程中，需要对待检测图像进行判断，确定待检测图像是否为异常图像，如果待检测图像为异常图像，采用这些异常图像对目标推理模型进行更新。

还需要说明的是，在检测到异常图像时，可以将异常图像进行集中存储，在异常图像数量达到预设阈值的情况下，用集中存储的异常图像对目标推理模型进行更新。

在一些实施例中，在检测异常图像的过程中，该方法还可以包括：

通过异常检测模块计算所述待检测图像与所述初始训练图像之间的差异值；

若所述差异值大于异常阈值，则确定所述检测结果指示所述待检测图像为所述异常图像，并确定所述异常图像的异常类别；

若所述差异值小于或等于所述异常阈值，则确定所述检测结果指示所述待检测图像为所述正常图像。

需要说明的是，利用至少一个度量分数信息计算得到差异值，差异值越高，说明该异常图像与原始训练样本的偏差越大。具体地，可以通过异常检测模块计算对至少一个度量分数信息进行插值计算得到待检测图像对应的差异值，在这里，插值计算并不是必须的，也可以采用均值计算等方法确定差异值。

在一种具体的实施例中，所述确定所述异常图像的异常类别，可以包括：

对所述异常图像进行度量计算，确定所述异常图像的差异值；

根据所述异常图像的差异值和异常阈值的差值，确定所述异常图像的异常类别；其中，所述异常类别至少包括以下的其中一种：新类型样本、难学习样本或者漂移样本。

需要说明的是，在本申请实施例中，根据异常图像与原始训练样本的偏差程度，将异常图像分为三种异常类别：新类型样本、难学习样本或者漂移样本。其中，难学习样本是指该异常图像属于原始训练样本的覆盖范围，但是难以进行预测；漂移样本是指该异常图像与原始训练样本具有偏差，但是偏差不大；新类型样本是指该异常图像与原始训练样本的类型不同。

示例性的，假设目标预测模型用于识别待检测图像中的猫，原始训练样本就是大量橘猫的相关图片，那么难学习样本、漂移样本和新类型样本可以如下理解：难学习样本仍然是橘猫图片，只是与原始训练样本不同；漂移样本可能是黑猫图片；新类别样本可能是狗图片。

在一种具体的实施例中，难学习样本、漂移样本和新类型样本的差异值依次增大。相应地，异常阈值可以包括第一异常阈值和第二异常阈值，且第一异常阈值小于第二异常阈值；在异常图像的差异值小于或等于第一异常阈值的情况下，确定异常图像为难学习样本；在异常图像的差异值大于第一异常图像，且异常图像的差异值小于或等于第二异常阈值的情况下，确定异常图像为漂移样本；在异常图像的差异值大于第二异常图像的情况下，确定异常图像为新类型样本。

这样，通过以上步骤，能够确定异常图像属于哪一类异常类别，以便后续指导用户进行标注。

进一步地，在一些实施例中，当检测到所述待检测图像是异常图像时，该方法还可以包括：

将所述异常图像存储至异常数据库；

在所述异常数据库中所述异常图像的数量达到更新阈值的情况下，利用所述异常数据库中的异常图像对所述目标推理模型进行更新。

需要说明的是，采用异常数据库进行异常图像的存储，当异常图像达到一定数量后再进行目标推理模型更新是常见的更新策略之一，具体地，也可以采用实时更新的方式对目标推理模型进行更新。

进一步地，在一些实施例中，在所述异常数据库中所述异常图像的数量达到预设更新阈值的情况下，所述方法还包括：

基于对所述异常图像进行的数据标注，生成标注异常图像；

需要说明的是，为了方便用户快速对异常图像进行标注，可以提供一些预设选项供用户选择。对于难学习样本和漂移样本，需要询问用户预测结果是否是错误的；对于新类型样本，需要询问用户该异常图像的真实类别是什么，进而对异常图像进行标注。

还需要说明的是，由于难学习样本、漂移样本和新类型样本是根据异常阈值进行自动分类的，可能出现分类错误的情况。因此，异常阈值可以设计为自适应取值。换句话说，在用户标注异常图像的真实标签后，异常阈值还会根据该异常图像的真实标签进行自适应性调整。

相应地，在一些实施例中，所述根据所述异常图像的异常类别，对所述目标推理模型的原始模型特征按照不同比例进行更新，包括：

对属于新类型样本的异常头像、属于难学习样本的异常图像和属于漂移样本的异常图像进行统计，并根据统计结果确定数据偏移值；

在所述数据偏移值大于偏移阈值的情况下，基于第一类更新策略，利用所述标注异常图像对所述目标推理模型进行更新处理；或者，

在所述数据偏移值小于或等于偏移阈值的情况下，基于第二类更新策略，利用所述标注异常图像对所述目标推理模型进行更新处理；

其中，所述目标推理模型的原始模型特征在所述第一类更新策略中的更新的比例小于所述目标预测模型的原始模型特征在所述第二类更新策略中的更新比例。

需要说明的是，如果数据偏移值较大，说明生产实践中的待检测图像与原始训练样本的偏差越大，那么原始模型特征的重要性越小，此时在更新过程中保留较少的原始模型特征；反之，如果数据偏移值较小，说明生产实践中的待检测图像与原始训练样本的偏差越小，那么原始模型特征的重要性越大，此时在更新过程中保留较多的原始模型特征。

示例性地，第一类更新策略可以是小样本更新策略，具体地，可以是贪心聚类更新策略。也就是说，目标预测模型是利用原始训练样本对神经网络模型训练得到的，目标预测模型大多依赖于最初模型训练过程中是所选择的原始训练样本，并且目标预测模型也只能应用在与原始训练样本相似的待检测图像上。但是在实际生产环境中，待检测图像是不断变化的，并不能保证原始训练样本可以覆盖各种类型的待检测图像，所以目标预测模型需要不断进行更新以适应不断变化

在一种具体的实施例中，所述第一类更新策略至少包括贪心聚类更新策略，所述目标推理模型至少包括记忆模块；

所述基于第一类更新策略，利用所述标注异常图像对所述目标推理模型进行更新处理，包括：

将所述目标推理模型中待更新的原始模型特征存储至所述记忆模块；

基于所述贪心聚类更新策略，采用所述异常数据库中的所述标注异常图像对所述记忆模块进行更新处理。

需要说明的是，记忆模块(Memory)可以是动态更新模块更新的对象，记忆模块中存储有需要进行更新的动态参数。

在本申请的另一实施例中，参见图2，基于贪心聚类更新策略，采用所述异常数据库中的所述标注异常图像对所述记忆模块进行更新处理，可以包括：

S201：基于异常数据库中的标注异常图像，确定增量特征集合；

需要说明的是，增量特征合集可以为异常图像对比初始训练图像的增量特征，增量特征合集可以是异常数据库中标注过的异常图像对比初始训练图像的增量特征合集。

S202：获取记忆模块的当前特征集合；

S203：对增量特征集合和当前特征集合进行交集运算，得到目标交集；

S204：对目标交集进行聚类处理，得到新的特征集合，并利用新的特征集合对记忆模块进行参数更新。

需要说明的是，在参数更新过程中，只更新记忆模块中的部分知识特征向量(即新的特征合集)，示例性地，以贪心聚类方法为例，先获取当前记忆模块与新样本的增量特征集合所有向量的交集M，然后对M进行聚类，聚类的类别数目为原先记忆模块的大小，聚类结束后，将获取的各个类别的核作为新的记忆模块。

这样，在检测到待检测图像为异常图像的情况下，根据异常图像的异常类别，对目标推理模型的原始模型特征按照不同比例进行更新，其中，当更新的参数较小的情况下可以采用贪心聚类更新策略进行更新，得到新的目标推理模型。

S103：在检测到待检测图像是正常图像的情况下，输出预测结果。

需要说明的是，检测到待检测图像为正常图像，现有的推理模型即可得到准确的预测结果，进一步的将预测结果输出即可。

本申请实施例提供了一种推理方法，将待检测图像输入目标推理模型，得到预测结果；在检测到待检测图像为异常图像的情况下，根据异常图像的异常类别，对目标推理模型的原始模型特征按照不同比例进行更新；在检测到待检测图像是正常图像的情况下，输出预测结果。这样，不仅减少了计算资源，降低了计算复杂度；而且在保证目标推理模型的精度情况下，还能够提高目标推理模型的推理能力。

在本申请的又一实施例中，参见图3，其示出了本申请实施例提供的一种推理装置的工作过程示意图，如图3所示，该推理装置可以包括模型推理模块301、异常检测模块302、用户交互模块303和动态更新模块304组成。

基于该推理装置，本申请实施例使用了一种交互式模型在线更新的方法，具体的工作过程如下：

1)该推理装置与业务场景(如流水线)中的传感器相连，可以通过模型推理模块301进行常规的模型推理。

2)在每次推理过程中(或推理后)，异常检测模块302会对输入的样本(即待检测图像)进行判别，如果判别为异常样本(与原始训练样本分布差异较大、推理置信度较低的待检测图像)，则将该样本连同推理结果保存到该推理装置中的异常数据库。

3)当异常图像积累到一定数量，通过图形界面方式或邮件等方式通知业务用户，引导用户通过用户交互模块303进行数据标注，或者给出反馈。

4)当用户完成交互，动态更新模块304基于小样本增量度量学习算法，利用当前有标注的图像进行模型更新。

需要说明的是，这里的用户交互主要指数据标注，即：针对步骤3)积累的异常图像进行标注，当标注完成后，模型并没有变化，此时用户可以选择模型更新从而进入步骤4)。

对于步骤4)，需要说明的是，此时主要针对模型中的动态参数进行更新(即记忆模块)，但如果直接利用梯度下降法去微调(finetune)，容易过拟合或者发生灾难性遗忘，即在旧的任务中目标推理模型的效果发生退化。为了解决这一问题，推理模型必须基于“编码器(Encoder)+解码器(Decoder)+记忆模块(Memory)”的结构(Memory guided Encoder-Decoder，Mem Enc-Dec)，其中：

1)Encoder的输入是图像，输出是该图像的深度特征；

2)Decoder的输入是图像特征与知识特征的度量，输出是预测结果(如boundingbox或mask)；

3)Memory是知识特征的集合。

在采用动态更新模块304进行小样本增量更新的时候，Encoder和Decoder保持不变，只更新Memory中的部分知识特征向量，更新策略采用贪心聚类方法，即先获取当前Memory与新样本的特征集合所有向量的交集M，然后对M进行聚类，聚类的类别数为原先Memory的大小，聚类结束后，将获取的各个类别的核作为新的Memory。

在本申请实施例中，主要通过交互式更新和贪心聚类更新策略对目标推理模型进行更新处理，其中

1.交互式更新：使用一个用于包含一定算力的边缘计算盒子(即异常检测模块302)，该装置能够检测异常样本，并通过与用户交互的方式进行数据标注或反馈。

2.贪心聚类更新策略：该设备基于用标注数据或给出的反馈信息，通过动态更新模块304动态的更新模型，基于贪心聚类法构建小样本的增量学习技术，在避免灾难性以往的前提下，实现推理效果的不断提升。

本申请实施例提供了一种推理方法，基于上述实施例对前述实施例的具体实现进行详细阐述，根据前述实施例的技术方案，在实际边缘推理模型应用过程中，当输入的真实数据样本和训练集存在一定差异时，根据不同的异常类型，对目标推理模型的原始特征向量按照不同比例进行更新，这样，更新后的目标推理模型在新数据上模型精度显著上升，在原来数据上模型精度也不会明显下降，更重要的是，模型的参数(或知识库大小)不会无限增加，所需计算资源不会随着更新越来越多。更新后的模型的推理能力显著提高。

在本申请的再一实施例中，参见图4，其示出了本申请实施例提供的一种推理装置的组成结构示意图。如图4所示，该推理装置可以包括：

推理单元401，配置为将待检测图像输入目标推理模型，得到预测结果；

更新单元402，配置为在检测到所述待检测图像为异常图像的情况下，根据所述异常图像的异常类别，对所述目标推理模型的原始模型特征按照不同比例进行更新；

输出单元403，配置为在检测到所述待检测图像是正常图像的情况下，输出所述预测结果。

在一些实施例中，更新单元402，具体配置为通过异常检测模块计算所述待检测图像与所述初始训练图像之间的差异值；以及若所述差异值大于异常阈值，则确定所述检测结果指示所述待检测图像为所述异常图像，并确定所述异常图像的异常类别；以及若所述差异值小于或等于所述异常阈值，则确定所述检测结果指示所述待检测图像为所述正常图像。

在一些实施例中，更新单元402，具体配置为对所述异常图像进行度量计算，确定所述异常图像的差异值；以及根据所述异常图像的差异值和异常阈值的差值，确定所述异常图像的异常类别；其中，所述异常类别至少包括以下的其中一种：新类型样本、难学习样本或者漂移样本。

在一些实施例中，更新单元402，还配置为将所述异常图像存储至异常数据库；以及在所述异常数据库中所述异常图像的数量达到更新阈值的情况下，利用所述异常数据库中的异常图像对所述目标推理模型进行更新。

在一些实施例中，更新单元402，还配置为基于对所述异常图像进行的数据标注，生成标注异常图像；以及对属于新类型样本的异常头像、属于难学习样本的异常图像和属于漂移样本的异常图像进行统计，并根据统计结果确定数据偏移值；以及在所述数据偏移值大于偏移阈值的情况下，基于第一类更新策略，利用所述标注异常图像对所述目标推理模型进行更新处理；或者，在所述数据偏移值小于或等于偏移阈值的情况下，基于第二类更新策略，利用所述标注异常图像对所述目标推理模型进行更新处理；其中，所述目标推理模型的原始模型特征在所述第一类更新策略中的更新的比例小于所述目标预测模型的原始模型特征在所述第二类更新策略中的更新比例。

在一些实施例中，所述第一类更新策略至少包括贪心聚类更新策略，所述目标推理模型至少包括记忆模块；更新单元402，具体配置为将所述目标推理模型中待更新的原始模型特征存储至所述记忆模块；以及基于所述贪心聚类更新策略，采用所述异常数据库中的所述标注异常图像对所述记忆模块进行更新处理。

在一些实施例中，更新单元402，具体配置为基于所述异常数据库中的所述标注异常图像，确定增量特征集合；以及获取所述记忆模块的当前特征集合；以及对所述增量特征集合和所述当前特征集合进行交集运算，得到目标交集；以及对所述目标交集进行聚类处理，得到新的特征集合，并利用所述新的特征集合对所述记忆模块进行参数更新。

可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

因此，本实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现前述实施例中任一项所述的方法的步骤。

基于上述推理装置40的组成以及计算机存储介质，参见图5，其示出了本申请实施例提供的一种电子设备的具体硬件结构示意图。如图5所示，电子设备50可以包括：通信接口501、存储器502和处理器503；各个组件通过总线系统504耦合在一起。可理解，总线系统504用于实现这些组件之间的连接通信。总线系统504除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统504。其中，通信接口501，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；

存储器502，用于存储能够在处理器503上运行的计算机程序；

处理器503，用于在运行所述计算机程序时，执行：

将待检测图像输入目标推理模型，得到预测结果；

在检测到所述待检测图像为异常图像的情况下，根据所述异常图像的异常类别，对所述目标推理模型的原始模型特征按照不同比例进行更新；

在检测到所述待检测图像是正常图像的情况下，输出所述预测结果。

可以理解，本申请实施例中的存储器502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步链动态随机存取存储器(Synchronous link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的系统和方法的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。

而处理器503可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器503中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器503可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器503读取存储器502中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

可选地，作为另一个实施例，处理器503还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法的步骤。

在一些实施例中，参见图6，其示出了本申请实施例提供的一种电子设备50的组成结构示意图。如图6所示，该电子设备50至少包括前述实施例中任一项所述的推理装置40。

在本申请实施例中，对于电子设备50而言，将待检测图像输入目标推理模型，得到预测结果；在检测到待检测图像为异常图像的情况下，根据异常图像的异常类别，对目标推理模型的原始模型特征按照不同比例进行更新；在检测到待检测图像是正常图像的情况下，输出预测结果。这样，利用异常图像对目标推理模型的原始特征进行部分更新，不仅减少了计算资源，降低了计算复杂度；而且在保证目标推理模型的精度情况下，还能够提高目标推理模型的推理能力。

需要说明的是，在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种推理方法，所述方法包括：

将待检测图像输入目标推理模型，得到预测结果；

在检测到所述待检测图像为异常图像的情况下，根据所述异常图像的异常类别，对所述目标推理模型的原始模型特征按照不同比例进行更新；

在检测到所述待检测图像是正常图像的情况下，输出所述预测结果。

2.根据权利要求1所述的方法，所述方法还包括：

通过异常检测模块计算所述待检测图像与所述初始训练图像之间的差异值；

若所述差异值大于异常阈值，则确定所述检测结果指示所述待检测图像为所述异常图像，并确定所述异常图像的异常类别；

若所述差异值小于或等于所述异常阈值，则确定所述检测结果指示所述待检测图像为所述正常图像。

3.根据权利要求2所述的方法，所述确定所述异常图像的异常类别，包括：

对所述异常图像进行度量计算，确定所述异常图像的差异值；

根据所述异常图像的差异值和异常阈值的差值，确定所述异常图像的异常类别；其中，所述异常类别至少包括以下的其中一种：新类型样本、难学习样本或者漂移样本。

4.根据权利要求3所述的方法，当检测到所述待检测图像是异常图像时，所述方法还包括：

将所述异常图像存储至异常数据库；

在所述异常数据库中所述异常图像的数量达到更新阈值的情况下，利用所述异常数据库中的异常图像对所述目标推理模型进行更新。

5.根据权利要求1-4任意一项所述的方法，在所述异常数据库中所述异常图像的数量达到预设更新阈值的情况下，所述方法还包括：

基于对所述异常图像进行的数据标注，生成标注异常图像；

相应地，所述根据所述异常图像的异常类别，对所述目标推理模型的原始模型特征按照不同比例进行更新，包括：

对属于新类型样本的异常头像、属于难学习样本的异常图像和属于漂移样本的异常图像进行统计，并根据统计结果确定数据偏移值；

在所述数据偏移值大于偏移阈值的情况下，基于第一类更新策略，利用所述标注异常图像对所述目标推理模型进行更新处理；或者，

在所述数据偏移值小于或等于偏移阈值的情况下，基于第二类更新策略，利用所述标注异常图像对所述目标推理模型进行更新处理；

其中，所述目标推理模型的原始模型特征在所述第一类更新策略中的更新的比例小于所述目标预测模型的原始模型特征在所述第二类更新策略中的更新比例。

6.根据权利要求5所述的方法，所述第一类更新策略至少包括贪心聚类更新策略，所述目标推理模型至少包括记忆模块；

所述基于第一类更新策略，利用所述标注异常图像对所述目标推理模型进行更新处理，包括：

将所述目标推理模型中待更新的原始模型特征存储至所述记忆模块；

基于所述贪心聚类更新策略，采用所述异常数据库中的所述标注异常图像对所述记忆模块进行更新处理。

7.根据权利要求6所述的方法，所述基于贪心聚类更新策略，采用所述异常数据库中的所述标注异常图像对所述记忆模块进行更新处理，包括：

基于所述异常数据库中的所述标注异常图像，确定增量特征集合；

获取所述记忆模块的当前特征集合；

对所述增量特征集合和所述当前特征集合进行交集运算，得到目标交集；

对所述目标交集进行聚类处理，得到新的特征集合，并利用所述新的特征集合对所述记忆模块进行参数更新。

8.一种推理装置，包括：

推理单元，配置为将待检测图像输入目标推理模型，得到预测结果；

更新单元，配置为在检测到所述待检测图像为异常图像的情况下，根据所述异常图像的异常类别，对所述目标推理模型的原始模型特征按照不同比例进行更新；

输出单元，配置为在检测到所述待检测图像是正常图像的情况下，输出所述预测结果。

9.一种电子设备，包括：

存储器，用于存储能够在处理器上运行的计算机程序；

处理器，用于在运行所述计算机程序时，执行如权利要求1至7任一项所述的方法。

10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如权利要求1至7任一项所述的方法。

Images