CN116030323A - 图像处理方法以及装置 - Google Patents

图像处理方法以及装置 Download PDF

Info

Publication number
CN116030323A
CN116030323A CN202310313663.8A CN202310313663A CN116030323A CN 116030323 A CN116030323 A CN 116030323A CN 202310313663 A CN202310313663 A CN 202310313663A CN 116030323 A CN116030323 A CN 116030323A
Authority
CN
China
Prior art keywords
image
image processing
model
disturbance
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310313663.8A
Other languages
English (en)
Other versions
CN116030323B (zh
Inventor
张袁
陈威华
陆奕辰
孙修宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202310313663.8A priority Critical patent/CN116030323B/zh
Publication of CN116030323A publication Critical patent/CN116030323A/zh
Application granted granted Critical
Publication of CN116030323B publication Critical patent/CN116030323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本说明书实施例提供图像处理方法以及装置,其中所述图像处理方法包括:获取待处理图像;将所述待处理图像输入图像处理模型,获得图像处理结果,其中,所述图像处理模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。对于一个参考模型,由于对样本图像特征增加扰动,那么可以得到不同的参考预测结果,在基于参考预测结果对图像处理模型进行知识蒸馏训练过程中,能够使图像处理模型学到由扰动带来的更多知识,丰富了图像处理模型的学习样本,减少计算资源占用,提升训练效率,并且能够保证图像处理模型的图像处理性能。

Description

图像处理方法以及装置
技术领域
本说明书实施例涉及图像处理技术领域,特别涉及图像处理方法。
背景技术
对于图像的分类、图像中的目标检测等视觉任务,均可以利用图像处理模型实现。在对图像处理模型训练时,通常可以利用知识蒸馏训练的方式对图像处理模型进行训练。为了能够使图像处理模型具有更好的处理性能,通常可以利用多教师集成蒸馏的方式训练图像处理模型。
然而,在多教师集成蒸馏中,训练多个教师模型会导致大量计算资源占用,训练时间长,训练效率低。因此,亟需一种有效的技术方案解决上述问题。
发明内容
有鉴于此,本说明书实施例提供了两种图像处理方法。本说明书一个或者多个实施例同时涉及两种图像处理装置,一种商品图像分类方法,一种商品图像分类装置,一种图像处理模型的训练方法,一种图像处理模型的训练装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种图像处理方法,包括:
获取待处理图像;
将所述待处理图像输入图像处理模型,获得图像处理结果,其中,所述图像处理模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。
根据本说明书实施例的第二方面,提供了一种图像处理装置,包括:
获取模块,被配置为获取待处理图像;
输入模块,被配置为将所述待处理图像输入图像处理模型,获得图像处理结果,其中,所述图像处理模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。
根据本说明书实施例的第三方面,提供了一种图像处理方法,应用于云侧设备,包括:
接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有待处理图像;
将所述待处理图像输入图像处理模型,获得图像处理结果,其中,所述图像处理模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到;
将所述图像处理结果发送至所述端侧设备。
根据本说明书实施例的第四方面,提供了一种图像处理装置,应用于云侧设备,包括:
接收模块,被配置为接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有待处理图像;
输入模块,被配置为将所述待处理图像输入图像处理模型,获得图像处理结果,其中,所述图像处理模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到;
发送模块,被配置为将所述图像处理结果发送至所述端侧设备。
根据本说明书实施例的第五方面,提供了一种商品图像分类方法,包括:
接收用户发送的商品图像分类请求,其中,所述商品图像分类请求携带有待分类商品图像;
将所述待分类商品图像输入商品分类模型,获得商品图像类别信息,其中,所述商品分类模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。
根据本说明书实施例的第六方面,提供了一种商品图像分类装置,包括:
接收模块,被配置为接收用户发送的商品图像分类请求,其中,所述商品图像分类请求携带有待分类商品图像;
输入模块,被配置为将所述待分类商品图像输入商品分类模型,获得商品图像类别信息,其中,所述商品分类模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。
根据本说明书实施例的第七方面,提供了一种图像处理模型的训练方法,应用于云侧设备,包括:
获取样本集,其中,所述样本集包括多个样本图像;
在所述样本集中提取任意一个样本图像,将所述任意一个样本图像输入至参考模型和图像处理模型,获得所述参考模型从所述样本图像提取的样本图像特征,获得所述图像处理模型输出的第一预测结果,其中,所述参考模型为预先训练的用于图像处理的深度学习模型;
对所述样本图像特征进行扰动处理,获得所述样本图像特征对应的扰动特征;
获得所述参考模型基于所述扰动特征输出的参考预测结果;
利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
根据本说明书实施例的第八方面,提供了一种图像处理模型的训练装置,应用于云侧设备,包括:
获取模块,被配置为获取样本集,其中,所述样本集包括多个样本图像;
输入模块,被配置为在所述样本集中提取任意一个样本图像,将所述任意一个样本图像输入至参考模型和图像处理模型,获得所述参考模型从所述样本图像提取的样本图像特征,获得所述图像处理模型输出的第一预测结果,其中,所述参考模型为预先训练的用于图像处理的深度学习模型;
扰动模块,被配置为对所述样本图像特征进行扰动处理,获得所述样本图像特征对应的扰动特征;
获取模块,被配置为获得所述参考模型基于所述扰动特征输出的参考预测结果;
训练模块,被配置为利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
根据本说明书实施例的第九方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
根据本说明书实施例的第十方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述方法的步骤。
根据本说明书实施例的第十一方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述方法的步骤。
本说明书一个实施例提供了一种图像处理方法,获取待处理图像;将所述待处理图像输入图像处理模型,获得图像处理结果,其中,所述图像处理模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。
上述方法中用于处理待处理图像的图像处理模型是经过知识蒸馏训练得到的,并且,在知识蒸馏训练过程中,参考模型输出的参考预测结果基于增加扰动的样本图像特征得到,那么,对于一个参考模型,由于对样本图像特征增加扰动,那么可以得到不同的参考预测结果,在基于参考预测结果对图像处理模型进行知识蒸馏训练过程中,能够使图像处理模型学到由扰动带来的更多知识,丰富了图像处理模型的学习样本,减少计算资源占用,提升训练效率,并且能够保证图像处理模型的图像处理性能。
附图说明
图1是本说明书一个实施例提供的一种图像处理方法的场景示意图;
图2是本说明书一个实施例提供的一种图像处理方法的流程图;
图3是本说明书一个实施例提供的一种图像处理方法中知识蒸馏的示意图;
图4是本说明书一个实施例提供的一种图像处理方法中图像处理模型训练的示意图;
图5是本说明书一个实施例提供的一种图像处理方法中基于扰动特征训练的示意图;
图6是本说明书一个实施例提供的一种图像处理方法的处理过程流程图;
图7是本说明书一个实施例提供的一种图像处理装置的结构示意图;
图8是本说明书一个实施例提供的另一种图像处理方法的流程图;
图9是本说明书一个实施例提供的另一种图像处理装置的结构示意图;
图10是本说明书一个实施例提供的一种商品图像分类方法的流程图;
图11是本说明书一个实施例提供的一种商品图像分类方法的应用场景示意图;
图12是本说明书一个实施例提供的一种商品图像分类方法中商品分类模型的训练流程图;
图13是本说明书一个实施例提供的一种商品图像分类装置的结构示意图;
图14是本说明书一个实施例提供的一种图像处理模型的训练方法的流程图;
图15是本说明书一个实施例提供的一种图像处理模型的训练装置的结构示意图;
图16是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
知识蒸馏:指较大的教师模型将知识(如特征图、分类概率)迁移至较小的学生模型,在保持学生模型较小计算量的同时,提高模型的精度。
Avatar:分身,多个分身源于同一个教师模型,通过扰动形成不同的数据分布,为学生模型提供不同的蒸馏视角。
扰动网络:用于对数据分布进行改变。
dropout:一种扰动网络,可以对特征图进行随机掩码,将特征图中的部分元素置零。
CwD:全称为Channel-wise Distillation,是一种知识蒸馏方法。
MGD:全称为Masked Generative Distillation,一种知识蒸馏方法,可以适用于图像分类,检测与分割任务等。
需要说明的是,本说明书实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
在本说明书中,提供了两种图像处理方法,本说明书同时涉及两种图像处理装置,一种商品图像分类方法,一种商品图像分类装置,一种图像处理模型的训练方法,一种图像处理模型的训练装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了根据本说明书一个实施例提供的一种图像处理方法的场景示意图。
图1中包括云侧设备102和端侧设备104,其中,云侧设备102可以理解为云服务器,当然,在另一种可实现方案中,云侧设备102也可以替换为物理服务器;该端侧设备104包括但不限于台式电脑、笔记本电脑等;为了便于理解,本说明书实施例中,均以云侧设备102为云服务器、端侧设备104为笔记本电脑为例进行详细介绍。
具体实施时,用户通过端侧设备104向云侧设备102发送图像处理请求,该图像处理请求中携带有待处理图像。云侧设备102接收到该图像处理请求之后,将待处理图像输入至云侧设备102部署的图像处理模型中,获得图像处理模型输出的图像处理结果,并将图像处理结果发送至端侧设备104。其中,云侧设备102部署的图像处理模型是经过知识蒸馏训练得到的,并且,该图像处理模型利用参考模型输出的参考预测结果进行的知识蒸馏训练过程中,该参考预测结果是基于增加扰动的样本图像特征得到的。实现图像处理模型的蒸馏视角的多样性,进一步提升图像处理模型的性能,实现一个参考模型具有多个分身参考模型的效果,从而减少计算资源占用。
参见图2,图2示出了根据本说明书一个实施例提供的一种图像处理方法的流程图,具体包括以下步骤。
步骤202:获取待处理图像。
具体的,本说明书实施例提供的图像处理方法可以应用于端侧设备,端侧设备包括但不限于计算机终端、移动终端等,端侧设备部署有图像处理模型。
其中,待处理图像可以理解为需要进行处理的图像。待处理图像可以是端侧设备中存储的图像。在图像分类任务中,待处理图像可以是需要进行分类的图像;在目标检测任务中,待处理图像可以是需要进行目标检测的图像。可以理解的,该图像处理模型可以适用于任何图像处理任务,本说明书实施例对此不做限定。
步骤204:将所述待处理图像输入图像处理模型,获得图像处理结果,其中,所述图像处理模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。
具体的,在获取待处理图像之后,可以将待处理图像输入图像处理模型,获得图像处理结果。并通过端侧设备的展示界面,将图像处理结果展示给用户。在图像分类任务中,图像处理结果可以是待处理图像的图像类别信息。
其中,所述图像处理模型经知识蒸馏训练得到;在所述知识蒸馏训练的过程中,参考模型输出的参考预测结果基于增加扰动的样本图像特征得到。知识蒸馏可以理解为将教师模型的知识迁移至学生模型。待迁移的样本图像特征可以理解为从教师模型向学生模型迁移的知识。参考模型可以理解为知识蒸馏中的教师模型,图像处理模型可以理解为知识蒸馏中的学生模型。样本图像特征可以理解为参考模型对输入的样本图像进行特征提取得到的样本图像特征。图像处理请求包括但不限于图像分类请求、图像分割请求、目标检测请求等。在图像处理请求为图像分类请求的情况下,图像处理结果可以是待处理图像的类别信息。在图像处理请求为图像分割请求的情况下,图像处理结果可以是对待处理图像进行分割之后的分割图像。在图像处理请求为目标检测请求的情况下,图像处理结果可以是待处理图像中的检测目标对应的图像。
具体的,图3示出了根据本说明书一个实施例提供的一种图像处理方法中知识蒸馏的示意图。
具体的,知识蒸馏过程中,对学生模型的训练分为两部分,一部分是对学生模型的任务训练。一部分是对学生模型的蒸馏训练。
以图像分类任务为例进行说明,训练样本为图像,训练标签为图像对应的标签类别信息。在对学生模型的任务训练中,将训练样本(即样本图像)输入至学生模型,获得学生模型输出的预测类别信息(即第一预测结果),根据预测类别信息和标签类别信息,计算学生模型的任务损失值,并根据任务损失值对学生模型进行训练,直至获得满足训练停止条件的学生模型。其中,训练标签可以是参考模型输出的。具体的,将训练样本输入至参考模型,获得参考模型输出的输出结果,将该输出结果作为训练标签训练学生模型。
在对学生模型的蒸馏训练中,可以将训练样本(即样本图像)输入参考模型,获得参考模型对训练样本提取的样本特征,将样本特征输入扰动网络,获得样本特征对应的多个扰动特征(即分身),并计算每个扰动特征的目标权重,该目标权重用于表征扰动特征在噪声的影响下的稳定程度,获得参考模型基于扰动特征输出的参考预测结果,并根据参考预测结果和第一预测结果,计算蒸馏损失值,根据目标权重对蒸馏损失值进行加权处理,获得目标蒸馏损失值,基于目标蒸馏损失值对学生模型的参数进行调整,以此实现对学生模型的知识蒸馏训练。
具体的,基于目标扰动特征对学生模型进行训练时,可以获得参考模型基于目标扰动特征输出的参考预测结果,将训练样本输入学生模型,获得学生模型输出的第一预测结果,根据参考预测结果和第一预测结果对学生模型进行训练。
与上述训练方法类似的,对图像处理模型进行训练的具体实现方式如下:
所述将所述待处理图像输入图像处理模型之前,还包括:
获取样本集,其中,所述样本集包括多个样本图像;
在所述样本集中提取任意一个样本图像,将所述任意一个样本图像输入至参考模型和图像处理模型,获得所述参考模型输出的参考预测结果,和所述图像处理模型输出的第一预测结果,其中,所述参考模型为预先训练的用于图像处理的深度学习模型;
利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
具体的,可以将样本图像分别输入至参考模型和图像处理模型,获得参考模型输出的参考预测结果、和图像处理模型输出的第一预测结果,并根据参考预测结果和第一预测结果对图像处理模型进行训练。
其中,训练停止条件可以理解为训练次数达到预设次数阈值或模型损失值达到预设损失值阈值。
具体的,为了使图像处理模型学习的知识更加丰富,为图像处理模型的训练提供不同的蒸馏视角,可以在将样本图像输入参考模型之后,对参考模型针对样本图像提取的样本图像特征添加扰动,具体实现方式如下:
获得所述参考模型从所述样本图像提取的样本图像特征;
对所述样本图像特征进行扰动处理,获得所述样本图像特征对应的扰动特征;
获得所述参考模型基于所述扰动特征输出的参考预测结果。
具体的,可以对参考模型的中间输出结果,即参考模型从样本图像提取的样本图像特征进行扰动处理,获得样本图像特征对应的多个扰动特征,从而获得参考模型基于该多个扰动特征输出的参考预测结果。
此外,还可以通过对样本图像增加扰动,实现为图像处理模型的训练提供不同的蒸馏视角,具体实现方式如下:
所述将所述任意一个样本图像输入至参考模型,包括:
对所述任意一个样本图像进行扰动处理,获得扰动样本;
将所述扰动样本输入至参考模型。
具体的,在将样本图像输入参考模型之前,可以对样本图像进行扰动处理,获得扰动样本,再将扰动样本输入至参考模型,获得参考模型基于该扰动样本输出的参考预测结果。
或者,还可以通过对参考模型本身增加扰动,具体可以对参考模型的任意一个神经网络层增加扰动,具体实现方式如下;
所述将所述任意一个样本图像输入至参考模型和图像处理模型之前,还包括:
对参考模型的权重进行随机置零处理,获得处理后的参考模型;
相应地,所述将所述任意一个样本图像输入至参考模型,获得所述参考模型输出的参考预测结果,包括:
将所述任意一个样本图像输入至所述处理后的参考模型,获得所述处理后的参考模型输出的参考预测结果。
具体的,在将样本图像输入参考模型之前,可以对参考模型的权重进行随机置零处理(即扰动处理),具体可以对参考模型的任意一个神经网络层的权重进行扰动处理,获得处理后的参考模型。将样本图像输入处理后的参考模型,获得该处理后的参考模型输出的参考预测结果。
综上,可以通过对样本图像特征增加扰动、对样本图像增加扰动或者对参考模型本身增加扰动,依次实现获得基于扰动得到的多个参考预测结果,为图像处理模型的训练提供多个训练样本,从而为参考模型的训练提供不同的蒸馏视角。
参见图4,图4示出了根据本说明书一个实施例提供的一种图像处理方法中图像处理模型训练的示意图。
具体的,在对图像处理模型进行知识蒸馏训练步骤如下:
所述将所述待处理图像输入图像处理模型之前,还包括:
步骤402:获取样本集,其中,所述样本集包括多个样本图像。
步骤404:在所述样本集中提取任意一个样本图像,将所述任意一个样本图像输入至参考模型和图像处理模型,获得所述参考模型从所述样本图像提取的样本图像特征,获得所述图像处理模型输出的第一预测结果,其中,所述参考模型为预先训练的用于图像处理的深度学习模型。
其中,参考模型从样本图像提取的样本图像特征,可以理解为参考模型中的任意一个神经网络层提取的样本图像特征。
步骤406:对所述样本图像特征进行扰动处理,获得所述样本图像特征对应的扰动特征。
具体的,可以通过扰动网络对样本图像特征进行扰动处理,获得样本图像特征对应的扰动特征。对样本图像特征进行扰动处理,可以理解为对样本图像特征进行掩码处理,使样本图像特征中的部分特征元素置零。
其中,扰动特征可以理解为对参考模型生成的分身,基于此,能够将一个参考模型,转换为多个分身。
为了能够丰富图像处理模型的学习样本,可以对样本图像特征进行随机扰动处理,以获得至少一个扰动特征,具体实现方式如下:
所述对所述样本图像特征进行扰动处理,获得所述样本图像特征对应的扰动特征,包括:
对所述样本图像特征进行随机扰动处理,获得所述样本图像特征对应的至少一个扰动特征。
具体的,对样本图像特征进行随机扰动处理,可以理解为随机对样本图像特征中的特征元素置零。比如对于样本图像特征(1、5、7),对其进行随机扰动处理,获得的扰动特征可以是(0、5、7),也可以是(1、0、7)。
可以理解的,至少一个扰动特征中,每个扰动特征的数据分布不同,使得图像处理模型能够从不同的蒸馏视角学习,进而保证图像处理模型的性能。
实际应用中,可以通过掩码处理或者加噪处理的方式对样本图像特征进行扰动处理。
综上,通过对样本图像特征进行随机扰动处理,使得每个扰动特征的数据分布都不同,为图像处理模型的训练提供多个不同的蒸馏视角,丰富图像处理模型的训练样本,进一步提升图像处理模型的性能。
参见图5,图5示出了根据本说明书一个实施例提供的一种图像处理方法中基于扰动特征训练的示意图。
如图5中的(a)所示,在不对参考模型增加扰动时,可以基于参考模型输出的参考预测结果A对学生模型进行蒸馏训练,最终学生模型能够学习到参考预测结果A的知识。而对参考模型添加扰动时,参考模型基于不同的扰动特征输出不同的参考预测结果,参考模型可以基于扰动特征A输出参考预测结果A、基于扰动特征B输出参考预测结果B、基于扰动特征C输出参考预测结果C、以及基于扰动特征D输出参考预测结果D。每个参考预测结果代表不同的蒸馏视角,利用参考预测结果训练学生模型的过程中,使得学生模型能够学习到多个蒸馏视角的内容。如图5中的(a)所示,学生模型可以基于一个参考模型学习到参考预测结果A、B、C和D的知识,进而优化学生模型的性能。可以理解的,如图5中的(b)所示,随着扰动特征的数量的增加,学生模型的性能也随之提升。
步骤408:获得所述参考模型基于所述扰动特征输出的参考预测结果。
具体的,在对参考模型提取的样本图像特征进行扰动处理,获得扰动特征之后,参考模型基于该扰动特征继续处理,获得参考模型基于扰动特征输出的参考预测结果。
其中,扰动网络可以设置于参考模型中的第一神经网络层和第二神经网络层之间。具体而言,样本图像输入参考模型之后,经过第一神经网络层,获得第一神经网络层输出的样本图像特征,将样本图像特征输入第一神经网络层和第二神经网络层之间的扰动网络,获得扰动网络输出的扰动特征,将扰动特征输入第二神经网络层,依次经过参考模型中的其他神经网络层进行处理,最终获得参考模型输出的参考预测结果。
可以理解的,随机扰动不同,扰动给样本图像特征带来的变化也就不同,基于扰动特征获得的参考预测结果也就不同。基于此,通过获得参考模型基于至少一个扰动特征输出的至少一个参考预测结果,利用多参考预测结果集成蒸馏,能够实现图像处理模型的训练样本的多样性,从而提升图像处理模型的抗干扰性和针对多种图像处理任务的适用能力。
步骤410:利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
具体的,在获取参考模型输出的参考预测结果和图像处理模型输出的第一预测结果之后,可以利用参考预测结果和第一预测结果对图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
其中,训练停止条件可以理解为达到预设迭代次数或模型的损失值达到预设损失值阈值。
具体实施时,所述利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型,包括:
根据所述参考预测结果的置信度和所述第一预测结果的置信度,计算蒸馏损失值;
根据所述蒸馏损失值,对所述图像处理模型的参数进行调整;
继续执行所述在所述样本集中提取任意一个样本图像,将所述任意一个样本图像输入至参考模型和图像处理模型,获得所述参考模型输出的参考预测结果,和所述图像处理模型输出的第一预测结果的步骤,直至获得满足训练停止条件的图像处理模型。
其中,置信度可以理解为置信区间,是被测量参数测量值的可信程度范围。那么参考预测结果的置信度可以理解为参考预测结果的可信程度范围,第一预测结果的置信度可以理解为第一预测结果的可信程度范围。蒸馏损失值可以理解为图像处理模型在知识蒸馏训练过程中的损失值。
基于此,可以计算参考预测结果的置信度和第一预测结果的置信度,并根据参考预测结果的置信度和第一预测结果的置信度,计算图像处理模型在知识蒸馏训练过程中的损失值,根据该损失值对图像处理模型的参数进行调整。之后,可以继续执行所述在所述样本集中提取任意一个样本图像,将所述任意一个样本图像输入至参考模型和图像处理模型,获得所述参考模型从所述样本图像提取的样本图像特征,获得所述图像处理模型输出的第一预测结果的步骤,直至达到预设迭代次数或者图像处理模型的蒸馏损失值达到预设损失值阈值。
实际应用中,可以选用CwD蒸馏方法或者MGD蒸馏方法等,对图像处理模型进行蒸馏训练。本说明书实施例对此不做限定。
综上,通过知识蒸馏训练,并且基于增加扰动的样本图像特征得到的参考预测结果对图像处理模型进行训练,能够为图像处理模型提供不同的蒸馏视角,进一步保证图像处理模型的性能和抗干扰性。
具体实施时,由于对样本图像特征增加的扰动是随机的,且在对样本图像特征进行扰动处理时还会引入一定的噪声,若对扰动特征的影响程度较大,则会使扰动特征不稳定,图像处理模型在学习基于不稳定的扰动特征获得的参考预测结果时,会导致图像处理模型的精度下降。为了避免该影响,可以根据扰动特征在噪声影响下的稳定度,为扰动特征赋予权重,从而在知识蒸馏训练过程中控制不稳定的扰动特征的影响,具体实现方式如下:
所述获得所述参考模型基于所述扰动特征输出的参考预测结果之前,还包括:
确定所述扰动特征的目标权重,其中,所述目标权重表示所述扰动特征在噪声影响下的稳定度,所述噪声为增加的扰动引起;
根据所述扰动特征的目标权重,对所述扰动特征进行加权处理,获得目标扰动特征;
相应地,所述根据所述蒸馏损失值,对所述图像处理模型的参数进行调整,包括:
根据所述蒸馏损失值和所述目标权重,确定目标蒸馏损失值;
根据所述目标蒸馏损失值,对所述图像处理模型的参数进行调整。其中,扰动特征在噪声影响下的稳定度,可以理解为扰动特征在噪声影响下的稳定程度。可以理解的,噪声对扰动特征的影响越大,扰动特征的稳定程度越低(即越不稳定),那么扰动特征的目标权重越小,此类扰动特征可以是负向分身。噪声对扰动特征的影响越小,扰动特征的稳定程度越高(即越稳定),那么扰动特征的目标权重越大,此类扰动特征可以是正向分身。
基于此,可以确定扰动特征在噪声影响下的稳定程度,并根据扰动特征的稳定程度,确定该扰动特征的目标权重。在利用参考模型基于该扰动特征输出的参考预测结果对图像处理模型进行蒸馏训练时,在计算第一预测结果和该参考预测结果之间的蒸馏损失值之后,可以根据该目标权重对该蒸馏损失值进行加权处理,获得目标蒸馏损失值,并根据该目标蒸馏损失值对图像处理模型的参数进行调整。
举例而言,参考模型基于样本图像提取的样本图像特征(10、1、6),对该样本图像特征进行扰动处理,确定扰动特征(10、1、0),并确定该扰动特征的目标权重为0.5,确定参考模型基于该扰动特征输出的参考预测结果,以及确定图像处理模型基于样本图像输出的第一预测结果,根据参考预测结果和第一预测结果,计算图像处理模型的蒸馏损失值m,利用该目标权重0.5对该蒸馏损失值m进行加权处理,获得的目标蒸馏损失值为0.5m,基于该目标蒸馏损失值0.5m调整图像处理模型的参数。
综上,通过确定扰动特征的目标权重,使得为稳定程度较低的扰动特征赋予较小的目标权重,从而控制稳定程度较低的扰动特征在训练过程中对图像处理模型的精度影响,进而保证图像处理模型输出的图像处理结果的精度,从而保证图像处理模型的处理性能。
具体实施时,所述确定所述扰动特征的目标权重,包括:
根据所述扰动特征和所述扰动特征对应的样本图像特征,确定所述噪声对所述扰动特征的影响程度;
根据所述噪声对所述扰动特征的影响程度,确定所述扰动特征的目标权重。
其中,噪声对扰动特征的影响程度,可以是该扰动特征的不确定性。扰动特征对应的样本图像特征,可以理解为扰动处理前的样本图像特征。比如对于样本图像特征A进行扰动处理,获得扰动特征A1,那么扰动特征A1对应的样本图像特征即为样本图像特征A。
具体的,可以根据扰动特征和扰动处理前的样本图像特征,确定噪声对扰动特征的影响程度,确定该噪声对扰动特征的影响程度最小的情况下,扰动特征的目标权重。
实际应用中,可以利用扰动特征的后验概率确定目标权重。扰动特征的后验概率,可以理解为样本图像特征为A的情况下,扰动特征也为A的概率。在扰动特征的后验概率最大的情况下,说明扰动引入的噪声对生成的扰动特征的影响程度最小。计算扰动特征的后验概率的公式(1)如下。
(1)
其中,用于表示噪声,为输入参考模型的样本图像,是参考模型,是参考模型产生的第i个分身模型,i为分身模型的个数。为扰动特征,为参考模型对样本图像提取的样本图像特征。为噪声对扰动特征的影响程度,即不确定性。若使噪声对扰动特征的影响程度最小,那么由公式(1)可知,需要使后验概率最大。基于此,可以对公式(1)进行求导,得到噪声对扰动特征的影响程度(即不确定性)为公式(2)。其中,用于表示在全部扰动特征中取平均,用于表示对全部输入参考模型的样本图像(即输入的数据)取平均。local用于表示计算的一个扰动特征(即分身)一个样本图像(即数据)的内容。
(2)
基于此,扰动特征的不确定性的解(即解析解)如公式(3)所示。
(3)
由于噪声来自于扰动网络,而实际应用中扰动网络是一个dropout网络层,该层的作用是在原来样本图像特征的每个位置随机加入一个掩码,将对应位置变成0,这个随机概率是m。因此,Ai(x)=(1-m)T(x),将其代入公式(3),得到如下公式(4)。
(4)
其中,m表示扰动网络的随机掩码比例,即将百分之m的特征点置零。即用于表示在对第i个样本图像特征添加扰动时,所用的扰动网络的随机掩码比例。表示所有样本图像(即数据)经过参考模型输出的样本图像特征的平均值,用于表示所有样本图像(即数据)经过参考模型输出的样本图像特征的方差值。当平均值为0时,扰动特征的不确定性和两个因素有关:一个是扰动网络的随机概率(即随机掩码比例)m,一个是参考模型在输入为样本图像的情况下提取的样本图像特征的方差。由于m是个固定不变的标量,基于此,可以利用样本图像特征的方差作为扰动特征的不确定性。
具体的,可以在对样本图像特征进行扰动处理之前,计算样本图像特征的方差,并将样本图像特征的方差作为对该样本图像特征进行扰动处理后得到的扰动特征的不确定性。
此外,还可以将其他用于表征样本图像特征的离散程度的参数作为扰动特征的不确定性,比如样本图像特征的协方差、标准差等参数。本说明书实施例在此不作限定。
综上,通过在噪声对扰动特征的影响程度最小的情况下,确定扰动特征的目标权重,使得对不稳定的扰动特征赋予较低的目标权重,从而实现对不稳定的扰动特征的控制,,控制每个分身对蒸馏的影响大小,避免不稳定的扰动特征影响图像处理模型的训练。
具体的,为了保证图像处理模型的性能,在获得图像处理模型输出的图像处理结果之后,可以根据用户针对该图像处理结果的反馈信息,对图像处理模型的参数进行微调,具体实现方式如下:
所述将所述待处理图像输入图像处理模型,获得图像处理结果之后,还包括:
将所述图像处理结果通过展示界面展示给用户;
接收所述用户针对所述图像处理结果的反馈信息;
根据所述反馈信息,对所述图像处理模型的参数进行调整。
具体的,可以将图像处理结果通过端侧设备,比如面向用户的计算机终端或者移动终端的展示界面展示给用户,并接收用户在该展示界面上针对图像处理结果输入的反馈信息,根据反馈信息,对图像处理模型的参数进行调整。
综上,在对图像处理模型训练结束之后,还可以根据用户的反馈信息对图像处理模型的参数进行调整,以进一步提升图像处理模型的性能。并且,在训练好的图像处理模型输出的图像处理结果仍然不准确的情况下,能够及时发现并调整,避免后续图像处理任务的失败。
具体的,参考模型输出的参考预测结果基于增加扰动的样本图像特征得到,除了前述对样本图像特征增加扰动,还可以对样本图像增加扰动,那么参考模型基于该样本图像提取的样本图像特征也就随之增加了扰动,具体实现方式如下:
所述将所述待处理图像输入图像处理模型之前,还包括:
获取样本集,其中,所述样本集包括多个样本图像;
在所述样本集中提取任意一个样本图像,对所述任意一个样本图像进行扰动处理,获得扰动样本;
将所述扰动样本输入至参考模型,获得参考预测结果,其中,所述参考模型为预先训练的用于图像处理的深度学习模型;
将所述样本图像输入至图像处理模型,获得第一预测结果;
利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
具体的,可以在从样本集中提取任意一个样本图像之后,对该样本图像进行扰动处理,获得扰动样本,并将扰动样本输入至参考模型,获得参考模型输出的参考预测结果;将样本图像输入至图像处理模型,获得图像处理模型输出的第一预测结果。利用参考预测结果和第一预测结果对图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
可以理解的,此处对样本图像进行扰动处理的方式与前述对样本图像特征进行扰动处理的方式相同,比如可以对样本图像进行掩码处理,或者将样本图像中的部分像素值随机置零等,相应地,利用参考预测结果和第一预测结果对图像处理模型进行训练的过程也相同,在此不再重复赘述。
综上,通过对样本图像增加扰动,也能够实现扰动特征的生成,仅对输入图像处理模型之前的样本图像增加扰动,操作简单,便于实现,无需对参考模型进行处理,节省时间,并且获得参考模型基于扰动特征输出的参考预测结果,实现图像处理模型的训练样本的多样性,进一步提升图像处理模型的处理性能。
此外,还可以对参考模型进行扰动处理,那么,经过扰动处理后得到的参考模型输出的参考预测结果也是增加了扰动的,同样能够实现图像处理模型的训练样本的多样性,具体实现方式如下:
所述将所述待处理图像输入图像处理模型之前,还包括:
获取样本集,其中,所述样本集包括多个样本图像;
对参考模型的权重进行随机置零处理,获得处理后的参考模型,其中,所述参考模型为预先训练的用于图像处理的深度学习模型;
在所述样本图像集中提取任意一个样本图像,将所述任意一个样本图像输入至所述处理后的参考模型和图像处理模型,获得所述参考模型输出的参考预测结果,获得所述图像处理模型输出的第一预测结果;
利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
具体的,对参考模型的权重进行随机置零处理,可以理解为对参考模型中的任意一个神经网络层的全部权重或部分权重进行随机置零处理。具体扰动过程和训练过程与前述类似,在此不再重复赘述。
综上,通过对参考模型增加扰动,也能够实现扰动特征的生成,并且获得参考模型基于扰动特征输出的参考预测结果,实现图像处理模型的训练样本的多样性,进一步提升图像处理模型的处理性能。
本说明书实施例提供的图像处理方法可以与多种蒸馏方法兼容,能够适用于图像分类、目标检测与图像分割等多种视觉人物,并且,对于多种数据集,都具有较好的蒸馏效果,且计算资源消耗较小,从而提升收益。
综上所述,上述方法中用于处理待处理图像的图像处理模型是经过知识蒸馏训练得到的,并且,在知识蒸馏训练过程中,参考模型输出的参考预测结果基于增加扰动的样本图像特征得到,那么,对于一个参考模型,由于对样本图像特征增加扰动,那么可以得到不同的参考预测结果,在基于参考预测结果对图像处理模型进行知识蒸馏训练过程中,能够使图像处理模型学到由扰动带来的更多知识,丰富了图像处理模型的学习样本,减少计算资源占用,提升训练效率,并且能够保证图像处理模型的图像处理性能。
下述结合附图6,以本说明书提供的图像处理方法在图像检测的应用为例,对所述图像处理方法进行进一步说明。其中,图6示出了本说明书一个实施例提供的一种图像处理方法的处理过程流程图,具体包括以下步骤。
步骤602:端侧设备接收用户在图像检测请求上传框中输入的待检测图像,并接收用户针对该图像检测请求的上传指令,将图像检测请求发送至云侧设备。
其中,端侧设备向用户展示图像检测请求上传框。图像检测请求中携带有待检测图像。
具体的,用户在端侧设备的展示界面上点击控件“确定”,端侧设备基于用户的点击指令确定用户针对图像检测请求的上传指令。
步骤604:云侧设备接收该图像检测请求,并确定待检测图像。
步骤606:云侧设备将确定的待检测图像输入图像处理模型,获得待检测图像中的检测目标图像。
其中,待检测图像比如可以包括一辆车和一棵树。那么检测目标图像可以是一辆车的图像也可以是一棵树的图像。
具体的,此处的图像处理模型,可以是经过知识蒸馏训练得到的图像处理模型,具体调整过程与前述相同,在此不再重复赘述。并且,此处的图像处理模型,是经过图像检测任务训练后得到的图像处理模型。
步骤608:云侧设备将检测目标图像发送至端侧设备。
步骤610:端侧设备对检测目标图像进行渲染,并在输出结果展示框中展示给用户。
此外,端侧设备可以接收云侧设备下发的预训练的图像处理模型,利用图像处理模型在端侧设备对待检测图像进行处理。
综上所述,上述方法中用于处理待处理图像的图像处理模型是经过知识蒸馏训练得到的,并且,在知识蒸馏训练过程中,参考模型输出的参考预测结果基于增加扰动的样本图像特征得到,那么,对于一个参考模型,由于对样本图像特征增加扰动,那么可以得到不同的参考预测结果,在基于参考预测结果对图像处理模型进行知识蒸馏训练过程中,能够使图像处理模型学到由扰动带来的更多知识,丰富了图像处理模型的学习样本,减少计算资源占用,提升训练效率,并且能够保证图像处理模型的图像处理性能。
与上述方法实施例相对应,本说明书还提供了图像处理装置实施例,图7示出了本说明书一个实施例提供的一种图像处理装置的结构示意图。如图7所示,该装置包括:
获取模块702,被配置为获取待处理图像;
输入模块704,被配置为将所述待处理图像输入图像处理模型,获得图像处理结果,其中,所述图像处理模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。
一个可选的实施例中,所述装置还包括训练模块,被配置为:
获取样本集,其中,所述样本集包括多个样本图像;
在所述样本集中提取任意一个样本图像,将所述任意一个样本图像输入至参考模型和图像处理模型,获得所述参考模型输出的参考预测结果,和所述图像处理模型输出的第一预测结果,其中,所述参考模型为预先训练的用于图像处理的深度学习模型;
利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
一个可选的实施例中,所述训练模块,进一步被配置为:
获得所述参考模型从所述样本图像提取的样本图像特征;
对所述样本图像特征进行扰动处理,获得所述样本图像特征对应的扰动特征;
获得所述参考模型基于所述扰动特征输出的参考预测结果。
一个可选的实施例中,所述训练模块,进一步被配置为:
对所述样本图像特征进行随机扰动处理,获得所述样本图像特征对应的至少一个扰动特征。
一个可选的实施例中,所述训练模块,进一步被配置为:
确定所述扰动特征的目标权重,其中,所述目标权重表示所述扰动特征在噪声影响下的稳定度,所述噪声为增加的扰动引起;
根据所述蒸馏损失值和所述目标权重,确定目标蒸馏损失值;
根据所述目标蒸馏损失值,对所述图像处理模型的参数进行调整。
一个可选的实施例中,所述训练模块,进一步被配置为:
根据所述扰动特征和所述扰动特征对应的样本图像特征,确定所述噪声对所述扰动特征的影响程度;
根据所述噪声对所述扰动特征的影响程度,确定所述扰动特征的目标权重。
一个可选的实施例中,所述训练模块,进一步被配置为:
将所述图像处理结果通过展示界面展示给用户;
接收所述用户针对所述图像处理结果的反馈信息;
根据所述反馈信息,对所述图像处理模型的参数进行调整。
一个可选的实施例中,所述训练模块,进一步被配置为:
根据所述参考预测结果的置信度和所述第一预测结果的置信度,计算蒸馏损失值;
根据所述蒸馏损失值,对所述图像处理模型的参数进行调整;
继续执行所述在所述样本集中提取任意一个样本图像,将所述任意一个样本图像输入至参考模型和图像处理模型,获得所述参考模型输出的参考预测结果,和所述图像处理模型输出的第一预测结果的步骤,直至获得满足训练停止条件的图像处理模型。
一个可选的实施例中,所述训练模块,进一步被配置为:
获取样本集,其中,所述样本集包括多个样本图像;
在所述样本集中提取任意一个样本图像,对所述任意一个样本图像进行扰动处理,获得扰动样本;
将所述扰动样本输入至参考模型,获得参考预测结果,其中,所述参考模型为预先训练的用于图像处理的深度学习模型;
将所述样本图像输入至图像处理模型,获得第一预测结果;
利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
一个可选的实施例中,所述训练模块,进一步被配置为:
获取样本集,其中,所述样本集包括多个样本图像;
对参考模型的权重进行随机置零处理,获得处理后的参考模型,其中,所述参考模型为预先训练的用于图像处理的深度学习模型;
在所述样本图像集中提取任意一个样本图像,将所述任意一个样本图像输入至所述处理后的参考模型和图像处理模型,获得所述参考模型输出的参考预测结果,获得所述图像处理模型输出的第一预测结果;
利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
一个可选的实施例中,所述训练模块,进一步被配置为:
对所述任意一个样本图像进行扰动处理,获得扰动样本;
将所述扰动样本输入至参考模型。
综上所述,上述装置中用于处理待处理图像的图像处理模型是经过知识蒸馏训练得到的,并且,在知识蒸馏训练过程中,参考模型输出的参考预测结果基于增加扰动的样本图像特征得到,那么,对于一个参考模型,由于对样本图像特征增加扰动,那么可以得到不同的参考预测结果,在基于参考预测结果对图像处理模型进行知识蒸馏训练过程中,能够使图像处理模型学到由扰动带来的更多知识,丰富了图像处理模型的学习样本,减少计算资源占用,提升训练效率,并且能够保证图像处理模型的图像处理性能。
上述为本实施例的一种图像处理装置的示意性方案。需要说明的是,该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思,图像处理装置的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
与上述方法实施例相对应,本说明书实施例还提供了另一种图像处理方法,应用于云侧设备,参见图8,图8示出了根据本说明书一个实施例提供的另一种图像处理方法的流程图,具体包括以下步骤。
步骤802:接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有待处理图像;
步骤804:将所述待处理图像输入图像处理模型,获得图像处理结果,其中,其中,所述图像处理模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到;
步骤806:将所述图像处理结果发送至所述端侧设备。
具体的,端侧设备可以响应于用户的图像处理指令,将图像处理请求发送至云侧设备。云侧设备接收该图像处理请求之后,将该图像处理请求中携带的待处理图像输入至图像处理模型,获得图像处理模型输出的图像处理结果,并将图像处理结果发送至端侧设备,由端侧设备将图像处理结果展示给用户。
其中,图像处理请求包括但不限于图像分类请求、图像分割请求、目标检测请求等。在图像处理请求为图像分类请求的情况下,图像处理结果可以是待处理图像的类别信息。在图像处理请求为图像分割请求的情况下,图像处理结果可以是对待处理图像进行分割之后的分割图像。在图像处理请求为目标检测请求的情况下,图像处理结果可以是待处理图像中的检测目标对应的图像。
云侧设备部署的图像处理模型是经过知识蒸馏训练得到的图像处理模型,具体的知识蒸馏训练过程与前述相同,在此不再重复赘述。
综上,上述方法中用于处理待处理图像的图像处理模型是经过知识蒸馏训练得到的,并且,在知识蒸馏训练过程中,参考模型输出的参考预测结果基于增加扰动的样本图像特征得到,那么,对于一个参考模型,由于对样本图像特征增加扰动,那么可以得到不同的参考预测结果,在基于参考预测结果对图像处理模型进行知识蒸馏训练过程中,能够使图像处理模型学到由扰动带来的更多知识,丰富了图像处理模型的学习样本,减少计算资源占用,提升训练效率,并且能够保证图像处理模型的图像处理性能。
与上述方法实施例相对应,本说明书还提供了图像处理装置实施例,图9示出了本说明书一个实施例提供的另一种图像处理装置的结构示意图。如图9所示,该装置包括:
接收模块902,被配置为接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有待处理图像;
输入模块904,被配置为将所述待处理图像输入图像处理模型,获得图像处理结果,其中,其中,所述图像处理模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到;
发送模块906,被配置为将所述图像处理结果发送至所述端侧设备。
上述装置中用于处理待处理图像的图像处理模型是经过知识蒸馏训练得到的,并且,在知识蒸馏训练过程中,参考模型输出的参考预测结果基于增加扰动的样本图像特征得到,那么,对于一个参考模型,由于对样本图像特征增加扰动,那么可以得到不同的参考预测结果,在基于参考预测结果对图像处理模型进行知识蒸馏训练过程中,能够使图像处理模型学到由扰动带来的更多知识,丰富了图像处理模型的学习样本,减少计算资源占用,提升训练效率,并且能够保证图像处理模型的图像处理性能。
上述为本实施例的另一种图像处理装置的示意性方案。需要说明的是,该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思,图像处理装置的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
与上述方法实施例相对应,本说明书实施例还提供了一种商品图像分类方法,参见图10,图10示出了根据本说明书一个实施例提供的一种商品图像分类方法的流程图,具体包括以下步骤。
步骤1002:接收用户发送的商品图像分类请求,其中,所述商品图像分类请求携带有待分类商品图像;
步骤1004:将所述待分类商品图像输入商品分类模型,获得商品图像类别信息,其中,所述商品分类模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。
具体的,该商品分类模型可以部署于端侧设备,端侧设备在接收用户发送的商品图像分类请求之后,将商品图像分类请求中携带的待分类商品图像输入商品分类模型,获得商品图像类别信息,并将商品图像类别信息通过端侧设备的展示界面展示给用户。
参见图11,图11示出了根据本说明书一个实施例提供的一种商品图像分类方法的应用场景示意图。图11中,用户通过端侧设备的展示界面输入待分类商品图像,该待分类商品图像可以是端侧设备中存储的图像,端侧设备将该待分类商品图像输入该端侧设备部署的商品分类模型,获得商品分类模型输出的商品图像类别信息,并将商品图像类别信息通过展示界面展示给用户。
实际应用中,可以在云侧设备,基于参考模型输出的参考预测结果对图像处理模型进行预训练,获得预训练的图像处理模型。在端侧设备需要对商品分类领域中的商品图像进行分类时,云侧设备可以将预训练的图像处理模型下发至端侧设备,由端侧设备对预训练的图像处理模型进行进一步任务训练,参见图12,图12示出了根据本说明书一个实施例提供的一种商品图像分类方法中商品分类模型的训练流程图,具体实现方式如下:
所述将所述待分类商品图像输入商品分类模型之前,还包括:
步骤1202:获取预训练的图像处理模型以及样本集,其中,所述样本集中包括多个商品图像样本,各商品图像样本分别携带商品图像类别标签;
步骤1204:根据所述多个商品图像样本和对应的商品图像类别标签,对所述图像处理模型进行训练,直至达到训练停止条件,获得商品分类模型。
其中,预训练的图像处理模型可以理解为前述经过知识蒸馏训练后得到的图像处理模型。对图像处理模型的预训练过程与前述知识蒸馏训练过程类似,在此不再重复赘述。
具体的,可以从云侧设备获取预训练的图像处理模型以及样本集,其中预训练的图像处理模型是在云侧设备基于参考模型输出的参考预测结果训练得到的,该参考预测结果基于参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。样本集可以是商品分类领域中的样本集,其中包括多个商品图像样本,各个商品图像样本都携带有对应的商品图像类别标签。端侧设备可以利用该多个商品图像样本和对应的商品图像类别标签,对预训练的图像处理模型进行进一步任务训练,直至达到训练停止条件,获得商品分类模型。此时获得的商品分类模型即可适用于商品分类领域。
此外,在获得商品图像类别信息之后,还可以将商品图像类别信息通过端侧设备的展示界面展示给用户,并基于用户的反馈结果对商品分类模型的参数进行调整,具体实现方式如下:
所述获得商品图像类别信息之后,还包括:
将所述商品图像类别信息通过展示界面展示给用户;
接收所述用户针对所述商品图像类别信息的反馈信息;
根据所述反馈信息,对所述商品分类模型的参数进行调整。
具体的,可以将商品图像类别信息通过端侧设备的展示界面展示给用户,并接收该用户针对该商品图像类别信息的反馈信息,根据该反馈信息,对商品分类模型的参数进行调整,以获得分类性能更好、分类准确率高的商品分类模型。
上述方法中用于处理待处理图像的图像处理模型是经过知识蒸馏训练得到的,并且,在知识蒸馏训练过程中,参考模型输出的参考预测结果基于增加扰动的样本图像特征得到,那么,对于一个参考模型,由于对样本图像特征增加扰动,那么可以得到不同的参考预测结果,在基于参考预测结果对图像处理模型进行知识蒸馏训练过程中,能够使图像处理模型学到由扰动带来的更多知识,丰富了图像处理模型的学习样本,减少计算资源占用,提升训练效率,并且能够保证图像处理模型的图像处理性能。
与上述方法实施例相对应,本说明书还提供了商品图像分类装置实施例,图13示出了本说明书一个实施例提供的一种商品图像分类装置的结构示意图。如图13所示,该装置包括:
接收模块1302,被配置为接收用户发送的商品图像分类请求,其中,所述商品图像分类请求携带有待分类商品图像;
输入模块1304,被配置为将所述待分类商品图像输入商品分类模型,获得商品图像类别信息,其中,所述商品分类模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。
一个可选的实施例中,所述装置还包括训练模块,被配置为:
获取预训练的图像处理模型以及样本集,其中,所述样本集中包括多个商品图像样本,各商品图像样本分别携带商品图像类别标签;
根据所述多个商品图像样本和对应的商品图像类别标签,对所述图像处理模型进行训练,直至达到训练停止条件,获得商品分类模型。
一个可选的实施例中,所述训练模块,进一步被配置为:
将所述商品图像类别信息通过展示界面展示给用户;
接收所述用户针对所述商品图像类别信息的反馈信息;
根据所述反馈信息,对所述商品分类模型的参数进行调整。
上述装置中用于处理待处理图像的图像处理模型是经过知识蒸馏训练得到的,并且,在知识蒸馏训练过程中,参考模型输出的参考预测结果基于增加扰动的样本图像特征得到,那么,对于一个参考模型,由于对样本图像特征增加扰动,那么可以得到不同的参考预测结果,在基于参考预测结果对图像处理模型进行知识蒸馏训练过程中,能够使图像处理模型学到由扰动带来的更多知识,丰富了图像处理模型的学习样本,减少计算资源占用,提升训练效率,并且能够保证图像处理模型的图像处理性能。
与上述方法实施例相对应,本说明书实施例还提供了一种图像处理模型的训练方法,应用于云侧设备,参见图14,图14示出了根据本说明书一个实施例提供的一种图像处理模型的训练方法的流程图,具体包括以下步骤。
步骤1402:获取样本集,其中,所述样本集包括多个样本图像;
步骤1404:在所述样本集中提取任意一个样本图像,将所述任意一个样本图像输入至参考模型和图像处理模型,获得所述参考模型从所述样本图像提取的样本图像特征,获得所述图像处理模型输出的第一预测结果,其中,所述参考模型为预先训练的用于图像处理的深度学习模型;
步骤1406:对所述样本图像特征进行扰动处理,获得所述样本图像特征对应的扰动特征;
步骤1408:获得所述参考模型基于所述扰动特征输出的参考预测结果;
步骤1410:利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
上述方法中用于处理待处理图像的图像处理模型是经过知识蒸馏训练得到的,并且,在知识蒸馏训练过程中,参考模型输出的参考预测结果基于增加扰动的样本图像特征得到,那么,对于一个参考模型,由于对样本图像特征增加扰动,那么可以得到不同的参考预测结果,在基于参考预测结果对图像处理模型进行知识蒸馏训练过程中,能够使图像处理模型学到由扰动带来的更多知识,丰富了图像处理模型的学习样本,减少计算资源占用,提升训练效率,并且能够保证图像处理模型的图像处理性能。
与上述方法实施例相对应,本说明书实施例还提供了一种图像处理模型的训练装置实施例,应用于云侧设备,图15示出了本说明书一个实施例提供的一种图像处理模型的训练装置的结构示意图。如图15所示,该装置包括:
获取模块1502,被配置为获取样本集,其中,所述样本集包括多个样本图像;
输入模块1504,被配置为在所述样本集中提取任意一个样本图像,将所述任意一个样本图像输入至参考模型和图像处理模型,获得所述参考模型从所述样本图像提取的样本图像特征,获得所述图像处理模型输出的第一预测结果,其中,所述参考模型为预先训练的用于图像处理的深度学习模型;
扰动模块1506,被配置为对所述样本图像特征进行扰动处理,获得所述样本图像特征对应的扰动特征;
获取模块1508,被配置为获得所述参考模型基于所述扰动特征输出的参考预测结果;
训练模块1510,被配置为利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
综上所述,上述装置中用于处理待处理图像的图像处理模型是经过知识蒸馏训练得到的,并且,在知识蒸馏训练过程中,参考模型输出的参考预测结果基于增加扰动的样本图像特征得到,那么,对于一个参考模型,由于对样本图像特征增加扰动,那么可以得到不同的参考预测结果,在基于参考预测结果对图像处理模型进行知识蒸馏训练过程中,能够使图像处理模型学到由扰动带来的更多知识,丰富了图像处理模型的学习样本,减少计算资源占用,提升训练效率,并且能够保证图像处理模型的图像处理性能。
图16示出了根据本说明书一个实施例提供的一种计算设备1600的结构框图。该计算设备1600的部件包括但不限于存储器1610和处理器1620。处理器1620与存储器1610通过总线1630相连接,数据库1650用于保存数据。
计算设备1600还包括接入设备1640,接入设备1640使得计算设备1600能够经由一个或多个网络1660通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备1640可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,networkinterface controller))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX,WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near FieldCommunication)接口,等等。
在本申请的一个实施例中,计算设备1600的上述部件以及图16中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图16所示的计算设备结构框图仅仅是出于示例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1600可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备1600还可以是移动式或静止式的服务器。
其中,处理器1620用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种图像处理方法,包括:
获取待处理图像;
将所述待处理图像输入图像处理模型,获得图像处理结果,其中,所述图像处理模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。
2.根据权利要求1所述的方法,所述将所述待处理图像输入图像处理模型之前,还包括:
获取样本集,其中,所述样本集包括多个样本图像;
在所述样本集中提取任意一个样本图像,将所述任意一个样本图像输入至参考模型和图像处理模型,获得所述参考模型输出的参考预测结果,和所述图像处理模型输出的第一预测结果,其中,所述参考模型为预先训练的用于图像处理的深度学习模型;
利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型。
3.根据权利要求2所述的方法,所述获得所述参考模型输出的参考预测结果,包括:
获得所述参考模型从所述样本图像提取的样本图像特征;
对所述样本图像特征进行扰动处理,获得所述样本图像特征对应的扰动特征;
获得所述参考模型基于所述扰动特征输出的参考预测结果。
4.根据权利要求3所述的方法,所述对所述样本图像特征进行扰动处理,获得所述样本图像特征对应的扰动特征,包括:
对所述样本图像特征进行随机扰动处理,获得所述样本图像特征对应的至少一个扰动特征。
5.根据权利要求3所述的方法,所述利用所述参考预测结果和所述第一预测结果,对所述图像处理模型进行训练,直至获得满足训练停止条件的图像处理模型,包括:
根据所述参考预测结果的置信度和所述第一预测结果的置信度,计算蒸馏损失值;
根据所述蒸馏损失值,对所述图像处理模型的参数进行调整;
继续执行所述在所述样本集中提取任意一个样本图像,将所述任意一个样本图像输入至参考模型和图像处理模型,获得所述参考模型输出的参考预测结果,和所述图像处理模型输出的第一预测结果的步骤,直至获得满足训练停止条件的图像处理模型。
6.根据权利要求5所述的方法,所述获得所述参考模型基于所述扰动特征输出的参考预测结果之前,还包括:
确定所述扰动特征的目标权重,其中,所述目标权重表示所述扰动特征在噪声影响下的稳定度,所述噪声为增加的扰动引起;
相应地,所述根据所述蒸馏损失值,对所述图像处理模型的参数进行调整,包括:
根据所述蒸馏损失值和所述目标权重,确定目标蒸馏损失值;
根据所述目标蒸馏损失值,对所述图像处理模型的参数进行调整。
7.根据权利要求1所述的方法,所述将所述待处理图像输入图像处理模型,获得图像处理结果之后,还包括:
将所述图像处理结果通过展示界面展示给用户;
接收所述用户针对所述图像处理结果的反馈信息;
根据所述反馈信息,对所述图像处理模型的参数进行调整。
8.根据权利要求2所述的方法,所述将所述任意一个样本图像输入至参考模型,包括:
对所述任意一个样本图像进行扰动处理,获得扰动样本;
将所述扰动样本输入至参考模型。
9.一种图像处理方法,应用于云侧设备,包括:
接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有待处理图像;
将所述待处理图像输入图像处理模型,获得图像处理结果,其中,所述图像处理模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到;
将所述图像处理结果发送至所述端侧设备。
10.一种商品图像分类方法,包括:
接收用户发送的商品图像分类请求,其中,所述商品图像分类请求携带有待分类商品图像;
将所述待分类商品图像输入商品分类模型,获得商品图像类别信息,其中,所述商品分类模型基于参考模型输出的参考预测结果训练得到,所述参考预测结果基于所述参考模型对待迁移的样本图像特征增加扰动生成的多个扰动特征预测得到。
11.根据权利要求10所述的方法,所述将所述待分类商品图像输入商品分类模型之前,还包括:
获取预训练的图像处理模型以及样本集,其中,所述样本集中包括多个商品图像样本,各商品图像样本分别携带商品图像类别标签;
根据所述多个商品图像样本和对应的商品图像类别标签,对所述图像处理模型进行训练,直至达到训练停止条件,获得商品分类模型。
12.根据权利要求10所述的方法,所述获得商品图像类别信息之后,还包括:
将所述商品图像类别信息通过展示界面展示给用户;
接收所述用户针对所述商品图像类别信息的反馈信息;
根据所述反馈信息,对所述商品分类模型的参数进行调整。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
CN202310313663.8A 2023-03-27 2023-03-27 图像处理方法以及装置 Active CN116030323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310313663.8A CN116030323B (zh) 2023-03-27 2023-03-27 图像处理方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310313663.8A CN116030323B (zh) 2023-03-27 2023-03-27 图像处理方法以及装置

Publications (2)

Publication Number Publication Date
CN116030323A true CN116030323A (zh) 2023-04-28
CN116030323B CN116030323B (zh) 2023-08-29

Family

ID=86089638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310313663.8A Active CN116030323B (zh) 2023-03-27 2023-03-27 图像处理方法以及装置

Country Status (1)

Country Link
CN (1) CN116030323B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745725A (zh) * 2024-02-20 2024-03-22 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147456A (zh) * 2019-04-12 2019-08-20 中国科学院深圳先进技术研究院 一种图像分类方法、装置、可读存储介质及终端设备
CN110674880A (zh) * 2019-09-27 2020-01-10 北京迈格威科技有限公司 用于知识蒸馏的网络训练方法、装置、介质与电子设备
CN111639710A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 图像识别模型训练方法、装置、设备以及存储介质
CN112885468A (zh) * 2021-01-26 2021-06-01 深圳大学 一种基于随机响应差分隐私技术的教师共识聚集学习方法
CN113255822A (zh) * 2021-06-15 2021-08-13 中国人民解放军国防科技大学 一种用于图像检索的双重知识蒸馏方法
CN113515639A (zh) * 2021-09-14 2021-10-19 华东交通大学 基于置信学习与标签平滑的噪声数据处理方法与系统
CN113537040A (zh) * 2021-07-13 2021-10-22 南京理工大学 一种基于半监督学习的时序行为检测方法及系统
CN114078203A (zh) * 2021-11-26 2022-02-22 贵州大学 一种基于改进pate的图像识别方法和系统
CN114169392A (zh) * 2021-10-29 2022-03-11 阿里巴巴(中国)有限公司 模型训练方法及装置、任务处理方法、存储介质和处理器
CN114611692A (zh) * 2022-03-11 2022-06-10 深圳依时货拉拉科技有限公司 模型训练方法、电子设备以及存储介质
CN114842257A (zh) * 2022-05-06 2022-08-02 浙江工业大学 一种基于多模型对抗蒸馏的鲁棒性图像分类方法
US20220343163A1 (en) * 2019-09-30 2022-10-27 Nec Corporation Learning system, learning device, and learning method
CN115310277A (zh) * 2022-07-28 2022-11-08 阿里巴巴(中国)有限公司 模型训练的方法、系统、设备及存储介质
CN115661459A (zh) * 2022-11-02 2023-01-31 安徽大学 一种使用差异信息的2D mean teacher模型

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147456A (zh) * 2019-04-12 2019-08-20 中国科学院深圳先进技术研究院 一种图像分类方法、装置、可读存储介质及终端设备
CN110674880A (zh) * 2019-09-27 2020-01-10 北京迈格威科技有限公司 用于知识蒸馏的网络训练方法、装置、介质与电子设备
US20220343163A1 (en) * 2019-09-30 2022-10-27 Nec Corporation Learning system, learning device, and learning method
CN111639710A (zh) * 2020-05-29 2020-09-08 北京百度网讯科技有限公司 图像识别模型训练方法、装置、设备以及存储介质
CN112885468A (zh) * 2021-01-26 2021-06-01 深圳大学 一种基于随机响应差分隐私技术的教师共识聚集学习方法
CN113255822A (zh) * 2021-06-15 2021-08-13 中国人民解放军国防科技大学 一种用于图像检索的双重知识蒸馏方法
CN113537040A (zh) * 2021-07-13 2021-10-22 南京理工大学 一种基于半监督学习的时序行为检测方法及系统
CN113515639A (zh) * 2021-09-14 2021-10-19 华东交通大学 基于置信学习与标签平滑的噪声数据处理方法与系统
CN114169392A (zh) * 2021-10-29 2022-03-11 阿里巴巴(中国)有限公司 模型训练方法及装置、任务处理方法、存储介质和处理器
CN114078203A (zh) * 2021-11-26 2022-02-22 贵州大学 一种基于改进pate的图像识别方法和系统
CN114611692A (zh) * 2022-03-11 2022-06-10 深圳依时货拉拉科技有限公司 模型训练方法、电子设备以及存储介质
CN114842257A (zh) * 2022-05-06 2022-08-02 浙江工业大学 一种基于多模型对抗蒸馏的鲁棒性图像分类方法
CN115310277A (zh) * 2022-07-28 2022-11-08 阿里巴巴(中国)有限公司 模型训练的方法、系统、设备及存储介质
CN115661459A (zh) * 2022-11-02 2023-01-31 安徽大学 一种使用差异信息的2D mean teacher模型

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈启等: "《基于移动端轻量模型的杂草分类方法研究》", 《中国农机化学报》, vol. 43, no. 2, pages 2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745725A (zh) * 2024-02-20 2024-03-22 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质
CN117745725B (zh) * 2024-02-20 2024-05-14 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型训练方法、三维医学图像处理方法、计算设备及存储介质

Also Published As

Publication number Publication date
CN116030323B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN111860573B (zh) 模型训练方法、图像类别检测方法、装置和电子设备
EP3779774B1 (en) Training method for image semantic segmentation model and server
CN108229267B (zh) 对象属性检测、神经网络训练、区域检测方法和装置
CN106557778B (zh) 通用物体检测方法和装置、数据处理装置和终端设备
CN113657465A (zh) 预训练模型的生成方法、装置、电子设备和存储介质
CN111126258A (zh) 图像识别方法及相关装置
WO2023040510A1 (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN115082920B (zh) 深度学习模型的训练方法、图像处理方法和装置
CN116030323B (zh) 图像处理方法以及装置
CN113537630B (zh) 业务预测模型的训练方法及装置
EP4170662A1 (en) Methods for determining interaction information and for training prediction model, an apparatus, and medium
WO2023098912A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN110264093B (zh) 信用模型的建立方法、装置、设备及可读存储介质
CN113657087B (zh) 信息的匹配方法及装置
CN109189922B (zh) 评论评估模型的训练方法和装置
CN114091554A (zh) 一种训练集处理方法和装置
CN115994226A (zh) 基于联邦学习的聚类模型训练系统及方法
CN116168274A (zh) 对象检测方法以及对象检测模型训练方法
CN117829308A (zh) 针对联邦推荐系统的梯度攻击方法及装置
US11526807B2 (en) Machine learning systems and methods with source-target adaptation
CN113570512A (zh) 一种图像数据处理方法、计算机及可读存储介质
CN111476144A (zh) 行人属性识别模型确定方法、装置及计算机可读存储介质
CN114091789A (zh) 项目数据波动预测方法、装置、计算机设备和存储介质
CN115546554A (zh) 敏感图像的识别方法、装置、设备和计算机可读存储介质
CN114266601A (zh) 营销策略确定方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant