CN114330576A - 模型处理方法、装置、图像识别方法及装置 - Google Patents

Abstract

本公开提供了一种模型处理方法及装置，图像识别方法及装置，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于图像处理和图像识别等场景下。具体实现方案为：获取多组样本图像，其中，多组样本图像分别包括：第一分辨率图像和第二分辨率图像，其中，第一分辨率图像对应于低于预定分辨率的第一分辨率，第二分辨率图像对应于高于预定分辨率的第二分辨率；采用多组样本图像，对第一模型进行训练，得到目标第一模型。

Description

模型处理方法、装置、图像识别方法及装置

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于图像处理和图像识别等场景下，尤其涉及一种模型处理方法，装置，图像识别方法及装置。

背景技术

模型蒸馏技术是采用一个已经训练好的老师(teacher)大模型输出老师特征用来监督学生(student)模型的训练，从而使得更小的模型达到大模型的效果。模型蒸馏技术是一种常用的模型压缩方法，目前已有的蒸馏方法通常采用老师输出特征对学生输出特征进行一范数或者二范数监督。实现学生特征逼近老师特征，达到蒸馏小模型的效果。

发明内容

本公开提供了一种用于模型处理方法、装置、图像识别方法及装置。

根据本公开的一方面，提供了一种模型处理方法，包括：获取多组样本图像，其中，多组样本图像分别包括：第一分辨率图像和第二分辨率图像，其中，第一分辨率图像对应于低于预定分辨率的第一分辨率，第二分辨率图像对应于高于预定分辨率的第二分辨率；采用多组样本图像，对第一模型进行训练，得到目标第一模型。

可选地，采用多组样本图像，对第一模型进行训练，得到目标第一模型，包括：将多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第一模型，得到对应的第一预测结果和第二预测结果，以及将多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第二模型，得到对应的第三预测结果和第四预测结果；基于第一预测结果，第二预测结果，第三预测结果和第四预测结果，构造损失函数；基于损失函数，对第一模型进行训练，得到目标第一模型。

可选地，基于第一预测结果，第二预测结果，第三预测结果和第四预测结果，构造损失函数包括：通过多项求和的方式，构造损失函数，其中，多项包括以下至少两项：第一预测结果与第三预测结果构造的第一项，第一预测结果与第四预测结果构造的第二项，第二预测结果与第三预测结果构造的第三项，第二预测结果与第四预测结果构造的第四项。

可选地，基于损失函数，对第一模型进行训练，得到目标第一模型，包括：对第一模型的模型参数采用梯度下降更新，以及对第二模型的模型参数采用与第一模型的模型参数对应动量更新，分别得到针对第一分辨率图像和第二分辨率图像对应的损失函数的损失值，在得到的损失函数的损失值达到预定阈值时，确定模型参数对应的第一模型为目标第一模型。

可选地，对第二模型的模型参数采用与第一模型的模型参数对应动量更新包括：获取第一模型采用梯度下降更新后的模型参数以及预定的动量更新值；基于第一模型采用梯度下降更新后的模型参数以及预定的动量更新值，对第二模型的模型参数进行更新，得到第二模型更新后的模型参数。

可选地，将多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第二模型，得到对应的第三预测结果和第四预测结果，包括：将第一分辨率图像和第二分辨率图像分别输入第二模型进行特征提取，得到第三分辨率特征和第四分辨率特征；确定第三分辨率特征对应的第三预测结果，以及第四分辨率特征对应的第四预测结果。

可选地，确定第三分辨率特征对应的第三预测结果以及第四分辨率特征对应的第四预测结果包括：获取第三分辨率特征对应的第一中心特征，以及第四分辨率特征对应的第二中心特征；基于第三分辨率特征和第一中心特征确定第三预测结果，以及基于第四分辨率特征和第二中心特征确定第四预测结果。

可选地，获取多组样本图像中的第一分辨率图像和第二分辨率图像包括：对预定内容的图像进行数据增强处理，得到第一分辨率图像和第二分辨率图像。

根据本公开的另一方面，提供了一种图像识别方法，包括：获取待识别图像；对待识别图像进行特征提取，得到第一分辨率特征和第二分辨率特征，其中，第一分辨率特征对应于低于预定分辨率的第一分辨率，第二分辨率特征对应于高于预定分辨率的第二分辨率；基于第一分辨率特征和第二分辨率特征，对待识别图像进行识别，得到图像识别结果。

根据本公开的一方面，提供了一种模型处理装置，包括：第一获取模块，用于获取多组样本图像，其中，多组样本图像分别包括：第一分辨率图像和第二分辨率图像，其中，第一分辨率图像对应于低于预定分辨率的第一分辨率，第二分辨率图像对应于高于预定分辨率的第二分辨率；训练模块，用于采用多组样本图像，对第一模型进行训练，得到目标第一模型。

可选地，训练模块包括：处理单元，用于将多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第一模型，得到对应的第一预测结果和第二预测结果，以及将多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第二模型，得到对应的第三预测结果和第四预测结果；构造单元，用于基于第一预测结果，第二预测结果，第三预测结果和第四预测结果，构造损失函数；训练单元，用于基于损失函数，对第一模型进行训练，得到目标第一模型。

可选地，构造单元包括：构造子单元，用于通过多项求和的方式，构造损失函数，其中，多项包括以下至少两项：第一预测结果与第三预测结果构造的第一项，第一预测结果与第四预测结果构造的第二项，第二预测结果与第三预测结果构造的第三项，第二预测结果与第四预测结果构造的第四项。

可选地，训练单元包括：处理子单元，用于对第一模型的模型参数采用梯度下降更新，以及对第二模型的模型参数采用与第一模型的模型参数对应动量更新，分别得到针对第一分辨率图像和第二分辨率图像对应的损失函数的损失值，在得到的损失函数的损失值达到预定阈值时，确定模型参数对应的第一模型为目标第一模型。

可选地，处理子单元包括：第一获取次子单元，用于获取第一模型采用梯度下降更新后的模型参数以及预定的动量更新值；更新次子单元，用于基于第一模型采用梯度下降更新后的模型参数以及预定的动量更新值，对第二模型的模型参数进行更新，得到第二模型更新后的模型参数。

可选地，处理单元包括：提取子单元，用于将第一分辨率图像和第二分辨率图像分别输入第二模型进行特征提取，得到第三分辨率特征和第四分辨率特征；确定子单元，用于确定第三分辨率特征对应的第三预测结果，以及第四分辨率特征对应的第四预测结果。

可选地，确定子单元包括：第二获取次子单元，用于获取第三分辨率特征对应的第一中心特征，以及第四分辨率特征对应的第二中心特征；确定次子单元，用于基于第三分辨率特征和第一中心特征确定第三预测结果，以及基于第四分辨率特征和第二中心特征确定第四预测结果。

可选地，获取模块包括：增强单元，用于对预定内容的图像进行数据增强处理，得到第一分辨率图像和第二分辨率图像。

根据本公开的另一方面，提供了一种图像识别装置，包括：第二获取模块，用于获取待识别图像；提取模块，用于对待识别图像进行特征提取，得到第一分辨率特征和第二分辨率特征，其中，第一分辨率特征对应于低于预定分辨率的第一分辨率，第二分辨率特征对应于高于预定分辨率的第二分辨率；识别模块，用于基于第一分辨率特征和第二分辨率特征，对待识别图像进行识别，得到图像识别结果。

根据本公开的一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述任一项的方法。

根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述任一项的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的模型处理方法的流程图；

图2是根据本公开第二实施例的图像识别方法的流程图；

图3是根据本公开可选实施方式提供的模型处理方法的示意图；

图4是根据本公开实施例的模型处理装置的结构框图；

图5是根据本公开实施例的图像识图装置的结构框图；

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

术语说明

Softmax函数：又称归一化指数函数，属于二分类函数Sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。

模型蒸馏：旨在把一个大模型或者多个模型整体学习到的能力迁移到另一个轻量组单模型上，方便部署。简单来说，即是用新的小模型去学习大模型的预测结果，改变一下目标函数。

梯度下降法：属于迭代法的一种，可以用于求解最小二乘问题。在求解机器学习算法的模型参数，求解损失函数的最小值时，可以通过梯度下降法来一步步地迭代求解，得到最小化的损失函数和模型参数值。求解过程即是沿着梯度下降的方向求解极小值。

针对相关技术所采用的蒸馏方法中，对输入的所有训练数据进行监督的，导致模型的预测精度不佳的问题。在本公开实施例中，提供了一种模型处理方法。图1是根据本公开第一实施例的模型处理方法的流程图，如图1所示，该流程包括如下步骤：

S101，获取多组样本图像，其中，多组样本图像分别包括：第一分辨率图像和第二分辨率图像，其中，第一分辨率图像对应于低于预定分辨率的第一分辨率，第二分辨率图像对应于高于预定分辨率的第二分辨率；

S102，采用多组样本图像，对第一模型进行训练，得到目标第一模型。

通过上述处理，采用多组样本图像，其中，该多组样本图像中的每组样本图像包括具有第一分辨率的第一分辨率图像和具有第二分辨率的第二分辨率图像，采用上述多分辨率的样本图像进行模型训练，即联合多种分辨率监督训练，能有效提升模型在不同分辨率下的精度指标。达到提升模型预测精度，解决相关技术中模型的预测精度不佳的问题。

作为一种可选的实施例，上述多分辨率的图像可以是多种类型的图像，例如，该多分辨率的图像是针对待识别的内容，该待识别的内容可以是多种类型的。例如，可以是人物，事物，或者其它对象等。

作为一种可选的实施例，上述第一分辨率可以为对分辨率进行划分后得到的分辨率，例如，将分辨率进行两部分的划分，一部分是高分辨率，另一部分是低分辨率，该第一分辨率则可以是上述的低分辨率，上述的第二分辨率则可以是上述的高分辨率。需要说明的是，将分辨率划分为两部分仅仅为一种举例，为了实现模型的更高精度，可以将分辨率划分为更多层，具体实现时采用上述原理即可。

作为一种可选的实施例，获取多组样本图像中的第一分辨率图像和第二分辨率图像时，可以采用多种方式，例如，可以对针对预定内容的图像进行数据增强处理，得到第一分辨率图像和第二分辨率图像。需要说明的是，上述数据增强处理可以是多种方式，例如，可以对该预定内容的图像的颜色进行数据增强处理，比如，对图像进行亮度，饱和度，对比度进行变化处理。另外，对数据增强处理还可以包括：对图像进行模糊处理，所采用的方式可以多种，比如，高斯模糊等。上述第一分辨率图像以及对应的识别结果，第二分辨率图像和对应的识别结果构成上述一组样本图像。

作为一种可选的实施例，在采用多组样本图像，对第一模型进行训练，得到目标第一模型时，可以基于以下操作来处理：将多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第一模型，得到对应的第一预测结果和第二预测结果，以及将多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第二模型，得到对应的第三预测结果和第四预测结果；基于第一预测结果，第二预测结果，第三预测结果和第四预测结果，构造损失函数；基于损失函数，对第一模型进行训练，得到目标第一模型。其中，需要说明的是，上述第一预测结果，第二预测结果，第三预测结果以及第四预测结果是包含模型参数的表示项，依据模型参数的取值不同，所得到的损失函数的值是不同的。基于上述包括模型参数的预测结果构造损失函数，能够更为直接地体现模型的训练情况，进而可以直接依据模型的训练情况修改训练方向，使得模型的训练效率有益提升。

作为一种可选的实施例，在基于损失函数，对第一模型进行训练，得到目标第一模型时，也可以采用多种方式，例如，可以采用以下方式基于上述构造的损失函数进行模型训练，从而快速地得到目标第一模型：对第一模型的模型参数采用梯度下降更新，以及对第二模型的模型参数采用与第一模型的模型参数对应动量更新，分别得到针对第一分辨率图像和第二分辨率图像对应的损失函数的损失值，在得到的损失函数的损失值达到预定阈值时，确定模型参数对应的第一模型为目标第一模型。采用上述对第一模型的模型参数采用梯度下降更新，以及对第二模型的模型参数采用与第一模型的模型参数对应动量更新方式，通过对梯度下降更新的梯度值的有效设置，能够在保证模型训练速度的前提下，保证模型的训练质量。

作为一种可选的实施例，对第二模型的模型参数采用与第一模型的模型参数对应动量更新时，可以是多种动量更新的方式。例如，可以采用以下动量更新方式进行更新：先获取第一模型采用梯度下降更新后的模型参数以及预定的动量更新值；之后，基于第一模型采用梯度下降更新后的模型参数以及预定的动量更新值，对第二模型的模型参数进行更新，得到第二模型更新后的模型参数。比如，可以采用动量更新方程对第二模型的模型参数进行动量更新，其中，动量更新方程依据以下参数构造得到：第二模型更新后的模型参数为因变量，第二模型更新前的模型参数，第一模型的梯度下降更新后的模型参数为自变量，以及预定的动量值。举例如下，可以采用以下动量更新方程对第二模型的模型参数进行动量更新：P2'＝m*P2+(1-m)*P1，其中，P2'为第二模型更新后的模型参数，P2为第二模型更新前的模型参数，P1为第一模型的梯度下降更新后的模型参数，m为大于0.5小于1的动量值。例如，该m可以取值0.9。当然上述动量更新方程仅为一种可选的实施方式，也可以是其它的表现形式，对此，不进行一一展开。

作为一种可选的实施例，在将多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第二模型，得到对应的第三预测结果和第四预测结果时，可以采用以下方式：将第一分辨率图像和第二分辨率图像分别输入第二模型进行特征提取，得到第三分辨率特征和第四分辨率特征；确定第三分辨率特征对应的第三预测结果，以及第四分辨率特征对应的第四预测结果。而且在确定第三分辨率特征的第三预测结果以及第四分辨率特征的第四预测结果时，为使得模型学习到向中心特征聚集的能力，可以先获取第三分辨率特征对应的第一中心特征，以及第四分辨率特征对应的第二中心特征；基于第三分辨率特征和第一中心特征确定第三预测结果，以及基于第四分辨率特征和第二中心特征确定第四预测结果。基于特征以及中心特征确定预测结果，使得在对模型进行更新时，能够学习到向中心特征进行聚集的能力，从而有效地提升模型预测的准确度。

作为一种可选的实施例，在基于第一预测结果，第二预测结果，第三预测结果以及第四预测结果构造上述损失函数时，可以采用多种方式，例如，可以通过多项求和的方式，构造损失函数，其中，多项包括以下至少两项：第一预测结果与第三预测结果构造的第一项，第一预测结果与第四预测结果构造的第二项，第二预测结果与第三预测结果构造的第三项，第二预测结果与第四预测结果构造的第四项。举例如下：可以通过将以下至少两项求和，构造第一模型的损失函数：t1*logt3(对应于上述第一项)，t1*logt4(对应于上述第二项)，t2*logt3(对应于上述第三项)，t2*logt4(对应于上述第四项)，其中，t1为第一预测结果，t2为第二预测结果，t3为第三预测结果，t4为第四预测结果。通过上述方式构造的损失函数，使得第一模型在对低分辨图像进行识别时，能够学习到第二模型在低分辨率和高分辨率的识别能力，以及第一模型在对高分辨率图像进行识别时，能够学习到第二模型在低分辨率和高分辨率的识别能力，从而丰富第一模型能够学习到第二模型多分辨率下的能力，提升模型的识别精度。

作为一种可选的实施例，为进一步地提升第一模型的精度，还可以获取多组针对多种预定内容的第一分辨率图像和第二分辨率图像，确定多组针对该多种预定内容的第一分辨率图像和第二分辨率图像的多个目标第一模型；从多个目标第一模型中选择出作为测试模型的目标第一模型。采用从多个目标第一模型中选择出作为测试模型的目标第一模型的方式，可以使得作为测试模型的目标第一模型更优。

图2是根据本公开第二实施例的图像识别方法的流程图，如图2所示，该流程包括如下步骤：

S201，获取待识别图像；

S202，对待识别图像进行特征提取，得到第一分辨率特征和第二分辨率特征，其中，第一分辨率特征对应于低于预定分辨率的第一分辨率，第二分辨率特征对应于高于预定分辨率的第二分辨率；

S203，基于第一分辨率特征和第二分辨率特征，对待识别图像进行识别，得到图像识别结果。

通过上述处理，采用对待识别图像基于多分辨率进行特征提取，以及基于多分辨率特征进行识别，得到图像识别结果，使得对图像的识别结果是基于多分辨识别能力下得到的，因此，该识别结果的精度更高。有效地解决了相关技术中模型预测精度不佳的问题。

针对相关技术的蒸馏方法，对输入的所有训练数据进行监督，无法有效的解决不同分辨率下精度不佳的问题。本公开可选实施方式提出了一种针对图片多分辨率的蒸馏训练方法，联合多种分辨率监督训练，能有效提升模型在不同分辨率下的精度指标。

图3是根据本公开可选实施方式提供的模型处理方法的示意图，如图3所示，该流程包括如下处理：

S1，输入图片(即上述包括预定内容的图像，例如，可以是人脸图片)，通过数据增强的方式变化得到低分辨率和高分辨率图片(对应于上述第一分辨率图像和第二分辨率图像)。

S2，将低分辨率和高分辨率图片分别输入模型1(对应上述第一模型)和模型2(对应于上述第二模型)中提取特征，分别得到低分辨率特征f1(对应于上述第一分辨率特征)，高分辨率特征f2(对应于上述第二分辨率特征)，低分辨率特征f3(对应于上述第三分辨率特征)，高分辨率特征f4(对应于上述第四分辨率特征)。其中，模型1和模型2为孪生网络，模型结构一样，初始化参数不同，且模型1参数采用梯度下降的方式进行更新，模型2参数采用模型1的参数进行动量更新。动量更新方程为p2’＝m*p2+(1-m)*p1，p2为模型2参数，p1为模型1参数，m表示动量值，一般设为0.9。

S3，根据S2得到的特征值f1,f2,分别求t1＝softmax(f1),t2＝softmax(f2)值，对f3,f4，分别求t3＝softmax(f3-c3),t4＝softmax(f4-c4),其中，c3表示f3的特征中心，c4表示f4的特征中心。得到t1,t2,t3,t4的值。

S4，求交叉熵损失函数值loss＝t1*logt3+t1*logt4+t2*logt3+t2*logt4。

S5，训练完成后，保存模型1作为测试模型。删除模型2。

通过上述针对图片多分辨率的蒸馏训练算法，能有效提升模型在不同分辨率下的精度指标。

在本公开实施例中，还提供了一种模型处理装置，图4是根据本公开实施例的模型处理装置的结构框图，如图4所示，该装置包括：第一获取模块41和训练模块42，下面对该装置进行说明。

第一获取模块41，用于获取多组样本图像，其中，多组样本图像分别包括：第一分辨率图像和第二分辨率图像，其中，第一分辨率图像对应于低于预定分辨率的第一分辨率，第二分辨率图像对应于高于预定分辨率的第二分辨率；训练模块42，连接至上述第一获取模块41，用于采用多组样本图像，对第一模型进行训练，得到目标第一模型。

作为一种可选的实施例，训练模块包括：处理单元，用于将多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第一模型，得到对应的第一预测结果和第二预测结果，以及将多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第二模型，得到对应的第三预测结果和第四预测结果；构造单元，用于基于第一预测结果，第二预测结果，第三预测结果和第四预测结果，构造损失函数；训练单元，用于基于损失函数，对第一模型进行训练，得到目标第一模型。

作为一种可选的实施例，构造单元包括：构造子单元，用于通过多项求和的方式，构造损失函数，其中，多项包括以下至少两项：第一预测结果与第三预测结果构造的第一项，第一预测结果与第四预测结果构造的第二项，第二预测结果与第三预测结果构造的第三项，第二预测结果与第四预测结果构造的第四项。

作为一种可选的实施例，训练单元包括：处理子单元，用于对第一模型的模型参数采用梯度下降更新，以及对第二模型的模型参数采用与第一模型的模型参数对应动量更新，分别得到针对第一分辨率图像和第二分辨率图像对应的损失函数的损失值，在得到的损失函数的损失值达到预定阈值时，确定模型参数对应的第一模型为目标第一模型。

作为一种可选的实施例，处理子单元包括：第一获取次子单元，用于获取第一模型采用梯度下降更新后的模型参数以及预定的动量更新值；更新次子单元，用于基于第一模型采用梯度下降更新后的模型参数以及预定的动量更新值，对第二模型的模型参数进行更新，得到第二模型更新后的模型参数。

作为一种可选的实施例，处理单元包括：提取子单元，用于将第一分辨率图像和第二分辨率图像分别输入第二模型进行特征提取，得到第三分辨率特征和第四分辨率特征；确定子单元，用于确定第三分辨率特征对应的第三预测结果，以及第四分辨率特征对应的第四预测结果。

作为一种可选的实施例，确定子单元包括：第二获取次子单元，用于获取第三分辨率特征对应的第一中心特征，以及第四分辨率特征对应的第二中心特征；确定次子单元，用于基于第三分辨率特征和第一中心特征确定第三预测结果，以及基于第四分辨率特征和第二中心特征确定第四预测结果。

作为一种可选的实施例，获取模块包括：增强单元，用于对预定内容的图像进行数据增强处理，得到第一分辨率图像和第二分辨率图像。

在本公开实施例中，还提供了一种图像识别装置，图5是根据本公开实施例的图像识图装置的结构框图，如图5所示，该装置包括：第二获取模块51，提取模块52和识别模块53，下面对该装置进行说明。

第二获取模块51，用于获取待识别图像；提取模块52，连接至上述第二获取模块51，用于对待识别图像进行特征提取，得到第一分辨率特征和第二分辨率特征，其中，第一分辨率特征对应于低于预定分辨率的第一分辨率，第二分辨率特征对应于高于预定分辨率的第二分辨率；识别模块53，连接至上述提取模块52，用于基于第一分辨率特征和第二分辨率特征，对待识别图像进行识别，得到图像识别结果。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种存储有计算机指令的非瞬时计算机可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，电子设备(或称设备600)包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如上述所提供的模型处理方法，或者图像识别方法。例如，在一些实施例中，上述所提供的模型处理方法，或者图像识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM603并由计算单元601执行时，可以执行上文描述的模型处理方法，或者图像识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述所提供的模型处理方法，或者图像识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

在本公开实施例中，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述实施例及可选实施例中任一项的方法。

在本公开实施例中，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述实施例及可选实施例中任一项的方法。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种模型处理方法，包括：

获取多组样本图像，其中，所述多组样本图像分别包括：第一分辨率图像和第二分辨率图像，其中，所述第一分辨率图像对应于低于预定分辨率的第一分辨率，所述第二分辨率图像对应于高于所述预定分辨率的第二分辨率；

采用所述多组样本图像，对第一模型进行训练，得到目标第一模型。

2.根据权利要求1所述的方法，其中，所述采用所述多组样本图像，对第一模型进行训练，得到目标第一模型，包括：

将所述多组样本图像中的第一分辨率图像和第二分辨率图像分别输入所述第一模型，得到对应的第一预测结果和第二预测结果，以及将所述多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第二模型，得到对应的第三预测结果和第四预测结果；

基于所述第一预测结果，所述第二预测结果，所述第三预测结果和所述第四预测结果，构造损失函数；

基于所述损失函数，对所述第一模型进行训练，得到所述目标第一模型。

3.根据权利要求2所述的方法，其中，所述基于所述第一预测结果，所述第二预测结果，所述第三预测结果和所述第四预测结果，构造损失函数包括：

通过多项求和的方式，构造所述损失函数，其中，所述多项包括以下至少两项：第一预测结果与第三预测结果构造的第一项，第一预测结果与第四预测结果构造的第二项，第二预测结果与第三预测结果构造的第三项，第二预测结果与第四预测结果构造的第四项。

4.根据权利要求2所述的方法，其中，所述基于所述损失函数，对所述第一模型进行训练，得到所述目标第一模型，包括：

对所述第一模型的模型参数采用梯度下降更新，以及对所述第二模型的模型参数采用与所述第一模型的模型参数对应动量更新，分别得到针对所述第一分辨率图像和所述第二分辨率图像对应的损失函数的损失值，在得到的所述损失函数的损失值达到预定阈值时，确定模型参数对应的第一模型为所述目标第一模型。

5.根据权利要求4所述的方法，其中，所述对所述第二模型的模型参数采用与所述第一模型的模型参数对应动量更新包括：

获取所述第一模型采用梯度下降更新后的模型参数以及预定的动量更新值；

基于所述第一模型采用梯度下降更新后的模型参数以及所述预定的动量更新值，对所述第二模型的模型参数进行更新，得到所述第二模型更新后的模型参数。

6.根据权利要求2所述的方法，其中，所述将所述多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第二模型，得到对应的第三预测结果和第四预测结果，包括：

将所述第一分辨率图像和所述第二分辨率图像分别输入所述第二模型进行特征提取，得到第三分辨率特征和第四分辨率特征；

确定所述第三分辨率特征对应的所述第三预测结果，以及所述第四分辨率特征对应的第四预测结果。

7.根据权利要求6所述的方法，其中，所述确定所述第三分辨率特征对应的第三预测结果以及所述第四分辨率特征对应的第四预测结果包括：

获取所述第三分辨率特征对应的第一中心特征，以及所述第四分辨率特征对应的第二中心特征；

基于所述第三分辨率特征和所述第一中心特征确定所述第三预测结果，以及基于所述第四分辨率特征和所述第二中心特征确定所述第四预测结果。

8.根据权利要求1至7中任一项所述的方法，其中，所述获取所述多组样本图像中的第一分辨率图像和第二分辨率图像包括：

对预定内容的图像进行数据增强处理，得到所述第一分辨率图像和所述第二分辨率图像。

9.一种图像识别方法，包括：

获取待识别图像；

对所述待识别图像进行特征提取，得到第一分辨率特征和第二分辨率特征，其中，所述第一分辨率特征对应于低于预定分辨率的第一分辨率，所述第二分辨率特征对应于高于所述预定分辨率的第二分辨率；

基于所述第一分辨率特征和所述第二分辨率特征，对所述待识别图像进行识别，得到图像识别结果。

10.一种模型处理装置，包括：

第一获取模块，用于获取多组样本图像，其中，所述多组样本图像分别包括：第一分辨率图像和第二分辨率图像，其中，所述第一分辨率图像对应于低于预定分辨率的第一分辨率，所述第二分辨率图像对应于高于所述预定分辨率的第二分辨率；

训练模块，用于采用所述多组样本图像，对第一模型进行训练，得到目标第一模型。

11.根据权利要求10所述的装置，其中，所述训练模块包括：

处理单元，用于将所述多组样本图像中的第一分辨率图像和第二分辨率图像分别输入所述第一模型，得到对应的第一预测结果和第二预测结果，以及将所述多组样本图像中的第一分辨率图像和第二分辨率图像分别输入第二模型，得到对应的第三预测结果和第四预测结果；

构造单元，用于基于所述第一预测结果，所述第二预测结果，所述第三预测结果和所述第四预测结果，构造损失函数；

训练单元，用于基于所述损失函数，对所述第一模型进行训练，得到所述目标第一模型。

12.根据权利要求11所述的装置，其中，所述构造单元包括：

构造子单元，用于通过多项求和的方式，构造所述损失函数，其中，所述多项包括以下至少两项：第一预测结果与第三预测结果构造的第一项，第一预测结果与第四预测结果构造的第二项，第二预测结果与第三预测结果构造的第三项，第二预测结果与第四预测结果构造的第四项。

13.根据权利要求11所述的装置，其中，所述训练单元包括：

处理子单元，用于对所述第一模型的模型参数采用梯度下降更新，以及对所述第二模型的模型参数采用与所述第一模型的模型参数对应动量更新，分别得到针对所述第一分辨率图像和所述第二分辨率图像对应的损失函数的损失值，在得到的所述损失函数的损失值达到预定阈值时，确定模型参数对应的第一模型为所述目标第一模型。

14.根据权利要求13所述的装置，其中，所述处理子单元包括：

第一获取次子单元，用于获取所述第一模型采用梯度下降更新后的模型参数以及预定的动量更新值；

更新次子单元，用于基于所述第一模型采用梯度下降更新后的模型参数以及所述预定的动量更新值，对所述第二模型的模型参数进行更新，得到所述第二模型更新后的模型参数。

15.根据权利要求11所述的装置，其中，所述处理单元包括：

提取子单元，用于将所述第一分辨率图像和所述第二分辨率图像分别输入所述第二模型进行特征提取，得到第三分辨率特征和第四分辨率特征；

确定子单元，用于确定所述第三分辨率特征对应的所述第三预测结果，以及所述第四分辨率特征对应的第四预测结果。

16.根据权利要求15所述的装置，其中，所述确定子单元包括：

第二获取次子单元，用于获取所述第三分辨率特征对应的第一中心特征，以及所述第四分辨率特征对应的第二中心特征；

确定次子单元，用于基于所述第三分辨率特征和所述第一中心特征确定所述第三预测结果，以及基于所述第四分辨率特征和所述第二中心特征确定所述第四预测结果。

17.根据权利要求10至16中任一项所述的装置，其中，所述获取模块包括：

增强单元，用于对预定内容的图像进行数据增强处理，得到所述第一分辨率图像和所述第二分辨率图像。

18.一种图像识别装置，包括：

第二获取模块，用于获取待识别图像；

提取模块，用于对所述待识别图像进行特征提取，得到第一分辨率特征和第二分辨率特征，其中，所述第一分辨率特征对应于低于预定分辨率的第一分辨率，所述第二分辨率特征对应于高于所述预定分辨率的第二分辨率；

识别模块，用于基于所述第一分辨率特征和所述第二分辨率特征，对所述待识别图像进行识别，得到图像识别结果。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至9中任一项所述的方法。

Images