CN112784857B - 一种模型训练以及图像处理方法及装置 - Google Patents

Abstract

本说明书公开了一种模型训练以及图像处理方法及装置，可获取不同分辨率的各第一图像及对应的各第二图像，并根据各图像的对应关系以及各图像中包含的内容，确定各训练样本及标注。之后，将各训练样本分别输入第一特征提取层以及超分辨率网络层，确定低分辨率特征、第三图像以及分辨率转化特征，并基于该第三图像确定高分辨率特征，将低分辨率特征、分辨率转化特征以及高分辨率特征输入识别网络层，确定识别结果。最后，根据第三图像、识别结果以及该训练样本的标注确定最终损失，并以最小化最终损失为目标，调整该待训练的识别模型中的模型参数。通过低分辨率特征、分辨率转化特征以及高分辨率特征，共同进行图像识别，使图像识别结果更加准确。

Description

一种模型训练以及图像处理方法及装置

技术领域

本申请涉及机器学习技术领域，尤其涉及一种模型训练以及图像处理方法及装置。

背景技术

图像识别是一种常见的图像处理方法，广泛应用于各领域中，如，人脸识别以及智能机器人的障碍物识别等。

一般的，图像识别的成功率以及准确率与待识别图像的分辨率相关，待识别图像的分辨率越高，图像识别的成功率越高，图像识别准确率也越高。

但是，基于图像采集环境以及图像采集设备等因素的影响，当图像采集环境的光线较暗、图像采集设备的像素较差时，所采集的待识别图像的清晰度也较差，也就是说，图像分辨率较低，进一步导致图像识别的准确率较低。

发明内容

本说明书实施例提供一种模型训练以及图像处理方法及装置，用于部分解决现有技术中存在的问题。

本说明书实施例采用下述技术方案：

本说明书提供的一种模型训练方法，待训练的识别模型至少包含第一特征提取层、超分辨率网络层、第二特征提取层以及识别网络层；

所述方法包括：

获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，所述第一图像中包含目标物体；

根据确定出的各第二图像，确定各训练样本，并根据各第二图像对应的第一图像，确定各训练样本的第一标注，以及根据各第二图像中包含的目标物体的属性，确定各训练样本的第二标注；

针对每个训练样本，将该训练样本分别输入所述第一特征提取层，确定输出的低分辨率特征，以及输入所述超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征；

将所述第三图像输入所述第二特征提取层，确定输出的高分辨率特征；

将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，确定输出的识别结果；

根据通过所述第三图像以及该训练样本的第一标注确定出的第一损失，以及通过所述识别结果以及该训练样本的第二标注确定出的第二损失，确定最终损失，并以最小化所述最终损失为目标，调整所述待训练的识别模型中的模型参数，所述识别模型用于根据低分辨率图像确定识别结果。

可选地，所述识别模型还包含第三特征提取层；

将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，具体包括：

将所述分辨率转化特征输入所述第三特征提取层，确定输出的转化深层特征；

将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述识别网络层。

可选地，所述识别模型还包含特征融合层；

将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，具体包括：

将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述特征融合层，确定输出的融合特征；

将确定出的融合特征输入所述识别网络层。

可选地，所述识别模型还包含特征融合层；

将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述识别网络层，具体包括：

将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述特征融合层，确定输出的融合特征；

将确定出的融合特征输入所述识别网络层。

可选地，所述超分辨率网络层包含第四特征提取层、非线性映射层以及图像重构层；

将该训练样本输入所述超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征，具体包括：

将该训练样本输入所述超分辨率网络层的第四特征提取层中，确定所述第四特征提取层输出的分辨率转化特征，所述分辨率转化特征用于重构生成高分辨率的图像。

本说明书提供的一种图像处理方法，包括：

接收终端发送的待识别的目标图像，所述目标图像中包含目标物体；

将所述待识别的目标图像分别输入预先训练的识别模型的第一特征提取层，确定输出的低分辨率特征，以及输入所述识别模型的超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征；

将所述第三图像输入所述识别模型的第二特征提取层，确定输出的高分辨率特征；

将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别模型的识别网络层中，确定输出的识别结果。

本说明书提供一种模型训练装置，所述待训练的识别模型至少包含第一特征提取层、超分辨率网络层、第二特征提取层以及识别网络层；

所述装置包括：

获取模块，获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，所述第一图像中包含目标物体；

第一确定模块，根据确定出的各第二图像，确定各训练样本，并根据各第二图像对应的第一图像，确定各训练样本的第一标注，以及根据各第二图像中包含的目标物体的属性，确定各训练样本的第二标注；

第二确定模块，针对每个训练样本，将该训练样本分别输入所述第一特征提取层，确定输出的低分辨率特征，以及输入所述超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征；

第三确定模块，将所述第三图像输入所述第二特征提取层，确定输出的高分辨率特征；

识别模块，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，确定输出的识别结果；

调整模块，根据通过所述第三图像以及该训练样本的第一标注确定出的第一损失，以及通过所述识别结果以及该训练样本的第二标注确定出的第二损失，确定最终损失，并以最小化所述最终损失为目标，调整所述待训练的识别模型中的模型参数，所述识别模型用于根据低分辨率图像确定识别结果。

本说明书提供一种图像处理装置，包括：

接收模块，接收终端发送的待识别的目标图像，所述目标图像中包含目标物体；

第一确定模块，将所述待识别的目标图像分别输入预先训练的识别模型的第一特征提取层，确定输出的低分辨率特征，以及输入所述识别模型的超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征；

第二确定模块，将所述第三图像输入所述识别模型的第二特征提取层，确定输出的高分辨率特征；

识别模块，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别模型的识别网络层中，确定输出的识别结果。

本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练或图像处理方法。

本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练或图像处理方法。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书中，可先获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，并根据确定出的各第二图像，确定各训练样本，以及根据各第二图像对应的第一图像与各第二图像中包含的目标物体的属性，确定各训练样本的第一标注和第二标注。之后，针对每个训练样本，将该训练样本分别输入识别模型的第一特征提取层以及超分辨率网络层，确定低分辨率特征、高分辨率的第三图像以及分辨率转化特征，再将该第三图像输入该识别模型的第二特征提取层，确定高分辨率特征，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入该识别模型的识别网络层，确定识别结果。最后，基于该第三图像以及该训练样本的第一标注确定出的第一损失，以及基于识别结果以及该训练样本的第二标注确定出的第二损失，确定最终损失，并以最小化该最终损失为目标，调整该待训练的识别模型中的模型参数。通过在识别模型中设置超分辨率网络层，提升了待识别图像的分辨率，并基于低分辨率特征、分辨率转化特征以及高分辨率特征，共同进行图像识别，使图像识别结果更加准确。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书实施例提供的一种模型训练方法的流程示意图；

图2为本说明书实施例提供的一种识别模型的层级结构示意图；

图3为本说明书实施例提供的一种超分辨率网络层的层级结构示意图；

图4为本说明书实施例提供的一种图像处理方法的流程示意图；

图5为本说明书实施例提供的一种模型训练装置的结构示意图；

图6为本说明书实施例提供的一种图像处理装置的结构示意图；

图7为本说明书实施例提供的实现模型训练或者图像处理方法的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，在进行图像识别时，通常将采集到的图像直接输入预先训练的识别模型中，确定该识别模型输出的识别结果。但是，由于受图像采集环境以及图像采集设备等因素的影响，所采集的待识别图像的清晰度不高，导致图像识别的准确率较低。

基于上述存在的问题，本说明书提供一种模型训练方法，通过在识别模型中添加超分辨率网络层以及若干特征提取层的方式，对识别模型中的模型结构进行了改进，以提升图像的分辨率。进一步的，基于提取的低分辨率特征、分辨率转化特征以及高分辨率特征，共同对图像进行识别，提高了图像识别的准确率。

通过本说明书的模型训练方法所训练出的识别模型，包括但不限于应用在图像分类以及人脸活体检测等各种图像处理场景中。其中，人脸活体检测是指对采集到的人脸图像中人物的生理状态进行判断，即，检测图像中的人物是否为活体。以避免恶意使用人像照片、人脸面具等方式替代用户本人完成身份验证的情况。

为方便在本说明书中进行具体阐述，后续过程以训练用于人脸活体检测的识别模型为例进行说明。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书实施例提供的一种模型训练方法的流程示意图，具体可包括以下步骤：

S100：获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，所述第一图像中包含目标物体。

基于本说明书提供的模型训练方法所训练出的识别模型，可提高对清晰度不高的图像的识别准确率。因此在对该识别模型进行训练时，可将清晰度不高的图像作为训练样本，即，将低分辨率的图像作为训练样本。

具体的，在训练识别模型时，可先获取历史上采集的若干张高分辨率的第一图像，并针对获取到的每个第一图像，通过对该第一图像中各像素点进行采样，确定对应该第一图像的低分辨率的第二图像，以通过后续步骤进行模型训练。

其中，由于所训练的识别模型用于对图像中的目标物体进行识别，因此采集的各第一图像中需要包含待识别的目标物体。如，当需要对图像中动物的种类进行识别时，则待识别的目标物体即为图像中的动物。当需要进行人脸活体检测时，待识别的目标物体即为图像中的人物。

进一步的，本说明书中所述的图像的高、低分辨率均是相对而言的，具体可根据需要设置。另外，本说明书提供的模型训练方法，具体可由执行模型训练过程的服务器执行，该服务器可以是单个服务器，也可以是多个服务器组成的系统，如，分布式服务器系统等，本说明书对此不做限制，具体可根据需要设置。

S102：根据确定出的各第二图像，确定各训练样本，并根据各第二图像对应的第一图像，确定各训练样本的第一标注，以及根据各第二图像中包含的目标物体的属性，确定各训练样本的第二标注。

在本说明书中，当通过步骤S100获取到若干张高分辨率的第一图像及其对应的低分辨率的第二图像后，便可确定模型训练所需的训练样本及各训练样本的标注，以通过后续步骤进行模型训练。

又由于本说明书所训练的识别模型在进行图像识别时，先通过该识别模型中的超分辨率网络层将输入的低分辨率图像转化为高分辨率图像，再基于该高分辨率图像的高分辨率特征、输入的低分辨率图像的低分辨率特征以及分辨率转化特征，共同对图像中物体的属性进行识别。因此在通过机器学习的方法对识别模型进行训练时，一方面需要学习生成准确的高分辨率图像，另一方面还需学习准确识别出图像中物体的属性。于是可将低分辨率图像对应的高分辨率图像，以及该低分辨率图像中包含的目标物体的属性，均作为训练样本的标注，以进行学习。

具体的，该服务器可将确定出的各第二图像，作为模型训练的各训练样本。并根据各第二图像对应的第一图像，确定各训练样本的第一标注，以及根据各第二图像中包含的目标物体的属性，确定各训练样本的第二标注。

当训练出的识别模型用于进行人脸活体检测时，可根据各低分辨率的人物图像所对应的高分辨率的人物图像，确定各训练样本的第一标注，并根据各低分辨率的人物图像中包含的人物的生理状态，确定各训练样本的第二标注。

S104：针对每个训练样本，将该训练样本分别输入所述第一特征提取层，确定输出的低分辨率特征，以及输入所述超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征。

在本说明书一种或多种实施例中，当确定出模型训练所需的训练样本及其标注后，便可对该识别模型进行训练。其中，该待训练的识别模型中各层级结构如图2所示，该识别模型内部至少包含第一特征提取层、超分辨率网络层、第二特征提取层以及识别网络层。

具体的，在进行模型训练时，可针对确定出的每个训练样本，将该训练样本分别输入该第一特征提取层，确定该第一特征提取层输出的低分辨率特征，以及输入该超分辨率网络层，确定该超分辨率网络层输出的高分辨率的第三图像以及分辨率转化特征。

进一步的，图3为本说明书中超分辨率网络层的层级结构图，该超分辨率网络层包含第四特征提取层、非线性映射层以及图像重构层。在将该训练样本输入该超分辨率网络层后，可通过该第四特征提取层，提取出分辨率转化特征。其中，该分辨率转化特征用于重构生成高分辨率的图像。之后，依次输入非线性映射层以及图像重构层，得到重构后的高分辨率的第三图像。

更进一步的，在本说明书中，该超分辨率网络层可以选用现有任一一种超分辨率网络结构。如，超分辨率神经网络(Super-Resolution convolutional neural network，SRCNN)、快速超分辨率神经网络(Fast Super-Resolution convolutional neuralnetwork，FSRCNN)、深层超分辨率网络(Very Deep Super-Resolution，VDSR)等，本说明书对此不做限制，具体可根据需要设置。

S106：将所述第三图像输入所述第二特征提取层，确定输出的高分辨率特征。

S108：将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，确定输出的识别结果。

在本说明书一种或多种实施例中，为了使图像识别结果更加准确，可再根据得到的高分辨率的第三图像，提取图像的高分辨率特征，以基于高分辨率特征、低分辨率特征以及分辨率转化特征，综合进行图像识别，进一步增强图像识别准确度。

具体的，该服务器可将得到的高分辨率的第三图像，输入该第二特征提取层中，确定该第二特征提取层输出的高分辨率特征。之后，将得到的高分辨率特征、低分辨率特征以及分辨率转化特征，输入该识别网络层，确定该识别网络层输出的识别结果。

进一步的，本说明书中的该识别模型还可包含有特征融合层，则将图像特征输入该识别网络层之前，可将高分辨率特征、低分辨率特征以及分辨率转化特征输入该特征融合层，进行特征融合，确定该特征融合层输出的融合特征，再将该融合特征输入该识别网络层，以得到识别结果。

其中，在进行特征融合时，可以通过特征拼接或者深度神经网络(Deep NeuralNetworks，DNN)融合等多种方式融合特征，本说明书对此不做限制，可根据需要设置。

S110：根据通过所述第三图像以及该训练样本的第一标注确定出的第一损失，以及通过所述识别结果以及该训练样本的第二标注确定出的第二损失，确定最终损失，并以最小化所述最终损失为目标，调整所述待训练的识别模型中的模型参数，所述识别模型用于根据低分辨率图像确定识别结果。

在本说明书一种或多种实施例中，在对识别模型进行模型训练时，还需根据机器学习的学习目标，确定损失函数，以基于确定出的损失函数，调整待训练的识别模型中的模型参数。

具体的，该服务器可根据该识别模型中超分辨率网络输出的高分辨率的第三图像，以及该训练样本的第一标注，即，该低分辨率的第二图像对应的高分辨率的第一图像，确定第一损失。并根据该识别网络层输出的识别结果以及该训练样本的第二标注，即，该低分辨率的第二图像中包含的目标物体的属性，确定第二损失。

之后，根据确定出的第一损失以及第二损失，确定最终损失。例如，假设确定出的第一损失为F(x)，第二损失为G(y)，则该最终损失可表示为D(x,y)＝αF(x)+βG(y)，由于该识别模型用于图像识别，因此通常将第二损失的权重设置比第一损失的权重大，即，β＞α。

最后，以最小化该最终损失为目标，调整该待训练的识别模型中的模型参数，以通过该识别模型基于低分辨率图像确定识别结果。

当应用训练出的识别模型用于人脸活体检测时，可基于输入的低分辨率的人物图像，通过该识别模型准确识别出该人物图像中人物是否为活体。

基于图1所示的模型训练方法，在进行模型训练时，可先获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，并根据确定出的各第二图像，确定各训练样本，以及根据各第二图像对应的第一图像与各第二图像中包含的目标物体的属性，确定各训练样本的第一标注和第二标注。之后，针对每个训练样本，将该训练样本分别输入识别模型的第一特征提取层以及超分辨率网络层，确定低分辨率特征、高分辨率的第三图像以及分辨率转化特征，再将该第三图像输入该识别模型的第二特征提取层，确定高分辨率特征，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入该识别模型的识别网络层，确定识别结果。最后，基于该第三图像以及该训练样本的第一标注确定出的第一损失，以及基于识别结果以及该训练样本的第二标注确定出的第二损失，确定最终损失，并以最小化该最终损失为目标，调整该待训练的识别模型中的模型参数。通过在识别模型中设置超分辨率网络层，提升了待识别图像的分辨率，并基于低分辨率特征、分辨率转化特征以及高分辨率特征，共同进行图像识别，使图像识别结果更加准确。

在本说明书一种实施例中，当通过上述超分辨率网络层得到，将图像由低分辨率转化为高分辨率所需的分辨率转化特征后，还可进一步对该分辨率转化特征进行深层特征提取，以确定图像由低分辨率转化为高分辨率的关键图像特征。

具体的，可在该识别模型中设置第三特征提取层，用于对超分辨率网络层输出的分辨率转化特征进行深层特征提取。当通过该超分辨率网络层输出分辨率转化特征后，可将该分辨率转化特征输入该识别模型中的第三特征提取层，确定该第三特征提取层输出的转化深层特征。之后，将确定出的低分辨率特征、高分辨率特征以及转化深层特征，输入该识别模型中的下一识别网络层中进行图像识别。

更进一步的，在本说明书中还可设置一特征融合层，当确定出的低分辨率特征、高分辨率特征以及转化深层特征后，可将确定出的各特征输入该特征融合层，进行特征融合，确定该特征融合层输出的融合特征。之后，再将确定出的融合特征输入下一识别网络层中。

图4为本说明书实施例提供的一种图像处理方法流程的示意图，其中使用的识别模型可采用上述图1所述的模型训练方法进行训练。具体可包括以下步骤：

S200：接收终端发送的待识别的目标图像。

本说明书提供的图像处理方法，可由进行图像处理业务的服务器执行。在进行图像处理时，可应用上述模型训练方法训练出的识别模型，识别目标图像中所包含的目标物体的属性。因此在对目标图像进行识别时，可先获取待识别的目标图像。

具体的，该服务器可接收终端发送的待识别的目标图像。其中，该目标图像中包含有目标物体，通常图像的分辨率较低。当该图像处理用于进行人脸活体检测时，可由该用户终端采集待识别的人物图像，并将采集到的人物图像发送至该服务器，以通过后续步骤进行图像识别。

S202：将所述待识别的目标图像分别输入预先训练的识别模型的第一特征提取层，确定输出的低分辨率特征，以及输入所述识别模型的超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征。

在本说明书一种或多种实施例中，当获取到待识别的目标图像后，便可将该目标图像输入预先训练的识别模型中，进行图像识别。

具体的，该服务器可将接收到的待识别的目标图像，分别输入预先训练的识别模型的第一特征提取层，确定该第一特征提取层输出的低分辨率特征，以及输入该识别模型的超分辨率网络层，确定该超分辨率网络层输出的高分辨率的第三图像以及分辨率转化特征。其中，该识别模型是基于上述模型训练方法训练得到的。

S204：将所述第三图像输入所述识别模型的第二特征提取层，确定输出的高分辨率特征。

在本说明书一种或多种实施例中，当通过该识别模型中的超分辨率网络层得到高分辨率的第三图像后，可进一步提取该高分辨率图像的图像特征，以基于该高分辨率图像的图像特征，通过后续步骤进行图像识别。

具体的，该服务器可将得到的高分辨率的第三图像，输入该识别模型的第二特征提取层中进行特征提取，确定该第二特征提取层输出的高分辨率特征。

S206：将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别模型的识别网络层中，确定输出的识别结果。

在本说明书一种或多种实施例中，当通过步骤S202以及步骤S204确定出目标图像的低分辨率特征、分辨率转化特征以及第三图像的高分辨率特征后，便可基于低分辨率特征、分辨率转化特征以及高分辨率特征，共同对目标图像进行识别，以提高图像识别的准确度。

具体的，该服务器可将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入该识别模型的识别网络层中，确定该识别网络层输出的识别结果，以向该终端返回目标图像的识别结果。

当应用该识别模型用于进行人脸活体检测时，可将获取到的人物图像输入该识别模型中，通过上述各步骤，确定该识别模型输出的识别结果，即，该人物图像中人物是否为活体。

基于图4所示的图像处理方法，在进行图像处理过程中，可先接收终端发送的待识别的目标图像，之后，将该待识别的目标图像分别输入预先训练的识别模型的第一特征提取层，确定输出的低分辨率特征，以及输入该识别模型的超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征。然后，将得到的第三图像输入该识别模型的第二特征提取层，确定输出的高分辨率特征，最后，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入该识别模型的识别网络层中，确定输出的识别结果。通过目标图像的低分辨率特征、分辨率转化特征以及对应的第三图像的高分辨率特征，共同进行图像识别，使图像识别结果更加准确。

另外，在本说明书中该识别模型还可包含有特征融合层，则将各图像特征输入该识别模型中的识别网络层之前，可将高分辨率特征、低分辨率特征以及分辨率转化特征输入该识别模型中的特征融合层，进行特征融合，确定该特征融合层输出的融合特征，再将该融合特征输入该识别网络层，以得到识别结果。

其中，在进行特征融合时，可以通过特征拼接或者深度神经网络(Deep NeuralNetworks，DNN)融合等多种方式融合特征，本说明书对此不做限制，可根据需要设置。

在本说明书另一种实施例中，当通过该识别模型中的超分辨率网络层得到，将图像由低分辨率转化为高分辨率所需的分辨率转化特征后，还可进一步对该分辨率转化特征进行深层特征提取，以确定图像由低分辨率转化为高分辨率的关键图像特征。

具体的，本说明书所采用的识别模型中还可设置第三特征提取层，用于对超分辨率网络层输出的分辨率转化特征进行深层特征提取。当通过该超分辨率网络层输出分辨率转化特征后，可将该分辨率转化特征输入该识别模型中的第三特征提取层，确定该第三特征提取层输出的转化深层特征。之后，将确定出的低分辨率特征、高分辨率特征以及转化深层特征，输入该识别模型中的下一识别网络层中进行图像识别。

更进一步的，本说明书所采用的识别模型还可设置一特征融合层，当确定出的低分辨率特征、高分辨率特征以及转化深层特征后，可将确定出的各特征输入该特征融合层，进行特征融合，确定该特征融合层输出的融合特征。之后，再将确定出的融合特征输入下一识别网络层中。

在本说明书其它实施例中，该图像处理方法也可用于图像分类等各种图像处理的场景中。如，根据图像中包含的动物种类，进行图像分类，确定包含不同动物种类的图像，或者根据智能机器人所采集的环境图像，确定环境图像中是否包含障碍物以及障碍物的种类等。

基于图1所示的模型训练方法，本说明书实施例还对应提供一种模型训练装置的结构示意图，如图5所示。

图5为本说明书实施例提供的一种模型训练装置的结构示意图，待训练的识别模型至少包含第一特征提取层、超分辨率网络层、第二特征提取层以及识别网络层；

所述装置包括：

获取模块300，获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，所述第一图像中包含目标物体；

第一确定模块302，根据确定出的各第二图像，确定各训练样本，并根据各第二图像对应的第一图像，确定各训练样本的第一标注，以及根据各第二图像中包含的目标物体的属性，确定各训练样本的第二标注；

第二确定模块304，针对每个训练样本，将该训练样本分别输入所述第一特征提取层，确定输出的低分辨率特征，以及输入所述超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征；

第三确定模块306，将所述第三图像输入所述第二特征提取层，确定输出的高分辨率特征；

识别模块308，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，确定输出的识别结果；

调整模块310，根据通过所述第三图像以及该训练样本的第一标注确定出的第一损失，以及通过所述识别结果以及该训练样本的第二标注确定出的第二损失，确定最终损失，并以最小化所述最终损失为目标，调整所述待训练的识别模型中的模型参数，所述识别模型用于根据低分辨率图像确定识别结果。

可选地，所述识别模型还包含第三特征提取层，所述识别模块308具体用于，将所述分辨率转化特征输入所述第三特征提取层，确定输出的转化深层特征，将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述识别网络层。

可选地，所述识别模型还包含特征融合层，所述识别模块308具体用于，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述特征融合层，确定输出的融合特征，将确定出的融合特征输入所述识别网络层。

可选地，所述识别模型还包含特征融合层，所述识别模块308具体用于，将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述特征融合层，确定输出的融合特征，将确定出的融合特征输入所述识别网络层。

可选地，所述超分辨率网络层包含第四特征提取层、非线性映射层以及图像重构层，所述第二确定模块304具体用于，将该训练样本输入所述超分辨率网络层的第四特征提取层中，确定所述第四特征提取层输出的分辨率转化特征，所述分辨率转化特征用于重构生成高分辨率的图像。

基于图6所示的图像处理方法，本说明书实施例还对应提供一种图像处理装置的结构示意图，如图6所示。

图6为本说明书实施例提供的一种图像处理装置的结构示意图，所述装置包括：

接收模块400，接收终端发送的待识别的目标图像，所述目标图像中包含目标物体；

第一确定模块402，将所述待识别的目标图像分别输入预先训练的识别模型的第一特征提取层，确定输出的低分辨率特征，以及输入所述识别模型的超分辨率网络层，确定输出的高分辨率的第三图像以及分辨率转化特征；

第二确定模块404，将所述第三图像输入所述识别模型的第二特征提取层，确定输出的高分辨率特征；

识别模块406，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别模型的识别网络层中，确定输出的识别结果。

本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的模型训练方法或者图4提供的图像处理方法。

基于图1所示的模型训练方法以及图4所示的图像处理方法，本说明书实施例还提出了图7所示的电子设备的示意结构图。如图7，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所示的模型训练方法或者图4所示的图像处理方法。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (9)

1.一种模型训练方法，其特征在于，待训练的识别模型至少包含第一特征提取层、超分辨率网络层、第二特征提取层以及识别网络层；其中，所述超分辨率网络层包含第四特征提取层、非线性映射层以及图像重构层；

所述方法包括：

获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，所述第一图像中包含目标物体；

根据确定出的各第二图像，确定各训练样本，并根据各第二图像对应的第一图像，确定各训练样本的第一标注，以及根据各第二图像中包含的目标物体的属性，确定各训练样本的第二标注；

针对每个训练样本，将该训练样本分别输入所述第一特征提取层，确定输出的低分辨率特征，以及输入所述超分辨率网络层，确定所述第四特征提取层输出的分辨率转化特征，并基于所述分辨率转化特征通过所述非线性映射层以及所述图像重构层确定输出高分辨率的第三图像；

将所述第三图像输入所述第二特征提取层，确定输出的高分辨率特征；

将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，确定输出的识别结果；

根据通过所述第三图像以及该训练样本的第一标注确定出的第一损失，以及通过所述识别结果以及该训练样本的第二标注确定出的第二损失，确定最终损失，并以最小化所述最终损失为目标，调整所述待训练的识别模型中的模型参数，所述识别模型用于根据低分辨率图像确定识别结果。

2.如权利要求1所述的方法，其特征在于，所述识别模型还包含第三特征提取层；

将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，具体包括：

将所述分辨率转化特征输入所述第三特征提取层，确定输出的转化深层特征；

将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述识别网络层。

3.如权利要求1所述的方法，其特征在于，所述识别模型还包含特征融合层；

将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，具体包括：

将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述特征融合层，确定输出的融合特征；

将确定出的融合特征输入所述识别网络层。

4.如权利要求2所述的方法，其特征在于，所述识别模型还包含特征融合层；

将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述识别网络层，具体包括：

将确定出的低分辨率特征、高分辨率特征以及转化深层特征输入所述特征融合层，确定输出的融合特征；

将确定出的融合特征输入所述识别网络层。

5.一种图像处理方法，其特征在于，包括：

接收终端发送的待识别的目标图像，所述目标图像中包含目标物体；

将所述待识别的目标图像分别输入预先训练的识别模型的第一特征提取层，确定输出的低分辨率特征，以及输入所述识别模型的超分辨率网络层，确定第四特征提取层输出的分辨率转化特征，并基于所述分辨率转化特征通过非线性映射层以及图像重构层确定输出的高分辨率的第三图像；其中，所述超分辨率网络层包含第四特征提取层、非线性映射层以及图像重构层；

将所述第三图像输入所述识别模型的第二特征提取层，确定输出的高分辨率特征；

将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别模型的识别网络层中，确定输出的识别结果。

6.一种模型训练装置，其特征在于，待训练的识别模型至少包含第一特征提取层、超分辨率网络层、第二特征提取层以及识别网络层；其中，所述超分辨率网络层包含第四特征提取层、非线性映射层以及图像重构层；

所述装置包括：

获取模块，获取若干张高分辨率的第一图像及其对应的低分辨率的第二图像，所述第一图像中包含目标物体；

第一确定模块，根据确定出的各第二图像，确定各训练样本，并根据各第二图像对应的第一图像，确定各训练样本的第一标注，以及根据各第二图像中包含的目标物体的属性，确定各训练样本的第二标注；

第二确定模块，针对每个训练样本，将该训练样本分别输入所述第一特征提取层，确定输出的低分辨率特征，以及输入所述超分辨率网络层，确定所述第四特征提取层输出的分辨率转化特征，并基于所述分辨率转化特征通过所述非线性映射层以及所述图像重构层确定输出高分辨率的第三图像；

第三确定模块，将所述第三图像输入所述第二特征提取层，确定输出的高分辨率特征；

识别模块，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别网络层，确定输出的识别结果；

调整模块，根据通过所述第三图像以及该训练样本的第一标注确定出的第一损失，以及通过所述识别结果以及该训练样本的第二标注确定出的第二损失，确定最终损失，并以最小化所述最终损失为目标，调整所述待训练的识别模型中的模型参数，所述识别模型用于根据低分辨率图像确定识别结果。

7.一种图像处理装置，其特征在于，包括：

接收模块，接收终端发送的待识别的目标图像，所述目标图像中包含目标物体；

第一确定模块，将所述待识别的目标图像分别输入预先训练的识别模型的第一特征提取层，确定输出的低分辨率特征，以及输入所述识别模型的超分辨率网络层，确定第四特征提取层输出的分辨率转化特征，并基于所述分辨率转化特征通过非线性映射层以及图像重构层确定输出的高分辨率的第三图像；其中，所述超分辨率网络层包含第四特征提取层、非线性映射层以及图像重构层；

第二确定模块，将所述第三图像输入所述识别模型的第二特征提取层，确定输出的高分辨率特征；

识别模块，将确定出的低分辨率特征、分辨率转化特征以及高分辨率特征输入所述识别模型的识别网络层中，确定输出的识别结果。

8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-4以及权利要求5任一所述的方法。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-4以及权利要求5任一所述的方法。

Images