CN107464217B - 一种图像处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法及装置。其中方法包括：获取待处理图像，根据预设超分辨神经网络提取所述待处理图像的特征信息；基于所述预设超分辨神经网络和所述特征信息对所述待处理图像进行超分辨处理。本发明实施例解决了现有技术中图像像素低导致图像不清晰的问题，实现了基于神经网络提高待处理图像的分辨率，提高了图像的清晰度。

Description

一种图像处理方法及装置

技术领域

本发明实施例涉及深度学习技术，尤其涉及一种图像处理方法及装置。

背景技术

图像超分辨是计算机视觉领域和图像处理领域的重要技术，图像超分辨是将低分辨率的图像重构出相应的高分辨率的图像，用于提高图像分辨率，在用户需求逐渐提高的情况下，图像超分辨的应用正在逐渐增多。

目前，图像超分辨的方式主要有插值方法和重构方法。其中，插值方法通常是基于局部协方差系数、固定功能核或者自适应结构核实现，具有计算方式简单的特点，但是，一般情况下，根据插值方法进行超分辨处理时，生产的高分辨率图像随着放大倍数的增大产生相应的视觉伪影，例如包括由锯齿效应或者模糊效应导致的视觉伪影等。重构方法在处理过程中假设低分辨率图像是高分辨率图像经过一次或者多次图像退化得到的，其中图像退化例如可以是降采样或者模糊化等处理，因此在图像超分辨的过程中强调重构约束，易导致得到的高分辨率图像存在过于平滑、不自然边缘或者由于振铃效应导致的图像信息丢失等问题。

发明内容

本发明提供一种图像处理方法及装置，以实现快速获取高精度的超分辨图像。

第一方面，本发明实施例提供了一种图像处理方法，该方法包括：

获取待处理图像，根据预设超分辨神经网络提取所述待处理图像的特征信息；

基于所述预设超分辨神经网络和所述特征信息对所述待处理图像进行超分辨处理。

进一步的，所述预设超分辨神经网络包括预设数量的超分辨子网络和/或图像融合子网络，其中，所述预设超分辨神经网络根据所述特征信息对所述待处理图像进行超分辨处理包括：

将所述待处理图像输入所述预设超分辨神经网络的各超分辨子网络，对所述待处理图像的特征信息进行加权处理，获取各所述超分辨子网络的特征图像；

将最后一层超分辨子网络输出的特征图像确定为超分辨图像；或

将各所述超分辨子网络的特征图像输入所述图像融合子网络，对各所述特征图像进行加权处理，生成超分辨图像。

进一步的，在获取待处理图像之前，还包括：

建立神经网络，根据预设训练样本集对所述神经网络进行优化训练，形成所述预设超分辨神经网络。

进一步的，所述预设超分辨神经网络包括预设数量的超分辨子网络，所述根据预设训练样本集对所述神经网络进行优化训练，包括：

根据训练样本图像获取所述神经网络的输入图像；

将所述输入图像输入待训练的神经网络，获取各超分辨子网络对应的训练特征图像；

根据所述各训练特征图像与标准图像确定第一损失信息，根据所述第一损失信息调整对应各超分辨子网络的网络参数。

进一步的，所述预设超分辨神经网络还包括图像融合子网络，所述根据预设训练样本集对所述神经网络进行优化训练，还包括：

将所述各超分辨子网络的训练特征图像输入所述图像融合子网络，对各所述训练特征图像进行加权处理，生成超分辨训练图像；

根据所述超分辨训练图像和所述标准图像确定第二损失信息，根据所述第二损失信息调节所述各特征图像的权重。

进一步的，根据训练样本图像获取所述神经网络的输入图像，包括：

对所述训练样本图像进行下采样处理，生成低分辨率图像，将所述低分辨率图像确定为所述神经网络的输入图像。

进一步的，在对所述训练样本图像进行下采样处理之前，还包括：

对所述训练样本图像进行图像分割，生成至少一个预设尺寸的子训练图像。

第二方面，本发明实施例还提供了一种图像处理装置，该装置包括：

特征提取模块，用于获取待处理图像，根据预设超分辨神经网络提取所述待处理图像的特征信息；

超分辨处理模块，用于基于所述预设超分辨神经网络和所述特征信息对所述待处理图像进行超分辨处理。

进一步的，所述预设超分辨神经网络包括预设数量的超分辨子网络和/或图像融合子网络，其中，所述超分辨处理模块包括：

特征图像获取单元，用于将所述待处理图像输入所述预设超分辨神经网络的各超分辨子网络，对所述待处理图像的特征信息进行加权处理，获取各所述超分辨子网络的特征图像；

第一超分辨图像确定单元，用于将最后一层超分辨子网络输出的特征图像确定为超分辨图像；或

第二超分辨图像确定单元，用于将各所述超分辨子网络的特征图像输入所述图像融合子网络，对各所述特征图像进行加权处理，生成超分辨图像。

进一步的，所述装置还包括：

神经网络训练模块，用于在获取待处理图像之前，建立神经网络，根据预设训练样本集对所述神经网络进行优化训练，形成所述预设超分辨神经网络。

进一步的，所述预设超分辨神经网络包括预设数量的超分辨子网络，所述神经网络训练模块包括：

输入图像获取单元，用于根据训练样本图像获取所述神经网络的输入图像；

训练特征图像获取单元，用于将所述输入图像输入待训练的神经网络，获取各超分辨子网络对应的训练特征图像；

网络参数调整单元，用于根据所述各训练特征图像与标准图像确定第一损失信息，根据所述第一损失信息调整对应各超分辨子网络的网络参数。

进一步的，所述预设超分辨神经网络还包括图像融合子网络，所述神经网络训练模块还包括：

超分辨训练图像确定单元，用于将所述各超分辨子网络的训练特征图像输入所述图像融合子网络，对各所述训练特征图像进行加权处理，生成超分辨训练图像；

权重调整单元，用于根据所述超分辨训练图像和所述标准图像确定第二损失信息，根据所述第二损失信息调节所述各特征图像的权重。

进一步的，所述输入图像获取单元具体用于：

对所述训练样本图像进行下采样处理，生成低分辨率图像，将所述低分辨率图像确定为所述神经网络的输入图像。

进一步的，所述输入图像获取还用于：

在对所述训练样本图像进行下采样处理之前，对所述训练样本图像进行图像分割，生成至少一个预设尺寸的子训练图像。

本发明实施例通过预设超分辨神经网络提取待训练图像的特征信息，并基于该特征信息对待处理图像进行超分辨处理，解决了现有技术中图像像素低导致图像不清晰的问题，实现了基于神经网络提高待处理图像的分辨率，提高了图像的清晰度。

附图说明

图1是本发明实施例一提供的一种图像处理方法的流程图；

图2A是本发明实施例一提供的一种超分辨神经网络的示意图；

图2B是本发明实施例一提供的一种超分辨神经网络的示意图；

图2C为本发明实施例一提供的一种图像超分辨处理的示意图；

图3是本发明实施例二提供的一种图像处理方法的流程图；

图4是本发明实施例三提供的一种图像处理装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种图像处理方法的流程图，本实施例可适用于对低分辨率的图像进行超分辨处理，生成高精度的超分辨图像的情况，该方法可以由本发明实施例提供的图像处理装置来执行，该装置可采用软件和/或硬件的方式实现。参见图1，该方法具体包括：

S110、获取待处理图像，根据预设超分辨神经网络提取待处理图像的特征信息。

其中，神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法模型，通过调整模型内部大量节点之间相互连接关系，达到处理信息的目的。可选的，预设超分辨神经网络为卷积神经网络，卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，包括卷积层和归一化层。

特征信息用于表征待处理图像的信息，示例性的，特征信息包括但不限于待处理图像的内容信息、深度信息和纹理信息等。

S120、基于预设超分辨神经网络和特征信息对待处理图像进行超分辨处理。

其中，超分辨处理指的是提高待处理图像的分辨率的处理方式。预设超分辨神经网络是预先训练得到的，通过训练过程调整预设超分辨神经网络的网络参数，使得预设超分辨神经网络具有针对图像的特征信息的提取、加权计算等处理能力。预设超分辨神经网络在不同的网络层提取对应的特征信息，生成对应的特征图像，并根据各网络层的权值对上述特征图像进行加权计算，生成新的图像。也就是说，该新的图像是待处理图像经神经网络进行了包括特征信息的提取和加权计算等处理后而得，因此该生成的图像在待处理图像的基础上提高了分辨率，由此，将该生成图像称为超分辨图像。

可选的，预设超分辨神经网络包括预设数量的超分辨子网络。示例性的，参见图2A，图2A为本发明实施例一提供的一种超分辨神经网络的示意图。需要说明的是，图2A中提供的超分辨神经网络仅是一种可选实例，在不同实施例中可设置不同数量的超分辨子网络。图2A中，预设超分辨神经网络第一子网络、第二子网络和第三子网络。作为一种可选实例，第一子网络中，conv1_1,conv1_2,conv1_2_1的卷积核大小为3×3，输出通道数为64。conv1_2_2的卷积核大小为3×3，输出通道数与输入图像的输入通道数一致。conv1_2_3的卷积核大小为1×1，输出通道数与输入图像的输入通道数一致。第二子网络中，conv2_1,conv2_2,conv2_2_1的卷积核大小为3×3，输出通道数为128。conv2_2_2的卷积核大小为3×3，输出通道数与输入图像的输入通道数一致。conv2_2_3的卷积核大小为1×1，输出通道数与输入图像的输入通道数一致。第三子网络中，conv3_1,conv3_2,conv3_3,conv3_3_1的卷积核大小为3×3，输出通道数为256。conv3_3_2的卷积核大小为3×3，输出通道数与输入图像的输入通道数一致。conv3_3_3的卷积核大小为1×1，输出通道数与输入图像的输入通道数一致。其中，若输入图像为灰度图像，则输入图像的输入通道数为1；若输入图像为彩色图像，则输入图像的输入通道数为3。

包括预设数量的超分辨子网络的超分辨神经网络根据特征信息对待处理图像进行超分辨处理包括：将待处理图像输入预设超分辨神经网络的各超分辨子网络，对待处理图像的特征信息进行加权处理，获取各超分辨子网络的特征图像；将最后一层超分辨子网络输出的特征图像确定为超分辨图像。本实施例中，将待处理图像输入该超分辨神经网络，各子网络依次提取待处理图像的特征信息，并进行加权处理，生成各子网络对应的特征图像，示例性的，分别提取conv1_2_2、conv2_2_2和conv3_3_2的特征图像作为对应子网络的输出特征图像，并将第三子网络的输出特征图像确定为超分辨图像。

可选的，预设超分辨神经网络包括预设数量的超分辨子网络和图像融合子网络。示例性的，参见图2B，图2B是本发明实施例一提供的一种超分辨神经网络的示意图。需要说明的是，图2B中提供的超分辨神经网络仅是一种可选实例，在不同实施例中可设置不同数量的超分辨子网络。示例性的，图2B中的各子网络的设置可与图2A中各子网络相同或不同，图2B的图像融合子网络中，convF_1的卷积核大小为3×3，输出通道数为256，convF_2的卷积核大小为3×3，输出通道与输入图像的输入通道数一致。

应当理解，除了卷积神经网络之外，预设超分辨神经网络还可为非卷积类型的神经网络，神经网络的网络结构除了上述列举的例子之外，还可选用层数、层、不同卷积核和/或权重等网络参数的其他网络结构，且超分辨神经网络的各子网络中还可以包括BN(BatchNormalization，归一化层)、ReLU(Rectified Linear Units，激活函数)层或最大池化层等。

其中，超分辨神经网络根据特征信息对待处理图像进行超分辨处理包括：将待处理图像输入预设超分辨神经网络的各超分辨子网络，对待处理图像的特征信息进行加权处理，获取各超分辨子网络的特征图像；将各超分辨子网络的特征图像输入图像融合子网络，对各特征图像进行加权处理，生成超分辨图像。示例性的，参见图2C，图2C为本发明实施例一提供的一种图像超分辨处理的示意图。

本实施例中，不同深度的子网络提取的待处理图像的特征信息不同，示例性的，在浅层的网络中，空间的分辨率较高，但是图像的语义信息较少；随着卷积神经网络层数的增加，从深层网络提取的图像语义信息越来越丰富，但是空间的分辨率就会越低，不利于对图像细节的恢复，若仅将神经网络中任一子网络的特征图像作为超分辨图像，易导致生成的超分辨图像丢失部分特征信息。本实施例中，将各子网络的特征图像进行加权处理，生成超分辨图像，该超分辨图像包含各特征图像的特征信息，避免了丢失图像特征信息的问题，提高了超分辨图像的精度。

本实施例的技术方案，通过预设超分辨神经网络提取待训练图像的特征信息，并基于该特征信息对待处理图像进行超分辨处理，快速生成高精度的超分辨图像，解决了现有技术中图像像素低导致图像不清晰的问题，实现了基于神经网络提高待处理图像的分辨率，提高了图像的清晰度。

需要说明的是，待处理图像可以为静态图像；或者，待处理图像可以为视频序列中的视频帧图像，其中，将视频的多个视频帧图像或各个视频帧图像分别输入预设超分辨神经网络，经预设超分辨神经网络对视频中多个视频帧图像或各个视频帧图像分别进行超分辨处理，输出超分辨视频，提高了视频的分辨率，提高了视频的清晰度。

实施例二

图3是本发明实施例二提供的一种图像处理方法的流程图，在上述实施例的基础上，进一步的在获取待处理图像之前增加了预设超分辨神经网络的训练方法。相应的，该方法具体包括：

S210、建立神经网络，根据预设训练样本集对神经网络进行优化训练，形成预设超分辨神经网络。

本发明实施例对预设超分辨神经网络的具体训练方法并不限制，本领域技术人员可采用监督、半监督、无监督或者满足特征信息处理的任务需求的其他训练方法训练预设超分辨神经网络。

示例性的，预设训练样本例如可以是但不限于建筑图像、自然图像和/或人物图像等。

可选的，预设超分辨神经网络包括预设数量的超分辨子网络，相应的，步骤S210包括：

根据训练样本图像获取神经网络的输入图像；将输入图像输入待训练的神经网络，获取各超分辨子网络对应的训练特征图像；根据各训练特征图像与标准图像确定第一损失信息，根据第一损失信息调整对应各超分辨子网络的网络参数。

作为一个可选实例，根据训练样本图像获取神经网络的输入图像，包括：对训练样本图像进行下采样处理，生成低分辨率图像，将低分辨率图像确定为神经网络的输入图像。

本实施例中，训练样本图像为高分辨率图像，预设超分辨神经网络的输入图像为低分辨率图像。可选的，通过差值算法对训练样本图像进行下采样，获取输入图像。其中，标准图像例如可以是训练样本图像。

可选的，在对训练样本图像进行下采样处理之前，还包括：对训练样本图像进行图像分割，生成至少一个预设尺寸的子训练图像。

本实施例中，输入图像的尺寸是训练超分辨神经网络中网络参数的影响因素，不同尺寸的训练样本图像易导致神经网络参数的不确定性，增加神经网络的训练次数，将不同尺寸大小的训练样本图像划分为统一预设尺寸的子训练图像，保证了输入图像尺寸的统一性，提高了超分辨神经网络的训练效率。其中，子训练图像的预设尺寸可根据用户需求确定。同时将训练样本图像分割为至少一个子训练图像，增加了训练样本数量。可选的，根据子训练图像确定的输入图像对应的标准图像可以为该子训练图像。

本实施例中，可选的，依次对各超分辨子网络进行训练。示例性的，建立第一子网络，并基于输入图像获取第一子网络的特征图像，根据该特征图像与标准图像的第一损失函数调整第一子网络的网络参数。若第一损失函数收敛或者第一子网络的训练次数满足训练阈值，则在第一子网络的基础上建立第二子网络，并循环上述子网络训练方法，于第二子网络训练完成时，继续建立并训练下一子网络，直到所有子网络训练完成。

可选的，同时对各超分辨子网络进行训练，建立各子网络，并基于输入图像获取各子网络对应的特征图像，根据各特征图像与标准图像的损失函数调整对应子网络的网络参数。若各子网络对应的损失函数收敛或者各子网络的训练次数满足训练阈值，确定超分辨神经网络训练完成。

需要说明的是，神将网络对输入图像超分辨处理的放大倍数与获取输入图像时降采样处理的缩小倍数相同。

可选的，特征图像与标准图像的损失函数可采用均方误差(Mean Squared Error，MSE)的形式确定。示例性的，各子网络训练过程中的第一损失函数例如可以是如下公式(1)：

其中，n是一个批次训练数据中训练样本图像的个数，F₁，F₂，F₃分别表示第一子网络、第二子网络和第三子网络的映射函数。θ₁，θ₂，θ₃分别表示第一子网络、第二子网络和第三子网络的网络参数。λ₁，λ₂，λ₃分别表示第一子网络、第二子网络和第三子网络的损失函数的权重。|| ||₂表示2-范数。需要说明的是，上述损失函数仅是一种可选的表示方式，而非唯一的表示方式。

可选的，预设超分辨神经网络还包括图像融合子网络，相应的，步骤S210还包括：将各超分辨子网络的训练特征图像输入图像融合子网络，对各训练特征图像进行加权处理，生成超分辨训练图像；根据超分辨训练图像和标准图像确定第二损失信息，根据第二损失信息调节各特征图像的权重。

本实施例中，在各子网络训练完成的基础上，将输入图像输入预设超分辨神经网络，得到图像融合子网络输出的超分辨训练图像，根据超分辨训练图像与标准图像的第二损失信息调整图像融合子网络的网络参数，即调整各子网络输出特征图像的权重。

其中，超分辨图像与标准图像的损失函数卡采用均方误差的形式确定。第二损失函数例如可以是如下公式(2)：

其中，L_level表示各子网络的损失函数，n是一个批次训练数据中样本的个数，F₄表示图像融合子网络的映射函数。θ₄表示图像融合子网络的网络参数。λ₄表示图像融合子网络的损失函数的权重，其取值越大，融合网络的损失函数占比就越大。|| ||₂表示2-范数。需要说明的是，上述损失函数仅是一种可选的表示方式，而非唯一的表示方式。

本实施例中，在各超分辨子网络的基础上，进一步建立并训练了图像融合子网络，使得训练得到的预设超分辨网络具有将各超分辨子网络的特征图像进行加权处理的能力，相比于各超分辨子网络的特征图像，图像融合子网络输出的超分辨图像精度更高，内容更加精确，避免了图像细节丢失。

可选的，在各超分辨子网络和图像融合子网络的训练过程中采用随机梯度下降算法(stochastic gradient descent,SGD)。其中学习率为lr，示例性的，取值为lr＝10^-4，每隔k次迭代，比如10万次迭代，学习率乘以一个系数γ。

在各超分辨子网络和图像融合子网络的训练工具可以是但不限于Caffe、Tensorflow、Torch、Pytorch或Keras等，所需显卡可以是但不限于英伟达GTX Titan X和GTX 1080。上述仅为一种可选实例，在本实施例中不做限定。

S220、获取待处理图像，根据预设超分辨神经网络提取待处理图像的特征信息。

S230、基于预设超分辨神经网络和特征信息对待处理图像进行超分辨处理。

本实施例的技术方案，通过建立并训练超分辨神经网络，使得经训练得到的超分辨神经网络具有提取待处理图像特征信息，并对特征信息进行加权处理，生成高分辨率图像的能力，解决了现有技术中图像像素低导致图像不清晰的问题，实现了基于神经网络提高待处理图像的分辨率，提高了图像的清晰度。

实施例三

图4是本发明实施例三提供的一种图像处理装置的结构示意图，该装置具体包括：

特征提取模块310，用于获取待处理图像，根据预设超分辨神经网络提取待处理图像的特征信息；

超分辨处理模块320，用于基于预设超分辨神经网络和特征信息对待处理图像进行超分辨处理。

可选的，预设超分辨神经网络包括预设数量的超分辨子网络和/或图像融合子网络，其中，超分辨处理模块320包括：

特征图像获取单元，用于将待处理图像输入预设超分辨神经网络的各超分辨子网络，对待处理图像的特征信息进行加权处理，获取各超分辨子网络的特征图像；

第一超分辨图像确定单元，用于将最后一层超分辨子网络输出的特征图像确定为超分辨图像；或

第二超分辨图像确定单元，用于将各超分辨子网络的特征图像输入图像融合子网络，对各特征图像进行加权处理，生成超分辨图像。

可选的，装置还包括：

神经网络训练模块，用于在获取待处理图像之前，建立神经网络，根据预设训练样本集对神经网络进行优化训练，形成预设超分辨神经网络。

可选的，预设超分辨神经网络包括预设数量的超分辨子网络，神经网络训练模块包括：

输入图像获取单元，用于根据训练样本图像获取神经网络的输入图像；

训练特征图像获取单元，用于将输入图像输入待训练的神经网络，获取各超分辨子网络对应的训练特征图像；

网络参数调整单元，用于根据各训练特征图像与标准图像确定第一损失信息，根据第一损失信息调整对应各超分辨子网络的网络参数。

可选的，预设超分辨神经网络还包括图像融合子网络，神经网络训练模块还包括：

超分辨训练图像确定单元，用于将各超分辨子网络的训练特征图像输入图像融合子网络，对各训练特征图像进行加权处理，生成超分辨训练图像；

权重调整单元，用于根据超分辨训练图像和标准图像确定第二损失信息，根据第二损失信息调节各特征图像的权重。

可选的，输入图像获取单元具体用于：

对训练样本图像进行下采样处理，生成低分辨率图像，将低分辨率图像确定为神经网络的输入图像。

可选的，输入图像获取还用于：

在对训练样本图像进行下采样处理之前，对训练样本图像进行图像分割，生成至少一个预设尺寸的子训练图像。

本发明实施例提供的图像处理装置可执行本发明任意实施例所提供的图像处理装方法，具备执行图像处理装方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像，根据预设超分辨神经网络提取所述待处理图像的特征信息，其中，所述特征信息包括待处理图像的内容信息、深度信息和纹理信息；

基于所述预设超分辨神经网络和所述特征信息对所述待处理图像进行超分辨处理，其中，所述预设超分辨神经网络包括预设数量的超分辨子网络和图像融合子网络，所述超分辨子网络包括第一子网络、第二子网络和第三子网络，所述第一子网络、所述第二子网络和所述第三子网络依次连接，所述图像融合子网络分别与所述第一子网络、所述第二子网络和所述第三子网络连接；

其中，所述预设超分辨神经网络根据所述特征信息对所述待处理图像进行超分辨处理包括：

将所述待处理图像输入所述预设超分辨神经网络的各超分辨子网络，对所述待处理图像的特征信息进行加权处理，获取各所述超分辨子网络的特征图像；

将各所述超分辨子网络的特征图像输入所述图像融合子网络，对各所述特征图像进行加权处理，生成超分辨图像。

2.根据权利要求1所述的方法，其特征在于，在获取待处理图像之前，还包括：

建立神经网络，根据预设训练样本集对所述神经网络进行优化训练，形成所述预设超分辨神经网络。

3.根据权利要求2所得的方法，其特征在于，所述预设超分辨神经网络包括预设数量的超分辨子网络，所述根据预设训练样本集对所述神经网络进行优化训练，包括：

根据训练样本图像获取所述神经网络的输入图像；

将所述输入图像输入待训练的神经网络，获取各超分辨子网络对应的训练特征图像；

根据所述各训练特征图像与标准图像确定第一损失信息，根据所述第一损失信息调整对应各超分辨子网络的网络参数。

4.根据权利要求3所述的方法，其特征在于，所述预设超分辨神经网络还包括图像融合子网络，所述根据预设训练样本集对所述神经网络进行优化训练，还包括：

将所述各超分辨子网络的训练特征图像输入所述图像融合子网络，对各所述训练特征图像进行加权处理，生成超分辨训练图像；

根据所述超分辨训练图像和所述标准图像确定第二损失信息，根据所述第二损失信息调节所述各特征图像的权重。

5.根据权利要求3所述的方法，其特征在于，根据训练样本图像获取所述神经网络的输入图像，包括：

对所述训练样本图像进行下采样处理，生成低分辨率图像，将所述低分辨率图像确定为所述神经网络的输入图像。

6.根据权利要求5所述的方法，其特征在于，在对所述训练样本图像进行下采样处理之前，还包括：

对所述训练样本图像进行图像分割，生成至少一个预设尺寸的子训练图像。

7.一种图像处理装置，其特征在于，包括：

特征提取模块，用于获取待处理图像，根据预设超分辨神经网络提取所述待处理图像的特征信息，其中，所述特征信息包括待处理图像的内容信息、深度信息和纹理信息；

超分辨处理模块，用于基于所述预设超分辨神经网络和所述特征信息对所述待处理图像进行超分辨处理，其中，所述预设超分辨神经网络包括预设数量的超分辨子网络和图像融合子网络，所述超分辨子网络包括第一子网络、第二子网络和第三子网络，所述第一子网络、所述第二子网络和所述第三子网络依次连接，所述图像融合子网络分别与所述第一子网络、所述第二子网络和所述第三子网络连接；

其中，所述超分辨处理模块包括：

特征图像获取单元，用于将所述待处理图像输入所述预设超分辨神经网络的各超分辨子网络，对所述待处理图像的特征信息进行加权处理，获取各所述超分辨子网络的特征图像；

第二超分辨图像确定单元，用于将各所述超分辨子网络的特征图像输入所述图像融合子网络，对各所述特征图像进行加权处理，生成超分辨图像。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

神经网络训练模块，用于在获取待处理图像之前，建立神经网络，根据预设训练样本集对所述神经网络进行优化训练，形成所述预设超分辨神经网络。

9.根据权利要求8所得的装置，其特征在于，所述预设超分辨神经网络包括预设数量的超分辨子网络，所述神经网络训练模块包括：

输入图像获取单元，用于根据训练样本图像获取所述神经网络的输入图像；

训练特征图像获取单元，用于将所述输入图像输入待训练的神经网络，获取各超分辨子网络对应的训练特征图像；

网络参数调整单元，用于根据所述各训练特征图像与标准图像确定第一损失信息，根据所述第一损失信息调整对应各超分辨子网络的网络参数。

10.根据权利要求9所述的装置，其特征在于，所述预设超分辨神经网络还包括图像融合子网络，所述神经网络训练模块还包括：

超分辨训练图像确定单元，用于将所述各超分辨子网络的训练特征图像输入所述图像融合子网络，对各所述训练特征图像进行加权处理，生成超分辨训练图像；

权重调整单元，用于根据所述超分辨训练图像和所述标准图像确定第二损失信息，根据所述第二损失信息调节所述各特征图像的权重。

11.根据权利要求9所述的装置，其特征在于，所述输入图像获取单元具体用于：

对所述训练样本图像进行下采样处理，生成低分辨率图像，将所述低分辨率图像确定为所述神经网络的输入图像。

12.根据权利要求11所述的装置，其特征在于，所述输入图像获取还用于：

在对所述训练样本图像进行下采样处理之前，对所述训练样本图像进行图像分割，生成至少一个预设尺寸的子训练图像。

Images