CN116385266A - 图像超分模型及训练方法、图像超分方法、图像处理方法 - Google Patents

Abstract

一种图像超分模型，包括：卷积模块：进行卷积运算；激活函数计算模块：使用激活函数对卷积模块的输出进行变换计算；像素清洗模块：将通道进行合并得到输出图像。图像超分模型的训练方法，包括以下步骤：输入低分辨率图像；使用所述模型进行处理；输出目标图像；计算目标函数；判断目标函数是否小于等于阈值。一种图像超分方法，包括以下步骤：输入图像；使用所述训练方法得到的推理模型对输入图像进行处理；输出图像。一种图像处理方法，包括：确定目标区域；提取边框坐标；划分图像超分任务；对每个任务进行图像超分处理；输出图像。使用本发明的模型和方法，可以以较小计算量输出高质量的超分图片，可以安装于中低端硬件且发热量小。

Description

图像超分模型及训练方法、图像超分方法、图像处理方法

技术领域

本发明涉及一种图像质量超分领域，尤其涉及图像超分模型及训练方法、图像超分方法、图像处理方法。

背景技术

随着移动硬件设备显示分辨率越来越高，要求待显示的图像分辨率也随之提高，受制于原有图像分辨率原因，在移动设备上显示时，对于分辨率较低的图像需要增加分辨率，以匹配移动设备的显示分辨率，获得更清晰的显示效果，例如，将原来1080p图像进行像素×2或×4处理等，这种技术称为图像超分。在相关技术中，如果想要将超分模型部署在移动端，由于移动端硬件设备的限制，需要将超分模型的计算量以及参数量控制在一定范围内，即使这样部署在移动端尤其是中低端机型时仍会出现严重发热现象。同时，通常会因为图像渲染机制的原因，低分辨率图片进行超分后渲染出来的大尺寸图片相比于原生的高分辨图片存在严重的质量下降，包括锯齿问题、模糊问题等。另外，由于画面渲染机制的问题，不同区域的质量也不一样。而传统的方案将图片中所有区域同等对待，对特定需要清晰显示的区域（例如重要的文字等）无法有效地有针对性地进行超分修复。

专利文献CN113409192A公开了一种超分辨率芯片，包括：算法存储硬件模块，用于存储已烧录的初始超分辨率算法；更新接口，用于获取用户个性化图像；更新硬件模块，分别与所述更新接口和算法存储硬件模块相连，用于将各所述用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法，以及基于所述目标超分辨率算法对所述算法存储硬件模块中存储的已烧录的初始超分辨率算法进行更新。上述相关技术中的模型计算量大，不能针对特定区域进行针对性处理。

发明内容

本发明要解决上述相关技术中存在的图像超分导致图像质量不佳、对特定区域不能进行针对性处理的问题，以较小的计算量提供高质量超分处理的图像超分模型及其训练方法、基于所述图像超分模型的图像超分方法、基于所述图像超分方法的图像处理方法。

针对上述存在的局限性，本发明提出了一种图像超分模型，所述图像超分模型10包括：

卷积模块11，所述卷积模块11由以下一项或多项并行支路组成：

3×3卷积核、1×1卷积核、串行的1×1卷积核与3×3卷积核、串行的1×1卷积核与x方向上Sobel边缘算子、串行的1×1卷积核与y方向上Sobel边缘算子、串行的1×1卷积核与拉普拉斯边缘算子、串行的1×1卷积核与高斯算子；

所述卷积模块11按照预设的输入通道数和输出通道数进行卷积运算；

激活函数计算模块12：使用预设的激活函数对所述卷积模块11的输出进行变换计算；

像素清洗模块13：按照预设的规则和输入图像的通道数，将所述激活函数计算模块12的输出进行通道合并得到输出图像；所述输出图像的通道数等于所述输入图像的通道数。

进一步地：

所述模型在运行时，使用所述卷积模块11进行M次卷积运算；

所述M次卷积运算中第i次卷积运算，其输入通道数等于第i-1次卷积运算的输出通道数；其输出通道数等于第i+1次卷积运算的输入通道数；第M次卷积运算的输出通道数等于目标放大倍数×目标放大倍数×输入图像的通道数；其中，2≤i≤M-1；

每次卷积运算后，使用所述激活函数计算模块12使用所述激活函数对所述卷积运算的输出进行变换运算，当i≤M-1时，第i次所述变换运算的输出作为第i+1次卷积运算的输入；第M次所述变换运算的输出作为所述像素清洗模块的输入。

进一步地：所述M的取值范围为1≤M≤10。

进一步地：

所述激活函数计算模块12使用的激活函数为：

RRelu函数：

；

或，

Leaky Relu函数：

。

一种上述图像超分模型的训练方法，其特征在于：包括以下步骤：

S101：输入低分辨率图像；

S102：使用所述的图像超分模型10对所述低分辨率图像进行处理；

S103：输出目标图像；

S104：依据所述目标图像和所述低分辨率图像对应的高分辨率图像，计算目标函数；

S105：判断步骤：当所述目标函数小于等于预设阈值时，训练结束保存模型参数，并将所述图像超分模型10的所述并行支路的每条支路进行串行合并后再将各并行支路进行并行合并得到图像超分推理模型；

当所述目标函数大于所述预设阈值时，重复步骤S101-S104。

进一步地：所述步骤S102中所述图像超分模型10使用的所述激活函数为RRelu函数。

一种图像超分方法，使用上述图像超分模型的训练方法得到的所述图像超分推理模型，包括以下步骤：

S201：输入图像；

S202：使用所述图像超分推理模型对所述输入图像进行处理；

S203：输出图像。

进一步地：所述步骤S202中所述图像超分模型10使用的所述激活函数为LeakyRelu函数。

进一步地：所述输入图像为YUV格式或YCbCr格式图片的Y通道。

一种基于上述图像超分方法的图像处理方法，包括：

S301：确定图片中需要处理的目标区域；

S302：提取所述目标区域的边框坐标；

S303：依据预设的任务划分规则对所述目标区域划分图像超分任务；

S304：使用所述的图像超分方法对所有的所述图像超分任务进行处理；

S305：将步骤S304的输出结果按照所述边框坐标进行拼接，输出处理完成的图像。

本发明的发明点之一的图像超分模型，由于设置了卷积模块、激活函数计算模块、像素清洗模块，可以通过卷积计算对图像进行更高质量的超分，所述卷积模块多路串并行合并的结构，使其更能灵活的适用于各种图片处理场景，提供更高的输出质量，同时，使用两个方向Sobel边缘算子、拉普拉斯边缘算子、高斯算子与卷积核的融合，可以更准确的提取像素值发生较大变换的边缘区域，从而提高输出质量。

所述激活模块可以对将每一层节点（即每次卷积计算）的线性输入转换为非线性使模型收敛速度更快且避免梯度消失和梯度爆炸问题，像素清洗模块将像素按照预定规则重新排布，从而得到输出图像。因此，所述模型可以更快速的训练并得到高质量的超分图像。所述模型可以在训练时使用多支路训练以达到理想的训练效果，使用时采用支路合并的方式进行推理，从而可以降低计算量、即使部署在中低端硬件设备也能提供较高的超分质量和速度并降低硬件发热量。

本发明的发明点之一的图像超分模型的训练方法，具有上述图像超分模型优点的同时，通过使用上述模型激活函数，训练时可以更快收敛。

本发明的发明点之一的图像超分方法，也具有上述图像超分模型的优点。

本发明的发明点之一的图像处理方法，通过在待处理的图像中，提取目标处理区域，划分图像超分任务，使用上述图像超分方法对所述图像超分任务进行处理，从而得到高质量的超分图像，同时，进行了目标区域的提取和任务划分，从而可以针对需要重点关注的区域进行针对性的处理，从而进一步提高了效率、降低了计算量。

附图说明

图1为本发明一个实施例的图像超分模型的卷积模块的示意图；

图2为本发明一个实施例的图像超分模型的示意图；

图3为本发明一个实施例的图像超分模型的训练方法流程图；

图4为本发明的一个实施例的图像超分方法的流程图；

图5为本发明的一个实施例的图像处理方法的流程图；

图6为本发明的一个实施例的像素清洗的原理示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面对本发明进行进一步详细说明。但是应该理解，此处所描述仅仅用以解释本发明，并不用于限制本发明的范围。

除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。本文中所涉及的表征手段均可参阅现有技术中的相关描述，本文中不再赘述。

为了进一步了解本发明，下面结合最佳实施例对本发明作进一步的详细说明。

实施例1

如图2所示，一种图像超分模型，所述图像超分模型10包括：

卷积模块11，如图1所示，卷积模块11结构为：由以下一项或多项并行支路组成：

3×3卷积核、1×1卷积核、串行的1×1卷积核与3×3卷积核、串行的1×1卷积核与x方向上Sobel边缘算子、串行的1×1卷积核与y方向上Sobel边缘算子、串行的1×1卷积核与拉普拉斯边缘算子、串行的1×1卷积核与高斯算子；

由于现有的计算库和硬件针对3×3卷积有深度优化，上述带有3×3卷积核的模块结构具有速度快，计算密度高的优点。

如图1所示，可以在模型训练时采取如图所示多条分支的复杂网络进行训练，在模型推理时可以将多分支合并从而提升速度，合并的方法为：

将以下各支路进行并行合并（并联融合）：3×3卷积核、1×1卷积核、1×1卷积核与3×3卷积核的串行合并（串联融合）、1×1卷积核与x方向上Sobel边缘算子的串行合并、1×1卷积核与y方向上Sobel边缘算子的串行合并、1×1卷积核与拉普拉斯边缘算子的串行合并、1×1卷积核与高斯算子的串行合并。

串行合并和并行合并的原理如下：

每条支路先进行串行合并，将一条支路合并成一个卷积，然后再将支路间进行合并。以1×1卷积核与3×3卷积核的串行合并为例，将1×1卷积核进行填充，转换为3×3结构，即中心权值与1×1卷积核相等，四周权值为0的结构，如下式所示，

其中，k为原来1×1卷积核中心权值。

再将上述填充后的新的3×3卷积核与原有3×3卷积核串行合并。

1×1卷积核与x方向上Sobel边缘算子的串行合并的方式为：

1×1卷积核的填充方式如上述不再赘述，x方向上Sobel边缘算子x-Sobel为：

1×1卷积核与y方向上Sobel边缘算子的串行合并的方式为：

1×1卷积核的填充方式如上述不再赘述，y方向上Sobel边缘算子y-Sobel为：

Sobel边缘算子结合了高斯平滑和微分求导的优点，是一阶导数的边缘检测算子，Sobel边缘算子有两个卷积核，分别对应x与y两个方向。使用上述卷积核对图像中的每个像素点做卷积运算，然后采用合适的阈值提取边缘。

1×1卷积核与拉普拉斯边缘算子的串行合并的方式为：

1×1卷积核的填充方式如上述不再赘述，拉普拉斯边缘算子为：

拉普拉斯边缘算子（Laplace算子）是一种二阶导数算子。在图像的边缘区域，像素值会发生比较大的变化，对这些像素求导会出现极值。在这些极值位置，其二阶导数为0，所以也可以用二阶导数来检测图像边缘。

1×1卷积核与高斯算子的串行合并的方式为：

1×1卷积核的填充方式如上述不再赘述，高斯算子为：

上述串行合并可以采用权重直接相加，当卷积核带有偏置b时使用采用融合公式：

F=Krep*X+Brep

其中，Krep为合并之后卷积权重，Brep为合并之后的卷积偏置。

并行合并是将各分支中所有的3×3卷积核进行合并，将所有分支的卷积核的权值w和偏置值相加，形成新的3×3卷积核。

可以理解，所述模型中各并行支路可以根据需要进行选择设置，可以使用上述模型的一个或多个支路进行组合。

所述卷积模块11按照预设的输入通道数和输出通道数进行卷积运算；输入通道为n_i，输出通道为n_o；n_i取值范围为1~32的整数；n_o取值范围为4~64的整数，可以根据实际需要进行调整，取值范围过大，会造成计算量过大，取值范围过小则会导致图像放大效果不明显。n_o为n_i的倍数（通道数放大）或因数（通道数缩小）；输出通道数比输入通道数放大的方式例如采用通道数等于所需输出通道数的卷积核对输入进行卷积运算；输出通道数比输入通道数缩小的方式例如依次取数量等于n_o/n_i个的特征图进行合并，合并的方法可以为矩阵相加、加权平均等方式，不限于上述方式。

激活函数计算模块12：使用预设的激活函数对所述卷积模块11的输出进行变换计算；

可以使用的激活函数包括但不限于：饱和激活函数sigmoid、tanh；非饱和激活函数ReLU、PReLU、Leaky ReLU、RReLU、ELU等。

像素清洗模块13：按照预设的规则和输入图像的通道数，将所述激活函数计算模块12输出通道进行合并得到输出图像；所述输出图像的通道数等于所述输入图像的通道数。

像素清洗（pixel shuffle）是指在图像超分过程中，使用上述卷积模块对通道数扩充为（目标放大倍数）²后，即生成了（目标放大倍数）²*原通道数个的特征图，以原通道数为1（YUV或YCbCr格式中取Y通道）为例，即生成了（目标放大倍数）²个特征图，将这些特征图按照预定的规则进行排列合并为一个通道，就得到了一张放大图。假设原图高度为H，宽度为W，则合并后放大图的高度为目标放大倍数*H，宽度为目标放大倍数*W。同理，对于原图有多个通道的情况，对每个通道进行同样操作和像素清洗即可，此处不予赘述。

上述合并多个通道像素的方法，可以按预设的排列顺序，依次从每个通道特征图上采集同样位置的像素进行排列，如图6所示，依次选取通道1-4上的像素A1、A2、A3、A4按照预设的顺序进行排列组合，得到一张放大倍数×2，像素数×4的放大图。以上仅为示例，像素A1、A2、A3、A4的排列顺序可以根据需要设置不同的排列方法。不限于上述方法，可以根据需要进行设定。

实施例2

在实施例1的基础上，进一步地：

所述模型在运行时，使用所述卷积模块11进行M次卷积运算；

所述M次卷积运算中第i次卷积运算，其输入通道数等于第i-1次卷积运算的输出通道数；其输出通道数等于第i+1次卷积运算的输入通道数；第M次卷积运算的输出通道数等于目标放大倍数×目标放大倍数×输入图像的通道数；其中，2≤i≤M-1；

每次卷积运算后，使用所述激活函数计算模块12使用所述激活函数对所述卷积运算的输出进行变换运算，当i≤M-1时，第i次所述变换运算的输出作为第i+1次卷积运算的输入；第M次所述变换运算的输出作为所述像素清洗模块13的输入。

激活函数的作用是将每次卷积运算的输出映射为非线性从而加速模型的收敛。在上述模型的卷积运算中，每次卷积运算的输入通道数和上一次卷积运算的输出通道数相等，激活函数运算不改变通道数，上一次的激活函数计算只是将上一次的卷积运算结果映射为非线性。根据原始输入图像的通道数和目标通道数，可以设置最后一次卷积运算的输出通道数为输入图像的原始通道数*（目标放大倍数）²个，经过像素清洗后即得到目标放大倍数的图像，如实施例1所述。中间过程中每一层的卷积运算只要满足上述输入通道数与上一次卷积运算的输出通道数相匹配，输出通道数和下一次卷积运算的输入通道数相匹配即可，可以根据模型的效果进行设置、也可以经过训练得出最优的组合。

在以上示例中，图像的放大采用通道数的放大来实现，上述过程中卷积运算不改变每个通道的特征图大小，每个通道特征图大小仍然等于输入图像的每个通道特征图大小。这种方式的实现可以采用将原始特征图进行填充，然后取合适的步长来实现，例如特征图像素向外侧分别填充1个像素进行扩展，然后取步长为1进行卷积。可以根据需要设定填充的数量和步长来实现，不限于上述方法。

进一步地：也可以在卷积运算中扩展特征图的像素数扩展特征图大小，此时要结合特征图的大小的放大倍数和通道数放大倍数进行设置，使其符合输出图像的放大倍数。例如最后一次卷积运算后特征图放大倍数为×2，通道数放大为×4，则最后输出的图像放大倍数为×4。可以理解，根据需要按照输出要求的放大倍数进行调整即可。

进一步地：所述M的取值范围为1≤M≤10。

M越大模型复杂度越高，表达能力更强，但是对应的计算量越大，需要根据终端决定。M的调整可以根据以下条件：模型在终端运行时设备发热程度、模型的输出效果、模型的推理速度；可以设置，当检测到上述值不符合预设阈值时，对M进行调整，可以使用的方法为：

（1）当检测到终端硬件温度超过预设温度阈值时，使M=M-1；继续测试直到温度达到所述温度阈值；

（2）当检测到模型推理速度较慢，输出帧率小于阈值（如60FPS）时，使M=M-1；继续测试直到输出帧率达到上述阈值；上述帧率的阈值可以根据硬件条件和显示需要进行设定。

（3）以一组或多组相应的高低分辨率的测试图像进行测试，所述高低分辨率的测试图像为同一个位置拍摄的相同取景范围的高低分辨率的2幅图片。当输出结果与高分辨率图像之间偏差大于预设阈值时，使M=M+1；继续测试直到达到阈值；所述偏差的计算可以为计算目标函数等，可以根据需要进行选择。

上述M的设定如果不能同时满足三种阈值时，可以根据（1）-（3）三种测试指标预设的优先级进行设置。例如硬件温度阈值优先等。

模型训练时和推理时（工作时）需要使用同样的层数结构，即训练时和使用时的M值相等。训练时，对不同的M值进行训练并保存，对于不同的终端设备，使用上述M值的调整方法，确定合适M值的模型来进行推理。

进一步地：所述激活函数计算模块12使用的激活函数为：

RRelu函数：

；

或，

Leaky Relu函数：

。

使用Leaky Relu函数的优点是：

ReLU是将所有的x取负值时的y都设为零，Leaky ReLU 是在ReLU函数上做出的改进，通过把 x 的非常小的线性分量（αx）给予负输入（x取值小于0）来调整x取值为负值时的零梯度问题；扩大了ReLU 函数的范围到负无穷到正无穷；通常a 的取值为（1，+∞）区间内的固定参数。a的选择需要实验或重复训练决定。

RReLU函数的表达式中，a的取值范围是一个随机震荡的数，在1/8~1/3之间，x为负的部分的斜率在训练中被随机化到给定的范围内，在推理中为固定。RReLU的优点是由于a取值随机性，可以降低过拟合。RReLU又称为随机纠正线性单元。

通过以上设置，可以以较小的实现将720p图像超分至1440p，并且保证帧率保持在60FPS以上；可以实现在不同移动终端，尤其是中端及以下机型上也能稳定运行，并保持手机电池温度在可控范围，同时可以有效的避免超分图像质量不佳、模糊、锯齿等问题。

实施例3

基于上述实施例1或实施例2，一种上述图像超分模型的训练方法，包括以下步骤：

S101：输入低分辨率图像；

S102：使用所述的图像超分模型10对所述低分辨率图像进行处理；

S103：输出目标图像；

S104：依据所述目标图像和所述低分辨率图像对应的高分辨率图像，计算目标函数；

S105：判断步骤：当所述目标函数小于等于预设阈值时，训练结束保存模型参数，并将所述图像超分模型（10）的所述并行支路的每条支路进行串行合并后再将各并行支路进行并行合并得到图像超分推理模型；

当所述目标函数大于所述预设阈值时，重复步骤S101-S104。

所述模型训练时卷积模块11结构为：由以下一项或多项并行支路组成：

3×3卷积核、1×1卷积核、串行的1×1卷积核与3×3卷积核、串行的1×1卷积核与x方向上Sobel边缘算子、串行的1×1卷积核与y方向上Sobel边缘算子、串行的1×1卷积核与拉普拉斯边缘算子、串行的1×1卷积核与高斯算子；

通过上述多支路的结构进行训练可以针对不同图片特点和不同场景获得较佳的训练效果。

所述串行合并和并行合并同实施例1，此处不再赘述。

模型的训练方法中，首先要准备训练图片集，图片集为多对低分辨率（LR）和高分辨率（HR）图片对，图片的拍摄位置、取景范围相同只是分辨率不同。对于每一对LR、HR图片，LR图片是模型的输入，HR图片作为真实标记，通常LR的宽高可以是64x64，也可以是128x128、256x256、512x512等，还可以更大，可以根据需要设置，取决于应用场景以及训练网络大小和硬件情况。模型预测结果与上述HR图片进行比较，衡量产生的误差来指导模型的学习。衡量误差的函数称为目标函数，目标函数可以为L1损失函数、L2损失函数、GAN损失函数、感知损失函数等。

L1损失函数（MAE）又称为平均绝对值误差，是指模型预测值f(x)和真实值y之间绝对差值的平均值。其公式为：

其中， f（x_i）和 y_i分别表示第i个样本的预测值及相应真实值， n 为样本的个数。

L2损失函数（MSE）也称为均方误差，是指模型预测值f(x)和真实值y之间差值平方的平均值，公式如下：

其中， f（x_i）和 y_i分别表示第i个样本的预测值及相应真实值， n 为样本的个数。

感知损失函数是将输出图像I和原始高分辨率图像I_HR输入一个可微分的函数中，感知损失函数公式为：

GAN损失函数公式为：

其中，GAN损失函数是由判别网络和生成网络两部分组成，V(D,G)中V是一个损失函数的表示符号，D表示判别网络，G表示生成网络。

所述目标函数的阈值可以根据需要进行选择。

实施例4

在实施例3的基础上，进一步地：所述步骤S102中所述图像超分模型10使用的所述激活函数为RRelu函数。

RReLU函数的表达式中，a的取值范围是一个随机震荡的数，在1/8~1/3之间，x取值为负部分的斜率在训练中被随机化到给定的范围内，在推理中为固定。训练时取值范围为-0.05~0.05之间；推理时取值为固定值0.01。RReLU的优点是由于a取值随机性，可以降低过拟合。

实施例5

在实施例3或4的基础上，一种图像超分方法，使用实施例3或4所述的方法得到的所述图像超分推理模型，包括以下步骤：

S201：输入图像；

S202：使用所述图像超分推理模型对所述输入图像进行处理；

S203：输出图像。

在所述图像超分方法中，将所述图像超分模型10多分支合并，进行图像超分处理从而提升速度，合并的方法为：

将以下各支路进行并行合并（并联融合）：3×3卷积核、1×1卷积核、1×1卷积核与3×3卷积核的串行合并（串联融合）、1×1卷积核与x方向上Sobel边缘算子的串行合并、1×1卷积核与y方向上Sobel边缘算子的串行合并、1×1卷积核与拉普拉斯边缘算子的串行合并、1×1卷积核与高斯算子的串行合并。

串行合并与并行合并具体方法如前所述。通过上述合并，可以在推理时降低计算量，快速的实现高质量超分效果。

实施例6

在实施例5的基础上，进一步地：所述步骤S202中所述图像超分模型10使用的所述激活函数为Leaky Relu函数。

进一步地：所述输入图像为YUV格式或YCbCr格式图片的Y通道。

在 YUV 空间中，每一个颜色有一个亮度信号 Y，和两个色度信号 U 和 V。亮度信号是强度的表征，通过将亮度信号和色度信号断开，从而可以在不影响颜色的情况下改变强度。YUV 格式色彩模型来源于RGB色彩模型，该模型的特点是将亮度和色度分离开，从而适合于图像处理领域。

YCbCr 格式色彩模型来源于YUV模型，应用于数字视频，适用于计算机等使用的显示器。Cb指蓝色色度分量，而Cr指红色色度分量。YCbCr 格式作为在世界数字组织视频标准研制过程中ITU -R BT1601 建议的一部分, 其实是YUV经过缩放和偏移而获得的。

由于上述YUV格式和YCbCr 格式的特点，选取Y通道进行超分处理，可以降低运算量同时不影响原有的色度信号。

实施例7

基于实施例5或实施例6的图像超分方法的一种图像处理方法，包括：

S301：确定图片中需要处理的目标区域；

S302：提取所述目标区域的边框坐标；

S303：依据预设的任务划分规则对所述目标区域划分图像超分任务；

S304：使用所述的图像超分方法对所有的所述图像超分任务进行处理；

S305：将步骤S304的输出结果按照所述边框坐标进行拼接，输出处理完成的图像。

所述确定图片中需要处理的目标区域，可以使用预设的特征模板对图片进行特征检测从而识别目标区域，根据需要的场景确定目标区域，如文字、人物脸部等，也可以使用机器学习的方式对目标区域进行识别，不限于上述方法。

所述提取所述目标区域的边框坐标，是通过边缘检测，检测灰度级别或结构具有突变的位置，即梯度变化检测，常用的算子有sobel算子、拉普拉斯边缘算子、Roberts算子、Prewitt算子等。

依据预设的任务划分规则和对所述目标区域划分图像超分任务：是根据目标区域大小和所述图像超分模型训练尺寸对目标区域进行任务分割，得到多个图像超分任务。

上述选取目标区域的方式，可以将重点关注区域进行针对性处理，而其他区域则可以使用计算量小的简单方式例如插值等方式进行处理，从而大大减少了计算量，同时由于所需关注内容得到了高质量的超分处理，不会影响图像整体的显示效果。

在本发明的实施例中，对本发明进行了阐释，可以理解，本发明不限于上述应用，可以适用于一切需要将低分辨率图片转换为高分辨率图片的场景中，如云游戏、医学成像、遥感成像、城市监控、图像压缩和传输、图像修复等领域中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像超分模型，其特征在于：所述图像超分模型（10）包括：

卷积模块（11），所述卷积模块（11）由以下一项或多项并行支路组成：

3×3卷积核、1×1卷积核、串行的1×1卷积核与3×3卷积核、串行的1×1卷积核与x方向上Sobel边缘算子、串行的1×1卷积核与y方向上Sobel边缘算子、串行的1×1卷积核与拉普拉斯边缘算子、串行的1×1卷积核与高斯算子；

所述卷积模块（11）按照预设的输入通道数和输出通道数进行卷积运算；

激活函数计算模块（12）：使用预设的激活函数对所述卷积模块（11）的输出进行变换计算；

像素清洗模块（13）：按照预设的规则和输入图像的通道数，将所述激活函数计算模块（12）的输出进行通道合并得到输出图像；所述输出图像的通道数等于所述输入图像的通道数。

2.如权利要求1所述的模型，其特征在于：

所述图像超分模型（10），使用所述卷积模块（11）进行M次卷积运算；

所述M次卷积运算中第i次卷积运算，其输入通道数等于第i-1次卷积运算的输出通道数；其输出通道数等于第i+1次卷积运算的输入通道数；第M次卷积运算的输出通道数等于目标放大倍数×目标放大倍数×输入图像的通道数；其中，2≤i≤M-1；

每次所述卷积运算后，使用所述激活函数计算模块（12）使用所述激活函数对所述卷积运算的输出进行变换运算，当i≤M-1时，第i次所述变换运算的输出作为第i+1次所述卷积运算的输入；第M次所述变换运算的输出作为所述像素清洗模块（13）的输入。

3.如权利要求2所述的模型，其特征在于：

所述M的取值范围为1≤M≤10。

4.如权利要求1所述的模型，其特征在于：

所述激活函数计算模块（12）使用的激活函数为：

RRelu函数：

；

或，

Leaky Relu函数：

。

5.一种如权利要求1-4任意一项所述的图像超分模型的训练方法，其特征在于：包括以下步骤：

S101：输入低分辨率图像；

S102：使用所述的图像超分模型（10）对所述低分辨率图像进行处理；

S103：输出目标图像；

S104：依据所述目标图像和所述低分辨率图像对应的高分辨率图像，计算目标函数；

S105：判断步骤：当所述目标函数小于等于预设阈值时，训练结束保存模型参数，并将所述图像超分模型（10）的所述并行支路的每条支路进行串行合并后再将各并行支路进行并行合并得到图像超分推理模型；

当所述目标函数大于所述预设阈值时，重复步骤S101-S104。

6.如权利要求5所述的方法，其特征在于：

所述步骤S102中所述图像超分模型（10）使用的所述激活函数为RRelu函数。

7.一种图像超分方法，其特征在于：使用如权利要求5或6所述的方法得到的所述图像超分推理模型，包括以下步骤：

S201：输入图像；

S202：使用所述图像超分推理模型对所述输入图像进行处理；

S203：输出图像。

8.如权利要求7所述的方法，其特征在于：

所述步骤S202中所述图像超分模型（10）使用的所述激活函数为Leaky Relu函数。

9.如权利要求7所述的方法，其特征在于：

所述输入图像为YUV格式或YCbCr格式图片的Y通道。

10.一种图像处理方法，其特征在于：包括：

S301：确定图片中需要处理的目标区域；

S302：提取所述目标区域的边框坐标；

S303：依据预设的任务划分规则对所述目标区域划分图像超分任务；

S304：使用如权利要求7或8所述的图像超分方法对所有的所述图像超分任务进行处理；

S305：将步骤S304的输出结果按照所述边框坐标进行拼接，输出处理完成的图像。

Images