CN110992265B - 图像处理方法及模型、模型的训练方法及电子设备 - Google Patents
图像处理方法及模型、模型的训练方法及电子设备 Download PDFInfo
- Publication number
- CN110992265B CN110992265B CN201911218082.6A CN201911218082A CN110992265B CN 110992265 B CN110992265 B CN 110992265B CN 201911218082 A CN201911218082 A CN 201911218082A CN 110992265 B CN110992265 B CN 110992265B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- layer
- processing
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 title claims abstract description 27
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 162
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000010586 diagram Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000003475 lamination Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000003321 amplification Effects 0.000 description 11
- 238000003199 nucleic acid amplification method Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004880 explosion Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像处理方法及模型、模型的训练方法及电子设备，所述模型包括：特征提取层、反卷积层、第一卷积层、亚像素卷积层以及第一加运算层；特征提取层，用于将第一分辨率图像进行特征提取，输出特征图；反卷积层，用于在特征图中插入零值像素点后进行卷积处理，输出第二分辨率的特征图；第一卷积层，用于对第二分辨率的特征图进行卷积处理，输出第二分辨率的残差图像；亚像素卷积层，用于将第一分辨率图像进行亚像素卷积处理后，输出放大后的第一分辨率图像；第一加运算层，用于将第二分辨率的残差图像和放大后的第一分辨率图像进行加运算处理，获得第二分辨率图像。通过上述方式，以在实现图像重建的同时，降低计算复杂度。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法及模型、模型的训练方法及电子设备。
背景技术
在信息处理和交流的过程中，视觉信息(如图像、视频)具有比文字、声音等信息更加直观、形象的特点。随着信息技术的发展，人们对图像质量的要求越来越高。然而，受到采集设备以及传输带宽的限制，图像质量不可能无限制提高。因此，采用超分辨率技术实现低分辨率图像向高分辨率图像的转换有着重要的意义。分辨率的提升意味着图像具有更高的像素密度，能够显示更丰富的纹理特征，可为后续的图像处理提供更多有用信息。
基于学习的超分辨率重建能够通过机器学习算法学习低分辨率图像和高分辨率图像之间的统计关系，即对低分辨率图像与高分辨率图像之间的映射关系进行建模，通过训练样本集学习低分辨率图像与高分辨率图像之间的映射模型，从而对未知的低分辨率测试样本的高分辨率的图像进行预测，达到提升图像分辨率的目的。与基于插值和基于重建这两类方法相比，基于学习的方法能更好地利用图像的先验信息，具有更优越的性能，重建图像效果更佳。
虽然现有的基于学习的超分辨率重建方法相较于传统方法在重建质量上有了很大提升，但仍存在一些缺点，例如，高效的亚像素卷积神经网络(Efficient Sub-PixelConvolutional Neural Network，ESPCN)方法使用了亚像素卷积，需通过卷积操作将特征通道数扩大为放大倍数的平方倍。当处理高清或超高清图像时，会使显存急剧上升，可能导致算法因内存溢出而崩溃。
申请内容
鉴于此，本申请实施例的目的在于提供一种图像处理方法及模型、模型的训练方法及电子设备，以在实现图像重建的同时，降低计算复杂度。
第一方面，本申请实施例提供一种图像处理模型，所述模型包括：特征提取层、反卷积层、第一卷积层、亚像素卷积层以及第一加运算层；所述特征提取层，用于将第一分辨率图像进行特征提取，输出特征图至所述反卷积层；其中，所述特征图的通道数大于所述第一分辨率图像的通道数；所述反卷积层，用于在所述特征图中插入零值像素点后进行卷积处理，输出第二分辨率的特征图至所述第一卷积层；其中，所述第二分辨率的特征图携带有高频信息；其中，所述第二分辨率大于所述第一分辨率；所述第一卷积层，用于对所述第二分辨率的特征图进行卷积处理，以降低所述第二分辨率的特征图的通道数，输出第二分辨率的残差图像至所述第一加运算层；其中，所述第二分辨率的残差图像的通道数和所述第一分辨率图像的通道数相同；所述亚像素卷积层，用于将所述第一分辨率图像进行亚像素卷积处理后，输出放大后的第一分辨率图像至所述第一加运算层；其中，所述放大后的第一分辨率图像的尺寸和所述第二分辨率的残差图像的尺寸相同；所述第一加运算层，用于将所述第二分辨率的残差图像和所述放大后的第一分辨率图像进行加运算处理，获得第二分辨率图像。
与反卷积层相比，亚像素卷积层具有更大的感知场，提供更多的上下文信息，可生成更准确的细节。然而，在对高清或超高清图像进行超分辨率重建的背景下，亚像素卷积层中扩展通道的操作，会造成内存急剧增长，甚至溢出。因此，在上述实现过程中，为了预测出与第一分辨率图像对应的第二分辨率图像，其中，所述第二分辨率大于第一分辨率，与所述第一分辨率图像相比，所述第二分辨率图像只多了高频信息，通过利用亚像素卷积层对第一分辨率图像进行亚像素卷积处理，以输出放大后的第一分辨率图像，由于第一分辨率图像的特征通道数较少，因此，计算复杂度低；利用特征提取层对所述第一分辨率图像进行特征提取，输出特征图，其中，所述特征图的通道数大于所述第一分辨率图像的通道数，以尽可能多的获取第一分辨率图像的特征信息，继而利用反卷积层对所述特征图进行处理，以输出第二分辨率的特征图，其中，所述第二分辨率的特征图携带有高频信息，由于第二特征图中的通道数比所述输出放大后的第一分辨率图像的通道数多，因此，所述第一卷积层对所述第二分辨率的特征图进行卷积处理，以降低所述第二分辨率的特征图的通道数至与所述放大后的第一分辨率图像一致，输出第二分辨率的残差图像，最后，将所述第二分辨率的残差图像和所述放大后的第一分辨率图像进行加运算处理，获得第二分辨率图像。
基于第一方面，在一种可能的设计中，所述特征提取层包括第二卷积层、残差网络层、第二加运算层和第一PReLU层；所述第二卷积层，用于将所述第一分辨率图像进行特征提取，输出第一特征图至所述残差网络层和所述第二加运算层；所述残差网络层，用于对所述第一特征图进行残差处理，输出第二特征图至所述第二加运算层；所述第二加运算层，用于对所述第一特征图和所述第二特征图进行加运算处理，输出第三特征图至所述第一PReLU层；所述第一PReLU层，用于对所述三特征图进行非线性映射处理，输出所述特征图至所述反卷积层。
在深度学习过程中，增加网络深度能够提高网络的抽象能力，使得提取到的细节更加丰富。然而，仅仅进行简单的层数增加会导致梯度爆炸，因此，在上述实现过程中，通过利用第二卷积层提取所述第一低分辨率图像的基础特征，输出第一特征图，利用所述残差网络对所述第一特征图进行残差处理，提取所述第一特征图中的深层特征，继而通过所述第二加运算层对所述第一特征图和所述第二特征图进行加运算，以在保证网络性能基础上，有效克服了梯度爆炸的问题。
基于第一方面，在一种可能的设计中，所述残差网络层包括：至少一个残差模块，其中，每个残差模块包括：第二PReLU层和第三卷积层，所述第二PReLU层的输出与所述第三卷积层的输入连接；在所述至少一个残差模块的数量为至少两个时，所述至少一个残差模块采用串联的方式连接。
在上述实现过程中，所述残差模块的结构简单，而且在所述至少一个残差模块的数量为至少两个时，所述至少一个残差模块采用串联的方式连接，增加网络提取深度，以提取更深层的图像特征。
基于第一方面，在一种可能的设计中，所述第一分辨率图像为第一分辨率图像的亮度分量。
超分辨率重建主要跟图像的亮度分量有关，色度分量对重建影响较小，因此，在上述实现过程中，由于输入的第一分辨率图像只包括图像的亮度分量，不包括色度分量，继而在保证重建质量的前提下，减低计算复杂度。
第二方面，本申请提供一种图像处理模型，包括：至少两个第一方面所述的模型，所述至少两个模型采用串联的方式连接；所述至少两个模型中的第一个模型，用于将第一分辨率图像进行处理，输出第二分辨率图像；其中，所述第二分辨率大于所述第一分辨率；所述第一个模型中的第一加运算层，用于将所述第二分辨率图像输入所述至少两个模型中的第二个模型中的亚像素卷积层进行处理，输出放大后的第二分辨率图像至所述第二个模型中的第一加运算层；所述第一个模型中的反卷积层，用于将第二分辨率的特征图输出至所述第二个模型中的特征提取层进行处理，输出第二特征图至所述第二个模型中的反卷积层；所述第二个模型中的反卷积层，用于对所述第二特征图进行处理，输出第三分辨率的特征图至所述第二个模型中的第一卷积层；其中，所述第三分辨率大于所述第二分辨率；所述第二个模型中的第一卷积层，用于对所述第三分辨率的特征图进行处理，输出第三分辨率的残差图像至所述第二个模型中的第一加运算层；所述第二模型中的第一加运算层，用于对所述第三分辨率的残差图像和所述放大后的第二分辨率图像进行处理，输出第三分辨率图像。
在上述实现过程中，通过将所述至少两个模型采用串联的方式连接能够实现多尺度超分辨率图像的重建，而且由于所述至少两个模型的结构完全相同，网络权重可以复用，降低计算复杂度。
第三方面，本申请提供一种图像处理模的训练方法，用于训练第一方面和第二方面所述的图像处理模型，所述方法包括：获取待训练的第一分辨率的样本图像数据；其中，所述第一分辨率的样本图像数据中包括多个图像块；针对所述多个图像块中的每个图像块，将所述图像块输入待训练的图像处理模型中进行处理，预测出与所述图像块对应的第二分辨率图像数据；其中，所述第二分辨率大于所述第一分辨率；将多个所述对应的第二分辨率图像数据和与所述多个图像块对应的真实分辨率的图像数据输入损失函数，获得损失值；其中，所述损失函数为：其中，Xi表示所述多个图像块中的第i个图像块；/>表示与第i个图像块对应的真实分辨率的图像数据；N表示所述多个图像块的总数量；L表示第一方面中所述的模型的数量；/>为惩罚函数；其中，所述真实的分辨率大于所述第一分辨率；在所述损失值大于预设损失值时，更新所述待训练的图像处理模型中的各个层的权重值，得到新的图像处理模型；针对所述多个图像块中的每个图像块，将所述图像块输入所述新的图像处理模型中进行处理，预测出与所述图像块对应的第三分辨率的图像数据；将多个所述对应的第三分辨率的图像数据和多个所述对应的真实分辨率的图像数据输入所述损失函数，获得新的损失值；在所述新的损失值大于所述预设损失值时，将所述新的图像处理模型作为训练好的图像处理模型。
在上述实现过程中，使用更具鲁棒性的损失函数代替传统的L2损失函数，有助于提高模型的图像重建质量。
基于第三方面，在一种可能的设计中，获取待训练的第一分辨率的样本图像数据，包括：获取所述对应的真实分辨率的图像；对所述真实分辨率的图像进行色度空间转换，获得与所述真实分辨率图像对应的YUV数据；将所述对应的YUV数据进行下采样，得到第一分辨率的YUV数据；将所述第一分辨率的YUV数据进行图像块提取处理，得到所述第一分辨率的样本图像数据。
在上述实现过程中，通过对所述待训练的第一分辨率图像进行色度空间转换，获得与所述第一分辨率图像对应的YUV数据，便于模型的训练。
基于第三方面，在一种可能的设计中，获取待训练的第一分辨率的样本图像数据，包括：获取所述对应的真实分辨率的图像；对所述对应的真实分辨率的图像进行下采样，得到初始的第一分辨率图像；对所述初始的第一分辨率图像进行噪声扰动，得到处理后的第一分辨率图像；对所述处理后的第一分辨率图像进行图像块提取处理，得到所述第一分辨率的样本图像数据。
在上述实现过程中，通过对所述对应的真实分辨率的图像进行下采样之后，进行噪声扰动处理，以使训练出的模型能够对被噪声扰动后的图像进行高质量的图像重建。
第四方面，本申请提供一种图像处理方法，应用于图像处理模型，所述模型包括：特征提取层、反卷积层、第一卷积层、亚像素卷积层以及第一加运算层；所述方法包括：将待预测的第一分辨率图像输入至所述特征提取层进行特征提取，输出特征图至所述反卷积层；其中，所述特征图的通道数大于所述第一分辨率图像的通道数；所述反卷积层通过在所述特征图中插入零值像素点后进行卷积处理，输出第二分辨率的特征图至所述第一卷积层；其中，所述第二分辨率的特征图携带有高频信息；其中，所述第二分辨率大于所述第一分辨率；所述第一卷积层通过对所述第二分辨率的特征图进行卷积处理，以降低所述第二分辨率的特征图的通道数，输出第二分辨率的残差图像至所述第一加运算层；其中，所述第二分辨率的残差图像的通道数和所述第一分辨率图像的通道数相同；将所述待预测的第一分辨率图像输入至所述亚像素卷积层进行亚像素卷积处理，输出放大后的第一分辨率图像至所述第一加运算层；其中，所述放大后的第一分辨率图像的尺寸和所述第二分辨率的残差图像的尺寸相同；所述第一加运算层通过对所述第二分辨率的残差图像和所述放大后的第一分辨率图像进行加运算处理，输出第二分辨率图像。
与反卷积层相比，亚像素卷积层具有更大的感知场，提供更多的上下文信息，可生成更准确的细节。然而，在对高清或超高清图像进行超分辨率重建的背景下，亚像素卷积层中扩展通道的操作，会造成内存急剧增长，甚至溢出。因此，在上述实现过程中，为了预测出与第一分辨率图像对应的第二分辨率图像，其中，所述第二分辨率大于第一分辨率，与所述第一分辨率图像相比，所述第二分辨率图像只多了高频信息，通过利用亚像素卷积层对第一分辨率图像进行亚像素卷积处理，以输出放大后的第一分辨率图像，由于第一分辨率图像的特征通道数较少，因此，计算复杂度低；利用特征提取层对所述第一分辨率图像进行特征提取，输出特征图，其中，所述特征图的通道数大于所述第一分辨率图像的通道数，以尽可能多的获取第一分辨率图像的特征信息，继而利用反卷积层对所述特征图进行处理，以输出第二分辨率的特征图，其中，所述第二分辨率的特征图携带有高频信息，由于第二特征图中的通道数比所述输出放大后的第一分辨率图像的通道数多，因此，所述第一卷积层对所述第二分辨率的特征图进行卷积处理，以降低所述第二分辨率的特征图的通道数至与所述放大后的第一分辨率图像一致，输出第二分辨率的残差图像，最后，将所述第二分辨率的残差图像和所述放大后的第一分辨率图像进行加运算处理，获得第二分辨率图像。
第五方面，本申请实施例提供一种电子设备，包括处理器以及与所述处理器连接的存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行第三方面和第四方面所述的方法。
第六方面，本申请实施例提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行第三方面和第四方面所述的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请第一实施例提供图像处理模型的结构示意图。
图2为本申请第一实施例提供的特征提取层的结构示意图。
图3为本申请第一实施例提供的残差网络层的结构示意图。
图4为本申请第一实施例提供的反卷积示意图。
图5为本申请第一实施例提供的亚像素卷积示意图。
图6为本申请第二实施例提供的图像处理模型的另一种结构示意图。
图7为本申请第三实施例提供的图像处理模型的训练方法的流程示意图。
图8为本申请第四实施例提供的图像处理方法的流程示意图。
图9为本申请第五实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
第一实施例
请参照图1，图1为本申请第一实施例提供的图像处理模型的结构示意图，所述模型包括：特征提取层、反卷积层、第一卷积层、亚像素卷积层以及第一加运算层。通过采用包括上述网络层结构的图像处理模型对第一分辨率图像进行处理，不仅可以得到比所述第一分辨率图像的分辨率高的第二分辨率图像，而且还可以降低图像处理过程中的计算复杂度。
其中，所述特征提取层，用于将第一分辨率图像进行特征提取，输出特征图至所述反卷积层；其中，所述特征图的通道数大于所述第一分辨率图像的通道数。
其中，通道数越多，表征描述一个像素点的特征数越多。
可以理解的是，在需要将第一分辨率图像进行预测，以得到第二分辨率图像时，其中，所述第二分辨率图像比所述第一分辨率图像的分辨率高，将所述第一分辨率图像输入至所述特征提取层进行特征提取，以提取所述第一分辨率图像的特征，得到特征图，其中，图像的分辨率越高，表征图像的像素点数也越多，即所述第二分辨率图像的像素点数大于所述第一分辨率图像的像素点数。
其中，所述第一分辨率图像可以为YUV格式的图像数据，也可以为RGB格式的图像数据。作为一种实施方式，由于超分辨率重建主要跟图像的亮度分量有关，色度分量对重建影响较小，因此，所述第一分辨率图像只包括图像的亮度分量，不包括色度分量，继而在保证重建质量的前提下，减低计算复杂度。
例如，在所述第一分辨率图像的分辨率为1920*1080时，其中，1980和1080分别表示所述第一分辨率图像的水平方向的像素点数和垂直方向的像素点数，若所述第一分辨率图像只包括亮度分量Y，因此，所述第一分辨率图像的通道数为1，若需要将所述第一分辨率图像的分辨率放大2倍，则放大后的分辨率为3840*2160。
在深度学习过程中，增加网络深度能够提高网络的抽象能力，使得提取到的细节更加丰富，然而，仅仅进行简单的层数增加会导致梯度爆炸，因此，请参照图2，作为一种实施方式，所述特征提取层包括第二卷积层、残差网络层、第二加运算层和第一PReLU层。
所述第二卷积层，用于将所述第一分辨率图像进行特征提取，输出第一特征图至所述残差网络层和所述第二加运算层。
可以理解的是，所述第二卷积层利用多个卷积核对所述第一低分辨率图像进行卷积处理，以提取所述第一分辨率图像的基础特征，得到所述第一特征图，并将所述第一特征图分别输入所述残差网络层和所述第二加运算层进行处理。其中，卷积核的数量越多，能够获取到的图像特征越多，越有利于提高图像重建质量，但是图像处理的复杂度也会越高。
例如，在所述第二卷积层所采用的卷积核的数量为32时，得到的所述第一特征图的通道数为32，所述第一特征图的分辨率和所述第一分辨率相同，其中，卷积核的数量和所述第一特征通道数的数量相同。在其他实施例中，所述卷积核的数量也可以其他值。
为了在所述第一特征图的基础上提取更深层的特征，因此，所述残差网络层，用于对所述第一特征图进行残差处理，输出第二特征图至所述第二加运算层。
作为一种实施方式，请参照图3，所述残差网络层包括：至少一个残差模块，其中，每个残差模块包括：第二PReLU层和第三卷积层，所述第二PReLU层的输出与所述第三卷积层的输入连接；在所述至少一个残差模块的数量为至少两个时，所述至少一个残差模块采用串联的方式连接。
可以理解的是，在所述至少一个残差模块的数量为至少两个时，所述至少一个残差模块中的第一个残差模块中的第三卷积层输出特征至与下一个残差模块的第二PReLU层进行处理。
将所述第二卷积层输出的第一特征图输入至所述至少一个残差模块中的第二PReLU层进行非线性映射处理；第二PReLU层将第一次非线性映射结果输入到所述第三卷积层进行卷积处理，所述第三卷积层将处理得到的结果输入到下一个残差模块中的第二PReLU层进行非线性映射处理，得到第二次非线性映射处理结果输入到所述下一个残差模块中的第三卷积层进行卷积处理，直到所述至少一个残差模块中的最后一个残差模块处理完之后输出处理得到的第二特征图至所述第二加运算层。其中，所述第二特征图的分辨率为与所述第一分辨率相同，所述第二特征图的通道数和所述第一特征图的通道数相同。
其中，所述至少一个残差模块的数量越多，残差处理后得到的图像特征更为丰富，但是计算复杂度也会越大，在本申请实施例中，所述至少一个残差模块的数量为5，在其他实施例中，所述至少一个残差模块的数量也可以为其他值。
所述第二加运算层，用于对所述第一特征图和所述第二特征图进行加运算处理，输出第三特征图至所述第一PReLU层。
可以理解的是，所述第二加运算层在获取到所述第一特征图和所述第二特征图之后，将所述第一特征图和所述第二特征图上的对应位置的像素值进行相加，得到第三特征图，其中，所述第三特征图的分辨率和所述第一分辨率相同，所述第三特征图的通道数和所述第一特征图的通道数相同。
所述第一PReLU层，用于对所述第三特征图进行非线性映射处理，输出所述特征图至所述反卷积层。
其中，所述第一PReLU层采用激活函数来实现非线性处理。
其中，所述特征图的分辨率和所述第一分辨率相同，所述特征图的通道数和所述第三特征图的通道数相同。
所述反卷积层，用于在所述特征图中插入零值像素点后进行卷积处理，输出第二分辨率的特征图至所述第一卷积层；其中，所述第二分辨率的特征图携带有高频信息；其中，所述第二分辨率大于所述第一分辨率。
可以理解的是，所述反卷积层在获取到所述特征图之后，在所述特征图的中间和周围插入零值像素点，以增加所述特征图的像素点数，其中，增加的像素点数取决于需要将所述第一分辨率图像的分辨率放大的倍数，请参照图4，在放大倍数为2，所述特征图的垂直方向和水平方向的像素点数为均3时，若卷积处理时所采用的卷积核的尺寸是3*3，步长为1，因此，为了使得反卷积层输出的第二分辨率的特征图的分辨率为所述第一分辨率的2倍，因此，在所述特征图中插入零像素点后的所得到的扩展特征图的垂直方向像素点数和水平方向的像素点数均为8，其中，在本实施例中，采用的卷积核的数量为8，在其他实施例中，采用的卷积核的数量也可以为其他值，值的一提的是，各个卷积核中的值不同，将每个卷积核分别与所述特征图像进行卷积处理之后，得到所述第二分辨率的特征图。
值的一提的是，所述反卷积层所选用的卷积核的数量小于32的原因是，对于超高清图像的重建，所需内存太大，如果选择过多的卷积核数，不仅会增加计算复杂度，也需要极大的存储空间来存储数据。
由于所述第一分辨率图像的特征通道数为1，因此，所述第一卷积层，用于对所述第二分辨率的特征图进行卷积处理，以降低所述第二分辨率的特征图的通道数，输出第二分辨率的残差图像至所述第一加运算层；其中，所述第二分辨率的残差图像的通道数和所述第一分辨率图像的通道数相同。
可以理解的是，所述第一卷积层在获取到所述第二分辨率的特征图之后，所述第一卷积层利用1个卷积核对所述第二分辨率的特征图进行卷积处理，以降低所述第二分辨率的特征图的通道数，输出第二分辨率的残差图像至所述第一加运算层，其中，所述第二分辨率的残差图像中只包括高频信息，在所述第一分辨率图像的分辨率为1920*1080时，若需要将所述第一分辨率图像的分辨率放大2倍，那么，所述第二分辨率的残差图像的分辨率为3840*2160，所述第二分辨率的残差图像的通道数为1。
可以理解的是，通过所述卷积层处理之后输出的图像为仅包括高频信息的第二分辨率参数图像，因此，为了获得第二分辨率图像，所述亚像素卷积层，用于将所述第一分辨率图像进行亚像素卷积处理后，输出放大后的第一分辨率图像至所述第一加运算层；其中，所述放大后的第一分辨率图像的尺寸和所述第二分辨率的残差图像的尺寸相同。
其中，亚像素卷积处理中所采用的卷积核的数量为放大的倍数的平方。例如，在放大倍数为2时，卷积核的数量为4。
可以理解的是，所述亚像素卷积层在获取到所述第一分辨率图像之后，首先在所述第一分辨率图像中的每个图像块的周围进行增加零像素点，以增加所述第一分辨率图像的尺寸，其中，增加的像素点数取决于需要将所述第一分辨率图像的分辨率放大的倍数，请参照图5，在放大倍数为2，所述第一分辨率图像中的任意一个图像块的垂直方向和水平方向的像素点数为均3时，若卷积处理时所采用的卷积核的尺寸是3*3，步长为1，因此，为了使得亚像素层输出的放大后的第一分辨率图像的尺寸为所述第一分辨率的2倍，因此，在所述特征图中插入零像素点后的所得到的扩展特征图的垂直方向像素点数和水平方向的像素点数均为5。
通过将所述扩展特征图分别与4个卷积核进行卷积处理之后，对得到的结果进行重组，得到放大后的第一分辨率图像，可以理解的是，所述放大后的第一分辨率图像的通道数和所述所述第二分辨率的残差图像的通道数相同。
所述第一加运算层在获取到所述第二分辨率的残差图像和所述放大后的第一分辨率图像之后，所述第一加运算层，用于将所述第二分辨率的残差图像和所述放大后的第一分辨率图像进行加运算处理，获得第二分辨率图像。
可以理解的是，所述第一加运算层对所述第二分辨率的残差图像和所述放大后的第一分辨率的图像的对应像素点相加，得到所述第二分辨率图像。
第二实施例
请参照图6，图6为本申请第二实施例提供的图像处理模型的另一种结构示意图，所述模型包括：至少两个前述实施方式中的图像处理模型，所述至少两个模型采用串联的方式连接。
所述至少两个模型中的第一个模型，用于将第一分辨率图像进行处理，输出第二分辨率图像；其中，所述第二分辨率大于所述第一分辨率。
可以理解的是，所述至少两个模型中的第一模型对所述第一低分辨率图像进行处理后经第一个模型中的第一加运算层输出第二分辨率图像。
所述第一个模型中的第一加运算层，用于将所述第二分辨率图像输入所述至少两个模型中的第二个模型中的亚像素卷积层进行处理，输出放大后的第二分辨率图像至所述第二个模型中的第一加运算层。
可以理解的是，所述第一个模型中的第一加运算层与所述至少两个模型中的亚像素卷积层连接，所述第一个模型中的第一加运算层将所述第二分辨率图像输出至第二个模型中的亚像素卷积层进行处理，输出放大后的第二分辨率图像至所述第二个模型中的第一加运算层。
所述第一个模型中的反卷积层，用于将第二分辨率的特征图输出至所述第二个模型中的特征提取层进行处理，输出第二特征图至所述第二个模型中的反卷积层。
可以理解的是，所述第一个模型中的反卷积层与第二个模型中的特征提取层连接，所述第一个模型中的特征提取层将所述第一分辨率图像进行处理输出的特征图输入至所述第一个模型中的反卷积层之后，所述第一个模型中的反卷积层将所述特征图进行处理之后输出第二分辨率的特征图至所述第二个模型中的特征提取层进行处理。
所述第二个模型中的反卷积层，用于对所述第二特征图进行处理，输出第三分辨率的特征图至所述第二个模型中的第一卷积层；其中，所述第三分辨率大于所述第二分辨率。
所述第二个模型中的第一卷积层，用于对所述第三分辨率的特征图进行处理，输出第三分辨率的残差图像至所述第二个模型中的第一加运算层。
所述第二模型中的第一加运算层，用于对所述第三分辨率的残差图像和所述放大后的第二分辨率图像进行处理，输出第三分辨率图像。
在所述至少两个模型的数量为三个时，所述第二个模型中的反卷积层输出第三分辨率的特征图至第三个模型中的特征提取层进行处理，输出第三特征图至所述第三个模型中的反卷积层，所述第三个模型中的反卷积层对所述第三特征图进行处理，输出第四分辨率的特征图至所述第三个模型中的第一卷积层，其中，所述第四分辨率大于所述第三分辨率，所述第三个模型中的第一卷积层对所述第四分辨率的特征图进行处理，输出第四分辨率的残差图像至所述第三个模型中的第一加运算层，所述第二个模型中的第一加运算层将所述第三分辨率图像输入第三个模型中的亚像素卷积层进行处理，输出放大后的第三分辨率图像至所述第三个模型中的第一加运算层，所述第三个模型中的第一加运算层对所述第四分辨率的残差图像和所述放大后的第三分辨率图像进行处理，输出第四分辨率图像。
第三实施例
请参照图7，图7为本申请第三实施例提供的一种图像处理模型的训练方法的流程图，所述方法用于训练前述实施方式所述的图像处理模型，下面将对图7所示的流程进行详细阐述，所述方法包括步骤：S100、S200、S300、S400、S500、S600和S700。
S100：获取待训练的第一分辨率的样本图像数据；其中，所述第一分辨率的样本图像数据中包括多个图像块。
作为一种实施方式，S100包括步骤：A1、A2和A3。
A1：获取所述对应的真实分辨率的图像。
在获取到所述对应的真实分辨率之后，执行步骤A2：对所述真实分辨率的图像进行色度空间转换，获得与所述真实分辨率图像对应的YUV数据。
其中，色度空间转换方式为本领域公知常识，因此在此不再赘述。
在获取到所述对应的YUV数据之后，执行步骤A3：将所述对应的YUV数据进行下采样，得到第一分辨率的YUV数据。
可以理解的是，对所述对应的YUV数据进行下采样，以降低所述对应的YUV数据的分辨率，得到第一分辨率的YUV数据，其中，所述第一分辨率小于所述真实的分辨率。其中，下采样的方式为本领域的惯用技术手段，因此在此不再赘述。
为了降低训练的计算复杂度，因此，在获取到所述第一分辨率的YUV数据之后，执行步骤A4：将所述第一分辨率的YUV数据进行图像块提取处理，得到所述第一分辨率的样本图像数据。
可以理解的是，将所述第一分辨率的YUV数据进行图像块提取处理，以将所述第一分辨率的YUV数据划分为像素尺寸为64*64的图像块，在其他实施例中，所述图像块的尺寸也可以为其他值。可以理解的是，像素块的尺寸越大，利用一个像素块进行模型训练所需计算复杂度也越大。
值得一提的是，在将所述第一分辨率的YUV数据进行图像块提取处理后，可以只任意选取几块图像块参与训练图像处理模型。
其中，所述第一分辨率的样本图像数据也可以为RGB格式的图像数据。
作为一种实施方式，S100包括步骤：B1、B2、B3和B4。
B1：获取所述对应的真实分辨率的图像。
B2：对所述对应的真实分辨率的图像进行下采样，得到初始的第一分辨率图像。
作为一种实施方式，可以将所述对应的真实分辨率图像转换为YUV格式的图像数据之后再对转换后的图像数进行下采样，得到所述初始的第一分辨率图像。
作为一种实施方式，也可以直接对所述对应的真实分辨率的图像进行下采样，得到所述初始的第一分辨率图像。
B3：对所述初始的第一分辨率图像进行噪声扰动，得到处理后的第一分辨率图像。
其中，所述噪声可以为高斯白噪声，也可以为色噪声。
作为一种实施方式，可以对所述初始的第一分辨率图像进行旋转之后再进行噪声扰动，得到所述处理后的第一分辨率图像。
B4：对所述处理后的第一分辨率图像进行图像块提取处理，得到所述第一分辨率的样本图像数据。
其中，B4的具体实施方式请参照A4，因此在此不再赘述。
S200：针对所述多个图像块中的每个图像块，将所述图像块输入待训练的图像处理模型中进行处理，预测出与所述图像块对应的第二分辨率图像数据；其中，所述第二分辨率大于所述第一分辨率。
可以理解的是，通过对所述待训练的图像处理模型中各个网络层的权重已初始化，以得到初始化后的图像处理的模型，因此，在获取到所述多个图像块之后，针对所述多个图像块中的每个图像块，将该图像块输入至初始化后的图像处理模型中进行处理，所述初始化后的图像处理模型输出与所述图像块对应的第二分辨率图像数据。可理解的是，输入的图像块的数量与输出的所述对应的第二分辨率图像数据的数量相同。
S300：将多个所述对应的第二分辨率图像数据和与所述多个图像块对应的真实分辨率的图像数据输入损失函数，获得损失值；其中，所述损失函数为：其中，Xi表示所述多个图像块中的第i个图像块；/>表示与第i个图像块对应的真实分辨率的图像数据；L表示前述的第一实施例中的所述的模型的数量；/>表示第s个模型输出的与第i个图像块对应的第二分辨率图像数据，N表示所述多个图像块的总数量；为惩罚函数，ε为一很小的常数，例如10-6，为经验值，x表示所述多个图像块的像素值；其中，所述真实的分辨率大于所述第一分辨率。
S400：在所述损失值大于预设损失值时，更新所述待训练的图像处理模型中的各个层的权重值，得到新的图像处理模型。
通过将所述损失值与所述预设损失值进行比较，在确定所述损失值大于所述预设损失值时，利用反向传播算法更新所述待训练的图像处理模型中的各个层的权重值，得到新的图像处理模型。在本申请实施例中，采用Adam算法更新权重值，在其他实施例中，也可以采用其他方式更新权重值。其中，更新权重值时所采用的初始学习率lr＝0.001，为经验值，在其他实施例中，所述初始学习率也可为其他值。
S500：针对所述多个图像块中的每个图像块，将所述图像块输入所述新的图像处理模型中进行处理，预测出与所述图像块对应的第三分辨率的图像数据。
其中，S500的处理方式和S200相同，因此在此不再赘述。
S600：将多个所述对应的第三分辨率的图像数据和多个所述对应的真实分辨率的图像数据输入所述损失函数，获得新的损失值。
其中，S600的处理方式和S300相同，因此在此不再赘述。
S700：在所述新的损失值小于等于所述预设损失值时，将所述新的图像处理模型作为训练好的图像处理模型。
在所述新的损失值小于等于所述预设损失值时，表征所述新的图像处理模型的图像重建性能符合要求，因此，可以结束模型的训练，此时，将所述新的图像处理模型作为训练好的图像处理模型。
作为一种实施方式，在S600之后，所述方法还包括：在所述新的损失值大于所述预设损失值时，更新所述新的模型中的各个层权重值，直到利用更新后的模型确定出的损失值小于等于预设值时，结束模型的训练过程。
作为一种实施方式，在S500之后，所述方法还包括：确定当前模型训练次数是否等于预设训练次数；在确定所述当前模型训练次数等于所述预设训练次数值时，结束模型的训练，反之，更新所述图像处理模型。
第四实施例
请参照图8，图8为本申请第四实施例提供的一种图像处理方法的流程图，应用于图像处理模型，所述模型包括：特征提取层、反卷积层、第一卷积层、亚像素卷积层以及第一加运算层；下面将对图8所示的流程进行详细阐述，所述方法包括步骤：S10、S20、S30、S40和S50。
S10：将待预测的第一分辨率图像输入至所述特征提取层进行特征提取，输出特征图至所述反卷积层；其中，所述特征图的通道数大于所述第一分辨率图像的通道数。
S20：所述反卷积层通过在所述特征图中插入零值像素点后进行卷积处理，输出第二分辨率的特征图至所述第一卷积层；其中，所述第二分辨率的特征图携带有高频信息；其中，所述第二分辨率大于所述第一分辨率。
S30：所述第一卷积层通过对所述第二分辨率的特征图进行卷积处理，以降低所述第二分辨率的特征图的通道数，输出第二分辨率的残差图像至所述第一加运算层；其中，所述第二分辨率的残差图像的通道数和所述第一分辨率图像的通道数相同。
S40：将所述待预测的第一分辨率图像输入至所述亚像素卷积层进行亚像素卷积处理，输出放大后的第一分辨率图像至所述第一加运算层；其中，所述放大后的第一分辨率图像的尺寸和所述第二分辨率的残差图像的尺寸相同。
S50：所述第一加运算层通过对所述第二分辨率的残差图像和所述放大后的第一分辨率图像进行加运算处理，输出第二分辨率图像。
其中，S10-S50的具体实施方式请参照第一实施例，因此在此不再赘述。
值的一提的是，在需要将所述第一分辨率图像的分辨率放大至比所述第二分辨率更高的分辨率时，将所述第一分辨率图像输入至第二实施例所述的模型中进行处理，其中，处理的具体实施方式请参照第二实施例，因此，在此不再赘述。
第五实施例
请参照图9，图9为本申请第五实施例提供的一种电子设备的结构示意图，所述电子设备100可以是个人电脑(personal computer，PC)、平板电脑、智能手机、个人数字助理(personal digital assistant，PDA)等。
电子设备100可以包括：存储器102、处理101和通信总线，通信总线用于实现这些组件的连接通信。
存储器102用于存储本申请实施例提供的待训练的第一分辨率的样本图像数据、与所述第一分辨率图像对应的真实分辨率的图像数据、损失函数、图像处理模型、模型的训练方法和装置对应的计算程序指令等各种数据，其中，存储器102可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器101用于读取并运行存储于存储器中的训练方法和图像处理方法的计算机程序指令时，执行图像处理模型的训练方法或图像处理方法的流程。
其中，处理器101可能是一种集成电路芯片，具有信号的处理能力。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
此外，本申请实施例还提供了一种存储介质，在该存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行本申请任一项实施方式所提供的方法。
综上所述，本申请各实施例提出的一种图像处理方法及模型、模型的训练方法及电子设备，为了预测出与第一分辨率图像对应的第二分辨率图像，其中，所述第二分辨率大于第一分辨率，与所述第一分辨率图像相比，所述第二分辨率图像只多了高频信息，通过利用亚像素卷积层对第一分辨率图像进行亚像素卷积处理，以输出放大后的第一分辨率图像，由于第一分辨率图像的特征通道数较少，因此，计算复杂度低；利用特征提取层对所述第一分辨率图像进行特征提取，输出特征图，其中，所述特征图的通道数大于所述第一分辨率图像的通道数，以尽可能多的获取第一分辨率图像的特征信息，继而利用反卷积层对所述特征图进行处理，以输出第二分辨率的特征图，其中，所述第二分辨率的特征图携带有高频信息，由于第二特征图中的通道数比所述输出放大后的第一分辨率图像的通道数多，因此，所述第一卷积层对所述第二分辨率的特征图进行卷积处理，以降低所述第二分辨率的特征图的通道数至与所述放大后的第一分辨率图像一致，输出第二分辨率的残差图像，最后，将所述第二分辨率的残差图像和所述放大后的第一分辨率图像进行加运算处理，获得第二分辨率图像。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
Claims (11)
1.一种图像处理装置，其特征在于，所述装置包括：特征提取层、反卷积层、第一卷积层、亚像素卷积层以及第一加运算层；
所述特征提取层，用于将第一分辨率图像进行特征提取，输出特征图至所述反卷积层；其中，所述特征图的通道数大于所述第一分辨率图像的通道数；
所述反卷积层，用于在所述特征图中插入零值像素点后进行卷积处理，输出第二分辨率的特征图至所述第一卷积层；其中，所述第二分辨率的特征图携带有高频信息；其中，所述第二分辨率大于所述第一分辨率；
所述第一卷积层，用于对所述第二分辨率的特征图进行卷积处理，以降低所述第二分辨率的特征图的通道数，输出第二分辨率的残差图像至所述第一加运算层；其中，所述第二分辨率的残差图像的通道数和所述第一分辨率图像的通道数相同；
所述亚像素卷积层，用于将所述第一分辨率图像进行亚像素卷积处理后，输出放大后的第一分辨率图像至所述第一加运算层；其中，所述放大后的第一分辨率图像的尺寸和所述第二分辨率的残差图像的尺寸相同；
所述第一加运算层，用于将所述第二分辨率的残差图像和所述放大后的第一分辨率图像进行加运算处理，获得第二分辨率图像。
2.根据权利要求1所述的装置，其特征在于，所述特征提取层包括第二卷积层、残差网络层、第二加运算层和第一PReLU层；
所述第二卷积层，用于将所述第一分辨率图像进行特征提取，输出第一特征图至所述残差网络层和所述第二加运算层；
所述残差网络层，用于对所述第一特征图进行残差处理，输出第二特征图至所述第二加运算层；
所述第二加运算层，用于对所述第一特征图和所述第二特征图进行加运算处理，输出第三特征图至所述第一PReLU层；
所述第一PReLU层，用于对所述第三特征图进行非线性映射处理，输出所述特征图至所述反卷积层。
3.根据权利要求2所述的装置，其特征在于，所述残差网络层包括：至少一个残差模块，其中，每个残差模块包括：第二PReLU层和第三卷积层，所述第二PReLU层的输出与所述第三卷积层的输入连接；在所述至少一个残差模块的数量为至少两个时，所述至少一个残差模块采用串联的方式连接。
4.根据权利要求1所述的装置，其特征在于，所述第一分辨率图像为第一分辨率图像的亮度分量。
5.一种图像处理装置，其特征在于，包括：至少两个权利要求1-4中任一权项所述的装置，所述至少两个装置采用串联的方式连接；
所述至少两个装置中的第一个装置，用于将第一分辨率图像进行处理，输出第二分辨率图像；其中，所述第二分辨率大于所述第一分辨率；
所述第一个装置中的第一加运算层，用于将所述第二分辨率图像输入所述至少两个装置中的第二个装置中的亚像素卷积层进行处理，输出放大后的第二分辨率图像至所述第二个装置中的第一加运算层；
所述第一个装置中的反卷积层，用于将第二分辨率的特征图输出至所述第二个装置中的特征提取层进行处理，输出第二特征图至所述第二个装置中的反卷积层；
所述第二个装置中的反卷积层，用于对所述第二特征图进行处理，输出第三分辨率的特征图至所述第二个装置中的第一卷积层；其中，所述第三分辨率大于所述第二分辨率；
所述第二个装置中的第一卷积层，用于对所述第三分辨率的特征图进行处理，输出第三分辨率的残差图像至所述第二个装置中的第一加运算层；
所述第二个装置中的第一加运算层，用于对所述第三分辨率的残差图像和所述放大后的第二分辨率图像进行处理，输出第三分辨率图像。
6.一种图像处理装置的训练方法，其特征在于，用于训练权利要求1-5中任一权项所述的图像处理装置，所述方法包括：
获取待训练的第一分辨率的样本图像数据；其中，所述第一分辨率的样本图像数据中包括多个图像块；
针对所述多个图像块中的每个图像块，将所述图像块输入待训练的图像处理装置中进行处理，预测出与所述图像块对应的第二分辨率图像数据；其中，所述第二分辨率大于所述第一分辨率；
将多个所述对应的第二分辨率图像数据和与所述多个图像块对应的真实分辨率的图像数据输入损失函数，获得损失值；其中，所述损失函数为：其中，Xi表示所述多个图像块中的第i个图像块；/>表示与第i个图像块对应的真实分辨率的图像数据；N表示所述多个图像块的总数量；L表示权利要求1-4中所述的装置的数量；为惩罚函数，ε为常数，x表示所述多个图像块的像素值；/>表示第s个装置输出的与第i个图像块对应的第二分辨率图像数据，其中，所述真实的分辨率大于所述第一分辨率；
在所述损失值大于预设损失值时，更新所述待训练的图像处理装置中的各个层的权重值，得到新的图像处理装置；
针对所述多个图像块中的每个图像块，将所述图像块输入所述新的图像处理装置中进行处理，预测出与所述图像块对应的第三分辨率的图像数据；
将多个所述对应的第三分辨率的图像数据和多个所述对应的真实分辨率的图像数据输入所述损失函数，获得新的损失值；
在所述新的损失值大于所述预设损失值时，将所述新的图像处理装置作为训练好的图像处理装置。
7.根据权利要求6所述的方法，其特征在于，获取待训练的第一分辨率的样本图像数据，包括：
获取所述对应的真实分辨率的图像；
对所述真实分辨率的图像进行色度空间转换，获得与所述真实分辨率图像对应的YUV数据；
将所述对应的YUV数据进行下采样，得到第一分辨率的YUV数据；
将所述第一分辨率的YUV数据进行图像块提取处理，得到所述第一分辨率的样本图像数据。
8.根据权利要求6所述的方法，其特征在于，获取待训练的第一分辨率的样本图像数据，包括：
获取所述对应的真实分辨率的图像；
对所述对应的真实分辨率的图像进行下采样，得到初始的第一分辨率图像；
对所述初始的第一分辨率图像进行噪声扰动，得到处理后的第一分辨率图像；
对所述处理后的第一分辨率图像进行图像块提取处理，得到所述第一分辨率的样本图像数据。
9.一种图像处理方法，其特征在于，应用于图像处理装置，所述装置包括：特征提取层、反卷积层、第一卷积层、亚像素卷积层以及第一加运算层；所述方法包括：
将待预测的第一分辨率图像输入至所述特征提取层进行特征提取，输出特征图至所述反卷积层；其中，所述特征图的通道数大于所述第一分辨率图像的通道数；
所述反卷积层通过在所述特征图中插入零值像素点后进行卷积处理，输出第二分辨率的特征图至所述第一卷积层；其中，所述第二分辨率的特征图携带有高频信息；其中，所述第二分辨率大于所述第一分辨率；
所述第一卷积层通过对所述第二分辨率的特征图进行卷积处理，以降低所述第二分辨率的特征图的通道数，输出第二分辨率的残差图像至所述第一加运算层；其中，所述第二分辨率的残差图像的通道数和所述第一分辨率图像的通道数相同；
将所述待预测的第一分辨率图像输入至所述亚像素卷积层进行亚像素卷积处理，输出放大后的第一分辨率图像至所述第一加运算层；其中，所述放大后的第一分辨率图像的尺寸和所述第二分辨率的残差图像的尺寸相同；
所述第一加运算层通过对所述第二分辨率的残差图像和所述放大后的第一分辨率图像进行加运算处理，输出第二分辨率图像。
10.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行如权利要求6-9中任一项所述的方法。
11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序指令，所述计算机程序指令被计算机读取并运行时，执行如权利要求6-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911218082.6A CN110992265B (zh) | 2019-12-02 | 2019-12-02 | 图像处理方法及模型、模型的训练方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911218082.6A CN110992265B (zh) | 2019-12-02 | 2019-12-02 | 图像处理方法及模型、模型的训练方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110992265A CN110992265A (zh) | 2020-04-10 |
| CN110992265B true CN110992265B (zh) | 2023-10-20 |
Family
ID=70089500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911218082.6A Active CN110992265B (zh) | 2019-12-02 | 2019-12-02 | 图像处理方法及模型、模型的训练方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110992265B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784571A (zh) * | 2020-04-13 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 一种提高图像分辨率的方法、装置 |
| CN111507902B (zh) * | 2020-04-15 | 2023-09-26 | 京东城市(北京)数字科技有限公司 | 一种高分辨率图像获取方法及装置 |
| CN111696035A (zh) * | 2020-05-21 | 2020-09-22 | 电子科技大学 | 一种基于光流运动估计算法的多帧图像超分辨率重建方法 |
| WO2022057837A1 (zh) * | 2020-09-16 | 2022-03-24 | 广州虎牙科技有限公司 | 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质 |
| CN112668619B (zh) * | 2020-12-22 | 2024-04-16 | 万兴科技集团股份有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN112580381A (zh) * | 2020-12-23 | 2021-03-30 | 成都数之联科技有限公司 | 一种基于深度学习的二维码超辨率重构增强方法及系统 |
| CN114463454A (zh) * | 2021-12-14 | 2022-05-10 | 浙江大华技术股份有限公司 | 图像重建、编码解码方法、相关装置 |
| CN114463453A (zh) * | 2021-12-14 | 2022-05-10 | 浙江大华技术股份有限公司 | 图像重建、编码解码方法、相关装置 |
| CN115526775B (zh) * | 2022-01-10 | 2023-09-22 | 荣耀终端有限公司 | 图像数据处理方法及装置 |
| CN114429430A (zh) * | 2022-01-30 | 2022-05-03 | 京东方科技集团股份有限公司 | 图像处理方法、电子设备和非瞬态计算机可读介质 |
| CN115346080B (zh) * | 2022-07-22 | 2024-06-18 | 本源量子计算科技（合肥）股份有限公司 | 基于量子计算的图像处理方法及相关设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107240066A (zh) * | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
| CN109064396A (zh) * | 2018-06-22 | 2018-12-21 | 东南大学 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
| CN109949223A (zh) * | 2019-02-25 | 2019-06-28 | 天津大学 | 基于反卷积稠密连接的图像超分辨率重构方法 |
| CN110232653A (zh) * | 2018-12-12 | 2019-09-13 | 天津大学青岛海洋技术研究院 | 快速轻型超分辨率重建密集残差网络 |
| CN110310227A (zh) * | 2019-06-27 | 2019-10-08 | 电子科技大学 | 一种基于高低频信息分解的图像超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11222415B2 (en) * | 2018-04-26 | 2022-01-11 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
-
2019
- 2019-12-02 CN CN201911218082.6A patent/CN110992265B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107240066A (zh) * | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
| CN109064396A (zh) * | 2018-06-22 | 2018-12-21 | 东南大学 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
| CN110232653A (zh) * | 2018-12-12 | 2019-09-13 | 天津大学青岛海洋技术研究院 | 快速轻型超分辨率重建密集残差网络 |
| CN109949223A (zh) * | 2019-02-25 | 2019-06-28 | 天津大学 | 基于反卷积稠密连接的图像超分辨率重构方法 |
| CN110310227A (zh) * | 2019-06-27 | 2019-10-08 | 电子科技大学 | 一种基于高低频信息分解的图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于CNN的图像超分辨率重建方法;王容;张永辉;张健;张帅岩;;计算机工程与设计(第06期);全文 * |
| 基于深度残差生成对抗网络的医学影像超分辨率算法;高媛;刘志;秦品乐;王丽芳;;计算机应用(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110992265A (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992265B (zh) | 图像处理方法及模型、模型的训练方法及电子设备 | |
| CN113284054B (zh) | 图像增强方法以及图像增强装置 | |
| CN113034358B (zh) | 一种超分辨率图像处理方法以及相关装置 | |
| CN112419151B (zh) | 图像退化处理方法、装置、存储介质及电子设备 | |
| CN112651438A (zh) | 多类别图像的分类方法、装置、终端设备和存储介质 | |
| CN111681177B (zh) | 视频处理方法及装置、计算机可读存储介质、电子设备 | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| CN112997479B (zh) | 跨阶段跳跃连接处理图像的方法、系统和计算机可读介质 | |
| CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
| US20210256667A1 (en) | Method and terminal for improving color quality of images | |
| US20220301106A1 (en) | Training method and apparatus for image processing model, and image processing method and apparatus | |
| Chen et al. | Removing Gaussian noise for colour images by quaternion representation and optimisation of weights in non‐local means filter | |
| CN114298900A (zh) | 图像超分方法和电子设备 | |
| CN116403063A (zh) | 基于多区域特征融合的无参考屏幕内容图像质量评估方法 | |
| CN117252936A (zh) | 一种适配多种训练策略的红外图像彩色化方法及系统 | |
| Hung et al. | Image interpolation using convolutional neural networks with deep recursive residual learning | |
| CN113628259A (zh) | 图像的配准处理方法及装置 | |
| CN117496352A (zh) | 基于相邻特征逐步融合的遥感变化检测方法、装置和设备 | |
| CN112200719A (zh) | 图像处理方法、电子设备及可读存储介质 | |
| CN111861940A (zh) | 一种基于条件连续调节的图像调色增强方法 | |
| CN110942425A (zh) | 一种超分辨率图像的重构方法、重构系统和电子设备 | |
| CN112966600B (zh) | 用于拥挤人群计数的自适应多尺度上下文聚合方法 | |
| CN113920099B (zh) | 一种基于非局部信息提取的息肉分割方法及相关组件 | |
| US20220318950A1 (en) | Video enhancement method and apparatus, and electronic device and storage medium | |
| Ooi et al. | Enhanced dense space attention network for super-resolution construction from single input image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |