CN112508780A - 一种图像处理模型的训练方法、装置及存储介质 - Google Patents
一种图像处理模型的训练方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112508780A CN112508780A CN201910872500.7A CN201910872500A CN112508780A CN 112508780 A CN112508780 A CN 112508780A CN 201910872500 A CN201910872500 A CN 201910872500A CN 112508780 A CN112508780 A CN 112508780A
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- images
- processing model
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 146
- 238000012545 processing Methods 0.000 title claims abstract description 140
- 238000012549 training Methods 0.000 title claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 43
- 238000003672 processing method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 241000512015 Menetes Species 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101100164980 Arabidopsis thaliana ATX3 gene Proteins 0.000 description 1
- 101100456616 Arabidopsis thaliana MEA gene Proteins 0.000 description 1
- 101150051720 SET5 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种图像处理模型的训练方法、装置及存储介质，所述方法包括：对样本图像进行分割，得到所述样本图像的多个子图像，对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并利用所述子网络对所述子图像进行超分辨率重建；基于重建后的多个子图像生成目标图像，所述目标图像的分辨率高于所述样本图像的分辨率；基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练。如此，针对同一图像的不同子图像，选择合适的子网络对其进行超分辨率重建，大大提高了重建图像的质量。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理模型的训练方法、装置及存储介质。
背景技术
常用的图像超分辨率重建算法有基于插值的算法、基于稀疏表示的算法和基于深度学习的算法。由于基于插值的算法是根据特定的数学表达式来预测出增加像素的数值，所以其并不能增加图像的信息量，只能改变图像的视觉效果。而基于稀疏表示的算法需要对大量采样数据进行稀疏编码，导致耗时较长。虽然基于深度学习的算法可以利用神经网络结构，重建出效果较好的超分辨率图像。但是，基于深度学习的算法对整个图像上所有的特征均采取相同的策略进行处理，从而导致出现重建图像过于平滑和模糊的问题。
发明内容
有鉴于此，本申请实施例为解决现有技术中存在的至少一个问题而提供一种图像处理模型的训练方法、装置及存储介质。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种图像处理模型的训练方法，所述方法包括：
对样本图像进行分割，得到所述样本图像的多个子图像，对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；
针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并利用所述子网络对所述子图像进行超分辨率重建；
基于重建后的多个子图像生成目标图像，所述目标图像的分辨率高于所述样本图像的分辨率；
基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练。
进一步地，在所述对样本图像进行分割之前，所述方法还包括：
基于样本图像，对所述子网络进行预训练。
进一步地，所述针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并利用所述子网络对所述子图像进行超分辨率重建，包括：
针对每个所述子图像，将所述子图像的特征输入所述图像处理模型，通过所述图像处理模型确定所述子图像对应的子网络；
将所述子图像的特征输入所述子图像对应的子网络，通过所述子图像对应的子网络对所述子图像进行超分辨率重建。
进一步地，所述基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练，包括：
基于所述目标图像和所述样本图像对应的标注图像，确定损失函数的值；
基于所述损失函数的值，更新所述图像处理模型的参数。
第二方面，本申请实施例提供一种基于图像处理模型的图像处理方法，所述方法包括：
获得第一图像；
对所述第一图像进行分割，得到所述第一图像的多个子图像，对所述多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；
针对每个所述子图像，利用训练后的图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并基于所述子网络对所述子图像进行重建；
基于重建后的多个子图像，生成第二图像，所述第二图像的分辨率高于所述第一图像的分辨率。
第三方面，本申请实施例提供一种图像处理模型的训练装置，所述装置包括：
特征提取单元，用于对样本图像进行分割，得到所述样本图像的多个子图像，对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；
图像重建单元，用于针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并利用所述子网络对所述子图像进行超分辨率重建；基于重建后的多个子图像生成目标图像，所述目标图像的分辨率高于所述样本图像的分辨率；
训练单元，用于基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练。
进一步地，所述装置还包括：
预训练单元，用于基于样本图像，对所述子网络进行预训练。
进一步地，所述图像重建单元，具体用于针对每个所述子图像，将所述子图像的特征输入所述图像处理模型，通过所述图像处理模型确定所述子图像对应的子网络；
将所述子图像的特征输入所述子图像对应的子网络，通过所述子图像对应的子网络对所述子图像进行超分辨率重建。
进一步地，所述训练单元，具体用于基于所述目标图像和所述样本图像对应的标注图像，确定损失函数的值；
基于所述损失函数的值，更新所述图像处理模型的参数。
第四方面，本申请实施例提供一种基于图像处理模型的图像处理装置，所述装置包括：
获取单元，用于获得第一图像；
特征提取单元，用于对所述第一图像进行分割，得到所述第一图像的多个子图像，对所述多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；
图像重建单元，用于针对每个所述子图像，利用训练后的图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并基于所述子网络对所述子图像进行超分辨率重建；
基于重建后的多个子图像，生成第二图像，所述第二图像的分辨率高于所述第一图像的分辨率。
第五方面，本申请实施例提供一种电子设备，所述电子设备包括：
网络接口，用于实现组件之间的连接通信；
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现上述方法的任一步骤。
第六方面，本申请实施例提供一种存储介质，所述存储介质存储有计算机程序，当所述计算机程序被至少一个处理器执行时实现上述方法的任一步骤。
本申请实施例所提供的一种图像处理模型的训练方法、装置及存储介质，对样本图像进行分割，得到所述样本图像的多个子图像，对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并利用所述子网络对所述子图像进行超分辨率重建；基于重建后的多个子图像生成目标图像，所述目标图像的分辨率高于所述样本图像的分辨率；基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练。本申请实施例将一张图像分割成多个子图像，根据每个子图像的特征，选择合适的子网络对其进行超分辨率重建，如此，大大提高了重建图像的质量。
附图说明
图1为本申请实施例提供的一种图像处理模型的训练方法的流程示意图；
图2为本申请实施例提供的一种基于图像处理模型的图像处理方法的流程示意图；
图3为本申请实施例提供的一种图像处理模型的训练方法的流程示意图；
图4为本申请实施例提供的图像处理模型的决策智能体的结构示意图；
图5为本申请实施例提供的一种基于图像处理模型的图像处理方法的流程示意图；
图6a为经Bicubic方法、SRCNN方法、SelfExSR方法、VDSR方法、DRCN方法、Mennet方法和本申请的基于图像处理模型的图像处理方法后输出的图像；
图6b为经Bicubic方法、SRCNN方法、DRCN方法、VDSR方法、LapSRN方法、Mennet方法和本申请的基于图像处理模型的图像处理方法后输出的图像；
图7为本申请实施例提供的一种图像处理模型的训练装置的组成结构示意图；
图8为本申请实施例提供的一种基于图像处理模型的图像处理装置的结构示意图；
图9为本申请实施例提供的一种电子设备的具体硬件结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
图1为本申请实施例提供的一种图像处理模型的训练方法的流程示意图，在一些实施例中，该训练方法可由服务器或终端实施，或由服务器及终端协同实施。以服务器实施为例，参见图1，本申请实施例的图像处理模型的训练方法包括：
步骤101：对样本图像进行分割，得到所述样本图像的多个子图像，对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征。
在本申请实施例中，使用伯克利分割数据库(Berkeley Segmentation Data Set)作为训练数据集，使用训练数据集中的图像作为样本图像。伯克利分割数据库是一个用于图像分割和边缘检测的常用数据库，被广泛的作为图像超分辨率重建模型的训练集。伯克利分割数据库包括500张自然图片，每一张图片都标注了用于图像分割的轮廓。需要说明的是，每一张图片都标注有真实值(ground-truth)，ground-truth是该图片对应的高分辨率图片，本申请实施例将ground-truth称为该图片对应的标注图像。
在本申请实施例中，使用SILC超像素分割算法对样本图像进行超像素分割，得到所述样本图像的多个子图像，获取与子图像对应的掩模(mask)模板，并对所述mask模板进行存储。需要说明的是，mask模板是一个二值化图像，即mask模板中的像素的取值为第一数值(如255，代表白色)或第二数值(如0，代表黑色)。
在本申请实施例中，在服务器执行图像处理模型的训练之前，即执行步骤101之前，可以对子网络进行预训练，即对图像超分辨率重建算法进行预训练，在一些实施例中，服务器在进行子网络的预训练之前，可对样本图像进行如下处理：分别对每张样本图像进行平移、翻转和旋转等操作，以实现数据增强。本申请实施例选取了5种不同结构的超分辨率算法作为子网络，如：VDSR、D RCN、Lapsrn、SRResnet、DRRN等。基于增强后的样本图像，对子网络进行预训练。
在本申请实施例中，由于每个所述子图像包含的特征并不单一，因此，每个子图像适用的图像超分辨率重建算法也会有所差异。基于此，需要对每个子图像都进行特征提取，以根据不同的子图像的特征选取合适的图像超分辨率重建算法进行处理。
在本申请实施例中，利用图像处理模型对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征。在一些实施例中，将子图像与子图像对应的mask模板做点乘运算，即可得到子图像的特征。
步骤102：针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并利用所述子网络对所述子图像进行超分辨率重建。
步骤103：基于重建后的多个子图像生成目标图像，所述目标图像的分辨率高于所述样本图像的分辨率。
在本申请实施例中，针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像的特征对应的子网络，并调用训练后的所述子网络对所述子图像进行超分辨率重建。而后，基于重建后的多个子图像生成目标图像，所述目标图像的分辨率高于所述样本图像的分辨率。
步骤104：基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练。
在本申请实施例中，所述基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练包括：根据所述重建后的子图像与目标子图像，确定损失函数的值，基于所述损失函数的值，更新所述图像处理模型的参数。
本申请实施例所提供的一种图像处理模型的训练方法，对样本图像进行分割，得到所述样本图像的多个子图像，对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并利用所述子网络对所述子图像进行超分辨率重建；基于重建后的多个子图像生成目标图像，所述目标图像的分辨率高于所述样本图像的分辨率；基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练。本申请实施例将一张图像分割成多个子图像，根据每个子图像的特征，选择合适的子网络对其进行超分辨率重建，如此，大大提高了重建图像的质量。
图2为本申请实施例提供的一种基于图像处理模型的图像处理方法的流程示意图，参见图2，本申请实施例的基于图像处理模型的图像处理方法包括：
步骤201：获得第一图像。
步骤202：对所述第一图像进行分割，得到所述第一图像的多个子图像，对所述多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征。
在本申请实施例中，第一图像可以是测试数据集中的测试图像，测试数据集可以选用图像超分辨率重建的常用数据库，如SET5、SET14、BSDS100和UBARN100等。
在本申请实施例中，使用SILC超像素分割算法对第一图像进行超像素分割，得到所述第一图像的多个子图像，获取与子图像对应的mask模板，并将所述mask模板进行存储。
在本申请实施例中，由于每个所述子图像包含的特征并不单一，因此，每个子图像适用的图像超分辨率重建算法也会有所差异。基于此，需要对每个子图像进行特征提取，以根据不同的子图像的特征选取合适的图像超分辨率重建算法进行处理。
在本申请实施例中，利用训练后的图像处理模型对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征。在一些实施例中，将子图像与子图像对应的mask模板做点乘运算，即可得到子图像的特征。
步骤203：针对每个所述子图像，利用训练后的图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并基于所述子网络对所述子图像进行超分辨率重建。
在本申请实施例中，针对每个所述子图像，利用训练后的图像处理模型根据所述子图像的特征确定所述子图像的特征对应的子网络，并调用训练后的所述子网络对所述子图像进行超分辨率重建。
步骤204：基于重建后的多个子图像，生成第二图像，所述第二图像的分辨率高于所述第一图像的分辨率。
在本申请实施例中，利用训练后的图像处理模型确定的子网络对对应的所述子图像进行超分辨率重建，直到重建完所有的子图像。基于重建后的所有子图像，生成第二图像，所述第二图像即为第一图像经超分辨率重建后的图像，所述第二图像的分辨率高于所述第一图像的分辨率。
本申请实施例所提供的一种基于图像处理模型的图像处理方法，获得第一图像；对所述第一图像进行分割，得到所述第一图像的多个子图像，对所述多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；针对每个所述子图像，利用训练后的图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并基于所述子网络对所述子图像进行超分辨率重建；基于重建后的多个子图像，生成第二图像，所述第二图像的分辨率高于所述第一图像的分辨率。本申请实施例将第一图像分割成多个子图像，根据每个子图像的特征，选择合适的子网络对其进行超分辨率重建，如此，大大提高了重建图像的质量。
图3为本申请实施例提供的一种图像处理模型的训练方法的流程示意图，参见图3，本申请实施例的图像处理模型的训练方法包括：
步骤301：构建训练数据集。
在本申请实施例中，使用伯克利分割数据库(Berkeley Segmentation Data Set)作为训练数据集，使用训练数据集中的图像作为样本图像。伯克利分割数据库是一个用于图像分割和边缘检测的常用数据库，被广泛的作为图像超分辨率重建模型的训练集。伯克利分割数据库包括500张自然图片，每一张图片都标注了用于图像分割的轮廓。需要说明的是，每一张图片都标注有真实值(ground-truth)，ground-truth是该图片对应的高分辨率图片，本申请实施例将ground-truth称为该图片对应的标注图像。
步骤302：数据增强。
在本申请实施例中，服务器分别对每张样本图像进行平移、翻转和旋转等操作，以实现数据增强。
步骤303：基于增强后的样本图像，对所述子网络进行预训练。
在本申请实施例中，选取5种不同结构的超分辨率算法作为子网络，如：VDSR、DRCN、Lapsrn、SRResnet、DRRN等，服务器基于增强后的样本图像，对子网络进行训练，即对图像超分辨率重建算法进行训练。
步骤304：对样本图像进行超像素分割，并获得相应的mask模板。
在本申请实施例中，使用SILC超像素分割算法对样本图像进行超像素分割，得到所述样本图像的多个子图像，获取与子图像对应的mask模板，并将所述mask模板进行存储。
步骤305：构建图像处理模型。
在本申请实施例中，由于每个所述子图像包含的特征并不单一，因此，每个子图像适用的图像超分辨率重建算法也会有所差异。基于此，需要对每个子图像进行特征提取，以根据不同的子图像的特征选取合适的图像超分辨率重建算法进行处理。
在本申请实施例中，利用图像处理模型对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征。在一些实施例中，将子图像与子图像对应的mask模板做点乘运算，即可得到子图像的特征。
在本申请实施例中，针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像的特征对应的子网络，并调用训练得到的所述子网络对所述子图像进行超分辨率重建。
在本申请实施例中，所述基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练具包括：根据所述重建后的子图像与目标子图像，确定损失函数的值，基于所述损失函数的值，更新所述图像处理模型的参数。
本申请实施例构建了一个基于深度强化学习的图像处理模型，用以对低分辨图像的不同子图像选择合适的子网络进行超分辨率重建。需要说明的是，在实际实施时，步骤305包括步骤305a、步骤305b、步骤305c及步骤305d，具体过程如下：
步骤305a：构建决策智能体(Policy Agengt)。
由图4可知，本申请实施例中图像处理模型的决策智能体包括：第一卷积层conv1、第一池化层Pool1、第二卷积层conv2、第二池化层Pool2、第三卷积层conv3、第一全连接层FC4和第二全连接层FC5；其中，每一层卷积层采用修正线性单元(ReLU，Rectified LinearUnit)作为激活函数，对于卷积层con v1、conv2和conv3来说，卷积核大小分别为8×8、4×4和3×3；对于全连接层FC4和FC5来说，最后输出的特征维度为5，其中，输出的特征维度为预训练后的子网络的个数。具体的特征维度如下：
feature_1：256×256×3
feature_2：64×64×32
feature_3：32×32×32
feature_4：16×16×64
feature_5：8×8×64
feature_6：4×4×128
feature_fc_7：2048
feature_fc_8：5
步骤305b：向决策智能体输入子图像的特征，输出所述子图像对应的子网络。
在本申请实施例中，图像处理模型中的决策智能体满足马尔科夫决策过程(Markov Decision Process，MDP)。本申请实施例中将低分辨率子图像结合子图像对应的mask模板作为状态(State)输入决策智能体，如此，决策智能体既能获得低分辨率子图像的全局信息，也能获得mask模板包含的局部信息；决策智能体根据输入的状态，确定要采取的行动(Action)；进行状态转移(State transition)后，只有mask模板对应的局部信息发生了改变，智能体仍然可以获得低分辨率子图像的全局信息。其中，采取的行动即为选择哪个子网络对子图像进行超分辨率重建。
如图4所示，以低分辨率子图像It结合子图像对应的mask模板Mt作为决策智能体的输入，以子网络αt作为决策智能体的输出，利用预训练好的子网络αt对输入的低分辨率子图像It的mask模板Mt区域进行超分辨率重建，基于重建后的子图像(SR)进行下一次的迭代，即进入状态转移。
步骤305c：设置奖赏函数。
在本申请实施例中，奖赏函数包括两个，一个为MSE奖赏函数RW(It，at)，另一个为区域间性奖赏函数RB(It，at)，也就是说总奖赏函数为：
R(It，at)＝RW(It，at)+RB(It，at) (1)
首先对MSE奖赏函数进行说明，在实际实施时，MSE奖赏函数可以为如下：
其中，η为强化学习的标准奖赏值，ξ为阈值，IHR为ground-truth高分辨率图片，W，H为ground-truth高分辨率图片的宽和高。
接下来对区域间性奖赏函数进行说明，区域间性奖赏函数衡量了相邻子图像之间使用的子网络的一致性，在实际实施时，区域间性奖赏函数具体分为两个部分：
(1)相邻子图像倾向于使用相同或相似的子网络进行处理，因为不同的子网络可能呈现不同的算法行为，容易导致子图像边界上出现块状伪影(artifacts)；
(2)对整张样本图像执行太多类型的子网络通常是不利于提高图像整体感知质量的。
因此，区域间奖赏函数公式如下：
RB(It，at)＝RC(It，at)+βRN(It，at) (3)
其中，RC与不相邻的子图像的数目成反比。RN与整张样本图像使用的子网络的数目成反比。
RC(It，at)＝-∑k＝1∑i∈N(j)δ(P(k，i)，P(k，j)) (4)
其中，K，N分别是子网络的类型和子图像的数目。P是一个K*N的指示矩阵，其中，Pk，j＝1表示将第k个子网络应用于第j个子块。δ(·)是指示函数，其中，δ(P(k，i)，P(k，j))＝1表示P(k，i)≠P(k，j)，即应用于第i个子图像的子网络和应用于第j个子图像的子网络不同。i∈N(j)表示第i个子图像在第j个子图像的邻接集合中，即，子图像i和子图像j是相邻的。
RN(It，at)＝∑k＝1∧i＝1P(k，i) (5)
其中，∧符号表示逻辑“与”。
步骤305d：构建损失函数，更新所述图像处理模型的参数。
这里，基于重建后的目标图像和样本图像对应的标注图像构建损失函数，采用带有模型参数θ的Q值函数Q(S，a；θt)来逼近值函数，那么，损失函数表示为：
Lt(θt)＝Es，a～ρ(·)[(yt-Q(S，a；θt))2] (6)
其中，Q(S，a；θt)为目标值函数，S为状态，a为行动，θ为图像处理模型的模型参数；yt表示第t次迭代Q值函数的目标，其表示为：
其中，γ是折扣系数，且γ的范围为[0，1]，rt是第t次迭代的奖赏函数值，ρ(·)表示在给定环境下S选择行动a的概率分布。在实际实施时，从样本图像的第一个子图像开始处理，直到处理完最后一个子图像，则马尔科夫链终止。基于所述目标图像和所述样本图像对应的标注图像，确定损失函数的值，基于所述损失函数的值，更新所述图像处理模型的模型参数θ，直到收敛。
本申请实施例通过对样本图像进行超像素分割，得到样本图像的多个子图像It，将子图像It结合子图像对应的mask模板作为状态S输入决策智能体，根据状态S确定合适的行动a，作为决策智能体的输出，基于行动a和状态S对目标值函数进行更新，在不断的迭代更新后，最终达到收敛。本申请实施例将一张图像分割成多个子图像，根据每个子图像的特征，选择合适的子网络对其进行超分辨率重建，如此，大大提高了重建图像的质量。
图5为本申请实施例提供的一种基于图像处理模型的图像处理方法的流程示意图，参见图5，本申请实施例的基于图像处理模型的图像处理方法包括：
步骤501：获得第一图像，对第一图像进行分割。
在本申请实施例中，使用SILC超像素分割算法对第一图像进行超像素分割，得到所述第一图像的多个子图像，获取与子图像对应的mask模板，并将所述mask模板进行存储。在一些实施例中，将子图像与子图像对应的mask模板做点乘运算，即可得到子图像的特征。
步骤502：将所述子图像的特征输入训练后的图像处理模型，输出所述子图像对应的子网络。
在本申请实施例中，将所述子图像的特征输入训练后的图像处理模型，所述图像处理模型输出根据所述子图像的特征确定的所述子图像的特征对应的子网络，并调用训练后的所述子网络对对应的所述子图像进行超分辨率重建。
步骤503：针对每个所述子图像，基于所述子图像对应的子网络对所述子图像进行超分辨率重建，直到重建完所有的子图像。
在本申请实施例中，利用训练后的图像处理模型确定的子网络对对应的所述子图像进行超分辨率重建，直到重建完所有的子图像。基于重建后的所有子图像，生成第二图像，所述第二图像即为第一图像经超分辨率重建后的图像，所述第二图像的分辨率高于所述第一图像的分辨率。
参见图6a-6b，图6a为经Bicubic方法、SRCNN方法、SelfExSR方法、VDSR方法、DRCN方法、Mennet方法和本申请的基于图像处理模型的图像处理方法后输出的图像；图6b为经Bicubic方法、SRCNN方法、DRCN方法、VDSR方法、LapSRN方法、Mennet方法和本申请的基于图像处理模型的图像处理方法后输出的图像。本实施例在上述实施例的基础上，对本申请实施例提供的图像重建方法与现有重建方法对图像重建进行举例描述。具体地，分别采用Bicubic方法、SRCNN方法、SelfExSR方法、VDSR方法、DRCN方法、Mennet方法、LapSRN方法和本申请实施例提供的方法对图6中的图像以缩放因子3和4进行图像超分辨率重建。其中图6a为以缩放因子3进行图像超分辨率重建后输出的图像；图6b为以缩放因子4进行图像超分辨率重建后的图像。
通过图6a和图6b的对比可以看出，经本申请实施例提供的方法重建后图像较之另外的重建结果，细节更丰富，边缘更清晰。
在本申请实施例中，分别采用峰值信噪比(PSNR)和结构相似度(SSIM)来量化对照评估本申请提出的基于图像处理模型的图像处理方法与现有的Bicubic方法、SRCNN方法、SelfExSR方法、VDSR方法、DRCN方法、Mennet方法的性能，对照评估结果如下表1-2：
表1
表2
由上表1-2可见：
经本申请实施例提出的方法重建后的图像的峰值信噪比(PSNR)明显高于现有的Bicubic方法、SRCNN方法、SelfExSR方法、VDSR方法、DRCN方法和Mennet方法，即说明经本申请实施例提出的方法重建后的图像保留了更多的图像细节信息。
经本申请实施例提出的方法重建后的图像的结构相似性系数(SSIM)明显高于现有的Bicubic方法、SRCNN方法、SelfExSR方法、VDSR方法、DRCN方法和Mennet方法的结果，即说明经本申请实施例提出的方法重建后的图像保留了原始图像更多的结构特性。
在本申请实施例中，分别采用峰值信噪比(PSNR)和结构相似度(SSIM)来量化对照评估本申请提出的基于图像处理模型的图像处理方法与现有的Bicubic方法、SRCNN方法、DRCN方法、VDSR方法、LapSRN方法、Mennet方法的性能，对照评估结果如下表3-4：
表3
表4
由上表3-4可见：
经本申请实施例提出的方法重建后的图像的峰值信噪比(PSNR)明显高于现有的Bicubic方法、SRCNN方法、DRCN方法、VDSR方法、LapSRN方法、Mennet方法，即说明经本申请实施例提出的方法重建后的图像保留了更多的图像细节信息。
经本申请实施例提出的方法重建后的图像的结构相似性系数(SSIM)明显高于现有的Bicubic方法、SRCNN方法、DRCN方法、VDSR方法、LapSRN方法、Mennet方法的结果，即说明经本申请实施例提出的方法重建后的图像保留了原始图像更多的结构特性。
基于前述图像处理模型的训练方法相同的技术构思，本申请实施例提供一种图像处理模型的训练装置，在一些实施例中，图像处理模型的训练装置可采用软件模块的方式实现，图7为本申请实施例提供的一种图像处理模型的训练装置的组成结构示意图，参见图7，本申请实施例提供的图像处理模型的训练装置包括：
特征提取单元701，用于对样本图像进行分割，得到所述样本图像的多个子图像，对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；
图像重建单元702，用于针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并利用所述子网络对所述子图像进行超分辨率重建；基于重建后的多个子图像生成目标图像，所述目标图像的分辨率高于所述样本图像的分辨率；
训练单元703，用于基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练。
在其他实施例中，所述装置还包括：
预训练单元704，用于基于样本图像，对所述子网络进行预训练。
在其他实施例中，所述图像重建单元702，具体用于针对每个所述子图像，将所述子图像的特征输入所述图像处理模型，通过所述图像处理模型确定所述子图像对应的子网络；
将所述子图像的特征输入所述子图像对应的子网络，通过所述子图像对应的子网络对所述子图像进行超分辨率重建。
在其他实施例中，所述训练单元703，具体用于基于所述目标图像和所述样本图像对应的标注图像，确定损失函数的值；
基于所述损失函数的值，更新所述图像处理模型的参数。
基于前述基于图像处理模型的图像处理方法相同的技术构思，本申请实施例提供一种基于图像处理模型的图像处理装置，图8为本申请实施例提供的一种基于图像处理模型的图像处理装置的结构示意图，如图8所示，所述一种基于图像处理模型的图像处理装置800包括：
获取单元801，用于获得第一图像；
特征提取单元802，用于对所述第一图像进行分割，得到所述第一图像的多个子图像，对所述多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；
图像重建单元803，用于针对每个所述子图像，利用训练后的图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并基于所述子网络对所述子图像进行超分辨率重建；
基于重建后的多个子图像，生成第二图像，所述第二图像的分辨率高于所述第一图像的分辨率。
在本申请实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本申请实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
因此，本申请实施例提供了一种存储介质，该存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述实施例所述的步骤。
参见图9，示出了本申请实施例提供的一种电子设备900的具体硬件结构，包括：网络接口901、存储器902和处理器903；各个组件通过总线系统904耦合在一起。可理解，总线系统904用于实现这些组件之间的连接通信。总线系统904除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统904。
其中，所述网络接口901，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
存储器902，用于存储能够在处理器903上运行的计算机程序；
处理器903，用于在运行所述计算机程序时，执行：
对样本图像进行分割，得到所述样本图像的多个子图像，对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；
针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并利用所述子网络对所述子图像进行超分辨率重建；
基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练。
所述处理器903还用于运行所述计算机程序时，执行：
基于样本图像，对所述子网络进行预训练。
所述处理器903还用于运行所述计算机程序时，执行：
针对每个所述子图像，将所述子图像的特征输入所述图像处理模型，通过所述图像处理模型确定所述子图像对应的子网络；
将所述子图像的特征输入所述子图像对应的子网络，通过所述子图像对应的子网络对所述子图像进行超分辨率重建。
所述处理器903还用于运行所述计算机程序时，执行：
基于所述目标图像和所述样本图像对应的标注图像，确定损失函数的值；
基于所述损失函数的值，更新所述图像处理模型的参数。
可以理解，本申请实施例中的存储器902可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Sync Link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的方法的存储器902旨在包括但不限于这些和任意其它适合类型的存储器。
而处理器903可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器903中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器903可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种图像处理模型的训练方法，其特征在于，所述方法包括：
对样本图像进行分割，得到所述样本图像的多个子图像，对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；
针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并利用所述子网络对所述子图像进行超分辨率重建；
基于重建后的多个子图像生成目标图像，所述目标图像的分辨率高于所述样本图像的分辨率；
基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练。
2.根据权利要求1所述的方法，其特征在于，在所述对样本图像进行分割之前，所述方法还包括：
基于样本图像，对所述子网络进行预训练。
3.根据权利要求2所述的方法，其特征在于，所述针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并利用所述子网络对所述子图像进行超分辨率重建，包括：
针对每个所述子图像，将所述子图像的特征输入所述图像处理模型，通过所述图像处理模型确定所述子图像对应的子网络；
将所述子图像的特征输入所述子图像对应的子网络，通过所述子图像对应的子网络对所述子图像进行超分辨率重建。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练，包括：
基于所述目标图像和所述样本图像对应的标注图像，确定损失函数的值；
基于所述损失函数的值，更新所述图像处理模型的参数。
5.一种基于图像处理模型的图像处理方法，其特征在于，所述方法包括：
获得第一图像；
对所述第一图像进行分割，得到所述第一图像的多个子图像，对所述多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；
针对每个所述子图像，利用训练后的图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并基于所述子网络对所述子图像进行超分辨率重建；
基于重建后的多个子图像，生成第二图像，所述第二图像的分辨率高于所述第一图像的分辨率。
6.一种图像处理模型的训练装置，其特征在于，所述装置包括：
特征提取单元，用于对样本图像进行分割，得到所述样本图像的多个子图像，对所述样本图像的多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；
图像重建单元，用于针对每个所述子图像，利用图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并利用所述子网络对所述子图像进行超分辨率重建；基于重建后的多个子图像生成目标图像，所述目标图像的分辨率高于所述样本图像的分辨率；
训练单元，用于基于所述目标图像和所述样本图像对应的标注图像，对所述图像处理模型进行训练。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
预训练单元，用于基于样本图像，对所述子网络进行预训练。
8.根据权利要求7所述的装置，其特征在于，
所述图像重建单元，具体用于针对每个所述子图像，将所述子图像的特征输入所述图像处理模型，通过所述图像处理模型确定所述子图像对应的子网络；
将所述子图像的特征输入所述子图像对应的子网络，通过所述子图像对应的子网络对所述子图像进行超分辨率重建。
9.根据权利要求6至8中任一项所述的装置，其特征在于，
所述训练单元，具体用于基于所述目标图像和所述样本图像对应的标注图像，确定损失函数的值；
基于所述损失函数的值，更新所述图像处理模型的参数。
10.一种基于图像处理模型的图像处理装置，其特征在于，所述装置包括：
获取单元，用于获得第一图像；
特征提取单元，用于对所述第一图像进行分割，得到所述第一图像的多个子图像，对所述多个子图像中的每个子图像进行特征提取，得到所述多个子图像的特征；
图像重建单元，用于针对每个所述子图像，利用训练后的图像处理模型根据所述子图像的特征确定所述子图像对应的子网络，并基于所述子网络对所述子图像进行超分辨率重建；
基于重建后的多个子图像，生成第二图像，所述第二图像的分辨率高于所述第一图像的分辨率。
11.一种电子设备，其特征在于，所述电子设备包括：
网络接口，用于实现组件之间的连接通信；
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至4中任一项所述的图像处理模型的训练方法、或权利要求5所述的基于图像处理模型的图像处理方法。
12.一种存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序被至少一个处理器执行时，实现权利要求1至4中任一项所述的图像处理模型的训练方法、或权利要求5所述的基于图像处理模型的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910872500.7A CN112508780A (zh) | 2019-09-16 | 2019-09-16 | 一种图像处理模型的训练方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910872500.7A CN112508780A (zh) | 2019-09-16 | 2019-09-16 | 一种图像处理模型的训练方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112508780A true CN112508780A (zh) | 2021-03-16 |
Family
ID=74923933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910872500.7A Pending CN112508780A (zh) | 2019-09-16 | 2019-09-16 | 一种图像处理模型的训练方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508780A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113411521A (zh) * | 2021-06-23 | 2021-09-17 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN113674152A (zh) * | 2021-08-03 | 2021-11-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| WO2023045297A1 (zh) * | 2021-09-22 | 2023-03-30 | 深圳市中兴微电子技术有限公司 | 图像超分辨率方法、装置、计算机设备和可读介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765343A (zh) * | 2018-05-29 | 2018-11-06 | Oppo（重庆）智能科技有限公司 | 图像处理的方法、装置、终端及计算机可读存储介质 |
| CN109118428A (zh) * | 2018-06-07 | 2019-01-01 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
| CN109961397A (zh) * | 2018-04-12 | 2019-07-02 | 华为技术有限公司 | 图像重建方法及设备 |
| CN110136056A (zh) * | 2018-02-08 | 2019-08-16 | 华为技术有限公司 | 图像超分辨率重建的方法和装置 |
| US20190266703A1 (en) * | 2018-02-26 | 2019-08-29 | Abc Fintech Co., Ltd. | Image preprocessing method and device for jpeg compressed file |
-
2019
- 2019-09-16 CN CN201910872500.7A patent/CN112508780A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136056A (zh) * | 2018-02-08 | 2019-08-16 | 华为技术有限公司 | 图像超分辨率重建的方法和装置 |
| US20190266703A1 (en) * | 2018-02-26 | 2019-08-29 | Abc Fintech Co., Ltd. | Image preprocessing method and device for jpeg compressed file |
| CN109961397A (zh) * | 2018-04-12 | 2019-07-02 | 华为技术有限公司 | 图像重建方法及设备 |
| CN108765343A (zh) * | 2018-05-29 | 2018-11-06 | Oppo（重庆）智能科技有限公司 | 图像处理的方法、装置、终端及计算机可读存储介质 |
| CN109118428A (zh) * | 2018-06-07 | 2019-01-01 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113411521A (zh) * | 2021-06-23 | 2021-09-17 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN113674152A (zh) * | 2021-08-03 | 2021-11-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| WO2023045297A1 (zh) * | 2021-09-22 | 2023-03-30 | 深圳市中兴微电子技术有限公司 | 图像超分辨率方法、装置、计算机设备和可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Li et al. | Survey of single image super‐resolution reconstruction | |
| Timofte et al. | Seven ways to improve example-based single image super resolution | |
| CN108765425B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN112508780A (zh) | 一种图像处理模型的训练方法、装置及存储介质 | |
| Chen et al. | DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention | |
| Mousavi et al. | Sparsity-based color image super resolution via exploiting cross channel constraints | |
| CN110991310B (zh) | 人像检测方法、装置、电子设备及计算机可读介质 | |
| Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
| CN113065551B (zh) | 利用深度神经网络模型执行图像分割的方法 | |
| CN112669248A (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
| Garg et al. | LiCENt: Low-light image enhancement using the light channel of HSL | |
| Jiang et al. | Deep edge map guided depth super resolution | |
| CN111091604B (zh) | 快速成像模型的训练方法、装置及服务器 | |
| Zheng et al. | Unfolded deep kernel estimation for blind image super-resolution | |
| Zhang et al. | Remote sensing image generation based on attention mechanism and vae-msgan for roi extraction | |
| CN108335265B (zh) | 一种基于样本学习的快速图像超分辨率重建方法及装置 | |
| CN103226818B (zh) | 基于流形正则稀疏支撑回归的单帧图像超分辨率重建方法 | |
| CN110020986B (zh) | 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法 | |
| CN116912130A (zh) | 基于多感受野特征融合和混合注意力的图像去雾方法 | |
| Gupta et al. | A robust and efficient image de-fencing approach using conditional generative adversarial networks | |
| Zheng et al. | Joint residual pyramid for joint image super-resolution | |
| CN116091322A (zh) | 超分辨率图像重建方法和计算机设备 | |
| CN115359005A (zh) | 图像预测模型生成方法、装置、计算机设备和存储介质 | |
| Teng et al. | EARN: Toward efficient and robust JPEG compression artifact reduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |