CN113689341A - 图像处理方法及图像处理模型的训练方法 - Google Patents

图像处理方法及图像处理模型的训练方法 Download PDF

Info

Publication number
CN113689341A
CN113689341A CN202010421169.XA CN202010421169A CN113689341A CN 113689341 A CN113689341 A CN 113689341A CN 202010421169 A CN202010421169 A CN 202010421169A CN 113689341 A CN113689341 A CN 113689341A
Authority
CN
China
Prior art keywords
image
image processing
sampling
degraded
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010421169.XA
Other languages
English (en)
Inventor
刘瀚文
王婷婷
陈冠男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010421169.XA priority Critical patent/CN113689341A/zh
Priority to US17/774,610 priority patent/US20230069654A1/en
Priority to PCT/CN2021/093940 priority patent/WO2021233232A1/zh
Publication of CN113689341A publication Critical patent/CN113689341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像处理方法及图像处理模型的训练方法。图像处理方法包括：获取待处理的第一原始图像；根据已配置的下采样处理路径和高斯模糊参数，对第一原始图像依次进行下采样处理和高斯模糊处理，得到第一退化图像。本申请可对新照片添加模糊、噪声等多种退化因素，得到逼近老照片效果的退化图像，建立老照片与新照片之间的数学关系，为机器学习在老照片修复技术中的应用提供较好的训练样本；基于该训练样本对应用于老照片修复技术中的图像处理模型进行训练，可得到修复较强的图像处理模型，使用该图像处理模型对老照片进行修复，修复效率较高且修复的效果较好。

Description

图像处理方法及图像处理模型的训练方法
技术领域
本申请涉及数字图像处理技术领域，具体而言，本申请涉及一种图像处理方法及图像处理模型的训练方法。
背景技术
利用机器学习进行图像处理一直是图像处理的重要分支，也是近几年发展非常迅速的技术热点。
基于机器学习的方法进行图像处理，通常需要成对的图像作为训练样本(训练集)，目前训练样本的采集方式主要是：在完全相同的外部条件下(场景、时间、位置、拍摄角度等)利用不同设备拍摄一组图像(包括高质量高分辨率图像和低质量低分辨率图像，其中高和低为相对概念)，再通过少量的后处理(如图像对齐、裁剪)得到数据集。
当将机器学习技术应用于老照片处理中时，训练样本中通常需要包含高质量高分辨率的新照片和对应的低质量低分辨率的老照片，而由于老照片的特定意义，已无法通过该方法获取训练样本，使得机器学习在老照片处理技术领域中的应用受到较大的限制。
发明内容
本申请针对现有方式的缺点，提出一种图像处理方法及图像处理模型的训练方法，用以解决现有技术因无法获取训练样本而使机器学习在老照片处理技术领域中的应用受限的技术问题。
第一方面，本申请实施例提供了一种图像处理方法，包括：
获取待处理的第一原始图像；
根据已配置的下采样处理路径和高斯模糊参数，对第一原始图像依次进行下采样处理和高斯模糊处理，得到第一退化图像；
下采样处理路径包括多个采样步骤，高斯模糊参数包括：高斯核大小、横向方差和纵向方差。
第二方面，本申请实施例提供了一种图像处理模型的训练方法，包括：
将多个第一原始图像和多个第一原始图像对应的多个退化图像作为训练数据集，对图像处理模型进行训练，使图像处理模型的损失函数收敛；
退化图像是根据本申请实施例第一方面提供的图像处理方法对第一原始图像进行处理后得到的。
第三方面，本申请实施例提供一种图像处理设备，包括：
存储器；
处理器，与存储器电连接；
存储器存储有计算机程序，计算机程序由所述处理器执行以实现以下至少一种方法：本申请实施例第一方面提供的图像处理方法、本申请实施例第二方面提供的图像处理模型的训练方法。
第四方面，本申请实施例提供一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现以下至少一种方法：本申请实施例第一方面提供的图像处理方法、本申请实施例第二方面提供的图像处理模型的训练方法。
本申请实施例提供的技术方案，至少具有如下有益效果：
本申请实施例可对新照片(即高质量高分辨率的照片)添加模糊、噪声等多种退化因素，得到逼近老照片效果的退化图像，建立老照片与新照片之间的数学关系，为机器学习在老照片修复技术中的应用提供较好的训练样本；基于该训练样本对应用于老照片修复技术中的图像处理模型进行训练，可得到修复较强的图像处理模型，使用该图像处理模型对老照片进行修复，修复效率较高且修复的效果较好。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种图像处理方法的流程示意图；
图2为本申请实施例提供的图像处理方法的一种可选实施方式的展开流程示意图；
图3为本申请实施例中第一原始图像的一个示意图；
图4为根据图2所示的图像处理方法对图3所示图像进行处理后得到的退化图像的示意图；
图5为本申请实施例提供的另一种图像处理方法的流程示意图；
图6为本申请实施例中第二原始图像的一个示意图；
图7为根据图5所示的图像处理方法对图6所示图像进行处理后得到的图像的示意图；
图8为本申请实施例提供的一种图像处理装置的结构框架示意图；
图9为本申请实施例提供的另一种图像处理装置的结构框架示意图；
图10为本申请实施例提供的一种图像处理设备的结构框架示意图。
具体实施方式
下面详细描述本申请，本申请的实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。
本申请实施例提供了一种图像处理方法，如图1所示，该图像处理方法包括：
S101，获取待处理的第一原始图像。
可选地，第一原始图像为高质量高分辨率图像。
在一个可选的实施方式中，高(高质量或高分辨率)和低(低质量或低分辨率)为相对概念，第一原始图像相对于处理后的图像而言为高质量高分辨率图像，即前者的图像质量和分辨率分别高于后者的图像质量和分辨率；其中，图像质量可由清晰度来表征，清晰度越高，图像质量越高，高质量也即高清晰度。
在另一个可选的实施方式，高和低可根据预设阈值或本领域通用的或自定义的参照值来确定；对于预设阈值来说，高于该阈值的情况为高，低于该阈值的情况为低；对于参照值来说，在一个示例中，可将512×512的分辨率作为高分辨率，64×64的分辨率作为低分辨率。
S102，根据已配置的下采样处理路径和高斯模糊参数，对第一原始图像依次进行下采样处理和高斯模糊处理，得到第一退化图像。
下采样处理路径包括多个采样步骤，高斯模糊参数包括：高斯核大小、横向方差和纵向方差。
可选地，所述下采样处理路径包括以下三个采样步骤：基于Bicubic(双立方插值算法)的采样步骤、基于Bilinear(双线性插值算法)的采样步骤以及基于Lanczos算法的采样步骤；下采样处理路径中的每个采样步骤的采样倍率均在第一倍率范围内；第一倍率范围可根据实际需求或经验值确定，例如，可设置为大于0且小于1的范围。
在一个示例中，下采样处理路径中的三个采样步骤中采样倍率和采样方法的配置如表1所示。
表1
步骤 采样倍率 采样方法
1 0.5 Bicubic
2 0.5 Bilinear
3 0.25 Lanczos
在该配置下，下采样处理路径为：在第一个采样步骤中采用Bicubic方法进行0.5倍采样，在第二个采样步骤中采用Bilinear方法进行0.5倍采样，在第三个采样步骤中采用Lanczos方法进行0.25倍采样。
可选的，下采样处理路径中的每个采样步骤所采用的采样方法，均可以是Bicubic(双立方插值算法)、Bilinear(双线性插值算法)和Lanczos中的任意一种，也可以是本领域已知的其它可以实现下采样的算法；各个采样步骤可以采用相同的采样方法，也可以采用不同的下采样方法。
经过本申请实施例的下采样处理可降低第一原始图像的分辨率，得到与第一原始图像的图像质量相同而分辨率低于第一原始图像的高质量低分辨率图像。
可选地，在高斯模糊处理中，高斯核大小、横向方差和纵向方差的取值根据以下方式确定：
在预设的高斯核参数范围、横向方差范围和纵向方差范围中分别随机选取出一个参数，分别作为高斯核大小、横向方差和纵向方差。
高斯核参数范围、横向方差范围和纵向方差范围均可根据实际需求或经验值确定，例如高斯参数范围可以为[5,7,9,11,13,…,31]；随机选取的方式可使多次处理得到的第一退化图像的高斯模糊保持一定的差异，在将第一退化图像作为训练样本时，可保持训练样本的多样性。
经过本申请实施例的高斯模糊处理，可以下采样处理后的高质量低分辨图像中添加高斯模糊，得到第一退化图像，该第一退化图像的分辨率与下采样处理后的高质量低分辨率图像相同。
可选地，本申请实施例提供的图像处理方法，还包括：根据已配置的高斯噪声参数，对第一退化图像进行高斯噪声处理，得到第二退化图像；高斯噪声参数包括均值和标准差。
可选地，均值和标准差可分别基于预设的均值范围和标准差范围随机选取，选取方式如下：
mean＝normal(avemean,varmean) 表达式(1)
std＝normal(avestd,varstd) 表达式(2)
在表达式(1)和(2)中，mean表示高斯噪声参数中的均值，std表示高斯噪声参数中的标准差，avemean表示预设的均值范围内的各个值的均值，varmean表示预设的均值范围内的各个值的方差，avestd表示预设的标准差范围内的各个值的均值，varstd表示预设的标准差范围内的各个值的方差，normal()表示正太分布函数，normal(avemean,varmean)表示返回一个服从均值avemean和方差varmean的正态分布的一个数值，normal(avestd,varstd)表示返回一个服从均值avestd和方差varstd的正态分布的一个数值。
经过本申请实施例的高斯噪声处理，可对第一退化图像添加高斯噪声，得到第二退化图像，该第二退化图像的分辨率与第一退化图像相同。
高斯噪声参数采用上述随机选取的方式来确定，可使得到的第二退化图像的高斯噪声保持一定的差异，在将第二退化图像作为训练样本时，可保持训练样本的多样性。
可选地，本申请实施例提供的图像处理方法，还包括：根据已配置的缩放模糊处理路径，对第二退化图像进行高斯噪声处理，得到第三退化图像；缩放模糊处理路径包括以下三个采样步骤：基于Bicubic算法的采样步骤、基于Bilinear算法的采样步骤以及基于Lanczos算法的采样步骤；缩放模糊处理路径中的每个采样步骤的采样倍率均在第二倍率范围内。
可选的，第二倍率范围可根据实际需求或经验值确定，例如，可设置为大于0的范围，也可设置为大于0且不大于16的范围。
在一个示例中，缩放模糊处理路径中的三个采样步骤中采样倍率和采样方法的配置如表2所示。
表2
步骤 采样倍率 采样方法
1 0.5 Bicubic
2 2 Bilinear
3 0.25 Lanczos
在该配置下，缩放模糊处理路径为：在第一个采样步骤中采用Bicubic方法进行0.5倍采样，在第二个采样步骤中采用Bilinear方法进行2倍采样，在第三个采样步骤中采用Lanczos方法进行0.25倍采样。
可选的，缩放模糊处理路径中的每个采样步骤所采用的采样方法，均可以是Bicubic、Bilinear和Lanczos中的任意一种，也可以是本领域已知的其它可以实现本申请实施例中缩放模糊处理的算法；各个采样步骤可以采用相同的采样方法，也可以采用不同的采样方法。
经过本申请实施例的缩放模糊处理，可对第二退化图像添加缩放模糊，得到第三退化图像，该第三退化图像的分辨率与第二退化图像相同。
可选地，本申请实施例提供的图像处理方法，还包括：根据已配置的压缩噪声参数，对第三退化图像进行压缩噪声处理，得到第四退化图像。
可选地，压缩噪声参数包括编码质量系数。
可选地，根据已配置的压缩噪声参数，对第三退化图像进行压缩噪声处理，包括：根据编码质量系数，对第三退化图像的像素进行图像编码，如JPEG编码。
可选地，编码质量系数可基于预设的系数范围随机选取。
在一个可选的实施方式中，编码质量系数是通过以下方式确定出的：
Qjepg＝normal(aveq,varq)表达式(3)
在表达式(3)中，Qjepg表示编码质量系数，aveq表示预设的系数范围内的各个值的均值，varq表示预设的系数范围内的各个值的方差，normal()表示正态分布函数，normal(aveq,varq)表示返回一个服从均值aveq和方差varq的正态分布的一个数值。
上述系数范围可基于第一原始图像的拍摄年代、设备、分发和转存过程，通过实验来确定。
经过本申请实施例的压缩噪声处理，可对第三退化图像添加压缩噪声，得到第四退化图像；该第四退化图像的分辨率与第三退化图像相同。
本申请实施例提供的图像处理方法的一种可选实施方式的展开流程如图2所示，对输入的第一原始图像即高质量高分辨率图像依次进行如下处理：
基于下采样处理路径，对第一原始图像进行下采样处理，得到高质量低分辨率图像；基于高斯模糊参数，通过高斯模糊处理，对该高质量低分辨率图像添加高斯模糊，得到包含模糊后的低分辨率图像(即第一退化图像)；基于高斯噪声参数，通过高斯噪声处理，对添加模糊后的该低分辨率图像添加高斯噪声，得到添加了模糊和高斯噪声的低分辨率图像(即第二退化图像)；基于缩放模糊处理路径，通过缩放模糊处理，对添加了模糊和高斯噪声的该低分辨率图像添加缩放模糊，得到添加了多重模糊(包括高斯模糊和缩放模糊)和高斯噪声的低分辨率图像(即第三退化图像)；基于压缩噪声参数，通过压缩噪声处理，对添加了多重模糊和高斯噪声的该低分辨率图像添加压缩噪声，得到并输出添加了多重模糊、高斯噪声和压缩噪声的低分辨率图像(即第四退化图像)。
在一个示例中，输入的高质量高分辨率图像如图3所示，经过如图2所示的处理，得到的第四退化图像的效果如图4所示，由图3和图4可见，本申请实施例提供的上述图像处理方法可得到效果逼近老照片的图像，为老照片的修复提供较好的训练样本。
基于同一发明构思，本申请实施例提供了一种图像处理模型的训练方法，该训练方法包括：
将多个第一原始图像和多个第一原始图像对应的多个退化图像作为训练数据集，对图像处理模型进行训练，使图像处理模型的损失函数收敛。
退化图像是根据前述的本申请实施例提供的图像处理方法对第一原始图像进行处理后得到的，该退化图像可以是前述的第一退化图像、第二退化图像、第三退化图像和第四退化图像中的任意一个。
基于同一发明构思，本申请实施例提供了另一种图像处理方法，如图5所示，该图像处理方法包括：
S501，获取待处理的第二原始图像。
可选地，第二原始图像为低质量低分辨率图像，具体地，可以是特定年代的老照片，也可以是图像质量和分辨率均较低(例如均低于相应的阈值)的照片。
S502，将第二原始图像输入图像处理模型，基于图像处理模型的输出，得到处理后的图像。
图像处理模型是通过本申请实施例提供的图像处理模型的训练方法训练得到的。
采用如图5所示的图像处理方法，可对低质量低分辨率的第二原始图像进行修复，得到高质量高分辨率的图像。一个示例中，对于如图6所示的第二原始图像，经过如图5所示的图像处理方法的处理，得到的处理后的图像如图7所示，与图6相比，图7的图像质量和图像分辨率大幅度提升。
应用本申请实施例提供的图像处理方法和图像处理模型的训练方法，至少能够实现如下有益效果：
本申请实施例可对新照片(即高质量高分辨率的照片)添加模糊、噪声等多种退化因素，得到逼近老照片效果的退化图像，建立老照片与新照片之间的数学关系，为机器学习在老照片修复技术中的应用提供较好的训练样本；基于该训练样本对应用于老照片修复技术中的图像处理模型进行训练，可得到修复较强的图像处理模型，使用该图像处理模型对老照片进行修复，修复效率较高且修复的效果较好。
基于同一发明构思，本申请实施例提供的一种图像处理装置，如图8所示，该图像处理装置包括：第一图像获取模块801和第一图像处理模块802。
第一图像获取模块801，用于获取待处理的第一原始图像。
第一图像处理模块802，用于根据已配置的下采样处理路径和高斯模糊参数，对第一原始图像依次进行下采样处理和高斯模糊处理，得到第一退化图像；下采样处理路径包括多个采样步骤，高斯模糊参数包括：高斯核大小、横向方差和纵向方差。
可选地，第一图像处理模块802包括下采样单元和高斯模糊单元。
下采样单元用于：根据已配置的下采样处理路径，对第一原始图像进行下采样处理；高斯模糊单元用于：根据已配置的高斯模糊参数，对下采样处理后得到的图像进行高斯模糊处理，得到第一退化图像。
可选地，第一图像处理模块802还包括高斯噪声单元；该高斯噪声单元用于：根据已配置的高斯噪声参数，对第一退化图像进行高斯噪声处理，得到第二退化图像；高斯噪声参数包括均值和标准差。
可选地，第一图像处理模块802还包括缩放模糊单元；该缩放模糊单元用于：根据已配置的缩放模糊处理路径，对第二退化图像进行高斯噪声处理，得到第三退化图像；缩放模糊处理路径包括多个采样步骤，缩放模糊处理路径中的每个采样步骤的采样倍率均在第二倍率范围内。
可选地，第一图像处理模块802还包括压缩噪声单元；该压缩噪声单元用于：根据已配置的压缩噪声参数，对第三退化图像进行压缩噪声处理，得到第四退化图像。
可选地，压缩噪声单元具体用于：根据编码质量系数，对第三退化图像的像素进行图像编码。
基于同一发明构思，本申请实施例提供的一种图像处理模型的训练装置，该训练装置包括：图像训练模块。
图像训练模块，用于将多个第一原始图像和多个第一原始图像对应的多个退化图像作为训练数据集，对图像处理模型进行训练，使图像处理模型的损失函数收敛。
退化图像是根据本申请实施例提供的图像处理方法对第一原始图像进行处理后得到的。
基于同一发明构思，本申请实施例提供的一种图像处理装置，如图9所示，该图像处理装置包括：第二图像获取模块901和第二图像处理模块902。
第二图像获取模块901，用于获取待处理的第二原始图像。
第二图像处理模块902，用于将第二原始图像输入图像处理模型，基于图像处理模型的输出，得到处理后的图像。
图像处理模型是通过本申请实施例提供的图像处理模型的训练方法训练得到的。
本申请实施例提供的各装置可相应地执行本申请实施例提供的各方法，其实现原理相类似，各装置中未详细示出的内容可参照前述的各实施例，此处不再赘述。
基于同一发明构思，本申请实施例提供了一种图像处理设备，该电子设备包括：存储器和处理器，存储器与处理器电连接。
存储器上存储有计算机程序，该计算机程序由处理器执行以实现本申请实施例所提供的以下至少一种方法：任一图像处理方法和图像处理模型的训练方法。
本技术领域技术人员可以理解，本申请实施例提供的图像处理设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。
本申请在一个可选实施例中提供了一种图像处理设备，如图10所示，该图像处理设备1000包括：存储器1001和处理器1002，存储器1001和处理器1002电连接，如通过总线1003连接。
可选的，存储器1001用于存储执行本申请方案的应用程序代码，并由处理器1002来控制执行。处理器1002用于执行存储器1001中存储的应用程序代码，以实现本申请实施例提供的以下至少一种方法：任意一种图像处理方法和图像处理模型的训练方法。
存储器1001可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，可以是RAM(RandomAccess Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammableRead Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
处理器1002可以是CPU(Central Processing Unit，中央处理器)、通用处理器，DSP(Digital Signal Processor，数据信号处理器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1002也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线1003可包括一通路，在上述组件之间传送信息。总线可以是PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，图像处理设备1000还可以包括收发器1004。收发器1004可用于信号的接收和发送。收发器1004可以允许图像处理设备1000与其他设备进行无线或有线通信以交换数据。需要说明的是，实际应用中收发器1004不限于一个。
可选地，图像处理设备1000还可以包括输入单元1005。输入单元1005可用于接收输入的数字、字符、图像和/或声音信息，或者产生与电子设备1000的用户设置以及功能控制有关的键信号输入。输入单元1005可以包括但不限于触摸屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、拍摄装置、拾音器等中的一种或多种。
可选地，图像处理设备1000还可以包括输出单元1006。输出单元1006可用于输出或展示经过处理器1002处理的信息。输出单元1006可以包括但不限于显示装置、扬声器、振动装置等中的一种或多种。
虽然图10示出了具有各种装置的图像处理设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
本申请实施例提供的图像处理设备，与前面所述的各实施例具有相同的发明构思，该图像处理设备中未详细示出的内容可参照前面所述的各实施例，在此不再赘述。
基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所提供的以下至少一种方法：任意一种图像处理方法和图像处理模型的训练方法。
该计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM、RAM、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本申请实施例提供的计算机可读存储介质，与前面所述的各实施例具有相同的发明构思，该计算机可读存储介质中未详细示出的内容可参照前面所述的各实施例，在此不再赘述。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理的第一原始图像；
根据已配置的下采样处理路径和高斯模糊参数，对所述第一原始图像依次进行下采样处理和高斯模糊处理，得到第一退化图像；
所述下采样处理路径包括多个采样步骤，所述高斯模糊参数包括：高斯核大小、横向方差和纵向方差。
2.根据权利要求1所述的图像处理方法，其特征在于，所述下采样处理路径包括以下三个采样步骤：基于双立方插值算法的采样步骤、基于双线性插值算法的采样步骤以及基于Lanczos算法的采样步骤；
所述下采样处理路径中的每个所述采样步骤的采样倍率均在第一倍率范围内。
3.根据权利要求1所述的图像处理方法，其特征在于，还包括：
根据已配置的高斯噪声参数，对所述第一退化图像进行高斯噪声处理，得到第二退化图像；
所述高斯噪声参数包括均值和标准差。
4.根据权利要求3所述的图像处理方法，其特征在于，还包括：
根据已配置的缩放模糊处理路径，对所述第二退化图像进行高斯噪声处理，得到第三退化图像；
所述缩放模糊处理路径包括以下三个采样步骤：基于双立方插值算法的采样步骤、基于双线性插值算法的采样步骤以及基于Lanczos算法的采样步骤；
所述缩放模糊处理路径中的每个所述采样步骤的采样倍率均在第二倍率范围内。
5.根据权利要求4所述的图像处理方法，其特征在于，还包括：
根据已配置的压缩噪声参数，对所述第三退化图像进行压缩噪声处理，得到第四退化图像。
6.根据权利要求5所述的图像处理方法，其特征在于，所述压缩噪声参数包括编码质量系数；
所述根据已配置的压缩噪声参数，对所述第三退化图像进行压缩噪声处理，包括：
根据所述编码质量系数，对所述第三退化图像的像素进行图像编码。
7.根据权利要求6所述的图像处理方法，其特征在于，所述编码质量系数是通过以下方式确定出的：
Qjepg＝normal(aveq,varq)
Qjepg表示编码质量系数，aveq表示预设的系数范围内的各个值的均值，varq表示预设的系数范围内的各个值的方差，normal()表示正态分布函数，normal(aveq,varq)表示返回一个服从均值aveq和方差varq的正态分布的一个数值。
8.一种图像处理模型的训练方法，其特征在于，包括：
将多个第一原始图像和多个所述第一原始图像对应的多个退化图像作为训练数据集，对图像处理模型进行训练，使所述图像处理模型的损失函数收敛；
所述退化图像是根据如权利要求1-7中任一项所述的图像处理方法对第一原始图像进行处理后得到的。
9.一种图像处理设备，其特征在于，包括：
存储器；
处理器，与所述存储器电连接；
所述存储器存储有计算机程序，所述计算机程序由所述处理器执行以实现以下至少一种方法：权利要求1-7中任一项所述的图像处理方法、权利要求8所述的图像处理模型的训练方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现以下至少一种方法：权利要求1-7中任一项所述的图像处理方法、权利要求8所述的图像处理模型的训练方法。
CN202010421169.XA 2020-05-18 2020-05-18 图像处理方法及图像处理模型的训练方法 Pending CN113689341A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010421169.XA CN113689341A (zh) 2020-05-18 2020-05-18 图像处理方法及图像处理模型的训练方法
US17/774,610 US20230069654A1 (en) 2020-05-18 2021-05-14 Method and device for processing image, method for training image processing model, and storage medium
PCT/CN2021/093940 WO2021233232A1 (zh) 2020-05-18 2021-05-14 图像处理方法、图像处理模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010421169.XA CN113689341A (zh) 2020-05-18 2020-05-18 图像处理方法及图像处理模型的训练方法

Publications (1)

Publication Number Publication Date
CN113689341A true CN113689341A (zh) 2021-11-23

Family

ID=78575621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010421169.XA Pending CN113689341A (zh) 2020-05-18 2020-05-18 图像处理方法及图像处理模型的训练方法

Country Status (3)

Country Link
US (1) US20230069654A1 (zh)
CN (1) CN113689341A (zh)
WO (1) WO2021233232A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549369B (zh) * 2022-04-24 2022-07-12 腾讯科技（深圳）有限公司 数据修复方法、装置、计算机及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184744A (zh) * 2015-08-24 2015-12-23 西安电子科技大学 基于标准化稀疏度量图像块先验的模糊核估计方法
CN108062743A (zh) * 2017-08-25 2018-05-22 成都信息工程大学 一种含噪图像超分辨率方法
CN108492264A (zh) * 2018-03-09 2018-09-04 中国人民解放军国防科技大学 一种基于sigmoid变换的单帧图像快速超分辨方法
US20190196051A1 (en) * 2017-12-26 2019-06-27 Nuctech Company Limited Image processing method, device, and computer readable storage medium
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN111105375A (zh) * 2019-12-17 2020-05-05 北京金山云网络技术有限公司 图像生成方法及其模型训练方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201603144D0 (en) * 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
CN105046672B (zh) * 2015-06-30 2018-06-22 北京工业大学 一种图像超分辨率重建方法
CN105405106A (zh) * 2015-10-22 2016-03-16 华南农业大学 一种单图像超分辨率重建的方法
CN110503611A (zh) * 2019-07-23 2019-11-26 华为技术有限公司 图像处理的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184744A (zh) * 2015-08-24 2015-12-23 西安电子科技大学 基于标准化稀疏度量图像块先验的模糊核估计方法
CN108062743A (zh) * 2017-08-25 2018-05-22 成都信息工程大学 一种含噪图像超分辨率方法
US20190196051A1 (en) * 2017-12-26 2019-06-27 Nuctech Company Limited Image processing method, device, and computer readable storage medium
CN108492264A (zh) * 2018-03-09 2018-09-04 中国人民解放军国防科技大学 一种基于sigmoid变换的单帧图像快速超分辨方法
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN111105375A (zh) * 2019-12-17 2020-05-05 北京金山云网络技术有限公司 图像生成方法及其模型训练方法、装置及电子设备

Also Published As

Publication number Publication date
WO2021233232A1 (zh) 2021-11-25
US20230069654A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
CN108122197B (zh) 一种基于深度学习的图像超分辨率重建方法
Qin et al. An inpainting-assisted reversible steganographic scheme using a histogram shifting mechanism
JP2003274157A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体
TWI770432B (zh) 圖像復原方法、電子設備、儲存介質
CN110796624B (zh) 一种图像生成方法、装置及电子设备
Liang et al. Improved non-local iterative back-projection method for image super-resolution
Cai et al. TDPN: Texture and detail-preserving network for single image super-resolution
CN116681584A (zh) 一种多级扩散图像超分辨算法
CN113554058A (zh) 视觉目标图像分辨率增强的方法、系统、装置及存储介质
CN115841420A (zh) 一种基于深度学习的偏振图像超分辨率重建方法
CN113689341A (zh) 图像处理方法及图像处理模型的训练方法
CN112188236A (zh) 视频插帧模型训练、视频插帧生成方法及相关装置
Wahed et al. Efficient LSB substitution for interpolation based reversible data hiding scheme
CN113888524A (zh) 缺陷检测模型训练方法、装置、设备及可读存储介质
Hung et al. Image interpolation using convolutional neural networks with deep recursive residual learning
CN110136061B (zh) 一种基于深度卷积预测与插值的分辨率提升方法及系统
Wahed et al. A simplified parabolic interpolation based reversible data hiding scheme
CN112669240B (zh) 高清图像修复方法、装置、电子设备和存储介质
CN109389546B (zh) 多分块可逆水印嵌入方法及装置、水印提取方法及装置
CN114820389A (zh) 一种基于无监督解耦表征的人脸图像去模糊方法
CN111383187B (zh) 一种图像处理方法、装置及智能终端
CN112184568A (zh) 图像处理方法、装置、电子设备及可读存储介质
Singh et al. A content adaptive method of de-blocking and super-resolution of compressed images
CN114119377A (zh) 一种图像处理方法及装置
Wahed et al. Efficient data embedding for interpolation based reversible data hiding scheme

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination