CN111028174B - 一种基于残差连接的多维图像复原方法和设备 - Google Patents

一种基于残差连接的多维图像复原方法和设备 Download PDF

Info

Publication number
CN111028174B
CN111028174B CN201911259738.9A CN201911259738A CN111028174B CN 111028174 B CN111028174 B CN 111028174B CN 201911259738 A CN201911259738 A CN 201911259738A CN 111028174 B CN111028174 B CN 111028174B
Authority
CN
China
Prior art keywords
picture
degradation
image restoration
condition vector
restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911259738.9A
Other languages
English (en)
Other versions
CN111028174A (zh
Inventor
何静雯
董超
乔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911259738.9A priority Critical patent/CN111028174B/zh
Publication of CN111028174A publication Critical patent/CN111028174A/zh
Priority to PCT/CN2020/129493 priority patent/WO2021115053A1/zh
Application granted granted Critical
Publication of CN111028174B publication Critical patent/CN111028174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提出了一种基于残差连接的多维图像复原方法和设备，包括：获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。可以允许用户针对不同的退化种类进行复原程度的调节，且调节的精确性高，实现了更灵活的图像复原。

Description

一种基于残差连接的多维图像复原方法和设备
技术领域
本发明涉及图片复原技术领域，特别涉及一种基于残差连接的多维图像复原方法和设备。
背景技术
在图像复原的实际应用当中，通常需要调节复原强度或效果来满足不同的要求。例如，用户总是希望用一个工具栏灵活地调整复原强度。现实中的图像通常携带多个退化种类，比如同时有模糊，噪声和JPEG有损压缩。在这样的情况下，用户需要多个调节器来针对不同退化种类分别进行图像复原强度的调节。
目前，深度学习方法在图像复原领域被广泛应用，其中，有方案例如DnCNN(神经网络)可以处理不同程度的高斯噪声，但是该方法只能处理去噪这一个图像复原任务。
在基于深度学习的图像复原模型中，已经有一些工作可以在测试阶段通过调节深度模型的少量参数来改变模型的复原强度，从而产生不同复原程度的输出图像。但这些方法只能针对单一退化种类进行调节。然而，现实中的图像通常携带多个退化种类，比如同时有模糊，噪声和压缩。在这样的情况下，用户需要多个调节器来针对不同的退化种类分别进行调节。
另外，目前的基于深度学习的图像复原可调节工作通常都是基于插值来达到连续调节的目的。具体地说，这些方法会先训练一个基模型，这个基模型可以处理某种退化类型的某个退化级别的复原任务，例如：高斯噪声标准差15。然后通过在基模型中添加一些调节模块，然后只训练这些调节模块的参数使之能解决另一个退化级别的复原任务，例如：高斯噪声标准差50。也就是说整个训练过程只用到了两个退化级别的数据，那么通过对调节模块进行插值来完成中间退化程度的图像复原难以保证其精确性。
由此，目前需要一种更好的图像复原方案。
发明内容
针对现有技术中的缺陷，本发明提出了一种基于残差连接的多维图像复原方法，可以允许用户针对不同的退化种类进行复原程度的调节，且调节的精确性高，实现了更灵活的图像复原。
具体的，本发明提出了以下具体的实施例：
本发明实施例提出了一种基于残差连接的多维图像复原方法，包括：
获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；
对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；
将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；
通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；
对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。
在一个具体的实施例中，所述退化处理包括以下一个类型或多个类型的任意组合：进行高斯模糊处理、加高斯噪声处理、进行有损压缩处理。
在一个具体的实施例中，所述条件向量包括一个或多个元素，每个元素对应一种退化处理的类型；各所述元素的值均位于0到1之间。
在一个具体的实施例中，所述深度复原网络包括附加有可控残差连接的主网络、由全连接层构成的条件网络；其中，
所述“通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型”，包括：
基于所述条件网络与所述条件向量获取控制变量；
基于所述退化图片、所述控制变量与所述主网络中的可控残差连接，生成图像复原模型。
在一个具体的实施例中，所述控制变量的通道数与所述主网络中的可控残差连接的通道数相同。
在一个具体的实施例中，在获取预设的训练图片之前，还包括：
获取预设数据库中的图片；
对所获取的图片进行水平翻转和/或垂直旋转，以生成新图片；
将所述图片与所述新图片作为预设的训练图片。
在一个具体的实施例中，所述“对所述图像块进行随机的退化处理生成退化图片”，包括：
将所述图像块分为第一部分与第二部分；
对第一部分的所述图像块进行随机的一种类型的退化处理，且对第二部分的所述图像块进行随机的多种类型的退化处理，以生成针对各所述图像块的退化图片。
在一个具体的实施例中，所述“对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原”，包括：
针对输入所述图像复原模型的待复原图片，生成条件向量的调节栏；所述调节栏可实现条件向量的连续调节；
基于在所述调节栏上对所述条件向量的连接调节，实现对所述待复原图片的复原操作。
本发明实施例还提出了一种基于残差连接的多维图像复原设备，包括：
获取模块，用于获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；
退化模块，用于对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；
转换模块，用于将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；
训练模块，用于通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；
复原模块，用于对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。
在一个具体的实施例中，所述退化处理包括以下一个类型或多个类型的任意组合：进行高斯模糊处理、加高斯噪声处理、进行有损压缩处理。
以此，本发明实施例提出了一种基于残差连接的多维图像复原方法和设备，包括：获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。可以允许用户针对不同的退化种类进行复原程度的调节，且调节的精确性高，实现了更灵活的图像复原。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提出的一种基于残差连接的多维图像复原方法的流程示意图；
图2为本发明实施例提出的一种基于残差连接的多维图像复原方法的中深度复原网络的示意图；
图3为本发明实施例提出的一种基于残差连接的多维图像复原设备的结构示意图；
图4为本发明实施例提出的一种基于残差连接的多维图像复原设备的结构示意图。
具体实施方式
在下文中，将更全面地描述本公开的各种实施例。本公开可具有各种实施例，并且可在其中做出调整和改变。然而，应理解：不存在将本公开的各种实施例限于在此公开的特定实施例的意图，而是应将本公开理解为涵盖落入本公开的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。
在本公开的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本公开的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本公开的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本公开的各种实施例中被清楚地限定。
实施例1
本发明实施例1公开了一种基于残差连接的多维图像复原方法，如图1所示，包括以下步骤：
步骤101、获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；
具体的，在一个具体的实施例中，在获取预设的训练图片之前，还包括：
获取预设数据库中的图片；
对所获取的图片进行水平翻转和/或垂直旋转，以生成新图片；
将所述图片与所述新图片作为预设的训练图片。
具体的，为了加大训练图片的数量，利于后续的训练过程，还可以使用水平翻转和/或垂直旋转的方式，增加训练图片的数量。
步骤102、对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；
在一个具体的实施例中，步骤102中的所述“对所述图像块进行随机的退化处理生成退化图片”，包括：
将所述图像块分为第一部分与第二部分；具体的第一部分与第二部分的数量可以相同，也即训练数据中的图像块有一半只进行一种类型的退化处理，而另一半会进行多种退化类型的处理；
对第一部分的所述图像块进行随机的一种类型的退化处理，且对第二部分的所述图像块进行随机的多种类型的退化处理，以生成针对各所述图像块的退化图片。
在一个实际的实施例中，可以利用公开数据库的训练数据图片进行剪裁得到图像块。然后对图片进行退化处理，例如可以首先进行高斯模糊出来，然后加高斯噪声处理，最后进行JPEG有损压缩处理。其中高斯模糊核宽度为0-A(A>0)，高斯噪声标准差大小0-B(B>0)，JPEG有损压缩质量C(C<100)-100。
在一个具体的实施例中，所述退化处理包括以下一个类型或多个类型的任意组合：进行高斯模糊处理、加高斯噪声处理、进行有损压缩处理。
具体的，退化处理除了上述几个具体的实施例以外，还可以有其他的退化实施例，只要是能实现对图片的退化即可。
假设这里有N种退化类型，D1-D2.对于每一个退化类型Dj,j∈[1,N]会有一个对应的退化程度范围：[0,Rj]。
在训练过程当中，退化程度较轻的图像块在优化过程中通常被忽略，为此，通过使得退化处理的退化程度服从贝塔分布，能够生成更多的退化程度较轻的图像块。以此，获取到更多的退化程度较轻的图像块来解决训练中的不平衡问题。
步骤103、将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；
在一个具体的实施例中，所述条件向量包括一个或多个元素，每个元素对应一种退化处理的类型；各所述元素的值均位于0到1之间。
退化信息可以用作调节器来调节图像复原的强度。具体地说，例如对于高斯模糊D1，它的程度范围是[0,R1]；和高斯噪声D2，它的程度范围是[0,R2]。
退化图像块这一过程对应的退化信息将被转换成条件向量，一同作为训练的输入。条件向量的所有元素都在0到1之间，其中每一个元素象征一个退化类型。例如，给定训练数据为高斯模糊核宽度0-4，高斯噪声标准差0-50，那么高斯模糊核宽度2和高斯噪声标准差30的退化图片的条件向量就是[0.5,0.6]。
步骤104、通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；
在一个具体的实施例中，所述深度复原网络包括附加有可控残差连接的主网络、由全连接层构成的条件网络；其中，
步骤104中的所述“通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型”，包括：
基于所述条件网络与所述条件向量获取控制变量；
基于所述退化图片、所述控制变量与所述主网络中的可控残差连接，生成图像复原模型。
在一个具体的实施例中，所述控制变量的通道数与所述主网络中的可控残差连接的通道数相同。
具体的，如图2所示，可控残差连接的深度复原网络分为两个部分，一个是“主网络”，一个是“条件网络”。
“主网络”是一个常见的图像复原网络，它包括网络两端的下采样和上采样模块，和中间的一连串的残差块。下采样和上采样的倍数为2。“主网络”包含一个全局残差连接和若干个局部残差连接。这些残差连接的残差都被条件网络生成的权重α所控制，所以每个残差连接都会输出残差和输入的加权和(输出＝残差×α+输入)；具体的，一个残差结构有两个分支；那么对于一个输入x,通过残差结构后，会产生两个结果：一个是它本身x；另一个是残差分支产生的f(x).最后这两个分支产生的结果会进行相加：y＝f(x)+x。而f()通常由几个卷积层构成。另残差结构和普通的结构不同的点就是：残差结构的输出为:y＝f(x)+x；普通结构的输出为:y＝f(x)。
而条件网络是一系列全连接层，它们的输入是条件向量，输出为可控制变量α。条件向量的长度为退化类型的个数，而控制变量α的通道数和“主网络”中残差的通道数保持一致。在训练过程中，“主网络”和“条件网络”是联合训练优化(也即主网络与条件网络，这两个网络是一起被优化的)的，最终生成图像复原模型。
步骤105、对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。
在一个具体的实施例中，步骤105中的所述“对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原”，包括：
针对输入所述图像复原模型的待复原图片，生成条件向量的调节栏；所述调节栏可实现条件向量的连续调节；
具体的，条件向量中存在有一个或多个元素，不同的元素对应不同的退化处理，具体的调节栏是针对条件向量中的元素来设置的，各调节栏可实现条件向量中所对应的元素的连接调节。
基于在所述调节栏上对所述条件向量的连接调节，实现对所述待复原图片的复原操作。
用户只需要改变条件向量中不同元素的数值，就可以对不同退化类型进行连续的调节。比如在一个实施例中，改变条件向量的第一个元素，可以达到去模糊程度0-R1的一个连续变换。而改变条件向量的第二个元素可以达到去噪声程度0-R2的一个连续变换。经过不断的调节，显示调节的结构，最终可以将图片复原，当然若是有待复原图片本身的条件向量是已知的，则可以直接输入到图像复原模型中，得到恢复后的清晰的图像。
实施例2
为了对本发明进行进一步的说明，本发明实施例2还公开了一种基于残差连接的多维图像复原设备，如图3所示，包括：
获取模块201，用于获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；
退化模块202，用于对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；
转换模块203，用于将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；
训练模块204，用于通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；
复原模块205，用于对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。
在一个具体的实施例中，所述退化处理包括以下一个类型或多个类型的任意组合：进行高斯模糊处理、加高斯噪声处理、进行有损压缩处理。
在一个具体的实施例中，所述条件向量包括一个或多个元素，每个元素对应一种退化处理的类型；各所述元素的值均位于0到1之间。
在一个具体的实施例中，所述深度复原网络包括附加有可控残差连接的主网络、由全连接层构成的条件网络；其中，
所述训练模块204，用于：
基于所述条件网络与所述条件向量获取控制变量；
基于所述退化图片、所述控制变量与所述主网络中的可控残差连接，生成图像复原模型。
在一个具体的实施例中，所述控制变量的通道数与所述主网络中的可控残差连接的通道数相同。
在一个具体的实施例中，如图4所示，还包括：处理模块206，用于在获取预设的训练图片之前，获取预设数据库中的图片；
对所获取的图片进行水平翻转和/或垂直旋转，以生成新图片；
将所述图片与所述新图片作为预设的训练图片。
在一个具体的实施例中，所述退化模块202，用于：
将所述图像块分为第一部分与第二部分；
对第一部分的所述图像块进行随机的一种类型的退化处理，且对第二部分的所述图像块进行随机的多种类型的退化处理，以生成针对各所述图像块的退化图片。
在一个具体的实施例中，所述复原模块205，用于：
针对输入所述图像复原模型的待复原图片，生成条件向量的调节栏；所述调节栏可实现条件向量的连续调节；
基于在所述调节栏上对所述条件向量的连接调节，实现对所述待复原图片的复原操作。
以此，本发明实施例提出了一种基于残差连接的多维图像复原方法和设备，包括：获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。可以允许用户针对不同的退化种类进行复原程度的调节，且调节的精确性高，实现了更灵活的图像复原。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种基于残差连接的多维图像复原方法，其特征在于，包括：
获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；
对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；
将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；所述退化信息用于调节图像复原的强度；
通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；
对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。
2.如权利要求1所述的一种基于残差连接的多维图像复原方法，其特征在于，所述退化处理包括以下一个类型或多个类型的任意组合：进行高斯模糊处理、加高斯噪声处理、进行有损压缩处理。
3.如权利要求1或2所述的一种基于残差连接的多维图像复原方法，其特征在于，所述条件向量包括一个或多个元素，每个元素对应一种退化处理的类型；各所述元素的值均位于0到1之间。
4.如权利要求1所述的一种基于残差连接的多维图像复原方法，其特征在于，所述深度复原网络包括附加有可控残差连接的主网络、由全连接层构成的条件网络；其中，
所述“通过所述退化图片和所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型”，包括：
基于所述条件网络与所述条件向量获取控制变量；
基于所述退化图片、所述控制变量与所述主网络中的可控残差连接，生成图像复原模型。
5.如权利要求4所述的一种基于残差连接的多维图像复原方法，其特征在于，所述控制变量的通道数与所述主网络中的可控残差连接的通道数相同。
6.如权利要求1所述的一种基于残差连接的多维图像复原方法，其特征在于，在获取预设的训练图片之前，还包括：
获取预设数据库中的图片；
对所获取的图片进行水平翻转和/或垂直旋转，以生成新图片；
将所述图片与所述新图片作为预设的训练图片。
7.如权利要求1所述的一种基于残差连接的多维图像复原方法，其特征在于，所述“对所述图像块进行随机的退化处理生成退化图片”，包括：
将所述图像块分为第一部分与第二部分；
对第一部分的所述图像块进行随机的一种类型的退化处理，且对第二部分的所述图像块进行随机的多种类型的退化处理，以生成针对各所述图像块的退化图片。
8.如权利要求1所述的一种基于残差连接的多维图像复原方法，其特征在于，所述“对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原”，包括：
针对输入所述图像复原模型的待复原图片，生成条件向量的调节栏；所述调节栏可实现条件向量的连续调节；
基于在所述调节栏上对所述条件向量的连接调节，实现对所述待复原图片的复原操作。
9.一种基于残差连接的多维图像复原设备，其特征在于，包括：
获取模块，用于获取预设的训练图片，并对所述训练图片进行裁剪以获取图像块；
退化模块，用于对所述图像块进行随机的退化处理生成退化图片；其中，所述退化处理的退化程度服从贝塔分布；
转换模块，用于将所述退化图片的退化信息转换为条件向量；所述退化信息基于所述退化处理生成；所述退化信息用于调节图像复原的强度；
训练模块，用于通过所述退化图片与所述条件向量在附加有可控残差连接的深度复原网络进行训练，得到图像复原模型；
复原模块，用于对输入所述图像复原模型的待复原图片进行条件向量的连续调节，实现对所述待复原图片的复原。
10.如权利要求9所述的一种基于残差连接的多维图像复原设备，其特征在于，所述退化处理包括以下一个类型或多个类型的任意组合：进行高斯模糊处理、加高斯噪声处理、进行有损压缩处理。
CN201911259738.9A 2019-12-10 2019-12-10 一种基于残差连接的多维图像复原方法和设备 Active CN111028174B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911259738.9A CN111028174B (zh) 2019-12-10 2019-12-10 一种基于残差连接的多维图像复原方法和设备
PCT/CN2020/129493 WO2021115053A1 (zh) 2019-12-10 2020-11-17 一种基于残差连接的多维图像复原方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911259738.9A CN111028174B (zh) 2019-12-10 2019-12-10 一种基于残差连接的多维图像复原方法和设备

Publications (2)

Publication Number Publication Date
CN111028174A CN111028174A (zh) 2020-04-17
CN111028174B true CN111028174B (zh) 2023-08-04

Family

ID=70205341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911259738.9A Active CN111028174B (zh) 2019-12-10 2019-12-10 一种基于残差连接的多维图像复原方法和设备

Country Status (2)

Country Link
CN (1) CN111028174B (zh)
WO (1) WO2021115053A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028174B (zh) * 2019-12-10 2023-08-04 深圳先进技术研究院 一种基于残差连接的多维图像复原方法和设备
CN113222855B (zh) * 2021-05-28 2023-07-11 北京有竹居网络技术有限公司 一种图像恢复方法、装置和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931179A (zh) * 2016-04-08 2016-09-07 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及系统
CN107507141A (zh) * 2017-08-07 2017-12-22 清华大学深圳研究生院 一种基于自适应残差神经网络的图像复原方法
CN108230253A (zh) * 2017-05-08 2018-06-29 北京市商汤科技开发有限公司 图像恢复方法、装置、电子设备和计算机存储介质
CN109191411A (zh) * 2018-08-16 2019-01-11 广州视源电子科技股份有限公司 一种多任务图像重建方法、装置、设备和介质
CN110047044A (zh) * 2019-03-21 2019-07-23 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
CN110363716A (zh) * 2019-06-25 2019-10-22 北京工业大学 一种基于条件生成对抗网络复合降质图像高质量重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028174B (zh) * 2019-12-10 2023-08-04 深圳先进技术研究院 一种基于残差连接的多维图像复原方法和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931179A (zh) * 2016-04-08 2016-09-07 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及系统
CN108230253A (zh) * 2017-05-08 2018-06-29 北京市商汤科技开发有限公司 图像恢复方法、装置、电子设备和计算机存储介质
CN107507141A (zh) * 2017-08-07 2017-12-22 清华大学深圳研究生院 一种基于自适应残差神经网络的图像复原方法
CN109191411A (zh) * 2018-08-16 2019-01-11 广州视源电子科技股份有限公司 一种多任务图像重建方法、装置、设备和介质
CN110047044A (zh) * 2019-03-21 2019-07-23 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
CN110363716A (zh) * 2019-06-25 2019-10-22 北京工业大学 一种基于条件生成对抗网络复合降质图像高质量重建方法

Also Published As

Publication number Publication date
CN111028174A (zh) 2020-04-17
WO2021115053A1 (zh) 2021-06-17

Similar Documents

Publication Publication Date Title
EP3467721A1 (en) Method and device for generating feature maps by using feature upsampling networks
CN111028174B (zh) 一种基于残差连接的多维图像复原方法和设备
WO2018216207A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US10515435B2 (en) Apparatus for upscaling an image, method for training the same, and method for upscaling an image
CN105120130A (zh) 一种图像升频系统、其训练方法及图像升频方法
CN111275638B (zh) 基于多通道注意力选择生成对抗网络的人脸修复方法
CN110322400A (zh) 图像处理方法及装置、图像处理系统及其训练方法
CN105574901B (zh) 一种基于局部对比度模式的通用无参考图像质量评价方法
Jagatap et al. Sample efficient fourier ptychography for structured data
CN108492249A (zh) 基于小卷积递归神经网络的单帧超分辨重建方法
CN112184582B (zh) 一种基于注意力机制的图像补全方法及装置
CN115841420A (zh) 一种基于深度学习的偏振图像超分辨率重建方法
CN116630464A (zh) 基于稳定扩散的图像风格迁移方法和装置
CN114266709B (zh) 一种基于跨分支连接网络的复合降质图像解耦分析与复原方法
CN114332625A (zh) 基于神经网络的遥感图像彩色化和超分辨率方法及系统
CN109993701A (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
Huang et al. Densely connected high order residual network for single frame image super resolution
CN113554047A (zh) 图像处理模型的训练方法、图像处理方法及对应的装置
CN117058009A (zh) 一种基于条件扩散模型的全色锐化方法
CN111083482A (zh) 一种视频压缩网络训练方法、装置及终端设备
CN116091893A (zh) 一种基于U-net网络的地震图像反褶积方法及系统
CN111260558B (zh) 一种可变倍率的图像超分辨率网络模型
CN113658046B (zh) 基于特征分离的超分辨率图像生成方法、装置、设备和介质
CN113538484B (zh) 一种深度细化的多重信息嵌套边缘检测方法
Jarolim et al. Instrument-To-Instrument translation: Instrumental advances drive restoration of solar observation series via deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant