CN111369451B - 一种基于复杂任务分解正则化的图像复原模型、方法及设备 - Google Patents

一种基于复杂任务分解正则化的图像复原模型、方法及设备 Download PDF

Info

Publication number
CN111369451B
CN111369451B CN202010112555.0A CN202010112555A CN111369451B CN 111369451 B CN111369451 B CN 111369451B CN 202010112555 A CN202010112555 A CN 202010112555A CN 111369451 B CN111369451 B CN 111369451B
Authority
CN
China
Prior art keywords
image
feature map
network
layer
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010112555.0A
Other languages
English (en)
Other versions
CN111369451A (zh
Inventor
谢春芝
高志升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanzhida Technology Co ltd
Heifeng Zhizao Shenzhen Technology Co Ltd
Original Assignee
Heifeng Zhizao Shenzhen Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heifeng Zhizao Shenzhen Technology Co Ltd filed Critical Heifeng Zhizao Shenzhen Technology Co Ltd
Priority to CN202010112555.0A priority Critical patent/CN111369451B/zh
Publication of CN111369451A publication Critical patent/CN111369451A/zh
Application granted granted Critical
Publication of CN111369451B publication Critical patent/CN111369451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种基于复杂任务分解正则化的图像复原模型、方法及设备，包括特征提取与去噪子网、去模糊子网和图像重建子网；特征提取与去噪子网包括卷积神经网络、深度卷积神经网络和降噪网络；卷积神经网络用于对原始模糊图像进行特征提取，获取第一特征图；深度卷积神经网络用于对原始模糊图像进行特征提取进，获取第二特征图；降噪网络用于根据第一特征图和第二特征图重建模糊图像特征图；去模糊子网用于去除模糊图像特征图中的湍流模糊获得第三特征图；图像重建子网用于根据第三特征图进行图像重建并输出重建后的清晰图像；通过对任务进行分解，降低了问题的复杂度，网络泛化能力增强，减少了过拟合问题，提高了图像复原效果。

Description

一种基于复杂任务分解正则化的图像复原模型、方法及设备
技术领域
本申请涉及图像复原技术领域，具体而言，涉及一种基于复杂任务分解正则化的图像复原模型、方法及设备。
背景技术
传统的为解决复杂的初级视觉任务，一个容易想到的方法是增加模型的复杂度，提高模型的表示能力。更复杂的模型，意味着更多的参数，使得模型容易过拟合。为解决神经网络过拟合问题，人们已经做出了大量的研究和思考。泛化边界已针对许多功能进行了表征，这些限制中的许多是通过某种形式的正则化(通常为L2正则化)或通过限制函数类的复杂性而获得的。神经网络训练过程中防止过拟合的主流策略除了以上方法外，最近还提出了网络预训练方法、网络分层训练方法以及对隐藏层使用辅助变量的方法。这一类方法是通用的，解决神经网络训练过程中过拟合的策略。
但是，低级视觉复杂的重建任务，尤其是多因素交织退化图像的复原问题，难度很大。相比单一因素退化图像(例如，运动模糊)的复原难度更大，退化模式更难学习，问题空间也更大。传统的基于端到端的深度神经网络图像复原方法，在有限的训练数据学习情况下，难以学到图像的退化逆变换模式，从而复原效果欠佳。
发明内容
本申请的目的在于提供一种基于复杂任务分解正则化的图像复原模型、方法及设备，用以实现任务分解，在减少问题复杂度的同时提高图像复原效果的技术效果。
第一方面，本申请实施例提供了一种基于复杂任务分解正则化的图像复原模型，包括特征提取与去噪子网、去模糊子网和图像重建子网；所述特征提取与去噪子网包括卷积神经网络、深度卷积神经网络和降噪网络；所述卷积神经网络用于对原始模糊图像进行特征提取，获取第一特征图；所述深度卷积神经网络用于对所述原始模糊图像进行特征提取进，获取第二特征图；所述降噪网络用于根据所述第一特征图和所述第二特征图重建模糊图像特征图；所述去模糊子网用于去除所述模糊图像特征图中的湍流模糊获得第三特征图；所述图像重建子网用于根据所述第三特征图进行图像重建并输出重建后的清晰图像。
进一步地，所述深度卷积神经网络包括第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层和第四深度卷积层；所述第一卷积层分别与所述第二深度卷积层、所述第三深度卷积层和所述第四深度卷积层融合。
进一步地，所述第一卷积层的过滤尺寸为3*3；所述第一深度卷积层的过滤尺寸为1*1；所述第二深度卷积层的过滤尺寸为2*2；所述第三深度卷积层的过滤尺寸为3*3；所述第四深度卷积层的过滤尺寸为4*4。
进一步地，所述卷积神经网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；所述原始模糊图像依次经过所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层和所述第五卷积层进行卷积过滤；所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层和所述第五卷积层的过滤尺寸均为3*3。
进一步地，所述降噪网络包括第六卷积层和第七卷积层；所述卷积神经网络和所述深度卷积神经网络进行卷积过滤后获取到的特征图依次经过所述第六卷积层和所述第七卷积层完成模糊图像特征图的重建；所述第六卷积层和第七卷积层的过滤尺寸为3*3。
第二方面，本申请提供一种基于复杂任务分解正则化的图像复原方法，应用于基于复杂任务分解正则化的图像复原模型，包括获取原始模糊图像；使用特征提取与去噪子网中的卷积神经网络对所述原始模糊图像进行卷积过滤，获取第一特征图；同时使用所述特征提取与去噪子网中的深度卷积神经网络对所述原始模糊图像进行卷积过滤，获取第二特征图；使用所述特征提取与去噪子网中的降噪网络根据所述第一特征图和所述第二特征图重建模糊图像特征图；使用去模糊子网去除所述模糊图像特征图中的湍流模糊获得第三特征图；使用图像重建子网根据所述第三特征图进行图像重建并输出重建后的清晰图像。
进一步地，所述方法还包括：分析所述特征提取与去噪子网输出图像的第一损失函数和所述图像重建子网输出图像的第二损失函数；根据所述第一损失函数和所述第二损失函数分析所述图像复原模型的整体损失函数；根据所述整体损失函数训练所述图像复原模型。
进一步地，所述方法还包括：根据仿真退化图像的模糊程度和噪声水平，将训练集按退化程度划分为{T1,...,Tn}个子训练集,通过子训练集预训练网络的权重。
与现有技术相比，本申请能够实现的有益效果是：通过在深度卷积神经网络中引入基于复杂任务分解正则化的图像复原模型，将网络分为两个任务部分。具体地，使用特征提取与去噪子网中的卷积神经网络、深度卷积神经网络和降噪网络去除模糊图像中的加性噪声；使用去模糊子网和图像重建子网对去噪后的特征图进行重建得到清晰图像；通过对任务进行分解，降低了问题的复杂度，网络泛化能力增强，减少了过拟合问题，提高了图像复原效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种基于复杂任务分解正则化的图像复原模型结构示意图；
图2为本申请实施例提供的一种特征提取与去噪子网结构示意图；
图3为本申请实施例提供的基于复杂任务分解正则化的图像复原方法流程示意图。
图标：10-图像复原模型；100-特征提取与去噪子网；110-深度卷积神经网络；120-卷积神经网络；130-降噪网络；200-去模糊子网；300-图像重建子网。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参看图1、图2，图1为本申请实施例提供的一种基于复杂任务分解正则化的图像复原模型结构示意图；图2为本申请实施例提供的一种特征提取与去噪子网结构示意图。
本申请实施例提供的图像复原模型10包括特征提取与去噪子网100(FeatureExtraction and Denoising Sub-network，FEADNS-net)、去模糊子网200(U-net)和图像重建子网300(Image Reconstruction Sub-network，IRS-net)；特征提取与去噪子网100包括卷积神经网络120(CNN)、深度卷积神经网络110(DCNN)和降噪网络130(DNRS_net)；卷积神经网络120用于对原始模糊图像进行特征提取，获取第一特征图；深度卷积神经网络110用于对原始模糊图像进行特征提取进，获取第二特征图；降噪网络130用于根据第一特征图和第二特征图重建模糊图像特征图；去模糊子网200用于去除模糊图像特征图中的湍流模糊获得第三特征图；图像重建子网300用于根据第三特征图进行图像重建并输出重建后的清晰图像。
深度卷积神经网络110包括第一卷积层(Conv1)、第一深度卷积层(DConv1)、第二深度卷积层(DConv2)、第三深度卷积层(DConv3)和第四深度卷积层(DConv4)；第一卷积层(Conv1)分别与第二深度卷积层(DConv2)、第三深度卷积层(DConv3)和第四深度卷积层(DConv4)融合。
在一种实施方式中，第一深度卷积层、第二深度卷积层、第三深度卷积层和第四深度卷积层中均设有批归一化与激活函数层(BNorm+ReLU)。具体的，原始模糊图像先经过第一卷积层进行过滤处理以后发送给第一深度卷积层(DConv1)进行过滤处理后经过对应的批归一化与激活函数层(BNorm+ReLU)发送给第二深度卷积层；第二深度卷积层(DConv2)进行过滤处理后经过对应的批归一化与激活函数层(BNorm+ReLU)发送给第三深度卷积层；第三深度卷积层(DConv3)进行过滤处理后经过对应的批归一化与激活函数层(BNorm+ReLU)发送给第四深度卷积层；第四深度卷积层(DConv4)进行过滤处理后经过对应的批归一化与激活函数层(BNorm+ReLU)发送给降噪网络130。具体的，如表1所示，第一卷积层的过滤尺寸为3*3；第一深度卷积层的过滤尺寸为1*1；第二深度卷积层的过滤尺寸为2*2；第三深度卷积层的过滤尺寸为3*3；第四深度卷积层的过滤尺寸为4*4。在进行卷积过滤处理时，第一卷积层分别与第二深度卷积层、第三深度卷积层和第四深度卷积层进行融合。
表1
卷积神经网络120包括第二卷积层(Conv2)、第三卷积层(Conv3)、第四卷积层(Conv4)、第五卷积层(Conv5)和第六卷积层(Conv6)；原始模糊图像依次经过第二卷积层(Conv2)、第三卷积层(Conv3)、第四卷积层(Conv4)、第五卷积层(Conv5)和第六卷积层(Conv6)进行卷积过滤；在一种实施方式中，第二卷积层(Conv2)、第三卷积层(Conv3)、第四卷积层(Conv4)、第五卷积层(Conv5)和第六卷积层(Conv6)的过滤尺寸均为3*3。
降噪网络130包括第七卷积层(Conv7)和第八卷积层(Conv8)；卷积神经网络120和深度卷积神经网络110进行卷积过滤后获取到的特征图依次经过第七卷积层(Conv7)和第八卷积层(Conv8)完成模糊图像特征图的重建；在一种实施方式中，第七卷积层(Conv7)和第八卷积层(Conv8)的过滤尺寸为3*3。
去模糊子网200中每个卷积层的过滤尺寸为3*3，去模糊子网200中池化层和上采样层采用的池箱(pooling box)的大小均为2*2。
图像重建子网300包括第九卷积层、第十卷积层、第十一卷积层和第十二卷积层。第九卷积层、第十卷积层、第十一卷积层和第十二卷积层的过滤尺寸均为3*3。进行图像重建时，第九卷积层根据第八卷积层的过滤方式进行重建；第十卷积层根据第六卷积层的过滤方式进行重建；第十一卷积层根据第四卷积层的过滤方式进行重建；第十二卷积层根据第二卷积层的过滤方式进行重建。
请参看图3，图3为本申请实施例提供的基于复杂任务分解正则化的图像复原方法流程示意图。
本申请实施例还提供了一种应用于基于复杂任务分解正则化的图像复原模型的图像复原方法，具体内容如下所述。
步骤S101，获取原始模糊图像。
原始模糊图像选用哈勃空间望远镜所拍摄到的图像。
步骤S102，使用特征提取与去噪子网中的卷积神经网络对所述原始模糊图像进行卷积过滤，获取第一特征图；同时使用所述特征提取与去噪子网中的深度卷积神经网络对所述原始模糊图像进行卷积过滤，获取第二特征图。
在获取到原始模糊图像后，原始模糊图像就可以经过卷积神经网络进行卷积过滤处理后获得第一特征图；同时原始模糊图像经过深度卷积神经网络进行卷积过滤处理后获取第二特征图。
步骤S103，使用所述特征提取与去噪子网中的降噪网络根据所述第一特征图和所述第二特征图重建模糊图像特征图。
在获取到原始模糊图像的第一特征图和第二特征图以后，降噪网络就可以根据这两张特征图重建模糊图像特征图，即去除加性噪声后的模糊图像。
步骤S104，使用去模糊子网去除所述模糊图像特征图中的湍流模糊获得第三特征图。
在获取到模糊图像特征图后，就可以使用去模糊子网去除模糊图像特征图中的湍流模糊获得对应的第三特征图。
步骤S105，使用图像重建子网根据所述第三特征图进行图像重建并输出重建后的清晰图像。
图像重建子网获取到第三特征图后，就可以根据对应的重建规则对第三特征图进行重建，得到清晰的图像。具体的，进行图像重建时，第九卷积层根据第八卷积层的过滤方式进行重建；第十卷积层根据第六卷积层的过滤方式进行重建；第十一卷积层根据第四卷积层的过滤方式进行重建；第十二卷积层根据第二卷积层的过滤方式进行重建。
本申请实施例所提供的图像复原方法还包括分析特征提取与去噪子网输出图像的第一损失函数和图像重建子网输出图像的第二损失函数；根据第一损失函数和第二损失函数分析图像复原网络模型的整体损失函数；根据整体损失函数训练图像复原网络模型。
具体的，可通过公式计算特征提取与去噪子网输出图像的第一损失函数；其中Ll表示特征提取与去噪子网的损失函数，YL表示特征提取与去噪子网的输出，Ylt表示YL所对应的基本事实；通过公式/>计算图像重建子网输出图像的第二损失函数；其中其中Lm表示图像重建子网的损失函数，YM表示图像重建子网的输出；Ymt表示YM所对应的基本事实。在计算得到第一损失函数和第二损失函数以后，就可以通过公式L＝αLm+λLl计算得到网络模型的整体损失函数，然后使用该整体损失函数对网络模型进行训练。其中α和λ是非负权衡权重。α和λ取值范围均为[0,1],根据任务的复杂程度可以选择合理的α和λ。在没有特别指明时，α和λ均取值为1，在使用上述模型时，可以调节α和λ的值，以改变网络模型中任务比重的分配。
在一种实施方式中，图像复原模型的输入图像块大小为32*32，学习率为0.0001，batch大小为64，轻度噪声测试数据、中度噪声测试数据、重度噪声测试数据的权重约束值λ分别为0.6，0.6，0.8；α的取值为1。
在进行训练时，大气湍流退化严重的空间目标图像，复原难度极大。由于训练数据的较少网络训练过程中往往难以收敛。针对这些问题，本申请实施例采用逐步训练到成熟的训练方法。先获取仿真退化图像，然后根据仿真退化图像的模糊程度和噪声水平，将训练集按退化程度划分为{T1，...，Tn}个子训练集,通过子训练集预训练网络的权重。用于训练网络的最终训练数据集T包含所有退化程度的图像(最终的训练数据T就是轻度噪声训练数据.).在训练过程中，首先将Ti(i∈[1，n])预训练网络，得到网络的预训练权重Wi。然后采用复原难度更大的训练集Ti+1继续训练网络，在训练集Ti+1训练之前首先利用Ti预训练的权重Wi初始化网络权重。依此迭代训练网络直至训练集Tn为止。最后采用训练数据集T训练网络,得到最终的理想网络权重W。
本申请实施例还提供了一种基于复杂任务分解正则化的图像复原设备，包括服务器，以及设置在服务器中的上述图像复原模型。原始模糊图像可以通过U盘或者通信网络传输给服务器，服务器获取到该原始模糊图像后调用图像复原模型进行复原处理，然后输出清晰的图像。
综上所述，本申请实施例提供一种基于复杂任务分解正则化的图像复原模型、方法及设备，包括特征提取与去噪子网、去模糊子网和图像重建子网；特征提取与去噪子网包括卷积神经网络、深度卷积神经网络和降噪网络；卷积神经网络用于对原始模糊图像进行特征提取，获取第一特征图；深度卷积神经网络用于对原始模糊图像进行特征提取进，获取第二特征图；降噪网络用于根据第一特征图和第二特征图重建模糊图像特征图；去模糊子网用于去除模糊图像特征图中的湍流模糊获得第三特征图；图像重建子网用于根据第三特征图进行图像重建并输出重建后的清晰图像；通过对任务进行分解，降低了问题的复杂度，网络泛化能力增强，减少了过拟合问题，提高了图像复原效果。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于复杂任务分解正则化的图像复原模型，其特征在于，包括：特征提取与去噪子网、去模糊子网和图像重建子网；
所述特征提取与去噪子网包括卷积神经网络、深度卷积神经网络和降噪网络；
所述卷积神经网络用于对原始模糊图像进行特征提取，获取第一特征图；
所述深度卷积神经网络用于对所述原始模糊图像进行特征提取进，获取第二特征图；
所述降噪网络用于根据所述第一特征图和所述第二特征图重建模糊图像特征图；
所述去模糊子网用于去除所述模糊图像特征图中的湍流模糊获得第三特征图；
所述图像重建子网用于根据所述第三特征图进行图像重建并输出重建后的清晰图像。
2.根据权利要求1所述的基于复杂任务分解正则化的图像复原模型，其特征在于，所述深度卷积神经网络包括第一卷积层、第一深度卷积层、第二深度卷积层、第三深度卷积层和第四深度卷积层；所述第一卷积层分别与所述第二深度卷积层、所述第三深度卷积层和所述第四深度卷积层融合。
3.根据权利要求2所述的基于复杂任务分解正则化的图像复原模型，其特征在于，所述第一卷积层的过滤尺寸为3*3；所述第一深度卷积层的过滤尺寸为1*1；所述第二深度卷积层的过滤尺寸为2*2；所述第三深度卷积层的过滤尺寸为3*3；所述第四深度卷积层的过滤尺寸为4*4。
4.根据权利要求1所述的基于复杂任务分解正则化的图像复原模型，其特征在于，所述卷积神经网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；所述原始模糊图像依次经过所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层和所述第五卷积层进行卷积过滤；所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层和所述第五卷积层的过滤尺寸均为3*3。
5.根据权利要求1所述的基于复杂任务分解正则化的图像复原模型，其特征在于，所述降噪网络包括第六卷积层和第七卷积层；所述卷积神经网络和所述深度卷积神经网络进行卷积过滤后获取到的特征图依次经过所述第六卷积层和所述第七卷积层完成模糊图像特征图的重建；所述第六卷积层和第七卷积层的过滤尺寸为3*3。
6.一种基于复杂任务分解正则化的图像复原方法，应用于基于复杂任务分解正则化的图像复原模型，其特征在于，包括：
获取原始模糊图像；
使用特征提取与去噪子网中的卷积神经网络对所述原始模糊图像进行卷积过滤，获取第一特征图；同时使用所述特征提取与去噪子网中的深度卷积神经网络对所述原始模糊图像进行卷积过滤，获取第二特征图；
使用所述特征提取与去噪子网中的降噪网络根据所述第一特征图和所述第二特征图重建模糊图像特征图；
使用去模糊子网去除所述模糊图像特征图中的湍流模糊获得第三特征图；
使用图像重建子网根据所述第三特征图进行图像重建并输出重建后的清晰图像。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
分析所述特征提取与去噪子网输出图像的第一损失函数和所述图像重建子网输出图像的第二损失函数；
根据所述第一损失函数和所述第二损失函数分析所述图像复原模型的整体损失函数；
根据所述整体损失函数训练所述图像复原模型。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据仿真退化图像的模糊程度和噪声水平，将训练集按退化程度划分为{T1,...,Tn}个子训练集,通过子训练集预训练网络的权重。
9.一种基于复杂任务分解正则化的图像复原设备，其特征在于，包括服务器以及设置在所述服务器中的权利要求1-5任一项所述的图像复原模型。
CN202010112555.0A 2020-02-24 2020-02-24 一种基于复杂任务分解正则化的图像复原模型、方法及设备 Active CN111369451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010112555.0A CN111369451B (zh) 2020-02-24 2020-02-24 一种基于复杂任务分解正则化的图像复原模型、方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010112555.0A CN111369451B (zh) 2020-02-24 2020-02-24 一种基于复杂任务分解正则化的图像复原模型、方法及设备

Publications (2)

Publication Number Publication Date
CN111369451A CN111369451A (zh) 2020-07-03
CN111369451B true CN111369451B (zh) 2023-08-01

Family

ID=71208164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010112555.0A Active CN111369451B (zh) 2020-02-24 2020-02-24 一种基于复杂任务分解正则化的图像复原模型、方法及设备

Country Status (1)

Country Link
CN (1) CN111369451B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200752B (zh) * 2020-10-28 2022-06-03 西华大学 一种基于er网络多帧图像去模糊系统及其方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
CN110363716A (zh) * 2019-06-25 2019-10-22 北京工业大学 一种基于条件生成对抗网络复合降质图像高质量重建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050249429A1 (en) * 2004-04-22 2005-11-10 Fuji Photo Film Co., Ltd. Method, apparatus, and program for image processing
US20140307950A1 (en) * 2013-04-13 2014-10-16 Microsoft Corporation Image deblurring
CN108510451B (zh) * 2018-02-09 2021-02-12 杭州雄迈集成电路技术股份有限公司 一种基于双层卷积神经网络的重建车牌的方法
CN108537746B (zh) * 2018-03-21 2021-09-21 华南理工大学 一种基于深度卷积网络的模糊可变图像盲复原方法
CN108550118B (zh) * 2018-03-22 2022-02-22 深圳大学 运动模糊图像的模糊处理方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
CN110363716A (zh) * 2019-06-25 2019-10-22 北京工业大学 一种基于条件生成对抗网络复合降质图像高质量重建方法

Also Published As

Publication number Publication date
CN111369451A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN111429347A (zh) 图像超分辨率重建方法、装置及计算机可读存储介质
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN112907479B (zh) 基于注意力机制的残差单幅图像去雨方法
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN111080522B (zh) 一种基于双向对抗网络的图像超分辨率重建方法
CN110533614B (zh) 一种结合频域和空域的水下图像增强方法
CN108830809B (zh) 一种基于膨胀卷积图像去噪方法
CN113450288B (zh) 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN110706181A (zh) 一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统
CN110033417A (zh) 一种基于深度学习的图像增强方法
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN113191972B (zh) 一种轻量真实图像去噪的神经网络设计及训练方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN111369451B (zh) 一种基于复杂任务分解正则化的图像复原模型、方法及设备
CN107146202B (zh) 基于l0正则化和模糊核后处理的图像盲去模糊的方法
CN113160286A (zh) 一种基于卷积神经网络的近红外和可见光图像融合方法
CN113066025A (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN112785539A (zh) 基于图像自适应分解及参数自适应的多聚焦图像融合方法
CN115393191A (zh) 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN115205136A (zh) 一种基于傅里叶先验的图像去雨方法
Zhu et al. Low-light image enhancement network with decomposition and adaptive information fusion
CN113096032B (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN113724134A (zh) 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230703

Address after: 518000, Building 1, Building 1205, Xingchen Building, Vanke Xingcheng, Shangxing Road, Shangxing Community, Xinqiao Street, Bao'an District, Shenzhen City, Guangdong Province

Applicant after: HEIFENG ZHIZAO (SHENZHEN) TECHNOLOGY Co.,Ltd.

Address before: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant before: Shenzhen Wanzhida Technology Co.,Ltd.

Effective date of registration: 20230703

Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Wanzhida Technology Co.,Ltd.

Address before: 610037 Jinzhou Road, Jinniu District, Chengdu, Sichuan 999

Applicant before: XIHUA University

GR01 Patent grant
GR01 Patent grant