CN109087273A - 基于增强的神经网络的图像复原方法、存储介质及系统 - Google Patents

基于增强的神经网络的图像复原方法、存储介质及系统 Download PDF

Info

Publication number
CN109087273A
CN109087273A CN201810803674.3A CN201810803674A CN109087273A CN 109087273 A CN109087273 A CN 109087273A CN 201810803674 A CN201810803674 A CN 201810803674A CN 109087273 A CN109087273 A CN 109087273A
Authority
CN
China
Prior art keywords
image
network
layer
feature
enhancing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810803674.3A
Other languages
English (en)
Other versions
CN109087273B (zh
Inventor
田春伟
徐勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201810803674.3A priority Critical patent/CN109087273B/zh
Publication of CN109087273A publication Critical patent/CN109087273A/zh
Priority to PCT/CN2018/124654 priority patent/WO2020015330A1/zh
Application granted granted Critical
Publication of CN109087273B publication Critical patent/CN109087273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于增强的神经网络的图像复原方法，所述方法包括以下步骤：S1、将待复原图像变换成不同缩放因子下的多个低分辨率图像；S2、将多个低分辨率图像分别输入至预先训练好的第一深度卷积神经网络，从而得到对应的不同缩放因子下的多个高分辨率图像；S3、将S2中的多个高分辨率图像分别变换为与待复原图像大小一样的图像，并将这些图像进行融合以得到复原后的图像。本发明还公开了相应的存储介质与图像复原系统。本发明可以防止网络在训练过程中退化并加快收敛速度。

Description

基于增强的神经网络的图像复原方法、存储介质及系统
技术领域
本发明涉及图像复原领域，尤其涉及一种基于增强的神经网络的图像复原方法、存储介质及系统。
背景技术
随着网络技术和通信技术的发展，图像处理应用在越来越广泛的领域，如：航空探索、天气预测、灾难救援以及视频娱乐等。但是拍摄设备在雾霾、雨天、雪天、暗光以及设备抖动等情况下拍照是受影响的。这类通过恢复得到原图像的问题，被称为图像复原问题。图像复原问题是经典的计算机视觉和模型识别问题。其中，图像超分辨和图像去噪是典型的和重要的图像复原问题，其目的是从低分辨率图像恢复得到高分辨率图像，这已经被应用于医学图像和人脸识别。近些年，稀疏方法、马尔科夫和非自适应性方法已经在图像复原上取得一些进步。然而，传统的方法在测试阶段需要优化，这严重地影响模型的效率，并且需要手动调参来找到最有效的特征。随着大数据和GPU(Graphic Processing Unit)的出现，基于深度学习的图像复原问题已经巨大的获得成功。现有的深度学习图像复原技术有VGG网络、更深网络VDSR(Very Deep Super Resolution)和DRCN(Deeply-RecursiveConvolution Network)、深度递归残差网络(DRRN,Deep Recursive Residual Network)等，以及残差网络和GAN(Generative Adversarial Networks)网络相结合的网络、稀疏方法和CNN相结合的网络等，这些网络在图像超分辨问题上可以取得良好的性能。然而，虽然以上方法已经在图像复原问题上取得一定效果，但随着网络越深，网络退化现象越来越严重，同时网络训练过程中收敛速度慢。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种防止深度网络在训练过程中退化且能够加快训练过程中收敛速度的基于增强的神经网络的图像复原方法，以及相关的存储介质和系统。
为解决以上技术问题，本发明所采用的技术方案如下：
根据本发明的第一方面，提供一种基于增强的神经网络的图像复原方法，所述方法包括以下步骤：
S1、将待复原图像变换成不同缩放因子下的多个低分辨率图像；
S2、将多个低分辨率图像分别输入至预先训练好的第一深度卷积神经网络，从而得到对应的不同缩放因子下的多个高分辨率图像；
S3、将S2中的多个高分辨率图像分别变换为与待复原图像大小一样的图像，并将这些图像进行融合以得到复原后的图像，
其中，第一深度卷积神经网络为三层以上的卷积神经网络，且第一深度卷积神经网络的一个或以上的网络层在对其输入进行卷积之后，使用GN方法将卷积结果进行归一化再输入至激活函数，
其中GN方法依次包括如下步骤：
根据公式(1)和(2)来计算某一网络层中Sj(j＝1，2，……，m)像素区域的平均值μj与标准差δj：
其中m为这一网络层的特征总数，j为向量且可表示为j＝[jN,jC,jH,jW]，jN为第j个特征所属的分块，jC为第j个特征所在的通道，jH为第j个特征的高，jW为第j个特征的宽，其中Sj为计算平均值μj和标准差δj的像素的集合且G为预定义的组数，C/G为每组的通道数，其中n为集合Sj中的像素个数，xl为Sj像素区域中第l个特征，c1为常数；
根据公式(3)将这一网络层的第j个特征xj归一化：
x′j＝1/δj(xj-μj) (3)
对归一化后的特征进行公式(4)所示的线性转化：
yj＝γ1x′j+β1 (4)
其中γ1为训练的规模，β1为训练中的转移。
作为本发明上述第一方面的进一步改进，所述方法还包括步骤：
S4、将步骤S3获得的复原图像输入至预先训练好的第二深度卷积神经网络，从而得到质量优化的复原后的图像，
其中第二深度卷积神经网络为三层以上的卷积神经网络，且第二深度卷积神经网络的一个或以上的网络层在对其输入进行卷积之后，使用IN方法将卷积结果进行归一化再输入至激活函数，
其中IN方法依次包括如下步骤：
根据公式(5)和(6)来计算某一网络层中Si(i＝1，2，……，M)像素区域的平均值μi与标准差δi：
其中M为这一网络层的特征总数，i为向量且可表示为i＝[iN,iC,iH,iW]，iN为第i个特征所属的分块，iC为第i个特征所在的通道，iH为第i个特征的高，iW为第i个特征的宽，其中Si为计算平均值μi和标准差δi的像素的集合且Si＝{p|pN＝iN,pC＝iC}，其中k为集合Si中的像素个数，xp为Si像素区域中第p个特征，c2为常数；
根据公式(7)将这一网络层的第i个特征xi归一化：
x′i＝1/δi(xi-μi) (7)
对归一化后的特征进行公式(8)所示的线性转化：
yi＝γ2x′i+β2 (8)
其中γ2为训练的规模，β2为训练中的转移。
作为本发明上述第一方面的进一步改进，所述方法还包括步骤：
S5、将待复原图像与步骤S4获得的图像进行融合，以得到质量进一步优化的复原后的图像。
作为本发明上述第一方面的优选实施方式，其中待复原图像被变换成不同缩放因子下的三个低分辨率图像。
作为本发明上述第一方面的优选实施方式，所述第一深度卷积神经网络为十四层网络结构，其中前三层均为包括卷积层和激活函数的网络层，第四至十三层均为包括卷积层、GN方法和激活函数的网络层，第十四层为卷积层。
作为本发明上述第一方面的优选实施方式，所述第二深度卷积神经网络为十五层网络结构，其中前三层均为包括卷积层和激活函数的网络层，第四至十四层均为包括卷积层、IN方法和激活函数的网络层，第十五层为卷积层。
根据本发明的第二方面，提供一种存储介质，其存储有计算机程序，所述计算机程序用于实现本发明第一方面所述的基于增强的神经网络的图像复原方法。
根据本发明的第三方面，提供一种图像复原系统，所述图像复原系统包括存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现本发明第一方面所述的基于增强的神经网络的图像复原方法。
根据本发明的第四方面，提供一种图像复原系统，所述图像复原系统包括处理器和存储介质，所述存储介质存储有计算机程序，所述处理器运行存储介质中的计算机程序以实现本发明第一方面所述的基于增强的神经网络的图像复原方法。
本发明的有益效果是：
本发明的基于增强的神经网络的图像复原方法中先将待复原图像变换成不同缩放因子下的多个低分辨率图像，再输入至采用了GN方法的第一深度神经网络中，最后将输出的图像进行融合得到复原后的图像。这种方法通过迭代、多输入并结合GN方法可以增强网络的性能，如提高网络超分辨的性能，还可以防止网络在训练过程中退化并加快收敛速度。
本发明的基于增强的神经网络的图像复原方法，将复原图像输入至采用了IN方法的第二深度卷积神经网络，可以得到质量优化的复原后的图像。
本发明的基于增强的神经网络的图像复原方法，可以将待复原图像与第二深度卷积神经网络输出的图像进行融合，以得到质量进一步优化的复原后的图像。
附图说明
图1是本发明基于增强的神经网络的图像复原方法的一个实施例的流程示意图；
图2是本发明基于增强的神经网络的图像复原方法的另一个实施例的流程示意图；
图3是本发明基于增强的神经网络的图像复原方法的另一个实施例的流程示意图；
图4是本发明基于增强的神经网络的图像复原方法的另一个实施例的第一深度卷积神经网络的流程示意图；
图5是本发明基于增强的神经网络的图像复原方法的另一个实施例的第二深度卷积神经网络的流程示意图；
图6为本发明基于增强的神经网络的图像复原方法的另一个实施例的待复原图像变换的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的第一实施例，提供了一种基于增强的神经网络的图像复原方法，如图1所示，所述方法包括以下步骤：
S1、将待复原图像变换成不同缩放因子下的多个低分辨率图像，例如，将待复原图像分别缩小为原图像的1/2、1/3、1/4等等；
S2、将多个低分辨率图像分别输入至预先训练好的第一深度卷积神经网络，从而得到对应的不同缩放因子下的多个高分辨率图像；
S3、将S2中的多个高分辨率图像分别变换为与待复原图像大小一样的图像，并将这些图像进行融合以得到复原后的图像。
其中，第一深度卷积神经网络为三层以上的卷积神经网络，且第一深度卷积神经网络的一个或以上的网络层在对其输入进行卷积之后，使用GN方法将卷积结果进行归一化再输入至激活函数，
由于在图像深度学习中，图像特征可以用四维向量(N，C，H，W)来表示，其中N代表分块(batch)、C代表通道(Channel)，H代表特征的高(Height)以及W代表特征的宽(Weight)，因此本实施例中的GN方法依次包括如下步骤：
根据公式(1)和(2)来计算某一网络层中Sj(j＝1，2，……，m)像素区域的平均值μj与标准差δj：
其中m为这一网络层的特征总数，j为向量且可表示为j＝[jN,jC,jH,jW]，jN为第j个特征所属的分块，jC为第j个特征所在的通道，jH为第j个特征的高，jW为第j个特征的宽，其中Sj为计算平均值μj和标准差δj的像素的集合且(表示l和j位于通道的相同组中)，G为预定义的组数，一般选择为32，C/G为每组的通道数，其中n为集合Sj中的像素个数，xl为Sj像素区域中第l个特征，c1为常数，优选地，c1的数值可为0.0001；
根据公式(3)将这一网络层的第j个特征xj归一化：
x′j＝1/δj(xj-μj) (3)
对归一化后的特征进行公式(4)所示的线性转化：
yj＝γ1x′j+β1 (4)
其中γ1为训练的规模，β1为训练中的转移，优选地，γ1的初始值为1，β1的初始值为0。
当深度网络的深度达到一定程度时，网络会丢失提取到的高分辨率图像的一些重要特征，从而导致网络性能下降，因此在上述实施例中，可以使用待复原图像在不同缩放因子下的多个图像作为神经网络的输入，从而有效解决特征丢失问题。进一步，为了加快网络在训练过程中的收敛速度，上述实施例在网络层中添加了GN归一化操作。
作为本发明上述第一实施例的优选实施方式，其中卷积层的过滤器的大小可以为3×3，这能有效减少网络的参数，避免过拟合。在以下无特别说明的情况下，各实施例的卷积层的过滤器的大小都可以为3×3。
作为本发明上述第一实施例的优选实施方式，其中激活函数可以选用ReLu激活函数。在以下无特别说明的情况下，各实施例的激活函数都可选用ReLu激活函数。
作为本发明上述第一实施例的优选实施方式，可以采用上采样的方法，例如使用双三次插值方法来将步骤S2中的多个高分辨率图像分别变换为与待复原图像大小一样的图像，以用于图像融合从而进行图像复原。
本发明的第二实施例，如图2所示，提供了一种基于增强的神经网络的图像复原方法，其包括上述第一实施例的基本步骤，并在上述第一实施例的基础之上，所述方法还可以包括步骤：
S4、将步骤S3获得的复原图像输入至预先训练好的第二深度卷积神经网络，从而得到质量优化的复原后的图像，
其中第二深度卷积神经网络为三层以上的卷积神经网络，且第二深度卷积神经网络的一个或以上的网络层在对其输入进行卷积之后，使用IN方法将卷积结果进行归一化再输入至激活函数，
请参照第一实施例，本实施例的IN方法可以依次包括如下步骤：
根据公式(5)和(6)来计算某一网络层中Si(i＝1，2，……，M)像素区域的平均值μi与标准差δi：
其中M为这一网络层的特征总数，i为向量且可表示为i＝[iN,iC,iH,iW]，iN为第i个特征所属的分块，iC为第i个特征所在的通道，iH为第i个特征的高，iW为第i个特征的宽，其中Si为计算平均值μi和标准差δi的像素的集合且Si＝{p|pN＝iN,pC＝iC}，其中k为集合Si中的像素个数，xp为Si像素区域中第p个特征，c2为常数，优选地，c2的数值可以为0.0001；
根据公式(7)将这一网络层的第i个特征xi归一化：
x′i＝1/δi(xi-μi) (7)
对归一化后的特征进行公式(8)所示的线性转化：
yi＝γ2x′i+β2 (8)
其中γ2为训练的规模，β2为训练中的转移，优选地，γ2的初始值为1，β2的初始值为0。。
本发明的第三实施例，提供了一种基于增强的神经网络的图像复原方法，其包括上述第二实施例的基本步骤，并在上述第二实施例的基础之上，如图3所示，所述方法还包括步骤：
S5、将待复原图像与步骤S4获得的图像进行融合，以得到质量进一步优化的复原后的图像，从而使得本发明的图像复原方法具有更好的鲁棒性。
作为本发明上述任一实施例的优选实施方式，如图4所示，所述第一深度卷积神经网络可以设置为十四层网络结构，其中前三层均为包括卷积层和激活函数的网络层，第四至十三层均为包括卷积层、GN方法和激活函数的网络层，第十四层可以为单一的卷积层。
作为上述实施例的优选实施方式，为了提高网络性能，本实施例优选得采用递归的方法来使每个网络层的输出都贡献至整个网络中。
作为本发明上述第三实施例的优选实施方式，如图5所示，所述第二深度卷积神经网络可以设置为十五层网络结构，其中前三层均为包括卷积层和激活函数的网络层，第四至十四层均为包括卷积层、IN方法和激活函数的网络层，第十五层可以为单一的卷积层。其中，第二深度卷积神经网络中IN方法的采用也是为了使数据归一化并加快测试过程中的收敛速度。优选地，为了使输入和输出保持一样大小，最后单一的卷积层，也可以选择用上采样方法使输入图像与输出图像大小保持一致。
作为本发明上述任一实施例的优选实施方式，在进行图像复原之前，可以采用一系列模板图像对本发明的网络结构进行不断训练，直到得到误差范围内的所有网络结构参数为止，然后就可以根据训练好的网络结构进行图像复原。
为了更清楚地说明本发明的实现过程，本发明的第四实施例，提供了一种基于增强的神经网络的图像复原方法，如图6所示。本实施例首先将图6的中(a)所示的待复原图像变换成不同缩放因子下的三个低分辨率图像，例如分别如图6的中(b)～(d)所示的缩放因子为1/2的低分辨图像、缩放因子为1/3的低分辨图像以及缩放因子为1/4的低分辨图像。然后，将低分辨图像分别输入至预先训练好的第一深度卷积神经网络得到对应的高分辨率图像，并将其分别变换为与待复原图像大小一样，其分别如图6的中(e)～(g)所示。将这些图像进行融合可以得到初步复原后的图像，如图6中的(h)所示。为了得到质量更优的复原后的图像，可以将图6中的(h)输入至第二深度卷积神经网络，以得到如图6中的(i)所示的优化图像。为了得到质量进一步更优的复原后的图像，可以将最初的待复原图像与图6中的(i)进行融合，以得到精确的复原后的图像，如图6中的(j)所示。
本发明的第五实施例，提供了一种存储介质，其存储有计算机程序，所述计算机程序用于实现本发明第一至第四任一实施例所述的基于增强的神经网络的图像复原方法。
本发明的第六实施例，提供了一种图像复原系统，所述图像复原系统包括存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现本发明第一至第四任一实施例所述的基于增强的神经网络的图像复原方法。
本发明的第七实施例，提供了一种图像复原系统，所述图像复原系统包括处理器和存储介质，所述存储介质存储有计算机程序，所述处理器运行存储介质中的计算机程序以实现本发明第一至第四任一实施例所述的基于增强的神经网络的图像复原方法。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.基于增强的神经网络的图像复原方法，其特征在于，所述方法包括以下步骤：
S1、将待复原图像变换成不同缩放因子下的多个低分辨率图像；
S2、将多个低分辨率图像分别输入至预先训练好的第一深度卷积神经网络，从而得到对应的不同缩放因子下的多个高分辨率图像；
S3、将S2中的多个高分辨率图像分别变换为与待复原图像大小一样的图像，并将这些图像进行融合以得到复原后的图像，
其中，第一深度卷积神经网络为三层以上的卷积神经网络，且第一深度卷积神经网络的一个或以上的网络层在对其输入进行卷积之后，使用GN方法将卷积结果进行归一化再输入至激活函数，
其中GN方法依次包括如下步骤：
根据公式(1)和(2)来计算某一网络层中Sj(j＝1，2，……，m)像素区域的平均值μj与标准差δj：
其中m为这一网络层的特征总数，j为向量且可表示为j＝[jN,jC,jH,jW]，jN为第j个特征所属的分块，jC为第j个特征所在的通道，jH为第j个特征的高，jW为第j个特征的宽，其中Sj为计算平均值μj和标准差δj的像素的集合且G为预定义的组数，C/G为每组的通道数，其中n为集合Sj中的像素个数，xl为Sj像素区域中第l个特征，c1为常数；
根据公式(3)将这一网络层的第j个特征xj归一化：
xj′＝1/δj(xj-μj) (3)
对归一化后的特征进行公式(4)所示的线性转化：
yj＝γ1xj′+β1 (4)
其中γ1为训练的规模，β1为训练中的转移。
2.根据权利要求1所述的基于增强的神经网络的图像复原方法，其特征在于，所述方法还包括步骤：
S4、将步骤S3获得的复原图像输入至预先训练好的第二深度卷积神经网络，从而得到质量优化的复原后的图像，
其中第二深度卷积神经网络为三层以上的卷积神经网络，且第二深度卷积神经网络的一个或以上的网络层在对其输入进行卷积之后，使用IN方法将卷积结果进行归一化再输入至激活函数，
其中IN方法依次包括如下步骤：
根据公式(5)和(6)来计算某一网络层中Si(i＝1，2，……，M)像素区域的平均值μi与标准差δi：
其中M为这一网络层的特征总数，i为向量且可表示为i＝[iN,iC,iH,iW]，iN为第i个特征所属的分块，iC为第i个特征所在的通道，iH为第i个特征的高，iW为第i个特征的宽，其中Si为计算平均值μi和标准差δi的像素的集合且Si＝{p|pN＝iN,pC＝iC}，其中k为集合Si中的像素个数，xp为Si像素区域中第p个特征，c2为常数；
根据公式(7)将这一网络层的第i个特征xi归一化：
xi′＝1/δi(xi-μi) (7)
对归一化后的特征进行公式(8)所示的线性转化：
yi＝γ2xi′+β2 (8)
其中γ2为训练的规模，β2为训练中的转移。
3.根据权利要求2所述的基于增强的神经网络的图像复原方法，其特征在于，所述方法还包括步骤：
S5、将待复原图像与步骤S4获得的图像进行融合，以得到质量进一步优化的复原后的图像。
4.根据权利要求3所述的基于增强的神经网络的图像复原方法，其特征在于，其中待复原图像被变换成不同缩放因子下的三个低分辨率图像。
5.根据权利要求1-4任一项所述的基于增强的神经网络的图像复原方法，其特征在于，所述第一深度卷积神经网络为十四层网络结构，其中前三层均为包括卷积层和激活函数的网络层，第四至十三层均为包括卷积层、GN方法和激活函数的网络层，第十四层为卷积层。
6.根据权利要求2-4任一项所述的基于增强的神经网络的图像复原方法，其特征在于，所述第二深度卷积神经网络为十五层网络结构，其中前三层均为包括卷积层和激活函数的网络层，第四至十四层均为包括卷积层、IN方法和激活函数的网络层，第十五层为卷积层。
7.一种存储介质，其特征在于，其存储有计算机程序，所述计算机程序用于实现权利要求1-6任一项所述的基于增强的神经网络的图像复原方法。
8.一种图像复原系统，其特征在于，所述图像复原系统包括存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现权利要求1-6任一项所述的基于增强的神经网络的图像复原方法。
9.一种图像复原系统，其特征在于，所述图像复原系统包括处理器和存储介质，所述存储介质存储有计算机程序，所述处理器运行存储介质中的计算机程序以实现权利要求1-6任一项所述的基于增强的神经网络的图像复原方法。
CN201810803674.3A 2018-07-20 2018-07-20 基于增强的神经网络的图像复原方法、存储介质及系统 Active CN109087273B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810803674.3A CN109087273B (zh) 2018-07-20 2018-07-20 基于增强的神经网络的图像复原方法、存储介质及系统
PCT/CN2018/124654 WO2020015330A1 (zh) 2018-07-20 2018-12-28 基于增强的神经网络的图像复原方法、存储介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810803674.3A CN109087273B (zh) 2018-07-20 2018-07-20 基于增强的神经网络的图像复原方法、存储介质及系统

Publications (2)

Publication Number Publication Date
CN109087273A true CN109087273A (zh) 2018-12-25
CN109087273B CN109087273B (zh) 2021-09-14

Family

ID=64838367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810803674.3A Active CN109087273B (zh) 2018-07-20 2018-07-20 基于增强的神经网络的图像复原方法、存储介质及系统

Country Status (2)

Country Link
CN (1) CN109087273B (zh)
WO (1) WO2020015330A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060215A (zh) * 2019-04-16 2019-07-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110189247A (zh) * 2019-05-16 2019-08-30 北京航空航天大学 图像生成的方法、装置及系统
WO2020015330A1 (zh) * 2018-07-20 2020-01-23 哈尔滨工业大学（深圳） 基于增强的神经网络的图像复原方法、存储介质及系统
CN111429458A (zh) * 2020-03-20 2020-07-17 北京创世云科技有限公司 一种图像还原的方法、装置及电子设备
WO2020164189A1 (zh) * 2019-02-15 2020-08-20 北京市商汤科技开发有限公司 图像复原方法及装置、电子设备、存储介质
CN114186686A (zh) * 2022-02-17 2022-03-15 江苏游隼微电子有限公司 一种图像去噪神经网络训练方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462002B (zh) * 2020-03-19 2022-07-12 重庆理工大学 一种基于卷积神经网络的水下图像增强与复原方法
CN111429378A (zh) * 2020-04-01 2020-07-17 天津大学前沿技术研究院有限公司 基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法
CN111968034A (zh) * 2020-07-30 2020-11-20 北京大米科技有限公司 图像复原方法、装置、电子设备和计算机可读存储介质
CN112801266B (zh) * 2020-12-24 2023-10-31 武汉旷视金智科技有限公司 神经网络构建方法、装置、设备及介质
CN112634391B (zh) * 2020-12-29 2023-12-29 华中科技大学 一种基于压缩感知的灰度图像深度重建及故障诊断系统
CN113705718B (zh) * 2021-09-06 2024-04-02 齐齐哈尔大学 基于多层次特征密集融合的遥感场景图像分类方法
CN115346080B (zh) * 2022-07-22 2024-06-18 本源量子计算科技（合肥）股份有限公司 基于量子计算的图像处理方法及相关设备
CN115937018B (zh) * 2022-11-03 2023-11-03 江苏济远医疗科技有限公司 一种利用多通道反馈网络进行图像复原的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070217713A1 (en) * 2004-12-16 2007-09-20 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low resolution frames
CN102360498A (zh) * 2011-10-27 2012-02-22 江苏省邮电规划设计院有限责任公司 图像超分辨率重建方法
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10200671B2 (en) * 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
CN102629373B (zh) * 2012-02-27 2014-05-28 天津大学 基于稀疏表示理论的超分辨率图像获取方法
CN106600533B (zh) * 2016-12-08 2019-09-17 浙江工业大学 单图像超分辨率重建方法
CN107507134B (zh) * 2017-09-21 2020-09-11 大连理工大学 基于卷积神经网络的超分辨率方法
CN109087273B (zh) * 2018-07-20 2021-09-14 哈尔滨工业大学（深圳） 基于增强的神经网络的图像复原方法、存储介质及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070217713A1 (en) * 2004-12-16 2007-09-20 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low resolution frames
CN102360498A (zh) * 2011-10-27 2012-02-22 江苏省邮电规划设计院有限责任公司 图像超分辨率重建方法
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DMITRY ULYANOV,ANDREA VEDALDI: "Instance Normalization:The Missing Ingredient for Fast Stylization", 《ARXIV》 *
SERGEY IOFFE、CHRISTIAN SZEGEDY: "Batch Normalization: Accelerating Deep Network Training by", 《ARXIV》 *
杨文瀚，刘家琪，夏思烽，郭宗明: "数据外补偿的深度网络超分辨率重建", 《软件学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020015330A1 (zh) * 2018-07-20 2020-01-23 哈尔滨工业大学（深圳） 基于增强的神经网络的图像复原方法、存储介质及系统
WO2020164189A1 (zh) * 2019-02-15 2020-08-20 北京市商汤科技开发有限公司 图像复原方法及装置、电子设备、存储介质
CN110060215A (zh) * 2019-04-16 2019-07-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110060215B (zh) * 2019-04-16 2021-09-10 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110189247A (zh) * 2019-05-16 2019-08-30 北京航空航天大学 图像生成的方法、装置及系统
CN110189247B (zh) * 2019-05-16 2021-01-19 北京航空航天大学 图像生成的方法、装置及系统
CN111429458A (zh) * 2020-03-20 2020-07-17 北京创世云科技有限公司 一种图像还原的方法、装置及电子设备
CN114186686A (zh) * 2022-02-17 2022-03-15 江苏游隼微电子有限公司 一种图像去噪神经网络训练方法

Also Published As

Publication number Publication date
WO2020015330A1 (zh) 2020-01-23
CN109087273B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN109087273A (zh) 基于增强的神经网络的图像复原方法、存储介质及系统
CN109003282B (zh) 一种图像处理的方法、装置及计算机存储介质
WO2022252272A1 (zh) 一种基于迁移学习的改进vgg16网络猪的身份识别方法
CN108961186B (zh) 一种基于深度学习的老旧影片修复重制方法
CN110276354B (zh) 一种高分辨率街景图片语义分割训练与实时分割方法
CN108734661B (zh) 基于图像纹理信息构建损失函数的高分辨率图像预测方法
CN105488776B (zh) 超分辨率图像重建方法和装置
CN109101975A (zh) 基于全卷积神经网络的图像语义分割方法
CN110570377A (zh) 一种基于组归一化的快速图像风格迁移方法
CN107767413A (zh) 一种基于卷积神经网络的图像深度估计方法
CN109272452B (zh) 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN113344806A (zh) 一种基于全局特征融合注意力网络的图像去雾方法与系统
CN108428212A (zh) 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN109544448A (zh) 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法
CN113096017A (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN112508960A (zh) 一种基于改进注意力机制的低精度图像语义分割方法
CN110610467B (zh) 一种基于深度学习的多帧视频去压缩噪声方法
CN106920214A (zh) 空间目标图像超分辨率重建方法
CN109325915A (zh) 一种用于低分辨率监控视频的超分辨率重建方法
CN110634147A (zh) 基于双边引导上采样的图像抠图方法
CN107833182A (zh) 基于特征提取的红外图像超分辨率重建方法
CN115393191A (zh) 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN114881888A (zh) 基于线性稀疏注意力Transformer的视频去摩尔纹方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant