CN110223245B - 基于深度神经网络的模糊图片清晰化处理方法及系统 - Google Patents

基于深度神经网络的模糊图片清晰化处理方法及系统 Download PDF

Info

Publication number
CN110223245B
CN110223245B CN201910405703.5A CN201910405703A CN110223245B CN 110223245 B CN110223245 B CN 110223245B CN 201910405703 A CN201910405703 A CN 201910405703A CN 110223245 B CN110223245 B CN 110223245B
Authority
CN
China
Prior art keywords
image
network
processing
gan
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910405703.5A
Other languages
English (en)
Other versions
CN110223245A (zh
Inventor
唐珩膑
彭德智
舒琳
王岽然
张国雄
巫朝政
邢晓芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910405703.5A priority Critical patent/CN110223245B/zh
Publication of CN110223245A publication Critical patent/CN110223245A/zh
Application granted granted Critical
Publication of CN110223245B publication Critical patent/CN110223245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度神经网络的模糊图片清晰化处理方法及系统，所述方法包括以下步骤：通过模糊算法将原图像P进行模糊化处理得到图像
Figure DDA0002061145530000011
将原图像P与模糊化处理后的图像
Figure DDA0002061145530000012
作为训练数据训练BiCycleGAN网络；实际应用时，将需要处理的模糊图像传输到服务器，服务器接收到该模糊图像数据后，调用训练好的BiCycleGAN网络进行清晰化处理并将处理结果返回。所述方法解决了由于硬件或者图像内容本身造成的模糊问题，并且利用了深度神经网络来解决这一问题，拓展了解决图像模糊的处理方式。

Description

基于深度神经网络的模糊图片清晰化处理方法及系统
技术领域
本发明涉及图像处理和深度学习领域，具体涉及一种基于深度神经网络的模糊图片清晰化处理方法及系统。
背景技术
近年来，随着移动互联网的迅速发展，智能手机成为人们日常生活中不可缺少的一部分。智能手机硬件迅速迭代，移动端计算能力越来越强，移动端逐渐取代PC端成为互联网流量的入口，诞生出许多新的需求，拍照便是人们无论是旅游还是日常生活中最受欢迎的需求之一。实际拍摄中，在感光过程中的微小抖动是难以避免的，抖动可能来自拍摄者本身，也可能是快门时间不够短造成的，这些抖动会造成像素点重叠而导致拍摄出来的照片模糊不够清晰。
目前比较常见的防抖方法有OIS光学防抖、EIS电子防抖和AIS人工智能防抖。OIS光学防抖是给镜头配备光学防抖模组，相比较而言，这种防抖方式的成本更高，同时防抖模组也会占据较大的体积。EIS电子防抖利用数字电路对画面进行处理防抖，虽然成本低廉，但实际上降低了图像传感器的利用率，对画面清晰度和分辨率都会造成一定程度上的影响和损失。AIS防抖则将OIS与EIS两者结合在一起，再加持AI算法。但现有的图像处理上关于模糊去除仍有许多的不足，急需一种更好的模糊图片清晰化处理方法。
发明内容
本发明的目的是针对现有技术的不足，提供了一种基于深度神经网络的模糊图片清晰化处理方法，所述方法在算法层面上将深度神经网络应用到抖动模糊图片清晰化处理技术当中，基于BicycleGAN针对抖动模糊图片进行清晰化处理，弥补了现有图像处理上关于模糊去除的不足，能充分解决由于图像捕捉硬件(手机、相机等)造成的硬件性模糊与图像内容实际场景模糊造成的图像质量缺陷，大幅度提高图像的清晰度。
本发明的另一目的在于提供一种基于深度神经网络的模糊图片清晰化处理系统。
本发明的目的可以通过如下技术方案实现：
一种基于深度神经网络的模糊图片清晰化处理方法，所述方法包括以下步骤：
通过模糊算法将原图像P进行模糊化处理得到图像
Figure BDA0002061145510000011
将原图像P与模糊化处理后的图像
Figure BDA00020611455100000223
作为训练数据训练BiCycleGAN网络；
实际应用时，将需要处理的模糊图像传输到服务器，服务器接收到该模糊图像数据后，调用训练好的BiCycleGAN网络进行清晰化处理并将处理结果返回。
进一步地，所述方法使用Pascal VOC数据集中的图像作为原清晰图像P。
进一步地，所述方法对原图像P进行模糊化处理的具体过程如下：
若原清晰图像P∈(X，Y，N)，即是高为X像素，宽为Y像素，通道为N的图像数据，并且，原清晰图像中
Figure BDA0002061145510000021
表征了某一像素点的所有特征，xi，
Figure BDA0002061145510000022
是图像像素位置信息，
Figure BDA0002061145510000023
对应了该像素的N个通道值，此处使用RGB三通道图像，即N＝3；
在模糊化处理过程中，图像根据指定的方向THETA及模糊程度LEN为参数进行具体操作，其中模糊程度LEN以像素个数为单位，某一像素点
Figure BDA0002061145510000024
的色域通道值
Figure BDA0002061145510000025
将在以其源点
Figure BDA0002061145510000026
为极坐标原点，沿线段l：
Figure BDA0002061145510000027
进行像素点重复，其中THETA是沿逆时针的方向角，LEN是模糊偏移的像素单位距离值，这体现了实际过程中的抖动，反映在某一像素点
Figure BDA0002061145510000028
的通道取值上，即是该点的色域通道值，满足：
Figure BDA0002061145510000029
在该表示方法中，下标i，
Figure BDA00020611455100000210
表明此通道值所属像素点的位置，即该值所在的像素点为
Figure BDA00020611455100000211
第三个下标m标示了该值所属的通道，此处采用的是RGB三色通道，所以在表式中
Figure BDA00020611455100000212
式中，
Figure BDA00020611455100000213
是对因抖动造成的被叠加到像素点
Figure BDA00020611455100000214
上的其他像素点的表述，这些点在线段
Figure BDA00020611455100000215
上，而其点上的色域通道值
Figure BDA00020611455100000216
则因抖动而被覆盖到点
Figure BDA00020611455100000217
的通道上，构成了
Figure BDA00020611455100000218
的组成部分之一，此处按照如上方法进行模糊生成。
进一步地，所述模糊化处理的过程中，LEN的取值在
Figure BDA00020611455100000219
范围内随机选取，X为原清晰图像P的高度，Y为原清晰图像P的宽度，THETA则在(0°，360°)范围内随机选取。
进一步地，所述方法在训练BiCycleGAN网络的过程中，涉及到图像的输入域和输出域，考虑输入域图像集
Figure BDA00020611455100000220
它与目标图像集
Figure BDA00020611455100000221
相对应，在训练阶段，提供训练数据对
Figure BDA00020611455100000222
对于一个输入实例A，能够根据联合分布p(A，B)对应多个合理配对实例B，但是实际训练时只提供一个配对实例，在测试阶段，如果提供一个输入实例A，实际会根据条件概率p(B|A)生成多个合理配对实例，此处记为
Figure BDA00020611455100000319
为了表征输入与输出之间的差距，此处引入一个低维度的隐码向量
Figure BDA00020611455100000320
来具体表达这种差距，由此，生成对抗网络中的生成函数G便能够写成G：(A，z)→B，其中，隐码向量z为生成函数提供了扰动和修正，这里令其服从正态分布，即p(z)～N(0，I)。
进一步地，所述方法训练的BiCycleGAN网络包括两个子网络cVAE-GAN和cLR-GAN。
进一步地，所述cVAE-GAN网络部分，即是条件变分自动编码生成对抗网络，实现完整的从标注源图像到输出图像
Figure BDA0002061145510000031
的处理，本网络能够将隐码z直接与标注源图像刀相关联，生成器将待处理的图像A与隐码z来合成输出图像
Figure BDA0002061145510000032
cVAE-GAN网络的最终目标公式为：
Figure BDA0002061145510000033
其中：
Figure BDA0002061145510000034
在上述表达式中，
Figure BDA0002061145510000035
与
Figure BDA0002061145510000036
分别是需要通过训练求出的最优的生成器和最优编码函数，
Figure BDA0002061145510000037
是编码器与正态分布的KL散度期望表达式，
Figure BDA0002061145510000038
是cVAE-GAN网络的L1正则化损失，λ与λKL为控制L1正则化损失与KL散度在优化目标中的比重的折扣因子，由此共同组成了cVAE-GAN网络的优化目标
Figure BDA0002061145510000039
与
Figure BDA00020611455100000310
所述cLR-GAN网络部分，即是条件隐回归生成对抗网络，实现从隐码z生成目标图像
Figure BDA00020611455100000311
并通过隐码与生成的图像结合反向生成修正隐码
Figure BDA00020611455100000312
利用这个生成对抗网络来优化隐码，使之能够将源带有模糊的图片A与最后生成的清晰化的图片连接起来，其中生成的隐码
Figure BDA00020611455100000313
此处，E是一个服从高斯分布的对于
Figure BDA00020611455100000314
进行估计的编码器；基于此，能够获得cLR-GAN网络生成的修正隐码
Figure BDA00020611455100000315
与z的损失函数：
Figure BDA00020611455100000316
因此，cLR-GAN网络总的损失函数表示为：
Figure BDA00020611455100000317
综合了上述两个子网络的优化目标，BiCycleGAN网络总的损失函数能够由cVAE-GAN和cLR-GAN的损失函数综合表示为：
Figure BDA00020611455100000318
本发明的另一目的可以通过如下技术方案实现：
一种基于深度神经网络的模糊图片清晰化处理系统，所述系统的服务器采用了上述基于深度神经网络的模糊图片清晰化处理方法。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明提供的基于深度神经网络的模糊图片清晰化处理方法，解决了由于硬件或者图像内容本身造成的模糊问题，并且利用了深度神经网络来解决这一问题，拓展了解决图像模糊的处理方式。
2、本发明提供的基于深度神经网络的模糊图片清晰化处理方法，具有多场景适应性，可以针对不同的模糊类型进行相应训练并获得相应的较好的处理结果，弥补了现有技术可塑性性不足、只能针对特定模糊进行去除的缺陷。
附图说明
图1为本发明实施例中基于深度神经网络的模糊图片清晰化处理系统整体结构图。
图2为本发明实施例中cMAE-GAN网络的实现结构图。
图3为本发明实施例中cLR-GAN网络的实现结构图。
图4(a)为本发明实施例的第一幅模糊图像，图4(b)为图4(a)清晰化处理后的图像；图4(c)为本发明实施例的第二幅模糊图像，图4(d)为图4(c)清晰化处理后的图像。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
本实施例提供了一种基于深度神经网络的模糊图片清晰化处理方法，在本实施例中，所述方法在如图1所示，与之相配的以安卓平台为核心的物理系统上执行，包括以下步骤：
通过模糊算法将原图像P进行模糊化处理得到图像
Figure BDA0002061145510000041
将原图像P与模糊化处理后的图像
Figure BDA0002061145510000042
作为训练数据训练BiCycleGAN网络；
实际应用时，将图像采集端获得的需要处理的模糊图像通过安卓交换平台传输到服务器，服务器接收到该模糊图像数据后，调用训练好的BiCycleGAN网络进行清晰化处理并将处理结果回传到安卓交换平台，安卓交换平台再在图像显示端显示出清晰图像。
其中，所述方法在训练BiCycleGAN网络的过程中，涉及到图像的输入域和输出域，考虑输入域图像集
Figure BDA0002061145510000051
它与目标图像集
Figure BDA0002061145510000052
相对应，在训练阶段，提供训练数据对
Figure BDA0002061145510000053
对于一个输入实例A，能够根据联合分布p(A，B)对应多个合理配对实例B，但是实际训练时只提供一个配对实例，在测试阶段，如果提供一个输入实例A，实际会根据条件概率p(B|A)生成多个合理配对实例，此处记为
Figure BDA0002061145510000054
为了表征输入与输出之间的差距，此处引入一个低维度的隐码向量
Figure BDA0002061145510000055
来具体表达这种差距，由此，生成对抗网络中的生成函数G便能够写成G：(A，z)→B，其中，隐码向量z为生成函数提供了扰动和修正，这里令其服从正态分布，即p(z)～N(0，I)。训练的BiCycleGAN网络包括两个子网络cVAE-GAN和cLR-GAN。
cVAE-GAN(Conditional Variational Autoencoder GAN)部分，即是条件变分自动编码生成对抗网络。如图2所示，这个网络将源图像数据B的特征使用编码函数E以隐码向量的形式提取出来，我们将隐码与源图像的条件分布Q(z|B)用编码函数E来表示，即
Figure BDA0002061145510000056
也就是说，隐码z可以表达成函数E(B)的一个采样，即z～E(B)。然后生成器G使用隐码和与B成对的图像A综合得出合理配对实例
Figure BDA0002061145510000057
cVAE-GAN可以实现完整的从源图像到合理配对图像
Figure BDA0002061145510000058
的处理。在此基础上，反向传播函数
Figure BDA0002061145510000059
可以具体表示为：
Figure BDA00020611455100000510
生成器结果的l1正则化表达式如下：
Figure BDA00020611455100000511
并且，在源图像B已知的情况下，使函数E(B)编码的隐码与源图像之间的差距的分布趋近于随机高斯分布，因此，引入分布差距：
Figure BDA00020611455100000512
其中，
Figure BDA00020611455100000513
至此，我们可以写出cVAE-GAN网络的总的损失函数为：
Figure BDA00020611455100000514
式中，G*与E*是我们需要通过训练求出的最优的生成器和最优编码函数。
cLR-GAN(Conditional Latent Regressor GAN)部分，即是条件隐回归生成对抗网络。如图3所示，这个网络首先为生成器提供一个随机隐向量，该网络生成的图像与源图像直观上相似度较低但更符合人们日常认知。而后，编码器将尝试重建输出图像的隐向量。
cLR-GAN能实现从隐码z生成目标图像
Figure BDA00020611455100000515
并通过随机的隐码与生成的图像结合反向生成隐码
Figure BDA00020611455100000516
利用这个生成对抗网络来优化隐码，使之能够将源带有模糊的图片A与最后生成的清晰化的图片连接起来。其中生成的隐码
Figure BDA00020611455100000517
此处，E是一个服从高斯分布的对于
Figure BDA00020611455100000518
进行估计的编码器。基于此，我们可以获得此生成器的l1正则化表达式：
Figure BDA0002061145510000061
因此，cLR-GAN网络总的损失函数可以表示为：
Figure BDA0002061145510000062
此处未用l1正则化，因为噪声向量是随机选择的，预测的
Figure BDA0002061145510000063
没有必要在用正则化让其与标签图像一致而只需保持其视觉真实性即可。
综合以上两种网络的优势，联合形成了BicycleGAN，即是本发明的核心深度神经网络。其结合了隐码编码与输出的优势，同时，将隐码编码植入生成器，把两个网络的编码效果与损失函数综合起来训练，实现了从输入图像到隐码再到输出图像的过程并通过隐码生成输出图像，再反向生成优化隐码来调整前者网络
Figure BDA0002061145510000064
的过程，让两个网络在训练过程中反复互相优化。在综合了上述两个网络的损失函数后，本发明中BicycleGAN网络的总的损失函数可以表示为：
Figure BDA0002061145510000065
其中λ、λlatent、λKL分别控制了几个部分的重要性。根据上述总的损失函数，本发明搭建了相应的神经网络进行训练与调试。
将图4(a)所示的第一幅模糊图像输入所述系统中，清晰化处理后得到图4(b)所示的清晰图像；将图4(c)所示的第二幅模糊图像输入所述系统中，清晰化处理后得到图4(d)所示的清晰图像；从中可以看出，本发明能够能充分解决由于图像捕捉硬件(手机、相机等)造成的硬件性模糊与图像内容实际场景模糊造成的图像质量缺陷，大幅度提高图像的清晰度。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (6)

1.一种基于深度神经网络的模糊图片清晰化处理方法，其特征在于，所述方法包括以下步骤：
通过模糊算法将原图像P进行模糊化处理得到图像
Figure FDA0003044323410000017
将原图像P与模糊化处理后的图像
Figure FDA0003044323410000018
作为训练数据训练BiCycleGAN网络；
所述方法对原图像P进行模糊化处理的具体过程如下：
若原清晰图像P∈(X，Y，N)，即是高为X像素，宽为Y像素，通道为N的图像数据，并且，原清晰图像中
Figure FDA0003044323410000011
表征了某一像素点的所有特征，xi，y j 是图像像素位置信息，(n1，...，nN)对应了该像素的N个通道值，此处使用RGB三通道图像，即N＝3；
在模糊化处理过程中，图像根据指定的方向THETA及模糊程度LEN为参数进行具体操作，其中模糊程度LEN以像素个数为单位，某一像素点(xi，y j )的色域通道值(n1，n2，n3)将在以其源点(xi，y j )为极坐标原点，沿线段l：
Figure FDA0003044323410000019
进行像素点重复，其中THETA是沿逆时针的方向角，LEN是模糊偏移的像素单位距离值，这体现了实际过程中的抖动，反映在某一像素点(xi，yj)的通道取值上，即是该点的色域通道值，满足：
Figure FDA0003044323410000012
在该表示方法中，第三个下标m标示了该值所属的通道，此处采用的是RGB三色通道，所以在表达式中m∈(1，2，3)；式中，
Figure FDA0003044323410000013
是对因抖动造成的被叠加到像素点(xi，y j )上的其他像素点的表述，这些点在线段-l(xi，y j )上，而其点上的色域通道值
Figure FDA0003044323410000014
则因抖动而被覆盖到点(xi，y j )的通道上，构成了
Figure FDA0003044323410000015
的组成部分之一，此处按照如上方法进行模糊生成；
所述模糊化处理的过程中，LEN的取值在
Figure FDA0003044323410000016
范围内随机选取，X为原清晰图像P的高度，Y为原清晰图像P的宽度，THETA则在(0°，360°)范围内随机选取；
实际应用时，将需要处理的模糊图像传输到服务器，服务器接收到该模糊图像数据后，调用训练好的BiCycleGAN网络进行清晰化处理并将处理结果返回。
2.根据权利要求1所述的一种基于深度神经网络的模糊图片清晰化处理方法，其特征在于：所述方法使用PascalVOC数据集中的图像作为原清晰图像P。
3.根据权利要求1所述的一种基于深度神经网络的模糊图片清晰化处理方法，其特征在于：所述方法在训练BiCycleGAN网络的过程中，涉及到图像的输入域和输出域，考虑输入域图像集
Figure FDA0003044323410000021
它与目标图像集
Figure FDA0003044323410000022
相对应，在训练阶段，提供训练数据对
Figure FDA0003044323410000023
对于一个输入实例A，能够根据联合分布p(A，B)对应多个合理配对实例B，但是实际训练时只提供一个配对实例，在测试阶段，如果提供一个输入实例A，实际会根据条件概率p(B|A)生成多个合理配对实例，此处记为
Figure FDA0003044323410000024
为了表征输入与输出之间的差距，此处引入一个低维度的隐码向量
Figure FDA0003044323410000025
来具体表达这种差距，由此，生成对抗网络中的生成函数G便能够写成G：(A，z)→B，其中，隐码向量z为生成函数提供了扰动和修正，这里令其服从正态分布，即p(z)～N(0，I)。
4.根据权利要求3所述的一种基于深度神经网络的模糊图片清晰化处理方法，其特征在于：所述方法训练的BiCycleGAN网络包括两个子网络cVAE-GAN和cLR-GAN。
5.根据权利要求4所述的一种基于深度神经网络的模糊图片清晰化处理方法，其特征在于：所述cVAE-GAN网络部分，即是条件变分自动编码生成对抗网络，实现完整的从标注源图像到输出图像
Figure FDA0003044323410000026
的处理，本网络能够将隐码z直接与标注源图像B相关联，生成器将待处理的图像A与隐码z来合成输出图像
Figure FDA0003044323410000027
cVAE-GAN网络的最终目标公式为：
Figure FDA0003044323410000028
其中：
Figure FDA0003044323410000029
在上述表达式中，
Figure FDA00030443234100000210
与
Figure FDA00030443234100000211
分别是需要通过训练求出的最优的生成器和最优编码函数，
Figure FDA00030443234100000212
是编码器与正态分布的KL散度期望表达式，
Figure FDA00030443234100000213
是cVAE-GAN网络的L1正则化损失，λ与λKL为控制L1正则化损失与KL散度在优化目标中的比重的折扣因子，由此共同组成了cVAE-GAN网络的优化目标
Figure FDA00030443234100000214
与
Figure FDA00030443234100000215
所述cLR-GAN网络部分，即是条件隐回归生成对抗网络，实现从隐码z生成目标图像
Figure FDA00030443234100000216
并通过隐码与生成的图像结合反向生成修正隐码
Figure FDA00030443234100000217
利用这个生成对抗网络来优化隐码，使之能够将源带有模糊的图片A与最后生成的清晰化的图片连接起来，其中生成的隐码
Figure FDA00030443234100000218
此处，E是一个服从高斯分布的对于
Figure FDA00030443234100000219
进行估计的编码器；基于此，能够获得cLR-GAN网络生成的修正隐码
Figure FDA00030443234100000220
与z的损失函数：
Figure FDA00030443234100000221
因此，cLR-GAN网络总的损失函数表示为：
Figure FDA0003044323410000031
综合了上述两个子网络的优化目标，BiCycleGAN网络总的损失函数能够由cVAE-GAN和cLR-GAN的损失函数综合表示为：
Figure FDA0003044323410000032
6.一种基于深度神经网络的模糊图片清晰化处理系统，其特征在于：所述系统的服务器采用了权利要求1～5任一所述基于深度神经网络的模糊图片清晰化处理方法。
CN201910405703.5A 2019-05-16 2019-05-16 基于深度神经网络的模糊图片清晰化处理方法及系统 Active CN110223245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910405703.5A CN110223245B (zh) 2019-05-16 2019-05-16 基于深度神经网络的模糊图片清晰化处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910405703.5A CN110223245B (zh) 2019-05-16 2019-05-16 基于深度神经网络的模糊图片清晰化处理方法及系统

Publications (2)

Publication Number Publication Date
CN110223245A CN110223245A (zh) 2019-09-10
CN110223245B true CN110223245B (zh) 2021-07-16

Family

ID=67821068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405703.5A Active CN110223245B (zh) 2019-05-16 2019-05-16 基于深度神经网络的模糊图片清晰化处理方法及系统

Country Status (1)

Country Link
CN (1) CN110223245B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634428A (zh) * 2019-10-09 2021-04-09 四川大学 一种基于双向循环生成网络的多孔介质三维图像重建方法
CN111402159B (zh) * 2020-03-13 2021-05-18 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN111986104B (zh) * 2020-07-23 2023-02-28 河海大学 一种基于深度学习的人脸图像去模糊方法
CN113436137A (zh) * 2021-03-12 2021-09-24 北京世纪好未来教育科技有限公司 一种图像清晰度识别方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194115A (zh) * 2010-03-18 2011-09-21 富士通株式会社 图像处理装置和图像处理方法
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN104966274A (zh) * 2015-06-12 2015-10-07 杭州电子科技大学 一种采用图像检测与区域提取的局部模糊复原方法
CN105913395A (zh) * 2016-04-10 2016-08-31 中国人民解放军海军航空工程学院青岛校区 一种运动目标观测及模糊复原方法
CN107409166A (zh) * 2015-04-10 2017-11-28 高通股份有限公司 摇摄镜头的自动生成
CN109345466A (zh) * 2018-08-10 2019-02-15 北京航空航天大学 电磁成像空变模糊恢复方法及装置
CN109496326A (zh) * 2017-12-29 2019-03-19 深圳配天智能技术研究院有限公司 一种图像处理方法、设备及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983511B1 (en) * 2010-11-29 2011-07-19 Adobe Systems Incorporated Methods and apparatus for noise reduction in digital images
US9432575B2 (en) * 2013-06-28 2016-08-30 Canon Kabushiki Kaisha Image processing apparatus
CN103400353B (zh) * 2013-08-02 2017-06-16 成都品果科技有限公司 一种将图片转为油画的方法
EP3271871A4 (en) * 2015-03-16 2018-10-17 Nokia Technologies Oy Moving object detection based on motion blur
CN108198151B (zh) * 2018-02-06 2022-02-11 东南大学 一种基于改进rl反卷积算法的星图去模糊方法
CN109544464A (zh) * 2018-10-19 2019-03-29 天津大学 一种基于轮廓提取的火灾视频图像分析方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194115A (zh) * 2010-03-18 2011-09-21 富士通株式会社 图像处理装置和图像处理方法
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN107409166A (zh) * 2015-04-10 2017-11-28 高通股份有限公司 摇摄镜头的自动生成
CN104966274A (zh) * 2015-06-12 2015-10-07 杭州电子科技大学 一种采用图像检测与区域提取的局部模糊复原方法
CN105913395A (zh) * 2016-04-10 2016-08-31 中国人民解放军海军航空工程学院青岛校区 一种运动目标观测及模糊复原方法
CN109496326A (zh) * 2017-12-29 2019-03-19 深圳配天智能技术研究院有限公司 一种图像处理方法、设备及系统
CN109345466A (zh) * 2018-08-10 2019-02-15 北京航空航天大学 电磁成像空变模糊恢复方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Boyu Lu 等，.Unsupervised Domain-Specific Deblurring via Disentangled Representations.《arXiv》.2019,第2019年卷 *
Toward Multimodal Image-to-Image Translation;Jun-Yan Zhu 等，;《arXiv》;20181024;第2018年卷;第3节、图2 *
Unsupervised Domain-Specific Deblurring via Disentangled Representations;Boyu Lu 等，;《arXiv》;20190305;第2019年卷;第2.2节、第3节、摘要 *
基于极坐标的相向运动图像模糊的递归模型;陈喜春 等，;《光子学报》;20070331;第36卷(第3期);第552-556页 *

Also Published As

Publication number Publication date
CN110223245A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN110223245B (zh) 基于深度神经网络的模糊图片清晰化处理方法及系统
US20190294931A1 (en) Systems and Methods for Generative Ensemble Networks
CN112507617B (zh) 一种SRFlow超分辨率模型的训练方法及人脸识别方法
Lin et al. Reconstruction algorithm for lost frame of multiview videos in wireless multimedia sensor network based on deep learning multilayer perceptron regression
CN113159019B (zh) 一种基于光流变换的暗光视频增强方法
KR20210116922A (ko) 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치
CN110610467A (zh) 一种基于深度学习的多帧视频去压缩噪声方法
CN110766153A (zh) 神经网络模型训练方法、装置及终端设备
Wan et al. Purifying low-light images via near-infrared enlightened image
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
CN116208807A (zh) 视频帧处理方法及装置、视频帧去噪方法及装置
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
CN111861940A (zh) 一种基于条件连续调节的图像调色增强方法
CN111104987A (zh) 人脸识别方法、装置及电子设备
KR20230086998A (ko) 얼굴 세그먼트 영역에 노이즈를 부가하여 가상 인물 콘텐츠를 생성하는 컴퓨터 프로그램
KR20230086999A (ko) 가상 인물 콘텐츠 생성 프로그램을 기록한 기록매체
KR20230086996A (ko) 노이즈 추가 프로세스를 수행하는 컴퓨터 프로그램
CN113205464A (zh) 图像去模糊模型的生成方法、图像去模糊方法和电子设备
CN112418279A (zh) 图像融合方法、装置、电子设备及可读存储介质
CN111861948B (zh) 图像处理方法、装置、设备及计算机存储介质
CN117788311B (zh) 基于包围摄影的自监督自适应的图像复原和增强方法
CN114897732B (zh) 基于物理模型与特征稠密关联的图像去雾方法及装置
Bajaj et al. Recursive Self-Improvement for Camera Image and Signal Processing Pipeline
CN117689595A (zh) 图像处理模型训练方法、图像处理方法和装置
KR20230086994A (ko) 가상 인물 콘텐츠를 생성하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant