CN112132757B - 一种基于神经网络的通用图像复原方法 - Google Patents
一种基于神经网络的通用图像复原方法 Download PDFInfo
- Publication number
- CN112132757B CN112132757B CN202010406323.6A CN202010406323A CN112132757B CN 112132757 B CN112132757 B CN 112132757B CN 202010406323 A CN202010406323 A CN 202010406323A CN 112132757 B CN112132757 B CN 112132757B
- Authority
- CN
- China
- Prior art keywords
- distortion
- image
- data
- sub
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 17
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 230000007812 deficiency Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001069925 Orestes Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于神经网络的通用图像复原方法,该方法不需要失真类型的先验信息,自动判别失真类型(噪声、低分辨率以及缺失等)和失真程度,然后进行相应的复原处理,适用于存在未知混合失真图像的复原;本发明依据失真检测模块识别出图像待处理的失真类型及其失真程度,克服了现有方法假定失真情况已知的缺点;本发明的通用图像复原网络可以处理多种失真类型,本发明的通用图像复原网络具有可扩展性,且随着技术的发展,针对各类失真的复原子模块可更新,现有的几种针对混合失真的网络,有的是可扩展性差,有的是性能差,且这些方法都假定失真类型和失真程度已知。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于神经网络的通用图像复原方法。
背景技术
美国哈佛商学院有关研究人员的分析资料表明,在人类所感知的环境信息中,视觉信息占60%。随着智能手机和监控安防设备的普及,图像成为获取视觉信息的主要载体形式,同时也是保证用户体验诉求最高的业务。
图像在成像、压缩、传输、记录、显示的过程中,由于设备的带宽和物理特性的限制,必然会发生信息丢失和外来伪像的引入而造成某些退化,如成像过程中存在多种环境噪声,成像系统本身的不稳定性和与环境的相对运动等;压缩编码过程中可能会出现块效应和伪像;传输介质对信号的影响等。图像的失真不仅导致观看体验差,而且会造成信息丢失。
当前的图像复原算法大多是针对某一类具体失真问题,例如去噪、去模糊、超分辨率重建等,实际情况中,图像大多同时经历多种不同程度的失真,采用单一的图像复原算法不能有效的提高图像的质量。
2016年Xiaojiao Mao等人在《Image Restoration Using Very DeepConvolutional Encoder Decoder Networks with Symmetric Skip Connections》一文中针对图像去噪、去模糊、修复以及超分辨率重建四类问题提出深度完全卷积编码解码网络,但是该网络不是同时处理四类失真,而是针对每一类失真,需要单独训练网络,在实际使用时,需要预先知道图像中是四类失真中的哪一种。
2017年Dmitry Ulyanov等人在《Deepimage Prior》一文中提出一种基于自编码器网络的图像复原方法,该方法认为图像的统计学信息是卷积的图像产生的而不是通过网络学习得到的,因此免去了预训练图像的过程,同样,该方法需要预先知道图像中是哪一类失真,然后设置相应的损失函数来实现图像去噪、超分辨率重建或者图像修复。
2018年Yulun Zhang等人在《Residual Dense Network for Image Restoration》一文中提出新型残差密集网络,该网络通过残差密集块提取局部特征,同时需要预知图像的失真类型来调整网络的细节,以实现相应的图像超分辨率重建、图像去噪或者图像去块。
2018年Ke Yu等人在《Crafting a Toolchain for Image Restoration by DeepReinforcement Learning》提出基于深度强化学习的图像复原算法,解决同时含有高斯噪声、模糊以及JEPG压缩块的混合失真图像的复原问题。
2019年Orest Kupyn等人在《DeblurGAN-v2:Deblurring(Orders-of-Magnitude)Faster and Better》一文中提出一个端到端的单运动去模糊对抗网络,在已知某一类失真类型的条件下分别实现了图像去模糊、去噪声和去伪像三类复原任务。
2019年Masanori Suganuma等人在《Attention-based Adaptive Selection ofOperations for Image Restoration in the Presence of Unknown CombinedDistortion》中针对存在混合失真(高斯噪声、模糊和JEPG伪像)的图像提出一个复原神经网络,并行执行多个操作,并通过注意力机制加权,以根据输入图像的特征来选择合适的操作。
2019年Guocheng Qian等人在《Trinity of Pixel Enhancement:a JointSolution for Demosaicking,Denoising and Super-Resolution》一文中提出三位一体增强网络TENet,针对同时具有低分辨率、噪声和马赛克的混合失真图像,采用流水线策略复原,先去噪,接下来实现超分辨率,最后去马赛克,但该网络只能处理上述三类混合失真的图像,对其他类型的混合失真不适用。
2019年Dahun Kim等人在《DeepVideo Inpainting》一文中将视频修复作为一种连续的多帧到单帧的图像修复任务,提出3D-2D编码解码器网络,该方法从相邻帧中提取特征合成视频缺失内容。
2017年张永兵等人在专利《一种基于自适应残差神经网络的图像复原方法》中公开了一种基于自适应残差神经网络的图像复原方法,该方法针对图像去噪、图像超分辨和图像去块问题单独训练网络,能够显著提高含噪图像、低分辨率图像以及含块图像的PSNR、SSIM和视觉效果。
2018年谢春芝和高志升在专利《基于卷积自编码卷积神经网络的空间目标图像复原方法》中公开了一种基于卷积自编码卷积神经网络的空间目标图像复原方法,该方法以不同退化程度的湍流模糊图像作为输入数据,复原出边缘结构清晰的图像。
2019年李嘉锋等人在专利《一种基于生成对抗网络的复合降质图像高质量重建方法》中公开了一种基于生成对抗网络的复合降质图像高质量重建方法,该方法利用生成网络和判别网络之间的博弈来复原同时含有雾霾、系统噪声、低照度和压缩失真等多种降质问题的低质量图像,不考虑混合失真的类型、严重程度以及失真间的相互影响等因素。
现有的基于神经网络的图像复原方法存在以下缺点:(1)一般方法都是针对单一失真类型而设计的;(2)有的方法设计的网络结构虽然是面向多种失真,但不是同时处理多种失真,针对每一类失真要单独训练,相当于多个结构相同,参数不同的网络,每组参数对应一种失真;(3)尽管有的方法(例如,2018年Ke Yu等人提出的基于深度强化学习的方法)能处理具有三类混合失真的图像,但是这种方法只适用于预先定义的三类混合失真,且失真复原性能较差。(4)所有这些方法,无论是针对单一失真的复原还是针对混合失真的复原,都需要预先知道图像的失真类型和失真程度,而实际所获得的图像中,通常存在多种未知类型的失真,所以现有的方法无法直接应用到实际的图像复原中。因此,目前尚没有通用化的图像复原方法能实现未知混合失真的复原。
发明内容
有鉴于此,本发明的目的是提供一种基于神经网络的通用图像复原方法,可自动识别出图像存在的失真类型和失真程度。
一种图像复原方法,包括如下步骤:
步骤1、获取包含所有失真类型的原始图像数据集;
步骤2、提取各原始图像的数据特征;
步骤3、对每种失真类型建立一个SVM;
对每一条数据特征的失真类型和失真程度进行标记,构成该条数据特征的标签;将同属一种失真类型的数据特征连同对应的标签,输入到对应的SVM中进行训练;
步骤4、统计失真数量N;
将待检测图像按照步骤2的方式提取数据特征,并分别输入到所有的SVM中;统计所有SVM输出的失真概率超过设定概率阈值的失真类型,得到失真类型数量N;若N=0,直接输出原始图像作为复原图像;若N>0,执行下一步;
步骤5、构建依次由一个编码器和多个解码器串连的神经网络,其中,每一种失真类型对应一个解码器,解码器事先采用该失真类型图像进行训练,得到具有图像复原能力的解码器;
将待复原图像输入到神经网络中,先通过编码器提取共性特征;
然后根据步骤4判定的待复原图像的失真类型,将待复原图像的共性特征输入到对应类型的解码器中进行图像复原;如果待复原图像存在两种以上失真,则按照解码器的串连顺序,依次将待复原图像的共性特征输入到对应的解码器中进行复原,最终得到复原后图像。
较佳的,对于步骤1获得的每个原始图像,先使用可操纵金字塔对其进行小波分解,得到具有至少两个尺度和两个方向的多个子带;然后对每个自带进行子带分裂归一化;最后获得归一化后的子带的数据特征,组合后作为原始图像的数据特征。
较佳的,所述数据特征包括以下特征中的一种或者任意两种以上的组合:
1)、使用广义高斯分布对每个子带的系数进行参数化,估计方差σ2和形状参数γ,作为数据特征;
2)、分别对同一方向、不同尺度的子带对进行广义高斯分布拟合;估计方差σ2和形状参数γ,将形状参数γ作为一部分特征数据;再将所有子带堆叠在一起时进行广义高斯分布拟合,并将本次估计的形状参数γ作为另一部分特征数据;
3)、对于分裂归一化后的每个子带数据,计算高通和带通子带相关性,作为数据特征;
4)、对于同一尺度、不同方向的子带进行三阶多项式拟合,获得拟合曲线与真实曲线在多个设定点的误差值,连同该三阶多项式的系数,作为特征数据;
5)、在最大的尺度下,计算所有可能的子带对在窗口区域内的结构相关性,取每对子带结构相关值低于设定阈值的作为数据特征。
较佳的,当失真类型包括高斯噪声失真、图像超分辨失真和缺失失真时,对应的三个解码器在神经网络中的排列顺序为:高斯噪声失真解码器、缺失失真解码器和图像超分辨失真解码器。
较佳的,所述步骤4中设定概率阈值取为40%。
本发明具有如下有益效果:
本发明提供一种基于神经网络的通用图像复原方法,该方法不需要失真类型的先验信息,自动判别失真类型(噪声、低分辨率以及缺失等)和失真程度,然后进行相应的复原处理,适用于存在未知混合失真图像的复原;本发明依据失真检测模块识别出图像待处理的失真类型和失真程度,克服了现有方法假定失真情况已知的缺点;本发明的通用图像复原网络可以处理多种失真类型,本发明的通用图像复原网络具有可扩展性,且随着技术的发展,针对各类失真的复原子模块可更新,现有的几种针对混合失真的网络,有的是可扩展性差,有的是性能差,且这些方法都假定失真类型和失真程度已知。
附图说明
图1为本发明一种基于神经网络的通用图像复原方法的流程图。
图2为本发明的失真检测过程流程图;
图3为图像复原网络过程流程图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
一种基于神经网络的通用图像复原方法,如图1所示,包括如下步骤:
步骤1、获取原始图像。
原始图像指经过成像、压缩、传输、记录、显示以及存储等步骤的图像,包含未知类型的混合失真,考虑到目前没有符合要求的数据集,构造了一个含有三种混合失真(低分辨率、噪声以及缺失)的数据集,其中各类失真的添加顺序随机。
步骤2、提取原始图像的数据特征。
a.使用可操纵金字塔对图像进行小波分解,得到多个子带。
b.子带分裂归一化。
具体地,对于子带系数y,根据相邻子带的响应计算归一化参数p,以得到归一化子带系数基于高斯尺度混合模型计算归一化参数p,对于每个子带的中心系数yc,定义了分裂归一化变换邻域Y,Y包含15个系数,其中9个来自相同子带(yc的3×3邻域),1个来自父子带,5个来自同一尺度下相邻子带中的相同空间位置。由Y计算p的公式为其中N是Y的维数,CU是高斯随机向量的协方差。在每个子带中的每个系数上进行上述分裂归一化计算,以生成一个分裂归一化的子带集其中α∈{1,2},θ∈{0°,30°,60°,90°,120°,150°}。
c.计算跨子带的边际统计数据。
具体地,使用广义高斯分布(GGD)对12个子带中每个子带的系数进行参数化,GGD定义为其中μ、σ2、γ是均值、方差和形状参数。由于小波子带响应为零均值(μ=0),因此每个子带需要估计σ2和γ,计算得到总共24个特征值,其中f1-f12对应于12个子带的σ2,f13-f24对应于12个子带的γ。
d.计算跨子带的联合统计数据。
具体地,对每一个子带对θ∈{0°,30°,60°,90°,120°,150°}进行GGD拟合;同样地,上述拟合是零均值(μ=0),需要计算σ2和γ。这里仅使用计算出的γ作为特征值f25-f30。此外,当所有子带堆叠在一起时再次计算GGD拟合,并将计算得到的γ参数作为特征值f31。
e.对于分裂归一化后的每个子带数据,计算高通和带通子带的相关性。
使用15×15高斯窗口(σ=1.5)对带通和高通子带进行滤波。结构相关性计算公式为其中σxy是带通和高通子带窗口内区域之间的互协方差,是带通和高通子带的窗口方差,C2是稳定常数。由此计算得到的相关图的平均值作为相关特征值。12个子带计算得到12个相关值作为特征值f32-f43。
f.空间相关性统计。
对于同一尺度(α=1)、不同方向的子带进行三阶多项式拟合,获得拟合曲线与真实曲线在设定点的误差值,连同该三阶多项式的系数,作为特征值。具体地,对于τ,τ∈{1,2,...,25},θ∈{0°,30°,60°,90°,120°,150°},计算在系数(i,j)和之间的联合经验分布,其中表示在τ距离处的空间位置集。τ值获得的联合分布可视为两个随机变量X和Y的联合分布pXY(x,y)。为了计算两个变量之间的相关性,计算其中EpX(x)[X]是X从计算的联合分布获得的边际分布pX(x)的期望值,Y和(X,Y)类似。计算ρ(τ)后,通过使用三阶多项式拟合并参数化获得的曲线。对于计算上述拟合,多项式系数以及拟合与实际ρ(τ)的误差值形成特征值f44-f73。
g.跨方向统计。
在最大的尺度,计算所有可能的子带对在窗口区域内的结构相关性,取每对子带计算的结构相关值的最低5%,共计算得到15个特征值f74-f88。
据此,我们就得到了图像的空间统计数据特征f1-f88。
步骤3、训练失真检测器,判断图像失真类型。
将提取的图像数据特征输入失真检测器,输出失真的类型和相应的失真概率。失真检测过程如图2所示,对噪声、低分辨率以及缺失各自单独训练一个识别失真程度的SVM:
对每一幅高斯噪声失真图像对应的空间统计数据特征进行失真类别和失真程度标记,构成该条数据的标签;最后将每条空间统计数据和对应的标签输入到高斯噪声SVM中,进行训练。其中失真程度可以是失真级别,或者百分比值。
同理,采用低分辨率失真图像对应的空间统计数据特征和标签对低分辨率失真SVM进行训练,采用缺失失真图像对应的空间统计数据特征和标签对缺失失真SVM进行训练。
失真检测器训练完成后可以对未知图像预测:将图像按照步骤2的方法提取空间统计数据特征,并分别输入到上述三个SVM中,每个SVM均输出该图像所述失真类别和属于该种失真的程度;
三个SVM的结果组合成为该图像的失真概率向量,作为后续图像复原的判别依据。
步骤4、统计失真数量N。
设定概率阈值x=40%,当某类失真概率(概率越大失真程度越大)超过40%时,即判定此类失真存在且严重程度达到处理阈值;统计三个SVM输出的失真概率超过概率阈值的失真类型,得到失真数量N。若原始图像的各类失真严重程度均小于概率阈值,则N=0,直接到步骤6,输出原始图像作为复原图像。否则到步骤5。概率阈值的具体设定方法依赖于实际的图像复原任务。
步骤5、利用流水线结构的编码器解码器神经网络,构建多种失真复原的统一网络架构,进行相应的失真复原。
网络结构由单编码器和多解码器两部分构成,其中编码器部分的作用是特征提取,利用10层连续卷积操作提取图像的低层纹理特征和高层语义特征,其中每一个卷积层后跟一个ELU激活层,每两个卷积层与对应反卷积层(各个图像复原过程)之间建立连接,为图像复原提供相应特征信息。多解码部分的作用是图像复原,每一种失真类型对应一个解码器,解码器利用连续10层反卷积层构建图像细节,每两个反卷积层与对应的卷积层(特征提取部分)连接,实现多层次特征融合,最后进行残差学习完成特定图像复原任务;其中,每一种失真类型对应的解码器均采用该种失真图像进行训练得到。
在N>0的情况下,则原始图像至少存在一种需要修复的失真。根据不同图像复原处理的原理和相互之间的影响,按照规定的流水线顺序进行相应的失真修复。具体的失真复原过程为:
先将原始图像输入编码器中提取共性特征,根据步骤4判定的该图像的失真类型,输入到对应类型的解码器中进行图像复原;如果图像存在两种以上失真,由于噪声对于其它图像复原过程影响较大,因此在流水线结构中,先采用高斯噪声失真解码器进行图像复原,图像超分辨会改变图像的尺寸而且受缺失影响较大,因此最后采用超分辨率失真解码器进行图像复原;缺失失真解码器排在第二对图像进行复原。其中,如果图像不存在某种失真,跳过该类型解码器。上述图像复原过程如图3所示。
步骤6、输出复原图像。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种图像复原方法,其特征在于,包括如下步骤:
步骤1、获取包含所有失真类型的原始图像数据集;对于步骤1获得的每个原始图像,先使用可操纵金字塔对其进行小波分解,得到具有至少两个尺度和两个方向的多个子带;然后对每个子带进行子带分裂归一化;最后获得归一化后的子带的数据特征,组合后作为原始图像的数据特征;
步骤2、提取各原始图像的数据特征;
步骤3、对每种失真类型建立一个SVM;
对每一条数据特征的失真类型和失真程度进行标记,构成该条数据特征的标签;将同属一种失真类型的数据特征连同对应的标签,输入到对应的SVM中进行训练;
步骤4、统计失真数量N;
将待检测图像按照步骤2的方式提取数据特征,并分别输入到所有的SVM中;统计所有SVM输出的失真概率超过设定概率阈值的失真类型,得到失真类型数量N;若N=0,直接输出原始图像作为复原图像;若N>0,执行下一步;
步骤5、构建依次由一个编码器和多个解码器串连的神经网络,其中,每一种失真类型对应一个解码器,解码器事先采用该失真类型图像进行训练,得到具有图像复原能力的解码器;
将待复原图像输入到神经网络中,先通过编码器提取共性特征;
然后根据步骤4判定的待复原图像的失真类型,将待复原图像的共性特征输入到对应类型的解码器中进行图像复原;如果待复原图像存在两种以上失真,则按照解码器的串连顺序,依次将待复原图像的共性特征输入到对应的解码器中进行复原,最终得到复原后图像。
2.如权利要求1所述的一种图像复原方法,其特征在于,所述数据特征包括以下特征中的一种或者任意两种以上的组合:
1)、使用广义高斯分布对每个子带的系数进行参数化,估计方差σ2和形状参数γ,作为数据特征;
2)、分别对同一方向、不同尺度的子带对进行广义高斯分布拟合;估计方差σ2和形状参数γ,将形状参数γ作为一部分特征数据;再将所有子带堆叠在一起时进行广义高斯分布拟合,并将本次估计的形状参数γ作为另一部分特征数据;
3)、对于分裂归一化后的每个子带数据,计算高通和带通子带相关性,作为数据特征;
4)、对于同一尺度、不同方向的子带进行三阶多项式拟合,获得拟合曲线与真实曲线在多个设定点的误差值,连同该三阶多项式的系数,作为特征数据;
5)、在最大的尺度下,计算所有可能的子带对在窗口区域内的结构相关性,取每对子带结构相关值低于设定阈值的作为数据特征。
3.如权利要求1所述的一种图像复原方法,其特征在于,当失真类型包括高斯噪声失真、图像超分辨失真和缺失失真时,对应的三个解码器在神经网络中的排列顺序为:高斯噪声失真解码器、缺失失真解码器和图像超分辨失真解码器。
4.如权利要求1所述的一种图像复原方法,其特征在于,所述步骤4中设定概率阈值取为40%。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010406323.6A CN112132757B (zh) | 2020-05-14 | 2020-05-14 | 一种基于神经网络的通用图像复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010406323.6A CN112132757B (zh) | 2020-05-14 | 2020-05-14 | 一种基于神经网络的通用图像复原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112132757A CN112132757A (zh) | 2020-12-25 |
CN112132757B true CN112132757B (zh) | 2022-08-16 |
Family
ID=73851129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010406323.6A Active CN112132757B (zh) | 2020-05-14 | 2020-05-14 | 一种基于神经网络的通用图像复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112132757B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114119395B (zh) * | 2021-11-15 | 2024-06-11 | 北京理工大学 | 失真检测与复原一体化的图像处理系统与方法 |
CN114387190B (zh) * | 2022-03-23 | 2022-08-16 | 山东省计算中心(国家超级计算济南中心) | 一种基于复杂环境下的自适应图像增强方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104835172A (zh) * | 2015-05-21 | 2015-08-12 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 一种基于相位一致性和频域熵的无参考图像质量评价方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI511056B (zh) * | 2011-09-20 | 2015-12-01 | Altek Corp | 特徵資料壓縮裝置、多方向人臉偵測系統及其偵測方法 |
-
2020
- 2020-05-14 CN CN202010406323.6A patent/CN112132757B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104835172A (zh) * | 2015-05-21 | 2015-08-12 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 一种基于相位一致性和频域熵的无参考图像质量评价方法 |
Non-Patent Citations (2)
Title |
---|
Multi-Targets Miss Distance Measurement based on a Sequence of Image Processing Techniques;Shujuan Hou et al.;《2006 8th international Conference on Signal Processing》;20061120;第1-4页 * |
模糊图像复原及评价方法的研究;袁万立;《中国优秀硕士学位论文全文数据库》;20120815(第8期);第1-40页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112132757A (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
CN109741256B (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
CN111462019A (zh) | 基于深度神经网络参数估计的图像去模糊方法及系统 | |
CN110782399A (zh) | 一种基于多任务cnn的图像去模糊方法 | |
CN111091503B (zh) | 基于深度学习的图像去失焦模糊方法 | |
CN110544213A (zh) | 一种基于全局和局部特征融合的图像去雾方法 | |
CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
CN110610467B (zh) | 一种基于深度学习的多帧视频去压缩噪声方法 | |
CN112132757B (zh) | 一种基于神经网络的通用图像复原方法 | |
CN102243711A (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
CN112819705B (zh) | 一种基于网状结构与长距离相关性的真实图像去噪方法 | |
CN113284070A (zh) | 基于传递注意力机制的非均匀雾图去雾算法 | |
Guo et al. | Joint raindrop and haze removal from a single image | |
CN112991199A (zh) | 一种基于残差密集网络的图像高低频分解噪声去除方法 | |
CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
CN117994167B (zh) | 融合并行多卷积注意力的扩散模型去雾方法 | |
CN114445299A (zh) | 一种基于注意力分配机制的双残差去噪方法 | |
CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
CN117422653A (zh) | 一种基于权重共享和迭代数据优化的低光照图像增强方法 | |
CN117078553A (zh) | 一种基于多尺度深度学习的图像去雾方法 | |
CN115272131B (zh) | 基于自适应多光谱编码的图像去摩尔纹系统及方法 | |
CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
CN114764750B (zh) | 基于自适应一致性先验深度网络的图像去噪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |