CN109255758A - 基于全1*1卷积神经网络的图像增强方法 - Google Patents
基于全1*1卷积神经网络的图像增强方法 Download PDFInfo
- Publication number
- CN109255758A CN109255758A CN201810768178.9A CN201810768178A CN109255758A CN 109255758 A CN109255758 A CN 109255758A CN 201810768178 A CN201810768178 A CN 201810768178A CN 109255758 A CN109255758 A CN 109255758A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- latent variable
- full
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012876 topography Methods 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 230000008707 rearrangement Effects 0.000 claims abstract description 14
- 230000004913 activation Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000012805 post-processing Methods 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000593 degrading effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000005286 illumination Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 5
- 239000003595 mist Substances 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开基于全1*1卷积神经网络的图像增强方法。本发明构建全1*1卷积神经网络，并对低质成像图像中局部图像块或者整幅图像中的像素进行重新随机排列(Pixel Shuffle)，利用重排后的图像块或图像作为输入。然后对上述网络估计出来的潜在变量后处理。基于潜在变量所对应成像模型，得到从低质图像和潜在变量估计出的清晰图像的数学表达式，从而计算得到增强后的结果。相比传统卷积神经网络普遍采用的大卷积核方式，实现了以更少的参数、更少的计算量保持相当的模型表示能力的目的，从而快速、准确地估计图像增强中的潜在变量。
Description
技术领域
本发明属于图像处理领域，设计一种基于全1*1卷积神经网络的图像增强方法。
背景技术
图像处理中的图像增强问题多是图像逆问题(Inverse Problem)或病态问题(Ill-posed Problem)，研究者提出了许多方法，包括：基于图像先验的启发式方法、基于正则约束建模的优化方法、基于机器学习的方法。这些方法都可以解释成针对自然图像某种统计特性进行建模，可以有效求解病态问题中的潜在变量(Latent Variable)，进而对图像进行增强。但是，由于像素的复杂性，多样性和高维分布，对自然图像中的统计特性进行建模，进而实现高效的图像增强仍然是一项具有挑战性的任务。
一个可行的解决方案是假定统计先验特性，该统计特性利用已知分布类型的先验知识，为后续任务设计专门的算法。例如，图像去雾中的暗通道先验(Dark ChannelPrior)、图像白平衡中的灰度世界先验(Gray World Prior)等。前者假设自然图像中的任何一个局部邻域内所有像素的所有通道的最小值近似为0，是关于局部最小值这一统计量的一个先验假设。后者假设图像三通道的均值近似相等，从而表示为灰色，是关于三通道均值这一一阶统计量的先验假设。虽然，图像先验是根据专家经验和观察对图像统计特性提出的先验假设，但是其多是反映图像的某种单一统计特性，而且并非适应所有图像情形，因此存在适应性不足的缺陷。
另一种可行的方法是学习统计特性，该方法通过学习像素分布的回归模型，调整模型参数以适合输入图像。因此，合适的模型参数确实揭示了像素的统计数据，而模型的内部表示反映了像素模式。这种方法对像素分布做了最少的假设，导致更一般的表示。最近，深度学习在自然图像处理问题上取得了很大的成功，如图像去噪，超分辨率重建以及与统计特性最相关的问题，例如，颜色恒常性和图像去雾。然而，现有的卷积神经网络(Convolutional Neural Network，CNN)结构倾向于局部区域内和区域之间像素强度的变化和多样性，这可能导致统计表示不准确。而且，为了获得更好的建模能力，现有的深度学习方法倾向于追求更深更大的CNN。例如，用于图像处理任务的强大CNN通常具有数十个层和数百个通道，因此导致数百万个网络参数。这导致高计算成本，限制了其广泛的应用。
发明内容
本发明的目的针对现有技术存在的不足，提出了一种基于全1*1卷积神经网络的图像增强方法。具体来说，为了使CNN更关注图像的统计特性，本发明对低质成像图像中局部图像块或者整幅图像中的像素进行重新随机排列(Pixel Shuffle)，利用重排后的图像块或图像作为输入。由于重排后的图像中的像素是独立同分布的，使用1*1的小卷积核代替k*k的大卷积核，可以保持相当的模型表示能力。据此，本发明提出了采用1*1卷积核构建新型全1*1卷积神经网络的建模方法，用于估计图像增强问题中的潜在变量。该方法提出的网络模型参数更少，计算量更少，并且具有良好的模型表示能力。
本发明方法具体包括以下步骤：
步骤(1).图像预处理
将低质成像图像中局部图像块或者整幅图像中的像素进行重新随机排列(PixelShuffle)；所述的像素随机重排为局部重排或全局重排，二者分别针对局部图像块或者整幅图像中的像素，重新随机排列其所有像素位置顺序；
所述的低质成像图像可以是雾天的成像图像、带颜色的人造光源或者白平衡失准情况下的成像图像、低光照情况下的成像图像、含有噪声干扰的成像图像等。
重新随机排列(Pixel Shuffle)图像块或者整幅图像中的像素不会改变它们的统计特性，但是会破坏空间结构；采用像素随机重排后的图像块或图像作为神经网络的输入，可以使得网络在参数学习过程中更加关注像素的统计特性而非空间结构特性，从而有利于图像增强等图像逆问题中的潜在变量的估计；因此，为了促进图像增强问题中的潜在变量的准确估计，本发明使用像素随机重排后的图像块或图像作为CNN的输入；
步骤(2).构建一个全1*1卷积神经网络(Fully Point-wise ConvolutionalNeural Network，FPCNet)，从输入图像中估计图像增强任务中的潜在变量
2.1构建全1*1卷积神经网络
全1*1卷积神经网络由多个1*1卷积单元叠加构成；
1*1卷积单元包括一个或者多分支的1*1卷积层；每个卷积层包括多个特征通道，可以学习不同的特征表示；卷积层之后紧跟一个非线性激活层，用以对上述卷积层输出的特征施加非线性变换，从而提高模型的非线性建模能力；
若1*1卷积单元为单分支的情形，在非线性激活层之后紧跟一个池化层(PoolingLayer)；
若1*1卷积单元为多分支的情形，在非线性激活层之后紧跟一个并置层(ConcatLayer)，对非线性激活层得到的特征沿着特征维进行拼接，从而构成扩维的特征表示；然后在并置层之后紧跟一个池化层(Pooling Layer)；并置层和池化层的顺序是可以互换。
上述池化层的池化操作包括平均(Average)、最大化(Max)和随机(Random)等；通过设置池化层的池化核大小为k*k，使得上述1*1卷积单元的感受野等效于k*k大卷积层的感受野；通过设置池化层的池化核大小为(k+p-1)*(k+p-1)，使得上述1*1卷积单元的感受野等效于k*k大卷积层和p*p的池化层对应网络的感受野；
进一步，本发明提出的全1*1卷积单元在给定像素重排图像块或图像作为输入的情况下，其表示能力等价于大卷积核对应的网络结构，即本发明提出的网络在参数量更少的情况下实现了相当的表示能力。
2.2上述全1*1卷积网络的输入为步骤(1)像素重排后的图像。
2.3上述全1*1卷积网络的输出为图像增强任务中的潜在变量(LatentVariable)。可以是雾天图像增强中的雾气透射率(Transmission)、颜色恒常(ColorConstancy)或者白平衡(White Balance)中的色偏(Color Cast)、低光照图像增强中的照度(Illumination)、图像去噪中的噪声水平(Noise Level)等。
2.4基于上述全卷积神经网络，增加损失函数层监督网络进行训练。根据图像增强任务不同，可以分为分类任务和回归任务；分类任务可以采用柔性最大损失函数(SoftmaxLoss)；回归任务可以采用均方误差函数(Mean Square Error)；训练样本采用合成的或者真实的数据集进行构建，并针对每个样本对应的潜在变量进行标注；合成的样本一般是从清晰的图像出发，基于描述受潜在变量影响的降质过程成像方程，根据给定的潜在变量值合成对应的低质成像图像。例如，雾天成像模型、光照成像模型、含噪成像模型等。真实的数据集是通过采集同一场景的降质/非降质图像对构建，并通过现有技术获得对应的潜在变量值。例如，雾天/非雾天图像、正常光照/低光照图像等。网络训练的优化方法可以采用小批量随机梯度下降法(Mini-Batch Stochastic Gradient Descent)等方法对网络进行训练，学习权重参数。
步骤(3).潜在变量的后处理
针对上述网络估计出来的潜在变量，需要进行相应的后处理，从而得到更加准确的估计结果。对于局部图像块和全局图像，采用不同的后处理方法。
局部图像块情形：对于整幅图像中的所有局部图像块估计对应的潜在变量，然后对于由该潜在变量构成的整幅图层(Latent Variable Map)，采用原始整幅图像或者其亮度通道(RGB颜色空间到HSV颜色空间转换后得到的V通道)作为引导图像，使用图像引导滤波器(Image Guided Filter)对上述估计出来的潜在变量图层进行滤波，从而得到具有局部平滑特性的估计结果。
全局图像情形：针对全局图像任意位置处估计得到的多个潜在变量的估计值，采用均值滤波器或者中值滤波器进行处理，从而得到更加鲁棒、准确的估计结果。
步骤(4).基于潜在变量估计值和成像模型的图像增强
基于上述步骤(3)估计出来的潜在变量，以及潜在变量所对应成像模型(现有技术，故不详解)，得到从低质图像和利用步骤(3)潜在变量估计出的清晰图像的数学表达式(现有技术，故不详解)，从而计算得到增强后的结果。
本发明提出了一种新颖的全1*1卷积神经网络结构(FullyPoint-wiseConvolutional Neural Network，FPCNet)，用于图像增强问题中的潜在变量的估计。具体来说，基于像素重排的输入图像所具有的独立同分布特性，提出了采用1*1卷积神经网络的建模方法。相比传统卷积神经网络普遍采用的大卷积核方式，实现了以更少的参数、更少的计算量保持相当的模型表示能力的目的，从而快速、准确地估计图像增强中的潜在变量。
利用本发明提到的方法可以使CNN结构更加轻量、紧凑，可以有效防止过拟合。一般来说，与对应的大卷积核的网络结构相比，本发明只需要1/10～1/100的参数和计算成本，同时能够保持相当好的精度。
附图说明
图1是全1*1卷积单元；
图2是本发明提出的网络结构用于颜色恒常问题的示意图。
具体实施方式
下面结合具体实施例对本发明做进一步的分析。
本发明可以用于颜色恒常(Color Constancy，又叫图像色偏校正、白平衡等)、图像去雾、低光照图像增强、图像噪声水平估计等多种图像增强任务。下面，主要针对颜色恒常和图像去雾两个实施例介绍本发明的具体实施方式。
1图像预处理
将低质成像图像中局部图像块或者整幅图像中的像素进行重新随机排列(PixelShuffle)；所述的像素随机重排为局部重排或全局重排，二者分别针对局部图像块或者整幅图像中的像素，重新随机排列其所有像素位置顺序。重新随机排列(Pixel Shuffle)图像块或者整幅图像中的像素不会改变它们的统计特性，但是会破坏空间结构；采用像素随机重排后的图像块或图像作为神经网络的输入，可以使得网络在参数学习过程中更加关注像素的统计特性而非空间结构特性，从而有利于图像增强等图像逆问题中的潜在变量的估计；因此，为了促进图像增强问题中的潜在变量的准确估计，本实施例使用像素随机重排后的图像块或图像作为CNN的输入。
2构建一个全1*1卷积神经网络(Fully Point-wise Convolutional NeuralNetwork，FPCNet)，从输入图像中估计图像增强任务中的潜在变量
2.1构建全1*1卷积神经网络
全1*1卷积神经网络由多个1*1卷积单元叠加构成；
1*1卷积单元包括一个或者多分支的1*1卷积层；每个卷积层包括多个特征通道，可以学习不同的特征表示；卷积层之后紧跟一个非线性激活层，用以对上述卷积层输出的特征施加非线性变换，从而提高模型的非线性建模能力；
若1*1卷积单元为单分支的情形，在非线性激活层之后紧跟一个池化层(PoolingLayer)；如图1所示，图1(a)所示的网络结构具有一个包含k*k卷积核的卷积层和一个池化层。我们可以将k*k卷积核替换为1*1卷积核，并构建如图1(b)所示的1*1卷积单元。为了保留感受野的大小，我们可以将池化大小从p*p扩大到(k+p-1)*(k+p-1)。
若1*1卷积单元为多分支的情形，在非线性激活层之后紧跟一个并置层(ConcatLayer)，对非线性激活层得到的特征沿着特征维进行拼接，从而构成扩维的特征表示；在并置层之后紧跟一个池化层(Pooling Layer)。图1(c)所示的双分支网络包括一个1*1卷积层和一个3*3卷积层以提取多尺度特征，以及一个并置层(Concat)和一个池化层。并置层和池化层的顺序是可以互换，不会影响结果。类似地，我们可以将k*k卷积核替换成1*1卷积核，并构建如图1(d)所示的1*1卷积单元。它包括两个平行的1*1卷积层，以及两个不同池化大小的池化层以及一个并联层。
上述池化层的池化操作包括平均(Average)、最大化(Max)和随机(Random)等；通过设置池化层的池化核大小为k*k，使得上述1*1卷积单元的感受野等效于k*k大卷积层的感受野；通过设置池化层的池化核大小为(k+p-1)*(k+p-1)，使得上述1*1卷积单元的感受野等效于k*k大卷积层和p*p的池化层对应网络的感受野；进一步，本发明提出的全1*1卷积单元在给定像素重排图像块或图像作为输入的情况下，其表示能力等价于大卷积核对应的网络结构，即本发明提出的网络在参数量更少的情况下实现了相当的表示能力。
通过叠加几个全1*1卷积单元，可以构建一个全1*1卷积神经网络(FPCNet)。
用于颜色恒常性的全1*1卷积神经网络结构(FPCNet-CC)如表1所示：
表1 FPCNet-CC网络结构
用于图像去雾的全1*1卷积神经网络结构(FPCNet-DH)如表2所示：
表2 FPCNet-DH网络结构
2.2数据集的合成
基于深度学习的方法通常需要大量带标注的数据集，从而驱动网络进行训练，优化得到网络权重。数据集的获取方式包括直接采集和标注真实场景图像，或者根据物理模型合成得到所需的图像。下面针对上述两个应用分别予以说明。
针对颜色恒常问题，在有颜色光源的照明下，拍摄的图像可以由以下成像模型进行描述：
Ic＝Jc×Ec,c∈{R,G,B}, (1)
其中Jc是标准(通常是白色)照明下的反射率，Ec是色偏值。通常色偏值是一个全局常量。因此，颜色恒常性问题可以被表述为在给定输入图像Ic的情况下估计色偏值Ec，然后使用它来恢复反射率Jc。
为了构建数据集，一种方法是针对不同的光照条件拍摄图像，场景中放置标准色卡(Color Set)，从而可以准确的计算出拍摄的图像存在的色偏值，完成“图像-色偏值”样本对的构建。另一种方法是针对给定清晰的无色偏图像，从RGB颜色空间中随机采样得到一种色偏值，并根据公式(1)合成色偏图像，从而构建“图像-色偏值”样本对。
针对图像去雾问题，在有雾气影响的条件下，拍摄的图像可以由以下成像模型进行描述：
Ic＝Jct+Ac(1-t),c∈{R,G,B}, (2)
其中Jc是目标清晰图像，t是雾气的透射率，Ac是大气光。一般的，t是与场景深度相关的一个物理量：
t＝e-αd (3)
其中，d是场景中某一位置的深度值，α是与雾气浓度相关的一个参数。
在局部平滑假设(Local Smoothness Assumption)下，图像去雾问题可以被表述为，在给定输入雾天图像I的情况下，估计每个局部块处的透射率t，并且使用它来恢复清晰图像J。通常，大气光Ac是一个全局常量，因此我们可以将等式(2)改写为：
Ic-Ac＝(Jc-Ac)×t. (4)
为了构建数据集，一种方法是针对同一场景拍摄有雾和无雾图像。鉴于有雾和无雾场景会存在光照、场景中物体移动等变化，可以采用造雾机在较短的时间内人工生成雾气，从而保证光照、场景中的物体等条件保持不变。另一种更为常见的方式是针对给定清晰的无色偏图像和其对应的场景深度，根据公式(3)合成透射率，并根据公式(2)合成雾天图像，从而构建“图像-透射率”样本对。
2.3网络的训练
基于上述全卷积神经网络，增加损失函数层，并基于和步骤1中构建的数据集，对网络进行训练。根据图像增强任务不同，可以分为分类任务和回归任务；分类任务可以采用柔性最大损失函数(Softmax Loss)；回归任务可以采用均方误差函数(Mean SquareError)；网络训练的优化方法可以采用小批量随机梯度下降法(Mini-Batch StochasticGradient Descent)等方法对网络进行训练，学习权重参数。
2.4网络参数的设置
为了评估所提出的方法的有效性，本发明将其用于两个典型的图像增强应用，即图像色偏校正(又叫颜色恒常性，Color Constancy，CC)和图像去雾(Image Dehazing，DH)。图像色偏校正中网络训练的初始学习率为0.005，批大小为128，共计200000次迭代。学习率每40000次迭代减少一半。图像去雾中，初始学习率为0.005，批大小为128。学习率每100000次迭代减少一半。动量和权重衰减参数分别设为0.9和0.0005。所有的实验都在NvidiaTitan X GPU的工作站上基于Caffe进行实现。
3潜在变量的后处理
针对上述网络估计出来的潜在变量，需要进行相应的后处理，从而得到更加准确的估计结果。对于局部图像块和全局图像，采用不同的后处理方法。局部图像块情形：对于整幅图像中的所有局部图像块估计对应的潜在变量，然后对于由该潜在变量构成的整幅图层(Latent Variable Map)，采用原始整幅图像或者其亮度通道(RGB颜色空间到HSV颜色空间转换后得到的V通道)作为引导图像，使用图像引导滤波器(Image Guided Filter)对上述估计出来的潜在变量图层进行滤波，从而得到具有局部平滑特性的估计结果。全局图像情形：针对全局图像任意位置处估计得到的多个潜在变量的估计值，采用均值滤波器或者中值滤波器进行处理，从而得到更加鲁棒、准确的估计结果。
4基于潜在变量估计值和成像模型的图像增强
根据上述降质条件下的成像模型(公式(1)和公式(2))，可以分别得到从降质图像和潜在变量估计清晰图像的数学表达式如下：
以及：
其中，t0是一个人工设定的较小的值，例如0.1，为了保证计算稳定性。大气光照Ac通常可以根据估计得到的透射率图，选择透射率较小的区域的均值作为大气光照的估计值。
根据公式(5)和公式(6)，基于降质图像和网络估计出来的潜在变量，可以计算得到增强后的图像结果。
图2展示了本发明提出的网络结构用于图像色偏校正问题的例子。其中，(a)是降质图像，(b)是对(a)中的像素进行随机重排构建的网络输入，本发明提出的全1*1卷积神经网络估计的色偏值(e)和色偏校正结果(f)。(c)是将网络的第一个池化层响应图重新投影到上原始降质图像(a)上的结果，(d)是(c)中的像素根据响应强度作为权重的加权直方图(俯瞰视角图)。
Claims (3)
1.基于全1*1卷积神经网络的图像增强方法，其特征在于该方法包括以下步骤：
步骤(1).图像预处理
将低质成像图像中局部图像块或者整幅图像中的像素进行重新随机排列(PixelShuffle)；所述的像素随机重排为局部重排或全局重排，二者分别针对局部图像块或者整幅图像中的像素，重新随机排列其所有像素位置顺序；
步骤(2).构建一个全1*1卷积神经网络，从输入图像中估计图像增强任务中的潜在变量
2.1构建全1*1卷积神经网络
全1*1卷积神经网络由多个1*1卷积单元叠加构成；
1*1卷积单元包括一个或者多分支的1*1卷积层；每个卷积层包括多个特征通道，可以学习不同的特征表示；卷积层之后紧跟一个非线性激活层，用以对上述卷积层输出的特征施加非线性变换，从而提高模型的非线性建模能力；
若1*1卷积单元为单分支的情形，在非线性激活层之后紧跟一个池化层；
若1*1卷积单元为多分支的情形，在非线性激活层之后紧跟一个并置层，对非线性激活层得到的特征沿着特征维进行拼接，从而构成扩维的特征表示；在并置层之后紧跟一个池化层；上述并置层和池化层的顺序可互换；
通过设置上述池化层的池化核大小为k*k，使得上述1*1卷积单元的感受野等效于k*k大卷积层的感受野；
通过设置池化层的池化核大小为(k+p-1)*(k+p-1)，使得上述1*1卷积单元的感受野等效于k*k大卷积层和p*p的池化层对应网络的感受野；
2.2上述全1*1卷积网络的输入为步骤(1)像素重排后的图像；
2.3上述全1*1卷积网络的输出为图像增强任务中的潜在变量(Latent Variable)；
2.4基于上述全卷积神经网络，增加损失函数层监督网络进行训练；根据图像增强任务不同，分为分类任务和回归任务；分类任务采用柔性最大损失函数(Softmax Loss)；回归任务可以采用均方误差函数(Mean Square Error)；训练样本采用合成的或者真实的数据集进行构建，并针对每个样本对应的潜在变量进行标注；网络训练的优化方法可以采用小批量随机梯度下降法(Mini-Batch Stochastic Gradient Descent)等方法对网络进行训练，学习权重参数；
步骤(3).上述全1*1卷积网络输出的潜在变量的后处理
针对局部图像块情形：对于整幅图像中的所有局部图像块估计对应的潜在变量，然后对于由该潜在变量构成的整幅图层，采用原始整幅图像或者其亮度通道作为引导图像，使用图像引导滤波器对上述估计出来的潜在变量图层进行滤波，从而得到具有局部平滑特性的估计结果；
针对全局图像情形：针对全局图像任意位置处估计得到的多个潜在变量，采用均值滤波器或者中值滤波器进行处理，从而得到更加鲁棒、准确的估计结果；
步骤(4).基于潜在变量估计值和成像模型的图像增强
基于上述步骤(3)估计出来的潜在变量，以及潜在变量所对应成像模型，得到利用低质图像和步骤(3)潜在变量估计出的清晰图像的数学表达式，进而计算得到增强后的结果。
2.如权利要求1所述的基于全1*1卷积神经网络的图像增强方法，其特征在于合成的样本是从清晰图像出发，基于描述受潜在变量影响的降质过程成像方程，根据给定的潜在变量值合成对应的低质成像图像。
3.如权利要求1所述的基于全1*1卷积神经网络的图像增强方法，其特征在于真实的数据集是通过采集同一场景的降质/非降质图像对构建，并通过现有技术获得对应的潜在变量值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810768178.9A CN109255758B (zh) | 2018-07-13 | 2018-07-13 | 基于全1*1卷积神经网络的图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810768178.9A CN109255758B (zh) | 2018-07-13 | 2018-07-13 | 基于全1*1卷积神经网络的图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109255758A true CN109255758A (zh) | 2019-01-22 |
| CN109255758B CN109255758B (zh) | 2021-09-21 |
Family
ID=65049116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810768178.9A Active CN109255758B (zh) | 2018-07-13 | 2018-07-13 | 基于全1*1卷积神经网络的图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109255758B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961070A (zh) * | 2019-03-22 | 2019-07-02 | 国网河北省电力有限公司电力科学研究院 | 一种输电线路智能化图像监测中区分雾体浓度的方法 |
| CN111369472A (zh) * | 2020-03-12 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 图像去雾方法、装置、电子设备及介质 |
| CN111612709A (zh) * | 2020-05-11 | 2020-09-01 | 济南浪潮高新科技投资发展有限公司 | 一种基于DnCNNs改进的图像降噪方法 |
| CN111754400A (zh) * | 2020-06-01 | 2020-10-09 | 杭州电子科技大学 | 一种高效的图片超分辨率重建方法 |
| CN111861940A (zh) * | 2020-07-31 | 2020-10-30 | 中国科学院深圳先进技术研究院 | 一种基于条件连续调节的图像调色增强方法 |
| CN113378815A (zh) * | 2021-06-16 | 2021-09-10 | 南京信息工程大学 | 一种场景文本定位识别的模型及其训练和识别的方法 |
| CN114612330A (zh) * | 2022-03-15 | 2022-06-10 | 中国人民解放军国防科技大学 | 一种多相机的图像增强方法 |
| CN116258644A (zh) * | 2023-01-13 | 2023-06-13 | 格兰菲智能科技有限公司 | 图像增强方法、装置、计算机设备、存储介质 |
| CN116363009A (zh) * | 2023-03-31 | 2023-06-30 | 哈尔滨工业大学 | 基于有监督学习的快速轻量化低照度图像增强方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341518A (zh) * | 2017-07-07 | 2017-11-10 | 东华理工大学 | 一种基于卷积神经网络的图像分类方法 |
| CN107403415A (zh) * | 2017-07-21 | 2017-11-28 | 深圳大学 | 基于全卷积神经网络的压缩深度图质量增强方法及装置 |
| CN107862695A (zh) * | 2017-12-06 | 2018-03-30 | 电子科技大学 | 一种基于全卷积神经网络的改进型图像分割训练方法 |
| CN108171672A (zh) * | 2018-01-10 | 2018-06-15 | 西北工业大学 | 基于红通道和全卷积神经网络的水下光学智能感知方法 |
-
2018
- 2018-07-13 CN CN201810768178.9A patent/CN109255758B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341518A (zh) * | 2017-07-07 | 2017-11-10 | 东华理工大学 | 一种基于卷积神经网络的图像分类方法 |
| CN107403415A (zh) * | 2017-07-21 | 2017-11-28 | 深圳大学 | 基于全卷积神经网络的压缩深度图质量增强方法及装置 |
| CN107862695A (zh) * | 2017-12-06 | 2018-03-30 | 电子科技大学 | 一种基于全卷积神经网络的改进型图像分割训练方法 |
| CN108171672A (zh) * | 2018-01-10 | 2018-06-15 | 西北工业大学 | 基于红通道和全卷积神经网络的水下光学智能感知方法 |
Non-Patent Citations (1)
| Title |
|---|
| 时永刚 等: "结合全卷积网络和GrowCut的肾皮质分割算法", 《中国图象图形学报》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961070A (zh) * | 2019-03-22 | 2019-07-02 | 国网河北省电力有限公司电力科学研究院 | 一种输电线路智能化图像监测中区分雾体浓度的方法 |
| CN111369472A (zh) * | 2020-03-12 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 图像去雾方法、装置、电子设备及介质 |
| CN111369472B (zh) * | 2020-03-12 | 2021-04-23 | 北京字节跳动网络技术有限公司 | 图像去雾方法、装置、电子设备及介质 |
| CN111612709B (zh) * | 2020-05-11 | 2023-03-28 | 山东浪潮科学研究院有限公司 | 一种基于DnCNNs改进的图像降噪方法 |
| CN111612709A (zh) * | 2020-05-11 | 2020-09-01 | 济南浪潮高新科技投资发展有限公司 | 一种基于DnCNNs改进的图像降噪方法 |
| CN111754400A (zh) * | 2020-06-01 | 2020-10-09 | 杭州电子科技大学 | 一种高效的图片超分辨率重建方法 |
| CN111754400B (zh) * | 2020-06-01 | 2023-12-26 | 杭州电子科技大学 | 一种高效的图片超分辨率重建方法 |
| CN111861940A (zh) * | 2020-07-31 | 2020-10-30 | 中国科学院深圳先进技术研究院 | 一种基于条件连续调节的图像调色增强方法 |
| CN113378815A (zh) * | 2021-06-16 | 2021-09-10 | 南京信息工程大学 | 一种场景文本定位识别的模型及其训练和识别的方法 |
| CN113378815B (zh) * | 2021-06-16 | 2023-11-24 | 南京信息工程大学 | 一种场景文本定位识别的系统及其训练和识别的方法 |
| CN114612330A (zh) * | 2022-03-15 | 2022-06-10 | 中国人民解放军国防科技大学 | 一种多相机的图像增强方法 |
| CN114612330B (zh) * | 2022-03-15 | 2024-02-02 | 中国人民解放军国防科技大学 | 一种多相机的图像增强方法 |
| CN116258644A (zh) * | 2023-01-13 | 2023-06-13 | 格兰菲智能科技有限公司 | 图像增强方法、装置、计算机设备、存储介质 |
| CN116363009A (zh) * | 2023-03-31 | 2023-06-30 | 哈尔滨工业大学 | 基于有监督学习的快速轻量化低照度图像增强方法及系统 |
| CN116363009B (zh) * | 2023-03-31 | 2024-03-12 | 哈尔滨工业大学 | 基于有监督学习的快速轻量化低照度图像增强方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109255758B (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255758A (zh) | 基于全1*1卷积神经网络的图像增强方法 | |
| Golts et al. | Unsupervised single image dehazing using dark channel prior loss | |
| CN109614996B (zh) | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 | |
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
| US7187811B2 (en) | Method for image resolution enhancement | |
| CN104217404A (zh) | 雾霾天视频图像清晰化处理方法及其装置 | |
| CN110443763B (zh) | 一种基于卷积神经网络的图像阴影去除方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN110675462A (zh) | 一种基于卷积神经网络的灰度图像彩色化方法 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN106683100A (zh) | 一种图像分割去雾方法及终端 | |
| CN111079764A (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| Fan et al. | Multi-scale depth information fusion network for image dehazing | |
| Qian et al. | CIASM-Net: a novel convolutional neural network for dehazing image | |
| CN113096023A (zh) | 神经网络的训练方法、图像处理方法及装置、存储介质 | |
| Khan et al. | A deep hybrid few shot divide and glow method for ill-light image enhancement | |
| Singh et al. | Low-light image enhancement for UAVs with multi-feature fusion deep neural networks | |
| CN110009574A (zh) | 一种亮度、色彩自适应与细节丰富的低动态范围图像逆向生成高动态范围图像的方法 | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| CN112686804A (zh) | 面向矿井低光照环境的图像超分辨率重建方法及装置 | |
| CN116452511A (zh) | 钻爆法隧道掌子面围岩级别智能判识方法、装置及介质 | |
| Liu et al. | Non-homogeneous haze data synthesis based real-world image dehazing with enhancement-and-restoration fused CNNs | |
| Jiji et al. | Extended depth of focus imaging using optics and image processing | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |