CN114897721A - 一种基于无监督学习的可迭代纹理滤波方法及系统 - Google Patents
一种基于无监督学习的可迭代纹理滤波方法及系统 Download PDFInfo
- Publication number
- CN114897721A CN114897721A CN202210475155.5A CN202210475155A CN114897721A CN 114897721 A CN114897721 A CN 114897721A CN 202210475155 A CN202210475155 A CN 202210475155A CN 114897721 A CN114897721 A CN 114897721A
- Authority
- CN
- China
- Prior art keywords
- image
- texture filtering
- neural network
- unsupervised
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000003062 neural network model Methods 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 47
- 230000006870 function Effects 0.000 claims abstract description 30
- 230000002146 bilateral effect Effects 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 22
- 238000005457 optimization Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 21
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 125000001475 halogen functional group Chemical group 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003706 image smoothing Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012733 comparative method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于无监督学习的可迭代纹理滤波方法，包括获取图像数据集并对图像尺寸进行预处理，且将预处理后的图像数据集作为训练集；构建无监督纹理滤波神经网络模型，并采用卷积层提取图像的特征，对无监督纹理滤波神经网络模型进行优化；将训练集作为优化后的无监督纹理滤波神经网络模型的输入，并在损失函数中植入双边纹理滤波平滑项进行模型训练，得到训练好的无监督纹理滤波神经网络模型；将待测图像输入到已训练好的无监督纹理滤波神经网络模型中，得到纹理滤波后的图像。实施本发明，无需成对匹配的数据集作为训练数据，能够快速的捕捉图像中纹理信息，不仅去除纹理性能优异，而且运行速度快。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于无监督学习的可迭代纹理滤波方法及系统。
背景技术
纹理滤波方法试图保留图像中显著的结构，并删除不重要的细节和纹理信息。纹理滤波方法被广泛应用于图像处理和计算机图形学中。
现有的纹理滤波方法大致可以分为三类：基于核的局部方法、基于优化的全局方法和基于深度学习的方法。
基于核的局部方法通常将输入的加权平均值作为滤波结果，虽然运行速度快，但是容易在纹理滤波中引起梯度反转和光晕。目前，基于核的局部方法常见有双边滤波器(Bilateral Filter,BLF)，导向滤波(Guided Filter,GF)，滚动导向滤波(RollingGuidance Filter,RGF)等。其中，双边滤波器就是最典型的基于核的局部方法，能很好的保持图像的结构，但是不能处理图像纹理信息；例如，为了提高纹理滤波能力，Cho等人提出了双边纹理滤波器，使得该滤波器能很好的移除图像纹理信息，参见：Hojin Cho,HyunjoonLee,Henry Kang,and Seungyong Lee.Bilateral texture filtering.ACM Transactionson Graphics(TOG),33(4):1-8,2014。
基于优化的全局方法通常建立一个全局最优化的方程，该最优化方程中通常包含数据项和平滑项，核心思想是设计一个有效的平滑项，该方法虽然能解决基于核的局部方法中梯度反转和光晕的缺陷，但是通常需要求解一个大的稀疏矩阵，这不可避免地会带来高的内存消耗，同时在处理速度方面效率往往比较低，很难做到实时的应用。目前，基于优化的全局方法包括加权最小二乘法，L0梯度最小化，相对全变分(Relative totalVariation，RTV)方法等，参见，Wei Liu,Pingping Zhang,Xiaolin Huang,Jie Yang,Chunhua Shen,and Ian Reid.Real-time image smoothing via iterative leastsquares.ACM Transactions on Graphics(TOG),39(3):1-24,2020。
基于深度学习的滤波方法在最近几年引起了很多学者的研究。然而，现有的基于深度学习的方法的主要缺点在于：通常无法正确区分具有类似低级外观的纹理和结构，而且在训练神经网络时，因没有标准的成对匹配纹理滤波数据集，往往采用其他纹理滤波方法的结果作为训练集来训练神经网络，极大地限制了纹理滤波质量，使得纹理滤波结果仅能接近训练集中的纹理滤波结果。例如，徐立等人提出了一种基于深度边缘感知的滤波方法，在梯度域中训练网络，并根据深度网络产生的精细梯度重建滤波输出，参见：Li Xu,Jimmy Ren,Qiong Yan,Renjie Liao,and Jiaya Jia.Deep edge-aware lters.InInternational Conference on Machine Learning,pages 1669-1678.PMLR,2015；又如，Li等人介绍了一种基于卷积神经网络的数据驱动联合图像滤波，参见：Yijun Li,Jia-BinHuang,Narendra Ahuja,and Ming-Hsuan Yang.Deep joint image filtering.InEuropean Conference on Computer Vision,pages 154-169.Springer,2016；又如，樊庆楠等人提出了一种解耦学习算法，从算子参数中学习，动态调整深度网络的权重，用于图像滤波，参见：Qingnan Fan,Dongdong Chen,Lu Yuan,Gang Hua,Nenghai Yu,and BaoquanChen.A general decoupled learning framework for parameterized imageoperators.IEEE transactions on pattern analysis and machine intelligence,43(1):33-47,2019。
因此，为了解决现有纹理滤波方法所存在的上述不足，有必要提出一种新的纹理滤波方法，无需成对匹配的数据集作为训练数据，能够快速的捕捉图像中纹理信息，不仅去除纹理性能优异，而且运行速度快，可达到近实时的性能。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于无监督学习的可迭代纹理滤波方法及系统，无需成对匹配的数据集作为训练数据，能够快速的捕捉图像中纹理信息，不仅去除纹理性能优异，而且运行速度快。
为了解决上述技术问题，本发明实施例提供了一种基于无监督学习的可迭代纹理滤波方法，所述方法包括以下步骤：
S1、获取图像数据集，并对所述图像数据集中图像尺寸进行预处理，且将预处理后的图像数据集作为训练集；
S2、构建无监督纹理滤波神经网络模型，并采用卷积层提取图像的特征，对所述无监督纹理滤波神经网络模型进行优化；
S3、将所述训练集作为优化后的无监督纹理滤波神经网络模型的输入，并在损失函数中植入双边纹理滤波平滑项，对所述优化后的无监督纹理滤波神经网络模型进行训练，得到训练好的无监督纹理滤波神经网络模型；
S4、将待测图像输入到已训练好的无监督纹理滤波神经网络模型中，得到纹理滤波后的图像。
其中，所述步骤S1中图像数据集预处理后的图像尺寸为256×256。
其中，所述步骤S2具体包括：
构建无监督纹理滤波神经网络模型，其依次由下采样模块、残差层模块和上采样模块组成；
采用卷积层提取图像的特征，对所述无监督纹理滤波神经网络模型进行优化，具体为：
首先，确定下采样模块由4个卷积层组成，连接顺序为：C1BL-C2BL-C3BL–C4BL；C代表标准的卷积层操作，B代表批归一化层操作，L代表LeakyReLU激活函数；C1卷积层输入通道数为3，输出通道数为16，卷积核尺寸为3×3，移动步长为1；C2卷积层输入通道数为16，输出通道数为32，卷积核尺寸为3×3，移动步长为1；C3卷积层输入通道数为32，输出通道数为64，卷积核尺寸为3×3，移动步长为2；C4卷积层输入通道数为64，输出通道数为64，卷积核尺寸为3×3，移动步长为2；下采样模块的输出为：Fdown＝fC4BL(fC3BL(fC2BL(fC1BL(I))))；I表示输入图像；f代表操作，fCBL表示执行一次卷积层操作，随后进行一次批归一化层操作和LeakyReLU激活；
其次，确定残差层模块由10个残差层组成，连接顺序为：RNN1-RNN2-RNN3-RNN4-RNN5-RNN6-RNN7-RNN8-RNN9-RNN10；下采样模块的输出作为残差层模块的输入；每个残差层RNN的操作为：FRNN＝fL(Fin+fCB(fCBL(Fin)))；Fin表示输入特征；RNN1至RNN10中卷积层输入和输出道数均为64，卷积核尺寸为3×3，移动步长为1；RNN1和RNN2膨胀系数为2，RNN3和RNN4膨胀系数为4，RNN5和RNN6膨胀系数为8，RNN7和RNN8膨胀系数为16，RNN9和RNN10膨胀系数为1；
接着，确定上采样模块由4个卷积层组成，连接顺序为TC5BL-TC6BL-C7BL-C8；TC为转置卷积层；TC5转置卷积层输入通道数为64，输出通道数为64，卷积核尺寸为3×3，移动步长为2；TC6转置卷积层输入通道数为64，输出通道数为64，卷积核尺寸为3×3，移动步长为2；C7卷积层输入通道数为64，输出通道数为64，卷积核尺寸为3×3，移动步长为1；C8卷积层输入通道数为64，输出通道数为3，卷积核尺寸为3×3，移动步长为1；上采样模块的输出为：Fup＝fC8(fC7BL(fTC6BL(fTC5BL(Fdown+FR))))；Fdown表示下采样模块的输出，FR表示残差层模块的输出；
最后，确定优化后的无监督纹理滤波神经网络模型的输出图像U为：U＝I+Fup。
其中，所述步骤S3具体包括：
确定损失函数为
其中，U为优化后的无监督纹理滤波神经网络模型的输出图像；I为所述训练集中原图像；i和j为索引值；||·||2表示L2正则化，||·||p表示Lp正则化，p值取0.8；N(i)表示以i为中心的k×k窗口，k值取5；||Ui-Ii||2表示为损失函数中的数据项；
为纹理平滑项，λ设置为0.25；ωij为权重系数，
空间域核f和值域核g为高斯函数；
(xi,yi)分别为像素i的x坐标和y坐标，δs为空间域高斯函数的标准差，值设置为7；
δr为值域高斯函数的标准差，值设置为0.075，G为纹理引导图像，纹理引导图像G可以通过块平移技术获得：
(1)对输入图像I，应用k×k的均值滤波核计算图像的均值，获得图像B；
(2)针对输入图像I的每个像素i，计算以i为中心的像素块mRTV(Ωi)值，然后在像素i的k×k邻域内，寻找具有最小mRTV值的像素块的位置j，将Bj复制到G′i；
Ωi表示以i为中心的k×k像素块，Imax(Ωi)和Imin(Ωi)分别表示像素块Ωi中的像素最大值和最小值，r为索引值，
表示像素r处的梯度大小；ε是一个非常小的正常数，设置为10-9；
(3)使用mRTV值的差值作为混合权重，插值B和G'最终获得纹理引导图像Gi＝αiG′i+(1-αi)Bi；
σa控制从边缘到平滑/纹理区域的权重过渡的锐度，σa的值设置为25，αi的取值范围为[0,1]；
将所述训练集作为优化后的无监督纹理滤波神经网络模型的输入，并结合所述损失函数
采用AdamW优化算法对所述优化后的无监督纹理滤波神经网络模型进行训练，得到训练好的无监督纹理滤波神经网络模型。
本发明实施例还提供了一种基于无监督学习的可迭代纹理滤波系统，包括：
图像数据集获取单元，用于获取图像数据集，并对所述图像数据集中图像尺寸进行预处理，且将预处理后的图像数据集作为训练集；
纹理滤波神经网络模型优化单元，用于构建无监督纹理滤波神经网络模型，并采用卷积层提取图像的特征，对所述无监督纹理滤波神经网络模型进行优化；
纹理滤波神经网络模型训练单元，用于将所述训练集作为优化后的无监督纹理滤波神经网络模型的输入，并在损失函数中植入双边纹理滤波平滑项，对所述优化后的无监督纹理滤波神经网络模型进行训练，得到训练好的无监督纹理滤波神经网络模型；
待测图像纹理滤波处理单元，用于将待测图像输入到已训练好的无监督纹理滤波神经网络模型中，得到纹理滤波后的图像。
其中，所述图像数据集预处理后的图像尺寸为256×256。
实施本发明实施例，具有如下有益效果：
1、本发明采用无监督学习，无需成对匹配的数据集，任何图像都可以作为训练数据；
2、本发明在训练神经网络时引入了双边纹理损失函数，能够捕捉图像中的纹理信息，纹理滤波结果在保留主要图像结构的同时，在去除纹理方面取得了优异的性能；
3、本发明具有运行速度快，纹理滤波可以达到近实时的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例提供的一种基于无监督学习的可迭代纹理滤波方法的流程图；
图2为本发明实施例提供的一种基于无监督学习的可迭代纹理滤波方法中无监督纹理滤波神经网络模型的结构示意图；
图3为本发明实施例提供的一种基于无监督学习的可迭代纹理滤波方法的应用场景中无监督纹理滤波神经网络模型基于不同迭代次数的纹理滤波效果图；
图4为本发明实施例提供的一种基于无监督学习的可迭代纹理滤波方法与现有主流纹理滤波方法各自采用纹理滤波的效果对比图；
图5为本发明实施例提供的一种基于无监督学习的可迭代纹理滤波方法与现有主流纹理滤波方法各自对噪声图像的滤波效果对比图；
图6为本发明实施例提供的一种基于无监督学习的可迭代纹理滤波方法在图像细节增强上的应用效果图；
图7为本发明实施例提供的一种基于无监督学习的可迭代纹理滤波方法对多组图像采用纹理滤波的效果图；
图8为本发明实施例提供的一种基于无监督学习的可迭代纹理滤波系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，提出的一种基于无监督学习的可迭代纹理滤波方法，所述方法包括以下步骤：
步骤S1、获取图像数据集，并对所述图像数据集中图像尺寸进行预处理，且将预处理后的图像数据集作为训练集；
步骤S2、构建无监督纹理滤波神经网络模型，并采用卷积层提取图像的特征，对所述无监督纹理滤波神经网络模型进行优化；
步骤S3、将所述训练集作为优化后的无监督纹理滤波神经网络模型的输入，并在损失函数中植入双边纹理滤波平滑项，对所述优化后的无监督纹理滤波神经网络模型进行训练，得到训练好的无监督纹理滤波神经网络模型；
步骤S4、将待测图像输入到已训练好的无监督纹理滤波神经网络模型中，得到纹理滤波后的图像。
具体过程为，在步骤S1中，获取图像数据集，把图像数据集中图像尺寸调整为256×256，调整尺寸后的图像数据集作为无监督纹理滤波神经网络的训练集。
在步骤S2中，首先，构建无监督纹理滤波神经网络模型，其依次由下采样模块、残差层模块和上采样模块组成；
其次，采用卷积层提取图像的特征，对无监督纹理滤波神经网络模型进行优化，如图2所示，该模型结构具体为：
(1)下采样模块由4个卷积层组成，连接顺序为：C1BL-C2BL-C3BL–C4BL；C代表标准的卷积层操作，B代表批归一化层操作，L代表LeakyReLU激活函数；
其中，卷积层的参数为：C1卷积层输入通道数为3，输出通道数为16，卷积核尺寸为3×3，移动步长为1；C2卷积层输入通道数为16，输出通道数为32，卷积核尺寸为3×3，移动步长为1；C3卷积层输入通道数为32，输出通道数为64，卷积核尺寸为3×3，移动步长为2；C4卷积层输入通道数为64，输出通道数为64，卷积核尺寸为3×3，移动步长为2；
下采样模块的输出为：Fdown＝fC4BL(fC3BL(fC2BL(fC1BL(I))))；I表示输入图像；f代表操作，fCBL表示执行一次卷积层操作，随后进行一次批归一化层操作和LeakyReLU激活；C3卷积层和C4卷积层的移动步长为2，因此经过下采样模块，输出的特征分辨率为输入图像I的1/4；
(2)残差层模块由10个残差层组成，连接顺序为：RNN1-RNN2-RNN3-RNN4-RNN5-RNN6-RNN7-RNN8-RNN9-RNN10；下采样模块的输出作为残差层模块的输入；
每个残差层RNN的操作为：FRNN＝fL(Fin+fCB(fCBL(Fin)))；Fin表示输入特征；
其中，残差层模块中的所有卷积层的输入和输出通道数，卷积核和移动步长都一样，区别在膨胀系数。此时，RNN1至RNN10中卷积层输入和输出道数均为64，卷积核尺寸为3×3，移动步长为1；RNN1和RNN2膨胀系数为2，RNN3和RNN4膨胀系数为4，RNN5和RNN6膨胀系数为8，RNN7和RNN8膨胀系数为16，RNN9和RNN10膨胀系数为1；
(3)上采样模块由4个卷积层组成，连接顺序为TC5BL-TC6BL-C7BL-C8；TC为转置卷积层；
其中，卷积层和转置卷积层的参数为：TC5转置卷积层输入通道数为64，输出通道数为64，卷积核尺寸为3×3，移动步长为2；TC6转置卷积层输入通道数为64，输出通道数为64，卷积核尺寸为3×3，移动步长为2；C7卷积层输入通道数为64，输出通道数为64，卷积核尺寸为3×3，移动步长为1；C8卷积层输入通道数为64，输出通道数为3，卷积核尺寸为3×3，移动步长为1；
上采样模块的输出为：Fup＝fC8(fC7BL(fTC6BL(fTC5BL(Fdown+FR))))；Fdown表示下采样模块的输出，FR表示残差层模块的输出；
经过上采样模块，输出的特征Fup的分辨率和输入图像I的分辨率相同；
(4)优化后的无监督纹理滤波神经网络模型的输出图像U为：U＝I+Fup。
在步骤S3中，首先，本发明采用无监督学习，即训练的数据集中不包含输出目标。首先，确定训练集经过无监督纹理滤波神经网络的输出图像和训练集中原图像之间的损失函数设计如下：
其中，U为优化后的无监督纹理滤波神经网络模型的输出图像；I为所述训练集中原图像；i和j为索引值；||·||2表示L2正则化，||·||p表示Lp正则化，p值取0.8；N(i)表示以i为中心的k×k窗口，k值取5；
||Ui-Ii||2表示为损失函数中的数据项，确保了经过无监督纹理滤波神经网络的输出图像和训练集中原图像尽可能的接近；
其中，ωij为权重系数，
空间域核f和值域核g为高斯函数；
(1)对输入图像I，应用k×k的均值滤波核计算图像的均值，获得图像B；
(2)针对输入图像I的每个像素i，计算以i为中心的像素块mRTV(Ωi)值，然后在像素i的k×k邻域内，寻找具有最小mRTV值的像素块的位置j，将Bj复制到G′i；
Ωi表示以i为中心的k×k像素块，Imax(Ωi)和Imin(Ωi)分别表示像素块Ωi中的像素最大值和最小值，r为索引值，
表示像素r处的梯度大小；ε是一个非常小的正常数，设置为10-9；
(3)使用mRTV值的差值作为混合权重，插值B和G'最终获得纹理引导图像Gi＝αiG′i+(1-αi)Bi；
σa控制从边缘到平滑/纹理区域的权重过渡的锐度，σa的值设置为25；αi的取值范围为[0,1]，在图像边缘，αi的值相对比较大，在图像纹理和平坦区域，αi的值相对比较小。
其次，将训练集作为优化后的无监督纹理滤波神经网络模型的输入，并结合上述损失函数
采用AdamW优化算法对优化后的无监督纹理滤波神经网络模型进行训练，得到训练好的无监督纹理滤波神经网络模型。
应当说明的是，对损失函数E进行优化求最小化的极值，可以获得纹理滤波神经网络的参数，本发明采用AdamW优化算法来训练纹理滤波神经网络模型，使用VOC2012数据集进行训练，数据集中总共有17125张图像，在训练过程中，所有输入图像都会被裁剪并调整为256×256分辨率，但在测试过程中，可以处理任意分辨率的图像。
在步骤S4中，纹理滤波神经网络模型训练好后，将待测图像输入到已训练好的无监督纹理滤波神经网络模型中，该模型可进行多次迭代，获得纹理滤波后的图像。针对分辨率为512×512的图像，该模型一次迭代仅需0.15秒。
可以理解的是，本发明实施例提供的一种基于无监督学习的可迭代纹理滤波方法采用Pytorch框架实现，并在NVIDIA Tesla K80图形卡上实现网络模型的训练和测试，网络模型训练20次，训练时长约1天。
如图3至图7所示，为本发明实施例提供的一种基于无监督学习的可迭代纹理滤波方法的应用效果及其与现有主流纹理滤波方法的效果对比图。
图3显示了本发明实施例的纹理滤波方法采用不同迭代次数的纹理滤波效果。随着迭代次数的增加，纹理滤波能力越强，通常情况下，本发明方法经过1-3次迭代，可以完全移除图像中的纹理，从图3中可以看到，本发明实施例的纹理滤波方法用少量的迭代次数，就可以很好地移除马赛克纹理，同时能很好地保持图像中的主要结构。
图4显示了本发明实施例的纹理滤波方法和主流滤波方法纹理滤波的效果对比，图中第一列显示了输入图像，第二列显示了采用ILS方法纹理滤波的结果，ILS方法参见：Wei Liu,Pingping Zhang,Xiaolin Huang,Jie Yang,Chunhua Shen,and Ian Reid.Real-time image smoothing via iterative least squares.ACM Transactions on Graphics(TOG),39(3):1-24,2020。第三列显示了采用基于深度学习UL方法滤波的结果，UL方法参见：Qingnan Fan,Jiaolong Yang,David Wipf,Baoquan Chen,and Xin Tong.Imagesmoothing via unsupervised learning.ACM Transactions on Graphics(TOG),37(6):1-14,2018。第四列显示了采用双边纹理滤波BTF方法纹理滤波的结果，BTF方法参见：HojinCho,Hyunjoon Lee,Henry Kang,and Seungyong Lee.Bilateral texture filtering.ACMTransactions on Graphics(TOG),33(4):1-8,2014。第五列显示了采用相对全变分RTV方法纹理滤波的结果，RTV方法参见：Li Xu,Qiong Yan,Yang Xia,and Jiaya Jia.Structureextraction from texture via relative total variation.ACM transactions ongraphics(TOG),31(6):1-10,2012。第六列显示了本发明实施例的纹理滤波方法纹理滤波的结果。
从图4中可以看出，ILS方法移除纹理信息的能力较弱，不能完全移除图像中的纹理信息。UL方法的结果在很大程度上依赖于图像结构的附加信息，图像结构检测不完善会影响UL方法的纹理滤波效果，因此，UL方法的纹理滤波效果取决于边缘检测的质量，从图中可以看出，UL方法无法完美地移除一些细节纹理。双边纹理滤波BTF方法虽然能较好的移除纹理信息，但是不能很好的保持图像的结构，RTV方法纹理滤波效果较好，也能保持图像主要的结构，但是图像中小的结构也同样被平滑了，这一点可以从图4中第二行中箭头所指部分看出。相比较，本发明非常有效的移除图像中的纹理，同时也能很好的保持图像中的主要结构，而且本发明运行效率非常高，针对分辨率为512×512的图像，RTV，BTF和ILS方法在Intel(R)Core(TM)i7-9700 CPU@3.00GHz和内存8GRAM的电脑上，使用MATLAB平台迭代3次，分别耗时3.34秒，29.64秒和0.29秒，本发明方法和UL方法在NVIDIA Tesla K80 GPU上迭代3次，耗时为0.39秒和0.56秒，虽然本发明方法相对于ILS方法运行效率稍微低一点，但是在移除图像纹理方面，本发明方法效果要明显优于ILS方法。
图5显示了本发明实施例的纹理滤波方法和主流滤波方法对噪声图像的滤波效果对比；对比的方法包括，GSF、BTF、UL、RGF、ILS和RTV方法，其中GSF方法参见：Wei Liu,Pingping Zhang,Yinjie Lei,Xiaolin Huang,Jie Yang,and Michael Kwok-Po Ng.Ageneralized framework for edge-preserving and structure-preserving imagesmoothing.IEEE Transactions on Pattern Analysis and Machine Intelligence,2021。RGF方法参见：Qi Zhang,Xiaoyong Shen,Li Xu,and Jiaya Jia.Rolling guidancefilter.In European conference on computer vision,pages815-830.Springer,2014。图5中可以看出RTV方法和本发明实施例的纹理滤波方法在对噪声图像的滤波效果上要优于其他方法。
通常纹理滤波方法可以应用于图像细节增强，图像细节增强旨在增强图像细节，同时避免梯度反转和光晕等缺陷。首先，通过图像滤波算法将输入图像分解为基本层和细节层，然后通过放大细节层生成细节增强图像，并将其加回基本层，以获得细节增强图像，图像细节增强的方法如下：
S＝I+(I-U)×β
式中，S表示图像细节增强后的图像，I表示原图像，U表示滤波后的图像，β表示增强倍数，这里β取值为2.5。
图6显示了使用本发明实施例的纹理滤波方法在图像细节增强上的应用效果。图6中第一列为原图像，第二至六列为本发明图像和主流图像算法在图像增强的效果，第一行为图像滤波结果，第二行为图像增强效果，第三行为图像增强局部放大图。从图6中可以看出，本发明实施例的纹理滤波方法不但在图像纹理滤波上有非常好的效果，图像滤波应用于图像细节增强上效果也相当的好，可以很好的避免梯度反转和光晕等缺陷。
图7显示了本发明实施例的纹理滤波方法对多组图像纹理的效果，针对图像中存在的规则的、接近规则的或不规则的纹理，本发明实施例的纹理滤波方法均能完全有效地移除图像中的纹理信息，同时保持了图像中的主要结构，由此可见本发明实施例的纹理滤波方法在纹理滤波上展现了非常优异的性能。
如图8所示，为本发明实施例中，提供的一种基于无监督学习的可迭代纹理滤波系统，包括：
图像数据集获取单元110，用于获取图像数据集，并对所述图像数据集中图像尺寸进行预处理，且将预处理后的图像数据集作为训练集；
纹理滤波神经网络模型优化单元120，用于构建无监督纹理滤波神经网络模型，并采用卷积层提取图像的特征，对所述无监督纹理滤波神经网络模型进行优化；
纹理滤波神经网络模型训练单元130，用于将所述训练集作为优化后的无监督纹理滤波神经网络模型的输入，并在损失函数中植入双边纹理滤波平滑项，对所述优化后的无监督纹理滤波神经网络模型进行训练，得到训练好的无监督纹理滤波神经网络模型；
待测图像纹理滤波处理单元140，用于将待测图像输入到已训练好的无监督纹理滤波神经网络模型中，得到纹理滤波后的图像。
其中，所述图像数据集预处理后的图像尺寸为256×256。
实施本发明实施例，具有如下有益效果：
1、本发明采用无监督学习，无需成对匹配的数据集，任何图像都可以作为训练数据；
2、本发明在训练神经网络时引入了双边纹理损失函数，能够捕捉图像中的纹理信息，纹理滤波结果在保留主要图像结构的同时，在去除纹理方面取得了优异的性能；
3、本发明具有运行速度快，纹理滤波可以达到近实时的性能。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (6)
1.一种基于无监督学习的可迭代纹理滤波方法，其特征在于，所述方法包括以下步骤：
S1、获取图像数据集，并对所述图像数据集中图像尺寸进行预处理，且将预处理后的图像数据集作为训练集；
S2、构建无监督纹理滤波神经网络模型，并采用卷积层提取图像的特征，对所述无监督纹理滤波神经网络模型进行优化；
S3、将所述训练集作为优化后的无监督纹理滤波神经网络模型的输入，并在损失函数中植入双边纹理滤波平滑项，对所述优化后的无监督纹理滤波神经网络模型进行训练，得到训练好的无监督纹理滤波神经网络模型；
S4、将待测图像输入到已训练好的无监督纹理滤波神经网络模型中，得到纹理滤波后的图像。
2.如权利要求1所述的基于无监督学习的可迭代纹理滤波方法，其特征在于，所述步骤S1中图像数据集预处理后的图像尺寸为256×256。
3.如权利要求1所述的基于无监督学习的可迭代纹理滤波方法，其特征在于，所述步骤S2具体包括：
构建无监督纹理滤波神经网络模型，其依次由下采样模块、残差层模块和上采样模块组成；
采用卷积层提取图像的特征，对所述无监督纹理滤波神经网络模型进行优化，具体为：
首先，确定下采样模块由4个卷积层组成，连接顺序为：C1BL-C2BL-C3BL–C4BL；C代表标准的卷积层操作，B代表批归一化层操作，L代表LeakyReLU激活函数；C1卷积层输入通道数为3，输出通道数为16，卷积核尺寸为3×3，移动步长为1；C2卷积层输入通道数为16，输出通道数为32，卷积核尺寸为3×3，移动步长为1；C3卷积层输入通道数为32，输出通道数为64，卷积核尺寸为3×3，移动步长为2；C4卷积层输入通道数为64，输出通道数为64，卷积核尺寸为3×3，移动步长为2；下采样模块的输出为：Fdown＝fC4BL(fC3BL(fC2BL(fC1BL(I))))；I表示输入图像；f代表操作，fCBL表示执行一次卷积层操作，随后进行一次批归一化层操作和LeakyReLU激活；
其次，确定残差层模块由10个残差层组成，连接顺序为：RNN1-RNN2-RNN3-RNN4-RNN5-RNN6-RNN7-RNN8-RNN9-RNN10；下采样模块的输出作为残差层模块的输入；每个残差层RNN的操作为：FRNN＝fL(Fin+fCB(fCBL(Fin)))；Fin表示输入特征；RNN1至RNN10中卷积层输入和输出道数均为64，卷积核尺寸为3×3，移动步长为1；RNN1和RNN2膨胀系数为2，RNN3和RNN4膨胀系数为4，RNN5和RNN6膨胀系数为8，RNN7和RNN8膨胀系数为16，RNN9和RNN10膨胀系数为1；
接着，确定上采样模块由4个卷积层组成，连接顺序为TC5BL-TC6BL-C7BL-C8；TC为转置卷积层；TC5转置卷积层输入通道数为64，输出通道数为64，卷积核尺寸为3×3，移动步长为2；TC6转置卷积层输入通道数为64，输出通道数为64，卷积核尺寸为3×3，移动步长为2；C7卷积层输入通道数为64，输出通道数为64，卷积核尺寸为3×3，移动步长为1；C8卷积层输入通道数为64，输出通道数为3，卷积核尺寸为3×3，移动步长为1；上采样模块的输出为：Fup＝fC8(fC7BL(fTC6BL(fTC5BL(Fdown+FR))))；Fdown表示下采样模块的输出，FR表示残差层模块的输出；
最后，确定优化后的无监督纹理滤波神经网络模型的输出图像U为：U＝I+Fup。
4.如权利要求3所述的基于无监督学习的可迭代纹理滤波方法，其特征在于，所述步骤S3具体包括：
确定损失函数为
其中，U为优化后的无监督纹理滤波神经网络模型的输出图像；I为所述训练集中原图像；i和j为索引值；||·||2表示L2正则化，||·||p表示Lp正则化，p值取0.8；N(i)表示以i为中心的k×k窗口，k值取5；||Ui-Ii||2表示为损失函数中的数据项；
为纹理平滑项，λ设置为0.25；ωij为权重系数，
空间域核f和值域核g为高斯函数；
(xi,yi)分别为像素i的x坐标和y坐标，δs为空间域高斯函数的标准差，值设置为7；
δr为值域高斯函数的标准差，值设置为0.075，G为纹理引导图像，纹理引导图像G可以通过块平移技术获得：
(1)对输入图像I，应用k×k的均值滤波核计算图像的均值，获得图像B；
(2)针对输入图像I的每个像素i，计算以i为中心的像素块mRTV(Ωi)值，然后在像素i的k×k邻域内，寻找具有最小mRTV值的像素块的位置j，将Bj复制到G'i；
Ωi表示以i为中心的k×k像素块，Imax(Ωi)和Imin(Ωi)分别表示像素块Ωi中的像素最大值和最小值，r为索引值，
表示像素r处的梯度大小；ε是一个非常小的正常数，设置为10-9；
(3)使用mRTV值的差值作为混合权重，插值B和G'最终获得纹理引导图像Gi＝αiG'i+(1-αi)Bi；
σa控制从边缘到平滑/纹理区域的权重过渡的锐度，σa的值设置为25，αi的取值范围为[0,1]；
将所述训练集作为优化后的无监督纹理滤波神经网络模型的输入，并结合所述损失函数
采用AdamW优化算法对所述优化后的无监督纹理滤波神经网络模型进行训练，得到训练好的无监督纹理滤波神经网络模型。
5.一种基于无监督学习的可迭代纹理滤波系统，其特征在于，包括：
图像数据集获取单元，用于获取图像数据集，并对所述图像数据集中图像尺寸进行预处理，且将预处理后的图像数据集作为训练集；
纹理滤波神经网络模型优化单元，用于构建无监督纹理滤波神经网络模型，并采用卷积层提取图像的特征，对所述无监督纹理滤波神经网络模型进行优化；
纹理滤波神经网络模型训练单元，用于将所述训练集作为优化后的无监督纹理滤波神经网络模型的输入，并在损失函数中植入双边纹理滤波平滑项，对所述优化后的无监督纹理滤波神经网络模型进行训练，得到训练好的无监督纹理滤波神经网络模型；
待测图像纹理滤波处理单元，用于将待测图像输入到已训练好的无监督纹理滤波神经网络模型中，得到纹理滤波后的图像。
6.如权利要求5所述的基于无监督学习的可迭代纹理滤波系统，其特征在于，所述图像数据集预处理后的图像尺寸为256×256。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210475155.5A CN114897721A (zh) | 2022-04-29 | 2022-04-29 | 一种基于无监督学习的可迭代纹理滤波方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210475155.5A CN114897721A (zh) | 2022-04-29 | 2022-04-29 | 一种基于无监督学习的可迭代纹理滤波方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114897721A true CN114897721A (zh) | 2022-08-12 |
Family
ID=82719826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210475155.5A Withdrawn CN114897721A (zh) | 2022-04-29 | 2022-04-29 | 一种基于无监督学习的可迭代纹理滤波方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114897721A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117193121A (zh) * | 2023-10-07 | 2023-12-08 | 东莞市中能精密机械有限公司 | 涂布机模头的控制系统 |
-
2022
- 2022-04-29 CN CN202210475155.5A patent/CN114897721A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117193121A (zh) * | 2023-10-07 | 2023-12-08 | 东莞市中能精密机械有限公司 | 涂布机模头的控制系统 |
| CN117193121B (zh) * | 2023-10-07 | 2024-06-11 | 东莞市中能精密机械有限公司 | 涂布机模头的控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Deep edge-aware filters | |
| Onuki et al. | Graph signal denoising via trilateral filter on graph spectral domain | |
| Yahya et al. | BM3D image denoising algorithm based on an adaptive filtering | |
| Sun et al. | Gradient profile prior and its applications in image super-resolution and enhancement | |
| CN102326379B (zh) | 从图像中去除模糊的方法 | |
| KR20130001213A (ko) | 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템 | |
| Chen et al. | SAR image despeckling based on combination of fractional-order total variation and nonlocal low rank regularization | |
| Dong et al. | DWDN: Deep Wiener deconvolution network for non-blind image deblurring | |
| CN108492270B (zh) | 一种基于模糊核估计和变分重构的超分辨率方法 | |
| Zhao et al. | Texture variation adaptive image denoising with nonlocal PCA | |
| CN114240797B (zh) | 一种oct图像去噪方法、装置、设备及介质 | |
| CN110796616A (zh) | 基于分数阶微分算子的l0范数约束和自适应加权梯度的湍流退化图像恢复方法 | |
| CN113689517A (zh) | 一种多尺度通道注意力网络的图像纹理合成方法及系统 | |
| Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
| CN114331886A (zh) | 一种基于深度特征的图像去模糊方法 | |
| Zhang | Two-step non-local means method for image denoising | |
| Dou et al. | Image smoothing via truncated total variation | |
| CN114897721A (zh) | 一种基于无监督学习的可迭代纹理滤波方法及系统 | |
| Goyal et al. | An adaptive bitonic filtering based edge fusion algorithm for Gaussian denoising | |
| Yu et al. | Single image blind deblurring based on salient edge-structures and elastic-net regularization | |
| CN111932472B (zh) | 一种基于软聚类的图像保边滤波方法 | |
| Wu et al. | Non-uniform low-light image enhancement via non-local similarity decomposition model | |
| Zhu et al. | MRI enhancement based on visual-attention by adaptive contrast adjustment and image fusion | |
| Kumar et al. | Image denoising based on fractional gradient vector flow and overlapping group sparsity as priors | |
| Thakur et al. | An efficient fuzzy inference system based approximated anisotropic diffusion for image de-noising |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220812 |