CN106056553B - 基于紧框架特征字典的图像修复方法 - Google Patents
基于紧框架特征字典的图像修复方法 Download PDFInfo
- Publication number
- CN106056553B CN106056553B CN201610378196.7A CN201610378196A CN106056553B CN 106056553 B CN106056553 B CN 106056553B CN 201610378196 A CN201610378196 A CN 201610378196A CN 106056553 B CN106056553 B CN 106056553B
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- model
- dct
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000005457 optimization Methods 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 13
- 230000003044 adaptive effect Effects 0.000 claims abstract description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000000354 decomposition reaction Methods 0.000 abstract description 5
- 238000013507 mapping Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 12
- 238000011160 research Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 238000010276 construction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008439 repair process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008602 contraction Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于紧框架特征字典的图像修复方法，利用离散余弦变换DCT‑Ⅱ型正交矩阵，构造出具有冗余性的离散余弦变换DCT框架系统，并成功应用于图像修复领域，有效的修复图像的文理结构信息。图像在DCT小框架基的分解下，得到的框架系数代表图像不同方向或不同阶的边缘特征信息，同时利用框架系数稀疏的先验知识，建立基于加权l1范数的DCT框架系数优化模型，提出基于逼近算子的迭代算法获取模型的解。在概率模型的假设下，利用拉普拉斯概率分布先验模型近似几何框架系数的实际概率分布，同时假设模型噪声的高斯分布条件下，利用MAP技术建立自适应稀疏软阈值算子，对图像进行几何框架系数稀疏表示，既能够保护边缘特征又能滤除噪声。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于紧框架特征字典的图像修复方法。
背景技术
随着计算机处理能力的提高，利用计算机辅助人类完成任务越来越具备智能化处理能力。在日常生活中，信息化程度越来越高，数字信息技术在社会各个领域都得到广泛的应用，特别是各种移动电子设备和无线网络普及度的不断提高，随之而来的是各种纷繁复杂的数据以及如何对这些数据分析和处理，例如对摄像设备获取得到的图像数据进行加工处理，修改画面的某些场景。图像修复(Image Inpainting)问题就是研究图像智能化算法，自动修复图像中部分缺失或破损区域信息，并且修复的效果需要合理符合图像的局部结构。图像修复算法能够让计算机具有艺术家的创作才华，填补完成符合人的视觉要求的图像缺失信息，是数字图像处理领域近年来热门的研究方向之一。
计算机智能化水平越来越高，如智能手机，人与计算机之间的交互更具智能化和人性化，利用图像修复技术能够自动填补视频中某些场景或区域。在人们生活中城市智能化越来越普及，监控摄像头广泛应用于获取城市状况信息，但是由于监控环境和硬件条件的限制，获取的视频信息部分受到遮挡或模糊，需要利用修复技术还原缺失部分并填充放大图像，重现出真实画面的图像信息。如何从被噪声或奇异点污染或部分缺失的观测数据中恢复出原始数据结构信息，已成为图像与计算机视觉、机器学习、数据挖掘等众多研究领域所面临的一个核心的研究课题。
图像修复问题的难点就是要让填补的信息满足人的视觉效果同时符合实际的物理结构。解决图像修复问题大致可分成两大类方法：基于PDE(Partial DifferentialEquations)方法和基于样本特征(Patch-based)方法。由于在数据缺失的区域并不存在任何有用信息，需要人为地对其进行先验假设，基于PDE或样本基图像修复方法，都需要假设已知数据和填补的数据应该具有同样的统计特性或几何结构信息。在先验的信息的假设下，建立具有先验的信息约束模型，能够将病态的图像修复逆问题转换成适定问题，将局部或全局的图像先验结构特征逐步地扩充到数据缺失区域中。基 于样本基算法是利用非局部的图像特征数据，逐片填充缺失区域的信息，对大区域缺失数据的修复可以得到比较好的视觉效果。将缺失区域的边界分成很多图像块(Patch),图像块被赋予不同的优先等级，优先级高的图像块需要优先填补，才能有效修复出图像的边缘结构信息。
基于信号表示的稀疏性和冗余性而提出的稀疏表示(Sparse Representation)方法是一种有效描述信号的方法，能够简单有效地在数学上描述或分析数据，并成功应用于图像处理领域。在冗余紧框架下，利用冗余紧框架系统对图像进行分解，然后对系数进行伸缩处理，能够比正交基更好地保护图像边缘细节；对于图像修复问题，假设已知和未知的图像数据具有相同的稀疏表示特性，建立关于系数冗余基系数稀疏的优化模型，提出迭代算法并利用硬阈值算子或软阈值算子对冗余基系数进行收缩稀疏表示，逐步恢复图像原有结构信息。基于冗余基稀疏表示图像修复算法，如曲波变换系统(Curvelet Transform)，紧框架系统(Tight Frame)能有效修复小区域数据缺失信息。然而，与基于PED算法相似，基于冗余基的稀疏表示算法对大的数据缺失区域并不能得到较好的结果。
利用非局部(Nonlocal)图像特征,通过训练学习能够对图像块信息进行稀疏表示的特征字典，能够有效重建出图像结构。利用l2范数度量对图像块进行聚类，然后利用奇异值分解算法对每一组相似的图像块特征进行训练得到对应的特征字典。对于特征字典的训练学习，K-SVD算法能够比较有效地解决训练学习字典的非凸优化模型问题。特征字典能够有效得表示图像块特征，但是字典中包含的原子特征的个数即字典的维数需要根据实际的特征进行自适应选择。可以利用最小描述长度MDL(Minimum Description Length)原则确定字典维数，并用穷举法求解确定字典维数。但是样本的维数太大时，MDL算法的效率不高。对于字典训练学习很大依赖于图像块样本的选择，如何更好地对将度量图像块特征并对特征进行归类，获取更有代表性特征字典需要进一步研究。
如图1(a)所示，黑色区域是数据缺失范围；图1(b)是非专利文献1(Z.Xu andJ.Sun,“Image inpainting by patch propagation using patch sparsity”,IEEETransactions on Image Processing,vol.19,no.5,pp.1153--1165,2010)中的算法修复得到的结果，图像的文理结构并没有很好得正确填补出来；图1(c)是著名图像处理软件Adobe Photoshop CC 2014的内容识别填充(Content-Aware Fill)技术修复得到的结果，能够填补一定的图像的文理结构信息，但是其结果并不十分满足人的视觉要求。因此，根据先验假设填充满足人的视觉习惯的图像结构信息，保持图像全局与局部一致性相结合的高质量图像是十分关键的。
非专利文献2(Y.R.Li,L.Shen,and B.W.Suter,“Adaptive inpaintingalgorithm based on DCT induced wavelet regularization”,IEEE Transactions onImage Processing,vol.22,no.2,pp.752--763,2013)构造出DCT紧框架系统成功应用于图像修复问题。在DCT紧框架理论的框架下，研究能够更好地表征目标的样本特征字典和模型，解决图像修复技术关键问题，修复出符合人的视觉效果和自然的物理结构信息，是有意义和实际应用前景的。
发明内容
为解决现有技术中存在的问题，本发明提出了一种基于紧框架特征字典的图像修复方法，本发明具体通过如下技术方案实现：
一种基于紧框架特征字典的图像修复方法，所述方法包括以下步骤：
S1：将图像数据划分成若干个图像块，其中，包括需要修复的目标图像块PT，假设目标结构特征y∈Rd；
S2：利用DCT框架系统，将空间域的图像结构信息变换到DCT框架域中，不同的频带框架系数代表不同的频带特征，其中，所述DCT框架系统利用离散余弦变换DCT-Ⅱ型正交矩阵构造出来；
S3：从已知的图像数据区域中选取与所述目标图像块PT具有相似结构特征的图像块，构成对所述目标图像块PT具有相似特征的样本特征字典Ξ:＝[Ξ1,Ξ2,…,Ξn]，其中Ξi∈Rd是第i个样本特征，具体为：利用框架系数稀疏的先验知识，建立基于加权l1范数的DCT框架系数优化模型，基于逼近算子的迭代算法获取所述模型的解，构造出合适的特征字典
S4：利用构造的特征字典
预测估计出目标图像特征信息即
其中，α∈Rn为线性组合系数；
S5：参照估计得出的目标图像特征信息对图像进行修复。
进一步地，所述步骤S3中，在概率模型的假设下，利用拉普拉斯概率分布先验模型近似几何框架系数的实际概率分布，同时假设模型噪声的高斯分布条件下，利用MAP技术建立自适应稀疏软阈值算子，对图像进行几何框架系数稀疏表示；
进一步地，获取所述模型的解具体为：构造有约束的正则化模型框架下：
其中ψ(α)是系数约束项，
是特征的线性组合与目标特征的逼近程度，S是解的约束空间，所述约束空间为仿射包、锥包或凸包；系数约束项ψ(α)是系数的稀疏性，用l1范数或l0范数度量空间度量；
是目标特征y与Ξα之间逼近程度，利用近似凸优化l0与l0的逼近算子作为求解l0的稀疏先验问题。
本发明的有益效果是：本发明利用DCT框架系统在不同频带检测图像结构特征信息，研究DCT小框架域中样本特征选取问题，解决图像块结构相似性的度量技术难点，具有创新性；针对样本特征字典所生成的线性特征结构空间，研究有约束空间特征字典构造问题，具有理论性和针对性；利用近似凸优化l0与l0的逼近算子作为求解l0的稀疏先验问题，有效地求解不可微的非凸优化模型。
附图说明
图1(a)是图像数据缺失区域(黑色)；
图1(b)是非专利文献1中的算法的修复结果；
图1(c)是Adobe Photoshop CC 2014内容识别填充技术的修复结果；
图2是图像块示意图；
图3是对候选图像进行与目标图像块PT相似的特征图像块选取；
图4是图像修复问题示意图；
图5(a)是不同频带的框架系数示意图；
图5(b)是框架高频系数大小的统计分布图；
图6(a)是样本在仿射包约束条件下的几何意义；
图6(b)是样本在锥包约束条件下的几何意义；
图6(c)是样本在凸包约束条件下的几何意义；
图7是目标图像块PT与在不同度量下不同结构图像块之间的相似程度示意图。
具体实施方式
下面结合附图说明及具体实施方式对本发明进一步说明。
在基于样本特征修复框架下，需要将图像数据划分成很多图像块(Patch)，然后对缺失区域逐块进行填补修复图像的结构信息。如附图2所示，对于目标图像块PT，需要从已知的图像数据区域中获取与之具有相似 结构特征P1或P2，构成对目标图像块具有相似特征的样本特征字典。
估计图像块之间的相似性，不能简单利用范数度量图像块之间差的大小来决定它们之间的相似度，如l2范数会倾向于选择均匀光滑的图像块与纹理结构的图像块具有相似性，而且结构相似的图像块，其数值也不一定相近。同时图像特征也具有方向性，统计直方图并不具备区分方向性的特点，容易选择出方向性不一致的样本特征。样本基特征字典的构造问题需要能够准确度量图像块之间的相似性距离空间，然而样本特征具有方向性和结构特性，需要研究新理论和技术手段或方法解决问题。
对于给定的目标图像块，可能并不存在与其完全相同的图像块特征，需要研究能够完备地或近似逼近表示图像目标信息的相应特征字典。构造特征字典涉及特征字典的特征数目，过多的特征数会导致过高的计算复杂度，太少的特征数可能又无法表示目标。如附图3所示，左半边图表示与图像块PT特征相似特征，右半边图表示从左边图中有效地选择特征，确定特征数目提高算法效率。同时，由于只已知目标图像块的部分结构信息，而填补的数据需要从具有同样的统计特性或几何结构信息的特征字典中预测估计得到，所以需要考虑将图像的二维几何方向特征信息嵌入到图像特征字典的构造当中。紧框架能够提取图像的局部特征信息，需要利用其方向特性嵌入到特征字典的构造中，特别是当观察得到的图像特征样本数据也存在数据缺失时，建立基于紧框架特征字典学习问题，解决图像特征具有方向性的特征字典构造问题。
图像经过紧框架变换，可以得到不同频带的框架系数，相同区域不同频带的框架系数表征不同的图像局部信息特征。在紧框架变换域中，大的框架系数表示该区域可能是边缘细节，小的系数可能是平滑区域或噪声。局部的框架系数代表某一方向结构特征，度量空间域图像块之间的相似性可以转换到框架域中估计对应位置的框架系数。图像细节信息，例如边缘、点、形状轮廓等特征，某种程度是某一频带的信号特征，利用不同频带的高频特征信息，以便更好地区分图像块特征之间的差异性。因此，研究基于紧框架域的图像特征相似性度量问题是本发明首先研究的重点之一。
在结构特征字典的构造过程中，字典需要能够逼近或表示已知目标图像块，预计的局部结构尽量的接近或相似。由非局部的图像特征构成的空间需要满足特定的条件，而不仅仅是数据上的逼近，而且需要满足已知的图像二维几何结构，同时特征字典需要某一特定的空间约束，得到特征字典才能符合视觉需要。在二维几何解空间有约束的先验条件下，建立合适 的结构特征字典学习问题。因此，研究有线性约束空间的结构特征字典学习问题是本发明的另一关问题。
在图像修复过程中，填补的图像信息与周围区域结构、纹理结构需要一致。紧框架能够提取图像多频带的局部结构信息，利用不同频带的结构特征，研究融合局部特征与区域特征一致性。在空间域上，利用构造的结构特征字典线性组合预测逼近目标图像块，同时将稀疏性作为先验条件挑选组合字典特征。线性系数稀疏性可以利用l0作为先验约束条件进行准确度量，l0是度量向量的非零个数，但是建立特征字典的稀疏约束问题仍然需要融合区域的结构或纹理特征，满足实际的视觉效果。因此，研究紧框架域和空间域结构特征融合问题是本发明需要解决的第三关键问题。
紧框架(Tight Frame)简称框架，能够有效检测图像的局部特征信息，图像在框架基的分解下结合稀疏表示技术能够保护图像的边缘细节，在图像处理中得到很好的应用。小框架基没有线性独立的要求，框架系统具有冗余性，比正交基系统可以更灵活，更容易结合图像的先验知识，解决图像中的问题。近年来，以新颖的研究视角构造基于离散余弦变换DCT的框架理论，有效地保护图像的文理结构信息，并应用于图像修复问题。二维离散余弦变换DCT-Ⅱ型正交矩阵，能有效地将信息能量集中到少数的非零变换系数上，广泛应用于图像压缩。以DCT-II型为研究基础，假设大小为m×m的DCT-Ⅱ型的正交矩阵表示为：
将矩阵的每一行系数作为一维滤波器，其中第一行是低通滤波器，其它各行是高通滤波器。如果用ci表示矩阵C除以
的第i行，矩阵Oi表示滤波器ci在周期延拓条件下的矩阵表示形式，Oix表示向量x的滤波器系数。构造证明矩阵Oi满足：
也就是说，从滤波器系数Oix完全重建出向量x。
利用DCT框架系统，可以将空间域的图像结构信息变换到DCT框架域中，不同的频带框架系数代表不同的频带特征。在某种程度上可以认为，空间域上的结构被DCT框架基分解成不同方向不同频带的特征系数。由于图像是二维数据，一维的框架基通过张量的形式，可以扩张成二维的框架系统。例如一维的框架基系统m＝3，张成二维的框架系统包括1个低通框 架基和8个高通框架基，并对图5(a)左上角的图像进行DCT框架基进行分解，得到不同频带的框架系数，其中，图5(a)左上角为原图，左下角为低频信息，其它为DCT框架高频系数。由图5(a)所知，在不同的框架基分解下得到的特征是有所差异的，在图像的相同位置不同频带的框架系数是被检测出不同的边缘信息。度量不同的频带上度量特征之差，等价于度量图像块的之间相似度。不同频带的高频特征是区分相似性的重要信息，能够更好地区分不同图像块之间差异性。图5(b)是图5(a)框架高频系数大小的统计分布图，大部分框架系数接近0，也即框架系数确实具有稀疏分布的先验特性。由于图像块数值上的接近程度并不能代表其结构的相似程度，度量图像块之间的相似性可以转换度量图像块的框架系数的概率之间的接近程度。因此研究代表局部特征信息的框架系数，在概率模型框架下度量图像特征的相似性。
假设目标结构特征y∈Rd，给定的相似样本特征字典Ξ:＝[Ξ1,Ξ2,…,Ξn]，其中Ξi∈Rd是第i个样本特征。对于特征字典的构造，需要确定字典特征数目，减少错误候选特征的干扰，使构造的特征字典
能够有效预测估计出目标图像特征信息即
其中线性组合系数为α∈Rn。在线性空间的假设下，目标特征需要包含于样本特征空间中。然而不同的线性组合所张成的空间具有不同的几何意义，如附图6(a)～(c)所示，也即问题是在不同的空间中需找与目标图像块一致的结构特征。假设集C:＝{Ξ1,Ξ2,…,Ξn}是样本特征字典Ξ中的n个样本基组成,每个样本特征看成是C中的一个点。由C中所有点的仿射线性组合生成的集合称为仿射包(Affine Hull)，定义如下：
仿射包对组合系数的约束是所有系数之和为1，其几何意义如图6(a)所示，仿射包是经过三点的平面。当仿射包作为解的约束空间，相当于求解经过样本特征的超平面与目标图像块的逼近程度。当C中所有点的锥体线性组合生成的集合称为锥包(Conic Hull)，定义如下：
锥包对组合系数的约束是所有系数大于0，其几何意义如图6(b)所示，锥包是经过0点，并其边界经过两点包含的区域。当锥包作为解的约束空间，相当于求解经过样本的锥曲面与目标图像块的逼近程度。当C中所有点的凸的线性组合生成的集合称为凸包(ConvexHull)，定义如下：
根据样本特征线性空间的几何意义，系数在不同的空间约束条件下，会在不同的解空间中产生新的目标特征。对于特征字典的构造问题，可以将该问题转换为线性问题对给定特征的逼近，通过对系数的先验假设，嵌入框架结构特征，建立系数的优化模型构造出合适的特征字典，同时约束由特征组合生成的特征空间，满足目标图像块的特征结构。对于本发明研究的问题可以归结为有约束的正则化模型框架下：
其中ψ(α)是系数约束项，
是特征的线性组合与目标特征的逼近程度，S是解的约束空间如仿射包、锥包或凸包。系数约束项ψ(α)可以是系数的稀疏性，例如用l1范数度量或l0范数度量空间度量。
是目标特征y与Ξα之间逼近程度，对于不同的优化问题，需要不同的度量距离估计二者之间的差异程度。在填补修复过程中，对于框架域和空间域结构特征融合问题，交替考虑框架域填补的结构特征与空间域样本特征字典线性组合预计结构特征之间的关系，二者之间既相互约束又互相促进。
建立的稀疏优化模型存在不可导不光滑问题，需要利用新的理论工具进行求解，准确求解模型所定义的解空间。逼近算子(Proximity Operator)理论工具，能有效解决图像处理中不光滑凸的优化问题。假设φ(u)，u∈Rd实数凸函数，γ是非负常数，φ(u)的逼近算子定义为：
假设图像受随机高斯白噪声的污染和框架系数满足拉普拉斯独立同分布的情况下，利用l1逼近算子迭代求解基于加权l1范数的DCT小框架系数稀疏优化模型，用MAP技术自适应迭代更新正则化参数，成功解决图像恢复问题。在本发明基于紧框架特征字典的图像修复中，利用线性约束空间构造特征字典，融合框架域与空间域结构特征，解决图像特征的二维几何方向问题。
稀疏性的先验假设l0空间中，由于l0的非凸性，求解涉及l0的非凸优化模型是困难的问题。l1范数度量空间是l0度量空间中的最大凸集，用l1范数代替l0，相当于在l0的度量空间的子空间中，用l1度量的凸空间搜索满足要求的解。近年来直接研究非凸优化模型，为直接求解l0的优化模型提供 理论基础。令u∈Rd，γ＞0，根据凸函数的逼近算子定义(7)，将其扩展成l0的逼近算子闭型形式：
proxγ||u||0＝(proxγ|u1|0,proxγ|u2|0,…,proxγ|ud|0), (7)
其中|·|0表示一维非零的度量个数，每一维的逼近算子proxγ|ui|0是硬阈值算子。由于l0空间的非凸性，l0的逼近算子也是非凸函数。l1逼近算子在各种稀疏表示问题中为建立有效地快速迭代算法，起到非常重要的作用。本发明相信l0的逼近算子同样起到类似l1的逼近算子效果，同时能够在更大求解空间中寻找更能满足问题的准确解。在解决非凸不光滑的理论基础上,采用解决l1凸问题模型的思想用l0的逼近算子解决l0的优化模型问题。研究求解l0的稀疏优化问题，作为图像修复的重要技术手段，有效解决非凸不光滑问题。将特征字典与稀疏表示技术有机结合起来，研究l0的非凸优化模型，系统地研究解决病态的图像修复过程中的关键问题。由于优化模型(5)存在不光滑凸或非凸的函数和目标函数的不可微，需要利用迭代方法在高维空间中求解模型的解。利用逼近算子理论工具结合系数稀疏优化模型，研究建立交替迭代算法，解决模型(5)的求解问题。交替迭代方案可以分为两大步骤：步骤1求解模型关于系数稀疏的问题；步骤2求解系数在约束解空间S中投影问题。
利用相似的非局部特征来填充目标图像块的缺失数据，需要在已知的数据区域中选择相似的特征结构。估计图像块之间的相似性，利用l2范数度量图像块之间差的大小来决定它们之间的相似度，但是l2范数作为度量距离会选择到结构不相似的图像块。如附图7所示，第1行是用l2范数度量距离下排序的结果，不相似的均匀光滑图像块P6比具有相似结构的图像块P2在度量距离更近似具有文理结构的目标图像块PT。实验表明度量图像块之间的相似性不能简度量其数值之差，同时结构相似的图像块，其数值也不一定相近。因此，需要考虑其结构和方向性，研究新的相似性度量方法，更有效地构造出样本特征字典。如附图7所示，第2行的排序是用DCT框架系数的概率进行排序的结果，能够准确区分出最接近目标的图像块P1和最不接近的图像块P6。DCT小框架能够有效提取不同频带的图像局部特征信息，将小框架理论应用于基于样本的图像修复过程中，在小框架系数的统计概率模型下，研究基于DCT小框架域的图像块相似性度量，有效解决图像块之间的相似结构特征估计问题；将DCT框架和框架系数概率分布模型应用于度量图像块的特征结构相似性，图像块结构相似性排序结果如附图7的第2所示。图像块之间的不同结构特征能够准确地区分， 初步结果凸显DCT框架系统与概率模型应用于样本特征字典的构造的有效性。
综上所述，本发明利用离散余弦变换DCT-Ⅱ型正交矩阵，构造出具有冗余性的离散余弦变换DCT框架系统，并成功应用于图像修复领域，有效的修复图像的文理结构信息。图像在DCT小框架基的分解下，得到的框架系数代表图像不同方向或不同阶的边缘特征信息，同时利用框架系数稀疏的先验知识，建立基于加权l1范数的DCT框架系数优化模型，提出基于逼近算子的迭代算法获取模型的解。在概率模型的假设下，利用拉普拉斯概率分布先验模型近似几何框架系数的实际概率分布，同时假设模型噪声的高斯分布条件下，利用MAP技术建立自适应稀疏软阈值算子，对图像进行几何框架系数稀疏表示，既能够保护边缘特征又能滤除噪声。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (4)
1.一种基于紧框架特征字典的图像修复方法，其特征在于，所述方法包括以下步骤：
S1：将图像数据划分成若干个图像块，其中，包括需要修复的目标图像块PT，假设目标结构特征y∈Rd；
S2：利用DCT框架系统，将空间域的图像结构信息变换到DCT框架域中，不同的频带框架系数代表不同的频带特征，其中，所述DCT框架系统利用离散余弦变换DCT-Ⅱ型正交矩阵构造出来；
S3：从已知的图像数据区域中选取与所述目标图像块PT具有相似结构特征的图像块，构成对所述目标图像块PT具有相似特征的样本特征字典Ξ:＝[Ξ1,Ξ2,…,Ξn]，其中Ξi∈Rd是第i个样本特征，利用框架系数稀疏的先验知识，建立基于加权l1范数的DCT框架系数优化模型，基于逼近算子的迭代算法获取所述模型的解，构造出合适的特征字典
S4：利用构造的特征字典
预测估计出目标图像特征信息即
其中，α∈Rn为线性组合系数；
S5：参照估计得出的目标图像特征信息对图像进行修复。
2.根据权利要求1所述的方法，其特征在于：所述步骤S3中，在概率模型的假设下，利用拉普拉斯概率分布先验模型近似几何框架系数的实际概率分布，同时假设模型噪声的高斯分布条件下，利用MAP技术建立自适应稀疏软阈值算子，对图像进行几何框架系数稀疏表示。
3.根据权利要求1所述的方法，其特征在于：所述利用框架系数稀疏的先验知识，建立基于加权l1范数的DCT框架系数优化模型，基于逼近算子的迭代算法获取所述模型的解，构造出合适的特征字典
具体为：构造有约束的正则化模型框架下：
其中，ψ(α)是系数约束项，
是特征的线性组合与目标特征的逼近程度，S是解的约束空间，所述约束空间为仿射包、锥包或凸包；系数约束项ψ(α)是系数的稀疏性，用l1范数或l0范数度量空间度量；
基于逼近算子的迭代算法获取所述模型的解具体为：
假设φ(u)，u∈Rd实数凸函数，γ是非负常数，φ(u)的逼近算子定义为：
利用近似凸优化l0与l0的逼近算子作为求解l0的稀疏先验问题，具体为：
令u∈Rd，γ＞0，根据凸函数的逼近算子定义，将其扩展成l0的逼近算子闭型形式：
proxγ||u||0＝(proxγ|u1|0,proxγ|u2|0,…,proxγ|ud|0),
其中|·|0表示一维非零的度量个数，每一维的逼近算子proxγ|ui|0是硬阈值算子，由于l0空间的非凸性，l0的逼近算子也是非凸函数。
4.根据权利要求1所述的方法，其特征在于：大小为m×m的DCT-Ⅱ型的正交矩阵表示为：
将矩阵的每一行系数作为一维滤波器，其中第一行是低通滤波器，其它各行是高通滤波器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610378196.7A CN106056553B (zh) | 2016-05-31 | 2016-05-31 | 基于紧框架特征字典的图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610378196.7A CN106056553B (zh) | 2016-05-31 | 2016-05-31 | 基于紧框架特征字典的图像修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106056553A CN106056553A (zh) | 2016-10-26 |
| CN106056553B true CN106056553B (zh) | 2021-02-26 |
Family
ID=57173037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610378196.7A Active CN106056553B (zh) | 2016-05-31 | 2016-05-31 | 基于紧框架特征字典的图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106056553B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502850B (zh) * | 2016-11-02 | 2019-08-13 | 西安交通大学 | 一种稀疏紧框架字典学习模型的多故障辨识方法与装置 |
| CN107066943B (zh) * | 2017-03-06 | 2019-10-25 | 中国科学院信息工程研究所 | 一种人脸检测方法及装置 |
| CN108537755B (zh) * | 2018-04-16 | 2022-02-15 | 广东工业大学 | 一种基于几何结构约束的pet图像增强的方法及系统 |
| CN109544465A (zh) * | 2018-10-23 | 2019-03-29 | 天津大学 | 基于尺度变换的图像损坏块修复方法 |
| CN111353332B (zh) * | 2018-12-21 | 2023-06-02 | 中国电信股份有限公司 | 指纹图像处理方法、装置和计算机可读存储介质 |
| CN110097514A (zh) * | 2019-04-18 | 2019-08-06 | 南京理工大学 | 基于学习余弦字典的稀疏逼近加速双边滤波方法 |
| CN110211037B (zh) * | 2019-04-26 | 2023-07-07 | 南京航空航天大学 | 一种基于多级稀疏字典学习的图像超分辨率方法 |
| CN112381732B (zh) * | 2020-11-13 | 2023-09-05 | 广东工业大学 | 基于多尺度随机邻近算法的图像恢复方法及系统 |
| CN112633298B (zh) * | 2020-12-28 | 2023-07-18 | 深圳大学 | 一种度量图像/图像块相似性的方法 |
| CN116610080B (zh) * | 2023-05-23 | 2023-11-10 | 浙江众邦家居有限公司 | 休闲椅的智能生产方法及其控制系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101707670A (zh) * | 2009-05-13 | 2010-05-12 | 西安电子科技大学 | 基于运动随机曝光的超分辨率成像系统及方法 |
| CN103295198A (zh) * | 2013-05-13 | 2013-09-11 | 西安电子科技大学 | 基于冗余字典和结构稀疏的非凸压缩感知图像重构方法 |
| CN103700065A (zh) * | 2013-12-03 | 2014-04-02 | 杭州电子科技大学 | 一种特征分类学习的结构稀疏传播图像修复方法 |
| CN103793889A (zh) * | 2014-02-24 | 2014-05-14 | 西安电子科技大学 | 基于字典学习和ppb算法的sar图像去斑方法 |
| CN104867119A (zh) * | 2015-05-21 | 2015-08-26 | 天津大学 | 基于低秩矩阵重建的结构性缺失图像填充方法 |
-
2016
- 2016-05-31 CN CN201610378196.7A patent/CN106056553B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101707670A (zh) * | 2009-05-13 | 2010-05-12 | 西安电子科技大学 | 基于运动随机曝光的超分辨率成像系统及方法 |
| CN103295198A (zh) * | 2013-05-13 | 2013-09-11 | 西安电子科技大学 | 基于冗余字典和结构稀疏的非凸压缩感知图像重构方法 |
| CN103700065A (zh) * | 2013-12-03 | 2014-04-02 | 杭州电子科技大学 | 一种特征分类学习的结构稀疏传播图像修复方法 |
| CN103793889A (zh) * | 2014-02-24 | 2014-05-14 | 西安电子科技大学 | 基于字典学习和ppb算法的sar图像去斑方法 |
| CN104867119A (zh) * | 2015-05-21 | 2015-08-26 | 天津大学 | 基于低秩矩阵重建的结构性缺失图像填充方法 |
Non-Patent Citations (3)
| Title |
|---|
| Adaptive Inpainting Algorithm Based on DCT Induced Wavelet Regularization;Yan-ran Li;《 IEEE Transactions on Image Processing》;20130228;第22卷(第2期);第752-763页 * |
| Framelet-Based Blind Motion Deblurring From a Single Image;Jian-feng Cai;《IEEE Transactions on Image Processing》;20120229;第21卷(第2期);第562-572页 * |
| 基于样本特征的图像修复算法研究;杨宇;《中国优秀硕士学位论文全文数据库》;20160215;第1-57页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106056553A (zh) | 2016-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106056553B (zh) | 基于紧框架特征字典的图像修复方法 | |
| Chen et al. | Denoising hyperspectral image with non-iid noise structure | |
| Yang et al. | Image denoising using nonsubsampled shearlet transform and twin support vector machines | |
| Xu et al. | Inter/intra-category discriminative features for aerial image classification: A quality-aware selection model | |
| Yankelevsky et al. | Dual graph regularized dictionary learning | |
| Dosovitskiy et al. | Generating images with perceptual similarity metrics based on deep networks | |
| Yang et al. | Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding | |
| Rajwade et al. | Image denoising using the higher order singular value decomposition | |
| Zeng et al. | Hyperspectral image restoration via global L 1-2 spatial–spectral total variation regularized local low-rank tensor recovery | |
| Zhang et al. | Low-rank decomposition-based restoration of compressed images via adaptive noise estimation | |
| Pang et al. | Zoom and learn: Generalizing deep stereo matching to novel domains | |
| Tang et al. | Greedy regression in sparse coding space for single-image super-resolution | |
| Papadakis | Optimal transport for image processing | |
| EP2721583B1 (en) | Content-adaptive method and apparatus for determining optical flow | |
| Ma et al. | Decomposition approach for low-rank matrix completion and its applications | |
| Hu et al. | Hyperspectral image restoration using adaptive anisotropy total variation and nuclear norms | |
| Ahn et al. | EAGNet: Elementwise attentive gating network-based single image de-raining with rain simplification | |
| Shi et al. | Multi-scale deep networks for image compressed sensing | |
| Miao et al. | A novel inpainting algorithm for recovering Landsat-7 ETM+ SLC-OFF images based on the low-rank approximate regularization method of dictionary learning with nonlocal and nonconvex models | |
| Liu et al. | Patch based image denoising using the finite ridgelet transform for less artifacts | |
| CN113947538A (zh) | 一种多尺度高效卷积自注意力单幅图像除雨方法 | |
| Wang et al. | Reconstruction of sub‐mm 3D pavement images using recursive generative adversarial network for faster texture measurement | |
| Xu et al. | Image compressive sensing recovery via group residual based nonlocal low-rank regularization | |
| Bugeau et al. | Coherent background video inpainting through Kalman smoothing along trajectories | |
| Zhang et al. | Hyperspectral image denoising using 3-D geometrical kernel with local similarity prior |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| DD01 | Delivery of document by public notice |
Addressee: Zhou Jiankang Document name: Notification of Termination of Procedure |
|
| DD01 | Delivery of document by public notice | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 Guangdong city in Shenzhen Province, Nanshan District City Xili town of Harbin Institute of Technology campus of Shenzhen University Applicant after: HARBIN INSTITUTE OF TECHNOLOGY (SHENZHEN) Address before: 518000 Guangdong city in Shenzhen Province, Nanshan District City Xili town of Harbin Institute of Technology campus of Shenzhen University Applicant before: HARBIN INSTITUTE OF TECHNOLOGY SHENZHEN GRADUATE SCHOOL |
|
| CB03 | Change of inventor or designer information |
Inventor after: Li Yanran Inventor before: Wang Ke Inventor before: Zhang Haijun Inventor before: Li Xutao Inventor before: Ye Yunming |
|
| CB03 | Change of inventor or designer information | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201015 Address after: 518000 Nanhai Road, Guangdong, Shenzhen, No. 3688, No. Applicant after: Li Yanran Address before: 518000 Guangdong city in Shenzhen Province, Nanshan District City Xili town of Harbin Institute of Technology campus of Shenzhen University Applicant before: HARBIN INSTITUTE OF TECHNOLOGY (SHENZHEN) |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |