CN103679662B

CN103679662B - 基于类别先验非负稀疏编码字典对的超分辨率图像恢复方法

Info

Publication number: CN103679662B
Application number: CN201310726958.4A
Authority: CN
Inventors: 尚丽; 张培; 黄艳
Original assignee: Suzhou Vocational University
Current assignee: Suzhou Vocational University
Priority date: 2013-12-25
Filing date: 2013-12-25
Publication date: 2016-05-25
Anticipated expiration: 2033-12-25
Also published as: CN103679662A

Abstract

本发明公开了一种基于图像类别先验信息非负稀疏编码字典对的超分辨率图像恢复方法，其步骤如下：1）构造图像非负数据训练集合；2）构造基于图像类别先验信息的非负稀疏编码字典训练模型；3）采用轮流更新字典和稀疏系数的方法实现非负字典对的学习；4）低分辨率图像的恢复；5）图像质量评价，利用峰值信噪比和框架相似性评价恢复图像的质量。通过上述方式，本发明能够模拟人眼初级视觉系统的视觉特性，提取出更清晰的图像边缘特征和结构特征；同时考虑图像类别先验信息，并利用特征聚类预处理，选择最相关的图像块构造字典训练集合，大大减少了字典收敛过程，从而缩短了图像超分辨率过程所需时间。

Description

基于类别先验非负稀疏编码字典对的超分辨率图像恢复方法

技术领域

本发明涉及模拟计算机视觉和数字图像处理技术领域，特别是涉及一种基于图像类别先验信息非负稀疏编码字典对的超分辨率图像恢复方法。

背景技术

图像分辨率是图像质量的一项重要指标。图像分辨率越高，图像细节就越精细，越能能提供丰富信息。但是，由于成像传感器技术的限制，有时获取高分辨率图像难度较大、成本很高，获得所需的高分辨率图像在很多场合下不现实，因此利用软件处理技术实现低分辨率图像（Low-resolution,LR，低分辨率图像）的超分辨率（Super-Resolution,SR，超分辨率）恢复，从而得到视觉效果较好的图像具有重要的研究和现实意义【见文献：DongW.S.,ZhangL.,ShiG.,etal.Imagedeblurringandsupper-resolutionbyadaptivesparsedomainselectionandadaptiveregularization[J],IEEETransImageProcess,2011,20(7):1838-1857】，目前为图像处理领域的一个热门研究领域。

图像的稀疏表示模型能够刻画图像的内在结构和先验属性,可以恢复更多的图像细节，特别是美国科学家BrunoOlshausen和Field于1996年在《Nature》杂志上指出自然图像本身存在稀疏性【见文献Olshausen：B.A.,FieldD.J..Emergenceofsimple-cellreceptivefieldpropertiesbylearningasparsecodefornaturalimages[J].Nature,1996,381:607-609】，提出了图像数据的稀疏性本质。之后，稀疏表示理论在图像处理领域得到广泛的研究和应用，结合近年来流行的基于学习的超分辨率图像重建算法，发展到目前热门的基于稀疏表示的图像超分辨率方法【见文献：Madhusudhan，PaisT.,AlwynRoshan,etal.Generationofsuper-resolutionvideofromlowresolutionvideosequences:anovelapproachconferenceoncomputationalintelligenceandmultimediaapplications.InternationalConferenceon,2007,3:1324-1339】。

虽然目前图像稀疏表示及基于稀疏表示的图像超分辨率方法取得了一定的研究成果，但是仍存在很多问题，如（1）构造的字典结构性、边缘性和纹理性较弱，字典不具备广泛表示能力；（2）对图像稀疏先验信息的表达不够充分，图像重构精度受到影响；（3）图像块样本集大、字典维数高、稀疏编码阶段的计算量较大，收敛速度慢等。为了解决上述问题，本发明中考虑人眼初级视觉系统对数据处理的生理特性，在Hoyer提出的非负稀疏编码（Non-negativeSparseCoding,NNSC，非负稀疏编码）模型的基础上【见文献：HoyerP.O.,Hyv?rinenA.Amulti-layersparsecodingnetworklearnscontourcodingfromnatureimages[J],VisionResearch,2002,42(12):1593-1605】，考虑特征先验信息，提出一种新的非负稀疏编码模型，构造一种新的非负稀疏字典对的学习方法，并进一步应用于低分辨率图像的恢复中。

发明内容

本发明主要解决的技术问题是提供一种基于图像类别先验信息非负稀疏编码字典对的超分辨率图像恢复方法，能够模拟人眼初级视觉系统的视觉特性，提取出更清晰的图像边缘特征和结构特征；同时考虑图像类别先验信息，并利用特征聚类预处理，选择最相关的图像块构造字典训练集合，大大减少了字典收敛过程，从而缩短了图像超分辨率过程所需时间。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于图像类别先验信息非负稀疏编码字典对的超分辨率图像恢复方法，其步骤如下：

1）构造图像非负数据训练集合；

2）构造基于图像类别先验信息的非负稀疏编码字典训练模型；

3）采用轮流更新字典和稀疏系数的方法实现非负字典对的学习；

4）低分辨率图像的恢复，对得到的低分辨率字典，利用正则化匹配追踪的稀疏表示方法得到低分辨率梯度图像的稀疏系数。进一步利用低分辨率图像稀疏系数和高分辨率图像字典恢复出低分辨率子图像块对应的高分辨率子图像块，考虑这些高分辨率子图像块在原图像中位置，进一步实现图像的超分辨率恢复；

5）图像质量评价，利用峰值信噪比和框架相似性评价恢复图像的质量。

优选的是，所述步骤1）中构造图像非负数据训练集合包括以下步骤:

（1.1）高分辨率图像的降质处理，得到相应的低分辨率图像；

（1.2）高分辨率图像的边缘图像提取，并存储边缘点及其所在位置；

（1.3）低分辨率图像的一阶和二阶梯度特征提取，得到水平和垂直方向上的4幅梯度图像；

（1.4）固定非负图像块的随机采样和存储。主要包括高分辨率图像均值化处理、固定像素的子图像块分割、基于K均值聚类的高分辨率子图像块分类；低分辨率梯度图像的子图像块分割；梯度子图像块的中心是否为高分辨率图像边缘上的点的判断，如果是，则选择该梯度子图像块；子图像块按列存储在矩阵中；最后考虑数据降维和非负处理，得到对应的高分辨率图像的子图像块训练集合和低分辨率梯度图像的子图像块训练集合

优选的是，所述步骤2）构造基于图像类别先验信息的非负稀疏编码字典训练模型包括以下步骤：

（2.1）为了确保特征系数的稀疏性，选择峭度函数作为特征系数的稀疏先验分布函数，从而确定稀疏惩罚函数；

（2.2）结合图像重构误差、稀疏系数惩罚项，考虑图像类别先验信息，加入字典权值约束项，有利于增强图像特征的空间可分性和同类图像的特征提取

优选的是，所述步骤3）采用轮流更新字典和稀疏系数的方法实现非负字典对的学习，特别地包括以下步骤：

（3.1）高分辨率非负字典的学习。对高分辨率子图像块集合进行非负稀疏编码模型训练，固定稀疏系数，利用梯度下降的优化方法实现高分辨率字典的学习；

（3.2）低分辨率非负字典的学习。首先利用基于K均值的奇异值分解（K-SVD）算法对低分辨率梯度子图像块集合训练得到非负稀疏编码模型的初始化字典；固定稀疏系数，利用梯度下降的优化方法实现低分辨率字典的学习；

（3.3）根据（3.1）和（3.2）的步骤，得到联合非负字典对和，即得到高分辨率字典和低分辨率字典。

本发明的有益效果是：本发明一种基于图像类别先验信息的非负稀疏编码字典对的超分辨率图像恢复方法，该方法能够模拟人眼初级视觉系统的视觉特性，提取出更清晰的图像边缘特征和结构特征；同时考虑图像类别先验信息，并利用特征聚类预处理，选择最相关的图像块构造字典训练集合，大大减少了字典收敛过程，从而缩短了图像超分辨率过程所需时间。该方法可以推广应用于医学、雷达、遥感等研究领域中低分辨率图像的超分辨率恢复。

附图说明

图1（a）为高分辨率图像及其对应的低分辨率图像的原始图像；

图1（b）为高分辨率图像及其对应的低分辨率图像的低分辨率图像；

图1（c）为高分辨率图像及其对应的低分辨率图像的毫米波成像目标：

图1（d）为高分辨率图像及其对应的低分辨率图像的毫米波图像；

图2（a）为高分辨率图像及其对应的低分辨率图像的水平一阶梯度图像；

图2（b）为高分辨率图像及其对应的低分辨率图像的垂直一阶梯度图像；

图2（c）为高分辨率图像及其对应的低分辨率图像的水平二阶梯度图像：

图2（d）为高分辨率图像及其对应的低分辨率图像的垂直二阶梯度图像；

图3为低分辨率梯度子图像块的K-SVD字典；

图4为模拟低分辨率图像的恢复结果，其中(a)∽(d)对应的子图像块数目依次为500，5000，10000，50000；

图5为毫米波图像的恢复结果；

图6为本发明基于图像类别先验信息约束的非负编码字典对的图像超分辨方法的流程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1（a）-图6，本发明实施例包括：

本发明为基于图像类别先验信息约束的非负编码字典对的图像超分辨方法，具体分为以下步骤：

步骤1.构造图像非负数据训练集合，具体包括以下步骤：

（1）低分辨率图像的获取：首先对每一幅高分辨率图像进行高斯模糊处理，然后对模糊图像进行归一化处理、最后进行下采样处理，得到低分辨率图像，如图2所示。

（2）高分辨率图像的边缘图像提取：对每一幅高分辨率图像用Canny算子实现二值化边缘特征提取，并存储边缘值及其对应位置；

（3）高分辨率子图像块训练集合的获取：对高分辨率图像均值化处理、8×8像素的子图像块随机采样，进一步利用K均值聚类方法将子图像块重新分类，再经过二维主分量分析（2D-PCA,二维主分量分析）降维和非负处理后，得到按列存储的高分辨率子图像块训练集合。

（4）低分辨率梯度子图像块训练集合的获取：对每一幅低分辨率图像进行一阶和二阶梯度特征提取，得到一阶和二阶水平和垂直方向上对应的4幅梯度图像；对低分辨率图像的4幅梯度图像采用8×8像素的图像块随机采样；判断梯度子图像块的中心是否在高分辨率图像边缘上，如果是，则选择该梯度子图像块为训练数据，这样得到4×（8×8）维的低分辨率梯度子图像块集合；经过2DPCA降维和非负处理后，得到低分辨率梯度图像的子图像块训练集合。

步骤2.基于图像类别先验信息约束的非负稀疏编码字典模型的构建。

（1）稀疏系数的稀疏度惩罚函数的确定：为了保证特征系数

的稀疏性，采用峭度函数的绝对值作为稀疏惩罚函数，峭度值越大，数据的非高斯性越强，数据稀疏性越大，同时，独立性也越好。峭度函数绝对值的函数形式如下所示：

（1）

上式中表示稀疏系数向量，当峭度为负时，；反之，。

（2）图像类别先验信息约束项：令和表示第类和第类两类样本集合；和分别为第类和第类图像的标签；和分别为第类和第类图像的个数；表示字典矩阵的第列原子，则当时，图像类别先验信息约束像为，其中为的转置数据。

（3）结合图像重构误差、上述步骤2的（1）中确定的稀疏系数惩罚函数、步骤2的（2）中的图像类别先验信息约束项，构造新的非负稀疏编码模型的目标函数如下：

（2）

其中表示第类样本集合；为字典的第列的转置数据；为第类样本图像稀疏系数矩阵的第行；、为迭代调节参数，在0-1之间取值。

步骤3.非负稀疏编码字典和稀疏系数的学习规则：对字典和稀疏系数轮流进行更新，利用梯度下降和倍增因子相结合的优化方法实现字典和稀疏系数的学习。根据目标函数（参见公式（2））对字典的梯度得到字典矩阵的更新公式：

（3）

其中为迭代次数。

稀疏系数的更新公式：

（4）

上述公式（4）中，为稀疏惩罚函数（参见公式（1））的一阶导数，即有为：。

步骤4.非负稀疏编码字典对的学习，具体包括下面步骤：

（1）低分辨率梯度图像的字典初始化：为了加快低分辨率字典学习的收敛速度，利用K-SVD（基于K均值的奇异值分解）算法对低分辨率梯度图像集合进行训练1000次，得到的字典作为本发明中非负稀疏编码模型对低分辨率梯度图像学习时的初始字典，如图3所示。

（2）非负稀疏编码字典对的学习：把低分辨率梯度子图像块集合（维矩阵）和高分辨率图像块集合（维矩阵）联合在一起，组成训练集合，参照目标函数式（2），采用公式（3）和公式（4）中的更新规则分别进行训练，得到非负稀疏编码字典对，即得到低分辨率梯度图像字典和高分辨率字典。

步骤5.低分辨率图像的恢复。由于相应的高低分辨率样本具有相同的稀疏表示系数，因此第个低分辨率图像块对应的高分辨率图像块可以通过高分辨率字典和低分辨率系数求得：。其中低分辨率系数通过下式利用正则化OMP算法求出：

（5）

求出所有子图像块的组合后，根据图像分割时记录下的子图像块的位置和重叠子图像块的均值，即得到低分辨率图像恢复的高分辨率图像。对一幅模拟的低分辨率图像和真实的低分辨率图像（毫米波图像，由自制研发设备获取）分别进行图像超分辨率测试，对应的恢复结果如图4、图5所示。

步骤6.图像质量的评价。利用峰值信噪比（PSNR，峰值信噪比）和框架相似性（SSIM，框架相似性）评价恢复图像的质量。定义为原图像，为超分辨率图像，PSNR计算如下：

（6）

同时，鉴于图像结构信息表达的重要性，为较客观地表示图像的边缘和纹理的恢复情况，采用SSIM（框架相似性）评测标准，该标准计算如下：

（7）

上式中为图像均值；为图像方差或协方差；、为保证分母不为零的小常数。值越接近于1（最大值为1），图像恢复效果越好。采用上述的PSNR和指标分别计算模拟低分辨率图像子图像块数目为500，1000，5000，10000，20000，30000，50000时的值，验证了本发明方法的有效性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.基于图像类别先验信息非负稀疏编码字典对的超分辨率图像恢复方法，其步骤如下：

1）构造图像非负数据训练集合；

4）低分辨率图像的恢复，对得到的低分辨率字典，利用正则化匹配追踪稀疏表示方法得到低分辨率梯度图像的稀疏系数；

所述步骤1）中构造图像非负数据训练集合包括以下步骤:

（1.4）固定非负图像块的随机采样和存储；

所述步骤1）主要包括高分辨率图像均值化处理、固定像素的子图像块分割、基于K均值聚类的高分辨率子图像块分类；低分辨率梯度图像的子图像块分割；梯度子图像块的中心是否为高分辨率图像边缘上的点的判断，如果是，则选择该梯度子图像块；子图像块按列存储在矩阵中；最后考虑数据降维和非负处理，得到对应的高分辨率图像的子图像块训练集合和低分辨率梯度图像的子图像块训练集合；

所述步骤2）构造基于图像类别先验信息的非负稀疏编码字典训练模型包括以下步骤：

（2.2）结合图像重构误差、稀疏系数惩罚项，考虑图像类别先验信息，加入字典权值约束项，有利于增强图像特征的空间可分性和同类图像的特征提取；

所述步骤3）采用轮流更新字典和稀疏系数的方法实现非负字典对的学习，特别地包括以下步骤：

（3.1）高分辨率非负字典的学习；对高分辨率子图像块集合进行非负稀疏编码模型训练，固定稀疏系数，利用梯度下降的优化方法实现高分辨率字典的学习；

（3.2）低分辨率非负字典的学习；首先利用基于K均值的奇异值分解算法对低分辨率梯度子图像块集合训练得到非负稀疏编码模型的初始化字典；固定稀疏系数，利用梯度下降的优化方法实现低分辨率字典的学习；（3.3）根据（3.1）和（3.2）的步骤，得到联合非负字典对和，即得到高分辨率字典和低分辨率字典。

2.如权利要求1所述的基于图像类别先验信息非负稀疏编码字典对的超分辨率图像恢复方法，其特征在于，所述步骤4）中，进一步利用低分辨率图像稀疏系数和高分辨率图像字典恢复出低分辨率子图像块对应的高分辨率子图像块，考虑这些高分辨率子图像块在原图像中位置，进一步实现图像的超分辨率恢复；

另外，该基于图像类别先验信息非负稀疏编码字典对的超分辨率图像恢复方法，还包括步骤：5）图像质量评价，利用峰值信噪比和框架相似性评价恢复图像的质量。