CN110766608B - 一种纹理分类的图像超分辨率重建的方法 - Google Patents

Abstract

本发明公开了一种纹理分类的图像超分辨率重建的方法，步骤包括：步骤1、对彩色图像训练样本进行裁剪，提取区域纹理信息；步骤2、根据样本的纹理信息对样本进行分类；步骤3、分别训练3个卷积网络模型；步骤4、用训练好的模型进行图像的超分辨率重建。本发明的方法，通过在网络前端提取训练样本的纹理信息，根据纹理信息的不同，对样本进行分类，训练不同的网络模型对低分辨率图像进行重建，并对不同模型的结果进行融合，超分辨率图像重建的细节保持效果有明显的提高。

Description

一种纹理分类的图像超分辨率重建的方法

技术领域

本发明属于图像超分辨率重建技术领域，涉及一种纹理分类的图像超分辨率重建的方法。

背景技术

图像超分辨率重建是指将低分辨率图像通过一定的算法重建为高分辨率图像，即得到更高像素密度，更多细节，质量更高的高分辨率图像，由于高分辨率图像可以得到更详细的细节信息，这些细节信息在实际应用中具有很重要的意义。比如，超分辨率图像对于医生的准确诊断具有重要作用，高分辨率卫星图像就很容易从相似物中区别相似的对象等。

图像超分辨率重建的本质就是图像细节恢复，但是，现有技术在图像的超分辨率重建过程中，很多情况下，细节保持效果提高不明显，难以满足实际需要。

发明内容

本发明的目的是提供一种纹理分类的图像超分辨率重建的方法，解决了现有技术在超分辨率图像重建过程中，细节保持效果提高不明显的问题。

本发明采用的技术方案是，一种纹理分类的图像超分辨率重建的方法，按照以下步骤实施：

步骤1、对彩色图像训练样本进行裁剪，提取区域纹理信息；

步骤2、根据样本的纹理信息对样本进行分类；

步骤3、分别训练3个卷积网络模型；

步骤4、用训练好的模型进行图像的超分辨率重建。

本发明的有益效果是，通过在网络前端提取训练样本的纹理信息，根据纹理信息的不同，对样本进行分类，训练不同的网络模型对低分辨率图像进行重建，并对不同模型的结果进行融合。与其他图像超分辨率重建算法相比，超分辨率图像重建的细节保持效果有明显的提高。

附图说明

图1是本发明方法所采用的EDSR网络模型的总体结构流程框图；

图2是本发明方法所采用的EDSR网络模型中的ResBlok模块的结构流程图；

图3是本发明方法所采用的EDSR网络模型中的Upsample模块的结构流程图；

图4是本发明方法的分纹理超分辨率重建方法的结构流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的纹理分类的图像超分辨率重建的方法，按照以下步骤实施：

步骤1、对彩色图像训练样本进行裁剪，提取区域纹理信息，

1.1)选取2017年超分辨率重建比赛数据集DIV2K数据集的900幅彩色图像，加上Urban100数据集的100幅彩色图像作为训练样本；如果是指定领域的超分辨率重建，也可自行去制定领域的图像作为训练样本，但训练用的图像样本数不建议少于100幅图像；

1.2)将所有的彩色图像训练样本裁剪成m×m的子块，确定子块的大小m×m，如果m取值太大，则子块侧重表现图像的局部内容，不利于网络模型的泛化；如果m取值太小，则子块的局部信息被破坏，不利于重建效果的正则平滑性；实施例中优选取值m＝32，即将训练样本的彩色图像裁剪成32×32的子块；

设彩色训练子块为Im₁,Im₂,...,Im_N，共计N个子块，Im_k＝[R_k,G_k,B_k]，R_k是红色分量矩阵，G_k是绿色分量矩阵，B_k是蓝色分量矩阵，将各个颜色分量矩阵写成矩阵元素的具体形式则有R_k＝[r_k(i,j)]_m×m，G_k＝[g_k(i,j)]_m×m，B_k＝[b_k(i,j)]_m×m，k＝1,2,...,N，其中的r_k(i,j),g_k(i,j),b_k(i,j)分别是每个颜色分量矩阵的元素表达形式；

为保证训练数据的充分性，N的取值应该充分大，优选取值N＝20000，即对于1000个样本图像，每幅图像采用不同裁剪方式获得20个子块；

1.3)对彩色训练子块Im₁,Im₂,...,Im_N求其亮度分量矩阵，该亮度分量矩阵记作Y₁,Y₂,...,Y_N，将亮度分量矩阵写成矩阵元素的具体形式则有Y_k＝[y_k(i,j)]_m×m，k＝1,2,...,N，y_k(i,j)是亮度分量矩阵的元素表达形式，计算公式如下：

y_k(i,j)＝0.299·r_k(i,j)+0.587·g_k(i,j)+0.114·b_k(i,j)，

i＝1,2,...,m，j＝1,2,...,m，k＝1,2,...,N (1)

1.4)对亮度分量矩阵Y₁,Y₂,...,Y_N用Sobel微分算子计算其锐化矩阵，该锐化矩阵记作S₁,S₂,...,S_N，将锐化矩阵具体写成矩阵元素的形式则有S_k＝[s_k(i，j)]_m×m，k＝1,2,...,N，s_k(i,j)是锐化矩阵的元素表达形式；

Sobel微分算子为现有技术，可在相关的教材以及论文中检索到。

步骤2、根据样本的纹理信息对样本进行分类，

2.1)由于均值和方差能够很好地代表图像的纹理属性，将对锐化矩阵S₁,S₂,...,S_N的均值μ_k及标准差σ_k作为图像子块的纹理属性，计算公式如下：

2.2)以步骤2.1)计算得到的均值μ_k及标准差σ_k构成向量(μ_k,σ_k)，采用k-means算法进行聚类处理；

上述的k-means算法为现有技术，可在相关技术文献中检索到；

本步骤中将聚类数设置为3类，第一类对应为弱纹理类别，记作第二类对应为中等纹理类别，记作第三类对应为强纹理类别，记作

2.3)计算上述的三个类别的聚类中心O_l＝(μ_l*,σ_l*)，l＝1,2,3，计算公式如下：

2.4)将训练样本Im₁,Im₂,...,Im_N，根据2.2)步骤的聚类样本的序号，对应地也聚类为相应的类别，即弱纹理类别记作中等纹理类别记作强纹理类别记作/>

步骤3、分别训练3个卷积网络模型，

3.1)设置网络结构与参数，

如图1所示，是所设置的EDSR网络模型的总体结构，该网络模型是韩国首尔大学的研究团队2017年提出的，可在相关学术文献中检索到；在图1所示的EDSR网络模型结构中，Input是指输入的m×m图像子块，Conv是指卷积操作，所有卷积操作均采用512@3×3的卷积核；每层ResBlok的结构原理如图2所示，包括Conv卷积操作，Relu激活操作，在一个Conv卷积操作后的结果与本层Resblok的输入相加构成；网络的ResBlok共计32层，第32层的ResBlok的输出与第一个ResBlok层的输入相加后得到Addition，再输至上采样模块UpSample中，上采样模块UpSample的结构原理如图3所示，对最后一个ResBlok输出的特征图，用r×r@3×3的卷积核进行卷积之后，得到r×r个通道的特征图，将该特征图的不同通道值按照图3所示的流程进行排列，来获得放大r×r倍的超分辨率重建图像；

3.2)网络模型中的卷积核参数通过训练样本训练完成，

采用弱纹理类别中等纹理类别/>强纹理类别/>三类样本分别训练模型，将得到的三个模型依次称为第一个、第二个、第三个网络模型，记作Model₁，Model₂，Model₃，完成模型的训练；

步骤4、用训练好的模型进行图像的超分辨率重建，

4.1)如图4所示，将待重建的一幅低分辨率彩色图像分成多个m×m大小的子块，设分成的子块为F₁,F₂,...,F_M，共M个子块；

注：步骤1.1)是训练模型用的图像，此处是模型训练完成之后，进行重建的待放大的低分辨率图像。因为训练好的模型只能用m×m大小的块，所以前面是对网络进行训练，从步骤1到步骤3，步骤4是利用前面训练好的网络进行重建，所以分块的大小是一样的，均采用m×m表达。

4.2)按照步骤1、步骤2.1)的方法，计算待重建的低分辨率图像的每个子块的亮度分量矩阵和锐化矩阵，之后计算得到待重建的低分辨率图像每个子块的纹理均值与标准差，这M个子块的均值和标准差分别表示为(μ_kf,σ_kf)，kf＝1,2,...,M；

4.3)计算待重建的低分辨率图像这M个子块的每个子块与步骤2.3)得到的三个模型的聚类中心O_l＝(μ_l*,σ_l*)的欧氏距离，l＝1,2,3，计算公式如下：

4.4)对待重建的低分辨率图像的M子块的每个子块，选出其与三个模型的聚类中心最近距离的模型，设为K_kf*，计算公式如下：

4.5)对第kf个子块，选择第K_kf*个网络模型重建该子块；

4.6)令kf＝1,2,...,M重复步骤4.2)至步骤4.5)，即待重建的低分辨率图像的M子块全部重建完成；

4.7)如果分成的子块是相互不重叠的，则直接放在相应的位置上构成重建之后的放大图像；如果分成的子块是相互重叠的，则重叠部分取均值进行构建，

至此，完成对低分辨率图像的超分辨率重建，实现细节保持的图像放大。

采用本发明方法的超分辨率重建效果良好，能够将原有的低分辨率图像行列各放大r倍，即是原来图像的r×r倍，经过多次实验验证，本发明方法在r＝2、r＝44及r＝8时效果良好。

Claims (1)

1.一种纹理分类的图像超分辨率重建的方法，其特征在于，按照以下步骤实施：

步骤1、对彩色图像训练样本进行裁剪，提取区域纹理信息，具体过程是，

1.1)选取彩色图像作为训练样本；

1.2)将所有的彩色图像训练样本裁剪成m×m的子块，确定子块的大小m×m，

设彩色训练子块为Im₁,Im₂,...,Im_N，共计N个子块，Im_k＝[R_k,G_k,B_k]，R_k是红色分量矩阵，G_k是绿色分量矩阵，B_k是蓝色分量矩阵，将各个颜色分量矩阵写成矩阵元素的具体形式则有R_k＝[r_k(i,j)]_m×m，G_k＝[g_k(i,j)]_m×m，B_k＝[b_k(i,j)]_m×m，k＝1,2,...,N，其中的r_k(i,j),g_k(i,j),b_k(i,j)分别是每个颜色分量矩阵的元素表达形式；

1.3)对彩色训练子块Im₁,Im₂,...,Im_N求其亮度分量矩阵，该亮度分量矩阵记作Y₁,Y₂,...,Y_N，将亮度分量矩阵写成矩阵元素的具体形式则有Y_k＝[y_k(i,j)]_m×m，k＝1,2,...,N，y_k(i,j)是亮度分量矩阵的元素表达形式，计算公式如下：

y_k(i,j)＝0.299·r_k(i,j)+0.587·g_k(i,j)+0.114·b_k(i,j)，

i＝1,2,...,m，j＝1,2,...,m，k＝1,2,...,N (1)

1.4)对亮度分量矩阵Y₁,Y₂,...,Y_N用Sobel微分算子计算其锐化矩阵，该锐化矩阵记作S₁,S₂,...,S_N，将锐化矩阵具体写成矩阵元素的形式则有S_k＝[s_k(i,j)]_m×m，k＝1,2,...,N，s_k(i,j)是锐化矩阵的元素表达形式；

步骤2、根据样本的纹理信息对样本进行分类，具体过程是，

2.1)将对锐化矩阵S₁,S₂,...,S_N的均值μ_k与标准差σ_k作为图像子块的纹理属性，计算公式如下：

2.2)以步骤2.1)计算得到的均值μ_k和标准差σ_k构成向量(μ_k,σ_k)，采用k-means算法进行聚类处理；

本步骤中将聚类数设置为3类，第一类对应为弱纹理类别，记作第二类对应为中等纹理类别，记作第三类对应为强纹理类别，记作

2.3)计算上述的三个类别的聚类中心O_l＝(μ_l*,σ_l*)，l＝1,2,3，计算公式如下：

2.4)将训练样本Im₁,Im₂,...,Im_N，根据2.2)步骤的聚类样本的序号，对应地也聚类为相应的类别，即弱纹理类别记作中等纹理类别记作/>强纹理类别记作/>

步骤3、分别训练3个卷积网络模型，具体过程是，

3.1)设置网络结构与参数，

设置EDSR网络结构，确定参数；

3.2)网络模型中的卷积核参数通过训练样本训练完成，

采用弱纹理类别中等纹理类别/>强纹理类别/>三类样本分别训练模型，将得到的三个模型依次称为第一个、第二个、第三个网络模型，依次记作Model₁,Model₂,Model₃，完成模型的训练；

步骤4、用训练好的模型进行图像的超分辨率重建，具体过程是，

4.1)将待重建的一幅低分辨率彩色图像分成多个m×m大小的子块，设分成的子块为F₁,F₂,...,F_M，共M个子块；

4.2)按照步骤1、步骤2.1)的方法，计算待重建的低分辨率图像的每个子块的亮度分量矩阵和锐化矩阵，之后计算得到待重建的低分辨率图像每个子块的纹理均值与标准差，这M个子块的均值和标准差分别表示为(μ_kf,σ_kf)，kf＝1,2,...,M；

4.3)计算待重建的低分辨率图像这M个子块的每个子块与步骤2.3)得到的三个模型的聚类中心O_l＝(μ_l*,σ_l*)的欧氏距离，l＝1,2,3，计算公式如下：

4.4)对待重建的低分辨率图像的M子块的每个子块，选出其与三个模型的聚类中心最近距离的模型，设为K_kf*，计算公式如下：

4.5)对第kf个子块，选择第K_kf*个网络模型重建该子块；

4.6)令kf＝1,2,...,M重复步骤4.2)至步骤4.5)，即待重建的低分辨率图像的M子块全部重建完成；

4.7)如果分成的子块是相互不重叠的，则直接放在相应的位置上构成重建之后的放大图像；如果分成的子块是相互重叠的，则重叠部分取均值进行构建，

至此，完成对低分辨率图像的超分辨率重建，实现细节保持的图像放大。