CN109559278B - 基于多特征学习的超分辨图像重建方法及系统 - Google Patents

基于多特征学习的超分辨图像重建方法及系统 Download PDF

Info

Publication number
CN109559278B
CN109559278B CN201811469738.7A CN201811469738A CN109559278B CN 109559278 B CN109559278 B CN 109559278B CN 201811469738 A CN201811469738 A CN 201811469738A CN 109559278 B CN109559278 B CN 109559278B
Authority
CN
China
Prior art keywords
image
frequency information
resolution
pixel
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811469738.7A
Other languages
English (en)
Other versions
CN109559278A (zh
Inventor
迟静
战玉丽
叶亚男
高珊珊
于志平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Finance and Economics
Original Assignee
Shandong University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Finance and Economics filed Critical Shandong University of Finance and Economics
Priority to CN201811469738.7A priority Critical patent/CN109559278B/zh
Publication of CN109559278A publication Critical patent/CN109559278A/zh
Application granted granted Critical
Publication of CN109559278B publication Critical patent/CN109559278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本公开公开了基于多特征学习的超分辨图像重建方法及系统，方法充分利用单幅输入图像本身所包含的丰富信息进行重建，无需依赖于外部数据库。方法基于图像的跨尺度相似性建立图像特征间的映射关系，并直接利用映射关系对输入图像重建包含高频信息的高分辨图像，很好地克服了使用插值放大方法重建图像导致的高频信息缺失的缺陷。方法利用奇异值阈值化获取有效高频信息，并利用梯度特征映射关系将高频信息放大后分块叠加到高分辨率图像上，得到最终的图像重建结果。这种利用图像特征组合重建图像的方式有效地抑制了重建图像的噪声点，并且较好的保持了图像边缘和纹理信息，实现了图像的细节增强。

Description

基于多特征学习的超分辨图像重建方法及系统
技术领域
本公开涉及图像处理技术领域，特别是涉及基于多特征学习的超分辨图像重建方法及系统。
背景技术
本部分的陈述仅仅是提高了与本公开相关的背景技术，并不必然构成现有技术。
图像超分辨率技术是通过一定的手段将低分辨率图像(Low Resolution Image，LR)转换为高分辨率图像(High Resolution Image，HR)。在这个过程中尽量多的保留图像的有效信息，包括图像的结构、纹理、细节等。
目前图像超分辨率技术的研究方法很多，主要分为基于插值的超分辨率方法、基于重建的超分辨率方法和基于学习的超分辨率方法。
第一类：基于插值的方法，包括传统的双线性插值、双三次插值。该类方法重建出来的图像容易出现边缘模糊且整体视觉效果不佳等现象。为了改善传统插值方法造成的缺陷，出现了许多新的插值方法，这些方法虽然有效的克服了传统插值方法的缺陷，但是仍然难以取得令人满意的视觉效果，例如基于边缘的图像插值方法在图像细节处出现了变形等现象且算法复杂度高。
第二类：基于重建的方法，该类方法的重建结果往往缺乏图像高频信息，且结果往往依赖重建约束，从而使图像看上去比较平滑。因此，Wang等人提出基于边缘导向的方法，提高了边缘的锐度。Zhao等人提出了局部纹理约束的方法，提升了纹理清晰度。经典的迭代反投影法(IBP)，其解往往不唯一，且得到的结果图像经常会包含噪声。变差(TV)模型引入正则项来约束求解空间，有利于保持图像结构的稳定性，正则化项在抑制噪声的同时也会抑制图像的细节，所以重建图像会出现过于平滑的效果。
第三类：基于学习的方法，该类方法侧重于将学到的初始高低分辨率图像对之间的关系应用于待重建的高低分辨率之间。充分利用外部图像库的信息来重建结果图。相比于前两类方法，基于学习的方法可以有效弥补图像放大过程中丢失的高频信息，从而改善图像重建过程中出现的模糊现象。随着稀疏编码的提出，出现了稀疏表示的方法利用低分辨率字典与初始低分辨率图像求得稀疏表示系数，组成稀疏矩阵，将该稀疏矩阵与高分辨率字典相乘得到重建结果。Dong等人将非局部相似性与稀疏表示模型相结合提出非局部自回归模型的方法，取得了较好的重建效果。这类方法重建结果很大程度上取决于外部数据集。Zhao等人提出一种基于LPE的超分辨率重建技术不依赖传统的字典学习方法，重建结果较清晰。Tai等人用低分辨率实例来补充高分辨率实例的高频信息。充分考虑了图像的边缘信息,，取得了较好的重建效果。Timofte等人将字典学习的方法和局部线性回归的方法结合(ANR)。Timofte等人结合ANR和局部线性回归的方法提出改进后的ANR方法(A+)，降低了计算复杂度。
近来，深度学习技术得到极大发展，Dong等人将其应用于图像超分辨率重建中，提出卷积神经网络的方法。这些方法依赖于特定的数据集，对于重建某类图像效果较好，但是对于其它类型的输入图像往往不能取得十分理想的效果。Freedman等人提出高低分辨率图像的关系，用马尔可夫随机模型来预测上采样缺失的高频图像带。这种方法虽然能够增强高频信息、较好地保持图像细节且锐化边缘，但如果图像块搜索错误，会在重建结果的边缘处引入噪声或者产生边缘不规则的现象。
之后，这类方法得到了扩展，包括依靠图像自身特征或者依靠图像外部数据集获取有效信息用于超分辨率图像重建。Ebrahimi等人利用图像自身作为实例，采用非局部搜索的方法，取得了较好的重建效果。后来出现了基于邻域嵌入的方法，其中，Chang等人研究表明图像具有跨尺度相似性。将相同尺度和不同尺度的图像块均列入超分辨图像重建中。利用LLE算法求得K邻近像素图像块的权重，并将该权重乘上对应的高分辨率图像得到结果图。
后来出现了一系列关于基于图像自相似性的研究。这类算法不依赖于外部数据库，而是依赖图像自身信息，通常可以得到较好的效果，但当得到的数据集与目标数据不匹配时，容易产生伪像素。Freedman等人利用图像的自相似性，搜索到最相似的图像块，用于图像结果的重建。有效的增强了图像的高频信息，取得了很好的主观视觉效果。但是该算法在图像细节、纹理等高频信息区域会产生块状。这是由于该算法搜索到的高频子带包含伪像素，且叠加过程中将该伪像素置入结果图像中，导致重建结果图像中出现块状。
现有技术需要解决的技术问题是，如何对图像进行重建，才能得到边缘、纹理等细节保持较好且放大不会出现伪影的重建图像。
发明内容
为了解决现有技术的不足，本公开提供了基于多特征学习的超分辨图像重建方法及系统；这种利用图像特征组合重建图像的方式有效地抑制了重建图像的噪声点，并且较好的保持了图像边缘和纹理信息，实现了图像的细节增强。实验表明，本公开方法得到的重建图像，纹理细节的信息较丰富，边缘较清晰，图像细节显著增强，在视觉效果和客观指标上都得到了较好的重建结果。
第一方面，本公开提供了基于多特征学习的超分辨图像重建方法；
基于多特征学习的超分辨图像重建方法，包括：
步骤(1)：获取图像高频信息：对原始输入图像进行降采样处理得到中间图像；对中间图像进行插值放大处理得到低分辨率图像，对原始输入图像和低分辨率图像进行分块作差得到高频信息图像；对高频信息图像进行奇异值阈值化处理，去除高频信息图像的伪像素，得到有效高频信息图像；
步骤(2)：高低分辨率图像的特征关系训练：
对原始输入图像进行插值放大处理得到高分辨率图像；
从低分辨率图像中提取图像的第一梯度特征和第一像素特征；
从高分辨率图像中提取图像的第二梯度特征和第二像素特征；
基于K邻近搜索算法对第一像素特征和第二像素特征进行处理，得到像素特征映射关系R1；基于像素特征映射关系R1对原始输入图像进行处理，得到包含高频信息的放大图像HI；
基于K邻近搜索算法对第一梯度特征和第二梯度特征进行处理，得到梯度特征映射关系R2；基于梯度特征映射关系R2对有效高频信息图像进行处理，得到初始重建图像HB；
步骤(3)：对初始重建图像HB和初始重建图像HI对应位置的像素值进行分块叠加，得到结果图像HH。
在一些实施方式中，对输入图像和低分辨率图像进行分块作差得到高频信息图像的具体步骤为：
设置一个3×3的窗口，窗口的步长是1；窗口沿着输入图像的行从左到右每次滑动一格，将窗口内图像块的所有像素点像素值设置为一个行向量；在当前行滑动结束后，就开始下一行从左到右的滑动，在滑动的过程中，窗口区域一直处在图像内部；直至窗口在整个输入图像中滑动完毕；随着窗口在输入图像上滑动，窗口将输入图像划分为若干个行向量；
同理，窗口沿着低分辨率图像的行每次滑动一格，窗口内图像块的所有像素点像素值设置为一个行向量；随着窗口在低分辨率图像上滑动，窗口将低分辨率图像划分为若干个行向量；
分块作差，就是输入图像的行向量与低分辨率图像的对应图像块的行向量进行作差；
作差后得到的每个行向量的差值即为高频信息图像的对应窗口的像素值，根据窗口的像素值，得到高频信息图像。
在一些实施方式中，对高频信息图像进行奇异值阈值化处理，去除高频信息图像的伪像素，得到有效高频信息图像的具体步骤为：
步骤(101)：对高频信息图像B(m*n)进行奇异值分解，其中，m表示图像B的行数，n表示图像B的列数，得：
其中，U是m*m的正交矩阵，V是n*n的正交矩阵，Σ＝diag(λ1,λ2,...,λm)，其中，λi是矩阵B的第i个奇异值，i＝1,2...,m，λ1≥λ2≥λ3...≥λm≥0。
步骤(102)：利用设定阈值τ对奇异值矩阵阈值化，去除高频信息图像的伪像素，获取有效高频信息，如果图像B的所有奇异值均满足λi>τ，则λ′i＝λi-τ；如果图像B的所有奇异值均满足λi≤τ，则λ′i＝0；其中，i＝1,2,...,m；λi表示图像B的第i个奇异值；λ′i表示图像B的第i个奇异值被阈值化后的奇异值；即:Dτ＝diag{(λi-τ)+}，Dτ表示B对应的有效奇异值矩阵。
步骤(103)：重建有效高频信息图像：利用得到的有效奇异值矩阵Dτ重建有效高频信息图像B′。
在一些实施方式中，所述步骤(103)的步骤具体包括：
步骤(1031)：如果m>n，则Dτ是n*n的对角矩阵，且对角元素满足：
(λ1-τ)>(λ2-τ)>...>(λj-τ)≥0；
其中，0<j≤n，λj+1≤τ；则B的有效高频信息图像B′＝U′DτVT，U′取U的前m行前n列；
步骤(1032)：如果m<n，则Dτ是m*m的对角矩阵，且对角元素满足：
(λ1-τ)>(λ2-τ)>...>(λ-τk)≥0；
其中，0<k<m，λk+1≤τ，则B的有效高频信息图像B′＝UDτV′T，其中，V′T取VT的前m行前n列；
步骤(1033)：如果m＝n，则Dτ是m*n的对角矩阵，且对角元素满足：
(λ1-τ)>(λ2-τ)>...>(λ-τd)≥0；
其中，0<d<m＝n，λd+1≤τ，则B的有效高频信息图像B′＝UDτVT。
在一些实施方式中，基于K邻近搜索算法对第一像素特征和第二像素特征进行处理，得到像素特征映射关系R1；基于像素特征映射关系R1对原始输入图像进行处理得到包含高频信息的放大图像HI，具体步骤为：
设置分块窗口尺寸和窗口的滑动步长，利用分块窗口将高分辨率图像Y进行分块，得到高分辨率图像Y的像素特征集合Y1；同样的，利用分块窗口将低分辨率图像y进行分块，得到低分辨率图像y的像素特征集合y1，其中，分块窗口尺寸大小是3*3，步长是1；
将得到的图像块的所有像素值表示为一个行向量，该行向量即为像素特征；
Y1＝{Y11，Y12，...,Y1i,...，Y1N}，
y1＝{y11，y12，...,y1j,...，y1n}，
其中，Y1是高分辨率图像Y的像素特征集合，Y1i表示高分辨率图像Y的像素特征集合中的第i个像素特征，N表示高分辨率图像Y的像素特征集合中像素特征的个数，y1是低分辨率图像y的像素特征集合；y1j表示低分辨率图像y的像素特征集合中的第j个像素特征；n表示低分辨率图像y的像素特征集合中像素特征的个数；
对于高分辨率图像Y的像素特征集合Y1中的第i个像素特征Y1i，在低分辨率图像y的像素特征集合y1中，采用K邻近搜索算法进行全局搜索得到Y1i的相似像素特征集合S1∈y1；
具体地，利用欧式距离计算Y1i与y1中各像素特征的相似度，将相似度小于给定阈值ε1的像素特征划分到相似像素特征集合S1中，公式如下：
S1＝{y1j|||Y1i-y1j||<ε1} (1)
计算相似像素特征集合S1中的各像素特征的权值ω1j，e为常数；
利用相似像素特征集合S1中的像素特征的加权组合来表示高分辨率像素特征。
由于相似像素特征集合S1中存在冗余的像素特征，通过优化目标函数E1提高表示精度：
求得S1中表示Y1i的低分辨率像素特征子集合S1′；S1′中的像素特征及其权值与Y1i构成映射关系，记为R1i＝{(y1j,ω1j)|y1j∈S1′}，ω1j是低分辨率图像第j个像素特征的权值；|| ||表示2范式。
利用公式(1)、(2)和(3)，对每一个高分辨率图像的像素特征Y1i，i＝1,2,...,N，求得其与低分辨率图像的像素特征y1间的映射关系R1i，从而得到高分辨图像和低分辨率图像之间的像素特征映射关系R1＝{R1i},i＝1,2,...,N。
设定分块窗口尺寸大小和分块窗口滑动步长，对原始输入图像I进行分块，将得到的每个图像块的像素值表示为一个行向量，记为G1j,j＝1,2,...,n；所有图像块得到的向量集合用G1表示；
由于低分辨率图像y是原始输入图像I下采样后再插值放大得到的，因此原始输入图像I的第j个图像块的向量G1j与低分辨率图像y的像素特征集合中的第j个像素特征y1j是对应的；
在G1中取与低分辨率像素特征子集合S1′中像素特征具有相同位置的图像块向量，构成子集合G1′；对G1′中的图像块向量加权组合重建HI的第i个图像块向量HIi；
同理，依次重建图像HI的所有图像块向量，最后，将所有图像块向量表示为图像块的形式即得到HI。
在一些实施方式中，基于K邻近搜索算法对第一梯度特征和第二梯度特征进行处理，得到梯度特征映射关系R2；基于梯度特征映射关系R2对有效高频信息图像进行处理，得到初始重建图像HB，具体步骤为：
利用一阶梯度滤波器hf1＝[-1,0,1]、一阶梯度滤波器vf1＝[-1,0,1]T、二阶梯度滤波器hf2＝[1,0,-2,0,1]和二阶梯度滤波器vf2＝[1,0,-2,0,1]T提取图像的梯度特征；
将滤波器均应用到高分辨率图像Y提取高分辨率图像Y的梯度特征，得到高分辨率图像Y的梯度特征集合Y2；
将滤波器均应用到低分辨率图像y提取低分辨率图像y的梯度特征，得到低分辨率图像y的梯度特征集合y2；
Y2＝{Y21，Y22，...,Y2i,...，Y2N}；
y2＝{y21，y22，...,y2j,...，y2n}；
其中，i＝1,2,...,N,j＝1,2,...,n；
对于高分辨率图像Y的第i个梯度特征Y2i，在低分辨率图像y的梯度特征集合y2中，利用K邻近搜索算法进行全局搜索得相似梯度特征集合S2∈y2。
具体的，利用欧式距离计算Y2i与y2中各梯度特征的相似度，集合S2：
S2＝{y2j|||Y2i-y2j||<ε2} (4)
其中，ε2是给定阈值，y2j是低分辨率图像的第j个梯度特征。
计算相似梯度特征集合S2中各梯度特征的权值ω2j：
利用相似梯度特征集合S2中的梯度特征加权组合来表示高分辨率图像的梯度特征。
通过优化目标函数E2，得到相似梯度特征集合S2中用于表示Y2i的低分辨率梯度特征子集合S2′；
S2′中的梯度特征及其权值与Y2i构成映射关系，记为R2i＝{(y2j,ω2j)|y2j∈S2′}。
利用公式(4)、(5)和(6)，对每一个高分辨率图像梯度特征Y2i，得到其与低分辨率图像梯度特征y2间的映射关系R2i，进而得到高分辨图像和低分辨率图像之间的梯度特征映射关系R2＝{R2i},i＝1,2,...,N，用于重建高频信息图像B′得HB。
设定分块窗口尺寸大小和分块窗口滑动步长，对有效高频信息图像B′进行分块，分块规则与原始输入图像I的分块规则相同；将得到的图像块表示为一个行向量T1j，所有图像块得到的向量集合用T1表示。
由于高频信息图像是原始输入图像I与低分辨率图像y的残差B，对B奇异值阈值化得到有效高频信息图像B′；所以，有效高频信息图像B′的第j个图像块的向量T1j与低分辨率图像的第j个梯度特征y2j是对应的。
在T1中取与低分辨率梯度特征子集合S2′对应位置的图像块向量，构成子集合T1′，对T1′中的图像块向量加权组合重建HB的第i个图像块向量HBi；
同理，依次重建图像HB的所有图像块向量，最后，将所有图像块向量表示为图像块的形式即得到HB。
在一些实施方式中，所述插值放大算法采用FCI算法。
FCI，feature constrained interpolation特征约束插值
在一些实施方式中，对初始重建图像HB和初始重建图像HI对应位置的像素值进行分块叠加，得到结果图像HH的具体步骤为：
设置一个3×3的窗口，窗口的步长是1；窗口沿着初始重建图像HB的行每次滑动一格，窗口内图像块的所有像素点像素值设置为一个行向量；随着窗口在初始重建图像HB上滑动，窗口将初始重建图像HB划分为若干个行向量；
同理，窗口沿着初始重建图像HI的行每次滑动一格，窗口内图像块的所有像素点像素值设置为一个行向量；随着窗口在初始重建图像HI上滑动，窗口将初始重建图像HI划分为若干个行向量；
分块叠加，就是初始重建图像HB与初始重建图像HI的对应图像块的行向量进行叠加；
叠加后得到的每个行向量的和值即为结果图像HH的对应窗口的像素值，根据窗口的像素值，得到结果图像HH。
第二方面，本公开还提供了基于多特征学习的超分辨图像重建系统；
基于多特征学习的超分辨图像重建系统，包括：
获取图像高频信息模块：对原始输入图像进行降采样处理得到中间图像；对中间图像进行插值放大处理得到低分辨率图像，对输入图像和低分辨率图像进行分块作差得到高频信息图像；对高频信息图像进行奇异值阈值化处理，去除高频信息图像的伪像素，得到有效高频信息图像；
高低分辨率图像的特征关系训练模块：对输入图像进行插值放大处理得到高分辨率图像；
从低分辨率图像中提取图像的第一梯度特征和第一像素特征；从高分辨率图像中提取图像的第二梯度特征和第二像素特征；
基于K邻近搜索算法对第一像素特征和第二像素特征进行处理，得到像素特征映射关系R1；基于像素特征映射关系R1对原始输入图像进行处理，得到包含高频信息的放大图像HI；
基于K邻近搜索算法对第一梯度特征和第二梯度特征进行处理，得到梯度特征映射关系R2；基于梯度特征映射关系R2对有效高频信息图像进行处理，得到初始重建图像HB；
分块叠加模块：对初始重建图像HB和初始重建图像HI对应位置的像素值进行分块叠加，得到结果图像HH。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面任一可能的实现方式中的方法。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面任一可能的实现方式中的方法的步骤。
与现有技术相比，本公开的有益效果是：
本公开充分利用了高低分辨率图像之间的跨尺度相似性,对图像的多个特征得到训练模型，利用该模型将包含高频信息的初始图像和高频信息图像放大。将放大之后得到的包含高频信息的高分辨率图像与图像高频信息图像分块叠加得到重建结果图。方法可在增强图像高频信息的同时，有效保留图像的边缘纹理等细节信息。图像细节得到了较好的增强，同时较好的避免了局部放大出现的伪影现象。有效的抑制了边缘噪声点的产生。且算法不依赖外部数据库，因此重建结果不受外部数据的干扰。方法在视觉效果和客观指标方面均取得了较好的重建结果。
本公开提出的方法，通过增强图像的高频信息实现重建图像细节的增强。方法充分利用图像的跨尺度相似性以及图像特征训练得到映射关系，基于映射关系重建包含高频信息的高分辨率图像，避免了使用传统插值放大算法导致重建图像缺失高频信息的问题，方法通过对高频信息进行奇异值阈值化较好的保留了图像有效高频信息，并通过与高分辨率图像进行分块叠加，利用图像特征的组合重建最终的结果图像，克服了块状等高频信息冗余的现象，重建出的图像纹理细节较丰富，纹理和边缘的结构特征的清晰度较高且细节区域得到了较好的增强。实验表明运用该方法对图像进行超分辨率重建时不但保证了图像较好的整体和局部的视觉效果，而且在客观指标方面也有不同程度的提高。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明的方法流程图；
图2为高频信息图像获取流程图；
图3(a)为baby原图；
图3(b)为分块叠加得到最终的高分辨率图像；
图3(c)为HI图像的局部放大示意图；
图3(d)为HH图像的局部放大示意图；
图4(a)是斑马的原图像；
图4(b)是双三次插值算法进行超分辨率重建得到的效果图；
图4(c)是Yang算法进行超分辨率重建得到的效果图；
图4(d)是Freedman算法进行超分辨率重建得到的效果图；
图4(e)是Dong算法算法进行超分辨率重建得到的效果图；
图4(f)是A+算法算法进行超分辨率重建得到的效果图；
图4(g)是SelfExSR算法进行超分辨率重建得到的效果图；
图4(h)是SRCNN算法进行超分辨率重建得到的效果图；
图4(i)是本公开算法进行超分辨率重建得到的效果图；
图5(a)是原图像；
图5(b)是双三次插值算法进行超分辨率重建得到的效果图；
图5(c)是Yang算法进行超分辨率重建得到的效果图；
图5(d)是Freedman算法进行超分辨率重建得到的效果图；
图5(e)是Dong算法算法进行超分辨率重建得到的效果图；
图5(f)是A+算法算法进行超分辨率重建得到的效果图；
图5(g)是SelfExSR算法进行超分辨率重建得到的效果图；
图5(h)是SRCNN算法进行超分辨率重建得到的效果图；
图5(i)是本文算法进行超分辨率重建得到的效果图；
图6(a)是原图像；
图6(b)是双三次插值算法进行超分辨率重建得到的效果图；
图6(c)是Yang算法进行超分辨率重建得到的效果图；
图6(d)是Freedman算法进行超分辨率重建得到的效果图；
图6(e)是Dong算进行超分辨率重建得到的效果图；
图6(f)是A+算法算法进行超分辨率重建得到的效果图；
图6(g)是SelfExSR算法进行超分辨率重建得到的效果图；
图6(h)是SRCNN算法进行超分辨率重建得到的效果图；
图6(i)是本文算法进行超分辨率重建得到的效果图；
图7(a)是原图像；
图7(b)是双三次插值算法进行超分辨率重建得到的效果图；
图7(c)是Yang算法进行超分辨率重建得到的效果图；
图7(d)是Freedman算法进行超分辨率重建得到的效果图；
图7(e)是Dong算法算法进行超分辨率重建得到的效果图；
图7(f)是A+算法算法进行超分辨率重建得到的效果图；
图7(g)是SelfExSR算法进行超分辨率重建得到的效果图；
图7(h)是SRCNN算法进行超分辨率重建得到的效果图；
图7(i)是本文算法进行超分辨率重建得到的效果图；
图8是本文算法对蝴蝶图像取阈值5,10,30,50,70，90,130,150,170得到的PSNR值；
图9是本文算法对蝴蝶图像取阈值5,10,30,50,70，90,130,150,170得到的SSIM值；
图10(a)-图10(d)是本文算法对蝴蝶图像取阈值5,70,140,170得到的效果图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
本公开方法基本流程如图1所示：
(1)获取图像高频信息。本公开利用高低分辨率图像作差得到图像残差信息作为图像的高频信息；高频信息奇异值阈值化。为了去除提取的高频信息的伪像素，避免重建结果中出现边缘锐化或者块状等不自然的现象，对其进行奇异值阈值分解获取有效高频信息。
(2)高低分辨率图像之间的特征关系训练。根据图像的跨尺度相似性，充分利用高低分辨率图像之间的关系，利用K邻近搜索算法对每个高分辨率图像特征，获得与其相似的低分辨率图像特征集合，为提高匹配精度，用得到的低分辨率图像特征的加权组合表示高分辨率图像特征。
(3)重建结果图像。利用(2)训练得到的映射关系分别作用于初始输入图像和有效高频信息图像得初始重建图像HI和HB，对HI和HB分块叠加重建输出结果图像。其中，分块窗口大小是3*3，步长是1。本公开方法可有效避免由于高频信息的增强而出现的块状、边缘锐化等不自然的现象，而且能够较好的保持图像的边缘纹理等细节，同时图像的平滑区域也得到了有效增强。对重建结果图进行一定程度局部放大不会产生紊乱，目标整体保持了较好的视觉效果，且客观指标也有所提高。
获得图像高频信息
高频信息的获取方式有很多。常用的有图像滤波、图像残差。利用残差方法获得的图像高频信息比较稳定，且得到的图像尺寸大小容易控制，因此本公开选取图像的残差作为图像的高频信息。具体方法如下:首先，对原始输入图像I进行模糊下采样，得到中间图像M，然后对中间图像M进行插值放大，得到图像尺寸与I相同的低分辨率图像y。对原始输入图像I和低分辨率图像y分块作差,窗口大小是3*3，步长是1，得到图像高频信息块。最后将得到的图像高频信息块重建得高频信息图像B。图2是对考拉图像进行高频信息提取的结果图像。
高频信息的奇异值阈值化
为获得有效高频信息。避免图像重建过程中出现边缘锐化，且较好地保持图像的保真度和图像结构,使重建结果图像看起来更加自然。本公开采用奇异值阈值化SVT去除高频信息图像B中的伪像素，获得有效高频信息图像B′。
(1)对高频信息图像B(m*n)进行奇异值分解。其中,其中，m表示图像B的行数，n表示图像B的列数，得：
其中，U是m*m的正交矩阵，V是n*n的正交矩阵，Σ＝diag(λ1,λ2,...,λm)，其中，λi是矩阵B的第i个奇异值，i＝1,2...,m，λ1≥λ2≥λ3...≥λm≥0。
(2)利用设定阈值τ对奇异值矩阵阈值化，去除高频信息图像的伪像素，获取有效高频信息，如果图像B的所有奇异值均满足λi>τ，则λ′i＝λi-τ；如果图像B的所有奇异值均满足λi≤τ，则λ′i＝0；其中，i＝1,2,...,m；λi表示图像B的第i个奇异值；λ′i表示图像B的第i个奇异值被阈值化后的奇异值；即:Dτ＝diag{(λi-τ)+}，Dτ表示B对应的有效奇异值矩阵。
(3)重建有效高频信息图像：利用得到的有效奇异值矩阵Dτ重建有效高频信息图像B′；
(31)如果m>n，则Dτ是n*n的对角矩阵，且对角元素满足：
(λ1-τ)>(λ2-τ)>...>(λj-τ)≥0；
其中，0<j≤n，λj+1≤τ。则B的有效高频信息图像B′＝U′Dτ(∑)VT，U′取U的前m行前n列；
(32)如果m<n，则Dτ是m*m的对角矩阵，且对角元素满足:
(λ1-τ)>(λ2-τ)>...>(λ-τk)≥0；
其中，0<k<m，λk+1≤τ，则B的有效高频信息图像B′＝UDτV′T，其中，V′T取VT的前m行前n列；
(33)如果m＝n，则Dτ是m*n的对角矩阵，且对角元素满足：
(λ1-τ)>(λ2-τ)>...>(λ-τd)≥0
其中，0<d<m＝n，λd+1≤τ。则B的有效高频信息图像B′＝UDτVT。
高低分辨率图像之间的特征关系训练
由于图像存在跨尺度相似性，本公开充分利用高低分辨率图像特征之间的相似性，来获取它们之间的映射关系，包括像素特征和梯度特征。其中，像素特征的映射关系用于重建初始输入图像I，以得到包含高频信息的高分辨图像HI。利用特征映射关系重建图像有效克服了传统插值方法重建高分辨图像时易丢失高频信息的缺陷。梯度特征的映射关系用于重建有效高频信息图像B′，得到放大后的高频信息图像HB。将图像HB与图像HI分块叠加得到最终的高分辨率图像。这种基于特征映射关系的分块叠加重建图像方式，可显著增强重建后的高分辨率图像中的高频信息，很好的保持边缘和纹理区域，并能增强图像细节信息，且有效抑制了图像的噪声点.
本公开需要利用对应的高分辨率图像和低分辨率图像进行映射关系的训练。对于输入图像I，利用上采样得到放大后的高分辨率图像Y，对I下采样得到M然后对M上采样得到放大之后的低分辨率图像y。图像Y和y构成一对训练样本。插值放大算法的选取对本公开最终重建效果有一定得影响。本公开选用FCI算法作为插值放大算法。该算法在图像轮廓和细节方面保持较好，且算法复杂度低。
本公开将高低分辨率图像划分为图像块，对图像块的特征进行训练。图像的特征表示方法有多种，包括常用的一阶梯度，二阶梯度，或者是一阶二阶梯度联合使用，像素值减去均值或者直接利用像素值作为图像的特征。本公开采用像素特征和二阶梯度特征。利用K邻近搜索算法训练高分辨率图像Y与低分辨率图像y之间图像特征的映射关系，使高分辨率图像Y的图像块的特征与低分辨率图像y的图像块的特征集合之间误差最小。
训练高低分辨率图像像素值特征的映射关系：为了更好的重建输入图像I，本公开采用K邻近搜索算法获得高低分辨率图像Y与y像素特征映射关系R1，将该关系用于重建初始输入I，得包含高频信息的放大图像HI。
设置分块窗口尺寸和窗口的滑动步长，利用分块窗口将高分辨率图像Y进行分块，得到高分辨率图像Y的像素特征集合Y1；同样的，利用分块窗口将低分辨率图像y进行分块，得到低分辨率图像y的像素特征集合y1，窗口大小是3*3，步长是1；
将得到的图像块的所有像素值表示为一个行向量，该行向量即为像素特征；
Y1＝{Y11，Y12，...,Y1i,...，Y1N}，
y1＝{y11，y12，...,y1j,...，y1n}，
其中，Y1是高分辨率图像Y的像素特征集合，Y1i表示高分辨率图像Y的像素特征集合中的第i个像素特征，N表示高分辨率图像Y的像素特征集合中像素特征的个数，y1是低分辨率图像y的像素特征集合；y1j表示低分辨率图像y的像素特征集合中的第j个像素特征；n表示低分辨率图像y的像素特征集合中像素特征的个数；
对于高分辨率图像Y的像素特征集合Y1中的第i个像素特征Y1i，在低分辨率图像y的像素特征集合y1中，采用K邻近搜索算法进行全局搜索得到Y1i的相似像素特征集合S1∈y1；
具体地，利用欧式距离计算Y1i与y1中各像素特征的相似度，将相似度小于给定阈值ε1的像素特征划分到相似像素特征集合S1中，公式如下：
S1＝{y1j|||Y1i-y1j||<ε1} (1)
计算相似像素特征集合S1中的各像素特征的权值ω1j，e为常数；
利用相似像素特征集合S1中的像素特征的加权组合来表示高分辨率像素特征。
由于相似像素特征集合S1中存在冗余的像素特征，通过优化目标函数E1提高表示精度：
求得S1中表示Y1i的低分辨率像素特征子集合S1′；S1′中的像素特征及其权值与Y1i构成映射关系，记为R1i＝{(y1j,ω1j)|y1j∈S1′}，ω1j是低分辨率图像第j个像素特征的权值；|| ||表示2范式。
利用公式(1)、(2)和(3)，对每一个高分辨率图像的像素特征Y1i，i＝1,2,...,N，求得其与低分辨率图像的像素特征y1间的映射关系R1i，从而得到高分辨图像和低分辨率图像之间的像素特征映射关系R1＝{R1i},i＝1,2,...,N。
设定分块窗口尺寸大小和分块窗口滑动步长，对原始输入图像I进行分块，将得到的每个图像块的像素值表示为一个行向量，记为G1j,j＝1,2,...,n；所有图像块得到的向量集合用G1表示；
由于低分辨率图像y是原始输入图像I下采样后再插值放大得到的，因此原始输入图像I的第j个图像块的向量G1j与低分辨率图像y的像素特征集合中的第j个像素特征y1j是对应的；
在G1中取与低分辨率像素特征子集合S1′中像素特征具有相同位置的图像块向量，构成子集合G1′；对G1′中的图像块向量加权组合重建HI的第i个图像块向量HIi；
同理，依次重建图像HI的所有图像块向量，最后，将所有图像块向量表示为图像块的形式即得到HI。图3(b)是利用象素特征映射关系对baby图像重建得到的高分辨率图像HI。
基于K邻近搜索算法对第一梯度特征和第二梯度特征进行处理，得到梯度特征映射关系R2；基于梯度特征映射关系R2对有效高频信息图像进行处理，得到初始重建图像HB，具体步骤为：
利用一阶梯度滤波器hf1＝[-1,0,1]、一阶梯度滤波器vf1＝[-1,0,1]T、二阶梯度滤波器hf2＝[1,0,-2,0,1]和二阶梯度滤波器vf2＝[1,0,-2,0,1]T提取图像的梯度特征；
将滤波器均应用到高分辨率图像Y提取高分辨率图像Y的梯度特征，得到高分辨率图像Y的梯度特征集合Y2；
将滤波器均应用到低分辨率图像y提取低分辨率图像y的梯度特征，得到低分辨率图像y的梯度特征集合y2；
Y2＝{Y21，Y22，...,Y2i,...，Y2N}；
y2＝{y21，y22，...,y2j,...，y2n}；
其中，i＝1,2,...,N,j＝1,2,...,n；
对于高分辨率图像Y的第i个梯度特征Y2i，在低分辨率图像y的梯度特征集合y2中，利用K邻近搜索算法进行全局搜索得相似梯度特征集合S2∈y2。
具体的，利用欧式距离计算Y2i与y2中各梯度特征的相似度，集合S2：
S2＝{y2j|||Y2i-y2j||<ε2} (4)
其中，ε2是给定阈值，y2j是低分辨率图像的第j个梯度特征。
计算相似梯度特征集合S2中各梯度特征的权值ω2j：
利用相似梯度特征集合S2中的梯度特征加权组合来表示高分辨率图像的梯度特征。
通过优化目标函数E2，得到相似梯度特征集合S2中用于表示Y2i的低分辨率梯度特征子集合S2′；
S2′中的梯度特征及其权值与Y2i构成映射关系，记为R2i＝{(y2j,ω2j)|y2j∈S2′}。
利用公式(4)、(5)和(6)，对每一个高分辨率图像梯度特征Y2i，得到其与低分辨率图像梯度特征y2间的映射关系R2i，进而得到高分辨图像和低分辨率图像之间的梯度特征映射关系R2＝{R2i},i＝1,2,...,N，用于重建高频信息图像B′得HB。
设定分块窗口尺寸大小和分块窗口滑动步长，对有效高频信息图像B′进行分块，分块规则与原始输入图像I的分块规则相同；将得到的图像块表示为一个行向量T1j，所有图像块得到的向量集合用T1表示。
由于高频信息图像是原始输入图像I与低分辨率图像y的残差B，对B奇异值阈值化得到有效高频信息图像B′；所以，有效高频信息图像B′的第j个图像块的向量T1j与低分辨率图像的第j个梯度特征y2j是对应的。
在T1中取与低分辨率梯度特征子集合S2′对应位置的图像块向量，构成子集合T1′，对T1′中的图像块向量加权组合重建HB的第i个图像块向量HBi；
同理，依次重建图像HB的所有图像块向量，最后，将所有图像块向量表示为图像块的形式即得到HB。图3(c)是利用梯度特征映射关系对baby图像重建得到的有效高频信息图像HB。
所述插值放大算法采用FCI算法。FCI，feature constrained interpolation特征约束插值。
对初始重建图像HB和初始重建图像HI对应位置的像素值进行分块叠加，得到结果图像HH的具体步骤为：
设置一个3×3的窗口，窗口的步长是1；窗口沿着初始重建图像HB的行每次滑动一格，窗口内图像块的所有像素点像素值设置为一个行向量；随着窗口在初始重建图像HB上滑动，窗口将初始重建图像HB划分为若干个行向量；
同理，窗口沿着初始重建图像HI的行每次滑动一格，窗口内图像块的所有像素点像素值设置为一个行向量；随着窗口在初始重建图像HI上滑动，窗口将初始重建图像HI划分为若干个行向量；
分块叠加，就是初始重建图像HB与初始重建图像HI的对应图像块的行向量进行叠加；
叠加后得到的每个行向量的和值即为结果图像HH的对应窗口的像素值，根据窗口的像素值，得到结果图像HH。
图3(a)到图3(d)是以baby图像为例的重建过程(阈值是20)，图3(d)是分块叠加后得到的最终的高分辨率图像，可见，图像的纹理细节区域得到了较好的增强，边缘更加清晰。
本公开算法描述如下：
输入.初始输入图像I.
输出.重建后的高分辨率图像HH.
Step1.初始化，对输入图像I下采样得到中间图像M，然后插值放大得到低分辨率图像y，对输入图像I进行插值放大得高分辨率图像Y.
Step2.利用图像Y，y的像素特征得到映射关系R1.利用图像Y，y的梯度特征得到映射关系R2.
Step3.对输入图像I重叠分块，分块窗口大小是3×3，窗口滑动的步长是1.将得到的输入图像I的图像块表示为向量，记为：G1.
Step4.提取图像的残差信息作为图像的高频信息B，根据SVT算法将该高频信息进行奇异值阈值化，得有效高频信息图像B′，将有效高频信息图像B′分块，分块窗口大小是3×3，步长是1，将得到的高频信息图像块表示为向量，记为：T1.
Step5.将step2得到的映射关系R1和R2分别用于G1和T1，重建出图像HI和HB.
Step5.将HI和HB分块叠加，重建最终结果图HH.
实验结果和分析
本公开选取(斑马、蝴蝶、墙、海星)图像作为测试数据。分别与经典的双三次插值算法、Yang算法、Freedman算法、Dong算法、A+算法、SelfExSR算法、SRCNN算法进行比较。SRCNN算法使用9-5-5(ImageNet)*2模型，图像进行2倍放大。实验部分的数据均来自加州大学图像分割数据库。
本公开分别从整体视觉效果、局部细节视觉效果和客观指标三方面进行对比。客观指标包括PSNR值(Peak Signal to Noise Ratio)峰值信噪比，衡量图像失真或者噪声水平的指标和SSIM(Structural Similarity index)结构相似性，衡量两幅图像相似度的指标。众所周知，对于PSNR值和SSIM值得计算如果取不同的图像通道计算，结果会有所差别。大量实验表明，如果计算结果图像的三个通道Y、cb、cr与只计算其中的Y通道PSNR值会有所降低。目前大多数超分辨率重建在进行客观指标比较的时候均对比的Y通道。因此本公开所有实验均计算Y通道且使用相同的函数进行PSNR值和SSIM值得计算。
由于人眼只对图像的亮度通道Y敏感，所以我们将RGB模式转换为YCbCr模式，只对Y通道使用本公开算法处理，本公开对比实验只处理亮度通道，对CbCr通道使用双三次插值方法放大，以匹配Y通道。为更好的观察图像局部细节，实验部分展示结果图像的Y通道。另外,为了更好的说明本公开方法的有效性，对比实验Dong方法使用原文的隔行隔列降采样方法、其余实验采用本公开的高斯模糊降采样。
图4(a)-图4(i)是对斑马进行高分辨重建后的效果比较图；图5(a)-图5(i)是对蝴蝶进行高分辨重建后的效果比较图；图6(a)-图6(i)是对墙进行高分辨重建后的效果比较图；图7(a)-图7(i)是对海星进行高分辨重建后的效果比较图；
本公开方法无论是整体视觉效果还是局部视觉效果都好于其他方法。本公开方法较好的保持了图像的边缘、纹理的同时较好的增强了图像的细节，且能够有效的抑制图像的噪声点。斑马、蝴蝶和墙的比较图中双三次插值方法的处理结果的边缘出现了伪影，图像较模糊。Yang方法在边缘处也出现了不同程度的模糊，特别是蝴蝶和墙的比较图的边缘区域。Freedman方法图像的清晰度和边缘锐化度高，但是在边缘区域出现了线条。Dong方法相对较好的保持了图像的边缘，但是图4(a)-图4(i)斑马局部区域边缘产生了模糊的现象。A+方法、SelfExSR方法、SRCNN方法在边缘处出现了不同程度的模糊，特别是图4(a)-图4(i)斑马的眼球周围。对于图5(a)-图5(i)蝴蝶，A+方法和SRCNN方法不能较好的保持图像边缘，且引入了噪声点。本公开方法不但较好的保持了图像边缘，而且有效抑制了图像的噪声点，本公开方法对于图4(a)-图4(i)斑马，能够较好的保持图像轮廓，以及图5(a)-图5(i)蝴蝶较好保持图像边缘的同时有效的抑制了图像的噪声点。图7(a)-图7(i)中，局部视觉效果图表明，本公开算法好于其他算法。就Dong方法而言，该方法对该图像细节区域重建不是很完善，缺少必要的图像信息，具体表现为:图像局部的视觉效果略差，图像的边缘处出现了模糊的现象，缺少必要的像素。A+方法和SRCNN方法引入了不同程度的噪声且不能很好的保持图像边缘特别是海星小圈的细节区域。SelfExSR方法产生了不同程度的模糊，特别是图像的小圈的细节区域。
为了说明阈值大小与重建结果图像的关系，以蝴蝶局部为例，阈值大小与图像重建结果的关系如图8所示。
由以上客观数据可以看出阈值越小对应的视觉效果越好，但是客观指标并不是最好的。图8、图9表示，一定范围内阈值越大，对应的客观指标越高。图10(a)-图10(d)可以看出a的视觉效果最好，蝴蝶整体效果特别是边缘部分比图c、d更加清晰。因此，阈值越小对应的视觉效果越好。为了得到较高的客观指标和较好的视觉效果，本公开方法阈值范围是(20-70).
表1图像放大两倍不同方法对应的PSNR值和SSIM值
本公开还对方法的客观指标(PSNR，SSIM)进行了比较，结果如表1所示。由表中数据可知，除了斑马的SSIM值和蝴蝶的两项客观指标比Dong的算法低之外，其余其余图像均高于其他算法。但是Dong的算法个别图像边缘不如本清晰，比如主观视觉效果分析中的斑马局部、框子的局部、蝴蝶的局部。综上所述，本公开提出的算法无论从客观指标上还是主观视觉效果上都优于其他算法.
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于多特征学习的超分辨图像重建方法，其特征是，包括：
步骤(1)：获取图像高频信息：对原始输入图像进行降采样处理得到中间图像；对中间图像进行插值放大处理得到低分辨率图像，对输入图像和低分辨率图像进行分块作差得到高频信息图像；对高频信息图像进行奇异值阈值化处理，去除高频信息图像的伪像素，得到有效高频信息图像；
步骤(2)：高低分辨率图像的特征关系训练：
对输入图像进行插值放大处理得到高分辨率图像；
从低分辨率图像中提取图像的第一梯度特征和第一像素特征；
从高分辨率图像中提取图像的第二梯度特征和第二像素特征；
基于K邻近搜索算法对第一像素特征和第二像素特征进行处理，得到像素特征映射关系R1；基于像素特征映射关系R1对原始输入图像进行处理，得到包含高频信息的放大图像HI；
基于K邻近搜索算法对第一梯度特征和第二梯度特征进行处理，得到梯度特征映射关系R2；基于梯度特征映射关系R2对有效高频信息图像进行处理，得到初始重建图像HB；
步骤(3)：对初始重建图像HB和包含高频信息的放大图像HI对应位置的像素值进行分块叠加，得到结果图像HH。
2.如权利要求1所述的方法，其特征是，对输入图像和低分辨率图像进行分块作差得到高频信息图像的具体步骤为：
设置一个3×3的窗口，窗口的步长是1；窗口沿着输入图像的行每次滑动一格，窗口内图像块的所有像素点像素值设置为一个行向量；当前行滑动结束后，就开始下一行从左到右的滑动，在滑动的过程中，窗口区域一直处在图像内部；直至窗口在整个输入图像中滑动完毕；随着窗口在输入图像上滑动，窗口将输入图像划分为若干个行向量；
同理，窗口沿着低分辨率图像的行每次滑动一格，窗口内图像块的所有像素点像素值设置为一个行向量；随着窗口在低分辨率图像上滑动，窗口将低分辨率图像划分为若干个行向量；
分块作差，就是输入图像的行向量与低分辨率图像的对应图像块的行向量进行作差；
作差后得到的每个行向量的差值即为高频信息图像的对应窗口的像素值，根据窗口的像素值，得到高频信息图像。
3.如权利要求1所述的方法，其特征是，对高频信息图像进行奇异值阈值化处理，去除高频信息图像的伪像素，得到有效高频信息图像的具体步骤为：
步骤(101)：对高频信息图像Bm*n进行奇异值分解，其中，m表示图像B的行数，n表示图像B的列数，得：
其中，U是m*m的正交矩阵，V是n*n的正交矩阵，Σ＝diag(λ1,λ2,...,λm)，其中，λi是矩阵B的第i个奇异值，i＝1,2...,m，λ1≥λ2≥λ3...≥λm≥0；
步骤(102)：利用设定阈值τ对奇异值矩阵阈值化，去除高频信息图像的伪像素，获取有效高频信息，如果图像B的所有奇异值均满足λi＞τ，则λ′i＝λi-τ；如果图像B的所有奇异值均满足λi≤τ，则λ′i＝0；其中，i＝1,2,...,m；λi表示图像B的第i个奇异值；λ′i表示图像B的第i个奇异值被阈值化后的奇异值；即:Dτ＝diag{λ′i}，Dτ表示B对应的有效奇异值矩阵；
步骤(103)：重建有效高频信息图像：利用得到的有效奇异值矩阵Dτ重建有效高频信息图像B'。
4.如权利要求3所述的方法，其特征是，所述步骤(103)的步骤具体包括：
步骤(1031)：如果m＞n，则Dτ是n*n的对角矩阵，且对角元素满足：
(λ1-τ)＞(λ2-τ)＞...＞(λj-τ)≥0；
其中，0＜j≤n，λj+1≤τ；则B的有效高频信息图像B'＝U'DτV'T，U'取U的前m行前n列；
步骤(1032)：如果m＜n，则Dτ是m*m的对角矩阵，且对角元素满足：
(λ1-τ)＞(λ2-τ)＞...＞(λ-τk)≥0；
其中，0＜k＜m，λk+1≤τ，则B的有效高频信息图像B'＝UDτV'T，其中，V'T取VT的前m行前n列；
步骤(1033)：如果m＝n，则Dτ是m*n的对角矩阵，且对角元素满足：
(λ1-τ)＞(λ2-τ)＞...＞(λ-τd)≥0；
其中，0＜d＜m＝n，λd+1≤τ，则B的有效高频信息图像B'＝UDτVT。
5.如权利要求1所述的方法，其特征是，基于K邻近搜索算法对第一像素特征和第二像素特征进行处理，得到像素特征映射关系R1；基于像素特征映射关系R1对原始输入图像进行处理得到包含高频信息的放大图像HI，具体步骤为：
设置分块窗口尺寸和窗口的滑动步长，利用分块窗口将高分辨率图像Y进行分块，得到高分辨率图像Y的像素特征集合Y1；同样的，利用分块窗口将低分辨率图像y进行分块，得到低分辨率图像y的像素特征集合y1，其中，分块窗口尺寸大小是3*3，步长是1；
将得到的图像块的所有像素值表示为一个行向量，该行向量即为像素特征；
Y1＝{Y11，Y12，...,Y1i,...，Y1N}，
y1＝{y11，y12，...,y1j,...，y1n}，
其中，Y1是高分辨率图像Y的像素特征集合，Y1i表示高分辨率图像Y的像素特征集合中的第i个像素特征，N表示高分辨率图像Y的像素特征集合中像素特征的个数，y1是低分辨率图像y的像素特征集合；y1j表示低分辨率图像y的像素特征集合中的第j个像素特征；n表示低分辨率图像y的像素特征集合中像素特征的个数；
对于高分辨率图像y的像素特征集合Y1中的第i个像素特征Y1i，在低分辨率图像y的像素特征集合y1中，采用K邻近搜索算法进行全局搜索得到Y1i的相似像素特征集合S1∈y1；
具体地，利用欧式距离计算Y1i与y1中各像素特征的相似度，将相似度小于给定阈值ε1的像素特征划分到相似像素特征集合S1中，公式如下：
S1＝{y1j|||Y1i-y1j||＜ε1} (1)
计算相似像素特征集合S1中的各像素特征的权值ω1j，e为常数；
利用相似像素特征集合S1中的像素特征的加权组合来表示高分辨率像素特征；
由于相似像素特征集合S1中存在冗余的像素特征，通过优化目标函数E1提高表示精度：
求得S1中表示Y1i的低分辨率像素特征子集合S1'；S1'中的像素特征及其权值与Y1i构成映射关系，记为R1i＝{(y1j,ω1j)|y1j∈S1'}，ω1j是低分辨率图像第j个像素特征的权值；|| ||表示2范式；
利用公式(1)、(2)和(3)，对每一个高分辨率图像的像素特征Y1i，i＝1,2,...,N，求得其与低分辨率图像的像素特征y1间的映射关系R1i，从而得到高分辨图像和低分辨率图像之间的像素特征映射关系R1＝{R1i},i＝1,2,...,N；
设定分块窗口尺寸大小和分块窗口滑动步长，对原始输入图像I进行分块，将得到的每个图像块的像素值表示为一个行向量，记为G1j,j＝1,2,...,n；所有图像块得到的向量集合用G1表示；
由于低分辨率图像y是原始输入图像I下采样后再插值放大得到的，因此原始输入图像I的第j个图像块的向量G1j与低分辨率图像y的像素特征集合中的第j个像素特征y1j是对应的；
在G1中取与低分辨率像素特征子集合S1'中像素特征具有相同位置的图像块向量，构成子集合G1'；对G1'中的图像块向量加权组合重建HI的第i个图像块向量HIi；
同理，依次重建图像HI的所有图像块向量，最后，将所有图像块向量表示为图像块的形式即得到HI。
6.如权利要求1所述的方法，其特征是，基于K邻近搜索算法对第一梯度特征和第二梯度特征进行处理，得到梯度特征映射关系R2；基于梯度特征映射关系R2对有效高频信息图像进行处理，得到初始重建图像HB，具体步骤为：
利用一阶梯度滤波器hf1＝[-1,0,1]、一阶梯度滤波器vf1＝[-1,0,1]T、二阶梯度滤波器hf2＝[1,0,-2,0,1]和二阶梯度滤波器vf2＝[1,0,-2,0,1]T提取图像的梯度特征；
将滤波器均应用到高分辨率图像Y提取高分辨率图像Y的梯度特征，得到高分辨率图像Y的梯度特征集合Y2；
将滤波器均应用到低分辨率图像y提取低分辨率图像图像y的梯度特征，得到低分辨率图像y的梯度特征集合y2；
Y2＝{Y21，Y22，...,Y2i,...，Y2N}；
y2＝{y21，y22，...,y2j,...，y2n}；
其中，i＝1,2,...,N,j＝1,2,...,n；
对于高分辨率图像Y的第i个梯度特征Y2i，在低分辨率图像y的梯度特征集合y2中，利用K邻近搜索算法进行全局搜索得相似梯度特征集合S2∈y2；
具体的，利用欧式距离计算Y2i与y2中各梯度特征的相似度，集合S2：
S2＝{y2j|||Y2i-y2j||＜ε2} (4)
其中，ε2是给定阈值，y2j是低分辨率图像的第j个梯度特征；
计算相似梯度特征集合S2中各梯度特征的权值ω2j：
利用相似梯度特征集合S2中的梯度特征加权组合来表示高分辨率图像的梯度特征；
通过优化目标函数E2，得到相似梯度特征集合S2中用于表示Y2i的低分辨率梯度特征子集合S2'；
S2'中的梯度特征及其权值与Y2i构成映射关系，记为R2i＝{(y2j,ω2j)|y2j∈S2'}；
利用公式(4)、(5)和(6)，对每一个高分辨率图像梯度特征Y2i，得到其与低分辨率图像梯度特征y2间的映射关系R2i，进而得到高分辨图像和低分辨率图像之间的梯度特征映射关系R2＝{R2i},i＝1,2,...,N，用于重建有效高频信息图像B'得HB；
设定分块窗口尺寸大小和分块窗口滑动步长，对有效高频信息图像B'进行分块，分块规则与原始输入图像I的分块规则相同；将得到的图像块表示为一个行向量T1j，所有图像块得到的向量集合用T1表示；
由于高频信息图像是原始输入图像I与低分辨率图像y的残差B，对B奇异值阈值化得到有效高频信息图像B'；所以，有效高频信息图像B'的第j个图像块的向量T1j与低分辨率图像的第j个梯度特征y2j是对应的；
在T1中取与低分辨率梯度特征子集合S2'对应位置的图像块向量，构成子集合T1'，对T1'中的图像块向量加权组合重建HB的第i个图像块向量HBi；
同理，依次重建图像HB的所有图像块向量，最后，将所有图像块向量表示为图像块的形式即得到HB。
7.如权利要求1所述的方法，其特征是，对初始重建图像HB和包含高频信息的放大图像HI对应位置的像素值进行分块叠加，得到结果图像HH的具体步骤为：
设置一个3×3的窗口，窗口的步长是1；窗口沿着初始重建图像HB的行每次滑动一格，窗口内图像块的所有像素点像素值设置为一个行向量；随着窗口在初始重建图像HB上滑动，窗口将初始重建图像HB划分为若干个行向量；
同理，窗口沿着包含高频信息的放大图像HI的行每次滑动一格，窗口内图像块的所有像素点像素值设置为一个行向量；随着窗口在包含高频信息的放大图像HI上滑动，窗口将包含高频信息的放大图像HI划分为若干个行向量；
分块叠加，就是初始重建图像HB与包含高频信息的放大图像HI的对应图像块的行向量进行叠加；
叠加后得到的每个行向量的和值即为结果图像HH的对应窗口的像素值，根据窗口的像素值，得到结果图像HH。
8.基于多特征学习的超分辨图像重建系统，其特征是，包括：
获取图像高频信息模块：对原始输入图像进行降采样处理得到中间图像；对中间图像进行插值放大处理得到低分辨率图像，对输入图像和低分辨率图像进行分块作差得到高频信息图像；对高频信息图像进行奇异值阈值化处理，去除高频信息图像的伪像素，得到有效高频信息图像；
高低分辨率图像的特征关系训练模块：对输入图像进行插值放大处理得到高分辨率图像；
从低分辨率图像中提取图像的第一梯度特征和第一像素特征；从高分辨率图像中提取图像的第二梯度特征和第二像素特征；
基于K邻近搜索算法对第一像素特征和第二像素特征进行处理，得到像素特征映射关系R1；基于像素特征映射关系R1对原始输入图像进行处理，得到包含高频信息的放大图像HI；
基于K邻近搜索算法对第一梯度特征和第二梯度特征进行处理，得到梯度特征映射关系R2；基于梯度特征映射关系R2对有效高频信息图像进行处理，得到初始重建图像HB；
分块叠加模块：对初始重建图像HB和包含高频信息的放大图像HI对应位置的像素值进行分块叠加，得到结果图像HH。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一方法所述的步骤。
10.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一方法所述的步骤。
CN201811469738.7A 2018-11-28 2018-11-28 基于多特征学习的超分辨图像重建方法及系统 Active CN109559278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811469738.7A CN109559278B (zh) 2018-11-28 2018-11-28 基于多特征学习的超分辨图像重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811469738.7A CN109559278B (zh) 2018-11-28 2018-11-28 基于多特征学习的超分辨图像重建方法及系统

Publications (2)

Publication Number Publication Date
CN109559278A CN109559278A (zh) 2019-04-02
CN109559278B true CN109559278B (zh) 2019-08-09

Family

ID=65868800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811469738.7A Active CN109559278B (zh) 2018-11-28 2018-11-28 基于多特征学习的超分辨图像重建方法及系统

Country Status (1)

Country Link
CN (1) CN109559278B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287805B (zh) * 2019-05-31 2021-02-09 东南大学 基于三流卷积神经网络的微表情识别方法及系统
CN110443768B (zh) * 2019-08-08 2023-05-12 齐鲁工业大学 基于多重一致性约束的单帧图像超分辨率重建方法
CN112348103B (zh) * 2020-11-16 2022-11-11 南开大学 图像块分类方法和装置及其超分辨重建方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090873A (zh) * 2017-12-20 2018-05-29 河北工业大学 基于回归模型的金字塔人脸图像超分辨率重建方法
CN108416821A (zh) * 2018-03-08 2018-08-17 山东财经大学 一种深度神经网络的ct图像超分辨重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090873A (zh) * 2017-12-20 2018-05-29 河北工业大学 基于回归模型的金字塔人脸图像超分辨率重建方法
CN108416821A (zh) * 2018-03-08 2018-08-17 山东财经大学 一种深度神经网络的ct图像超分辨重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Exploiting Self-similarities for Single Frame Super-Resolution;Chih-Yuan Yang 等;《Computer Vision–ACCV 2010》;20101112;第497-510页 *
Single image super-resolution via internal gradient similarity;Yang Xian 等;《J. Vis. Commun. Image R》;20151217;第91-102页 *
基于多尺度自相似性和非局部均值的单幅图像超分辨率方法;刘哲 等;《红外技术》;20170418;第39卷(第4期);第345-352页 *

Also Published As

Publication number Publication date
CN109559278A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Dong et al. Deep spatial–spectral representation learning for hyperspectral image denoising
CN111105352B (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
Dong et al. Laplacian pyramid dense network for hyperspectral pansharpening
CN108830796B (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
CN105046672B (zh) 一种图像超分辨率重建方法
CN110969577A (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
CN110111256B (zh) 基于残差蒸馏网络的图像超分辨重建方法
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN109559278B (zh) 基于多特征学习的超分辨图像重建方法及系统
CN109509160A (zh) 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
Xiao et al. A dual-UNet with multistage details injection for hyperspectral image fusion
CN105550989B (zh) 基于非局部高斯过程回归的图像超分辨方法
CN107341765A (zh) 一种基于卡通纹理分解的图像超分辨率重建方法
CN106251320A (zh) 基于联合稀疏与结构字典的遥感图像融合方法
CN104063856B (zh) 一种快速超分辨率图像重建方法和装置
CN105631807A (zh) 基于稀疏域选取的单帧图像超分辨重建方法
CN106157244A (zh) 一种基于稀疏表示的QR Code图像超分辨重建方法
CN102915527A (zh) 基于形态学成分分析的人脸图像超分辨率重建方法
CN112837224A (zh) 一种基于卷积神经网络的超分辨率图像重建方法
CN104091320B (zh) 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法
CN104504672B (zh) 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
CN108416736A (zh) 一种基于二次锚点邻域回归的图像超分辨率重建方法
CN110349085A (zh) 一种基于生成对抗网络的单幅图像超分辨特征增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant