CN111028148B - 基于邻域回归与局部信息的图像重建方法 - Google Patents
基于邻域回归与局部信息的图像重建方法 Download PDFInfo
- Publication number
- CN111028148B CN111028148B CN201911170171.8A CN201911170171A CN111028148B CN 111028148 B CN111028148 B CN 111028148B CN 201911170171 A CN201911170171 A CN 201911170171A CN 111028148 B CN111028148 B CN 111028148B
- Authority
- CN
- China
- Prior art keywords
- resolution
- patch
- low
- sub
- patch block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims description 9
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于邻域回归与局部信息的图像重建方法。从图像上采集补丁块,设计一个搜索窗口,在补丁块上提取子补丁块。根据子补丁块的结构信息,利用结构相似对子补丁块聚类。将补丁块依照其子补丁块的聚类标签集合在一类中构建新的样本类。针对构建的样本类,分别训练过完备的联合字典。在相应的样本类中确定每个低分辨率字典原子的若干近邻样本,运用最小二乘算法计算低分辨率补丁块与高分辨率补丁块之间的映射关系。每个补丁块对应多个映射关系,这些映射关系的加权和,即为最终的高分辨补丁块,再按照像素位置索引进行整合即可得重建图像。本发明能够有效地避免图像复杂纹理和结构的损失,重建出包含更多细节的高分辨率图像。
Description
技术领域
本发明属于图像处理技术领域,特别涉及一种基于邻域回归与局部信息的图像重建方法。
背景技术
图像超分辨率重建是图像处理领域中的一个重要内容,在遥感、监控、医疗等领域有着广泛的应用。由于采样设备、采样环境、信号传输等因素的影响,获取的图像通常是退化的。为了改善这些退化图像的质量,迄今许多研究学者提出了许多图像超分辨率重建方法。但是,现存的这些方法在重建效果上仍然存在不足,具备相当大的提升空间。
目前,关于图像超分辨率重建算法主要有几个大类:基于插值的重建、基于统计模型的重建、基于样本学习的重建。最早的基于插值的重建算法例如双三次插值虽然十分快捷,但重建图像的视觉效果并不能满足应用的需求,仍然存在较严重的模糊。2008年,Yang等人在压缩感知的基础上提出了基于稀疏表示的重建算法。该算法利用外部样本学习过完备的字典,提高了图像超分辨率重建的效果。但对于纹理和结构复杂的图像,不能很好地重建出图像细节,而且l1范数的求解过程计算复杂度相对较高。在Yang的研究成果的基础上,基于协同表示和回归模型的重建算法得到了广泛的研究。这些算法虽然提高了模型求解的效率,但仍然忽视了图像本身的结构信息。随着人工神经网络的发展,2014年Dong等人提出了基于卷积神经网络的图像超分辨率重建算法。该算法利用多个卷积核提取图像的特征,并运用误差逆向传播算法训练相关参数。相较于基于稀疏表示、基于协同表示和基于回归等其他样本学习的重建算法,基于卷积神经网络的算法取得了显著的效果。然而,卷积神经网络的学习需要数量庞大的的学习样本,在学习样本数量不够多时,一些其他算法可以取得的重建效果,卷积神经网络却达不到。且对训练时间和空间的需求都相对较高,对程序运行的硬件设备也有较高的要求,例如GPU,执行的经济成本较大。
发明内容
有鉴于此,本发明提供了一种图像细节重建效果好、执行成本低的基于邻域回归与局部信息的图像重建方法。
为了实现上述目的,本发明提供了以下技术解决方案:基于邻域回归与局部信息的图像重建方法,包括以下步骤:先根据图像补丁块的局部结构信息,对图像特征进行聚类,然后针对每一类特征样本训练过完备字典,利用回归模型和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系。
可选的,更具体的步骤如下:
a、确定图像重建放大倍数r,将训练集中的低分辨率和高分辨率图像对按照重叠系数v分为大小为p×p的补丁块。设定搜索窗口q×q和搜索步长s,在低分辨率补丁块上提取大小q×q的子补丁块;
b、设定特征提取算子,分别提取低分辨率补丁块、低分辨率子补丁块和高分辨率补丁块的特征,并根据局部结构相似信息对子补丁块进行聚类,按照子补丁块的聚类标签对补丁块进行划分,构建新的子样本对集合;
c、根据步骤b得到的新的子样本对集合,分别训练过完备的联合字典;在字典对应的子样本集中,针对每个低分辨率字典原子寻找md个与其最近邻的样本,运用近邻回归方法计算低分辨率与高分辨率特征之间的映射关系;
d、根据低分辨率补丁块的子补丁块对应的聚类标签,每个低分辨率补丁块对应多个映射关系,其加权和即为重建的高分辨率补丁块特征。
可选的,所述步骤b中,低分辨率特征提取算子为水平方向和垂直方向的一阶微分和二阶微分算子,对低分辨率补丁块及其子补丁块分别进行卷积操作,将四个微分算子提取的特征补丁块及特征子补丁块写成向量形式,并利用主成分分析去除数据中的冗余信息,对提取的子补丁块特征进行降维;高分辨率特征提取是从高分辨率补丁块中去除相应的低频信息;
对降维后的低分辨率子补丁块特征按照欧式距离进行聚类,聚类方法为K-means算法,聚类中心个数为256;记录每个子补丁块特征的聚类标签,按照聚类标签,将相应的低分辨率补丁特征和高分辨率补丁特征分类,构建新的训练样本子集。
可选的,所述步骤c中,利用K-SVD算法来学习每一类样本集合对应的过完备联合字典,字典大小为1024,每个低分辨率字典原子对应的最近邻样本个数为;
利用近邻回归和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系的公式为:
可选的,所述步骤d中,利用本方法估计的高分辨率补丁块特征为:
其中u表示低分辨率子补丁块在其低分辨率补丁块上的位置索引,y表示降维的低分辨率补丁块特征,ωu表示权值,其取值为:
其中ys表示降维的低分辨率子补丁块特征,c表示聚类中心,k表示聚类标签索引,h是一个先验系数,通常取值为1。
与现有技术相比,本发明的有益效果在于:
先根据图像补丁块的局部结构信息,对图像特征进行聚类,然后针对每一类特征样本训练过完备字典,利用回归模型和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系。利用图像补丁块的局部结构信息而非补丁块本身,对提取的图像特征进行聚类,对于包含不同局部结构信息的样本类,更有针对性的学习低分辨率和高分辨率字典和映射关系。背景技术中提及的算法没有考虑图像本身的局部结构相似信息。而本发明则考虑通过先提取图像补丁块的子补丁块,对补丁块的局部结构特征进行聚类,以此增强图像补丁块的局部信息表示,使得图像超分辨率重建过程能够包含更多复杂结构和纹理,重建出细节丰富的高分辨率图像。本发明运用图像补丁块的重建学习,同时有效重建出了图像较多的细节信息。
附图说明
图1构建子样本集的流程示意图;
图2学习映射关系的流程示意图;
图3a放大倍数为2时的低分辨率图像;
图3b放大倍数为2时本发明重建的高分辨率图像;
图4a放大倍数为3时的低分辨率图像;
图4b放大倍数为3时本发明重建的高分辨率图像;
图5为本发明超分辨率图像重建算法总体流程示意图;
具体实施方式
本发明基于图像补丁块的局部特征,从低分辨率图像补丁块上先提取子补丁块,然后根据结构相似信息对子补丁块特征进行聚类。根据子补丁块特征的聚类标签,对低分辨率和高分辨率补丁块特征进行类别划分。针对包含不同局部结构信息的样本类的集合,分别训练过完备的联合字典。在每一个样本类集合中,寻找每个低分辨率字典原子的若干个最近邻的低分辨率补丁块特征样本,并整合与其对应的高分辨率补丁块特征样本,利用回归模型和最小二乘方法计算低分辨率补丁块特征和高分辨率补丁块特征之间的映射关系。最后通过求每个低分辨率补丁块特征对应的映射关系的加权和,即可得出重建的高分辨率补丁块特征。根据高分辨率补丁块特征在高分辨率图像中的像素位置索引,即可得到最终重建的高分辨率图像。
本发明的基本思路为:
首先,将训练集图像对分割为小的补丁块,在低分辨率补丁块上提取子补丁块,并分别提取各补丁块和子补丁块的特征;
其次,对提取的低分辨率子补丁块特征进行聚类,按照聚类标签,将相对应的低分辨率补丁块特征和高分辨率补丁块特征进行类别划分,构建包含不同局部结构信息的样本类;
再次,针对不同的样本类分别训练过完备字典,在相应样本集中寻找每个低分辨率字典原子的若干最近邻低分辨率补丁块特征,结合其对应的高分辨率补丁块特征,运用回归和最小二乘方法估计低分辨率与高分辨率之间的映射关系;
最后,根据每个低分辨率子补丁块特征对应的聚类标签,求出低分辨率补丁块特征对应的多个映射关系的加权和,重建出高分辨率补丁块特征。
下面结合实施例对本发明进行进一步说明。
本发明提供一种图像超分辨率重建算法,包括如下步骤:
a、确定图像重建放大倍数r,将训练集中的低分辨率和高分辨率图像对按照重叠系数v分为大小为p×p的补丁块。设定搜索窗口q×q和搜索步长s,在低分辨率补丁块上提取大小q×q的子补丁块。
b、设定特征提取算子,分别提取低分辨率补丁块、低分辨率子补丁块和高分辨率补丁块的特征,并根据局部结构相似信息对子补丁块进行聚类,按照子补丁块的聚类标签对补丁块进行划分,构建新的子样本对集合。
其中,低分辨率特征提取算子为水平方向和垂直方向的一阶微分和二阶微分算子,对低分辨率补丁块及其子补丁块分别进行卷积操作,将四个微分算子提取的特征补丁块及特征子补丁块写成向量形式,并利用主成分分析(PCA)去除数据中的冗余信息,对提取的子补丁块特征进行降维。高分辨率特征提取是从高分辨率补丁块中去除相应的低频信息;
对降维后的低分辨率子补丁块特征按照欧式距离进行聚类,聚类方法为K-means算法,聚类中心个数为256。记录每个子补丁块特征的聚类标签,按照聚类标签,将相应的低分辨率补丁特征和高分辨率补丁特征分类,构建新的训练样本子集。
训练样本子集的构建过程如图1所示。
c、根据步骤b得到的新的子样本对集合,分别训练过完备的联合字典。在字典对应的子样本集中,针对每个低分辨率字典原子寻找md个与其最近邻的样本,运用近邻回归方法计算低分辨率与高分辨率特征之间的映射关系。
其中,训练过完备联合字典的方法为K-SVD算法,字典大小为1024,每个低分辨率字典原子对应的最近邻样本个数为md=2048,利用近邻回归和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系的公式为:
估算映射关系的过程如图2所示。
d、根据低分辨率补丁块的子补丁块对应的聚类标签,每个低分辨率补丁块对应多个映射关系,其加权和即为重建的高分辨率补丁块特征。
其具体公式表示为:
其中u表示低分辨率子补丁块在其低分辨率补丁块上的位置索引,y表示降维的低分辨率补丁块特征,ωu表示权值,其取值为:
其中ys表示降维的低分辨率子补丁块特征,c表示聚类中心,k表示聚类标签索引,h是一个先验系数,通常取值为1。
如图3a所示,是放大倍数为2时的低分辨率图像,图3b所示,是用本发明重建的高分辨率图像。图4a所示,是放大倍数为3时的低分辨率图像,图4b所示,是用本发明重建的高分辨率图像。
虽然以上将实施例分开说明和阐述,但涉及部分共通之技术,在本领域普通技术人员看来,可以在实施例之间进行替换和整合,涉及其中一个实施例未明确记载的内容,则可参考有记载的另一个实施例。
以上所述的实施方式,并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等,均应包含在该技术方案的保护范围之内。
Claims (5)
1.一种基于邻域回归与局部信息的图像重建方法,其特征在于:包括如下步骤:
先根据图像补丁块的局部结构信息,对图像特征进行聚类,然后针对每一类特征样本训练过完备字典,利用回归模型和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系;
更具体的步骤如下:
a、确定图像重建放大倍数r,将训练集中的低分辨率和高分辨率图像对按照重叠系数v分为大小为p×p的补丁块;设定搜索窗口q×q和搜索步长s,在低分辨率补丁块上提取大小q×q的子补丁块;
b、设定特征提取算子,分别提取低分辨率补丁块、低分辨率子补丁块和高分辨率补丁块的特征,并根据局部结构相似信息对子补丁块进行聚类,按照子补丁块的聚类标签对补丁块进行划分,构建新的子样本对集合;
c、根据步骤b得到的新的子样本对集合,分别训练过完备的联合字典;在字典对应的子样本集中,针对每个低分辨率字典原子寻找md个与其最近邻的样本,运用近邻回归方法计算低分辨率与高分辨率特征之间的映射关系;
d、根据低分辨率补丁块的子补丁块对应的聚类标签,每个低分辨率补丁块对应多个映射关系,其加权和即为重建的高分辨率补丁块特征。
3.根据权利要求1所述的基于邻域回归与局部信息的图像重建方法,其特征在于:所述步骤b中,低分辨率特征提取算子为水平方向和垂直方向的一阶微分和二阶微分算子,对低分辨率补丁块及其子补丁块分别进行卷积操作,将四个微分算子提取的特征补丁块及特征子补丁块写成向量形式,并利用主成分分析去除数据中的冗余信息,对提取的子补丁块特征进行降维;高分辨率特征提取是从高分辨率补丁块中去除相应的低频信息;
对降维后的低分辨率子补丁块特征按照欧式距离进行聚类,聚类方法为K-means算法,聚类中心个数为256;记录每个子补丁块特征的聚类标签,按照聚类标签,将相应的低分辨率补丁特征和高分辨率补丁特征分类,构建新的训练样本子集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911170171.8A CN111028148B (zh) | 2019-11-26 | 2019-11-26 | 基于邻域回归与局部信息的图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911170171.8A CN111028148B (zh) | 2019-11-26 | 2019-11-26 | 基于邻域回归与局部信息的图像重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111028148A CN111028148A (zh) | 2020-04-17 |
CN111028148B true CN111028148B (zh) | 2023-04-18 |
Family
ID=70202147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911170171.8A Active CN111028148B (zh) | 2019-11-26 | 2019-11-26 | 基于邻域回归与局部信息的图像重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111028148B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014174087A1 (en) * | 2013-04-25 | 2014-10-30 | Thomson Licensing | Method and device for performing super-resolution on an input image |
CN106934766A (zh) * | 2017-03-15 | 2017-07-07 | 西安理工大学 | 一种基于稀疏表示的红外图像超分辨率重建方法 |
CN107341776A (zh) * | 2017-06-21 | 2017-11-10 | 北京工业大学 | 基于稀疏编码与组合映射的单帧超分辨率重建方法 |
-
2019
- 2019-11-26 CN CN201911170171.8A patent/CN111028148B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014174087A1 (en) * | 2013-04-25 | 2014-10-30 | Thomson Licensing | Method and device for performing super-resolution on an input image |
CN106934766A (zh) * | 2017-03-15 | 2017-07-07 | 西安理工大学 | 一种基于稀疏表示的红外图像超分辨率重建方法 |
CN107341776A (zh) * | 2017-06-21 | 2017-11-10 | 北京工业大学 | 基于稀疏编码与组合映射的单帧超分辨率重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111028148A (zh) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
CN109102469B (zh) | 一种基于卷积神经网络的遥感图像全色锐化方法 | |
CN103077505B (zh) | 基于字典学习和结构聚类的图像超分辨率重建方法 | |
CN106920214B (zh) | 空间目标图像超分辨率重建方法 | |
CN109389585B (zh) | 一种基于全卷积神经网络的脑组织提取方法 | |
CN108257093B (zh) | 基于可控核与高斯过程回归的单帧图像超分辨方法 | |
CN106097253A (zh) | 一种基于块旋转和清晰度的单幅图像超分辨率重建方法 | |
CN111127354A (zh) | 一种基于多尺度字典学习的单图像去雨方法 | |
CN111402138A (zh) | 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法 | |
CN109002771B (zh) | 一种基于递归神经网络的遥感图像分类方法 | |
CN107680037A (zh) | 改进的基于最近特征线流形学习的人脸超分辨率重建方法 | |
CN113689370A (zh) | 基于深度卷积神经网络的遥感图像融合方法 | |
CN107292821B (zh) | 一种超分辨率图像重建方法及系统 | |
Liu et al. | Image super-resolution via hierarchical and collaborative sparse representation | |
CN111681168B (zh) | 一种基于并行残差网络的低分辨率细胞超分辨率重建方法 | |
CN117892059A (zh) | 一种基于多模态图像融合与ResNetXt-50的电能质量扰动识别方法 | |
CN109712073A (zh) | 一种基于高斯过程回归的图像超分辨率重建方法 | |
CN109241981A (zh) | 一种基于稀疏编码的特征检测方法 | |
CN111028148B (zh) | 基于邻域回归与局部信息的图像重建方法 | |
CN115880157A (zh) | 一种k空间金字塔特征融合的立体图像超分辨率重建方法 | |
CN114240958B (zh) | 一种应用于病理学组织分割的对比学习方法 | |
CN114757825A (zh) | 基于特征分离的红外图像超分辨率重建方法及装置 | |
CN114862871A (zh) | 一种基于SE-UNet深度学习网络的遥感影像小麦种植区域提取方法 | |
Wang et al. | Lightweight non-local network for image super-resolution | |
CN117612024B (zh) | 一种基于多尺度注意力的遥感图像屋顶识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |