CN107705271A - 一种基于混合样本和稀疏表示的图像超分辨率方法 - Google Patents

一种基于混合样本和稀疏表示的图像超分辨率方法 Download PDF

Info

Publication number
CN107705271A
CN107705271A CN201711060969.8A CN201711060969A CN107705271A CN 107705271 A CN107705271 A CN 107705271A CN 201711060969 A CN201711060969 A CN 201711060969A CN 107705271 A CN107705271 A CN 107705271A
Authority
CN
China
Prior art keywords
msub
image
mixing sample
dictionary
rarefaction representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711060969.8A
Other languages
English (en)
Other versions
CN107705271B (zh
Inventor
刘微容
史长宏
刘婕
刘朝荣
伍海龙
赵俊齐
李斌山
宋旭辉
高慧玲
赵正天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN201711060969.8A priority Critical patent/CN107705271B/zh
Publication of CN107705271A publication Critical patent/CN107705271A/zh
Application granted granted Critical
Publication of CN107705271B publication Critical patent/CN107705271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

一种基于混合样本和稀疏表示的图像超分辨率方法，其步骤为：(1)利用输入图像构建图像金字塔，并从中提取内部样本；(2)从外部图像中提取外部样本；(3)将步骤(1)中的内部样本聚类，根据不同的类中心，选择步骤2)中与内部样本相似的外部样本并将其添加到各个类中，从而得到分类的混合样本。(4)采用K‑SVD字典训练方法，对步骤(3)中每一类混合样本进行训练，得到分类字典。(5)选择与每一个输入图像块最相似的字典，利用正交匹配追踪算法将每个输入图像块在与其最相似的字典上稀疏表示，得到的稀疏系数用于重建，得到高分图像。

Description

一种基于混合样本和稀疏表示的图像超分辨率方法
技术领域
本发明涉及图像超分辨率方法，更具体的是基于混合样本和稀疏表示的图像超分辨率方法。
背景技术
图像超分辨率是指利用信号处理和图像处理的方法，通过软件算法的方式将已有的低分辨率图像转换成高分辨率图像的技术。它在视频监控、图像打印、刑侦分析、医学图像处理、卫星成像等领域有较广泛的应用。
目前，主流的图像超分辨率算法可分为基于外部样本的图像超分辨率算法和基于内部样本的图像超分辨率算法。基于外部样本的超分辨率算法利用大量的外部样本进行字典训练，由于外部样本包含丰富的特征，所以重建结果具有比较丰富的细节信息。但是大量的外部样本并不包含与低分输入图像完全相同的信息，所以重建结果的边缘会呈现明显的锯齿状。基于内部样本的超分辨率算法仅利用低分输入图像本身以及它的不同尺度图像产生训练样本，对于低分输入图像来说，此类样本虽具有很强的针对性，但是样本数量有限，缺少外部样本具有的丰富性，因此，此类方法经常导致重建效果失真。
发明内容
本发明的目的是提供一种结合上述两种方法的基于混合样本和稀疏表示的图像超分辨率方法。
本发明是一种基于混合样本和稀疏表示的图像超分辨率方法，其步骤为：
(1)利用输入图像构建图像金字塔，并从中提取内部样本；
(2)从外部图像中提取外部样本；
(3)将步骤(1)中的内部样本聚类，根据不同的类中心，选择步骤2)中与内部样本相似的外部样本并将其添加到各个类中，从而得到分类的混合样本。
(4)采用K-SVD字典训练方法，对步骤(3)中每一类混合样本进行训练，得到分类字典。
(5)选择与每一个输入图像块最相似的字典，利用正交匹配追踪算法将每个输入图像块在与其最相似的字典上稀疏表示，得到的稀疏系数用于重建，得到高分图像。
本发明的有益之处是：本算法通过自样本聚类并根据不同的类中心选择相应的外部样本，从而生成丰富且具有针对性的混合样本，使得训练的分类字典能够更准确地表达输入图像。重建时，计算每个输入图像块和不同类中心之间的距离，自适应地选择相应的分类字典并在所选择的字典上稀疏编码。本发明在有效减少了锯齿效应的同时，使得重建的高分变率图像边缘比较锐利，有效去除了视觉伪影，并保留了大量的细节信息，提高了重建图像的质量，具有非常重要的实际应用价值。
附图说明
图1为本发明的基于混合样本和稀疏表示的图像超分辨率方法示意图，图2-图11为不同的超分辨率方法的结果比较。
具体实施方式
本发明是一种基于混合样本和稀疏表示的图像超分辨率方法，其步骤为：
(1)利用输入图像构建图像金字塔，并从中提取内部样本；
(2)从外部图像中提取外部样本；
(3)将步骤(1)中的内部样本聚类，根据不同的类中心，选择步骤2)中与内部样本相似的外部样本并将其添加到各个类中，从而得到分类的混合样本。
(4)采用K-SVD字典训练方法，对步骤(3)中每一类混合样本进行训练，得到分类字典。
(5)选择与每一个输入图像块最相似的字典，利用正交匹配追踪算法将每个输入图像块在与其最相似的字典上稀疏表示，得到的稀疏系数用于重建，得到高分图像。
以上所述的步骤(1)利用图像金字塔的输入层和最高层提取内部样本，并采用最大重叠率进行提取。
以上所述的步骤(3)用内部样本类中心和外部样本之间的欧氏距离衡量其相似度。
以上所述的步骤(3)采用K-means算法进行聚类，聚类个数取为20。
以上所述的步骤(5)通过计算输入图像块与类中心的欧式距离选择字典。
以上所述的步骤(4)中分类字典的计算公式为：
其中，Dk是第k类子字典，Mk是第k类混合样本，Ak是Mk对应的稀疏系数。
图1为本发明的基于混合样本和稀疏表示的图像超分辨率方法示意图。输入为低分图像，输出为高分图像。如图1所示，本发明各部分具体实施步骤如下：
阶段1分别利用输入低分图像和外部图像生成内部样本和外部样本，再将二者结合得到混合样本。
混合样本生成的过程具体分为以下三步：
1)生成内部样本。利用低分图像xl(本步骤中用I0表示)像构建图像金字塔，In是图像金字塔中最高层，其尺寸是I0尺寸的s倍。将I0以放大倍数s进行双三次方(Bi-cubic)插值，得到I。从In和I的相对应位置中提取高低分样本块对，其中，低分样本块由四个高通滤波器 滤波。同时，对于高分图像块，减去其块均值，从而得到内部训练集
2)生成外部样本。给出若干高清晰图像，对其进行模糊和降采样操作，得到与之对应的低分辨率图像。为了降低计算复杂度，将所得低分辨率图像进行插值，使得所得到的图像与高分图像具有相同的尺寸，并将其作为最终的低分辨率图像。同步骤1)，从高低分辨率图像中的相对应位置提取高低分样本块对，其中，低分样本块由四个高通滤波器滤波。同时，对于高分图像块，减去其块均值，从而得到外部训练集
3)混合样本选择。混合样本可由下式直观的表示
其中，表示c类混合样本。利用K-means算法将内部样本分为K类{C1,C2,...,CK}，其中，每一类的类中心用uk表示，k＝1,2,...K。由于内部样本的限制条件，仅利用内部样本作为训练样本是不充分的，因此，本发明向每一类内部样本中添加外部样本以丰富训练集。公式(3)是为每类内部样本选择相似外部样本的原则：
完成此步骤后，即得到K类具有不同模式的混合样本{M1,M2,...,MK}并将这些混合样本作为最终的训练集。
阶段2对每类混合样本进行训练。
利用K-SVD算法对每类混合样本进行训练得到k个分类字典，公式如下：
其中，Dk表示第k类子字典，Mk是第k类混合样本，Ak是相对于Mk的稀疏系数矩阵。
阶段3是对低分图像的重建。
首先，如阶段1)所述，以放大倍数s对输入图像进行双三次方(Bi-cubic)插值并提取图像块，得到由输入图像块组成的向量集合本发明为集合中的每一个向量选择与其最相似的分类字典，公式如下：
其次，应用正交匹配追踪(OMP)算法对中每一个向量在其相应的字典上稀疏编码，得到稀疏系数Ak＝{qm}，稀疏系数qm乘以相应的高分辨率字典得到高分辨率图像块，将所得高分辨率图像块放置图像中相应位置并将重叠块加权平均得到最终的高分图像。
本发明所提出的方法与现有的三种图像超分辨率方法进行了比较。图2、图7为是原始图像，图3、图8为使用双三次方插值(Bi-cubic)方法获得的图像，图4、图9是利用外部样本作为训练集的方法得到的结果图像，图5、图10是采用内部样本作为训练集的方法得到的结果，图6、图11为采用本发明超分辨率后获得的图像。可以看出本发明能较好地重建出高分图像，使得图像边缘更加清晰，细节更加丰富；但利用外部样本作为训练集的方法得到的图像边缘具有明显的锯齿状，另外，采用内部样本作为训练集的方法使得重建图像存在大量视觉伪影。

Claims (6)

1.一种基于混合样本和稀疏表示的图像超分辨率方法，其特征在于，其步骤为：
(1)利用输入图像构建图像金字塔，并从中提取内部样本；
(2)从外部图像中提取外部样本；
(3)将步骤(1)中的内部样本聚类，根据不同的类中心，选择步骤2)中与内部样本相似的外部样本并将其添加到各个类中，从而得到分类的混合样本。
(4)采用K-SVD字典训练方法，对步骤(3)中每一类混合样本进行训练，得到分类字典。
(5)选择与每一个输入图像块最相似的字典，利用正交匹配追踪算法将每个输入图像块在与其最相似的字典上稀疏表示，得到的稀疏系数用于重建，得到高分图像。
2.根据权利要求1所述的基于混合样本和稀疏表示的图像超分辨率方法，其特征在于，所述的步骤(1)利用图像金字塔的输入层和最高层提取内部样本，并采用最大重叠率进行提取。
3.根据权利要求1所述的基于混合样本和稀疏表示的图像超分辨率方法，其特征在于，所述的步骤(3)用内部样本类中心和外部样本之间的欧氏距离衡量其相似度。
4.根据权利要求1所述的基于混合样本和稀疏表示的图像超分辨率方法，其特征在于，所述的步骤(3)采用K-means算法进行聚类，聚类个数取为20。
5.根据权利要求1所述的基于混合样本和稀疏表示的图像超分辨率方法，其特征在于，所述的步骤(5)通过计算输入图像块与类中心的欧式距离选择字典。
6.根据权利要求1所述的基于混合样本和稀疏表示的图像超分辨率方法，其特征在于，所述的步骤(4)中分类字典的计算公式为：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>D</mi> <mi>k</mi> </msub> <mo>=</mo> <munder> <mi>argmin</mi> <msub> <mi>D</mi> <mi>k</mi> </msub> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>M</mi> <mi>k</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>k</mi> </msub> <msub> <mi>A</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mi>F</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <mi>r</mi> <mi>a</mi> <mi>n</mi> <mi>k</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>A</mi> <mi>k</mi> </msub> <mo>|</mo> <mo>|</mo> <mo>&amp;le;</mo> <mi>L</mi> </mrow> </mtd> <mtd> <mrow> <mo>&amp;ForAll;</mo> <mi>k</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，Dk是第k类子字典，Mk是第k类混合样本，Ak是Mk对应的稀疏系数。
CN201711060969.8A 2017-11-02 2017-11-02 一种基于混合样本和稀疏表示的图像超分辨率方法 Active CN107705271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711060969.8A CN107705271B (zh) 2017-11-02 2017-11-02 一种基于混合样本和稀疏表示的图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711060969.8A CN107705271B (zh) 2017-11-02 2017-11-02 一种基于混合样本和稀疏表示的图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN107705271A true CN107705271A (zh) 2018-02-16
CN107705271B CN107705271B (zh) 2021-04-02

Family

ID=61177549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711060969.8A Active CN107705271B (zh) 2017-11-02 2017-11-02 一种基于混合样本和稀疏表示的图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN107705271B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556690A (zh) * 2009-05-14 2009-10-14 复旦大学 基于词典学习和稀疏表示的超分辨率算法
CN103366347A (zh) * 2013-07-16 2013-10-23 苏州新视线文化科技发展有限公司 基于稀疏表示的图像超分辨率重建方法
CN104103052A (zh) * 2013-04-11 2014-10-15 北京大学 一种基于稀疏表示的图像超分辨率重建方法
CN104778671A (zh) * 2015-04-21 2015-07-15 重庆大学 一种基于sae和稀疏表示的图像超分辨率方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556690A (zh) * 2009-05-14 2009-10-14 复旦大学 基于词典学习和稀疏表示的超分辨率算法
CN104103052A (zh) * 2013-04-11 2014-10-15 北京大学 一种基于稀疏表示的图像超分辨率重建方法
CN103366347A (zh) * 2013-07-16 2013-10-23 苏州新视线文化科技发展有限公司 基于稀疏表示的图像超分辨率重建方法
CN104778671A (zh) * 2015-04-21 2015-07-15 重庆大学 一种基于sae和稀疏表示的图像超分辨率方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANG C Y: "Exploiting self-similarities for single frame super-resolution", 《ASIAN CONFERENCE ON COMPUTER VISION》 *
季佩媛: "基于双字典学习的图像及视频超分辨重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
贾云霞: "基于稀疏表示的图像超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN107705271B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
Anwar et al. Densely residual laplacian super-resolution
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN103871041B (zh) 基于认知正则化参数构建的图像超分辨率重构方法
US10339633B2 (en) Method and device for super-resolution image reconstruction based on dictionary matching
CN103049885B (zh) 一种利用分析性稀疏表示的超分辨率图像重建方法
CN106952228A (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN103824272B (zh) 基于k近邻重识别的人脸超分辨率重建方法
CN106339984B (zh) 基于k均值驱动卷积神经网络的分布式图像超分辨方法
CN105976318A (zh) 一种图像超分辨率重建方法
CN109389552A (zh) 一种基于上下文相关多任务深度学习的图像超分辨算法
CN104899830B (zh) 一种图像超分辨方法
US10769758B2 (en) Resolving method and system based on deep learning
CN110889852A (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN106485656B (zh) 一种图像超分辨率重构的方法
Peyrard et al. ICDAR2015 competition on text image super-resolution
CN103903236B (zh) 人脸图像超分辨率重建的方法和装置
CN106097253B (zh) 一种基于块旋转和清晰度的单幅图像超分辨率重建方法
CN107133933B (zh) 基于卷积神经网络的乳腺x线图像增强方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN105654425A (zh) 一种应用于医学x光图像的单幅图像超分辨率重建方法
CN104036468A (zh) 基于预放大非负邻域嵌入的单帧图像超分辨重建方法
CN104680502B (zh) 基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法
CN104992407B (zh) 一种图像超分辨方法
CN115439329A (zh) 人脸图像超分辨率重建方法及计算机可读取的存储介质
WO2020001046A1 (zh) 一种基于自适应层次化运动建模的视频预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant