CN107341765B - 一种基于卡通纹理分解的图像超分辨率重建方法 - Google Patents
一种基于卡通纹理分解的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN107341765B CN107341765B CN201710314024.8A CN201710314024A CN107341765B CN 107341765 B CN107341765 B CN 107341765B CN 201710314024 A CN201710314024 A CN 201710314024A CN 107341765 B CN107341765 B CN 107341765B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- texture
- cartoon
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 75
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 35
- 238000005070 sampling Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 8
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 4
- 241000287196 Asthenes Species 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
Abstract
本发明公开了一种基于卡通纹理分解的图像超分辨率重建方法,包括离线训练过程和在线测试过程,离线训练过程包括高低分辨率纹理字典对的训练和离线纹理锚点映射,在线测试过程,将低分辨率输入图像进行卡通和纹理分解;基于改进的全变分正则化方法重建出低分辨率卡通图像对应的高分辨率卡通图像;通过改进的基于外部训练样本纹理锚点映射矩阵的超分辨率方法重建出低分辨率纹理图像对应的高分辨率纹理图像;将重建出的卡通图像与纹理图像进行相加从而输出想要得到的高分辨率图像;同时具有这两种算法的优点,既具有较好的去噪能力和较强的边缘保持能力,又具有良好的适应性和鲁棒性。
Description
【技术领域】
本发明属于图像处理领域,具体涉及一种基于卡通纹理分解的图像超分辨率重建方法。
【背景技术】
随着数字图像处理技术的不断深入发展,人们对高分辨率图像与视频的要求与日俱增,为了满足人们的需求,基于单帧图像的超分辨率重建技术就诞生了。图像超分辨率重建是将低分辨率图像恢复成高分辨率图像,这一问题一直以来都是图像领域界研究学者们探究的重要课题。目前,图像超分辨率重建被广泛应用于视频监控、卫星遥感成像、医学图像等各个领域。
已有的单帧图像超分辨技术大致可以分为三类:基于插值的方法,基于重建的方法和基于示例学习的方法。基于插值的方法被看作是超分辨率方法中最为基础的一种方法。尽管理论上讲这些方法是高效的,但是在许多实践过程中重建图像的质量并不理想。基于重建的方法虽然能产生清晰的边缘并且能抑制人工痕迹的产生,但并没有为高分辨率图像的输出提供任何新的有用的细节,尤其是在高放大倍率的情况下。基于示例学习的方法优于基于重建的方法,但在重建过程中会产生模糊效应,使低分辨率图像块不利于与实际图像块进行匹配,从而降低了重建图像的质量。
目前较流行的一种图像超分辨率方法是改进的邻域锚点映射方法,该方法主要分为离线的样本库训练和在线的图像重构两部分。在训练过程中,对收集到的高分辨率图像进行下采样得到低分辨率图像;然后将低分辨率图像经双线性插值算法放大,将得到的双线性插值图像依次实施提取梯度特征、分块、降维操作得到具有低频信息的低分辨率块;而具有高频信息的预测插值图像则通过原始高分辨率图像减去低分辨率图像的双线性插值图像获得,然后将图像做分块处理,得到具有高频信息的高分辨率块。这样,在训练数据库中就存在着低分辨率块和与之对应的高分辨率块的样本对了。训练完样本对后,进行锚点映射操作。在这一训练过程中,首先计算每一个样本与每一个锚点的欧式距离,然后找锚点的最近邻样本完成锚点映射这一训练过程。这样,离线的训练过程也就完成了。
在训练样本对的过程中,该方法只是简单的对高分辨率图像进行处理。这样,在得到低分辨率图像过程中会产生模糊效应,使得所产生的低分辨率块与实际图像不匹配,存在多对一的情况。在锚点映射过程,该方法仅仅通过寻找锚点的最近邻样本来完成锚点映射这一训练过程。这样,所得到的映射矩阵与实际映射矩阵之间会产生较大误差。因此,这种方法往往会使重建出来的图像丢失细节、模糊边缘。
【发明内容】
针对现有技术的不足,发明的目的在于提供一种基于卡通纹理分解的图像超分辨率重建方法,既能有效地避免因噪声产生的纹理,同时又能有效地保持图像内容,使图像的结构更加明显。
为了达到上述目的,本发明采用如下技术方案:
一种基于卡通纹理分解的图像超分辨率重建方法,包括以下步骤:
S1:离线训练过程包括两个训练过程:第一个训练过程通过K-奇异值分解算法训练出高低分辨率纹理字典对;第二个训练过程通过离线纹理锚点映射,找出样本对应的最近锚点,还要找出锚点对应的最近样本,认为每一对字典原子为一个锚点,代表一种纹理类型;
S2:将低分辨率输入图像进行卡通纹理分解;
S3:基于改进的全变分正则化方法重建出低分辨率卡通图像对应的高分辨率卡通图像;
S4:通过改进的基于外部训练样本纹理锚点映射矩阵的超分辨率方法重建出低分辨率纹理图像对应的高分辨率纹理图像;
S5:将重建出的卡通图像与纹理图像进行相加输出要得到的高分辨率图像。
进一步,所述步骤S1具体包括以下步骤:
S11:收集高分辨率训练图像,然后对每一幅高分辨率训练图像进行卡通纹理分解,得到高分辨率训练纹理图像和高分辨率训练卡通图像,通过K-奇异值分解算法训练高低分辨率纹理字典对,并将训练结果存储在参数库中;
S12:对每一幅分解得到的高分辨率训练纹理图像实施如下步骤:
步骤(1)将高分辨率训练纹理图像切割成高和宽分别能被放大倍数整除的图像Y;
步骤(2)对图像Y进行采样得到低分辨率纹理图像Yl;然后通过双立方插值算法,将低分辨率纹理图像Yl进行图像放大,并将放大后的图像表示为Ym;
步骤(3)使用f1=[-1 0 1]对图像Ym进行卷积,得到图像Ym的一阶垂直梯度图像使用f2=[-1 0 1]T对图像Ym进行卷积,得到图像Ym的一阶水平梯度图像使用f3=[-1 0 2 0 -1]对图像Ym进行卷积,得到图像Ym的二阶垂直梯度图像使用f4=[-1 0 2 0 -1]T对图像Ym进行卷积,得到图像Ym的二阶水平梯度图像将分别分为N个图像块,将对应位置的图像块都变成列向量,再将四个列向量连接为一个列向量,并通过主成分分析算法来完成这些向量的降维,记这些向量为低频特征向量其中,N表示训练样本的数目;
步骤(4)将高分辨率图像Y与放大后的图像Ym进行减法操作,得到具有高频信息的图像Yh,数学公式如式(1)所示:
Y-Ym=Yh (1)
步骤(5)对每一个训练样本和每一个锚点分别进行标号;
步骤(6)计算每一个样本与第α个锚点的欧式距离,其中,α=1,2,3···M,M表示锚点的个数,将距离按从小到大的顺序进行排序,然后按此顺序将样本进行排序并记录其标号;将前n个样本号码按顺序分别记为α1,α2···αn,将锚点α对应的与其最近的n个样本号码形成的集合记为Ωα,则得到Ωα={αw|w=1,2,3···n};
步骤(8)计算每一个锚点与样本αw的欧式距离,将距离按从小到大的顺序进行排序,然后按此顺序将锚点进行排序并记录其标号,将前m个锚点号码形成的集合记为Γ,则得到样本αw对应的与其最近的m个锚点形成的集合即Γ;如果集合Γ中包括α,则将αw记入最终的第α个锚点的匹配样本号码集即重复该步骤直到确定所有Ωα中的样本是否能计入当确定中的所有样本号码之后,将这些号码对应的样本对记为将所有号码在中低分辨率特征样本合并为矩阵,记为合并的方法是将作为的每一列,将所有号码在中高分辨率特征样本合并为矩阵,记为将作为的每一列;重复操作步骤(7)和步骤(8),直到将M个锚点对应的样本集找完;
进一步,所述步骤S2具体步骤如下:
步骤(1)输入低分辨率测试图像;
步骤(3)设定一个纹理/卡通原子的阈值E;
步骤(4)将低分辨率字典A的第g个原子排成方阵Ag;
步骤(6)使用如下公式计算第g个原子对应的参数μg:
步骤(7)重复步骤(4)、(5)、(6)直到完成所有原子对应的参数μ的计算;
步骤(9)使用如下公式计算第g个原子对应的活性Qg;
步骤(10)判断第g个原子对应的活性Qg是否满足下列不等式:
Qg≤E (5)
如果满足则将该原子归属于卡通字典原子;如果不满足则将该原子归属于纹理字典原子。
步骤(11)通过以上步骤就将整体字典A分解为卡通字典Ac和纹理字典At;
步骤(12)通过下面的公式分别得到卡通字典Ac和纹理字典At所对应的稀疏表示系数;
其中,U表示测试图像,λ表示拉格朗日乘子,Ac表示卡通字典,At表示纹理字典,xc表示卡通部分对应的稀疏表示系数,xt表示纹理部分对应的稀疏表示系数。
步骤(13)通过下面的公式分别得到卡通图像Uc和纹理图像Ut;
进一步,所述步骤S3输入低分辨率卡通测试图像Uc,对图像Uc进行η次迭代,得到高分辨率卡通图像,具体迭代步骤如下:
步骤(7)当迭代次数小于10次时使用如下公式计算参数φJ:
当迭代次数大于10次时使用如下公式计算参数φJ:
步骤(10)高分辨率卡通图像的迭代公式为:
其中,J表示这次迭代的迭代次数,λ表示的是拉格朗日乘子,γ是一个正参数。
进一步,步骤S4包括以下步骤:
步骤(2)使用f1=[-1 0 1]对图像进行卷积,得到图像的一阶垂直梯度图像使用f2=[-1 0 1]T对图像进行卷积,得到图像的一阶水平梯度图像使用f3=[-1 0 2 0 -1]对图像进行卷积,得到图像的二阶垂直梯度图像使用f4=[-1 02 0 -1]T对图像进行卷积,得到图像的二阶水平梯度图像将分别分为M个图像块,将对应位置的图像块都变成列向量,再将四个列向量连接为一个列向量,并通过主成分分析算法来完成这些向量的降维,记这些向量为低频特征向量其中,R表示分块的数目;
Pi h,h=Λα×Pi l,t (19)
Pi h,h,t=Pi l,t+Pi h,h (20)
本发明一种基于卡通纹理分解的图像超分辨率重建方法,先将测试图像分解为卡通和纹理两部分,根据这两部分各自的特点分别采用改进的全变分正则化方法和改进的基于外部训练样本纹理锚点映射矩阵的超分辨率方法,这样可以将改进的全变分正则化方法和改进的基于外部训练样本纹理锚点映射矩阵的超分辨率方法有效结合,既具有较好的去噪能力和较强的边缘保持能力,又具有良好的适应性和鲁棒性。
【附图说明】
图1是本发明提出的一种基于卡通纹理分解的图像超分辨率重建方法的总体流程图;
图2测试图像分解为卡通与纹理这一步骤的算法的流程图;
图3训练过程中训练样本对这一过程的流程图;
图4本发明所使用的锚点映射方法的流程图;
图5本发明所使用的改进的全变分正则化方法的流程图;
图6是将测试图像分解为卡通与纹理的实验结果图;
图7是本发明所提方法的实验结果图;
图8是各种算法重建图像的峰值信噪比(PSNR)比较结果图;
【具体实施方式】
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面对本发明作进一步的详细说明。
如图1所示,本发明公开了一种基于卡通纹理分解的图像超分辨率重建方法,具体步骤如下:
S1:离线训练过程包括两个训练过程。第一个训练过程是通过K-奇异值分解算法训练出高低分辨率纹理字典对;第二个训练过程是离线纹理锚点映射,这一过程中的锚点映射方法与传统的锚点映射方法显著不同。本锚点映射方法不仅找样本对应的最近锚点,还要找锚点对应的最近样本,来完成锚点映射这一过程。认为每一对字典原子为一个锚点,代表一种纹理类型。
具体的实施步骤如下:
S11:收集大量的高分辨率训练图像,然后对每一幅高分辨率训练图像进行卡通纹理分解,得到高分辨率训练纹理图像和高分辨率训练卡通图像。本发明中所用的高分辨率训练图像是从网上下载得到的。通过K-奇异值分解算法训练高低分辨率纹理字典对,并将训练结果存储在参数库中。
如图3所示,S12:对每一幅分解得到的高分辨率训练纹理图像实施如下步骤:
步骤(1)将高分辨率训练纹理图像切割成高和宽分别能被放大倍数整除的图像Y。
步骤(2)对图像Y进行下采样操作得到低分辨率纹理图像Yl。然后通过双立方插值算法,将低分辨率纹理图像Yl进行图像放大,并将放大后的图像表示为Ym。
步骤(3)使用f1=[-1 0 1]对图像Ym进行卷积,得到图像Ym的一阶垂直梯度图像使用f2=[-1 0 1]T对图像Ym进行卷积,得到图像Ym的一阶水平梯度图像使用f3=[-1 0 2 0 -1]对图像Ym进行卷积,得到图像Ym的二阶垂直梯度图像使用f4=[-1 0 2 0 -1]T对图像Ym进行卷积,得到图像Ym的二阶水平梯度图像将分别分为N个图像块,将对应位置的图像块都变成列向量,再将四个列向量连接为一个列向量,并通过主成分分析算法来完成这些向量的降维,记这些向量为低频特征向量其中,N表示训练样本的数目。
步骤(4)将高分辨率图像Y与放大后的图像Ym进行减法操作,得到具有高频信息的图像Yh。数学公式如下所示。
Y-Ym=Yh (1)
如图4所示,步骤(5)对每一个训练样本和每一个锚点都分别进行标号。
步骤(6)计算每一个样本与第α个锚点的欧式距离(其中,α=1,2,3···M,M表示锚点的个数),将距离按从小到大的顺序进行排序,然后按此顺序将样本进行排序并记录其标号。将前n个样本号码按顺序分别记为α1,α2···αn,将锚点α对应的与其最近的n个样本号码形成的集合记为Ωα。则得到Ωα={αw|w=1,2,3···n}。
步骤(8)计算每一个锚点与样本αw的欧式距离,将距离按从小到大的顺序进行排序,然后按此顺序将锚点进行排序并记录其标号。将前m个锚点号码形成的集合记为Γ,则得到样本αw对应的与其最近的m个锚点形成的集合即Γ。如果集合Γ中包括α,则将αw记入最终的第α个锚点的匹配样本号码集即重复该步骤直到确定所有Ωα中的样本是否能计入当确定中的所有样本号码之后,将这些号码对应的样本对记为将所有号码在中低分辨率特征样本合并为矩阵,记为合并的方法是将作为的每一列。将所有号码在中高分辨率特征样本合并为矩阵,记为合并的方法是将作为的每一列。重复操作步骤(7)和步骤(8),直到将M个锚点对应的样本集找完。
S2:将低分辨率输入图像进行卡通纹理分解。
如图2所示,具体的实施步骤如下:
步骤(1)输入低分辨率测试图像。
步骤(3)设定一个纹理/卡通原子的阈值E。
步骤(4)将低分辨率字典A的第g个原子排成方阵Ag。
步骤(6)使用如下公式计算第g个原子对应的参数μg:
步骤(7)重复步骤(4)、(5)、(6)直到完成所有原子对应的参数μ的计算。
步骤(9)使用如下公式计算第g个原子对应的活性Qg。
步骤(10)判断第g个原子对应的活性Qg是否满足下列不等式:
Qg≤E (5)
如果满足则将该原子归属于卡通字典原子;如果不满足则将该原子归属于纹理字典原子。
步骤(11)通过以上步骤就可以将整体字典A分解为卡通字典Ac和纹理字典At。
步骤(12)通过下面的公式分别得到卡通字典Ac和纹理字典At所对应的稀疏表示系数。
其中,U表示测试图像,λ表示拉格朗日乘子,Ac表示卡通字典,At表示纹理字典,xc表示卡通部分对应的稀疏表示系数,xt表示纹理部分对应的稀疏表示系数。
步骤(13)通过下面的公式分别得到卡通图像Uc和纹理图像Ut。
S3:基于一种改进的全变分正则化方法重建出低分辨率卡通图像对应的高分辨率卡通图像。
对步骤S3进一步详细说明:输入低分辨率卡通测试图像Uc,对图像Uc进行η次迭代,得到高分辨率卡通图像。
如图5所示,第J步具体迭代步骤如下所示。
步骤(7)当迭代次数小于10次时使用如下公式计算参数φJ:
当迭代次数大于10次时使用如下公式计算参数φJ:
步骤(10)高分辨率卡通图像的迭代公式为:
其中,J表示这次迭代的迭代次数,λ表示的是拉格朗日乘子,γ是一个正参数。
S4:通过一种改进的基于外部训练样本纹理锚点映射矩阵的超分辨率方法重建出低分辨率纹理图像对应的高分辨率纹理图像。对步骤S4实施如下步骤:
步骤(2)使用f1=[-1 0 1]对图像进行卷积,得到图像的一阶垂直梯度图像使用f2=[-1 0 1]T对图像进行卷积,得到图像的一阶水平梯度图像使用f3=[-1 0 2 0 -1]对图像进行卷积,得到图像的二阶垂直梯度图像使用f4=[-1 02 0 -1]T对图像进行卷积,得到图像的二阶水平梯度图像将分别分为M个图像块,将对应位置的图像块都变成列向量,再将四个列向量连接为一个列向量,并通过主成分分析算法来完成这些向量的降维,记这些向量为低频特征向量其中,R表示分块的数目。
Pi h,h=Λα×Pi l,t (19)
Pi h,h,t=Pi l,t+Pi h,h (20)
S5:将重建出的卡通图像与纹理图像进行相加从而输出想要得到的高分辨率图像。
如图6-8所示,本发明通过计算峰值信噪比(PSNR)来衡量超分辨率图像重建的结果。
均方误差(MSE)反映了原始图像与待评价图像之间的差异性,其计算公式如下式所示。
峰值信噪比(PSNR)反映了待评价图像的逼真度,其计算公式如下式所示。
其中,L表示像素点的动态变化范围。
以上所述是本发明的优选实施方式,通过上述说明内容,本技术领域的相关工作人员可以在不偏离本发明技术原理的前提下,进行多样的改进和替换,这些改进和替换也应视为本发明的保护范围。
Claims (3)
1.一种基于卡通纹理分解的图像超分辨率重建方法,其特征在于包括以下步骤:
S1:离线训练过程包括两个训练过程:第一个训练过程通过K-奇异值分解算法训练出高低分辨率纹理字典对;第二个训练过程通过离线纹理锚点映射,找出样本对应的最近锚点,还要找出锚点对应的最近样本,认为每一对字典原子为一个锚点,代表一种纹理类型;
S2:将低分辨率输入图像进行卡通纹理分解;
S3:基于改进的全变分正则化方法重建出低分辨率卡通图像对应的高分辨率卡通图像;
S4:通过改进的基于外部训练样本纹理锚点映射矩阵的超分辨率方法重建出低分辨率纹理图像对应的高分辨率纹理图像;
S5:将重建出的卡通图像与纹理图像进行相加输出要得到的高分辨率图像;
其中,所述步骤S3输入低分辨率卡通测试图像Uc,对图像Uc进行η次迭代,得到高分辨率卡通图像,具体迭代步骤如下:
其中,x为图像的水平方向,y为图像的垂直方向;
步骤(7)当迭代次数小于10次时使用如下公式计算参数φJ:
当迭代次数大于10次时使用如下公式计算参数φJ:
步骤(10)高分辨率卡通图像的迭代公式为:
其中,J表示这次迭代的迭代次数,λ表示的是拉格朗日乘子,γ是一个正参数;
步骤S4包括以下步骤:
步骤(4.2)使用f1=[-1 0 1]对图像进行卷积,得到图像的一阶垂直梯度图像使用f2=[-1 0 1]T对图像进行卷积,得到图像的一阶水平梯度图像使用f3=[-10 2 0 -1]对图像进行卷积,得到图像的二阶垂直梯度图像使用f4=[-1 0 2 0 -1]T对图像进行卷积,得到图像的二阶水平梯度图像将分别分为M个图像块,将对应位置的图像块都变成列向量,再将四个列向量连接为一个列向量,并通过主成分分析算法来完成这些向量的降维,记这些向量为低频特征向量其中,R表示分块的数目;
2.如权利要求1所述的一种基于卡通纹理分解的图像超分辨率重建方法,其特征在于:所述步骤S1具体包括以下步骤:
S11:收集高分辨率训练图像,然后对每一幅高分辨率训练图像进行卡通纹理分解,得到高分辨率训练纹理图像和高分辨率训练卡通图像,通过K-奇异值分解算法训练高低分辨率纹理字典对,并将训练结果存储在参数库中;
S12:对每一幅分解得到的高分辨率训练纹理图像实施如下步骤:
步骤(1)将高分辨率训练纹理图像切割成高和宽分别能被放大倍数整除的图像Y;
步骤(2)对图像Y进行采样得到低分辨率纹理图像Yl;然后通过双立方插值算法,将低分辨率纹理图像Yl进行图像放大,并将放大后的图像表示为Ym;
步骤(3)使用f1=[-1 0 1]对图像Ym进行卷积,得到图像Ym的一阶垂直梯度图像使用f2=[-1 0 1]T对图像Ym进行卷积,得到图像Ym的一阶水平梯度图像使用f3=[-1 0 20 -1]对图像Ym进行卷积,得到图像Ym的二阶垂直梯度图像使用f4=[-1 0 2 0 -1]T对图像Ym进行卷积,得到图像Ym的二阶水平梯度图像将分别分为N个图像块,将对应位置的图像块都变成列向量,再将四个列向量连接为一个列向量,并通过主成分分析算法来完成这些向量的降维,记这些向量为低频特征向量其中,N表示训练样本的数目;
步骤(4)将高分辨率图像Y与放大后的图像Ym进行减法操作,得到具有高频信息的图像Yh,数学公式如式(1)所示:
Y-Ym=Yh (1)
步骤(5)对每一个训练样本和每一个锚点分别进行标号;
步骤(6)计算每一个样本与第α个锚点的欧式距离,其中,α=1,2,3…M,M表示锚点的个数,将距离按从小到大的顺序进行排序,然后按此顺序将样本进行排序并记录其标号;将前n个样本号码按顺序分别记为α1,α2…αn,将锚点α对应的与其最近的n个样本号码形成的集合记为Ωα,则得到Ωα={αw|w=1,2,3…n};
步骤(7)计算每一个锚点与样本αw的欧式距离,将距离按从小到大的顺序进行排序,然后按此顺序将锚点进行排序并记录其标号,将前m个锚点号码形成的集合记为Γ,则得到样本αw对应的与其最近的m个锚点形成的集合即Γ;如果集合Γ中包括α,则将αw记入最终的第α个锚点的匹配样本号码集即重复该步骤直到确定所有Ωα中的样本是否能计入当确定中的所有样本号码之后,将这些号码对应的样本对记为将所有号码在中低分辨率特征样本合并为矩阵,记为合并的方法是将作为的每一列,将所有号码在中高分辨率特征样本合并为矩阵,记为将作为的每一列;重复操作步骤(6)和步骤(7),直到将M个锚点对应的样本集找完;
3.如权利要求1所述的一种基于卡通纹理分解的图像超分辨率重建方法,其特征在于:所述步骤S2具体步骤如下:
步骤(1)输入低分辨率测试图像;
步骤(3)设定一个纹理/卡通原子的阈值E;
步骤(4)将低分辨率字典A的第g个原子排成方阵Ag;
步骤(6)使用如下公式计算第g个原子对应的参数μg:
步骤(7)重复步骤(4)、(5)、(6)直到完成所有原子对应的参数μ的计算;
步骤(9)使用如下公式计算第g个原子对应的活性Qg;
步骤(10)判断第g个原子对应的活性Qg是否满足下列不等式:
Qg≤E (5)
如果满足则将该原子归属于卡通字典原子;如果不满足则将该原子归属于纹理字典原子;
步骤(11)通过以上步骤就将整体字典A分解为卡通字典Ac和纹理字典At;
步骤(12)通过下面的公式分别得到卡通字典Ac和纹理字典At所对应的稀疏表示系数;
其中,U表示测试图像,λ表示拉格朗日乘子,Ac表示卡通字典,At表示纹理字典,xc表示卡通部分对应的稀疏表示系数,xt表示纹理部分对应的稀疏表示系数;
步骤(13)通过下面的公式分别得到卡通图像Uc和纹理图像Ut;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710314024.8A CN107341765B (zh) | 2017-05-05 | 2017-05-05 | 一种基于卡通纹理分解的图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710314024.8A CN107341765B (zh) | 2017-05-05 | 2017-05-05 | 一种基于卡通纹理分解的图像超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107341765A CN107341765A (zh) | 2017-11-10 |
CN107341765B true CN107341765B (zh) | 2020-04-28 |
Family
ID=60220172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710314024.8A Active CN107341765B (zh) | 2017-05-05 | 2017-05-05 | 一种基于卡通纹理分解的图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107341765B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108198147B (zh) * | 2018-01-02 | 2021-09-14 | 昆明理工大学 | 一种基于判别字典学习的多源图像融合去噪的方法 |
CN108364258B (zh) * | 2018-02-07 | 2022-09-27 | 浙江师范大学 | 一种提高图像分辨率的方法及系统 |
CN108846797B (zh) * | 2018-05-09 | 2022-03-11 | 浙江师范大学 | 基于两种训练集合的图像超分辨率方法 |
CN108985320B (zh) * | 2018-05-31 | 2021-11-23 | 昆明理工大学 | 基于判别字典学习和形态成分分解的多源图像融合方法 |
CN108764368B (zh) * | 2018-06-07 | 2021-11-30 | 西安邮电大学 | 一种基于矩阵映射的图像超分辨率重建方法 |
CN109741254B (zh) * | 2018-12-12 | 2022-09-27 | 深圳先进技术研究院 | 字典训练及图像超分辨重建方法、系统、设备及存储介质 |
CN109949202B (zh) * | 2019-02-02 | 2022-11-11 | 西安邮电大学 | 一种并行的图计算加速器结构 |
CN110310227B (zh) * | 2019-06-27 | 2020-09-08 | 电子科技大学 | 一种基于高低频信息分解的图像超分辨率重建方法 |
CN112215761A (zh) * | 2019-07-12 | 2021-01-12 | 华为技术有限公司 | 图像处理方法、装置及设备 |
CN113344779B (zh) * | 2021-05-10 | 2023-08-18 | 山东师范大学 | 基于卡通纹理分解和深度学习的sar图像超分辨方法及系统 |
CN114677305A (zh) * | 2022-03-29 | 2022-06-28 | 燕山大学 | 一种磁共振成像的重构方法、装置、电子设备及存储介质 |
CN116091322B (zh) * | 2023-04-12 | 2023-06-16 | 山东科技大学 | 超分辨率图像重建方法和计算机设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800076A (zh) * | 2012-07-16 | 2012-11-28 | 西安电子科技大学 | 基于双字典学习的图像超分辨重建方法 |
CN104881842A (zh) * | 2015-05-18 | 2015-09-02 | 浙江师范大学 | 一种基于图像分解的图像超分辨率方法 |
-
2017
- 2017-05-05 CN CN201710314024.8A patent/CN107341765B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800076A (zh) * | 2012-07-16 | 2012-11-28 | 西安电子科技大学 | 基于双字典学习的图像超分辨重建方法 |
CN104881842A (zh) * | 2015-05-18 | 2015-09-02 | 浙江师范大学 | 一种基于图像分解的图像超分辨率方法 |
Non-Patent Citations (3)
Title |
---|
Fast single image super resolution reconstruction via image separation;Zhou Y, Tang Z, Hu X;《Journal of Networks》;20140731;1811-1818 * |
Noisy image magnification with total variation regularization and order-changed dictionary learning;Jian Xu et al.;《EURASIP Journal on Advances in Signal Processing》;20151231;正文全文 * |
基于卡通纹理分解和稀疏表示的图像超分辨率重建;徐川, 端木春江;《软件工程》;20160531;15-17 * |
Also Published As
Publication number | Publication date |
---|---|
CN107341765A (zh) | 2017-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107341765B (zh) | 一种基于卡通纹理分解的图像超分辨率重建方法 | |
CN110211045B (zh) | 基于srgan网络的超分辨率人脸图像重建方法 | |
CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
Zhang et al. | CCR: Clustering and collaborative representation for fast single image super-resolution | |
CN103871041B (zh) | 基于认知正则化参数构建的图像超分辨率重构方法 | |
Ren et al. | Single image super-resolution using local geometric duality and non-local similarity | |
CN106127688B (zh) | 一种超分辨率图像重建方法及其系统 | |
CN103279933B (zh) | 一种基于双层模型的单幅图像超分辨率重建方法 | |
Tang et al. | Deep inception-residual Laplacian pyramid networks for accurate single-image super-resolution | |
CN102231204A (zh) | 一种序列图像自适应正则超分辨率重建方法 | |
CN101719270A (zh) | 一种基于非负矩阵分解的人脸超分辨率处理方法 | |
CN105631807A (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
CN109544478B (zh) | 一种基于奇异值分解的非局部均值ct图像降噪方法 | |
CN108830791B (zh) | 基于自身样例和稀疏表示的图像超分辨率方法 | |
CN106169174B (zh) | 一种图像放大方法 | |
CN114581330A (zh) | 一种基于多尺度混合注意力的太赫兹图像去噪方法 | |
CN108830792B (zh) | 一种利用多类字典的图像超分辨率方法 | |
López-Rubio | Superresolution from a single noisy image by the median filter transform | |
CN108764368A (zh) | 一种基于矩阵映射的图像超分辨率重建方法 | |
Xiong et al. | Gradient boosting for single image super-resolution | |
CN110675318A (zh) | 一种基于主结构分离的稀疏表示图像超分辨率重建方法 | |
CN105590296A (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
Liu et al. | Image super-resolution via hierarchical and collaborative sparse representation | |
CN103903239B (zh) | 一种视频超分辨率重建方法及其系统 | |
Huo et al. | Two-stage image denoising algorithm based on noise localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |