CN107133916A - 图像缩放方法 - Google Patents

图像缩放方法 Download PDF

Info

Publication number
CN107133916A
CN107133916A CN201710267754.7A CN201710267754A CN107133916A CN 107133916 A CN107133916 A CN 107133916A CN 201710267754 A CN201710267754 A CN 201710267754A CN 107133916 A CN107133916 A CN 107133916A
Authority
CN
China
Prior art keywords
image
resolution
algorithm
scaling method
low resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710267754.7A
Other languages
English (en)
Inventor
周筱媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201710267754.7A priority Critical patent/CN107133916A/zh
Publication of CN107133916A publication Critical patent/CN107133916A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像缩放方法，该图像缩放方法将源图像分块获得初始图像块并按照信息量进行分类，不同类别的初始图像块采用不同的重建放法进行重建，将获得的重建图像进行拼接，最后再利用插值算法进行尺度变换。本发明由于算法重构了高频信息，对于缩放效果会更好，获得的缩放图像质量更高。

Description

图像缩放方法
技术领域
本发明属于图像重建技术领域，具体涉及一种图像缩放方法。
背景技术
图像缩放在数字视频处理领域中发挥着重要作用。图像的分辨率调整和格式变换，都需要用到图像缩放技术。随着多媒体技术和大规模集成电路的发展，利用硬件实现视频图像无级缩放己成为图像处理研究的一个重要课题。通常使用插值技术进行图像缩放。采用现有算法对图像进行缩放后。
因此，如何提供一种可以进行任意尺度的变换的图像缩放方法以达到相关工业要求变得至关重要。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种图像缩放方法，包括如下步骤：
(a)对高分辨率样本图像按照退化模型进行模糊和下采样得到低分辨率样本图像；
(b)根据所述低分辨率样本图像利用K-SVD算法进行字段训练获得高分辨率字典和低分辨率字典；
(c)对所述低分辨率样本图像进行分块获得低分辨率样本图像块，提取所述低分辨率样本图像块的第一边缘信息量，根据所述第一边缘信息量确定临界值；
(d)对源图像分块获得初始图像块并提取所述初始图像块的第二边缘信息量，当所述第二边缘信息量大于临界值，采用超分辨率重建算法对所述初始图像块进行重建得到第一重建图像；否则采用第一插值算法对所述初始图像块进行重建得到第二重建图像；
(e)将所述第一重建图像和第二重建图像进行拼接，得到第三重建图像；
(f)利用第二插值算法对第三重建图像进行插值得到目标图像。
在本发明的一个实施例中，步骤(b)包括：
(b1)利用特征提取算法从所述低分辨率样本图像获得空间目标的高分辨率特征信息和低分辨率特征信息；
(b2)利用K-SVD算法对所述高分辨率特征信息和所述低分辨率特征信息进行联合训练获得所述高分辨率字典和所述低分辨率字典。
在本发明的一个实施例中，步骤(c)中，根据所述第一边缘信息量确定临界值，包括：
(c1)获取第一边缘信息量的最大的低分辨率样本图像块的像素值Pmax；
(c2)计算临界值threshold，所述临界值threshold满足：
在本发明的一个实施例中，所述临界值threshold＝threshold＝50％×Pmax。
在本发明的一个实施例中，步骤(d)之前，还包括：对所述源图像进行去噪声、去模糊处理。
在本发明的一个实施例中，在步骤(d)中，采用超分辨率重建算法对所述初始图像块进行重建得到第一重建图像，包括：
(x1)对所述初始图像块进行图像滤波获得高频信息；
(x2)对所述高频信息进行所述KPCA降维得到压缩数据；
(x3)对所述压缩数据进行超分辨率重建得到所述第一重建图像。
在本发明的一个实施例中，所述超分辨率重建算法为基于学习的稀疏表示图像超分辨率重建算法。
在本发明的一个实施例中，所述第一插值算法为双三次插值算法。
在本发明的一个实施例中，所述第二插值算法为双三次插值算法。
在本发明的一个实施例中，所述低分辨率样本图像块与所述初始图像块的长度和宽度均相同。
本发明实施例依据超分辨率重建后的图像再进行缩放，由于算法重构了高频信息，对于缩放效果会更好，获得的超分辨率重建图像可以进行任意大小的尺度变换，在工程应用中可以满足不同的情况下的需求，有较好的适用性。
附图说明
图1为本发明实施例提供的一种图像缩放流程示意图；
图2为本发明实施例提供的一种字典训练原理示意图；
图3为本发明实施例提供的一种图像缩放原理示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1、图2和图3，图1为本发明实施例提供的一种图像缩放流程示意图；图2为本发明实施例提供的一种字典训练原理示意图；图3为本发明实施例提供的一种图像缩放原理示意图。该图像缩放方法，包括如下步骤：
(a)对高分辨率样本图像按照退化模型进行模糊和下采样得到低分辨率样本图像；
(b)根据所述低分辨率样本图像利用K-SVD算法进行字段训练获得高分辨率字典和低分辨率字典；
其中，该字段训练算法可以在有效减少字典原子个数的同时，仍能够线性表示初始化字典的所有信息，从而提高了字典的训练效率。
(c)对所述低分辨率样本图像进行分块获得低分辨率样本图像块，提取所述低分辨率样本图像块的第一边缘信息量，根据所述第一边缘信息量确定临界值；
(d)对源图像分块获得初始图像块并提取所述初始图像块的第二边缘信息量，当所述第二边缘信息量大于临界值，采用超分辨率重建算法对所述初始图像块进行重建得到第一重建图像；否则采用第一插值算法对所述初始图像块进行重建得到第二重建图像；
其中，该策略保证了图像细节的重建质量，同时大幅提升了算法的计算速度。在不影响图像重建效果的情况下，有效的提高了效率。
(e)将所述第一重建图像和第二重建图像进行拼接，得到第三重建图像；
(f)利用第二插值算法对第三重建图像进行插值得到目标图像。
进一步地，步骤(b)包括：
(b1)利用特征提取算法从所述低分辨率样本图像获得空间目标的高分辨率特征信息和低分辨率特征信息；
(b2)利用K-SVD算法对所述高分辨率特征信息和所述低分辨率特征信息进行联合训练获得所述高分辨率字典和所述低分辨率字典。
进一步地，步骤(c)中，根据所述第一边缘信息量确定临界值，包括：
(c1)获取第一边缘信息量的最大的低分辨率样本图像块的像素值Pmax；
(c2)计算临界值threshold，所述临界值threshold满足：
优选地，所述临界值threshold＝threshold＝50％×Pmax。
进一步地，在步骤(d)之前，还包括：对所述源图像进行去噪声、去模糊处理。
进一步地，在步骤(d)中，采用超分辨率重建算法对所述初始图像块进行重建得到第一重建图像，包括：
(x1)对所述初始图像块进行图像滤波获得高频信息；
(x2)对所述高频信息进行所述KPCA降维得到压缩数据；
(x3)对所述压缩数据进行超分辨率重建得到所述第一重建图像。
优选地，所述超分辨率重建算法为基于学习的稀疏表示图像超分辨率重建算法。
优选地，所述第一插值算法为双三次插值算法。
优选地，所述第二插值算法为双三次插值算法。
进一步地，所述低分辨率样本图像块与所述初始图像块的长度和宽度均相同。
本发明实施例依据超分辨率重建后的图像再进行缩放，由于算法重构了高频信息，对于缩放效果会更好，获得的超分辨率重建图像可以进行任意大小的尺度变换，在工程应用中可以满足不同的情况下的需求，有较好的适用性。
实施例二
请再次参见图1、图2和图3，图1为本发明实施例提供的一种图像缩放流程示意图；图2为本发明实施例提供的一种字典训练原理示意图；图3为本发明实施例提供的一种图像缩放原理示意图。在上述实施例一的基础上，本实施例提供另一种图像缩放方法，包含字典训练过程、图像重建过程、尺度变化过程三个处理步骤。具体包括如下步骤：
S1字段训练过程；
S11：利用大量高分辨率样本图像，将高分辨率样本图像按照退化模型进行模糊和N倍下采样，得到相应的低分辨率样本图像。
S12：对步骤S01获得的低分辨率样本图像通过特征提取算法提取图像特征，得到空间目标的高分辨率特征信息Xs和低分辨率特征信息Ys。
S13：利用K-SVD算法，对高分辨率特征信息和低分辨率特征信息进行联合训练，得到高分辨率字典和低分辨率字典。
S14：训练低分辨率字典。基字典Φ选择过完备DCT字典，利用稀疏K-SVD算法求解：
则低分辨率字典Dl＝ΦW，W是一个原子表示矩阵。与解析字典模型相比，双稀疏字典模型通过对W的修改提供了自适应性。
S15：计算高分辨率字典。假设高分辨率-低分辨率图像块在高分辨率-低分辨率字典对下具有相同的稀疏表示系数A，则可以通过最小化以下公式中的逼近误差来计算高分辨率字典Dh：
使用伪逆求解：
Dh＝XsA+＝XsAT(AAT)-1
其中，上标“+”表示伪逆。
其中，该字段训练算法可以在有效减少字典原子个数的同时，仍能够线性表示初始化字典的所有信息，从而提高了字典的训练效率。
S2图像重建过程；
S21：对源图像进行预处理，其中主要包括图像去噪、图像去模糊和样本分块操作。其处理步骤具体为：
S21a：对源图像去噪声；
S21b：对步骤S21a得到的图像去模糊；
S21c：对步骤S21b得到的图像进行区块划分，将整幅图像按照固定长宽进行分割、保存，得到初始图像块；
S22：利用步骤S11中获得的低分辨率样本图像计算临界值，具体处理步骤如下：
S22a：将步骤S11中得到的大量低分辨率样本图像进行区块分割获得低分辨率样本图像块，低分辨率样本图像块的长宽同步骤S21c；
S22b：利用边缘提取算法提取低分辨率样本图像块的第一边缘信息量，统计各低分辨率样本图像块的第一边缘信息量及所有低分辨率样本图像块的第一边缘信息量分布情况；
S22c：选取第一边缘信息量最高的低分辨率样本图像块，设该低分辨率样本图像块对应的像素值为Pmax，计算临界值threshold，所述临界值threshold满足：
取该范围内若干代表临界值，例如，可以取如下代表临界值为Pmax×40％，Pmax×45％，Pmax×50％，Pmax×55％，Pmax×60％，计算每个临界值对应的基于学习的稀疏表示图像超分辨率重建算法的重建时间和重建后图像的分辨率，可以根据主观评价和PSNR来判断。然后根据使用者需求从若干代表临界值中确定临界值，如使用者需求更注重时间，那就调高比例，时间就快；相反使用者如果注重重建效果，那就调低比例，带来的就是重建效果较好但时间较长。例如，经计算后F×50％最符合使用者需求，则取临界值threshold＝Pmax×50％。
S22d：输入步骤S21c获得的初始图像块，采用边缘提取算法提取初始图像块边缘信息，当该图像块信息量不超过步骤S22c确定的临界值时，进入步骤S23；否则进入步骤24。优选地，所述边缘提取算法为Canny算子边缘检测算法。
S23：获得第一重建图像；
S23a：针对初始图像块进行图像滤波操作，进行高频特征提取，采用二维滤波算子滤波器组，所用滤波器组为f＝{f1,f2,f3,f4}，其由四个不同的滤波器组成，分别为：
f1＝[1,-1], f2＝f1 T
f3＝LOG, f3＝f3 T
其中上角标T表示矩阵转置操作，LOG代表一种5×5的二维滤波算子。经过高频特征提取操作后获得初始图像块高频信息，以xl表示。
S23b：对初始图像块高频信息进行KPCA降维，实现高维数据压缩。将初始图像块高频信息数据集表示为X＝{x1,x2,x3,…,xM},xi∈RD，KPCA方法经过非线性映射函数x→Φ(x)∈F，其中F是特征空间，这样便能将每个数据x映射到一个高维特征空间。
S23c：核函数通过Φ将进行一个点x到F的对应操作，并且由此获得的F数据满足中心化的条件，即：
则特征空间F中的协方差矩阵为：
S23d：求c的特征值λ≥0以及特征向量
V∈F\{0},Cv＝λv
则有
(Φ(xv)·Cv)＝λ(Φ(xv)·v)
考虑到所有的特征向量可表示为Φ(x1),Φ(x2),…,Φ(xM)的线性组合，即：
则有：
式中，v＝1,2,3,…,M，定义M×M维矩阵Kμv
Kμv:＝(Φ(xμ)·Φ(xv))
S23e：求解上式得到特征值及特征向量，对于数据集在特征向量空间Vk的投影可以写成：
那么，数据被投影到协方差矩阵的特征向量Vk上，投影结果即也就是压缩数据y可以表示为：
S23f：采用OMP算法对步骤S23e获得的压缩数据y在低分辨率字典Dl下的稀疏表示系数β，即求解如下方程：
其中T0为给定的稀疏度，βi为矩阵β中的子元素；
S23g：将求得的稀疏表示系数β与高分辨率字典Dh相乘，即：
X＝Dhβ
其中X为求得的第一重建图像，进入步骤S25；
S24：将获得的初始图像快采用双三次插值算法进行重建得到第二重建图像，进入步骤S25；
S25：将第一重建图像与第二重建图像进行图像拼接得到第三重建图像；
其中，该策略保证了图像细节的重建质量，同时大幅提升了算法的计算速度。在不影响图像重建效果的情况下，有效的提高了效率。
S3尺度变换；
S31：采用双三次插值算法将第三重建图像进行M倍插值得到N*M(N＝2,3,4；M>0)倍的目标图像。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种图像缩放方法，其特征在于，包括如下步骤：
(a)对高分辨率样本图像按照退化模型进行模糊和下采样得到低分辨率样本图像；
(b)根据所述低分辨率样本图像利用K-SVD算法进行字段训练获得高分辨率字典和低分辨率字典；
(c)对所述低分辨率样本图像进行分块获得低分辨率样本图像块，提取所述低分辨率样本图像块的第一边缘信息量，根据所述第一边缘信息量确定临界值；
(d)对源图像分块获得初始图像块并提取所述初始图像块的第二边缘信息量，当所述第二边缘信息量大于临界值，采用超分辨率重建算法对所述初始图像块进行重建得到第一重建图像，否则采用第一插值算法对所述初始图像块进行重建得到第二重建图像；
(e)将所述第一重建图像和第二重建图像进行拼接，得到第三重建图像；
(f)利用第二插值算法对第三重建图像进行插值得到目标图像。
2.根据权利要求1所述的图像缩放方法，其特征在于，步骤(b)包括：
(b1)利用特征提取算法从所述低分辨率样本图像获得空间目标的高分辨率特征信息和低分辨率特征信息；
(b2)利用K-SVD算法对所述高分辨率特征信息和所述低分辨率特征信息进行联合训练获得所述高分辨率字典和所述低分辨率字典。
3.根据权利要求1所述的图像缩放方法，其特征在于，步骤(c)中，根据所述第一边缘信息量确定临界值，包括：
(c1)获取第一边缘信息量的最大的低分辨率样本图像块的像素值Pmax；
(c2)计算临界值threshold，所述临界值threshold满足：
<mrow> <mfrac> <mrow> <mn>40</mn> <mi>%</mi> <mo>&amp;times;</mo> <msub> <mi>P</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mrow> <mn>4</mn> </mfrac> <mo>&amp;le;</mo> <mi>t</mi> <mi>h</mi> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>h</mi> <mi>o</mi> <mi>l</mi> <mi>d</mi> <mo>&amp;le;</mo> <mfrac> <mrow> <mn>60</mn> <mi>%</mi> <mo>&amp;times;</mo> <msub> <mi>P</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mrow> <mn>4</mn> </mfrac> <mo>.</mo> </mrow>
4.根据权利要求3所述的图像缩放方法，其特征在于，所述临界值threshold＝50％×Pmax。
5.根据权利要求1所述的图像缩放方法，其特征在于，在步骤(d)之前，还包括：对所述源图像进行去噪声、去模糊处理。
6.根据权利要求1所述的图像缩放方法，其特征在于，在步骤(d)中，采用超分辨率重建算法对所述初始图像块进行重建得到第一重建图像，包括：
(x1)对所述初始图像块进行图像滤波获得高频信息；
(x2)对所述高频信息进行所述KPCA降维得到压缩数据；
(x3)对所述压缩数据进行超分辨率重建得到所述第一重建图像。
7.根据权利要求1所述的图像缩放方法，其特征在于，所述超分辨率重建算法为基于学习的稀疏表示图像超分辨率重建算法。
8.根据权利要求1所述的图像缩放方法，其特征在于，所述第一插值算法为双三次插值算法。
9.根据权利要求1所述的图像缩放方法，其特征在于，所述第二插值算法为双三次插值算法。
10.根据权利要求1所述的图像缩放方法，其特征在于，所述低分辨率样本图像块与所述初始图像块的长度和宽度均相同。
CN201710267754.7A 2017-04-21 2017-04-21 图像缩放方法 Pending CN107133916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710267754.7A CN107133916A (zh) 2017-04-21 2017-04-21 图像缩放方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710267754.7A CN107133916A (zh) 2017-04-21 2017-04-21 图像缩放方法

Publications (1)

Publication Number Publication Date
CN107133916A true CN107133916A (zh) 2017-09-05

Family

ID=59715980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710267754.7A Pending CN107133916A (zh) 2017-04-21 2017-04-21 图像缩放方法

Country Status (1)

Country Link
CN (1) CN107133916A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967669A (zh) * 2017-11-24 2018-04-27 腾讯科技（深圳）有限公司 图片处理的方法、装置、计算机设备及存储介质
WO2023060746A1 (zh) * 2021-10-14 2023-04-20 中国科学院深圳先进技术研究院 一种基于超分辨率的小图像多目标检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530863A (zh) * 2013-10-30 2014-01-22 广东威创视讯科技股份有限公司 一种多级重构的图像超分辨率方法
CN105678728A (zh) * 2016-01-19 2016-06-15 西安电子科技大学 分区域管理的高效超分辨率成像装置及方法
CN106157240A (zh) * 2015-04-22 2016-11-23 南京理工大学 基于字典学习的遥感图像超分辨率方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530863A (zh) * 2013-10-30 2014-01-22 广东威创视讯科技股份有限公司 一种多级重构的图像超分辨率方法
CN106157240A (zh) * 2015-04-22 2016-11-23 南京理工大学 基于字典学习的遥感图像超分辨率方法
CN105678728A (zh) * 2016-01-19 2016-06-15 西安电子科技大学 分区域管理的高效超分辨率成像装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUAN ZHU 等: "Super-resolution Reconstruction via Multiple Sparse Dictionary Combined with Sparse Coding", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967669A (zh) * 2017-11-24 2018-04-27 腾讯科技（深圳）有限公司 图片处理的方法、装置、计算机设备及存储介质
WO2023060746A1 (zh) * 2021-10-14 2023-04-20 中国科学院深圳先进技术研究院 一种基于超分辨率的小图像多目标检测方法

Similar Documents

Publication Publication Date Title
Suryanarayana et al. Accurate magnetic resonance image super-resolution using deep networks and Gaussian filtering in the stationary wavelet domain
CN103077511B (zh) 基于字典学习和结构相似的图像超分辨率重建方法
Zhang et al. Image super-resolution based on structure-modulated sparse representation
Zhang et al. Non-local kernel regression for image and video restoration
Yu et al. A unified learning framework for single image super-resolution
Dong et al. Nonlocally centralized sparse representation for image restoration
Fan et al. Image hallucination using neighbor embedding over visual primitive manifolds
Zhao et al. Unsupervised degradation learning for single image super-resolution
US20100124383A1 (en) Systems and methods for resolution-invariant image representation
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
Cao et al. Image Super-Resolution via Adaptive $\ell _ {p}(0< p< 1) $ Regularization and Sparse Representation
CN108428212A (zh) 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法
Zhu et al. Image interpolation based on non-local geometric similarities and directional gradients
CN105631807A (zh) 基于稀疏域选取的单帧图像超分辨重建方法
Bai et al. Adaptive correction procedure for TVL1 image deblurring under impulse noise
CN108257108A (zh) 一种超分辨率图像重建方法及系统
CN104021523A (zh) 一种基于边缘分类的图像超分辨率放大的新方法
CN107133915A (zh) 一种基于学习的图像超分辨率重构方法
CN107133916A (zh) 图像缩放方法
CN109559278B (zh) 基于多特征学习的超分辨图像重建方法及系统
CN108492252A (zh) 基于二次重建的人脸图像超分辨率重建方法
CN107169925B (zh) 无级缩放超分辨率图像的重建方法
Wang et al. Image super-resolution using non-local Gaussian process regression
Que et al. Single image super-resolution via deep progressive multi-scale fusion networks
Han et al. Cluster-based image super-resolution via jointly low-rank and sparse representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170905

RJ01 Rejection of invention patent application after publication