CN107330854A - 一种基于新型模板的图像超分辨率增强方法 - Google Patents
一种基于新型模板的图像超分辨率增强方法 Download PDFInfo
- Publication number
- CN107330854A CN107330854A CN201710453264.6A CN201710453264A CN107330854A CN 107330854 A CN107330854 A CN 107330854A CN 201710453264 A CN201710453264 A CN 201710453264A CN 107330854 A CN107330854 A CN 107330854A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- msup
- mfrac
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009415 formwork Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims description 40
- 230000002708 enhancing effect Effects 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims abstract description 13
- 230000003321 amplification Effects 0.000 claims abstract description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000000717 retained effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010016322 Feeling abnormal Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于新型模板的图像超分辨率技术，包括：获取原始图像集，对图像集中的每幅图像做0.5倍降采样，得到低分辨率图像；对低分辨率图像，进行轮廓模板插值放大2倍，得到高分辨参考图像；对高分辨参考图像和低分辨率图像做新型模板增强；过SIFT特征点匹配，计算低分辨率图像与高分辨参考图像间的运动矩阵，从而得到高分辨参考图像上的点在低分辨率图像中的对应点；通过计算高分辨参考图像上点与低分辨率图像中的对应点间的残差，合成残差图像，将残差图像与高分辨参考图像叠加，得到最终的图像。新型模板不仅可以有效地增强图像高频信息，同时还可有效保留图像中低频信息，从而在图像增强领域有着广泛的应用。
Description
技术领域
本发明涉及基于新型模板的图像超分辨率技术，特别涉及基于新型模板和点扩散函数叠加的，端到端的单幅图像超分辨率重建方法。
背景技术
图像分辨率的调整是应用中经常需求的操作。当面对各类图像时，一些经典的图像处理技术往往无法实现较好的效果，尤其是有图像纹理细节或者边缘稳定性需求高时，由于分辨率的改变往往会伴随着高频信息丢失和信息量减少，因此图像的超分辨率结果往往较差，无法达到令人满意的目的。因此，设计一种良好的图像的超分辨率方法，提高图像的超分辨率的效果是一个值得研究的课题。
随着计算机技术和机器视觉技术的发展，关于图像超分辨率的该方法有了长足的发展，并在许多领域有着重要的应用，如多媒体、安防监控和医学领域。
目前，图像超分辨率算法主要可分为三类：第一类是基于插值理论的，不考虑图像的先验知识，仅通过图像上的像素点信息来计算目标点像素值。此类方法计算量小，速度快，可以很方便的在各种场合下使用。但是这类方法不能回复出较好的图片，往往会伴随着大量的信息丢失和模糊，在图像的超分辨率中无法较好完成目标。第二类是基于学习的方法，将图像的降质模型使用一定的网络结构进行模拟，通过数据库训练将网络收敛到目标范围，就可以使用此网络结构完成图像超分辨率过程。此类算法的优点在于可以较好地恢复图像信息，缺点在于对数据库的依赖较大，且运算量很大，在各种场合下的运用受到一定的限制。第三类算法是基于重建和增强理论的方法，通过一个或者多个数学模型，对图像降质过程进行建模，通过计算或者假设模型中的参数，逆向运算得到图像超分辨率的结果。此类算法基本都是建立在图像降质模型的基础上，通过一定的先验知识，保证在超分辨率过程中尽可能地保护图片信息，达到较好的超分辨率效果。
新型模板不仅可以有效地增强图像高频信息，同时还可有效保留图像中低频信息，从而在图像增强领域有着广泛的应用。该新型模板则可以在完成图像高频噪声去除的同时，较好地保留图像低频信息，在去噪领域有着一定的应用。
发明内容
基于学习的图像超分辨率效果虽然较好，但是其对外部数据库的依赖较大，在没有良好且充足的数据库的情况下不能有效达成目的，其运算量也使其应用受到限制。而现有的基于重建或增强的方法大多对于图像的超分辨率都没有足够优秀的效果。针对以上问题，本发明的目的是提出一种基于新型模板的图像超分辨率方法。
为实现上述目的，本发明采取以下技术方案：
一种基于新型模板的图像超分辨率增强方法，包括如下步骤：
步骤1，获取输入图像，对输入图像作0.5倍降采样，得到低分辨率图像；
步骤2，对低分辨率图像，进行轮廓模板插值放大2倍，得到高分辨参考图像；
步骤3，对高分辨参考图像和低分辨率图像做新型模板增强，所述新型模板由设定的参数v和根据v生成的模板计算得出，具体实现方式如下，
步骤3.1，先采取0.01为步长，分别对图像做v取范围0.01～0.99的增强，并分别计算增强后的清晰度指标，取清晰度的最大值A和最小值B，计算A和B的几何平均值得到清晰度在附近时的参数v；
一幅大小为m×n的图像k的清晰度计算方式为：
其中，k(x，y)表示图像中的坐标为(x，y)的像素点的灰度值；
步骤3.2，通过步骤3.1的参数v确定新型模板如下：
步骤4，通过SIFT特征点匹配，计算低分辨率图像与高分辨参考图像间的运动矩阵，从而得到高分辨参考图像上的点在低分辨率图像中的对应点；
步骤5，通过计算高分辨参考图像上点与低分辨率图像中的对应点间的残差，合成残差图像，将残差图像与高分辨参考图像叠加，得到最终的图像，具体实现方式如下，
步骤5.1，利用新型模板生成点扩散函数，计算高分辨参考图像上点经点扩散函数投影到低分辨率后的像素值，其与该点的实际像素值的差即为残差值；其中，点扩散函数如下：
步骤5.2，将高分辨参考图像上所有点的残差值按顺序合成为一幅图像，即为残差图像；
步骤5.3，残差图像经点扩散函数，每个点变为l×l大小的窗，l为新型模板的维数，得到与高分辨参考图像同等大小的残差图像，将此时的残差图像叠加到高分辨参考图像的对应点上，得到最终的图像。
而且，所述步骤2中得到高分辨参考图像的实现方式如下，
步骤2.1，设定一个轮廓模板集合，包含57种轮廓特征模板；
步骤2.2，计算低分辨率图像上的点及周围邻域的轮廓模板值，以轮廓模板值选择对应的轮廓模板；
步骤2.3，使用选择的轮廓模板对低分辨率图像进行插值放大，得到插值结果，即得到高分辨参考图像。
而且，所述步骤4中计算低分辨率图像与高分辨参考图像间的运动矩阵的实现方式如下，
步骤4.1，对于低分辨率图像，计算其SIFT特征点，并寻找其在高分辨参考图像上的匹配点；
步骤4.2，通过低分辨率图像与高分辨参考图像间的匹配点在各自图像上坐标信息，使用RANSAC法确定两者间的仿射矩阵；
步骤4.3，计算出的仿射矩阵即为低分辨率图像和高分辨参考图像的运动矩阵。
本发明由于采取了以上的技术方案，与现有技术相比，其具有以下优势：
(1)与基于学习的图像超分辨率算法相比，尤其是基于深度学习的SRCNN卷积神经网络超分辨率算法相比，本发明利用新型模板增强算子有效弥补了图像超分辨率过程中的高频信息减少，同时避免了对于外部训练数据库的依赖，在实现方法和理论上有较高的自由度和适应性。
(2)与现有的基于重建的图像超分辨率方法相比，本发明引入的轮廓模板插值很好的保持了图像边缘轮廓信息；使用的新型模板增强算子立足于增强图片纹理信息，提高算法对于各类图像的适应性；基于新型模板的点扩散函数立足于改善图像的边缘质量；引入的SIFT匹配过程立足于增加重建过程的精度，从而获得较好的重建结果。相较传统算法，获得了较好的重建结果。
附图说明
图1为本发明的整体流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
本发明的整体流程图如图1所示，具体包含以下步骤(包括测试)：
步骤1，获取标准数据库和一些额外的图像库作为原始图像集，并作为测试和验证本发明有效性的数据集，包括获取Set5、Set14、B100等标准库和USC-SIPI等图像库的图像；选取任意一幅图像做0.5倍降采样，得到低分辨率图像，即为实际的输入图像。
步骤2，对输入图像，进行轮廓模板插值放大2倍，得到高分辨参考图像。
步骤2.1，经由一定的图像集合，预先设定一个轮廓模板集合，包含57种轮廓特征模板，轮廓模板集合的生成为现有成熟技术，本发明不予撰述，具体参见文献[1]；
[1]肖进胜,庞观林,唐路敏,钱超,邹白昱.基于轮廓模板和自学习的图像纹理增强超采样算法[J].自动化学报,2016,42(8):1248-1258.；
步骤2.2，计算低分辨率图像上的点及周围邻域的轮廓模板值，用此值选择对应的轮廓模板；
步骤2.3，使用选择的轮廓模板对低分辨率图像进行插值放大，得到插值结果，即得到高分辨参考图像。
步骤3，对高分辨参考图像和低分辨率图像做新型模板增强，具体的增强模板由设定的参数v和根据v生成的模板计算得出；
图像的增强可以有效提升其纹理细节信息，对于图像超分辨率来讲，一个预先的增强可以很好地帮助后续超分辨过程中恢复图像质量。由于不同参数v的新型模板处理效果各异，为了较好地增强图像，我们选取一定方式确定增强时所使用的参数；
步骤3.1，先采取0.01为步长，分别对图像做v取范围0.01～0.99的增强，并分别计算增强后的清晰度指标，取清晰度的最大值A和最小值B，计算A和B的几何平均值得到清晰度在附近时的参数v；
图像评价指标清晰度又被称为图像平均梯度，可以有效地评价图像的微小细节，一幅大小为m×n的图像k的清晰度计算方式为：
其中，k(x，y)表示图像中的坐标为(x，y)的像素点的灰度值，图像清晰度越高，就可以认为图像边缘细节越多，当清晰度过高时，图像会出现过曝现象；
步骤3.2，通过步骤3.1的参数v确定新型模板如下,在本实施例中计算得到的参数v为0.7：
步骤4，通过SIFT特征点匹配，计算低分辨率图像与高分辨参考图像间的运动矩阵，从而得到高分辨参考图像上的点在低分辨率图像中的对应点。
步骤4.1，对于低分辨率图像，计算其SIFT特征点，并寻找其在高分辨参考图像上的匹配点，SIFT特征提取为现有技术，本发明不予撰述，具体参见文献[2]；
[2]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004,60(2):91-110.
步骤4.2，通过低分辨率图像与高分辨参考图像间的匹配点在各自图像上坐标信息，使用RANSAC法(随机N次取最佳)确定两者间的仿射矩阵，其中的RANSAC法为现有技术，本发明不予撰述；
步骤4.3，计算出的仿射矩阵即为低分辨率图像和高分辨参考图像的运动矩阵。
步骤5，通过计算高分辨参考图像上点与低分辨率图像中的对应点间的残差，合成残差图像，将残差图像与高分辨参考图像叠加，得到最终的图像；
步骤5.1，利用参数v＝-0.7，大小为5×5的新型模板生成点扩散函数，计算高分辨参考图像上点经点扩散函数投影到低分辨率后的像素值，其与该点的实际像素值的差即为残差值；其中，点扩散函数如下：
步骤5.2，将所有残差值按顺序合成为一幅图像，即为残差图像；
步骤5.3，投影叠加过程为，残差图像经点扩散函数，每个点变为5×5大小的窗，从而图像变大，与高分辨参考图像同等大小，将此时的残差图像叠加到参考图像的对应点上；
步骤5.4，对于多通道的彩色图像，以上过程为在各个通道中依次处理；
步骤6，修正后的参考图像就是最终得到的高分辨率图像，即本发明的输出结果。
为了验证本发明所提出方法的有效性，分别选取Set5、Set14等标准库和USC-SIPI等图像库中的图像进行验证，从图像库中任意选取一副图像进行以上步骤的处理，并和其他经典算法bicubic(双三次插值方法)，CS(轮廓模板插值方法)，SCN，ScSR，PCA处理获得的效果进行对比，以PSNR、Entropy、Clarity、SSIM、EPI等客观指标说明本发明的优势：
(1)表1为Set5图片集中baby图在bicubic(双三次插值方法)，CS(轮廓模板插值方法)，SCN，ScSR，PCA，proposed(本发明提出的基于新型模板的图像超分辨率增强方法)的超分辨结果，各经典算法可参考文献[1,3-5]，综合PSNR、Entropy、Clarity等客观评价指标，可以看出，本发明提出的方法效果最好；
表1 Set5中baby的客观评价指标对比
(2)表2为Set14图片集中comic图像在bicubic(双三次插值方法)，CS(轮廓模板插值方法)，SCN，ScSR，PCA，proposed(本发明提出的基于新型模板的图像超分辨率增强方法)的超分辨结果，综合PSNR、Entropy、Clarity等客观评价指标，可以看出，本发明提出的方法效果最好；
表2 Set14中comic的客观评价指标对比
(3)超分辨率时所使用的图片往往不是清晰的，所以本发明还用了一些人工加入模糊的图片来进行测试。选取USC-SIPI图像库的某个地面纹理图片，对其加入高斯模糊，并下采样得到低分辨率图片，将不同算法的重建结果与原始清晰图片进行对比。表3为一系列俯拍地图1的重建结果客观评价指标，需要指出的是，所有的有参客观评价指标均是以原始清晰图像为参考，而不是以加模糊后图像为参考。
表3地图1人工模糊后处理结果的客观指标对比
表中，图像序号的后缀即模糊高斯函数的标准差，可以看出，在标准差较小时本发明方法具有明显优势。
[3]Wang Z,Liu D,Yang J,et al.Deep networks for image super-resolutionwith sparse prior[C].Proceedings of the IEEE International Conference onComputer Vision.2015:370-378.
[4]Yang J,Wright J,Huang T S,et al.Image super-resolution via sparserepresentation[J].IEEE transactions on image processing,2010,19(11):2861-2873.
[5]Xiao J,Liu E,Zhao L,et al.Detail enhancement of image super-resolution based on detail synthesis[J].Signal Processing:ImageCommunication,2017,50:21-33.
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (3)
1.一种基于新型模板的图像超分辨率增强方法，其特征在于，包括如下步骤：
步骤1，获取输入图像，对输入图像作0.5倍降采样，得到低分辨率图像；
步骤2，对低分辨率图像，进行轮廓模板插值放大2倍，得到高分辨参考图像；
步骤3，对高分辨参考图像和低分辨率图像做新型模板增强，所述新型模板由设定的参数v和根据v生成的模板计算得出，具体实现方式如下，
步骤3.1，先采取0.01为步长，分别对图像做v取范围0.01～0.99的增强，并分别计算增强后的清晰度指标，取清晰度的最大值A和最小值B，计算A和B的几何平均值得到清晰度在附近时的参数v；
一幅大小为m×n的图像k的清晰度计算方式为：
<mrow>
<mi>C</mi>
<mi>l</mi>
<mi>a</mi>
<mi>r</mi>
<mi>i</mi>
<mi>t</mi>
<mi>y</mi>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>m</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msqrt>
<mfrac>
<mrow>
<mo>(</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mi>k</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>k</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mo>(</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mi>k</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>k</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mn>2</mn>
</mfrac>
</msqrt>
</mrow>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mfrac>
</mrow>
其中，k(x，y)表示图像中的坐标为(x，y)的像素点的灰度值；
步骤3.2，通过步骤3.1的参数v确定新型模板如下：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mn>24</mn>
<mo>&times;</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
步骤4，通过SIFT特征点匹配，计算低分辨率图像与高分辨参考图像间的运动矩阵，从而得到高分辨参考图像上的点在低分辨率图像中的对应点；
步骤5，通过计算高分辨参考图像上点与低分辨率图像中的对应点间的残差，合成残差图像，将残差图像与高分辨参考图像叠加，得到最终的图像，具体实现方式如下，
步骤5.1，利用新型模板生成点扩散函数，计算高分辨参考图像上点经点扩散函数投影到低分辨率后的像素值，其与该点的实际像素值的差即为残差值；其中，点扩散函数如下：
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mn>1</mn>
<mo>&times;</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>v</mi>
</mrow>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mi>v</mi>
</mrow>
<mn>2</mn>
</mfrac>
</mtd>
</mtr>
</mtable>
</mfenced>
1
步骤5.2，将高分辨参考图像上所有点的残差值按顺序合成为一幅图像，即为残差图像；
步骤5.3，残差图像经点扩散函数，每个点变为l×l大小的窗，l为新型模板的维数，得到与高分辨参考图像同等大小的残差图像，将此时的残差图像叠加到高分辨参考图像的对应点上，得到最终的图像。
2.如权利要求1所述的一种基于新型模板的图像超分辨率增强方法，其特征在于：所述步骤2中得到高分辨参考图像的实现方式如下，
步骤2.1，设定一个轮廓模板集合，包含57种轮廓特征模板；
步骤2.2，计算低分辨率图像上的点及周围邻域的轮廓模板值，以轮廓模板值选择对应的轮廓模板；
步骤2.3，使用选择的轮廓模板对低分辨率图像进行插值放大，得到插值结果，即得到高分辨参考图像。
3.如权利要求2所述的一种基于新型模板的图像超分辨率增强方法，其特征在于：所述步骤4中计算低分辨率图像与高分辨参考图像间的运动矩阵的实现方式如下，
步骤4.1，对于低分辨率图像，计算其SIFT特征点，并寻找其在高分辨参考图像上的匹配点；
步骤4.2，通过低分辨率图像与高分辨参考图像间的匹配点在各自图像上坐标信息，使用RANSAC法确定两者间的仿射矩阵；
步骤4.3，计算出的仿射矩阵即为低分辨率图像和高分辨参考图像的运动矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710453264.6A CN107330854B (zh) | 2017-06-15 | 2017-06-15 | 一种基于新型模板的图像超分辨率增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710453264.6A CN107330854B (zh) | 2017-06-15 | 2017-06-15 | 一种基于新型模板的图像超分辨率增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107330854A true CN107330854A (zh) | 2017-11-07 |
| CN107330854B CN107330854B (zh) | 2019-09-17 |
Family
ID=60194998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710453264.6A Expired - Fee Related CN107330854B (zh) | 2017-06-15 | 2017-06-15 | 一种基于新型模板的图像超分辨率增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107330854B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765287A (zh) * | 2018-05-09 | 2018-11-06 | 浙江师范大学 | 一种基于非局部均值的图像超分辨率方法 |
| CN110415242A (zh) * | 2019-08-02 | 2019-11-05 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于参考图像的超分辨倍率评价方法 |
| CN111223058A (zh) * | 2019-12-27 | 2020-06-02 | 杭州雄迈集成电路技术股份有限公司 | 一种图像增强方法 |
| CN111507970A (zh) * | 2020-04-20 | 2020-08-07 | 北京英迈琪科技有限公司 | 一种图像融合质量检测方法及装置 |
| CN112967209A (zh) * | 2021-04-23 | 2021-06-15 | 上海大学 | 一种基于多倍采样的内窥镜图像血管纹理增强方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102651127A (zh) * | 2012-04-01 | 2012-08-29 | 深圳市万兴软件有限公司 | 一种超分辨率重建的图像处理方法及系统 |
| US20160005158A1 (en) * | 2013-02-26 | 2016-01-07 | Konica Minolta, Inc. | Image processing device and image processing method |
-
2017
- 2017-06-15 CN CN201710453264.6A patent/CN107330854B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102651127A (zh) * | 2012-04-01 | 2012-08-29 | 深圳市万兴软件有限公司 | 一种超分辨率重建的图像处理方法及系统 |
| US20160005158A1 (en) * | 2013-02-26 | 2016-01-07 | Konica Minolta, Inc. | Image processing device and image processing method |
Non-Patent Citations (1)
| Title |
|---|
| 周尚波 等: "分数阶偏微分方程在图像处理中的应用", 《计算机应用》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765287A (zh) * | 2018-05-09 | 2018-11-06 | 浙江师范大学 | 一种基于非局部均值的图像超分辨率方法 |
| CN108765287B (zh) * | 2018-05-09 | 2022-02-11 | 浙江师范大学 | 一种基于非局部均值的图像超分辨率方法 |
| CN110415242A (zh) * | 2019-08-02 | 2019-11-05 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于参考图像的超分辨倍率评价方法 |
| CN111223058A (zh) * | 2019-12-27 | 2020-06-02 | 杭州雄迈集成电路技术股份有限公司 | 一种图像增强方法 |
| CN111507970A (zh) * | 2020-04-20 | 2020-08-07 | 北京英迈琪科技有限公司 | 一种图像融合质量检测方法及装置 |
| CN111507970B (zh) * | 2020-04-20 | 2022-01-11 | 重庆七腾科技有限公司 | 一种图像融合质量检测方法及装置 |
| CN112967209A (zh) * | 2021-04-23 | 2021-06-15 | 上海大学 | 一种基于多倍采样的内窥镜图像血管纹理增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107330854B (zh) | 2019-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330854B (zh) | 一种基于新型模板的图像超分辨率增强方法 | |
| CN108537733B (zh) | 基于多路径深度卷积神经网络的超分辨率重建方法 | |
| CN107958444A (zh) | 一种基于深度学习的人脸超分辨率重建方法 | |
| CN101299235B (zh) | 一种基于核主成分分析的人脸超分辨率重构方法 | |
| CN109389556A (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
| WO2021022929A1 (zh) | 一种单帧图像超分辨率重建方法 | |
| CN103824272B (zh) | 基于k近邻重识别的人脸超分辨率重建方法 | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| CN105069746A (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
| CN105046672A (zh) | 一种图像超分辨率重建方法 | |
| CN106296586B (zh) | 基于凸组合方式的多帧低分辨率图像超分辨率重建方法 | |
| CN102902961A (zh) | 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法 | |
| CN105513033B (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
| CN105631807A (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
| CN106127688A (zh) | 一种超分辨率图像重建方法及其系统 | |
| CN107341765A (zh) | 一种基于卡通纹理分解的图像超分辨率重建方法 | |
| CN104735360B (zh) | 光场图像处理方法和装置 | |
| CN101719266A (zh) | 一种基于仿射变换的正面人脸图像超分辨率重建方法 | |
| CN109922346A (zh) | 一种用于压缩感知图像信号重构的卷积神经网络 | |
| CN108280804A (zh) | 一种多帧图像超分辨率重建方法 | |
| Wang et al. | Wide weighted attention multi-scale network for accurate MR image super-resolution | |
| CN106169174A (zh) | 一种图像放大方法 | |
| CN107845065A (zh) | 超分辨率图像重建方法和装置 | |
| CN112767252B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN108257108A (zh) | 一种超分辨率图像重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190917 Termination date: 20200615 |