CN106709873B - 一种基于三次样条插值和迭代更新的超分辨率方法 - Google Patents
一种基于三次样条插值和迭代更新的超分辨率方法 Download PDFInfo
- Publication number
- CN106709873B CN106709873B CN201611137444.5A CN201611137444A CN106709873B CN 106709873 B CN106709873 B CN 106709873B CN 201611137444 A CN201611137444 A CN 201611137444A CN 106709873 B CN106709873 B CN 106709873B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- pixels
- pixel
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 132
- 238000012545 processing Methods 0.000 claims description 40
- 238000006731 degradation reaction Methods 0.000 claims description 11
- 230000015556 catabolic process Effects 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000000593 degrading effect Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract 1
- 238000012549 training Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
在传统的基于插值的超分辨率方法中，重建的图像的边缘部分会比较模糊，图像质量较差，不能满足人们的需求。因此，本发明提出了一种新的基于图像插值的超分辨率的方法，以克服传统方法中图像边缘模糊的问题。该方法首先利用Prewitt算子来提取图像边缘。然后，对于边缘像素，将沿着边缘的走向进行三次样条插值，这样能得以有效地控制边缘模糊问题。接着，将采用所提出的迭代更新的方法来对重建的高分辨率图像进行处理，直到其降质和下采样后的图像和已知的低分辨率的图像非常相似，以提高系统的性能。实验结果显示所提出的方法能的性能好于已有的插值方法。
Description
技术领域
本发明涉及一种图像超分辨率放大的方法，尤其涉及一种把低分辨率图像进行超分辨率放大得到高分辨率的图像的方法。
背景技术
随着数码相机、数字摄像机、数字电视等设备和互联网的飞速发展，人们对于高分辨率图像的需求与日俱增。但是，由于网络中存在传输带宽的限制，网络节点上存在存储空间的限制，传输和存储高分辨率的图像的代价很大，甚至于有时候是无法接受和无法实现的。因此，图像压缩技术被提出来在一定程度上解决这个问题。在图像或视频信息的发射端，常采用国际图像和视频标准这样的数据压缩技术来减少表示图像或视频的比特数，如JPEG标准、JPEG2000标准、MPEG系列标准、和H.26x系列标准等。接着，这些比特将通过网络传输到接收端并采用解压缩技术和工具来获得重构的图像。但是，由于受到网络不稳定性的影响，这些在网络中传输的压缩后的比特很容易受到不同种类的干扰和网络拥塞的影响而出错。当网络拥堵发生时，通常的解决方法是在网络中丢包。这样，在网络的接收端收到的压缩后的比特中将存在很多比特错。由于压缩后的比特对错误非常敏感，一个比特的错误常常导致后续很多比特的不可解码，直到在比特流中找到下一个比特同步点。不仅如此，由于数据压缩的影响，即使传输中没有出错，图像的质量还是会下降，并存在很多类型的重构的错误效应，如块效应、振铃效应等。因此，在接受段的图像的质量常常达不到人们的要求。为解决这一问题，单帧图像超分辨率技术被提出来以提高一幅图像的分辨率。这种技术的目的是得到比输入图像的分辨率更高分辨率的图像，并使输出的更高分辨率的图像具有相对较好的质量。这样，这种技术可以和以上所述的数据压缩技术相结合来在发射端只存储低分辨率额图像，并只发送低分辨率图像压缩后的比特。接着，在接收段，先对压缩比特流进行解码得到低分辨率的图像。然后，此低分辨率的图像将作为超分辨率处理的输入，通过超分辨率技术得到高分辨率的图像。由于只传输了表示低分辨率图像的比特，和原有的方案相比，可以大量地节约传输的比特数。这样，可大大减少传输的比特数和网络拥塞的机率。进一步地，存储低分辨率图像的空间会比存储高分辨率图像的空间小很多，可以大量地减少网络中的存储空间。虽然在接收端只接受到了低分辨率的图像，超分辨率处理后的高分辨率的重构图像对于人眼来说通常是可接受的，或者是看上去很愉悦的。因此，最近关于单帧图像超分辨率处理的研究越来越多，并有不断增加的趋势。
在现有的对于单帧图像超分辨率处理的研究中，文献中的方法可以被分为三类方法。在第一类方法中，使用插值的方法来从低分辨率的图像得到高分辨率的图像。这类方法通常具有较小的计算复杂度，因此，它们能够被很快地执行以满足实时应用的要求。但是，这类算法所重构的高分辨率图像的质量相对来说比较低，并且在高分辨率的图像中，其图像边缘部分通常比较模糊。
在第二类方法中，低分辨率的图像首先被划分为图像块。接着，将利用训练使用的高分辨率的图像和其对应的降质和下采样的低分辨率图像来提取低分辨率的图像块和其对应的高分辨率的图像块，并把这些图像块对保存在训练集合中。当训练阶段完成后，要放大的低分辨率的图像将作为在线处理过程的输入，以得到高分辨率的图像。对于在线处理阶段，输入的图像将被划分为具有重叠区域的候选图像块。接着，将利用计算距离的方法来在训练集合中找到和候选图像块最相近的K个低分辨率的图像块。接下来，将利用在训练集合中和这K个低分辨率图像块相对应的K个高分辨率的图像块的线性组合来获得高分辨率的图像块。由于一个低分辨率的图像块和其在训练集合中对应的高分辨率图像块在这些方法中被称为一组样例，这些方法被称为基于样例的方法。这些方法具有如下的缺点：(1)构建训练集合所需的时间非常长。(2)当训练集合中的图像和要放大的候选图像间的相关性较弱时，超分辨率放大的效果较差。(3)由于寻找K个近邻图像块的过程非常耗费时间，这些方法的在线处理阶段需要很长的处理时间。
在第三类超分辨率处理方法中，采用了稀疏表示的方法。它们首先利用低分辨率的图像块来训练低分辨率的稀疏的字典，并利用高分辨率的图像块来训练高分辨率的稀疏的字典。这两个字典训练的过程是有机地结合在一起共同训练的。在这些方法的在线处理阶段，低分辨率的图像块首先由训练的低分辨率的字典来优化地稀疏表示。接着，将利用高分辨率的稀疏字典和与其相关的低分辨率的字典表示低分辨率图像块的稀疏系数来获得高分辨率的图像块。这些方法具有如下缺点：(1)低分辨率的字典和高分辨率的字典的共同训练的过程非常耗费时间。(2)和基于样例的方法类似，当训练时所采用的图像和待放大的图像的相关性比较低时，超分辨率重构的图像的质量较差。(3)由于寻找优化的低分辨率字典和高分辨率的字典的稀疏表示的系数非常耗时，这些方法的在线的放大过程非常耗时。
从以上描述中，可以看出基于样例的方法和利用稀疏表示的方法都比较耗时，并具有较大的计算复杂度。因此，它们不适于实时应用的场合，特别是超分辨率视频放大的应用场合。同时可以看出，当低分辨率的图像和训练的图像的相关性比较弱时，以上两类方法重构的高分辨率的图像的质量较差。进一步地，这两类的方法通常存在块效应，这个效应会使图像的视觉效果较差。因此，本发明的重点在于研究基于插值的超分辨率的方法。
下面重点回顾一下已有的插值的方法：
(1)最近邻插值
在最近邻插值方法中，在(m，n)处未知的高分辨率像素值y(m，n)被设置为离其最近的低分辨率图像上的像素值。
(2)双线性插值
在一维的双线性插值的方法中，假设在两点上已知像素值为x(i)和x(j)，现在需要求解连接这两个像素的直线上的像素点上的值y(t)。已知此像素和以上两个像素的距离分别为d1和d2，那么在双线性插值方法下的未知像素值y(t)可表示为
从这个公式中，可以看出当图像的像素值不是线性变化的，此双线性插值方法的效果将会有所下降。同时，可以看出当图像的边缘走向不是水平或垂直的时候，双线性插值方法会造成图像的边缘模糊，以至于图像的边缘部分看不清楚。
(3)双立方插值
在双立方样条插值中，利用和当前像素周围的16个已知像素值的像素点来估计当前像素的像素值。MATLAB软件可以通过一个函数调用实现双立方插值。此方法的性能通常好于前面的两种方法。但是，这个方法同样存在使图像边缘模糊的问题。
(4)三次样条插值
在一维的立方样条插值中，通常需要知道两个以上像素的像素值。给定n+1个已知的像素值，那么就存在n个区间。在每个区间[xi，xi+1]上，样条函数S(x)具有如下的性质：(i)S(x)＝S(xi)(ii)S(x)的一阶和二阶导数连续。因此，在[xi，xi+1]区间上的样条函数可以表示为
S(x)＝ai+bi(x-xi)+ci(x-xi)2+di(x-xi)3 (2)
这里ai，bi，ci，di是可以利用以上两条性质求解出来的系数。从上式中，可以看出样条函数比线性插值函数更光滑。所以，通常情况下，该方法的性能要好于线性插值的方法。
为了克服以上一些方法中的放大图像中边缘模糊的问题，本发明提出了一个可以提高重构的高分辨率图像质量的新方法。该方法先对图像中的边缘像素和非边缘的平滑像素进行判别，然后对非边缘像素进行各向异性的扩散处理，对边缘像素采取沿着其边缘走向的三次样条插值。这样，可以避免其他插值方法中图像边缘部分模糊的缺点。
发明内容
在所提出的方法中，图像的边缘部分首先利用Prewitt梯度算子来检测。对于不在图像边缘上的一般像素，将利用各向异性的滤波来处理以估计其像素值。接着，以边缘像素为中心5×5的窗口，首先利用边缘走向的量化来处理。然后，沿着量化后的边缘走向来运行三次样条插值，以估计窗口中心的未知像素值点上的像素值。当所有的未知像素值的像素点都被处理之后，将对已放大的图像进行模拟的降质和下采样处理，以模拟未知的高分辨率图像降质和下采样后得到已知的低分辨率图像的过程。接着，当已知的低分辨率图像上的像素值和此模拟过程得到的像素值之间的绝对差值大于一个门限值时，选择此像素做进一步的处理。在选择像素周围的高分辨率像素的值将使用另一个各向异性的算子来处理和更新。当所有的选择像素的周围的高分辨率的像素都被处理后，将进行下一次降质和下采样的模拟，并再次选择绝对差值大的像素的周围的高分辨率像素进行下一次迭代的处理，直到低分辨率的图像中没有绝对差值大的像素为止。此时，所得到的高分辨率图像就是所提出的方法所处理的结果。以下将对本发明中的细节做进一步的说明。
(1)图像边缘像素的检测
这里采用Prewitt算子来和低分辨率的图像进行卷积运算，即，如下的Gx和Gy两个矩阵将和低分辨率图像IL进行卷积运算，得到像素点(i，j)的水平和垂直方向的梯度值GIx(i，j)和GIy(i，j)，则梯度的模值Gm(i，j)和相角θm(i，j)可如下表示，
在所提出的方法中，Gm(i，j)＞T1的像素将被设置为边缘像素。
(2)对图像平滑像素的处理
图像中非边缘像素是平滑像素。对于平滑像素，首先利用双立方插值对其进行处理，得到初始的高分辨率的像素值。然后，对这些高分辨率图像上的像素采用各向异性的操作以更好地对这些像素进行估计。这个各向异性的操作可如下表示，
这里f(i，j，t)和f(i，j，t+1)分别是在t次迭代和(t+1)次迭代中的像素值，
是f(i，j，t)的梯度的模值，m(x)是单调下降函数，div是散度算子，α和β是方法中的两个参数。当各向异性的滤波结束后，图像值只有很少的变化时，就停止这个迭代过程。
(3)对于边缘像素的处理
对于每个低分辨率图像上的边缘像素，标记其周围相邻的高分辨率像素为边缘像素。接着，利用以边缘像素为中心的5×5的窗口，首先采用边缘方向量化的方法来处理。在此量化过程中，边缘像素的梯度的角度被量化为0，
这些角度中的一个角度。然后，以高分辨率的边缘像素为中心，在其周围选择5×5的窗口中的25个低分辨率的像素。接下来，利用沿着量化的边缘方向，在此窗口中采用以上背景介绍中所描述的三次样条插值来沿着边缘的走向决定窗口中心高分辨率像素的值。在这个过程中，由于边缘像素值只是沿着边缘的方向进行滤波，将只有很少的边缘部分的模糊。所以，所提出的方法重建后的图像中的边缘模糊的效应很少。这也是所提出的方法的优点之一。
(4)降质过程和迭代更新过程
当所有的像素都被放大后，将对当前重建的高分辨率图像进行降质处理，以模拟由高分辨率的图像降质到低分辨率的图像的过程。首先，采用如下的算子对高分辨率的图像值进行卷积运算
接着，将利用下采样的过程来选择低分辨率的像素。然后，选择低分辨率的像素上原始的像素值和降质的像素值大于一门限值的像素。这些像素周围的高分辨率像素值需要更新以获得更好的图像质量，这也是所提出的方法比之前的插值方法具有更好性能的原因之一。在之前的方法中，并没有采用这种迭代更新的过程和方法。在所选择的像素周围的高分辨率的像素的像素值将采用如下的各向异性的算子来进行一步的计算和更新
这里gm和g′m分别是原始的已知的低分辨率图像上的像素值，和降质后的低分辨率图像上的像素值，并且它们四个是包围要更新的高分辨率像素的最近的低分辨率像素点上的像素值。cm是第m个系数，它们和第m个低分辨率的像素和中心要更新的高分辨率的像素之间的距离成反比。f(i，j，t)是第t次迭代更新后在(i，j)位置上的高分辨率的图像的像素值。
当所有所选择的像素周围的高分辨率的像素都被处理之后，将进行下一轮的降质和更新过程，直到在模拟的低分辨率的图像上没有要选择的像素为止。此时，所得到的高分辨率的图像就是所提出的方法的输出。
从以上的描述中，可以看出所提出的方法具有如下的优点：(1)图像中的边缘将被特殊地处理以减少图像中的模糊部分。(2)所采用的迭代更新过程可以进一步地提高系统的性能。
附图说明
下面结合附图对本发明作进一步的说明：
图1为本发明所采用的流程图。
图2为本发明所采用的原始的名称为Lena美国小姐的图像。
图3为对原始的Lena图像采用降质和4×4下采样因子的方法所得到的图像。
图4为对图3进行双立方插值所得到的图像。
图5为对图3进行本发明中的方法处理后的图像。
具体实施方式
在本发明的具体实施中，如附图1所示，包括如下步骤：
步骤1)对图像中的边缘像素进行检测，这里采用Prewitt算子来和每个低分辨率的像素进行卷积运算，即，以上说明书中由式(3)和(4)所给出的Gx和Gy两个矩阵将和低分辨率图像进行卷积运算，得到图像中如以上式(5)和式(6)所计算出的像素(i，j)的梯度的模值Gm(i，j)和角度θm(i，j)。在所提出的方法中，Gm(i，j)＞T1的像素将被设置为边缘像素(T1为事先设定的阈值，本发明中设置T1＝150)，其他像素为非边缘像素，对非边缘像素进行如下步骤2)的处理，对于边缘像素，将进行如下步骤3)的处理。
步骤2)对低分辨率图像中平滑像素(非边缘像素)的处理，图像中非边缘像素是平滑像素，对于平滑像素，首先利用双立方插值对其进行处理，得到初始的高分辨率的像素值，然后，对这些高分辨率图像上的像素采用各向异性的操作以更好地对这些像素进行估计，这个各向异性的操作如以上式(7)所表示。在当前各向异性的滤波的操作完成后，如果此次迭代中图像上只有很少的像素的像素值产生变化时，就停止这个迭代过程；在完成此步骤后，对平滑像素将跳到以下步骤4)进行处理。
步骤3)对于边缘像素的处理，对于每个低分辨率图像上的边缘像素，首先标记其周围相邻的高分辨率像素为边缘像素，接着，利用以边缘像素为中心的5×5的窗口，首先采用边缘方向量化的方法来处理，在此量化过程中，边缘像素的梯度的角度被量化为0，
这些角度中的一个角度，然后，以高分辨率的边缘像素为中心，在其周围选择5×5的窗口中的25个低分辨率的像素，接下来，利用沿着量化的角度的边缘方向，在此窗口中采用三次样条插值来决定窗口中心高分辨率像素的值，在这个过程中，由于边缘像素值只是沿着边缘的方向进行插值，将产生很少的边缘部分的模糊现象，在对边缘像素进行本步骤的处理后，将进行如下步骤4)的处理。
步骤4)降质过程和迭代更新过程，当所有的像素都被放大后，将对当前重建的高分辨率图像进行降质处理，以模拟由高分辨率的图像降质到低分辨率的图像的过程，首先，采用如以上式(8)所述的算子对高分辨率的图像值进行卷积运算，接着，将利用下采样的过程来选择低分辨率的像素，然后，选择低分辨率的像素上原始的像素值和降质的像素值大于一门限值T2的像素，本发明中设置T2＝10，这些像素周围的高分辨率像素值需要更新以获得更好的图像质量，在所选择的像素周围的高分辨率的像素的像素值将采用如上式(9)所述的各向异性的算子来进行一步的计算和更新。当所有所选择的像素周围的高分辨率的像素都被处理之后，将进行下一轮的降质和更新过程，直到在模拟的低分辨率的图像上没有要选择的像素为止，此时，所得到的高分辨率的图像就是所提出的方法的输出。
对本发明的方法的实验所选择的测试图像来自于南加州大学信号和图像处理实验室的网站上的如附图2所示的图像。实验中所采用的放大因子为4×4，即所测试的图像首先将采用公式(8)进行卷积操作，然后进行下采样，每隔4行或4列选择一个像素。这样得到的图像将成为如附图3所示的测试的需要进行超分辨率放大的低分辨率的图像。接着，采用各种插值方法和所提出的方法对这些图像进行处理，所采用的放大因子为4×4。各种超分辨率方法所取得的图像的质量将由原始的测试图像和采用超分辨率方法放大的图像之间的差距来衡量。这里，将选择峰值信噪比(PSNR)指标来衡量各种方法的性能。由于双立方插值方法是当前所采用的方法并具有较好的性能，所提出的方法将和这个方法进行对比。
附图4和附图5分别是采用双线性插值方法和所提出的方法对附图3进行超分辨率放大的结果。从这些图像中，可以看出所提出的方法所得到的图像的质量要好于采用双立方插值的方法所得到的图像的质量。
表1.对各种方法的PSNR指标的比较
表2.对各种方法的SSIM指标的比较
表1和表2中分别列出了采用双立方插值方法和所提出的方法对各种图像进行处理的在PSNR(峰值信噪比)和SSIM(结构相似性)指标上的实验结果。从这些表格中，可以看出，所提出的方法比双立方插值方法具有更好的性能。
综上所述，本发明提出了一种新的图像超分辨率方法。该方法首先采用Prewitt算子来提取图像边缘像素。接着，对非边缘像素，采用双线性插值和各向异性的滤波来处理，对边缘像素，采用沿着边缘方向的三次样条插值来进行处理，以克服传统的超分辨率方法中存在图像边缘部分模糊的缺点。进一步地，本发明提出了一个迭代更新方法以提高系统的性能，以使降质过的高分辨率的图像和原始的低分辨率图像相似，减少超分辨处理的误差。本发明对各种图像进行了实验，实验结果表示所提出的方法的性能要好于传统的基于插值的超分辨率方法。
Claims (1)
1.一种图像处理中的超分辨率处理的方法，用于处理低分辨率的图像或视频，以把低分辨率的图像或视频转换为高分辨率的图像或视频，其特征在于：包括以下步骤，
1)对图像中的边缘像素进行检测，这里用如下的Gx和Gy表示的Prewitt算子来分别和低分辨率图像进行卷积运算，得到水平和垂直方向的梯度数组GIx和GIy，则在像素点(i，j)的水平和垂直方向梯度分布为GIx(i，j)和GIy(i，j)，则有
以上梯度的模值和相角分别为Gm(i，j)，θm(i，j)，且Gm(i，j)＞T1的像素将被设置为边缘像素，T1为事先设定的阈值，设置T1＝150，其他像素为非边缘像素，对非边缘像素进行如下步骤2)的处理，对于边缘像素，将进行如下步骤3)的处理；
2)对低分辨率图像中非边缘像素的处理，图像中非边缘像素是平滑像素，对于平滑像素，首先利用双立方插值对其进行处理，得到初始的高分辨率的像素值，然后，对这些高分辨率图像上的像素采用各向异性的操作以更好地对这些像素进行估计，这个各向异性的操作可如下表示，
这里f(i，j，t)和f(i，j，t+1)分别是在t次迭代和(t+1)次迭代中的像素值，
是f(i，j，t)的梯度的模值，m(x)是单调下降函数，取m(x)＝e-2x，div是散度算子，α和β是方法中的两个参数，设置α＝0.3，β＝0.2，在当前各向异性的滤波的操作完成后，如果此次迭代中图像上只有很少的像素的像素值产生变化时，就停止这个迭代过程；在完成此步骤后，对平滑像素将跳到以下步骤4)进行处理；
3)对于边缘像素的处理，对于每个低分辨率图像上的边缘像素，首先标记其周围相邻的高分辨率像素为边缘像素，接着，利用以边缘像素为中心的5×5的窗口，首先采用边缘方向量化的方法来处理，在此量化过程中，边缘像素的梯度的角度被量化为0，
这些角度中的一个角度，然后，以高分辨率的边缘像素为中心，在其周围选择5×5的窗口中的25个低分辨率的像素，接下来，利用沿着量化的角度的边缘方向，在此窗口中采用三次样条插值来决定窗口中心高分辨率像素的值，在这个过程中，由于边缘像素值只是沿着边缘的方向进行插值，将产生很少的边缘部分的模糊现象，在对边缘像素进行本步骤的处理后，将进行如下步骤4)的处理；
4)降质过程和迭代更新过程，当所有的像素都被放大后，将对当前重建的高分辨率图像进行降质处理，以模拟由高分辨率的图像降质到低分辨率的图像的过程，首先，采用如下的算子对高分辨率的图像值进行卷积运算
接着，将利用下采样的过程来选择低分辨率的像素，然后，选择低分辨率的像素上原始的像素值和降质的像素值大于一门限值T2的像素，设置T2＝10，这些像素周围的高分辨率像素值需要更新以获得更好的图像质量，在所选择的像素周围的高分辨率的像素的像素值将采用如下的各向异性的算子来进行一步的计算和更新
这里gm和g′m分别是原始的已知的低分辨率图像上的像素值，和降质后的低分辨率图像上的像素值，并且它们四个是包围要更新的高分辨率像素的最近的低分辨率像素点上的像素值，cm是第m个系数，它们和第m个低分辨率的像素和要更新的高分辨率的像素之间的距离成反比，且
f(i，j，t)是第t次迭代更新后在(i，j)位置上的高分辨率的图像的像素值，当所有所选择的像素周围的高分辨率的像素都被处理之后，将进行下一轮的降质和更新过程，直到在模拟的低分辨率的图像上没有要选择的像素为止，此时，所得到的高分辨率的图像就是所提出的方法的输出。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2016110071341 | 2016-11-11 | ||
| CN201611007134 | 2016-11-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106709873A CN106709873A (zh) | 2017-05-24 |
| CN106709873B true CN106709873B (zh) | 2020-12-18 |
Family
ID=58936763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611137444.5A Active CN106709873B (zh) | 2016-11-11 | 2016-12-03 | 一种基于三次样条插值和迭代更新的超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106709873B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612294A (zh) * | 2020-12-08 | 2022-06-10 | 武汉Tcl集团工业研究院有限公司 | 一种图像超分辨率处理方法和计算机设备 |
| CN113010038B (zh) * | 2021-02-09 | 2024-02-02 | 北京工业大学 | 一种基于超分辨率重构的超声兰姆波触控载荷识别方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101226630A (zh) * | 2007-09-27 | 2008-07-23 | 四川虹微技术有限公司 | 基于三次样条函数的插值方法 |
| CN102231204A (zh) * | 2011-06-20 | 2011-11-02 | 南京航空航天大学 | 一种序列图像自适应正则超分辨率重建方法 |
| CN103903241A (zh) * | 2014-04-03 | 2014-07-02 | 浙江师范大学 | 基于带邻边样例的图像超分辨率方法 |
| WO2014169238A1 (en) * | 2013-04-11 | 2014-10-16 | Digimarc Corporation | Methods for object recognition and related arrangements |
| CN105260986A (zh) * | 2015-10-13 | 2016-01-20 | 武汉大学 | 一种抗模糊的图像放大方法 |
| CN105469360A (zh) * | 2015-12-25 | 2016-04-06 | 西北工业大学 | 基于非局部联合稀疏表示的高光谱图像超分辨率重建方法 |
| US9478007B2 (en) * | 2015-01-21 | 2016-10-25 | Samsung Electronics Co., Ltd. | Stable video super-resolution by edge strength optimization |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI543586B (zh) * | 2014-05-30 | 2016-07-21 | 國立交通大學 | 影像增強的方法及其影像處理裝置與電腦程式產品 |
-
2016
- 2016-12-03 CN CN201611137444.5A patent/CN106709873B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101226630A (zh) * | 2007-09-27 | 2008-07-23 | 四川虹微技术有限公司 | 基于三次样条函数的插值方法 |
| CN102231204A (zh) * | 2011-06-20 | 2011-11-02 | 南京航空航天大学 | 一种序列图像自适应正则超分辨率重建方法 |
| WO2014169238A1 (en) * | 2013-04-11 | 2014-10-16 | Digimarc Corporation | Methods for object recognition and related arrangements |
| CN103903241A (zh) * | 2014-04-03 | 2014-07-02 | 浙江师范大学 | 基于带邻边样例的图像超分辨率方法 |
| US9478007B2 (en) * | 2015-01-21 | 2016-10-25 | Samsung Electronics Co., Ltd. | Stable video super-resolution by edge strength optimization |
| CN105260986A (zh) * | 2015-10-13 | 2016-01-20 | 武汉大学 | 一种抗模糊的图像放大方法 |
| CN105469360A (zh) * | 2015-12-25 | 2016-04-06 | 西北工业大学 | 基于非局部联合稀疏表示的高光谱图像超分辨率重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| Tropical Cyclone Cloud Image Segmentation by the B-Spline Histogram with Multi-Scale Transforms;zhang changjiang 等;《Acta Meteorologica Sinica》;20100131;第24卷(第1期);第78-94页 * |
| Unified Blind Method for Multi-Image Super-Resolution and Single/Multi-Image Blur Deconvolution;Esmaeil Faramarzi 等;《IEEE Transactions on Image Processing》;20130630;第22卷(第6期);第2101-2114页 * |
| 基于边缘像素点分类和插值的图像放大新算法;端木春江 等;《计算机时代》;20150430(第4期);第1-2,5页 * |
| 改进边缘质量和运动估计的超分辨率图像重构;梁玉 等;《信号处理》;20150131;第31卷;第26-33页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106709873A (zh) | 2017-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Color demosaicking by local directional interpolation and nonlocal adaptive thresholding | |
| Zhao et al. | Multi-focus image fusion based on the neighbor distance | |
| KR20130001213A (ko) | 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템 | |
| CN112801877B (zh) | 一种视频帧的超分辨率重构方法 | |
| CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
| EP2145476B1 (en) | Image compression and decompression using the pixon method | |
| Kim et al. | Towards the perceptual quality enhancement of low bit-rate compressed images | |
| CN108460723B (zh) | 基于邻域相似性的双边全变分图像超分辨率重建方法 | |
| CN115578255A (zh) | 一种基于帧间亚像素块匹配的超分辨率重建方法 | |
| Vishnukumar et al. | Single image super-resolution based on compressive sensing and improved TV minimization sparse recovery | |
| CN106709873B (zh) | 一种基于三次样条插值和迭代更新的超分辨率方法 | |
| CN116957940A (zh) | 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法 | |
| Qiu et al. | Noisy image super-resolution with sparse mixing estimators | |
| Niu et al. | Edge-based perceptual image coding | |
| Fan et al. | Single image super resolution method based on edge preservation | |
| Sun et al. | Reduced-reference image quality assessment through SIFT intensity ratio | |
| CN108681988B (zh) | 一种基于多幅图像的鲁棒的图像分辨率增强方法 | |
| Jeevan et al. | An algorithm for wavelet thresholding based image denoising by representing images in hexagonal lattice | |
| Duanmu et al. | A New Interpolation-Based Super-Resolution Algorithm by the Cubic Spline Interpolation for Edge Pixels and Iterative Update Method | |
| Ramakanth et al. | Super resolution using a single image dictionary | |
| WO2015128302A1 (en) | Method and apparatus for filtering and analyzing a noise in an image | |
| Sreeja et al. | Single image super-resolution based on compressive sensing and TV minimization sparse recovery for remote sensing images | |
| Lee et al. | Weighted DCT-IF for Image up Scaling | |
| Jakhetiya et al. | A survey on image interpolation methods | |
| Panda et al. | A Novel Image Upscaling Method Using High Order Error Sharpening |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230613 Address after: 509 Kangrui Times Square, Keyuan Business Building, 39 Huarong Road, Gaofeng Community, Dalang Street, Longhua District, Shenzhen, Guangdong Province, 518000 Patentee after: Shenzhen lizhuan Technology Transfer Center Co.,Ltd. Address before: 321004 Zhejiang Normal University, 688 Yingbin Avenue, Wucheng District, Jinhua City, Zhejiang Province Patentee before: ZHEJIANG NORMAL University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240125 Address after: No. 152, 1st Floor, Unit 1, Building 1, Chengnan Lingyu, No. 88 Zhengxi Street, Huayang Street, Tianfu New District, Chengdu City, Sichuan Province, 610000 Patentee after: Sichuan Hongyun Technology Co.,Ltd. Country or region after: China Address before: 509 Kangrui Times Square, Keyuan Business Building, 39 Huarong Road, Gaofeng Community, Dalang Street, Longhua District, Shenzhen, Guangdong Province, 518000 Patentee before: Shenzhen lizhuan Technology Transfer Center Co.,Ltd. Country or region before: China |