CN107993196A - 基于预测校验的图像插值方法及系统 - Google Patents

基于预测校验的图像插值方法及系统 Download PDF

Info

Publication number
CN107993196A
CN107993196A CN201711315661.3A CN201711315661A CN107993196A CN 107993196 A CN107993196 A CN 107993196A CN 201711315661 A CN201711315661 A CN 201711315661A CN 107993196 A CN107993196 A CN 107993196A
Authority
CN
China
Prior art keywords
image
pixel
gradient
edge
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711315661.3A
Other languages
English (en)
Other versions
CN107993196B (zh
Inventor
钟宝江
陆志芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Tengshuicheng Technology Co ltd
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201711315661.3A priority Critical patent/CN107993196B/zh
Publication of CN107993196A publication Critical patent/CN107993196A/zh
Application granted granted Critical
Publication of CN107993196B publication Critical patent/CN107993196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于预测校验的图像插值方法及系统，方法包括利用图像插值算法对已知的LR图像进行插值，得到预插值的高分辨率图像HR1；计算每个像素在θ方向上的梯度得到各梯度对应的扩散梯度根据每个像素的扩散梯度判断出高分辨率图像HR1中每个未知像素的性质，得到高分辨率图像HR1上的边缘像素信息；对高分辨率图像HR1上的边缘像素信息进行校正，对边缘像素信息内的边缘像素进行更新，得到新的高分辨率图像HR2，关键点在于图像边缘像素的处理，得到视觉效果更好的高分辨率图像，具有良好的应用前景。

Description

基于预测校验的图像插值方法及系统
技术领域
本发明涉及图像处理领域，具体涉及一种基于预测校验的图像插值方法及系统。
背景技术
为保护图像边缘附近的非边缘像素，避免在插值过程中被模糊化，2013年Wei和Ma在其研究工作中给出了对图像边缘一种新的理解与阐述，即为了保证最终的插值效果，在插值过程中需要同时考虑距离传统的图像边缘一定范围内的非边缘像素并对其进行保护，这一做法也可称为“边缘扩散”。在图像插值过程中，通过对原LR(低分辨率图像)图像采用不同的掩膜(方向梯度算子)行卷积运算，我们可以计算每个像素在不同方向上的梯度，然后通过某一像素正交方向上的梯度差异大小来判断此像素性质P(e,θ)(是否是边缘像素，若是边缘像素其边缘方向如何)需要得到高分辨率图像HR(高分辨率图像)，所以需要确定HR图像上每个像素的性质。目前，采用最近邻方式来预测HR图像上像素性质，此方式虽然简单却容易在边缘处产生诸多问题；并且CGI算法一样是从LR图像上像素信息预估HR图像上像素信息，这是一个由少数已知值估测多数未知值的过程，且后续的图像插值也是一个基于少数估计多数的问题，因此，将这两个问题叠加起来解决会增加最终图像插值精确度的负担。
于是，我们渴望找到一种解决方案，使得既可以尽可能的考虑图像的边缘信息，又不需要增加多于的估测过程降低最后的插值结果，是当前需要解决的问题。
发明内容
本发明的目的是克服现有的对图像边缘处理中，最终的插值效果不佳的问题。本发明的基于预测校验的图像插值方法及系统，从预插值的高分辨率图像出发，推测像素性质，然后边缘信息校正，更新边缘像素，从而得到精确度更高，视觉效果更好的高分辨率图像，具有良好的应用前景。
为了达到上述目的，本发明所采用的技术方案是：
基于预测校验的图像插值方法，其特征在于：包括以下步骤，
步骤(A)，利用图像插值算法对已知的LR图像进行插值，得到预插值的高分辨率图像HR1；
步骤(B)，根据高分辨率图像HR1，计算其上的每个像素在θ方向上的梯度
步骤(C)，根据每个像素在θ方向上的梯度得到该梯度对应的扩散梯度
步骤(D)，根据每个像素的扩散梯度判断出高分辨率图像HR1中每个未知像素的性质，得到高分辨率图像HR1上的边缘像素信息；
步骤(E)，对高分辨率图像HR1上的边缘像素信息进行校正，对边缘像素信息内的边缘像素进行更新，得到新的高分辨率图像HR2。
前述的基于预测校验的图像插值方法，其特征在于：步骤(A)，利用图像插值算法对已知的LR图像进行插值，得到预插值的高分辨率图像HR1，如公式(1)所示，
I(h)(i,j)＝Ω(I(l)(i,j)) (1)
其中，I(l)(i,j)为已知的LR图像；I(h)(i,j)为预插值的高分辨率图像HR1；Ω为图像插值算法。
前述的基于预测校验的图像插值方法，其特征在于：所述图像插值算法Ω为两倍图像插值算法。
前述的基于预测校验的图像插值方法，其特征在于：步骤(B)，根据高分辨率图像HR1，计算其上的每个像素在θ方向上的梯度包括以下步骤，
(B1)每个像素在θ方向上的梯度如公式(2)所示，
其中，为是方向导数，在离散情形下，用卷积来计算方向导数，如公式(3)所示，
其中，*为卷积操作，Sθ为边缘检测算子所对应的掩模；
(B2)取θ＝0°，θ＝45°，θ＝90°以及θ＝135°，根据采用4个3×3的卷积掩模，计算四种情况下对应的梯度 如公式(4)-公式(7)所示，
前述的基于预测校验的图像插值方法，其特征在于：步骤(C)，根据每个像素在θ方向上的梯度得到该梯度对应的扩散梯度如公式(8)所示，
其中，为像素(i,j)在θ方向上的梯度值，是计算得到的梯度值的平方，λ是正则参数，并根据梯度 得到对应的扩散梯度 以及
前述的基于预测校验的图像插值方法，其特征在于：步骤(D)，根据每个像素的扩散梯度判断出高分辨率图像HR1中每个未知像素的性质，得到高分辨率图像HR1上的边缘像素信息，包括以下步骤，
(D1)，令对应高分辨率图像HR1上的每个像素，在θ＝0°，θ＝45°，θ＝90°以及θ＝135°四个方向上的扩散梯度分别为 以及
(D2)，将这四个方向分成两组正交方向进行比较，其中和是一组，和是一组；
(D3)，对于对角方向上的像素，若则此像素是边缘像素，此时，若则θ＝135°；若则θ＝45°；若则此像素是非边缘像素，不作处理，其中，T为阈值；
(D4)，对于水平和垂直方向上的像素，若此像素是边缘像素，此时，若则θ＝90°；若则θ＝0°；若则此像素是非边缘像素，不作处理，其中，T为阈值；
(D5)，根据(D3)和(D4)，得到高分辨率图像HR1上的边缘像素信息，所示高分辨率图像HR1上的边缘像素信息为需要处理的边缘像素。
前述的基于预测校验的图像插值方法，其特征在于：步骤(E)，对高分辨率图像HR1上的边缘像素信息进行校正，对边缘像素信息内的边缘像素进行更新，得到新的高分辨率图像HR2，包括以下步骤，
(E1)，对于边缘像素，根据公式(9)进行校正，
I＝ω(Ia+Ib)+(0.5-ω)(Ic+Id) (9)
其中，ω是可调参数，I表示待求像素的灰度值；Ia，Ib，Ic以及Id表示已知边缘像素的灰度值，其中，Ia，Ib，Ic以及Id的确定过程如下，
对于像素插值，u45(i,j)-u135(i,j)＞T，则θ＝135°，此时，
Ia＝I(h)(i-1,j-1)，Ib＝I(h)(i+1,j+1)，Ic＝I(h)Ih(i-3,j-3)，Id＝I(h)(i+3,j+3)；
若u135(i,j)-u45(i,j)＞T，则θ＝45°，此时，
Ia＝I(h)(i+1,j-1)，Ib＝I(h)(i-1,j+1)，Ic＝I(h)(i+3,j-3)，Id＝I(h)(i-3,j+3)；
对于水平和垂直像素插值，若u0(i,j)-u90(i,j)＞T，则θ＝90°，此时，
Ia＝I(h)(i-1,j)，Ib＝I(h)(i+1,j)，Ic＝I(h)(i-3,j)，Id＝I(h)(i+3,j)；
若u90(i,j)-u0(i,j)＞T，则θ＝0°，此时，
Ia＝I(h)(i,j-1)，Ib＝I(h)(i,j+1)，Ic＝I(h)(i,j-3)，Id＝I(h)(i,j+3)。
(E2)，根据(E1)对边缘像素信息内的各个边缘像素进行更新，得到新的高分辨率图像HR2。
前述的基于预测校验的图像插值方法，其特征在于：所述阈值T，取值为0.021。
前述的基于预测校验的图像插值方法，其特征在于：所述阈可调参数ω，取值为0.575。
一种基于预测校验的图像插值系统，包括预测器单元、校验器单元，
所述预测器，用于利用图像插值算法对已知的LR图像进行插值，得到预插值的高分辨率图像HR1；
所述校验器，用于将高分辨率图像HR1上的边缘像素信息进行校正，边缘像素信息内的边缘像素进行更新，得到新的高分辨率图像HR2；
所述校验器，包括梯度计算单元、扩散梯度计算单元、边缘像素信息校正及更新单元；
所述梯度计算单元，用于根据高分辨率图像HR1，计算其上的每个像素在θ方向上的梯度
所述扩散梯度计算单元，用于根据每个像素在θ方向上的梯度得到该梯度对应的扩散梯度
所述边缘像素信息校正及更新单元，用于对高分辨率图像HR1上的边缘像素信息进行校正，对边缘像素信息内的边缘像素进行更新，得到新的高分辨率图像HR2。
本发明的有益效果是：本发明的基于预测校验的图像插值方法及系统，从预插值的高分辨率图像出发，推测像素性质，然后边缘信息校正，更新边缘像素，从而得到精确度更高，视觉效果更好的高分辨率图像，关键点在于图像边缘像素的处理，具有良好的应用前景。
附图说明
图1是本发明的基于预测校验的图像插值方法的流程图；
图2是传统的CGI算法的流程图；
图3是传统的CGI算法与本发明算法的梯度预测细节比较图；
图4是传统的CGI算法与本发明算法的梯度预测能量比较图；
图5是传统的CGI算法与本发明算法的梯度预测二值比较图；
图6是本发明的基于预测校验的图像插值系统的系统框图；
图7是实验中用到的8幅测试图像示意图；
图8是直接降采样与双三次降采样的对比图；
图9是各算法对“Station”的插值结果比较图；
图10是各算法对“Wheel”的插值结果比较图；
图11是测评人员对SME、CGI、PCI三种算法的主观评价网格图；
图12是各算法对彩色图像“Cloth”的8倍插值结果比较图；
图13是各算法对彩色图像“Butterfly”的4倍插值结果比较图；
图14是各算法对彩色图像“Butterfly2”的2倍插值结果比较图；
图15是图像“Lena”的算法抗高斯噪声效果图；
图16是图像“Lena”的算法抗高斯噪声比较图；
图17是测试图像“Lena”上加上椒盐噪声后，Bicubic、SRCNN和PCI的插值结果示意图；
图18是图像“Lena”的算法抗椒盐噪声比较图；
图19是图像“Lena”的算法抗JEPG压缩效果图；
图20是图像“Lena”的算法抗JEPG压缩比较图。
具体实施方式
下面将结合说明书附图，对本发明作进一步的说明。
如图1所示，本发明的的基于预测校验的图像插值方法，包括以下步骤，
步骤(A)，利用图像插值算法对已知的LR图像进行插值，得到预插值的高分辨率图像HR1，如公式(1)所示，
I(h)(i,j)＝Ω(I(l)(i,j)) (1)
其中，I(l)(i,j)为已知的LR图像，其中1≤i≤M，1≤j≤N，即原始图像的大小是M×N；I(h)(i,j)为预插值的高分辨率图像HR1，其大小为m×n；Ω为图像插值算法，所述图像插值算法Ω为两倍图像插值算法，如图2所示，传统的CGI(边缘对比度引导的图像插值(Contrast-Guided Image Interpolation,CGI)算法)算法第一步需要利用已知的LR图像获取其4个方向上的边缘对比度信息；然后利用双三次插值算法对LR图像进行预插值；接着通过LR图像的边缘对比度信息计算HR图像上的边缘像素；最后对边缘像素进行像素更新就可以得到最终的高分辨率图像，此算法中有两个地方会影响最终的插值效果，包括，
1)高分辨率图像上像素性质的判断；
2)边缘像素的扩散；
CGI算法采用最近邻的方式预测HR图像上的像素性质，这种做法虽然速度较快，但是在多条边缘交叉时，却会产生问题，PGI(基于预测梯度的图像插值算法(ImageInterpolation with Predicted Gradients))算法就是为了解决上述问题，提出换用双三次插值算法预测HR图像上的像素性质，这样在预测时可以尽可能考虑待计算像素附近的像素信息从而提升最终的预测准确度。然而，上述两种算法都存在一个问题，即从有限的LR图像信息中预测更多数量的HR图像的像素性质，这与图像插值问题类似，本质上是一个较病态的问题。由此，我们思索能否直接从HR图像上预测像素性质？答案是否定的，本质是计算最终的插值图像HR，又如何从未知的图像上预测信息呢，那我们能否另辟蹊径，先采用某一插值算法得到高分辨率图像HR后，然后直接从此HR图像出发计算每个像素的性质，接着对边缘像素进行扩散更新，从而得到最终高分辨率图像。我们的回答是“完全可以”，这一过程可被称为是“预测-校验”过程。由此，我们提出了一种新的图像插值算法-基于预测校验的图像插值算法(PCI)，具体见步骤(B)-步骤(E)，
步骤(B)，根据高分辨率图像HR1，计算其上的每个像素在θ方向上的梯度包括以下步骤，
(B1)每个像素在θ方向上的梯度如公式(2)所示，
其中，为是方向导数，在离散情形下，用卷积来计算方向导数，如公式(3)所示，
其中，*为卷积操作，Sθ为边缘检测算子所对应的掩模；
(B2)取θ＝0°，θ＝45°，θ＝90°以及θ＝135°，根据采用4个3×3的卷积掩模，计算四种情况下对应的梯度 如公式(4)-公式(7)所示，
如图3所示，给出了CGI和本发明的基于预测校验的图像插值(PCI)算法对一幅测试图像的梯度预测细节比较，图3(a)为LR图像的梯度细节图，从图3(b)可以看到，CGI从LR图像上预测出的梯度结果图显示其已无法确定图像的结构、边缘信息，对于边缘像素以及边缘方向的判断基本无能为力，继而无法正确引导后续的图像插值，但是，本发明的PCI算法从预插值的HR图像计算出的梯度图与原图相差不大，从图3(c)我们可以容易判断图像的边缘像素以及边缘方向，这样就能正确引导后续的图像插值，从而提高最终的插值效果；
如图4所示，给出了CGI和本发明的基于预测校验的图像插值(PCI)算法对一幅测试图像的梯度预测预测能量比较，可以看到，CGI算法预测处理出来的梯度结果边缘结构信息不明显，而图4(b)的最后一列说明CGI算法已基本丢失边缘信息，这不利于之后的边缘像素判断；而本发明的PCI算法由于采用预测校验的思想，从预插值的HR图像上预测高分辨率图像上的像素信息，其预测结果与原图类似，能量分布明显，有助于图像上边缘像素和边缘方向的判断，提高最后的插值质量；
如图5所示，给出了CGI和本发明的基于预测校验的图像插值(PCI)算法对测试图像的梯度预测二值化结果比较，可以看到，与PCI预测结果相比，CGI算法预测出的结果锯齿化现状较严重。并且，从图5的第二列图像可以看出，CGI算法完全丢失了此边缘方向上的像素信息，而PCI算法可以很好地预测其结果；
因此，从图3，图4以及图5可以得出结论：本发明的PCI算法较CGI算法可以更好地判断高分辨率图像上的像素信息(此像素是否是边缘像素以及边缘像素的方向)，这对之后的边缘像素的更新有着极其重要的影响；由于经过预插值之后，LR图像大小已经变成我们想要的HR图像，但是我们的目的是尽可能得到边缘较平滑，视觉效果较好的图像，因此，在预插值的HR图像上，只需要对边缘像素进行更新即可，解决三个问题：
1)区分出HR图像上的所有边缘像素；
2)判断此边缘像素方向；
3)对边缘像素沿着其边缘方向插值；
具体过程如下，如步骤(C)-步骤(E)，
步骤(C)，根据每个像素在θ方向上的梯度得到该梯度对应的扩散梯度如公式(8)所示，
其中，为像素(i,j)在θ方向上的梯度值，是计算得到的梯度值的平方，λ为正则参数，默认值为0.2，；并根据梯度得到对应的扩散梯度以及
步骤(D)，根据每个像素的扩散梯度判断出高分辨率图像HR1中每个未知像素的性质，得到高分辨率图像HR1上的边缘像素信息，包括以下步骤，
(D1)，令对应高分辨率图像HR1上的每个像素，在θ＝0°，θ＝45°，θ＝90°以及θ＝135°四个方向上的扩散梯度分别为 以及
(D2)，将这四个方向分成两组正交方向进行比较，其中和是一组，和是一组；
(D3)，对于对角方向上的像素，若则此像素是边缘像素，此时，若则θ＝135°；若则θ＝45°；若则此像素是非边缘像素，不作处理，其中，T为阈值；
(D4)，对于水平和垂直方向上的像素，若此像素是边缘像素，此时，若则θ＝90°；若则θ＝0°；若则此像素是非边缘像素，不作处理，其中，T为阈值；
(D5)，根据(D3)和(D4)，得到高分辨率图像HR1上的边缘像素信息，所示高分辨率图像HR1上的边缘像素信息为需要处理的边缘像素，优选的阈值T，取值为0.021；
步骤(E)，对高分辨率图像HR1上的边缘像素信息进行校正，对边缘像素信息内的边缘像素进行更新，得到新的高分辨率图像HR2，包括以下步骤，
(E1)，对于边缘像素，根据公式(9)进行校正，
I＝ω(Ia+Ib)+(0.5-ω)(Ic+Id) (9)
其中，ω是可调参数，I表示待求像素的灰度值；Ia，Ib，Ic以及Id表示已知边缘像素的灰度值，其中，Ia，Ib，Ic以及Id的确定过程如下，
对于像素插值，u45(i,j)-u135(i,j)＞T，则θ＝135°，此时，
Ia＝I(h)(i-1,j-1)，Ib＝I(h)(i+1,j+1)，Ic＝I(h)Ih(i-3,j-3)，Id＝I(h)(i+3,j+3)；
若u135(i,j)-u45(i,j)＞T，则θ＝45°，此时，
Ia＝I(h)(i+1,j-1)，Ib＝I(h)(i-1,j+1)，Ic＝I(h)(i+3,j-3)，Id＝I(h)(i-3,j+3)；
对于水平和垂直像素插值，若u0(i,j)-u90(i,j)＞T，则θ＝90°，此时，
Ia＝I(h)(i-1,j)，Ib＝I(h)(i+1,j)，Ic＝I(h)(i-3,j)，Id＝I(h)(i+3,j)；
若u90(i,j)-u0(i,j)＞T，则θ＝0°，此时，
Ia＝I(h)(i,j-1)，Ib＝I(h)(i,j+1)，Ic＝I(h)(i,j-3)，Id＝I(h)(i,j+3)。
(E2)，根据(E1)对边缘像素信息内的各个边缘像素进行更新，得到新的高分辨率图像HR2，优选的可调参数ω，取值为0.575。
如图6所示，基于预测校验的图像插值系统，包括预测器单元、校验器单元，
所述预测器，用于利用图像插值算法对已知的LR图像进行插值，得到预插值的高分辨率图像HR1；
所述校验器，用于将高分辨率图像HR1上的边缘像素信息进行校正，边缘像素信息内的边缘像素进行更新，得到新的高分辨率图像HR2；
所述校验器，包括梯度计算单元、扩散梯度计算单元、边缘像素信息校正及更新单元；
所述梯度计算单元，用于根据高分辨率图像HR1，计算其上的每个像素在θ方向上的梯度
所述扩散梯度计算单元，用于根据每个像素在θ方向上的梯度得到该梯度对应的扩散梯度
所述边缘像素信息校正及更新单元，用于对高分辨率图像HR1上的边缘像素信息进行校正，对边缘像素信息内的边缘像素进行更新，得到新的高分辨率图像HR2。
下面根据实验数据来证明的本发明的基于预测校验的图像插值方法及系统的优势，具体如下：
为测评此算法，我们选取了当前8种具有代表性的算法进行比较，分别是：双三次插值(Bicubic)法，边缘导向插值(NEDI)法，线性最小均方误差估计插值(LMMSE)法，软判决自适应插值(SAI)法，对称同态预测插值(SME)法，非局部自回归插值(NARM)法，对比度引导的图像插值(CGI)法以及快速边缘扩散插值(CED)法，实验环境如下：程序编写所基于的平台是MATLAB，版本是2014，CPU是2.30GHz的Inter Core，内存为4GB。各算法都是算法提出者编写的源代码(或是公布在主页上，或是通过邮件获取)，各个参数配置均是算法提出者所推荐的默认参数，
实验中用到的8幅测试图像如图7所示，它们分别为：“Lena”、“Station”、“Cameraman”、“House”、“Wheel”、“Parrot”、“Butterfly”以及“Bike”(512×768)。这8幅图像是图像插值领域常用的图像，内容包含纹理，边缘等重要信息，具有参考价值。如“Lena”图像，其鉴别度较高，平整的区块、清晰细致的纹路、渐渐变化的光影、颜色的深浅层次等，使它在验证影响处理演绎法则时，相当有成效。
除此之外，本发明还添加了另外的一种图像质量评价方法：主观评价方法。所谓主观评价就是召集一批实验观察者，让其根据一些事先规定的评价尺度或者自己的一些生活经验，对测试图像按照自己的视觉效果提出质量判断，并给出相应的质量分数。计算所有观察者测评分数的平均值，所得结果即为图像的主观质量评价结果。因为，图像的最终信宿是人，所以这种评价方法更为可靠。
在评价各算法的优劣之前，我们首先需要对图像插值前低分辨率图像LR的获取做一个统一。如图8所示，本文所比较的算法主要涉及两种降采样方式，一种是直接降采样(如图8(a)所示)，另一种是双三次降采样(如图8(b)所示)。所谓直接降采样就是所有的采样点一定是原先图像数据上的一点，插值之后的结果必然会有一部分像素与原图像像素重叠；而双三次降采样则不然，其采样点不一定是原图像上的点，因此最后插值得到的图像与原图像数据也不一定有相交。本节算法大部分都是使用直接降采样，这也符合人眼对低分辨率图像与高分辨率图像的认识。但是为了更进一步探究插值算法，我们也选用了一种2015年提出的采用双三次降采样的图像插值算法SRCNN(严格来讲此算法应该属于图像重建)。
客观评价：
表1是Bicubic，NEDI，LMMSE，SAI，SME，NARM，CGI，PGI以及本文提出的基于预测校验的PCI算法这9种不同插值算法所获得插值图像与参考图像的峰值信噪比(PSNR)。为便于比较，表格中最后一行的平均值为各算法相对于双三次插值算法所提高的结果(峰值信噪比增益)。从表1以看出，对于测试的8幅图像，由于预测校验思想的引入，PCI算法的PSNR值高于PGI算法。对于“Station”、“Cameraman”、“Wheel”、“Butterfly”以及“Bike”这五幅图像，新算法能够取得最高的PSNR值。NARM算法也能在其他一些测试图像上取得最高值，但是从表1最后一行数据可以看到，在平均PSNR值上PCI，优于其余8种算法(相对双三次插值的平均增益同为1.51)，
表1各算法插值得到的图像与原图像的PSNR(单位：dB)比较
表2是上述9种不同插值算法所获得插值图像与参考图像的结构相似度(SSIM)比较，从表1-2可以看出，在测试图像“Station”上，PGI在比较测试的9种算法中处于第一，且PCI算法得到的平均SSIM值高于其他所有算法，
表2各算法插值得到的图像与原图像的SSIM比较
表3是各算法处理8幅灰度图像的边缘保持性EPI比较。可以看到，PCI算法与其他8种算法相比，在测试图像“Cameraman”、“Wheel”和“Butterfly”上可以取得最优，但是在平均值上，效果低于PGI算法，屈居第二，
表3各算法插值得到的图像与原图像的边缘保持性EPI比较
主观评价：
如图9所示，给出了Bicubic、NEDI、LMMSE、SAI、SME、NARM、CGI、SRCNN以及PCI这9种算法对测试图像“Station”进行两倍插值的主观效果比较，蓝色框和黄色框是各插值图像上存在明显区别的地方。从图8可以看出，SRCNN算法在距离较近的边缘处出现了边缘相互影响导致的边缘连片现象。在客观评价部分表现较好的NARM以及CGI算法在边缘处的处理效果也不如人意。算法PCI不仅能够较平滑的处理图像边缘，在上述这种相近边缘附近也能够取得较好的实验结果。
如图10所示，是除SRCNN算法外的其余8种算法对测试图像“Wheel”进行两倍插值的主观效果比较，图像下方同时列出了对应算法插值得到图像的PSNR值。从图10可以看出，PCI算法在图像的紧密边缘处能够有效处理各条边缘，避免人工伪迹的生成，而其余算法或者是插值视觉效果不好，或者是最终产生了人工伪迹。而从PSNR值也可以看出，PCI算法可以取得最优效果。
实验中，为了让图像主体的人参与最终的图像评价，给出最符合人眼视觉特性的评价结果，我们设计了一种主观评价方式。选用图7所示的8幅测试图像进行实验。分别用SME，CGI以及PCI这三种插值算法对它们进行插值，并将插值结果做成PPT给评测人员进行评测。PPT中有8组图像，每组图像包含4幅图，分别是原图O，3种插值算法得到的图A，图B以及图C。评测过程中，评测人员仔细观察每组图像中3组插值算法得到的图像中的纹理部分与边缘部分等细节信息及其与原图像的区别并对它们进行评分(“3”代表最好，“2”代表中等，“1”代表最差)。也就是说，分数越高，说明对应的算法处理效果越好。
需要注意的是：3种插值算法得到的图像在每组中的位置是不固定的，比如：第一组图像的A与第二组图像的A不一定是用同一种插值算法得到的。这样做的目的是避免评测人员由于自身对某一插值算法的主观认可而影响最后的评测结果。我们所做的PPT有如下几个特点：1)将每一张测试图像的原图，SME，CGI以及PCI插值得到的4幅图像作为一组；2)每张PPT幻灯片上只包含一幅图像；3)幻灯片上的图像是经过放大后的图像，这样做的目的是便于观测者观察；4)每一组图像下的4幅图像在幻灯片上的位置是相同的；5)评测人员可以用左右切换键在图像之间进行切换，这样就可以很容易的观察3个算法插值得到的图像间的细微区别。
最后测评人员对3种插值算法处理测试图像得到的打分结果，如图11所示，可以看到，所有的测评人员对PCI算法的打分都是最高的，对于SME和CGI算法，不同的观测者则会有不同的评测结果。但是，同时从图11也可以看到，PCI算法的平均得分最高(22.21)；CGI算法其次(13.33)；SME算法最差(12.46)。
如图12所示，显示的是各算法对彩色图像“Cloth”的插值结果比较。为方便起见，这7种算法对彩色图像的处理都是在RGB颜色空间中进行的，即对彩色图像的R、G、B三个颜色空间分别采用灰度图像的插值算法，最后合成一幅彩色图。为了消除不同降采样引起的不同插值结果，使得最后的比较结果有争议，我们直接对原图GT进行8插值(无降采样步骤)。从图11可以看到，PCI和NARM算法能够取得较好的视觉效果，不仅压制了最后伪彩色的生成数量，而且能够较平滑地处理图像的边缘。
如图13所示，给出了各算法对彩色图像“Butterfly”的4倍插值结果比较。为能主客观比较各算法的插值结果，我们先对原图进行4倍直接降采样，然后用不同的算法对降采样得到的低分辨率图像进行插值。从图13可以看出，Bicubic、NEDI、LMMSE以及SAI算法插值得到的图像边缘锯齿状比较严重，SME和NARM算法虽插值结果有所改进，但是边缘仍不是很光滑。CGI和PCI算法的插值结果最好，但从图片下方的PSNR值可以看出，PCI算法无论从客观还是主观两方面都可以取得最优效果
如图14所示，给出了各算法对另一幅彩色图像“Butterfly2”的2倍插值结果比较。从图14可以看出，CGI和PCI两种算法在防止边缘锯齿状方面处理较好，但是CGI算法在插值过程中出现了明显的伪彩色，而PCI算法则避免了此现象的发生。并且，从图片下方的PSNR值也可以看出，PCI算法的处理效果最好
为了全方位地比较插值算法SRCNN和PCI的优劣，我们增加了算法鲁棒性比较。具体来说，分别在原图像上加上不同程度的高斯噪声，椒盐噪声以及对图像进行JEPG压缩，然后再对处理后的图像进行降采样。其中，PCI算法使用直接降采样(隔行隔列)，SRCNN算法基于双三次降采样训练的数据，所以对其使用双三次降采样。最后分别用SRCNN和PCI算法对降采样后的图像进行插值。
如图15所示，显示的是在测试图像“Lena”上加上高斯噪声后，Bicubic、SRCNN和PCI获得的效果图以及PSNR值(在计算PSNR值时，原图利用的是未加噪声的图像)。从图15可以看到，加上高斯噪声后，3种算法插值得到的图像上都会有噪声，但是总体而言，PCI算法的噪声保留最少，PSNR值最大。
如图16所示，显示的是Bicubic、SRCNN以及PCI算法在不同强度的高斯噪声下的曲线走势，可以看到，SRCNN算法对高斯噪声的抗噪能力较弱，虽然在无噪声时，图像处理效果较好，PSNR值较高，但是随着噪声强度的增大，效率迅速下降，甚至在一定程度后，效率低于Bicubic算法。PCI算法虽随着噪声强度的增大，插值效果也有所下降，但是其插值效率却一直优于Bicubic算法。因此，PCI较SRCNN的抗高斯噪声能力更好
如图17所示，是在测试图像“Lena”上加上椒盐噪声后，Bicubic、SRCNN和PCI的插值结果示意图。从图17可以看到，在向图像上加上椒盐噪声后，SRCNN算法会扩大噪声的范围，而PCI算法则会压缩噪声范围。从图17下方的PSNR值也可以看到，PCI的插值效果最高，Bicubic其次，SRCNN算法最低。
如图18所示，是上述三种算法在不同强度的椒盐噪声下的曲线走势。与添加高斯噪声的结果类似，SRCNN算法对椒盐噪声的抗噪能力较弱，随着噪声强度的增大，效率迅速下降，一定程度后，效率低于Bicubic算法。PCI算法虽随着噪声强度的增大，插值效果也有所下降，但是其插值效率却一直优于Bicubic算法。因此，PCI较SRCNN的抗椒盐噪声能力更好
图像在传输过程中，考虑到存储空间大小、传输效率等因素，往往会将原图进行压缩。因此，大部分情况下，我们所获得的“原图”并非真正意义上的原图，而是经过压缩之后的图像。所以在本发明的验证过程中，我们要对各算法进行压缩测试比较。实验中，我们选择常用的JEPG压缩，即对原图进行不同程度的JEPG压缩后，再对图像进行降采样(PCI算法采用直接降采样，SRCNN算法采用双三次降采样)，接着进行图像插值处理，最后比较各算法的插值效率。
如图19所示，在测试图像“Lena”上加上JEPG后，Bicubic、SRCNN和PCI的插值结果示意图。可以看到，PCI算法能够较好的处理压缩后的图像边缘，还原出较平滑的边缘视觉效果，而Bicubic和SRCNN算法则达不到此效果。
如图20所示，上述三种算法在不同强度的JEPG压缩下的曲线走势图。从图20以看到，随着JEPG压缩强度的增大，原图信息丢失越来越严重，各算法的插值效率都随之下降。但是，PCI算法的插值效率始终优于Bicubic算法，而SRCNN则不然，其插值效率在压缩率为80％的时候就已经低于Bicubic算法。因此，PCI较SRCNN的抗JEPG压缩能力更好
综上所述，本发明的基于预测校验的图像插值方法及系统，从预插值的高分辨率图像出发，推测像素性质，然后边缘信息校正，更新边缘像素，从而得到精确度更高，视觉效果更好的高分辨率图像，关键点在于图像边缘像素的处理，具有良好的应用前景。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.基于预测校验的图像插值方法，其特征在于：包括以下步骤，
步骤(A)，利用图像插值算法对已知的LR图像进行插值，得到预插值的高分辨率图像HR1；
步骤(B)，根据高分辨率图像HR1，计算其上的每个像素在θ方向上的梯度
步骤(C)，根据每个像素在θ方向上的梯度得到该梯度对应的扩散梯度
步骤(D)，根据每个像素的扩散梯度判断出高分辨率图像HR1中每个未知像素的性质，得到高分辨率图像HR1上的边缘像素信息；
步骤(E)，对高分辨率图像HR1上的边缘像素信息进行校正，对边缘像素信息内的边缘像素进行更新，得到新的高分辨率图像HR2。
2.根据权利要求1所述的基于预测校验的图像插值方法，其特征在于：步骤(A)，利用图像插值算法对已知的LR图像进行插值，得到预插值的高分辨率图像HR1，如公式(1)所示，
I(h)(i,j)＝Ω(I(l)(i,j)) (1)
其中，I(l)(i,j)为已知的LR图像；I(h)(i,j)为预插值的高分辨率图像HR1；Ω为图像插值算法。
3.根据权利要求2所述的基于预测校验的图像插值方法，其特征在于：所述图像插值算法Ω为两倍图像插值算法。
4.根据权利要求1所述的基于预测校验的图像插值方法，其特征在于：步骤(B)，根据高分辨率图像HR1，计算其上的每个像素在θ方向上的梯度包括以下步骤，
(B1)每个像素在θ方向上的梯度如公式(2)所示，
其中，为是方向导数，在离散情形下，用卷积来计算方向导数，如公式(3)所示，
其中，*为卷积操作，Sθ为边缘检测算子所对应的掩模；
(B2)取θ＝0°，θ＝45°，θ＝90°以及θ＝135°，根据采用4个3×3的卷积掩模，计算四种情况下对应的梯度 如公式(4)-公式(7)所示，
。
5.根据权利要求4所述的基于预测校验的图像插值方法，其特征在于：步骤(C)，根据每个像素在θ方向上的梯度得到该梯度对应的扩散梯度如公式(8)所示，
其中，为像素(i,j)在θ方向上的梯度值，是计算得到的梯度值的平方，λ是正则参数，并根据梯度 得到对应的扩散梯度 以及
6.根据权利要求5所述的基于预测校验的图像插值方法，其特征在于：步骤(D)，根据每个像素的扩散梯度判断出高分辨率图像HR1中每个未知像素的性质，得到高分辨率图像HR1上的边缘像素信息，包括以下步骤，
(D1)，令对应高分辨率图像HR1上的每个像素，在θ＝0°，θ＝45°，θ＝90°以及θ＝135°四个方向上的扩散梯度分别为 以及
(D2)，将这四个方向分成两组正交方向进行比较，其中和是一组，和是一组；
(D3)，对于对角方向上的像素，若则此像素是边缘像素，此时，若则θ＝135°；若则θ＝45°；若则此像素是非边缘像素，不作处理，其中，T为阈值；
(D4)，对于水平和垂直方向上的像素，若此像素是边缘像素，此时，若则θ＝90°；若则θ＝0°；若则此像素是非边缘像素，不作处理，其中，T为阈值；
(D5)，根据(D3)和(D4)，得到高分辨率图像HR1上的边缘像素信息，所示高分辨率图像HR1上的边缘像素信息为需要处理的边缘像素。
7.根据权利要求6所述的基于预测校验的图像插值方法，其特征在于：步骤(E)，对高分辨率图像HR1上的边缘像素信息进行校正，对边缘像素信息内的边缘像素进行更新，得到新的高分辨率图像HR2，包括以下步骤，
(E1)，对于边缘像素，根据公式(9)进行校正，
I＝ω(Ia+Ib)+(0.5-ω)(Ic+Id) (9)
其中，ω是可调参数，I表示待求像素的灰度值；Ia，Ib，Ic以及Id表示已知边缘像素的灰度值，其中，Ia，Ib，Ic以及Id的确定过程如下，
对于像素插值，u45(i,j)-u135(i,j)＞T，则θ＝135°，此时，
Ia＝I(h)(i-1,j-1)，Ib＝I(h)(i+1,j+1)，Ic＝I(h)Ih(i-3,j-3)，Id＝I(h)(i+3,j+3)；
若u135(i,j)-u45(i,j)＞T，则θ＝45°，此时，
Ia＝I(h)(i+1,j-1)，Ib＝I(h)(i-1,j+1)，Ic＝I(h)(i+3,j-3)，Id＝I(h)(i-3,j+3)；
对于水平和垂直像素插值，若u0(i,j)-u90(i,j)＞T，则θ＝90°，此时，
Ia＝I(h)(i-1,j)，Ib＝I(h)(i+1,j)，Ic＝I(h)(i-3,j)，Id＝I(h)(i+3,j)；
若u90(i,j)-u0(i,j)＞T，则θ＝0°，此时，
Ia＝I(h)(i,j-1)，Ib＝I(h)(i,j+1)，Ic＝I(h)(i,j-3)，Id＝I(h)(i,j+3)。
(E2)，根据(E1)对边缘像素信息内的各个边缘像素进行更新，得到新的高分辨率图像HR2。
8.根据权利要求6所述的基于预测校验的图像插值方法，其特征在于：所述阈值T，取值为0.021。
9.根据权利要求7所述的基于预测校验的图像插值方法，其特征在于：所述阈可调参数ω，取值为0.575。
10.基于预测校验的图像插值系统，其特征在于：包括预测器单元、校验器单元，
所述预测器，用于利用图像插值算法对已知的LR图像进行插值，得到预插值的高分辨率图像HR1；
所述校验器，用于将高分辨率图像HR1上的边缘像素信息进行校正，边缘像素信息内的边缘像素进行更新，得到新的高分辨率图像HR2；
所述校验器，包括梯度计算单元、扩散梯度计算单元、边缘像素信息校正及更新单元；
所述梯度计算单元，用于根据高分辨率图像HR1，计算其上的每个像素在θ方向上的梯度
所述扩散梯度计算单元，用于根据每个像素在θ方向上的梯度得到该梯度对应的扩散梯度
所述边缘像素信息校正及更新单元，用于对高分辨率图像HR1上的边缘像素信息进行校正，对边缘像素信息内的边缘像素进行更新，得到新的高分辨率图像HR2。
CN201711315661.3A 2017-12-12 2017-12-12 基于预测校验的图像插值方法及系统 Active CN107993196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711315661.3A CN107993196B (zh) 2017-12-12 2017-12-12 基于预测校验的图像插值方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711315661.3A CN107993196B (zh) 2017-12-12 2017-12-12 基于预测校验的图像插值方法及系统

Publications (2)

Publication Number Publication Date
CN107993196A true CN107993196A (zh) 2018-05-04
CN107993196B CN107993196B (zh) 2021-08-31

Family

ID=62035865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711315661.3A Active CN107993196B (zh) 2017-12-12 2017-12-12 基于预测校验的图像插值方法及系统

Country Status (1)

Country Link
CN (1) CN107993196B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615578A (zh) * 2018-11-05 2019-04-12 重庆科技学院 应用于多种医学场景的医学图像插值处理方法及其装置
CN112862680A (zh) * 2021-01-29 2021-05-28 百度时代网络技术（北京）有限公司 图像插值方法及其装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504765A (zh) * 2009-03-20 2009-08-12 东华大学 采用梯度融合技术的运动模糊图像序列的复原方法
US20110170803A1 (en) * 2010-01-14 2011-07-14 Fujitsu Semiconductor Limited Apparatus and method for image processing
US20140254952A1 (en) * 2013-03-11 2014-09-11 Kabushiki Kaisha Toshiba Information processor, cloud platform, information processing method, and computer program product thereof
CN105678700A (zh) * 2016-01-11 2016-06-15 苏州大学 基于预测梯度的图像插值方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504765A (zh) * 2009-03-20 2009-08-12 东华大学 采用梯度融合技术的运动模糊图像序列的复原方法
US20110170803A1 (en) * 2010-01-14 2011-07-14 Fujitsu Semiconductor Limited Apparatus and method for image processing
US20140254952A1 (en) * 2013-03-11 2014-09-11 Kabushiki Kaisha Toshiba Information processor, cloud platform, information processing method, and computer program product thereof
CN105678700A (zh) * 2016-01-11 2016-06-15 苏州大学 基于预测梯度的图像插值方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陆志芳 等: "《基于预测梯度的图像插值算法》", 《自动化学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615578A (zh) * 2018-11-05 2019-04-12 重庆科技学院 应用于多种医学场景的医学图像插值处理方法及其装置
CN112862680A (zh) * 2021-01-29 2021-05-28 百度时代网络技术（北京）有限公司 图像插值方法及其装置、设备和介质
CN112862680B (zh) * 2021-01-29 2024-07-16 百度时代网络技术（北京）有限公司 图像插值方法及其装置、设备和介质

Also Published As

Publication number Publication date
CN107993196B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN103530847B (zh) 一种红外图像增强方法
CN102663719B (zh) 基于非局部均值的Bayer型CFA图像去马赛克方法
US9965832B2 (en) Method for performing super-resolution on single images and apparatus for performing super-resolution on single images
US20110206127A1 (en) Method and Apparatus of Frame Interpolation
CN106204447A (zh) 基于总变差分和卷积神经网络的超分辨率重建方法
US20100067818A1 (en) System and method for high quality image and video upscaling
CN102231204A (zh) 一种序列图像自适应正则超分辨率重建方法
CN106991661B (zh) 融合kl变换与灰色关联度的非局部均值去噪方法
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
CN106169173B (zh) 一种图像插值方法
CN109963048A (zh) 降噪方法、降噪装置及降噪电路系统
CN106254720B (zh) 一种基于联合正则化的视频超分辨率重建方法
CN107993196B (zh) 基于预测校验的图像插值方法及系统
CN104504672B (zh) 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
US20170161872A1 (en) Methods and systems for demosaicing an image
CN101639932B (zh) 一种数字图像分辨率增强的方法及系统
CN113012061A (zh) 降噪处理方法、装置及电子设备
CN113506212B (zh) 一种改进的基于pocs的高光谱图像超分辨率重建方法
CN103903239B (zh) 一种视频超分辨率重建方法及其系统
CN109741258A (zh) 基于重建的图像超分辨率方法
CN103618904B (zh) 基于像素的运动估计方法及装置
JP2015095702A (ja) １パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置
Yun et al. Adaptive multidirectional edge directed interpolation for selected edge regions
CN108062743B (zh) 一种含噪图像超分辨率方法
CN113838023B (zh) 一种色差图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231102

Address after: Room 4908, building 2, dongfangzhimen building, 199 Xinggang street, Suzhou Industrial Park, Suzhou, Jiangsu 215000

Patentee after: Suzhou tengshuicheng Technology Co.,Ltd.

Address before: 215104 No. 1188 Wuzhong Road, Wuzhong District, Suzhou, Jiangsu

Patentee before: SOOCHOW University