CN115272068A - 一种用于图像上采样的高效插值方法 - Google Patents
一种用于图像上采样的高效插值方法 Download PDFInfo
- Publication number
- CN115272068A CN115272068A CN202210721234.XA CN202210721234A CN115272068A CN 115272068 A CN115272068 A CN 115272068A CN 202210721234 A CN202210721234 A CN 202210721234A CN 115272068 A CN115272068 A CN 115272068A
- Authority
- CN
- China
- Prior art keywords
- image
- interpolation
- edge
- pixel
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000005070 sampling Methods 0.000 claims abstract description 7
- 230000003321 amplification Effects 0.000 claims abstract description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G06T5/73—
Abstract
本发明提供了一种用于图像上采样的高效插值方法。该方法步骤如下：步骤1，将原始低分辨率图像LR用传统的双三次插值放大k倍得到高分辨率图像HR；步骤2，分别对放大前后的图像进行锐化操作得到对应的边缘图像LReg和HReg，再将高分辨率边缘图像HReg下采样k倍并从低分辨率的边缘图像LReg中减去，得到图像边缘在上采样过程中丢失的部分锐化信息；步骤3，将这部分丢失的信息按一定的比例添加到原图像LR中，同时考虑到缩放过程中图像中心点的偏移并对插值后的像素点微调，最后用优化后的双三次插值将补齐锐化信息的图像LR放大k倍得到最终的高分辨率图像。本发明与传统上采样方法相比性能有较大提升，且具有一定的通用性。
Description
技术领域
本发明涉及一种用于彩色图像上采样的高效插值方法，属于图像处理的技术领域。
背景技术
图像上采样，即将低分辨率(LR)图像转换为高分辨率(HR)图像，在图形处理领域有着重要作用。上采样后的HR图像可以提供更多细节和更好的视图，在数字高清电视、医学影像、终端设备等领域都有广泛应用。目前，传统的插值方法有最近邻插值、双线性插值、双三次插值、Lanczos插值等。
传统的插值方法大多利用邻域像素的加权平均来求得待求像素点的值，这些方法其实都是基于图像在所有区域都具有区域平滑性的这一假设，但是这一假设对于图像当中的边缘和纹理这些地方来说是不成立的，未充分考虑图像的局部特征因素，所以插值方法会使得图像高频分量受损，引起图像模糊和边缘失真。目前，大多提出的以边缘为导向的图像插值方法以更高的复杂度为代价进而提高插值后图像的主观质量。与使用经典的插值方法相比，以边缘为导向生成的HR图像具有更清晰的边缘。但是，它们通常容易在纹理处引起伪像。此外，图像的中心点在图像缩放的过程中也会有一定的偏移，这也会导致插值后像素点的非均匀分布。
发明内容
为了能够最大限度的保留原始图像的细节信息，提高插值后HR图像与原始图像间的相似性，解决HR图像边缘处的模糊问题并简化复杂度，本发明提供一种用于图像上采样的高效插值方法。
为实现上述发明目的，本发明方法采用的技术方案如下：
一种用于图像上采样的高效插值方法，包括如下步骤：
步骤1，将原始低分辨率图像LR用双三次插值方法放大k倍得到高分辨率图像HR；
步骤2，分别对放大前后的图像进行锐化操作得到对应的边缘图像LReg和HReg，再将高分辨率边缘图像HReg下采样k倍并从低分辨率边缘图像LReg中减去，得到双三次插值中丢失的边缘锐化信息Leg；
步骤3，将边缘锐化信息Leg按一定比例添加到原始低分辨率图像LR中，得到补全丢失边缘信息后的低分辨率图像LR1，然后利用优化的双三次插值方法放大图像LR1，得到最终的高分辨率图像；所述优化的双三次插值方法为：调整插值后整体偏右下的图像的几何中心点，使其均匀分布，并利用插值前后一个4*4区域像素的加权平均比例调整插值后的每一个像素点。
本方法整个流程中对图像的处理都是将图像分成R、G、B三个通道矩阵，再分别对三个通道处理，最终将处理后的三个通道合成一幅图像。
相比传统双三次插值方法，本发明具有以下有益效果：
(1)本发明提出一种用于图像上采样的高效插值方法，既保留了原始图像的细节信息，也增大了插值后图像与原始图像的相似性，与传统插值方法相比性能有很大提升。
(2)本发明的方法针对传统双三次插值利用原始图像某一像素点周围最近16个点的权重，将16个像素点加权叠加得到目标图像对应像素点的原理，对插值后的像素点做出微调，使得该点像素值更加贴近原始图像。
(3)本发明的方法利用锐化卷积核检测图像的边缘信息，解决了传统方法中的边缘模糊问题，HR的边缘图像中包含了一定的纹理细节，且相对于其他边缘检测的方法，大大降低了计算的复杂度。
(4)本发明的方法几乎适用于所有传统插值方法，只需根据对应方法的原理修改微调的系数即可，具有很强的通用性。
附图说明
图1是本发明图像插值方法流程图。
图2是本发明实施例中双三次插值方法像素点对应关系图。
图3是双三次插值权重函数图。
图4是几何中心映射图。
图5是本发明微调改进方法示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案作进一步详细的说明。
本实施例提供一种用于图像上采样的高效插值方法，图1是本方法的插值流程。
在本实施例中，取k为4，即对LR图像放大4倍。方法实现的具体过程如下。
首先，将原低分辨率图像LR用传统双三次插值方法放大4倍得到高分辨率图像HR。
原图像LR为m*n的大小，放大4倍后的图像HR大小为M*N，如图2所示，由于图像LR像素已知，图像HR的每一像素点HR(i,j)都有其对应的像素点LR(i,j)，再由图像LR中距离像素点LR(i,j)最近的16个像素点作为计算HR(i,j)的参数，利用式(1)bicubic权重函数求出这16个点的权重W，其中a通常取-0.5，x1为该点到代求像素点的距离，对应的函数图像如图3所示，它们加权叠加即可求出HR(i,j)。
由图2可知，LR(i,j)的位置坐标会出现小数，假设其坐标为LR(x+u,y+v)，其中x，y表示整数部分，u和v表示小数部分，周围最近的16个像素点位置如图2。为确保当插值点为边沿点时，能找到周围最近的16个点，将图像LR待插值图像矩阵前后各扩展两行两列，即共扩展四行四列，扩展的像素点为图像LR边沿处的像素点。
由于像素是二维的，将行列分开计算，得到如式(2)和(3)的横纵坐标权重A、C，以及式(4)中16个像素点的对应坐标B，最终代求像素点的计算方法如式(5)。
A＝[W(u+1)W(u)W(1-u)W(2-u)] (2)
C＝[W(v+1)W(v)W(1-v)W(2-v)]T (3)
HR(i，j)＝A*B*C (5)
利用传统的双三次方法求出图像HR后，分别对放大前后的图像按式(6)和(7)进行锐化操作得到对应的边缘图像LReg和HReg，其中rh代表锐化的卷积核，它的作用就是对图像做锐化操作，使得图像的边缘更加锐利，图像边缘包含了图像的大部分细节信息即图像的高频部分，变化较大，本方法中的卷积核作为高通滤波器，如式(8)所示。该卷积核主要突出图像的边缘特征，卷积中采用对图像周围补一圈0的操作，得到中心像素与周围像素的差值，计算结果越大，图像该处附近像素变化越大，频率越高。
接着将HR边缘图像下采样4倍使其与图像LR边缘图像大小相等，下采样的方法采用双三次插值方法或直接抽取像素均可，得到HReg1。双三次插值过程中丢失的部分图像边缘信息由式(9)计算。
Leg＝LReg-HReg1 (9)
由式(10)，将丢失的边缘锐化信息补到图像LR中，α的取值理论上要尽可能的小，取值范围为0.01～0.1，经过测试在本发明中取0.04，此时的图像LR1已经包含了大量信息，边缘更加锐利，将其采用优化后的双三次方法插值放大4倍得到最后的高分辨率图像。
LR1＝LR+α*Leg (10)
本发明优化的双三次算法如下：
在插值的过程中，由于通常选择左上角为原点(0,0)，如图4所示，假设将3*3的原图像插值成5*5的图像，Δ为目标图像在原图像上的对应坐标点位置。原3*3图像的几何中心点为(1,1),目标5*5图像几何中心点为(2,2),其映射到原图像上对应的点为2*3/5即(1.2,1.2)而并非(1,1)，插值后的像素点明显集中在图像的右下方而非均匀分布整个图像。对此，将图像坐标从0.5开始计算，即可达到几何中心对齐的目的，由于计算机存储图像从坐标0开始，需要按式(11)在计算得到目标图像点坐标后再减去0.5，即(2+0.5)*3/5-0.5＝1图像几何中心对齐，像素分布更加均匀。
src＝(dst+0.5)/k-0.5 (11)
其中，src为待插值图像的坐标，dst为插值后图像坐标，k为放大倍数。
此外，传统的双三次插值方法是利用邻域的16个像素的加权平均来求得待求像素点的值，根据此原理本发明将每个插值后的像素点按式(12)做了微调：
HR1(i,j)＝(LR1(i1,j1)*k1/sum)*bic(i,j) (12)
如图5所示，HR1(i,j)是微调后的像素点，LR1(i1,j1)是插值前的像素点，对应插值后的一个4*4区域，bic(i,j)为微调前一个4*4区域的某一像素点，k1是微调的系数，由于双三次插值中利用某一像素点周围最近的16个点求出目标图像像素点，因此这里k1取16，sum是bic(i,j)周围16个像素点像素之和。通过这样的调整，可以将插值后的像素点与原图像对应的点之间建立联系，提高相似性。
本实施例通过分析经典插值算法的原理，提高了算法的整体精确度，使插值后的像素点更加贴近原始图像像素点。方法中对于图像边缘的锐化检测降低了常规检测方法的复杂度，于软件实现而言，其相较其他复杂的边缘检测方法，单张色彩图片的上采样实现所需时间可减少50％以上。于硬件实现而言，双三次插值的硬件实现相较Lanczos插值等方法而言，权重函数和锐化卷积上较少的计算量使得硬件资源消耗大幅减少，且可以多路并行实现。于实现的功能而言，上采样后图像纹理处的伪像几乎消失，边缘处的模糊问题也得到改善。
以4k(3840*2160)图像为例，将下采样后分辨率为960*540的图像通过本方法放大至4k(3840*2160)，通过峰值信噪比(PSNR)、结构相似性(SSIM)以及学习感知图像块相似度(LPIPS)三个指标全方面评判该方法的性能。本发明提出的技术应用于4倍的上采样经多张例图测试后，平均PSNR值可以达到34.18，平均SSIM值达到0.914，平均LPIPS值达到0.188，满足业界需求。如表1所示，以6张彩色图像为例进行测试，与经典双线性方法相比，PSNR提高4.29，SSIM提高0.063；与传统的双三次方法相比，PSNR提高4.12，SSIM提高0.054；与Lanczos插值方法相比，PSNR提高1.86，SSIM提高0.021；此外，LPIPS指标更符合人类的感知情况，其值越低表示两张图像越相似。
对于其他经典插值算法，如最近邻插值、双线性插值、Lanczos插值等，该发明方法中的边缘检测以及插值算法上的改进优化依然适用，性能在众原始插值方法的基础上都有所提升。
表1不同上采样方法的性能对比
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种用于图像上采样的高效插值方法，其特征在于，包括如下步骤：
步骤1，将原始低分辨率图像LR用双三次插值方法放大k倍得到高分辨率图像HR；
步骤2，分别对放大前后的图像进行锐化操作得到对应的边缘图像LReg和HReg，再将高分辨率边缘图像HReg下采样k倍并从低分辨率边缘图像LReg中减去，得到双三次插值中丢失的边缘锐化信息Leg；
步骤3，将边缘锐化信息Leg按一定比例添加到原始低分辨率图像LR中，得到补全丢失边缘信息后的低分辨率图像LR1，然后利用优化的双三次插值方法放大图像LR1，得到最终的高分辨率图像；所述优化的双三次插值方法为：调整插值后整体偏右下的图像的几何中心点，使其均匀分布，并利用插值前后一个4*4区域像素的加权平均比例调整插值后的每一个像素点。
2.根据权利要求1所述的一种用于图像上采样的高效插值方法，其特征在于，所述步骤1中，已知原始低分辨率图像LR各像素点的值，高分辨率图像HR的每一像素点HR(i，j)都有其对应的像素点LR(i，j)，将原始低分辨率图像LR中距离像素点LR(i，j)最近的16个像素点作为计算像素点HR(i，j)的参数，利用bicubic权重函数求出这16个像素点的权重，再将所述16个像素点加权叠加即可求出插值点。
3.根据权利要求2所述的一种用于图像上采样的高效插值方法，其特征在于，所述16个像素点对应坐标如下：
根据以下两公式分别求二维像素点的横纵权重：
A＝[W(u+1) W(u) W(1-u) W(2-u)]
C＝[W(v+1) W(v) W(1-v) W(2-v)]T
其中x，y表示像素点LR(i，j)横纵坐标整数部分，u和v表示像素点LR(i，j)横纵坐标小数部分，A是16个像素点横坐标权重，C是16个像素点纵坐标权重。
4.根据权利要求3所述的一种用于图像上采样的高效插值方法，其特征在于，所述步骤1中，将待插值图像的边缘各扩展两行两列，即共扩展4行4列，再根据下式计算求解最终插值点：
HR(i，j)＝A*B*C 。
5.根据权利要求1所述的一种用于图像上采样的高效插值方法，其特征在于，所述步骤2中，通过以下两个公式分别对放大前后的图像进行锐化操作得到对应的边缘图像LReg和HReg：
其中rh代表锐化的卷积核。
6.根据权利要求5所述的一种用于图像上采样的高效插值方法，其特征在于，锐化的卷积核rh为：
7.根据权利要求1所述的一种用于图像上采样的高效插值方法，其特征在于，所述步骤2中，通过以下公式将高分辨率边缘图像HReg从低分辨率边缘图像LReg中减去：
Leg＝LReg-HReg1
其中，HReg1是高分辨率边缘图像HReg直接下采样得到的，Leg是双三次插值过程中丢失的边缘锐化信息。
8.根据权利要求7所述的一种用于图像上采样的高效插值方法，其特征在于，所述步骤3中，将边缘锐化信息Leg按下式添加到原始低分辨率图像LR中：
LR1＝LR+α*Leg
其中，α的取值范围为0.01～0.1。
9.根据权利要求1所述的一种用于图像上采样的高效插值方法，其特征在于，所述步骤3中，利用以下公式调整插值后整体偏右下的图像的几何中心点：
src＝(dst+0.5)/k-0.5
其中src为待插值图像的坐标，dst为插值后图像坐标，k为放大倍数。
10.根据权利要求1所述的一种用于图像上采样的高效插值方法，其特征在于，所述步骤3中，按下式调整插值后的每一个像素点：
HR1(i，j)＝(LR1(i1，j1)*k1/sum)*bic(i，j)
其中，HR1(i，j)是插值后的像素点，LR1(i1，j1)是插值前的像素点，对应插值后的一个4*4区域，bic(i，j)为调整前一个4*4区域的某一像素点，k1取16，sum是像素点bic(i，j)周围16个像素点像素之和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210721234.XA CN115272068A (zh) | 2022-06-24 | 2022-06-24 | 一种用于图像上采样的高效插值方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210721234.XA CN115272068A (zh) | 2022-06-24 | 2022-06-24 | 一种用于图像上采样的高效插值方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115272068A true CN115272068A (zh) | 2022-11-01 |
Family
ID=83761609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210721234.XA Pending CN115272068A (zh) | 2022-06-24 | 2022-06-24 | 一种用于图像上采样的高效插值方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272068A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115689895A (zh) * | 2023-01-01 | 2023-02-03 | 武汉图科智能科技有限公司 | 基于Lanczos插值的上采样硬件处理系统 |
| CN116962698A (zh) * | 2023-09-20 | 2023-10-27 | 江苏游隼微电子有限公司 | 一种高压缩率的图像压缩及解压缩方法 |
-
2022
- 2022-06-24 CN CN202210721234.XA patent/CN115272068A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115689895A (zh) * | 2023-01-01 | 2023-02-03 | 武汉图科智能科技有限公司 | 基于Lanczos插值的上采样硬件处理系统 |
| CN116962698A (zh) * | 2023-09-20 | 2023-10-27 | 江苏游隼微电子有限公司 | 一种高压缩率的图像压缩及解压缩方法 |
| CN116962698B (zh) * | 2023-09-20 | 2023-12-08 | 江苏游隼微电子有限公司 | 一种高压缩率的图像压缩及解压缩方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827200B (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
| JP4098319B2 (ja) | 解像度変換方法および解像度変換装置 | |
| CN103034973B (zh) | 基于双三次插值的自适应图像缩放方法 | |
| CN115272068A (zh) | 一种用于图像上采样的高效插值方法 | |
| US7483040B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
| US7705915B1 (en) | Method and apparatus for filtering video data using a programmable graphics processor | |
| JP4490987B2 (ja) | 高解像度化装置および方法 | |
| JP4498361B2 (ja) | レティネックス型アルゴリズムを高速化する方法 | |
| RU2652722C1 (ru) | Обработка данных для сверхразрешения | |
| US8335394B2 (en) | Image processing method for boundary resolution enhancement | |
| EP2164040B1 (en) | System and method for high quality image and video upscaling | |
| US20120230601A1 (en) | Image processing apparatus, image processing method, and program | |
| KR100860968B1 (ko) | 해상도 향상 장치 및 방법 | |
| US20130050272A1 (en) | Two-dimensional super resolution scaling | |
| US20200219229A1 (en) | Edge-Aware Upscaling for Improved Screen Content Quality | |
| CN108305216B (zh) | 一种双边四次插值的图像放大方法 | |
| JP4868249B2 (ja) | 映像信号処理装置 | |
| KR20140028516A (ko) | 학습방식의 부화소기반 영상축소방법 | |
| Zhou et al. | An effective color image interpolation algorithm | |
| CN101087436A (zh) | 视频信号的时间噪声分析 | |
| CN113793249B (zh) | Pentile图像转换RGB图像的方法及相关设备 | |
| CN107767342B (zh) | 一种基于积分平差模型的小波变换超分辨率图像重建方法 | |
| CN111161145B (zh) | 一种改进的双三次图像插值模型的参数优化方法 | |
| Okuhata et al. | Implementation of super-resolution scaler for Full HD and 4K video | |
| Luong et al. | Sharp image interpolation by mapping level curves |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |