CN111161145A - 一种改进的双三次图像插值模型的参数优化方法 - Google Patents

Abstract

本发明提出了一种改进的双三次图像插值模型的参数优化方法，除了经典模型中的参数

之外，引入一个新的参数

。该参数

在经典模型中等效于参数

的平方，但参数

的引入使得新的模型的表达能力有所提高，可以得到更精确的插值效果。在基于以上两个参数

和

的模型的基础上，参数

和

Description

一种改进的双三次图像插值模型的参数优化方法

技术领域

本发明涉及图像处理技术领域，具体指一种双三次图像插值模型的参数优化方法。

背景技术

图像插值算法是传统的图像超分辨技术，其优点为运算快，算法复杂度低。许多图像处理软件如Adobe公司的Photoshop、部分打印机驱动程序等都集成了双三次插值技术，可以满足实时性较高的图像放大需求。图像放大的应用领域极为广泛如医学影像放大、高清电视、安防监控、古籍资料、卫星图像放大等诸多领域，一个放大性能优越的图像插值算法有助于以上领域应用的发展，具有十分重要的研究意义。

传统的图像插值算法主要包括以下几类：最近邻插值法，双线性插值法[2]，双三次插值法[3]。最近邻插值法的算法最为简单，处理速度最快。最近邻插值法定义放大图像中点的像素值可以由空间中距离其最小的点的像素值来确定。但此算法放大图像的结果往往失真较为严重，图像块状效应和马赛克效果十分严重。双线性插值法定义对低清图像中的各个像素，不同像素之间像素值的变化是遵循线性关系的，双线性插值算法由最近邻插值法演变而来，其原理是同时考虑水平和竖直方向上像素强度的变化，将二维图像的插值问题演变成两个一维方向上的图像线型插值，从而完成插值过程，其结果较最近邻插值算法有很大的提升，视觉效果也显得更清晰像素之间的过度十分自然和平滑。双三次插值法由双线性插值法演变而来，其认为图像中不同像素值之间遵循立方函数的关系，其插值核函数是有分段多项式组成，通过插值核函数与图像中的像素值进行卷积得到重构像素点的值，以上算法中，双三次插值算法的放大性能最为优越，重构质量最高，但是在一些实验实际观测时发现，当放大倍数较低时，双线性插值法具有更高的图像放大效果，而双三次插值在较高的放大倍数下表现更为优秀。

发明内容

本发明提供一种双三次图像插值模型的参数优化方法，在不增加计算复杂度的基础上，对图像具有更好的重构效果。

本发明所采用的技术方案为：

一种改进的双三次图像插值模型的参数优化方法，假设重构图像中待插入像素点的坐标为(x，y)，其映射到低清图像上的中心点坐标(i，j)通过公式(6)进行计算

求解高清像素点时，涉及对包含中心点在内的周边4×4的图像区域进行卷积运算，卷积权重计算所需的坐标如下：

公式(7)中[i],[j]表示对坐标数值向下取整，从公式(7)中得到，x₂，x₃，y₂，y₃的数值位于0～1之间，x₁，x₄，y₁，y₄的数值位于1～2之间，将x，y的数值代入双三次插值的插值核函数(公式(3))中的不同表达式并将含有a的多项式中a的系数提取出来，结果如公式(8)所示：

如公式(9)所示，每一个新的像素点的值I_n是通过x方向的权重矩阵与16个点像素值矩阵相乘再与y方向的权重矩阵相乘得到，I_n中n表示重构图像中的所有像点的编号。其中I₁₁～I₄₄为低清图像中以I₂₂(即I_n)为中心点的周围16个坐标点的像素值。

对I_n进行展开并合并提取a²的系数、a的系数、常数项，分别如下：

a²的系数P_n：

a的系数Q_n：

常数项R_n：

则重构像素点I_n的表示形式如下：

I_n＝P_na²+Q_na+R_n (13)

从提高图像PSNR评分的目的出发，本发明建立放大图像与原始高清图像均方误差函数，其中U_n代表原始高清图像对应点像素值，损失函数J_n如式(14)所示：

J_n＝(P_na²+Q_na+R_n-U_n)² (14)

我们的目的是优化损失函数J_n，使放大图像与原始高清图像均方误差无限小，从而有效的提高PSNR。为了简化计算复杂度，我们放宽Keys论文中的泰勒逼近这一限定条件，令b＝a²，新的损失函数和待插入像素点的公式表示如下：

J_n＝(P_nb+Q_na+R_n-U_n)² (15)

对公式(15)中J_n分别求关于b和a的偏导，结果如公式(16)所示：

对于损失函数J_n，希望所有像素点有尽可能小的

则

对b和a的偏导也尽可能的小。其中N表示重构图像中点的个数，则可以得到公式(17)。

对公式(17)进行求解，即可得到b，a的值。将b，a的值代入公式(15)，可求得每一个重构图像中待插入像素点的值。

本发明改进的对象是双三次插值算法核函数中的关键参数a。Rifman[4]和Bernstein[5]在论文中直接令系数a等于-1；Keys[1]提出的经典算法中，对Rifman和Bernstein的方法进行改进，通过对插值核函数进行泰勒展开三阶逼近，计算出a的取值为-0.5；在现实应用中，如Python-OpenCV的bicubic算法中，常常根据经验值，令a取值为-0.75，得到更好的重构效果。我们提出假设系数a的取值可以充分优化，并且通过已有相应放大倍数的高低清图片，从提升图像峰值信噪比(Peak Signal to Noise Ratio,PSNR)的角度，得到使图像均方误差最小的高阶优化函数。高阶函数通常计算复杂，优化困难，我们放宽优化条件，通过引入新的变量b替代优化函数的高次项a²项，把高阶优化问题转化为最小二乘问题，简化问题难度及求解的复杂度，提高了计算的速率。本发明通过实验计算得到不同放大倍数下30幅图像b和a的平均值，并用平均值重新计算得到新的30幅图像放大的结果。在不改变计算复杂度的情况下，对每一幅图像的处理本发明在大部分的放大倍数下取得了更高的SSIM和PSNR评分，两种评价指标的得分均优于现有的最佳方法Python-OpenCV双三次插值算法。特别是对于小数倍的放大，本发明取得了更显著的效果。实验结果表明，本发明不增加计算复杂度的基础上，对图像具有更好的重构效果，且新系数的取得主要依赖于图像放大倍数，受不同图像影响不大，具有良好的普适性。

附图说明

图1为双三次图像插值原理示意图；A1、A2表示重构图像映射至低清图像时如果落在虚线范围内则插值核函数的中心点为P点。其余点表示以P为中心点其余待参与插值计算的点。

图2为放大4倍时本发明同其余方法核函数的对比示意图；不同的插值算法由不同类型的线段进行表示。在-1～+1区间内本专利插值算法核函数相比双三次插值算法核函数更为陡峭，在-2～-1和+1～+2区间相比双三次插值算法核函数更为平缓。

图3为放大4倍时本发明方法求得的b、a的值；用不同形状的点对b和a的值进行区分并观察不同图像b和a数值分布的规律，其中a的值与图像本身相关性不大，数值分布较为集中。b的值随图像不同变化剧烈。

图4为不同放大倍数下本发明方法求得的30幅图像的b、a的平均值；以不同形状的点区分b和a的值并观察30幅图像b、a的平均值与放大倍数的关系。随放大倍数提升，a的平均值浮动上升，b的平均值浮动下降。

具体实施方式

下面结合附图及推导过程进一步详细说明本发明。

1、双三次插值算法介绍

Keys[1]在论文中用u表示插值核函数，双三次插值算法是通过将二维平面的图像插值简化至一维，分别在x，y方向上进行两组双三次插值计算即可实现。双三次插值算法的原理如图1所示。

图1中，点P表示低清图像中待与卷积核进行卷积的区域的中心点，中心点P周边虚线框1×1大小的区域用来标定其控制的范围，如图1所示，当A1和A2点落在P点控制的虚线框范围内，我们认为A1，A2归属于P点，则我们根据P点为中心点确定周边16个点的位置和坐标。v1，v2，u1，u2表示A1，A2点距离P点的距离，其中v1，v2为负值，u1，u2为正值。其余点表示要参与卷积运算的点。

假设数据之间是等间隔采样的。基于以上条件，双三次插值算法定义如下：插值核函数是由定义在子区间(-2，-l)、(1，0)、(0，l)和(1，2)上的分段三次多项式组成。如公式1所示，当|s|>2时插值核函数u(s)的值为0。

当s是非零整数时，插值内核必须假设u(0)＝1和u(n)＝0，并且必须保证插值核具有连续的一阶导数。结合以上条件，可以得到以下七个方程[5]，方程中u′表示对u求导数。

公式(2)的方程含有8个未知数，想要求解这7个方程中的8个未知数还需要额外的一个条件来确定唯一的方程的解，在这里假设A₂＝a,其他的七个未知数可以通过A₂来表示，则插值核函数可以表示为[5]：

根据泰勒展开的限定条件得出a＝-0.5，最终u(s)的表达式如公式(4)所示[5]：

假设根据公式(4)计算得到的x，y方向上的4个点的系数分别是u(x-1)，u(x)，u(x+1)，u(x+2)，u(y-1)，u(y)，u(y+1)，u(y+2)。用I(x,y)表示低清图像中点的像素值，I_new(x，y)表示重构图像中点的像素值，则重构像素点的计算如公式(5)所示：

通过公式(5)对图像中所有的像点进行遍历即可得到放大图像中像素点的值。

2、本发明的详细说明

对30幅1280×720分辨率的图片分别进行不同倍数的下采样，得到对应图像不同倍数下采样的低分辨率图像，我们用“低清图像”表示下采样得到的图片，高清图像即原始图像，重构图像表示对低清图像使用本发明算法进行放大后得到的图像。

传统的双三次插值算法限定了插值核函数在用泰勒公式展开后二阶逼近于原始函数的泰勒展开，从而得到a＝-0.5，本发明解除了这一限定，对每一幅图像结合其高清-低清图像对进行训练得到对此幅图像放大效果最好的插值核函数系数a，对30幅图像分别计算得到其a系数并求平均值

并将

代入插值核计算公式中对每一幅图像做插值运算，实验证明此方法计算得到的

具有良好的普适性，插值核系数a与放大倍数有较强的相关性而与图像自身关系不大。

假设重构图像中待插入像素点的坐标为(x,y)，其映射到低清图像上的中心点坐标(i,j)通过公式(6)进行计算，这样的计算方式可以保证对图像中的点和线段的位置关系放大相同倍数而不产生偏移。

求解高清像素点时，涉及对包含中心点在内的周边4×4的图像区域进行卷积运算，边4×4的图像区域如图1所示，卷积权重计算的所需的坐标如下：

公式(7)中[i],[j]表示对小数向下取整，从公式(7)中我们可以观察得到，x₂，x₃，y₂，y₃的数值在0～1之间，x₁，x₄，y₁，y₄的数值在1～2之间，将x，y的值代入公式(3)中的不同表达式并将含a的项系数提取出来，结果如公式(8)所示:

如公式(9)所示，每一个新的像素点的值I_n是通过x方向的权重矩阵与16个点像素值矩阵相乘再与y方向的权重矩阵相乘得到，I_n中n表示重构图像中的所有像点的编号。其中I₁₁～I₄₄为低清图像中以I₂₂(即I_n)为中心点的周围16个坐标点的像素值。

对I_n进行展开并合并提取a²的系数、a的系数、常数项，分别如下：

a²的系数P_n：

a的系数Q_n：

常数项R_n：

则重构像素点I_n的表示形式如下：

I_n＝P_na²+Q_na+R_n (13)

从提高PSNR的目的出发，建立放大图像与原始高清图像均方误差函数，其中U_n代表原始高清图像对应点像素值，损失函数J_n如式(14)所示：

I_n＝(P_na²+Q_na+R_n-U_n)² (14)

目的是优化损失函数J_n，使放大图像与原始高清图像均方误差无限小，从而有效的提高PSNR。为了简化计算复杂度，我们放宽Keys论文中的泰勒逼近这一限定条件，令b＝a²，新的损失函数和待插入像素点的公式表示如下：

I_n＝(P_nb+Q_na+R_n-U_n)² (15)

对公式(15)中J_n分别求关于b和a的偏导，结果如公式(16)所示：

对于损失函数J_n，希望所有像素点有尽可能小的

则

对b和a的偏导也尽可能的小。其中N表示重构图像中点的个数，则可以得到公式(17)。

对公式(17)进行求解，即可得到b，a的值。将b，a的值代入公式(15)，可求得每一个重构图像中待插入像素点的值。

3、实验验证

3.1评价指标

选择峰值信噪比(PSNR)和结构相似性(SSIM)作为衡量图片重构效果的评价指标，PSNR常用于衡量图片或视频在放大或缩小之后与原始图像之间的差距，其公式如式(18)所示。SSIM是一种衡量两幅图像相似度的指标，其公式如式(19)所示。

公式(18)中，n表示每个采样值的比特数，MSE表示原图像与重构图像之间的均方误差。公式(19)中，μ_x是x的平均值，μ_y是y的平均值，σ_x ²是x的方差，σ_y ²是y的方差，σ_xy是xy的协方差c₁＝(k₁L)²，c₂＝(k₂L)²是用来维持稳定的常数。L是像素值的动态范围。k₁＝0.01，k₂＝0.03。

3.2实验过程

实验在ubuntu16.04操作系统下使用Python3.6编程实现。

实验分别计算了在放大倍数为1.1-4.0之间间隔0.1共31个放大倍数下使用多种插值方法得到的PSNR和SSIM评分，在每一个放大倍数下每一幅图像可以计算得到最适合自身放大的参数b和a，我们对30幅图像进行b和a值的计算并取平值得到

将

代入公式(15)计算对应放大倍数下30幅新的放大图像，计算由

求解得到的30幅图像的PSNR和SSIM评分的平均值，结果如表1所示。实验所用的低清图像是对30幅分辨率为1280×720的图像通过Python-OpenCV库中resize函数中的双线性插值算法下采样得到。

表1.整数放大倍数下多种方法的处理30幅图像的平均PSNR值

表2.整数放大倍数下多种插值算法的处理30幅图像的平均SSIM值

表3.小数放大倍数下30幅图像的平均PSNR值

表4.小数放大倍数下30幅图像的平均SSIM值

表1-4分别展式了两种评价指标(PSNR和SSIM)下整数倍和小数倍放大后的评分。表中每一个数据均是相应的放大倍数下对30幅图像计算评分得到的平均值。观察可以发现在绝大多数放大倍数下，我们的方法取得了最好的评分，但是也可以发现一些放大倍数下我们的算法被其他算法所超越。从表1观察可以发现，我们的算法在对图像进行偶数倍的放大时相比奇数倍放大取得了更好的结果。而双线性插值算法在对图片进行奇数倍的放大时取得了最好的PNSR和SSIM评分。说明双线性插值在一些放大倍数下重构效果要优于双三次插值算法。观察表1-4可以发现，不管是整数倍放大图像或是小数倍放大图像，随着放大倍数的提升，PSNR和SSIM两种评价指标的评分均在逐步减小，这与我们的常识也较为符合，放大倍数越大，清晰的重构图像越难得到。在小数倍数的放大时如表3所示，对图像进行1.7倍的放大时最近邻插值法取得了最好的PSNR评分，对图像进行3.6倍的放大时双线性插值法取得了最高的PSNR评分，其余放大倍数下我们的方法PSNR评分最高，具有最好的图像重构效果。如表4所示，除了在1.1、1.7、1.9、2.2这四个放大倍数下我们的算法SSIM评分低于最近邻插值算法，其余放大倍数均取得了最高的SSIM评分。这也说明了图像重构效果的好坏与图像的放大倍数有关联，但关联性不强，绝大多数情况下本发明改进的算法更为优越。

在放大倍数为4的条件下，根据表1中优化系数b、a的取值绘制出插值核函数图像，由于插值核函数在三维空间中是关于坐标轴完全对称的，我们截取y＝0的平面进行绘制，并与Python-OpenCV方法的核函数、最近邻插值、线性插值的核函数进行对比。如图2所示，不同的插值算法的核函数平缓程度是不同的，我们方法的核函数在-1～1区间上相比双三次插值算法核函数下降更为陡峭，在-2～-1和1～2区间上相比双三次插值核函数变化更为平缓。最近邻插值的核函数在图2的-0.5～0.5区间上为一条直线，即简单的复制与映射图像周边最近的点的像素值。双线性插值的核函数如图2形状为连续细点状线条所示，在-1～0和0～1区间上为一条直线，相较于双三次插值核我们的算法处理平滑程度上较差，但是在部分放大倍数下双线性插值取得了相比双三次更高的PSNR评分，如表1、3所示，放大倍数越小，双线性插值的优越性相较于双三次插值越明显。

在放大四倍的条件下，对三十幅图片的优化系数b、a进行散点图绘制，结果图3所示。发现a的取值具有集中性，主要集中在-0.5～-0.25区间，b的取值稍有分散，但是大部分都在-1.0～0区间，由于系数b、a的集中式分布，我们用三十组数据b、a的平均值来进行插值运算，并取得理想的效果。进一步研究优化系数b、a的随放大倍数的变化关系，变化关系如图4所示，图4中的b、a的数值是各个放大倍数下对30幅图像计算得出的b、a求平均值的结果。通过观察发现，b、a的取值随图像放大倍数的改变，发生剧烈的变化。可见优化系数b、a的取得，主要受放大的倍数影响，而与图像本身相关性不大，所以优化系数b、a在同一放大倍数下，对不同的图片具有良好的普适性。

3.3方法复杂度对比

本发明通过引入一个新的参数b来替代高阶优化函数中的a²项，所以从复杂度上来说，改进后的方法与之前相同，但是在相同复杂度的情况下，本发明取得了更好的图像放大效果。

本发明中所涉及的参考文献

[1]Keys R G.Cubic convolution interpolation for digital imageprocessing[J].IEEE Trans.on Acoust.Speech.&Signal Processing,1981,37.

[2]Wei B,Hui W.POCS-embedded MAP method for image super-resolutionrestoration[C]//IEEE Conference on Industrial Electronics&Applications.2009.[3]

(2013).Bilinear interpolation theorems andapplications.Journal of Functional Analysis.265.185–207.10.1016/j.jfa.2013.05.001.

[3]Xia P,Tahara T,Kakue T,et al.Performance comparison of bilinearinterpolation,bicubic interpolation,and B-spline interpolation in parallelphase-shifting digital holography[J].Optical Review,2013,20(2):193-197.

[4]Rifman S S.Digital rectification of ERTS multispectral imagery[J].In Proceedings of the Symposium on Significant Results Obtained from theEarth Resources Technology Satellite-1,1973,1(B):1131-1142.

[5]Bernstein R.Digital Image Processing of Earth Observation SensorData[J].Ibm J.res.&Dev,1976,20(1):40-57.

Claims (1)

1.一种改进的双三次图像插值模型的参数优化方法，其特征在于，假设重构图像中待插入像素点的坐标为(x，y)，其映射到低清图像上的中心点坐标(i，j)通过公式(6)进行计算

求解高清像素点时，涉及对包含中心点在内的周边4×4的图像区域进行卷积运算，卷积权重计算所需的坐标如下：

公式(7)中[i],[j]表示对坐标数值向下取整，从公式(7)中得到，x₂，x₃，y₂，y₃的数值位于0～1之间，x₁，x₄，y₁，y₄的数值位于1～2之间，将x，y的数值代入双三次插值的插值核函数(公式(3))中的不同表达式并将含有a的多项式中a的系数提取出来，结果如公式(8)所示：

如公式(9)所示，每一个新的像素点的值I_n是通过x方向的权重矩阵与16个点像素值矩阵相乘再与y方向的权重矩阵相乘得到，I_n中n表示重构图像中的所有像点的编号；其中I₁₁～I₄₄为低清图像中以I₂₂(即I_n)为中心点的周围16个坐标点的像素值；

对I_n进行展开并合并提取a²的系数、a的系数、常数项，分别如下：

a²的系数P_n：

a的系数Q_n：

常数项R_n：

则重构像素点I_n的表示形式如下：

I_n＝P_na²+Q_na+R_n (13)

从提高图像PSNR评分的目的出发，本发明建立放大图像与原始高清图像均方误差函数，其中U_n代表原始高清图像对应点像素值，损失函数J_n如式(14)所示：

J_n＝(P_na²+Q_na+R_n-U_n)² (14)

我们的目的是优化损失函数J_n，使放大图像与原始高清图像均方误差无限小，从而有效的提高PSNR。为了简化计算复杂度，我们放宽Keys论文中的泰勒逼近这一限定条件，令b＝a²，新的损失函数和待插入像素点的公式表示如下：

J_n＝(P_nb+Q_na+R_n-U_n)² (15)

对公式(15)中J_n分别求关于b和a的偏导，结果如公式(16)所示：

对于损失函数J_n，希望所有像素点有尽可能小的

则

对b和a的偏导也尽可能的小。其中N表示重构图像中点的个数，则可以得到公式(17)。

对公式(17)进行求解，即可得到b，a的值。将b，a的值代入公式(15)，可求得每一个重构图像中待插入像素点的值。

Images