CN103871024A - 一种基于有理函数可调性适应人眼视觉的图像插值方法 - Google Patents

Abstract

本发明公开一种基于含参数有理函数的图像插值技术，在数字图像处理、计算机视觉、计算机动画等领域等领域具有广泛的需求和重要应用。其主要思想是基于含参数有理函数的自身函数性质(非线性)与参数调解性用以适应图像的复杂特性和人眼视觉差异性。主要步骤为：(1)将原始图像用双变量有理插值函数进行图像插值；(2)根据构造的插值曲面的点控制调整参数实现基于有理函数图像插值的图像增强；(3)利用插值曲面的保凸控制调整参数实现基于基于有理函数图像插值的图像放大算法。本发明通过控制强度的划分、参数调整的达到对于数字图像处理的主客观均满意的效果。

Description

一种基于有理函数可调性适应人眼视觉的图像插值方法

技术领域

本发明涉及图像插值技术，属于数字图像处理领域。

背景技术

数字图像处理领域中，图像插值是其最基本、最重要的技术之一，也一直是国内外广泛关注的研究热点，已经广泛应用于数字图像处理领域中的图像分辨率增强、图像放大等应用。数码相机和数码摄像机等数码产品已经越来越多的在人们的生活中被使用。然而，由于拍摄条件、拍摄者的技术以及数码产品摄取设备和输出设备的限制，人们所获得的图像并不能很好的贴合人眼直接观察到的图像。利用图像插值技术对所拍摄的图像进行恰当的处理以改善图像的视觉效果或突出有用的目标，具有广泛的应用前景。

在过去的几十年里，插值技术已经受到了广泛的研究并出现了很多经典的和流行的算法。伴随着软件技术的发展，涌现出许多优秀的图像处理软件，如Photoshop、AcDsee、rks等。这些软件中都大量地用到了传统的插值算法，为了在尽量保持图像效果的前提下提高软件的运行效率，软件开发商们大都对原有的插值算法加以改进。尽管插值算法的效率有所提高，但现有插值算法的效果还

是无法让人满意。特别当前人们对图像质量要求提高后，需要有一种有效的新的图像插值技术来解决这个问题。随着技术进步和数字电视产业的发展，不同格式视频通过不同网络传输到不同终端上显示的情况越来越多。在这种背景之下，为了使不同格式视频在不同显示设备上都能达到尽量好的效果，数字视频后处理算法越来越重要。尤其是在未来几年里高清晰度数字电视设备都还必须能接收和显示目前标准清晰度数字电视标准下的视频信号，所以迫切需要优良的图像缩放算法使该类电视信号在播放时达到最好的观赏效果。在实际应用中，采用目前的图像插值方法导致图像中物体边沿比较模糊有锯齿感。而且液晶电视和等离子等显示终端显示器的出现，使得人们对于缩放后的图像质量提出更高要求。

由于图像插值技术在传统领域的应用需要进一步提高以及新领域应用的需求，因此继续深入的对其进行研究具有重要的理论意义和应用价值。当前已有数以万计的图像处理算法，但每一种算法都存在各自的缺陷，许多视觉任务对于人而言是非常简单的任务，但对于计算机来说仍然很困难。

随着计算机技术的迅猛发展和相关理论的不断完善，图像插值技术在许多应用领域受到重视并取得了重大的成就。图像插值技术在航空航天、医疗诊断、气象及交通监测、以及数字电视、电影和媒体广告等领域有着广泛的应用，创造了巨大的社会价值。人工智能、思维科学研究的迅速发展，数字图像处理技术向更高、更深层次发展。图像插值技术的应用领域也将不断扩大。

图像插值是数字图像和数字视频处理的一项关键技术，它一直是图像处理技术的研究热点。研究快速有效的图像插值算法具有实际的应用价值。高效率低误差地插值重建图像是图像插值算法研究的基本问题，插值计算时兼顾图像中背景区域的平滑连续和边缘细节的清晰是图像插值算法研究重点。

当前许多图像插值技术难以满足人们对图像处理效果的更高要求，根本原因在于人眼视觉系统的复杂性，大多图像插值技术在图像处理过程中忽略了人的视觉特点，只注重图像处理效果的客观因素。在人眼视觉关注的前提下，满足人的视觉特性和视觉差异性，建立基于人眼视觉的图像插值技术成为难点问题。

从图像插值技术以及其在图像方法和图像增强方面的应用研究来看，如何适应数字图像的特性、人的视觉特性以及人的视觉差异性是图像插值研究的指导方向。虽然目前基于有理函数的图像插值及其应用处于起步阶段，但是因其较好的适应了数字图像的非线性特点和人的视觉非线性，必将引起人们的关注。然而对于人的视觉个体差异性，当前仅有的几种有理插值很难处理这个难点问题，而且有理插值函数形式复杂导致计算困难。

我们认为基于人眼视觉应分为两个部分来理解：1)所建立的插值函数要满足人的视觉特性和个体差异性(即插值函数的非线性和可调节性)。2)在利用图像插值技术进行图像处理时要利用插值函数的参数调整图像处理效果。

发明内容

本发明的主要思想是：首先，根据曲面能量对含参数的插值函数划分不同的能量等级，结合插值函数的保凸控制和区域点控制，给出通过参数调整的凸度和点控强度。其次，根据个人的视觉特点和不同的关注程度调整参数，最终使得图像在整体和局部细节上都让观察者满意的效果。

本发明主要包括四部分，A、基于双变量有理函数的图像插值构造；B、双变量有理插值曲面的能量控制；C、基于曲面凸性控制的图像放大；D、基于曲面点控制的图像增强。

图像插值算法如下：

取m×n的图像I_m，n，设T_i，j(0≤i≤m-1，0≤j≤n-1)是图像I_m，n中第i行第j列像素的灰度值，它与像素平面上的二维点(i，j)相对应，把图像看视为采样点在整数点上的二维离散信号。以各像素灰度值为型值点，基于双变量有理插值构造离散图像的连续曲面。

图像放大算法如下：

图像插值后，确定图像的边界，得到边界经过的各个小矩形区域，连接小矩形区域的对角线，按照距离边界就近原则(即边界在对角线之上选择上顶点，边界在对角线之下选择下顶点，边界过定点的情况选择顶点)得到一系列关键点。通过调整这些关键点的凸性，达到在边界区域插值函数增强突变性，实现边界区域象素值对比明显边界清晰的效果。由于各人的差异，调整的幅度会有差异，拟采用的办法是利用得到的凸性控制划分的凸度进行不同的参数选择。对于非边界区域保持图像平滑即插值曲面的渐变性亦可采用调整降低凸度的方式来实现。最终达到图像边界的清晰和对比度高。

图像增强算法如下：

对图像以像素为插值点数据，对图像进行插值。达到初步的图像增强效果。由于各人的差异，对图像不同区域的关注程度不同、图像增强的强弱程度接受差异等因素。根据自身的视觉特点，选择不满意的部区域处的象素点，利用前述插值曲面的点控制强度，选择不同强度下的参数值，再通过参数调整实现象素值的提高或降低增强。实现对增强图像整体或局部的增强程度的改变，达到个人满意的效果。

(四)附图说明

附图说明

为了更清楚地说明本发明实施例或现有技术的技术方案，下面对实施例或现有技术描述中需要给出的附图做简单介绍，下面描述的附图仅仅是本发明的一些实施例。

图1是基于有理插值函数图像处理流程图。

图2是有理函数与图像插值要求的对应关系图。

图3是双变量有理函数图像插值示意图。

图4是双变量有理函数插值曲面点控制图。

图5是双变量有理函数插值曲面区域控制图。

图6是基于有理插值曲面约束控制的图像增强示意图。

图7是基于有理插值曲面凸性控制的图像放大示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例的技术方案进行详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。

下面说明上述算法中的重要步骤所依据的科学原理：

1)双变量有理插值曲面的能量控制

采用图像插值技术，图像与图像之间的复杂性本质上就是插值曲面的复杂性。对插值图像分类实际上就是对插值曲面分类，对插值曲面分类是解决图像间的复杂性和根据个人视觉特点调控插值图像的有效途径。对于划分的等级，按照心理学家得出的结论，通常成对比较的因素不宜超过9个，因此本项目拟划分为9个能量等级。首先从能量角度去研究插值曲面，求薄膜能量等级下的参数取值范围。给定Ω：[a，b；c，d]为平面区域，设f(x，y)为区域Ω上的函数，a＝x₁＜x₂＜…＜x_n+1＝b与c＝y₁＜y₂＜…＜y_m+1＝d为节点序列。注：取f_i，j表示f(x_i，y_j)，则{(x_i，y_i，f_i，j)，i＝1，2，…n+1；j＝1，2，…m+1}为给定的插值点。在对(x，y)-平面上的任意数据点(x，y)∈[x_i，x_i+1；y_j，y_j+1]，若令h_i＝x_i+1-x_i，l_j＝y_j+1-y_j，则

可定义双变量有理插值函数P_i，j(x，y)的形式如下：

$P_{i,j}(x,y)=\underset{r=0}{\overset{2}{\mathrm{\Σ}}}\underset{s=0}{\overset{2}{\mathrm{\Σ}}}{\mathrm{\ω}}_{r,s}(\mathrm{\θ},{\mathrm{\α}}_i;\mathrm{\η},{\mathrm{\β}}_j)f_{i+r,j+s}$

其中

ω_r，s(θ，α_i；η，β_j)＝ω_r(θ，α_i)ω_s(η，β_j)

${\mathrm{\ω}}_0(\mathrm{\θ},{\mathrm{\α}}_i)=\frac{{(1-\mathrm{\θ})}^2({\mathrm{\α}}_i+\mathrm{\θ})}{(1-\mathrm{\θ}){\mathrm{\α}}_i+\mathrm{\θ}},$ ${\mathrm{\ω}}_1(\mathrm{\θ},{\mathrm{\α}}_i)=\frac{\mathrm{\θ}(1-\mathrm{\θ}){\mathrm{\α}}_i+3{\mathrm{\θ}}^2-2{\mathrm{\θ}}^3)}{(1-\mathrm{\θ}){\mathrm{\α}}_i+\mathrm{\θ}},$ ${\mathrm{\ω}}_2(\mathrm{\θ},{\mathrm{\α}}_i)=\frac{-{\mathrm{\θ}}^2(1-\mathrm{\θ})}{(1-\mathrm{\θ}){\mathrm{\α}}_i+\mathrm{\θ}}$

ω_r，s(θ，α_i；η，β_j)，r＝0，1，2；s＝0，1，2为双变量插值的基函数。

为以下3个步骤：

a)考察双变量有理插值函数

$P_{i,j}(x,y)=\underset{0}{\overset{2}{\mathrm{\Σ}}}\underset{0}{\overset{2}{\mathrm{\Σ}}}{\mathrm{\ω}}_{r,s}(\mathrm{\θ},{\mathrm{\α}}_i;\mathrm{\η},{\mathrm{\β}}_j)f_{i+r,j+s}$

采用薄膜能量

求得在极小极大能量条件下的参数取值以及整个曲面的能量范围：E_min≤E≤E_max。由于此类插值函数含有参数，求解插值曲面能量过程中对于计算复杂度的问题。拟采用最佳一致逼近思想，利用Chebyshev多项式对运算中的高次函数进行降次，以保证计算能量的精度。

b)对能量E分等级：E₁，E₂…E₉。以能量等级为约束条件：得出在不同能量等级时参数(α_i，β_j)的取值范围：

2)能量控制条件下的凸性控制与点控制

对于在能量控制条件下的凸性控制问题拟采用的方法是：结合能量约束条件和凸性控制条件得到不同凸度下的参数取值。矩形区域上的曲面片，能量变化基本对应了凸性变化。所以在满足两个能量等级间的保凸(已完成工作)，划分不同的凸度。取得在不同能量范围下的凸性控制的参数范围与不同能量等级下的参数范围求交集：

C_k(α_i，β_j)＝E_k(α_i，β_j)∩C(α_i，β_j)，0＜k＜9，划分不同的凸度C₁，C₂…C₉。实现对曲面凸性控制的量化。

对于在能量控制条件下的点性控制问题拟采用的方法是：结合能量约束条件和点控制条件得到不同凸度下的参数取值。因为点控制的范围为f_control≤(9/4)|f_i，j|(以完成的研究工作基础部分，双变量有理插值函数的性质)，所以点控制强度不但要限制在能量约束下，同时好要限制在点控制范围之下，即图像像素值的调整有一定的范围，这样可以确保调整像素后，局部区域有良好的光滑性。在约束能量等级下对点控制强度同样分级，将点控制对应不同的控制强度：

P_k(α_i，β_j)＝E_k(α_i，β_j)∩P(α_i，β_j)，0＜k＜9，划分不同的强度P₁，P₂…P₉。

3)基于曲面点控制的图像增强

对图像以像素为插值点数据，对图像进行插值。达到初步的图像增强效果。由于各人的差异，对图像不同区域的关注程度不同、图像增强的强弱程度接受差异等因素。根据建立的视觉模型，选择不满意的部区域处的象素点，利用前述插值曲面的点控制强度P₁，P₂…P₉，选择不同强度下的参数值，再通过参数调整实现象素值的提高或降低增强。实现对增强图像整体或局部的增强程度的改变，达到个人满意的效果。在一个基本单位区域(9个像素值确定如图所示f_i，j…f_i+2，j+2)，选定需要调整的像素点如f_i，j，所调控的范围限定在(9/4)|f_i，j|。对于调整单个点的像素，直接根据观察着选择的点控制强度P_i找到此强度下所对应的参数α_i，β_j即可。对于不同区域都需要调整的情况，对于n个点都需要调整，最终所得到的参数应为： $P_k({\mathrm{\α}}_i,{\mathrm{\β}}_j)=P_k^1({\mathrm{\α}}_i,{\mathrm{\β}}_j)\∩P_k^2({\mathrm{\α}}_i,{\mathrm{\β}}_j)...P_k^n({\mathrm{\α}}_i,{\mathrm{\β}}_j),$ 0＜k＜9。若需要调整的点过多，在满足参数交集困难的情况下，拟采用的办法是，对于关键点和所需调控的强度从大到小排序。依次寻找交集，直至满足最大数量可能的点。

4)基于曲面凸性控制的图像放大

对图像以像素为插值点数据，对图像进行插。图像放大的关键问题是边界的清晰度和对比度。本项目拟采用的思路是，先找出图像的边界(如下图5所示)，进而得到边界经过的各个小矩形区域，连接小矩形区域的对角线，按照距离边界就近原则(即边界在对角线之上选择上顶点如A点，边界在对角线之下选择下顶点如C点，边界过定点的情况选择顶点如B点)得到一系列关键点。通过调整这些关键点的凸性，达到在边界区域插值函数增强突变性，实现边界区域象素值对比明显边界清晰的效果。由于各人的差异，调整的幅度会有差异，拟采用的办法是利用得到的凸性控制划分的凸度P₁，P₂…P₉进行不同的参数选择。同样对于关键点选取的量大满足交集困难，拟采用根据建立的视觉模型，将关键点所在的不同关注区域，对关键点和所需调控的凸度从大到小排序。依次寻找交集，直至满足最大数量可能的点。非边界区域保持图像平滑即插值曲面的渐变性亦可采用调整降低凸度的方式来实现。

本文中应用了具体实例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.提出一种基于含参数的有理函数图像插值技术，其技术特征在于：

依据原图像上像素值数据构造有理插值曲面，有理函数含有参变量，通过求解插值曲面的薄膜能量的极值确定参数的取值范围。根据参数的范围，对能量分级。以能量等级为约束条件，得出在不同能量等级时划定9个参数的取值范围。基于有理函数图像插值的曲面凸性控制的图像放大算法，先结合能量约束条件和凸性控制条件得到不同凸度下的参数取值。矩形区域上的曲面片，能量变化基本对应了凸性变化。所以在满足两个能量等级间的保凸，划分不同的凸度。对图像进行插，构造插值曲面，在此基础上，对插值曲面放大不同倍数。基于有理函数图像插值的曲面点控制的图像增强算法，对图像进行插，构造插值曲面，通过选择关注区域，利用有理插值曲面点控制强度，调整图像像素值，实现对增强图像整体或局部的增强程度的改变。

2.根据权利要求1所述的基于含参数的有理函数图像插值算法，其特征在于：对给定的m×n的图像，取定9个像素作为插值数据，建立一个插值曲面片。在图像边界部分若不足九个插值数据，采用中值方法扩充数据值。由于此双变量有理插值函数C¹连续。将曲面片拼接，形成完整的插值曲面。

有理插值曲面薄膜能量算法： $E_{\mathrm{menb}}=\frac{1}{2}\underset{S}{\∫}(X_u^2+X_v^2)\mathrm{dudv},$

代入原函数得到： $E_{\mathrm{menb}}=\frac{1}{2}\underset{\mathrm{\σ}}{\∫}({\left(\frac{{\∂P}_{i,j}(x,y)}{\∂x}\right)}^2+{\left(\frac{{\∂P}_{i,j}(x,y)}{\∂y}\right)}^2)\mathrm{dxdy},$

能量强度为：E_min≤E≤E_max，划分为9个等级：E₁，E₂…E₉。

凸性保持计算：

$\frac{{\∂}^2{P}_{i,j}(x,y)}{{\∂x}^2}\frac{{\∂}^2{P}_{i,j}(x,y)}{{\∂y}^2}-{\left(\frac{{\∂}^2{P}_{i,j}(x,y)}{\∂x\∂y}\right)}^2>0$

点控制调整算法：取函数值为给定值 $P_{i,j}(x,y)=\underset{r=0}{\overset{2}{\mathrm{\Σ}}}\underset{s=0}{\overset{2}{\mathrm{\Σ}}}{\mathrm{\ω}}_{r,s}(\mathrm{\θ},{\mathrm{\α}}_i;\mathrm{\η},{\mathrm{\β}}_j)f_{i+r,j+s}=M.$

得到控制方程：X₀α_iβ_j+X₁α_i+X₂β_j+X₃＝0。

3.根据权利要求1所述的基于有理函数图像插值的曲面凸性控制的图像放大算法，其技术特征在于：

(1)凸度划分。取得在不同能量范围下的凸性控制的参数范围与不同能量等级下的参数范围求交集：C_k(α_i，β_j)＝E_k(α_i，β_j)∩C(α_i，β_j)，0＜k＜9，划分不同的凸度C₁，C₂…C₉。

(2)对原始图像的像素重采样。建立一个新的m′×n′插值曲面，在两个垂直方向上放大范围分别为n′/n和m′/m。那么对应原始图像上的像素I(x，y)所对应的重采样点I′(x′，y′)为x′＝xn′/n，y′＝ym′/m。

(3)确定图像的边界，进而得到边界经过的各个小矩形区域，连接小矩形区域的对角线，按照距离边界就近原则(即边界在对角线之上选择上顶点如A点，边界在对角线之下选择下顶点如C点，边界过定点的情况选择顶点如B点)得到一系列关键点。通过调整这些关键点的凸性，达到在边界区域插值函数增强突变性，实现边界区域象素值对比明显边界清晰的效果。由于各人的差异，调整的幅度会有差异，利用得到的凸性控制划分的凸度进行不同的参数选择。同样对于关键点选取的量大满足交集困难，将关键点所在的不同关注区域，对关键点和所需调控的凸度从大到小排序。依次寻找交集，直至满足最大数量可能的点。非边界区域保持图像平滑即插值曲面的渐变性采用调整降低凸度的方式来实现。

4.根据权利要求1所述的基于有理函数图像插值的曲面点控制的图像增强算法，其技术特征在于：

(1)采用含参数有理插值函数对原始图像做图像插值。

(2)选择不满意的部区域处的象素点，利用前述插值曲面的点控制强度P₁，P₂…P₉，选择不同强度下的参数值，再通过参数调整实现象素值的提高或降低增强。实现对增强图像整体或局部的增强程度的改变，达到个人满意的效果。

(3)对于调整单个点的像素，直接根据观察着选择的点控制强度P_i找到此强度下所对应的参数α_i，β_j。对于不同区域都需要调整的情况，对于n个点都需要调整的情况，最终所得到的参数应为： $P_k({\mathrm{\α}}_i,{\mathrm{\β}}_i)=P_k^1({\mathrm{\α}}_i,{\mathrm{\β}}_j)\∩P_k^2({\mathrm{\α}}_i,{\mathrm{\β}}_j)...P_k^n({\mathrm{\α}}_i,{\mathrm{\β}}_j),$ 其中0＜k＜9。调整的点过多时，在满足参数交集困难的情况下，对于关键点和所需调控的强度从大到小排序。依次寻找交集，直至满足最大数量可能的点。

Images