CN1799065A - 图像的插值 - Google Patents

图像的插值 Download PDF

Info

Publication number
CN1799065A
CN1799065A CNA200480015375XA CN200480015375A CN1799065A CN 1799065 A CN1799065 A CN 1799065A CN A200480015375X A CNA200480015375X A CN A200480015375XA CN 200480015375 A CN200480015375 A CN 200480015375A CN 1799065 A CN1799065 A CN 1799065A
Authority
CN
China
Prior art keywords
sample
input
value
interpolation
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200480015375XA
Other languages
English (en)
Inventor
G·弗雷蒂
P·卡雷
F·佐塔
G·拉姆波尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1799065A publication Critical patent/CN1799065A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

在一种插值图像的样本(Pi,Pot)的样本值(f)的方法中,根据与特定的一个样本(Pi,Pot)相邻的样本值(f)来确定特定的一个样本(Pi,Pot)的样本值(f)的局部梯度(8)的方向。沿特定的一个样本(Pi,Pot)的局部梯度(8)的方向选择(20)插值器输入值(ai)的位置。根据与插值器输入值(ai)相邻的像素值(f)来插值(21)特定的一个样本(Pi,Pot)的插值器输入值(ai),并且采用插值器输入值(ai)来确定偏移距离插值(3)的偏移系数(A)。

Description

图像的插值
发明领域
本发明涉及一种插值图像像素的像素值的方法。本发明还涉及一种偏移距离插值器(warped distance interpolator)以及一种包括这种偏移距离插值器的显示设备。
发明背景
从G.Ramponi的“Warped distance for space-variant linear imageinterpolation”(IEEE Transactions on Image processing,vol.8no.5May1999)中可知偏移距离的概念(WaDi)。线性插值器的偏移距离概念使线性插值器适于自然(非图形)图像的局部像素结构。具体说来,其目的是为了防止边缘由于插值过程而变得模糊。
WaDi概念执行一维插值。在水平方向上,插值的样本可以是把将要插值的样本夹在其中间的两个相邻水平样本的线性组合。线性组合取决于要相对于两个相邻水平样本进行插值的样本的片断的(fractional)位置(或相位(phase))。亮度边缘处的插值是通过在局部使相位偏移来进行的,从而要插值的样本实际上朝着右侧或左侧的输入样本移动。该偏移在存在亮度边缘时较强烈,而在光滑部分则较弱。为了确定偏移量,对必须插值的一个样本周围的四个像素进行分析,并计算非对称值,使得要插值的样本朝着它所属于的平坦区域移动。
2D图像的插值是通过下述来获得的:首先沿水平方向对输入样本执行WaDi算法以获取插值的水平样本,并且随后沿垂直方向对插值的水平样本执行WaDi算法。缺点是需要一种相对较复杂的算法。
发明概要
本发明的目的是对二维图像执行WaDi插值,其提供了一种较高性能的算法。
本发明的第一方面提供一种如权利要求1中所述的插值图像样本值的方法。本发明的第二方面提供一种如权利要求7所述的偏移距离插值器。本发明的第三方面提供一种如权利要求8所述的显示设备。在从属权利要求中限定了按照本发明的有利实施例。
插值图像样本的样本值的方法根据与一个特定样本相邻的样本值来确定该特定样本的局部梯度的方向。该局部梯度表示该特定样本的位置处样本值的变化方向。例如,如果该图像包含白色左侧区域和黑色右侧区域,而该特定样本靠近白色区域和黑色区域之间的垂直边界,那么该梯度的方向将是指向白色区域的水平方向。通常对图像的每一输出样本确定局部梯度。
接着,采用沿特定样本的梯度方向排列的插值器输入值来确定偏移距离插值器WaDi的偏移系数。因此,众所周知的WaDi插值器的插值器输入值是在沿局部梯度方向通过特定样本延伸的线上选择的。
由于通常这些插值器输入值与输入样本是不重合的,因此,必须根据与插值器输入值相邻的输入样本值来插值这些插值器输入值。
确定沿局部梯度方向的偏移系数的优点是可以在一个步骤中执行WaDi插值,而不是依次沿水平方向和垂直方向执行WaDi插值步骤。
在按照如权利要求2限定的本发明的实施例中,在输出图像是经缩放的输入图像的系统中应用WaDi插值。对于比例系数至少是2的情况,这种方法特别有意思,这时,输出样本之间的距离至多是输入样本之间距离的一半。距离可以是指两个连续样本之间经过的时间,或者是指当把这些样本显示在显示屏像素上时显示屏上的实际位置。
在本实施例中,首先从输入图像粗略地插值输出图像,以获取原始插值数据,例如通过采用简单的双线性插值器。所得到的低通型式的图像使得梯度的估算不太容易受到噪声的影响。也可以采用更复杂的插值,如立体插值,但具有导致更高计算复杂度的缺点。局部梯度是通过采用输出像素或由简单插值器提供的原始插值数据来确定的。
在按照如权利要求3所限定的本发明实施例中,局部梯度是通过采用输入样本值来在输入图(input map)中确定的。将所求得的局部梯度映射到输出图(output map)中输出样本的输出样本位置。这种映射可以例如通过采用最近相邻法或通过线性插值来进行。这种方法无需原始插值步骤,因此花费较少的计算工作量。
在按照如权利要求4所限定的本发明实施例中,样本排列成矩阵,在该矩阵中由正交的x、y坐标来定义样本的位置。采用众所周知的Sobel滤波器(Sobel Filter)来估计局部梯度的方向。
在按照如权利要求5所限定的本发明实施例中,用来确定梯度的相邻插值器输入值之间的距离基本上等于相邻输入样本之间的距离,以提供连贯的插值。
在按照如权利要求6所限定的本发明实施例中,将偏移系数投影成x和y坐标以控制WaDi插值器,以便按照所投影的偏移系数沿x方向和y方向对距离进行修改(使时域中的样本或空域中的像素发生偏移)。因此,不是执行两次标准WaDi算法,而是首先沿x方向获取中间结果,并且随后利用这些中间结果沿y方向采用单个偏移系数的分量以从输入样本中直接获得插值的输出样本。
根据下文所描述的实施例,本发明的这些和其它方面是显然的,并且将参考所述实施例对其进行阐明。
附图简述
在图中:
图1示出已知的两步插值法,
图2示出用于阐明已知的“偏移距离”概念的波形,
图3示出按照本发明的实施例用于特定输出样本的沿局部梯度方向的插值器输入值的排列,
图4示出用于阐明按照本发明的一步“偏移距离”概念的实施例的流程图,
图5示出按照本发明的一步“偏移距离”概念的另一个实施例的流程图,以及
图6示出包括按照本发明的“偏移距离”插值器的显示设备的框图。
优选实施例的详细说明
图1示出现有技术的两步插值法。
在众所周知的线性插值技术中,二维输入图像II(参见图6)是用输入样本Pi来表示的,这些输入样本通常是等距离采样的,因而这些输入样本Pi位于具有x方向和y方向的矩形网格上。输入样本Pi也被称为输入像素Pi,它是基于这样的事实,即如果输入样本Pi被显示在显示屏DS(参见图6)上,那么时间上的矩形网格将显示为显示屏DS上以位置表示的矩形网格。输入样本Pi的值决定输入像素Pi的密度。实际要显示在显示屏DS上的输出样本Po可以根据输入样本Pi进行插值以得到对应于显示屏DS上的像素的输出像素Po。例如,如果显示屏DS的分辨率是固定的(例如对于矩阵显示就是这样的情况),并且输入图像II的分辨率不同于显示屏DS的分辨率,那么这样做就是必需的。
图1示出位于输入样本Pi之间的输出样本Po的插值。输入图像第j行样本的第i个输入样本Pi的值用f(xi,yj)来表示。输出样本Po的值用fo(x,y)来表示。在图1中示出四个最接近输出样本Po的输入样本Pi。
首先,沿水平方向x插值输入图像II。在yj行中,利用xi列中的输入样本Pi的值f(xi,yj)以及xi+1列中的输入样本Pi的值f(xi+1,yj+1)来确定临时样本Pt1的值ft(x,yj)。以相同的方式,在yj+1行中,利用xi列中输入样本Pi的f(xi,yj+1)值以及xi+1列中输入样本Pi的f(xi+1,yj+1)值来确定临时样本Pt2的值f(x,yj+1)。随后,利用临时样本Pt1和Pt2来确定输出像素Po的值fo(x,y)。
临时样本Pt1和Pt2的值可以计算为
ft(x,yk)=(1-Sx)f(xi,yk)+Sxf(xi+1,yk)       k=j,j+1           (1)
其中Sx是x和xi之间沿x方向的距离。
输出样本Po的值可以计算为
fo(x,y)=(1-Sy)ft(x,yj)+Syft(x,yj+1)                            (2)
其中Sy是y和yj之间沿y方向的距离。
图2示出用于阐述已知“偏移距离”概念的波形。按照如相对于图1所阐述的相同方法,“偏移距离”概念(也称为WaDi)采用两步来确定输出样本Po的值。与相对于图1阐述的线性插值不同的是,按照输入图像II的局部特征来修改(偏移)距离Sx和Sy以提高插值的输出图像OI(参见图6)的感觉质量。因此,WaDi首先通过采用具有已适配距离Sx沿x方向的线性插值算法来插值输入图像II,以获取临时的或中间的插值样本Pt。随后,WaDi将沿y方向对具有已适配距离Sy的中间插值样本Pt应用线性插值算法,以获得输出样本Po。
WaDi根据下述偏移系数A使距离Sx和Sy发生偏移:
A=(|a3-a1|-|a4-a2|)/(L-1)                         (3)其中,系数a1到a4是要被插值的输出样本Po的附近的输入样本值f(xi,yj)。根据WaDi所执行的步骤,输入样本a1至a4的排列沿x方向或沿y方向。L是可用于显示这些样本的级(level)数,例如对于8位亮度信号,L=256。
图2示出用于阐述沿x方向的WaDi的波形和输入样本Pi。函数f(x)示出输入视频图像II中的过渡的例子。
具体说来,WaDi的目的是防止边缘由于插值过程而模糊。如果要插值的中间样本Pt在输出域中处于一个位置u(未示出),那么输入域中输出样本Po的相应位置是x=u/z,其中z是比例系数。输入域包括输入像素Pi,而输出域包括输出像素Po。片断位置或相位是Sx=x-x0,其中x0是x附近的左边输入样本Pi。x0处的输入样本Pi具有样本值a2,x1处的输入样本Pi具有值a3,x-1处的输入样本Pi具有值a1,以及x2处的输入样本Pi具有值a4,其在本例中为1。如果采用简单的帐篷(tent)(双线性)核作为WaDi的线性插值器的基核,那么输出值将是:
ft(x)=(1-Sx)f(xo)+Sxf(x1)=(1-Sx)a2+Sxa3         (4)
其中x1是接在x附近的右边输入样本。
一般说来,插值样本ft(x)是相邻样本f(x0)和f(x1)的线性组合,该线性组合取决于片断位置(或相位)Sx。通过使相位Sx进行局部偏移以使x实际上向右输入样本或左输入样本Pi移动来修改亮度边缘处的插值。当存在亮度边缘时,该偏移较强,而在光滑部分则较弱。为了确定偏移量,对在必须插值的位置x处的样本周围的位置x-1、x0、x1和x2处的四个样本Pi进行分析,并计算非对称值或偏移系数A:
A = | f ( x 1 ) - f ( x - 1 ) | - | f ( x 2 ) - f ( x 0 ) | L - 1 = | a 3 - a 1 | - | a 4 - a 2 | L - 1 - - - ( 5 )
其中L是所允许的亮度级数(在8位量化的情况下为256)。并且x-1是输入样本x0之前的输入样本,而x2是输入样本x1之前的输入样本。如果采用的是S形边缘模型,那么当边缘完全对称的时候,等式(5)中的非对称值A是0,而当边缘在样本Pt的右(左)侧更平坦时,非对称值A接近1(或-1)。
要插值的样本Pt应当朝着它所属于的平坦区域移动。因此,当偏移系数A>0时,必须增大相位Sx,而如果偏移系数A<0,则必须降低相位Sx。这是通过下述偏移函数得到的:
Sx′=Sx-kASx(Sx-1)                          (6)其中k是可控的偏移总量。如果k在[0,1]的范围内,则偏移相位Sx’保持在[0,1]的范围内。必须注意的是,无论A和k为何值,都保留两个极值Sx=0和Sx=1(分别是Sx’=0和Sx’=1)。偏移中间样本表示为WP。
按照与如通过沿x方向执行已知的WaDi来确定偏移的中间样本WP而阐述的相同方法,WaDi必须沿y方向来插值偏移的中间样本WP以获取输出样本Po。
在采用WaDi的线性滤波方程之前,改变相位Sx相当于在中间网格或输出网格中移动要插值的样本Pt或Po的位置,就像其被偏移那样。实际上,样本Pt或Po的最终位置是不变的,该算法将所获得的值分配给要插值的样本Pt或Po,就像是其处于偏移位置那样。系数k控制偏移量,更大的k值使锐化效果提高。为了确保相位Sx处于区间0至1的范围内,系数k必须选择为≤1。但是,对于自然图像,系数优选大于1。由于|A|通常是小的,所以即使这些系数k较大,相位Sx仍然小于1。如果相位Sx变成大于1,则它被修整(clip)为1,或者如果它小于0,则它被修整为0。
在按照本发明的实施例中,与已知的WaDi相比,在输入图像或输出图像中,沿局部梯度(θ)的方向仅确定一次偏移函数。
图3示出对于特定输出样本可以如何按照本发明的实施例沿局部梯度的方向排列插值器输出值a1至a4。输入样本Pi用x、y空间中间距为d的大圆点表示。输出样本Po则用形成输出网格的水平线和垂直线的交点来表示。因此,图3通过举例示出系数为2时的比例。TR线表示黑色区域(边界TR的左侧)和白色区域之间的边界。输出像素P的位置处的局部梯度方向用垂直于边界TR的虚线DLG表示。
本发明是基于不是分别按照x方向或y方向的局部一维特征而是根据二维特征来改变相位Sx和Sy。因此,偏移系数A是沿可以是对角线的局部梯度方向θ在一个步骤中计算完成的。无需分别沿x方向和y方向独立确定系数A。
正如相对于已知WaDi所讨论的那样,仍然通过利用位于必须确定其值的输出样本P附近的输入值a1至a4来计算非对称值或偏移系数A。但是,在按照本发明的实施例中,这些输入值既非沿x方向的输入样本Pi,也非沿y方向的偏移临时样本Pt。现在,输入值a1至a4是沿局部梯度θ的方向来排列的。如图3所示,用来确定偏移系数A的输入值a1至a4位于DLG线上,因而是沿局部梯度θ的方向。通常,这些输入值a1至a4将不会与输入样本Pi重合,因而必须根据输入样本Pi进行插值。优选地,输入值a1至a4中的两个连续值之间的距离等于输入图像II的样本Pi的样本周期,以保持与图像插值阶段的连贯性。
该样本周期与沿x方向或y方向的两个连续的输入样本Pi之间的距离对应。例如,输入值a1至a4是通过图3中所示的位置中的双线性插值来获得的。输入值a1至a4的这些位置是在距离要插值的输出像素P的(xp,yp)位置分别为-1.5·d、-0.5·d、0.5·d以及1.5·d的地方沿最大梯度方向θ而选择的,其中d是输入网格中两个连续输入像素Pi之间的距离。输入值a1至a4的x和y坐标是利用下面的方程确定的:
x=xp+(i-2.5)d·cos(θ)
y=yp+(i-2.5)d·sin(θ)
其中i是输入值ai的下标。
下面描述两种确定局部梯度θ的可能实施例。在第一实施例中,输入图像II是首先采用已知算法例如采用一种双线性滤波来插值的,以获取粗略插值的输出样本。根据这些输出样本,在输出域中确定局部梯度θ。例如通过采用Sobel滤波器。获取沿x方向和y方向的方向导数值的Sobel滤波器的可能屏蔽(mask)是:
Sobel x = 1 / 4 0 - 1 / 4 1 / 2 0 - 1 / 2 1 / 4 0 - 1 / 4 Sobel y = - 1 / 4 - 1 / 2 - 1 / 4 0 0 0 1 / 4 1 / 2 1 / 4
随后,如下估计位置xi,yj处梯度θ的方向:
θ(xi,yj)=arctan((f1*Sobely)|(xi,yj)/(f1*Sobelx)|(xi,yj))      (7)其中f1是输入图像II的粗插值的结果,而θ是在-π/2和π/2之间变化的角度。
通过在输出域中采用Sobel方法已经执行了梯度估算。需要一种预处理(例如简单的双线性插值器)来获取代表低通型式的输入图像II的原始插值输出样本,并且因此梯度估算不太受噪声的影响。可以采用更复杂的方法如双立方插值来执行粗插值,当然其缺点是更高的计算复杂度,但却提供了更好的梯度值θ。尽管此第一实施例提供了一种很好的梯度估计,但它大大增加了总处理时间的开销。
在另一实施例中,估计梯度θ的稍逊于最佳的解决方案是在输入域中使用Sobel滤波器(利用输入样本Pi),并且随后将这些梯度值映射到输出网格。这种映射例如可以通过采用最近相邻法或者通过对估计的梯度值θ进行线性插值来进行。
如果需要很高的插值系数值,那么Sobel滤波器的通带会太大,并且梯度估算无法工作。因此,对于高插值系数,最好采用两个步骤来调整图像大小,从而执行整个算法两次。例如,采用系数为8的插值可以变成系数为2的插值的级联。替代地,可以采用Sobel滤波器来处理中等分辨率型式的输入图像II以获取梯度值θ。将相同的梯度值θ分配给超高分辨率输出网格中的一组输出像素Po。
图4示出用于阐述按照本发明的一步“偏移距离”概念的实施例的流程图。
步骤1接收输入样本Pi(i,j)并提供局部梯度θ(m,n)(也称为梯度)。在如前文所述的第一实施例中,步骤10插值输入像素Pi(i,j)以获取输入到Sobelx滤波步骤11和Sobely滤波步骤12中去的估计的输出样本I’(m,n)。在相除步骤13中,将Sobely滤波步骤12的输出除以Sobelx滤波步骤11的输出。步骤14通过计算相除步骤13的输出的反正切来确定梯度θ(m,n)。
步骤2执行也称为偏移系数A的确定的局部非对称估计。在步骤20中,选择四个输入值a1至a4是沿局部梯度θ的方向的位置来确定的,因此是在DLG线上。P(m,n)是其值必须插值的输出样本,并且θ(P)是在该样本P(m,n)的位置处的局部梯度。在步骤21中,输入值a1至a4的值是通过在输入值a1至a4的位置周围输入样本Pi的插值来确定的。优选采用双线性插值。在步骤22中,根据插值的输入值a1至a4,在一个步骤中按照方程5来确定偏移系数A。
步骤3确定输出样本Po(i,j)的值。步骤30接收梯度θ(m,n)和偏移系数A以通过与已知WaDi法的等式6所做的相同方式使距离Sx和Sy偏移来计算局部偏移分量或距离SLx和SLy。为了得到该结果,将偏移矢量A投影到x方向和y方向。下面的方程执行这些运算:
SLx=Sx+kAcos(θ)/4                                (8)
SLy=Sy+kAsin(θ)/4                                (9)
如在已知的WaDi法中,k是调节失真密度的相乘系数4,θ是定义梯度方向的角度。在分母处提供的可选系数4仅用于与已知的WaDi结果进行比较。注意,k系数可以对逐个样本(或者指的是逐个像素的输出像素)通过(外部的)自动控制来改变。例如,自然内容检测器可以用来估计局部像素是否是一张照片的一部分的概率。根据该估计,可以通过k系数来调节偏移效果以获取最佳结果。
可选修整步骤31修整局部偏移距离SLx和Sly的值以使它们保持在0到1(包括极限)的范围内。否则,也可以这样,特别是如果相乘系数k>4,则偏移距离SLx或SLy小于0或大于1,这意味着要插值的输出像素Po会移动到由四个最接近的输入像素Pi形成的正方形之外,这不会给出良好的插值。修整后的偏移距离用SLCx和SLCy来表示。
必须注意到,根据方程8和9,如果相位Sx=0以及相位Sy=0,并且如果A不是0,那么偏移距离SLx和Sly不可能等于0。所以,在对应于输入网格中的点的输出网格的点处插值的输出像素Po(m,n)可以具有与相应输入样本Pi(i,j)不同的值。因此,按照本发明的已修改的WaDi算法是一种近似插值算法。
插值步骤32采用插值器插值输入样本Pi(i,j),该插值器优选采用线性核。经修整的偏移距离SLCx和SLCy确定如何按照与已知的WaDi相同的方式通过对相邻的输入样本Pi(i,j)进行加权来对输出样本Po(m,n)进行插值。
其中必须对输出样本值f(x’,y’)或像素Po(x,y)进行估计的偏移位置x’,y’受三个因素的影响:
我们所插值的输出像素Po的坐标x,y,
约束用来计算偏移系数A的输入值ai的位置的局部梯度的方向θ,以及
偏移强度参数k的值。
图5示出按照本发明的一步“偏移距离”概念的另一实施例的一部分的流程图。图5示出按照前面讨论的第二实施例来确定局部梯度θ(m,n)的方向的步骤1中所需的步骤。现在步骤1包括步骤15和16而不是图4中所示的步骤10至14。在步骤15中,局部梯度θ(i,j)的方向是在输入样本Pi的输入图像II中确定的。步骤16将这些局部梯度θ(i,j)从输入域映射到输出域以获得输出像素Po的局部梯度θ(m,n)。按照本发明的此实施例的WaDi处理的其它步骤与图4中所示的步骤相同。
图6示出包括按照本发明的“偏移距离”插值器的显示设备的框图。输入视频处理器IVP对输入视频IV进行处理以获得包括输入样本Pi的输入图像II。如果输入视频IV包括三个RGB信号,则输入视频处理器IVP可以包括确定亮度值的矩阵。缩放器WI包括按照本发明的WaDi插值器,它是一种被修改以能够在一个步骤中对二维输入图像II进行处理的已知的WaDi插值器。缩放器WI提供包括输出样本Po的输出图像OI。这样一种缩放器通常在包括矩阵显示器的显示设备中是所需的。这样一种矩阵显示器具有由每行中的像素数(显示单元)和行数所确定的原始分辨率。另一方面,输入图像II的分辨率可以不同于矩阵显示器的原始分辨率。因此,必须根据输入样本Pi插值要在矩阵显示器的像素上显示的输出样本Po。缩放器WI可以在存在时接收能够插值三个信号R、G和B中的每一个的输入视频IV。输出视频处理对输出视频OI进行处理,以获得适合于驱动包括显示屏DS的显示装置DP的视频驱动信号VDS。
最后,按照本发明的优选实施例涉及一种以给定顺序执行紧接的步骤的数字处理器。
采用预定的快速插值法插值10输入图像II,以获取包括临时输出样本Pot的粗插值输出图像I’(m,n)。确定临时输出样本Pot以便达到采用这些样本来计算局部梯度方向θ(m,n)的目的,但并不打算对其进行显示。
采用简单算法如Sobel滤波器11和12、除法器13和反正切计算器14来计算该粗插值输出图像I’(m,n)中的局部梯度方向θ(m,n),但也可以采用其它算法。
根据位于我们想要插值的输出像素Po(m,n)周围所选择的20预定位置处的输入图像II的输入样本Pi(i,j),沿该梯度方向θ(m,n)确定21若干插值的输入值ai。采用这些输入值ai,通过计算22偏移系数A来匹配WaDi法的边缘模型。采用该偏移系数A来计算沿梯度方向θ(m,n)的偏移。
将所计算的偏移沿梯度方向θ(m,n)投影30到x和y轴上,并且如果必要则执行修整31。将所投影的x和y偏移分量应用于32相位Sx和Sy(代表要相对于最接近的左上输入像素Pi(i,j)插值的输出样本Po(m,n)的偏移)的值,以计算输出样本Po(m,n)的偏移位置。因此,采用32线性滤波技术在偏移位置中插值输出样本值Po(m,n)。输出样本Po(m,n)被用于进行显示。
每当需要对摄影图像或视频进行插值处理时,可以使用按照本发明的WaDi算法。当要求比例系数大于2时,该算法的执行情况最好。例如,可以在视频墙应用、照片润饰软件和其它情况下采用该算法。也可以用在集成电路内,举例来说,比如数字显示系统的控制器。该算法可以在实时和批处理应用中被实施。
应当注意,上述实施例是说明而不是限制本发明,并且在不偏离所附权利要求书的范围的情况下,本领域的普通技术人员将能够设计许多替换实施例。
尽管按照本发明的WaDi处理是针对灰度级图像来描述的,但相同的处理可以用于彩色图像。如果WaDi处理器接收RGB(红、绿和蓝)输入信号,那么可以通过采用根据RGB输入信号确定的亮度值来计算偏移距离Slx和SLy。差别是在最后一个步骤32中,通过独立采用偏移距离SLx和Sly或修整过的偏移距离SLCx、SLCy的同一值,三次将插值应用于RGB信号中的每一个信号。
在权利要求书中,置于括号中的每一个参考符号不应被理解成是对权利要求的限制。动词“包括”及其变化的使用不排除权利要求中所述的元件或步骤以外的元件或步骤的存在。元件之前的冠词“a(一)”或“an(一个)”并不排除存在多个这样的元件的存在。本发明也可以通过包括若干不同元件的硬件或者通过适当编程的计算机来实现。在列举几个装置的设备权利要求中,这些装置中的若干可以采用同一项硬件来实现。仅仅在相互不同的从属权利要求中记载某些措施的事实并不表明不能有利地采用这些措施的组合。

Claims (8)

1.一种插值图像的样本(Pi,Pot)的样本值(f)的方法,所述方法包括:
根据与一个特定样本(Pi,Pot)相邻的样本值(f),为该特定的一个样本(Pi,Pot)确定(1)所述样本值(f)的局部梯度(θ)的方向,
沿所述特定的一个样本(Pi,Pot)的局部梯度(θ)的方向选择(20)插值器输入值(ai)的位置,
根据与所述插值器输入值(ai)相邻的样本值(f)来插值(21)所述特定一个样本(Pi,Pot)的插值器输入值(ai),以及
利用所述插值器输入值(ai)在一个单独步骤中确定偏移距离插值器(3)的偏移系数(A)。
2.如权利要求1所述的插值图像的样本(Pi,Pot)的样本值(f)的方法,其中:
根据系统中的输入图像(II)来插值输出图像(OI),用于利用具有输入样本值的输入样本(Pi)对所述输入图像(II)进行数字缩放以获得具有输出样本(Po)的输出图像(OI),
所述方法还包括插值(10)所述输入样本值以获得具有临时输出样本值(I’(m,n))的插值的临时输出样本(Pot),
把所述确定(1)所述局部梯度(θ)的方向安排成根据相邻的临时输出样本值(I’(m,n))来确定每一输出样本(Po)的局部梯度(θ)的方向。
3.如权利要求1所述的插值图像的样本(Pi,Pot)的样本值(f)的方法,其中:
根据系统中的输入图像(II)来插值输出图像(OI),用于利用输入样本(Pi)对所述输入图像(II)进行数字缩放以获得具有输出样本(Po)的输出图像(OI),
把所述确定(1)排列所述局部梯度(θ)的方向安排成根据相邻的输入样本值来确定(15)每一输入样本(Pi)的局部梯度(θ)的方向,以获得输入样本梯度值,以及
所述方法还包括将所述输入样本梯度值映射(16)到输出样本(Po)的输出梯度值,其中所述输出梯度值中相应的一个用作所述样本(Pi,Pot)中特定的一个的局部梯度(θ)。
4.如权利要求2所述的插值图像的样本(Pi,Pot)的样本值(f)的方法,其中所述输入样本(Pi)和输出样本(Po)排列成矩阵,所述矩阵包括沿x方向的像素行和沿y方向的像素列,所述确定(1)局部梯度(θ)的方向包括沿x方向对临时输出样本(Pot)进行第一Sobel滤波(11),以及沿y方向进行第二Sobel滤波(12),所述输出样本(Po)的局部梯度(θ)是所述第二Sobel滤波(12)除以所述第一Sobel滤波(11)的反正切。
5.如权利要求2或3所述的插值图像的样本(Pi,Pot)的样本值(f)的方法,其中相邻插值器输入值(ai)之间的距离(d)基本上等于相邻输入样本(Pi)之间的距离。
6.如权利要求2或3所述的插值图像的样本(Pi,Pot)的样本值(f)的方法,其中:
将所述输入样本(Pi)和所述输出样本(Po)排列成矩阵,所述矩阵包括沿x方向的像素行和沿y方向的像素列,以及
所述确定(22)偏移系数(A)包括将所述偏移系数(A)投影(30)到x和y轴上以分别获得第一和第二偏移分量(Ax,Ay),以及一个用于插值带有由所述第一和第二偏移分量(Ax,Ay)确定的修改距离的输入样本(Pi)的插值器(32)。
7.一种插值图像的样本(Pi,Pot)的样本值(f)的偏移距离插值器,所述插值器包括:
根据与特定的一个样本(Pi,Pot)相邻的样本值(f)来确定(1)所述特定的一个样本(Pi,Pot)的样本值(f)的局部梯度(θ)的方向的装置,
沿所述特定的一个样本(Pi,Pot)的局部梯度(θ)的方向选择插值器输入值(ai)的位置(20)的装置,
根据与所述插值器输入值(ai)相邻的像素值(f)来插值(21)所述特定的一个样本(Pi,Po)的插值器输入值(ai)的装置,
采用所述插值器输入值(ai)在一个单独步骤中确定(22)偏移距离插值器(3)的偏移系数(A)的装置。
8.一种包括权利要求7的偏移距离插值器(3)以及显示屏(DS)的显示设备。
CNA200480015375XA 2003-06-04 2004-05-25 图像的插值 Pending CN1799065A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03101617 2003-06-04
EP03101617.3 2003-06-04

Publications (1)

Publication Number Publication Date
CN1799065A true CN1799065A (zh) 2006-07-05

Family

ID=33495616

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200480015375XA Pending CN1799065A (zh) 2003-06-04 2004-05-25 图像的插值

Country Status (6)

Country Link
US (1) US20070003167A1 (zh)
EP (1) EP1634239A1 (zh)
JP (1) JP2006526832A (zh)
KR (1) KR20060006102A (zh)
CN (1) CN1799065A (zh)
WO (1) WO2004109598A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013511B2 (en) * 2006-08-09 2015-04-21 Qualcomm Incorporated Adaptive spatial variant interpolation for image upscaling
US20080126294A1 (en) * 2006-10-30 2008-05-29 Qualcomm Incorporated Methods and apparatus for communicating media files amongst wireless communication devices
US20080115170A1 (en) * 2006-10-30 2008-05-15 Qualcomm Incorporated Methods and apparatus for recording and sharing broadcast media content on a wireless communication device
JP4772754B2 (ja) * 2007-06-25 2011-09-14 三菱電機株式会社 画像補間装置及び方法、並びに画像読取装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5038378A (en) * 1985-04-26 1991-08-06 Schlumberger Technology Corporation Method and apparatus for smoothing measurements and detecting boundaries of features
FI97590C (fi) * 1994-12-15 1997-01-10 Nokia Technology Gmbh Menetelmä ja järjestely videokuvassa esiintyvien reunojen korostamiseksi
EP1168243B1 (en) * 1995-09-29 2004-06-09 Fuji Photo Film Co., Ltd. Image processing method and apparatus
JP3706189B2 (ja) * 1996-03-15 2005-10-12 富士写真フイルム株式会社 画像データの補間処理方法およびその方法を使用した装置
US5949434A (en) * 1997-03-20 1999-09-07 Charlton; Paul Method and apparatus for scaling graphic images
US6016152A (en) * 1997-08-01 2000-01-18 Avid Technology, Inc. Apparatus and method for non-uniform image scaling

Also Published As

Publication number Publication date
JP2006526832A (ja) 2006-11-24
WO2004109598A1 (en) 2004-12-16
US20070003167A1 (en) 2007-01-04
EP1634239A1 (en) 2006-03-15
KR20060006102A (ko) 2006-01-18

Similar Documents

Publication Publication Date Title
US10614551B2 (en) Image interpolation methods and related image interpolation devices thereof
CN108681992B (zh) 用于探测器阵列法测量激光光斑的图像插值方法
CN1968422A (zh) 使用图像边缘指示值重建所缺色彩的色彩内插装置及方法
CN106204453B (zh) 一种图像的插值方法及装置
CN109035170B (zh) 基于单网格图分段映射的自适应广角图像校正方法及装置
GB2538584A (en) Image filtering based on image gradients
CN104881843A (zh) 图像插值方法和图像插值装置
US9519952B2 (en) Image processing apparatus and method
US9978120B2 (en) Warping panoramic images to fit a boundary
CN109194954B (zh) 鱼眼摄像头性能参数测试方法、装置、设备及可存储介质
CN1622134A (zh) 一种实现缩放的图像转换方法
CN107451976A (zh) 一种图像处理方法及装置
CN109741358B (zh) 基于自适应超图学习的超像素分割方法
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN1169079C (zh) 基于样条思内克斯(Snakes)模型的中医舌象计算机分割方法
CN101639932B (zh) 一种数字图像分辨率增强的方法及系统
CN117809123B (zh) 一种双阶段图像的异常检测与重构方法及系统
CN115334254A (zh) 旋转扭曲视频转场特效的实现方法及相关设备
KR101028699B1 (ko) 회화적 렌더링 장치 및 방법
CN109285121A (zh) 一种Bayer图像还原方法
CN1799065A (zh) 图像的插值
CN1317884C (zh) 一种实现图像整数倍放大的方法
US20130108143A1 (en) Computing device and method for analyzing profile tolerances of products
CN108537810B (zh) 一种改进的Zernike矩亚像素边缘检测方法
CN115641294A (zh) 基于周长面积比筛选阳性突变细胞的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned