CN103248907A - 一种三维图像还原方法 - Google Patents

Abstract

本发明公开了一种三维图像还原方法，该方法包括：根据公式（1）至公式（3）计算0度、45度和135度三个方向的梯度，其中加权系数是从10组系数中根据PSNR穷尽选择出来的；采用在梯度最小的方向上进行插值的原则，计算所述0度、所述45度和所述135度三个方向上的插值；其中，公式（1）：

公式（2）：公式（3）：

本发明采用了在梯度最小的方向上进行插值的原则，所以提高了图像的客观质量，尤其是提高了主观质量。

Description

一种三维图像还原方法

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种三维图像还原方法。

背景技术

目前，多种3D立体格式都采用了帧相容的模式来编码。图1所示就是若干种帧相容的立体编码格式，其中x表示左视，ο表示右视。这些模式都首先将左视和右视以一种模式进行下采样使其像素数目降至原来的一般，然后将左视和右视合并为一幅图像，然后将其编码入码流。如side by side方式就是将左视和右视都沿水平方向进行一次降采样，然后合并为一副图像进行编码；而top bottom模式则将左视和右视都沿垂直方向进行一次降采样，然后合并为一副图像进行编码。

在解码端，由于恢复出来的信号左视和右视都被降采样了一倍，所以首先需要从降采样的右视和左视图像上采样一倍，然后才能显示图像。

当需要插值得到某个位置的像素值时，可以根据该像素周边位置已知的像素分别赋予不同的权值系数（即滤波器系数）进行加权而得到该位置像素的值。

最临近插值法：最简单的计算P(0.5,0)的方法就是直接拷贝P(0,0)的值，即P(0.5,0)=P(0,0)。而高级一些的方法则是沿水平方向在P(0.5,0)两侧对称的取若干连续的整数像素，然后使用一个对称的插值滤波器获得，即：

其中T为滤波器抽头数目的二分之一，{f_i|i∈[-T+1,T]}为插值滤波器且

即归一对称滤波器。

与本发明相关的现有技术还可以从以下文献中获得。

1、Andrea Giachetti and Nicola Asuni,"Real-Time Artifact-Free ImageUpscaling",IEEE Transactions on Image Processing,Oct.2011；

2、Wing-Shan Tam,Chi-Wah Kok and Wan-Chi Siu,"Modified edge-directedinterpolation for images",SPIE journal of Electronic imaging,Jan-Mar,2010；

3、X.Lin and M.T.Orchard,"New edge-directed interpolation",IEEETransactions on Image Processing,Oct.2001。

然而，现有技术中还不存在还原三维图像的有效的解决方案。

发明内容

本方明要解决的技术问题是提供一种可提高图像客观质量的三维图像还原方法。

为了实现上述目的，提供了一种三维图像还原方法，该方法包括：

根据公式（1）至公式（3）计算0度、45度和135度三个方向的梯度，其中加权系数是从10组系数中根据PSNR穷尽选择出来的；

采用在梯度最小的方向上进行插值的原则，计算所述0度、所述45度和所述135度三个方向上的插值；

其中，公式（1）： $G_0=\left(\begin{array}{c}4\×|P\left(\mathrm{0,0}\right)-P\left(\mathrm{1,0}\right)|+4\×|P(0,-1)-P(1,-1)|+4\×|P\left(\mathrm{0,1}\right)-P\left(\mathrm{1,1}\right)|+\\ 2\×|P(-\mathrm{1,0})-P\left(\mathrm{0,0}\right)|+2\×|P\left(\mathrm{1,0}\right)-P\left(\mathrm{2,0}\right)|+8\end{array}\right)>>4;$

公式（2）： $G_{45}=\left(\begin{array}{c}4\×|P(1,-1)-P\left(\mathrm{0,1}\right)|+2\×|P(1,-2)-P\left(\mathrm{0,0}\right)|+2\×|P\left(\mathrm{1,0}\right)-P\left(\mathrm{0,2}\right)|+\\ 4\×|P(0,-1)-P(-\mathrm{1,1})|+4\×|P(2,-1)-P\left(\mathrm{1,1}\right)|+8\end{array}\right)>>4;$

公式（3）： $G_{135}=\left(\begin{array}{c}4\×|P(0,-1)-P\left(\mathrm{1,1}\right)|+2\×|P\left(\mathrm{0,0}\right)-P\left(\mathrm{1,2}\right)|+2\×|P\left(\mathrm{0,2}\right)-P\left(\mathrm{1,0}\right)|+\\ 4\×|P(-1,-1)-P(0,1)|+4\×|P(1,-1)-P\left(\mathrm{2,1}\right)|+8\end{array}\right)>>4.$

其中，在进行所述插值时采用边界导向的插值算法。

其中，在计算所述0度、所述45度和所述135度三个方向上的插值的步骤中，整数滤波器由迭代最小二乘法得出。

与现有技术相比，本发明具有以下有益效果：

本发明由于采用在梯度最小的方向上进行插值的原则，所以提高了图像的客观质量，尤其是提高了主观质量（尤其是指图像锐度）。

附图说明

图1为帧相容的立体编码格式的示意图；

图2为本发明在插值过程中所用子像素矩阵的示意图；

图3为本发明三维图像还原装置的示例性结构图；

图4为本发明的插值算法流程图；

图5为本发明应用于高清机顶盒的结构示意图。

具体实施方式

下面结合附图以及具体实施例对本发明进行详细的说明。

本文中以SideBySide为例对本发明进行详细地说明。其它3D视频格式仅为取样的差别，具体插值算法无差异。

本发明采用边界导向的插值算法，其基本思想是，沿梯度最小的方向进行插值。本方法中选取3个方向的梯度进行计算，可以选取更多的梯度来进行计算，但是，根据实际测算，选取更多的梯度对插值结果的改变，影响比较小。

以P(i,j)表示坐标为(i,j)的像素的值。

首先，根据下式计算图像的水平梯度G₀、45度梯度G₄₅和135度梯度G₁₃₅。

$G_0=\left(\begin{array}{c}4\×|P\left(\mathrm{0,0}\right)-P\left(\mathrm{1,0}\right)|+4\×|P(0,-1)-P(1,-1)|+4\×|P\left(\mathrm{0,1}\right)-P\left(\mathrm{1,1}\right)|+\\ 2\×|P(-\mathrm{1,0})-P\left(\mathrm{0,0}\right)|+2\×|P\left(\mathrm{1,0}\right)-P\left(\mathrm{2,0}\right)|+8\end{array}\right)>>4$

$G_{45}=\left(\begin{array}{c}4\×|P(1,-1)-P\left(\mathrm{0,1}\right)|+2\×|P(1,-2)-P\left(\mathrm{0,0}\right)|+2\×|P\left(\mathrm{1,0}\right)-P\left(\mathrm{0,2}\right)|+\\ 4\×|P(0,-1)-P(-\mathrm{1,1})|+4\×|P(2,-1)-P\left(\mathrm{1,1}\right)|+8\end{array}\right)>>4$

$G_{135}=\left(\begin{array}{c}4\×|P(0,-1)-P\left(\mathrm{1,1}\right)|+2\×|P\left(\mathrm{0,0}\right)-P\left(\mathrm{1,2}\right)|+2\×|P(0,-2)-P\left(\mathrm{1,0}\right)|+\\ 4\×|P(-1,-1)-P(0,1)|+4\×|P(1,-1)-P\left(\mathrm{2,1}\right)|+8\end{array}\right)>>4$

梯度计算中采用的加权系数是从10组系数中根据PSNR穷尽选择出来的；式中的>>4表示向右移4位，即相当于除以8； $\mathrm{PSNR}=10\×{\log }_{10}\left(\frac{{(2^n-1)}^2}{\mathrm{MSE}}\right),$ MSE是原图像与处理图像之间均方误差，PSNR是“Peak Signal to Noise Ratio”的缩写，为一种评价图像的客观标准，其可以通过软件实现。

其次，在计算出三个梯度后，我们采用沿梯度最小的方向进行插值的原则，再计算0度、45度和135度3个方向插值的结果。

在实际应用中，以子像素P(0.5,0)为例进行说明，图2为子像素矩阵示意图，如图2所示，点表示已知的像素位置，叉表示将要被插值计算出的像素位置，以P(i,j)表示坐标为(i,j)的像素的值。

计算0度、45度和135度3个方向插值的结果为：

$P_0\left(\mathrm{0.5,0}\right)=\left(\begin{array}{c}2\×P(-\mathrm{2,0})-8\×P(-\mathrm{1,0})+38\×P\left(\mathrm{0,0}\right)+\\ 38\×P\left(\mathrm{1,0}\right)-8\×P\left(\mathrm{2,0}\right)+2\×P\left(\mathrm{3,0}\right)+32\end{array}\right)>>6$

P₄₅(0.5,0)=(-3×P(-1,3)+35×P(0,1)+35×P(1,-1)-3×P(2,-3)+32)>>6

P₁₃₅(0.5,0)=(-3×P(-1,-3)+35×P(0,-1)+35×P(1,1)-3×P(2,3)+32)>>6

式中所用整数滤波器由迭代最小二乘法得出；>>6表示右移6位，即表示除以32。然后结果由下式给出：

从而，P(0.5,0)子像素的值可以由上式得出。

其中，整系数滤波器是指滤波网络中的乘法支路的增益均为整数的滤波器，其只进行少量的移位和加法操作，所以运算速度快。

本发明实施例的验证

首先将原始图像按照偶数列和奇数列劈分为两幅图像，即奇数图像和偶数图像，然后对奇数图像应用本发明实施例提供的方法，得出偶数图像的一个估计，然后将其与原始的偶数图像求PSNR，由PSNR来估计插值算法的优劣。在本文中，共选取28个标准测试序列，每个测试序列选取80帧，作为本算法评估和测试的基准，对于每幅图像，用一个当然的插值算法得到其PSNR，然后所有图像PSNR的算术平均作为评价算法优劣的标准。

表1

Filter	PSNR
		直接拷贝	28.7033
{1,1}/2	33.5046
		{-7,39,39,-7}/64	34.32875
{-6,38,38,-6}/64	34.35497
		{-5,37,37,-5}/64	34.32396
{1,-9,40,40,-9,1}/64	34.32418
		{1,-8,39,39,-8,1}/64	34.40515
{2,-9,39,39,-9,2}/64	34.42896
		{2,-8,38,38,-8,2}/64	34.44386
{-1,2,-9,40,40,-9,2,-1}/64	34.34020
		{-1,2,-8,39,39,-8,2,-1}/64	34.41444
{-1,2,-7,38,38,-7,2,-1}/64	34.42832
		{-1,3,-9,39,39,-9,3,-1}/64	34.44112
{-1,3,-8,38,38,-8,3,-1}/64	34.44899
		{-1,3,-7,37,37,-7,3,-1}/64	34.39805

表1为根据现有算法滤波器计算的PSNR。然而，根据本发明提供的方法计算得到的PSNR可达到34.48188。根据该验证结果，可知本发明实施例提供的方法提高了图像的客观质量，尤其是主观质量（如：图像锐度）。

图3为本发明三维图像还原装置的示例性结构图，图4为本发明的插值算法流程图。如图3-4所示，该装置包括信号处理模块、解码模块、图像插值算法模块和显示模块。其中，信号处理模块、解码模块、图像插值算法模块和显示模块依次相连，并且图像插值算法模块执行本发明所提供的方法。

图5为本发明应用于高清机顶盒的结构示意图。如图所示，信号接收模块通过高清机顶盒3D频道接收到信号后，采用SideBySide方式对视频信号进行编码，然后将处理结果发送至解码模块，解码模块处理之后，将处理结果发送至图像插值算法模块，该图像插值算法模块采用本发明提供的方法对信号进行处理，之后再将处理结果传输至视频显示模块，即左、右眼通道。

本发明的实例不限于高清机顶盒的3D应用，还可以应用于任何水平或者垂直方向的插值应用。

本发明并不限于上述实施方式，在不背离本发明实质内容的情况下，本领域技术人员可以想到的任何变形、改进或替换均落入本发明的范围。

Claims (5)

1.一种三维图像还原方法，其特征在于，该方法包括：

根据公式（1）至公式（3）计算0度、45度和135度三个方向的梯度，其中加权系数是从10组系数中根据PSNR穷尽选择出来的；

采用在梯度最小的方向上进行插值的原则，计算所述0度、所述45度和所述135度三个方向上的插值；

其中，公式（1）： $G_0=\left(\begin{array}{c}4\×|P\left(\mathrm{0,0}\right)-P\left(\mathrm{1,0}\right)|+4\×|P(0,-1)-P(1,-1)|+4\×|P\left(\mathrm{0,1}\right)-P\left(\mathrm{1,1}\right)|+\\ 2\×|P(-\mathrm{1,0})-P\left(\mathrm{0,0}\right)|+2\×|P\left(\mathrm{1,0}\right)-P\left(\mathrm{2,0}\right)|+8\end{array}\right)>>4;$

公式（2）： $G_{45}=\left(\begin{array}{c}4\×|P(1,-1)-P\left(\mathrm{0,1}\right)|+2\×|P(1,-2)-P\left(\mathrm{0,0}\right)|+2\×|P\left(\mathrm{1,0}\right)-P\left(\mathrm{0,2}\right)|+\\ 4\×|P(0,-1)-P(-\mathrm{1,1})|+4\×|P(2,-1)-P\left(\mathrm{1,1}\right)|+8\end{array}\right)>>4;$

公式（3）： $G_{135}=\left(\begin{array}{c}4\×|P(0,-1)-P\left(\mathrm{1,1}\right)|+2\×|P\left(\mathrm{0,0}\right)-P\left(\mathrm{1,2}\right)|+2\×|P\left(\mathrm{0,2}\right)-P\left(\mathrm{1,0}\right)|+\\ 4\×|P(-1,-1)-P(0,1)|+4\×|P(1,-1)-P\left(\mathrm{2,1}\right)|+8\end{array}\right)>>4.$

2.根据权利要求1所述的方法，其特征在于，在进行所述插值时采用边界导向的插值算法。

3.根据权利要求1所述的方法，其特征在于，在计算所述0度、所述45度和所述135度三个方向上的插值的步骤中，整数滤波器由迭代最小二乘法得出。

4.一种三维图像还原装置，其包括信号处理模块、解码模块和显示模块，其特征在于，其还包括图像插值算法模块，所述图像插值算法模块执行权利要求1所述的方法。

5.根据权利要求4所述的装置，其特征在于，所述信号处理装置采用SideBySide方式对信号进行处理。

Images