CN103686192A - 用于使用视点之间的相关性对图像进行处理的设备和方法 - Google Patents

Abstract

一种用于使用视点之间的相关性对图像进行处理的设备和方法可包括：噪声去除单元，用于从至少一个输入的深度图像去除噪声；视点变换单元，用于执行去除了噪声的所述至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；加权均值滤波器单元，用于从第一视点的第一深度图像和第一视点的深度空间产生至少一个加权系数，并且使用产生的加权系数来产生加权均值滤波器；深度图像变换单元，用于通过应用产生的加权均值滤波器从第一视点的第一深度图像和深度空间变换第三深度图像。

Description

用于使用视点之间的相关性对图像进行处理的设备和方法

本申请要求于2012年9月11日提交到韩国知识产权局的第10-2012-0100237号韩国专利申请的优先权利益，其公开通过引用合并于此。

技术领域

下面描述的示例实施例涉及一种用于使用视点之间的相关性对图像进行处理的设备和方法，更具体地讲，涉及一种在深度图像的压缩中可支持前置滤波器（pre-filter）和环路滤波器中的恢复功能的图像处理设备和方法。

背景技术

三维（3D）图像压缩系统可被用于对彩色图像和深度图像（例如，深度图）进行压缩。例如，H.264/先进视频编码（AVC）方案、H.264/多视点视频编码（MVC）方案、高效率视频编码（HEVC）方案可被用于有效地对彩色图像进行压缩。然而，深度图像的图像特征与彩色图像的图像特征完全不同。

用于对图像进行压缩或编码的现有标准可包括例如H.261、H.263、运动图像专家组（MPEG）-1、MPEG-2、MPEG-4、H.264和HEVC等。

现有压缩标准彼此稍有不同，但通常配置有相似的结构，其中，所述结构包括运动估计、运动补偿、变换编码和熵编码。

具体地，H.264和HEVC被公知为通过在恢复的图像中最小化块边界失真来提高主观图像质量并且在运动估计和压缩处理中使得能够进行更精确的预测，从而提高总编码效率。

上面的去块滤波器在具有低比特率的图像中表现出良好的性能。然而，在高质量图像中，去块滤波器的性能可能难以表现，或者可能甚至降低编码性能。

另外，最近针对压缩标准采用的自适应环路滤波器（ALF）可被用于最小化原始图像和恢复的图像之间的误差。当ALF和去块滤波器两者被应用于高质量图像时，编码效率可增加。

典型的ALF被用作基于维纳滤波器的恢复滤波器。

最近，正提出一种用于通过在去块滤波器之后设置ALF以提高客观图像质量的方法。

发明内容

通过提供一种图像处理设备来实现前述和/或其他方面，其中，所述图像处理设备包括：噪声去除单元，用于从至少一个输入的深度图像去除噪声；视点变换单元，用于执行去除了噪声的所述至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；加权均值滤波器单元，用于从第一视点的第一深度图像和第一视点的深度空间产生至少一个加权系数，并且使用产生的加权系数来产生加权均值滤波器；深度图像变换单元，用于通过应用产生的加权均值滤波器从第一视点的第一深度图像和深度空间变换第三深度图像，其中，变换的第三深度图像被用于对深度图像进行编码。

噪声去除单元可使用范围操作从所述至少一个输入的深度图像去除噪声。

视点变换单元可将第二深度图像变换为深度空间，并且可使用所述深度空间将第二深度图像的第二视点变换到第一视点。

加权均值滤波器单元可使用第一视点的第一深度图像和深度空间中的至少一个的标准差、方差、梯度以及分辨率中的至少一个来确定阈值，并且可使用确定的阈值来产生加权系数。

还通过提供一种图像处理设备来实现前述和/或其他方面，其中，所述图像处理设备包括：视点变换单元，用于执行至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；加权均值滤波器单元，用于基于第一视点的第一深度图像和第一视点的深度空间中的至少一个的图像特征来确定阈值，并且基于确定的阈值来对深度空间执行加权均值滤波；深度图像变换单元，用于将经过滤波的深度空间变换为图像区域的第三深度图像，并且将第三深度图像发送到画面缓冲器。

加权均值滤波器单元可基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和压缩条件来确定阈值。

加权均值滤波器单元可基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和量化参数（QP），针对每个访问单元或针对每个条带来确定阈值。

通过提供一种图像处理方法来实现前述和/或其他方面，其中，所述图像处理方法包括：由噪声去除单元从至少一个输入的深度图像去除噪声；由视点变换单元执行去除了噪声的所述至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；由加权均值滤波器单元从第一视点的第一深度图像和第一视点的深度空间产生至少一个加权系数；由加权均值滤波器单元使用产生的加权系数产生加权均值滤波器；由深度图像变换单元通过应用产生的加权均值滤波器从第一视点的第一深度图像和深度空间变换第三深度图像，其中，变换的第三深度图像被用于对深度图像进行编码。

执行视点变换的步骤可包括：由视点变换单元将第二深度图像变换为深度空间；由视点变换单元使用所述深度空间将第二深度图像的第二视点变换到第一视点。

产生所述至少一个加权系数的步骤可包括：由加权均值滤波器单元使用第一视点的第一深度图像和深度空间中的至少一个的标准差、方差、梯度以及分辨率中的至少一个来确定阈值；由加权均值滤波器单元使用确定的阈值来产生加权系数。

通过提供一种图像处理方法来实现前述和/或其他方面，其中，所述图像处理方法包括：由视点变换单元执行至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；由加权均值滤波器单元基于第一视点的第一深度图像和第一视点的深度空间中的至少一个的图像特征和压缩条件来确定阈值；由加权均值滤波器单元基于确定的阈值对深度空间执行加权均值滤波；由深度图像变换单元将经过滤波的深度空间变换为图像区域的第三深度图像，并且将第三深度图像发送到画面缓冲器。

确定阈值的步骤可包括：基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和QP，针对每个访问单元或针对每个条带来确定阈值。

确定阈值的步骤可包括：使用多个阈值对深度空间执行滤波，将所述多个阈值之中的与和原始图像的图像质量最相似的图像质量相应的阈值确定为最终阈值。

确定阈值的步骤可包括：使用多个权重对深度空间执行滤波，将所述多个权重之中的与和原始图像的图像质量最相似的图像质量相应的权重确定为最终权重。

示例实施例的另外的方面、特征和/或优点将在下面的描述中被部分阐明，还有一部分从描述中将是清楚的或可通过本公开的实施而被得知。

附图说明

从下面结合附图对示例实施例的描述中，这些和/或其他方面和优点将变得清楚并更易于理解，其中：

图1示出根据示例实施例的作为预处理位置的视点间滤波器（inter-view filter）操作的图像处理设备的框图；

图2示出根据示例实施例的作为环路位置的视点间滤波器操作的图像处理设备的框图；

图3示出根据示例实施例的三维（3D）图像压缩系统的编码器的示图；

图4示出根据示例实施例的3D图像压缩系统的解码器的示图；

图5示出根据示例实施例的深度图像的视点变换的示图；

图6示出根据示例实施例的作为预处理位置的视点间滤波器操作的图像处理设备的图像处理方法的流程图；

图7示出根据示例实施例的作为环路位置的视点间滤波器操作的图像处理设备的图像处理方法的流程图。

具体实施方式

现在将详细参照示例实施例，其示例在附图中示出，其中，相同的标号始终指示相同的元件。下面通过参照附图来描述实施例以解释本公开。

图1示出根据示例实施例的作为预处理位置的视点间滤波器操作的图像处理设备100的框图。

图1的图像处理设备100可支持前置滤波器和环路滤波器中的恢复功能。图1与前置滤波器的功能有关，并且示出具有用于提高邻近视点之间的图像的相似度并提高图像的压缩率的预处理滤波功能的图像处理设备100。

预处理滤波可支持通过从原始图像去除各种噪声和非重要部分来最小化图像的比特率以及提高压缩率的功能，并且可支持通过提高邻近视点之间的图像的相似度来最大化图像的质量以及提高压缩率的功能。

在图1中，可提供联合视点间滤波器（JVT）方案。JVT方案可被用于当多视点深度图像被输入时，通过使用邻近视点中的深度图像之间的高相关性来执行滤波，以从深度图像去除噪声并提高压缩效率。

图像处理设备100可包括噪声去除单元110、视点变换单元120、加权均值滤波单元130和深度图像变换单元140。

噪声去除单元110可从至少一个输入的深度图像去除噪声。

例如，噪声去除单元110可使用范围操作（range operation）来从所述至少一个输入的深度图像去除噪声。

具体地，噪声去除单元110可使用下面的等式1从所述至少一个输入的深度图像去除噪声：

[等式1]

$\hat{I}\left(x\right)=\frac{1}{K}\underset{y\∈M\left(x\right)}{\mathrm{\Σ}}{e}^{-\frac{{|I\left(y\right)-I\left(x\right)|}^2}{{2\mathrm{\σ}}_r^2}}I\left(y\right)$

在等式1中，M(x)表示基于x的邻近像素的集合，K表示归一化常数。另外，I(x)表示当前位置x的深度像素，I(y)表示邻近位置的深度像素，||²表示绝对值的平方，σ_r表示作为范围权重（range weight）的范围滤波器（rangefilter）的最佳参数。

可被解释为从其中去除了噪声的至少一个深度图像。

表示基于x的邻近像素的集合的M(x)可形成滤波器结构，并且可基于自相关的方向来确定所述滤波器结构的形状。

可针对每个深度图像的每一帧来产生单个最佳参数。另外，最佳参数可在提高深度图像的质量的同时减少开销，而不是针对形成运动图像或画面的每个块产生最佳参数。

噪声去除单元110可在滤波器参数的可能范围 $\left(\left[\begin{array}{ccccc}{\mathrm{\σ}}_{r,1}& {\mathrm{\σ}}_{r,2}& {\mathrm{\σ}}_{r,3}& ...& {\mathrm{\σ}}_{r,L}\end{array}\right]\right)$ 被设置的状态下，针对每个滤波器参数计算失真。

另外，噪声去除单元110可将输出计算出的失真之中的最小失真的参数确定为最佳参数。

失真可被定义为原始深度图像和恢复的深度图像之间的方差和（SSD）。

另外，失真可被定义为通过将原始彩色图像和原始深度图像进行组合而获取的图像与通过将压缩的彩色图像和恢复的彩色图像进行组合而获取的图像之间的SSD。

噪声去除单元110可基于建模确定最佳参数。

噪声去除单元110可使用例如每个深度图像的当前帧的量化参数（QP）和选择的阈值来确定最佳参数。

视点变换单元120可执行去除了噪声的至少一个深度图像之中的第二深度图像的视点变换，使得第二视点的第二深度图像可被变换为第一视点的深度空间。视点变换可包括例如“视点映射（view warping）”或“视点投影（viewprojection）”。

可基于表示物理距离的方法来区分深度空间和深度图像。

深度空间指示物理3D空间，并还指示视点和对象之间的距离。

例如，当预定位置和对象之间的距离是“2米”时，深度空间的值是“2”。当所述距离是“1000米”时，深度空间的值是“1000”。

深度图像指示在其中使用例如0到255之间的整数或灰度来表示物理深度空间的值的图像。

具体地，视点变换单元120可使用如下给出的等式2和等式3来执行第二深度图像的视点变换，以与第一视点的深度空间相应。

[等式2]

$z=\frac{1}{\frac{Y}{255}(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}}}$

在等式2中，Y表示以从“0”到“255”的整数的形式表示的深度图像。另外，Z_near可被解释为最近深度值，Z_far可被解释为最远深度值，z可被解释为深度空间。

因此，当第二深度图像的视点变换被执行时，视点变换单元120可将邻近视点变换为当前视点。

例如，视点变换单元120可将深度空间的第二视点变换到第一视点。

[等式3]

$d=\frac{f\·l}{z}$

在等式3中，f可被解释为焦距，l可被解释为基线间距。另外，d可被解释为第一视点的深度值，z可被解释为深度空间。

等式3可被应用于按照一维（1D）平行布置放置的多视点相机。可基于多视点相机的布置来确定视点变换的等式。

加权均值滤波器单元130可从第一视点的第一深度图像并从第二深度图像产生至少一个加权系数，并且可使用产生的加权系数来产生加权均值滤波器，其中，对所述第二深度图像执行了到第一视点的视点变换。下文中，被执行了到第一视点的视点变换的第二深度图像可被称为“第一视点的深度空间”。

在加权均值滤波器单元130中具有阈值的加权均值滤波器可由下面给出的等式4和等式5来表示。

[等式4]

${\hat{Z}}_1=W_1\·Z_{2\→1}+W_2\·Z_1$

在等式4中，W₁和W₂可被解释为加权系数，Z可被解释为深度空间，Z_2→1可被解释为第二视点被变换到第一视点的深度空间，Z₁可被解释为第一视点中的深度图像，

可被解释为第一视点中的输出，即，关于第一视点的加权均值滤波器的输出。

加权均值滤波器单元130可在下面的等式5中定义的条件下确定等式4的加权系数。

[等式5]

如果|Z_2→1-Z₂|≤T_pre，则W₁=W₂=0.5

否则，W₁=0,W₂=1

在等式5中，T_pre可被解释为预处理操作的阈值。

另外，在等式5中，W₁和W₂可被解释为加权系数，Z可被解释为深度空间，Z_2→1可被解释为第二视点被变换到第一视点的深度空间，Z₁可被解释为第一视点中的深度图像，Z₂可被解释为第二视点中的深度图像。

加权均值滤波器单元130可对深度图像的图像特征进行分析，并且可确定阈值。图像特征可包括例如深度图像的标准差、方差、梯度和分辨率。

例如，加权均值滤波器单元130可使用第一视点的第一深度图像和深度空间中的至少一个的标准差、方差、梯度以及分辨率中的至少一个来确定阈值，并且可使用确定的阈值来产生加权系数。

加权均值滤波器单元130可通过针对每个序列、针对每个访问单元或针对每个条带对图像进行分析来计算阈值。

访问单元可指与相同时间相应的一组彩色图像和深度图像。

当第二深度图像的第二视点被变换到第一视点时，可输出与第一视点的第一深度图像相似的深度图像。

深度图像变换单元140可通过使用深度空间中的阈值对第一视点的第一深度图像和深度空间执行等式4的加权均值滤波，并且可产生深度空间中的图像区域。

深度图像变换单元140可通过应用产生的加权均值滤波器从第一视点的第一深度图像和第一视点的深度空间变换第三深度图像。

深度图像变换单元140可使用变换的第三深度图像来对深度图像进行编码。

产生的第三深度图像可被发送到三维（3D）图像压缩系统的编码器。

将参照图3进一步描述使用第三深度图像对深度图像进行编码的示例。

图2示出根据示例实施例的作为环路位置的视点间滤波器操作的图像处理设备200的框图。

图2的图像处理设备200可在3D图像压缩系统中执行环路滤波功能，并且可支持提高压缩的深度图像的邻近视点之间的相似度、最大化压缩的深度图像的质量和提高压缩率的功能。

在图2中，可提供JVT方案。JVT方案可被用于当多视点深度图像被输入时通过使用邻近视点中的深度图像之间的高相关性来执行滤波，以从深度图像去除噪声并提高压缩效率。

图像处理设备200可包括视点变换单元210、加权均值滤波器单元220和深度图像变换单元230。

视点变换单元210可执行第二深度图像的视点变换，使得第二视点的第二深度图像可被变换为第一视点的深度空间。

随后，加权均值滤波器单元220可基于第一视点的第一深度图像和深度空间中的至少一个的图像特征来确定阈值。

另外，加权均值滤波器单元220可基于与深度图像相关的压缩条件来确定阈值。

例如，加权均值滤波器单元220可基于压缩条件以及图像特征来可变地确定环路视点间滤波器的阈值。

具体地，加权均值滤波器单元220可基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和压缩条件来确定所述阈值。

加权均值滤波器单元220可基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和QP，针对每个访问单元或针对每个条带来确定阈值。

另外，加权均值滤波器单元220可基于确定的阈值对深度空间执行加权均值滤波。

深度图像变换单元230可将经过滤波的深度空间变换为图像区域的第三深度图像，并且可将第三深度图像发送到画面缓冲器。

将参照图3进一步描述使用第三深度图像对深度图像进行编码的示例。

图像处理设备100和图像处理设备200可用在制作、压缩、发送和显示图像的领域中。另外，图像处理设备100和图像处理设备200可用在3D图像领域（例如，诸如3D TV、多视点视频、超多视点视频（SMV）和自由视点TV（FTV））中，以为用户提供3D效果。具体地，由于有限的带宽，图像处理设备100和图像处理设备200可被用在减少图像的比特率的领域中。

图3示出根据示例实施例的3D图像压缩系统的编码器300的示图。图像处理设备100和图像处理设备200可被应用于编码器300。

在图3中，3D图像压缩系统的编码器300可包括图像处理设备100和图像处理设备200、预测单元301、变换和量化单元302、熵编码单元303、反量化和反变换单元304以及画面缓冲器305。图像处理设备100可被操作为预处理位置的视点间滤波器，图像处理设备200可被操作为环路位置中的视点间滤波器。

编码器300可使用图像处理设备100对至少一个输入的深度图像执行预处理。

具体地，图像处理设备100可执行提高邻近视点之间的图像的相似度和提高图像的压缩率的预处理滤波功能。

例如，图像处理设备100可提供JVT方案，其中，所述JVT方案用于当多视点深度图像被输入时，通过使用邻近视点中的深度图像之间的高相关性来执行滤波，以从深度图像去除噪声并且提高压缩效率。

因此，图像处理设备100可从所述至少一个输入的深度图像去除噪声。

例如，图像处理设备100可使用范围操作来从所述至少一个输入的深度图像去除噪声。

具体地，图像处理设备100可使用例如邻近像素的集合、归一化常数、当前位置的深度像素、邻近位置的深度像素或作为范围权重的范围滤波器的最佳参数来去除噪声。

图像处理设备100可在滤波器参数的可能范围被设置的状况下针对每个滤波器参数来计算失真。

另外，图像处理设备100可将输出计算出的失真之中的最小失真的参数确定为最佳参数。

图像处理设备100可基于建模来确定最佳参数。

图像处理设备100可使用例如每个深度图像的当前帧的QP或选择的阈值来确定最佳参数。

图像处理设备100可执行去除了噪声的至少一个深度图像之中的第二深度图像的视点变换，使得第二视点的第二深度图像可被变换为第一视点的深度空间。视点变换可包括例如“视点映射”或“视点投影”。

图像处理设备100可将深度空间的第二视点变换到第一视点。在这种情况下，图像处理设备100可使用例如焦距、基线间距或第一视点的深度值来执行视点变换。

图像处理设备100可从第一视点的第一深度图像并从经过视点变换的第二深度图像产生至少一个加权系数，并且可使用产生的加权系数来产生加权均值滤波器。

图像处理设备100可使用第一视点的第一深度图像和深度空间中的至少一个的标准差、方差、梯度以及分辨率中的至少一个来确定阈值，并且可使用确定的阈值来产生加权系数。

图像处理设备100可通过针对每个序列、针对每个访问单元或针对每个条带对图像进行分析来计算阈值。

当第二深度图像的第二视点被变换到第一视点时，可输出与第一视点的第一深度图像相似的深度图像。

图像处理设备100可通过使用深度空间中的阈值来对第一视点的第一深度图像和深度空间执行加权均值滤波，并且可产生深度空间中的图像区域。

例如，图像处理设备100可通过应用产生的加权均值滤波器来从第一视点的第一深度图像和第一视点的深度空间变换第三深度图像。

图像处理设备100可使用变换的第三深度图像来对深度图像进行编码。

预测单元301可执行帧内预测和帧间预测。

从预测单元301输出的预测的图像和从变换和量化单元302输出的差分图像可与第三深度图像进行组合，使得可产生压缩图像。

编码器300可使用图像处理设备200来对压缩图像执行恢复滤波，可在图像缓冲器305中存储结果图像，并且可将额外信息发送到熵编码单元303。

编码器300可使用反量化和反变换单元304来对变换和量化单元302的输出执行反变换和反量化。

图像处理设备200可被操作为编码器300的环路位置中的视点间滤波器，并且可提供用于从深度图像去除噪声并且提高压缩效率的JVT方案。

因此，图像处理设备200可执行第二深度图像的视点变换，使得第二视点的第二深度图像可被变换为第一视点的深度空间。

随后，图像处理设备200可基于第一视点的第一深度图像和深度空间中的至少一个的图像特征并基于与深度图像相关的压缩条件来确定阈值。

图像处理设备200可基于确定的阈值来对深度空间执行加权均值滤波。

图像处理设备200可使用下面的等式6来将阈值T_in-loop确定为基值T_base和增量值T_delta的和。

[等式6]

I_in-loop=I_base+I_delta

$T_{\mathrm{base}}=\frac{1}{\mathrm{Var}\left[F\right]}$

$T_{\mathrm{delta}}=4\·2^{-\frac{\mathrm{QP}}{18}}$

在等式6中，T_in-loop可被解释为阈值，T_base可被解释为基值，T_delta可被解释为增量值。

图像处理设备200可通过对深度图像的图像特征（例如，诸如深度图像的标准差、方差、梯度和分辨率）进行分析来确定基值T_base。

图像处理设备200可使用QP（即，压缩条件中的一个）来确定增量值T_delta。

等式6仅是示例，因此可使用单调递减函数来确定阈值。

在示例中，可在没有对深度图像的特征进行分析的情况下，使用多个阈值来执行滤波，并且可将所述多个阈值之中与和原始图像的质量最相似的图像质量相应的阈值确定为最终阈值。为了确定图像质量是否与原始图像的质量相似，可使用峰值信噪比（PSNR）、SSD、绝对误差和（SAD）等。例如，当与经过滤波的图像的质量相比，编码的图像的质量与原始图像的质量更相似时，可不执行滤波，并且可在没有任何改变的情况下将输入图像作为输出图像发送。最终阈值和用于确定是否执行滤波的标记可被包括在条带数据或访问单元中，并且可作为比特流被发送。

在示例中，可使用多个权重w对深度图像执行滤波，可将所述多个权重w之中与和原始图像的质量最相似的图像质量相应的权重确定为最终权重。为了确定图像质量是否与原始图像的质量相似，可使用PSNR、SSD、SAD等。例如，当与经过滤波的图像的质量相比，编码的图像的质量与原始图像的质量更相似时，可不执行滤波，并且可在没有任何改变的情况下将输入图像作为输出图像发送。最终权重可被包括在条带数据或访问单元中，并且可作为比特流被发送。如下面的表1中所示，可使用伪码来实现上述描述。具体地，当最终权重被设置为“1”时，可在没有滤波的情况下，从解码器输出编码的图像，并且可相应地保存滤波运算需要的运行时间。

表1与伪码有关，并且示出计算原始图像和经过滤波的图像之间的失真和确定最终权重的处理。

[表1]

图像处理设备200可将深度空间变换为图像区域，并且可在画面缓冲器305中存储第三深度图像，使得第三深度图像可被用作参考图像。

图像处理设备200可将经过滤波的深度空间变换为图像区域的第三深度图像，并且可将第三深度图像发送到画面缓冲器305。

可针对每个访问单元或针对每个条带来计算阈值T_in-loop，并且可通过熵编码处理将阈值T_in-loop记录在比特流中。

比特流可通过信道被发送到接收端，并且可被用在解码中。

表2和表3示出记录在比特流中的额外信息。表2和表3的额外信息可被解释为新添加到压缩系统的语法的元素。

[表2]

Slice_Data()
		{
…
		Threshold Tin-loop
…
		}

表2示出额外信息，例如，诸如针对每个条带被记录在比特流中的阈值。

[表3]

Access_Unit()
		{
…
		Threshold Tin-loop
…
		}

表3示出额外信息，例如，诸如针对每个访问单元被记录在比特流中的阈值。

[表4]

Slice_Data()
		{
…

Weighting_coefficient
		…
}

表4示出额外信息，例如，诸如针对每个条带被记录在比特流中的权重。

[表5]

Access_Unit()
		{
…
		Weighting_coefficient
…
		}

表5示出额外信息，例如，诸如针对每个访问单元被记录在比特流中的权重。

图4示出根据示例实施例的3D图像压缩系统的解码器400的示图。在解码器400中，图像处理设备410可被实现为应用于环路位置的环路滤波器。

参照图4，图像处理设备410可作为环路滤波器被包括在解码器400中。

解码器400可包括熵解码单元401、反量化和反变换单元402、预测单元403、画面缓冲器404和图像处理设备410。

解码器400可使用熵解码单元401从3D图像压缩系统的编码器接收比特流，并且可从接收到的比特流获得额外信息。

另外，解码器400可使用反量化和反变换单元402基于获得的额外信息来恢复深度图像，并且可通过图像处理设备410将恢复的深度图像存储在画面缓冲器404中。

图像处理设备410可通过使用来自与输入的多视点深度图像相应的比特流的邻近视点中的深度图像之间的高相关性来执行滤波，以从深度图像去除噪声并提高压缩效率。

预测单元403可执行帧内预测和帧间预测。

图5示出根据示例实施例的深度图像的视点变换的示图。

根据示例实施例的图像处理设备可执行第二深度图像510的视点变换，使得第二深度图像510的第二视点可被变换到第一视点。图像处理设备可对第一深度图像530和第一视点的深度空间520执行加权均值滤波。

第一视点的深度空间520可与第一深度图像530相似。图像处理设备可通过使用相似度（即，第一视点的深度空间520和第一深度图像530之间的相关性）对深度空间中的第一视点的深度空间520和第一深度图像530应用阈值来执行加权均值滤波。

因此，图像处理设备可将第一视点的深度空间520和第一深度图像530变换为第三深度图像。

因此，使用图像处理设备，可提高深度图像的质量，并且提高3D图像压缩系统中的压缩率。

图6示出根据示例实施例的作为预处理位置的视点间滤波器操作的图像处理设备的图像处理方法的流程图。

参照图6，在操作601中，图像处理设备的噪声去除单元可从至少一个输入的深度图像去除噪声。

在图6的图像处理方法中，可提供JVT方案。JVT方案可被用于当多视点深度被输入时，通过使用邻近视点中的深度图像之间的高相关性来执行滤波，以从深度图像去除噪声并提高压缩效率。

例如，在操作601，范围操作可被用于从所述至少一个输入的深度图像去除噪声。

具体地，可使用例如邻近像素的集合、归一化常数、当前位置的深度像素、邻近位置的深度像素或作为范围权重的范围滤波器的最佳参数来去除噪声。

在操作602，图像处理设备的视点变换单元可执行去除了噪声的所述至少一个深度图像之中的第二深度图像的视点变换，使得第二视点的第二深度图像可被变换为第一视点的深度空间。

视点变换单元可将第二深度图像变换为深度空间，并且可使用深度空间将第二深度图像的第二视点变换到第一视点。

在操作602，视点变换单元可执行从第二视点到第一视点的视点变换。在这种情况下，可使用例如焦距、基线间距或第一视点的深度值来执行视点变换。

在操作603，图像处理设备的加权均值滤波器单元可从第一视点的第一深度图像和第一视点的深度空间产生至少一个加权系数。

加权均值滤波器单元可使用第一视点的第一深度图像和深度空间中的至少一个的标准差、方差、梯度以及分辨率中的至少一个来确定阈值。

另外，加权均值滤波器单元可基于确定的阈值来产生加权系数。

在操作604，加权均值滤波器单元可使用产生的加权系数来产生加权均值滤波器。

在图6的图像处理方法中，可从第一视点的第一深度图像和深度空间产生至少一个加权系数，并且可使用产生的加权系数来产生加权均值滤波器。

另外，可使用第一视点的第一深度图像和深度空间中的至少一个的标准差、方差、梯度以及分辨率中的至少一个来确定阈值，并且可使用确定的阈值来产生加权系数。

在操作605，图像处理设备的深度图像变换单元可通过应用产生的加权均值滤波器来从第一视点的第一深度图像和深度空间变换第三深度图像。

变换的第三深度图像可被用于对深度图像进行编码。

因此，通过使用图6的图像处理方法，可通过从原始图像去除各种噪声和非重要区域来最小化图像的比特率并提高压缩率。

另外，可通过提高邻近视点之间的图像的相似度来最大化图像的质量，并且提高压缩率。

另外，可提供JVT方案，其中，所述JVT方案被用于当多视点深度图像被输入时，通过使用邻近视点中的深度图像之间的高相关性来执行滤波，以从深度图像去除噪声并提高压缩效率。

图7示出根据示例实施例的作为环路位置的视点间滤波器操作的图像处理设备的图像处理方法的流程图。

参照图7，在操作701，图像处理设备的视点变换单元可执行第二深度图像的视点变换，使得第二视点的第二深度图像可被变换为第一视点的深度空间。

在操作702，图像处理设备的加权均值滤波器可基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和压缩条件来确定阈值。

可基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和QP，针对每个访问单元或针对每个条带来确定阈值。

在操作703，加权均值滤波器单元可基于确定的阈值来对深度空间执行加权均值滤波。

在操作704，图像处理设备的深度图像变换单元可将经过滤波的深度空间变换为图像区域的第三深度图像，并且可将第三深度图像发送到画面缓冲器。

因此，通过使用图7的图像处理方法，可通过提高压缩的深度图像的邻近视点之间的相似度来最大化图像的质量，并且提高3D图像压缩系统的压缩率。

可还对彩色图像应用图6和图7的图像处理方法。当图6和图7的图像处理方法被应用于彩色图像时，可使用与彩色图像相应的深度图像的视差信息来将彩色图像的视点变换到另一视点。

根据上述示例实施例的方法可被记录在非瞬性时计算机可读介质中，其中，所述非瞬时性计算机可读介质包括由计算机实施的用于实现各种操作的程序指令。所述介质也可单独包括数据文件、数据结构等，或者可包括与程序指令结合的数据文件和数据结构等。记录在介质上的程序指令可以是为示例实施例的目的而特别设计和构造的程序指令，或者它们可以是对计算机软件领域的技术人员而言公知的且可用的种类的程序指令。非瞬时性计算机可读介质的示例包括：磁介质(诸如硬盘、软盘和磁带)、光学介质(诸如CD-ROM盘和DVD)、磁光介质(诸如光盘)和专门被配置为存储和执行程序指令的硬件装置（诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等）。所述计算机可读介质还可以是分布式网络，使得以分布式方式存储和执行程序指令。所述程序指令可由一个或多个处理器执行。计算机可读介质可还被实现在执行（像处理器一样处理）程序指令的至少一个专用集成电路（ASIC）或现场可编程门阵列（FPGA）中。程序指令的示例包括机器代码(诸如由编译器产生的机器代码)和包含可由计算机使用解释器执行的更高级代码的文件两者。描述的硬件装置可被配置为充当一个或多个软件模块，从而执行上述示例实施例的操作，反之亦然。

虽然已经示出并描述了示例实施例，但是本领域的技术人员将认识到：在不脱离本公开的原理和精神的情况下，可在这些示例实施例中进行改变，其中，本公开的范围在权利要求及其等同物中被限定。

Claims (15)

1.一种图像处理设备，包括：

噪声去除单元，适用于从至少一个输入的深度图像去除噪声；

视点变换单元，适用于执行去除了噪声的所述至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；

加权均值滤波器单元，适用于从第一视点的第一深度图像和第一视点的深度空间产生至少一个加权系数，并且使用产生的加权系数来产生加权均值滤波器；

深度图像变换单元，适用于通过应用产生的加权均值滤波器从第一视点的第一深度图像和深度空间变换第三深度图像，

其中，变换的第三深度图像被用于对深度图像进行编码。

2.如权利要求1所述的图像处理设备，其中，噪声去除单元使用范围操作从所述至少一个输入的深度图像去除噪声。

3.如权利要求1所述的图像处理设备，其中，视点变换单元将第二深度图像变换为深度空间，并且使用所述深度空间将第二深度图像的第二视点变换到第一视点。

4.如权利要求1所述的图像处理设备，其中，加权均值滤波器单元使用第一视点的第一深度图像和深度空间中的至少一个的标准差、方差、梯度以及分辨率中的至少一个来确定阈值，并且使用确定的阈值来产生加权系数。

5.如权利要求1所述的图像处理设备，还包括：

预测单元，适用于使用帧内预测和帧间预测来输出预测图像；

变换和量化单元，适用于输出差分图像；

熵编码单元；

反量化和反变换单元，适用于对差分图像执行反量化和反变换；

画面缓冲器，适用于存储第三深度图像，使得第三深度图像可被用作参考图像。

6.一种图像处理设备，包括：

视点变换单元，适用于执行至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；

加权均值滤波器单元，适用于基于第一视点的第一深度图像和第一视点的深度空间中的至少一个的图像特征来确定阈值，并且基于确定的阈值来对第一视点的深度空间执行加权均值滤波；

深度图像变换单元，适用于将第一视点的经过滤波的深度空间变换为图像区域的第三深度图像，并且将第三深度图像发送到画面缓冲器。

7.如权利要求6所述的图像处理设备，其中，加权均值滤波器单元基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和压缩条件来确定阈值。

8.如权利要求7所述的图像处理设备，其中，加权均值滤波器单元基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和量化参数QP，针对每个访问单元或针对每个条带来确定阈值。

9.一种图像处理方法，包括：

由噪声去除单元从至少一个输入的深度图像去除噪声；

由视点变换单元执行去除了噪声的所述至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；

由加权均值滤波器单元从第一视点的第一深度图像和第一视点的深度空间产生至少一个加权系数；

由加权均值滤波器单元使用产生的加权系数产生加权均值滤波器；

由深度图像变换单元通过应用产生的加权均值滤波器从第一视点的第一深度图像和深度空间变换第三深度图像，

其中，变换的第三深度图像被用于对深度图像进行编码。

10.如权利要求9所述的图像处理方法，其中，执行视点变换的步骤包括：

由视点变换单元将第二深度图像变换为深度空间；

由视点变换单元使用所述深度空间将第二深度图像的第二视点变换到第一视点。

11.如权利要求9所述的图像处理方法，其中，产生所述至少一个加权系数的步骤包括：

由加权均值滤波器单元使用第一视点的第一深度图像和深度空间中的至少一个的标准差、方差、梯度以及分辨率中的至少一个来确定阈值；

由加权均值滤波器单元使用确定的阈值来产生加权系数。

12.一种图像处理方法，包括：

由视点变换单元执行至少一个输入的深度图像之中的第二视点的第二深度图像的视点变换，使得第二视点的第二深度图像被变换为第一视点的深度空间；

由加权均值滤波器单元基于第一视点的第一深度图像和第一视点的深度空间中的至少一个的图像特征和压缩条件来确定阈值；

由加权均值滤波器单元基于确定的阈值对深度空间执行加权均值滤波；

由深度图像变换单元将经过滤波的深度空间变换为图像区域的第三深度图像，并且将第三深度图像发送到画面缓冲器。

13.如权利要求12所述的图像处理方法，其中，确定阈值的步骤包括：基于第一视点的第一深度图像和深度空间中的至少一个的图像特征和量化参数QP，针对每个访问单元或针对每个条带来确定阈值。

14.如权利要求12所述的图像处理方法，其中，确定阈值的步骤包括：使用多个阈值对深度空间执行滤波，将所述多个阈值之中的与和原始图像的图像质量最相似的图像质量相应的阈值确定为最终阈值。

15.如权利要求12所述的图像处理方法，其中，确定阈值的步骤包括：使用多个权重对深度空间执行滤波，将所述多个权重之中的与和原始图像的图像质量最相似的图像质量相应的权重确定为最终权重。

Images