CN102811357A

CN102811357A - 三维影像处理系统及方法

Info

Publication number: CN102811357A
Application number: CN2011101483161A
Authority: CN
Inventors: 陈滢如
Original assignee: Himax Technologies Ltd
Current assignee: Himax Technologies Ltd
Priority date: 2011-06-03
Filing date: 2011-06-03
Publication date: 2012-12-05

Abstract

一种三维影像处理系统及方法。深度产生器根据二维影像以产生深度图。深度影像成像(DIBR)单元根据深度图及二维影像以产生至少一左场影像及至少一右场影像，且根据深度图以提供像素的空洞消息及像差值。假影检测单元根据空洞消息及像差值以定位出假影像素位置。假影降低单元于该至少一左场影像及该至少一右场影像的假影像素位置处降低假影。

Description

三维影像处理系统及方法

技术领域

本发明是有关一种三维(3D)影像系统，特别是关于一种可检测及降低假影(artifact)的三维影像处理系统及方法。

背景技术

图1显示传统三维影像系统的方块图，深度产生器10根据二维(2D)影像输入以产生深度消息。接着，深度影像成像器(depth-image-based rendering，DIBR)12处理深度消息及二维影像以产生左场影像(L)及右场影像(R)，经显示让观者观看。

上述的深度消息(例如深度图(depth map))一般是通过算法得到，因此通常会在影像边缘附近产生非连续现象。非连续的深度图经深度影像成像器(DIBR)12处理后会产生扰人的锯齿状假影或错误。

鉴于传统三维影像系统(特别是根据二维影像所导出的深度图以产生三维影像的系统)无法有效呈现三维影像，因此亟需提出一种新颖机制，用以降低三维影像中的锯齿状假影。

发明内容

鉴于上述，本发明实施例的目的之一在于提出一种三维影像处理系统及方法，用以有效检测假影像素位置及实质地降低假影。

根据本发明实施例，三维影像处理系统包含深度产生器、深度影像成像(DIBR)单元、假影检测单元及假影降低单元。深度产生器根据二维影像以产生深度图。深度影像成像(DIBR)单元根据深度图及二维影像以产生至少一左场影像及至少一右场影像，且根据深度图以提供像素的空洞消息及像差值。假影检测单元根据空洞消息及像差值以定位出假影像素位置。假影降低单元于该至少一左场影像及该至少一右场影像的假影像素位置处降低假影。

本发明提供了一种三维影像处理系统，包含：一深度产生器，其根据一二维影像以产生一深度图；一深度影像成像单元，其根据该深度图及该二维影像以产生至少一左场影像及至少一右场影像，该深度影像成像单元根据该深度图以提供像素的空洞消息及像差值；一假影检测单元，其根据该空洞消息及该像差值以定位出一假影像素位置；及一假影降低单元，其于该至少一左场影像及该至少一右场影像的该假影像素位置处降低假影。

本发明还提供了一种三维影像处理方法，包含：根据一二维影像以产生一深度图；以深度影像成像方法，根据该深度图及该二维影像以产生至少一左场影像及至少一右场影像；以深度影像成像方法，根据该深度图以提供像素的空洞消息及像差值；根据该空洞消息及该像差值以定位出一假影像素位置；及于该至少一左场影像及该至少一右场影像的该假影像素位置处降低假影。

附图说明

图1显示传统三维影像系统的方块图。

图2显示本发明实施例的三维影像处理系统的方块图，用以降低三维影像当中的假影。

图3显示本发明实施例的检测假影像素位置的方法流程图。

图4显示本发明实施例的决定边缘方向的方法流程图。

图5A显示部分像素。

图5B显示与图5A相同的像素，并标示以个别的像素值。

图6显示低通滤波的方法流程，沿着图4所决定的边缘方向对像素进行低通滤波。

[主要元件标号说明]

10 深度产生器 12 深度影像成像器(DIBR)

20 深度产生器 22 深度影像成像(DIBR)单元

220 像差产生器 24 假影检测单元

26 假影降低单元 31-34 步骤

41-46 步骤 51 正1点方向

52 负1点方向 53 正1/2点方向

54 负1/2点方向 61-66 步骤

L 左场影像 R 右场影像

L’ 左场处理影像 R’ 右场处理影像

具体实施方式

图2显示本发明实施例的三维影像处理系统的方块图，用以降低三维影像当中产生的假影(例如锯齿状假影)或错误。

在本实施例中，深度产生器20接收二维影像，并据以产生深度图。于所产生的深度图中，每一像素或区块具有相应的深度值。例如，靠近观者的对象具有较大的深度值，而远离观者的对象具有较小的深度值。

所产生的深度图传送给深度影像成像(DIBR)单元22，其根据深度图及二维影像以产生(或合成)至少一左场影像(L)及至少一右场影像(R)。DIBR单元22的实施可使用传统技术，例如Christoph Fehn所揭露的“A 3D-TVApproachUsing Depth-Image-Based Rendering(DIBR)”。再者，DIBR单元22可产生包含二或多个不同视角影像的多重显示(multi-view)影像。

除了产生左、右场影像，DIBR单元22使用像差(disparity)产生器220，以产生或导出像素的像差值。在本说明书中，(像素的)“像差”是指左场影像与右场影像之间的水平差距。观者即根据左场影像与右场影像之间存在的像差以感知三维影像的深度。DIBR单元22还提供像素的空洞消息。在本说明书中，“空洞”是指未指定有适当像素值的像素。

接着，假影(例如锯齿状假影)检测单元24接收像差值或/且空洞消息，据以定位出假影像素位置。图3显示本发明实施例于左、右场影像检测假影像素位置的方法流程图。步骤31-34的执行顺序可作改变调整。于步骤31，决定左或右场影像的目前(待决定)像素及至少一相邻像素是否为空洞。步骤31可表示如下：

if(hole(i，j)＝＝1&(hole(i，j-1)＝＝1//hole(i，j+1)＝＝1)，

其中，DIBR单元22所提供的hole()逻辑值，当为“1”时表示存在有空洞，当为“0”时表示不存在有空洞。

如果步骤31的结果为“是”，则目前像素为假影像素位置，表示目前像素位置极有可能存在假影(例如锯齿状假影)。否则，流程进入步骤32。

于步骤32，决定与目前像素相邻的二像素是否皆为空洞。步骤32可表示如下：

if(hole(i，j-1)＝＝1&&hole(i，j+1)＝＝1)。

如果步骤32的结果为“是”，则目前像素为假影像素位置，表示目前像素位置极有可能存在假影(例如锯齿状假影)。否则，流程进入步骤33。

于步骤33，决定目前像素分别与二相邻像素的像差绝对差值是否都大于预设第一临界值TL。步骤33可表示如下：

if(abs(disparity(i，j)-disparity(i，j-1))＞TL&&

abs(disparity(i，j)-disparity(i，j-1))＞TL)，

其中，disparity()为像差值，由DI BR单元22所提供。

如果步骤33的结果为“是”，则目前像素为假影像素位置，表示目前像素位置极有可能存在假影(例如锯齿状假影)。否则，流程进入步骤34。

于步骤34，决定目前像素与其中一个相邻像素的像差绝对差值是否大于预设第二临界值TS。在本实施例中，第一临界值TL小于第二临界值TS。步骤34可表示如下：

if(abs(disparity(i，j)-disparity(i，j-1))＞TS//

abs(disparity(i，j)-disparity(i，j-1))＞TS)。

如果步骤34的结果为“是”，则目前像素为假影像素位置，表示目前像素位置极有可能存在假影(例如锯齿状假影)。否则，结束流程。

接着，DIBR单元22所产生的左场影像(L)及右场影像(R)以及假影检测单元24所检测的假影像素位置被馈至假影降低单元26，其于左、右场影像的假影像素位置处降低或消除假影或错误，因而输出左场处理影像(L’)及右场处理影像(R’)。

于进行假影降低之前，假影降低单元26决定一特定方向或角度，根据该方向或角度以进行假影的降低。图4显示本发明实施例的决定(影像)边缘方向的方法流程图。步骤41-46的执行优先级可作改变调整。图4所示流程可适用于左场影像(L)，若将步骤43、44顺序互换，将步骤45、46顺序互换，则可适用于右场影像(R)。参阅图4，于步骤41，决定垂直边缘是否存在。步骤41可表示如下：

水平亮度差值＞垂直亮度差值+T1，

其中，T1为预设临界值，水平/垂直亮度差为水平/垂直像素之间的亮度差值。

如果步骤41的结果为“是”，表示存在垂直边缘，则流程进入图6的步骤61。否则，流程进入步骤42。

于步骤42，决定水平边缘是否存在。步骤42可表示如下：

垂直亮度差值＞水平亮度差值+T2，

其中，T2为预设临界值。

如果步骤42的结果为“是”，表示存在水平边缘，则流程进入图6的步骤62。否则，流程进入步骤43。

图5A显示部分像素，排列为列A、列B及列C，水平方向由左至右分别标示为-2、-1、0、+1、+2。图5B显示与图5A相同的像素，并标示以个别的像素值。如果目前像素位于B(0)，则垂直方向定义为连接A(0)及C(0)的方向，水平方向则定义为连接B(-1)及B(+1)的方向。正1点方向51定义为连接右上方像素A(+1)及左下方像素C(-1)的方向；负1点方向52定义为连接左上方像素A(-1)及右下方像素C(+1)的方向。正1/2点方向53更定义为介于垂直方向与正1点方向51之间的方向；负1/2点方向54定义为介于垂直方向与负1点方向52之间的方向。

参阅图4，于步骤43，决定负1/2点边缘是否存在。步骤43可表示如下：

负1/2点方向亮度差值＜min(水平亮度差值，垂直亮度差值)+T3，

其中，T3为预设临界值，min()为最小值运算子，且负1/2点方向亮度差值表示沿负1/2点方向的像素间的亮度差值。

如果步骤43的结果为“是”，表示存在负1/2点边缘，则流程进入图6的步骤63。否则，流程进入步骤44。

于步骤44，决定正1/2点边缘是否存在。步骤44可表示如下：

正1/2点方向亮度差值＜min(水平亮度差值，垂直亮度差值)+T4，

其中，T4为预设临界值，且正1/2点方向亮度差值表示沿正1/2点方向的像素间的亮度差值。

如果步骤44的结果为“是”，表示存在正1/2点边缘，则流程进入图6的步骤64。否则，流程进入步骤45。

于步骤45，决定负1点边缘是否存在。步骤45可表示如下：

负1点方向亮度差值＜min(水平亮度差值，垂直亮度差值)+T5，

其中，T5为预设临界值，且负1点方向亮度差值表示沿负1点方向的像素间的亮度差值。

如果步骤45的结果为“是”，表示存在负1点边缘，则流程进入图6的步骤65。否则，流程进入步骤46。

于步骤46，决定正1点边缘是否存在。步骤46可表示如下：

正1点方向亮度差值＜min(水平亮度差值，垂直亮度差值)+T6，

其中，T6为预设临界值，且正1点方向亮度差值表示沿正1点方向的像素间的亮度差值。

如果步骤46的结果为“是”，表示存在正1点边缘，则流程进入图6的步骤66。否则，结束流程。

于决定出边缘方向后，假影降低单元26沿着所决定的边缘方向对像素进行假影降低处理。在本实施例中，假影降低单元26使用低通滤波以降低假影。图6显示低通滤波的方法流程，沿着图4所决定的边缘方向，于假影像素位置对像素进行低通滤波。于以下的说明中，假设目前像素为B(0)(图5A)。于步骤61，沿垂直方向对多个(例如三个)像素进行低通滤波。例如，滤波处理后的像素可表示为：(A0*Wa+B0*Wb+C0*Wc)/T，其中，Wa、Wb及Wc分别为像素A0、B0及C0的权重，且Wa+Wb+Wc＝T，T为定值。

于步骤62，沿水平方向对多个(例如五个)像素进行低通滤波。例如，滤波处理后的像素可表示为：(B_2*W_2+B_1*W_1+B0*W0+B1*W1+B2*W2)/T，其中，W_2、W_1、W0、W1及W2分别为像素B_2、B_1、B0、B1及B2的权重，且W_2+W_1+W0+W1+W2＝T。

于步骤63，沿负1/2点方向54对多个(例如五个)像素进行低通滤波。例如，滤波处理后的像素可表示为：(A_1*W_1+A0*WA0+B0*WB0+C0*WC0+C1*W1)/T，其中，W_1、WA0、WB0、WC0及W1分别为像素A_1、A0、B0、C0及C1的权重，且W_1+WA0+WB0+WC0+W1＝T。

于步骤64，沿正1/2点方向53对多个(例如五个)像素进行低通滤波。例如，滤波处理后的像素可表示为：(C_1*W_1+C0*WC0+B0*WB0+A0*WA0+A1*W1)/T，其中，W_1、WC0、WB0、WA0及W1分别为像素C_1、C0、B0、A0及A1的权重，且W_1+WC0+WB0+WA0+W1＝T。

于步骤65，沿负1点方向52对多个(例如三个)像素进行低通滤波。例如，滤波处理后的像素可表示为：(A_1*W_1+B0*W0+C1*W1)/T，其中，W_1、W0及W1分别为像素A_1、B0及C1的权重，且W_1+W0+W1＝T。

于步骤66，沿正1点方向51对多个(例如三个)像素进行低通滤波。例如，滤波处理后的像素可表示为：(C_1*W_1+B0*W0+A1*W1)/T，其中，W_1、W0及W1分别为像素C_1、B0及A1的权重，且W_1+W0+W1＝T。

以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的权利要求范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在上述的权利要求范围内。

Claims

1.一种三维影像处理系统，包含：

一深度产生器，其根据一二维影像以产生一深度图；

一深度影像成像单元，其根据该深度图及该二维影像以产生至少一左场影像及至少一右场影像，该深度影像成像单元根据该深度图以提供像素的空洞消息及像差值；

一假影检测单元，其根据该空洞消息及该像差值以定位出一假影像素位置；及

一假影降低单元，其于该至少一左场影像及该至少一右场影像的该假影像素位置处降低假影。

2.根据权利要求1所述的三维影像处理系统，其中该假影检测单元根据以下决定以定位出该假影像素位置：

决定一目前像素及至少一相邻像素是否为空洞。

3.根据权利要求1所述的三维影像处理系统，其中该假影检测单元根据以下决定以定位出该假影像素位置：

决定一目前像素的二相邻像素是否皆为空洞。

4.根据权利要求1所述的三维影像处理系统，其中该假影检测单元根据以下决定以定位出该假影像素位置：

决定一目前像素分别与二相邻像素的像差绝对差值是否都大于一预设第一临界值。

5.根据权利要求1所述的三维影像处理系统，其中该假影检测单元根据以下决定以定位出该假影像素位置：

决定一目前像素与其中一相邻像素的像差绝对差值是否大于一预设第二临界值。

6.根据权利要求1所述的三维影像处理系统，其中该假影降低单元根据以下步骤以降低假影：

决定一边缘方向；及

沿着该决定的边缘方向，对该假影像素位置的像素进行低通滤波。

7.根据权利要求6所述的三维影像处理系统，其中该边缘方向为以下之一：垂直边缘、水平边缘、负1/2点边缘、正1/2点边缘、负1点边缘及正1点边缘。

8.根据权利要求1所述的三维影像处理系统，其中该深度影像成像单元包含一像差产生器，用以产生该像差值。

9.一种三维影像处理方法，包含：

根据一二维影像以产生一深度图；

以深度影像成像方法，根据该深度图及该二维影像以产生至少一左场影像及至少一右场影像；

以深度影像成像方法，根据该深度图以提供像素的空洞消息及像差值；

根据该空洞消息及该像差值以定位出一假影像素位置；及

于该至少一左场影像及该至少一右场影像的该假影像素位置处降低假影。

10.根据权利要求9所述的三维影像处理方法，其中该假影像素位置是根据以下决定而定位：

决定一目前像素及至少一相邻像素是否为空洞。

11.根据权利要求9所述的三维影像处理方法，其中该假影像素位置是根据以下决定而定位：

决定一目前像素的二相邻像素是否皆为空洞。

12.根据权利要求9所述的三维影像处理方法，其中该假影像素位置是根据以下决定而定位：

13.根据权利要求9所述的三维影像处理方法，其中该假影像素位置是根据以下决定而定位：

14.根据权利要求9所述的三维影像处理方法，其中该假影的降低包含以下步骤：

决定一边缘方向；及

15.根据权利要求14所述的三维影像处理方法，其中该边缘方向为以下之一：垂直边缘、水平边缘、负1/2点边缘、正1/2点边缘、负1点边缘及正1点边缘。