CN103227929B - 立体影像处理装置及立体影像处理方法 - Google Patents

Abstract

本发明提供一种立体影像处理装置，包含一移动估测模块与一移动插补模块。该移动估测模块用以估测一第一眼影像中一第一物件与一第二眼影像中一第二物件间的一移动向量。该第一物件与该第二物件相同或相似。该移动插补模块用以将该移动向量乘以一第一移动比例，以产生一第一移动向量。该移动插补模块根据该第一移动向量与该第一物件插补产生一移动后第一物件。

Description

立体影像处理装置及立体影像处理方法

技术领域

本发明与立体影像处理技术相关，并且尤其与调整立体影像相对于观看者的远近距离及视角的技术相关。

背景技术

随着各种相关软硬件技术的进步，商用和家用的立体影像显示设备皆渐趋成熟，立体影像也成为多媒体领域中受到高度瞩目的发展趋势。现有的立体影像显示技术大致包含主动式和被动式两种，分述如下。

主动式立体影像显示技术是在屏幕上先后交替播放左眼和右眼的影像。在播放左眼影像时，观看者所佩戴的专用眼镜会遮蔽其右眼。在播放右眼影像的时候，立体眼镜则会遮蔽观看者的左眼。观看者的视觉系统会自动将双眼在先后时间分别接收到的影像组合起来，成为立体影像。由于视觉暂留效应的关系，只要左眼影像和右眼影像更替的频率够快，观看者并不会察觉眼前的景象在某些时间被立体眼镜遮蔽。

被动式立体影像显示则是在同一画面中同时呈现左眼影像和右眼影像。如图1所示，画面中的奇数列像素R1、R2、R3…对应于右眼影像，而偶数列像素L1、L2、L3…对应于左眼影像，两者水平交错。被动式立体影像显示器外部贴有偏光膜。举例而言，对应于奇数列像素R1、R2、R3…的偏光角度可被设计为45度，对应于偶数列像素L1、L2、L3…的偏光角度可被设计为135度。相对应地，观看者所佩戴的眼镜的右眼镜片仅容偏光角度为45度的光线通过，左眼镜片则是仅容偏光角度为135度的光线通过，左右眼分别接收不同影像。同样是利用人类的视觉特性，观看者会将其左眼和右眼在同一时间分别接收到的影像组合起来，成为立体影像。

无论是主动式或被动式立体影像显示技术，左眼影像和右眼影像在制作完成后，通常必须利用复杂昂贵的装置才能被修改或调整。然而，现今的发展趋势之一是希望提供给使用者更多自主调整影像内容的弹性空间，举例而言，让使用者能自由调整立体影像的亮度、对比度、成像位置深浅。

发明内容

为满足调整立体影像深浅及视角的需求，本发明提出新的立体影像处理装置及立体影像处理方法。根据本发明的影像处理装置及影像处理方法运用移动估测(motionestimation)和移动插补(motion interpolation)技术来达成调整立体影像深度及视角的效果，不需要复杂的立体影像专用设备。

根据本发明的一具体实施例为一种立体影像处理装置，其中包含一移动估测模块与一移动插补模块。该移动估测模块用以估测一第一眼影像中一第一物件与一第二眼影像中一第二物件间的一移动向量。该第一物件与该第二物件相同或相似。该移动插补模块用以将该移动向量乘以一第一移动比例，以产生一第一移动向量。该移动插补模块并根据该第一移动向量与该第一物件插补产生一移动后第一物件。

于根据本发明的另一具体实施例中，该移动插补模块还将该移动向量乘以一第二移动比例，以产生一第二移动向量。该移动插补模块并根据该第二移动向量与该第二物件插补产生一移动后第二物件。

根据本发明的另一具体实施例为一种立体影像系统。除了上述移动估测模块和移动插补模块之外，该立体影像系统进一步包含一播放模块，用以同时或交替播放修改后的左眼影像及右眼影像。

根据本发明的另一具体实施例为一种立体影像处理方法。首先，一估测步骤被执行，以估测一第一眼影像中一第一物件与一第二眼影像中一第二物件间的一移动向量。该第一物件与该第二物件相同或相似。接着，该移动向量被乘以一第一移动比例，以产生一第一移动向量。随后，一移动后第一物件根据该第一移动向量与该第一物件插补产生。

关于本发明的优点与精神可以藉由以下发明详述及附图得到进一步的了解。

附图说明

图1为被动式立体影像画面范例。

图2为根据本发明的一具体实施例中的立体影像处理装置电路方块图。

图3为一左眼影像与其相对应的右眼影像的范例。

图4(A)～图4(E)为采用不同移动比例时的成像图范例。

图5(A)为两物件间的移动向量示意图；图5(B)和图5(C)用以呈现移动后左眼物件和移动后右眼物件。

图6(A)及图6(B)为同时产生多种移动后物件的示意图。

图7(A)和图7(B)为MEMC装置的典型效果示意图。

图8为根据本发明的一具体实施例中的立体影像处理方法流程图。

主要元件符号说明

R1～R3：右眼影像像素列 L1～L3：左眼影像像素列

200：立体影像处理装置 22：移动估测模块

24：移动插补模块 26：播放模块

X、Y：原始物件 X’、Y’：移动后物件

MV：移动向量 r、a1、a2：移动比例

IMG：原始成像 IMG’：移动后成像

S81～S86：流程步骤

具体实施方式

根据本发明的一具体实施例为如图2所示的立体影像处理装置200，其中包含移动估测(motion estimation)模块22、移动插补(motion interpolation)模块24与播放模块26。实务上，影像处理装置200可被整合于电视、DVD播放器或电脑等具备立体影像放映功能的系统中，亦可单独存在。须说明的是，播放模块26并非立体影像处理装置200的必要元件。

图3为一左眼影像与其相对应的右眼影像的范例。于此范例中，左眼影像中的物件X和右眼影像中的物件Y对应于同一个盆栽。物件X和物件Y的影像内容可能完全相同，也可能相似但不同。在同时或依序观看左眼影像和右眼影像之后，观看者会自行在脑中将物件X和物件Y组合为一个盆栽的立体影像。由图3可看出，物件X在左眼影像中的位置不同于物件Y在右眼影像中的位置。更明确地说，物件X呈现于屏幕左半部，物件Y则呈现于屏幕右半部。如图4(A)所示，观看者看到的组合后影像IMG将成像在屏幕后方，且观看者会感觉组合后影像IMG的深度为D。

如图4(B)所示，若将左眼影像中的物件X右移至物件X’的位置，并保持右眼影像中物件Y不变，观看者看到的组合后影像会变成影像IMG’。相较于影像IMG，观看者会感觉影像IMG’的位置较偏右且深度较浅(距离较近)。如图4(C)所示，若将右眼影像中的物件Y左移至物件Y’的位置，并保持左眼影像中物件X不变，观看者看到的组合后影像IMG’较影像IMG偏左且距离较近。如图4(D)所示，若将左眼影像中的物件X右移至物件X’的位置，且亦将右眼影像中的物件Y左移相同距离至物件Y’的位置，观看者看到的组合后影像IMG’与影像IMG的水平位置相同但距离较近。如图4(E)所示，根据物件X和物件Y所产生的组合后影像IMG也可能成像在屏幕前方。若将左眼影像中的物件X左移至物件X’的位置，且亦将右眼影像中的物件Y右移相同距离至物件Y’的位置，观看者看到的组合后影像IMG’与影像IMG的水平位置相同但距离较远。

由以上几个图例可看出，改变物件X及/或物件Y的位置可调整立体影像深度、左右位置。根据本发明一实施例的立体影像处理装置200即利用移动估测及移动插补技术改变左眼影像及/或右眼影像中的物件位置来达成调整立体影像中一个或多个物件的深度及/或左右位置的效果。

移动估测模块22用以估测一第一眼影像中一第一物件与一第二眼影像中一第二物件间的移动向量；第一物件与第二物件相同或相似。以图3所示者为例，移动估测模块22可分别判断物件X的中心点在左眼影像中的座标以及物件Y的中心点在右眼影像中的座标，再以这两组座标的差异做为物件X和物件Y间的移动向量MV。以下说明将以第一眼影像为一左眼影像、第二眼影像为一相对应的右眼影像的情况为例。左眼影像中包含一左眼物件X，右眼影像中包含一右眼物件Y。物件X、Y的影像内容可完全相同，也可相似但不同。

假设左眼物件X和右眼物件Y间的移动向量MV，如图5(A)所示，已由移动估测模块22找出。移动插补模块24首先将移动向量MV乘以第一移动比例a1，以产生第一移动向量MV*a1。接着，如图5(B)所示，移动插补模块24根据第一移动向量MV*a1与包含左眼物件X的左眼影像插补产生一移动后左眼影像，其包含一移动后左眼物件X’。相似地，如图5(C)所示，移动插补模块24亦可将移动向量MV乘以第二移动比例a2，以产生第二移动向量MV*a2，再根据第二移动向量MV*a2与包含右眼物件Y的右眼影像插补产生一移动后右眼影像，其包含一移动后右眼物件Y’。

实务上，插补产生的物件的影像内容可以与原始物件的影像内容相同或不同。于一实施例中，移动后左眼物件X’与左眼物件X的影像内容相同，移动后右眼物件Y’与右眼物件Y的影像内容相同。于另一实施例中，移动插补模块24透过一插补演算法根据左眼物件X的影像内容产生移动后左眼物件X’的影像内容，并透过该演算法根据右眼物件Y的影像内容产生移动后右眼物件Y’的影像内容。于又一实施例中，移动插补模块24透过另一插补演算法根据左眼物件X以及右眼物件Y的影像内容产生移动后左眼物件X’及移动后右眼物件Y’的影像内容。

第一移动比例a1和第二移动比例a2皆不以特定数值为限。此外，第一移动比例a1和第二移动比例a2可以相同，也可以不同。

以下说明将以图5(A)所绘示的移动向量MV方向为例。回应于将物件X、Y所对应的组合后影像右移且拉近的需求(例如图4(B)所绘示)，移动插补模块24可将第一移动比例a1设定为正数。据此产生的第一移动向量MV*a1会与移动向量MV同向，使移动后左眼物件X’相对位于左眼物件X右侧。同时，移动插补模块24可将第二移动比例a2设定为零，保持移动后右眼物件Y’与右眼物件Y的位置相同，或者是完全不进行产生移动后右眼物件Y’的程序。须说明的是，左眼影像中除了物件X之外的部份以及右眼影像除了物件Y之外的部份中可以大致保持不变，或仅被施以因物件X、Y的移动所相对应造成的修改。

回应于将物件X、Y所对应的组合后影像左移且拉近的需求(例如图4(C)所绘示者)，移动插补模块24可将第一移动比例a1设定为零，并将第二移动比例a2设定为负数。据此产生的第二移动向量MV*a2会与移动向量MV反向，使移动后右眼物件Y’相对位于右眼物件Y左侧。

再者，回应于将物件X、Y所对应的组合后影像拉近但水平位置不变的需求(例如图4(D)所绘示)，移动插补模块24可将第一移动比例a1设定为正数、将第二移动比例a2设定为负数，且令第一移动比例a1与第二移动比例a2的绝对值相等。据此产生的第一移动向量MV*a1会与第二移动向量MV*a2反向，且使移动后左眼物件X’相对位于左眼物件X右侧、移动后右眼物件Y’相对位于右眼物件Y左侧。

此外，回应于将物件X、Y所对应的组合后影像拉远但水平位置不变的需求(例如图4(E)所绘示)，移动插补模块24可将第一移动比例a1设定为负数、将第二移动比例a2设定为正数，且令第一移动比例a1与第二移动比例a2的绝对值相等。据此产生的第一移动向量MV*a1会与第二移动向量MV*a2反向，且使移动后左眼物件X’相对位于左眼物件X左侧、移动后右眼物件Y’相对位于右眼物件Y右侧。

在一实施例中，移动插补模块24被设计为同时根据第一移动向量MV*a1与包含一左眼物件X的一左眼影像插补产生包含一左移左眼物件X1的一左移左眼影像与包含一右移左眼物件X2的一右移左眼影像，如图6(A)所示。移动插补模块24亦同时根据第二移动向量MV*a2与包含一右眼物件Y的一右眼影像插补产生包含一左移右眼物件Y1的一左移右眼影像与包含一右移右眼物件Y2的一右移右眼影像，如图6(B)所示。随后，依照使用者或上层系统提出的需求，移动插补模块24再由左眼影像(含左眼物件X)、左移左眼影像(含左移左眼物件X1)、右移左眼影像(含右移左眼物件X2)中选择一个做为包含移动后左眼物件X’的移动后左眼影像。相似地，移动插补模块24由右眼影像(含右眼物件Y)、左移右眼影像(含左移右眼物件Y1)、右移右眼影像(含右移右眼物件Y2)中选择一个做为包含移动后右眼物件Y’的移动后右眼影像。举例而言，回应于将物件X、Y所对应的组合后影像拉近但水平位置不变的需求，移动插补模块24可选择右移左眼影像(含右移左眼物件X2)和左移右眼影像(含左移右眼物件Y1)。

须说明的是，移动后左眼物件X1、X2的影像内容可不完全相同于左眼物件X的影像内容。举例而言，移动插补模块24可根据移动向量MV对左眼物件X中每一像素为插补，以产生移动后左眼物件X1、X2。同理，移动后右眼物件Y1、Y2的影像内容可不完全相同于右眼物件Y的影像内容。举例而言，移动插补模块24可根据移动向量MV对右眼物件Y中每一像素为插补，以产生移动后右眼物件Y1、Y2。

实务上，移动估测模块22和移动插补模块24可同为一移动估测及移动补偿(motion estimation and motion compensation，MEMC)装置的一部分。在先前技术中，MEMC装置用于处理二维影像。图7(A)和图7(B)为MEMC装置的典型效果示意图。如图7(A)所示，MEMC装置会先找出两原始画面(画面A与画面B)间的移动向量MV。于此范例中，MEMC装置所进行的移动插补程序根据移动向量MV及画面A、B插补出一张内容介于画面A、B间的新画面，且该新画面的内容是图7(B)中的画面A’与画面B’的内容的平均。MEMC装置具有根据移动向量MV产生画面A’和画面B’的能力。如图7(B)所示，画面A’和原始画面A的相对移动向量为移动向量MV乘以一移动比例r，画面B’和原始画面B的相对移动向量则是移动向量MV的反向向量(-MV)乘以另一移动比例(1-r)。

移动比例r可被视为前述第一移动比例a1，且移动比例(1-r)加上负号可被视为前述第二移动比例a2。易言之，于此实施例中，第一移动比例a1与负的第二移动比例a2的总和为1。若选择左眼物件X做为原始画面A、右眼物件Y做为原始画面B，移动后左眼物件X’会相对位于左眼物件X右侧，移动后右眼物件Y’则是相对位于右眼物件Y左侧。举例而言，当移动比例r为0.5，插补产生的新画面中，新物件X’、Y’的水平位置就会在物件X、Y正中间，与物件X、Y等距。相对地，若选择左眼物件X做为原始画面B、右眼物件Y做为原始画面A，移动后左眼物件X’会相对位于左眼物件X左侧，移动后右眼物件Y’则是相对位于右眼物件Y右侧。

综上所述，根据本发明的立体影像处理装置200利用移动估测及移动插补技术达成调整立体影像深度、左右位置的效果。移动插补模块24选择不同的移动比例a1、a2的组合，就会产生不同的成像结果。系统设计者可根据硬件规格提供某一特定范围内的移动比例供使用者自行调整。此外，移动插补模块24亦可仅移动左眼物件X或仅移动右眼物件Y，不一定要同时产生移动后左眼影像及移动后右眼影像。

须说明的是，当新的组合后影像IMG’呈现的位置并非如原始影像IMG位于观看者视线中心轴上时，其视觉效果会等同于观看者本身向右或向左移动。也就是说，立体影像处理装置200亦可提供改变视角的效果。

如图2所示，经移动插补模块24选择性修改后的左眼影像和右眼影像会被提供至播放模块26。修改后左眼影像包含移动后左眼物件X’，而修改后右眼影像包含移动后右眼物件Y’。就主动式立体影像而言，播放模块26是交替播放修改后左眼影像及修改后右眼影像。就被动式立体影像而言，播放模块26则是同时穿插呈现修改后左眼影像及修改后右眼影像，如图1所示。

根据本发明的另一具体实施例为一立体影像处理方法，其流程图如图8所示。首先，步骤S81为估测一第一眼影像中一第一物件与一第二眼影像中一第二物件间的一移动向量。该第一物件与该第二物件相同或相似。步骤S82为将该移动向量乘以一第一移动比例，以产生一第一移动向量。随后，步骤S83为根据该第一移动向量与该第一眼影像插补产生一修改后第一眼影像。步骤S84是将该移动向量乘以一第二移动比例，以产生一第二移动向量。随后，步骤S85为根据该第二移动向量与该第二眼影像插补产生一修改后第二眼影像。步骤S86为同时或交替播放修改后第一眼影像及修改后第二眼影像。

须说明的是，在只需要调整单侧物件的情况下，步骤S84和步骤S85可省略。此外，步骤S86亦非该流程中的必要步骤。上述各步骤的详细实施方式和实施结果可参见先前与立体影像处理装置200相关的段落，不再赘述。

如上所述，为满足调整立体影像深浅的需求，本发明提出新的立体影像处理装置及立体影像处理方法。根据本发明的处理装置及处理方法运用移动估测以及移动插补技术来达成调整立体影像深度的效果，不需要复杂的立体影像专用设备。

藉由以上较佳具体实施例的详述，希望能更加清楚描述本发明的特征与精神，而并非以上述所揭示的较佳具体实施例来对本发明的范畴加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的专利范围的范畴内。

Claims (8)

1.一种立体影像处理装置，包含：

一移动估测模块，用以估测一第一眼影像中一第一物件与一第二眼影像中一第二物件间的一移动向量，其中该第一物件与该第二物件相同或相似；以及

一移动插补模块，用以将该移动向量乘以一第一移动比例，以产生一第一移动向量，并根据该第一移动向量与该第一眼影像插补产生一修改后第一眼影像，以及将该移动向量乘以一第二移动比例，以产生一第二移动向量，并根据该第二移动向量与该第二眼影像插补产生一修改后第二眼影像，其中该第一移动比例与该第二移动比例被设定为不同。

2.如权利要求1所述的立体影像处理装置，其特征在于，该修改后第一眼影像包含对应该第一物件的一移动后第一物件，该修改后第二眼影像包含对应该第一物件的一移动后第二物件，该第一眼影像为一左眼影像，该第二眼影像为一右眼影像；回应于一拉近要求，该移动插补模块将该第一移动比例设定为使该移动后第一物件相对位于该第一物件右侧，并将该第二移动比例设定为使该移动后第二物件相对位于该第二物件左侧；回应于一拉远要求，该移动插补模块将该第一移动比例设定为使该移动后第一物件相对位于该第一物件左侧，并将该第二移动比例被设定为使该移动后第二物件相对位于该第二物件右侧。

3.如权利要求1所述的立体影像处理装置，其特征在于，该移动插补模块根据该第一移动向量与该第一眼影像插补产生包含一左移第一物件的一左移第一眼影像与包含一右移第一物件的一右移第一眼影像；该移动插补模块亦根据该第二移动向量与该第二眼影像插补产生包含一左移第二物件的左移第二眼影像与包含一右移第二物件的右移第二眼影像；该移动插补模块选择该第一眼影像、该左移第一眼影像与该右移第一眼影像其中之一为该修改后第一眼影像，并选择该第二眼影像、该左移第二眼影像与该右移第二眼影像其中之一为该修改后第二眼影像；其中，该左移第一物件以及该右移第一物件对应于该第一物件，该左移第二物件以及该右移第二物件对应于该第二物件。

4.如权利要求1所述的立体影像处理装置，其特征在于，进一步包含：

一播放模块，用以同时或交替播放该修改后第一眼影像及该修改后第二眼影像，其中该修改后第一眼影像包含对应该第一物件的一移动后第一物件，该修改后第二眼影像包含对应该第一物件的一移动后第二物件。

5.一种立体影像处理方法，包含：

(a)估测一第一眼影像中一第一物件与一第二眼影像中一第二物件间的一移动向量，其中该第一物件与该第二物件相同或相似；

(b)将该移动向量乘以一第一移动比例，以产生一第一移动向量；

(c)根据该第一移动向量与该第一眼影像插补产生一修改后第一眼影像；

(d)将该移动向量乘以一第二移动比例，以产生一第二移动向量；以及

(e)根据该第二移动向量与该第二眼影像插补产生一修改后第二眼影像；

其中该第一移动比例与该第二移动比例被设定为不同。

6.如权利要求5所述的立体影像处理方法，其特征在于，该修改后第一眼影像包含对应该第一物件的一移动后第一物件，该修改后第二眼影像包含对应该第一物件的一移动后第二物件，该第一眼影像为一左眼影像，该第二眼影像为一右眼影像；回应于一拉近要求，该第一移动比例被设定为使该移动后第一物件相对位于该第一物件右侧，且该第二移动比例被设定为使该移动后第二物件相对位于该第二物件左侧；回应于一拉远要求，该第一移动比例被设定为使该移动后第一物件相对位于该第一物件左侧，且该第二移动比例被设定为使该移动后第二物件相对位于该第二物件右侧。

7.如权利要求5所述的立体影像处理方法，其特征在于，步骤(c)包含根据该第一移动向量与该第一眼影像插补产生包含一左移第一物件的一左移第一眼影像与包含一右移第一物件的一右移第一眼影像，步骤(c)亦包含选择该第一眼影像、该左移第一眼影像与该右移第一眼影像其中之一为该修改后第一眼影像；步骤(e)包含根据该第二移动向量与该第二眼影像插补产生包含一左移第二物件的一左移第二眼影像与包含一右移第二物件的一右移第二眼影像，步骤(e)亦包含选择该第二眼影像、该左移第二眼影像与该右移第二眼影像其中的一为该修改后第二眼影像。

8.如权利要求5所述的立体影像处理方法，其特征在于，进一步包含：

同时或交替播放该修改后第一眼影像及该修改后第二眼影像，其中该修改后第一眼影像包含对应该第一物件的一移动后第一物件，该修改后第二眼影像包含对应该第一物件的一移动后第二物件。