CN102487447A

CN102487447A - 调整物件三维深度的方法与装置、以及检测物件三维深度的方法与装置

Info

Publication number: CN102487447A
Application number: CN2010105936166A
Authority: CN
Inventors: 王建顺
Original assignee: MStar Software R&D Shenzhen Ltd; MStar Semiconductor Inc Taiwan
Current assignee: MStar Software R&D Shenzhen Ltd; MStar Semiconductor Inc Taiwan
Priority date: 2010-12-06
Filing date: 2010-12-06
Publication date: 2012-06-06
Anticipated expiration: 2030-12-06
Also published as: CN102487447B

Abstract

本发明提供了一种调整物件三维深度的方法与装置、以及检测物件三维深度的方法与装置，其包括步骤：对立体影像信号中左/右眼画面进行区块比对以计算出对应一特定物件的移动向量，并据以得到该特定物件的三维深度；以及使用所得到该特定物件的三维深度来调整一附加物件的三维深度，其中附加物件可为字幕、屏幕上显示选单、或节目选单。

Description

调整物件三维深度的方法与装置、以及检测物件三维深度的方法与装置

技术领域

本发明指一种能够检测立体影像信号中的一主要物件的三维深度及动态调整附加物件的三维深度的机制，尤指一种对立体影像信号中左/右画面进行区块比对以计算移动向量来检测主要物件的三维深度以及使用所检测到的主要物件的三维深度来调整附加物件的三维深度的方法与装置。

背景技术

请参照图5，图5是目前现有技术三维立体影像信号中一影像画面500的架构示意图。在影像画面500中，P1为离人眼最近的影像物件，亦即三维深度(3D depth)最浅的立体影像物件，而P2为离人眼最远的影像物件，也就是三维深度最深的立体影像物件，P3则为一附加物件(例如字幕)的位置。以目前立体电影信号为例来说，其字幕的位置(三维深度)在不同张的画面中都是固定的，且字幕的三维深度通常很浅，但立体电影信号不同画面中的主要影像物件或主要场景的三维深度却是动态在改变的，当某一段画面中的字幕(例如P3)的三维深度及其主要影像物件或主要场景(例如P2)的三维深度明显不同时，人眼的焦距很难固定在同一地方，需要不断变换焦距，在此情况下，长时间观看此类影像，人眼会异常吃力且容易感到疲累，进而降低观众观赏立体影像的品质与乐趣。由上可知，目前极需要可动态检测立体影像的三维深度，并动态地据以调整附加物件(例如字幕)的三维深度的技术。

发明内容

因此，本发明的目的之一在于提供一种能够检测立体影像信号中一主要影像物件或主要场景的三维深度的方法与装置，以解决上述无法检测三维深度的问题。

此外，本发明的另一目的在于提供一种能够依据所检测到的主要影像物件或主要场景的三维深度来动态调整附加物件的三维深度的方法与装置，以解决前述人眼观赏时容易疲累的问题。

根据本发明的实施例，其提供一种调整物件三维深度的方法，用以动态调整一立体影像信号的一附加物件的三维深度。该方法包含：检测该立体影像信号的多张画面中的一特定物件的三维深度；以及依据该特定物件的三维深度，调整该附加物件的三维深度。

根据本发明的实施例，其另提供一种检测物件三维深度的方法，用以检测一立体影像信号中一特定物件的三维深度。该方法包含：对该立体影像信号中的一左眼画面与一右眼画面进行区块比对以计算出对应该特定物件的一移动向量值；以及依据该移动向量值，得到该特定物件的三维深度。

根据本发明的实施例，其提供一种调整物件三维深度的装置，用以动态调整一立体影像信号的一附加物件的三维深度。该装置包含有一计算电路与一调整电路，其中计算电路用以检测该立体影像信号的多张画面中的一特定物件的三维深度；而调整电路用以依据该特定物件的三维深度调整该附加物件的三维深度。

根据本发明的实施例，其另提供一种检测物件三维深度的装置，用以检测一立体影像信号中一特定物件的三维深度。该检测物件三维深度的装置包含有一计算模块与一估计单元，其中计算模块用以对该立体影像信号的一左眼画面与一右眼画面进行区块比对，以计算出对应该特定物件的一移动向量值；而估计单元，用以依据该移动向量值，得到该特定物件的三维深度。

附图说明

图1为本发明一实施例的用以动态调整一立体影像的一附加物件的三维深度的装置的方块示意图。

图2为图1所示的移动向量计算单元的区块比对操作的示意图。

图3为本实施例中左/右眼画面的影像的移动向量与该影像的三维深度的关示意图。

图4为本实施例中具有相同三维深度值的主要影像物件的范例示意图。

图5为目前现有技术中三维立体影像中一影像画面的架构示意图。

【主要元件符号说明】

100 调整物件三维深度的装置

105 计算电路

110 调整电路

115 计算模块

120 估计单元

305、310 影像

405、410、415 影像区域

500 影像画面

1150 缩减单元

1151 存储单元

1152 移动向量计算单元

1153 统计单元

1154 决定单元

具体实施方式

请参照图1，图1是本发明调整物件三维深度的装置100的一实施例的方块示意图。装置100用以动态调整一立体影像信号V_3D的一附加物件的三维深度。装置100包含一计算电路105与一调整电路110，计算电路105用以检测立体影像信号V_3D的多张画面中一特定物件的三维深度，而调整电路110耦接至计算电路105并用以依据所检测到特定物件的三维深度，调整附加物件的三维深度。详细而言，附加物件可为一字幕、一屏幕上显示(On Screen Display，OSD)选单、一节目选单或其他外加画面或文字的物件，本实施例稍后的叙述虽以字幕作为例子来解释装置100的操作，然而此仅为实施方式之一，并非是本发明的限制。此外，立体影像信号V_3D为三维立体影像的影音数据流，具有三维影像的格式，亦即包括有多张左眼画面与多张右眼画面，而本实施例中所指的三维深度代表立体影像信号V_3D中的立体影像或物件的Z轴信息，且特定物件指由一影像范围(多个影像区块所组成的影像区域)所形成的主要影像物件或主要场景的影像区域，该特定物件可具有与此张画面中的其他物件相比较大或最大的一影像范围，例如，在某一段立体电影画面中，电影主角所在的影像区域可以算是本实施例中的特定物件。此外，该多张画面包括至少两张影像画面，分别为一左眼画面与一右眼画面，其中使用者在观看左眼画面与右眼画面后可感知到立体影像信号V_3D中的特定物件的立体感。

计算电路105包含有一计算模块115与一估计单元120，其中计算模块115用以对左眼画面与右眼画面进行区块比对以计算出对应特定物件的移动向量值，而估计单元120则用以依据特定物件的移动向量值来估计特定物件的三维深度。具体而言，计算模块115包括一缩减单元(down scaling unit)1150、一存储单元1151、一移动向量计算单元1152、一统计单元1153以及一决定单元1154。缩减单元1150对所接收的立体影像信号V_3D中的每一张画面的影像数据进行水平方向缩减(horizontal scale down，HSD)及/或垂直方向缩减(vertical scale down，VSD)，来产生缩减后的影像画面，以减轻后续电路计算的负担，实施上，缩减单元1150则可采用取样或是平均等方式来进行影像缩减。缩减后所产生的影像画面则分别输出至存储单元1151与移动向量计算单元1152，因为存储单元1151用以缓冲所接收到的影像画面，所以，移动向量计算单元1152在同一时间点可接收到前后两张影像画面，意即是分别接收到一张左眼画面与一张右眼画面，当然，本实施例并未限制左眼画面在前或右眼画面在前。移动向量计算单元1152用以对左眼画面与右眼画面进行区块比对操作，以分别计算出一画面范围中所有多个影像区块所对应的多个移动向量，需注意的是，由于人眼左/右眼视角的特性，左眼画面与右眼画面仅在水平方向有所差异，故移动向量计算单元1152在本实施例中仅在水平方向上进行区块比对，而不参考到垂直方向或其他方向，以减轻计算量并避免耗费不必要的计算资源，换言之，移动向量计算单元1152所计算得到的该些移动向量皆为水平移动向量。当然，本发明的范围并不限于仅在水平方向上进行区块比对。此外，缩减单元1150为一非必要的电路元件，若考量到影像计算/检测的精确度，在其他实施例中亦可将缩减单元1150省略。

请参照图2，图2是图1所示的移动向量计算单元1152的区块比对操作的示意图。移动向量计算单元1152针对前一张画面F_n-1与目前的画面F_n(或称后一张画面)中每一条水平扫描线上的区块进行区块比对，其中，F_n-1与F_n可为3D影像中代表不同眼睛的画面，如图2所示，移动向量计算单元1152先对前一影像画面F_n-1的一扫描线L_k的一区块M_j与目前影像画面F_n的一相对应扫描线L_k’的区块M_j-R’～M_j+R’(共2R+1个区块)进行区块比对，产生多个区块比对值(例如像素相减后的绝对差值和(Sum of Absolute Differences，SAD))，其中，k表示第k条扫描线，j表示水平方向上第j个区块，而R为正整数，该些区块比对值对应于不同水平移动向量。接着移动向量计算单元1152由2R+1个的区块比对差值中选取出一最小区块比对差值，而该最小区块比对差值所对应到的移动向量设定为区块M_j的移动向量。如此反复进行操作，移动向量计算单元1152可计算出前一张画面F_n-1中每一区块的影像所对应的移动向量，该些移动向量作为判断三维深度的参考。

请参照图3，图3是本实施例中左/右眼画面的影像的移动向量与该影像的三维深度的关系示意图。如图3所示，以影像305为例，使用者左眼所感知到的影像305位于整个左眼画面中的A点，而使用者右眼所感知到的影像305则位于整个右眼画面中的A’点，使用者因而感知立体视觉的呈现，而其所感知到的三维深度则以D1表示之；另外，以影像310为例，使用者左眼所感知到的影像310位于整个左眼画面中的B点，而使用者右眼所感知到的影像310则位于整个右眼画面中的B’点，使用者亦可感知到影像310的立体视觉呈现，其三维深度则以D2表示之。因此，由图3可知，当一立体影像于使用者视觉所呈现的三维深度较深时，该立体影像于左/右眼画面上的水平位置距离位移量会相差较远，亦即，一立体影像于左/右眼画面上位移量的大小正比于该立体影像的三维深度大小，由于水平位置距离位移量可通过两画面的区块比对所计算的移动向量值来表示，所以，移动向量值的大小亦正比于该立体影像的三维深度大小，因此，在本实施例中，移动向量计算单元1152依据左/右眼画面所计算得到的各区块的水平移动向量，可作为判断三维深度深浅的参考依据，以便后续调整电路110可将字幕调整至最适合的三维深度。

请再度参照图1，在移动向量计算单元1152计算出一画面中每一区块所对应的移动向量后，统计单元1153统计该画面中该些移动向量中每一向量值的个数，以得出一特定向量值，在本实施例中，统计单元1153统计每一向量值所对应的移动向量的个数，例如统计向量值是零的移动向量的个数，因此，统计单元1153可知各向量值所对应的移动向量的个数，其中最大个数所对应到的移动向量值即为统计单元1153所得出的该特定向量值，换言之，对于一画面来说，具有该特定向量值的影像总面积与具有其他向量值的影像面积相比为最大，因此，后续的决定单元1154可根据此一特性判断出该特定向量值所对应的区块的影像为整张画面中的主要影像物件(亦即该特定物件)，如此一来，决定单元1154会将具有该特定向量值的多个影像区块设定为对应于该特定物件的影像区域，而该特定物件的移动向量值即为该特定向量值。本实施例中的计算模块115可判断出立体影像信号V_3D该段画面中主要影像物件，估计单元120则可依据该主要影像物件的移动向量的向量值估计该主要影像物件的三维深度，因此，在估计出某一张画面的主要影像物件的三维深度后，调整电路110就可参考该主要影像物件的三维深度，将附加物件(例如字幕)的三维深度调整至该主要影像物件的三维深度，如此一来，观赏者在观看该张画面时不需要变换焦距来就可同时清楚感知主要影像物件的影像与附加物件，如此，在长期观看立体影像信号V_3D中的立体影像时，不会因为影像画面中的主要影像物件与字幕的三维深度有所不同而需要不断调整视觉焦距，使得观赏者可更轻松地观看立体影像。

请参照图4，图4是本实施例中具有相同三维深度值的主要影像物件的范例示意图。如图4所示，影像区域405、410及415的影像分别包括多个对应相同三维深度值“7”、“5”、“3”的区块，其中影像区域410具有最多的区块个数，换言之，影像区域410的影像包含有对应于相同向量值的最多移动向量个数，因此计算模块115可判断出影像区域410的影像为目前画面中的主要影像物件，而估计单元120可依据该向量值估计出影像区域410的影像的三维深度“5”，在一实施例中，估计单元120可直接以影像区域410所对应的移动向量的向量值来代表影像区域410的影像的三维深度，之后调整电路110则可参考所估计出的三维深度“5”，将字幕的三维深度调整至影像区域410的影像的三维深度“5”，举例来说，调整电路110可使字幕在一左眼画面与一右眼画面中具有与影像区域410相同的移动向量，以达到使字幕具有与影像区域410相同的三维深度的目的，由于字幕的三维深度在调整之后将使目前的字幕变成立体影像而不再是平面影像，如此，亦可增加观赏时的乐趣。再者，由于影像拍制时为强调主要影像物件的动作，一般将主要影像物件或主要场景置于整个视觉画面的中心，因此，在另一实施例中，计算模块115先设定一画面的检测范围R，该检测范围R小于整张画面的影像范围R’，之后于该检测范围R内进行区块比对、移动向量计算与统计及决定主要影像物件的操作，换言之，计算电路110在检测立体影像信号V_3D的多张画面中的主要影像物件(亦即前述的特定物件)的三维深度时，于该多张画面中位于画面中心且具有该检测范围R(可视为一第一影像范围)的一影像区域中，检测该特定物件的三维深度，其中该多张画面中每一画面具有整张画面的影像范围R’(可视为一第二影像范围)而第一影像范围小于第二影像范围。

此外，虽然在前述实施例中取对应于最多移动向量个数的移动向量值来决定主要影像物件以及该主要影像物件的三维深度，然而，在其他实施例中，亦可选择采用对应于较多移动向量个数的移动向量值来决定主要影像物件以及该主要影像物件的三维深度，举例来说，请再次参照图4，虽然影像区域415并未具有对应于相同移动向量值的最多移动向量个数，然而影像区域415也具有较多的移动向量个数，因此，计算电路105也可将影像区域415决定为一主要的影像物件并估计相对应的三维深度，之后由调整电路110将字幕的三维深度调整至影像区域415的影像的三维深度“3”，而不调整至影像区域410的影像的三维深度“5”。换言之，一画面中的主要影像物件并非限定为仅有一个，举例来说，某一段立体影像中可能有两位演员进行对话，该两位演员的影像分别为一画面中的两主要影像物件，而此两位演员的影像的三维深度可能不相同，因此，经由本实施例的装置100处理后，可使原先平面的字幕成为一立体的字幕，并可动态地将该字幕的三维深度调整至任一演员的影像的三维深度，当然，亦可依据特定的规则适当地调整该字幕的三维深度，凡此发明变化皆落入本发明的范畴。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims

1.一种调整物件三维深度的方法，用以动态调整一立体影像信号的一附加物件的三维深度，其包含有：

检测该立体影像信号的多张画面中的一特定物件的三维深度；以及

依据该特定物件的三维深度，调整该附加物件的三维深度。

2.如权利要求1所述的方法，其中调整该附加物件的三维深度的步骤包括：

将该附加物件的三维深度调整至所检测到的该特定物件的三维深度。

3.如权利要求1所述的方法，其中该附加物件包括一字幕、一屏幕上显示选单或一节目选单。

4.如权利要求1所述的方法，其中该多张画面包括一左眼画面与一右眼画面，以及检测该立体影像信号的多张画面中的该特定物件的三维深度的步骤包含有：

对该左眼画面与该右眼画面进行区块比对以计算出对应该特定物件的一移动向量值；以及

依据该移动向量值，得到该特定物件三维深度。

5.如权利要求4所述的方法，其中对该左眼画面与该右眼画面进行区块比对以计算出对应该特定物件的该移动向量值的步骤包含有：

对该左眼画面与该右眼画面进行区块比对，以分别计算出对应多个影像区块的多个移动向量；

统计该些移动向量中各个向量值的个数，以得出一特定向量值；以及

将该些影像区块中对应该特定向量值的影像区块设定为对应于该特定物件的影像区域，其中该特定物件的移动向量值为该特定向量值。

6.如权利要求5所述的方法，其中于该些移动向量中，具有该特定向量值的移动向量的个数最大。

7.如权利要求4所述的方法，其中当该特定物件的移动向量值愈大时，所估计的该特定物件的三维深度愈深。

8.一种检测物件三维深度的方法，用以检测一立体影像信号中一特定物件的三维深度，其包含有：

对该立体影像信号中的一左眼画面与一右眼画面进行区块比对以计算出对应该特定物件的一移动向量值；以及

依据该移动向量值，得到该特定物件的三维深度。

9.如权利要求8所述的方法，其中对该立体影像信号中的一左眼画面与一右眼画面进行区块比对以计算出对应该特定物件的一移动向量值的步骤包含有：

10.如权利要求9所述的方法，其中于该些移动向量中，具有该特定向量值的移动向量的个数最大。

11.如权利要求8所述的方法，其中当该特定物件的移动向量值愈大时，所得到该特定物件的三维深度愈深。

12.一种调整物件三维深度的装置，用以动态调整一立体影像信号的一附加物件的三维深度，其包含有：

一计算电路，用以检测该立体影像信号的多张画面中的一特定物件的三维深度；以及

一调整电路，用以依据该特定物件的三维深度，调整该附加物件的三维深度。

13.如权利要求12所述的装置，其中该调整电路将该附加物件的三维深度调整至所检测到该特定物件的三维深度。

14.如权利要求12所述的装置，其中该附加物件包括一字幕、一屏幕上显示选单或一节目选单。

15.如权利要求12所述的装置，其中该多张画面包括一左眼画面与一右眼画面，以及该计算电路包含有：

一计算模块，用以对该左眼画面与该右眼画面进行区块比对以计算出对应该特定物件的一移动向量值；以及

一估计单元，用以依据该移动向量值，估计该特定物件的三维深度。

16.如权利要求15所述的装置，其中该计算模块包含：

一移动向量计算单元，用以对该左眼画面与该右眼画面进行区块比对，以分别计算出对应多个影像区块的多个移动向量；

一统计单元，用以统计该些移动向量中的各个向量值的个数，以得出一特定向量值；以及

一决定单元，用以将该些影像区块中对应该特定向量值的影像区块设定为对应于该特定物件的影像区域，其中该特定物件的移动向量值为该特定向量值。

17.如权利要求16所述的装置，其中于该些移动向量中，具有该特定向量值的移动向量的个数最大。

18.如权利要求15所述的装置，其中当该特定物件的移动向量值愈大时，所估计的该该特定物件的三维深度愈深。

19.一种检测物件三维深度的装置，用以检测一立体影像信号中一特定物件的三维深度，其包含有：

一计算模块，用以对该立体影像信号的一左眼画面与一右眼画面进行区块比对，以计算出对应该特定物件的一移动向量值；以及

一估计单元，用以依据该移动向量值，得到该特定物件的三维深度。

20.如权利要求19所述的装置，其中该计算模块包含有：

一决定单元，用以将该些影像区块中对应该特定向量值的影像区块设定为对应于该特定物件的影像区域，其中，该特定物件的移动向量值为该特定向量值。

21.如权利要求20所述的装置，其中于该些移动向量中，具有该特定向量值的移动向量的个数最大。

22.如权利要求19所述的装置，其中当该特定物件的移动向量值愈大时，所得到该特定物件的三维深度愈深。