CN102905145A - 立体影像系统、影像产生方法、影像调整装置及其方法 - Google Patents

Abstract

本发明提供一种立体影像系统，该系统包括：一深度检测器，用以接收一二维影像及其相应的一深度影像，并据以产生一深度阶层图；一立体影像产生器，用以接收该二维影像及深度阶层图，以据以产生相应于二维影像的一立体影像对；以及一立体影像调整装置，用以接收立体影像对及深度阶层图以产生一深度阶层范围图，并依据深度阶层范围图以分别对立体影像对中位于多个深度阶层的多个对象进行一像素位移处理及一插补处理，以产生一输出立体影像对。

Description

立体影像系统、影像产生方法、影像调整装置及其方法

技术领域

本发明是关于立体影像，特别是使用分析深度图以得到立体影像的系统及其方法。 

背景技术

随着科技进步，多媒体系统亦愈来愈成熟，使用者对于视觉上的享受也愈来愈要求，从传统的二维画面逐渐提升至三维画面。不同于一般电视和电影等平面显示所提供的二维画面，人类双眼所看到的物体会具有前后位置的深度感，深度感的产生来自于左右两眼相距一定距离，因此使得所看到的影像有些微的差距，此差距经过大脑处理后就会产生深度感。人类双眼观看景物可概分为远、中、近三个层次，亦可随着景物的远近而自动调整到一个最佳的视角，当双眼由不同视角分别观看物体不同的位置时，会产生视差(parallax)，视差依眼睛观看远、中、近程景物的不同，可分为三种情况：(1)正视差(positive parallax)，如图1A所示，将左、右眼影像分别放在屏幕的L与R的位置时，其中L为左眼视线与屏幕101的交点，R为右眼视线与屏幕101的交点，两眼焦点视线会在屏幕101后交叉，立体影像将会呈现在屏幕101后的交叉点上；(2)零视差(zero parallax)，如图1B所示，将左、右眼影像重迭放在屏幕101的L/R的位置，两眼焦点视线的交叉点会正好落在屏幕101上，且影像亦呈现在屏幕101上，但无立体感；(3)负视差(negative parallax)，如图1C所示，将左、右眼影像重迭放在屏幕101的L与R的位置，两眼焦点视线在屏幕101前即产生交叉，其立体影像会呈现在屏幕101前的交叉点上。 

虽然立体影像可以由立体相机或立体摄影机所撷取，但这些设备尚未普及且价格不斐，一般使用者往往难以取得并使用，因此逐渐发展出将现有的二维影像或影片转换成立体影像(stereoscopic images)的算法。立体影像算法往往需要利用深度信息(depth information)，深度信息往往可用一深度图 (depth map)来表示，深度图的产生可利用深度摄影机、立体摄影机或是利用相关的三维立体影像算法所得到，已知的深度图可用灰阶影像来表示照片里不同对象的深度，例如灰阶值0～255，0表示物体离镜头最远，255则表示物体离镜头最近。 

传统利用二维影像的深度图以求得左右两眼影像的算法，是依据深度图的深度，对原始二维影像中的物体做不同程度的像素位移，而忽略了左右两眼所看到的景物差异。 

发明内容

有鉴于此，本发明提供一种立体影像系统，可分别仿真左右眼所观察到的物体，以逼近人类双眼所看到的真实物体。该立体影像系统包括：一深度检测器，用以接收一二维影像及其相应的一深度影像，以产生一深度阶层图；一立体影像产生器，用以依据该二维影像及该深度阶层图，以产生相应于该二维影像的一立体影像对；以及一立体影像调整装置，用以依据该深度阶层图以产生一深度阶层范围图，并依据该立体影像对及该深度阶层范围图以分别对该立体影像对中位于多个深度阶层的多个对象进行一像素位移处理及一插补处理，以产生一输出立体影像对。 

本发明还提供一种立体影像产生方法，包括：接收一二维影像及其相应的一深度影像，以据以产生一深度阶层图；依据该二维影像及该深度阶层图，以产生相应于该二维影像的一立体影像对；依据该深度阶层图，以产生一深度阶层范围图；以及依据该立体影像对及该深度阶层范围图，以分别对该立体影像对中位于多个深度阶层的多个对象进行一像素位移处理及一插补处理，以产生一输出立体影像对。 

本发明还提供一种立体影像调整装置，包括：一深度阶层区分器，用以接收一深度阶层图，并据以产生一深度阶层范围图；一像素位移器，用以接收该深度阶层范围图及其相应的一立体影像对，并依据该深度阶层范围图及该立体影像对，计算该立体影像对中的多个对象的一物体中心线，再依据该物体中心线对该多个对象进行对应的一像素位移处理，以产生一调整立体影像对；以及一影像合并器，用以接收该调整立体影像对，并对该调整立体影像对中的该多个对象进行一插补处理，以产生一输出立体影像对。 

本发明还提供一种立体影像调整方法，包括：接收一深度阶层图，并据 以产生一深度阶层范围图；依据该深度阶层范围图其相应的一立体影像对，计算该立体影像对中的多个对象的一物体中心线，再依据该物体中心线对该多个对象进行对应的一像素位移处理，以产生一调整立体影像对；以及对该调整立体影像对中的该多个对象进行一插补处理，以产生一输出立体影像对。 

附图说明

图1A～1C是显示以不同视差观察物体的方式的示意图。 

图2是显示依据本发明一实施例的立体影像系统200的方块图。 

图3A是显示依据本发明一实施例的深度阶层范围图的示意图。 

图3B是显示依据本发明一实施例的调整立体影像对的示意图。 

图3C是显示依据本发明一实施例的深度影像的示意图。 

图3D是显示依据本发明一实施例的调整立体影像对中的左眼影像进行像素位移处理的示意图。 

图4是显示依据本发明一实施例的应用于立体影像系统的立体影像产生方法的流程图。 

图5是显示依据本发明一实施例的应用于立体影像调整装置的立体影像调整方法的流程图。 

[主要元件标号说明] 

101～屏幕；             200～立体影像系统； 

210～深度检测器；       220～立体影像产生器； 

230～立体影像调整装置； 231～深度阶层区分器； 

232～像素位移器；       233～影像合并器； 

301、302、303、304、305、306、307～阶层； 

308、309～区域。 

具体实施方式

有关本发明的前述及其它技术内容、特点与功效，在以下配合参考图式图1～4的各项实施例的详细说明中，将可清楚地呈现。 

图2是显示依据本发明一实施例的立体影像系统200的方块图。在一实施例中，立体影像系统200包括一深度检测器210、一立体影像产生器220、一立体影像调整装置230。深度检测器210接收一二维影像及一深度影像， 并依据二维影像及深度影像以产生一深度阶层图(depth level map)，其中二维影像可为一般照像装置所拍摄的相片，而深度影像为灰阶值介于0～255的一灰阶影像，例如图3C所示，阶层304～307分别表示物体于影像中的不同深度，其中阶层306距离镜头最近，阶层307距离镜头最远。深度影像通常由深度照相机或是已具有三维信息的影像所得到，亦可由已知算法由二维影像以推导出深度影像，但本发明不限于此。在灰阶影像中，不同的灰阶值即代表该点距离照相装置的镜头的深度，例如0表示距离镜头最远，255表示距离镜头最近，但本发明不限于此。深度检测器210依据所接收的深度影像，使用已知的Otsu阀值方法(Otsu threshold method)以计算出一最佳的零视差平面(zero parallax plane)的灰阶值，并将深度影像的灰阶值由-5至+5共分成11个深度等级，深度等级0则代表零视差平面，深度影像及深度等级的对应公式如下： 

depth level＝(D-ZPS)/((255-ZPS)/5)when D≠ZPS……(式1)

depth level＝0 when D＝ZPS    ……(式2)

其中depth level表示深度等级，D为深度影像中的该点的灰阶值，ZPS(zero parallax setting)为零视差平面所代表的灰阶值。深度检测器210使用式1及式2公式产生一深度阶层图(depth level map)以区分深度等级，深度等级的数值愈高，表示该点愈靠近镜头，所需做的视角仿真程度愈高，其细节将揭露于后。于另一实施例中，深度等级亦可依据实际需要，使用正视差、负视差或零视差的定义所决定，且深度等级亦可为数值愈高愈远离镜头，但本发明不限于此。 

立体影像产生器220接收二维影像以及深度检测器所产生的深度阶层图(depth level map)，并依据二维影像及深度阶层图以产生相应于二维影像的一立体影像对(stereoscopic image pair)，立体影像对包括一左眼影像及一右眼影像，立体影像产生器220产生左眼/右眼影像所使用的算法为已知的DBI R(Depth-image-based rendering)算法，于此不在多做叙述。以被动式眼镜立体系统为例，左右眼影像分别为具有原始二维影像的一半垂直分辨率的影像，例如左眼影像为原始二维影像的奇数线所构成，右眼影像为原始二维影像的偶数线所构成，但本发明不限于此。 

立体影像调整装置230接收由深度检测器210所产生的深度阶层图，以及由立体影像产生器220所产生的对应于深度阶层图的立体影像对。立体影像调整装置230依据该深度阶层图以产生一深度阶层范围图，并依据该立体影像对及该深度阶层范围图以分别对该立体影像对中位于多个深度阶层的多个对象进行一像素位移处理及一插补处理，以产生一输出立体影像对。立体影像调整装置230使用本发明所提出的影像调整方法对立体影像对中的左眼影像及右眼影像进一步进行调整，以便使用者在观赏时，可获得更佳的三维立体影像效果。在一实施例中，立体影像调整装置230还包括一深度阶层区分器231、一像素位移器232、影像合并器233。深度阶层区分器231依据深度阶层图，决定一深度范围以决定后续运算所处理对象的深度阶层，并产生一深度阶层范围图以供像素位移器232使用。在本发明的一实施例中，因为在仿真人眼视角时，对于距离人眼太远的景物，左眼及右眼看同一个物体所得到的影像几乎没有差距，因此深度阶层区分器231仅考虑深度等级介于+2～+4之间的物体，如图3A所示，其中阶层301的深度阶层为2，阶层302的深度阶层为3，阶层303的深度阶层为4，其中深度阶层2表示离零视差平面最近，且离镜头最远，深度阶层4表示离零视差平面最远，且离镜头最近，但本发明不限于此。 

像素位移器232接收来自由深度阶层区分器231所产生的深度阶层范围图，以及由立体影像产生器220所产生的对应于深度阶层图的立体影像对，并依据深度阶层范围图及相应的立体影像对以产生一调整立体影像对，其中调整立体影像对亦包括一左眼影像及右眼影像，意即为由原二维影像所产生的调整后的左眼影像及右眼影像，对于被动偏光系统来说，左眼影像及右眼影像可分别为原本二维影像中的奇数线及偶数线的画面，但本发明不限于此。在一实施例中，像素位移器232依据深度阶层范围图及相应的立体影像对，对立体影像对中的左眼影像及右眼影像分别处理。在一实施例中，以左眼影像为例，对同一个物体来说，左眼影像所看到的物体左半边会较大，右半边则相对较小，右眼影像则相反，因此像素位移器232在处理左眼影像时，对物体的左半边会放大，右半边则会缩小，在一实施例中，左眼影像(或右眼影像)中的像素若属于同一物体，则其深度阶层亦会相同，像素位移器232会先找出左眼影像(或右眼影像)中的物体，意即依据深度阶层范围图，对其相应的左眼影像的每一列进行处理，先找出同一物体的中心点，意即对每一列的 像素，寻找连续同深度阶层的线段中点，结合所有的线段中点，即可构成该物体的物体中心线。在一实施例中，以分辨率640x480的图像为例，像素位移器232依据下列公式对左眼影像中的每个连续线段的像素进行处理： 

X＝X+(DP-1) 

……(式3) 

when(X＞(DC-WD/4))and(X＜(DC+WD/4))and(DP＞＝2) 

像素位移器232再依据下列公式对右眼影像中的每个连续线段的像素进行处理： 

X＝X-(DP-1) 

……(式4) 

when(X＞(DC-WD/4))and(X＜(DC+WD/4))and(DP＞＝2) 

其中X为同一深度阶层的像素坐标，DP为深度阶层，DC为同一深度阶层的连续线段的中点坐标，WD为同一深度阶层的每一列的连续线段宽度(意即于该列的物体宽度)。由式3及式4可知，对左眼影像的每一列来说，在物体的左半边，因为区域309往右平移，在由中心点往左边距离1/4物体宽度之处，会新增额外的像素，以扩增左半边的范围，由中心点至右边距离1/4物体宽度的像素因为右平移而超过右边1/4物体宽度界限的像素则会被删除，右眼影像则进行相反的处理，如此一来，当处理完左眼影像(或右眼影像)的每一列后，经过在调整立体影像对中的调整后的物体会更接近实际左眼(或右眼)所看到的影像。换句话说，前述的像素位移处理，可视为将左眼/右眼影像中的物体，依据其物体中心线，将位于物体中心线左右各四分之一的部分进行对应的像素位移处理，亦即将物体中间一半的部分进行对应的像素位移处理，超过距离物体中心线左右四分之一的边界的物体的像素则删除，因平移而新增的像素则使用内插法进行插补，如图3D所示，对左眼影像来说，区域309的像素是整个往右平移，但本发明不限于此。值得一提的是，本发明于左眼影像(或右眼影像)中针对于预定深度阶层范围中的物体所进行增加或删除的像素数目，不受图像的分辨率影响，前述的实施例是以具有640x480分辨率的图像为例，针对深度阶层介于+2至+4之间的物体进行处理，像素位移处理所增加/删减的像素数目为(DP-1)，其中DP为深度阶层，若以具有1920x1080分辨率的图像为例，则像素位移处理所增加/删减的像素数目亦为 (DP-1)。 

影像合并器233接收来自像素位移器232所产生的调整立体影像对，及其相应的深度阶层信息，于调整立体影像对中的左眼影像及右眼影像已在像素位移器232中进行对应的像素位移(像素增加/删除)处理，而影像合并器处理所接收的调整立体影像对，针对像素增加的部分，采用已知的内插法以进行插补处理。更进一步来说，在调整立体影像对中，原本需要进行像素插补之处是空白的，如图3B所示，区域308即为像素位移处理后所产生的空白处，影像合并器使用最邻近该空白处的左右像素进行内插法，以填补空白处，以获得最后的输出立体影像对。更进一步，影像合并器233所使用的内插法是选择一个最接近距离整数位置的像素填入，若空白处与多个邻近点距离相同，则可任意选择其一为其像素值，将非整数坐标四拾五入后取该点像素值，以改变距离的计算方式。 

图4是显示依据本发明一实施例的应用于立体影像系统200的立体影像产生方法的流程图。在步骤S400，深度检测器210接收二维影像及其相应的深度影像，并产生一深度阶层图，于一实施例中，深度影像是由深度摄影机所拍摄或是由具有三维数据的影像所得到，深度影像为一灰阶影像，例如用灰阶值0～255以代表不同的深度阶层。在步骤S410，立体影像产生器220依据二维影像及深度阶层图以产生相应于二维影像的一立体影像对，其中立体影像产生器220使用已知的DIBR算法对二维影像进行处理，以产生同时对应于左眼及右眼的影像对。在步骤S420，立体影像调整装置230依据深度阶层图，以产生一深度阶层范围图。在步骤S430，立体影像调整装置230依据立体影像对及深度阶层范围图，对立体影像对中位于多个深度阶层的多个对象进行像素位移处理及插补处理，以得到一输出立体影像对，其中立体影像调整装置230所执行的步骤S420及S430将于图5中详述。 

图5是显示依据本发明一实施例的应用于立体影像调整装置230的影像调整方法的流程图。在步骤S500，深度阶层区分器231接收来自深度检测器的深度阶层图，并依据一预定的深度范围(例如+2～+4)以过滤深度阶层图，以产生一深度阶层范围图。在步骤S510，像素位移器232接收来自深度阶层区分器231所产生的深度阶层范围图，以及由立体影像产生器220所产生的对应于深度阶层图的立体影像对，并依据式3及式4以分别对立体影像对中的多个对象进行一像素位移处理，以产生一调整立体影像对。在步骤S520， 影像合并器233接收由像素位移器232所产生的调整立体影像对，并使用内插法对调整立体影像对中的多个对象进行一插补处理，以填补因像素位移处理后的空白处的像素，以产生一输出立体影像对，并输出至对应的3D显示器(未绘示)进行显示。 

前述实施例中，本领域技术人员当了解如深度检测器210、立体影像产生器220及立体影像调整装置230是可由一处理器(未绘示)以程序码的型态执行，亦可由特定的硬件电路执行，并不局限于软件的型式。 

本发明的方法，或特定型态或其部分，可以以程序码的型态包含于实体媒体，如软盘、光盘片、硬盘、或是任何其它机器可读取(如计算机可读取)储存媒体，其中，当程序码被机器，如计算机加载且执行时，此机器变成用以参与本发明的装置或系统。本发明的方法、系统与装置也可以以程序码型态通过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序码被机器，如计算机接收、加载且执行时，此机器变成用以参与本发明的装置或系统。当在一般用途处理器实作时，程序码结合处理器提供一操作类似于应用特定逻辑电路的独特装置。 

惟以上所述者，仅为本发明的各项实施例而已，当不能以此限定本发明实施的范围，即大凡依本发明权利要求范围及发明说明内容所作的简单的等效变化与修饰，皆仍属本发明权利要求涵盖的范围内。另外本发明的任一实施例或权利要求范围不须达成本发明所揭露的全部目的或优点或特点。此外，摘要部分和标题仅是用以辅助专利文件搜寻之用，并非用以限制本发明的权利要求范围。 

Claims (24)

1.一种立体影像系统，包括：

一深度检测器，用以接收一二维影像及其相应的一深度影像，以产生一深度阶层图；

一立体影像产生器，用以依据该二维影像及该深度阶层图，以产生相应于该二维影像的一立体影像对；以及

一立体影像调整装置，用以依据该深度阶层图以产生一深度阶层范围图，并依据该立体影像对及该深度阶层范围图以分别对该立体影像对中位于多个深度阶层的多个对象进行一像素位移处理及一插补处理，以产生一输出立体影像对。

2.根据权利要求1所述的立体影像系统，其中该二维影像及该深度影像是由一深度照相机所产生。

3.根据权利要求1所述的立体影像系统，其中该深度影像为一灰阶影像，且该深度检测器并依据该灰阶影像以产生具有一预定深度阶层数的该深度阶层图。

4.根据权利要求3所述的立体影像系统，其中该立体影像调整装置还包括一深度阶层区分器，用以由该深度阶层图中选取具有一预定深度范围的该深度阶层范围图。

5.根据权利要求1所述的立体影像系统，其中该立体影像调整装置依据该深度阶层范围图，分别计算该立体影像对中的该多个对象的一物体中心线，并据以对该立体影像对进行该像素位移处理，以产生该输出立体影像对。

6.根据权利要求1所述的立体影像系统，其中该插补处理为一内插法，且该立体影像调整装置还将该输出影像对显示于一3D显示器。

7.一种立体影像产生方法，包括：

接收一二维影像及其相应的一深度影像，以据以产生一深度阶层图；

依据该二维影像及该深度阶层图，以产生相应于该二维影像的一立体影像对；

依据该深度阶层图，以产生一深度阶层范围图；以及

依据该立体影像对及该深度阶层范围图，以分别对该立体影像对中位于多个深度阶层的多个对象进行一像素位移处理及一插补处理，以产生一输出立体影像对。

8.根据权利要求7所述的立体影像产生方法，其中该二维影像及该深度影像是由一深度照相机所产生。

9.根据权利要求7所述的立体影像产生方法，其中该深度影像为一灰阶影像，且产生该深度阶层图的步骤还包括：依据该灰阶影像以产生具有一预定深度阶层数的该深度阶层图。

10.根据权利要求9所述的立体影像产生方法，其中产生该深度阶层范围图的步骤还包括：由该深度阶层图中选取具有一预定深度范围的该深度阶层范围图。

11.根据权利要求7所述的立体影像产生方法，其中产生一输出立体影像对的步骤还包括：依据该深度阶层范围图，计算该立体影像对中的该多个对象的一物体中心线，并据以对该立体影像对进行该像素位移处理，以产生该输出立体影像对。

12.根据权利要求7所述的立体影像产生方法，其中该插补处理为一内插法，且该立体影像产生方法还包括：将该输出立体影像对显示于一3D显示器。

13.一种立体影像调整装置，包括：

一深度阶层区分器，用以接收一深度阶层图，并据以产生一深度阶层范围图；

一像素位移器，用以接收该深度阶层范围图及其相应的一立体影像对，并依据该深度阶层范围图及该立体影像对，计算该立体影像对中的多个对象的一物体中心线，再依据该物体中心线对该多个对象进行对应的一像素位移处理，以产生一调整立体影像对；以及

一影像合并器，用以接收该调整立体影像对，并对该调整立体影像对中的该多个对象进行一插补处理，以产生一输出立体影像对。

14.根据权利要求13所述的立体影像调整装置，其中该深度阶层图为具有一预定深度阶层数的一灰阶影像，且该深度阶层区分器还由该深度阶层图中选取具有一预定深度范围的该深度阶层范围图。

15.根据权利要求14所述的立体影像调整装置，其中该立体影像对包括一左眼影像及一右眼影像，该像素位移处理是由该像素位移器依据该物体中心线，对该左眼影像中的该等物体位于该物体中心线左右各四分之一的部分进行右平移，并对该右眼影像中的该等物体位于该物体中心线左右各四分之一的部分进行左平移。

16.根据权利要求15所述的立体影像调整装置，其中该影像合并器使用一内插法对该左眼影像中的该等物体的左边四分之一部分进行该插补处理，并对该右眼影像中的该等物体的右边四分之一部分进行该插补处理。

17.根据权利要求13所述的立体影像调整装置，其中该立体影像对包括一左眼影像及一右眼影像，该像素位移处理是由该像素位移器依据该物体中心线，对该左眼影像中的该等物体位于该物体中心线左右各四分之一的部分进行右平移，并对该右眼影像中的该等物体位于该物体中心线左右各四分之一的部分进行左平移。

18.根据权利要求13所述的立体影像调整装置，其中该影像合并器使用一内插法对该左眼影像中的该等物体的左边四分之一部分进行该插补处理，并对该右眼影像中的该等物体的右边四分之一部分进行该插补处理。

19.一种立体影像调整方法，包括：

接收一深度阶层图，以据以产生一深度阶层范围图；

依据该深度阶层范围图其相应的一立体影像对，计算该立体影像对中的多个对象的一物体中心线，再依据该物体中心线对该多个对象进行对应的一像素位移处理，以产生一调整立体影像对；以及

对该调整立体影像对中的该多个对象进行一插补处理，以产生一输出立体影像对。

20.根据权利要求19所述的立体影像调整方法，其中该深度阶层图为具有一预定深度阶层数的一灰阶影像，且该立体影像调整方法还包括：依据该灰阶影像，由该深度阶层图中选取具有一预定深度范围的该深度阶层范围图。

21.根据权利要求20所述的立体影像调整方法，其中该立体影像对包括一左眼影像及一右眼影像，且该像素位移处理是依据该物体中心线，对该左眼影像中的该等物体位于该物体中心线左右各四分之一的部分进行右平移，并对该右眼影像中的该等物体位于该物体中心线的左右各四分之一的部分进行左平移。

22.根据权利要求21所述的立体影像调整方法，还包括：使用一内插法对该调整立体影像对中的该多个对象进行该插补处理。

23.根据权利要求19所述的立体影像调整方法，其中该立体影像对包括一左眼影像及一右眼影像，且该像素位移处理是依据该物体中心线，对该左眼影像中的该等物体位于该物体中心线左右各四分之一的部分进行右平移，并对该右眼影像中的该等物体位于该物体中心线的左右各四分之一的部分进行左平移。

24.根据权利要求19所述的立体影像调整方法，还包括：使用一内插法对该调整立体影像对中的该多个对象进行该插补处理。

Images