CN101908233A - 产生用于三维影像重建的复数视点图的方法及系统 - Google Patents

Abstract

本发明提供一种产生用于三维影像重建的复数视点图的方法及系统。上述方法包含取得二维原始人物或物品影像及复数视点的背景图；计算二维原始人物或物品影像的背景影像范围及主体影像范围；将主体影像加以切割出来；根据一方程式产生深度模型；根据经切割的二维人物或物品影像的主体影像范围切割深度模型；根据经切割的深度模型将二维原始人物或物品影像的主体影像的每一画素各别位移，以获得主体影像复数视点图；以及将主体影像复数视点图与复数视点的背景图合成，以获得最终的用于三维影像重建的复数视点图。

Description

产生用于三维影像重建的复数视点图的方法及系统

技术领域

本发明是有关于三维影像，特定而言是有关于一种产生用于三维影像重建的复数视点图的方法及系统。

背景技术

三维立体影像显示技术已成为目前影像显示技术领域中的趋势。一般而言，三维影像显示装置可初分为戴眼镜式(with glasses)及裸眼式(without glasses)。不管何种类型皆是让使用者的左眼仅观看到给左眼的影像而右眼仅观看到给右眼的影像。

戴眼镜式三维影像显示装置中，常见的方法包含利用偏光眼镜(polarization glasses)、红蓝(绿)眼镜(anaglyph)、快门眼镜(shutter glasses)、明暗眼镜(pulfrich effect)及头盔式显示器等方式来达成。而裸眼式三维影像显示装置中，常见的方法包含利用全像式(Holographic)、体积式(volumetric)、2-D多任务式(multiplexed 2-D)等方式来达成。2-D多任务式又可再分为空间多任务式(spatial-multiplexed)、时间多任务式(time-multiplexed)及观者追迹式(tracking-based)。

不需要配戴任何特殊器具即可观赏到立体影像的裸眼式三维影像显示装置以双眼视差的基础来设计则称为视差法裸眼式三维影像显示装置。此种三维影像显示装置是为于显示器(例如液晶显示器)的光源数组的前方设置视差屏障(parallax)或光栅等遮蔽物，而其中光源数组并依序传送左眼影像及右眼影像，使得透过视差屏障让使用者的左眼看到左眼影像而使用者的右眼看到右眼影像。另外不需配戴任何特殊器具即可观赏立体影像的技术亦包含集成摄影 (integral photography，以下简称为IP)立体显示技术。主要技术原理是透过蝇眼透镜(fly’s–eye lens)以记录全息彩色立体图像，其中蝇眼透镜即为类似蝇眼排列组合而成的微小凸透镜数组，也就是将一系列半球形小透镜排列在平面上，用来摄影或显示图像。

然而，不管使用何种类型的装置来呈现三维影像，其产生左右眼不同的讯息手段皆为雷同。一般而言必须在讯源本身就有分别给左右眼的不同影像，换言之在摄影时就必须采用两台摄影机来撷取左右眼图像。是故，传统技术上是采用有双镜头的立体相机来拍摄左右眼图像，接着将左右眼图像输出到三维显示装置上成像。但由于有双镜头的立体相机售价昂贵，故一般使用者并不易取得。使用者在无法获得三维影像内容的情况下，无法享受三维影像的乐趣，也就不会有购买三维显示装置的欲望。三维显示装置例如三维显示器在推广上也就因此出现障碍。是故，现今急需一能解决上述三维影像内容缺乏的问题的技术方案。

发明内容

为解决上述三维影像内容缺乏的问题，本发明是提供一种产生用于三维影像重建的复数视点图的方法及系统。

于一观点中，本发明是提供一种产生用于三维影像重建的复数视点图的方法，其包含取得二维原始人物或物品影像及复数视点的背景图，其中上述二维原始人物或物品影像包含主体影像及背景影像；由处理单元计算上述二维原始人物或物品影像的上述背景影像的范围及上述主体影像的范围；将上述二维原始人物或物品影像的上述主体影像加以切割出来，以产生经切割的二维人物或物品影像；根据一方程式产生深度模型；根据上述经切割的二维人物或物品影像的主体影像范围切割上述深度模型，以产生具有主体影像轮廓的深度模型；根据上述具有主体影像轮廓的深度模型将上述二维原始人物或物品影像的上述主体影像的每一画素各别加以位移，以获得主体影像复数视点图；以及将上述主体影像复数视点图与复数视点的背景图加以合成，以获得最终的用于三维影像重建的复数视点图。

于另一观点中，本发明是提供一种产生用于三维影像重建的复数视点图的系统，其包含处理单元；影像范围计算模块，其耦合至上述处理单元，用以计算二维原始人物或物品影像的背景影像的范围及主体影像的范围；深度模型产生模块，其耦合至上述处理单元，用以根据一方程式产生深度模型；影像切割模块，其耦合至上述处理单元，用以切割上述二维原始人物或物品影像或上述深度模型，以产生经切割的二维人物或物品影像或具有主体影像轮廓的深度模型；画素位移模块，其耦合至上述处理单元，用以根据上述具有主体影像轮廓的深度模型将上述二维原始人物或物品影像的上述主体影像的每一画素加以位移，以获得主体影像复数视点图；以及影像合成模块，其耦合至上述处理单元，用以将上述主体影像复数视点图与复数视点的背景图加以合成，以获得最终的用于三维影像重建的复数视点图。

本发明的一优点是本发明可无需利用昂贵的三维相机，仅利用二维相机搭配本系统、方法即可制作用于三维影像重建的复数视点图例如左右眼图或多视点图。

本发明的另一优点是本发明可使三维影像内容更易于获得，提升三维显示装置的接受度及促进三维显示装置的发展。

本发明的又另一优点是本发明所提供的产生用于三维影像重建的复数视点图的方法及系统所制作的复数视点图之后交由三维显示装置成像时，背景与主体皆有景深，不会有剪接作假的感觉。

此些优点及其它优点从以下较佳实施例的叙述并伴随后附图式及申请专利范围将使读者得以清楚了解本发明。

附图说明

 本发明可藉由说明书中的若干较佳实施例及详细叙述与后附图式而得以了解。图式中相同的组件符号是指本发明中的同一组件。然而，应理解者为，本发明的所有较佳实施例是仅用以说明而非用以限制申请专利范围，其中：

图1是根据本发明的一实施例显示本发明的产生用于三维影像重建的复数视点图的方法的步骤流程图。

图2是根据本发明的一实施例显示本发明的产生用于三维影像重建的复数视点图的方法的步骤流程图。

图3是根据本发明的一实施例显示本发明的产生用于三维影像重建的复数视点图的方法的步骤流程图。

图4是根据本发明的另一实施例显示本发明的产生用于三维影像重建的复数视点图的方法的步骤流程图。

图5是根据本发明的另一实施例显示本发明的产生用于三维影像重建的复数视点图的方法的步骤流程图。

图6是根据本发明的另一实施例显示本发明的产生用于三维影像重建的复数视点图的方法的步骤流程图。

图7是根据本发明的一实施例显示深度模型及其亮度与水平位置关系的示意图。

图8是根据本发明的另一实施例显示深度模型及其亮度与水平位置关系的示意图。

图9是根据本发明的另一实施例显示本发明的产生用于三维影像重建的复数视点图的系统的方块图。

第图10是根据本发明的一实施例显示与本发明的方法及系统相配合的计算机的范例的方块图。

【主要组件符号说明】

101 步骤

102 步骤

103 步骤

104 步骤

105 步骤

106 步骤

107 步骤

201 步骤

202 步骤

203 步骤

204 步骤

205 步骤

206 步骤

207 步骤

301 处理单元

302 影像范围计算模块

303 深度模型产生模块

304 影像切割模块

305 画素位移模块

306 影像合成模块

307 位移量计算模块

401 处理单元

402 内存

403 显示器

404 输入装置

405 网络接口

406 储存装置

407 数据传输接口

1011 步骤

1061 步骤

1062 步骤

2011 步骤

2061 步骤

2062 步骤。

具体实施方式

本发明将以较佳实施例及观点加以叙述，此类叙述是解释本发明的结构及程序，仅用以说明而非用以限制本发明的申请专利范围。因此，除说明书中的较佳实施例以外，本发明亦可广泛实行于其它实施例中。

本发明是提供一种产生用于三维影像重建的复数视点图例如左右眼图或多视点(multi-view)图的方法、系统及计算机可读媒体。所谓多视点图是指二个以上的不同视点的图像。本发明的产生用于三维影像重建的复数视点图的方法主要是利用背景影像侦测技术搭配深度模型、深度图像绘图法(DIBR, depth image based rendering)算法及影像合成技术，实现利用传统二维相机即可制作三维影像重建用的复数视点图例如左右眼图或多视点图，进而利用各种不同的三维显示装置呈现成三维影像。

如图1所示，于本发明的一实施例中，本发明的产生用于三维影像重建的左右眼图的方法包含于步骤101取得一具有纯色背景的二维原始人物或物品影像及左眼背景图及右眼背景图，并将上述二维原始人物或物品影像储存于一储存装置。于本发明的一实施例中，上述纯色背景可为蓝色背景、绿色背景或任何不与上述人物或物品的颜色相似的色彩的背景。上述蓝色背景包含深蓝色背景。于本发明的一实施例中，如图2所示，步骤101包含步骤1011，以二维相机拍摄在纯色布幕前方的人物或物品。上述纯色布幕包含蓝色布幕、绿色布幕或任何不与上述人物或物品的颜色相似的色彩的布幕。之后，如第一图所示，于步骤102，由一处理单元计算上述二维原始人物或物品影像的背景影像的范围及主体影像的范围。主体影像为上述人物或物品的影像，而背景影像则为纯色背景的影像。于本发明的一实施例中，上述二维原始人物或物品影像的每一画素的各颜色数值例如红色(R)数值、绿色(G)数值及蓝色(B)数值是经过上述处理单元计算，若上述二维原始人物或物品影像的某一画素的蓝色(B)数值减去绿色(G)数值大于20且绿色(G)数值大于红色(R)数值，则将该画素认定为背景影像的范围。若否，则将该画素认定为主体影像的范围。

接续，如图1所示，于步骤103，将上述二维原始人物或物品影像的主体影像加以切割出来，以产生经切割的二维人物或物品影像。之后，如第一图所示，于步骤104，根据一方程式产生一深度模型。上述深度模型的中央相较于两侧为亮。正中央亮度为255，最旁边的两侧的亮度为0，而介于正中央及最旁边的两侧之间则是以渐进方式递增或递减。于一实施例中，上述方程式包含线性方程式，如图7所示。于另一实施例中，上述方程式包含非线性方程式，例如Gamma曲线，如图8所示。于再另一实施例中，上述方程式包含多项式方程式。于又另一实施例中，上述方程式是如下述公式：左半边的亮度=(水平位置/(宽度/2))^0.45×255，右半边的亮度=((宽度-水平位置)/(宽度/2))^0.45×255。接着，如图1所示，于步骤105，根据上述经切割的二维人物或物品影像的主体影像范围切割上述深度模型，以产生一具主体影像轮廓的深度模型。

之后，如图1所示，于步骤106，根据上述具主体影像轮廓的深度模型，利用深度图像绘图法(DIBR)算法将二维原始人物或物品影像的主体影像的每一画素各别加以位移，以获得主体影像的左眼图及主体影像的右眼图。如图3所示，步骤106包含步骤1061及步骤1062。于一实施例中，于步骤1061，二维原始人物或物品影像的主体影像的每一画素是根据上述具主体影像轮廓的深度模型的灰阶值加以往左位移，以获得主体影像的右眼图。于另一实施例中，于步骤1062，二维原始人物或物品影像的主体影像的每一画素是根据上述具主体影像轮廓的深度模型的灰阶值加以往右位移，以获得主体影像的左眼图。若具主体影像轮廓的深度模型的某一画素的灰阶值越大，则与该画素位置相对应的二维原始人物或物品影像的对应画素的位移量就会越大。由于深度模型的中央灰阶值最大，两侧灰阶值最小，故越靠近主体影像的中央的部份位移程度越大，越靠近主体影像的两侧的部份位移程度越小。接续，如图1所示，于步骤107，将主体影像的左眼图及主体影像的右眼图与左眼背景图及右眼背景图加以合成，以获得最终的用于三维影像重建的左眼图及右眼图。于本发明的一实施例中，上述左眼背景图及右眼背景图可从网络下载而得，或是利用二维相机从二个不同视角拍摄一所欲背景例如风景而得。上述最终得到的用于三维影像重建的左眼图及右眼图可输出至各式三维显示装置，例如戴眼镜式三维显示装置、裸眼式三维显示装置或多视点三维显示装置，以利用各式不同的影像重建方法将上述最终的左眼图及右眼图成像为三维影像。

如图4及图5所示，于本发明的另一实施例中，本发明的产生用于三维影像重建的多视点图的方法所包含的步骤201至步骤205及步骤2011是与前一实施例的步骤101至步骤105及步骤1011相同，故不重复叙述。而如图4所示，于步骤206，根据上述具主体影像轮廓的深度模型，利用深度图像绘图法(DIBR)算法将二维原始人物或物品影像的主体影像的每一画素依据复数个彼此之间呈等差关系增加的位移量各别加以位移，以获得主体影像的复数个不同视点的图像。如图6所示，步骤206包含步骤2061及步骤2062。于一实施例中，于步骤2061，根据上述具主体影像轮廓的深度模型的灰阶值决定二维原始人物或物品影像的主体影像的每一画素的最大位移量及最小位移量。之后，于步骤2062，以等差级数计算出每一画素的最大位移量与最小位移量之间复数个彼此之间呈等差关系增加的中间位移量。接续，如图4所示，于步骤207，将主体影像的复数个不同视点的图像与复数个不同视点的背景图加以合成，以获得最终的用于三维影像重建的复数个不同视点的图像。于本发明的一实施例中，上述复数个不同视点的背景图可从网络下载而得，或是利用二维相机从复数个不同视角拍摄一所欲背景例如风景而得。上述最终得到的用于三维影像重建的复数个不同视点的图像可输出至各式三维显示装置，例如戴眼镜式三维显示装置、裸眼式三维显示装置或多视点三维显示装置，以利用各式不同的影像重建方法将上述最终的复数个不同视点的图像成像为三维影像。

如图9所示，于本发明的又另一实施例中，本发明是提供一种产生用于三维影像重建的复数视点图的系统。本系统包含处理单元301、影像范围计算模块302、深度模型产生模块303、影像切割模块304、画素位移模块305及影像合成模块306。影像范围计算模块302、深度模型产生模块303、影像切割模块304、画素位移模块305及影像合成模块306是各别耦合至处理单元301。于一实施例中，本系统更包含位移量计算模块307，其亦耦合至处理单元301。影像范围计算模块302是用以计算一二维原始人物或物品影像的背景影像范围及主体影像范围。深度模型产生模块303是用以根据一方程式产生深度模型。上述方程式包含线性方程式及非线性方程式。上述非线性方程式包含Gamma曲线。于一实施例中，上述方程式包含多项式方程式。影像切割模块304是用以切割上述二维原始人物或物品影像或上述深度模型，以产生一经切割的二维人物或物品影像或一具有主体影像轮廓的深度模型。画素位移模块305是用以根据上述具有主体影像轮廓的深度模型的灰阶值将上述二维原始人物或物品影像的主体影像的每一画素加以位移，以获得主体影像的二个视点以上(或复数视点)的经位移图像。影像合成模块306是用以将上述主体影像的二个视点以上(或复数视点)的经位移图像与二个视点以上(或复数视点)的背景图加以合成，以获得最终的用于三维影像重建的二个视点以上(或复数视点)的图像。位移量计算模块307是用以根据上述具有主体影像轮廓的深度模型的灰阶值计算二组以上(或复数组)彼此之间呈等差关系的位移量，以供画素位移模块306位移二维原始人物或物品影像的每一画素之用。

上述本发明的产生用于三维影像重建的复数视点图的方法及系统可配合下述计算机实施，下述计算机是用以说明而非用以限制本发明。如图10所示，计算机包含处理单元401、内存402、显示器403、输入装置404、网络接口405、储存装置406及数据传输接口407。内存402、显示器403、输入装置404、网络接口405、储存装置406及数据传输接口407是各别耦合至处理单元401。输入装置404包含键盘、迷你键盘或鼠标。储存装置406包含硬盘机或软盘机。网络接口405包含有线网络或无线网络。数据传输接口407包含有线数据传输接口及无线数据传输接口。有线数据传输接口包含通用序列总线(USB, universal serial bus)及IEEE1394。无线数据传输接口包含蓝牙(BLUETOOTH)及红外线。

除以上实施例以外，本发明亦可以其它替代形式加以实施。于一替代实施例中，本发明是提供一计算机可读媒体，其储存有计算机程序指令，当由计算机执行前述计算机程序指令时会使上述计算机实施先前所述的任何方法。应了解者为，上述计算机可读媒体可为软盘、硬盘或任何其它用于长期储存计算机可执行指令的媒体。

是故，本发明所提供的一种产生用于三维影像重建的复数视点图的方法、系统及计算机可读媒体，可无需利用昂贵的三维相机，仅利用二维相机搭配本系统及方法即可制作用于三维影像重建的复数视点图例如左右眼图或多视点图，使三维影像内容更易于获得，提升三维显示装置的接受度及促进三维显示装置的发展。且采用本发明所提供的产生用于三维影像重建的复数视点图的方法及系统所制作的复数视点图的后交由三维显示装置成像时，背景与主体皆有景深，不会有剪接作假的感觉。

上述叙述是为本发明的较佳实施例。此领域的技艺者应得以领会其是用以说明本发明而非用以限定本发明所主张的专利权利范围。其专利保护范围当视后附的申请专利范围及其等同领域而定。凡熟悉此领域的技艺者，在不脱离本专利精神或范围内，所作的更动或润饰，均属于本发明所揭示精神下所完成的等效改变或设计，且应包含在下述的申请专利范围内。

Claims (10)

1.一种产生用于三维影像重建的复数视点图的方法，其特征在于，包含：

取得一二维原始人物或物品影像及复数视点的背景图，其中该二维原始人物或物品影像包含一主体影像及一背景影像；

由一处理单元计算该二维原始人物或物品影像的该背景影像的范围及该主体影像的范围；

将该二维原始人物或物品影像的该主体影像加以切割出来，以产生一经切割的二维人物或物品影像；

根据一方程式产生一深度模型；

根据该经切割的二维人物或物品影像的主体影像范围切割该深度模型，以产生一具有主体影像轮廓的深度模型；

根据该具有主体影像轮廓的深度模型将该二维原始人物或物品影像的该主体影像的每一画素各别加以位移，以获得主体影像复数视点图；以及

将该主体影像复数视点图与该复数视点的背景图加以合成，以获得最终的用于三维影像重建的复数视点图。

2.根据权利要求1所述的产生用于三维影像重建的复数视点图的方法，其特征在于：其中取得该二维原始人物或物品影像的步骤包含以一二维相机拍摄在纯色布幕前方的人物或物品。

3.根据权利要求1所述的产生用于三维影像重建的复数视点图的方法，其特征在于：其中该二维原始人物或物品影像的该主体影像的该每一画素是依据复数个彼此之间呈等差关系增加的位移量各别加以位移。

4.根据权利要求1所述的产生用于三维影像重建的复数视点图的方法，其特征在于：其中根据该具有主体影像轮廓的深度模型将该二维原始人物或物品影像的该主体影像的每一画素各别加以位移的步骤包含：

根据该具有主体影像轮廓的深度模型的灰阶值决定该二维原始人物或物品影像的该主体影像的该每一画素的最大位移量及最小位移量；以及

以等差级数计算出该每一画素的该最大位移量及该最小位移量之间复数个彼此之间呈等差关系增加的中间位移量。

5.根据权利要求1所述的产生用于三维影像重建的复数视点图的方法，其特征在于：其中该方程式包含线性方程式或非线性方程式。

6.根据权利要求5所述的产生用于三维影像重建的复数视点图的方法，其特征在于：其中该非线性方程式包含Gamma曲线。

7.根据权利要求1所述的产生用于三维影像重建的复数视点图的方法，其特征在于：其中该方程式包含多项式方程式。

8.一种产生用于三维影像重建的复数视点图的系统，其特征在于，包含：

一处理单元；

一影像范围计算模块，其耦合至该处理单元，用以计算一二维原始人物或物品影像的背景影像的范围及主体影像的范围；

一深度模型产生模块，其耦合至该处理单元，用以根据一方程式产生一深度模型；

一影像切割模块，其耦合至该处理单元，用以切割该二维原始人物或物品影像或该深度模型，以产生一经切割的二维人物或物品影像或一具有主体影像轮廓的深度模型；

一画素位移模块，其耦合至该处理单元，用以根据该具有主体影像轮廓的深度模型将该二维原始人物或物品影像的该主体影像的每一画素加以位移，以获得主体影像复数视点图；以及

一影像合成模块，其耦合至该处理单元，用以将该主体影像复数视点图与复数视点的背景图加以合成，以获得最终的用于三维影像重建的复数视点图。

9.根据权利要求8所述的产生用于三维影像重建的复数视点图的系统，其特征在于：更包含一位移量计算模块，其耦合至该处理单元，用以根据该具有主体影像轮廓的深度模型的灰阶值计算二组以上彼此之间呈等差关系的位移量，以供该画素位移模块位移该二维原始人物或物品影像的该每一画素之用。

10.根据权利要求8所述的产生用于三维影像重建的复数视点图的系统，其特征在于：其中该方程式包含线性方程式或非线性方程式。

Images