CN102333229A

CN102333229A - 将二维影像转换为三维影像的方法及其装置

Info

Publication number: CN102333229A
Application number: CN2011101668401A
Authority: CN
Inventors: 徐范硕; 许永秀
Original assignee: ILST CO Ltd
Current assignee: ILST CO Ltd
Priority date: 2010-06-21
Filing date: 2011-06-21
Publication date: 2012-01-25
Also published as: KR20110138733A; JP2012019513A; KR101198320B1; US20120087570A1; EP2398247A3; EP2398247A2; TW201208349A

Abstract

本发明公开一种将二维影像转换为三维影像的方法及其装置，此种转换方法包括以下步骤：将一具有多个画素值的输入影像转换为具有多个亮度值的亮度影像；根据亮度影像，产生一具有深度资讯的深度映像；以及利用产生的深度映像在输入影像上执行一第一视差处理程序，以产生左眼影像、右眼影像与再生影像的至少其一。当执行视差处理程序时，此种转换方法是通过计算具有N个画素的深度资讯，其中N大于或等于2，且N包含当下正在处理的画素个数，即可利用当下正在处理的画素的画素值来取代延迟画素的画素值。并且，根据该具有N个画素的深度资讯以决定出该延迟画素。于此，延迟画素是定义为配置于当下正在处理的画素前的M个画素，且M为大于零的整数。

Description

将二维影像转换为三维影像的方法及其装置

技术领域

本发明是有关于一种影像转换的技术，特别是一种可将二维影像转换为三维影像的方法及其装置。

背景技术

近年来，利用三维(three-dimensional，3D)影像制作而成的立体电影，例如：阿凡达，正广泛且蓬勃地发展着。因此，各式各样研究三维影像与三维电影的技术也因此受到注目。除此之外，全球性的大厂商也日渐着手于制造及贩售适于播放三维影像的显示装置，例如：3D电视、3D显示器等，并且同时发展各项用以提升三维影像音讯品质的技术。

然而，众所皆知的是，由于三维影像的制作需要花费大量的时间与成本，因此现今的市场上，仅有极少数的三维影像技术被研究着。鉴于以上的问题，熟习此项技术领域者若能提供一种可直接利用二维影像转换为三维影像的技术，则可有效地节省掉三维影像现有的制作时间与制作成本。

因此，对熟习此项技术领域的工程开发人员而言，要能有效将二维影像转换为三维影像，并且同时大幅提高三维影像的影像品质为当前亟需解决的挑战之一。

发明内容

为解决现有技术存在的问题，本发明的主要目的是在于通过一视差处理规则，以将一二维影像转换为一三维影像。

本发明的又一目的是在于通过一次以上的视差处理程序，以将二维输入影像转换为三维输出影像。

为达上述的目的，本发明提出一种将二维影像转换为三维影像的方法，其包括以下步骤：将一具有多个画素值的输入影像转换为具有多个亮度值的亮度影像；根据亮度影像，产生一具有深度资讯的深度映像；以及利用产生的深度映像在输入影像上执行一第一视差处理程序，以产生左眼影像、右眼影像与再生影像的至少其中之一。

为达上述的目的，本发明另提出一种将二维影像转换为三维影像的装置，包括：一亮度转换区域，用以将一具有多个画素值的输入影像转换为具有多个亮度值的亮度影像；一深度映像区域，是根据亮度影像，产生一具有深度资讯的深度映像；以及一再生影像区域，是利用产生的该深度映像在输入影像上执行一第一视差处理程序，以产生左眼影像、右眼影像与再生影像的至少其中之一。

底下通过具体实施例配合所附的图式详加说明，当更容易了解本发明的目的、技术内容、特点及其所达成的功效。

附图说明

图1为根据本发明第一实施例将二维影像转换为三维影像的方法的步骤流程图；

图2为根据图1所示的步骤流程图，其中用以取得取样影像时的示意图；

图3为根据本发明的实施例，其中用以分割一物件时的示意图；

图4为根据本发明第二实施例将二维影像转换为三维影像的方法的步骤流程图；

图5为根据本发明实施例，用以分离影像边界的示意图；

图6为根据本发明实施例，用以柔化物件与移除干扰的遮罩的示意图；

图7为根据本发明实施例在柔化物件与移除干扰后的实验数据结果示意图；

图8为根据本发明实施例将二维影像转换为三维影像的装置的方块示意图。

附图标记说明：200-亮度影像；202-取样影像；300-上区域；500-画素；502-画素；504-画素；506-画素；600-遮罩；800-转换装置；810-控制器；812-储存区域；814-亮度转换区域；816-深度映像区域；818-再生影像区域；820-取样区；822-亮度计算区；824-深度映像产生区。

具体实施方式

以上有关于本发明的内容说明，与以下的实施方式是用以示范与解释本发明的精神与原理，并且提供本发明的专利申请范围更进一步的解释。有关本发明的特征、实作与功效，兹配合图式作较佳实施例详细说明如下。

本发明所揭示将二维影像转换为三维影像的方法及其装置，主要是利用一种视差处理规则(parallax-processing rule)。更进一步来说，本发明所揭示的转换方法及其转换装置更可通过在一二维的输入影像上进行多次视差处理程序，以将该二维输入影像转换为三维影像。

一方面而言，本发明揭示的将二维影像转换为三维影像的方法包括以下步骤：将一具有多个画素值的输入影像转换为具有多个亮度值的亮度影像；根据亮度影像，产生一具有深度资讯的深度映像(depth map)；以及利用产生的该深度映像在输入影像上执行一第一视差处理程序，以产生至少一左眼影像、一右眼影像与一再生影像。

在本实施例中，当执行第一视差处理程序时，本发明通过计算具有N个画素的深度资讯(depth information)，其中N大于或等于2，且N包含当下正在处理的画素个数，当下正在处理的画素的画素值即可用来取代一延迟画素(delay pixel)的画素值。并且，本发明是根据该具有N个画素的深度资讯来决定出该延迟画素。于此，本发明定义延迟画素为：配置于当下正在处理的画素前的M个画素，其中M为大于零的整数。

根据本发明的实施例，右眼影像唯有在第一画素上执行正视差的时候，方会在影像背景部分往右延迟；相对地，左眼影像唯有在第二画素上执行负视差的时候，方会在影像物件部分往左延迟。

除此之外，本发明在利用深度映像于输入影像上执行第一视差处理程序之后，更包括：利用一第二视差处理程序，以产生左眼影像或右眼影像。

在本实施例中，当执行第二视差处理程序时，本发明通过计算具有N个画素的深度资讯(depth information)，其中N包含当下正在处理的画素个数，当下正在处理的画素的画素值即可用来取代一延迟画素(delay pixel)的画素值。并且，第二视差处理程序中的延迟画素是与该具有N个画素的深度资讯一起被决定。并且，第二视差处理程序中的延迟画素的画素值是大于第一视差处理程序中的延迟画素的画素值。

参考同一深度资讯，在左眼影像上执行第一视差处理程序而取得的延迟画素，是不同于在右眼影像上执行第二视差处理程序而取得的延迟画素。

根据本发明的实施例，深度资讯可以是0或者1，且输入影像会根据包含有四个不同画素的深度资讯而执行上述的视差处理程序。

其中，转换输入影像的步骤包括有：将输入影像中的画素值转换为亮度值。

产生深度映像的步骤包括有：利用一常数间隔(constant interva l)在亮度影像中进行取样，以获取一取样影像；计算取样影像的总平均亮度μ_TOTAL；将取样影像分割为一上区域与一下区域，并计算上区域的平均亮度μ_PART；以及根据总平均亮度μ_TOTAL与上区域的平均亮度μ_PART，产生输入影像的深度映像。

根据本实施例，当总平均亮度μ_TOTAL大于上区域的平均亮度μ_PART时，为避免画素亮度S_Y(i，j)大于总平均亮度μ_TOTAL，深度资讯是定为0；为避免画素亮度S_Y(i，j)小于总平均亮度μ_TOTAL，深度资讯是定为1。

当总平均亮度μ_TOTAL小于上区域的平均亮度μ_PART时，为避免画素亮度S_Y(i，j)小于总平均亮度μ_TOTAL，深度资讯是定为0；为避免画素亮度S_Y(i，j)大于总平均亮度μ_TOTAL，深度资讯是定为1。

其中，为了避免一特定画素与下一画素之间的亮度值差异超过一预定范围，产生深度映像的步骤更包括有：将该特定画素后的D个画素的深度资讯皆设为0或1，且D为正整数。

产生深度资讯的步骤包括：将深度映像中为0或者1的深度资讯切分为0、1、2及3；使用一遮罩柔化该多个为0、1、2、3的深度资讯；以及将画素中具有0至1.5间的深度映资讯重设为0，并将画素中具有1.5至3间的深度资讯重设为1。

仅有当深度资讯中所包含的1是依据上述方式排列时，输入影像的标题的深度资讯才会被重设至1。

另一方面而言，本发明揭示的将二维影像转换为三维影像的方法包括以下步骤：利用二维输入影像中各画素的亮度值，产生一具有0或1的深度资讯的深度映像；以及利用产生的该深度映像在输入影像上执行视差处理程序，以产生一左眼影像或一右眼影像。

在本实施例中，当执行视差处理程序时，本发明通过计算具有N个画素的深度资讯(depth information)，其中N大于或等于2，且N包含当下正在处理的画素个数，当下正在处理的画素的画素值即可用来取代一延迟画素(delaypixel)的画素值。并且，本发明是根据该具有N个画素的深度资讯来决定出该延迟画素。于此，本发明定义延迟画素为：配置于当下正在处理的画素前的M个画素，其中M是为大于零的整数。

参考同一深度资讯，在左眼影像上执行第一视差处理程序而取得的延迟画素，是不同于在右眼影像上执行第二视差处理而取得的延迟画素。并且，输入影像是根据具有N个画素的深度资讯而执行上述的视差处理程序。

其中，产生深度映像的步骤包括有：将输入影像中的画素值转换为亮度值；利用一常数间隔在亮度影像中进行取样，以获取一取样影像；计算取样影像的总平均亮度μ_TOTAL；将取样影像分割为一上区域与一下区域，并计算上区域的平均亮度μ_PART；以及根据总平均亮度μ_TOTAL与上区域的平均亮度μ_PART，产生输入影像的深度资讯。

其中，为了避免一特定画素与下一画素之间的亮度值差异超过一预定范围，产生深度映像的步骤更包括有：将该特定画素后的D个画素的深度资讯皆设为0或1，其中D为正整数；将为0或1的深度资讯切分为0、1、2及3；使用一遮罩柔化该多个为0、1、2、3的深度资讯；以及将画素中具有0至1.5间的深度资讯重设为0，并将画素中具有1.5至3间的深度资讯重设为1。

又一方面而言，本发明揭示的将二维影像转换为三维影像的装置包括：一亮度转换区域，用以将一具有多个画素值的输入影像转换为具有多个亮度值的亮度影像；一深度映像(depth map)区域，是根据亮度影像，产生一具有深度资讯的深度映像；以及一再生影像区域，是利用产生的该深度映像在输入影像上执行一第一视差处理程序，以产生至少一左眼影像、一右眼影像与一再生影像。

在本实施例中，当在右眼影像上执行视差处理程序时，再生影像区域通过在第一画素上执行正视差，以将第一画素往右延迟。当在左眼影像上执行视差处理程序时，再生影像区域通过在第二画素上执行负视差，以将第二画素往左延迟。

并且，通过计算具有N个画素的深度资讯(depthi nformation)，其中N大于或等于2，且N包含当下正在处理的画素个数，再生影像区域可利用当下正在处理的画素的画素值来替换延迟画素(delay pixel)的画素值。本发明更根据该具有N个画素的深度资讯来决定出该延迟画素。于此，本发明定义延迟画素为：配置于当下正在处理的画素前的M个画素，其中M为大于零的整数。

亮度转换区域是将输入影像中的多个画素值转换为亮度值。

深度映像区域包括：一取样区，是利用一常数间隔在亮度影像中进行取样，以获取一取样影像；一亮度计算区，用以计算取样影像的总平均亮度μ_TOTAL、分割取样影像为一上区域与一下区域，并计算上区域的平均亮度μ_PART；以及一深度映像产生区，是根据总平均亮度μ_TOTAL与上区域的平均亮度μ_PART，产生输入影像的深度资讯。

其中，为了避免一特定画素与下一画素之间的亮度值差异超过一预定范围，深度映像产生区是将该特定画素后的D个画素的深度资讯皆设为0或1，且D为正整数。

根据本发明的实施例，深度映像产生区将为0或1的深度资讯切分为0、1、2及3，并且使用一遮罩柔化该多个为0、1、2、3的深度资讯。之后，再将画素中具有0至1.5间的深度资讯重设为0，将画素中具有1.5至3间的深度资讯重设为1。

仅有当深度资讯中所包含的1是依据上述方式排列时，深度映像产生区才会将对应输入影像的标题的深度资讯重设至1。

本发明揭示的将二维影像转换为三维影像的方法，主要是将二维(two-dimensional，2D)影像，例如：RGB影像，转换为三维(three-dimensional，3D)影像，并且根据二维影像产生一再生影像。

请参阅图1与图2，其中图1是根据本发明第一实施例将二维影像转换为三维影像的方法的步骤流程图，图2是根据图1所示的步骤流程图，其中用以取得取样影像时的示意图。

如图1所示，在步骤S100中，本发明首先将一二维输入影像中各画素(pixel)的画素值(pixel value)转换为亮度值(brightness value)。

一般而言，各种坐标系统，例如：CMY坐标系统、RGB坐标系统、HIS坐标系统、YUV坐标系统等，皆可被使用作为颜色坐标系统。以下为便于解释本发明的技术思想，是以RGB坐标系统或YUV坐标系统作为本发明的颜色坐标系统，但并非用以限定本发明的发明范畴。熟习此项技术领域者当可根据本发明所揭示的技术特征，自行应用于其他的颜色坐标系统上，皆隶属于本发明的发明范围。

根据本发明的实施例，将输入影像中各画素的画素值转换为亮度值的步骤，是根据下面的公式(1)来转换，

公式(1)：

s_{Y} (i, j) = Σ_{k_{1} = 1}^{I} Σ_{k_{2} = 1}^{J} ([\begin{matrix} 0.299 & 0.587 & 0.114 \end{matrix}] \cdot [\begin{matrix} s_{R} (k_{1}, k_{2}) δ (i - k_{1}, j - k_{2}) \\ s_{G} (k_{1}, k_{2}) δ (i - k_{1}, j - k_{2}) \\ s_{B} (k_{1}, k_{2}) δ (i - k_{1}, j - k_{2}) \end{matrix}])

其中，S_Y(i，j)为转换后的亮度值，S_R(i，j)、S_G(i，j)与S_B(i，j)是分别为输入影像中各自代表R、G、B元素的亮度值；δ(i，j)则为每单位取样的一脉冲讯号(impulse signal)。

如公式(1)所示，则输入影像中各画素的画素值皆会被转换为亮度值。因此，如图2所示，输入影像是被转换为一具有多个亮度值的亮度影像200。

在步骤S102中，如图2所示，为了降低硬件庞大的复杂运算量，本发明是通过在亮度影像200中进行取样画素的步骤，以获得一取样影像202。因此，取样影像202中同样地会包括一些具有亮度值的画素。

根据本发明的实施例，本发明是利用一常数间隔在亮度影像200中进行取样，以使得取样影像202可同样保有取样前的原亮度影像200的特性。由此，取样影像202的亮度分布特性即可与亮度影像200的亮度分布特性维持一致。换句话说，取样影像202的统计亮度标准差亦会与亮度影像200的统计亮度标准差相同。

值得注意的是，根据本发明的实施例，在此取样步骤中所取样的画素个数与常数间隔并非用以限制本发明，使用者可自行决定的。

接着，在步骤S104中，本发明是根据取样影像202产生输入影像的一深度映像。

在步骤S106中，本发明是通过在步骤S104中产生的深度映像，在输入影像上执行一视差处理程序，以获得一再生影像。其中，关于步骤S104与步骤S106的说明，兹配合图式详细说明如下。

首先，本发明针对步骤S104进行说明。

图3是根据本发明的实施例，其中用以分割一物件时的示意图。其中，为了避免物件的垂直维度(vertical dimension)过高，本发明可假设物件是置于一相对远的距离外。为了避免物件的垂直维度过低，本发明亦可假设物件是置于一相对近的距离内。

如图3所示，本发明是将图2中的取样影像202分割为一上区域300与一下区域。接着，本发明开始计算取样影像202的总平均亮度μ_TOTAL以及上区域300的平均亮度μ_PART。

另一方面，当输入影像200中画素的亮度值S_Y落在总平均亮度μ_TOTAL与平均亮度μ_PART的边界上时，深度映像的深度资讯可能会因此而产生急遽的变化，进而引起影像的亮度闪烁(flickering)；为了避免此一问题的发生，本发明是根据下面的公式(2)与公式(3)以重设亮度值，即针对亮度层级进行量子化(quantization)的动作。在本实施例中，亮度值是设定为具有256种层级(level)。

公式(2)：当S_Y≥224，令S_Y＝224；当192≤S_Y＜224，令S_Y＝192；当160≤S_Y＜192令S_Y＝160；当128≤S_Y＜160，令S_Y＝128；当96≤S_Y＜128，令S_Y＝96；当64≤S_Y＜96，令S_Y＝64；当32≤S_Y＜64，令S_Y＝32；以及当S_Y＜32，令S_Y＝16。

公式(3)：当μ_TOTAL≥224，令μ_TOTAL＝224；当192≤μ_TOTAL＜224，令μ_TOTAL＝192；当160≤μ_TOTAL＜192，令μ_TOTAL＝160；当128≤μ_TOTAL＜160令，μ_TOTAL＝128；当96≤μ_TOTAL＜128，令μ_TOTAL＝96；当64≤μ_TOTAL＜96，令μ_TOTAL＝64；当32≤μ_TOTAL＜64，令μ_TOTAL＝32；以及当μ_TOTAL＜32，令μ_TOTAL＝16。

而后，本发明续根据量子化后的总平均亮度μ_TOTAL与上区域300的平均亮度μ_PART产生具有深度资讯的深度映像。

根据本发明的实施例，本发明是将对应物件部分(object)的画素的深度资讯设为0；而将对应背景部分(background)的画素的深度资讯设为1。

详细而言，当总平均亮度μ_TOTAL大于上区域300的平均亮度μ_PART时(即μ_TOTAL≥μ_PART)，本发明是将画素的深度资讯设为0，以避免画素的亮度值S_Y(i，j)大于总平均亮度μ_TOTAL(即S_Y(i，j)≥μ_TOTAL)。本发明并将画素的深度资讯设为1，以避免画素的亮度值S_Y(i，j)小于总平均亮度μ_TOTAL(即S_Y(i，j)＜μ_TOTAL)。

至于，当总平均亮度μ_TOTAL小于上区域300的平均亮度μ_PART时(即μ_TOTAL＜μ_PART)，本发明是将画素的深度资讯设为0，以避免画素的亮度值S_Y(i，j)小于总平均亮度μ_TOTAL(即S_Y(i，j)＜μ_TOTAL)。本发明并将画素的深度资讯设为1，以避免画素的亮度值S_Y(i，j)大于总平均亮度μ_TOTAL(即S_Y(i，j)≥μ_TOTAL)。

因此，本发明是根据上述的方法逐次应用在输入影像中的每个画素上，以藉此获得一深度映像(depth map)。由此可见，在本实施例中的深度映像是由0或1的深度资讯所组成。至于，在本发明的其他实施例当中，深度映像当然也可由0、1、2或3的深度资讯来组成，本发明将容后详述。

以下，本发明接着针对步骤S106进行说明。

在本实施例中，本发明是根据先前产生的深度映像，在输入影像上进行视差处理的程序，以获得一左眼影像与一右眼影像。

当在右眼影像上执行视差处理时，本发明通过在画素上执行正视差，以将对应的该画素往右延迟。

当在左眼影像上执行视差处理时，本发明通过在画素上执行负视差，以将对应的该画素往左延迟。

根据本发明的一实施例，当执行视差处理程序时，本发明通过计算具有N个画素的深度资讯，其中N大于或等于2，且N包含当下正在处理的画素个数，本发明即可利用当下正在处理的画素的画素值来取代延迟画素的画素值。并且，本发明是根据该具有N个画素的深度资讯来决定出该延迟画素。于此，本发明定义延迟画素为：配置于当下正在处理的画素前的M个画素，其中M为大于零的整数。

根据本发明的另一实施例，为了避免N个画素的最终深度资讯被设置为1，本发明是通过在画素上执行正视差处理，以将画素往右延迟。

同样地，为了避免N个画素的最终深度资讯被设置为0，本发明是通过在画素上执行负视差处理，以将画素往左延迟。

接着，本发明是以以下的范例来解释上述的视差处理程序。其中，N可以设置为四，即以四个画素为以下的解释范例的用。

表一：适于左眼影像的视差处理规则

深度映像	延迟画素
		1110	延迟2
1100	延迟3
		0010	延迟4
预设值	延迟1

表二：适于右眼影像的视差处理规则

深度映像	延迟画素
		0001	延迟2
0011	延迟3
		1111	延迟4
预设值	延迟1

表三：视差处理结果

请同时参阅表一与表三，若输入影像的深度映像为1111时，预设的延迟1将会被左眼影像的视差处理规则中的D4所取代。在此，延迟1指的是对应当下正在处理的画素，在此也就是D4。换言的，若输入影像的深度资讯为1111时，D4的画素值将会被保留。

接着考虑画素D5，包含D5连续四个画素的深度资讯是为1110。因此，深度资讯中的延迟2将会被左眼影像的视差处理规则中的D5所取代。在此，延迟2指的是在D5左边的一画素，因此D4的画素值亦会被D5的画素值所取代。

接着考虑画素D6，包含D5连续四个画素的深度资讯是为1100。因此，深度资讯中的延迟3将会被左眼影像的视差处理规则中的D6所取代。在此，延迟3指的是在D5左边二个的画素，因此D4的画素值亦会被D6的画素值所取代。

综上所示，左眼影像即是根据上述的方法而逐渐产生的。因此，同样地根据相同的原则，右眼影像即可根据上述表二所示的右眼视差处理规则而产生的，故在此不再重新赘述。

根据本发明的实施例，再生影像即可根据上述产生的左眼影像与右眼影像而得。换言之，再生影像中各画素的画素值是包含表三中左眼影像与右眼影像的画素值。因此，通过输出再生影像，本发明即达成转换二维影像为三维影像的目的。

根据本发明的另一实施例，本发明亦可选择在不额外输出再生影像的情况下，直接通过左眼影像与右眼影像而产生一三维影像。

简而言之，本发明所揭示将二维影像转换为三维影像的方法，首先先产生一包含0或1的深度资讯的深度映像，然后根据该深度映像、左眼视差处理规则与右眼视差处理规则，分别在输入影像上执行视差处理程序，以获得一左眼影像与一右眼影像。其中，在执行视差处理的过程中，各画素的延迟值将会根据深度资讯的排列组合方式而决定的。

在上述的示范例当中，本发明是以画素个数为4(即N＝4)为解释之用，N当然也可为其他数值，并非用以限定本发明的发明范围。

根据本发明的又一实施例，本发明将二维影像转换为三维影像的方法亦可透过一次以上的视差处理程序来实现的。

举例来说，在此又一实施例中，本发明可先依据前述的视差处理规则进行一次视差处理(以下简称为第一视差处理程序)，然后再进行再一次的视差处理(以下简称为第二视差处理程序)。

就应用层面上而言，第二视差处理程序是类似于第一视差处理程序，但二者仍有不同。其不同的处在于，第二视差处理程序中画素的延迟值会比第一视差处理程序中画素的延迟值来得高。

举例来说，在第一视差处理程序中的深度资讯为1110，在第二视差处理程序中，其画素的延迟值可能增加到2或者3。

因此，根据本发明所揭示的转换方法，相较于只执行一次视差处理的例子，当执行视差处理程序的次数越多时，三维影像的立体效果与影像品质也将随之提高。

换句话说，熟习此项技术领域者，当可根据本发明所教示的内容，自行决定增加视差处理程序的次数(例如：三次、四次或以上)，以大幅提高三维影像的影像品质。唯需提醒的是，随着进行视差处理程序的次数增加，画素的延迟值也必须随的增加。

其次，本发明提出的将二维影像转换为三维影像的方法更可包括处理影像标题的步骤。一般而言，由于影像中的标题部分皆是由少数几个画素所构成，因此当本发明在执行上述的视差处理程序时，标题可能会因此而毁损。为了解决此一问题，本发明更可包括步骤：当深度资讯中所包含的1是依据上述既定顺序排列时，输入影像的标题的深度资讯才会被重设至1，否则即设置影像标题的深度资讯为0。

续请参阅图4至图7所示，其中图4为根据本发明第二实施例将二维影像转换为三维影像的方法的步骤流程图。图5为根据本发明实施例，用以分离影像边界的示意图。图6为根据本发明实施例，用以柔化物件与移除干扰的遮罩的示意图。图7为根据本发明实施例在柔化物件与移除干扰后的实验数据结果示意图。

如图4所示，在步骤S400中，本发明首先将二维输入影像中各画素的画素值转换为亮度值，以获取一亮度影像。

在步骤S402中，本发明通过在亮度影像中进行取样画素的步骤，以获得一取样影像。

在步骤S404中，本发明侦测取样影像的位移，并且将输入影像分割为多个区域。

在步骤S406中，本发明根据一边界条件产生一第一深度映像。

在步骤S408中，本发明通过在第一深度映像上进行柔化物件与移除干扰，以产生一第二深度映像。于此，第二深度映像即对应于本发明前述的第一实施例中的深度映像。

在步骤S410中，最后，本发明利用产生的第二深度映像，在输入影像上执行视差处理程序，以获得最终输出的三维影像。

以上所述的各个步骤，除了步骤S406与步骤S408以外，其余步骤皆同本发明第一实施例所言，故在此不再重述。以下本发明仅针对步骤S406与步骤S408详细说明的。

首先，本发明针对步骤S406进行说明。

本发明所揭示的将二维影像转换为三维影像的方法，主要是根据第一实施例所述的亮度值，来分割输入影像的区域(上区域300与下区域)。然而，由于当输入影像中的边界若不明显时，物件将无法被精确的分割。因此，本发明所揭示的方法，更可包括有用以厘清物件边界的步骤。

如图5所示，为了避免画素500与画素502之间的亮度值差异超过一预定范围，本发明是将画素500之后的K个画素，包括各画素504与各画素506，其深度资讯皆设置为0或1，其中K为正整数。

举例来说，各画素504的深度资讯可设置为1，以避免Y2大于(Y0+16)；各画素504的深度资讯可设置为0，以避免(Y2+16)小于Y0。

换句话说，当影像中具有亮度值突然变化的区域，该区域即为影像的一边界。因此，本发明是通过在亮度值突有变化的区域上执行上述的步骤，以由此厘清影像中的边界区域。

以下，本发明接着针对步骤S408进行说明。

在本实施例中，本发明是将第一深度映像中具有0或1的深度资讯分割为具有0、1、2与3的深度资讯。然而，深度资讯的值并不限定于0、1、2或3，熟习此项技术领域者可自行设计的。

举例来说，当画素亮度S_Y小于总平均亮度μ_TOTAL(即S_Y＜μ_TOTAL)时，本发明是将深度资讯设为0，以避免S_Y＜(μ_TOTAL/2)；并且，本发明是将深度资讯设为1，以避免S_Y≥(μ_TOTAL/2)。

至于，当画素亮度S_Y大于总平均亮度μ_TOTAL(即S_Y≥μ_TOTAL)时，本发明是将深度资讯设为2，以避免S_Y＜((255+μ_TOTAL)/2)；并且，本发明是将深度资讯设为3，以避免S_Y≥((255+μ_TOTAL)/2)。

之后，本发明是利用图6所示的遮罩600以获得柔化的第二深度映像。详细而言，本发明是将画素中具有0至1.5间的深度资讯重设为0，并将画素中具有1.5至3间的深度资讯重设为1。由此，第二深度映像即可被设置为如同本发明第一实施例所述的深度映像，而仅由0与1所组成。

续请参考图7所示的实验数据结果示意图，如图7所示，本发明通过在第一深度映像上执行柔化物件与消除干扰后所得到的影像，相较于未进行柔化物件与消除干扰者，可具有较佳的影像品质。除此之外，通过在第一深度映像上执行柔化物件与消除干扰后所得到的影像，其边界区域也较为显著，易于分辨。

如图8所示，此转换装置800包含有一控制器810、一储存区域812、一亮度转换区域814、一深度映像区域816与一再生影像区域818。

储存区域812可用以储存输入影像(通常为一原始影像)、左眼影像、右眼影像、或再生影像其中的至少一个。

亮度转换区域814用以将输入影像中各画素的画素值转换为亮度值，由此取得对应的一亮度影像。

深度映像区域816用以针对输入影像进行视差处理程序，其包括有一取样区820、一亮度计算区822以及一深度映像产生区824。

取样区820是利用常数间隔在亮度影像中进行取样，以获取取样影像。

亮度计算区822是计算取样影像的总平均亮度μ_TOTAL、分割取样影像为上区域与下区域、并且计算上区域300的平均亮度μ_PART。

深度映像产生区824是根据总平均亮度μ_TOTAL与上区域300的平均亮度μ_PART，产生输入影像的深度映像。

根据本发明的另一实施例，深度映像产生区824亦可用以处理并厘清原始输入影像中的边界区域，然后再产生输入影像的深度映像。

根据本发明的又一实施例，深度映像产生区824更可将深度映像中为0或1的资讯切分为0、1、2及3，并且使用一遮罩柔化该多个为0、1、2、3的深度映像，以获得一新的深度映像。

根据本发明的又一实施例，深度映像产生区824更可针对影像中的标题进行额外的处理程序。

再生影像区域818是利用产生的新深度映像在输入影像上执行视差处理程序，以产生左眼影像、右眼影像与再生影像。

控制器810用以控制转换装置800中各个构件的运作。

综上所述，为了使贵审查委员能更进一步了解本发明为达成预定目的所采取的技术、手段以及功效，以上为有关本发明的详细说明与附图，相信本发明的目的、特征与特点，当可由此得一深入且具体的了解，然而所附的图式与以上的示范例仅提供解释本发明技术思想的参考与说明之用，并非用来对本发明加以限制。

Claims

1.一种将二维影像转换为三维影像的方法，其特征在于，包括以下步骤：

将具有多个画素值的一输入影像转换为具有多个亮度值的一亮度影像；

根据该亮度影像，产生具有深度资讯的一深度映像；以及

利用产生的该深度映像，在该输入影像上执行一第一视差处理程序，以产生一左眼影像、一右眼影像与一再生影像其中的至少一个。

2.根据权利要求1所述的将二维影像转换为三维影像的方法，其特征在于，执行该第一视差处理程序时，更包括步骤：

计算具有N个画素的该深度资讯，其中N大于或等于2，N包含当下正在处理的画素个数；以及

利用当下正在处理的画素的画素值取代一延迟画素的画素值，并根据该具有N个画素的该深度资讯决定该延迟画素，其中该延迟画素是为配置于当下正在处理的画素前的M个画素，M为大于0的整数。

3.根据权利要求2所述的将二维影像转换为三维影像的方法，其特征在于，该右眼影像是在一第一画素上执行正视差的时候，方会在影像背景部分往右延迟，该左眼影像是在一第二画素上执行负视差的时候，方会在影像物件部分往左延迟。

4.根据权利要求2所述的将二维影像转换为三维影像的方法，其特征在于，在该输入影像上执行该第一视差处理程序之后，更包括有步骤：

执行一第二视差处理程序，以产生该左眼影像或该右眼影像，其特征在于，该第二视差处理程序计算具有N个画素的深度资讯，其中N大于或等于2，N包含当下正在处理的画素个数，利用当下正在处理的画素的画素值取代该延迟画素的画素值，并根据该具有N个画素的深度资讯决定该延迟画素，该第二视差处理程序中的该延迟画素的画素值是大于该第一视差处理程序中的该延迟画素的画素值。

5.根据权利要求2所述的将二维影像转换为三维影像的方法，其特征在于，参考同一深度资讯，在该左眼影像上执行该第一视差处理程序而取得的该延迟画素，是不同于在该右眼影像上执行该第二视差处理程序而取得的该延迟画素。

6.根据权利要求5所述的将二维影像转换为三维影像的方法，其特征在于，该深度资讯包含0或1，且该输入影像是根据四个不同的该深度资讯而执行该第一视差处理程序或第二视差处理程序。

7.根据权利要求1所述的将二维影像转换为三维影像的方法，其特征在于，转换该输入影像的步骤包括有：将该输入影像中的该多个画素值转换为该多个亮度值；以及产生该深度映像的步骤包括有：

利用一常数间隔在该亮度影像中进行取样，以获取一取样影像；

计算该取样影像的一总平均亮度μ_TOTAL；

将该取样影像分割为一上区域与一下区域，并计算该上区域的一平均亮度μ_PART；以及

根据该总平均亮度μ_TOTAL与该上区域的该平均亮度μ_PART，产生该输入影像的该深度资讯，其中，

当该总平均亮度μ_TOTAL大于该上区域的该平均亮度μ_PART时，为避免画素亮度S_Y(i，j)大于该总平均亮度μ_TOTAL，该深度资讯是定为0，为避免画素亮度S_Y(i，j)小于该总平均亮度μ_TOTAL，该深度资讯是定为1；

当该总平均亮度μ_TOTAL小于该上区域的该平均亮度μ_PART时，为避免画素亮度S_Y(i，j)小于该总平均亮度μ_TOTAL，该深度资讯是定为0，为避免画素亮度S_Y(i，j)大于该总平均亮度μ_TOTAL，该深度资讯是定为1。

8.根据权利要求7所述的将二维影像转换为三维影像的方法，其特征在于，产生该深度映像的步骤更包括：为了避免一特定画素与下一画素之间的亮度值差异超过一预定范围，将该特定画素后的D个画素的深度资讯皆设为0或1，且D为正整数。

9.根据权利要求7所述的将二维影像转换为三维影像的方法，其特征在于，产生该输入影像的深度资讯的步骤更包括：

将该深度映像中为0或1的深度资讯切分为0、1、2、及3；

使用一遮罩柔化该多个为0、1、2、3的该深度资讯；以及

将画素中具有0至1.5之间的该深度资讯重设为0，并且将画素中具有1.5至3之间的该深度资讯重设为1。

10.根据权利要求1所述的将二维影像转换为三维影像的方法，其特征在于，仅有当该深度资讯中所包含的1是依据一特定方式排列时，该输入影像的标题的深度资讯才会被重设至1。

11.一种将二维影像转换为三维影像的方法，其特征在于，包括以下步骤：

利用一输入影像中多个画素的亮度值，产生具有0或1的深度资讯的一深度映像；以及

利用产生的该深度映像，在该输入影像上执行一视差处理程序，以产生一左眼影像或一右眼影像，其中当在一第一画素上执行该右眼影像的正视差时，该第一画素是往右延迟，当在一第二画素上执行该左眼影像的负视差时，该第二画素是往左延迟。

12.根据权利要求11所述的将二维影像转换为三维影像的方法，其特征在于，该视差处理程序更包括步骤：

计算具有N个画素的深度资讯，其中N大于或等于2，N包含当下正在处理的画素个数；以及

利用当下正在处理的画素的画素值取代一延迟画素的画素值，并根据该具有N个画素的深度资讯决定该延迟画素，其中该延迟画素是为配置于当下正在处理的画素前的M个画素，M为大于0的整数。

13.根据权利要求12所述的将二维影像转换为三维影像的方法，其特征在于，参考同一深度资讯，在该左眼影像上执行一第一视差处理程序而取得的该延迟画素，是不同于在该右眼影像上执行一第二视差处理程序而取得的该延迟画素，且该输入影像是根据具有N个画素的深度资讯而执行该视差处理程序。

14.根据权利要求12所述的将二维影像转换为三维影像的方法，其特征在于，产生该深度映像的步骤更包括：

将该输入影像中的该多个画素值转换为具有多个亮度值的一亮度影像；

计算该取样影像的一总平均亮度μ_TOTAL；

15.根据权利要求14所述的将二维影像转换为三维影像的方法，其中产生该深度映像的步骤更包括：

为了避免一特定画素与下一画素之间的亮度值差异超过一预定范围，将该特定画素后的D个画素的深度资讯皆设为0或1，且D为正整数；

将该深度映像中为0或1的该深度资讯切分为0、1、2及3；

使用一遮罩柔化该多个为0、1、2、3的该深度资讯；以及

16.根据权利要求12所述的将二维影像转换为三维影像的方法，其特征在于，仅有当该深度资讯中所包含的1是依据一特定方式排列时，该输入影像的标题的深度资讯才会被重设至1。

17.一种将二维影像转换为三维影像的装置，其特征在于，包括：

一亮度转换区域，用以将具有多个画素值的一输入影像转换为具有多个亮度值的一亮度影像；

一深度映像区域，是根据该亮度影像，产生具有深度资讯的一深度映像；以及

一再生影像区域，是利用产生的该深度映像，在该输入影像上执行一第一视差处理程序，以产生一左眼影像、一右眼影像与一再生影像其中的至少一个。

18.根据权利要求17所述的将二维影像转换为三维影像的装置，其特征在于，当在该右眼影像上执行视差处理程序时，该再生影像区域是通过在一第一画素上执行正视差，以将该第一画素往右延迟，当在该左眼影像上执行视差处理程序时，该再生影像区域是通过在一第二画素上执行负视差，以将该第二画素往左延迟。

19.根据权利要求18所述的将二维影像转换为三维影像的装置，其特征在于，该再生影像区域计算具有N个画素的深度资讯，其中N大于或等于2，且N包含当下正在处理的画素个数、

20.根据权利要求19所述的将二维影像转换为三维影像的装置，其特征在于，参考同一该深度资讯，在该左眼影像上执行该第一视差处理程序而取得的该延迟画素，是不同于在该右眼影像上执行一第二视差处理程序而取得的该延迟画素，且该输入影像是根据具有N个画素的深度资讯而执行该第一视差处理程序或第二视差处理程序。

21.根据权利要求17所述的将二维影像转换为三维影像的装置，其特征在于，该亮度转换区域是将该输入影像中的该多个画素值

转换为该多个亮度值，该深度映像区域包括：

一取样区，是利用一常数间隔在该亮度影像中进行取样，以获取一取样影像；

一亮度计算区，用以计算该取样影像的一总平均亮度μ_TOTAL、分割该取样影像为一上区域与一下区域，并计算该上区域的一平均亮度μ_PART；以及

一深度映像产生区，是根据该总平均亮度μ_TOTAL与该上区域的该平均亮度μ_PART，产生该输入影像的深度资讯，其中，

22.根据权利要求21所述的将二维影像转换为三维影像的装置，其特征在于，为了避免一特定画素与下一画素之间的亮度值差异超过一预定范围，该深度映像产生区是将该特定画素后的D个画素的深度资讯皆设为0或1，且D为正整数。

23.根据权利要求21所述的将二维影像转换为三维影像的装置，其特征在于，该深度映像产生区是将该深度映像中为0或1的该深度资讯切分为0、1、2及3；使用一遮罩柔化该多个为0、1、2、3的该深度资讯；以及将画素中具有0至1.5之间的该深度资讯重设为0，并且将画素中具有1.5至3之间的深度资讯重设为1。

24.根据权利要求21所述的将二维影像转换为三维影像的装置，其特征在于，仅有当该深度资讯中所包含的1是依据一特定方式排列时，该输入影像的标题的深度资讯才会被重设至1。

25.根据权利要求17所述的将二维影像转换为三维影像的装置，其特征在于，该右眼影像是在一第一画素上执行正视差的时候，方会在影像背景部分往右延迟，该左眼影像是在一第二画素上执行负视差的时候，方会在影像物件部分往左延迟。