CN102480621A - 用来将二维影片转换为三维影片的方法与装置 - Google Patents

Abstract

本发明提供一种用来将二维影片转换为三维影片的方法及装置，该方法包含：在二维影片的一第一影像的多个解码单元中的每一解码单元被解码的过程中，暂时地储存解码单元中的多个像素的数据，且依据数据中的至少一部分取得该解码单元的内部信息，以及暂时地储存该内部信息作为该第一影像的一信息矩阵中的一元素，其中该信息矩阵的各个元素分别对应所述解码单元；以及依据该信息矩阵产生该第一影像的深度图，以供将该二维影片转换为该三维影片。本发明另提供一种用来将二维影片转换为三维影片的装置。本发明能在将该二维影片转换为该三维影片时达到极佳转换效果的目标而不需要过高成本；提取信息矩阵所需数据已经在解码器内，故不会使得内存带宽过高。

Description

用来将二维影片转换为三维影片的方法与装置

技术领域

本发明是有关于三维(Three Dimensional，3D)/立体(Stereoscopic)影片，尤指一种用来将二维影片转换为三维影片的方法与装置。

背景技术

随着三维/立体电影的流行，消费者可能想要在家里也能观看三维/立体电影。由于目前三维/立体节目很少，故将现有的二维节目转换成三维节目就成为重要的议题。

相关技术当中的各种二维对三维(2D-to-3D)影片转换方法面临许多问题。例如：有一种二维对三维影片转换方法需要人工操作，故不适合应用于家庭电影院。又例如：有一种全自动二维对三维影片转换方法是基于检测物体的运动来运作，尤其是需要检测两幅影像以确定物体的运动方向和速度，因此其需要的内存带宽(Bandwidth)非常高。相关技术当中还有一种利用单幅影像产生深度图的方法，其中该深度图可用于二维对三维影片转换；该方法需要在一幅影像中反复地搜索某些目标诸如区域边界、消失线...等，故所需要的内存带宽也很高。

针对内存带宽过高的问题，相关技术当中有一种节省内存带宽的方法；该方法先将原始影像进行缩小运作以产生缩小影像，再基于缩小影像来产生深度图，然后把深度图放大，最后依据原始影像和放大后的深度图产生同一组三维影像中的另一幅影像；例如：该原始影像与该另一幅影像可分别供左、右眼观赏。然而，缩小影像本身也会消耗内存带宽。此外，若缩小影像时仅仅些微地缩小，则用来产生深度图的计算量还是很大；若缩小影像时过度地缩小，则会导致太多信息的损失，而降低深度图的品质。

由上述可知，相关技术当中欠缺解决内存带宽过高的问题的方案来满足消费者的需求。因此，需要一种新颖的方法来将二维影片转换为三维影片。

发明内容

因此本发明的目的之一在于提供一种用来将二维影片转换为三维影片的方法与装置，以解决上述问题。

本发明的另一目的在于提供一种用来将二维影片转换为三维影片的方法与装置，以在节省带宽的条件下全自动地进行二维对三维影片转换。

本发明的较佳实施例中提供一种用来将二维影片转换为三维影片的方法，该方法包含有：在该二维影片的一第一影像的多个解码单元中的每一解码单元被解码的过程中，暂时地储存该解码单元中的多个像素的数据，且依据该数据中的至少一部分取得该解码单元的内部信息，以及暂时地储存该内部信息作为该第一影像的一信息矩阵中的一元素，其中该信息矩阵的各个元素分别对应所述解码单元；以及依据该信息矩阵产生该第一影像的深度图，以供将该二维影片转换为该三维影片。

本发明于提供上述方法的同时，亦对应地提供一种用来将二维影片转换为三维影片的装置，该装置包含一解码器与一转换模块，其中该转换模块耦接至该解码器。该解码器是用来对该二维影片进行影像解码，其中在该二维影片的一第一影像的多个解码单元中的每一解码单元被解码的过程中，该解码器暂时地储存该解码单元中的多个像素的数据，且依据该数据中的至少一部分取得该解码单元的内部信息，以及暂时地储存该内部信息作为该第一影像的一信息矩阵中的一元素，其中该信息矩阵的各个元素分别对应所述解码单元。另外，该转换模块是用来依据该信息矩阵产生该第一影像的深度图，以供将该二维影片转换为该三维影片。

本发明的好处之一是，本发明可在不需要过高成本的条件下，在将该二维影片转换为该三维影片时达到极佳转换效果的目标。

本发明的另一好处是，本发明在解码过程中提取信息矩阵，由于提取信息矩阵所需数据已经在解码器内，故不会有内存带宽过高的问题。

附图说明

图1A为依据本发明一第一实施例的一种用来将二维影片转换为三维影片的装置的示意图；

图1B至图1C为图1A所示的装置于不同的实施例中的实施细节；

图2为依据本发明一实施例的一种用来将二维影片转换为三维影片的方法的流程图；

图3A至图3B为图2所示的方法于一实施例中关于提取信息矩阵的实施细节；

图4A至图4B为图2所示的方法于另一实施例中关于提取信息矩阵的实施细节；

图5为图2所示的方法于另一实施例中关于提取信息矩阵的实施细节。

附图标号：

100    用来将二维影片转换为三维影片的装置

100-1  数字电视

100-2  数字录放影机

110    影像处理电路

112    解码器

112E   信息提取模块

112M   暂存存储器

114    转换模块

114D   深度图产生器

114G   影像产生器

118    输出缓冲器

120    显示模块

130    储存模块

910    用来将二维影片转换为三维影片的方法

912，914，916，918   步骤

932-1，932-2，932-3，步骤

932-4，932-5，933，

934A，934B，935-1，

935-2，936，937，

938A，938B，939-1，

939-2，940

952，953，954A，步骤

954B，955，956，957，

958A，958B，960，

962，963，964A，

964B，965-1，965-2，

966

972，973，974A，步骤

974B，976-1，976-2，

977，978

D_2D，D_3D    数据

具体实施方式

请参考图1A，图1A为依据本发明一第一实施例的一种用来将二维影片转换为三维影片的装置100的示意图。装置100包含一解码器112、一转换模块114、以及一输出缓冲器118，其中解码器112包含一暂存存储器112M与一信息提取模块112E，而转换模块114包含一深度图产生器114D与一影像产生器114G。依据本实施例，输出缓冲器118可为动态随机存取存储器(Dynamic Random Access Memory，DRAM)。实作上，解码器112、转换模块114、以及输出缓冲器118中的至少一部分(例如一部分或全部)可整合成同一个元件。例如：深度图产生器114D及/或影像产生器114G可整合于解码器112内。又例如：解码器112、转换模块114、以及输出缓冲器118可整合成一影像处理电路110(未显示于图1A)；尤其是，影像处理电路110可实施为单晶片或晶片组。

于本实施例中，解码器112是用来对该二维影片进行影像解码，其中符号D_2D与D_3D分别代表该二维影片的数据与该三维影片的数据。假设符号n代表该二维影片中的各幅影像的索引(例如：n＝1、2、...、或N)。在该二维影片的一第一影像IMG(n)的多个解码单元中的每一解码单元被解码的过程中，解码器112可暂时地储存该解码单元(即上述的“每一解码单元”)中的多个像素的数据，且依据该数据中的至少一部分取得该解码单元的内部信息，以及暂时地储存该内部信息作为第一影像IMG(n)的一信息矩阵中的一元素，其中该信息矩阵的各个元素分别对应所述解码单元，且可分别代表所述解码单元的特征。例如：该元素可包含一个或多个数值，或包含至少一向量。请注意，上述的解码单元可为区块或巨集区块(Macroblock，MB)、或是多个像素所组成的一整块区域，视该二维影片的编码/压缩格式而定。

另外，转换模块114是用来依据该信息矩阵产生第一影像IMG(n)的深度图Dep(n)，以供将该二维影片转换为该三维影片。实作上，解码器112可陆续将第一影像IMG(n)的各个解码单元的数据暂时地储存于输出缓冲器118。转换模块114会依据深度图Dep(n)与第一影像IMG(n)产生一第二影像IMG’(n)，并陆续将第二影像IMG’(n)的数据暂时地储存于输出缓冲器118。于是，第一影像IMG(n)与第二影像IMG’(n)的数据被输出作为该三维影片的数据D_3D。

图1B至图1C为图1A所示的装置100于不同的实施例中的实施细节。如图1B所示，在装置100是数字电视100-1的状况下，解码器112、转换模块114、以及输出缓冲器118可整合成影像处理电路110，其中本实施例的装置100另包含一显示模块120。影像处理电路110可将数据D_3D输出给显示模块120，以供播放该三维影片。如图1C所示，在装置100是数字录放影机(Digital Video Recorder，DVR)100-2的状况下，解码器112、转换模块114、以及输出缓冲器118可整合成影像处理电路110，其中本实施例的装置100另包含一储存模块130。影像处理电路110可将数据D_3D输出给储存模块130，以供储存或记录该三维影片的影像。请注意，在不同的实施例诸如图1B至图1C所示实施例中，数据D_3D的格式可以不同，并且影像处理电路110可依据数据D_3D被输出的目的(例如：显示或储存)来调整数据D_3D的格式。

不论图1A、图1B及图1C所示的装置100实施成数字电视100-1或数字录放影机100-2、或是其它消费性电子产品，设置信息提取模块112E与转换模块114为具体可行的设计且不会增加太多成本。通过利用信息提取模块112E与转换模块114，装置100可以适当地将二维影片转换为三维影片，并且在不需要过高成本的条件下，达到极佳转换效果的目标。关于装置100将二维影片转换为三维影片的实施细节，请参考图2进一步说明。

图2为依据本发明一实施例的一种用来将二维影片转换为三维影片的方法910的流程图。方法910可应用于上述的装置100(例如：图1B所示的数字电视100-1或图1C所示的数字录放影机100-2、或是其它消费性电子产品)。该方法说明如下：

于步骤912中，在该二维影片的第一影像IMG(n)的多个解码单元{DU_i，j(n)}中的每一解码单元DU_i，j(n)(例如：i＝1、2、...、或I，且j＝1、2、...、或J)被解码的过程中，解码器112暂时地储存解码单元DU_i，j(n)中的多个像素的数据，且依据该数据中的至少一部分取得解码单元DU_i，j(n)的内部信息Info_i，j(n)，以及暂时地储存内部信息Info_i，j(n)作为第一影像IMG(n)的信息矩阵Mat(n)中的元素Mat_i，j(n)，其中信息矩阵Mat(n)的各个元素{Mat_i，j(n)}分别对应所述解码单元{DU_i，j(n)}。尤其是，该多个像素包含解码单元DU_i，j(n)中的全部像素。

于步骤914中，转换模块114依据信息矩阵Mat(n)产生第一影像IMG(n)的深度图Dep(n)，以供将该二维影片转换为该三维影片。尤其是，深度图产生器114D可依据信息矩阵Mat(n)产生深度图Dep(n)，并将深度图Dep(n)暂时地储存于转换模块114内的至少一暂存存储器(未显示；例如该暂存存储器可设置于深度图产生器114D或影像产生器114G之内，或设置于深度图产生器114D与影像产生器114G之外)。

于步骤916中，转换模块114(尤其是其内的影像产生器114G)依据深度图Dep(n)对第一影像IMG(n)进行修改以产生第二影像IMG’(n)，且在影像处理电路110的控制下，输出缓冲器118输出第一影像IMG(n)与第二影像IMG’(n)，其中第一影像IMG(n)与第二影像IMG’(n)可分别用来供双眼观赏(例如可分别供左眼、右眼观赏，或分别供右眼、左眼观赏)。

于步骤918中，装置100(尤其是其内的影像处理电路110)检查是否停止转换。当检测到应停止转换(例如：该二维影片已经被转换完毕而达到结尾诸如最后一幅影像IMG(N)；又例如：使用者透过装置100的使用者介面诸如一个或多个按钮触发停止转换的指令)，结束图2所示的工作流程；否则，重新进入步骤912，以针对其它第一影像诸如下一幅影像IMG(n+1)进行转换。

依据本实施例，在解码单元DU_i，j(n)被解码的过程中，解码器112依据该数据中的该至少一部分取得解码单元DU_i，j(n)的内部信息Info_i，j(n)，以减少产生深度图Dep(n)时所需的带宽。更明确而言，由于在解码器112对解码单元DU_i，j(n)的解码过程中，解码器112可将解码所得的数据暂时地储存于其内的暂存存储器112M，故信息提取模块112E可立即依据该数据中的至少一部分(例如一部分或全部)取得解码单元DU_i，j(n)的内部信息Info_i，j(n)，并且将内部信息Info_i，j(n)输出且暂时地储存于转换模块114内的至少一暂存存储器(未显示；例如该暂存存储器可设置于深度图产生器114D之内，或设置于深度图产生器114D与影像产生器114G之外)。由于提取信息矩阵Mat(n)的元素Mat_i，j(n)(即内部信息Info_i，j(n))所需数据已经在解码器112内，信息提取模块112E不需要从解码器112之外的元件读取任何有关第一影像IMG(n)的信息，故本发明可以节省带宽，不会有相关技术中内存带宽过高的问题。

依据本实施例的一变化例，信息提取模块112E可将内部信息Info_i，j(n)暂时地储存于暂存存储器112M(而非转换模块114内的任何暂存存储器)。当第一影像IMG(n)的信息矩阵Mat(n)的各个元素{Mat_i，j(n)}均已取得时，信息提取模块112E才将信息矩阵Mat(n)输出给转换模块114，以供深度图产生器114D使用。该变化例的其它运作与图2所示的实施例相同，故不重复赘述。

图3A至图3B为图2所示的方法910于一实施例中关于提取信息矩阵Mat(n)的实施细节。依据本实施例，装置100(尤其是其内的信息提取模块112E)可检测解码单元DU_i，j(n)内部是否存在若干方向的边缘，例如一个或两个方向的边缘。当检测到某一方向的边缘存在，则装置100针对解码单元DU_i，j(n)将对应于该方向的边缘信息设定为1；否则，装置100针对解码单元DU_i，j(n)将对应于该方向的边缘信息设定为0。

请参考图3A。于步骤932-1中，信息提取模块112E在第一影像IMG(n)中的一解码单元DU_i，j(n)中移动一窗口，例如将该窗口移动至解码单元DU_i，j(n)中的各个可能位置中的某一位置。例如：该窗口的大小对应于(3*3)个像素。

于步骤932-2中，信息提取模块112E计算这个窗口中任意两个相邻像素的差值的绝对值{Abs11}。

于步骤932-3中，信息提取模块112E计算这个窗口中绝对值{Abs11}的平均值Avg11。

于步骤932-4中，信息提取模块112E将平均值Avg11乘以比例Fac1得到平均值Avg12。

于步骤932-5中，信息提取模块112E计算这个窗口中穿过中心点的四条直线的每一条直线上的三个像素中相邻两个像素的差值的绝对值{Abs12}。

于步骤933中，信息提取模块112E检查是否该四条直线的一直线的绝对值{Abs12}都小于平均值Avg12。当检测到该直线的绝对值{Abs12}都小于平均值Avg12时，进入步骤934A；否则，进入步骤934B。

于步骤934A中，针对该窗口位置，信息提取模块112E将该直线(即步骤933所述的该直线)的方向的边缘信息设定为1。

于步骤934B中，针对该窗口位置，信息提取模块112E将该直线(即步骤933所述的该直线)的方向的边缘信息设定为0。

于步骤935-1中，针对该窗口位置，信息提取模块112E检查是否完成所有直线的方向的边缘信息的设定。当检测到已完成所有直线的方向的边缘信息的设定时，进入步骤935-2；否则，重新进入步骤933，以针对该窗口位置进行其它直线的方向的边缘信息的设定。

请参考图3B。于步骤935-2中，信息提取模块112E检查是否完成所有可能位置(即该窗口于解码单元DU_i，j(n)中移动时的各个可能位置)的计算。当检测到已完成所有可能位置的计算时，进入步骤936；否则，重新进入步骤932-1，以进行其它可能位置的计算。

于步骤936中，信息提取模块112E统计解码单元DU_i，j(n)中的一直线的方向在所有可能位置(即该窗口于解码单元DU_i，j(n)中移动时的各个可能位置)中边缘信息为1的位置的数量N11。

于步骤937中，信息提取模块112E检查数量N11是否大于门限值Th11。当检测到数量N11大于门限值Th11时，进入步骤938A；否则，进入步骤938B。

于步骤938A中，针对解码单元DU_i，j(n)，信息提取模块112E将该直线(即步骤936所述的直线)的方向的边缘信息设定为1。

于步骤938B中，针对解码单元DU_i，j(n)，信息提取模块112E将该直线(即步骤936所述的直线)的方向的边缘信息设定为0。

于步骤939-1中，针对解码单元DU_i，j(n)，信息提取模块112E检查是否完成所有直线的方向的边缘信息的设定。当检测到已完成所有直线的方向的边缘信息的设定时，进入步骤939-2；否则，重新进入步骤936，以针对解码单元DU_i，j(n)进行其它直线的方向的边缘信息的设定。

于步骤939-2中，信息提取模块112E检查是否找到所有解码单元{DU_i，j(n)}的内部信息诸如边缘信息(即检查信息矩阵Mat(n)的各个元素{Mat_i，j(n)}是否均已取得)。当检测到已找到所有解码单元{DU_i，j(n)}的内部信息，进入步骤940；否则，重新进入步骤932-1，并切换索引(i，j)以寻找其它解码单元的内部信息诸如边缘信息。

于步骤940中，信息提取模块112E组合第一影像IMG(n)中所有解码单元的各方向边缘信息成为信息矩阵Mat(n)。

于是，本实施例的装置100可依据信息矩阵Mat(n)产生深度图Dep(n)，其细节说明如下。深度图产生器114D可依据信息矩阵Mat(n)划分第一影像IMG(n)中的各个物体{OBJ_k(n)}的边界(例如：k＝1、2、...、或K，其中符号K代表物体的数量)。一物体OBJ_k(n)的下边界可称为该物体的脚Ft_k(n)。深度图产生器114D可计算各个物体{OBJ_k(n)}的宽高比，并于各个物体{OBJ_k(n)}当中选出宽高比在范围R11内的物体，其中这些被选出的物体的集合可称为物体集G11_OBJ(n)。另外，深度图产生器114D可于物体集G11_OBJ(n)中选出高度最高的物体，并用其高度H11_{OBJ_MAX}(n)估算深度图Dep(n)的总体深度D11_OA(n)。例如：当高度H11_{OBJ_MAX}(n)越高，则深度图产生器114D所估算的总体深度D11_OA(n)越浅。依据本实施例，深度图产生器114D可依据总体深度D11_OA(n)以及依据各个物体{OBJ_k(n)}的脚{Ft_k(n)}在第一影像IMG(n)中纵向座标的位置，分别计算各个物体{OBJ_k(n)}的深度{D_k(n)}。例如：于第一影像IMG(n)中，当一物体OBJ_k(n)的脚Ft_k(n)在越上面，则深度图产生器114D所估算的深度D_k(n)越深。

在完成这些计算之后，深度图产生器114D产生了深度图Dep(n)，以供将该二维影片转换为该三维影片。于是，转换模块114可依据深度图Dep(n)当中分别对应于各个物体{OBJ_k(n)}的深度{D_k(n)}和第一影像IMG(n)产生第二影像IMG’(n)。例如：针对各个物体{OBJ_k(n)}中的一物体OBJ_k(n)，影像产生器114G可依据深度D_k(n)移动第一影像IMG(n)中的物体OBJ_k(n)的像素来产生第二影像IMG’(n)中的同一物体OBJ_k(n)的像素，并依据移动物体后导致的某(些)空缺的附近像素来进行插值，以填补该(些)空缺。

图4A至图4B为图2所示的方法910于另一实施例中关于提取信息矩阵Mat(n)的实施细节。依据本实施例，装置100(尤其是其内的信息提取模块112E)可依据各个解码单元{DU_i，j(n)}的平坦信息与若干颜色的颜色吻合信息来产生信息矩阵Mat(n)。

请参考图4A。于步骤952中，信息提取模块112E计算一解码单元DU_i，j(n)内部的一像素与其相邻像素(例如其左侧或者上方的像素)的差值的绝对值{Abs21}。

于步骤953中，信息提取模块112E检查绝对值{Abs21}是否都小于门限值Th21。当检测到绝对值{Abs21}都小于门限值Th21时，进入步骤954A；否则，进入步骤954B。

于步骤954A中，信息提取模块112E将该像素记录为平坦像素。

于步骤954B中，信息提取模块112E将该像素记录为非平坦像素。

于步骤955中，信息提取模块112E检查是否完成所有像素的平坦状况的判断。当检测到已完成所有像素的平坦状况的判断时，进入步骤956；否则，重新进入步骤952，以进行其它像素的平坦状况的判断。

于步骤956中，信息提取模块112E统计解码单元DU_i，j(n)内部平坦像素的数量N21。

于步骤957中，信息提取模块112E检查数量N21是否大于门限值Th22。当检测到数量N21大于门限值Th22时，进入步骤958A；否则，进入步骤958B。

于步骤958A中，信息提取模块112E将解码单元DU_i，j(n)的平坦信息设定为1。这表示信息提取模块112E将解码单元DU_i，j(n)判断为平坦。

于步骤958B中，信息提取模块112E将解码单元DU_i，j(n)的平坦信息设定为0。这表示信息提取模块112E将解码单元DU_i，j(n)判断为不平坦(例如有明显的边界)，故于执行步骤958B之后，跳至步骤965-2。

于步骤960中，信息提取模块112E计算解码单元DU_i，j(n)的平均值Avg21。尤其是，平均值Avg21代表解码单元DU_i，j(n)的各个像素的亮度的平均值。

于步骤962中，信息提取模块112E计算平均值Avg21与一颜色值C1之间的差值的绝对值Abs22。于本实施例中，颜色值C1可选自于一组颜色值{C1}，而这一组颜色值{C1}分别代表多个颜色诸如天空的颜色、草地的颜色、水的颜色、与背景颜色的特征，其中信息提取模块112E可预先统计上一幅影像中的主要颜色作为上述的背景颜色。为了简化计算，本实施例的颜色值C1可代表某一颜色在红色、绿色、蓝色通道的分量(R，G，B)的平均值，作为该颜色的特征。

于步骤963中，信息提取模块112E检查绝对值Abs22是否小于门限值Th23。当检测到绝对值Abs22小于门限值Th23时，进入步骤964A；否则，进入步骤964B。

于步骤964A中，针对解码单元DU_i，j(n)，信息提取模块112E将对应于该颜色的颜色吻合信息设定为1。此状况下，该颜色吻合信息可用来指出解码单元DU_i，j(n)的主要颜色是该多个颜色诸如天空的颜色、草地的颜色、水的颜色、与背景颜色中的某一者。

于步骤964B中，针对解码单元DU_i，j(n)，信息提取模块112E将对应于该颜色的颜色吻合信息设定为0。

于步骤965-1中，针对解码单元DU_i，j(n)，信息提取模块112E检查是否完成所有颜色的颜色吻合信息的设定。当检测到已完成所有颜色的颜色吻合信息的设定时，进入步骤965-2；否则，重新进入步骤962，以针对解码单元DU_i，j(n)进行其它颜色的颜色吻合信息的设定。

于步骤965-2中，信息提取模块112E检查是否找到所有解码单元{DU_i，j(n)}的内部信息，诸如平坦信息及/或颜色吻合信息(即检查信息矩阵Mat(n)的各个元素{Mat_i，j(n)}是否均已取得)。实作上，针对各个解码单元{DU_i，j(n)}当中被判断为不平坦者，信息提取模块112E可不必检查是否找到它们的颜色吻合信息，这是因为它们的颜色吻合信息可直接视为0。当检测到已找到所有解码单元{DU_i，j(n)}的内部信息(例如：已找到所有解码单元{DU_i，j(n)}的平坦信息，并且找到所有被判断为平坦的解码单元的颜色吻合信息)，进入步骤966；否则，重新进入步骤952，并切换索引(i，j)以寻找其它解码单元的内部信息，诸如平坦信息及/或颜色吻合信息。

于步骤966中，信息提取模块112E组合第一影像IMG(n)中所有解码单元的平坦信息和颜色吻合信息成为信息矩阵Mat(n)。

于是，本实施例的装置100可依据信息矩阵Mat(n)产生深度图Dep(n)，其细节说明如下。深度图产生器114D可依据信息矩阵Mat(n)寻找至少一个连成一片且相同颜色的颜色吻合信息为1的解码单元群G_DU(n，p)，并且设定解码单元群G_DU(n，p)的边界方向为深度梯度方向，其中p＝1、2、...、或P，而符号P代表这样的解码单元群的数量。深度图产生器114D另依据解码单元群G_DU(n，p)的面积大小A1(n，p)和不同颜色的预设深度{D_P(c)}计算解码单元群G_DU(n，p)的平均深度D_AVG(n，p)，其中索引c分别代表这些颜色。一般而言，位于近处的物体看起来较大，而位于远处的物体看起来较小，故深度图产生器114D可依据面积大小A1(n，p)将解码单元群G_DU(n，p)所属颜色的预设深度D_P(c(p))乘以一个比例参数Fac2(A1(n，p))，以产生平均深度D_AVG(n，p)。例如：当面积大小A1(n，p)越大时，比例参数Fac2(A1(n，p))越小，这样平均深度D_AVG(n，p)就越浅；又例如：当面积大小A1(n，p)越小时，比例参数Fac2(A1(n，p))越大，这样平均深度D_AVG(n，p)就越深。然后，深度图产生器114D依据上述的深度梯度方向和解码单元群{G_DU(n，p)}各自的平均深度{D_AVG(n，p)}计算第一影像IMG(n)内的各个解码单元{DU_i，j(n)}的粗估计深度{De1_i，j(n)}。

另外，深度图产生器114D可依据信息矩阵Mat(n)得知各个解码单元{DU_i，j(n)}的平坦信息。例如：当解码单元DU_i，j(n)的平坦信息为1时，深度图产生器114D取解码单元DU_i，j(n)的粗估计深度De1_i，j(n)作为其细估计深度De2_i，j(n)。又例如：当解码单元DU_i，j(n)的平坦信息为0时，深度图产生器114D取解码单元DU_i，j(n)的粗估计深度De1_i，j(n)和其下方的解码单元DU_i，j+1(n)的粗估计深度Del_i，j+1(n)的加权平均值作为其细估计深度De2_i，j(n)，其中对应的加权系数为可分别为预定值(例如分别为0.4和0.6)。

在完成这些计算之后，深度图产生器114D产生了深度图Dep(n)，以供将该二维影片转换为该三维影片。于是，转换模块114可依据深度图Dep(n)当中分别对应于各个解码单元{DU_i，j(n)}的细估计深度{De2_i，j(n)}和第一影像IMG(n)产生第二影像IMG’(n)。例如：影像产生器114G可依据细估计深度{De2_i，j(n)}中的至少一部分移动第一影像IMG(n)中的某(些)物体的像素来产生第二影像IMG’(n)中的该(些)物体的像素，并依据移动物体后导致的某(些)空缺的附近像素来进行插值，以填补该(些)空缺。

依据本实施例的一变化例，上述的平坦信息可代换为突变信息。尤其是，当解码单元DU_i，j(n)的平坦信息为1时，其突变信息为0；当解码单元DU_i，j(n)的平坦信息为0时，其突变信息为1。该变化例的其它运作与图4A至图4B所示的实施例相同，故不重复赘述。

图5为图2所示的方法910于另一实施例中关于提取信息矩阵Mat(n)的实施细节。依据本实施例，装置100(尤其是其内的信息提取模块112E)可依据若干解码单元的运动信息与运动方向信息来产生信息矩阵Mat(n)。

于步骤972中，信息提取模块112E由解压缩前的数据取得一解码单元DU_i，j(n)中的运动向量。根据不同的编码/压缩格式，一个解码单元中可以有一个或多个运动向量。

于步骤973中，信息提取模块112E检查是否解码单元DU_i，j(n)中所有运动向量为0。当检测到解码单元DU_i，j(n)中所有运动向量为0时，进入步骤974A；否则，进入步骤974B。

于步骤974A中，信息提取模块112E将解码单元DU_i，j(n)的运动信息设定为0。这表示信息提取模块112E将解码单元DU_i，j(n)判断为静止，故于执行步骤974A之后，跳至步骤977。

于步骤974B中，信息提取模块112E将解码单元DU_i，j(n)的运动信息设定为1。这表示信息提取模块112E将解码单元DU_i，j(n)判断为非静止。

于步骤976-1中，信息提取模块112E计算解码单元DU_i，j(n)内所有运动向量的平均向量Avg31。

于步骤976-2中，信息提取模块112E撷取平均向量Avg31的方向信息作为运动方向信息。例如：在平均向量Avg31是二维向量的状况下，平均向量Avg31可能的方向可区分为四个粗略的方向，其可分别以(+，+)、(+，-)、(-，-)、与(-，+)来表示。该方向信息可为平均向量Avg31的各个分量的正负号，就可指出平均向量Avg31的方向是四个粗略的方向中的哪一个方向。如此，步骤976-2不会占用太多硬件资源。这只是为了说明的目的而已，并非对本发明的限制。依据本实施例的一变化例，该方向信息可为平均向量Avg31的单位向量。依据本实施例的另一变化例，在平均向量Avg31是二维向量的状况下，平均向量Avg31于二维平面上可能的全部的角度范围(例如360度)可等分为多个子范围诸如16个子范围。于是，信息提取模块112E可检测平均向量Avg31是否落在该多个子范围中的哪一子范围，并且记录该子范围的索引作为该方向信息。

于步骤977中，信息提取模块112E检查是否找到所有解码单元{DU_i，j(n)}的内部信息，诸如运动信息及/或运动方向信息。当检测到已找到所有解码单元{DU_i，j(n)}的内部信息(例如：已找到所有解码单元{DU_i，j(n)}的运动信息，并且找到所有被判断为非静止的解码单元的运动方向信息)，进入步骤978；否则，重新进入步骤972，并切换索引(i，j)以寻找其它解码单元的内部信息，诸如运动信息及/或运动方向信息。

于步骤978中，信息提取模块112E组合第一影像IMG(n)中所有解码单元的运动信息和运动方向信息成为信息矩阵Mat(n)。

于是，本实施例的装置100可依据信息矩阵Mat(n)产生深度图Dep(n)，其细节说明如下。深度图产生器114D可依据信息矩阵Mat(n)寻找任何一个连成一片且运动信息为1而且运动方向信息相同的解码单元群G_DU(n，q)(若其存在)，其中q＝1、2、...、或Q1，而符号Q1代表这样的解码单元群的数量。在此，每个解码单元群G_DU(n，q)可视为一个物体OBJ_q(n)。深度图产生器114D另计算各个物体{OBJ_q(n)}的宽高比，并于各个物体{OBJ_q(n)}当中选出宽高比在范围R31内的物体，其中这些被选出的物体的集合可称为物体集G31_OBJ(n)。另外，深度图产生器114D可于物体集G31_OBJ(n)中选出高度最高的物体，并用其高度H31_{OBJ_MAX}(n)估算深度图Dep(n)的总体深度D31_OA(n)。例如：当高度H31_{OBJ_MAX}(n)越高，则深度图产生器114D所估算的总体深度D31_OA(n)越浅。依据本实施例，深度图产生器114D可依据总体深度D31_OA(n)以及依据各个物体{OBJ_q(n)}的脚{Ft_q(n)}在第一影像IMG(n)中纵向座标的位置，分别计算各个物体{OBJ_q(n)}的深度{D_q(n)}。例如：于第一影像IMG(n)中，当一物体OBJ_q(n)的脚Ft_q(n)在越上面，则深度图产生器114D所估算的深度D_q(n)越深。

另外，深度图产生器114D可依据信息矩阵Mat(n)寻找任何一个连成一片且运动信息为0的解码单元群G_DU(n，q)(若其存在)，其中q＝(Q1+1)、(Q1+2)、...、或(Q1+Q0)，而符号Q0代表这样的解码单元群的数量。相仿地，每个解码单元群G_DU(n，q)可视为一个物体OBJ_q(n)，其中对于运动信息为0的任一解码单元，深度图产生器114D可使用该解码单元在上一幅影像IMG(n-1)中的深度为考虑中的物体OBJ_q(n)的深度D_q(n)。

在完成这些计算之后，深度图产生器114D产生了深度图Dep(n)，以供将该二维影片转换为该三维影片。于是，转换模块114可依据深度图Dep(n)当中分别对应于各个物体{OBJ_q(n)}的深度{D_q(n)}和第一影像IMG(n)产生第二影像IMG’(n)。例如：针对各个物体{OBJ_q(n)}中的一物体OBJ_q(n)，影像产生器114G可依据深度D_q(n)移动第一影像IMG(n)中的物体OBJ_q(n)的像素来产生第二影像IMG’(n)中的同一物体OBJ_q(n)的像素，并依据移动物体后导致的某(些)空缺的附近像素来进行插值，以填补该(些)空缺。

请注意，相关技术通常需要前后两幅以上的二维影像才能产生三维影片中的影像，而本实施例所揭露的方法只需要针对一幅二维影像在解码器内提取该二维影像中的解码单元的运动向量便可以产生三维影片中的影像。

依据本发明的某些实施例，诸如上述各个实施例的变化例，步骤912所述的内部信息Info_i，j(n)可包含边缘信息、平坦信息、颜色吻合信息、运动信息、及/或运动方向信息。

本发明的好处之一是，设置信息提取模块与转换模块系为具体可行的设计且不会增加太多成本。通过利用信息提取模块112E与转换模块114，装置100可以适当地将二维影片转换为三维影片，并且在不需要过高成本的条件下，达到极佳转换效果的目标。另外，本发明极为节省带宽，并且确实地解决上述内存带宽过高的问题。此外，本发明所提取的内部信息是在全解析度的解码单元的数据里提取的，故不会有相关技术当中因缩小影像所导致的信息损失；相较于相关技术，本发明更能节省带宽。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (14)

1.一种用来将二维影片转换为三维影片的方法，其特征在于，所述方法包含有：

在所述二维影片的一第一影像的多个解码单元中的每一解码单元被解码的过程中，暂时地储存所述解码单元中的多个像素的数据，且依据所述数据中的至少一部分取得所述解码单元的内部信息，以及暂时地储存所述内部信息作为所述第一影像的一信息矩阵中的一元素，其中所述信息矩阵的各个元素分别对应所述解码单元；以及

依据所述信息矩阵产生所述第一影像的深度图，以供将所述二维影片转换为所述三维影片。

2.如权利要求1所述的方法，其特征在于，依据所述数据中的所述至少一部分取得所述解码单元的所述内部信息另包含：

由解压缩前的数据取得一解码单元中的运动向量。

3.如权利要求1所述的方法，其特征在于，所述的方法另包含有：

组合所述第一影像中所有解码单元的运动信息和运动方向信息成为所述信息矩阵。

4.如权利要求1所述的方法，其特征在于，所述的方法另包含有：

依据所述深度图对所述第一影像进行修改以产生一第二影像，其中所述第一影像与所述第二影像系分别用来供双眼观赏。

5.如权利要求1所述的方法，其特征在于，依据所述数据中的所述至少一部分取得所述解码单元的所述内部信息另包含：

在所述解码单元被解码的过程中，依据所述数据中的所述至少一部分取得所述解码单元的所述内部信息，以减少产生所述深度图时所需的带宽。

6.如权利要求1所述的方法，其特征在于，所述内部信息包含边缘信息、平坦信息、颜色吻合信息、运动信息、及/或运动方向信息。

7.如权利要求6所述的方法，其特征在于，依据所述数据中的所述至少一部分取得所述解码单元的所述内部信息另包含：

计算所述解码单元内所有运动向量的平均向量，并撷取所述平均向量的方向信息作为所述运动方向信息。

8.一种用来将二维影片转换为三维影片的装置，其特征在于，所述装置包含有：

一解码器，用来对所述二维影片进行影像解码，其中在所述二维影片的一第一影像的多个解码单元中的每一解码单元被解码的过程中，所述解码器暂时地储存所述解码单元中的多个像素的数据，且依据所述数据中的至少一部分取得所述解码单元的内部信息，以及暂时地储存所述内部信息作为所述第一影像的一信息矩阵中的一元素，其中所述信息矩阵的各个元素分别对应所述解码单元；以及

一转换模块，耦接至所述解码器，用来依据所述信息矩阵产生所述第一影像的深度图，以供将所述二维影片转换为所述三维影片。

9.如权利要求8所述的装置，其特征在于，所述解码器由解压缩前的数据取得一解码单元中的运动向量。

10.如权利要求8所述的装置，其特征在于，所述解码器组合所述第一影像中所有解码单元的运动信息和运动方向信息成为所述信息矩阵。

11.如权利要求8所述的装置，其特征在于，所述转换模块另依据所述深度图对所述第一影像进行修改以产生一第二影像，其中所述第一影像与所述第二影像分别用来供双眼观赏。

12.如权利要求8所述的装置，其特征在于，在所述解码单元被解码的过程中，所述解码器依据所述数据中的所述至少一部分取得所述解码单元的所述内部信息，以减少产生所述深度图时所需的带宽。

13.如权利要求8所述的装置，其特征在于，所述内部信息包含边缘信息、平坦信息、颜色吻合信息、运动信息、及/或运动方向信息。

14.如权利要求13所述的装置，其特征在于，所述运动方向信息是所述解码单元内所有运动向量的平均向量的方向信息。

Images