CN103428514A - 深度图产生装置及方法 - Google Patents

Abstract

本发明提供一种深度图产生方法，包含以下步骤：将一视频单元及一先前视频单元缩小，以得到一缩小视频单元及一缩小先前视频单元；分别将该缩小视频单元分割成多个区段以及将一缓冲器分割成多个储存单元；根据建立在该缩小先前视频单元的一预设搜寻视窗内所有像素，对该缩小视频单元内的一目标像素，进行移动估计以得到该目标像素的移动向量；根据该移动向量，指定一第一深度值给该目标像素；将该目标像素储存于该些储存单元的其一；重复该进行移动估计步骤、该指定步骤及该储存步骤直到处理完该缩小视频单元的所有像素为止，以得到一动态深度图；以及，根据该动态深度图，得到一最终深度图。其中，该些区段的数目小于该些储存单元的数目。

Description

深度图产生装置及方法

技术领域

本发明有关于视频(video)系统，尤有关于一种深度图(depth map)产生装置及其方法，用以将二维(2D)影像数据转换成三维(3D)影像数据。

背景技术

人类追求视频装置呈现的真实感，随着时代演进，视频装置已从单色(monochrome)荧幕进步到三维液晶显示器(LCD)，而视频装置内部传递的视频信号也有不同。目前，因为立体3D显示技术已商业化以及有关3D内容(例如3D电影)的服务日益增加，所以使用者对3D的需求也增加。然而，3D内容的开发并没有显着进展，甚至，3D内容的匮乏阻碍了3D显示技术的商业化。对比之下，目前商业市场上已存在数目庞大的2D视频影片，另外目前流行的个人录制影片也属于2D视频影片，因此，市场上对于2D转3D视频的应用需求甚高。

美国专利公开号2011/0096832的专利文献中，Zhang等人揭露一深度图产生装置，用以将二维影像数据转换成三维影像数据，是根据一图框(frame)c及其前一张图框c-1计算高移动(high motion)像素的移动量(以下本说明书称之“第一分析”)，以及根据该图框c撷取出低移动像素的所有颜色分量(colorcomponents)(以下本说明书称之“第二分析”)。请参照Zhang案的图5，对任一低移动像素，根据移动量产生的深度值可被根据像素颜色分量产生的深度值所取代。然而，Zhang的方法有二个问题，第一个问题是需要大量储存空间来暂存图框c及其前一张图框c-1的影像数据以进行第一分析；第二个问题是需要图框c的所有颜色分量数据以进行第二分析，因此会增加深度预估计算的困难度。

为解决上述问题，因此提出本发明。

发明内容

本发明的目的之一，在提供一种深度图产生方法，以解决上述问题。

本发明的一实施例中，提供一种深度图产生方法，适用于将二维影像数据转换成三维影像数据，该方法包含以下步骤：将一视频单元c及一先前视频单元c-1缩小(scale down)，以得到一缩小视频单元c及一缩小先前视频单元c-1；分别将该缩小视频单元c分割成多个区段以及将一缓冲器分割成多个储存单元；根据建立在该缩小先前视频单元c-1的一预设搜寻视窗内所有像素，对该缩小视频单元c内的一目标像素，进行移动估计以得到该目标像素的移动向量；根据该移动向量，指定一第一深度值给该目标像素；将该目标像素储存于该些个储存单元的其一，其中，其余的储存单元储存该缩小先前视频单元c-1的至少一区段；重复该进行移动估计步骤、该指定步骤及该储存步骤直到处理完该缩小视频单元c的所有像素为止，以得到一动态深度图；以及，根据该动态深度图，得到一最终深度图；其中，该些区段的数目小于该些储存单元的数目；以及，其中各该储存单元的容量大于或等于各该区段的大小。

本发明的一实施例中，提供一种深度图产生装置，适用于将二维影像数据转换成三维影像数据，该装置包含：缩小元件，用以缩小一视频单元c及一先前视频单元c-1缩小，以产生一缩小视频单元c及一缩小先前视频单元c-1；第一分割元件，用以分别将该缩小视频单元c分割成多个区段以及将一缓冲器分割成多个储存单元；移动估计元件，用以根据建立在该缩小先前视频单元c-1的一预设搜寻视窗内所有像素，对该缩小视频单元c内的一目标像素，进行移动估计以得到该目标像素的移动向量；指定元件，用以根据该移动向量，指定一第一深度值给该目标像素；储存元件，用以将该目标像素储存于该些储存单元的其一，其中，其余储存单元储存该缩小先前视频单元c-1的至少一区段；重复元件，用以重复该移动估计元件、该指定元件及该储存元件的动作直到处理完该缩小视频单元c的所有像素为止，以得到一动态深度图；以及，第一产生元件，用以根据该动态深度图，产生一最终深度图；其中，该些区段的数目小于该些储存单元的数目；以及，其中各该储存单元的容量大于或等于各该区段的大小。

本发明的一实施例中，提供一种深度图产生方法，适用于将二维影像数据转换成三维影像数据，该方法包含以下步骤：将一视频单元缩小，以得到一缩小视频单元；当一复杂解析度等于一下限时，根据一像素区块要进行转换的点数，将该缩小视频单元分割成一第一数目的像素区块；当该复杂解析度介于该下限及一上限之间时，根据该像素区块要进行转换的点数、该缩小视频单元的亮度数据与大小以及一第二数目的像素区块的大小，形成该第二数目的像素区块；依序将该些像素区块转换成多个频域区块；将各该频域区块相对应的振幅矩阵乘以一权重矩阵，以得到一乘积矩阵，其中，在该权重矩阵中，对应中高频分量的权重元素大于其他权重元素；根据各乘积矩阵，得到各相对应深度值，进而产生一复杂度深度图；以及，根据该复杂度深度图，得到该最终深度图；其中，该第一数目小于该第二数目；以及，其中，该第二数目随着该复杂解析度变高而增加。

本发明的一实施例中，提供一种深度图产生装置，适用于将二维影像数据转换成三维影像数据，该装置包含：缩小元件，用以将一视频单元缩小(scaledown)，以产生一缩小视频单元；第一分割元件，当一复杂解析度等于一下限时，根据一像素区块要进行转换的点数，将该缩小视频单元分割成一第一数目的像素区块；第一形成元件，当该复杂解析度介于该下限及一上限之间时，根据该像素区块要进行转换的点数、该缩小视频单元的亮度数据与大小以及一第二数目的像素区块的大小，形成该第二数目的像素区块；转换元件，用以依序将该些像素区块转换成多个频域区块；乘法元件，用以将各该频域区块相对应的振幅矩阵乘以一权重矩阵，以得到一乘积矩阵，其中，在该权重矩阵中，对应中高频分量的权重元素大于其他权重元素；第一产生元件，用以根据各乘积矩阵，得到各相对应第二深度值，进而产生一复杂度深度图；以及，第二产生元件，用以根据该复杂度深度图，产生一最终深度图；其中，该第一数目小于该第二数目；以及，其中，该第二数目随着该复杂解析度变高而增加。

本发明的另一实施例中，提供一种深度图产生方法，适用于将二维影像数据转换成三维影像数据，该方法包含以下步骤：将该视频单元分成多个聚积区块；对该视频单元中所有像素，计算亮度值对一第一方向的一阶导数；沿着各该聚积区块的该第一方向，累加亮度值的一阶导数持续落在一预设范围内的像素数目(Np)，以得到各该聚积区块的总和，其中，th2≤Np≤th1，且th1及th2为正整数；根据各该聚积区块的总和，得到一光影变化深度图；以及，根据该光影变化深度图，得到该最终深度图；其中，该第一方向为x方向及y方向的至少其一。

本发明的另一实施例中，提供一种深度图产生装置，适用于将二维影像数据转换成三维影像数据，该装置包含：第一分割元件，用以将一视频单元分割成多个聚积区块；计算元件，用以对该视频单元中所有像素，计算亮度值对一方向的一阶导数；第一累加元件，沿着各该聚积区块的该方向，累加亮度值的一阶导数持续落在一预设范围内的像素数目(Np)，以得到各该聚积区块的总和，其中，th2≤Np≤th1，且th1及th2为正整数；第一产生元件，用以根据各该聚积区块的总和，产生一光影变化深度图；以及，第二产生元件，用以根据该光影变化深度图，产生一最终深度图；其中，该方向为x方向及y方向的至少其一。

本发明复杂度分析是依据构图原理反推，影像创作者为了让观者聚焦，会将远景或非主题区块单纯化或糊化(例如青山蓝天白墙)，近景有明显纹理变化(例如房屋花丛行人)，因此利用复杂度分析，把影像中复杂的区块(具中高频分量)抓出推测为前景，单调的区块(具低频分量)推测为远景，而具高频分量处则为物件的边缘处要予以抑制不能强调。因此，本发明的另一特色是利用实施空间域至频域转换，来进行复杂度分析，藉以从中高频成份的多寡来判断一张影像构图的复杂度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1A及图1B为本发明一实施例的深度图产生方法的一流程图。

图2A显示一缩小图框被分割为三个区段的一个例子。

图2B显示第一缓冲器包含四个储存单元以进行动态储存以及第二缓冲器用以储存深度值。

图3显示一缩小图框包含多个像素区块n(y,x)，每一像素区块n(y,x)再转换成一频率响应矩阵Fm(y,x)。

图4A显示一张640×480的原始影像，影像中间有一条水平横切线AA。

图4B显示三条振幅曲线X(1,2)、X(6,3)及X(7,7)，是沿着图4A的水平横切线AA计算二维8×8点快速傅立叶转换而得。

图5A显示参考平面、右平面、底平面以及右底平面之间的关系。

图5B显示原始影像数据区和图5A的四个平面之间的关系。

图5C及图5D显示各像素区块包含一镜射区及一原始影像数据区的至少其一。

图6是沿着图4A的水平横切线AA的像素亮度值的一阶导数。

图7显示一像素行及其亮度值对x的一阶导数的一示例。

图8A-8C显示不同深度图m_map(y,x)、sd_map(y,x)及fd_map(y,x)之间的关系。

图9显示进行方向性放大的一个例子。

图10是一个例子，显示暂时深度图的一行像素中的二相邻深度值，以及在下一个图框c+1中于相对应位置上的对应HSL资讯。

附图标号说明：

步骤S101提供图框c的影像数据

步骤S102提供图框c-1的影像数据

步骤S103缩小图框

步骤S104进行动态储存

步骤S105进行四方向同步搜寻

步骤S106进行后处理

步骤S107混合深度图

步骤S108进行时域调变

步骤S109进行方向性放大

步骤S110进行双边滤波

步骤S111输出最终深度图

步骤S121计算亮度值的一阶导数

步骤S122进行检查及累加

步骤S123进行后处理

步骤S131分割缩小图框为多个区块

步骤S132进行空间域至频域转换

步骤S133进行加权运算

步骤S134进行后处理

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

本发明可以利用硬件、软件、固件(firmware)的其中之一、或前三者的任意组合来实施，例如：纯硬件实施的例子为一现场可编程门阵列(fieldprogrammable gate array，FPGA)设计、或一特殊应用集成电路(applicationspecific integrated circuit，ASIC)设计，而硬件与固件合并实施的例子为一数字信号处理器(digital signal processor，DSP)及其内建固件的组合。

于以下说明书的描述中，“深度图”一词是指深度值的二维矩阵(matrix)，而该矩阵中每一深度值分别对应一场景的相对位置，以及每一深度值代表一特定参考位置至该场景的各相对位置的距离。若一2D影像的每一像素具有各自的深度值，则该2D影像就能使用3D技术来显示。例如，假设一2D影像的解析度(resolution)为W×H像素，其深度图需要W×H个相对应深度值。

本说明书是描述以视频单元(unit)为单位，例如视频图框、视频图框的切片(slice)、或视频图框的其他部份，来产生深度图的相关技术。于以下说明书的描述中，皆以视频图框当作实施例来说明，当然，这仅为示例，本发明并不限于此。

图1A及图1B为本发明一实施例的深度图产生方法的一流程图。图1A及图1B的方法可应用，但不限于，一3D显示系统，适用于将二维影像数据转换成三维影像数据。本发明包含一动态(motion)分析及一静态(static)分析。一实施例中，该静态分析包含一复杂度分析及一光影变化(luminance variation)分析。

请参考图1A，本发明的深度图产生方法由分别提供图框c及c-1的影像数据(步骤S101及S102)开始执行，其中参数c为一正整数。接着，于步骤S103，利用一影像缩放器(scaler)(图未示)，分别将解析度为W×H像素的图框c及c-1缩小(scale down)成为具W_S1×H_S1像素的缩小图框，以进行该动态分析。一预设搜寻视窗大小等于((2×m)-1)×((2×m)-1)，其中参数m与一缓冲器(buffer)的大小有关。一实施例中，假设W=1920，H=1080，W_S1=40，H_S1=24，m=8。如图2A所示，各缩小图框被分割为N1(=H_S1/m=24/8=3)个区段，即第零区段(0th)、第一区段(1st)、第二区段(2nd)，各区段容量大小等于W_S1×m像素。如图2B所示，储存该缩小影像的缓冲器(假设为第一缓冲器)可平均分割为N2(=4)个储存单元S1~S4。各储存单元(S1~S4)的容量大小必须足以容纳缩小影像的任一区段(即第零、第一、第二区段)，同时储存单元S1~S4的数量N2必须大于N1。

请参考图2B，在缩小图框c被馈入第一缓冲器以进行该动态分析之前，假设缩小图框c-1的所有影像区段(c-1(0th)、c-1(1st)、c-1(2nd))已分别储存在第一缓冲器的储存单元S2~S4(步骤S104)内。于步骤S105，根据缩小图框c的第零区段c(0th)的像素亮度值及缩小图框c-1的所有像素亮度值，对缩小图框c的第零区段c(0th)的各像素，以各像素为基础，进行移动估计(motionestimation)，特别是进行四方向(上、下、左、右)同步(synchronous)搜寻，以得到缩小图框c的第零区段c(0th)中各像素的移动向量。举例而言，以各像素为基础，比较缩小图框c第零区段c(0th)中一目标像素的亮度值与建立在缩小图框c-1的第零区段c-1(0th)中的前述预设搜寻视窗(大小等于((2×m)-1)×((2×m)-1)=15x15)内所有像素的亮度值，以得到该目标像素对应的具最小绝对差异(minimum absolute difference)的移动向量。根据本发明，该目标像素及该预设搜寻视窗的中心分别在缩小图框c及c-1中具有相同坐标。之后，根据前述目标像素的移动向量，指定一深度值depth_v1给目标像素并对应地储存于第二缓冲器，同时，将第零区段c(0th)的该目标像素的亮度值储存于第一缓冲器的储存单元S1。之后，重复执行上述四方向同步搜寻、指定一相对深度值给一目标像素及储存该目标像素的亮度值于第一缓冲器的步骤，直到得到第零区段c(0th)中所有像素的深度值并被储存于第二缓冲器中以及将第零区段c(0th)中所有像素的亮度值储存于第一缓冲器的储存单元S1中为止。根据本发明，第零区段c(0th)的像素被允许储存的储存单元(S1~S4)须满足以下条件：该储存单元目前储存的数据不可以是上一张图框的影像数据，但可以是已处理(或搜寻)过的影像数据。其中，前述预设搜寻视窗大小((2×m)-1)×((2×m)-1))与图2A中三个区段的高度(m个像素)有关。

接着，馈入缩小图框c的第一区段c(1st)，依相同方式，当进行四方向同步搜寻时，以像素为基础，比较第一区段c(1st)中一目标像素的亮度值与建立在缩小图框c-1的第一区段c-1(1st)的对应预设搜寻视窗内所有像素的亮度值，以得到该目标像素对应的具最小绝对差异的移动向量。重复执行步骤S104及S105，直到和第一区段c(1st)中所有像素有关的深度值depth_v1皆储存于第二缓冲器、以及将第一区段c(1st)区段中所有像素的亮度值覆_写第零区段c-1(0th)的亮度值且储存于储存单元S2为止。在第一缓冲器中，因为原先储存单元S2储存的第零区段c-1(0th)的影像数据已经被处理(或搜寻)过了，所以本发明允许将第一区段c(1st)的像素亮度值储存于第一缓冲器的储存单元S2中。

最后，馈入缩小图框c的第二区段c(2nd)，依相同方式，当进行四方向同步搜寻时，以像素为基础，比较第二区段c(2nd)中一目标像素的亮度值与建立在缩小图框c-1的第二区段c-1(2nd)的对应预设搜寻视窗内所有像素的亮度值，以得到该目标像素对应的具最小绝对差异的移动向量。重复执行步骤S104及S105，直到和第二区段c(2nd)中所有像素有关的深度值皆储存于第二缓冲器、以及将第二区段c(2nd)中所有像素的亮度值覆写第一区段c-1(1st)的亮度值且储存于储存单元S3为止。在第一缓冲器中，因为原先储存单元S3储存的第一区段c-1(1st)的影像数据已经被处理(或搜寻)过了，所以本发明允许将第二区段c(2nd)的像素亮度值储存于第一缓冲器的储存单元S3中。

之后，在步骤S106中，对储存于第二缓冲器中W_s1×H_s1个深度值可进行后处理(post-process)，以产生一动态深度图m_map，该动态深度图m_map包含空间上较为一致(spatially consistent)的多个深度值。例如，该后处理可以是滤波或其他形式处理，以确保该些深度值在空间上的一致性。

本发明的特色之一是进行动态储存以节省储存空间。从上述说明内容可知，对3D显示系统而言，并没有必要将缩小图框c及c-1全部影像数据储存起来。只要储存单元(S1~S4)的容量足够容纳缩小图框c-1的全部数据及缩小图框c的至少一区段，本发明就能运作，可以在有限储存空间下发挥最大功能性。

本发明复杂度分析是依据构图原理反推，影像创作者为了让观者聚焦，会将远景或非主题区块单纯化或糊化(例如青山蓝天白墙)，近景有明显纹理变化(例如房屋花丛行人)，因此利用复杂度分析，把影像中复杂的区块(具中高频分量)抓出推测为前景，单调的区块(具低频分量)推测为远景，而具高频分量处则为物件的边缘处要予以抑制不能强调。因此，本发明的另一特色是利用实施空间域至频域转换，来进行复杂度分析，藉以从中高频成份的多寡来判断一张影像构图的复杂度。

以下将介绍复杂度分析。首先，在步骤S103中，将解析度为W×H像素的图框c缩小成为具W_S2×H_S2像素的缩小图框，以进行该复杂度分析，而该缩小图框c仅包含亮度数据。

在步骤S131中，取决于一区块中进行空间域至频域转换的点数，上述缩小图框c被平均分割为多个区块。另外，取决于复杂解析度(complexityresolution)高低，区块数目会被对应地放大。在此请注意，根据本发明，若复杂解析度过低，将无法抓出该缩小图框c中物体或人体的构图，而若无法抓出该缩小图框c中重点物体或人体的构图，就无法进行复杂度分析。一张影像的最低复杂解析度(即复杂解析度的下限)是将该影像的解析度降到物件的纹理都模糊掉，只保留物件个数与多样性，因此可以将树叶、五官等琐碎物件弱化，只单纯以构图的角度来推测景深，亦即将影像糊化到只看得出构图。一般而言，复杂解析度越高(在复杂解析度的上限范围之内)，被放大的区块数目越多，撷取到的物体或人体的详细信息也越多。然而，若进行的复杂度分析超出复杂解析度的上限，就只能撷取到局部特征，而非重点物体或人体的构图。在步骤S131中，本发明对复杂解析度设一上限及一下限，所以可以撷取该缩小图框c中重点物体或人体的构图，其中，本发明是根据影像内容，动态调整复杂解析度的上限及下限。

一实施例中，假设W=1920，H=1080，W_S2=160，H_S2=96，k=8，将进行8×8点快速傅立叶转换(Fast Fourier Transform)，同时，假设复杂解析度为最低(区块数目没有被放大)并足以撷取出重点物体或人体的构图。在步骤S131中，上述缩小图框c(160×96)被均分为20×12个像素区块n(y,x)，如图3的左图所示，其中，n(y,x)代表一个k×k的矩阵。在本实施例中，n(y,x)代表8×8的矩阵，x=1~20，y=1~12。在步骤S132中，20×12个像素区块n(y,x)进行转换(transformation)，例如快速傅立叶转换或离散余弦转换(Discrete CosineTransform)，而得到20×12个像素区块n(y,x)的频率响应。在本实施例中，依序计算20×12个像素区块n(y,x)的快速傅立叶转换，藉以得到20×12个频率响应矩阵Fm(y,x)(为8×8的矩阵)，同时，各矩阵Fm(y,x)包含的元素都是复数(complex number)。如图3的右图所示，各频率响应矩阵Fm(y,x)包含一DC分量、多个低频分量、多个中频分量及多个高频分量。在各矩阵Fm(y,x)中，空间频率由左至右增加(水平方向)或由上至下增加(垂直方向)。在步骤S133中，为表现该缩小图框c的复杂度及清晰度，会将较高的权值(weight)给予各矩阵Fm(y,x)中的中高频分量。换言之，在步骤S133中，各矩阵Fm(y,x)中的低频分量及较高频分量会被衰减(attenuate)或忽视。于本说明书中，“中高频分量”一词表示：在矩阵Fm(y,x)中的高频范围内的低频分量及中频范围内的所有分量，如图3的右图所示。

在步骤S133中，代表Fm(y,x)的振幅(amplitude)的振幅矩阵Am(y,x)如下：

其中，x=1~20，y=1~12，及k=8。

进行一加权运算(weighting function)如下：

$\mathrm{Qm}(y,x)=\left[\begin{array}{cccc}0& q_{12}& ...& q_{1k}\\ q_{21}& q_{22}& ...& q_{2k}\\ .& & & .\\ .& & & .\\ .& & & .\\ q_{k1}& q_{k2}& ...& q_{\mathrm{kk}}\end{array}\right]=\mathrm{Wm}\·\mathrm{Am}(y,x)$

$=\left[\begin{array}{cccc}0& w_{12}& ...& w_{1k}\\ w_{21}& w_{22}& ...& w_{2k}\\ .& & & .\\ .& & & .\\ .& & & .\\ w_{k1}& w_{k2}& ...& w_{\mathrm{kk}}\end{array}\right]\·\left[\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1k}\\ a_{21}& a_{22}& ...& a_{2k}\\ .& & & .\\ .& & & .\\ .& & & .\\ a_{k1}& a_{k2}& ...& a_{\mathrm{kk}}\end{array}\right]$

Wm代表一个具有8×8个权重因子(weighting factor)的权重矩阵，所有权重因子于初始设定后就不再改变。至于Wm的各权重因子的数值大小，如上所述，和中高频分量有关的权重因子会大于和低频分量及较高频分量有关的权重因子，以代表该缩小图框c的构图复杂度。因此，代表DC分量的权重因子w11被设为0，故矩阵Qm(y,x)的元素q11也因而等于0。之后，深度值d(y,x)计算如下：

$d(y,x)=\frac{(0+q_{12}+q_{13}+...+q_{\mathrm{kk}})}{\mathrm{qc}1},$ 及0<=d(y,x)<=255

其中，qc1值是将乘积矩阵Wm(y,x)的所有元素的总和(sum)乘上一预设比例值而得。然后，将深度值d(y,x)储存于第二缓冲器。接着，在步骤S134中，利用类似步骤S106的方式，对储存于第二缓冲器中总共20×12个深度值d(1,1)~d(12,20)进行后处理，使该些深度值在空间上有较高的一致性。之后，在步骤S134中，为了正规化(normalization)的目的，另对20×12个深度值进行内插(interpolation)处理以产生一个具有40×24个深度值的复杂度深度图c_map。在此请注意，若步骤S133输出的深度值数目和步骤S106输出的深度值数目一致，例如：40×24个深度值，则在步骤S134中就不必进行内插处理。

图4A显示一张640×480的原始影像，影像中间有一条水平横切线AA。图4B显示三条振幅曲线(amplitude curve)X(1,2)、X(6,3)及X(7,7)，是沿着图4A的水平横切线AA计算二维8×8点快速傅立叶转换而得。计算二维进行8×8点快速傅立叶转换后，应有64条振幅曲线，为简化说明，图4B只显示其中三条X(1,2)、X(6,3)及X(7,7)。请参考图3的右图，振幅曲线X(1,2)属于低频范围、振幅曲线X(6,3)属于中高频范围、及振幅曲线X(7,7)属于高频范围。从图4B可以观察到，突出的尖峰表示其邻近物体边缘，而微量的振幅表示单调的画面背景。至于中高频范围的振幅则包含图4A的影像详细信息。因为高频振幅曲线X(7,7)在邻近物体边缘附近有最大的振幅，所以振幅曲线X(7,7)应被衰减(attenuate)或忽视。

在另一实施例中，在步骤S131产生40×24个像素区块n(y,x)以进行二维进行8×8点快速傅立叶转换，其中，n(y,x)表示一个8×8的矩阵，x=1~40，y=1~24，本实施例假设可以抓出该缩小图框c中重点物体或人体的构图。请参考图5A，像素区块n(y,x)的数目是图3的四倍，因此图5A的复杂解析度也相对令人满意。对应地，相较于图3，图5A保留更多影像信息。

请参考图5A，在8×8点快速傅立叶转换的基础上，40×24个像素区块n(y,x)被分割为一参考平面、一右平面、一底平面以及一右底平面，每一平面各包含20×12个像素区块n(y,x)。图5A显示参考平面、右平面、底平面以及右底平面之间的关系。图5B显示原始影像数据区和图5A的四个平面之间的关系。图5C及图5D显示各像素区块包含一镜射(mirror)区及一原始影像数据区的至少其一。在图5C及图5D中，p(i，j)表示位在缩小图框c的坐标(i，j)的亮度值，参数i表示行(row)索引，参数j表示列(column)索引。

在上述实施例中，W=1920，H=1080，W_S2=160，H_S2=96，k=8。在水平方向上，该缩小图框c的宽度为W_S2(即160个像素)，而且40×24个像素区块n(y,x)的宽度为m2h(即40列的像素区块)。根据k×k点快速傅立叶转换，水平缩放因子(horizontal scale factor)Wdn是像素区块n(y,x)数目的放大倍数，计算如下：Wdn=m2h/(W_S2/k)=40/(160/8)=2。而水平偏移间距Wds的计算以像素为单位表示如下：Wds=W_S2/m2h=160/40=4。参考平面的左镜射区中镜射像素的列(column)数(nmp)等于右平面的右镜射区中镜射像素的列数(nmp)，计算如下：nmp=(0.5×k)-(0.5×Wds)=4-2=2。请同时参考图5A-5D，相较于参考平面，右平面往右偏移四个像素；同样地，相较于底平面，右底平面往右偏移四个像素。

以下，为简化说明，仅介绍如何由左至右，在水平方向上形成参考平面及右平面。具体而言，镜射像素是位在参考平面的最左边二列(在左镜射区内)。而左镜射区与原始影像数据的最左边六列像素形成参考平面中最左边一列的像素区块(即n(1,1)、n(3,1)、…、n(23,1))，如图5B及图5D所示。之后，因为水平偏移间距Wds为4，在略过左镜射区(包含二列镜射像素)与原始影像数据的最左边二列像素(p(i,j)，j＝0,1)后，原始影像数据接下来的八列像素(p(i,j)，j＝2~9)形成右平面中最左边一列的像素区块(即n(1,2)、n(3,2)、…、n(23,2))。然后，在略过原始影像数据接下来的四列像素(p(i,j)，j＝2~5)之后，原始影像数据接下来的八列像素(p(i,j)，j＝6~13)形成参考平面中最左边第二列的像素区块(即n(1,3)、n(3,3)、…、n(23,3))。依此类推，在x轴方向上，通过重复每次略过四列像素的方式，即可在水平方向上形成参考平面及右平面。对称地，右镜射区的二列像素与(缩小图框c的)原始影像数据的最右边六列像素形成右平面中最右边一列的像素区块(即n(1,40)、n(3,40)、…、n(23,40))。另外，除了底平面与右底平面往底部(或往下)偏移四个像素之外，底平面与右底平面在水平方向上的形成方式也和上述参考平面及右平面类似。

在垂直方向上，该缩小图框c的高度为H_S2(即96个像素)，而且40×24个像素区块n(y,x)的高度为m2v(即40行(row)的像素区块)。根据k×k点快速傅立叶转换，垂直缩放因子(vertical scale factor)Hn是像素区块n(y,x)数目的垂直放大倍数，计算如下：Hn=m2v/(H_S2/k)=24/(96/8)=2。而垂直偏移间距Hs的计算以像素为单位表示如下：Hs=Hs2/m2v=96/24=4。参考平面的上镜射区中镜射像素的行(row)数(nmp)等于底平面的下镜射区中镜射像素的行数(nmp)，计算如下：nmp=(0.5×k)-(0.5×Hs)=4-2=2。请同时参考图5A-5D，相较于参考平面，底平面往下(或底部)偏移四个像素；同样地，相较于右平面，右底平面往下(或底部)偏移四个像素。

以下，为简化说明，仅介绍如何由上至下，在垂直方向上形成参考平面及底平面。具体而言，镜射像素是位在参考平面的最上面二行(在上镜射区)。而上镜射区与(该缩小图框c的)原始影像数据的最上面六行形成参考平面中最上面一行的像素区块(即n(1,1)、n(1,3)、…、n(1,39))，如图5B及图5C所示。之后，因为垂直偏移间距Hs为4，在略过上镜射区(包含二行镜射像素)与原始影像数据的最上面二行像素(p(i,j),i=0,1)后，原始影像数据接下来的八行像素(p(i,j),i=2~9)形成底平面中最上面一行的像素区块(即n(2,1)、n(2,3)、…、n(2,39))。然后，在略过原始影像数据接下来的四行像素(p(i,j)，i=2~5)之后，原始影像数据接下来的八行像素(p(i,j)，i=6~13)形成参考平面中最上面第二行的像素区块(即n(3,1)、n(3,3)、…、n(3,39))。依此类推，在y轴方向上，通过重复每次略过四行像素的方式，即可在垂直方向上形成参考平面及底平面。对称地，下镜射区的二行镜射像素与(缩小图框c的)原始影像数据的最下面六行形成底平面中最下面一行的像素区块(即n(24,1)、n(24,3)、…、n(24,39))。另外，右平面与右底平面的垂直方向形成方式也和上述参考平面及底平面类似。接下来，后续步骤S132~S133中的运作方式和前述实施例(于步骤S131中产生20×12个像素区块n(y,x))相同，在此不再赘述。之后，在步骤S134中，完成后处理之后，因为复杂度深度图c_map已具有40×24个深度值，所以就不必再进行内插处理。

比较图3及图5A，复杂解析度越高，缩放因子Wdn、Hn就越大，在步骤S131中输出的像素区块n(y,x)数目也越大。在此请注意，前述于步骤S131中输出的像素区块n(y,x)的数目及复杂解析度仅为示例，本发明不限于此。实作时，缩放因子Wdn及Hn可相异，并不限于偶数，亦可为奇数。

以下，介绍光影变化分析。在步骤S121中，接收解析度为W×H像素的图框c以计算亮度值对x及/或对y的一阶导数(first derivative)。以下，为简化说明，仅介绍亮度值对x的一阶导数。

本发明的另一特色是进行微分运算(differential calculation)以撷取影像中接近物体或人体的光影变化。光影变化分析是由视觉原理反推。远景在视觉上为一个平面，只留下形状与色彩，但近景明确呈现光影的变化，因此本发明通过微分运算抓出光影表现较多的区块推测为前景。根据本发明，光影变化的影像特征是在物体的曲面像素亮度值会适度的连续变化。本发明对亮度值的一阶导数fd持续维持在一预设范围(v2≤|fd|≤v1)内的像素数目Np设一上限及下限，也就是：th2≤Np≤th1。当亮度值的一阶导数持续地维持在该预设范围内的像素数目Np小于th2时，表示可能撷取到影像中的杂讯或花纹等；反之，当亮度值的一阶导数持续维持在该预设范围内的像素数目Np大于th1时，表示可能撷取到影像中的渐层或背景(远方的光影变化)。根据本发明，包含于一聚积(accumulation)区块Z(y,x)(下面会描述其定义)的亮度值越多(或撷取到越多光影变化的聚积区块)，将被视为离观众越近。图6是沿着图4A的水平横切线AA的像素亮度值的一阶导数。在图6的实施例中，v1=8，v2=2。

图7显示一像素行及其亮度值对x的一阶导数关系的一示例。在步骤S121中，计算上述图框c中所有像素的亮度值对x的一阶导数。在步骤S122中，上述包含W×H个像素的图框c被平均分割为多数个聚积区块Z(y,x)，其中Z(y,x)代表一个矩阵。一实施例中，假设W=1920,H=1080,th1=30,th2=4,v1＝8and v2=2。在本实施例中，于步骤S122，为了正规化的目的，上述包含1920×1080个像素的图框c被平均分割为40×24个聚积区块Z(y,x)，其中Z(y,x)代表一个48×45矩阵，x=1~40，y=1~24。一开始先将每一聚积区块Z(y,x)的总和SNp(y,x)重设为0，接着，沿着每一行像素，从左到右，分别检查每一个像素的亮度值的一阶导数有没有落在上述预设范围(v2≤|fd|≤v1)内；同时，对每一聚积区块Z(y,x)内的每一行像素，在x轴方向上累积像素数目Np。假设图7的一小段影像片段为聚积区块Z(1,1)内像素行L₁的一部份，从左到右，可观察到Np1及Np2的数目都大于4，所以可以将Np1及Np2累加至总和SNp(1,1)。依此方式，检查聚积区块Z(1,1)内每一行像素的一阶导数及累加数目Np直到完成最后一行像素L₄₈为止，而得到总和SNp(1,1)。聚积区块Z(1,1)的总和SNp(1,1)被暂存于独立的第二缓冲器，依此方式，可分别计算出所有聚积区块Z(y,x)的总和SNp(y,x)并暂存于第二缓冲器。各聚积区块Z(y,x)的深度值计算如下：d(y,x)=SNp(y,x)×wf，0<=d(y,x)<=255，参数wf为一权重因子。在步骤S123中，如同步骤S106，对40×24个深度值d(y,x)进行后处理，以产生一光影变化深度图i_map，该光影变化深度图i_map包含空间上较为一致的多个深度值，亦被储存于第二缓冲器。

在另一实施例中，于步骤S121，计算上述图框c中所有像素的亮度值对y的一阶导数。接着，于步骤S122，沿着每一列像素，从上到下，分别检查每一个像素的亮度值的一阶导数有没有落在上述预设范围(v2≤|fd|≤v1)内；同时，对每一聚积区块Z(y,x)内的每一列像素，在y轴方向上累加像素数目Np，以得到总和SNp(y,x)。在另一实施例中，于步骤S121，计算上述图框c中所有像素的亮度值对x及对y的一阶导数；接着，于步骤S122，在x轴方向及y轴方向，进行上述检查及累加运算，以得到每一聚积区块Z(y,x)的总和SNp(y,x)，反之亦然。接下来的步骤S123和前面实施例类似，于此不再赘述。

在此请注意，本发明上述动态分析及静态分析只利用像素的亮度值进行分析，并未用到像素的色彩信息(例如色相(hue)及彩度(saturation))，因此，可以减少数据储存量。

请回到图1A，如上所述，被传送至步骤S107的所有深度图m_map、c_map、i_map皆已被正规化至相同参考尺寸(以本实施例而言为40×24)。如上所述，该静态分析包含一复杂度分析及一光影变化(luminance variation)分析。在步骤S107中，于第二缓冲器中进行深度图混合(depth fusion)。首先，根据权重因子w1及w2，先混合复杂度分析及光影变化分析产生的深度图c_map、i_map，以得到一静态深度图如下：sd_map(y,x)=w1×c_map(y,x)+w2×i_map(y,x)，其中，权重因子w1及w2的数值大小是可调整的；之后，根据如下的F-S直线(为一fd_map及sd_map的线性方程式(linear equation))，可得到一混合深度图fd_map：

fd_map(y,x)=((((255-w3×m_map(y,x))×sd_map(y,x)))/255)+w3×m_map(y,x)，其中，权重因子w3的数值大小是可调整的。

图8A-8C显示不同深度图m_map(y,x)、sd_map(y,x)及fd_map(y,x)之间的关系。从图8A-8C可观察到，fd_map随sd_map的增加而增加，而且动态深度图m_map决定F-S直线的斜率(slope)及y轴截距(y-intercept)(或fd_map轴截距)。m_map(y,x)的值越大，y轴截距就越大且斜率越小。在此请注意，若能在步骤S107中进行三个深度图(动态深度图、复杂度深度图及光影深度图)的混合时，将可达到最佳化影像品质的功效。然而，若三个深度图中仅有其中一或二个进行深度图混合(包含上述F-S直线)时，本发明还是可以运作。例如，若没做动态分析时，该静态深度图可直接拿来当作混合深度图。又例如，若没做复杂度分析时，该光影变化深度图可直接拿来当作静态深度图。

然后，于步骤S108中，进行时域调变(temporal modulation)。相较于步骤S106、123及134中进行的后处理以确保该些深度值在空间域上的连续性，时域调变可以确保该些深度值在时间域上的连续性。一实施例，于步骤S108中，利用一时域滤波器(temporal filter)，对目前图框c的混合深度图fd_map及前二个图框c-1及c-2的时域调变深度图tm_map_c-1(y,x)及tm_map_c-2(y,x)进行时域调变。在另一实施例中，于步骤S108中，根据前二个图框c-1及c-2的时域调变深度图tm_map_c-1(y,x)及tm_map_c-2(y,x)及目前图框c的混合深度图fd_map，利用以下数学式计算得到目前图框c的时域调变深度图tm_map_c(y,x)：

tm_map_c(y,x)=tm_map_c-1(y,x)+γ×length；

length=min[abs((fd_map(y,x)-tm_map_c-1(y,x))-(tm_map_c-1(y,x)-tm_map_c-2(y,x))),lth]；

$\mathrm{\&gamma;}=1-\mathrm{abs}\left[\frac{\mathrm{tm}\_{\mathrm{map}}_{c-1}(y,x)-\mathrm{tm}\_{\mathrm{map}}_{c-2}(y,z)}{1\mathrm{th}}\right];$

其中，参数lth是一预设常数。

接着，于步骤S109中，根据下一个图框c+1的色相、彩度及亮度(hue、saturation及luminance，以下简称HSL)信息，以非线性(non-linear)方式，放大(scale up)目前图框c的时域调变深度图tm_map_c(y,x)(40×24个深度值)，以得到包含1920×1080个深度值的初始深度图。然而，进行有方向性、非线性放大的操作是很浪费储存空间的。一实施例，为节省储存空间，于步骤S109中，先进行y方向的线性放大运算，再进行x方向的非线性放大运算，如图9所示。具体而言，是利用线性内插(linear interpolation)，将时域调变深度图tm_map_c(y,x)中每一列24个深度值放大为1080个深度值，以得到一暂时深度图(y方向的线性放大)。之后，根据下一个图框c+1的HSL信息，在x方向上，将暂时深度图(包含40×1080个深度值)以非线性方式放大，以得到包含1920×1080个深度值的初始深度图(x方向的非线性放大)。线性内插技术已为业界熟知，在此不于赘述。关于x方向的非线性放大，是根据下一个图框c+1的HSL信息，将暂时深度图的每一行40个深度值放大为1920个深度值。换言之，在暂时深度图的x方向上，以非线性方式在每二相邻深度值间内插入额外的47个深度值。在非线性放大过程中，下一个图框c+1的HSL信息允许进行更详细的比较。具体而言，下一个图框c+1的彩度信息帮助呈现浅颜色和深颜色，而下一个图框c+1的亮度信息帮助呈现介于黑白之间的颜色。

图10是一个例子，显示暂时深度图的一行像素中的二相邻深度值，以及在下一个图框c+1中于该二相邻深度值的相对应位置上的HSL信息。图10中，假设暂时深度图的在x方向上的二相邻深度值为depth₁及depth₂，而介于depth₁及depth₂的间的各中间深度值depth_X(x=i1~i47)计算如下：

ΔH₁=min[abs(h₁-h_x),{([(1-max[h₁,h_x])+min[h₁,h_x]])}]；

/*h_X、h₁及h₂分别表示HSL_X、HSL₁及HSL₂的色相信息*/

ΔH₂=min[abs(h₂-h_x),{([(1-max[h₂,h_x])+min[h₂,h_x]])}]；

/*ΔH₁表示位置1及x的间的色相绝对差异(absolute difference)以及ΔH₂表示位置2及x之间的色相绝对差异*/

ΔS₁=abs(s₁-s_x)；/*S_X、S₁及S₂分别表示HSL_X、HSL₁及HSL₂的彩度信息*/

ΔS₂=abs(s₂-s_x)；/*ΔS₁表示位置1及x之间的彩度绝对差异以及ΔS₂表示位置2及x之间的彩度绝对差异*/

ΔL₁=abs(l₁-l_x)；/*l_X、l₁及l₂分别表示HSL_X、HSL₁及HSL₂的亮度信息*/

ΔL₂=abs(l₂-l_x)；/*ΔL₁表示位置1及x之间的亮度绝对差异以及ΔL₂表示位置2及x之间的亮度绝对差异*/。

ΔD₁=ph·ΔH₁+ps·ΔS₁+pl·ΔL₁；/*绝对差异值ΔD₁与HSL_X及HSL₁有关*/

ΔD₂=ph·ΔH₂+ps·ΔS₂+pl·ΔL₂；/*绝对差异值ΔD₂与HSL_X及HSL₂有关*/

depth_X=a%×depth₁+b%×depth₂；

其中，a+b=100。权重因子ph、ps及pl满足下列条件：ph>ps>>pl。比较绝对差异值ΔD₁及ΔD₂，若ΔD₁≤ΔD₂，表示HSL₁及HSL_X之间的HSL信息比HSL₂及HSL_X之间的HSL信息更接近，所以选择a值大于b值。反之，若ΔD₁>ΔD₂，表示HSL₂及HSL_X之间的HSL信息比HSL₁及HSL_X之间的HSL信息更接近，所以选择a值小于b值。权重值a、b的大小是可调的且取决于绝对差异值ΔD₁及ΔD₂。依相同方式，可计算出所有的中间深度值depth_X(x=i1~i47)，而得到初始深度图。然而，上述实施例仅为一示例，本发明不因此受限。实际实施时，上述非线性放大操作可实施于x方向及y方向的至少其一，都属本发明的范畴。

最后，在步骤S110中，利用一双边滤波器(bilateral filter)来对初始深度图进行双边滤波，以减少方块效应(block effect)，最后，产生一最终深度图。

以上虽以实施例说明本发明，但并不因此限定本发明的范围，只要不脱离本发明的要旨，本领域技术人员可进行各种变形或变更，都属本发明的范畴。

Claims (45)

1.一种深度图产生方法，适用于将二维影像数据转换成三维影像数据，其特征在于，包含：

将一视频单元(c)及一先前视频单元(c-1)缩小，以得到一缩小视频单元及一缩小先前视频单元；

分别将所述缩小视频单元分割成多个区段以及将一缓冲器分割成多个储存单元；

根据建立在所述缩小先前视频单元的一预设搜寻视窗内所有像素，对所述缩小视频单元内的一目标像素，进行一移动估计以得到所述目标像素的移动向量；

根据所述移动向量，指定一第一深度值给所述目标像素；

将所述目标像素储存于所述多个储存单元的其一，其中，其余的储存单元是储存所述缩小先前视频单元的至少一区段；

重复所述进行移动估计步骤、所述指定步骤及所述储存步骤直到处理完所述缩小视频单元的所有像素为止，以得到一动态深度图；以及

根据该动态深度图，得到一最终深度图；

其中，所述区段的数目小于所述储存单元的数目；以及

其中，各所述储存单元的容量大于或等于各所述区段的大小。

2.如权利要求1所述的方法，其特征在于，所述移动估计为一个四方向的同步搜寻。

3.如权利要求1所述的方法，其特征在于，所述目标像素及所述预设搜寻视窗的中心，在所述缩小视频单元及所述缩小先前视频单元中具有相同坐标。

4.如权利要求1所述的方法，其特征在于，所述预设搜寻视窗的大小等于((2×m)-1)×((2×m)-1)，其中，m代表各所述区段的高度。

5.如权利要求1所述的方法，其特征在于，更包含：

在所述进行移动估计步骤之前，将所述缩小先前视频单元储存于其余的储存单元；

其中，所述缩小先前视频单元被分割成多个区段。

6.如权利要求1所述的方法，其特征在于，更包含：

当一复杂解析度等于一下限时，根据一像素区块要进行转换的点数，将所述缩小视频单元分成一第一数目的所述像素区块；

当所述复杂解析度介于所述下限及一上限之间时，根据所述像素区块要进行转换的点数、所述缩小视频单元的亮度数据与大小以及一第二数目的像素区块的大小，形成所述第二数目的像素区块；

依序将所述像素区块转换成多个频域区块；

将各所述频域区块相对应的振幅矩阵乘以一权重矩阵，以得到一乘积矩阵，其中，在所述权重矩阵中，对应中高频分量的权重元素是大于其他权重元素；以及

根据各乘积矩阵，得到各相对应第二深度值，进而产生一复杂度深度图；

其中，所述第一数目小于所述第二数目；以及

其中，所述第二数目是随着所述复杂解析度变高而增加。

7.如权利要求6所述的方法，其特征在于，所述形成所述第二数目的像素区块的步骤包含：

根据所述缩小视频单元及所述第二数目的像素区块分别在一第一方向上的尺寸，计算在所述第一方向上的偏移间距；

根据所述像素区块要进行转换的点数、所述缩小视频单元及所述第二数目的像素区块分别在所述第一方向上的尺寸，计算一缩放因子，以在第一方向上所述放大所述第一数目；

根据所述偏移间距及所述像素区块要进行转换的点数，计算在一镜射区的所述第一方向上多个镜射像素的数目，其中，所述镜射像素分别设置在形成于一第二方向上的二个镜射区中；以及

根据所述镜射像素的数目、所述偏移间距、所述缩放因子以及所述缩小视频单元的影像数据，形成所述第二数目的像素区块；

其中，所述第一方向垂直于所述第二方向。

8.如权利要求6所述的方法，其特征在于，更包含：

将所述视频单元(c)分割成多个聚积区块；

对所述视频单元(c)中所有像素，计算亮度值对一第三方向的一阶导数；

沿着各所述聚积区块的所述第三方向，累加亮度值的一阶导数持续落在一预设范围内的像素数目Np，以得到各所述聚积区块的总和，其中，th2≤Np≤th1，且th1及th2为正整数；以及

根据各所述聚积区块的总和，得到一光影变化深度图；

其中，所述第三方向为x方向及y方向的至少其一。

9.如权利要求8所述的方法，其特征在于，其中该得到该最终深度图步骤包含：

混和所述复杂度深度图及所述光影变化深度图，以产生一静态深度图sd_map；

混和所述动态深度图m_map及所述静态深度图sd_map，以产生一混和深度图fd_map，其中，所述混合深度图fd_map随所述静态深度图sd_map的增加而增加以及所述动态深度图m_map决定一个fd_map及sd_map的线性方程式的fd_map截距及斜率；

根据所述混合深度图fd_map及所述视频单元(c)的紧邻前一个视频单元(c-1)及紧邻前第二个视频单元(c-2)的二个时域调变深度图tm_map_c-1(y,x)及tm_map_c-2(y,x)，得到所述视频单元(c)的时域调变深度图tm_map_c(y,x)；

根据下一个视频单元(c+1)的色相、彩度及亮度信息，沿着一第四方向，对所述时域调变深度图tm_map_c(y,x)进行一非线性方大运算以得到一初始深度图；以及

根据该初始深度图，得到该最终深度图；

其中，所述第四方向为x方向及y方向的至少其一。

10.如权利要求9所述的方法，其特征在于，所述fd_map及sd_map的线性方程式的表示式如下：

fd_map(y,x)=((((255-w3×m_map(y,x))×sd_map(y,x)))/255)+w3×m_map(y,x)；

其中，y为行索引，x表示列索引，w3是可调整的；

其中，所述时域调变深度图tm_map_c的表示式如下：

tm_mapc(y,x)=tm_map_c-1(y,x)+γ×length；

length=min[abs((fd_map(y,x)–tm_map_c-1(y,x))–(tm_map_c-1(y,x)-tm_map_c-2(y,x))),lth]；以及

$\mathrm{\&gamma;}=1-\mathrm{abs}\left[\frac{\mathrm{tm}\_{\mathrm{map}}_{c-1}(y,x)-\mathrm{tm}\_{\mathrm{map}}_{c-2}(y,x)}{1\mathrm{th}}\right];$

其中，lth是一常数。

11.如权利要求9所述的方法，其特征在于，所述进行所述非线性方大运算步骤包含：

在所述时域调变深度图tm_map_c的第四方向上，选择二相邻像素；

根据所述下一个视频单元(c+1)的色相、彩度及亮度信息，得到所述二相邻像素及其中间像素的对应色相、彩度及亮度信息；

比较所述二相邻像素的其一与所述中间像素间的第一绝对色相、彩度及亮度差异，以及所述二相邻像素的另一与所述中间像素间的第二绝对色相、彩度及亮度差异；

根据所述第一绝对色相、彩度及亮度差异、所述第二绝对色相、彩度及亮度差异以及所述二相邻像素的深度值，计算所述中间像素的深度值；以及

重复所述选择步骤、所述得到步骤、所述比较步骤及所述计算步骤，直到处理完所有中间像素为止；

其中，所述第一绝对色相、彩度及亮度差异的表示式如下：

ΔD₁=ph·ΔH₁+ps·ΔS₁+pl·ΔL₁；

其中，所述第二绝对色相、彩度及亮度差异的表示式如下：

ΔD₂=ph·ΔH₂+ps·ΔS₂+pl·ΔL₂；

其中，

ΔH₁=min[abs(h₁-h_x),{([(1-max[h₁,h_x])+min[h₁,h_x]])}]；

ΔH₂=min[abs(h₂-h_x),{([(1-max[h₂,h_x])+min[h₂,h_x]])}]；

ΔS₁=abs(s₁-s_x)；

ΔS₂=abs(s₂-s_x)；

ΔL₁=abs(l₁-l_x)；以及

ΔL₂=abs(l₂-l_x)；

其中，h_X、h₁及h₂分别表示所述中间像素及所述二相邻像素的色相信息；

其中，S_X、S₁及S₂分别表示所述中间像素及所述二相邻像素的彩度信息；以及

其中，l_X、l₁及l₂分别表示所述中间像素及所述二相邻像素的亮度信息。

12.一种深度图产生装置，适用于将二维影像数据转换成三维影像数据，其特征在于，包含：

缩小元件，用以缩小一视频单元(c)及一先前视频单元(c-1)缩小，以产生一缩小视频单元及一缩小先前视频单元；

第一分割元件，用以分别将所述缩小视频单元分割成多个区段以及将一缓冲器分割成多个储存单元；

移动估计元件，用以根据建立在所述缩小先前视频单元的一预设搜寻视窗内所有像素，对所述缩小视频单元内的一目标像素，进行一移动估计以得到所述目标像素的移动向量；

指定元件，用以根据所述移动向量，指定一第一深度值给所述目标像素；

储存元件，用以将所述目标像素储存于所述储存单元的其一，其中，其余储存单元储存所述缩小先前视频单元的至少一区段；

重复元件，用以重复所述移动估计元件、所述指定元件及所述储存元件的动作直到处理完所述缩小视频单元的所有像素为止，以得到一动态深度图；以及

第一产生元件，用以根据该动态深度图，产生一最终深度图；

其中，所述区段的数目小于所述储存单元的数目；以及

其中，各所述储存单元的容量大于或等于各所述区段的大小。

13.如权利要求12所述的装置，其特征在于，所述移动估计为一个四方向的同步搜寻。

14.如权利要求12所述的装置，其特征在于，所述目标像素及所述预设搜寻视窗的中心，在所述缩小视频单元及所述缩小先前视频单元中具有相同坐标，以及其中所述缩小先前视频单元被分成多个区段。

15.如权利要求12所述的装置，其特征在于，所述预设搜寻视窗的大小等于((2×m)-1)×((2×m)-1)，其中，m代表各所述区段的高度。

16.如权利要求12所述的装置，其特征在于，更包含：

第二分割元件，当一复杂解析度等于一下限时，用以根据一像素区块要进行转换的点数，将所述缩小视频单元分割成一第一数目的像素区块；

形成元件，当所述复杂解析度介于所述下限及一上限之间时，根据所述像素区块要进行转换的点数、所述缩小视频单元的亮度数据与大小以及一第二数目的像素区块的大小，形成所述第二数目的像素区块；

转换元件，用以依序将所述像素区块转换成多个频域区块；

乘法元件，用以将各所述频域区块相对应的振幅矩阵乘以一权重矩阵，以得到一乘积矩阵，其中，在所述权重矩阵中，对应中高频分量的权重元素大于其他权重元素；以及

第二产生元件，用以根据各乘积矩阵，得到各相对应第二深度值，进而产生一复杂度深度图；

其中，所述第一数目小于所述第二数目；

其中，所述第二数目随着所述复杂解析度变高而增加；以及

其中，该第一产生元件，更根据该复杂度深度图，产生该最终深度图。

17.一种深度图产生方法，适用于将二维影像数据转换成三维影像数据，其特征在于，包含：

将一视频单元(c)缩小，以得到一缩小视频单元；

当一复杂解析度等于一下限时，根据一像素区块要进行转换的点数，将所述缩小视频单元分割成一第一数目的像素区块；

当所述复杂解析度介于所述下限及一上限之间时，根据所述像素区块要进行转换的点数、所述缩小视频单元的亮度数据与大小以及一第二数目的像素区块的大小，形成所述第二数目的像素区块；

依序将所述像素区块转换成多个频域区块；

将各所述频域区块乘以一权重矩阵，以得到一乘积矩阵，其中，在所述权重矩阵中，对应中高频分量的权重元素大于其他权重元素；

根据各乘积矩阵，得到各相对应深度值，进而产生一复杂度深度图；以及

根据该复杂度深度图，得到该最终深度图；

其中，所述第一数目小于所述第二数目；以及

其中，所述第二数目随着所述复杂解析度变高而增加。

18.如权利要求17所述的方法，其特征在于，所述形成所述第二数目的像素区块的步骤包含：

根据所述缩小视频单元及所述第二数目的像素区块分别在一第一方向上的尺寸，计算在所述第一方向上的偏移间距；

根据所述像素区块要进行转换的点数、所述缩小视频单元及所述第二数目的像素区块分别在所述第一方向上的尺寸，计算一缩放因子，以在所述第一方向上放大所述第一数目；

根据所述偏移间距及所述像素区块要进行转换的点数，计算在一镜射区的所述第一方向上多个镜射像素的数目，其中，所述镜射像素分别设置在形成于一第二方向上的二个镜射区中；以及

根据所述镜射像素的数目、所述偏移间距、所述缩放因子以及所述缩小视频单元的影像数据，形成所述第二数目的像素区块；

其中，所述第一方向垂直于所述第二方向。

19.如权利要求17所述的方法，其特征在于，所述得到所述深度值的步骤包含：

累加各所述乘积矩阵的元素，以得到各相对应第一总和；以及

将各所述相对应第一总和除以一预设因子，以得到各所述相对应深度值；

其中，所述预设因子等于所述权重矩阵的元素总和乘上一比例值。

20.如权利要求17所述的方法，其特征在于，在所述权重矩阵中，对应一直流分量的权重元素被设为0。

21.如权利要求17所述的方法，其特征在于，更包含：

将所述视频单元(c)分成多个聚积区块；

对所述视频单元(c)中所有像素，计算亮度值对一第三方向的一阶导数fd；

沿着各所述聚积区块的所述第三方向，累加亮度值的一阶导数持续落在一预设范围内的像素数目Np，以得到各所述聚积区块的第二总和，其中，th2≤Np≤th1，且th1及th2为正整数；以及

根据各所述聚积区块的第二总和，得到一光影变化深度图；

其中，所述第三方向为x方向及y方向的至少其一。

22.如权利要求21所述的方法，其特征在于，所述累加步骤包含：

当所述第三方向为x方向时，对各所述聚积区块的每一行像素，累加亮度值的一阶导数持续落在所述预设范围内的像素数目Np，以得到各所述聚积区块的所述第二总和；以及

当所述第三方向为y方向时，对各所述聚积区块的每一列像素，累加亮度值的一阶导数持续落在所述预设范围内的像素数目Np，以得到各所述聚积区块的所述第二总和。

23.如权利要求21所述的方法，其特征在于，其中该得到该最终深度图步骤包含：

混和所述复杂度深度图及所述光影变化深度图，以产生一混和深度图fd_map；

根据所述混合深度图fd_map及所述视频单元(c)的紧邻前一个视频单元(c-1)及紧邻前第二个视频单元(c-2)的二个时域调变深度图tm_map_c-1(y,x)及tm_map_c-2(y,x)，得到所述视频单元(c)的时域调变深度图tm_map_c(y,x)；

根据下一个视频单元(c+1)的色相、彩度及亮度信息，沿着一第四方向，对所述时域调变深度图tm_map_c(y,x)进行一非线性放大运算以得到一初始深度图；以及

根据该初始深度图，得到该最终深度图；

其中，所述第四方向为x方向及y方向的至少其一。

24.如权利要求23所述的方法，其特征在于，所述时域调变深度图tm_map_c的表示式如下：

tm_map_c(y,x)=tm_map_c-1(y,x)+γ×length；

length=min[abs((fd_map(y,x)-tm_map_c-1(y,x))-(tm_map_c-1(y,x)-tm_map_c-2(y,x))),lth]；以及

$\mathrm{\&gamma;}=1-\mathrm{abs}\left[\frac{\mathrm{tm}\_{\mathrm{map}}_{c-1}(y,x)-\mathrm{tm}\_{\mathrm{map}}_{c-2}(y,x)}{1\mathrm{th}}\right];$

其中，y为行索引，x表示列索引，lth是一常数。

25.如权利要求23所述的方法，其特征在于，所述进行所述非线性放大运算步骤包含：

在所述时域调变深度图tm_map_c的第四方向上，选择二相邻像素；

根据所述下一个视频单元(c+1)的色相、彩度及亮度信息，得到所述二相邻像素及其中间像素的对应色相、彩度及亮度信息；

比较所述二相邻像素的其一与所述中间像素间的第一绝对色相、彩度及亮度差异，以及所述二相邻像素的另一与所述中间像素间的第二绝对色相、彩度及亮度差异；

根据所述第一绝对色相、彩度及亮度差异、所述第二绝对色相、彩度及亮度差异及所述二相邻像素的深度值，计算所述中间像素的深度值；以及

重复所述选择步骤、所述得到步骤、所述比较步骤及所述计算步骤，直到处理完所有中间像素为止；

其中，所述第一绝对色相、彩度及亮度差异的表示式如下：

ΔD₁=ph·ΔH₁+ps·ΔS₁+pl·ΔL₁；

其中，所述第二绝对色相、彩度及亮度差异的表示式如下：

ΔD₂=ph·ΔH₂+ps·ΔS₂+pl·ΔL₂；

其中，

ΔH₁=min[abs(h₁-h_x),{([(1-max[h₁,h_x])+min[h₁,h_x]])}]；

ΔH₂=min[abs(h₂-h_x),{([(1-max[h₂,h_x])+min[h₂,h_x]])}]；

ΔS₁=abs(s₁-s_x)；

ΔS₂=abs(s₂-s_x)；

ΔL₁=abs(l₁-l_x)；以及

ΔL₂=abs(l₂-l_x)；

其中，h_X、h₁及h₂分别表示所述中间像素及所述二相邻像素的色相信息；

其中，S_X、S₁及S₂分别表示所述中间像素及所述二相邻像素的彩度信息；以及

其中，l_X、l₁及l₂分别表示所述中间像素及所述二相邻像素的亮度信息。

26.一种深度图产生装置，适用于将二维影像数据转换成三维影像数据，其特征在于，包含：

缩小元件，用以将一视频单元(c)缩小，以产生一缩小视频单元；

第一分割元件，当一复杂解析度等于一下限时，根据一像素区块要进行转换的点数，将所述缩小视频单元分割成一第一数目的像素区块；

第一形成元件，当所述复杂解析度介于所述下限及一上限之间时，根据所述像素区块要进行转换的点数、所述缩小视频单元的亮度数据与大小以及一第二数目的像素区块的大小，形成所述第二数目的像素区块；

转换元件，用以依序将所述像素区块转换成多个频域区块；

乘法元件，用以将各所述频域区块相对应的振幅矩阵乘以一权重矩阵，以得到一乘积矩阵，其中，在所述权重矩阵中，对应中高频分量的权重元素大于其他权重元素；

第一产生元件，用以根据各乘积矩阵，得到各相对应深度值，进而产生一复杂度深度图；以及

第二产生元件，用以根据该复杂度深度图，产生一最终深度图；

其中，所述第一数目小于所述第二数目；以及

其中，所述第二数目随着所述复杂解析度变高而增加。

27.如权利要求26所述的装置，其特征在于，所述第一形成元件包含：

第一计算元件，用以根据所述缩小视频单元及所述第二数目的像素区块分别在一第一方向上的尺寸，计算在所述第一方向上的偏移间距；

第二计算元件，用以根据所述像素区块要进行转换的点数、所述缩小视频单元及所述第二数目的像素区块分别在所述第一方向上的尺寸，计算一缩放因子，以在所述第一方向上放大所述第一数目；

第三计算元件，用以根据所述偏移间距及所述像素区块要进行转换的点数，计算在一镜射区的所述第一方向上多个镜射像素的数目，其中，所述镜射像素分别设置在形成于一第二方向上的二个镜射区中；以及

第二形成元件，用以根据所述镜射像素的数目、所述偏移间距、所述缩放因子以及所述缩小视频单元的影像数据，形成所述第二数目的像素区块；

其中，所述第一方向垂直于所述第二方向。

28.如权利要求26所述的装置，其特征在于，所述第一产生元件包含：

第一累加元件，用以累加各所述乘积矩阵的元素，以得到各相对应第一总和；以及

除法元件，用以将各所述相对应第一总和除以一预设因子，以得到各所述相对应深度值；

其中，所述预设因子等于所述权重矩阵的元素总和乘上一比例值。

29.如权利要求26所述的装置，其特征在于，在所述权重矩阵中，对应一直流分量的权重元素被设为0。

30.如权利要求26所述的装置，其特征在于，更包含：

第二分割元件，用以将所述视频单元(c)分割成多个聚积区块；

第四计算元件，用以对所述视频单元(c)中所有像素，计算亮度值对一第三方向的一阶导数；

第二累加元件，用以沿着各所述聚积区块的所述第三方向，累加像素亮度值的一阶导数持续落在一预设范围内的像素数目Np，以得到各所述聚积区块的第二总和，其中，th2≤Np≤th1，且th1及th2为正整数；以及

第三产生元件，用以根据各所述聚积区块的第二总和，得到一光影变化深度图；

其中，所述第三方向为x方向及y方向的至少其一；以及

其中，该第二产生元件更根据该光影变化深度图，产生该最终深度图。

31.一种深度图产生方法，适用于将二维影像数据转换成三维影像数据，其特征在于，包含：

将所述视频单元(c)分成多个聚积区块；

对所述视频单元(c)中所有像素，计算亮度值对一第一方向的一阶导数fd；

沿着各所述聚积区块的所述第一方向，累加亮度值的一阶导数fd持续落在一预设范围内的像素数目Np，以得到各所述聚积区块的总和，其中，th2≤Np≤th1，且th1及th2为正整数；

根据各所述聚积区块的总和，得到一光影变化深度图；以及

根据该光影变化深度图，得到该最终深度图；

其中，所述第一方向为x方向及y方向的至少其一。

32.如权利要求31所述的方法，其特征在于，所述得到所述光影变化深度图的步骤包含：

将各所述聚积区块的总和乘以一权重因子以得到各相对应第一深度值，进而得到所述光影变化深度图。

33.如权利要求31所述的方法，其特征在于，所述累加步骤包含：

当所述第一方向为x方向时，对各所述聚积区块的每一行像素，累加像素亮度值的一阶导数fd持续落在所述预设范围内的像素数目Np，以得到各所述聚积区块的总和；以及

当所述第一方向为y方向时，对各所述聚积区块的每一列像素，累加像素亮度值的一阶导数fd持续落在所述预设范围内的像素数目Np，以得到各所述聚积区块的总和。

34.如权利要求31所述的方法，其特征在于，当所述第一方向包含x方向及y方向时，所述累加步骤包含：

沿着各所述聚积区块的x方向及y方向的其一方向，累加亮度值对所述其一方向的一阶导数fd持续落在所述预设范围内的像素数目Np；

之后，沿着各所述聚积区块的x方向及y方向的另一方向，累加亮度值对所述另一方向的一阶导数fd持续落在所述预设范围内的像素数目Np，以得到所述总和。

35.如权利要求31所述的方法，其特征在于，所述预设范围为v2≤|fd|≤v1，以及其中v1及v2是可调整的。

36.如权利要求31所述的方法，其特征在于，更包含：

将所述视频单元(c)及一先前视频单元(c-1)缩小，以得到一缩小视频单元及一缩小先前视频单元；

分别将所述缩小视频单元分割成多个区段以及将一缓冲器分割成多个储存单元；

根据建立在所述缩小先前视频单元的一预设搜寻视窗内所有像素，对所述缩小视频单元内的一目标像素，进行一移动估计以得到所述目标像素的移动向量；

根据所述移动向量，指定一第二深度值给所述目标像素；

将所述目标像素储存于所述储存单元的其一，其中，其余储存单元储存所述缩小先前视频单元的至少一区段；以及

重复所述进行移动估计步骤、所述指定步骤及所述储存步骤直到处理完所述缩小视频单元的所有像素为止，以得到一动态深度图m_map；

其中，所述区段的数目小于所述储存单元的数目；以及

其中，各所述储存单元的容量大于或等于各所述区段的大小。

37.如权利要求36所述的方法，其特征在于，所述目标像素及所述预设搜寻视窗的中心，在所述缩小视频单元及所述缩小先前视频单元中，具有相同坐标，以及其中所述移动估计为一个四方向的同步搜寻。

38.如权利要求36所述的方法，其特征在于，其中该得到该最终深度图步骤包含：

混和所述动态深度图m_map及所述光影变化深度图i_map，以产生一混和深度图fd_map，其中，所述混合深度图fd_map随所述光影变化深度图i_map增加而增加以及所述动态深度图m_map决定一个fd_map及i_map的线性方程式的fd_map截距及斜率；

根据所述混合深度图fd_map及所述视频单元(c)的紧邻前一个视频单元(c-1)及紧邻前第二个视频单元(c-2)的二个时域调变深度图tm_map_c-1(y,x)及tm_map_c-2(y,x)，得到所述视频单元(c)的时域调变深度图tm_map_c(y,x)；

根据下一个视频单元(c+1)的色相、彩度及亮度信息，沿着一第二方向，对所述时域调变深度图tm_map_c(y,x)进行一非线性放大运算以得到一初始深度图；以及

根据该初始深度图，得到该最终深度图；

其中，所述第二方向为x方向及y方向的至少其一。

39.如权利要求38所述的方法，其特征在于，所述fd_map及i_map的线性方程式的表示式如下：

fd_map(y,x)=((((255-w3×m_map(y,x))×i_map(y,x)))/255)+w3×m_map(y,x)；

其中，y为行索引，x为列索引，w3是可调整的；

其中，所述时域调变深度图tm_map_c的表示式如下：

tm_map_c(y,x)=tm_map_c-1(y,x)+γ×length；

length=min[abs((fd_map(y,x)-tm_map_c-1(y,x))-(tm_map_c-1(y,x)-tm_map_c-2(y,x))),lth]；以及

$\mathrm{\&gamma;}=1-\mathrm{abs}\left[\frac{\mathrm{tm}\_{\mathrm{map}}_{c-1}(y,x)-\mathrm{tm}\_{\mathrm{map}}_{c-2}(y,x)}{1\mathrm{th}}\right];$

其中，lth是一常数。

40.如权利要求38所述的方法，其特征在于，所述进行所述非线性放大运算步骤包含：

在所述时域调变深度图tm_map_c的第二方向上，选择二相邻像素；

根据所述下一个视频单元(c+1)的色相、彩度及亮度信息，得到所述二相邻像素及其中间像素的对应色相、彩度及亮度信息；

比较所述二相邻像素的其一与所述中间像素间的第一绝对色相、彩度及亮度差异，以及所述二相邻像素的另一与所述中间像素间的第二绝对色相、彩度及亮度差异；

根据所述第一绝对色相、彩度及亮度差异、所述第二绝对色相、彩度及亮度差异及所述二相邻像素的深度值，计算所述中间像素的深度值；以及

重复所述选择步骤、所述得到步骤、所述比较步骤及所述计算步骤，直到处理完所有中间像素为止；

其中，所述第一绝对色相、彩度及亮度差异的表示式如下：

ΔD₁=ph·ΔH₁+ps·ΔS₁+pl·ΔL₁；

其中，所述第二绝对色相、彩度及亮度差异的表示式如下：

ΔD₂=ph·ΔH₂+ps·ΔS₂+pl·ΔL₂；

其中，

ΔH₁=min[abs(h₁-h_x),{([(1-max[h₁,h_x])+min[h₁,h_x]])}]；

ΔH₂=min[abs(h₂-h_x),{([(1-max[h₂,h_x])+min[h₂,h_x]])}]；

ΔS₁=abs(s₁-s_x)；

ΔS₂=abs(s₂-s_x)；

ΔL₁=abs(l₁-l_x)；以及

ΔL₂=abs(l₂-l_x)；

其中，h_X、h₁及h₂分别表示所述中间像素及所述二相邻像素的色相信息；

其中，S_X、S₁及S₂分别表示所述中间像素及所述二相邻像素的彩度信息；以及

其中，l_X、l₁及l₂分别表示所述中间像素及所述二相邻像素的亮度信息。

41.一种深度图产生装置，适用于将二维影像数据转换成三维影像数据，其特征在于，包含：

第一分割元件，用以将一视频单元(c)分割成多个聚积区块；

计算元件，用以对所述视频单元(c)中所有像素，计算亮度值对一方向的一阶导数fd；

第一累加元件，沿着各所述聚积区块的所述方向，累加亮度值的一阶导数fd持续落在一预设范围内的像素数目Np，以得到各所述聚积区块的总和，其中，th2≤Np≤th1，且th1及th2为正整数；

第一产生元件，用以根据各所述聚积区块的总和，产生一光影变化深度图；以及

第二产生元件，用以根据该光影变化深度图，产生一最终深度图；

其中，所述方向为x方向及y方向的至少其一。

42.如权利要求41所述的装置，其特征在于，所述第一产生元件包含：

乘法元件，用以将各所述聚积区块的总和乘以一权重因子以得到各相对应第一深度值，进而产生所述光影变化深度图。

43.如权利要求41所述的装置，其特征在于，所述第一累加元件包含：

第二累加元件，当所述方向为x方向时，对各所述聚积区块的每一行像素，累加像素亮度值的一阶导数fd持续落在所述预设范围内的数目Np，以得到各所述聚积区块的总和；以及

第三累加元件，当所述方向为y方向时，对各所述聚积区块的每一列像素，累加亮度值的一阶导数fd持续落在所述预设范围内的像素数目Np，以得到各所述聚积区块的总和。

44.如权利要求41所述的装置，其特征在于，所述预设范围为v2≤|fd|≤v1，以及其中v1及v2是可调整的。

45.如权利要求41所述的装置，其特征在于，更包含：

缩小元件，用以缩小所述视频单元(c)及一先前视频单元(c-1)缩小，以产生一缩小视频单元及一缩小先前视频单元；

第二分割元件，用以分别将所述缩小视频单元分割成多个区段以及将一缓冲器分割成多个储存单元；

移动估计元件，用以根据建立在所述缩小先前视频单元的一预设搜寻视窗内所有像素，对所述缩小视频单元内的一目标像素，进行移动估计以得到所述目标像素的移动向量；

指定元件，用以根据所述移动向量，指定一第二深度值给所述目标像素；

储存元件，用以将所述目标像素储存于所述储存单元的其一，其中，其余储存单元储存所述缩小视频单元的至少一区段；以及

重复元件，用以重复所述移动估计元件、所述指定元件及所述储存元件的动作直到处理完所述缩小视频单元的所有像素为止，以得到一动态深度图；

其中，所述区段的数目小于所述储存单元的数目；

其中，各所述储存单元的容量大于或等于各所述区段的大小；以及

其中，该第二产生元件更根据该动态变化深度图，产生该最终深度图。

Images