CN102307307A - 产生立体影片深度图的方法 - Google Patents

Abstract

本发明利用判断立体影片之前后画面的相似度，来加快立体影片之深度图的计算。第一阶段先比较前后两张画面中像素的颜色相似度，第二阶段从前一张画面选取复数个特征点，找出该等特征点在后一张画面的位置，并计算出该等特征点在前后两张画面中的平均位移量。如果前后画面颇为相似，则根据前一张画面的深度图，得出下一张画面的深度图，依此来加快立体影片之深度图的计算。应用本发明来计算立体影片的深度图可以减少运算时间，加快立体影片的深度图计算速度。此外，利用光流法及前一张画面的深度图所推估出来的深度图无法避免的势必会产生破洞，此时可以找出后一张画面中对应该破洞的像素，参考其周围邻近像素（如周围3×3范围内的像素）中颜色最相近的像素，取该颜色最相近的像素的深度值作为对应该破洞的像素的深度值。

Description

产生立体影片深度图的方法

技术领域

本发明是关于一种产生立体影片的深度图的方法，特别有关一种能够加速产生该立体影片的深度图的方法。

背景技术

目前三维立体呈像多半是利用视差原理来实现，藉由产生提供给左眼的影像及提供给右眼的影像，使观者在适当角度观看画面时产生三维空间感。双视角（two-view）立体影片即是利用此原理制成的影片，其每一幅画面均包含提供给左眼的影像及提供给右眼的影像。利用双视角影片可计算出画面中对象的相对距离的深度信息，各像素的深度信息即构成深度图（disparity map）。配合所得出的深度图能够将双视角立体影片进一步合成以形成多视角（multi-view）的立体影片。

然而，深度图（或深度关系图）的建构非常耗时，在处理双视角影片时，由于每一幅画面均须计算出相对的深度图，其计算量非常庞大。在现今已知的技术当中，能够计算出相对最精准的深度图的便是由Smith等人于CVPR 2009所发表的“Stereo Matching with Nonparametric Smoothness Priors in Feature Space”。但是，此一方法的缺点在于计算时间冗长，以左右眼影像为分辨率720×576的双视角立体图片为例，计算其深度图大略需要二至三分钟，当要计算出双视角立体影片中每张画面的深度图时，其计算成本将会非常高。

有些计算深度图的算法则是希望可以达到比较快的速度，不过其深度图便不够精确，在目前已知的技术当中，由Gupta及Cho于3DPVT 2010所发表的“Real-time Stereo Matching using Adaptive Binary Window”便是目前速度最快且效果上可被接受的方法。此一方法的计算速度可以达到五秒一张，但是其所得到的深度图仍然相当不精准。三维影片在制作上往往需要高精准度的深度图，然利用此一方法所得到的深度图过于粗略，以致在后续合成时常有明显的错误发生。

有鉴于此，如何提升立体影片的深度图的计算效率，同时维持深度图的精确度，实为目前企需努力之目标。

 

发明内容

本发明之一目的在于提供一种产生立体影片的深度图的方法，其能够加快该立体影片的深度图的计算速度。

为达前述目的，本发明提供一种产生立体影片的深度图的方法，该立体影片为由前后两相邻的一第一画面及一第二画面构成的影像串流，该方法包含步骤：利用一预定的算法计算出相应于该第一画面的一第一深度图；计算该第一画面与该第二画面中像素的平均颜色差异量；从该第一画面选区复数个特征点，找出该等特征点在该第二画面之位置，并计算该等特征点在该第一画面与该第二画面中的平均位移量；以及当该平均颜色差异量小于一第一阈值，且当该平均位移量小于一第二阈值，则根据该第一深度图以及于该第一画面所取的特征点在该第二画面的位置，来得出相应于该第二画面的一第二深度图，否则利用该预定的算法来计算出该第二深度图。

本发明中，某些相似的画面中可利用前一张画面的深度图来推估后一张画面的深度图，其计算量会比利用特定算法重新计算深度图来得小，因此应用本发明来计算立体影片的深度图可以减少运算时间，加快立体影片的深度图计算速度。经过实测，大约55%的画面可以利用光流法来做深度值计算的加速，因此计算整体影片的深度信息的速度将可大幅地增加。此外，利用光流法及前一张画面的深度图所推估出来的深度图无法避免的势必会产生破洞，此时可以找出后一张画面中对应该破洞的像素，参考其周围邻近像素（如周围3×3范围内的像素）中颜色最相近的像素，取该颜色最相近的像素的深度值作为对应该破洞的像素的深度值。

 

附图说明

图1显示本发明的产生立体影片的深度图的方法的流程示意图。

图2显示本发明中决定前后两画面中像素的平均颜色差异量的阈值的流程示意图。

图3显示本发明中决定前后两画面中特征点的平均位移量的阈值的流程示意图。

图4显示本发明中利用光流法及前一张画面的深度图推估后一张画面的深度图的流程示意图。

图5显示本发明利用内插法得出被包围的像素的特征向量的说明示意图。

S12~S18       步骤              S22~S28       步骤

S32~S38       步骤              S42~S46       步骤

【主要组件符号说明】

S12~S18       步骤              S22~S28       步骤

S32~S38       步骤              S42~S46       步骤

具体实施方式

双视角（two-view）立体影片串流中，每一幅画面均包含提供给左眼的影像及提供给右眼的影像，藉由此双视角信息计算其深度关系是一项非常耗时的工作。本发明考虑到影片本身有所谓的时间轴关联性（time coherence），利用判断前后画面的相似度，来加快立体影片的深度图的计算。在判断前后画面的相似度的部份，本发明采用两个阶段来进行，第一阶段先比较前后两张画面中像素的颜色相似度，第二阶段从前一张画面选区复数个特征点，找出这些特征点在后一张画面的位置，并计算出这些特征点在前后两张画面中的位移程度。如果前后画面颇为相似，则可根据前一张画面的深度图，得出下一张画面的深度图，依此来加快立体影片的深度图的计算。配合所得出的深度图，可将二维影片以三维显示技术显示而产生三维的效果，亦可配合深度图将双视角立体影片进一步合成以形成多视角（multi-view）立体影片，此合成方法称为基于深度图像绘图法（depth image based rendering）。

图1显示本发明产生立体影片的深度图的方法的流程示意图。首先，在步骤S12中，将该立体影片中相邻的前后两张画面进行颜色比对，计算前后两张画面中像素的平均颜色差异量，以判断其颜色相似度，如果这两张画面的颜色相似度很高，则进行下一阶段的比对，亦即步骤S14，从前一张画面选取复数个特征点，利用光流法（optical flow）找出这些特征点在后一张画面的位置，并计算出这些特征点在前后两画面中的平均位移量，以判断前后两张画面中对象的移动程度。如果这两张画面的颜色相似度很高，且该等特征点的平均位移量不大，亦即通过步骤S12及步骤S14的比对，表示这两张画面颇为类似，则可根据前一张画面所取的特征点在后一张画面的位置以及前一张画面的深度图，来对应得出后一张画面的深度图，如步骤S16所示。在步骤S12的颜色比对中，若前后两张画面的颜色相似度很低，该平均颜色差异过大，则须重新计算后一张画面的深度图，以预定的算法计算出较为精确的深度图，如步骤S18所示。在步骤S14的位移量比对中，若前后两张画面中对象的移动程度很大，该等特征点的平均位移量过大，则须以预定的算法计算该后一张画面的深度图。只要没有通过步骤S12及步骤S14任一步骤的比对，即需以预定的算法来重新计算深度图。在本实施例中，是先进行步骤S12的颜色比对，于步骤S12比对通过后，再进行步骤S14的位移量比对，此是因颜色差异的计算相较于光流法的计算量要小得许多，如果前后画面的颜色差异已过大，则无必要进行位移量的比较，因此可以在较短的时间内决定是否重新计算较为精确的深度图。此外，前述预定的算法可采用Smith等人所开发的算法，来计算出相对最精确的深度图。此外，本发明不限于上述步骤S12的颜色比对及步骤S14的位移量比对，其它方式的比对亦能置入此一架构中，来加速深度图的计算。

于步骤S12的颜色比对中，针对前后两张画面中的像素计算其颜色差异度，计算公式如下：

                  （1）

   （2）

其中

是代表像素的平均颜色差异量，

是指在时间t时在(x,y)位置的像素，

则是一张影像当中的像素个数，P与Q代表前后两张画面中在相同位置的像素，P与Q的下标r、g、b则代表了P与Q这两个像素的红、绿、蓝值。本发明不限于上述采用的方式，亦可利用其它方式来计算前后两张画面中像素的平均颜色差异量。

当利用上述方式计算出前后两张画面中众像素的平均颜色差异量之后，将该平均颜色差异量与一第一阈值进行比较。当该平均颜色差异量小于该第一阈值，则判定为这两张画面的颜色相似度很高，可通过步骤S12的颜色比对，继续进行下一阶段的比对，如步骤S14的位移量比对。当该平均颜色差异量大于该第一阈值，则判定为这两张画面的颜色相似度不够高，亦即未通过步骤S12的颜色比对，则无必要进行步骤S14的位移量比对，须直接进行步骤S18中采用预定的算法来重新计算深度图。

配合参考图2，该第一阈值可采用如下方式来决定：

步骤S22：首先，选定任一立体影片的其中一个画面，并采用预定的算法计算出该画面的深度图，其中所采用的算法能够计算出较为精确的深度图。

步骤S24：从该选定的画面选取复数个特征点，利用光流法找出该等特征点在下一个画面的位置，并根据该选定之画面的深度图，对应得出该下一个画面的深度图，依此方式一一推估后续画面的深度图。

步骤S26：找出该等后续画面之深度图中，首先出现错误的深度图，并对应取出首先出现错误之深度图的画面。

步骤S28：利用上述公式（1）及（2），计算该选定的画面及前述出现错误的画面中像素的平均颜色差异量，此平均颜色差异量即可作为该第一阈值。

经反复实验测试，如果前后两张画面中像素的平均颜色差异量（

）超过5的话，利用光流法以及前一张画面的深度图来推估后一张画面的深度图，其错误率就会偏高，所以如果前后两个画面的平均颜色差异量（）超过该第一阈值的话，便应该重新利用该预定的算法，以较为精准的方式来计算深度图。经过实测，在一段双视角的立体测试影片当中，透过步骤S12的颜色比对，平均有20%的画面必须使用该预定的算法来重新计算深度图。

步骤S12的颜色比对有两个主要的目的，一是为了加快是否需重新计算深度图的判断速度，由于直接比对颜色会比光流法的计算来得快速，所以一开始即采用颜色比对；二是如果两张画面颜色差异过大，像是镜头快速移动或者转换场景时，此时若只有使用步骤S14位移量的比对来决定是否必须重新计算深度图的话，其实并不太恰当，因为转换场景或者快速移动时，光流法可能无法正确算出每个像素的移动量，导致无法精准的掌握计算的结果，因此加上颜色差异度来加强判断是否重新计算深度图实有其必要性。

若通过步骤S12的颜色比对，则进行步骤S14的位移量比对。于步骤S14的位移量比对中，从前一张画面选取复数个特征点，利用光流法找出这些特征点在后一张画面的位置，并计算这些特征点在前后两画面中的位移量，在此采用的光流法是Lucas-Kanade算法，计算公式如下：

                                    （3）

其中是代表前后两张画面中该等特征点的平均位移量，

为每个特征点对应的特征向量（p）的长度，

为特征向量的个数。本发明不限于上述采用的方式，亦可利用其它方式来计算前后两张画面中所取特征点的平均位移量。在前述从前一张画面选取特征点的步骤中，可实施为每两个像素只取一个特征点，亦可以每个像素都作为特征点，但每间隔几个像素取一个特征点有助于加快计算的速度。

当利用上述方式计算出前后两张画面中该等特征点的平均位移量之后，将该平均位移量与一第二阈值进行比较。当该平均位移量小于该第二阈值，则判定为这两张画面中对象的位置变动程度不高，可通过步骤S14的位移量比对，接着进入步骤S16，配合光流法所得出之前一张画面所取的特征点在后一张画面的位置，并且根据前一张画面的深度图，来对应得出后一张画面的深度图。当该平均位移量大于该第二阈值，则判定为这两张画面中对象的位置变动程度很高，因此无法通过步骤S14的位移量比对，须进行步骤S18中采用预定的算法来重新计算深度图。

配合参考图3，该第二阈值可采用如下方式来决定：

步骤S32：首先，选定任一立体影片的其中一个画面，并采用预定的算法计算出该画面的深度图，其中所采用的算法能够计算出较为精确的深度图。

步骤S34：从该选定的画面选取复数个特征点，利用光流法找出该等特征点在下一个画面的位置，并根据该选定之画面的深度图，对应得出该下一个画面的深度图，依此方式一一推估后续画面的深度图。

步骤S36：找出该等后续画面之深度图中，首先出现与预期理想差异过大的深度图，并对应取出首先出现不如预期之深度图的画面。

步骤S38：利用上述公式（3），计算该等特征点在该选定的画面及前述不如预期之深度图的画面中的平均位移量，此平均位移量即可作为该第二阈值。

经反复实验测试，该第二阈值为2.1，如果前后两张画面中之特征点的平均位移量（

）超过2.1的话，利用光流法以及前一张画面的深度图来推估后一张画面的深度图，其错误率就会偏高，所以如果前后两个画面之特征点的平均位移量（

）超过该第二阈值的话，便应该重新利用该预定的算法，以较为精准的方式来计算深度图。经过实测，透过步骤S14的位移量比对所过滤出来必须要重新计算深度图的画面大约占整体影片的25%，再加上透过步骤S12的颜色比对所过滤出20%必须重新计算的画面，必须重新计算的画面大约占整体影片的45%，也就是说大约55%的画面可以由后续的步骤S16利用光流法来做深度值计算的加速，也因此计算整体影片的深度信息的速度将可大幅地增加。

若是通过了步骤S12的颜色比对及步骤S14的位移量比对，表示前后两张画面的相似度颇高，便可利用光流法及前一张画面的深度图来推估后一张画面的深度图，否则须以预定的算法来重新计算深度图。配合参考图4及图5，以下详细描述图1步骤S16中如何利用光流法来推估深度图。

步骤S42：首先，使用步骤S14在前一张画面（

）所选取的该等特征点，如图5中所示，每两个像素取一个特征点，利用光流法计算出该等特征点在后一张画面（

）的位置以及每个特征点的特征向量（如第5图所示的实线箭头）。

步骤S44：图5中，前一张画面有些像素没有被选为特征点，但仍可利用内插法得出这些像素在后一张画面的位置。利用包围在他四周的特征点的特征向量，即可内插得出被包围的像素的特征向量（如图5所示的虚线箭头），并计算出该被包围的像素在后一张画面的位置。前述内插法可采用双线性内插法（bilinear interpolation）。

步骤S46：将前一张画面中该等特征点的深度值，填入由步骤S42得出的该等特征点在后一张画面的位置；并且将前一张画面中被该等特征点包围的像素的深度值，填入由步骤S44得出的该被包围的像素在后一张画面的位置。因此，根据前一张画面的深度图以及前一张画面中每个特征点及该被包围的像素在后一张画面的位置，可对应得出后一张画面的深度图。

在前述方式中，由于利用光流法及前一张画面的深度图来推估后一张画面的深度图，其计算量会比利用特定算法重新计算深度图来得小，因此应用本发明来计算立体影片的深度图可以减少运算时间，加快立体影片的深度图计算速度。

此外，利用光流法及前一张画面的深度图所推估出来的深度图无法避免的势必会产生破洞，此时可以找出后一张画面中对应该破洞的像素，参考其周围邻近像素（如周围3×3范围内的像素）中颜色最相近的像素，取该颜色最相近的像素的深度值作为对应该破洞的像素的深度值。

综上所述，虽然本发明已用较佳实施例揭露如上，然其并非用以限定本发明，本发明所属技术领域中具有通常知识者，在不脱离本发明之精神和范围内，当可作各种之更动与润饰，因此本发明之保护范围当视后附之申请专利范围所界定者为准。

Claims (10)

1.一种产生立体影片之深度图的方法，其特征在于，该立体影片系为由前后两相邻的一第一画面及一第二画面构成的影像串流，该方法包含步骤：

利用一预定的算法计算出相应于该第一画面的一第一深度图；

计算该第一画面与该第二画面中像素的平均颜色差异量；

从该第一画面选取复数个特征点，找出该等特征点在该第二画面之位置，并计算该等特征点在该第一画面与该第二画面中的平均位移量；以及

当该平均颜色差异量小于一第一阈值，且当该平均位移量小于一第二阈值，则根据该第一深度图以及于该第一画面所取的特征点在该第二画面的位置，来得出相应于该第二画面的一第二深度图，否则利用该预定的算法来计算出该第二深度图。

2.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中是先判断该平均颜色差异量是否小于该第一阈值，再判断该平均位移量是否小于该第二阈值。

3.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中该平均位移量是利用光流法（optical flow）计算而得。

4.根据权利要求3所述的产生立体影片的深度图的方法，其特征在于，其中该光流法的计算公式如下：

                        

其中是代表该等特征点在该第一画面与该第二画面中的平均位移量，

为每个特征点对应之特征向量（p）的长度，

为该等特征向量的个数。

5.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中该第一阈值是藉由下列步骤来决定：

选定一画面，并根据该预定的算法计算出该画面的深度图；

利用光流法以及前一张画面的深度图，一一推估后续画面的深度图，并找出首先出现错误之深度图的画面；以及

计算该选定的画面及前述出现错误的画面中像素的平均颜色差异量，作为该第一阈值。

6.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中该第二阈值是藉由下列步骤来决定：

选定一画面，并根据该预定的算法计算出该画面的深度图；

利用光流法以及前一张画面的深度图，一一推估后续画面的深度图，并找出首先出现错误之深度图的画面；以及

从该选定的画面中选取复数个特征点，找出该等特征点在前述出现错误的画面的位置，并计算该等特征点在该选定的画面与前述出现错误的画面中的平均位移量，作为该第二阈值。

7.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中根据该第一画面的该深度图以推估得出该第二画面的该第二深度图是包含下列步骤：

利用从该第一画面所选取该等特征点，计算出该等特征点在该第二画面的位置以及该等特征点的特征向量；

使用内插法，将该等特征点的特征向量，内插得出被该等特征点包围之像素的特征向量，以得出被包围之该像素在该第二画面的位置；以及

根据该第一画面的该第一深度图以及该第一画面中该等特征点及被包围之该像素在该第二画面的位置，对应得出该第二画面的该第二深度图。

8.根据权利要求7所述的产生立体影片的深度图的方法，其特征在于，其中该内插法是为一双线性内插法。

9.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中当该第二画面的该第二深度图具有破洞，则找出该第二画面中对应该破洞的像素，参考其周围邻近像素中颜色最相近的像素，取该颜色最相近的像素的深度值作为对应该破洞的像素的深度值。

10.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中该立体影片为一双视角影片。

Images