CN102695064A

CN102695064A - 即时立体影像产生装置与方法

Info

Publication number: CN102695064A
Application number: CN2011101271609A
Authority: CN
Inventors: 郑芳炫; 张祐维
Original assignee: Individual
Current assignee: Individual
Priority date: 2011-03-25
Filing date: 2011-05-17
Publication date: 2012-09-26
Anticipated expiration: 2031-05-17
Also published as: TWI419078B; TW201239809A; US20120242789A1; CN102695064B; US8704875B2

Abstract

本发明公开一种即时立体影像产生装置与方法。其利用2D影像中物体的深度资讯以改变原2D影像内物体的所在位置，以产生出一组有视差的双眼影像，由于原影像经由变动后的双眼影像中会产生空洞的问题，因此以影像填补的方法，分别将双眼影像的左眼以及右眼影像做填补，依照影像的结构性将影像中的空洞填补起来，成为一个完整的3D双眼立体影像。利用本发明的装置与方法，可即时将2D影像直接转换为3D双眼立体影像。

Description

即时立体影像产生装置与方法

技术领域

本发明涉及一种影像处理技术，尤其是涉及将2D影像与影片转换成3D影像与影片的装置与方法。

背景技术

一般产生立体影像的方式为DIBR(Depth-Image-Based Rendering)，其利用影像的深度资讯与立体摄影机(Toe-in或Off-axis的立体摄影机设置方式)的几何关系，以改变影像中物体的位置，产生一组有视差的虚拟双眼立体影像。产生立体影像后，必须填补因像素位置变动所造成的空洞问题，一般影像填补的方法必须经过空洞填补顺序、影像方向性、相似度等复杂的计算，皆非常耗时；且为达及时产生立体影像，通常会以空洞旁的像素直接填补空洞区域。由于影像填补演算法必须不断的更新填补优先权，所以计算量非常的庞大，且计算方式属于变动的，不适于硬件设计，必须由比较固定规则的计算方式方能克服。

现在3D立体视觉的产品越来越多，但是还是没有办法普及到一般的使用者；因为立体影像取得不易，拍摄的仪器也非常昂贵，且一般的电视业者并没有办法提供这种立体影片的服务，因此现在大多都只有应用在游戏以及电影上。现有的产生立体影像处理技术大都以软件的运算方式来实现，且在应用上皆需要通过电脑的运算才能执行，无法达到即时运算即时应用的目的，若要即时应用则需配合高单价的高速运算器如Compute Unified Device Architecture(CUDA)来完成，成本太高，不符效益。

因此，各种提升影像处理速度的方式相继出现，然其计算仍占了整体运算的一大部分，实际影像填补所占的时间却相对之少，主要是因其影像填补方式是以一个简单的方式直接由空洞旁的像素向内来做填补，这种填补方式在空洞小的情况下效果差强人意，若是空洞过大则会造成填补效果极不理想，同时空洞填补演算法，计算优先权的动作不易于硬件电路设计，因为必须一直更新填补优先权的值，每填补一个空洞，就要重新更新一次，非常耗时。

因此，申请人有鉴于现有技术的缺失，乃思一克服不规则的计算方式，完全以硬件的方式实现，简化空洞填补演算法的步骤，达到2D影像即时转换成3D双眼立体影像的目标，同时可开发成芯片，具有低成本且可即时显示的方法，进而发明出本案「即时立体影像产生装置与方法」，用以改善上述现有手段的缺失。

发明内容

本发明的目的即时立体影像产生装置与方法，即是将一复杂的影像填补方法予以简化且设计成一个适合硬件执行的方法，并将其应用于立体影像产生时所需的空洞填补技术，因此本发明具有硬件直接运算与快速填补影像空洞以产生及时立体影像的功能。

为达前述目的，本发明提供一种即时立体影像产生装置，耦接至一立体影像显示装置，其基于一原始2D影像及一深度地图影像即时产生一立体影像，该即时立体影像产生装置包含：一讯号控制器，耦接于该立体影像显示装置，用以控制该即时立体影像产生装置的讯号时序及流程并输出该立体影像至该立体影像显示装置；一3D影像产生器，耦接于该讯号控制器，用以接收该原始2D影像及该深度地图影像并转换成一对有视差的双眼影像；一杂散空洞处理器，耦接于该讯号控制器，其利用一第一遮罩，以填补一杂散空洞；一梯度产生器，耦接于该讯号控制器，其是利用一第二遮罩与一RGB像素值以计算该对有视差的双眼影像的一梯度方向，并产生一梯度方向值；以及一空洞填补处理器，耦接于该讯号控制器，用以重复搜寻一空洞边缘参考点并依循该梯度方向搜寻一填补候选点，再以该填补候选点方向性的一点回填该空洞，直到搜寻不到该空洞边缘参考点后，即传送该立体影像至该讯号控制器，并耦接至立体影像显示装置。

根据上述构想，其中该空洞填补处理器在搜寻该填补参考点时，会先作色彩空间的转换，即将RGB的色彩空间转换到YCbCr的色彩空间，并以YCbCr的色彩空间来计算一色差，并以该色差最接近的点做为该填补参考点，再以该填补参考点的一方向性的点填补该空洞边缘点旁的一空洞内。

根据上述目的，本发明另一方面提出一种即时立体影像产生方法，应用于一立体影像显示装置，包含下列步骤：(a)转换一原始影像成为一对双眼立体影像；(b)填补该对双眼立体影像的多个细小空洞区域；(c)搜寻一空洞的一边缘参考点；(d)搜寻该空洞的一填补候选点，以该边缘参考点的方向性搜寻，并以颜色色差最接近的点作为该填补候选点；(e)以该填补候选点方向性的点填回该空洞；以及(f)重复步骤(c)～(e)，当搜寻不到该边缘参考点时，即传输一立体影像至该立体影像显示装置。

因此本发明的效能即在能够将产生立体影像的处理加以硬件化，使得立体影像能够即时产生，让使用者能够更容易的就可以使用立体视觉的产品，符合3D显示装置的市场需求。

附图说明

图1显示本发明的系统架构示意图。

图2显示本发明一种即时立体影像产生方法的系统流程图。

图3显示本发明一种即时立体影像产生装置的方块图。

图4显示本发明一杂散空洞效果图。

图5a、5b是本发明一实施例的两组3×3杂讯滤除遮罩示意图，其中‘1’代表正常像素，‘0’代表空洞像素，‘X’为不处理像素。

图6是本发明一实施例的杂散空洞填补处理完成影像效果图。

图7是本发明一实施例3×3遮罩的控制讯号对应位置示意图。

图8a、8b、8c是本发明一实施例的空洞填补演算法示意图，其中图8a所示为在来源区域搜寻空洞边缘参考点、图8b所示为在来源区域搜寻空洞填补候选点、图8c为填补空洞区域方式。

图9a、9b是本发明一实施例的空洞边缘效果图。

具体实施方式

本案将可由以下的实施例说明而得到充分了解，使得本领域技术人员可据以完成，然本案的实施并非可由下列实施例而被限制其实施型态。

请参见图1，其显示本发明一种即时立体影像产生装置的系统架构图，为了将原始的2D影像12直接转换成3D立体影像，必须利用深度摄影机取得深度资讯，或是利用立体摄影机来计算相对的深度资讯，或是以影像分析的方式利用颜色、清晰度、几何位置、物体大小等方法，来估算影像中的深度资讯，在本实施例中，是采影像分析的方式以获得深度地图影像11，接着将2D影像12与深度地图影像11于3D影像位移13中，利用DIBR的方法产生一对左右立体影像。当产生立体影像的过程中，由于移动了影像的物体位置，造成影像中有空洞产生，必须利用影像填补(image inpainting)方法填补空洞，因此须分别实施左影像填补14与右影像填补15，填补完毕后将左影像与右影像输出至3D影像显示器，以供一般使用者更能方便地享受立体视觉。

请参见图2，其显示本发明一种即时立体影像产生方法的系统流程图，首先利用DIBR方法产生一对双眼立体影像21，接着填补杂散空洞22，此空洞是因为深度连续变化时所产生的细小空洞区域，在本实施例中，以3×3的遮罩来执行，填补完细小的空洞区域后，再计算影像的梯度方向23，以便接下来的影像填补法使用，接着再搜寻空洞边缘参考点24，找到边缘参考点后再以边缘参考点为颜色基础，以方向性搜寻空洞填补候选点25，并以颜色色差最接近的点做为填补候选点，再以填补候选点的方向性的点做为填补的点填补边缘点旁的空洞区域26，重复步骤24～26的搜寻与填补的动作直到没有空洞为止，最后输出立体影像27至一立体影像显示装置。

请参见图3，其显示本发明一种即时立体影像产生装置的方块图，包含一3D影像产生器31、一杂散空洞处理器32、一梯度产生器33、一空洞填补处理器34、一存储器35、以及一讯号控制器36，其中存储器35储存立体影像的像素值以及梯度值，并以讯号控制器控制每个区块的输入输出。

在3D影像产生器31中，以Shift-sensor立体摄影机的设定方式，可得到下列方程式：

Left：

u + (\frac{{ft}_{c}}{2 Z_{c}} - \frac{{ft}_{c}}{2 Z})

Right：

u - (\frac{{ft}_{c}}{2 Z_{c}} - \frac{{ft}_{c}}{2 Z})

此方程式用以设计3D影像位移的功能，并将影像产生的位址加上计算的位移量，再将输入的像素储存到对应的存储器位址内。

请参见图4，其是本发明一杂散空洞效果图，当产生双眼影像时，会因为深度的变化较缓和，而产生杂散的空洞出现在影像中。为了填补这些杂散的区域，将两组3×3遮罩对左右眼影像做扫描，两组3×3的遮罩如图5a及5b所示。以这两组遮罩扫描，若有区块符合任一个遮罩，则其空洞的像素值会由相符遮罩的其他像素色彩值的平均值填入，重复扫描直到完全没有符合两组遮罩为止，每一空格代表是否为空洞的旗标位元，若空格旗标＝1表示有像素值，空格旗标＝0则代表为空洞。处理完成的影像结果即如图6所示。

在杂散空洞处理器32中，由3×3遮罩所对应的存储器位址读出存储器内的数据，再判断是否有符合其中一组的3×3遮罩，将符合遮罩的空洞由四周的像素平均值填补回存储器中。3×3遮罩所对应的位址以及遮罩的控制讯号(0000～1000)的对应位置如图7所示。

在梯度产生器33中，使用5×5的Sobel遮罩分别与影像的R、G、B像素值做计算，并计算影像中每一点的梯度方向，以便接下来的影像填补法来使用，计算梯度方向的公式如下，

S_{x} = [\begin{matrix} 1 & 2 & 0 & - 2 & - 1 \\ 4 & 8 & 0 & - 8 & - 4 \\ 6 & 12 & 0 & - 12 & - 6 \\ 4 & 8 & 0 & - 8 & - 4 \\ 1 & 2 & 0 & - 2 & - 1 \end{matrix}],

S_{y} = [\begin{matrix} - 1 & - 4 & - 6 & - 4 & - 1 \\ - 2 & - 8 & - 12 & - 8 & - 2 \\ 0 & 0 & 0 & 0 & 0 \\ 2 & 8 & 12 & 8 & 2 \\ 1 & 4 & 6 & 4 & 1 \end{matrix}]

g_xx＝|Gx_R|²+|Gx_G|²+|Gx_B|² g_yy＝|Gy_R|²+|Gy_G|²+|Gy_B|²

g_xy＝Gx_R*Gy_R+Gx_G*Gy_G+Gx_B*Gy_B

θ = \frac{1}{2} \tan^{- 1} [\frac{2 g_{xy}}{(g_{xx} - g_{yy})}]

其中tan-1的角度计算，是以查表的方式设计。

梯度计算的硬件设计概念与杂散空洞填补的设计概念相类似，因为都运用遮罩的方法，动作流程是由一5×5遮罩所对应的存储器位址读出存储器内的数据，再计算出梯度方向，再将计算出的梯度方向值写入储存梯度方向值的存储器内。

梯度方向的计算是以暂存5×5区块内的像素值，依照其控制讯号计算梯度值以及梯度方向值，计有包含0°、22°、45°、67°、90°、112°、135°、157°及180°等九个方向值。

请参见图8a、8b、8c，其是本发明一实施例的空洞填补演算法示意图，其中图8a所示为在来源区域搜寻空洞区域边缘的参考点，8b所示为在来源区域搜寻空洞填补候选点，8c所示为填补空洞区域方式。在一实施例中，空洞填补演算法被简化成下列三个主要步骤：

步骤1：搜寻空洞边缘参考点，寻找空洞旁边的点，当作搜寻的参考点。

步骤2：搜寻空洞填补候选点，以参考点的方向性，以方向性搜寻填补候选点，并以颜色色差最接近的点做为填补候选点。

步骤3：填补目标空洞，以填补候选点方向性的点填回原本的空洞。

重复步骤1、2、3，直到搜寻不到空洞边缘参考点。

在搜寻填补候选点时，会先作色彩空间的转换，将RGB的色彩空间转换到YCbCr的色彩空间，以YCbCr的色彩空间来计算色差。上一级参考点的位址与梯度方向值会依照方向性产生位址，以便存储器35内的像素值与参考点的像素值计算色差，最后将色差最小的点的位址与梯度方向值输出给下一级空洞填补使用。输入空洞的位址与读出的像素值，确定为有效像素值后，将像素值写入至存储器35中。

整个演算法的计算必须经过一次产生立体影像的图像扫描，接着做3×3遮罩的多次扫描，再做计算梯度方向的5×5遮罩的一次扫描，最后再做填补空洞的多次图片扫描。因此计算复杂度的表示式如下：

\frac{p + 9 np + 25 p + mp}{f_{q}}

其中p表示图片的大小，n为3×3遮罩扫描的次数，m为填补空洞时扫描的次数，fq为时脉的频率。通常m会等于图中最大空洞区块的宽度。在一实施例中，于150MHz的时脉下(320×24030fps)可达到即时计算的目标。

请参见图9a、9b，其是本发明一实施例的空洞边缘效果图，其中黑色代表空洞，灰色代表像素值，从未填补完的立体图可知，由旗标讯号的上升缘与下降缘变化即可找出空洞边缘参考点，将所找到的边缘点像素值跟方向值与位址输出至存储器35。

为使本发明更清楚，请参阅附件1及附件2，附件1是显示本发明产生影像的流程示意图。附件2是显示本发明产生影像的流程示意图。

接着，以六种不同背景类型的影像实施例做其结果的分析，六种影像的计算时间如下列表1所示，从中即可看出这个方法足以达到即时的计算。

表1：

人工背景的影像	8513224 ns＝＞8.5ms
		天空背景的影像	9298261 ns＝＞9.3ms
棋盘式背景的影像	8709884 ns＝＞8.7ms
		前景物件相互遮盖的影像	7800324 ns＝＞7.8ms
室内物品照片的影像	8491192 ns＝＞8.5ms

户外自然风景照片

9731466 ns＝＞9.7ms

请参阅附件3，其是本发明实施例的人工背景的影像结果图，其中(a)原始影像(b)深度图(c)未做任何填补的左眼图(d)未做任何填补的右眼图(e)含有空洞区域的左眼图(f)含有空洞区域的右眼图(g)完成填补的左眼图(h)完成填补的右眼图(i)左右眼插排图。原始影像为保龄球及保龄球瓶放置于木制球道上，球道上各木片的颜色及纹路皆不同，填补结果的颜色与纹路大致都是正确的。

请参阅附件4，其是本发明实施例的自然背景的影像结果图，其中(a)原始影像(b)深度图(c)未做任何填补的左眼图(d)未做任何填补的右眼图(e)含有空洞区域的左眼图(f)含有空洞区域的右眼图(g)完成填补的左眼图(h)完成填补的右眼图(i)左右眼插排图。原始影像选择了一个生物飞行于天空中的影像，背景是属于自然不规则的影像。图片显示背景的填补较人工背景好，这是因为背景是属于不规则的背景，所以填补优先顺序的影响较小。(g)及(h)图中，翅膀附近以及两脚中间处有些地方填补不完美，这是因为翅膀附近的前景区域非常的窄造成这种填补错误的现象，以及两脚中间区域的背景参考点太少，以致填补错误。

请参阅附件5，其是本发明实施例的棋盘式背景的影像结果图，其中(a)原始影像(b)深度图(c)未做任何填补的左眼图(d)未做任何填补的右眼图(e)含有空洞区域的左眼图(f)含有空洞区域的右眼图(g)完成填补的左眼图(h)完成填补的右眼图(i)左右眼插排图。原始影像选择了棋盘背景的影像，棋盘影像是由深色及浅色的方块所组成，填补结果有些许偏移的情形。

请参阅附件6，其是本发明实施例的前景物件相互遮盖的影像结果图，其中(a)原始影像(b)深度图(c)未做任何填补的左眼图(d)未做任何填补的右眼图(e)含有空洞区域的左眼图(f)含有空洞区域的右眼图(g)完成填补的左眼图(h)完成填补的右眼图(i)左右眼插排图。原始影像采用前景物件相互遮盖的影像，即选择一个有苹果和柳橙重叠的影像，苹果旁的空洞区域包含了背景及柳橙。结果显示纹里还是有一点点的偏移，以及柳橙的结果没有那么圆，但基本上颜色都是正确的。

请参阅附件7，其是本发明实施例的室内照片的影像结果图，其中(a)原始影像(b)深度图(c)未做任何填补的左眼图(d)未做任何填补的右眼图(e)含有空洞区域的左眼图(f)含有空洞区域的右眼图(g)完成填补的左眼图(h)完成填补的右眼图(i)左右眼插排图。原始影像采用室内物品照片，结果显示只有边缘的填补结果有一点偏移，但整体的效果是很好的。

请参阅附件8，其是本发明实施例的户外自然风景照片的影像结果图，其中(a)原始影像(b)深度图(c)未做任何填补的左眼图(d)未做任何填补的右眼图(e)含有空洞区域的左眼图(f)含有空洞区域的右眼图(g)完成填补的左眼图(h)完成填补的右眼图(i)左右眼插排图。原始影像采用户外自然风景照片的影像，结果显示只有边缘的填补结果有一点偏移，尤其是(g)及(h)图中栏杆的部分特别明显，但整体的效果是很好的。

综上所述，本案提出了一种由2D影像立即转换成3D双眼立体影像的装置与方法，不仅简化影像填补的步骤，缩短影像空洞填补时程，更可即时将2D影像直接转换为3D双眼立体影像，且能应用于立体影像显示装置中，符合市场需求。

以上说明对本发明而言只是说明性的，而非限制性的，本领域普通技术人员理解，在不脱离以下所附权利要求所限定的精神和范围的情况下，可做出许多修改，变化，或等效，但都将落入本发明的保护范围内。

Claims

1.一种即时立体影像产生装置，其特征在于，耦接至一立体影像显示装置，其基于一原始2D影像及一深度地图影像即时产生一立体影像，该即时立体影像产生装置包含：

一讯号控制器，耦接于该立体影像显示装置，用以控制该即时立体影像产生装置的讯号时序及流程并输出该立体影像至该立体影像显示装置；

一3D影像产生器，耦接于该讯号控制器，用以接收该原始2D影像及该深度地图影像并转换成一对有视差的双眼影像；

一杂散空洞处理器，耦接于该讯号控制器，其利用一第一遮罩，以填补一空洞；

一梯度产生器，耦接于该讯号控制器，其是利用一第二遮罩与一RGB像素值以计算该对有视差的双眼影像的一梯度方向，并产生一梯度方向值；以及

一空洞填补处理器，耦接于该讯号控制器，用以重复搜寻一空洞边缘参考点并依循该梯度方向搜寻一填补候选点，再以该填补候选点方向性的一点回填该空洞，直到搜寻不到该空洞边缘参考点后，即传送该立体影像至该讯号控制器。

2.根据权利要求1所述的即时立体影像产生装置，其特征在于，更包含一存储器，耦接于该讯号控制器，用以储存一位址、该RGB像素值及该梯度方向值。

3.根据权利要求1所述的即时立体影像产生装置，其特征在于，该3D影像产生器是利用一深度影像绘图法产生该对有视差的双眼影像。

4.根据权利要求1所述的即时立体影像产生装置，其特征在于，该对有视差的双眼影像因深度连续变化，而产生该杂散空洞。

5.根据权利要求1所述的即时立体影像产生装置，其特征在于，该第一遮罩是一3×3遮罩。

6.根据权利要求1所述的即时立体影像产生装置，其特征在于，该第二遮罩是一5×5遮罩。

7.根据权利要求1所述的即时立体影像产生装置，其特征在于，该空洞填补处理器在搜寻该填补参考点时，会先作色彩空间的转换，即将RGB的色彩空间转换到YCbCr的色彩空间，并以YCbCr的色彩空间来计算一色差，并以该色差最接近的点做为该填补参考点，再以该填补参考点的一方向性的点填补该空洞边缘点旁的一空洞内。

8.根据权利要求7所述的即时立体影像产生装置，其特征在于，该色差是由一前级填补参考点的一第一像素值与一次级填补参考点的一第二像素值计算而来，且各该像素值皆由各该填补参考点的位址与梯度方向值所产生，最后将色差最小的点的位址与梯度方向值输出给下一级空洞填补使用。

9.一种即时立体影像产生方法，其特征在于，应用于一立体影像显示装置，包含下列步骤：

(a)转换一原始影像成为一对双眼立体影像；

(b)填补该对双眼立体影像的多个细小空洞区域；

(c)搜寻一空洞的一边缘参考点；

(d)搜寻该空洞的一填补候选点，以该边缘参考点的方向性搜寻，并以颜色色差最接近的点作为该填补候选点；

(e)以该填补候选点方向性的点填回该空洞；以及

(f)重复步骤(c)～(e)，当搜寻不到该边缘参考点时，即传输一立体影像至该立体影像显示装置。

10.根据权利要求9所述的即时立体影像产生方法，其特征在于，步骤(a)是利用一深度影像绘图法产生该对双眼立体影像，其中该对双眼立体影像是一具有视差的虚拟影像，且因影像深度连续变化产生多个空洞区域于其上。

11.根据权利要求9所述的即时立体影像产生方法，其特征在于，步骤(b)是利用一3×3遮罩实施扫描以进行空洞填补作业。

12.根据权利要求9所述的即时立体影像产生方法，其特征在于，步骤(c)是以一flag旗标讯号的上升缘与下降缘变化来找出该边缘参考点。

13.根据权利要求9所述的即时立体影像产生方法，其特征在于，步骤(d)是利用一5×5遮罩分别与影像的RGB像素值，计算影像中每一点的梯度方向，产生一梯度方向值，以供后续影像空洞填补应用。

14.根据权利要求9所述的即时立体影像产生方法，其特征在于，步骤(d)在搜寻该填补参考点时，会先作色彩空间转换，即将一RGB的色彩空间转换到一YCbCr的色彩空间，并以该YCbCr的色彩空间来计算一色差。

15.根据权利要求14所述的即时立体影像产生方法，其特征在于，该色差是由一前级填补参考点的一第一像素值与一次级填补参考点的一第二像素值计算而来，且各该像素值皆由各该填补参考点的位址与梯度方向值所产生。