CN105025285A - 优化深度信息的方法与装置 - Google Patents

Abstract

本发明提供一种优化深度信息的方法与装置。该方法包括：将左图像与右图像其中之一划分成多个相关区块，以获取至少一区块分布图。获取待修复深度图，并依据多个主深度值与相机参数将待修复深度图区分成多个深度平面，其中待修复深度图记录这些主深度值且具有多个破洞。利用区块分布图而分别对各深度平面中的破洞产生多个优化深度值，并将这些优化深度值填补至各深度平面而获取优化深度图。

Description

优化深度信息的方法与装置

技术领域

本发明是有关于一种处理图像的方法及装置，且特别是有关于一种优化深度信息的方法与装置。

背景技术

随着图像处理技术的蓬勃发展，立体视觉技术(Stereo Vision)以逐渐且广泛地应用于各种领域。立体视觉广义来说可包括两个阶段，前期阶段包括利用深度摄像机、立体摄像机或是利用相关的三维立体图像演算法等方式来产生深度信息，而后其阶段为利用深度信息来产生不同视角的图像。由此可知，为了产生视觉体验较佳的立体图像，准确的深度信息是非常重要的。

对于具有双镜头的立体成像系统来说，立体成像系统的双镜头可拍摄同一区域不同角度的图像，而结合左、右镜头所拍摄图像间的像差信息以及预知的镜头间距，则可估测出图像中各个物件的深度信息。一般来说，深度信息往往可用一深度图(depth map)来表示，并利用记录在深度图上的深度值来表示二维图像中不同物件或像素点的深度。其中，基于区域关联性(local-correlation)以及像素匹配(pixel-wise matching)的深度产生演算法已普遍见于具有双镜头的立体成像系统中。

然而，基于区域关联所产生的深度图可能发生边缘模糊的情形，而像素匹配的方式也会导致庞大的计算量并且相当耗费存储器。也就是说，不同的深度信息产生演算法会具备不同的精确度与计算量。因此，如何在可允许的计算量与复杂度下产生精确的深度信息，并提高根据此深度信息所产生的三维图像的品质，是本领域技术人员所努力的方向之一。

发明内容

本发明提供一种优化深度信息的方法与装置，可降低深度信息的噪声并提高深度信息的精准度，从而使立体成像系统所产生的立体图像具备较佳的视觉体验。

本发明提出一种优化深度信息的方法，适用于一电子装置。左图像与右图像通过立体成像系统的拍摄而产生，所述方法包括下列步骤。将左图像与右图像其中之一划分成多个相关区块，以获取至少一区块分布图。获取待修复深度图，并依据多个主深度值与相机参数将待修复深度图区分成多个深度平面，其中待修复深度图记录这些主深度值且具有多个破洞。利用区块分布图而分别对各深度平面中的破洞产生多个优化深度值，并将这些优化深度值填补至各深度平面而获取结合各深度平面的优化深度图。

在本发明的一实施例中，上述的获取待修复深度图，并依据主深度值与相机参数将待修复深度图区分成多个深度平面的步骤包括下列步骤。依据主深度值与相机参数决定各主深度值的物距信息。各主深度值的物距信息，将待修复深度图划分成对应至相互相异的多个景深范围的深度平面，且深度平面包括至少一相似物距区域。

在本发明的一实施例中，上述的将左图像与右图像其中之一划分成相关区块，以获取区块分布图的步骤包括下列步骤。决定各深度平面的切割精细度，并依据切割精细度将关联于待修复深度图的左图像与右图像其中之一划分成多个相关区块，以获取分别对应至各个深度平面的区块分布图。

在本发明的一实施例中，上述的深度平面分别对应至相互相异的多个景深范围，而这些深度平面的切割精细度基于各深度平面所对应的景深范围而定。

在本发明的一实施例中，上述的被划分成多个相关区块的左图像或右图像具有多个第一像素，而依据切割精细度将关联于待修复深度图的左图像与右图像其中之一划分成这些相关区块的步骤包括下列步骤。比对第一像素中相互相邻的一第一相邻像素与一第二相邻像素而获取像素值差。依据此像素值差是否小于差异门槛值而决定是否连结第一相邻像素与第二相邻像素，从而将各第一像素区分至对应的相关区块，其中区块分布图的切割精细度依据差异门槛值而定。

在本发明的一实施例中，上述的依据切割精细度将关联于待修复深度图的左图像与右图像其中之一划分成这些相关区块的步骤还包括下列步骤。依据尺寸门槛值来限定各相关区块的区块尺寸而获取区块分布图。各相关区块的区块尺寸不大于此尺寸门槛值，而区块分布图的切割精细度依据此尺寸门槛值而定。

在本发明的一实施例中，上述的利用区块分布图而分别对各深度平面中的破洞产生多个优化深度值，并将这些优化深度值填补至各深度平面而获取结合各深度平面的优化深度图的步骤包括下列步骤。将各深度平面的至少一相似物距区域依据各自对应的区块分布图而分割成多个第一深度区块，并依据各第一深度区块中的破洞的数目而获取第一有效密度值。依据此第一有效密度值而决定是否计算各第一深度区块的第一深度统计值，并将第一深度统计值作为优化深度值之一而填补部分的破洞。

在本发明的一实施例中，上述的依据第一有效密度值而决定是否计算各第一深度区块的第一深度统计值的步骤包括下列步骤。依据各第一深度区块的第一有效密度值而获取各第一深度区块的处理顺序。依据此处理顺序是否为高优先顺序而决定是否填补各第一深度区块中的破洞。

在本发明的一实施例中，在上述的获取待修复深度图的步骤之前，所述方法还包括下列步骤。对左图像与右图像进行三维深度估测，以获取关联于左图像与右图像之一且对应至多个第一像素的主深度图。此主深度图记录分别对应至这些第一像素的主深度值。利用区块分布图来判断第一像素所对应的主深度值是否符合可信赖条件，并将主深度值中不符合可信赖条件的多个无效深度值从主深度图中移除，从而产生包括多个破洞的待修复深度图。

在本发明的一实施例中，在上述利用区块分布图来判断第一像素所对应的主深度值是否符合可信赖条件，并将主深度值中不符合可信赖条件的无效深度值从主深度图中移除，从而产生包括破洞的待修复深度图的步骤包括下列步骤。依据区块分布图将主深度图分成多个深度区块，并分别对各深度区块内的主深度值进行统计运算而获取统计结果。依据统计结果判断主深度值是否为无效深度值中的多个第一无效深度值，并将第一无效深度值从主深度图中移除，从而产生待修复深度图上的破洞。

从另一观点来看，本发明提出一种优化深度信息的装置，且此装置通过立体成像系统的拍摄而获取左图像与右图像。此装置包括记录多个模块的储存单元以及一或多个处理单元。上述处理单元耦接储存单元，存取并执行储存单元中记录的模块。这些模块包括区块分布图获取模块、深度平面分割模块以及补洞模块。区块分布图获取模块将左图像与右图像其中之一划分成多个相关区块，以获取至少一区块分布图。深度平面分割模块获取待修复深度图，并依据多个主深度值与相机参数将待修复深度图区分成多个深度平面。此待修复深度图记录这些主深度值且具有多个破洞。补洞模块利用区块分布图而分别对各深度平面中的破洞产生多个优化深度值，并将这些优化深度值填补至各深度平面而获取结合各个深度平面的优化深度图。

基于上述，在本发明的产生深度信息的实施例中，先依据各深度值所对应的物距信息将具有破洞的待修复深度图区分成多个深度平面，再通过不同尺寸的区块分割方式对各个深度平面进行补洞处理。据此，本发明可通过各深度平面所对应的景深范围来进一步决定区块分割图的切割精细度，从而依据物距信息而适应性的利用不同的区块分割方式来产生优化深度值。藉此，本发明可依据破洞周围的信息来产生更贴近真实状况的优化深度值，以产生噪声含量低且准确度高的深度图。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1为本发明一实施例所示出的产生深度信息的装置的方块图；

图2为本发明一实施例所示出的产生深度信息的方法的流程图；

图3A为本发明划分左图像或右图像的实施例示意图；

图3B为本发明区块分布图的局部实施例示意图；

图4为本发明一实施例所示出的产生深度信息的方法的运作示意图；

图5为本发明一实施例所示出的产生待修复深度图的流程图；

图6为本发明一实施例所示出的依据统计结果移除无效深度值的实施例示意图；

图7为本发明一实施例所示出的依据密度移除无效深度值的实施例示意图；

图8为本发明一实施例所示出的对待修复深度图进行补洞的运作示意图；

图9A与图9B为本发明一实施例所示出的产生优化深度图的流程图；

图10为图8的实施例所示的区块分布图的实施例示意图；

图11为本发明一实施例所示出的优化深度信息的装置的方块图；

图12是本发明一实施例所示出的优化深度信息的方法的流程图；

图13为本发明一实施例所示出的深度平面的实施例示意图；

图14为本发明一实施例所示出的对待修复深度图进行补洞的运作示意图。

附图标记说明：

10、20：图像处理装置；

14、24：储存单元；

142、242：深度估测模块；

144、244：区块分布图获取模块；

146、246：无效深度移除模块；

148、248：补洞模块；

249：深度平面分割模块；

16、26：处理单元；

Img_1、Img_14：图像；

P1～P5：像素；

Z1～Z6、dz_a、dz_b、Z_c、Z_d：相关区块；

dz_1、dz_2：深度区块；

m_1、m_2：区块分布图；

Img_R：右图像；

Img_L：左图像；

dm_1：主深度图；

dm_2：辅深度图；

dm_3、dm_14：待修复深度图；

dm_4、dm_15：优化深度图；

d1～d3：主深度值；

h1～h4：破洞；

dz_4：主深度值；

R1：限定范围；

m_f：第一区块分布图群组；

m_c：第二区块分布图群组；

m_f1、m_f2：第一区块分布图；

m_c1、m_c2：第二区块分布图；

14a、14b、14c：被摄物件；

14a_zone、14b_zone、14c_zone：相似物距区域；

d_p1、d_p2、d_p3、dp_m1～dp_mn：深度平面；

14_1～14_m：区块分布图群组；

14_11～14_1n、14_m1～14_mn：区块分布图；

S201～S204、S501～S506、S901～S909、S9021～S9023、S9051～S9052、S9081～S9082，S1201～S1206、S12041～S12042：优化深度信息方法的各步骤。

具体实施方式

图1是本发明一实施例所示出的产生深度信息的装置的方块图。请参照图1，本实施例的图像处理装置10例如是移动电话、平板电脑、台式电脑、笔记本电脑或包含立体成像系统(未示出)的立体像机，在此不设限。也就是说，图像处理装置10可以是包括立体成像系统的图像获取装置。另外，图像处理装置10也可以是与具有立体成像系统的图像获取装置相互耦接的其他电子装置，本发明对此不设限。图像处理装置10包括储存单元14以及一个或多个处理单元(本实施例仅以处理单元16为例做说明，但不限于此)，其功能如下所述。

储存单元14例如是随机存取存储器(random access memory)、闪存(Flash)或其他的存储器，用以储存数据与多个模块。上述模块包括深度估测模块142、区块分布图获取模块144、无效深度移除模块146以及补洞模块148，这些模块例如是电脑程序，其可载入处理单元16，从而执行产生深度信息的功能。换言之，处理单元16耦接储存单元14并用以执行这些模块，从而控制图像处理装置10执行产生深度信息的功能。处理单元16可以例如是中央处理单元(Central Processing Unit，CPU)、微处理器(Microprocessor)、专用集成电路(Application Specific Integrated Circuits，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)或其他具备运算能力的硬件装置。

图2是本发明一实施例所示出的产生深度信息的方法的流程图。请参照图2，本实施例的方法适用于图1的图像处理装置10，以下即搭配图像处理装置10中的各项元件说明本实施例的产生深度信息的方法的详细步骤。

首先，深度估测模块142取得由立体成像系统拍摄的左图像及右图像，并对左图像与右图像进行三维深度估测，以获取关联于左图像与右图像其中之一且对应至多个第一像素的主深度图(步骤S201)。此主深度图记录分别对应至这些第一像素的多个主深度值。进一步来说，在一实施例中，立体成像系统包括两个图像感测模块，此两个图像感测模块其镜头设置位置可区分为左图像感测模块与右图像感测模块。基此，当使用者按下快门键或下达拍摄命令时，左图像感测模块与右图像感测模块可针对同一场景拍摄不同角度的图像(左图像与右图像)。

详细来说，左图像包括多个左像素，而右图像包括多个右像素。深度估测模块142可计算左图像及右图像上相互对应的左像素与右像素的像差。其中，上述像差为相互对应的左像素与右像素在左图像及右图像上的位移。基此，深度估测模块142可依据左镜头及右镜头拍摄左图像及右图像的焦距、左镜头及右镜头的镜头间距，以及相对应的左像素与右像素之间的像差，估测左图像上各个左像素的深度值与右图像上各个右像素的深度值。也就是说，深度估测模块142可获取以左图像为基底的左深度图以及以右图像为基底的右深度图。

需说明的是，本实施例的主深度图可以是以左图像为基底的左深度图，也可以是以右图像为基底的右深度图，本发明对此并不限制。也就是说，当主深度图是以左图像为基底的左深度图时，主深度图上会记录分别对应至这些左像素的多个主深度值。当主深度图是以右图像为基底的右深度图时，右深度图上会记录分别对应至这些右像素的多个主深度值。

回到图2的流程，区块分布图获取模块144依据各第一像素的像素信息，将关联于主深度图的左图像或右图像划分成多个相关区块，以获取包括这些相关区块的一区块分布图(步骤S202)。也就是说，当主深度图为左深度图时，区块分布图获取模块144依据各个左像素的像素信息将左图像划分成多个相关区块，以获取包括这些相关区块的区块分布图。另一方面，当主深度图为右深度图时，区块分布图获取模块144依据各个右像素的像素信息将右图像划分成多个相关区块，以获取包括这些相关区块的区块分布图。

在一实施例中，区块分布图获取模块144比对这些左像素(右像素)中相互相邻的第一相邻像素与第二相邻像素，以判断第一相邻像素与第二相邻像素之间的像素值差是否小于一差异门槛值。在此，第一相邻像素的像素值与第二相邻像素的像素值相减会产生像素值差。若此像素值差小于差异门槛值，区块分布图获取模块144连结第一相邻像素与第二相邻像素而形成相关区块中的第一相关区块。此第一相关区块至少包括第一相邻像素与第二相邻像素。

具体来说，当主深度图为左深度图时，区块分布图获取模块144例如可计算各个左像素的色彩参数而获取各个左像素的像素值，以将这些像素值做为用以产生区块分布图的像素信息。举例而言，区块分布图获取模块144可计算左像素的红、绿、蓝(RGB)色度分量，以获取左像素于不同色度通道上的像素值。相似的，区块分布图获取模块144也可计算左像素的亮度(Y)及色度分量(Cb、Cr)，以获取左像素在亮度通道或色度通道上的像素值。

藉此，区块分布图获取模块144通过比对相互相邻的左像素的像素值而产生像素值差，并依据两相邻像素之间的像素值差而决定是否连结两相邻像素。倘若两相邻像素之间的像素值差小于差异门槛值，将被划分至同一相关区块。换言之，左图像依据各个左像素的色彩表现而被区分成各个相关区块，且位于同一相关区块内的左像素的色彩表现彼此相似。

举例来说，图3A为本发明划分左图像或右图像的实施例示意图。请参照图3A，假设图像Img_1包括像素P1～P5。在本实施例中，区块分布图获取模块144先以像素P1作为基准点，并计算像素P1的像素值。接着，区块分布图获取模块144比对像素P1与周围其他像素点的像素值。如图3A所示，由于像素P1与像素P2之间的像素值差小于差异门槛值，因此区块分布图获取模块144将连结像素P1与像素P2。相似的，由于像素P1与像素P4之间的像素值差小于差异门槛值，因此区块分布图获取模块144将连结像素P1与像素P4。

再者，由于相邻的像素P2与像素P3之间的像素值差小于差异门槛值，因此区块分布图获取模块144连结像素P2与像素P3。相反地，由于相邻的像素P3与像素P5之间的像素值差大于差异门槛值，因此区块分布图获取模块144并不会连结像素P3与像素P5，而像素P5也就不会被划分至相关区块Z1内。总而言之，通过比对相互相邻的像素之间的像素值，区块分布图获取模块144可获取以像素P1为中心基准点所形成的相关区块Z1，且相关区块Z1内的各个像素点的色彩表现与像素P1的色彩表现相似。

承上述，依据各个像素的所在位置以及其像素值，图像Img_1将被划分成多个相关区块，而区块分布图获取模块144也可获取包括这些相关区块的区块分布图。可以知道的是，各相关区块所涵盖的区块尺寸将随差异门槛值的上升而增加。此外，在一实施例中，区块分布图获取模块144还可依据尺寸门槛值来限定各相关区块的区块尺寸而获取区块分布图，其中各相关区块的区块尺寸不大于尺寸门槛值。且，各相关区块所涵盖的区块尺寸将随尺寸门槛值的上升而增加。总的来说，基于差异门槛值与尺寸门槛值的设定，区块分布图获取模块144可决定区块分布图的切割精细度。

也就是说，在区块分布图获取模块144决定差异门槛值的高低、中心基准点设定方式以及尺寸门槛值的大小之后，区块分布图获取模块144就可通过将图像分割成多个相关区块而获取具有一特定切割精细度的一张区块分布图。举例而言，图3B为本发明区块分布图的局部实施例示意图。请参照图3B，区块分布图m_1包括多个相关区块Z2～Z6，且各个相关区块Z2～Z6的涵盖区域的大小与形状皆不相同。但本发明不以此为限。此技术领域中具有通常知识者当可依据实际需求来决定差异门槛值的高低、中心基准点设定方式以及尺寸门槛值的大小，此处不再赘述。

回到图2的流程，无效深度移除模块146利用此区块分布图来判断这些第一像素所对应的主深度值是否符合可信赖条件，并将这些主深度值中不符合可信赖条件的多个无效深度值从主深度图中移除，从而产生包括多个破洞的待修复深度图(步骤S203)。具体来说，无效深度移除模块146可利用区块分布图来得知各个主深度值周围的深度信息，并通过各个主深度值周围的其他深度信息来判断各个主深度值是否符合可信赖条件，以将可视为无效深度值的主深度值从主深度图中移除而生成待修复深度图。

之后，补洞模块148利用此区块分布图而分别对待修复深度图中的这些破洞产生多个优化深度值，并将这些优化深度值填补至待修复深度图而产生优化深度图(步骤S204)。详细来说，区块分布图是依据像素的相似程度与像素的位置关系而获取，因此左图像或右图像上的同一个相关区块内的像素具有一定的关联性。因此，无效深度移除模块146可利用区块分布图获取模块144产生的区块分布图将主深度图划分成多个深度区块，而同一深度区块内的主深度值应当也具备一定的关联性。

基此，无效深度移除模块146与补洞模块148可基于同一深度区块内的主深度值具备一定的关联性的特性，来判断各主深度值是否为无效深度值并产生更佳的优化深度值来填补因为无效深度值被移除所产生的破洞。藉此，本实施例的图像处理装置10可利用原始左图像或原始右图像所提供的图像内容信息对深度图进行进一步的优化动作，而产生精确度更高的优化深度图。

为了进一步清楚说明本发明，图4为本发明一实施例所示出的产生深度信息的方法的运作示意图。请参照图4，深度估测模块142接收立体成像系统所拍摄的左图像Img_L以及右图像Img_R。深度估测模块142对左图像Img_L以及右图像Img_R进行三维深度估测而获取主深度图dm_1以及辅深度图dm_2。在本实施例中，主深度图dm_1例如是以左图像Img_L为基底的左深度图，辅深度图dm_2例如是以右图像Img_R为基底的右深度图。

基此，区块分布图获取模块144依据左图像Img_L的像素信息，将左图像Img_L划分成多个相关区块，以获取包括这些相关区块的区块分布图m_2。无效深度移除模块146依据区块分布图m_2与辅深度图dm_2对主深度图dm_1进行挖洞而产生包括多个破洞的待修复深度图dm_3。补洞模块148利用区块分布图m_2而分别对待修复深度图dm_3中的破洞产生多个优化深度值，并将优化深度值填补至待修复深度图dm_3而产生优化深度图dm_4。

依据前述实施例可知，依据不同的差异门槛值、尺寸门槛值以及基准点设定方式，区块分布图获取模块144可获取具有不同的区块切割方式的区块分布图m_2。区块分布图获取模块144产生区块分布图m_2的详细内容已经在前述实施例详细说明，在此不再赘述。以下将分别列举实施例，以详细说明无效深度移除模块146以及补洞模块148如何利用区块分布图m_2移除无效深度值以及产生优化深度值。图5是本发明一实施例所示出的产生待修复深度图的流程图，以下即搭配图4来说明本实施例的产生待修复深度图的详细步骤。

请同时参照图4与图5，无效深度移除模块146依据区块分布图m_2将主深度图dm_1分成多个深度区块，并分别对各深度区块内的主深度值进行统计运算而获取统计结果(步骤S501)。统计运算例如是平均值运算、众数运算或中值运算，本发明对此不限制。举例而言，无效深度移除模块146可对各深度区块内的主深度值进行平均值运算，并获取各个深度区块的深度平均值。在其他可行的实施例中，此技术领域中具有通常知识者当可依据实际需求来选择其他适当的统计运算方法，以依据适当的统计结果判断主深度值是否为有效深度值，此处便不再赘述。

接着，无效深度移除模块146依据统计结果判断主深度值是否为无效深度值中的多个第一无效深度值，并将第一无效深度值从主深度图dm_1中移除，从而产生包括破洞中的多个第一破洞的待修复深度图(步骤S502)。也就是说，无效深度移除模块146可依据统计结果来判断各深度区块内的主深度值是否具有第一无效深度值，此第一无效深度值与同一区块内的其他主深度值相差太大而可视为无效。基此，无效深度移除模块146将第一无效深度值从主深度图dm_1中移除，而产生对应至第一无效深度值的第一破洞。

举例来说，图6为本发明一实施例所示出的依据统计结果移除无效深度值的实施例示意图。请参照图6，假设主深度图dm_1可依据区块分布图m_2的划分而包括深度区块dz_1以及深度区块dz_2。在本实施例中，无效深度移除模块146对深度区块dz_1内的主深度值进行平均运算，而获取深度区块dz_1的深度平均值。于是，无效深度移除模块146可依据深度平均值来判断深度区块dz_1内的所有主深度值是否为中的第一无效深度值。在本实施例中，由于深度区块dz_1内的主深度值d1与深度区块dz_1的深度平均值差异太大，因此主深度值d1被判定为第一无效深度值。

相似地，由于深度区块dz_1内的主深度值d2～d3与深度区块dz_1的深度平均值差异太大，因此主深度值d2～d3也被判定为第一无效深度值。于是，无效深度移除模块146将被视为第一无效深度值的主深度值d1从主深度图dm_1中移除，从而产生包括破洞h1的待修复深度图dm_3。相似的，无效深度移除模块146将被视为第一无效深度值的主深度值d2～d3从主深度图中dm_1移除，从而分别产生包括破洞h2～h3。

需说明的是，经过步骤S501与步骤S502的处理，待修复深度图dm_3已因为第一无效深度值的移除而产生多个破洞。基此，在本实施例中，无效深度移除模块146可通过尚未被移除的有效深度值周围的无效深度值的密度或有效深度值的密度来判断主深度值的可信赖程度。

于是，无效深度移除模块146分别以不是第一无效深度值的主深度值中的多个第一有效深度值为中心，计算一限定范围内这些第一无效深度值的多个无效密度值(步骤S503)。此限定范围的尺寸可视实际应用情况而定，本发明对此不限制。举例来说，限定范围的尺寸例如可为5×5像素或10×10像素等。

接着，无效深度移除模块146依据这些无效密度值是否大于密度门槛值分别判断各第一有效深度值是否为无效深度值中的多个第二无效深度值(步骤S504)。具体来说，倘若一深度值周围的有效深度值太少，其可信赖度也就相对下降。因此，无效深度移除模块146可依据有效深度值的分布状况来决定尚未被移除的第一有效深度值是否为第二无效深度值。之后，无效深度移除模块146将第二无效深度值从主深度图dm_1中移除，从而产生包括破洞中的多个第二破洞的待修复深度图dm_3(步骤S505)。其中，此技术本领域技术人员可依据实际需求来设计密度门槛值，本发明对此并不限定。

举例来说，图7为本发明一实施例所示出的依据密度移除无效深度值的实施例示意图。请参照图7，在本实施例中，主深度图dm_1包括主深度值dz_4，且主深度值dz_4为尚未被移除的有效深度值。无效深度移除模块146以主深度值dz_4为中心而计算限定范围R1内的无效深度值的数目，并依据无效深度值的数目计算出关联于主深度值dz_4的一个无效密度值。在图7所示的实施例中，在5×5像素大小的限定范围R1内，有17个无效深度值(以斜线打底表示)，代表关联于主深度值dz_4的无效密度值相当高。也就是说，主深度值dz_4的可信赖度非常低。因此，在7所示的实施例中，无效深度移除模块146将被视为二无效深度值的主深度值dz_4从主深度图dm_1中移除，从而产生包括破洞h4的待修复深度图dm_3。

回到图5的流程，无效深度移除模块146还比对主深度图dm_1与辅深度图dm_2，将不符合相互对应的辅助深度值的主深度值从主深度图dm_1中移除，从而产生包括破洞中的多个第三破洞的待修复深度图dm_3(步骤S506)。具体来说，无效深度移除模块146通过交叉比对左深度图与右深度图来判断深度值的可信赖度。若主深度图dm_1上的主深度值与相互对应的辅深度值不一致，此主深度值可视为无效深度值。

整体来说，在本实施例中，首先利用区块分布图与统计运算对主深度图进行第一阶段的无效值移除处理。接着，再利用有效深度值的密度来进行第二阶段的无效值移除处理。最后，通过交叉比对主深度图与辅深度图来进行第三阶段的无效值移除处理。经过上述三个阶段的无效值移除处理，可将主深度图上许多可信赖度低的无效深度值移除。在将无效深度值移除而产生包括破洞的待修复深度图之后，本发明同样可通过区块分布图来产生较贴近真实情况的优化深度值，以进一步产生优化后的优化深度图。以下将列举一实施例来说明本发明之补洞模块进行补洞的详细内容。

图8为本发明一实施例所示出的对待修复深度图进行补洞的运作示意图。请参照图8，补洞模块148依据区块分布图获取模块144所产生的区块分布图对待修复深度图dm_3进行补洞，以产生优化深度图dm_4。需特别说明的是，图8所示的实施例中，区块分布图获取模块144所产生的区块分布图包括第一区块分布图群组m_f与第二区块分布图群组m_c，且第一区块分布图群组m_f与第二区块分布图群组m_c所对应的切割精细度并不相同。

简单来说，基于图2与图3的说明可知，差异门槛值以及尺寸门槛值可决定区块分布图的切割精细度。也就是说，区块分布图获取模块144可依据差异门槛值或尺寸门槛值的设定而产生切割精细度不同的第一区块分布图群组m_f与第二区块分布图群组m_c。其中，第一区块分布图群组m_f包括多个第一区块分布图，而第二区块分布图群组m_c包括多个第二区块分布图。

进一步来说，在第一区块分布图群组m_f基于一组差异门槛值以及尺寸门槛值而具有固定的切割精细度的情况下，区块分布图获取模块144可依据不同的中心基准点设定方式而产生第一区块分布图群组m_f内的多个第一区块分布图。举例而言，第一区块分布图群组m_f包括第一区块分布图m_f1以及第一区块分布图m_f2。第一区块分布图m_f1以及第一区块分布图m_f2对应至相同的切割精细度，但第一区块分布图m_f1以及第一区块分布图m_f2具有不同的区块分割方式。

相似的，在第二区块分布图群组m_c基于一组差异门槛值以及尺寸门槛值而具有固定的切割精细度的情况下，区块分布图获取模块144可依据不同的中心基准点设定方式而产生第二区块分布图群组m_c内的多个第二区块分布图。举例而言，第二区块分布图群组m_c包括第二区块分布图m_c1以及第二区块分布图m_c2。第二区块分布图m_c1以及第二区块分布图m_c2对应至相同的切割精细度，但第二区块分布图m_c1以及第二区块分布图m_c2具有不同的区块分割方式。基此，在一实施例中，补洞模块148可依据对应至不同的切割精细度的区块分布图对待修复深度图dm_3进行补洞。另一方方面，补洞模块148也可依据具有不同的区块分割方式的区块分布图对待修复深度图dm_3进行补洞。

图9A与图9B是本发明一实施例所示出的产生优化深度图的流程图，以下即搭配图8、图9A与图9B来说明本实施例的产生优化深度图的详细步骤。需先说明的是，在本实施例中，补洞模块148针对待修复深度图dm_3进行三阶段的补洞程序。在第一阶段的补洞程序中，补洞模块148利用切割方式较密的第一区块分布图群组m_f来进行补洞。在第二阶段的补洞程序中，补洞模块148利用切割方式较粗的第二区块分布图群组m_c来进行补洞。也就是说，在本实施例中，第一区块分布图群组m_f的切割精细度相较于第二区块分布图群组m_c的切割精细度更为密集。

最后，第三阶段的补洞程序中，补洞模块148利用第三区块分布图群组来进行补洞。值得一提的是，第三区块分布图群组的切割精细度比第二区块分布图群组的切割精细度更为密集。需特别说明的是，在一实施例中，可将第一分布图群组m_f直接作为第三阶段的第三区块分布图群组，但本发明并不限制于此。在另一实施例中，第三区块分布图群组所对应的切割精细度也可以与第一区块分布图群组m_f所对应的切割精细度不相同。

请同时参照图8、图9A与图9B，补洞模块148依据第一区块分布图m_f1将待修复深度图dm_3分成多个第一深度区块，并依据各第一深度区块中的破洞的数目而获取第一有效密度值(步骤S901)。可以知道的是，同一第一深度区块内的深度值具备一定的关联性，且同一第一深度区块内的各个深度值应该相当接近。于是，补洞模块148依据第一有效密度值而决定是否计算各第一深度区块的第一深度平均值，并将第一深度平均值作为优化深度值之一而填补部分的破洞(步骤S902)。也就是说，在本发明的实施例中，补洞模块148还依据第一深度区块的有效密度值来判定各第一深度区块是否存在足够的有效深度值。在有效深度值足够的情况下，补洞模块148可产生可信赖度高的优化深度值。

详细来说，步骤S902可分成子步骤S9021～子步骤S9023。首先，补洞模块148依据第一有效密度值是否大于有效门槛值而决定是否计算各第一深度区块的第一深度平均值(子步骤S9021)。也就是说，补洞模块148先将可信赖度较低的第一深度区块过滤掉。接着，补洞模块148依据各第一深度区块的第一有效密度值而获取各第一深度区块的处理顺序，以及依据处理顺序是否为高优先顺序而决定是否填补各第一深度区块中的破洞(子步骤S9022)。

具体来说，补洞模块148可计算各个第一深度区块的有效密度值，并依据有效密度值的高低来排序各个第一深度区块。基此，补洞模块148可得知哪些第一深度区块具有较高的可信赖度，以依据足够的有效深度值产生优化深度值。举例来说，补洞模块148依据有效密度值的高低排序各个第一深度区块后，补洞模块148将依据一预设比例阀值而先取具有较高的有效深度值的第一深度区块进行补洞。此预设比例阀值的范围例如可落在10％～70％，但非以限定本发明。本领域具备通常知识者可视实际应用状况而决定预设阀值，本发明对此并不限制。挑选好要针对哪些第一深度区块进行补洞后，补洞模块148再针对已经挑选出来的第一深度区块计算第一深度平均值，并将第一深度平均值作为优化深度值之一而填补部分的破洞(子步骤S9023)。

可以知道的是，在本实施例中，补洞模块148并非一次性的将所有破洞补完，而是先针对可信赖度较高的区域进行补洞。因此，补洞模块148重复步骤S901与步骤S902，直至重复步骤S901与步骤S902的次数到达预设次数(步骤S903)。此预设次数的范围如可落在10次～100次，但非以限定本发明。本领域具备通常知识者可视实际应用状况而决定预设次数，本发明对此并不限制。

需特别说明的是，在重复步骤S901与步骤S902的过程中，补洞模块148可依据第一区块分布图群组m_f内具有不同的区块切割方式的多个第一区块分布图来进行补洞。举例而言，补洞模块148可依序利用第一区块分布图m_f1以及第一区块分布图m_f2对待修复深度图dm_3进行补洞，其中第一区块分布图m_f1以及第一区块分布图m_f2具有相同的切割精细度。

进行完第一阶段的补洞后，补洞模块148将利用切割精细度较粗的第二区块分布图群组m_c来进行补洞。举例来说，图10为图8的实施例所示出的分布区块图的实施例示意图。请参照图10，第一区块分布图群组m_f的第一区块分布图m_f1以及第一区块分布图m_f2依据其中心基准设定方式的不同而具有不同的切割方式，第一区块分布图m_f1以及第一区块分布图m_f2具有相同的切割精细度。换言之，相关区块dz_a与相关区块dz_b的区块尺寸接近但其切割形状不相同。

同样的，第二区块分布图群组m_c的第二区块分布图m_c1以及第二区块分布图m_c2依据其中心基准设定方式的不同而具有不同的切割方式，但第二块分布图m_c1以及第二区块分布图m_c2具有相同的切割精细度。其中，第一区块分布图群组m_f的切割精细度相较于第二区块分布图群组m_c的切割精细度更为密集。如图10所示，第一区块分布图m_f1上相关区块dz_a的区块尺寸小于第二块分布图m_c1上相关区块Z_c的区块尺寸，第一区块分布图m_f2上相关区块dz_b的区块尺寸小于第二块分布图m_c2上相关区块Z_d的区块尺寸。

回到图9的流程，补洞模块148依据第二区块分布图m_c1将待修复深度图dm_3分成多个第二深度区块，并依据各第二深度区块中的破洞的数目而获取第二有效密度值(步骤S904)。相似的，补洞模块148依据第二有效密度值而决定是否计算各第二深度区块的第二深度平均值，并将第二深度平均值作为优化深度值之一而填补部分的破洞(步骤S905)。需说明的是，利用切割精细度较粗的第二区块分布图群组m_c可针对待修复深度图dm_3中纹理不清或轮廓边缘信息薄弱的部分进行修补。

再者，步骤S905可分成子步骤S9051～子步骤S9052。补洞模块148依据各第二深度区块的第二有效密度值而获取各第二深度区块的处理顺序，以及依据处理顺序是否为高优先顺序而决定是否填补各第二深度区块中的破洞(步骤S9051)。补洞模块148计算第二深度平均值，并将第二深度平均值作为优化深度值之一而填补部分的破洞(步骤S9052)。补洞模块148重复步骤S904与步骤S905，直至重复步骤S904与步骤S905的次数到达预设次数(步骤S906)。补洞模块148利用第二区块分布图群组m_c来进行补洞的详细内容与补洞模块148利用第一区块分布图群组m_f来进行补洞的详细内容相似，本领域具备通常知识者可依据上述说明而据以推知，于此不再赘述。

进行完第二阶段的补洞后，补洞模块148依据第三区块分布图将待修复深度图dm_3分成多个第三深度区块，并依据各第三深度区块中的破洞的数目而获取第三有效密度值(步骤S907)。补洞模块148依据第三有效密度值而决定是否计算各第三深度区块的第三深度平均值，并将第三深度平均值作为优化深度值之一而填补部分的破洞(步骤S908)。

承上述，步骤S908可分成子步骤S9081～子步骤S9082。补洞模块148依据各第三深度区块的第三有效密度值而获取各第三深度区块的处理顺序，以及依据处理顺序是否为高优先顺序而决定是否填补各第三深度区块中的破洞(步骤S9081)。补洞模块148计算第三深度平均值，并将第三深度平均值作为优化深度值之一而填补部分的破洞(步骤S9082)。

补洞模块148重复步骤S907与步骤S908，直至重复步骤S907与步骤S908的次数到达预设次数(步骤S909)。补洞模块148利用第三区块分布图群组来进行补洞的详细内容与补洞模块148利用第一区块分布图群组m_f来进行补洞的详细内容相似，本领域具备通常知识者可依据上述说明而据以推知，在此不再赘述。基此，通过上述的三阶段的补洞流程，补洞模块148依据切割精细度不同的区块分布图来依序填补待修复深度图dm_3上的破洞，以产生具备高精准度的优化深度图。

值得一提的是，通过对左图像与右图像执行三位深度估测所产生的深度图通常具有部分的未知区域，像是深度图的左边缘或右边缘可因为用以产生深度值的信息不够而产生未知区域。这些未知区域的周围没有有效的深度值，再怎么从邻近区域抓值来填补也只会抓到错误的值。然而，由于本发明是通过区块分布图以及特定的补洞条件来进行补洞，因此可利用区块分布图并针对可信赖度高的区域先进行补洞，以通过从可信赖度高逐渐扩散的方式而产生良好的优化深度图。基此，本发明的优化深度图的方式对于这些未知区域具良好的优化效果。

需说明的是，在上述的实施例中，在补洞模块利用不同的区块分布图而依序产生优化深度值的过程中，补洞模块系连续利用多张区块分布图来对整张待修复深度图做运算。然而，在另一实施例中，补洞模块还可以先将待修复深度图分割成多个深度平面，而区块分布图模块可针对各个深度平面产生切割精细度不同的区块分布图。如此，补洞模块可适应性的依据各深度平面所对应的区块分布图来对各个深度平面进行补洞的优化处理。以下将列举一实施例来说明本发明如何针对各深度平面利用不同的区块分布图来进行补洞的详细内容。

图11为本发明一实施例所示出的优化深度信息的装置的方块图。请参照图11，本实施例的图像处理装置20与图1所示的图像处理装置10相似，例如是移动电话、平板电脑、台式电脑、笔记本电脑或包含立体成像系统(未示出)的立体像机，在此不设限。图像处理装置20包括储存单元24以及一个或多个处理单元(本实施例仅以处理单元26为例做说明，但不限于此)。

储存单元24用以储存数据与多个模块。与图1所示的实施例不同的是，储存单元24除了储存深度估测模块242、区块分布图获取模块244、无效深度移除模块246以及补洞模块248之外，储存单元24还储存有深度平面分割模块249，这些模块例如是电脑程序，其可载入处理单元26，从而执行优化深度信息的功能。

图12是本发明一实施例所示出的优化深度信息的方法的流程图。请参照图12，本实施例的方法适用于图11的图像处理装置20，以下即搭配图像处理装置20中的各项元件说明本实施例的优化深度信息的方法的详细步骤。

首先，深度估测模块242对左图像与右图像进行三维深度估测，以获取关联于左图像与右图像之一且对应至多个第一像素的主深度图(步骤S1201)。接着，区块分布图获取模块244依据各第一像素的像素信息，将关联于主深度图的左图像或右图像划分成多个相关区块，以获取包括相关区块的区块分布图(步骤S1202)。之后，无效深度移除模块246利用区块分布图来判断第一像素所对应的主深度值是否符合可信赖条件，并将主深度值中不符合可信赖条件的多个无效深度值从主深度图中移除，从而产生包括多个破洞的待修复深度图(步骤S1203)。

进一步来说，无效深度移除模块246依据区块分布图将主深度图分成多个深度区块，并分别对各深度区块内的主深度值进行统计运算而获取统计结果。无效深度移除模块246依据统计结果判断主深度值是否为无效深度值中的多个第一无效深度值，并将第一无效深度值从主深度图中移除，从而产生待修复深度图上的破洞。

上述步骤S1201～步骤S1203与图2所示的步骤S201～步骤S203相同或相似，在此不再赘述。与前述实施例不同的是，在产生待修复深度图之后，本实施例的深度平面分割模块249获取待修复深度图，并依据待修复深度图上的多个主深度值与相机参数将待修复深度图区分成多个深度平面(步骤S1204)。换句话说，本实施例的深度平面分割模块249可依据原始图像的物距信息将待修复深度图划分成相异的深度平面，而每个深度平面对应至相异的景深范围。可以知道的是，各个深度平面也会具有因无效深度值被移除而产生的破洞。

详细来说，步骤S1204可分成子步骤S12041～子步骤S12042。首先，深度平面分割模块249依据主深度图或待修复父深度图上的主深度值与相机参数决定各主深度值的物距信息(子步骤S12041)。具体来说，深度平面分割模块249可依据立体成像系统拍摄左右图像时的焦距信息以及双镜头间距等相机参数来计算出各个主深度值所对应的真正的物距信息。换句话说，依据拍摄图像时的镜头焦距以及双镜头间距，深度平面分割模块249可通过各个主深度值得知各个第一像素所对应的物距信息。在此，物距信息代表的是镜头到被摄物件之间的距离。

之后，深度平面分割模块249依据各主深度值的物距信息，将待修复深度图划分成对应至相互相异的多个景深范围的深度平面，而各深度平面包括至少一相似物距区域(子步骤S12042)。具体来说，依据镜头的焦距信息，深度平面分割模块249可经计算而得知原始左图像或右图像上的景物与镜头之间的距离，且深度平面分割模块249可依据景物与镜头之间的距离来划分待修复深度图。简单来说，第一像素具有对应的主深度值，而深度平面分割模块249可依据相机参数与主深度值获取对应至各第一像素物的物距信息。即，主深度值也具有对应的物距信息。

基此，深度平面分割模块249可依据主深度值所对应的物距信息决定各主深度值应该划分至哪一深度平面，从而将待修复深度图划分为对应至不同的景深范围的深度平面。本发明对于深度平面的数目与其对应的景深范围并不加以限制，本领域具备通常知识者可依据实际应用状况而定。举例来说，深度平面分割模块249可将待修复深度图划分成三个深度平面，分别是远距深度平面、中距深度平面以及近距深度平面。表1则为各深度平面所对应的景深范围的实施例之一，但本发明并不以此为限。由此可知，待修复深度图将被划分成多个相似物距区域，且这些相似物距区域将其物距信息将分类至对应的深度平面。

表1

远距深度平面	景深范围(公尺)：5公尺～8公尺
		中距深度平面	景深范围(公尺)：2公尺～5公尺
近距深度平面	景深范围(公尺)：0公尺～2公尺

为了更进一步详细说明本发明，图13为本发明一实施例所示出的深度平面的实施例示意图。请参照图13，假设图像Img_14包括被摄物件14a、14b、14c。相较之下，被摄物件14c与镜头之间的距离最近，被摄物件14a与镜头之间的距离最远，而被摄物件14b介于被摄物件14c与被摄物件14a之间。在本实施例中，深度平面分割模块249可获取关联于图像Img_14的待修复深图，而深度平面分割模块249可各主深度值的物距信息将待修复深度图划分成对应至三个景深范围的三个深度平面d_p1、d_p2、d_p3。

如图13所示，物距最近的被摄物件14c所对应的相似物距区域14c_zone属于深度平面d_p1。被摄物件14b所对应的相似物距区域14b_zone属于深度平面d_p2，而物距最远的被摄物件14a所对应的相似物距区域14a_zone属于深度平面d_p3。依此类推，待修复深度图将依据各主深度值所对应的物距信息而被分割成多个深度平面。

如上所述，在将待修复深度图区分成多个深度平面后，区块分布图获取模块244决定各深度平面所对应的切割精细度，并依据切割精细度将关联于待修复深度图的左图像与右图像其中之一划分成相关区块，以获取分别对应至各深度平面的区块分布图(子步骤S1205)。进一步来说，这些深度平面分别对应至相互相异的多个景深范围，而各深度平面的切割精细度基于各深度平面所对应的景深范围而定。

在一实施例中，区块分布图获取模块244针对景深范围较远的深度平面所决定的切割精细度较为精细。相反的，区块分布图获取模块244针对景深范围较近的深度平面所决定的切割精细度较为粗糙。如此一来，本实施例可依据实际景物的物距信息来适应性的选择用以进行补洞的区块分布图，从而产生更接近真实情况的优化深度值。

简单来说，区块分布图获取模块244比对第一像素中相互相邻的第一相邻像素与第二相邻像素而获取像素值差。依据此像素值差是否小于差异门槛值而决定是否连结第一相邻像素与第二相邻像素，从而将各第一像素区分至对应的相关区块，其中区块分布图的切割精细度依据差异门槛值而定。此外，区块分布图获取模块244依据尺寸门槛值来限定各相关区块的区块尺寸而获取区块分布图。各相关区块的区块尺寸不大于此尺寸门槛值，而区块分布图的切割精细度依据此尺寸门槛值而定。然，决定区块分布图切割精细度与产生区块分布图的详细内容已于前述实施例详细说明，于此不再多加赘述。

换言之，本发明可通过切割精细度不同的区块分布图来对不同的深度平面进行补洞。在一实施例中，景深范围越远的深度平面将利用切割精细度较细的区块分布图来产生用以补洞的优化深度值，景深范围越近的深度平面将利用切割精细度较粗的区块分布图来产生用以补洞的优化深度值。之后，补洞模块248利用区块分布图而分别对各深度平面中的破洞产生多个优化深度值，并将优化深度值填补至各深度平面而获取结合各深度平面的优化深度图(子步骤S1206)。也就是说，补洞模块248可针对各个深度平面并利用具有相异的切割精密度的区块分布图来分别进行补洞，并将完成补洞后的各个深度平面结合而获取完整的优化深度图。

图14为本发明一实施例所示出的对待修复深度图进行补洞的运作示意图。请参照图14，补洞模块248依据区块分布图获取模块244所产生的区块分布图对待修复深度图dm_14进行补洞，以产生优化深度图dm_15。需特别说明的是，在利用区块分布图进行补洞之前，深度平面分割模块249依据相机参数将待修复深度图dm_14区分成对应至多个景深范围的多个深度平面dp_m1～dp_mm。

另一方面，区块分布图获取模块244针对各个深度平面dp_m1～dp_mm产生对应至不同切割精细度的区块分布图群组14_1～14_m。简单来说，基于图2与图3的说明可知，差异门槛值以及尺寸门槛值可决定区块分布图的切割精细度。也就是说，区块分布图获取模块244可依据差异门槛值或尺寸门槛值的设定而产生切割精细度不同的区块分布图群组14_1～14_m。其中，区块分布图群组14_1包括切割精密度相互相似的区块分布图14_11～14_1n，而区块分布图群组14_m包括切割精密度相互相似的区块分布图14_m1～14_mn。区块分布图群组14_1～14_m的产生方式与图8所示的实施例相似，在此不再赘述。

基此，在一实施例中，补洞模块248可依据对应至不同的切割精细度的区块分布图群组14_1～14_m来对各个深度平面dp_m1～dp_mm进行补洞。举例来说，补洞模块248将依据区块分布图群组14_1内的多张区块分布图来对深度平面dp_m1上的破洞产生优化深度值，并将计算出来的优化深度值填补至相对应的破洞。

然而，关于补洞模块利用区块分布图来产生优化深度值以及补洞的内容已于前述实施例详细说明，于此不再多加赘述。简单来说，补洞模块248可将各深度平面上的相似物距区域依据各自对应的区块分布图而分割成多个深度区块，并依据各深度区块中的破洞的数目而获取有效密度值。之后，补洞模块248依据此有效密度值而决定是否计算各深度区块的深度统计值，并将深度统计值作为优化深度值之一而填补部分的破洞。简单来说，上述深度区块所涵盖的范围决定补洞模块248将取破洞周围的多少个邻近深度值来计算出优化深度值。另外，补洞模块248也可依据各深度区块的有效密度值而获取各深度区块的处理顺序，再依据此处理顺序是否为高优先顺序而决定是否填补各深度区块中的破洞。

综上所述，在本发明的产生深度信息的实施例中，可依据原始的左图像或右图像所提供的原图信息来对深度图进行优化深度图的动作。除此之外，本发还明可依据物距信息将待修复深度图分割成多深度平面，并利用切割精细度相互相异的区块分布图个别对每一深度平面进行补洞处理。如此一来，本发明可更弹性地决定用以决定优化深度值的邻近信息量，并加入实际物距信息而产生更贴近真实状况的优化深度值。据此，依据破洞周围信息所产生的优化深度值将用以填补深度图中的破洞，从而产生噪声含量低且准确度高的深度图。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (20)

1.一种优化深度信息的方法，适用于一电子装置，其特征在于，一左图像与一右图像通过一立体成像系统的拍摄而产生，所述方法包括：

将该左图像与该右图像其中之一划分成多个相关区块，以获取至少一区块分布图；

获取一待修复深度图，并依据多个主深度值与相机参数将该待修复深度图区分成多个深度平面，其中该待修复深度图记录所述主深度值且具有多个破洞；以及

利用所述区块分布图来分别对各所述深度平面中的所述破洞产生多个优化深度值，并将所述优化深度值填补至各所述深度平面而获取结合各所述深度平面的一优化深度图。

2.根据权利要求1所述的优化深度信息的方法，其特征在于，获取该待修复深度图，并依据所述主深度值与该相机参数将该修复深度图区分成所述深度平面的步骤包括：

依据所述主深度值与该相机参数决定各所述主深度值的一物距信息；以及

各所述主深度值的该物距信息，将该待修复深度图划分成对应至相互相异的多个景深范围的所述深度平面，且各所述深度平面包括至少一相似物距区域。

3.根据权利要求1所述的优化深度信息的方法，其特征在于，将该左图像与该右图像其中之一划分成所述相关区块，以获取所述区块分布图的步骤包括：

决定各所述深度平面的一切割精细度，并依据所述切割精细度将关联于该待修复深度图的该左图像与该右图像其中之一划分成所述相关区块，以获取分别对应至各所述深度平面的所述区块分布图。

4.根据权利要求3所述的优化深度信息的方法，其特征在于，所述深度平面分别对应至相互相异的多个景深范围，而各所述深度平面的该切割精细度基于各所述深度平面所对应的所述景深范围而定。

5.根据权利要求3所述的优化深度信息的方法，其特征在于，被划分成所述相关区块的该左图像或该右图像具有多个第一像素，而依据所述切割精细度将关联于该待修复深度图的该左图像与该右图像其中之一划分成所述相关区块的步骤包括：

比对所述第一像素中相互相邻的一第一相邻像素与一第二相邻像素而获取一像素值差；以及

依据该像素值差是否小于一差异门槛值而决定是否连结该第一相邻像素与该第二相邻像素，从而将各所述第一像素区分至对应的所述相关区块，其中所述区块分布图的该切割精细度依据该差异门槛值而定。

6.根据权利要求5所述的优化深度信息的方法，其特征在于，依据所述切割精细度将关联于该待修复深度图的该左图像与该右图像其中之一划分成所述相关区块的步骤还包括：

依据一尺寸门槛值来限定各所述相关区块的区块尺寸而获取所述区块分布图，其中各所述相关区块的区块尺寸不大于该尺寸门槛值，而所述区块分布图的该切割精细度依据该尺寸门槛值而定。

7.根据权利要求3所述的优化深度信息的方法，其特征在于，利用所述区块分布图来分别对各所述深度平面中的所述破洞产生所述优化深度值，并将所述优化深度值填补至各所述深度平面而获取结合各所述深度平面的该优化深度图的步骤包括：

将各所述深度平面的至少一相似物距区域依据各自对应的所述区块分布图而分割成多个第一深度区块，并依据各所述第一深度区块中的所述破洞的数目而获取一第一有效密度值；以及

依据该第一有效密度值而决定是否计算各所述第一深度区块的一第一深度统计值，并将该第一深度统计值作为所述优化深度值之一而填补部分的所述破洞。

8.根据权利要求7所述的产生深度信息的方法，其特征在于，依据该第一有效密度值而决定是否计算各所述第一深度区块的该第一深度统计值的步骤包括：

依据各所述第一深度区块的该第一有效密度值而获取各所述第一深度区块的一处理顺序，以及依据该处理顺序是否为一高优先顺序而决定是否填补各所述第一深度区块中的所述破洞。

9.根据权利要求1所述的优化深度信息的方法，其特征在于，在获取该待修复深度图的步骤之前，还包括：

对该左图像与该右图像进行一三维深度估测，以获取关联于该左图像与该右图像之一且对应至多个第一像素的一主深度图，其中该主深度图记录分别对应至所述第一像素的该些主深度值；以及

利用所述区块分布图来判断所述第一像素所对应的所述主深度值是否符合一可信赖条件，并将所述主深度值中不符合该可信赖条件的多个无效深度值从该主深度图中移除，从而产生包括所述破洞的该待修复深度图。

10.根据权利要求9所述的优化深度信息的方法，其特征在于，利用所述区块分布图来判断所述第一像素所对应的所述主深度值是否符合该可信赖条件，并将所述主深度值中不符合该可信赖条件的所述无效深度值从该主深度图中移除，从而产生包括所述破洞的该待修复深度图的步骤包括：

依据所述区块分布图将该主深度图分成多个深度区块，并分别对各所述深度区块内的所述主深度值进行一统计运算而获取一统计结果；以及

依据该统计结果判断所述主深度值是否为所述无效深度值中的多个第一无效深度值，并将所述第一无效深度值从该主深度图中移除，从而产生该待修复深度图上的所述破洞。

11.一种优化深度信息的装置，其特征在于，该装置通过一立体成像系统的拍摄而获取一左图像与一右图像，包括：

一储存单元，记录多个模块；以及

一或多个处理单元，耦接该储存单元，存取并执行储存单元中记录的所述模块，所述模块包括：

一区块分布图获取模块，将该左图像与该右图像其中之一划分成多个相关区块，以获取至少一区块分布图；

一深度平面分割模块，获取一待修复深度图，并依据多个主深度值与相机参数将该待修复深度图区分成多个深度平面，其中该待修复深度图记录所述主深度值且具有多个破洞；以及

一补洞模块，利用所述区块分布图而分别对各所述深度平面中的所述破洞产生多个优化深度值，并将所述优化深度值填补至各所述深度平面而获取结合各所述深度平面的一优化深度图。

12.根据权利要求11所述的优化深度信息的装置，其特征在于，该深度平面分割模块依据所述主深度值与该相机参数决定各所述主深度值的一物距信息，以及各所述主深度值的该物距信息将该待修复深度图划分成对应至相互相异的多个景深范围的所述深度平面，其中所述深度平面包括至少一相似物距区域。

13.根据权利要求11所述的优化深度信息的装置，其特征在于，该区块分布图获取模块决定各所述深度平面的一切割精细度，并依据该切割精细度将关联于该待修复深度图的该左图像与该右图像其中之一划分成所述相关区块，以获取对应至各所述深度平面的所述区块分布图。

14.根据权利要求13所述的优化深度信息的装置，其特征在于，所述深度平面分别对应至相互相异的多个景深范围，而各所述深度平面的该切割精细度基于各所述深度平面所对应的所述景深范围而定。

15.根据权利要求13所述的优化深度信息的装置，其特征在于，被划分成所述相关区块的该左图像或该右图像具有多个第一像素，且该区块分布图获取模块比对所述第一像素中相互相邻的一第一相邻像素与一第二相邻像素而获取一像素值差，并依据该像素值差是否小于一差异门槛值而决定是否连结该第一相邻像素与该第二相邻像素，从而将各所述第一像素区分至对应的所述相关区块，其中所述区块分布图的一切割精细度依据该差异门槛值而定。

16.根据权利要求15所述的优化深度信息的装置，其特征在于，该区块分布图获取模块依据一尺寸门槛值来限定各所述相关区块的区块尺寸而获取所述区块分布图，其中各所述相关区块的区块尺寸不大于该尺寸门槛值，而所述区块分布图的该切割精细度依据该尺寸门槛值而定。

17.根据权利要求13所述的优化深度信息的装置，其特征在于，该补洞模块将各所述深度平面的至少一相似物距区域依据各自对应的所述区块分布图而分割成多个第一深度区块，并依据各所述第一深度区块中的所述破洞的数目而获取一第一有效密度值，以及依据该第一有效密度值而决定是否计算各所述第一深度区块的一第一深度统计值，并将该第一深度统计值作为所述优化深度值之一而填补部分的所述破洞。

18.根据权利要求17所述的优化深度信息的装置，其特征在于，该补洞模块依据各所述第一深度区块的该第一有效密度值而获取各所述第一深度区块的一处理顺序，以及依据该处理顺序是否为一高优先顺序而决定是否填补各所述第一深度区块中的所述破洞。

19.根据权利要求11所述的优化深度信息的装置，其特征在于，所述模块还包括：

一深度估测模块，对该左图像与该右图像进行一三维深度估测，以获取关联于该左图像与该右图像之一且对应至多个第一像素的一主深度图，其中该主深度图记录分别对应至所述第一像素的该些主深度值；以及

一无效深度移除模块，利用所述区块分布图来判断所述第一像素所对应的所述主深度值是否符合一可信赖条件，并将所述主深度值中不符合该可信赖条件的多个无效深度值从该主深度图中移除，从而产生包括所述破洞的该待修复深度图。

20.根据权利要求19所述的优化深度信息的装置，其特征在于，该无效深度移除模块依据所述区块分布图将该主深度图分成多个深度区块，并分别对各所述深度区块内的所述主深度值进行一统计运算而获取一统计结果，依据该统计结果判断所述主深度值是否为所述无效深度值中的多个第一无效深度值，并将所述第一无效深度值从该主深度图中移除，从而产生该待修复深度图上的所述破洞。