CN108377379B - 影像深度信息的优化方法与影像处理装置 - Google Patents

Abstract

本发明提供一种影像深度信息的优化方法与影像处理装置。获取基于左影像与右影像而产生的待修复深度图。将左影像或右影像进行超像素切割处理，而获取多个超像素。依据超像素内的像素信息，聚集超像素而获取多个影像分割。对待修复深度图内的破洞进行破洞填补处理，而获取已补洞深度图。利用影像分割所划分的范围、超像素所划分的范围、待修复深度图以及已补洞深度图，对待修复深度图的第一有效深度值以及已补洞深度图的第二有效深度值进行统计分析而获取多个优化深度值。本发明可改善影像深度信息因为无纹理区域的特性而产生错误偏差的现象，从而提高深度信息的精准度。

Description

影像深度信息的优化方法与影像处理装置

技术领域

本发明涉及一种处理影像的方法及装置，尤其涉及一种优化深度信息的影像深度信息的优化方法与影像处理装置。

背景技术

随着影像处理技术的蓬勃发展，立体视觉技术(Stereo Vision)已逐渐且广泛地应用于各种领域。立体视觉广义来说可包括两个阶段，前期阶段包括利用深度摄影机、立体摄影机或是利用相关的三维立体影像演算法等方式来产生深度信息，后期阶段为利用深度信息来产生不同视角的影像。由此可知，为了产生视觉体验较佳的立体影像，准确的深度信息是非常重要的。

然而，虽然现今的技术可对深度图进行初步的平滑处理来改善深度图的准确度，但受限于有限的可参考信息与演算法复杂度不足，单纯利用相邻块对深度信息进行调整会有较大的误差。尤其是，在大区域的无纹理区域能够参考的深度值信息差异性过大，可能导致背景区域与物体区域的深度值区分不出来。此外，在背景前景类似的情况中，物体区域的深度值会因为邻近背景的深度渲染所影响，产生准确度不佳的深度图。也就是说，不同的深度信息产生演算法会具备不同的精确度与计算量。因此，如何在可允许的计算量与复杂度下产生精确的深度信息，并提高根据此深度信息所产生的三维影像的品质，为本领域技术人员所努力的方向之一。

发明内容

有鉴于此，本发明提供一种影像深度信息的优化方法与影像处理装置，可改善影像深度信息因为无纹理区域的特性而产生错误偏差的现象，从而提高深度信息的精准度。

本发明提供一种影像深度信息的优化方法，适用于影像处理装置，所述方法包括下列步骤。首先，获取基于左影像与右影像而产生的待修复深度图。此待修复深度图记录多个第一有效深度值，且对应至多个无效深度值的多个破洞分布于此待修复深度图上。将左影像与右影像其中之一进行超像素切割处理，而获取左影像与右影像其中之一的多个超像素(superpixels)。依据这些超像素内的像素信息，聚集这些超像素而获取多个影像分割(image segments)。对待修复深度图内的破洞进行破洞填补处理，而获取包括多个第二有效深度值的已补洞深度图。接着，利用这些影像分割所划分的范围、这些超像素所划分的范围、待修复深度图以及已补洞深度图，对待修复深度图的第一有效深度值以及已补洞深度图的第二有效深度值进行统计分析而获取多个优化深度值。最后，依据这些优化深度值获取优化深度图。

从另一观点来看，本发明提供一种影像处理装置，其包括记录多个模块的存储单元，以及一或多个处理单元。上述处理单元耦接存储单元，存取并执行存储单元中记录的所述模块，而所述模块包括待修复深度图获取模块、超像素切割模块、影像分割模块、补洞模块、深度优化模块，以及深度图产生模块。待修复深度图获取模块获取基于左影像与右影像而产生的待修复深度图。此待修复深度图记录多个第一有效深度值，且对应至多个无效深度值的多个破洞分布于此待修复深度图上。超像素切割模块将左影像与右影像其中之一进行超像素切割处理，而获取左影像与右影像其中之一的多个超像素。影像分割模块依据这些超像素内的像素信息，聚集这些超像素而获取多个影像分割。补洞模块对待修复深度图内的破洞进行一破洞填补处理，而获取包括多个第二有效深度值的已补洞深度图。深度优化模块利用影像分割所划分的范围、超像素所划分的范围、待修复深度图以及已补洞深度图，对待修复深度图的第一有效深度值以及已补洞深度图的第二有效深度值进行统计分析而获取多个优化深度值。深度图产生模块依据这些优化深度值获取优化深度图。

基于上述，在本发明的实施例中，先依据左影像与右影像其中之一进行超像素分割而获取多个超像素，并依据各个超像素内的像素信息而聚合彼此邻近的超像素而获取多个影像分割。基于这些影像分割所划分的范围，本发明可将待修复深度图划分为多个待修复分割块。基于这些影像分割所划分的范围以及这些超像素所划分的范围，本发明可将已补洞深度图分别划分为多个已补洞分割块与多个超像素块。如此，本发明可依据待修复分割块内的深度信息的统计信息来识别出深度值不可靠的不可靠区域。此外，藉由使用待修复分割块内的深度信息的统计信息、已补洞分割块内的深度信息的统计信息，以及超像素块内的深度信息的统计信息，本发明可针对不可靠区域产生优化深度值。因此，本发明可将这些优化深度值填入不可靠区域内的破洞而产生优化深度图，从而提升深度信息的准确度。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1为依照本发明一实施例所示出的影像处理装置的方框图；

图2为依照本发明一实施例所示出的影像深度信息的优化方法的流程图；

图3A为依照本发明一实施例所示出的超像素的范例示意图；

图3B为依照本发明一实施例所示出的超像素与影像分割的范例示意图；

图4为依照本发明一实施例所示出的影像深度信息的优化方法的运作示意图；

图5A与图5B为依照本发明一实施例所示出的产生优化深度值的流程图；

图6为依照本发明一实施例所示出的产生优化深度值的范例示意图。

附图标记：

10：影像处理装置；

14：存储单元；

16：处理单元；

141：待修复深度图获取模块；

142：超像素切割模块；

143：影像分割模块；

144：补洞模块；

145：深度优化模块；

146：深度图产生模块；

147：深度估测模块；

Img_L：左影像；

Img_R：右影像；

P1～P25：像素；

S_11、S_12、S1～S6、S7、S8、S9：超像素；

D1、D2、D3、D4：影像分割；

dm_1：原始深度图；

dm_2：待修复深度图；

dm_3：已补洞深度图；

SP_1：超像素图；

SP_2：影像分割图；

d_opm：优化深度值；

dm_4：优化深度图；

dp_1：第一有效深度值；

h1、h2、h3：破洞；

b1、b2：待修复分割块；

dp_2、dp_3、dp_4：第二有效深度值；

b3、b4：已补洞分割块；

b5、b6、b7：超像素块；

S201～S206、S501～S512：步骤。

具体实施方式

本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明中的装置与方法的范例。

图1是依照本发明一实施例所示出的影像处理装置的方框图。请参照图1，本实施例的影像处理装置10为具有影像处理能力的计算机装置，例如是数码相机、移动电话、平板电脑、台式电脑、笔记本电脑或包含立体成像系统(未示出)的立体像机，在此不设限。也就是说，影像处理装置10可以是包括立体成像系统的影像获取装置。另外，影像处理装置10也可以是与具有立体成像系统的影像获取装置相互耦接的其他电子装置，本发明对此不设限。影像处理装置10包括存储单元14以及一个或多个处理单元(本实施例仅以处理单元16为例做说明，但不限于此)，其功能分述如下。

存储单元14例如是任意型式的固定式或可移动式随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、硬盘或其他类似装置或这些装置的组合，用以存储数据与多个模块。上述模块包括深度估测模块142、块分布图获取模块144、无效深度移除模块146以及补洞模块148，这些模块例如是电脑程序，其可载入处理单元16，从而执行产生深度信息的功能。换言之，处理单元16耦接存储单元14并用以执行这些模块，从而控制影像处理装置10执行产生与优化深度信息的功能。处理单元16可以例如是中央处理单元(Central Processing Unit，CPU)、微处理器(Microprocessor)、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他具备运算能力的硬件装置。

图2是依照本发明一实施例所示出的影像深度信息的优化方法的流程图。图2的方法适用于图1的影像处理装置10，以下即搭配影像处理装置10中的各项元件说明本实施例的产生深度信息的方法的详细步骤。请同时参照图1以及图2。

须先说明的是，于一实施例中，立体成像系统可包括两个影像感测模块，此两个影像感测模块依照其镜头设置位置可区分为左影像感测模块与右影像感测模块。基此，左影像感测模块与右影像感测模块可同时针对同一场景拍摄不同角度的影像(左影像与右影像)。藉由计算左影像上的像素与右影像上的像素之间的像差，多个深度值可依据上述像差、镜头焦距、以及左影像感测模块与右影像感测模块之间的距离而被估测出来。如此，对应至多个像素坐标的多个深度值将构成一原始深度图。

于步骤S201，待修复深度图获取模块141获取基于左影像与右影像而产生的待修复深度图。于此，待修复深度图记录多个第一有效深度值，且对应至多个无效深度值的多个破洞分布于待修复深度图上。详细来说，基于各种判断机制，原始深度图上的这些深度值可被识别为第一有效深度值或无效深度值。举例而言，藉由分析各深度值与各深度值周围的深度信息，待修复深度图获取模块141可决定各个深度值是否为无效深度值。然而，本发明对于上述用以识别无效深度值的方法并不限制。之后，藉由移除初始深度图上的无效深度值，具有多个破洞的待修复深度图将据以产生。

于步骤S202，超像素切割模块142将左影像与右影像其中之一进行超像素切割处理，而获取左影像与右影像其中之一的多个超像素。进一步来说，左影像包括多个左像素，而右影像包括多个右像素。超像素切割模块142可选择对左影像或右影像进行超像素切割处理，本发明对此不限制。以下将以对左影像进行超像素切割处理为例进行说明。超像素切割模块142可根据左影像的色彩表现、几何特性以及预设的超像素数量来进行超像素切割处理。换言之，超像素切割模块142可依据各左像素的像素值与像素位置而将左像素区分为多个超像素，即每一超像素为多个左像素的集合。

在一实施例中，每一超像素具有超过一个左像素。在一实施例中，在同一超像素中的像素具有大致相同的颜色，且在同一超像素中的左像素彼此相邻。举例而言，超像素切割模块142可计算左像素的红、绿、蓝(RGB)色度分量，以获取左像素于不同色度信道上的像素值。相似的，超像素切割模块142也可计算左像素的亮度(Y)及色度分量(Cb、Cr)，以获取左像素于亮度信道或色度信道上的像素值。超像素切割模块142可通过比对相互相邻的左像素的像素值而产生像素值差，并依据两相邻左像素之间的像素值差而决定是否连结两相邻左像素。倘若两相邻左像素之间的像素值差小于差异门槛值，将被划分至同一超像素。

举例而言，图3A为依照本发明一实施例所示出的超像素的范例示意图。请参照图3A，假设左影像Img_L包括像素P1～P25。于本范例中，像素P1～P12因为像素值类似而被划分为超像素S_11，而像素P3～P25因为像素值类似而被划分为超像素S_12。如图3A所示，由于像素P1与像素P2之间的像素值差小于差异门槛值，因此超像素切割模块142将连结像素P1与像素P2。相似的，由于像素P9与像素P13之间的像素值差不小于差异门槛值，因此超像素切割模块142将不连结像素P9与像素P13。然而，本发明对于超像素切割处理的实际切割方式并不加以限制，本领域普通技术人员可依据实际需求而决定。

接着，于步骤S203，影像分割模块143依据超像素内的像素信息，聚集超像素而获取多个影像分割。换言之，上述的各影像分割为多个超像素的集合。详细来说，藉由比对两相邻超像素之间的像素信息，影像分割模块143可决定是否将两相邻超像素连结而产生影像分割。于一实施例中，根据各个超像素的边缘特性或直方图信息，影像分割模块143可合并相邻的超像素而获取更大范围的影像分割。

于一实施例中，影像分割模块143可统计超像素各自的直方图信息。上述的直方图信息藉由统计超像素内的各个像素的像素值信息而产生，例如是HSV长条图(HSVHistogram)或对应至各颜色信道的统计色度长条图，本发明对此并不限制。接着，影像分割模块143依据超像素各自的直方图信息，合并相邻的超像素而形成影像分割。详细来说，影像分割模块143可判断两相邻的超像素的两直方图信息是否相似而决定是否将两相邻的超像素划分为同一影像分割。

于一实施例中，影像分割模块143可对超像素进行边缘检测，而获取超像素各自的边缘特性。换言之，藉由对各像素进行边缘检测，影像分割模块143可识别出各个超像素内的影像边缘。接着，影像分割模块143可依据超像素各自的边缘特性，合并相邻的超像素而形成影像分割。进一步来说，影像分割模块143可判断两相邻超像素的影像边缘是否彼此相连而决定是否将两相邻超像素划分为同一影像分割。

图3B为依照本发明一实施例所示出的超像素与影像分割的范例示意图。请参照图3B，假设左影像Img_L包括超像素S1～S6。于本范例中，各自包括多个像素的超像素S1、S3、S5基于各自的像素信息而被划分为影像分割D1，而各自包括多个像素的超像素S2、超像素S4、超像素S6基于各自的像素信息而被划分为影像分割D2。如图3B所示，由于超像素S1的直方图信息与超像素S3的直方图信息相似，因此超像素切割模块142将连结超像素S1与超像素S3。相似的，由于超像素S1的直方图信息与超像素S2的直方图信息不相似，因此超像素切割模块142将不连结超像素S1与超像素S2。

接着，于步骤S204，补洞模块144对待修复深度图内的破洞进行一破洞填补处理，而获取包括多个第二有效深度值的已补洞深度图。详言之，补洞模块144可依据各破洞周围的深度信息来产生用以填补至各破洞的补洞深度值，因此已补洞深度图记录有分别对应至左像素的第二有效深度值。于此，已补洞深度图上分别对应至所有左像素的深度值称之为第二有效深度值。

于一实施例，补洞模块144利用预设遮罩而获取待修复深度图上邻近各破洞的第一有效深度值。之后，补洞模块144依据邻近各破洞的第一有效深度值计算对应至破洞的多个补洞深度值，并将对应至各破洞的补洞深度值填补至待修复深度图而获取记录有多个第二有效深度值的已补洞深度图。

于步骤S205，深度优化模块145利用影像分割所划分的范围、超像素所划分的范围、待修复深度图以及已补洞深度图，对待修复深度图的第一有效深度值以及已补洞深度图的第二有效深度值进行统计分析而获取多个优化深度值。也就是说，依据对待修复深度图的第一有效深度值以及已补洞深度图的第二有效深度值进行统计分析而获取的统计信息，深度优化模块145可针对待修复深度图上的所有破洞或部分破洞产生对应的优化深度值。值得一提的是，这些影像分割所划分的范围可将待修复深度图或已补洞深度图分别分割为多个分割块。于此，待修复深度图上的这些分割块称之为待修复度块，而已补洞上的这些分割块称之为已补洞分割块，待修复度块基于块位置而一一对应至已补洞分割块。此外，这些超像素所划分的范围可将已补洞深度图分别分割为多个超像素块。于是，深度优化模块145可对一特定范围内的第一有效深度值或第二有深度值进行统计与分析，并据以获取对应至不同像素位置的优化深度值。最后，于步骤S206，深度图产生模块146依据优化深度值获取优化深度图。

为了进一步清楚说明本发明，图4为依照本发明一实施例所示出的影像深度信息的优化方法的运作示意图。参照图4，深度估测模块147接收立体成像系统所拍摄的左影像Img_L以及右影像Img_R。深度估测模块147对左影像Img_L以及右影像Img_R进行三维深度估测而获取原始深度图dm_1。接着，待修复深度图获取模块141判断原始深度图dm_1上的各个原始深度值是否为无效深度值，并将无效深度值从原始深度图dm_1上移除而获取待修复深度图dm_2。待修复深度图dm_2记录多个第一有效深度值，且对应至多个无效深度值的多个破洞分布于待修复深度图dm_2上。

补洞模块144分别对待修复深度图dm_2中的破洞产生多个补洞深度值，并将补洞深度值填补至待修复深度图dm_2而产生已补洞深度图dm_3。因此，已补洞深度图dm_3记录有多个第二有效深度值。另一方面，超像素分割模块142对左影像Img_L进行超像素分割处理而获取包括多个超像素的超像素图SP_1。依据超像素图SP_1上各个超像素内的像素信息，影像分割模块143可将这些超像素聚合成多个影像分割而获取影像分割图SP_2。关于超像素分割处理与聚合超像素的详细内容已经于前述实施例详细说明，于此不再赘述。

之后，通过利用影像分割图SP_2上的影像分割、超像素图SP_1上的超像素、待修复深度图dm_2，以及已补洞深度图dm_3，深度优化模块145可对待修复深度图dm_2的第一有效深度值以及已补洞深度图dm_3的第二有效深度值进行区域性的统计分析而获取多个优化深度值d_opm。

于一实施例中，深度优化模块145可依据影像分割所划分的范围可将待修复深度图dm_2或已补洞深度图dm_3分别分割为多个分割块。于此，待修复深度图dm_2上的这些分割块称之为待修复深度块，而已补洞深度图dm_3上的这些分割块称之为已补洞分割块。如此，深度优化模块145可对待修复深度图dm_2上每一待修复分割块内的第一有效深度值进行统计分析而获取第一统计信息。上述的第一统计信息可包括待修复深度图上每一分割块内的第一有效深度值的统计平均值、统计标准差，以及统计众数等等，本发明对此并不限制。

相似的，深度优化模块145可对已补洞深度图dm_3上每一已补洞分割块内的第二有效深度值进行统计分析而获取第二统计信息。上述的第二统计信息可包括已补洞深度图dm_3上每一已补洞分割块内的第二有效深度值的统计平均值、统计标准差，以及统计众数等，本发明对此并不限制。此外，这些超像素所划分的范围可将已补洞深度图dm_3分别分割为多个超像素块。如此，深度优化模块145可对已补洞深度图dm_3上每一超像素块内的第二有效深度值进行统计分析而获取第三统计信息。上述的第三统计信息可包括已补洞深度图上每一超像素块内的第二有效深度值的统计平均值、统计标准差、统计众数等，本发明对此并不限制。接着，深度优化模块145可依据上述的第一统计信息、第二统计信息，以及第三统计信息来获取优化深度值d_opm。

之后，深度图产生模块146可依据优化深度值d_opm获取优化深度图dm_4。于本实施例中，深度图产生模块146可将优化深度值d_opm填补至待修复深度图dm_2上的破洞而获取优化深度图dm_4。于另一实施例中，深度图产生模块146可将优化深度值d_opm取代已补洞深度图dm_3上的第二有效深度值而获取优化深度图dm_4。

图5A与图5B为依照本发明一实施例所示出的产生优化深度值的流程图。关于如何获取待修复深度图dm_2、已补洞深度图dm_2、超像素图SP_1，以及影像分割图SP_2的详细内容已于前述实施例说明，于此不在赘述。以下将举一实施例，以详细说明深度优化模块145如何依据待修复分割块内第一有效深度值的第一统计信息、已补洞分割块内第二有效深度值的第二统计信息与超像素块内第二有效深度值的第三统计信息来产生优化深度值。请同时参照图4、图5A与图5B。

首先，于步骤S501，深度优化模块145利用影像分割所划分的范围将待修复深度图dm_2分成多个待修复分割块。换言之，基于影像分割图SP_2上各影像分割所划分的范围，待修复深度图dm_2可被区分成多个待修复分割块。各待修复分割块包括多个第一有效深度值与对应至无效深度值的破洞。举例而言，图6为依照本发明一实施例所示出的产生优化深度值的范例示意图。请参照图6，待修复深度图dm_2记录有多个第一有效深度值(例如：第一有效深度值dp_1)，且多个破洞(例如：破洞h1)分布于待修复深度图dm_2上。待修复深度图dm_2基于影像分割图SP_2的影像分割D3与影像分割D4而划分成对应的待修复分割块b1与待修复分割块b2。

于步骤S502，依据待修复分割块的尺寸以及待修复分割块内的第一有效深度值的数量与无效深度值的数量，深度优化模块145判断待修复分割块是否为需优化块。基于此，依据待修复分割块是否为需优化块，深度优化模块145可决定是否对待修复分割块内的破洞产生优化深度值。

具体来说，若待修复分割块内无效深度值的数量太多，基于邻近信息来获取补洞深度值的方式可能因为可参考信息不足而产生偏差。因此，深度优化模块145可基于无效深度值的数量来判定待修复分割块是否为不可靠区域。或者，若待修复分割块的尺寸过大，代表待修复分割块对应至左影像中纹理信息不足的部分(例如：一面白墙)，则基于邻近信息来获取补洞深度值的方式可能因为偏差计算的渲染而失真。因此，因深度优化模块145可基于待修复分割块的尺寸来判定待修复分割块是否为不可靠区域。举例而言，请参照图6，深度优化模块145可依据待修复分割块b1的尺寸以及待修复分割块b1内的第一有效深度值的数量与无效深度值的数量判断待修复分割块b1是否为需优化块。

于一实施例中，若待修复分割块的尺寸大于块临界值且待修复分割块内的无效深度值的数量大于第一有效深度值的数量与权重因子的乘积，深度值优化模块145判定待修复分割块为不可靠区域。其中，待修复分割块的尺寸可定义为待修复分割块的像素数量，块临界值与权重因子可视实际需求而设计，本发明对此并不限制。

若待修复分割块其中之一为需优化块(步骤S502判断为是)，于步骤S503，深度优化模块145决定对待修复分割块其中之一内的破洞产生优化深度值。于图6的范例中，假设待修复分割块b2的尺寸大于块临界值，且待修复分割块b2内的无效深度值的数量大于第一有效深度值的数量与权重因子的乘积，则深度值优化模块145判定待修复分割块b2为不可靠区域。并且，深度优化模块145决定对待修复分割块b2内的破洞产生优化深度值。

于步骤S504，深度优化模块145利用影像分割所划分的范围将已补洞深度图dm_3分成多个已补洞分割块。换言之，基于影像分割图SP_2上各影像分割所划分的范围，已补洞深度图dm_3可被区分成多个已补洞分割块。各已补洞分割块包括多个第二有效深度值。举例而言，请参照图6，已补洞深度图dm_3记录有多个第二有效深度值(例如：第二有效深度值dp_2)。已补洞深度图dm_3基于影像分割图SP_2的影像分割D3与影像分割D4而划分成对应的已补洞分割块b3与已补洞分割块b4。须特别说明的是，基于利用相同影像分割图SP_1进行分割，待修复分割块b1对应至已补洞分割块b3，且待修复分割块b2对应至已补洞分割块b4。

于步骤S505，依据已补洞分割块其中之一内的第二有效深度值的一统计值，深度优化模块145决定已补洞深度图dm_3的已补洞分割块其中之一内的第二有效深度值是否需检验。上述的统计值例如是已补洞分割块其中之一内的第二有效深度值的统计偏差或统计变异数。具体而言，被判定为需优化块的待修复深度块所对应的已补洞分割块的统计信息可用来判别第二有效深度值是否需检验。进一步来说，若已补洞分割块的第二有效深度值的统计偏差或统计变异数太大，代表此已补洞分割块内可能存在前景深度与背景深度掺杂的现象。换言之，若已补洞分割块的第二有效深度值的统计偏差或统计变异数太大，代表应该是属于同一平面深度的已补洞分割块内存在不准确的第二有效深度值。因此，若已补洞分割块的第二有效深度值的统计偏差或统计变异数太大，代表已补洞分割块内的第二有效深度值的准确度是需要被检验的。基于已补洞分割块其中之一内的第二有效深度值是否需检验，深度优化模块145决定是否利用已补洞分割块其中之一内的第二有效深度值产生优化深度值。

举例而言，于图6的范例中，假设待修复分割块b2为需优化块且待修复分割块b2对应至已补洞分割块b4，深度优化模块145将会对已补洞分割块b4内的第二有效深度值进行统计运算，而获取已补洞分割块b4内的第二有效深度值统计偏差或统计变异数。于一实施例中，若已补洞分割块b4内的第二有效深度值的统计偏差或统计变异数大于临界值，则已补洞分割块b4内的第二有效深度值需检验，因此已补洞分割块b4内的第二有效深度值可能不适合用以产生优化深度值。相反的，若已补洞分割块b4内的第二有效深度值的统计偏差或统计变异数不大于临界值，则已补洞分割块b4内的第二有效深度值并非需检验的，因此已补洞分割块b4内的第二有效深度值可用以产生优化深度值。

若已补洞分割块其中之一内的第二有效深度值需检验(步骤S505判断为是)，依据待修复分割块其中之一内的第一有效深度值的第一统计信息以及已补洞分割块其中之一内的第二有效深度值的第二统计信息，深度值优化模块145决定使用第一统计信息或第二统计信息来获取优化深度值。举例而言，于图6的范例中，深度值优化模块145可对待修复分割块b2内的第一有效深度值进行统计运算，而获取待修复分割块b2内的第一有效深度值的第一统计信息，例如是待修复分割块b2内的第一有效深度值的统计平均、统计众数、统计偏差或有效值比例等等。另外，深度值优化模块145可对已补洞分割块b4内的第二有效深度值进行统计运算，而获取已补洞分割块b4内的第二有效深度值的第二统计信息，例如是已补洞分割块b4内的第二有效深度值的统计平均、统计众数或统计偏差等等。

于是，于步骤S506，深度优化模块145判断待修复分割块的第一统计信息与已补洞分割块的第二统计信息是否符合预设条件。当已补洞分割块内的第二有效深度值是需检验的，所述的预设条件用来判断是否使用待修复分割块的第一统计信息。举例而言，于图6的范例中，深度值优化模块145可判断待修复分割块b2的第一统计信息与已补洞分割块b4的第二统计信息是否符合预设条件。若第一统计信息与第二统计信息符合预设条件(步骤S506判断为是)，于步骤S507，深度值优化模块145使用第一统计信息来获取优化深度值。若第一统计信息与第二统计信息不符合预设条件(步骤S506判断为是)，于步骤S508，深度值优化模块145使用第二统计信息来获取优化深度值。

举例而言，于图6的范例中，当深度值优化模块145使用第一统计信息来获取优化深度值，深度值优化模块145可将待修复分割块b2内的第一有效深度值的统计众数作为优化深度值。如此一来，深度图产生模块146可将待修复分割块b2内的第一有效深度值的统计众数填入待修复深度图dm_2中的破洞h2而获取优化深度图，或利用待修复分割块b2内的第一有效深度值的统计众数取代已补洞深度图dm_3的第二有效深度值dp_3而获取优化深度图。当深度值优化模块145使用第二统计信息来获取优化深度值，深度值优化模块145可将已补洞分割块b4内的第二有效深度值的统计众数作为优化深度值。如此一来，深度图产生模块146可将已补洞分割块b4内的第二有效深度值的统计众数填入待修复深度图dm_2中的破洞h2而获取优化深度图，或利用已补洞分割块b4内的第二有效深度值的统计众数取代以补洞深度图dm_3的第二有效深度值dp_3而获取优化深度图。

于一实施例中，步骤S506中的预设条件可包括待修复分割块其中之一内的第一有效深度值的有效比例大于有效临界值，如条件式(1)所示：

REF_Valid_ratio>Threshold_valid (1)

其中REF_Valid_ratio代表待修复分割块其中之一内的第一有效深度值的有效比例，而Threshold_valid代表有效临界值。条件式(1)可用以判断待修复分割块内的第一有效深度值是否太少而不具备区域代表性。

于一实施例中，步骤S506中的预设条件可包括待修复分割块其中之一内的第一有效深度值的统计众数小于已补洞分割块其中一内的第一有效深度值的统计众数，如条件式(2)所示：

REF_mode<HF_mode (2)

其中REF_mode代表待修复分割块其中之一内的第一有效深度值的统计众数，而HF_mode代表已补洞分割块其中一内的第一有效深度值的统计众数。一般来说，无纹理区域的待修复块的众数统计通常小于已补洞块的众数统计，因此条件式(2)可用以判断使用第一统计信息或第二统计信息进行优化。

于一实施例中，步骤S506中的预设条件可包括待修复分割块其中之一内的第一有效深度值的统计标准差小于已补洞分割块其中之一内的第二有效深度值的统计标准差，如条件式(3)所示：

REF_deviation<HF_deviation (3)

其中REF_deviation代表待修复分割块其中之一内的第一有效深度值的统计标准差，而HF_deviation代表已补洞分割块其中一内的第二有效深度值的统计标准差。条件式(3)可用以判断待修复分割块内的第一有效深度值存在太多无用信息干扰而导致标准差太大。

另一方面，若已补洞分割块其中之一内的第二有效深度值并非需检验(步骤S505判断为否)，表示已补洞块的第二有效深度值接近一致。然而，由于大范围的已补洞块是小范围的超像素块的合并，因此可能将深度值不同的物件深度与背景深度因为对应像素点的像素值接近而被区分至同一已补洞块。此时，决定使用大范围的已补洞块或小范围的超像素块来产生优化深度值是必须的。于是，若步骤S505判断为是，于步骤S509，优度优化模块145利用超像素所划分的范围将已补洞深度图dm_3分成多个超像素块。换言之，基于超像素图SP_1上各超像素所划分的范围，已补洞深度图dm_3可被区分成多个超像素块。各超像素块包括多个第二有效深度值。举例而言，于图6的范例中，已补洞深度图dm_3基于超像素图SP_1的超像素(例如：超像素S7、超像素S8、超像素S9)而划分成待修复分割块划分成对应的超像素块(例如：超像素块b5、超像素b6、超像素b7)。

接着，若已补洞分割块其中之一内的第二有效深度值并非需检验(步骤S505判断为否)，依据已补洞分割块其中之一内的超像素块其中之一内的第二有效深度值的第三统计信息，深度值优化模块145判断使用第二统计信息或第三统计信息来获取优化深度值。举例而言，于图6的范例中，深度值优化模块145可对超像素块b6内的第二有效深度值进行统计运算，而获取超像素块b6内的第二有效深度值的第三统计信息，例如是超像素块b6内的第二有效深度值的统计平均、统计众数、统计偏差等等。

于是，于步骤S510，深度优化模块145判断已补洞分割块的第二统计信息与超像素块的第三统计信息是否符合预设条件。举例而言，于图6的范例中，假设已补洞分割块b4内的第二有效深度值并非需检验，深度值优化模块145将利用已补洞分割块b4内的第二有效深度值来产生优化深度值。深度值优化模块145可判断已补洞分割块b4的第二统计信息与超像素块b6的第三统计信息是否符合预设条件。若第三统计信息符合预设条件(步骤S510判断为是)，于步骤S512，深度值优化模块145使用第三统计信息来获取优化深度值。若第三统计信息不符合预设条件(步骤S510判断为否)，于步骤S511，深度值优化模块145使用第二统计信息来获取优化深度值。

举例而言，于图6的范例中，当深度值优化模块145使用第二统计信息来获取优化深度值，深度值优化模块145可将已补洞分割块b4内的第二有效深度值的统计众数作为优化深度值。如此一来，深度图产生模块146可将已补洞分割块b4内的第二有效深度值的统计众数填入待修复深度图dm_2中的破洞h3而获取优化深度图，或利用已补洞分割块b4内的第二有效深度值的统计众数取代以补洞深度图dm_3的第二有效深度值dp_4而获取优化深度图。当深度值优化模块145使用第三统计信息来获取优化深度值，深度值优化模块145可将超像素块b7内的第二有效深度值的统计众数作为优化深度值。如此一来，深度图产生模块146可将超像素块b7内的第二有效深度值的统计众数填入待修复深度图dm_2中的破洞h3而获取优化深度图，或利用超像素块b7内的第二有效深度值的统计众数取代以补洞深度图dm_3的第二有效深度值dp_4而获取优化深度图。

于一实施例中，步骤S510中的预设条件可包括超像素块其中之一内的第二有效深度值的统计众数与超像素块其中之一内的第二有效深度值的统计平均之间的差距是否小于第一临界值，如条件式(4)所示：

|HF_Superpixel_mode-HF_Superpixel_mean|<Threshold_1 (4)

其中HF_Superpixel_mode代表超像素块其中之一内的第二有效深度值的统计众数，而HF_Superpixel_mean代表超像素块其中之一内的第二有效深度值的统计平均值，Threshold_1代表第一临界值。条件式(4)可用以判断超像素块内的第二有效深度值的分布是否接近一致，以决定此超像素块内的第二有效深度值是否值得信赖。

于一实施例中，步骤S510中的预设条件可包括超像素块其中之一内的第二有效深度值的统计标准差是否小于第二临界值，如条件式(5)所示：

HF_Superpixel_deviation<Threshold_2 (5)

其中HF_Superpixel_deviation代表超像素块其中之一内的第二有效深度值的统计标准差，而Threshold_2代表第二临界值。条件式(5)可用以判断超像素块内的第二有效深度值的分布是否接近一致，以决定此超像素块内的第二有效深度值是否值得信赖。

于一实施例中，步骤S510中的预设条件可包括超像素块其中之一内的第二有效深度值的统计众数与已补洞分割块其中之一内的第二有效深度值的统计众数之间的差距是否大于第三临界值，如条件式(6)所示：

|HF_Superpixel_mode-HF_mode|>Threshold_3 (6)

其中HF_Superpixel_mode代表超像素块其中之一内的第二有效深度值的统计众数，HF_mode代表已补洞分割块其中之一内的第一有效深度值的统计众数，而Threshold_3代表第三临界值。详细来说，当前景物件的深度值被划分至代表背景物件的深度块时，由于前景物件的深度值与背景的深度值差异大，因此通过比较大范围之已补洞块内的众数信息与小范围的超像素块的众数信息，可决定对应至前景物件的超像素块内的第二有效深度值是否被误分至对应至背景的已补洞块。条件式(6)可用以判断已补洞块内的众数信息超像素块的众数信息之间的差异是否够大，以决定使用大范围的已补洞块内的第二有效深度值或小范围的超像素块内的第二有效深度值来产生优化深度值。

综上所述，在本发明的实施例中，可利用待修复深度图以及已补洞深度图上的统计信息来产生准确度更高的优化深度图。进一步来说，本发明可先依据原图信息对左影像或右影像进行像素的分群而获取多个超像素以及多个影像切割，再利用这些影像切割决定待修复深度图的待修复分割块与已补洞深度图的已补洞分割块。如此，依据各待修复分割块内的第一有效深度值的统计信息，原始左影像的无纹理区域可被识别出来。之后，通过交互分析待修复分割块内的深度信息的统计信息、已补洞分割块内的深度信息的统计信息，以及超像素块内的深度信息的统计信息，本发明可依据针对无纹理区域产生更可靠优化深度值，从而避免仅利用小范围的邻近信息进行破洞填补处理而产生的差偏差。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，均在本发明范围内。

Claims (26)

1.一种影像深度信息的优化方法，适用于影像处理装置，其特征在于，所述方法包括：

获取基于左影像与右影像而产生的待修复深度图，其中所述待修复深度图记录多个第一有效深度值，且对应至多个无效深度值的多个破洞分布于所述待修复深度图上；

将所述左影像与所述右影像其中之一进行超像素切割处理，而获取所述左影像与所述右影像其中之一的多个超像素；

依据所述多个超像素内的像素信息，聚集所述多个超像素而获取多个影像分割；

对所述待修复深度图内的所述多个破洞进行破洞填补处理，而获取包括多个第二有效深度值的已补洞深度图；

利用所述多个影像分割划分的范围、所述多个超像素划分的范围、所述待修复深度图以及所述已补洞深度图，对所述待修复深度图的所述多个第一有效深度值以及所述已补洞深度图的所述多个第二有效深度值进行统计分析而获取多个优化深度值，其中所述多个影像分割划分的范围将所述待修复深度图与所述已补洞深度图分别分割为多个分割块，所述多个超像素划分的范围将所述已补洞深度图分别分割为多个超像素块；以及

依据所述多个优化深度值获取优化深度图。

2.根据权利要求1所述的影像深度信息的优化方法，其特征在于，所述左影像与所述右影像其中之一包括多个像素，且所述多个像素依据所述多个像素的像素值与像素位置而区分为所述多个超像素。

3.根据权利要求1所述的影像深度信息的优化方法，其特征在于，依据所述多个超像素内的像素信息，聚集所述多个超像素而获取所述多个影像分割的步骤包括：

统计所述多个超像素各自的直方图信息；以及

依据所述多个超像素各自的所述直方图信息，合并所述多个超像素而形成所述多个影像分割。

4.根据权利要求1所述的影像深度信息的优化方法，其特征在于，依据所述多个超像素内的像素信息，聚集所述多个超像素而获取所述多个影像分割的步骤包括：

对所述多个超像素进行边缘检测，而获取所述多个超像素各自的边缘特性；以及

依据所述多个超像素各自的所述边缘特性，合并所述多个超像素而形成所述多个影像分割。

5.根据权利要求1所述的影像深度信息的优化方法，其特征在于，利用所述多个影像分割划分的范围、所述多个超像素划分的范围、所述待修复深度图以及所述已补洞深度图，对所述待修复深度图的所述多个第一有效深度值以及所述已补洞深度图的所述多个第二有效深度值进行统计分析而获取所述多个优化深度值的步骤包括：

利用所述多个影像分割划分的范围将所述待修复深度图分成多个待修复分割块；

依据所述多个待修复分割块的尺寸以及所述多个待修复分割块内的所述多个第一有效深度值的数量与所述多个无效深度值的数量，判断所述多个待修复分割块是否为需优化块；以及

若所述多个待修复分割块其中之一为所述需优化块，决定对所述多个待修复分割块其中之一内的所述多个破洞产生所述多个优化深度值。

6.根据权利要求5所述的影像深度信息的优化方法，其特征在于，依据所述多个待修复分割块的尺寸以及所述多个待修复分割块内的所述多个第一有效深度值的数量与所述多个无效深度值的数量，判断所述多个待修复分割块是否为所述需优化块的步骤包括：

若所述多个待修复分割块的尺寸大于块临界值且所述多个待修复分割块内的所述多个无效深度值的数量大于所述多个第一有效深度值的数量与一权重因子的乘积，判定所述多个待修复分割块为不可靠区域。

7.根据权利要求1所述的影像深度信息的优化方法，其特征在于，利用所述多个影像分割划分的范围、所述多个超像素划分的范围、所述待修复深度图以及所述已补洞深度图，对所述待修复深度图的所述多个第一有效深度值以及所述已补洞深度图的所述多个第二有效深度值进行统计分析而获取所述多个优化深度值的步骤包括：

利用所述多个影像分割划分的范围将所述已补洞深度图分成多个已补洞分割块；以及

依据所述多个已补洞分割块其中之一内的所述多个第二有效深度值的统计值，决定所述已补洞深度图的所述多个已补洞分割块其中之一内的所述多个第二有效深度值是否需检验。

8.根据权利要求7所述的影像深度信息的优化方法，其特征在于，利用所述多个影像分割划分的范围、所述多个超像素划分的范围、所述待修复深度图以及所述已补洞深度图，对所述待修复深度图的所述多个第一有效深度值以及所述已补洞深度图的所述多个第二有效深度值进行统计分析而获取所述多个优化深度值的步骤包括：

利用所述多个影像分割划分的范围将所述待修复深度图分成多个待修复分割块；以及

若所述多个已补洞分割块其中之一内的所述多个第二有效深度值需检验，依据所述多个待修复分割块其中之一内的所述多个第一有效深度值的第一统计信息以及所述多个已补洞分割块其中之一内的所述多个第二有效深度值的第二统计信息，决定使用所述第一统计信息或所述第二统计信息来获取所述多个优化深度值。

9.根据权利要求8所述的影像深度信息的优化方法，其特征在于，依据所述多个待修复分割块其中之一内的所述多个第一有效深度值的所述第一统计信息以及所述多个已补洞分割块其中之一内的所述多个第二有效深度值的所述第二统计信息，决定使用所述第一统计信息或所述第二统计信息来获取所述多个优化深度值的步骤包括：

若所述第一统计信息与所述第二统计信息符合预设条件，使用所述第一统计信息来获取所述多个优化深度值；以及

若所述第一统计信息与所述第二统计信息不符合所述预设条件，使用所述第二统计信息来获取所述多个优化深度值。

10.根据权利要求9所述的影像深度信息的优化方法，其特征在于，所述预设条件包括所述多个待修复分割块其中之一内的所述多个第一有效深度值的有效比例大于有效临界值，所述多个待修复分割块其中之一内的所述多个第一有效深度值的统计众数小于所述多个已补洞分割块其中之一内的所述多个第二有效深度值的统计众数，以及所述多个待修复分割块其中之一内的所述多个第一有效深度值的统计标准差小于所述多个已补洞分割块其中之一内的所述多个第二有效深度值的统计标准差。

11.根据权利要求8所述的影像深度信息的优化方法，其特征在于，利用所述多个影像分割划分的范围、所述多个超像素划分的范围、所述待修复深度图以及所述已补洞深度图，对所述待修复深度图的所述多个第一有效深度值以及所述已补洞深度图的所述多个第二有效深度值进行统计分析而获取所述多个优化深度值的步骤包括：

利用所述多个超像素划分的范围将所述已补洞深度图分成所述多个超像素块；以及

若所述多个已补洞分割块其中之一内的所述多个第二有效深度值并非为需检验，依据所述多个已补洞分割块其中之一内的所述多个超像素块其中之一内的所述多个第二有效深度值的第三统计信息，判断使用所述第二统计信息或所述第三统计信息来获取所述多个优化深度值。

12.根据权利要求11所述的影像深度信息的优化方法，其特征在于，依据所述多个已补洞分割块其中之一的所述多个超像素块其中之一内的所述多个第二有效深度值的所述第三统计信息，判断使用所述第二统计信息或所述第三统计信息来获取所述多个优化深度值的步骤包括：

若所述第三统计信息符合预设条件，使用所述第三统计信息来获取所述多个优化深度值；以及

若所述第三统计信息不符合所述预设条件，使用所述第二统计信息来获取所述多个优化深度值。

13.根据权利要求12所述的影像深度信息的优化方法，其特征在于，所述预设条件包括所述多个超像素块其中之一内的所述多个第二有效深度值的统计众数与所述多个超像素块其中之一内的所述多个第二有效深度值的统计平均之间的差距是否小于第一临界值；所述多个超像素块其中之一内的所述多个第二有效深度值的统计标准差是否小于第二临界值；以及所述多个超像素块其中之一内的所述多个第二有效深度值的统计众数与所述多个已补洞分割块其中之一内的所述多个第二有效深度值的统计众数之间的差距是否大于第三临界值。

14.一种影像处理装置，其特征在于，包括：

存储单元，记录多个模块；以及

一或多个处理单元，耦接所述存储单元，存取并执行存储单元中记录的所述模块，所述模块包括：

待修复深度图获取模块，获取基于左影像与右影像而产生的待修复深度图，其中所述待修复深度图记录多个第一有效深度值，且对应至多个无效深度值的多个破洞分布于所述待修复深度图上；

超像素切割模块，将所述左影像与所述右影像其中之一进行超像素切割处理，而获取所述左影像与所述右影像其中之一的多个超像素；

影像分割模块，依据所述多个超像素内的像素信息，聚集所述多个超像素而获取多个影像分割；

补洞模块，对所述待修复深度图内的所述多个破洞进行一破洞填补处理，而获取包括多个第二有效深度值的已补洞深度图；

深度优化模块，利用所述多个影像分割划分的范围、所述多个超像素划分的范围、所述待修复深度图以及所述已补洞深度图，对所述待修复深度图的所述多个第一有效深度值以及所述已补洞深度图的所述多个第二有效深度值进行统计分析而获取多个优化深度值，其中所述多个影像分割划分的范围将所述待修复深度图与所述已补洞深度图分别分割为多个分割块，所述多个超像素划分的范围将所述已补洞深度图分别分割为多个超像素块；以及

深度图产生模块，依据所述多个优化深度值获取优化深度图。

15.根据权利要求14所述的影像处理装置，其特征在于，所述左影像与所述右影像其中之一包括多个像素，且所述多个像素依据所述多个像素的像素值与像素位置而区分为所述多个超像素。

16.根据权利要求14所述的影像处理装置，其特征在于，所述影像分割模块统计所述多个超像素各自的直方图信息，以及依据所述多个超像素各自的所述直方图信息，合并所述多个超像素而形成所述多个影像分割。

17.根据权利要求14所述的影像处理装置，其特征在于，所述影像分割模块对所述多个超像素进行边缘检测，而获取所述多个超像素各自的边缘特性，以及依据所述多个超像素各自的所述边缘特性，合并所述多个超像素而形成所述多个影像分割。

18.根据权利要求14所述的影像处理装置，其特征在于，所述深度值优化模块利用所述多个影像分割划分的范围将所述待修复深度图分成多个待修复分割块，以及依据所述多个待修复分割块的尺寸以及所述多个待修复分割块内的所述多个第一有效深度值的数量与所述多个无效深度值的数量，判断所述多个待修复分割块是否为需优化块，

其中若所述多个待修复分割块其中之一为所述需优化块，所述深度值优化模块决定对所述多个待修复分割块其中之一内的所述多个破洞产生所述多个优化深度值。

19.根据权利要求18所述的影像处理装置，其特征在于，若所述多个待修复分割块的尺寸大于块临界值且所述多个待修复分割块内的所述多个无效深度值的数量大于所述多个第一有效深度值的数量与权重因子的乘积，所述深度值优化模块判定所述多个待修复分割块为不可靠区域。

20.根据权利要求14所述的影像处理装置，其特征在于，所述深度值优化模块利用所述多个影像分割划分的范围将所述已补洞深度图分成多个已补洞分割块，依据所述多个已补洞分割块其中之一内的所述多个第二有效深度值的统计值，决定所述已补洞深度图的所述多个已补洞分割块其中之该一内的所述多个第二有效深度值是否需检验。

21.根据权利要求20所述的影像处理装置，其特征在于，所述深度值优化模块利用所述多个影像分割划分的范围将所述待修复深度图分成多个待修复分割块，

其中若所述多个已补洞分割块其中之一内的所述多个第二有效深度值需检验，依据所述多个待修复分割块其中之一内的所述多个第一有效深度值的第一统计信息以及所述多个已补洞分割块其中之一内的所述多个第二有效深度值的第二统计信息，所述深度值优化模块决定使用所述第一统计信息或所述第二统计信息来获取所述多个优化深度值。

22.根据权利要求21所述的影像处理装置，其特征在于，若所述第一统计信息与所述第二统计信息符合预设条件，所述深度值优化模块使用所述第一统计信息来获取所述多个优化深度值；以及若所述第一统计信息与所述第二统计信息不符合所述预设条件，所述深度值优化模块使用所述第二统计信息来获取所述多个优化深度值。

23.根据权利要求22所述的影像处理装置，其特征在于，所述预设条件包括所述多个待修复分割块其中之一内的所述多个第一有效深度值的有效比例大于有效临界值，所述多个待修复分割块其中之一内的所述多个第一有效深度值的统计众数小于所述多个已补洞分割块其中之一内的所述多个第二有效深度值的统计众数，以及所述多个待修复分割块其中之一内的所述多个第一有效深度值的统计标准差小于所述多个已补洞分割块其中之一内的所述多个第二有效深度值的统计标准差。

24.根据权利要求21所述的影像处理装置，其特征在于，所述深度值优化模块利用所述多个超像素划分的范围将所述已补洞深度图分成所述多个超像素块，

其中若所述多个已补洞分割块其中之一内的所述多个第二有效深度值并非需检验，依据所述多个已补洞分割块其中之一内的所述多个超像素块其中之一内的所述多个第二有效深度值的第三统计信息，所述深度值优化模块判断使用所述第二统计信息或所述第三统计信息来获取所述多个优化深度值。

25.根据权利要求24所述的影像处理装置，其特征在于，若所述第三统计信息符合预设条件，所述深度值优化模块使用所述第三统计信息来获取所述多个优化深度值；以及若所述第三统计信息不符合所述预设条件，所述深度值优化模块使用所述第二统计信息来获取所述多个优化深度值。

26.根据权利要求25所述的影像处理装置，其特征在于，所述预设条件包括所述多个超像素块其中之一内的所述多个第二有效深度值的统计众数与所述多个超像素块其中之一内的所述多个第二有效深度值的统计平均之间的差距是否小于一第一临界值；所述多个超像素块其中之一内的所述多个第二有效深度值的统计标准差是否小于第二临界值；以及所述多个超像素块其中之一内的所述多个第二有效深度值的统计众数与所述多个已补洞分割块其中之一内的所述多个第二有效深度值的统计众数之间的差距是否大于第三临界值。

Images