CN103390289A - 基于深度传感器获得镜面对象的几何形状的方法和设备 - Google Patents

Abstract

提供一种基于深度传感器获得镜面对象的几何形状的方法和设备。基于单视点深度图像，所述方法可包括：接收深度图像的输入；基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值；修正丢失的深度值。基于多视点深度图像，所述方法可包括：接收多视点深度图像的输入；标定多视点深度图像；在标定的多视点深度图像中检测错误区域；修正错误区域的丢失的深度值。

Description

基于深度传感器获得镜面对象的几何形状的方法和设备

本申请要求于2012年5月10日提交到美国专利商标局的第61/645,228号临时申请以及于2012年10月31日提交到韩国知识产权局的第10-2012-0122345号韩国专利申请的优先权利益，其每个的全部公开通过引用包含于此。

技术领域

下面的公开的示例实施例涉及一种用于针对各种应用（例如，三维（3D）成像、用于3D显示器的内容的创建、3D广播内容的创建、动画效果、3D游戏和虚拟或增强现实）基于深度传感器来获得镜面(specular)对象的几何形状(geometry)的方法和设备。

背景技术

各种传感器的发展已经使得三维（3D）成像技术在3D成像行业中发挥了重要的作用。随着最近的新深度感测方法和架构的引进，3D成像技术正在基于深度传感器被用于各种应用。

作为当前这些趋势的结果，3D飞行时间（ToF）传感器和结构光3D传感器正在获得市场的关注。这些传感器具有不同特点以及不同优点和缺点，因此基于将被使用的应用选择性地被使用。

发明内容

前述和/或其他方面通过提供一种获得镜面图像的几何形状的方法来实现，所述方法包括：接收深度图像的输入；基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值；修正丢失的深度值。

局部区域可被定义为呈现丢失的深度值的点是中心的区域。

深度图像可与具有饱和水平的输出值的深度图像相应。

基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值的步骤可包括：针对丢失的深度值估计丢失的深度值，以保证与局部区域的平均值的相似性。

基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值的步骤可包括：针对丢失的深度值估计丢失的深度值，以保证关于邻近像素的连续性。

基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值的步骤可包括：针对丢失的深度值估计丢失的深度值，以保证深度图像中的图案的周期性。

基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值的步骤可包括：针对丢失的深度值估计丢失的深度值，以保证与局部区域的平均值的相似性、关于邻近像素的连续性和深度图像中的图案的周期性；将权重值应用于所述相似性、所述连续性和所述周期性，并使用最小的总成本来确定丢失的深度值。

前述和/或其他方面还可通过提供一种获得镜面图像的几何形状的方法来实现，所述方法包括:接收多视点深度图像的输入；标定多视点深度图像；检测标定的多视点深度图像中的错误区域；修正错误区域的丢失的深度值。

修正错误区域的丢失的深度值的步骤可包括：从多视点深度图像中分离出视点相关像素和视点不相关像素，将多视点深度图像表示为视点相关像素和视点不相关像素的和；将不同的镜面模型应用于视点相关像素和视点不相关像素。

标定多视点深度图像的步骤可包括：匹配从网格图案中提取的特征点。

多视点深度图像可与具有M个视点的图像相应，其中，M可以是大于或等于2的自然数，检测标定的多视点深度图像中的错误区域的步骤可包括：计算多视点深度图像中的三维（3D）点的M个深度值的分布。

计算多视点深度图像中的3D点的M个深度值的分布的步骤可包括：计算从所述3D点的邻近3D点观测的M个深度值的分布。

检测标定的多视点深度图像中的错误区域的步骤可包括：将在分布中发现有多个峰值的3D点检测为错误区域。

可通过K-均值聚类算法或高斯混合模型拟合来计算分布，修正错误区域的丢失的深度值的步骤可包括:按照K-均值聚类算法或高斯混合模型拟合来从多个聚类中检测主聚类；使用主聚类中的采样的任意值、平均值、加权和或中值来确定所述3D点的深度值；用确定的深度值来代替丢失的深度值。

按照K-均值聚类算法或高斯混合模型拟合从多个聚类中确定主聚类的步骤可包括：将多个聚类中的具有最大数量的采样和最小变化的聚类确定为主聚类。

前述和/或其他方面还可通过提供一种用于获得镜面图像的几何形状的设备来实现，所述设备包括：单视点深度图像输入单元，被配置为接收深度图像的输入；单视点深度值估计单元，被配置为基于与深度图像的局部区域中的邻近值的连通性来估计丢失的深度值；单视点深度值修正单元，被配置为修正丢失的深度值。

单视点深度值估计单元可被配置为针对丢失的深度值估计丢失的深度值，以保证与局部区域的平均值的相似性、关于邻近像素的连续性和深度图像中的图案的周期性，所述设备还可包括：单视点深度值确定单元，被配置为将权重值应用于所述相似性、所述连续性和所述周期性，并使用最小的总成本来确定丢失的深度值。

前述和/或其他方面还可通过提供一种用于获得镜面图像的几何形状的设备来实现，所述设备包括：多视点深度图像输入单元，被配置为接收多视点深度图像的输入；多视点深度图像标定单元，被配置为标定多视点深度图像；多视点深度图像错误检测单元，被配置为检测在标定的多视点深度图像中的错误区域；多视点深度图像修正单元，被配置为修正错误区域的丢失的深度值。

多视点深度图像可与具有M个视点的图像相应，其中，M是大于或等于2的自然数，多视点深度图像错误检测单元可包括：多视点深度图像分布计算单元，被配置为计算多视点深度图像中的3D点的M个深度值和从所述3D点的邻近3D点观测的M个深度值的分布。

多视点深度图像分布计算单元可被配置为通过K-均值聚类算法或高斯混合模型拟合来计算所述分布，多视点深度图像修正单元可包括：主聚类确定单元，被配置为按照K-均值聚类算法或高斯混合模型拟合来将多个聚类中的内部具有最大数量的采样和最小变化的聚类确定为多个聚类中的主聚类；多视点深度值确定单元，被配置为使用主聚类中的采样的任意值、平均值、加权和或中值来确定所述3D点的深度值；多视点深度值代替单元，被配置为用确定的深度值来代替丢失的深度值。

示例性实施例的附加方面的一部分将在下面的描述中被阐明，并且一部分从描述中是清楚的或通过本公开的实施可被理解。

附图说明

通过下面结合附图对实施例进行的描述，这些和/或其他方面将变得清楚和更易于理解，其中：

图1A和图1B示出针对朗伯材料（Lambertian material）的深度重建；

图2A和图2B示出针对镜面材料的深度重建；

图3是随同深度图像一起的使用飞行时间（ToF）的镜面对象的灰度图像；

图4是随同深度图像一起的使用结构光的镜面对象的灰度图像；

图5A和图5B示出使用ToF的镜面对象的深度图像中的方位引发的错误；

图6A和图6B示出根据示例性实施例的基于单视点深度图像获得镜面对象的几何形状的方法；

图7A和图7B示出根据示例性实施例的基于单视点深度图像的几何形状重建结果；

图8是示出根据示例性实施例的基于多视点深度图像的重建几何形状的方法的流程图；

图9示出根据示例性实施例的使用镜面模型基于多视点深度图像的重建几何形状的方法；

图10示出根据示例性实施例的从多视点深度图像中分离出视点相关像素；

图11示出根据示例性实施例的将不同镜面模型应用于多视点深度图像的视点相关像素和视点不相关像素。

图12A和12B是根据示例性实施例的使用从镜面模型提取的约束的具有减少的噪声的方位图；

图13A和13B是根据示例性实施例的使用镜面模型的根据方位和反射的具有减少的错误的深度图；

图14示出根据示例性实施例的用于基于单视点深度图像获得镜面对象的几何形状的设备；

图15示出根据示例性实施例的用于基于多视点深度图像获得镜面对象的几何形状的设备。

具体实施方式

然而，尽管提高了传感器的性能，但是示例性深度传感器在获得镜面对象（例如，有光泽的对象）的深度值方面具有局限性。因为根据镜面反射的特性，仅沿着预定方向从所述对象反射光，所以这种局限性是由传感器感测的反射信号的过度高或低强度的结果。深度传感器通过感测反射信号和估计深度值（不考虑操作原理）来操作，因此对于处理镜面对象的深度值是不兼容的。

现在将对实施例进行详细的参照，所述实施例的示例在附图中被示出。

图1A和图1B示出针对朗伯材料(Lambertian material)的深度重建。

现有商业深度传感器被设计为在对象具有理想的朗伯表面的假设下操作。朗伯对象沿着所有方向一致地反射入射光，光强度在所有方向相等。在这种情况下，深度传感器可包括深度相机。

参照图1A，根据飞行时间（ToF）原理，当光从红外线（IR）发光器121发出，从对象110的反射表面被反射，并且落在传感器131上时，可测量反射信号返回传感器131所花费的时间，并且可使用测量的时间计算距离。这里，不论位置，传感器可感测相等量的光，因为对象具有沿着所有方向相等地反射光的朗伯表面。基于这个原理，可测量深度值。

参照图1B，根据结构光原理，当来自投影仪122的光图案被投影到对象110上并分配到对象110的每个表面点，并且传感器132感测特征图案时，从投影仪122到对象110的表面点的直线和从传感器132的中心点到对相应的表面点进行感测的传感器132的像素的直线之间的交点可被计算，并且交点的三维（3D）位置可被获得。因此，因为对象具有沿着所有方向相等地反射光的朗伯表面，所以传感器可检测投影图案。基于这个原理，可测量深度值。

图2A和图2B示出针对镜面材料(specular material)的深度重建。

具有展现镜面反射的表面的镜面材料210（例如，球面镜）可如图2A和2B中所示那样反射光。

参照图2A，在ToF传感器231的情况下，来自IR发光二极管（LED）221的光被入射到对象210上，并且仅沿着预定方向从对象210被反射，这被称为镜子反射或镜面反射。当传感器231不存在于反射方向上时，传感器231会无法感测到从对象210的一些表面点反射的光，这导致无法测量相应的深度值。虽然反射的光被放置在反射方向上的传感器231感测到，但是由传感器231感测的光强度可超出传感器231的能力。在这种情况下，在感测的值中可发生饱和。由于对象210的镜面反射，当传感器231未能接收到反射光，或当由传感器231感测的光强度超出传感器231的能力时，深度值的恢复会失败。这样的问题也会在图2B的结构光传感器232发生，结构光传感器232试图接收从投影有来自投影仪222的光的对象210反射的光。

如前文所述，现有商业传感器在估计镜面对象的深度值方面具有局限性。

根据示例性实施例，为了克服现有商业传感器的感测局限性，可通过使用基于单深度图像的估计和多视点深度图像估计精确地恢复对象的深度值，来重建高反射性对象的几何形状。这里，单深度图像可与单视点深度图像互换使用。

在单视点深度图像中，可基于深度值的连续性和重复特点来估计丢失的深度值。在多视点深度图像中，可使用在邻近视点的深度图像中测量的值来针对每个单视点准确地恢复丢失的深度值。可使用ToF或结构光提供单视点深度图像和多视点深度图像。

因此，现有商业深度传感器的感测局限性可被克服，使得对各种3D成像装置的应用能有助于获得并产生3D图像。此外，也可能够进行自动立体3D TV内容的创建。在不同视点和不同条件下，可重建任意场景。另外，对增强现实的应用（具体地，渲染、混合或整合实像中的虚拟对象的处理）可被发现是有用的。

在下文中，更详细描述以单视点深度图像和多视点深度图像的实现。

图3是随同深度图像310一起的使用ToF的镜面对象的灰度图像320。图4是随同深度图像410一起的使用结构光的镜面对象的灰度图像420。在图3和图4中，深度图像310和深度图像410可分别表示灰度图像320和灰度图像420的深度。ToF相机可同时提供灰度图像320、420以及深度图像310、410。根据示例实施例，灰度图像320和灰度图像420可与IR强度图像相应。

由于镜面对象的镜面反射，深度图像310和深度图像410可具有饱和水平的输出值。因为传感器仅沿着一个方向接收从对象反射的IR点光或IR结构光，所以传感器感测的光的绝对强度值超出传感器的能力导致输出值处于饱和水平。这种现象可与在受到来自太阳光或发光器的过多的光时在颜色图像中发生的饱和类似。由于高反射性，灰度图像320中的区域321和灰度图像420中的区域421可被显示为明亮，作为饱和的影响的结果，与区域321相应的深度图像310中的区域311可被显示为黑暗，与区域421相应的深度图像410中的区域411可被显示为明亮。

图5A和图5B示出根据使用ToF的镜面对象的深度图像中的方位的错误。

当ToF被使用时，可通过测量入射到对象的IR光的电子信号的延迟来获得深度值。IR图像可作为反射值的总值被输出。在这种情况下，当获得深度值时，可不使用IR图像。

在IR图像中，由于方位可发生错误，并且错误可造成深度值丢失，例如，表现为亮点的区域510和形状消失的区域520。为了克服这种方位引发的错误，提供一种根据示例实施例的方法。参照图10到图13提供克服方位引发的错误的详细描述。

图6A是根据示例实施例的基于单视点深度图像获得镜面对象的几何形状的方法的流程图。图6B示出根据示例实施例的用于深度值优化的成本函数表示。

在操作610中，深度图像可被输入。根据一个示例实施例，深度图像可与使用ToF提供的IR图像相应。

在操作620中，可基于与在深度图像的局部区域中的邻近值的连通性（connectivity）来估计丢失的深度值。所述连通性可包括连续性、周期性和相似性。

在操作630中，丢失的深度值可被修正。根据示例实施例，可通过用在操作620中估计的深度值代替丢失的深度值来修正丢失的深度值。

根据示例实施例，可通过使用允许关于输入的深度图像中的邻近深度值保持连通性（例如，连续性、周期性和相似性）的深度值代替丢失的深度值，来恢复丢失的深度值。

为了估计丢失的深度值，定义相似性、连续性（例如，表面变化的相似性）和周期性（例如，假设深度图像中存在具有相似分布的深度值）的成本函数可被定义。成本函数可由等式1表示。

[等式1]

$E(Z,Z_s)=\underset{\hat{Z}}{\arg \min }\mathrm{\α}{\left|\right|\frac{1}{N}{\mathrm{\Σ}}_{Z\∈L}Z-\hat{Z}\left|\right|}^2+\mathrm{\β}{\left|\right|\▿(Z_{+}-\hat{Z})-\▿(\hat{Z}-Z_{-})\left|\right|}^2+\mathrm{\γ}{\left|\right|\mathrm{var}\left[Z_{+}\hat{Z}{Z}_{-}\right]-\mathrm{var}\left(Z_s\right)\left|\right|}^2$

在等式1中，

表示估计的深度值。当L是丢失的深度值周围的局部区域时，可通过量化所述局部区域来设置在所述局部区域中的总共N个深度。局域区域可与具有预定大小的空间盒相应，或可根据线索（例如，纹理上的颜色）来针对每个丢失的深度值被不同地设置。另外，Z_和Z₊表示将被恢复的丢失的深度值的邻近深度值，并可指示未丢失值。Z_s表示具有连续深度值的片或部分，并可通过比较在深度图像上的片或部分中的变换被优化为最小值。

项

表示相似性，所述相似性表示将被恢复的深度值是否与所述局部区域的平均值相似。项

表示连续性，所述连续性表示将被恢复的深度值是否与邻近像素保持连续关系，在另一方面，表示表面曲率是否被保持。项表示周期性，所述周期性表示展现与深度图像的图案相似的图案的区域是否被呈现，并可指示将被恢复的深度值在深度图像的分布上的影响。

为了最小化所有的成本函数，最小值Z可通过为每个项改变权重值α、β和γ来确定。因此，深度值可基于等式1被优化。这个处理可针对每个将被恢复的丢失深度数据迭代地被执行。

图7A和图7B示出根据示例实施例的基于单视点深度图像的几何形状重建结果。

图7A示出使用传统算法获得的展现各向异性反射的不透明对象的几何形状。传统的针对镜面对象的几何形状获得受限于展现各向同性反射的对象。由于这个限制，具有丢失的深度值的区域710被显示为明亮。因此，传统算法在利用用于CE（消费电子）的工具来获得具有镜面的对象的几何形状方面具有限制。

图7B示出根据示例实施例的基于单视点深度图像的几何形状重建结果。使用图6的方法，过亮区域的丢失的深度值可通过参照深度图像中的邻近空间像素来恢复。因此，相应区域720可具有关于所述邻近物的连续深度值，并可代表对象的重建的几何形状。

图8是示出根据示例实施例的基于多视点深度图像的重建几何形状的方法的流程图。

当深度值由于饱和被输出为无意义值时，基于使用一个深度相机的单视点深度图像的深度值估计可以是有用的。基于多视点深度图像的几何形状重建可补偿由噪声造成的精确度下降以及由饱和造成的深度值丢失。

获得在多视点深度图像中的镜面对象的几何形状的方法可依次包括多视点深度图像标定、错误区域检测和深度值修正。

在操作810中，多视点深度图像可被输入。根据示例实施例，多视点深度图像可与具有M个视点的深度图像相应。

在操作820中，可使用相机标定来执行多视点深度图像的标定。所述标定可通过匹配从网格图案中提取的特征点来执行。例如，openCV或张的标定工具箱（Zhang's calibration toolbox）可被应用。

当相机信息通过标定被给出时，多视点深度图像标定可被实现。针对相同的3D点从另一视点测量的深度值可通过图像标定被计算。例如，当给出具有M个视点的图像时，可针对每个3D点测量M个深度值。在沿着所有方向均匀地反射IR光的纯朗伯对象的情况下，M个测量值可记录相同的3D点。在不具有漫反射的沿着预定方向反射光的镜面对象的情况下，M个测量值可包括饱和值或噪声值以及测量深度值。为了深度值的有意义以及精确估计，M个采样可被分析。

在操作830中，可从多视点深度图像中检测错误区。包括3D点的M个深度值和从相应3D点的邻近3D点观测的M个深度值的分布可被计算。在深度分布中，可在预定值处发现峰值。为了测量峰值，K-均值聚类算法或高斯混合模型拟合可被使用。当在分布中发现多个峰值时，发现有多个峰值的3D点可被检测为是错误区域。

在操作840中，错误区域的丢失的深度值可被修正。根据示例实施例，通过高斯拟合，多个聚类可被确定，或主聚类可被确定。内部具有大量采样并且聚类采样变化小的聚类可被确定是主聚类。可使用确定的聚类中的采样的平均值或非线性加权和来确定深度值。

为了计算效率，仅从针对相应的3D点的M个视点观测的深度值可被用于确定聚类，而不包括邻近点。而且，聚类中的中值或任意值可被用于代替用于确定所述聚类的加权和或均值。

图9示出根据示例实施例的使用镜面模型基于多视点深度图像的重建几何形状的方法。可通过将镜面模型应用于使用ToF提供的IR图像来确定深度值。用于确定深度值的函数可由等式2到等式4来表示。

[等式2]

I＝I_VD+I_VI

[等式3]

I_VI＝ρ_dn_p ^Tl

[等式4]

I_VD＝ρ_s(r_p ^Tv)^α

在等式2到等式4中，I表示IR图像的强度，I_VI表示视点不相关像素，I_VD表示视点相关像素。并且，P表示深度值，α表示指示相对高的值代表光滑表面且相对低的值代表粗糙表面的表面粗糙度，ρ_s表示视点相关反射常数，例如，镜面反射常数，ρ_d表示视点不相关反射常数，例如，漫反射常数。这里，α可与等式1中的不同。

作为未知变量“p”、“n_p”和“r_p”的函数可分别表示指示方位的法向矢量和指示反射的反射矢量。这里，“p”可与图9中的相同。根据示例实施例，在ToF相机的情况下，“l”可表示指示光的方向的发光矢量，并且“v”可表示指示等式3和等式4中的视点方向的视点矢量。当发出的IR的值被给出时，“l”和“v”的值可被预先确定。由于“l”和“v”与方向矢量相应，因此“l”和“v”的值可被表示为没有单位。

为了将镜面模型应用于IR图像，视点相关像素和视点不相关像素可与多视点IR图像分离。相应的IR图像可被表示为视点相关像素和视点不相关像素的和。可使用多视点IR图像提取深度、方位、强度和反射约束。

参照图10和图11提供进一步的描述。

图10示出根据示例实施例的从多视点深度图像中分离出视点相关像素。

参照图10，在反射从IR LED1020发出的光的镜面对象1010的IR图像中，相机1031可测量视点不相关分量I_VI1051，相机1032可测量视点相关分量I_VD1052。相机1031可从视点不相关分量I_VI1051中提取视点不相关像素，相机1032可从视点相关分量I_VD1052中提取视点相关像素。针对展现一般镜面反射的镜面对象的IR图像可被表示为视点不相关像素和视点相关像素的和。由于I_VI+I_VD=I_VI+0，测量视点不相关分量I_VI1051的相机1031可仅受I_VI1051的影响，测量视点相关分量I_VD1052的相机1032可受视点不相关分量I_VI1051和视点相关分量I_VD1052的影响。

图11示出根据示例实施例的将不同镜面模型应用到多视点深度图像的视点相关像素和视点不相关像素。根据示例实施例，Phong/TS模型可被应用于视点相关像素，朗伯模型可被应用于视点不相关像素。

M个深度和IR强度可被测量。可针对每个表面点“p”测量从M个视点观测的深度和IR强度值。这里，“p”可与镜面对象1110的表面上的点相应。来自M视点的深度和IR强度值可由M个传感器1131、1132和1133来测量。优化可包括将测量值和估计值进行比较。可基于等式5计算模型约束。

[等式5]

$\begin{array}{c}[{\mathrm{\ρ}}_d,{\mathrm{\ρ}}_s,\mathrm{\α},p]=\underset{{\mathrm{\ρ}}_d,{\mathrm{\ρ}}_s,\mathrm{\α},p}{\arg \min }\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|I^m-{\mathrm{\ρ}}_d{n_p}^T{l}^m-{\mathrm{\ρ}}_s{\left({r_p}^T{v}^m\right)}^{\mathrm{\α}}\left|\right|}^2\\ s.t.p\⋐Q\end{array}$

在等式5中，

可表示测量值与估计值的比较。使用用“p”的初始值测量的深度值，深度、方位、强度和反射约束可被依次提取。

在图11中，Q1134可表示“p”可位于处的光线，P、α、ρ_s、ρ_d、“I”、n_p、r_p、“l”和“v”可具有与等式2到等式4中的定义相同的定义。

图12A和图12B是根据示例实施例的使用从镜面模型中提取的约束的具有减少的噪声的方位图（orientation map）。根据示例实施例，通过将约束应用于等式，方位图的性能可被提高，约束指示IR图像遵从镜面模型的现象。

图12A示出具有使得表面看起来有光泽的由测量错误和噪声造成的火花噪声的方向图，图2B示出使用IR图像和镜面模型的具有鲁棒抗噪的方位图。

图13A和图13B是根据示例实施例的使用镜面模型的根据方位和反射的具有减少错误的深度图。根据示例实施例，通过将约束应用于等式，方位图的性能可被提高，所述约束指示IR图像遵从镜面模型的现象。

图13A示出具有离面（off-face）方位的对象和展现高反射的对象的原始深度图。离面方位可表示对象的表面方位和相机的视点矢量之间的角度远离水平线。可发生由于离面方位造成的深度值丢失而导致的看起来暗的噪声1310，以及由于高反射造成的深度值丢失导致的显得暗的噪声1320，这导致深度错误。图13B示出使用IR图像和镜面模型的鲁棒深度图。

图14示出根据示例实施例的用于基于单视点深度图像获得镜面对象的几何形状的设备1400。设备1400可包括单视点深度图像输入单元1410，单视点深度值估计单元1420和单视点深度值修正单元1430。

单视点深度图像输入单元1410可接收深度图像的输入。根据示例实施例，单视点深度图像输入单元1410可包括深度相机和深度传感器。这里，深度图像可与IR图像相应。

单视点深度值估计单元1420可基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值。根据示例实施例，可通过优化深度值的连续性、周期性和相似性的三个成本函数来确保连通性。单视点深度值估计单元1420可包括：单视点深度值确定单元，用于确定丢失的深度值来通过改变等式1的权重值α、β和γ来最小化所有成本函数。这个处理可由处理器针对每个将被恢复的丢失深度数据迭代地执行。

单视点深度值修正单元1430可修正丢失的深度值。根据示例实施例，处理器可用由单视点深度值估计单元1420估计的深度值代替丢失的深度值。因此，可从单视点深度图像中提取镜面对象的几何信息。

图15示出根据示例实施例的基于多视点深度图像获得镜面对象的几何形状的设备1500。设备1500可包括多视点深度图像输入单元1510、多视点深度图像标定单元1520、多视点深度图像错误检测单元1530和多视点深度图像修正单元1540。

多视点深度图像输入单元1510可接收具有M个视点的多视点深度图像的输入。根据示例实施例，深度图像可包括（但不限于）使用ToF提供的IR图像。多视点深度图像输入单元1510可包括深度相机和深度传感器。

多视点深度图像标定单元1520可使用相机标定来标定具有M个视点的多视点深度图像。相机标定可表示用于通过改变相机的位置或角度来有效地捕捉对象的优化阶段。根据示例实施例，openCV或张的标定工具箱可通过处理器被应用。openCV可针对具有棋盘图案的目标使用从每个图像中提取的棋盘角信息来支持相机标定。

多视点深度图像错误检测单元1530可检测多视点深度图像中的错误区域。根据示例实施例，可由处理器使用K-均值聚类算法或高斯混合模型拟合来计算分布，在分布中发现有多个峰值的3D点可被检测为错误区域。

多视点深度图像错误检测单元1530可包括：多视点深度图像分布计算单元，用于计算多视点深度图像中的3D点的M个深度值和从相应的3D点的邻近3D点观测的M个深度值的分布。

多视点深度图像修正单元1540可包括：主聚类确定单元，用于确定分布中的主聚类；多视点深度值确定单元，用于使用主聚类中的采样的任意值、平均值、加权和或中值来确定3D点的丢失的深度值，并可通过用由处理器确定的深度值代替丢失的深度值来修正多视点深度图像。因此，可从多视点深度图像中提取镜面对象的几何信息。

根据另一示例实施例，多视点深度图像修正单元1540可包括：像素分离单元，用于从多视点深度图像中分离出视点不相关像素和视点相关像素；镜面模型应用单元，用于通过处理器将不同的镜面模型应用于视点不相关像素和视点相关像素。

根据示例实施例，通过使用镜面模型获得方位和反射分量，连同颜色图像的使用，应用可扩展至光提取技术。镜面模型可通过纠正可发生在由深度传感器测量的值中的妨碍准确性的错误，来允许针对镜面对象的准确几何形状获得。

根据上述实施例的方法可被记录在在非瞬时计算机可读介质中，其中，所述非瞬时计算机可读介质包括程序指令以由计算机实施实现各种操作。所述介质还可单独包括数据文件、数据结构等，或者可包括与程序指令结合的数据文件和数据结构等。非瞬时计算机可读介质的示例包括：磁介质(诸如硬盘、软盘和磁带)、光学介质(诸如CD-ROM盘和DVD)、磁光介质(诸如光盘)和专门被配置为用于存储和执行程序指令的硬件装置（诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等）。程序指令的示例包括机器代码(如由编译器产生的机器代码)和包含可由计算机使用解释器执行的高级代码的文件两者。描述的硬件装置可被配置为充当一个或多个软件模块，从而执行上述实施例的操作，反之亦然。

虽然已经示出并描述了实施例，但是本领域的技术人员将理解：在不脱离本公开的原理和精神的情况下，可以在这些实施例中进行改变，其中，本公开的范围由权利要求及其等同物限定。

Claims (20)

1.一种获得镜面图像的几何形状的方法，所述方法包括：

接收深度图像的输入；

基于在与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值；

修正丢失的深度值。

2.如权利要求1所述的方法，其中，局部区域被定义为呈现丢失的深度值的点是中心的区域。

3.如权利要求1所述的方法，其中，深度图像与具有饱和水平的输出值的深度图像相应。

4.如权利要求1所述的方法，其中，基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值的步骤包括：针对丢失的深度值估计丢失的深度值，以保证与局部区域的平均值的相似性。

5.如权利要求1所述的方法，其中，基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值的步骤包括：针对丢失的深度值估计丢失的深度值，以保证关于邻近像素的连续性。

6.如权利要求1所述的方法，其中，基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值的步骤包括：针对丢失的深度值估计丢失的深度值，以保证深度图像中的图案的周期性。

7.如权利要去1所述的方法，其中，基于与在深度图像的局部区域中的邻近值的连通性来估计丢失的深度值的步骤包括：

针对丢失的深度值估计丢失的深度值，以保证与局部区域的平均值的相似性、关于邻近像素的连续性和深度图像中的图案的周期性；

将权重值应用于所述相似性、所述连续性和所述周期性，并使用最小的总成本来确定丢失的深度值。

8.一种获得镜面图像的几何形状的方法，所述方法包括：

接收多视点深度图像的输入；

标定多视点深度图像；

检测标定的多视点深度图像中的错误区域；

修正错误区域的丢失的深度值。

9.如权利要求8所述的方法，其中，修正错误区域的丢失的深度值的步骤包括：

从多视点深度图像中分离出视点相关像素和视点不相关像素，将多视点深度图像表示为视点相关像素和视点不相关像素的和；

将不同的镜面模型应用于视点相关像素和视点不相关像素。

10.如权利要求8所示的方法，其中，标定多视点深度图像的步骤包括：匹配从网格图案中提取的特征点。

11.如权利要求8所述的方法，其中，多视点深度图像与具有M个视点的图像相应，其中，M是大于或等于2的自然数，

检测标定的多视点深度图像中的错误区域的步骤包括：计算多视点深度图像中的三维3D点的M个深度值的分布。

12.如权利要求11所述的方法，其中，计算多视点深度图像中的3D点的M个深度值的分布的步骤包括：计算从所述3D点的邻近3D点观测的M个深度值的分布。

13.如权利要求11所述的方法，其中，检测标定的多视点深度图像中的错误区域的步骤包括：将在分布中发现有多个峰值的3D点检测为错误区域。

14.如权利要求11所述的方法，其中，通过K-均值聚类算法或高斯混合模型拟合来计算所述分布，

修正错误区域的丢失的深度值的步骤包括:

按照K-均值聚类算法或高斯混合模型拟合来从多个聚类中检测主聚类；

使用主聚类中的采样的任意值、平均值、加权和或中值来确定所述3D点的深度值；

用确定的深度值来代替丢失的深度值。

15.如权利要求14所述的方法，其中，按照K-均值聚类算法或高斯混合模型拟合从多个聚类中确定主聚类的步骤包括：将多个聚类中的内部具有最大数量的采样和最小变化的聚类确定为主聚类。

16.一种用于获得镜面图像的几何形状的设备，所述设备包括：

单视点深度图像输入单元，被配置为接收深度图像的输入；

单视点深度值估计单元，被配置为基于与深度图像的局部区域中的邻近值的连通性来估计丢失的深度值；

单视点深度值修正单元，被配置为修正丢失的深度值。

17.如权利要求16所述的设备，其中，单视点深度值估计单元被配置为针对丢失的深度值估计丢失的深度值，以保证与局部区域的平均值的相似性、关于邻近像素的连续性和深度图像中的图案的周期性，

所述设备还包括：

单视点深度值确定单元，被配置为将权重值应用于所述相似性、所述连续性和所述周期性，并使用最小的总成本来确定丢失的深度值。

18.一种用于获得镜面图像的几何形状的设备，所述设备包括：

多视点深度图像输入单元，被配置为接收多视点深度图像的输入；

多视点深度图像标定单元，被配置为标定多视点深度图像；

多视点深度图像错误检测单元，被配置为检测在标定的多视点深度图像中的错误区域；

多视点深度图像修正单元，被配置为修正错误区域的丢失的深度值。

19.如权利要求18所述的设备，其中，多视点深度图像与具有M个视点的图像相应，其中，M是大于或等于2的自然数，

多视点深度图像错误检测单元包括：多视点深度图像分布计算单元，被配置为计算多视点深度图像中的3D点的M个深度值和从所述3D点的邻近3D点观测的M个深度值的分布。

20.如权利要求19所述的方法，其中，多视点深度图像分布计算单元被配置为通过K-均值聚类算法或高斯混合模型拟合来计算所述分布，

多视点深度图像修正单元包括：

主聚类确定单元，被配置为按照K-均值聚类算法或高斯混合模型拟合来将多个聚类中的内部具有最大数量的采样和最小变化的聚类确定为多个聚类中的主聚类；

多视点深度值确定单元，被配置为使用主聚类中的采样的任意值、平均值、加权和或中值来确定所述3D点的深度值；

多视点深度值代替单元，被配置为用确定的深度值来代替丢失的深度值。

Images