CN108694703B - 用于精细化深度图像的方法和装置 - Google Patents

Abstract

一种精细化深度图像的方法包括：从彩色图像中提取彩色像素的阴影信息；以及基于在阴影信息中包括的对象的表面法线信息来精细化与彩色图像相对应的深度图像。

Description

用于精细化深度图像的方法和装置

相关申请的交叉引用

本申请要求于2017年4月5日向韩国知识产权局递交的韩国专利申请No.10-2017-0044226的优先权，其全部公开内容通过引用并入本文中以用于所有目的。

技术领域

本申请涉及用于精细化深度图像的技术。

背景技术

最近，已经提供了要应用于例如游戏内容和医疗内容的使用包括三维(3D)深度信息在内的深度图像的服务。通常，通过使用例如红外传感器和立体相机的装置额外测量深度来生成深度图像。深度信息表示对象与测量位置之间的距离。为了使用深度图像获得期望结果，可以保持在深度图像中包括的深度信息，并且可以从深度图像有效地去除噪声。

发明内容

提供了本发明内容以介绍下面在具体实施方式中进一步描述的对简化形式的理念的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在用作帮助确定所请求保护的主题的范围。

在一个总的方面，一种精细化深度图像的方法包括：从彩色图像中提取彩色像素的阴影信息；以及基于在所述阴影信息中包括的对象的表面法线信息来精细化与所述彩色图像相对应的深度图像。

精细化深度图像可以包括：基于所述深度图像中的每个区域的表面法线信息的表面法线分布来确定要应用于在所述深度图像中包括的当前深度像素的滤波器的滤波器特性；以及通过将具有所确定的滤波器特性的滤波器应用于所述当前深度像素来调整所述当前深度像素的深度值。

确定滤波器特性可以包括：基于所述表面法线信息来确定要应用于所述当前深度像素的滤波器的滤波器系数和要应用于所述当前深度像素的滤波器的滤波器尺寸中的一个或其二者。

精细化深度图像可以包括：基于所述深度图像中包括的当前深度像素所属的区域的表面法线信息的表面法线分布，确定所述区域的类型；以及通过将与所确定的区域的类型相对应的滤波器应用于所述当前深度像素来调整所述当前深度像素的深度值。

所述滤波器可以被配置为基于当前深度像素的相邻深度像素的深度值来调整当前深度像素的深度值。

所述确定区域的类型可以包括基于所述当前深度像素的相邻像素的表面法线值的改变来确定所述当前深度像素所属的区域。

所述确定区域的类型可以包括确定所述当前深度像素是属于噪声区域、所述对象的表面区域还是所述对象的边缘区域。

与所述噪声区域或所述对象的表面区域相对应的滤波器的滤波器尺寸可以大于与所述对象的边缘区域相对应的滤波器的滤波器尺寸。

要应用于所述当前深度像素的相邻深度像素的滤波器系数可以根据要应用于所述当前深度像素的滤波器是与噪声区域相对应的滤波器、与所述对象的表面区域相对应的滤波器还是与所述对象的边缘区域相对应的滤波器而变化。

所述方法还可以包括基于先前时间的深度图像的深度信息来确定是否精细化当前时间的深度图像。

所述方法还可以包括：响应于与所述当前时间的深度图像相对应的彩色图像以及与所述先前时间的深度图像相对应的彩色图像之间的差满足预设条件，来基于所述先前时间的深度图像的深度信息精细化所述当前时间的深度图像。

所述方法还可以包括：基于精细化的深度图像的深度信息来提取所述彩色像素的阴影信息。

所述方法还可以包括：从所述彩色图像中提取所述彩色像素的反照率信息；以及精细化深度图像可以包括：根据基于所述表面法线信息的第一权重、基于所述反照率信息的第二权重和基于当前时间的彩色图像与先前时间的彩色图像之间的差的第三权重来精细化所述深度图像。

阴影信息对应于光源的方向与对象表面的表面法线之间的矢量点积。

在另一总的方面中，一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时，使所述处理器执行上述方法。

在另一总的方面中，一种深度图像精细化装置包括：处理器，被配置为：从彩色图像中提取彩色像素的阴影信息；以及基于在阴影信息中包括的对象的表面法线信息来精细化与彩色图像相对应的深度图像。

所述处理器还可以被配置为：基于深度图像中的每个区域的表面法线信息的表面法线分布来确定要应用于在深度图像中包括的当前深度像素的滤波器的滤波器特性；以及通过将具有所确定的滤波器特性的滤波器应用于当前深度像素来调整当前深度像素的深度值。

所述处理器还可以被配置为：基于深度图像中包括的当前深度像素所属的区域中的表面法线信息的表面法线分布，确定所述区域的类型；以及通过将与所确定的区域的类型相对应的滤波器应用于当前深度像素来调整当前深度像素的深度值。

所述处理器还可以被配置为：从彩色图像中提取彩色像素的反照率信息；以及根据基于表面法线信息的第一权重、基于反照率信息的第二权重和基于当前时间的彩色图像与先前时间的彩色图像之间的差的第三权重来精细化深度图像。

在另一总的方面中，一种精细化深度图像的方法，所述方法包括：基于与深度图像相对应的彩色图像中的对象的表面法线信息，确定要应用于深度图像的噪声减小方法；以及通过将所确定的噪声减小方法应用于所述深度图像来精细化所述深度图像。

所述噪声减小方法可以是滤波器；确定噪声减小方法可以包括：基于表面法线信息确定滤波器的滤波器特性；以及精细化深度图像可以包括：将滤波器应用于深度图像的当前深度像素。

所述滤波器可以是空间滤波器，所述空间滤波器包括要应用于所述当前深度像素的深度值的滤波器系数和要应用于所述当前深度像素的相邻深度像素的深度值的滤波器系数，以获得所述当前深度像素的精细化的深度值；以及确定滤波器特性可以包括：基于所述表面法线信息来确定所述空间滤波器的滤波器尺寸和滤波器系数从所述空间滤波器的中心到所述空间滤波器的外围减小的减小率中的一个或其二者。

确定滤波器特性还可以包括：基于所述表面法线信息的表面法线分布来确定所述当前深度像素所位于的区域是噪声区域、所述对象的表面区域还是所述对象的边缘区域；以及基于所确定的区域的类型来确定所述滤波器尺寸和所述减小率中的一个或其二者。

确定滤波器尺寸可以包括：响应于所确定的区域的类型是噪声区域，将所述滤波器尺寸确定为第一滤波器尺寸；响应于所确定的区域的类型是所述对象的表面区域，将滤波器尺寸确定为小于所述第一滤波器尺寸的第二滤波器尺寸；以及响应于所确定的区域的类型是所述对象的边缘区域，将滤波器尺寸确定为小于所述第二滤波器尺寸的第三滤波器尺寸；以及确定减小率可以包括：响应于所确定的区域的类型是噪声区域，将所述减小率确定为第一减小率；响应于所确定的区域的类型是所述对象的表面区域，将所述减小率确定为大于所述第一减小率的第二减小率；以及响应于所确定的区域的类型是所述对象的边缘区域，将所述减小率确定为大于所述第二减小率的第三减小率。

彩色图像可以是当前时间的彩色图像；以及所述方法还可以包括：响应于与所述当前深度像素所在的深度图像的区域相对应的所述当前时间的彩色图像的区域与先前时间的彩色图像的对应区域之间的差小于预定阈值，将时间滤波器应用于所述当前深度像素。

其它特征和方面可以通过以下详细描述、附图和权利要求变得清楚明白。

附图说明

图1示出了用于精细化深度图像的系统的示例。

图2是示出了精细化深度图像的方法的操作的示例的流程图。

图3是示出了基于表面法线信息精细化深度图像的处理的示例的流程图。

图4示出了精细化深度图像的处理的示例。

图5示出了精细化深度图像的处理的另一示例。

图6A和图6B示出了基于音乐信息来确定深度像素所属的区域的类型的示例。

图7A和图7B示出了使用滤波器来调整深度像素的深度值的示例。

图8是示出了使用反馈来提取阴影信息的处理的示例的流程图。

图9是示出了精细化深度图像的方法的操作的另一示例的流程图。

图10示出了深度图像精细化装置的配置的示例。

贯穿附图和具体描述，相同的附图标记表示相同的元件。附图不必按比例绘制，并且为了清楚、示出和方便，可以扩大附图中的元件的相对尺寸、比例和描绘。

具体实施方式

提供以下详细描述以帮助读者获得对本文所描述的方法、装置和/或系统的全面理解。然而，在理解了本申请的公开内容之后，本文描述的方法、装置和/或系统的各种变型、改型和等同物将是显而易见的。例如，本文所述的操作的顺序仅仅是示例，并不限于本文中阐述的那些顺序，而是可以被改变成在理解本申请的公开内容之后将是显而易见的顺序，除了期望操作必须以某一顺序出现之外。此外，为了更加清楚和简洁，可以省略本领域已知的特征的描述。

本文所述的特征可以以不同的形式来体现，并且不被解释为限于本文所述的示例。相反，本文所述的示例仅仅是为了说明实现本文所述的方法、装置和/或系统的许多可能方式中的一些方式而提供的，这些方式、装置和/或系统在理解了本申请的公开内容之后将是显而易见的。

可以在本文中使用诸如第一、第二、A、B、(a)和(b)之类的术语来描述组件。这些术语不是用来定义对应组件的本质、顺序或次序，而是仅用于区分相应组件与其他组件。例如，第一组件也可以被称为第二组件，且第二组件也可以被称为第一组件。

如果说明书指出一个组件“连接”、“耦接”或“接合”到另一组件，则可以在第一组件和第二组件之间“连接”、“耦接”和“接合”第三组件，或第一组件可以直接连接、耦接或接合到第二组件。然而，如果说明书指出一个组件“直接连接”或“直接接合”到另一组件，则在第一和第二组件之间不能“连接”、“耦接”和“接合”第三组件。也应以这种相同的方式理解例如“在...之间”和“直接在......之间”以及“与......相邻”和“与......紧邻”的类似表述。

本文中所使用的术语仅仅是为了描述具体示例的目的，而不是用于限制本公开和权利要求的范围。单数形式“一”、“一个”和“所述”意在还包括复数形式，除非上下文明确地给出相反的指示。术语“包括”、“包括了”、“包含”和“包含了”表示存在所阐述的特征、编号、操作、元件、组件和其组合，但并不排除一个或多个其他特征、编号、操作、元件、组件及其组合的存在或添加。

除非另外定义，否则这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员基于对本申请的公开的理解通常所理解的含义相同的含义。诸如在常用词典中定义的术语应被解释为其含义与在相关技术和/或本申请的上下文中的含义相同，而不应将被解释为理想的或过于正式的含义，除非本文明确如此定义。

图1示出了用于精细化深度图像的系统的示例。

参考图1，系统包括图像传感器110、深度传感器120和深度图像精细化装置130。图像传感器110获得被摄体(或对象)的彩色图像(或彩色帧)115。例如，图像传感器110可以是互补金属氧化物半导体(CMOS)图像传感器、电荷耦接器件(CCD)图像传感器或立体相机。彩色图像115包括彩色像素，并且每个彩色像素具有彩色值。深度传感器120获得与彩色图像115的被摄体相同的被摄体的深度图像(或深度帧)125。例如，深度传感器120是Kinect、飞行时间(TOF)深度相机或光学三维(3D)扫描仪。深度图像125对应于彩色图像115并且包括深度像素。每个深度像素具有指示被摄体的距离信息的深度值。将由图像传感器110获得的彩色图像115和由深度传感器120获得的深度图像125提供给深度图像精细化装置130。图像传感器110和深度传感器120可以分别向深度图像精细化装置130发送彩色图像流(例如，彩色图像115)和深度图像流(例如，深度图像125)。

在将立体相机用作图像传感器110的示例中，立体相机获得包括左图像和右图像在内的立体图像，并且所获得的立体图像被提供给深度图像精细化装置130。深度图像精细化装置130基于公知的立体匹配方案来根据立体图像生成深度图像125。在这种情况下，深度图像精细化装置130从立体图像获得彩色图像115(左图像和右图像)和深度图像125，而不是从单独的深度传感器120接收深度图像125。

深度图像精细化装置130使用彩色图像115来精细化深度图像125并生成精细化的深度图像。深度图像精细化装置130精细化深度图像125的深度值以生成精细化的深度图像。精细化深度值的处理包括减少在深度图像125中包含的噪声分量的处理。深度图像125可能具有噪声分量，在保持在深度图像125中包括的深度特性(例如，对象的边缘的深度特性)的同时有效地减少噪声分量以使用深度图像125获得期望的结果具有重要意义。例如，当实现增强现实(AR)功能时，需要真实世界图像的3D空间建模以组合真实世界图像和虚拟对象。深度图像125被用于3D空间建模，且深度图像125中的噪声分量可以防止真实世界图像和虚拟对象的自然组合。在精细化深度图像125的处理中，特征部分(例如，对象的边缘)应当基本上保持不变。然而，难以在深度图像125中区分边缘和噪声分量。

如将在下面详细描述地，深度图像精细化装置130基于彩色图像115的阴影信息有效地精细化深度图像125。精细化增加了在深度图像125中包括的深度信息的精度。阴影信息是与光源的方向和对象表面的表面法线之间的矢量点积相对应的阴影值的信息。表面法线是3D对象的表面的法线方向分量。深度图像精细化装置130基于在彩色图像115中表示的表面法线分布的特性来在深度图像125中区分噪声区域和边缘区域，并通过在精细化深度图像125的处理中向噪声区域和边缘区域应用具有不同特性的滤波器，来有效地减小噪声分量并同时保持边缘特性基本不变。

出现在对象的某个点处的颜色受各种因素(例如，对象的形状和材料、光源和视点)的影响。包括对象的颜色信息在内的彩色图像115包括反照率分量(或反射分量)和阴影分量。反照率分量是独特的颜色分量或由对象的形状和材料确定的对象的材料特性。反照率分量与光源和视点无关。阴影分量是当从光源发射的光与对象的表面法线相互作用时获得的照度特性值。可以基于阴影分量的变化来估计对象的表面法线的变化，并且可以基于表面法线的变化来估计深度图像125中的预定区域是噪声区域还是对象的边缘区域。深度图像精细化装置130通过基于阴影分量分析表面法线，来从深度图像125去除噪声分量。

在一个示例中，精细化的深度图像显示在屏幕上或存储在存储设备中。在另一示例中，精细化的深度图像被传输给其他计算设备。例如，可以使用精细化的深度图像来在例如个人计算机(PC)、膝上型计算机、笔记本、上网本、平板电脑、个人数字助理(PDA)、导航设备、家用电器、图像处理装置、智能电话、3D电视(TV)或数字信息显示器(DID)的装置中实现3D用户界面(UI)、3D内容、虚拟现实(VR)或AR。然而，这些仅仅是示例，并且可以在使用深度图像的任何设备中使用精细化的深度图像。

下面提供深度图像精细化装置130精细化深度图像125的方法的详细描述。

图2是示出了精细化深度图像的方法的操作的示例的流程图。

可以由图1的深度图像精细化装置130或图10的深度图像精细化装置来执行图2中的精细化深度图像的方法。参考图2，在操作210中，深度图像精细化装置从彩色图像中提取彩色像素的阴影信息。阴影信息包括指示对象表面的表面法线分量的表面法线信息。

在一个示例中，彩色图像中包括的每个彩色像素的颜色由与对象的唯一颜色相对应的阴影分量和反照率分量的乘积来确定。基于反照率分量急剧变化且阴影分量在颜色空间中相对平滑地变化的特性，将反照率分量和阴影分量彼此分离。例如，当相邻颜色像素之间的颜色发生变化时，反照率分量显示出不连续性，而阴影分量显示出连续性。基于该特性，从彩色图像中提取反照率分量和阴影分量。阴影分量对应于光源的方向与对象表面的表面法线之间的矢量点积。如果光源的方向是已知的或光源的方向在彩色图像的整个区域中是恒定的，则可以基于阴影分量的改变来估计表面法线分量的改变。在已提取彩色像素的阴影分量之后，可以通过将彩色像素的颜色分量除以彩色像素的阴影分量来提取彩色像素的反照率分量。

在操作220中，深度图像精细化装置精细化与彩色图像相对应的深度图像。精化深度图像的处理包括通过对深度值进行滤波来减小噪声并同时最大限度地保持深度图像中的对象的边缘特性的处理。可以基于相邻深度像素的深度信息或先前时间的深度图像中包括的深度信息来执行滤波。

在一个示例中，深度图像精细化装置基于在阴影信息中包括的对象的表面法线信息来分析深度图像中的每个区域的表面法线，并基于分析的结果来减小在深度图像中包括的噪声。深度图像精细化装置基于表面法线信息(或阴影信息)的梯度来确定当前深度像素所属的区域的类型。

例如，如果当前颜色像素与当前颜色像素的相邻颜色像素之间的表面法线信息的梯度为0或接近0，则深度图像精细化装置确定与当前颜色像素相对应的当前深度像素位于对象的平坦表面区域中。如果梯度在彩色像素之间缓慢变化，则当前深度像素被确定为位于对象的曲面区域中。在当前深度像素的深度值与相邻深度像素的深度值之间存在较大差异的情况下，如果彩色像素之间的梯度接近于0或缓慢变化，则当前深度像素被确定为位于噪声区域中。此外，当梯度的不连续性出现在当前深度像素的位置处时，当前深度像素被确定为位于对象的边缘区域中。

深度图像精细化装置通过将与所确定的区域类型相对应的滤波器应用于当前深度像素来调整当前深度像素的深度值。所述滤波器可以用于基于当前深度像素的相邻深度像素的深度值来调整当前深度像素的深度值。要应用于当前深度像素的滤波器的滤波器特性根据区域的类型而变化。因此，基于相邻深度像素的深度值调整当前深度像素的深度值被称为空间滤波。将参考图3来提供相关描述。

在另一示例中，深度图像精细化装置基于先前时间的深度图像的深度信息来确定是否精细化当前时间的深度图像。深度图像精细化装置基于彩色图像中随时间的变化来确定在每个区域中是否发生随时间的变化。例如，深度图像精细化装置响应于与当前时间的深度图像相对应的彩色图像以及与先前时间的深度图像相对应的彩色图像之间的差满足预设条件，来基于先前时间的深度图像的深度信息精细化当前时间的深度图像。基于先前时间的深度图像的深度信息来精细化当前时间的深度图像被称为时间滤波。术语“当前时间的深度图像”是指当前正由深度图像精细化装置处理以获得精细化的深度图像的深度图像。术语“先前时间的深度图像”是指先前由深度图像精细化装置处理以获得精细化的深度图像的深度图像。在一个示例中，时间滤波包括用先前时间的深度图像的深度信息替换当前时间的深度图像的深度信息。在另一示例中，时间滤波包括用当前时间的深度图像的深度信息与先前时间的深度图像的深度信息的加权和来替换当前时间的深度图像的深度信息。然而，这些仅是示例，并且可以使用其他类型的时间滤波。

可以针对深度图像的每个区域执行时间滤波。在一个示例中，彩色图像中的随时间的变化不会发生在深度图像的第一区域中，但是由于对象的移动而导致的彩色图像随时间的变化发生在深度图像的第二区域中。在该示例中，对在第一区域中包括的深度像素执行时间滤波，但是不对在第二区域中包括的深度像素执行时间滤波。在一个示例中，可以响应于当前时间的彩色图像的对应区域与先前时间的彩色图像的对应区域之间的差小于预定阈值，对在深度图像的区域中包括的深度像素执行时间滤波。然而，这只是一个示例，代替该示例或除了该示例之外，可以使用用于确定何时执行时间滤波的其他条件。

此外，时间滤波和空间滤波都可以应用于深度图像。例如，可以将空间滤波而不是时间滤波应用于第二区域，且可以将时间滤波以及空间滤波应用于第一区域。

基于上述精细化处理将在深度图像中包括的深度信息精细化为具有更精确的值。

图3是示出了基于表面法线信息精细化深度图像的处理的示例的流程图。

参考图3，在操作310中，深度图像精细化装置基于表面法线信息来确定在深度图像中包括的深度像素所属的区域的类型。深度图像精细化装置基于与当前深度像素和相邻深度像素的位置相对应的表面法线值的变化，来确定当前深度像素所属的区域，例如，噪声区域、对象的表面区域或对象的边缘区域。类似于如参考图2所描述地，例如，当表面法线值恒定或缓慢变化时，当前深度像素被确定为位于对象的表面区域(平坦表面或曲面)中。当表面法线值恒定且然后在当前深度像素的位置处出现不连续性时，当前深度像素被确定为位于对象的边缘区域中。基于表面法线值，即使当前深度像素不位于对象的边缘区域中，但当前深度像素的深度值与相邻深度像素的深度值之间的差较大时，当前深度像素也被确定为位于噪声区域中。

在操作320中，深度图像精细化装置通过对深度像素应用滤波器来调整深度像素的深度值。深度图像精细化装置使用与当前深度像素所属的区域的类型相对应的滤波器来执行自适应滤波。基于深度图像中的每个区域的表面法线分布来确定要应用于当前深度像素的滤波器的滤波器特性，例如，滤波器尺寸和滤波器系数中的任一个或其二者。

在一个示例中，具有根据表面法线的改变程度而变化的滤波器尺寸的滤波器被应用于当前深度像素。具有较大滤波器尺寸的滤波器被应用于表面法线变化不存在或较小的区域的深度像素，且具有较小滤波器尺寸的滤波器被应用于表面法线的变化很大或出现不连续性的区域的深度像素。例如，要应用于噪声区域或对象的表面区域的深度像素的滤波器尺寸大于要应用于对象的边缘区域的深度像素的滤波器尺寸。

在另一示例中，要应用于当前深度像素的相邻深度像素的滤波器系数在要应用于噪声区域或对象的表面区域的当前深度像素的滤波器和要应用于对象的边缘区域的当前深度像素的滤波器之间改变。滤波器系数对应于在调整当前深度像素的深度值时将被应用于相邻深度像素的深度值的权重。在一个示例中，随着要应用于相邻深度像素的滤波器系数增加，相邻深度像素的深度值对确定当前深度像素的深度值的影响增加，并且随着要应用于相邻深度像素的滤波器系数减小，相邻深度像素的深度值对确定当前深度像素的深度值的影响减小。例如，在要应用于对象的边缘区域的当前深度像素的滤波器中的要应用于相邻深度像素的滤波器系数小于在要应用于噪声区域或对象的表面区域的当前深度像素的滤波器中的要应用于相邻深度像素的滤波器系数。

通过执行上述自适应滤波，可以最大限度地保持深度图像中对象的边缘区域的特性，并且可以基于相邻深度像素的深度值来有效地去除噪声。

在操作330中，深度图像精细化装置确定当前深度像素是否是深度图像的最后的深度像素。响应于当前深度像素是最后的深度像素，图3的处理终止。响应于当前深度像素不是最后的深度像素且剩有要处理的其他深度像素，对下一深度像素执行操作310和320。深度图像精细化装置通过对在深度图像中包括的每个深度像素执行操作310和320来精细化深度图像。

图4示出了精细化深度图像的处理的示例。

参考图4，在操作420中，深度图像精细化装置从彩色图像410中提取阴影信息，并且根据阴影信息来估计对象表面的表面法线信息。在操作430中，深度图像精细化装置基于表面法线信息分析彩色图像410中的每个区域的表面法线分布。深度图像精细化装置针对彩色图像410中的每个区域确定表面法线变化的方式。在操作440中，深度图像精细化装置基于表面法线从与彩色图像410相对应的深度图像415中去除噪声。深度图像精细化装置基于表面法线的变化来确定深度图像415的深度像素是位于噪声区域、对象的边缘区域还是表面区域中，并且通过向深度图像415的深度像素应用与该深度像素所在区域相对应的滤波器来减小噪声分量。当对深度图像415的每个深度像素执行上述处理时，获得精细化后的深度图像450。

在将当前深度像素的深度值替换为相邻深度像素的深度值的平均值的情况下，作为如本申请所公开的基于深度像素所属的区域执行自适应滤波的替代，可以减弱噪声分量和对象的边缘分量二者。此外，深度值可能不足以区分噪声分量和边缘分量。然而，本申请中公开的深度图像精细化装置的示例区分深度像素所属的区域的属性，并且通过使用适用于区域的属性的滤波器，来从深度图像415中去除噪声分量并同时保持深度图像415的边缘分量。

图5示出了精细化深度图像的处理的另一示例。

参考图5，深度图像精细化装置从彩色图像510提取反照率分量520和阴影分量530。反照率分量520表示对象的唯一颜色分量，且阴影分量530表示由对象的表面法线的改变所引起的照度值的改变。深度图像精细化装置基于阴影分量530来估计表面法线的改变。阴影值的改变对应于表面法线值的改变。深度图像精细化装置基于表面法线值的改变来确定深度图像540中的每个深度像素所属的区域的类型，并且使用与所确定的区域的类型相对应的滤波器来精细化深度图像540。

在深度图像540中，区域544是阴影分量530的改变较小的区域，并且区域544的类型被确定为对象的表面区域。深度图像精细化装置向在区域544中包括的深度像素应用用于最小化噪声(而不是深度值分布的特性)的滤波器。例如，深度图像精细化装置对在区域544中包括的深度像素应用滤波器尺寸较大的滤波器，或用于通过极大地反映相邻像素的深度值来执行滤波的滤波器。随着滤波器尺寸的增加，用于调整当前深度像素的深度值的相邻深度像素的数量增加。区域542是阴影分量530变化剧烈的区域，且区域542的类型被确定为对象的边缘区域。深度图像精细化装置向区域542的深度像素应用滤波器尺寸较小的滤波器、或用于通过较少地反映相邻深度像素的深度值来执行滤波的滤波器，以最大化地保持在区域542中包括的深度像素的深度特性(边缘特性)。

响应于对深度图像540的每个深度像素执行上述精细化深度像素的处理，获得精细化的深度图像550。

图6A和图6B示出了基于音乐信息来确定深度像素所属的区域的类型的示例。

参考图6A，附图标记610表示基于位置(x，y)的深度像素的深度值，且附图标记630表示基于位置(x，y)的阴影值的改变。阴影值的改变反映对象的表面法线的改变。例如，响应于阴影值在区域中恒定，将所述区域估计为对象的表面。响应于阴影值恒定且然后在区域中出现不连续性，表面法线的急剧改变位于该区域中，且该区域被估计为对象的边缘区域。响应于在该区域中阴影值缓慢改变(增加或减少)，该区域被估计为对象的曲面。

在图6A中，由于与深度像素622相对应的区域的阴影值基于位置(x，y)是恒定的，所以深度像素622被估计为位于对象的表面区域中。然而，由于深度像素622的深度值与相邻深度像素的深度值之间的差较大，所以深度像素622的深度值被估计为噪声分量。深度图像精细化装置通过应用将相邻深度像素的权重设置为大于被估计为噪声分量的深度像素622的权重的滤波器，来对噪声分量执行滤波。深度图像精细化装置可以将滤波器尺寸较大的滤波器应用于深度像素622的深度值。

在深度像素624的情况下，阴影值的不连续性出现在与深度像素624相对应的位置处，因此，深度像素624被估计为位于对象的边缘区域中。深度图像精细化装置通过应用将相邻深度像素的权重设置为小于深度像素624的权重的滤波器来保持边缘分量。深度图像精细化装置可以将滤波器尺寸较小的滤波器应用于深度像素624。

参考图6B，附图标记640表示基于位置(x，y)的深度像素的深度值，且附图标记660表示基于位置(x，y)的阴影值的改变。在一个示例中，深度图像精细化装置基于窗口区域650来精细化深度图像。窗口区域650是用于精细化深度图像的单位区域。窗口区域650的尺寸和形状可以变化。深度图像精细化装置通过分析每个窗口区域650的表面法线信息和深度信息之间的相关性来从深度图像中去除噪声。

如附图标记640所示，噪声分量和边缘分量都可以存在于窗口区域650中。在这种情况下，深度图像精细化装置通过全局地分析窗口区域650中的表面法线值，来有效地将噪声分离和边缘分离与在窗口区域650中包括的深度像素的深度信息分离。如附图标记660所示，因为A和C具有相同的阴影值并且B和D具有相同的阴影值，所以A和C以及B和D可以被估计为具有相同的表面法线值。因此，对应于A的深度像素的深度值的分布可以类似于对应于C的深度像素的深度值的分布，并且对应于B的深度像素的深度值的分布可以类似于对应于D的深度像素的深度值的分布。因此，在窗口区域650中可以容易地将对应于噪声分量的深度像素和对应于边缘分量的深度像素彼此分离。

图7A和图7B示出了使用滤波器来调整深度像素的深度值的示例。

参考图7A，深度图像710包括多个深度像素720。基于从彩色图像提取的阴影信息来估计彩色图像中的表面法线的改变，并且基于表面法线的改变来确定当前深度像素722所属的区域的类型。深度图像精细化装置向当前深度像素722应用滤波器尺寸根据当前深度像素722所属的区域的类型而变化的滤波器。在一个示例中，深度图像精细化装置基于当前深度像素722属于对象的边缘区域、对象的表面区域还是噪声区域，分别向当前深度像素722应用3×3(深度像素单元)滤波器732、5×5滤波器734或7×7滤波器736。

在另一示例中，取决于当前深度像素722所属的区域的类型，不同地确定滤波器系数的减小率。基于滤波器系数的减小率，滤波器系数从滤波器的中心向外围减小。例如，响应于当前深度像素722属于边缘区域，与要施加到其他区域的减小率相比，要施加到当前深度像素722的滤波器系数的减小率较大。因此，精细化的当前深度像素722的深度值受相邻深度像素的深度值的影响较小。响应于当前深度像素722属于噪声区域，滤波器系数的减小率与要施加到其他区域的减小率相比较小。因此，精细化的当前深度像素722的深度值受相邻深度像素的深度值的影响较大。响应于当前深度像素722属于表面区域，滤波器系数的减小率在要应用于边缘区域的减小率和要应用于噪声区域的减小率之间的中间。因此，精细化的当前深度像素722的深度值受相邻深度像素的深度值的影响适中。应用于噪声区域的滤波器、应用于表面区域的滤波器和应用于边缘区域的滤波器的尺寸可以是相同的，或可以基于噪声强度自适应地变化为不同。

图7B示出了使用滤波器调整深度像素的深度值的示例。所述滤波器用于基于相邻深度像素的深度值来调整当前深度像素的深度值。附图标记740表示要应用于当前深度像素的滤波器，附图标记742表示要应用滤波器的区域(以当前深度像素作为中心的区域)的深度信息。滤波器被应用于当前深度像素的深度值e。附图标记744表示由滤波器调整的当前深度像素的深度值e′。

例如，使用以下等式1来确定由滤波器调整的当前深度像素的深度值e′。

e′＝(A×a)+(B×b)+(C×c)+(D×d)+(E×e)+(F×f)+(G×g)+(H×h)+(I×i)

(1)

在等式1中，A、B、C、D、E、F、G、H和I表示滤波器系数，且a、b、c、d、f、g、h和i表示当前深度像素e的相邻深度像素的深度值。基于等式1，根据要应用滤波器的区域的深度信息来执行滤波。

图8是示出了使用反馈来提取阴影信息的处理的示例的流程图。

参考图8，深度图像精细化装置在操作810中基于上述处理从彩色图像中提取阴影信息，并且在操作820中基于所提取的阴影信息中包括的对象的表面法线信息来精细化深度图像。深度图像精细化装置基于精细化的深度图像的深度信息来更准确地从彩色图像中提取阴影信息。深度图像精细化装置基于精细化的深度图像的深度值的分布来估计窗口区域中与对象的表面相对应的区域。深度图像精细化装置通过增加阴影分量的权重和减小与对象的表面相对应的区域中的反照率分量的权重来获得更准确的阴影信息，使得例如阴影分量的权重被设置为大于反照率分量的权重。精细化处理可以重复直到获得期望的精度为止。

由于阴影值在对象的表面区域中没有很大改变，因此在被估计为对象的表面的区域中的阴影值的急剧改变可能是由于反照率分量的改变而造成的。基于精细化的深度图像的深度值的分布，识别对象的表面区域，并将阴影分量的权重设置为大于对象的表面区域的反照率分量的权重，其中在所述表面区域中阴影值发生急剧改变。彩色图像的彩色像素的颜色由阴影分量和反照率分量的乘积确定，因此通过将阴影分量的权重设置为大于反照率分量的权重，来减小在对象的表面区域中出现的反照率分量对阴影信息的影响。因此，获得更精确的阴影信息。

图9是示出了精细化深度图像的方法的操作的另一示例的流程图。

参考图9，在操作910中，深度图像精细化装置从彩色图像中提取阴影信息和反照率信息。如图2的操作210中所述，深度图像精细化装置从彩色图像中提取阴影分量。阴影信息包括对象表面的表面法线信息。在提取了阴影分量之后，可以通过将彩色图像的颜色分量除以阴影分量来提取反照率分量。

在操作920中，深度图像装置根据基于表面法线信息(或阴影信息)的第一权重、基于反照率信息的第二权重和基于当前时间的彩色图像与先前时间的彩色图像之间的差的第三权重来精细化深度图像。在一个示例中，使用局部回归分析来确定第一权重、第二权重和第三权重中的哪一个是针对深度图像的各个区域的最佳权重。

深度图像精细化装置基于根据针对深度图像的各个区域确定的最佳权重而变化的方法来精细化深度像素的深度值。例如，由于相对精确地分离阴影分量，所以第一权重相对较大并且被确定为在容易识别表面法线分布的区域中的最佳权重。在该示例中，深度图像精细化装置基于相对于当前深度像素所属的区域中包括的深度像素的上述方法，基于表面法线的改变来确定所述区域的类型，例如，对象的边缘区域、对象的表面区域或噪声区域，并且应用滤波器特性根据所确定的区域的类型而变化的滤波器。

第二权重相对较大，并且被确定为在反照率分量恒定的区域中的最佳权重，即使阴影分量是不精确地分离的。在这种情况下，深度图像精细化装置基于相对于当前深度像素所属的区域中包括的深度像素的反照率信息，来确定所述区域的类型，例如，对象的边缘区域、对象的表面区域或噪声区域，并且应用滤波器特性根据所确定的区域的类型而变化的滤波器。

第三权重相对较大，并且被确定为当前时间的彩色图像与先前时间的彩色图像之间的改变或差不存在或几乎不存在的区域中的最佳权重。在这种情况下，深度图像精细化装置相对于所述区域中包括的深度像素基于先前时间的深度图像的深度信息来调整深度值。

图10示出了深度图像精细化装置的配置的示例。

参考图10，深度图像精细化装置1000包括传感器1010、处理器1020和存储器1030。传感器1010、处理器1020和存储器1030经由通信总线1040彼此通信。在一个示例中，传感器1010设置在深度图像精细化装置1000的外部，且深度图像精细化装置1000从传感器1010接收图像信息。

传感器1010包括被配置为获得彩色图像的图像传感器和被配置为获得深度图像的深度传感器。在一个示例中，深度图像精细化装置1000包括图像传感器和深度传感器两者，并且在另一示例中，深度图像精细化装置1000仅包括拍摄立体图像的立体相机的图像传感器。在最后一个示例中，彩色图像和深度图像是从立体相机拍摄的立体图像(通过立体匹配)获得的。传感器1010将所获得的彩色图像和深度图像传送到处理器1020和存储器1030中的一个或其二者。

处理器1020执行如上所述的控制深度图像精细化装置1000并精细化深度图像的操作中的一个或其二者。在一个示例中，处理器1020从彩色图像中提取彩色像素的阴影信息；以及基于在阴影信息中包括的对象的表面法线信息来精细化与彩色图像相对应的深度图像。例如，处理器1020通过将滤波器应用于在深度图像中包括的当前深度像素来调整当前深度像素的深度值。基于深度图像中的每个区域的表面法线分布来确定要应用于当前深度像素的滤波器的滤波器特性。所述处理器1020基于表面法线信息，确定当前深度像素所属的区域的类型；以及通过将与所确定的区域的类型相对应的滤波器应用于当前深度像素来调整当前深度像素的深度值。

在另一示例中，所述处理器1020从彩色图像中提取彩色像素的反照率信息和表面法线信息；以及根据基于表面法线信息的第一权重、基于反照率信息的第二权重和基于当前时间的彩色图像与先前时间的彩色图像之间的差的第三权重来精细化深度图像。所述处理器1020针对深度图像中的各个区域确定第一权重、第二权重和第三权重中的哪个最大，并且基于根据最大权重而变化的方法来精细化深度像素的深度值。以上参照图9提供相关描述。

此外，处理器1020执行参考图1到9所述的操作中的任何一个或其任意两个或多个的任意组合，并省略对这些操作的详细描述。

存储器1030存储在上述精细化深度图像和结果信息的处理中使用的信息。此外，存储器1030存储要由处理器1020执行的指令。响应于由处理器1020执行在存储器1030中存储的指令，处理器1020执行上述操作中的任何一个或其任何两个或更多个的任何组合。

深度图像精细化装置1000可以通过输入/输出装置(未示出)接收用户输入，并且基于精细化深度图像的结果或精细化的深度图像来输出数据。此外，深度图像精细化装置1000可以通过通信装置(未示出)连接到外部设备(未示出)，例如，个人计算机或网络，从而执行数据交换。

执行本申请中所描述的操作的图1中的图像传感器110、深度传感器120和深度图像精细化装置130以及图10中的深度图像精细化装置1000、传感器1010、处理器1020、存储器1030和通信总线1040由被配置为执行在本申请中描述的操作的硬件组件来实现，其中由所述硬件组件来执行上述操作。在适当的情况下可用于执行本申请中所描述的操作的硬件组件的示例包括控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、分频器、积分器、以及被配置为执行本申请所述的操作的任何其它电子组件。在其它示例中，执行本申请中所述的操作的一个或多个硬件组件通过计算硬件来实现(例如，通过一个或多个处理器或计算机来实现)。处理器或计算机可以由以下项实现：一个或多个处理元件(比如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或被配置为以定义的方式响应并执行指令以实现期望的结果的任何其它设备或设备的组合)。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件，诸如操作系统(OS)和在OS上运行的一个或多个软件应用程序，以执行本申请中描述的操作。硬件组件还可以响应于指令或软件的执行来访问、操纵、处理、创建和存储数据。为了简洁起见，在本申请中描述的示例的描述中可以使用单数术语“处理器”或“计算机”，但是在其它示例中可以使用多个处理器或计算机，或者处理器或计算机可以包括多个处理元件、或多种类型的处理元件、或两者兼有。例如，单个硬件组件或者两个或更多个硬件组件可以由单个处理豁、或两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可以由一个或多个处理器、或处理器和控制器来实现，并且一个或多个其它硬件组件可以由一个或多个其它处理器或另一处理器和另一控制器来实现。一个或多个处理器或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件具有不同的处理配置中的任何一种或多种，所述处理配置的示例包括单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令指令单数据(MISD)多处理、和多指令多数据(MIMD)多处理。

执行本申请中所述的操作的图2至图4和图9所示的方法是由计算硬件来执行的，例如，由如以上描述而实现的、执行指令或软件以执行本申请所述的操作(通过所述方法实现的操作)的一个或多个处理器或计算机来执行的。例如，单个操作或者两个或更多个操作可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可以由一个或多个处理器或者处理器和控制器执行，并且一个或多个其它操作可以由一个或多个其它处理器或者另一处理器和另一控制器执行。一个或多个处理器或者处理器和控制器可以执行单个操作或者两个或更多个操作。

用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可以被编写为计算机程序、代码段、指令或其任何组合，用于单独或整体指示或配置一个或多个处理器或计算机以作为机器或专用计算机操作从而执行由上述硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在另一示例中，指令或软件包括由一个或多个处理器或者计算机使用解译器执行的更高级代码。可以基于附图中所示的框图和流程图以及说明书中的对应描述(其公开了用于执行由硬件组件执行的操作和如上所述的方法的算法)使用任何编程语言来编写指令或软件。

用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可以被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或其上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RWs、DVD-RAM、BD-ROM、BD-R、BD-RLTH、BD-RE、磁带、软盘、光学数据存储设备、光学数据存储设备、硬盘、固态盘以及被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并向一个或多个处理器或计算机提供指令或软件以及任何关联的数据、数据文件和数据结构使得所述一个或多个处理器或计算机可以执行指令的任何其他设备。在一个示例中，指令或软件以及任何关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得一个或多个处理器或计算机以分布方式存储、访问和执行所述指令和软件以及任何关联的数据、数据文件和数据结构。

尽管本公开包括特定示例，但是在理解了本申请的公开内容之后将显而易见的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以对这些示例进行形式和细节上的各种改变。本文描述的示例仅被认为是描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述被认为适用于其它示例中的类似特征或方面。如果所描述的技术以不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同的方式组合和/或被其它组件或其等同物替换或补充，则可以实现合适的结果。因此，本公开的范围不是由详细描述来限定，而是由权利要求及其等同物来限定，并且在权利要求及其等同物的范围内的所有变化都被解释为包括在本公开中。

Claims (25)

1.一种精细化深度图像的方法，所述方法包括：

从彩色图像中提取彩色像素的阴影信息；以及

基于在所述阴影信息中包括的对象的表面法线信息来精细化与所述彩色图像相对应的深度图像，

其中精细化所述深度图像包括：

基于所述表面法线信息来在所述深度图像中区分噪声区域和边缘区域，以及

分别向所述噪声区域和所述边缘区域应用包括不同滤波器特性的滤波器。

2.根据权利要求1所述的方法，其中精细化深度图像包括：

基于所述深度图像中的每个区域的表面法线信息的表面法线分布来确定要应用于在所述深度图像中包括的当前深度像素的滤波器的滤波器特性；以及

通过将具有所确定的滤波器特性的滤波器应用于所述当前深度像素来调整所述当前深度像素的深度值。

3.根据权利要求2所述的方法，其中确定滤波器特性包括：基于所述表面法线信息来确定要应用于所述当前深度像素的滤波器的滤波器系数和要应用于所述当前深度像素的滤波器的滤波器尺寸中的一个或其二者。

4.根据权利要求1所述的方法，其中精细化深度图像包括：

基于所述深度图像中包括的当前深度像素所属的区域中的表面法线信息的表面法线分布，确定所述区域的类型；以及

通过将与所确定的区域的类型相对应的滤波器应用于所述当前深度像素来调整所述当前深度像素的深度值。

5.根据权利要求4所述的方法，其中所述滤波器被配置为：基于所述当前深度像素的相邻深度像素的深度值来调整所述当前深度像素的所述深度值。

6.根据权利要求4所述的方法，其中确定所述区域的类型包括：基于所述当前深度像素的相邻像素的表面法线值的改变来确定所述当前深度像素所属的区域。

7.根据权利要求4所述的方法，其中确定所述区域的类型包括：确定所述当前深度像素是属于噪声区域、所述对象的表面区域还是所述对象的边缘区域。

8.根据权利要求7所述的方法，其中与所述噪声区域或所述对象的表面区域相对应的滤波器的滤波器尺寸大于与所述对象的边缘区域相对应的滤波器的滤波器尺寸。

9.根据权利要求7所述的方法，其中要应用于所述当前深度像素的相邻深度像素的滤波器系数根据要应用于所述当前深度像素的滤波器是与噪声区域相对应的滤波器、与所述对象的表面区域相对应的滤波器还是与所述对象的边缘区域相对应的滤波器而变化。

10.根据权利要求1所述的方法，还包括：基于先前时间的深度图像的深度信息来确定是否精细化当前时间的深度图像。

11.根据权利要求10所述的方法，还包括：响应于与所述当前时间的深度图像相对应的彩色图像以及与所述先前时间的深度图像相对应的彩色图像之间的差满足预设条件，来基于所述先前时间的深度图像的深度信息精细化所述当前时间的深度图像。

12.根据权利要求1所述的方法，还包括：基于精细化的深度图像的深度信息来提取所述彩色像素的阴影信息。

13.根据权利要求1所述的方法，还包括：从所述彩色图像中提取所述彩色像素的反照率信息；

其中精细化所述深度图像包括：根据基于所述表面法线信息的第一权重、基于所述反照率信息的第二权重和基于当前时间的彩色图像与先前时间的彩色图像之间的差的第三权重来精细化所述深度图像。

14.根据权利要求1所述的方法，其中所述阴影信息对应于光源的方向与对象表面的表面法线之间的矢量点积。

15.一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时，使所述处理器执行根据权利要求1所述的方法。

16.一种深度图像精细化装置，包括：

处理器，被配置为：

从彩色图像中提取彩色像素的阴影信息；以及

基于在所述阴影信息中包括的对象的表面法线信息来精细化与所述彩色图像相对应的深度图像，

其中精细化所述深度图像包括：

基于所述表面法线信息来在所述深度图像中区分噪声区域和边缘区域，以及

分别向所述噪声区域和所述边缘区域应用包括不同滤波器特性的滤波器。

17.根据权利要求16所述的深度图像精细化装置，其中，所述处理器还被配置为：

基于所述深度图像中的每个区域的表面法线信息的表面法线分布来确定要应用于在所述深度图像中包括的当前深度像素的滤波器的滤波器特性；以及

通过将具有所确定的滤波器特性的滤波器应用于所述当前深度像素来调整所述当前深度像素的深度值。

18.根据权利要求16所述的深度图像精细化装置，其中，所述处理器还被配置为：

基于所述深度图像中包括的当前深度像素所属的区域的表面法线信息的表面法线分布，确定所述区域的类型，以及

通过将与所确定的区域的类型相对应的滤波器应用于所述当前深度像素来调整所述当前深度像素的深度值。

19.根据权利要求16所述的深度图像精细化装置，其中，所述处理器还被配置为：

从所述彩色图像中提取所述彩色像素的反照率信息；以及

根据基于所述表面法线信息的第一权重、基于所述反照率信息的第二权重和基于当前时间的彩色图像与先前时间的彩色图像之间的差的第三权重来精细化所述深度图像。

20.一种精细化深度图像的方法，所述方法包括：

基于与深度图像相对应的彩色图像中的对象的表面法线信息，确定要应用于所述深度图像的噪声减小方法；以及

通过将所确定的噪声减小方法应用于所述深度图像来精细化所述深度图像，

其中所确定的噪声减小方法包括：

基于所述表面法线信息来在所述深度图像中区分噪声区域和边缘区域，以及

分别向所述噪声区域和所述边缘区域应用包括不同滤波器特性的滤波器。

21.根据权利要求20所述的方法，其中所述噪声减小方法是滤波器；

确定所述噪声减小方法包括基于所述表面法线信息确定所述滤波器的滤波器特性；以及

精细化所述深度图像包括将所述滤波器应用于所述深度图像的当前深度像素。

22.根据权利要求21所述的方法，其中所述滤波器是空间滤波器，所述空间滤波器包括要应用于所述当前深度像素的深度值的滤波器系数和要应用于所述当前深度像素的相邻深度像素的深度值的滤波器系数，以获得所述当前深度像素的精细化的深度值；以及

确定所述滤波器特性包括：基于所述表面法线信息来确定所述空间滤波器的滤波器尺寸和滤波器系数从所述空间滤波器的中心到所述空间滤波器的外围减小的减小率中的一个或其二者。

23.根据权利要求22所述的方法，其中确定所述滤波器特性还包括：

基于所述表面法线信息的表面法线分布来确定所述当前深度像素所位于的区域是噪声区域、所述对象的表面区域还是所述对象的边缘区域；以及

基于所确定的区域的类型来确定所述滤波器尺寸和所述减小率中的一个或其二者。

24.根据权利要求23所述的方法，其中确定所述滤波器尺寸包括：

响应于所确定的区域的类型是噪声区域，将所述滤波器尺寸确定为第一滤波器尺寸；

响应于所确定的区域的类型是所述对象的表面区域，将所述滤波器尺寸确定为小于所述第一滤波器尺寸的第二滤波器尺寸；以及

响应于所确定的区域的类型是所述对象的边缘区域，将所述滤波器尺寸确定为小于所述第二滤波器尺寸的第三滤波器尺寸；以及

确定所述减小率包括：

响应于所确定的区域的类型是噪声区域，将所述减小率确定为第一减小率；

响应于所确定的区域的类型是所述对象的表面区域，将所述减小率确定为大于所述第一减小率的第二减小率；以及

响应于所确定的区域的类型是所述对象的边缘区域，将所述减小率确定为大于所述第二减小率的第三减小率。

25.根据权利要求20所述的方法，其中所述彩色图像是当前时间的彩色图像；以及

所述方法还包括：响应于与当前深度像素所在的深度图像的区域相对应的所述当前时间的彩色图像的区域与先前时间的彩色图像的对应区域之间的差小于预定阈值，将时间滤波器应用于所述当前深度像素。

Images