CN110400343A - 深度图处理方法和装置 - Google Patents

Abstract

本发明提出一种深度图处理方法和装置，其中，方法包括：获取待处理的深度图，其中，深度图中各像素具有对应的深度值和深度值的置信度；根据深度值的置信度，获取深度图中每个像素的置信度梯度和梯度角度；确定目标像素，并根据目标像素的深度值生成飞像素深度阈值；获取候选飞像素和一对邻近像素中每个邻近像素的深度值之间的深度差值，并根据深度差值和飞像素深度阈值判断候选飞像素是否为飞像素，以便于对飞像素进行滤除处理。由此，自适应的确定飞像素深度阈值，基于飞像素深度阈值可以更准确的确定出飞像素，提高了飞像素去除的精确度。

Description

深度图处理方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种深度图处理方法。

背景技术

通常，在基于飞行时间(Time of flight，ToF)传感器测量物体的深度时，ToF传感器通过计算脉冲信号的飞行时间来确定传感器和物体之间的距离，然而，由于测量过程中存在着各类不确定性，带来了多种误差，比如，在深度不连续区域，如待测量物体的边缘，传感器同时接收来自前景和背景的脉冲信号，造成物体边缘深度值介于前后景之间，当前后景距离较大时，造成这部分区域深度误差较大，我们称这部分区域像素为飞像素。

相关技术中，飞像素去除滤波是针对不同拍照模式设置飞像素去除阈值，基于当前拍照模式确定飞像素去除阈值后，筛选出当前拍摄图像中的飞像素去除，然而，实际上每次拍摄的环境等参数都是可变的，导致采集的深度值具有差异性，基于预先设定的固定的飞像素去除阈值去除飞像素，会导致飞像素去除不足或者误去除。

发明内容

本发明旨在至少在一定程度上解决相关技术中，直接基于固定的飞像素阈值去除飞像素，导致飞像素确定不准确的技术问题。

为此，本发明的第一个目的在于提出一种深度图处理方法，以自适应的确定飞像素深度阈值，基于飞像素深度阈值可以更准确的确定出飞像素，提高了飞像素去除的精确度。

本发明的第二个目的在于提出一种深度图处理装置。

本发明的第三个目的在于提出一种电子设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种深度图处理方法，包括以下步骤：获取待处理的深度图，其中，所述深度图中各像素具有对应的深度值和所述深度值的置信度；根据所述深度值的置信度，获取所述深度图中每个像素的置信度梯度和梯度角度；根据所述置信度梯度确定候选飞像素以及目标像素，并根据所述目标像素的深度值生成飞像素深度阈值，其中所述目标像素为距离所述飞像素在预设范围内的像素点；根据所述候选飞像素的所述梯度角度确定参考方向，并获取所述候选飞像素在所述参考方向上的一对邻近像素的深度值；获取所述候选飞像素和所述一对邻近像素中每个邻近像素的深度值之间的深度差值，并根据所述深度差值和所述飞像素深度阈值判断所述候选飞像素是否为飞像素，以便于对所述飞像素进行滤除处理。

本发明第二方面实施例提出了一种深度图处理装置，包括：第一获取模块，用于获取待处理的深度图，其中，所述深度图中各像素具有对应的深度值和所述深度值的置信度；第二获取模块，用于根据所述深度值的置信度，获取所述深度图中每个像素的置信度梯度和梯度角度；生成模块，用于根据所述置信度梯度确定候选飞像素以及目标像素，并根据所述目标像素的深度值生成飞像素深度阈值，其中所述目标像素为距离所述飞像素在预设范围内的像素点；第三获取模块，用于根据所述候选飞像素的所述梯度角度确定参考方向，并获取所述候选飞像素在所述参考方向上的一对邻近像素的深度值；第四获取模块，用于获取所述候选飞像素和所述一对邻近像素中每个邻近像素的深度值之间的深度差值；判断模块，用于根据所述深度差值和所述飞像素深度阈值判断所述候选飞像素是否为飞像素，以便于对所述飞像素进行滤除处理。

本发明第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如第一方面实施例所述的深度图处理方法。

本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面实施例所述的深度图处理方法。

本发明实施例提供的技术方案可以包含如下的有益效果：

基于当前像素的深度值的情况自适应的确定出飞像素深度阈值，进而，基于飞像素深度阈值进行飞像素的确定，并且，在进行飞像素确定时，同时结合置信度梯度角度从更多方向上提供了是否为飞像素的依据，提高了飞像素的判断准确性，提高了深度图的滤波质量。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种基于TOF的深度图处理方法的流程示意图；

图2是根据本发明一个实施例的原始深度值计算方法流程示意图；

图3是根据本发明一个实施例的飞像素去除方法流程图示意图；

图4是根据本发明一个实施例的深度图处理方法的流程图；

图5是根据本发明一个实施例的深度图处理方法的应用场景示意图；

图6是根据本发明第一个实施例的深度图处理装置的结构示意图；

图7是根据本发明第二个实施例的深度图处理装置的结构示意图；

图8是根据本发明第三个实施例的深度图处理装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

为了使得本领域的技术人员，更加清楚的理解本发明的深度图去除方法的时机，下面结合图1对TOF的深度图处理的整个流程进行说明，如图1所示，ToF传感器发射经过调制的脉冲信号，待测量物体表面接收到脉冲信号并反射信号，然后ToF传感器接收到反射信号，并对多频相位图解码，接着根据标定参数对ToF数据进行误差修正，然后对多频信号去混叠，并将深度值由径向坐标系转换到笛卡尔坐标系，最后对深度图进行飞像素去除滤波过滤。

其中，对深度图进行飞像素去除滤波过滤包括两个主要部分：ToF原始深度值计算阶段和自适应飞像素去除滤波阶段，其中，如图2所示，ToF原始深度值计算阶段包括：基于获取的ToF传感器采集原始相位图(单频模式下为四相位图，双频模式下为八相位图，假设本实施例中为双频模式)，计算每个像素的IQ信号，进而，根据IQ信号计算每个像素的相位和置信度，其中置信度表示该点相位值的可信度，是该点能量大小的反应，根据ToF离线标定的内参在线修正几种误差，包括循环误差，温度误差，梯度误差，视差误差等，在双频去混叠前进行前滤波，以分别过滤各频率模式下的噪声，在去除双频的噪声后，对双频进行混叠，确定每个像素的真实周期数，基于该真实周期数对混叠的结果进行后滤波，进而将后滤波后的径向坐标系转换到笛卡尔坐标系，进行下一步的处理。

在飞像素滤除阶段，如图3所示，本发明的实施例中在获取到笛卡尔坐标系下的原始深度图后，对深度图中的深度置信度计算置信度梯度和梯度角度，进而，由于飞像素通常发生在深度不连续区域，即置信度梯度较高，因此在置信度梯度足够大点周围搜索候选飞像素，将候选飞像素一定邻域内距离候选飞像素最近的置信度比较高的像素点的深度值作为该候选点的飞像素基础深度值，其中，若一定邻域内无非飞像素，那么以该候选点的深度值作为飞像素基础深度值，由飞像素基础深度值和理论深度误差自适应计算飞像素阈值，基于该飞像素阈值进行飞像素的滤除，由此，基于一定邻域内可信深度值作为候选点飞像素基础深度值，有效的去除了飞像素，并且由于自适应性的基于飞像素基础深度值确定飞像素深度阈值，在一定程度上减小了飞像素的误判断。

本发明中的深度图处理方法，主要针对上述图3指出的飞像素去除方法进行说明，图4是根据本发明一个实施例的深度图处理方法的流程图，如图4所示，该深度图处理方法包括：

步骤101，获取待处理的深度图，其中，深度图中各像素具有对应的深度值和深度值的置信度。

可以理解，待处理的深度图是笛卡尔坐标系下深度图，深度图中的各个像素都具有对应的深度值和深度值的置信度，其中，深度值的能量越高对应的置信度越高。其中，待处理的深度图可以是历史获取的深度图，也可以是当前实时获取的深度图。

步骤102，根据深度值的置信度，获取深度图中每个像素的置信度梯度和梯度角度。

其中，置信度梯度指的是深度值发生变化的置信度的差值，梯度角度指的是深度值发生变化的方向。比如，对于像素A，其与水平方向上相邻的像素的深度差值大于标准深度差，则确定像素A的梯度角度为水平方向对应的角度等。

步骤103，根据置信度梯度确定候选飞像素以及目标像素，并根据目标像素的深度值生成飞像素深度阈值，其中目标像素为距离飞像素在预设范围内的像素点。

具体的，由于飞像素通常发生在深度不连续区域，而深度的连续程度可以基于置信度的梯度确定，在不连续区域，置信度的梯度会发生较大的变化，比如，在飞像素集中的物体的边缘区域中，像素的置信度的差距较大，显然置信度梯度较大，因此，在本实施例中，在置信度梯度足够大的点周围寻找候选飞像素，即根据深度图中各个像素的置信度，获取深度图中每个像素的置信度梯度，进而，确定置信度的梯度大于预设阈值的像素为候选飞像素，比如对于像素1而言，计算其周围相邻的像素的置信度，基于像素1的置信度和其周围的像素的置信度的差值，基于该差值确定置信度梯度，其中，可以将最大的差值作为像素1的置信度梯度，或者，可以将像素1与远离物体轮廓方向的相邻像素点的置信度的差值作为置信度梯度。

应当理解的是，候选飞像素的深度值较为失真，因而，我们选择置信度梯度大于预设阈值的像素为候选飞像素后，确定位于候选飞像素预设范围内的所有候选参考像素，并获取所有候选参考像素中每个候选像素的深度值的置信度，确定深度值的置信度大于预设阈值的候选像素为目标像素，其中，上述预设范围根据深度值的采集精度确定，深度值的采集精度越高，则对应的预设范围越大，否则，对应的预设范围越小。在本实施例中，当存在多个深度值大于预设阈值的候选参考像素时，将多个候选参考像素均作为目标像素，以便于确定基于多个目标像素深度值的平均值作为后续飞像素深度阈值的确定，当不存在目标像素时，可以基于深度值的置信度最大的候选参考像素为目标像素。

由此，在本发明的实施例中，基于置信度在候选飞像素的周围确定目标像素，一方面，该目标像素处于候选飞像素的邻域内，深度值与候选飞像素的深度值较为相似，另一方面，目标像素由于深度值的置信度较高，因而深度值较为真实的反映出该位置附近应当具有的真实深度值，从而，保证了基于目标像素确定的飞像素深度阈值，反应了当前深度图的真实的深度值的情况，有助于准确的定位出飞像素。

由上述分析可知，在本发明的实施例中，当深度值大于预设阈值的候选参考像素有多个时，可以基于多个候选参考像素的均值作为飞像素深度阈值，当然，也可以基于多个候选参考像素中深度值最大的候选参考像素作为该目标像素，基于该目标像素的深度值生成飞像素深度阈值，当不存在深度值大于预设阈值的候选参考像素时，可以基于置信度的最大的候选参考像素深度值确定目标像素，基于目标像素的深度值确定飞像素深度阈值，

进一步的，获取目标像素的深度值后，以该深度值为基础深度值，可以根据基础深度值和预设的深度标准误差的乘积，获取飞像素深度阈值。其中，预设的深度标准误差是标识在深度图获取时，由于循环误差，温度误差等原因导致的像素之间的深度值的正常偏差范围，基于该正常的偏差范围与基础深度值的乘积确定的飞像素深度阈值，与当前的深度图的深度值更加吻合，有助于飞像素的确定效率。比如，深度标准误差为1％，目标非飞像素的基础深度值为d_base，则可将d_fly＝d_base*1％作为飞像素深度阈值。

步骤104，根据候选飞像素的梯度角度确定参考方向，并获取候选飞像素在参考方向上的一对邻近像素的深度值。

具体的，正如以上分析的，基于候选飞像素的梯度角度可以确定候选飞像素的深度变化方向，该深度变化的方向上的像素与其的深度值的差值情况，显然是作为判断该候选飞像素是都为飞像素的标准，其他梯度角度之外的方向，可以忽略，由此，提高了飞像素的判断效率，具体而言，根据候选飞像素的梯度角度确定参考方向，并获取候选飞像素在参考方向上的一对邻近像素的深度值。

作为一种可能的示例，判断候选飞像素的所述梯度角度是否属于预设的预设范围，该第一预设范围用于判断该候选飞像素是在水平或处置方向上具有深度变化，比如，该预设范围可以为非[-35°,-55°]或[35°,55°]的范围，如果在该范围内，参照图5，显然其深度变化方向不包含对角线方向，从而，确定的参考方向为候选飞像素的上下方向或左右方向，若不属于预设范围，则确定参考方向为与候选飞像素的两侧相邻的任意相对方向。

步骤105，获取候选飞像素和一对邻近像素中每个邻近像素的深度值之间的深度差值，并根据深度差值和飞像素深度阈值判断候选飞像素是否为飞像素，以便于对飞像素进行滤除处理。

具体的，正如以上分析的，飞像素受到前景区域和后景区域的脉冲信号的影响较大，导致深度值的介于前景和后景之间，深度值的偏差较大，因而，必然与其周围像素的深度值的偏差较大，在本实施例中，获取候选飞像素和一对邻近像素中每个邻近像素的深度值之间的深度差值，以根据候选飞像素在参考方向上与相邻像素的深度值的相差情况，确定出飞像素。如果在参考方向上与相邻像素的深度值的变化相对于飞像素深度阈值较大，则认为该候选飞像素是飞像素，从而，对飞像素进行过滤，获取到过滤飞像素后的深度图，提高了基于深度图进行手势识别，三维建模，体感游戏等应用的体验。

当然，在本发明的一个实施例中，在确定出飞像素后，也可以对飞像素的深度值进行补偿，补偿为正常的深度值，比如，将其深度值补偿为与相邻像素点的深度值的差值小于飞像素深度阈值的深度值等。

需要说明的是，在不同的应用场景下，根据所有的深度差值和飞像素深度阈值判断候选飞像素是否为飞像素的方式不同，示例如下：

第一种示例：

在本示例中，判断所有的深度差值是否均大于飞像素深度阈值，若所有的深度差值均大于所述飞像素深度阈值，则确定候选飞像素为所述飞像素。

举例而言，继续参照图5，对于候选飞像素C，若预设范围为[-35°,-55°]或[35°,55°]之外的范围，则如C点的梯度角度不位于[-35°,-55°]或[35°,55°]区间，那么当abs(C点深度-1点深度)且abs(C点深度-7点深度)都大于d_fly，或者当abs(C点深度-3点深度)且abs(C点深度-5点深度)都大于d_fly，就认为C点为飞像素，进行去除，如C点的梯度角度位于[-35°,-55°]或[35°,55°]区间，那么当abs(C点深度-1点深度)且abs(C点深度-7点深度)都大于d_fly，或者当abs(C点深度-3点深度)且abs(C点深度-5点深度)都大于d_fly，或者当abs(C点深度-0点深度)且abs(C点深度-0点深度)都大于d_fly，或者当abs(C点深度-2点深度)且abs(C点深度-6点深度)都大于d_fly，就认为C点为飞像素，进行去除。其中，abs为深度差值的绝对值，d_fly为上述飞像素阈值。

第二种示例：

在本示例中，计算候选飞像素和各个方向的像素中每个像素的深度差值，统计深度差值中大于飞像素深度阈值的个数，如果个数大于预设阈值，则表明在大部分方向上候选飞像素的深度值的变化较大，因而，确定候选飞像素为目标飞像素。

其中，上述预设阈值根据大量实验数据标定，在一种可能的示例中，当各个方向的相邻个数为8时，该预设阈值可以为6等，在另一种可能的示例中，我们取候选飞像素周围相邻的各个像素之外，还在相邻的各个像素之外另外获取多个相邻像素的相邻像素，基于每个相邻像素和其相邻像素之间的深度值和置信度的差值，在每个候选飞像素的相邻像素中筛选出置信度比较高的相邻像素，基于筛选出的相邻像素的个数确定预设阈值。

综上，本发明实施例的深度图处理方法，基于当前像素的深度值的情况自适应的确定出飞像素深度阈值，进而，基于飞像素深度阈值进行飞像素的确定，并且，在进行飞像素确定时，同时结合置信度梯度角度从更多方向上提供了是否为飞像素的依据，提高了飞像素的判断准确性，提高了深度图的滤波质量。

为了实现上述实施例，本发明还提出一种深度图处理装置。图6是根据本发明一个实施例的深度图处理装置的结构示意图。如图6所示，该深度图处理装置，包括：第一获取模块10、第二获取模块20、生成模块30、第三获取模块40、第四获取模块50和判断模块60，其中，

第一获取模块10，用于获取待处理的深度图，其中，深度图中各像素具有对应的深度值和深度值的置信度。

可以理解，待处理的深度图是笛卡尔坐标系下深度图，深度图中的各个像素都具有对应的深度值和深度值的置信度，其中，深度值的能量越高对应的置信度越高。

第二获取模块20，用于根据深度值的置信度，获取深度图中每个像素的置信度梯度和梯度角度。

其中，置信度梯度指的是深度值发生变化的置信度的差值，梯度角度指的是深度值发生变化的方向。比如，对于像素A，其与水平方向上相邻的像素的深度差值大于标准深度差，则确定像素A的梯度角度为水平方向对应的角度等。

生成模块30，用于根据置信度梯度确定候选飞像素以及目标像素，并根据目标像素的深度值生成飞像素深度阈值，其中目标像素为距离飞像素在预设范围内的像素点。

具体的，由于飞像素通常发生在深度不连续区域，而深度的连续程度可以基于置信度的梯度确定，在不连续区域，置信度的梯度会发生较大的变化，比如，在飞像素集中的物体的边缘区域中，像素的置信度的差距较大，显然置信度梯度较大，因此，在本实施例中，在置信度梯度足够大的点周围寻找候选飞像素，即根据深度图中各个像素的置信度，第二获取模块20获取深度图中每个像素的置信度梯度，进而，生成模块30确定置信度的梯度大于预设阈值的像素为候选飞像素，比如对于像素1而言，计算其周围相邻的像素的置信度，基于像素1的置信度和其周围的像素的置信度的差值，基于该差值确定置信度梯度，比如，可以将最大的差值作为像素1的置信度梯度，又比如，可以将像素1在远离物体轮廓方向的相邻像素点的置信度的差值作为置信度梯度。

应当理解的是，候选飞像素的深度值较为失真，因而，我们选择置信度梯度大于预设阈值的像素为候选飞像素后，确定位于候选飞像素预设范围内的所有候选参考像素，并获取所有候选参考像素中每个候选像素的深度值的置信度，确定深度值的置信度大于预设阈值的候选像素为目标像素，其中，上述预设范围根据深度值的采集精度确定，深度值的采集精度越高，则对应的预设范围越大，否则，对应的预设范围越小。在本实施例中，当存在多个深度值大于预设阈值的候选参考像素时，将多个候选参考像素均作为目标像素，以便于确定基于多个目标像素深度值的平均值作为后续飞像素深度阈值的确定，当不存在目标像素时，可以基于深度值的置信度最大的候选参考像素为目标像素。

由此，在本发明的实施例中，基于置信度在候选飞像素的周围确定目标像素，一方面，该目标像素处于候选飞像素的邻域内，深度值与候选飞像素的深度值较为相似，另一方面，目标像素由于深度值的置信度较高，因而深度值较为真实的反映出该位置附近应当具有的真实深度值，从而，保证了基于目标像素确定的飞像素深度阈值，反应了当前深度图的准确的深度值的情况，有助于准确的定位出飞像素。

由上述分析可知，在本发明的实施例中，当深度值大于预设阈值的候选参考像素有多个时，可以基于多个候选参考像素的均值作为飞像素深度阈值，但若干，也可以基于多个候选参考像素中深度值最大的候选参考像素作为该目标像素，基于该目标像素的深度值生成飞像素深度阈值，当不存在深度值大于预设阈值的候选参考像素时，可以基于置信度的最大的候选参考像素深度值确定目标像素，基于目标像素的深度值确定飞像素深度阈值，

进一步的，获取目标像素的深度值后，以该深度值为基础深度值，生成模块30可以根据基础深度值和预设的深度标准误差的乘积，获取飞像素深度阈值。其中，预设的深度标准误差是标识在深度图获取时，由于循环误差，温度误差等原因导致的像素之间的深度值的正常偏差范围，基于该正常的偏差范围与基础深度值的乘积确定的飞像素深度阈值，与当前的深度图的深度值更加吻合，有助于飞像素的确定效率。比如，深度标准误差为1％，目标非飞像素的基础深度值为d_base，则可将d_fly＝d_base*1％作为飞像素深度阈值。

第三获取模块40，用于根据候选飞像素的梯度角度确定参考方向，并获取候选飞像素在参考方向上的一对邻近像素的深度值。

具体的，正如以上分析的，基于候选飞像素的梯度角度可以确定候选飞像素的深度变化方向，该深度变化的方向上的像素与其的深度值的差值情况，显然是作为判断该候选飞像素是都为飞像素的标准，其他梯度角度之外的方向，可以忽略，由此，提高了飞像素的判断效率，具体而言，第三获取模块40根据候选飞像素的梯度角度确定参考方向，并获取候选飞像素在参考方向上的一对邻近像素的深度值。

第四获取模块50，用于获取候选飞像素和一对邻近像素中每个邻近像素的深度值之间的深度差值。

判断模块60，用于根据深度差值和飞像素深度阈值判断候选飞像素是否为飞像素，以便于对飞像素进行滤除处理。

具体的，正如以上分析的，飞像素受到前景区域和后景区域的脉冲信号的影响较大，导致深度值的介于前景和后景之间，深度值的偏差较大，因而，必然与其周围像素的深度值的偏差较大，在本实施例中，判断模块60获取候选飞像素和一对邻近像素中每个邻近像素的深度值之间的深度差值，以根据候选飞像素在参考方向上与相邻像素的深度值的相差情况，确定出飞像素。如果在参考方向上与相邻像素的深度值的变化相对于飞像素深度阈值较大，则判断模块60认为该候选飞像素是飞像素，从而，对飞像素进行过滤，获取到过滤飞像素后的深度图，提高了基于深度图进行手势识别，三维建模，体感游戏等应用的体验。

在本发明的一个实施例中，如图7所示，在如图6所示的基础上，第三获取模块40包括：第一判断单元41和第一确定单元42，其中，第一判断单元41判断候选飞像素的所述梯度角度是否属于预设的预设范围，该第一预设范围用于判断该候选飞像素是在水平或处置方向上具有深度变化，比如，该预设范围可以为非[-35°,-55°]或[35°,55°]的范围，如果在该范围内，参照图5，显然其深度变化方向不包含对角线方向，从而，第一确定单元42确定的参考方向为候选飞像素的上下方向或左右方向，若不属于预设范围，则第一确定单元42确定参考方向为与候选飞像素的两侧相邻的任意相对方向。

在本实施例中，第一确定单元42，还用于在不属于预设范围时，确定参考方向为与候选飞像素的两侧相邻的任意相对方向。

在本发明的一个实施例中，如图8所示，在如图6所示的基础上，判断模块60包括：第二判断单元61和第二确定单元62，在本示例中，第二判断单元61判断所有的深度差值是否均大于飞像素深度阈值，若所有的深度差值均大于所述飞像素深度阈值，则第二确定单元62确定候选飞像素为所述飞像素。

需要说明的是，前述对深度图处理方法实施例的解释说明也适用于该实施例的深度图处理装置，此处不再赘述。

综上，本发明实施例的深度图处理装置，基于当前像素的深度值的情况自适应的确定出飞像素深度阈值，进而，基于飞像素深度阈值进行飞像素的确定，并且，在进行飞像素确定时，同时结合置信度梯度角度从更多方向上提供了是否为飞像素的依据，提高了飞像素的判断准确性，提高了深度图的滤波质量。

为了实现上述实施例，本发明还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述实施例所描述的深度图处理方法。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述方法实施例所描述的深度图处理方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种深度图处理方法，其特征在于，包括以下步骤：

获取待处理的深度图，其中，所述深度图中各像素具有对应的深度值和所述深度值的置信度；

根据所述深度值的置信度，获取所述深度图中每个像素的置信度梯度和梯度角度；

根据所述置信度梯度确定候选飞像素以及目标像素，并根据所述目标像素的深度值生成飞像素深度阈值，其中所述目标像素为距离所述飞像素在预设范围内的像素点；

根据所述候选飞像素的所述梯度角度确定参考方向，并获取所述候选飞像素在所述参考方向上的一对邻近像素的深度值；

获取所述候选飞像素和所述一对邻近像素中每个邻近像素的深度值之间的深度差值，并根据所述深度差值和所述飞像素深度阈值判断所述候选飞像素是否为飞像素，以便于对所述飞像素进行滤除处理。

2.如权利要求1所述的方法，其特征在于，所述根据所述置信度梯度确定候选飞像素以及目标像素，包括：

确定所述置信度梯度大于预设阈值的像素为所述候选飞像素；

确定位于所述候选飞像素预设范围内的所有候选参考像素，并获取所述所有候选参考像素中每个候选像素的深度值的置信度；

确定所述深度值的置信度大于预设阈值的候选像素为所述目标像素。

3.如权利要求1所述的方法，其特征在于，所述根据所述候选飞像素的所述梯度角度确定参考方向，包括：

判断所述候选飞像素的所述梯度角度是否属于预设的预设范围；

若属于所述预设范围，则确定所述参考方向为所述候选飞像素的上下方向或左右方向；

若不属于所述预设范围，则确定所述参考方向为与所述候选飞像素的两侧相邻的任意相对方向。

4.如权利要求1所述的方法，其特征在于，所述并根据所述目标像素的深度值生成飞像素深度阈值，包括：

获取所述目标像素的基础深度值；

根据所述基础深度值和预设的深度标准误差的乘积，获取所述飞像素深度阈值。

5.如权利要求1所述的方法，其特征在于，所述并根据所述深度差值和所述飞像素深度阈值判断所述候选飞像素是否为飞像素，包括：

判断所有的所述深度差值是否均大于所述飞像素深度阈值；

若所述所有的所述深度差值均大于所述飞像素深度阈值，则确定所述候选飞像素为所述飞像素。

6.一种深度图处理装置，其特征在于，包括：

第一获取模块，用于获取待处理的深度图，其中，所述深度图中各像素具有对应的深度值和所述深度值的置信度；

第二获取模块，用于根据所述深度值的置信度，获取所述深度图中每个像素的置信度梯度和梯度角度；

生成模块，用于根据所述置信度梯度确定候选飞像素以及目标像素，并根据所述目标像素的深度值生成飞像素深度阈值，其中所述目标像素为距离所述飞像素在预设范围内的像素点；

第三获取模块，用于根据所述候选飞像素的所述梯度角度确定参考方向，并获取所述候选飞像素在所述参考方向上的一对邻近像素的深度值；

第四获取模块，用于获取所述候选飞像素和所述一对邻近像素中每个邻近像素的深度值之间的深度差值；

判断模块，用于根据所述深度差值和所述飞像素深度阈值判断所述候选飞像素是否为飞像素，以便于对所述飞像素进行滤除处理。

7.如权利要求6所述的装置，其特征在于，所述第三获取模块，包括：

第一判断单元，用于判断所述候选飞像素的所述梯度角度是否属于预设的预设范围；

第一确定单元，用于在属于所述预设范围时，确定所述参考方向为所述候选飞像素的上下方向或左右方向；

所述第一确定单元，还用于在不属于所述预设范围时，确定所述参考方向为与所述候选飞像素的两侧相邻的任意相对方向。

8.如权利要求6所述的装置，其特征在于，所述判断模块，包括：

第二判断单元，用于判断所有的所述深度差值是否均大于所述飞像素深度阈值；

第二确定单元，用于在所述所有的所述深度差值均大于所述飞像素深度阈值时，确定所述候选飞像素为所述飞像素。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一所述的深度图处理方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的深度图处理方法。