CN110544224A - 深度图像滤波方法、装置、计算机设备和存储介质 - Google Patents
深度图像滤波方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110544224A CN110544224A CN201910740269.6A CN201910740269A CN110544224A CN 110544224 A CN110544224 A CN 110544224A CN 201910740269 A CN201910740269 A CN 201910740269A CN 110544224 A CN110544224 A CN 110544224A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- value set
- value
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000005070 sampling Methods 0.000 claims description 59
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种深度图像滤波方法、装置、计算机设备和存储介质。包括：获取当前图像的第一深度图像的信息和第一图像的信息；根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，从第一像素值集中获得第二像素值集；根据第二像素值集、第二对应关系、第三对应关系和第一对应关系，从第一深度值集中获得第二深度值集；根据第二深度值集，对第一深度图像进行滤波，得到第二深度图像。从而能够在很大程度上消除滤波图像中存在的锯齿现象，提高边缘准确性，使得深度图像主体边缘与色彩图像或灰度图像的主体边缘贴合得更好。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种深度图像滤波方法、装置、计算机设备和存储介质。
背景技术
随着成像技术和图像处理技术的不断发展，深度图像的应用也越来越广泛。深度图像的成像技术与普通图像的成像技术差别较大，在双目深度图像计算过程中，由于时间限制或处理器算力的限制，通常会在较小的图像上对视差图像进行运算和处理，从而得到深度图像。
然而，直接对小尺寸的深度图像进行上采样后，会出现较严重的锯齿现象，造成边缘准确性的下降，使得深度图像主体边缘与色彩图像或灰度图像的主体边缘贴合不够好。
发明内容
基于此，有必要针对上述技术问题，提供一种深度图像滤波方法、装置、计算机设备和存储介质。
一种深度图像滤波方法，所述方法包括：
获取当前图像的第一深度图像的信息和第一图像的信息；
其中，所述第一深度图像的信息包括第一深度坐标值集和第一深度值集，所述第一图像的信息包括第一像素坐标值集和第一像素值集，所述第一深度坐标值集与所述第一深度值集之间存在第一对应关系，所述第一像素坐标值集与所述第一像素值集之间存在第二对应关系，所述第一深度坐标值集与所述第一像素坐标值集之间存在第三对应关系，所述第一像素坐标值集包括第一RGB坐标值集或第一灰度坐标值集，所述第一像素值集包括第一RGB值集或第一灰度值集；
根据所述第一图像中的目标位置处的像素值与所述目标位置预设邻域范围内的像素值之间的差值，从所述第一像素值集中获得第二像素值集；
根据所述第二像素值集、所述第二对应关系、所述第三对应关系和所述第一对应关系，从所述第一深度值集中获得第二深度值集；
根据所述第二深度值集，对所述第一深度图像进行滤波，得到第二深度图像。
一种深度图像滤波方法，所述方法包括：
获取当前图像的第一深度图像和第一图像；其中，所述第一图像为RGB图像或灰度图像；
将所述第一图像下采样到所述第一深度图像的第一尺寸，得到第二图像；
根据所述第二图像对所述第一深度图像进行滤波，得到第二深度图像；
根据上采样倍率，对所述第二深度图像进行上采样，得到大小为第二尺寸的更新后的第一深度图像，以及对所述第一图像进行采样，得到大小为第二尺寸的更新后的第二图像；其中，所述第二尺寸为所述第一尺寸、所述上采样倍率和数值N的乘积，所述数值N的初始值为1；
N累加1并返回执行根据所述第二图像，对所述第一深度图像进行滤波，得到第二深度图像的步骤，直到得到第三尺寸的第二深度图像。
一种深度图像滤波装置，所述装置包括：
图像信息获取模块，用于获取当前图像的第一深度图像的信息和第一图像的信息；
其中，所述第一深度图像的信息包括第一深度坐标值集和第一深度值集，所述第一图像的信息包括第一像素坐标值集和第一像素值集，所述第一深度坐标值集与所述第一深度值集之间存在第一对应关系，所述第一像素坐标值集与所述第一像素值集之间存在第二对应关系，所述第一深度坐标值集与所述第一像素坐标值集之间存在第三对应关系，所述第一像素坐标值集包括第一RGB坐标值集或第一灰度坐标值集，所述第一像素值集包括第一RGB值集或第一灰度值集；
第一确定模块，用于根据所述第一图像中的目标位置处的像素值与所述目标位置预设邻域范围内的像素值之间的差值，从所述第一像素值集中获得第二像素值集；
第二确定模块，用于根据所述第二像素值集、所述第二对应关系、所述第三对应关系和所述第一对应关系，从所述第一深度值集中获得第二深度值集；
滤波图像确定模块，用于根据所述第二深度值集，对所述第一深度图像进行滤波，得到第二深度图像。
一种深度图像滤波装置，所述装置包括：
图像信息获取模块，用于获取当前图像的第一深度图像和第一图像；其中，所述第一图像为RGB图像或灰度图像；
第一图像获取模块，用于将所述第一图像下采样到所述第一深度图像的第一尺寸，得到第二图像；
第二图像获取模块，用于根据所述第二图像对所述第一深度图像进行滤波，得到第二深度图像；
采样更新模块，用于根据上采样倍率，对所述第二深度图像进行上采样，得到大小为第二尺寸的更新后的第一深度图像，以及对所述第一图像进行采样，得到大小为第二尺寸的更新后的第二图像；其中，所述第二尺寸为所述第一尺寸、所述上采样倍率和数值N的乘积，所述数值N的初始值为1；
第三图像获取模块，用于将N累加1并返回执行根据所述第二图像，对所述第一深度图像进行滤波，得到第二深度图像的步骤，直到得到第三尺寸的第二深度图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
上述深度图像滤波方法、装置、计算机设备和存储介质，通过获取当前图像的第一深度图像的信息和第一图像的信息，接着，根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，从第一像素值集中获得第二像素值集，接着，根据第二像素值集、第二对应关系、第三对应关系和第一对应关系，从第一深度值集中获得第二深度值集，最后，根据第二深度值集，对第一深度图像进行滤波，得到第二深度图像。其中，第一图像的信息包括第一像素坐标值集和第一像素值集，第一像素坐标值集包括第一RGB坐标值集或第一灰度坐标值集，第一像素值集包括第一RGB值集或第一灰度值集，由第一图像中的RGB信息或者灰度信息引导，对深度图像进行滤波，能够在很大程度上消除滤波图像中存在的锯齿现象，提高边缘准确性，使得深度图像主体边缘与色彩图像或灰度图像的主体边缘贴合得更好。
附图说明
图1为一个实施例中深度图像滤波方法的流程示意图；
图2为另一个实施例中深度图像滤波方法的流程示意图；
图3为一个实施例中步骤S200的一种可实施方式的流程示意图；
图4为一个实施例中步骤S300的一种可实施方式的流程示意图；
图5为一个实施例中步骤S400的一种可实施方式的流程示意图；
图6为一个实施例中步骤S410的一种可实施方式的流程示意图；
图7为另一个实施例中深度图像滤波方法的一种可实施方式的流程示意图；
图8为又一个实施例中深度图像滤波方法的流程示意图；
图9为一个实施例中步骤S3000的一种可实施方式的流程示意图；
图10为另一个实施例中步骤S3000的一种可实施方式的流程示意图；
图11为一个具体实施例中深度图像滤波方法的流程示意图；
图12为一个具体实施例中深度图像滤波的效果图；
图13为一个实施例深度图像滤波装置的结构框图；
图14为又一个实施例深度图像滤波装置的结构框图；
图15为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解本申请中所使用的术语“第一”、“第二”等可在本文中用于描述各种条件关系，但这些条件关系不受这些术语限制。这些术语仅用于将一个条件关系与另一个条件关系区分开来。
需要说明的是，本申请中可以基于图像的RGB信息对深度图像进行引导滤波，也可以基于图像的灰度信息对深度图像进行引导滤波的，两种图像信息引导滤波的方式类似，下文中对灰度图像作简要说明，涉及具体操作的部分内容主要以基于图像的RGB信息对深度图像进行引导滤波为例进行说明。
在一个实施例中，如图1所示，提供了一种深度图像滤波方法，包括以下步骤：
步骤S100，获取当前图像的第一深度图像的信息和第一图像的信息；
其中，第一深度图像的信息包括第一深度坐标值集和第一深度值集，第一图像的信息包括第一像素坐标值集和第一像素值集，第一深度坐标值集与第一深度值集之间存在第一对应关系，第一像素坐标值集与第一像素值集之间存在第二对应关系，第一深度坐标值集与第一像素坐标值集之间存在第三对应关系，第一像素坐标值集包括第一RGB坐标值集或第一灰度坐标值集，第一像素值集包括第一RGB值集或第一灰度值集。
其中，当前图像为双摄像头拍摄的包含深度图像的信息和图像的信息的图像，图像的信息又包括RGB图像的信息或灰度图像的信息。深度图像(depth image)也称作距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，他直接反映了景物可见表面的几何形状。RGB图像中的RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，是目前运用最广的颜色系统之一。在RGB色彩模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0-255。
具体地，以深度图像的信息和RGB图像的信息为例进行说明，深度图像的信息中的第一深度坐标值集和第一深度值集存在一个对应关系，RGB图像的信息中的第一RGB坐标值集和第一RGB值集存在一个对应关系，其中，第一深度坐标值集和第一RGB坐标值集之间也存在一个对应关系，因此，第一深度坐标值集与第一RGB坐标值集之间可以通过第一深度坐标值集和第一RGB坐标值集之间的对应关系相对应，因此，第一深度坐标值集与第一RGB坐标值集之间也存在一个对应关系。为了更直观的对第一深度坐标值集、第一深度值集、第一RGB坐标值集和第一RGB值集之间关系进行说明，以A、B两个点为例进行说明，具体地，A点为第一深度图像中的一点，其第一深度坐标值为(137，75)、第一深度值为129，第一深度坐标值与第一深度值通过第一对应关系对应；B点为第一RGB图像中的一点，其第一RGB坐标值为(137,75)、第一RGB值为(83,77,77)，第一RGB坐标值与第一RGB值通过第二对应关系对应；由具体的坐标值之间的第三对应关系，将A点与B点相对应。相应地，可以根据图像灰度的信息将A点与B点相对应，此处不再赘述。
步骤S200，根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，从第一像素值集中获得第二像素值集。
具体地，由目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值能够确定出一个需要的像素值集，根据这一像素值集与预设的条件之间的关系可以确定出第二像素值集。
步骤S300，根据第二像素值集、第二对应关系、第三对应关系和第一对应关系，从第一深度值集中获得第二深度值集。
其中，第一对应关系、第二对应关系和第三对应关系是针对第一深度坐标值集、第一深度值集、第一像素坐标值集和第一像素值集之间的关系进行界定的，由于本步骤中的第二深度值集是从第一深度值集中按照一定的条件筛选得到的，步骤S200中的第二像素值集是从第一像素值集中按照一定的条件筛选得到的，因此，上述第一对应关系、第二对应关系和第三对应关系在适用于各种“第一”值集的前提下，也适用于各种“第二”值集。
具体地，在步骤S200中得到第二像素值集后，根据第一像素值集与第一像素坐标值集之间的第二对应关系，可以得到一个像素坐标值集，进一步根据第一深度坐标值集与第一像素坐标值集之间的第三对应关系，可以得到一个深度坐标值集，最后，根据第一深度坐标值集与第一深度值集之间的第一对应关系，可以得到第二深度值集。
步骤S400，根据第二深度值集，对第一深度图像进行滤波，得到第二深度图像。
具体地，根据第二深度值集，对目标位置处的深度值进行滤波，并将深度图像中目标位置处的深度值替换为滤波后的深度值，即可得到滤波后的第一深度图像(第二深度图像)。
上述深度图像滤波方法，通过获取当前图像的第一深度图像的信息和第一图像的信息，接着，根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，从第一像素值集中获得第二像素值集，接着，根据第二像素值集、第二对应关系、第三对应关系和第一对应关系，从第一深度值集中获得第二深度值集，最后，根据第二深度值集，对第一深度图像进行滤波，得到第二深度图像。其中，第一图像的信息包括第一像素坐标值集和第一像素值集，第一像素坐标值集包括第一RGB坐标值集或第一灰度坐标值集，第一像素值集包括第一RGB值集或第一灰度值集，由第一图像中的RGB信息或者灰度信息引导，对深度图像进行滤波，能够在很大程度上消除滤波图像中存在的锯齿现象，提高边缘准确性，使得深度图像主体边缘与色彩图像或灰度图像的主体边缘贴合得更好。
在其中一个实施例中，如图2所示，提供了一种深度图像滤波方法，包括以下步骤：
步骤S10，获取当前图像的第一深度图像的信息和第一图像的信息；
其中，第一深度图像的信息包括第一深度坐标值集和第一深度值集，第一图像的信息包括第一像素坐标值集和第一像素值集，第一深度坐标值集与第一深度值集之间存在第一对应关系，第一像素坐标值集与第一像素值集之间存在第二对应关系，第一深度坐标值集与第一像素坐标值集之间存在第三对应关系，第一像素坐标值集包括第一RGB坐标值集或第一灰度坐标值集，第一像素值集包括第一RGB值集或第一灰度值集。
在本发明实施例中，上述步骤S10与上一实施例中的步骤S100描述的内容一致，此处不再赘述。
步骤S20，将第一深度图像和/或第一图像采样到第一尺寸，得到第三深度图像和第二图像。
具体地，第一尺寸为与深度图像相同的尺寸，可选地，第一深度图像尺寸保持不变，将第一图像采样到深度图像相同的第一尺寸，为后续的基于第一图像对第一深度图像进行滤波提供基础。可选地，当第一深度图像和第一图像的尺寸大小与第一尺寸大小不一致时，需要分别对第一深度图像和第一图像进行采样，将第一深度图像和第一图像采样到同一预设的尺寸上，具体地，对第一深度图像进行采样，得到第一尺寸的第三深度图像，对第一图像进行采样，得到第一尺寸的第二图像。
步骤S30，将第一深度图像替换为第三深度图像，将第一图像替换为第二图像，得到更新后的当前图像。
具体地，对当前图像进行更新，用采样到第一尺寸的第三深度图像替换当前图像中的第一深度图像，用采样到第一尺寸的第二图像替换前图像中的第一图像，得到更新后的当前图像。
步骤S40，根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，从第一像素值集中获得第二像素值集。
在本发明实施例中，上述步骤S40与上一实施例中的步骤S200描述的内容一致，此处不再赘述。
步骤S50，根据第二像素值集、第二对应关系、第三对应关系和第一对应关系，从第一深度值集中获得第二深度值集。
在本发明实施例中，上述步骤S50与上一实施例中的步骤S300描述的内容一致，此处不再赘述。
步骤S60，根据第二深度值集，对第一深度图像进行滤波，得到第二深度图像。
在本发明实施例中，上述步骤S60与上一实施例中的步骤S400描述的内容一致，此处不再赘述。
上述深度图像滤波方法，通过获取当前图像的第一深度图像的信息和第一图像的信息，接着，根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，从第一像素值集中获得第二像素值集，接着，根据第二像素值集、第二对应关系、第三对应关系和第一对应关系，从第一深度值集中获得第二深度值集，最后，根据第二深度值集，对第一深度图像进行滤波，得到第二深度图像。其中，第一图像的信息包括第一像素坐标值集和第一像素值集，第一像素坐标值集包括第一RGB坐标值集或第一灰度坐标值集，第一像素值集包括第一RGB值集或第一灰度值集，由第一图像中的RGB信息或者灰度信息引导，对深度图像进行滤波，能够在很大程度上消除滤波图像中存在的锯齿现象，提高边缘准确性，使得深度图像主体边缘与色彩图像或灰度图像的主体边缘贴合得更好。
在其中一个实施例中，如图3所示，为步骤S200的一种可实施方式的流程示意图，步骤S200，根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，从第一像素值集中获得第二像素值集，包括：
步骤S210，计算目标位置处的像素值与目标位置预设邻域范围内的像素值之间的像素差值，得到第一像素差值集。
具体地，计算目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，可以得到至少一个像素差值，将得到的至少一个像素差值的集合作为第一像素差值集。
步骤S220，从第一像素差值集中筛选出小于或等于第一预设阈值的像素差值，得到第二像素差值集。
具体地，对第一像素差值集进行筛选，将第一像素差值集中小于或等于第一预设阈值的像素差值构成的集合作为第二像素差值集。
步骤S230，从第一像素值集中筛选出与第二像素差值集对应的像素值，得到第二像素值集。
具体地，在得到第二像素差值集后，在第一像素值与第二像素差值集之间的对应关系中查找第二像素差值集中的元素，进一步，根据该对应关系，得到对应的像素值，并将得到的所有像素值构成的集合作为第二像素值集。
上述实施例中，通过计算目标位置处的像素值与目标位置预设邻域范围内的像素值之间的像素差值，得到第一像素差值集，接着，从第一像素差值集中筛选出小于或等于第一预设阈值的像素差值，得到第二像素差值集，最后，从第一像素值集中筛选出与第二像素差值集对应的像素值，得到第二像素值集。能够为获取第二深度值集提供数据基础，进一步，为后续的滤波提供数据基础。
在其中一个实施例中，如图4所示，为步骤S300的一种可实施方式的流程示意图，步骤S300，根据第二像素值集、第二对应关系、第三对应关系和第一对应关系，从第一深度值集中获得第二深度值集，包括：
步骤S310，根据第二像素值集和第二对应关系，得到第二像素坐标值集。
具体地，第二对应关系为第一像素坐标值集与第一像素值集之间的对应关系，第二像素值集为第一像素值集的子集，根据第二对应关系，可以得到一个与第二像素值集对应的第二像素坐标值集。
步骤S320，根据第二像素坐标值集和第三对应关系，从第一深度坐标值集中获得第二深度坐标值集。
具体地，与步骤S310类似，第三对应关系为第一深度坐标值集与第一像素坐标值集之间的对应关系，第二像素坐标值集为第一像素坐标值集的子集，根据第三对应关系，可以从第一深度坐标值集中得到一个与第二像素坐标值集对应的第二深度坐标值集。
步骤S330，根据第二深度坐标值集和第一对应关系，从第一深度值集中获得第二深度值集。
具体地，与步骤S310和步骤S320类似，第一对应关系为第一深度坐标值集与第一深度值集之间的对应关系，第二深度坐标值集为第一深度坐标值集的子集，根据第一对应关系，可以从第一深度值集中得到一个与第二深度坐标值集对应的第二深度值集。
上述实施例中，根据第二像素值集和第二对应关系，得到第二像素坐标值集，接着，根据第二像素坐标值集和第三对应关系，从第一深度坐标值集中获得第二深度坐标值集，最后，根据第二深度坐标值集和第一对应关系，从第一深度值集中获得第二深度值集。上述操作由一个第二像素值集得到一个第二深度值集，可以为后续滤波提供数据基础，实现由第一图像中的RGB信息或者灰度信息引导，对深度图像进行滤波的过程。
在其中一个实施例中，如图5所示，为步骤S400的一种可实施方式的流程示意图，步骤S400，根据第二深度值集，对第一深度图像进行滤波，得到第二深度图像，包括：
步骤S410，根据第二深度值集，对目标位置处的深度值进行滤波，得到滤波后的深度值。
具体地，第二深度值集为目标位置预设邻域范围内的深度值的集合，根据这一集合对目标位置处的深度值进行滤波，可以得到目标位置最终滤波后的深度值。
步骤S420，根据滤波后的深度值和第一深度图像，得到第二深度图像。
具体地，将第一深度图像中目标位置处的深度值替换为滤波后的深度值，即可得到滤波后的第一深度图像。
上述实施例中，根据第二深度值集，对目标位置处的深度值进行滤波，得到滤波后的深度值，接着，根据滤波后的深度值和第一深度图像，得到第二深度图像。对目标位置处的深度值进行滤波，得到滤波后的第二深度图像，能够在很大程度上消除锯齿现象的发生，提高边缘准确性。
在其中一个实施例中，如图6所示，为步骤S410的一种可实施方式的流程示意图，步骤S410，根据第二深度值集，对目标位置处的深度值进行滤波，得到滤波后的深度值，包括：
步骤S411，对第二深度值集中的深度值进行加权平均，得到加权平均深度值。
具体地，获取加权平均深度值时的加权值由具体的滤波需求而定，可以提前预设一个加权值集，也可以根据第二深度值集中的深度值的位置与目标位置的距离的关系为每个深度值赋予加权值，并根据获取到的加权值，对第二深度值集中的深度值进行加权平均，得到加权平均深度值。可选地，可以直接将第二深度值集中的深度值的平均数当作加权平均深度值。
步骤S412，根据加权平均深度值和目标位置处的深度值，得到滤波后的深度值。
具体地，根据加权平均深度值和目标位置处的深度值之间的关系，对目标位置处的深度组织进行滤波，得到滤波后的深度值。
可选地，若加权平均深度值与目标位置处的深度值之间的差值大于第二预设阈值，则将加权平均深度值确定为滤波后的深度值。
具体地，若加权平均深度值与目标位置处的深度值之间的差值大于第二预设阈值，则代表目标位置处的深度值与该目标位置周围基于像素引导的深度值的加权平均深度值之间的差异较大，说明目标位置处的深度值很大概率上是突变的异常点，则用则将加权平均深度值替换目标位置处的深度值，并将其确定为滤波后的深度值。
可选地，若加权平均深度值与目标位置处的深度值之间的差值小于或等于第二预设阈值，则将目标位置处的深度值确定为滤波后的深度值。
具体地，若加权平均深度值与目标位置处的深度值之间的差值小于或等于第二预设阈值，则代表目标位置处的深度值与该目标位置周围基于像素引导的深度值的加权平均深度值之间的差异较小，说明目标位置处的深度值很大概率上不存在突变的情况，则直接将目标位置处的深度值确定为滤波后的深度值。
上述实施例中，通过对第二深度值集中的深度值进行加权平均，得到加权平均深度值，接着，根据加权平均深度值和目标位置处的深度值，得到滤波后的深度值。对目标位置处的可能存在异常情况的深度值进行滤波，能够为后续得到滤波后的第二深度图像提供数据基础。
在其中一个实施例中，步骤S420，根据滤波后的深度值和第一深度图像，得到第二深度图像，包括：
将滤波后的深度值和第一深度图像对应的目标位置外的深度值集进行拼合，得到第二深度图像。
具体地，可以将第一深度图像看作是由目标位置处的深度值和目标位置外的深度值集共同构成的深度图像，对目标位置处的深度值进行滤波得到滤波后的深度值，将滤波后的深度值和目标位置外的深度值集进行拼合(可以理解为数学上的取将滤波后的深度值与第一深度图像对应的目标位置外的深度值集的并集)，可得到滤波后的第二深度图像。
在其中一个实施例中，如图7所示，提供了深度图像滤波方法的一种可实施方式，步骤S60，根据第二深度值集，对第一深度图像进行滤波，得到第二深度图像，之后还包括：
步骤S70，根据采样倍率，对第二深度图像进行上采样，得到大小为第二尺寸的第四深度图像，以及将第一图像下采样到第二尺寸，得到第三图像。
其中，第二尺寸为第一尺寸、采样倍率和数值N的乘积，数值N的初始值为1。
具体地，根据采样倍率，对第二深度图像进行上采样，得到第四深度图像，其中，第四深度图像的尺寸大小为第二尺寸，进一步，根据第二尺寸，对第一图像下采样到第二尺寸得到第三图像。
步骤S80，将第一深度图像替换为第四深度图像，将第一图像替换为第三图像，得到更新后的当前图像。
在本发明实施例中，与上述步骤S30描述的操作方式相似，此处不再赘述。
步骤S90，N累加1并返回执行根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，得到第二像素值集的步骤，直到得到第三尺寸的第二深度图像。
具体地，在返回执行根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，得到第二像素值集的步骤之前，将数值N累加1(每返回执行一次，数值N均累加1)，数值N能够影响第二尺寸的大小，根据采样倍率和数值N可以得到一个第三尺寸的第二深度图像。
上述实施例中，根据采样倍率，对第二深度图像进行上采样，得到大小为第二尺寸的第四深度图像，以及将第一图像下采样到第二尺寸，得到第三图像，接着，将第一深度图像替换为第四深度图像，将第一图像替换为第三图像，得到更新后的当前图像，最后，将N累加1并返回执行根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，得到第二像素值集的步骤，直到得到第三尺寸的第二深度图像。能够逐级对深度图像和色彩图像进行采样和滤波，大大减少整个处理过程的运算量，节省运算资源，并最终消除滤波图像中存在的锯齿现象，使得深度图像主体边缘与色彩图像或灰度图像的主体边缘贴合得更好。
在其中一个实施例中，如图8所示，提供了一种深度图像滤波方法，包括以下步骤：
步骤S1000，获取当前图像的第一深度图像和第一图像。
其中，第一图像为RGB图像或灰度图像。
步骤S2000，将第一图像下采样到第一深度图像的第一尺寸，得到第二图像。
具体地，根据第一图像的尺寸和第一深度图像的第一尺寸，可以计算得到一个将第一图像下采样到第一深度图像的采样倍率，根据得到的采样倍率对第一图像进行采样，得到第二图像。
步骤S3000，根据第二图像对第一深度图像进行滤波，得到第二深度图像。
具体地，在尺寸大小与第一深度图像相同的第二图像的引导下，对第一深度图像进行滤波，可以得到第二深度图像。
步骤S4000，根据上采样倍率，对第二深度图像进行上采样，得到大小为第二尺寸的更新后的第一深度图像，以及对第一图像进行采样，得到大小为第二尺寸的更新后的第二图像。
其中，第二尺寸为第一尺寸、上采样倍率和数值N的乘积，数值N的初始值为1。
具体地，根据上采样倍率，对第二深度图像进行上采样，得到新的深度图像，并将新的深度图像作为更新后的第一图像，其中，新的深度图像的尺寸大小为第二尺寸，进一步，根据第二尺寸，对第一图像进行采样得到一个新的第二图像。
步骤S5000，N累加1并返回执行根据第二图像，对第一深度图像进行滤波，得到第二深度图像的步骤，直到得到第三尺寸的第二深度图像。
具体地，在返回执行根据第二图像，对第一深度图像进行滤波，得到第二深度图像的步骤之前，将数值N累加1(每返回执行一次，数值N均累加1)，数值N能够影响第二尺寸的大小，根据采样倍率和数值N可以得到一个第三尺寸的第二深度图像。
上述深度图像滤波方法，通过获取当前图像的第一深度图像和第一图像，其中，第一图像为RGB图像或灰度图像，接着，将第一图像下采样到第一深度图像的第一尺寸，得到第二图像，并根据第二图像对第一深度图像进行滤波，得到第二深度图像，进一步，根据上采样倍率，对第二深度图像进行上采样，得到大小为第二尺寸的更新后的第一深度图像，以及对第一图像进行采样，得到大小为第二尺寸的更新后的第二图像，其中，第二尺寸为第一尺寸、上采样倍率和数值N的乘积，数值N的初始值为1，最后，N累加1并返回执行根据第二图像，对第一深度图像进行滤波，得到第二深度图像的步骤，直到得到第三尺寸的第二深度图像。其中，由第一图像中的RGB图像的信息或者灰度图像的信息引导，对深度图像进行滤波，能够在很大程度上消除滤波图像中存在的锯齿现象，提高边缘准确性，使得深度图像主体边缘与色彩图像或灰度图像的主体边缘贴合得更好。
在其中一个实施例中，如图9所示，为步骤S3000的一种可实施方式的流程示意图，步骤S3000，根据第二图像对第一深度图像进行滤波，得到第二深度图像，包括：
步骤S3110，根据第一深度图像的边缘误差，得到第一滤波半径。
具体地，滤波窗口半径由深度图像的边缘误差确定，为了得到尽可能保留第一深度图像中原本正确的深度值，滤波窗口的半径可设置为边缘误差的最大值加1，并将边缘误差的最大值加1作为第一滤波半径。
步骤S3120，根据上采样倍率，得到第二滤波半径。
具体地，在金字塔上采样时，为了减少计算量，可大大减小引导滤波的半径。设金字塔上采样的倍率为a，则第二滤波半径(引导滤波的最小半径)可为r＝a/2+1。
步骤S3130，当数值N为1时，根据第二图像和第一滤波半径对第一深度图像进行滤波，得到第二深度图像。
具体地，当N＝1时，根据第二图像的引导，采用第一滤波半径对第一深度图像进行滤波以得到第二深度图像。
步骤S3140，当数值N大于1时，根据第二图像和第二滤波半径对第一深度图像进行滤波，得到第二深度图像。
具体地，当N>1时，根据第二图像的引导，采用第二滤波半径对第一深度图像进行滤波以得到第二深度图像。
上述实施例中，根据第一深度图像的边缘误差，得到第一滤波半径，根据上采样倍率，得到第二滤波半径，接着，当数值N为1时，根据第二图像和第一滤波半径对第一深度图像进行滤波，得到第二深度图像，当数值N大于1时，根据第二图像和第二滤波半径对第一深度图像进行滤波，得到第二深度图像。上述方法能够先在一个小尺寸上对图像进行滤波，接着逐步进行金字塔上采样以及滤波的过程，可以大大减少整个处理过程的运算量，节省运算资源。
在其中一个实施例中，如图10所示，为步骤S3000的一种可实施方式的流程示意图，步骤S3000，根据第二图像对第一深度图像进行滤波，得到第二深度图像，包括：
步骤S3210，获取当前图像的具有配准关系的第一深度图像的信息和第一图像的信息。
其中，第一深度图像的信息包括第一深度坐标值集和第一深度值集，第一图像的信息包括第一像素坐标值集和第一像素值集。
步骤S3220，根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，从第一像素值集中获得第二像素值集。
具体地，由目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值能够确定出一个需要的像素值集，根据这一像素值集与预设的条件之间的关系可以确定出第二像素值集。
步骤S3230，根据第二像素值集和配准关系，从第一深度值集中获得第二深度值集。
具体地，在步骤S3220中得到第二像素值集后，根据配准关系，可以从第一深度值集中得到第二深度值集。
步骤S3240，根据第二深度值集，对第一深度图像进行滤波，得到第二深度图像。
具体地，根据第二深度值集，对目标位置处的深度值进行滤波，并将深度图像中目标位置处的深度值替换为滤波后的深度值，即可得到滤波后的第一深度图像(第二深度图像)。
上述实施例中，通过获取当前图像的具有配准关系的第一深度图像的信息和第一图像的信息；其中，第一深度图像的信息包括第一深度坐标值集和第一深度值集，第一图像的信息包括第一像素坐标值集和第一像素值集，接着，根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，从第一像素值集中获得第二像素值集，进一步，根据第二像素值集和配准关系，从第一深度值集中获得第二深度值集，最后，根据第二深度值集，对第一深度图像进行滤波，得到第二深度图像。其中，第一图像的信息包括第一像素坐标值集和第一像素值集，第一像素坐标值集包括第一RGB坐标值集或第一灰度坐标值集，第一像素值集包括第一RGB值集或第一灰度值集，由第一图像中的RGB信息或者灰度信息引导，对深度图像进行滤波，能够在很大程度上消除滤波图像中存在的锯齿现象，提高边缘准确性，使得深度图像主体边缘与色彩图像或灰度图像的主体边缘贴合得更好。
在一个具体的实施例中，如图11所示，为一个具体的深度图像滤波方法的流程示意图，具体包括：
在步骤S1620得到深度图像(500*375)和步骤S1610得到RGB图像(4000*3000)后，由于深度图像(500*375)的尺寸小于RGB图像(4000*3000)的尺寸，首先执行步骤S1611，对大尺寸的RGB图像(4000*3000)进行下采样，得到RGB图像(500*375)；执行步骤S1630，根据上述实施例中的方式，对步骤S1620得到的深度图像(500*375)和步骤S1611得到的RGB图像(500*375)进行RGB图像引导的深度图像滤波，得到深度滤波图像(500*375)；执行步骤S1640，对步骤S1630中得到的深度滤波图像(500*375)进行上采样，得到深度图像(1000*a*375*a)，执行步骤S1612，对大尺寸的RGB图像(4000*3000)进行下采样，得到RGB图像(1000*a*750*a)，其中，a为采样倍率；执行步骤S1650，根据上述实施例中的方式，对步骤S1640得到的深度图像(1000*a*750*a)和步骤S1612得到的RGB图像(1000*a*750*a)进行RGB图像引导的深度图像滤波，得到深度滤波图像(1000*a*750*a)，其中，步骤S1630和步骤S1650相似，不同的是两个步骤中的图像尺寸不一致；执行步骤S1660，对步骤S1650中得到的深度图像(1000*a*750*a)进行采样，得到符合要求的预设尺寸的深度图像。
可选地，以一个具体的滤波过程为例，对上述采用RGB图像引导滤波进行说明，具体以下述两表为例：
表1
| 序号 | 坐标点 | 深度值 | RGB值 |
| 1 | (133，71) | 94 | (98，87，75) |
| 2 | (137，71) | 86 | (90，82，79) |
| 3 | (141，71) | 86 | (88，80，77) |
| 4 | (133，75) | 134 | (107.97，96) |
| 5 | (137，75)当前中心点 | 129 | (83，77，77) |
| 6 | (141，75) | 86 | (89，79.78) |
| 7 | (133，79) | 151 | (189，177，178) |
| 8 | (137，79) | 149 | (255，249，250) |
| 9 | (141，79) | 119 | (83，76，76) |
表2
| 序号 | 坐标点 | 深度值 | RGB值差 |
| 1 | (133，71)-(137，75) | 94 | (15，10，-2) |
| 2 | (137，71)-(137，75) | 86 | (7，5，2) |
| 3 | (141，71)-(137，75) | 86 | (5，3，0) |
| 4 | (133，75)-(137，75) | 134 | (24，20，19) |
| 5 | (137，75)当前中心点 | 129 | (0，0，0) |
| 6 | (141，75)-(137，75) | 86 | (6，2，1) |
| 7 | (133，79)-(137，75) | 151 | (106，100，100) |
| 8 | (137，79)-(137，75) | 149 | (162，172，172) |
| 9 | (141，79)-(137，75) | 119 | (0，-1，-1) |
以图像坐标中的当前中心点(137、75)为例来说明滤波过程，RGB图像中的点(137、75)本来应该属于背景区域，而在深度图像中，(137、75)这个点经过上采样后却成为前景了(假设在这个示例中，前景的灰度值较大，而背景的灰度值较小)。表1中，序号5表示当前滤波窗口的中心点，且中心点(137,75)的RGB值为(83，77，77)，计算其它点的RGB值与中心点RGB值的差异，得到的具体数据如表2所示，例如(133，71)这个点的RGB值与(137，75)这个点的RGB值的差为(98-83，87-77，75-77)，即(15，10，-2)，其它点类似，通过表2中的RGB象素差可知，序号1、2、3、6、9与序号5的RGB象素值较为接近，1、2、3、6、9号的深度值的平均值为(94+86+86+86+119)/5＝94.2，而(137，75)点原来的深度值为129，而(137，75)点附近其他的深度值是在90附近变化，因此我们认为94.2是一个比较正确的滤波结果，将94.2作为中心点滤波后的深度值。
最后，图12为一个具体的实施例深度图像滤波方法效果图，由图12可以看到具体的经过深度图像滤波方法处理前后图像的变化。如图12所示，(a)为当前图像，(b)为滤波前的深度图像，(c)为滤波后的深度图像，可以看到滤波后的深度图像能够在很大程度上消除了锯齿现象的发生，提高了边缘准确性。
在一个实施例中，如图13所示，提供了一种深度图像滤波装置，包括：图像信息获取模块131、第一确定模块132、第二确定模块133和滤波图像确定模块134，其中：
图像信息获取模块131，用于获取当前图像的第一深度图像的信息和第一图像的信息；
其中，第一深度图像的信息包括第一深度坐标值集和第一深度值集，第一图像的信息包括第一像素坐标值集和第一像素值集，第一深度坐标值集与第一深度值集之间存在第一对应关系，第一像素坐标值集与第一像素值集之间存在第二对应关系，第一深度坐标值集与第一像素坐标值集之间存在第三对应关系，第一像素坐标值集包括第一RGB坐标值集或第一灰度坐标值集，第一像素值集包括第一RGB值集或第一灰度值集；
第一确定模块132，用于根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，从第一像素值集中获得第二像素值集；
第二确定模块133，用于根据第二像素值集、第二对应关系、第三对应关系和第一对应关系，从第一深度值集中获得第二深度值集；
滤波图像确定模块134，用于根据第二深度值集，对第一深度图像进行滤波，得到第二深度图像。
在其中一个实施例中，还包括图像更新模块，用于将第一深度图像和/或第一图像采样到第一尺寸，得到第三深度图像和第二图像；将第一深度图像替换为第三深度图像，将第一图像替换为第二图像，得到更新后的当前图像。
在其中一个实施例中，第一确定模块132还用于计算目标位置处的像素值与目标位置预设邻域范围内的像素值之间的像素差值，得到第一像素差值集；从第一像素差值集中筛选出小于或等于第一预设阈值的像素差值，得到第二像素差值集；从第一像素值集中筛选出与第二像素差值集对应的像素值，得到第二像素值集。
在其中一个实施例中，第二确定模块133还用于根据第二像素值集和第二对应关系，得到第二像素坐标值集；根据第二像素坐标值集和第三对应关系，从第一深度坐标值集中获得第二深度坐标值集；根据第二深度坐标值集和第一对应关系，从第一深度值集中获得第二深度值集。
在其中一个实施例中，滤波图像确定模块134还用于根据第二深度值集，对目标位置处的深度值进行滤波，得到滤波后的深度值；根据滤波后的深度值和第一深度图像，得到第二深度图像。
在其中一个实施例中，滤波图像确定模块134还用于对第二深度值集中的深度值进行加权平均，得到加权平均深度值；根据加权平均深度值和目标位置处的深度值，得到滤波后的深度值。
在其中一个实施例中，滤波图像确定模块134还用于若加权平均深度值与目标位置处的深度值之间的差值大于第二预设阈值，则将加权平均深度值确定为滤波后的深度值；若加权平均深度值与目标位置处的深度值之间的差值小于或等于第二预设阈值，则将目标位置处的深度值确定为滤波后的深度值。
在其中一个实施例中，滤波图像确定模块134还用于将滤波后的深度值和第一深度图像对应的目标位置外的深度值集进行拼合，得到第二深度图像。
在其中一个实施例中，还包括返回执行模块，用于根据采样倍率，对第二深度图像进行上采样，得到大小为第二尺寸的第四深度图像，以及将第一图像下采样到第二尺寸，得到第三图像；其中，第二尺寸为第一尺寸、采样倍率和数值N的乘积，数值N的初始值为1；将第一深度图像替换为第四深度图像，将第一图像替换为第三图像，得到更新后的当前图像；N累加1并返回执行根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，得到第二像素值集的步骤，直到得到第三尺寸的第二深度图像。
在一个实施例中，如图14所示，提供了一种深度图像滤波装置，包括：图像信息获取模块141、第一图像获取模块142、第二图像获取模块143、采样更新模块144和第三图像获取模块145，其中：
图像信息获取模块141，用于获取当前图像的第一深度图像和第一图像；其中，第一图像为RGB图像或灰度图像；
第一图像获取模块142，用于将第一图像下采样到第一深度图像的第一尺寸，得到第二图像；
第二图像获取模块143，用于根据第二图像对第一深度图像进行滤波，得到第二深度图像；
采样更新模块144，用于根据上采样倍率，对第二深度图像进行上采样，得到大小为第二尺寸的更新后的第一深度图像，以及对第一图像进行采样，得到大小为第二尺寸的更新后的第二图像；其中，第二尺寸为第一尺寸、上采样倍率和数值N的乘积，数值N的初始值为1；
第三图像获取模块145，用于将N累加1并返回执行根据第二图像，对第一深度图像进行滤波，得到第二深度图像的步骤，直到得到第三尺寸的第二深度图像。
在其中一个实施例中，第二图像获取模块143还用于根据第一深度图像的边缘误差，得到第一滤波半径；根据上采样倍率，得到第二滤波半径；当数值N为1时，根据第二图像和第一滤波半径对第一深度图像进行滤波，得到第二深度图像；当数值N大于1时，根据第二图像和第二滤波半径对第一深度图像进行滤波，得到第二深度图像。
在其中一个实施例中，第二图像获取模块143还用于获取当前图像的具有配准关系的第一深度图像的信息和第一图像的信息；其中，第一深度图像的信息包括第一深度坐标值集和第一深度值集，第一图像的信息包括第一像素坐标值集和第一像素值集；根据第一图像中的目标位置处的像素值与目标位置预设邻域范围内的像素值之间的差值，从第一像素值集中获得第二像素值集；根据第二像素值集和配准关系，从第一深度值集中获得第二深度值集；根据第二深度值集，对第一深度图像进行滤波，得到第二深度图像。
关于深度图像滤波装置的具体限定可以参见上文中对于深度图像滤波方法的限定，在此不再赘述。上述深度图像滤波装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种深度图像滤波方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意一个实施例中的方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (16)
1.一种深度图像滤波方法，其特征在于，所述方法包括：
获取当前图像的第一深度图像的信息和第一图像的信息；
其中，所述第一深度图像的信息包括第一深度坐标值集和第一深度值集，所述第一图像的信息包括第一像素坐标值集和第一像素值集，所述第一深度坐标值集与所述第一深度值集之间存在第一对应关系，所述第一像素坐标值集与所述第一像素值集之间存在第二对应关系，所述第一深度坐标值集与所述第一像素坐标值集之间存在第三对应关系，所述第一像素坐标值集包括第一RGB坐标值集或第一灰度坐标值集，所述第一像素值集包括第一RGB值集或第一灰度值集；
根据所述第一图像中的目标位置处的像素值与所述目标位置预设邻域范围内的像素值之间的差值，从所述第一像素值集中获得第二像素值集；
根据所述第二像素值集、所述第二对应关系、所述第三对应关系和所述第一对应关系，从所述第一深度值集中获得第二深度值集；
根据所述第二深度值集，对所述第一深度图像进行滤波，得到第二深度图像。
2.根据权利要求1所述的方法，其特征在于，所述获取当前图像的第一深度图像的信息和第一图像的信息之后，所述根据所述第一图像中的目标位置处的像素值与所述目标位置预设邻域范围内的像素值之间的差值，从所述第一像素值集中获得第二像素值集之前，还包括：
将所述第一深度图像和/或所述第一图像采样到第一尺寸，得到第三深度图像和第二图像；
将所述第一深度图像替换为所述第三深度图像，将所述第一图像替换为所述第二图像，得到更新后的当前图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像中的目标位置处的像素值与所述目标位置预设邻域范围内的像素值之间的差值，从所述第一像素值集中获得第二像素值集，包括：
计算所述目标位置处的像素值与所述目标位置预设邻域范围内的像素值之间的像素差值，得到第一像素差值集；
从所述第一像素差值集中筛选出小于或等于第一预设阈值的像素差值，得到第二像素差值集；
从所述第一像素值集中筛选出与所述第二像素差值集对应的像素值，得到所述第二像素值集。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第二像素值集、所述第二对应关系、所述第三对应关系和所述第一对应关系，从所述第一深度值集中获得第二深度值集，包括：
根据所述第二像素值集和所述第二对应关系，得到第二像素坐标值集；
根据所述第二像素坐标值集和所述第三对应关系，从所述第一深度坐标值集中获得第二深度坐标值集；
根据所述第二深度坐标值集和所述第一对应关系，从所述第一深度值集中获得所述第二深度值集。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第二深度值集，对所述第一深度图像进行滤波，得到第二深度图像，包括：
根据所述第二深度值集，对所述目标位置处的深度值进行滤波，得到滤波后的深度值；
根据所述滤波后的深度值和所述第一深度图像，得到所述第二深度图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第二深度值集，对所述目标位置处的深度值进行滤波，得到滤波后的深度值，包括：
对所述第二深度值集中的深度值进行加权平均，得到加权平均深度值；
根据所述加权平均深度值和所述目标位置处的深度值，得到所述滤波后的深度值。
7.根据权利要求6所述的方法，其特征在于，所述根据所述加权平均深度值和所述目标位置处的深度值，得到所述滤波后的深度值，包括：
若所述加权平均深度值与所述目标位置处的深度值之间的差值大于第二预设阈值，则将所述加权平均深度值确定为所述滤波后的深度值；
若所述加权平均深度值与所述目标位置处的深度值之间的差值小于或等于所述第二预设阈值，则将所述目标位置处的深度值确定为所述滤波后的深度值。
8.根据权利要求5所述的方法，其特征在于，所述根据所述滤波后的深度值和所述第一深度图像，得到所述第二深度图像，包括：
将所述滤波后的深度值和所述第一深度图像对应的目标位置外的深度值集进行拼合，得到所述第二深度图像。
9.根据权利要求2所述的方法，其特征在于，所述根据所述第二深度值集，对所述第一深度图像进行滤波，得到第二深度图像，之后还包括：
根据采样倍率，对所述第二深度图像进行上采样，得到大小为第二尺寸的第四深度图像，以及将所述第一图像下采样到第二尺寸，得到第三图像；其中，所述第二尺寸为所述第一尺寸、所述采样倍率和数值N的乘积，所述数值N的初始值为1；
将所述第一深度图像替换为所述第四深度图像，将所述第一图像替换为所述第三图像，得到更新后的当前图像；
N累加1并返回执行所述根据所述第一图像中的目标位置处的像素值与所述目标位置预设邻域范围内的像素值之间的差值，得到第二像素值集的步骤，直到得到第三尺寸的第二深度图像。
10.一种深度图像滤波方法，其特征在于，所述方法包括：
获取当前图像的第一深度图像和第一图像；其中，所述第一图像为RGB图像或灰度图像；
将所述第一图像下采样到所述第一深度图像的第一尺寸，得到第二图像；
根据所述第二图像对所述第一深度图像进行滤波，得到第二深度图像；
根据上采样倍率，对所述第二深度图像进行上采样，得到大小为第二尺寸的更新后的第一深度图像，以及对所述第一图像进行采样，得到大小为第二尺寸的更新后的第二图像；其中，所述第二尺寸为所述第一尺寸、所述上采样倍率和数值N的乘积，所述数值N的初始值为1；
N累加1并返回执行根据所述第二图像，对所述第一深度图像进行滤波，得到第二深度图像的步骤，直到得到第三尺寸的第二深度图像。
11.根据权利要求10所述的方法，其特征在于，所述根据所述第二图像对所述第一深度图像进行滤波，得到第二深度图像，包括：
根据所述第一深度图像的边缘误差，得到第一滤波半径；
根据所述上采样倍率，得到第二滤波半径；
当所述数值N为1时，根据所述第二图像和所述第一滤波半径对所述第一深度图像进行滤波，得到所述第二深度图像；
当所述数值N大于1时，根据所述第二图像和所述第二滤波半径对所述第一深度图像进行滤波，得到所述第二深度图像。
12.根据权利要求10所述的方法，其特征在于，所述根据述第二图像对所述第一深度图像进行滤波，包括：
获取当前图像的具有配准关系的第一深度图像的信息和第一图像的信息；其中，所述第一深度图像的信息包括第一深度坐标值集和第一深度值集，所述第一图像的信息包括第一像素坐标值集和第一像素值集；
根据所述第一图像中的目标位置处的像素值与所述目标位置预设邻域范围内的像素值之间的差值，从所述第一像素值集中获得第二像素值集；
根据所述第二像素值集和所述配准关系，从所述第一深度值集中获得第二深度值集；
根据所述第二深度值集，对所述第一深度图像进行滤波，得到所述第二深度图像。
13.一种深度图像滤波装置，其特征在于，所述装置包括：
图像信息获取模块，用于获取当前图像的第一深度图像的信息和第一图像的信息；
其中，所述第一深度图像的信息包括第一深度坐标值集和第一深度值集，所述第一图像的信息包括第一像素坐标值集和第一像素值集，所述第一深度坐标值集与所述第一深度值集之间存在第一对应关系，所述第一像素坐标值集与所述第一像素值集之间存在第二对应关系，所述第一深度坐标值集与所述第一像素坐标值集之间存在第三对应关系，所述第一像素坐标值集包括第一RGB坐标值集或第一灰度坐标值集，所述第一像素值集包括第一RGB值集或第一灰度值集；
第一确定模块，用于根据所述第一图像中的目标位置处的像素值与所述目标位置预设邻域范围内的像素值之间的差值，从所述第一像素值集中获得第二像素值集；
第二确定模块，用于根据所述第二像素值集、所述第二对应关系、所述第三对应关系和所述第一对应关系，从所述第一深度值集中获得第二深度值集；
滤波图像确定模块，用于根据所述第二深度值集，对所述第一深度图像进行滤波，得到第二深度图像。
14.一种深度图像滤波装置，其特征在于，所述装置包括：
图像信息获取模块，用于获取当前图像的第一深度图像和第一图像；其中，所述第一图像为RGB图像或灰度图像；
第一图像获取模块，用于将所述第一图像下采样到所述第一深度图像的第一尺寸，得到第二图像；
第二图像获取模块，用于根据所述第二图像对所述第一深度图像进行滤波，得到第二深度图像；
采样更新模块，用于根据上采样倍率，对所述第二深度图像进行上采样，得到大小为第二尺寸的更新后的第一深度图像，以及对所述第一图像进行采样，得到大小为第二尺寸的更新后的第二图像；其中，所述第二尺寸为所述第一尺寸、所述上采样倍率和数值N的乘积，所述数值N的初始值为1；
第三图像获取模块，用于将N累加1并返回执行根据所述第二图像，对所述第一深度图像进行滤波，得到第二深度图像的步骤，直到得到第三尺寸的第二深度图像。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910740269.6A CN110544224B (zh) | 2019-08-12 | 2019-08-12 | 深度图像滤波方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910740269.6A CN110544224B (zh) | 2019-08-12 | 2019-08-12 | 深度图像滤波方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110544224A true CN110544224A (zh) | 2019-12-06 |
| CN110544224B CN110544224B (zh) | 2022-07-26 |
Family
ID=68710562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910740269.6A Active CN110544224B (zh) | 2019-08-12 | 2019-08-12 | 深度图像滤波方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110544224B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907480A (zh) * | 2021-03-11 | 2021-06-04 | 北京格灵深瞳信息技术股份有限公司 | 点云表面波纹去除方法、装置、终端及存储介质 |
| CN113313658A (zh) * | 2021-07-29 | 2021-08-27 | 南昌虚拟现实研究院股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150071526A1 (en) * | 2012-05-17 | 2015-03-12 | The Regents Of The University Of California | Sampling-based multi-lateral filter method for depth map enhancement and codec |
| CN108399610A (zh) * | 2018-03-20 | 2018-08-14 | 上海应用技术大学 | 一种融合rgb图像信息的深度图像增强方法 |
| CN108550167A (zh) * | 2018-04-18 | 2018-09-18 | 北京航空航天大学青岛研究院 | 深度图像生成方法、装置及电子设备 |
-
2019
- 2019-08-12 CN CN201910740269.6A patent/CN110544224B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150071526A1 (en) * | 2012-05-17 | 2015-03-12 | The Regents Of The University Of California | Sampling-based multi-lateral filter method for depth map enhancement and codec |
| CN108399610A (zh) * | 2018-03-20 | 2018-08-14 | 上海应用技术大学 | 一种融合rgb图像信息的深度图像增强方法 |
| CN108550167A (zh) * | 2018-04-18 | 2018-09-18 | 北京航空航天大学青岛研究院 | 深度图像生成方法、装置及电子设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907480A (zh) * | 2021-03-11 | 2021-06-04 | 北京格灵深瞳信息技术股份有限公司 | 点云表面波纹去除方法、装置、终端及存储介质 |
| CN113313658A (zh) * | 2021-07-29 | 2021-08-27 | 南昌虚拟现实研究院股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113313658B (zh) * | 2021-07-29 | 2021-11-30 | 南昌虚拟现实研究院股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110544224B (zh) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110544224B (zh) | 深度图像滤波方法、装置、计算机设备和存储介质 | |
| CN110717878B (zh) | 图像融合方法、装置、计算机设备和存储介质 | |
| US20230086961A1 (en) | Parallax image processing method, apparatus, computer device and storage medium | |
| CN107358588B (zh) | 相位去卷褶方法、磁共振成像扫描方法及磁共振成像设备 | |
| CN113850807B (zh) | 图像亚像素匹配定位方法、系统、设备及介质 | |
| US20180068473A1 (en) | Image fusion techniques | |
| US20220270204A1 (en) | Image registration method, terminal, and computer storage medium | |
| CN113920022A (zh) | 一种图像优化方法、装置、终端设备及可读存储介质 | |
| CN107424583B (zh) | 异形图像的显示数据处理方法和系统 | |
| CN112184609B (zh) | 图像融合方法及装置、存储介质、终端 | |
| US20120038785A1 (en) | Method for producing high resolution image | |
| JP5563545B2 (ja) | 情報処理装置及び方法 | |
| CN112967331B (zh) | 一种图像处理的方法、电子设备及存储介质 | |
| CN114283095B (zh) | 一种图像畸变校正方法、系统、电子设备及存储介质 | |
| CN110910436B (zh) | 基于图像信息增强技术的测距方法、装置、设备和介质 | |
| CN113160297A (zh) | 图像深度估计方法和装置、电子设备、计算机可读存储介质 | |
| CN109816613B (zh) | 图像补全方法及装置 | |
| CN110599531B (zh) | 重复纹理特征描述方法和装置、双目立体匹配方法和装置 | |
| CN110838138A (zh) | 重复纹理检测方法、装置、计算机设备和存储介质 | |
| CN111414909A (zh) | 一种目标检测方法和装置 | |
| CN111986144A (zh) | 一种图像模糊判断方法、装置、终端设备及介质 | |
| CN114464127A (zh) | 显示面板Mura补偿方法、系统、电子装置及存储介质 | |
| CN115334245A (zh) | 一种图像矫正方法、装置、电子设备及存储介质 | |
| CN117237177B (zh) | 一种水印处理方法、装置及电子设备 | |
| CN110660011B (zh) | 图像处理方法和装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |