CN113643437A - 一种矫正深度图像突起干扰噪声的方法和装置 - Google Patents

Abstract

本申请涉及一种矫正深度图像突起干扰噪声的方法和装置，该方法根据深度图像中干扰噪声的走向趋势，确定干扰噪声的去除方向，再确定去除区间，在去除区间内确定去除基准点和待去除突起点，再根据去除阈值和去除基准点去除待去除突起点，生成待填充图像，对待填充图像进行缺失像素点填充，生成填充图像，对填充图像进行像素点采样，生成缩小的采样图像，再对采样图像进行滤波处理，获得平滑采样图像，最后，对平滑采样图像进行扩大并输出，生成和原深度图像尺寸相同的矫正深度图像。通过以上步骤，可以有效的矫正深度图像中的各种干扰噪声，获得处理效果较佳的平滑图像。

Description

一种矫正深度图像突起干扰噪声的方法和装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种矫正深度图像突起干扰噪声的方法和装置。

背景技术

随着3D视觉图像的快速发展，深度图像或者三维点云数据的应用领域越来越广泛，由于成像设备以及成像环境的影响，无论是获得的深度图像，还是三维点云数据，都无法避免的存在干扰噪声，这些干扰噪声的存在，使深度图像或者三维点云数据在图像识别、测量、检测等领域应用时，在对原始的深度图像或者三维点云数据进行后续处理和利用时会对最终需要的结果带来极大的影响。

为了减少或者避免干扰噪声对深度图像质量的影响，于是出现了深度图像预处理的两种处理方法，一是去除噪声，二是矫正噪声。去除噪声是将干扰噪声过滤掉，即在对深度图像进行去除噪声时，是将确定为噪声的区域变为缺失像素，使确定为噪声的区域成为无效像素，而无效像素不会参与图像的计算，也就是进行过去除噪声的噪声区域将缺失高度信息，使处理后的深度图像的信息不准确，去除噪声所采用的干扰噪声过滤方法有高度值滤波方法等。矫正噪声则是将干扰噪声变为有效像素，这些矫正后的噪声参与图像的计算，矫正噪声常见的方法有均值滤波、高斯滤波等。

深度图像中的突起干扰噪声经常是以多种噪声组合的形式出现，包括随机噪声、离群噪声、毛刺噪声等，突起干扰的噪声包括凸起和凹陷的噪声，这类噪声可能会以任何形式出现在平滑面、弯曲曲面以及不规则的目标物体上，现有的深度图像预处理方法对这类噪声进行处理后去除效果不佳，存在一些问题，例如，对多种噪声进行处理时，不能完整的去除所有的噪声，或者只能矫正其中的一小部分噪声，或者会将正常的数据去除，或者将噪声矫正为其他不正常的数据，导致采用现有方法对深度图像进行检测时的难度增加。

发明内容

本申请提供了一种矫正深度图像突起干扰噪声的方法和装置，以解决上述传统的深度图像预处理方法在进行深度图像处理时对噪声处理效果不佳的问题。

一方面，本申请解决上述技术问题所采取的技术方案如下：

一种矫正深度图像突起干扰噪声的方法，所述方法包括以下步骤：

获取深度图像中的待去除突起点，所述待去除突起点包括所述深度图像中的突起干扰噪声；

获取待填充图像，所述待填充图像由所述深度图像去除所述待去除突起点，形成缺失像素点而得；

获取填充图像，所述填充图像由所述待填充图像中的缺失像素点进行像素填充而得；

生成采样图像，所述采样图像由所述填充图像中的像素点进行采样而得；

生成平滑采样图像，所述平滑采样图像由所述采样图像经过噪声滤波处理而得；

生成矫正深度图像，所述矫正图像由所述平滑采样图像经过扩大至与所述深度图像尺寸大小一致而得。

进一步的，所述的获取深度图像中的待去除突起点包括以下步骤：

确定突起干扰噪声的去除方向，所述去除方向为所述突起干扰噪声的分布方向；

根据去除大小和所述去除方向，确定所述突起干扰噪声的去除区间。

更进一步的，所述的根据去除大小和所述去除方向，确定所述突起干扰噪声的去除区间包括以下步骤：

根据所述去除方向，确定所述深度图像的谷点或峰点；

将两个谷点或两个峰点之间的像素数量与所述去除大小进行比较；

若所述的两个谷点或两个峰点之间的像素数量大于或等于所述去除大小，则确定所述两个谷点或两个峰点之间的区域为去除区间。

进一步的，所述的获取待填充图像包括以下步骤：

在所述去除区间内，根据所述去除大小确定去除基准点和待去除突起点；

判断所述待去除突起点与所述去除基准点之间的高度差；

若所述待去除突起点与所述去除基准点之间的高度差大于去除阈值，则去除所述深度图像中所述待去除突起点，所述深度图像中形成缺失像素点，得到待填充图像。

进一步的，所述的由所述待填充图像中的缺失像素点进行像素填充包括邻域填充，所述邻域填充包括以下步骤：

获取所述缺失像素点周围的有效像素点的像素值；

获取缺失像素填充值，所述缺失像素填充值由所述有效像素点的像素值通过计算而得；

将所述缺失像素填充值填充到对应的所述缺失像素点的位置。

进一步的，所述的由所述待填充图像中的缺失像素点进行像素填充还包括全局填充，所述全局填充包括以下步骤：

获取所述待填充图像的所有像素点的像素值；

获取缺失像素填充值，所述缺失像素填充值由所述待填充图像的所有像素点的像素值通过计算而得；

将所述缺失像素填充值填充到所述缺失像素点的位置。

进一步的，所述的由所述填充图像中的像素点进行采样包括以下步骤：

将所述去除方向设定为采样方向；

根据采样步长，沿所述采样方向，每间隔所述采样步长，获取所述采样步长内的一个采样像素点，由所述采样像素点生成所述采样图像。

进一步的，所述的由所述平滑采样图像经过扩大至与所述深度图像尺寸大小一致包括以下步骤：

根据所述去除方向，获取所述采样像素点的邻域像素点的像素值；

获取扩大填充值，所述扩大填充值由所述邻域像素点的像素值通过计算而得，；

根据所述扩大填充值对所述采样平滑图像进行扩大填充，生成与所述深度图像大小一致的矫正深度图像。

进一步的，所述的滤波处理包括均值滤波、中值滤波、高斯滤波、高斯双边滤波中的一种。

另一方面，本申请为解决上述技术问题，提供的一种装置如下：

一种矫正深度图像突起干扰噪声的装置，所述装置包括：

待去除突起点获取单元，用于获取所述深度图像中的待去除突起点；

待填充图像获取单元，用于去除所述待去除突起点，并生成待填充图像；

填充图像获取单元，用于对所述待填充图像中的缺失像素点进行像素填充，并生成填充图像；

采样图像生成单元，用于对所述填充图像进行像素点采样，并生成采样图像；

平滑采样图像生成单元，用于对所述采样图像的噪声进行滤波处理，并生成平滑采样图像；

矫正深度图像生成单元，用于对所述平滑采样图像进行扩大，并生成与所述深度图像尺寸大小一致的矫正深度图像。

本申请提供的技术方案包括以下有益技术效果：

本申请提供的矫正深度图像突起干扰噪声的方法和装置，该方法根据深度图像中干扰噪声的走向趋势，确定干扰噪声的去除方向，再确定去除区间，在去除区间内根据去除大小确定去除基准点和待去除突起点，计算待去除突起点和去除基准点之间的高度差，若两者之间的高度差大于去除阈值，则去除待去除突起点，生成待填充图像，对待填充图像进行缺失像素点填充，生成填充图像，对填充图像进行像素点采样，生成缩小的采样图像，再对采样图像进行滤波处理，获得平滑采样图像，最后，对平滑采样图像进行扩大并输出，生成和原深度图像尺寸相同的矫正深度图像。该方法对具有不同种类的突起干扰噪声的深度图像，根据其突起干扰噪声的分布方向，确定去除方向，设置不同的去除大小和去除阈值将深度图像中的各种类型的突起干扰噪声去除，再对去除噪声后的缺失像素进行填充，对填充后的图像再进行采样和滤波，然后将滤波后的图像扩大生成和原深度图像尺寸大小一致的矫正图像，通过以上步骤，能保证有效的数据点不被去除，并且可以同时去除多种类型的干扰噪声，进而可以有效的矫正深度图像中的各种干扰噪声，获得处理效果较佳的平滑图像。

附图说明

图1为本申请实施例提供的一种矫正深度图像突起干扰噪声的方法流程图；

图2为本申请实施例提供的一种矫正深度图像突起干扰噪声的方法具体实施方式流程图。

具体实施方式

为便于对申请的技术方案进行描述和理解，以下首先对本申请所涉及到的一些概念进行说明。

深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。

对深度图像进行处理、获取深度图像中的信息时，为了获得准确性和可靠性较高的处理结果或信息，通常需要对深度图像先进行预处理。

本申请实施例提供了一种矫正深度图像突起干扰噪声的方法，该方法的流程图如图1所示，该方法的主要原理过程为：

输入深度图像，对深度图像的像素点进行遍历，根据深度图像的突起干扰噪声点的走向趋势设定去除方向，根据去除方向，确定待去除突起点的去除区间，在待去除突起点的去除区间中，根据去除大小确定用于确定待去除突起点的去除基准点，并设置去除阈值，判断待去除突起点与去除基准点之间的高度差是否大于去除阈值，若大于，则将其去除，然后根据深度图像的全局或邻域数据信息对去除的待去除突起点进行填充，再对填充后的深度图像进行采样缩小处理，对缩小后的深度图像进行滤波处理，目的是去除干扰噪声，最后根据线性或非线性原理将去除噪声之后的图像扩大生成矫正深度图像并输出，这样就可以去除输入的深度图像中的突起干扰点，得到比输入的深度图像更平滑的矫正深度图像。

本申请实施例提供的矫正深度图像突起干扰噪声的方法，该方法的具体实施方式如图2所述，具体包括以下步骤：

输入深度图像，对深度图像的像素点进行遍历，根据深度图像的突起干扰噪声点的走向趋势设定去除方向，具体为：确定深度图像中的突起干扰噪声点的分布方向，分布方向包括X坐标方向、Y坐标方向、X坐标方向和Y坐标方向之间的任意坐标方向，如果突起干扰噪声点的分布方向为X坐标方向，则将去除方向设置为Y坐标方向，如果突起干扰噪声点的分布方向为Y坐标方向，则将去除方向设置为X坐标方向，如果突起干扰噪声点分布在X坐标方向和Y坐标方向之间的任意坐标方向，则可以将X坐标方向、Y坐标方向或X坐标方向和Y坐标方向之间的任意坐标方向设置为去除方向。

确定了突起干扰噪声点的去除方向后，再沿去除方向，根据预设的去除大小，确定突起干扰噪声点的去除区间，具体为：

沿去除区间，确定深度图像的谷点和峰点，根据预设的去除大小进行判断，去除大小为去除突起像素点的个数的数量，若两个谷点或者两个峰点之间的像素点的数量大于或等于去除大小，则将这两个谷点或者两个峰点之间的区域设置为去除区间，去除大小设置的越大，则去除区间的谷点之间或者峰点之间还会包括谷点或者峰点。

确定了去除区间，需要在去除区间内确定去取基准点和待去除突起点，具体确定方法为：

根据去除区间内的谷点之间或者峰点之间的所有像素点的像素值，将谷点之间或者峰点之间的像素点根据像素值的大小，按照从大到小的顺序，将像素点进行排序，以像素值最大的像素点为第一个点，将前去除大小个像素点确定为待去除突起点，与确定的待去除突起点中像素值最小的像素点相邻的像素点，且像素值小于待去除突起点中像素值最小的像素点的像素点确定为去除基准点，如去除大小设定为100，则将按照从大到小排列的前100个像素点确定为待去除突起点，第101个像素点则确定为去除基准点。

确定了去除基准点和待去除突起点后，根据预设的去除阈值去除突起点，具体为：

确定待去除突起点与去除基准点的距离，即，确定两者的高度差值，判断待去除突起点与去除基准点的高度差值与去除阈值之间的关系，去除阈值即为预设的一个高度差值，若待去除突起点与去除基准点的高度差值大于去除阈值，则将该待去除突起点去除，在深度图像中形成缺失像素点，根据以上方法，去除完符合预设条件的深度图像中的所有突起干扰噪声点后，得到形成若干缺失像素点的待填充图像。

下一步为对待填充图像中的缺失像素点进行像素填充，具体为：

根据预设的填充方法对缺失像素点进行像素填充，填充方法包括全局填充和邻域填充，全局填充是获取待填充图像中所有像素点的像素值，再根据所有像素点的像素值计算并确定缺失像素填充值，全局填充的缺失像素填充值可以取所有像素点的像素值的均值、中值、最大值或最小值，也可以是预先设定好的填充值，全局填充还可以通过随机采样的方式在待填充图像中随机选择若干像素点，同样的，缺失像素填充值可以取随机选择的若干像素点的像素值的均值、中值、最大值或最小值；

邻域填充是获取缺失像素点左右两边的有效像素点的像素值，若缺失像素点是连续的缺失像素点，则取连续的缺失像素点的区域左右两边的有效像素点的像素值，再根据缺失像素点左右两边的有效像素点的像素值计算并确定缺失像素填充值，邻域填充的缺失像素填充值可以取缺失像素点左右两边的有效像素点的像素值的较大值或较小值，也可以对这两个有效像素点的像素值通过线性或非线性的计算方式进行计算，从而得到邻域填充的缺失像素填充值，其中，非线性的计算方式包括根据扩散原理计算得到的缺失像素填充值，通过全局填充或邻域填充之后得到了缺失像素填充值，将确定的缺失像素填充值填充到待填充图像去除待去除突起点后形成的缺失像素点的位置，对待填充图像进行缺失像素填充，还包括对待填充图像自身存在的缺失像素点进行像素填充，通过缺失像素点的填充就可生成填充图像。

获取了填充图像后，需要对填充图像进行采样，具体为：

根据预设的采样方法对填充图像进行采样，采样方法包括全图采样和区域采样，全图采样是对填充图像沿垂直于去除方向的方向，根据预设的采样步长，在每个采样步长范围内，选择一个采样像素点，如，设置采样步长为4，则对填充图像每间隔4个像素点选取一个采样像素点，由所有的采样像素点生成采样图像，那么，填充图像的尺寸大小被缩小为原来的四分之一；

区域采样是对填充图像沿垂直于去除方向的方向，在填充图像中设定采样区域，根据预设的采样步长，在采样区域中每间隔一个采样步长选择一个采样像素点，由选择的采样像素点生成区域采样图像。

获得采样图像或区域采样图像后，需要对其进行噪声滤波处理，具体为：

对全图采样生成的采样图像或区域采样生成的区域采样图像，通过均值滤波、中值滤波、高斯滤波、高斯双边滤波等滤波方法，根据实际需求选择相应的滤波方法，对其噪声进行滤波，从而生成平滑采样图像，或区域平滑采样图像。

获得平滑采样图像或区域平滑采样图像后，需要对平滑采样图像或区域平滑采样图像进行扩大，具体为：

对全图采样生成的平滑采样图像，根据采样点在采样图像中的邻域像素点的像素值，通过计算得到扩大填充值，扩大填充值包括邻域像素点的像素值中的最大值、最小值、均值，或者对邻域像素点的像素值通过线性计算方法或非线性计算方法计算得到的像素值，由得到的扩大填充值，对平滑采样图像根据得到的扩大填充值进行扩大，生成和原来的深度图像尺寸大小一致的矫正深度图像；对区域采样生成的区域平滑采样图像，根据采样点在采样图像中的采样区域的邻域像素点的像素值，通过计算得到区域扩大填充值，区域扩大填充值包括采样区域的邻域像素点的像素值中的最大值、最小值、均值，或者对邻域像素点的像素值通过线性计算方法或非线性计算方法计算得到的像素值，由得到的区域扩大填充值，对区域平滑采样图像根据得到的区域扩大填充值进行扩大，得到和填充图像中的采样区域的尺寸大小一致的扩大区域平滑采样图像，再将得到的扩大区域平滑采样图像填充到填充图像对应的采样区域中，从而生成和原来的深度图像尺寸大小一致的矫正深度图像。

与前述矫正深度图像突起干扰噪声的方法的实施例相对应，本申请还提供了一种矫正深度图像突起干扰噪声的装置的实施例。该装置包括：

待去除突起点获取单元，用于获取深度图像中的待去除突起点；

待填充图像获取单元，用于去除待去除突起点，并生成待填充图像；

填充图像获取单元，用于对待填充图像中的缺失像素点进行像素填充，并生成填充图像；

采样图像生成单元，用于对填充图像进行像素点采样，并生成采样图像；

平滑采样图像生成单元，用于对采样图像的噪声进行滤波处理，并生成平滑采样图像；

矫正深度图像生成单元，用于对平滑采样图像进行扩大，并生成与所述深度图像尺寸大小一致的矫正深度图像。

本申请实施例提供的一种矫正深度图像突起干扰噪声的方法和装置，该方法根据深度图像中的干扰噪声的分布方向，确定干扰噪声的去除方向，沿去除方向，根据去除大小，确定干扰噪声的去除区间，在去除区间内，根据去除大小，确定去除基准点和待去除突起点，再根据去除阈值，以去除基准点为基点，去除符合去除阈值的待去除突起点，生成待填充图像，对待填充图像根据邻域像素点进行填充，生成填充图像，再对填充图像进行采样，生成采样图像，对采样图像再进行滤波，生成平滑采样图像，最后根据平滑采样图像，扩大生成矫正深度图像，通过以上步骤的处理，就可以矫正深度图像中的各类突起干扰像素，获得矫正深度图像，为深度图像的后续处理增加了准确性和可靠性。

Claims (10)

1.一种矫正深度图像突起干扰噪声的方法，其特征在于，所述方法包括以下步骤：

获取深度图像中的待去除突起点，所述待去除突起点包括所述深度图像中的突起干扰噪声；

获取待填充图像，所述待填充图像由所述深度图像去除所述待去除突起点，形成缺失像素点而得；

获取填充图像，所述填充图像由所述待填充图像中的缺失像素点进行像素填充而得；

生成采样图像，所述采样图像由所述填充图像中的像素点进行采样而得；

生成平滑采样图像，所述平滑采样图像由所述采样图像经过噪声滤波处理而得；

生成矫正深度图像，所述矫正图像由所述平滑采样图像经过扩大至与所述深度图像尺寸大小一致而得。

2.根据权利要求1所述的矫正深度图像突起干扰噪声的方法，其特征在于，所述的获取深度图像中的待去除突起点包括以下步骤：

确定突起干扰噪声的去除方向，所述去除方向为所述突起干扰噪声的分布方向；

根据去除大小和所述去除方向，确定所述突起干扰噪声的去除区间。

3.根据权利要求2所述的矫正深度图像突起干扰噪声的方法，其特征在于，所述的根据去除大小和所述去除方向，确定所述突起干扰噪声的去除区间包括以下步骤：

根据所述去除方向，确定所述深度图像的谷点或峰点；

将两个谷点或两个峰点之间的像素数量与所述去除大小进行比较；

若所述的两个谷点或两个峰点之间的像素数量大于或等于所述去除大小，则确定所述两个谷点或两个峰点之间的区域为去除区间。

4.根据权利要求3所述的矫正深度图像突起干扰噪声的方法，其特征在于，所述的获取待填充图像包括以下步骤：

在所述去除区间内，根据所述去除大小确定去除基准点和待去除突起点；

判断所述待去除突起点与所述去除基准点之间的高度差；

若所述待去除突起点与所述去除基准点之间的高度差大于去除阈值，则去除所述深度图像中所述待去除突起点，所述深度图像中形成缺失像素点，得到待填充图像。

5.根据权利要求4所述的矫正深度图像突起干扰噪声的方法，其特征在于，所述的由所述待填充图像中的缺失像素点进行像素填充包括邻域填充，所述邻域填充包括以下步骤：

获取所述缺失像素点周围的有效像素点的像素值；

获取缺失像素填充值，所述缺失像素填充值由所述有效像素点的像素值通过计算而得；

将所述缺失像素填充值填充到对应的所述缺失像素点的位置。

6.根据权利要求4所述的矫正深度图像突起干扰噪声的方法，其特征在于，所述的由所述待填充图像中的缺失像素点进行像素填充还包括全局填充，所述全局填充包括以下步骤：

获取所述待填充图像的所有像素点的像素值；

获取缺失像素填充值，所述缺失像素填充值由所述待填充图像的所有像素点的像素值通过计算而得；

将所述缺失像素填充值填充到所述缺失像素点的位置。

7.根据权利要求5或6所述的矫正深度图像突起干扰噪声的方法，其特征在于，所述的由所述填充图像中的像素点进行采样包括以下步骤：

将所述去除方向设定为采样方向；

根据采样步长，沿所述采样方向，每间隔所述采样步长，获取所述采样步长内的一个采样像素点，由所述采样像素点生成所述采样图像。

8.根据权利要求7所述的矫正深度图像突起干扰噪声的方法，其特征在于，所述的由所述平滑采样图像经过扩大至与所述深度图像尺寸大小一致包括以下步骤：

根据所述去除方向，获取所述采样像素点的邻域像素点的像素值；

获取扩大填充值，所述扩大填充值由所述邻域像素点的像素值通过计算而得，；

根据所述扩大填充值对所述采样平滑图像进行扩大填充，生成与所述深度图像大小一致的矫正深度图像。

9.根据权利要求1所述的矫正深度图像突起干扰噪声的方法，其特征在于，所述的滤波处理包括均值滤波、中值滤波、高斯滤波、高斯双边滤波中的一种。

10.一种矫正深度图像突起干扰噪声的装置，其特征在于，所述装置包括：

待去除突起点获取单元，用于获取所述深度图像中的待去除突起点；

待填充图像获取单元，用于去除所述待去除突起点，并生成待填充图像；

填充图像获取单元，用于对所述待填充图像中的缺失像素点进行像素填充，并生成填充图像；

采样图像生成单元，用于对所述填充图像进行像素点采样，并生成采样图像；

平滑采样图像生成单元，用于对所述采样图像的噪声进行滤波处理，并生成平滑采样图像；

矫正深度图像生成单元，用于对所述平滑采样图像进行扩大，并生成与所述深度图像尺寸大小一致的矫正深度图像。

Images