CN113096024B - 用于深度数据的去飞点方法及其系统和电子设备 - Google Patents

Abstract

一种用于深度数据的去飞点方法及其系统和电子设备。该用于深度数据的去飞点方法包括步骤：对获取的原始深度数据进行边缘检测处理，以得到深度边缘数据；对该原始深度数据进行波动检测处理，以得到深度波动数据；根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据；以及基于该飞点标志数据，对该原始深度数据进行去除飞点处理，以得到去飞点后的深度数据，有助于提高去飞点的效果。

Description

用于深度数据的去飞点方法及其系统和电子设备

技术领域

本发明涉及数据处理技术领域，尤其是涉及用于深度数据的去飞点方法及其系统和电子设备。

背景技术

飞行时间(英文Time of flight，简称TOF)技术作为光学测量技术中表现较为突出的一种技术，可应用于机器人、无人机、体感娱乐、监控安防以及智慧物流等邻域，是目前3D深度相机采用的主要技术之一。TOF技术的原理主要是通过TOF相机的发射器连续发送光脉冲(一般为不可见光)到被测物体上，然后使用该TOF相机的传感器接收从该被测物体反射回来的光脉冲，进而通过光脉冲的飞行(即往返)时间来得到该被测物体与该TOF相机之间的距离(即该被测物体的深度信息)。而由于不同深度物体的边缘区域存在高度差，使得该TOF相机的该传感器所接收到的光脉冲将同时受到该TOF相机的该发射器所发射的与前景物体和后景物体对应的光脉冲的影响，导致该边缘区域中的部分深度值将介于该前景物体的深度值与该后景物体的深度值之间，但该边缘区域事实上并不存在任何物体，从而使得经由该TOF相机获取的深度数据因存在飞点现象而不能精确地表示真实物体。因此，为了获取更精准的深度信息，需要剔除该深度数据中的飞点。

现有的去飞点方法中存在一种混合像素去除(英文Mixed Pixel Remova1，简称MPR)方法，其原理主要是：如果一个像素是飞点，则在与该像素对应的三维点云和与该像素的8邻域像素对应的三维点云之间的距离中，会存在至少一个距离大于某个阈值thread＝K×median(D)，其中median(D)为这九个点云的深度值的中值，并且K为经验数据。但该混合像素去除方法仅仅根据邻域内的深度变化和经验参数进行去飞点，而没有考虑物体的边缘信息，会导致去飞点不精确，出现飞点剔除过多或者不足的问题。

而现有的基于边缘信息去飞点的方法虽然是对经由TOF相机同时采集的原始深度图像和原始红外图像进行边缘检测和融合，得到最终的边缘区域图像，进而根据边缘信息来实现去除飞点的目的。但该现有的基于边缘信息去飞点的方法存在将位于边缘但不是飞点的区域当做飞点剔除掉的问题，导致飞点剔除仍不精确。

发明内容

本发明的一优势在于提供一用于深度数据的去飞点方法及其系统和电子设备，其能够提高去飞点的精确度，有助于保证深度数据能够精确地反映被测物体。

本发明的另一优势在于提供一用于深度数据的去飞点方法及其系统和电子设备，其中，在本发明的一实施例中，所述用于深度数据的去飞点方法能够基于深度图边缘检测和深度波动检测的同时，引入滚动导向滤波，以提高边缘检测的精度，进而提高去飞点效果。

本发明的另一优势在于提供一用于深度数据的去飞点方法及其系统和电子设备，其中，在本发明的一实施例中，所述用于深度数据的去飞点方法能够通过形态学处理来进一步剔除零散的飞点，以便保证测量的深度数据更加精确地反映被测物体。

本发明的另一优势在于提供一用于深度数据的去飞点方法及其系统和电子设备，其中，在本发明的一实施例中，所述用于深度数据的去飞点方法采用滚动导向滤波来处理深度数据，不仅能够滤除噪点，而且能够提高后续边缘检测的精确度，以避免因飞点的误去除而形成过多孔洞等问题。

本发明的另一优势在于提供一用于深度数据的去飞点方法及其系统和电子设备，其中，在本发明的一实施例中，所述用于深度数据的去飞点方法的目的在于剔除掉不存在的点(即飞点)，以保证深度数据能够精确地反映被测物体，是拓展TOF相机应用场景和提高TOF相机测量性能的重要一环，具有广阔的市场前景。

本发明的另一优势在于提供一用于深度数据的去飞点方法及其系统和电子设备，其中为了达到上述优势，在本发明中不需要采用复杂的结构和庞大的计算量，对软硬件要求低。因此，本发明成功和有效地提供一解决方案，不只提供一用于深度数据的去飞点方法及其系统和电子设备，同时还增加了所述用于深度数据的去飞点方法及其系统和电子设备的实用性和可靠性。

为了实现上述至少一优势或其他优势和目的，本发明提供了用于深度数据的去飞点方法，包括步骤：

用于深度数据的去飞点方法，其特征在于，包括步骤：

对获取的原始深度数据进行边缘检测处理，以得到深度边缘数据；

对该原始深度数据进行波动检测处理，以得到深度波动数据；

根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据；以及

基于该飞点标志数据，对该原始深度数据进行去除飞点处理，以得到去飞点后的深度数据。

在本发明的一实施例中，所述对获取的原始深度数据进行边缘检测处理，以得到深度边缘数据的步骤，包括步骤：

通过滚动导向滤波器对该原始深度数据进行滚动滤波处理，以得到滚动滤波后的深度数据；

对该滚动滤波后的深度数据进行空洞深度值补全处理，以得到补全后的深度数据；以及

对该补全后的深度数据进行边缘提取处理，以获得该深度边缘数据。

在本发明的一实施例中，所述对该滚动滤波后的深度数据进行空洞深度值补全处理，以得到补全后的深度数据的步骤，包括步骤：

依次以该滚动滤波后的深度数据中深度值为零的像素点作为当前像素点，建立邻域窗口；

在该邻域窗口中，分别统计深度值不为零的像素点的个数和每个非零深度值出现的频次，以得到非零像素点的统计个数和频次最高的非零深度值；

响应于该非零像素点的统计个数大于等于预设的个数阈值，用该频次最高的非零深度值替换该当前像素点的原深度值；以及

响应于该非零像素点的统计个数小于该预设的个数阈值，保留该当前像素点的原深度值。

在本发明的一实施例中，所述对该滚动滤波后的深度数据进行空洞深度值补全处理，以得到补全后的深度数据的步骤，包括步骤：

依次以该滚动滤波后的深度数据中深度值为零的像素点作为当前像素点，建立5*5邻域窗口；

在该5*5邻域窗口中，分别统计深度值不为零的内邻域像素点的个数、深度值不为零的外邻域像素点的个数以及每个非零深度值的频次，以得到内邻域像素点的统计个数、外邻域像素点的统计个数以及频次最高的非零深度值；

响应于该内领域像素点的统计个数大于等于预设的内领域个数阈值和/或该外领域像素点的统计个数大于等于预设的外领域个数阈值，用该频率最高的非零深度值替换该当前像素点的原深度值；以及

响应于该内领域像素点的统计个数小于该预设的内领域个数阈值且该外领域像素点的统计个数小于预设的外领域个数阈值，保留该当前像素点的原深度值。

在本发明的一实施例中，所述对该补全后的深度数据进行边缘提取处理，以获得该深度边缘数据的步骤，包括步骤：

对该补全后的深度数据进行归一化处理，以得到相应的深度灰度图；

通过高斯滤波器对该深度灰度图进行滤波处理，以得到滤波后的深度灰度图；以及

通过Canny算子从该滤波后的深度灰度图中提取边缘数据，以获得该深度边缘数据。

在本发明的一实施例中，所述对该原始深度数据进行波动检测处理，以得到深度波动数据的步骤，包括步骤：

获取该原始深度数据中各个像素点所对应的深度波动阈值；

依次以该原始深度数据中每个像素点作为中心像素点来构建奇数*奇数邻域；以及

在每个所述奇数*奇数邻域中，统计与该中心像素点对应的深度波动点的数量，以得到深度波动统计数据，其中该深度波动点与该中心像素点之间深度值的绝对差值大于与该中心像素点对应的深度波动阈值。

在本发明的一实施例中，所述对该原始深度数据进行波动检测处理，以得到深度波动数据的步骤，进一步包括步骤：

对该深度波动统计数据进行归一化处理，以得到归一化的深度波动数据；

通过形态学运算对该归一化的深度波动数据进行腐蚀处理，以得到腐蚀处理后的深度波动数据；以及

对该腐蚀处理后的深度波动数据进行反归一化处理，以得到该深度波动数据。

在本发明的一实施例中，所述获取该原始深度数据中各个像素点所对应的深度波动阈值的步骤，包括步骤：

遍历该原始深度数据中每个像素点，以依次作为当前像素点来比较该当前像素点的深度值分别与预设的最小深度值阈值和预设的最大深度值阈值的大小；

响应于该当前像素点的深度值小于等于该预设的最小深度值阈值，将预设的最小深度波动阈值确定为与该当前像素点对应的深度波动阈值；

响应于该当前像素点的深度值大于等于该预设的最大深度值阈值，将预设的最大深度波动阈值确定为与该当前像素点对应的深度波动阈值；以及

响应于该当前像素点的深度值大于该预设的最小深度值阈值且小于该预设的最大深度值阈值，基于该预设的最小深度波动阈值和该预设的最大深度波动阈值进行线性插值处理，以确定与该当前像素值对应的深度波动阈值。

在本发明的一实施例中，所述根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据的步骤，包括步骤：

遍历该原始深度数据中每个像素点，以依次作为候选飞点来构建飞点判断邻域；

基于该深度边缘数据和该深度波动数据，在该飞点判断邻域内搜索在该深度边缘数据中边缘像素值大于零的像素点和在所述深度波动数据中波动像素值大于等于预定的数量阈值的像素点；

响应于该飞点判断邻域内同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，将该候选飞点确认为该飞点标志数据中的飞点；以及

响应于该飞点判断邻域内不同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，从该飞点标志数据中剔除该候选飞点。

在本发明的一实施例中，所述基于该飞点标志数据，对该原始深度数据进行去除飞点处理，以得到去飞点后的深度数据的步骤，包括步骤：

对该飞点标志数据进行形态学闭运算处理，以得到闭运算处理后的飞点标志数据；和

基于该闭运算处理后的飞点标志数据中像素值为一的像素点，将该原始深度数据中对应像素点的像素值置为零，以去除该原始深度数据中的飞点，进而获得该去飞点后的深度数据。

在本发明的一实施例中，所述的用于深度数据的去飞点方法，进一步包括步骤：

通过查找该原始深度数据中预定比例的分位数，将该原始深度数据中所有大于该预定比例的分位数的深度值均置为零，以剔除该原始深度数据中的误差数据。

根据本发明的另一方面，本发明进一步提供了用于深度数据的去飞点系统，包括相互可通信地连接的：

一边缘检测模块，用于对获取的原始深度数据进行边缘检测处理，以得到深度边缘数据；

一波动检测模块，用于对该原始深度数据进行波动检测处理，以得到深度波动数据；

一飞点检测模块，用于根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据；以及

一去飞点处理模块，用于基于该飞点标志数据，对该原始深度数据进行去除飞点处理，以得到去飞点后的深度数据。

在本发明的一实施例中，所述边缘检测模块包括相互可通信地连接的一滚动导向滤波模块、一深度值补全模块以及一边缘提取模块，其中所述滚动导向滤波模块用于通过滚动导向滤波器对该原始深度数据进行滚动滤波处理，以得到滚动滤波后的深度数据；其中所述深度值补全模块用于对该滚动滤波后的深度数据进行空洞深度值补全处理，以得到补全后的深度数据；其中所述边缘提取模块用于对该补全后的深度数据进行边缘提取处理，以获得该深度边缘数据。

在本发明的一实施例中，所述波动检测模块包括相互可通信地连接的一波动阀值获取模块、一领域构建模块以及一波动统计模块，其中所述波动阀值获取模块用于获取该原始深度数据中各个像素点所对应的深度波动阈值；其中所述领域构建模块用于依次以该原始深度数据中每个像素点作为中心像素点来构建奇数*奇数邻域；其中所述波动统计模块用于在每个所述奇数*奇数邻域中，统计与该中心像素点对应的深度波动点的数量，以得到深度波动统计数据，其中该深度波动点与该中心像素点之间深度值的绝对差值大于与该中心像素点对应的深度波动阈值。

在本发明的一实施例中，所述波动检测模块进一步包括相互可通信地连接的一归一化处理模块、一腐蚀处理模块以及一反归一化处理模块，其中所述归一化处理模块用于对该深度波动统计数据进行归一化处理，以得到归一化的深度波动数据；其中所述腐蚀处理模块用于通过形态学运算对该归一化的深度波动数据进行腐蚀处理，以得到腐蚀处理后的深度波动数据；其中所述反归一化处理模块用于对该腐蚀处理后的深度波动数据进行反归一化处理，以得到该深度波动数据。

在本发明的一实施例中，所述飞点检测模块包括相互可通信地连接的一遍历模块、一搜索模块、一确认模块以及一剔除模块，其中所述遍历模块用于遍历该原始深度数据中每个像素点，以依次作为候选飞点来构建飞点判断邻域；其中所述搜索模块用于基于该深度边缘数据和该深度波动数据，在该飞点判断邻域内搜索在该深度边缘数据中边缘像素值大于零的像素点和在所述深度波动数据中波动像素值大于等于预定的数量阈值的像素点；其中所述确认模块用于响应于该飞点判断邻域内同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，将该候选飞点确认为该飞点标志数据中的飞点；其中所述剔除模块用于响应于该飞点判断邻域内不同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，从该飞点标志数据中剔除该候选飞点。

在本发明的一实施例中，所述去飞点处理模块包括相互可通信地连接的一闭运算处理模块和一飞点去除模块，其中所述闭运算处理模块用于对该飞点标志数据进行形态学闭运算处理，以得到闭运算处理后的飞点标志数据；其中所述飞点去除模块用于基于该闭运算处理后的飞点标志数据中像素值为一的像素点，将该原始深度数据中对应像素点的像素值置为零，以去除该原始深度数据中的飞点，进而获得该去飞点后的深度数据。

在本发明的一实施例中，所述的用于深度数据的去飞点系统，进一步包括一预处理模块，其中所述预处理模块用于通过查找该原始深度数据中预定比例的分位数，将该原始深度数据中所有大于该预定比例的分位数的深度值均置为零，以剔除该原始深度数据中的误差数据。

根据本发明的另一方面，本发明进一步提供了电子设备，包括：

至少一处理器，用于执行指令；和

与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行用于深度数据的去飞点方法中的部分或全部步骤，其中所述用于深度数据的去飞点方法包括步骤：

对获取的原始深度数据进行边缘检测处理，以得到深度边缘数据；

对该原始深度数据进行波动检测处理，以得到深度波动数据；

根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据；以及

基于该飞点标志数据，对该原始深度数据进行去除飞点处理，以得到去飞点后的深度数据。

根据本发明的另一方面，本发明进一步提供了电子设备，包括：

一TOF相机；和

一用于深度数据的去飞点系统，其中所述用于深度数据的去飞点系统被配置于所述TOF相机，用于去除经由所述TOF相机采集的原始深度数据中的飞点，其中所述用于深度数据的去飞点系统包括依次可通信地连接的：

一边缘检测模块，用于对该原始深度数据进行边缘检测处理，以得到深度边缘数据；

一波动检测模块，用于对该原始深度数据进行波动检测处理，以得到深度波动数据；

一飞点检测模块，用于根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据；以及

一去飞点处理模块，用于基于该飞点标志数据，对该原始深度数据进行去除飞点处理，以得到去飞点后的深度数据。

通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。

本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。

附图说明

图1是根据本发明的一实施例的用于深度数据的去飞点方法的过程示意图。

图2示出了根据本发明的一实施例的用于深度数据的去飞点方法的流程示意图。

图3示出了根据本发明的上述实施例的所述用于深度数据的去飞点方法中边缘检测步骤的流程示意图。

图4示出了根据本发明的上述实施例的所述边缘检测步骤中的滚动滤波处理步骤的过程示意图。

图5A示出了根据本发明的上述实施例的所述边缘检测步骤中的深度值补全步骤的一个实施方式。

图5B示出了根据本发明的上述实施例的所述边缘检测步骤中的深度值补全步骤的一个变形实施方式。

图6示出了根据本发明的上述实施例的所述边缘检测步骤中的边缘提取步骤的流程示意图。

图7A和图7B示出了根据本发明的上述实施例的所述用于深度数据的去飞点方法的波动检测步骤的流程示意图。

图8示出了根据本发明的上述实施例的所述用于深度数据的去飞点方法的飞点检测步骤的流程示意图。

图9示出了根据本发明的上述实施例的所述用于深度数据的去飞点方法中去除飞点处理步骤的流程示意图。

图10示出了根据本发明的一实施例的用于深度数据的去飞点系统的框图示意图。

图11示出了根据本发明的一实施例的一电子设备的框图示意图。

图12示出了根据本发明的一实施例的另一电子设备的立体示意图。

实施方式

以下描述用于揭露本发明以使本邻域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本邻域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。

在本发明的描述中，需要理解的是，属于“第一”、“第二”等仅用于描述目的，而不能理解为指示或者暗示相对重要性。本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过媒介间接连结。对于本邻域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本邻域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

本发明提出一种用于深度数据的去飞点方法及其系统和电子设备，其能够提高去除原始深度数据中飞点的效果，获得去飞点深度数据，以保证深度数据能够精确地反映被测物体，是拓展TOF相机应用场景和提高TOF相机测量性能的重要一环，具有广阔的市场前景。值得注意的是，本发明的所述原始深度数据可以但不限于被实施为经由TOF相机采集的原始深度图。

具体地，如图1所示，本发明的所述用于深度数据的去飞点方法先通过RGF滚动导向滤波对输入的原始深度图进行滤波处理，再通过Canny算子对滤波处理后的深度数据进行边缘检测以获得更加精确的深度边缘信息(即边缘图)；与此同时，对输入的原始深度图进行波动性检测以获得深度波动信息(即波动图)。之后，结合所述边缘图和所述波动图对所述原始深度图进行飞点检测，以得到飞点标志图；最后基于所述飞点标志数据，从所述原始深度图中剔除飞点，以输出去飞点的深度图，从而完成去飞点的目的。

示意性方法

参考说明书附图之图2至图9所示，根据本发明的一实施例的一种用于深度数据的去飞点方法被阐明。具体地，如图2所示，所述用于深度数据的去飞点方法包括步骤：

S100：对获取的原始深度数据进行边缘检测处理，以得到深度边缘数据；

S200：对所述原始深度数据进行波动检测处理，以得到深度波动数据；

S300：根据所述深度边缘数据和所述深度波动数据，对所述原始深度数据进行飞点检测处理，以得到飞点标志数据；以及

S400：基于所述飞点标志数据，对所述原始深度数据进行去除飞点处理，以得到去飞点后的深度数据。

值得注意的是，本发明的所述用于深度数据的去飞点方法能够充分利用所述原始深度数据中的边缘信息和波动信息来精确地确定飞点在所述原始深度数据中的位置，以得到飞点标志数据，进而根据所述飞点标志数据从所述原始深度数据中剔除飞点，有助于提高去飞点的效果，以保证所述去飞点后的深度数据能够精确地反映被测物体。

此外，因此本发明的所述用于深度数据的去飞点方法还可以先对获取的原始深度数据进行预处理，以剔除所述原始深度数据中误差较大的像素点(即误差数据)，再对去误差点后的原始深度数据进行边缘检测和波动检测，有助于提高去飞点方法的鲁棒性。

示例性地，如图2所示，本发明的所述用于深度数据的去飞点方法，可以进一步包括步骤：

S500：通过查找所述原始深度数据中预定比例的分位数，将所述原始深度数据中所有大于所述预定比例的分位数的深度值置为零，以剔除所述原始深度数据中的误差数据。

优选地，所述预定比例的分位数可以被实施为所述原始深度数据的0.1％分位数，即所述原始深度数据中所有的深度值由大到小排列后第0.1％的深度值。

值得一提的是，根据本发明的上述实施例，在对所述原始深度数据进行边缘检测时，需要先对所述原始深度数据进行滚动导向滤波处理，以在滤除噪点的同时，提高后续边缘提取的精确度，避免后续飞点去除过多形成孔洞等问题。此外，在通过Canny算子进行边缘提取之前，还需要对滤波处理后的深度数据进行空洞深度值补全，以便确保所述Canny算子的正常工作。

具体地，如图3所示，本发明的所述用于深度数据的去飞点方法的所述步骤S100，可以包括步骤：

S110：通过滚动导向滤波器对所述原始深度数据进行滚动滤波处理，以得到滚动滤波后的深度数据；

S120：对所述滚动滤波后的深度数据进行空洞深度值补全处理，以得到补全后的深度数据；以及

S130：对所述补全后的深度数据进行边缘提取处理，以获得所述深度边缘数据。

示例性地，在所述步骤S110中：如图4所示，先通过高斯滤波器对所述原始深度数据进行高斯滤波处理，以得到高斯滤波后的深度数据；再以所述高斯滤波后的深度数据作为首次导向，通过联合双边滤波器对所述原始深度数据进行首次双边滤波处理，以得到双边滤波后的深度数据；接着，滚动地以所述双边滤波后的深度数据作为迭代导向，通过所述联合双边滤波器对所述原始深度数据进行迭代地双边滤波处理，直至迭代次数达到预定次数为止，以输出所述滚动滤波后的深度数据。可以理解的是，本发明的所述滚动导向滤波器(英文RollingGuidance Filter，简称RGF)先对小结构细节进行移除，再通过滚动地迭代引导进行滤波，以恢复边缘区域，有助于后续精确地提取边缘信息。

此外，由于TOF相机在采集所述原始深度数据的过程中往往因物体便面材质的反射特性等原因而在物体的边缘和遮挡区域产生空洞，使得所述滚动滤波后的深度数据中也可能存在空洞，不利于后续的边缘提取。因此本发明的所述用于深度数据的去飞点方法还会先对所述滚动滤波后的深度数据进行空洞深度值补全，再进行后续的边缘提取。

具体地，如图5A所示，本发明的所述用于深度数据的去飞点方法的所述步骤S120，可以包括步骤：

S121：依次以所述滚动滤波后的深度数据中深度值为零的像素点作为当前像素点，建立邻域窗口；

S122：在所述邻域窗口中，分别统计深度值不为零的像素点的个数和每个非零深度值出现的频次，以得到非零像素点的统计个数和频次最高的非零深度值；以及

S123：响应于所述非零像素点的统计个数大于等于预设的个数阈值，用所述频次最高的非零深度值替换所述当前像素点的原深度值。

此外，如图5A所示，所述用于深度数据的去飞点方法的所述步骤S120，可以进一步包括步骤：

S124：响应于所述非零像素点的统计个数小于所述预设的个数阈值，保留所述当前像素点的原深度值。

值得注意的是，所述当前像素点的邻域窗口可以但不限于被实施为诸如3*3或5*5等等奇数*奇数的邻域，并且所述预设的个数阈值可以根据所述邻域窗口的大小(即所述邻域窗口中邻域像素点的总个数)进行自适应地调整。此外，由于不同像素点的深度值往往存在差异，而深度值差异较小的像素点可以认为深度相同，因此在统计非零深度值出现的频次时，本发明将处于同一深度值变化区域内的深度值确认为同一非零深度值，以分别统计深度值在每一深度值变化区域内的像素点的个数，进而获得频次最高的非零深度值。可以理解的是，每个所述深度值变化区域中深度值范围可以预先设定好，例如，每个所述深度值变化区域中最大深度值与最小深度值之差为0.03米。

当然，在本发明的其他示例中，所述当前像素点的邻域窗口优选地被实施为5*5邻域窗口，以分别判断所述5*5邻域窗口中八个内邻域像素点和十六个外邻域像素点中深度值不为零的像素点的个数是否满足相应的个数阈值，从而更精准地补全空洞深度值。

具体地，如图5B所示，在本发明的一个变形实施方式中，本发明的所述用于深度数据的去飞点方法的所述步骤S120，也可以包括步骤：

S121’：依次以所述滤波后的深度数据中深度值为零的像素点作为当前像素点，建立5*5邻域窗口；

S122’：在所述5*5邻域窗口中，分别统计深度值不为零的内邻域像素点的个数、深度值不为零的外邻域像素点的个数以及每个非零深度值的频次，以得到内邻域像素点的统计个数、外邻域像素点的统计个数以及频次最高的非零深度值；以及

S123’：响应于所述内邻域像素点的统计个数大于等于预设的内邻域个数阈值和/或所述外邻域像素点的统计个数大于等于预设的外邻域个数阈值，用所述频次最高的非零深度值替换所述当前像素点的原深度值。

相应地，如图5B所示，所述用于深度数据的去飞点方法的所述步骤S120，还可以进一步包括步骤：

S124’：响应于所述内邻域像素点的统计个数小于所述预设的内邻域个数阈值且所述外邻域像素点的统计个数小于所述预设的外邻域个数阈值，保留所述当前像素点的原深度值。

优选地，所述预设的内邻域个数阈值被实施为两个，并且所述预设的外邻域个数阈值被实施为七个。

根据本发明的上述实施例，为了提高所述Canny算子对边缘提取的精度，本发明在通过所述Canny算子提取边缘之前，会对所述补全后的深度数据进行预处理。具体地，如图6所示，本发明的所述用于深度数据的去飞点方法的所述步骤S130，可以包括步骤：

S131：对所述补全后的深度数据进行归一化处理，以得到相应的深度灰度图；

S132：通过高斯滤波器对所述深度灰度图进行滤波处理，以得到滤波后的深度灰度图；以及

S133：通过Canny算子从所述滤波后的深度灰度图中提取边缘数据，以获得所述深度边缘数据。

优选地，在所述步骤S132中，所述高斯滤波器优选地被实施为3*3高斯滤波器。

可以理解的是，在所述步骤S130中，所述深度灰度图可以被实施为8bit图像，即所述深度灰度图中各个像素点的像素值在0至255之间。相应地，所述深度边缘数据可以被实施为具有边缘信息的黑白图像，即所述深度边缘数据中各个像素点的边缘像素值是0或255。

值得一提的是，如图7A所示，根据本发明的上述实施例，所述用于深度数据的去飞点方法的所述步骤S200，可以包括步骤：

S210：获取所述原始深度数据中各个像素点所对应的深度波动阈值；

S220：依次以所述原始深度数据中每个像素点作为中心像素点来构建奇数*奇数邻域；以及

S230：在每个所述奇数*奇数邻域中，统计与所述中心像素点对应的深度波动点的数量，以得到深度波动统计数据，其中所述深度波动点和所述中心像素点之间深度值的绝对差值大于与所述中心像素点对应的深度波动阈值。

值得注意的是，本发明的所述深度波动统计数据中每个像素点的波动像素值可以被实施为在相应的奇数*奇数邻域中所述深度波动点的数量。此外，在本发明的一示例中，本发明可以将所述深度波动统计数据直接作为所述深度波动数据，以结合所述深度边缘数据对所述原始深度数据进行飞点检测。

当然，在本发明的另一示例中，本发明也可以先对所述深度波动统计数据进行形态学运算中的腐蚀处理，以去除所述深度波动统计数据中的离散点；再将腐蚀处理后的深度波动统计数据作为所述深度波动数据，以进行后续的飞点检测操作。可以理解的是，在本发明的这个示例中，所述深度波动数据被实施为去除离散点后的深度波动统计数据，也就是说，所述深度波动数据中每个像素点的波动像素值仍被实施为在相应的奇数*奇数邻域中所述深度波动点的数量。

示例性地，如图7A所示，本发明的所述用于深度数据的去飞点方法的所述步骤S200，可以进一步包括步骤：

S240：对所述深度波动统计数据进行归一化处理，以得到归一化的深度波动数据；

S250：通过形态学运算对所述归一化的深度波动数据进行腐蚀处理，以得到腐蚀处理后的深度波动数据；以及

S260：对所述腐蚀处理后的深度波动数据进行反归一化处理，以得到所述深度波动数据。

优选地，在所述步骤S250中，利用3*3矩形核对所述归一化的深度波动数据进行腐蚀处理，以得到所述腐蚀处理后的深度波动数据。

更进一步地，如图7B所示，本发明的所述用于深度数据的去飞点方法的所述步骤S210，可以包括步骤：

S211：遍历所述原始深度数据中每个像素点，以依次作为当前像素点来比较所述当前像素点的深度值分别与预设的最小深度值阈值和预设的最大深度值阈值的大小；

S212：响应于所述当前像素点的深度值小于等于所述预设的最小深度值阈值，将预设的最小深度波动阈值确定为与所述当前像素点对应的深度波动阈值；

S213：响应于所述当前像素点的深度值大于等于所述预设的最大深度值阈值，将预设的最大深度波动阈值确定为与所述当前像素点对应的深度波动阈值；以及

S214：响应于所述当前像素点的深度值大于所述预设的最小深度值阈值且小于所述预设的最大深度值阈值，基于所述预设最小深度波动阈值和所述预设的最大深度波动阈值进行线性插值处理，以确定与所述当前像素点对应的深度波动阈值。

值得一提的是，在获得所述深度边缘数据和所述深度波动数据之后，本发明将结合获得所述深度边缘数据和所述深度波动数据对所述原始深度数据进行飞点检测，以确定所述原始深度数据中的飞点，进而获得所述飞点标志数据。

具体地，如图8所示，本发明的所述用于深度数据的去飞点方法的所述步骤S300，可以包括步骤：

S310：遍历所述原始深度数据中每个像素点，以依次作为候选飞点来构建飞点判断邻域；

S320：基于所述深度边缘数据和所述深度波动数据，在所述飞点判断邻域内搜索在所述深度边缘数据中边缘像素值大于零的像素点和在所述深度波动数据中波动像素值大于等于预定的数量阈值的像素点；

S330：响应于所述飞点判断邻域内同时存在所述边缘像素值大于零的像素点和所述波动像素值大于等于所述预定的数量阈值的像素点，将所述候选飞点确认为所述飞点标志数据中的飞点；以及

S340：响应于所述飞点判断邻域内不同时存在所述边缘像素值大于零的像素点和所述波动像素值大于等于所述预定的数量阈值的像素点，从所述飞点标志数据中剔除所述候选飞点。

优选地，所述飞点判断邻域被实施为以所述候选飞点为中心像素点的3*3邻域或5*5邻域。此外，所述预定的数量阈值可以根据所述飞点判断邻域的大小来确定，例如当所述飞点判断邻域被实施为3*3邻域时，所述预定的数量阈值被实施为两个。

可以理解的是，由于所述深度边缘数据中各个像素点的边缘像素值要么为零，要么为255，因此所述边缘像素值大于零的像素点指的就是边缘像素值等于255的像素点。此外，在所述步骤S330中，将所述飞点标志数据中与所述候选飞点对应的像素点的像素值置为1，以将所述候选飞点确认为所述飞点标志数据中的飞点；而在所述步骤S340中，将所述飞点标志数据中与所述候选飞点对应的像素点的像素值置为0，以剔除所述候选飞点。

值得注意的是，由于所述飞点标志数据中仍可能存在一些离散的飞点，而真正的飞点往往是集聚在被测物体的边缘区域，因此在基于所述飞点标志数据从所述原始深度数据中剔除飞点之前，需要通过形态学闭运算方法对所述飞点标志数据依次进行膨胀和腐蚀处理，以剔除所述飞点标志数据中零散的飞点。

具体地，如图9所示，本发明的所述用于深度数据的去飞点方法的所述步骤S400，可以包括步骤：

S410：对所述飞点标志数据进行形态学闭运算处理，以得到闭运算处理后的飞点标志数据；和

S420：基于所述闭运算处理后的飞点标志数据中像素值为一的像素点，将所述原始深度数据中对应像素点的像素值置为零，以去除所述原始深度数据中的飞点，进而获得所述去飞点后的深度数据。

值得注意的是，在本发明的其他示例中，基于所述闭运算后的飞点标志数据中像素值为1的像素点，也可以将所述滚动滤波后的深度数据中对应像素点的像素值置为0，以去除所述滚动滤波后的深度数据中的飞点，进而获得所述去飞点后的深度数据。

示意性系统

参考说明书附图之图10所示，根据本发明的一实施例的一用于深度数据的去飞点系统被阐明，其中所述用于深度数据的去飞点系统对原始深度数据中的飞点进行去除处理。具体地，如图10所示，所述用于深度数据的去飞点系统1包括相互可通信地连接的一边缘检测模块10，一波动检测模块20，一飞点检测模块30以及一去飞点处理模块40。所述边缘检测模块10用于对获取的原始深度数据进行边缘检测处理，以得到深度边缘数据。所述波动检测模块20用于对该原始深度数据进行波动检测处理，以得到深度波动数据。所述飞点检测模块30用于根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据。所述去飞点处理模块40用于基于该飞点标志数据，对该原始深度数据进行去除飞点处理，以得到去飞点后的深度数据。

更具体地，如图10所示，所述边缘检测模块10包括相互可通信地连接的一滚动导向滤波模块11、一深度值补全模块12以及一边缘提取模块13，其中所述滚动导向滤波模块11用于通过滚动导向滤波器对该原始深度数据进行滚动滤波处理，以得到滚动滤波后的深度数据；其中所述深度值补全模块12用于对该滚动滤波后的深度数据进行空洞深度值补全处理，以得到补全后的深度数据；其中所述边缘提取模块13用于对该补全后的深度数据进行边缘提取处理，以获得该深度边缘数据。

值得注意的是，在本发明的一示例中，如图10所示，所述波动检测模块20包括相互可通信地连接的一波动阀值获取模块21、一领域构建模块22以及一波动统计模块23，其中所述波动阀值获取模块21用于获取该原始深度数据中各个像素点所对应的深度波动阈值；其中所述领域构建模块22用于依次以该原始深度数据中每个像素点作为中心像素点来构建奇数*奇数邻域；其中所述波动统计模块23用于在每个所述奇数*奇数邻域中，统计与该中心像素点对应的深度波动点的数量，以得到深度波动统计数据，其中该深度波动点与该中心像素点之间深度值的绝对差值大于与该中心像素点对应的深度波动阈值。

此外，如图10所示，所述波动检测模块20可以进一步包括相互可通信地连接的一归一化处理模块24、一腐蚀处理模块25以及一反归一化处理模块26，其中所述归一化处理模块24用于对该深度波动统计数据进行归一化处理，以得到归一化的深度波动数据；其中所述腐蚀处理模块25用于通过形态学运算对该归一化的深度波动数据进行腐蚀处理，以得到腐蚀处理后的深度波动数据；其中所述反归一化处理模块26用于对该腐蚀处理后的深度波动数据进行反归一化处理，以得到该深度波动数据。

在本发明的一示例中，如图10所示，所述飞点检测模块30包括相互可通信地连接的一遍历模块31、一搜索模块32、一确认模块33以及一剔除模块34，其中所述遍历模块31用于遍历该原始深度数据中每个像素点，以依次作为候选飞点来构建飞点判断邻域；其中所述搜索模块32用于基于该深度边缘数据和该深度波动数据，在该飞点判断邻域内搜索在该深度边缘数据中边缘像素值大于零的像素点和在所述深度波动数据中波动像素值大于等于预定的数量阈值的像素点；其中所述确认模块33用于响应于该飞点判断邻域内同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，将该候选飞点确认为该飞点标志数据中的飞点；其中所述剔除模块34用于响应于该飞点判断邻域内不同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，从该飞点标志数据中剔除该候选飞点。

在本发明的一示例中，如图10所示，所述去飞点处理模块40包括相互可通信地连接的一闭运算处理模块41和一飞点去除模块42，其中所述闭运算处理模块41用于对该飞点标志数据进行形态学闭运算处理，以得到闭运算处理后的飞点标志数据；其中所述飞点去除模块42用于基于该闭运算处理后的飞点标志数据中像素值为一的像素点，将该原始深度数据中对应像素点的像素值置为零，以去除该原始深度数据中的飞点，进而获得该去飞点后的深度数据。

值得一提的是，如图10所示，所述用于深度数据的去飞点系统1可以进一步包括一预处理模块50，其中所述预处理模块50用于通过查找该原始深度数据中预定比例的分位数，将该原始深度数据中所有大于该预定比例的分位数的深度值均置为零，以剔除该原始深度数据中的误差数据。

示意性电子设备

下面，参考图11来描述根据本发明的一实施例的电子设备。如图11所示，电子设备90包括一个或多个处理器91和存储器92。

所述处理器91可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备90中的其他组件以执行期望的功能。换言之，所述处理器91包括被配置成执行指令的一个或多个物理设备。例如，所述处理器91可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。

所述处理器91可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，所述处理器91可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。所述处理器91的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。所述处理器91的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。所述处理器91的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

所述存储器92可以包括一个或多个计算程序产品，所述计算程序产品可以包括各种形式的计算可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算可读存储介质上可以存储一个或多个计算程序指令，所述处理器11可以运行所述程序指令，以实现上文所述的本发明的上述示意性方法中的部分或全部步骤，以及/或者其他期望的功能。

换言之，所述存储器92包括被配置成保存可由所述处理器91执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换所述存储器92的状态(例如，保存不同的数据)。所述存储器92可以包括可移动和/或内置设备。所述存储器92可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。所述存储器92可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。

可以理解，所述存储器92包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。所述处理器91和所述存储器92的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。

在一个示例中，如图11所示，所述电子设备90还可以包括输入装置93和输出装置94，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入装置93可以是例如用于采集图像数据或视频数据的摄像模组等等。又如，所述输入装置93可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，所述输入装置93可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；和/或任何其他合适的传感器。

该输出装置94可以向外部输出各种信息，包括分类结果等。该输出装置94可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，所述电子设备90还可以进一步包括所述通信装置，其中所述通信装置可被配置成将所述电子设备90与一个或多个其他计算机设备通信地耦合。所述通信装置可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，所述通信装置可允许所述电子设备90经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。

将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

当然，为了简化，图11中仅示出了该电子设备90中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备90还可以包括任何其他适当的组件。

根据本发明的另一方面，本发明进一步提供了诸如TOF相机、AR设备、智能机器人、智能手机等等之类能够采集深度数据的电子设备，其中所述电子设备配置有上述用于深度数据的去飞点系统1，用于对经由所述电子设备采集的原始深度数据进行去飞点处理。示例性地，如图12所示，所述电子设备包括一TOF相机600和所述用于深度数据的去飞点系统1，其中所述用于深度数据的去飞点系统1被配置于所述TOF相机600，用于去除经由所述TOF相机600采集的原始深度数据中的飞点，以获得去飞点后的深度数据。

示意性计算程序产品

除了上述方法和设备以外，本发明的实施例还可以是计算程序产品，其包括计算程序指令，所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的方法中的步骤。

所述计算程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本发明的实施例还可以是计算可读存储介质，其上存储有计算程序指令，所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述方法中的步骤。

所述计算可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本邻域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

提供所公开的方面的以上描述以使本邻域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本邻域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

本邻域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (16)

1.用于深度数据的去飞点方法，其特征在于，包括步骤：

对获取的原始深度数据进行边缘检测处理，以得到深度边缘数据；

对该原始深度数据进行波动检测处理，以得到深度波动数据；

根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据；以及

基于该飞点标志数据，对该原始深度数据进行去除飞点处理，以得到去飞点后的深度数据；

其中，所述对该原始深度数据进行波动检测处理，以得到深度波动数据的步骤，包括步骤：

获取该原始深度数据中各个像素点所对应的深度波动阈值；

依次以该原始深度数据中每个像素点作为中心像素点来构建奇数*奇数邻域；以及

在每个所述奇数*奇数邻域中，统计与该中心像素点对应的深度波动点的数量，以得到深度波动统计数据，其中该深度波动点与该中心像素点之间深度值的绝对差值大于与该中心像素点对应的深度波动阈值；

其中，所述根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据的步骤，包括步骤：

遍历该原始深度数据中每个像素点，以依次作为候选飞点来构建飞点判断邻域；

基于该深度边缘数据和该深度波动数据，在该飞点判断邻域内搜索在该深度边缘数据中边缘像素值大于零的像素点和在所述深度波动数据中波动像素值大于等于预定的数量阈值的像素点；

响应于该飞点判断邻域内同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，将该候选飞点确认为该飞点标志数据中的飞点；以及

响应于该飞点判断邻域内不同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，从该飞点标志数据中剔除该候选飞点。

2.如权利要求1所述的用于深度数据的去飞点方法，其中，所述对获取的原始深度数据进行边缘检测处理，以得到深度边缘数据的步骤，包括步骤：

通过滚动导向滤波器对该原始深度数据进行滚动滤波处理，以得到滚动滤波后的深度数据；

对该滚动滤波后的深度数据进行空洞深度值补全处理，以得到补全后的深度数据；以及

对该补全后的深度数据进行边缘提取处理，以获得该深度边缘数据。

3.如权利要求2所述的用于深度数据的去飞点方法，其中，所述对该滚动滤波后的深度数据进行空洞深度值补全处理，以得到补全后的深度数据的步骤，包括步骤：

依次以该滚动滤波后的深度数据中深度值为零的像素点作为当前像素点，建立邻域窗口；

在该邻域窗口中，分别统计深度值不为零的像素点的个数和每个非零深度值出现的频次，以得到非零像素点的统计个数和频次最高的非零深度值；

响应于该非零像素点的统计个数大于等于预设的个数阈值，用该频次最高的非零深度值替换该当前像素点的原深度值；以及

响应于该非零像素点的统计个数小于该预设的个数阈值，保留该当前像素点的原深度值。

4.如权利要求2所述的用于深度数据的去飞点方法，其中，所述对该滚动滤波后的深度数据进行空洞深度值补全处理，以得到补全后的深度数据的步骤，包括步骤：

依次以该滚动滤波后的深度数据中深度值为零的像素点作为当前像素点，建立5*5邻域窗口；

在该5*5邻域窗口中，分别统计深度值不为零的内邻域像素点的个数、深度值不为零的外邻域像素点的个数以及每个非零深度值的频次，以得到内邻域像素点的统计个数、外邻域像素点的统计个数以及频次最高的非零深度值，其中该5*5邻域窗口中具有八个内邻域像素点和十六个外邻域像素点；

响应于该内邻域像素点的统计个数大于等于预设的内邻域个数阈值和/或该外邻域像素点的统计个数大于等于预设的外邻域个数阈值，用该频次最高的非零深度值替换该当前像素点的原深度值；以及

响应于该内邻域像素点的统计个数小于该预设的内邻域个数阈值且该外邻域像素点的统计个数小于预设的外邻域个数阈值，保留该当前像素点的原深度值。

5.如权利要求3或4所述的用于深度数据的去飞点方法，其中，所述对该补全后的深度数据进行边缘提取处理，以获得该深度边缘数据的步骤，包括步骤：

对该补全后的深度数据进行归一化处理，以得到相应的深度灰度图；

通过高斯滤波器对该深度灰度图进行滤波处理，以得到滤波后的深度灰度图；以及

通过Canny算子从该滤波后的深度灰度图中提取边缘数据，以获得该深度边缘数据。

6.如权利要求1至4中任一所述的用于深度数据的去飞点方法，其中，所述对该原始深度数据进行波动检测处理，以得到深度波动数据的步骤，进一步包括步骤：

对该深度波动统计数据进行归一化处理，以得到归一化的深度波动数据；

通过形态学运算对该归一化的深度波动数据进行腐蚀处理，以得到腐蚀处理后的深度波动数据；以及

对该腐蚀处理后的深度波动数据进行反归一化处理，以得到该深度波动数据。

7.如权利要求6所述的用于深度数据的去飞点方法，其中，所述获取该原始深度数据中各个像素点所对应的深度波动阈值的步骤，包括步骤：

遍历该原始深度数据中每个像素点，以依次作为当前像素点来比较该当前像素点的深度值分别与预设的最小深度值阈值和预设的最大深度值阈值的大小；

响应于该当前像素点的深度值小于等于该预设的最小深度值阈值，将预设的最小深度波动阈值确定为与该当前像素点对应的深度波动阈值；

响应于该当前像素点的深度值大于等于该预设的最大深度值阈值，将预设的最大深度波动阈值确定为与该当前像素点对应的深度波动阈值；以及

响应于该当前像素点的深度值大于该预设的最小深度值阈值且小于该预设的最大深度值阈值，基于该预设的最小深度波动阈值和该预设的最大深度波动阈值进行线性插值处理，以确定与该当前像素点对应的深度波动阈值。

8.如权利要求1至4中任一所述的用于深度数据的去飞点方法，其中，所述基于该飞点标志数据，对该原始深度数据进行去除飞点处理，以得到去飞点后的深度数据的步骤，包括步骤：

对该飞点标志数据进行形态学闭运算处理，以得到闭运算处理后的飞点标志数据；和

基于该闭运算处理后的飞点标志数据中像素值为一的像素点，将该原始深度数据中对应像素点的像素值置为零，以去除该原始深度数据中的飞点，进而获得该去飞点后的深度数据。

9.如权利要求1至4中任一所述的用于深度数据的去飞点方法，进一步包括步骤：

通过查找该原始深度数据中预定比例的分位数，将该原始深度数据中所有大于该预定比例的分位数的深度值均置为零，以剔除该原始深度数据中的误差数据。

10.用于深度数据的去飞点系统，其特征在于，包括相互可通信地连接的：

一边缘检测模块，用于对获取的原始深度数据进行边缘检测处理，以得到深度边缘数据；

一波动检测模块，用于对该原始深度数据进行波动检测处理，以得到深度波动数据；

一飞点检测模块，用于根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据；以及

一去飞点处理模块，用于基于该飞点标志数据，对该原始深度数据进行去除飞点处理，以得到去飞点后的深度数据；

其中，所述波动检测模块包括相互可通信地连接的一波动阀值获取模块、一邻域构建模块以及一波动统计模块，其中所述波动阀值获取模块用于获取该原始深度数据中各个像素点所对应的深度波动阈值；其中所述邻域构建模块用于依次以该原始深度数据中每个像素点作为中心像素点来构建奇数*奇数邻域；其中所述波动统计模块用于在每个所述奇数*奇数邻域中，统计与该中心像素点对应的深度波动点的数量，以得到深度波动统计数据，其中该深度波动点与该中心像素点之间深度值的绝对差值大于与该中心像素点对应的深度波动阈值；

其中，所述飞点检测模块包括相互可通信地连接的一遍历模块、一搜索模块、一确认模块以及一剔除模块，其中所述遍历模块用于遍历该原始深度数据中每个像素点，以依次作为候选飞点来构建飞点判断邻域；其中所述搜索模块用于基于该深度边缘数据和该深度波动数据，在该飞点判断邻域内搜索在该深度边缘数据中边缘像素值大于零的像素点和在所述深度波动数据中波动像素值大于等于预定的数量阈值的像素点；其中所述确认模块用于响应于该飞点判断邻域内同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，将该候选飞点确认为该飞点标志数据中的飞点；其中所述剔除模块用于响应于该飞点判断邻域内不同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，从该飞点标志数据中剔除该候选飞点。

11.如权利要求10所述的用于深度数据的去飞点系统，其中，所述边缘检测模块包括相互可通信地连接的一滚动导向滤波模块、一深度值补全模块以及一边缘提取模块，其中所述滚动导向滤波模块用于通过滚动导向滤波器对该原始深度数据进行滚动滤波处理，以得到滚动滤波后的深度数据；其中所述深度值补全模块用于对该滚动滤波后的深度数据进行空洞深度值补全处理，以得到补全后的深度数据；其中所述边缘提取模块用于对该补全后的深度数据进行边缘提取处理，以获得该深度边缘数据。

12.如权利要求10或11所述的用于深度数据的去飞点系统，其中，所述波动检测模块进一步包括相互可通信地连接的一归一化处理模块、一腐蚀处理模块以及一反归一化处理模块，其中所述归一化处理模块用于对该深度波动统计数据进行归一化处理，以得到归一化的深度波动数据；其中所述腐蚀处理模块用于通过形态学运算对该归一化的深度波动数据进行腐蚀处理，以得到腐蚀处理后的深度波动数据；其中所述反归一化处理模块用于对该腐蚀处理后的深度波动数据进行反归一化处理，以得到该深度波动数据。

13.如权利要求10或11所述的用于深度数据的去飞点系统，其中，所述去飞点处理模块包括相互可通信地连接的一闭运算处理模块和一飞点去除模块，其中所述闭运算处理模块用于对该飞点标志数据进行形态学闭运算处理，以得到闭运算处理后的飞点标志数据；其中所述飞点去除模块用于基于该闭运算处理后的飞点标志数据中像素值为一的像素点，将该原始深度数据中对应像素点的像素值置为零，以去除该原始深度数据中的飞点，进而获得该去飞点后的深度数据。

14.如权利要求10或11所述的用于深度数据的去飞点系统，进一步包括一预处理模块，其中所述预处理模块用于通过查找该原始深度数据中预定比例的分位数，将该原始深度数据中所有大于该预定比例的分位数的深度值均置为零，以剔除该原始深度数据中的误差数据。

15.电子设备，其特征在于，包括：

至少一处理器，用于执行指令；和

与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行用于深度数据的去飞点方法中的全部步骤，其中所述用于深度数据的去飞点方法包括步骤：

对获取的原始深度数据进行边缘检测处理，以得到深度边缘数据；

对该原始深度数据进行波动检测处理，以得到深度波动数据；

根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据；以及

基于该飞点标志数据，对该原始深度数据进行去除飞点处理，以得到去飞点后的深度数据；

其中，所述对该原始深度数据进行波动检测处理，以得到深度波动数据的步骤，包括步骤：

获取该原始深度数据中各个像素点所对应的深度波动阈值；

依次以该原始深度数据中每个像素点作为中心像素点来构建奇数*奇数邻域；以及

在每个所述奇数*奇数邻域中，统计与该中心像素点对应的深度波动点的数量，以得到深度波动统计数据，其中该深度波动点与该中心像素点之间深度值的绝对差值大于与该中心像素点对应的深度波动阈值；

其中，所述根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据的步骤，包括步骤：

遍历该原始深度数据中每个像素点，以依次作为候选飞点来构建飞点判断邻域；

基于该深度边缘数据和该深度波动数据，在该飞点判断邻域内搜索在该深度边缘数据中边缘像素值大于零的像素点和在所述深度波动数据中波动像素值大于等于预定的数量阈值的像素点；

响应于该飞点判断邻域内同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，将该候选飞点确认为该飞点标志数据中的飞点；以及

响应于该飞点判断邻域内不同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，从该飞点标志数据中剔除该候选飞点。

16.电子设备，其特征在于，包括：

一TOF相机；和

一用于深度数据的去飞点系统，其中所述用于深度数据的去飞点系统被配置于所述TOF相机，用于去除经由所述TOF相机采集的原始深度数据中的飞点，其中所述用于深度数据的去飞点系统包括依次可通信地连接的：

一边缘检测模块，用于对该原始深度数据进行边缘检测处理，以得到深度边缘数据；

一波动检测模块，用于对该原始深度数据进行波动检测处理，以得到深度波动数据；

一飞点检测模块，用于根据该深度边缘数据和该深度波动数据，对该原始深度数据进行飞点检测处理，以得到飞点标志数据；以及

一去飞点处理模块，用于基于该飞点标志数据，对该原始深度数据进行去除飞点处理，以得到去飞点后的深度数据；

其中，所述波动检测模块包括相互可通信地连接的一波动阀值获取模块、一邻域构建模块以及一波动统计模块，其中所述波动阀值获取模块用于获取该原始深度数据中各个像素点所对应的深度波动阈值；其中所述邻域构建模块用于依次以该原始深度数据中每个像素点作为中心像素点来构建奇数*奇数邻域；其中所述波动统计模块用于在每个所述奇数*奇数邻域中，统计与该中心像素点对应的深度波动点的数量，以得到深度波动统计数据，其中该深度波动点与该中心像素点之间深度值的绝对差值大于与该中心像素点对应的深度波动阈值；

其中，所述飞点检测模块包括相互可通信地连接的一遍历模块、一搜索模块、一确认模块以及一剔除模块，其中所述遍历模块用于遍历该原始深度数据中每个像素点，以依次作为候选飞点来构建飞点判断邻域；其中所述搜索模块用于基于该深度边缘数据和该深度波动数据，在该飞点判断邻域内搜索在该深度边缘数据中边缘像素值大于零的像素点和在所述深度波动数据中波动像素值大于等于预定的数量阈值的像素点；其中所述确认模块用于响应于该飞点判断邻域内同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，将该候选飞点确认为该飞点标志数据中的飞点；其中所述剔除模块用于响应于该飞点判断邻域内不同时存在该边缘像素值大于零的像素点和该波动像素值大于等于预定的数量阈值的像素点，从该飞点标志数据中剔除该候选飞点。

Images