CN110390656B - 深度数据的滤波方法、装置、电子设备和可读存储介质 - Google Patents
深度数据的滤波方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN110390656B CN110390656B CN201910626062.6A CN201910626062A CN110390656B CN 110390656 B CN110390656 B CN 110390656B CN 201910626062 A CN201910626062 A CN 201910626062A CN 110390656 B CN110390656 B CN 110390656B
- Authority
- CN
- China
- Prior art keywords
- preset
- reflectivity
- pixel point
- environment change
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000008859 change Effects 0.000 claims abstract description 134
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000009499 grossing Methods 0.000 claims abstract description 21
- 238000002310 reflectometry Methods 0.000 claims description 135
- 238000004590 computer program Methods 0.000 claims description 7
- 230000010363 phase shift Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims 3
- 238000005259 measurement Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010587 phase diagram Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种深度数据的滤波方法、装置、电子设备和可读存储介质，其中，方法包括：标记第一环境变化区域和第二环境变化区域，确定与第一环境变化区域中各个像素点对应的第一相似度权重；确定与第二环境变化区域中各个像素点对应的第二相似度权重；根据第一相似度权重对第一环境变化区域进行滤波处理，以及根据第二相似度权重对第二环境变化区域进行滤波处理。由此，解决了现有技术中导致时间一致性滤波平滑性不足，造成深度数据在时间域抖动较大的技术问题，通过将深度图分为两个环境变化区域，并分区域选择不同的策略进行平滑处理，有效的使深度平缓变化区域在时间维度上深度值更为平滑，而深度快速变化区域又保持了原来的高动态性。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种深度数据的滤波方法、装置、电子设备和可读存储介质。
背景技术
通常，ToF(Time of Flight)传感器通过计算脉冲信号的飞行时间来确定传感器和物体之间的距离，由于测量过程中存在着各类不确定性，带来了多种误差，并且这些误差具有很大的随机性，造成了在测量范围内ToF的深度测量误差大约为1％。
在实际系统中，可以接受上述测量误差，但是希望传感器在有限的时间内可以达到时间一致性，相关技术中，时间一致性滤波器是针对全画幅内的所有像素点进行滤波，导致时间一致性滤波平滑性不足，造成深度数据在时间域抖动较大。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的深度数据的滤波方法、装置、电子设备和可读存储介质，能够解决了现有技术中导致时间一致性滤波平滑性不足，造成深度数据在时间域抖动较大的技术问题。
本发明第一方面实施例提出一种深度数据的滤波方法，包括：
获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移；
将所述反射率小于预设第一反射率阈值，且所述相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域；
将所述反射率大于等于预设第二反射率阈值，且所述相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域；其中，所述预设第一反射率阈值小于等于所述预设第二反射率阈值，所述预设第一相位偏移阈值小于等于所述预设第二相位偏移阈值；
根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与所述第一环境变化区域中各个像素点对应的第一相似度权重；
根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和所述当前帧像素点深度误差值生成与所述第二环境变化区域中各个像素点对应的第二相似度权重；
根据所述第一相似度权重对所述第一环境变化区域进行滤波处理，以及根据所述第二相似度权重对所述第二环境变化区域进行滤波处理。
为达上述目的，本发明第二方面实施例提出了一种深度数据的滤波装置，包括：
获取模块，用于获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移；
第一标记模块，用于将所述反射率小于预设第一反射率阈值，且所述相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域；
第二标记模块，用于将所述反射率大于等于预设第二反射率阈值，且所述相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域；其中，所述预设第一反射率阈值小于等于所述预设第二反射率阈值，所述预设第一相位偏移阈值小于等于所述预设第二相位偏移阈值；
第一处理模块，用于根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与所述第一环境变化区域中各个像素点对应的第一相似度权重；
第二处理模块，用于根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和所述当前帧像素点深度误差值生成与所述第二环境变化区域中各个像素点对应的第二相似度权重；
生成模块，用于根据所述第一相似度权重对所述第一环境变化区域进行滤波处理，以及根据所述第二相似度权重对所述第二环境变化区域进行滤波处理。
本申请第三方面实施例提出了一种电子设备，图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如权利要求1-7中任一所述的深度数据的滤波方法。
为达上述目的，本发明第四个方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如前述方法实施例所述的深度数据的滤波方法。
本发明提供的技术方案，至少包括如下有益效果：
通过获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移；将反射率小于预设第一反射率阈值，且相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域；将反射率大于等于预设第二反射率阈值，且相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域；其中，预设第一反射率阈值小于等于预设第二反射率阈值，预设第一相位偏移阈值小于等于预设第二相位偏移阈值；根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第一环境变化区域中各个像素点对应的第一相似度权重；根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第二环境变化区域中各个像素点对应的第二相似度权重；根据第一相似度权重对第一环境变化区域进行滤波处理，以及根据第二相似度权重对第二环境变化区域进行滤波处理。由此，有效解决了现有技术中导致时间一致性滤波平滑性不足，造成深度数据在时间域抖动较大的技术问题，通过将深度图分为两个环境变化区域，并分区域选择不同的策略进行平滑处理，有效的使深度平缓变化区域在时间维度上深度值更为平滑，而深度快速变化区域又保持了原来的高动态性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种深度获取方法的流程示意图；
图2为本申请实施例所提供的一种深度数据的滤波方法的流程示意图；
图3为本申请实施例所提供的一种获取原始深度值的示意图；
图4为本申请实施例所提供的另一种深度数据的滤波方法的流程示意图；
图5是根据本申请一个实施例的一种深度数据的滤波装置的结构示意图；
图6是根据本申请一个实施例的另一种深度数据的滤波装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
具体地，ToF传感器通过计算脉冲信号的飞行时间来确定传感器和物体之间的距离，比如
其中d为深度，c为光速，t表示飞行时间；除以2是因为脉冲信号在传感器和物体之间内飞行了两次，基于上述背景技术的描述，可以了解到针对ToF深度数据的时间一致性滤波非常重要，ToF每一帧图像深度的获取方式如图1所示，ToF传感器发射经过调制的脉冲信号，待测量物体表面接收到脉冲信号并反射信号，然后ToF传感器接收到反射信号，并对多频相位图解码，接着根据标定参数对ToF数据进行误差修正，然后对多频信号去混叠，并将深度值由径向坐标系转换到笛卡尔坐标系，最后对深度值进行时间一致性滤波，输出时间维度上相对平滑的深度结果。
但是，上述方式会导致时间一致性滤波平滑性不足，造成深度数据在时间域抖动较大的技术问题，通过将深度图分为两个环境变化区域，并分区域选择不同的策略进行平滑处理，有效的使深度平缓变化区域在时间维度上深度值更为平滑，而深度快速变化区域又保持了原来的高动态性，具体如下：
下面参考附图描述本发明实施例的深度数据的滤波方法、装置、电子设备和可读存储介质。
图2为本申请实施例所提供的一种深度数据的滤波方法的流程示意图。如图2所示，该方法包括以下步骤：
步骤101，获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移。
具体地，可以获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移，可以理解的是，前后帧深度图测量点材质差别，也就是说该像素点在当前帧深度图与上一帧深度图之间的反射率；前后帧测量点的环境光影响差别，也就是像素点在当前帧深度图与上一帧深度图之间的相位偏移。
步骤102，将反射率小于预设第一反射率阈值，且相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域。
具体地，针对每一个像素点将其反射率和相位偏移分别与预设第一反射率阈值和预设第一相位偏移阈值进行比较，在将反射率小于预设第一反射率阈值，且相位偏移小于预设第一相位偏移阈值时确定该像素点属于第一环境变化区域，需要说明的是，本申请实施例中，第一环境变化区域是环境缓慢变化区域，具有比较高的平滑性。
由此，将反射率小于预设第一反射率阈值，且相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域。
步骤103，将反射率大于等于预设第二反射率阈值，且相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域。
具体地，针对每一个像素点将其反射率和相位偏移分别与预设第一反射率阈值和预设第一相位偏移阈值进行比较，在反射率大于等于预设第二反射率阈值，且相位偏移大于等于预设第二相位偏移阈值时确定该像素点属于第二环境变化区域，需要说明的是，本申请实施例中，第二环境变化区域是相对于第一环境变化区域来说是环境快速变化区域，具有低平滑性。
由此，将反射率大于等于预设第二反射率阈值，且相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域。其中，预设第一反射率阈值小于等于预设第二反射率阈值，预设第一相位偏移阈值小于等于预设第二相位偏移阈值。
步骤104，根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第一环境变化区域中各个像素点对应的第一相似度权重。
步骤105，根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第二环境变化区域中各个像素点对应的第二相似度权重。
步骤106，根据第一相似度权重对第一环境变化区域进行滤波处理，以及根据第二相似度权重对第二环境变化区域进行滤波处理。
因此，在确定好第一环境变化区域和第二环境变化区域后，需要分区域进行平滑处理，首先根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第一环境变化区域中各个像素点对应的第一相似度权重，以及根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第二环境变化区域中各个像素点对应的第二相似度权重。
具体地，首先需要获取当前帧深度图中每一个像素对应的深度值，具体地，如图3所示，首先ToF传感器采集原始相位图，单频模式下为四相位图，双频模式下为八相位图，接着由原始相位图计算每个像素点的I(相位余弦)Q(相位正弦)信号，并根据IQ信号计算每个像素点的相位和置信度，其中，置信度表示该像素点相位值的可信度，是该像素点能量大小的反应。
进一步地，根据ToF离线标定的内参在线修正几种误差，包括循环误差，温度误差，梯度误差，视差误差等，以及在双频去混叠前进行前滤波，分别过滤各频率模式下的噪声，进行双频去混叠，确定每个像素点的真实周期数，最后对去混叠结果进行后滤波，将深度值由径向坐标系转换到笛卡尔坐标系，也就是说上述预设坐标系优选笛卡尔坐标系。
其中，应用预设公式根据每个像素点的反射率、相位偏移、预设原始平滑系数和当前帧像素点深度误差值生成相似度权重。
其中，预设公式为：
其中，s为预设原始平滑系数，diff1为反射率，diff2为相位偏移，σ为当前帧像素点深度误差值。
需要说明的是，预设原始平滑系数是根据时间一致性滤波设置的原始经验值。
可以理解的是，第一环境变化区域也就是环境缓慢变化区域，具有比较高的平滑性，也就是可信度比较高，需要将预设原始平滑系数进行放大处理，从而提高第一相似度权重。
进一步地，可以通过上述公式根根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第一环境变化区域中各个像素点对应的第一相似度权重。
其中，根据第一相似度权重对第一环境变化区域进行滤波处理的方式有很多种，比如直接根据第一相似度权重与像素点在相邻帧深度图对应的深度值进行处理，还是接着确定出第三相似度，结合第一相似度权重、第三相似度和像素点在相邻帧深度图对应的深度值进行处理。
作为一种可能实现方式，获取第一环境变化区域中每个像素点在预设坐标系下对应的上一帧第一原始深度值和当前帧第一原始深度值；将第一相似度权重与上一帧第一原始深度值的乘积和第三相似度权重与当前帧第一原始深度值的乘积进行相加处理得到第一环境变化区域中每个像素点对应的第一当前帧深度值；其中，第一相似度权重和第三相似度权重的和为1。
同理，第二环境变化区域也就是环境快速变化区域，具有比较低的平滑性，也就是可信度比较低，需要将预设原始平滑系数进行缩小处理，从而将第二相似度权重。
进一步地，也可以根据上述公式根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第二环境变化区域中各个像素点对应的第二相似度权重。
其中，根据第二相似度权重对第二环境变化区域进行滤波处理的方式有很多种，比如直接根据第二相似度权重与像素点在相邻帧深度图对应的深度值进行处理，还是接着确定出第四相似度，结合第二相似度权重、第四相似度和像素点在相邻帧深度图对应的深度值进行处理，可以根据实际应用需要进行选择。
作为一种可能实现方式，获取第二环境变化区域中每个像素点在预设坐标系下对应的上一帧第二原始深度值和当前帧第二原始深度值；将第二相似度权重与上一帧第二原始深度值的乘积和第四相似度权重与当前帧第二原始深度值的乘积进行相加处理得到第二环境变化区域中每个像素点对应的第二当前帧深度值，其中，第二相似度权重和第四相似度权重的和为1。
综上，本发明实施例的深度数据的滤波方法，通过获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移；将反射率小于预设第一反射率阈值，且相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域；将反射率大于等于预设第二反射率阈值，且相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域；其中，预设第一反射率阈值小于等于预设第二反射率阈值，预设第一相位偏移阈值小于等于预设第二相位偏移阈值；根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第一环境变化区域中各个像素点对应的第一相似度权重；根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第二环境变化区域中各个像素点对应的第二相似度权重；根据第一相似度权重对第一环境变化区域进行滤波处理，以及根据第二相似度权重对第二环境变化区域进行滤波处理。由此，有效解决了现有技术中导致时间一致性滤波平滑性不足，造成深度数据在时间域抖动较大的技术问题，通过将深度图分为两个环境变化区域，并分区域选择不同的策略进行平滑处理，有效的使深度平缓变化区域在时间维度上深度值更为平滑，而深度快速变化区域又保持了原来的高动态性。
图4为本申请实施例所提供的另一种深度数据的滤波方法的流程示意图。如图4所示，该方法包括以下步骤：
步骤201，获取每一个像素点在当前帧深度图和上一帧深度图之间的反射率和相位偏移。
具体地，判断每一个像素点是否前后帧间环境变化较小，其中，环境变化较小包括前后帧测量点材质差别，具体表现为该像素点反射率；前后帧测量点的环境光影响差别，具体表现为该像素点的相位偏移。
因此，获取每一个像素点在当前帧深度图和上一帧深度图之间的反射率，获取每一个像素点在当前帧深度图和上一帧深度图之间的相位偏移。
步骤202，将反射率小于预设第一反射率阈值，且相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域，对第一环境变化区域标记对应的第一区域掩码。
进一步地，将反射率小于预设第一反射率阈值，且相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域，其中，通过对第一环境变化区域标记对应的第一区域掩码，以方便后续进行平滑处理时能够根据分区域掩码快速识别对应的区域。
步骤203，将反射率大于等于预设第二反射率阈值，且相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域，对第二环境变化区域标记对应的第二区域掩码。
进一步对，将反射率大于等于预设第二反射率阈值，且相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域，其中，通过对第二环境变化区域标记对应的第二区域掩码，以方便后续进行平滑处理时能够根据分区域掩码快速识别对应的区域。
可以理解的是，若该像素点属于环境缓慢变化区域即第一环境变化区域，则应具有高平滑性，否则应为低平滑性。
步骤204，根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第一环境变化区域中各个像素点对应的第一相似度权重。
步骤205，获取第一环境变化区域中每个像素点在预设坐标系下对应的上一帧第一原始深度值和当前帧第一原始深度值；将第一相似度权重与上一帧第一原始深度值的乘积和第三相似度权重与当前帧第一原始深度值的乘积进行相加处理得到第一环境变化区域中每个像素点对应的第一当前帧深度值；其中，第一相似度权重和第三相似度权重的和为1。
步骤206，根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第二环境变化区域中各个像素点对应的第二相似度权重。
步骤207，获取第二环境变化区域中每个像素点在预设坐标系下对应的上一帧第二原始深度值和当前帧第二原始深度值；将第二相似度权重与上一帧第二原始深度值的乘积和第四相似度权重与当前帧第二原始深度值的乘积进行相加处理得到第二环境变化区域中每个像素点对应的第二当前帧深度值，其中，第二相似度权重和第四相似度权重的和为1。
其中，预设坐标系为笛卡尔坐标系，一个像素点当前帧深度图的深度值＝上一帧深度图的深度*w1+当前帧深度图的原始深度*w2。
其中，w1的公式为
s为预设原始平滑系数，该点属于环境缓慢变化区域，对预设原始平滑系数进行放大处理生成第一相似度权重，否则对预设原始平滑系数进行缩小处理生成第二相似度权重；diff1为第一反射率，表示该点在前后帧之间反射率差。
需要说明的是，同时需要该点反射率大于一个反射率阈值才会计算diff1，否则w1＝0；diff2表示前后帧之间相位偏移差，σ为当前帧像素点深度误差值，σ＝dep*1％，dep为当前帧深度图的原始深度。
由此，基于深度变化区域检测的深度时间一致性滤波，着重从时间维度上对深度图进行预处理，为后续ToF深度图相关应用如手势识别，三维建模，体感游戏等提供了时间维度上更为平滑稳定的深度数据，实现更好的应用体验。
综上，本发明实施例的深度数据的滤波方法，通过获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移；将反射率小于预设第一反射率阈值，且相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域；将反射率大于等于预设第二反射率阈值，且相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域；其中，预设第一反射率阈值小于等于预设第二反射率阈值，预设第一相位偏移阈值小于等于预设第二相位偏移阈值；根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第一环境变化区域中各个像素点对应的第一相似度权重；根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第二环境变化区域中各个像素点对应的第二相似度权重；根据第一相似度权重对第一环境变化区域进行滤波处理，以及根据第二相似度权重对第二环境变化区域进行滤波处理。由此，有效解决了现有技术中导致时间一致性滤波平滑性不足，造成深度数据在时间域抖动较大的技术问题，通过将深度图分为两个环境变化区域，并分区域选择不同的策略进行平滑处理，有效的使深度平缓变化区域在时间维度上深度值更为平滑，而深度快速变化区域又保持了原来的高动态性。
为了实现上述实施例，本发明还提出一种深度数据的滤波装置，如图5所示，深度数据的滤波装置包括：获取模块501、第一标记模块502、第二标记模块503、第一生成模块504、第二生成模块505和处理模块506。
其中，获取模块501，用于获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移。
第一标记模块502，用于将所述反射率小于预设第一反射率阈值，且所述相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域。
第二标记模块503，用于将所述反射率大于等于预设第二反射率阈值，且所述相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域；其中，所述预设第一反射率阈值小于等于所述预设第二反射率阈值，所述预设第一相位偏移阈值小于等于所述预设第二相位偏移阈值。
第一生成模块504，用于根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与所述第一环境变化区域中各个像素点对应的第一相似度权重。
第二生成模块505，用于根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和所述当前帧像素点深度误差值生成与所述第二环境变化区域中各个像素点对应的第二相似度权重。
处理模块506，用于根据所述第一相似度权重对所述第一环境变化区域进行滤波处理，以及根据所述第二相似度权重对所述第二环境变化区域进行滤波处理。
在本发明的一个实施例中，如图6所示，在如图5所示的基础上，该装置还包括：第一掩码处理模块507和第二掩码处理模块508，其中，
第一掩码处理模块507，用于对所述第一环境变化区域标记对应的第一区域掩码。
第二掩码处理模块508，用于对所述第二环境变化区域标记对应的第二区域掩码。
在本发明的一个实施例中，处理模块506，具体用于获取所述第一环境变化区域中每个像素点在预设坐标系下对应的上一帧第一原始深度值和当前帧第一原始深度值；将所述第一相似度权重与所述上一帧第一原始深度值的乘积和第三相似度权重与当前帧第一原始深度值的乘积进行相加处理得到所述第一环境变化区域中每个像素点对应的第一当前帧深度值；其中，所述第一相似度权重和所述第三相似度权重的和为1。
在本发明的一个实施例中，处理模块506，具体用于获取所述第二环境变化区域中每个像素点在预设坐标系下对应的上一帧第二原始深度值和当前帧第二原始深度值；将所述第二相似度权重与所述上一帧第二原始深度值的乘积和第四相似度权重与当前帧第二原始深度值的乘积进行相加处理得到所述第二环境变化区域中每个像素点对应的第二当前帧深度值，其中，所述第二相似度权重和所述第四相似度权重的和为1。
在本发明的一个实施例中，应用预设公式根据每个像素点的反射率、相位偏移、预设原始平滑系数和当前帧像素点深度误差值生成相似度权重。
在本发明的一个实施例中，预设公式为：
其中，s为预设原始平滑系数，diff1为所述反射率，diff2为所述相位偏移，σ为所述当前帧像素点深度误差值。
需要说明的是，前述集中在深度数据的滤波方法实施例中描述的驱动组件和滑动组件，也适用于本发明实施例的深度数据的滤波装置，在此不再对其实施细节和技术效果赘述。
综上，本发明实施例的深度数据的滤波装置，通过获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移；将反射率小于预设第一反射率阈值，且相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域；将反射率大于等于预设第二反射率阈值，且相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域；其中，预设第一反射率阈值小于等于预设第二反射率阈值，预设第一相位偏移阈值小于等于预设第二相位偏移阈值；根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第一环境变化区域中各个像素点对应的第一相似度权重；根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和当前帧像素点深度误差值生成与第二环境变化区域中各个像素点对应的第二相似度权重；根据第一相似度权重对第一环境变化区域进行滤波处理，以及根据第二相似度权重对第二环境变化区域进行滤波处理。由此，有效解决了现有技术中导致时间一致性滤波平滑性不足，造成深度数据在时间域抖动较大的技术问题，通过将深度图分为两个环境变化区域，并分区域选择不同的策略进行平滑处理，有效的使深度平缓变化区域在时间维度上深度值更为平滑，而深度快速变化区域又保持了原来的高动态性。
为了实现上述实施例，本发明还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述实施例描述的深度数据的滤波方法。
为了实现上述实施例，本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述方法实施例所述的深度数据的滤波方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种深度数据的滤波方法，其特征在于，包括以下步骤：
获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移；
将所述反射率小于预设第一反射率阈值，且所述相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域；
将所述反射率大于等于预设第二反射率阈值，且所述相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域；其中，所述预设第一反射率阈值小于等于所述预设第二反射率阈值，所述预设第一相位偏移阈值小于等于所述预设第二相位偏移阈值；
根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与所述第一环境变化区域中各个像素点对应的第一相似度权重；
根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和所述当前帧像素点深度误差值生成与所述第二环境变化区域中各个像素点对应的第二相似度权重；
根据所述第一相似度权重对所述第一环境变化区域进行滤波处理，以及根据所述第二相似度权重对所述第二环境变化区域进行滤波处理。
2.如权利要求1所述的方法，其特征在于，在所述将所述反射率小于预设第一反射率阈值，且所述相位偏移小于预设第一相位偏移的各个像素点标记为第一环境变化区域之后，还包括：
对所述第一环境变化区域标记对应的第一区域掩码。
3.如权利要求1所述的方法，其特征在于，在所述将所述反射率大于等于预设第二反射率阈值，且所述相位偏移大于等于预设第二相位偏移的各个像素点标记为第二环境变化区域之后，还包括：
对所述第二环境变化区域标记对应的第二区域掩码。
4.如权利要求1所述的方法，其特征在于，所述根据所述第一相似度权重对所述第一环境变化区域进行滤波处理，包括：
获取所述第一环境变化区域中每个像素点在预设坐标系下对应的上一帧第一原始深度值和当前帧第一原始深度值；
将所述第一相似度权重与所述上一帧第一原始深度值的乘积和第三相似度权重与当前帧第一原始深度值的乘积进行相加处理得到所述第一环境变化区域中每个像素点对应的第一当前帧深度值；其中，所述第一相似度权重和所述第三相似度权重的和为1。
5.如权利要求1所述的方法，其特征在于，所述根据所述第二相似度权重对所述第二环境变化区域进行滤波处理，包括：
获取所述第二环境变化区域中每个像素点在预设坐标系下对应的上一帧第二原始深度值和当前帧第二原始深度值；
将所述第二相似度权重与所述上一帧第二原始深度值的乘积和第四相似度权重与当前帧第二原始深度值的乘积进行相加处理得到所述第二环境变化区域中每个像素点对应的第二当前帧深度值，其中，所述第二相似度权重和所述第四相似度权重的和为1。
6.如权利要求1所述的方法，其特征在于，
应用预设公式根据每个像素点的反射率、相位偏移、预设原始平滑系数和当前帧像素点深度误差值生成相似度权重。
7.如权利要求6所述的方法，其特征在于，所述预设公式为：
8.一种深度数据的滤波装置，其特征在于，包括：
获取模块，用于获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移；
第一标记模块，用于将所述反射率小于预设第一反射率阈值，且所述相位偏移小于预设第一相位偏移阈值的各个像素点标记为第一环境变化区域；
第二标记模块，用于将所述反射率大于等于预设第二反射率阈值，且所述相位偏移大于等于预设第二相位偏移阈值的各个像素点标记为第二环境变化区域；其中，所述预设第一反射率阈值小于等于所述预设第二反射率阈值，所述预设第一相位偏移阈值小于等于所述预设第二相位偏移阈值；
第一处理模块，用于根据每个像素点的反射率、相位偏移、放大处理后的预设原始平滑系数和当前帧像素点深度误差值生成与所述第一环境变化区域中各个像素点对应的第一相似度权重；
第二处理模块，用于根据每个像素点的反射率、相位偏移、缩小处理后的预设原始平滑系数和所述当前帧像素点深度误差值生成与所述第二环境变化区域中各个像素点对应的第二相似度权重；
生成模块，用于根据所述第一相似度权重对所述第一环境变化区域进行滤波处理，以及根据所述第二相似度权重对所述第二环境变化区域进行滤波处理。
9.一种电子设备，其特征在于，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如权利要求1-7中任一所述的深度数据的滤波方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的深度数据的滤波方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910626062.6A CN110390656B (zh) | 2019-07-11 | 2019-07-11 | 深度数据的滤波方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910626062.6A CN110390656B (zh) | 2019-07-11 | 2019-07-11 | 深度数据的滤波方法、装置、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110390656A CN110390656A (zh) | 2019-10-29 |
| CN110390656B true CN110390656B (zh) | 2021-05-25 |
Family
ID=68286497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910626062.6A Active CN110390656B (zh) | 2019-07-11 | 2019-07-11 | 深度数据的滤波方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110390656B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103139577A (zh) * | 2011-11-23 | 2013-06-05 | 华为技术有限公司 | 一种深度图像滤波方法、获取深度图像滤波阈值的方法和装置 |
| CN104683783A (zh) * | 2015-01-08 | 2015-06-03 | 电子科技大学 | 一种自适应深度图滤波方法 |
| CN107784663A (zh) * | 2017-11-14 | 2018-03-09 | 哈尔滨工业大学深圳研究生院 | 基于深度信息的相关滤波跟踪方法及装置 |
| CN109345482A (zh) * | 2018-09-29 | 2019-02-15 | 深圳市牧月科技有限公司 | 一种深度超分辨率图像滤波处理方法 |
-
2019
- 2019-07-11 CN CN201910626062.6A patent/CN110390656B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103139577A (zh) * | 2011-11-23 | 2013-06-05 | 华为技术有限公司 | 一种深度图像滤波方法、获取深度图像滤波阈值的方法和装置 |
| CN104683783A (zh) * | 2015-01-08 | 2015-06-03 | 电子科技大学 | 一种自适应深度图滤波方法 |
| CN107784663A (zh) * | 2017-11-14 | 2018-03-09 | 哈尔滨工业大学深圳研究生院 | 基于深度信息的相关滤波跟踪方法及装置 |
| CN109345482A (zh) * | 2018-09-29 | 2019-02-15 | 深圳市牧月科技有限公司 | 一种深度超分辨率图像滤波处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于TOF深度摄像机的深度超分辨率恢复和深度融合研究;刘力维;《中国优秀博士学位论文全文数据库（信息科技辑）》;20150515(第5期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110390656A (zh) | 2019-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110400273B (zh) | 深度数据的滤波方法、装置、电子设备和可读存储介质 | |
| JP6244407B2 (ja) | 深度測定の品質の向上 | |
| CN110390690B (zh) | 深度图处理方法和装置 | |
| CN109444839B (zh) | 目标轮廓的获取方法及装置 | |
| US20220084225A1 (en) | Depth Map Processing Method, Electronic Device and Readable Storage Medium | |
| CN110400339B (zh) | 深度图处理方法和装置 | |
| JP2009027700A (ja) | 移動体搭載用前方撮像制御装置 | |
| CN110400342B (zh) | 深度传感器的参数调整方法、装置以及电子设备 | |
| JP2022523453A (ja) | 積層造形における深度再構築 | |
| US11961246B2 (en) | Depth image processing method and apparatus, electronic device, and readable storage medium | |
| CN110400340B (zh) | 深度图处理方法和装置 | |
| CN115097419A (zh) | 一种激光雷达到imu的外参标定方法及装置 | |
| CN105005043A (zh) | 用于在目标空间中检测对象的运动的装置和方法 | |
| CN110390656B (zh) | 深度数据的滤波方法、装置、电子设备和可读存储介质 | |
| CN110400272B (zh) | 深度数据的滤波方法、装置、电子设备和可读存储介质 | |
| CN116977671A (zh) | 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 | |
| JP5656018B2 (ja) | 球体の検出方法 | |
| CN110706288A (zh) | 目标检测的方法、装置、设备及可读存储介质 | |
| CN110415287B (zh) | 深度图的滤波方法、装置、电子设备和可读存储介质 | |
| JP7152506B2 (ja) | 撮像装置 | |
| CN113203424A (zh) | 多传感器的数据融合方法、装置及相关设备 | |
| CN113052886A (zh) | 一种采用双目原理的双tof相机深度信息获取方法 | |
| CN112232283B (zh) | 基于光流和c3d网络的气泡检测方法和系统 | |
| JP2007114102A (ja) | レーダ画像処理装置、レーダ画像識別方法およびレーダ画像識別プログラム | |
| CN108427105B (zh) | 改进的基于de模型的频带拼接方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |