CN110415287A - 深度图的滤波方法、装置、电子设备和可读存储介质 - Google Patents

深度图的滤波方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN110415287A
CN110415287A CN201910626654.8A CN201910626654A CN110415287A CN 110415287 A CN110415287 A CN 110415287A CN 201910626654 A CN201910626654 A CN 201910626654A CN 110415287 A CN110415287 A CN 110415287A
Authority
CN
China
Prior art keywords
depth map
variation
present frame
target environment
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910626654.8A
Other languages
English (en)
Other versions
CN110415287B (zh
Inventor
康健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910626654.8A priority Critical patent/CN110415287B/zh
Publication of CN110415287A publication Critical patent/CN110415287A/zh
Application granted granted Critical
Publication of CN110415287B publication Critical patent/CN110415287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种深度图的滤波方法、装置、电子设备和可读存储介质,其中,方法包括:获取当前帧深度图;根据预设策略对当前帧深度图进行处理,获取当前帧深度图中的目标环境变化区域;获取目标环境变化区域与当前帧深度图的区域比值;判断区域比值大于预设区域阈值,将目标环境变化区域作为后续连续预设N帧深度图的目标环境变化区域;按照预设平滑处理策略对当前帧深度图和后续连续预设N帧中的目标环境变化区域进行滤波处理。由此,通过在确定目标环境变化区域后,在目标环境变化区域与当前帧深度图的区域比值大于一定比值时扩大采样区间,也就是认为后续连续若干帧环境缓慢变化区域和当前帧一致,提高滤波效率。

Description

深度图的滤波方法、装置、电子设备和可读存储介质
技术领域
本发明涉及通信技术领域,尤其涉及一种深度图的滤波方法、装置、电子设备和可读存储介质。
背景技术
通常,ToF(Time of Flight)传感器通过计算脉冲信号的飞行时间来确定传感器和物体之间的距离,由于测量过程中存在着各类不确定性,带来了多种误差,并且这些误差具有很大的随机性,造成了在测量范围内ToF的深度测量误差大约为1%。
在实际系统中,可以接受上述测量误差,但是希望传感器在有限的时间内可以达到时间一致性,相关技术中,每次进行时间一致性滤波时都需要针对每一个像素进行相关计算和标记,影响滤波效率。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请的深度图的滤波方法、装置、电子设备和可读存储介质,能够解决了现有技术中每次进行时间一致性滤波时都需要针对每一个像素进行相关计算和标记,影响滤波效率的技术问题。
本发明第一方面实施例提出一种深度图的滤波方法,包括:
获取当前帧深度图;
根据预设策略对所述当前帧深度图进行处理,获取所述当前帧深度图中的目标环境变化区域;
获取所述目标环境变化区域与所述当前帧深度图的区域比值;
若判断所述区域比值大于预设区域阈值时,将所述目标环境变化区域作为后续连续预设N帧深度图的目标环境变化区域;
按照预设平滑处理策略对所述当前帧深度图和后续连续预设N帧中的所述目标环境变化区域进行滤波处理。
为达上述目的,本发明第二方面实施例提出了一种深度图的滤波装置,包括:
第一获取模块,用于获取当前帧深度图;
第二获取模块,用于根据预设策略对所述当前帧深度图进行处理,获取所述当前帧深度图中的目标环境变化区域;
第三获取模块,用于获取所述目标环境变化区域与所述当前帧深度图的区域比值;
判断模块,用于若判断所述区域比值大于预设区域阈值,则将所述目标环境变化区域作为后续连续预设N帧深度图的目标环境变化区域;
处理模块,用于按照预设平滑处理策略对所述当前帧深度图和后续连续预设N帧中的所述目标环境变化区域进行滤波处理。
本申请第三方面实施例提出了一种电子设备,图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述图像传感器与所述处理器电连接,所述处理器执行所述程序时,实现如权利要求1-8中任一所述的深度图的滤波方法。
为达上述目的,本发明第四个方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现如前述方法实施例所述的深度图的滤波方法。
本发明提供的技术方案,至少包括如下有益效果:
通过获取当前帧深度图;根据预设策略对当前帧深度图进行处理,获取当前帧深度图中的目标环境变化区域;获取目标环境变化区域与当前帧深度图的区域比值;判断区域比值大于预设区域阈值,将目标环境变化区域作为后续连续预设N帧深度图的目标环境变化区域;按照预设平滑处理策略对当前帧深度图和后续连续预设N帧中的目标环境变化区域进行滤波处理。由此,有效解决了现有技术中每次进行时间一致性滤波时都需要针对每一个像素进行相关计算和标记,影响滤波效率的技术问题,通过在确定目标环境变化区域后,在目标环境变化区域与当前帧深度图的区域比值大于一定比值时扩大采样区间,也就是认为后续连续若干帧环境缓慢变化区域和当前帧一致,将目标环境变化区域作为后续连续N帧深度图的目标环境变化区域,提高滤波效率。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例所提供的一种深度获取方法的流程示意图;
图2为本申请实施例所提供的一种深度图的滤波方法的流程示意图;
图3为本申请实施例所提供的另一种深度图的滤波方法的流程示意图;
图4为本申请实施例所提供的一种获取原始深度值的示意图;
图5是根据本申请一个实施例的一种深度图的滤波装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
具体地,ToF传感器通过计算脉冲信号的飞行时间来确定传感器和物体之间的距离,比如其中d为深度,c为光速,t表示飞行时间;除以2是因为脉冲信号在传感器和物体之间内飞行了两次,基于上述背景技术的描述,可以了解到针对ToF深度数据的时间一致性滤波非常重要,ToF每一帧图像深度的获取方式如图1所示,ToF传感器发射经过调制的脉冲信号,待测量物体表面接收到脉冲信号并反射信号,然后ToF传感器接收到反射信号,并对多频相位图解码,接着根据标定参数对ToF数据进行误差修正,然后对多频信号去混叠,并将深度值由径向坐标系转换到笛卡尔坐标系,最后对深度值进行时间一致性滤波,输出时间维度上相对平滑的深度结果。
但是,上述方式每次进行时间一致性滤波时都需要针对每一个像素进行相关计算和标记,影响滤波效率的技术问题,通过在确定目标环境变化区域目标环境变化区域后,在目标环境变化区域目标环境变化区域与当前帧深度图的区域比值大于一定比值时扩大采样区间,也就是认为后续连续若干帧环境缓慢变化区域和当前帧一致,将目标环境变化区域目标环境变化区域作为后续连续N帧深度图的目标环境变化区域目标环境变化区域,提高滤波效率,具体如下:
下面参考附图描述本发明实施例的深度图的滤波方法、装置、电子设备和可读存储介质。
图2为本申请实施例所提供的一种深度图的滤波方法的流程示意图。如图2所示,该方法包括以下步骤:
步骤101,获取当前帧深度图。
步骤102,根据预设策略对当前帧深度图进行处理,获取当前帧深度图中的目标环境变化区域。
具体地,当前帧深度图也就是待滤波处理深度图,根据预设策略对当前帧深度图进行处理,获取当前帧深度图中的目标环境变化区域的方式有很多种,可以根据实际应用需要进行选择设置,举例说明如下:
第一种示例,获取每个像素点在所述当前帧深度图和上一帧深度图之间的深度差值,将深度差值小于预设绝对深度误差的各个像素点标记为目标环境变化区域。
具体地,可以获取每个像素点在当前帧深度图与上一帧深度图之间的深度差值,并将该深度差值与预设绝对深度误差进行比较,从而确定该像素点是否需要标记为目标环境变化区域即环境缓慢变化区域。
其中,预设绝对深度误差可以根据需要进行选择设置,比如一个像素点在前后帧深度值分别为[500,502],预设绝对深度误差为百分之一也就是5,该像素点在当前帧深度图与上一帧深度图之间的深度差值为2,也就是小于5,对应标记为目标环境变化区域。
需要说明的是,将深度差值大于等于预设绝对深度误差的各个像素点标记为环境快速变化区域。
第二种示例,获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移,将反射率小于预设反射率阈值,且相位偏移小于预设相位偏移阈值的各个像素点标记为目标环境变化区域。
具体地,可以获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移,可以理解的是,前后帧深度图测量点材质差别,也就是说该像素点在当前帧深度图与上一帧深度图之间的反射率;前后帧测量点的环境光影响差别,也就是像素点在当前帧深度图与上一帧深度图之间的相位偏移。
具体地,针对每一个像素点将其反射率和相位偏移分别与预设第一反射率阈值和预设第一相位偏移阈值进行比较,在将反射率小于预设第一反射率阈值,且相位偏移小于预设第一相位偏移阈值时确定该像素点属于目标环境变化区域,需要说明的是,本申请实施例中,目标环境变化区域是环境缓慢变化区域,具有比较高的平滑性。
由此,将反射率小于预设第一反射率阈值,且相位偏移小于预设第一相位偏移阈值的各个像素点标记为目标环境变化区域。
步骤103,获取目标环境变化区域与当前帧深度图的区域比值。
步骤104,若判断区域比值大于预设区域阈值时,将目标环境变化区域作为后续连续预设N帧深度图的目标环境变化区域。
步骤105,按照预设平滑处理策略对当前帧深度图和后续连续预设N帧中的目标环境变化区域进行滤波处理。
具体地,若当前帧目标环境变化区域即环境缓慢变化区域占全画幅有效区域(指测量点的深度值在传感器测量范围内)的比例大于预设区域阈值,认为当前帧在时间维度上噪声很小,则扩大采样区间,即认为后续连续若干帧环境缓慢变化区域和当前帧一致,同时为了减小可能的微小差异,对环境缓慢变化区域掩码进行形态学腐蚀操作作为后续连续若干帧的环境缓慢变化区域;否则,维持连续帧的采样区间。
进一步地,可以采用很多种方式按照预设平滑处理策略对当前帧深度图和后续连续预设N帧中的目标环境变化区域进行滤波处理,作为一种可能实现方式,获取目标环境变化区域中每个像素点在预设坐标系下对应的上一帧第一原始深度值和当前帧第一原始深度值,将对预设原始平滑系数增大处理后生成的第一相似度权重与上一帧第一原始深度值的乘积和第三相似度权重与当前帧第一原始深度值的乘积进行相加处理得到目标环境变化区域中每个像素点对应的第一当前帧深度值;其中,第一相似度权重和第三相似度权重的和为1。
综上,本发明实施例的深度图的滤波方法,通过获取当前帧深度图;根据预设策略对当前帧深度图进行处理,获取当前帧深度图中的目标环境变化区域;获取目标环境变化区域与当前帧深度图的区域比值;判断区域比值大于预设区域阈值,将目标环境变化区域作为后续连续预设N帧深度图的目标环境变化区域;按照预设平滑处理策略对当前帧深度图和后续连续预设N帧中的目标环境变化区域进行滤波处理。由此,有效解决了现有技术中每次进行时间一致性滤波时都需要针对每一个像素进行相关计算和标记,影响滤波效率的技术问题,通过在确定目标环境变化区域后,在目标环境变化区域与当前帧深度图的区域比值大于一定比值时扩大采样区间,也就是认为后续连续若干帧环境缓慢变化区域和当前帧一致,将目标环境变化区域作为后续连续N帧深度图的目标环境变化区域,提高滤波效率。
图3为本申请实施例所提供的另一种深度图的滤波方法的流程示意图。如图3所示,该方法包括以下步骤:
步骤201,获取当前帧深度图。
步骤202,获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移,将反射率小于预设反射率阈值,且相位偏移小于预设相位偏移阈值的各个像素点标记为目标环境变化区域。
具体地,可以获取每个像素点在当前帧深度图与上一帧深度图之间的反射率和相位偏移,可以理解的是,前后帧深度图测量点材质差别,也就是说该像素点在当前帧深度图与上一帧深度图之间的反射率;前后帧测量点的环境光影响差别,也就是像素点在当前帧深度图与上一帧深度图之间的相位偏移。
具体地,针对每一个像素点将其反射率和相位偏移分别与预设第一反射率阈值和预设第一相位偏移阈值进行比较,在将反射率小于预设第一反射率阈值,且相位偏移小于预设第一相位偏移阈值时确定该像素点属于目标环境变化区域,需要说明的是,本申请实施例中,目标环境变化区域是环境缓慢变化区域,具有比较高的平滑性。
由此,将反射率小于预设第一反射率阈值,且相位偏移小于预设第一相位偏移阈值的各个像素点标记为目标环境变化区域。
步骤203,获取目标环境变化区域与当前帧深度图的区域比值。
步骤204,若判断区域比值大于预设区域阈值,则将目标环境变化区域作为后续连续预设N帧深度图的目标环境变化区域。
具体地,若当前帧目标环境变化区域即环境缓慢变化区域占全画幅有效区域(指测量点的深度值在传感器测量范围内)的比例大于预设区域阈值,认为当前帧在时间维度上噪声很小,则扩大采样区间,即认为后续连续若干帧环境缓慢变化区域和当前帧一致,同时为了减小可能的微小差异,对环境缓慢变化区域掩码进行形态学腐蚀操作作为后续连续若干帧的环境缓慢变化区域;否则,维持连续帧的采样区间。
步骤205,获取目标环境变化区域中每个像素点在预设坐标系下对应的上一帧第一原始深度值和当前帧第一原始深度值。
步骤206,将对预设原始平滑系数增大处理后生成的第一相似度权重与上一帧第一原始深度值的乘积和第三相似度权重与当前帧第一原始深度值的乘积进行相加处理得到目标环境变化区域中每个像素点对应的第一当前帧深度值;其中,第一相似度权重和第三相似度权重的和为1。
具体地,首先需要获取当前帧深度图中每一个像素对应的深度值,具体地,如图4所示,首先ToF传感器采集原始相位图,单频模式下为四相位图,双频模式下为八相位图,接着由原始相位图计算每个像素点的I(相位余弦)Q(相位正弦)信号,并根据IQ信号计算每个像素点的相位和置信度,其中,置信度表示该像素点相位值的可信度,是该像素点能量大小的反应。
进一步地,根据ToF离线标定的内参在线修正几种误差,包括循环误差,温度误差,梯度误差,视差误差等,以及在双频去混叠前进行前滤波,分别过滤各频率模式下的噪声,进行双频去混叠,确定每个像素点的真实周期数,最后对去混叠结果进行后滤波,将深度值由径向坐标系转换到笛卡尔坐标系,也就是说上述预设坐标系优选笛卡尔坐标系。
其中,按照预设平滑处理策略对当前帧深度图和后续连续预设N帧中的目标环境变化区域进行滤波处理有很多种,比如调整平滑系数等方式,作为一种可能实现方式,获取目标环境变化区域中每个像素点在预设坐标系下对应的上一帧第一原始深度值和当前帧第一原始深度值,对预设的原始平滑系数进行放大处理生成第一相似度权重,将第一相似度权重与上一帧第一原始深度值的乘积和第二相似度权重与当前帧第一原始深度值的乘积进行相加处理得到目标环境变化区域中每个像素点对应的第一当前帧深度值;其中,第一相似度权重和第二相似度权重的和为1。
第一种示例,应用预设公式根据每个像素点的反射率、相位偏移、预设原始平滑系数和当前帧像素点深度误差值生成相似度权重。
其中,预设第一公式为:其中,s为预设原始平滑系数,diff1为反射率,diff2为相位偏移,σ为当前帧像素点深度误差值。
第二种示例,应用预设第一公式根据每个像素点的深度差值、预设原始平滑系数和当前帧像素点深度误差值生成相似度权重,比如预设公式为:其中,s为预设原始平滑系数,diff为深度差值,σ为当前帧像素点深度误差值。
综上,本发明实施例的深度图的滤波方法,通过获取当前帧深度图;根据预设策略对当前帧深度图进行处理,获取当前帧深度图中的目标环境变化区域;获取目标环境变化区域与当前帧深度图的区域比值;判断区域比值大于预设区域阈值,将目标环境变化区域作为后续连续预设N帧深度图的目标环境变化区域;按照预设平滑处理策略对当前帧深度图和后续连续预设N帧中的目标环境变化区域进行滤波处理。由此,有效解决了现有技术中导致时间一致性滤波平滑性不足,造成深度数据在时间域抖动较大的技术问题,通过将深度图分为两个环境变化区域,并分区域选择不同的策略进行平滑处理,有效的使深度平缓变化区域在时间维度上深度值更为平滑,而深度快速变化区域又保持了原来的高动态性。
为了实现上述实施例,本发明还提出一种深度图的滤波装置,如图5所示,深度图的滤波装置包括:第一获取模块501、第二获取模块502、第三获取模块503、判断模块504和处理模块505。
其中,第一获取模块501,用于获取当前帧深度图;
第二获取模块502,用于根据预设策略对所述当前帧深度图进行处理,获取所述当前帧深度图中的目标环境变化区域;
第三获取模块503,用于获取所述目标环境变化区域与所述当前帧深度图的区域比值;
判断模块504,用于若判断所述区域比值大于预设区域阈值,则将所述目标环境变化区域作为后续连续预设N帧深度图的目标环境变化区域;
处理模块505,用于按照预设平滑处理策略对所述当前帧深度图和后续连续预设N帧中的所述目标环境变化区域进行滤波处理。
在本发明的一个实施例中,第二获取模块502,具体用于:获取每个像素点在所述当前帧深度图和上一帧深度图之间的深度差值;将所述深度差值小于预设绝对深度误差的各个像素点标记为所述目标环境变化区域。
在本发明的一个实施例中,第二获取模块502,具体用于:获取每个像素点在所述当前帧深度图与上一帧深度图之间的反射率和相位偏移;将所述反射率小于预设反射率阈值,且所述相位偏移小于预设相位偏移阈值的各个像素点标记为所述目标环境变化区域。
在本发明的一个实施例中,处理模块505,具体用于:获取所述目标环境变化区域中每个像素点在预设坐标系下对应的上一帧第一原始深度值和当前帧第一原始深度值;将对预设原始平滑系数增大处理后生成的第一相似度权重与所述上一帧第一原始深度值的乘积和第三相似度权重与所述当前帧第一原始深度值的乘积进行相加处理得到所述目标环境变化区域中每个像素点对应的第一当前帧深度值;其中,所述第一相似度权重和所述第三相似度权重的和为1。
在本发明的一个实施例中,应用预设第一公式根据每个像素点的反射率、相位偏移、预设原始平滑系数和当前帧像素点深度误差值生成相似度权重。
在本发明的一个实施例中,预设第一公式为:其中,s为预设原始平滑系数,diff1为所述反射率,diff2为所述相位偏移,σ为所述当前帧像素点深度误差值。
在本发明的一个实施例中,应用预设第二公式根据每个像素点的深度差值、预设原始平滑系数和当前帧像素点深度误差值生成相似度权重。
在本发明的一个实施例中,所述预设第二公式为:其中,s为预设原始平滑系数,diff为深度差值,σ为当前帧像素点深度误差值。
需要说明的是,前述集中在深度图的滤波方法实施例中描述的驱动组件和滑动组件,也适用于本发明实施例的深度图的滤波装置,在此不再对其实施细节和技术效果赘述。
综上,本发明实施例的深度图的滤波装置,通过获取当前帧深度图;根据预设策略对当前帧深度图进行处理,获取当前帧深度图中的目标环境变化区域;获取目标环境变化区域与当前帧深度图的区域比值;判断区域比值大于预设区域阈值,将目标环境变化区域作为后续连续预设N帧深度图的目标环境变化区域;按照预设平滑处理策略对当前帧深度图和后续连续预设N帧中的目标环境变化区域进行滤波处理。由此,有效解决了现有技术中每次进行时间一致性滤波时都需要针对每一个像素进行相关计算和标记,影响滤波效率的技术问题,通过在确定目标环境变化区域后,在目标环境变化区域与当前帧深度图的区域比值大于一定比值时扩大采样区间,也就是认为后续连续若干帧环境缓慢变化区域和当前帧一致,将目标环境变化区域作为后续连续N帧深度图的目标环境变化区域,提高滤波效率。
为了实现上述实施例,本发明还提出一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时,实现如前述实施例描述的深度图的滤波方法。
为了实现上述实施例,本发明实施例还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如前述方法实施例所述的深度图的滤波方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种深度图的滤波方法,其特征在于,包括以下步骤:
获取当前帧深度图;
根据预设策略对所述当前帧深度图进行处理,获取所述当前帧深度图中的目标环境变化区域;
获取所述目标环境变化区域与所述当前帧深度图的区域比值;
若判断所述区域比值大于预设区域阈值,则将所述目标环境变化区域作为后续连续预设N帧深度图的目标环境变化区域;
按照预设平滑处理策略对所述当前帧深度图和后续连续预设N帧中的所述目标环境变化区域进行滤波处理。
2.如权利要求1所述的方法,其特征在于,所述根据预设策略对所述当前帧深度图进行处理,获取所述当前帧深度图中的目标环境变化区域,包括:
获取每个像素点在所述当前帧深度图和上一帧深度图之间的深度差值;
将所述深度差值小于预设绝对深度误差的各个像素点标记为所述目标环境变化区域。
3.如权利要求1所述的方法,其特征在于,所述根据预设策略对所述当前帧深度图进行处理,获取所述当前帧深度图中的目标环境变化区域,包括:
获取每个像素点在所述当前帧深度图与上一帧深度图之间的反射率和相位偏移;
将所述反射率小于预设反射率阈值,且所述相位偏移小于预设相位偏移阈值的各个像素点标记为所述目标环境变化区域。
4.如权利要求1所述的方法,其特征在于,所述按照预设平滑处理策略对所述当前帧深度图和后续连续预设N帧中的所述目标环境变化区域进行滤波处理,包括:
获取所述目标环境变化区域中每个像素点在预设坐标系下对应的上一帧第一原始深度值和当前帧第一原始深度值;
将对预设原始平滑系数增大处理后生成的第一相似度权重与所述上一帧第一原始深度值的乘积和第三相似度权重与所述当前帧第一原始深度值的乘积进行相加处理得到所述目标环境变化区域中每个像素点对应的第一当前帧深度值;其中,所述第一相似度权重和所述第三相似度权重的和为1。
5.如权利要求4所述的方法,其特征在于,
应用预设第一公式根据每个像素点的反射率、相位偏移、预设原始平滑系数和当前帧像素点深度误差值生成相似度权重。
6.如权利要求5所述的方法,其特征在于,所述预设第一公式为:
其中,s为预设原始平滑系数,diff1为所述反射率,diff2为所述相位偏移,σ为所述当前帧像素点深度误差值。
7.如权利要求4所述的方法,其特征在于,
应用预设第二公式根据每个像素点的深度差值、预设原始平滑系数和当前帧像素点深度误差值生成相似度权重。
8.如权利要求7所述的方法,其特征在于,所述预设第二公式为:
其中,s为预设原始平滑系数,diff为深度差值,σ为当前帧像素点深度误差值。
9.一种深度图的滤波装置,其特征在于,包括:
第一获取模块,用于获取当前帧深度图;
第二获取模块,用于根据预设策略对所述当前帧深度图进行处理,获取所述当前帧深度图中的目标环境变化区域;
第三获取模块,用于获取所述目标环境变化区域与所述当前帧深度图的区域比值;
判断模块,用于若判断所述区域比值大于预设区域阈值,则将所述目标环境变化区域作为后续连续预设N帧深度图的目标环境变化区域;
处理模块,用于按照预设平滑处理策略对所述当前帧深度图和后续连续预设N帧中的所述目标环境变化区域进行滤波处理。
10.一种电子设备,其特征在于,包括:图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述图像传感器与所述处理器电连接,所述处理器执行所述程序时,实现如权利要求1-8中任一所述的深度图的滤波方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的深度图的滤波方法。
CN201910626654.8A 2019-07-11 2019-07-11 深度图的滤波方法、装置、电子设备和可读存储介质 Active CN110415287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910626654.8A CN110415287B (zh) 2019-07-11 2019-07-11 深度图的滤波方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910626654.8A CN110415287B (zh) 2019-07-11 2019-07-11 深度图的滤波方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN110415287A true CN110415287A (zh) 2019-11-05
CN110415287B CN110415287B (zh) 2021-08-13

Family

ID=68361147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910626654.8A Active CN110415287B (zh) 2019-07-11 2019-07-11 深度图的滤波方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN110415287B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074018A (zh) * 2010-12-22 2011-05-25 Tcl集团股份有限公司 一种基于深度信息的轮廓跟踪方法
CN102520574A (zh) * 2010-10-04 2012-06-27 微软公司 飞行时间深度成像
CN102883175A (zh) * 2012-10-23 2013-01-16 青岛海信信芯科技有限公司 深度图提取、判断视频场景切换及深度图边缘优化方法
JP2013106217A (ja) * 2011-11-15 2013-05-30 Panasonic Corp 奥行き推定撮像装置
CN103826032A (zh) * 2013-11-05 2014-05-28 四川长虹电器股份有限公司 深度图后期处理方法
EP2854103A1 (en) * 2013-09-30 2015-04-01 Samsung Electronics Co., Ltd Method of decreasing noise of a depth image, image processing apparatus and image generating apparatus using thereof
CN105096259A (zh) * 2014-05-09 2015-11-25 株式会社理光 深度图像的深度值恢复方法和系统
US9280719B2 (en) * 2010-05-28 2016-03-08 Microsoft Technology Licensing, Llc Foreground and background image segmentation
CN105427281A (zh) * 2015-11-04 2016-03-23 北京格灵深瞳信息技术有限公司 一种变化区域检测方法及装置
CN105551028A (zh) * 2015-12-09 2016-05-04 中山大学 一种基于遥感影像的地理空间数据动态更新的方法及系统
CN105590294A (zh) * 2014-11-18 2016-05-18 联想(北京)有限公司 一种图像处理方法和电子设备
WO2016079179A1 (fr) * 2014-11-20 2016-05-26 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et dispositif de filtrage adaptatif temps reel d'images de disparite ou de profondeur bruitees
CN106909911A (zh) * 2017-03-09 2017-06-30 广东欧珀移动通信有限公司 图像处理方法、图像处理装置和电子装置
US9781318B2 (en) * 2013-12-05 2017-10-03 Samsung Electronics Co., Ltd. Camera for measuring depth image and method of measuring depth image using the same
CN107527381A (zh) * 2017-09-11 2017-12-29 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN106791773B (zh) * 2016-12-30 2018-06-01 浙江工业大学 一种基于深度图像的新视点合成方法
CN108769476A (zh) * 2018-06-06 2018-11-06 Oppo广东移动通信有限公司 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质
CN109636748A (zh) * 2018-12-04 2019-04-16 青岛小鸟看看科技有限公司 一种深度图像的去噪方法、装置和电子设备

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280719B2 (en) * 2010-05-28 2016-03-08 Microsoft Technology Licensing, Llc Foreground and background image segmentation
CN102520574A (zh) * 2010-10-04 2012-06-27 微软公司 飞行时间深度成像
CN102074018A (zh) * 2010-12-22 2011-05-25 Tcl集团股份有限公司 一种基于深度信息的轮廓跟踪方法
JP2013106217A (ja) * 2011-11-15 2013-05-30 Panasonic Corp 奥行き推定撮像装置
CN102883175A (zh) * 2012-10-23 2013-01-16 青岛海信信芯科技有限公司 深度图提取、判断视频场景切换及深度图边缘优化方法
EP2854103A1 (en) * 2013-09-30 2015-04-01 Samsung Electronics Co., Ltd Method of decreasing noise of a depth image, image processing apparatus and image generating apparatus using thereof
CN103826032A (zh) * 2013-11-05 2014-05-28 四川长虹电器股份有限公司 深度图后期处理方法
US9781318B2 (en) * 2013-12-05 2017-10-03 Samsung Electronics Co., Ltd. Camera for measuring depth image and method of measuring depth image using the same
CN105096259A (zh) * 2014-05-09 2015-11-25 株式会社理光 深度图像的深度值恢复方法和系统
CN105590294A (zh) * 2014-11-18 2016-05-18 联想(北京)有限公司 一种图像处理方法和电子设备
WO2016079179A1 (fr) * 2014-11-20 2016-05-26 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et dispositif de filtrage adaptatif temps reel d'images de disparite ou de profondeur bruitees
CN105427281A (zh) * 2015-11-04 2016-03-23 北京格灵深瞳信息技术有限公司 一种变化区域检测方法及装置
CN105551028A (zh) * 2015-12-09 2016-05-04 中山大学 一种基于遥感影像的地理空间数据动态更新的方法及系统
CN106791773B (zh) * 2016-12-30 2018-06-01 浙江工业大学 一种基于深度图像的新视点合成方法
CN106909911A (zh) * 2017-03-09 2017-06-30 广东欧珀移动通信有限公司 图像处理方法、图像处理装置和电子装置
CN107527381A (zh) * 2017-09-11 2017-12-29 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN108769476A (zh) * 2018-06-06 2018-11-06 Oppo广东移动通信有限公司 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质
CN109636748A (zh) * 2018-12-04 2019-04-16 青岛小鸟看看科技有限公司 一种深度图像的去噪方法、装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王雪姣: "基于深度神经网络的ToF深度图像去噪研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN110415287B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110400273A (zh) 深度数据的滤波方法、装置、电子设备和可读存储介质
DE102016107959B4 (de) Auf strukturiertem Licht basierende Multipfadlöschung bei ToF-Bilderzeugung
US11077620B2 (en) Depth reconstruction in additive fabrication
CN109188448A (zh) 点云非地面点过滤方法、装置及存储介质
US20200215761A1 (en) Reconstruction of surfaces for additive manufacturing
CN109903241A (zh) 一种tof相机系统的深度图像校准方法及系统
CN103411533B (zh) 结构光自适应多次曝光法
CN107044833A (zh) 一种基于改进的傅立叶变换轮廓技术的超快三维形貌测量方法及其系统
CN110400339A (zh) 深度图处理方法和装置
CN110390690A (zh) 深度图处理方法和装置
CN102831601A (zh) 基于联合相似性测度和自适应支持权重的立体匹配方法
CN106127145A (zh) 瞳孔定位及跟踪方法
CN110400343A (zh) 深度图处理方法和装置
CN107869968A (zh) 一种适用于复杂物体表面的快速三维扫描方法及系统
CN106713693A (zh) 一种纹理扫描机
CN110378853A (zh) 深度图处理方法和装置
CN110400342A (zh) 深度传感器的参数调整方法、装置以及电子设备
CN109959919A (zh) 汽车及单目摄像头测距方法、装置
CN104048603A (zh) 一种列阵激光标线-面阵ccd高分辨大视场测量系统与方法
US11961246B2 (en) Depth image processing method and apparatus, electronic device, and readable storage medium
CN110415287A (zh) 深度图的滤波方法、装置、电子设备和可读存储介质
CN102759788A (zh) 表面多点对焦系统及方法
CN110400272A (zh) 深度数据的滤波方法、装置、电子设备和可读存储介质
EP2911114A1 (en) Apparatus and method for calculating dynamic variation of object
CN110390656A (zh) 深度数据的滤波方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant