CN110400340A - 深度图处理方法和装置 - Google Patents
深度图处理方法和装置 Download PDFInfo
- Publication number
- CN110400340A CN110400340A CN201910626651.4A CN201910626651A CN110400340A CN 110400340 A CN110400340 A CN 110400340A CN 201910626651 A CN201910626651 A CN 201910626651A CN 110400340 A CN110400340 A CN 110400340A
- Authority
- CN
- China
- Prior art keywords
- pixel
- depth
- winged
- value
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 238000003672 processing method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 125000004122 cyclic group Chemical group 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000000392 somatic effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010587 phase diagram Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
本发明提出一种深度图处理方法和装置,其中,方法包括:获取待处理的深度图,其中,深度图中各像素具有对应的深度值和深度值的置信度;根据深度值的置信度,确定深度图中的候选飞像素;确定位于候选飞像素预设范围内的目标非飞像素,并根据目标非飞像素的深度值确定飞像素深度阈值;确定与候选飞像素相邻的各个方向的像素的深度值,并计算候选飞像素和各个方向的像素中每个像素的深度差值;根据所有的深度差值和飞像素深度阈值判断候选飞像素是否为飞像素,以便于对飞像素进行滤除处理。由此,自适应的确定飞像素深度阈值,基于飞像素深度阈值可以更准确的确定出飞像素,提高了飞像素去除的精确度。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种深度图处理方法。
背景技术
通常,在基于飞行时间(Time of flight,ToF)传感器测量物体的深度时,ToF传感器通过计算脉冲信号的飞行时间来确定传感器和物体之间的距离,然而,由于测量过程中存在着各类不确定性,带来了多种误差,比如,在深度不连续区域,如待测量物体的边缘,传感器同时接收来自前景和背景的脉冲信号,造成物体边缘深度值介于前后景之间,当前后景距离较大时,造成这部分区域深度误差较大,我们称这部分区域像素为飞像素。
相关技术中,飞像素去除滤波是针对不同拍照模式设置飞像素去除阈值,基于当前拍照模式确定飞像素去除阈值后,筛选出当前拍摄图像中的飞像素去除,然而,实际上每次拍摄的环境等参数都是可变的,导致深度值的采集误差具有差异性,基于预先设定的固定的飞像素去除阈值去除飞像素,会导致飞像素去除不足或者误去除。
发明内容
本发明旨在至少在一定程度上解决相关技术中,直接基于固定的飞像素阈值去除飞像素,导致飞像素确定不准确的技术问题。
为此,本发明的第一个目的在于提出一种深度图处理方法,以自适应的确定飞像素深度阈值,基于飞像素深度阈值可以更准确的确定出飞像素,提高了飞像素去除的精确度。
本发明的第二个目的在于提出一种深度图处理装置。
本发明的第三个目的在于提出一种电子设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的,本发明第一方面实施例提出了一种深度图处理方法,包括以下步骤:获取待处理的深度图,其中,所述深度图中各像素具有对应的深度值和所述深度值的置信度;根据所述深度值的置信度,确定所述深度图中的候选飞像素;在所述候选飞像素的预设范围内确定目标非飞像素,并根据所述目标非飞像素的深度值确定飞像素深度阈值;确定与所述候选飞像素邻近的各个方向的像素的深度值,并获取所述候选飞像素和所述各个方向的像素中每个像素的深度差值;根据所有的所述深度差值和所述飞像素深度阈值判断所述候选飞像素是否为飞像素,以便于对所述飞像素进行滤除处理。
本发明第二方面实施例提出了一种深度图处理装置,包括:第一获取模块,用于获取待处理的深度图,其中,所述深度图中各像素具有对应的深度值和所述深度值的置信度;第一确定模块,用于根据所述深度值的置信度,确定所述深度图中的候选飞像素;第二确定模块,用于在所述候选飞像素的预设范围内确定目标非飞像素,并根据所述目标非飞像素的深度值确定飞像素深度阈值;第三确定模块,用于确定与所述候选飞像素邻近的各个方向的像素的深度值;第二获取模块,用于获取所述候选飞像素和所述各个方向的像素中每个像素的深度差值;判断模块,用于根据所有的所述深度差值和所述飞像素深度阈值判断所述候选飞像素是否为飞像素,以便于对所述飞像素进行滤除处理。
本发明第三方面实施例提出了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如第一方面实施例所述的深度图处理方法。
本发明第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面实施例所述的深度图处理方法。
本发明实施例提供的技术方案可以包含如下的有益效果:
基于当前像素的深度值的情况自适应的确定出飞像素深度阈值,进而,基于飞像素深度阈值进行飞像素的确定,并且,在进行飞像素确定时,同时参考多个方向上的深度信息变化,提高了飞像素的判断准确性,提高了深度图的滤波质量。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例所提供的一种基于TOF的深度图处理方法的流程示意图;
图2是根据本发明一个实施例的原始深度值计算方法流程示意图;
图3是根据本发明一个实施例的飞像素去除方法流程图示意图;
图4是根据本发明一个实施例的深度图处理方法的流程图;
图5是根据本发明一个实施例的深度图处理方法的应用场景示意图;
图6是根据本发明第一个实施例的深度图处理装置的结构示意图;
图7是根据本发明第二个实施例的深度图处理装置的结构示意图;
图8是根据本发明第三个实施例的深度图处理装置的结构示意图;以及
图9是根据本发明第四个实施例的深度图处理装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的深度图处理方法和装置。其中,本发明实施例的深度图中的深度值是基于TOF传感器获取的。
为了使得本领域的技术人员,更加清楚的理解本发明的深度图处理方法的时机,下面结合图1对TOF的深度图处理的整个流程进行说明,如图1所示,ToF传感器发射经过调制的脉冲信号,待测量物体表面接收到脉冲信号并反射信号,然后ToF传感器接收到反射信号,并对多频相位图解码,接着根据标定参数对ToF数据进行误差修正,然后对多频信号去混叠,并将深度值由径向坐标系转换到笛卡尔坐标系,最后对深度图进行飞像素去除滤波过滤。
其中,对深度图进行飞像素去除滤波过滤包括两个主要部分:ToF原始深度值计算阶段和自适应飞像素去除滤波阶段,具体而言,如图2所示,ToF原始深度值计算阶段包括:基于获取的ToF传感器采集原始相位图(单频模式下为四相位图,双频模式下为八相位图,假设本实施例中为双频模式),计算每个像素的IQ信号,进而,根据IQ信号计算每个像素的相位和置信度,其中置信度表示该点相位值的可信度,是该点能量大小的反应,根据ToF离线标定的内参在线修正几种误差,包括循环误差,温度误差,梯度误差,视差误差等,在双频去混叠前进行前滤波,以分别过滤各频率模式下的噪声,在去除双频的噪声后,对双频进行混叠,确定每个像素的真实周期数,基于该真实周期数对混叠的结果进行后滤波,进而将后滤波后的径向坐标系转换到笛卡尔坐标系,进行下一步的处理。
在飞像素滤除阶段,如图3所示,本发明的实施例中在获取到笛卡尔坐标系下的原始深度图后,对深度图中的深度置信度计算置信度梯度,由于飞像素通常发生在深度不连续区域,即置信度梯度较高,因此在置信度梯度足够大点周围搜索候选飞像素,将候选飞像素一定邻域内距离候选飞像素最近的非飞像素的深度值作为该候选点的飞像素基础深度值,其中,若一定邻域内无非飞像素,那么以该候选点的深度值作为飞像素基础深度值,由飞像素基础深度值和理论深度误差自适应计算飞像素阈值,基于该飞像素阈值进行飞像素的滤除,由此,基于一定邻域内非飞像素作为候选点飞像素基础深度值,有效的去除了飞像素,并且由于自适应性的基于飞像素基础深度值确定飞像素深度阈值,在一定程度上减小了飞像素的误判断。
本发明中的深度图处理方法,主要针对上述图3指出的飞像素去除方法进行说明,图4是根据本发明一个实施例的深度图处理方法的流程图,如图4所示,该深度图处理方法包括:
步骤101,获取待处理的深度图,其中,深度图中各像素具有对应的深度值和深度值的置信度。
可以理解,待处理的深度图是笛卡尔坐标系下深度图,深度图中的各个像素都具有对应的深度值和深度值的置信度,其中,深度值的能量越高对应的置信度越高。待处理的深度图可以是当前获取的深度图,也可以是任意用户指定的历史获取的深度图。
步骤102,根据深度值的置信度,确定深度图中的候选飞像素。
应当理解的是,深度值的置信度的情况,可以辅助确定出深度图中的候选飞像素,作为一种可能的实现方式,确定深度图中每个像素的置信度,由于飞像素同时接收前景和背景的脉冲信号,因此,飞像素的置信度和周围的像素点差异较大,在本示例中,由于正常的像素点和周围邻近的像素点通常置信度差距较小,因而,确定每个像素和其周围的置信度的差值,当该差值较大时,则认为该像素为候选飞像素。
作为另一种可能的实现方式,由于飞像素通常发生在深度不连续区域,而深度的连续程度可以基于置信度的梯度确定,在不连续区域,置信度的梯度会发生较大的变化,比如,在飞像素集中的物体的边缘区域中,像素的置信度的差距较大,显然置信度梯度较大,因此,在本实施例中,在置信度梯度足够大的点周围寻找候选飞像素,即根据深度图中各个像素的置信度,获取深度图中每个像素的置信度梯度,进而,确定置信度的梯度大于预设阈值的像素为候选飞像素,比如对于像素1而言,计算其周围相邻的像素的置信度,基于像素1的置信度和其周围的像素的置信度的差值,基于该差值确定置信度梯度,其中,可以将最大的差值作为像素1的置信度梯度,或者,可以将像素1与远离物体轮廓方向的相邻像素点的置信度的差值,作为置信度梯度。
步骤103,在候选飞像素的预设范围内确定目标非飞像素,并根据目标非飞像素的深度值确定飞像素深度阈值。
其中,上述预设范围根据深度值的采集精度确定,深度值的采集精度越高,则对应的预设范围越大,否则,对应的预设范围越小。
具体的,在本发明的实施例中,在位于候选飞像素预设范围内确定目标非飞像素,一方面,该目标非飞像素处于候选飞像素的邻域内,深度值与候选飞像素的深度值较为相似,另一方面,目标非飞像素由于是非飞像素,因而深度值较为真实的反映出该位置附近应当具有的真实深度值,从而,保证了基于目标非飞像素确定的飞像素深度阈值,反应了当前深度图的真实的深度值的情况,有助于准确的定位出飞像素。其中,上述飞像素的预设范围根据实验数据标定。
作为一种可能的实现方式,可以预先基于深度图确定出目标非飞像素,比如,将置信度较高且置信度梯度较低的像素点确定为非飞像素,进而,将在预设范围内距离候选飞像素最近的非飞像素作为目标非飞像素。在确定出目标非飞像素后,我们可以将目标非飞像素的深度值作为基础深度值,基于该基础深度值获取飞像素深度阈值,其中,飞像素深度阈值表示深度差值的临界值,如果候选飞像素与周围像素之间的深度差值大于该临界值,则表明包含飞像素。当然,若在候选飞像素的预设范围内,不包含非飞像素,则可以根据该候选飞像素的深度值作为基础深度值,进行飞像素深度阈值的确定。
进一步的,获取目标非飞像素的基础深度值后,可以根据基础深度值和预设的深度标准误差的乘积,获取飞像素深度阈值。其中,预设的深度标准误差是标识在深度图获取时,由于循环误差,温度误差等原因导致的像素之间的深度值的正常偏差范围,基于该正常的偏差范围与基础深度值的乘积确定的飞像素深度阈值,与当前的深度图的深度值更加吻合,有助于飞像素的确定效率。比如,深度标准误差为1%,目标非飞像素的基础深度值为dbase,则可将dfly=dbase*1%作为飞像素深度阈值。
步骤104,确定与候选飞像素相邻的各个方向的像素的深度值,并计算候选飞像素和各个方向的像素中每个像素的深度差值。
具体的,正如以上分析的,飞像素受到前景区域和后景区域的脉冲信号的影响较大,导致深度值的介于前景和后景之间,因而,必然与其周围像素的深度值的偏差较大,我们可以基于这种深度值在各个方向的偏差情况判断飞像素。
具体而言,在本实施例中,确定与候选飞像素相邻的各个方向的像素的深度值,并计算候选飞像素和各个方向的像素中每个像素的深度差值,以根据候选飞像素和各个方向的像素之间深度值的相差情况,确定出飞像素。其中,飞像素的各个方向包含在其周围的每个方向,比如,如图5所示,对于候选飞像素C,其各个方向的相邻像素包含像素0-8。
步骤105,根据所有的深度差值和飞像素深度阈值判断候选飞像素是否为飞像素,以便于对飞像素进行滤除处理。
具体地,统计候选飞像素在各个方向上的深度信息的变化,如果候选飞像素在各个方向上的深度信息的变化相对于飞像素深度阈值较大,则认为该候选飞像素是飞像素,从而,对飞像素进行过滤,获取到过滤飞像素后的深度图,提高了基于深度图进行手势识别,三维建模,体感游戏等应用的体验。
当然,在本发明的一个实施例中,在确定出飞像素后,也可以对飞像素的深度值进行补偿,补偿为正常的深度值,比如,将其深度值补偿为与相邻像素点的深度值的差值小于飞像素深度阈值的深度值等。
需要说明的是,在不同的应用场景下,根据所有的深度差值和飞像素深度阈值判断候选飞像素是否为飞像素的方式不同,示例如下:
第一种示例:
在本示例中,计算候选飞像素和各个方向的像素中每个像素的深度差值,计算所有深度差值的均值,并判断均值是否大于飞像素深度阈值,若均值大于飞像素深度阈值,则表明该候选飞像素与其他各个方向的深度值的变化较大,因而,确定候选飞像素为目标飞像素。
举例而言,继续参照图5,对于候选飞像素C,当abs(C点深度-0点深度)+abs(C点深度-8点深度)+abs(C点深度-1点深度)+abs(C点深度-7点深度)+abs(C点深度-2点深度)+abs(C点深度-6点深度)+abs(C点深度-3点深度)+abs(C点深度-5点深度)>8*dfly,则确定C像素为飞像素,对该飞像素进行去除。其中,abs为深度差值的绝对值,dfly为上述飞像素阈值。
第二种示例:
在本示例中,统计深度差值中大于飞像素深度阈值的个数,如果个数大于预设阈值,则表明在大部分方向上候选飞像素的深度值的变化较大,因而,确定候选飞像素为目标飞像素。
其中,上述预设阈值根据大量实验数据标定,在一种可能的示例中,当各个方向的相邻个数为8时,该预设阈值可以为6等,在另一种可能的示例中,我们取候选飞像素周围相邻的各个像素之外,还在相邻的各个像素之外另外获取多个相邻像素的相邻像素,基于每个相邻像素和其相邻像素之间的深度值和置信度的差值,在每个候选飞像素的相邻像素中筛选出置信度比较高的相邻像素,基于筛选出的相邻像素的个数确定预设阈值。
综上,本发明实施例的深度图处理方法,基于当前像素的深度值的情况自适应的确定出飞像素深度阈值,进而,基于飞像素深度阈值进行飞像素的确定,并且,在进行飞像素确定时,同时参考多个方向上的深度信息变化,提高了飞像素的判断准确性,提高了深度图的滤波质量。
为了实现上述实施例,本发明还提出一种深度图处理装置。图6是根据本发明一个实施例的深度图处理装置的结构示意图。如图6所示,该深度图处理装置,包括:第一获取模块10、第一确定模块20、第二确定模块30、第三确定模块40、第二获取模块50和判断模块60,其中,
第一获取模块10,用于获取待处理的深度图,其中,深度图中各像素具有对应的深度值和深度值的置信度。
可以理解,待处理的深度图是笛卡尔坐标系下深度图,深度图中的各个像素都具有对应的深度值和深度值的置信度,其中,深度值的能量越高对应的置信度越高。
第一确定模块20,用于根据深度值的置信度,确定深度图中的候选飞像素。
作为一种可能的实现方式,第一确定模块20确定深度图中每个像素的置信度,由于飞像素同时接收前景和背景的脉冲信号,因此,飞像素的置信度和周围的像素点差异较大,在本示例中,第一确定模块20确定每个像素和其周围的置信度的差值,当该差值较大时,则认为该像素为候选飞像素。
作为另一种可能的实现方式,由于飞像素通常发生在深度不连续区域,而深度的连续程度可以基于置信度的梯度确定,在不连续区域,置信度的区域会发生较大的变化,比如,在飞像素集中的物体的边缘区域中,像素的置信度的差距较大,显然置信度梯度较大,因此,在本实施例中,第一确定模块20在置信度梯度足够大的点周围寻找候选飞像素,即第一确定模块20根据深度图中各个像素的置信度,获取深度图中每个像素的置信度梯度,进而,确定置信度的梯度大于预设阈值的像素为候选飞像素。
第二确定模块30,用于在候选飞像素的预设范围内确定目标非飞像素,并根据目标非飞像素的深度值确定飞像素深度阈值。
具体的,在本发明的实施例中,第二确定模块30在位于候选飞像素预设范围内确定目标非飞像素,一方面,该目标非飞像素处于候选飞像素的邻域内,深度值与候选飞像素的深度值较为相似,另一方面,目标非飞像素由于是非飞像素,因而深度值较为真实,从而,保证了基于目标非飞像素确定的飞像素深度阈值反映了大年深度图的准确的深度值的情况,有助于准确的定位出飞像素。
第三确定模块40,用于确定与候选飞像素邻近的各个方向的像素的深度值。
第二获取模块50,用于获取候选飞像素和各个方向的像素中每个像素的深度差值。
具体的,正如以上分析的,飞像素受到前景区域和后景区域的脉冲信号的影响较大,导致深度值的介于前景和后景之间,深度值的偏差较大,因而,必然与其周围像素的深度值的偏差较大,因而,在本实施例中,第二获取模块50确定与候选飞像素相邻的各个方向的像素的深度值,并计算候选飞像素和各个方向的像素中每个像素的深度差值,以根据候选飞像素和各个方向的像素之间深度值的相差情况,确定出飞像素。其中,飞像素的各个方向包含在其周围的每个方向,比如,如图5所示,对于候选飞像素C,其各个方向的相邻像素包含像素0-8。
判断模块60,用于根据所有的深度差值和飞像素深度阈值判断候选飞像素是否为飞像素,以便于对飞像素进行滤除处理。
具体地,判断模块60统计候选飞像素在各个方向上的深度信息的变化,如果候选飞像素在各个方向上的深度信息的变化相对于飞像素深度阈值较大,则认为该候选飞像素是飞像素,从而,对飞像素进行过滤,获取到过滤飞像素后的深度图,提高了基于深度图进行手势识别,三维建模,体感游戏等应用的体验。
在本发明的一个实施例中,如图7所示,在如图6所示的基础上,第二确定模块30包括第一获取单元31和第二获取单元32,其中,
作为一种可能的实现方式,我们可以预先深度图确定出目标非飞像素,比如,将置信度较高且置信度梯度较低的像素点确定为非飞像素,进而,将在预设范围内距离候选飞像素最近的非飞像素作为目标非飞像素。在确定出目标非飞像素后,第一获取单元31可以将目标非飞像素的深度值作为基础深度值,第二获取单元32基于该基础深度值获取飞像素深度阈值,其中,飞像素深度阈值表示深度差值的临界值,如果候选飞像素与周围像素之间的深度差值大于该临界值,则表明包含飞像素。当然,若在候选飞像素的预设范围内,不包含非飞像素,则可以根据该候选飞像素的深度值作为基础深度值,进行飞像素深度阈值的确定。
进一步的,第一获取单元31获取目标非飞像素的基础深度值后,第二获取单元32可以根据基础深度值和预设的深度标准误差的乘积,获取飞像素深度阈值。其中,预设的深度标准误差是标识在深度图获取时,由于循环误差,温度误差等原因导致的像素之间的深度值的正常偏差范围,基于该正常的偏差范围与基础深度值的乘积确定的飞像素深度阈值,与当前的深度图的深度值更加吻合,有助于飞像素的确定效率。
在本发明的一个实施例中,如图8所示,在如图6所示的基础上,判断模块60包括:判断单元61和第一确定单元62,其中,在本示例中,判断单元61计算候选飞像素和各个方向的像素中每个像素的深度差值,计算所有深度差值的均值,并判断均值是否大于飞像素深度阈值,第一确定单元62均值大于飞像素深度阈值时,则表明该候选飞像素与其他各个方向的深度值的变化较大,因而,确定候选飞像素为目标飞像素。
在本发明的一个实施例中,如图9所示,在如图6所示的基础上,判断模块60包括:统计单元63和第二确定单元64,其中,统计单元63统计深度差值中大于飞像素深度阈值的个数,如果个数大于预设阈值,则表明在大部分方向上候选飞像素的深度值的变化较大,因而,第二确定单元64确定候选飞像素为目标飞像素。
需要说明的是,前述对深度图处理方法实施例的解释说明也适用于该实施例的深度图处理装置,此处不再赘述。
综上,本发明实施例的深度图处理装置,基于当前像素的深度值的情况自适应的确定出飞像素深度阈值,进而,基于飞像素深度阈值进行飞像素的确定,并且,在进行飞像素确定时,同时参考多个方向上的深度信息变化,提高了飞像素的判断准确性,提高了深度图的滤波质量。
为了实现上述实施例,本发明还提出一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时,实现如前述实施例所描述的深度图处理方法。
为了实现上述实施例,本发明还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述方法实施例所描述的深度图处理方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (11)
1.一种深度图处理方法,其特征在于,包括以下步骤:
获取待处理的深度图,其中,所述深度图中各像素具有对应的深度值和所述深度值的置信度;
根据所述深度值的置信度,确定所述深度图中的候选飞像素;
在所述候选飞像素的预设范围内确定目标非飞像素,并根据所述目标非飞像素的深度值确定飞像素深度阈值;
确定与所述候选飞像素邻近的各个方向的像素的深度值,并获取所述候选飞像素和所述各个方向的像素中每个像素的深度差值;
根据所有的所述深度差值和所述飞像素深度阈值判断所述候选飞像素是否为飞像素,以便于对所述飞像素进行滤除处理。
2.如权利要求1所述的方法,其特征在于,在所述在所述候选飞像素的预设范围内确定目标非飞像素之前,包括:
根据所述深度图中各个像素的置信度,获取所述深度图中每个像素的置信度梯度;
确定所述置信度梯度小于等于预设阈值的像素为非飞像素。
3.如权利要求1所述的方法,其特征在于,所述并根据所述目标非飞像素的深度值确定飞像素深度阈值,包括:
获取所述目标非飞像素的基础深度值;
根据所述基础深度值和预设的深度标准误差的乘积,获取所述飞像素深度阈值。
4.如权利要求1所述的方法,其特征在于,所述根据所有的所述深度差值和所述飞像素深度阈值判断所述候选飞像素是否为飞像素,包括:
获取所有深度差值的均值,并判断所述均值是否大于所述飞像素深度阈值;
若所述均值大于所述飞像素深度阈值,则确定所述候选飞像素为所述目标飞像素。
5.如权利要求1所述的方法,其特征在于,所述根据所有的所述深度差值和所述飞像素深度阈值判断所述候选飞像素是否为飞像素,包括:
统计所述深度差值中大于所述飞像素深度阈值的个数;
若所述个数大于预设阈值,则确定所述候选飞像素为所述目标飞像素。
6.一种深度图处理装置,其特征在于,包括:
第一获取模块,用于获取待处理的深度图,其中,所述深度图中各像素具有对应的深度值和所述深度值的置信度;
第一确定模块,用于根据所述深度值的置信度,确定所述深度图中的候选飞像素;
第二确定模块,用于在所述候选飞像素的预设范围内确定目标非飞像素,并根据所述目标非飞像素的深度值确定飞像素深度阈值;
第三确定模块,用于确定与所述候选飞像素邻近的各个方向的像素的深度值;
第二获取模块,用于获取所述候选飞像素和所述各个方向的像素中每个像素的深度差值;
判断模块,用于根据所有的所述深度差值和所述飞像素深度阈值判断所述候选飞像素是否为飞像素,以便于对所述飞像素进行滤除处理。
7.如权利要求6所述的装置,其特征在于,所述第二确定模块,包括:
第一获取单元,用于获取所述目标非飞像素的基础深度值;
第二获取单元,用于根据所述基础深度值和预设的深度标准误差的乘积,获取所述飞像素深度阈值。
8.如权利要求6所述的装置,其特征在于,所述判断模块,包括:
判断单元,用于获取所有深度差值的均值,并判断所述均值是否大于所述飞像素深度阈值;
第一确定单元,用于在所述均值大于所述飞像素深度阈值时,则确定所述候选飞像素为所述目标飞像素。
9.如权利要求6所述的装置,其特征在于,所述判断模块,包括:
统计单元,用于统计所述深度差值中大于所述飞像素深度阈值的个数;
第二确定单元,用于在所述个数大于预设阈值时,确定所述候选飞像素为所述目标飞像素。
10.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-5中任一所述的深度图处理方法。
11.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的深度图处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910626651.4A CN110400340B (zh) | 2019-07-11 | 2019-07-11 | 深度图处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910626651.4A CN110400340B (zh) | 2019-07-11 | 2019-07-11 | 深度图处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110400340A true CN110400340A (zh) | 2019-11-01 |
CN110400340B CN110400340B (zh) | 2022-03-22 |
Family
ID=68325338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910626651.4A Active CN110400340B (zh) | 2019-07-11 | 2019-07-11 | 深度图处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110400340B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260592A (zh) * | 2020-03-17 | 2020-06-09 | 北京华捷艾米科技有限公司 | 一种深度图像去噪方法及装置 |
WO2021060539A1 (ja) * | 2019-09-25 | 2021-04-01 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、測距方法、プログラム、電子機器、学習モデル生成方法、製造方法、およびデプスマップ生成方法 |
CN113096024A (zh) * | 2020-01-09 | 2021-07-09 | 舜宇光学(浙江)研究院有限公司 | 用于深度数据的去飞点方法及其系统和电子设备 |
CN113379812A (zh) * | 2021-05-31 | 2021-09-10 | 上海集成电路制造创新中心有限公司 | 异常像素的滤除方法及设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102184531A (zh) * | 2010-05-07 | 2011-09-14 | 微软公司 | 深度图置信过滤 |
CN103814306A (zh) * | 2011-06-24 | 2014-05-21 | 索弗特凯耐提克软件公司 | 深度测量质量增强 |
CN104333758A (zh) * | 2014-10-11 | 2015-02-04 | 华为技术有限公司 | 深度图的预测方法和检测像素点的方法及相关装置 |
CN105139401A (zh) * | 2015-08-31 | 2015-12-09 | 山东中金融仕文化科技股份有限公司 | 一种深度图中深度的可信度的评估方法 |
CN107357414A (zh) * | 2016-05-09 | 2017-11-17 | 株式会社理光 | 一种点击动作的识别方法及点击动作识别装置 |
CN108432244A (zh) * | 2015-12-21 | 2018-08-21 | 皇家飞利浦有限公司 | 处理图像的深度图 |
CN109685748A (zh) * | 2018-12-07 | 2019-04-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备、计算机可读存储介质 |
-
2019
- 2019-07-11 CN CN201910626651.4A patent/CN110400340B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102184531A (zh) * | 2010-05-07 | 2011-09-14 | 微软公司 | 深度图置信过滤 |
CN103814306A (zh) * | 2011-06-24 | 2014-05-21 | 索弗特凯耐提克软件公司 | 深度测量质量增强 |
CN104333758A (zh) * | 2014-10-11 | 2015-02-04 | 华为技术有限公司 | 深度图的预测方法和检测像素点的方法及相关装置 |
CN105139401A (zh) * | 2015-08-31 | 2015-12-09 | 山东中金融仕文化科技股份有限公司 | 一种深度图中深度的可信度的评估方法 |
CN108432244A (zh) * | 2015-12-21 | 2018-08-21 | 皇家飞利浦有限公司 | 处理图像的深度图 |
CN107357414A (zh) * | 2016-05-09 | 2017-11-17 | 株式会社理光 | 一种点击动作的识别方法及点击动作识别装置 |
CN109685748A (zh) * | 2018-12-07 | 2019-04-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备、计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
HUI ZHANG等: "Calibration and Gray-level Image Generation for the SR4500 ToF Camera", 《INTERNATIONAL JOURNAL OF CONTROL AND AUTOMATION》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021060539A1 (ja) * | 2019-09-25 | 2021-04-01 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、測距方法、プログラム、電子機器、学習モデル生成方法、製造方法、およびデプスマップ生成方法 |
CN113096024A (zh) * | 2020-01-09 | 2021-07-09 | 舜宇光学(浙江)研究院有限公司 | 用于深度数据的去飞点方法及其系统和电子设备 |
CN113096024B (zh) * | 2020-01-09 | 2023-05-09 | 舜宇光学(浙江)研究院有限公司 | 用于深度数据的去飞点方法及其系统和电子设备 |
CN111260592A (zh) * | 2020-03-17 | 2020-06-09 | 北京华捷艾米科技有限公司 | 一种深度图像去噪方法及装置 |
CN111260592B (zh) * | 2020-03-17 | 2023-10-31 | 北京华捷艾米科技有限公司 | 一种深度图像去噪方法及装置 |
CN113379812A (zh) * | 2021-05-31 | 2021-09-10 | 上海集成电路制造创新中心有限公司 | 异常像素的滤除方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110400340B (zh) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110400340A (zh) | 深度图处理方法和装置 | |
CN110400343A (zh) | 深度图处理方法和装置 | |
US12014533B2 (en) | Methods and systems for real or near real-time point cloud map data confidence evaluation | |
US6621921B1 (en) | Image processing apparatus | |
CN110850872A (zh) | 机器人巡检方法、装置、计算机可读存储介质及机器人 | |
CN109961468A (zh) | 基于双目视觉的体积测量方法、装置及存储介质 | |
CN107920246B (zh) | 摄像头模组的倾斜度测试方法及装置 | |
CN107980138A (zh) | 一种虚警障碍物检测方法及装置 | |
CN109444839B (zh) | 目标轮廓的获取方法及装置 | |
CN111047640B (zh) | 容量瓶容积的校准方法、装置、终端设备及存储介质 | |
CN109977466A (zh) | 一种三维扫描视点规划方法、装置及计算机可读存储介质 | |
CN108182708B (zh) | 一种双目相机的标定方法、标定装置及终端设备 | |
CN110031800A (zh) | 定位方法、装置、计算机设备及存储介质 | |
CN114926808A (zh) | 一种基于传感器融合的目标检测及追踪方法 | |
CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
KR100526817B1 (ko) | 스테레오 영상 구현 시 기본행렬을 구하는 방법 | |
CN110400342A (zh) | 深度传感器的参数调整方法、装置以及电子设备 | |
CN111901499B (zh) | 一种计算视频图像中像素实际距离的方法及设备 | |
CN111009003B (zh) | 交通信号灯纠偏的方法、系统及存储介质 | |
CN108965525A (zh) | 检测方法和装置、终端、计算机设备和可读存储介质 | |
CN112488030A (zh) | 一种基于机器视觉的指针式仪表读表方法 | |
CN108957914B (zh) | 激光投射模组、深度获取装置和电子设备 | |
CN111336938A (zh) | 一种机器人及其物体距离检测方法和装置 | |
CN113065501B (zh) | 苗线识别的方法、装置和农机 | |
CN115223882A (zh) | 晶圆测试映射图错位的确定方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |