CN108335267A - 一种深度图像的处理方法、装置、设备和存储介质 - Google Patents
一种深度图像的处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN108335267A CN108335267A CN201711476349.2A CN201711476349A CN108335267A CN 108335267 A CN108335267 A CN 108335267A CN 201711476349 A CN201711476349 A CN 201711476349A CN 108335267 A CN108335267 A CN 108335267A
- Authority
- CN
- China
- Prior art keywords
- depth
- image
- effective
- pixel
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 230000001965 increasing effect Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims description 66
- 230000003595 spectral effect Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 39
- 230000015654 memory Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000002708 enhancing effect Effects 0.000 description 10
- 230000009466 transformation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本发明实施例公开了一种深度图像的处理方法、装置、设备和存储介质。所述方法包括:识别深度图像中的至少一个有效深度区域;基于单调递增函数关系对深度图像中各像素的深度值进行处理,以将所述有效深度区域的深度取值范围扩大,将非有效深度区域的深度取值范围压缩。通过采用上述技术方案,可增加深度图像的深度层次,解决深度图像中有效深度区域范围小,及扩大有效区域后深度层次稀疏的问题,得到对比度更加明显的深度图像。
Description
技术领域
本发明实施例涉及图像数据处理技术,尤其涉及一种深度图像的处理方法、装置、设备和存储介质。
背景技术
深度图像或2D+Z图像,在诸如多视点裸眼3D显示等场景中有着广泛的应用。
由于获取或是生成时的一些限制,部分深度图像存在有效深度区域较小,深度层次过于稀疏等问题。即,深度图像中各像素的深度值的分布比较集中于某个较小的取值范围内,造成图像中大量区域的深度差别较小,而少量区域的深度跨度较大,形成深度层次过于稀疏的现象。
如图1所示,为一张室内图,该图中像素的灰度值反映的是物体的深度值,取值范围是0-255。但是,由于大部分图像的深度比较接近,所以有效深度区域限定在了4-32的取值范围内,使得图像的深度层次较少。
发明内容
本发明实施例提供一种深度图像的处理方法、装置、设备和存储介质,以改善图像有效深度区域范围小,深度层次稀疏的问题。
第一方面,本发明实施例提供了一种深度图像的处理方法,该方法包括:
识别深度图像中的至少一个有效深度区域;
基于单调递增函数关系对深度图像中各像素的深度值进行处理,以将所述有效深度区域的深度取值范围扩大,将非有效深度区域的深度取值范围压缩。
第二方面,本发明实施例还提供了一种深度图像的处理装置,该装置包括:
有效深度区域识别模块,用于识别深度图像中的至少一个有效深度区域;
深度值处理模块,用于基于单调递增函数关系对深度图像中各像素的深度值进行处理,以将所述有效深度区域的深度取值范围扩大,将非有效深度区域的深度取值范围压缩。
第三方面,本发明实施例还提供了一种设备,该设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所提供的深度图像的处理方法。
第四方法,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所提供的深度图像的处理方法。
本发明实施例的技术方案通过识别深度图像中的至少一个有效深度区域,可基于单调递增函数关系对深度图像中各像素的深度值进行处理,以将有效深度区域的深度取值范围扩大,并将非有效深度区域的深度取值范围压缩,从而可以增加深度图像的深度层次,解决深度图像中有效深度区域范围小,深度层次稀疏的问题,得到深度对比度更加明显的深度图像。
附图说明
图1为现有技术提供一种有效区域较小的深度图像示意图;
图2a为现有技术提供的一种对深度图像进行线性变换的函数示意图;
图2b为现有技术提供的经过线性变换后的深度图像示意图;
图3为本发明实施例一提供的一种深度图像的处理方法的流程图;
图4为本发明实施例一提供的一种深度直方图;
图5为本发明实施例一提供的一种有效深度增强变化的函数示意图;
图6为本发明实施例二提供的一种深度图像的处理方法的流程图;
图7为本发明实施例二提供的利用传统滤波方式处理后的深度图像示意图;
图8a为本发明实施例二提供的一种改进后的滤波方式的流程图;
图8b为本发明实施例二提供的利用改进后的滤波方式对深度图像进行平滑处理后的深度图像示意图;
图9为本发明实施例三提供的一种深度图像的处理装置的结构框图;
图10为本发明实施例四提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
为了清楚、明白的描述本发明各实施例,首先将本发明的实现原理进行简单介绍:
本发明实施例的技术方案可应用于裸眼3D图像显示等场景中。在获取或者生成深度图像时,对于生成图像中有效深度区域较小、深度层次过于稀疏等问题,一般采用线性变换的方式对图像深度进行增强处理,具体处理可以为对原图深度范围进行一定的线性变换后,使有效深度区域内的深度层次得到提升。图2a为现有技术提供的一种对深度图像进行线性变换的函数示意图。如图2a所示,对于有效深度区域(取值范围为0-32),将其对应的深度值按照线性递增的方式映射到取值范围为0-255的区域内,并将非有效区域(取值范围为32-255)对应的深度值均设置为255。图2b为现有技术提供的经过线性变换后的深度图像示意图。如图2b所示,经过线性变换,相对于图1所示的深度图像而言,有效区域内深度对比度明显上升,但图1所示图像中有效区域内深度层次较为稀疏的问并未得到有效改善。
本发明实施例通过识别深度图像中的有效区域,并将有效深度区域的深度取值范围扩大,从而增加图像的深度层次。由于非有效深度区域在深度图像中所占位置范围较小,即在深度图像中像素出现的次数较少,因此非有效区域对图像的深度层次影响并不大,故将非有效深度区域的深度取值范围压缩,例如可将其统一设置为一个值,从而可进一步突出有效深度区域的深度层次,得到对比度更加明显的深度图像。
实施例一
图3为本发明实施例一提供的一种深度图像的处理方法的流程图,该方法可以由深度图像的处理装置来执行,该装置可以由软件和/或硬件的方式实现,一般可集成到如景深相机等图像采集设备中,用于裸眼3D显示等场景。参见图3,本实施的方法具体包括:
S110、识别深度图像中的至少一个有效深度区域。
其中,深度图像(depth image)也被称为距离影像(range image),是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像,即深度图像中每一个像素点的像素值表示场景中某一点与摄像机之间的距离,它直接反映了空间物体表现到成像平面的几何距离。深度图像中的深度信息可以采用灰度图像的明暗特征或纹理特性进行间接估算。本实施例中优选采用灰度图像的明暗特征,即采用灰度值来反映物体的深度值。本实施例中,有效深度区域可根据实际需要处理的深度图像进行设置,例如,如图1所示,可将有效深度区域设置在4-32的取值范围内。
一般的,在深度图像中,有效深度区域所占的比例较大,为深度图像中深度值分布较为集中的区域。而非有效深度区域在深度图像中所占比例较小,在深度图像中出现的像素点个数也较少,因此相对于非有效深度区域,有效深度区域对图像深度层次的影响较大。
示例性的,本实施例中识别深度图像中的至少一个有效深度区域的操作具体可以包括:根据深度图像中各像素的深度值进行统计,确定对应深度直方图;从深度直方图中,选择像素数量占全部像素数量的比例大于设定值的深度值范围,作为有效深度区域。
其中,深度直方图为像素的深度层级分布示意图,每一深度层级具有相应的像素个数。在深度直方图中,横坐标表示深度值的取值区间,其范围是0-255,纵坐标表示每个深度取值区间内的像素点个数。
示例性的,可将深度直方图中深度值较为密集(像素点数量较多)的区域作为有效深度区域。在本实施例中,优选将像素数量占全部像素数量的比例大于设定值的深度值范围,作为有效深度区域。在该有效深度区域内不仅包含大于设定值的像素数量,而且该有效深度区域包含的深度层级个数最少,即该有效深度区域边界位置处的深度值最接近。
具体的,可按照步长为5的灰度值进行像素点个数的统计,得到深度直方图。图4为本发明实施例一提供的一种深度直方图。如图4所示,将设定值优选设置为95%,即在保证虚线a和虚线b之间的距离为最近距离的条件下,虚线a和虚线b与直方图所围成的区间中像素数量占全部像素数量的比例大于或等于95%时,虚线a和虚线b之间的深度范围可作为有效深度区域。
S120、基于单调递增函数关系对深度图像中各像素的深度值进行处理,以将有效深度区域的深度取值范围扩大,将非有效深度区域的深度取值范围压缩。
示例性的,由于有效深度区域和非有效深度区域在深度图像中的位置不同、区域大小也不同,因此可采用不同的单调递增函数对有效深度区域和非有效深度区域分别进行不同深度增强处理。
示例性的,有效深度区域的深度值的处理可以采用第一单调递增函数关系。
其中,第一单调递增函数关系可按照不同的斜率递增。相对于现有技术提供线性变化的方式,通过采用第一单调递增函数关系可以使得有效深度区域的深度取值范围得到有效扩大,本实施例优选将深度区域范围扩大为最大深度范围,即0-255。
具体的,第一单调递增函数关系可以为Gamma曲线关系。图5为本发明实施例一提供的一种有效深度增强变化的函数示意图。如图5所示,横坐标表示原深度的取值范围,纵坐标表示经过深度增强处理后的深度区域的取值范围(0-255)。其中,虚线c和虚线d之间的区域(原深度取值范围为4-32)为有效深度区域,有效深度区域之外的其他区域(范围为0-4、32-255)为非有效深度区域。如图5所示,对于有效深度区域而言,对应的第一单调递增函数关系可以采用如图5所示的k、m和n三种不同斜率的单调递增函数。如图5所示,经过深度增强处理后,有效深度区域对应的取值范围扩大到0-255。
示例性的,非有效深度区域的深度值的处理可采用第二单调递增函数关系,且第一单调递增函数关系的斜率大于第二单调递增函数关系的斜率。这样设置是因为非有效深度区域在深度图像中所占的位置较小,该区域内像素点个数也较少,该区域对图像深度层次的影响较小。因此,将第二单调递增函数关系的斜率设置为小于第一单调递增函数关系的斜率,有效深度区域转换后的取值范围得到了扩大,非有效深度区域转换后的深度取值范围得到了压缩,从而进一步突出有效深度区域的深度对比度。第二单调递增函数关系的斜率也可以为0,即,可以将非有效深度区域一定范围内的取值均映射转换为统一的一个数值。
优选的,第二单调递增函数关系为线性关系或分段线性关系。具体的,由于非有效区域在深度图像中出现的次数较少,因此可先计算非有效区域边界位置的端点值,并将非有效区域的深度取值范围统一设置为该端点值,即非有效区域的深度取值范围得到压缩。如图5所示,横坐标从0-4的非有效深度区域的深度值可设置为0。而深度范围为32-255的非有效深度区域的深度值可设置为255。通过采用单调递增函数对深度图像中的各像素进行深度增强处理后,有效深度区域扩大,深度层次稀疏的问题得到有效改善,深度对比度增强。
本实施例的技术方案,通过识别深度图像中的至少一个有效深度区域,可基于单调递增函数关系对深度图像中各像素的深度值进行处理,以将有效深度区域的深度取值范围扩大,并将非有效深度区域的深度取值范围压缩,从而可以增加图像的深度层次,解决深度图像中有效深度区域范围小,深度层次稀疏的问题,得到对比度更加明显的深度图像。
实施例二
图6为本发明实施例二提供的一种深度图像的处理方法的流程图,本实施例在上述实施例的基础上进行了优化,增加了“对深度图像进行滤波处理”的相关内容,其中与上述实施例相同或相应的术语的解释在此不再赘述。参见图6,本实施例提供的深度图像的处理方法包括:
S210、识别深度图像中的至少一个有效深度区域。
S220、基于单调递增函数关系对深度图像中各像素的深度值进行处理,以将有效深度区域的深度取值范围扩大,将非有效深度区域的深度取值范围压缩。
其中,经过深度增强处理后,虽然有效深度区域得到扩大,深度对比度增强,但是经过处理后的深度层次的梯度感较强,各层过度存在锯齿,深度图像较为粗糙。因此,需对深度图像进行平滑处理。但是,如果直接采用传统的滤波方式对深度图像进行平滑处理,则将影响深度图像边界位置的深度值,导致边界感下降(即边界位置处的分辨率降低),深度图像模糊的现象发生。因此,本发明实施例在对深度图像滤波的过程中,对传统的滤波方式进行了改进,在保证深度边界像素不受影响的情况下,对整个深度图像进行低通滤波处理,以进一步增强深度图像的平滑性。
S230、对深度取值范围处理后的深度图像进行滤波处理。
本领域技术人员可以理解的是,对图像进行平滑处理的低通滤波方式有多种,例如中值滤波或高斯滤波等,本实施例对此不作具体限定。只要在滤波过程中不丢失物体及背景的边界信息,不影响深度图像的分辨率,各种平滑滤波处理方式均可应用到本实施例中。
为了清楚、明白的说明本实施例提供的滤波方式相对于传统滤波方式的优势,下面首先对传统的滤波方式进行简要介绍:
在利用传统的滤波方式对深度图像进行滤波处理的过程中,对于当前选定的中心点,将其中心点的各个邻域像素均作为滤波用点,即参与滤波过程中卷积运算的像素点。具体滤波过程为计算各邻域像素与预设滤波窗中对应元素的乘积,然后将计算出的各个乘积求和后,将所得的和值赋值给中心点,作为该中心点的深度值,以对中心点像素进行滤波。对于深度图像中的每个像素点,均可作为中心点并按照上述方式进行滤波处理,得到较为平滑的深度图像。
图7为本发明实施例二提供的利用传统滤波方式处理后的深度图像示意图。如图7所示,对深度取值范围处理后的深度图像采用传统滤波方式进行平滑处理后,图7所示的深度图像中锯齿现象明显减少,但物体及背景间的边界信息也有所丢失。
因此,本实施例对传统的滤波方式进行了改进,下面对本实施例提供的滤波方式进行详细说明:
相对于传统的滤波方式,为了保证在增强深度对比度的前提下,降低各层级深度过度时的梯度感,减少锯齿现象,使得深度图像更为平滑,本实施例提供的低通滤波方式对滤波区域中的滤波用点进行了有针对性的选择,具体优选为:将滤波区域中与中心点深度值相差较小(某个像素的深度值与中心点的深度差值在预设深度范围内)的像素点作为滤波用点,即,在对中心点进行滤波的过程中,该点需参与滤波过程中的卷积运算。而将滤波区域中与中心点深度值相差较大的像素(某个像素的深度值与中心点的深度差值超过预设深度范围)作为非滤波用点,即,在对中心点进行滤波的过程中,该点不参与滤波过程中的卷积运算。
相应的,对于原预设滤波窗,由于其中各个元素之和,即滤波区域中各个像素对应的系数之和为1,而当非滤波用点不参与卷积运算时,滤波用点对应的系数可做相应的归一化处理,从而可得到与滤波用点对应的目标滤波窗,并利用该目标滤波窗可对中心点进行滤波处理。具体的,其滤波处理过程为:将目标滤波窗中的各元素与滤波区域中对应的各像素的深度值相乘,得到滤波用点对应的目标深度值,并将各个目标深度值相加后,将和值赋值给中心点,可完成对中心点的滤波。通过按照上述方式将深度图像中的每个像素点作为中心点,并对各个中心点进行滤波处理后,可得到更为平滑的深度图像。
具体的,图8a为本发明实施例二提供的一种改进后的滤波方式的流程图,如图8a所示,本实施例提供的改进后的滤波方式包括如下步骤:
S231、在深度取值范围处理后的深度图像中选择待进行滤波的当前像素。
其中,当前像素可以为深度图像中的任意一个像素。具体的,可依次遍历深度图像中的每个像素将其作为中心点,当然也可按照间隔几个像素的遍历方式对中心点进行选定。
S232、以当前像素作为中心点,确定中心点设定范围内的像素作为滤波区域。
示例性的,滤波区域可以为:以中心点为中心,按照上、下、左和右四个方向分别延伸出的一个或几个(例如10个)像素所在的区域。可选的,滤波区域的确定方式还可以为以当前像素为中心点,将该中心点设定范围内(例如4×4或8×8)的区域作为滤波区域。
S233、在滤波区域中,计算中心点的邻域像素的深度值与中心点的深度值之间的差值,并判断该差值是否在预设深度范围内,若是,则执行步骤S234;否则,执行步骤S235。
示例性的,可通过设置上阈值与下阈值的方式确定预设深度范围。根据上阈值和下阈值,分别计算滤波区域中中心点的各邻域像素的深度值与中心点深度值之间的差值,从而确定中心点像素的邻域像素是否可作为滤波用点(即参与滤波过程中卷积运算的像素点)。
具体的,如果选定的滤波区域中,中心点邻域像素的深度值大于中心点深度值与上阈值之和,或中心点邻域像素的深度值小于中心点深度值与下阈值之差,则确定该邻域像素为非滤波用点,否则为滤波用点,具体公式可以为:
其中,ZT(x,y)为滤波区域中像素的深度值;C为中心点坐标,Z(C)为中心点位置处的深度值;THl为下阈值;THh为上阈值;NaN为非滤波用点的深度值;Z(x,y)为坐标为(x,y)位置处滤波用点的深度值。
本领域技术人员可以理解,下阈值可以为正数,则可以如上所述,计算中心点深度值与下阈值之差。还可以将下阈值设置为负数,则计算中心点深度值与下阈值之和,与中心点邻域像素的深度值进行比较。两者的技术含义实质上相同。
S234、将邻域像素作为滤波用点,并对滤波用点对应的系数做归一化处理,得到与滤波用点对应的目标滤波窗,继续执行步骤S236。
其中,对于目标滤波窗,可将其中的各个元素与中心点的邻域像素的深度值相乘,得到目标深度值,具体过程如下:
其中,S为滤波用点的目标深度值;(x,y)为滤波用点(Z(x,y)≠NaN)的坐标值;ZT(x,y)为滤波用点未经过处理前的深度值;w(x,y)为预设权重值。
示例性的,预设权重值的选取可以为:距离中心点越近的像素的权重值越大,而距离中心点越远的像素的权重值越小。这样设置可以进一步提升滤波处理的平滑效果,在保证深度层次的同时,可使得图像深度层次的过度更加平滑。
目标深度值确定后,将各个目标深度值相加后赋值给中心点,可完成对中心点的滤波处理。通过将预设滤波窗依次遍历深度图像中的每个像素作为中心点,并进行滤波处理后,可得到更为平滑的深度图像。
S235、将邻域像素作为非滤波用点。
S236、利用目标滤波窗对中心点进行滤波处理。
具体的,图8b为本发明实施例二提供的利用改进后的滤波方式对深度图像进行平滑处理后的深度图像示意图。如图8b,经过低通滤波处理后的深度图像深度层次分明,且图像深度过度更加平滑,边界完整,可用于实现高质量的裸眼3D图像显示。相对于图7所示的采用传统滤波方式处理后的深度图像,图8b所示的图像降低了各层级深度过度时的梯度感,减少锯齿现象,在不影响图像深度层次感的条件下,使得图像深度层次的过度更加平滑。
进一步的,为了增强深度图像的平滑度,可采用递归方式重复执行低通滤波的操作,具体可以为将每次低通滤波处理后的输出图像作为下一次滤波处理的输入图像,并执行设定次数(例如执行3-5次)。
进一步的,对于每次递归滤波,可选择自适应的滤波参数,从而提高滤波处理的精度,进一步提升图像深度层次过度的平滑性。
具体的,在每次进行滤波处理时,可将上阈值、下阈值和滤波区域范围大小中的至少一个依次减小。例如,可将上阈值或下阈值每次减小10个像素,以提高深度边界像素确定的精确度。再比如,以滤波区域为例,第一次可选中心点位置16×16的范围作为滤波区域,第二次可选8×8范围作为滤波区域,第三次可选4×4的范围作为滤波区域,并按上述规则依次执行,从而提高滤波处理的精度。
本实施例提供的技术方案,通过对深度值范围扩大后的深度图像进行自适应滤波处理,可得到深度层次的过度更加平滑的深度图像。相对于传统的滤波方式,本实施例提供的技术方案有效降低了各层级深度过度时的梯度感,减少锯齿现象。此外,通过采用递归方式重复执行低通滤波操作,进一步提升了滤波处理的精度,加强了图像深度层次过度的平滑性。
实施例三
图9为本发明实施例三提供的一种深度图像的处理装置的结构框图,该装置可以由软件和/或硬件来实现,如图9所示,该处理装置具体包括:有效深度区域识别模块410和深度值处理模块420。
其中,有效深度区域识别模块410,用于识别深度图像中的至少一个有效深度区域;深度值处理模块420,用于基于单调递增函数关系对深度图像中各像素的深度值进行处理,以将所述有效深度区域的深度取值范围扩大,将非有效深度区域的深度取值范围压缩。
本实施例的技术方案,通过识别深度图像中的至少一个有效深度区域,可基于单调递增函数关系对深度图像中各像素的深度值进行处理,以将有效深度区域的深度取值范围扩大,将非有效深度区域的深度取值范围压缩,从而可以增加图像的深度层次,解决深度图像中有效深度区域范围小,深度层次稀疏的问题,得到对比度更加明显的深度图像。
在上述实施例的基础上,所述处理装置还包括:滤波模块,用于在基于单调递增函数关系对深度图像中各像素的深度值进行处理之后,对所述深度图像进行滤波处理。
在上述实施例的基础上,所述有效深度区域的深度值对应采用第一单调递增函数关系,非有效深度区域的深度值对应采用第二单调递增函数关系,且第一单调递增函数关系的斜率大于第二单调递增函数关系的斜率。
在上述实施例的基础上,所述第一单调递增函数关系为Gamma曲线关系,第二单调递增函数关系为线性关系或分段线性关系。
在上述实施例的基础上,所述滤波模块具体用于:
确定所述深度图像中待进行滤波的当前像素;
以所述当前像素作为中心点,确定所述中心点设定范围内的像素作为滤波区域;
在所述滤波区域中,计算所述中心点的邻域像素的深度值与所述中心点的深度值之间的差值,并判断所述差值是否在预设深度范围内;
如果所述差值超过所述预设深度范围,则将所述邻域像素作为非滤波用点;
如果所述差值在所述预设深度范围内,则将所述邻域像素作为滤波用点,并对所述滤波用点对应的系数做归一化处理,得到与所述滤波用点对应的目标滤波窗;
利用所述目标滤波窗对所述中心点进行滤波处理。
在上述实施例的基础上,所述滤波的过程采用递归方式执行设定次数,将每次滤波输出的深度图像作为下次滤波的输入深度图像。
在上述实施例的基础上,所述有效深度区域识别模块具体用于:
根据所述深度图像中各像素的深度值进行统计,确定对应深度直方图;
从所述深度直方图中,选择像素数量占全部像素数量的比例大于设定值的深度值范围,作为有效深度区域。
本发明实施例所提供的深度图像的处理装置可执行本发明任意实施例所提供的深度图像的处理方法,具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的深度图像的处理方法。
实施例四
图10为本发明实施例四提供的一种设备的结构示意图,如图10所示,该设备包括处理器510、存储器520、输入装置530和输出装置540;设备中处理器510的数量可以是一个或多个,图10中以一个处理器510为例;设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或其他方式连接,图10中以通过总线连接为例。
存储器520作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的深度图像的处理方法对应的程序指令/模块(例如,有效深度区域识别模块410和深度值处理模块420)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的深度图像的处理方法。
存储器520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器520可进一步包括相对于处理器510远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种深度图像的处理方法,该方法包括:
识别深度图像中的至少一个有效深度区域;
基于单调递增函数关系对深度图像中各像素的深度值进行处理,以将所述有效深度区域的深度取值范围扩大,将非有效深度区域的深度取值范围压缩。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的深度图像的处理方法中的相关操作.
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述深度图像的处理装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种深度图像的处理方法,其特征在于,包括:
识别深度图像中的至少一个有效深度区域;
基于单调递增函数关系对深度图像中各像素的深度值进行处理,以将所述有效深度区域的深度取值范围扩大,将非有效深度区域的深度取值范围压缩。
2.根据权利要求1所述的方法,其特征在在于,基于单调递增函数关系对深度图像中各像素的深度值进行处理之后,还包括:
对所述深度图像进行滤波处理。
3.根据权利要求1所述的方法,其特征在于:
所述有效深度区域的深度值对应采用第一单调递增函数关系,非有效深度区域的深度值对应采用第二单调递增函数关系,且第一单调递增函数关系的斜率大于第二单调递增函数关系的斜率。
4.根据权利要求3所述的方法,其特征在于:所述第一单调递增函数关系为Gamma曲线关系,第二单调递增函数关系为线性或分段线性关系。
5.根据权利要求2所述的方法,其特征在于,所述对所述深度图像进行滤波处理,包括:
确定所述深度图像中待进行滤波的当前像素;
以所述当前像素作为中心点,确定所述中心点设定范围内的像素作为滤波区域;
在所述滤波区域中,计算所述中心点的邻域像素的深度值与所述中心点的深度值之间的差值,并判断所述差值是否在预设深度范围内;
如果所述差值超过所述预设深度范围,则将所述邻域像素作为非滤波用点;
如果所述差值在所述预设深度范围内,则将所述邻域像素作为滤波用点,并对所述滤波用点对应的系数做归一化处理,得到与所述滤波用点对应的目标滤波窗;
利用所述目标滤波窗对所述中心点进行滤波处理。
6.根据权利要求2所述的方法,其特征在于:
所述滤波的过程采用递归方式执行设定次数,将每次滤波输出的深度图像作为下次滤波的输入深度图像。
7.根据权利要求1所述的方法,其特征在于,识别深度图像中的至少一个有效深度区域包括:
根据所述深度图像中各像素的深度值进行统计,确定对应深度直方图;
从所述深度直方图中,选择像素数量占全部像素数量的比例大于设定值的深度值范围,作为有效深度区域。
8.一种深度图像的处理装置,其特征在于,包括:
有效深度区域识别模块,用于识别深度图像中的至少一个有效深度区域;
深度值处理模块,用于基于单调递增函数关系对深度图像中各像素的深度值进行处理,以将所述有效深度区域的深度取值范围扩大,将非有效深度区域的深度取值范围压缩。
9.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的深度图像的处理方法。
10.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的深度图像的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711476349.2A CN108335267A (zh) | 2017-12-29 | 2017-12-29 | 一种深度图像的处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711476349.2A CN108335267A (zh) | 2017-12-29 | 2017-12-29 | 一种深度图像的处理方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108335267A true CN108335267A (zh) | 2018-07-27 |
Family
ID=62923607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711476349.2A Pending CN108335267A (zh) | 2017-12-29 | 2017-12-29 | 一种深度图像的处理方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108335267A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109600600A (zh) * | 2018-10-31 | 2019-04-09 | 万维科研有限公司 | 涉及深度图转换的编码器、编码方法以及三层表达式的存储方法和格式 |
CN110121031A (zh) * | 2019-06-11 | 2019-08-13 | Oppo广东移动通信有限公司 | 图像采集方法和装置、电子设备、计算机可读存储介质 |
CN112686077A (zh) * | 2019-10-17 | 2021-04-20 | 北京极智嘉科技有限公司 | 一种自驱动机器人和障碍物识别的方法 |
CN112912921A (zh) * | 2018-10-11 | 2021-06-04 | 上海科技大学 | 从深度图中提取平面的系统和方法 |
CN113126944A (zh) * | 2021-05-17 | 2021-07-16 | 北京的卢深视科技有限公司 | 深度图的显示方法、显示装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101261734A (zh) * | 2007-03-06 | 2008-09-10 | 佳能株式会社 | 图像处理设备和图像处理方法 |
CN101515364A (zh) * | 2009-03-26 | 2009-08-26 | 哈尔滨工业大学 | 基于最频值滤波的各向异性图像平滑方法 |
CN103679641A (zh) * | 2012-09-26 | 2014-03-26 | 株式会社理光 | 深度图像增强方法和装置 |
CN105825484A (zh) * | 2016-03-23 | 2016-08-03 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
CN106651938A (zh) * | 2017-01-17 | 2017-05-10 | 湖南优象科技有限公司 | 一种融合高分辨率彩色图像的深度图增强方法 |
CN106688012A (zh) * | 2014-09-05 | 2017-05-17 | 微软技术许可有限责任公司 | 深度图增强 |
-
2017
- 2017-12-29 CN CN201711476349.2A patent/CN108335267A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101261734A (zh) * | 2007-03-06 | 2008-09-10 | 佳能株式会社 | 图像处理设备和图像处理方法 |
CN101515364A (zh) * | 2009-03-26 | 2009-08-26 | 哈尔滨工业大学 | 基于最频值滤波的各向异性图像平滑方法 |
CN103679641A (zh) * | 2012-09-26 | 2014-03-26 | 株式会社理光 | 深度图像增强方法和装置 |
CN106688012A (zh) * | 2014-09-05 | 2017-05-17 | 微软技术许可有限责任公司 | 深度图增强 |
CN105825484A (zh) * | 2016-03-23 | 2016-08-03 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
CN106651938A (zh) * | 2017-01-17 | 2017-05-10 | 湖南优象科技有限公司 | 一种融合高分辨率彩色图像的深度图增强方法 |
Non-Patent Citations (2)
Title |
---|
张俊华等: "基于分段线性变换的图像增强", 《第十四届全国图象图形学学术会议论文集》 * |
武昆: "基于边缘保持滤波器的彩色图像增强算法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112912921A (zh) * | 2018-10-11 | 2021-06-04 | 上海科技大学 | 从深度图中提取平面的系统和方法 |
CN112912921B (zh) * | 2018-10-11 | 2024-04-30 | 上海科技大学 | 从深度图中提取平面的系统和方法 |
CN109600600A (zh) * | 2018-10-31 | 2019-04-09 | 万维科研有限公司 | 涉及深度图转换的编码器、编码方法以及三层表达式的存储方法和格式 |
CN110121031A (zh) * | 2019-06-11 | 2019-08-13 | Oppo广东移动通信有限公司 | 图像采集方法和装置、电子设备、计算机可读存储介质 |
CN110121031B (zh) * | 2019-06-11 | 2021-03-12 | Oppo广东移动通信有限公司 | 图像采集方法和装置、电子设备、计算机可读存储介质 |
CN112686077A (zh) * | 2019-10-17 | 2021-04-20 | 北京极智嘉科技有限公司 | 一种自驱动机器人和障碍物识别的方法 |
CN112686077B (zh) * | 2019-10-17 | 2024-04-26 | 北京极智嘉科技股份有限公司 | 一种自驱动机器人和障碍物识别的方法 |
CN113126944A (zh) * | 2021-05-17 | 2021-07-16 | 北京的卢深视科技有限公司 | 深度图的显示方法、显示装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108335267A (zh) | 一种深度图像的处理方法、装置、设备和存储介质 | |
CN102682446B (zh) | 使用自适应联合双边滤波器生成稠密深度图的设备和方法 | |
US20180122051A1 (en) | Method and device for image haze removal | |
CN107025660B (zh) | 一种确定双目动态视觉传感器图像视差的方法和装置 | |
US20110128282A1 (en) | Method for Generating the Depth of a Stereo Image | |
CN114004754B (zh) | 一种基于深度学习的场景深度补全系统及方法 | |
Tseng et al. | Shape-from-focus depth reconstruction with a spatial consistency model | |
CN111357034A (zh) | 点云生成方法、系统和计算机存储介质 | |
US9959672B2 (en) | Color-based dynamic sub-division to generate 3D mesh | |
CN115100337A (zh) | 一种基于卷积神经网络的全身人像视频重照明方法和装置 | |
Wu et al. | Reflectance-guided histogram equalization and comparametric approximation | |
CN111369435B (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及系统 | |
CN103839244A (zh) | 一种实时的图像融合方法及装置 | |
Kim et al. | Adaptive descriptor-based robust stereo matching under radiometric changes | |
CN112070854A (zh) | 一种图像生成方法、装置、设备及存储介质 | |
CN115564639A (zh) | 背景虚化方法、装置、计算机设备和存储介质 | |
CN113077504B (zh) | 基于多粒度特征匹配大场景深度图生成方法 | |
CN113888614B (zh) | 深度恢复方法、电子设备和计算机可读存储介质 | |
CN116092035A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
CN112819937B (zh) | 一种自适应多对象光场三维重建方法、装置及设备 | |
US9401038B2 (en) | Information processing apparatus, generation method, and storage medium | |
Kosugi et al. | Crowd-powered photo enhancement featuring an active learning based local filter | |
CN111382834B (zh) | 一种置信度比较方法及装置 | |
CN112150532A (zh) | 图像处理的方法、装置、电子设备和计算机可读介质 | |
Meena et al. | Review and application of different contrast enhancement technique on various images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200402 Address after: 215634 north side of Chengang road and west side of Ganghua Road, Jiangsu environmental protection new material industrial park, Zhangjiagang City, Suzhou City, Jiangsu Province Applicant after: ZHANGJIAGANG KANGDE XIN OPTRONICS MATERIAL Co.,Ltd. Address before: 201203, room 5, building 690, No. 202 blue wave road, Zhangjiang hi tech park, Shanghai, Pudong New Area Applicant before: WZ TECHNOLOGY Inc. |
|
TA01 | Transfer of patent application right | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180727 |
|
RJ01 | Rejection of invention patent application after publication |