CN109191506A - 深度图的处理方法、系统及计算机可读存储介质 - Google Patents
深度图的处理方法、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109191506A CN109191506A CN201810887569.2A CN201810887569A CN109191506A CN 109191506 A CN109191506 A CN 109191506A CN 201810887569 A CN201810887569 A CN 201810887569A CN 109191506 A CN109191506 A CN 109191506A
- Authority
- CN
- China
- Prior art keywords
- depth
- pixel
- time
- parallax
- space filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000003860 storage Methods 0.000 title claims description 9
- 238000001914 filtration Methods 0.000 claims abstract description 162
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 107
- 238000000034 method Methods 0.000 claims description 30
- 230000002093 peripheral effect Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 238000002834 transmittance Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种深度图的处理方法及系统，其基于深度估测算法对多个摄像头拍摄到的原始图像进行深度估测，得到初始深度图，然后基于初始深度图获取的深度信息对所述初始深度图进行空间滤波和/或时间滤波处理，从而可以得到目标深度图。本发明的深度图经过空间滤波和/或时间滤波处理，深度图的画面更平滑，可以有效减小画面波动，很好地优化了深度图的质量，从而可以提高三维影像的深度品质，提高人眼观赏时的舒适度。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种深度图的处理方法、系统及计算机可读存储介质。
背景技术
目前，将平面的二维影像转换为立体三维影像，最主要的核心技术之一是深度估测。目前应用较为广泛的深度估测方法是基于双眼深度估测方法，它是用两个或多个摄像头成像，因为多个摄像头之间存在一定的距离，所以同一景物通过多个镜头所成的像有一定的差别(即视差)，因为视差信息的存在，可以用来估计出景物的大体深度信息。
深度估测是对多个摄像头在同一时刻拍到的画面进行计算，得到与拍摄的画面相对应的深度图。深度图是与二维图像大小相等的灰度图像，深度图中其各像素的灰度值反应了二维图像中相同位置像素的深度值，灰度值越高(越明亮)，代表距离越近，反之则较远。
但是，深度估测得到的深度图中相邻区域深度不平滑，画面存在深度不连续/明显波动的问题，由于深度图中包含了画面的三维信息，直接利用深度估测得到的该深度图合成的三维影像，场景还原性低。这样会造成立体三维影像播放时画面深度感忽近忽远的现象，容易造成观看者眼睛的疲劳，久之更可能伤害使用者的健康。
发明内容
本发明实施例提供一种深度图的处理方法、系统及计算机可读存储介质；以解决现有的深度估测得到的深度图的相邻区域深度不平滑，画面存在深度不连续/明显波动的技术问题。
本发明的第一方面，提供一种深度图的处理方法，主要包括如下步骤：基于深度估测算法对多个摄像头拍摄到的原始图像进行深度估测，得到初始深度图；根据所述初始深度图获取深度信息；基于所述深度信息对所述初始深度图进行滤波处理，得到目标深度图，所述滤波处理包括空间滤波处理和/或时间滤波处理。
在一种实施方式中，所述基于所述深度信息对所述初始深度图进行滤波处理，得到目标深度图，具体包括：基于所述深度信息对所述初始深度图进行空间滤波处理，得到空域平滑后的深度图，所述目标深度图为所述空域平滑后的深度图；或基于所述深度信息对所述初始深度图进行空间滤波和时间滤波处理，得到空域和时域平滑后的深度图，所述目标深度图为所述空域和时域平滑后的深度图，所述深度信息包括颜色和/或视差。
在一种实施方式中，所述基于所述深度信息对所述初始深度图进行空间滤波和时间滤波处理，具体包括：基于所述深度信息对所述初始深度图进行空间滤波处理，得到空域平滑后的深度图；基于所述深度信息对所述空域平滑后的深度图进行时间滤波处理，得到空域和时域平滑后的深度图。
在一种实施方式中，对于在所述原始图像中深度信息连续的地方在进行空间滤波处理时，保持深度信息连续，在所述原始图像中深度信息不连续的地方在进行空间滤波处理时，保持深度信息的跳变。
在一种实施方式中，在所述空间滤波处理后，所述初始深度图的每一个像素的视差与所述空域平滑后的深度图的视差相似，所述空域平滑后的深度图的每一个像素和这个像素的周围区域的视差相似；在所述时间滤波处理后，所述空域和时域平滑后的深度图的前一帧视差与后一帧视差相似，其中，视差的相似度越高，则画面的平滑度越高。
在一种实施方式中，所述基于所述深度信息对所述初始深度图进行空间滤波处理，具体包括：分别在X轴和Y轴方向上进行一次一维滤波，所述X轴和Y轴方向上的一维滤波分为两次传递，第一次传递从左边的前一像素到右边的后一像素，第二次传递从右边的前一像素到左边的后一像素；在所述X轴和Y轴方向的传递过程中，比较前一像素与后一像素的颜色，得到第一颜色差别，在所述空间滤波处理时采用所述第一颜色差别进行校正，其中，所述第一颜色差别越小，所述前一像素与所述后一像素的视差越接近。
在一种实施方式中，所述基于所述深度信息对所述初始深度图进行空间滤波处理，具体包括：对所述初始深度图的每一个像素，最小化如下能量方程：
其中，fp是空间滤波前像素p的原视差，up是空间滤波后像素p的输出视差，每一个像素p的周围区域是uq是这个周围区域内的像素q的输出视差，以为权重约束像素p与q的输出视差相似，λ是空间滤波的加权因子；其中，gp是像素p的输入颜色，gq是像素q的输入颜色，σc是颜色容差参数。
在一种实施方式中，所述基于所述深度信息对所述初始深度图进行空间滤波和时间滤波处理，具体包括：分别在X轴、Y轴和时间轴方向上进行一次一维滤波；所述X轴和Y轴方向上的一维滤波分为两次传递，第一次传递从左边的前一像素到右边的后一像素，第二次传递从右边的前一像素到左边的后一像素；所述时间轴方向上的一维滤波分为两次传递，第一次传递从前一时间某个位置的像素到后一时间的该位置的像素，第二次传递从后一时间某个位置的像素到前一时间的该位置的像素；在所述X轴和Y轴方向的传递过程中，比较前一像素与后一像素的颜色，得到第一颜色差别，在所述空间滤波处理时采用所述第一颜色差别进行校正，其中，所述第一颜色差别越小，所述前一像素与所述后一像素的视差越接近；在所述时间轴方向的传递过程中，比较前一时间某个位置的像素与后一时间该位置的像素，得到第二颜色差别，在所述空间滤波处理时采用所述第二颜色差别进行校正，其中，所述第二颜色差别越小，所述前一时间某个位置的像素与后一时间该位置的像素的视差越接近。
在一种实施方式中，所述基于所述深度信息对所述初始深度图进行空间滤波和时间滤波处理，具体包括：对所述初始深度图的每一个像素，最小化如下能量方程：
其中，fp是空间滤波前像素p的原视差，up是空间滤波后像素p的输出视差，每一个像素p的周围区域是uq是这个周围区域内的像素q的输出视差，以为权重约束像素p与q的输出视差相似，uk是在时间滤波后时间k的输出视差，时间k的相邻帧是um是时间k的相邻帧m的输出视差，以为权重约束k与m时间在相同位置的输出视差相似，λ是空间滤波的加权因子，β是时间滤波的加权因子；其中， gp是像素p的输入颜色，gq是像素q的输入颜色，σc是颜色容差参数，gk是时间k的输出视差，gm时间m的输出视差。
本发明的另一方面，提供了一种深度图的处理系统，主要包括：深度估测单元，用于基于深度估测算法对多个摄像头拍摄到的原始图像进行深度估测，得到初始深度图；获取单元，用于根据所述初始深度图获取深度信息；滤波处理单元，用于基于所述深度信息对所述初始深度图进行滤波处理，得到目标深度图，所述滤波处理包括空间滤波处理和/或时间滤波处理。
本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面提供的任一种深度图的处理方法。
相对现有技术，本发明的深度图的处理方法及系统基于深度估测算法对多个摄像头拍摄到的原始图像进行深度估测，得到初始深度图，然后基于初始深度图获取的深度信息对所述初始深度图进行空间滤波和/或时间滤波处理，从而可以得到目标深度图。本发明的深度图经过空间滤波和/或时间滤波处理，深度图的画面更平滑，可以有效减小画面波动，很好地优化了深度图的质量，从而可以提高三维影像的深度品质，提高人眼观赏时的舒适度。
附图说明
图1为本发明的深度图的处理方法的一个流程示意图；
图2为本发明采用多个摄像机拍摄得到的原始图像；
图3为本发明对原始图像进行深度估测后得到的初始深度图；
图4为本发明对初始深度图进行空间滤波处理后得到空域平滑的深度图；
图5A～5C为本发明的连续三帧的空域平滑后的深度图；
图6为本发明空域平滑后的深度图的深度变化示意图；
图7A～7C为本发明的连续三帧的时域平滑后的深度图；
图8为本发明时域平滑后的深度图的深度变化示意图；
图9为本发明时域平滑前后的深度变化示意图；
图10为本发明的深度处理系统的一个结构示意图；
图11为本发明的深度图的处理方法的另一个流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的深度图的处理方法及系统基于深度估测算法对多个摄像头拍摄到的原始图像进行深度估测，得到初始深度图，然后基于初始深度图获取的深度信息对初始深度图进行空间滤波和/或时间滤波处理，从而可以得到目标深度图。本发明的深度图经过空间滤波和/或时间滤波处理，画面更平滑，可以有效减小画面波动，很好地优化了深度图的质量，从而可以提高三维影像的深度品质，提高人眼观赏时的舒适度；解决了现有的深度估测得到的深度图的相邻区域深度不平滑，画面存在深度不连续/明显波动的技术问题。
下面将以具体实施例说明本发明提供的深度图的处理方法。
请参阅图1，图1是本发明提供的深度图的处理方法的方法流程图。一种深度图的处理方法，主要包括如下步骤：步骤S101、基于深度估测算法对多个摄像头拍摄到的原始图像进行深度估测，得到初始深度图；步骤S102、根据所述初始深度图获取深度信息；步骤S103、基于所述深度信息对所述初始深度图进行滤波处理，得到目标深度图，所述滤波处理包括空间滤波处理和/或时间滤波处理。
在三维影像制作领域，一般是采用两个或多个摄像头拍摄到原始图像，然后将该原始图像与其深度图进行合成，制作成三维画面，其中，原始图像对应的深度图可以通过深度估测算法得到。请参阅图2和图3，图2是采用两个或多个摄像头拍摄到的原始图像(该图2为彩色图，但为了示意方便以灰度图替代)，图3是与采用两个或多个摄像头拍摄到的原始图像对应的深度图。由图3可知，该深度图的画面非常模糊，各个像素之间不平滑，无法清晰获得图像轮廓。其中，一张原始图像对应的深度图，越近处越明亮，越远处越暗。由于深度图中包含了画面的三维信息，若直接采用经过深度估测得到的深度图来合成三维影像，则会导致场景还原性低，容易造成立体三维影像播放时画面深度感忽近忽远的现象，容易造成观看者眼睛的疲劳，久之更可能伤害使用者的健康。
本发明实施例中，为了得到深度更平滑的深度图，需要对初始深度图进行滤波处理，在滤波前后，其深度的平滑可以表现为深度连续、视差相似或视差的抖动更小。
本发明提供的深度图的处理方法，在上述步骤S103中，会对深度估测得到的初始深度图进行空间滤波处理和/或时间滤波处理，从而得到滤波平滑后的目标深度图。具体的，在所述空间滤波处理后，所述初始深度图的每一个像素的视差与所述空域平滑后的深度图的视差相似，所述空域平滑后的深度图的每一个像素和这个像素的周围区域的视差相似；在所述时间滤波处理后，所述空域和时域平滑后的深度图的前一帧视差与后一帧视差相似，其中，视差的相似度越高，则画面的平滑度越高。
由于拍摄得到的原始图像中会有多种颜色，画面中场景的亮度和对焦可能会各不相同(可参阅图2，该图2为彩色图，但为了示意方便以灰度图替代)，通过该原始图像经过深度估测后得到的深度图(可参阅图3)，图中各个像素之间的灰度值的差值变化可能较小，比如灰度值的差值小于某个设定值，这就表示深度信息连续，各个像素之间的灰度值的差值也有可能变化较大，比如灰度值的差值不小于某个设定值，这就表示深度信息发生跳变。为了保证原始图像、初始深度图和滤波平滑后的目标深度图之间能形成较好的对应关系，合成后的三维影像的场景还原性高，因此，在上述滤波处理过程中，对于在所述原始图像中深度信息连续的地方在进行空间滤波处理时，保持深度信息连续，在所述原始图像中深度信息不连续的地方在进行空间滤波处理时，保持深度信息的跳变。
其中，本发明实施例中所描述的深度信息可以包括颜色、视差等，其中颜色的表现可以是灰度值。
具体的，在上述步骤S103中，具体的滤波处理方式可以包括如下实施方式：
在第一种实施方式中，可以仅对初始深度图进行空间滤波处理，对所述初始深度图进行空间上的深度修正，以确保各个像素之间深度的连续性。空域平滑后的深度图中前一像素与后一像素的视差相似，前一像素与所述后一像素的颜色差别越小，视差的相似度越高、颜色差别越小，则画面的平滑度越高。比如，可以分别在X轴和Y轴方向上进行一次一维滤波，所述X轴和Y轴方向上的一维滤波分为两次传递，第一次传递从左边的前一像素到右边的后一像素，第二次传递从右边的前一像素到左边的后一像素；在所述X轴和Y轴方向的传递过程中，比较前一像素与后一像素的颜色，得到第一颜色差别，在所述空间滤波处理时采用所述第一颜色差别进行校正，其中，所述第一颜色差别越小，所述前一像素与所述后一像素的视差越接近。
在第二种实施方式中，可以仅对初始深度图进行时间滤波处理，对所述初始深度图进行时间上的深度修正，以确保相邻时间点的深度的连续性。时域平滑后的深度图中前一帧视差与后一帧视差相似，视差的相似度越高，则画面的平滑度越高。比如，可以在时间轴方向上的一维滤波分为两次传递，第一次传递从前一时间某个位置的像素到后一时间的该位置的像素，第二次传递从后一时间某个位置的像素到前一时间的该位置的像素。
在第三种实施方式中，可以对初始深度图进行空间滤波处理和时间滤波处理，对所述初始深度图进行时间和空间上的深度修正，以确保各个像素之间深度的连续性，以及相邻时间点的深度的连续性。比如，可以分别在X轴、Y轴和时间轴方向上进行一次一维滤波，其具体的传递方式可参见上述实施方式，此处不再赘述。
在该第三实施方式中，空间滤波处理和时间滤波处理的先后顺序不做限定，比如可以先对初始深度图进行空间滤波处理，然后对空域平滑后的深度图进行时间滤波处理；比如可以先对初始深度图进行时间滤波处理，然后对时域平滑后的深度图进行空间滤波处理，比如可以同时对深度图进行空间滤波和时间滤波处理。
在上述第三种实施方式中，空间滤波处理和时间滤波处理的先后顺序不做限定，为了更好地理解本发明技术方案，下面以先进行空间滤波处理再进行时间滤波处理为例进行详细说明：
请参阅图2和图4，图2是采用两个或多个摄像头拍摄到的原始图像，图4是空域平滑后的深度图。在进行空间滤波处理时，对于在所述原始图像中深度信息连续的地方在进行空间滤波处理时，保持深度信息连续，在所述原始图像中深度信息不连续的地方在进行空间滤波处理时，保持深度信息的跳变。比如，图2中桌子内部，桌面的颜色一致，而在桌子边缘，画面颜色不连续，那么，在空间滤波处理后(可参阅图4)，其桌面的深度应当连续，桌子边缘的深度可以发生跳变。对比图3和图4可知，空域平滑后的深度图相对于原始深度图，具有更清晰的层次，更适合进行离焦、散焦、图像合成等处理。
但是，空间滤波处理仅能解决单个画面的深度连续问题，对于视频来说，往往前后帧还是会存在深度不一致的问题。请参阅图5A～5C，分别表示空间滤波处理后的三帧画面，图6是图5A～5C中E点在视频序列中深度的变化示意图。由图5A～图6可知，在视频序列中，E点的深度有明显的波动。为了保证相邻时间点深度的连续性，本实施例在空间滤波处理后进行时间滤波处理。在进行时间滤波处理时，约束相邻帧同样位置的深度尽量连续。
请参阅图7A～7C，分别表示时间滤波处理后的三帧画面，图8是图7A～7C中E点在视频序列中深度的变化示意图。由图7A～图8可知，时域平滑后的深度图中深度有更好的连续性，视差的抖动更小。
为了更直观地查看时间滤波前后深度的变化，在一个图中标示了时间滤波前后深度的变化示意图，请参阅图9，图9中的P1曲线是时间滤波前的深度变化轨迹，P2曲线表示的是时间滤波后的深度变化轨迹。由图9可知，时域平滑后的深度图中深度有更好的连续性，视差的抖动更小。
为了更好地理解本发明技术方案，下面将分别描述如何进行空间滤波处理、时间滤波处理、以及空间滤波和时间滤波处理：
在对初始深度图进行空间滤波处理时，对所述初始深度图的每一个像素，最小化如下能量方程：
其中，fp是空间滤波前像素p的原视差，up是空间滤波后像素p的输出视差，每一个像素p的周围区域是uq是这个周围区域内的像素q的输出视差，以为权重约束像素p与q的输出视差相似，λ是空间滤波的加权因子；其中，gp是像素p的输入颜色，gq是像素q的输入颜色，σc是颜色容差参数。
在对初始深度图进行时间滤波处理时，对所述初始深度图的每一个像素，最小化如下能量方程：
其中，uk是在时间滤波后时间k的输出视差，时间k的相邻帧是um是时间k的相邻帧m的输出视差，以为权重约束k与m时间在相同位置的输出视差相似，β是时间滤波的加权因子；其中， σc是颜色容差参数，gk是时间k的输出视差，gm时间m的输出视差。
在对初始深度图进行空间滤波和时间滤波处理时，对所述初始深度图的每一个像素，最小化如下能量方程：
其中，fp是空间滤波前像素p的原视差，up是空间滤波后像素p的输出视差，每一个像素p的周围区域是uq是这个周围区域内的像素q的输出视差，以为权重约束像素p与q的输出视差相似，uk是在时间滤波后时间k的输出视差，时间k的相邻帧是um是时间k的相邻帧m的输出视差，以为权重约束k与m时间在相同位置的输出视差相似，λ是空间滤波的加权因子，β是时间滤波的加权因子；其中， gp是像素p的输入颜色，gq是像素q的输入颜色，σc是颜色容差参数，gk是时间k的输出视差，gm时间m的输出视差。
值得注意的是，在时间滤波处理时， 具体的，在时间轴上进行传递时，其过程具体可以包括两步：
第一步沿时间轴从前到后，对每个像素独立处理，以第i帧的某个像素Ii为例，该像素的值被上一帧同位置像素Ii-1更改：
Ci＝λt*ω(Ii，Ii-1)
d＝(1-Ci-1-Ci)-ti-1*Ci-1
第二步沿时间轴从后到前，对每个像素独立处理，以第i帧的某个像素Ii为例，该像素被下一帧同位置像素Ii+1更改：Ii＝Ii-ti*Ii+1。
本发明提供的深度图的处理方法，可以进行空间滤波处理和/或时间滤波处理，经过上述滤波处理后的深度图的各个像素之间深度更连续，并且视频序列中相邻时间点的深度也更连续，很好地优化了深度图的质量，从而可以提高三维影像的深度品质，提高人眼观赏时的舒适度；解决了现有的深度估测得到的深度图的相邻区域深度不平滑，画面存在深度不连续/明显波动的技术问题。
本发明还提供了一种深度图的处理系统，请参阅图10，图10是本发明实施例中深度图的处理系统的结构示意图。该深度图的处理系统主要包括：深度估测单元201、获取单元202和滤波处理单元203，具体的，深度估测单元201，用于基于深度估测算法对多个摄像头拍摄到的原始图像进行深度估测，得到初始深度图；获取单元202，用于根据所述初始深度图获取深度信息；滤波处理单元203，用于基于所述深度信息对所述初始深度图进行滤波处理，得到目标深度图，所述滤波处理包括空间滤波处理和/或时间滤波处理。
具体的，滤波处理单元203可包括空间域处理单元和时间域处理单元，其中，空间域处理单元，用于对始深度图进行空间上的深度修正，以确保各个像素之间深度的连续性；时间域处理单元，用于对深度图进行时间上的修正，以确保相邻时间点的深度连续性。
其中，本发明中深度图的处理系统的各单元可执行如上述实施例所描述的深度图的处理方法，其具体实施可参见上述实施例，此处不再赘述。
本发明提供的深度图的处理系统，基于深度估测算法对多个摄像头拍摄到的原始图像进行深度估测，得到初始深度图，然后基于初始深度图获取的深度信息对初始深度图进行空间滤波和/或时间滤波处理，从而可以得到目标深度图。本发明的深度图经过空间滤波和/或时间滤波处理，画面更平滑，可以有效减小画面波动，很好地优化了深度图的质量，从而可以提高三维影像的深度品质，提高人眼观赏时的舒适度；解决了现有的深度估测得到的深度图的相邻区域深度不平滑，画面存在深度不连续/明显波动的技术问题。
此外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述实施例所描述的深度图的处理方法。其具体实施可参见上述实施例，此处不再赘述。
为了更好地理解本发明，下面将以一个具体应用例对本发明技术方案进行详细说明。请参阅图11，本发明提供的深度图的处理方法，具体可以包括如下步骤：
步骤S301、基于深度估测算法对多个摄像头拍摄到的原始图像进行深度估测，得到初始深度图；
步骤S302、根据所述初始深度图获取视差和颜色；
步骤S303、基于视差和颜色对所述初始深度图进行空间滤波处理和时间滤波处理，得到空域和时域平滑后的深度图。
其中，在空间滤波处理和时间滤波处理时，具体表现为最小化如下能量方程：
其中，fp是空间滤波前像素p的原视差，up是空间滤波后像素p的输出视差，每一个像素p的周围区域是uq是这个周围区域内的像素q的输出视差，以为权重约束像素p与q的输出视差相似，uk是在时间滤波后时间k的输出视差，时间k的相邻帧是um是时间k的相邻帧m的输出视差，以为权重约束k与m时间在相同位置的输出视差相似，λ是空间滤波的加权因子，β是时间滤波的加权因子；其中， gp是像素p的输入颜色，gq是像素q的输入颜色，σc是颜色容差参数，gk是时间k的输出视差，gm时间m的输出视差。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。
而且，本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。
而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。
Claims (11)
1.一种深度图的处理方法，其特征在于，包括：
基于深度估测算法对多个摄像头拍摄到的原始图像进行深度估测，得到初始深度图；
根据所述初始深度图获取深度信息；
基于所述深度信息对所述初始深度图进行滤波处理，得到目标深度图，所述滤波处理包括空间滤波处理和/或时间滤波处理。
2.根据权利要求1所述的方法，其特征在于，所述基于所述深度信息对所述初始深度图进行滤波处理，得到目标深度图，具体包括：
基于所述深度信息对所述初始深度图进行空间滤波处理，得到空域平滑后的深度图，所述目标深度图为所述空域平滑后的深度图；或
基于所述深度信息对所述初始深度图进行空间滤波和时间滤波处理，得到空域和时域平滑后的深度图，所述目标深度图为所述空域和时域平滑后的深度图，所述深度信息包括颜色和/或视差。
3.根据权利要求2所述的方法，其特征在于，所述基于所述深度信息对所述初始深度图进行空间滤波和时间滤波处理，具体包括：
基于所述深度信息对所述初始深度图进行空间滤波处理，得到空域平滑后的深度图；
基于所述深度信息对所述空域平滑后的深度图进行时间滤波处理，得到空域和时域平滑后的深度图。
4.根据权利要求2或3所述的方法，其特征在于，
对于在所述原始图像中深度信息连续的地方在进行空间滤波处理时，保持深度信息连续，在所述原始图像中深度信息不连续的地方在进行空间滤波处理时，保持深度信息的跳变。
5.根据权利要求3所述的方法，其特征在于，
在所述空间滤波处理后，所述初始深度图的每一个像素的视差与所述空域平滑后的深度图的视差相似，所述空域平滑后的深度图的每一个像素和这个像素的周围区域的视差相似；在所述时间滤波处理后，所述空域和时域平滑后的深度图的前一帧视差与后一帧视差相似，其中，视差的相似度越高，则画面的平滑度越高。
6.根据权利要求2或3所述的方法，其特征在于，所述基于所述深度信息对所述初始深度图进行空间滤波处理，具体包括：
分别在X轴和Y轴方向上进行一次一维滤波，所述X轴和Y轴方向上的一维滤波分为两次传递，第一次传递从左边的前一像素到右边的后一像素，第二次传递从右边的前一像素到左边的后一像素；
在所述X轴和Y轴方向的传递过程中，比较前一像素与后一像素的颜色，得到第一颜色差别，在所述空间滤波处理时采用所述第一颜色差别进行校正，其中，所述第一颜色差别越小，所述前一像素与所述后一像素的视差越接近。
7.根据权利要求6所述的方法，其特征在于，所述基于所述深度信息对所述初始深度图进行空间滤波处理，具体包括：对所述初始深度图的每一个像素，最小化如下能量方程：
其中，fp是空间滤波前像素p的原视差，up是空间滤波后像素p的输出视差，每一个像素p的周围区域是uq是这个周围区域内的像素q的输出视差，以为权重约束像素p与q的输出视差相似，λ是空间滤波的加权因子；
其中，gp是像素p的输入颜色，gq是像素q的输入颜色，σc是颜色容差参数。
8.根据权利要求2或3所述的方法，其特征在于，所述基于所述深度信息对所述初始深度图进行空间滤波和时间滤波处理，具体包括：
分别在X轴、Y轴和时间轴方向上进行一次一维滤波；
所述X轴和Y轴方向上的一维滤波分为两次传递，第一次传递从左边的前一像素到右边的后一像素，第二次传递从右边的前一像素到左边的后一像素；
所述时间轴方向上的一维滤波分为两次传递，第一次传递从前一时间某个位置的像素到后一时间的该位置的像素，第二次传递从后一时间某个位置的像素到前一时间的该位置的像素；
在所述X轴和Y轴方向的传递过程中，比较前一像素与后一像素的颜色，得到第一颜色差别，在所述空间滤波处理时采用所述第一颜色差别进行校正，其中，所述第一颜色差别越小，所述前一像素与所述后一像素的视差越接近；
在所述时间轴方向的传递过程中，比较前一时间某个位置的像素与后一时间该位置的像素，得到第二颜色差别，在所述空间滤波处理时采用所述第二颜色差别进行校正，其中，所述第二颜色差别越小，所述前一时间某个位置的像素与后一时间该位置的像素的视差越接近。
9.根据权利要求8所述的方法，其特征在于，所述基于所述深度信息对所述初始深度图进行空间滤波和时间滤波处理，具体包括：对所述初始深度图的每一个像素，最小化如下能量方程：
其中，fp是空间滤波前像素p的原视差，up是空间滤波后像素p的输出视差，每一个像素p的周围区域是uq是这个周围区域内的像素q的输出视差，以为权重约束像素p与q的输出视差相似，uk是在时间滤波后时间k的输出视差，时间k的相邻帧是um是时间k的相邻帧m的输出视差，以为权重约束k与m时间在相同位置的输出视差相似，λ是空间滤波的加权因子，β是时间滤波的加权因子；
其中， gp是像素p的输入颜色，gq是像素q的输入颜色，σc是颜色容差参数，gk是时间k的输出视差，gm时间m的输出视差。
10.一种深度图的处理系统，其特征在于，包括：
深度估测单元，用于基于深度估测算法对多个摄像头拍摄到的原始图像进行深度估测，得到初始深度图；
获取单元，用于根据所述初始深度图获取深度信息；
滤波处理单元，用于基于所述深度信息对所述初始深度图进行滤波处理，得到目标深度图，所述滤波处理包括空间滤波处理和/或时间滤波处理。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-9中的任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810887569.2A CN109191506B (zh) | 2018-08-06 | 2018-08-06 | 深度图的处理方法、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810887569.2A CN109191506B (zh) | 2018-08-06 | 2018-08-06 | 深度图的处理方法、系统及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109191506A true CN109191506A (zh) | 2019-01-11 |
| CN109191506B CN109191506B (zh) | 2021-01-29 |
Family
ID=64920669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810887569.2A Active CN109191506B (zh) | 2018-08-06 | 2018-08-06 | 深度图的处理方法、系统及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109191506B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390690A (zh) * | 2019-07-11 | 2019-10-29 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
| CN110400339A (zh) * | 2019-07-11 | 2019-11-01 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
| CN110400273A (zh) * | 2019-07-11 | 2019-11-01 | Oppo广东移动通信有限公司 | 深度数据的滤波方法、装置、电子设备和可读存储介质 |
| CN110400344A (zh) * | 2019-07-11 | 2019-11-01 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
| CN110400331A (zh) * | 2019-07-11 | 2019-11-01 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
| CN113327209A (zh) * | 2021-06-29 | 2021-08-31 | Oppo广东移动通信有限公司 | 深度图像生成方法、装置、电子设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102447939A (zh) * | 2011-10-12 | 2012-05-09 | 绍兴南加大多媒体通信技术研发有限公司 | 一种影视作品2d转3d的优化方法 |
| CN102740096A (zh) * | 2012-07-13 | 2012-10-17 | 浙江工商大学 | 一种基于时空结合的动态场景立体视频匹配方法 |
| CN103024420A (zh) * | 2013-01-17 | 2013-04-03 | 宁波工程学院 | 一种rgbd数据深度迁移的单幅图像2d转3d方法 |
| CN103761734A (zh) * | 2014-01-08 | 2014-04-30 | 北京航空航天大学 | 一种时域一致性保持的双目立体视频场景融合方法 |
| CN104010180A (zh) * | 2014-06-13 | 2014-08-27 | 华为技术有限公司 | 三维视频滤波方法和装置 |
| CN104469336A (zh) * | 2013-09-25 | 2015-03-25 | 中国科学院深圳先进技术研究院 | 多视点深度视频信号的编码方法 |
| CN104662896A (zh) * | 2012-09-06 | 2015-05-27 | 诺基亚技术有限公司 | 用于图像处理的装置、方法和计算机程序 |
| CN106447718A (zh) * | 2016-08-31 | 2017-02-22 | 天津大学 | 一种2d转3d深度估计方法 |
| US9832351B1 (en) * | 2016-09-09 | 2017-11-28 | Cisco Technology, Inc. | Reduced complexity video filtering using stepped overlapped transforms |
-
2018
- 2018-08-06 CN CN201810887569.2A patent/CN109191506B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102447939A (zh) * | 2011-10-12 | 2012-05-09 | 绍兴南加大多媒体通信技术研发有限公司 | 一种影视作品2d转3d的优化方法 |
| CN102740096A (zh) * | 2012-07-13 | 2012-10-17 | 浙江工商大学 | 一种基于时空结合的动态场景立体视频匹配方法 |
| CN104662896A (zh) * | 2012-09-06 | 2015-05-27 | 诺基亚技术有限公司 | 用于图像处理的装置、方法和计算机程序 |
| CN103024420A (zh) * | 2013-01-17 | 2013-04-03 | 宁波工程学院 | 一种rgbd数据深度迁移的单幅图像2d转3d方法 |
| CN104469336A (zh) * | 2013-09-25 | 2015-03-25 | 中国科学院深圳先进技术研究院 | 多视点深度视频信号的编码方法 |
| CN103761734A (zh) * | 2014-01-08 | 2014-04-30 | 北京航空航天大学 | 一种时域一致性保持的双目立体视频场景融合方法 |
| CN104010180A (zh) * | 2014-06-13 | 2014-08-27 | 华为技术有限公司 | 三维视频滤波方法和装置 |
| CN106447718A (zh) * | 2016-08-31 | 2017-02-22 | 天津大学 | 一种2d转3d深度估计方法 |
| US9832351B1 (en) * | 2016-09-09 | 2017-11-28 | Cisco Technology, Inc. | Reduced complexity video filtering using stepped overlapped transforms |
Non-Patent Citations (2)
| Title |
|---|
| 刘海旭: "面向多视点视频的新视点合成技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 郭南: "用于裸眼三维显示的内容生成方法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021004262A1 (zh) * | 2019-07-11 | 2021-01-14 | Oppo广东移动通信有限公司 | 深度图处理方法及装置、电子设备和可读存储介质 |
| CN110390690A (zh) * | 2019-07-11 | 2019-10-29 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
| CN110400273A (zh) * | 2019-07-11 | 2019-11-01 | Oppo广东移动通信有限公司 | 深度数据的滤波方法、装置、电子设备和可读存储介质 |
| CN110400344A (zh) * | 2019-07-11 | 2019-11-01 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
| CN110400331A (zh) * | 2019-07-11 | 2019-11-01 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
| WO2021004264A1 (zh) * | 2019-07-11 | 2021-01-14 | Oppo广东移动通信有限公司 | 深度图处理方法和装置、电子设备和可读存储介质 |
| CN110400339A (zh) * | 2019-07-11 | 2019-11-01 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
| CN110390690B (zh) * | 2019-07-11 | 2021-04-16 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
| US11961246B2 (en) * | 2019-07-11 | 2024-04-16 | Guangdong OPPO Mobile Telecommunications Corp. Ltd | Depth image processing method and apparatus, electronic device, and readable storage medium |
| CN110400344B (zh) * | 2019-07-11 | 2021-06-18 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
| CN110400339B (zh) * | 2019-07-11 | 2021-04-16 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
| CN110400273B (zh) * | 2019-07-11 | 2022-03-22 | Oppo广东移动通信有限公司 | 深度数据的滤波方法、装置、电子设备和可读存储介质 |
| US20220101547A1 (en) * | 2019-07-11 | 2022-03-31 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Depth image processing method and apparatus, electronic device, and readable storage medium |
| CN113327209A (zh) * | 2021-06-29 | 2021-08-31 | Oppo广东移动通信有限公司 | 深度图像生成方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109191506B (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109191506A (zh) | 深度图的处理方法、系统及计算机可读存储介质 | |
| CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
| JP5536146B2 (ja) | 平面視低電力モバイル装置における立体画像およびビデオのリアルタイム取得および生成 | |
| US9277207B2 (en) | Image processing apparatus, image processing method, and program for generating multi-view point image | |
| CN103595986B (zh) | 立体图像显示装置、图像处理装置及图像处理方法 | |
| WO2020143191A1 (en) | Image frame prediction method, image frame prediction apparatus and head display apparatus | |
| JP2000354257A (ja) | 画像処理装置、画像処理方法、およびプログラム提供媒体 | |
| JP2012248001A (ja) | 画像処理装置および画像処理方法、プログラム | |
| Blum et al. | The effect of out-of-focus blur on visual discomfort when using stereo displays | |
| US20140036037A1 (en) | Techniques for placing masking window objects in a computer-generated scene for stereoscopic computer-animation | |
| CN103279982A (zh) | 鲁棒的快速高深度分辨率的散斑三维重建方法 | |
| US20150229913A1 (en) | Image processing device | |
| US8922627B2 (en) | Image processing device, image processing method and imaging device | |
| KR20150121127A (ko) | 양안 응시 이미징 방법 및 장치 | |
| US9615075B2 (en) | Method and device for stereo base extension of stereoscopic images and image sequences | |
| US10791321B2 (en) | Constructing a user's face model using particle filters | |
| CN107749955B (zh) | 全景相机姿态自适应测光调整方法、系统及便携式终端 | |
| CN107659772B (zh) | 3d图像生成方法、装置及电子设备 | |
| JP2013535120A (ja) | 立体的フレームのためのオートフォーカスポイントに基づくオート・コンバージェンスのための方法及び装置 | |
| CN106331679A (zh) | 双目相机间距调节方法及装置 | |
| CN109712230B (zh) | 三维模型补充方法、装置、存储介质及处理器 | |
| CN104754316A (zh) | 一种3d成像方法、装置及成像系统 | |
| WO2013133057A1 (ja) | 画像処理装置および方法、並びにプログラム | |
| US10277881B2 (en) | Methods and devices for determining visual fatigue of three-dimensional image or video and computer readable storage medium | |
| US9113140B2 (en) | Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |