CN101960860B - 使用基于区域的滤波的深度图提取系统和方法 - Google Patents

使用基于区域的滤波的深度图提取系统和方法 Download PDF

Info

Publication number
CN101960860B
CN101960860B CN2007801014230A CN200780101423A CN101960860B CN 101960860 B CN101960860 B CN 101960860B CN 2007801014230 A CN2007801014230 A CN 2007801014230A CN 200780101423 A CN200780101423 A CN 200780101423A CN 101960860 B CN101960860 B CN 101960860B
Authority
CN
China
Prior art keywords
image
filtering
filter
variance
disparity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007801014230A
Other languages
English (en)
Other versions
CN101960860A (zh
Inventor
张东庆
伊则特·伊则特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101960860A publication Critical patent/CN101960860A/zh
Application granted granted Critical
Publication of CN101960860B publication Critical patent/CN101960860B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种采用基于区域的滤波从至少两个图像中提取深度信息以减少伪像的系统和方法。本发明提供了用于减少由扫描线动态编程(DP)或其他类似方法产生的伪像的后处理算法或函数，该系统和方法提供：获取来自场景的第一图像和第二图像(202)；估计第一图像中至少一个点与第二图像中至少一个相应点的差异，以产生差异图(204)；将第一或第二图像的中的至少一个分割成至少一个区域(208)；以及基于分割区域对差异图进行滤波(210)。此外，采用各向异性滤波器，其具有比水平方向的平滑效果大垂直方向的平滑效果，因此，在不显著模糊深度边界的情况下，减少条纹伪像。

Description

使用基于区域的滤波的深度图提取系统和方法
技术领域
本发明公开总体上涉及计算机图形处理和显示系统，具体涉及采用基于区域的滤波，从至少两个图像中提取深度信息以减少伪像的系统和方法。
背景技术
立体成像是对从略微不同的视点拍摄的、场景的至少两个图像进行视觉组合，以产生三维深度的幻影的过程。该技术依赖于以下事实：人眼间隔一定距离，因此，无法精确地观看到相同场景。通过向每只眼睛提供来自不同透视图的图像，观看者的眼睛被欺骗为感知到深度。典型地，在提供两个不同透视图的情况下，分量图像分别称作“左”和“右”图像，也称作参考图像和互补图像。然而，本领域技术人员将认识到，可以组合两个以上的视点来形成立体图像。
在3D后期制作、视觉效应(“VFX”)工作流和三维(“3D”)显示应用中，一个重要过程是从由左眼视图和右眼视图图像组成的立体图像中推断或提取深度信息，例如，从对象到摄像机的深度图或距离。可以在各种影片应用中使用深度图提取，例如，获取用于影片后期制作、深度键控、3D压缩以及用于3D显示器的内容产生的场景的几何构造。例如，最近商业化的自动立体3D显示器需要图像加深度图输入格式(2D+Z)，从而显示器可以产生不同的3D视图，来支持多视角。
立体匹配是一种广泛使用的深度图提取方法，以根据在不同位置处由摄像机拍摄的两个图像来估计深度图。立体匹配获得来自场景中不同位置和取向的两个或多个摄像机的场景图像。大致同时从每个摄像机获得这些数字图像，并且对应于空间中的3D点，对这些图像中的每一个的点进行匹配。一般而言，通过搜索一部分图像并使用约束(例如，外极线约束)来将一个图像中的点与另一图像中的点相关，来匹配来自不同图像的点。根据图像中与场景中相同点相对应的两个像素之间的相对距离，来推断深度值。
已经针对精确深度估计开发了多种方法，例如，动态编程、置信传播、简单块匹配等。越精确的方法通常计算量越大。一些方法速度太慢以致于不能用于实际应用。已经发现扫描线算法(例如，扫描线动态编程或扫描线置信传播)是相对高效的算法或函数，与简单像素/块匹配(太不精确)和二维(“2D”)置信传播(太慢)相比，能够给出十分精确的结果。因此，扫描线算法或函数能够成为用于深度估计问题的实际解决方案。然而，扫描线算法或函数的主要缺点在于，扫描线算法或函数通常产生水平条纹伪像(见图5B，其中圈出了条纹伪像)，这是由于与诸如置信传播等其他计算量大的算法不同，扫描线算法一次仅对一个扫描线执行优化，因此，沿着垂直方向没有施加平滑约束。
因此，需要快速和高效深度信息提取方法的技术，该方法最小化不连续性或条纹伪像。
发明内容
提供了一种采用基于区域的滤波，从至少两个图像中提取深度信息以减少伪像的系统和方法。本发明公开提供了用于减少由扫描线动态编程(DP)或其他类似方法产生的伪像的后处理算法或函数。该系统和方法通过区域分割算法或函数来分割两个图像中的至少一个，并在不横穿分割区域边界的情况下执行滤波。此外，采用各向异性的滤波器，其具有比沿着水平方向的滤波器强度大的沿着垂直方向的滤波器强度，从而，在减少条纹伪像，而不显著模糊深度边界。
根据本发明的一方面，提供了一种用于从至少两个图像中提取深度信息的方法。该方法包括：获取来自场景的第一图像和第二图像；估计第一图像中的至少一个点与第二图像中的至少一个相应点的差异，以产生差异图；将第一或第二图像中的至少一个分割成至少一个区域；以及基于分割区域对差异图进行滤波。在一方面，第一和第二图像包括立体图像对的左眼视图和右眼视图。
在另一方面中，该方法包括：通过针对差异图的至少一个点中的每一个对估计的差异取反，将滤波后的差异图转换成深度图。
在另一方面中，估计差异的步骤由扫描线优化函数来执行。
在另一方面中，滤波步骤包括：沿着水平方向对差异图的至少一个像素进行滤波；以及沿着垂直方向对差异图的至少一个像素进行滤波，其中，沿着垂直方向的滤波被配置为，具有比沿着水平方向的滤波大的平滑效果。
在又一方面中，滤波步骤包括：选择滤波器大小；基于滤波器大小创建掩蔽块子图像，来掩蔽至少一个分割区域外部的像素；以及对至少一个分割区域内部的至少一个像素进行滤波。
根据本发明的另一方面，一种用于从至少两个图像中提取深度信息的系统，包括：用于获取来自场景的第一图像和第二图像的装置；差异估计器，被配置为估计第一图像中的至少一个点与第二图像中的至少一个相应点的差异，以产生差异图；分割模块，被配置为将第一或第二图像中的至少一个分割成至少一个区域；以及滤波器，被配置为基于分割区域对差异图进行滤波。
根据本发明的另一方面，提供了一种由机器可读并有形地体现指令程序的程序存储设备，该指令程序可由机器执行以执行用于从至少两个图像中提取深度信息的方法步骤，该方法包括：获取来自场景的第一图像和第二图像；估计第一图像中的至少一个点与第二图像中的至少一个相应点的差异，以产生差异图；将第一和第二图像中的至少一个分割成至少一个区域；以及基于分割区域对差异图进行滤波。
附图说明
根据结合附图阅读的优选实施例的以下详细描述，对本发明的这些和其他方面、特征以及优点进行描述或使其变得显而易见。
在附图中，类似的参考数字表示类似的元件。
图1是根据本发明方面的用于从至少两个图像中提取深度信息的系统的示例示意图；
图2是根据本发明方面的用于从至少两个图像中提取深度信息的示例方法的流程图；
图3示出了根据本发明方面的对差异图的至少像素进行基于区域的平滑或滤波；
图4是根据本发明方面的用于对差异图的区域进行滤波的示例方法的流程图；
图5示出了根据本发明公开的系统和方法处理而得到的图像，其中，图5A示出了二维(2D)输入图像，图5B是示出了条纹伪像的由传统扫描线动态编程处理而得到的深度图，图5C是图5A中所示的图像的得到的区域分割图像，以及图5D示出了根据本发明公开的系统和方法处理的平滑后的深度图。
应当理解，附图是出于示意本发明的构思的附图，并不必是用于示出本公开的唯一可能的配置。
具体实施方式
应当理解，图中所示的元件可以以各种形式的硬件、软件或其组合来实现。优选地，这些元件可以以一个或多个适当编程的通用设备上的硬件和软件的组合实现，该通用设备可以包括处理器、存储器和输入/输出接口。
本说明书示意了本发明的原理。因此将认识到，本领域技术人员能够设想各种布置，这些布置尽管在这里没有显式描述或示出，但体现本发明的原理并包括在本发明的精神和范围内。
这里所引述的所有示例和条件性语言均为了教导的目的，以帮助读者理解本发明的原理以及发明人对现有技术做出贡献的构思，应看作不会被限制为这里具体引述的示例和条件。
此外，这里对本发明的原理、方面、实施例及其特定示例做出引述的所有声明意在包括本发明的结构和功能上的等同物。另外，该等同物将包括当前已知的等同物以及将来开发出的等同物，即所开发出来的执行相同功能的任何组件，而与结构无关。
因此，本领域的技术人员可以理解，例如这里所表示的框图展示出体现本发明的示意性电路的概念图。类似地，将理解，任何流程、流程图、状态转移图、伪代码等表现出实质上可以在计算机可读介质上表现的、并且由计算机或处理器执行的各个过程，无论是否明确示出该计算机或处理器。
可以通过使用专用硬件和能够执行适合的软件的关联软件的硬件而提供图中所示各个组件的功能。当由处理器来提供时，这些功能可以由单个的专用处理器、单个的共享处理器、或多个单独的处理器来提供，其中一些可以是共享的。此外，术语“处理器”或“控制器”的显式使用不应被解释为排他性地指代能够执行软件的硬件，而且可以隐式地包括(不限为)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储器。
还可以包括常规和/或定制的其它硬件。类似地，图中所示的任何开关仅是概念上的。其功能可以通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑的交互、或甚至是手动地实现，实施者可以选择的具体技术可以从上下文中得到明确的理解。
在权利要求书中，表示为用于执行指定功能的装置的任何组件意在包括执行该功能的任何方式，例如包括：a)执行该功能的电路元件的组合，或b)任意形式的软件，包括固件、微代码等，并与用于执行该软件以执行该功能的适合的电路进行组合。由权利要求所限定的本发明原理在于如下事实：将各个引述的装置所提供的功能以权利要求所要求的方式组合在一起。因此，可以把能够提供这些功能的任意装置看作与这里所示的装置相等同。
立体匹配是一种标准方法，用于从例如左眼视图图像和右眼视图图像等立体图像中推断深度图。在传统自动立体显示器上的3D回放已经示出了，深度图的平滑度显著影响了得到的3D回放的观看。非平滑深度图通常在3D回放中导致Z字形边缘，这些Z字形边缘在视觉上比深度值不精确的平滑深度图的回放更差。因此，对于3D显示和回放应用，深度图的平滑比深度精确度更重要。此外，在3D显示应用中，基于全局优化的方法是深度估计所必需的。
对于根据立体图像的深度估计，同样重要的是，达到计算成本和深度图精确度之间的平衡。本发明公开通过在执行扫描线优化算法或函数(例如，扫描显动态编程或扫描显置信传播)之后，使用基于区域的滤波后处理步骤，来对该问题进行处理，其中两种方法均是低成本算法或函数。
本发明公开的系统和方法在扫描线算法或函数之后应用基于区域的滤波。扫描线算法以一次一条扫描线的方式对两个图像之间的深度值进行估计。典型地，仅沿着水平方向施加平滑约束。在执行扫描线算法或函数之后，由于缺乏沿着垂直方向的平滑约束，得到可能示出条纹伪像的深度图(见图5B)。本发明公开的系统和方法应用基于区域的平滑算法或函数来减少条纹伪像，同时仍粗略保留区域边界。
该系统和方法还根据针对第一图像中的至少一个点中的每一个与第二图像中的至少一个相应点所估计的差异，来产生差异图，并且通过对差异图的差异值取反，来将差异图转换成深度图。然后，可以与立体图像对一同使用深度图或差异图，以用于3D回放。
现在参照附图，在图1中示出了根据本发明实施例的示例系统组件。可以提供扫描设备103来将影片胶片104(例如，摄像机原始影片底片)扫描成数字格式，例如Cineon格式或电影与电视工程师学会(“SMPTE”)数字图像交换(“DPX”)文件。例如，扫描设备103可以包括，电视电影机或根据影片产生视频输出的任何设备，例如具有视频输出的Arri LocProTM。备选地，可以直接使用来自后期制作过程或数字电影106的文件(例如，已经是计算机可读形式的文件)。潜在的计算机可读文件的源是AVIDTM编辑器、DPX文件、D5影带等。
将扫描后的影片胶片输入至后处理设备102，例如，计算机。计算机在具有硬件的各种已知计算机平台中的任何平台上实现计算机，该硬件例如是一个或多个中央处理单元(CPU)、诸如随机存取存储器(RAM)和/或只读存储器(ROM)等存储器110、以及诸如键盘、光标控制设备等输入/输出(I/O)用户接口112(例如，鼠标或操纵杆)以及显示设备。该计算机平台还包括操作系统和微指令代码。这里描述的各种过程和功能可以是经由操作系统执行的微指令代码的一部分或软件应用程序的一部分(或其组合)。在一个实施例中，在程序存储设备上有形地体现软件应用程序，该软件应用程序可以上载到诸如后处理设备102等任何适合的机器上并由该机器执行。此外，各种其他外围设备可以通过各种接口和总线结构(例如，并行端口、串行端口或通用串行总线(USB))连接至计算机平台。其他外围设备可以包括附加的存储设备124和印片机128。印片机128可以用于印制影片126的修改版本，例如，影片的立体版本，其中，由于以下描述的技术，可能已经使用3D建模的对象修改或代替了场景或多个场景。
备选地，可以直接将已经是计算机可读形式106的文件/影片(例如，可以存储在外部硬盘驱动124中的数字电影)直接输入到计算机102中。注意，这里使用的术语“影片”可以指代影片胶片或数字电影。
软件程序包括存储在存储器10中并用于从至少两个图像中提取深度信息的深度提取模块114。深度提取模块114包括：差异估计器116，被配置为估计第一图像中的至少一个点与第二图像(例如，立体图像对)中的至少一个相应点的差异，并根据针对第一图像中的至少一个点中每一个与第二图像中的至少一个相应点而估计的差异，来产生差异图。差异估计器116包括：像素匹配成本函数132，被配置为匹配第一和第二图像中的像素；以及平滑成本函数134，被配置为向差异估计应用平滑度约束。差异估计器116还包括：置信传播算法或函数136和/或动态编程算法或函数138，以最小化像素匹配成本函数和平滑成本函数，从而实现两个图像之间的最优化差异。应当理解，任何公知的优化算法或函数可以用于最小化成本函数，置信传播或者动态编程仅是示例最优化函数的两个示例。
提供区域分割模块118，以分割来自2D图像的区域或对象。提供平滑滤波器120，以对差异图的分割区域内的像素进行滤波。在一个实施例中，平滑滤波器120对高斯函数进行离散，以产生针对水平和垂直滤波的滤波器内核。可以通过调整高斯函数的方差，来控制滤波的平滑程度。应当认识到，诸如盒函数之类的其他函数可以用于产生滤波器内核。
深度提取模块114还包括：深度图产生器122，用于通过对差异图的差异值取反，来将差异图转换成深度图。
图2是根据本发明方面的用于从至少两个二维(2D)图像中提取深度信息的示例方法的流程图。首先，后处理设备102获取至少两个2D图像(步骤202)，例如，具有左眼和右眼视图的立体图像对。后处理设备102可以通过获得计算机可读格式的数字主图像文件，来获取至少两个2D图像。可以通过利用数字摄像机捕获运动图像的时间序列，来获取数字视频文件。备选地，由传统胶片类型摄像机来获取该视频序列。在这种情况下，经由扫描设备103扫描该影片。
应当认识到，无论对该影片进行扫描还是该影片已经为数字格式，影片的数字文件包括与帧的位置(例如，帧编号，影片开始的时间等)有关的指示或信息。数字图像文件的每个帧包括一个图像，例如，I1，I2，...In。
可以由具有相同设置的两个摄像机来拍摄立体图像。要么将摄像机校准为具有相同焦距、焦高以及平行的焦平面，要么必须基于已知的摄像机参数使图像翘曲，好像它们是由具有平行的焦平面的摄像机拍摄的。该翘曲处理包括摄像机校准和摄像机矫正。校准和矫正处理调整立体图像的外极线，使得外极线正好是图像的水平扫描线。由于沿着外极线进行对应点发现，矫正处理简化了对应关系搜索，从而仅沿着扫描线搜索，这极大地降低了计算成本。对应点是图像中与相同场景点相对应的像素。
接着，在步骤204中，经由差异估计器116针对场景中的每个点来估计差异图。计算每个场景点的差异，作为左眼和右眼图像中的匹配点的相对距离。例如，如果左眼图像中的点的水平坐标为x，其在右眼图像中的对应点的水平坐标为x’，则差异d＝x’-x。接着，使用以下公式：z＝Bf/d，将场景点的差异值d转换成深度值z，即，从场景点到摄像机的距离，其中，B是两个摄像机之间的距离，也称作基线，f是摄像机的焦距，以下将详细描述其细节。
所有立体匹配算法的思想是，对左眼图像中的像素与右眼图像中的像素进行匹配。然而，对于矫正的图像对，匹配像素的位移仅沿水平方向发生。因此，仅需要搜索沿着水平方向的像素。在立体匹配算法或函数中，通常施加平滑约束，使图像中不具有纹理的区域可以根据纹理附近的像素来获得它们的深度值。可以将平滑约束与像素匹配组合到一起，作为如下的成本函数：
Cost(D)＝MatchCost(D)+λ·SmoothCost(D)        (1)
其中，D是深度图(或差异图)，MatchCost是根据深度图的像素匹配的总成本，SmoothCost是相邻像素的平滑的总成本，以及λ是用于对匹配成本和平滑成本的重要性进行加权的因子。
因此，深度估计问题是相对于深度图来最小化以上成本函数。如果D定义在整个2D图像平面上，则深度估计问题是2D优化问题，包括密集计算并必然带来高计算成本。由于矫正的立体图像对的本质属性，以上成本函数可以定义在每个图像扫描线上，并且对每个扫描线上的成本函数进行最小化。因此，将2D优化问题转换成可以高效解决的多个一维优化问题。动态编程函数138是用于高效找到以上成本函数的最小解的示例算法或函数，并且出于相同目的，也可以将置信传播函数136修改为1D版本。然而，由于缺乏垂直平滑约束，扫描线优化的主要问题是“条纹”伪像(见图5B)。当将深度图与2D图像一同在2D+深度3D显示器上回放时，“条纹”伪像导致恼人的抖动。
为了减少伪像，本发明公开的系统和方法向得到的差异图应用平滑滤波器。然而，平滑滤波器通常也会模糊差异图中对象的深度边界，这是不期望的。本发明公开的系统和方法约束了区域内的平滑处理。由于多数情况下，差异不连续性沿着垂直方向发生，所以采用在垂直方向上比在水平方向上强得多的平滑滤波器，即各向异性滤波器。这可以通过调整滤波器20的高斯函数的方差来实现。方差越高，得到越强的平滑滤波器。为了加速滤波处理，滤波器可以是可分离的滤波器，其由在水平1D滤波之后跟随垂直1D滤波来实现。例如，通过具有第一方差的高斯函数来执行沿着水平方向的滤波，并且通过具有第二方差的高斯函数来执行沿着垂直方向的滤波，其中，第二方差大于第一方差；这得到沿着垂直方向比沿着水平方向大的平滑效果。在一个示例实施例中，对于960×540的图像尺寸，水平滤波器的方差可以是2.0，垂直滤波器的方差可以是4.0。
为了执行基于区域的滤波，将立体图像对的至少一个图像分割成至少一个区域。再次参照图2，在步骤206中，获取立体图像对的参考图像，例如左眼视图图像。典型地，左眼视图图像是参考图像，但在其他实施例中也可以采用右眼视图图像。在步骤208中，经由区域分割模块118将图像分割成区域。可以通过能够将图像划分成非交叠区域的任何传统区域分割算法或函数来实现区域分割。示例区域检测算法或函数被称作平均移位(mean-shift)算法。平均移位算法或函数的优点在于，不需要预先指定区域的数目。即，在分割处理期间，算法能够自动发现区域的数目。在图5C中示出了区域分割的一个示例结果。
一旦确定了图像的区域，在步骤210中，基于图像中的区域，经由平滑滤波器120对差异图进行滤波。关于图3和4描述，用于基于分割区域对差异图进行滤波的方法。
在基于区域的平滑方案中，对于区域中的每个像素302，产生掩蔽块子图像304，其像素与指定像素相邻。该块的大小由滤波器的大小确定。因此，在步骤402中，初始选择滤波器大小。在步骤404中，基于滤波器大小308，来创建掩蔽块子图像304。例如，如果水平滤波器抽头为6，垂直滤波器抽头为4，则该块是具有4x6＝24个像素的矩形。在步骤406中，在至少一个分割区域中选择至少一个像素，然后在步骤408中在该块上创建掩蔽块子图像。当将掩蔽块子图像应用于差异图时，如图3所示，如果像素在区域边界306内或在区域边界306内部，将像素的强度值设置为1，否则，如果像素在区域边界的外部，将像素的强度值设置为0。
在步骤410中，通过首先应用水平滤波器然后应用垂直滤波器，来实现滤波处理。通过掩蔽块子图像的强度值对垂直和水平滤波进行加权，使得在区域边界306外部的像素不影响得到的平滑后的差异值。可以使用不同形式的水平和垂直滤波器。在一个实施例中，使用高斯滤波器。通过对具有预定方差的1D高斯函数进行采样，来产生滤波器，并将滤波器截短到指定的滤波器抽头。为了保留更多细节，垂直滤波器的方差比水平滤波器的方差高得多，因此，沿着垂直方向的平滑更强烈。凭经验确定高斯函数的方差，并该方差可以是整个系统的输入参数。例如，对于960x540的图像尺寸，水平滤波器的方差可以是2.0，垂直滤波器的方差可以是4.0。
再次参照图2，在步骤212中，经由深度图产生器122将滤波后的差异图转换成深度图。使用以下公式：z＝Bf/d，将每个场景点的差异值d转换成深度值z，即，从场景点到摄像机的距离，其中，B是两个摄像机之间的距离，也被称作基线，f是摄像机的焦距。针对至少一个图像中每一个(例如，左眼视图图像)的深度存储在深度图中。例如，将相应的图像和关联的深度图存储在例如存储设备124中，并可以获取以用于3D回放(步骤214)。可以将运动图像或视频剪辑的所有图像与关联的深度图一同存储在代表运动图像或剪辑的立体版本的单个数字文件130中。可以将数字文件130存储在存储设备124中，以供后续获取，例如，用于印制原始影片的立体版本。
在图5A和5C-5D中示出了由本发明公开的系统和方法处理的图像，其中图5A示出了二维(2D)输入图像。图5B是由传统扫描线动态编程处理的、示出条纹伪像的结果深度图。图5C是图5A和图5D中所示图像的结果区域分割图像，图5D示出了根据本发明公开的系统和方法处理的平滑深度图，其中，基于图5C中分割的区域来执行滤波。比较图5B和5D的深度图，本发明公开的系统和方法高效地模糊了条纹伪像，同时仍极大地保留如图5D所示对象之间的深度边界。
尽管这里详细示出并描述了结合本发明教导的实施例，但是本领域技术人员可以容易设想仍结合这些教导的许多其他变化的实施例。已经描述了用于从至少两个图像中提取深度信息的系统和方法的优选实施例(意在示意而非限制)，但是注意，本领域技术人员可以根据以上教导进行修改和变型。因此应当理解，可以在根据权利要求概括的本发明范围内所公开的本发明具体实施例中进行改变。

Claims (10)

1.一种用于从至少两个图像中提取深度信息的方法，所述方法包括：
获取来自场景的第一图像和第二图像(202)；
估计第一图像中的至少一个点与第二图像中的至少一个相应点的差异，以产生差异图(204)；
将第一或第二图像中的至少一个分割成至少一个区域(208)；
基于分割区域，沿着水平方向和垂直方向对差异图进行滤波(210)，其中沿着垂直方向的滤波被配置为具有比沿着水平方向的滤波大的平滑效果；以及
通过针对差异图的至少一个点中的每一个对估计的差异取反，将滤波后的差异图转换成深度图(212)。
2.根据权利要求1所述的方法，其中，第一和第二图像包括立体图像对的左眼视图和右眼视图。
3.根据权利要求1所述的方法，其中，估计差异的步骤包括：计算像素匹配成本函数和平滑成本函数中的至少一个。
4.根据权利要求1所述的方法，其中，估计差异的步骤由扫描线优化函数执行。
5.根据权利要求1所述的方法，其中，沿着水平方向的滤波由具有第一方差的高斯函数执行，沿着垂直方向的滤波由具有第二方差的高斯函数执行，其中，第二方差大于第一方差。
6.根据权利要求1所述的方法，其中，滤波步骤包括：
选择滤波器大小(402)；
基于滤波器大小，创建掩蔽块子图像，以掩蔽至少一个分割区域外部的像素(404)；以及
对至少一个分割区域内部的至少一个像素进行滤波(408)。
7.一种用于从至少两个图像中提取深度信息的系统(100)，包括：
用于获取来自场景的第一图像和第二图像的装置；
差异估计器(116)，被配置为估计第一图像中的至少一个点与第二图像中的至少一个相应点的差异，以产生差异图；
分割模块(118)，被配置为将第一或第二图像中的至少一个分割成至少一个区域；
滤波器(120)，被配置为基于分割区域，沿着水平方向和垂直方向对差异图进行滤波，其中沿着垂直方向的滤波被配置为具有比沿着水平方向的滤波大的平滑效果；以及
深度图产生器(122)，被配置为通过针对差异图的至少一个点中的每一个对估计的差异取反，将滤波后的差异图转换成深度图。
8.根据权利要求7所述的系统(100)，其中，差异估计器(116)包括像素匹配成本函数(132)、平滑成本函数(134)和扫描线优化函数(136、138)中的至少一个。
9.根据权利要求7所述的系统(100)，其中，水平滤波器由具有第一方差的高斯函数产生，垂直滤波器由具有第二方差的高斯函数产生，其中，第二方差大于第一方差。
10.根据权利要求7所述的系统(100)，其中，滤波器(120)还被配置为：基于预定滤波器大小(308)，创建掩蔽块子图像(304)，以掩蔽至少一个分割区域外部的像素，并且对至少一个分割区域内部的至少一个像素进行滤波。
CN2007801014230A 2007-11-09 2007-11-09 使用基于区域的滤波的深度图提取系统和方法 Expired - Fee Related CN101960860B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2007/023632 WO2009061305A1 (en) 2007-11-09 2007-11-09 System and method for depth map extraction using region-based filtering

Publications (2)

Publication Number Publication Date
CN101960860A CN101960860A (zh) 2011-01-26
CN101960860B true CN101960860B (zh) 2013-06-26

Family

ID=39645307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007801014230A Expired - Fee Related CN101960860B (zh) 2007-11-09 2007-11-09 使用基于区域的滤波的深度图提取系统和方法

Country Status (7)

Country Link
US (1) US8411934B2 (zh)
EP (1) EP2213102B1 (zh)
JP (1) JP5156837B2 (zh)
CN (1) CN101960860B (zh)
AT (1) ATE546951T1 (zh)
CA (1) CA2704479C (zh)
WO (1) WO2009061305A1 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8774512B2 (en) * 2009-02-11 2014-07-08 Thomson Licensing Filling holes in depth maps
KR20100135032A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 2차원 영상의 3차원 영상 변환 장치 및 방법
JP4934701B2 (ja) * 2009-06-30 2012-05-16 株式会社日立製作所 ステレオ画像処理装置およびステレオ画像処理方法
US8509519B2 (en) * 2009-07-29 2013-08-13 Intellectual Ventures Fund 83 Llc Adjusting perspective and disparity in stereoscopic image pairs
EP2293586A1 (en) * 2009-08-04 2011-03-09 Samsung Electronics Co., Ltd. Method and system to transform stereo content
KR101626057B1 (ko) * 2009-11-19 2016-05-31 삼성전자주식회사 3뷰 영상의 디스패리티 추정 방법 및 장치
WO2011123177A1 (en) 2010-04-01 2011-10-06 Thomson Licensing Method and system of using floating window in three-dimensional (3d) presentation
CN101873509B (zh) * 2010-06-30 2013-03-27 清华大学 消除深度图序列背景和边缘抖动的方法
US9111342B2 (en) * 2010-07-07 2015-08-18 Electronics And Telecommunications Research Institute Method of time-efficient stereo matching
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
US9628769B2 (en) * 2011-02-15 2017-04-18 Thomson Licensing Dtv Apparatus and method for generating a disparity map in a receiving device
WO2012111404A1 (ja) * 2011-02-17 2012-08-23 コニカミノルタホールディングス株式会社 画像処理装置、そのプログラム、および画像処理方法
RU2013142927A (ru) * 2011-02-23 2015-03-27 Конинклейке Филипс Н.В. Обработка данных глубины трехмерной сцены
TWI462569B (zh) 2011-04-22 2014-11-21 Mstar Semiconductor Inc 三維影像攝相機及其相關控制方法
CN102156987A (zh) * 2011-04-25 2011-08-17 深圳超多维光电子有限公司 获取场景深度信息的方法及装置
US10061189B2 (en) 2011-09-06 2018-08-28 King Abdullah University of Science and Technology (KAUST) Stereo-panoramic data
US9129378B2 (en) * 2011-09-07 2015-09-08 Thomson Licensing Method and apparatus for recovering a component of a distortion field and for determining a disparity field
US8837816B2 (en) * 2011-09-27 2014-09-16 Mediatek Inc. Method and apparatus for generating final depth information related map that is reconstructed from coarse depth information related map through guided interpolation
KR20140069266A (ko) 2011-09-29 2014-06-09 톰슨 라이센싱 디스패리티 맵을 필터링하기 위한 방법 및 디바이스
WO2013054240A1 (en) * 2011-10-10 2013-04-18 Koninklijke Philips Electronics N.V. Depth map processing
CN102333234B (zh) * 2011-10-28 2014-04-23 清华大学 一种双目立体视频状态信息的监测方法及装置
CN102509294B (zh) * 2011-11-08 2013-09-25 清华大学深圳研究生院 一种基于单幅图像的全局深度估计方法
US20130129195A1 (en) * 2011-11-17 2013-05-23 Industrial Technology Research Institute Image processing method and apparatus using the same
US8605993B2 (en) * 2011-11-21 2013-12-10 Robo-team Ltd. Methods and systems of merging depth data from a plurality of disparity maps
WO2013079602A1 (en) * 2011-11-30 2013-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Spatio-temporal disparity-map smoothing by joint multilateral filtering
US9571810B2 (en) * 2011-12-23 2017-02-14 Mediatek Inc. Method and apparatus of determining perspective model for depth map generation by utilizing region-based analysis and/or temporal smoothing
WO2013113373A1 (en) * 2012-01-31 2013-08-08 Sony Ericsson Mobile Communications Ab Method and electronic device for creating a combined image
US9558575B2 (en) 2012-02-28 2017-01-31 Blackberry Limited Methods and devices for selecting objects in images
JP5987899B2 (ja) * 2012-03-30 2016-09-07 富士通株式会社 生成装置、生成プログラムおよび生成方法
US9338439B2 (en) * 2012-04-02 2016-05-10 Intel Corporation Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system
DE102012209316A1 (de) * 2012-06-01 2013-12-05 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
US9571818B2 (en) 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
JP5493155B2 (ja) * 2012-09-06 2014-05-14 シャープ株式会社 立体画像処理装置、立体画像処理方法、及びプログラム
JP2014096062A (ja) * 2012-11-09 2014-05-22 Yamaguchi Univ 画像処理方法及び画像処理装置
US8867826B2 (en) * 2012-11-26 2014-10-21 Mitusbishi Electric Research Laboratories, Inc. Disparity estimation for misaligned stereo image pairs
EP2806401A1 (en) 2013-05-23 2014-11-26 Thomson Licensing Method and device for processing a picture
US9460543B2 (en) * 2013-05-31 2016-10-04 Intel Corporation Techniques for stereo three dimensional image mapping
JP6285686B2 (ja) * 2013-06-12 2018-02-28 日本放送協会 視差画像生成装置
IN2013CH05313A (zh) * 2013-11-18 2015-05-29 Nokia Corp
US9390508B2 (en) 2014-03-03 2016-07-12 Nokia Technologies Oy Method, apparatus and computer program product for disparity map estimation of stereo images
US9756312B2 (en) 2014-05-01 2017-09-05 Ecole polytechnique fédérale de Lausanne (EPFL) Hardware-oriented dynamically adaptive disparity estimation algorithm and its real-time hardware
EP2950269A1 (en) * 2014-05-27 2015-12-02 Thomson Licensing Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing
TWI558167B (zh) * 2014-12-30 2016-11-11 友達光電股份有限公司 立體影像顯示系統與顯示方法
JP6538176B2 (ja) 2015-03-18 2019-07-03 ホアウェイ・テクノロジーズ・カンパニー・リミテッド カラーバランスをとるための画像処理装置および方法
JP6570296B2 (ja) * 2015-04-09 2019-09-04 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10051263B2 (en) * 2015-11-23 2018-08-14 Center For Integrated Smart Sensors Foundation Multi-aperture camera system using scan line processing
RU2623806C1 (ru) * 2016-06-07 2017-06-29 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Способ и устройство обработки стереоизображений
US10366501B2 (en) * 2016-11-07 2019-07-30 The Boeing Company Method and apparatus for performing background image registration
CN110889851B (zh) * 2018-09-11 2023-08-01 苹果公司 针对深度和视差估计的语义分割的稳健用途
KR102606824B1 (ko) * 2018-12-14 2023-11-27 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
CN111383254A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 一种深度信息获取方法、系统及终端设备
CN109903379A (zh) * 2019-03-05 2019-06-18 电子科技大学 一种基于点云优化采样的三维重建方法
US11508079B2 (en) * 2019-06-28 2022-11-22 Intel Corporation Parallelism in disparity map generation
CN111524075B (zh) * 2020-03-26 2023-08-22 北京迈格威科技有限公司 深度图像滤波方法、图像合成方法、装置、设备及介质
CN111553850B (zh) * 2020-03-30 2023-10-24 深圳一清创新科技有限公司 基于双目立体视觉的三维信息获取方法和装置
US11430143B2 (en) * 2020-06-10 2022-08-30 Uveye Ltd. System of depth estimation and method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466208B1 (en) * 1999-12-20 2002-10-15 Silicon Integrated Systems Corporation Apparatus and method for adjusting 3D stereo video transformation
CN101027679A (zh) * 2004-09-09 2007-08-29 奥普提克斯晶硅有限公司 表达通用的二维空间变换的系统和方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61286979A (ja) * 1985-06-14 1986-12-17 Hitachi Ltd ステレオ視覚システム
JP2681941B2 (ja) * 1987-09-14 1997-11-26 ソニー株式会社 画像処理装置
GB2262854B (en) * 1991-12-24 1995-05-24 Sony Broadcast & Communication Image processing apparatus
JPH06259547A (ja) * 1993-03-03 1994-09-16 Toshiba Corp 画像処理方法および装置
US6046763A (en) * 1997-04-11 2000-04-04 Nec Research Institute, Inc. Maximum flow method for stereo correspondence
EP0928460B1 (en) * 1997-07-29 2003-01-29 Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
JP4165220B2 (ja) 2000-07-06 2008-10-15 セイコーエプソン株式会社 画像処理方法、プログラムおよび画像処理装置
JP4536231B2 (ja) * 2000-08-29 2010-09-01 オリンパス株式会社 撮像装置
JP2003061105A (ja) * 2001-06-07 2003-02-28 Seiko Epson Corp 画像処理方法、画像処理プログラム、画像処理装置およびそれを用いたディジタルスチルカメラ
US6847728B2 (en) * 2002-12-09 2005-01-25 Sarnoff Corporation Dynamic depth recovery from multiple synchronized video streams
JP4042563B2 (ja) 2002-12-27 2008-02-06 セイコーエプソン株式会社 画像ノイズの低減
US7324687B2 (en) * 2004-06-28 2008-01-29 Microsoft Corporation Color segmentation-based stereo 3D reconstruction system and process
JP2006033346A (ja) 2004-07-15 2006-02-02 Mitsubishi Electric Corp 着脱型撮像装置
EP1777435A4 (en) 2004-08-02 2010-11-10 Sekisui Chemical Co Ltd CUSHIONING MATERIAL
JP4701848B2 (ja) * 2005-06-13 2011-06-15 日本電気株式会社 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
US7586489B2 (en) * 2005-08-01 2009-09-08 Nvidia Corporation Method of generating surface defined by boundary of three-dimensional point cloud
KR100727033B1 (ko) * 2005-12-07 2007-06-12 한국전자통신연구원 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466208B1 (en) * 1999-12-20 2002-10-15 Silicon Integrated Systems Corporation Apparatus and method for adjusting 3D stereo video transformation
CN101027679A (zh) * 2004-09-09 2007-08-29 奥普提克斯晶硅有限公司 表达通用的二维空间变换的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
E.lzquierdo等.Nonlinear Gaussian filtering approach for object segmentation.《Image and Signal Processing》.1999,第146卷(第3期),137-143页. *

Also Published As

Publication number Publication date
EP2213102B1 (en) 2012-02-22
EP2213102A1 (en) 2010-08-04
CN101960860A (zh) 2011-01-26
JP5156837B2 (ja) 2013-03-06
US20110044531A1 (en) 2011-02-24
CA2704479C (en) 2016-01-05
CA2704479A1 (en) 2009-05-14
US8411934B2 (en) 2013-04-02
ATE546951T1 (de) 2012-03-15
WO2009061305A1 (en) 2009-05-14
JP2011504262A (ja) 2011-02-03

Similar Documents

Publication Publication Date Title
CN101960860B (zh) 使用基于区域的滤波的深度图提取系统和方法
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
US8508580B2 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
CN101785025B (zh) 用于从二维图像进行三维对象重构的系统和方法
US5734743A (en) Image processing method and apparatus for block-based corresponding point extraction
CA2650557C (en) System and method for three-dimensional object reconstruction from two-dimensional images
US8787654B2 (en) System and method for measuring potential eyestrain of stereoscopic motion pictures
CN102047288B (zh) 利用正向和反向深度预测进行图像的深度提取的系统和方法
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
EP2709070A1 (en) Image generation device and image generation method
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
EP2757789A1 (en) Image processing system, image processing method, and image processing program
Angot et al. A 2D to 3D video and image conversion technique based on a bilateral filter
CN105791795A (zh) 立体图像处理方法、装置以及立体视频显示设备
US20140125778A1 (en) System for producing stereoscopic images with a hole filling algorithm and method thereof
AT&T
EP2657909A1 (en) Method and image processing device for determining disparity
Tian et al. Upsampling range camera depth maps using high-resolution vision camera and pixel-level confidence classification
Liu Improving forward mapping and disocclusion inpainting algorithms for depth-image-based rendering and geomatics applications
CN116823691A (zh) 光场图像处理方法及装置
Alessandrini et al. Efficient and automatic stereoscopic videos to N views conversion for autostereoscopic displays

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130626

Termination date: 20161109