CN104662896A - 用于图像处理的装置、方法和计算机程序 - Google Patents

用于图像处理的装置、方法和计算机程序 Download PDF

Info

Publication number
CN104662896A
CN104662896A CN201280075646.5A CN201280075646A CN104662896A CN 104662896 A CN104662896 A CN 104662896A CN 201280075646 A CN201280075646 A CN 201280075646A CN 104662896 A CN104662896 A CN 104662896A
Authority
CN
China
Prior art keywords
parallax
image
instruction
pixel
anaglyph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280075646.5A
Other languages
English (en)
Other versions
CN104662896B (zh
Inventor
S·斯米尔诺夫
A·戈奇夫
M·汉努卡塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Usao Investment Co.,Ltd.
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN104662896A publication Critical patent/CN104662896A/zh
Application granted granted Critical
Publication of CN104662896B publication Critical patent/CN104662896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

提供了用于图像处理的方法、装置和计算机程序产品，其中将图像对下采样为一对较低分辨率的第一图像和第二图像，以及还获得表示在该图像对中的像素的至少子集之间的估计视差的视差图像。可以获得视差估计的置信度，并将该视差估计的置信度插入到置信图中。可以通过使用像素位置的空间邻域对视差图像和置信图进行联合过滤以获得过滤的视差图像和过滤的视差图。可以通过过滤的视差图像和置信图来获得该图像对的估计视差分布。

Description

用于图像处理的装置、方法和计算机程序
技术领域
本发明涉及用于图像处理的装置、方法和计算机程序。
背景技术
这部分旨在提供在权利要求书中陈述的本发明的背景或上下文。此处的描述可以包含可以被追求的构思，但该构思不是必须是先前已设想或追求的构思。因此，除非此处另外指出，否则这部分所述的内容不是本申请中的说明书和权利要求书的现有技术，并且不通过被包含在这部分中而承认其为现有技术。
当前正在研究和开发用于提供三维(3D)视频内容的各种技术。在各种多视角(multiview)应用上，观看者从特定的视点能够看到仅一对立体视频，以及从不同的视点看到另一对立体视频。在一些方法中，仅有限数量的输入视图，例如单一(mono)或立体视频加上一些补充数据，被提供给解码器侧，以及所有要求的视图于是由该解码器本地地渲染(即合成)以在显示器上显示。
在3D视频内容的编码中，能够使用视频压缩系统，诸如高级视频编码标准H.264/AVC或H.264/AVC的多视角视频编码MVC扩展。
可以由两个水平对齐和同步的相机来执行立体视频的捕获。相机的光学中心之间的距离被称为基线距离。立体对应性指的是在两个相机中反射相同场景点的像素。知道相机参数、基线和对应点，能够通过应用例如三角测量类型的估计来找到场景点的三维(3D)坐标。针对两个相机图像中的所有像素应用相同的过程，能够获得密集的相机中心距图(深度图)。它提供了场景的3D地理模型以及能够在许多3D视频处理应用(诸如编码、再利用、虚拟视图合成、3D扫描、对象检测和识别、在真实场景中嵌入虚拟对象(增强现实)等中使用。
在多视角应用中，可以有超过两个相机，可以在逻辑上将它们布置成多对相机。因此，可以由这些相机捕获相同场景，给予提供来自相同场景的不同视角的立体视频的可能性。
在深度图估计中的问题是如何可靠地找到两个相机视图中的像素之间的对应性。通常，可以矫正相机视图，以及对应性被限制为在水平线中出现。此类对应性被称为视差。找到视差图的过程(在两个矫正的图像视图的像素之间的对应性)被称为立体匹配。一些立体匹配方法受制于一些面向应用的约束来应用局部或全局优化准则以处置在真实世界立体图像中的特定问题。
许多立体匹配算法搜索视差范围内的匹配。针对任意立体图像的正确视差搜索范围的选择可能是个问题，尤其是在真实世界和室外应用(其中手工范围选择可能是相当不切实际的)的情况下。太窄的搜索范围选择可能导致不希望的估计视差的质量降级。同时，针对立体匹配的非常宽(例如，无约束)的范围可能增加不必要的计算复杂度。取决于所寻求的视差级别(假设)的数量，现代立体匹配技术的复杂度可以是线性的。即使使用预先选择的视差范围，在场景捕获期间(例如，立体摄影或视频拍摄)，场景可以变化，因此改变所使用(预先选择的)视差范围。
发明内容
本发明涉及用于图像处理的装置、方法和计算机程序，其中图像对可以被下采样到较低分辨率的图像对，以及还获得表示在该图像对中的像素的至少子集之间的估计视差的视差图像。可以获得视差估计的置信度并将它插入到置信图中。可以通过使用像素位置的空间邻域对视差图像和置信图进行联合过滤以获得过滤的视差图像和过滤的置信图。可以通过过滤的视差图像和置信图来获得该图像对的估计视差分布。
一些实施例提供用于矫正立体视频内容的自动的、独立于内容的视差范围选择算法。
本发明的一些实施例使用金字塔方法。然而，不是仅使用针对视差范围确定的置信度，可以应用针对高效异常值移除的第一视差估计和置信图的空间过滤。因此，可以需要仅很少层。在一些示例实施例中，可以使用仅两层金字塔。
在以下，简要呈现根据本发明的一些实施例的视差范围估计中的一些特征。
可以使用常数复杂度的绝对误差和(SAD)匹配，其允许对计算复杂度没有影响或仅较小影响来改变匹配窗口大小。
替代很少层的金字塔，可以使用单个下采样步骤。这可以导致可预测性和稳定的过程行为。还可能的是，通过改变下采样因子来调节计算速度。
对初始视差估计的合适的空间过滤可以用于更好的异常值移除。
可以使用没有应用于连续视频帧的特定时间过滤的时间对应性假设。
本发明的各种方面包含：方法、装置、计算机程序、编码器和解码器，它们的特征在于在独立权利要求中阐述的内容。在从属权利要求中公开了本发明的各种实施例。
根据第一方面，提供了一种方法，所述方法包括：
将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中，
过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图，其中所述过滤使用将被过滤的像素的像素位置的空间邻域，以及
通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布。
根据第二方面，提供了一种装置，所述装置包括至少一个处理器和包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置执行至少以下：
将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中，
过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图，其中所述过滤使用将被过滤的像素的像素位置的空间邻域，以及
通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布。
根据第三方面，提供了一种计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，其中当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置执行至少以下：
将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中，
过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图，其中所述过滤使用将被过滤的像素的像素位置的空间邻域，以及
通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布。
根据第四方面，提供了一种装置，所述装置包括：
下采样器，其适用于将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
视差估计器，其适用于估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
置信度估计器，其适用于估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中，
滤波器，其适用于过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图，其中所述过滤使用将被过滤的像素的像素位置的空间邻域，以及
视差分布估计器，其适用于通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布。
根据第五方面，提供了一种装置，所述装置包括：
用于将输入图像对下采样为一对较低分辨率的第一图像和第二图像的构件，
用于估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中的构件，
用于估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中的构件，
用于过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图的构件，其中所述过滤使用将被过滤的像素的像素位置的空间邻域，以及
用于通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布的构件。
根据第六方面，提供了一种装置，所述装置包括用于执行根据权利要求1至12中的任何一项的方法的构件。
附图说明
为了更好地理解各种实施例，现在通过示例将参照附图，在附图中：
图1示出了立体相机设置的简化2D模型；
图2示出了多视角相机设置的简化模型；
图3示出了多视角自动立体显示器(ASD)的简化模型；
图4示出了基于DIBR的3DV系统的简化模型；
图5和图6示出了基于飞行时间法的深度估计系统的示例；
图7将根据示例实施例的装置的示例示出为简化框图；
图8a和图8b说明了基于左图像和右图像来形成视差图的示例；
图9a-9h示出了使用区域求和表算法的示例；
图10示意性地示出了适用于使用一些实施例的电子设备；
图11示意性地示出了适用于使用一些实施例的用户设备；
图12还示意性地示出了使用无线和有线网络连接的使用实施例的电子设备；以及
图13将根据示例实施例的方法示出为流程图。
具体实施方式
下面，简要地描述三维(3D)多视角应用的一些方面以及与其紧密相关的深度和视差信息的构思。
立体视频内容由多对偏移图像组成，该多对偏移图像分别被示出给观察者的左眼和右眼。使用特定的立体相机设置来捕获这些偏移图像，以及它假设相机之间的特定立体基线距离。
图1示出了此类立体相机设置的简化2D模型。在图1中，C1和C2指的是立体相机设置的相机，更具体地相机的中心位置，b是两个相机的中心之间的距离(即，立体基线)，f是相机的焦距，以及X是正被捕获的真实3D场景中的对象。真实世界对象X被投影到由相机C1和C2捕获的图像中的不同位置，这些位置分别是x1和x2。在图像的绝对坐标中的x1和x2之间的水平距离被称为视差。由该相机设置捕获的图像被称为立体图像，以及在这些图像中呈现的视差创建或增强深度的错觉。为了使得这些图像能够被分别示出给观察者的左眼和右眼，典型地要求观看者使用特定3D眼镜。视差的适应是针对将立体视频内容调节到在各种显示器上能够舒适地观看的关键特征。
然而，视差适应不是简单的过程。它可以要求具有使用不同基线距离(即，b是变量)的另外的相机视图或渲染在现实世界中不能观看的虚拟相机视图。图2示出了适用于这种解决方案的此类多视角相机设置的简化模型。这个设置能够提供使用针对立体基线的若干离散值捕获的立体视频内容，以及因此允许立体显示器选择适用于观看条件的一对相机。
针对3D视觉的更高级的方法是具有不要求眼镜的多视角自动立体显示器(ASD)。ASD一次发射超过一个视图，但是该发射被定位在以观看者仅能从特定视点看到立体对的此类方式的空间中，如在图3中说明的，其中当在最右边的视点观看时，在视图的中间中看到船。此外，观看者能够从不同的视点看到另一个立体对，例如在图3中，当在最左边的视点观看时，在视图的右边界看到船。因此，如果连续的视图是立体对以及它们被适当地排列，则支持运动视差观看。ASD技术能够同时示出例如52或更多不同图像，从特定视点能够看见这些不同图像中的仅一个立体对。这支持不使用眼镜的多用户3D视觉，例如在起居室环境中。
在基于深度图像的渲染(DIBR)中，立体视频和具有立体基线的对应的深度信息被作为输入以及在两个输入视图之间合成多个虚拟视图。因此，DIBR算法还可以使得能够在两个输入视图之外并且没有在它们之间中的视图的外插法。类似地，DIBR算法可以使得能够来自单个文理视图和各自深度视图的视图合成。
在图4中示出了基于DIBR的3DV系统的简化模型。3D视频编解码器的输入包括：立体视频以及具有立体基线b0的对应的深度信息。于是3D视频编解码器合成具有基线(bi<b0)的两个输入视图之间的多个虚拟视图。DIBR算法还可以使得能够位于两个输入视图之外的并且没有在它们之间中的视图的外插。类似地，DIBR算法可以使得能够来自单个纹理视图和各自深度视图的视图合成。然而，为了使得能够基于DIBR多视角渲染，在解码器侧应当能够获得纹理数据连同对应的深度数据。
在此类3DV系统中，针对每个视频帧，在编码器侧产生以深度图片(还被称为深度图)形式的深度信息。深度图是具有每个像素深度信息的图像。在深度图中的每个样本表示各自纹理样本与相机所位于的平面的距离。也就是说，如果z轴是沿着相机的拍摄轴(以及因此垂直于该相机所位于的平面)，则在深度图中的样本表示在z轴上的值。
能够通过各种手段来获得深度信息。例如，3D场景的深度可以从由捕获相机注册的视差来计算。深度估计算法采用立体视图作为输入，以及计算视图的两个偏移图像之间的局部视差。在重叠块中逐像素地处理每个图像，以及针对每个像素块，执行针对偏移图像中的匹配块的水平局部搜索。一旦计算了逐像素的视差，通过方程式(1)来计算对应的深度值z：
z = f &CenterDot; b d + &Delta;d - - - ( 1 ) ,
其中f是相机的焦距，以及b是相机之间的基线距离，如图1中示出的。此外，d可以被认为指的是在两个相机中的对应像素之间估计的视差，或在两个相机中的对应像素之间估计的视差。相机偏移Δd可以被认为是反映两个相机的光轴的可能的水平错位或由于预处理导致的在相机帧中的可能的水平裁剪。
可以类似于深度图来处理视差或视差异图，诸如在ISO/IEC国际标准23002-3中指定的视差图。深度和视差具有简单的对应性，以及通过上述数学方程式能够从彼此来计算它们。
纹理视图指的是表示普通视频内容的(例如使用普通相机已经被捕获的)以及通常适用于在显示器上渲染的视图。
通过比较左图像和右图像以及尝试找到最佳匹配来生成视差图不总是简单的任务。在立体相机设置中，左相机产生图像，该图像具有与由右相机产生的对应图像的大量相似性，但是由于相机的位置中的小差异(基线)，在左图像和右图像之间有一些差异。此外，在场景中的前景对象可以导致的是，在图像中的一个图像中可见的一些细节被该对象隐藏，使得另一个图像不含有此类细节。这个现象可以被称为遮挡或遮挡细节。此外，在图像中的一个图像的垂直边附近的一些细节可能在另一个相机的观看角度的外面。例如，在左图像的左边可见的一些细节可能从右图像丢失。分别地，在右图像的右边可见的一些细节可能从左图像丢失。因此，可能不能确定针对此类区域的视差。
在一些实施例中，可以生成遮挡图以指示在立体对的另一个图像中，该立体对的一个图像中的哪些部分是不可见的。遮挡图还可以用于确定在视差图中的哪些值可能是不正确的。
除了视差图和遮挡图外，还可以计算置信图，该置信图指示视差图的视差值的置信度是多少。
在以下，将通过使用作为从相同场景捕获的两个不同图像或图像序列(例如，视频流)的源的立体相机设置来更详细地描述一些示例实施例。然而，类似的原理也应用于多视角应用。还可能的是，从存储器来检索图像源，由接收器来接收图像源，由计算机程序来生成图像源等等。
在以下，两个不同图像还可以被称为左图像和右图像，但是本发明的实施例不局限于仅此类布置。也就是说，可以由没有水平对齐而是例如垂直对齐的两个相机来捕获图像。
在图7的示例装置700中，由装置700接收来自第一相机704的第一相机信号702以及来自第二相机708的第二相机信号706。在图13中使用框100说明了这种情况。信号702、706可以已经是以数字形式，或如果这些信号是以模拟形式，则可以通过模拟数字转换器(未示出)将它们转换到数字信号。在这个示例设置中，第一相机信号载有左图像，以及第二相机信号载有场景的右图像。图像，其还可以被称为图片或帧，包括像素矩阵，在像素矩阵中，每个像素值表示图像的一个小部分的属性(例如，亮度)。像素实际上可以含有超过一个像素值，每个像素值表示不同的颜色成分。例如，像素可以含有三个像素或成分值，一个像素值针对红色，一个像素值针对绿色以及一个像素值针对蓝色，它们表示在该像素位置处的图像中的这些颜色的强度。在另一个示例中，像素可以含有三个像素或成分值，一个像素值针对亮度或照度，常常被称为Y成分，以及两个像素值针对色度或色差，常常被称为Cb成分和Cr成分或U成分和V成分。可以以空间交错的方式，例如如拜耳矩阵，来排列成分像素。
所接收的图像对的像素值可以被存储在帧存储器710中以用于进一步处理，或直接被提供给进一步处理步骤。图像的内容被场景切换检测器712检查以及与先前图像(如果有的话)进行比较，以确定该图像是否是先前序列的一部分或开始新的图像序列(框102)。可以基于图像对的任何一个帧(即，基于左图像或右图像)，或基于左图像和右图像两者，来执行该确定。例如当在图像序列中有场景切换时，新的图像序列可以出现。在实时捕获过程中，场景切换可以是由于相机对(装置700从该相机对接收图像信息)中的变化。
出于视差分析的目的，该装置的范围界定单元714界定针对确定针对图像的视差的初始搜索范围。范围界定单元714可以使用一个成分图像(诸如由亮度成分像素组成的图像)进行操作，或它可以联合地使用超过一个成分图像。当使用超过一个成分图像时，可以对每个成分类型独立地执行逐像素操作，诸如逐像素绝对差，以及可以在随后的处理中使用逐像素操作的结果的平均值或和。可替代地，将以其他方式使用逐像素差的任何地方，可以在N维空间(其中N可以等于成分图像的数量)中导出欧式距离或其他距离测量。如果场景切换检测构件712确定的是，图像对开始了新的图像序列，则范围界定构件714可以选择默认的搜索范围(框714)，默认的搜索范围可以是全部可能的搜索范围或小于全部可能的范围的另一个搜索范围。否则，范围界定构件714可以使用在先前图像的分析中使用的相同的搜索范围。因此，能够使用加上富余的先前搜索范围(框106)。在一些实施例中，该富余可以是10个像素、15个像素、20个像素或另一个适当的值。应当注意的是，该富余不需要与上限和下限相两者同，而是可以彼此不同。对于用一些富余来可能扩展先前搜索范围的使用基于以下假设：在单个场景切换内，视差内容不会经常动态变化。此外，该富余可以在不同的实施例中是不同的，例如当图像的分辨率或图像的一个或多个其它参数变化时可以变化，等。
除了设置该范围外，还可以例如通过复杂度估计器716来估计匹配复杂度(框108)。一般地，立体匹配方法的计算复杂度可以是线性的-依赖于可能的视差层的数量。取决于空间分辨率，它也可以是线性的。立体匹配过程的计算时间的粗估计可以被定义为A*D*M，其中A是描述特定平台的计算能力和特定匹配算法的复杂度的参数，D是视差层的数量，以及M是在帧中的像素的数量。可以通过改变D(粗视差)和M(下采样)的值来进行平衡。改变M可以导致的是，D也改变。
如果复杂度估计器716确定的是，所估计的匹配复杂度超过预定义的限制，则可以增加下采样比率(框110)以确保接近常数的复杂度(即，接近常数计算时间)。如果所估计的复杂度显著地低于允许的，则可以降低下采样比率(框112)以便增加鲁棒性。
在一些实施例中，下采样比率可以首先被设置为指示根本不应当执行下采样的值(例如，1)，以及如果复杂度估计器716确定的是，所估计的匹配复杂度超过预定义的限制，则增加下采样比率。
当已经确定下采样比率时，并且如果它指示的是，应当执行下采样，则在下采样器718中通过该下采样比率来对左图像和右图像进行下采样(框114)。下采样器718产生左图像和右图像的下采样的图像，即具有小于原始左图像和右图像的分辨率的图像。在下采样器中，可以使用任何下采样算法。
下采样的图像也可以被存储在帧存储器710中。在一些实施例中，通过下采样不影响被存储在帧存储器710中的原始图像，但是可以替代地将下采样的图像存储在帧存储器710的不同部分中。
可以由视差估计器720来使用下采样图像以获得针对当前图像对的视差估计(框116)。视差估计器720和框116可以使用任何视差估计算法，视差估计算法还可以被称为立体匹配或深度估计算法。例如，视差估计器720和框116可以使用基于找到立体对(左图像和右图像)之间的逐样本或逐窗口对应性的局部匹配算法。在另一个示例中，视差估计器720和框116可以使用全局优化算法，全局优化算法可以基于所选择的假设(诸如深度图的平滑性和深度边的连续性)来最小化代价函数。
在一些实施例中，视差估计器720应用O(1)复杂度的绝对误差和(SAD)立体匹配，该绝对误差和(SAD)使用预定义窗口大小，受初始范围限制约束(考虑下采样比率)。
立体块匹配的一些实现方式具有关于窗口(块)大小的线性(O(N))复杂度，即执行块匹配所要求的时间与窗口大小的增加成比例地增加。在本发明的一些实施例中，可以使用区域求和表(SAT)，以便使得匹配复杂度基本上关于匹配窗口大小是常数，即当匹配窗口大小是预定义的时，实现方式具有O(1)复杂度或接近O(1)复杂度，在N比例于匹配窗口大小的情况下，实现方式具有O(N)或接近O(n)的复杂度。在使用此类匹配方法的另一个背后的原因是，所生成的视差图不需要参与最终的全分辨率视差估计，因此不需要使视差图完美地对齐。
可以从左到右(即，使用左图像作为参考)，从右到左(即，使用右图像作为参考)，或这两者，来执行视差图估计。如果使用两个方向，则可能更可靠地确定一个图像的哪些部分从另一个图像来看是被遮挡，因为对于此类区域，在两个方向中可能不能找到一对一的对应性，而是仅在一个方向能够找到一对一的对应性。
视差估计器720还可以使用在视差图生成过程期间获得的信息来形成置信图和/或遮挡图(框118)。
在以下，参照图8a和图8b更详细地描绘形成视差图的示例实施例。图8a示出了使用默认搜索范围的情况，以及图8b示出了使用先前界定的搜索范围的情况。这些示例说明了块匹配算法，但是也可以使用其它算法。在以下中，还可以假设的是，首先进行左右搜索，即左图像的块被选择作为源块，以及右图像的块用于找出来自右图像的对应块。然而，还可能的是，以右至左的搜索来开始。在左右搜索中，视差估计器720选择来自左图像802的大小MxN的块803，以及在右图像804中搜索相同大小的块805，以找出在右图像中的哪个块具有与所选择的左图像的块最佳的对应性。可能的块大小的一些示例是1x1，即仅一个像素，2x2,3x3,4x4,5x5,8x8,7x5等。
该搜索可以被限制在某一范围内，即搜索范围806，而不是整个图像区域。如上所述，搜索范围806可以是初始搜索范围，或可以使用先前的搜索范围。在块匹配过程中，一些另外的假设还可以用于加速该过程。在左到右搜索和平行相机设置的情况下，能够假设的是，在右图像中的对应块(如果有的话)是在右图像中与在左图像中的源块相同的位置处，在源块的位置的左面。因此，不需要检查源图像的该位置的右面的块。这个假设基于以下事实：如果图像表示来自两个水平对齐位置的相同场景，在左图像中可见的对象位于在右图像中的更左面(或在相同位置中)。此外，能够假设的是，检查仅水平对齐块(即具有与源块相同垂直位置的块)是足够的。在图像不表示来自不同水平对齐位置而是例如来自垂直对齐或对角对齐方位的相同场景的实施例中，可能需要区别地界定搜索范围。
视差估计器720可以例如如下来确定在右图像中的哪个块与在左图像中的源块对应。视差估计器720可以形成SAD图像，在SAD图像中，每个值表示在源块中的像素值与在处于评估下的块(即，在这个示例中在右图像中的块)中的对应像素值的绝对差。可以针对不同的视差值定义不同的SAD图像。图9a说明了原始左图像的一部分的示例，以及图9b说明了原始右图像的示例的一部分。出于清楚，图像的大小是5x5，但是在实际实现方式中，大小可以是不同的。图9c说明了基于原始左图像和具有等于0的视差的右图像的像素值计算的SAD图像，即在左图像和右图像两者中的相同位置中的像素值之间来计算绝对差的值。这可以被表示为方程式AD(x,y)＝abs(L(x,y)-R(x,y))，其中L(x,y)表示在位置x，y处的左图像中的像素值，以及L(x,y)表示在位置x，y处的右图像中的像素值。图9d说明了基于原始左图像和具有等于1的视差的右图像的像素值计算的SAD图像，即在水平方向中移动1的像素值之间来计算绝对差的值。这可以被表示为方程式AD(x,y)＝abs(L(x,y)-R(x+1,y))。可以相应地获得在视差范围内的其它SAD图像。
SAD图像可以用于例如如下来计算积分SAD图像900(也称为面积求和表，SAT)。假设的是，从SAD图像的左上角到右下角来执行该计算，但是也可以使用另外的方向。
在积分SAD图像中的最上面的行中的最左面的元素接收在SAD图像的最上面的行中的最左面的元素的绝对差值。在最上面的行中的下一个值获得最左面面元素和下一个元素的值的和，第三元素获得该图像的第一元素、第二元素和第三元素的绝对差值的和，等等。也就是说，如果在SAD图像中的某一像素的绝对差值(在绝对差值表的和中的元素)被描绘为a(i，j)，其中i是行索引，以及j是列索引，以及在SAD图像中的对应值被描绘为s(i，j)，则应用以下方程式：
s ( 0 , j ) = &Sigma; k = 0 j a ( 0 , k ) - - - ( 2 ) ,
一般地，能够通过以下方程式来获得SAD图像的元素的值：
s ( i , j ) = &Sigma; k = 0 j &Sigma; m = 0 i a ( m , k ) - - - ( 3 ) ,
也就是说，值s(i，j)与由i和j界定的SAD图像的区域中的值的和对应。
图9e说明了图9c(即，具有等于0的视差)的SAD图像的积分SAD图像，以及图9f说明了图9d(即，具有等于1的视差)的SAD图像的积分SAD图像。
能够针对在搜索范围中的每个像素来使用积分SAD图像900，以找出提供绝对差的最小和的视差值。在以下中，参照图9g和图9h来提供确定SAD值的示例。假设的是，搜索窗口是3x3像素，以及在左图像的中央中的像素处于检查中(在图像9g和9h中使用参考920来标记)。也就是说，在这个示例中，像素的坐标值是x＝2，y＝2。使用图9g和图9h中的方框922来说明针对特定像素920的搜索。于是例如如下，能够基于在积分SAD图像中的四个元素的值来计算针对该像素的SAD值。第一值可以被认为是在该搜索窗口的右下角的元素924的值；第二值可以被认为是对角邻近于该搜索窗口的左上角的元素926的值；第三值可以被认为是在与第一值相同列中以及在与第二值相同行中的元素928的值；以及第四值可以被认为是在与第一值相同行中以及在与第二值相同列中的元素930的值。以第一值924和第二值926被求和以及第三值928和第四值930被减去的方式将这四个值组合。这可以被表示成如下方程式：
SAD(x,y)＝s(x+r,y+r)+s(x-r,y-r)-s(x-r,y+r)-s(x+r,y-r)，其中r是搜索窗口的大小。
在图9g(视差＝0)中描绘的积分SAD图像的示例给出SAD＝37，以及当这个值被搜索窗口中的像素的数量(在这个示例中9)相除时，结果是4.111。因此，在图9h中描绘的积分SAD图像的示例(视差＝0)给出SAD＝2，以及当这个值被该搜索窗口中的像素的数量相除时，结果是0.222。基于这两个示例，能够选择视差＝1，因为它提供较小的SAD值。
可以针对在视差范围中的每个视差值重复以上过程。例如，针对在图9a和图9b的图像的第三行(3，2)上的第四像素的视差值的评估将导致以下SAD值：针对视差＝0，SAD＝117/9＝13。针对视差＝1，可能需要不同的搜索窗口大小，因为积分SAD图像的右边不含有任何有效值。如果使用搜索窗口大小1x3，则SAD＝2/3。因此，还是针对像素(3，2)，能够选择视差值1。
如上所述，当评估针对接近帧(或图片)的边的像素的视差时，可能需要使用较小大小的搜索窗口。
在一些实施例中，如在图9g和图9h的示例中，搜索窗口是对称的，以及具有奇数的列和行，但是在一些其他实施例中，搜索窗口可以不是对称的，以及/或可以包括偶数的列和/或行。
针对像素获得的视差值可以被存储为视差图。
在一些实施例中，可能已经定义了阈值以减少对应块的错误检测的可能性。例如，可以将该阈值与绝对差的最小和进行比较，以及如果该值超过该阈值，则视差估计器720可以确定的是，产生绝对差的最小和的块可能不是正确的块。在此类情况下，于是可以推断的是，在右图像中，搜索块不具有对应块，即在右图像中该块被遮挡，或该块在左图像的边的附近。
可以重复上述操作，直到已经检查了在左图像中的所有像素，或直到已经检查了左图像的预定区域。应当理解的是，可以针对源块以滑动窗口方式来重复上述操作，以及针对下一次迭代的源块可以与前一次迭代的源块部分地重叠，即针对视差匹配的上述操作的每次迭代，可以使源块的位置水平地移动一个像素。
在一些实施例中，可以使用右图像作为源图像以及左图像作为参考图像来产生另一个视差图，即首先进行右至左搜索。这些视差图还可以被称为左视差图和右视差图。
在产生左视差图和右视差图期间或之后，还可以确定置信图。它可以使用绝对差的和的信息以确定对应块的确定的可靠度是多少(例如，绝对差的最小和越小，则检测越可靠)。置信图的确定还可以使用两个视差图，以及找出哪些像素具有一对一对应性，以及哪些像素不具有一对一对应性。在这个上下文中，术语一对一对应性意味着，针对在左图像中以及在右图像中的一对像素，针对该对像素而言，两个视差图指示的是，这些像素彼此对应。如果在其中一个图像中存在不具有一对一对称性的像素，则这可以指示的是，在另一个图像中，此类像素不具有对应块(即，在另一个图像中，该像素可能属于遮挡区域)，或由于一些原因，不能从另一个图像找到对应像素。
还可以通过使用由两个视差图提供的信息和/或使用由置信图提供的信息来形成遮挡图。
当已经获得了视差图、置信图和遮挡图时，可以针对视差图和置信图应用空间过滤(框120)。在一些实施例中，空间过滤包含:旨在移除视差估计中的异常值的非线性空间过滤。这可以允许降低在初始估计视差直方图中的异常值的数量。这个步骤还提供针对进一步直方图阈值化的更稳定的行为，使得该算法几乎不依赖内容。
应当选择空间滤波器以提供鲁棒性。例如，2D中间值过滤可以结合某一窗口大小(例如，5x5窗口大小)来使用。更全面的过滤，诸如双边过滤也是可行的。
在对视差图和置信图进行过滤后，可以使用例如左至右对应性来重新计算遮挡图。
可以在对在估计的视差图中的异常值进行丢弃中，使用选择置信/非置信对应性估计。可以根据峰值比率和遮挡图的组合来计算置信度，其中被遮挡的区域可以具有零置信度，以及取决于它们的峰值比率属性，其它区域的置信度可以从例如零到一而变化。
当已经更新了置信图时，可以计算来自置信匹配像素的视差直方图。
可以通过视差图和置信图两者的空间过滤来估计在估计的视差图中的可能的异常值。因为在以上过程中已经改变了两个视差图(左和右)，因此可能需要重新计算遮挡图。因此，过滤的置信图可以再次与更新的遮挡图进行组合以形成最后的置信图。
为了确定在视差图中的哪些元素能够被认为是可信的，可以定义置信值，其中在置信图中的超过该阈值的置信值可以被认为是不可信的。在一些实施例中，置信阈值被选择等于0.1，尽管可以取决于特定应用来调整该值。
可以基于在视差图中的可信匹配像素来计算视差直方图。可以针对视差直方图来使用阈值化过程，以便获得视差限制估计(框122)。例如，在直方图中具有低出现频率的视差值被丢弃，其中相对于预定义的阈值或自适应计算的阈值来做出关于低出现频率的判决。该阈值可以被计算为直方图中的内点(inliers)的总数的一部分，例如内点数量的0.2。在阈值化后，最大视差值和最小视差值，可以被假定为所寻求的视差范围限制。这个过程可以包含：使用“保护”间隔，如果需要的话，其被添加到所找到的最大视差限制和从所找到的最小视差限制被减去。在本发明的一些实施例中，可以使用单个固定阈值，而不管图像的内容。
于是可以由下采样比率因子来补偿所找到的视差限制。
上述过程提供找到针对图像的视差限制的方式。这些视差限制于是能够用于使用所找到的视差限制来针对全分辨率立体帧来应用视差/深度估计算法。例如，针对立体匹配或针对全分辨率的视差/深度估计的视差搜索范围能够被设置以覆盖最小找到的视差至最大找到的视差的范围。于是可以在例如立体图像/视频压缩中使用所估计的视差/深度图，或所估计的视差/深度图被保存以用于随后使用。
可以重复上述过程，直到新的图像出现或停止处理(框124)。
本发明的许多实施例提供相对准确的视差范围估计，以及能够应用于几乎任何立体视频内容，而不要求改变/参数优化。
可以以逐帧的方式来处理图像对(诸如立体视频)的输入序列，允许流式传输类型的应用。
深度视图指的是视图，该视图表示从相机传感器到纹理样本的距离信息，在纹理样本和在另一个视图中的各自的纹理样本之间的视差或视差异信息，或类似的信息。深度视图典型地包括：具有一个成分的深度图片(也称深度图)，类似于纹理视图的亮度成分。深度图是具有每个像素深度信息或类似信息的图像。例如，在深度图中的每个样本表示从相机所位于的平面到各自纹理样本或多个样本的距离。也就是说，如果z轴是沿着相机的拍摄轴(以及因此垂直于相机所位于的平面)，在深度图中的样本表示在z轴上的值。深度图的值的语义可以例如包含以下：
1.在编码的深度视图成分中的每个亮度样本值表示真实世界距离(Z)值的倒数，即1/Z，1/Z在亮度样本的动态范围中被正规化诸如到针对8比特亮度表示的0至255(包含)的范围。
2.在编码的深度视图成分中的每个亮度样本值表示真实世界距离(Z)值的倒数，即1/Z，使用映射函数f(1/Z)或表(诸如逐段线性映射)将其映射到亮度样本的动态范围，诸如映射到针对8比特亮度表示的0至255(包含)的范围。也就是说，深度图的值导致应用函数f(1/Z)。
3.在编码的深度视图成分中的每个亮度样本值表示真实世界距离(Z)值，该真实世界距离(Z)值在亮度样本的动态范围中被正规化诸如到针对8比特亮度表示的0到255(包含)的范围。
4.在编码的深度视图成分中的每个亮度样本值表示从当前深度视图到另一个指示的或导出的深度视图或视图方位的视差或视差异值。
虽然诸如深度视图、深度视图成分、深度图片和深度图的短语用于描述各种实施例，但是将理解的是，可以在包含但不限于上述那些实施例的各种实施例中使用深度图的值的任何语义。例如，可以针对样本值指示视差值的深度图片来应用本发明的实施例。
在一些实施例中，基于所找到的视差限制来选择深度图的样本值的动态范围。例如，如果在整数值方面，所找到的最小视差限制被表示为a以及所找到的最大视差限制是b，以及深度估计算法在四分之一像素精度或分辨率上操作，则可以在深度估计过程中生成c＝(b-a)x 4+1的不同视差值。因此，t到t+c(包含)的动态范围可以在所创建的深度图中使用，其中可以以t>＝0并且t+c<＝编码系统中的最大亮度样本值(例如，针对8比特亮度表示的255)的方式来选择t。在一些实施例中，编码器可以编码一个或多个指示以例如在视频参数集结构中、在序列参数集结构(如补偿增强信息消息)中或在任何其他语法结构中在视频流中指定深度图的值的动态范围的t和/或c的值或类似值。
创建或修改包含编码的深度图的比特流的编码系统或任何其他实体可以创建和包含关于深度样本的语义以及关于在比特流中的深度样本的量化方案的信息。关于深度样本的语义以及关于深度样本的量化方案的此类信息可以例如被包含在视频参数集结构中，在序列参数集结构中，在补充增强信息消息或视频流的任何其他语法结构中。
在一些实施例中，所找到的视差限制可以对应于在深度估计过程中创建的深度图的最小值(例如，零)和最大值(例如，针对8比特表示的255)。此外，创建或修改比特流的编码系统或任何其他实体可以在视频比特流内指示深度图量化级别(在编码之前)。例如，可以在比特流中指示量化步长的分子(nominator)和分母(denominator)，以及预定义的取整规则或通过信号传送的取整规则可以应用于基于分子和分母导出的非整数量化级别，以获得整数量化级别。可以由编码器侧基于视差限制来确定深度图的值的量化步长和/或量化级别。
在许多实施例中，视差图可以在编码和/或解码多媒体或其他视频流中(例如在形成预测信息中)使用。还可以在再利用、虚拟视图合成、3D扫描、对象检测和识别、在真实场景中嵌入虚拟对象等中实现本发明的许多实施例。
以下更详细地描述用于实现一些实施例的合适的装置和可能的机制。在这点上，首先参照图10，图10示出了示例装置或电子设备50的简化框图，该示例装置或电子设备50可以并入根据一些实施例的图像处理装置。
电子设备50可以是例如无线通信系统的移动终端或用户设备。然而，将理解的是，可以在可以要求视差确定和立体或多视角图像处理的任何电子设备或装置内实现这些实施例。
如图11中公开的，装置50可以包括：用于容纳和保护该设备的壳体30。装置50还可以包括例如以液晶显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器形式的显示器32。在其它实施例中，显示器可以是适合于显示信息的任何合适的显示器技术。装置50还可以包括小键盘34，可以通过使用键或通过使用电子设备的触摸屏来实现小键盘34。在其它实施例中，可以使用任何合适的数据或用户接口机构。例如，用户接口可以被实现成作为触摸敏感显示器的一部分的虚拟键盘或数据输入系统。该装置可以包括麦克风36或任何合适的音频输入器，该音频输入器可以是数字或模拟信号输入器。装置50还可以包括音频输出设备，在本发明的实施例中，所述音频输出设备可以是以下中的任何一个：耳机38、扬声器、或模拟音频或数字音频输出连接件。装置50还可包括电池(未示出)(或者在本发明的其它实施例中，可以由任何合适的移动能量设备，诸如太阳能电池、燃料电池或发条发电机，向该设备提供电力)。该装置还可以包括相机42，其能够记录或捕获图像和/或视频。在一些实施例中，装置50还可以包括任何合适的短距通信解决方案，诸如例如蓝牙无线连接或USB/火线有线连接或用于短距视线光连接的红外线端口。
装置50可以包括用于控制装置50的控制器56或处理器。控制器56可以连接到存储器58，在实施例中，存储器58可以存储数据并且/或还可以存储用于在控制器56上实现的指令。控制器56还可以连接到编解码电路54，该编解码电路54适用于执行对音频和/或视频数据的编码和解码或帮助由控制器56执行的编码和解码。
装置50还可以包括卡阅读器48和智能卡46，例如UICC和UICC阅读器以用于提供用户信息并且适用于提供用于在网络上对用户进行认证和授权的认证信息。
装置50可以包括：一个或多个无线电接口电路52，其连接到控制器并且适用于生成例如用于与蜂窝通信网络、无线通信系统或无线局域网和/或与使用例如蓝牙TM技术的设备进行通信的无线通信信号。装置50还可以包括：天线44，其连接到无线电接口电路52以用于将在无线电接口电路52处生成的射频信号传送给其它装置(多个)以及用于接收来自其它装置(多个)的射频信号。
在一些实施例中，装置50包括：相机，其能够记录或检测个体帧，该个体帧然后被运送给用于处理的编解码器54或控制器。在本发明的其它实施例中，该装置可以在传输和/或存储之前接收来自另一个设备的用于处理的视频图像数据。在其它实施例中，装置50可以无线地或通过有线连接接收用于编码/解码的图像。
关于图12，示出了系统的示例，在该系统内能够使用实施例。系统10包括：多个通信设备，它们能够通过一个或多个网络进行通信。系统10可以包括有线网络或无线网络的任何组合，有线网络或无线网络包括但不限于：无线蜂窝电话网络(诸如GSM、UMTS、CDMA网络等)，无线局域网(WLAN)，诸如由IEEE 802.x标准中的任何标准定义的WLAN，蓝牙个域网，以太网局域网，令牌环局域网，广域网以及互联网。
系统10可以包含：适用于实现本发明的实施例的有线和无线通信设备或装置50。
例如，在图12中示出的系统示出了移动电话网络11和互联网28的表示。至互联网28的连通性可以包含但不限于：长距无线连接，短距无线连接，以及各种有线连接，有线连接包括但不限于电话线，电缆线，电力线，和类似的通信路径。
在系统10中示出的示例性通信设备可以包含但不限于：电子设备或装置50，个人数字助理(PDA)和移动电话的组合14，PDA 16，集成的消息发送设备(IMD)18，桌面计算机20，笔记本计算机22。装置50可以是固定的或当由移动中的个体携带时是移动的。装置50还可以位于任何模式的交通工具中，交通工具包含但不限于汽车、卡车、出租车、公交车、火车、船、飞机、自行车、摩托车或任何类似的合适模式的交通工具。
一些或其它装置可以发送和接收呼叫和消息，并且通过至基站24的无线连接25与服务提供者通信。基站24可以连接到网络服务器26，其允许移动电话网络11和互联网28之间的通信。系统可以包含附加的通信设备和各种类型的通信设备。
通信设备可以使用各种传输技术来通信，各种传输技术包括但不限于：码分多址接入(CDMA)，全球移动通信系统(GSM)，通用移动通信系统(UMTS)，时分多址接入(TDMA)，频分多址接入(FDMA)，传输控制协议-互联网协议(TCP-IP)，短消息服务(SMS)，多媒体消息服务(MMS)，电子邮件，即时消息服务(IMS)，蓝牙，IEEE 802.11和任何类似的无线通信技术。在实现本发明的各种实施例中涉及的通信设备可以使用各种介质进行通信，各种介质包含但不限于：无线电，红外线，激光，电缆连接，和任何合适的连接。
尽管以上示例描述了在电子设备内的编解码器内操作的本发明的实施例，但是将了解的是，如下描述的本发明的实施例可以被实现成任何视频编解码器的一部分。因此，例如，本发明的实施例可以在视频编解码器中实现，该视频编解码器可以实现在固定或有线通信路径上的视频编码。
因此，用户设备可以包括：用于图像处理的构件，诸如以上在本发明的实施例中描述的那些视频编解码器。应当了解的是，术语用户设备旨在涵盖任何合适类型的用户设备，诸如移动电话、便携式数据处理设备或便携式网络浏览器、TV、用于计算机的监视器、相机、电子游戏机等。
此外，公共陆地移动网络(PLMN)的元素也可以包括如上所述的视频编解码器。
一般地，可以将本发明的各种实施例实现成硬件或专用电路、软件、逻辑和它们的任何组合。例如，一些方面可以被实现在硬件中，而其它方面可以被实现在固件或软件中，该固件或软件可以由控制器、微处理器或其它计算设备来运行，尽管本发明不限制于此。虽然本发明的各种方面被说明和描述成框图、流程图或使用一些其它图形表示，但是很好理解的是，本文中所述的这些框、装置、系统、技术或方法可以被实现在，作为非限制性示例，硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备或其一些组合中。
可以由移动设备的数据处理器(诸如在处理器实体中)可执行的计算机软件，或由硬件，或由软件和硬件的组合来实现本发明的实施例。此外，就这点而言，应当注意的是，如在附图中的逻辑流的任何框可以表示程序步骤，或互连的逻辑电路，块和功能，或程序步骤和逻辑电路、块和功能的组合。可以将软件存储在此类物理介质上，诸如存储芯片，或实现在处理器内的存储块，磁介质，诸如硬盘或软盘，以及光介质，诸如例如DVD和其数据变型CD。
存储器可以具有适合于本地技术环境的任何类型，并且可以使用任何合适的数据存储技术来实现，诸如基于半导体的存储设备，磁存储设备和系统，光存储设备和系统，固定存储器和可移动存储器。数据处理器可以具有适合于本地技术环境的任何类型，并且可以包含作为非限制性示例的下列中的一个或多个：通用计算机、专用计算机、微处理器、数字信号处理器(DSP)和基于多核处理器架构的处理器。
可以在各种组件中，诸如在集成电路模块中，实践本发明的实施例。一般而言，集成电路的设计基本上是高度自动化的过程。复杂和功能强大的软件工具可用于将逻辑级的设计转换成准备将要被蚀刻和形成在半导体衬底上的半导体电路设计。
程序，诸如由加利福尼亚的山景城的新思科技(Synopsys,Inc.ofMountain View,California)和加利福尼亚的圣何塞的凯登斯设计(Cadence Design,of San Jose,California)所提供的那些程序，使用良好建立的设计规则以及预存储的设计模块的库在半导体芯片上自动化路由导体和定位组件。一旦已经完成了针对半导体电路的设计，则所生成的设计可以以标准化电子形式(例如，Opus，GDSII等)传送给半导体制造厂或用于制造的简写的“fab”。
上述描述已经通过示例性和非限制性的示例提供了本发明示例性实施例的全面和教示性的描述。然而，当结合附图和所附权利要求书阅读时，鉴于上述描述，对于相关领域的技术人员来说，各种修改和适应是明显的。然而，本发明的教示中的所有此类或类似的修改仍然将落入本发明的范围内。
在以下，将提供一些示例。
根据第一示例，提供了一种方法，所述方法包括：
将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中，
过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图，其中像素位置的所述过滤使用所述像素位置的空间邻域，以及
通过所述过滤的视差图像和所述置信图来估计所述图像对的视差分布。
在一些实施例中，所述方法还包括：基于视差直方图来估计所述视差分布。
在一些实施例中，所述方法还包括：基于估计的视差分布阈值来估计至少一个视差限制。
在一些实施例中，所述方法还包括：在深度估计中使用所述至少一个视差限制。
在一些实施例中，所述方法还包括：控制所述方法的计算复杂度。
在所述方法的一些实施例中，控制所述计算复杂度包括：界定复杂度限制。
在一些实施例中，所述方法还包括：通过调节至少下采样比率来控制所述计算复杂度。
在一些实施例中，所述方法还包括：根据一个或多个输入参数通过应用线性计算复杂度视差估计来控制所述计算复杂度，以及确定所述一个或多个输入参数的值。
在所述方法的一些实施例中，所述一个或多个输入参数是图像大小、窗口大小和/或先验能够获得的视差范围。
在一些实施例中，所述方法还包括：在视频编码中使用所述至少一个视差限制。
在一些实施例中，所述方法还包括：
基于所述至少一个视差限制，编码在深度或视差图片中样本值范围的至少一个指示。
在一些实施例中，所述方法还包括：
基于所述至少一个视差限制，编码在深度或视差图片中样本值量化级别或样本值量化步长的至少一个指示。
根据第二示例，提供了一种装置，所述装置包括至少一个处理器和包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置执行至少以下：
将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中，
过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图，其中像素位置的所述过滤使用所述像素位置的空间邻域，以及
通过所述过滤的视差图像和所述置信图来估计所述图像对的视差分布。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由至少一个处理器执行所述代码时，所述代码还使得所述装置基于视差直方图来估计所述视差分布。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由至少一个处理器执行所述代码时，所述代码还使得所述装置基于估计的视差分布阈值来估计至少一个视差限制。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由至少一个处理器执行所述代码时，所述代码还使得所述装置在深度估计中使用所述至少一个视差限制。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由至少一个处理器执行所述代码时，所述代码还使得所述装置控制方法的计算复杂度。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由至少一个处理器执行所述代码时，所述代码还使得所述装置界定复杂度限制。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由至少一个处理器执行所述代码时，所述代码还使得所述装置调节至少下采样比率。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由至少一个处理器执行所述代码时，所述代码还使得所述装置：
根据一个或多个输入参数通过应用线性计算复杂度视差估计来控制所述计算复杂度，以及
确定所述一个或多个输入参数的值。
在所述装置的一些实施例中，所述一个或多个输入参数是图像大小、窗口大小和/或先验能够获得的视差范围。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由至少一个处理器执行所述代码时，所述代码还使得所述装置在视频编码中使用所述至少一个视差限制。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由至少一个处理器执行所述代码时，所述代码还使得所述装置基于所述至少一个视差限制，编码在深度或视差图片中样本值范围的至少一个指示。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由至少一个处理器执行所述代码时，所述代码还使得所述装置基于所述至少一个视差限制，编码在深度或视差图片中样本值量化级别或样本值量化步长的至少一个指示。
在一些实施例中，所述装置包括通信设备，所述通信设备包括：
用户接口电路和用户接口软件，它们被配置为促进用户通过使用显示器来控制所述通信设备的至少一个功能以及还被配置为响应于用户输入；以及
显示电路，其被配置为显示所述通信设备的用户接口的至少一部分，所述显示器和显示电路被配置为促进所述用户控制所述通信设备的至少一个功能。
在一些实施例中，所述通信设备包括移动电话。
根据第三示例，提供了一种计算机程序，所述计算机程序包含一个或多个指令的一个或多个序列，其中当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置执行至少以下：
将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中，
过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图，其中像素位置的所述过滤使用所述像素位置的空间邻域，以及
通过所述过滤的视差图像和所述置信图来估计所述图像对的视差分布。
在一些实施例中，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：基于视差直方图来估计所述视差分布。
在一些实施例中，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：基于估计的视差分布阈值来估计至少一个视差限制。
在一些实施例中，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：在深度估计中使用所述至少一个视差限制。
在一些实施例中，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：控制方法的计算复杂度。
在一些实施例中，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：界定复杂度限制。
在一些实施例中，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：调节至少下采样比率。
在一些实施例中，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：
根据一个或多个输入参数通过应用线性计算复杂度视差估计来控制所述计算复杂度，以及
确定所述一个或多个输入参数的值。
在所述计算机程序的一些实施例中，所述一个或多个输入参数是图像大小、窗口大小和/或先验能够获得的视差范围。
在一些实施例中，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：在视频编码中使用所述至少一个视差限制。
在一些实施例中，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：基于所述至少一个视差限制，编码在深度或视差图片中样本值范围的至少一个指示。
在一些实施例中，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：基于所述至少一个视差限制，编码在深度或视差图片中样本值量化级别或样本值量化步长的至少一个指示。
在一些实施例中，所述计算机程序被包括在计算机可读存储器中。
在一些实施例中，所述计算机可读存储器包括非短暂性的计算机可读存储介质。
根据第四示例，提供了一种装置，所述装置包括：
下采样器，其适用于将图像对下采样为一对较低分辨率的第一图像和第二图像，
视差估计器，其适用于估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
置信度估计器，其适用于估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中，
滤波器，其适用于过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图，其中像素位置的所述过滤使用所述像素位置的空间邻域，以及
视差分布估计器，其适用于通过所述过滤的视差图像和所述置信图来估计所述图像对的视差分布。
根据第五示例，提供了一种装置，所述装置包括：
用于将图像对下采样为一对较低分辨率的第一图像和第二图像的构件，
用于估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中的构件，
用于估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中的构件，
用于过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图的构件，其中像素位置的所述过滤使用所述像素位置的空间邻域，以及
用于通过所述过滤的视差图像和所述置信图来估计所述图像对的视差分布的构件。
在一些实施例中，所述装置还包括：用于基于视差直方图来估计所述视差分布的构件。

Claims (43)

1.一种方法，包括：
将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中，
过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图，其中所述过滤使用将被过滤的像素的像素位置的空间邻域，以及
通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布。
2.根据权利要求1所述的方法，所述方法还包括：基于视差直方图来估计所述视差分布。
3.根据权利要求1或2所述的方法，所述方法还包括：基于估计的视差分布阈值来估计至少一个视差限制。
4.根据权利要求3所述的方法，所述方法还包括：在深度估计中使用所述至少一个视差限制。
5.根据权利要求1至4中的任何一项所述的方法，所述方法还包括：控制所述方法的计算复杂度。
6.根据权利要求5所述的方法，控制所述计算复杂度包括：界定复杂度限制。
7.根据权利要求6所述的方法，所述方法还包括：通过调节至少下采样比率来控制所述计算复杂度。
8.根据权利要求6或7所述的方法，所述方法还包括：根据一个或多个输入参数通过应用线性计算复杂度视差估计来控制所述计算复杂度，以及确定所述一个或多个输入参数的值。
9.根据权利要求5所述的方法，其中所述一个或多个输入参数是图像大小、窗口大小和/或先验能够获得的视差范围。
10.根据权利要求3所述的方法，所述方法还包括：在视频编码中使用所述至少一个视差限制。
11.根据权利要求10所述的方法，所述方法还包括：
基于所述至少一个视差限制，编码在深度或视差图片中样本值范围的至少一个指示。
12.根据权利要求10或11所述的方法，所述方法还包括：
基于所述至少一个视差限制，编码在深度或视差图片中样本值量化级别或样本值量化步长的至少一个指示。
13.一种装置，所述装置包括至少一个处理器和包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置执行至少以下：
将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中，
过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图，其中所述过滤使用将被过滤的像素的像素位置的空间邻域，以及
通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布。
14.根据权利要求13所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器执行所述代码时，所述代码还使得所述装置：基于视差直方图来估计所述视差分布。
15.根据权利要求13或14所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器执行所述代码时，所述代码还使得所述装置：基于估计的视差分布阈值来估计至少一个视差限制。
16.根据权利要求15所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器执行所述代码时，所述代码还使得所述装置：在深度估计中使用所述至少一个视差限制。
17.根据权利要求13至16中的任何一项所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器执行所述代码时，所述代码还使得所述装置：控制方法的计算复杂度。
18.根据权利要求17所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器执行所述代码时，所述代码还使得所述装置：界定复杂度限制。
19.根据权利要求18所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器执行所述代码时，所述代码还使得所述装置：调节至少下采样比率。
20.根据权利要求18或19所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器执行所述代码时，所述代码还使得所述装置：
根据一个或多个输入参数通过应用线性计算复杂度视差估计来控制所述计算复杂度，以及
确定所述一个或多个输入参数的值。
21.根据权利要求17所述的装置，其中所述一个或多个输入参数是图像大小、窗口大小和/或先验能够获得的视差范围。
22.根据权利要求15所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器执行所述代码时，所述代码还使得所述装置：在视频编码中使用所述至少一个视差限制。
23.根据权利要求22所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器执行所述代码时，所述代码还使得所述装置：基于所述至少一个视差限制，编码在深度或视差图片中样本值范围的至少一个指示。
24.根据权利要求22或23所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器执行所述代码时，所述代码还使得所述装置：基于所述至少一个视差限制，编码在深度或视差图片中样本值量化级别或样本值量化步长的至少一个指示。
25.根据权利要求13至24中的任何一项所述的装置，所述装置包括通信设备，所述通信设备包括：
用户接口电路和用户接口软件，其被配置为促进用户通过使用显示器来控制所述通信设备的至少一个功能以及还被配置为响应于用户输入；以及
显示电路，其被配置为显示所述通信设备的用户接口的至少一部分，所述显示器和显示电路被配置为促进所述用户控制所述通信设备的至少一个功能。
26.根据权利要求25所述的装置，所述通信设备包括移动电话。
27.一种计算机程序，所述计算机程序包含一个或多个指令的一个或多个序列，其中当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置执行至少以下：
将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中，
过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图，其中所述过滤使用将被过滤的像素的像素位置的空间邻域，以及
通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布。
28.根据权利要求27所述的计算机程序，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：基于视差直方图来估计所述视差分布。
29.根据权利要求27或28所述的计算机程序，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：基于估计的视差分布阈值来估计至少一个视差限制。
30.根据权利要求29所述的计算机程序，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：在深度估计中使用所述至少一个视差限制。
31.根据权利要求27至30中的任何一项所述的计算机程序，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：控制方法的计算复杂度。
32.根据权利要求31所述的计算机程序，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：界定复杂度限制。
33.根据权利要求32所述的计算机程序，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：调节至少下采样比率。
34.根据权利要求32或33所述的计算机程序，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：
根据一个或多个输入参数通过应用线性计算复杂度视差估计来控制所述计算复杂度，以及
确定所述一个或多个输入参数的值。
35.根据权利要求31所述的计算机程序，其中所述一个或多个输入参数是图像大小、窗口大小和/或先验能够获得的视差范围。
36.根据权利要求29所述的计算机程序，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：在视频编码中使用所述至少一个视差限制。
37.根据权利要求36所述的计算机程序，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：基于所述至少一个视差限制，编码在深度或视差图片中样本值范围的至少一个指示。
38.根据权利要求36或27所述的计算机程序，所述计算机程序包括一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置：基于所述至少一个视差限制，编码在深度或视差图片中样本值量化级别或样本值量化步长的至少一个指示。
39.根据权利要求27至38中的任何一项所述的计算机程序，所述计算机程序被包括在计算机可读存储器中。
40.根据权利要求39所述的计算机程序，所述计算机可读存储器包括非短暂性的计算机可读存储介质。
41.一种装置，包括：
下采样器，其适用于将图像对下采样为一对较低分辨率的第一图像和第二图像，
视差估计器，其适用于估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
置信度估计器，其适用于估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中，
滤波器，其适用于过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图，其中所述过滤使用将被过滤的像素的像素位置的空间邻域，以及
视差分布估计器，其适用于通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布。
42.一种装置，所述装置包括：
用于将图像对下采样为一对较低分辨率的第一图像和第二图像的构件，
用于估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子集之间的视差，将该视差放入到视差图像中的构件，
用于估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置信度放入置信图中的构件，
用于过滤所述视差图像和所述置信图以获得过滤的视差图像和过滤的置信图的构件，其中所述过滤使用将被过滤的像素的像素位置的空间邻域，以及
用于通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布的构件。
43.一种装置，所述装置包括用于执行根据权利要求1至12中的任何一项的所述方法的构件。
CN201280075646.5A 2012-09-06 2012-09-06 用于图像处理的装置和方法 Active CN104662896B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2012/050861 WO2014037603A1 (en) 2012-09-06 2012-09-06 An apparatus, a method and a computer program for image processing

Publications (2)

Publication Number Publication Date
CN104662896A true CN104662896A (zh) 2015-05-27
CN104662896B CN104662896B (zh) 2017-11-28

Family

ID=49111022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280075646.5A Active CN104662896B (zh) 2012-09-06 2012-09-06 用于图像处理的装置和方法

Country Status (5)

Country Link
US (1) US20140063188A1 (zh)
EP (1) EP2706504A3 (zh)
JP (1) JP6158929B2 (zh)
CN (1) CN104662896B (zh)
WO (1) WO2014037603A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204522A (zh) * 2015-05-28 2016-12-07 奥多比公司 对单个图像的联合深度估计和语义标注
CN106228597A (zh) * 2016-08-31 2016-12-14 上海交通大学 一种基于深度分层的图像景深效果渲染方法
CN106686388A (zh) * 2015-11-05 2017-05-17 安讯士有限公司 用于控制数字图像的压缩程度的方法和装置
CN109087235A (zh) * 2017-05-25 2018-12-25 钰立微电子股份有限公司 图像处理器和相关的图像系统
CN109191506A (zh) * 2018-08-06 2019-01-11 深圳看到科技有限公司 深度图的处理方法、系统及计算机可读存储介质
CN109191512A (zh) * 2018-07-27 2019-01-11 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质
CN109325513A (zh) * 2018-08-01 2019-02-12 中国计量大学 一种基于海量单类单幅图像的图像分类网络训练方法
CN109643437A (zh) * 2016-08-23 2019-04-16 株式会社日立制作所 图像处理装置、立体照相机装置以及图像处理方法
CN109829875A (zh) * 2017-11-23 2019-05-31 三星电子株式会社 用于估计视差的方法和装置
CN110910438A (zh) * 2018-09-17 2020-03-24 中国科学院沈阳自动化研究所 一种超高分辨率双目图像的高速立体匹配算法
US11711491B2 (en) 2021-03-02 2023-07-25 Boe Technology Group Co., Ltd. Video image de-interlacing method and video image de-interlacing device

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
AU2013263760A1 (en) * 2013-11-28 2015-06-11 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel
US9536351B1 (en) * 2014-02-03 2017-01-03 Bentley Systems, Incorporated Third person view augmented reality
EP2916290A1 (en) 2014-03-07 2015-09-09 Thomson Licensing Method and apparatus for disparity estimation
JP6589313B2 (ja) * 2014-04-11 2019-10-16 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US9712807B2 (en) * 2014-09-08 2017-07-18 Intel Corporation Disparity determination for images from an array of disparate image sensors
US9674505B2 (en) * 2014-12-09 2017-06-06 Intel Corporation Disparity search range determination for images from an image sensor array
US9965861B2 (en) * 2014-12-29 2018-05-08 Intel Corporation Method and system of feature matching for multiple images
US10097805B2 (en) 2015-10-13 2018-10-09 Apple Inc. Multi-image color refinement with application to disparity estimation
US10554956B2 (en) * 2015-10-29 2020-02-04 Dell Products, Lp Depth masks for image segmentation for depth-based computational photography
US10404970B2 (en) 2015-11-16 2019-09-03 Intel Corporation Disparity search range compression
KR101763376B1 (ko) 2016-03-11 2017-07-31 광주과학기술원 신뢰 기반 재귀적 깊이 영상 필터링 방법
JP2018018425A (ja) * 2016-07-29 2018-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
JP6853928B2 (ja) * 2016-11-10 2021-04-07 株式会社金子製作所 三次元動画像表示処理装置、並びにプログラム
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map
KR102655086B1 (ko) * 2017-05-19 2024-04-08 모비디어스 리미티드 파이프라인 실행을 최적화하기 위한 방법들, 시스템들 및 장치
US10554957B2 (en) * 2017-06-04 2020-02-04 Google Llc Learning-based matching for active stereo systems
KR102455632B1 (ko) * 2017-09-14 2022-10-17 삼성전자주식회사 스테레오 매칭 방법 및 장치
US10841558B2 (en) * 2017-11-17 2020-11-17 Omnivision Technologies, Inc. Aligning two images by matching their feature points
CN108734776B (zh) * 2018-05-23 2022-03-25 四川川大智胜软件股份有限公司 一种基于散斑的三维人脸重建方法及设备
US10878590B2 (en) * 2018-05-25 2020-12-29 Microsoft Technology Licensing, Llc Fusing disparity proposals in stereo matching
US10930054B2 (en) * 2019-06-18 2021-02-23 Intel Corporation Method and system of robust virtual view generation between camera views
WO2021059669A1 (ja) * 2019-09-25 2021-04-01 ソニー株式会社 情報処理装置、映像の生成方法及びプログラム
KR20210056540A (ko) * 2019-11-11 2021-05-20 삼성전자주식회사 디스패리티 이미지를 생성하는 알고리즘 갱신 방법 및 장치
US11488318B2 (en) * 2020-05-13 2022-11-01 Microsoft Technology Licensing, Llc Systems and methods for temporally consistent depth map generation
US11481914B2 (en) * 2020-05-13 2022-10-25 Microsoft Technology Licensing, Llc Systems and methods for low compute depth map generation
EP4199850A1 (en) * 2020-08-19 2023-06-28 Covidien LP Predicting stereoscopic video with confidence shading from a monocular endoscope
CN112633096A (zh) * 2020-12-14 2021-04-09 深圳云天励飞技术股份有限公司 客流的监测方法、装置、电子设备及存储介质
US20240031540A1 (en) * 2022-07-21 2024-01-25 Apple Inc. Foveated down sampling of image data
CN116701707B (zh) * 2023-08-08 2023-11-10 成都市青羊大数据有限责任公司 一种教育大数据管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000027131A2 (en) * 1998-10-30 2000-05-11 C3D Limited Improved methods and apparatus for 3-d imaging
CN102318352A (zh) * 2009-02-17 2012-01-11 皇家飞利浦电子股份有限公司 组合3d图像和图形数据
EP2466903A2 (en) * 2010-12-14 2012-06-20 Vestel Elektronik Sanayi ve Ticaret A.S. A method and device for disparity range detection

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07240943A (ja) * 1994-02-25 1995-09-12 Sanyo Electric Co Ltd ステレオ画像符号化方法
CN102232294B (zh) * 2008-12-01 2014-12-10 图象公司 用于呈现具有内容自适应信息的三维动态影像的方法和系统
JP5624053B2 (ja) * 2008-12-19 2014-11-12 コーニンクレッカ フィリップス エヌ ヴェ 画像からの深度マップの作成
CN102474638B (zh) * 2009-07-27 2015-07-01 皇家飞利浦电子股份有限公司 组合3d视频与辅助数据
WO2011080892A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 ステレオ画像符号化装置、方法
WO2011104151A1 (en) * 2010-02-26 2011-09-01 Thomson Licensing Confidence map, method for generating the same and method for refining a disparity map
WO2011107550A1 (en) * 2010-03-05 2011-09-09 Sony Corporation Disparity distribution estimation for 3d tv
KR20110124473A (ko) * 2010-05-11 2011-11-17 삼성전자주식회사 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
US20110280311A1 (en) * 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
US8970672B2 (en) * 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
US20120062548A1 (en) * 2010-09-14 2012-03-15 Sharp Laboratories Of America, Inc. Reducing viewing discomfort
WO2012084277A1 (en) * 2010-12-22 2012-06-28 Thomson Licensing Apparatus and method for determining a disparity estimate
GB2489202B (en) * 2011-03-11 2016-06-29 Snell Ltd Analysis of stereoscopic images
US9560334B2 (en) * 2011-09-08 2017-01-31 Qualcomm Incorporated Methods and apparatus for improved cropping of a stereoscopic image pair

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000027131A2 (en) * 1998-10-30 2000-05-11 C3D Limited Improved methods and apparatus for 3-d imaging
CN102318352A (zh) * 2009-02-17 2012-01-11 皇家飞利浦电子股份有限公司 组合3d图像和图形数据
EP2466903A2 (en) * 2010-12-14 2012-06-20 Vestel Elektronik Sanayi ve Ticaret A.S. A method and device for disparity range detection

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204522A (zh) * 2015-05-28 2016-12-07 奥多比公司 对单个图像的联合深度估计和语义标注
CN106204522B (zh) * 2015-05-28 2021-10-22 奥多比公司 对单个图像的联合深度估计和语义标注
CN106686388A (zh) * 2015-11-05 2017-05-17 安讯士有限公司 用于控制数字图像的压缩程度的方法和装置
TWI709916B (zh) * 2015-11-05 2020-11-11 瑞典商安訊士有限公司 用於控制數位影像之壓縮程度之方法和編碼器、電腦程式產品、及立體攝影機
CN109643437A (zh) * 2016-08-23 2019-04-16 株式会社日立制作所 图像处理装置、立体照相机装置以及图像处理方法
CN106228597A (zh) * 2016-08-31 2016-12-14 上海交通大学 一种基于深度分层的图像景深效果渲染方法
CN109087235A (zh) * 2017-05-25 2018-12-25 钰立微电子股份有限公司 图像处理器和相关的图像系统
CN109087235B (zh) * 2017-05-25 2023-09-15 钰立微电子股份有限公司 图像处理器和相关的图像系统
CN109829875B (zh) * 2017-11-23 2023-10-27 三星电子株式会社 用于估计视差的方法和装置
CN109829875A (zh) * 2017-11-23 2019-05-31 三星电子株式会社 用于估计视差的方法和装置
CN109191512B (zh) * 2018-07-27 2020-10-30 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质
US11295466B2 (en) 2018-07-27 2022-04-05 Shenzhen Sensetime Technology Co., Ltd. Method and apparatus for estimating depth of binocular image, device, program, and medium
CN109191512A (zh) * 2018-07-27 2019-01-11 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质
CN109325513B (zh) * 2018-08-01 2021-06-25 中国计量大学 一种基于海量单类单幅图像的图像分类网络训练方法
CN109325513A (zh) * 2018-08-01 2019-02-12 中国计量大学 一种基于海量单类单幅图像的图像分类网络训练方法
CN109191506B (zh) * 2018-08-06 2021-01-29 深圳看到科技有限公司 深度图的处理方法、系统及计算机可读存储介质
CN109191506A (zh) * 2018-08-06 2019-01-11 深圳看到科技有限公司 深度图的处理方法、系统及计算机可读存储介质
CN110910438A (zh) * 2018-09-17 2020-03-24 中国科学院沈阳自动化研究所 一种超高分辨率双目图像的高速立体匹配算法
CN110910438B (zh) * 2018-09-17 2022-03-22 中国科学院沈阳自动化研究所 一种超高分辨率双目图像的高速立体匹配算法
US11711491B2 (en) 2021-03-02 2023-07-25 Boe Technology Group Co., Ltd. Video image de-interlacing method and video image de-interlacing device

Also Published As

Publication number Publication date
JP2015536057A (ja) 2015-12-17
EP2706504A3 (en) 2017-10-18
EP2706504A2 (en) 2014-03-12
WO2014037603A1 (en) 2014-03-13
JP6158929B2 (ja) 2017-07-05
US20140063188A1 (en) 2014-03-06
CN104662896B (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
CN104662896B (zh) 用于图像处理的装置和方法
CN101682794B (zh) 用于处理深度相关信息的方法、装置和系统
US9031356B2 (en) Applying perceptually correct 3D film noise
KR20170140187A (ko) 깊이 정보를 이용한 완전 시차 압축 광 필드 합성을 위한 방법
US20140293028A1 (en) Multi view synthesis method and display devices with spatial and inter-view consistency
US20140146139A1 (en) Depth or disparity map upscaling
CN108886598A (zh) 全景立体视频系统的压缩方法和装置
Po et al. Automatic 2D-to-3D video conversion technique based on depth-from-motion and color segmentation
Stankiewicz et al. Multiview video: Acquisition, processing, compression, and virtual view rendering
US10616548B2 (en) Method and apparatus for processing video information
Köppel et al. Filling disocclusions in extrapolated virtual views using hybrid texture synthesis
US9787980B2 (en) Auxiliary information map upsampling
Knorr et al. From 2D-to stereo-to multi-view video
Ramachandran et al. Multiview synthesis from stereo views
KR20140113066A (ko) 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
Purica et al. View synthesis based on temporal prediction via warped motion vector fields
Ribera et al. Structured light-based high-accuracy depth imaging applied for DIBR in multiview 3DTV
Ko et al. Virtual view generation by a new hole filling algorithm
US10783609B2 (en) Method and apparatus for processing video information
Barenbrug et al. Robust image, depth, and occlusion generation from uncalibrated stereo
Limbachiya 2D to 3D video conversion
Cheng et al. Merging Static and Dynamic Depth Cues with Optical‐Flow Recovery for Creating Stereo Videos
Lin et al. 2D-to-3D Video Conversion: Techniques and Applications in 3D Video Communications
EP3267682A1 (en) Multiview video encoding
Adhikarla et al. View synthesis for lightfield displays using region based non-linear image warping

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210510

Address after: texas

Patentee after: Usao Investment Co.,Ltd.

Address before: Espoo, Finland

Patentee before: Nokia Technology Co.,Ltd.

TR01 Transfer of patent right