CN112771574B - 用于估计像素的深度的方法以及对应的设备 - Google Patents

用于估计像素的深度的方法以及对应的设备 Download PDF

Info

Publication number
CN112771574B
CN112771574B CN201980047547.8A CN201980047547A CN112771574B CN 112771574 B CN112771574 B CN 112771574B CN 201980047547 A CN201980047547 A CN 201980047547A CN 112771574 B CN112771574 B CN 112771574B
Authority
CN
China
Prior art keywords
depth
image
images
current pixel
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980047547.8A
Other languages
English (en)
Other versions
CN112771574A (zh
Inventor
F.巴邦
N.萨巴特
M.霍格
D.多延
G.博伊森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN112771574A publication Critical patent/CN112771574A/zh
Application granted granted Critical
Publication of CN112771574B publication Critical patent/CN112771574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

提出了一种用于估计光场内容的M个图像的矩阵中的像素的深度的方法。该方法包括至少针对在M个图像中取出的N个图像的一个集合的一种处理，2＜N≤M，该处理包括：‑确定N个图像的集合中的图像的深度图，以提供N个深度图的集合；以及‑对于N个图像的集合的当前图像中的至少一个当前像素：‑确定N个深度图的集合的深度图中与当前像素相关联的深度值所对应的候选深度是否与N个深度图的集合中的其他深度图一致；以及‑如果候选深度被确定为与N个深度图的集合中的其他深度图一致，则选择候选深度作为当前像素的估计深度。该处理被迭代地执行，处理的每一次新的迭代都以新的N值执行，新的N值低于处理的先前迭代中使用的先前的N值。

Description

用于估计像素的深度的方法以及对应的设备
技术领域
本公开一般涉及光场(LF)内容(例如LF图像或视频)领域。
更具体地，本公开涉及用于估计属于LF内容中的图像的像素的深度的方法。
在使用LF捕获的任何领域中，对于专业人员和消费者来说，本公开都是感兴趣的。
背景技术
LF内容包括以下两者之一：
-全景视频，也称为基于微透镜的视频，即在视频中，其中属于图像矩阵的图像是子孔径图像，所述子孔径图像是从使用主透镜系统之外的微透镜阵列的单个相机(例如全景相机)同时捕获的；或
-多视点视频，即在视频中，其中属于图像矩阵的图像是从多个相机角度同时捕获的，通常使用由多个相机组成的相机阵列(也称为相机组)。
LF内容中的像素的深度估计绝大部分时间减少到基于从两个不同视点捕获相同场景的至少两个视图的可用性、对属于通常用于确定这种深度的已知技术(例如匹配技术)的LF内容的每个视图的复制。
然而，基于使用两个不同视图的方法无法给出可靠的结果，例如在发生遮挡的特定情况下。实际上，在这种情况下，由给定视点捕获的场景的一部分可能没有被另一个视点捕获。在这种情况下，无法确定深度，或者通过此类已知算法返回异常值。
已经提出了一些提议，用于使用LF内容中最大数量的可用视点以便在深度估计中获得更可靠的结果(例如，当发生遮挡时)，如H.Zhu，Q.Wang和J.Yu在IEEE《信号处理精选主题期刊》第11卷第7期第965-978页，2017年10月的论文“光场中遮挡模型引导的抗遮挡深度估计”。然而，这种方法仍然可以被改进。
因此，需要一种方法，该方法利用与LF内容中的不同视点相关的信息来估计具有强制一致性的像素的深度，特别是在存在遮挡的情况下。
还需要有这样的方法，其允许估计的深度具有高质量。
发明内容
本公开涉及一种用于估计光场内容的M个图像的矩阵中的像素的深度的方法，其中M＞2。这种方法包括至少对于在所述M个图像中取出的N个图像的一个集合实施一种处理，2＜N≤M，所述处理包括：
-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及
-对于所述N个图像的集合的当前图像中的至少一个当前像素：
-确定与所述N个深度图的集合的深度图中的所述当前像素相关联的深度值对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及
-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。
所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。
本公开的另一方面是关于一种用于估计光场内容的M个图像的矩阵中的像素的深度的设备，其中M＞2。这种设备包括处理器或专用计算机器，所述处理器或所述专用计算机器被配置为至少对于在所述M个图像中取出的N个图像的一个集合执行一种处理，2＜N≤M，所述处理包括：
-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及
-对于所述N个图像的集合的当前图像中的至少一个当前像素：
-确定与所述N个深度图的集合的深度图中的所述当前像素相关联的深度值对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及
-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。
所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。
此外，本公开涉及一种非暂时性计算机可读介质，其包括记录在其上并且能够由处理器运行的计算机程序产品，所述计算机程序产品包括程序代码指令，所述程序代码指令包括用于实现先前所述的用于估计光场内容的M个图像的矩阵中的像素的深度的方法的程序代码指令。
附图说明
实施例的其他特征和优点将从以下描述和附图中显现，以下描述通过指示性和非穷尽性的示例给出，其中：
图1示出了根据一个实施例的LF内容的图像矩阵；
图2a和2b各自示出了根据一个实施例的多个图像(或角度块)的集合；
图3a和3b各自示出了根据一个实施例的多个像素空间块；
图4示出了根据一个实施例的用于估计图1的图像矩阵中的像素的深度的方法的流程图；
图5示出了根据一个实施例的对应于图1的图像矩阵中的不同图像的从一个视点到另一个视点的变化；以及
图6示出了可用于实现图4的方法的示例性设备。
具体实施方式
在本文件的所有附图中，相同的数字参考符号表示相似的元素和步骤。
现在，我们结合图1描述根据一个实施例的LF内容的图像矩阵100mi。
图像矩阵100mi包括由LF捕获系统同时(即在给定时刻)捕获的四个图像。在其它实施例中，图像矩阵包括由LF捕获系统同时捕获的大于两个的任意数量的图像。
回到图1，图像矩阵100mi中的每个图像对应同一场景的不同视图。从这个意义上说，图像和相应的视图之间是等价的。例如，这种LF捕获系统是相机阵列(或相机组)，并且每个图像由相机阵列的不同相机拍摄。在其它示例中，LF捕获系统是全景相机，并且属于图像矩阵的图像是子孔径图像。
在属于图像矩阵100mi的图像中，存在当前图像100ci和属于当前图像100ci的当前像素100cp。在下文中，我们假设尚未估计当前像素100cp的深度，以便以当前像素100cp作为示例，以详细说明根据下面结合图4讨论的本公开的用于估计像素深度的方法的步骤。
现在，我们结合图2a描述根据一个实施例的图像组200N的多个图像组200pN。
多个图像组200pN中的每组图像200N(也称为“角度块”)包括在图像矩阵100mi的4个图像中取出的3个不同的图像(以深灰色描绘)。
这样的图像组200N和这样的图像组200N的多个图像组200pN被用在下面结合图4讨论的根据本发明的用于估计像素深度的方法中。
在本实施例中，多个图像组200pN包括四个图像组200N。在其他实施例中，根据本公开的用于估计像素深度的方法依赖于包括不同于三个图像的图像组，并且多个图像组包括不同于四个的数量的图像组。例如，在图2b所示的实施例中，多个图像组200pN'的每组图像200N'包括在图像矩阵100mi的四个图像中取出的两个不同的图像(仍用深灰色表示)。多个图像组200pN'包括六个图像组200N’。
现在，我们结合图3a描述根据一个实施例的像素空间块300P的多个像素空间块300pP。
多个像素空间块300pP中的每个像素空间块300P包括在当前图像100ci中的当前像素100cp的邻域中取出的八个不同像素。空间邻域通常由奇数边长的正方形空间块组成，以所考虑的当前像素100cp为中心。
这种像素空间块300P的集合和这种像素空间块300P的多个像素空间块300pP被用在下面结合图4讨论的用于估计像素深度的方法的一些实施例中。
在本实施例中，多个像素空间块300pP包括四个像素空间块300P。在其他实施例中，根据本公开的用于估计像素深度的方法使用包括不同于八个的数量的像素的像素空间块，并且所述多个像素空间块包括不同于四个的数量的像素空间块。例如，在图3b所示的实施例中，多个像素空间块300pP'的每个像素空间块300P'包括在当前图像100ci中的当前像素100cp的邻域中取出的七个不同像素。多个像素空间块300pP’包括十四个像素空间块300P’。
我们现在结合图4描述根据一个实施例的用于估计图像矩阵100mi中像素的深度的方法的步骤。
用于估计图像矩阵100mi中像素的深度的方法至少包括：对于在图像矩阵100mi的M个图像中取出的并且包括当前图像100ci的N个图像的集合(在图1的实施例中，M＝4。然而，正如以上所讨论的，对于应用本方法，可以考虑大于2的M的任何值)，其中2<N≤M，处理包括以下步骤：
-在步骤S400中，确定所述N个图像的集合中的图像的深度图，以提供N个深度图的集合；以及
-对于当前图像100ci中深度尚未被估计的至少当前像素100cp：
-在步骤S410中，确定所述N个深度图的集合的深度图中与当前像素100cp相关联的深度值所对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及
-在步骤S420中，如果所述候选深度被确定为与所述N个深度图的集合中的其他深度图一致，则选择所述候选深度作为当前像素100cp的估计深度，
所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。
因此，当前像素100cp的深度的估计是基于每次迭代涉及不同图像集的迭代处理。因此，使用图像矩阵100mi中的所有可用信息，以便即使在存在遮挡的情况下也能实现可靠的深度估计。此外，对于处理的迭代，依次考虑包括图像数目减少的图像集。因此，第一次确定为一致的深度对应于基于LF内容中的最大数量的图像估计的深度。这允许结果中的更高的质量。
在其他实施例中，不仅对当前图像100ci中的当前像素100cp，而且对尚未估计深度的N个图像的集合中的每个图像的每个像素，执行步骤S410和步骤S420。
在其他实施例中，其中N<M，并且其中，N个图像的集合属于在当前图像100ci的M个图像中取出的多个N个图像的集合，对多个N个图像的集合中的每个N个图像的集合执行处理的每次迭代。因此，使用了不同视图中的所有可用信息，从而改进了深度估计。在一些实施例中，多个N个图像的集合包括在当前图像100ci的M个图像中取出的所有N个图像的集合。
回到图4，为了确定当前像素100cp的候选深度是否与其他深度图一致，步骤S410包括步骤S410a，在步骤S410a中确定当前像素100cp的候选深度与N个深度图的集合的其他深度图之间的几何一致性。视图之间的几何一致性标准允许确定一个深度值，该深度值对应于所考虑的所有视图的一致性重构三维场景。
这种几何一致性的推导通过图5所示的示例来说明。
LF捕获系统的四个相机中仅两个相机501，502捕获图像矩阵100mi，如图5所示。更具体地，相机501捕获与视图编号#c相对应的当前图像100ci，并且相机502捕获图像矩阵100mi中不同于当前图像100ci的另一图像。所考虑的另一个图像对应于视图编号#c’。
设为视图#c中当前像素100cp的坐标。根据关联到当前像素100cp的候选深度，设/>为参考坐标系(CS)中相应3D点510的坐标。其在对应于视图#c’的另一图像中的投影给出了坐标为/>的理论位置502tl。实际上，这种投影(例如基于相机501、502的针孔模型)导致可能与所考虑的另一图像的像素不完全重合的位置。通过对与视图编号#c’对应的另一图像的深度图进行插值，可以计算出坐标为/>对应的3D点520，并且把它投射回视图编号c#，在当前图像100ci中的坐标为/>的另一个理论位置501atl处结束。
当漂移矢量的范数低于预定阈值时，当前像素100cp的候选深度被确定为一致的，例如：
换句话说，在图4的实施例中，步骤S410a包括：
-步骤S410a1，其中确定N个图像的集合中不同于前图像100ci的另一图像中的理论位置502tl。理论位置对应于与当前像素100cp和候选深度相关联的对象点510在另一图像中的投影；
-步骤S410a2，其中基于与N个深度图的集合中的另一图像相关联的深度图，获得与理论位置502tl相关联的深度值；以及
-步骤S410a3，其中在当前图像100ci中，确定与理论位置502tl和深度值相关联的另一对象点520在当前图像100ci中的投影所对应的另一理论位置501atl。
当当前图像中当前像素100cp和另一理论位置501atl之间的距离低于预定阈值时，当前像素100cp的候选深度被确定为一致的(例如，预定阈值是当前图像中像素大小的一半)。
在其它实施例中，其中N＞3，对N个图像的集合中除当前图像100ci之外的所有其它图像执行步骤S410a1，以提供相应的理论位置的集合。对理论位置的集合中的所有理论位置执行步骤S410a2，以提供对应的深度集合。对于理论位置集合中的所有理论位置和深度值集合中的所有相关联深度值执行步骤S410a3，以提供当前图像100ci中的另一理论位置的集合。当当前像素100cp和另一理论位置之间的距离低于预定阈值时，当前像素100cp的候选深度被确定为是一致的。因此，一致性基于图像矩阵的所有图像中存在的信息。
回到图4，步骤S410还包括步骤S410b，其中确定当前像素100cp和理论位置502tl之间的光度一致性。
例如，光度一致性可通过理论位置502tl处其他图像内颜色分布的标准差来衡量：
其中zc是与对应于视图编号#c的当前图像100ci中坐标为的当前像素100cp相关联的候选深度。
在步骤S410a中确定的几何一致性和在步骤S410b中确定的光度一致性被组合，以确定与当前像素100cp相关联的候选深度是否与N个深度图的集合中的其它深度图一致。例如，这种组合依赖于K.Wolff等人提出的方法，“基于图像的3D重构的点云噪声和异常点去除(Point Cloud Noise and Outlier Removal for Image-Based 3D Reconstruction)”，2016年第四届3D视觉(3DV)国际会议，加利福尼亚州，斯坦福，2016年，第118-127页。
在其它实施例中，在步骤S410中，仅使用几何一致性准则来确定当前像素100cp的候选深度是否与其它深度图一致。
在其它实施例中，仅使用光度一致性准则来确定当前像素100cp的候选深度是否与其它深度图一致。
在其它实施例中，图像矩阵100mi的图像之间的任何其它一致性准则被用于确定当前像素100cp的候选深度是否与其它深度图一致。
回到图4，为了确定N个图像的集合中的图像的深度图，步骤S400至少对当前像素100cp执行以下项之间的匹配技术，以在与当前图像100ci相关联的深度图中提供与当前像素100cp相关联的候选深度：
-在当前像素100cp的邻域中取出的当前图像100ci的P像素的空间块，P≤Pmax，其中Pmax是当前图像100ci中的像素总数；和
-P像素的空间块在N个图像集合中不同于当前图像100ci的至少另一图像中的投影，
步骤S400被迭代执行，用新的P值执行步骤S400的每次新的迭代，新的P值小于在步骤S400的先前迭代中使用的先前的P值。
因此，深度图的确定基于对LF内容的图像中所有可用信息的使用。此外，对于依次的迭代，依次考虑像素数量递减的像素空间块。因此，第一次确定的深度图中的深度值对应于基于LF内容的图像中的最大像素数量确定的深度值。这允许提高结果中的质量。
在一个实施例中，例如，如上文结合图5公开的，基于LF捕获系统的相机的针孔模型，使用相同的投影机制获得在除当前图像100ci之外的至少另一个图像中的P像素的空间块的投影。
在一些实施例中，其中P<Pmax，P像素的空间块属于多个P像素空间块。对于步骤S400的给定迭代，针对属于多个P像素空间块的每个P像素空间块，依次执行匹配技术，以提供中间深度值的集合和与当前像素100cp相关联的对应置信值的集合。在与当前图像100ci相关联的深度图中，与当前像素100cp相关联的候选深度是在中间深度值集合中具有较高置信值的中间深度值。在变型中，多个P像素空间块包括所有P像素空间块。
因此，对于为了确定深度图所考虑的像素的给定大小的块，保留提供最佳置信水平的像素块，以用于确定所讨论的深度图。
在一些实施例中，匹配技术根据以下执行代价函数Ec的最小化：
其中Dc是对应于视图#c的当前图像100ci的深度图，并且(u,v)是当前图像100ci中当前像素100cp的坐标。
在这种情况下，匹配技术的依次执行进一步提供代价函数Ec的最小值的集合。在一些实施例中，置信值是至少以下各项的函数：
-最小值集合中的最小值m1，例如，置信值等于-m1；或
-最小值集合中的最小值m1和倒数第二个最小值m3的组合，例如，置信值等于
在一些实施例中，代价函数Ec是MSE(“均方误差”(Mean Squared Error))范数的函数，例如：
其中，
-Ωa是包含视图#c的所考虑的N个图像(或“角度块”)的集合；
-Ωs(u,v)是在坐标为(u,v)的当前像素100cp的邻域中取出的所考虑的P像素的空间块；
-|Ω|是集合Ω的基数；并且
-‖.‖2是L2范数(平方分量之和的平方根)；
并且其中，(i′,j′,z′)是通过视图#c和#c’之间的单应性Hcc′:从(i,j,z)中获取的(例如使用相同的投影机制，例如基于LF捕获系统的相机的针孔模型，如上关于图5所述的)。
在一些实施例中，代价函数Ec是MAD(“平均绝对差”)范数的函数，例如：
其中‖.‖1是L1范数(绝对值之和)。
在一些实施例中，代价函数Ec是ZNCC(“零均值归一化互相关”)范数的函数，例如：
其中，对三个分量R、G和B进行求和，并且其中：
其中：
是在坐标为(u,v)的当前像素100cp的邻域中取出的空间块Ωs(u,v)中图像I的均值；并且
是在坐标为(u,v)的当前像素100cp的邻域中取出的空间块Ωs(u,v)中图像I的标准差。
图6示出了根据本公开(根据上述公开的任何实施例)的可用于估计光场内容的图像矩阵中的像素的深度的设备600的特定实施例的结构块。
在本实施例中，用于实现所公开方法的设备600包括非易失性存储器603(例如只读存储器(ROM)或硬盘)、易失性存储器601(例如随机存取存储器或RAM)和处理器602。非易失性存储器603是非暂时性的计算机可读载体介质。它存储可执行程序代码指令，该可执行程序代码指令由处理器602执行，以便能够在上面结合图4公开的各种实施例中实现上述方法(用于估计光场内容的图像矩阵中的像素的深度的方法)。
在初始化时，上述程序代码指令从非易失性存储器603提供到易失性存储器601以便由处理器602执行。易失性存储器601同样包括用于存储该执行所需的变量和参数的寄存器。
根据本公开的用于估计光场内容的图像矩阵中的像素的深度的上述方法的所有步骤可以同样地通过以下方式实现：
·通过执行可重编程计算机(如PC型装置、DSP(数字信号处理器)或微控制器)执行的程序代码指令集。该程序代码指令可以存储在非暂时性计算机可读载体介质中，该载体介质是可拆卸的(例如软盘、CD-ROM或DVD-ROM)或不可拆卸的；或
·通过专用机器或组件，如FPGA(现场可编程门阵列)、ASIC(专用集成电路)或任何专用硬件组件。
换言之，本公开不限于以计算机程序指令的形式的纯粹基于软件的实现，还可以以硬件形式或结合硬件部分和软件部分的任何形式来实现。
根据一个实施例，提出了一种方法，该方法用于估计光场内容的M个图像的矩阵中的像素的深度，其中M＞2。该方法包括至少针对在所述M个图像中取出的N个图像的一个集合的一种处理，2＜N≤M，所述处理包括：
-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及
-对于所述N个图像的集合的当前图像中的至少一个当前像素：
-确定所述N个深度图的集合的深度图中与所述当前像素相关联的深度值所对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及
-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。
所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。
因此，本公开提出了一种新的创造性解决方案，用于利用强制一致性估计光场(LF)内容中像素的深度。
更具体地，像素深度的估计是基于对于每次迭代涉及不同图像集(也称为角度块)的迭代处理。因此，使用LF内容的图像矩阵中可用的所有信息，使得即使在存在遮挡的情况下也实现可靠的深度估计。
此外，对于处理的迭代，依次考虑包括图像数目减少的图像集。因此，第一次确定为一致的深度对应于基于LF内容中的最大数量的图像估计的深度。这允许提高结果的质量。
根据一个实施例，提出了一种设备，该设备用于估计光场内容的M个图像的矩阵中的像素的深度，其中M＞2。该设备包括处理器或专用计算机器，所述处理器或所述专用计算机器被配置为至少对于在所述M个图像中取出的N个图像的一个集合执行一种处理，2＜N≤M，所述处理包括：
-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及
-对于所述N个图像的集合的当前图像中的至少一个当前像素：
-确定所述N个深度图的集合的深度图中与所述当前像素相关联的深度值对应的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及
-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。
所述处理被迭代地执行，所述处理的每一次新的迭代都以新的N值执行，所述新的N值低于所述处理的先前迭代中使用的先前的N值。
根据一个实施例，对于尚未估计深度的N个图像的集合中的每个图像的每个像素，强制执行所述确定当前像素的候选深度是否一致，以及所述选择当前像素的深度。
根据一个实施例，N<M并且N个图像的集合属于在M个图像中取出的N个图像的多个集合。对每个N个图像的集合执行所述处理的每次迭代。
根据一个实施例，N个图像的多个集合包括在M个图像中取出的N个图像的所有集合。
根据一个实施例，所述确定当前像素的候选深度是否一致包括：确定当前像素的候选深度与N个深度图集合中的其他深度图之间的几何一致性。
因此，视图之间的几何一致性准则允许为所有考虑的视图确定对应于一致性重构3D场景的深度值。
根据一个实施例，所述确定几何一致性包括：
-确定所述N个图像的集合中与所述当前图像不同的另一图像中的理论位置，所述理论位置对应于与所述当前像素和所述候选深度相关联的对象点在所述另一图像中的投影；
-基于与所述N个深度图的集合中的所述另一图像相关联的深度图，获得与所述理论位置相关联的深度值；以及
-在所述当前图像中确定与所述理论位置和所述深度值相关联的另一对象点在所述当前图像中的投影所对应的另一理论位置；
-当所述当前图像中所述当前像素和所述另一理论位置之间的距离低于预定阈值时，所述当前像素的所述候选深度被确定为一致的。
根据一个实施例，N>3。针对所述N个图像的集合中除所述当前图像之外的所有其他图像执行所述确定另一图像中的理论位置，以提供相应的理论位置集合。针对所述理论位置集合中的所有理论位置执行所述获得与所述理论位置相关联的深度值，以提供相应的深度值集合。针对所述理论位置集合中的所有理论位置和所述深度值集合中的所有相关联的深度值执行在所述当前图像中确定另一理论位置，以提供所述当前图像中的其它理论位置的集合，当所述当前像素和所述其它理论位置之间的距离低于所述预定阈值(例如，预定阈值是当前图像中像素尺寸的一半)时，所述当前像素的所述候选深度被确定为一致的。
根据一个实施例，确定当前像素的候选深度是否一致还包括：确定当前像素和理论位置之间的光度一致性。
根据一个实施例，所述确定所述N个图像集合中的图像的深度图针对至少所述当前像素执行以下二者之间的匹配技术，以在与所述当前图像相关联的深度图中提供与所述当前像素相关联的所述候选深度：
-在所述当前像素的邻域中取出的所述当前图像的P像素的空间块，P≤Pmax，其中Pmax是所述当前图像中的像素总数；和
-所述P像素的所述空间块在所述N个图像集合中不同于所述当前图像的的至少另一图像中的投影，
所述确定深度图被迭代地执行，用新的P值执行所述确定深度图的每次新的迭代，所述新的P值小于在所述确定深度图的先前迭代中使用的先前的P值。
因此，基于迭代处理的深度图的确定涉及对每次迭代使用不同的像素空间块，从而允许使用LF内容的图像中可用的所有信息。
此外，对于依次的迭代，依次考虑像素数目递减的像素空间块。因此，第一次确定的深度图中的深度值对应于基于LF内容的图像中的最大像素数确定的深度值。这允许提高结果中的质量。
根据一个实施例，P<Pmax并且P像素的空间块属于多个P像素的空间块。对于确定深度图的给定迭代，针对属于多个P像素的空间块的每个P像素空间块，依次执行所述匹配技术，以提供中间深度值的集合和与当前像素相关联的置信值的对应集合，在与所述当前图像相关联的深度图中，与所述当前像素相关联的所述候选深度是在中间深度值集合中具有较高置信值的中间深度值。
因此，对于用于确定深度图所考虑的像素块的给定尺寸，提供最佳置信水平的像素块被保持用于确定所讨论的深度图。
根据一个实施例，多个P像素空间块包括所有P像素空间块。
根据一个实施例，匹配技术执行代价函数的最小化。所述匹配技术的依次执行还提供代价函数的最小值的集合，置信值至少是以下项的函数：
-最小值集合中的最小值；或
-最小值和最小值集合中至少倒数第二个最小值的组合。
根据一个实施例，代价函数是属于以下组的范数的函数：
-均方差；
-平均绝对差；或
-零均值归一化互相关。
根据一个实施例，提出了一种非暂时性计算机可读介质，其包括记录在其上并且能够由处理器运行的计算机程序产品，该计算机程序产品包括程序代码指令，所述程序代码指令包括用于实现先前描述的用于估计光场内容的M个图像的矩阵中的像素的深度的方法。

Claims (20)

1.一种用于估计光场内容的M个图像的矩阵中的像素的深度的方法，其中M＞2，所述方法包括至少针对在所述M个图像中取出的N个图像的一个集合的一种处理，2＜N≤M，所述处理包括：
-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及
-对于所述N个图像的集合的当前图像中的至少一个当前像素：
-确定所述N个深度图的集合的深度图中与所述当前像素相关联的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及
-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。
2.根据权利要求1所述的方法，
其中N<M并且所述N个图像的集合属于在所述M个图像中取出的多个N个图像的集合，并且
其中，对每个N个图像的集合执行所述处理的每次迭代。
3.根据权利要求1所述的方法，其中所述确定所述当前像素的候选深度是否一致包括：确定所述当前像素的所述候选深度和所述N个深度图集合的所述其他深度图之间的几何一致性。
4.根据权利要求3所述的方法，
其中，所述确定几何一致性包括：
-确定所述N个图像的集合中与所述当前图像不同的另一图像中的理论位置，所述理论位置对应于与所述当前像素和所述候选深度相关联的对象点在所述另一图像中的投影；
-基于与所述N个深度图的集合中的所述另一图像相关联的深度图，获得与所述理论位置相关联的深度值；以及
-在所述当前图像中确定与所述理论位置和所述深度值相关联的另一对象点在所述当前图像中的投影所对应的另一理论位置；
当所述当前图像中所述当前像素和所述另一理论位置之间的距离低于预定阈值时，所述当前像素的所述候选深度被确定为一致的。
5.根据权利要求4所述的方法，
其中N>3，
其中，针对所述N个图像的集合中除所述当前图像之外的所有其他图像执行所述确定另一图像中的理论位置，以提供相应的理论位置集合，
其中，针对所述理论位置集合中的所有理论位置执行所述获得与所述理论位置相关联的深度值，以提供相应的深度值集合，
并且其中，针对所述理论位置集合中的所有理论位置和所述深度值集合中的所有相关联的深度值执行在所述当前图像中确定另一理论位置，以提供所述当前图像中的其它理论位置的集合，
当所述当前像素和所述其它理论位置之间的距离低于所述预定阈值时，所述当前像素的所述候选深度被确定为一致的。
6.根据权利要求4所述的方法，其中所述确定所述当前像素的候选深度是否一致还包括：确定所述当前像素和所述理论位置之间的光度一致性。
7.根据权利要求1所述的方法，其中所述确定所述N个图像集合中的图像的深度图针对至少所述当前像素执行以下二者之间的匹配技术，以在与所述当前图像相关联的深度图中提供与所述当前像素相关联的所述候选深度：
-在所述当前像素的邻域中取出的所述当前图像的P像素的空间块，P≤Pmax，其中Pmax是所述当前图像中的像素总数；和
-所述P像素的所述空间块在所述N个图像集合中不同于所述当前图像的至少另一图像中的投影，
其中，所述确定深度图被迭代地执行，用新的P值执行所述确定深度图的每次新的迭代，所述新的P值小于在所述确定深度图的先前迭代中使用的先前的P值。
8.根据权利要求7所述的方法，
其中P<Pmax，并且所述P像素的空间块属于多个P像素的空间块，
并且其中，对于所述确定深度图的给定迭代，针对属于所述多个P像素空间块的每个P像素空间块依次执行所述匹配技术，以提供中间深度值的集合和与所述当前像素相关联的置信值的对应集合，
在与所述当前图像相关联的深度图中，与所述当前像素相关联的所述候选深度是在中间深度值集合中具有较高置信值的中间深度值。
9.根据权利要求8所述的方法，其中所述匹配技术执行代价函数的最小化，并且其中，所述匹配技术的所述依次执行还提供所述代价函数的最小值的集合，所述置信值至少是以下项的函数：
-所述最小值集合中的最小值；或
-所述最小值和所述最小值集合中至少倒数第二个最小值的组合。
10.根据权利要求1所述的方法，其中所述处理被迭代地执行，所述处理的每一次新的迭代都是用新的N值执行的，所述新的N值低于所述处理的先前迭代中使用的先前N值。
11.一种用于估计光场内容的M个图像的矩阵中的像素的深度的设备，其中M＞2，所述设备包括处理器或专用计算机器，所述处理器或所述专用计算机器被配置为：至少对于在所述M个图像中取出的N个图像的一个集合执行一种处理，2＜N≤M，所述处理包括：
-确定所述N个图像的集合中的所述图像的深度图，以提供N个深度图的集合；以及
-对于所述N个图像的集合的当前图像中的至少一个当前像素：
-确定所述N个深度图的集合的深度图中与所述当前像素相关联的候选深度是否与所述N个深度图的集合中的其他深度图一致；以及-如果所述候选深度被确定为与所述N个深度图的集合中的所述其他深度图一致，则选择所述候选深度作为所述当前像素的估计深度。
12.根据权利要求11所述的设备，
其中N<M并且所述N个图像的集合属于在所述M个图像中取出的多个N个图像的集合，并且
其中，对每个N个图像的集合执行所述处理的每次迭代。
13.根据权利要求11所述的设备，其中所述确定所述当前像素的候选深度是否一致包括：确定所述当前像素的所述候选深度和所述N个深度图集合的所述其他深度图之间的几何一致性。
14.根据权利要求13所述的设备，
其中，所述确定几何一致性包括：
-确定所述N个图像的集合中与所述当前图像不同的另一图像中的理论位置，所述理论位置对应于与所述当前像素和所述候选深度相关联的对象点在所述另一图像中的投影；
-基于与所述N个深度图的集合中的所述另一图像相关联的深度图，获得与所述理论位置相关联的深度值；以及
-在所述当前图像中确定与所述理论位置和所述深度值相关联的另一对象点在所述当前图像中的投影所对应的另一理论位置；
当所述当前图像中所述当前像素和所述另一理论位置之间的距离低于预定阈值时，所述当前像素的所述候选深度被确定为一致的。
15.根据权利要求14所述的设备，
其中N>3，
其中，针对所述N个图像的集合中除所述当前图像之外的所有其他图像执行所述确定另一图像中的理论位置，以提供相应的理论位置集合，
其中，针对所述理论位置集合中的所有理论位置执行所述获得与所述理论位置相关联的深度值，以提供相应的深度值集合，
并且其中，针对所述理论位置集合中的所有理论位置和所述深度值集合中的所有相关联的深度值执行在所述当前图像中确定另一理论位置，以提供所述当前图像中的其它理论位置的集合，
当所述当前像素和所述其它理论位置之间的距离低于所述预定阈值时，所述当前像素的所述候选深度被确定为一致的。
16.根据权利要求14所述的设备，其中所述确定所述当前像素的候选深度是否一致还包括：确定所述当前像素和所述理论位置之间的光度一致性。
17.根据权利要求11所述的设备，其中所述确定所述N个图像集合中的图像的深度图针对至少所述当前像素执行以下二者之间的匹配技术，以在与所述当前图像相关联的深度图中提供与所述当前像素相关联的所述候选深度：
-在所述当前像素的邻域中取出的所述当前图像的P像素的空间块，P≤Pmax，其中Pmax是所述当前图像中的像素总数；和
-所述P像素的所述空间块在所述N个图像集合中不同于所述当前图像的至少另一图像中的投影，
其中，所述确定深度图被迭代地执行，用新的P值执行所述确定深度图的每次新的迭代，所述新的P值小于在所述确定深度图的先前迭代中使用的先前的P值。
18.根据权利要求17所述的设备，
其中P<Pmax，并且所述P像素的空间块属于多个P像素的空间块，
并且其中，对于所述确定深度图的给定迭代，针对属于所述多个P像素空间块的每个P像素空间块依次执行所述匹配技术，以提供中间深度值的集合和与所述当前像素相关联的置信值的对应集合，
在与所述当前图像相关联的深度图中，与所述当前像素相关联的所述候选深度是在中间深度值集合中具有较高置信值的中间深度值。
19.根据权利要求18所述的设备，其中所述匹配技术执行代价函数的最小化，并且其中，所述匹配技术的所述依次执行还提供所述代价函数的最小值的集合，所述置信值至少是以下项的函数：
-所述最小值集合中的最小值；或
-所述最小值和所述最小值集合中至少倒数第二个最小值的组合。
20.根据权利要求11所述的设备，其中所述处理被迭代地执行，所述处理的每一次新的迭代都是用新的N值执行的，所述新的N值低于所述处理的先前迭代中使用的先前N值。
CN201980047547.8A 2018-07-19 2019-07-17 用于估计像素的深度的方法以及对应的设备 Active CN112771574B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305989.8A EP3598390A1 (en) 2018-07-19 2018-07-19 Method for estimating a depth for pixels, corresponding device and computer program product
EP18305989.8 2018-07-19
PCT/EP2019/069246 WO2020016299A1 (en) 2018-07-19 2019-07-17 Method for estimating a depth for pixels, corresponding device and computer program product

Publications (2)

Publication Number Publication Date
CN112771574A CN112771574A (zh) 2021-05-07
CN112771574B true CN112771574B (zh) 2024-03-26

Family

ID=63165309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980047547.8A Active CN112771574B (zh) 2018-07-19 2019-07-17 用于估计像素的深度的方法以及对应的设备

Country Status (5)

Country Link
US (1) US11257236B2 (zh)
EP (2) EP3598390A1 (zh)
JP (1) JP7423595B2 (zh)
CN (1) CN112771574B (zh)
WO (1) WO2020016299A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720480A (zh) * 2007-07-03 2010-06-02 皇家飞利浦电子股份有限公司 计算深度图
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
WO2016173631A1 (en) * 2015-04-28 2016-11-03 Huawei Technologies Co., Ltd. An image processing apparatus and method
CN107038719A (zh) * 2017-03-22 2017-08-11 清华大学深圳研究生院 基于光场图像角度域像素的深度估计方法及系统
CN107545586A (zh) * 2017-08-04 2018-01-05 中国科学院自动化研究所 基于光场极限平面图像局部的深度获取方法及系统
CN108242063A (zh) * 2018-02-06 2018-07-03 清华大学深圳研究生院 一种基于gpu加速的光场图像深度估计方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7123742B2 (en) * 2002-04-06 2006-10-17 Chang Kenneth H P Print user interface system and its applications
JP5024962B2 (ja) * 2008-07-11 2012-09-12 日本電信電話株式会社 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
JP6551743B2 (ja) * 2013-06-05 2019-07-31 ソニー株式会社 画像処理装置および画像処理方法
JP6641163B2 (ja) * 2015-12-02 2020-02-05 日本放送協会 オブジェクト追跡装置及びそのプログラム
JP6934253B2 (ja) * 2015-12-23 2021-09-15 ガウス サージカル, インコーポレイテッドGauss Surgical, Inc. 外科織物内の血液構成要素の量の評価方法
US11423562B2 (en) * 2016-10-18 2022-08-23 Photonic Sensors & Algorithms, S.L. Device and method for obtaining distance information from views
EP4216164A1 (en) * 2019-01-28 2023-07-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Localization of elements in the space
US11457197B2 (en) * 2019-02-22 2022-09-27 Avalon Holographics Inc. Layered scene decomposition CODEC with view independent rasterization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720480A (zh) * 2007-07-03 2010-06-02 皇家飞利浦电子股份有限公司 计算深度图
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
WO2016173631A1 (en) * 2015-04-28 2016-11-03 Huawei Technologies Co., Ltd. An image processing apparatus and method
CN107038719A (zh) * 2017-03-22 2017-08-11 清华大学深圳研究生院 基于光场图像角度域像素的深度估计方法及系统
CN107545586A (zh) * 2017-08-04 2018-01-05 中国科学院自动化研究所 基于光场极限平面图像局部的深度获取方法及系统
CN108242063A (zh) * 2018-02-06 2018-07-03 清华大学深圳研究生院 一种基于gpu加速的光场图像深度估计方法

Also Published As

Publication number Publication date
CN112771574A (zh) 2021-05-07
EP3598390A1 (en) 2020-01-22
JP7423595B2 (ja) 2024-01-29
US20210279902A1 (en) 2021-09-09
WO2020016299A1 (en) 2020-01-23
JP2021531581A (ja) 2021-11-18
US11257236B2 (en) 2022-02-22
EP3824436A1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
US11830141B2 (en) Systems and methods for 3D facial modeling
CN111066065B (zh) 用于混合深度正则化的系统和方法
US8452081B2 (en) Forming 3D models using multiple images
US8447099B2 (en) Forming 3D models using two images
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
US10043278B2 (en) Method and apparatus for reconstructing 3D face with stereo camera
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
CA2650557A1 (en) System and method for three-dimensional object reconstruction from two-dimensional images
US9460513B1 (en) Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras
CN110390645B (zh) 用于立体瞬时图像序列的改善3d数据重构的系统和方法
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
WO2012049098A1 (en) Range image pixel matching method
CN110462685B (zh) 三维模型重建方法和系统
JP6285686B2 (ja) 視差画像生成装置
Benveniste et al. Nary coded structured light-based range scanners using color invariants
US11475629B2 (en) Method for 3D reconstruction of an object
CN112771574B (zh) 用于估计像素的深度的方法以及对应的设备
CN113034345B (zh) 一种基于sfm重建的人脸识别方法及系统
RU2777277C1 (ru) Способ оценки глубины для пикселей, соответствующее устройство и компьютерный программный продукт
Narasimha et al. Method for enhancing low quality depth maps for 3D reconstruction on a embedded platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant