CN111325763A - 一种基于光场重聚焦的遮挡预测方法和装置 - Google Patents

一种基于光场重聚焦的遮挡预测方法和装置 Download PDF

Info

Publication number
CN111325763A
CN111325763A CN202010082813.5A CN202010082813A CN111325763A CN 111325763 A CN111325763 A CN 111325763A CN 202010082813 A CN202010082813 A CN 202010082813A CN 111325763 A CN111325763 A CN 111325763A
Authority
CN
China
Prior art keywords
occlusion
block
depth
shielding
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010082813.5A
Other languages
English (en)
Other versions
CN111325763B (zh
Inventor
金欣
李俊科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202010082813.5A priority Critical patent/CN111325763B/zh
Publication of CN111325763A publication Critical patent/CN111325763A/zh
Application granted granted Critical
Publication of CN111325763B publication Critical patent/CN111325763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147—Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于光场重聚焦的遮挡预测方法和装置，该方法包括如下步骤：对中心子孔径图像分块提取边缘信息，进行区域判定；数字重聚焦对不同区域进行不同深度张量提取；根据初始深度图边缘得到遮挡边界一；根据重聚焦响应得到遮挡边界二，并对两遮挡边界进行融合。该方法能够鲁棒性预测遮挡，得到有效的遮挡边界，从而提高三维重建的准确性。

Description

一种基于光场重聚焦的遮挡预测方法和装置
技术领域
本发明涉及计算机视觉与数字图像处理领域，特别是一种基于光场重聚焦的遮挡预测方法和装置。
背景技术
遮挡边界是当前计算机视觉领域的重大挑战之一，是从二维图像中完整重现三维世界的关键，在三维重建、虚拟现实、视点合成、机器人导航等应用中发挥着至关重要的作用。然而由于二维图像在采集过程中丢失深度信息，遮挡边界在二维图像中通常的表现形式通常与纹理相似，即区分两个或多个部分的边界。因此，如何正确高效地预测出遮挡信息且将其与纹理信息完美分割开来，是本方法的主要目的。
通过分析异平面遮挡与同平面纹理的形成方式，易知其主要区别在于遮挡边界的两部分像素存在于不同深度而不能同时聚焦，纹理边界的两部分像素存在于相同深度因而可同时聚焦。在基于散焦分析的光场深度估计算法中，光场图像通过数字重聚焦的方式生成一系列由近及远依次聚焦的图像，即焦栈；光场图像中的宏像素记录同一空间位置中不同视角信息，又称角度块。基于前述分析中遮挡与纹理不同的形成方式，其在焦栈各深度层中角度块的呈现也必然不同。由于遮挡的存在，导致背景物体在准确聚焦时，其角度块中同时包含聚焦物体和遮挡物两种以上信息，一致性较低，而其余未被遮挡的物体在准确聚焦时角度块中仅包含一种信息，因此一致性很高。
发明内容
本发明的主要目的在于克服上述技术缺陷中的至少一种，提供一种基于光场重聚焦的遮挡预测方法和装置。
为实现上述目的，本发明采用以下技术方案：
一种基于光场重聚焦的遮挡预测方法，所述方法包括如下步骤：
A1：对中心子孔径图像分块提取边缘信息，进行区域判定；
A2：数字重聚焦对不同区域进行不同深度张量提取；
A3：根据初始深度图边缘得到遮挡边界一；
A4：根据重聚焦响应得到遮挡边界二，并对两遮挡边界进行融合。
进一步地：
步骤A1中，输入光场图像后，先固定视角，提取中心视角的子孔径图像，进而对中心子孔径图像进行划分空间块，并做离散余弦变换，从频域中提取信息进行区域划分与边缘提取。
步骤A1中，具体操作按照如下公式：
Figure BDA0002380914620000021
Figure BDA0002380914620000022
其中式(1)为二维离散余弦变换，c(·)为其系数，随括号中而变化，其取值如式(2)中c(e)所示；
Ixy(x′,y′)代表在中心子孔径图像中以坐标(x,y)为中心选取的尺寸为M·M的空间块，(x′,y′)为空间块中的坐标，变化范围(0～M-1)，Fxy(m1,m2)为对空间像素(x,y)进行M·M尺寸的DCT变换后的频域块，(m1,m2)为其中相应坐标；
空间块信息提取后，针对每一个空间块的频域分布，进行区域判定；区域判别标准设置如式(3)所示，当某像素对应的空间块变化缓慢或无变化时，即频域分布中低频占比大于指定阈值时，表示该像素所在区域无遮挡；
Figure BDA0002380914620000023
Figure BDA0002380914620000024
其中DCP表示低频占比，Fxy(0,0)表示该频域分布中的DC分量，τ为所设阈值，其中R(x,y)为指示函数，当DCP大于该阈值时即将其判定为非遮挡区域，R(x,y)＝0，否则为遮挡区域，R(x,y)＝1；
其中，利用准确聚焦时角度块中遮挡像素的方向与空间块中遮挡物边界方向相同的性质，进行区域划分，通过空间块中的内容预测角度块中的内容；其中，对于遮挡角度块，其边缘方向计算方式如下：
Figure BDA0002380914620000031
其中θ(x,y)为通过图像竖直方向与水平方向变化求得的遮挡边缘方向，Fxy(0,1)与Fxy(1,0)分别表示竖直与水平方向距离低频最近的AC分量。
步骤A2中，提取与分析频域特征，获得能够用数学方式明显表现聚焦平面位置变化的张量，以对场景深度信息进行计算；
当聚焦在准确深度时，对于非遮挡区域而言同一角度块中不同视角的角像素来自于同一场景点，因此具有相等的强度，即一致性；对于遮挡区域，通过寻找其子集，即遮挡边界两侧的一致性较高的子角度块来进行一致性判断从而实现深度估计。
针对区域划分，代价函数如下：
Figure BDA0002380914620000032
其中DCPα(x,y)代表非遮挡区域整个角度块的聚焦张量，
Figure BDA0002380914620000036
代表遮挡区域处法线正方向对应的子角度块的聚焦张量；相应的代价函数取最大值，场景深度估计如下：
Figure BDA0002380914620000033
其中αinitial(x,y)为初始深度图。
步骤A3中，根据初始深度图边缘得到遮挡边界一；
步骤3中的计算方式与遮挡区域相同，角度块只部分参与计算；
首先，分析初始计算的深度图，在深度图中存在梯度变化的位置即为深度不连续处，通过下式提取初始深度梯度线索来预测遮挡：
Figure BDA0002380914620000034
其中αinitial(x,y)为初始深度图，Δ(·)为取梯度操作，p1(x,y)在纹理位置处取得相对较小值，在遮挡位置处取得相对较大值。
步骤A4中，根据纹理区域与遮挡区域聚焦响应的差异，通过分析深度张量变化曲线，得到数据一致性线索，计算方式如下：
Figure BDA0002380914620000035
其中
Figure BDA0002380914620000042
为子角度块聚焦张量在初始深度αinitial处的数值，DCPxy(αinitial)为整角度块聚焦张量在初始深度αinitial处的数值；p2(x,y)在纹理位置处取得相对较小值，在遮挡位置处取得相对较大值。
还综合考虑重聚焦过程中的张量变化和初始深度值，进行进一步的遮挡预测；其中，当得到两个遮挡边缘预测线索后，通过归一化方式将其相融合：
p＝N(p1)·N(p2),(10)
Figure BDA0002380914620000041
其中p代表遮挡像素概率，对于遮挡像素取得相对较大值而对于纹理像素取得相对较小值，N(·)为归一化操作结果，E(·)为取均值操作，D(·)为取方差操作；通过对p进行阈值化操作，得到遮挡边界。
一种基于光场重聚焦的遮挡预测装置，包括至少一个存储器以及至少一个处理器；
所述存储器，存储有至少一个可执行程序；
所述可执行程序在由所述处理器执行时，实现所述的方法。
本发明具有如下有益效果：
本发明提出一种基于光场重聚焦的遮挡预测方法和装置，本发明充分利用光场相机先拍照后对焦的特性，结合其同时采集到的空间信息及角度信息及两者之间的关系，分析异平面遮挡与同平面纹理在深度层上的不同展现模式，从而得到连续性较好、准确度较高的遮挡边界估计，大大丰富了其在三维重建、视点合成等领域的应用。本发明实施例的方法利用不同物体在焦栈上的角度块中的不同表现形式对其进行区分。实施例的方法提出基于光场重聚焦的遮挡预测模型，将二维图像重投影至三维空间从而提取遮挡边界的聚焦形式。首先利用光场图的中心子孔径图像中空间块的像素分布，检测边界；针对包含边界的区域，在空间块中计算其边缘的斜率并判断前后景信息；对边界与非边界区域采取不同的聚焦张量，并结合重聚焦过程中张量变化情况与初始深度图，进行精确的遮挡预测。实验结果表明，与现有算法相比，本方法能够鲁棒性预测遮挡，得到有效的遮挡边界，从而提高三维重建的准确性。
附图说明
图1为本发明一种实施例的结构示意图。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
参阅图1，本发明实施例提出一种一种基于光场重聚焦的遮挡预测方法，其特征在于，所述方法包括：
A1：对中心子孔径图像分块提取边缘信息，进行区域判定；
A2：数字重聚焦对不同区域进行不同深度张量提取；
A3：根据初始深度图边缘得到遮挡边界一；
A4：根据重聚焦响应得到遮挡边界二，并对两遮挡边界进行融合。
所述步骤A1中，对中心子孔径图像分块提取边缘信息，进行区域判定。
输入光场图像后，首先固定视角，提取中心视角的子孔径图像。进而对中心子孔径图像进行划分空间块，并做离散余弦变换(Discrete Cosine Transform，DCT)，从频域中提取信息进行区域划分与边缘提取。具体操作如下：
Figure BDA0002380914620000051
Figure BDA0002380914620000052
其中式(1)为二维离散余弦变换，c(·)为其系数，随括号中而变化，其取值如式(2)中c(e)所示；Ixy(x′,y′)代表在中心子孔径图像中以坐标(x,y)为中心选取的尺寸为M·M空间块，(x′,y′)为空间块中的坐标，变化范围(0～M-1)，Fxy(m1,m2)即为对空间像素(x,y)进行M·M尺寸的DCT变换后的频域块，(m1,m2)为其中相应坐标。
空间块信息提取后，针对每一个空间块的频域分布，进行区域判定，区域判别标准设置如式(3)所示，当某像素对应的空间块变化缓慢或无变化时，即频域分布中低频占比大于指定阈值时，表示该像素所在区域无遮挡，此特点在频域中的表现即为：DC(直流分量)幅值占据总能量较高比例。
Figure BDA0002380914620000053
Figure BDA0002380914620000061
其中DCP表示低频占比，Fxy(0,0)表示该频域分布中DC分量，τ为所设阈值，其中R(x,y)为指示函数，当DCP大于该阈值时即将其判定为非遮挡区域，R(x,y)＝0，否则为遮挡区域，R(x,y)＝1。
通过分析光场图成像原理可知，在准确聚焦时，遮挡物对应的宏像素(角度块)与其对应的空间域邻域(空间块)内容相似，角度块中遮挡像素的方向与空间块中遮挡物边界方向相同，优选实施例即利用该性质进行区域划分，通过空间块中的内容预测角度块中的内容。对于遮挡角度块，其边缘方向计算方式分别如下：
Figure BDA0002380914620000062
上式中θ(x,y)即为通过图像竖直方向与水平方向变化求得的遮挡边缘方向，Fxy(0,1)与Fxy(1,0)分别表示竖直与水平方向距离低频最近的AC分量。
所述步骤A2中针对不同区域，数字重聚焦对不同区域进行不同深度张量提取。
根据光场重聚焦能力，一系列聚焦平面由近及远变化的光场图像Lα(α＝1,2,3,…)，即焦栈。场景点在图像平面投影所对应角度块中的频域特征也随聚焦平面的变化而变化。因此，本发明提取与分析频域特征，获得能够用数学方式明显表现聚焦平面位置变化的张量，从而对场景深度信息进行计算。
当聚焦在准确深度时，对于非遮挡区域而言同一角度块中不同视角的角像素来自于同一场景点，因此具有相等的强度，即一致性。对于遮挡区域，由于聚焦时其角像素对应的整个角度块不再满足一致性条件，故本发明提出通过寻找其子集，即遮挡边界两侧的一致性较高的子角度块来进行一致性判断从而实现深度估计。
对于遮挡区域也可根据步骤4中方法找到其满足一致性的子角度块。其一致性表述由步骤2中的低频占比DCP(x,y)表述，故本发明中分区域代价方程表述如下：
Figure BDA0002380914620000063
其中DCPα(x,y)代表非遮挡区域整个角度块的聚焦张量，而
Figure BDA0002380914620000064
代表遮挡区域处法线正方向对应的子角度块的聚焦张量。根据光场成像原理分析可知,当场景点恰好被准确聚焦时，其对应角度块一致性最高，相应的代价函数取最大值，场景深度估计如下：
Figure BDA0002380914620000071
所述步骤A3中根据初始深度图边缘得到遮挡边界一。
通过上述步骤，确实可以得到较高质量深度图，然而由于纹理区域不存在前后景信息，应与同质区域选择同一张量计算方式，然而在步骤3中其计算方式与遮挡区域相同，即角度块只部分参与计算，因此纹理信息有丢失。另为了排除纹理边缘对遮挡预测的干扰，准确估算遮挡视角。
首先，分析初始计算的深度图。在深度图中存在梯度变化的位置即为深度不连续处，因此优选实施例通过下式提取初始深度梯度线索来预测遮挡：
Figure BDA0002380914620000072
其中αinitial(x,y)为初始深度图，Δ(·)为取梯度操作。p1(x,y)在纹理位置处取得较小值，在遮挡位置处取得较大值。
所述步骤A4中根据重聚焦响应得到遮挡边界二，并对两遮挡边界进行融合。
根据纹理区域与遮挡区域聚焦响应的差异，通过分析深度张量变化曲线，得到数据一致性线索，计算方式如下所示：
Figure BDA0002380914620000073
其中
Figure BDA0002380914620000074
为子角度块聚焦张量在初始深度αinitial处的数值，DCPxy(αinitial)为整角度块聚焦张量在初始深度αinitial处的数值。对于纹理区域，由于其不存在前景遮挡，故聚焦方式与同质区域相同，即整角度块完整聚焦，分子与分母数值接近，因此p2(x,y)的数值接近于1；而对于遮挡区域，即整角度块中背景聚焦，前景散焦，分子数值大于分母数值，因此p2(x,y)的数值大于1。综上所述，p2(x,y)在纹理位置处取得较小值，在遮挡位置处取得较大值。
优选实施例综合考虑重聚焦过程中的张量变化和初始深度值，进行了进一步的遮挡预测。当得到两个遮挡边缘预测线索后，优选实施例通过归一化方式将其相融合:
p＝N(p1)·N(p2),(10)
Figure BDA0002380914620000075
其中p代表遮挡像素概率，对于遮挡像素取得较大值而对于纹理像素取得较小值，故可实现遮挡与纹理像素的成功分离，得到较为准确的遮挡边缘。N(·)为归一化操作，具体计算方式见式(11)，E(·)为取均值操作，D(·)为取方差操作。通过对p进行阈值化操作，即可得到连续性强、准确率高的遮挡边界。
本发明上述实施例提出一种基于光场重聚焦的遮挡预测方法，本发明充分利用光场相机先拍照后对焦的特性，结合其同时采集到的空间信息及角度信息及两者之间的关系，分析异平面遮挡与同平面纹理在深度层上的不同展现模式，从而得到连续性较好、准确度较高的遮挡边界估计，大大丰富了其在三维重建、视点合成等领域的应用。本发明实施例的方法利用不同物体在焦栈上的角度块中的不同表现形式对其进行区分。本方法提出基于光场重聚焦的遮挡预测模型，将二维图像重投影至三维空间从而提取遮挡边界的聚焦形式。首先利用光场图的中心子孔径图像中空间块的像素分布，检测边界；针对包含边界的区域，在空间块中计算其边缘的斜率并判断前后景信息；对边界与非边界区域采取不同的聚焦张量，并结合重聚焦过程中张量变化情况与初始深度图，进行精确的遮挡预测。实验结果表明，与现有算法相比，本方法能够鲁棒性预测遮挡，得到有效的遮挡边界，从而提高三维重建的准确性。
本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。

Claims (9)

1.一种基于光场重聚焦的遮挡预测方法，其特征在于，所述方法包括如下步骤：
A1：对中心子孔径图像分块提取边缘信息，进行区域判定；
A2：数字重聚焦对不同区域进行不同深度张量提取；
A3：根据初始深度图边缘得到遮挡边界一；
A4：根据重聚焦响应得到遮挡边界二，并对两遮挡边界进行融合。
2.如权利要求1所述的方法，其特征在于，步骤A1中，输入光场图像后，先固定视角，提取中心视角的子孔径图像，进而对中心子孔径图像进行划分空间块，并做离散余弦变换，从频域中提取信息进行区域划分与边缘提取。
3.如权利要求2所述的方法，其特征在于，步骤A1中，具体操作按照如下公式：
Figure FDA0002380914610000011
Figure FDA0002380914610000012
其中式(1)为二维离散余弦变换，c(·)为其系数，随括号中而变化，其取值如式(2)中c(e)所示；Ixy(x′,y′)代表在中心子孔径图像中以坐标(x,y)为中心选取的尺寸为M·M的空间块，(x′,y′)为空间块中的坐标，变化范围(0～M-1)，Fxy(m1,m2)为对空间像素(x,y)进行M·M尺寸的DCT变换后的频域块，(m1,m2)为其中相应坐标；
空间块信息提取后，针对每一个空间块的频域分布，进行区域判定；区域判别标准设置如式(3)所示，当某像素对应的空间块变化缓慢或无变化时，即频域分布中低频占比大于指定阈值时，表示该像素所在区域无遮挡，
Figure FDA0002380914610000013
Figure FDA0002380914610000014
其中DCP表示低频占比，Fxy(0,0)表示该频域分布中的DC分量，τ为所设阈值，其中R(x,y)为指示函数，当DCP大于该阈值时即将其判定为非遮挡区域，R(x,y)＝0，否则为遮挡区域，R(x,y)＝1；
其中，利用准确聚焦时角度块中遮挡像素的方向与空间块中遮挡物边界方向相同的性质，进行区域划分，通过空间块中的内容预测角度块中的内容；其中，对于遮挡角度块，其边缘方向计算方式如下：
Figure FDA0002380914610000021
其中θ(x,y)为通过图像竖直方向与水平方向变化求得的遮挡边缘方向，Fxy(0,1)与Fxy(1,0)分别表示竖直与水平方向距离低频最近的AC分量。
4.如权利要求1至3任一项所述的方法，其特征在于，步骤A2中，提取与分析频域特征，获得能够用数学方式明显表现聚焦平面位置变化的张量，以对场景深度信息进行计算；
当聚焦在准确深度时，对于非遮挡区域而言同一角度块中不同视角的角像素来自于同一场景点，因此具有相等的强度，即一致性；对于遮挡区域，通过寻找其子集，即遮挡边界两侧的一致性较高的子角度块来进行一致性判断从而实现深度估计。
5.如权利要求3至4任一项所述的方法，其特征在于，针对区域划分，代价函数如下：
Figure FDA0002380914610000022
其中DCPα(x,y)代表非遮挡区域整个角度块的聚焦张量，
Figure FDA0002380914610000023
代表遮挡区域处法线正方向对应的子角度块的聚焦张量；相应的代价函数取最大值，场景深度估计如下：
Figure FDA0002380914610000024
其中αinitial(x,y)为初始深度图。
6.如权利要求1至5任一项所述的方法，其特征在于，步骤A3中，根据初始深度图边缘得到遮挡边界一；
步骤3中的计算方式与遮挡区域相同，角度块只部分参与计算；
首先，分析初始计算的深度图，在深度图中存在梯度变化的位置即为深度不连续处，通过下式提取初始深度梯度线索来预测遮挡：
Figure FDA0002380914610000031
其中αinitial(x,y)为初始深度图，Δ(·)为取梯度操作，p1(x,y)在纹理位置处取得相对较小值，在遮挡位置处取得相对较大值。
7.如权利要求1至6任一项所述的方法，其特征在于，步骤A4中，根据纹理区域与遮挡区域聚焦响应的差异，通过分析深度张量变化曲线，得到数据一致性线索，计算方式如下：
Figure FDA0002380914610000032
其中
Figure FDA0002380914610000033
为子角度块聚焦张量在初始深度αinitial处的数值，DCPxy(αinitial)为整角度块聚焦张量在初始深度αinitial处的数值；p2(x,y)在纹理位置处取得相对较小值，在遮挡位置处取得相对较大值。
8.如权利要求1至7任一项所述的方法，其特征在于，还综合考虑重聚焦过程中的张量变化和初始深度值，进行进一步的遮挡预测；其中，当得到两个遮挡边缘预测线索后，通过归一化方式将其相融合：
p＝N(p1)·N(p2), (10)
Figure FDA0002380914610000034
其中p代表遮挡像素概率，对于遮挡像素取得相对较大值而对于纹理像素取得相对较小值，N(·)为归一化操作结果，E(·)为取均值操作，D(·)为取方差操作；通过对p进行阈值化操作，得到遮挡边界。
9.一种基于光场重聚焦的遮挡预测装置，其特征在于，包括至少一个存储器以及至少一个处理器；
所述存储器，存储有至少一个可执行程序；
所述可执行程序在由所述处理器执行时，实现如权利要求1至8中任一项所述的方法。
CN202010082813.5A 2020-02-07 2020-02-07 一种基于光场重聚焦的遮挡预测方法和装置 Active CN111325763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010082813.5A CN111325763B (zh) 2020-02-07 2020-02-07 一种基于光场重聚焦的遮挡预测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010082813.5A CN111325763B (zh) 2020-02-07 2020-02-07 一种基于光场重聚焦的遮挡预测方法和装置

Publications (2)

Publication Number Publication Date
CN111325763A true CN111325763A (zh) 2020-06-23
CN111325763B CN111325763B (zh) 2023-04-07

Family

ID=71172637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010082813.5A Active CN111325763B (zh) 2020-02-07 2020-02-07 一种基于光场重聚焦的遮挡预测方法和装置

Country Status (1)

Country Link
CN (1) CN111325763B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932596A (zh) * 2020-09-27 2020-11-13 深圳佑驾创新科技有限公司 摄像头遮挡区域的检测方法、装置、设备和存储介质
CN112465952A (zh) * 2020-11-28 2021-03-09 重庆邮电大学 一种基于光场相机微纳关联成像传感的重建方法
CN114078153A (zh) * 2021-11-18 2022-02-22 清华大学 面向散射场景的光场编码摄像方法及装置
CN117474922A (zh) * 2023-12-27 2024-01-30 中国科学院长春光学精密机械与物理研究所 一种基于内联遮挡处理的抗噪光场深度测量方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120114225A1 (en) * 2010-11-09 2012-05-10 Samsung Electronics Co., Ltd. Image processing apparatus and method of generating a multi-view image
CN107038719A (zh) * 2017-03-22 2017-08-11 清华大学深圳研究生院 基于光场图像角度域像素的深度估计方法及系统
CN109064505A (zh) * 2018-07-26 2018-12-21 清华大学深圳研究生院 一种基于滑动窗口张量提取的深度估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120114225A1 (en) * 2010-11-09 2012-05-10 Samsung Electronics Co., Ltd. Image processing apparatus and method of generating a multi-view image
CN107038719A (zh) * 2017-03-22 2017-08-11 清华大学深圳研究生院 基于光场图像角度域像素的深度估计方法及系统
CN109064505A (zh) * 2018-07-26 2018-12-21 清华大学深圳研究生院 一种基于滑动窗口张量提取的深度估计方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932596A (zh) * 2020-09-27 2020-11-13 深圳佑驾创新科技有限公司 摄像头遮挡区域的检测方法、装置、设备和存储介质
CN111932596B (zh) * 2020-09-27 2021-01-22 深圳佑驾创新科技有限公司 摄像头遮挡区域的检测方法、装置、设备和存储介质
CN112465952A (zh) * 2020-11-28 2021-03-09 重庆邮电大学 一种基于光场相机微纳关联成像传感的重建方法
CN114078153A (zh) * 2021-11-18 2022-02-22 清华大学 面向散射场景的光场编码摄像方法及装置
CN117474922A (zh) * 2023-12-27 2024-01-30 中国科学院长春光学精密机械与物理研究所 一种基于内联遮挡处理的抗噪光场深度测量方法及系统
CN117474922B (zh) * 2023-12-27 2024-04-02 中国科学院长春光学精密机械与物理研究所 一种基于内联遮挡处理的抗噪光场深度测量方法及系统

Also Published As

Publication number Publication date
CN111325763B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111325763B (zh) 一种基于光场重聚焦的遮挡预测方法和装置
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
JP5178875B2 (ja) 対応点探索のための画像処理方法
CN105404888B (zh) 结合颜色和深度信息的显著性目标检测方法
US8331619B2 (en) Image processing apparatus and image processing method
US20100046837A1 (en) Generation of depth map for an image
US20140035909A1 (en) Systems and methods for generating a three-dimensional shape from stereo color images
CN109961092B (zh) 一种基于视差锚点的双目视觉立体匹配方法及系统
Bebeselea-Sterp et al. A comparative study of stereovision algorithms
US20230394832A1 (en) Method, system and computer readable media for object detection coverage estimation
Chen et al. A color-guided, region-adaptive and depth-selective unified framework for Kinect depth recovery
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
Tallón et al. Upsampling and denoising of depth maps via joint-segmentation
Angot et al. A 2D to 3D video and image conversion technique based on a bilateral filter
Chen et al. Depth map generation based on depth from focus
Tung et al. Multiple depth layers and all-in-focus image generations by blurring and deblurring operations
KR100446414B1 (ko) 계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오혼합 현실 영상 합성 장치 및 그 방법
Quan et al. A depth enhancement strategy for kinect depth image
Gao et al. Multiscale phase congruency analysis for image edge visual saliency detection
Banitalebi-Dehkordi et al. Saliency inspired quality assessment of stereoscopic 3D video
Tung et al. Depth extraction from a single image and its application
Zhu et al. Toward the ghosting phenomenon in a stereo-based map with a collaborative RGB-D repair
Nguyen et al. Accuracy and robustness evaluation in stereo matching
JP7341712B2 (ja) 画像処理装置、画像処理方法、撮像装置、およびプログラム
Cai et al. Boundary-preserving depth upsampling without texture copying artifacts and holes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant