CN110197506A - 一种基于可变高度旋转平行四边形的光场深度估计方法 - Google Patents

一种基于可变高度旋转平行四边形的光场深度估计方法 Download PDF

Info

Publication number
CN110197506A
CN110197506A CN201910463742.0A CN201910463742A CN110197506A CN 110197506 A CN110197506 A CN 110197506A CN 201910463742 A CN201910463742 A CN 201910463742A CN 110197506 A CN110197506 A CN 110197506A
Authority
CN
China
Prior art keywords
depth
plane image
polar plane
parallelogram
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910463742.0A
Other languages
English (en)
Other versions
CN110197506B (zh
Inventor
朴永日
张淼
宁琪琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201910463742.0A priority Critical patent/CN110197506B/zh
Publication of CN110197506A publication Critical patent/CN110197506A/zh
Application granted granted Critical
Publication of CN110197506B publication Critical patent/CN110197506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于可变高度旋转平行四边形的光场深度估计方法，包括以下步骤：A、输入四维光场数据生成对极平面图像；B、运用可变高度的旋转平行四边形运算符(HSPO)对对极平面图像进行数据计算，得到距离度量；C、对所述距离度量进行置信、加权得到最终距离度量；D、得到滤波后的距离度量体积；E、根据所述滤波后的距离度量体积，得到初始深度图；F、对所述初始深度图进行处理得到平滑深度图；G、对所述平滑深度图运用软抠图算法，得到最终深度图。本发明提供的光场深度估计方法不仅具有能够处理减弱遮挡物对深度估计的消极影响，提升弱纹理区域的局部深度估计精度的特点，而且对合成光场数据和真实光场数据都有效。

Description

一种基于可变高度旋转平行四边形的光场深度估计方法
技术领域
本发明涉及一种光场深度估计方法，具体地说是一种基于可变高度旋转平行四边形的光场深度估计方法。
背景技术
深度是指空间场景中的物体到相机平面的远近距离。由于场景的深度线索能够有效地呈现出观测物的空间几何结构信息，使其在自动驾驶、虚拟现实、医疗、目标识别与跟踪和显著性检测等领域中有着重要的作用。因此，深度估计向来是计算机视觉中的重点研究课题。传统的单目、双目及多目深度估计只考虑了场景光线的强度信息，而忽略了场景光线的传播方向，所以得到的深度图精确度比较低，特别是遮挡、反光、弱纹理和噪声污染等情况发生时。
Gershun在1936年提出光场的概念，将其定义为光辐射在空间各个位置向各个方向的传播。他认为，到达空间不同点处的光辐射量连续变化，能够通过几何分析进而积分的方法来计算像面上每点的光辐射量。光场图像不仅能够捕捉到了空间场景中每一点积累的强度，而且还能够捕捉到每一条光线的方向。但是，由于计算量庞大，能够进行高次运算的计算机尚未出现，所以当时未能对其理论进行验证和应用。随着计算机技术的不断发展和微透镜制作精度的提高，Adelson于1992年将光场理论成功运用到计算机视觉，并提出全光场理论(Plenoptic theory)。随后几年，全光场函数经历了从七维、五维至四维的转换，使其更适合实际应用中的记录和处理。
目前主流的基于光场的深度估计的主流算法主要分成基于多视图立体匹配的深度估计方法、基于重聚焦的深度估计方法、基于对极平面图像的深度估计方法。每种方法都有各自的优缺点：多视角深度估计方法利用不同视角间的匹配关系估计场景深度，能够有效消除视角串扰及光场混叠效应的影响，但对遮挡场景的鲁棒性较差，并且多个视角间虚拟相机的基线太短可能会导致误匹配的问题；基于重聚焦的深度估计对焦点堆栈图像进行聚焦性检测来精确估计场景深度，可以保留更多细节，但精确性较差，且不适用于非朗伯面、遮挡等复杂场景；基于对极平面图像的深度估计方法根据对极平面图像的极线斜率和场景深度成比例关系来提取深度信息，能够在一定程度上减轻镜面反射光及深度不连续区域的错误估计，对遮挡有一定鲁棒性，但是此类方法数据计算量较大，时间复杂度较高，并且估计结果容易受到噪声影响。
1996年，Levoy提出双平面参数化法表征光场，他认为，自由空间中的所有光线都能够用两个相互平行的平面来表示。通过固定两个平面上的某些坐标轴，即抽取光场图像阵列中某一行(列)图像，将它们同一行(列)上的像素组合成一幅新的记录了空间场景点移动轨迹的图像，称之为对极平面图像(Epipolar Plane Image，EPI)。对极平面图像由很多不同斜率的直线组成，这些直线记录了当视角沿某一方向移动时，各场景点在视角图像上对应的移动轨迹，即直线的斜率与对应场景点的深度有关，因此，重建中心视图场景深度的问题转化为求对极平面图像中直线斜率的问题。现有的基于对极平面图像的深度估计方法较少能明确处理遮挡和弱纹理区域的情况，一旦出现遮挡和弱纹理情况，深度估计容易出错。这在深度估计领域中是具有挑战性的问题。
发明内容
根据上述提出的技术问题，而提供一种基于可变高度旋转平行四边形的光场深度估计方法。本发明采用的技术手段如下：
一种基于可变高度旋转平行四边形的光场深度估计方法，包括以下步骤：
A、输入四维光场数据生成水平对极平面图像和垂直对极平面图像：
从输入的四维光场数据中的四维光场图像阵列中抽离多个中心水平视角图像和多个中心垂直视角图像，将多个所述水平视角图像中行号相同的像素按视角顺序组合得到所述水平对极平面图像，将多个所述垂直视角图像中列号相同的像素按视角顺序组合得到所述垂直对极平面图像；且将所述四维光场图像阵列中最中心的一个图像作为中心视图；
B、运用可变高度的旋转平行四边形运算符(HSPO)分别对所述水平对极平面图像和所述垂直对极平面图像进行数据计算，并得到所述水平对极平面图像所有深度的距离度量和所述垂直对极平面图像所有深度的距离度量；
C、所述水平对极平面图像所有深度的距离度量和所述垂直对极平面图像所有深度的距离度量进行置信、加权得到最终距离度量；
D、所有所述最终距离度量组成距离度量体积，将所述中心视图作为引导图，并运用引导滤波按照深度对所述距离度量体积进行滤波，得到多个不同深度所对应的滤波后的距离度量，多个所述滤波后的距离度量组成滤波后的距离度量体积；此步骤是为了实现将深度扩散至弱纹理区域，并且实现保边去噪的功能；
E、根据所述滤波后的距离度量体积，求取中心视图内每一空间点的最大距离度量所对应的深度，并将其作为该点的局部深度，得到一幅初始深度图；
F、根据马尔科夫随机场构建能量函数，并通过最小化所述能量函数对所述初始深度图进行平滑和去除噪声后得到一幅平滑深度图；
G、对所述平滑深度图运用软抠图(soft matting)算法进一步强化边缘细节，得到一幅最终深度图。
进一步地，在所述步骤B中，水平对极平面图像和垂直对极平面图像由各场景点的投影极线构成，场景点的深度与投影极线的斜率有关。对于未被遮挡的场景点，其在对极平面图像中的投影是完整的极线；而对于存在遮挡的场景点，其在对极平面图像上的投影极线会被遮挡物的投影截断，此时运用传统算法会出现深度估计失误的情况。为了排除遮挡物对被遮挡点深度估计的影响，本发明提出了一种基于可变高度旋转平行四边形的光场深度估计方法，运用基于可变高度的旋转平行四边形运算符(HSPO)分别对步骤A得到的水平对极平面图像和垂直对极平面图像计算不同深度下的距离度量。可变高度的旋转平行四边形运算符(HSPO)通过动态地改变平行四边形的高度来排除遮挡物，通过求平行四边形内部中心线两侧区域的距离度量对平行四边形方向的最大响应来估测深度。
所述可变高度的旋转平行四边形运算符(HSPO)包括平行四边形的宽度和平行四边形的高度，根据所述可变高度的旋转平行四边形运算符(HSPO)得到所述水平对极平面图像所有深度的距离度量和所述垂直对极平面图像所有深度的距离度量，包括如下步骤：
B1、确定所述平行四边形的宽度：
所述平行四边形的宽度通过建立权重函数来确定，对于水平对极平面图像上的一点P(xr,sr)，通过下式对平行四边形的相应像素进行加权：
其中，wθ(i,j)代表像素(i，j)的权重；i表示像素(i，j)所在的列，j表示像素(i、j)所在的行，C为归一化参数，θ为所述平行四边形的取向角度，为所述平行四边形的中心线与X轴的夹角，disθ(i,j)是所述像素(i，j)与所述中心线的水平距离，disθ(i,j)＝i-(xr+(j-sr)·cotθ)；所述α是由数据的复杂性决定的尺度参数，对于所述水平对极平面图像所对应的平行四边形的宽度为6α；
对于垂直对极平面图像上的一点P(yr,tr)，通过下式对定义窗口中的相应像素进行加权：
其中，wθ(i,j)代表像素(i，j)的权重；i表示像素(i，j)所在的行，j表示像素(i，j)所在的列，C为归一化参数，θ为所述平行四边形的取向角度，为所述中心线与Y轴的夹角，disθ(i,j)是像素(i，j)与所述中心线的垂直距离，disθ(i,j)＝i-(yr+(j-tr)·cotθ)；所述α是由数据的复杂性决定的尺度参数，对于所述垂直对极平面图像所对应的平行四边形的宽度为6α。
B2、确定所述平行四边形的高度：
取向角度为θ的所述平行四边形的高度通过比较中心线上每一像素与参考点之间的颜色相似度决定；
对于水平对极平面图像当时，mθ(j)＝1，保留点所在的行；当时，mθ(j)＝0，排除点所在的行；进而确定所述平行四边形在所述水平对极平面图像的高度；其中，P(xr,sr)是参考点，是平行四边形中心线上的一点，i表示这一点所在的列，j表示这一点所在的行，τ为设定的阈值；进而确定所述平行四边形在所述水平对极平面图像的高度；
对于垂直对极平面图像当时，mθ(j)＝1，保留点所在的列；当时，mθ(j)＝0，排除点所在的列：其中，P(yr,tr)是参考点，是平行四边形中心线上的一点，i表示这一点所在的行，j表示这一点所在的列，τ为设定的阈值；进而确定所述平行四边形在所述垂直对极平面图像的高度；
B3、得到水平对极平面图像中各点的所有深度的距离度量和所述垂直对极平面图像中各点所有深度的距离度量：
所述距离度量为所述中心线两侧区域的颜色直方图差异和中心线颜色相似性线索的乘积；
不同深度对应不同取向的HSPO，水平对极平面图像中点P(xr,sr)在θ角取向下HSPO的距离度量为：
公式(3)中，表示所述颜色直方图差异，述步骤B2后保留在所述平行四边形中心线两侧区域的像素分布的差异距离；Sθ(xr,sr)表示所述中心线颜色相似性线索，其用于衡量经所述步骤B2后保留的取向角度为θ的所述平行四边形中心线上每一点与所述参考点P(xr,sr)之间的颜色相似性；
公式(4)中，bin代表将所述颜色直方图中0～1的像素值分成等距离的bin份；p为所述颜色直方图中每份像素值；hθ和gθ分别是所述平行四边形中由所述中心线分离的两个区域的颜色直方图；
公式(5)中，是经所述步骤B2后保留在所述平行四边形中心线上的点；
不同深度对应不同取向的HSPO，垂直对极平面图像在θ角取向下的HSPO的距离度量为：
公式(6)中，表示所述颜色直方图差异，其用于度量经所述步骤B2后保留在所述平行四边形中心线两侧区域的像素分布的差异距离；Sθ(yr,tr)表示所述中心线颜色相似性线索，其用于衡量经所述步骤B2后保留的取向角度为θ的所述平行四边形中心线上每一点与所述参考点P(yr,tr)之间的颜色相似性；
公式(7)中，bin代表将所述颜色直方图中0～1的像素值分成等距离的bin份；p为所述颜色直方图中每份像素值；hθ和gθ分别是所述平行四边形中由所述中心线分离的两个区域的颜色直方图；
公式(8)中，是经所述步骤B2后保留在所述平行四边形中心线上的点。
进一步地，在所述步骤C中得到最终距离度量包括如下步骤：
C1：计算中心视图内每一空间点在水平对极平面图像和垂直对极平面图像上对应的距离度量的置信度c：其是为了减少噪声、伪影等因素对深度估计精度的影响；
其中，是(或)的均值，Dmax是(或)的最大值，σ是控制置信度敏感度的参数；
对于模糊区域，由于两侧像素分布相差不大，和Dmax的值都比较低，所以其置信度c也较低。对于遮挡区域，其对应的距离度量均值和最大值Dmax总是保持一个很高的值，其置信度c也较低。
C2：将所述中心视图内每一空间点在水平对极平面图像和垂直对极平面图像上对应的距离度量的置信度归一化；
C3：将归一化的置信度作为权重对水平对极平面图像和垂直对极平面图像上得到的距离度量进行加权得到最终距离度量Dx,y(θ)：
Dx,y(θ)＝c1Dy,t(x,s,θ)+c2Dx,s(y,t,θ) (11)
其中，Dy,t(x,s,θ)是所述四维光场图像阵列中最中心的一个图像中的点(x,y)在水平对极平面图像上的投影点使用所述HSPO在取向为θ时的距离度量，c1是对应的归一化后的置信度；Dx,s(y,t,θ)是所述点(x,y)在垂直对极平面图像上的投影点使用HSPO在取向为θ时的距离度量，c2是对应的归一化后的置信度。
在所述步骤E中，根据所述滤波后的距离度量体积，求取中心视图内每一空间点的最大距离度量对应的深度，并将其作为该点的局部深度d'(x,y)；
其中，Dx,y(θ)是步骤D得到的滤波后的距离度量。
在所述步骤F中所述能量函数由一元数据项和二元约束项构成，具体的结构如下：
其中，p和q是两个相邻的像素，平滑深度图中p像素点和q像素点的深度值，Eunary是一元数据项，用于衡量像素在各深度下的匹配成本；Ebinary是相邻点间的平滑约束二元项，用于衡量相邻点间的平滑度：
其中，是所述中心视图的梯度；k是加权因子；κ是调整p、q两点间平滑度的尺度参数；edg是所述中心视图通过边缘检测二值化后的边缘图，取值为0或1，置于分母用于保护边缘。
在所述步骤G中，所述软抠图算法如下：
式中，为步骤F中得到的平滑深度图，n为视为前景的噪声，d为视为背景的最终深度图，η是前景不透明度：L是拉普拉斯抠图矩阵(Thematting Laplacianmatrix)，U是与L有相同大小的单位矩阵，λ是权重系数。
所述四维光场数据包括合成光场图像数据和真实光场图像数据。
所述步骤B1中所述的α取值为0.8，所述步骤B2中所述的τ取值为2；所述步骤B3中所述的bin取32、64或128中一种。
所述步骤F中所述的κ取值为0.1，k取值为0.1。
所述步骤G中所述的λ取值为0.0001。
与现有技术相比，本发明具有以下有益效果：
本发明借助光场图像生成的对极平面图像与深度的映射关系，提出一种适用于合成光场数据和真实光场数据的光场深度估计方法，该方法对多样化遮挡和弱纹理区域具有鲁棒性。首先，本发明提出能够处理遮挡和弱纹理情况的可变高度的旋转平行四边形运算符，通过比较中心线上各像素与中心像素的相似程度来动态改变平行四边形的高度，进而实现移除遮挡物像素的功能；通过将中心线剩余部分颜色相似度添加到距离度量中来提升可变高度的旋转平行四边形运算符对弱纹理区域的局部深度估计精度。随后，本发明提出了由能量模型优化和soft matting算法组成的弱纹理-边缘优化操作来进一步优化弱纹理和边缘区域的深度，本发明通过在能量模型的二元项分母添加一项边缘约束来进一步在平滑的同时保护边缘细节，运用soft matting去除能量模型优化可能产生的黏连现象，进一步强化边缘细节。本发明光场深度估计方法不仅具有能够处理减弱遮挡物(单遮挡、多遮挡)对深度估计的消极影响，提升弱纹理区域的局部深度估计精度的特点，而且对合成光场数据和真实光场数据都有效。
基于上述理由本发明可在场景深度估计等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明具体实施方式中一种基于可变高度旋转平行四边形的光场深度估计方法流程图。
图2是本发明具体实施方式中可变高度的旋转平行四边形运算符原理图之未遮挡区域的处理；
图3是本发明具体实施方式中可变高度的旋转平行四边形运算符原理图之单遮挡区域的处理。
图4是本发明具体实施方式中可变高度的旋转平行四边形运算符原理图之多遮挡区域的处理。
图5是本发明具体实施方式中可变高度的旋转平行四边形运算符原理图之弱纹理区域的处理。
图6(a)是本发明具体实施方式中步骤D中所提到的中心视图图像。
图6(b)是本发明具体实施方式中步骤E所得到的图像。
图6(c)是本发明具体实施方式中步骤F所得到的图像。
图6(d)是本发明具体实施方式中步骤G所得到的图像。
图7是各光场深度估计方法在合成光场数据上的对比实验。
图7(a)是图7中各光场深度估计方法在合成光场数据上的对比实验1。
图7(b)是图7中各光场深度估计方法在合成光场数据上的对比实验2。
图8是各光场深度估计方法在真实光场数据上的对比实验；
图8(a)为图8中为对比各方法对透明物场景的深度估计结果图像；
图8(b)为图8中为对比各方法对遮挡场景的深度估计结果图像；
图8(c)为图8中对比各方法对镜面反射场景的深度估计结果图像；
图8(d)为图8中对比各方法对一般场景的深度估计结果图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于可变高度旋转平行四边形的光场深度估计方法，包括以下步骤：
A、输入四维光场数据生成水平对极平面图像和垂直对极平面图像：
从输入的四维光场数据中的四维光场图像阵列中抽离多个中心水平视角图像和多个中心垂直视角图像，将多个所述水平视角图像中行号相同的像素按视角顺序组合得到所述水平对极平面图像，将多个所述垂直视角图像中列号相同的像素按视角顺序组合得到所述垂直对极平面图像；且将所述四维光场图像阵列中最中心的一个图像作为中心视图；
B、运用可变高度的旋转平行四边形运算符(HSPO)分别对所述水平对极平面图像和所述垂直对极平面图像进行数据计算，并得到所述水平对极平面图像所有深度的距离度量和所述垂直对极平面图像所有深度的距离度量；
进一步地，在所述步骤B中，水平对极平面图像和垂直对极平面图像由各场景点的投影极线构成，场景点的深度与投影极线的斜率有关。对于未被遮挡的场景点，其在对极平面图像中的投影是完整的极线；而对于存在遮挡的场景点，其在对极平面图像上的投影极线会被遮挡物的投影截断，此时运用传统算法会出现深度估计失误的情况。为了排除遮挡物对被遮挡点深度估计的影响，本发明提出了一种基于可变高度旋转平行四边形的光场深度估计方法，运用基于可变高度的旋转平行四边形运算符(HSPO)分别对步骤A得到的水平对极平面图像和垂直对极平面图像计算不同深度下的距离度量。可变高度的旋转平行四边形运算符(HSPO)通过动态地改变平行四边形的高度来排除遮挡物，通过求平行四边形内部中心线两侧区域的距离度量对平行四边形方向的最大响应来估测深度。
所述可变高度的旋转平行四边形运算符(HSPO)包括平行四边形的宽度和平行四边形的高度，根据所述可变高度的旋转平行四边形运算符(HSPO)得到所述水平对极平面图像所有深度的距离度量和所述垂直对极平面图像所有深度的距离度量，包括如下步骤：
B1、确定所述平行四边形的宽度：
所述平行四边形的宽度通过建立权重函数来确定，对于水平对极平面图像上的一点P(xr,sr)，通过下式对平行四边形的相应像素进行加权：
其中，wθ(i,j)代表像素(i，j)的权重；i表示像素(i，j)所在的列，j表示像素(i、j)所在的行，C为归一化参数，θ为所述平行四边形的取向角度，为所述平行四边形的中心线与X轴的夹角，disθ(i,j)是所述像素(i，j)与所述中心线的水平距离，disθ(i,j)＝i-(xr+(j-sr)·cotθ)；平行四边形中心线上的像素权重为0，平行四边形中距离中心线的水平距离越小的像素权重越大，水平距离越大则权重越小。所述α是由数据的复杂性决定的尺度参数，本实施例中取值为0.8，对于所述水平对极平面图像所对应的平行四边形的宽度为6α；
对于垂直对极平面图像上的一点P(yr,tr)，通过下式对定义窗口中的相应像素进行加权：
其中，wθ(i,j)代表像素(i，j)的权重；i表示像素(i，j)所在的行，j表示像素(i，j)所在的列，C为归一化参数，θ为所述平行四边形的取向角度，为所述中心线与Y轴的夹角，disθ(i,j)是像素(i，j)与所述中心线的垂直距离，disθ(i,j)＝i-(yr+(j-tr)·cotθ)；所述α是由数据的复杂性决定的尺度参数，对于所述垂直对极平面图像所对应的平行四边形的宽度为6α。
B2、确定所述平行四边形的高度：
取向角度为θ的所述平行四边形的高度通过比较中心线上每一像素与参考点之间的颜色相似度决定；
对于水平对极平面图像当时，mθ(j)＝1，保留点所在的行；当时，mθ(j)＝0，排除点所在的行；进而确定所述平行四边形在所述水平对极平面图像的高度；其中，P(xr,sr)是参考点，是平行四边形中心线上的一点，i表示这一点所在的列，j表示这一点所在的行，τ为设定的阈值；进而确定所述平行四边形在所述水平对极平面图像的高度；τ为设定的阈值为2(实际可根据不同场景及判断严苛程度进行调整)；即当中心线上某一点的与参考点的相似度大于设定的阈值τ时，便保留平行四边形中这一点所在的行。相反，当中心线上某一点的与参考点的相似度小于设定的阈值τ时，便排除平行四边形中这一点所在的行。进而确定所述平行四边形在所述垂直对极平面图像的高度；
对于垂直对极平面图像当时，mθ(j)＝1，保留点所在的列；当时，mθ(j)＝0，排除点所在的列：其中，P(yr,tr)是参考点，是平行四边形中心线上的一点，i表示这一点所在的行，j表示这一点所在的列，τ为设定的阈值；进而确定所述平行四边形在所述垂直对极平面图像的高度；
B3、得到水平对极平面图像中各点的所有深度的距离度量和所述垂直对极平面图像中各点所有深度的距离度量：
所述距离度量为所述中心线两侧区域的颜色直方图差异和中心线颜色相似性线索的乘积；
不同深度对应不同取向的HSPO，水平对极平面图像中点P(xr,sr)在θ角取向下HSPO的距离度量为：
公式(3)中，表示所述颜色直方图差异，述步骤B2后保留在所述平行四边形中心线两侧区域的像素分布的差异距离；Sθ(xr,sr)表示所述中心线颜色相似性线索，其用于衡量经所述步骤B2后保留的取向角度为θ的所述平行四边形中心线上每一点与所述参考点P(xr,sr)之间的颜色相似性；
公式(4)中，bin代表将所述颜色直方图中0～1的像素值分成等距离的bin份；p为所述颜色直方图中每份像素值；hθ和gθ分别是所述平行四边形中由所述中心线分离的两个区域的颜色直方图；
公式(5)中，是经所述步骤B2后保留在所述平行四边形中心线上的点；
不同深度对应不同取向的HSPO，垂直对极平面图像在θ角取向下的HSPO的距离度量为：
公式(6)中，表示所述颜色直方图差异，其用于度量经所述步骤B2后保留在所述平行四边形中心线两侧区域的像素分布的差异距离；Sθ(yr,tr)表示所述中心线颜色相似性线索，其用于衡量经所述步骤B2后保留的取向角度为θ的所述平行四边形中心线上每一点与所述参考点P(yr,tr)之间的颜色相似性；
公式(7)中，bin代表将所述颜色直方图中0～1的像素值分成等距离的bin份；p为所述颜色直方图中每份像素值；hθ和gθ分别是所述平行四边形中由所述中心线分离的两个区域的颜色直方图；
公式(8)中，是经所述步骤B2后保留在所述平行四边形中心线上的点。
C、所述水平对极平面图像所有深度的距离度量和所述垂直对极平面图像所有深度的距离度量进行置信、加权得到最终距离度量；
在所述步骤C中得到最终距离度量包括如下步骤：
C1：计算中心视图内每一空间点在水平对极平面图像和垂直对极平面图像上对应的距离度量的置信度c：其是为了减少噪声、伪影等因素对深度估计精度的影响；
其中，是(或)的均值，Dmax是(或)的最大值，σ是控制置信度敏感度的参数；
对于模糊区域，由于两侧像素分布相差不大，和Dmax的值都比较低，所以其置信度c也较低。对于遮挡区域，其对应的距离度量均值和最大值Dmax总是保持一个很高的值，其置信度c也较低。
C2：将所述中心视图内每一空间点在水平对极平面图像和垂直对极平面图像上对应的距离度量的置信度归一化；
C3：将归一化的置信度作为权重对水平对极平面图像和垂直对极平面图像上得到的距离度量进行加权得到最终距离度量Dx,y(θ)：
Dx,y(θ)＝c1Dy,t(x,s,θ)+c2Dx,s(y,t,θ) (11)
其中，Dy,t(x,s,θ)是所述四维光场图像阵列中最中心的一个图像中的点(x,y)在水平对极平面图像上的投影点使用所述HSPO在取向为θ时的距离度量，c1是对应的归一化后的置信度；Dx,s(y,t,θ)是所述点(x,y)在垂直对极平面图像上的投影点使用HSPO在取向为θ时的距离度量，c2是对应的归一化后的置信度。
D、所有所述最终距离度量组成距离度量体积，将所述四维光场图像阵列中最中心的一个图像作为中心视图，将所述中心视图作为引导图，并运用引导滤波按照深度对所述距离度量体积进行滤波，得到多个不同深度所对应的滤波后的距离度量，多个所述滤波后的距离度量组成滤波后的距离度量体积；此步骤是为了实现将深度扩散至弱纹理区域，并且实现保边去噪的功能；
E、根据所述滤波后的距离度量体积，求取中心视图内每一空间点的最大距离度量所对应的深度，并将其作为该点的局部深度，得到一幅初始深度图；在所述步骤E中，根据所述滤波后的距离度量体积，求取中心视图内每一空间点的最大距离度量对应的深度，并将其作为该点的局部深度d'(x,y)；
其中，Dx,y(θ)是步骤D得到的滤波后的距离度量。
F、根据马尔科夫随机场构建能量函数，并通过最小化所述能量函数对所述初始深度图进行平滑和去除噪声后得到一幅平滑深度图；在所述步骤F中所述能量函数由一元数据项和二元约束项构成，具体的结构如下：
其中，p和q是两个相邻的像素，平滑深度图中p像素点和q像素点的深度值，Eunary是一元数据项，用于衡量像素在各深度下的匹配成本；Ebinary是相邻点间的平滑约束二元项，用于衡量相邻点间的平滑度：
其中，是所述中心视图的梯度；k是加权因子，取值0.1；κ是调整p，q两点平滑度的尺度参数，κ取值为0.1，edg是所述中心视图通过边缘检测二值化后的边缘图，取值为0或1，置于分母用于保护边缘。
G、对所述平滑深度图运用软抠图(softmatting)算法进一步强化边缘细节，得到一幅最终深度图。在所述步骤G中，所述软抠图算法如下：
式中，为步骤F中得到的平滑深度图，n为视为前景的噪声，d为视为背景的最终深度图，η是前景不透明度：L是拉普拉斯抠图矩阵(Thematting Laplacianmatrix)，U是与L有相同大小的单位矩阵，λ是权重系数，所述的λ取值为0.0001。
如图2所示，在步骤B中所述可变高度的旋转平行四边形运算符在未遮挡区域时，此时可变高度的旋转平行四边形运算符位于正确取向，由于不存在遮挡，可变高度的旋转平行四边形运算符的高度为水平对极平面图像和垂直对极平面图像的高度。
如图3所示，在步骤B中可变高度的旋转平行四边形运算符被单向遮挡，此时可变高度的旋转平行四边形运算符位于正确取向，由于存在遮挡，故图3中的1、2、3区域将被移除，保留4、5、6区域。
如图4所述，在步骤B中可变高度的旋转平行四边形运算符被多向遮挡，此时可变高度的旋转平行四边形运算符位于正确取向，由于存在遮挡，故图4中的1、2、3、8、9、10区域将被移除，保留4、5、6区域，此时平行四边形的的形体被圈出。
如图5所示，在步骤B中可变高度的旋转平行四边形运算符对弱纹理区域的处理，此时可变高度的旋转平行四边形运算符位于正确取向，颜色直方图差异和中心线颜色相似性线索一起发挥作用。
为证明本发明所提供的方法的优势，在合成光场数据上本方法与基于遮挡模型[1]的方法和基于SPO[2]的方法进行了两组对比实验，对比实验1效果图如图7(a)所示，对比实验2效果图如图7(b)所示。在真实光场数据上本方法与基于遮挡模型[1]的方法和基于SPO[2]的方法进行了四组对比实验，第一组对比实验为对透明物场景的深度估计，实验结果如图8(a)所示；第二组对比实验为对遮挡场景的深度估计，实验结果如图8(b)所示，第三组对比实验为对镜面反射场景的深度估计，实验结果如图8(c)所示，第四组对比实验为对一般场景的深度估计，实验结果如图8(d)所示。从上述图中可明显的观察出本发明所提供的方法深度估计结果最清晰。
[1]Wang T C,Efros A A,Ramamoorthi R.Occlusion-aware depth estimationusing light-field cameras[C].Proceedings of the IEEE International Conferenceon Computer Vision.2015:3487-3495.
[2]Zhang S,Sheng H,Li C,et al.Robust depth estimation for light fieldvia spinning parallelogram operator[J].Computer Vision and ImageUnderstanding,2016,145:148-159.
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于可变高度旋转平行四边形的光场深度估计方法，其特征在于：包括以下步骤：
A、输入四维光场数据生成水平对极平面图像和垂直对极平面图像：
从输入的四维光场数据中的四维光场图像阵列中抽离多个中心水平视角图像和多个中心垂直视角图像，将多个所述水平视角图像中行号相同的像素按视角顺序组合得到所述水平对极平面图像，将多个所述垂直视角图像中列号相同的像素按视角顺序组合得到所述垂直对极平面图像；且将所述四维光场图像阵列中最中心的一个图像作为中心视图；
B、运用可变高度的旋转平行四边形运算符(HSPO)分别对所述水平对极平面图像和所述垂直对极平面图像进行数据计算，并得到所述水平对极平面图像所有深度的距离度量和所述垂直对极平面图像所有深度的距离度量；
C、所述水平对极平面图像所有深度的距离度量和所述垂直对极平面图像所有深度的距离度量进行置信、加权得到最终距离度量；
D、所有所述最终距离度量组成距离度量体积，将所述中心视图作为引导图，并运用引导滤波按照深度对所述距离度量体积进行滤波，得到多个不同深度所对应的滤波后的距离度量，多个所述滤波后的距离度量组成滤波后的距离度量体积；
E、根据所述滤波后的距离度量体积，求取中心视图内每一空间点的最大距离度量所对应的深度，并将其作为该点的局部深度，得到一幅初始深度图；
F、根据马尔科夫随机场构建能量函数，并通过最小化所述能量函数对所述初始深度图进行平滑和去除噪声后得到一幅平滑深度图；
G、对所述平滑深度图运用软抠图(softmatting)算法进一步强化边缘细节，得到一幅最终深度图。
2.根据权利要求1所述的一种基于可变高度旋转平行四边形的光场深度估计方法，其特征在于：在所述步骤B中，所述可变高度的旋转平行四边形运算符(HSPO)包括平行四边形的宽度和平行四边形的高度，根据所述可变高度的旋转平行四边形运算符(HSPO)得到所述水平对极平面图像所有深度的距离度量和所述垂直对极平面图像所有深度的距离度量，包括如下步骤：
B1、确定所述平行四边形的宽度：
所述平行四边形的宽度通过建立权重函数来确定，对于水平对极平面图像上的一点P(xr,sr)，通过下式对平行四边形的相应像素进行加权：
其中，wθ(i,j)代表像素(i，j)的权重；i表示像素(i，j)所在的列，j表示像素(i、j)所在的行，C为归一化参数，θ为所述平行四边形的取向角度，为所述平行四边形的中心线与X轴的夹角，disθ(i,j)是所述像素(i，j)与所述中心线的水平距离，disθ(i,j)＝i-(xr+(j-sr)·cotθ)；所述α是由数据的复杂性决定的尺度参数，对于所述水平对极平面图像所对应的平行四边形的宽度为6α；
对于垂直对极平面图像上的一点P(yr,tr)，通过下式对定义窗口中的相应像素进行加权：
其中，wθ(i,j)代表像素(i，j)的权重；i表示像素(i，j)所在的行，j表示像素(i，j)所在的列，C为归一化参数，θ为所述平行四边形的取向角度，为所述中心线与Y轴的夹角，disθ(i,j)是像素(i，j)与所述中心线的垂直距离，disθ(i,j)＝i-(yr+(j-tr)·cotθ)；所述α是由数据的复杂性决定的尺度参数，对于所述垂直对极平面图像所对应的平行四边形的宽度为6α；
B2、确定所述平行四边形的高度：
取向角度为θ的所述平行四边形的高度通过比较中心线上每一像素与参考点之间的颜色相似度决定；
对于水平对极平面图像当时，mθ(j)＝1，保留点所在的行；当时，mθ(j)＝0，排除点所在的行；进而确定所述平行四边形在所述水平对极平面图像的高度；其中，P(xr,sr)是参考点，是平行四边形中心线上的一点，i表示这一点所在的列，j表示这一点所在的行，τ为设定的阈值；进而确定所述平行四边形在所述水平对极平面图像的高度；
对于垂直对极平面图像当时，mθ(j)＝1，保留点所在的列；当时，mθ(j)＝0，排除点所在的列：其中，P(yr,tr)是参考点，是平行四边形中心线上的一点，i表示这一点所在的行，j表示这一点所在的列，τ为设定的阈值；进而确定所述平行四边形在所述垂直对极平面图像的高度；
B3、得到水平对极平面图像中各点的所有深度的距离度量和所述垂直对极平面图像中各点所有深度的距离度量：
所述距离度量为所述中心线两侧区域的颜色直方图差异和中心线颜色相似性线索的乘积；
不同深度对应不同取向的HSPO，水平对极平面图像中点P(xr,sr)在θ角取向下HSPO的距离度量为：
公式(3)中，表示所述颜色直方图差异，述步骤B2后保留在所述平行四边形中心线两侧区域的像素分布的差异距离；Sθ(xr,sr)表示所述中心线颜色相似性线索，其用于衡量经所述步骤B2后保留的取向角度为θ的所述平行四边形中心线上每一点与所述参考点P(xr,sr)之间的颜色相似性；
公式(4)中，bin代表将所述颜色直方图中0～1的像素值分成等距离的bin份；p为所述颜色直方图中每份像素值；hθ和gθ分别是所述平行四边形中由所述中心线分离的两个区域的颜色直方图；
公式(5)中，是经所述步骤B2后保留在所述平行四边形中心线上的点；
不同深度对应不同取向的HSPO，垂直对极平面图像在θ角取向下的HSPO的距离度量为：
公式(6)中，表示所述颜色直方图差异，其用于度量经所述步骤B2后保留在所述平行四边形中心线两侧区域的像素分布的差异距离；Sθ(yr,tr)表示所述中心线颜色相似性线索，其用于衡量经所述步骤B2后保留的取向角度为θ的所述平行四边形中心线上每一点与所述参考点P(yr,tr)之间的颜色相似性；
公式(7)中，bin代表将所述颜色直方图中0～1的像素值分成等距离的bin份；p为所述颜色直方图中每份像素值；hθ和gθ分别是所述平行四边形中由所述中心线分离的两个区域的颜色直方图；
公式(8)中，是经所述步骤B2后保留在所述平行四边形中心线上的点。
3.根据权利要求2所述的一种基于可变高度旋转平行四边形的光场深度估计方法，其特征在于：
在所述步骤C中得到最终距离度量包括如下步骤：
C1：计算中心视图内每一空间点在水平对极平面图像和垂直对极平面图像上对应的距离度量的置信度c：
其中，是(或的均值，Dmax是(或的最大值，σ是控制置信度敏感度的参数；
C2：将所述中心视图内每一空间点在水平对极平面图像和垂直对极平面图像上对应的距离度量的置信度归一化；
C3：将归一化的置信度作为权重对水平对极平面图像和垂直对极平面图像上得到的距离度量进行加权得到最终距离度量Dx,y(θ)：
Dx,y(θ)＝c1Dy,t(x,s,θ)+c2Dx,s(y,t,θ) (11)
其中，Dy,t(x,s,θ)是所述四维光场图像阵列中最中心的一个图像中的点(x,y)在水平对极平面图像上的投影点使用所述HSPO在取向为θ时的距离度量，c1是对应的归一化后的置信度；Dx,s(y,t,θ)是所述点(x,y)在垂直对极平面图像上的投影点使用HSPO在取向为θ时的距离度量，c2是对应的归一化后的置信度。
4.根据权利要求1所述的一种基于可变高度旋转平行四边形的光场深度估计方法，其特征在于：在所述步骤E中，根据所述滤波后的距离度量体积，求取中心视图内每一空间点的最大距离度量对应的深度，并将其作为该点的局部深度d'(x,y)；
其中，Dx,y(θ)是步骤D得到的滤波后的距离度量。
5.根据权利要求1所述的一种基于可变高度旋转平行四边形的光场深度估计方法，其特征在于：在所述步骤F中所述能量函数由一元数据项和二元约束项构成，具体的结构如下：
其中，p和q是两个相邻的像素，平滑深度图中p像素点和q像素点的深度值，Eunary是一元数据项，用于衡量像素在各深度下的匹配成本；Ebinary是相邻点间的平滑约束二元项，用于衡量相邻点间的平滑度：
其中，是所述中心视图的梯度；k是加权因子；κ是调整p、q两点间平滑度的尺度参数；edg是所述中心视图通过边缘检测二值化后的边缘图，取值为0或1。
6.根据权利要求5所述的一种基于可变高度旋转平行四边形的光场深度估计方法，其特征在于：在所述步骤G中，所述软抠图算法如下：
式中，为步骤F中得到的平滑深度图，n为视为前景的噪声，d为视为背景的最终深度图，η是前景不透明度：L是拉普拉斯抠图矩阵(The matting Laplacian matrix)，U是与L有相同大小的单位矩阵，λ是权重系数。
7.根据权利要求1一种基于可变高度旋转平行四边形的光场深度估计方法，其特征在于：所述四维光场数据包括合成光场图像数据和真实光场图像数据。
8.根据权利要求2所述的一种基于可变高度旋转平行四边形的光场深度估计方法，其特征在于：所述步骤B1中所述的α取值为0.8，所述步骤B2中所述的τ取值为2；所述步骤B3中所述的bin取32、64或128中一种。
9.根据权利要求5所述的一种基于可变高度旋转平行四边形的光场深度估计方法，其特征在于：所述步骤F中所述的κ取值为0.1，k取值为0.1。
10.根据权利要求6所述的一种基于可变高度旋转平行四边形的光场深度估计方法，其特征在于：所述步骤G中所述的λ取值为0.0001。
CN201910463742.0A 2019-05-30 2019-05-30 一种基于可变高度旋转平行四边形的光场深度估计方法 Active CN110197506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910463742.0A CN110197506B (zh) 2019-05-30 2019-05-30 一种基于可变高度旋转平行四边形的光场深度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910463742.0A CN110197506B (zh) 2019-05-30 2019-05-30 一种基于可变高度旋转平行四边形的光场深度估计方法

Publications (2)

Publication Number Publication Date
CN110197506A true CN110197506A (zh) 2019-09-03
CN110197506B CN110197506B (zh) 2023-02-17

Family

ID=67753547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910463742.0A Active CN110197506B (zh) 2019-05-30 2019-05-30 一种基于可变高度旋转平行四边形的光场深度估计方法

Country Status (1)

Country Link
CN (1) CN110197506B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215879A (zh) * 2020-09-25 2021-01-12 北京交通大学 一种光场极平面图像的深度提取方法
CN114897951A (zh) * 2022-05-30 2022-08-12 中国测绘科学研究院 聚合多视角深度信息的单张光场影像深度估计方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598744A (zh) * 2015-01-27 2015-05-06 北京工业大学 一种基于光场的深度估计方法
US20160212409A1 (en) * 2015-01-21 2016-07-21 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
CN106952299A (zh) * 2017-03-14 2017-07-14 大连理工大学 一种适用于智能移动设备的三维光场技术实现方法
CN108154528A (zh) * 2017-12-05 2018-06-12 西北工业大学 基于广义对极平面图的光场深度估计方法
CN108564620A (zh) * 2018-03-27 2018-09-21 中国人民解放军国防科技大学 一种针对光场阵列相机的场景深度估计方法
CN108596965A (zh) * 2018-03-16 2018-09-28 天津大学 一种光场图像深度估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160212409A1 (en) * 2015-01-21 2016-07-21 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
CN104598744A (zh) * 2015-01-27 2015-05-06 北京工业大学 一种基于光场的深度估计方法
CN106952299A (zh) * 2017-03-14 2017-07-14 大连理工大学 一种适用于智能移动设备的三维光场技术实现方法
CN108154528A (zh) * 2017-12-05 2018-06-12 西北工业大学 基于广义对极平面图的光场深度估计方法
CN108596965A (zh) * 2018-03-16 2018-09-28 天津大学 一种光场图像深度估计方法
CN108564620A (zh) * 2018-03-27 2018-09-21 中国人民解放军国防科技大学 一种针对光场阵列相机的场景深度估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUOZHANG等: "Robust depth estimation for light field via spinning parallelogram operator", 《COMPUTERVISIONANDIMAGEUNDERSTANDING》 *
李成云: "遮挡场景的光场图像深度估计方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215879A (zh) * 2020-09-25 2021-01-12 北京交通大学 一种光场极平面图像的深度提取方法
CN114897951A (zh) * 2022-05-30 2022-08-12 中国测绘科学研究院 聚合多视角深度信息的单张光场影像深度估计方法及系统
CN114897951B (zh) * 2022-05-30 2023-02-28 中国测绘科学研究院 聚合多视角深度信息的单张光场影像深度估计方法及系统

Also Published As

Publication number Publication date
CN110197506B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
Sheng et al. Occlusion-aware depth estimation for light field using multi-orientation EPIs
CN107862698B (zh) 基于k均值聚类的光场前景分割方法及装置
Xu et al. Transcut: Transparent object segmentation from a light-field image
CN105282443B (zh) 一种全景深全景图像成像方法
CN104318561B (zh) 基于双目立体视觉与光流融合的车辆运动信息检测方法
WO2016176840A1 (zh) 深度图/视差图的后处理方法和装置
US20200349757A1 (en) Object capture coverage evaluation
CN104424640B (zh) 对图像进行虚化处理的方法和装置
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
Basha et al. Structure and motion from scene registration
CN103348384A (zh) 使用边缘检测和描影器再使用的多视图光线跟踪
CN110910431B (zh) 一种基于单目相机多视点三维点集恢复方法
CN110209184A (zh) 一种基于双目视觉系统的无人机避障方法
Sheng et al. Geometric occlusion analysis in depth estimation using integral guided filter for light-field image
CN112344923B (zh) 一种机器人的定位方法及其定位装置
CN105913013A (zh) 双目视觉人脸识别算法
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
CN110197506A (zh) 一种基于可变高度旋转平行四边形的光场深度估计方法
CN106530328A (zh) 一种基于视频图像对运动目标检测和平滑跟随的方法
Vu et al. Efficient hybrid tree-based stereo matching with applications to postcapture image refocusing
Hog et al. An image rendering pipeline for focused plenoptic cameras
CN113887624A (zh) 一种基于双目视觉的改进特征立体匹配方法
CN107093182B (zh) 一种基于特征拐点的人体高度估计方法
CN108510544A (zh) 一种基于特征聚类的光条定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant