CN108596965B - 一种光场图像深度估计方法 - Google Patents

一种光场图像深度估计方法 Download PDF

Info

Publication number
CN108596965B
CN108596965B CN201810220337.1A CN201810220337A CN108596965B CN 108596965 B CN108596965 B CN 108596965B CN 201810220337 A CN201810220337 A CN 201810220337A CN 108596965 B CN108596965 B CN 108596965B
Authority
CN
China
Prior art keywords
depth
image
light field
energy function
depth estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810220337.1A
Other languages
English (en)
Other versions
CN108596965A (zh
Inventor
雷建军
范晓婷
侯春萍
张凝
罗晓维
韩梦芯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810220337.1A priority Critical patent/CN108596965B/zh
Publication of CN108596965A publication Critical patent/CN108596965A/zh
Application granted granted Critical
Publication of CN108596965B publication Critical patent/CN108596965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20228Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种光场图像深度估计方法,包括:利用基于光场结构特性引导的深度估计,计算考虑遮挡问题下的光场图像中心视点的彩色图的深度图;利用所述深度图的梯度信息作为马尔科夫随机域框架中对全局深度进行优化的能量函数平滑项;采用多尺度多窗口的立体匹配,计算与中心视点图像在同一水平位置上其他视点与中心视点的视差;通过基于光流的方法对所述视差进行插值处理,最后利用光场图像特点得到的深度估计结果作为马尔科夫随机域框架中对全局深度进行优化的能量函数数据项;考虑存在遮挡时遮挡区域会影响对象边界深度估计,将遮挡区域预测器与能量函数平滑项相结合,有效减弱遮挡区域的误差深度值对全局深度优化过程的影响。

Description

一种光场图像深度估计方法
技术领域
本发明涉及图像处理以及立体视觉技术领域,尤其涉及一种针对光场图像的深度估计方法。
背景技术
近年来,光场成像技术作为一种真三维立体显示技术,取得了快速发展。由于光场成像的特殊成像原理,即光场成像设备可以同时记录空间中的光线位置与角度信号,使得景深调节、视点变换以及先拍摄后聚焦成为可能。光场相机由主镜头、透镜阵列和成像传感器组成,通过一次曝光可以获取拍摄场景的三维信息。同时,光场相机还具有还原拍摄场景深度信息的能力,从而使得立体视觉成像系统的结构更加简洁,简化了场景深度信息的获取过程。因此,针对光场相机获取的光场图像进行深度估计技术具有重要的理论研究和实际应用价值。
长久以来,深度估计一直是计算机视觉领域关注的重点之一。针对人类视觉系统中不同的深度线索(如视差、模糊、阴影、以及纹理等),研究人员提出了不同的场景深度估计方法。但是,大多数深度估计方法仍依赖视差线索。在此基础上,基于区域和特征的匹配方法更是图像深度估计中的经典方法。目前,结合场景分割理论和全局优化理论,基于视差线索的方法获得较高的深度估计精度。但是,现有视差法仍存在深度估计过程不鲁棒的问题。一个原因是自然场景的复杂性,如遮挡、重复纹理、以及深度不连续等情况。另一个原因是采集系统对场景采样的视角不足、信噪比低,如传统双目或多目系统视点较少、普遍存在图像噪声与模糊。
由于光场采集系统提供的视点较多、数据集包含的光线角度采样信息量较大,这些特点为高质量的视差估计提供了数据保证。Wanner等采用结构张量在二维光场外极面图像(Epipolar Plane Image,EPI)上计算像素匹配方向以实现对场景的深度估计。Yu等针对便携式光场相机数据提出了对遮挡鲁棒的迭代深度估计方法,通过求解不同子视点图像的匹配关系实现了深度估计。之后,Yu等又提出了一种基于约束Delaunay三角化的光场图像分割方法,并采用基于直线约束的全局优化方法求取场景深度。Suzuki等提出一种考虑视差信息的深度获取方法,在EPI结构张量分析之前引入剪切值进行剪切变换,再对置信图进行平滑处理,进而通过积分得到最终的视差图。
发明人在实现本发明的过程中,发现现有技术中至少存在以下缺点和不足:
现有的光场图像深度估计方法,无法均衡地对主要对象和背景进行深度估计,需要平衡对象边界深度估计锐化、对象内部的深度变化区域过渡过于突兀、以及背景深度估计不准确等情况。
发明内容
本发明提供了一种光场图像深度估计方法,本发明考虑了立体匹配和光场结构特性,设计了一种针对光场图像深度估计的优化模型,实现对光场图像准确深度估计、同时有效平衡深度边界锐化,避免背景估计不准确的现象,详见下文描述:
一种光场图像深度估计方法,所述方法包括以下步骤:
利用基于光场结构特性引导的深度估计,计算考虑遮挡问题下的光场图像中心视点的彩色图的深度图;
利用所述深度图的梯度信息作为马尔科夫随机域框架中对全局深度进行优化的能量函数平滑项;
采用多尺度多窗口的立体匹配,计算与中心视点图像在同一水平位置上其他视点与中心视点的视差;
通过基于光流的方法对所述视差进行插值处理,最后利用光场图像特点得到的深度估计结果作为马尔科夫随机域框架中对全局深度进行优化的能量函数数据项;
考虑存在遮挡时遮挡区域会影响对象边界深度估计,将遮挡区域预测器与能量函数平滑项相结合,有效减弱遮挡区域的误差深度值对全局深度优化过程的影响。
所述能量函数平滑项具体为:
Figure BDA0001599542640000021
其中,
Figure BDA0001599542640000022
为中心视点彩色图像的梯度,k和w为权重因素,
Figure BDA0001599542640000023
为基于光场结构方法的预测深度图的梯度,Pocc(p)和Pocc(q)分别为相邻像素的遮挡区域预测器的值;分子表示平滑约束项,而分母则可在相邻像素差异明显、可能存在遮挡或者处于对象边界时弱化该分子表示的平滑约束项。
所述能量函数数据项具体为:
Figure BDA0001599542640000031
其中,d为最终的深度值,p为相邻像素,σ为对原始图像进行下采样的采样因子的标准差。
本发明提供的技术方案的有益效果是:
1、本发明在保留深度图结构特性的同时恢复对象的锐利边界,准确得到光场图像清晰的深度边界、并修正背景中不准确的深度估计结果,最终得到高质量的深度估计;
2、本发明还可以增强所获立体图像的清晰度和深度感,同时提供有效的深度信息,并获得良好的立体视觉感知。
附图说明
图1为一种光场图像深度估计方法的流程图;
图2为利用本发明对光场图像进行深度估计的实验结果的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
为了克服现有技术中的不足,本发明实施例以稠密立体匹配得到的深度估计结果作为基础,联合光场结构信息,在马尔科夫随机域中对全局深度进行迭代优化。在优化过程中,数据项考虑基于立体匹配的深度估计结果,平滑项联合基于光场结构深度估计的梯度信息。同时,将遮挡区域预测器与能量函数平滑项结合,有效减弱遮挡区域的误差深度值对全局深度优化过程的影响,具体的技术方案主要包括以下几个步骤:
101:利用基于光场结构特性引导的深度估计,计算考虑遮挡问题下的光场图像中心视点的彩色图的深度图;
其中,该步骤通过基于光场结构特性引导的深度估计方法可以获得锐利的对象边界。
102:采用多尺度多窗口的立体匹配,计算与中心视点图像在同一水平位置上其他视点与中心视点的视差;
103:通过基于光流的方法对视差进行插值处理,最后利用光场图像的特点得到深度估计结果;
其中,基于立体匹配的方法能够得到背景平滑过渡的深度图。
104:联合光场结构特征和立体匹配的深度优化。
因此,本发明实施例提出了联合光场结构特征和立体匹配的光场图像深度估计方法。该方法通过在马尔科夫随机域框架对全局深度进行迭代优化,以立体匹配得到的深度估计结果作为能量函数数据项,以基于光场结构深度估计结果的梯度信息作为能量平滑项。同时,将遮挡区域预测器与能量函数平滑项相结合,有效减弱了遮挡区域的误差深度值对全局深度优化过程的影响。
综上所述,本发明实施例通过上述步骤101-步骤104实现对光场图像准确深度估计、同时有效平衡深度边界锐化,避免背景估计不准确的现象。
实施例2
下面结合具体的实例、计算公式对实施例1中的方案进行进一步地介绍,详见下文描述:
一、光场结构特性引导的深度估计
光场相机在拍摄过程中,空间场景中的某点通过微透镜阵列所形成的各个视点图像中对应位置的像素可以组合成一个矩阵块,称之为角度块。考虑到光场图像中的像素点存在空洞点,即其对应的角度块中不存在图像内容一致性,将角度块划分为被遮挡区域和遮挡区域,且划分两个区域的分界线方向与空域中遮挡物的边界方向一致。同时,由于角度块中至少有一半像素来自于被遮挡区域,因此对角度块采用均匀划分的方式进行分割。其中只有遮挡区域具有内容一致性,另一区域由于没有对焦得到合适的深度值,属于被遮挡区域。因此,采用最小方差计算一致性和失焦线索。
首先,计算遮挡区域和被遮挡区域各自的均值和方差:
Figure BDA0001599542640000041
Figure BDA0001599542640000042
其中,(u1,v1)和(u2,v2)分别表示角度块中的两个区域,Nj为区域j包含的像素数量,Lα(x,y,uj,vj)为4D光场数据的剪切的光场函数。使得i表示方差较小区域的标号,其表达式为:
Figure BDA0001599542640000051
则一致性响应可以表示为:
Cα(x,y)=Vα,i(x,y)
类似的,失焦响应[1]的表达式如下:
Figure BDA0001599542640000052
其中,L(x,y,0,0)为透镜平面位置为(0,0)时的四维光场函数。
最终的最佳深度值可以表示为:
Figure BDA0001599542640000053
二、多尺度多窗口立体匹配
基于多尺度多窗口的立体匹配计算两个视点之间的视差,并将其多次用于光场图像的子孔径图像阵列中的两个不同视点,获得光场图像中心视点的视差图。
多尺度多窗口的立体匹配中利用不同方向不同尺度的窗口,以零均值像素灰度差值平方和作为两个窗口的匹配代价,选择其中具有最小匹配代价的窗口作为匹配窗口。窗口尺寸直观地表现出了最小匹配代价,即视差方差变化的最小值。利用局部定向窗口对图像进行处理,使彩色图像的纹理区域进行精确的匹配。相比于全局方法,局部方法允许检查每个匹配的有效性,适用于多视点图像的立体匹配过程。
然而,局部方法存在两大缺点:匹配模糊度较高以及在不连续和倾斜表面处平行平面假设的失效。与自适应的窗口相比,定向窗口能够正确估计平行平面上的差异。因此,本发明实施例使用定向窗口来处理图像中的倾斜表面和不连续区域。在倾斜表面进行立体匹配时,窗口会根据视差变化的最小方向进行匹配并得到更低的匹配代价值。在不连续区域附近,窗口会依据不连续性进行均衡,使得不连续区域的立体匹配结果更有效。
三、基于光流的插值
为了填补立体匹配结果中的未匹配区域,采用基于光流估计的插值方法进行优化,以提高局部匹配的子像素准确性。
多尺度多窗口立体匹配得到的视差估计图用
Figure BDA0001599542640000061
Ω→R表示,mD:Ω→{0,1}为视差图的匹配掩模,表征了光流估计的视差结果与局部立体匹配结果相似的像素区域,其中,有效匹配区域的mD置为1,未有效匹配区域置为0。
Figure BDA0001599542640000062
Ω→R2代表2D矢量场中描述视差估计位移的矢量,即
Figure BDA0001599542640000063
以Brox等提出的光流估计方法为基础,即光流估计能量函数优化的过程中,不仅考虑视差图的数据项和平滑项,同时引入已得初始视差估计结果
Figure BDA0001599542640000064
与插值优化后视差估计图u=(u1,u2)的差异项作为约束项,得到如下光流估计能量函数表达式:
Figure BDA0001599542640000065
其中,x=(x1,x2)∈Ω,
Figure BDA0001599542640000066
是一个开有界域,一般表示R2中的一个矩形区域,x1,x2为相邻像素点,mF(x)表示匹配结果中属于遮挡区域的掩膜,mD(x):Ω→{0,1}为视差图的匹配掩模,表征了光流估计的视差结果与局部立体匹配结果相似的像素区域,其中,有效匹配区域的mD置为1,未有效匹配区域置为0。C为图像的通道数,
Figure BDA0001599542640000067
ε=0.001,ω为函数变量。常量α,γ,φ>0,
Figure BDA0001599542640000068
表示图像Ii的通道c分量。
考虑到视差图中存在遮挡问题,因此在该能量函数的第一、第二项数据项中引入掩模mF,即忽略被遮挡区域的光流约束以及梯度保持项。此外,能量函数的第三项为视差图平滑项,第四项用于优化立体匹配视差结果的有效值。并通过欧拉-拉格朗日方程进行最优化求解光流估计能量函数表达式。
四、中心视点深度估计
中心视点深度估计通过求取与中心视点位于同一水平位置上的其他视点与中心视点的视差,获得最终的场景深度估计结果。光场图像的子孔径图像阵列看作各个子视点图像I(s,t)的集合,其中s,t=0,...,N-1,N≥2,
Figure BDA0001599542640000071
表示参考视点的图像(即中心视点图像),最终目标为求解得到
Figure BDA0001599542640000072
Figure BDA0001599542640000073
的视差。由于光场图像中任意连续视点间的视差是一致的,因此,参考视点
Figure BDA0001599542640000074
与其他任意同一水平位置视点
Figure BDA0001599542640000075
之间的视差表示为ds=(s-s0)d,其中,s=0,…,N-1。
利用多尺度多窗口立体匹配算法进行立体匹配,并通过基于光流的方法进行插值,得到与中心视点在同一水平位置上的其他视点与中心视点的视差ds。利用ds(s=0,...,N-1)可以求得每个视点的预期视差值d,然后通过取中值可以获得最终的视差估计结果,相关计算公式如下:
Figure BDA0001599542640000076
其中,ms(x,y)表示视差ds所对应的未有效匹配像素的掩模,即只利用有效匹配的区域计算最终的视差值,med表示取中值操作,ds(x,y)为匹配像素(x,y)的视差,s0=(u,v,0)。
五、联合光场结构特征和立体匹配的深度优化
(1)能量函数数据项
能量函数数据项主要利用基于多窗口多尺度的立体匹配方法获取的深度图结果,使之能够提供对象内部深度变化区域更加准确的深度图。能量函数数据项的表达式如下所示:
Figure BDA0001599542640000077
其中,d为最终的深度值,p为相邻像素,σ为对原始图像进行下采样的采样因子的标准差。
(2)能量函数平滑项
基于光场结构的深度估计方法可以获得锐利的对象边界,因此在平滑项中使用光场结构深度估计的梯度信息优化深度边界。同时,考虑存在遮挡时遮挡区域会影响对象边界深度估计,因此,在平滑项中引入遮挡区域预测器获取更准确的对象边界。
能量函数平滑项表示为:
Figure BDA0001599542640000081
其中,
Figure BDA0001599542640000082
为中心视点彩色图像的梯度,k和w为权重因素,
Figure BDA0001599542640000083
为基于光场结构方法的预测深度图的梯度,Pocc(p)和Pocc(q)分别为相邻像素的遮挡区域预测器的值。分子表示平滑约束项,而分母则可以在相邻像素差异明显、可能存在遮挡或者处于对象边界时弱化该分子表示的平滑约束项。
其中,遮挡区域预测器Pocc融合了深度线索、一致性线索和失焦线索,表征深度图中某一特定像素是否为被遮挡像素。深度线索通过计算初始深度图的梯度获取初始空洞边界且其遮挡区域预测器分量
Figure BDA0001599542640000084
定义如下:
Figure BDA0001599542640000085
其中,dini表示基于立体匹配获得的初始深度图,f(·)表示使高于某些阈值的响应饱和的裁剪函数,
Figure BDA0001599542640000086
表示计算初始深度图的梯度。具有相同法向量的深度值越大,其像素间的深度变化越大,因此将初始深度的梯度值除以dini以增强鲁棒性。
对于存在遮挡的区域,大约仅有一半的角度块像素具有图像内容一致性。此外,被遮挡区域的方差较小,而遮挡区域中的像素由于来自于遮挡物的不同像素,具有更大的方差。因此,通过计算遮挡区域和被遮挡区域方差的比值,能够判断当前空间像素在光场成像过程中存在遮挡现象的概率。一致性线索的遮挡区域预测器分量
Figure BDA0001599542640000091
定义如下:
Figure BDA0001599542640000092
其中,
Figure BDA0001599542640000093
Figure BDA0001599542640000094
分别表示区域1和区域2在最优深度值α*时的方差,α*为已有的初始深度值。
如果遮挡部分的结构不清晰,遮挡区域和被遮挡区域的方差都会较小。考虑到存在这一现象,失焦线索计算了遮挡区域和被遮挡区域的像素均值。由于遮挡区域和被遮挡区域来源于不同对象,其颜色值存在差异,因此,遮挡区域和被遮挡区域均值的差异较大同样也预示着该像素出现遮挡现象的可能性较大。失焦线索
Figure BDA0001599542640000095
定义如下:
Figure BDA0001599542640000096
其中,
Figure BDA0001599542640000097
分别为角度块中遮挡区域和被遮挡区域的均值。
最后,结合深度线索、一致性线索和失焦线索,得到遮挡区域预测器Pocc的计算表达式定义为:
Figure BDA0001599542640000098
其中,N(·)为标准化函数,
Figure BDA0001599542640000099
表示考虑深度线索的遮挡区域预测器分量,
Figure BDA00015995426400000910
表示考虑一致性线索的遮挡区域预测器分量,
Figure BDA00015995426400000911
表示失焦线索。
(3)深度优化整体能量函数项
综合基于立体匹配获得的深度图(即dini)、遮挡区域的线索(即深度线索,一致性线索和失焦线索)以及基于光场结构获得的深度图(即利用深度图梯度
Figure BDA00015995426400000912
),在马尔科夫随机域中进行深度优化,得到深度估计优化结果。
在优化项设计过程中,构建数据项Eunary用于考虑基于立体匹配的深度估计结果,构建平滑项Ebinary联合基于光场结构深度估计结果的梯度信息。同时,将遮挡区域预测器Pocc与能量函数平滑项相结合,有效减弱遮挡区域的误差深度值对全局深度优化过程的影响。整体的深度优化的能量函数表达式如下所示:
Figure BDA0001599542640000101
其中,d为最终的深度值,p和q为相邻像素。
且能量函数数据项的表达式为:
Figure BDA0001599542640000102
能量函数平滑项表示为:
Figure BDA0001599542640000103
其中,
Figure BDA0001599542640000104
为中心视点彩色图像的梯度,k和w为权重因素,
Figure BDA0001599542640000105
为基于光场结构方法得到的预测深度图的梯度。
综上所述,本发明实施例通过上述步骤实现了对光场图像准确深度估计、同时有效平衡深度边界锐化,避免背景估计不准确的现象。
实施例3
下面结合图2对实施例1和2中的方案进行可行性验证,详见下文描述:
图2给出了光场图像进行深度估计的实验结果。第一行为光场图像的深度估计结果,第二行为光场图像的最小六边形物体的左侧边界。从图2中可以看出,本方法可以有效地修正背景中不准确的深度估计结果,提高深度图的估计质量,进一步增强所获立体图像的清晰度及深度感。
参考文献:
[1]Ren Ng,Levoy M,Bredif M,et al.Light field photography with a hand-held plenopic camera[C].Stanford University Computer Science Tech ReportCSTR,2005:1-11.Tao M W,Hadap S,Malik J,et al.Depth from combining defocus andcorrespondence using light-field cameras[C].IEEE International Conference onComputer Vision,2013:673-680.
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (1)

1.一种光场图像深度估计方法,其特征在于,所述方法包括以下步骤:
利用基于光场结构特性引导的深度估计,计算考虑遮挡问题下的光场图像中心视点的彩色图的深度图;
利用所述深度图的梯度信息作为马尔科夫随机域框架中对全局深度进行优化的能量函数平滑项;
采用多尺度多窗口的立体匹配,计算与中心视点图像在同一水平位置上其他视点与中心视点的视差;
通过基于光流的方法对所述视差进行插值处理,最后利用光场图像特点得到的深度估计结果作为马尔科夫随机域框架中对全局深度进行优化的能量函数数据项;
考虑存在遮挡时遮挡区域会影响对象边界深度估计,将遮挡区域预测器与能量函数平滑项相结合,有效减弱遮挡区域的误差深度值对全局深度优化过程的影响;
其中,遮挡区域预测器Pocc的计算表达式定义为:
Figure FDA0002954953040000011
其中,N(·)为标准化函数,
Figure FDA0002954953040000012
表示考虑深度线索的遮挡区域预测器分量,
Figure FDA0002954953040000013
表示考虑一致性线索的遮挡区域预测器分量,
Figure FDA0002954953040000014
表示失焦线索;
所述能量函数平滑项具体为:
Figure FDA0002954953040000015
其中,
Figure FDA0002954953040000016
为中心视点彩色图像的梯度,k和w为权重因素,
Figure FDA0002954953040000017
为基于光场结构方法的预测深度图的梯度,Pocc(p)和Pocc(q)分别为相邻像素的遮挡区域预测器的值;分子表示平滑约束项,而分母则可在相邻像素差异明显、可能存在遮挡或者处于对象边界时弱化该分子表示的平滑约束项;d为最终的深度值,p和q为相邻像素,σ为对原始图像进行下采样的采样因子的标准差;
所述能量函数数据项具体为:
Figure FDA0002954953040000021
CN201810220337.1A 2018-03-16 2018-03-16 一种光场图像深度估计方法 Active CN108596965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810220337.1A CN108596965B (zh) 2018-03-16 2018-03-16 一种光场图像深度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810220337.1A CN108596965B (zh) 2018-03-16 2018-03-16 一种光场图像深度估计方法

Publications (2)

Publication Number Publication Date
CN108596965A CN108596965A (zh) 2018-09-28
CN108596965B true CN108596965B (zh) 2021-06-04

Family

ID=63626654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810220337.1A Active CN108596965B (zh) 2018-03-16 2018-03-16 一种光场图像深度估计方法

Country Status (1)

Country Link
CN (1) CN108596965B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360235B (zh) * 2018-09-29 2022-07-19 中国航空工业集团公司上海航空测控技术研究所 一种基于光场数据的混合深度估计方法
CN109544621A (zh) * 2018-11-21 2019-03-29 马浩鑫 基于卷积神经网络的光场深度估计方法、系统及介质
CN109741387A (zh) * 2018-12-29 2019-05-10 北京旷视科技有限公司 立体匹配方法、装置、电子设备及存储介质
CN109993764B (zh) * 2019-04-03 2021-02-19 清华大学深圳研究生院 一种基于频域能量分布的光场深度估计方法
CN110163246B (zh) * 2019-04-08 2021-03-30 杭州电子科技大学 基于卷积神经网络的单目光场图像无监督深度估计方法
CN111815696B (zh) * 2019-04-11 2023-08-22 曜科智能科技(上海)有限公司 基于语义实例分割的深度图优化方法、装置、设备和介质
CN111862098B (zh) * 2019-04-30 2023-11-24 曜科智能科技(上海)有限公司 基于光场语义的个体匹配方法、装置、设备和介质
CN110197506B (zh) * 2019-05-30 2023-02-17 大连理工大学 一种基于可变高度旋转平行四边形的光场深度估计方法
CN110276795B (zh) * 2019-06-24 2022-11-18 大连理工大学 一种基于分裂迭代算法的光场深度估计方法
CN112164092B (zh) * 2020-10-13 2022-09-27 南昌航空大学 一种广义马尔可夫稠密光流确定方法及系统
CN114897951B (zh) * 2022-05-30 2023-02-28 中国测绘科学研究院 聚合多视角深度信息的单张光场影像深度估计方法及系统
CN114897952B (zh) * 2022-05-30 2023-04-04 中国测绘科学研究院 一种自适应遮挡的单张光场影像准确深度估计方法及系统
WO2024113126A1 (zh) * 2022-11-29 2024-06-06 电子科技大学 一种基于稀疏AD-Census及光场遮挡模型的深度估计方法
CN116721142B (zh) * 2023-08-10 2023-10-20 山东黄河三角洲国家级自然保护区管理委员会 基于区域匹配正则化的由光场数据估计视差的方法及应用

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398933A (zh) * 2008-10-17 2009-04-01 北京大学 一种从图像中恢复三维几何信息的方法
CN101625761A (zh) * 2009-08-06 2010-01-13 浙江工业大学 一种基于全局和局部算法的计算机双目视觉匹配方法
CN103793911A (zh) * 2014-01-24 2014-05-14 北京科技大学 一种基于集成图像技术的场景深度获取方法
CN104574432A (zh) * 2015-02-15 2015-04-29 四川川大智胜软件股份有限公司 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN104899870A (zh) * 2015-05-15 2015-09-09 清华大学深圳研究生院 基于光场数据分布的深度估计方法
KR20170098135A (ko) * 2016-02-19 2017-08-29 한국과학기술원 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템
CN107135388A (zh) * 2017-05-27 2017-09-05 东南大学 一种光场图像的深度提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091435B2 (en) * 2016-06-07 2018-10-02 Disney Enterprises, Inc. Video segmentation from an uncalibrated camera array

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398933A (zh) * 2008-10-17 2009-04-01 北京大学 一种从图像中恢复三维几何信息的方法
CN101625761A (zh) * 2009-08-06 2010-01-13 浙江工业大学 一种基于全局和局部算法的计算机双目视觉匹配方法
CN103793911A (zh) * 2014-01-24 2014-05-14 北京科技大学 一种基于集成图像技术的场景深度获取方法
CN104574432A (zh) * 2015-02-15 2015-04-29 四川川大智胜软件股份有限公司 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN104899870A (zh) * 2015-05-15 2015-09-09 清华大学深圳研究生院 基于光场数据分布的深度估计方法
KR20170098135A (ko) * 2016-02-19 2017-08-29 한국과학기술원 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템
CN107135388A (zh) * 2017-05-27 2017-09-05 东南大学 一种光场图像的深度提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Depth Estimation with Occlusion Modeling Using Light-Field Cameras;Ting-Chun Wang et al.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20161130;第38卷(第11期);第2172-2174页 4.2 Depth Estimation、5 Occlusion-Aware Depth Regularization *
Robust and Dense Depth Estimation for Light Field Images;Julia Navarro et al.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20170430;第26卷(第4期);第1874-1879页 *

Also Published As

Publication number Publication date
CN108596965A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108596965B (zh) 一种光场图像深度估计方法
CN106651938B (zh) 一种融合高分辨率彩色图像的深度图增强方法
EP3673461B1 (en) Systems and methods for hybrid depth regularization
Zhu et al. Spatial-temporal fusion for high accuracy depth maps using dynamic MRFs
EP2064675B1 (en) Method for determining a depth map from images, device for determining a depth map
EP1303839B1 (en) System and method for median fusion of depth maps
Mishiba Fast depth estimation for light field cameras
CN111833393A (zh) 一种基于边缘信息的双目立体匹配方法
US20110032341A1 (en) Method and system to transform stereo content
CN106780590A (zh) 一种深度图的获取方法及系统
EP3293700B1 (en) 3d reconstruction for vehicle
Ham et al. Probability-based rendering for view synthesis
US9661307B1 (en) Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
CN113129352B (zh) 一种稀疏光场重建方法及装置
Choi et al. 2D-plus-depth based resolution and frame-rate up-conversion technique for depth video
CN112637582B (zh) 模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法
JP2000306108A (ja) オプティカルフロー推定方法
CN115222889A (zh) 基于多视图图像的3d重建方法、装置及相关设备
US8340399B2 (en) Method for determining a depth map from images, device for determining a depth map
Kuhn et al. A TV prior for high-quality local multi-view stereo reconstruction
Satapathy et al. Robust depth map inpainting using superpixels and non-local Gauss–Markov random field prior
Vosters et al. Evaluation of efficient high quality depth upsampling methods for 3DTV
Fukushima et al. Real-time free viewpoint image rendering by using fast multi-pass dynamic programming
Wu et al. Joint view synthesis and disparity refinement for stereo matching
Choi et al. Discrete and continuous optimizations for depth image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant