CN108090920A - 一种新的光场图像深度流估计方法 - Google Patents

一种新的光场图像深度流估计方法 Download PDF

Info

Publication number
CN108090920A
CN108090920A CN201711337308.5A CN201711337308A CN108090920A CN 108090920 A CN108090920 A CN 108090920A CN 201711337308 A CN201711337308 A CN 201711337308A CN 108090920 A CN108090920 A CN 108090920A
Authority
CN
China
Prior art keywords
mrow
msub
light
mfrac
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711337308.5A
Other languages
English (en)
Other versions
CN108090920B (zh
Inventor
林丽莉
方水越
周文晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Duyuan Intelligent Technology Co ltd
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201711337308.5A priority Critical patent/CN108090920B/zh
Publication of CN108090920A publication Critical patent/CN108090920A/zh
Application granted granted Critical
Publication of CN108090920B publication Critical patent/CN108090920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Abstract

本发明公开了一种新的光场图像深度流估计方法。本发明步骤如下：步骤(1)：将原始光场数据处理为一组子光圈图像阵列；步骤(2)：计算中心子光圈图像的空间导数；步骤(3)：对每一幅子光圈图像进行双边滤波；步骤(4)：计算初始光场深度流视差估计；步骤(5)：对步骤(4)得到的初始视差估计进行迭代优化；步骤(6)：对视差估计进行归一化处理，将视差范围规定在[0,1]区间内；采用投票机制融合视差，用直方图统计计算得到的视差并取频数最大的视差为最终视差估计。本发明基于Horn和Schunck光流算法，创造性地把深度参数β直接带入HS光流计算公式中，提高了深度估计的准确性。

Description

一种新的光场图像深度流估计方法
技术领域
本发明涉及视觉图像处理技术领域，具体的涉及一种新的光场图像深度流估计方法。
背景技术
光场相机的发展带动了光场技术的更新，不同于传统图像只能记录光线的强度信息和位置信息，光场图像还可以记录光线的方向信息。光场成像以其独特的优势成为一种重要的信息获取手段，并已经在立体匹配、图像分割、目标识别、三维重建等诸多领域广泛应用。而这些应用都是建立在准确的深度估计基础上。所以深度估计是光场技术的至关重要的一环。
深度指的是场景中某一点到相机中心所在平面的距离。场景中的所有点都映射在一张深度图上，深度图上的每一个像素记录了该点到相机中心所在平面的距离。
深度计算的方法各种各样，常见的主要有多视图立体法、光度立体视觉法、色度成形法、散焦推断法以及基于机器学习的方法等等。本发明采用的是基于光流的深度流估计算法。
光流，是Gibson在1950年首先提出来的。它是空间运动物体在成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。通过分析图像的光流变化，可以反映现实场景的运动场。
光流在图像拼接、目标跟踪、运动估算、无人机避障、医学图像分析等领域有着广泛的应用。但目前大多数光流算法存在计算量大、耗时较长的问题，这阻碍了光流算法的广泛应用。快速光流算法是计算机视觉领域一个亟待解决的问题。
现有的光流计算方法主要分为以下几类：基于梯度的方法、基于区域的匹配法、基于能量的方法、基于相位的方法和神经动力学法。大多数光流计算通常采用基于梯度的方法，其中比较经典的是Horn-Schunck(H-S)算法和Lucas-Kanade(L-K)算法。1981年，Horn和Schunck推导出光流基本约束方程，在此基础上加上整体平滑约束，构成了著名的H-S算法。同年，Lucas和Kanade提出一种迭代的基于梯度的图像匹配算法，即L-K算法。该算法基于局部平滑假设，假设一个窗口内所有像素具有相同的运动矢量。
HS光流法基于两个假设：亮度恒定假设和全局平滑假设。前者假设在t时刻时，图像上一点(x,y)处的灰度值为I(x,y,t)。在t+Δt时，该点运动到图像中的新位置，记为(x+Δx,y+Δy),该点灰度值记为I(x+Δx,y+Δy,t+Δt)。根据图像亮度恒定假设，运动前后灰度值不变，有I(x,y,t)＝I(x+Δx,y+Δy,t+Δt)。等式右边用泰勒级数展开，忽略掉高次项，整理得到Ixu+Iyv+It＝0,该式即为光流基本约束方程，其中分别表示图像灰度对x,y,t的偏导数。u和v代表光流的水平和垂直分量，算法中还包括全局平滑假设，即
发明内容
本发明的目的在于提供一种新的光场图像深度流估计方法，并以所得光流估计图像的深度图。该算法基于Horn和Schunck光流算法，创造性地把深度参数β直接带入HS光流计算公式中，提高了深度估计的准确性。
本发明方法的具体步骤如下：
步骤(1)：将原始光场数据处理为一组子光圈图像阵列，具体如下：
原始光场图像用双平面表示，即LF(x,y,u,v,c)，表现为微透镜平面和主平面的光线信息集合；(x,y)为微透镜阵列平面坐标，取值范围为x∈[1,Nx],y∈[1,Ny]中的整数值，Nx和Ny分别为微透镜阵列的行数和列数；(u,v)为主透镜平面坐标，u,v的范围分别是和Nu和Nv是微透镜图像水平和垂直方向的像素个数；c为颜色通道，取值范围为c∈[1,Nc]中的整数值，通常Nc取值为3，表示红、绿、蓝三色通道。首先在主透镜平面任取一个坐标(u',v')，然后从原始光场数据LF(x,y,u,v,c)中提取子光圈图像LF(u',v')(x,y,c)，每一个(u,v)对应一幅子光圈图像，所以共有Nu*Nv幅子光圈图像，组成子光圈图像阵列LF(u,v)(x,y,c)。而坐标为(0,0)的子光圈图像称为中心子光圈图像LF(0,0)(x,y,c)。
步骤(2)：计算中心子光圈图像的空间导数，具体如下：
对于基准图像LF(0,0,c)(x,y)，根据导数计算公式，可得中心子光圈在x,y方向的导数分别为IxLF(0,0,c)、IyLF(0,0,c)。对图像的所有颜色通道进行相同的导数计算，并且对各通道导数平方和开平方，得到图像LF(0,0)的导数IxLF(0,0)、IyLF(0,0)；导数公式为：
其中，Ix,Iy分别表示图像在x,y方向的导数。
步骤(3)：为了保持边缘和去除噪声，对每一幅子光圈图像进行双边滤波。取一幅子光圈图像LF(u',v')(x,y,c)和中心子光圈图像LF(0,0)(x,y,c)，分别和[0.25 0.25]卷积，得到两幅图像像素在不同颜色通道的差值Iu,vLF(x,y,c)，然后对各通道导数平方和开平方，得到最终差值Iu,vLF(x,y)。
步骤(4)：计算初始光场深度流视差估计，具体如下：
对步骤(3)的两幅子光圈图像计算(u,v)方向上的差值，记为du＝u'-u,dv＝v'-v。根据光场图像亮度恒定原理，将中心子光圈图像LF(0,0)在x,y方向的导数IxLF(0,0)、IyLF(0,0)分别与du,dv相乘再相加可得到子光圈图像关于时间的偏导数-ItLF。然后计算子光圈图像在(u,v)方向上的偏导数LFu和LFv：
其中，
根据光场图像亮度恒定原理可得：
IxLF(0,0)dx+IyLF(0,0)dy+LFudu+LFvdv＝0
由步骤(3)所知：两幅图像像素在不同颜色通道的差值为Iu,vLF(x,y,c)，合并通道后为Iu,vLF(x,y)，物理意义就是两幅图像在(u,v)方向上的导数LFu和LFv乘以各自的增量du,dv。
即：LFudu+LFvdv＝Iu,vLF(x,y)
设空间中对焦深度为α的一点在两个不同子光圈(u,v)、(u',v')中对应的坐标分别为(x,y)、(x',y')，则有如下关系：
定义视差为：
则图像LF(u,v)与LF(0,0)的相位差为：
Δx＝β·(u-u')
记相位差Δx为dx，则
IxLF(0,0)βdu+IyLF(0,0)βdv+Iu,vLF(x,y)＝0
由此得到初始视差估计：
步骤(5)：对步骤(4)得到的初始视差估计进行迭代优化，具体如下：
首先，对β进行加权中值滤波，其中掩膜为：
β和H做卷积后生成视差均值记为β。然后对视差β进行迭代，迭代公式如下：
其中ε是最小正则项，一般取0.00001。迭代次数一般为5次。
步骤(6)：对视差估计进行归一化处理，将视差范围规定在[0,1]区间内。采用投票机制融合视差，用直方图统计计算得到的视差并取频数最大的视差为最终视差估计。
本发明有益效果如下：
本发明基于Horn和Schunck光流算法，创造性地把深度视差β直接带入HS光流计算公式中，利用视差值β直接进行迭代，省略了由光流转换为深度信息的过程。相对于传统的HS算法，改进后的算法降低了计算复杂度，也提高了深度流估计的精确度。
本发明采用投票机制融合视差，用直方图统计计算得到的视差并取频数最大的视差为最终视差估计。通过该方法可以利用数学统计规律减小视差估计的误差，提高深度流估计的精确度
附图说明
图1是本发明光场图像深度流估计算法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示，一种新的光场图像深度流估计方法，并以所得光流估计图像的深度图。该算法基于Horn和Schunck光流算法，创造性地把深度参数β直接带入HS光流计算公式中，提高了深度估计的准确性。
本发明方法的具体步骤如下：
步骤(1)：将原始光场数据处理为一组子光圈图像阵列，具体如下：
原始光场图像用双平面表示，即LF(x,y,u,v,c)，表现为微透镜平面和主平面的光线信息集合；(x,y)为微透镜阵列平面坐标，取值范围为x∈[1,Nx],y∈[1,Ny]中的整数值，Nx和Ny分别为微透镜阵列的行数和列数；(u,v)为主透镜平面坐标，u,v的范围分别是和Nu和Nv是微透镜图像水平和垂直方向的像素个数；c为颜色通道，取值范围为c∈[1,Nc]中的整数值，通常Nc取值为3，表示红、绿、蓝三色通道。首先在主透镜平面任取一个坐标(u',v')，然后从原始光场数据LF(x,y,u,v,c)中提取子光圈图像LF(u',v')(x,y,c)，每一个(u,v)对应一幅子光圈图像，所以共有Nu*Nv幅子光圈图像，组成子光圈图像阵列LF(u,v)(x,y,c)。而坐标为(0,0)的子光圈图像称为中心子光圈图像LF(0,0)(x,y,c)。
步骤(2)：计算中心子光圈图像的空间导数，具体如下：
对于基准图像LF(0,0,c)(x,y)，根据导数计算公式，可得中心子光圈在x,y方向的导数分别为IxLF(0,0,c)、IyLF(0,0,c)。对图像的所有颜色通道进行相同的导数计算，并且对各通道导数平方和开平方，得到图像LF(0,0)的导数IxLF(0,0)、IyLF(0,0)；导数公式为：
其中，Ix,Iy分别表示图像在x,y方向的导数。
步骤(3)：为了保持边缘和去除噪声，对每一幅子光圈图像进行双边滤波。取一幅子光圈图像LF(u',v')(x,y,c)和中心子光圈图像LF(0,0)(x,y,c)，分别和[0.25 0.25]卷积，得到两幅图像像素在不同颜色通道的差值Iu,vLF(x,y,c)，然后对各通道导数平方和开平方，得到最终差值Iu,vLF(x,y)。
步骤(4)：计算初始光场深度流视差估计，具体如下：
对步骤(3)的两幅子光圈图像计算(u,v)方向上的差值，记为du＝u'-u,dv＝v'-v。根据光场图像亮度恒定原理，将中心子光圈图像LF(0,0)在x,y方向的导数IxLF(0,0)、IyLF(0,0)分别与du,dv相乘再相加可得到子光圈图像关于时间的偏导数-ItLF。然后计算子光圈图像在(u,v)方向上的偏导数LFu和LFv：
其中，
根据光场图像亮度恒定原理可得：
IxLF(0,0)dx+IyLF(0,0)dy+LFudu+LFvdv＝0
由步骤(3)所知：两幅图像像素在不同颜色通道的差值为Iu,vLF(x,y,c)，合并通道后为Iu,vLF(x,y)，物理意义就是两幅图像在(u,v)方向上的导数LFu和LFv乘以各自的增量du,dv。
即：LFudu+LFvdv＝Iu,vLF(x,y)
设空间中对焦深度为α的一点在两个不同子光圈(u,v)、(u',v')中对应的坐标分别为(x,y)、(x',y')，则有如下关系：
定义视差为：
则图像LF(u,v)与LF(0,0)的相位差为：
Δx＝β·(u-u')
记相位差Δx为dx，则
IxLF(0,0)βdu+IyLF(0,0)βdv+Iu,vLF(x,y)＝0
由此得到初始视差估计：
步骤(5)：对步骤(4)得到的初始视差估计进行迭代优化，具体如下：
首先，对β进行加权中值滤波，其中掩膜为：
β和H做卷积后生成视差均值记为β。然后对视差β进行迭代，迭代公式如下：
其中ε是最小正则项，一般取0.00001。迭代次数一般为5次。
步骤(6)：对视差估计进行归一化处理，将视差范围规定在[0,1]区间内。采用投票机制融合视差，用直方图统计计算得到的视差并取频数最大的视差为最终视差估计。

Claims (6)

1.一种新的光场图像深度流估计方法，其特征在于包括如下步骤：
步骤(1)：将原始光场数据处理为一组子光圈图像阵列；
步骤(2)：计算中心子光圈图像的空间导数；
步骤(3)：对每一幅子光圈图像进行双边滤波；
步骤(4)：计算初始光场深度流视差估计；
步骤(5)：对步骤(4)得到的初始视差估计进行迭代优化；
步骤(6)：对视差估计进行归一化处理，将视差范围规定在[0,1]区间内；采用投票机制融合视差，用直方图统计计算得到的视差并取频数最大的视差为最终视差估计。
2.根据权利要求1所述的一种新的光场图像深度流估计方法，其特征在于步骤(1)所述的将原始光场数据处理为一组子光圈图像阵列，具体如下：
原始光场图像用双平面表示，即LF(x,y,u,v,c)，表现为微透镜平面和主平面的光线信息集合；(x,y)为微透镜阵列平面坐标，取值范围为x∈[1,Nx],y∈[1,Ny]中的整数值，Nx和Ny分别为微透镜阵列的行数和列数；(u,v)为主透镜平面坐标，u,v的范围分别是和Nu和Nv是微透镜图像水平和垂直方向的像素个数；c为颜色通道，取值范围为c∈[1,Nc]中的整数值，Nc取值为3，表示红、绿、蓝三色通道；首先在主透镜平面任取一个坐标(u',v')，然后从原始光场数据LF(x,y,u,v,c)中提取子光圈图像LF(u',v')(x,y,c)，每一个(u,v)对应一幅子光圈图像，所以共有Nu*Nv幅子光圈图像，组成子光圈图像阵列LF(u,v)(x,y,c)；而坐标为(0,0)的子光圈图像称为中心子光圈图像LF(0,0)(x,y,c)。
3.根据权利要求2所述的一种新的光场图像深度流估计方法，其特征在于步骤(2)所述的计算中心子光圈图像的空间导数，具体如下：
对于基准图像LF(0,0,c)(x,y)，根据导数计算公式，可得中心子光圈在x,y方向的导数分别为IxLF(0,0,c)、IyLF(0,0,c)；对图像的所有颜色通道进行相同的导数计算，并且对各通道导数平方和开平方，得到图像LF(0,0)的导数IxLF(0,0)、IyLF(0,0)；导数公式为：
<mrow> <msub> <mi>I</mi> <mi>x</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>d</mi> <mi>F</mi> </mrow> <mrow> <mi>d</mi> <mi>x</mi> </mrow> </mfrac> <mo>,</mo> <msub> <mi>I</mi> <mi>y</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>d</mi> <mi>F</mi> </mrow> <mrow> <mi>d</mi> <mi>y</mi> </mrow> </mfrac> </mrow>
其中，Ix,Iy分别表示图像在x,y方向的导数。
4.根据权利要求3所述的一种新的光场图像深度流估计方法，其特征在于步骤(3)所述的对每一幅子光圈图像进行双边滤波，具体如下：
取一幅子光圈图像LF(u',v')(x,y,c)和中心子光圈图像LF(0,0)(x,y,c)，分别和[0.250.25]卷积，得到两幅图像像素在不同颜色通道的差值Iu,vLF(x,y,c)，然后对各通道导数平方和开平方，得到最终差值Iu,vLF(x,y)。
5.根据权利要求4所述的一种新的光场图像深度流估计方法，其特征在于步骤(4)所述的计算初始光场深度流视差估计，具体如下：
对步骤(3)的两幅子光圈图像计算(u,v)方向上的差值，记为du＝u'-u,dv＝v'-v；根据光场图像亮度恒定原理，将中心子光圈图像LF(0,0)在x,y方向的导数IxLF(0,0)、IyLF(0,0)分别与du,dv相乘再相加可得到子光圈图像关于时间的偏导数-ItLF；然后计算子光圈图像在(u,v)方向上的偏导数LFu和LFv：
其中，
根据光场图像亮度恒定原理可得：
IxLF(0,0)dx+IyLF(0,0)dy+LFudu+LFvdv＝0
由步骤(3)所知：两幅图像像素在不同颜色通道的差值为Iu,vLF(x,y,c)，合并通道后为Iu,vLF(x,y)，物理意义就是两幅图像在(u,v)方向上的导数LFu和LFv乘以各自的增量du,dv；
即：LFudu+LFvdv＝Iu,vLF(x,y)
设空间中对焦深度为α的一点在两个不同子光圈(u,v)、(u',v')中对应的坐标分别为(x,y)、(x',y')，则有如下关系：
<mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mi>x</mi> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mn>1</mn> <mi>&amp;alpha;</mi> </mfrac> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <mi>u</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mi>y</mi> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mn>1</mn> <mi>&amp;alpha;</mi> </mfrac> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msup> <mi>v</mi> <mo>&amp;prime;</mo> </msup> <mo>-</mo> <mi>v</mi> <mo>)</mo> </mrow> </mrow>
定义视差为：
则图像LF(u,v)与LF(0,0)的相位差为：
Δx＝β·(u-u')
记相位差Δx为dx，则
IxLF(0,0)βdu+IyLF(0,0)βdv+Iu,vLF(x,y)＝0
由此得到初始视差估计：
<mrow> <mi>&amp;beta;</mi> <mo>=</mo> <mfrac> <mrow> <mo>-</mo> <msub> <mi>I</mi> <mrow> <mi>u</mi> <mo>,</mo> <mi>v</mi> </mrow> </msub> <mi>L</mi> <mi>F</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>I</mi> <mi>x</mi> </msub> <msub> <mi>LF</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>0</mn> <mo>)</mo> </mrow> </msub> <mi>d</mi> <mi>u</mi> <mo>+</mo> <msub> <mi>I</mi> <mi>y</mi> </msub> <msub> <mi>LF</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>0</mn> <mo>)</mo> </mrow> </msub> <mi>d</mi> <mi>v</mi> </mrow> </mfrac> <mo>.</mo> </mrow>
6.根据权利要求5所述的一种新的光场图像深度流估计方法，其特征在于步骤(5)所述的对得到的初始视差估计进行迭代优化，具体如下：
首先，对β进行加权中值滤波，其中掩膜为：
<mrow> <mi>H</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mfrac> <mn>1</mn> <mn>12</mn> </mfrac> </mtd> <mtd> <mfrac> <mn>1</mn> <mn>6</mn> </mfrac> </mtd> <mtd> <mfrac> <mn>1</mn> <mn>12</mn> </mfrac> </mtd> </mtr> <mtr> <mtd> <mfrac> <mn>1</mn> <mn>6</mn> </mfrac> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mfrac> <mn>1</mn> <mn>6</mn> </mfrac> </mtd> </mtr> <mtr> <mtd> <mfrac> <mn>1</mn> <mn>12</mn> </mfrac> </mtd> <mtd> <mfrac> <mn>1</mn> <mn>6</mn> </mfrac> </mtd> <mtd> <mfrac> <mn>1</mn> <mn>12</mn> </mfrac> </mtd> </mtr> </mtable> </mfenced> </mrow>
β和H做卷积后生成视差均值记为
然后对视差β进行迭代，迭代公式如下：
<mrow> <mi>&amp;beta;</mi> <mo>=</mo> <mrow> <mo>(</mo> <mover> <mi>&amp;beta;</mi> <mo>&amp;OverBar;</mo> </mover> <mo>-</mo> <mo>(</mo> <mrow> <msub> <mi>I</mi> <mi>x</mi> </msub> <msub> <mi>LF</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>0</mn> <mo>)</mo> </mrow> </msub> <mi>d</mi> <mi>u</mi> <mo>+</mo> <msub> <mi>I</mi> <mi>y</mi> </msub> <msub> <mi>LF</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>0</mn> <mo>)</mo> </mrow> </msub> <mi>d</mi> <mi>v</mi> </mrow> <mo>)</mo> <msub> <mi>I</mi> <mrow> <mi>u</mi> <mo>,</mo> <mi>v</mi> </mrow> </msub> <mi>L</mi> <mi>F</mi> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>I</mi> <mi>x</mi> </msub> <msub> <mi>LF</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>0</mn> <mo>)</mo> </mrow> </msub> <mi>d</mi> <mi>u</mi> <mo>+</mo> <msub> <mi>I</mi> <mi>y</mi> </msub> <msub> <mi>LF</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mn>0</mn> <mo>)</mo> </mrow> </msub> <mi>d</mi> <mi>v</mi> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;epsiv;</mi> <mo>)</mo> </mrow> </mrow>
其中ε是最小正则项，取0.00001；迭代次数为5次。
CN201711337308.5A 2017-12-14 2017-12-14 一种光场图像深度流估计方法 Active CN108090920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711337308.5A CN108090920B (zh) 2017-12-14 2017-12-14 一种光场图像深度流估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711337308.5A CN108090920B (zh) 2017-12-14 2017-12-14 一种光场图像深度流估计方法

Publications (2)

Publication Number Publication Date
CN108090920A true CN108090920A (zh) 2018-05-29
CN108090920B CN108090920B (zh) 2021-11-30

Family

ID=62175719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711337308.5A Active CN108090920B (zh) 2017-12-14 2017-12-14 一种光场图像深度流估计方法

Country Status (1)

Country Link
CN (1) CN108090920B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615650A (zh) * 2018-11-22 2019-04-12 浙江工商大学 一种基于变分法和遮挡互补的光场流估计方法
CN116228601A (zh) * 2023-05-08 2023-06-06 山东中都机器有限公司 一种火车双向平煤的平煤效果视觉监控方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103702098A (zh) * 2013-12-09 2014-04-02 上海交通大学 一种时空域联合约束的三视点立体视频深度提取方法
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法
CN104598744A (zh) * 2015-01-27 2015-05-06 北京工业大学 一种基于光场的深度估计方法
CN104849852A (zh) * 2015-05-07 2015-08-19 清华大学 基于相机阵列的光场显微成像系统及方法
CN104869387A (zh) * 2015-04-19 2015-08-26 中国传媒大学 基于光流法的双目图像最大视差获取方法
CN105551050A (zh) * 2015-12-29 2016-05-04 深圳市未来媒体技术研究院 一种基于光场的图像深度估计方法
EP3026629A1 (en) * 2014-11-26 2016-06-01 Thomson Licensing Method and apparatus for estimating depth of focused plenoptic data
CN106340041A (zh) * 2016-09-18 2017-01-18 杭州电子科技大学 一种基于级联遮挡滤除滤波器的光场相机深度估计方法
CN106651943A (zh) * 2016-12-30 2017-05-10 杭州电子科技大学 一种基于遮挡几何互补模型的光场相机深度估计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103702098A (zh) * 2013-12-09 2014-04-02 上海交通大学 一种时空域联合约束的三视点立体视频深度提取方法
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法
EP3026629A1 (en) * 2014-11-26 2016-06-01 Thomson Licensing Method and apparatus for estimating depth of focused plenoptic data
CN104598744A (zh) * 2015-01-27 2015-05-06 北京工业大学 一种基于光场的深度估计方法
CN104869387A (zh) * 2015-04-19 2015-08-26 中国传媒大学 基于光流法的双目图像最大视差获取方法
CN104849852A (zh) * 2015-05-07 2015-08-19 清华大学 基于相机阵列的光场显微成像系统及方法
CN105551050A (zh) * 2015-12-29 2016-05-04 深圳市未来媒体技术研究院 一种基于光场的图像深度估计方法
CN106340041A (zh) * 2016-09-18 2017-01-18 杭州电子科技大学 一种基于级联遮挡滤除滤波器的光场相机深度估计方法
CN106651943A (zh) * 2016-12-30 2017-05-10 杭州电子科技大学 一种基于遮挡几何互补模型的光场相机深度估计方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A.MITICHE 等: ""Optical Flow 3D Segmentation and Interpretation: A Variational Method with Active Curve Evolution and Level Sets"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
LI XU 等: ""Motion Detail Preserving Optical Flow Estimation"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
何华君: ""视频对象分割及立体视差估计研究"", 《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》 *
姚思勤: ""立体图像序列中匹配算法的研究及其在目标识别中的应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
汪荣: ""基于多线索和遮挡检测的光场相机深度估计研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
董国华: ""Horn-Schunck光流理论研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615650A (zh) * 2018-11-22 2019-04-12 浙江工商大学 一种基于变分法和遮挡互补的光场流估计方法
CN109615650B (zh) * 2018-11-22 2022-11-25 浙江工商大学 一种基于变分法和遮挡互补的光场流估计方法
CN116228601A (zh) * 2023-05-08 2023-06-06 山东中都机器有限公司 一种火车双向平煤的平煤效果视觉监控方法

Also Published As

Publication number Publication date
CN108090920B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN108986136B (zh) 一种基于语义分割的双目场景流确定方法及系统
US10818029B2 (en) Multi-directional structured image array capture on a 2D graph
Zhang et al. Semantic segmentation of urban scenes using dense depth maps
Mayer et al. A large dataset to train convolutional networks for disparity, optical flow, and scene flow estimation
US20200027263A1 (en) System and method for infinite synthetic image generation from multi-directional structured image array
CN102609950B (zh) 一种二维视频深度图的生成方法
CN107170037A (zh) 一种基于多摄像机的实时三维点云重建方法和系统
CN102074020A (zh) 对视频进行多体深度恢复和分割的方法
Hung et al. Consistent binocular depth and scene flow with chained temporal profiles
Prasad et al. Sfmlearner++: Learning monocular depth & ego-motion using meaningful geometric constraints
CN205451195U (zh) 一种基于多摄像机的实时三维点云重建系统
CN111105432A (zh) 基于深度学习的无监督端到端的驾驶环境感知方法
Moustakas et al. Stereoscopic video generation based on efficient layered structure and motion estimation from a monoscopic image sequence
CN109859249B (zh) Rgbd序列中基于自动分层的场景流估计方法
CN106548494A (zh) 一种基于场景样本库的影视图像深度提取方法
Zhang et al. Simultaneous multi-body stereo and segmentation
CN108090877A (zh) 一种基于图像序列的rgb-d相机深度图像修复方法
CN101765019A (zh) 一种用于运动模糊和光照变化图像的立体匹配方法
CN103049929A (zh) 基于联合优化的多摄像机动态场景3d重建方法
CN104159098B (zh) 一种视频的时域一致性半透明边缘提取方法
CN103646397B (zh) 基于多源数据融合的实时合成孔径透视成像方法
CN108090920A (zh) 一种新的光场图像深度流估计方法
CN113436254B (zh) 一种级联解耦的位姿估计方法
Liu et al. TrackCam: 3D-aware tracking shots from consumer video.
CN114663599A (zh) 一种基于多视图的人体表面重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230705

Address after: 311100 Room 604-1, Building 17, No. 1008, Longxiang Street, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou duyuan Intelligent Technology Co.,Ltd.

Address before: 310018, No. 18 Jiao Tong Street, Xiasha Higher Education Park, Hangzhou, Zhejiang

Patentee before: ZHEJIANG GONGSHANG University