CN115100269B - 一种光场图像深度估计方法、系统、电子设备及存储介质 - Google Patents

一种光场图像深度估计方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN115100269B
CN115100269B CN202210741558.XA CN202210741558A CN115100269B CN 115100269 B CN115100269 B CN 115100269B CN 202210741558 A CN202210741558 A CN 202210741558A CN 115100269 B CN115100269 B CN 115100269B
Authority
CN
China
Prior art keywords
displacement
aperture image
image
depth
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210741558.XA
Other languages
English (en)
Other versions
CN115100269A (zh
Inventor
刘子骥
管宏云
刘硕
文志铭
唐姚懿
梁志清
郑兴
赵嘉学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210741558.XA priority Critical patent/CN115100269B/zh
Publication of CN115100269A publication Critical patent/CN115100269A/zh
Application granted granted Critical
Publication of CN115100269B publication Critical patent/CN115100269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种光场图像深度估计方法、系统、电子设备及存储介质，涉及光场图像处理领域，解决了解决现有的现有传统光场深度估计方法难以获得全局误差小且精度高的深度图，本发明在获得重聚焦图时没有用到插值，而是利用傅里叶相移定理得到位移子孔径图像，这样获得的重聚焦图像相较于插值方法有更高的精度；其次，在对优化匹配初始深度中，利用梯度随位移量的变化曲线在最佳位移量附近表现出对称峰特性，并加入匹配初始深度进行深度优化，这样在修正了重聚焦深度估计全局误差大的缺点的同时将重聚焦深度估计细节信息完备的优点发挥出来，得到结果相较于重聚焦深度估计和立体匹配深度估计都更为优异，兼顾了全局误差以及精度。

Description

一种光场图像深度估计方法、系统、电子设备及存储介质
技术领域
本发明涉及一种光场图像处理领域，更具体地说，它涉及一种光场图像深度估计方法、系统、电子设备及存储介质。
背景技术
光场相机作为一种记录光场来实现被动式三维立体成像的设备，有着广泛的民用与军事领域应用前景。相较于传统成像，光场相机获取的是空间中光辐射的四维信息，一次成像收集到更高维度的信息，便于后期处理得到更完善的场景信息，例如深度。光场相机最主要的特点就是一次成像获得不同视角下的图像，因此光场相机也是一种完全被动式的小体积深度估计设备，在军事、医疗等都有广泛的应用前景。
由于光场相机基线较短，因此传统的双目、多目视觉的深度估计方法在光场上并不适用。现有传统光场深度估计方法难以获得全局误差小且精度高的深度图。
发明内容
本发明为了解决传统光场深度估计方法难以获得全局误差小且精度高的深度图，提供了一种光场图像深度估计方法、系统、电子设备及存储介质，本发明利用重聚焦堆栈梯度对称特性结合立体匹配得到高精度且全局误差低的深度图。
本发明的上述技术目的是通过以下技术方案得以实现的：
第一方面，本申请提供了一种光场图像深度估计方法，包括：
对一幅光场图像进行标定和校正处理，获得光场图像对应的子孔径图像，其中对所述子孔径图像进行编号，其中编号完成的子孔径图像包括中心孔径图像和非中心孔径图像；
所述非中心孔径图像在频域中相移后变换到空域获得位移子孔径图像；
将所述位移子孔径图像中相同位置的像素求和后再求平均获得一张重聚焦图；
计算所述重聚焦图的像素点对应的梯度；
将所述中心孔径图像和所述位移子孔径图像相同位置处的像素点求绝对差再对所有子孔径图像结果求和，获得像素点对应的匹配代价；
取像素点对应的所述匹配代价最小的位移量作为像素值得到匹配初始深度；
根据像素点对应的梯度随位移量变化的变化曲线对所述匹配初始深度进行优化，得到优化深度图；
以所述中心孔径图像为特征图对所述优化深度图进行加权中值滤波处理，获得高精度的深度图。
与现有的深度估计方法相比较而言，本发明在获得重聚焦图时没有用到插值，而是利用傅里叶相移定理得到位移子孔径图像，这样获得的重聚焦图像相较于插值方法有更高的精度；其次，在对优化匹配初始深度中，利用梯度随位移量的变化曲线在最佳位移量附近表现出对称峰特性，并加入匹配初始深度进行深度优化，这样在修正了重聚焦深度估计全局误差大的缺点的同时将重聚焦深度估计细节信息完备的优点发挥出来，得到结果相较于重聚焦深度估计和立体匹配深度估计都更为优异，兼顾了全局误差以及精度。
进一步的，所述非中心孔径图像在频域中相移后变换到空域获得位移子孔径图像，具体包括：
设编号为(I，j)的非中心孔径图像为fi,j(x,y)，利用下式将空间域的位移转化到频域中：
其中M、N均表示图像大小，u、v均为离散变量，x、y均表示像素；
所述非中心孔径图像以步长进行位移，其中步长由下式决定：
lx(i,j)＝k(i-ic)；
ly(i,j)＝k(j-jc)；
其中，lx(i,j)和ly(i,j)分别表示位移子孔径图像在x方向和y方向上的位移量，k表示最小位移单元，ic和jc均为中心孔径图像编号，i和j均为编号完成的非中心孔径图像编号。
进一步的，计算所述重聚焦图的像素点对应的梯度，具体为：利用所述重聚焦图的相邻像素之差计算像素点对应的梯度。
进一步的，根据像素点对应的梯度随位移量变化的变化曲线对所述匹配初始深度进行优化，得到优化深度图，具体包括：
所述变化曲线存在峰值对称的波峰，则波峰所对应的位移量为深度值；
或者，所述变化曲线存在对称峰，则最大的峰值点所对应的位移量为深度值；
或者，所述变化曲线不存在对称峰，则匹配初始深度为深度值。
第二方面，本发明提供了一种光场图像深度估计系统，包括：
图像预处理模块，被配置为，对一幅光场图像进行标定和校正处理，获得光场图像对应的子孔径图像，其中对所述子孔径图像进行编号，其中编号完成的子孔径图像包括中心孔径图像和非中心孔径图像；
频域位移处理模块，被配置为，所述非中心孔径图像在频域中相移后变换到空域获得位移子孔径图像；
图像获得模块，被配置为，将所述位移子孔径图像中相同位置的像素求和后再求平均获得一张重聚焦图；
梯度计算模块，被配置为，计算所述重聚焦图的像素点对应的梯度；
匹配代价计算模块，被配置为，将所述中心孔径图像和所述位移子孔径图像相同位置处的像素点求绝对差再对所有子孔径图像结果求和，获得像素点对应的匹配代价；
初始深度模块，被配置为，取像素点对应的所述匹配代价最小的位移量作为像素值得到匹配初始深度；
深度优化模块，被配置为，根据像素点对应的梯度随位移量变化的变化曲线对所述匹配初始深度进行优化，得到优化深度图；
处理模块，被配置为，以所述中心孔径图像为特征图对所述优化深度图进行加权中值滤波处理，获得高精度的深度图。
进一步的，所述频域位移处理模块，还被配置为：
设编号为(I，j)的非中心孔径图像为fi,j(x,y)，利用下式将空间域的位移转化到频域中：
其中M、N均表示图像大小，u、v均为离散变量，x、y均表示像素；
所述非中心孔径图像以步长进行位移，其中步长由下式决定：
lx(i,j)＝k(i-ic)；
ly(i,j)＝k(j-jc)；
其中，lx(i,j)和ly(i,j)分别表示位移子孔径图像在x方向和y方向上的位移量，k表示最小位移单元，ic和jc均为中心孔径图像编号，i和j均为编号完成的非中心孔径图像编号。
进一步的，所述梯度计算模块，还被配置为，利用所述重聚焦图的相邻像素之差计算像素点对应的梯度。
进一步的，深度优化模块，还被配置为：
所述变化曲线存在峰值对称的波峰，则波峰所对应的位移量为深度值；
或者，所述变化曲线存在对称峰，则最大的峰值点所对应的位移量为深度值；
或者，所述变化曲线不存在对称峰，则匹配初始深度为深度值。
第三方面，本申请提供了一种电子设备，包括：处理器；以及存储器，用于存储方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行第一方面所述的方法。
第四方面，本申请提供了一种存储介质，该存储介质存储有计算机程序，该计算机程序被处理器运行，执行第一方面所述的方法。
与现有技术相比，本发明具有以下有益效果：
本发明在获得重聚焦图时没有用到插值，而是利用傅里叶相移定理得到位移子孔径图像，这样获得的重聚焦图像相较于插值方法有更高的精度；其次，在对优化匹配初始深度中，利用梯度随位移量的变化曲线在最佳位移量附近表现出对称峰特性，并加入匹配初始深度进行深度优化，这样在修正了重聚焦深度估计全局误差大的缺点的同时将重聚焦深度估计细节信息完备的优点发挥出来，得到结果相较于重聚焦深度估计和立体匹配深度估计都更为优异，兼顾了全局误差以及精度。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明实施例提供的一种光场图像深度估计方法的流程示意图；
图2为本发明实施例提供的重聚焦的示意图；
图3为本发明实施例提供的变化曲线三种梯度中的一种情况示意图；
图4为本发明实施例提供的变化曲线三种梯度中的又一种情况示意图；
图5为本发明实施例提供的变化曲线三种梯度中的再一种情况示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例一
相较于传统成像，光场相机获取的是空间中光辐射的四维信息，一次成像收集到更高维度的信息，便于后期处理得到更完善的场景信息，例如深度。光场相机最主要的特点就是一次成像获得不同视角下的图像，因此光场相机也是一种完全被动式的小体积深度估计设备，在军事、医疗等都有广泛的应用前景。
由于光场相机基线较短，因此传统的双目、多目视觉的深度估计方法在光场上并不适用。现有传统光场深度估计方法难以获得全局误差小且精度高的深度图，因此，本申请实施例一提供了一种光场图像深度估计方法，其利用重聚焦堆栈梯度对称特性结合立体匹配得到高精度且全局误差低的深度图，提高了深度图的精度以及减低了深度的全局误差。
如图1所示，方法包括：
对一幅光场图像进行标定和校正处理，获得光场图像对应的子孔径图像，其中对所述子孔径图像进行编号，其中编号完成的子孔径图像包括中心孔径图像和非中心孔径图像。
具体的，本实施例中的光场图像可以是一副，也可以是多幅；对光场图像进行标定，以及校正得到四维的光场数据，对四维光场数据进行提取得到子孔径图像，具体的，通过提取光场图像中指定位置的像素点重排为子孔径图像，子孔径图像的数量由宏像素覆盖的像素点数量决定，子孔径图像的分辨率由宏像素数量决定。
对子孔径图像进行编号，示例性的，以指定位置的像素点为对应的子孔径图像为中心孔径图像，则其余位置的像素点对应的子孔径图像即为非中心孔径图像。
所述非中心孔径图像在频域中相移后变换到空域获得位移子孔径图像。
具体的，对宏像素中心处像素点组成的中心孔径图像不进行任何操作。将其他非中心孔径图像转换到频域，按一定步长对每个图像进行平移，每次位移后，再将图像转换到空间域，即可获得位移子孔径图像，其中对于频域位移操作是通过傅里叶相移定理实现。
将所述位移子孔径图像中相同位置的像素求和后再求平均获得一张重聚焦图。
具体的，其中，i＝1…M，j＝1…N，其中I(x,y,l)为在l位移下的重聚焦图像，f(i,j)(x,y,l)为在l位移后编号为(i,j)的位移子孔径图像。具体如图2所示f(i0,j0)(x,y)为中心孔径图像，重聚焦的过程可以表示为先对子孔径图像f(i,j)(x,y)位移l后得到f(i,j)(x,y,l)，再进行叠加求和求平均，得到位移l的重聚焦图I(x,y,l)。若此时像点刚好重合，则表现为聚焦，此时位移量即可代表该像素点对应的深度。
计算所述重聚焦图的像素点对应的梯度。
具体的，本实施例中，基于像素和位移量即可计算出一个像素点位移的梯度，重复上述步骤即可获得一系列像素点位移后的梯度，梯度可用G(x,y,l)表示，其中，x，y均表示像素，l表示位移量。
将所述中心孔径图像和所述位移子孔径图像相同位置处的像素点求绝对差再对所有子孔径图像结果求和，获得像素点对应的匹配代价。
具体的，本实施例中，将位移后的位移子孔径图像与中心孔径图像相同位置的像素求绝对差再对所有子孔径图像结果求和，将求和后的值记为像素点在位移下的匹配代价。重复上述步骤的操作即可获得一系列像素点位移后的匹配代价，匹配代价可用C(x,y,l)表示，其中，x，y均表示像素，l表示位移量。
匹配代价计算公式为：其中SAD(x,y,l)为像素点(x,y)在l位移下的匹配代价，f(i0,j0)(x,y)为中心孔径图像，f(i,j)(x,y,l)为位移后的位移子孔径图像。
取像素点对应的所述匹配代价最小的位移量作为像素值得到匹配初始深度。
具体的，本实施例中，每个像素点取匹配代价最小的位移量lmin作为像素值得到匹配初始深度E0(x,y)。
根据像素点对应的梯度随位移量变化的变化曲线对所述匹配初始深度进行优化，得到优化深度图。
具体的，对某一像素点(x,y)，重聚焦堆栈的梯度G随位移量l的变化曲线在最佳位移量(真实视差)lb附近表现出对称峰特性，并加入立体匹配结果对匹配初始深度进行优化，这样在修正了重聚焦深度估计全局误差大的缺点的同时将重聚焦深度估计细节信息完备的优点发挥出来，获得更好的深度估计效果。
以所述中心孔径图像为特征图对所述优化深度图进行加权中值滤波处理，获得高精度的深度图。
具体的，对于加权中值滤波算法是图像处理的一个常规算法，基本原理是把数字图像或者数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点。方法是用某种结构的二维滑动模板，将板内像素根据特征图的特征乘以权重过后按照大小进行排序，生成单调上升(或者下降)的为二维数据序列。二维中值滤波输出为g(x,y)＝med{f(x-k,y-l),(k,l∈W)}，其中，f(x,y)，g(x,y)分别为原始图像和处理后图像。W为二维模板，通常为3*3，5*5区域，也可以是不同的形状，如线状，圆形，十字形，圆环形等。其主要是用来滤除图像的噪声，故此不再做多余叙述。
综上所述，本发明在获得重聚焦图时没有用到插值，而是利用傅里叶相移定理得到位移子孔径图像，这样获得的重聚焦图像相较于插值方法有更高的精度；其次，在对优化匹配初始深度中，利用梯度随位移量的变化曲线在最佳位移量附近表现出对称峰特性，并加入匹配初始深度进行深度优化，这样在修正了重聚焦深度估计全局误差大的缺点的同时将重聚焦深度估计细节信息完备的优点发挥出来，得到结果相较于重聚焦深度估计和立体匹配深度估计都更为优异，兼顾了全局误差以及精度。
在一种实施方案中，所述非中心孔径图像在频域中相移后变换到空域获得位移子孔径图像，具体包括：
设编号为(I，j)的非中心孔径图像为fi,j(x,y)，利用下式将空间域的位移转化到频域中：
其中M、N均表示图像大小，u、v均为离散变量，x、y均表示像素；
所述非中心孔径图像以步长进行位移，其中步长由下式决定：
lx(i,j)＝k(i-ic)；
ly(i,j)＝k(j-jc)；
其中，lx(i,j)和ly(i,j)分别表示位移子孔径图像在x方向和y方向上的位移量，k表示最小位移单元，ic和jc均为中心孔径图像编号，i和j均为编号完成的非中心孔径图像编号。
在一种实施方案中，计算所述重聚焦图的像素点对应的梯度，具体为：利用所述重聚焦图的相邻像素之差计算像素点对应的梯度。
具体的，通过下式计算梯度：
其中，x，y均表示像素，l表示位移量。
在一种实施方案中，根据像素点对应的梯度随位移量变化的变化曲线对所述匹配初始深度进行优化，得到优化深度图，具体包括：
所述变化曲线存在峰值对称的波峰，则波峰所对应的位移量为深度值；
或者，所述变化曲线存在对称峰，则最大的峰值点所对应的位移量为深度值；
或者，所述变化曲线不存在对称峰，则匹配初始深度为深度值。
具体的，本实施例中，结合对称性来优化初始匹配深度，针对某一像素点(x0,y0)介绍优化方式。本发明将该曲线结合初始深度E0(x0,y0)分为三种情况：
第一种情况为曲线存在关对称峰如图3所示，且对应位移量在匹配初始深度附近，对应位移量lp与初始深度E0(x0,y0)差异不大。
第二种情况为曲线存在对称峰如图4所示，且对应位移量不在匹配初始深度附近，故对应位移量lp与初始深度E0(x0,y0)差异大；
第三种情况是不存在对称峰如图5所示。
对于第一种情况的像素，深度值E(x0,y0)＝lp；第二种情况的像素，深度值E(x0,y0)＝lpmax；第三种情况的像素，深度值E(x0,y0)＝E0(x0,y0)。
综合上述技术方案，本发明利用光场重聚焦图像在最佳聚焦点(深度真值)附近的梯度具有对称性对立体匹配得到的深度图进行优化，得到精度更高的深度图。
实施例二
本申请实施例二基于实施例一提供了一种光场图像深度估计系统，用于实现实施例一的各个方法步骤，包括：
图像预处理模块，被配置为，对一幅光场图像进行标定和校正处理，获得光场图像对应的子孔径图像，其中对所述子孔径图像进行编号，其中编号完成的子孔径图像包括中心孔径图像和非中心孔径图像；
频域位移处理模块，被配置为，所述非中心孔径图像在频域中相移后变换到空域获得位移子孔径图像；
图像获得模块，被配置为，将所述位移子孔径图像中相同位置的像素求和后再求平均获得一张重聚焦图；
梯度计算模块，被配置为，计算所述重聚焦图的像素点对应的梯度；
匹配代价计算模块，被配置为，将所述中心孔径图像和所述位移子孔径图像相同位置处的像素点求绝对差再对所有子孔径图像结果求和，获得像素点对应的匹配代价；
初始深度模块，被配置为，取像素点对应的所述匹配代价最小的位移量作为像素值得到匹配初始深度；
深度优化模块，被配置为，根据像素点对应的梯度随位移量变化的变化曲线对所述匹配初始深度进行优化，得到优化深度图；
处理模块，被配置为，以所述中心孔径图像为特征图对所述优化深度图进行加权中值滤波处理，获得高精度的深度图。
本发明的估计系统，本发明在获得重聚焦图时没有用到插值，而是利用傅里叶相移定理得到位移子孔径图像，这样获得的重聚焦图像相较于插值方法有更高的精度；其次，在对优化匹配初始深度中，利用梯度随位移量的变化曲线在最佳位移量附近表现出对称峰特性，并加入匹配初始深度进行深度优化，这样在修正了重聚焦深度估计全局误差大的缺点的同时将重聚焦深度估计细节信息完备的优点发挥出来，得到结果相较于重聚焦深度估计和立体匹配深度估计都更为优异，兼顾了全局误差以及精度。
在一种实施方案中，所述频域位移处理模块，还被配置为：
设编号为(I，j)的非中心孔径图像为fi,j(x,y)，利用下式将空间域的位移转化到频域中：
其中M、N均表示图像大小，u、v均为离散变量，x、y均表示像素；
所述非中心孔径图像以步长进行位移，其中步长由下式决定：
lx(i,j)＝k(i-ic)；
ly(i,j)＝k(j-jc)；
其中，lx(i,j)和ly(i,j)分别表示位移子孔径图像在x方向和y方向上的位移量，k表示最小位移单元，ic和jc均为中心孔径图像编号，i和j均为编号完成的非中心孔径图像编号。
在一种实施方案中，所述梯度计算模块，还被配置为，利用所述重聚焦图的相邻像素之差计算像素点对应的梯度。
在一种实施方案中，深度优化模块，还被配置为：
所述变化曲线存在峰值对称的波峰，则波峰所对应的位移量为深度值；
或者，所述变化曲线存在对称峰，则最大的峰值点所对应的位移量为深度值；
或者，所述变化曲线不存在对称峰，则匹配初始深度为深度值。
需要说明的是，本实施例二中上述各程序单元所实现的功能可参照本发明实施例一的估计方法中各个实施例，因此不再叙述。
实施例三
本申请实施例三提供了一种电子设备，包括：处理器；以及存储器，用于存储方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行实施例一所述的方法。
实现如下方法步骤：
对一幅光场图像进行标定和校正处理，获得光场图像对应的子孔径图像，其中对所述子孔径图像进行编号，其中编号完成的子孔径图像包括中心孔径图像和非中心孔径图像；
所述非中心孔径图像在频域中相移后变换到空域获得位移子孔径图像；
将所述位移子孔径图像中相同位置的像素求和后再求平均获得一张重聚焦图；
计算所述重聚焦图的像素点对应的梯度；
将所述中心孔径图像和所述位移子孔径图像相同位置处的像素点求绝对差再对所有子孔径图像结果求和，获得像素点对应的匹配代价；
取像素点对应的所述匹配代价最小的位移量作为像素值得到匹配初始深度；
根据像素点对应的梯度随位移量变化的变化曲线对所述匹配初始深度进行优化，得到优化深度图；
以所述中心孔径图像为特征图对所述优化深度图进行加权中值滤波处理，获得高精度的深度图。
实施例四
本申请实施例四提供了一种存储介质，该存储介质存储有计算机程序，该计算机程序被处理器运行，执行实施例一所述的方法。
需要说明的是，本发明实施例四提供的存储介质的详细描述，可以参考对本发明提供的第一方法实施例一的相关描述，这里不再赘述。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种光场图像深度估计方法，其特征在于，包括：
对一幅光场图像进行标定和校正处理，获得光场图像对应的子孔径图像，其中对所述子孔径图像进行编号，其中编号完成的子孔径图像包括中心孔径图像和非中心孔径图像；
所述非中心孔径图像在频域中相移后变换到空域获得位移子孔径图像；
将所述位移子孔径图像中相同位置的像素求和后再求平均获得一张重聚焦图；
计算所述重聚焦图的像素点对应的梯度；
将所述中心孔径图像和所述位移子孔径图像相同位置处的像素点求绝对差再对所有子孔径图像结果求和，获得像素点对应的匹配代价；
取像素点对应的所述匹配代价最小的位移量作为像素值得到匹配初始深度；
根据像素点对应的梯度随位移量变化的变化曲线对所述匹配初始深度进行优化，得到优化深度图；其中，优化深度图的获得具体包括：所述变化曲线存在峰值对称的波峰，则波峰所对应的位移量为深度值；或者，所述变化曲线存在对称峰，则最大的峰值点所对应的位移量为深度值；或者，所述变化曲线不存在对称峰，则匹配初始深度为深度值；
以所述中心孔径图像为特征图对所述优化深度图进行加权中值滤波处理，获得高精度的深度图。
2.根据权利要求1所述的方法，其特征在于，所述非中心孔径图像在频域中相移后变换到空域获得位移子孔径图像，具体包括：
设编号为(i，j)的非中心孔径图像为，利用下式将空间域的位移转化到频域中：
，其中M、N均表示图像大小，u、v均为离散变量，x、y均表示像素；
所述非中心孔径图像以步长进行位移，其中步长由下式决定：
；
；
其中，和/>分别表示位移子孔径图像在x方向和y方向上的位移量，k表示最小位移单元，/>和/>均为中心孔径图像编号，i和j均为编号完成的非中心孔径图像编号。
3.根据权利要求1所述的方法，其特征在于，计算所述重聚焦图的像素点对应的梯度，具体为：利用所述重聚焦图的相邻像素之差计算像素点对应的梯度。
4.一种光场图像深度估计系统，其特征在于，包括：
图像预处理模块，被配置为，对一幅光场图像进行标定和校正处理，获得光场图像对应的子孔径图像，其中对所述子孔径图像进行编号，其中编号完成的子孔径图像包括中心孔径图像和非中心孔径图像；
频域位移处理模块，被配置为，所述非中心孔径图像在频域中相移后变换到空域获得位移子孔径图像；
图像获得模块，被配置为，将所述位移子孔径图像中相同位置的像素求和后再求平均获得一张重聚焦图；
梯度计算模块，被配置为，计算所述重聚焦图的像素点对应的梯度；
匹配代价计算模块，被配置为，将所述中心孔径图像和所述位移子孔径图像相同位置处的像素点求绝对差再对所有子孔径图像结果求和，获得像素点对应的匹配代价；
初始深度模块，被配置为，取像素点对应的所述匹配代价最小的位移量作为像素值得到匹配初始深度；
深度优化模块，被配置为，根据像素点对应的梯度随位移量变化的变化曲线对所述匹配初始深度进行优化，得到优化深度图；其中，深度优化模块，还被配置为：所述变化曲线存在峰值对称的波峰，则波峰所对应的位移量为深度值；或者，所述变化曲线存在对称峰，则最大的峰值点所对应的位移量为深度值；或者，所述变化曲线不存在对称峰，则匹配初始深度为深度值；
处理模块，被配置为，以所述中心孔径图像为特征图对所述优化深度图进行加权中值滤波处理，获得高精度的深度图。
5.根据权利要求4所述的系统，其特征在于，所述频域位移处理模块，还被配置为：
设编号为(i，j)的非中心孔径图像为，利用下式将空间域的位移转化到频域中：
，其中M、N均表示图像大小，u、v均为离散变量，x、y均表示像素；
所述非中心孔径图像以步长进行位移，其中步长由下式决定：
；
；
其中，和/>分别表示位移子孔径图像在x方向和y方向上的位移量，k表示最小位移单元，/>和/>均为中心孔径图像编号，i和j均为编号完成的非中心孔径图像编号。
6.根据权利要求4所述的系统，其特征在于，所述梯度计算模块，还被配置为，利用所述重聚焦图的相邻像素之差计算像素点对应的梯度。
7.一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行权利要求1至3任意一项所述的方法。
8.一种存储介质，其特征在于，该存储介质存储有计算机程序，该计算机程序被处理器运行，执行权利要求1至3任意一项所述的方法。
CN202210741558.XA 2022-06-28 2022-06-28 一种光场图像深度估计方法、系统、电子设备及存储介质 Active CN115100269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210741558.XA CN115100269B (zh) 2022-06-28 2022-06-28 一种光场图像深度估计方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210741558.XA CN115100269B (zh) 2022-06-28 2022-06-28 一种光场图像深度估计方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115100269A CN115100269A (zh) 2022-09-23
CN115100269B true CN115100269B (zh) 2024-04-23

Family

ID=83295829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210741558.XA Active CN115100269B (zh) 2022-06-28 2022-06-28 一种光场图像深度估计方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115100269B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038719A (zh) * 2017-03-22 2017-08-11 清华大学深圳研究生院 基于光场图像角度域像素的深度估计方法及系统
CN108242063A (zh) * 2018-02-06 2018-07-03 清华大学深圳研究生院 一种基于gpu加速的光场图像深度估计方法
CN113163117A (zh) * 2021-04-20 2021-07-23 电子科技大学 一种光场相机的重聚焦方法
CN113259558A (zh) * 2021-05-11 2021-08-13 电子科技大学 一种光场相机的无损全聚焦方法及装置
WO2021178537A1 (en) * 2020-03-04 2021-09-10 Magic Leap, Inc. Systems and methods for efficient floorplan generation from 3d scans of indoor scenes
CN114494383A (zh) * 2022-04-18 2022-05-13 清华大学 基于Richard-Lucy迭代的光场深度估计方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899870B (zh) * 2015-05-15 2017-08-25 清华大学深圳研究生院 基于光场数据分布的深度估计方法
EP3107067A1 (en) * 2015-06-16 2016-12-21 Thomson Licensing Method and apparatus for computing an estimate position of a micro-image produced by a micro-lens of an array of micro-lenses of an optical acquisition system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038719A (zh) * 2017-03-22 2017-08-11 清华大学深圳研究生院 基于光场图像角度域像素的深度估计方法及系统
CN108242063A (zh) * 2018-02-06 2018-07-03 清华大学深圳研究生院 一种基于gpu加速的光场图像深度估计方法
WO2021178537A1 (en) * 2020-03-04 2021-09-10 Magic Leap, Inc. Systems and methods for efficient floorplan generation from 3d scans of indoor scenes
CN113163117A (zh) * 2021-04-20 2021-07-23 电子科技大学 一种光场相机的重聚焦方法
CN113259558A (zh) * 2021-05-11 2021-08-13 电子科技大学 一种光场相机的无损全聚焦方法及装置
CN114494383A (zh) * 2022-04-18 2022-05-13 清华大学 基于Richard-Lucy迭代的光场深度估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LYTRO相机光场图像深度估计算法及重建的研究;孙福盛;韩燮;丁江华;刘涛;;计算机工程与应用;20171010(13);全文 *
Unsupervised Depth Estimation from Light Field Using a Convolutional Neural Network;Jiayong Peng等;《2018 International Conference on 3D Vision (3DV)》;20181014;全文 *
单镜头光场立体三维重构技术研究与应用;管宏云;《万方数据》;20231002;全文 *

Also Published As

Publication number Publication date
CN115100269A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN103003665B (zh) 立体测距装置
Jeon et al. Accurate depth map estimation from a lenslet light field camera
Jeon et al. Depth from a light field image with learning-based matching costs
CN107995424B (zh) 基于深度图的光场全聚焦图像生成方法
JP2008123141A (ja) 対応点探索方法および３次元位置計測方法
US20130272600A1 (en) Range image pixel matching method
Takeda et al. Fusing depth from defocus and stereo with coded apertures
CN105721768B (zh) 从聚焦堆叠生成适合的切片图像的方法和装置
CN112581415A (zh) 图像处理方法、装置、电子设备及存储介质
US8433187B2 (en) Distance estimation systems and method based on a two-state auto-focus lens
CN113837947B (zh) 一种获得光学相干层析大焦深图像的处理方法
CN115578296B (zh) 一种立体视频处理方法
CN110462685A (zh) 三维模型重建方法和系统
CN110136048B (zh) 一种图像配准方法及系统、存储介质及终端
CN103905746A (zh) 亚像素级图像偏移定位及叠加方法和装置以及视频设备
CN107209061B (zh) 用于确定场景相关电磁场的复振幅的方法
CN113160393B (zh) 基于大景深的高精度三维重建方法、装置及其相关组件
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
CN115100269B (zh) 一种光场图像深度估计方法、系统、电子设备及存储介质
CN117333367A (zh) 基于图像局部特征的图像拼接方法、系统、介质及装置
CN110322514B (zh) 一种基于多中心投影模型的光场相机参数估计方法
CN112837217B (zh) 一种基于特征筛选的室外场景图像拼接方法
CN111951159B (zh) 一种强噪声条件下光场epi图像超分辨率的处理方法
CN113163117A (zh) 一种光场相机的重聚焦方法
CN109003256B (zh) 一种基于联合稀疏表示的多聚焦图像融合质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant