CN114936990B - 一种基于光场傅里叶视差层的视差重建方法 - Google Patents
一种基于光场傅里叶视差层的视差重建方法 Download PDFInfo
- Publication number
- CN114936990B CN114936990B CN202210499311.1A CN202210499311A CN114936990B CN 114936990 B CN114936990 B CN 114936990B CN 202210499311 A CN202210499311 A CN 202210499311A CN 114936990 B CN114936990 B CN 114936990B
- Authority
- CN
- China
- Prior art keywords
- parallax
- layer
- fourier
- parallax layer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005259 measurement Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 239000012467 final product Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 229920000742 Cotton Polymers 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005290 field theory Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉和数字图像处理技术领域,公开了一种基于光场傅里叶视差层的视差重建方法,包括:S1,由光场重构傅里叶视差层;S2,由傅里叶视差层重建视差层图像;S3,基于测度函数确定像素点所在的视差层;S4,融合所有视差层的像素点,获得场景信息的全局视差图。该方法对傅里叶视差层的划分误差存在一定的鲁棒性,能够实现高精度的视差重建,是一种在变换域中解构场景视差层进行视差重建的新方法。
Description
技术领域
本发明涉及计算机视觉与数字图像处理技术领域,特别是关于一种基于光场傅里叶视差层的视差重建方法。
背景技术
场景深度信息的恢复是光场计算成像领域的前沿热点问题,深度重建属于中层视觉处理,光场成像的应用性能很大程度上取决于其深度信息的精确反演。光场理论的发展及光场相机的问世,为深度估计的研究带来广阔的发展空间。光场数据可以看成是在多个视点下图像的集合,依据不同视点下光线的信息来估计深度。基于光场的深度估计可以分为五类,分别是基于空间域的深度重建、基于角度域的深度重建、基于空角耦合域的深度重建、基于聚焦堆栈数据的深度重建和基于深度学习的深度重建。深度与视差存在对应关系,子孔径图像阵列、宏像素、EPI是基于光场在空间域、角度域和空角域的三种可视化方式,不同可视化形式蕴含着不同耦合形式的视差信息。
傅里叶视差层(Fourier Disparity Layers,FDL)是光场在变换域中一种表达形式,它是由离散傅里叶视差层组成,每层只含有该层视差对应物点的辐亮度的频谱信息。FDL数据由视差的空间域和辐亮度的频谱域组成,为视差估计和视差分析提供了新的光场数据形式。视差作为场景的立体信息,蕴含在FDL中,更直接的蕴含在视差层图像中。
空间域中利用光场数据可以获得场景的视差信息,但现有技术中缺少利用频域信息重建高精度的视差方法。
发明内容
本发明的目的在于提供一种基于傅里叶视差层表示的视差重建方法,为基于光场的场景重构等计算成像研究提供高精度的深度信息。
为实现上述目的,本发明提出如下技术方案:
一种基于光场傅里叶视差层的视差重建方法,包括以下步骤:
S1,由光场重构傅里叶视差层;
S2,由傅里叶视差层重建视差层图像;
S3,基于视差层图像确定像素点所在的视差层;
S4,融合所有视差层的像素点,获得场景信息的全局视差图。
优选的,所述S1具体包括:
S11,基于傅里叶视差层表示光场的傅里叶变换;
S12,基于傅里叶视差层的子孔径图像的傅里叶变换;
其中,uj为标号j的视点;
对于m张子孔径图像,n个视差层,则可将(3)式离散化成线性方程组
Aj,kXk=bj (4)
其中,Aj,k大小取决于视点个数m和视差层的层数n。
对所有的傅里叶视差层进行逆傅里叶变换,得到全部深度的视差层图像。
优选的,所述S3根据重建出的视差层图像在不同深度层的梯度变化情况建立测度函数,基于Sobel测度算子提取像素点的视差层图像;
G(k)(x,y)=|Gx (k)(x,y)|+|Gy (k)(x,y)| (10)
Gx (k)(x,y)=Sx×L(k)(x,y) (11)
Gy (k)(x,y)=Sy×L(k)(x,y) (12)
其中,N为测度窗口大小,T为测度窗口内像素测度的均值,G(k)为像素(x,y)处的图像梯度,Gx (k)(x,y)为沿水平方向x的梯度,Gy (k)(x,y)为沿垂直方向y的梯度,Sx、Sy分别为Sobel算子水平和垂直方向的卷积核模板,L(k)(x,y)为第k个视差层图像;
S312,比较n个视差层图像的测度值,找出最大的测度值,并提取最大测度值对应的视差层图像标号kS *(x,y);
其中,测度窗口大小为3*3、5*5或7*7。
优选的,所述S3根据视差层图像和中心视图像素分布的一致性,基于归一化互相关提取像素点的视差层图像;
其中,为中心视图的鲁棒性窗口,为中心视图,为第k个视差层图像的鲁棒性窗口,L(k)为第k个视差层图像,为中心视图鲁棒性窗口中像素的均值,为第k个视差层图像鲁棒性窗口中像素的均值,(p,q)为像素在模板中的坐标;
S322,选取视差层图像与中心视图像素点的最大相关测度值,并提取该视差层像素点所对应的视差层图像标号k*(x,y);
其中,鲁棒性窗口大小为3*3、5*5或7*7。
优选的,所述S4具体包括:
S41,确定视差层图像L(k)(x,y)的空间区域支集的视差;
dk(x,y)=dk(x,y)∈Ωk (16)
S42,确定像素点所在的空间区域,每个空间区域对应一个视差,将所有视差层进行融合,获取场景信息的全局视差图;
其中,dk为视差,dk(x,y)为某一层kS *(x,y)或k*(x,y)中像素点(x,y)的视差。
综上,本发明的基于光场傅里叶视差层的视差重建方法,对视差层的划分误差存在一定的鲁棒性,能够实现高精度的视差重建。
附图说明
图1是本发明实施例的基于光场傅里叶视差层视差重建方法的流程图;
图2是本发明实施例提供的傅里叶视差层生成新视点图的示意图;
图3是本发明实施例提供的cotton场景视差层图像示意图;
图4是本发明实施例提供的cotton场景对应的FDL示意图;
图5为本发明实施例提供的cotton场景基于Sobel测度算子的FDL视差重建结果示意图;
图6为本发明实施例提供的cotton场景基于归一化互相关的FDL视差重建结果示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
傅里叶视差层(Fourier Disparity Layers,FDL)是光场在变换域中一种表达形式,它是由离散傅里叶视差层组成,FDL数据由视差的空间域和辐亮度的频谱域组成,视差信息蕴含在FDL数据中。
如图1所示,基于光场FDL的视差重建方法包括如下步骤:
S1,由光场重构FDL。
S11,基于FDL表示光场的傅里叶变换;
其中,Ωk为空间区域,i为虚数单位;L(x,0)为中心视点u=0下的光场;
S12,第j个视点uj下的子孔径图像可以由视差层平移累加操作得到,由视差层生成新视点图的过程如图2所示,其傅里叶变换可以由FDL表示,对关于ωu进行逆傅里叶变换,结合(1)式,子孔径图像的傅里叶变换表示为:
对于离散的光场,则可将(3)式离散化成线性方程组。对于m张光场子孔径图像,n个视差层,则可将(3)式离散化成线性方程组:
Aj,kXk=bj (4)
其中,Aj,k的大小取决于视点个数m和视差层的层数n。
综上,通过离散化将由光场重构FDL转化为求解线性方程组(7)的问题,可以通过闭式解的方式进行线性方程组求解。
S2,由FDL重建视差层图像。
其中,(x,y)为像素坐标。
傅里叶视差层如图4所示,与其对应的视差层图像如图3所示。视差层数的设置,可以根据场景的复杂程度及深度变化情况进行选择,可以为10层、20层、30层等,也可以根据场景的需要按需选择层数。
对所有的FDL进行逆傅里叶变换,得到全部深度的视差层图像L(k)(x,y)。在理想情形下,视差层图像L(k)(x,y)对应一个空间区域Ωk,Ωk具有恒定视差,每个视差层图像为一个视差支集。
S3,基于视差层图像确定像素点所在的视差层。
该部分,本实施例提出了两种方法:基于Sobel测度算子的视差层判断和基于归一化互相关的视差层判断。
方法1,根据重建出的视差层图像在不同深度层的梯度变化情况建立测度函数,基于Sobel测度算子进行视察层判断。该方法具体步骤如下:
G(k)(x,y)=|Gx (k)(x,y)|+|Gy (k)(x,y)| (10)
Gx (k)(x,y)=Sx×L(k)(x,y) (11)
Gy (k)(x,y)=Sy×L(k)(x,y) (12)
其中,N为计算测度的窗口大小,T为测度窗口内像素测度的均值,G(k)为像素(x,y)处的图像梯度,Gx (k)(x,y)为沿水平方向x的梯度,Gy (k)(x,y)为沿垂直方向y的梯度,Sx、Sy分别为Sobel算子水平和垂直方向的卷积核模板,L(k)(x,y)为第k个视差层图像。
S312,比较n个视差层图像的测度值,找出最大的测度值,并提取最大测度值对应的视差层图像标号kS *(x,y)。
方法2,根据视差层图像和中心视图像素分布的一致性,基于归一化互相关进行视差层判断。
其中,为中心视图的鲁棒性窗口,为中心视图,为第k个视差层图像的鲁棒性窗口,L(k)为第k个视差层图像,为中心视图鲁棒性窗口中像素的均值,为第k个视差层图像鲁棒性窗口中像素的均值,(p,q)为像素在模板中的坐标;
S322,选取视差层图像与中心视图像素点的最大相关测度值,并提取该视差层像素点所对应的视差层标号k*(x,y);
以上两种方法中,关于计算时窗口大小的选取,其窗口大小可以为3*3,5*5或7*7,还可以根据场景的纹理区域、边缘区域及整个深度变化情况按需选取。
S4,将所有视差层的像素点进行融合,获得场景信息的全局视差图。
依据视差层标号寻找对应层像素点,并计算像素点视差,然后融合所有像素点的视差信息,从而反推出整个场景信息的视差信息。
S41,确定空间区域的视差信息;
dk(x,y)=dk(x,y)∈Ωk (16)
dk(x,y)=dk(x,y)∈Ωk (17)
其中,dk为视差,dk(x,y)为某一层kS *(x,y)或k*(x,y)中像素点(x,y)的视差;
S42,融合所有像素点的视差信息,得到场景信息的视差图;
基于Sobel测度算子的FDL视差重建方法和基于归一化互相关的视差重建方法,经过上述S41得到视差层图像的空间区域,且每个空间区域对应恒定的视差。遍历视差层图像中所有的像素点,将视差层上的点赋予视差信息,再将所有视差层进行融合,得到场景信息的视差图。
基于Sobel测度算子的FDL视差重建方法的实验结果如图5所示,基于归一化互相关的视差重建方法的实验结果如图6所示。
最后需要指出的是:以上实施例仅用以说明本发明的技术方案,而非对其限制。本领域的普通技术人员应当理解:可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种基于光场傅里叶视差层的视差重建方法,其特征在于,包括:
S1,由光场重构傅里叶视差层;
S11,基于傅里叶视差层表示光场的傅里叶变换;
S12,基于傅里叶视差层的子孔径图像的傅里叶变换;
其中,uj为标号j的视点;
对于m张子孔径图像,n个视差层,则将(3)式离散化成线性方程组
Aj,kXk=bj (4)
其中,Aj,k大小取决于子孔径图像的数量m和视差层的层数n;
S2,由傅里叶视差层重建视差层图像;
S3,基于视差层图像确定像素点所在的视差层;
S4,融合所有视差层的像素点,获得场景信息的全局视差图。
3.如权利要求2所述的视差重建方法,其特征在于,所述S3根据重建出的视差层图像在不同深度层的梯度变化情况建立测度函数,基于Sobel测度算子提取像素点的视差层图像;
S311,基于Sobel算子,建立测度函数
C(k)(x,y)=|Gx (k)(x,y)|+|Gy (k)(x,y)| (10)
Gx (k)(x,y)=Sx×L(k)(x,y) (11)
Gy (k)(x,y)=Sy×L(k)(x,y) (12)
其中,N为测度窗口大小,T为测度窗口内像素测度的均值,G(k)为像素(x,y)处的图像梯度,(p,q)为像素在模板中的坐标,Gx (k)(x,y)为沿水平方向x的梯度,Gy (k)(x,y)为沿垂直方向y的梯度,Sx、Sy分别为Sobel算子水平和垂直方向的卷积核模板,L(k)(x,y)为第k个视差层图像;
S312,比较n个视差层图像的测度值,找出最大的测度值,并提取最大测度值对应的视差层图像标号kS *(x,y);
其中,测度窗口大小为3*3、5*5或7*7。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210499311.1A CN114936990B (zh) | 2022-04-26 | 2022-04-26 | 一种基于光场傅里叶视差层的视差重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210499311.1A CN114936990B (zh) | 2022-04-26 | 2022-04-26 | 一种基于光场傅里叶视差层的视差重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114936990A CN114936990A (zh) | 2022-08-23 |
CN114936990B true CN114936990B (zh) | 2023-03-07 |
Family
ID=82865262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210499311.1A Active CN114936990B (zh) | 2022-04-26 | 2022-04-26 | 一种基于光场傅里叶视差层的视差重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114936990B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276795A (zh) * | 2019-06-24 | 2019-09-24 | 大连理工大学 | 一种基于分裂迭代算法的光场深度估计方法 |
CN113129351A (zh) * | 2021-03-10 | 2021-07-16 | 西安理工大学 | 一种基于光场傅里叶视差分层的特征检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6091176B2 (ja) * | 2012-11-19 | 2017-03-08 | キヤノン株式会社 | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 |
US9092890B2 (en) * | 2012-12-20 | 2015-07-28 | Ricoh Company, Ltd. | Occlusion-aware reconstruction of three-dimensional scenes from light field images |
CN110211169B (zh) * | 2019-06-06 | 2021-05-11 | 上海黑塞智能科技有限公司 | 基于多尺度超像素和相位相关的窄基线视差的重构方法 |
CN111754561B (zh) * | 2020-06-10 | 2024-07-26 | 江南大学 | 基于自监督深度学习的光场图像深度恢复方法及系统 |
-
2022
- 2022-04-26 CN CN202210499311.1A patent/CN114936990B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276795A (zh) * | 2019-06-24 | 2019-09-24 | 大连理工大学 | 一种基于分裂迭代算法的光场深度估计方法 |
CN113129351A (zh) * | 2021-03-10 | 2021-07-16 | 西安理工大学 | 一种基于光场傅里叶视差分层的特征检测方法 |
Non-Patent Citations (2)
Title |
---|
"四维光场表达模型综述";李亚宁 等;《激光与光电子学进展》;20210930(第18期);267-284 * |
基于光场傅里叶视差层表达的;魏菲,刘畅,邱钧;《光学学报》;20220731 * |
Also Published As
Publication number | Publication date |
---|---|
CN114936990A (zh) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ye et al. | A local descriptor based registration method for multispectral remote sensing images with non-linear intensity differences | |
CN101398886B (zh) | 一种基于双目被动立体视觉的快速三维人脸识别方法 | |
Choi et al. | Depth analogy: Data-driven approach for single image depth estimation using gradient samples | |
CN106228507A (zh) | 一种基于光场的深度图像处理方法 | |
Chen et al. | An improved edge detection algorithm for depth map inpainting | |
Yu et al. | A portable stereo vision system for whole body surface imaging | |
Nair et al. | High accuracy tof and stereo sensor fusion at interactive rates | |
CN107492107B (zh) | 基于平面与空间信息融合的物体识别与重建方法 | |
Tošić et al. | 3D keypoint detection by light field scale-depth space analysis | |
Cheng et al. | Stereo matching by using the global edge constraint | |
Lourakis et al. | Accurate scale factor estimation in 3D reconstruction | |
Manduchi et al. | Distinctiveness maps for image matching | |
CN109345570A (zh) | 一种基于几何形状的多通道三维彩色点云配准方法 | |
CN112329723A (zh) | 一种基于双目相机的多人人体3d骨骼关键点定位方法 | |
CN114936990B (zh) | 一种基于光场傅里叶视差层的视差重建方法 | |
Kang et al. | Progressive 3D model acquisition with a commodity hand-held camera | |
Mahmoud et al. | Fast 3d structure from motion with missing points from registration of partial reconstructions | |
Tang et al. | A segmentation-based stereovision approach for assisting visually impaired people | |
Kim et al. | Data-driven single image depth estimation using weighted median statistics | |
Alazawi et al. | Adaptive depth map estimation from 3D integral image | |
Kim et al. | Disparity estimation using a region-dividing technique and energy-based regularization | |
Yaman et al. | Multimodal Stereo Vision Using Mutual Information with Adaptive Windowing. | |
Sotoca et al. | Depth estimation improvement in 3D integral imaging using an edge removal approach | |
Bhatia et al. | Accurate corner detection methods using two step approach | |
Han et al. | Guided filtering based data fusion for light field depth estimation with L0 gradient minimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |