CN115100352A - 光场三维重建方法、装置、电子设备及计算机存储介质 - Google Patents

光场三维重建方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN115100352A
CN115100352A CN202210705810.1A CN202210705810A CN115100352A CN 115100352 A CN115100352 A CN 115100352A CN 202210705810 A CN202210705810 A CN 202210705810A CN 115100352 A CN115100352 A CN 115100352A
Authority
CN
China
Prior art keywords
light field
image
sub
optical flow
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210705810.1A
Other languages
English (en)
Inventor
高俊辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongguan Automation Technology Co ltd
Original Assignee
Wuhan Zhongguan Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongguan Automation Technology Co ltd filed Critical Wuhan Zhongguan Automation Technology Co ltd
Priority to CN202210705810.1A priority Critical patent/CN115100352A/zh
Publication of CN115100352A publication Critical patent/CN115100352A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种光场三维重建方法、装置、电子设备及计算机存储介质，其方法包括：基于光场相机采集目标物体的光场数据，其中，所述光场数据包括目标物体的光场图像及所述光场图像的相位信息；将所述光场图像输入到预先训练完备的光流网络模型中，输出超分辨光场图像；基于所述光场图像的相位信息计算所述目标物体的视差信息，并根据所述视差信息与预先确定的场景中视差与深度的映射关系确定目标物体的深度信息；根据所述超分辨光场图像与所述深度信息对所述目标物体进行光场三维重建。本发明可以基于已训练的光流网络模型对目标物体进行高精度的光场重建，提高了光场三维重建的效率和精度。

Description

光场三维重建方法、装置、电子设备及计算机存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种光场三维重建方法、装置、电子设备及计算机存储介质。
背景技术
随着我国智能制造战略的不断推进，对于生产制造领域的精度要求也随之提升，光学三维重建作为一种非接触式的测量手段，在逆向工程、医疗器械、文物考古等领域都得到了广泛的应用。
区别于传统成像，光场成像是一种基于计算成像理论和图像渲染理论的成像技术，在传统成像记录二维空间分辨率的基础上，还能同时记录场景的角度分辨率，通过单次拍摄即可获得场景中从不同视角下观察到的图像，实现角度、空间的四维信息的获取，因其记录四维信息的特性，利用角度和空间信息可以实现物体的快速三维重建。光场相机作为一种新型的成像采集设备，能够同时记录场景中光的方向和强度，只需单次拍摄即可获得场景的多视角视图，实现角度和空间四维信息的获取。
但目前存在的光场三维重建方法大都是被动式测量，主要依赖于被测物体的形状、纹理等特征，难以保持精确稳定的重建结果；且光场相机的成像传感器的分辨率是一定的，想要获得多个视角的图像就会使得每个子孔径图像的分辨率降低。现有技术通常将低分辨率图像上采样到与高分辨率图像相同尺寸后再输入进网络进行计算，但这种做法会导致网络中存在着在大尺寸上进行卷积操作的问题，极大增加了计算成本和时间复杂度。因此如何在保持多视角的基础上提升每个子孔径图像的分辨率，是高精度光场三维重建中需要亟待解决的问题。
发明内容
有鉴于此，有必要提供一种光场三维重建方法、装置、电子设备及计算机存储介质，用以实现在保持多视角的基础上提升每个子孔径图像的分辨率，以提升三维重建的精度的目的。
为了解决上述问题，第一方面本发明提供一种光场三维重建方法，包括：
基于光场相机采集目标物体的光场数据，其中，所述光场数据包括目标物体的光场图像及所述光场图像的相位信息；
将所述光场图像输入到预先训练完备的光流网络模型中，输出超分辨光场图像；
基于所述光场图像的相位信息计算所述目标物体的视差信息，并根据所述视差信息与预先确定的场景中视差与深度的映射关系确定目标物体的深度信息；
根据所述超分辨光场图像与所述深度信息对所述目标物体进行光场三维重建。
进一步的，所述预先训练的光流网络模型包括光流网络与亚像素卷积网络；
利用高分辨率的光场图像组成训练集对所述光流网络进行训练，并将重建图像的像素均方误差作为训练所述光流网络的目标函数；
将光流网络与亚像素卷积网络的复合损失函数确定为所述光流网络模型的损失函数。
进一步的，所述光场图像包括光场子孔径图像；
所述将所述光场图像输入到预先训练的光流网络模型中，输出超分辨光场图像，包括：
利用所述光流网络计算相邻光场子孔径图像之间的亚像素偏移，得到偏移配准的光场子孔径图像；
利用所述亚像素卷积网络对所述偏移配准的光场子孔径图像进行特征计算，得到所述超分辨光场图像。
进一步的，所述利用所述光流网络计算相邻光场子孔径图像之间的亚像素偏移，得到偏移配准的光场子孔径图像，包括：
利用第一卷积层与第一上采样层计算所述相邻光场子孔径图像的第一特征，得到初始光流；
将所述初始光流与目标位置的光场子孔径图像进行翘曲变换得到目标位置光场子孔径图像的初始变形图像；
利用第二卷积层与第二上采样层计算初始变形图像、初始光流、和所述相邻光场子孔径图像的第二特征，得到精细光流；
利用激活层中的子孔径偏移量将初始光流、精细光流和目标位置的子孔径图像进行翘曲变换偏移配准的光场子孔径图像，其中，所述子孔径偏移量由初始光流、精细光流和目标位置的子孔径图像确定。
进一步的，利用所述亚像素卷积网络对所述偏移配准的光场子孔径图像进行特征计算，得到所述超分辨光场图像，包括：
对所述偏移配准的光场子孔径图像进行像素重组，得到重组后的超分辨光场图像；
所述对所述偏移配准的光场子孔径图像进行像素重组，包括：
将所述偏移配准的光场子孔径图像的像素划分成多个亚像素点，并将特征图基于像素位置填充至所述多个亚像素点中，完成对所述偏移配准的光场子孔径图像的像素重组。
进一步的，确定场景中视差与深度的映射关系，包括：
利用预设标定法对光场相机进行参数化标定；
确定参数化标定后场景中视差与深度的映射关系：
Figure BDA0003706136490000041
其中，zc表示场景深度，Δx表示场景视差，u表示物距，v表示像距，q表示成像传感器上每个像素的大小，b表示微透镜阵列与成像传感器之间的距离。
进一步的，在进行光场数据采集前对目标物体进行相位编码和相位解算，并采集经过相位编码和相位解算的目标物体的光场数据；
所述基于所述光场图像的相位信息计算所述目标物体的视差信息，包括：
根据相位信息在极平面图中呈现的直线特征确定所述目标物体的视差信息。
第二方面，本发明还提供一种光场三维重建装置，包括：
采集模块，用于基于光场相机采集目标物体的光场数据，其中，所述光场数据包括目标物体的光场图像及所述光场图像的相位信息；
输出模块，用于将所述光场图像输入到预先训练完备的光流网络模型中，输出超分辨光场图像；
计算模块，用于基于所述光场图像的相位信息计算所述目标物体的视差信息，并根据所述视差信息与预先确定的场景中视差与深度的映射关系确定目标物体的深度信息；
重建模块，用于根据所述超分辨光场图像与所述深度信息对所述目标物体进行光场三维重建。
第三方面，本发明还提供一种电子设备，包括存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述光场三维重建方法中的步骤。
第四方面，本发明还提供一种计算机存储介质，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述光场三维重建方法中的步骤。
采用上述实施例的有益效果是：本发明根据光场相机采集目标物体的光场数据，使得采集的数据更能准确反映当前的场景信息；通过将光场图像输入到预先训练好的光流网络模型中，根据光流中描述的子孔径之间的运动偏移，可以使光场图像进行偏移配准后实现从低分辨率到高分辨率的重建，保证了在多视角的基础上提升每个子孔径图像的分辨率。在得到高分辨率光场图像后，根据光场图像中的相位信息计算出物体的精确视差信息，然后根据标定结果确定物体的深度信息，最后集合高分辨光场图像实现对当前场景的光场三维重建，提高了光场三维重建的效率和精度。
附图说明
图1为本发明一实施例提供的一种光场相机的模型参考图；
图2为本发明一实施例提供的一种光场双平面模型参考图；
图3为本发明一实施例提供的一种极平面图；
图4为本发明提供的光场三维重建方法的一实施例的流程示意图；
图5为本发明一实施例提供的基于光流网络的相邻子孔径图像亚像素偏移配准原理图；
图6为本发明一实施例提供的进行像素重组的操作原理图；
图7为本发明一实施例中提供的超分辨前后相位计算细节对比图；
图8为本发明一实施例中提供的超分辨前后视差计算细节对比图；
图9为本发明一实施例中提供的超分辨前后三维重建结果对比图；
图10为本发明提供的光场三维重建装置的一实施例的结构示意图；
图11为本发明一实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。此外，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明提供了一种光场三维重建方法、装置、电子设备及计算机存储介质，光场相机因能够同时记录场景中光的方向和强度，只需单次拍摄即可实现角度和空间四维信息的获取，因此可以使用光场相机进行三维重建，但且光场相机的成像传感器的分辨率是一定的，想要获得多个视角的图像就会使得每个子孔径图像的分辨率降低。光流法指的是一种简单实用的图像运动的表达方式，使用光流法可以描述相邻子孔径之间的运动偏移，并基于此来进行运动补偿实现图像对齐，为后续输入进超分辨重建网络提供了保证。
在实施例描述之前，对相关词语进行释义：
光场成像：光场成像是一种基于计算成像理论和图像渲染理论的成像技术，在传统成像记录二维空间分辨率的基础上，还能同时记录场景的角度分辨率，通过单次拍摄即可获得场景中从不同视角下观察到的图像，实现角度、空间的四维信息的获取。
光场相机：光场相机是一种新型的成像采集设备，能够同时记录场景中光的方向和强度。现较为主流的是基于微透镜阵列的光场相机，其模型如图1所示，图1为本发明一实施例提供的一种光场相机的模型参考图。在普通相机的基础上，通过在主透镜和成像传感器之间增加一片微透镜阵列，使光线经过主透镜之后再穿过微透镜形成二次成像，图像传感器上的不同位置的感光元件能够采集到来自同一物点的光线信息，在传感器上集合为“宏像素”。请参阅图2，图2为本发明一实施例提供的一种光场双平面模型参考图，即L(s,t,x,y)，其中(s,t)对应着角度分辨率，(x,y)对应着空间分辨率。
极平面图：极平面图理论可以解决在运动状态下场景的三维重建，结合极平面图理论获取场景的视差线索来实现三维重建的目的。对于四维光场而言，多子孔径图像之间存在着亚像素级的运动，也就存在着视差信息，因此极平面理论在四维光场中同样适用。特别地，当固定四维中的任意两个坐标，将光线局限于二维空间时，光场可以表示为：
Figure BDA0003706136490000071
其中
Figure BDA0003706136490000072
代表着一个角度的子孔径图像，
Figure BDA0003706136490000073
代表着一个物点在所有视角下的集合，
Figure BDA0003706136490000074
代表着水平方向的极平面图，
Figure BDA0003706136490000075
代表着竖直方向的极平面图。请参阅图3，图3为本发明一实施例提供的一种极平面图，图3展示了7×7×512×512的光场图像和水平竖直方向的极平面图。极平面图在光场中可以理解为四维数据的水平或竖直方向的二维切片，从图中可以看出极平面图中存在着很多不同斜率的直线，这些倾斜程度不同的直线称为做极平面图中的极线，极线是由同一个物点在多孔径中因位置把不同而产生的运动轨迹，其倾斜程度反应了对应像素点在场景中的视差信息。基于极平面图的光场三维重建方法将视差计算转化为极线斜率的求解问题，在有效减小计算量的同时，还保持了较高的鲁棒性，因此在光场三维重建中起着重要的作用。
被动式测量：被动式测量一般指利用周围环境如自然光的反射，使用相机获取图像，然后通过特定算法计算得到物体的立体空间信息，主要有纹理恢复形状法、阴影恢复形状法及立体视觉法。
主动式测量：主动式测量是指利用如激光、声波、电磁波等光源或能量源发射至目标物体，通过接收返回的光波来获取物体的深度信息。
以下分别对具体实施例进行详细说明：
请参阅图4，图4为本发明提供的光场三维重建方法的一实施例的流程示意图，本发明的一个具体实施例，公开了一种光场三维重建方法，包括：
步骤S401：基于光场相机采集目标物体的光场数据，其中，光场数据包括目标物体的光场图像及光场图像的相位信息；
步骤S402：将光场图像输入到预先训练完备的光流网络模型中，输出超分辨光场图像；
步骤S403：基于光场图像的相位信息计算目标物体的视差信息，并根据视差信息与预先确定的场景中视差与深度的映射关系确定目标物体的深度信息；
步骤S404：根据超分辨光场图像与深度信息对目标物体进行光场三维重建。
首先需要说明的是，光场相机在采集三维重建所需要的光场数据，具体为目标物体的光场数据前，需要对光场相机进行参数化标定，可以理解的是，经过标定后的光场相机，采集的光场数据才能更准确地反映当前的场景信息。还需要说明的是，在进行光场数据采集前，还需要对目标物体进行编码，具体可以是将光场技术与结构光条纹投影技术相结合，使用数字投影仪对物体进行相位编码，这样采集的光场数据包括光场图像的相位信息。其中，光场数据是包括角度、空间的四维信息数据，光场图像包括多个子孔径图像，子孔径图像是目标物体不同角度的图像。
其中，在预先训练完备的光流网络模型中，由于光流法可以描述相邻子孔径之间的运动偏移，因此基于此来进行运动补偿实现图像对齐，然后对低分辨率的子孔径图像进行特征计算并排列到高分辨率空间，实现光场图像的超分辨重建。因此将光场图像输入到预先训练的光流网络模型中，可以输出重建的超分辨光场图像。
可以理解的是，在对光场相机进行参数化标定后，可以根据标定参数确定场景中的视差与深度的映射关系；在对目标物体进行相位编码后，场景中每一个点的相位值都是唯一的，同一目标点经物体形状调制后的相位值不随着观测角度的变化而变化。可以根据光场图像的相位信息计算目标物体的视差信息。因此可以根据计算的视差信息与上述映射关系确定目标物体的深度信息，进而根据超分辨图像与深度信息对目标物体进行光场三维重建。
采用上述实施例的有益效果是：本发明通过根据光场相机采集目标物体的光场数据，使得采集的数据更能准确反映当前的场景信息；通过将光场图像输入到预先训练好的光流网络模型中，根据光流中描述的子孔径之间的运动偏移，可以使光场图像进行偏移配准后实现从低分辨率到高分辨率的重建，保证了在多视角的基础上提升每个子孔径图像的分辨率。在得到高分辨率光场图像后，根据光场图像中的相位信息计算出物体的精确视差信息，然后根据标定结果确定物体的深度信息，最后结合高分辨光场图像实现对目标物体进行光场三维重建，提高了光场三维重建的效率和精度。
在本发明的一个实施例中，预先训练的光流网络模型包括光流网络与亚像素卷积网络；
在对光流网络模型进行训练的过程中，利用高分辨率的光场图像组成训练集对光流网络进行训练，并将重建图像的像素均方误差作为训练光流网络的目标函数；
其中，训练集可以由
Figure BDA0003706136490000101
表示，其中n＝1......N，表示训练集个数，训练光流网络的目标函数由重建图像的像素均方误差表示，具体为：
Figure BDA0003706136490000102
将光流网络与亚像素卷积网络的复合损失函数确定为光流网络模型的损失函数。
可以理解的是，由于光流网络模型由光流网络和亚像素卷积网络组成，因此整个网络模型的损失函数可以是光流网络与亚像素卷积网络的复合损失函数：
Figure BDA0003706136490000103
通过将光流网络与亚像素卷积网络结合起来实现联合优化，可以最大限度地减少复合损失。
在本发明的一个实施例中，光场图像包括光场子孔径图像，将光场图像输入到预先训练的光流网络模型中，输出超分辨光场图像，包括：
利用光流网络计算相邻光场子孔径图像之间的亚像素偏移，得到偏移配准的光场子孔径图像；
利用亚像素卷积网络对偏移配准的光场子孔径图像进行特征计算，得到超分辨光场图像。
可以理解的是，由于光场相机窄基线的特性，使得相邻子孔径图像之间存在着高度的信息相关性，根据这种特性可以利用相邻的多张子孔径图像的信息来重构中间孔径的图像，从而获得更多的图像细节。光流法描述了相邻子孔径之间的运动偏移，因此可以找到相邻子孔径图像与目标位置子孔径图像之间的最佳光流表示，实现光场子孔径图像之间的偏移计算。接着将偏移配准之后的光场子孔径图像传入进亚像素卷积网络中来将低分辨率图像的特征图映射到高分辨率网格中，以实现光场图像从低分辨率到高分辨率的提升。
在本发明的一个实施例中，利用光流网络计算相邻光场子孔径图像之间的亚像素偏移，得到偏移配准的光场子孔径图像，包括：
利用第一卷积层与第一上采样层计算相邻光场子孔径图像的第一特征，得到初始光流；
将初始光流与目标位置的光场子孔径图像进行翘曲变换得到目标位置光场子孔径图像的初始变形图像；
利用第二卷积层与第二上采样层计算初始变形图像、初始光流、和相邻光场子孔径图像的第二特征，得到精细光流；
利用激活层中的子孔径偏移量将初始光流、精细光流和目标位置的子孔径图像进行翘曲变换偏移配准的光场子孔径图像，其中，子孔径偏移量由初始光流、精细光流和目标位置的子孔径图像确定。
首先需要说明的是，在进行光场子孔径图像的偏移计算时，可以将输入的相邻光场子孔径图像定义为一个时空数据块，即由多张相邻子孔径图像堆叠而成，这可以通过引入时间深度Dl来表示。用输入深度D0表示输入数量为奇数的相邻低分辨率子孔径图像，如果将一个输入的时空数据块的半径定义为R＝(D0-1)/2，则以位置p为中心的一组输入图像可以表示为：
Figure BDA0003706136490000121
其中，V表示为时空数据块，因此超分辨过程可以表示为：
Figure BDA0003706136490000122
其中，τ为模型参数，f(·)表示从低分辨率到高分辨率之间的映射函数。为了实现光场子孔径图像之间的偏移计算，使用光流法来描述相邻子孔径之间的运动偏移，并基于此来进行运动补偿实现图像对齐，为后续输入进超分辨重建网络，即亚像素卷积网络提供了保证。
以两张相邻子孔径图像为例，找到相邻子孔径图像与目标位置子孔径图像之间的最佳光流表示，即进行了偏移配准。假设光流是像素级稠密，每个像素都可以通过变换移动到一个新的位置，此时光流可以表示为：Δp+1＝(Δp+1x,Δp+1y)，其中，Δp+1x和Δp+1y分别表示光流在x和y方向上的分量。因此经过光流补偿之后的图像就可以表示为：I'p+1(x,y)＝K{Ip+1(x+Δp+1x,y+Δp+1y)}。
请参阅图5，图5为本发明一实施例提供的基于光流网络的相邻子孔径图像亚像素偏移配准原理图，将两张相邻子孔径图像堆叠成一个三维数据块后作为初始光流计算模块网络的输入，在初始光流计算过程中使用卷积层，即第一卷积层来进行特征计算，并在最后使用×4的上采样层，即第一上采样层对计算的结果进行尺度恢复，进而得到相邻两张子孔径图像的初始光流
Figure BDA0003706136490000123
接着将初始光流
Figure BDA0003706136490000124
与目标位置的子孔径图像Ip+1进行翘曲变换得到目标位置子孔径图像的初始变形图像
Figure BDA0003706136490000125
然后使用精细光流计算模块对初始变形图像
Figure BDA0003706136490000126
初始光流
Figure BDA0003706136490000127
和两张原始子孔径图像Ip、Ip+1进行处理，计算网络中运用了一个步长s＝2的卷积层，即第二卷积层对数据进行降尺度运算并在最后使用了×2的上采样层，即第二上采样层进行尺度恢复，在初始光流的基础上计算得到了精细光流
Figure BDA0003706136490000131
因此，最终的子孔径偏移量为
Figure BDA0003706136490000132
在输出部分使用tanh激活层来表示归一化空间中的像素位移。最后将得到的初始光流
Figure BDA0003706136490000133
精细光流
Figure BDA0003706136490000134
和目标位置的子孔径图像Ip+1结合在一起进行翘曲变换得到经过光流补偿对齐后的图像I'p+1，即偏移配准的光场子孔径图像。
需要说明的是，为了训练光流网络进行偏移配准计算，应对参数Δp+1进行优化，使得变换后的坐标系与参考坐标系之间的均方误差达到最小，这样有利于约束光流在空间中呈现出平稳的状态，因此，使用光流图梯度的Huber损失进行惩罚约束：
Figure BDA0003706136490000135
在实际计算中，通常对Huber损失做如下的近似计算：
Figure BDA0003706136490000136
其中，ε＝0.01。Huber损失函数使得数值在靠近原点处具有平滑稳定的L2特性，在远离原点区域具有较好的鲁棒性，使得整个计算过程更加合理。
在本发明的一个实施例中，利用亚像素卷积网络对偏移配准的光场子孔径图像进行特征计算，得到超分辨光场图像，包括：
对偏移配准的光场子孔径图像进行像素重组，得到重组后的超分辨光场图像；
对偏移配准的光场子孔径图像进行像素重组，包括：
将偏移配准的光场子孔径图像的像素划分成多个亚像素点，并将特征图基于像素位置填充至多个亚像素点中，完成对偏移配准的光场子孔径图像的像素重组。
在光流网络模型中，对于由L层组成的网络模型，在前L-1层结构中网络层可以表示为：
f1(ILR；W1,b1)＝φ(W1*ILR+b1)，fl(ILR；W1:l,b1:l)＝φ(Wl*fl-1(ILR)+bl),l∈(1,L-1)，其中，Wl和bl分别表示在网络学习过程中的权重和偏差，Wl的卷积张量尺寸为nl-1×nl×kl×kl，nl为l层中特征图像的个数，n0＝C，kl为l层中卷积核的大小；偏差bl为nl的长度向量；φ为激活函数。在网络的最后一层使用亚像素卷积将低分辨率图像的特征图像映射成为高分辨率图像。
在亚像素卷积层中根据子像素位置的不同，卷积层上的滤波器被周期性地激活，以实现将低分辨率的特征图像周期性地映射到高分辨率图像空间中，其过程为：ISR＝fL(ILR)＝PS(WL*fL-1(ILR)+bL)，其中，PS(·)表示一个周期性的像素重组排列算子，可以将一个尺寸为H×W×C·r2的元素重组排列成rH×rW×C的结构。请参阅图6，图6为本发明一实施例提供的进行像素重组的操作原理图。
可以理解的是，像素重组的作用是将r2个通道的特征图像重新组合成rH×rW的超分辨结果。通过像素重组的方法，将低分辨率图像的像素划分成r2个更小的像素点，即亚像素；接着将r2个特征图按着像素位置对应地排列起来并填充进亚像素中，以此类推遍历整个数据，即可实现从H×W×C·r2到rH×rW×C的上采样过程。使用此方法可以有效地避免插值和解卷积过程中存在的人工痕迹问题。
本发明提出的光场超分辨重建方法将配准后的子孔径图像堆叠成三维数据块，直接在低分辨率的图像尺寸上进行特征计算，再将得到的特征图像重新排列成高分辨率图像尺寸，图像上采样的过程被隐式的包含在了卷积计算中，使得网络中的卷积操作都是在较小的图像尺寸上实现的，保证了计算的准确性，有效提升了网络的计算效率的同时还能够得到较好的超分辨结果。
在本发明的一个实施例中，确定场景中视差与深度的映射关系，包括：
利用预设标定法对光场相机进行参数化标定；
确定参数化标定后场景中视差与深度的映射关系：
Figure BDA0003706136490000151
其中，zc表示场景深度，Δx表示场景视差，u表示物距，v表示像距，q表示成像传感器上每个像素的大小，b表示微透镜阵列与成像传感器之间的距离。
可以理解的是，通过对光场相机进行参数化标定得到场景中视差与深度之间的映射关系，预设标定法可以为张正友标定法，根据高斯成像公式、相似三角形等几何知识和光场成像模型推导出场景中视差与深度之间的映射关系，基于张正友标定法使用光场相机对棋盘格进行采集，通过棋盘格角点信息来拟合出上述映射关系。
在本发明的一个实施例中，在进行光场数据采集前对目标物体进行相位编码和相位解算，并采集经过相位编码和相位解算的目标物体的光场数据；
基于光场图像的相位信息计算目标物体的视差信息，包括：
根据相位信息在极平面图中呈现的直线特征确定目标物体的视差信息。
其中，可以使用数字投影仪是投影条纹图案，对目标物体进行相位编码。可以理解的是，根据相位测量轮廓术原理，经过相移法和多频外差法对被测物体进行相位编码和解算后，场景中每一个点的相位值都是唯一的，同一目标点经物体形状调制后的相位值不随着观测角度的变化而变化。因此，将正弦条纹投影到物体表面，使用光场相机采集经过相位编码的物体后，同一物点的相位信息在光场极平面图中会表现出直线的特征，其中直线的斜率就对应着该点的视差信息。
以水平方向为例，选择结构光场极平面图(s,x)中间行的像素点(s*,x*)作为目标点，在其他行中搜索与目标点相位值相似性最高的点，记录这些点的位置索引并将其拟合成一条直线，由于经过解相位后场景中的相位信息唯一且确定，此时根据相位相似原理拟合出的直线就对应着场景中的同一物点的位置，直线的斜率反映了改目标点的视差信息。重复此方法遍历整个光场数据实现基于相位信息的精确视差计算。其计算过程可以表示为：
Figure BDA0003706136490000161
最后将得到的视差信息与上述标定步骤得到的映射关系相结合得到物体的深度信息，最后根据深度信息和超分辨光场图像实现对目标物体的光场重建。
本发明通过将经过相位编码的光场图像输入进训练好的光流网络中，根据相邻子孔径图像之间高度的信息冗余来获得高分辨率的光场子孔径图像，进而根据相位信息来实现高精度光场三维重建。
为了更好地验证本发明的实用性，请参阅图7，图7为本发明一实施例中提供的超分辨前后相位计算细节对比图。在图7(a)、(c)中展示了超分辨前使用光场相机采集到的图像经过相位计算后的相位主值信息，从中可以看出，相位主值在周期变换的位置会出现不连续的“卡顿”现象，这是由于分辨力不足导致在图像采集中引入了环境噪声，这些噪声对相位计算的过程产生了干扰，导致出现了不连续的现象。图7(b)、(d)展示了超分辨后的相位主值信息，利用子孔径图像之间信息的高度相关性实现光场超分辨后，光场子孔径图像中所蕴含的信息得到提升，也有效地降低了图像中噪点对相位计算的影响，从图中可以看出，经过超分辨后的相位主值的质量有了明显地提升，图7(a)、(c)中相位周期变换位置产生的不连续现象得到改善，为后续视差计算奠定坚实的基础。
请参阅图8，图8为本发明一实施例中提供的超分辨前后视差计算细节对比图。图8(a)、(c)展示了超分辨之前的视差图，由于超分辨前相位信息中存在着不连续和突变的异常点，导致在基于此进行的视差计算过程中产生了误差继承的现象，因此在图8(a)、(c)中的细节放大图可以看出视差图形中存在着异常点和混杂区域，使用存在着噪点的视差图进行三维重建时会使得精度受到影响。图8(b)、(d)展示了超分辨之后的视差图，在经过超分辨后的相位计算的基础上使用进行视差计算，从图中可以看出经过超分辨重建后的视差图与超分辨前相比，视差信息更加完整和精确，同时也较好地解决了超分辨前由于分辨率不足而导致的混杂现象，有效提升了光场三维重建的精度。
请参阅图9，图9为本发明一实施例中提供的超分辨前后三维重建结果对比图。图9(a)、(c)展示了两组物体超分辨前的三维重建结果，图9(b)、(d)展示了两组物体超分辨后的三维重建结果。经过超分辨后的光场三维重建结果的精度要优于超分辨前的三维重建结果，这是因为经过超分辨后，三维重建中的相位计算、视差计算等过程相比于之前都有了明显的优化，使得超分辨前存在的误差累计的问题得到解决，在重建过程中进一步降低了噪点等因素对于重建结果的影响，有效地提升了光场三维重建的精确性。
为了更好实施本发明实施例中的光场三维重建方法，在光场三维重建方法基础之上，对应的，请参阅图10，图10为本发明提供的光场三维重建装置的一实施例的结构示意图，本发明实施例提供了一种光场三维重建装置1000，包括：
采集模块1001，用于基于光场相机采集目标物体的光场数据，其中，光场数据包括目标物体的光场图像及光场图像的相位信息；
输出模块1002，用于将光场图像输入到预先训练完备的光流网络模型中，输出超分辨光场图像；
计算模块1003，用于基于光场图像的相位信息计算目标物体的视差信息，并根据视差信息与预先确定的场景中视差与深度的映射关系确定目标物体的深度信息；
重建模块1004，用于根据超分辨光场图像与深度信息对目标物体进行光场三维重建。
这里需要说明的是：上述实施例提供的装置1000可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
基于上述光场三维重建方法，本发明实施例还相应的提供一种电子设备，包括：处理器和存储器以及存储在存储器中并可在处理器上执行的计算机程序；处理器执行计算机程序时实现如上述各实施例的光场三维重建方法中的步骤。
图11中示出了适于用来实现本发明实施例的电子设备1100的结构示意图。本发明实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图11示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
电子设备包括：存储器以及处理器，其中，这里的处理器可以称为下文的处理装置1101，存储器可以包括下文中的只读存储器(ROM)1102、随机访问存储器(RAM)1103以及存储装置1108中的至少一项，具体如下所示：
如图11所示，电子设备1100可以包括处理装置(例如中央处理器、图形处理器等)1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储装置1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM1103中，还存储有电子设备1100操作所需的各种程序和数据。处理装置1101、ROM1102以及RAM1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
通常，以下装置可以连接至I/O接口1105：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1106；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1107；包括例如磁带、硬盘等的存储装置1108；以及通信装置1109。通信装置1109可以允许电子设备1100与其他设备进行无线或有线通信以交换数据。虽然图11示出了具有各种装置的电子设备1100，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1109从网络上被下载和安装，或者从存储装置1108被安装，或者从ROM1102被安装。在该计算机程序被处理装置1101执行时，执行本发明实施例的方法中限定的上述功能。
基于上述光场三维重建方法，本发明实施例还相应的提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上述各实施例的光场三维重建方法中的步骤。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种光场三维重建方法，其特征在于，包括：
基于光场相机采集目标物体的光场数据，其中，所述光场数据包括目标物体的光场图像及所述光场图像的相位信息；
将所述光场图像输入到预先训练完备的光流网络模型中，输出超分辨光场图像；
基于所述光场图像的相位信息计算所述目标物体的视差信息，并根据所述视差信息与预先确定的场景中视差与深度的映射关系确定目标物体的深度信息；
根据所述超分辨光场图像与所述深度信息对所述目标物体进行光场三维重建。
2.根据权利要求1所述的光场三维重建方法，其特征在于，所述光流网络模型包括光流网络与亚像素卷积网络；
利用高分辨率的光场图像组成训练集对所述光流网络进行训练，并将重建图像的像素均方误差作为训练所述光流网络的目标函数；
将光流网络与亚像素卷积网络的复合损失函数确定为所述光流网络模型的损失函数。
3.根据权利要求2所述的光场三维重建方法，其特征在于，所述光场图像包括光场子孔径图像；
所述将所述光场图像输入到预先训练完备的光流网络模型中，输出超分辨光场图像，包括：
利用所述光流网络计算相邻光场子孔径图像之间的亚像素偏移，得到偏移配准的光场子孔径图像；
利用所述亚像素卷积网络对所述偏移配准的光场子孔径图像进行特征计算，得到所述超分辨光场图像。
4.根据权利要求3所述的光场三维重建方法，其特征在于，所述利用所述光流网络计算相邻光场子孔径图像之间的亚像素偏移，得到偏移配准的光场子孔径图像，包括：
利用第一卷积层与第一上采样层计算所述相邻光场子孔径图像的第一特征，得到初始光流；
将所述初始光流与目标位置的光场子孔径图像进行翘曲变换得到目标位置光场子孔径图像的初始变形图像；
利用第二卷积层与第二上采样层计算初始变形图像、初始光流、和所述相邻光场子孔径图像的第二特征，得到精细光流；
利用激活层中的子孔径偏移量将初始光流、精细光流和目标位置的子孔径图像进行翘曲变换偏移配准的光场子孔径图像，其中，所述子孔径偏移量由初始光流、精细光流和目标位置的子孔径图像确定。
5.根据权利要求3所述的光场三维重建方法，其特征在于，利用所述亚像素卷积网络对所述偏移配准的光场子孔径图像进行特征计算，得到所述超分辨光场图像，包括：
对所述偏移配准的光场子孔径图像进行像素重组，得到重组后的超分辨光场图像；
所述对所述偏移配准的光场子孔径图像进行像素重组，包括：
将所述偏移配准的光场子孔径图像的像素划分成多个亚像素点，并将特征图基于像素位置填充至所述多个亚像素点中，完成对所述偏移配准的光场子孔径图像的像素重组。
6.根据权利要求1所述的光场三维重建方法，其特征在于，确定场景中视差与深度的映射关系，包括：
利用预设标定法对光场相机进行参数化标定；
确定参数化标定后场景中视差与深度的映射关系：
Figure FDA0003706136480000021
其中，zc表示场景深度，Δx表示场景视差，u表示物距，v表示像距，q表示成像传感器上每个像素的大小，b表示微透镜阵列与成像传感器之间的距离。
7.根据权利要求1所述的光场三维重建方法，其特征在于，在进行光场数据采集前对目标物体进行相位编码和相位解算，并采集经过相位编码和相位解算的目标物体的光场数据；
所述基于所述光场图像的相位信息计算所述目标物体的视差信息，包括：
根据相位信息在极平面图中呈现的直线特征确定所述目标物体的视差信息。
8.一种光场三维重建装置，其特征在于，包括：
采集模块，用于基于光场相机采集目标物体的光场数据，其中，所述光场数据包括目标物体的光场图像及所述光场图像的相位信息；
输出模块，用于将所述光场图像输入到预先训练完备的光流网络模型中，输出超分辨光场图像；
计算模块，用于基于所述光场图像的相位信息计算所述目标物体的视差信息，并根据所述视差信息与预先确定的场景中视差与深度的映射关系确定目标物体的深度信息；
重建模块，用于根据所述超分辨光场图像与所述深度信息对所述目标物体进行光场三维重建。
9.一种电子设备，其特征在于，包括存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至7中任一项所述光场三维重建方法中的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1至7中任一项所述光场三维重建方法中的步骤。
CN202210705810.1A 2022-06-21 2022-06-21 光场三维重建方法、装置、电子设备及计算机存储介质 Pending CN115100352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210705810.1A CN115100352A (zh) 2022-06-21 2022-06-21 光场三维重建方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210705810.1A CN115100352A (zh) 2022-06-21 2022-06-21 光场三维重建方法、装置、电子设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN115100352A true CN115100352A (zh) 2022-09-23

Family

ID=83291952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210705810.1A Pending CN115100352A (zh) 2022-06-21 2022-06-21 光场三维重建方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115100352A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661223A (zh) * 2022-12-09 2023-01-31 中国人民解放军国防科技大学 光场深度估计方法、装置、计算机设备和存储介质
CN117237546A (zh) * 2023-11-14 2023-12-15 武汉大学 一种基于光场成像的增材构件三维轮廓重建方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661223A (zh) * 2022-12-09 2023-01-31 中国人民解放军国防科技大学 光场深度估计方法、装置、计算机设备和存储介质
CN115661223B (zh) * 2022-12-09 2023-03-28 中国人民解放军国防科技大学 光场深度估计方法、装置、计算机设备和存储介质
CN117237546A (zh) * 2023-11-14 2023-12-15 武汉大学 一种基于光场成像的增材构件三维轮廓重建方法及系统
CN117237546B (zh) * 2023-11-14 2024-01-30 武汉大学 一种基于光场成像的增材构件三维轮廓重建方法及系统

Similar Documents

Publication Publication Date Title
CN109506589B (zh) 一种基于结构光场成像的三维轮廓测量方法
US11166004B2 (en) Three-dimensional computational imaging method and apparatus based on single-pixel sensor, and non-transitory computer-readable storage medium
US11321937B1 (en) Visual localization method and apparatus based on semantic error image
CN115100352A (zh) 光场三维重建方法、装置、电子设备及计算机存储介质
Newcombe et al. Live dense reconstruction with a single moving camera
US9879985B2 (en) Simultaneous multiple view surface geometry acquisition using structured light and mirrors
Jia et al. Two-step triangular-pattern phase-shifting method for three-dimensional object-shape measurement
CN110337674B (zh) 三维重建方法、装置、设备及存储介质
US20140300941A1 (en) Method and apparatus for generating hologram based on multi-view image
Gai et al. A flexible multi-view calibration and 3D measurement method based on digital fringe projection
CN103299343A (zh) 距离图像像素匹配方法
CN109945802A (zh) 一种结构光三维测量方法
US20230274455A1 (en) Systems and methods for low compute high-resolution depth map generation using low-resolution cameras
JP5761750B2 (ja) 画像処理方法および装置
Monteiro et al. Depth range accuracy for plenoptic cameras
EP2335220A2 (en) Method for distributed and minimum-support point matching in two or more images of 3d scene taken with video or stereo camera.
Deng et al. Registration of multiple rgbd cameras via local rigid transformations
Yang et al. Flexible and fast calibration method for uni-directional multi-line structured light system
CN113048914B (zh) 相位解包裹方法及装置
CN112802184B (zh) 三维点云重构方法、系统、电子设备及存储介质
GB2569609A (en) Method and device for digital 3D reconstruction
CN114663600A (zh) 一种基于自编码器的点云重建方法及系统
Song et al. Phase unwrapping method combining dual-frequency heterodyne with dual complementary phase encoding
EP2562722B1 (en) Method and system for scene visualization
Zheng et al. Digital twin-trained deep convolutional neural networks for fringe analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination