CN114612613A - 动态光场重建方法及系统 - Google Patents
动态光场重建方法及系统 Download PDFInfo
- Publication number
- CN114612613A CN114612613A CN202210215399.XA CN202210215399A CN114612613A CN 114612613 A CN114612613 A CN 114612613A CN 202210215399 A CN202210215399 A CN 202210215399A CN 114612613 A CN114612613 A CN 114612613A
- Authority
- CN
- China
- Prior art keywords
- light field
- resolution
- reconstruction
- synchronization
- camera array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000000694 effects Effects 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001976 improved effect Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提出动态光场重建方法及系统,属于光场重建技术领域。方法包括:获得光场视频参考图像;对光场相机阵列执行校正同步;获得光场视频实时图像;获得多个同步关键帧;基于所述多个同步关键帧执行光场重建;判断所述光场重建效果是否符合预定条件。系统包括处理器、存储器以及USB接口,所述USB接口连接神经网络计算棒,所述神经网络计算棒通过所述系统接收光场相机阵列拍摄的光场视频实时图像,执行动态光场重建方法,并输出光场重建图像。本发明解决了动态目标的光场重建图像过程中普遍存在的深度分辨率、角分辨率以及空间分辨率缺失问题,提出基于帧同步参数Fs的判断方法执行校正和配准,能够改善动态光场重建效果。
Description
技术领域
本发明属于光场重建技术领域,尤其涉及一种动态光场重建方法及系统、实现所述方法的计算机设备以及计算机可读存储介质。
背景技术
光场成像技术因其具有多维视觉信息感知和表达能力已经成为获取空间目标信息的重要手段。光场成像能够通过获取自由空间中光信号的分布,记录三维空间中物体朝各个方向发出或反射的光线,准确反映场景中复杂的光照阴影变化和物体之间及其自身的遮挡,视差变化等信息。光场信息的采集主要通过将成像设备离散化,使空间场景得以有效分割,在成像元器件上形成在空间上包含相关性的投影序列。最终通过计算成像技术就可以重建出目标场景的三维形态信息。光场成像技术能够通过数字重聚焦获取场景任意深度的信息,在合成孔径成像、深度估计、三维重建、虚拟现实、自动驾驶等方面有着重要应用。
静态目标的三维光场重建过程可以归结为可见外壳的重建过程,参见引证文献(Visual hull alignment and refinement across time:a 3D reconstructionalgorithm combining shape-from-silhouette with stereo[C]//2003IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition,2003.Proceedings.IEEE,2003.German K M,等)以及其他类似文献可知,该问题已经被现有技术以各种方式解决。
然而,针对动态目标的光场重建,由于光场相机阵列采集数据的特殊性,使得重建画面不能同时满足深度分辨率、角分辨率以及空间分辨率的要求。而在动态目标成像画面中,角分辨率不足会使3D影像运动视差不连续,同时也会引起辐辏和调节的矛盾,使观察者产生眩晕感,急剧恶化3D显示质量。空间分辨率低会降低3D数据可视化的精确度和有效性;深度分辨率不足则会使得动态目标在不同帧之间产生重影。
针对上述问题,现有技术尚未提出有效的技术方案。
发明内容
为解决上述技术问题,本发明提出一种动态光场重建方法及系统、实现所述方法的计算机设备以及计算机可读存储介质。
本发明解决了动态目标的光场重建图像普遍存在的深度分辨率、角分辨率以及空间分辨率问题,提出基于帧同步参数Fs的判断方法执行校正和配准,能够改善动态光场重建效果。
具体的,本发明的技术方案从如下几个方面解决上述技术问题。
在本发明的第一个方面,提出一种动态光场重建方法,所述方法基于光场相机阵列实现,包括如下步骤:
S110:获得多个角度的多个光场视频参考图像;
S120:基于所述多个角度的多个光场视频参考图像对光场相机阵列执行校正同步;
S130:获得多个角度的多个光场视频实时图像;
S140:从所述多个光场视频实时图像中获得多个同步关键帧;
S150:基于所述多个同步关键帧执行光场重建;
S160:判断所述光场重建效果是否符合预定条件,
如果是,则返回步骤S130;
否则,返回步骤S110。
具体的,作为进一步改进,所述步骤S110具体包括:
在所述光场相机阵列的拍摄范围内放置多个标准参考目标;
采用所述光场相机阵列拍摄所述标准参考目标,获得多个角度的多个光场视频参考图像;
所述步骤S120具体包括:
基于所述多个角度的多个光场视频参考图像的帧同步参数Fs对所述光场相机阵列包括的多个光场摄像机执行时间同步,并确定配准参数;
所述帧同步参数Fs按照如下方式确定:
λ1+λ2=1;
其中,Area(i)、Area(j)分别为第i个、第j个光场相机拍摄的光场视频参考图像中包含所述标准参考目标的最小像素区域面积;
Angle(i)、Angle(j)分别为第i个、第j个光场相机中心线与包含所述标准参考目标的最小像素区域的几何中心的夹角;
pix(i)、pix(j)为分别为第i个、第j个光场相机的分辨率;
n为所述光场相机阵列包含的光场相机的数量,n>1,λ1、λ2为可调节的权重参数。
Fsij可理解为第i个、第j个光场相机拍摄的光场视频参考图像之间的帧间同步参数。
在具体实现中,若所述帧同步参数Fs小于预设阈值Threshold,则对所述光场相机阵列包括的多个光场摄像机执行时间同步;
所述预设阈值Threshold>0.5。
所述步骤S160判断所述光场重建效果是否符合预定条件,具体包括:
获取光场重建图像的深度分辨率、角分辨率以及空间分辨率;
判断所述深度分辨率、角分辨率以及空间分辨率是否符合预定条件。
具体的,若所述光场重建效果不符合预定条件,则确定不符合预定条件的分辨率参数,
基于所述不符合预定条件的分辨率参数,调整拍摄角度,返回步骤S110。
所述分辨率参数包括光场重建图像的深度分辨率、角分辨率以及空间分辨率。
在本发明的第二个方面,为实现上述第一个方面的所述方法,提供一种动态光场重建系统,所述系统包括处理器、存储器以及USB接口,所述USB接口连接神经网络计算棒,所述神经网络计算棒通过所述系统接收光场相机阵列拍摄的光场视频实时图像,执行第一个方面的动态光场重建方法,并输出光场重建图像。
具体的,所述USB接口内置USB/HDMI转换模块,用于连接计算棒后激活计算棒。
本发明的上述方法可以通过计算机设备自动化实现。
因此,在本发明的第三个方面,提供一种计算机设备,所述计算机设备包含显示设备,所述显示设备连接处理器和存储器,所述存储器与光场相机阵列连接,所述处理器被配置为执行如下步骤:
计算所述光场相机阵列拍摄的多个光场视频图像的帧同步参数Fs;
判断所述帧同步参数Fs是否大于预设阈值;
如果是,则对所述光场相机阵列包括的多个光场摄像机执行时间同步,并确定配准参数;
其中,所述帧同步参数Fs按照如下方式确定:
λ1+λ2=1;
Fsij可理解为第i个、第j个光场相机拍摄的光场视频参考图像之间的帧间同步参数。
其中,Area(i)、Area(j)分别为第i个、第j个光场相机拍摄的光场视频参考图像中包含所述标准参考目标的最小像素区域面积;
Angle(i)、Angle(j)分别为第i个、第j个光场相机中心线与包含所述标准参考目标的最小像素区域的几何中心的夹角;
pix(i)、pix(j)为分别为第i个、第j个光场相机的分辨率;
n为所述光场相机阵列包含的光场相机的数量,n>1,λ1、λ2为可调节的权重参数。
进一步的,在对所述光场相机阵列包括的多个光场摄像机执行时间同步,并确定配准参数之后,所述处理器还被配置为执行如下步骤:
从所述存储器中获得多个角度的多个光场视频实时图像:
从所述多个光场视频实时图像中获得多个同步关键帧;
基于所述多个同步关键帧执行光场重建。
在上述三个方面的技术方案中,所述光场相机阵列包含的每一个光场相机的拍摄角度在预设范围内可调节。
具体的,在本发明的第四个方面,提供动态光场重建设备,所述设备包括处理器和存储器,所述存储器上存储有计算机可执行程序指令,通过所述处理器执行所述可执行程序指令,用于实现前述第一个方面所述的方法。
进一步的,在本发明的第五个方面,本发明可以实现为一种计算机介质,计算机介质上存储有计算机程序指令,通过执行所述程序指令,前述第一个方面或者第二个方面所述的方法。
同样的,在本发明的第六个方面,本发明还可以表现为一种计算机程序产品,所述程序产品承载于计算机可读存储介质,通过处理器执行所述程序,从而实现前述第一个方面所述的方法。
本发明解决了动态目标的光场重建图像普遍存在的深度分辨率、角分辨率以及空间分辨率问题,提出基于帧同步参数Fs的判断方法执行校正和配准,能够改善动态光场重建效果,同时在硬件上采用计算棒方式,能够在提高系统适配性的同时,降低硬件能耗。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种动态光场重建方法的流程示意图;
图2是本发明再一个优选实施例的一种动态光场重建方法的流程示意图;
图3是本发明中最小像素区域面积的区域示意图;
图4是本发明中相机中心线与最小像素区域的几何中心的夹角示意图;
图5是本发明一个实施例的一种动态光场重建系统的部分结构模块示意图;
图6是实现图1或图2所述方法的计算机可读介质的结构示意图。
具体实施方式
下面,结合附图以及具体实施方式,对发明做出进一步的描述。
参照图1,图1是本发明一个实施例的一种动态光场重建方法的流程示意图。
图1所述实施例示出的方法包括如下步骤S110-S160:
S110:获得多个角度的多个光场视频参考图像;
S120:基于所述多个角度的多个光场视频参考图像对光场相机阵列执行校正同步;
S130:获得多个角度的多个光场视频实时图像;
S140:从所述多个光场视频实时图像中获得多个同步关键帧;
S150:基于所述多个同步关键帧执行光场重建;
S160:判断所述光场重建效果是否符合预定条件,
如果是,则返回步骤S130;
否则,返回步骤S110。
在具体实现中,步骤S110中多个角度的多个光场视频参考图像,由多个不同拍摄角度的多个光场相机拍摄得到,每个光场相机每次拍摄一个角度;
所述光场相机阵列包含的每一个光场相机的拍摄角度在预设范围内可调节。
具体的,在图1基础上,参见图2。图2是本发明再一个优选实施例的一种动态光场重建方法的流程示意图。
在图2中,在图1基础上,所述步骤S110具体包括:
在所述光场相机阵列的拍摄范围内放置多个标准参考目标;
采用所述光场相机阵列拍摄所述标准参考目标,获得多个角度的多个光场视频参考图像;
所述步骤S120具体包括:
基于所述多个角度的多个光场视频参考图像的帧同步参数Fs对所述光场相机阵列包括的多个光场摄像机执行时间同步,并确定配准参数。
具体的,若所述帧同步参数Fs小于预设阈值Threshold,则对所述光场相机阵列包括的多个光场摄像机执行时间同步;
所述预设阈值Threshold>0.5。
优选的,所述Threshold=1.0。
所述步骤S160判断所述光场重建效果是否符合预定条件,具体包括:
获取光场重建图像的深度分辨率、角分辨率以及空间分辨率;
判断所述深度分辨率、角分辨率以及空间分辨率是否符合预定条件。
若所述深度分辨率、角分辨率或空间分辨率任意一个不符合预定条件,则所述光场重建效果不符合预定条件。
因此,上述实施例进一步包括:
若所述光场重建效果不符合预定条件,则确定不符合预定条件的分辨率参数,
基于所述不符合预定条件的分辨率参数,调整拍摄角度,返回步骤S110。
所述分辨率参数包括光场重建图像的深度分辨率、角分辨率以及空间分辨率。
作为一个非限制性的例子,若所述不符合预定条件的分辨率参数为深度分辨率,则调整光场相机在深度方向(例如Z轴方向)的拍摄角度。
作为一个非限制性的例子,若所述不符合预定条件的分辨率参数为角分辨率,则调整光场相机在水平角方向的拍摄角度。
当然,具体如何调节拍摄角度,本领域技术人员可以基于光场相机阵列当前已有的拍摄角度进行校准和调节。
接下来,结合图3-图4介绍本发明各个实施例使用到的关键性参数帧同步参数Fs的计算方式。
所述帧同步参数Fs按照如下方式确定:
λ1+λ2=1;
其中,pix(i)、pix(j)为分别为第i个、第j个光场相机的分辨率;
n为所述光场相机阵列包含的光场相机的数量,n>1,λ1、λ2为可调节的权重参数。
Fsij可理解为第i个、第j个光场相机拍摄的光场视频参考图像之间的帧间同步参数。
Area(i)、Area(j)分别为第i个、第j个光场相机拍摄的光场视频参考图像中包含所述标准参考目标的最小像素区域面积。
图3是所述最小像素区域面积的区域示意图。
在图3中,示意性的示出了某个光场相机拍摄的包含标准参考目标的光场视频参考图像。
作为示意性的例子,图3所述光场视频参考图像包括5×6=30个像素区域,图中表示为1-30号像素区域,假设每个像素区域的面积为1。
最小像素区域可以是根据当前屏幕分辨率确定的该图像的最小分块单位。
基于此,图3中,所述标准参考目标在所述光场视频参考图像共涉及14、15-16(图中被遮盖)、20、21-22(图中被遮盖)、以及9-10共计8个像素区域。
因此,光场相机拍摄的光场视频参考图像中包含所述标准参考目标的最小像素区域面积为8。
即光场相机拍摄的光场视频参考图像中包含所述标准参考目标的最小像素区域为所述标准参考目标涉及的所有最小像素区域的个数。
作为另一个优选,可以考虑更多的邻域最小像素区域,即在上述8个像素区域基础上,认为8号像素区域也为所述标准参考目标涉及的所有最小像素区域,从而构成3×3的最小像素区域。
上述实施例即光场相机拍摄的光场视频参考图像中包含所述标准参考目标的最小像素区域为所述标准参考目标涉及的所有最小像素区域以及部分邻域像素区域构成的a×b规格的最小像素区域,a、b均为大于1的正整数。
接下来参见图4。
在上述计算公式中,Angle(i)、Angle(j)分别为第i个、第j个光场相机中心线与包含所述标准参考目标的最小像素区域的几何中心的夹角;
在图4中,示出每个光场相机的中心线、包含所述标准参考目标的最小像素区域的几何中心以及每个光场相机的可调节拍摄范围(预设范围)。
在具体实现中,所述夹角采用弧度作为单位。
为实现上述图1或图2方法,参见图5,图5是本发明一个实施例的一种动态光场重建系统的部分结构模块示意图。
在图5中,所述系统包括处理器、存储器以及USB接口,所述USB接口连接神经网络计算棒,所述神经网络计算棒通过所述系统接收光场相机阵列拍摄的光场视频实时图像,执行第一个方面的动态光场重建方法,并输出光场重建图像。
具体的,所述USB接口内置USB/HDMI转换模块,用于连接计算棒后激活计算棒。
值得指出的是,虽然USB接口和/或HDMI接口可同时连接多个计算棒,但本发明的技术方案中,并不要求同时调用已经连接的所有计算棒,而是根据实际调用需要激活其中符合要求的计算棒。
需要指出的是,在目标追踪领域引入计算棒是本发明的一个突出改进点之一,接下来对本发明各个实施例使用的计算棒做简单介绍。
通俗来讲,计算棒其外观像U盘,内置了存储器,运算器,处理器等高级芯片,可视为一个微型电脑。只需要把它插在一个有着HDMI接口的显示器上,并为它连上电源等外设,就是一台完整的电脑。
但是计算棒并不能取代完整电脑,因为其处理能力相对于完整电脑来说并不强大。
以神经网络计算棒为例,计算棒可配置将训练好的神经网络,直接进行推理计算,例如目标追踪,但是并不能自我进行神经网络的自适应训练或者更新。
使用计算棒,低功耗是最大优势。在不增加耗电的前提下解放主机处理器,赋予深度学习能力。
具体到本发明的各个实施例中,所述多个计算棒可为神经网络计算棒;不同的神经网络计算棒配置不同类型的神经网络推理模型。
神经网络推理模型包括不同性质的三维重建模型,例如可以是第一计算棒配置反向传播的神经网络推理模型,第二计算棒配置深度学习的神经网络推理模型。
本发明的上述技术方案可以通过计算机设备,基于计算机程序指令自动化实现。同样的,本发明还可以表现为一种计算机程序产品,所述程序产品承载于计算机存储介质,通过处理器执行所述程序,从而实现上述技术方案。
因此更多的实施例包括一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机可执行程序,所述处理器被配置为执行上述方法的各个步骤。
作为一个具体的示例,一种计算机设备,所述计算机设备包含显示设备,所述显示设备连接处理器和存储器,所述存储器与光场相机阵列连接,所述处理器被配置为执行如下步骤:
计算所述光场相机阵列拍摄的多个光场视频图像的帧同步参数Fs;
判断所述帧同步参数Fs是否大于预设阈值;
如果是,则对所述光场相机阵列包括的多个光场摄像机执行时间同步,并确定配准参数;
其中,所述帧同步参数Fs按照如下方式确定:
λ1+λ2=1;
其中,Area(i)、Area(j)分别为第i个、第j个光场相机拍摄的光场视频参考图像中包含所述标准参考目标的最小像素区域面积;
Angle(i)、Angle(j)分别为第i个、第j个光场相机中心线与包含所述标准参考目标的最小像素区域的几何中心的夹角;
pix(i)、pix(j)为分别为第i个、第j个光场相机的分辨率;
n为所述光场相机阵列包含的光场相机的数量,n>1,λ1、λ2为可调节的权重参数。
在对所述光场相机阵列包括的多个光场摄像机执行时间同步,并确定配准参数之后,所述处理器还被配置为执行如下步骤:
从所述存储器中获得多个角度的多个光场视频实时图像:
从所述多个光场视频实时图像中获得多个同步关键帧;
基于所述多个同步关键帧执行光场重建。
所述光场相机阵列包含的每一个光场相机的拍摄角度在预设范围内可调节。
作为另一个具体的示例,参见图6,示出一种计算机可读介质,所述计算机可读介质上存储有计算机可执行指令,通过处理器执行所述可执行指令,用于实现如下的方法步骤:
S101:获得多个角度的多个光场视频参考图像;
S102:基于所述多个角度的多个光场视频参考图像对光场相机阵列执行校正同步;
S103:获得多个角度的多个光场视频实时图像;
S104:从所述多个光场视频实时图像中获得多个同步关键帧;
S105:基于所述多个同步关键帧执行光场重建;
S106:获取光场重建图像的深度分辨率、角分辨率以及空间分辨率;
S107:判断所述深度分辨率、角分辨率以及空间分辨率是否符合预定条件;
若所述光场重建效果不符合预定条件,则确定不符合预定条件的分辨率参数,
基于所述不符合预定条件的分辨率参数,调整拍摄角度,返回步骤S101。
本发明解决了动态目标的光场重建图像普遍存在的深度分辨率、角分辨率以及空间分辨率问题,提出基于帧同步参数Fs的判断方法执行校正和配准,能够改善动态光场重建效果,同时在硬件上采用计算棒方式,能够在提高系统适配性的同时,降低硬件能耗。
需要注意的是,本发明可以解决多个技术问题或者达到相应的技术效果,但是并不要求本发明的每一个实施例均解决所有技术问题或者达到所有的技术效果,单独解决某一个或者某几个技术问题、获得一个或多个改进效果的某个实施例同样构成单独的技术方案。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
本发明未特别明确的部分模块结构或者技术术语,以现有技术记载的内容为准。例如关键帧、同步、重建等概念。举例来说,关键帧可以是包含参考目标的连续帧中的某一帧或者采用其他定义等,同步为时间同步(相同)。
本发明在前述背景技术部分提及的现有技术可作为本发明的一部分,用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。
Claims (10)
1.一种动态光场重建方法,其特征在于,所述方法包括如下步骤:
S110:获得多个角度的多个光场视频参考图像;
S120:基于所述多个角度的多个光场视频参考图像对光场相机阵列执行校正同步;
S130:获得多个角度的多个光场视频实时图像;
S140:从所述多个光场视频实时图像中获得多个同步关键帧;
S150:基于所述多个同步关键帧执行光场重建;
S160:判断所述光场重建效果是否符合预定条件,
如果是,则返回步骤S130;
否则,返回步骤S110。
2.如权利要求1所述的一种动态光场重建方法,其特征在于:
所述步骤S110具体包括:
在所述光场相机阵列的拍摄范围内放置多个标准参考目标;
采用所述光场相机阵列拍摄所述标准参考目标,获得多个角度的多个光场视频参考图像;
所述步骤S120具体包括:
基于所述多个角度的多个光场视频参考图像的帧同步参数Fs对所述光场相机阵列包括的多个光场摄像机执行时间同步,并确定配准参数;
所述帧同步参数Fs按照如下方式确定:
λ1+λ2=1;
其中,Area(i)、Area(j)分别为第i个、第j个光场相机拍摄的光场视频参考图像中包含所述标准参考目标的最小像素区域面积;
Angle(i)、Angle(j)分别为第i个、第j个光场相机中心线与包含所述标准参考目标的最小像素区域的几何中心的夹角;
pix(i)、pix(j)为分别为第i个、第j个光场相机的分辨率;
n为所述光场相机阵列包含的光场相机的数量,n>1,λ1、λ2为可调节的权重参数。
3.如权利要求2所述的一种动态光场重建方法,其特征在于:
若所述帧同步参数Fs小于预设阈值Threshold,则对所述光场相机阵列包括的多个光场摄像机执行时间同步;
所述预设阈值Threshold>0.5。
4.如权利要求1所述的一种动态光场重建方法,其特征在于:
所述步骤S160判断所述光场重建效果是否符合预定条件,具体包括:
获取光场重建图像的深度分辨率、角分辨率以及空间分辨率;
判断所述深度分辨率、角分辨率以及空间分辨率是否符合预定条件。
5.如权利要求1所述的一种动态光场重建方法,其特征在于:
若所述光场重建效果不符合预定条件,则确定不符合预定条件的分辨率参数,
基于所述不符合预定条件的分辨率参数,调整拍摄角度,返回步骤S110;
所述分辨率参数包括光场重建图像的深度分辨率、角分辨率以及空间分辨率。
6.一种动态光场重建系统,所述系统包括处理器、存储器以及USB接口,所述USB接口连接神经网络计算棒,所述神经网络计算棒通过所述系统接收光场相机阵列拍摄的光场视频实时图像,执行权利要求1-5任一项所述的动态光场重建方法,并输出光场重建图像。
7.一种计算机设备,所述计算机设备包含显示设备,所述显示设备连接处理器和存储器,所述存储器与光场相机阵列连接,所述处理器被配置为执行如下步骤:
计算所述光场相机阵列拍摄的多个光场视频图像的帧同步参数Fs;
判断所述帧同步参数Fs是否大于预设阈值;
如果是,则对所述光场相机阵列包括的多个光场摄像机执行时间同步,并确定配准参数;
其中,所述帧同步参数Fs按照如下方式确定:
λ1+λ2=1;
其中,Area(i)、Area(j)分别为第i个、第j个光场相机拍摄的光场视频参考图像中包含标准参考目标的最小像素区域面积;
Angle(i)、Angle(j)分别为第i个、第j个光场相机中心线与包含所述标准参考目标的最小像素区域的几何中心的夹角;
pix(i)、pix(j)为分别为第i个、第j个光场相机的分辨率;
n为所述光场相机阵列包含的光场相机的数量,n>1,λ1、λ2为可调节的权重参数。
8.如权利要求7所述的一种计算机设备,其特征在于:
在对所述光场相机阵列包括的多个光场摄像机执行时间同步,并确定配准参数之后,所述处理器还被配置为执行如下步骤:
从所述存储器中获得多个角度的多个光场视频实时图像:
从所述多个光场视频实时图像中获得多个同步关键帧;
基于所述多个同步关键帧执行光场重建。
9.如权利要求7所述的一种计算机设备,其特征在于:
所述光场相机阵列包含的每一个光场相机的拍摄角度在预设范围内可调节。
10.一种计算机可读介质,所述计算机可读介质上存储有计算机可执行指令,通过处理器执行所述可执行指令,用于实现如下的方法步骤:
S101:获得多个角度的多个光场视频参考图像;
S102:基于所述多个角度的多个光场视频参考图像对光场相机阵列执行校正同步;
S103:获得多个角度的多个光场视频实时图像;
S104:从所述多个光场视频实时图像中获得多个同步关键帧;
S105:基于所述多个同步关键帧执行光场重建;
S106:获取光场重建图像的深度分辨率、角分辨率以及空间分辨率;
S107:判断所述深度分辨率、角分辨率以及空间分辨率是否符合预定条件;
若所述光场重建效果不符合预定条件,则确定不符合预定条件的分辨率参数,
基于所述不符合预定条件的分辨率参数,调整拍摄角度,返回步骤S101。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210215399.XA CN114612613B (zh) | 2022-03-07 | 2022-03-07 | 动态光场重建方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210215399.XA CN114612613B (zh) | 2022-03-07 | 2022-03-07 | 动态光场重建方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114612613A true CN114612613A (zh) | 2022-06-10 |
CN114612613B CN114612613B (zh) | 2022-11-29 |
Family
ID=81861306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210215399.XA Active CN114612613B (zh) | 2022-03-07 | 2022-03-07 | 动态光场重建方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114612613B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521816A (zh) * | 2011-11-25 | 2012-06-27 | 浪潮电子信息产业股份有限公司 | 一种云数据中心机房实时宽场景监控合成方法 |
US20130162779A1 (en) * | 2011-12-27 | 2013-06-27 | Casio Computer Co., Ltd. | Imaging device, image display method, and storage medium for displaying reconstruction image |
CN107959805A (zh) * | 2017-12-04 | 2018-04-24 | 深圳市未来媒体技术研究院 | 基于混合相机阵列的光场视频成像系统及视频处理方法 |
WO2018107910A1 (zh) * | 2016-12-16 | 2018-06-21 | 杭州海康威视数字技术股份有限公司 | 一种全景视频融合方法及装置 |
CN110120012A (zh) * | 2019-05-13 | 2019-08-13 | 广西师范大学 | 基于双目摄像头的同步关键帧提取的视频拼接方法 |
WO2019179200A1 (zh) * | 2018-03-22 | 2019-09-26 | 深圳岚锋创视网络科技有限公司 | 多目相机的三维重建方法、vr相机和全景相机 |
CN110290287A (zh) * | 2019-06-27 | 2019-09-27 | 上海玄彩美科网络科技有限公司 | 多摄像头帧同步方法 |
CN112017216A (zh) * | 2020-08-06 | 2020-12-01 | 影石创新科技股份有限公司 | 图像处理方法、装置、计算机可读存储介质及计算机设备 |
CN112367474A (zh) * | 2021-01-13 | 2021-02-12 | 清华大学 | 一种自适应光场成像方法、装置及设备 |
CN113870433A (zh) * | 2021-09-09 | 2021-12-31 | 华中科技大学 | 一种光场超分辨三维重建方法及系统 |
CN113891060A (zh) * | 2020-07-03 | 2022-01-04 | 阿里巴巴集团控股有限公司 | 自由视点视频重建方法及播放处理方法、设备及存储介质 |
-
2022
- 2022-03-07 CN CN202210215399.XA patent/CN114612613B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521816A (zh) * | 2011-11-25 | 2012-06-27 | 浪潮电子信息产业股份有限公司 | 一种云数据中心机房实时宽场景监控合成方法 |
US20130162779A1 (en) * | 2011-12-27 | 2013-06-27 | Casio Computer Co., Ltd. | Imaging device, image display method, and storage medium for displaying reconstruction image |
WO2018107910A1 (zh) * | 2016-12-16 | 2018-06-21 | 杭州海康威视数字技术股份有限公司 | 一种全景视频融合方法及装置 |
CN107959805A (zh) * | 2017-12-04 | 2018-04-24 | 深圳市未来媒体技术研究院 | 基于混合相机阵列的光场视频成像系统及视频处理方法 |
WO2019179200A1 (zh) * | 2018-03-22 | 2019-09-26 | 深圳岚锋创视网络科技有限公司 | 多目相机的三维重建方法、vr相机和全景相机 |
CN110120012A (zh) * | 2019-05-13 | 2019-08-13 | 广西师范大学 | 基于双目摄像头的同步关键帧提取的视频拼接方法 |
CN110290287A (zh) * | 2019-06-27 | 2019-09-27 | 上海玄彩美科网络科技有限公司 | 多摄像头帧同步方法 |
CN113891060A (zh) * | 2020-07-03 | 2022-01-04 | 阿里巴巴集团控股有限公司 | 自由视点视频重建方法及播放处理方法、设备及存储介质 |
CN112017216A (zh) * | 2020-08-06 | 2020-12-01 | 影石创新科技股份有限公司 | 图像处理方法、装置、计算机可读存储介质及计算机设备 |
CN112367474A (zh) * | 2021-01-13 | 2021-02-12 | 清华大学 | 一种自适应光场成像方法、装置及设备 |
CN113870433A (zh) * | 2021-09-09 | 2021-12-31 | 华中科技大学 | 一种光场超分辨三维重建方法及系统 |
Non-Patent Citations (2)
Title |
---|
INGO SCHOLZ 等: "Dynamic Light Field Reconstruction and Rendering for Multiple Moving Objects", 《PROCEEDINGS OF THE IAPR CONFERENCE ON MACHINE VISION APPLICATIONS》 * |
梁兴建等: "基于多路图像融合的目标跟踪系统设计", 《四川理工学院学报(自然科学版)》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114612613B (zh) | 2022-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102278776B1 (ko) | 이미지 처리 방법, 기기, 및 장치 | |
US10609282B2 (en) | Wide-area image acquiring method and apparatus | |
JP6632443B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
WO2022042049A1 (zh) | 图像融合方法、图像融合模型的训练方法和装置 | |
WO2020192706A1 (zh) | 物体三维模型重建方法及装置 | |
CN107509031B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
KR101699919B1 (ko) | 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 hdr 영상 생성 장치 및 방법 | |
CN111695399A (zh) | 使用双向训练的网络来生成凝视校正图像 | |
CN108416754A (zh) | 一种自动去除鬼影的多曝光图像融合方法 | |
CN111726521B (zh) | 终端的拍照方法、拍照装置和终端 | |
CN109191506B (zh) | 深度图的处理方法、系统及计算机可读存储介质 | |
CN109190533B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN111047709A (zh) | 一种双目视觉裸眼3d图像生成方法 | |
CN110445986A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
KR20140137485A (ko) | 어안 렌즈를 이용한 다중 채널 디스플레이 시스템 | |
CN110677557B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN116055895B (zh) | 图像处理方法及其装置、芯片系统和存储介质 | |
CN114612613B (zh) | 动态光场重建方法及系统 | |
CN114449130B (zh) | 一种多摄像头的视频融合方法及系统 | |
CN115578273A (zh) | 图像多帧融合的方法、装置、电子设备及存储介质 | |
CN116208851A (zh) | 图像处理方法及相关装置 | |
CN115546043A (zh) | 视频处理方法及其相关设备 | |
WO2022036338A2 (en) | System and methods for depth-aware video processing and depth perception enhancement | |
CN114723621B (zh) | 基于感知模型的光场成像方法及系统 | |
CN113327228B (zh) | 图像处理方法和装置、终端和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |