CN114723621B - 基于感知模型的光场成像方法及系统 - Google Patents
基于感知模型的光场成像方法及系统 Download PDFInfo
- Publication number
- CN114723621B CN114723621B CN202210215592.3A CN202210215592A CN114723621B CN 114723621 B CN114723621 B CN 114723621B CN 202210215592 A CN202210215592 A CN 202210215592A CN 114723621 B CN114723621 B CN 114723621B
- Authority
- CN
- China
- Prior art keywords
- light field
- target
- module
- image
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 44
- 230000008447 perception Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000002123 temporal effect Effects 0.000 claims abstract description 5
- 230000003213 activating effect Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提出基于感知模型的光场成像方法及系统，属于光场成像技术领域。系统包括相机标定模块、颜色插值模块、图像增强模块、超分辨率重建模块并连接光场相机阵列。超分辨率重建模块对执行图像增强的区域及其邻域进行超分辨率重建；感知模型感知图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量，并调节光场相机阵列的状态参数。方法包括对光场相机阵列包括的多个第一光场相机执行时间同步。本发明消除了光场成像过程中的光场相机的时间参数不一致性带来的重建误差，并且针对预定类型目标进行标定、颜色插值和增强，改进了光场成像效果。
Description
技术领域
本发明属于光场成像技术领域，尤其涉及一种基于感知模型的光场成像方法及系统、实现所述方法的计算机系统以及计算机可读存储介质。
背景技术
传统成像技术将3D场景投影在2D传感器平面上，丢失了原始深度信息。而深度信息被证明可以有效提高计算机视觉能力，如检测、分割、识别等。与此相对应，光场相机通过单次曝光就可以记录3维场景的空间、视角等4维光场信息形成光场成像，与传统相机2维图像采集方式相比具有显著创新。而随着摄像机成本降低，设计光场摄像机阵列来采集光场数据实现光场成像能显著提升图像渲染质量。
然而，发明人发现，现有的光场成像阵列大多是静态不可调节的状态，在光场成像效果不佳时无法进行调节；或者虽然可以调节，但是也是基于人为经验进行，缺乏客观性；此外，在多目标成像和追踪场合，光场成像阵列(光场相机阵列包含的多个光场相机)的同步性和配准参数会极大的影响成像效果。
如何实现高质量的光场数据实现超分辨率重建，从而实现获得高质量的合成渲染图像，成为本领域亟待解决的技术问题。
发明内容
为解决上述技术问题，本发明提出一种基于感知模型的光场成像方法及系统、实现所述方法的计算机系统以及计算机可读存储介质。
在本发明的第一个方面，提供一种基于感知模型的光场成像系统，所述系统连接光场相机阵列，并基于所述感知模型对所述光场相机阵列的状态参数进行调节，
所述系统还包括：
相机标定模块，所述相机标定模块对所述光场相机阵列包括的多个光场摄像机执行时间同步，并确定配准参数；
颜色插值模块，所述颜色插值模块基于四维核回归的色彩插值方法对光场图像执行颜色插值；
图像增强模块，所述图像增强模块用于对光场图像中预定类型的目标执行区域图像增强；
超分辨率重建模块，所述超分辨率重建模块对执行所述图像增强的区域及其邻域进行超分辨率重建；
所述感知模型用于感知所述图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量，并基于所述数量调节所述光场相机阵列的状态参数，所述状态参数包括光场相机的分辨率和拍摄角度。
作为进一步的改进，所述系统还包括目标识别模块，所述目标识别模块用于识别所述光场图像中是否包含预定类型的目标；
所述目标识别模块连接所述相机标定模块以及图像增强模块；
当所述目标识别模块识别所述光场图像中包含预定类型的目标时，启动所述相机标定模块对所述光场相机阵列包括的多个第一光场摄像机执行时间同步，所述多个第一光场摄像机拍摄的第一光场图像包含所述预定类型的目标；
同时启动所述图像增强模块对多个第一光场摄像机拍摄的第一光场图像执行区域图像增强。
所述预定类型至少包括第一类型和第二类型；
所述超分辨率重建模块包含第一类型的目标重建模型和第二类型的目标重建模型；
所述目标识别模块连接所述超分辨率重建模块，并基于识别出的光场图像中的目标的类型数量，激活所述第一类型的目标重建模型和/或第二类型的目标重建模型。
在本发明的第二个方面，提供一种基于感知模型的光场成像方法，所述方法基于包含多个光场相机的光场相机阵列实现，并对所述光场相机阵列产生的目标光场图像执行超分辨率重建。
在具体步骤上，所述方法包括：
S610：识别当前光场图像中是否包含预定类型的目标；
如果是，则将当前光场图像确定为所述目标光场图像；
S620：对所述光场相机阵列包括的多个第一光场相机执行时间同步，所述多个第一光场相机拍摄的第一光场图像包含所述预定类型的目标；
S630：对多个第一光场摄像机拍摄的第一光场图像执行区域图像增强；
S640：激活第二数量的第二光场相机，所述第二光场相机的分辨率大于所述第一光场摄像机，并且所述第二光场相机拍摄获得的第二光场图像均包含所述预定类型的目标，所述第二数量为执行所述图像增强的区域及其邻域包含的预定类型的目标的数量；
S650：基于识别出的所有光场图像中的目标的类型数量，激活目标重建模型，对执行所述图像增强的区域及其邻域进行超分辨率重建。
作为进一步的改进，为加快算法执行速度，所述步骤S630和步骤S640同步执行。
所述目标重建模型包含不同类型的第一目标重建模型和第二目标重建模型；
所述步骤S650包括：
基于识别出的光场图像中的目标的类型数量，激活所述第一目标重建模型和/或第二目标重建模型。
其中，在所述步骤S650之前，所述方法还包括：
基于四维核回归的色彩插值方法对所述目标光场图像执行颜色插值。
在本发明的第三个方面，提供一种基于感知模型的光场成像设备，所述设备包括处理器和存储器，所述存储器上存储有计算机可执行程序指令，通过所述处理器执行所述可执行程序指令，用于实现前述第一个方面所述的方法。
进一步的，在本发明的第四个方面，本发明可以实现为一种计算机介质，计算机介质上存储有计算机程序指令，通过执行所述程序指令，前述第一个方面所述的方法得以自动化实现。
同样的，在本发明的第五个方面，本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机可读存储介质，通过处理器执行所述程序，从而实现前述第一个方面所述的方法。
本发明消除了光场成像过程中的光场相机的时间参数不一致性带来的重建误差，并且针对预定类型目标进行标定、颜色插值和增强，改进了光场成像效果；并且，在本发明的技术方案中，所述感知模型用于感知所述图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量后，激活所述数量的第二光场摄像机，所述第二光场摄像机的分辨率大于所述第一光场摄像机，并且所述第二光场摄像机拍摄获得的第二光场图像包含所述数量的预定类型的目标。所述颜色插值模块配置于计算棒中，能够进一步降低系统硬件布置成本和能耗。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种基于感知模型的光场成像系统的部分结构模块示意图；
图2是本发明再一个优选实施例的一种基于感知模型的光场成像系统的部分结构模块示意图；
图3是图2所述基于感知模型的光场成像系统的部分工作原理示意图；
图4是本发明一个实施例的一种基于感知模型的光场成像方法的流程示意图；
图5是本发明再一个优选实施例的一种基于感知模型的光场成像方法的流程示意图；
图6是实现图4或图5所述方法的计算机设备的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
参照图1，图1是本发明一个实施例的一种基于感知模型的光场成像系统的部分结构模块示意图。
在图1所述的实施例中，所述系统包括相机标定模块、颜色插值模块、图像增强模块、超分辨率重建模块以及感知模型。
所述系统连接光场相机阵列，并基于所述感知模型对所述光场相机阵列的状态参数进行调节。
具体的，相机标定模块、颜色插值模块、图像增强模块与光场相机阵列通信；所述感知模型与图像增强模块以及光场相机阵列通信；
所述颜色插值模块、图像增强模块均与超分辨率重建模块通信。
接下来介绍主要模块或者模型的实现功能如下：
相机标定模块，所述相机标定模块对所述光场相机阵列包括的多个光场摄像机执行时间同步，并确定配准参数；
颜色插值模块，所述颜色插值模块基于四维核回归的色彩插值方法对光场图像执行颜色插值；
图像增强模块，所述图像增强模块用于对光场图像中预定类型的目标执行区域图像增强；
超分辨率重建模块，所述超分辨率重建模块对执行所述图像增强的区域及其邻域进行超分辨率重建；
所述感知模型用于感知所述图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量，并基于所述数量调节所述光场相机阵列的状态参数，所述状态参数包括光场相机的分辨率和拍摄角度。
在图1基础上，参见图2。
图2是本发明再一个优选实施例的一种基于感知模型的光场成像系统的部分结构模块示意图。
图2的实施例，在图1基础上，还包括目标识别模块，所述目标识别模块用于识别所述光场图像中是否包含预定类型的目标；
所述目标识别模块连接所述相机标定模块以及图像增强模块；
接下来参见图3。图3是图2所述基于感知模型的光场成像系统的部分工作原理示意图。
当所述目标识别模块识别所述光场图像中包含预定类型的目标时，启动所述相机标定模块对所述光场相机阵列包括的多个第一光场摄像机执行时间同步，所述多个第一光场摄像机拍摄的第一光场图像包含所述预定类型的目标；
同时启动所述图像增强模块对多个第一光场摄像机拍摄的第一光场图像执行区域图像增强。
所述感知模型用于感知所述图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量，并基于所述数量调节所述光场相机阵列的状态参数，具体包括：
所述感知模型激活所述数量的第二光场摄像机，所述第二光场摄像机的分辨率大于所述第一光场摄像机，并且所述第二光场摄像机拍摄获得的第二光场图像包含所述数量的预定类型的目标。
所述预定类型至少包括第一类型和第二类型；
所述超分辨率重建模块包含第一类型的目标重建模型和第二类型的目标重建模型；
所述目标识别模块连接所述超分辨率重建模块，并基于识别出的光场图像中的目标的类型数量，激活所述第一类型的目标重建模型和/或第二类型的目标重建模型。
作为示例，第一类型可以是人物类型，第二类型可以是动物类型；
作为另一个示例，第一类型可以是静态类型，第二类型可以是动态类型；
作为再一个示例，第一类型可以是单目标类型，第二类型可以是多目标类型。
在上述实例中，所述系统还包括计算棒；所述颜色插值模块配置于所述计算棒中。
计算棒其外观像U盘，内置了存储器，运算器，处理器等高级芯片，可视为一个微型电脑。只需要把它插在一个有着HDMI接口的显示器上，并为它连上电源等外设，就是一台完整的电脑。
但是计算棒并不能取代完整电脑，因为其处理能力相对于完整电脑来说并不强大。
以神经网络计算棒为例，计算棒可配置将训练好的神经网络，直接进行推理计算，例如目标追踪，但是并不能自我进行神经网络的自适应训练或者更新。
使用计算棒，低功耗是最大优势。在不增加耗电的前提下解放主机处理器，赋予深度学习能力。
在本实施例中，可在计算棒中配置多种已经训练好的颜色插值算法，尤其是基于四维核回归的色彩插值方法。
基于图1-图3的硬件架构和工作原理，图4示出了一种基于感知模型的光场成像方法，所述方法基于包含多个光场相机的光场相机阵列实现，并对所述光场相机阵列产生的目标光场图像执行超分辨率重建。
在图4中，所述方法包括步骤S610-S650，各个步骤具体实现如下：
S610：识别当前光场图像中是否包含预定类型的目标；
如果是，则将当前光场图像确定为所述目标光场图像；
S620：对所述光场相机阵列包括的多个第一光场相机执行时间同步，所述多个第一光场相机拍摄的第一光场图像包含所述预定类型的目标；
S630：对多个第一光场摄像机拍摄的第一光场图像执行区域图像增强；
S640：激活第二数量的第二光场相机，所述第二光场相机的分辨率大于所述第一光场摄像机，并且所述第二光场相机拍摄获得的第二光场图像均包含所述预定类型的目标，所述第二数量为执行所述图像增强的区域及其邻域包含的预定类型的目标的数量；
S650：基于识别出的所有光场图像中的目标的类型数量，激活目标重建模型，对执行所述图像增强的区域及其邻域进行超分辨率重建。
考虑到算法的并行性，在图4基础上，参见图5，图5是本发明再一个优选实施例的一种基于感知模型的光场成像方法的流程示意图。
在图5中，所述步骤S630和步骤S640同步执行。
在图4或者图5中，所述目标重建模型包含不同类型的第一目标重建模型和第二目标重建模型；
所述步骤S650包括：
基于识别出的光场图像中的目标的类型数量，激活所述第一目标重建模型和/或第二目标重建模型。
作为示例，不同类型可以是人物类型或者是动物类型；第一或者第二目标重建模型可以是人物重建模型或者动物重建模型；
优选的，第一目标重建模型是人物重建模型，第二目标重建模型可以是动物重建模型；
作为另一个示例，不同类型可以是静态类型或者动态类型；第一或者第二目标重建模型可以是静态目标重建模型或者动态目标重建模型；
优选的，第一目标重建模型可以是静态目标重建模型，第二目标重建模型为动态目标重建模型；
作为再一个示例，不同类型可以是单目标类型或者是多目标类型，第一或者第二目标重建模型可以是单目标重建模型或者多目标重建模型。
优选的，第一目标重建模型可以是单目标重建模型，第二目标重建模型可以是多目标重建模型。
作为进一步的优选，在上述图4或图5的实施例中，在所述步骤S650之前，所述方法还包括：
基于四维核回归的色彩插值方法对所述目标光场图像执行颜色插值。
本发明的上述技术方案可以通过计算机设备，基于计算机程序指令自动化实现。同样的，本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机存储介质，通过处理器执行所述程序，从而实现上述技术方案。
因此更多的实施例包括一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机可执行程序，所述处理器被配置为执行上述方法的各个步骤。
具体的，参见图6，提供一种计算机系统，所述计算机系统配置计算棒接口和显示器接口，计算棒接口包括USB接口和/或HDMI接口，所述计算机系统包含通信总线连接的存储器和处理器，通过指令激活至少一个计算棒，用于实现图4或图5所述的一种基于相机阵列的目标追踪方法。
本发明的技术方案中，所述感知模型用于感知所述图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量后，激活所述数量的第二光场摄像机，所述第二光场摄像机的分辨率大于所述第一光场摄像机，并且所述第二光场摄像机拍摄获得的第二光场图像包含所述数量的预定类型的目标。所述颜色插值模块配置于计算棒中，能够进一步降低系统硬件布置成本和能耗。据此，本发明消除了光场成像过程中的光场相机的时间参数不一致性带来的重建误差，并且针对预定类型目标进行标定、颜色插值和增强，改进了光场成像效果。
需要注意的是，对光场相机执行时间同步、标定或者配准、光场超分辨率重建等，本领域存在多种方式，本发明对此不作具体展开，可参见如下部分现有技术：
Dansereau D G，等；Decoding，calibration and rectification for lenselet-based plenoptic cameras[C]//Pro-ceedings of the 2013IEEE Conference onComputer Vision and Pattern recognition.Portland，OR，USA:IEEE，2013:1027-1034.
Xu S，等.Multi-view image restoration from plenoptic raw images[M]//Jawahar C V，Shan S G，eds.Computer Vision-ACCV 2014 Workshops.Switzerland:Springer International Publishing，2015:3-15.
需要注意的是，本发明可以解决多个技术问题或者达到相应的技术效果，但是并不要求本发明的每一个实施例均解决所有技术问题或者达到所有的技术效果，单独解决某一个或者某几个技术问题、获得一个或多个改进效果的某个实施例同样构成单独的技术方案。
本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分或者具体实施例提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。
Claims (10)
1.一种基于感知模型的光场成像系统，所述系统连接光场相机阵列，并基于所述感知模型对所述光场相机阵列的状态参数进行调节，
其特征在于，所述系统还包括：
相机标定模块，所述相机标定模块对所述光场相机阵列包括的多个光场摄像机执行时间同步，并确定配准参数；
颜色插值模块，所述颜色插值模块基于四维核回归的色彩插值方法对光场图像执行颜色插值；
图像增强模块，所述图像增强模块用于对光场图像中预定类型的目标执行区域图像增强；
超分辨率重建模块，所述超分辨率重建模块对执行所述图像增强的区域及其邻域进行超分辨率重建；
所述感知模型用于感知所述图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量，并基于所述数量调节所述光场相机阵列的状态参数，所述状态参数包括光场相机的分辨率和拍摄角度。
2.如权利要求1所述的一种基于感知模型的光场成像系统，其特征在于：
所述系统还包括目标识别模块，所述目标识别模块用于识别所述光场图像中是否包含预定类型的目标；
所述目标识别模块连接所述相机标定模块以及图像增强模块；
当所述目标识别模块识别所述光场图像中包含预定类型的目标时，启动所述相机标定模块对所述光场相机阵列包括的多个第一光场摄像机执行时间同步，所述多个第一光场摄像机拍摄的第一光场图像包含所述预定类型的目标；
同时启动所述图像增强模块对多个第一光场摄像机拍摄的第一光场图像执行区域图像增强。
3.如权利要求2所述的一种基于感知模型的光场成像系统，其特征在于：
所述感知模型用于感知所述图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量，并基于所述数量调节所述光场相机阵列的状态参数，具体包括：
所述感知模型激活所述数量的第二光场摄像机，所述第二光场摄像机的分辨率大于所述第一光场摄像机，并且所述第二光场摄像机拍摄获得的第二光场图像包含所述数量的预定类型的目标。
4.如权利要求2所述的一种基于感知模型的光场成像系统，其特征在于：
所述预定类型至少包括第一类型和第二类型；
所述超分辨率重建模块包含第一类型的目标重建模型和第二类型的目标重建模型；
所述目标识别模块连接所述超分辨率重建模块，并基于识别出的光场图像中的目标的类型数量，激活所述第一类型的目标重建模型和/或第二类型的目标重建模型。
5.如 权利要求1所述的一种基于感知模型的光场成像系统，其特征在于：
所述系统还包括计算棒；
所述颜色插值模块配置于所述计算棒中。
6.一种基于感知模型的光场成像方法，所述方法基于包含多个光场相机的光场相机阵列实现，并对所述光场相机阵列产生的目标光场图像执行超分辨率重建，其特征在于，所述方法包括如下步骤：
S610：识别当前光场图像中是否包含预定类型的目标；
如果是，则将当前光场图像确定为所述目标光场图像；
S620：对所述光场相机阵列包括的多个第一光场相机执行时间同步，所述多个第一光场相机拍摄的第一光场图像包含所述预定类型的目标；
S630：对多个第一光场摄像机拍摄的第一光场图像执行区域图像增强；S640：激活第二数量的第二光场相机，所述第二光场相机的分辨率大于所述第一光场摄像机，并且所述第二光场相机拍摄获得的第二光场图像均包含所述预定类型的目标，所述第二数量为执行所述图像增强的区域及其邻域包含的预定类型的目标的数量；
S650：基于识别出的所有光场图像中的目标的类型数量，激活目标重建模型，对执行所述图像增强的区域及其邻域进行超分辨率重建。
7.如权利要求6所述的一种基于感知模型的光场成像方法，其特征在于：
所述步骤S630和步骤S640同步执行。
8.如权利要求6所述的一种基于感知模型的光场成像方法，其特征在于：
所述目标重建模型包含不同类型的第一目标重建模型和第二目标重建模型；
所述步骤S650包括：
基于识别出的光场图像中的目标的类型数量，激活所述第一目标重建模型和/或第二目标重建模型。
9.如权利要求6所述的一种基于感知模型的光场成像方法，其特征在于，所述方法还包括：
在所述步骤S650之前，所述方法还包括：
基于四维核回归的色彩插值方法对所述目标光场图像执行颜色插值。
10.一种计算机可读存储介质，其上存储有计算机可执行指令，通过包含存储器和处理器的电子设备，执行所述可执行指令，用于实现权利要求6-9 任一项所述的一种基于感知模型的光场成像方法的全部步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210215592.3A CN114723621B (zh) | 2022-03-07 | 2022-03-07 | 基于感知模型的光场成像方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210215592.3A CN114723621B (zh) | 2022-03-07 | 2022-03-07 | 基于感知模型的光场成像方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114723621A CN114723621A (zh) | 2022-07-08 |
| CN114723621B true CN114723621B (zh) | 2022-09-27 |
Family
ID=82237486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210215592.3A Active CN114723621B (zh) | 2022-03-07 | 2022-03-07 | 基于感知模型的光场成像方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114723621B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108040244A (zh) * | 2017-12-11 | 2018-05-15 | 深圳云天励飞技术有限公司 | 基于光场视频流的抓拍方法及装置、存储介质 |
| CN110514305A (zh) * | 2019-08-21 | 2019-11-29 | 东南大学 | 火焰温度场测量系统光场相机数量和机位布置的优化方法 |
| CN111711742A (zh) * | 2020-07-28 | 2020-09-25 | 中国海洋大学 | 一种基于相机阵列的水下光场记录装置以及光场成像方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10545215B2 (en) * | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
-
2022
- 2022-03-07 CN CN202210215592.3A patent/CN114723621B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108040244A (zh) * | 2017-12-11 | 2018-05-15 | 深圳云天励飞技术有限公司 | 基于光场视频流的抓拍方法及装置、存储介质 |
| CN110514305A (zh) * | 2019-08-21 | 2019-11-29 | 东南大学 | 火焰温度场测量系统光场相机数量和机位布置的优化方法 |
| CN111711742A (zh) * | 2020-07-28 | 2020-09-25 | 中国海洋大学 | 一种基于相机阵列的水下光场记录装置以及光场成像方法 |
Non-Patent Citations (2)
| Title |
|---|
| Improving resolution and depth-of-field of light field cameras using a hybrid imaging system;Vivek Boominathan et al;《2014 IEEE International Conference on Computational Photography (ICCP)》;20140616;第1-10页 * |
| 一种光场图像空间和角度分辨率重建方法;郑祥祥 等;《电脑知识与技术》;20170430;第13卷(第12期);第171-173页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114723621A (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3757890A1 (en) | Method and device for image processing, method and device for training object detection model | |
| US10872420B2 (en) | Electronic device and method for automatic human segmentation in image | |
| EP3739431B1 (en) | Method for determining point of gaze, contrast adjustment method and device, virtual reality apparatus, and storage medium | |
| US20100046837A1 (en) | Generation of depth map for an image | |
| EP3588363A1 (en) | Depth-based control method, depth-based control device and electronic device | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| JP2023545200A (ja) | パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体 | |
| CN108431751B (zh) | 背景去除 | |
| CN107864337A (zh) | 素描图像处理方法、装置及设备 | |
| CN107959798B (zh) | 视频数据实时处理方法及装置、计算设备 | |
| US20190206117A1 (en) | Image processing method, intelligent terminal, and storage device | |
| CN111563435A (zh) | 用户的睡眠状态检测方法及装置 | |
| CN107705279B (zh) | 实现双重曝光的图像数据实时处理方法及装置、计算设备 | |
| CN113781421A (zh) | 基于水下的目标识别方法、装置及系统 | |
| CN110717962B (zh) | 动态照片生成方法、装置、拍照设备及存储介质 | |
| WO2017173578A1 (zh) | 一种图像增强方法及装置 | |
| WO2023044233A1 (en) | Region of interest capture for electronic devices | |
| CA3131590C (en) | Golf ball set-top detection method, system and storage medium | |
| CN114723621B (zh) | 基于感知模型的光场成像方法及系统 | |
| CN113597616A (zh) | 瞳孔位置的确定方法、装置及系统 | |
| CN113139557A (zh) | 一种基于二维多元经验模态分解的特征提取方法 | |
| CN113379623B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US20130315554A1 (en) | Method for determining the movements of an object from a stream of images | |
| CN107977644B (zh) | 基于图像采集设备的图像数据处理方法及装置、计算设备 | |
| CN115115526A (zh) | 图像处理方法及装置、存储介质和图形计算处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |