CN115208999A - 基于光场相机阵列的成像方法及系统 - Google Patents

基于光场相机阵列的成像方法及系统 Download PDF

Info

Publication number
CN115208999A
CN115208999A CN202210602151.9A CN202210602151A CN115208999A CN 115208999 A CN115208999 A CN 115208999A CN 202210602151 A CN202210602151 A CN 202210602151A CN 115208999 A CN115208999 A CN 115208999A
Authority
CN
China
Prior art keywords
light field
imaging
images
offset
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210602151.9A
Other languages
English (en)
Inventor
戴琼海
万森
吴嘉敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210602151.9A priority Critical patent/CN115208999A/zh
Publication of CN115208999A publication Critical patent/CN115208999A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/12—Devices in which the synchronising signals are only operative if a phase difference occurs between synchronising and synchronised scanning devices, e.g. flywheel synchronising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及成像技术领域，特别涉及一种基于光场相机阵列的成像方法及系统，其中，方法包括：成像目标的光线通过分束镜传递给多个光场相机；多个光场相机拍摄同一场景，但是存在微小的相对位置偏移，实现对相空间的密集采样，减少扫描光场成像需要的扫描次数；对每个光场图像提取每个微透镜相同角度的像素并融合，得到单一视角图像，最终得到空间稠密采样的多视角图像。根据预设策略计算多个视角的图像的偏移矩阵，并利用偏移矩阵对多个视角的图像进行数字偏移校正；对校正后的多视角图像的进行图像的拼接融合，得到待成像目标的最终成像结果。由此，本申请实施例可以有效克服空间分辨率与角度分辨率的矛盾，并有效解决动态相差。

Description

基于光场相机阵列的成像方法及系统
技术领域
本申请涉及成像技术领域，特别涉及基于光场相机阵列的成像方法及系统。
背景技术
扫描光场成像技术获取在成像时像面扫描待成像目标得到的多个相对位置微小偏移的光场图像，产生相邻小间隔微透镜间的虚拟重叠；根据多次扫描的光场图像计算成像时，突破空间分辨率与角度分辨率的矛盾。通过计算光学系统或采集场景引入的像差，并基于像差与波动光学理论，对成像系统的点扩散函数进行建模；根据建模后的点扩散函数，与多次扫描光场图像重排列后所得的多视角图像进行非相干孔径合成，实现图像重构，实现大场景、高分辨的三维成像。
然而扫描光场成像技术面对动态相差方面仍然存在不足，在高速动态成像场景，例如大气湍流，通过扫描的方法进行多个相对位置微小偏移的光场图像，采集的多个光场图像并非相同时刻，影响了相差估计的准确度。因此需要快速相差估计的方法，更好解决动态像差的问题。
发明内容
本申请提供一种用于基于光场相机阵列的成像方法及系统，可以有效提升分辨率、解决复杂湍流引起的像差和实现非相干光孔径合成，实现快速相差估计，更好解决动态相差问题，提升成像技术水平。
本申请第一方面实施例提供一种基于光场相机阵列的成像方法及系统，包括以下步骤：
成像目标的光线通过分束镜传递给多个光场相机；多个光场相机拍摄同一场景，但是存在微小的相对位置偏移，实现对相空间的密集采样，减少扫描光场成像需要的扫描次数；对每个光场图像提取每个微透镜相同角度的像素并融合，得到单一视角图像，最终得到所述空间稠密采样的多视角图像；根据预设策略计算所述多个视角的图像的偏移矩阵，并利用所述偏移矩阵对所述多个视角的图像进行数字偏移校正；对校正后的多个视角的图像的进行图像的拼接融合，得到所述待成像目标的最终成像结果。
可选地，所述利用所述偏移矩阵对所述多个视角的图像进行数字偏移校正，包括：对所述偏移矩阵进行二维积分得到像差矩阵；根据所述像差矩阵修正所述偏移矩阵，并利用修正后的偏移矩阵对所述多个视角的图像进行数字偏移校正。
可选地，所述对校正后的多个视角的图像进行图像的拼接融合，得到所述待成像目标的最终成像结果，包括：获取校正后的多个视角图像的相对位置关系；根据所述相对位置关系进行对所述校正后的多个视角的图像进行拼接融合，得到所述待成像目标的最终成像结果。
本申请第二方面实施例提供一种基于光场相机阵列的成像装置，包括：获取模块，用于在成像时像面扫描待成像目标得到的多个相对位置微小偏移的光场图像，实现对相空间的密集采样，减少扫描光场成像需要的扫描次数；对每个光场图像提取每个微透镜相同角度的像素并融合，得到单一视角图像，最终得到所述空间稠密采样的多视角图像；校正模块，用于根据预设策略计算所述多个视角的图像的偏移矩阵，并利用所述偏移矩阵对所述多个视角的图像进行数字偏移校正；融合模块，用于对校正后的多个视角的图像的进行图像的拼接融合，得到所述待成像目标的最终成像结果。
可选地，还包括：控制模块，用于将所述待成像目标的成像光线分为多束光线，并控制采集组件同时采集得到的多个相对位置微小偏移的光场图像。
可选地，所述校正模块进一步用于：对所述偏移矩阵进行二维积分得到像差矩阵；根据所述像差矩阵修正所述偏移矩阵，并利用修正后的偏移矩阵对所述多个视角的图像进行数字偏移校正。
可选地，所述融合模块进一步用于：获取校正后的多个视角的图像的相对位置关系；根据所述相对位置关系进行对所述校正后的多个视角的图像进行拼接融合，得到所述待成像目标的最终成像结果。
本申请第三方面实施例提供一种基于光场相机阵列的光场成像系统，包括：采集组件，在成像时同时采集待成像目标得到的多个相对位置微小偏移的光场图像；如上述实施例所述的基于光场相机阵列的成像装置。
可选地，所述采集组件包括：分束镜，用于将所述待成像目标的成像光线分为多束光线；多个微透镜阵列相机，其中，每个微透镜阵列相机由相机集成微透镜阵列构成，多个光场相机拍摄同一场景，但是存在微小的相对位置偏移；所述基于光场相机阵列的光场成像用于控制所述多个微透镜阵列相机同时采集光场图像，实现对相空间的密集采样，减少扫描光场成像需要的扫描次数。
本申请第四方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于光场相机阵列的成像方法。
本申请第五方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的基于光场相机阵列的成像方法。
由此，本申请至少具有如下有益效果：
采集的多个光场图像为相同时刻，可以通过光场成像保留角度信息，实现快速相差估计的，更好解决动态像差的问题。基于此采用自适应光学方法有效去高速像差，如大气湍流的相差，使成像的分辨率大幅提升；同时本申请实施例还可以在扫描光场成像的基础上，进一步通过多个集成微透镜阵列的相机实现同步拍摄，并通过非相干孔径将多视角成像融合，避免了不同步拍摄时带来的环境改变对像差去除的干扰，更有效去除像差，实现大场景、抗湍流和高分辨成像。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于光场相机阵列的成像方法的流程图；
图2为根据本申请实施例的基于光场相机阵列的光场成像的系统框图；
图3为根据本申请实施例的多视角同步成像范例；
图4为根据本申请实施例的基于光场相机阵列的成像装置的示例图；
图5为根据本申请实施例的基于光场相机阵列的光场成像系统的示意图；
图6为根据本申请实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
高分辨率光学遥感技术是实现大范围、高精度和多层次地表空间信息获取的主要途径，在气象、探测、安全、侦查等诸多领域具有重要作用。高分辨光学遥感的发展重点在于提高高分辨率宽幅成像和敏捷成像能力。
针对上述背景技术中提到的扫描光场成像在解决动态像差方面的问题，本申请提供了一种用于基于光场相机阵列的成像方法。
下面将参考附图描述本申请实施例的基于光场相机阵列的成像方法、装置、系统、设备及存储介质。具体而言，图1为本申请实施例所提供的一种基于光场相机阵列的成像方法的流程示意图。
如图1所示，基于光场相机阵列的成像方法包括以下步骤：
在步骤S101中，成像目标的光线通过分束镜传递给多个光场相机；多个光场相机拍摄同一场景，但是存在微小的相对位置偏移，实现对相空间的密集采样，减少扫描光场成像需要的扫描次数。
可以理解的是，本申请实施例可以形成多视角图像，同时成像可以高速评估动态相差。
在本申请实施例中，在成像时同时采集待成像目标得到的多个光场图像，包括：将待成像目标的成像光线分为多束光线，并控制采集组件同时采集多束光线得到多个光场图像。
其中，如图2所示，采集组件可以包括多个微透镜阵列相机，每个微透镜阵列相机由每个相机集成了微透镜阵列的构成。
以图3所示的8个微透镜阵列相机为例，本申请实施例可以通过多个微透镜阵列相机同时实现多角度采集，每个相机集成了微透镜阵列，成像信息如箭头所示摄入分束镜，通过分束镜将光线分为8束，被8个微透镜阵列相机同时采集成像。最终可以同步不用扫描，实现稠密空间采样，保证空间分辨率、时间分辨率以及角度分辨率。
在步骤S102中，根据预设策略计算多个视角的图像的偏移矩阵，并利用偏移矩阵对多个视角的图像进行数字偏移校正。
在本申请实施例中，利用偏移矩阵对多个视角的图像进行数字偏移校正，包括：对偏移矩阵进行二维积分得到像差矩阵；根据像差矩阵修正偏移矩阵，并利用修正后的偏移矩阵对多个视角的图像进行数字偏移校正。
可以理解的是，本申请实施例可以通过相关法或光流法对多视角进行偏移估计得到偏移矩阵,偏移矩阵二维积分得到像差矩阵，相差矩阵去除泽尼克离焦项再二维差分得到精准偏移矩阵，实现对多视角图像的数字偏移校正。
具体而言，本申请实施例可以采用数字自适应光学方法估计多视角成像队列的像差，并进行像差校正，具体步骤如下：本申请实施例可以采用元成像技术，从高维光信号中自适应提取全局空间非一致的波前相位信息，进一步实现大范围多区域的动态像差矫正，有效提升复杂湍流环境下光学遥感成像能力；同时，本申请实施例可以应用计算成像原理，在现有镜片制造水平与现有系统的基础上，低成本小型化地实现大口径系统光学像差精准测量与校正，有效提升遥感成像技术水平。
在步骤S103中，对校正后的多个视角的图像的进行图像的拼接融合，得到待成像目标的最终成像结果。
在本申请实施例中，对校正后的多个视角的图像的进行图像的拼接融合，得到待成像目标的最终成像结果，包括：获取校正后的多个视角的图像的相对位置关系；根据相对位置关系进行对校正后的多个视角的图像进行拼接融合，得到待成像目标的最终成像结果。
可以理解的是，本申请实施例可以对偏移后的图像根据偏移的相对位置关系进行直接的拼接融合，生成待成像目标的最终成像结果。
具体而言，本申请实施例可以采用元成像技术，基于微纳光学器件，突破传统光电传感器架构，提出新型高分辨率光场成像的高效耦合采集机制，以合成非相干光束的孔径，实现复杂湍流环境下超远距离高分辨率感知，从而可以通过非相干孔径将校正后的多个视角的图像进行图像的拼接融合，实现高分辨成像。
根据本申请实施例提出的基于光场相机阵列的成像方法，可以通过光场成像保留角度信息，采用自适应光学方法有效去除大气湍流的像差，以解决复杂湍流引起像差的问题，使天文遥感成像方面的分辨率大幅提升；同时本申请进一步通过多个集成微透镜阵列的相机实现同步拍摄，并通过非相干孔径将多视角成像融合，避免了不同步拍摄时带来的环境改变对像差去除的干扰，更有效去除像差，实现大场景、抗湍流和高分辨成像。
其次参照附图描述根据本申请实施例提出的基于光场相机阵列的成像装置。
图4是本申请实施例的基于光场相机阵列的成像装置的方框示意图。
如图4所示，该基于光场相机阵列的成像装置100包括：获取模块110、矫正模块120和融合模块130。
其中，获取模块110用于获取在成像时同时采集待成像目标得到多个相对位置的光场图像，通过像素提取拼接进而得到空间采样率提升的多视角图像；校正模块120用于根据预设策略计算多个视角的图像的偏移矩阵，并利用偏移矩阵对多个视角的图像进行数字偏移校正；融合模块130用于对校正后的多个视角的图像的进行图像的拼接融合，得到待成像目标的最终成像结果。
在本申请实施例中，还包括：控制模块。其中，控制模块用于将待成像目标的成像光线分为多束光线，并控制采集组件同时采集多束光线得到采集得到多个相对位置的光场图像，通过像素提取拼接进而得到空间采样率提升的多视角图像。
在本申请实施例中，校正模块120进一步用于：对偏移矩阵进行二维积分得到像差矩阵；根据像差矩阵修正偏移矩阵，并利用修正后的偏移矩阵对多个视角的图像进行数字偏移校正。
在本申请实施例中，融合模块130进一步用于：获取校正后的多个视角的图像的相对位置关系；根据相对位置关系进行对校正后的多个视角的图像进行拼接融合，得到待成像目标的最终成像结果。
需要说明的是，前述对基于光场相机阵列的成像方法实施例的解释说明也适用于该实施例的基于光场相机阵列的成像装置，此处不再赘述。
根据本申请实施例提出的基于光场相机阵列的成像装置，可以通过光场成像保留角度信息，采用自适应光学方法有效去除大气湍流的像差，以解决复杂湍流引起像差的问题，使天文遥感成像方面的分辨率大幅提升；同时本申请实施例还可以在扫描光场成像的基础上，进一步通过多个集成微透镜阵列的相机实现同步拍摄，并通过非相干孔径将多视角成像融合，避免了不同步拍摄时带来的环境改变对像差去除的干扰，更有效去除像差，实现大场景、抗湍流和高分辨成像。
图5为本申请实施例提供的基于光场相机阵列的光场成像系统的示意图。如图5所示，该基于光场相机阵列的光场成像系统10包括：基于光场相机阵列的光场装置100和采集组件200。
其中，采集组件200用于在成像时同时采集待成像目标得到的多个视角的图像。
在本申请实施例中，如图2所示，采集组件200包括分束镜和多个微透镜阵列相机；基于光场相机阵列的成像装置100用于获取在成像时同时采集待成像目标得到多个相对位置的光场图像，通过像素提取拼接进而得到空间采样率提升的多视角图像，根据多个视角的图像计算成像时的实际像差，并基于实际像差对多个视角的图像进行光学校正；对校正后的图像进行多视角成像融合，得到待成像目标的最终成像结果。
其中，分束镜用于将待成像目标的成像光线分为多束光线；多个微透镜阵列相机的每个微透镜阵列相机由相机集成微透镜阵列构成，用于采集任意一束光线得到一个视角的光场图像；基于光场相机阵列的成像装置100用于控制多个微透镜阵列相机同时采集多束光线得到采集得到多个相对位置的光场图像。
需要说明的是，前述对基于光场相机阵列的成像方法实施例的解释说明也适用于该实施例的基于光场相机阵列的光场成像系统，此处不再赘述。
根据本申请实施例提出的基于光场相机阵列的光场成像系统，可以通过光场成像保留角度信息，采用自适应光学方法有效去除大气湍流的像差，以解决复杂湍流引起像差的问题，使天文遥感成像方面的分辨率大幅提升；同时本申请实施例还可以在扫描光场成像的基础上，进一步通过多个集成微透镜阵列的相机实现同步拍摄，并通过非相干孔径将多视角成像融合，避免了不同步拍摄时带来的环境改变对像差去除的干扰，更有效去除像差，实现大场景、抗湍流和高分辨成像。
图6为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
处理器602执行程序时实现上述实施例中提供的基于光场相机阵列的成像方法。
进一步地，电子设备还包括：
通信接口603，用于存储器601和处理器602之间的通信。
存储器601，用于存放可在处理器602上运行的计算机程序。
存储器601可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
处理器602可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于光场相机阵列的成像方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种基于光场相机阵列的成像方法，其特征在于，包括以下步骤：
成像目标的光线通过分束镜传递给多个光场相机；其中，多个光场相机拍摄同一场景，且存在相对位置偏移，实现对相空间的密集采样；
对每个光场图像提取每个微透镜相同角度的像素并融合，得到单一视角图像，最终得到所述空间稠密采样的多视角图像；
根据预设策略计算所述多个视角的图像的偏移矩阵，并利用所述偏移矩阵对所述多个视角的图像进行数字偏移校正；
对校正后的多个视角的图像的进行图像的拼接融合，得到所述待成像目标的最终成像结果。
2.根据权利要求1所述的方法，其特征在于，在成像时同时采集待成像目标得到多个具有相对位置偏移的光场图像，包括：
将成像目标的光线通过分束镜传递给多个光场相机；，
多个光场相机拍摄同一场景，且存在相对位置偏移；
控制采集组件同时采集所述多束光线得到所述多个光场图像。
3.根据权利要求1所述的方法，其特征在于，所述利用所述偏移矩阵对所述多个视角的图像进行数字偏移校正，包括：
对所述偏移矩阵进行二维积分得到像差矩阵；
根据所述像差矩阵修正所述偏移矩阵，并利用修正后的偏移矩阵对所述多个视角的图像进行数字偏移校正。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述对校正后的多个视角的图像进行图像的拼接融合，得到所述待成像目标的最终成像结果，包括：
获取校正后的多个视角的图像的相对位置关系；
根据所述相对位置关系进行对所述校正后的多个视角的图像进行拼接融合，得到所述待成像目标的最终成像结果。
5.一种用基于光场相机阵列的成像装置，其特征在于，包括：
获取模块，将成像目标的光线通过分束镜传递给多个光场相机；其中，多个光场相机拍摄同一场景，且存在相对位置偏移；控制采集组件同时采集所述多束光线得到所述多个光场图像；对每个光场图像提取每个微透镜相同角度的像素并融合，得到单一视角图像，最终得到所述空间稠密采样的多视角图像。
校正模块，用于根据预设策略计算所述多个视角图像的偏移矩阵，并利用所述偏移矩阵对所述多个视角的图像进行数字偏移校正；
融合模块，用于对校正后的多个视角图像进行图像的拼接融合，得到所述待成像目标的最终成像结果。
6.根据权利要求5所述的装置，其特征在于，还包括：
控制模块，用于将所述待成像目标的成像光线分为多束光线，并控制采集组件同时采集所述多束光线得到所述多个存在相对位置偏移的光场图像。
7.根据权利要求6所述的装置，其特征在于，所述校正模块进一步用于：
对所述偏移矩阵进行二维积分得到像差矩阵；
根据所述像差矩阵修正所述偏移矩阵，并利用修正后的偏移矩阵对所述多个视角图像进行数字偏移校正。
8.根据权利要求5-7任意一项所述的装置，其特征在于，所述融合模块进一步用于：
获取校正后的多个视角的图像的相对位置关系；
根据所述相对位置关系进行对所述校正后的多个视角图像进行拼接融合，得到所述待成像目标的最终成像结果。
9.一种基于光场相机阵列的光场成像系统，其特征在于，包括：
采集组件，在成像时同时采集待成像目标得到的多个存在相对位置偏移的光场图像；
如权要求5-8任意一项所述的基于光场相机阵列的成像装置。
10.根据权利要求9所述的系统，其特征在于，所述采集组件包括：
分束镜，用于将所述待成像目标的成像光线分为多束光线；多个微透镜阵列相机，其中，每个微透镜阵列相机由相机集成微透镜阵列构成，但是存在相对位置偏移；用于采集任意一束光线得到存在相对位置偏移光场图像；
所述基于光场相机阵列的成像装置用于控制所述多个微透镜阵列相机同时采集所述多束光线得到所述多个存在相对位置偏移的光场图像。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的基于光场相机阵列的成像方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的基于光场相机阵列的成像方法。
CN202210602151.9A 2022-05-30 2022-05-30 基于光场相机阵列的成像方法及系统 Pending CN115208999A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210602151.9A CN115208999A (zh) 2022-05-30 2022-05-30 基于光场相机阵列的成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210602151.9A CN115208999A (zh) 2022-05-30 2022-05-30 基于光场相机阵列的成像方法及系统

Publications (1)

Publication Number Publication Date
CN115208999A true CN115208999A (zh) 2022-10-18

Family

ID=83575782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210602151.9A Pending CN115208999A (zh) 2022-05-30 2022-05-30 基于光场相机阵列的成像方法及系统

Country Status (1)

Country Link
CN (1) CN115208999A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024027364A1 (zh) * 2023-05-12 2024-02-08 西北工业大学 基于多域时空数据的场景结构动态估计方法、设备及存储介质
CN118169899A (zh) * 2024-05-13 2024-06-11 清华大学 空分复用高分辨光场智能成像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024027364A1 (zh) * 2023-05-12 2024-02-08 西北工业大学 基于多域时空数据的场景结构动态估计方法、设备及存储介质
CN118169899A (zh) * 2024-05-13 2024-06-11 清华大学 空分复用高分辨光场智能成像方法

Similar Documents

Publication Publication Date Title
US11272161B2 (en) System and methods for calibration of an array camera
CN115208999A (zh) 基于光场相机阵列的成像方法及系统
JP6047025B2 (ja) 撮像装置及びその制御方法
EP2175632A1 (en) Image processing apparatus and method
CN103516979A (zh) 摄像装置及其控制方法
CN113256741B (zh) 用于扫描光场成像系统的镜头标定方法及装置
CN108805921B (zh) 图像获取系统及方法
WO2023231044A1 (zh) 基于元成像的眼底成像方法及系统
CN108156383B (zh) 基于相机阵列的高动态十亿像素视频采集方法及装置
CN105430298A (zh) 通过立体摄像系统同时曝光合成hdr图像的方法
CN115086550B (zh) 元成像系统
JP6116151B2 (ja) 距離検出装置
JP6353233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
CN115209000A (zh) 用于遥感成像动态相差估计方法及系统
CN111127379A (zh) 光场相机2.0的渲染方法及电子设备
JP6755737B2 (ja) 距離測定装置、撮像装置、および距離測定方法
JP7373297B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6728005B2 (ja) 撮像装置、撮像方法およびプログラム
JP2008058279A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
CN117615257B (zh) 一种成像方法、装置、介质及设备
CN115205359A (zh) 基于扫描光场的鲁棒深度估计方法及装置
CN115225855A (zh) 基于元成像的监控系统、方法、电子设备及存储介质
JP2023172202A (ja) 画像処理装置、移動体、画像処理方法及びコンピュータプログラム
CN117911533A (zh) 背景纹影层析测量系统的标定方法及装置
CN115205173A (zh) 去除多张图像融合产生运动伪影方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination