CN112804513B - 一种光场相机及成像方法 - Google Patents

一种光场相机及成像方法 Download PDF

Info

Publication number
CN112804513B
CN112804513B CN202110020754.3A CN202110020754A CN112804513B CN 112804513 B CN112804513 B CN 112804513B CN 202110020754 A CN202110020754 A CN 202110020754A CN 112804513 B CN112804513 B CN 112804513B
Authority
CN
China
Prior art keywords
pixel
image
macro
target object
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110020754.3A
Other languages
English (en)
Other versions
CN112804513A (zh
Inventor
钟金钢
姚曼虹
黄卓斌
彭军政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN202110020754.3A priority Critical patent/CN112804513B/zh
Publication of CN112804513A publication Critical patent/CN112804513A/zh
Application granted granted Critical
Publication of CN112804513B publication Critical patent/CN112804513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/365Image reproducers using digital micromirror devices [DMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种光场相机及成像方法,过程如下:目标物体发出的光束经透镜组在空间光调制器的调制平面处形成图像;计算机生成一系列调制图案,控制空间光调制器对目标物体的图像进行调制;调制后的光束在透镜的后焦面形成傅里叶谱图;计算机控制二维图像探测器拍摄傅里叶谱图,并存储到计算机内;对二维图像探测器的像元进行重组,将相邻的若干个像元组合为一个宏像元;利用单像素成像算法重建每个宏像元对应的视角图;根据目标物体的深度计算每幅视角图需要平移的像素数;将每幅图像平移后叠加得到该深度目标物体的图像。本发明不使用微透镜阵列,光线的空间信息与角度信息分开采样,有利于提高成像分辨率和消色差,获取高质量光场相机图像。

Description

一种光场相机及成像方法
技术领域
本发明涉及光学成像技术领域,具体涉及一种光场相机及成像方法。
背景技术
光场相机能够同时获取光场的二维强度分布信息、角度信息和颜色信息,以实现对场景的三维彩色成像,具有免机械调节的优点,已应用于许多领域。
已有的光场相机需要在传统成像系统中增加一个微透镜阵列,利用一个二维阵列探测器同时记录光场的二维强度分布信息、角度信息和颜色信息。设置微透镜阵列的方式主要包括两种:第一种是将微透镜阵列放置在传统成像系统的像面的位置(R.Ng,M.Levoy,M.Brédif,et al.“Light field photography with a hand-held plenoptic camera,”Stanford University,(2005));另一种在传统成像系统中增加一个透镜,该透镜的焦面与像面重合,再将微透镜阵列放置在该透镜的后焦面处(Scrofani G,Sola-Pikabea J,Llavador A,et al.“FIMic:design for ultimate 3D-integral microscopy of in-vivobiological samples,”Biomedical optics express,9(1):335-346(2018))。由于受单个二维阵列探测器的空间带宽积限制,只利用一个二维阵列探测器实现对光场的二维强度分布信息、角度信息和颜色信息同时采样,导致成像的空间分辨率、角度分辨率和颜色分辨率之间存在一个相互制约的权衡关系;另外微透镜存在严重色差,导致光场相机重建图像颜色失真。
总之,现有的两类光场相机,分别存在以下缺陷:1)只使用一个二维阵列探测器,导致重建三维图像的分辨率受限于单个二维阵列探测器的空间带宽积,空间分辨率和角度分辨率存在相互制约。2)由于使用了微透镜阵列,导致重建图像色差较大、颜色失真。
发明内容
本发明的目的在于提供一种光场相机及成像方法,旨在解决现有光场相机存在的缺陷:重建图像的分辨率受限于单个二维阵列探测器的空间带宽积,空间分辨率和角度分辨率存在相互制约问题;使用了微透镜阵列,导致重建图像色差较大、颜色失真问题。
本发明的第一个目的可以通过采取如下技术方案达到:
一种光场相机,所述光场相机包括透镜组1、空间光调制器2、透镜3、二维图像探测器4和计算机5,所述空间光调制器2设置在透镜组1和透镜3之间的目标物体的像面处,二维图像探测器4的光敏面设置在透镜3的后焦面。目标物体发出的光束经透镜组1在空间光调制器2的调制平面处形成图像;计算机5生成一系列调制图案,控制空间光调制器2对目标物体的图像进行调制;调制后的光束再经过透镜3进行傅里叶变换,在透镜3的后焦面形成傅里叶谱图;计算机5控制二维图像探测器4拍摄傅里叶谱图,并存储到计算机5内。
进一步地,所述透镜组1带有对焦装置,将目标物体成像到空间光调制器2的调制平面处。
进一步地,所述空间光调制器2为液晶显示屏LCD(Liquid Crystal Display)或数字微镜器件DMD(Digital micromirror device)。
进一步地,所述透镜3为傅里叶变换透镜。
进一步地,所述二维图像探测器4为一带有拜耳滤色片(Bayer filter)的彩色二维图像探测器。
本发明的第二个目的可以通过采取如下技术方案达到:
一种光场相机的成像方法,所述成像方法包含以下步骤:
步骤S1、计算机5生成一系列L幅不同的图案:P1(ms,ns)、P2(ms,ns)、…、Px(ms,ns)、…、PL(ms,ns),依次加载到空间光调制器2对目标物体的图像进行调制;每加载一个图案,二维图像探测器4拍摄一个傅里叶谱图,获得一系列傅里叶谱图I1(mc,nc)、I2(mc,nc)、…、Ii(mc,nc)、…、IL(mc,nc),其对应有红绿蓝三个通道的傅里叶谱图,红色通道系列傅里叶谱图为
Figure BDA0002883887540000031
绿色通道系列傅里叶谱图为
Figure BDA0002883887540000032
蓝色通道系列傅里叶谱图为
Figure BDA0002883887540000033
Figure BDA0002883887540000034
确定傅里叶谱图的中心像元O的位置坐标,设为
Figure BDA0002883887540000035
其中,i=1,…,L表示序号,L为整数;(ms,ns)为空间光调制器2的调制单元坐标,ms=1,…,Ms、ns=1,…,Ns为整数;(mc,nc)为二维图像探测器4的光敏像元坐标,mc=1,…,Mc、nc=1,…,Nc为整数,二维图像探测器4的光敏面共有Mc×Nc个像元;
步骤S2、对二维图像探测器4的Mc×Nc个像元进行重组,将相邻的每K个像元组合为一个宏像元,得到Q个宏像元,每个宏像元的中心Oq的位置坐标设为
Figure BDA0002883887540000036
对步骤S1获得的系列傅里叶谱图中的每个宏像元中的K个像元值相加,得到三个颜色通道的一系列由宏像元构成的傅里叶谱图,其中,K和Q分别为大于或等于1的整数,K×Q≤Mc×Nc,q=1,2,…,Q表示序号;
步骤S3、将每个宏像元作为一个单像素探测器,每个颜色通道分别按单像素成像的图像重建方法重建图像:对步骤S2获得的三个颜色通道的由宏像元构成的傅里叶谱图,提取每个颜色通道系列图像中具有相同宏像元坐标的光强值,每一个单像素探测器获得一个一维光强序列;对每一个一维光强序列,采用单像素成像的图像重建方法,重建一幅目标物体图像,Q个单像素探测器共重建获得Q幅不同视角的目标物体图像,重建的红色通道的目标物体图像为
Figure BDA0002883887540000041
Figure BDA0002883887540000042
绿色通道的目标物体图像为
Figure BDA0002883887540000043
Figure BDA0002883887540000044
蓝色通道的目标物体图像为
Figure BDA0002883887540000045
Figure BDA0002883887540000046
其中q=1,2,…,Q表示序号;
步骤S4、根据空间光调制器2与透镜组1之间的距离dSL以及透镜组1的焦距f1,计算得到空间光调制器2关于透镜组1的物像共轭平面与透镜组1之间的距离d:
Figure BDA0002883887540000047
步骤S5、以空间光调制器2关于透镜组1的物像共轭平面为基准面,重聚焦不同深度的场景,若重聚焦深度为Δz的场景,即重聚焦的位置与该基准面的距离为Δz,则根据步骤四计算得到空间光调制器2关于透镜组1的物像共轭平面与透镜组1之间的距离d,计算得到该深度的场景所成的像与空间光调制器2之间的距离Δzimage
Figure BDA0002883887540000048
步骤S6、根据步骤S5中Δz深度的场景的像与空间光调制器2之间的距离Δzimage,得到每个宏像元单像素探测器重建的目标物体图像在两个正交方向需要平移的像素数:
Figure BDA0002883887540000049
其中,δp为空间光调制器2的像元尺寸,f2为透镜3的焦距;
步骤S7、根据得到每个宏像元单像素探测器重建的目标物体图像需要平移的像素数
Figure BDA0002883887540000051
Figure BDA0002883887540000052
按以下公式计算得到平移后的三个颜色通道的目标物体图像,其中,
红色通道的目标物体图像为
Figure BDA0002883887540000053
绿色通道的目标物体图像为
Figure BDA0002883887540000054
蓝色通道的目标物体图像为
Figure BDA0002883887540000055
其中
Figure BDA0002883887540000056
表示逆傅里叶变换,
Figure BDA0002883887540000057
表示傅里叶变换,j为虚数单位,u和v为傅里叶变换频域坐标分量;
步骤S8、将相同颜色通道的每个宏像元单像素探测器重建的目标物体图像平移后的图像进行强度叠加,得到三个颜色通道场景深度为Δz的图像,红色通道场景深度为Δz的图像为
Figure BDA0002883887540000058
绿色通道场景深度为Δz的图像为
Figure BDA0002883887540000059
蓝色通道场景深度为Δz的图像为
Figure BDA00028838875400000510
步骤S9、根据步骤S8得到的红、绿、蓝三个颜色通道场景深度为Δz的图像
Figure BDA00028838875400000511
Figure BDA00028838875400000512
将三幅图像合成场景深度为Δz的彩色图像IΔz(ms,ns)。
进一步地,所述步骤S1中计算机5生成一系列L幅不同的图案,其中,所述图案为傅里叶变换(Fourier transform)基底图案、哈达玛变换(Hadamard transform)基底图案或随机分布图案中的任意一种。
进一步地,所述步骤S2中对二维图像探测器4的Mc×Nc个像元进行重组,重组的具体过程为:每个宏像元的形状都为圆形且大小相同,圆形半径为rQ个像元,将傅里叶谱图的中心像元O设置为其中一个宏像元的中心,所有宏像元以O为中心按等间距环形分布排列,宏像元之间的中心距为bQ个像元,其中rQ≥1为整数,bQ≥1为整数。
进一步地,所述步骤S2中对二维图像探测器4的Mc×Nc个像元进行重组,重组的具体方法为:每个宏像元的形状都为方形且大小相同,方形的边长为aQ个像元;将傅里叶谱图的中心像元O设置为其中一个宏像元的中心,所有宏像元按行列式等间距排列,宏像元之间的中心距为bQ个像元。其中aQ≥1为奇整数,bQ≥1为整数。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明将空间信息和角度信息分开采样,提高了成像系统的空间带宽积,有利于提高成像分辨率;
(2)本发明无需微透镜阵列装置,可实现消色差光场成像。
附图说明
图1是本发明实施例中公开的光场相机的组成结构及光路图;
图2为本发明实施例中最左、最上、最右、最下四个宏像元的具体位置及对应重建的视角图,其中,图2(a1)是最左的宏像元具体位置示意图,图2(b1)是最上的宏像元具体位置示意图,图2(c1)是最右的宏像元具体位置示意图,图2(d1)是最下的宏像元具体位置示意图,图2(a2)是对应图2(a1)的宏像元重建的红色通道的视角图,图2(b2)是对应图2(b1)的宏像元重建的红色通道的视角图,图2(c2)是对应图2(c1)的宏像元重建的红色通道的视角图,图2(d2)是对应图2(d1)的红色通道的宏像元重建的红色通道的视角图,图2(a3)是对应图2(a1)的宏像元重建的绿色通道的视角图,图2(b3)是对应图2(b1)的宏像元重建的绿色通道的视角图,图2(c3)是对应图2(c1)的宏像元重建的绿色通道的视角图,图2(d3)是对应图2(d1)的宏像元重建的绿色通道的视角图,图2(a4)是对应图2(a1)的宏像元重建的蓝色通道的视角图,图2(b4)是对应图2(b1)的宏像元重建的蓝色通道的视角图,图2(c4)是对应图2(c1)的宏像元重建的蓝色通道的视角图,图2(d4)是对应图2(d1)的宏像元重建的蓝色通道的视角图;
图3为本发明实施例中数字重聚焦不同深度目标物体的三个颜色通道结果示意图,其中,图3(a1)是红色通道重聚焦到独角兽灯带的结果图,图3(b1)是红色通道重聚焦到椰树灯带的结果图,图3(c1)是红色通道重聚焦到闪电灯带的结果图,图3(a2)是绿色通道重聚焦到独角兽灯带的结果图,图3(b2)是绿色通道重聚焦到椰树灯带的结果图,图3(c2)是绿色通道重聚焦到闪电灯带的结果图,图3(a3)是蓝色通道重聚焦到独角兽灯带的结果图,图3(b3)是蓝色通道重聚焦到椰树灯带的结果图,图3(c3)是蓝色通道重聚焦到闪电灯带的结果图;
图4为本发明实施例中数字重聚焦不同深度目标物体的彩色结果示意图,其中,图4(a)是重聚焦到独角兽灯带的彩色结果图,图4(b)是重聚焦到椰树灯带的彩色结果图,图4(c)是重聚焦到闪电灯带的彩色结果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
如图1所示,本实施例公开了一种光场相机,包括透镜组1、空间光调制器2、透镜3、二维图像探测器4和计算机5。所用透镜组1为焦距f1=50mm的相机镜头,空间光调制器2为像元尺寸47.25μm的液晶显示屏,透镜3焦距为f2=15mm,二维图像探测器4为像元尺寸4.54μm的CCD相机,计算机5为台式计算机。空间光调制器2的调制平面设置在透镜3的前焦面,二维图像探测器4的光敏面设置在透镜3的后焦面。目标物体为设置在不同深度的独角兽灯带、椰树灯带、闪电灯带组成。
目标物体发出的光束经透镜组1在空间光调制器2的调制平面处形成图像;计算机5生成一系列调制图案,控制空间光调制器2对目标物体的图像进行调制;调制后的光束再经过透镜3进行傅里叶变换,在透镜3的后焦面形成傅里叶谱图;计算机5控制二维图像探测器4拍摄傅里叶谱图,并存储到计算机5内。
首先利用计算机生成33028幅不同的哈达玛变换基底图案:P1(ms,ns)、P2(ms,ns)、…、Pi(ms,ns)、…、PL(ms,ns),(ms,ns)为空间光调制器2的调制单元坐标,其中,i=1,…,L,L为33028;ms=1,…,128、ns=1,…,128。接着,将这些不同空间频率的图案依次加载到空间光调制器2对目标物体的图像进行调制;每加载一个图案,二维图像探测器4拍摄一个傅里叶谱图,获得一系列傅里叶谱图:I1(mc,nc)、I2(mc,nc)、…、Ii(mc,nc)、…、IL(mc,nc),其中,(mc,nc)二维图像探测器4的光敏像元坐标,mc=1,…,2736、nc=1,…,2196,二维图像探测器4的光敏面共有2736×2196个像元。确定傅里叶谱图的中心像元O的位置坐标为(1351.9,1119.6)。
将二维图像探测器4的像元进行重组成73个宏像元单像素探测器,重组的具体过程为:每个宏像元的形状都为圆形且大小相同,圆形半径为50个像元,将傅里叶谱图的中心像元O设置为其中一个宏像元的中心,所有宏像元以O为中心按等间距环形分布排列。这里给出73个宏像元单像素探测器中,中间、最左、最上、最右、最下五个宏像元的中心位置坐标(1351.9,1119.6)、(1920.6,1119.6)、(1351.9,542.2)、(1119.6,783.1)和(1351.9,1697.1)。利用上述73个宏像元,将二维图像探测器拍摄得到的一系列傅里叶谱图中每个宏像元的像元值,得到三个颜色通道的由宏像元构成的一系列傅里叶谱图。
接着由于每个宏像元都可以认为是一个单像素探测器,利用哈达玛单像素成像图像重建方法进行图像重建,每个颜色通道的73个宏像元单像素探测器可以重建得到73张不同视角的目标物体图像,三个颜色通道可以得到三组不同视角的目标物体图像,共219张。
图2为本发明实施例中最左、最上、最右、最下四个宏像元的具体位置及对应重建的视角图,其中,图2(a1)是最左的宏像元具体位置示意图,图2(b1)是最上的宏像元具体位置示意图,图2(c1)是最右的宏像元具体位置示意图,图2(d1)是最下的宏像元具体位置示意图,图2(a2)是对应图2(a1)的宏像元重建的红色通道的视角图,图2(b2)是对应图2(b1)的宏像元重建的红色通道的视角图,图2(c2)是对应图2(c1)的宏像元重建的红色通道的视角图,图2(d2)是对应图2(d1)的红色通道的宏像元重建的红色通道的视角图,图2(a3)是对应图2(a1)的宏像元重建的绿色通道的视角图,图2(b3)是对应图2(b1)的宏像元重建的绿色通道的视角图,图2(c3)是对应图2(c1)的宏像元重建的绿色通道的视角图,图2(d3)是对应图2(d1)的宏像元重建的绿色通道的视角图,图2(a4)是对应图2(a1)的宏像元重建的蓝色通道的视角图,图2(b4)是对应图2(b1)的宏像元重建的蓝色通道的视角图,图2(c4)是对应图2(c1)的宏像元重建的蓝色通道的视角图,图2(d4)是对应图2(d1)的宏像元重建的蓝色通道的视角图。
从图2(a2)和图2(d2)、图2(a3)和图2(d3)以及图2(a4)和图2(d4)三组图像的比较可以看出,利用本发明所提方法每个宏像元重建得到的不同视角的目标物体图像中,不同深度的目标物体在不同视角的目标物体图像中具有不同的偏移。
本实施例中,空间光调制器2与透镜组1之间的距离为dSL=51mm,可以计算得到空间光调制器2关于透镜组1的物像共轭平面与透镜组1的距离为d=2550mm。
以空间光调制器2关于透镜组1的物像共轭平面为基准面,可以重聚焦不同深度的场景。图1所示,场景在物像共轭平面的左侧,则与物像共轭平面的距离Δzreal为正,场景在物像共轭平面的右侧,则与物像共轭平面的距离Δzreal为负。类似的,场景所成的像在空间光调制器的左侧,则像与空间光调制器的距离Δzimage为正,场景所成的像在空间光调制器的右侧,则像与空间光调制器的距离Δzimage为负。其中,重聚焦离透镜组1最近的独角兽灯带时,该灯带与物像共轭平面的距离为Δzreal=-1130mm,可以计算得到该灯带所成的像与空间光调制器2之间的距离为Δzimage=0.82mm;重聚焦离透镜组1最远的闪电灯带时,该灯带与物像共轭平面的距离为Δzreal=1510mm,可以计算得到该灯带所成的像与空间光调制器2之间的距离为Δzimage=-0.67mm。
接着分别利用每个颜色通道的不同视角的目标物体图像,可以对不同深度的目标物体进行数字重聚焦,具体过程是根据不同的深度计算每一幅视角图需要平移的平移量,接着对图像进行平移,将平移后的图像进行强度叠加即可。图3(a1)是红色通道重聚焦到独角兽灯带的结果图,图3(b1)是红色通道重聚焦到椰树灯带的结果图,图3(c1)是红色通道重聚焦到闪电灯带的结果图,图3(a2)是绿色通道重聚焦到独角兽灯带的结果图,图3(b2)是绿色通道重聚焦到椰树灯带的结果图,图3(c2)是绿色通道重聚焦到闪电灯带的结果图,图3(a3)是蓝色通道重聚焦到独角兽灯带的结果图,图3(b3)是蓝色通道重聚焦到椰树灯带的结果图,图3(c3)是蓝色通道重聚焦到闪电灯带的结果图。
最后,将获得的同一深度的红绿蓝三个颜色通道的重聚焦图像进行合成,得到重聚焦的彩色图像。图4给出了利用图3重聚焦得到的三个深度三个颜色通道的图像合成的三个深度的彩色图像,图4(a)是重聚焦到独角兽灯带的彩色结果图,图4(b)是重聚焦到椰树灯带的彩色结果图,图4(c)是重聚焦到闪电灯带的彩色结果图。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (8)

1.一种光场相机,其特征在于,所述光场相机包括透镜组(1)、空间光调制器(2)、透镜(3)、二维图像探测器(4)和计算机(5),其中,所述空间光调制器(2)设置在透镜组(1)和透镜(3)之间的目标物体的像面处,二维图像探测器(4)的光敏面设置在透镜(3)的后焦面,目标物体发出的光束经透镜组(1)在空间光调制器(2)的调制平面处形成图像;计算机(5)生成一系列调制图案,控制空间光调制器(2)对目标物体的图像进行调制;调制后的光束再经过透镜(3)进行傅里叶变换,在透镜(3)的后焦面形成傅里叶谱图;计算机(5)控制二维图像探测器(4)拍摄傅里叶谱图,并存储到计算机(5)内;
所述光场相机的成像方法包含以下步骤:
步骤S1、计算机(5)生成一系列L幅不同的图案:P1(ms,ns)、P2(ms,ns)、…、Pi(ms,ns)、…、PL(ms,ns),依次加载到空间光调制器(2)对目标物体的图像进行调制;每加载一个图案,二维图像探测器(4)拍摄一个傅里叶谱图,获得一系列傅里叶谱图I1(mc,nc)、I2(mc,nc)、…、Ii(mc,nc)、…、IL(mc,nc),其对应有红绿蓝三个通道的傅里叶谱图,红色通道系列傅里叶谱图为
Figure FDA0003937881000000011
绿色通道系列傅里叶谱图为
Figure FDA0003937881000000012
蓝色通道系列傅里叶谱图为
Figure FDA0003937881000000013
Figure FDA0003937881000000014
确定傅里叶谱图的中心像元O的位置坐标,设为
Figure FDA0003937881000000015
其中,i=1,…,L表示序号,L为整数;(ms,ns)为空间光调制器(2)的调制单元坐标,ms=1,…,Ms、ns=1,…,Ns为整数;(mc,nc)为二维图像探测器(4)的光敏像元坐标,mc=1,…,Mc、nc=1,…,Nc为整数,二维图像探测器(4)的光敏面共有Mc×Nc个像元;
步骤S2、对二维图像探测器(4)的Mc×Nc个像元进行重组,将相邻的每K个像元组合为一个宏像元,得到Q个宏像元,每个宏像元的中心Oq的位置坐标设为
Figure FDA0003937881000000021
对步骤S1获得的系列傅里叶谱图中的每个宏像元中的K个像元值相加,得到三个颜色通道的一系列由宏像元构成的傅里叶谱图,其中,K和Q分别为大于或等于1的整数,K×Q≤Mc×Nc,q=1,2,…,Q表示序号;
步骤S3、将每个宏像元作为一个单像素探测器,每个颜色通道分别按单像素成像的图像重建方法重建图像:对步骤S2获得的三个颜色通道的由宏像元构成的傅里叶谱图,提取每个颜色通道系列图像中具有相同宏像元坐标的光强值,每一个单像素探测器获得一个一维光强序列;对每一个一维光强序列,采用单像素成像的图像重建方法,重建一幅目标物体图像,Q个单像素探测器共重建获得Q幅不同视角的目标物体图像,重建的红色通道的目标物体图像为
Figure FDA0003937881000000022
Figure FDA0003937881000000023
绿色通道的目标物体图像为
Figure FDA0003937881000000024
Figure FDA0003937881000000025
蓝色通道的目标物体图像为
Figure FDA0003937881000000026
Figure FDA0003937881000000027
其中q=1,2,…,Q表示序号;
步骤S4、根据空间光调制器(2)与透镜组(1)之间的距离dSL以及透镜组(1)的焦距f1,计算得到空间光调制器(2)关于透镜组(1)的物像共轭平面与透镜组(1)之间的距离d:
Figure FDA0003937881000000028
步骤S5、以空间光调制器(2)关于透镜组(1)的物像共轭平面为基准面,重聚焦不同深度的场景,若重聚焦深度为Δz的场景,即重聚焦的位置与该基准面的距离为Δz,则根据步骤四计算得到空间光调制器(2)关于透镜组(1)的物像共轭平面与透镜组(1)之间的距离d,计算得到该深度的场景所成的像与空间光调制器(2)之间的距离Δzimage
Figure FDA0003937881000000031
步骤S6、根据步骤S5中Δz深度的场景的像与空间光调制器(2)之间的距离Δzimage,得到每个宏像元单像素探测器重建的目标物体图像在两个正交方向需要平移的像素数:
Figure FDA0003937881000000032
其中,sp为空间光调制器(2)的像元尺寸,f2为透镜(3)的焦距;
步骤S7、根据得到每个宏像元单像素探测器重建的目标物体图像需要平移的像素数
Figure FDA0003937881000000033
Figure FDA0003937881000000034
按以下公式计算得到平移后的三个颜色通道的目标物体图像,其中,
红色通道的目标物体图像为
Figure FDA0003937881000000035
绿色通道的目标物体图像为
Figure FDA0003937881000000036
蓝色通道的目标物体图像为
Figure FDA0003937881000000037
其中
Figure FDA0003937881000000038
表示逆傅里叶变换,
Figure FDA0003937881000000039
表示傅里叶变换,j为虚数单位,u和v为傅里叶变换频域坐标分量;
步骤S8、将相同颜色通道的每个宏像元单像素探测器重建的目标物体图像平移后的图像进行强度叠加,得到三个颜色通道场景深度为Δz的图像,红色通道场景深度为Δz的图像为
Figure FDA0003937881000000041
绿色通道场景深度为Δz的图像为
Figure FDA0003937881000000042
蓝色通道场景深度为Δz的图像为
Figure FDA0003937881000000043
步骤S9、根据步骤S8得到的红、绿、蓝三个颜色通道场景深度为Δz的图像
Figure FDA0003937881000000044
Figure FDA0003937881000000045
将三幅图像合成场景深度为Δz的彩色图像IΔz(ms,ns)。
2.根据权利要求1所述的一种光场相机,其特征在于,所述透镜组(1)带有对焦装置,将目标物体成像到空间光调制器(2)的调制平面处。
3.根据权利要求1所述的一种光场相机,其特征在于,所述空间光调制器(2)为液晶显示屏LCD或数字微镜器件DMD。
4.根据权利要求1所述的一种光场相机,其特征在于,所述透镜(3)为傅里叶变换透镜。
5.根据权利要求1所述的一种光场相机,其特征在于,所述二维图像探测器(4)为一带有拜耳滤色片的彩色二维图像探测器。
6.根据权利要求1所述的一种光场相机,其特征在于,所述步骤S1中计算机(5)生成一系列L幅不同的图案,其中,所述图案为傅里叶变换基底图案、哈达玛变换基底图案或随机分布图案中的任意一种。
7.根据权利要求1所述的一种光场相机,其特征在于,所述步骤S2中对二维图像探测器(4)的Mc×Nc个像元进行重组,重组的具体过程为:每个宏像元的形状都为圆形且大小相同,圆形半径为rQ个像元,将傅里叶谱图的中心像元O设置为其中一个宏像元的中心,所有宏像元以O为中心按等间距环形分布排列,宏像元之间的中心距为bQ个像元,其中rQ≥1为整数,bQ≥1为整数。
8.根据权利要求1所述的一种光场相机,其特征在于,所述步骤S2中对二维图像探测器(4)的Mc×Nc个像元进行重组,重组的具体方法为:每个宏像元的形状都为方形且大小相同,方形的边长为aQ个像元;将傅里叶谱图的中心像元O设置为其中一个宏像元的中心,所有宏像元按行列式等间距排列,宏像元之间的中心距为bQ个像元,其中aQ≥1为奇整数,bQ≥1为整数。
CN202110020754.3A 2021-01-05 2021-01-05 一种光场相机及成像方法 Active CN112804513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110020754.3A CN112804513B (zh) 2021-01-05 2021-01-05 一种光场相机及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110020754.3A CN112804513B (zh) 2021-01-05 2021-01-05 一种光场相机及成像方法

Publications (2)

Publication Number Publication Date
CN112804513A CN112804513A (zh) 2021-05-14
CN112804513B true CN112804513B (zh) 2023-02-17

Family

ID=75809053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110020754.3A Active CN112804513B (zh) 2021-01-05 2021-01-05 一种光场相机及成像方法

Country Status (1)

Country Link
CN (1) CN112804513B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113834442A (zh) * 2021-09-23 2021-12-24 河北大学 一种相干单像素成像系统及成像方法
CN114374779B (zh) * 2021-12-16 2023-06-20 中国科学院上海高等研究院 一种全光场成像相机及其成像方法及全光场成像装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108594418A (zh) * 2018-03-29 2018-09-28 暨南大学 一种基于阵列单像素探测器的光场显微成像系统及其方法
WO2018190111A1 (ja) * 2017-04-10 2018-10-18 浜松ホトニクス株式会社 擬似スペックルパターン生成装置、擬似スペックルパターン生成方法、観察装置および観察方法
CN109343077A (zh) * 2018-11-27 2019-02-15 北京理工大学 一种液晶相控阵鬼成像系统及其成像方法
CN110132175A (zh) * 2019-05-30 2019-08-16 北京理工大学 基于幅度调制的单像素相位成像方法和装置
CN110501069A (zh) * 2018-05-16 2019-11-26 中国科学院西安光学精密机械研究所 时空联合调制光场光谱成像系统及方法
CN111707413A (zh) * 2020-05-15 2020-09-25 中国科学院合肥物质科学研究院 一种基于单像素探测器的质心探测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015505039A (ja) * 2011-12-12 2015-02-16 ザイゴ コーポレーションZygo Corporation 変調光を使用した非接触表面形状評価
CN104535186B (zh) * 2014-12-30 2016-08-17 华中科技大学 一种动平台红外图谱关联探测系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018190111A1 (ja) * 2017-04-10 2018-10-18 浜松ホトニクス株式会社 擬似スペックルパターン生成装置、擬似スペックルパターン生成方法、観察装置および観察方法
CN108594418A (zh) * 2018-03-29 2018-09-28 暨南大学 一种基于阵列单像素探测器的光场显微成像系统及其方法
CN110501069A (zh) * 2018-05-16 2019-11-26 中国科学院西安光学精密机械研究所 时空联合调制光场光谱成像系统及方法
CN109343077A (zh) * 2018-11-27 2019-02-15 北京理工大学 一种液晶相控阵鬼成像系统及其成像方法
CN110132175A (zh) * 2019-05-30 2019-08-16 北京理工大学 基于幅度调制的单像素相位成像方法和装置
CN111707413A (zh) * 2020-05-15 2020-09-25 中国科学院合肥物质科学研究院 一种基于单像素探测器的质心探测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于微透镜阵列的光场成像系统;张占强等;《首都师范大学学报(自然科学版)》;20160215(第01期);全文 *

Also Published As

Publication number Publication date
CN112804513A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
Okano et al. Real-time integral imaging based on extremely high resolution video system
JP6091176B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
CN112804513B (zh) 一种光场相机及成像方法
JP5818697B2 (ja) 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体
US20090219432A1 (en) Sensor with multi-perspective image capture
US9811051B2 (en) Apparatus and method for performing in-line lens-free digital holography of an object
JP2017519440A (ja) 深度推定のための画像センサ
CN102917235A (zh) 图像处理装置、图像处理方法和程序
CN106165398B (zh) 摄像元件、摄像装置以及图像处理装置
CN107395933B (zh) 一种基于lcos空间光调制器的可编程孔径成像系统及超分辨方法
CN103688536A (zh) 图像处理装置、图像处理方法及程序
CN113568156B (zh) 一种光谱显微成像装置及实现方法
JP2022046601A (ja) 改善された解像度を用いたプレノプティック・サブアパーチャ・ビュー・シャッフリング
CN105806480B (zh) 一种基于自适应微透镜阵列传感器的数字变焦光谱成像仪
Cao et al. Color ghost imaging with pseudo-white-thermal light
TW201341987A (zh) 彩色全像影像的合成系統
KR101691297B1 (ko) 색분리 현상을 제거하는 깊이우선 집적 영상 디스플레이 시스템
KR102437510B1 (ko) 더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링
KR100932560B1 (ko) 3차원 시차 영상 획득 시스템
JP3676916B2 (ja) 立体撮像装置および立体表示装置
Oberdörster et al. Correcting distortion and braiding of micro-images from multi-aperture imaging systems
CN111727453B (zh) 用于去马赛克的滤波器阵列
JP2013229764A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置
JP2017069815A (ja) 画像処理装置および画像処理方法、撮像装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant