CN106803892B - 一种基于光场测量的光场高清晰成像方法 - Google Patents

一种基于光场测量的光场高清晰成像方法 Download PDF

Info

Publication number
CN106803892B
CN106803892B CN201710148060.1A CN201710148060A CN106803892B CN 106803892 B CN106803892 B CN 106803892B CN 201710148060 A CN201710148060 A CN 201710148060A CN 106803892 B CN106803892 B CN 106803892B
Authority
CN
China
Prior art keywords
image
sub
light
light field
subaperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710148060.1A
Other languages
English (en)
Other versions
CN106803892A (zh
Inventor
刘欣城
马浩统
亓波
任戈
谢宗良
董理
陈丰
史建亮
崔占刚
张美丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN201710148060.1A priority Critical patent/CN106803892B/zh
Publication of CN106803892A publication Critical patent/CN106803892A/zh
Application granted granted Critical
Publication of CN106803892B publication Critical patent/CN106803892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于光场测量的光场高清晰成像方法,首先,计算出光场相机子孔径图像的位移,再平移子孔径图像对此位移进行补偿,通过恢复子孔径图像的对称性实现对大气湍流等像差的校正,最后再对对称的子孔径图像进行数字重聚焦实现高清晰成像,从而提高光场相机在受到大气湍流等像差影响时的成像分辨率。本发明是通过对光场相机自身记录的光线信息进行处理,最终达到高清晰成像的目的,没有添加其它的硬件设备,理论上可以克服所有破坏子孔径图像对称性的像差的影响。本发明简单易行,成本低,具有较广泛的适用范围。

Description

一种基于光场测量的光场高清晰成像方法
技术领域
本发明涉及光场成像领域,具体涉及一种基于光场测量的光场高清晰成像方法,其为基于对光场相机记录的原始光场信息进行处理,通过恢复子孔径图像的对称性,以达到提高光场相机在受到大气湍流等像差影响时的成像分辨率。
背景技术
随着CPU的爆炸式发展,基于计算成像的光场成像技术的发展前景非常乐观,其在成像的同时,扩展了成像的重塑性,并且可以加入人对图像的理解,使得最后的图像信息更加灵活化。随着光电技术及器件的发展和光场理论的进一步完善,光场成像正逐步渗透到航空拍摄、波前探测、安全监视、科学仪器、摄影传媒、3D立体显示等各个领域,并朝着集成化、实用化、多元化的方向迈进。在这些应用中,对光场相机的成像实时性和成像分辨率有着越来越高的要求。传统的光场相机(结构如图1所示)是基于微透镜阵列来获取光线的2D位置信息和2D方向信息,其虽然增加了光场相机的方向分辨率,但由于光场相机的空间分辨率受限于微透镜单元的数目和孔径,空间分辨率不高仍是光场成像中的主要问题。
由于光场相机空间分辨率本就不高,如果在光线传输路径上再受到大气湍流等像差的影响,将大大降低光场相机的成像质量,难以满足实际需求。因此在这种情况下需要对光场相机的图像进行处理,恢复大气湍流等像差引起的入射波前畸变,减弱传输介质像差对成像分辨率的影响,提高成像分辨率。如何有效的客服湍流效应对光学系统成像分辨率的限制,一直是急需解决的问题。
目前主要消除大气湍流的方法有:自适应光学技术、图像后处理技术以及混合处理技术(自适应光学和图像后处理技术)等手段进行高分辨率重建。自适应光学技术对成像质量的补偿或校正仅仅是部分的、不充分的。另外,自适应光学系统的波前测量需要消耗大量的光能,系统光能利用率不高;强湍流环境会引起光强闪烁、导致哈特曼波前测量失败;成本昂贵对于一些小型化设备,很难大规模应用;需要导星,结构复杂,特别是应用于扩展目标的清晰化成像。图像后处理是一种图像事后处理技术,对图像的拍摄条件、样本的数量、图像的先验信息都有特殊的要求,况且数据计算量大,很难做到实时或者准实时,不适用与高速运动目标的清晰成像。
因此针对光场相机这种小型化设备,克服光线传输路径中大气湍流等像差的影响,需要发明一种新的图像处理方法,能够利用光场相机本身的结构特点,充分利用其记录的4D光场信息,以提高光场相机的成像分辨率。
发明内容
为了克服成像路径中大气湍流等像差对光场相机成像分辨率的影响,本发明充分利用光场相机的结构特点和其记录下来的4D光场信息,提出了一种使用质心算法或图像相关算法计算出光场相机子孔径图像的位移信息,通过恢复子孔径图像的对称性来校正成像路径中的像差所引起的波前畸变,从而实现光场相机高清晰成像的图像处理方法。
本发明采用的技术方案是:一种基于光场测量的光场高清晰成像方法,该方法包含步骤如下:
①、用光场相机拍摄目标,得到目标的原始光场数据,并提取出虚拟子孔径图像;
②、对子孔径图像进行处理,对于点目标,通过质心算法计算出虚拟子孔径图像的质心,而对于扩展目标,选取参考子孔径图像,通过图像相关算法计算出虚拟子孔径图像和参考子孔径图像的相关矩阵,并由此求出子孔径图像的质心位移;
③、平移虚拟子孔径图像,对此位移量进行补偿,恢复虚拟子孔径图像的对称性;
④、对恢复对称性的子孔径图像进行数字重聚焦,得到目标高分辨率的复原图像。
其中,通过校正子孔径图像的位置来克服大气湍流等像差对光场成像的影响。
其中,理论上可以克服所有破坏子孔径图像对称性的像差的影响,具有广泛的适用范围。
其中,质心算法中目标质心的位置可以由几何光学推导出的质心计算公式求得:
其中,设微透镜阵列的数目为2M×2N,2M和2N分别为一维方向上微透镜的个数,第(m,n)个微透镜对应的光瞳像为Im,n(ξ,η),ξ、η为光瞳像在光敏面(成像CCD)上的位置坐标,d为微透镜单元的孔径,fM为主透镜焦距;
图像相关算法是通过计算图像的最大相关矩阵来计算亚像元的位移量,设Im(x,y)为第m个虚拟子孔径图像,Ir(x,y)为参考图像,Ir(x+u,y+v)为平移后的参考图像,偏移量为(u,v),图像相关矩阵可以表示为:
亚像元的位移量(um,vm)为:
其中,(up,vp)为相关系数取最大值时的位移量。
其中,数字重聚焦所使用的的方法可以为光线追迹数值积分法或傅里叶切片法,重聚焦面上的光照度可以表示为:
其中,(x',y')为重聚焦面上的位置坐标,(u,v)为主镜上的位置坐标,cos4θ为渐晕系数,F为精准聚焦平面与主镜头之间的距离,F'为成像平面与主镜之间的距离, 对应主镜(u,v)处子孔径图像的光亮度;
光线追迹数值积分法即通过光线追迹的方法计算在不同u,v位置被积函数LF的值,再将其叠加便得到重聚焦图像;
广义傅里叶切片定理表示如下:
其中,“o”表示将目标函数代入算子进行运算;为M维的傅里叶变换算子;为积分投影算子,其通过对多余的N-M个变量积分,使一个N维函数降到M维;为基础变换算子;的逆矩阵的转置;为傅里叶切片算子,其通过直接将多余维度置零的方式实现函数降维。根据傅里叶切片定理可以得出:2维对焦图像是实质上是4维光场在频域中的2维切片。
其中,基于光场相机本身所记录的光线信息来测量子孔径图像的位移量而不需要添加其它的硬件设施,方法简单易行,成本低。
本发明与现有技术相比有如下优点:
(1)本发明提出的子孔径图像处理方法简单易行,不需要增加其他的硬件设施,充分利用光场相机自身的结构特点,通过对原始光场数据进行处理便可实现光场相机的高清晰成像,方法简单易行,成本低。
(2)本发明提出的基于光场测量的高清晰成像方法,不仅可以克服大气湍流像差的影响,理论上可以克服所有破坏子孔径图像对称性的像差的影响,具有广泛的适用范围。
附图说明
图1为光场相机原理结构图,其中,1为成像目标,2为成像主镜,3为微透镜阵列,4为成像CCD;
图2为光场图像重组示意图,其中,图2(a)为光场图像,图2(b)为重组图像;
图3为参考图像与虚拟子孔径图像之间的位移示意图;
图4为二次曲线差值拟合示意图;
图5为系统流程图。
具体实施方式
下面结合附图具体说明本发明的具体实施方式。
光场相机的结构图如图1所示,包括成像目标1、成像主镜2、微透镜阵列3和成像CCD 4。为了使成像分辨率最优化,光场相机的微透镜阵列应放置在主镜的像面处;CCD平面应在微透镜阵列的一倍焦距处;主镜的f数应与微透镜阵列的f数相匹配;光场相机主镜头与微透镜相结合的等效孔径应该与大气相干长度相匹配。
从光场原始图像中提取出斜率信息需要对光场图像进行重组,重组过程如图2所示,以各光瞳像中的1号像元为例,将所有光瞳像中的1号像元按照该微透镜在微透镜阵列中的位置分布重组,重组后的图像称之为重组子图像。依照这种方法,光瞳像中的每一个像元都可以形成一个重组子图像,而所有重组子图像按照像元在光瞳像中的位置进行排布就形成了重组图像。重组子图像在物理意义上等效于夏克-哈特曼传感器的子孔径图像,由于这些子孔径图像不是直接成像得到的,因此称之为虚拟子孔径图像。
设微透镜阵列的数目为2M×2N,2M和2N分别为一维方向上微透镜的个数,第(m,n)个微透镜对应的光瞳像为Im,n(ξ,η),ξ、η为光瞳像在光敏面(成像CCD)上的位置坐标,d为微透镜单元的孔径,fM为主透镜焦距。对于点目标,通过重组可以得到虚拟子孔径图像的质心计算公式:
对于扩展目标,如果通过求图像质心的方法来计算位移会引入很大的计算误差。本发明选用图像相关算法来计算其位移量。图像相关算法计算子孔径图像位移量的过程为:
选取参考图像(通常选择虚拟子孔径图像中靠近中心位置的某一子图像),虚拟子孔径图像与参考图像之间存在如下相关性:虚拟子孔径图像与参考图像相对偏移越小,则图像重叠部分越多,两者的相关系数也越大。逐渐移动参考图像,同时计算每移动一步时参考图像和虚拟子孔径图像的相关系数,当相关系数最大时表示两者重合,此时参考图像的移动距离即为虚拟子孔径图像的质心位移。
如图3所示,假设Im(x,y)为第m个虚拟子孔径图像,Ir(x,y)为参考图像。当参考图像移动(u,v)时,参考图像可以表示为:
Ir′(x,y)=Ir(x+u,y+v) (2)
平移后的参考图像与虚拟子孔径图像的重叠程度可以通过计算两者差值的方差得到:易知,得到的方差值越小,重叠程度越大,两者偏离的距离也就越小:
最小化平移参考图像与虚拟子孔径图像的差值的方差过程可以转化最大化相关矩阵的过程。由(3)式得到相关法的计算公式可以表示为:
其中,Ir(x+u,y+v)为平移后的参考图像,偏移量为(u,v)。参考图像通常选择虚拟子孔径图像中靠近中心位置的某一子图像。
(4)式还可以通过快速傅里叶变换(FFT)来计算,其表达式为:
(4)式计算得到的图像位移为像元精度,这在很多情况下是不够的,因而通常采用二次曲线差值拟合来获得亚像元精度。假设C(u,v)为一个二次曲面,如果只考虑一维情况,如图4所示,那么C(u)可以表示为:
C(u)=au2+bu+c (6)
C(u)取最大值时,
um=-b/2a (7)
如果(up,vp)为相关系数取最大值时的位移量,由(6)(7)式可知:
扩展到二维情况,采用二次曲线插值拟合得到的亚像元位移量(um,vm)为:
易知,(9)式获得的各个子孔径的局部斜率不是入射波前真实的局部斜率,而是各子孔径相对于某个子孔径(参考图像对应的子孔径)相对斜率。通过对此斜率进行补偿,便可获得对称分布的子孔径图像。
最后对恢复对称性的子孔径图像进行数值积分即数字重聚焦处理,可以人为的选定调整成像焦面的位置,数字重聚焦的公式如下:
其中,(x',y')为重聚焦面上的位置坐标,(u,v)为主镜上的位置坐标,cos4θ为渐晕系数,F为精准聚焦平面与主镜头之间的距离,F'为成像平面与主镜之间的距离, 对应主镜(u,v)处子孔径图像的光亮度。
数字重聚焦的方法可以使用光线追迹数值积分法或傅里叶切片法。
光线追迹数值积分法即通过光线追迹的方法计算在不同u,v位置被积函数LF的值,再将其叠加便得到重聚焦图像。
广义傅里叶切片定理表示如下:
其中,“o”表示将目标函数代入算子进行运算;为M维的傅里叶变换算子;为积分投影算子,其通过对多余的N-M个变量积分,使一个N维函数降到M维;为基础变换算子;的逆矩阵的转置;为傅里叶切片算子,其通过直接将多余维度置零的方式实现函数降维。根据傅里叶切片定理可以得出:2维对焦图像是实质上是4维光场在频域中的2维切片。
本发明未详细公开的部分属于本领域的公知技术。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于光场测量的光场高清晰成像方法,其特征在于:该方法包含步骤如下:
①、用光场相机拍摄目标,得到目标的原始光场数据,并提取出虚拟子孔径图像;
②、对子孔径图像进行处理,对于点目标,通过质心算法计算出虚拟子孔径图像的质心,而对于扩展目标,选取参考子孔径图像,通过图像相关算法计算出虚拟子孔径图像和参考子孔径图像的相关矩阵,并由此求出子孔径图像的质心位移;
③、平移虚拟子孔径图像,对此位移量进行补偿,恢复虚拟子孔径图像的对称性;
④、对恢复对称性的子孔径图像进行数字重聚焦,得到目标高分辨率的复原图像。
2.根据权利要求1所述的一种基于光场测量的光场高清晰成像方法,其特征在于:通过校正子孔径图像的位置来克服大气湍流像差对光场成像的影响。
3.根据权利要求1所述的一种基于光场测量的光场高清晰成像方法,其特征在于:质心算法中虚拟子孔径图像的质心的位置可以由几何光学推导出的质心计算公式求得:
其中,设微透镜阵列的数目为2M×2N,2M和2N分别为一维方向上微透镜的个数,第(m,n)个微透镜对应的光瞳像为Im,n(ξ,η),ξ、η为光瞳像在成像CCD光敏面上的位置坐标,d为微透镜单元的孔径,fM为主透镜焦距;
图像相关算法是通过计算图像的最大相关矩阵来计算亚像元的位移量,设Im(x,y)为第m个虚拟子孔径图像,Ir(x,y)为参考图像,Ir(x+u,y+v)为平移后的参考图像,偏移量为(u,v),图像相关矩阵可以表示为:
亚像元的位移量(um,vm)为:
其中,(up,vp)为相关系数取最大值时的位移量。
4.根据权利要求1所述的一种基于光场测量的光场高清晰成像方法,其特征在于:数字重聚焦所使用的的方法可以为光线追迹数值积分法或傅里叶切片法,重聚焦面上的光照度可以表示为:
其中,(x',y')为重聚焦面上的位置坐标,(u,v)为主镜上的位置坐标,cos4θ为渐晕系数,F为精准聚焦平面与主镜头之间的距离,F'为成像平面与主镜之间的距离, 对应主镜(u,v)处子孔径图像的光亮度;
光线追迹数值积分法即通过光线追迹的方法计算在不同u,v位置被积函数LF的值,再将其叠加便得到重聚焦图像;
广义傅里叶切片定理表示如下:
其中,表示将目标函数代入算子进行运算;为M维的傅里叶变换算子;为积分投影算子,其通过对多余的N-M个变量积分,使一个N维函数降到M维;为基础变换算子;的逆矩阵的转置;为傅里叶切片算子,其通过直接将多余维度置零的方式实现函数降维;根据傅里叶切片定理可以得出:2维对焦图像是实质上是4维光场在频域中的2维切片。
5.根据权利要求1所述的一种基于光场测量的光场高清晰成像方法,其特征在于:基于光场相机本身所记录的光线信息来测量子孔径图像的位移量而不需要添加其它的硬件设施。
CN201710148060.1A 2017-03-13 2017-03-13 一种基于光场测量的光场高清晰成像方法 Active CN106803892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710148060.1A CN106803892B (zh) 2017-03-13 2017-03-13 一种基于光场测量的光场高清晰成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710148060.1A CN106803892B (zh) 2017-03-13 2017-03-13 一种基于光场测量的光场高清晰成像方法

Publications (2)

Publication Number Publication Date
CN106803892A CN106803892A (zh) 2017-06-06
CN106803892B true CN106803892B (zh) 2019-12-03

Family

ID=58987951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710148060.1A Active CN106803892B (zh) 2017-03-13 2017-03-13 一种基于光场测量的光场高清晰成像方法

Country Status (1)

Country Link
CN (1) CN106803892B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2808933C1 (ru) * 2022-08-19 2023-12-05 Владислав Владимирович Широбоков Способ компенсации фазовых искажений волнового фронта на основе светового поля

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107894326B (zh) * 2017-10-31 2020-04-03 中国科学院光电技术研究所 一种基于多波长相位调制的拼接主镜共相误差探测方法
CN108389169B (zh) * 2018-03-07 2021-11-09 哈尔滨工业大学 一种应用于火焰光场重聚焦成像的温度重建方法
CN108389171A (zh) * 2018-03-08 2018-08-10 深圳市唯特视科技有限公司 一种基于联合估计模糊变量的光场去模糊和深度估计方法
WO2020047692A1 (en) * 2018-09-03 2020-03-12 Carestream Dental Technology Shanghai Co., Ltd. 3-d intraoral scanner using light field imaging
CN109068042B (zh) * 2018-09-25 2020-09-25 中国科学院光电技术研究所 一种适用于光场相机的自动对焦方法
CN110012196A (zh) * 2019-02-22 2019-07-12 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) 一种光场相机重聚焦方法
CN111221132B (zh) * 2019-11-20 2021-10-26 中国科学院光电技术研究所 一种扇形子孔径微透镜阵列测量涡旋光束拓扑荷数的方法和装置
CN113917683A (zh) * 2020-07-09 2022-01-11 菁眸生物科技(上海)有限公司 一种即时仿真测量矫正人眼高阶像差的方法及系统
CN112217574B (zh) * 2020-10-09 2022-02-11 西安石油大学 一种计算任意复杂形状光学接收器的孔径平均函数的方法和实现装置
CN112419185B (zh) * 2020-11-20 2021-07-06 湖北工业大学 基于光场迭代的精确高反光去除方法
CN113163117A (zh) * 2021-04-20 2021-07-23 电子科技大学 一种光场相机的重聚焦方法
CN113920028B (zh) * 2021-10-15 2023-05-30 中国科学院光电技术研究所 一种基于变宽滤波的渐晕图像校正方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729778A (zh) * 2008-10-10 2010-06-09 三星电子株式会社 图像处理设备和方法
CN104735360A (zh) * 2013-12-18 2015-06-24 华为技术有限公司 光场图像处理方法和装置
CN105704371A (zh) * 2016-01-25 2016-06-22 深圳市未来媒体技术研究院 一种光场重聚焦方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112014005866B4 (de) * 2013-12-24 2018-08-02 Lytro, Inc. Verbesserung der plenoptischen Kameraauflösung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729778A (zh) * 2008-10-10 2010-06-09 三星电子株式会社 图像处理设备和方法
CN104735360A (zh) * 2013-12-18 2015-06-24 华为技术有限公司 光场图像处理方法和装置
CN105704371A (zh) * 2016-01-25 2016-06-22 深圳市未来媒体技术研究院 一种光场重聚焦方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2808933C1 (ru) * 2022-08-19 2023-12-05 Владислав Владимирович Широбоков Способ компенсации фазовых искажений волнового фронта на основе светового поля

Also Published As

Publication number Publication date
CN106803892A (zh) 2017-06-06

Similar Documents

Publication Publication Date Title
CN106803892B (zh) 一种基于光场测量的光场高清晰成像方法
US8305485B2 (en) Digital camera with coded aperture rangefinder
US8432479B2 (en) Range measurement using a zoom camera
US9658443B2 (en) Optics apparatus with detection of light rays received at different angles for output indicative of aliased views
Green et al. Multi-aperture photography
US8436912B2 (en) Range measurement using multiple coded apertures
CN109146794A (zh) 一种光场图像旋转误差校正方法
CN105589210B (zh) 一种基于光瞳调制的数字化合成孔径成像方法
CN105716725B (zh) 一种基于叠层扫描的相位差波前探测和图像复原方法
CN104019898B (zh) 一种超灵敏光谱成像天文望远镜及天文光谱成像方法
CN104019899B (zh) 一种超灵敏天文望远镜及其天文图像获取方法
CN111551129A (zh) 大口径平面镜的中、低阶面形检测装置、系统及存储介质
CN110146180A (zh) 一种基于焦面哈特曼波前传感器的大视场图像清晰化装置及方法
CN105704371A (zh) 一种光场重聚焦方法
TWI687661B (zh) 用於確定場景相關電磁場的複振幅的方法及裝置
CN103905746A (zh) 亚像素级图像偏移定位及叠加方法和装置以及视频设备
JP6968895B2 (ja) 電磁場の波頭の断層撮影分布を取得する方法及び光学システム
CN103914818A (zh) 一种基于全向全变分的全向图像稀疏重构方法
CN105444888A (zh) 一种高光谱成像系统的色差补偿方法
CN104142131B (zh) 一种相位成像系统
Seshadri et al. Initial results from a laboratory emulation of weak gravitational lensing measurements
CN111854956A (zh) 一种基于微透镜阵列的多光谱成像系统及图像重建方法
Kwan et al. Calibration of transverse ray and pupil aberrations for light field cameras
Gribl et al. Synthetic astronomical image sequence generation
Zhang et al. A fast non-local means algorithm for phase diversity technique to reconstruct high-resolution multi-aperture images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant