CN112019719A - 基于光学分幅光场相机的高分辨率光场系统和成像方法 - Google Patents

Abstract

本发明提供了基于光学分幅光场相机的高分辨率光场系统和成像方法，包括主物镜、半透半反棱镜、微透镜阵列、图像传感器、控制器和LCD屏；通过半透半反棱镜分光，通过微透镜阵列和合成孔径技术采用傅立叶切片定理把四维光场切成若干二维切片，每片分别与空白场景图像初次融合矫正角度安装误差提高空间分辨率，然后多帧切片二次融合提高角分辨率得到目标场景图像，实现减弱成像过程中的混叠离焦程度，提升光场成像分辨率，加强信噪比的功能，以满足图像清晰度要求。基于光学分幅、融合光场数据可得到空间分辨率更加完整清晰的遮挡物即目标物体图像。本发明在医学、航空、测速、液晶等领域有广泛的应用与需求。

Description

基于光学分幅光场相机的高分辨率光场系统和成像方法

技术领域

本发明属于计算成像技术领域，具体涉及基于光学分幅光场相机的高分辨率光场系统和成像方法。

背景技术

现阶段，对于光场系统的成像分辨率的要求越来越高。一种典型的解决方法是：采用基于随机变换孔径的光场图像混叠检测方法。在分析相机阵列系统采样特性的基础上，给出光场混叠与成像焦距、角度采样密度、场景深度、纹理等因素之间的数学模型；利用混叠图像点对光场角度采样密度变化敏感的特性，通过随机变换孔径采样率实现对图像混叠区域的准确检测。通过分析光场图像尺度变化对图像混叠产生的影响，将不同尺度的光场图像进行无混叠区域融合以降低图像混叠；采用视差法与聚焦法融合的深度估计，对相机阵列多视数据集和光场重聚焦图像集中分别蕴含的视差线索和聚焦线索进行了分析，并指出提取这两种深度线索的方法在光场采样频域空间所存在的差异和关系，即视差法关注频域空间角度轴附近的能量集中特性，而聚焦法则关注角度轴上能量分布的高频占比。采用归一化互相关方法提取视差线索，采用改进的拉普拉斯累加和方法提取聚焦线索，最终以基于图像梯度的带权线性融合方法将两者的计算结果进行融合。然而此方法的缺点是时间效率较低，不能满足光场数据处理的时效性。

另一类典型的解决方法是：角度采样间隔和角采样元尺寸,集成成像再现光场传输降质,建立再现光场降质模型,进行集成成像显示系统优化设计。基于人工电磁材料的负折射特性,单次获取集成成像再现显示深度翻转消除,负折射率平板材料的深度翻转成像特性以及负折射率材料内部球面透镜阵列的成像,选择近距负折射率集成成像系统参数和远场负折射率集成成像系统参数。基于单层超表面透镜阵列相位分布、超表面透镜阵列的像差特性,对双层超表面透镜阵列进行优化设计,采集与显示基于超表面透镜阵列的集成成像高分辨率图像。使用透射式液晶动态调制透镜阵列的通光孔径,提高集成成像的空间采样率,利用人眼的视觉暂留效应,提高再现显示分辨率。这种方法的缺点是对于器件的精度要求过高，适用性较低，对于边缘不明显的图像识别性较差。

发明内容

本发明要解决的技术问题是：提供基于光学分幅光场相机的高分辨率光场系统和成像方法，在保证光场采样稳定易操作的前提下，提高目标图像的图像质量和系统的可靠性。

本发明为解决上述技术问题所采取的技术方案为：基于分幅光场相机的高分辨率光场系统，包括依次设置在光路上的主物镜、分光镜、微透镜阵列和图像传感器，还包括控制器和显示屏；主物镜用于采集原始场景图像并将成像光线变为平行光束；分光镜用于将平行光束分为反射光束和折射光束，使反射光束和折射光束分别进入不同的成像通道达到分幅成像的目的；微透镜阵列用于接收折射光束，将每一个微透镜所成的子图像投射到图像传感器上；图像传感器用于接收分光镜的反射光束和从微透镜阵列出射的多幅聚焦光线，分别对应转换成高清二维图像数据和具有方向维度和位置维度的四维光场图像数据，并发送到控制器；控制器的信号接收端与图像传感器的信号发送端连接，用于接收图像传感器发送的高清二维图像数据和四维光场图像数据，进行提高空间分辨率和角度分辨率的处理，并将得到的目标场景图像数据发送到显示屏；显示屏的信号接收端与控制器的信号发送端连接，用于接收控制器发送的目标场景图像数据并转换成图像显示给用户。

按上述方案，控制器包括分区模块、切片模块、角度校准模块、判断模块、对比度调节模块和融合模块；分区模块和切片模块的信号输出端分别连接角度校准模块的信号输入端，角度校准模块、判断模块、对比度调节模块和融合模块按信号流向依次连接；分区模块用于删除收到的高清二维图像数据中遮挡物的区间光场信息，得到目标场景的位置维度和方向维度信息，并输出空白场景图像数据；切片模块用于根据傅立叶切片定理，将收到的四维光场图像数据转换为若干帧二维切片数据；角度校准模块用于根据带位置和方向信息的空白场景图像数据测定和矫正接收到的高清二维图像数据的相位，同时提取一帧二维切片数据重建为光场图像数据，并设置用于判断光场图像数据是否与高清二维图像数据匹配的阈值；判断模块用于对光场图像数据和高清二维图像数据进行二值化处理，并根据阈值判断光场图像数据与高清二维图像数据是否匹配；对比度调节模块用于根据平均像素值、像素灰度值和拐点参数对匹配的光场图像数据和高清二维图像数据进行对比度调节；融合模块用于融合匹配的光场图像数据和高清二维图像数据，得到目标场景图像数据。

基于光学分幅光场相机的高分辨率光场系统的成像方法，包括以下步骤：

S1：主物镜采集原始场景图像并将成像光线变为平行光束；

S2：分光镜将平行光束分为反射光束和折射光束；

S3：微透镜阵列接收折射光束，将每一个微透镜所成的子图像投射到图像传感器上；

S4：图像传感器接收分光镜的反射光束和从微透镜阵列出射的多幅聚焦光线，分别对应转换成高清二维图像数据和具有方向维度和位置维度的四维光场图像数据，并发送到控制器；

S5：控制器接收图像传感器发送的高清二维图像数据和四维光场图像数据，进行提高空间分辨率和角度分辨率的处理，并将得到的目标场景图像数据发送到显示屏；

S6：显示屏接收控制器发送的目标场景图像数据并转换成图像显示给用户。

进一步的，所述的步骤S5中，具体步骤为：

S51：控制器的分区模块删除收到的高清二维图像数据中遮挡物的区间光场信息，得到目标场景的位置维度和方向维度信息，并输出空白场景图像数据；

S52：控制器的切片模块根据傅立叶切片定理，将收到的四维光场图像数据转换为若干帧二维切片数据；

S53：控制器的角度校正模块根据带位置和方向信息的空白场景图像数据测定和矫正接收到的高清二维图像数据的相位，同时提取一帧二维切片数据重建为光场图像数据，并设置用于判断光场图像数据是否与高清二维图像数据匹配的阈值；

S54：控制器的判断模块对光场图像数据和高清二维图像数据进行二值化处理，并根据阈值判断光场图像数据与高清二维图像数据是否匹配；

S55：控制器的对比度调节模块根据平均像素值、像素灰度值和拐点参数对匹配的光场图像数据和高清二维图像数据进行对比度调节；

S56：控制器的融合模块将调节对比度后的光场图像数据和高清二维图像数据融合，得到目标场景图像数据。

进一步的，所述的步骤S53中，测定和矫正接收到的高清二维图像数据的相位的具体步骤为：

S531：测量分光镜的安装参数和物理参数：

S532：矫正接收到的高清二维平面图像数据的相位。

进一步的，所述的步骤S531中，具体步骤为：

S5311：测量原始场景图像通过分光镜折射形成的高清二维图像，得到分光镜的相位指数；

S5312：测量分光镜的反射率和透射比，并计算光场图像数据和高清二维图像数据的比例。

进一步的，所述的步骤S53中，重建光场图像数据，并设置用于判断光场图像数据是否与高清二维图像数据匹配的阈值的具体步骤为：

S533：计算空白场景图像数据的中心点坐标：

S534：通过数字重聚焦将一帧二维切片重建为光场图像数据。

进一步的，所述的步骤S533中，具体步骤为：

S5331：计算空白场景图像数据的光线方向与主物镜平面的夹角；

S5332：计算空白场景图像数据的中心点坐标；

S5333：重复步骤S5331直至空白场景图像数据的中心点坐标的误差趋近于无。

进一步的，所述的步骤S534中，具体步骤为：

S5341：根据步骤S533得到的白图像的中心点坐标计算微透镜阵列的子孔径形成的子图像的灰度值；

S5342：根据子图像的灰度值计算每个子孔径的合成孔径图像中的遮挡物在主物镜平面和图像传感器平面的光辐射量；

S5343：通过入瞳光线数值积分近似计算比例因子，判断是否采用该比例因子识别遮挡物：若是则执行下一步骤；若否则返回步骤S51；

S5344：通过采用比例因子的光瞳函数对遮挡物进行区域划分，判断遮挡物与目标场景的灰度值是否可区分，若区分度很低则返回步骤S533；若对遮挡物和场景的灰度值可以顺利区分，则执行下一步骤。

进一步的，采用如下步骤替代步骤S5344：通过对图像的灰度设定合适的阈值识别遮挡物，若识别结果出现大片模糊区域，则返回步骤S51；若识别结果符合要求则进行下一步处理。

本发明的有益效果为：

1.本发明的基于光学分幅光场相机的高分辨率光场系统和成像方法通过获取多幅成像像素分配、在焦点同时叠加多维度像素，减弱了成像过程中的混叠离焦程度，提升了切片图像分辨率，在保证光场采样稳定易操作的前提下，提高了目标图像的图像质量和系统的可靠性，满足了图像的清晰度要求。

2.本发明通过对目标场景进行光学分幅，从而提高了图像的信噪比和图像清晰度；本发明的微透镜阵列系统提高了图像的角分辨率，降低了图像中的噪声；本发明采用的合成孔径技术提升了图像的光通量，便于提取遮挡物即目标物体的细节信息。

3.本发明对光场图像进行去遮挡处理得到了更加完整清晰的目标物体图像；该系统在医学检测信息化、展现形式精准化、航空标定识别、测速数字化改造、液晶娱乐体验代入感等领域具有广泛的应用前景。

附图说明

图1是本发明实施例的功能结构示意图。

图2是本发明实施例的功能框图。

图3是本发明实施例的流程图。

图4是本发明实施例的屏角度校准示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1，本发明的实施例提供了一种基于分幅光场相机的高分辨率光场系统，包括主物镜、半透半反棱镜、微透镜阵列、图像传感器、控制器和LCD(Liquid CrystalDisplay，液晶显示器)屏；

光路上依次设置有主物镜、半透半反棱镜微、微透镜阵列和图像传感器；

主物镜用于采集原始场景图像并将成像光线变为平行光束；

半透半反棱镜具有高精度显示性和光的连续不断性，用于将平行光束分为反射光束和折射光束，使反射光束和折射光束分别进入不同的成像通道达到分幅成像的目的；

微透镜阵列的分辨率高，本发明在传统的镜头、CCD(charge coupled device，电荷耦合器件)相机等基于传统多组镜头组合成的镜头前加装微透镜阵列，用于接收折射光束，将每一个微透镜所成的子图像投射到图像传感器上；

图像传感器用于接收从半透半反棱镜出射的反射光束和从微透镜阵列出射的多幅聚焦光线，并分别对应转换成高清二维图像数据和具有方向维度和位置维度的四维光场图像数据，通过USB数据线传送到控制器；

控制器的信号接收端与图像传感器的信号发送端连接，用于接收图像传感器发送的高清二维图像数据和四维光场图像数据，并进行提高空间分辨率和角度分辨率的处理得到目标场景图像数据，并发送到LCD屏；

LCD屏的信号接收端与控制器的信号发送端连接，用于接收控制器发送的目标场景图像数据并转换成图像显示给用户。

图像传感器输出到控制器的四维光场图像为数字对焦目标场景。控制器识别、提取数字对焦遮挡物的方式为：在满足半透半反棱镜矫正畸变的情况下对数字对焦目标场景进行初次采样，提取一帧原始图片；对原始图像进行二值化处理得到的图像进行阈值分析，选取临界值，判定原始图片和二维图像是否匹配，若匹配则调节对比度后融合光场数据和高清二维图像数据得到目标场景图像数据。

其中，控制器包括分区模块、切片模块、角度校准模块、判断模块、对比度调节模块和融合模块，分区模块和切片模块的信号输出端分别连接角度校准模块的信号输入端，角度校准模块、判断模块、对比度调节模块和融合模块按信号流向依次连接；

分区模块用于删除遮挡物的区间光场信息得到合理的目标场景的位置维度和方向维度信息，并输出空白场景图像即白图像；通过获取白图像保证本发明在正常运行的前提下采用光场相机和微透镜阵列对镜头进行必要的数据采集、畸变检查和数字化矫正处理。

切片模块根据傅立叶切片定理，用于将四维光场信息转换为若干帧二维切片；

角度校准模块用于根据白图像测定和矫正接收到的高清二维平面图像信息，同时将接收到的二维切片重建、显示为光场图像，并设置阈值对其进行数据分析；

判断模块用于对光场图像和高清二维图像进行二值化处理，通过得到的二值化图片判断二维切片和二维图像是否匹配；

对比度调节模块用于根据平均像素值、像素灰度值和拐点参数对数字重聚焦重建后的光场图像和高清二维图像进行对比度调节；

融合模块用于将经过角度校准得到的高清二维图像和数字重聚焦重建后的光场图像进行融合，显示最终的目标场景图像。

参见图2，本发明的控制器的各模块在WIN10环境下基于MATLAB运行。通过光场相机和传感器A不断获取原始场景图像的四维光场图像和高清二维图像，同时监听响应变量的值，从而做出“聚焦目标场景”、“矫正相位”、“调节对比度”、“融合处理后的图片”和“保存融合后的图片”的判断。

基于分幅光场相机的高分辨率光场系统的分辨率提升方法，包括以下步骤：

S1：通过主物镜采集原始场景图像，从主物镜出射的平行光束通过半透半反棱镜分光，折射光束直接进入图像传感器转换为高清二维图像数据；反射光束通过微透镜阵列分幅聚焦为若干个子图像，进入图像传感器转换为具有方向维度和位置维度的四维光场图像数据；图像传感器将高清二维图像数据和四维光场图像数据发送给控制器。

S2：对原始场景图像去遮挡获取白图像，设置在整个光场成像系统启动前，用于充当本光场成像系统的物理通检：

S21：基于微透镜阵列的光场相机对静态空白场景进行初次捕捉，获取原始白图像；

S22：当前遮挡物去除完成之后，判断是否继续运行；若是，则返回步骤S21，从原始场景图像中提取下一个需要去除遮挡物的初始图像；若否，则执行下一步骤。

S3：计算白图像的中心点坐标：

S31：计算白图像中光线与主物镜平面的夹角；

S32：计算白图像的中心点坐标；

S33：重复步骤S31直至白图像的中心点坐标的误差趋近于无。

S4：通过数字重聚焦获取光场成像图像，通过微透镜阵列和合成孔径技术采集具有方向维度和位置维度的四维光场图像数据：

S41：以步骤S3得到的白图像的中心点坐标作为参数，计算微透镜阵列的子孔径形成的子图像灰度值；

S42：根据子图像灰度值计算遮挡物在每个子孔径的合成孔径图像在主物镜平面和图像传感器平面的光辐射量；

S43：通过入瞳光线数值积分近似计算比例因子；

S44：判断能否识别遮挡物，若能，则进行下一步处理；若不能，则返回步骤S2：通过采用比例因子的光瞳函数对遮挡物进行区域划分，判断遮挡物与目标场景的灰度值是否可区分，若区分度很低则返回步骤S3；若对遮挡物和场景的灰度值可以顺利区分，则执行下一步骤。

针对步骤S44更进一步的方案是，通过对图像的灰度设定合适的阈值识别遮挡物信息，若识别结果出现大片模糊区域，则返回步骤S2；若识别结果符合要求则进行下一步处理。

S5：测量半透半反棱镜的安装参数和物理参数：

S51：测量半透半反棱镜的相位，在计算白图像中心点坐标的同时，通过测量采集半透半反棱镜的物理数据：通过摄像头透过半透半反棱镜形成的高清二维初始图像，得到半透半反棱镜的相位指数；

S52：测量半透半反棱镜的反射率和透射比，用于计算光场图像数据和高清二维图像的比例，并根据半透半反棱镜的物理数据对LCD屏进行配准，为结果图的参考质量评价设定基础。

S6：LCD屏角度校准，用于测定和矫正接收到的高清二维平面图像，同时对光场图像进行重建、显示，并对其进行数据分析和阈值设置。

S7：调节光场图像和高清二维图像的对比度，利用平均像素值、像素灰度值和拐点参数对数字重聚焦重建后的光场图像和高清二维图像进行对比度调节。

S8：融合光场信号与高清二维图像到响应终端，将经过角度校准得到的高清二维图像和数字重聚焦重建后的光场图像进行融合，显示最终的目标场景图像。

S9：LCD屏接收控制器发送的经过提高空间分辨率和角度分辨率的处理得到目标场景图像数据，转换成图像显示给用户。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.基于光学分幅光场相机的高分辨率光场系统，其特征在于：包括依次设置在光路上的主物镜、分光镜、微透镜阵列和图像传感器，还包括控制器和显示屏；

主物镜用于采集原始场景图像并将成像光线变为平行光束；

分光镜用于将平行光束分为反射光束和折射光束，使反射光束和折射光束分别进入不同的成像通道达到分幅成像的目的；

微透镜阵列用于接收折射光束，将每一个微透镜所成的子图像投射到图像传感器上；

图像传感器用于接收分光镜的反射光束和从微透镜阵列出射的多幅聚焦光线，分别对应转换成高清二维图像数据和具有方向维度和位置维度的四维光场图像数据，并发送到控制器；

控制器的信号接收端与图像传感器的信号发送端连接，用于接收图像传感器发送的高清二维图像数据和四维光场图像数据，进行提高空间分辨率和角度分辨率的处理，并将得到的目标场景图像数据发送到显示屏；

显示屏的信号接收端与控制器的信号发送端连接，用于接收控制器发送的目标场景图像数据并转换成图像显示给用户。

2.根据权利要求1所述的基于光学分幅光场相机的高分辨率光场系统，其特征在于：控制器包括分区模块、切片模块、角度校准模块、判断模块、对比度调节模块和融合模块；分区模块和切片模块的信号输出端分别连接角度校准模块的信号输入端，角度校准模块、判断模块、对比度调节模块和融合模块按信号流向依次连接；

分区模块用于删除收到的高清二维图像数据中遮挡物的区间光场信息，得到目标场景的位置维度和方向维度信息，并输出空白场景图像数据；

切片模块用于根据傅立叶切片定理，将收到的四维光场图像数据转换为若干帧二维切片数据；

角度校准模块用于根据带位置和方向信息的空白场景图像数据测定和矫正接收到的高清二维图像数据的相位，同时提取一帧二维切片数据重建为光场图像数据，并设置用于判断光场图像数据是否与高清二维图像数据匹配的阈值；

判断模块用于对光场图像数据和高清二维图像数据进行二值化处理，并根据阈值判断光场图像数据与高清二维图像数据是否匹配；

对比度调节模块用于根据平均像素值、像素灰度值和拐点参数对匹配的光场图像数据和高清二维图像数据进行对比度调节；

融合模块用于融合匹配的光场图像数据和高清二维图像数据，得到目标场景图像数据。

3.基于权利要求1或2中所述的基于光学分幅光场相机的高分辨率光场系统的成像方法，其特征在于：包括以下步骤：

S1：主物镜采集原始场景图像并将成像光线变为平行光束；

S2：分光镜将平行光束分为反射光束和折射光束；

S3：微透镜阵列接收折射光束，将每一个微透镜所成的子图像投射到图像传感器上；

S4：图像传感器接收分光镜的反射光束和从微透镜阵列出射的多幅聚焦光线，分别对应转换成高清二维图像数据和具有方向维度和位置维度的四维光场图像数据，并发送到控制器；

S5：控制器接收图像传感器发送的高清二维图像数据和四维光场图像数据，进行提高空间分辨率和角度分辨率的处理，并将得到的目标场景图像数据发送到显示屏；

S6：显示屏接收控制器发送的目标场景图像数据并转换成图像显示给用户。

4.根据权利要求3所述的成像方法，其特征在于：所述的步骤S5中，具体步骤为：

S51：控制器的分区模块删除收到的高清二维图像数据中遮挡物的区间光场信息，得到目标场景的位置维度和方向维度信息，并输出空白场景图像数据；

S52：控制器的切片模块根据傅立叶切片定理，将收到的四维光场图像数据转换为若干帧二维切片数据；

S53：控制器的角度校正模块根据带位置和方向信息的空白场景图像数据测定和矫正接收到的高清二维图像数据的相位，同时提取一帧二维切片数据重建为光场图像数据，并设置用于判断光场图像数据是否与高清二维图像数据匹配的阈值；

S54：控制器的判断模块对光场图像数据和高清二维图像数据进行二值化处理，并根据阈值判断光场图像数据与高清二维图像数据是否匹配；

S55：控制器的对比度调节模块根据平均像素值、像素灰度值和拐点参数对匹配的光场图像数据和高清二维图像数据进行对比度调节；

S56：控制器的融合模块将调节对比度后的光场图像数据和高清二维图像数据融合，得到目标场景图像数据。

5.根据权利要求4所述的成像方法，其特征在于：所述的步骤S53中，测定和矫正接收到的高清二维图像数据的相位的具体步骤为：

S531：测量分光镜的安装参数和物理参数：

S532：矫正接收到的高清二维平面图像数据的相位。

6.根据权利要求5所述的成像方法，其特征在于：所述的步骤S531中，具体步骤为：

S5311：测量原始场景图像通过分光镜折射形成的高清二维图像，得到分光镜的相位指数；

S5312：测量分光镜的反射率和透射比，并计算光场图像数据和高清二维图像数据的比例。

7.根据权利要求4所述的成像方法，其特征在于：所述的步骤S53中，重建光场图像数据，并设置用于判断光场图像数据是否与高清二维图像数据匹配的阈值的具体步骤为：

S533：计算空白场景图像数据的中心点坐标：

S534：通过数字重聚焦将一帧二维切片重建为光场图像数据。

8.根据权利要求7所述的成像方法，其特征在于：所述的步骤S533中，具体步骤为：

S5331：计算空白场景图像数据的光线方向与主物镜平面的夹角；

S5332：计算空白场景图像数据的中心点坐标；

S5333：重复步骤S5331直至空白场景图像数据的中心点坐标的误差趋近于无。

9.根据权利要求7所述的成像方法，其特征在于：所述的步骤S534中，具体步骤为：

S5341：根据步骤S533得到的白图像的中心点坐标计算微透镜阵列的子孔径形成的子图像的灰度值；

S5342：根据子图像的灰度值计算每个子孔径的合成孔径图像中的遮挡物在主物镜平面和图像传感器平面的光辐射量；

S5343：通过入瞳光线数值积分近似计算比例因子，判断是否采用该比例因子识别遮挡物：若是则执行下一步骤；若否则返回步骤S51；

S5344：通过采用比例因子的光瞳函数对遮挡物进行区域划分，判断遮挡物与目标场景的灰度值是否可区分，若区分度很低则返回步骤S533；若对遮挡物和场景的灰度值可以顺利区分，则执行下一步骤。

10.根据权利要求9所述的成像方法，其特征在于：采用如下步骤替代步骤S5344：通过对图像的灰度设定阈值识别遮挡物，若识别结果出现大片模糊区域，则返回步骤S51；若识别结果符合要求则进行下一步处理。

Images