CN103019021B - 一种3d光场相机及其拍摄图像的处理方法 - Google Patents

Abstract

本发明属于显示技术领域，涉及3D光场相机以及其拍摄图像的处理方法。本发明提供的一种3D光场相机，包括用于记录图像信息的CCD图像传感器，用于将外部射进的光线分离并聚焦于所述CCD图像传感器上，所述CCD图像传感器和所述柱状透镜阵列相互平行设置，所述柱状透镜阵列由若干并排设置的柱状透镜构成，所述CCD图像传感器与所述柱状透镜阵列之间的间距等于所述柱状透镜阵列的焦距。本发明的光场相机通过在CCD图像传感器前放置一柱状透镜阵列，使相机能够提取到多幅视差图，通过对视差图的分辨率提高，再经将视差图逆序排列和移动视差图的方法，以获取三维场景的出屏和入屏的效果，具有设备结构简单，所获取的图像分辨率高，同时具备出屏和入屏的技术效果。

Description

一种3D光场相机及其拍摄图像的处理方法

技术领域

本发明属于摄像技术领域，尤其涉及3D光场相机以及其拍摄图像的处理方法。

背景技术

光场相机源于集成成像技术，集成成像技术最早由Lippmann提出，是一种利用透镜阵列来记录和再现3D场景的显示技术。光场相机一般是在CCD图像传感器前放置一透镜阵列，通过透镜阵列将三维场景不同方向的信息在焦平面上进行记录。光场相机的用途有两个：一、能满足先拍摄后调焦，即拍摄时不需要对焦；二、能记录三维场景的信息。

基于透镜阵列的光场相机用于拍摄三维场景时，图像分辨率被大大地降低，因为它通过损失分辨率来记录物体光线的方向信息，同时，这种方法获取的图像和再现的图像存在深度反转的问题。虽然采用两步记录法可以解决深度反转问题，但是整个处理系统相对庞大，成本提高，图像分辨率和质量也被大幅度地降低。另外，采用旋转处理图像的方法也可解决深度反转问题，但是重现的图像只能处于显示面的后方，无法产生出屏的三维效果。

发明内容

本发明的目的在于提供一种3D光场相机以及其拍摄图像的处理方法，旨在解决现有光场相机在记录三维场景时存在的深度反转问题，以及重现时无法正确出屏的不足。

一种3D光场相机，包括用于记录图像信息的CCD图像传感器，用于将外部射进的光线分离并聚焦于所述CCD图像传感器上的柱状透镜阵列，所述CCD图像传感器和所述柱状透镜阵列相互平行设置，所述柱状透镜阵列由若干并排设置的柱状透镜构成，所述CCD图像传感器与所述柱状透镜阵列之间的间距等于所述柱状透镜的焦距。

优选的所述柱状透镜阵列由竖直设置的柱状透镜组成。

优选的所述CCD图像传感器与所述柱状透镜阵列之间夹设有垫片，所述垫片的厚度等于所述柱状透镜的焦距。

优选的所述CCD图像传感器与所述柱状透镜阵列之间夹设有透光基板，所述透光基板的厚度等于所述柱状透镜的焦距。

优选的所述柱状透镜阵列的柱状透镜的个数等于CCD图像传感器横向像素总数除以所需视差图数目。

一种3D光场相机拍摄图像的处理方法，包括以下步骤：

A1分别依次提取每个单元相同位置CCD像素列的图像信息组合成多幅视差图,并按照提取顺序将多幅视差图编号；

A2将所述的多幅视差图根据所述的视差图的编号逆序拼接为多路视差显示的图像；

优选的步骤A2后还包括步骤：

A3根据所需调节的景深分别计算各幅视差图的移动方向和移动的像素。

A4根据所述A3计算得到的各幅视差图的移动方向和移动的像素移动各幅视差图。

优选的步骤A1与步骤A2之间还包括步骤：提高各幅视差图的分辨率。

优选的所述提高各幅视差图的分辨率的步骤为采用插值方法提高所述视差图的分辨率。

相较于现有技术，本发明的光场相机通过在CCD图像传感器前放置一柱状透镜阵列，使相机能够提取到多幅视差图，进一步通过对视差图的分辨率提高，后再经将视差图逆序排列和移动视差图的方法，以获取三维场景的出屏和入屏的效果。其具有设备结构简单，所获取的图像分辨率高，同时具备出屏和入屏的技术效果。

附图说明

图1是本发明提供的一种3D光场相机第一实施例的结构示意图；

图2是本发明提供的一种3D光场相机第二实施例的结构示意图；

图3是本发明提供的一种3D光场相机拍摄图像的处理方法提供的流程图；

图4是本发明提供的一种3D光场相机拍摄图像的处理方法中视差图提取的示意原理图；

图5是深度反转原理在拍摄时的示意图；

图6是深度反转原理在调整前的示意图；

图7是深度反转原理在调整后的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

第一实施例

下面以一种3D光场相机为例对本发明的实现进行详细描述。

请参照附图1，一种3D光场相机，包括相互平行设置的CCD图像传感器1和柱状透镜阵列2，所述柱状透镜阵列2由若干并排设置的柱状透镜21构成，所述CCD图像传感器1与所述柱状透镜阵列2之间的间距等于所述柱状透镜21的焦距。其中，所述CCD图像传感器1用于记录图像信息，其上布满CCD像素点；所述柱状透镜阵列2用于将外部射进的光线分离并聚焦于所述CCD图像传感器上并形成互相穿插排列的多幅视差图，由于所述CCD图像传感器1与所述柱状透镜阵列2之间的间距等于所述柱状透镜的焦距，因此所述柱状透镜阵列2可使多幅视差图相互穿插成像于CCD图像传感器1上的CCD像素点上。应当说明的是所述柱状透镜阵列2的柱状透镜21的个数依据CCD图像传感器1横向像素总数除以所需视差图数目而定。一般来说，采用8幅视差图。因此，为获取8幅视差图，所述柱状透镜阵列2需要包括的柱状透镜21的个数为：CCD图像传感器1横向像素总数除以8；每个柱状透镜21所对应的CCD像素点为一个单元。若考虑到对准或者边缘误差的问题，可选用9幅视差图，或者更多。相较于现有技术，本发明的光场相机具备结构简单，成本可控的特点。按照常规的设计习惯，本发明的光场相机的柱状透镜阵列2呈竖直设置，当然所述柱状透镜阵列2亦可以呈横向设置。

请参照附图1，在实施例中，所述CCD图像传感器1与所述柱状透镜阵列2之间夹设有垫片3，所述垫片3的厚度等于所述柱状透镜21的焦距。如此，可保证CCD图像传感器1与所述柱状透镜阵列2之间的间距等于所述柱状透镜21的焦距，如此可使外部的光线通过所述柱状透镜阵列后在所述CCD图像传感器上成像以形成相互穿插排列的多幅视差图。

第二实施例

如图2所示，本实施例与第一实施例的区别在于，所述CCD图像传感器1与所述柱状透镜阵列2之间使用透光基板4替换实施例1中的垫片3。所述透光基板4的厚度等于所述柱状透镜21的焦距。如此可使外部的光线通过所述柱状透镜阵列后在所述CCD图像传感器上成像以形成相互穿插排列的多幅视差图。

本发明还提供一种如实施例1或实施例2的3D光场相机拍摄图像的处理方法，包括以下步骤：

S1分别依次提取每个单元相同位置CCD像素列的图像信息组合成多幅视差图,并按照提取顺序将多幅视差图编号；

请参照附图4，以所述柱状透镜阵列2上每一柱状透镜21所对应的CCD像素点为一个单元，在拍摄过程中，每一单元中相同位置的CCD像素列捕获的图像信息来自于外部空间的同一组平行光，所以提取各个单元相同位置CCD像素列的图像信息组合可形成一幅视差图。

S1分别依次提取每个单元相同位置CCD像素列的图像信息组合成多幅视差图，具体为：提取所有单元的第一列像素点，根据所提取单元的顺序并排排列组合为第一视差图。按照相同的方法，提取所有单元的第二列像素点，根据所提取单元的顺序并排排列组合为第二视差图。然后依次提取其余的像数列，组成视差图。直至，提取所有单元的最后一列像素点，根据所提取单元的顺序并排排列组合为最后一副视差图。

这里本实施例中还公开一个像素提取的对应公式：记CCD图像传感器1所获取的图像矩阵为I，则第i幅视差图的第(m，n)个像素为：I_i(m,n)=I((m-1)·p+i,n)，其中p为每一透镜单体所覆盖的CCD图像传感器像素点的个数，即每一单元像素点的个数，i为视差图的序号、m为视差矩阵图中每幅视差图中每一列中的序号、n为视差矩阵图中每幅视差图所在列中列序号。

S2提高各幅视差图的分辨率；由步骤S1所得到的多幅视差图在竖直方向上分辨率等于CCD图像传感器原来的分辨率，但是在水平方向上，分辨率变为原来的1/p，为了弥补这一损失，在本实施例中采用插值方法以提高其分辨率得到插值后的视差图。由于插值方法是一种常见的数据处理方式，photoshop等多款图像处理软件均可实现，在此不作详细叙述。

需要说明的是步骤S2为一可选步骤，步骤S1后也可直接执行步骤S3。

S3将插值后的多幅视差图根据视差图的编号逆序拼接为多路视差显示的图像。

步骤S3将插值后的多幅视差图根据视差图的编号逆序拼接为多路视差显示的图像。具体为：将最后一幅插值后的视差图的第一列作为多路视差显示图像的第一列，将倒数第二幅插值后的视差图的第一列作为多路视差显示图像的第二列，直至将第一幅插值后的视差图的第一列排入多路视差显示图像中；再将最后一幅插值后的视差图的第二列作为多路视差显示图像的下一列排入多路视差显示图像中，将倒数第二幅插值后的视差图的第二列排入再下一列多路视差显示图像中，按照相同的方法，直至将第一幅插值后的视差图的最后一列排入多路视差显示图像中。

S3将插值后的多幅视差图根据视差图的编号逆序拼接为多路视差显示的图像。解决了多路视差显示的图像产生深度反转的问题。

具体原理请参照附图5、图6和图7，图5为实施例1的3D光场相机拍摄时的状态，黑球与白球位于3D光场相机前方，且黑球相较于白球离3D光场相机更近。若将插值后的多幅视差图根据视差图的编号顺序拼接为多路视差显示的图像。根据光路可逆的原理在多路视差显示时会出现图6中的情况，黑球与白球成像于显示器前方，且黑球相较于白球离人眼更远。与人在拍摄时直接在3D光场相机处观察到的相对位置关系不符。若将插值后的多幅视差图根据视差图的编号逆序拼接为多路视差显示的图像。根据光路可逆的原理在多路视差显示时会出现图7中的情况，黑球与白球成像于显示器的后方，且黑球相较于白球离人眼更近。与人在拍摄时直接在3D光场相机处观察到的相对位置关系相同。解决了多路视差显示的图像产生深度反转的问题。

S4根据所需调节的景深分别计算各幅视差图的移动方向和移动的像素。

S4根据所需调节的景深分别计算各幅视差图的移动方向和移动的像素的具体方法为：

将欲使3D物体景深的调整距离Δz，显示端透镜与屏幕之间的距离P₀，每一透镜单体所覆盖的CCD图像传感器像素点的个数，即每一单元像素点的个数p代入下式：

$N\_i=(i-\frac{p+1}{2})\·\frac{\mathrm{\Δz}}{P_0}$

即得到第i幅视差图水平移动的像素数目N_i。

若N_i为负，则表示在同一单元中，该视差图位于左侧，该视差图为右眼所见的视差图，应进行左移动处理；反之，若计算结果为正则应进行向右移动处理。

S5根据S4计算得到的各幅视差图的移动方向和移动的像素移动各幅视差图。

步骤S3虽然解决了多路视差显示的图像产生深度反转的问题。但会带来加深景深的问题。即若将插值后的多幅视差图根据视差图的编号逆序拼接为多路视差显示时，其中的物体看上去会比拍摄时的实际距离更远。通过步骤S4、S5调整景深，以修正加深景深的问题。当然也可利用步骤S4、S5自由的调节景深以达到某些特殊效果，如实现显示物体的出屏和入屏。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种3D光场相机拍摄图像的处理方法，所述3D光场相机包括用于记录图像信息的CCD图像传感器，用于将外部射进的光线分离并聚焦于所述CCD图像传感器上的柱状透镜阵列，所述CCD图像传感器和所述柱状透镜阵列相互平行设置，所述柱状透镜阵列由若干并排设置的柱状透镜构成，所述CCD图像传感器与所述柱状透镜阵列之间的间距等于所述柱状透镜的焦距；所述处理方法包括以下步骤：

A1分别依次提取每个单元相同位置CCD像素列的图像信息组合成多幅视差图,并按照提取顺序将多幅视差图编号；

A2将所述的多幅视差图根据所述的视差图的编号逆序拼接为多路视差显示的图像；

所述步骤A2后还包括步骤：

A3根据所需调节的景深分别计算各幅视差图的移动方向和移动的像素；

A4根据所述A3计算得到的各幅视差图的移动方向和移动的像素移动各幅视差图。

2.根据权利要求1所述的处理方法，其特征在于：步骤A1与步骤A2之间还包括步骤：提高各幅视差图的分辨率。

3.根据权利要求2所述的处理方法，其特征在于：所述提高各幅视差图的分辨率的步骤为采用插值方法提高所述视差图的分辨率。