CN106027861A - 基于微相机阵列的光场采集装置及数据处理方法 - Google Patents

Abstract

本发明提供了一种基于微相机阵列的光场采集装置及数据处理方法，光学透镜阵列将光线聚焦在图像传感器阵列上；图像传感器阵列接收穿过透镜阵列的光线，在电路控制模块的控制下同时曝光采集图像；数据传输模块将采集到的图像数据传输到移动终端，由移动终端处理图像数据并显示图像。本发明能够提高光场成像设备的空间分辨率低，减小光场成像设备的体积，能够获取场景深度，数据处理灵活性更强。

Description

基于微相机阵列的光场采集装置及数据处理方法

技术领域

本发明涉及计算机视觉、计算摄像学、光学工程和嵌入式系统领域，具体涉及到微相机阵列的光学系统设计和电路系统设计，以及光场数据的处理方法。

背景技术

光场成像理论是计算摄像学领域的研究热点，具有先拍照后对焦、景深扩展可调、获取多视点图像、获取场景深度等优势。据此国内外研究机构设计了多种各具特色的光场成像系统，如相机阵列、多孔径/编码孔径相机、基于微透镜阵列的光场相机、光场显微镜等，并在工业、监测、医疗等领域得到初步发展。

近年来使用移动设备拍照越来越广泛，但光场成像设备在移动端还没有应用。一方面，基于微透镜阵列的光场相机在空间分辨率和角度分辨率上存在折衷，为获得更高角度分辨率，往往需要牺牲空间分辨率，比如光场相机Lytro配置了1100万像素的传感器，但生成的光场图像空间分辨率只有约13万像素，所以基于微透镜阵列的光场相机不能满足用户对图像空间分辨率的需求；另一方面，目前的光场成像设备体积较大，比如光场相机Lytro镜头直径约50mm，厚度约100mm，光场相机Raytrix的尺寸接近单反相机，现有的相机阵列虽能获取高空间分辨率和角度分辨率的图像，但体积庞大且控制系统复杂。因此，目前的光场成像设备不能作为移动设备的拍照工具。

发明内容

为了克服现有技术的不足，本发明提供一种面向移动设备的微相机阵列光场采集装置和光场数据处理方法，能够提高光场成像设备的空间分辨率低，减小光场成像设备的体积。

本发明解决其技术问题所采用的技术方案是：一种基于微相机阵列的光场采集装置，包括电路控制模块、光学透镜阵列、图像传感器阵列、数据传输模块和移动终端，所述的光学透镜阵列将光线聚焦在图像传感器阵列上；图像传感器阵列接收穿过透镜阵列的光线，在电路控制模块的控制下同时曝光采集图像；所述的数据传输模块将采集到的图像数据传输到移动终端，由移动终端处理图像数据并显示图像。

作为本发明的优选方案之一，所述的基于微相机阵列的光场采集装置采用相机支架安装光学透镜阵列，所述的光学透镜阵列包括至少两个光学透镜组件，各个光学透镜组件的聚焦平面位于同一平面；采用印制电路板安装图像传感器阵列，每个图像传感器对应一个光学透镜组件，每个光学透镜组件的光轴垂直于对应的图像传感器所在平面并穿过图像传感器成像区域的中心；所述的光学透镜阵列所在平面和图像传感器阵列所在平面保持平行；穿过单个光学透镜组件的光线和穿过其他相邻光学透镜组件的光线在到达图像传感器之前不相交；相邻图像传感器捕获的场景具有重叠区域。

作为本发明的优选方案之一，所述的基于微相机阵列的光场采集装置外置于移动设备，FPGA根据图像传感器时序，将图像传感器曝光信息缓存至SDRAM中；当数据采集完成时，移动终端控制FPGA将图像数据从SDRAM中取出，输出至移动终端。

作为本发明的优选方案之一，所述的基于微相机阵列的光场采集装置嵌入移动设备，ASIC在每个时钟周期采集各个图像传感器的数据，并利用时分的方式将数据重新打包，输出到移动设备的数据接口。

本发明还提出一种光场数据的处理方法，包括以下步骤：

步骤1，以每个图像传感器平面为XOY面，沿光轴朝向场景的方向为Z轴，构成每个图像传感器的坐标系；根据每个图像传感器采集的图像和主透镜光心坐标，在每个图像传感器的坐标系下表示出光线信息l(x,y,z,r_x,r_y,r_z)，(x,y,z)表示l上任意一点在XYZ下的坐标，[r_x,r_y,r_z]^T表示l的方向向量；

步骤2，任意选取一个图像传感器作为参考图像传感器，计算参考图像传感器坐标系和其他图像传感器坐标系之间的旋转平移矩阵；假设参考图像传感器坐标系为XYZ，另一图像传感器坐标系为X'Y'Z'，坐标系XYZ转换到X'Y'Z'的旋转矩阵为R，平移矩阵为T；

步骤3，将其他图像传感器采集到的光线转换到参考图像传感器坐标系下；在X'Y'Z'坐标系上任意一条直线表示为l'(x',y',z',r_x',r_y',r_z')，直线l'转换到XYZ坐标系下的坐标表示为l(x,y,z,r_x,r_y,r_z)，则有假设l'上有两点A'(x_a',y_a',z_a')和B'(x_b',y_b',z_b')，转换到l上为两点A(x_a,y_a,z_a)和B(x_b,y_b,z_b)，l'的直线方程为XYZ坐标系上直线和X₁Y₁Z₁上直线的转换关系为

步骤4，将参考相机坐标系下的光线信息表示为双平面下的光场数据L(u,v,s,t)，即用光线l(x,y,z,r_x,r_y,r_z)与双平面u-v和s-t上的交点表示光线。其中，u-v平面表示图像传感器阵列所在平面，s-t平面表示穿过参考图像传感器主透镜光心并平行于u-v平面的平面。

本发明的有益效果是：相比现有的光场成像设备，本发明具有空间分辨率更高、体积更小的优势；相比现有的移动设备拍照装置，本发明实现光场数据采集，能够获取场景深度，数据处理灵活性更强。

另外，本发明提供的光场数据的处理方法，为计算场景深度，实现三维重建提供基础。

附图说明

图1是模组化微相机阵列整体结构侧视图；

图2是芯片化微相机阵列整体结构爆炸视图；

图3是微相机阵列透镜俯视图；

图4是微相机阵列透镜侧视图；

图5是模组化的采集电路结构设计图；

图6是芯片化的采集电路结构设计图；

图7是微相机阵列在移动设备上的安装示意图；

图8是微相机坐标系之间的转换关系图；

图9是光场数据双平面表示示意图；

其中，101-相机阵列支架，102-光学透镜，103-PCB板，104-图像传感器，105-缓存SDRAM，106-主控FPGA，107-电源芯片，108-后保护盖，201-ASIC设计的控制电路，202-引出排线，203-电路接口。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明研究两种微相机阵列光场采集装置，一种外置于移动设备，另一种嵌入移动设备。

面向移动设备的微相机阵列光场采集装置包括：

电路控制模块，用于控制微相机阵列同时曝光采集图像；光学透镜阵列，用于将光线聚焦在图像传感器上；图像传感器阵列，用于记录穿过透镜阵列的光线；数据传输模块，用于将图像数据传输到移动设备；移动终端，用于处理图像数据并显示图像。面向移动设备的微相机阵列光场采集装置包括两种类型：一种是模组化的微相机阵列光场采集装置，用于外置于移动设备；另一种是芯片化的微相机阵列光场采集装置，用于嵌入移动设备。

本发明提出的模组化的微相机阵列设计包括光学系统设计和电路设计。

所述的光学系统设计，设计内容如下：

(1)光学系统设计的整体结构包括：一个呈凹形的相机支架，其上镶嵌大于等于2个相机的透镜组件；一块印制电路板(Printed Circuit Board,PCB)，焊接有多块图像传感器，每个图像传感器对应一个相机的透镜组件。PCB和相机支架凸出的四周边缘连接在一起，且PCB所在平面和相机支架平面部分所在平面保持平行。

(2)在呈凹形的相机支架的平面部分镂空大于等于2个圆孔，圆孔部分嵌入相机的透镜组件。圆孔大小可相同，也可不同，且圆孔位置可呈不规则排布或矩阵排布。圆孔之间的中心距和相机支架的高度需要满足条件：对于单个透镜来说，穿过单个透镜的光线和穿过其他相邻透镜的光线在到达传感器之前不相交。圆孔之间中心距和透镜组件的选取需满足：相邻微相机捕获的场景具有重叠区域。另外，每个圆孔所嵌入的透镜组件的聚焦平面位于同一平面。

(3)在PCB上对应圆孔的位置焊接图像传感器，每个光学透镜组件对应一块传感器，保证每个光学透镜组件的光轴垂直于对应的传感器所在平面并穿过传感器成像区域的中心。

所述的电路设计，以现场可编程门阵列(Field-Programmable Gate Array,FPGA)作为主控，搭配第三代高速双倍速率同步动态随机存储器(Double Data Rate SynchronousDynamic Random Access Memory,DDR SDRAM)DDRIII SDRAM作为采集数据的缓冲区，FPGA根据传感器时序，将传感器曝光信息缓存至SDRAM中。当数据采集完成时，手机、平板电脑等移动设备通过安装应用控制微相机阵列拍照，拍照结束后应用程序控制数据采集电路，控制FPGA将数据从SDRAM中取出，通过配备的通用串行总线(Universal Serial Bus,USB)接口输出至外部移动设备。

另外，本发明提出的芯片化的微相机阵列光场采集装置包括光学系统设计和芯片电路设计。

其中，光学系统设计和模组化的微相机阵列的光学系统设计相同。芯片电路使用专用集成电路(Application Specific Integrated Circuit,ASIC)设计的主控芯片，在每个时钟周期采集多个相机的数据，并利用时分的方式将数据重新打包，输出到与等效像素传感器芯片兼容的数据接口。从而原有设备可以在不改变电路设计的情况下，仅通过改写原有相机的驱动程序即可兼容新型相机芯片。

除了光场数据采集装置，本发明还提出一种光场数据的处理方法，包括以下步骤：

步骤1，以每台相机传感器平面为XOY面，沿光轴朝向场景的方向为Z轴，构成每个相机的坐标系。根据每个相机采集的图像和主透镜光心坐标，在每个相机的坐标系下表示出光线信息l(x,y,z,r_x,r_y,r_z)，(x,y,z)表示l上任意一点在XYZ下的坐标，[r_x,r_y,r_z]^T表示l的方向向量。

步骤2，选取一台微相机作为参考相机，计算参考相机坐标系和其他相机坐标系之间的旋转平移矩阵。假设参考相机坐标系为XYZ，另一相机坐标系为X'Y'Z'，坐标系XYZ转换到X'Y'Z'的旋转矩阵为R，平移矩阵为T。

步骤3，将其他相机采集到的光线转换到参考相机坐标系下。在X'Y'Z'坐标系上任意一条直线表示为l'(x',y',z',r_x',r_y',r_z')，直线l'转换到XYZ坐标系下的坐标表示为l(x,y,z,r_x,r_y,r_z)。则有

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=R^{-1}(\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]-T)---(1-1)$

假设l'上有两点A'(x_a',y_a',z_a')和B'(x_b',y_b',z_b')，转换到l上为两点A(x_a,y_a,z_a)和B(x_b,y_b,z_b)，l'的直线方程为

$\frac{x^{\′}-{x_b}^{\′}}{{x_a}^{\′}-{x_b}^{\′}}=\frac{y^{\′}-{y_b}^{\′}}{{y_a}^{\′}-{y_b}^{\′}}=\frac{y^{\′}-{y_b}^{\′}}{{y_a}^{\′}-{y_b}^{\′}}=\mathrm{\λ}---(1-2)$

l和l'的方向向量分别为

[r_x,r_y,r_z]^T＝(x_a-x_a,y_a-y_b,z_a-z_b)

[r_x',r_y',r_z']^T＝(x_a'-x_a',y_a'-y_b',z_a'-z_b') (1-3)

那么直线方向向量之间的变换关系

[r_x,r_y,r_z]^T＝R^-1[r_x',r_y',r_z']^T (1-4)

由此，结合式(1-1)(1-2)和(1-4)，可求出l'上一点(x',y',z')转换到l上(x,y,z)的公式

[x,y,z]^T＝λR^-1[r_x',r_y',r_z']^T+R^-1([x',y',z']^T-T) (1-5)

因此XYZ坐标系上直线和X₁Y₁Z₁上直线的转换关系为

$l\left[\begin{array}{c}x\\ y\\ z\\ r_x\\ r_y\\ r_z\end{array}\right]=\left[\begin{array}{cc}{R}^{-1}& {\mathrm{\λR}}^{-1}\\ 0& R^{-1}\end{array}\right]\left(l^{\′}\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ {r_x}^{\′}\\ {r_y}^{\′}\\ {r_z}^{\′}\end{array}\right]-\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\\ 0\\ 0\\ 0\end{array}\right]\right)---(1-6)$

步骤4，将参考相机坐标系下的光线信息表示为双平面下的光场数据L(u,v,s,t)，即用光线l(x,y,z,r_x,r_y,r_z)与双平面u-v和s-t上的交点表示光线。其中，u-v平面和s-t平面平行，u-v平面表示传感器所在平面，s-t平面表示穿过参考相机主透镜光心并平行于u-v平面的平面。

本发明的实施例中提出的微相机阵列采用4*4排布方式。模组化的微相机阵列光场采集装置如图1所示，包括：

101 相机阵列支架；

102 光学透镜；

103 PCB板；

104 图像传感器；

105 缓存SDRAM；

106 主控FPGA；

107 电源芯片；

108 后保护盖；

芯片化的微相机阵列光场采集装置如图2所示，包括：

101 相机阵列支架；

102 光学透镜；

103 PCB板；

104 图像传感器；

201 ASIC设计的控制电路；

202 引出排线；

203 电路接口。

本发明采用OV9712图像传感器芯片，使用的镜头直径为6.35mm，焦距为4.6mm，视场角为66°。

如图3和图4所示，由于微相机阵列采用4*4的形式，相机支架上镂空4*4个圆孔，支架高度h为3.9mm，圆孔中心距s为7.2mm。

如图5所示，模组化的微相机阵列光场采集装置的电路部分使用Altera公司的EP4CE115F29C8N芯片作为主控芯片，使用两片MT41J128M16按地址扩展的方式连接FPGA，每个相机独立的与主控芯片连接。主控芯片将数据同步采集至内置FIFO，再将数据通过FIFO缓存至SDRAM。在采集结束时，通过USB接口将数据输出至外部设备。

如图6所示，芯片化的微相机阵列光场采集装置的电路部分将ASIC设计的电路与图像传感器通过PCB基板背靠背地连接起来，使用ASIC设计的控制电路可以将锁相环、电源管理、时序控制等功能集成在一个芯片中，从而极大的提高集成度，缩小体积。

微相机阵列光场采集装置首先通过电路控制16个微相机阵列同时曝光采集图像，使穿过光学透镜阵列的光线同时被图像传感器阵列捕获，然后数据传输模块将采集到的数据传输到移动终端进行处理。模组化的微相机阵列通过USB数据线和移动设备连接，如图7(a)；芯片化的微相机阵列在机身内部，通过芯片引脚和移动设备的存储部件连接，如图7(b)。

本发明还提供一种光场数据处理方法。首先在每个相机坐标系下表示光线。接下来选取第二行二列相机为参考相机，计算其他相机坐标系和参考相机坐标系之间的转换关系，如图8所示，并根据公式(1-6)将光线统一表示在参考相机坐标系下。最后将光线表示为双平面下的光场数据，如图9所示。

Claims (5)

1.一种基于微相机阵列的光场采集装置，包括电路控制模块、光学透镜阵列、图像传感器阵列、数据传输模块和移动终端，其特征在于：所述的光学透镜阵列将光线聚焦在图像传感器阵列上；图像传感器阵列接收穿过透镜阵列的光线，在电路控制模块的控制下同时曝光采集图像；所述的数据传输模块将采集到的图像数据传输到移动终端，由移动终端处理图像数据并显示图像。

2.根据权利要求1所述的基于微相机阵列的光场采集装置，其特征在于：采用相机支架安装光学透镜阵列，所述的光学透镜阵列包括至少两个光学透镜组件，各个光学透镜组件的聚焦平面位于同一平面；采用印制电路板安装图像传感器阵列，每个图像传感器对应一个光学透镜组件，每个光学透镜组件的光轴垂直于对应的图像传感器所在平面并穿过图像传感器成像区域的中心；所述的光学透镜阵列所在平面和图像传感器阵列所在平面保持平行；穿过单个光学透镜组件的光线和穿过其他相邻光学透镜组件的光线在到达图像传感器之前不相交；相邻图像传感器捕获的场景具有重叠区域。

3.根据权利要求1所述的基于微相机阵列的光场采集装置，其特征在于：所述的基于微相机阵列的光场采集装置外置于移动设备，FPGA根据图像传感器时序，将图像传感器曝光信息缓存至SDRAM中；当数据采集完成时，移动终端控制FPGA将图像数据从SDRAM中取出，输出至移动终端。

4.根据权利要求1所述的基于微相机阵列的光场采集装置，其特征在于：所述的基于微相机阵列的光场采集装置嵌入移动设备，ASIC在每个时钟周期采集各个图像传感器的数据，并利用时分的方式将数据重新打包，输出到移动设备的数据接口。

5.一种权利要求1所述基于微相机阵列的光场采集装置的数据处理方法，其特征在于包括下述步骤：

步骤1，以每个图像传感器平面为XOY面，沿光轴朝向场景的方向为Z轴，构成每个图像传感器的坐标系；根据每个图像传感器采集的图像和主透镜光心坐标，在每个图像传感器的坐标系下表示出光线信息l(x,y,z,r_x,r_y,r_z)，(x,y,z)表示l上任意一点在XYZ下的坐标，[r_x,r_y,r_z]^T表示l的方向向量；

步骤2，任意选取一个图像传感器作为参考图像传感器，计算参考图像传感器坐标系和其他图像传感器坐标系之间的旋转平移矩阵；假设参考图像传感器坐标系为XYZ，另一图像传感器坐标系为X'Y'Z'，坐标系XYZ转换到X'Y'Z'的旋转矩阵为R，平移矩阵为T；

步骤3，将其他图像传感器采集到的光线转换到参考图像传感器坐标系下；在X'Y'Z'坐标系上任意一条直线表示为l'(x',y',z',r_x',r_y',r_z')，直线l'转换到XYZ坐标系下的坐标表示为l(x,y,z,r_x,r_y,r_z)，则有假设l'上有两点A'(x_a',y_a',z_a')和B'(x_b',y_b',z_b')，转换到l上为两点A(x_a,y_a,z_a)和B(x_b,y_b,z_b)，l'的直线方程为XYZ坐标系上直线和X₁Y₁Z₁上直线的转换关系为 $l\left[\begin{array}{c}x\\ y\\ z\\ r_x\\ r_y\\ r_z\end{array}\right]=\left[\begin{array}{cc}{R}^{-1}& {\mathrm{\λR}}^{-1}\\ 0& R^{-1}\end{array}\right](l^{\′}\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ {r_x}^{\′}\\ {r_y}^{\′}\\ {r_z}^{\′}\end{array}\right]-\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\\ 0\\ 0\\ 0\end{array}\right]);$

步骤4，将参考相机坐标系下的光线信息表示为双平面下的光场数据L(u,v,s,t)，即用光线l(x,y,z,r_x,r_y,r_z)与双平面u-v和s-t上的交点表示光线。其中，u-v平面表示图像传感器阵列所在平面，s-t平面表示穿过参考图像传感器主透镜光心并平行于u-v平面的平面。