CN115706842A - 光场相机及通过光场相机构建高分辨率多视角图像的方法 - Google Patents

Abstract

本发明提供了一种光场相机及通过光场相机构建高分辨率多视角图像的方法，本发明的光场相机包括具有控制模块的光场芯片移动装置，光场芯片移动装置用于通过控制模块控制光场芯片相对于镜头组件移动，可以在不增加现有光场芯片分辨率的情况下，提高光场相机拍摄的光场图的分辨率。

Description

光场相机及通过光场相机构建高分辨率多视角图像的方法

技术领域

本发明涉及光学成像技术领域，特别涉及一种光场相机及通过光场相机构建高分辨率多视角图像的方法。

背景技术

光场相机是一种对光场信息进行采集，记录到达传感器的不同方向的光线的新型相机。区别于传统相机的是，光场相机的每个像素采集到的是物体从特定角度发出的光线，所以不仅采集了光线能量，同时也捕捉到了每条光线的方向信息。

光场相机中通过光场芯片采集和传输光场信息，光场芯片由微透镜阵列组件和CMOS传感器组成，微透镜阵列组件可以处理通过镜头组件光线，通过CMOS传感器采集微透镜阵列处理后的光线信息。

光场相机的光场芯片的分辨率越高，拍出的光场图的分辨率越高，利用光场相机进行检测时越有利于提高测量的精度，有利于更多场景的应用测试。但是直接扩大芯片的分辨率不仅增加芯片生产的难度，导致良品率的降低，而且还会极大地增加成本。

发明内容

本发明的目的是提供一种光场相机及通过光场相机构建高分辨率多视角图像的方法，使得在不增加现有光场芯片分辨率的情况下提高光场相机的拍摄的光场图的分辨率。

为解决上述技术问题，一方面，本发明的提供了一种光场相机，包括壳体、固定在所述壳体上的镜头组件、用于采集和传输光场信息的光场芯片、与所述光场芯片电连接用于控制拍摄的主控装置；所述光场相机还包括具有控制模块的光场芯片移动装置；所述光场芯片移动装置用于通过所述控制模块控制所述光场芯片相对于所述镜头组件移动。

优选的，所述控制模块设置在所述壳体内，由所述壳体上设置的控制部件直接控制。

优选的，所述控制模块为设置在所述壳体外的控制设备。

优选的，所述控制模块与所述主控装置电连接，所述主控装置直接控制所述控制模块。

优选的，所述控制模块与所述主控装置可通信，所述控制模块控制所述光场芯片按照预设的移动规则移动；所述主控芯片根据所述控制模块控制所述光场芯片的移动规则，控制每一次移动的拍摄间隔。。

优选的，所述光场芯片按照设定移动步长，设定移动路径的移动规则进行线性移动。

优选的，所述光场芯片包括用于处理通过所述镜头组件光线的微透镜阵列组件、用于采集所述微透镜阵列组件处理后的光线信息的CMOS传感器；所述移动步长设定为微透镜阵列组件中单个微透镜的直径的n分之一，所述n为大于或等于2的自然数。

优选的，所述光场芯片固定设置在电路模块上，所述光场芯片移动装置用于通过所述控制模块控制所述电路模块移动，所述光场芯片随所述电路模块相对于所述镜头组件移动。

优选的，除所述控制模块外，所述光场芯片移动装置还包括：固定端模块、可动端模块、驱动模块；所述固定端模块用于固定在所述壳体内；所述可动端模块用于与所述电路模块固定；所述驱动模块用于通过所述控制模块控制所述可动端模块移动。

优选的，所述电路模块与所述可动端模块之间设置支架，所述可动端模块通过所述支架与所述电路模块固定。

优选的，所述光场芯片移动装置为纳米定位台。

优选的，所述壳体和所述光场芯片移动装置为一体式结构。

另一方面，还提供了一种通过光场相机构建高分辨率多视角图像的方法，包括以下步骤：

拍摄图像获取信息步骤：利用如上所述的光场相机拍摄白板图像，获取所述光场相机的光场芯片中的各个微透镜中心在CMOS传感器面的相对位置信息；

光场芯片移动拍摄步骤：以预设的移动规则对所述光场相机的光场芯片进行移动并分别进行M次拍摄，得到M个光场原图，所述M个光场原图均可获取V个视角的图像；所述M和V为大于或等于2的自然数；

图像合成步骤：根据提取的所述光场相机的光场芯片中的各个微透镜中心在CMOS传感器面的相对位置信息、拍摄的光场原图中的光场相机的光场芯片的位移情况、视角信息，将所拍摄的M个光场原图的所有V个视角的图像进行合并。

优选的，所述图像合成步骤包括：

标识步骤：根据拍摄顺序，对所述M个光场原图的每个视角图进行标识；

合并步骤：根据标识信息进行图像合并。

优选的，所述拍摄图像获取信息步骤中，在获取所述光场相机的光场芯片中的各个微透镜中心在CMOS传感器面的相对位置信息前对白板图像进行预处理。

与现有技术相比，本发明具有如下的有益效果：

由于本发明的光场相机的光场芯片具有可移动的特性，通过拍摄光场芯片相对于镜头组件不同位置的光场图，光场图具有多个视角，将所拍摄的不同视角的光场图分别进行合并，可以得到更高分辨率的多视角图像，实现了在不增加现有光场芯片分辨率的情况下,提高光场相机拍摄的光场图的分辨率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明第一实施方式中的光场相机爆炸结构示意图；

图2是本发明第一实施方式中的光场相机剖视示意图；

图3是本发明第二实施方式中的光场相机爆炸结构示意图；

图4是本发明第二实施方式中的光场相机剖视示意图；

图5是本发明第三实施方式中光场相机的光场芯片移动步骤示意图；

图6是本发明第三实施方式中光场相机的光场芯片移动路径示范图；

图7是本发明第四实施方式中利用光场相机拍摄的白板图像；

图8是本发明第四实施方式中利用光场相机拍摄的白板图像；

图9是本发明第四实施方式中利用光场相机拍摄的一张光场原图；

图10是本发明第四实施方式中光场原图中获取的多视角图像中的一张；

图11是本发明第四实施方式中放大光场原图后单个微透镜内的显示图；

图12是本发明第四实施方式中将四张光场原图进行合并后的高分辨光场图；

图13是本发明第五实施方式中将光场原图的视角图进行标识后进行合并的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

本发明的第一实施方式涉及一种光场相机，如图1和图2所示，包括壳体1、固定在所述壳体1上的镜头组件(图中未示，位于壳体的开孔处)、用于采集和传输光场信息的光场芯片2、与光场芯片2电连接用于控制拍摄的主控装置(图中未示)、具有控制模块的光场芯片移动装置3。其中，光场芯片2包括：微透镜阵列组件21和CMOS传感器22。微透镜阵列组件21处理通过镜头组件光线、CMOS传感器22可以采集微透镜阵列组件21处理后的光线信息。光场芯片移动装置3可以通过控制模块(图中未示)控制光场芯片2相对于镜头组件移动，该移动具体可以是位移、旋转或者两者的结合。

需要说明的是，在本实施方式中，如图1和2所示，光场芯片2实际是固定设置在电路模块4上的，主控装置可以是设置在该电路模块4上的主处理器，或者是与该电路模块4电连接的具有处理器的控制装置。根据具体的应用情况，主控装置可以仅负责拍摄，拍摄完成后的图像通过外部设备进行处理；或者，主控装置具有图像处理能力，完成图像拍摄后可以对图像进行处理。具体地，在光场相机上具有拍摄按键和图像处理按键，按下拍摄按键后，主控装置执行拍摄操作，拍摄完成后，通过图像处理按键可以控制主控装置进行图像处理。光场芯片移动装置3可以通过控制模块控制整个电路模块4移动，光场芯片2是随电路模块4相对于镜头组件移动的。当然，光场芯片2与电路模块4之间也可以通过FPC连接，光场芯片移动装置3可以不移动整个电路模块4，仅移动光场芯片2。

另外，值得一提的是，本实施方式中光场芯片移动装置3为一纳米定位台，纳米定位台主要是以压电陶瓷作为驱动源，安装在柔性铰链机构平台内，通过电压驱动压电陶瓷从而带动铰链平台做微小的运动，实现位移或者偏转。纳米定位台设置在镜头组件与电路模块4之间，具体选用中空式的纳米定位台，使光场芯片2可以直对镜头组件采集和传输光场信息，不被纳米定位台遮挡。壳体1和纳米定位台(即光场芯片移动装置3)可以是一体式结构，也可以通过紧固件进行固定。纳米定位台的控制模块设置在壳体1内，由壳体1上设置的控制部件直接控制。控制部件具体可以是按钮、旋钮等。当然，主控装置也可以与纳米定位台的控制模块电连接，主控装置直接控制纳米定位台的控制模块；或者，纳米定位台的控制模块是设置在壳体1外的控制设备。

由于本实施方式中的光场相机的光场芯片2具有可移动的特性，通过光场芯片移动装置3即纳米定位台的控制模块控制，可以拍摄光场芯片2相对于镜头组件不同位置的光场图，所拍摄的光场图具有多个视角，将所拍摄的不同视角的光场图分别进行合并后，可以得到更高分辨率的多视角图像，在不增加现有光场芯片2分辨率的情况下提高了光场相机拍摄的光场图的分辨率。

本发明的第二实施方式涉及一种光场相机。第二实施方式与第一实施方式大致相同，主要区别之处在于：在第一实施方式中，光场芯片移动装置设置在镜头组件与电路模块之间。而在本发明第二实施方式中，如图3、4所示，光场芯片移动装置3设置在电路模块底部，除控制模块外，光场芯片移动装置3还包括：固定端模块31、可动端模块32、驱动模块(图中未示)。其中，固定端模块31固定在壳体1内，可动端模块32与电路模块4固定，驱动模块可以通过控制模块控制可动端模块32移动。为了保证移动电路模块4的稳定性，电路模块4与可动端模块32之间可以设置支架5，可动端模块32通过支架5与电路模块4固定。

与第一实施方式类似，由于本实施方式中的光场相机的光场芯片2具有可移动的特性，通过光场芯片移动装置3的控制模块控制，可以拍摄光场芯片2相对于镜头组件不同位置的光场图，所拍摄的光场图具有多个视角，将所拍摄的不同视角的光场图分别进行合并后，可以得到更高分辨率的多视角图像，在不增加现有光场芯片2分辨率的情况下，提高了光场相机拍摄的光场图的分辨率。

本发明的第三实施方式涉及一种光场相机。第三实施方式与第一实施方式大致相同，主要区别之处在于：在第一实施方式中，主控装置控制拍摄，光场芯片移动装置的控制模块控制光场芯片的移动，相互独立运作。而在本发明第三实施方式中，光场相机的主控装置与光场芯片移动装置的控制模块可通信，控制模块控制光场芯片2按照预设的移动规则移动，主控芯片可以根据控制模块控制光场芯片2的移动规则，控制每一次移动的拍摄间隔。

具体地，如图5所示，光场芯片2按照设定移动步长，设定移动路径的移动规则进行线性移动。其中，移动步长设定为微透镜阵列组件21中单个微透镜的直径的二分之一，设置步数为4，光场芯片沿着逆时针方向移动。在光场相机上可以设置一个自动拍摄按钮，按下自动拍摄按钮后，主控装置控制光场相机运行过程如下：在光场芯片未移动时拍摄一张光场原图；光场芯片沿着水平向右方向移动单个微透镜的直径的二分之一的距离后，拍摄第二张光场原图；光场芯片沿着竖直向上方向移动单个微透镜的直径的二分之一的距离后，拍摄第三张光场原图；光场芯片沿着水平向左方向移动单个微透镜的直径的二分之一的距离后，拍摄第四张光场原图。按照以上路径和步长移动光场芯片，进行拍摄后，主控装置可以将4张光场原图进行合并处理，最终得到的光场图像的分辨率可以提升到原来的4倍。

当然，设定的移动步长也可以是单个微透镜的直径的1/n,其中，n为大于或等于2的自然数，移动步数为n²，图6中是n＝3时移动路径的一种示范，光场芯片的移动范围为一个3x3的矩阵，按顺时针方向逐步移动。n为其他自然数时，可以以类似的方式进行移动，最终得到的光场图像的分辨率可以提升到原来的n²倍。根据实际的应用需求，移动规则可相应调整，本实施方式中并不进行限定。

本实施方式中，由于光场相机的主控装置与光场芯片移动装置的控制模块可通信，光场相机一次按键可以实现多次拍摄，最终直接合成较高分辨率的光场图像，相较于第一实施方式中的光场相机，使用更为方便。

本发明的第四实施方式涉及一种通过光场相机构建高分辨率多视角图像的方法，如图7所示，包括以下步骤：

拍摄图像获取信息步骤：利用以上实施方式中类似的光场相机拍摄白板图像，获取光场相机的光场芯片2中的各个微透镜中心在CMOS传感器面的相对位置信息。

具体地说，如图8所示，白板图像中显示的是一个微透镜阵列在拍摄散焦位置的发光白板时在传感器上所成的图像，相当于获取了各个微透镜中心在CMOS传感器面的位置参照。

光场芯片2移动拍摄步骤：以预设的移动规则对光场相机的光场芯片2进行移动并分别进行M次拍摄，得到M个光场原图，M个光场原图均可获取V个视角的图像；M和V为大于或等于2的自然数；

具体地说，如图9所示，光场原图中显示的是各个微透镜的图像，每个微透镜中具有V个不同视角图的一个像素，并且所有微透镜的像素可以组成V个完整的不同视角的图像，假设以第三实施方式中的描述进行拍摄，光场芯片移动步长为微透镜直径的1/2，按图示移动了4次，进行了4次拍摄，相当于一个2*2的网格。

图10所示为从光场原图中获取的一张多视角图像，假设其分辨率为(x,y)。

图11所示为放大光场原图后的单个微透镜显示图，这个微透镜中有V个有效像素，其中每个像素代表该原图所生成的多视角图像中的一个像素，且该微透镜中不同的像素分布在不同的多视角图像中。

图像合成步骤：根据提取的光场相机的光场芯片2中的各个微透镜中心在CMOS传感器22传感器面的相对位置信息、拍摄的光场原图中的光场相机的光场芯片2的位移情况、视角信息，将所拍摄的M个光场原图的所有V个视角的图像进行合并。

具体地说，以图12为例，假设光场原图的数量为4个，用4张某个视角的图像可以合成一张分辨率(2x,2y)的图像。一共可以得到V个分辨率(2x,2y)的大图。

需要说明的是，拍摄图像获取信息步骤中，在获取光场相机的光场芯片2中的各个微透镜中心在CMOS传感器22传感器面的相对位置信息前可以对白板图像进行预处理，比如进行二值化处理，以增强比对效果。

本发明第五实施方式涉及一种通过光场相机构建高分辨率多视角图像的方法，第五实施方式中对图像合成的步骤进行了细化，具体包括以下步骤：

标识步骤：根据拍摄顺序，对M个光场原图的每个视角图进行标识；

合并步骤：根据标识信息进行图像合并。

具体地说，如图13所示，为了图像合并更为方便，可以根据拍摄顺序，对每个视角图进行标识，根据标识的组合顺序进行图像合并。

例如，以图6中的光场芯片的移动顺序对光场原图进行标识，则可以遵循图13中所示的规则进行合并，最终形成的视角图需从每一个对应的微透镜中，找到相同视角的V个图像，按照不同光场原图的拍摄顺序进行合并。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (15)

1.一种光场相机，包括壳体、固定在所述壳体上的镜头组件、用于采集和传输光场信息的光场芯片、与所述光场芯片电连接用于控制拍摄的主控装置，其特征在于：所述光场相机还包括具有控制模块的光场芯片移动装置；所述光场芯片移动装置用于通过所述控制模块控制所述光场芯片相对于所述镜头组件移动。

2.根据权利要求1所述的光场相机，其特征在于，所述控制模块设置在所述壳体内，由所述壳体上设置的控制部件直接控制。

3.根据权利要求1所述的光场相机，其特征在于，所述控制模块为设置在所述壳体外的控制设备。

4.根据权利要求1所述的光场相机，其特征在于，所述控制模块与所述主控装置电连接，所述主控装置直接控制所述控制模块。

5.根据权利要求1所述的光场相机，其特征在于，所述控制模块与所述主控装置可通信，所述控制模块控制所述光场芯片按照预设的移动规则移动；所述主控芯片根据所述控制模块控制所述光场芯片的移动规则，控制每一次移动的拍摄间隔。

6.根据权利要求5所述的光场相机，其特征在于，所述光场芯片按照设定移动步长，设定移动路径的移动规则进行线性移动。

7.根据权利要求6所述的光场相机，其特征在于，所述光场芯片包括用于处理通过所述镜头组件光线的微透镜阵列组件、用于采集所述微透镜阵列组件处理后的光线信息的CMOS传感器；所述移动步长设定为微透镜阵列组件中单个微透镜的直径的n分之一，所述n为大于或等于2的自然数。

8.根据权利要求1所述的光场相机，其特征在于，所述光场芯片固定设置在电路模块上，所述光场芯片移动装置用于通过所述控制模块控制所述电路模块移动，所述光场芯片随所述电路模块相对于所述镜头组件移动。

9.根据权利要求8所述的光场相机，其特征在于，除所述控制模块外，所述光场芯片移动装置还包括：固定端模块、可动端模块、驱动模块；

所述固定端模块用于固定在所述壳体内；

所述可动端模块用于与所述电路模块固定；

所述驱动模块用于通过所述控制模块控制所述可动端模块移动。

10.根据权利要求9所述的光场相机，其特征在于，所述电路模块与所述可动端模块之间设置支架，所述可动端模块通过所述支架与所述电路模块固定。

11.根据权利要求1所述的光场相机，其特征在于，所述光场芯片移动装置为纳米定位台。

12.根据权利要求1所述的光场相机，其特征在于，所述壳体和所述光场芯片移动装置为一体式结构。

13.一种通过光场相机构建高分辨率多视角图像的方法，其特征在于，基于如权利要求1-12中任意一项所述的光场相机，包括以下步骤：

拍摄图像获取信息步骤：利用所述的光场相机拍摄白板图像，获取所述光场相机的光场芯片中的各个微透镜中心在CMOS传感器面的相对位置信息；

光场芯片移动拍摄步骤：以预设的移动规则对所述光场相机的光场芯片进行移动并分别进行M次拍摄，得到M个光场原图，所述M个光场原图均可获取V个视角的图像；所述M和V为大于或等于2的自然数；

图像合成步骤：根据提取的所述光场相机的光场芯片中的各个微透镜中心在CMOS传感器面的相对位置信息、拍摄的光场原图中的光场相机的光场芯片的位移情况、视角信息，将所拍摄的M个光场原图的所有V个视角的图像进行合并。

14.根据权利要求13所述的通过光场相机构建高分辨率多视角图像的方法，其特征在于，所述图像合成步骤包括：

标识步骤：根据拍摄顺序，对所述M个光场原图的每个视角图进行标识；

合并步骤：根据标识信息进行图像合并。

15.根据权利要求13所述的通过光场相机构建高分辨率多视角图像的方法，其特征在于，所述拍摄图像获取信息步骤中，在获取所述光场相机的光场芯片中的各个微透镜中心在CMOS传感器面的相对位置信息前对白板图像进行预处理。

Images