CN108805921A - 图像获取系统及方法 - Google Patents

Abstract

本发明提供一种图像获取系统及方法，所述系统包括：光场相机以及2D相机；处理器，与所述光场相机和所述2D相机连接，用于：接收并处理所述光场相机的原始数据以获取第一2D图像和深度图像；接收并处理所述2D相机的原始数据以获取第二2D图像；处理所述第一2D图像、所述深度图像和所述第二2D图像以获取深度纹理图像。本发明基于光场相机和2D相机组成的双摄相机获取高分辨率的二维图像、深度图像并进一步获取高分辨率的深度纹理图像；系统功耗低，对处理器的要求低。

Description

图像获取系统及方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像获取系统及方法。

背景技术

相机(摄像头)已经成为许多计算设备的标准配置，利用相机拍照或摄像以记录生活或者进行测量等，相机还可以给计算设备带来新的功能，比如进行人脸识别以进行解锁、支付，或者进行手势识别以进行手势交互与手势控制等。这些功能需求使得相机逐渐由普通的单相机向具备深度图像采集能力的双摄相机、深度相机转变。比如利用双摄相机获取更高质量的图像，利用深度相机与普通相机的结合来获取RGBD图像以进一步实现人脸或手势识别等功能。

然而，这一转变给计算设备带来一些负面影响，比如功耗越来越高、对处理器计算能力的要求也越来越高。光场相机的出现在一定程度上降低了这些负面影响，光场相机可以基于单次拍摄获取原始图像，随后对原始图像进行后处理可以获取多视角图像、深度图像、数字变焦等多种功能。尽管如此，光场相机本质上是通过牺牲空间分辨率来获取角分辨率信息，因此其获取的二维图像的分辨率要远远低于普通相机。同时获取高分辨率二维图像、多视角图像、深度图像以及实现数字变焦能力是目前相机系统面临的重要问题。

发明内容

本发明为了解决现有技术中的问题，提供一种图像获取系统及方法。

为了解决上述问题，本发明采用的技术方案如下所述：

一种图像获取系统，包括：光场相机以及2D相机；处理器，与所述光场相机和所述2D相机连接，用于：接收并处理所述光场相机的原始数据以获取第一2D图像和深度图像；接收并处理所述2D相机的原始数据以获取第二2D图像；处理所述第一2D图像、所述深度图像和所述第二2D图像以获取深度纹理图像。

本发明还提供一种图像获取系统，其中，所述2D相机是彩色相机、灰度相机、广角相机或长焦相机；所述光场相机是传统光场相机或聚焦式光场相机；所述处理器处理所述第一2D图像、所述深度图像和所述第二2D图像以获取深度纹理图像包括执行程序，以用于：将所述第一2D图像与所述第二2D图像进行特征点提取与匹配以获取相互之间像素的对应关系；基于所述对应关系将所述深度图像与所述第二2D图像进行融合以获取深度纹理图像；或，所述处理器处理所述第一2D图像、所述深度图像和所述第二2D图像以获取深度纹理图像包括程序，以用于：利用双目视觉算法对所述第一2D图像与所述第二2D图像进行计算以获取第二深度图像；将所述深度图像与所述第二深度图像进行融合以得到第三深度图像；将所述第三深度图像与所述第二2D图像进行融合以获取深度纹理图像；所述第一2D图像的分辨率小于所述第二2D图像的分辨率；所述第一2D图像为中心2D图像。

本发明又提供一种图像获取方法，包括如下步骤：S1：接收并处理光场相机的原始数据以获取第一2D图像和深度图像；S2：接收并处理2D相机的原始数据以获取第二2D图像；S3：处理所述第一2D图像、所述深度图像和所述第二2D图像以获取深度纹理图像。步骤S3包括如下步骤：P1：将所述第一2D图像与所述第二2D图像进行特征点提取与匹配以获取相互之间像素的对应关系；P2：基于所述对应关系将所述深度图像与所述第二2D图像进行融合以获取深度纹理图像；或，步骤S3包括如下步骤：T1：利用双目视觉算法对所述第一2D图像与所述第二2D图像进行计算以获取第二深度图像；T2：所述深度图像与所述第二深度图像进行融合以得到第三深度图像；T3：将所述第三深度图像与所述第二2D图像进行融合以获取深度纹理图像。

本发明的有益效果为：提供一种图像获取系统及方法，所述系统包括单个光场相机与单个2D相机所组成的双摄相机，基于该双摄相机通过处理器的处理以获取高分辨率的二维图像以及深度图像并进一步获取高分辨率的深度纹理图像；与现有技术中获取同等分辨率的深度纹理图像的系统相比，本发明的系统功耗低，对处理器的要求低。

附图说明

图1是根据本发明一个实施例的图像获取系统结构示意图。

图2是根据本发明一个实施例的图像获取方法示意图。

图3是根据本发明一个实施例的处理第一2D图像、深度图像和第二2D图像以获取深度纹理图像的方法示意图。

图4是根据本发明又一个实施例的处理第一2D图像、深度图像和第二2D图像以获取深度纹理图像的方法示意图。

具体实施方式

下面结合附图通过具体实施例对本发明进行详细的介绍，以使更好的理解本发明，但下述实施例并不限制本发明范围。另外，需要说明的是，下述实施例中所提供的图示仅以示意方式说明本发明的基本构思，附图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形状、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。

如图1所示，图像获取系统1包括光场相机10、2D相机20以及处理器40，用于对采集目标30进行图像采集。

其中，光场相机10主要组成部件是图像传感器(CCD/CMOS)101、滤光片(比如拜尔滤光片，图中未示出)、微透镜阵列(MLA)102、透镜103。根据MLA102与图像传感器101、透镜103之间的距离可以分为传统光场相机(比如lytro公司的产品)与聚焦式光场相机(比如Raytrix公司的产品)，本发明将以传统光场相机为例进行说明，可以理解的是任何种类的光场相机均适用于本发明。传统光场相机中MLA102位于透镜103的焦平面上，图像传感器101位于MLA102的焦平面上。

2D相机，即2维相机，指用来获取目标2D纹理图像的相机，比如彩色相机、灰度相机等，也可以是广角、长焦相机等。其主要部件是图像传感器101、滤光片与透镜103等。

处理器40，与光场相机10以及2D相机20连接，通过执行程序实现本发明的方法。处理器40用于控制光场相机10和2D相机20；并接收来自各个相机的图像并进行处理，比如接收光场相机10中图像传感器101的原始数据以获取不同视角的多幅2D图像、或者实现数字变焦等功能。这里的处理器可以是单个处理器，也可以由两个或多个执行不同功能的处理器组成，比如由CPU、光场相机处理器、2D相机处理器组成，光场相机处理器用于接收来自图像传感器的原始数据并处理以获取不同视角2D图像、深度图像等的处理器，2D相机处理器用于接收来自图像传感器的原始数据并进行图像去噪、RGB图像生成等计算，CPU负责控制光场相机以及2D相机同时接收来自光场相机处理器、2D相机处理器的数据并进行进一步的处理获取采集目标的深度纹理图像。处理器也可以由其他合适的组合，比如CPU和图像处理器，图像处理器用于实现广场相机处理器和2D相机处理器的功能，即处理器的个数并不受具体限制，但是所有处理器组合在一起需要完成本发明的功能。处理器处理完数据后将数据进一步通过接口传输至系统内部的其他单元50，比如显示单元等。

图2是根据本发明一个实施例的图像获取方法示意图。光场相机内的图像传感器通过透镜、微透镜阵列采集目标物体的光线信息并产生相应的原始图像，原始图像内不仅包含了光线信息，还可以借助于滤光片实现对色彩信息的采集。原始图像被处理器接收后可以用于：

第一2D图像获取。比如将每个微透镜阵列对应的像素阵列中相同位置像素提取并合并，最终可以形成多幅不同视角的第一2D图像，将中心位置像素对应的第一2D图像称为中心2D图像。又比如将每个微透镜单元对应的像素阵列的像素值进行求和得到单个综合像素值，所有微透镜单元的综合像素值也组成一幅第一2D图像。第一2D图像的像素与MLA的单元排列相同，每个MLA单元都与图像传感器中的部分像素对应，因此光场相机所获取的2D图像分辨率要远低于图像传感器的分辨率，光场相机的成像原理实际上是在空间分辨率与角度分辨率之间寻求的一种折衷。

深度图像。可以通过例如基于多目视觉或者聚焦/离焦的方法生成深度图像。比如对于多目视觉方法，将上述获取的不同视角下第一2D图像，通过对第一2D图像的特征点提取与匹配，基于双目视觉原理从而计算出深度图像。可以理解的是，对于每一幅第一2D图像，均可以计算出与之对应的深度图像，这里所说的对应指的是相互之间不存在视差。

2D相机则用于采集目标的第二2D图像。与光场相机不同的是，第二2D图像与光场相机所采集的2D图像相比，拥有更高的分辨率。

为了对同一目标进行信息采集，2D相机与光场相机拥有共同的视野，优选地，2D相机的视场可以完全覆盖光场相机的视场，或者光场相机的视场可以完全覆盖2D相机的视场。

处理器在接收来自光场相机以及2D相机的数据后计算出第一2D图像、深度图像以及第二2D图像后，基于这些图像进行进一步处理以获取深度纹理图像。

图3是根据本发明一个实施例的处理第一2D图像、深度图像和第二2D图像以获取深度纹理图像的方法示意图。处理器将一幅第一2D图像与第二2D图像进行特征点提取与匹配，这里的第一2D图像可以是不同视角下的第一2D图像中的任意一幅，优选地，是中心2D图像。任意合适的特征点提取与匹配算法都可以被应用在本发明中，比如基于纹理特征的方法(边缘、轮廓等)、基于光流的方法或者基于深度学习的方法等。第一2D图像与第二2D图像匹配的结果是获取了两幅图像中同一场景点的对应关系。

最后，基于第一2D图像与第二2D图像之间的对应关系，将与第一2D图像对应的深度图像与第二2D图像进行融合以获取最终的深度纹理图像。这里所说的融合即将两种不同的数据融合到一幅图像中，在一个实施例中，深度图像中每个像素的值用D表示，第二2D图像为RGB图像，其各个像素上包括3个数值：R、G、B，融合后即得到RGBD图像，即图像中每个像素上包括四个数值：R、G、B、D。

需要注意的是，在第一2D图像与第二2D图像进行特征点提取与匹配以及，深度图像与第二2D图像进行融合时，由于第一2D图像与深度图像的像素分辨率要远小于第二2D图像的像素分辨率，因此在一个实施例中，可以首先对第一2D图像以及对应的深度图像进行上采样处理以提高分辨率，任意合适的上采样算法均可以应用在本发明中，比如线性插值、双三次插值等。

本实施例中的方法借助于光场相机所获取的低分辨率的2D图像与深度图像，同时结合于普通2D相机所采集的高分辨率2D图像，最终生成高分辨率的深度纹理图像，优选地，深度纹理图像的分辨率与高分辨率2D图像的分辨率相同。实现过程中无需对光场相机与2D相机进行预先标定，因此即使系统在实际使用中二者的相对位置由于碰撞、温度变化等发生变形也不会影响最终深度纹理图像的生成。

上述实施例的优势在于无需标定，缺点在于深度图像本身的精度低、有效信息少。

图4是根据本发明又一个实施例的处理第一2D图像、深度图像和第二2D图像以获取深度纹理图像的方法示意图。本实施例将提供一种需要标定的高精度深度图像以及深度纹理图像获取方法。

在本实施例的方法中，同样由光场相机获取第一2D图像与深度图像，由2D相机获取第二2D图像，在将第一2D图像与第二2D图像进行特征点提取与匹配后，结合光场相机与2D相机的预先标定信息，可以利用双目视觉算法计算出第二深度图像。这里需要注意的是，预先标定是为了获取光场相机与2D相机的相对位置关系(即旋转矩阵与平移矩阵)，在标定时选取的第一2D图像与特征提取与匹配时选取的第一2D图像一致，在一个实施例中，选取的是均是中心2D图像。由于光场相机与2D相机之间的基线距离要远大于光场相机中多个不同视角的第一2D图像之间对应的基线，因此获取的第二深度图像拥有更高的精度。接着，将第二深度图像与光场相机所获取的深度图像进行融合以得到第三深度图像，任意合适的融合算法均可以应用在本发明中，比如基于权重因子的融合算法，即将第二深度图像以及光场梵所获取的深度图像中的各个像素值设置相应的权重，基于权重计算出融合后对应像素上的像素值。因为两个深度图像FOV、相对精度、分辨率均不相同，因此融合后可以获取更多信息的深度图像，由此可以获取精度、分辨率更高的第三深度图像。

最后，将第三深度图像与第二2D图像进行融合以获取最终的深度纹理图像。

与现有技术中的图像获取系统及方法相比，本发明的系统中将光场相机和2D相机结合在一起组成双摄相机，基于该双摄相机以获取高分辨率的二维图像以及深度图像，更进一步的获取高分辨率的深度纹理图像，基于结构所实现的功能由处理器部分完成。在获取高分辨率的深度纹理图像的过程中，系统的功耗低，计算处理器量也低，所说对处理器的要求也低。

以上实施例中介绍了基于本发明中的图像获取系统来提取深度纹理图像的方法，可以理解的是，处理器基于光场相机的数据同样可以实现数字变焦等功能。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种图像获取系统，其特征在于，包括：

光场相机以及2D相机；

处理器，与所述光场相机和所述2D相机连接，用于：

接收并处理所述光场相机的原始数据以获取第一2D图像和深度图像；

接收并处理所述2D相机的原始数据以获取第二2D图像；

处理所述第一2D图像、所述深度图像和所述第二2D图像以获取深度纹理图像。

2.如权利要求1所述的图像获取系统，其特征在于，所述2D相机是彩色相机、灰度相机、广角相机或长焦相机。

3.如权利要求1所述的图像获取系统，其特征在于，所述光场相机是传统光场相机或聚焦式光场相机。

4.如权利要求1所述的图像获取系统，其特征在于，所述处理器处理所述第一2D图像、所述深度图像和所述第二2D图像以获取深度纹理图像包括执行程序，以用于：

将所述第一2D图像与所述第二2D图像进行特征点提取与匹配以获取相互之间像素的对应关系；

基于所述对应关系将所述深度图像与所述第二2D图像进行融合以获取深度纹理图像。

5.如权利要求1所述的图像获取系统，其特征在于，所述处理器处理所述第一2D图像、所述深度图像和所述第二2D图像以获取深度纹理图像包括执行程序，以用于：

利用双目视觉算法对所述第一2D图像与所述第二2D图像进行计算以获取第二深度图像；

将所述深度图像与所述第二深度图像进行融合以得到第三深度图像；

将所述第三深度图像与所述第二2D图像进行融合以获取深度纹理图像。

6.如权利要求1所述的图像获取系统，其特征在于，所述第一2D图像的分辨率小于所述第二2D图像的分辨率。

7.如权利要求1-6任一所述的图像获取系统，其特征在于，所述第一2D图像为中心2D图像。

8.一种图像获取方法，其特征在于，包括如下步骤：

S1：接收并处理光场相机的原始数据以获取第一2D图像和深度图像；

S2：接收并处理2D相机的原始数据以获取第二2D图像；

S3：处理所述第一2D图像、所述深度图像和所述第二2D图像以获取深度纹理图像。

9.如权利要求8所述的图像获取方法，其特征在于，步骤S3包括如下步骤：

P1：将所述第一2D图像与所述第二2D图像进行特征点提取与匹配以获取相互之间像素的对应关系；

P2：基于所述对应关系将所述深度图像与所述第二2D图像进行融合以获取深度纹理图像。

10.如权利要求8所述的图像获取方法，其特征在于，步骤S3包括如下步骤：

T1：利用双目视觉算法对所述第一2D图像与所述第二2D图像进行计算以获取第二深度图像；

T2：所述深度图像与所述第二深度图像进行融合以得到第三深度图像；

T3：将所述第三深度图像与所述第二2D图像进行融合以获取深度纹理图像。