CN106454287B - 组合摄像系统、移动终端及图像处理方法 - Google Patents

Abstract

本发明公开了一种组合摄像系统、移动终端及图像处理方法，组合摄像系统中，激光投影装置用于向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；第一摄像装置用于同步采集共有视场中的第一可见光图像和第一不可见光图像；第二摄像装置用于，同步采集共有视场中的第二可见光图像和第二不可见光图像；处理器用于，利用第一不可见光图像计算第一深度图像，利用第二不可见光图像计算第二深度图像，并合成第一深度图像和第二深度图像得到第三深度图像，并利用第二可见光图像进行视觉运动追踪。本发明可以同步对可见光图像的采集、目标深度图像的采集以及视觉运动追踪，并可以合成深度范围更大、空间分辩率更高的深度图像。

Description

组合摄像系统、移动终端及图像处理方法

【技术领域】

本发明涉及光学测量及电子领域，尤其涉及一种组合摄像系统、移动终端及图像处理方法。

【背景技术】

RGB图像能够记录物体的颜色特征，在模式识别方面已经得到广泛的应用，比如人脸识别、物品检测等。近年来随着深度测量技术的发展，特别是基于结构光技术的发展，利用深度相机测量物体深度信息进一步进行体感操控、3D重建、追踪及避障等应用也逐渐得到重视。

在计算设备上配备彩色相机以及深度相机使得设备具有更加广泛的功能，但考虑到移动设备像手机、平板等体积较小的计算设备上，设置许多相机是不明智的，一方面占有大量的空间；另一方面也会带来更大的功耗。

【发明内容】

为了克服现有技术的不足，本发明提供了一种组合摄像系统、移动终端及图像处理方法，以较少资源实现多种功能的图像采集以及深度图像采集。

一种组合摄像系统，包括第一摄像装置、第二摄像装置、激光投影装置和处理器；所述第一摄像装置为广角相机，所述第二摄像装置为长焦相机；

所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；

所述第一摄像装置用于，同步采集所述共有视场中的第一可见光图像和第一不可见光图像；

所述第二摄像装置用于，同步采集所述共有视场中的第二可见光图像和第二不可见光图像；

所述处理器用于，利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并合成所述第一深度图像和第二深度图像得到第三深度图像，并利用所述第二可见光图像进行视觉运动追踪。

优选的，

所述激光投影装置用于交替地向所述共有视场投射所述结构光图案和关闭投射所述结构光图案；

所述第一摄像装置用于，在所述激光投影装置投射所述结构光图案期间采集第一一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第一二不可见光图像；所述第二摄像装置用于，在所述激光投影装置投射所述结构光图案期间采集第二一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二二不可见光图像；

所述处理器用于，利用所述第一一不可见光图像与第一二不可见光图像的差分图像计算所述第一深度图像，利用所述第二一不可见光图像与第二二不可见光图像的差分图像计算所述第二深度图像。

优选的，在所述激光投影装置交替投射和关闭投射所述结构光图案的周期内，投射所述结构光图案的时长大于关闭投射所述结构光图案的时长。

优选的，所述第一摄像装置的透镜焦距与所述第二摄像装置的透镜焦距不同。

优选的，所述不可见激光为红外光激光。

优选的，所述激光投影装置设置在所述第一摄像装置与第二摄像装置之间。

本发明还提供了一种移动终端，包括任一所述的组合摄像系统。

本发明还提供了一种图像获取方法，包括如下步骤：

投射步骤：激光投影装置向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；

采集步骤：所述第一摄像装置同步采集所述共有视场中的第一可见光图像和第一不可见光图像，所述第二摄像装置同步采集所述共有视场中的第二可见光图像和第二不可见光图像；其中，所述第一摄像装置为广角相机，所述第二摄像装置为长焦相机；

处理步骤：处理器利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并合成所述第一深度图像和第二深度图像得到第三深度图像，并利用所述第二可见光图像进行视觉运动追踪。

优选的，

在所述投射步骤中：

所述激光投影装置交替地向所述共有视场投射所述结构光图案和关闭投射所述结构光图案；

在所述采集步骤中：

所述第一摄像装置在所述激光投影装置投射所述结构光图案期间采集第一一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第一二不可见光图像；所述第二摄像装置在所述激光投影装置投射所述结构光图案期间采集第二一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二二不可见光图像；

在所述处理步骤中：

所述处理器利用所述第一一不可见光图像与第一二不可见光图像的差分图像计算所述第一深度图像，利用所述第二一不可见光图像与第二二不可见光图像的差分图像计算所述第二深度图像。优选的，在所述激光投影装置交替投射和关闭投射所述结构光图案的周期内，投射所述结构光图案的时长大于关闭投射所述结构光图案的时长。

本发明的有益效果是：

相比于现有技术，本发明可以同步对可见光图像的采集、目标深度图像的采集以及视觉运动追踪，并可以合成深度范围更大、空间分辩率更高的深度图像。

【附图说明】

图1是本发明一种实施例的组合摄像系统示意图

图2是本发明一种实施例的摄像装置的结构示意图

图3是本发明一种实施例的第一摄像装置的滤光片示意图

图4是本发明一种实施例的第二摄像装置的滤光片示意图

图5是本发明一种实施例的激光投影装置的投影时序图

图6是本发明一种实施例的移动终端示意图

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图1所示，一种实施例的组合摄像系统，包括第一摄像装置、第二摄像装置、激光投影装置、处理器和存储器，第一摄像装置为广角相机，第二摄像装置为长焦相机，处理器分别与第一摄像装置、第二摄像装置和激光投影装置电连接。

所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；所述第一摄像装置用于，同步采集所述共有视场中的第一可见光图像和第一不可见光图像；所述第二摄像装置用于，同步采集所述共有视场中的第二可见光图像和第二不可见光图像；所述处理器用于，利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并合成所述第一深度图像和第二深度图像得到第三深度图像，并利用所述第二可见光图像进行视觉运动追踪，存储器可以用于存储第一可见光图像、第一不可见光图像、第二可见光图像和第二不可见光图像。

图1中，FOV表示第一摄像装置和第二摄像装置的视角，激光投影装置的投射范围覆盖了第一摄像装置和第二摄像装置的共有视场。

如图2所示，摄像装置的典型结构示意图，包括图像传感器1、滤光片2和透镜3，光经过透镜3的汇聚再经过滤光片3后被图像传感器采集。滤光片2用于通过特定波长的光，图像传感器1用于将光转换为数字电信号。

普通的RGB相机采用的拜尔滤光片，滤光片具有与图像传感器像素数量相同并一一对应的滤光单元，拜尔滤光片具有用于分别通过红光、绿光以及蓝光的滤光单元，光经过某个滤光单元后入射到与该滤光单元对应的图像传感器的像素。考虑到人眼对绿光更加敏感，因此通常将三者的比例设置为R(25％):G(50％):B(25％)。

如图3所示，一种实施例中，第一摄像装置采用RGB-IR相机，其采用的滤光片与拜尔滤光片不同，本实施例的滤光片由四种不同的滤光单元组成，分别可以通过R、G、B以及红外光(IR)分量，四者的比例为R(25％):G(25％):B(25％):IR(25％)，通过采用这种滤光片2，第一摄像装置既可以采集可见光彩色图像，也可以采集不可见的红外光图像。当然，也可以采用其他不可见光的滤光单元替代IR滤光单元，以配合激光投影装置投射的其他不可见激光。本实施例的滤光片的各滤光单元的排列方式及各分量占比并非唯一，也可以有其他的排列及分布方式。

第一摄像装置中的图像传感器获取了各个分量(如R、G、B、IR)的光信息之后，由于每一光信息都只占有部分的像素，因而需要通过插值的方式恢复每个像素上的其他三种分量的光强度信息，从而最终实现同步获取RGB图像以及IR图像。插值的方法有多种，比如加权平均等，由于为已有技术因而在这里不加以详述。

如图4所示，在一个实施例中，第二摄像装置采用W-IR图像，用于同步获取目标区域的白光灰度图像以及红外IR图像。图4是一种实施例中第二摄像装置采用的滤光片，其中IR表示红外滤光单元，W表示白光过滤单元即透明单元，可以通过任何波长的光。广角相机也可以是RGB-IR相机，用于同步获取目标区域的彩色图像以及红外IR图像。

激光投影装置根据投射的结构光图案不同，其结构也不同。本实施例以散斑颗粒结构光图案为例来说明。激光投影装置一般由光源、准直透镜以及衍射光学元件(DOE)组成。本实施例中光源为红外激光，可以是单个的边发射激光光源，也可以是垂直腔面发射激光阵列光源。由于激光光源发出的光有一定的发散角，因而需要利用准直透镜进行准直以发射出焦距的光束。激光光束经DOE后被扩束成多束激光，并在空间中形成散斑颗粒图案。

在很多使用场景中，是在太阳光等光源的照射下采集图像的，这些光源往往包含有与激光投影装置所投射的不可见光相同的不可见光(如红外光)，这部分的光照会对采集的不可见光图像产生影响，特别是当光源较为强烈的情形下，会导致采集的不可见光图像对比度较低、噪声大等不利情形。在一个实施例中，通过控制激光投影装置间隔向共有视场投影结构光图案来消除这一不利影响。如图5所示，是一种实施例的激光投影装置的间隔投影时序图，比如在T1时间段关闭激光投影装置投影，并采集对应的不可见光图案I1，而在相邻的T2时间段打开激光投影装置投影，并采集对应的不可见光图案I2...以此类推。相邻时间段的间隔频率不大于不可见光图像的采集频率，即可以在一个时间段内仅采集一次不可见光图像，也可以采集多次不可见光图像。下面将以频率相同的情形来举例说明如何消除光源产生的不可见光对采集的不可见光图像的影响。

在T1时间段，激光投影装置关闭，获取的不可见光图像I1仅包含光源中的不可见光成分。在T2时间段，获取的不可见光图像I2则同时包含激光投影装置投射的不可见光成分以及光源的不可见光成分。一种处理方法是，假定相邻两个时间段内光源的光照没有变化以及被采集对象没有移动，此时可以通过红外差分法来消除影响：差分后的不可见光图像I2’＝I2-I1,这样不可见光图像I2’具有更高对比度。另一种处理方法中，可以利用前后至少两幅不可见光图像来做差分，比如：I2’＝I2-(I3+I1)/2。具体差分法处理方法还有多种。

由于激光投影装置在一段时间内是关闭的，因此在采集频率不变的条件下，总体获得的不可见光图像的数量减少，对后续计算深度图像造成一定影响。为了减少这种影响，在激光投影装置的开关周期中，设置投影打开时间段的长度大于投影关闭时间段的长度(例如T2大于T1)，来获取更高的不可见光图像的采集帧数。

在一个实施例中，一种图像获取方法，包括如下步骤：

S1、激光投影装置向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案。

S2、所述第一摄像装置同步采集所述共有视场中的第一可见光图像和第一不可见光图像，所述第二摄像装置同步采集所述共有视场中的第二可见光图像和第二不可见光图像。

S3、处理器利用所述第二可见光图像进行视觉运动追踪。

由于第一摄像装置为广角相机，优选地为鱼眼相机，因而采集到的第一可见光图像即为视场角接近180度的RGB图像，由于视场角较大，因而图像上有较之于普通长焦相机采集到的RGB图像更多的特征。处理器可以通过提取这些特征来实现视觉运动跟踪。

比如移动设备，像手机、平板等设备，在运动过程中通过广角相机拍摄RGB图像序列，利用处理器对序列中各图像进行特征提取及特征匹配，根据特征匹配结果反推移动设备的运动轨迹及角度变化，从而实现视觉运动追踪。

S4、处理器利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并合成所述第一深度图像和第二深度图像得到第三深度图像。

第一摄像装置与激光投影装置可以构成基于结构光三角法的深度测量单元，第二摄像装置与激光投影装置也可以构成独立的基于结构光三角法的深度测量单元。获取深度信息的原理是将采集到的不可见光图像与系统中存取的参考图像进行匹配计算获取像素偏离值，再通过三角测量原理利用像素偏离值与实际深度值的一一对应关系就可以获取目标空间的深度图像。这里的参考图像是通过采集距离深度相机已知深度值的平面上的不可见光图像而获取的。实际上，由于第一摄像装置与第二摄像装置的焦距不同，因而第一深度图像与第二深度图像可以被认为是两种深度采集模式：近距模式以及远距模式。

单一的摄像装置与激光投影装置组成的深度测量单元，由于拍摄视角的关系，仅能获取物体一侧的深度信息，比如对人体而言，若相机位于人体左侧，则右侧的数据会有丢失。因而可以进一步的利用获取的第一深度图像与第二深度图像进行合成，可以进行数据互补，得到的第三深度图像相对而言拥有更高的空间分辩率。另一方面，由于采用了广角及长焦相机的组合，获取的两幅深度图像深度范围不同、精度不同，通过合成可以获取精度更高、范围更大的深度图像。

如图6所示，一种实施例的含有本组合摄像系统的移动终端7，包括处理器、一摄像装置4、激光投影装置5和第二摄像装置6。第一摄像装置4、激光投影装置5和第二摄像装置6可以设置在移动终端的同一个表面上，激光投影装置5优选设置在第一摄像装置4和第二摄像装置6之间，第一摄像装置4、激光投影装置5和第二摄像装置6优选设置在同一条直线上。处理器等可以由移动终端内的CPU、专用处理器、微电子器件等中的一种或多种组成。移动终端可以是手机、平板、电脑等。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (10)

1.一种组合摄像系统，其特征是，包括第一摄像装置、第二摄像装置、激光投影装置和处理器；所述第一摄像装置为广角相机，所述第二摄像装置为长焦相机；

所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；

所述第一摄像装置用于，同步采集所述共有视场中的第一可见光图像和第一不可见光图像；

所述第二摄像装置用于，同步采集所述共有视场中的第二可见光图像和第二不可见光图像；

所述处理器用于，利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并合成所述第一深度图像和第二深度图像得到第三深度图像，并利用所述第二可见光图像进行视觉运动追踪；

所述第一摄像装置、第二摄像装置分别与激光投影装置构成基于结构光三角法的深度测量单元，所述第一深度图像和所述第二深度图像是基于将采集到的不可见光图像与参考图像进行计算而获取。

2.如权利要求1所述的组合摄像系统，其特征是，

所述激光投影装置用于交替地向所述共有视场投射所述结构光图案和关闭投射所述结构光图案；

所述第一摄像装置用于，在所述激光投影装置投射所述结构光图案期间采集第一一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第一二不可见光图像；所述第二摄像装置用于，在所述激光投影装置投射所述结构光图案期间采集第二一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二二不可见光图像；

所述处理器用于，利用所述第一一不可见光图像与第一二不可见光图像的差分图像计算所述第一深度图像，利用所述第二一不可见光图像与第二二不可见光图像的差分图像计算所述第二深度图像。

3.如权利要求1所述的组合摄像系统，其特征是，

在所述激光投影装置交替投射和关闭投射所述结构光图案的周期内，投射所述结构光图案的时长大于关闭投射所述结构光图案的时长。

4.如权利要求1所述的组合摄像系统，其特征是，

所述第一摄像装置的透镜焦距与所述第二摄像装置的透镜焦距不同。

5.如权利要求1所述的组合摄像系统，其特征是，

所述不可见激光为红外光激光。

6.如权利要求1所述的组合摄像系统，其特征是，

所述激光投影装置设置在所述第一摄像装置与第二摄像装置之间。

7.一种移动终端，其特征是，包括如权利要求1-6任一所述的组合摄像系统。

8.一种图像获取方法，其特征是，包括如下步骤：

投射步骤：激光投影装置向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；

采集步骤：所述第一摄像装置同步采集所述共有视场中的第一可见光图像和第一不可见光图像，所述第二摄像装置同步采集所述共有视场中的第二可见光图像和第二不可见光图像；其中，所述第一摄像装置为广角相机，所述第二摄像装置为长焦相机；

处理步骤：处理器利用所述第一不可见光图像计算第一深度图像，利用所述第二不可见光图像计算第二深度图像，并合成所述第一深度图像和第二深度图像得到第三深度图像，并利用所述第二可见光图像进行视觉运动追踪。

9.如权利要求8所述的图像获取方法，其特征是，

在所述投射步骤中：

所述激光投影装置交替地向所述共有视场投射所述结构光图案和关闭投射所述结构光图案；

在所述采集步骤中：

所述第一摄像装置在所述激光投影装置投射所述结构光图案期间采集第一一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第一二不可见光图像；所述第二摄像装置在所述激光投影装置投射所述结构光图案期间采集第二一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二二不可见光图像；

在所述处理步骤中：

所述处理器利用所述第一一不可见光图像与第一二不可见光图像的差分图像计算所述第一深度图像，利用所述第二一不可见光图像与第二二不可见光图像的差分图像计算所述第二深度图像。

10.如权利要求9所述的图像获取方法，其特征是，

在所述激光投影装置交替投射和关闭投射所述结构光图案的周期内，投射所述结构光图案的时长大于关闭投射所述结构光图案的时长。