CN105991990A - 3d信息获取设备、3d信息获取方法、成像设备及电子设备 - Google Patents

Abstract

本公开提供一种3D信息获取设备、3D信息获取方法、成像设备以及电子设备。该光信号接收设备包括：滤光器，具有分别用于预先从来自被摄物体的光中分离出波长不同的第一组光和第二组光的第一区域和第二区域；以及光电传感组件，其具有与第一区域和第二区域对应的第一光感测区域和第二光感测区域，用于分别感测第一组光以及第二组光。第一组光和第二组光分别在确定被摄物体的空间视角信息和深度信息时使用。根据本公开，通过滤光器获取的两组光，能够更加精确地得到图像深度信息以及具有较高空间分辨率的被摄物图像，从而可以得到较为精确的三维位置信息，并重构更加精确和清晰的三维图像。

Description

3D信息获取设备、3D信息获取方法、成像设备及电子设备

技术领域

本公开的实施方式涉及成像技术，更具体地涉及一种用于获取被摄物体的三维(3D)信息设备、用于获取被摄物体的三维信息的方法、包括所述设备的成像设备以及包括所述成像设备的电子设备。

背景技术

人类在视觉上可以直观感知的客观世界是三维的，其可以使用例如由相互正交的x轴、y轴和z轴所构成的笛卡尔坐标系来表示。通常为了方便起见，可以将该三维笛卡尔坐标系的原点视作是视点的位置，例如相机系统中的光心的位置，如图 1所示。

当前的主流成像设备大多采用投影成像的原理，其将三维的客观世界投影到二维的传感器件进行成像。然而，这种投影成像技术在传感器件上形成的图像是二维图像。这意味着丢失了深度维度(z轴)的信息，即传感器上形成的图像仅用二维的平面坐标系(x，y)表示，如图 1所示。因而，如果被摄物体并未处于理想的对焦范围(即景深范围)内，形成的图像可能会出现模糊，造成感官上不舒服等各种问题。

为此，在本领域中已经开始研究和探索三维成像技术。目前，用于获取被摄物体的深度信息的深度视频捕获技术主要包括主动式技术和被动式技术。根据主动式技术，将向被摄物体主动发射探测光线，接收由被摄物体反射回来的探测光线，并且对反射的光线进行分析，从而确定出深度信息。主动式成像技术例如包括激光扫描法、飞行时间(TOF)法、结构光原理等。然而，由于受到所发射的光和被摄物体自身的特性的影响，有时还是无法基于主动式成像技术来得到令人满意的图像。特别是对于高速运动的物体，难以得到准确的图像。被 动式技术与前述的主动式技术不同，它不需要从设备自身发出探测光线，而是通过对从被摄物体反射来的场景中的自然光或人造光源的光进行“编码”，来获取被摄场景的深度信息。被动式技术的示例包括例如光圈编码(即编码曝光)技术、光场相机等。

通常，主动式技术以获得深度信息为目的，而被动式技术可以同时获得被摄物体的像以及深度信息两者。然而，由于相邻像素点之间点的点扩散函数(PSF)不同，运用光圈编码技术的深度恢复方法会引起混叠，从而影响到对每个像素的点扩散函数的精确估计。此外，虽然被动式成像克服了主动式技术共有的缺点，但由于被动式相机进光量小，并且每个深度层只能使用传感器中一个较小的区域，因此其图像的空间分辨率与一个单独的大透镜方案相比要小许多。而对于光场相机而言，由于其中配置的微透镜个数有限，其只能形成一定量的深度层数的图像，这也意味着其成像精度较低。

发明内容

有鉴于此，本公开提供了一种改进的三维成像技术，以克服或者缓解现有技术的三维成像技术所存在的至少一部分缺陷。

根据本公开的第一方面，提供了一种用于获取被摄物体的三维信息的设备。该设备包括滤光器，该滤光器具有分别用于预先从来自被摄物体的光中分离出第一组光和第二组光的第一区域和第二区域，所述第一组光的波长不同于所述第二组光的波长；以及光电传感组件，所述光电传感器具有与所述第一区域和所述第二区域对应的第一光感测区域和第二光感测区域，用于分别感测所述第一组光以及所述第二组光。感测的所述第一组光被配置用于在确定所述被摄物体的空间视角信息时使用，感测的所述第二组光被配置用于在确定所述被摄物体的深度信息时使用。而且进一步地，可以基于所述空间视角信息和所述深度来构建所述被摄物体的三维位置信息。

在根据本公开的另一方面，提供了一种用于获取被摄物体的三维信息的方法。该方法包括：从来自被摄物体的光中分离出第一组光和 第二组光，其中所述第一组光的波长不同于所述第二组光的波长；采用单个光电传感器组件来感测所述第一组光以及所述第二组光；根据感测的所述第一组光确定被摄物体的空间视角信息；根据感测的所述第二组光确定被摄物体的深度信息；以及根据所述空间视角信息和所述深度信息，构建所述被摄物体的三维位置信息。

根据本公开的再一方面，提供了一种成像设备。该成像设备包括根据上述本公开的方面所描述用于接收被摄物体的光信号的设备。

根据本公开的又一方面，提供了一种电子设备。该电子设备包括根据上述本公开的方面所描述的成像设备。

根据本公开的实施方式，通过使用滤光器获取的分别用于确定空间视角信息和深度信息的两组光，能够得到精度更高的图像深度信息以及具有较高空间分辨率的被摄物图像，从而可以得到更加精确的三维位置信息，以便得到更加精确的三维图像。

附图说明

结合附图并参考以下详细说明，本公开各个实施方式的特征、优点及其他方面将变得更加明显。贯穿整个附图，相同附图标记指示相同或者相似元件或部件，且在附图中：

图 1示意性地示出了现有技术中的二维投影成像原理的示意图；

图 2A和图 2B示意性地示出根据本公开的一个实施方式用于获取被摄物体的三维信息的系统的示意图；

图 3示意性地示出了光圈编码技术的示意图；

图 4A示意性地示出了以获取精确的去失焦模糊图像为目标时的优化透光孔图板样式的示意图；

图 4B示意性地示出了现有技术中的示例透光孔图板式样的示意图；

图 4C示意性地示出了以获取精确的去失焦模糊图像为目标时示例的优化透光孔图板的频域性质的曲线图；

图 5A和图 5B示意性地示出了以获取精确的场景深度信息为目标 时确定的优化透光孔图板式样的示意图；

图 5C和5D示意性地示出了获取场景深度信息时普通光圈下的模糊核频域特性与经最优透光孔图板编码后的光圈下的模糊核频域特性；

图 6A至图 6R示意性地示出了现有技术中的各种滤光单元以及基于其而构建的本公开的滤光单元；

图 7A至图 7H示意性地示出了由多个滤光单元构成的m×n的复合滤光组件；

图 8示意性地示出了光圈编码技术中的深度层标定的示例结果；

图 9A至图 9D示意性地示出了经过去失焦模糊后得到的示例性结果图像的图示；

图 10示意性地示出了所确定的深度信息的效果图；

图 11示意性地示出了根据本发明的用于获取被摄物体的三维信息的方法的示意图；以及

图 12A至图 12D示意性地示出了根据本发明的其他实施方式的光信号接收系统的示意图。

具体实施方式

在下文中，将参考附图详细描述本公开的各个示例性实施方式。应当注意，这些附图和描述涉及的仅仅是作为示例的优选实施方式。应该指出的是，根据本公开的教导，本领域技术人员能够容易地设想出此处公开的结构和方法的替换实施方式，并且可以在不脱离本公开要求保护的公开的原理的情况下使用这些替代实施方式。

应当理解，给出这些示例性实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。

接下来，将首先参考图 2A和图 2B来描述根据本公开的一个实施方式的3D信息获取系统的示意图。如图 2A所示，整个3D信息获取系统200包括被摄物体210，以及3D信息获取装置220。被摄物体 210可以是位于现实世界的三维空间中的任何将被拍摄的物体。所示出的3D信息获取装置220可以包括四个部分，即，深度信息捕获部分222、滤光器组件224、光电传感器组件226以及信号处理器228。

深度信息捕获部分222是用于初始接收来自被摄物体的光并获得用于计算深度信息的光信号的组件，例如成像设备的镜头组件。其可以是现有技术中任何适当的深度信息捕获部分，诸如其可以是基于编码光圈、光场相机、TOF相机、激光扫描以及结构光技术的组件中的任何一种。也就是说，该深度信息捕获部分222可以包括若干实施方式，诸如基于光圈编码(Coded Aperture)技术的实施方式、基于光场相机的实施方式、基于结构光技术的实施方式、基于TOF的实施方式、基于激光扫描技术的实施方式等等。尽管如上所述深度信息捕获部分222可以基于以上技术其中任何一种，但是接下来将主要参考光圈编码技术来描述根据本公开的实施方式。

光圈编码技术是一种被动式深度视频捕获技术，其通过利用编码图案对普通光圈进行修饰来实现对光圈进行编码的目的。如图 3所示，可以在光圈处插入一个编码图案。这样，当被摄物体位于在不同深度层时，就可以得到不同的模糊核信息，并据此推算出被摄物体的深度信息。

如图 2A所示，基于光圈编码技术的深度信息捕获部分222可以包括透镜组合，该透镜组合包括透镜222-1，222-2，222-4。然而需要说明的是，示出的三个透镜只是出于示意的目的，而并非是对本公开的限制。事实上，镜头中包括的透镜的实际数目及其组合方式可能会非常不同。此外，在透镜222-3和222-4之间还包括光圈222-3。在光圈处原有的光圈叶片由对应的具有编码图案的透光孔图板所取代。然而需要说明的是，本发明并不局限于此，相反也有可能将透光孔图板布置在其他位置，只要能够实现对光的编码即可。

根据本公开的实施方式，将使用由透镜组件接收到的一组光来确定被摄物体的空间视角信息，而使用有透镜组件接收到的另一组光来确定被摄物体的深度信息。因此，为了使得根据本公开的3D信息获 取装置220能够不损失被摄物体的二维像的空间分辨率，可以优选地使用能够至少部分地将第一组光和第二组光以外的光滤掉的材料来制造透光孔图板。这样，就可以预先滤除不相关的光，从而减少他们对光电传感器组件的干扰。此外，为了使得不因使用光圈而造成被摄物二维像的质量损失，更进一步优选地，使用如下材料来制造透光孔图板，该材料能够使第一组光基本全部透过该透光孔图板，以便得到不损失空间分辨率的被摄物的二维像；同时使第二组光只能经由该透光孔图板的孔洞处通过，由此可以基于第二组光经由透光孔图板所形成的模糊核来确定深度信息。例如，对于第二组光是紫外波段的光的情形，透光孔图板可以采用石英材料。这样，用于形成二维像的第一组光不会受到透光孔图板的影响，因而形成的图像与并未采用透光孔图板时的图像具有基本相同的质量。此外，也可以考虑在透光孔图板上涂覆这样的材料，而无需用这样的材料来制造透光孔图板。

另外，为了预先滤除第一组光和第二组光以外的光，也可以考虑附加的滤光片，诸如像图 2B中示出的滤光片组件230-3，来滤除第一组光和第二组光以外的光，该滤光片组件230-3可以被置于所述透光孔图板的前面，优选地放置在所述深度信息捕获部分222与所述被摄物体210之间，以便在光进入深度信息捕获部分222之前即滤除第一组光和第二组光以外的光。

此外，该3D信息获取装置220还可以进一步包括掩膜230-1，该掩膜230-1可以被放置于被摄物体210与所述透光孔图板之间。在掩模上230-1可以包括多个通光孔径，用于对来自被摄物的光进行稀疏采样。如前所述，由于相邻像素点之间点的PSF不同，运用光圈编码技术的深度恢复方法会引起混叠，从而影响到对每个像素的点扩散函数的精确估计。而根据本公开，通过利用掩膜230-1对来自被摄物体的光进行稀疏采样，可以使得使被摄物体上处于相同深度层上的相邻物点在像平面上相应的弥散斑(即所述的点扩散函数)被区分开。

此外，该3D信息获取装置220还可以包括与掩膜230-1配合使用的透镜230-2。当3D信息获取装置220与被摄物体210的距离较 近时，如希望采用掩膜230-1首先对来自被摄物的光进行稀疏采样，可以将掩膜230-1直接贴近被摄物体210，然后使得来自被摄物的被稀疏采样的光则直接传至所述的透光孔图板。然而，当3D信息获取装置220与被摄物的距离较远时，可以在被摄物体与掩膜之间靠近掩膜230-1的位置设置一个或一组透镜230-2。这样，就可以首先使用透镜230-2来接收来自被摄物的光，然后采用掩膜对来自被摄物的光进行稀疏采样，从而使来自被摄物体的光可以通过掩膜传至所述的透光孔图板。

在本公开的实施方式中，在深度信息捕获装置的光学孔径显著地大于光电传感器的尺寸时，可以在透光孔图板与所述的滤光器组件之间设置一个或一组聚焦透镜，用于将通过所述透光孔图板的光聚焦到所述的光电传感器。这样，可以使得深度信息捕获装置的尺寸与光电传感器的尺寸相匹配。此外，为了增强来自被摄物体的光的强度，还可以有利地使用辅助光源。通过利用辅助光源，来自被摄物体的光强度可以得到显著增加，从而有助于对被摄物体深度信息的获取。该辅助光源可以是新增加的光源设备，也可以利用现有成像设备中的光源设备，例如，测距灯、闪光灯等。

根据本公开的实施方式，可以根据不同的应用需求，来选择具有不同性能要求的透光孔图板。这些需求例如可以是获得较为精确的重聚焦图像(即去失焦模糊图像)，也可以是获得较为精确的场景深度信息，还可以是同时获得场景的深度信息和重聚焦的图像两者。接下来将介绍如何针对不同需求选择适当的透光孔图板。

主要需求是获取较为精确的去失焦模糊图像

对于主要需求是获取较为精确的去失焦模糊图像的情形，选择透光孔图板时可以考虑下列因素：

透光孔图板的整体尺寸，其应与镜头在最大或在环境光照条件下适合的光圈相匹配。

透光孔图板的空间分辨率，应采用较低空间分辨率以避免产生 强烈的衍射效应，并使得去失焦模糊得到的图像的精确度可以接受。例如，在实际应用中，可以将透光孔图板的空间分辨率设定为13×13。

透光孔图板的透射比值，该透射比值应该介于0和1之间。在确定透射比值时，为降低运算复杂度，可以采用一些已有技术的算法，例如由纽约哥伦比亚大学的Changyin Zhou，Shree Nayar在“What are Good Apertures for Defoucus Deblurring？”文献中提出的遗传算法，剑桥大学的三菱电子研究实验室，美国西北大学Ashok Veeraraghavan，Amit Agrawal，Ankit Mohan等人在2007年发表的Dappled Photography：Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing文献中所采用的梯度下降优化法，以获得较优的透光孔图板样式。

透光孔图板上的孔洞样式：圆形(例如普通的光圈)、圆环形、矩形或方形以及不规则的形状等。

选择透光孔图板上孔洞的稀疏程度、尺寸大小及分布。根据所考虑的影响最优化透光孔图板的因素不同，最终用于得到去失焦模糊图像的优化透光孔图板对应的孔洞稀疏程度、尺寸大小及分布情况不同。例如，根据哥伦比亚大学的Changyin Zhou，Shree Nayar所提出的遗传算法，可以将不同程度下的图像噪声作为影响获取最优化透光孔图板的主要因素，这可以得到如图 4A所示的优化透光孔式样。图 4A是不同噪声水平下的去失焦模糊时对应的优化透光孔图板样式，而图 4B示出了现有技术中的透光孔图板样式的实施例。从图 4A可以看出，随着噪声的增加，推算出的优化透光孔图板样式的结构越简单。同时，所对应于每个噪声水平下的，最优化的透光孔图板上孔洞的稀疏程度、尺寸大小及分布情况也不同。而基于Ashok Veeraraghavan等人太提出的梯度下降优化算法得到的透光孔图板在频域上需要具有较大的频带宽度，如图 4B中的透光孔图板样式Veeraraghavan所示。

透光孔图板的频域性质。要从失焦模糊的图像中经反卷积获得相比于聚焦图像具有较高精度的图像，就需要在失焦模糊的图像中保留有被摄场景的较多的高频信息。已知的是，失焦模糊图像y的形成 可以被看作是精确聚焦的图像x与由透光孔图板样式决定的模糊核f两者的卷积得到的，即有：y＝f*x(此处的‘*’代表卷积符号)。由傅里叶变换理论可知，在频域中，失焦模糊图像的频域信息Y是模糊核的频域信息F与精确聚焦图像的频域信息X的乘积，即有：Y＝FX。因此，要想失焦模糊图像y中保留有足够的高频信息，那么模糊核f在频域中就要有较宽的频带，保证对应于高频处其功率谱值也远大于零。即要求所选用的透光孔图板在频域上需要具有上述所说的性质。图 4C示出了分别对应不同的噪声水平σ＝0.001和σ＝0.01的去失焦模糊时最优透光孔图板的频域性质曲线。为了得到精确度较高的去失焦模糊的图像，所对应使用的最优透光孔图板样式在频域上，应该具有较宽的频带，以便保留足够的高频信息。虽然因噪声水平不同，对应推算得到的最优透光孔图板样式也不相同，但均体现出了具有较宽的频带的性质。并且，随着噪声水平的提高，所对应的最优透光孔图板样式的结构较为简单。另外，从图 4C可以看出，在相同频率下，在高噪声水平下对高频信息的保留相比于低噪声水平时有所降低。

获取去失焦模糊图像的算法。根据获取优化透光孔图板的不同算法，可以选择不同的去失焦模糊算法。具体地，例如对于Changyin Zhou，Shree Nayar提出的以图像的噪声水平作为推算最优化透光孔图板样式的重要因素的情况下，可以将反卷积算法选择为维纳反卷积算法(Wiener deconvolution)其公式如下：

(式1)

其中，F为失焦模糊图像的频域信息，K为光圈信息的频域形式，为K的共轭值，σ为噪声水平，为估算出的去失焦模糊图像的频域信息。而对于采用例如Anat Lvein等人从频域的角度考虑最优化透光孔图板样式的选取的情况下，则可以采用Kullback-Leibler(KL)发散(divergence)算法作为选取的准则，而对应采用的去失焦模糊算法可以为共轭梯度算法并且可以将图像的稀疏先验信息考虑在内。另外，对于采用Ashok Veeraraghavan等人提出的优化透光孔图板样式 选择的情况下，则可以采用如下去失焦模糊的算法，其公式可以表示如下：

I(x，y)＝s(x，y)/γ(x，y) (式2)

其中，I(x，y)为恢复的去失焦模糊的图像，s(x，y)为拍摄到的失焦模糊的图像，γ(x，y)为先验信息。

主要目的是获取较为精确的场景深度信息

对于主要目的是获取较为精确的场景深度信息的情形，可以通过考虑并权衡下列要素来确定优化的透光孔图板式样。

透光孔图板的整体尺寸。类似地，其应该与镜头的最大光圈相符合。

光圈。不使用到完整的光圈，这是因为透光孔图板的引入使得光圈不会被完全利用，以防止光线发生畸变。

透光孔图板的空间分辨率。应该使透光孔图板的空间分辨率较低，以避免产生强烈的衍射效应。

透光孔图板的透射比值：应该介于0和1两种情况之间。类似地在确定透射比值时，为降低运算复杂度，可以采用如前针对主要需求是获取较为精确的去失焦模糊图像的情况所描述的一些已有技术算法。

透光孔图板上的孔洞样式。孔洞可以为圆形(例如普通的光圈)、圆环形、矩形或方形以及其它任何不规则的形状等。

透光孔图板上孔洞的稀疏程度、尺寸大小及分布情况。根据所考虑的影响最优化透光孔图板的因素不同，最终用于得到去失焦模糊图像的优化透光孔图板对应的孔洞稀疏程度、尺寸大小及分布情况不同。例如，如果采用由Changyin Zhou，Shree Nayar所提出的遗传算法，将不同程度下的图像噪声作为影响获取最优化透光孔图板的主要因素，则可以得到如图 5A所示的优的透光孔图板式样，而基于Ashok Veeraraghavan等人提出的梯度下降优化算法，则得到的透光孔图板在频域上需要具有较大的频带宽度，如图 5B中所示。

透光孔图板的频域性质：与得到去失焦模糊的图像不同，要想获得较为精确的场景深度信息，所用的透光孔图板在频域上需表现出较多的、清晰的、易于区分的零点，即所谓的交叉零点。而不能表现出有较宽的频带特性。图 5C和5D示出了获取场景深度信息时普通光圈下的模糊核频域特性与经最优透光孔图板编码后的光圈下的模糊核频域特性的对比，其分别是由普通圆形光圈得到的三个不同尺寸的模糊核的频域曲线和经由Levin提出的透光孔图板编码后的光圈得到的三个不同尺寸的模糊核的频域曲线。从图中可以看出得到的模糊核的尺寸越大，其对应的频域特性曲线的交叉零点越多，并且对应的功率谱主瓣的值也越大。每个尺寸的模糊核代表着一个与之相对应的场景深度。而且如图 5D所示，与获取去失焦模糊的图像时不同，想要获得较为精确的场景深度信息，所对应的由最优透光孔图板得到的模糊核在频域上，具有较多的清晰的交叉零点，并且相邻两波峰之间的差值较大。而图 5C所示的普通圆形光圈得到的模糊核的频域曲线中，不同尺寸的模糊核在频域上所具有的交叉零点重叠在一起，交叉零点不够清晰，并且相邻两波峰之间的差值较小。因而在深度层的获取时，采用传统光圈很难将相邻的两深度层区别开，这大大降低了获取的场景深度信息的精度。

获取场景深度信息的算法。可以理解，根据使用的透光孔图板样式的不同，可以选择不同的场景深度信息算法。

对于以上所述的两种不同的需求，各自对应的最优透光孔图板式样的最大不同是它们在频域上所表现出来的不同特性。具体地，想要获得精确度较高的去失焦模糊的图像，所用的透光孔图板的功率谱在频域上就要有较大的频带宽度。想要获得精确的场景深度信息，所用的透光孔图板的功率谱在频域上就要有较多的、清晰的并且易于区分的零点。

另外，如果想同时获取场景的深度信息和去失焦模糊的图像，根据前述的情况，可以获知所用的透光孔图板的功率谱，在频域上既要有较宽的频带范围，以保证能够获得较为精确的去失焦模糊的图像， 同时又要有较多的、清晰的并且易于区分的零点，以保证能够获得较为精确的场景深度信息。但是，所述的两点要求之间是彼此矛盾的，实际中不可能同时满足这两点要求。一个折衷的做法是，通过将所用的较优的，以获取场景深度信息的透光孔图板设计成具有空间对称性质的样式，来满足同时获取场景深度信息和去失焦模糊图像的需求。对称性的设计是为了保留较多的高频信息。而且在获取场景深度的过程中还可以获得全聚焦的图像。

因此，对于以同时获得场景深度信息和去失焦模糊的图像为目的的情形，优选地将本公开的透光孔图板设计成具有空间对称性质的样式。除此之外，在以获取较为精确的场景深度信息为目的的情形中，还应包括对所述透光孔图板所要求的那些特征。

来自被摄物体的光经过透光孔图板后，将会经过滤光器组件224。该滤光器组件与现有技术中的滤光器组件不同，其将会分离出分别用于空间视角信息和深度信息的第一组光和第二组光。下面，将参考图 6A至图 7H详细地描述本公开的3D信息获取装置中的滤光单元、滤光器组件和光电传感器组件。在根据公开的实施方式中，滤光器组件包括至少两个区域，即第一区域和第二区域，每个区域被配置为接收与另一区域不同的光。具体地，第一区域被配置为从来自所述被摄物体的光中分离出可见光的至少一部分以作为所述第一组光。同时，相应地，光电传感组件具有与所述第一区域和所述第二区域对应的第一光感测区域和第二光感测区域，用于分别感测通过滤光器组件而到达所述光电传感器的第一组光以及第二组光。第一组光可以是包括诸如红、绿和蓝的多个单色光的组合，或者可以是包括一个特定波长范围内的光，即窄带光。第二组光也可以是单色光，诸如橙色、紫色光、红外光、紫外光、X射线、伽马射线其中的至少一个，或者也可以是包括一个特定波长范围内的但与所述第一组光的光谱范围不产生重叠的窄带光。换句话讲，适当选择第一组光和第二组光使得两者之间没有干扰并能够满足目标信息的获取即可。

在根据本发明的实施方式中，所述滤光器组件的第一区域例如可 以包括至少相邻的三个子区域，各子区域分别用于接收不同波长的光波，例如红、绿和蓝光(即构成常见的RGB可见光单元阵列)。相应地，所述光电传感器组件也具有对应的三个子感测区域，而且其可以是在一个集成区域中划分出的三个彼此独立的子区，也可以为由三个独立的感光单元所组成的一个滤光器。

所述第二区域被配置为预先从来自被摄物体的光中分离出波长与所述至少一部分不同的所述可见光的第二部分或者不可见光以作为所述第二组光。所述的第二区域可以包括至少一个子区域。每个子区域被用于接收一组波长显著有别于第一区域中各色光的光。其中，第二区域只包括用于接收一种光的子区域是优选的方案。在这种方案中，如果所述的第一区域被用于接收RGB三色光，第二区域例如可被设计用于接收同样在可见光范围内的橙色、褐色、紫色光其中至少一种，或者作为不可见光的红外光、紫外光、X射线、伽马光其中至少一种。相应地，所述光电传感器组件也具有对应的感测区域(第二感测区域)，而且第二感测区域中用于接收第二组光的相应的子区域可以为一个单块的感光区域，也可以为多个分布开来的多块基本的感光单元区域。

所述的这些基本感光单元区域中的每一个与同组中的其它感光单元区域一样，都用于接收特定波长的光，并将光信号转换为电信号。光电传感单元的后端通过适当的布线，将所有这些同类感光单元区域的光集成为一个光信号，即代表所述的第二组光的光信号。在实际中，优选的方式为将同一类感光单元区域被集中在一起，这样可以使后端的处理器布线更为容易。

在下文中，将描述滤光器设计的若干示例实施方式，然而本领域技术人员可以理解的是，本公开并不局限于此，而是可以根据此处给出的实施方式设计出许多变型。此外，还需理解的是，光电传感器组件也具有与滤光器设计相应的感测区域。

滤光单元以及滤光器组件的设计

根据本公开的滤光器组件，其包括两个区域，其中各区域中所通过的光的波长与另外的一个区域中所通过的光的波长较易为观察者分辨开。采用这种设计，可以对例如本公开的相机工作范围内的被摄区域进行监视。当有一个活动物体出现在该区域，或者通过该区域时，到达并且离开滤光器的、代表所述活动物体的光线与无活动物体时相应的光线条件会显著地不同。此外，还可以将所述相机设计为具有相应的提示和/或报警功能。

接下来，将参考图 6A至图 6R描述可以在本公开的滤光器中使用的滤光单元的设计。

图 6A示出了现有技术中采用的传统拜耳滤光器的滤光单元RGGB，其是基于R(红)、G(绿)、B(兰)三原色，这是在现有彩色数码相机中广泛采用的基本滤光单元。如图 6A所示，其由一个2×2滤光元素阵列所构成，第一行从左向右可以分别为“R”和“G”，第二行由左向右分别为“G”和“B”。图 6B示出了基于此滤光单元而构建的本公开的RGBX滤光单元。如图 6B所示，滤光元素阵列与前述现有技术的拜耳滤光器RGGB的阵列类似，但是其第一行为“R”和“X”，即第一行第2列的“G”被“X”所取代。在本公开中，“X”用于表示滤光器中第二区域接收的、特定颜色和波长的光，其波长例如可以显著区别于第一区域中各个子区域所接收的名色光的波长。在第一组光为RGB的情况下，“X”光例如可以为红外光、紫外光、X射线、伽马光等，或其它与所采用的红、绿、蓝三种光同时出现时较容易为观察者所分辨开的光，例如橙色、褐色、紫色光等。此外，需要说明的是，第一组光并不局限于RGB，而是可以包括例如R、G、B、E(翠绿色)、C(青色)、Y(黄色)、M(品红)、W(白色)其中的任意适当组合。下面将描述其他可使用的滤光单元的示例。

图 6C示出了现有的CYYM滤光单元，其基于青色、黄色、和品红三种颜色。图 6D示出了基于现有技术的CYYM滤光单元而构建的根据本公开的CYMX滤光单元，其中该滤光单元与现有的CYYM滤光单元类似，但是在2×2滤光元素阵列中，第一行的第二个颜色“Y” 色被替换为“X”。这样形成了第一区域用于接收C、Y、M的光以及第二区域用于接收X的光的滤光单元。

图 6E示出了现有的CYGM滤光单元，其基于青色、黄色、绿色和品红四种颜色。图 6F示出了基于现有技术的CYGM滤光单元而构建的根据本公开的CYMX滤光单元，其中该滤光单元与现有的CYGM滤光单元类似，但是在2×2滤光元素阵列中，第二行的第一个颜色“G”色被替换为“X”。因此，这形成了第一区域用于接收C、Y、M的光以及第二区域用于接收X的光的滤光单元。

图 6G示出了现有的RGBW滤光单元，其基于红色、绿色、蓝色和白色四种颜色。图 6H示出了基于RGBW滤光单元而构建的根据本公开的RGBX滤光单元，其中该滤光单元与现有的RGBW滤光单元类似，但是在2×2滤光元素阵列中，第一行的第二个颜色“W”色被替换为“X”。因此，这形成了第一区域用于接收R、G、B的光以及第二区域用于接收X的光的滤光单元。

图 6I示出了现有的RGBE滤光单元，其基于红色、绿色、蓝色和翠绿色四种颜色。图 6H示出了基于RGBE滤光单元而构建的根据本公开的RGBX滤光单元，其中该滤光单元与现有的RGBE滤光单元类似，但是在2×2滤光元素阵列中，第一行的第二个颜色“E”色被替换为“X”。从而形成了第一区域用于接收R、G、B的光以及第二区域用于接收X的光的滤光单元。

图 6K和图 6L示出了现有的RGBW#1滤光单元和基于此构建的RGBWX滤光单元。如图 6L所示，第二行的第二和第四个元素以及第四行的第二和第四个元素被替换为“X”而不是原有的“W”。

图 6M和图 6N示出了现有的RGBW#2滤光单元和基于此构建的RGBWX滤光单元。如图 6N所示，第二行的第二和第四个元素以及第四行的第二和第四个元素被替换为“X”而不是原有的“W”。

图 6O和图 6P示出了现有的RGBW#3滤光单元和基于此构建的RGBWX滤光单元。如图 6P所示，第一行的第四个元素以及第二行的第二个元素被替换为“X”而不是原有的W。

图 6Q和图 6R示出了现有的另一RGB滤光单元和基于此构建的RGBX滤光单元。如图 6R所示，第一行的第一个和第三个元素、第二行的第五元素、第三行的第一和第三元素、第四行的第四元素以及第六元素、第五行的第二元素以及第六行第四和第六元素被替换为“X色”，而是原有的“G”。

此处需要本领域技术人员注意的是，根据本公开的教导，本领域技术人员也可以选择现有技术中除图 6A至图 6Q示例之外的具有其他结构或布局的滤光单元为基础，构建出具有本公开所述的滤光器特征的滤光单元(或滤光器)。

在本公开中使用的滤光器组件例如单个滤光单元，或者由若干个基本滤光单元沿平面周期性延伸而构成的复合滤光器组件。该基本滤光单元例如可以是如图 6A至图 6R中示出的各种滤光单元，通过使他们在二维平面上周期性地延伸，形成一个由m×n个滤光单元所组成的滤光组件。出于说明的目的，在图 7A至图 7H中示出了根据本公开的实施方式的示例性复合滤光器组件的结构示意图。

图 7A示出了基于在本公开中构建的RGBX滤光单元而形成的m×n的复合滤光器组件，其由多个2×2的RGBX滤光单元在二维平面上周期性地延伸而形成。图 7B示出了基于在本公开中构建的

CYMX滤光单元而形成的m×n的复合滤光器组件，其由多个2×2的CYMX滤光单元在二维平面上周期性地延伸而形成。图 7C示出了基于在本公开中构建的CGMX滤光单元而形成的m×n的复合滤光器组件，其由多个2×2的CGMX滤光单元在二维平面上周期性地延伸而形成。图 7D示出了基于在本公开中构建的REBX滤光单元而形成的m×n的复合滤光器组件，其由多个2×2的REBX滤光单元在二维平面上周期性地延伸而形成。图 7E示出了基于在本公开中构建的RGBWX滤光单元而形成的m×n的复合滤光器组件，其由多个4×4的RGBWX滤光单元在二维平面上周期性地延伸而形成。图 7F示出了基于在本公开中构建的另一RGBWX滤光单元而形成的m×n的复合滤光器组件，其也是由多个4×4的RGBWX滤光单元在二维平面 上周期性地延伸而形成。图 7G示出了基于在本公开中构建的又一RGBWX滤光单元而形成的m×n的复合滤光器组件，其是由多个2×4的RGBWX滤光单元在二维平面上周期性地延伸而形成。图 7H示出了基于在本公开中构建的另一RGBX滤光单元而形成的m×n的复合滤光器组件，其是由多个6×6的RGBX滤光单元在二维平面上周期性地延伸而形成。

然而，本领域技术人员可以理解的是，上面示出的复合滤光器组件仅仅是出于说明的目的，本公开并不局限于此，而是还可以根据此处公开的教导构建出任何其他适当的复合滤光器组件。

光电传感器组件

在本公开中使用的光电传感器组件将会把来自滤光器的对应区域的光信号转换为电信号。具体地，该光电传感器可以记录到达其上的相应光信号的强弱，并输出的相应的数据值。该数据值通常均处于一个有限的变化范围内，例如在[0 255]。例如，在采用RGBX滤光单元的情况下，光电传感器组件具有包括R(红色)、G(绿色)、B(蓝色)子区域的第一感测区域，以及X色的第二感测区域。第一感测区域包括的三个子区域分别只对与自身波长相同的光有响应。更具体地，在RGBX的情况下，R(红色)只对红光有响应，G(绿色)只对绿光有响应，B(蓝色)只对蓝光有响应，他们中的任何一个对X色光均无任何响应。用于X色的第二感测区域也只对其自身所代表的X光有响应，而对所述的R(红色)、G(绿色)、B(蓝色)三色光无任何响应。

此处所提及术语“响应”是指在经过滤光器组件的光到达光电传感器后，光电传感器会将相应地将接收到的光信号转换成电信号。而如果入射光是与感测子区域所对应的颜色不同的颜色，即使被所述的光信号被传导至光电传感器，光电传感器也不会将其转换成电信号，也就是说光电传感器不对其做任何处理。

通过这样的方式，就可以将通过滤光器的第一组光和第二组光的 光信息记录下来，并将其传送到后面连接的信息处理器228，以进行进一步的处理。

空间视角信息和深度信息确定

处理器可以根据感测到的第一组光得到被摄物体的空间视角信息，并根据感测到的第二组光得到被摄物体的深度信息。基于来自然光的光信息获取空间视角信息，即被摄物体的二维图像，这是本领域中已知的技术。例如可以基于现有技术中的光圈编码相机中采用的利用自然光形成二维像的技术和算法来基于第二组光确定空间视角信息。为了不使用不必要的细节模糊本公开，将不对此进行详细描述。

基于来自第二组光来获取光信息，也可以通过若干方式来实现。在下文中出于说明的目的，将会参考示例对基于光圈编码技术的深度信息确定进行详细描述。

在采用编码光圈技术对场景深度信息进行获取时，首先要对被摄场景中不同的深度层进行标定，以提前获得各个深度层上对应的模糊核(即点扩散函数PSF)的大小。模糊核信息可以是在暗室条件的各个深度层上对应的模糊核(即PSF)信息。这例如可以通过利用根据本公开的成像系统，对点光源进行拍摄来获取不同场景深度下对应的模糊核(PSF)信息。此处的点光源所发出的光可以是与X色的光对应的单色光，也可以是包含有X色光的一个窄带光，同时X光之外而其它波段的光可以被编码掩模或前置滤光片滤除，不至于对光电传感器的第二区域的感应造成干扰。

可以理解的是，对点光源进行拍摄成像的过程可以由如下公式表示

y＝f*x (式3)

其中x是物体是y是像，而f是想要得到的点扩散函数信息。在频域中，该公式可写为Y＝FX，F与X之间是相乘的关系。这意味着，如果公式中的x的频域值为1，那么最终得到的像y就是f，即期望的点扩散函数的信息。而点光源正好具备这一性质，这样就可以间接得 到成像系统的PSF信息。

在拍摄点光源进行深度层标定的过程中，可根据成像系统的聚焦范围与成像能力，选择一个合适的聚焦平面，例如1.5m处。此时得到的像是一个小亮点，长和宽均只有几个像素值。然后固定相机或者固定光源而移动其中另一个，并获取在各个深度层上对应的模糊核。因而，将所有需要标定的深度层标定完成后，即可得到记录了不同深度层的点扩散函数(PSF)信息的图像，图 8所示。这些在不同场景深度层处的编码光圈的不同尺寸大小的成像提供了距离聚焦平面不同深度层处的模糊核信息。从图 8可以看出距离聚焦平面较远的物体成像后的模糊程度较大，而距离聚焦平面较近的物体成像后的模糊程度较小。换句话讲，模糊核的大小与物体距离相机聚焦平面的远近密切相关。因此，如果能够准确测量出图像中不同位置处的模糊核的大小，就可以推断出场景的深度信息。

接下来是对场景信息的采集，即在正常光照条件下(不再是暗室条件)，使用该设备对被标定的场景进行拍摄。拍摄时相机的聚焦距离与标定时所设定的聚焦距离相同(如均是1.5m远处)。由此，可以得到被标定场景的二维图像。其中，处于被标定深度层上的物体具有不同的模糊程度。

然后，可以根据前述信息采集所得到的数据，解析出被标定场景的深度信息。具体地，可以首先提取记录有PSF信息的图像中的亮点或取出亮点或亮斑所在的区域，这些区域具有不同的尺寸和像素值大小。然而对该区域进行尺寸调整，以得到成奇数边长乘以奇数边长的区域尺寸，例如，将初始区域尺寸5×6调整为5×5。然后，例如可以利用动态范围归一化公式对每个调整后的区域内的像素值进行归一化处理以使得处理后的数据的和值为1。这样，得到的数据就是点扩散函数f。

接着，可以执行深度提取算法。具体地，可以首先对采集到的场景图像y(即由光电传感器感测到第二组光的信息)进行去失焦模糊处理即，从y＝f*x中求解出清晰的图像x。根据傅里叶变换理论可将 上式变换到频域求解，即求：

Y(v，ω)＝F(v，ω)X(v，ω) (式4)

其中Y为频域内的采集场景图像，F为频域内的点扩散函数，X为频域内的目的图像。这样就可以获得清晰图像的频域信息X(v，ω)，然后通过反变换可以得到目的图像x。但是该方法对噪声的敏感度极高，最终会强烈影响所期望的结果。为了改善这一瓶颈问题，可以采取求解线性方程的方法，即求Ax＝b的最优解，来逼近目的解x。其中有：

$\begin{array}{cc}A=\frac{1}{{\mathrm{\η}}^2}{C}_{f_k}^T{C}_{f_k}+\mathrm{\α}{C}_{g_x}^T{C}_{g_s}+\mathrm{\α}{C}_{g_y}^T{C}_{g_y}& b=\frac{1}{{\mathrm{\η}}^2}\end{array}{C}_{f_k}^{T}y$ (式5)

其中η，α为一常量，可根据实验需要进行确定，C_fk为标定深度层对应的PSF信息的一种卷积矩阵表示形式，C_gx和C_gy分别为水平和垂直方向导数，是一种卷积矩阵的表示形式。y即为采集到的场景图像。针对具有上述参数的线性方程Ax＝b，可通过引入图像的稀疏先验信息，利用重加权共轭梯度算法经过有限次迭代得到其解。

去失焦模糊操作中，每次用与一个深度层对应的一个的PSF信息(以符号f表示)与输入图像y做运算，对应得到一个去失焦模糊的图像x。因此，如果标定了K个深度层的PSF信息(记为f1，...，fk)，则就会对应得到了K幅去失焦模糊的图像，记为x1，...，xk。这K幅图像中每个所包括的清晰区域各不相同，如图 9A至图 9D所示。其中图 9A示出了原始获取的图像，而图 9B至图 9D分别示出了对应于三个深度层的去失焦模糊的图像，其中清晰区域分别用方框示出。每个清晰区域则对应着一个深度层，同样也唯一对应一个PSF信息fk。

然后，以x1，...，xk为基础，根据公式yk＝fk*xk(k＝1，2，3......K)重建图像，可以得到K幅重建后的图像，以yk进行表示，k＝1，2，3......K。在这K幅重建后的图像中，只有处于重建fk所对应的场景深度上的区域，才与原输入图像y中的同一区域无限相近(区域像素值基本相同)，将输入图像y与重建图像yk作差后，得到的误差矩阵ek中，该区域的值的绝对值将最小。而其他区域与原输入图像y中对应区域相比较，不但模糊而且具有严重的振铃效应(区域像素值变化较大，如图 9C至图 9D所示)，将输入图像y与重建图像yk作差后，得到 的误差矩阵ek中，这些区域内的值的绝对值将比较大。因此，根据这一原理，可以得到K个重建误差矩阵ek。即有：

ek＝y-yk(k＝1，2，3......K)(式6)

对每个误差矩阵ek而言，均有一个区域内的值的绝对值最小，而这一区域外的其他区域内的值的绝对值较大。所以，只要从这K个重建误差矩阵中，找出具有最小值的那些区域，就可以通过对应的fk知道这些区域的场景深度值，也就知道了输入图像y中这些区域内的物体的深度信息。

可根据下式7和8定义的方法寻找这些具有最小绝对值数据的区域：

${\hat{E}}_k\left(y\left(i\right)\right)\≈\underset{j\∈W_i}{\mathrm{\Σ}}{e}_k{\left(j\right)}^2$ (式7)

$d\left(i\right)={\arg \min }_k{\mathrm{\λ}}_k{\hat{E}}_k\left(y\left(i\right)\right)$ (式7)

公式7中，E^K(y(i))为图像y中第i个像素在窗口Wi下的能量估计值。该值以重建误差矩阵e_k中，由窗口Wi内的重建误差数据的平方和来衡量。窗口Wi的长、宽一般取相同的奇数值，大小根据实验需要而定。下标i代表 e _k中的第i个数据对应的窗口，该第i个数据处于该窗口的中心位置。j代表窗口Wi中的第j个数据。在公式8中，d(i)代表第i个像素所对应的场景深度值，常量λ_k可以根据实验需要而定，argimink代表用使λ_kE^K(y(i))最小的那个f_k所对应的场景深度值给d(i)赋值。确定出λ_kE^K(y(i))(k＝1，2，3......K)最小的方法，是这K个数据之间相互比较。如此，当遍历完重建误差矩阵ek中的所有数据后，即得到了被摄场景的深度信息。例如可以形成一个深度图，如图 10所示，其中不同的颜色对应于不同的深度。

然后基于所获得空间视角信息和深度信息，可以重构三维图像。

根据本发明，通过滤光器组件可以得到第一组光和第二组光之外的光，并可以通过光电传感器记录下来的关于第一组光和第二组光的光信息。由于分别使用两组波长显著不同的光而不是相同的光，经过处理后，可以同时得到具有高空间分辨率的拍摄场景的图像和较为精 确的深度信息。这可以弥补现有技术中主动式深度信息接收器(例如激光扫描仪、TOF相机、Kinect相机)以及被动式深度相机(例如以Lytro公司为代表的光场相机)所存在的深度信息获取不准确和所得图像空间分辨率低或浪费相机空间分辨率等的不足。

在下文中，将参考图 11描述本公开中提供的用于获取被摄物的是三维位置信息的方法。

如图 11所示，在步骤S1101，首先从来自被摄物体的光中分离出第一组光和第二组光，其中所述第一组光的波长不同于所述第二组光的波长。该步骤可以例如通过前面结合图 7A至图 7H所描述的滤光器组件来执行，以便从来自被摄物体的光中分离出第一组光和第二组光。所述第一组光可以包括可见光的至少一部分，而所述第二组光可以包括波长与所述至少一部分显著不同的所述可见光的第二部分或者不可见光。例如，所述第一组光可以包括红光、绿光、蓝光，而第二组光可以包括橙色、褐色、紫色光。或者所述第一组光可以包括红光、绿光、蓝光，而第二组光可以包括红外光、紫外光、X射线、伽马光其中一种或多种。

接下来，在步骤S1102，采用单个光电传感器组件来感测所述第一组光以及所述第二组光。如前所述，光电传感器具有与滤光器组件对应的用于响应颜色光的感测区域，因此光电传感器组件能够都感测入射到其上的光并将其转成响应的电信号。

接着在步骤S1103和S1104，根据感测的所述第一组光确定被摄物体的空间视角信息，根据感测的所述第二组光确定被摄物体的深度信息。这些操作可以在处理器中执行，根据来自被摄物体的一组光确定被摄物体的空间视角信息的方法在本领域是已知的，因此此处不再赘述。另外，基于来自被摄物体的光确定深度信息的操作也可以基于现有技术中的方法来执行，例如如前面结合所述光接收信号系统所描述的那样基于光圈编码方法来确定。

最后，可以在步骤S1105，根据所得到的所述空间视角信息和所述深度信息，构建所述被摄物体的三维位置信息。基于空间视角信息 和深度信息来得到三维位置图像也可以采用现有技术中已有的方法来实现，此处不再赘述。

此外，为了增强来自被摄物体的光的强度，还可以附加地向被摄物体发射补充光。这样就可以得到更加准确的空间视角信息和更加精确的深度信息。

在基于光圈编码的技术中，在分离出所述第一组光和所述第二组光之前，可以使来自被摄物体的光首先经过具有编码图案的透光孔图板，从而形成相应的模糊核，以便基于此而获得深度信息。优选地，可以使得所述第一组光基本能完全通过所述透光孔图板，而所述第二组光仅能从所述透光孔图板的孔洞中通过。这样用于形成空间视角信息的第二组光可以完全不受到透光孔图板的影响，而用于计算深度信息的第二组光仍然可以得到相应的模糊核信息。

为了减少因相邻像素点之间的点扩散函数不同而引起不期望的混叠，可以预先对来自所述被摄物体的光进行稀疏采样，以区分所述被摄物体上出于相同深度层次的相邻物点的点扩散函数。从而可以获得更加精确的深度信息。

此外，可以通过所述透光孔图板或者设置在所述透光孔图板之前的滤光片，至少部分滤除所述第一组光和所述第二组光之外的光，以便减少其他光对光电传感器组件的干扰。

需要说明的是，尽管在上文中主要参考编码光圈技术来介绍了本公开的实施方式，然而本发明并不局限于此。事实上，可以理解的是，本公开除了可以基于光圈编码技术以外，还可以基于其他任何适当的技术，例如光场相机技术、结构光原理、飞行时间、激光扫描等。出于说明的目的，在图 12A至图 12D简要示出了这些系统。

图 12A示出了基于光场相机的示例，如12A所示，其中深度信息捕获部分222’可以包括主透镜ML，微透镜阵列MLA，其中主透镜ML将来自被摄物体表面的光汇聚到微透镜阵列MLA的焦平面上的一点，在该点处微透镜将被汇聚的光各找各自原有的传播方向发射到滤光器组件224并最终到达光电传感器226上。这样，在信息处理器 228中就可以采用光场相机技术来计算深度信息和空间视角信息，并进一步获得三维位置信息和三维图像。如前所述，基于自然光获得被摄物体的空间视角信息可以采用现有技术中的算法来执行，而基于光场相机来计算深度信息可以参考现有技术中光场相机的深度信息确定来执行。

图 12B示出了基于结构光技术的示例。如图 12B所示，深度信息捕获部分222”包括滤光片OF”、用于接收光信号的光学部件L”(即，透镜)以及激光器LSR”。该激光器LSR”发射出连续的光，该光以及来自被摄物体的自然光经过滤光片OF”和透镜L”而照射到本公开的滤光器组件上，滤光器组件将其分离为用于空间视角信息的第一组光和用于被摄物体的深度的第二组光信息。第一组光例如还是通常的RGB光，而第二组光信息例如是由激光器LSR”发射的连续激光而形成的空间散斑。结合得到的散斑以及原始散斑图形，通过互相关运算，可以计算出空间散斑的变化，从而得出具有三维深度信息的图像。类似地，基于自然光获得被摄物体的空间视角信息可以采用现有技术中的算法来执行，而基于结构光来计算深度信息可以参考现有技术中基于光结构来获取深度信息的方法来执行。

图 12C示出了基于TOF技术的示例。如12C所述，该结构与图 12B所示结构类似，只是该激光器LSR”’发射的是脉冲信号，例如光脉冲。发射的脉冲信号可以与来自被摄物体的自然光一起被透镜L”’接收，并且经由滤光器组件224过滤而传导至光电传感器组件226。处理器228可以基于来自自然光(例如RGB)的光强度信息，而得到二维空间视角信息，并且根据光脉冲的发射和接收时间确定相应的深度信息，从而介于空间视角信息和深度信息来得到具有三维深度信息的图像。同样，基于自然光获得被摄物体的空间视角信息可以采用现有技术中的算法来执行，而基于TOF来计算深度信息可以参考现有技术中TOF深度信息确定方法来执行。

图 12D示出了基于激光扫描的示例。如图 12D所示，激光器LSR””发射的是经过相位调制的激光束。从被摄物体返回的激光束以 及来自被摄物体的自然光经过透镜L””后由滤光器组件224过滤进而传导至光电传感器组件226。光电传感器组件226记录下相应的光强信息。处理器根据所发出的激光和接收到的激光的相位差，来确定深度信息，并且结合基于来自被摄物体的自然光的光强信息而确定的空间视角下信息，从而获得三维位置信息。此处，基于自然光获得被摄物体的空间视角信息可以采用现有技术中的算法来执行，而基于激光扫描来计算深度信息可以参考现有技术中基于激光扫描的深度信息确定来执行。

需要说明的是，尽管在上文中结合图 12A至图 12D简要介绍了本公开的技术方案与其他技术结合的实施方式，然而本公开并不局限于此。事实上，本公开还有可能以其他任何适当的方式与基于其他技术的成像设备结合使用。

本公开的信号接收装置可以应用三维照相机中，例如常用的专用相机外。此外，它也可以是具有图像深度捕获功能的其它类电子产品中所附带的相机，或带有相机功能的模块。这些电子产品诸如像是手机、平板电脑、PDA、摄像头、摄像机、游戏机、监视器等等。

例如，本公开可以应用于三维重建。对于计算机视觉中的三维重建和二维视频立体重建，物体的深度信息起着关键的作用。而利用本公开所提供的3D信息获取装置，不但可以从记录下的光信息中直接恢复出具有较高精度的深度信息，同时能够获得具有高空间分辨率的被摄物的图像，这将使得三维重建和二维立体重建更加精确与方便。

本公开也可以应用于三维打印。现有技术中，输入三维打印机中的三维模型信息一般是通过三维建模软件对被打印的物体进行三维建模得到，或者是采用激光扫描技术扫描被打印的物体来得到物体表面各点的空间位置信息。建模需要专业人员花费大量精力和时间，并且经济成本较高，而采用激光扫描技术或其他主动式获取物体深度信息的技术在特定场景下可能会对被打印者本身造成不必要的侵害。根据上述基于编码光圈的3D信息获取装置，其能够以被动的非侵入方式拍摄和记录由被摄物自身发射的光信息。这不但可以从记录下的所 述的光信息中直接恢复出具有较高精度的深度信息，同时能够获得具有高空间分辨率的被摄物的图像。这样可以重建出被打印物体的三维模型，实现所需的三维打印。

本公开还可以应用于体感游戏，例如基于Kinect的手语翻译系统、空中手写、虚拟试衣系统、Kinect版水果忍者等。此外，本公开也可在人机交互得到应用。交互式人体追踪，例如可以利用深度图像信息进行模式识别，以便既能识别一般的身体动作，同时又满足实时交互所需的速率，其相比于2D手势识别有更多的优势。此外，本公开也可以应用于机器人的视觉系统中，例如视觉导航。利用本公开的实施方式，不但可以从记录下的光信息中直接恢复出具有较高精度的深度信息，同时能够获得具有高空间分辨率的被摄物的图像，这将使得上述的应用从本公开的方案中获益。

事实上，本公开是一种单目式的深度信息捕获装置，相比于现在较多的双目式深度信息捕获装置，不需要对捕获到的信息做帧匹配，大大的减少了运算复杂度，提高了移动机器人的实时工作能力。

此外，相比于现有技术的被动式深度信息捕获装置，本发明可以获得精度更高的深度信息而且可以获得高空间分辨率的空间视角信息。而相比于主动式的深度信息捕获装置，本发明不仅可以获得更高精度的深度信息，而且可以基于自然光而获得被摄物体的场景图像，这使得有可能基于此而构建出三维图像，而不仅仅是深度图。

通过阅读本说明书的内容，本领域中的技术人员将领会许多其他的替代设计。可以理解，虽然已经参考若干具体实施方式描述了本发明，但是应该理解，本发明并不限于所公开的具体实施方式。本发明旨在涵盖在所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

因而，在不脱离本公开真实精神的情况下，可以对本公开的各实施方式进行修改、变更和组合。本说明书中的描述仅仅是用于说明性的，而不应被认为是限制性的。本公开的范围仅受所附权利要求书的限制。

Claims (29)

1.一种用于获取被摄物体的三维信息的设备，包括：

滤光器，具有分别用于预先从来自被摄物体的光中分离出第一组光和第二组光的第一区域和第二区域，所述第一组光的波长不同于所述第二组光的波长；以及

光电传感组件，所述光电传感器具有与所述第一区域和所述第二区域对应的第一光感测区域和第二光感测区域，用于分别感测所述第一组光以及所述第二组光，

其中感测的所述第一组光被配置用于在确定所述被摄物体的空间视角信息时使用，感测的所述第二组光被配置用于在确定所述被摄物体的深度信息时使用，以及所述被摄物体的三维位置信息基于所述空间视角信息和所述深度来构建。

2.根据权利要求1所述的设备，其中所述第一区域被配置为预先从来自所述被摄物体的光中分离出可见光的至少一部分以作为所述第一组光。

3.根据权利要求2所述的设备，其中所述第二区域被配置为预先从来自被摄物体的光中分离出波长与所述第一组光的波长不同的所述可见光的第二部分或者不可见光以作为所述第二组光。

4.根据权利要求2所述的设备，其中所述可见光的第一部分包括红光、绿光、蓝光。

5.根据权利要求3所述的设备，其中所述可见光的第二部分包括橙色、褐色、紫色光其中至少一种。

6.根据权利要求3所述的设备，其中所述不可见光包括红外光、紫外光、X射线、伽马光其中至少一种。

7.根据权利要求1至6其中任一项所述的设备，还包括辅助光源，其被配置为发射补充光以增强来自被摄物体的光的强度，从而增进对被摄物体的深度信息的获取。

8.根据权利要求7所述的设备，其中所述辅助光源包括闪光灯和/或测距灯。

9.根据权利要求1至6其中任一项所述的设备，进一步包括：

具有编码图案的透光孔图板，其设置在所述滤光器之前，被配置为提供用于计算被摄物体的深度的光信息。

10.根据权利要求9所述的设备，其中所述透光孔图板被配置为使得所述第一组光基本完全通过，并且使得所述第二组光仅能通过所述透光孔图板的孔洞。

11.根据权利要求9所述的设备，其中所述透光孔图板包含或者涂覆有能够预先至少部分滤除所述第一组光和所述第二组光之外的光的材料。

12.根据权利要求9所述的设备，进一步包括掩膜，所述掩膜被设置在所述透光孔图板之前，用于预先对来自所述被摄物体的光进行稀疏采样。

13.根据权利要求12所述的设备，进一步包括透镜，其设置在所述掩膜之前并且靠近所述掩模，其被配置用于接收来自被摄物体的光，并使所述的接收光通过掩模传至所述的透光孔图板。

14.根据权利要求9所述的设备，进一步包括至少一个透镜，其设置在所述透光孔图板与所述滤光器之间，用于将来自所述透光孔图板的光聚焦至所述光电传感器上。

15.根据权利要求1至6任一项所述的设备，其中所述设备包括深度信息捕获部分，所述深度信息捕获部分基于以下其中任何一种技术：

编码光圈；

飞行时间；

光场相机技术；

激光扫描；以及

结构光原理。

16.一种用于获取被摄物体的三维信息的方法，包括：

从来自被摄物体的光中分离出第一组光和第二组光，其中所述第一组光的波长不同于所述第二组光的波长；

采用单个光电传感器组件来感测所述第一组光以及所述第二组光；

根据感测的所述第一组光确定被摄物体的空间视角信息；

根据感测的所述第二组光确定被摄物体的深度信息；以及

根据所述空间视角信息和所述深度信息，构建所述被摄物体的三维位置信息。

17.根据权利要求16所述的方法，其中所述第一组光包括可见光的至少一部分，所述第二组光包括波长与所述第一组光显著不同的，所述可见光的第二部分或者不可见光。

18.根据权利要求17所述的方法，其中所述可见光的第一部分包括红光、绿光、蓝光。

19.根据权利要求17所述的方法，其中所述可见光的第二部分包括橙色、褐色、紫色光其中至少一种。

20.根据权利要求17所述的方法，其中所述不可见光包括红外光、紫外光、X射线、伽马光其中至少一种。

21.根据权利要求16至20其中任一项所述的方法，还包括发射补充光以增强来自被摄物体的光的强度，从而增进被摄物体的深度信息的获取。

22.根据权利要求16至20其中任一项所述的方法，进一步包括：

在分离出所述第一组光和所述第二组光之前，使来自被摄物体的光经过具有编码图案的透光孔图板，以及

其中所述被摄物体的深度信息基于光圈编码方法来确定。

23.根据权利要求21所述的方法，其中所述第一组光基本能完全通过所述透光孔图板，而所述第二组光仅能从所述透光孔图板的孔洞中通过。

24.根据权利要求23所述的方法，所述方法进一步包括：

预先通过掩膜对来自所述被摄物体的光进行稀疏采样，以区分所述被摄物体上出于相同深度层次的相邻物点的点扩散函数。

25.根据权利要求16至20任一项所述的方法，进一步包括：

通过所述透光孔图板或者设置在所述透光孔图板之前的滤光片，至少部分滤除所述第一组光和所述第二组光之外的光。

26.根据权利要求16至20任一项所述的方法，其中所述方法在基于下述技术其中任何一种的成像设备中执行：

光圈编码；

飞行时间；

光场相机技术；

激光扫描；以及

结构光原理。

27.一种成像设备，包括根据权利要求1至15所述的设备。

28.一种电子设备，其特征在于包括根据权利要求27所述的成像设备。

29.根据权利要求28所述的电子设备，包括以下其中任一种：

相机、摄像机、手机、平板电脑、个人数字助理、摄像头、三维打印机、体感游戏系统、交互式人体追踪系统、机器人视觉导航系统以及智能穿戴设备。