CN113747142A - 被动式单光子成像3d摄像机及摄像方法 - Google Patents

Abstract

本申请公开了一种被动式单光子成像3D摄像机及摄像方法，通过偏振光单光子传感器在不同焦距下获得多个单光子偏振图像对应的原始数据，图像处理器对原始数据进行图像重建，获得多个含有空间信息的单光子偏振图像，对单光子偏振图像进行特征点匹配，根据焦距和像点向量计算深度信息，获得3D图像。本申请提供的被动式单光子成像3D摄像机及摄像方法无需采用大功率光源，对于人体无任何影响，而且采用偏振光单光子传感器可以全天候工作，检测距离长达200米以上，满足自动驾驶、智能机器人或无人机等高端应用领域要求。

Description

被动式单光子成像3D摄像机及摄像方法

技术领域

本申请涉及单光子成像领域，尤其涉及一种被动式单光子成像3D摄像机。

背景技术

3D成像技术是近年来较为热门的研究方向之一，3D相机也在许多领域得到了应用，比如手势识别、机器人等。

双镜头摄像机可以实现立体效果，但是结构体系复杂，算法也非常复杂，多年来没有大规模普及应用，只是在3D电影等特定场合有应用；

主动式结构光摄像机也可以实现立体效果，主要应用于距离非常短的场合，而且在算法和硬件结构上都有特定的要求，所以随着主动式TOF摄像机的出现，逐步有被替代的趋势。

主动式TOF（Time of Flight，飞行时间）摄像机是现在主要的3D成像摄像机，主要有线扫描和面阵列两种产品，主动式TOF相机采用飞行时间法进行非接触式测距，通过给目标连续发送发射光波，然后利用传感器接收从物体返回的光，通过探测光波的飞行时间来得到目标物的距离，能够快速完成对目标的识别和追踪，深度信息可以完成对目标图像的分割、标记、识别、跟踪等应用，经过进一步深化处理，可以完成三维建模等应用，并且无需扫描设备辅助工作，由于可以采用LED、激光等作为光源，分辨率也可以更高，得到了用户的普遍认可，受到广泛关注。

但是由于主动发射的激光光源的功率和人眼防护等问题，特别是大功率光源的成本较高，在应用方面主要集中在手机、平板电脑、物联网或其他智能硬件等应用，对于在自动驾驶、智能机器人、无人机等高端应用领域，还有一定的难度。

发明内容

有鉴于此，本申请提供了一种被动式单光子成像3D摄像机及摄像方法。

为了解决上述技术问题，本申请采用了如下技术方案：

第一方面，提供一种被动式单光子成像3D摄像机，其特征在于，所述摄像机包括：

光学系统，被配置为汇聚入射光和调节焦距；

偏振单光子传感器，所述偏振单光子传感器包括偏振装置，被配置为产生光；感光阴极，被配置为捕获光子并产生光电子；采集阳极，被配置为捕获光电子产生电信号；读出电路，被配置为读出电信号；ADC，被配置为将电信号转化为单光子偏振图像原始数据；接口电路，被配置为将单光子偏振图像原始数据传输到图像处理器；

图像处理器，被配置为对单光子偏振图像原始数据进行重建获得单光子偏振图像，对单光子偏振图像进行特征匹配和深度计算，获取3D图像。

优选地，所述多个含有偏振装置的像元按照菱形错位阵列方式排布。

优选地，所述多个含有偏振装置的像元中每四个互相邻近的像元对应的偏振装置具有各不相同的偏振角度。

优选地，所述偏振装置的偏振角度为0°、45°、90°或135°。

优选地，所述偏振装置是通过MEMS工艺集成在像元上。

优选地，所述感光阴极包括Si、Ge、GaAs、InGaAsP、InGaAs或InAs/GaAsSb II类超晶格。

优选地，所述采集阳极包括光电倍增管、雪崩光电二极管、单光子雪崩二极管、硅光电倍增管、增强型光电极管、电子倍增CCD或科学级sCMOS。

第二方面，提供一种摄像方法，其特征在于，所述方法包括：

在第一焦距下获取第一单光子偏振图像原始数据；

在第二焦距下获取第二单光子偏振图像原始数据；其中，第一焦距小于第二焦距；

对第一单光子偏振图像原始数据和第二单光子偏振图像原始数据分别进行重建，获得第一单光子偏振图像和第二单光子偏振图像；

对第一单光子偏振图像和第二单光子偏振图像进行特征匹配，计算深度信息，获取3D图像。

优选地，所述计算深度信息具体为：

；

其中，Z为摄像机到物点所在平面的距离值，f₁和f₂分别代表第一焦距和第二焦距，l₁和l₂分别代表垂直光轴的平面空间内两物点分别在第二焦距和第一焦距下两像点向量大小。

相较于现有技术，本申请具有以下有益效果：

基于以上技术方案可知，本申请提供的被动式单光子成像3D摄像机及摄像方法，通过偏振光单光子传感器在不同焦距下获得多个单光子偏振图像对应的原始数据，图像处理器对原始数据进行重建，获得多个含有空间信息的单光子偏振图像，对单光子偏振图像进行特征点匹配，根据焦距和像点向量计算深度信息，获得3D图像。本申请提供的被动式单光子成像3D摄像机及摄像方法无需采用大功率光源，对于人体无任何影响，而且采用偏振光单光子传感器可以全天候工作，检测距离长达200米以上，满足自动驾驶、智能机器人或无人机等高端应用领域要求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提供的一种被动式单光子成像3D摄像机结构框图。

图2是本申请实施例提供的一种单光子传感器结构示意图。

图3是本申请实施例提供的一种含有偏振装置的像元的排布方式。

图4是本申请实施例提供的一种双焦成像示意图。

图5是本申请实施例提供的一种摄像方法。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

图1是本申请实施例提供的被动式单光子成像3D摄像机结构框图。

参考图1，本申请实施例提供的被动式单光子成像3D摄像机包括光学系统，偏振单光子传感器和图像处理器。

光学系统包括一个或多个用于汇聚光线的透镜，摄像机的焦距可以通过调节透镜的物理位置而改变。

偏振单光子传感器包括偏振装置、感光阴极、采集阳极、读出电路、ADC和接口电路。

偏振单光子传感器可以接收来自物体反射的单个或少量光子激发的光电子信号放大，通过脉冲甄别和累计等技术识别提取极弱光电子信号，达到光电探测的超灵敏极限。

图2是本申请实施例提供的一种单光子传感器结构示意图。

参考图2，具体地，感光阴极21和采集阳22极间施加加速电压23，用作加速电子，单个或多个光子24通过光学系统的透明面板25进入感光阴极21后，触发光电效应产生光电子26，光电子在加速电压23的作用下被加速飞至即采集阳极22，在高能电子轰击下内部产生大量电子-空穴对从而将光电子信号实现高倍数放大产生输出信号27。

感光阴极释放的光电子在外加高压的作用下移动到采集阳极。感光阴极采用Si、Ge、GaAs、InGaAsP、InGaAs或InAs/GaAsSb II类超晶格中的一种或多种材料并以MEMS工艺制备而成。通过更换不同的材料，感光阴极可实现300nm-14um波段电磁波的接收，因此本发明的光谱响应范围很宽。感光阴极与采集阳极的垂直距离大于1mm，根据偏置电压的不同，感光阴极与采集阳极的设置距离也不同。

采集阳极可包括但不限于光电倍增管（PMT）、雪崩光电二极管（APD）、单光子雪崩二极管（SPAD）、硅光电倍增管（SIPM）、增强型光电极管（IPD）、电子倍增CCD（EMCCD）和科学级sCMOS等，可以采用标准CMOS工艺制备。

自然光照射后，反射光中电矢量垂直分量和平行分量的振幅发生了变化，因此，反射光不再是各向同性的自然光，而成为部分偏振光或线偏振光，物体反射和电磁辐射的过程中都会产生由自身性质决定的偏振特性，不同物体或同一物体的不同状态（例如，粗糙度、含水量、材料理化特性等）往往具有不同的偏振状态，利用目标表明辐射或反射偏振信息的单光子偏振成像技术，可以综合获得目标的强度、偏振和图像等多维特征信息，有效提高目标与背景的对比度，突出目标的细节特征，增强目标识别效果，更全面、深入地了解目标的属性和行为。

偏振装置用于产生偏振光，可以是采用MEMS工艺集成到偏振单光子传感器上的含有特定偏振角度的金属线光栅阵列，从而使得含有偏振装置的单光子传感器可以接收到外界物体反射的偏振特性信息。

在一个实施方式中，参考图3，将每四个互相邻近的像素构成一个像素组，该像素组内的四个独立像素对应的偏振装置具有各不相同的偏振角度。典型地，一个像素组内的四个独立像元的偏振角度可以分别为0°、45°、90°和135°。

在一个实施方式中，像素按照菱形错位阵列方式排布。

读出电路由多列组成，每一列读出电路与该列所有采集阳极电连接，采集阳极接收物体向外反射的光线后，受到高能电子轰击下内部产生大量电子-空穴对，电阻发生变化，每次接通相邻两行像元的行选开关，将相邻两行的像元变化的电阻以读出，此时读出的信号为模拟信号格式。

每一列读出电路可以包括：偏置电压，辅助电阻，偏执电压和，晶体管和，积分器，采样电容，行选开关和采集阳极等效电阻。

在读出电路输出像素模拟信号后，将其发送到模拟数字转换电路（ADC），ADC将模拟信号转换为数字信号并经由接口电路向图像处理器输出。

接口电路用于将ADC输出的单光子偏振图像数字信号传输至图像处理器，方便后续进行图像分析处理。

接口电路可以包括AER接口、移动工业处理器接口(MIPI)和并行接口中的一种。

图像处理器包括图像重建模块和深度计算模块。

图像处理器可以更具体地包括但不限于图形处理器（GPU）、中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器（DSP）、微型计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。

图像重建模块用于将含有偏振信息的原始数据转化为单光子偏振图像，该单光子偏振图像具有空间信息。

在一个实施方式中，重建的过程中将具有不同偏振角度的相邻的四个像元重建成一个像素。具体地，在图像重建模块，在图像重建模块，将像元获取的原始数据进行多次平移，使得重建像素位置包含有多个偏振角度的原始数据。采用斯托克斯公式，根据该四个像元获取的原始数据信息重建目标的斯托克斯矢量，根据斯托克斯矢量计算待重建像素的偏振度，随后，利用偏振度计算重建像素对应目标表面入射方位角和入射天顶角，根据入射方位角和入射天顶角可以计算重建目标表面法线，随后，根据表面法线计算待重建目标空间信息，通过表面积分Frankot-Chellappa算法计算出真实的待重建目标的结构的空间信息，得到具有空间信息的单光子偏振图像。通过该图像重建的过程，将第一单光子偏振图像原始数据和第二单光子偏振图像原始数据重建分别为第一单光子偏振图像和第二单光子偏振图像，得到单光子偏振图像后，将第一单光子偏振图像和第二单光子偏振图像传输到深度计算模块，用于继续进行深度计算。

深度计算模块用于对单光子偏振图像中一个或多个物点的深度信息进行计算。

在一个实施方式中，首先对图像进行特征匹配。可采用基于SIFT及其改进算法PCA-SIFT和SURF特征匹配的算法进行图像匹配。进一步地，还可采用简化SURF算法，首先基于兴趣点圆形邻域内信息固定的方向迭代，然后为对应所选择的方向构建一个正方形区域，并且以此提取SURF描述子。单目双焦视觉条件下的图像近似为无旋转变换的理想条件，该简化SURF算法可改善算法运算效率，增强算子实用性。

采用两步匹配法，首先选取小焦距的第一单光子偏振图像作为参考图像，以大焦距的第二单光子偏振图像作为待匹配图像获取匹配特征点集，然后交换参考图像和待匹配图像顺序获取匹配特征点集，最后取前两次匹配特征点的交作为最后的匹配特征点集。

进行特征点匹配后，再利用几何关系计算空间物点的距离。

图4是本申请实施例提供的一种双焦成像示意图。

参考图4，假定垂直光轴平面空间内存在至少2个物点M和N，在小焦距下成像分别对应像点M1和N1，在大焦距下成像对应的像点为M0和N0。Z为原点到物点所在平面的距离值，即深度。f1和f2分别代表较小焦距和较大焦距，令l1=M0N0，l2=M1N1，分别代表对应焦距下像点向量大小，依据几何模型的关系可以推导出深度Z的计算式：

。

然后选取两次图像匹配获取的特征点的交集，进行单目立体视觉深度估计，将特征点交集像素向量带入方程，并利用摄像机标定获取内部参数求得特征点对的深度值，该深度值基本符合理想深度值，能够反映出空间物点的深度情况，结合前文所述的的偏振图像重建过程，最终得到3D图像。

图5是本申请实施例提供的一种摄像方法。

参考图5，该方法包括：S501在第一焦距下获取第一单光子偏振图像原始数据；S502在第二焦距下获取第二单光子偏振图像原始数据，其中，第一焦距小于第二焦距；S503对第一单光子偏振图像原始数据和第二单光子偏振图像原始数据分别进行重建，获得第一单光子偏振图像和第二单光子偏振图像；S504对第一单光子偏振图像和第二单光子偏振图像进行特征匹配，计算深度信息，获取3D图像。

本申请提供的被动式单光子成像3D摄像机及摄像方法可以安装在具有图像感测功能和/或光感测功能的电子设备中。例如，该被动式单光子成像3D摄像机可以安装在例如智能手机、相机、物联网(IoT)设备、平板个人计算机(PC)、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、无人机和高级驾驶员辅助系统(ADAS)等的电子设备中。另外，被动式单光子成像3D摄像机可以提供作为交通工具、家具、制造设备、各种测量设备等中的元件。

以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (9)

1.一种被动式单光子成像3D摄像机，其特征在于，所述摄像机包括：

光学系统，被配置为汇聚入射光和调节焦距；

偏振单光子传感器，所述偏振单光子传感器包括偏振装置，被配置为产生光；感光阴极，被配置为捕获光子并产生光电子；采集阳极，被配置为捕获光电子产生电信号；读出电路，被配置为读出电信号；ADC，被配置为将电信号转化为单光子偏振图像原始数据；接口电路，被配置为将单光子偏振图像原始数据传输到图像处理器；

图像处理器，被配置为对单光子偏振图像原始数据进行重建获得单光子偏振图像，对单光子偏振图像进行特征匹配和深度计算，获取3D图像。

2.根据权利要求1所述的摄像机，其特征在于，所述多个含有偏振装置的像元按照菱形错位阵列方式排布。

3.根据权利要求1所述的摄像机，其特征在于，所述多个含有偏振装置的像元中每四个互相邻近的像元对应的偏振装置具有各不相同的偏振角度。

4.根据权利要求3所述的摄像机，其特征在于，所述偏振装置的偏振角度为0°、45°、90°或135°。

5.根据权利要求1所述的摄像机，其特征在于，所述偏振装置是通过MEMS工艺集成在像元上。

6.根据权利要求1所述的摄像机，其特征在于，所述感光阴极材料包括Si、Ge、GaAs、InGaAsP、InGaAs或InAs/GaAsSb II类超晶格。

7.根据权利要求1所述的摄像机，其特征在于，所述采集阳极包括光电倍增管、雪崩光电二极管、单光子雪崩二极管、硅光电倍增管、增强型光电极管、电子倍增CCD或科学级sCMOS。

8.一种摄像方法，其特征在于，所述方法包括：

在第一焦距下获取第一单光子偏振图像原始数据；

在第二焦距下获取第二单光子偏振图像原始数据；其中，第一焦距小于第二焦距；

对第一单光子偏振图像原始数据和第二单光子偏振图像原始数据分别进行重建，获得第一单光子偏振图像和第二单光子偏振图像；

对第一单光子偏振图像和第二单光子偏振图像进行特征匹配，计算深度信息，获取3D图像。

9.根据权利要求8所述的方法，其特征在于，所述计算深度信息具体为：

；

其中，Z为摄像机到物点所在平面的距离值，f₁和f₂分别代表第一焦距和第二焦距，l₁和l₂分别代表垂直光轴的平面空间内两物点分别在第二焦距和第一焦距下两像点向量大小。

Images