CN113325439A

CN113325439A - 一种深度相机及深度计算方法

Info

Publication number: CN113325439A
Application number: CN202110535030.2A
Authority: CN
Inventors: 孙瑞; 孙飞; 武万多; 黄源浩; 肖振中
Original assignee: Orbbec Inc
Current assignee: Orbbec Inc
Priority date: 2021-05-17
Filing date: 2021-05-17
Publication date: 2021-08-31
Anticipated expiration: 2041-05-17
Also published as: WO2022241942A1; CN113325439B

Abstract

本申请适用于图像处理领域，涉及一种深度相机及深度计算方法。该深度相机中的处理器控制第一光源向目标物发射第一频率的光束，同时控制第一像素采样经目标物反射后的第一频率的光束并输出第一采样信号，根据第一采样信号计算目标物的第一深度；同步控制第二光源向目标物发射第二频率的光束，同时控制第二像素采样经目标物反射后的第二频率的光束并输出第二采样信号，根据第二采样信号计算目标物的第二深度；还用于融合第一深度和第二深度，得到目标物的第三深度。实现了不同频率的光信号同时曝光，有利于改善目前高低频调制解调信号时明显的“运动伪影”现象，同时可以降低系统功耗。

Description

一种深度相机及深度计算方法

技术领域

本申请属于图像处理领域，尤其涉及一种深度相机及深度计算方法。

背景技术

现有三维成像技术包括结构光、飞行时间(time of flight，TOF)、双目等，TOF采用飞行时间来实现三维成像，其工作距离随光源调制频率的降低而逐渐增加，比如100MHz的最远工作距离为1.5m，60MHz的最远工作距离为2.5m，20MHz的最远工作距离为7.5m。与之相反，TOF三维成像的精度却随之频率的降低而逐渐变差。因此，为了提高工作距离同时满足高精度的要求，TOF系统设计中往往采用高低频混合的工作模式(即“双频测量”)，比如100MHz&20MHz，其工作距离达到7.5m，而且其精度将高于单独使用20MHz的测距精度。

双频测量的工作模式满足了远距高精度的应用需求。但是在具体应用中，高频与低频双频测量在信号时序上，表现为“串行”完成，比如先采集高频调制解调信号，再采集低频调制解调信号；或者先采集低频调制解调信号，再采集高频调制解调信号。高频与低频的双频信号数据采集后，再进行“双频融合”，最后利用“解混频”算法完成最终的深度测量。

双频信号采集与计算过程中，若目标物处于移动状态时，容易产生“运动伪影”的现象。目前为了降低运动伪影的影响，在实际应用中，采用“尽可能的降低高频信号与低频信号之间的时间间隔的”措施。但是，受限于目前TOF感光芯片设计中的信号读取与传输能力，高频与低频信号之间的时间间隔最多只能降低到几个ms左右，因而导致改善“运动伪影”现象的效果不佳，或者改善能力受到限制。另外，“双频分时曝光”的工作模式，也增加了TOF三维成像系统的功耗。因此，有必要提供新的技术改善“运动伪影”现象，同时降低系统的功耗。

发明内容

本申请实施例提供一种深度相机及深度计算方法，可以改善目前高低频调制解调信号时明显的“运动伪影”现象，同时可以降低系统功耗。

第一方面，本申请实施例提供一种深度相机，包括：

发射器，用于向目标物发射光束，所述发射器包括第一光源和第二光源；

采集器，用于采样经所述目标物反射后的所述光束，所述采集器包括第一像素和第二像素；

处理电路，包括第一处理电路和第二处理电路，所述第一处理电路分别与所述第一光源和所述第一像素电连接，所述第二处理电路分别与所述第二光源和所述第二像素电连接；

所述第一处理电路用于控制所述第一光源向所述目标物发射第一频率的光束，同时控制所述第一像素采样经所述目标物反射后的所述第一频率的光束并输出第一采样信号，根据所述第一采样信号计算所述目标物的第一深度；

所述第二处理电路用于同步控制所述第二光源向所述目标物发射第二频率的光束，同时控制所述第二像素采样经所述目标物反射后的所述第二频率的光束并输出第二采样信号，根据所述第二采样信号计算所述目标物的第二深度；

所述处理电路还用于融合所述第一深度和所述第二深度，得到所述目标物的第三深度。

在第一方面一种可能实现的方式中，所述处理电路具体用于：

根据预设条件，基于所述第一深度和所述第二深度，确定利用所述第一频率的反射光束测量所述目标物的第四深度和利用所述第二频率的反射光束测量所述目标物的第五深度；

依据预设的融合公式融合所述第四深度和所述第五深度，得到所述目标物的第三深度。

其中，所述预设条件为：

所述第四深度与所述第五深度相等；或，

所述第四深度与所述第五深度的绝对值差值最小。

其中，所述处理电路还用于：

计算所述第四深度和所述第五深度相对所述第三深度的权重系数，根据所述权重系数计算所述第三深度；所述权重的计算公式为：

其中，f₁为所述第一频率，f₂为所述第二频率，f_max为所述第一频率和第二频率的最大公约数，A₁和A₂分别为所述第一像素和第二像素接收信号的幅值大小。

其中，所述预设融合公式为：

D＝D₁×M+D₂×(1-M)

其中，D₁为第四深度，D₂为第五深度，M为权重系数。

在一个实施例中，所述深度相机还包括RGB传感器；

所述RGB传感器采集所述目标物的RGB图像；所述处理电路还用于融合所述第一深度和所述第二深度，得到所述目标物的第三深度，包括：处理第一深度图像和所述RGB图像生成第一高分辨率深度图像，所述第一深度图像包括所述第一深度；处理第二深度图像和所述RGB图像生成第二高分辨率深度图像，所述第二深度图像包括所述第二深度；融合所述第一高分辨率深度图像和第二高分辨率深度图像获得所述目标物的第三高分辨率图像，所述第三高分辨率图像包括所述第三深度。

第二方面，本申请实施例提供一种深度计算方法，应用于深度相机中，所述深度相机包括：发射器，所述发射器包括第一光源和第二光源；采集器，所述采集器包括第一像素和第二像素；处理电路，所述处理电路包括第一处理电路和第二处理电路，所述第一处理电路分别与所述第一光源和所述第一像素电连接，所述第二处理电路分别于所述第二光源和所述第二像素电连接；

所述方法包括：

所述第一处理电路控制所述第一光源向目标物发射第一频率的光束，同时控制所述第一像素采样经所述目标物反射后的所述第一频率的光束并输出第一采样信号，根据所述第一采样信号计算所述目标物的第一深度；

所述第二处理电路同步控制所述第二光源向所述目标物发射第二频率的光束，同时控制所述第二像素采样经所述目标物反射后的所述第二频率的光束并输出第二采样信号，根据所述第二采样信号计算所述目标物的第二深度；

所述处理电路融合所述第一深度和所述第二深度，得到所述目标物的第三深度。

在第二方面一种可实现的方式中，所述处理电路融合所述第一深度和所述第二深度，得到所述目标物的第三深度，包括：

第三方面，本申请实施例提供一种感光芯片，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第二方面所述深度计算方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第二方面所述深度计算方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：本申请通过第一处理电路控制第一光源向目标物发射第一频率的光束，同时控制第一像素采样经目标物反射后的第一频率的光束并输出第一采样信号，根据第一采样信号计算目标物的第一深度；第二处理电路同步控制第二光源向目标物发射第二频率的光束，同时控制第二像素采样经目标物反射后的第二频率的光束并输出第二采样信号，根据第二采样信号计算目标物的第二深度；处理电路还用于融合第一深度和第二深度，得到目标物的第三深度。实现了不同频率的光信号同时曝光，在时序上，采集不同频率的光信号表现为“并行”的工作逻辑，相对于“串行”的工作逻辑中通过降低高频信号与低频信号之间的时间间隔的措施，有利于改善目前高低频调制解调信号时明显的“运动伪影”现象，同时可以降低系统功耗。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的深度计算系统的结构示意图；

图2a是本申请一实施例提供的一种像素阵列形式示意图；

图2b是本申请一实施例提供的另一种像素阵列形式示意图；

图3是本申请一实施例提供的处理电路的结构示意图；

图4是本申请一实施例提供的一种深度计算方法步骤流程图；

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本申请说明书中描述的参考“本申请实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在另一些实施例中”、“本申请一实施例”、“本申请其他实施例”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了说明本申请的技术方案，下面通过具体实施例来进行说明。

图1是本申请一实施例提供的深度相机的结构示意图，该深度相机为TOF深度相机，包括发射器11、采集器12、处理电路13，发射器11和采集器12之间的距离仅为几毫米左右，远小于目标物20与深度相机10之间的距离。其中，发射器11用于向目标物发射光束，采集器12接收至少部分经目标物反射后的光束并输出采样信号，处理电路13同时控制发射器11和采集器12，并根据发射光束30与反射光束40之间的时间差或相位差，计算目标物20的深度，一般地，除了经目标物反射回的反射光束之外还有一些背景光、干扰光等光束，本申请实施例对处理背景光、干扰光等光束的方法不作限制。

在一些实施例中，发射器11包括光源111、发射光学元件112、和驱动器113。其中，光源111可以是发光二级管、边发射激光器、和垂直腔面发射激光器(Vertical CavitySurface Emitting Laser，VCSEL)等光源，也可以是在单块半导体基底上生成多个VCSEL光源以形成的VCSEL阵列光源芯片，光源所发射的光束可以是脉冲波、连续调制波等。由于在太阳光谱中，近红外波段的比例相较于可见光要低得多，同时硅基材质的探测器探测效率基本能够达到探测的要求，能够最大程度地降低太阳光的干扰，因此本实施例选择的光源111波长为780nm至2526nm，例如可以为980nm或者1550nm。

本申请实施例中，发射器向目标物20发射多种不同频率的光束，本申请实施例不对发射器发射频率的种类数作具体限制。作为一种实现方式，发射器包括两种光源111，分别为第一光源和第二光源，第一光源发射第一频率的调制光束，第二光源在第一光源发射第一频率的调制光束的同时发射第二频率的调制光束，第一频率大于第二频率。

作为另一实现方式，发射器11包括三种光源111，分别为第一光源、第二光源、和第三光源，第一光源发射第一频率的调制光束，第二光源在第一光源发射第一频率的调制光束的同时发射第二频率的调制光束，第三光源在第一光源发射第一频率的调制光束的同时发射第三频率的调制光束，第一频率大于第二频率大于第三频率。

在一个实施例中，发射光学元件112包括光学衍射元件和透镜元件，其中透镜元件接收光源发射的光束并将其汇聚至光学衍射元件，光学衍射元件接收经透镜元件汇聚后的光束并向目标物投射光束。发射光学元件可以对发射器11的光发射区域以及面积进行调制，从而将光束在空间调制成理想的面照明方式，使光束照明区域与采集器12的成像系统的视场尽量重合，最大化光束的利用率，提升探测精度。

光学衍射元件用于对发射器发射的光束进行衍射以形成斑点光束，比如规则排列的斑点光束、不规则排列的斑点光束，与泛光明相比，斑点光束所计算出的飞行时间信噪比更高。

透镜元件用于对发射器发射的光束进行调整，以实现聚焦、准直等功能，透镜元件数量可根据具体情况进行设计；光学衍射元件和透镜元件可为独立元件，亦可为一体化元件，此处不作限制。

在一个实施例中，驱动器113可以为驱动芯片，驱动芯片可以为集成电路(Integrated Circuit，IC)芯片，IC芯片由处理电路130控制。光源111在IC芯片的控制下同时向外发射多种不同频率的发射光束，发射光束经过发射光学元件投射到目标物上形成照明斑点。

作为一实现方式，发射器包括多个驱动器113，例如：包括两个驱动器113，分别为第一驱动器和第二驱动器，第一驱动器可以为第一IC芯片，第二驱动器可以为第二IC芯片。第一光源在第一IC芯片的控制下(第一IC芯片由处理电路130控制)向外发射第一频率的光束，第一频率的光束经过发射光学元件投射到目标物上形成照明斑点。第二IC芯片同步控制第二光源(第二IC芯片由处理电路130控制)向外发射第二频率的光束，第二频率的光束经过发射光学元件投射到目标物上形成照明斑点。

作为另一实现方式，发射器包括三个驱动器113，分别为第一驱动器、第二驱动器、和第三驱动器，第一驱动器可以为第一IC芯片，第二驱动器可以为第二IC芯片，第三驱动器可以为第三IC芯片。第一光源在第一IC芯片的控制下(第一IC芯片由处理电路130控制)向外发射第一频率的光束，第一频率的光束经过发射光学元件投射到目标物上形成照明斑点。第二IC芯片同步控制第二光源(第二IC芯片由处理电路控制)向外发射第二频率的光束，第二频率的光束经过发射光学元件投射到目标物上形成照明斑点。第三IC芯片同步控制第三光源(第三IC芯片由处理电路130控制)向外发射第三频率的光束，第三频率的光束经过发射光学元件投射到目标物上形成照明斑点。

在一些实施例中，采集器12包括图像传感器121、过滤元件122和接收光学元件123等，发射器发射的多种不同频率的斑点光束经过目标物后形成反射光束，接收光学元件123将目标物反射的多种不同频率的斑点光束成像到图像传感器121上，过滤元件122用于过滤背景噪音。

在一些实施例中，图像传感器121是一种专门用于光飞行时间TOF测量的图像传感器，图像传感器121也可以集成到一种专门用于光飞行时间TOF测量的TOF感光芯片中。

图像传感器121可以是电荷耦合元件(charge coupled device，CCD)，互补金属氧化物半导体(complementary metal-oxide-semiconductor transistor，CMOS)，雪崩二极管(avalanche diode，AD)、单光子雪崩二极管(single photon avalanche diode，SPAD)等组成的像素阵列，阵列大小代表着该深度相机的分辨率，比如320×240等，图像传感器121的像素也可以是单点、线阵等形式。一般地，与图像传感器连接有信号放大器、时数转换器(time-to-digital converter，TDC)、数模转换器(digital to analog converter，DAC)等器件中的一种或多种组成的读出电路(图中未示出)。这些电路既可以与像素整合在一起，作为图像传感器的一部分，也可以作为处理电路130的一部分，后面为便于描述，将统一视作处理电路130的一部分。

在一个实施例中，图像传感器121包括多类像素，例如：包括两类像素、三类像素等。经目标物20反射的多种频率的反射光束经过接收光学元件123和过滤元件122滤光后被图像传感器121中的每类像素所接收，每类像素用于对相应的反射光束进行采样并输出采样信号。在一个实施例中，图像传感器121中的每类像素均对反射光束中的单个光子进行响应并输出指示所接收光子在每个像素处相应到达时间的光子信号。在一个实施例中，图像传感器121中的每类像素均用于在相应电极的控制下存储并读取或者排出由入射光子产生的电荷信号。以上所述的光子信号或电荷信号均为采样信号的一种具体实施例。

作为一实现方式，图像传感器121包括两类像素，分别为第一像素和第二像素，第一像素用于采集第一频率的反射光束并输出第一采样信号，第二像素用于采集第二频率的反射光束并输出第二采样信号。在一个实施例中，第一像素和第二像素是交替排列的，可以是在同一行或同一列内的第一像素和第二像素交替排列，也可以是第一像素和第二像素行交替或列交替的排列形式。像素阵列的形式请参考图2a和图2b，图2a是本申请一实施例提供的一种像素阵列形式示意图，A表示第一像素，B表示第二像素，图2b是本申请一实施例提供的另一种像素阵列形式示意图。当然，像素阵列的形式不限于此，本申请对此不作限制。在一个实施例中，图像传感器121也可以被配置为包括两个像素阵列，分别为第一像素阵列、第二像素阵列，其中第一像素阵列包括多个第一像素，第二像素阵列包括多个第二像素。

作为一实现方式，在图2a或图2b中，每类像素均包括多个抽头，用于存储并读取或者排出由入射光子产生的电荷信号，比如第一像素A包含三个抽头，分别为第一抽头、第二抽头、和第三抽头，当然，在其它实施例中，每类像素包含的抽头数也可以为4个及以上，并不限于上述情形。在一次曝光时间内(通常设置一次曝光时间为发射光束的一个周期长度T)，第一抽头、第二抽头、和第三抽头依次开启且同一时刻只有一个抽头开启，第一抽头和第二抽头对第一频率的反射光束进行积分采样，第三抽头对环境光、干扰光等进行积分采样，并输出采集的第一采样信号数据。同样的，第二像素B也可以包含三个抽头，分别为第四抽头、第五抽头、和第六抽头，在第一类像素对第一频率的反射光束进行处理的同时，第四抽头和第五抽头对第二频率的反射光束的信号进行积分采样，第六抽头对环境光、干扰光等进行积分采样，并输出采样的第二采样信号数据。

作为另一实现方式，图像传感器121包括三类像素，分别为第一像素、第二像素和第三像素。经目标物20反射的第一频率的反射光束经过接收光学元件123和过滤元件122滤光后被图像传感器121中的第一类像素所接收并输出第一采样信号。经目标物20反射的第二频率的反射光束经过接收光学元件123和过滤元件122滤光后被图像传感器121中的第二类像素所接收并输出第二采样数据。经目标物20反射的第三频率的反射光束经过接收光学元件123和过滤元件122滤光后被图像传感器121中的第三类像素所接收并输出第三采样数据。

在一个实施例中，接收光学元件123包括一个或多个光学透镜，用于收集来自目标物反射的光束，并在图像传感器121上成像。

在一个实施例中，过滤元件122为过滤片，滤光片需选择与光源111的波长相匹配的窄带滤光片，用于抑制其余波段的环境光噪声。

在一个实施例中，处理电路13可以是独立的专用电路，比如深度相机自身具有计算能力的独立电路。也可以包含通用处理电路，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理电路可以作为该处理电路的至少一部分。请参考图3，图3是本申请一实施例提供的处理电路的结构示意图，该独立的专用电路可包括，但不仅限于，处理器131、存储器132以及存储在存储器132中并可在处理器131上运行的计算机程序。处理器131执行计算机程序时，可以同步提供光源发射多种不同频率的发射光束时所需的周期性调制信号，使光源在调制信号的控制下向目标物发射脉冲光束或连续调制波光束；还用于同时提供图像传感器各像素的解调信号，使各像素在解调信号的控制下采集目标反射回的多种不同频率的反射光束而产生的多种不同的采样信号数据，还可以用于根据图像传感器中各像素采集到的多种不同的采样信号数据，分别计算利用每种频率的反射光束测量目标物的深度，融合利用多种频率的反射光束测量目标物的深度，得到目标物的准确深度。处理器执行计算机程序时实现上述功能的具体细节请参照下述深度计算方法实施例中的方法步骤。

在一个实施例中，处理电路包括第一处理电路和第二处理电路，第一处理电路分别与第一光源和第一像素电连接，第二处理电路分别与第二光源和第二像素电连接，第一处理电路和第二处理电路可以是具有计算能力的独立电路，也可以被集成到如手机、电视、电脑等智能终端中去，终端中的处理电路可以作为该处理电路的至少一部分，第一处理电路和第二处理电路可包括，但不仅限于，处理器131、存储器132以及存储在存储器132中并可在处理器131上运行的计算机程序。

第一处理电路中的处理器131执行计算机程序时，可以提供第一光源发射第一频率的发射光束时所需的周期性调制信号，使第一光源在调制信号的控制下向目标物发射脉冲光束或连续调制波光束；还用于同时提供第一像素的解调信号，使第一像素在解调信号的控制下采样经目标反射回的第一频率的光束而输出第一采样信号，还可以用于根据第一采样信号计算目标物的第一深度。

第二处理电路中的处理器131执行计算机程序时，可以在第一处理电路提供第一光源发射第一频率的发射光束时所需的周期性调制信号的同时，提供第二光源发射第二频率的发射光束时所需的周期性调制信号，使第二光源在调制信号的控制下向目标物发射脉冲光束或连续调制波光束；还用于同时提供第二像素的解调信号，使第二像素在解调信号的控制下采样经目标反射回的第二频率的光束而输出第二采样信号，还可以用于根据第二采样信号计算目标物的第二深度。

处理电路中的处理器131执行计算机程序时，还可以融合利用第一频率的光束测量目标物的第一深度和利用第二频率的光束测量目标物的第二深度，得到目标物的准确深度(第三深度)。例如：在图2a中，处理电路对每一行(列)中相邻的两类像素测量的不同频率下对应的目标物的深度进行融合，即可得到融合后的目标物的准确深度。在图2b中，处理电路对每一列相邻的两类像素测量的不同频率下对应的目标物的深度进行融合，即可得到融合后的目标物的准确深度。当然，本申请实施例的融合方式并不限于此，例如：在图2a中，也可以选择相邻的4个像素为一组进行深度融合，每组包括两个第一像素和两个第二像素。处理电路中的处理器执行计算机程序时实现上述功能的具体细节请参照下述深度计算方法实施例中的方法步骤。

当然，在一些实施例中，处理电路还可以包括第一处理电路、第二处理电路和第三处理电路，第一处理电路分别与第一光源和第一像素电连接，第二处理电路分别与第二光源和第二像素电连接，第三处理电路分别与第三光源和第三像素电连接，第一处理电路、第二处理电路和第三处理电路可以是具有计算能力的独立电路，也可以被集成到如手机、电视、电脑等智能终端中去，终端中的处理电路可以作为该处理电路的至少一部分，第一处理电路和第二处理电路可包括，但不仅限于，处理器131、存储器132以及存储在存储器132中并可在处理器131上运行的计算机程序。处理电路中的处理器131执行计算机程序时，实现下述深度计算方法实施例中的方法步骤。

处理器131可以是中央处理单元(central processing unit，CPU)，该处理器131还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器132在一些实施例中可以是处理电路13的内部存储单元，例如处理电路13的硬盘或内存。存储器132在另一些实施例中也可以是处理电路13的外部存储设备，例如处理电路13上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(securedigital，SD)卡，闪存卡(flash card，FD)等。进一步地，存储器132还可以既包括处理电路13的内部存储单元也包括外部存储设备。存储器132用于存储操作系统、应用程序、引导装载程序(bootloader，BL)、数据以及其他程序等，例如计算机程序的程序代码等。存储器132还可以用于暂时地存储已经输出或者将要输出的数据。

本申请文件不限定深度相机的具体构成，深度相机可以包括比图1所示示例更多或更少的部件，或者组合某些部件，或者不同的部件。图1仅为示例性描述，不能解释为对本申请的具体限制。例如：还可以包括输入输出设备、网络接入设备、和RGB(red green blue)传感器等，RGB传感器用于采集目标物的RGB图像，处理电路将RGB图像与深度相机得到的低分辨率的深度图像进行融合，得到更高分辨率的深度图。

综上，本申请提供深度相机，通过处理电路同步控制发射器中的多种光源发射不同频率的发射光束，同时控制采集器采样经目标物反射的多种频率的光束，得到每种频率的下的采样信号数据，根据每种频率的采样信号数据，计算利用每种频率的光束测量目标物时的深度，融合利用多种频率的光束测量目标物的深度，得到目标物的准确深度，这种工作模式称为“并行”，有利于改善目前采用“串行”工作模式时比较明显的“运动伪影”现象。同时可以降低TOF深度相机的功耗。

图4示出了本申请一实施例提供的一种深度计算方法步骤流程图，图4中的方法可以被图1中的处理电路执行。图4中的方法是基于两种调制频率对目标物的深度进行融合计算。该方法具体包括S201至S203。

S201:控制第一光源向目标物发射第一频率的光束，同时控制第一像素采样经目标物反射后的第一频率的光束并输出第一采样信号，根据第一采样信号计算目标物的第一深度。

具体的，首先，处理电路中的第一处理电路控制发射器中的第一光源向目标物发射第一频率为f₁的发射光束。处理电路中的第一处理电路同时控制采集器中的第一像素采样经目标物反射后的第一频率的反射光束并输出第一采样信号。然后，第一处理电路根据第一采样信号计算目标物的第一深度(包含飞行时间)值d₁。

在一个实施例中，第一处理电路调制光源发射的光束被正弦波或方波调制，调制的周期为T₁，T₁＝1/f₁，第一处理电路同时调控第一像素采集反射光束。假设图像传感器的第一像素中包括4个抽头，被设置成单个周期时间内不同的时间上激活，比如分别在0～T/2、T/2～T、T/4～3T/4、3T/4～5T/4时间内被激活以采集经目标物反射的光束，分别得到采样信号值I₁、I₂、I₃以及I₄。基于此，处理电路可以根据四步相移法，目标物的第一深度值将由下式计算出：

其中，c为光速。

在一个实施例中，第一处理电路调制光源发射的光束为脉冲光束，调制的周期为T₁，第一处理电路同时调控第一像素采集反射光束。假设图像传感器的第一像素中包括2个抽头，2个抽头中的一个与第一光源同步被激活，并在0～T/2时间内接收光束，另一个在T/2～T时间内接收光束，分别产生采样信号I₁、I₂，据此可以计算出目标物体的第一深度值为：

在一个实施例中，第一处理电路调制光源发射的光束为脉冲光束，调制的周期为T₁，第一处理电路同时调控第一像素采集反射光束。假设图像传感器的第一像素中包括3个抽头，被设置成单个周期时间内不同的时间上激活，并分别在0～T/3时间内采集背景光信号I₀，在T/3～2T/3采集光信号I₁，在2T/3～T采集光信号I₂。或者0～T/3时间内采集光信号I₁，T/3～2T/3采集光信号I₂，2T/3～T采集背景光信号I₀，据此可以计算出目标物体的第一深度值为：

在一个实施例中，调制光源发射的光束为脉冲光束，调制的周期为T₁。假设图像传感器的第一像素为单光子探测器，例如SPAD，每个像素对反射光束中的单个光子进行响应并输出指示所接收光子在每个SPAD处相应到达时间的光子信号(第一采样信号)，第一处理电路还包括TDC电路和直方图电路，TDC电路接收光子信号用于确定光子从发射到采集的飞行时间，并生成表征飞行时间信息的时间码，利用时间码寻找直方图电路中对应的时间bin，使得该时间bin内的光子计数值加“1”，当进行大量重复脉冲探测后，可以统计得到光子信号对应的光子计数的直方图，根据直方图的峰值位置确定光束的第一飞行时间t₁，据此可以计算出目标物体的第一深度值为：

以上仅是为了更好的说明如何进行深度计算，而列举的几种可能调制和深度计算方式，其他可能的调制方式和深度计算公式也同样适用于本申请提出的融合深度计算方法。

S202:同步控制第二光源向目标物发射第二频率的光束，同时控制第二像素采样经目标物反射后的第二频率的光束并输出第二采样信号，根据第二采样信号计算目标物的第二深度。

具体的，首先，处理电路中的第二处理电路在第一处理电路控制第一光源发射第一频率的发射光束时，同步控制发射器中的第二光源向目标物发射第二频率为f₂的发射光束。优选地，第一频率大于第二频率。处理电路中的第二处理电路同时控制采集器中的第二像素采样经目标物反射后的第二频率的光束并输出第二采样信号。然后，第二处理电路根据第二采样信号计算目标物的第二深度d₂。

在本发明中，第二处理电路对发射光信号的调制解调以及深度计算方式与第一处理电路均相同，具体可参考步骤S201，在此不再重复说明。

在其它实施例中，处理电路不止包括第一处理电路和第二处理电路，还包括其它处理电路，例如：包括第三处理电路。第三处理电路在第一处理电路控制第一光源发射第一频率的发射光束时，同步控制第三光源向目标物发射第三频率的发射光束，同时控制第三像素采样经目标物反射后的第三频率的光束并输出第三采样信号，根据第三采样信号计算目标物的第三深度。

计算该目标物的深度方法与S201中计算第一深度和S202中计算第二深度的方法相同，此处就不再赘述。

S203:融合第一深度和第二深度，得到目标物的第三深度。

具体的，基于第一深度和第二深度，确定利用第一频率的反射光束测量目标物的第四深度和利用第二频率的反射光束测量目标物的第五深度。该方法具体包括：步骤S2031和S2032。

S2031：根据预设条件，基于第一深度和第二深度，确定利用第一频率的反射光束测量目标物的第四深度和利用第二频率的反射光束测量目标物的第五深度。

具体的，调制第一光源发射第一频率为f₁的光束时，对应的第一处理电路能计算出的第一最大深度值为d_max1，其中d_max1＝c/2f₁，当目标物距离深度相机的距离大于第一最大深度值时，由于发射光信号具有周期性，此时第一处理电路无法计算出目标物的准确深度值，而产生了一种距离混叠现象，使得第一处理电路计算出的第一深度值小于目标物的实际深度值，则根据第一深度值计算目标物的第四深度值，所述第四深度值为利用第一频率的反射光束测量目标物的深度值。其中，预设第一公式为：

D₁＝d₁+d_max1×k₁

其中，k₁为目标实际深度值超过第一最大深度值的第一周期数，k₁取值为整数常数0、1、2、3、4、5…。例如调制f1＝100MHz时，d_max1＝1.5m，第一处理电路计算出的第一深度值为1m时，考虑到距离混叠现象，目标物的可能深度值为1m、2.5m、4m、5.5m…。

同样的，调制第二光源发射第二频率为f₂的光束时，对应的第二处理电路能计算出的第二最大深度值为d_max2，其中d_max1＝c/2f₂，由于第一频率大于第二频率，则第一最大深度值小于第二最大深度值。对于测量的同一个目标物，当目标物距离深度相机的距离大于第二最大深度值时，仍会产生距离混叠现象，使得第二处理电路计算出的第二深度值小于目标物的实际深度值，则根据第二深度值计算目标物的第五深度值，第五深度值为利用第二频率的反射光束测量目标物的深度值。其中，预设第二公式为：

D₂＝d₂+d_max2×k₂

其中，k₂为目标实际深度值超过第二最大深度值的第二周期数，k₂取值为整数常数0、1、2、3、4、5…。例如调制f₂＝60MHz时，d_max2＝2.5m，第二处理电路计算出的第二深度值为1.6m时，考虑到距离混叠现象，目标物的可能深度值为1.6m、4.1m、6.6m…。

对于本发明方案来说，选择两种不同频率的光信号探测目标物的深度，则理论上第四深度值与第五深度值应该相同，而考虑到选择两种不同频率的光信号探测目标物时存在的系统误差，比如频率越高探测精度越高，在本发明中，设置预设条件为D₁与D₂相等或者D₁与D₂差值绝对值最小时确定第四深度值和第五深度值。

作为一种实现方式，根据预设第一条件为第四深度与第五深度相等确定第四深度和第五深度。例如第一频率为100MHz，第一处理电路计算出的目标物的第一深度值d₁为1m，则利用第一频率的反射光束测量目标物的可能深度值分别为1m、2.5m、4m、5.5m…。假设第二频率为60MHz，若第二处理电路计算出的目标物的第二深度值d₂为1m，则利用第二频率的反射光束测量目标物的可能深度值分别为1m、3.5m、6m、7.5m等。根据第一预设条件即可确定求得利用第一频率的反射光束测量目标物的第四深度D₁＝1m，求得利用第二频率的反射光束测量的目标物的第五深度D₂＝1m。

作为另一种实现方式，根据预设第二条件为第四深度与第五深度的差值绝对值最小确定第四深度和第五深度。例如假设第一频率为100MHz，第一处理电路计算出的目标物的第一深度值d₁为1m，则利用第一频率的反射光束测量目标物的可能深度值分别为1m、2.5m、4m、5.5m等。假设第二频率为60MHz，若第二处理电路计算出的目标物的距离d₂为1.6m，则利用第二频率的反射光束测量目标物的可能深度值分别为1.6m、4.1m、6.6m等。由此可知，根据第二预设条件可以确定利用第一频率的反射光束测量目标物的第四深度D₁＝4m，利用第二频率的反射光束测量的目标物的第五深度，D₂＝4.1m。

以上数据仅用于举例说明，不作为对本方案的限制。

S2032：依据预设的融合公式融合第四深度和第五深度，得到目标物的第三深度。

在进行融合计算时，还需要计算出第四深度和第五深度相对第三深度的权重系数，权重系数主要受到像素接收信号幅值大小的影响，根据前面的说明可以知道，高频信号探测距离小但探测精度高，低频信号探测距离大但探测精度低，则根据接收信号幅值大小可以知道目标物距离系统的远近，即第四深度还是第五深度在融合计算时所占的权重更高。在一个实施例中，权重的计算公式为：

其中，f_max为第一频率和第二频率的最大公约数，A₁和A₂分别为第一像素和第二像素接收信号的幅值大小，在一些实施例中，可以用像素采集信号输出的采样信号的幅值大小表征。

具体的，依据预设的融合公式计算第三深度，所述融合公式为：

D＝D₁×M+D₂×(1-M)

其中，M为权重，取值范围为0-1之间的数值。

可以理解的是，在一些其他实施例中，还可以采用其他形式的融合公式计算第三深度。

本申请实施例利用上述深度计算方法，通过处理电路同步控制发射器中的多种光源发射不同频率的发射光束，同时控制采集器采样经目标物反射的多种频率的反射光束，针对多种不同频率的反射光束中的每种频率的反射光束，得到每种频率的采样信号，根据每种频率的采样信号，计算利用每种频率的反射光束测量目标物时的深度，融合利用多种频率的反射光束测量目标物时的深度，得到目标物的准确深度，这种工作模式称为“并行”，有利于改善目前采用“串行”工作模式时比较明显的“运动伪影”现象。同时可以降低TOF深度相机的功耗。

本申请还提供另一种深度相机，所述深度相机还包括RGB传感器。深度相机被配置为同时采集目标视场的第一深度图像和第二深度图像，其中，第一深度图像为TOF深度相机采样经目标物反射回的第一频率的光信号生成的深度图像，第一深度图像包括第一深度；第二深度图像为TOF相机采集经目标物反射回的第二频率的光信号生成的深度图像，第二深度图像包括第二深度。TOF深度相机的结构如图1所示，在此不再赘述。RGB传感器被配置为采集目标物的RGB图像。处理电路还用于处理第一深度图像和RGB图像生成第一高分辨率深度图像，还用于处理第二深度图像和RGB图像生成第二高分辨率深度图像，进一步融合第一高分辨率深度图像和第二高分辨率深度图像生成第三高分辨率图像，第三高分辨率图像包括第三深度。

具体的，TOF深度相机中的发射器中的两种光源同时发射第一频率和第二频率的发射光束，同时采集器采样经目标物反射的两种不同频率的反射光束，针对两种不同频率的反射光束中，得到第一采样信号和第二采样信号，处理电路根据第一采样信号和第二采样信号获取目标物的第一深度图像和第二深度图像。步骤S201和步骤S202中已经详细说明了同步控制器中的两种光源发射两种不同频率的发射光束，同时控制采集器采样经目标物反射的两种不同频率的反射光束，针对两种不同频率的反射光束中的每种频率的反射光束，得到每种频率的采样信号，根据每种频率的采样信号，确定利用每种频率的反射光束测量目标物时的深度的具体方法，此处就不再赘述。

RGB传感器采集目标物的RGB图像，将RGB图像分别与第一深度图像和第二深度图像进行融合，得到利用每种频率的反射光束测量目标物时更高分辨率的深度图像。比如，第一深度图像和第二深度图像的分辨率分别为50*50，经过融合后的第一高分辨率深度图像和第二高分辨率深度图像的分辨率分别为600*400。本申请实施例不对RGB传感器采集目标物的RGB图像的具体方法作出限制。

本申请一实施例中，通过深度神经网络对第一深度图像和第二深度图像分别与RGB图像进行融合获得第一高分辨率深度图像和第二高分辨率深度。本申请实施例以利用两种不同频率的反射光束测量目标物时得到的深度图像进行举例说明，可以理解的是，TOF深度相机也可以同时获得目标物的第三深度图像、第四深度图像。针对两种频率的反射光束时，利用两种不同频率的反射光束测量目标物的第一深度图像和第二深度图像。将第一深度图像和RGB图像输入到深度神经网络中进行融合，输出第一高分辨率深度图像。

在一个实施例中，深度神经网络包括特征提取模块、特征融合模块、编码模块、解码模块、深度融合模块。首先，利用残差网络设计两个特征提取模块分别对输入的RGB图像、第一深度图像进行特征提取，得到RGB图像的特征图与第一深度图像的特征图，每个特征提取模块包括卷积层、批归一化层以及Relu激活函数层。将提取出的RGB图像的特征图与第一深度图像的特征图输入拼接模块进行特征融合以实现拼接，得到第一特征图，其中，利用拼接模块进行特征图像拼接是指将两幅特征图像进行通道维度上的拼接，拼接后的特征图包含了经过多次卷积操作的丰富语义。将彩色图像的特征图、第一深度图像的特征图以及第一特征图输入编码模块和解码模块。编码模块对输入的特征图进行特征编码，编码模块包括多个残差块，每个残差块对输入的特征图进行至少一次的卷积处理，再经过批归一化层以及Relu激活函数层对输入的特征图进行归一化和非线性化处理；同样的，解码模块包括多个残差结构，解码模块对输入的特征图像进行特征解码处理后转化为多个通道的特征图。最后，深度融合模块将多个通道的特征图进行融合成为第一高分辨率深度图像。在一个实施例中，深度融合模块包括两个卷积层，在两个卷积层之间还可以包括一个批归一化层和激活层。

同理，将第二深度图像和RGB图像输入到深度神经网络中进行融合，输出第二高分辨率深度图像。经过与RGB图像的融合处理后，融合第一高分辨率深度图像与第二高分辨率深度图像中每个像素点处的深度值，即将相同像素坐标处的第一深度与第二深度进行融合，具体融合方法请参照S203，此处不再赘述。

综上，本申请一实施例提供的另一种深度相机，一方面，通过同步控制发射器中的多种光源发射不同频率的发射光束，同时控制采集器采样经目标物反射的多种不同频率的反射光束，采集的信号在时序上不存在差异，这种工作模式称为“并行”，有利于改善目前采用“串行”工作模式时比较明显的“运动伪影”现象。同时可以降低TOF深度相机的功耗。另一方面，通过将低分辨率的深度图通过深度神经网络与RGB图融合，得到更高分辨率的深度图。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个深度计算方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现上述各个深度计算方法实施例中的步骤。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims

1.一种深度相机，其特征在于，包括：

2.根据权利要求1所述的深度相机，其特征在于，所述处理电路具体用于：

3.根据权利要求2所述的深度相机，其特征在于，所述预设条件为：

所述第四深度与所述第五深度相等；或，

所述第四深度与所述第五深度的绝对值差值最小。

4.根据权利要求2所述的深度相机，其特征在于，所述处理电路还用于：

计算所述第四深度和所述第五深度相对所述第三深度的权重系数，根据所述权重系数计算所述目标物的第三深度；所述权重系数的计算公式为：

5.根据权利要求4所述的深度相机，所述预设融合公式为：

D＝D₁×M+D₂×(1-M)

其中，D₁为第四深度，D₂为第五深度，M为权重系数。

6.根据权利要求1所述的深度相机，其特征在于，还包括RGB传感器；

所述RGB传感器采集所述目标物的RGB图像；

所述处理电路还用于融合所述第一深度和所述第二深度，得到所述目标物的第三深度，包括：

处理第一深度图像和所述RGB图像生成第一高分辨率深度图像，所述第一深度图像包括所述第一深度；

处理第二深度图像和所述RGB图像生成第二高分辨率深度图像，所述第二深度图像包括所述第二深度；

融合所述第一高分辨率深度图像和第二高分辨率深度图像获得所述目标物的第三高分辨率图像，所述第三高分辨率图像包括所述第三深度。

7.一种深度计算方法，应用于深度相机中，其特征在于，所述深度相机包括：发射器，所述发射器包括第一光源和第二光源；采集器，所述采集器包括第一像素和第二像素；处理电路，所述处理电路包括第一处理电路和第二处理电路，所述第一处理电路分别与所述第一光源和所述第一像素电连接，所述第二处理电路分别于所述第二光源和所述第二像素电连接；

所述方法包括：

8.根据权利要求7所述的深度计算方法，其特征在于，所述处理电路融合所述第一深度和所述第二深度，得到所述目标物的第三深度，包括：

9.一种感光芯片，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求7至8任一项所述深度计算方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求7至8任一项所述深度计算方法的步骤。