CN111045029A

CN111045029A - 一种融合的深度测量装置及测量方法

Info

Publication number: CN111045029A
Application number: CN201911306106.3A
Authority: CN
Inventors: 许星
Original assignee: Shenzhen Orbbec Co Ltd
Current assignee: Shenzhen Orbbec Co Ltd
Priority date: 2019-12-18
Filing date: 2019-12-18
Publication date: 2020-04-21
Anticipated expiration: 2039-12-18
Also published as: CN111045029B; WO2021120402A1

Abstract

本发明公开了一种融合的深度测量装置，包括发射模块，用于向目标物体发射振幅时序被调制的斑点图案光束；接收模块，接收目标物体反射的斑点图案光束并形成电信号；控制和处理电路，接收所述电信号并计算得到TOF深度图和结构光图案，将所述TOF深度图中的深度值作为可靠点，赋值到所述结构光深度图中对应像素位置，并利用所述可靠点校正所述结构光深度图，最终得到目标物体的深度图像。本发明基于TOF深度值具有较高的测量精度，以TOF深度值为依据校正结构光深度图因匹配计算所引起的误差，获得高精度的深度图，结合结构光测量的高分辨的优点，实现了一种高精度、高分辨率、低功耗、小型化的深度测量装置。

Description

一种融合的深度测量装置及测量方法

技术领域

本发明涉及光学测量技术领域，尤其涉及一种融合的深度测量装置及测量方法。

背景技术

深度测量装置可以用来获取物体的深度图像，进一步可以进行3D建模、骨架提取、人脸识别等，在3D测量以及人机交互等领域有着非常广泛的应用。目前的深度测量技术主要有TOF测距技术、结构光测距技术等。

TOF的全称是Time-of-Flight，即飞行时间，TOF测距技术是一种通过测量光脉冲在发射/接收装置和目标物体间的往返飞行时间来实现精确测距的技术，分为直接测距技术和间接测距技术。其中，间接测距技术测量反射光信号相对于发射光信号的相位延迟，再由相位延迟对飞行时间进行计算，按照调制解调类型方式的不同可以分为连续波(Continuous Wave，CW)调制解调方法和脉冲调制(Pulse Modulated，PM)调制解调方法。TOF测距技术无需复杂的图像处理计算，且探测距离较远并能保持较高的精度。

而结构光测距技术则是向空间物体发射结构光光束，然后采集被物体调制及反射后的结构光光束所形成的结构光图案，最后利用三角法进行深度计算以获取物体的深度数据。常用的结构光图案有不规则斑点图案、条纹图案、相移图案等。

结构光技术在近距离测量时具有非常高的精度，在低光环境中表现良好，但是在强光环境中易受影响，相对而言TOF技术在强光环境中的抗干扰效果要优于结构光技术。

故，若能提供一种解决方案，将结构光技术与TOF技术融合，充分发挥两者优势进行深度测量，则将大大提高测量的优势。

发明内容

本发明的目的在于提供一种融合的深度测量装置及测量方法，以解决上述背景技术问题中的至少一种。

为达到上述目的，本发明实施例的技术方案是这样实现的：

一种融合的深度测量装置，包括发射模块、接收模块、以及分别与发射模块和接收模块连接的控制和处理电路；其中，发射模块，包括有光源阵列以及光学元件，所述光源阵列用于发射时序上振幅被调制的光束，所述光学元件接收所述光束后向目标物体发射斑点图案光束；接收模块，包括有TOF图像传感器，所述TOF图像传感器包括像素阵列，所述像素阵列接收由目标物体反射的斑点图案光束并形成电信号；控制和处理电路，接收所述电信号并计算得到相位差，利用所述相位差计算目标物体的TOF深度图；和，接收所述电信号并计算得到结构光图案，利用所述结构光图案计算所述目标物体的结构光深度图；以及，将所述TOF深度图中的深度值作为可靠点，赋值到所述结构光深度图中对应像素位置，并利用所述可靠点校正所述结构光深度图，最终得到目标物体的深度图像。

在一些实施例中，所述TOF图像传感器包括至少一个像素；其中，每个像素包括有两个及以上的抽头。

在一些实施例中，所述控制和处理电路提供所述TOF图像传感器各个像素中各个抽头的解调信号，抽头在解调信号的控制下采集由包含所述目标物体反射回的反射光束所产生的电信号。

在一些实施例中，所述控制和处理电路包括有相位计算模块和强度计算模块，所述TOF图像传感器产生的电信号同时传输到所述相位计算模块和所述强度计算模块，通过处理计算得到该像素对应的相位信息和强度信息，根据所述相位信息和所述强度信息进一步得到该像素对应的TOF深度图和结构光深度图。

在一些实施例中，所述控制和处理电路还包括有标定模块、匹配模块、以及校正模块；其中，所述标定模块得到的所述TOF深度图和所述匹配模块得到的所述结构光深度图输入至所述校正模块，建立所述TOF深度图和所述结构光深度图的映射，保证每个像素产生的电信号计算得到的所述TOF深度值对应于计算得到的所述结构光深度值，将所述TOF深度值赋值到所述结构光深度图中对应的像素坐标中，以赋值后的点为可靠点，对所述结构光深度图中未赋值的点进行校正处理。

本发明另一技术方案为：

一种融合的深度测量方法，包括如下步骤：

S1、控制光源阵列发射时序上振幅被调制的光束，光学元件接收所述光束后向目标物体发射斑点图案光束；

S2、通过TOF图像传感器中的像素阵列接收由所述目标物体反射的斑点图案光束并形成电信号；

S3、接收所述电信号并计算得到相位差，基于所述相位差计算所述目标物体的TOF深度图；和，接收所述电信号以形成结构光图案，并利用所述结构光图案计算所述目标物体的结构光深度图；以及，将所述TOF深度图中的深度值作为可靠点，赋值到所述结构光深度图中对应像素位置，并利用所述可靠点校正所述结构光深度图，最终得到所述目标物体的深度图像。

在一些实施例中，步骤S1中，光源阵列朝向目标区域发射斑点图案光束，控制和处理电路控制斑点图案光束中每个斑点对应的光束的振幅在时序上被连续波、方波或脉冲方式中的至少一种方式调制。

在一些实施例中，步骤S2中，TOF图像传感器包括至少一个像素，每个像素包括有两个及以上的抽头；在单个帧周期内，以一定的次序依次切换抽头以采集相应的光子，以接收光信号并转换成电信号。

在一些实施例中，步骤S3中，通过控制和处理电路接收像素阵列输入的电信号分别进行相位计算和强度计算，以得到所述目标物体的TOF深度图和结构光深度图，将TOF深度值赋值到所述结构光深度图中对应的像素上，由此将所述结构光深度图上的点区分为可靠点与不可靠点，结合校正算法利用所述可靠点校正所述不可靠的点，得到所述目标物体的深度图像。

本发明又一技术方案为：

一种电子设备，包括：壳体、屏幕、以及前述方案所述的融合的深度测量装置；其中，所述融合的深度测量装置的发射模块与接收模块设置于电子设备的第一平面上，以用于向目标物体发射在时序上振幅被调制的斑点图案光束与接收由目标物体反射的斑点图案光束；所述屏幕安装在所述电子设备的第二平面上，用于显示图像或者文字等信息；所述第一平面与第二平面为同一平面或所述第一平面与第二平面为相对立的平面。

本发明技术方案的有益效果是：

本发明通过采用基于振幅时序调制的结构光发射端和TOF图像传感器组成的融合的深度测量装置，朝向目标区域投射斑点图案化光束，分别进行TOF深度值计算以及结构光深度值计算，基于TOF深度值具有较高的测量精度，以TOF深度值为依据校正结构光深度图因匹配计算所引起的误差，获得高精度的深度图，结合结构光测量的高分辨的优点，实现了一种高精度、高分辨率、低功耗、小型化的深度测量装置。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一个实施例融合的深度测量装置的示意图。

图2是根据本发明一个实施例融合的深度测量装置的原理示意图。

图3是根据本发明一个实施例融合的深度测量装置的控制和处理电路架构示意图。

图4是根据本发明一个实施例融合的深度测量方法的流程图。

图5是根据本发明一个实施例集成有图1融合的深度测量装置的电子设备的示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

参照图1所示，图1为本发明一个实施例融合的深度测量装置的示意图。所述融合的深度测量装置10包括发射模块11、接收模块12以及分别与发射模块11和接收模块12连接的控制和处理电路13；其中，发射模块11用于向目标物体20发射光束30，发射光束30是在时序上振幅被调制的斑点图案光束，该斑点图案光束发射至目标空间中以照明空间中的目标物体20，至少部分发射光束30由目标物体20反射后形成反射光束40，反射光束40中的至少部分光束被接收模块12接收；控制和处理电路13分别与发射模块11以及接收模块12连接，以控制光束的发射与接收，同时接收来自接收模块12接收反射光束并产生的信息，并对该信息进行计算以获取目标物体的深度信息。

发射模块11包括光源阵列111、光学元件112以及光源驱动器(图中未示出)等。其中，光源阵列111可以是发光二极管(LED)、边发射激光器(EEL)、垂直腔面发射激光器(VCSEL)多个光源组成的光源阵列，光源所发射的光束可以是可见光、红外光、紫外光等。优选地，光源阵列111是不规则排列的VCSEL_S阵列，用于发射不规则的斑点图案光束。光源阵列111在光源驱动器(其可以进一步被控制和处理电路13控制)的控制下以一定的时序振幅被调制后向外发射光束，比如在一个实施例中，光源阵列111在光源驱动器的控制下以一定的频率发射脉冲调制光束、方波调制光束、正弦波调制光束等光束。在本发明的一个实施例中，不规则斑点图案光束中每个斑点对应的光束的振幅在时序上以连续波、方波或脉冲的方式被调制。可以理解的是，可以利用控制和处理电路13中的一部分或者独立于控制和处理电路13存在的子电路来控制光源阵列111发射相关的光束，比如脉冲信号发生器。

光学元件112接收来自光源阵列111的光束，并向外发射斑点图案光束。在一些实施例中，光学元件112还用于将接收到的光束进行扩束，以扩大测量装置的视场角。可以理解的是，通过光学元件112调制后的光束其振幅依旧是以一定的时序被调制，即入射的正弦波调制光束，出射的依旧是正弦波调制光束。光学元件112可以是透镜、衍射光学元件(DOE)、微透镜阵列、液晶中的一种或几种的组合。

接收模块12包括TOF图像传感器121、过滤单元122和透镜单元123，透镜单元123接收并将由目标物体反射回的至少部分斑点图案光束成像在至少部分TOF图像传感器121上；过滤单元122设置为与光源波长相匹配的窄带滤光片，用于抑制其余波段的背景光噪声。TOF图像传感器121可以是电荷耦合元件(CCD)、互补金属氧化物半导体(CMOS)、雪崩二极管(AD)、单光子雪崩二极管(SPAD)等组成的图像传感器阵列，阵列大小代表着该深度相机的分辨率，比如320×240等。一般地，与图像传感器121连接的还包括由信号放大器、时数转换器(TDC)、模数转换器(ADC)等器件中的一种或多种组成的读出电路(图中未示出)。

一般地，TOF图像传感器121包括至少一个像素，与传统的仅用于拍照的图像传感器相比，这里TOF图像传感器121中每个像素包含两个及以上的抽头(tap，用于在相应电极的控制下存储并读取或者排出由入射光子产生的电荷信号)，比如包括2个抽头，在单个帧周期(或单次曝光时间内)内以一定的次序依次切换抽头以采集相应的光子，以接收光信号并转换成电信号。

控制和处理电路13可以是独立的专用电路，比如包含CPU、存储器、总线等组成的专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理电路，比如当该深度测量装置被集成到如手机、电视、电脑等智能终端中时，智能终端中的处理电路可以作为该控制和处理电路13的至少一部分。

控制和处理电路13用于提供光源阵列111发射激光时所需的调制信号(发射信号)，光源在调制信号的控制下向目标物体发射光束。比如在一个实施例中，调制信号为方波信号或脉冲信号，光源在该调制信号的调制下振幅被时序上调制以产生方波信号或者脉冲信号向外发射。

控制和处理电路13还提供TOF图像传感器121各个像素中各个抽头的解调信号(采集信号)，抽头在解调信号的控制下采集由包含目标物体反射回的反射光束所产生的电信号。一方面，控制和处理电路13对该电信号进行处理并计算出反映反射光束强度的强度信息以形成结构光图案，最后基于该结构光图案利用匹配计算、三角法计算等进行计算以获得待测目标物体的结构光深度图像。同时，控制和处理电路13对该电信号进行处理并计算出反映光束从发射到接收的相位差，基于相位差计算光束的飞行时间，进一步获得目标物体的TOF深度图像。进一步的，控制和处理电路13还可以根据TOF深度图像校正结构光深度图像，比如可以将所述TOF深度图中的深度值作为可靠点，赋值到所述结构光深度图中对应像素位置，并利用所述可靠点校正所述结构光深度图，更具体的校正方法将在后面描述。

在一些实施例中，深度测量装置10还可以包括驱动电路、电源、彩色相机、红外相机、IMU等器件，在图中并未示出，与这些器件的组合可以实现更加丰富的功能，比如3D纹理建模、红外人脸识别、SLAM等功能。深度测量装置10可以被嵌入到手机、平板电脑、计算机等电子产品中。

图2是根据本发明一实施例的深度测量装置原理示意图。控制和处理电路13控制光源阵列111朝向目标物体发射振幅被方波或脉冲调制的斑点图案光束301，各个光斑302的振幅在时序上被方波或脉冲调制。可以理解的是，光源阵列111中光源的调制方式相同，在一些其他实施例中，还可以利用正弦波对发射光束的振幅进行调制。

在一个实施例中，接收模组12中的TOF图像传感器的各个像素包括4个抽头，分别用于在单个帧周期内分别采集4次光信号并转换成电信号C₁、C₂、C₃和C₄，4次采集的时间以及间隔相同。

控制和处理电路13接收电信号C₁、C₂、C₃和C₄计算出斑点图案光束的强度信息。在一个实施例中的，强度信息根据下式计算：

在获取所有像素的强度信息之后就可以形成结构光图案，最后再利用结构光图案进行匹配计算以获取视差以及根据视差计算出结构光深度图像。

对于存在环境光信号时，这一光束强度计算方式与传统方式一样，均难以进行消除，从而导致最终的灰度图案信噪比较低。因此，在一个实施例，强度信息将根据下式计算：

根据计算出的斑点图案光束的强度信息生成结构光图案，进一步根据结构光图案进行匹配计算以获取视差以及根据视差计算出结构光深度图像。

上述基于4抽头的TOF图像传感器以及方波或脉冲调制光发射信号的结构光获取方案同样也适用于其他抽头TOF图像传感器以及其他类型调制光发射信号的深度测量装置。可以理解的是，与传统的结构光深度测量相比，本发明利用发射端发出时序调制的斑点投影光束，采用接收端多抽头像素采集方式，从而可以使得该方法拥有比传统方案更多的功能，比如可以实现传统方案难以抗环境干扰的深度测量方法。

同时，控制和处理电路13还接收TOF图像传感器输出各抽头在解调信号的控制下采集目标物体反射回的反射的光束所产生的电信号计算反射光束相位差并根据该相位差计算出反映光束从发射端到接收端的所用的飞行时间，进一步基于该飞行时间计算出目标物体的TOF深度图像。

图3是根据本发明一实施例的控制和处理电路架构示意图。所述控制和处理电路13包括有相位计算模块131、强度计算模块133；其中，相位计算模块131的输出连接至标定模块132；强度计算模块133的输出连接有预处理模块134，预处理模块134的输出连接至匹配模块135。其中，标定模块132和匹配模块135的输入还连接有存储器137，而输出连接至校正模块136。

控制和处理电路13接收来自TOF图像传感器的电信号，在本发明实施例中，发射模块11朝向目标区域发射振幅被调制的不规则的斑点图案光束，接收模块12接收目标物体反射回的斑点图案光束。对于TOF图像传感器中接收到反射光束的每个像素而言，其产生的电信号同时传输到相位计算模块131和强度计算模块133，通过处理计算得到该像素对应的相位信息和强度信息，根据相位信息和强度信息进一步得到该像素对应的TOF深度图和结构光深度图，其具有对应的位置关系。进一步的，将TOF深度图中的深度值作为可靠点，赋值到结构光深度图中对应像素位置，并利用可靠点校正结构光深度图。具体的，包括：

(1)计算TOF深度图

当TOF图像传感器121产生的电信号传输到相位计算模块131后，相位计算模块131对电信号进行处理计算以获得相位差，可以基于相位差计算光束从发射到接收的飞行时间，进一步获得目标物体的TOF深度图像，该相位差与深度值之间存在线性关系，因此在一些实施例中，通过该相位计算模块131可以直接计算出TOF深度图。随后深度图被送入标定模块132进行标定，由于TOF测量常常受到噪声干扰，使得测量值与实际值之间存在一定的误差，因此在实际使用前将采用一个标定步骤，比如在一定的测量区间内每隔一段距离设置标定板，并且标定板的实际深度值已知，随后逐次对不同距离上的标定板进行实际测量得到各个距离对应的测量值，测量值与实际值之间的关系就可以作为预标定参数被存储到存储器137中，标定模块在标定时将从存储器137中调用预标定参数对当前测量值进行标定。这里的预标定参数即可以是实际值与测量值的对照表(index)，此时标定模块132标定过程实际上是查表过程；也可以是通过一定的数学手段对误差进行建模，并通过预先的多次测量以计算得到模型中的未知参数，标定模块132的标定过程实际上就是基于模型、测量值计算出实际值的过程。经过标定即可得到准确的TOF深度图。

(2)计算结构光深度图

当TOF图像传感器121产生的电信号传输到强度计算模块133后，强度计算模块133执行对电信号的相位计算以获取反映光束强度的强度信息，形成结构光图像。随后结构光图像被送入预处理模块134进行去噪、对比度增强等处理，也可对结构光图像执行图像畸变校正等前处理任务。被前处理后的图像随后进入匹配模块135进行匹配计算，在进行匹配计算时匹配模块135将从存储器137中调用被预先存储的参考图像，在一个实施例中，匹配模块135采用零均值归一化最小平方距离函数对结构光图像与参考图像进行像素偏离值的匹配估计。根据结构光三角法，像素偏离值与目标的深度值之间存在一定的关系，因此，匹配模块135可以直接进行深度值的计算，得到待测目标的结构光深度图像。在一些实施例中，还可以对深度图像进行后处理例如图像增强、插值计算等对其进行优化，比如孔洞填充、边缘优化等。

(3)校正结构光深度图

由于结构光深度计算需要匹配计算，匹配计算在整个深度计算环节中消耗资源较大也对精度影响较大，导致最终得到的结构光深度图存在误差；而TOF深度图直接采用相位差计算得到，测量精度较准确，但是在TOF计算模式中只能得到反射光束射入的那部分像素的深度值，而不能得到全部像素的深度值，因此，在本发明实施例中，提取TOF深度图上的深度值作为可靠点校正结构光深度图。

具体的，标定模块132得到的TOF深度图与匹配模块135得到的结构光深度图输入校正模块135，建立TOF深度图和结构光深度图的映射，保证每个像素产生的电信号计算得到的TOF深度值对应于计算得到的结构光深度值，将TOF深度值赋值到结构光深度图中对应的像素坐标中，将这些赋值后的点称为可靠点，没有赋值的点称为不可靠点，以可靠点为依据对结构光深度图中的不可靠点进行校正处理，以提高结构光深度图的精度。校正的方法可包括区域生长法、置信度加权法等。

在一个实施例中，采用区域生长法对结构光深度图进行校正处理。区域生长是基于物体具有连续性则物体上两个靠近点之间的深度值近似相等的假设进行计算的，在待预测区域内选择多个可靠点作为种子点，通过设定合适的生长准则，利用四连通性(上、下、左、右)将满足相关联性的不可靠点与可靠点连接至同一个区域中形成一个新的区域。

在本发明实施例中，将通过TOF深度值赋值的可靠点称为种子点，设定合适的生长准则，设定一个先进先出的区域q，在该区域内的全部像素点的深度值等于种子点的深度值。例如选取一个种子点p的像素坐标为(x₀，y₀)，该种子点p的深度值为d，预测该点p邻近的四个像素坐标(x₀，y₀-1)，(x₀，y₀+1)，(x₀-1，y₀)，(x₀+1，y₀)上的深度值与种子点p的相关联性，假设生长准则设定相邻两个像素点深度值之差的绝对值小于自定义的阈值T，若其中一个以上的不可靠点与种子点p的相关联性满足设定的生长准则，则将满足条件的不可靠点与种子点合并到种子点所在的区域q变成可靠点，以新获得的可靠点作为种子点继续进行预测；若点p与邻近的四个像素坐标点的深度值的相关联性不满足设定的生长准则，则区域生长终止。经过校正处理后，有效提高了深度图的测量精度。

可以理解的是，上述实施例只是一个具体实施例，并不对本发明的校正方法做具体限制，任何属于本发明设计构思的校正方法均属于本发明的公开范围。

基于上述实施例的融合的深度测量装置，本发明还提出了一种融合的深度测量方法。

参照图4所示，图4为本发明另一实施例一种融合的深度测量方法的流程图示，包括如下步骤：

S1、控制光源阵列发射时序上振幅被调制的光束，光学元件接收光束后向目标物体发射斑点图案光束；

S2、通过TOF图像传感器中的像素阵列接收由目标物体反射的斑点图案光束并形成电信号；

S3、接收电信号并计算得到相位差，基于相位差计算目标物体的TOF深度图；和，接收电信号以形成结构光图案，并利用结构光图案计算目标物体的结构光深度图；以及，将TOF深度图中的深度值作为可靠点，赋值到结构光深度图中对应像素位置，并利用可靠点校正结构光深度图，最终得到目标物体的深度图像。

具体的，光源阵列朝向目标区域发射斑点图案光束，控制电路控制斑点图案光束中每个斑点对应的光束的振幅在时序上被连续波、方波或脉冲的方式中的至少一种方式调制。

具体的，TOF图像传感器包括至少一个像素，每个像素包括有两个及以上的抽头，优选地，每个像素包括4个抽头，在单个帧周期(或单次曝光时间内)内以一定的次序依次切换抽头以采集相应的光子，以接收光信号并转换成电信号。

具体的，控制电路接收像素阵列输入的电信号分别进行相位计算和强度计算，其中，通过相位计算获取待测目标区域的TOF深度图；通过强度计算获取待测目标区域的结构光深度图。将TOF深度值赋值到结构光深度图中对应的像素上，由此将结构光深度图上的点区分为可靠点(TOF深度值)和不可靠点，结合校正算法利用可靠点校正不可靠的点。

在一个实施例中，以可靠点作为种子点，结合区域生长算法优化不可靠点，从而校正结构光深度图获得精度更高的深度图像。

本发明提出了一种基于振幅时序调制的结构光发射端和TOF图像传感器组成的融合的深度测量装置及测量方法，通过朝向目标区域投射斑点图案化光束，分别进行TOF深度值计算以及结构光深度值计算，基于TOF深度值具有较高的测量精度，以TOF深度值为依据校正结构光深度图因匹配计算所引起的误差，获得高精度的深度图，结合结构光测量的高分辨的优点，实现了一种高精度、高分辨率、低功耗、小型化的深度测量方案。

作为本发明又一实施例，还提供一种电子设备。所述电子设备可以是手机、平板、电脑、电视、智能头盔、智能眼镜以及机器人等。参照图5所示，以手机为例进行说明，电子设备500包括壳体51、屏幕52、以及前述实施例所述的融合的深度测量装置；所述屏幕52用于进行信息显示；而所述壳体51可为所述电子设备提供防尘、防水、防摔等保护功能。

具体的，融合的深度测量装置的发射模块11与接收模块12设置于电子设备500的第一平面上，用于向目标物体发射在时序上振幅被调制的斑点图案光束与接收由目标物体反射的斑点图案光束；屏幕52安装在电子设备的第二平面上，用于显示图像或者文字等信息；第一平面与第二平面为同一平面或第一平面与第二平面为相对立的平面。在一些实施例中，融合的深度测量装置的控制和处理电路可以与电子设备共用；而在一些实施例中，当电子设备本身设置有TOF图像传感器时，融合的深度测量装置的接收模块也可以共用所述TOF图像传感器。

通过将该融合的深度测量装置集成到电子设备中，如：手机、平板、电脑、电视、智能头盔、智能眼镜以及机器人等，从而使得电子设备的功能不断扩大，应用越来越广泛，例如可以实现对目标物体进行深度测量以获取包含目标更高精度的深度图像，进一步基于该高精度的深度图像可以实现三维重建、人脸识别、人机交互等等功能。

可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。

此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。

Claims

1.一种融合的深度测量装置，其特征在于，包括发射模块、接收模块、以及分别与发射模块和接收模块连接的控制和处理电路；其中，

发射模块，包括有光源阵列以及光学元件，所述光源阵列用于发射时序上振幅被调制的光束，所述光学元件接收所述光束后向目标物体发射斑点图案光束；

接收模块，包括有TOF图像传感器，所述TOF图像传感器包括像素阵列，所述像素阵列接收由所述目标物体反射的斑点图案光束并形成电信号；

控制和处理电路，接收所述电信号并计算得到相位差，利用所述相位差计算所述目标物体的TOF深度图；和，接收所述电信号并计算得到结构光图案，利用所述结构光图案计算所述目标物体的结构光深度图；以及，将所述TOF深度图中的深度值作为可靠点，赋值到所述结构光深度图中对应像素位置，并利用所述可靠点校正所述结构光深度图，最终得到目标物体的深度图像。

2.如权利要求1所述融合的深度测量装置，其特征在于：所述TOF图像传感器包括至少一个像素；其中，每个像素包括有两个及以上的抽头。

3.如权利要求2所述融合的深度测量装置，其特征在于：所述控制和处理电路提供所述TOF图像传感器各个像素中各个抽头的解调信号，抽头在所述解调信号的控制下采集由包含目标物体反射回的反射光束所产生的电信号。

4.如权利要求1所述融合的深度测量装置，其特征在于：所述控制和处理电路包括有相位计算模块和强度计算模块，所述TOF图像传感器产生的电信号同时传输到所述相位计算模块和所述强度计算模块，通过处理计算得到该像素对应的相位信息和强度信息，根据所述相位信息和所述强度信息进一步得到该像素对应的TOF深度图和结构光深度图。

5.如权利要求4所述融合的深度测量装置，其特征在于：所述控制和处理电路还包括有标定模块、匹配模块、以及校正模块；其中，所述标定模块得到的TOF深度图和所述匹配模块得到的结构光深度图输入至所述校正模块，建立TOF深度图和结构光深度图的映射，保证每个像素产生的电信号计算得到的TOF深度值对应于计算得到的结构光深度值，将所述TOF深度值赋值到所述结构光深度图中对应的像素坐标中，以赋值后的点作为可靠点，对所述结构光深度图中未赋值的点进行校正处理。

6.一种融合的深度测量方法，其特征在于,包括如下步骤：

S3、接收所述电信号并计算得到相位差，基于所述相位差计算所述目标物体的TOF深度图；和，接收所述电信号以形成结构光图案，并利用所述结构光图案计算所述目标物体的结构光深度图；以及，将所述TOF深度图中的深度值作为可靠点，赋值到所述结构光深度图中对应像素位置，并利用所述可靠点校正所述结构光深度图，最终得到目标物体的深度图像。

7.如权利要求6所述融合的深度测量方法，其特征在于：步骤S1中，光源阵列朝向目标区域发射斑点图案光束，控制和处理电路控制斑点图案光束中每个斑点对应的光束的振幅在时序上被连续波、方波或脉冲方式中的至少一种方式调制。

8.如权利要求6所述融合的深度测量方法，其特征在于：步骤S2中，TOF图像传感器包括至少一个像素，每个像素包括有两个及以上的抽头；在单个帧周期内，以一定的次序依次切换抽头以采集相应的光子，以接收光信号并转换成电信号。

9.如权利要求6所述融合的深度测量方法，其特征在于：步骤S3中，通过控制和处理电路接收像素阵列输入的电信号分别进行相位计算和强度计算，以得到目标物体的TOF深度图和结构光深度图，将TOF深度值赋值到所述结构光深度图中对应的像素上，由此将所述结构光深度图上的点区分为可靠点与不可靠点，结合校正算法利用所述可靠点校正所述不可靠的点，得到所述目标物体的深度图像。

10.一种电子设备，包括：壳体、屏幕、以及权利要求1-5任一项所述的融合的深度测量装置；其中，所述融合的深度测量装置的发射模块与接收模块设置于电子设备的第一平面上，以用于向目标物体发射在时序上振幅被调制的斑点图案光束与接收由所述目标物体反射的斑点图案光束；所述屏幕安装在所述电子设备的第二平面上，用于显示图像或者文字等信息；所述第一平面与所述第二平面为同一平面或所述第一平面与所述第二平面为相对立的平面。