CN108848320A - 深度检测系统及其曝光时间调整方法 - Google Patents

Abstract

本公开的实施例提出一种深度检测系统及其曝光时间调整方法。该深度检测系统包括：第一检测单元，所述第一检测单元包括第一图像采集单元，所述第一图像采集单元配置为根据寄存器中的曝光时间参数采集第一原始图像；第二检测单元，所述第二检测单元包括第二图像采集单元，所述第二图像采集单元配置为根据所述寄存器中的曝光时间参数采集第二原始图像数据；以及控制单元，配置为根据所述第一原始图像数据产生深度图像，且根据所述第二原始图像数据调整所述寄存器中的曝光时间参数。

Description

深度检测系统及其曝光时间调整方法

技术领域

本公开属于图像处理技术领域，具体而言，涉及一种深度检测系统及其曝光时间调整方法。

背景技术

相关技术中，不论是基于TOF(Time of flight，飞行时间)技术、结构光技术还是主动式双目视觉技术的深度检测方案，都是主动式红外光源+图像传感器(Image Sensor)的硬件实现架构，这种方式从原理上讲，如果采用固定的曝光时间，对运动的待检物体进行检测时，都会存在物体距离较远时，曝光不足即会发生欠曝；物体距离较近时，图像过度曝光(以下简称过曝)问题。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

根据本公开的一个方面，提供一种深度检测系统，包括：

第一检测单元，所述第一检测单元包括第一图像采集单元，所述第一图像采集单元配置为根据寄存器中的曝光时间参数采集第一原始图像；

第二检测单元，所述第二检测单元包括第二图像采集单元，所述第二图像采集单元配置为根据所述寄存器中的曝光时间参数采集第二原始图像；以及

控制单元，配置为根据所述第一原始图像产生深度图像，且根据所述第二原始图像调整所述寄存器中的曝光时间参数。

在本公开的一种示例性实施例中，其中：

所述第一图像采集单元具有第一分辨率；

所述第二图像采集单元具有第二分辨率；

所述第一分辨率大于所述第二分辨率。

在本公开的一种示例性实施例中，其中：

所述第一图像采集单元具有第一分辨率；

所述第二图像采集单元具有第二分辨率；

所述第一分辨率等于所述第二分辨率，且所述第二图像采集单元还包括：

像素处理单元，所述像素处理单元配置为对所述第二图像采集单元的原始图像的像素间做合并处理或者读取所述第二图像采集单元的原始图像的部分像素区域。

在本公开的一种示例性实施例中，其中：

所述第一检测单元还包括第一光源，所述第一光源配置为向位于所述第一检测单元前的待检物体提供第一波段的第一光信号；

所述第一图像采集单元还配置为接收所述待检物体反射所述第一光信号产生的第一反射光信号，并根据所述第一反射光信号产生所述第一原始图像；

所述第二检测单元还包括第二光源，所述第二光源配置为向位于所述第二检测单元前的所述待检物体提供第二波段的第二光信号；

所述第二图像采集单元还配置为接收所述待检物体反射所述第二光信号产生的第二反射光信号，并根据所述第二反射光信号产生所述第二原始图像。

在本公开的一种示例性实施例中，所述控制单元还包括调制单元，所述调制单元配置为：

向所述第一光源发送第一驱动信号，以驱动所述第一光源发射所述第一光信号；以及向所述第一图像采集单元发送第一解调信号；

向所述第二光源发送第二驱动信号，以驱动所述第二光源发射所述第二光信号；以及向所述第二图像采集单元发送第二解调信号。

在本公开的一种示例性实施例中，其中：

所述第一检测单元还包括第一透镜组，所述第一透镜组配置为使至少部分所述第一反射光信号入射至所述第一图像采集单元；

所述第二检测单元还包括第二透镜组，所述第二透镜组配置为使至少部分所述第二反射光信号入射至所述第二图像采集单元。

根据本公开的一个方面，提供一种基于上述任一实施例所述的深度检测系统的曝光时间调整方法，所述方法包括：

获取第一原始图像，根据所述第一原始图像数据产生深度图像；其中所述第一原始图像根据寄存器中的曝光时间参数采集；

获取第二原始图像，根据所述第二原始图像调整所述寄存器中的曝光时间参数；其中所述第二原始图像根据所述寄存器中的曝光时间参数采集。

在本公开的一种示例性实施例中，获取第一原始图像，根据所述第一原始图像产生深度图像，包括：

根据所述寄存器中的当前曝光时间参数采集当前第一预设帧第一原始图像；

根据所述当前第一预设帧第一原始图像生成第一帧深度图像；

根据所述寄存器中调整后的曝光时间参数采集下一第一预设帧第一原始图像；

根据所述下一第一预设帧第一原始图像数据生成第二帧深度图像。

在本公开的一种示例性实施例中，获取第二原始图像，根据所述第二原始图像调整所述寄存器中的曝光时间参数，包括：

根据所述寄存器中的当前曝光时间参数采集当前第二预设帧第二原始图像；

若所述当前第二预设帧第二原始图像中存在任意一帧或者多帧过曝或者欠曝，调整所述寄存器中的所述当前曝光时间参数。

在本公开的一种示例性实施例中，所述第一检测单元采集各帧第一原始图像包括曝光阶段和数据读出阶段，所述方法还包括：

若所述第一检测单元完成所述曝光阶段，控制所述第二检测单元调整所述寄存器中的曝光时间参数；

若所述第二检测单元完成所述数据读出阶段，控制所述第二检测单元停止工作。

附图说明

通过结合附图考虑以下对本公开的优选实施方式的详细说明，本公开的各种目标、特征和优点将变得更加显而易见。附图仅为本公开的示范性图解，并非一定是按比例绘制。在附图中，同样的附图标记始终表示相同或类似的部件。其中：

图1是相关技术中一种深度检测系统的结构示意图；

图2是基于图1所示深度检测系统的深度检测时序图；

图3是相关技术中一种曝光时间调整方法的流程图；

图4是基于图3所示曝光时间调整方法的深度检测时序图；

图5是示出根据本公开实施例的一种深度检测系统的结构示意图；

图6是示出根据本公开实施例的另一种深度检测系统的结构示意图；

图7是示出根据本公开实施例的一种曝光时间调整方法的流程图；

图8是示出根据本公开实施例的一种深度检测时序图；

图9是示出根据本公开实施例的另一种曝光时间调整方法的部分流程图；

图10是示出根据本公开实施例的另一种曝光时间调整方法的流程图。

具体实施方式

体现本公开特征与优点的典型实施例将在以下的说明中详细叙述。应理解的是本公开能够在不同的实施例上具有各种的变化，其皆不脱离本公开的范围，且其中的说明及附图在本质上是作说明之用，而非用以限制本公开。

在对本公开的不同示例性实施方式的下面描述中，参照附图进行，所述附图形成本公开的一部分，并且其中以示例方式显示了可实现本公开的多个方面的不同示例性结构、系统和步骤。应理解，可以使用部件、结构、示例性装置、系统和步骤的其他特定方案，并且可在不偏离本公开范围的情况下进行结构和功能性修改。

图1是相关技术中一种深度检测系统的结构示意图。

基于TOF技术的主动式深度检测系统，其基本结构如图1所示，其一般包括控制&计算单元、主动红外光源101、红外图像传感器(sensor)103和透镜组102，其中，主动红外光源101、红外图像传感器(sensor)103和透镜组102组成深度检测单元，其中主动红外光源101为深度检测单元的曝光阶段提供必要的照明，红外图像sensor 103用于产生包含深度信息的原始图像，透镜组102保证良好的光路以使深度检测单元获取清晰的图像。

如图1所示，置于深度检测单元前方的待检物体，假设当其处于P0位置时，以某个曝光时间参数T进行曝光，可以获得清晰图像数据。但如果当其运动到距离深度检测单元较近的位置P1时，若仍以曝光时间T进行曝光，那么就会因为接收到过量的反射光线，造成红外图像sensor 103接收到的光过强而造成过曝；同理，若仍以曝光时间T进行曝光，当待检物体运动到距离深度检测单元较远的位置P2时，就会造成红外图像sensor 103感光不足而无法获得有效图像数据(即欠曝)。

本公开实施例中，TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。

图2是基于图1所示深度检测系统的深度检测时序图。

在示例性实施例中，基于TOF技术的深度检测单元的深度图像一般由两帧、四帧等多帧原始图像数据计算得出，本公开实施例中以四帧原始图像为基础获取深度图像为例进行说明，但本公开并不限定于此。

图2示出了一种由四帧原始图像数据获得深度图像的深度检测时序。在图2所示时序中，P1阶段为曝光&电荷累积阶段，在该阶段所述控制&计算单元发送驱动信号或者激励信号，驱动主动红外光源101发射特定频率的红外光，对待检物体进行照明。同时，所述控制&计算单元分别以与所述驱动信号相位差为0°(DCS0)、90°(DCS1)、180°(DCS2)、270°(DCS3)的解调信号驱动红外图像sensor 103，驱动红外图像sensor 103将接收到的光信号进行光电转换并累积在sensor pixel(传感器像素)的积分电容中；P2阶段为AD转换(Analog-to-Digital Convert，模数转换)&数据读出阶段，在该阶段红外图像sensor 103的像素电路中模拟前端将每个pixel的积分电容中的电荷信号转换为相应的数字量并逐一输出，分别获得对应DCS0、DCS1、DCS2、DCS3的四帧原始图像数据，然后经过计算，由该四帧原始图像数据得出一帧深度图像数据。再然后，循环前述操作，进行下一帧深度图像的采集。

基于前述图1和图2相关技术中由四帧原始图像获取一帧深度图像的方法，针对固定曝光时间时，由于待检物体的距离变化引起的过曝或欠曝问题，可以采取的一种方案是，当检测到该四帧原始图像中的任意一帧或者多帧原始图像过曝或欠曝后，通过循环调整曝光时间的方式，最终将曝光时间参数调整到合理的曝光时间，进而保证最终获得正常的深度图像。

图3是相关技术中一种曝光时间调整方法的流程图。图4是基于图3所示曝光时间调整方法的深度检测时序图。

如图3所示，本实施例提供的曝光时间调整方法可以包括以下步骤。

在步骤S310中，分别以与驱动信号相位差为0度、90度、180度、270度的解调信号，按初设曝光时间T，进行曝光解调，获得当前4帧原始图像数据。

在步骤S320中，判断获得的当前4帧原始图像数据中，是否存在任意一帧或者多帧原始图像存在过曝或者欠曝；若存在，则进入步骤S330；若不存在，则进入步骤S350。

在步骤S330中，若当前4帧原始图像数据中存在任意一帧或者多帧原始图像过曝，则减少曝光时间T；若当前4帧原始图像数据中存在任意一帧或者多帧原始图像欠曝，则增加曝光时间T；经过步骤S330调整曝光时间T后，设置一个新的曝光时间T’。

在步骤S340中，分别以与驱动信号相位差为0度、90度、180度、270度的解调信号，按步骤S330获得的新的曝光时间T’，进行曝光解调，跳回到步骤S320，继续判断获得的下一4帧原始图像数据，是否存在任意一帧或者多帧原始图像存在过曝或者欠曝，循环执行上述步骤S320-S340，直至获得的4帧原始图像数据中，没有任何一帧原始图像过曝或者欠曝。

在步骤S350中，以不存在任何一帧原始图像过曝或者欠曝的4帧原始图像数据计算获得深度图像。

在步骤S360中，结束。

本公开实施例中，在上述深度检测系统用于近距离待检物体检测时，一般曝光时间T都远远小于图像数据的AD转换&数据读出时间，即T(P1)<<T(P2)，那么曝光时间调整前后的数据帧时间(即T(P1)+T(P2))近似相等，T(P1)变化会对数据帧时间有些微影响，但是相对来讲该影响可以忽略。

例如，假设T(P1)曝光时间调整之前为10微秒，曝光时间调整后T(P1)变到100微秒，但是T(P2)可能有几十毫秒，T(P1)所占数据帧时间比例很低。因此图3所示的控制流程图，按时间轴可以理解为图4所示的数据流格式。

如图4所示，假设深度检测单元初始时按照曝光时间T采集第一次的4帧原始图像，这里假设第一次采集的4帧原始图像均没有任意一帧过曝或者欠曝，则控制&计算单元可以根据所述第一次采集的4帧原始图像计算获得深度图像的正常帧0；由于第一次采集的4帧原始图像均不过曝或者欠曝，此时不需要调整曝光时间T，则所述深度检测单元继续按照曝光时间T采集第二次的4帧原始图像，这里假设所述深度检测单元第二次采集的4帧原始图像也均没有任意一帧过曝或者欠曝，则所述控制&计算单元可以根据所述第二次采集的4帧原始图像计算获得深度图像的正常帧1；由于第二次采集的4帧原始图像均不过曝或者欠曝，此时还是不需要调整曝光时间T，则所述深度检测单元继续按照曝光时间T采集第三次的4帧原始图像，这里假设从401位置处开始，待检物体运动，引起所述待检物体与所述深度检测单元之间的距离变化，从而导致所述深度检测单元第三次采集的4帧原始图像中至少存在一帧过曝或者欠曝，此时，所述控制&计算单元根据所述第三次采集的4帧原始图像计算获得深度图像的调整帧0，由于第三次采集的4帧原始图像中至少存在一帧过曝或者欠曝，此时，可以按照预设的固定步长Δ调整，例如，如果第三次采集的4帧原始图像中存在至少一帧过曝，则将曝光时间调整为(T-Δ)；如果第三次采集的4帧原始图像中存在至少一帧欠曝，则将曝光时间调整为(T+Δ)；以此类推，获得深度图像的调整帧1；……直至深度图像的调整帧N(N为大于等于0的整数)，将曝光时间经过多次调整后，调整到合理的曝光时间，这里所谓合理的曝光时间是指，根据该曝光时间采集的连续4帧原始图像中，不存在任意一帧过曝或者欠曝。

继续参考图4，直至到位置402处，由于计算获得调整帧N的连续4帧原始图像不存在任意一帧过曝或者欠曝，此时，可以根据调整后的曝光时间获得良好图像，则根据调整帧N采用的曝光时间继续采集下一4帧原始图像，根据该下一4帧原始图像计算获得正常帧2。

需要说明的是，图4中的“正常帧”和“调整帧”都是指一帧深度图像，其可以根据连续的四帧原始图像计算获得。图4中，“正常帧”是指，计算获得该帧深度图像的四帧原始图像都没有过曝或者欠曝，那么这帧输出的深度图像就是正常的；“调整帧”是指计算获得该帧深度图像的四帧原始图像数据存在至少一帧过曝或者欠曝，那么要根据过曝或者欠曝情况调整下一帧深度图像的曝光时间，所以该帧深度图像称为“调整帧”。

例如，如果以曝光时间T0采集的4帧原始图像存在过曝或欠曝，那么根据以曝光时间T0采集的4帧原始图像计算获得的该帧深度图像就称之为调整帧，并将曝光时间调整为T1。其下一帧深度图像的获得，需要使用修正后的曝光时间T1进行曝光，根据曝光时间T1进行采集获得的4帧原始图像中的任意一帧是否存在过曝或者欠曝，决定了根据以曝光时间T1采集的4帧原始图像计算获得的该帧深度图像为调整帧或正常帧。

由于相关技术中的深度检测系统中只有一个深度检测单元，系统启动后，其开始第一次检测，按初始设定的曝光时间连续拍摄四帧原始图像后，根据该四帧原始图像中的数据判断是否存在任意一帧或者多帧原始否过曝或欠曝，如果过曝，那么其在下一次深度图像检测时，减短曝光时间，但是要注意的是，其只能根据设定的步长(例如Δ)减少曝光时间，如果此次检测依然过曝，那么需要进行第三次检测，继续减少曝光时间，以此类推，直至达到合理的曝光时间。欠曝亦然。

由图4可以看出，在待检物体与深度检测单元之间的距离变化引起过曝或欠曝后，开始进入曝光时间调整阶段，直至找到合理的曝光时间后，才能继续正常获取深度图像。因此，这种方法会引入一个问题，那就是由于待检物体每次距离变动范围不同，导致每次调整曝光时间的调整帧帧数不同，在待检物体与深度检测单元之间的距离变化剧烈时，可能需要很多调整帧才能将曝光时间调整至合理程度，也就是说调整帧前正常帧与下一正常帧之间的帧间隔会很大，在有效的深度图像数据流输出过程中就表现为“丢帧”，这种现象对于当前帧率最高只有几十帧的深度检测单元来说影响是非常严重的。

由上述的过程可以知道，其可能需要经过很多深度图像帧的自我调整之后，才能获得合适的深度图像，这会使得深度图像获取效率很低。进一步假设，如果待检物体在与所述深度检测单元之间忽远忽近的较大范围内来回移动的话，那么其需要不断地自我调整曝光时间，这样会使得深度图像的检测帧率非常低。为了解决上述技术问题，本公开实施方式提供的一种解决方案是，增加一个第二检测单元，所述第二检测单元可以配置为专用于曝光时间参数调整。

需要说明的是，本公开实施例中均以TOF技术为例进行举例说明，但本公开并不限定于此，例如，本公开实施方式提供的方案在原理上还可以适用于结构光技术或者主动式双目视觉技术。

图5是示出根据本公开实施例的一种深度检测系统的结构示意图。

如图5所示，本公开实施方式提供了一种深度检测系统500，深度检测系统500可以包括：第一检测单元510、第二检测单元520以及控制单元530。

其中，第一检测单元510可以包括第一图像采集单元511。第一图像采集单元511可以配置为根据寄存器531中的曝光时间参数采集第一原始图像。

其中，第二检测单元520可以包括第二图像采集单元521。第二图像采集单元521可以配置为根据寄存器531中的曝光时间参数采集第二原始图像。

其中，控制单元530可以配置为根据所述第一原始图像产生深度图像，且根据所述第二原始图像调整寄存器531中的曝光时间参数。

例如，控制单元530可以通过判断第二检测单元520采集的每连续四帧第二原始图像数据是否存在任意一帧或者任意多帧有过曝或者欠曝，如某一连续四帧第二原始图像数据中存在至少一帧过曝或者欠曝，则控制单元530可以根据固定的步长调整寄存器531中的曝光时间参数。

需要说明的是，图5所示的实施例中，以寄存器531集成于控制单元530，且第一检测单元510和第二检测单元520共用该同一寄存器531为例进行说明，但本公开对此不作限定，例如，在其他实施例中，寄存器531也可以为独立的一个物理元件，或者也可以集成于其他物理元件。甚至，寄存器531可以包括第一寄存器和第二寄存器，其中，所述第一寄存器可以配置为存储第一检测单元510的曝光时间参数，所述第二寄存器可以配置为存储第二检测单元520的曝光时间参数。

在示例性实施例中，第一图像采集单元511可以具有第一分辨率；第二图像采集单元521可以具有第二分辨率。其中，所述第一分辨率可以大于所述第二分辨率。

例如，第一检测单元510可以用于采集连续的可用或者有效或者正常的深度图像，第一检测单元510可以采用较高分辨率的红外图像sensor(本公开并不限定于此)作为第一图像采集单元511；第二检测单元520可以用于快速深度检测以调整寄存器531中的曝光时间参数，第二检测单元520可以采用具有较低分辨率的红外图像sensor(本公开并不限定于此)作为第二图像采集单元521。

需要说明的是，本公开实施例中“较高分辨率”和“较低分辨率”是相对而言的，具体的可以根据实际需求选用合适分辨率的图像传感器作为第一图像采集单元511和第二图像采集单元521。

在示例性实施例中，第一图像采集单元511可以具有第一分辨率；第二图像采集单元521可以具有第二分辨率。其中，所述第一分辨率可以等于所述第二分辨率，且第二图像采集单元521还可以包括：像素处理单元。本公开实施例中，所述像素处理单元可以配置为对第二图像采集单元521的原始图像的像素间做合并处理或者读取第二图像采集单元521的原始图像的部分像素区域。

例如，第一检测单元510可以用于采集连续的可用或者有效或者正常的深度图像，第一检测单元510可以采用较高分辨率的红外图像sensor(本公开并不限定于此)作为第一图像采集单元511；第二检测单元520可以用于快速深度检测以调整寄存器中的曝光时间参数，第二检测单元520也可以为具有较高分辨率的红外图像sensor(本公开并不限定于此)作为第二图像采集单元521，但在使用时pixel间做binning处理或仅使用部分pixel区域，这样可以大量减少生成深度图像的第二原始图像数据量，大大降低第二图像采集单元521图像数据AD转换&读出时间，从而使得第二检测单元520可以获得很高的帧率，进而提高了深度检测系统的曝光时间调整率。

需要说明的是，本公开实施例中，pixel间做binning处理的意思是，将多个像素与其相邻的一个或多个像素看作1个像素处理，例如，分辨率为320×240的图像sensor，假设采用10位AD，如果不做binning，那么其输出数据量为320×240×10＝768000bit，而如果采用25个pixel看作1个pixel处理，假设依然采用10位AD，那么其输出数据量为320×240÷25×10＝30720bit，降低了25倍，这样在与第一检测单元510同样的传输速度下，提高了第二检测单元520的检测帧率。同理，如果第二图像采集单元521采用只读取320×240区域中的部分区域(例如只读取100×50)，也可以达到降低第二检测单元520读出数据量的目的。

需要说明的是，本公开实施例中，均以AD转换电路集成于图像sensor为例进行举例说明，但本公开并不限定于此，在其他实施例中，也可以将AD转换电路集成于下述的控制单元中，或者单独做一个物理元件。

本公开实施方式提供的深度检测系统，通过设置第二检测单元，根据所述第二检测单元采集的第二原始图像调整曝光时间参数，而第一检测单元采集的第一原始图像用于深度图像的生成，从而可以在不损失深度图像帧率的情况下，实现所述深度检测系统的曝光时间的动态调整。而通过动态调整深度检测系统的曝光时间，使得所述深度检测系统应用于对运动的待检物体检测时，能够避免远距离曝光不足和近距离曝光量过大的问题。

图6是示出根据本公开实施例的另一种深度检测系统的结构示意图。

如图6所示，与上述图5的实施例的不同之处在于，本公开实施方式提供的深度检测系统600包括的第一检测单元510还可以包括第一光源512。其中，第一光源512可以配置为向位于第一检测单元510前的待检物体提供第一波段的第一光信号；此时，第一图像采集单元511还可以配置为接收所述待检物体反射所述第一光信号产生的第一反射光信号，并根据所述第一反射光信号产生所述第一原始图像。

继续参考图6，第二检测单元520还可以包括第二光源522。其中，第二光源522可以配置为向位于第二检测单元520前的所述待检物体提供第二波段的第二光信号；此时，第二图像采集单元521还可以配置为接收所述待检物体反射所述第二光信号产生的第二反射光信号，并根据所述第二反射光信号产生所述第二原始图像。

在示例性实施例中，所述待检物体在运动过程中，能够保证所述待检物体与第一检测单元510和第二检测单元520之间的距离相等。但本公开并不限定于此，例如，还可以在每次采集原始图像数据时，获取所述待检物体与第一检测单元510和第二检测单元520之间的距离差值，检测单元在进行曝光时间参数调整时，考虑到所述距离差值的影响。

在图6所示实施例中，控制单元530还可以包括调制单元(图中未示出)，所述调制单元可以配置为：向第一光源512发送第一驱动信号，以驱动第一光源512发射所述第一光信号；以及向第一图像采集单元511发送第一解调信号；向第二光源522发送第二驱动信号，以驱动第二光源522发射所述第二光信号；以及向第二图像采集单元521发送第二解调信号。

本公开实施例中，第一光源512和第二光源522均可以采用主动式光源，由于所述深度检测系统为主动式光源检测，而非依靠环境光工作，所以这里可以忽略环境光的影响，比如采用850nm的光源照射待检物体，然后图像sensor端有850nm的红外滤光片，那么图像sensor就只会感测到850nm的光信号，而环境光中该波段光信号很少。此外，由于TOF技术发出的光为调制光，这种方式天然有抗干扰的特性。

在图6所示实施例中，第一检测单元510还可以包括第一透镜组513，所述第一透镜组513可以配置为使至少部分所述第一反射光信号入射至所述第一图像采集单元511；所述第二检测单元520还可以包括第二透镜组523，所述第二透镜组523可以配置为使至少部分所述第二反射光信号入射至所述第二图像采集单元521。

图7是示出根据本公开实施例的一种曝光时间调整方法的流程图。

如图7所示，本公开实施方式提供了一种基于图5或图6所述的深度检测系统的曝光时间调整方法，所述曝光时间调整方法可以包括以下步骤。

在步骤S710中，获取第一原始图像，根据所述第一原始图像数据产生深度图像；其中所述第一原始图像根据寄存器中的曝光时间参数采集。

在步骤S720中，获取第二原始图像，根据所述第二原始图像调整所述寄存器中的曝光时间参数；其中所述第二原始图像根据所述寄存器中的曝光时间参数采集。

在示例性实施例中，所述获取第一原始图像，根据所述第一原始图像产生深度图像，可以包括：根据所述寄存器中的当前曝光时间参数采集当前第一预设帧第一原始图像；根据所述当前第一预设帧第一原始图像生成第一帧深度图像；根据所述寄存器中调整后的曝光时间参数采集下一第一预设帧第一原始图像；根据所述下一第一预设帧第一原始图像数据生成第二帧深度图像。

在下面的实施例中，均以所述第一预设帧为4为例进行举例说明，即4帧第一原始图像生成一帧深度图像，但本公开并不限定于此，例如，所述第一预设帧也可以为2帧，即也可以根据2帧第一原始图像生成一帧深度图像。

在示例性实施例中，所述获取第二原始图像，根据所述第二原始图像调整所述寄存器中的曝光时间参数，可以包括：根据所述寄存器中的当前曝光时间参数采集当前第二预设帧第二原始图像；若所述当前第二预设帧第二原始图像中存在任意一帧或者多帧过曝或者欠曝，调整所述寄存器中的所述当前曝光时间参数。

在下面的实施例中，以所述第二预设帧为1为例进行举例说明，即第二检测单元每采集一帧第二原始图像，控制单元即判断该帧第二原始图像是否存在过曝或者欠曝，如果该帧第二原始图像存在过曝或者欠曝，则相应的调整曝光时间，这样，可以较大地提高第二检测单元的曝光时间的调整率。但本公开并不限定于此，例如，所述第二预设帧也可以为4，即第二检测单元每采集连续4帧第二原始图像，控制单元判断该连续4帧第二原始图像是否存在至少一帧过曝或者欠曝，如果该连续4帧第二原始图像中有任意一帧或者多帧过曝或者欠曝，则相应的调整曝光时间。再例如，所述第二预设帧还可以为2或者其他任意设置的合适的数值。

在示例性实施例中，可以通过以下方式来判断某一帧第二原始图像是否过曝或者欠曝或者曝光正常：

从单个pixel角度看，可以采用的方法是将第二图像采集单元输出的模拟量进行AD转换后，根据数值进行判断。例如，10位的AD转换后，那么其数值范围为0-1024，这样可以分别设置1个高阈值(比如1000，该数值仅为举例，并不限定于此)和1个低阈值(比如100，该数值仅为举例，并不限定于此)，AD转换后的数据超过1000可以认为该pixel为过曝，AD转换后的数据低于100可以认为该pixel欠曝，AD转换后的数据在100-1000之间认为该pixel曝光正常。

另外，从一帧第二原始图像整体上来看，在采集到完整的一帧第二原始图像数据(例如具有320×240＝76800个pixel的数据)后，也可以对整体再设置一个百分比阈值(如30％，该数值仅为举例，并不限定于此)，如果该帧第二原始图像中过曝的pixel数量超过pixel总数的30％，那么认为该帧第二原始图像过曝，此时需要降低光强度；反之，如果该帧第二原始图像中欠曝的pixel数量超过pixel总数的30％，那么认为该帧第二原始图像欠曝，此时需要提高光强度。

在示例性实施例中，所述第一检测单元采集各帧第一原始图像可以包括曝光阶段和数据读出阶段，所述方法还可以包括：若所述第一检测单元完成所述曝光阶段，控制所述第二检测单元调整所述寄存器中的曝光时间参数；若所述第二检测单元完成所述数据读出阶段，控制所述第二检测单元停止工作。

图8是示出根据本公开实施例的一种深度检测时序图。

深度检测时序如图8所示，这里假设第一检测单元和第二检测单元工作在相同的光源波段。

深度检测系统开始工作时，检测单元1(即第一检测单元)以寄存器中的初始曝光时间参数T进行曝光，检测单元2(即第二检测单元)在检测单元1的第一个第一原始图像数据帧DCS0的曝光阶段(进行第一原始图像的曝光和电荷累积)完成后开始工作，这样可以避免检测单元2的主动光源对检测单元1的影响，并根据检测单元2获取的第二原始图像数据不断调整更新所述寄存器中的曝光时间参数T；在检测单元1的第一个第一原始图像数据帧DCS0的数据读出阶段(进行AD转换和第一原始图像数据输出)完成前，检测单元2停止工作，假设此时所述寄存器中的曝光时间参数更新为T0。同样地，在检测单元1的DCS1、DCS2、DCS3三帧第一原始图像数据帧采集完成后(即控制单元将该三帧原始图像数据读出后)，所述寄存器中的曝光时间参数更新为T3(这里假设检测单元1的DCS1第一原始图像数据帧采集完成后，所述寄存器中的曝光时间参数更新为T1；检测单元1的DCS2第一原始图像数据帧采集完成后，所述寄存器中的曝光时间参数更新为T2；检测单元1的DCS3第三原始图像数据帧采集完成后，所述寄存器中的曝光时间参数更新为T3)，这样在进行检测单元1的用于生成下一帧深度图像的四帧DCS0、DCS1、DCS2、DCS3第一原始图像采集时，检测单元1以新的曝光时间参数T3进行曝光。

需要说明的是，本公开实施例中，所述检测单元2停止工作是指检测单元2的第二光源和第二图像采集单元都停止工作，控制单元停止向第二光源发送第二驱动信号，同时，控制单元还停止向第二图像采集单元发送第二解调信号。

由图8可以获知，在检测单元1的任意一帧第一原始图像的数据读出阶段，检测单元2可以进行多次第二原始图像采集，从而控制单元可以根据采集的第二原始图像来实现多次调整曝光时间T。

需要说明的是，图8中的一帧调整帧是指一帧第二原始图像，且图8中的调整帧并不意味着其调整了寄存器中的曝光时间参数。

以第一检测单元的DCS0为例，假设从第二检测单元的调整帧0开始存在过曝，那么就会修正曝光时间T，假设在经过Q次调整帧(Q<N)，将曝光时间修正为Tq，此时曝光时间Tq为一个合理的曝光时间值，但检测单元2并未停止工作，其会继续采集后续的N-Q帧第二原始图像，但这个过程中如果待检物体与第二检测单元之间的距离未变化，也即曝光时间无需调整，那么经N帧调整帧后，寄存器中的曝光时间参数依然维持在Tq。在这个过程中，为了说明检测单元2是持续工作的(虽然其调整判断的结果可能是曝光时间与上一调整帧的曝光时间维持相同)，这里将检测单元2的图像帧全部称为调整帧，而不加以区分。

在图8所示的实施例中，第一检测单元处于DCS0数据的P11阶段时，控制单元分别向第一光源和第一图像采集单元发送相位差为0度的第一驱动信号和第一解调信号；在第一检测单元处于DCS0的P12阶段，且第二检测单元处于采集第二原始图像数据的P21阶段时，所述控制单元还分别向第二光源和第二图像采集单元发送相位差为0度的第二驱动信号和第二解调信号；第一检测单元处于DCS1数据的P11阶段时，控制单元分别向第一光源和第一图像采集单元发送相位差为90度的第一驱动信号和第一解调信号；在第一检测单元处于DCS1的P12阶段，且第二检测单元处于采集第二原始图像数据的P21阶段时，所述控制单元还分别向第二光源和第二图像采集单元发送相位差为90度的第二驱动信号和第二解调信号；第一检测单元处于DCS2数据的P11阶段时，控制单元分别向第一光源和第一图像采集单元发送相位差为180度的第一驱动信号和第一解调信号；在第一检测单元处于DCS2的P12阶段，且第二检测单元处于采集第二原始图像数据的P21阶段时，所述控制单元还分别向第二光源和第二图像采集单元发送相位差为180度的第二驱动信号和第二解调信号；第一检测单元处于DCS3数据的P11阶段时，控制单元分别向第一光源和第一图像采集单元发送相位差为270度的第一驱动信号和第一解调信号；在第一检测单元处于DCS3的P12阶段，且第二检测单元处于采集第二原始图像数据的P21阶段时，所述控制单元还分别向第二光源和第二图像采集单元发送相位差为270度的第二驱动信号和第二解调信号；其他以此类推。

在另一实施例中，第二检测单元可以和第一检测单元工作在不同的光源波段，比如第二检测单元只接收850nm红外光，第一检测单元只接收920nm红外光，此时，第二检测单元不会对第一检测单元造成干扰，深度检测系统开始工作时，检测单元1以寄存器中的初始曝光时间参数T进行曝光，检测单元2可以同时以寄存器中的初始曝光时间参数T进行曝光，即检测单元2可以不用等待检测单元1停止工作后再进入曝光时间参数调整阶段。

图9是示出根据本公开实施例的另一种曝光时间调整方法的部分流程图；图10是示出根据本公开实施例的另一种曝光时间调整方法的流程图。

如图9和10所示，本公开实施方式提供的曝光时间调整方法可以包括如下步骤。

如图9所示，在步骤S910中可以包括以下步骤。

在步骤S911中，检测单元1按寄存器中曝光时间参数T进行曝光，0度相位差解调。

在步骤S912中，检测单元1采集的第一原始图像中的DCS0数据输出。

在步骤S913中，当检测单元1采集DCS0数据的曝光阶段完成且开始进入DCS0数据输出阶段时，检测单元2开始采集第二原始图像。

在步骤S914中，判断检测单元2获得的当前帧第二原始图像是否存在过曝或欠曝；若存在过曝或者欠曝，进入步骤S915；若不存在过曝或者欠曝，进入步骤S916。

在步骤S915中，根据当前帧第二原始图像修正所述寄存器中曝光时间参数T。

在步骤S916中，判断检测单元1的DCS0数据是否输出完成；如果检测单元1的DCS0数据已经完成数据输出阶段，则进入步骤S917；反之，跳回到步骤S913继续采集检测单元2的下一帧第二原始图像，并将该下一帧第二原始图像作为检测单元2的当前帧第二原始图像，循环执行上述步骤S913-S916，直至检测单元1完成DCS0的数据输出阶段。

在步骤S917中，更新所述寄存器中曝光时间参数为T0。

如图10所示，在步骤S920中，重复上述步骤S910，检测单元1依然按曝光时间参数T进行曝光，但分别以90度、180度、270度相位差解调。

在步骤S930中，判断检测单元1的DCS3数据是否输出完成；如果检测单元1的DCS3完成数据读出阶段，则进入步骤S940；反之，继续跳回到步骤S920。

在步骤S940中，以新的曝光时间参数T3开启下一帧深度图像采集。

需要说明的是，在这个过程中，为保证计算得出的深度图像的正确性，检测单元1的四帧第一原始图像数据获取时，采用一致的曝光时间，而并不是使用寄存器中实时的调整后的曝光时间，只有在四帧第一原始图像获取完成后，在下一帧深度图像获取时，才采用更新后的曝光时间参数T3作为新的曝光时间参数。检测单元2是以每次寄存器中调整后的新的曝光时间再次曝光，直至当前帧第二原始图像不存在过曝或者欠曝为止，检测单元2是一直通过试错的方式不断调整曝光时间参数。

本公开实施例中，检测单元1中不再对其采集的四帧第一原始图像数据判断是否过曝或者欠曝，即不论当前的四帧第一原始图像数据是否过曝或者欠曝，均以检测单元2更新后的曝光时间T3进行下一帧深度图像所需的四帧第一原始图像数据的曝光。

在其他实施例中，也可以判断检测单元2获得的当前4帧第二原始图像是否存在过曝或者欠曝，此时，检测单元2的DCS0、DCS1、DCS2、DCS3四帧第二原始图像数据中的任何一帧或多帧都存在过曝或者欠曝的可能，而不是特定的某一帧过曝或者欠曝，其他帧不过曝或者欠曝。即，每次检测不能根据特定的某一帧第二原始图像数据调整曝光时间，而是其中任何一帧第二原始图像过曝或者欠曝都要调整，直至四帧第二原始图像都不过曝或者欠曝为止。

本公开实施方式提供的曝光时间动态调整方法，通过引入一个第二检测单元，其与第一检测单元可以共用同一个存储曝光时间参数的寄存器，由于第二检测单元的第二原始图像数据读出分辨率较第一检测单元低，其完成一次检测所用的时间就要短，这样在第一检测单元的第一次检测图像数据输出和第二次检测曝光之间，第二检测单元就可以完成多次检测，也即可以完成多次的对寄存器中的曝光时间参数的调整，当第一检测单元的第二次检测曝光开始时，其即可使用已经经过多次调整的寄存器中的曝光时间参数的值，而因为多次调整，此时寄存器中的曝光时间参数的值很可能已经达到合理的值，这样就不会影响第一检测单元的检测帧率。

以上详细地描述和/或图示了本公开提出的深度检测系统及其曝光时间调整方法的示例性实施方式。但本公开的实施方式不限于这里所描述的特定实施方式，相反，每个实施方式的组成部分和/或步骤可与这里所描述的其它组成部分和/或步骤独立和分开使用。一个实施方式的每个组成部分和/或每个步骤也可与其它实施方式的其它组成部分和/或步骤结合使用。在介绍这里所描述和/或图示的要素/组成部分/等时，用语“一个”、“一”和“上述”等用以表示存在一个或多个要素/组成部分/等。术语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。此外，权利要求书及说明书中的术语“第一”和“第二”等仅作为标记使用，不是对其对象的数字限制。

虽然已根据不同的特定实施例对本公开提出的隔垫物制作方法进行了描述，但本领域技术人员将会认识到可在权利要求的精神和范围内对本公开的实施进行改动。

Claims (10)

1.一种深度检测系统，其特征在于，包括：

第一检测单元，所述第一检测单元包括第一图像采集单元，所述第一图像采集单元配置为根据寄存器中的曝光时间参数采集第一原始图像；

第二检测单元，所述第二检测单元包括第二图像采集单元，所述第二图像采集单元配置为根据所述寄存器中的曝光时间参数采集第二原始图像；以及

控制单元，配置为根据所述第一原始图像产生深度图像，且根据所述第二原始图像调整所述寄存器中的曝光时间参数。

2.根据权利要求1所述的深度检测系统，其特征在于，其中：

所述第一图像采集单元具有第一分辨率；

所述第二图像采集单元具有第二分辨率；

所述第一分辨率大于所述第二分辨率。

3.根据权利要求1所述的深度检测系统，其特征在于，其中：

所述第一图像采集单元具有第一分辨率；

所述第二图像采集单元具有第二分辨率；

所述第一分辨率等于所述第二分辨率，且所述第二图像采集单元还包括：

像素处理单元，所述像素处理单元配置为对所述第二图像采集单元的原始图像的像素间做合并处理或者读取所述第二图像采集单元的原始图像的部分像素区域。

4.根据权利要求1所述的深度检测系统，其特征在于，其中：

所述第一检测单元还包括第一光源，所述第一光源配置为向位于所述第一检测单元前的待检物体提供第一波段的第一光信号；

所述第一图像采集单元还配置为接收所述待检物体反射所述第一光信号产生的第一反射光信号，并根据所述第一反射光信号产生所述第一原始图像；

所述第二检测单元还包括第二光源，所述第二光源配置为向位于所述第二检测单元前的所述待检物体提供第二波段的第二光信号；

所述第二图像采集单元还配置为接收所述待检物体反射所述第二光信号产生的第二反射光信号，并根据所述第二反射光信号产生所述第二原始图像。

5.根据权利要求4所述的深度检测系统，其特征在于，所述控制单元还包括调制单元，所述调制单元配置为：

向所述第一光源发送第一驱动信号，以驱动所述第一光源发射所述第一光信号；以及向所述第一图像采集单元发送第一解调信号；

向所述第二光源发送第二驱动信号，以驱动所述第二光源发射所述第二光信号；以及向所述第二图像采集单元发送第二解调信号。

6.根据权利要求5所述的深度检测系统，其特征在于，其中：

所述第一检测单元还包括第一透镜组，所述第一透镜组配置为使至少部分所述第一反射光信号入射至所述第一图像采集单元；

所述第二检测单元还包括第二透镜组，所述第二透镜组配置为使至少部分所述第二反射光信号入射至所述第二图像采集单元。

7.一种基于上述权利要求1至6任一项所述的深度检测系统的曝光时间调整方法，其特征在于，所述方法包括：

获取第一原始图像，根据所述第一原始图像数据产生深度图像；其中所述第一原始图像根据寄存器中的曝光时间参数采集；

获取第二原始图像，根据所述第二原始图像调整所述寄存器中的曝光时间参数；其中所述第二原始图像根据所述寄存器中的曝光时间参数采集。

8.根据权利要求7所述的曝光时间动态调整方法，其特征在于，获取第一原始图像，根据所述第一原始图像产生深度图像，包括：

根据所述寄存器中的当前曝光时间参数采集当前第一预设帧第一原始图像；

根据所述当前第一预设帧第一原始图像生成第一帧深度图像；

根据所述寄存器中调整后的曝光时间参数采集下一第一预设帧第一原始图像；

根据所述下一第一预设帧第一原始图像数据生成第二帧深度图像。

9.根据权利要求7或8所述的曝光时间动态调整方法，其特征在于，获取第二原始图像，根据所述第二原始图像调整所述寄存器中的曝光时间参数，包括：

根据所述寄存器中的当前曝光时间参数采集当前第二预设帧第二原始图像；

若所述当前第二预设帧第二原始图像中存在任意一帧或者多帧过曝或者欠曝，调整所述寄存器中的所述当前曝光时间参数。

10.根据权利要求9所述的曝光时间动态调整方法，其特征在于，所述第一检测单元采集各帧第一原始图像包括曝光阶段和数据读出阶段，所述方法还包括：

若所述第一检测单元完成所述曝光阶段，控制所述第二检测单元调整所述寄存器中的曝光时间参数；

若所述第二检测单元完成所述数据读出阶段，控制所述第二检测单元停止工作。