CN115248445A - 能够自动曝光的tof相机 - Google Patents

Abstract

本发明提供了一种能够自动曝光的TOF相机，包括如下模块：光投射器，用于向目标投射红外光；红外相机，用于接收经目标反射后的红外光生成红外图像；处理器模块，用于根据每一红外图像中像素值超过预设置的第一像素值阈值的比例计算第一曝光指标，根据第二曝光指标根据每一红外图像的幅度值均值计算第二曝光指标，以及根据第一曝光指标、第一曝光指标对应的上限像素阈值、下限像素阈值以及第二曝光指标、第二曝光指标对应的幅度阈值判断每一所述红外图像的曝光状态，并根据所述曝光状态调整所述TOF相机的曝光时间。本发明能够快速将曝光时间调至合适的范围，防止画面过曝和欠曝，并且能够提高深度图的精度和工作距离范围。

Description

能够自动曝光的TOF相机

技术领域

本发明涉及深度相机，具体地，涉及一种能够自动曝光的TOF相机。

背景技术

时间飞行(Time of flight,TOF)深度相机通过发射特定波段的泛光光束，再利用传感器接收被测空间中物体的反射光束并测量光束在空间中的飞行时间来计算距离，从而获取被测空间的深度图像。TOF深度相机可同时获得灰度图像和深度图像，广泛应用在3D深度视觉相关的手势识别、人脸识别、3D建模、体感游戏、机器视觉、辅助对焦、安防、自动驾驶等技术领域。

TOF相机作为一款能够输出深度图的设备，也受到了广泛的研究。TOF相机的原理是利用计算发射红外光与接收到的红外光之间的相位差来计算所拍摄物体离相机的距离，为了提高精度，通常会利用四个不同相位的正弦波来与接收光作相关，进而算得深度值，其中相关运算实质上是电路中的积分运算，积分的时间则称为曝光时间。

目前市面上大多数TOF相机均没有自动曝光的功能，从而导致当环境光异常强烈或则近距离成像时，画面发生大范围过曝现象，引起深度异常的现象；以及当远距离成像时，画面因欠曝而导致信噪比严重下降，甚至深度值直接缺失的情况。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种能够自动曝光的TOF相机。

根据本发明提供的能够自动曝光的TOF相机，包括如下步骤：

根据本发明提供的能够自动曝光的TOF相机，包括如下模块：

光投射器，用于向目标投射红外光；

红外相机，用于接收经所述目标反射后的红外光生成红外图像；

处理器模块，用于根据每一所述红外图像中像素值超过预设置的第一像素值阈值的比例计算第一曝光指标，根据所述第二曝光指标根据每一所述红外图像的幅度值均值计算第二曝光指标，以及根据所述第一曝光指标、所述第一曝光指标对应的上限像素阈值、下限像素阈值以及所述第二曝光指标、所述第二曝光指标对应的幅度阈值判断每一所述红外图像的曝光状态，并根据所述曝光状态调整所述TOF相机的曝光时间。

优选地，所述处理器模块计算所述第一曝光指标包括如下步骤：

步骤M1：获取每一所述红外图像中每一像素的像素值；

步骤M2：判断每一像素的所述像素值是否超过预设置的第一像素值阈值，以确定每一所述红外图像中过曝像素数量；

步骤M3：获取每一所述红外图像中的像素总数，根据所述过曝像素数量和所述像素总数生成所述第一曝光指标。

优选地，所述处理器模块计算所述第二曝光指标包括如下步骤：

步骤N1：获取每一所述红外图像中每一像素的幅度值；

步骤N2：累加判断所述红外图像中所述像素的幅度值生成幅度值和；

步骤N3：获取每一所述红外图像中的像素总数，根据所述幅度值和与所述像素总数生成所述第二曝光指标。

优选地，判断所述红外图像的曝光状态，并根据所述曝光状态调整所述TOF相机的曝光时间包括如下步骤：

步骤S1：获取预设置的上限像素阈值和下限像素阈值；

步骤S2：当所述第一曝光指标大于所述上限像素阈值时确定所述红外图像过曝，当所述第一曝光指标小于所述下限像素阈值时且第二曝光指标小于所述幅度阈值时确定所述红外图像欠曝；

步骤S3：当所述红外图像过曝时减小下一帧所述红外图像的所述曝光时间，当所述红外图像欠曝时增加所述曝光时间。

优选地，在步骤S3中，下一帧所述红外图像的所述曝光时间t″_int为：

其中，w取值为0.9，t_int为当前帧的曝光时间，th₂为上限像素阈值，OEI₂为第一曝光指标，Raw为第二曝光指标；Δt₁为过曝时曝光变动时间，Δt₂为欠曝时曝光变动时间；

Δt₁＝-OEI₂/k₂

其中，k₂为第一曝光指标OEI₂与Δt₁拟合出的直线斜率，k₂预先计算出；

Δt₂＝k₁×(256-Raw)

其中，k₁为第二曝光指标与Δt₂拟合出的直线斜率，k₁预先计算出。

优选地，所述第一曝光指标根据每一所述红外图像中ROI区域的像素值超过预设置的第一像素值阈值的比例生成；

所述第二曝光指标根据每一所述红外图像中ROI区域的幅度值均值生成。

优选地，所述红外相机包括沿光路设置的镜头、滤光片以及图像传感器，所述图像传感器设置有至少四个所述接收窗口；

所述图像传感器，用于通过至少四个接收窗口接收至少四个所述红外光的光信号；所述至少四个接收窗口在时序上顺次排列，进而根据每一所述接收窗口到的光信号生成每一所述红外图像。

优选地，所述上限像素阈值可以设置为0.04，所述下限像素阈值可以设置为0.001.所述幅度阈值可以设置为255。

优选地，所述光探测器可以采用CMOS光传感器、CCD光传感器或SPAD光传感器。

根据本发明提供的能够自动曝光的TOF相机，包括如下步骤：

光投射器，用于向目标投射红外光；

红外相机，用于接收经所述目标反射后的红外光生成红外图像；

处理器模块，用于根据每一所述红外图像中像素值计算第一曝光指标，根据所述第二曝光指标根据每一所述红外图像的幅度值计算第二曝光指标，以及根据所述第一曝光指标、所述第一曝光指标对应的上限像素阈值、下限像素阈值以及所述第二曝光指标、所述第二曝光指标对应的幅度阈值判断每一所述红外图像的曝光状态，并根据所述曝光状态调整所述TOF相机的曝光时间。

与现有技术相比，本发明具有如下的有益效果：

本发明中根据每一所述红外图像中像素值和幅度值均值生成曝光指标，根据所述曝光指标确定曝光状态，并根据所述曝光状态调整所述TOF相机的曝光时间，能够快速将曝光时间调至合适的范围，防止画面过曝和欠曝，并且能够提高深度图的精度和工作距离范围；

本发明中可以在所述红外图像确定ROI区域，根据ROI区域的像素值和幅度值均值生成曝光指标，能够提高深度图的ROI区域的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中能够自动曝光的TOF相机的模块示意图；

图2为本发明实施例中生成第一曝光指标的步骤流程图；

图3为本发明实施例中生成第二曝光指标的步骤流程图；

图4为本发明实施例中根据曝光状态调整曝光时间的步骤流程图；

图5为本发明实施例中光投射器的模块示意图；

图6为本发明实施例中红外相机的模块示意图；

图7(a)、(b)、(c)为本发明实施例中点阵光非周期性排布的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明提供的能够自动曝光的TOF相机，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图1为本发明实施例中能够自动曝光的TOF相机的模块示意图，如图1所示，包括如下模块：

光投射器，用于向目标投射红外光；

红外相机，用于接收经所述目标反射后的红外光生成红外图像；

处理器模块，用于根据每一所述红外图像中像素值超过预设置的第一像素值阈值的比例计算第一曝光指标，根据所述第二曝光指标根据每一所述红外图像的幅度值均值计算第二曝光指标，以及根据所述第一曝光指标、所述第一曝光指标对应的上限像素阈值、下限像素阈值以及所述第二曝光指标、所述第二曝光指标对应的幅度阈值判断每一所述红外图像的曝光状态，并根据所述曝光状态调整所述TOF相机的曝光时间。

在本发明实施例中，所述红外相机包括红外探测器，通过红外探测器接收经所述目标反射后的所述红外光。所述红外光可以为红外泛光，也可以为点阵光。

所述红外图像可以为红外散斑图像，也可以为红外泛光图像。

所述红外图像为TOF相机距离所述目标人物距离在30至300厘米采集。

所述TOF相机为4相位tof相机，通过4次曝光得到4副红外散斑图像，进而通过计算得到一张深度图。

图2为本发明实施例中生成第一曝光指标的步骤流程图，如图2所示，所述处理器模块计算所述第一曝光指标包括如下步骤：

步骤M1：获取每一所述红外图像中每一像素的像素值；

步骤M2：判断每一像素的所述像素值是否超过预设置的第一像素值阈值，以确定每一所述红外图像中过曝像素数量；

步骤M3：获取每一所述红外图像中的像素总数，根据所述过曝像素数量和所述像素总数生成所述第一曝光指标。

在本发明实施例中，所述第一曝光指标可以设置为所述过曝像素数量与所述像素总数的比值。

在本发明实施例中，所述第一像素值采用11位二进制数表示范围在0至1024间，因此可以设置所述第一像素值阈值设置为1023。

图3为本发明实施例中生成第二曝光指标的步骤流程图，如图3所示，所述处理器模块计算所述第二曝光指标包括如下步骤：

步骤N1：获取每一所述红外图像中每一像素的幅度值；

步骤N2：累加判断所述红外图像中所述像素的幅度值生成幅度值和；

步骤N3：获取每一所述红外图像中的像素总数，根据所述幅度值和与所述像素总数生成所述第二曝光指标。

在本发明实施例中，所述幅度还可以采用灰度值、像素值、照度、光通量以及辐射功率中任一物理量表示。

在本发明实施例中，所述第二曝光指标可以设置为所述幅度值和与所述像素总数的比值。

图4为本发明实施例中根据曝光状态调整曝光时间的步骤流程图，如图4所示，判断所述红外图像的曝光状态，并根据所述曝光状态调整所述TOF相机的曝光时间包括如下步骤：

步骤S1：获取预设置的上限像素阈值和下限像素阈值；

步骤S2：当所述第一曝光指标大于所述上限像素阈值时确定所述红外图像过曝，当所述第一曝光指标小于所述下限像素阈值时且第二曝光指标小于所述幅度阈值时确定所述红外图像欠曝；

步骤S3：当所述红外图像过曝时减小下一帧所述红外图像的所述曝光时间，当所述红外图像欠曝时增加所述曝光时间。

在本发明实施例中，所述上限像素阈值可以设置为0.04，所述下限像素阈值可以设置为0.001.所述幅度阈值可以设置为255。

在本发明实施例中，在步骤S3中，下一帧所述红外图像的所述曝光时间t″_int为：

其中，w取值为0.9，t_int为当前帧的曝光时间，th₂为上限像素阈值，OEI₂为第一曝光指标，Raw为第二曝光指标；Δt₁为过曝时曝光变动时间，Δt₂为欠曝时曝光变动时间，

Δt₁＝-OEI₂/k₂

其中，k₂为第一曝光指标OEI₂与Δt₁拟合出的直线斜率，k₂可以预先计算出，

Δt₂＝k₁×(256-Raw)

其中，k₁为第二曝光指标与Δt₂拟合出的直线斜率，k₁可以预先计算出。

在本发明实施例中，所述第一曝光指标根据每一所述红外图像中ROI区域的像素值超过预设置的第一像素值阈值的比例生成；

所述第二曝光指标根据每一所述红外图像中ROI区域的幅度值均值生成。

图6为本发明实施例中TOF相机的模块示意图，如图6所示，当使用本发明提供的TOF相机时，通过所述点阵光投射器向所述目标投射红外泛光，然后通过所述红外相机接收经所述目标反射后的所述红外泛生成红外图像；所述处理器模块计算取第一曝光指标和第二曝光指标，当所述第一曝光指标大于所述上限像素阈值时确定所述红外图像过曝，当所述第一曝光指标小于所述下限像素阈值时且第二曝光指标小于所述幅度阈值时确定所述红外图像欠曝，且在当所述红外图像过曝时减小下一帧所述红外图像的所述曝光时间，当所述红外图像欠曝时增加所述曝光时间。

图5为本发明实施例中结构光投射器的模块示意图，如图5所示，所述光投射器包括光源、光源驱动器以及光调制器；

所述光源驱动器与所述光源连接，用于驱动所述光源发射红外光线；

所述光调制器，用于将所述光源的投射的光调制后向目标投射。

在本发明实施例中，所述光调制器可以采用时间调制器，对红外光线进行波形调整，所述光调制器还可以采用空间调制器，将所述红外光线调制成点阵光，所述空间调制器可以采用衍射光栅(DOE)或空间光调制器(SLM)。

图6为本发明实施例中红外相机的模块示意图，如图6所示，所述红外相机包括沿光路设置的镜头、滤光片以及图像传感器，所述图像传感器设置有至少四个所述接收窗口；

所述图像传感器，用于通过至少四个接收窗口接收至少四个所述红外的光信号；所述至少四个接收窗口在时序上顺次排列，进而根据每一所述接收窗口到的光信号生成每一所述红外图像，根据四副红外图像计算出深度图像。

所述图像传感器包括多个呈阵列分布的光探测器；

所述镜头，采用光学成像镜头，用于使得透过所述镜头进入光探测器阵列的所述准直光束的方向向量与光探测器呈一一对应关系；

所述光探测器，用于接收经所述目标物体反射的准直光束。

在本发明实施例中，为了过滤背景噪声，所述光学成像镜头内通常还装有窄带滤光片，使得所述光探测器阵列仅能通过预设的波长的入射准直光束。所述预设的波长可以为入射准直光束的波长，如950纳米，也可以为小于入射准直光束50纳米和大于入射准直光束50纳米之间。所述光探测器阵列可以呈周期或者非周期性排列。根据离散点阵光数量的需求，光探测器阵列可以是多个单点光探测器的组合或者是一个集成了多个光探测器的传感器芯片。为了进一步优化光探测器的灵敏度，一个离散点阵光在目标人物上的照射光斑可以对应一个或者多个光探测器。在多个光探测器对应同一个照射光斑时，每个探测器的信号可以通过电路连通，从而在能够合并为一个探测面积更大的光探测器。

在本发明实施例中，所述光探测器可以采用CMOS光传感器、CCD光传感器或SPAD光传感器。

在本发明实施例中，所述结构光为点阵光；所述点阵光呈如下预设定的形状分布：直线形、三角形、四边形、圆形、六边形、五边形、随机排布、空间编码排布以及准晶格排布。

图7(a)、(b)、(c)为本发明实施例中点阵光非周期性排布的示意图，如图7(a)所示，所述空间编码排布，具体为在在周期性排布中，缺省一部分的光束，从而实现排布位置的空间编码，在实际可以采用的编码不受限于图7(a)中示例；如图7(b)所示，所述随机排布，具体为准直光束的排布随机分布，使得不同位置的排布方式的相似性很小或者接近于零，如图7(c)所示，所述准晶格排布，具体为准直光束在近距离相邻位置非周期性排布，在远距离周期性排布。由于本发明在实现时受限于光学系统，实际准直光束在截面的排布可能存在畸变，比如发生拉伸、扭曲等。而每个准直光束在截面中的能量分布可以是圆形、圆环或椭圆形等者其他形状。在如7所示的这种排布方式，这种排布有利于对非确定目标的均匀采样，优化最终3D深度图的效果。

在本发明变形例中，本发明提供的能够自动曝光的TOF相机，包括如下步骤：

光投射器，用于向目标投射红外光；

红外相机，用于接收经所述目标反射后的红外光生成红外图像；

处理器模块，用于根据每一所述红外图像中像素值计算第一曝光指标，根据所述第二曝光指标根据每一所述红外图像的幅度值计算第二曝光指标，以及根据所述第一曝光指标、所述第一曝光指标对应的上限像素阈值、下限像素阈值以及所述第二曝光指标、所述第二曝光指标对应的幅度阈值判断每一所述红外图像的曝光状态，并根据所述曝光状态调整所述TOF相机的曝光时间。

本发明实施例中，根据每一所述红外图像中像素值和幅度值均值生成曝光指标，根据所述曝光指标确定曝光状态，并根据所述曝光状态调整所述TOF相机的曝光时间，能够快速将曝光时间调至合适的范围，防止画面过曝和欠曝，并且能够提高深度图的精度和工作距离范围。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种能够自动曝光的TOF相机，其特征在于，包括如下模块：

光投射器，用于向目标投射红外光；

红外相机，用于接收经所述目标反射后的红外光生成红外图像；

处理器模块，用于根据每一所述红外图像中像素值超过预设置的第一像素值阈值的比例计算第一曝光指标，根据所述第二曝光指标根据每一所述红外图像的幅度值均值计算第二曝光指标，以及根据所述第一曝光指标、所述第一曝光指标对应的上限像素阈值、下限像素阈值以及所述第二曝光指标、所述第二曝光指标对应的幅度阈值判断每一所述红外图像的曝光状态，并根据所述曝光状态调整所述TOF相机的曝光时间。

2.根据权利要求1所述的能够自动曝光的TOF相机，其特征在于，所述处理器模块计算所述第一曝光指标包括如下步骤：

步骤M1：获取每一所述红外图像中每一像素的像素值；

步骤M2：判断每一像素的所述像素值是否超过预设置的第一像素值阈值，以确定每一所述红外图像中过曝像素数量；

步骤M3：获取每一所述红外图像中的像素总数，根据所述过曝像素数量和所述像素总数生成所述第一曝光指标。

3.根据权利要求1所述的能够自动曝光的TOF相机，其特征在于，所述处理器模块计算所述第二曝光指标包括如下步骤：

步骤N1：获取每一所述红外图像中每一像素的幅度值；

步骤N2：累加判断所述红外图像中所述像素的幅度值生成幅度值和；

步骤N3：获取每一所述红外图像中的像素总数，根据所述幅度值和与所述像素总数生成所述第二曝光指标。

4.根据权利要求1所述的能够自动曝光的TOF相机，其特征在于，判断所述红外图像的曝光状态，并根据所述曝光状态调整所述TOF相机的曝光时间包括如下步骤：

步骤S1：获取预设置的上限像素阈值和下限像素阈值；

步骤S2：当所述第一曝光指标大于所述上限像素阈值时确定所述红外图像过曝，当所述第一曝光指标小于所述下限像素阈值时且第二曝光指标小于所述幅度阈值时确定所述红外图像欠曝；

步骤S3：当所述红外图像过曝时减小下一帧所述红外图像的所述曝光时间，当所述红外图像欠曝时增加所述曝光时间。

5.根据权利要求4所述的能够自动曝光的TOF相机，其特征在于，在步骤S3中，下一帧所述红外图像的所述曝光时间t″_int为：

其中，w取值为0.9，t_int为当前帧的曝光时间，th₂为上限像素阈值，OEI₂为第一曝光指标，Raw为第二曝光指标；Δt₁为过曝时曝光变动时间，Δt₂为欠曝时曝光变动时间；

Δt₁＝-OEI₂/k₂

其中，k₂为第一曝光指标OEI₂与Δt₁拟合出的直线斜率，k₂预先计算出；

Δt₂＝k₁×(256-Raw)

其中，k₁为第二曝光指标与Δt₂拟合出的直线斜率，k₁预先计算出。

6.根据权利要求1所述的能够自动曝光的TOF相机，其特征在于，所述第一曝光指标根据每一所述红外图像中ROI区域的像素值超过预设置的第一像素值阈值的比例生成；

所述第二曝光指标根据每一所述红外图像中ROI区域的幅度值均值生成。

7.根据权利要求1所述的能够自动曝光的TOF相机，其特征在于，所述红外相机包括沿光路设置的镜头、滤光片以及图像传感器，所述图像传感器设置有至少四个所述接收窗口；

所述图像传感器，用于通过至少四个接收窗口接收至少四个所述红外光的光信号；所述至少四个接收窗口在时序上顺次排列，进而根据每一所述接收窗口到的光信号生成每一所述红外图像。

8.根据权利要求1所述的能够自动曝光的TOF相机，其特征在于，所述上限像素阈值可以设置为0.04，所述下限像素阈值可以设置为0.001.所述幅度阈值可以设置为255。

9.根据权利要求1所述的能够自动曝光的TOF相机，其特征在于，所述光探测器可以采用CMOS光传感器、CCD光传感器或SPAD光传感器。

10.一种能够自动曝光的TOF相机，其特征在于，包括如下步骤：

光投射器，用于向目标投射红外光；

红外相机，用于接收经所述目标反射后的红外光生成红外图像；

处理器模块，用于根据每一所述红外图像中像素值计算第一曝光指标，根据所述第二曝光指标根据每一所述红外图像的幅度值计算第二曝光指标，以及根据所述第一曝光指标、所述第一曝光指标对应的上限像素阈值、下限像素阈值以及所述第二曝光指标、所述第二曝光指标对应的幅度阈值判断每一所述红外图像的曝光状态，并根据所述曝光状态调整所述TOF相机的曝光时间。

Images