CN112738413B - 一种基于tof的人像区域亮度自动调节方法 - Google Patents

Abstract

本发明提供了一种基于TOF的人像区域亮度自动调节方法，包括：采用摄像头获取人像图；人像图画面进行缩减处理，获取人像识别主体区域；经等差序列方式对人像识别主体区域进行缩减处理，获取目标人像有效区域；统计目标人像有效区域内的像素深度；计算像素平均深度数据，计算目标人像与摄像头之间像素平均深度数据的当前帧数据与历史帧数据之间差值；根据像素平均深度数据与积分次数之间映射关系，获得目标积分次数；判断差值与调节阈值大小，若差值≥调节阈值，则调整目标积分次数，更新历史帧数据；当差值＜调节阈值，则不调整目标积分次数。本发明的方法能有效提升人像检测、识别的速度和准确率，降低整机在作业模式和待机模式的功耗。

Description

一种基于TOF的人像区域亮度自动调节方法

技术领域

本发明涉及人像识别技术领域，具体为一种基于TOF的人像区域亮度自动调节方法。

背景技术

随着人工智能领域的蓬勃发展，人像识别技术作为该领域技术落地的排头兵，在例如通行领域闸机、考勤领域的打卡机、家用领域的门锁等场景中应用。为了有效提升人像识别技术的安全性及便捷性，目前的人像识别产品大多采用多图像源的方式进行识别认证，目前常见的有双路彩色图像输入，如一路彩色图像和一路红外光图像、或一路红外图像和一路深度图像等。例如：TOF摄像头(TOF是Time of Flight的缩写，直译为飞行时间，是通过给目标连续的发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物距离。)可以输出一路红外图像和一路深度图像，可以很好的满足人像检测、人像识别等后续需求，也为防范纸张图像、手机图像的攻击提供更多的理论依据。

但是，目前TOF技术在实际使用过程中，虽然其具备一定的调节积分次数的能力，能够改善红外光图像人脸区域的对比度，但是仍会出现因人像过近或过远而造成的过曝与过暗现象，从而影响后续的人脸识别效率、识别速率及识别结果。

因此，需要提供一种自动调整人像亮度的方法，以解决上述问题。

发明内容

本发明提供了一种基于TOF的人像区域亮度自动调节方法，其能够适用于不仅限于红外光摄像头、3D结构光摄像头等场景的可调控成像图像亮度的人像识别系统，在人像识别之前，通过本发明的人像区域亮度自动调节方法对获取的图像进行亮度调整，一方面能够改善人像过近/过远引起的成像对比度低的问题，另一方面能够能够降低整机在作业模式和待机模式的功耗，实现有效提升后续的人像检测、识别速度、识别准确率的目的。

实现发明目的的技术方案如下：一种基于TOF的人像区域亮度自动调节方法，包括以下步骤：

采用摄像头获取人像图；

人像图画面进行缩减处理，获取人像识别主体区域，人像识别主体区域内包括目标人像存留区域；

经等差序列方式对人像识别主体区域进行缩减处理，获取目标人像有效区域；

统计目标人像有效区域内的像素深度，计算像素平均深度数据；

计算目标人像与摄像头之间像素平均深度数据的当前帧数据与历史帧数据之间差值；

根据像素平均深度数据与积分次数之间映射关系，获得目标积分次数；

判断差值与调节阈值大小，若差值≥调节阈值，则调整目标积分次数，更新历史帧数据；当差值＜调节阈值，则不调整目标积分次数。

其中，人像识别主体区域的大小＜人像图的大小，且人像识别主体区域的中心与人像图的中心重合，边缘与人像图的边缘平行。

进一步的，人像图为W×H，其中，W表示人像图的宽度，H表示人像图的高度；

人像识别主体区域的大小范围为0.1W×H至0.75W×H。

进一步的，人像图画面进行缩减处理后，人像识别主体区域的大小为0.25W×H。

进一步的，等差序列方式的取样包括1、3、5、……、n间隔式取样，或2、4、6、……、n+1间隔式取样，n为奇数。

其中，在等差序列方式对人像识别主体区域进行缩减处理前，还包括设定时间范围内无目标人像时，对积分次数进行约束调节过程。

进一步的，积分次数约束调节过程，包括以下步骤：

在等差序列方式对人像识别主体区域进行缩减处理前，还包括对积分次数约束调节过程，包括以下步骤：

设置未检测到目标的次数为0；

设置积分次数的上限及下限；

像素平均深度数据计算后，判断像素平均深度数据是否满足检测阈值：

若满足，则设置未检测到目标次数为0，计算目标人像与摄像头之间像素平均深度数据的当前帧数据与历史帧数据之间差值；

若不满足，则设置未检测到目标次数为1，判断未检测到目标是否满足未检测到目标次数阈值：

若满足，则将当前积分次数设置为积分次数下限，并进入目标人像有效区域获取步骤；

若不满足，则直接进入目标人像有效区域获取步骤。

其中，摄像头包括TOF摄像头、红外光摄像头、3D结构光摄像头中的一种。

其中，计算当前帧数据与历史帧数据之间差值之前，还包括以下步骤：

经遍历算法遍历目标人像有效区域像素，滤除像素深度阈值区间外的像素，保留像素深度阈值区间内像素。

与现有技术相比，本发明的有益效果是：

1.针对实际使用场景，对人像图进行两次缩减，即首先将人像识别主体区域之外的部分缩减，然后再以等差序列方式（例如1、3、5、……或2、4、6、……的间隔式取样）进行删减。实现了只对整个画面的部分区域（即目标人像有效区域）进行像素深度统计分析，以减少计算量与耗时，且通过调整目标积分次数实现自动调节亮度。

2.结合实验测试数据，将目标人像有效区域内，在像素深度阈值区间（depth_low，depth_high）之外的非有效像素深度滤除，统计有效深度信息，以保证深度数据的有效性。

3.通过根据当前帧深度数据和历史帧深度数据之间的差值与调节阈值之间的大小关系，确定积分次数是否进行调整，以减少对寄存器的配置，也可以减少相应的应用耗时。

4.通过在预设时间内未检测到人像，对积分次数进行约束操作，以减少近红外光的发射，能够避免在无人像仍进行识别而造成的功耗问题，实现整体功耗的降低。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明为了更清楚地说明本发明实施例或现有技术中的技术方案，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为具体实施方式中基于TOF的人像区域亮度自动调节方法的流程图；

图2为具体实施方式中人像图的示意图。

具体实施方式

下面结合具体实施例来进一步描述本发明，本发明的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的，并不对本发明的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换，但这些修改和替换均落入本发明的保护范围内。

在本实施例的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。

此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本具体实施方式提供了一种基于TOF的人像区域亮度自动调节方法，包括以下步骤：

采用摄像头获取人像图。

具体的，摄像头包括TOF摄像头、红外光摄像头、3D结构光摄像头中的一种，上述三种摄像头均通过向目标发送红外光，如TOF摄像头发射的近红外光，其遇到目标时，能够计算管线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生像素深度信息。摄像头获取的人像图为W×H，其中，W表示人像图的宽度，H表示人像图的高度。

人像图画面进行缩减处理，获取人像识别主体区域，人像识别主体区域内包括目标人像存留区域。

具体的，人像识别主体区域的大小＜人像图的大小，且人像识别主体区域的中心与人像图的中心重合，边缘与人像图的边缘平行。通过对人像图进行缩减，获得包括目标人像存留区域在内的人像识别主体区域，能够大大减少后续像素深度数据的统计量，减少了算法的计算量。进一步的，人像识别主体区域的大小范围为0.1W×H至0.75W×H。一般来说，实际的目标人像存留区域通常位于画面中心区域，因此择优选择人像识别主体区域的大小为0.25W×H，即人像识别主体区域的大小为四分之一的人像图的大小，在计算时可以减少75%的计算量。

经等差序列方式对人像识别主体区域进行缩减处理，获取目标人像有效区域。

具体的，考虑到邻近像素之间的数值差异较小，因此可以考虑取部分数据进行统计，以进一步减少算法的计算量。在本实施例中，择优选择等差序列方式的取样包括1、3、5、……、n间隔式取样，或2、4、6、……、n+1间隔式取样，n为奇数。本具体实施方式中的等差序列方式（如间隔式）取样相对于现有的最近邻插值的resize具有更加均匀的采样分布，比双线性插值和三次样条插值具有更少的计算量，是一种新颖的搜索方式。

统计目标人像有效区域内的像素深度，计算像素平均深度数据。

计算目标人像与摄像头之间像素平均深度数据的当前帧数据与历史帧数据之间差值。

根据像素平均深度数据与积分次数之间映射关系，获得目标积分次数。

判断差值与调节阈值大小，若差值≥调节阈值，则调整目标积分次数，更新历史帧数据；当差值＜调节阈值，则不调整目标积分次数。

具体的，由于对红外积分次数的调节，是通过一系列寄存器配置操作实现的，所以存在较大的时间消耗，且经实验测试可知，当积分次数在一定范围内波动时，不会影响人像区域成像的对比度，因此，上述通过设置调节阈值，通过差值与调节阈值之间的大小关系，判断是否需要调整目标积分次数，这样可以减少对寄存器的配置，也可以减少相应的应用耗时。

其中，作为对人像区域亮度自动调节方法的改进，在等差序列方式对人像识别主体区域进行缩减处理前，还包括设定时间范围内无目标人像时，对积分次数进行约束调节过程。在预设时间内未检测到人像，对积分次数进行约束操作，可以减少近红外光的发射，能够避免在无人像仍进行识别而造成的功耗问题，实现整体功耗的降低。

具体的，上述积分次数约束调节过程，包括以下步骤：

在等差序列方式对人像识别主体区域进行缩减处理前，还包括对积分次数约束调节过程，包括以下步骤：

设置未检测到目标的次数为0；

设置积分次数的上限及下限；

像素平均深度数据计算后，判断像素平均深度数据是否满足检测阈值：

若满足，则设置未检测到目标次数为0，计算目标人像与摄像头之间像素平均深度数据的当前帧数据与历史帧数据之间差值；

若不满足，则设置未检测到目标次数为1，判断未检测到目标是否满足未检测到目标次数阈值：

若满足，则将当前积分次数设置为积分次数下限，并进入目标人像有效区域获取步骤；

若不满足，则直接进入目标人像有效区域获取步骤。

其中，作为对人像区域亮度自动调节方法的改进，在计算当前帧数据与历史帧数据之间差值之前，还包括以下步骤：经遍历算法遍历目标人像有效区域像素，滤除像素深度阈值区间外的像素，保留像素深度阈值区间内像素。通过对像素深度阈值区间外的像素进行滤除，能够将不符合要求的目标，例如人像以外的背景杂物等滤除，以降低后续算法的计算量。

以下，参见图1及图2所示，图1为人像区域亮度自动调节方法的流程图，图2为人像图的示意图，通过图1及图2对本发明的人像区域亮度自动调节方法进行详细说明。

S1、设备启动（开始），采用TOF摄像头获取人像图，人像图大小为W×H，如W=640，H=480，表示图像宽为640像素，高度为480像素。

S2、确定人像识别主体区域，即对S1中人像图画面进行3/4的缩减处理，获取人像识别主体区域，人像识别主体区域内包括目标人像存留区域。如图2所示，人像识别主体区域位于人像图的中心位置，为图像中心的灰色区域，且人像识别主体区域的中心与人像图的中心重合，人像识别主体区域的位置坐标为（W/4，H/4，W*3/4，H*3/4），即（160，120，480，360），人像识别主体区域的大小人像图大小的I/4。

S3、设置未检测到目标的次数为0。

S4、根据实际场景测试结果，设置积分次数的上限及下限。

S5、经间隔方式对人像识别主体区域进行缩减处理，获取目标人像有效区域，如图2所示，将灰色区域中浅色部分缩减，剩余深色部分为目标人像有效区域。此步骤中，通过间隔式的遍历，可以在步骤S2的基础上，将人像识别主体区域缩减50%，使得目标人像有效区域的大小为人像图大小的1/8。

S6、统计目标人像有效区域内的像素深度。

S7、计算像素平均深度数据。

S8、判断像素平均深度数据是否满足检测阈值：

若S8中判断像素平均深度数据满足检测阈值，则设置未检测到目标次数为0，按步骤S901进行。

S901、计算目标人像与摄像头之间像素平均深度数据的当前帧数据与历史帧数据之间差值；

S10、根据像素平均深度数据与积分次数之间映射关系，获得目标积分次数。

S11、判断差值与调节阈值大小。

S1101、若差值≥调节阈值，则调整目标积分次数，更新历史帧数据；

S1102、当差值＜调节阈值，则不调整目标积分次数。

若S8中判断像素平均深度数据不满足检测阈值，设置未检测到目标次数为1，则按步骤S902进行。

S902、设置未检测到目标次数为1，并判断未检测到目标是否满足未检测到目标次数阈值：若满足，则将当前积分次数设置为积分次数下限，并进入目标人像有效区域获取步骤；若不满足，则直接进入目标人像有效区域获取步骤。

进一步的，在上述步骤S5与步骤S6之间，由于在目标人像有效区域中，除目标人像存留区域外，可能还包括背景杂物等非目标的像素深度数据，在TOF摄像头对于正在使用该设备做人像识别的人，获得的像素深度数据中人像的像素深度数据较小，而人像外的背景等物体的像素深度数据，因此，在进行步骤S6之前，还对目标人像有效区域中不符合要求的目标进行滤除，在具体操作中，可以通过设置有效像素深度区间{depth_low，depth_high}，当像素深度数据在有效像素深度区间，则为有效数据，当像素深度数据在有效像素深度区间之外，则为无效数据，将其进行滤除。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种基于TOF的人像区域亮度自动调节方法，其特征在于，包括以下步骤：

采用摄像头获取人像图；

人像图画面进行缩减处理，获取人像识别主体区域，人像识别主体区域内包括目标人像存留区域；

经等差序列方式对人像识别主体区域进行缩减处理，获取目标人像有效区域；

统计目标人像有效区域内的像素深度，计算像素平均深度数据；

计算目标人像与摄像头之间像素平均深度数据的当前帧数据与历史帧数据之间差值；

根据像素平均深度数据与积分次数之间映射关系，获得目标积分次数；

判断差值与调节阈值大小，若差值≥调节阈值，则调整目标积分次数，更新历史帧数据；当差值＜调节阈值，则不调整目标积分次数。

2.根据权利要求1所述的人像区域亮度自动调节方法，其特征在于，人像识别主体区域的大小＜人像图的大小，且人像识别主体区域的中心与人像图的中心重合，人像识别主体区域的边缘与人像图的边缘平行。

3.根据权利要求2所述的人像区域亮度自动调节方法，其特征在于，人像图为W×H，其中，W表示人像图的宽度，H表示人像图的高度；

人像识别主体区域的大小范围为0.1W×H至0.75W×H。

4.根据权利要求3所述的人像区域亮度自动调节方法，其特征在于，人像图画面进行缩减处理后，人像识别主体区域的大小为0.25W×H。

5.根据权利要求1所述的人像区域亮度自动调节方法，其特征在于，等差序列方式的取样包括1、3、5、……、n间隔式取样，或2、4、6、……、n+1间隔式取样，n为奇数。

6.根据权利要求1所述的人像区域亮度自动调节方法，其特征在于，在等差序列方式对人像识别主体区域进行缩减处理前，还包括设定时间范围内无目标人像时，对积分次数进行约束调节过程。

7.根据权利要求6所述的人像区域亮度自动调节方法，其特征在于，积分次数约束调节过程，包括以下步骤：

设置未检测到目标的次数为0；

设置积分次数的上限及下限；

像素平均深度数据计算后，判断像素平均深度数据是否满足检测阈值：

若满足，则设置未检测到目标次数为0，计算目标人像与摄像头之间像素平均深度数据的当前帧数据与历史帧数据之间差值；

若不满足，则设置未检测到目标次数为1，判断未检测到目标是否满足未检测到目标次数阈值：

若满足，则将当前积分次数设置为积分次数下限，并进入目标人像有效区域获取步骤；

若不满足，则直接进入目标人像有效区域获取步骤。

8.根据权利要求1所述的人像区域亮度自动调节方法，其特征在于，摄像头包括TOF摄像头、红外光摄像头、3D结构光摄像头中的一种。

9.根据权利要求1~8任一项所述的人像区域亮度自动调节方法，其特征在于，计算当前帧数据与历史帧数据之间差值之前，还包括以下步骤：

经遍历算法遍历目标人像有效区域像素，滤除像素深度阈值区间外的像素，保留像素深度阈值区间内像素。

Images