CN111507245A - 人脸检测的嵌入式系统及检测方法 - Google Patents

Abstract

本申请公开了一种人脸检测的嵌入式系统及检测方法，包括：多路摄像头，用于采集图像；处理器，所述处理器分别与多路所述摄像头连接，所述处理器被配置为：获取多路图像，分别对多路所述图像进行解码及预处理，得到多路初始数据；以数组方式拼接多路初始数据，并将拼接所得的数据输入至人脸检测模型进行人脸检测，得到检测数据，其中，所述人脸检测模型为经由加速引擎训练的模型；依次对所述检测数据中的人脸信息进行标定，获得人脸数据；显示器，与处理器连接，用于展示所述人脸数据。本申请大幅度减少多路视频流的人脸检测时间，提高了检测效率，同时进行多路图像的人脸检测，提高嵌入式系统的资源利用率，从整体上提高嵌入式系统的使用效率。

Description

人脸检测的嵌入式系统及检测方法

技术领域

本申请涉及人脸检测技术领域，尤其涉及一种人脸检测的嵌入式系统及检测方法。

背景技术

人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回人脸的位置、大小和姿态。随着人工智能与深度学习技术的不断发展，人脸检测的应用场景逐渐从室内演变到室外，从单一限定场景发展到广场、车站及地铁口等场景，随着场景的转移，不但摄像头的数量会不断增多，而且对人脸检测的时效性的要求也越来越高。

目前，由于检测设备的处理能力有限，通常同时只能处理一路视频数据，当摄像头数量较多时，人脸检测通常是对采集到的视频数据进行轮询，依次进行算法操作，即针对于从多个摄像头中采集到视频数据，先对其中一路数据进行检测，当检测完是否有人脸后，再对下一路数据进行人脸检测，直至各路数据检测完成。但是，上述检测方式每一路视频处理都需要花费大量时间，耗时较长，因而可能达不到目前对人脸检测时效性的要求。

发明内容

本申请提供了一种人脸检测的嵌入式系统及检测方法，以解决现有技术中人脸检测方式耗时较长的技术问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

第一方面，本申请实施例公开了一种人脸检测的嵌入式系统，所述嵌入式系统包括：

多路摄像头，用于采集图像；

处理器，所述处理器分别与多路所述摄像头连接，所述处理器被配置为：

获取多路图像，分别对多路所述图像进行解码及预处理，得到多路初始数据；

以数组方式拼接将多路初始数据，并将拼接所得的数据输入至人脸检测模型进行人脸检测，得到检测数据，其中，所述人脸检测模型为经由加速引擎训练的模型；

依次对所述检测数据中的人脸信息进行标定，获得人脸数据；

显示器，所述显示器与所述处理器连接，用于展示所述人脸数据

第二方面，本申请实施例公开了一种人脸检测方法，所述方法包括：

获取多路图像，分别对多路所述图像进行解码及预处理，得到多路初始数据；

以数组方式拼接多路初始数据，并将拼接所得的数据输入至人脸检测模型进行人脸检测，得到检测数据，其中，所述人脸检测模型为经由加速引擎训练的模型；

依次对所述检测数据中的人脸信息进行标定，获得人脸数据。

与现有技术相比，本申请的有益效果为：

本申请提供了一种人脸检测的嵌入式系统及检测方法，通过多路摄像头获取多路图像，并将多路图像一并传送至处理器。处理器将获取到多路图像预处理为多路初始数据，将多路初始数据转存至数组，并统一输入至人脸检测模型，对输出的检测结果逐一进行人脸信息的标定，得到人脸检测数据，通过显示器展示出人脸检测数据。至此，本申请能够大幅度减少多路视频流的人脸检测时间，提高了检测效率。另外，本申请中人脸检测模型为经由加速引擎训练的模型，能够支撑多路初始数据的网络输入，也就是同时进行多路图像的人脸检测，以上能够提高嵌入式系统的资源利用率，从整体上提高嵌入式系统的使用效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种人脸检测的嵌入式系统的基本结构示意图；

图2为本发明实施例提供的一种人脸检测方法的流程示意图；

图3为本发明实施例提供的加速引擎训练人脸检测模型的流程示意图；

图4为本发明实施例提供的获取人脸数据的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

目前，人脸检测的应用场景逐渐从室内演变到室外，从单一限定场景发展到广场、车站及地铁口等场景，越来越到的应用场景对人脸检测的时效性的要求也越来越高。例如，对于安防找人来说，若想在大量的监控视频中找到某个特定的人脸，就要求人脸检测能够在最短的时间内获得准确的检测结果。

为提高人脸检测的时效性，本申请实施例提供了一种人脸检测的嵌入式系统。参见图1，为本发明实施例提供的一种人脸检测的嵌入式系统的基本结构示意图。结合图1所示，该嵌入式系统包括依次连接的多路摄像头、处理器以及显示器。其中，多路摄像头用于采集多路图像，并将多路图像输入至处理器，处理器对多路图像进行人脸检测过程，获取人脸数据，最后，通过显示器将检测出的人脸数据进行展示。

这里，处理器可以选择Nvidia Xavier，由于Nvidia Xavier本身支持26路1080P@60规格的视频解码能力，所以本申请使用小于等于26路摄像头采集图像数据，每路摄像头采集的数据规格小于等于1080P@60即可。当然，也可以选择其他能够通过加速引擎训练优化人脸检测模型的处理器，在此不做限定。

下面结合附图解释一下处理器的人脸检测过程。

参见图2，为本发明实施例提供的一种人脸检测方法的流程示意图。由图2所示，处理器的人脸检测方法包括以下步骤：

S201：获取多路图像，分别对多路所述图像进行解码及预处理，得到多路初始数据。

多路摄像头在采集到多路视频时，将多路视频输入至处理器。处理器分别从多路视频中采集多路图像，可以先采集每一路视频的第一帧图像，得到多路第一帧图像。在获得多路图像之后，需要对多路图像进行解码及预处理，使其均符合人脸检测模型的要求。例如，本申请可以选择同时利用18路摄像头采集18路图像，对这18路图像均需要进行解码及预处理。

对于多路图像的解码，可以利用处理器内置的硬件解码器模块进行，得到多路解码数据。当解码完成后，可继续对多路解码数据进行预处理过程。图像预处理的方法有很多种，以下仅以一种方式为例对图像预处理过程进行说明。

以一路图像为例，先将该图像进行放缩运算，是图像的大小与人脸检测模型的输入相一致。然后，将图像中的像素数据转换为浮点格式，这里，浮点格式是计算机系统中使用最广泛的实数表示方法，相对于定点数而言，浮点数利用指数使小数点的位置可以根据需要而上下浮动，从而可以灵活地表达更大范围的实数，浮点格式利用科学计数法来表达实数。完成浮点格式转化之后，再使图像中每个像素均与均值做差，其中，均值为人脸检测模型形成时所预设的均值。最后，将图像中每个像素的存储格式转化成以通道的方式进行排列，举例来说，一幅RGB色彩格式的图像含有3个原色通道，分别是红(R)原色通道，绿(G)原色通道和蓝(B)原色通道，通常情况下，RGB色彩格式的图像中的像素的存储方式为：RGB、RGB……RGB，但是为了适应人脸检测模型，需要将其存储为R、R、R…，G、G、G…，B、B、B…。

以上解码及预处理过程完成后，即可得到多路初始数据。

S202：以数组方式拼接多路初始数据，并将拼接所得的数据输入至人脸检测模型进行人脸检测，得到检测数据，其中，所述人脸检测模型为经由加速引擎训练的模型。

本申请实施例中，在将多路所述初始数据拼接至数组之前，处理器还需要将多路初始数据存储至共享内存中。由于多路图像的采集与后期人脸检测过程存在于处理器的不同进程中，所以若是要在人脸检测中获取其他进程的数据，需要多路图像的采集进程能够提前将预处理完成的数据存放到一片共享内存中。其中，共享内存由处理器进行开辟，大小为N×C×H×W，式中，N为图像的路数，C为图像的通道数量，H和W分别为图像高度和宽度。

多路初始数据在共享内存中的存储方式为：将第k路所述初始数据放置于所述共享内存的(k-1)×C×W×H至k×C×W×(H-1)个字节中，其中，k＝1，2，3，……，N。也就是说，第一路初始数据放置于共享内存的0～C×W×(H-1)个字节中；第二路初始数据放置于共享内存的1×C×W×H～2×C×W×(H-1)个字节中；依次类推，直至最后一路初始数据放置于共享内存的(N-1)×C×W×H～N×C×W×(H-1)个字节中。由于每路初始数据的获取过程都独立运行互不干扰，存储的过程基本上是同步的，不会浪费过多的存储时间。

当处理器需要对多路初始数据做进一步处理时，只需要利用memcpy函数从共享内存中复制出来即可。其中，memcpy函数指的是C和C++使用的内存拷贝函数。

处理器将多路初始数据从共享内存中复制出来，再拼接至数组中，也就是转存至数组中，并将其作为人脸检测模型的输入。其中，该数组的大小与共享内存的大小一致，也是N×C×H×W。

本申请实施例中，人脸检测模型可采用faceboxes(人脸检测网络)。在人脸检测中，基于CNN(Convolutional Neural Network，卷积神经网络)的方法虽精度高但是速度慢，而且检测的速度与一张图片里面人脸的数目密切联系，如果人脸数过多，整体速度下降。而faceboxes可以在处理器中实时保持一个高准确率，且不需要关心一张图片中有多少个人脸。

在一种实现方式中，本申请中的人脸检测模型为经由加速引擎训练的模型。本申请采用TensorRT对人脸检测模型进行加速训练。TensorRT是一款基于CUDA(ComputeUnified Device Architecture，通用并行计算架构)和CuDNN(全称为NVIDIA CuDNN，是用于深度神经网络的GPU加速库)的神经网络推断的加速引擎，用来提高深度学习模型在边缘设备上的推断速度。

TensorRT能够支持INT8模式和FP16模式，使人脸检测模型在保持精度的同时，最大程度的减少计算量，通过解析人脸检测模型将网络中无用的输出层消除以减小计算。TensorRT还能够对人脸检测模型进行垂直整合，将目前主流神经网络的conv(卷积层)、BN(批归一化层)、Relu(激活函数层)三个层融合为一个层。对人脸检测模型进行水平组合，将输入为相同张量和执行相同操作的层融合在一起，并且，支持批量输入大于等于1的网络输入。基于以上优势，能够将人脸检测模型进行重构，生成优化后的TensorRT人脸检测模型。

下面，结合附图对加速引擎训练所述人脸检测模型的过程进行说明。

参见图3，为本发明实施例提供的加速引擎训练人脸检测模型的流程示意图。结合图3，该训练过程包括以下步骤：

S301：检测所述嵌入式系统是否支持Int8模式。

首先将人脸检测模型输入至TensorRT中，利用解析器对人脸检测模型中各个网络层进行解析，假设当前使用的TensorRT中解析器能够将人脸检测模型中所有的网络层解析出来。然后再检测嵌入式系统是否支持Int8模式。

S302：若所述嵌入式系统支持所述Int8模式，则利用所述Int8模式构建所述加速引擎，若所述嵌入式系统不支持所述Int8模式，则检测所述嵌入式系统是否支持Fp16模式。

S303：若所述嵌入式系统支持所述Fp16模式，则利用所述Fp16模式构建所述加速引擎，若所述嵌入式系统不支持所述Fp16模式，则利用默认Fp32模式构建所述加速引擎。

S304：利用所述加速引擎提升所述人脸检测模型的推断速度。

本申请实施例中，默认人脸检测的嵌入式系统支持Fp32模式，根据嵌入式系统的资源自动优先选择Int8模式构建加速引擎，该种方式能够大幅度减少网络计算量，提高人脸检测模型的推理速度。当嵌入式系统不支持Int8模式时，则进一步判断嵌入式系统是否支持Fp16模式，当嵌入式系统支持Fp16模式时，则选择Fp16模式来构建加速引擎。当系统嵌入式系统不支持Fp16模式时，就选择默认的Fp32模式。其中，针对于Int8模式、Fp16模式以及Fp32模式来说，其所训练出的TensorRT人脸检测模型的计算量依次增大，故本申请中优选Int8模式来构建TensorRT人脸检测模型。

以上步骤S301至S304，能够训练优化人脸检测模型的推断速度，即提高人脸检测模型的检测效率，进一步保证了人脸检测的时效性。

将数组中的多路初始数据输入至TensorRT人脸检测模型中，能够较为快速的获得检测数据。在一种实现方式中，每路初始数据所对应的检测数据，均以一维数组的形式输出。

S203：依次对所述检测数据中的人脸信息进行标定，获得人脸数据。

多路初始数据在经过人脸检测模型的检测后，相应的形成多路检测数据。对于多路检测数据来说，依次对其中人脸信息进行标定。

参见图4，为本发明实施例提供的获取人脸数据的流程示意图。结合图4，该方法包括以下步骤：

S401：选取第一路所述初始数据对应的检测数据，查询检测数据中是否存在人脸信息。

在上述初始数据的人脸检测过程中提到，其对应的检测数据以一维数组的形式输出。在该一维数组中的某个字节中，能够表示出通过该初始数据是否检测出人脸。例如，对于某一路初始数据，经过人脸检测模型之后，得到其对应的检测数据，若是该检测数据中存在2张人脸，则在其一维数组中相应字节处记为2。

S402：若检测数据中存在人脸信息，则对所述人脸信息进行画框，若检测数据中不存在人脸信息，则忽略检测数据，并选取第二路所述初始数据对应的检测数据进行查询。

若检测数据中存在人脸信息，也就是说，一维数组中相应字节处的标记不为0，则根据标记的数值，查找检测数据中的人脸信息，并对人脸信息进行画框。若一维数组中相应字节处标记的为2，则需要找出2个人脸信息，并标定2个人脸画框。若是一维数组中相应字节处的标记为0，则表面该检测数据中不存在人脸信息，从而忽略该检测数据的查询。

S403：依次遍历多路所述初始数据对应的检测数据，得到多帧人脸数据。

例如，对于同时进入人脸检测模型的18路初始数据，得到对应的18路检测数据，先查询第1路检测数据中是否存在人脸信息，若存在人脸信息，则第1路检测数据中的人脸进行画框标定，若不存在人脸信息，则忽略第1路检测数据。按照上述过程，依次查询2-18路检测数据，直至将所有检测数据中的人脸信息标定出来。

对每一路初始数据所对应的检测数据，都进行上述步骤S401至S402的查询过程，直至查询完所有的初始数据，得到多帧人脸数据。

处理器在得到多帧人脸数据后，将其传输至显示器，由显示器进行展示。为了便于观察，可以将多帧人脸数据进行拼接，得到整幅人脸图像，也就是在同一幅图像中，展示出多路检测数据所对应的人脸数据，相应的，处理器控制显示器展示整幅人脸图像。

至此，对当前嵌入式系统中获取到的多路图像检测结束，处理器自动返回数据获取过程，重新获得下一个多路图像据并进行检测。

本申请能够通过同时将多路图像输入至处理，从而同时进行多路初始数据的人脸检测过程，大幅度减少针对于多路视频流的人脸检测时间，提高了检测效率。另外，本申请中人脸检测模型为经由加速引擎训练的模型，能够支撑多路初始数据的网络输入，若是将整个嵌入式系统的硬件资源视为100％，当单独处理一路数据时，可能资源利用率为30％，但若是同时处理多路数据时，资源利用率可能达到90％，因此，同时进行多路图像的人脸检测，能够提高嵌入式系统的资源利用率，从整体上提高嵌入式系统的使用效率。

为了进一步说明上述人脸检测过程，本申请实施例还提供了一种人脸检测方法，所述方法包括：首先获取多路图像，分别对多路图像进行解码及预处理，得到多路初始数据，其中，预处理过程包括依次进行放缩、浮点格式转化、与均值做差以及通道分离操作。将处理后的多路初始数据以数组方式进行拼接，并将拼接所得的数据作为模型输入，输入至人脸检测模型进行人脸检测，得到检测数据，其中，人脸检测模型为经由加速引擎训练的模型。最后依次对检测数据中的人脸信息进行标定，获得人脸数据。

进一步，在以数组方式拼接多路初始数据之前，人脸检测方法还包括：将多路所述初始数据存储至共享内存中，其中，共享内存的大小与数组的大小相等，均为N×C×H×W，式中，N为图像的路数，C为图像的通道数量，H和W分别为图像高度和宽度。当需要多路初始数据时，可利用memcpy函数从共享内存中复制多路初始数据。

本申请实施例中，由加速引擎训练人脸检测模型的过程中，按照Int8模式大于Fp16模式大于Fp32模式的优先等级，依次选取优先等级高的模式来构建加速引擎。即：检测人脸检测的嵌入式系统是否支持Int8模式，若嵌入式系统支持Int8模式，则利用Int8模式构建加速引擎，若嵌入式系统不支持Int8模式，则检测嵌入式系统是否支持Fp16模式。若嵌入式系统支持Fp16模式，则利用Fp16模式构建加速引擎，若嵌入式系统不支持所述Fp16模式，则利用默认Fp32模式构建加速引擎。利用加速引擎提升所述人脸检测模型的推断速度，从而保证人脸检测过程的时效性。

由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。

需要说明的是，在本说明书中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种人脸检测的嵌入式系统，其特征在于，所述嵌入式系统包括：

多路摄像头，用于采集图像；

处理器，所述处理器分别与多路所述摄像头连接，所述处理器被配置为：

获取多路图像，分别对多路所述图像进行解码及预处理，得到多路初始数据；

以数组方式拼接多路初始数据，并将拼接所得的数据输入至人脸检测模型进行人脸检测，得到检测数据，其中，所述人脸检测模型为经由加速引擎训练的模型；

依次对所述检测数据中的人脸信息进行标定，获得人脸数据；

显示器，所述显示器与所述处理器连接，用于展示所述人脸数据。

2.根据权利要求1所述的人脸检测的嵌入式系统，其特征在于，在将多路所述初始数据拼接至数组之前，所述处理器还被配置为：

将多路所述初始数据存储至共享内存中，其中，所述共享内存的大小与所述数组的大小相等，均为N×C×H×W，式中，N为图像的路数，C为图像的通道数量，H和W分别为图像高度和宽度；

利用memcpy函数从所述共享内存中复制多路所述初始数据。

3.根据权利要求2所述的人脸检测的嵌入式系统，其特征在于，所述将多路所述初始数据存储至共享内存中，包括：

将第k路所述初始数据放置于所述共享内存的(k-1)×C×W×H至k×C×W×(H-1)个字节中，其中，k＝1，2，3，……，N。

4.根据权利要求1所述的人脸检测的嵌入式系统，其特征在于，由所述加速引擎训练所述人脸检测模型，包括：

检测所述嵌入式系统是否支持Int8模式；

若所述嵌入式系统支持所述Int8模式，则利用所述Int8模式构建所述加速引擎，若所述嵌入式系统不支持所述Int8模式，则检测所述嵌入式系统是否支持Fp16模式；

若所述嵌入式系统支持所述Fp16模式，则利用所述Fp16模式构建所述加速引擎，若所述嵌入式系统不支持所述Fp16模式，则利用默认Fp32模式构建所述加速引擎；

利用所述加速引擎提升所述人脸检测模型的推断速度。

5.根据权利要求1所述的人脸检测的嵌入式系统，其特征在于，所述分别对多路所述图像进行解码及预处理，得到多路初始数据，包括：

对多路所述图像进行解码，得到多路解码数据；

对多路所述解码数据依次进行放缩、浮点格式转化、与均值做差以及通道分离操作，得到多路所述初始数据。

6.根据权利要求1所述的人脸检测的嵌入式系统，其特征在于，所述依次对所述检测数据中的人脸信息进行标定，获得人脸数据，包括：

选取第一路所述初始数据对应的检测数据，查询检测数据中是否存在人脸信息；

若检测数据中存在人脸信息，则对所述人脸信息进行画框，若检测数据中不存在人脸信息，则忽略检测数据，并选取第二路所述初始数据对应的检测数据进行查询；

依次遍历多路所述初始数据对应的检测数据，得到多帧人脸数据。

7.根据权利要求1所述的人脸检测的嵌入式系统，其特征在于，在获得人脸数据之后，所述处理器还被配置为：

将多帧所述人脸数据进行拼接，得到整幅人脸图像；

控制所述显示器展示所述人脸图像。

8.一种人脸检测方法，其特征在于，所述方法包括：

获取多路图像，分别对多路所述图像进行解码及预处理，得到多路初始数据；

以数组方式拼接多路初始数据，并将拼接所得的数据输入至人脸检测模型进行人脸检测，得到检测数据，其中，所述人脸检测模型为经由加速引擎训练的模型；

依次对所述检测数据中的人脸信息进行标定，获得人脸数据。

9.根据权利要求8所述的人脸检测方法，其特征在于，在将多路所述初始数据拼接至数组之前，所述方法还包括：

将多路所述初始数据存储至共享内存中，其中，所述共享内存的大小与所述数组的大小相等，均为N×C×H×W，式中，N为图像的路数，C为图像的通道数量，H和W分别为图像高度和宽度；

利用memcpy函数从所述共享内存中复制多路所述初始数据。

10.根据权利要求8所述的人脸检测方法，其特征在于，由所述加速引擎训练所述人脸检测模型，包括：

检测人脸检测的嵌入式系统是否支持Int8模式；

若所述嵌入式系统支持所述Int8模式，则利用所述Int8模式构建所述加速引擎，若所述嵌入式系统不支持所述Int8模式，则检测所述嵌入式系统是否支持Fp16模式；

若所述嵌入式系统支持所述Fp16模式，则利用所述Fp16模式构建所述加速引擎，若所述嵌入式系统不支持所述Fp16模式，则利用默认Fp32模式构建所述加速引擎；

利用所述加速引擎提升所述人脸检测模型的推断速度。

Images