CN110020613A - 基于Jetson TX1平台的前端人脸实时检测方法 - Google Patents

Abstract

本发明提出一种基于Jetson TX1平台的前端人脸实时检测方法，其步骤包括，第一步：server端对人脸检测模型初始化；第二步：多个camera的取流进程都对全局信号量sem_g做P操作，等待；第三步：server端对全局信号量sem_g做V操作；第四步：server端对图像数据信号量sem_d做P操作，等待；第五步：camera端对图像数据信号量sem_d做V操作；第六步：camera端对图像数据检测推理结果信号量sem_r做P操作，等待；第七步：server端对图像数据检测推理结果信号量sem_r做V操作，通知camera端检测推理结果完成，进行分析，同时server端开始循环执行第四步；第八步：camera端对检测推理结果数据进行分析，并对全局信号量sem_g做V操作，然后跳转到第二步继续执行。有益效果在于：在只有一个GPU的情况下，同时对多个camera进行前端人脸实时检测；降低了后台成像服务器的压力。

Description

基于Jetson TX1平台的前端人脸实时检测方法

技术领域

本发明涉及人脸检测领域，特别涉及一种基于Jetson TX1平台的前端人脸实时检测方法。

背景技术

在用阵列相机做视频监控的时候，多个微镜头同时采集4K的视频流，然后传到后台的成像服务器上做合成，在这个合成的视频流上做人脸检测方法。合成之后的图像总的像素值超过1亿，对这个像素值的图像做人脸检测方法，计算资源消耗非常大，检测时间也会很长，而后台成像服务器的图像合成方法也要消耗很多资源，这种方法不可取。

例如：2018年12月11日公开的专利申请号第CN201810816900.1号揭露了一种基于前端设备的移动人脸识别比对系统包括多个前端设备，前端设备包括：识别布控前端设备子系统，用于对拍摄视频中的多个人脸进行跟踪，并选择最优的人脸截图，然后将人脸截图进行特征提取，进行人脸比对，并将比对结果抛出；后端管理平台子系统，用于对识别布控前端设备子系统中的设备进行管理、布控名单库的管理、任务的管理以及针对客户下的子账号管理；移动终端告警子系统，用于告警信息的接受和显示；前端快速维护子系统，用于对摄像头上的相关参数进行快速的设置。本系统通过前端计算设备能够在没有电源和网络的环境下快速部署，进行人脸布控和识别，能够第一时间获得人脸识别的推送结果。

现有技术中，NVIDIA Jetson TX1套件配置了4GB LPDDR4和16GB的eMMC存储器；Jetson TX1套件自身即带有大量丰富的外部接口，本检测设备中主要使用了其中的CSI接口、千兆以太网接口、AUDIO接口和少量GPIOs接口。具体来说检测设备通过Toshiba的TC358840XBG芯片将输入的视频流信号由HDMI流转换为CSI视频，然后通过Jetson TX1套件的CSI接口完成输入；相关视频流信号经Jetson TX1套件中的四核A57ARM CPU和256个CUDA核心的NVIDIA Maxwell GPU处理完成视频叠加字符识别、视频质量和参会人数检测。其在检测运行过程中，后台成像服务器资源消耗的压力较大，工作效率较低。

因此，有必要提出一种基于Jetson TX1平台的前端人脸实时检测方法，来减轻后台成像服务器资源消耗的压力。

发明内容

基于上述问题，本发明的目的旨在至少解决所述技术缺陷之一。本发明提供一种基于Jetson TX1平台的前端人脸实时检测方法，用于减轻后台成像服务器资源消耗的压力，并且可以在只有一个GPU的情况下，进行多个摄像头的实时人脸检测。

为实现上述目的，本发明提供如下技术方案：一种基于Jetson TX1平台的前端人脸实时检测方法，其特征在于：其步骤为，第一步：server端对人脸检测模型初始化，加载人脸检测模型文件和人脸检测权重文件；第二步：多个camera的取流进程都对全局信号量sem_g做P操作，等待；第三步：server端对全局信号量sem_g做V操作，通知camera端可以传送图像数据至server端；第四步：server端对图像数据信号量sem_d做P操作，等待；任意一个camera端收到全局信号量sem_g的V操作通知后，把采集到的一帧图像数据传送至server端；第五步：camera端对图像数据信号量sem_d做V操作，通知server图像数据已经准备好，可以做预测；第六步：server端收到图像数据信号量sem_d的V操作通知后，送进网络模型进行人脸检测推理，camera端对图像数据检测推理结果信号量sem_r做P操作，等待；第七步：server端对图像数据检测推理结果信号量sem_r做V操作，通知camera端检测推理结果完成，进行分析，同时server端开始循环执行第四步；第八步：camera端对检测推理结果数据进行分析，并对全局信号量sem_g做V操作，表示camera端的下一帧图像数据可以送进server端检测推理了，然后跳转到第二步继续执行。

上述第三步中，具体哪个camera先收到全局信号量sem_g的V操作通知则是随机的，先收到全局信号量sem_g的V操作的camera端进行图像数据传送，剩下的camera端仍然进行等待。

上述第四步中，camera端把采集到的一帧图像数据传送至server端，具体是指，先对该图像数据做图像预处理，然后放入共享内存中。

上述第八步中，至于哪个camera先收到sem_g的V操作通知则是随机的。

相对于现有技术中的方案，本发明基于Jetson TX1平台的前端人脸实时检测方法的有益效果在于：在只有一个GPU的情况下，在前端同时对多个摄像头采集的视频流用做人脸检测，能够更及时的检测到人脸，并且降低了后台服务器的压力，把阵列相机需要的多个微镜头同时检测的压力分摊到了前端的各个Jetson TX1开发板上。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明基于Jetson TX1的前端人脸实时检测方法的人脸检测工作状态展现图。

图2为本发明基于Jetson TX1的前端人脸实时检测方法流程示意图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

请参照附图1至图2，本申请公开了一种基于Jetson TX1的前端人脸实时检测方法，其中人脸实时检测系统为在只有一个GPU的前提下，采用一个server端与多个camera端，camera端嵌入于阵列相机的多个Jetson TX1中。

将特定的网络模型(人脸检测模型)，移植到camera端中的Jetson TX1开发板的Tensor RT上，来加速人脸检测推理。

如图2所示，本发明一种基于Jetson TX1的前端人脸实时检测方法的步骤如下：

第一步：server端对人脸检测模型初始化，加载人脸检测模型文件和人脸检测权重文件；

具体来说，server端加载人脸检测的算法，可以根据运用场景，对算法结果做不同的处理分析。

第二步：多个camera的取流进程都对全局信号量sem_g做P操作，等待；

具体的，本实施例中，取流进程的作用是从微镜头获取一帧图像。全局信号量sem_g为了控制多个摄像头采集的图像数据，是否可以送入检测网络，以及谁先送入检测网络预测(图像数据包括视频图片帧的宽、高、通道数、图片类型等数据)。本发明中，P操作、V操作与信号量的处理相关，P表示通过的意思。

第三步：server端对全局信号量sem_g做V操作，通知camera端可以传送图像数据至server端；本发明中，V表示释放的意思。

至于具体哪个camera先收到全局信号量sem_g的V操作通知则是随机的，先收到全局信号量sem_g的V操作的camera端进行图像数据传送，剩下的camera端仍然进行等待处理；若一个Jetson TX1上有两个camera，则每个camera端成功传送数据的几率各有50％，未获得发送指令的camera端仍然等待下一步指令；

第四步：server端对图像数据信号量sem_d做P操作，等待；任意一个camera端收到全局信号量sem_g的V操作通知后，把采集到的一帧图像数据传送至server端，先对该图像数据做图像预处理，然后放入共享内存中；

信号量sem_d是指表示图像数据的信号量，从中可以取出图片的宽、高、通道数、图片类型等数据。

图像预处理是指：把原始图片的变成检测网络需要的图片，就是改变图片的宽、高、通道数。

第五步：camera端对图像数据信号量sem_d做V操作，通知server图像数据已经准备好，可以做预测；

预测是指根据输入的图片，检测图片中人脸的位置。

第六步：server端收到图像数据信号量sem_d的V操作通知后，从共享内存中取出数据，送进网络模型进行人脸检测推理，将检测推理的结果放入共享内存中；而camera端对图像数据检测推理结果信号量sem_r做P操作，等待；

信号量sem_r是指表示检测结果的信号量，从中可以取出检测网络检测到的所有人脸的位置。

第七步：server端对图像数据检测推理结果信号量sem_r做V操作，通知camera端检测推理结果已经出来，可以进行分析，同时server端开始循环执行第四步；

第八步：camera端从共享内存中取出结果数据，camera端对检测推理结果数据进行分析，并对全局信号量sem_g做V操作，表示camera端的下一帧图像数据可以送进server端检测推理了，至于哪个camera先收到sem_g的V操作通知则是随机的，然后跳转到第二步继续执行。

具体的，检测网络的输出结果包含所有人脸框的位置信息：左上角的点(x1,y1)和右下角的点(x2,y2)，对这些位置信息进行分析，并做变换，变成(x1,y1,w,h),w＝x2-x1,h＝y2-y1，w为人脸框的宽度，h为人脸框的高度。变化之后就可以把(x1,y1,w,h)绘制到原图片上了，绘制后能看到最终的检测结果。

与现有的后端检测方法相比，本发明在一个Jetson TX1开发板装了多个微镜头和一个GPU的基础上，在前端同时对多个摄像头采集的视频流用做人脸检测，通过camera端server端相互交叉工作，与能够更及时的检测到人脸，并且降低了后台服务器的压力，把阵列相机需要的多个微镜头同时检测的压力分摊到了前端的各个Jetson TX1开发板上。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡如本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于Jetson TX1平台的前端人脸实时检测方法，其特征在于：其步骤包括，

第一步：server端对人脸检测模型初始化，加载人脸检测模型文件和人脸检测权重文件；

第二步：多个camera的取流进程都对全局信号量sem_g做P操作，等待；

第三步：server端对全局信号量sem_g做V操作，通知camera端可以传送图像数据至server端；

第四步：server端对图像数据信号量sem_d做P操作，等待；任意一个camera端收到全局信号量sem_g的V操作通知后，把采集到的一帧图像数据传送至server端；

第五步：camera端对图像数据信号量sem_d做V操作，通知server图像数据已经准备好，可以做预测；

第六步：server端收到图像数据信号量sem_d的V操作通知后，送进网络模型进行人脸检测推理，camera端对图像数据检测推理结果信号量sem_r做P操作，等待；

第七步：server端对图像数据检测推理结果信号量sem_r做V操作，通知camera端检测推理结果完成，进行分析，同时server端开始循环执行第四步；

第八步：camera端对检测推理结果数据进行分析，并对全局信号量sem_g做V操作，表示camera端的下一帧图像数据可以送进server端检测推理了，然后跳转到第二步继续执行。

2.如权利要求1所述的基于Jetson TX1平台的前端人脸实时检测方法，其特征在于：上述第三步中，具体哪个camera先收到全局信号量sem_g的V操作通知则是随机的，先收到全局信号量sem_g的V操作的camera端进行图像数据传送，剩下的camera端仍然进行等待。

3.如权利要求1所述的基于Jetson TX1平台的前端人脸实时检测方法，其特征在于：上述第四步中，camera端把采集到的一帧图像数据传送至server端，具体是指，先对该图像数据做图像预处理，然后放入共享内存中。

4.如权利要求1所述的基于Jetson TX1平台的前端人脸实时检测方法，其特征在于：上述第八步中，至于哪个camera先收到sem_g的V操作通知则是随机的。