CN114283485A - 一种安全帽佩戴检测方法、装置、存储介质及安全帽 - Google Patents

Abstract

本申请提供一种安全帽佩戴检测方法、装置、存储介质及安全帽，安全帽的帽檐中央下方安装有摄像机构，方法包括：获取摄像机构实时拍摄的监测图像，其中，监测图像中包含佩戴此安全帽的目标用户的人脸；获取目标用户对应的参照图像，其中，参照图像包含目标用户的免冠正面人脸；将监测图像和参照图像输入预设的光流网络模型，输出对应的光流图；从光流图中确定出监测图像中目标用户的人脸相对于参照图像中目标用户的人脸的俯仰角特征和对称性特征；在俯仰角特征处于设定俯仰幅度范围内，且对称性特征处于设定偏斜幅度范围内时，确定此安全帽的佩戴位置规范，否则，确定目标用户未规范佩戴安全帽，并生成提示信息，提醒目标用户规范佩戴安全帽。

Description

一种安全帽佩戴检测方法、装置、存储介质及安全帽

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种安全帽佩戴检测方法、装置、存储介质及安全帽。

背景技术

在工程建设的过程中，由于工作环境的复杂多变，在施工过程中高空坠物、突出物体撞击工作人员的头部极易造成安全事故。因此，对进入施工现场的人员的安全帽佩戴进行检查和纠正是及其重要的。

现有技术中也提出了一些安全帽配戴的检测的方法，例如，基于帽体触发的安全帽增加了压力、红外、电容感应等方式，当脱下安全帽时触发报警，但这种监测方式工作人员可通过局部按压、金属接触等方式规避，存在一定漏洞。也有通过监控摄像头拍摄现场图像，对图像进行分析，判断出工作人员是否配戴安全帽，但在施工区域存在大量监控盲区无法检测。此外，对不规范佩戴安全帽的情况无法准确判断，并且对未能规范佩戴安全帽的人员的纠正难以及时进行，同样无法消除安全隐患。

发明内容

本申请实施例的目的在于提供一种安全帽佩戴检测方法、装置、存储介质及安全帽，以对安全帽的规范佩戴进行高效可靠的实时监测，且能够及时纠正未能规范佩戴安全帽的人员，消除此类安全隐患。

为了实现上述目的，本申请的实施例通过如下方式实现：

第一方面，本申请实施例提供一种安全帽佩戴检测方法，安全帽的帽檐中央下方安装有摄像机构，所述方法包括：获取所述摄像机构实时拍摄的监测图像，其中，所述监测图像中包含佩戴此安全帽的目标用户的人脸；获取目标用户对应的参照图像，其中，所述参照图像包含所述目标用户的免冠正面人脸；将所述监测图像和所述参照图像输入预设的光流网络模型，输出对应的光流图；从所述光流图中确定出所述监测图像中目标用户的人脸相对于所述参照图像中目标用户的人脸的俯仰角特征和对称性特征，其中，所述俯仰角特征用于揭示目标用户佩戴此安全帽的佩戴俯仰幅度，所述对称性特征用于揭示目标用户佩戴此安全帽的左右偏斜幅度；在所述俯仰角特征处于设定俯仰幅度范围内，且所述对称性特征处于设定偏斜幅度范围内时，确定所述目标用户佩戴此安全帽的佩戴位置规范，否则，确定所述目标用户未规范佩戴安全帽，并生成提示信息，提醒所述目标用户规范佩戴安全帽。

在本申请实施例中，通过获取摄像机构实时拍摄的监测图像（包含佩戴此安全帽的目标用户的人脸）和目标用户对应的参照图像（包含目标用户的免冠正面人脸）；将监测图像和参照图像输入预设的光流网络模型，输出对应的光流图；然后从光流图中确定出监测图像中目标用户的人脸相对于参照图像中目标用户的人脸的俯仰角特征（揭示目标用户佩戴此安全帽的佩戴俯仰幅度，通俗理解为佩戴安全帽的高度）和对称性特征（揭示目标用户佩戴此安全帽的左右偏斜幅度，通俗理解为安全帽是否戴正）；在俯仰角特征处于设定俯仰幅度范围内，且对称性特征处于设定偏斜幅度范围内时，确定目标用户佩戴此安全帽的佩戴位置规范，否则，确定目标用户未规范佩戴安全帽，并生成提示信息，提醒目标用户规范佩戴安全帽。此种方式可以实时对用户佩戴安全帽的情况进行监测，判断其安全帽是否戴正，识别精准可靠，可以精确到人，并且能够及时对未规范佩戴安全帽的用户进行提示，以消除此类安全隐患。光流网络模型对运算要求较低，可在Cortex-M4等嵌入式平台运行，有利于实现小型化和脱机运行，从而使得安全帽本身即可实现智能化的佩戴检测，无需依赖无线网络通信，可以大大提升安全帽佩戴检测方法的适用范围。

结合第一方面，在第一方面的第一种可能的实现方式中，将所述监测图像和所述参照图像输入预设的光流网络模型后，所述光流网络模型对所述监测图像和所述参照图像进行如下处理：在编码阶段，将所述监测图像和所述参照图像按通道维度进行堆叠，并分别以7×7、5×5、5×5、3×3的卷积核进行下采样提取特征编码；在解码阶段，利用上采样的方式，每一层利用上一层输出预测的光流和来自编码器对应层的特征进行拼接，得到具有光流指向的预测图；将所述预测图与所述监测图像进行叠加处理，得到所述光流图。

在该实现方式中，利用7×7、5×5、5×5、3×3的卷积核进行下采样提取特征编码，利用上采样的方式，每一层利用上一层输出预测的光流和来自编码器对应层的特征进行拼接，得到具有光流指向的预测图，再将预测图与监测图像进行叠加处理，得到光流图。这样可以有效提取监测图像相较于参照图像的特征，得到精准的光流指向。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，从所述光流图中确定出所述监测图像中目标用户的人脸相对于所述参照图像中目标用户的人脸的俯仰角特征和对称性特征，包括：获取所述光流图中的光流指向；基于光流指向与正“+”字之间的形态差异，确定出所述摄像机构拍摄所述监测图像的焦平面与正面拍摄图像的焦平面之间所成的角度，作为所述俯仰角特征；确定出所述光流图的图像中轴和所述光流图中人脸部分的人脸对称轴，并确定出所述人脸对称轴和所述图像中轴之间的差异，作为所述对称性特征。

在该实现方式中，获取光流图中的光流指向；基于光流指向与正“+”字之间的形态差异，确定出摄像机构拍摄监测图像的焦平面与正面拍摄图像的焦平面之间所成的角度，作为俯仰角特征，这样的到的俯仰角特征，可以准确反映安全帽上固定安装的摄像机构拍摄时的俯仰角度，从而进一步反映安全帽的佩戴是否过高或过低。而确定出光流图的图像中轴和光流图中人脸部分的人脸对称轴，并确定出人脸对称轴和图像中轴之间的差异，作为对称性特征。这样确定的对称性特征，可以有效反映安全帽上固定安装的摄像机构拍摄时的左右倾角，从而进一步反映安全帽的佩戴是否左右倾斜。

结合第一方面，在第一方面的第三种可能的实现方式中，在所述目标用户佩戴此安全帽的佩戴位置规范后，所述方法还包括：获取监测图像序列对应的光流图序列，其中，所述监测图像序列中包含依次获取的多张监测图像，所述光流图序列中的每张光流图分别与所述监测图像序列中的每张监测图像一一对应；基于所述光流图序列，确定图像内容是否存在高速流动部分，其中，图像内容包括人脸和安全帽系带；若存在高速流动部分，确定目标用户未规范佩戴此安全帽。

在该实现方式中，在目标用户佩戴此安全帽的佩戴位置规范后，还可以进一步监测图像内容中是否存在高速流动部分（高速流动部分通常反映安全帽的系带松动、脱离、用户的脱帽行为等问题）。而通过获取监测图像序列（包含依次获取的多张监测图像）对应的光流图序列（每张光流图分别与监测图像序列中的每张监测图像一一对应）；然后基于光流图序列，确定图像内容（以人脸和安全帽系带作为指标）是否存在高速流动部分；若存在高速流动部分，确定目标用户未规范佩戴此安全帽。此种方式可以高效准确地监测用户在佩戴此安全帽的佩戴位置规范的情况下，可能存在的安全帽佩戴问题。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，基于所述光流图序列，确定图像内容是否存在高速流动部分，包括：基于所述光流图序列，确定出对应的人脸序列，其中，所述人脸序列包含依次从每张光流图中提取的目标用户的人脸信息；基于所述人脸序列，确定出人脸位置流动轨迹；若所述人脸位置流动轨迹超出人脸轨迹流动范围，确定所述目标用户的人脸为高速流动部分；对所述光流图序列中每张光流图的人脸脸颊和人脸下颌进行边缘检测，确定出对应的系带序列，其中，所述系带序列包含依次从每张光流图中提取的安全帽系带的轮廓位置信息；基于所述系带序列，确定出系带位置流动轨迹；若所述系带位置流动轨迹超出系带轨迹流动范围，确定所述安全帽系带为高速流动部分。

在该实现方式中，利用人脸位置流动轨迹来确定目标用户的人脸是否为高速流动部分，利用系带位置流动轨迹来确定安全帽系带是否为高速流动部分，这样的方式可以高效且精准地确定图像内容（人脸或安全帽系带）是否属于高速流动部分。

结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，若所述目标用户的人脸为高速流动部分，确定目标用户未规范佩戴此安全帽，包括：若所述人脸位置流动轨迹逐渐远离所述人脸轨迹流动范围，确定所述目标用户脱下安全帽，记录脱帽时间并生成提示信息，提醒所述目标用户规范佩戴安全帽；若所述人脸位置流动轨迹基于所述人脸轨迹流动范围进行超范围摆动，确定所述目标用户佩戴安全帽有松动，生成提示信息，提醒所述目标用户规范佩戴安全帽。

在该实现方式中，针对人脸位置流动轨迹逐渐远离人脸轨迹流动范围，可以确定目标用户脱下安全帽，记录脱帽时间并生成提示信息，提醒目标用户规范佩戴安全帽；针对人脸位置流动轨迹基于人脸轨迹流动范围进行超范围摆动，确定目标用户佩戴安全帽有松动，生成提示信息，提醒目标用户规范佩戴安全帽。这样可以有效区分不同的情况，从而辨别出目标用户是有意取下安全帽还是安全帽系带松动（或者安全帽与目标用户的不适配）问题，从而有利于后续进行差异化的处理（例如对目标用户进行教育或者对安全帽进行改进）。

结合第一方面的第四种可能的实现方式，在第一方面的第六种可能的实现方式中，若所述安全帽系带为高速流动部分，确定目标用户未规范佩戴此安全帽，包括：确定所述目标用户未系所述安全帽系带或所述安全帽系带松开，生成提示信息，提醒所述目标用户规范佩戴安全帽。

在该实现方式中，若安全帽系带为高速流动部分，说明系带松动（或脱落），可及时提醒用户规范佩戴安全帽。

第二方面，本申请实施例提供一种安全帽佩戴检测装置，安全帽的帽檐中央下方安装有摄像机构，所述装置包括：监测图像获取模块，用于获取所述摄像机构实时拍摄的监测图像，其中，所述监测图像中包含佩戴此安全帽的目标用户的人脸；参照图像获取模块，用于获取目标用户对应的参照图像，其中，所述参照图像包含所述目标用户的免冠正面人脸；光流图确定模块，用于将所述监测图像和所述参照图像输入预设的光流网络模型，输出对应的光流图；特征提取模块，用于从所述光流图中确定出所述监测图像中目标用户的人脸相对于所述参照图像中目标用户的人脸的俯仰角特征和对称性特征，其中，所述俯仰角特征用于揭示目标用户佩戴此安全帽的佩戴俯仰幅度，所述对称性特征用于揭示目标用户佩戴此安全帽的左右偏斜幅度；判定模块，用于在所述俯仰角特征处于设定俯仰幅度范围内，且所述对称性特征处于设定偏斜幅度范围内时，确定所述目标用户佩戴此安全帽的佩戴位置规范，否则，确定所述目标用户未规范佩戴安全帽，并生成提示信息，提醒所述目标用户规范佩戴安全帽。

第三方面，本申请实施例提供一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面或第一方面的可能的实现方式中任一项所述的安全帽佩戴检测方法。

第四方面，本申请实施例提供一种安全帽，包括：安全帽本体；摄像机构，设置在所述安全帽本体的帽檐中央下方；处理单元，设置在所述安全帽本体内部，与所述摄像机构连接，用于执行第一方面或第一方面的可能的实现方式中任一项所述的安全帽佩戴检测方法。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种安全帽的示意图。

图2为本申请实施例提供的一种安全帽佩戴检测方法的流程图。

图3为本申请实施例提供的一种安全帽佩戴检测装置的结构框图。

图标：100-安全帽；110-安全帽本体；111-安全帽系带；120-摄像机构；130-处理单元；200-安全帽佩戴检测装置；210-监测图像获取模块；220-参照图像获取模块；230-光流图确定模块；240-特征提取模块；250-判定模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

请参阅图1，图1为本申请实施例提供的一种安全帽100的示意图。在本实施例中，安全帽100可以包括安全帽本体110、摄像机构120和处理单元130。

示例性的，安全帽本体110即可采用常见的安全帽设计结构，在安全帽本体110的帽檐处开设摄像机构120的安装结构（例如安装槽），在安全帽本体110的内部开设用于容纳处理单元130（以及电源等部件）的空腔即可。另外，安全帽本体110具有安全帽系带111，便于用户佩戴安全帽100。

示例性的，摄像机构120可以设置在安全帽本体110的帽檐中央下方（与安装结构配合安装），以便拍摄佩戴此安全帽100的用户的监测图像（可以包含人脸、部分帽檐、安全帽系带111等内容）。此处，摄像机构120可以是单目摄像头、双目摄像头、多目摄像头等，保证摄像头以一定俯视角持续拍摄人脸部，采集人脸以及周边图像（即监测图像）即可。

示例性的，处理单元130（以及电源、存储单元等必要的部件）可以设置在安全帽本体110内部，与摄像机构120连接，可以获取摄像机构120实时拍摄的监测图像，以便执行安全帽佩戴检测方法。此处，处理单元130可以选用嵌入式处理器（例如ARMCorte-M4处理器），内置有运行安全帽佩戴检测方法的程序，以使安全帽100可以脱机运行，不依赖于网络，大大提升安全帽100及安全帽佩戴检测方法的适用范围，此处不作限定。

以下，将对安全帽佩戴检测方法进行介绍，为了便于查阅，后文省略了对安全帽及其部件（如安全帽本体、安全帽系带、摄像机构、处理单元等）的标号。

请参阅图2，图2为本申请实施例提供的一种安全帽佩戴检测方法的流程图。在本实施例中，安全帽佩戴检测方法可以包括步骤S10、步骤S20、步骤S30、步骤S40和步骤S50。

在目标用户佩戴其对应的安全帽（其内部存储有该目标用户的参照图像，参照图像包含该目标用户的免冠正面人脸）后，安全帽可以开始运行，利用处理单元执行安全帽佩戴检测方法，实时监测用户佩戴安全帽的情况。

首先，摄像机构可以基于设定的控制程序，实时拍摄（例如每间隔100毫秒、1秒、3秒等拍摄一次），获得拍摄的图像。当安全帽佩戴在用户的头上时，摄像机构拍摄的图像中包含目标用户的人脸。

此时，处理单元可以执行步骤S10。

步骤S10：获取所述摄像机构实时拍摄的监测图像，其中，所述监测图像中包含佩戴此安全帽的目标用户的人脸。

在本实施例中，处理单元可以获取摄像机构传输的监测图像，监测图像中包含佩戴此安全帽的目标用户的人脸。

获取监测图像后，处理单元可以执行步骤S20。

步骤S20：获取目标用户对应的参照图像，其中，所述参照图像包含所述目标用户的免冠正面人脸。

在本实施例中，处理单元可以获取目标用户对应的参照图像（包含目标用户的免冠正面人脸）。例如，参照图像存储在安全帽的存储单元中，由于本方案中需要持续使用此参照图像，因此，参照图像可以置于缓存中，便于处理单元获取。

获取监测图像和参照图像后，处理单元可以执行步骤S30。

步骤S30：将所述监测图像和所述参照图像输入预设的光流网络模型，输出对应的光流图。

在本实施例中，处理单元中可以预设有训练好的光流网络模型，用于对监测图像和参照图像进行处理得到对应的光流图并输出。

示例性的，光流网络模型的训练可以采用“flying chairs”数据集，而“flyingchairs”数据集是专用于训练光流网络的数据集，该数据集为本领域技术人员所知悉，故在此不做详细介绍，训练后可以得到一个初始光流网络。为了使得训练的光流网络模型适用于对本方案中的应用场景，可以通过对若干人脸图片和工地背景（应用场景）进行随机的仿射变换生成专门的训练数据集对光流网络进行训练，得到训练好的光流网络模型。

另外，光流网络模型可以采用7×7、5×5、5×5、3×3的卷积核，以便进行下采样提取特征编码。而为了提升对位移的监测精度（监测更加微小的移动，例如对安全帽没有系紧或外力作用的原因发生位移的情况进行检测），可以缩小卷积核对安全帽的小的移动进行估计，将原来编码器部分的大卷积核（7×7、5×5）替换成5×5或3×3的卷积核。

当然，光流网络模型的编码器部分，也可以采用3D卷积的特征融合方式实现，即将图像和光流特征分支进行时间维的堆叠，3D卷积的参数维度可以设计为D×2D×3×3×3，即采用3×3×3的卷积核，将通道数从输入的2D降低到输出的D维度，实现特征编码，此处不作限定。

本方案中选用光流网络模型，主要还考虑到光流网络对运算要求较低，可在Cortex-M4等嵌入式平台运行，便于安全帽佩戴检测方法在安全帽中的脱机运行，不依赖于无线通信网络，不仅可以大大降低部署成本，还能够应用于条件相对恶劣的施工环境中。

那么，处理单元可以将监测图像和参照图像输入预设的光流网络模型，输出对应的光流图。

示例性的，光流网络模型可以对监测图像和参照图像进行如下处理：在编码阶段，将监测图像和参照图像按通道维度进行堆叠，并分别以7×7、5×5、5×5、3×3的卷积核进行下采样提取特征编码。在解码阶段，可以利用上采样的方式，每一层利用上一层输出预测的光流和来自编码器对应层的特征进行拼接，得到具有光流指向的预测图。例如，两帧4：3的图像分辨率均为512×384，经过编解码形成320×136的预测图，而使用上采样，则可以保证特征空间分辨率一致。之后，可以将预测图与监测图像进行叠加处理，得到光流图并输出。

这样可以有效提取监测图像相较于参照图像的特征，得到精准的光流指向，并输出对应的光流图，且处理过程简单高效耗时短。

得到对应的光流图后，处理单元可以执行步骤S40。

步骤S40：从所述光流图中确定出所述监测图像中目标用户的人脸相对于所述参照图像中目标用户的人脸的俯仰角特征和对称性特征，其中，所述俯仰角特征用于揭示目标用户佩戴此安全帽的佩戴俯仰幅度，所述对称性特征用于揭示目标用户佩戴此安全帽的左右偏斜幅度。

在本实施例中，处理单元可以从光流图中确定出监测图像中目标用户的人脸相对于参照图像中目标用户的人脸的俯仰角特征和对称性特征。

示例性的，处理单元可以获取光流图中的光流指向；基于光流指向与正“+”字之间的形态差异，确定出摄像机构拍摄监测图像的焦平面与正面拍摄图像的焦平面之间所成的角度，作为俯仰角特征。这样的到的俯仰角特征，可以准确反映安全帽上固定安装的摄像机构拍摄时的俯仰角度，从而进一步反映安全帽的佩戴是否过高或过低。另外，此处考虑摄像机构与（规范佩戴安全帽时）人脸的相对位置，最终预测图光流指向表现为一个近似的正“+”字，而通过此正“+”字，可以获得镜头同正面拍摄人脸图像的焦平面所成的角度。

示例性的，处理单元可以确定出光流图的图像中轴和光流图中人脸部分的人脸对称轴，并确定出人脸对称轴和图像中轴之间的差异（可以通过像素、百分比等来作为衡量指标），作为对称性特征。这样确定的对称性特征，可以有效反映安全帽上固定安装的摄像机构拍摄时的左右倾角，从而进一步反映安全帽的佩戴是否左右倾斜。

确定出俯仰角特征和对称性特征后，处理单元可以执行步骤S50。

步骤S50：在所述俯仰角特征处于设定俯仰幅度范围内，且所述对称性特征处于设定偏斜幅度范围内时，确定所述目标用户佩戴此安全帽的佩戴位置规范，否则，确定所述目标用户未规范佩戴安全帽，并生成提示信息，提醒所述目标用户规范佩戴安全帽。

在本实施例中，处理单元可以判断俯仰角特征是否处于设定俯仰幅度范围内（与规范佩戴安全帽时的标准俯仰角度在±20°内），判断对称性特征是否处于设定偏斜幅度范围内（与规范佩戴安全帽时的标准偏斜角度在±15°内）。

在俯仰角特征处于设定俯仰幅度范围内，且对称性特征处于设定偏斜幅度范围内时，处理单元可以确定目标用户佩戴此安全帽的佩戴位置规范。否则，处理单元则确定目标用户未规范佩戴安全帽，并生成提示信息，提醒目标用户规范佩戴安全帽。

为了进一步监测用户在安全帽的佩戴位置规范的情况下，可能存在的安全帽佩戴问题，处理单元可以进行进一步的检测。

在确定目标用户佩戴此安全帽的佩戴位置规范后，处理单元可以获取监测图像序列对应的光流图序列，其中，监测图像序列中包含依次获取的多张监测图像，光流图序列中的每张光流图分别与监测图像序列中的每张监测图像一一对应。此处的监测图像序列，可以是在确定目标用户佩戴此安全帽的佩戴位置规范后，依次获取的多张（例如5张、10张、50张等）监测图像，然后将这些监测图像连同参照图像输入到光流网络模型中，得到对应的多张光流图，从而得到监测图像序列对应的光流图序列。

获得光流图序列后，处理单元可以基于光流图序列，确定图像内容是否存在高速流动部分，其中，图像内容包括人脸和安全帽系带。

示例性的，针对图像内容为人脸时的情况：处理单元可以基于光流图序列，确定出对应的人脸序列，其中，人脸序列包含依次从每张光流图中提取的目标用户的人脸信息。然后基于人脸序列，确定出人脸位置流动轨迹。若人脸位置流动轨迹超出人脸轨迹流动范围（一个设定的范围，例如，以鼻尖的位置轨迹为例，当目标用户规范佩戴安全帽时，其鼻尖的位置轨迹在理论上应当为一条线，考虑到小范围的波动情况，设定一个轨迹范围），确定目标用户的人脸为高速流动部分。当然，若人脸位置流动轨迹未超出人脸轨迹流动范围，可以确定目标用户的人脸不属于高速流动部分。而目标用户的人脸属于高速流动部分的情况，又分为：人脸位置流动轨迹逐渐远离人脸轨迹流动范围的情况和人脸位置流动轨迹基于人脸轨迹流动范围进行超范围摆动的情况，后文分别进行介绍。

由于在目标用户规范佩戴安全帽时，安全帽系带会在目标用户的脸颊部位出现、以及在人脸的下颌部位出现，且通常保持相对稳定，不会高速流动。基于此，可以检测安全帽系带是否属于高速流动部分，以判断安全帽系带是否松动或脱落。

示例性的，针对图像内容为安全帽系带时的情况：处理单元可以对光流图序列中每张光流图的人脸脸颊和人脸下颌进行边缘检测，确定出对应的系带序列，其中，系带序列包含依次从每张光流图中提取的安全帽系带的轮廓位置信息。然后，处理单元可以基于系带序列，确定出系带位置流动轨迹。若系带位置流动轨迹超出系带轨迹流动范围（一个设定的范围，例如，以系带位于图像中最底端的末端部分的位置轨迹为例，当目标用户规范佩戴安全帽时，其末端部分的位置轨迹为例在理论上应当为一条线，考虑到小范围的波动情况，设定一个轨迹范围），确定安全帽系带为高速流动部分。当然，若系带位置流动轨迹未超出系带轨迹流动范围，可以确定安全帽系带不属于高速流动部分。

利用人脸位置流动轨迹来确定目标用户的人脸是否为高速流动部分，利用系带位置流动轨迹来确定安全帽系带是否为高速流动部分，这样的方式可以高效且精准地确定图像内容（人脸或安全帽系带）是否属于高速流动部分。

若存在高速流动部分，处理单元可以确定目标用户未规范佩戴此安全帽。

示例性的，针对目标用户的人脸为高速流动部分的情况：若人脸位置流动轨迹逐渐远离人脸轨迹流动范围，处理单元可以确定目标用户脱下安全帽，记录脱帽时间并生成提示信息，提醒目标用户规范佩戴安全帽。若人脸位置流动轨迹基于人脸轨迹流动范围进行超范围摆动，处理单元可以确定目标用户佩戴安全帽有松动，生成提示信息，提醒目标用户规范佩戴安全帽。

这样可以有效区分不同的情况，从而辨别出目标用户是有意取下安全帽还是安全帽系带松动（或者安全帽与目标用户的不适配）问题，从而有利于后续进行差异化的处理（例如对目标用户进行教育或者对安全帽进行改进）。

示例性的，针对安全帽系带为高速流动部分的情况：若安全帽系带为高速流动部分，处理单元可以确定目标用户未系安全帽系带或安全帽系带松开，并生成提示信息，提醒目标用户规范佩戴安全帽。若安全帽系带为高速流动部分，说明系带松动（或脱落），可及时提醒用户规范佩戴安全帽。

另外，对于目标用户脱掉安全帽之后，处理单元可以继续获取监测图像（可以以较低频次获取监测图像）并进行人脸检测，直到人脸再次进入摄像机构的拍摄范围（目标用户脱下安全帽之后再次佩戴安全帽时），摄像机构可以拍摄得到监测图像并传输给处理单元，以使处理单元基于此运行本实施例中介绍的安全帽佩戴检测方法。

请参阅图3，图3为本申请实施例提供的一种安全帽佩戴检测装置200的结构框图。

在本实施例中，安全帽的帽檐中央下方安装有摄像机构，安全帽佩戴检测装置200，可以包括：

监测图像获取模块210，用于获取所述摄像机构实时拍摄的监测图像，其中，所述监测图像中包含佩戴此安全帽的目标用户的人脸。

参照图像获取模块220，用于获取目标用户对应的参照图像，其中，所述参照图像包含所述目标用户的免冠正面人脸。

光流图确定模块230，用于将所述监测图像和所述参照图像输入预设的光流网络模型，输出对应的光流图。

特征提取模块240，用于从所述光流图中确定出所述监测图像中目标用户的人脸相对于所述参照图像中目标用户的人脸的俯仰角特征和对称性特征，其中，所述俯仰角特征用于揭示目标用户佩戴此安全帽的佩戴俯仰幅度，所述对称性特征用于揭示目标用户佩戴此安全帽的左右偏斜幅度。

判定模块250，用于在所述俯仰角特征处于设定俯仰幅度范围内，且所述对称性特征处于设定偏斜幅度范围内时，确定所述目标用户佩戴此安全帽的佩戴位置规范，否则，确定所述目标用户未规范佩戴安全帽，并生成提示信息，提醒所述目标用户规范佩戴安全帽。

在本实施例中，所述光流图确定模块230将所述监测图像和所述参照图像输入预设的光流网络模型后，所述光流网络模型对所述监测图像和所述参照图像进行如下处理：在编码阶段，将所述监测图像和所述参照图像按通道维度进行堆叠，并分别以7×7、5×5、5×5、3×3的卷积核进行下采样提取特征编码；在解码阶段，利用上采样的方式，每一层利用上一层输出预测的光流和来自编码器对应层的特征进行拼接，得到具有光流指向的预测图；将所述预测图与所述监测图像进行叠加处理，得到所述光流图。

在本实施例中，所述特征提取模块240，具体用于获取所述光流图中的光流指向；基于光流指向与正“+”字之间的形态差异，确定出所述摄像机构拍摄所述监测图像的焦平面与正面拍摄图像的焦平面之间所成的角度，作为所述俯仰角特征；确定出所述光流图的图像中轴和所述光流图中人脸部分的人脸对称轴，并确定出所述人脸对称轴和所述图像中轴之间的差异，作为所述对称性特征。

在本实施例中，在所述判定模块250确定目标用户佩戴此安全帽的佩戴位置规范后，所述装置还包括：光流图序列获取模块，用于获取监测图像序列对应的光流图序列，其中，所述监测图像序列中包含依次获取的多张监测图像，所述光流图序列中的每张光流图分别与所述监测图像序列中的每张监测图像一一对应；高速流动部分模块，用于基于所述光流图序列，确定图像内容是否存在高速流动部分，其中，图像内容包括人脸和安全帽系带；提示模块，用于在存在高速流动部分时，确定目标用户未规范佩戴此安全帽。

在本实施例中，所述高速流动部分模块，用于基于所述光流图序列，确定出对应的人脸序列，其中，所述人脸序列包含依次从每张光流图中提取的目标用户的人脸信息；基于所述人脸序列，确定出人脸位置流动轨迹；若所述人脸位置流动轨迹超出人脸轨迹流动范围，确定所述目标用户的人脸为高速流动部分；对所述光流图序列中每张光流图的人脸脸颊和人脸下颌进行边缘检测，确定出对应的系带序列，其中，所述系带序列包含依次从每张光流图中提取的安全帽系带的轮廓位置信息；基于所述系带序列，确定出系带位置流动轨迹；若所述系带位置流动轨迹超出系带轨迹流动范围，确定所述安全帽系带为高速流动部分。

在本实施例中，所述提示模块，用于在所述人脸位置流动轨迹逐渐远离所述人脸轨迹流动范围时，确定所述目标用户脱下安全帽，记录脱帽时间并生成提示信息，提醒所述目标用户规范佩戴安全帽；在所述人脸位置流动轨迹基于所述人脸轨迹流动范围进行超范围摆动时，确定所述目标用户佩戴安全帽有松动，生成提示信息，提醒所述目标用户规范佩戴安全帽。

在本实施例中，所述提示模块，用于在所述安全帽系带为高速流动部分，确定所述目标用户未系所述安全帽系带或所述安全帽系带松开，生成提示信息，提醒所述目标用户规范佩戴安全帽。

本申请实施例还提供一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行本实施例中的安全帽佩戴检测方法。

综上所述，本申请实施例提供一种安全帽佩戴检测方法、装置、存储介质及安全帽，通过获取摄像机构实时拍摄的监测图像（包含佩戴此安全帽的目标用户的人脸）和目标用户对应的参照图像（包含目标用户的免冠正面人脸）；将监测图像和参照图像输入预设的光流网络模型，输出对应的光流图；然后从光流图中确定出监测图像中目标用户的人脸相对于参照图像中目标用户的人脸的俯仰角特征（揭示目标用户佩戴此安全帽的佩戴俯仰幅度，通俗理解为佩戴安全帽的高度）和对称性特征（揭示目标用户佩戴此安全帽的左右偏斜幅度，通俗理解为安全帽是否戴正）；在俯仰角特征处于设定俯仰幅度范围内，且对称性特征处于设定偏斜幅度范围内时，确定目标用户佩戴此安全帽的佩戴位置规范，否则，确定目标用户未规范佩戴安全帽，并生成提示信息，提醒目标用户规范佩戴安全帽。此种方式可以实时对用户佩戴安全帽的情况进行监测，判断其安全帽是否戴正，识别精准可靠，可以精确到人，并且能够及时对未规范佩戴安全帽的用户进行提示，以消除此类安全隐患。光流网络模型对运算要求较低，可在Cortex-M4等嵌入式平台运行，有利于实现小型化和脱机运行，从而使得安全帽本身即可实现智能化的佩戴检测，无需依赖无线网络通信，可以大大提升安全帽佩戴检测方法的适用范围。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种安全帽佩戴检测方法，其特征在于，安全帽的帽檐中央下方安装有摄像机构，所述方法包括：

获取所述摄像机构实时拍摄的监测图像，其中，所述监测图像中包含佩戴此安全帽的目标用户的人脸；

获取目标用户对应的参照图像，其中，所述参照图像包含所述目标用户的免冠正面人脸；

将所述监测图像和所述参照图像输入预设的光流网络模型，输出对应的光流图；

从所述光流图中确定出所述监测图像中目标用户的人脸相对于所述参照图像中目标用户的人脸的俯仰角特征和对称性特征，其中，所述俯仰角特征用于揭示目标用户佩戴此安全帽的佩戴俯仰幅度，所述对称性特征用于揭示目标用户佩戴此安全帽的左右偏斜幅度；

在所述俯仰角特征处于设定俯仰幅度范围内，且所述对称性特征处于设定偏斜幅度范围内时，确定所述目标用户佩戴此安全帽的佩戴位置规范，否则，确定所述目标用户未规范佩戴安全帽，并生成提示信息，提醒所述目标用户规范佩戴安全帽。

2.根据权利要求1所述的安全帽佩戴检测方法，其特征在于，将所述监测图像和所述参照图像输入预设的光流网络模型后，所述光流网络模型对所述监测图像和所述参照图像进行如下处理：

在编码阶段，将所述监测图像和所述参照图像按通道维度进行堆叠，并分别以7×7、5×5、5×5、3×3的卷积核进行下采样提取特征编码；

在解码阶段，利用上采样的方式，每一层利用上一层输出预测的光流和来自编码器对应层的特征进行拼接，得到具有光流指向的预测图；

将所述预测图与所述监测图像进行叠加处理，得到所述光流图。

3.根据权利要求2所述的安全帽佩戴检测方法，其特征在于，从所述光流图中确定出所述监测图像中目标用户的人脸相对于所述参照图像中目标用户的人脸的俯仰角特征和对称性特征，包括：

获取所述光流图中的光流指向；

基于光流指向与正“+”字之间的形态差异，确定出所述摄像机构拍摄所述监测图像的焦平面与正面拍摄图像的焦平面之间所成的角度，作为所述俯仰角特征；

确定出所述光流图的图像中轴和所述光流图中人脸部分的人脸对称轴，并确定出所述人脸对称轴和所述图像中轴之间的差异，作为所述对称性特征。

4.根据权利要求1所述的安全帽佩戴检测方法，其特征在于，在所述目标用户佩戴此安全帽的佩戴位置规范后，所述方法还包括：

获取监测图像序列对应的光流图序列，其中，所述监测图像序列中包含依次获取的多张监测图像，所述光流图序列中的每张光流图分别与所述监测图像序列中的每张监测图像一一对应；

基于所述光流图序列，确定图像内容是否存在高速流动部分，其中，图像内容包括人脸和安全帽系带；

若存在高速流动部分，确定目标用户未规范佩戴此安全帽。

5.根据权利要求4所述的安全帽佩戴检测方法，其特征在于，基于所述光流图序列，确定图像内容是否存在高速流动部分，包括：

基于所述光流图序列，确定出对应的人脸序列，其中，所述人脸序列包含依次从每张光流图中提取的目标用户的人脸信息；

基于所述人脸序列，确定出人脸位置流动轨迹；

若所述人脸位置流动轨迹超出人脸轨迹流动范围，确定所述目标用户的人脸为高速流动部分；

对所述光流图序列中每张光流图的人脸脸颊和人脸下颌进行边缘检测，确定出对应的系带序列，其中，所述系带序列包含依次从每张光流图中提取的安全帽系带的轮廓位置信息；

基于所述系带序列，确定出系带位置流动轨迹；

若所述系带位置流动轨迹超出系带轨迹流动范围，确定所述安全帽系带为高速流动部分。

6.根据权利要求5所述的安全帽佩戴检测方法，其特征在于，若所述目标用户的人脸为高速流动部分，确定目标用户未规范佩戴此安全帽，包括：

若所述人脸位置流动轨迹逐渐远离所述人脸轨迹流动范围，确定所述目标用户脱下安全帽，记录脱帽时间并生成提示信息，提醒所述目标用户规范佩戴安全帽；

若所述人脸位置流动轨迹基于所述人脸轨迹流动范围进行超范围摆动，确定所述目标用户佩戴安全帽有松动，生成提示信息，提醒所述目标用户规范佩戴安全帽。

7.根据权利要求5所述的安全帽佩戴检测方法，其特征在于，若所述安全帽系带为高速流动部分，确定目标用户未规范佩戴此安全帽，包括：

确定所述目标用户未系所述安全帽系带或所述安全帽系带松开，生成提示信息，提醒所述目标用户规范佩戴安全帽。

8.一种安全帽佩戴检测装置，其特征在于，安全帽的帽檐中央下方安装有摄像机构，所述装置包括：

监测图像获取模块，用于获取所述摄像机构实时拍摄的监测图像，其中，所述监测图像中包含佩戴此安全帽的目标用户的人脸；

参照图像获取模块，用于获取目标用户对应的参照图像，其中，所述参照图像包含所述目标用户的免冠正面人脸；

光流图确定模块，用于将所述监测图像和所述参照图像输入预设的光流网络模型，输出对应的光流图；

特征提取模块，用于从所述光流图中确定出所述监测图像中目标用户的人脸相对于所述参照图像中目标用户的人脸的俯仰角特征和对称性特征，其中，所述俯仰角特征用于揭示目标用户佩戴此安全帽的佩戴俯仰幅度，所述对称性特征用于揭示目标用户佩戴此安全帽的左右偏斜幅度；

判定模块，用于在所述俯仰角特征处于设定俯仰幅度范围内，且所述对称性特征处于设定偏斜幅度范围内时，确定所述目标用户佩戴此安全帽的佩戴位置规范，否则，确定所述目标用户未规范佩戴安全帽，并生成提示信息，提醒所述目标用户规范佩戴安全帽。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1~7中任一项所述的安全帽佩戴检测方法。

10.一种安全帽，其特征在于，包括：

安全帽本体；

摄像机构，设置在所述安全帽本体的帽檐中央下方；

处理单元，设置在所述安全帽本体内部，与所述摄像机构连接，用于执行权利要求1~7中任一项所述的安全帽佩戴检测方法。

Images