CN113553963A - 安全帽的检测方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本发明涉及实时检测技术领域，公开了一种安全帽的检测方法、装置、电子设备及可读存储介质。其中，该方法包括：采集施工现场的实时视频；压缩实时视频对应的视频帧；检测多个视频帧中的人脸特征以及安全帽特征；基于多个视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果。通过实施本发明，降低了计算压力，减轻了存储负担，能够适用于中低端配置的终端设备，解决了中低端配置的终端设备难以对采集视频中的安全帽进行实时检测的问题。

Description

安全帽的检测方法、装置、电子设备及可读存储介质

技术领域

本发明涉及实时检测技术领域，具体涉及一种安全帽的检测方法、装置、电子设备及可读存储介质。

背景技术

在施工现场中，为了能够实时获取施工场地的施工情况以及施工安全，施工人员通常会佩戴手持设备或可穿戴设备将施工现场的实际施工情况反馈至web端，以供负责人查看。然而实时的音视频传输，由于业务需求一定的清晰度(如大屏展示要求每一帧的画面质量为1280×720像素(高清)或更高质量1920×1080像素(超清)，帧率不低于每秒15帧，否则便会出现画面卡顿的问题)，网络带宽、设备性能等相应的也需要符合一定的要求。由于业务集成的要求，web端需要在主流的浏览器环境下与手持设备或可穿戴设备进行实时音视频通信。但是施工现场配备的手持设备或可穿戴设备一般为中低端配置，计算能力、存储能力有限，难以对采集视频中的安全帽进行现场实时检测。目前一般使用后台服务实现检测。

发明内容

有鉴于此，本发明实施例提供了一种安全帽的检测方法、装置、电子设备及可读存储介质，以解决中低端配置的终端设备难以对采集视频中的安全帽进行实时检测的问题。

根据第一方面，本发明实施例提供了一种安全帽的检测方法，包括：采集施工现场的实时视频；压缩所述实时视频对应的视频帧；检测所述视频帧中的人脸特征以及安全帽特征；基于所述视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果。

本发明实施例提供的安全帽的检测方法，通过采集施工现场的实时视频，压缩实时视频对应的视频帧，并检测各个视频帧中的人脸特征以及安全帽特征，基于各个视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果。该方法通过压缩实时视频对应的视频帧，再对压缩后的视频帧中人脸特征和安全帽特征进行检测以确定安全帽检测结果，降低了计算压力，减轻了存储负担，能够适用于中低端配置的终端设备，解决了中低端配置的终端设备难以对采集视频中的安全帽进行实时检测的问题。

结合第一方面，在第一方面的第一实施方式中，所述检测所述多个视频帧中的人脸特征以及安全帽特征，包括：判断所述视频帧中是否检测到人脸特征；当检测到所述视频帧中存在人脸特征时，检测所述视频帧中的安全帽特征。

本发明实施例提供的安全帽的检测方法，通过判断各个视频帧中是否检测到人脸特征，当检测到视频帧中存在人脸特征时，再继续检测视频帧中的安全帽特征，当视频帧中不存在人脸特征时，则无需继续检测安全帽，由此提高了人脸特征和安全帽特征的检测速度。

结合第一方面第一实施方式，在第一方面的第二实施方式中，所述检测所述视频帧中的安全帽特征，包括：获取所述视频帧中所包含的多个检测点对应的颜色数据；判断所述多个检测点对应的颜色数据是否满足安全帽颜色数据；当检测到所述颜色数据满足安全帽颜色数据的检测点时，基于所述颜色数据满足安全帽颜色数据的检测点，确定所述视频帧对应的安全帽特征。

结合第一方面第二实施方式，在第一方面的第三实施方式中，所述基于所述颜色数据满足安全帽颜色数据特征的检测点，确定所述视频帧对应的安全帽特征，包括：获取所述颜色数据满足安全帽颜色数据特征的首个检测点；基于所述首个检测点的位置，按照预设间隔和预设方向，确定出所述颜色数据满足安全帽颜色数据的多个安全帽特征点；基于所述多个安全帽特征点，生成安全帽特征点集合；计算所述视频帧中所述安全帽特征点集合中的边缘点；基于所述视频帧中的所述安全帽特征点集合中的边缘点，得到所述视频帧对应的安全帽特征框。

本发明实施例提供的安全帽的检测方法，通过视频帧中各个检测点对应的颜色数据以确定视频帧对应的安全帽特征点集合，通过计算安全帽特征点集合中的边缘点，以生成视频帧中所存在的安全帽特征框，即视频帧中所存在的安全帽，提高了安全帽特征的提取速度，进而实现了安全帽的快速检测。

结合第一方面，在第一方面的第四实施方式中，所述检测所述视频帧中的人脸特征以及安全帽特征，包括：判断所述视频帧是否发生抖动；当检测到所述视频帧发生抖动时，校正发生抖动的所述视频帧，得到所述实时视频对应的多个目标视频帧；检测所述目标视频帧中的人脸特征以及安全帽特征。

本发明实施例提供的安全帽的检测方法，通过判断实时视频对应的各个视频帧是否发生抖动，当检测到视频帧发生抖动时，校正发生抖动的视频帧，然后再对经过校正得到的目标视频帧中的人脸特征以及安全帽特征进行检测，由此避免了视频帧抖动影响人脸检测和安全帽检测，保证了人脸检测和安全帽检测的准确度。

结合第一方面第四实施方式，在第一方面的第五实施方式中，所述校正发生抖动的所述视频帧，得到所述实时视频对应的目标视频帧，包括：获取发生抖动的视频帧中人体边界框的第一几何中心；获取所述发生抖动的视频帧所对应的上一视频帧，计算所述上一视频帧的邻接视频帧所对应的人体边界框的平均几何中心；计算所述平均几何中心与所述第一几何中心之间的偏移量；基于所述偏移量对应的偏移方向及大小，调整所述发生抖动的视频帧，得到所述目标视频帧。

本发明实施例提供的安全帽的检测方法，通过计算发生抖动的视频帧所对应的偏移量以及偏移方向，并基于该偏移量以及偏移方向对发生抖动的视频帧进行调整，以补偿抖动所产生的偏移量，得到目标视频帧，由此避免实时视频的画面抖动，保证实时视频的传输流畅性和稳定性。

结合第一方面第五实施方式，在第一方面的第六实施方式中，所述获取发生抖动的视频帧中人体边界框的第一几何中心，包括：获取所述发生抖动的视频帧中的人脸及安全帽边界框；基于所述人脸及安全帽边界框的尺寸，确定所述发生抖动的视频帧中的人体边界框；计算所述人体边界框的第一几何中心。

本发明实施例提供的安全帽的检测方法，通过获取发生抖动的视频帧中的人脸及安全帽边界框的尺寸，基于人脸及安全帽边界框的尺寸，确定发生抖动的视频帧中的人体边界框，计算人体边界框的第一几何中心，基于第一几何中心以及平均几何中心计算发生抖动的视频帧所对应的偏移量以及偏移方向，提高了偏移量以及偏移方向的计算准确率。

结合第一方面第五实施方式，在第一方面的第七实施方式中，所述判断各个所述视频帧是否发生抖动，包括：获取当前视频帧中人体边界框的第二几何中心以及上一视频帧中人体边界框的第三几何中心；判断所述第二几何中心相比所述第三几何中心是否发生移动；当所述第二几何中心相比所述第三几何中心发生移动时，获取所述第二几何中心相对所述第三几何中心的移动距离；判断所述移动距离是否处于预设范围；当所述移动距离处于所述预设范围时，判定当前视频帧发生抖动。

本发明实施例提供的安全帽的检测方法，通过判断当前视频帧中人体边界框的第二几何中心以及上一视频帧中人体边界框的第三几何中心是否发生移动，在第二几何中心相比第三几何中心发生移动时，确定第二几何中心相对第三几何中心之间的移动距离，当移动距离处于预设范围时，判定当前视频帧发生抖动，由此可以更加准确的确定实时视频的抖动状态，便于根据该抖动状态进行抖动补偿。

结合第一方面，在第一方面的第八实施方式中，检测所述多个视频帧中的安全帽特征，包括：基于当前视频帧对应的所述安全帽特征，确定安全帽的移动状态；基于当前视频帧对应的所述安全帽的移动状态，预测所述安全帽在下一视频帧中的位置；基于所述安全帽在各个所述视频帧中的位置，得到各个所述视频帧中的安全帽特征。

结合第一方面第八实施方式，在第一方面的第九实施方式中，所述基于当前目标视频帧对应的所述安全帽特征，确定安全帽的移动状态，包括：基于所述安全帽特征点集合中多个特征检测点，确定安全帽基准点；基于所述安全帽基准点在当前目标视频帧中的位置，计算所述安全帽基准点的移动速率和移动方向。

本发明实施例提供的安全帽的检测方法，基于当前目标视频帧对应的安全帽特征，确定安全帽的移动状态，基于当前目标视频帧对应的安全帽的移动状态，预测安全帽在下一目标视频帧中的位置，由此可以得到安全帽在各个目标视频帧中的位置，从而可以得到各个目标视频帧中的安全帽特征，在一定程度上提高了目标视频帧中的安全帽特征的提取速度，保证安全帽的实时检测速率。

结合第一方面或第一实施方式至第九实施方式中的任一实施方式，在第一方面的第十实施方式中，所述基于所述视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果，包括：基于所述视频帧中的人脸特征以及安全帽特征，确定人脸检测结果；基于所述视频帧中的所述人脸检测结果，校正所述安全帽检测结果。

本发明实施例提供的安全帽的检测方法，通过人脸检测结果校正安全帽检测结果，由此能够快速确定施工人员的安全帽佩戴情况，便于负责人据此进行相应提醒，以减少施工安全隐患。

根据第二方面，本发明实施例提供了一种安全帽的检测装置，包括：采集模块，用于采集施工现场的实时视频；压缩模块，用于压缩所述实时视频对应的视频帧；检测模块，用于检测所述视频帧中的人脸特征以及安全帽特征；判定模块，用于基于所述视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果。

本发明实施例提供的安全帽的检测装置，通过压缩实时视频对应的视频帧，再对压缩后的视频帧中人脸特征和安全帽特征进行检测以确定施工现场的安全帽检测结果。该装置降低了计算压力，减轻了存储负担，能够适用于中低端配置的终端设备，解决了中低端配置的终端设备难以对采集视频中的安全帽进行实时检测的问题。

根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或第一方面任一实施方式所述的安全帽的检测方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行第一方面或第一方面任一实施方式所述的安全帽的检测方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例中安全帽检测的场景示意图；

图2是根据本发明实施例的安全帽的检测方法的流程图；

图3是根据本发明实施例的安全帽的检测方法的另一流程图；

图4是根据本发明实施例的安全帽的检测方法的另一流程图；

图5是根据本发明实施例的安全帽的检测方法的另一流程图；

图6是根据本发明实施例的安全帽特征点的检测示意图；

图7是根据本发明实施例的安全帽边界框的计算示意图；

图8是根据本发明实施例人脸及安全帽边界框的示意图；

图9是根据本发明实施例的安全帽的检测装置的结构框图；

图10是本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

施工人员通常会佩戴手持设备或可穿戴设备将施工现场的实际施工情况反馈至web端，以供负责人查看。由于业务集成的要求，web端需要在主流的浏览器环境下与手持设备或可穿戴设备进行实时音视频通信。但是手持设备或可穿戴设备一般为中低端配置，计算能力、存储能力有限，难以对采集视频中的安全帽进行实时检测。

基于此，本发明技术方案通过压缩实时视频对应的视频帧，再对压缩后的视频帧中人脸和安全帽进行检测以确定人脸数量和安全帽数量，减轻了存储负担，降低了计算压力，能够适用于中低端配置的终端设备，解决了中低端配置的终端设备难以对采集视频中的安全帽进行实时检测的问题。

根据本发明实施例，提供了一种安全帽的检测方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种安全帽的检测方法，可适用于中低端配置的电子设备，如中低端配置手持设备、可穿戴设备等移动终端设备，图2是根据本发明实施例的安全帽的检测方法的流程图，如图2所示，该流程包括如下步骤：

S11，采集施工现场的实时视频。

施工现场的实时视频可以通过施工人员携带的移动终端设备进行采集，而该终端设备可以是中低端配置的手持设备(手机、平板等)或可穿戴设备等。例如，实时视频可以通过施工人员携带的手持设备或可穿戴设备上的摄像装置拍摄获取。如图1所示，手持设备或可穿戴设备等通过无线网关以及有线网络组合的混合网络将其采集到的实时视频传输至web端，web端则对实时视频中的人员信息进行自主页面绘制。

S12，压缩实时视频对应的视频帧。

移动终端采集到的实时视频实质上是由多个视频帧构成的，而移动终端采集到的视频帧尺寸较大，若移动终端基于其采集到的尺寸较大的视频帧直接进行人脸特征以及安全帽特征的检测，其计算压力较大，而人脸特征及安全帽特征的检出率却并不会产生较大变化。综合考虑视频帧的分辨率、计算压力、存储等条件，本领域技术人员可以根据经验值设置预设像素，移动终端在采集到实时视频对应的视频帧时，将其压缩至预设像素，例如将视频帧成比例压缩至尺寸640*360像素。

S13，检测视频帧中的人脸特征以及安全帽特征。

安全帽特征为安全帽的颜色以及安全帽的几何形状等。人脸特征用于表征视频帧中是否存在人脸。中低端配置的移动终端设备可以基于人脸检测技术对各个视频帧中的人脸特征进行提取，在提取到人脸特征的同时，进一步提取视频帧中的安全帽特征。

S14，基于视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果。

安全帽检测结果用于表征当前施工现场是否存在人员安全隐患。基于多个视频帧中的人脸特征以及安全帽特征可以确定当前实时视频中所包含的人脸数量以及安全帽数量，通过比较人脸数量以及安全帽数量，以确定施工现场是否存在不带安全帽的施工人员。

本实施例提供的安全帽的检测方法，通过采集施工现场的实时视频，压缩实时视频对应的视频帧，并检测各个视频帧中的人脸特征以及安全帽特征，基于各个视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果。该方法通过压缩实时视频对应的视频帧，再对压缩后的视频帧中人脸特征和安全帽特征进行检测以确定安全帽检测结果，降低了计算压力，减轻了存储负担，能够适用于中低端配置的终端设备，解决了中低端配置的终端设备难以对采集视频中的安全帽进行实时检测的问题。

在本实施例中提供了一种安全帽的检测方法，可适用于中低端配置的移动终端设备，如中低端配置手持设备、可穿戴设备等，图3是根据本发明实施例的安全帽的检测方法的流程图，如图3所示，该流程包括如下步骤：

S21，采集施工现场的实时视频。详细说明参见上述实施例对应步骤S11的相关描述，此处不再赘述。

S22，压缩实时视频对应的视频帧。详细说明参见上述实施例对应步骤S12的相关描述，此处不再赘述。

S23，检测视频帧中的人脸特征以及安全帽特征。

具体地，上述步骤S23可以包括如下步骤：

S231，判断视频帧中是否检测到人脸特征。

在采集到实时视频对应的多个视频帧时，可以采用人脸检测技术依次对各个视频帧进行分析以确定各视频帧中是否检测到人脸特征；当然也可以从多个视频帧中抽取若干视频帧，对抽取出来的若干视频帧进行人脸检测以确定若干视频帧中是否检测到人脸特征。当检测到视频帧中存在人脸特征时，执行步骤S232，否则，针对不存在人脸特征的视频帧不予提取安全帽特征。

S232，检测视频帧中的安全帽特征。

当检测到视频帧中存在人脸特征时，表示该视频帧中存在人员，此时可以进一步针对该视频帧进行安全帽特征提取。

具体地，上述步骤S232可以包括：

(1)获取视频帧中所包含的多个检测点对应的颜色数据。

以视频帧常见的JPEG存储格式为例，颜色数据为每个检测点所对应的RGB数据，移动终端设备将其采集到的实时视频对应的多个视频帧压缩至一预设像素的视频帧图像，例如640*360像素，以每个像素点作为一个检测点，按照一定的检测方向依次提取视频帧图像中各个检测点的颜色数据。例如，从视频帧图像的左上角开始，向右向下，逐个检测点依次检测，并依次获取各个检测点对应的颜色数据。

(2)判断多个检测点对应的颜色数据是否满足安全帽颜色数据。

安全帽颜色数据为安全帽对应的RGB数值范围，依次将各个检测点对应的颜色数据与安全帽颜色数据进行比较，并判断各个检测点对应的颜色数据是否满足安全帽颜色数据。当检测到颜色数据满足安全帽颜色数据的检测点时，执行步骤(3)，否则，继续比对其他检测点对应的颜色数据，直至检测到颜色数据满足安全帽颜色数据的检测点。

(3)基于颜色数据满足安全帽颜色数据的检测点，确定视频帧对应的安全帽特征。

当检测到颜色数据满足安全帽颜色数据的检测点时，以该检测点为唯一基础点，并选取其他颜色数据满足安全帽颜色数据的检测点。根据该唯一基础点以及其他颜色数据满足安全帽颜色数据的检测点，生成安全帽特征点集合，并基于该安全帽特征点集合确定当前视频帧所对应的安全帽特征。

可选地，上述步骤(3)可以包括：

31)获取颜色数据满足安全帽颜色数据特征的首个检测点。

当检测到颜色数据满足安全帽颜色数据的首个检测点时，以该首个检测点作为起始点，并以此起始点作为唯一的基础点，初始化安全帽特征点集合P。

32)基于首个检测点的位置，按照预设间隔和预设方向，确定出颜色数据满足安全帽颜色数据的多个安全帽特征点。

从该首个检测点开始，分别按照预设间隔和预设方向获取与该首个检测点对应的多个安全帽特征点。其中，预设方向以及预设间隔可以根据本领域技术人员的经验值确定，例如预设方向可以45°方向以及135°方向，预设间隔可以为15像素。具体地，如图6所示，从首个检测点开始，分别沿45°方向和135°度方向，以15像素间隔，图中的交叉点为首个检测点，然后向左下，右下延伸，依次检测颜色数据满足安全帽颜色数据的检测点，将颜色数据满足安全帽颜色数据的检测点作为安全帽特征点。

当然，除首个检测点之外，还可以确定其他备选检测点，备选检测点的选取要求如下：间隔15像素；或者该备选检测点的颜色数据满足安全帽颜色数据，相邻的下一检测点不符合颜色数据，即边界点。按照先进先出的原则，选取下一个交叉点作为起始点，向左下、右下延伸，检测符合要求的备选检测点。

33)基于多个安全帽特征点，生成安全帽特征点集合。

依次将步骤32)中得到的安全帽特征点以及备选检测点加入到安全帽特征点集合P中，得到当前视频帧对应的安全帽特征点集合。

34)计算视频帧中安全帽特征点集合中的边缘点。

在安全帽特征点集合P中安全帽特征点数量达到一定阈值(可按照经验值确定，例如10)时，从安全帽特征点集合中确定安全帽对应的边缘点，即备选检测点中的边界点。

35)基于视频帧中的安全帽特征点集合中的边缘点，得到视频帧对应的安全帽特征框。

对得到的边缘点依次进行排序，可以得到边缘点构成的多边形。检测连接边缘点形成的相邻两条边界线之间的夹角，判断各个相邻两条边界线之间的夹角是否超过预设角度阈值，当存在两个夹角均超过预设角度阈值时，则判定该多边形对应为安全帽特征框。其中，预设角度阈值可以为15°，也可以为20°，当然还可以为其他角度值，本领域技术人员可以根据实际需要确定。

如图7所示，假设P_n-1、P_n、P_n+1是排序后的三个连续的边缘点，其中，图中P_n-1’为P_n-1关于P_n的中心对称点。移动终端设备在检测安全帽的过程实际上是计算点的坐标在水平方向的差值Δx与垂直方向的差值Δy的过程，以避免浮点运算。具体步骤如下：

(A)求取P_n-1关于P_n的对称点P_n-1’；

(B)求取P_n-1’、P_n+1与P_n点之间的Δx与Δy，分别记作x₁、y₁、x₂、y₂；

(C)计算夹角β的正切值：

根据经验值，取夹角β小于15°(

取近似值0.25)，即估算(x₂y₁-x₁y₂)是否小于(x₁x₂+y₁y₂)/4。

需要说明的是，移动终端设备还可以该安全帽边界框所在区域为基准，在安全帽的下侧，高度大约为安全帽高度的1.5倍制作一安全帽区域予以裁剪，并通过后台服务器对裁剪后的安全帽区域进行人脸识别，以保证安全帽与人脸的对应，避免出现安全帽的误检测。

S24，基于视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果。

具体地，上述步骤S24可以包括：

S241，基于视频帧中的人脸特征以及安全帽特征，确定人脸检测结果。

移动终端设备可以根据其识别到的多个视频帧中的人脸特征以及安全帽特征，确定各个视频帧构成的实时视频所对应的人脸检测结果。具体地，人脸检测结果可以包括人脸数量以及安全帽数量，当人脸数量大于安全帽数量时，判定施工现场存在不带安全帽的人员。

S242，基于各个视频帧中的人脸检测结果，校正安全帽检测结果。

标记多个视频帧中同时用于人脸检测和安全帽检测的某一视频帧为F。由于人脸检测和安全帽检测的性能差异，在视频帧F的人脸检测结果输出的时刻(通常耗时大于50ms)，安全帽检测结果(通常耗时为20ms)早已输出。若在视频帧F中的安全帽检测结果输出为正，人脸检测结果输出为正，即在视频帧中检测到人脸特征以及安全帽特征，表示人脸能够对应于安全帽；若在视频帧F中的安全帽检测结果输出为正，而人脸检测结果输出为负，即在视频帧未检测到人脸特征，而检测到安全帽特征，此时强制重置该视频帧F的安全帽检测输出结果为负，即认为不存在安全帽特征。此处，视频帧F可以是随机选取的，本申请对视频帧F的选取方式不作限定。

接下来，以人脸检测结果校正安全帽检测结果进行验证：

视频帧F是否包含人脸(记包含人脸为事件X)以及人脸检测算法的输出结果(记人脸检测算法正输出为事件Y)在统计学上可以认为是相互独立。视频帧F包含人脸，人脸检测算法识别到人脸的条件概率为P(Y|X)，条件概率P(Y|X)计算如下：

其中，P(X)为检测到视频帧F包含人脸的概率，P(Y，X)为视频帧F包含人脸且检测到人脸的概率；P(Y|X)为在视频帧F包含人脸的条件下检测到人脸的概念。

类似的，记视频帧F包含安全帽为事件A，不包含安全帽为对立事件A’，安全帽检测的正输出为事件B，负输出为对立事件B’，统计学上可以认为事件A与事件B相互独立，则检测到安全帽的条件概率为P(B|A)，条件概率P(B|A)的计算如下：。

其中，P(A)为检测到视频帧F包含安全帽的概率，P(B，A)为视频帧F包含安全帽且检测到安全帽的概率；P(B|A)为在视频帧F包含安全帽的条件下检测到安全帽的概念。

在视频采集的有限时间内，可以认为安全帽的出现次数正比于人脸的出现次数，即有P(A)∝P(X)。理论上，这个比例应接近1。

由上述公式(1)和公式(2)左右两侧相除，可以得到：

上述公式(2)可以改写为：

其中系数m>0，且有m∝k，系数m的值也接近1。

对概率P(B)应用全概率公式，则可以得到：

P(B)

＝P(B|A)*P(A)+P(B|A’)*P(A’)

≈P(B|A)*P(A)

≈m*P(Y|X)*P(A) (5)

视频帧F不包含安全帽，但是仍然检测到安全帽的条件概率P(B|A’)较小，此处可以忽略。由此上述公式(5)中条件概率P(Y|X)可以近似认为是人脸检出率。在视频采集的有限时间内，尽管难以确定安全帽出现概率P(A)的具体数值，但这个值是客观的。上述公式(5)显示的安全帽检测结果，可以根据人脸检测结果进行校正。

本实施例提供的安全帽的检测方法，通过判断各个目标视频帧中是否检测到人脸特征，当检测到目标视频帧中存在人脸特征时，再继续检测目标视频帧中的安全帽特征，当目标视频帧中不存在人脸特征时，则无需继续检测安全帽，由此提高了人脸特征和安全帽特征的检测速度。通过目标视频帧中各个检测点对应的颜色数据以确定目标视频帧对应的安全帽特征点集合，通过计算安全帽特征点集合中的边缘点，以生成目标视频帧中所存在的安全帽特征框，即目标视频帧中所存在的安全帽，提高了安全帽特征的快速提取，进一步提高了安全帽的快速检测。

在本实施例中提供了一种安全帽的检测方法，可用于中低端配置的移动终端设备，如中低端配置手持设备、可穿戴设备等，图4是根据本发明实施例的安全帽的检测方法的流程图，如图4所示，该流程包括如下步骤：

S31，采集施工现场的实时视频。详细说明参见上述实施例对应步骤S21的相关描述，此处不再赘述。

S32，压缩实时视频对应的视频帧。详细说明参见上述实施例对应步骤S22的相关描述，此处不再赘述。

S33，检测视频帧中的人脸特征以及安全帽特征。

具体地，上述步骤S33可以包括如下步骤：

S331，判断视频帧是否发生抖动。

若视频帧未发生抖动，则任意两个视频帧之间的参考点位置应该是重合的，若视频帧发生抖动，则任意两个视频帧之间的参考点位置时存在偏移的。具体地，移动终端设备可以获取两个视频帧的参考点，基于两个视频帧中参考点的位置判断视频帧是否发生抖动，若视频帧发生抖动，则执行步骤S332，否则继续对该视频帧中的人脸特征及安全帽特征进行获取。

具体地，上述步骤S331可以包括：

(1)获取当前视频帧中人体边界框的第二几何中心以及上一视频帧中人体边界框的第三几何中心。

以人体边界框的几何中心作为视频帧的参考点，其中，人体边界框的几何中心为人体边界框的中心，具体地，可以根据人体边界框的各个端点对应的坐标值确定。第二几何中心为当前视频帧中的参考点，人体边界框的第三几何中心为上一视频帧的参考点。

(2)判断第二几何中心相比第三几何中心是否发生移动。

比较第二几何中心位置与第三几何中心位置，判断第二几何中心相比第三几何中心是否发生移动，即相邻视频帧的参考点是否重合。当第二几何中心相比第三几何中心发生移动时，执行步骤(3)，否则表示视频帧并未发生抖动。

(3)获取第二几何中心相对第三几何中心的移动距离。

第二几何中心相对第三几何中心的移动距离表征视频帧的抖动幅度，当第二几何中心相比第三几何中心发生移动时，表示视频帧发生了抖动，此时可以获取第二几何中心相对于第三几何中心的移动距离，以确定视频帧的抖动幅度。

(4)判断移动距离是否处于预设范围。

预设范围为视频帧发生轻微抖动时的几何中心偏移距离范围。移动终端设备将第二几何中心相对第三几何中心的移动距离与预设范围进行比较，判断该移动距离是否处于预设范围，当判定移动距离处于预设范围时，执行步骤(4)，当移动距离未处于预设范围，说明移动距离较大，可以认为当前视频帧为人体正常运动状态下所采集到的。

(5)判定当前视频帧发生抖动。

当移动距离处于预设范围时，表示视频帧发生了轻微抖动，需要对视频帧进行校正。

S332，校正发生抖动的视频帧，得到实时视频对应的目标视频帧。

当检测到视频帧发生抖动时，移动终端设备可以对发生轻微抖动的视频帧进行校正，得到经过校正目标视频帧。若发生抖动的视频帧存在多个，则依次对所有发生抖动的视频帧予以校正，以确定实时视频对应的多个目标视频帧。

具体地，上述步骤S332可以包括：

(1)获取发生抖动的视频帧中人体边界框的第一几何中心。

以人体的身体部分作为视频帧的参考点，移动终端设备可以通过摄像装置获取到的人脸及安全帽确定人体的身份部分所对应的人体边界框，基于人体边界框各个端点的位置坐标，计算人体边界框的第一几何中心，以第一几何中心作为该发生抖动的视频帧的参考点。

可选地，上述步骤(1)可以包括：

11)获取发生抖动的视频帧中的人脸及安全帽边界框。

人脸及安全帽边界框可以通过移动终端设备的摄像装置检测获取。

12)基于人脸及安全帽边界框的尺寸，确定发生抖动的视频帧中的人体边界框。

获取人脸及安全帽边界框的尺寸，按照8倍高度和2倍宽度估计发生抖动的视频帧中的人体边界框。

13)计算人体边界框的第一几何中心。

第一几何中心为人体边界框的中心点，可以通过人体边界框的端点位置坐标计算得到。例如，人体边界框包含4个端点A(Xa，Ya)、B(Xb，Yb)、C(Xc，Yc)和D(Xd，Yd)，则人体边界框的第一几何中心为((Xa+Xb+Xc+Xd)/4，(Ya+Yb+Yc+Yd)/4)。

(2)获取发生抖动的视频帧所对应的上一视频帧，计算上一视频帧的邻接视频帧所对应的人体边界框的平均几何中心。

移动终端设备可以分别获取多个视频帧对应的多个几何中心，平均几何中心为多个几何中心的平均值。其中，多个视频帧为发生抖动的视频帧所对应的上一视频帧所邻接的视频帧。

(3)计算平均几何中心与第一几何中心之间的偏移量。

沿检测得到的“人脸及安全帽边界框”的y方向中心线，向下延伸，且延伸的长度为“人脸及安全帽边界框”高度的三倍，若到视频帧底部时仍不足3倍，则以实际的长度为准；以“人脸及安全帽边界框”自下而上，计算当前像素与下一个像素(即当前像素在坐标y方向减1的像素)差值，作为当前像素的梯度下降值，以梯度下降值作为视频帧的偏移量，当然也可以使用其他方向计算梯度下降值，此处不作具体限定。如图8所示，沿着箭头方向，逐像素计算各个像素点对应的梯度下降值，即当前视频帧的偏移量。

(4)基于偏移量对应的偏移方向及大小，调整发生抖动的视频帧，得到目标视频帧。

在发生抖动的视频帧的上一视频帧的邻接区域内，分别计算相似度，并计算y方向的偏移量，其中，该邻接区域可以为x方向左右分别延伸R像素，其中，R为预设值，根据经验值可以取R像素为20像素。计算当前发生抖动的视频帧相对于上一视频帧的人体边界框几何中心的偏移量以及人体边界框几何中心的偏移方向，将当前发生抖动的视频帧反方向调整，且反方向调整的量为人体边界框几何中心的偏移量，由此可以得到经过校正的目标视频帧。

S333，检测目标视频帧中的人脸特征以及安全帽特征。

检测多个目标视频帧中的人脸特征以及安全帽特征的过程与检测多个视频帧中的人脸特征以及安全帽特征的过程相同，详见上述实施例对应步骤S23的相关描述，此处不再赘述。

S34，基于视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果。详细说明参见上述实施例对应步骤S24的相关描述，此处不再赘述。

本实施例提供的安全帽的检测方法，通过判断实时视频对应的各个视频帧是否发生抖动，当检测到视频帧发生抖动时，校正发生抖动的视频帧，然后再对经过校正得到的目标视频帧中的人脸特征以及安全帽特征进行检测，由此避免了视频帧抖动影响人脸检测和安全帽检测，保证了人脸检测和安全帽检测的准确度。通过计算发生抖动的视频帧所对应的偏移量以及偏移方向，并基于该偏移量以及偏移方向对发生抖动的视频帧进行调整，以补偿抖动所产生的偏移量，得到目标视频帧，由此避免实时视频的画面抖动，保证实时视频的传输流畅性和稳定性。基于第一几何中心以及平均几何中心计算发生抖动的视频帧所对应的偏移量以及偏移方向，提高了偏移量以及偏移方向的计算准确率。通过确定当前视频帧中人体边界框的第二几何中心相比上一视频帧中人体边界框的第三几何中心的移动距离，当移动距离处于预设范围时，判定当前视频帧发生抖动，由此可以更加准确的确定实时视频的抖动状态，便于根据该抖动状态进行抖动补偿。

在本实施例中提供了一种安全帽的检测方法，可用于中低端配置的移动终端设备，如中低端配置手持设备、可穿戴设备等，图5是根据本发明实施例的安全帽的检测方法的流程图，如图5所示，该流程包括如下步骤：

S41，采集施工现场的实时视频。详细说明参见上述实施例对应步骤S21的相关描述，此处不再赘述。

S42，压缩实时视频对应的视频帧。详细说明参见上述实施例对应步骤S22的相关描述，此处不再赘述。

S43，检测视频帧中的人脸特征以及安全帽特征。

具体地，上述步骤S43可以包括：

S431，检测视频帧中的人脸特征。对检测多个视频帧中的人脸特征的详细描述参见上述实施例对应的相关描述，此处不再赘述。

S432，基于当前视频帧对应的安全帽特征，确定安全帽的移动状态。

移动状态包括移动速率和移动方向，移动终端设备在检测到当前视频帧中的安全帽特征时，可以基于该安全帽特征估算安全帽的移动速率和移动方向。

具体地，上述步骤S432可以包括：

(1)基于安全帽特征点集合中多个特征检测点，确定安全帽基准点。

安全帽基准点为安全帽中心点，具体地，获取安全帽特征点集合P中所有点的X值和Y值，分别计算水平轴对应的平均值X以及垂直轴对应的平均值Y，将平均值X以及平均值Y作为安全帽中心点，即安全帽基准点。

(2)基于安全帽基准点在当前目标视频帧中的位置，计算安全帽基准点的移动速率和移动方向。

基于安全帽基准点的位置估算安全帽基准点的移动速率和移动方向。具体地，若T_k时刻，安全帽基准点在当前视频帧上的位置为[X_k，Y_k]^T，与前一时刻T_k-1相比，计算两个时刻的基准点坐标差值，即可以估算得到的安全帽基准点的移动速度为[V_Xk，V_Yk]^T(其中V_Xk＝X_k-X_k-1，V_Yk＝Y_k-Y_k-1)，该移动速度为移动速率的向量表示，即使用该移动速度表征移动速率和移动方向。

S433，基于当前视频帧对应的安全帽的移动状态，预测安全帽在下一视频帧中的位置。

若T_k时刻，安全帽基准点在当前视频帧上的位置为[X_k，Y_k]^T，安全帽基准点的移动速度为[V_Xk，V_Yk]^T，可以计算得到安全帽基准点在T_k+1时刻的位置为：[X_k+1估，Y_k+1估]^T＝[X_k，Y_k]^T+ΔT·[V_Xk，V_Yk]^T+0.5·ΔT·[β_Xk，β_Yk]^T。

假设选取T_k+1时刻的视频帧，继续对视频帧中的进行检测，检测结果返回后，更新调整系数[β_Xk，β_Yk]^T，以获取安全帽各个视频帧中的位置。具体更新如下：

(1)计算移动速度：[V_Xk+1测，V_Yk+1测]^T＝(1/ΔT)*([X_k+1，Y_k+1]-[X_k，Y_k])；

(2)计算历史移动速度的均值，记作[V_X均，V_Y均]^T；

(3)计算速度增量：γ＝(1/ΔT)*([V_Xk+1测，V_Yk+1测]^T-[V_X均，V_Y均]^T)；

(4)更新调整系数：[β_Xk+1，β_Yk+1]^T＝(1/4)·(3[β_Xk，β_Yk]^T+γ)，调整[β_Xk+1，β_Yk+1]^T各分量的值不超过预定阈值，该预定阈值可以根据经验值确定，例如6像素/ms；

(5)更新移动速度：[V_Xk+1，V_Yk+1]^T＝[V_X均，V_Y均]^T+ΔT*[β_Xk+1，β_Yk+1]^T。

由于施工人员在画面中的位置，可能由于人的随意移动、采样漂移等因素而偏离所谓的“正常轨迹”，根据步骤(1)至步骤(5)所述的更新方式，可以减少移动速度的高频部分所造成的影响。

S434，基于安全帽在各个视频帧中的位置，得到各个视频帧中的安全帽特征。

移动终端设备可以获取安全帽基准点在各个视频帧中的位置，由此可以得到各个视频帧中的安全帽特征。具体地，移动终端设备可以根据安全帽基准点对应的[V_Xk，V_Yk]^T以及[β_Xk，β_Yk]^T确定安全帽基准点在各个视频帧中的位置，并将各个视频帧中的[V_Xk，V_Yk]^T以及[β_Xk，β_Yk]^T发送至web端，web端则可以根据时间戳计算ΔT(即ΔT＝当前时间-时间戳)，并计算渲染时刻T_k+1时的[X_k+1估，Y_k+1估]^T。

S44，基于多个视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果。详细说明参见上述实施例对应步骤S24的相关描述，此处不再赘述。

本实施例提供的安全帽的检测方法，基于当前目标视频帧对应的安全帽特征，确定安全帽的移动状态，基于当前目标视频帧对应的安全帽的移动状态，预测安全帽在下一目标视频帧中的位置，由此可以得到安全帽在各个目标视频帧中的位置，从而可以得到各个目标视频帧中的安全帽特征，在一定程度上提高了目标视频帧中的安全帽特征的提取速度，保证安全帽的实时检测速率。

在本实施例中还提供了一种安全帽的检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种安全帽的检测装置，如图9所示，包括：

采集模块51，用于采集施工现场的实时视频。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

压缩模块52，用于压缩实时视频对应的视频帧。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

检测模块53，用于检测视频帧中的人脸特征以及安全帽特征。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

确定模块54，用于基于视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

本实施例中的安全帽的检测装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本发明实施例提供一种电子设备，具有上述图9所示的安全帽的检测装置。

请参阅图10，图10是本发明可选实施例提供的一种电子设备的结构示意图，如图10所示，该电子设备可以包括：至少一个处理器601，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口603，存储器604，至少一个通信总线602。其中，通信总线602用于实现这些组件之间的连接通信。其中，通信接口603可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口603还可以包括标准的有线接口、无线接口。存储器604可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器604可选的还可以是至少一个位于远离前述处理器601的存储装置。其中处理器601可以结合图9所描述的装置，存储器604中存储应用程序，且处理器601调用存储器604中存储的程序代码，以用于执行上述任一方法步骤。

其中，通信总线602可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线602可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器604可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器604还可以包括上述种类存储器的组合。

其中，处理器601可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器601还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器604还用于存储程序指令。处理器601可以调用程序指令，实现如本申请图2至图5实施例中所示的安全帽的检测方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的安全帽的检测方法的处理方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (14)

1.一种安全帽的检测方法，其特征在于，包括：

采集施工现场的实时视频；

压缩所述实时视频对应的视频帧；

检测所述视频帧中的人脸特征以及安全帽特征；

基于所述视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果。

2.根据权利要求1所述的方法，其特征在于，所述检测所述视频帧中的人脸特征以及安全帽特征，包括：

判断所述视频帧中是否检测到人脸特征；

当检测到所述视频帧中存在人脸特征时，检测所述视频帧中的安全帽特征。

3.根据权利要求2所述的方法，其特征在于，所述检测所述视频帧中的安全帽特征，包括：

获取所述视频帧中所包含的多个检测点对应的颜色数据；

判断所述多个检测点对应的颜色数据是否满足安全帽颜色数据；

当检测到所述颜色数据满足安全帽颜色数据的检测点时，基于所述颜色数据满足安全帽颜色数据的检测点，确定所述视频帧对应的安全帽特征。

4.根据权利要求3所述的方法，其特征在于，所述基于所述颜色数据满足安全帽颜色数据特征的检测点，确定所述视频帧对应的安全帽特征，包括：

获取所述颜色数据满足安全帽颜色数据特征的首个检测点；

基于所述首个检测点的位置，按照预设间隔和预设方向，确定出所述颜色数据满足安全帽颜色数据的多个安全帽特征点；

基于所述多个安全帽特征点，生成安全帽特征点集合；

计算所述视频帧中所述安全帽特征点集合中的边缘点；

基于所述视频帧中的所述安全帽特征点集合中的边缘点，得到所述视频帧对应的安全帽特征框。

5.根据权利要求1所述的方法，其特征在于，所述检测所述视频帧中的人脸特征以及安全帽特征，包括：

判断所述视频帧是否发生抖动；

当检测到所述视频帧发生抖动时，校正发生抖动的所述视频帧，得到所述实时视频对应的目标视频帧；

检测所述目标视频帧中的人脸特征以及安全帽特征。

6.根据权利要求5所述的方法，其特征在于，所述校正发生抖动的所述视频帧，得到所述实时视频对应的目标视频帧，包括：

获取发生抖动的视频帧中人体边界框的第一几何中心；

获取所述发生抖动的视频帧所对应的上一视频帧，计算所述上一视频帧的邻接视频帧所对应的人体边界框的平均几何中心；

计算所述平均几何中心与所述第一几何中心之间的偏移量；

基于所述偏移量对应的偏移方向及大小，调整所述发生抖动的视频帧，得到所述目标视频帧。

7.根据权利要求6所述的方法，其特征在于，所述获取发生抖动的视频帧中人体边界框的第一几何中心，包括：

获取所述发生抖动的视频帧中的人脸及安全帽边界框；

基于所述人脸及安全帽边界框的尺寸，确定所述发生抖动的视频帧中的人体边界框；

计算所述人体边界框的第一几何中心。

8.根据权利要求6所述的方法，其特征在于，所述判断所述视频帧是否发生抖动，包括：

获取当前视频帧中人体边界框的第二几何中心以及上一视频帧中人体边界框的第三几何中心；

判断所述第二几何中心相比所述第三几何中心是否发生移动；

当所述第二几何中心相比所述第三几何中心发生移动时，获取所述第二几何中心相对所述第三几何中心的移动距离；

判断所述移动距离是否处于预设范围；

当所述移动距离处于所述预设范围时，判定当前视频帧发生抖动。

9.根据权利要求1所述的方法，其特征在于，检测所述视频帧中的安全帽特征，包括：

基于当前视频帧对应的所述安全帽特征，确定安全帽的移动状态；

基于当前视频帧对应的所述安全帽的移动状态，预测所述安全帽在下一视频帧中的位置；

基于所述安全帽在各个所述视频帧中的位置，得到各个所述视频帧中的安全帽特征。

10.根据权利要求9所述的方法，其特征在于，所述基于当前目标视频帧对应的所述安全帽特征，确定安全帽的移动状态，包括：

基于所述安全帽特征点集合中多个特征检测点，确定安全帽基准点；

基于所述安全帽基准点在当前目标视频帧中的位置，计算所述安全帽基准点的移动速率和移动方向。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述基于所述视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果，包括：

基于所述视频帧中的人脸特征以及安全帽特征，确定人脸检测结果；

基于所述视频帧中的所述人脸检测结果，校正所述安全帽检测结果。

12.一种安全帽的检测装置，其特征在于，包括：

采集模块，用于采集施工现场的实时视频；

压缩模块，用于压缩所述实时视频对应的视频帧；

检测模块，用于检测所述视频帧中的人脸特征以及安全帽特征；

确定模块，用于基于所述视频帧中的人脸特征以及安全帽特征，确定安全帽检测结果。

13.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-11任一项所述的安全帽的检测方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-11任一项所述的安全帽的检测方法。

Images