CN113780322A - 一种安全检测的方法和装置 - Google Patents

Abstract

本发明公开了一种安全检测的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：利用训练好的目标检测模型和训练好的分类模型检测得到至少一种检测对象，并检测各个检测对象佩戴安全防护设备的情况，根据检测的结果生成安全防护信息，提高了检测对象佩戴安全防护设备的情况的准确性，并根据检测结果实时生成安全防护信息，提高了安全检测的实时性。

Description

一种安全检测的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种安全检测的方法和装置。

背景技术

随着人工智能技术的发展，目标检测和识别是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测等多个领域中的不同场景，通过计算机视觉减少了人力资本的消耗，提高了目标检测和识别的效率。

但是，无论是利用传统的目标检测和识别传统算法，还是深度学习技术，在安全检测场景中，当需要检测目标所佩戴的一个或多个安全防护设备时，存在准确性偏低的问题。

发明内容

有鉴于此，本发明实施例提供一种安全检测的方法和装置，能够利用训练好的目标检测模型和训练好的分类模型检测至少一种检测对象，并检测各个检测对象佩戴安全防护设备的情况，根据检测的结果生成安全防护信息，提高了检测对象佩戴安全防护设备的情况的准确性，并根据检测结果实时生成安全防护信息，提高了安全检测的实时性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种安全检测的方法，其特征在于，包括：利用训练好的目标检测模型，检测图片中的检测对象；当所述目标检测模型检测的结果指示存在至少一种所述检测对象时，利用训练好的分类模型检测至少一种所述检测对象佩戴安全防护设备的情况；根据检测的结果，为至少一种所述检测对象生成安全防护信息。

可选地，所述安全检测的方法，其特征在于，进一步包括：

获取第一样本集合，所述第一样本集合中存在标注有第一种参考对象和参考目标的多个第一样本图片，且所述第一样本集合中存在标注有第二种参考对象的多个第二样本图片，其中，所述第一种参考对象与所述参考目标之间存在关联关系；利用标注好的所述第一样本集合，训练目标检测模型，得到训练好的所述目标检测模型。

可选地，所述安全检测的方法，其特征在于，

利用训练好的所述目标检测模型以及设定检测阈值，从所述第一样本集合选取不小于所述检测阈值的多个所述第一样本图片和/或多个所述第二样本图片；将选取的多个所述第一样本图片和/或多个所述第二样本图片组成第二样本集合；基于所述第二样本集合中第一参考对象和/或所述第二参考对象佩戴安全防护设备的情况以及所述第二样本集合，构建一个或多个分类样本集合；利用所述分类样本集合训练分类模型，得到训练好的分类模型。

可选地，所述安全检测的方法，其特征在于，

检测图片中的检测对象，包括：识别检测图片中的检测目标；当识别的结果指示所述图片包括第一种检测目标；判断是否存在与所述第一种检测目标存在关联关系的第二种检测目标，如果是，则确定所述第一种检测目标为第一种检测对象；否则，确定所述第一种检测目标为第二种检测对象。

可选地，所述安全检测的方法，其特征在于，

所述目标检测模型设置有检测分支；训练所述目标检测模型，包括：利用所述第一种参考对象与所述参考目标之间存在关联关系，训练所述检测分支，以利用训练好的检测分支检测出第一种检测对象，所述第一种检测对象与所述第一种参考对象相匹配。

可选地，所述安全检测的方法，其特征在于，

所述关联关系包括：所述第一种参考对象包括的多个第一关键点的坐标和所述第一关键点的状态，以及所述参考目标包括的第二关键点的坐标和所述第二关键点的状态，其中，第一关键点与所述参考目标存在关联，所述第二关键点与所述第一种参考对象存在关联；

利用多个第一关键点的坐标和所述第一关键点的状态以及所述第二关键点的坐标和所述第二关键点的状态，训练所述检测分支。

可选地，所述安全检测的方法，其特征在于，

获取第三样本集合，所述第三样本集合包含第一种参考对象、第二种参考对象、参考目标中的任意一个或多个，其中，每一种所述参考对象佩戴有一个或多个安全防护设备；基于所述第二样本集合和所述第三样本集合，执行构建一个或多个分类样本集合的步骤。

可选地，所述安全检测的方法，其特征在于，构建一个或多个分类样本集合，包括：从所述第二样本集合和所述第三样本集合中选取设定数量的目标样本图片，对各个目标样本图片包含的一个或多个所述安全防护设备添加标注信息；利用所述各个目标样本图片和对应的所述标注信息，将所述设定数量的目标样本图片划分至一个或多个分类样本集合中。

可选地，所述安全检测的方法，其特征在于，训练分类模型，包括：利用所述分类样本集合、以及所述第二样本集合和所述第三样本集合中未标注的其他训练样本图片，训练所述分类模型。

可选地，所述安全检测的方法，其特征在于，进一步包括：

在所述第二样本集合中，确定所述参考对象的裁剪范围；检测裁剪出的所述参考对象佩戴的一个或多个安全防护设备是否完整，如果否，则扩大所述裁剪范围。

可选地，所述安全检测的方法，其特征在于，为至少一种所述检测对象生成安全防护信息，包括：

当检测的结果指示所述检测对象佩戴安全防护设备的数量小于对应的数量阈值，生成安全告警信息。

为实现上述目的，根据本发明实施例的第二方面，提供了一种安全检测的装置，其特征在于，包括：检测对象模块、检测目标模块和生成信息模块；其中，

所述检测对象模块，用于利用训练好的目标检测模型，检测图片中的检测对象；

所述检测目标模块，用于当所述目标检测模型检测的结果指示存在至少一种所述检测对象时，利用训练好的分类模型检测至少一种所述检测对象佩戴安全防护设备的情况；

所述生成信息模块，用于根据检测的结果，为至少一种所述检测对象生成安全防护信息。

为实现上述目的，根据本发明实施例的第三方面，提供了一种安全检测的电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述安全检测的方法中任一所述的方法。

为实现上述目的，根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述安全检测的方法中任一所述的方法。

上述发明中的一个实施例具有如下优点或有益效果：由于本申请是通过训练好的目标检测模型检测图片中的检测对象，然后利用训练好的分类模型进一步对检测对象佩戴安全防护设备的情况进行检测，那么，即使检测对象和检测对象所佩戴的安全防护设备所具有的特征存在比较大的差异，由于检测图片中的检测对象和检测检测对象佩戴安全防护设备的情况是由两个模型完成，这两个模型之间互相干扰比较小，同时，目标检测模型为分类模型提供比较精准检测对象或检测范围，从而提高了检测对象佩戴安全防护设备的情况的准确性，并利用检测结果所生成的安全防护信息提高了安全检测的实时性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是本发明一实施例提供的一种安全检测的方法的流程示意图；

图2是本发明一实施例提供的一种训练目标检测模型的流程示意图；

图3是本发明一个实施例提供的一种训练分类模型的流程示意图；

图4是本发明一个实施例提供的一种安全检测的装置的结构示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前，目标检测和识别是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测等多个领域中的不同场景，例如：检测仓库中的行人或者司机是否正确佩戴安全防护设备；在仓库场景下货架上的货物需要由叉车司机进行上货和卸货，由于部分区域比较昏暗存在一定的危险因素，可能造成人员伤亡和经济损失；安全防护设备的佩戴在一定程度上可以降低这类风险，为保障人身安全，不管是司机还是在仓库中的行人都有穿戴安全防护设备的必要。并且对于行人的身上的多件安全防护设备佩戴情况的检测尤为重要。例如：检测安全帽和反光衣等安全防护设备。

计算机视觉和机器学习算法使得目标检测精度越来越高，基于传统的计算机视觉与机器学习的方法，主要有多子区域图像特征自动学习、Kalman滤波的传统图像技术、基于HOG特征和Adaboost特征的机器学习方法，但这些方法需要大量的先验知识和巨大的计算量，因此导致检测精度不够、检测速度太慢，不能在工程中应用；随着深度学习的发展，目标检测的精度和速度都有了很大的提升，主要分为双阶段和单阶段的网络。双阶段网络虽然保证了检测的进度，但是存在训练时间久、检测速度慢的问题。单阶段网络虽然精度没有双阶段网络高，但其检测速度快，可以满足实时检测的需求。而且由于发展迅速，单阶段网络YOLOv3已经很接近一些双阶段网络的检测精度了，且其训练时间短、检测速度快。

无论是利用传统算法还是深度学习技术对单件安全防护设备(例如安全帽)的佩戴进行检测，均已取得了较好的检测效果，但是往往达不到实时检测的目的，或是检测的精度达不到在工程中应用的需求。另外，现有的深度学习模型检测方法非常依赖于训练数据的规模，因此在少量的标注样本情况下难以得到满意的模型；目前仅有检测单件安全防护设备佩戴情况的方法，尚未有同时检测多件安全防护设备佩戴情况的方法，也还没有能够同时支持仓库场景行人和司机两种模式下的安全防护设备佩戴情况检测。

目前，1、检测单件安全防护设备佩戴情况的方法目前主要存在的问题：

1)由于目前基本上都是仅使用一个目标检测网络来实现单件安全防护设备佩戴情况的检测，因此需要以安全防护设备为单位进行标签添加，难度和工作量很大。另外，当需要检测多件安全防护设备时，例如新增检测反光衣佩戴情况需要再以反光衣为单位进行标签添加；2)在视频图像中，安全帽的目标比较小，导致安全帽检测的准确率较低。其中单阶段检测网络对小目标的检测效果较差，而双阶段检测网络的检测速度又太慢，无法满足实时的要求；3)不能够判断安全防护设备是否被正确佩戴。例如安全帽佩戴检测，直接检测安全帽并不能够判断安全帽是否被正确佩戴在头上，如果行人拿着安全帽也会被误认为是佩戴安全帽的情况。虽然目前还有一种方法是既检测行人又检测安全帽，再根据行人和安全帽的坐标位置来判断佩戴安全帽的情况，但是这样大大增加了添加数据标签的工作量；4)在仓库场景下，无法判断图片中的行人是司机还是行人，不能支持两种模式下的安全防护设备佩戴情况；5)摄像头的远景采集的人体都比较小，当检测到的行人目标尺度非常小时存在无法判断其安全防护设备的佩戴情况，以往的方法未考虑这种情况。

2、利用完全监督学习的方法目前主要存在的问题：1)非常依赖于训练数据的规模，在少量的标签样本情况下难以得到满意的模型，并且未充分利用未添加标签的数据；2)生成的模型泛化能力较弱。

鉴于此，如图1所示，本发明实施例提供了一种安全检测的方法，该方法可以包括以下步骤：

步骤S101：利用训练好的目标检测模型，检测图片中的检测对象。

具体地，从需要安全检测的场景中，获取在该场景下所采集的视频或图片，当采集到的数据为视频时，提取视频帧作为待检测图片，利用训练好的目标检测模型，检测图片(例如图片或视频帧)中的检测对象，例如：在仓库场景下，检测图片中的检测对象为行人或叉车司机；可以理解的是，利用训练好的目标检测模型可以检测行人或司机中的任意一种或者检测两种，提高了对象检测的灵活性。

进一步地，检测图片中的检测对象，包括：识别检测图片中的检测目标；当识别的结果指示所述图片包括第一种检测目标；判断是否存在与所述第一种检测目标存在关联关系的第二种检测目标，如果是，则确定所述第一种检测目标为第一种检测对象；否则，确定所述第一种检测目标为第二种检测对象。例如：检测得到的检测对象为人，在需要进一步确定“人”是在仓库地面的行人，还是叉车司机，则需要进一步识别检测图片中的检测目标；当识别到第一种检测目标(例如：是“人”)，则判断是否存在与所述第一种检测目标存在关联关系的第二种检测目标(例如：叉车，包括大型叉车和小型叉车)；如果是，即存在与“人”具有关联关系的“叉车”，则确定第一种检测目标(“人”)为“司机”(即第一种检测对象)，否则，确定第一种检测目标(“人”)为“行人”(即第二种检测对象)。

关于判断具有关联关系的方法有两种：

第一种方法：当第二种检测目标为小型叉车时，添加第一种检测目标“人”的左手、右手、小叉车把手的坐标作为关键点，训练目标检测模型以判断关联关系，以判断是否为小型叉车司机；关于利用关键点训练目标检测模型的描述与步骤S203的描述一致，在此不再赘述。

第二种方法：当第二种检测目标为大型叉车时，判断第一种检测目标“人”的坐标覆盖范围与第二种检测目标“大型叉车”的坐标覆盖范围的重合度，根据重合度判断关联关系，以判断是否为大型叉车司机。关于判断大型叉车司机的描述步骤S203的描述一致，在此不再赘述。

关于训练目标检测模型的具体描述与步骤S201-步骤S204的描述一致，在此不再赘述。

步骤S102：当所述目标检测模型检测的结果指示存在至少一种所述检测对象时，利用训练好的分类模型检测至少一种所述检测对象佩戴安全防护设备的情况。

具体地，当目标检测模型检测的结果指示存在至少一种所述检测对象时，例如：当目标检测模型检测的结果指示图片中存在一个或多个行人、和/或一个或多个叉车司机(即，至少一种检测对象)时，利用目标检测模型获取检测对象对应的图片。

进一步地，基于目标检测模型获取检测对象对应的图片，利用训练好的分类模型检测至少一种所述检测对象佩戴安全防护设备的情况；其中，安全防护设备例如：安全帽、反光衣等，利用分类模型检测仓库中的行人或者(以及)叉车司机是否佩戴安全帽、反光衣等安全防护设备。

关于训练分类模型的具体描述与步骤S301-步骤S303的描述一致，在此不再赘述。

步骤S103：根据检测的结果，为至少一种所述检测对象生成安全防护信息。

具体地，根据训练好的目标检测模型以及训练好的分类模型所检测的结果，生成安全防护信息；其中，检测的结果包括获取检测对象佩戴安全防护设备的数量，进一步地，当检测的结果指示所述检测对象佩戴安全防护设备的数量小于对应的数量阈值，生成安全告警信息。

例如：行人的佩戴安全防护设备的数量阈值为2(例如：需佩戴安全帽和反光衣)；叉车司机的佩戴安全防护设备的数量阈值为1(例如：需佩戴安全帽或反光衣)；基于图片1的检测结果为：行人佩戴安全防护设备的数量为1(仅佩戴安全帽)，即佩戴安全防护设备的数量(例如：1)小于对应的数量阈值(例如：2)，则为行人生成安全防护信息，即，至少一种所述检测对象(行人)生成安全防护信息，例如：实时生成“行人佩戴安全防护设备情况异常”的安全防护信息(也即安全告警信息)，并将安全防护信息发送给监控仓库场景的工作人员的客户端，以达到实时检测、实时告警的目的。

如图2所示，本发明实施例提供了一种训练目标检测模型的方法，该方法可以包括以下步骤：

步骤S201：获得安全检测的场所的视频或图片，预处理所述视频或图片以形成训练目标检测模型的第一样本集合。

具体地，获得安全检测的场所的视频或图片，例如：安全检测的场所为仓库，选取仓库场景下的若干个特定摄像头区域，选取摄像头所拍摄的视频，并基于视频提取各个视频帧图片，所选取的视频要尽可能多的包含叉车和行人；进一步地对图片进行预处理，包括对提取的视频帧图片进行筛选，去除相似、重复及不包含叉车和行人的图片，将剩余的图片作为训练目标检测模型的第一样本集合。

步骤S202：获取第一样本集合，所述第一样本集合中存在标注有第一种参考对象和参考目标的多个第一样本图片，且所述第一样本集合中存在标注有第二种参考对象的多个第二样本图片，其中，所述第一种参考对象与所述参考目标之间存在关联关系。

具体地，所述第一样本集合中存在标注有第一种参考对象和参考目标的多个第一样本图片，且所述第一样本集合中存在标注有第二种参考对象的多个第二样本图片，例如：第一样本图片1中，包含标注的人(即为第一种参考对象)和叉车(即为参考目标)，第二样本图片1中包含标注的行人(即为第二种参考对象)；其中，第一样本图片1中所包含标注的人和叉车存在关联关系，即，所述第一种参考对象(例如：叉车上的人)与所述参考目标(例如：叉车)之间存在关联关系，通过该关联关系确定第一种参考对象为叉车司机。

在第一样本图片或第二样本图片上标注参考对象或参考目标的方法可以使用数据标注工具Labelme，例如：利用Labelme对第一样本图片或第二样本图片根据人(person)、小型叉车(forkliftS)、大型叉车(forkliftB)三类目标为单位进行标注，自动生成对应每张样本图片的标注文件(可以为json格式的标注文件)，标注文件包含图片信息、目标标签和目标真实边界框的坐标信息；优选地，按97：3的比例将第一样本图片(及其标注文件)划分为目标检测模型的训练集和测试集，即，利用标注好的所述第一样本集合，训练目标检测模型，得到训练好的所述目标检测模型；通过对参考对象(叉车)添加标注，可以训练目标检测模型检测“人”和“叉车”，以使目标检测模型进一步区分“行人”和“司机”，提高了目标检测的精度和灵活度。

进一步地，从目标检测算法的检测速度和检测精度两方面综合考虑，可以选取YOLOv3-tiny检测网络模型作为被训练的目标检测模型，用于检测参考对象和参考目标(例如：叉车和行人)，YOLOv3-tiny检测网络模型占用空间很小而且检测速度很快，基于YOLOv3-tiny检测网络模型所训练好的目标检测模型可以更好地应用于实际场景中。

进一步地，在使用数据标注工具Labelme进行标注时，所使用的检测框坐标格式为(x_min,y_min,x_max,y_max)，而YOLOv3-tiny模型所需的训练样本数据格式为(x_mid,y_mid,w,h)，因此对标注的检测框数据的坐标格式进行转换；包括，首先对样本检测框标注数据进行归一化处理，即将样本检测框标注数据除以图像的宽度和高度，以将数据转换成0-1之间，以使训练样本数据被目标检测模型快速读取。其中，可以利用以下公式(1)-公式(4)对标注的检测框数据的坐标格式进行转换计算：

x_mid＝(x_min+x_max)/2,(1)

y_mid＝(y_min+y_max)/2,(2)

w＝x_max-x_min,(3)

h＝y_max-y_min,(4)

经过转换的数据样本中，每张图片的每个目标的边界框信息均包含5个参数(class_id,x_mid,y_mid,w,h)，其中class_id为目标类别(例如：目标类别为行人)的编号；又由于获取的第一图片样本集的数据集的类别与公共数据集不同，因此对YOLOv3-tiny检测网络模型缺省的网络配置文件进行相应的修改；而且在训练YOLOv3-tiny模型之前，还需要将YOLOv3-tiny检测网络模型缺省的权重文件根据修改后的网络配置文件转换成Pytorch(其中，PyTorch是一个Python机器学习库，基于Torch，用于自然语言处理等应用程序)框架下的权重文件，以通过加载预训练模型加载为训练目标检测模型提供初始化参数。

步骤S203：为目标检测模型设置检测分支；训练所述检测分支，以利用训练好的检测分支检测出与第一参考对象相匹配的第一种检测对象。

具体地，所述目标检测模型设置有检测分支；训练所述目标检测模型，包括：利用所述第一种参考对象与所述参考目标之间存在关联关系，训练所述检测分支，以利用训练好的检测分支检测出第一种检测对象，所述第一种检测对象与所述第一种参考对象相匹配。例如：第一种检测对象为“司机”，也即第一种参考对象。

进一步地，为了检测图片中的第一种参考对象(例如：司机)和第二种参考对象(例如：行人)，基于YOLOv3-tiny检测网络模型，添加检测分支，具体地，训练检测分支的方法包括：

构建YOLOv3-tiny网络模型，主要包括特征提取网络、上采样层、边框和类别预测层，并且，在YOLOv3-tiny检测网络模型中添加关键点检测分支，例如：在样本图片中的小型叉车和行人的基础上，利用检测分支检测三个关键点：车上的人即司机(即为第一种参考对象)的左手、右手、以及小型叉车的把手。对关键点的检测还需要添加标注关键点的数据key_points:(x,y,v)，其中x和y代表人的左手(即为第一关键点)、右手(即为第一关键点)、小型叉车(即为参考目标)的把手(即为第二关键点)的三个关键点的横坐标、纵坐标，v表示该关键点的状态，例如：0表示这个关键点没有标注，1表示这个关键点标注了但是被遮挡了，2表示这个关键点标注了同时也可见；即，人的关键点与小型叉车的关键点存在关联、以及小型叉车的关键点与人存在关联；即所述关联关系包括：所述第一种参考对象包括的多个第一关键点的坐标和所述第一关键点的状态，以及所述参考目标包括的第二关键点的坐标和所述第二关键点的状态，其中，第一关键点与所述参考目标存在关联，所述第二关键点与所述第一种参考对象存在关联。

进一步地，利用多个第一关键点的坐标和所述第一关键点的状态以及所述第二关键点的坐标和所述第二关键点的状态，训练所述检测分支；以利用训练好的检测分支检测出与第一参考对象相匹配的第一种检测对象(例如：小型叉车司机)。

又进一步地，利用目标检测模型还可以检测大型叉车司机，具体地，根据关联关系，判断人的检测框是否包含于大型叉车的检测框中则可以判定该行人是叉车司机，也即人的检测框的左上点的横纵坐标都大于等于大型叉车检测框的左上点的横纵坐标，且人的检测框的右下点的横纵坐标都小于等于大型叉车检测框的右下点的横纵坐标。由此可见，利用目标检测模型可以检测出行人、司机(大型叉车司机、小型叉车司机)。通过添加检测分支，基于YOLOv3-tiny检测网络模型生成新的目标检测模型，提高了检测不同类别的目标检测的准确度。

步骤S204：利用测试图片样本集合，测试训练好的目标检测模型，并调整目标检测模型的检测阈值，以得到最优的目标测试模型。

具体地，获取测试图片样本集合，以测试训练好的目标检测模型；基于测试结果调整阈值，例如：阈值为通用的目标检测模型中的关键指标：置信度阈值和NMS的IoU阈值，根据目标的误检率和漏检率，进而选择出最优的置信度阈值以及NMS的IoU阈值，以提高目标检测的准确率。

如图3所示，本发明实施例提供了一种训练分类模型的方法，该方法可以包括以下步骤；

步骤S301：利用训练好的所述目标检测模型以及设定检测阈值，从所述第一样本集合选取不小于所述检测阈值的多个所述第一样本图片和/或多个所述第二样本图片；将选取的多个所述第一样本图片和/或多个所述第二样本图片组成第二样本集合。

具体地，关于训练目标检测模型的描述与步骤S201-步骤S204的描述一致，在此不再赘述。

进一步地，利用训练好的所述目标检测模型以及设定检测阈值，从所述第一样本集合选取不小于所述检测阈值的多个所述第一样本图片；其中，检测阈值可以为所检测的目标的尺寸占整个图片的百分比、或者目标的中心点坐标在整个图片的位置比例、或者置信度等；由于第一样本集合中存在行人，但是存在行人尺寸过小或者图像不清晰等情况，导致难以进一步检测行人佩戴安全防护设备的情况，因此基于第一样本图片，利用目标检测模型(YOLOv3-tiny模型)对检测出的行人的数据进行判断。例如：计算检测出的行人检测框的高度和中心点坐标，如果行人中心点纵坐标小于整幅图像高度的1/3(即为检测阈值)和/或行人检测框的高度小于整幅图像1/10，则判断为无效的行人样本图片。

进一步地，通过过滤掉无效的图片数据提高了样本图片的质量，同时，选取多个所述第一样本图片组成第二样本集合，以利用第二样本集合训练分类模型。

进一步地，优选地，在所述第二样本集合中，确定所述参考对象的裁剪范围；检测裁剪出的所述参考对象佩戴的一个或多个安全防护设备是否完整，如果是，则基于该裁剪范围裁剪出参考对象；否则，则扩大所述裁剪范围。通过本步骤可以获得更准确的样本图片，以利于进一步训练分类模型；例如：参考对象为行人，行人检测框的坐标(x1,y1,x2,y2)，将裁剪出来并保存为图片作为训练安全帽反光衣分类模型的第二样本集合；由于可能存在行人头上佩戴的安全帽被当作是背景的情况，因此根据检测框直接裁剪的行人图片会存在头上的安全帽不完整的情况，则检测裁剪出的所述参考对象佩戴的一个或多个安全防护设备是否完整，若否，即为不完整，则在不超出原始图片边界的情况下对检测框进行设定数值的扩大，例如：左右分别扩大5％，上下分别扩大10％，可以利用以下公式(5)-公式(8)重新计算检测框的坐标得到(x1',y1',x2',y2')，其中，W_img代表宽度，H_img代表高度；即，扩大所述裁剪范围。

步骤S302：基于所述第二样本集合中所述第一种参考对象和/或所述第二种参考对象佩戴安全防护设备的情况以及所述第二样本集合，构建一个或多个分类样本集合。

具体地，基于步骤S301所描述的第二样本集合，获取各个第二样本集合中的第一种参考对象(司机)或第二种参考对象(行人)；进一步地，根据所述参考对象佩戴安全防护设备的情况以及所述第二样本集合，构建一个或多个分类样本集合；例如：根据行人或者司机是否佩戴安全防护设备(安全帽或反光衣)所述第二样本集合，构建的分类样本集合为：未佩戴安全防护设备图片样本集合；根据佩戴安全防护设备图片样本集合进一步构建，可以得到：佩戴安全帽但未佩戴反光衣图片样本集合、佩戴反光衣但未佩戴安全帽图片样本集合、既佩戴安全帽又佩戴反光衣图片样本集合，即为多个(例如：4个分类)分类样本集合，其中，将不正确的安全防护设备佩戴情况，例如：行人或司机将安全帽放在手中未正确佩戴，则被标注为未佩戴，由此可见，该分类模型能够更加准确判断安全防护设备的是否被正确佩戴而不需要额外获取安全防护设备的坐标位置，进一步地，可以将上述各个示例分类样本集合分类存储于4个文件目录中。

优选地，在存在第二样本集合的情况下，在构建分类样本集合之前，获取第三样本集合，所述第三样本集合包含第一种参考对象、第二种参考对象、参考目标中的任意一个或多个，其中，每一种所述参考对象佩戴有一个或多个安全防护设备；基于所述第二样本集合和所述第三样本集合，执行构建一个或多个分类样本集合的步骤。

例如：从互联网或外部数据源获取多个第三样本图片，组成第三样本集合，以增加训练样本数据的多样性以及场景的通用性；其中，各个第三样本图片包含司机(即为第一种参考对象)、行人(即为第二种参考对象)、叉车(大型叉车、小型叉车，即为参考目标)中的任意一种或多种，又，司机或行人均佩戴安全防护设备(例如：安全帽和/或反光衣)；优选地，将第二样本集合和第三样本集合组合的样本集合按95：5的比例划分数据集作为分类模型的训练集和测试集；可以理解的是，若检测的安全防护设备是除安全帽或反光衣以外的防护设备，则可以获取相应的样本图片以提高分类模型的训练效果。

进一步地，优选地，在构建分类样本集合之前，从所述第二样本集合和所述第三样本集合中选取设定数量的目标样本图片，对各个目标样本图片包含的一个或多个所述安全防护设备添加标注信息；利用所述各个目标样本图片和对应的所述标注信息，将所述设定数量的目标样本图片划分至一个或多个分类样本集合中。具体地，由于训练样本集合的数量较大，若对训练样本集合中的每一个图片都加标注将会耗费很多人力和时间，因此从训练集中随机选取设定数量(例如：10％)的目标样本图片，作为半监督学习的训练样本集合，对各个目标样本图片包含的一个或多个所述安全防护设备添加标注信息，其余的样本图片(例如：90％的样本图片)的作为未标注的训练样本图片。

进一步地，利用所述各个目标样本图片和对应的所述标注信息(即存在标注信息的各个样本图片中)，基于各个所述目标样本图片，执行构建一个或多个分类样本集合的步骤；具体地，构建一个或多个分类样本集合的步骤为：基于所述第二样本集合中所述第一种参考对象和/或所述第二种参考对象佩戴安全防护设备的情况以及所述第二样本集合，构建一个或多个分类样本集合。

步骤S303：利用所述分类样本集合训练分类模型，得到训练好的分类模型。

具体地，关于分类样本集合的描述与步骤S302的描述一致，在此不再赘述。

进一步地，利用所述分类样本集合训练分类模型，得到训练好的分类模型。其中，常见的分类模型(分类网络)有ResNet、DenseNet、EfficientNet等，基于实时检测的需求，优选地，将轻量化的EfficientNet网络作为被训练的分类模型并基于EfficientNet构造安全帽反光衣的分类模型，例如：根据模型的输出类别(类别对应于步骤S302所描述示例中的4个类别)，对安全帽反光衣的佩戴情况进行判断。

优选地，利用所述分类样本集合训练分类模型还包括：利用所述分类样本集合、以及所述第二样本集合和所述第三样本集合中未标注的其他训练样本图片，训练所述分类模型。具体地，在训练分类模型的过程中，可以将上述分类网络使用有标注信息的样本集合训练分类模型，得到训练后的EfficientNet分类模型。并采用未标注的样本集合对训练后的EfficientNet分类模型进行测试，根据测试的分类得分评估未标注样本的置信度并设置检测阈值，当未标注的样本图片得到置信度大于检测阈值时，根据分类得分给该样本贴上类别的伪标签；然后采用有标注信息的样本集合和具有伪标签的样本图片再次训练EfficientNet分类模型，重复上述步骤直至网络性能饱和，即在测试样本集上的准确率不再提升则停止训练并得到训练好的分类模型。

如图4所示，本发明实施例提供了一种安全检测的装置400，包括：检测对象模块401、检测目标模块402和生成信息模块403；其中，

所述检测对象模块401，用于利用训练好的目标检测模型，检测图片中的检测对象；

所述检测目标模块402，用于当所述目标检测模型检测的结果指示存在至少一种所述检测对象时，利用训练好的分类模型检测至少一种所述检测对象佩戴安全防护设备的情况；

所述生成信息模块403，用于根据检测的结果，为至少一种所述检测对象生成安全防护信息。

本发明实施例还提供了一种安全检测的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例提供的方法。

本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的方法。

图5示出了可以应用本发明实施例的安全检测的方法或安全检测的装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种客户端应用，例如安全监控应用、网页浏览器应用、即时通信工具和邮箱客户端等。

终端设备501、502、503可以是具有显示屏并且支持各种客户端应用的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所使用的客户端应用提供支持的后台管理服务器。后台管理服务器可以检测接收到的图片中的安全防护设备进行目标检测，根据检测结果生成安全防护信息，并发送给终端设备。

需要说明的是，本发明实施例所提供的安全检测的方法一般由服务器505执行，相应地，安全检测的装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括检测对象模块、检测目标模块和生成信息模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，生成信息模块还可以被描述为“根据目标检测的结果，为至少一种所述检测对象生成安全防护信息的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：利用训练好的目标检测模型，检测图片中的检测对象；当所述目标检测模型检测的结果指示存在至少一种所述检测对象时，利用训练好的分类模型检测至少一种所述检测对象佩戴安全防护设备的情况；根据检测的结果，为至少一种所述检测对象生成安全防护信息。

由此可见，由于本申请是通过训练好的目标检测模型检测图片中的检测对象，然后利用训练好的分类模型进一步对检测对象佩戴安全防护设备的情况进行检测，那么，即使检测对象和检测对象所佩戴的安全防护设备所具有的特征存在比较大的差异，由于检测图片中的检测对象和检测检测对象佩戴安全防护设备的情况是由两个模型完成，这两个模型之间互相干扰比较小，同时，目标检测模型为分类模型提供比较精准检测对象或检测范围，从而提高了检测对象佩戴安全防护设备的情况的准确性，并利用检测结果所生成的安全防护信息提高了安全检测的实时性。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (14)

1.一种安全检测的方法，其特征在于，包括：

利用训练好的目标检测模型，检测图片中的检测对象；

当所述目标检测模型检测的结果指示存在至少一种所述检测对象时，利用训练好的分类模型检测至少一种所述检测对象佩戴安全防护设备的情况；

根据检测的结果，为至少一种所述检测对象生成安全防护信息。

2.根据权利要求1所述的安全检测的方法，其特征在于，进一步包括：

获取第一样本集合，所述第一样本集合中存在标注有第一种参考对象和参考目标的多个第一样本图片，且所述第一样本集合中存在标注有第二种参考对象的多个第二样本图片，其中，所述第一种参考对象与所述参考目标之间存在关联关系；

利用标注好的所述第一样本集合，训练目标检测模型，得到训练好的所述目标检测模型。

3.根据权利要求2所述的安全检测的方法，其特征在于，

利用训练好的所述目标检测模型以及设定检测阈值，从所述第一样本集合选取不小于所述检测阈值的多个所述第一样本图片和/或多个所述第二样本图片；

将选取的多个所述第一样本图片和/或多个所述第二样本图片组成第二样本集合；

基于所述第二样本集合中所述第一种参考对象和/或所述第二种参考对象佩戴安全防护设备的情况以及所述第二样本集合，构建一个或多个分类样本集合；

利用所述分类样本集合训练分类模型，得到训练好的分类模型。

4.根据权利要求1所述的方法，其特征在于，检测图片中的检测对象，包括：

识别检测图片中的检测目标；

当识别的结果指示所述图片包括第一种检测目标；

判断是否存在与所述第一种检测目标存在关联关系的第二种检测目标，如果是，则确定所述第一种检测目标为第一种检测对象；否则，确定所述第一种检测目标为第二种检测对象。

5.根据权利要求2所述的方法，其特征在于，

所述目标检测模型设置有检测分支；

训练所述目标检测模型，包括：

利用所述第一种参考对象与所述参考目标之间存在关联关系，训练所述检测分支，以利用训练好的检测分支检测出第一种检测对象，所述第一种检测对象与所述第一种参考对象相匹配。

6.根据权利要求5所述的方法，其特征在于，

所述关联关系包括：所述第一种参考对象包括的多个第一关键点的坐标和所述第一关键点的状态，以及所述参考目标包括的第二关键点的坐标和所述第二关键点的状态，其中，第一关键点与所述参考目标存在关联，所述第二关键点与所述第一种参考对象存在关联；

利用多个第一关键点的坐标和所述第一关键点的状态以及所述第二关键点的坐标和所述第二关键点的状态，训练所述检测分支。

7.根据权利要求3所述的方法，其特征在于，进一步包括：

获取第三样本集合，所述第三样本集合包含第一种参考对象、第二种参考对象、参考目标中的任意一个或多个，其中，每一种所述参考对象佩戴有一个或多个安全防护设备；

基于所述第二样本集合和所述第三样本集合，执行构建一个或多个分类样本集合的步骤。

8.根据权利要求7所述的方法，其特征在于，构建一个或多个分类样本集合，包括：

从所述第二样本集合和所述第三样本集合中选取设定数量的目标样本图片，对各个目标样本图片包含的一个或多个所述安全防护设备添加标注信息；

利用所述各个目标样本图片和对应的所述标注信息，将所述设定数量的目标样本图片划分至一个或多个分类样本集合中。

9.根据权利要求8所述的方法，其特征在于，训练分类模型，包括：

利用所述分类样本集合、以及所述第二样本集合和所述第三样本集合中未标注的其他训练样本图片，训练所述分类模型。

10.根据权利要求3所述的方法，其特征在于，进一步包括：

在所述第二样本集合中，确定所述参考对象的裁剪范围；

检测裁剪出的所述参考对象佩戴的一个或多个安全防护设备是否完整，如果否，则扩大所述裁剪范围。

11.根据权利要求1-10任一所述的方法，其特征在于，为至少一种所述检测对象生成安全防护信息，包括：

当检测的结果指示所述检测对象佩戴安全防护设备的数量小于对应的数量阈值，生成安全告警信息。

12.一种安全检测的装置，其特征在于，包括：检测对象模块、检测目标模块和生成信息模块；其中，

所述检测对象模块，用于利用训练好的目标检测模型，检测图片中的检测对象；

所述检测目标模块，用于当所述目标检测模型检测的结果指示存在至少一种所述检测对象时，利用训练好的分类模型检测至少一种所述检测对象佩戴安全防护设备的情况；

所述生成信息模块，用于根据检测的结果，为至少一种所述检测对象生成安全防护信息。

13.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。

Images