CN111310592B

CN111310592B - 一种基于场景分析和深度学习的检测方法

Info

Publication number: CN111310592B
Application number: CN202010064922.4A
Authority: CN
Inventors: 吴晓晖; 王书平
Original assignee: Hangzhou Shizai Technology Co ltd
Current assignee: Hangzhou Shizai Technology Co ltd
Priority date: 2020-01-20
Filing date: 2020-01-20
Publication date: 2023-06-16
Anticipated expiration: 2040-01-20
Also published as: CN111310592A

Abstract

本发明公开了一种基于场景分析和深度学习的检测方法，属于计算机视觉技术领域，包括构建第一数据集，训练目标检测网络器；将第一数据集输入训练好的目标检测网络器，得到人体目标矩阵和头部目标矩阵；提取安全帽佩戴矩阵；构建第二数据集，训练识别天气场景分类器、识别逆光和暗光分类器和识别模糊图像分类器；将第一数据集输入到分类器中得到相应的矩阵；将相应矩阵连通安全帽佩戴矩阵、实际标签矩阵合并成训练样本矩阵；将训练样本矩阵输入神经网络分类器中进行训练；将待检测图像输入训练好的神经网络分类器中确定检测结果。本发明能够克服施工工地的复杂场景干扰，极大提高算法准确率。

Description

一种基于场景分析和深度学习的检测方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于场景分析和深度学习的检测方法。

背景技术

随着城市化进程的不断推进，基础建设的需求不断增加，工地施工环境作为基础建设的一个基本设施，直接影响施工工人的人身安全。施工工人佩戴安全帽能够降低施工工人的安全威胁，因此，安全帽的佩戴检查成为了安全检查的重点。

传统的检查安全帽佩戴的方法是人为观看现场监控视频或者现场查看施工工人是否佩戴安全帽，这种方法会花费大量的人力、效率低下，且无法做到实时监控。随着人工智能的普及，人工智能替代人力去检查安全帽佩戴的规范，已成为近几年的趋势。目前，主要是采用计算机视觉领域中的目标检测技术来完成这一任务。目标检测技术主要采用基于深度学习模型的方法，但也存在无法充分利用场景信息的问题，容易导致一些有效信息的缺失。而现实的场景往往较为复杂，且具有天气、采光、遮挡等干扰因素，这些给目标检测技术的应用带来了很大挑战，因此对目标检测技术进行更深层次的研究具有重大意义。

发明内容

本发明的目的在于提供一种基于场景分析和深度学习的检测方法，它不仅保留了计算机视觉算法准确、快速的优点，而且克服了施工工地的复杂场景干扰，能够极大提高算法准确率，得到更好的用户体验。

为实现上述目的，本发明提供如下技术方案：

一种基于场景分析和深度学习的检测方法，包括以下步骤：

S1：采集施工工地的监控图像构建第一数据集，利用施工工地数据集训练构建用于检测人体和头部的目标检测网络器；

S2：将第一数据集分别输入训练好的目标检测网络器，得到人体目标矩阵和头部目标矩阵；

S3：对人体目标矩阵中的人体置信度和头部目标矩阵的佩戴安全帽置信度进行加权求和生成安全帽佩戴矩阵；

S4：采集不同场景的图片构建第二数据集，利用第二数据集分别训练识别天气场景分类器、识别逆光和暗光分类器和识别模糊图像分类器；

S5：将第一数据集分别输入识别天气场景分类器、识别逆光和暗光分类器和识别模糊图像分类器中得到相应的矩阵；

S6：将S5得到的矩阵连通安全帽佩戴矩阵、实际标签矩阵合并成训练样本矩阵；

S7：将训练样本矩阵输入神经网络分类器中进行训练；

S8：将待检测图像输入训练好的神经网络分类器中确定检测结果。

进一步的，所述施工工地数据集通过实际场景的现场监控进行采集。

进一步的，所述目标检测网络器是基于yoloV3模型。

进一步的，所述第二数据集涵盖全天24小时、气候、天气、清晰度、距离、光照角度以及遮挡因素。

进一步的，所述模糊图像分类器的构建方法为：对第二数据集进行拉普拉斯变换并计算出均值和方差，将方差的值作为训练数据，训练构建的模糊图像分类器，所述模糊图像分类器为基于逻辑回归的模糊图像分类器。

进一步的，所述样本实际标签矩阵由监控图像中的人体目标佩戴安全帽的合规性样本组成。

与现有技术相比，本发明的有益效果是：本发明通过将场景分析与深度学习模型相结合，提出了一种基于场景分析和深度学习联合决策的安全帽佩戴检测算法，既保留了计算机视觉算法准确，快速的优点，又克服了施工工地的复杂场景干扰，能够极大提高算法准确率，得到更好的用户体验。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种基于场景分析和深度学习的检测方法，包括以下步骤：

S1：采集施工工地的监控图像构建第一数据集，利用施工工地数据集训练构建用于检测人体和头部的目标检测网络器。在本实施例中，该施工工地数据集涵盖了楼房、地铁、隧道、道路等多种施工场景，可以为目标检测网络器的训练提供很好的支持。除此之外，本实施例中的目标检测网络器是基于yoloV3模型构建的，主要用于检测图像中的人体目标和头部目标。

S2：将第一数据集分别输入训练好的目标检测网络器，得到人体目标矩阵和头部目标矩阵。在本实施例中，具体方式是通过将第一数据集分别输入到目标检测网络器中检测图像中人体目标和头部目标，得到图像目标信息矩阵M_d，图像目标信息矩阵M_d具体如下：

M_d＝{M_di|M_di＝(cls_i，conf_i，x_i，y_i，w_i，h_i)，i＝1、2、3…}

其中，cls_i表示目标的标签ID，conf_i表示该目标的置信度，x_i表示坐标框左上点的横坐标，y_i表示坐标框左上点的纵坐标，w_i表示目标坐标框的宽度，h_i表示目标坐标框的高度，x_i、y_i、w_i以及h_i共同表示目标的坐标框。

然后遍历图像目标信息矩阵M_d的人体目标和头部目标，分别生成用于存储人体目标的人体目标矩阵M_p和用于存储头部目标的头部目标矩阵M_h，然后将人体目标矩阵M_p和头部目标矩阵M_h进行匹配，得到人体匹配头部信息矩阵M_p-h，所述人体匹配头部信息矩阵M_p-h具体如下：

M_p-h＝{M_p-hi|M_p-hi＝(conf_pi，conf_hi，x_pi，y_pi，w_pi，h_pi)，i＝1、2、3…}

其中，conf_pi表示人体置信度，conf_hi表示佩戴安全帽置信度，x_pi表示人体目标的坐标框左上点的横坐标，y_pi表示人体目标的坐标框左上点的纵坐标，w_pi表示人体目标的坐标框的宽度，h_pi表示人体目标的坐标框的高度，x_pi，y_pi，w_pi以及h_pi共同表示人体目标的坐标框。

S3：对人体目标矩阵中的人体置信度和头部目标矩阵的佩戴安全帽置信度进行加权求和生成安全帽佩戴矩阵。具体方式是通过将人体置信度和佩戴安全帽置信度进行加权平均，得到人体佩戴安全帽的置信度conf_H，即

conf_H＝(α*conf_p+β*conf_h)*0.5

其中，α的数值为0.34，β的数值为0.66。

最后可以生成安全帽佩戴信息矩阵M_H：

M_H＝{M_Hi|M_Hi＝(conf_Hi，x_pi，y_pi，w_pi，h_pi)，i＝1、2、3…}

S4：采集不同场景的图片构建第二数据集，利用第二数据集分别训练识别天气场景分类器、识别逆光和暗光分类器和识别模糊图像分类器。

S5：将第一数据集分别输入识别天气场景分类器、识别逆光和暗光分类器和识别模糊图像分类器中得到相应的矩阵。

在该实施例中，所述第二数据集涵盖全天24小时，雨天，雾天，晴天，阴天，春夏秋冬，模糊，逆光，远景，遮挡，暗光等因素。

首先，利用第二数据集训练识别天气场景的级联结构的第一分类器，将第一数据集输入到训练好的第一分类器中，提取天气场景置信度信息矩阵M_w，所述天气场景置信度信息矩阵M_w具体如下：

M_w＝{M_wi|M_wi＝(r_i，f_i，s_i，c_i)，i＝1、2、3…}

其中，r_i表示雨天的置信度，f_i表示雾天的置信度，s_i表示晴天的置信度，表示c_i阴天的置信度。

然后，采用第二数据集中的直方图信息训练识别逆光和暗光的级联结构的第二分类器，将第一数据集输入到训练好的第二分类器中，提取逆光和暗光置信度信息矩阵M_L，所述逆光和暗光置信度信息矩阵M_L具体如下：

M_L＝{M_Li|M_Li＝(b_i，d_i，n_i)，i＝1、2、3…}

其中，b_i表示逆光的置信度，d_i表示暗光的置信度，n_i表示光线正常。

之后，利用第二数据集训练一个模糊图像分类器，对图像进行拉普拉斯变换并计算出均值和方差，并将方差的值作为训练数据，采用训练数据训练一个基于逻辑回归的模糊图像分类器，将第一数据集输入到训练好的模糊图像分类器中，得到模糊的置信度blur。

最后，将天气场景置信度信息矩阵，逆光和暗光置信度信息矩阵以及模糊置信度进行合并得到场景信息矩阵M_s，所述场景信息矩阵M_s具体如下：

M_s＝{M_si|M_si＝(r_i，f_i，s_i，c_i，b_i，d_i，n_i，blur_i)，i＝1、2、3…}

S6：将场景信息矩阵连通安全帽佩戴矩阵、实际标签矩阵合并成训练样本矩阵。

在该实施例中，实际标签矩阵M_t是由第一数据集中监控图像的人体目标佩戴安全帽的合规性样本组成。所述实际标签矩阵M_t具体如下：

实际标签矩阵M_t＝{M_ti|M_ti＝(t_i)，i＝1、2、3…}，其中t_i为人体目标佩戴安全帽的合规性。

所以，训练样本矩阵M_T具体如下：

M_T＝{M_Ti|M_Ti＝(conf_Hi，r_i，f_i，s_i，c_i，b_i，d_i，n_i，blur_i，t_i)，i＝1、2、3…}

S7：将训练样本矩阵输入神经网络分类器中进行训练；

S8：将待检测图像输入训练好的神经网络分类器中确定检测结果。如果检测结果为合规，则人体目标佩戴安全帽；如果检测结果为不合规，则人体目标未佩戴安全帽。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims

1.一种基于场景分析和深度学习的检测方法，其特征在于：包括以下步骤：

S2：将第一数据集分别输入训练好的目标检测网络器，得到人体目标矩阵和头部目标矩阵，对人体目标矩阵和头部目标矩阵进行匹配；

S3：对相互匹配的人体目标矩阵中的人体置信度和头部目标矩阵的佩戴安全帽置信度进行加权求和生成安全帽佩戴矩阵；具体方法如下：通过将人体置信度和佩戴安全帽置信度进行加权平均，得到人体佩戴安全帽的置信度；人体佩戴安全帽的置信度连同人体目标的坐标框左上点的横坐标、纵坐标、坐标框的宽度、坐标框的高度生成安全帽佩戴矩阵；所述人体置信度和佩戴安全帽置信度由所述目标检测网络器检测得到；

S6：将S5得到的矩阵连同安全帽佩戴矩阵、实际标签矩阵合并成训练样本矩阵；

S7：将训练样本矩阵输入神经网络分类器中进行训练；

2.如权利要求1所述的一种基于场景分析和深度学习的检测方法，其特征在于：所述施工工地数据集通过实际场景的现场监控进行采集。

3.如权利要求1所述的一种基于场景分析和深度学习的检测方法，其特征在于：所述目标检测网络器是基于yoloV3模型构建的。

4.如权利要求1所述的一种基于场景分析和深度学习的检测方法，其特征在于：所述第二数据集涵盖全天24小时、气候、天气、清晰度、距离、光照角度以及遮挡因素。

5.如权利要求1所述的一种基于场景分析和深度学习的检测方法，其特征在于：所述模糊图像分类器的构建方法为：对第二数据集进行拉普拉斯变换并计算出均值和方差，将方差的值作为训练数据，训练构建的模糊图像分类器，所述模糊图像分类器为基于逻辑回归的模糊图像分类器。

6.如权利要求1所述的一种基于场景分析和深度学习的检测方法，其特征在于：所述实际标签矩阵由监控图像中的人体目标佩戴安全帽的合规性样本组成。