CN111860471A - 一种基于特征检索的工服穿戴识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于特征检索的工服穿戴识别方法及系统，该方法包括特征检索库构建、行人检测、工服特征提取、工服检索识别四个步骤。人工选取不同类别工服中具有代表性的图像集，通过分类网络提取工服特征，构建特征检索库；将待测图像输入行人检测网络得到行人区域，裁剪图像中行人所在区域输入分类网络提取工服特征；将工服特征作为检索对象输入特征检索库，计算该对象与库中各特征的距离，最终输出该对象是否穿戴工服以及所穿工服的类别。本发明可通过简单的重建特征检索库实现对工服类别的灵活增减，有效避免重新训练模型的巨大成本，可用于工厂车间工服穿戴识别及警报系统。

Description

一种基于特征检索的工服穿戴识别方法及系统

技术领域

本发明涉及一种基于特征检索的工服穿戴识别方法及相关系统，属于工业人员安全监测技术领域。

背景技术

在工业生产和建设中，安全一直是永恒不变的主题。工服规范穿戴可在危险事故发生时为施工人员提供一定的防护，有效减少施工人员所受到的伤害。然而施工人员未规范穿戴工服的情况时有发生，造成了极大的安全隐患。传统的人工监管方式通常需要安排专门的工作人员通过摄像头画面对工厂、工地等环境中的施工人员进行实时监控。这种方式成本高、效率低。针对该问题，近年来研究人员将人工智能技术应用到工服穿戴智能识别领域。

针对工服的特性，目前已有的智能识别手段通常通过颜色标识进行判别。然而随着工服种类的增加、工厂光照环境的变化，单纯通过颜色进行工服判别的方法已经无法满足实际的需求。此外，上述方法未关注工服的纹理及形状特征，极易将与工服颜色相近的非工服误判为工服，不具备泛化性与鲁棒性。

目前深度学习在行人检测、物体分类等领域卓有成效，性能已超越了传统的机器学习算法。然而训练完成的深度神经网络往往只能识别已知物体，无法识别未知物体。在工服识别的实际应用场景中，若有新增的工服或工服发生替换，需要重新采集标注数据以及重新训练网络模型，时间与计算成本较高。此外，不同工种人员往往需要穿戴指定工服，如焊接车间内的施工人员需要穿戴焊接防护服，高空作业的施工人员需要穿戴绑有安全带的防护服，吊装车间的施工人员需要穿戴常规工服。因此模型不仅需要识别出是否穿戴工服，也要识别出工服的类别。

综上所述，发明一种高效、可靠且可灵活配置的穿戴识别方法，对未穿戴工服的人员进行告警提示，降低施工过程中的安全隐患，是目前本领域技术人员亟待解决的问题。

发明内容

本发明的目的在于针对现有技术的不足，提供了一种基于特征检索的工服穿戴识别方法，包括如下步骤：

步骤一：选取每类工服不同角度的行人图像输入至训练好的分类网络提取每种工服不同角度的特征向量，构建特征检索库；

步骤二：将待测图像输入至训练好的行人检测网络，根据获得的行人检测框对图像进行裁剪并输入至训练好的分类网络，获得待测图像中所有行人检测框的特征向量，计算每个行人检测框的特征向量与特征检索库中特征向量的特征距离；

步骤三：对每个行人检测框，若计算的与特征检索库中所有特征向量的特征距离均大于阈值，则判断为非工服；否则输出特征距离最小的工服类别。

进一步地，所述分类网络采用ResNet50、vgg16、AlexNet或GoogLeNet作为骨干网络。

进一步地，所述分类网络采用triplet loss三元组损失函数进行训练，损失函数表示为：

其中，y表示第y个三元组，记为{A, P, N}，A表示靶目标图片，B表示正例图片，N表示反例图片，f为分类网络的参数，α为超参数。

进一步地，所述行人检测网络采用darknet53作为骨干网络，基于YoloV3模型框架进行训练。

进一步地，所述步骤二中，行人检测网络训练时采用的预设锚框anchor 的尺寸由K-means聚类得到。

进一步地，所述步骤二中，所述特征距离为根据归一化后的特征向量计算的欧式距离、余弦距离或曼哈顿距离。

进一步地，所述步骤三中，具体包括如下子步骤：

（3.1）对每个行人检测框，采用KNN算法在特征检索库中选择与该行人检测框的特征向量最近的k个特征向量组成集合Top_k；

（3.2）统计集合Top_k中出现的每个类别的平均距离

，n表示集合Top_k中 出现的类别种类，若

大于阈值，则判断为非工服；否则输出特征距离最小 的工服类别。

本发明还提供了一种基于特征检索的工服穿戴识别系统，包括图像采集模块、工服特征提取模块、工服检索与识别模块、特征检索库和报警模块；

所述图像采集模块用于实时采集工作场景下出入口图像作为待测图像；

所述工服特征提取模块与所述图像采集模块连接，所述工服特征提取模块包括依次连接的行人检测网络和分类网络，其中，所述行人检测网络用于识别待测图像中的行人并根据获得的行人检测框对图像进行裁剪；所述分类网络用于提取每个行人检测框中工服的特征向量；

所述特征检索库由选取每类工服不同角度的行人图像输入至训练好的分类网络提取的每种工服不同角度的特征向量构成；

所述工服检索与识别模块与工服特征提取模块、特征检索库连接，用于计算所述工服特征提取模块提取的特征向量与特征检索库中的特征向量的特征距离，并对每个行人检测框进行判断，若行人检测框中所有特征距离均大于阈值，则判断为非工服；否则输出特征距离最小的工服类别。

所述报警模块与工服检索与识别模块连接，用于根据工服检索与识别模块的识别结果发出警报：若识别结果属于该工作场景下的指定工服，则安全，不发出警报，否则发出警报。

本发明的有益效果是：

1.将行人检测与工服分类分为两个模型独立训练，相比于直接用一个网络直接将行人所穿戴的工服类别识别出来，能显著提高行人检测的性能以及工服分类的性能。

2.采用三元组损失作为工服分类损失函数，可以更好地提取目标类别中具有区分性的特征，尤其可以区分特征相近的工服种类，能显著提高分类性能。

3.利用基于KNN搜索的特征检索算法，在需要增减类别的情况下只需更新特征检索库，无需重新训练网络模型，节省了大量时间和计算成本。

4.该方法支持灵活调整特征检索库，针对不同车间场地可配置不同的检索库类别及阈值，能适用于实际应用时复杂的场景条件。

附图说明

图1为本发明方法流程图；

图2是本发明训练网络和构建特征检索库的一优选方案流程图。

具体实施方式

如图1所示，本发明提供了一种基于特征检索的工服穿戴识别方法，包括如下步骤：

步骤一：选取每类工服不同角度的行人图像输入至训练好的分类网络提取每种工服不同角度的特征向量，构建特征检索库；

步骤二：将待测图像输入至训练好的行人检测网络，根据获得的行人检测框对图像进行裁剪并输入至训练好的分类网络，获得待测图像中所有行人检测框的特征向量，计算每个行人检测框的特征向量与特征检索库中特征向量的特征距离；

步骤三：对每个行人检测框，若计算的与特征检索库中所有特征向量的特征距离大于阈值，则判断为非工服；否则输出特征距离最小的工服类别。

本发明方法中，所述分类网络可以采用任意一种经训练后对图像具有分类功能的网络，例如vgg16、ResNet50、AlexNet、GoogLeNet等，所述分类网络可以采用triplet loss三元组损失函数进行训练。所述行人检测网络可以采用任意一种经训练后对图像中的目标对象进行框选的网络，例如YoloV3、FCOS、RetinaNet等。

行人检测网络训练时可以由K-means聚类得到多个预设边界框尺寸，以提高行人检测的准确率。

作为优选方案，分类网络、行人检测网络具体可以采用如下方法进行训练，其流程如图2所示：

步骤S1：建立训练数据集：

采集工厂摄像头监控视频，处理成图像数据集。每个图像样本标注出行人所在区域的目标框及所穿戴工服的类别，包括S种不同类型的工服以及未穿戴工服的负样本。本实例S取为4。由于负样本占数据集的比例较低，通过重复采样和裁剪缩放等数据增强技术增加负样本的训练数据。另外为避免模型过于关注服装的颜色特征，拍摄一批穿戴与工服颜色接近的非工服人员作为难分负样本。

步骤S2：训练行人检测网络：

S2.1 通过K-means聚类获得预设锚框

本实例采用YoloV3作为行人检测网络。将数据集图像预处理为（W×H），作为输入图像尺寸，本实例（W=416, H=416），预测的三个特征层大小分别是52、26、13。由于YoloV3的预设框通过聚类COCO数据集获得，包括大小不一的80类目标，而本实例只检测行人。因此在步骤一创建的数据集下采用K-means聚类得到合适的9个预设锚框Anchor的尺寸，以提高行人检测的准确率：如表1所示。

表1行人检测网络三层特征图大小及预设锚框尺寸

2.2 行人检测网络训练

将步骤S1创建的训练数据集用来训练基于YoloV3网络架构的行人检测网络，其中无需用到服装分类标签。训练参数为：GPU个数为4，batch size为16，初始学习率设为0.01，随着epoch增加递减，直到epoch=300模型训练完成。行人检测精确度可以达到90%以上。

步骤S3：训练工服分类网络：

S3.1网络预训练

选择ResNet50作为骨干网络，使用ImageNet数据集预训练该网络以加快分类网络训练速度和分类网络的泛化能力。

S3.2数据预处理

根据数据集的标签，将原图中的行人按照目标框位置裁剪出来，分批次读入模型。在提取样本特征之前，将所有样本缩放到同一尺寸（W×H），本实施例采用W=224, H=224，并进行归一化操作，使每个批次的样本达到接近的分布，从而加快模型收敛速度。

S3.3 分类网络训练

将经过步骤S3.2处理的数据输入ResNet50骨干网络，最后通过一个全连接层输出一个5维的向量v:{v ₀,v _1, v ₂,v ₃,v ₄}。其中v ₀代表非工服类别的概率，其余4项v ₁~v ₄代表4类工服的概率值。

不同于一般的分类网络采用交叉熵损失函数或者sigmoid函数，为了提高分类网络精细分类的能力，采用triplet loss三元组损失函数来指导分类网络的训练。分类网络的输入包含三张图片：靶目标（Anchor）、正例（Positive）、反例（Negative），记为三元组{A,P, N}。分类网络的参数f应满足以下条件：

上述公式表示(A, P)的特征距离应小于(A, N)的特征距离，提供一个超参数α作为两项距离的边界margin，用来拉大两项的距离，本实例α取值为0.2。

上述公式为单个三元组的损失函数，通过max函数保证计算得到的损失为正值。实际训练时，分类网络的输入包括K个三元组，损失函数计算如下：

其中，y表示第y个三元组。

通过以上损失函数对网络进行训练，分类网络的精确度可达到95%以上。由此得到训练好的分类网络和行人检测网络。

作为另一优选方案，本发明中构建特征检索库可以采用下述方法，其流程如图2所示：

1.1 人工选择有代表性的图

针对每一种工服类别，从中挑选出不同角度拍摄的行人区域图像N张，构建涵盖S种工服的特征检索库，以L表示总的图像数目，其中L=S×N。由于检索库中包含各类工服在不同角度下的图像，因而可以有效减少穿戴工服的人员被误认为未穿戴工服false negtive的情况发生。本实例N取为100。

1.2 采用分类网络提取特征

将步骤1.1选择的代表图输入训练好的分类网络，去掉分类网络中的最后一层全连接 层，利用每张图获得的p维特征向量构建特征检索库Z:

。其中l表示第l张 图，共有L张图。本实例p值为2048。

作为一优选实施方式，根据上述建立的特征检索库采用本发明方法对作业场景中工服穿戴识别，如图2所示，具体包括以下子步骤：

2.1 待测图像特征提取

将待测图像输入训练好的行人检测网络，根据获得的行人检测框对图像进行裁剪，并 经过步骤S3.2预处理后，输入分类网络提取所有行人检测框对应的特征向量Q:

。其中g表示第g个行人检测框，共有G个行人检测框。

2.2 特征向量归一化处理

对步骤2.1提取的特征向量Q以及构建的特征检索库中的特征向量Z做归一化处理，从而使特征向量中每个维度的特征数值具有同等的重要性，避免某个维度的特征数值主导整个分类过程，具体为：取所有特征向量中每一维度的最大值减最小值，以下公式表示维度j计算得到的结果M _j ：

其中，x _ij 表示第i个特征向量在第j维度的值，共有L+G个特征向量。将每个特征向量第j维度的特征值除以M _j ，完成特征向量归一化。其计算公式如下：

其中，Q’为归一化后的Q，Z’为归一化后的Z。

2.3 计算特征距离

采用欧式距离作为距离度量方式，计算特征向量Q’与特征检索库中所有特征向量Z’的特征距离，计算公式如下所示：

其中，Q’ _g :(q _g1, …,q _gp )表示Q’中第g个特征向量，Z’ _l :(z _l1, …,z _lp )表示Z’中第l个特征向量。

进一步地，通过K Nearest Neighbor(KNN) 算法在特征检索库Z’中选择与Q’特征距离最近的k个特征向量组成集合Top_k。k值过小容易造成过拟合，k值过大会造成重要信息损失，在本实例中k值为10。

为获得每个检测图像框与特征检索库之间的特征距离，需对Q’中每个特征向量进 行以下操作，以第g个检测图像框特征Q’ _g 为例：统计Q’ _g 与集合Top_k中出现的每个类别的平 均距离

，n表示集合Top_k中出现的类别种类。若

大于阈值t， 则说明Q’ _g 与特征检索库内的特征距离过大，判断为非工服，反之将

对应 的工服类别作为分类结果，完成待测图像中行人的工服穿戴识别。并根据分类结果，确定是 否发出警报：若属于该工作场景下的指定工服，则安全，不发出警报，否则发出警报，提醒工 作人员更换。

进一步地，如需新增工服，只需要采集新增工服中最具有代表性的N张图，输入分类网络提取特征向量，加入到特征检索库。如需删除某类别的工服，则只需在特征检索库中删除属于该类别工服的所有特征向量。可以根据不同工业场景下的需求，对特征检索库内的工服类别进行适应性灵活调整，达到最佳效率。

为提高各个车间的检索速度，不同车间按照需求可灵活调整特征检索策略及相关参数。如若车间A的指定工服为工服S ₁，该车间的待测图像提取出的行人检测框特征只需与特征检索库中S ₁类别的特征计算特征距离，其他工服类别的特征不参与检索。针对不同车间场地可配置不同的特征检索库类别及阈值t，能适用于复杂的实际应用场景。

最后，本发明还提供了利用上述方法的工服穿戴识别系统，包括图像采集模块、工服特征提取模块、工服检索与识别模块、特征检索库和报警模块；

所述图像采集模块用于实时采集工作场景下出入口图像作为待测图像；

所述工服特征提取模块与所述图像采集模块连接，所述工服特征提取模块包括依次连接的行人检测网络和分类网络，其中，所述行人检测网络用于识别待测图像中的行人并根据获得的行人检测框对图像进行裁剪；所述分类网络用于提取每个行人检测框中工服的特征向量；

所述特征检索库由选取每类工服不同角度的行人图像输入至训练好的分类网络提取的每种工服不同角度的特征向量构成；

所述工服检索与识别模块与工服特征提取模块、特征检索库连接，用于计算所述工服特征提取模块提取的特征向量与特征检索库中的特征向量的特征距离，并对每个行人检测框进行判断，若行人检测框中所有特征距离均大于阈值，则判断为非工服；否则输出特征距离最小的工服类别。

所述报警模块与工服检索与识别模块连接，用于根据工服检索与识别模块的识别结果发出警报：若识别结果属于该工作场景下的指定工服，则安全，不发出警报，否则发出警报。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (8)

1.一种基于特征检索的工服穿戴识别方法，其特征在于，包括如下步骤：

步骤一：选取每类工服不同角度的行人图像输入至训练好的分类网络提取每种工服不同角度的特征向量，构建特征检索库；

步骤二：将待测图像输入至训练好的行人检测网络，根据获得的行人检测框对图像进行裁剪并输入至训练好的分类网络，获得待测图像中所有行人检测框的特征向量，计算每个行人检测框的特征向量与特征检索库中特征向量的特征距离；

步骤三：对每个行人检测框，若计算的与特征检索库中所有特征向量的特征距离均大于阈值，则判断为非工服；否则输出特征距离最小的工服类别。

2.根据权利要求1所述的一种基于特征检索的工服穿戴识别方法，其特征在于，所述分类网络采用ResNet50、vgg16、AlexNet或GoogLeNet作为骨干网络。

3.根据权利要求1所述的一种基于特征检索的工服穿戴识别方法，其特征在于，所述分类网络采用triplet loss三元组损失函数进行训练，损失函数表示为：

其中，y表示第y个三元组，记为{A, P, N}，A表示靶目标图片，B表示正例图片，N表示反例图片，f为分类网络的参数，α为超参数。

4.根据权利要求1所述的一种基于特征检索的工服穿戴识别方法，其特征在于，所述行人检测网络采用darknet53作为骨干网络，基于YoloV3模型框架进行训练。

5.根据权利要求1所述的一种基于特征检索的工服穿戴识别方法，其特征在于，所述步骤二中，行人检测网络训练时采用的预设锚框anchor 的尺寸由K-means聚类得到。

6.根据权利要求1所述的一种基于特征检索的工服穿戴识别方法，其特征在于，所述步骤二中，所述特征距离为根据归一化后的特征向量计算的欧式距离、余弦距离或曼哈顿距离。

7.根据权利要求1所述的一种基于特征检索的工服穿戴识别方法，其特征在于，所述步骤三中，具体包括如下子步骤：

（3.1）对每个行人检测框，采用KNN算法在特征检索库中选择与该行人检测框的特征向量最近的k个特征向量组成集合Top_k；

（3.2）统计集合Top_k中出现的每个类别的平均距离

，n表示集合Top_k中 出现的类别种类，若

大于阈值，则判断为非工服；否则输出特征距离最小 的工服类别。

8.一种基于权利要求1所述工服穿戴识别方法的工服穿戴识别系统，其特征在于，包括图像采集模块、工服特征提取模块、工服检索与识别模块、特征检索库和报警模块；

所述图像采集模块用于实时采集工作场景下出入口图像作为待测图像；

所述工服特征提取模块与所述图像采集模块连接，所述工服特征提取模块包括依次连接的行人检测网络和分类网络，其中，所述行人检测网络用于识别待测图像中的行人并根据获得的行人检测框对图像进行裁剪；所述分类网络用于提取每个行人检测框中工服的特征向量；

所述特征检索库由选取每类工服不同角度的行人图像输入至训练好的分类网络提取的每种工服不同角度的特征向量构成；

所述工服检索与识别模块与工服特征提取模块、特征检索库连接，用于计算所述工服特征提取模块提取的特征向量与特征检索库中的特征向量的特征距离，并对每个行人检测框进行判断，若行人检测框中所有特征距离均大于阈值，则判断为非工服；否则输出特征距离最小的工服类别；

所述报警模块与工服检索与识别模块连接，用于根据工服检索与识别模块的识别结果发出警报：若识别结果属于该工作场景下的指定工服，则安全，不发出警报，否则发出警报。

Images