CN111275058B - 一种基于行人重识别的安全帽佩戴与颜色识别方法及装置 - Google Patents

一种基于行人重识别的安全帽佩戴与颜色识别方法及装置 Download PDF

Info

Publication number
CN111275058B
CN111275058B CN202010106467.XA CN202010106467A CN111275058B CN 111275058 B CN111275058 B CN 111275058B CN 202010106467 A CN202010106467 A CN 202010106467A CN 111275058 B CN111275058 B CN 111275058B
Authority
CN
China
Prior art keywords
pedestrian
layer
neural network
deep convolutional
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010106467.XA
Other languages
English (en)
Other versions
CN111275058A (zh
Inventor
黄惠南
邵汉阳
陈忠平
樊治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaozhong Information Technology Group Co.,Ltd.
Original Assignee
Shanghai Gaozhong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gaozhong Information Technology Co ltd filed Critical Shanghai Gaozhong Information Technology Co ltd
Priority to CN202010106467.XA priority Critical patent/CN111275058B/zh
Publication of CN111275058A publication Critical patent/CN111275058A/zh
Application granted granted Critical
Publication of CN111275058B publication Critical patent/CN111275058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于行人重识别的安全帽佩戴与颜色识别方法及装置，所述方法包括：获取原始数据，收集行人监控视频，检测监控视频中的每一帧图像，从检测出的行人区域中提取行人整体特征；将提取的所述行人整体特征输入训练好的第一深度卷积神经网络模型，获取行人深度特征；所述第一深度卷积神经网络模型包括基础网络层、瓶颈网络层、全连接层；将所述行人深度特征输入训练好的第二深度卷积神经网络模型，获取并显示分类结果；所述第二深度卷积神经网络模型包括基础网络层、瓶颈网络层、属性分类层。根据本发明的方案，能够获得识别安全帽实用性强、识别精度高的效果。

Description

一种基于行人重识别的安全帽佩戴与颜色识别方法及装置
技术领域
本发明涉及视频监控领域，尤其涉及一种基于行人重识别的安全帽佩戴与颜色识别方法及装置。
背景技术
安防监控是视频监控的一个分支，指的是通过安防监控摄像头对施工区域进行监控，如有人进入该区域而没有正确佩戴安全帽则及时提醒或发出报警信息。
近几年，随着深度学习技术的发展，出现了使用深度卷积神经网络识别安全帽的方法。这些方法一般分为两种：第一种方法是使用深度卷积神经网络目标检测技术对人体头部信息分类；第二种方法是先检测出目标人体，再进行图像分类。但第一种方法需要进行数据标定，需要将人员头部信息数据集标记为戴安全帽和未戴安全帽两类。识别的精度取决于场景、数据质量和数据量，该方法的数据标定费时费力，在室内低杆角度的场景较好，室外较大远景因为头部区域较小，导致检测效果变差。实际上，施工区域大多需要在室外较开阔的场景下展开，因此，该方法实用性较差。第二种方法适合在室外场景，并且标定数据也较为简单，但是由于安全帽属于人体头部区域信息，属于细粒度的图像分类任务，使用第二种方法的分类模型精度较差。
现有技术中存在识别安全帽实用性差、识别精度差的问题。
发明内容
为解决上述技术问题，本发明提出了一种基于行人重识别的安全帽佩戴与颜色识别方法及装置，所述方法及装置，用以解决现有技术中识别安全帽实用性差、识别精度差的技术问题。
根据本发明的第一方面，提供一种基于行人重识别的安全帽佩戴与颜色识别方法，所述方法包括以下步骤：
步骤S101：获取原始数据，收集行人监控视频，检测监控视频中的每一帧图像，从检测出的行人区域中提取行人整体特征；
步骤S102：将提取的所述行人整体特征输入训练好的第一深度卷积神经网络模型，获取行人深度特征；所述第一深度卷积神经网络模型包括基础网络层、瓶颈网络层、全连接层；
步骤S103：将所述行人深度特征输入训练好的第二深度卷积神经网络模型，获取并显示分类结果；所述第二深度卷积神经网络模型包括基础网络层、瓶颈网络层、属性分类层。
进一步地，所述步骤S101：获取原始数据，收集行人监控视频，检测监控视频中的每一帧图像，从检测出的行人区域中提取行人整体特征，包括：
步骤S1011：获取原始数据，收集行人的监控视频，将该视频保存为图片，作为行人检测基本数据源；
步骤S1012：利用深度目标检测算法对监控视频中的每一帧图像进行检测，并从检测出的行人区域中提取行人整体特征。
进一步地，所述训练好的第一深度卷积神经网络模型通过以下步骤获得：
步骤S1021：构建包括基础深度CNN网络f0、瓶颈网络层f1和全连接层FC的前向传播的第一深度卷积神经网络；
步骤S1022：对公开的行人重识别数据集中的行人图像数据进行预处理和数据增强，得到训练用样本图像数据；
步骤S1023：将所述训练用样本图像数据输入所述第一深度卷积神经网络，结合联合作用于所述第一深度卷积神经网络的三元损失函数和分类损失函数构建联合损失函数，对所述第一深度卷积神经网络进行训练；
所述联合损失函数的表达式为：
Figure BDA0002388612780000031
其中,I为训练用样本图像数据，y为真实数据标签，T为每次网络迭代需要的输入图像数据的个数，
Figure BDA0002388612780000032
为三元损失函数，C(θ，y)为交叉熵分类损失函数；三元损失函数使用瓶颈网络层输出的特征t，作用于基础网络f0和瓶颈网络层f1；
Figure BDA0002388612780000033
三元损失函数
Figure BDA0002388612780000035
可以有效提取行人特征，在公式(3)中，参数θ指的是损失函数作用的网络层；三元损失函数接受三组图片同时作为输入，a是基准图片，p是和基准图片为同一个人的图片，n是和基准图片不是同一个人的图片；Da，n是基准图片和相同类别图片提取出的特征向量之间的距离；Da，p是基准图片和不同类别图片提取出的特征向量之间的距离；m是距离之间的边界值；
Figure BDA0002388612780000034
交叉熵分类损失函数C(θ，y)为标准的分类函数，对全连接层FC输出的特征s进行归一化和对数据处理后，与实际分类的数据计算误差；
训练第一深度卷积神经网络的每次迭代，全连接层FC层的输出与真实的类标之间的差异反馈给网络进行反向传导，所述真实的类标为C维的one-hot向量，样本图像中的人对应的索引为1,其他索引为0。
进一步地，所述步骤S102还包括：
步骤S1024：对所述行人整体特征数据进行预处理，再进行加载，得到待处理图像数据；
步骤S1025：加载所述训练好的第一深度卷积网络模型，并对所述训练好的第一深度卷积网络模型进行处理，即去除全连接层FC的权重系数；
步骤S1026：将所述待处理图像数据输入处理后的所述第一深度卷积网络模型，提取瓶颈网络层输出的特征作为行人深度特征。
进一步地，所述步骤S103中所述训练好的第二深度卷积神经网络模型通过以下步骤获得，包括：
步骤S1031：设置分类类别，所述分类类别包括不戴安全帽，戴了某种颜色的安全帽；
步骤S1032：构建包括基础深度CNN网络f0、瓶颈网络层f1和属性分类层的第二深度卷积神经网络；加载所述训练好的第一深度卷积神经网络模型的除全连接层外的其余各层的参数；
步骤S1033：对公开的行人重识别数据集中的行人图像数据进行预处理和数据增强，得到训练用样本图像数据；对所述训练用样本图像数据进行人工确认，标定其所属的类别；并按类别建立文件夹，将人工确认并标定后的训练用样本图像数据存储到对应的文件夹中；
步骤S1034：将所述训练用样本图像数据输入所述第二深度卷积神经网络，结合标定的所属类别，对所述第二深度卷积神经网络的属性分类层的参数进行训练，得到训练好的第二深度卷积神经网络。
进一步地，所述步骤S103还包括：
步骤S1035：获取所述行人深度特征；
步骤S1036：加载所述训练好的第二深度卷积网络模型；
步骤S1037：返回分类结果，即对应的分类类别，完成安全帽佩戴和颜色识别。
根据本发明第二方面，提供一种基于行人重识别的安全帽佩戴与颜色识别装置，所述装置包括：
行人整体特征获取模块：获取原始数据，收集行人监控视频，检测监控视频中的每一帧图像，从检测出的行人区域中提取行人整体特征；
行人深度特征获取模块：将提取的所述行人整体特征输入训练好的第一深度卷积神经网络模型，获取行人深度特征；所述第一深度卷积神经网络模型包括基础网络层、瓶颈网络层、全连接层；
分类结果显示模块：将所述行人深度特征输入训练好的第二深度卷积神经网络模型，获取并显示分类结果；所述第二深度卷积神经网络模型包括基础网络层、瓶颈网络层、属性分类层。
进一步地，所述行人整体特征获取模块，包括：
原数据获取子模块：获取原始数据，收集行人的监控视频，将该视频保存为图片，作为行人检测基本数据源；
行人整体特征获取子模块：利用深度目标检测算法对监控视频中的每一帧图像进行检测，并从检测出的行人区域中提取行人整体特征。
进一步地，所述行人深度特征获取模块，包括：
第一构建子模块：构建包括基础深度CNN网络f0、瓶颈网络层f1和全连接层FC的前向传播的第一深度卷积神经网络；
第一训练数据子模块：对公开的行人重识别数据集中的行人图像数据进行预处理和数据增强，得到训练用样本图像数据；
第一训练子模块：将所述训练用样本图像数据输入所述第一深度卷积神经网络，结合联合作用于所述第一深度卷积神经网络的三元损失函数和分类损失函数构建联合损失函数，对所述第一深度卷积神经网络进行训练；
所述联合损失函数的表达式为：
Figure BDA0002388612780000051
其中,I为训练用样本图像数据，y为真实数据标签，T为每次网络迭代需要的输入图像数据的个数，
Figure BDA0002388612780000064
为三元损失函数，C(θ，y)为交叉熵分类损失函数；三元损失函数使用瓶颈网络层输出的特征t，作用于基础网络f0和瓶颈网络层f1；
Figure BDA0002388612780000061
三元损失函数
Figure BDA0002388612780000062
可以有效提取行人特征，在公式(3)中，参数θ指的是损失函数作用的网络层；三元损失函数接受三组图片同时作为输入，a是基准图片，p是和基准图片为同一个人的图片，n是和基准图片不是同一个人的图片；Da，n是基准图片和相同类别图片提取出的特征向量之间的距离；Da，p是基准图片和不同类别图片提取出的特征向量之间的距离；m是距离之间的边界值；
Figure BDA0002388612780000063
交叉熵分类损失函数C(θ，y)为标准的分类函数，对全连接层FC输出的特征s进行归一化和对数据处理后，与实际分类的数据计算误差；
训练第一深度卷积神经网络的每次迭代，全连接层FC层的输出与真实的类标之间的差异反馈给网络进行反向传导，所述真实的类标为C维的one-hot向量，样本图像中的人对应的索引为1,其他索引为0。
进一步地，所述行人深度特征获取模块还包括：
第一预处理子模块：对所述行人整体特征数据进行预处理，再进行加载，得到待处理图像数据；
第一加载子模块：加载所述训练好的第一深度卷积网络模型，并对所述训练好的第一深度卷积网络模型进行处理，即去除全连接层FC的权重系数；
第一输入子模块：将所述待处理图像数据输入处理后的所述第一深度卷积网络模型，提取瓶颈网络层输出的特征作为行人深度特征。
进一步地，所述分类结果显示模块，包括：
分类类别设置子模块：设置分类类别，所述分类类别包括不戴安全帽，戴了某种颜色的安全帽；
第二构建子模块：构建包括基础深度CNN网络f0、瓶颈网络层f1和属性分类层的第二深度卷积神经网络；加载所述训练好的第一深度卷积神经网络模型的除全连接层外的其余各层的参数；
第二训练数据子模块：对公开的行人重识别数据集中的行人图像数据进行预处理和数据增强，得到训练用样本图像数据；对所述训练用样本图像数据进行人工确认，标定其所属的类别；并按类别建立文件夹，将人工确认并标定后的训练用样本图像数据存储到对应的文件夹中；
第二训练子模块：将所述训练用样本图像数据输入所述第二深度卷积神经网络，结合标定的所属类别，对所述第二深度卷积神经网络的属性分类层的参数进行训练，得到训练好的第二深度卷积神经网络。
进一步地，所述分类结果显示模块还包括：
第二获取子模块：获取所述行人深度特征；
第二加载子模块：加载所述训练好的第二深度卷积网络模型；
第二显示子模块：返回分类结果，即对应的分类类别，完成安全帽佩戴和颜色识别。
根据本发明第三方面，提供一种基于行人重识别的安全帽佩戴与颜色识别系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于行人重识别的安全帽佩戴与颜色识别方法。
根据本发明第四方面，提供一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于行人重识别的安全帽佩戴与颜色识别方法。
根据本发明的上述方案，能够获得识别安全帽实用性强、识别精度高的效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供如下附图进行说明。在附图中：
图1为本发明一个实施方式的基于行人重识别的安全帽佩戴与颜色识别方法流程图；
图2为本发明一个实施方式的第一深度卷积神经网络示意图；
图3为本发明一个实施方式的第一深度卷积神经网络示意图；
图4为本发明一个实施方式的基于行人重识别的安全帽佩戴与颜色识别装置结构框图；
图5为本发明的计算机系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，被认为是一个图像检索的子问题。给定一个监控行人的图像，检索出不同位置不同监控设备下的该行人图像。目前的行人重识别方法使用深度卷积神经网络对行人图像进行特征提取，再进行特征相似度计算和排序，使用行人重识别深度模型可以有效提取人体的头部信息。
首先结合图1说明为本发明一个实施方式的基于行人重识别的安全帽佩戴与颜色识别方法流程图。如图1所示，包括以下步骤：
步骤S101：获取原始数据，收集行人监控视频，检测监控视频中的每一帧图像，从检测出的行人区域中提取行人整体特征；
步骤S102：将提取的所述行人整体特征输入训练好的第一深度卷积神经网络模型，获取行人深度特征；所述第一深度卷积神经网络模型包括基础网络层、瓶颈网络层、全连接层；
步骤S103：将所述行人深度特征输入训练好的第二深度卷积神经网络模型，获取并显示分类结果；所述第二深度卷积神经网络模型包括基础网络层、瓶颈网络层、属性分类层。
所述步骤S101：获取原始数据，收集行人监控视频，检测监控视频中的每一帧图像，从检测出的行人区域中提取行人整体特征，包括：
步骤S1011：获取原始数据，收集行人的监控视频，将该视频保存为图片，作为行人检测基本数据源；
其中，将该视频以至少5fps保存为图片。
步骤S1012：利用深度目标检测算法对监控视频中的每一帧图像进行检测，并从检测出的行人区域中提取行人整体特征。
具体地，深度目标检测算法可以为Faster-RCNN、SSD或YOLO。
步骤S102：将提取的所述行人整体特征输入训练好的第一深度卷积神经网络模型，获取行人深度特征；所述第一深度卷积神经网络模型包括基础网络层、瓶颈网络层、全连接层，
具体地，所述训练好的第一深度卷积神经网络模型通过以下步骤获得：
步骤S1021：构建包括基础深度CNN网络f0、瓶颈网络层f1和全连接层FC的前向传播的第一深度卷积神经网络；
以下结合图2说明为本发明一个实施方式的第一深度卷积神经网络示意图。如图2所示：
可以用下面的公式1来表示第一深度卷积神经网络输入输出过程：
Figure BDA0002388612780000101
其中，I是输入的样本图片数据,f0是包括卷积层和池化层的基础深度CNN网络，f1指的是瓶颈网络层，由单个卷积层、批归一化层、非线性激励函数层和Dropout层组成；FC指的是最后具有C个类别的分类层，s指的是最后输出的C维分类概率的特征向量，C即等于数据集中不同人的个数。在训练过程中，图片首先经过基础网络f0，再经过是瓶颈网络层f1，最后经过分类的FC层。
进一步地，所述基础深度CNN网络采用Resnet50，但不限于Densnet201或Inception。
步骤S1022：对公开的行人重识别数据集中的行人图像数据进行预处理和数据增强，得到训练用样本图像数据；
本实施例所述公开的行人重识别数据集为Market1501、DukeMTMC和CUHK数据集，但不限于使用MSMT17、Mars等公开的行人重识别数据集或者是私人数据集。所述数据增强包括但不限于尺寸统一化、色彩增强、随机裁剪、随机擦除。
步骤S1023：将所述训练用样本图像数据输入所述第一深度卷积神经网络，结合联合作用于所述第一深度卷积神经网络的三元损失函数和分类损失函数构建联合损失函数，对所述第一深度卷积神经网络进行训练；
所述联合损失函数的表达式为：
Figure BDA0002388612780000102
其中,I为训练用样本图像数据，y为真实数据标签，T为每次网络迭代需要的输入图像数据的个数，
Figure BDA0002388612780000113
为三元损失函数，C(θ，y)为交叉熵分类损失函数；三元损失函数使用瓶颈网络层输出的特征t，作用于基础网络f0和瓶颈网络层f1；
Figure BDA0002388612780000111
三元损失函数
Figure BDA0002388612780000114
可以有效提取行人特征，在公式(3)中，参数θ指的是损失函数作用的网络层；三元损失函数接受三组图片同时作为输入，a是基准图片，p是和基准图片为同一个人的图片，n是和基准图片不是同一个人的图片；Da，n是基准图片和相同类别图片提取出的特征向量之间的距离；Da，p是基准图片和不同类别图片提取出的特征向量之间的距离；m是Da，p和Da，n的距离之间的边界值；
本实施例中，选择P＝16和K＝8，也就是16个人，每个人有8张不同的图片组成128张(T＝128)的小批量图片数据集作为输入，实际计算采用的是欧氏距离，距离边界值选取的是0.3。
Figure BDA0002388612780000112
交叉熵分类损失函数C(θ，y)为标准的分类函数，对全连接层FC输出的特征s进行归一化和对数据处理后，与实际分类的数据计算误差；
训练第一深度卷积神经网络的每次迭代，全连接层FC层的输出与真实的类标之间的差异反馈给网络进行反向传导，所述真实的类标为C维的one-hot向量，样本图像中的人对应的索引为1,其他索引为0。
经过大量的迭代，深度神经网络的输出接近于真实的类标，具有一定的未知行人的推理能力，基础神经网络可以实现对行人特征的有效提取，瓶颈网络层实现了对全局最大池化后对行人特征进行压缩，可以提取出行人深度特征。最后的FC层作为分类损失层，作用于基础网络层。
在整个训练过程中，有三元损失函数和分类损失函数联合作用于网络。采用三元损失函数和交叉熵分类损失函数联合的方式，共同调整基础网络f0完成对行人特征的提取，可以有效地提高分类的精度，比单独使用一种损失函数的效果要好。
本实施例中瓶颈网络层f1输出的特征维度为2048维。进一步地，使用了Resnet50的预训练模型(去除Resnet50最后的分类层)加快收敛，采用Adam优化求解器。采用网络模型的常规训练方式，如采用Adam优化求解器，一共训练300步，前150步学习速率为3e-4，从第150步开始进行学习速率的调整，逐渐下降到3e-7。
进一步地，所述步骤S102还包括：
步骤S1024：对所述行人整体特征数据进行预处理，再进行加载，得到待处理图像数据；
所述预处理包括但不限于尺寸归一化。
步骤S1025：加载所述训练好的第一深度卷积网络模型，并对所述训练好的第一深度卷积网络模型进行处理，即去除全连接层FC的权重系数；
步骤S1026：将所述待处理图像数据输入处理后的所述第一深度卷积网络模型，提取瓶颈网络层输出的特征作为行人深度特征。
本实施例中，所述行人深度特征为2048维。
所述步骤S103：将所述行人深度特征输入训练好的第二深度卷积神经网络模型，获取并显示分类结果；所述第二深度卷积神经网络模型包括基础网络层、瓶颈网络层、属性分类层，包括：
具体地，所述训练好的第二深度卷积神经网络模型通过以下步骤获得：
步骤S1031：设置分类类别，所述分类类别包括不戴安全帽，戴了某种颜色的安全帽；
所述安全帽的颜色可以根据实际项目需要设置，例如某个区域有红黄蓝白四种颜色安全帽，则分类结果包括不戴安全帽、戴红色安全帽、戴黄色安全帽、戴蓝色安全帽、以及戴蓝色安全帽五个类别。
步骤S1032：构建包括基础深度CNN网络f0、瓶颈网络层f1和属性分类层的第二深度卷积神经网络；加载所述训练好的第一深度卷积神经网络模型的除全连接层外的其余各层的参数；
如图3所示，为本发明一个实施方式的第二深度卷积神经网络示意图。
步骤S1033：对公开的行人重识别数据集中的行人图像数据进行预处理和数据增强，得到训练用样本图像数据；对所述训练用样本图像数据进行人工确认，标定其所属的类别；并按类别建立文件夹，将人工确认并标定后的训练用样本图像数据存储到对应的文件夹中；
进一步地，所述基础深度CNN网络采用Resnet50。
本实施例所述公开的行人重识别数据集为Market1501、DukeMTMC和CUHK数据集，但不限于使用MSMT17、Mars等公开的行人重识别数据集或者是私人数据集。所述数据增强包括但不限于尺寸统一化、色彩增强、随机裁剪、随机擦除。
步骤S1034：将所述训练用样本图像数据输入所述第二深度卷积神经网络，结合标定的所属类别，对所述第二深度卷积神经网络的属性分类层的参数进行训练，得到训练好的第二深度卷积神经网络。
本实施例中需要训练的是属性分类层的参数，对除属性分类层的其余各层的参数进行冻结。本实施例采用Adam优化求解器。采用网络模型的常规训练方式，如采用Adam优化求解器，一共训练30步，前15步学习速率为3e-4，从第15步开始进行学习速率的调整，降低学习速率为1e-4。训练过程中保存最佳验证结果的参数。
进一步地，所述步骤S103还包括：
步骤S1035：获取所述行人深度特征；
步骤S1036：加载所述训练好的第二深度卷积网络模型；
步骤S1037：返回分类结果，即对应的分类类别，完成安全帽佩戴和颜色识别。
本实施例的基于行人重识别的安全帽佩戴与颜色识别方法与常规卷积神经网络(DCNN)识别技术进行比较，二者都采用Resnet50网络模型，其识别精度比常规卷积神经网络(DCNN)在识别安全帽二分类的F1分值提高了15％左右。该测试基于某项目实际数据，测试数据分别为戴安全帽的行人图片和不戴安全帽的行人图片，数量分别为34000张和7000张。精度对比如表1所示：
方法 F1分值
常规识别方法 70％
本发明提出的识别方法 85％
表1
本发明实施例进一步给出一种基于行人重识别的安全帽佩戴与颜色识别装置，如图4所示，所述装置包括：
行人整体特征获取模块：获取原始数据，收集行人监控视频，检测监控视频中的每一帧图像，从检测出的行人区域中提取行人整体特征；
行人深度特征获取模块：将提取的所述行人整体特征输入训练好的第一深度卷积神经网络模型，获取行人深度特征；所述第一深度卷积神经网络模型包括基础网络层、瓶颈网络层、全连接层；
分类结果显示模块：将所述行人深度特征输入训练好的第二深度卷积神经网络模型，获取并显示分类结果；所述第二深度卷积神经网络模型包括基础网络层、瓶颈网络层、属性分类层。
本发明实施例进一步给出一种基于行人重识别的安全帽佩戴与颜色识别的系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于行人重识别的安全帽佩戴与颜色识别的方法。
本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于行人重识别的安全帽佩戴与颜色识别的方法。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
现参照图5，该图示出了适合实施本申请实施方式的计算机系统的结构示意图。计算机系统500包括中央处理单元(CPU)501，其可根据存储在只读存储器(ROM)502中的程序或从存储部分508加载至随机存取存储器(RAM)503中的程序而执行各种适当的动作和过程。在RAM503中，还存储有系统500操作所需要的各种程序和数据。CPU501、ROM502和RAM503通过总线彼此连接。输入/输出I/O接口505也与总线504连接。
以下为与I/O接口连接的部件：包括键盘、鼠标等的输入部分506；包括阴极射线管CRT、液晶显示设备LCD和扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括网络接口卡(如LAN卡和调制解调器等)的通信部分509。通信部分509通过诸如因特网等网络执行通信处理。根据需要，驱动器510也与I/O接口505连接。如磁盘、光盘、磁光盘、半导体存储器等的可拆卸介质511可安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
具体地,根据本公开的实施方式，以上参照图1描述的过程可实施为计算机软件程序。例如，本公开的实施方式包括计算机程序产品，该产品包括有形地体现在机器可读介质中的计算机程序。该计算机程序包括用于执行图1的方法的程序代码。在这种实施方式中，计算机程序可通过通信部分509从网络上下载并进行安装，和/或可从可拆卸介质511安装。
本发明可以应用于终端设备、计算机系统以及服务器等电子设备中，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统以及包括上述任何系统的分布式云计算技术环境等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (6)

1.一种基于行人重识别的安全帽佩戴与颜色识别方法，其特征在于，包括以下步骤：
步骤S101：获取原始数据，收集行人监控视频，检测监控视频中的每一帧图像，从检测出的行人区域中提取行人整体特征；
步骤S102：将提取的所述行人整体特征输入训练好的第一深度卷积神经网络模型，获取行人深度特征；所述第一深度卷积神经网络模型包括基础网络层、瓶颈网络层、全连接层；基础深度CNN网络f0包括卷积层和池化层；所述瓶颈网络层f1，由单个卷积层、批归一化层、非线性激励函数层和Dropout层组成；
步骤S103：将所述行人深度特征输入训练好的第二深度卷积神经网络模型，获取并显示分类结果；所述第二深度卷积神经网络模型包括基础网络层、瓶颈网络层、属性分类层；
所述步骤S103中所述训练好的第二深度卷积神经网络模型通过以下步骤获得，包括：
步骤S1031：设置分类类别，所述分类类别包括不戴安全帽，戴了某种颜色的安全帽；
步骤S1032：构建包括基础深度CNN网络f0、瓶颈网络层f1和属性分类层的第二深度卷积神经网络；加载所述训练好的第一深度卷积神经网络模型的除全连接层外的其余各层的参数；
步骤S1033：对公开的行人重识别数据集中的行人图像数据进行预处理和数据增强，得到训练用样本图像数据；对所述训练用样本图像数据进行人工确认，标定其所属的类别；并按类别建立文件夹，将人工确认并标定后的训练用样本图像数据存储到对应的文件夹中；
步骤S1034：将所述训练用样本图像数据输入所述第二深度卷积神经网络，结合标定的所属类别，对所述第二深度卷积神经网络的属性分类层的参数进行训练，得到训练好的第二深度卷积神经网络；
所述步骤S102中所述训练好的第一深度卷积神经网络模型通过以下步骤获得：
步骤S1021：构建包括基础深度CNN网络f0、瓶颈网络层f1和全连接层FC的前向传播的第一深度卷积神经网络；
步骤S1022：对公开的行人重识别数据集中的行人图像数据进行预处理和数据增强，得到训练用样本图像数据；
步骤S1023：将所述训练用样本图像数据输入所述第一深度卷积神经网络，结合联合作用于所述第一深度卷积神经网络的三元损失函数和分类损失函数构建联合损失函数，对所述第一深度卷积神经网络进行训练；
所述联合损失函数的表达式为：
Figure FDA0002966702960000021
其中,I为训练用样本图像数据，y为真实数据标签，T为每次网络迭代需要的输入图像数据的个数，
Figure FDA0002966702960000022
为三元损失函数，C(θ，y)为交叉熵分类损失函数；三元损失函数使用瓶颈网络层输出的特征t，作用于基础网络f0和瓶颈网络层f1；
Figure FDA0002966702960000023
三元损失函数
Figure FDA0002966702960000024
可以有效提取行人特征，在公式(3)中，参数θ指的是损失函数作用的网络层；三元损失函数接受三组图片同时作为输入，a是基准图片，p是和基准图片为同一个人的图片，n是和基准图片不是同一个人的图片；Da,n是基准图片和相同类别图片提取出的特征向量之间的距离；Da,p是基准图片和不同类别图片提取出的特征向量之间的距离；m是Da,p和Da,n的距离之间的边界值；
Figure FDA0002966702960000031
交叉熵分类损失函数C(θ，y)为标准的分类函数，对全连接层FC输出的特征s进行归一化和对数据处理后，与实际分类的数据计算误差；
训练第一深度卷积神经网络的每次迭代，全连接层FC层的输出与真实的类标之间的差异反馈给网络进行反向传导，所述真实的类标为C维的one-hot向量，样本图像中的人对应的索引为1,其他索引为0。
2.如权利要求1所述的基于行人重识别的安全帽佩戴与颜色识别方法，其特征在于，所述步骤S102还包括：
步骤S1024：对所述行人整体特征数据进行预处理，再进行加载，得到待处理图像数据；
步骤S1025：加载所述训练好的第一深度卷积网络模型，并对所述训练好的第一深度卷积网络模型进行处理，即去除全连接层FC的权重系数；
步骤S1026：将所述待处理图像数据输入处理后的所述第一深度卷积网络模型，提取瓶颈网络层输出的特征作为行人深度特征。
3.一种基于行人重识别的安全帽佩戴与颜色识别装置，其特征在于，所述装置包括：
行人整体特征获取模块：获取原始数据，收集行人监控视频，检测监控视频中的每一帧图像，从检测出的行人区域中提取行人整体特征；
行人深度特征获取模块：将提取的所述行人整体特征输入训练好的第一深度卷积神经网络模型，获取行人深度特征；所述第一深度卷积神经网络模型包括基础网络层、瓶颈网络层、全连接层；基础深度CNN网络f0包括卷积层和池化层；所述瓶颈网络层f1，由单个卷积层、批归一化层、非线性激励函数层和Dropout层组成；
分类结果显示模块：将所述行人深度特征输入训练好的第二深度卷积神经网络模型，获取并显示分类结果；所述第二深度卷积神经网络模型包括基础网络层、瓶颈网络层、属性分类层；
所述分类结果显示模块，包括：
分类类别设置子模块：设置分类类别，所述分类类别包括不戴安全帽，戴了某种颜色的安全帽；
第二构建子模块：构建包括基础深度CNN网络f0、瓶颈网络层f1和属性分类层的第二深度卷积神经网络；加载所述训练好的第一深度卷积神经网络模型的除全连接层外的其余各层的参数；
第二训练数据子模块：对公开的行人重识别数据集中的行人图像数据进行预处理和数据增强，得到训练用样本图像数据；对所述训练用样本图像数据进行人工确认，标定其所属的类别；并按类别建立文件夹，将人工确认并标定后的训练用样本图像数据存储到对应的文件夹中；
第二训练子模块：将所述训练用样本图像数据输入所述第二深度卷积神经网络，结合标定的所属类别，对所述第二深度卷积神经网络的属性分类层的参数进行训练，得到训练好的第二深度卷积神经网络；
所述行人深度特征获取模块，包括：
第一构建子模块：构建包括基础深度CNN网络f0、瓶颈网络层f1和全连接层FC的前向传播的第一深度卷积神经网络；
第一训练数据子模块：对公开的行人重识别数据集中的行人图像数据进行预处理和数据增强，得到训练用样本图像数据；
第一训练子模块：将所述训练用样本图像数据输入所述第一深度卷积神经网络，结合联合作用于所述第一深度卷积神经网络的三元损失函数和分类损失函数构建联合损失函数，对所述第一深度卷积神经网络进行训练；
所述联合损失函数的表达式为：
Figure FDA0002966702960000051
其中,I为训练用样本图像数据，y为真实数据标签，T为每次网络迭代需要的输入图像数据的个数，
Figure FDA0002966702960000052
为三元损失函数，C(θ，y)为交叉熵分类损失函数；三元损失函数使用瓶颈网络层输出的特征t，作用于基础网络f0和瓶颈网络层f1；
Figure FDA0002966702960000053
三元损失函数
Figure FDA0002966702960000054
可以有效提取行人特征，在公式(3)中，参数θ指的是损失函数作用的网络层；三元损失函数接受三组图片同时作为输入，a是基准图片，p是和基准图片为同一个人的图片，n是和基准图片不是同一个人的图片；Da,n是基准图片和相同类别图片提取出的特征向量之间的距离；Da,p是基准图片和不同类别图片提取出的特征向量之间的距离；m是Da,p和Da,n的距离之间的边界值；
Figure FDA0002966702960000055
交叉熵分类损失函数C(θ，y)为标准的分类函数，对全连接层FC输出的特征s进行归一化和对数据处理后，与实际分类的数据计算误差；
训练第一深度卷积神经网络的每次迭代，全连接层FC层的输出与真实的类标之间的差异反馈给网络进行反向传导，所述真实的类标为C维的one-hot向量，样本图像中的人对应的索引为1,其他索引为0。
4.如权利要求3所述的基于行人重识别的安全帽佩戴与颜色识别装置，其特征在于，所述行人整体特征获取模块，包括：
原数据获取子模块：获取原始数据，收集行人的监控视频，将该视频保存为图片，作为行人检测基本数据源；
行人整体特征获取子模块：利用深度目标检测算法对监控视频中的每一帧图像进行检测，并从检测出的行人区域中提取行人整体特征。
5.如权利要求3所述的基于行人重识别的安全帽佩戴与颜色识别装置，其特征在于，所述行人深度特征获取模块还包括：
第一预处理子模块：对所述行人整体特征数据进行预处理，再进行加载，得到待处理图像数据；
第一加载子模块：加载所述训练好的第一深度卷积网络模型，并对所述训练好的第一深度卷积网络模型进行处理，即去除全连接层FC的权重系数；
第一输入子模块：将所述待处理图像数据输入处理后的所述第一深度卷积网络模型，提取瓶颈网络层输出的特征作为行人深度特征。
6.如权利要求3所述的基于行人重识别的安全帽佩戴与颜色识别装置，其特征在于，所述分类结果显示模块还包括：
第二获取子模块：获取所述行人深度特征；
第二加载子模块：加载所述训练好的第二深度卷积网络模型；第二显示子模块：返回分类结果，即对应的分类类别，完成安全帽佩戴和颜色识别。
CN202010106467.XA 2020-02-21 2020-02-21 一种基于行人重识别的安全帽佩戴与颜色识别方法及装置 Active CN111275058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010106467.XA CN111275058B (zh) 2020-02-21 2020-02-21 一种基于行人重识别的安全帽佩戴与颜色识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010106467.XA CN111275058B (zh) 2020-02-21 2020-02-21 一种基于行人重识别的安全帽佩戴与颜色识别方法及装置

Publications (2)

Publication Number Publication Date
CN111275058A CN111275058A (zh) 2020-06-12
CN111275058B true CN111275058B (zh) 2021-04-27

Family

ID=71002215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010106467.XA Active CN111275058B (zh) 2020-02-21 2020-02-21 一种基于行人重识别的安全帽佩戴与颜色识别方法及装置

Country Status (1)

Country Link
CN (1) CN111275058B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783736A (zh) * 2020-07-23 2020-10-16 上海高重信息科技有限公司 一种基于人体语义对齐的行人重识别方法、装置和系统
CN112163545A (zh) * 2020-10-12 2021-01-01 北京易华录信息技术股份有限公司 一种头部特征提取方法、装置、电子设备及存储介质
CN113807449A (zh) * 2021-09-23 2021-12-17 合肥工业大学 一种沉积岩类别识别方法、装置、电子设备和存储介质
CN118038491A (zh) * 2024-02-18 2024-05-14 四川明星新能源科技有限公司 一种危险区域施工人员电子定位管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263686A (zh) * 2019-06-06 2019-09-20 温州大学 一种基于深度学习的施工工地图像安全帽检测方法
CN110457992A (zh) * 2019-06-25 2019-11-15 上海高重信息科技有限公司 基于贝叶斯优化技术的行人重识别方法、装置和系统
CN110781833A (zh) * 2019-10-28 2020-02-11 杭州宇泛智能科技有限公司 一种认证方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592076B1 (ko) * 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
KR20190136578A (ko) * 2018-05-31 2019-12-10 삼성전자주식회사 음성 인식 방법 및 장치
CN109670441B (zh) * 2018-12-14 2024-02-06 广东亿迅科技有限公司 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263686A (zh) * 2019-06-06 2019-09-20 温州大学 一种基于深度学习的施工工地图像安全帽检测方法
CN110457992A (zh) * 2019-06-25 2019-11-15 上海高重信息科技有限公司 基于贝叶斯优化技术的行人重识别方法、装置和系统
CN110781833A (zh) * 2019-10-28 2020-02-11 杭州宇泛智能科技有限公司 一种认证方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视频流的施工现场工人安全帽佩戴识别研究;王秋余;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》;20190615;B026-5 *

Also Published As

Publication number Publication date
CN111275058A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111275058B (zh) 一种基于行人重识别的安全帽佩戴与颜色识别方法及装置
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
WO2022134655A1 (zh) 一种端到端的视频动作检测定位系统
Jiang et al. Multi-layered gesture recognition with Kinect.
CN107330397B (zh) 一种基于大间隔相对距离度量学习的行人重识别方法
US10248854B2 (en) Hand motion identification method and apparatus
US20190318158A1 (en) Multi-pose face feature point detection method based on cascade regression
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN110046599A (zh) 基于深度融合神经网络行人重识别技术的智能监控方法
EP2808827A1 (en) System and method for OCR output verification
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN111582129A (zh) 一种盾构机司机工作状态实时监测报警方法及装置
CN110807434A (zh) 一种基于人体解析粗细粒度结合的行人重识别系统及方法
CN110826408B (zh) 一种分区域特征提取人脸识别方法
Varghese et al. An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots
CN108108760A (zh) 一种快速人脸识别方法
Darab et al. A hybrid approach to localize farsi text in natural scene images
CN111402224A (zh) 一种用于电力设备的目标识别方法
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN111783736A (zh) 一种基于人体语义对齐的行人重识别方法、装置和系统
CN114005140A (zh) 一种人员识别方法、装置、设备、行人监控系统及存储介质
CN111898418A (zh) 一种基于t-tiny-yolo网络的人体异常行为检测方法
CN114863464A (zh) 一种pid图纸图件信息的二阶识别方法
CN110825916A (zh) 一种基于形体识别技术的寻人方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 266318 building a of Daguhe Resort Management Committee, No. 1, Hong Kong Road, Jiaozhou City, Qingdao City, Shandong Province

Patentee after: Qingdao Gaozhong Information Technology Co.,Ltd.

Address before: Room 1208, building 20, 958 Zhenbei Road, Putuo District, Shanghai 200072

Patentee before: SHANGHAI GAOZHONG INFORMATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 266000 Building A, Management Committee of Dagu River Resort, No.1 Hong Kong Road, Jiaozhou, Qingdao, Shandong

Patentee after: Gaozhong Information Technology Group Co.,Ltd.

Country or region after: China

Address before: 266318 building a of Daguhe Resort Management Committee, No. 1, Hong Kong Road, Jiaozhou City, Qingdao City, Shandong Province

Patentee before: Qingdao Gaozhong Information Technology Co.,Ltd.

Country or region before: China