CN113159036B - 头盔识别方法、装置、设备及存储介质 - Google Patents

头盔识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113159036B
CN113159036B CN202110516194.0A CN202110516194A CN113159036B CN 113159036 B CN113159036 B CN 113159036B CN 202110516194 A CN202110516194 A CN 202110516194A CN 113159036 B CN113159036 B CN 113159036B
Authority
CN
China
Prior art keywords
helmet
network
area
head
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110516194.0A
Other languages
English (en)
Other versions
CN113159036A (zh
Inventor
梁婷
肖潇
孟祥昊
付马
肖贺
丁鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202110516194.0A priority Critical patent/CN113159036B/zh
Publication of CN113159036A publication Critical patent/CN113159036A/zh
Application granted granted Critical
Publication of CN113159036B publication Critical patent/CN113159036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种头盔识别方法、装置、设备及存储介质，属于计算机技术领域，该方法包括：获取目标图像；将目标图像输入预先训练的头盔识别网络，得到识别结果；基于头盔区域的检测结果和头肩区域的检测结果进行头盔识别；可以解决现有的头盔识别效率较低的问题；头盔识别网络具有同时检测头盔区域和头肩区域的功能，这样，可以同时实现头盔区域和头肩区域的检测，并结合两个区域的检测结果识别头盔，既可以保证头盔识别的准确性，又可以提高头盔识别效率。

Description

头盔识别方法、装置、设备及存储介质
【技术领域】
本申请涉及一种头盔识别方法、装置、设备及存储介质，属于计算机技术领域。
【背景技术】
随着对交通安全关注度的提升，如何对摩托车和电动车的骑行者是否佩戴头盔进行识别是亟需解决的问题。
传统的头盔识别方式需要先识别骑行人员的头肩区域，然后对该头肩区域进行头盔识别。
然而，上述方式需要先识别出头肩区域，再对头肩区域进一步识别才能得到头盔识别结果，头盔识别的效率较低。
【发明内容】
本申请提供了一种头盔识别方法、装置、设备及存储介质，可以解决现有的头盔识别效率较低的问题。本申请提供如下技术方案：
第一方面，提供一种头盔识别方法，所述方法包括：
获取目标图像；
将所述目标图像输入预先训练的头盔识别网络，得到识别结果；所述头盔识别网络具有同时检测头盔区域和头肩区域的检测功能，所述识别结果包括所述目标图像中头盔区域的检测结果和头肩区域的检测结果；
基于所述头盔区域的检测结果和所述头肩区域的检测结果进行头盔识别。
可选地，所述基于所述头盔区域的检测结果和所述头肩区域的检测结果进行头盔识别，包括：
在所述头盔区域的检测结果指示存在所述头盔区域、且所述头肩区域的检测结果指示存在所述头肩区域的情况下，确定所述头盔区域与所述头肩区域之间的匹配关系，以确定所述头盔区域与所述头肩区域是否属于同一骑行人员；
在匹配出所述头盔区域与所述头肩区域属于同一骑行人员的情况下，确定所述头肩区域对应的骑行人员佩戴头盔。
可选地，所述头盔识别网络包括第一网络分支和第二网络分支；
所述第一网络分支用于进行目标检测，所述目标检测包括头盔的检测和头肩的检测；
所述第二网络分支用于进行属性检测，得到属性信息；所述属性信息用于辅助进行头盔识别；
相应地，所述识别结果包括所述目标图像的属性信息。
可选地，所述基于所述头盔区域的检测结果和所述头肩区域的检测结果进行头盔识别，包括：
按照所述属性信息确定所述目标图像中的车辆是否为预设类型，预设类型的车辆为需要骑行人员佩戴头盔的车辆；其中，所述属性信息包括车辆的类型属性、载人数量属性、头盔的颜色属性和/或头盔的款式属性；
在所述属性信息确定所述目标图像中的车辆为预设类型时，按照所述头盔区域的检测结果和所述头肩区域的检测结果确定所述头盔区域与所述头肩区域是否匹配，以确定所述头盔区域与所述头肩区域是否属于同一骑行人员；
在所述头盔区域与所述头肩区域匹配时，确定所述目标图像中所述头肩区域对应的骑行人员佩戴头盔。
可选地，所述头盔识别网络基于中心点的检测网络CenterNet建立，所述头盔识别网络从前至后依次包括主干网络、分别与所述主干网络相连的所述第一网络分支和所述第二网络分支；
所述第一网络分支包括用于提取所述目标图像的热度图；并基于所述热度图进行目标检测；
所述第二网络分支包括深度可分离卷积网络，所述深度可分离卷积网络的网络层数小于第一阈值和/或参数数量小于第二阈值，所述第一阈值小于或等于现有的卷积网络的最小层数；所述第二阈值小于或等于现有的卷积网络的最小参数数量。
可选地，所述主干网络分别与所述第一网络分支和所述第二网络分支进行局部残差连接。
可选地，所述第二网络分支基于改进的focal loss函数训练得到，所述改进的focal loss函数通过下式表示：
FL(pt)＝-αt(1-pt)γlog(pt)
其中，pt表示网络预测结果，FL(pt)表示所述改进的focal loss函数的函数值，γ为预设常数，αt为平衡因子，并通过下式表示：
Figure GDA0003663589470000031
其中，w是训练数据中具有属性标签的样本所占样本总数的权重值。
可选地，所述方法还包括：
在确定出所述目标图像中的骑行人员未佩戴头盔，输出告警信息。
可选地，所述头盔识别网络使用多组训练数据训练得到，每组训练数据包括样本图像和所述样本图像的标签数据；所述样本图像是对原始图像进行预处理后得到的；
其中，所述预处理包括以下几种中的至少一种：图像缩放处理、图像增强处理和高斯白噪声干扰处理。
第二方面，提供一种头盔识别装置，所述装置包括：
图像获取模块，用于获取目标图像；
图像识别模块，用于将所述目标图像输入预先训练的头盔识别网络，得到识别结果；所述头盔识别网络具有同时检测头盔区域和头肩区域的功能，所述识别结果包括所述目标图像中头盔区域的检测结果和头肩区域的检测结果；
结果分析模块，用于基于所述头盔区域的检测结果和所述头肩区域的检测结果进行头盔识别。
第三方面，提供一种电子设备，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的头盔识别方法。
第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的头盔识别方法。
本申请的有益效果至少包括：通过获取目标图像；将目标图像输入预先训练的头盔识别网络，得到识别结果；基于头盔区域的检测结果和头肩区域的检测结果进行头盔识别；可以解决现有的头盔识别效率较低的问题；头盔识别网络具有同时检测头盔区域和头肩区域的功能，这样，可以同时实现头盔区域和头肩区域的检测，并结合两个区域的检测结果识别头盔，既可以保证头盔识别的准确性，又可以提高头盔识别效率。
另外，通过在头盔识别网络中引入属性信息的识别，可以结合属性信息确定骑行人员是否佩戴有头盔，提高识别头盔是否佩戴的准确性，同一个模型具有两种功能，相对于使用两种模型分别实现两种功能的方案来说，可以节省设备计算资源。
另外，通过深度可分离卷积网络进行属性识别，由于深度可分离卷积网络是一种轻量级的网络，因此，可以减少模型复杂度，提高模型计算效率。
另外，通过设置主干网络分别与第一网络分支和第二网络分支进行局部残差连接，使得该浅层特征可以与主干网络最后输出的深层特征相融合，以提高头盔识别网络的识别准确性。
另外，通过在对模型训练前，对原始数据进行预处理得到样本图像，可以提高样本图像的丰富性。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。
【附图说明】
图1是本申请一个实施例提供的头盔识别方法的流程图；
图2是本申请一个实施例提供的头盔识别模型的结构示意图；
图3是本申请又一个实施例提供的头盔识别方法的流程图；
图4是本申请一个实施例提供的头盔识别装置的框图；
图5是本申请一个实施例提供的电子设备的框图。
【具体实施方式】
下面结合附图和实施例，对本申请的具体实施方式做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
首先，对于本申请涉及的若干名词进行介绍。
基于中心点的检测网络(CenterNet)：是一个端到端的目标检测器。目标检测要求检测出包含物体的最小矩形框。传统的目标检测器通常会罗列出大量的候选框并对其分类。而CenterNet将要检测的目标定位到一个点，即检测矩形框的中心点。换言之，CenterNet中，每个中心点对应一个目标的位置，不需要进行矩形框重叠(overlap)的判断，目标检测速度和效率均高于传统的目标检测器。
局部残差连接：是一种解决网络中计算资源消耗过大、网络模型容易过拟合、梯度小时、梯度爆炸等问题的神经网络连接方式。
深度可分离卷积网络：是一种可大幅减少卷积神经网络中参数数量的网络结构。
样本图像的标签数据：是样本图像中的头盔区域与头肩区域匹配结果以及车辆属性、载人数量属性、头盔数量属性、头盔的颜色属性和/或头盔款式属性。
原始图像：是没有经过任何处理的普通图像，其中含有或不含有佩戴头盔的骑行人员；
可选的，本申请以各个实施例提供的头盔识别方法用于电子设备中为例进行说明，该电子设备为终端或服务器，终端可以为手机、计算机、平板电脑、扫描仪、电子眼、监控摄像头等，本实施例不对电子设备的类型作限定。
图1是本申请一个实施例提供的头盔识别方法的流程图，该方法至少包括以下几个步骤：
步骤101，获取目标图像。
目标图像为从监控场景进行图像采集后得到的图像，监控场景为允许骑行人员经过的场景，如：路口、车道等场景。目标图像中包括至少一个骑行人员的图像或不包括骑行人员的图像。
可选地，目标图像来自于视频流中的一帧图像，或者来自于单独的一张图像，本实施例不对目标图像的来源作限定。另外目标图像的数量可以为一张或多张，本实施例不对目标图像的数量作限定。
可选地，目标图像是电子设备获取到原始图像后，对原始图像进行预处理后得到的；或者，是电子设备直接得到的原始图像。另外原始图像是从存储介质读取的、或者是接受其他电子设备发送的，本实施例不对原始图像的获取方式做限定。
其中，预处理的方式包括但不限于：缩放处理、去噪处理和对比度增强处理。缩放处理用于将原始图像的尺寸缩放至于头盔识别网络相适配的尺寸。去噪处理用于过滤原始图像中的噪声信息。对比度增强处理用于提高对目标图像识别的准确性。
步骤102，将目标图像输入预先训练的头盔识别网络，得到识别结果；头盔识别网络具有同时检测头盔区域和头肩区域的功能，该识别结果包括目标图像中头盔区域的检测结果和头肩区域的检测结果。
头盔区域是指目标图像中存在头盔时，包括该头盔的区域；头肩区域是指目标图像中存在骑行人员时，包括该骑行人员的头部和肩部的区域。可选地，头盔区域和头肩区域均通过外接多边形框表示。
本实施例中，头盔识别网络具有同时检测头盔区域和头肩区域的功能，这样，可以同时实现头盔区域和头肩区域的检测，并结合两个区域的检测结果识别头盔，既可以保证头盔识别的准确性，又可以提高头盔识别效率。
步骤103，基于头盔区域的检测结果和头肩区域的检测结果进行头盔识别。
可选地，基于头盔区域的检测结果和头肩区域的检测结果进行头盔识别包括但不限于以下两种方式：第一种，识别结果仅包括头盔区域的检测结果和头肩区域的检测结果，此时，根据头盔区域的检测结果和头肩区域的检测结果识别头盔；第二种，识别结果包括头盔区域的检测结果、头肩区域的检测结果以及辅助信息，此时，根据头盔区域的检测结果、头肩区域的检测结果和辅助信息识别头盔。下面对上述两种方式分别进行介绍。
第一种：根据头盔区域的检测结果和头肩区域的检测结果识别头盔，包括：在头盔区域的检测结果指示存在头盔区域、且头肩区域的检测结果指示存在头肩区域的情况下，确定头盔区域与头肩区域之间的匹配关系，以确定头盔区域与头肩区域是否属于同一骑行人员；在匹配出头盔区域与头肩区域属于同一骑行人员的情况下，确定头肩区域对应的骑行人员佩戴头盔。
可选地，在匹配出头肩区域与任意一个头盔区域均不属于同一骑行人员的情况下，说明可能存在骑行人员未佩戴头盔。此时，可以进一步确定头肩区域对应的人员是否为骑行人员，若是，则确定头肩区域对应的骑行人员未佩戴头盔；若不是，则忽略该头肩区域，不进行是否佩戴头盔的判断。
其中，确定头肩区域对应的人员是否为骑行人员包括：对人员姿态进行识别；在人员姿态符合骑行人员的姿态时，确定人员为骑行人员。
可选地，在匹配出头盔区域与任意一个头肩区域均不属于同一骑行人员的情况下，如：头盔挂在车把手上，忽略该头盔区域，不进行是否佩戴头盔的判断。
其中，确定头盔区域与头肩区域之间的匹配关系，以确定头盔区域与头肩区域是否属于同一骑行人员，包括：计算头盔区域与头肩区域之间的重合度；在重合度大于重合度阈值时，确定头盔区域与头肩区域相匹配，相应地，头盔区域与头肩区域属于同一骑行人员；在重合度小于或等于重合度阈值时，确定头盔区域与头肩区域不匹配，相应地，确定头盔区域与头肩区域不属于同一骑行人员。
重合度阈值的取值是根据经验值确定的，重合度阈值可以为80％，在实际实现时，重合度阈值也可以为其它数值，比如：85％、90％等，本实施例不对重合度阈值的取值作限定。
可选地，在头盔区域的检测结果指示不存在头盔区域，且头肩区域的检测结果指示存在头肩区域的情况下，说明可能存在骑行人员未佩戴头盔，此时，可以进一步确定头肩区域对应的人员是否为骑行人员，若是，则确定头肩区域对应的骑行人员未佩戴头盔；若不是，则忽略该头肩区域，不进行是否佩戴头盔的判断。
可选地，在头盔区域的检测结果指示存在头盔区域，且头肩区域的检测结果指示不存在头肩区域的情况下，如：头盔挂在车把手上，忽略该头盔区域，不进行是否佩戴头盔的判断。
在第一种方式中，头盔识别网络仅具有同时检测头盔区域的功能和头肩区域的功能，此时，头盔识别网络可以基于目标检测网络建立，该目标检测网络可以为CenterNet网络。相应地，CenterNet网络包括主干网络、与该主干网络分别相连的热度图预测分支、中心点偏移预测分支和目标区域宽高回归分支；结合各个分支输出结果确定目标的中心点和目标区域的尺寸，从而得到目标区域的位置。具体地，从热度图预测分支输出的热度图中提取峰值点，得到目标的中心点；利用峰值点位置来预测目标的宽高信息，得到目标区域的尺寸；将目标图像中目标的中心点和目标区域的尺寸指示的区域确定为目标区域。其中，在目标图像仅包括头盔时，目标包括头盔；在目标图像仅包括头肩时，目标包括头肩；在目标图像包括头盔和头肩时，目标包括头盔和头肩。
在实际实现时，目标检测网络也可以为其它类型的神经网络，本实施例不对目标检测网络的实现方式作限定。
第二种：辅助信息包括属性信息，属性信息用于辅助进行头盔识别。相应地，根据头盔区域的检测结果、头肩区域的检测结果和辅助信息确定骑行人员是否佩戴头盔，包括：结合头盔区域的检测结果、头肩区域的检测结果和属性信息进行逻辑判断，确定目标图像中的骑行人员是否佩戴头盔。
在一个示例中，属性信息是头盔识别网络输出的，即，识别结果还包括目标图像的属性信息。此时，头盔识别网络包括第一网络分支和第二网络分支；第一网络分支用于进行目标检测，目标检测包括头盔的检测和头肩的检测；第二网络分支用于进行属性检测，得到属性信息。此时，在确定骑行人员是否佩戴头盔时，结合第一网络分支的区域检测结果、以及第二网络分支得到的属性信息进行逻辑判断，确定目标图像中的骑行人员是否佩戴头盔。
具体地，结合第一网络分支的区域检测结果、以及第二网络分支得到的属性信息进行逻辑判断，确定目标图像中的骑行人员是否佩戴头盔，包括：按照属性信息确定目标图像中的车辆是否为预设类型；在属性信息确定目标图像中的车辆为预设类型时，按照区域检测结果确定头盔区域与头肩区域是否匹配，以确定头盔区域与头肩区域是否属于同一骑行人员；在目标图像中的车辆为预设类型、且头盔区域与头肩区域匹配时，确定目标图像中该头肩区域对应的骑行人员佩戴头盔。
可选地，在目标图像中的车辆是预设类型、且头盔区域与头肩区域不匹配时，确定目标图像中头肩区域对应的骑行人员未佩戴头盔。
其中，预设类型的车辆为需要骑行人员佩戴头盔的车辆。预设类型的车辆包括但不限于：摩托车或电瓶车。
属性信息包括车辆的类型属性、载人数量属性、头盔的颜色属性和/或头盔的款式属性。下文中以属性信息包括车辆的类型属性、载人数量属性、头盔的颜色属性和头盔的款式属性为例进行说明，在实际实现时，属性信息可以包括其中的一种或多种，按照属性信息确定目标图像中的车辆是否为预设类型的原理与下文相同，本实施例在此不再赘述。
在一个实施方式中，按照属性信息确定目标图像中的车辆是否为预设类型，包括：确定车辆的类型属性是否与预设类型匹配、确定载人数量属性指示的载人数量是否与预设类型的车辆的载人数量匹配、确定头盔的颜色属性指示的颜色是否与预设类型的头盔的颜色匹配、确定头盔的款式属性指示的款式是否与预设类型的头盔的款式匹配；在大于或等于预设数量的确定结果是匹配时，确定目标图像中的车辆为预设类型；在小于预设数量的确定结果是匹配时，确定目标图像中的车辆不是预设类型。
其中，预设类型的头盔是指在骑行预设类型的车辆时需要佩戴的头盔。
在另一个实施方式中，按照属性信息确定目标图像中的车辆是否为预设类型，包括：获取每种属性信息的权重参数；确定车辆的类型属性是否与预设类型匹配、确定载人数量属性指示的载人数量是否与预设类型的车辆的载人数量匹配、确定头盔的颜色属性指示的颜色是否与预设类型的头盔的颜色匹配、确定头盔的款式属性指示的款式是否与预设类型的头盔的款式匹配；将每种属性信息的匹配结果与对应的权重参数相乘积；计算各个属性信息对应的乘积之和；在乘积之和大于或等于预设阈值时，确定目标图像中的车辆为预设类型；在乘积之和小于预设阈值时，确定目标图像中的车辆不是预设类型。
其中，按照区域检测结果确定头盔区域与头肩区域是否匹配，以确定头盔区域与头肩区域是否属于同一骑行人员的相关说明参考第一种方式，本实施例在此不再赘述。
可选地，参考图2，头盔识别网络基于CenterNet建立，头盔识别网络从前至后依次包括主干网络21、分别与主干网络相连的第一网络分支22和第二网络分支23；第一网络分支包括用于提取目标图像的热度图；并基于热度图进行目标检测；第二网络分支包括深度可分离卷积网络，深度可分离卷积网络的网络层数小于第一阈值和/或参数数量小于第二阈值，第一阈值小于或等于现有的卷积网络的最小层数；第二阈值小于或等于现有的卷积网络的最小参数数量。
可选地，为了提高头盔识别网络的网络性能，主干网络分别与第一网络分支和第二网络分支进行局部残差连接。其中，主干网络从前至后依次连接有多个残差块，局部残差连接是指：从至少一个指定残差块中引出分支分别连接至第一网络分支和第二网络分支，以使第一网络分支和第二网络分支获取到浅层特征，使得该浅层特征可以与主干网络最后输出的深层特征相融合，以提高头盔识别网络的识别准确性。
CenterNet利用目标中心点的信息进行目标检测，假设输入图像为I∈ RW×H×3，其中W为输入图像的宽、H为输入图像的高；在预测的时得到关键点的热点图：Y∈[0,1]W/R×H/R×C，其中R为输出对应原图的步长，C是在目标检测中对应检测点的数量。CenterNet训练时使用的目标函数Ldet包括三个损失函数，分别为：目标中心损失函数Lk、目标尺寸损失函数Lsize与目标偏置损失函数Loff，每个损失函数都有相应的权重。
示意性地，最终的目标函数Ldet通过下式表示：
Ldet＝Lk+λsizeLsize+λoffLoff其中，λsize和λoff的取值根据经验值设置，如λsize＝0.1，λoff＝1；在实际实现时，λsize和λoff的取值也可以为其它数值，本实施例不对λsize和λoff的取值作限定。
本实施例中，第二网络分支基于改进的focal loss函数训练得到，改进的focalloss函数，改进的focal loss函数为：
FL(pt)＝-αt(1-pt)γlog(pt)
其中，pt表示第二网络分支的网络预测结果，FL(pt)表示所述改进的 focal loss函数的函数值，γ为预设常数(如2或其它数值，本实施例不对γ的取值作限定)，αt为平衡因子，用来平衡正负样本的比例不均的问题。传统的平衡因子设计中，平衡因子一般是直接设置为一个常量参数例如0.25、0.5 等，此时，不能根据实际样本之间的差异来解决正负样本的比例不均匀的问题。本实施例中，通过改进平衡因子来解决样本间的类不平衡问题，αt通过下式表示：
Figure GDA0003663589470000111
其中，w是训练样本中实际的各个属性样本所占样本的权重值，通过上述公式可知，当样本越多时，αt的值越小，即损失函数的值也就越小，反之，样本少的损失函数的值则会越大，以此来提高少样本的损失函数的值权重比，解决样本类间不平衡问题。
本实施例中，头盔识别网络使用多组训练数据训练得到，每组训练数据包括样本图像和样本图像的标签数据；样本图像是对原始图像进行预处理后得到的；其中，预处理包括以下几种中的至少一种：图像缩放处理、图像增强处理和高斯白噪声干扰处理。
通过对原始图像进行预处理，可以对原始图像进行图像扩增，从而提高训练得到的头盔识别网络的识别精度。
图像缩放处理包括：采用双三次线性内插值算法得到固定大小的区域。具体地，对待插值的像素点(x，y)(x和y可以为浮点数)，取其附近的4x4 领域点(xi，yj)(其中，i，j＝0，1，2，3)，按照如下公式进行插值计算：
Figure GDA0003663589470000121
图像增强包括：亮度增强操作，以获得不同光线下的图像。具体实现原理如下：
g(x，y)＝α*f(x，y)+b
其中α为亮度的放大倍数，当α小于1时，则变暗，当α大于1时，则变亮。
针对应用场景的多样化，通过图像增强可以在一定程度上带来样本的多样性，增加训练模型的鲁棒性。
另外，在实际实现时，图像增强还可以包括分辨率增强、对比度增强等，本实施例不对图像增强的方式作限定。
高斯白噪声干扰处理包括：对原始图像叠加不同程度的高斯白噪声，得到样本图像。针对晚上相机成像噪声多的复杂情况，利用加性噪声中的高斯白噪声可以获取到更符合夜晚场景的图像，增加样本的丰富性。
需要补充说明的是，训练数据中的样本图像也可以包括原始图像。
样本图像的标签数据是对样本图像进行标定得到的，样本图像的标定包括：使用修改后的标定工具对样本图像中的目标进行标定、并对属性信息进行标定；将标定后的数据更新为训练时所需的标签格式，得到每张样本图像的标签数据。
其中，修改后的标定工具支持矩形框和多边形框的绘制，以及对属性的标定；标定工具可以为LabelImg，当然也可以是其它标定工具，本实施例在此不再一一列举。
在其它示例中，属性信息也可以是其它设备发送的，或者用户输入的，本实施例不对属性信息的获取方式作限定。
可选地，在确定出目标图像中的骑行人员未佩戴头盔、或者目标图像中不存在骑行人员的情况下，输出告警信息。
其中，告警信息包括但不限于以下几种中的至少一种：音频告警、文本告警、灯光告警、视频告警、振动告警等，本实施例不对告警信息的输出方式作限定。
为了更清楚地理解本申请提供的头盔识别方法，下面对该方法举一个实例进行说明，参考图3，本实例中，以结合属性信息和头盔区域的检测结果和头肩区域的检测结果确定目标图像中的骑行人员是否佩戴头盔为例进行说明，该方法至少包括以下几个步骤：
步骤31，根据属性信息确定目标图像中是否存在预设类型的车辆；若是，则执行步骤32；若否，则执行步骤33；
步骤32，根据头盔区域的检测结果和头肩区域的检测结果，确定预设类型的车辆的骑行人员是否佩戴头盔；若是，则执行步骤33；若否，则执行步骤34；
步骤33，不输出告警信息，流程结束；
步骤34，输出告警信息，流程结束。
综上所述，本实施例提供的头盔识别方法，通过获取目标图像；将目标图像输入预先训练的头盔识别网络，得到识别结果；基于头盔区域的检测结果和头肩区域的检测结果进行头盔识别；可以解决现有的头盔识别效率较低的问题；头盔识别网络具有同时检测头盔区域和头肩区域的功能，这样，可以同时实现头盔区域和头肩区域的检测，并结合两个区域的检测结果识别头盔，既可以保证头盔识别的准确性，又可以提高头盔识别效率。
另外，通过在头盔识别网络中引入属性信息的识别，可以结合属性信息确定骑行人员是否佩戴有头盔，提高识别头盔是否佩戴的准确性，同一个模型具有两种功能，相对于使用两种模型分别实现两种功能的方案来说，可以节省设备计算资源。
另外，通过深度可分离卷积网络进行属性识别，由于深度可分离卷积网络是一种轻量级的网络，因此，可以减少模型复杂度，提高模型计算效率。
另外，通过设置主干网络分别与第一网络分支和第二网络分支进行局部残差连接，使得该浅层特征可以与主干网络最后输出的深层特征相融合，以提高头盔识别网络的识别准确性。
另外，通过在对模型训练前，对原始数据进行预处理得到样本图像，可以提高样本图像的丰富性。
图4是本申请一个实施例提供的头盔识别装置的框图。该装置至少包括以下几个模块：图像获取模块410、图像识别模块420和结果分析模块430。
图像获取模块410，用于获取目标图像；
图像识别模块420，用于将所述目标图像输入预先训练的头盔识别网络，得到识别结果；所述头盔识别网络具有同时检测头盔区域和头肩区域的功能，所述识别结果包括所述目标图像中头盔区域的检测结果和头肩区域的检测结果；
结果分析模块430，用于基于所述头盔区域的检测结果和所述头肩区域的检测结果进行头盔识别。
相关细节参考上述方法实施例。
需要说明的是：上述实施例中提供的头盔识别装置在进行头盔识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将头盔识别装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的头盔识别装置与头盔识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图5是本申请一个实施例提供的电子设备的框图。该设备至少包括处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA (Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的头盔识别方法。
在一些实施例中，电子设备还可选包括有：外围设备接口和至少一个外围设备。处理器501、存储器502和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。
当然，电子设备还可以包括更少或更多的组件，本实施例对此不作限定。
可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的头盔识别方法。
可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的头盔识别方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种头盔识别方法，其特征在于，所述方法包括：
获取目标图像；
将所述目标图像输入预先训练的头盔识别网络，得到识别结果；所述头盔识别网络具有同时检测头盔区域和头肩区域的功能，所述识别结果包括所述目标图像中头盔区域的检测结果和头肩区域的检测结果；
基于所述头盔区域的检测结果和所述头肩区域的检测结果进行头盔识别；
所述头盔识别网络包括第一网络分支和第二网络分支；
所述第一网络分支用于进行目标检测，所述目标检测包括头盔的检测和头肩的检测；
所述第二网络分支用于进行属性检测，得到属性信息；所述属性信息用于辅助进行头盔识别；
相应地，所述识别结果包括所述目标图像的属性信息。
2.根据权利要求1所述的方法，其特征在于，所述基于所述头盔区域的检测结果和所述头肩区域的检测结果进行头盔识别，包括：
在所述头盔区域的检测结果指示存在所述头盔区域、且所述头肩区域的检测结果指示存在所述头肩区域的情况下，确定所述头盔区域与所述头肩区域之间的匹配关系，以确定所述头盔区域与所述头肩区域是否属于同一骑行人员；
在匹配出所述头盔区域与所述头肩区域属于同一骑行人员的情况下，确定所述头肩区域对应的骑行人员佩戴头盔。
3.根据权利要求1所述的方法，其特征在于，所述基于所述头盔区域的检测结果和所述头肩区域的检测结果进行头盔识别，包括：
按照所述属性信息确定所述目标图像中的车辆是否为预设类型，所述预设类型的车辆为需要骑行人员佩戴头盔的车辆；其中，所述属性信息包括车辆的类型属性、载人数量属性、头盔的颜色属性和/或头盔的款式属性；
在所述属性信息确定所述目标图像中的车辆为所述预设类型时，按照所述头盔区域的检测结果和所述头肩区域的检测结果确定所述头盔区域与所述头肩区域是否匹配，以确定所述头盔区域与所述头肩区域是否属于同一骑行人员；
在所述头盔区域与所述头肩区域匹配时，确定所述目标图像中所述头肩区域对应的骑行人员佩戴头盔。
4.根据权利要求3所述的方法，其特征在于，所述头盔识别网络基于中心点的检测网络CenterNet建立，所述头盔识别网络从前至后依次包括主干网络、分别与所述主干网络相连的所述第一网络分支和所述第二网络分支；
所述第一网络分支包括用于提取所述目标图像的热度图；并基于所述热度图进行目标检测；
所述第二网络分支包括深度可分离卷积网络，所述深度可分离卷积网络的网络层数小于第一阈值和/或参数数量小于第二阈值，所述第一阈值小于或等于现有的卷积网络的最小层数；所述第二阈值小于或等于现有的卷积网络的最小参数数量。
5.根据权利要求4所述的方法，其特征在于，所述主干网络分别与所述第一网络分支和所述第二网络分支进行局部残差连接。
6.根据权利要求1所述的方法，其特征在于，所述第二网络分支基于改进的focal loss函数训练得到，所述改进的focal loss函数通过下式表示：
FL(pt)＝-αt(1-pt)γlog(pt)
其中，pt表示网络预测结果，FL(pt)表示所述改进的focal loss函数的函数值，γ为预设常数，αt为平衡因子，并通过下式表示：
Figure FDA0003663589460000031
其中，w是训练数据中具有属性标签的样本所占样本总数的权重值。
7.一种头盔识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标图像；
图像识别模块，用于将所述目标图像输入预先训练的头盔识别网络，得到识别结果；所述头盔识别网络具有同时检测头盔区域和头肩区域的功能，所述识别结果包括所述目标图像中头盔区域的检测结果和头肩区域的检测结果；
结果分析模块，用于基于所述头盔区域的检测结果和所述头肩区域的检测结果进行头盔识别；
所述头盔识别网络包括第一网络分支和第二网络分支；
所述第一网络分支用于进行目标检测，所述目标检测包括头盔的检测和头肩的检测；
所述第二网络分支用于进行属性检测，得到属性信息；所述属性信息用于辅助进行头盔识别；
相应地，所述识别结果包括所述目标图像的属性信息。
8.一种电子设备，其特征在于，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至6任一项所述的头盔识别方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如权利要求1至6任一项所述的头盔识别方法。
CN202110516194.0A 2021-05-12 2021-05-12 头盔识别方法、装置、设备及存储介质 Active CN113159036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110516194.0A CN113159036B (zh) 2021-05-12 2021-05-12 头盔识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110516194.0A CN113159036B (zh) 2021-05-12 2021-05-12 头盔识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113159036A CN113159036A (zh) 2021-07-23
CN113159036B true CN113159036B (zh) 2022-07-12

Family

ID=76874630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110516194.0A Active CN113159036B (zh) 2021-05-12 2021-05-12 头盔识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113159036B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866479A (zh) * 2019-11-07 2020-03-06 北京文安智能技术股份有限公司 一种检测摩托车驾驶员未戴头盔的方法、装置及系统
CN111126325A (zh) * 2019-12-30 2020-05-08 哈尔滨工程大学 一种基于视频的智能人员安防识别统计方法
CN111209854A (zh) * 2020-01-06 2020-05-29 苏州科达科技股份有限公司 司乘人员未系安全带识别方法、装置及存储介质
CN111368636A (zh) * 2020-02-07 2020-07-03 深圳奇迹智慧网络有限公司 目标分类方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866479A (zh) * 2019-11-07 2020-03-06 北京文安智能技术股份有限公司 一种检测摩托车驾驶员未戴头盔的方法、装置及系统
CN111126325A (zh) * 2019-12-30 2020-05-08 哈尔滨工程大学 一种基于视频的智能人员安防识别统计方法
CN111209854A (zh) * 2020-01-06 2020-05-29 苏州科达科技股份有限公司 司乘人员未系安全带识别方法、装置及存储介质
CN111368636A (zh) * 2020-02-07 2020-07-03 深圳奇迹智慧网络有限公司 目标分类方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113159036A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN111667520B (zh) 红外图像和可见光图像的配准方法、装置及可读存储介质
CN111832443B (zh) 一种施工违规行为检测模型的构建方法及其应用
CN112183482A (zh) 危险驾驶行为识别方法、装置、系统及可读存储介质
CN109344864B (zh) 用于密集物体的图像处理方法及装置
CN107909026A (zh) 基于嵌入式系统小规模卷积神经网络的年龄和性别评估
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
CN112330597A (zh) 一种图像差异检测方法、装置及计算机设备
CN117557784A (zh) 目标检测方法、装置、电子设备及存储介质
CN113159036B (zh) 头盔识别方法、装置、设备及存储介质
CN111292331B (zh) 图像处理的方法与装置
CN112668675A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN111353577B (zh) 基于多任务的级联组合模型的优化方法、装置及终端设备
CN115019218B (zh) 图像处理方法和处理器
CN115830385A (zh) 图像检测方法、装置、电子设备及计算机可读取存储介质
CN110958449B (zh) 三维视频主观感知质量预测方法
CN112801048A (zh) 最优目标图像的识别方法、装置、设备及存储介质
CN113557522A (zh) 基于相机统计的图像帧预处理
CN112861960B (zh) 一种图像篡改检测方法、系统及存储介质
CN117671472B (zh) 一种基于动态视觉传感器的水下多目标群体识别方法
Mathew et al. Automated Censorable Content Identification In Videos Using Deep Learning
CN114708230B (zh) 基于图像分析的车架质量检测方法、装置、设备及介质
CN113435339B (zh) 车辆属性检测方法、设备及存储介质
CN117095244B (zh) 一种红外目标识别方法、装置、设备及介质
CN118097218A (zh) 模型训练方法、目标分类方法、目标分类装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant