CN114821647A - 一种睡岗识别方法、装置、设备及介质 - Google Patents

一种睡岗识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN114821647A
CN114821647A CN202210439925.0A CN202210439925A CN114821647A CN 114821647 A CN114821647 A CN 114821647A CN 202210439925 A CN202210439925 A CN 202210439925A CN 114821647 A CN114821647 A CN 114821647A
Authority
CN
China
Prior art keywords
human body
picture
target
head
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210439925.0A
Other languages
English (en)
Inventor
范文豪
张永辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202210439925.0A priority Critical patent/CN114821647A/zh
Publication of CN114821647A publication Critical patent/CN114821647A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种睡岗识别方法、装置、设备及介质，涉及图像识别技术领域，该方法包括：获取待识别图片中人体目标对应的头肩区域图，并确定出与所述头肩区域图对应的目标高斯热点图；提取所述头肩区域图的语义特征信息以及所述目标高斯热点图的空间特征信息；将所述语义特征信息与所述空间特征信息进行特征融合，并基于融合后特征信息判断所述待识别图片中的所述人体目标是否处于睡岗状态。通过上述方案，能够在进行睡岗识别时只需要通过头肩区域特征来判断是否睡岗，并能够通过对头肩区域图的语义特征提取与目标高斯热点图的空间特征提取以及特征融合充分的利用图像中的信息。由此可以解决睡岗识别过程中目标遮挡的问题并提高睡岗识别的准确率。

Description

一种睡岗识别方法、装置、设备及介质
技术领域
本发明涉及图像识别技术领域，特别涉及一种睡岗识别方法、装置、设备及介质。
背景技术
工作时睡岗容易引发严重的灾难性事故，为了降低安全事故的发生概率，用户需要及时纠正在岗人员的睡岗行为。目前大部分企业都实现了监控视频全方位覆盖，但工厂、车间、工地等场景视野较开阔且人流量较多，如果单纯依靠肉眼去监督，不仅耗费人力也难以长时间保持警觉。随着机器视觉的发展，可以通过深度学习方法对视频监控下的睡岗行为进行检测，在减轻人力负担的同时也能够大大提高效率。
目前基于深度学习的睡岗检测方法主要分为目标检测以及人体姿态估计两类方法。然而，人体姿态估计方法一方面在目标侧身或遮挡严重的情况下会有部分关键点检测不出，导致基于人体关键点的睡岗识别效果不佳，另一方面若将检测结果直接输入基于ShuffleNet v2构建的卷积神经网络中来判断是否睡岗，由于睡觉姿势、摄像头角度、场景等多样化，直接根据人体图像进行分类难度较高，分类准确率会偏低。因此，在睡岗识别过程中存在识别效果不佳以及分类准确率低的问题有待进一步解决。
发明内容
有鉴于此，本发明的目的在于提供一种睡岗识别方法、装置、设备及介质，可以在睡岗识别过程中解决识别效果不佳以及分类准确率低的问题。其具体方案如下：
第一方面，本申请公开了一种睡岗识别方法，包括：
获取待识别图片中人体目标对应的头肩区域图，并确定出与所述头肩区域图对应的目标高斯热点图；
提取所述头肩区域图的语义特征信息以及所述目标高斯热点图的空间特征信息；
将所述语义特征信息与所述空间特征信息进行特征融合，并基于融合后特征信息判断所述待识别图片中的所述人体目标是否处于睡岗状态。
可选的，所述获取待识别图片中人体目标对应的头肩区域图，包括：
将待识别图片输入至训练后的人体头肩检测模型中以获取所述待识别图片中人体目标对应的头肩区域图；所述人体头肩检测模型为基于YOLO v5网络构建的模型，并且，所述YOLO v5网络中的Neck采用BiFPN结构。
可选的，所述确定出与所述头肩区域图对应的目标高斯热点图，包括：
将所述待识别图片输入至训练后的关键点检测模型，以得到所述待识别图片的人体关键点，并基于所述待识别图片的人体关键点构建所述待识别图片对应的原始高斯热点图；
从所述原始高斯热点图中确定出与所述头肩区域图对应的高斯热点，以得到与所述头肩区域图对应的目标高斯热点图。
可选的，还包括：
获取包含所述待识别图片以及与所述待识别图片相邻的若干图片的目标图片组，并通过检测所述目标图片组中不同相邻图片之间的关键点位置变化，以确定所述待识别图片中是否包含静态人体目标；
相应的，所述获取待识别图片中人体目标对应的头肩区域图，包括：
当所述待识别图片中包含静态人体目标，则获取所述待识别图片中的所述静态人体目标对应的头肩区域图。
可选的，还包括：
基于Shuffle网络与HRNet网络构建人体姿态估计模型；
相应的，所述将所述待识别图片输入至训练后的关键点检测模型，以得到所述待识别图片的人体关键点，包括：
将所述待识别图片输入至训练后的所述人体姿态估计模型，以通过所述人体姿态估计模型对所述待识别图片进行人体姿态估计，得到在人体姿态估计过程中检测出的人体关键点。
可选的，所述提取所述头肩区域图的语义特征信息以及所述目标高斯热点图的空间特征信息，将所述语义特征信息与所述空间特征信息进行特征融合，并基于融合后特征信息判断所述待识别图片中的所述人体目标是否处于睡岗状态，包括：
通过训练后的状态分类模型，提取所述头肩区域图的语义特征信息以及所述目标高斯热点图对应的不同人体关键点之间的空间位置关系，并将所述语义特征信息和所述空间位置信息进行特征融合，然后利用融合后特征信息对所述待识别图片中的所述人体目标的状态进行分类，以得到相应的人体状态类别；所述人体状态类别包括处于睡岗状态对应的类别以及处于非睡岗状态对应的类别。
可选的，还包括：
将GhostNet网络作为基础网络以及将ArcFace函数作为损失函数，构造所述状态分类模型；
其中，所述状态分类模型中的所述GhostNet网络用于提取所述头肩区域图的语义特征信息以及所述目标高斯热点图对应的不同人体关键点之间的空间位置关系。
第二方面，本申请公开了一种睡岗识别装置，包括：
头肩区域确定模块，用于获取待识别图片中人体目标对应的头肩区域图，并确定出与所述头肩区域图对应的目标高斯热点图；
特征信息提取模块，用于提取所述头肩区域图的语义特征信息以及所述目标高斯热点图的空间特征信息；
状态判断模块，用于将所述语义特征信息与所述空间特征信息进行特征融合，并基于融合后特征信息判断所述待识别图片中的所述人体目标是否处于睡岗状态。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如前述公开的所述的睡岗识别方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如前述公开的所述的睡岗识别方法的步骤。
本申请在进行睡岗识别时，先获取待识别图片中人体目标对应的头肩区域图，并确定出与所述头肩区域图对应的目标高斯热点图，然后提取所述头肩区域图的语义特征信息以及所述目标高斯热点图的空间特征信息，最后将所述语义特征信息与所述空间特征信息进行特征融合，并基于融合后特征信息判断所述待识别图片中的所述人体目标是否处于睡岗状态。可见，本申请在进行睡岗识别时，通过获取人体目标对应的头肩区域图与对应的目标高斯热点图，并对头肩区域图与目标高斯热点图分别进行特征提取后再进行特征融合，并根据特征融合后的结果来判断对应人体目标是否存在睡岗。由此，本申请中在进行睡岗识别时只需要通过头肩区域特征来判断而避免了在目标侧身或遮挡严重的情况下部分关键点检测不出而导致的睡岗识别效果不佳的问题；另一方面，通过对头肩区域图的语义特征提取与目标高斯热点图的空间特征提取以及特征融合，充分的利用图像中的各种信息，从而提高了睡岗识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种睡岗识别方法流程图；
图2为本申请提供的人体睡岗场景中身体部分结构遮挡情况示意图；
图3为本申请提供的一种具体的睡岗识别方法流程图；
图4为本申请提供的一种具体的睡岗识别方法流程图；
图5为本申请提供的动态目标过滤流程示意图；
图6为本申请提供的头肩区域检测示意图；
图7为本申请提供的头肩区域图与目标高斯热点图的区域关系示意图；
图8为本申请提供的睡岗流程判断示意图；
图9为本申请提供的一种具体的睡岗识别方法示意图；
图10为本申请提供的一种睡岗识别装置结构示意图；
图11为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前基于深度学习的睡岗检测方法主要分为目标检测以及人体姿态估计两类方法。然而，人体姿态估计方法一方面在目标侧身或遮挡严重的情况下会有部分关键点检测不出，导致基于人体关键点的睡岗识别效果不佳，另一方面若将检测结果直接输入基于ShuffleNet v2构建的卷积神经网络中来判断是否睡岗，由于睡觉姿势、摄像头角度、场景等多样化，直接根据人体图像进行分类难度较高，分类准确率会偏低。为此，本申请提供了一种睡岗识别方法能够有效解决在睡岗识别过程中睡岗行为识别不佳以及分类准确率低的问题。
本发明实施例公开了一种睡岗识别方法，参见图1所示，该方法包括：
步骤S11：获取待识别图片中人体目标对应的头肩区域图，并确定出与所述头肩区域图对应的目标高斯热点图。
在本实施例中，获取待识别图片中人体目标的头肩区域图，其中，所述头肩区域图指的是人体头肩区域小图，包括但不限于头肩区域RGB图像。在获取待识别图片中人体目标对应的头肩区域图之后，确定出与上述头肩区域图对应的目标高斯热点图。可以理解的是，由于在实际监控进行睡岗检测过程中，会存在人体遮挡的问题，如图2所示，从而使得基于人体整体关键点检测的睡岗识别效果不好，在本实施例中采用头肩区域图，避免了其他肢体关键点由于容易存在遮挡而导致的睡岗识别效果不好的问题。
步骤S12：提取所述头肩区域图的语义特征信息以及所述目标高斯热点图的空间特征信息。
在本实施例中，提取所述头肩区域图的语义特征信息以及所述目标高斯热点图对应的不同人体关键点之间的空间位置关系，如果直接使用头肩姿态图像进行分类，会导致网络模型无差别的提取人体各部分的特征以及背景信息，忽视了人体结构中蕴含的空间信息，为了让分类模型提取到更多的姿态信息，从所述目标高斯热点图中进行空间特征的提取，首先通过反向传播计算上述目标高斯热点图中每一个高斯热点的梯度值，并取平均值，将上述平均值作为进行空间提取后得到的空间信息特征图的权重值并与上述特征图的各个点的特征值相乘，将同一层的特征图相加并取平均值以得到单个特征图进行最大最小归一化，以得到所述目标高斯热点图的空间特征信息。
步骤S13：将所述语义特征信息与所述空间特征信息进行特征融合，并基于融合后特征信息判断所述待识别图片中的所述人体目标是否处于睡岗状态。
在本实施例中，将提取得到的语义特征信息与空间特征信息进行融合，并且基于融合后的信息进行判断待识别图片中的所述人体目标是否处于睡岗状态，可以充分利用待识别图片中的信息来进行人体目标的状态判断。
可见，本实施例中在进行睡岗识别时，通过获取人体目标对应的头肩区域图与对应的目标高斯热点图，并对头肩区域图与目标高斯热点图分别进行特征提取后再进行特征融合，并根据特征融合后的结果来判断对应人体目标是否存在睡岗。由此，本申请中在进行睡岗识别时只需要通过头肩区域特征来判断而避免了在目标侧身或遮挡严重的情况下部分关键点检测不出而导致的睡岗识别效果不佳的问题；另一方面，通过对头肩区域图的语义特征提取与目标高斯热点图的空间特征提取以及特征融合，充分的利用图像中的各种信息，从而提高了睡岗识别的准确率。
参见图3所示，本发明实施例公开了一种具体的睡岗识别方法，相对于上一实施例，本实施例对技术方案作了进一步说明和优化。
步骤S21：将所述待识别图片输入至训练后的关键点检测模型，以得到所述待识别图片的人体关键点，并基于所述待识别图片的人体关键点构建所述待识别图片对应的原始高斯热点图。
在本实施例中，将所述待识别图片输入至训练后的关键点检测模型，以得到所述待识别图片的人体关键点，并基于所述待识别图片的人体关键点构建所述待识别图片对应的原始高斯热点图，以便于后续从原始高斯热点图中得到静态人体目标对应的目标高斯热点图。
步骤S22：获取包含所述待识别图片以及与所述待识别图片相邻的若干图片的目标图片组，并通过检测所述目标图片组中不同相邻图片之间的关键点位置变化，以确定所述待识别图片中是否包含静态人体目标。
在本实施例中，所述包含所述待识别图片以及与所述待识别图片相邻的若干图片的目标图片组指的是待识别图片前后预设范围内多帧图片组成的目标图片组。可以理解的是，所述目标图片组中图片的数量可由预设接口获取，并可以根据用户需求灵活更改，以便于对上述目标图片组进行关键点检测进而确定所述待识别图片中是否包含静态人体目标。
步骤S23：当所述待识别图片中包含静态人体目标，则获取所述待识别图片中的所述静态人体目标对应的头肩区域图。
步骤S24：从所述原始高斯热点图中确定出与所述头肩区域图对应的高斯热点，以得到与所述头肩区域图对应的目标高斯热点图。
在本实施例中，当所述待识别图片中包含有静态人体目标时，获取所述待识别图片中静态人体目标对应的头肩区域图，并确定出头肩区域图对应的目标高斯热点图，以便于后续进行空间特征与语义特征的提取与特征融合。
步骤S25：提取所述头肩区域图的语义特征信息以及所述目标高斯热点图的空间特征信息。
步骤S26：将所述语义特征信息与所述空间特征信息进行特征融合，并基于融合后特征信息判断所述待识别图片中的所述人体目标是否处于睡岗状态。
在本实施例中，通过训练后的状态分类模型，提取所述头肩区域图的语义特征信息以及所述目标高斯热点图对应的不同人体关键点之间的空间位置关系，并将所述语义特征信息和所述空间位置信息进行特征融合，然后利用融合后特征信息对所述待识别图片中的所述人体目标的状态进行分类，以得到相应的人体状态类别；所述人体状态类别包括处于睡岗状态对应的类别以及处于非睡岗状态对应的类别。
可见，在本实施例中，采用对包含所述待识别图片以及与所述待识别图片相邻的若干图片的目标图片组进行关键点检测，并通过关键点间位置变化来判断人体目标状态，当判定人体目标为动态时，则将其过滤；当人体目标为静态时再输入至状态分类模型进行睡岗判别。通过上述技术方案，可将动态人体目标筛除，避免对肯定为非睡岗状态的动态人体目标继续进行睡岗判别而导致产生不必要计算量，同时避免动态人体目标因某一时刻呈现睡姿而被误判为睡岗状态的问题。
参见图4所示，本发明实施例公开了一种具体的睡岗识别方法，相对于上一实施例，本实施例对技术方案作了进一步说明和优化。
步骤S31：将所述待识别图片输入至训练后的人体姿态估计模型，以通过所述人体姿态估计模型对所述待识别图片进行人体姿态估计，得到在人体姿态估计过程中检测出的人体关键点，并基于所述待识别图片的人体关键点构建所述待识别图片对应的原始高斯热点图；所述人体姿态估计模型为基于Shuffle网络与HRNet网络构建的。
在本实施例中，通过人体姿态估计模型以得到待识别图片的人体关键点检测。其中，所述上述人体姿态估计模型为以Lite_HRNet作为基础网络，Lite_HRNet为基于Shuffle网络与HRNet网络构建人体姿态估计模型，上述人体姿态估计模型具有很强的表示能力并对位置信息较为敏感，相较于主流轻量化网络Lite_HRNet具有更低的计算量以及更高的性能。在训练过程中使用L2损失函数，保证网络能够收敛，网络输出的关键点置信度图为S，亲和度向量为L，每个阶段的损失函数计算如下：
Figure BDA0003614683160000081
Figure BDA0003614683160000082
式中，J代表关键点，C代表肢体，t代表进行的阶段，P代表关键点位置信息，
Figure BDA0003614683160000083
代表关键点置信度预测值，
Figure BDA0003614683160000084
代表关键点置信度真实值，
Figure BDA0003614683160000085
代表关键点亲和度预测值，
Figure BDA0003614683160000086
代表关键点亲和度真实值，||·||2代表2范数。通过上述人体姿态估计模型对待检测图片中的人体目标关键点进行定位，并基于所述待识别图片的人体关键点构建所述待识别图片对应的原始高斯热点图，以便于后续通过原始高斯热点图确定目标高斯热点图。
步骤S32：获取包含所述待识别图片以及与所述待识别图片相邻的若干图片的目标图片组，并通过检测所述目标图片组中不同相邻图片之间的关键点位置变化，以确定所述待识别图片中是否包含静态人体目标。
在本实施例中，通过人体姿态估计模型对包含所述待识别图片以及与所述待识别图片相邻的若干图片的目标图片组进行人体关键点识别，并将关键点按照关节顺序相连就可以得到人体的骨架。本实施例中使用人体姿态估计模型来进行动态目标过滤主要是由于其他方法，例如跟踪、检测，对于动作幅度较小的目标效果不佳，而人体姿态估计模型能够很好的定位各关键点的位置，方便准确计算前后帧图片之间关键点位置的变化，从而过滤掉动作幅度较小的动态目标，使得误报率大大降低。
在本实施例中，动态目标过滤示意图如图5所示，在对上述目标图片组均输入至训练后的所述人体姿态估计模型来进行动态目标过滤，以得到目标图片组中每帧图片中的人体关键点，并将前后帧图像的人体关键点进行匹配，并通过计算前后帧之间人体关键点位置的均方误差值来确定人体关键点位置的变化幅度，均方误差值计算方式如下：
Figure BDA0003614683160000091
式中，yi表示定位到的关键点位置信息，
Figure BDA0003614683160000092
表示前一帧定位到的对应关键点位置信息，n表示定位到的关键点个数。并通过判断上述前后帧之间人体关键点位置的均方误差值与预设均方误差阈值之间的大小关系来判断上述人体关键点位置对应的人体目标是否处于静止状态，当上述均方误差值大于预设均方误差阈值时，则判定对应人体目标为动态目标；当均方误差值小于等于预设均方误差阈值时，则判定对应人体目标为静态人体目标。进一步的，在对所述待识别图片中所有人体目标进行人体关键点检测与状态识别的时候，将人体目标赋予唯一身份信息标识并标记为对应的状态。
步骤S23：当所述待识别图片中包含静态人体目标，则获取所述待识别图片中的所述静态人体目标对应的头肩区域图；所述人体头肩检测模型为基于YOLO v5网络构建的模型，并且，所述YOLO v5网络中的Neck采用BiFPN结构。
在本实施例中，将待识别图片输入至训练后的人体头肩检测模型中以获取所述待识别图片中人体目标对应的头肩区域图；所述人体头肩检测模型为基于YOLO v5网络构建的模型，上述YOLO v5网络主要由输入端、Backbone、Neck、Predicition四部分组成。在网络输入端会对数据集进行预处理操作，本发明用到的预处理主要包括Mosaic数据增强、自适应图片缩放等。并且，所述YOLO v5网络的Backbone部分选用CSP结合Focus作为基础网络，Neck采用BiFPN结构。不同于YOLO v5原始的FPN与PAN结构，BiFPN是一种加权的双向特征金字塔网络，通过引入权重来权衡不同尺度信息，能够更好的融合多尺度信息。损失函数采用的是GIOU损失：
Figure BDA0003614683160000101
Figure BDA0003614683160000102
式中，A表示真实头肩检测框，B表示预测头肩检测框，C表示包含A和B的最小矩形。头肩区域检测示意图如图6所示，当采用训练后的人体头肩检测模型对所述待识别图片进行识别之后，得到待识别图片中所有人体目标的头肩检测框，将识别出的人体目标头肩检测框与人体关键点识别中的人体关键点进行匹配，并过滤掉在人体关键点检测中被标记为动态的人体目标对应的头肩检测框，以得到静态人体目标所对应的头肩检测框，根据上述静态人体目标所对应的头肩检测框生成头肩姿态图，并在原始高斯热点图中截取静态人体目标的头肩姿态图所对应的目标高斯热点图，接着将当前帧待识别图片的人体目标与前一帧待识别图片中的人体目标进行匹配，匹配的原理为通过计算前后两帧图片中检测框的IoU(即Intersection over Union，交并比)大小以及预设IoU阈值来判断两个检测框是否匹配，匹配完成后将对应人体目标在一段持续时间内的状态进行保存。
步骤S34：从所述原始高斯热点图中确定出与所述头肩区域图对应的高斯热点，以得到与所述头肩区域图对应的目标高斯热点图。
在本实施例中，根据通过人体头肩检测模型中所识别出的头肩区域图来从原始高斯热点图中确定出目标高斯热点图。其中，所述头肩区域图与目标高斯热点图的区域关系如图7所示，头肩区域图与目标高斯热点图的区域边界相同，头肩区域图的格式包括但不限于RGB格式，并通过头肩区域图的边界位置确定目标高斯热点图。
步骤S35：通过训练后的状态分类模型，提取所述头肩区域图的语义特征信息以及所述目标高斯热点图对应的不同人体关键点之间的空间位置关系，并将所述语义特征信息和所述空间位置信息进行特征融合，然后利用融合后特征信息对所述待识别图片中的所述人体目标的状态进行分类，以得到相应的人体状态类别；所述人体状态类别包括处于睡岗状态对应的类别以及处于非睡岗状态对应的类别。
在本实施例中，睡岗流程判断示意图如图8所示，通过训练后的状态分类模型，提取所述头肩区域图的语义特征信息以及所述目标高斯热点图对应的不同人体关键点之间的空间位置关系，并将所述语义特征信息和所述空间位置信息进行特征融合，再进行睡岗状态判断，这样既能够增加头肩部分的空间信息又不损失原始头肩区域图像中的语义信息，从而提高睡岗识别的准确率。
在本实施例中将GhostNet网络作为基础网络构造所述状态分类模型，该网络中使用的Ghost模块可以通过简单的操作生成更多的特征图，充分揭示内部特征信息，可以在相同精度的情况下减少计算量，提高计算速度。在所述状态分类模型训练过程中将ArcFace函数作为损失函数，计算方式如下所示：
Figure BDA0003614683160000111
式中，n表示样本个数，s、m为训练网络中的超参数，yi为样本的标签，θ表示特征向量的角度。上述损失函数能够尽量保证类间距离足够大，类内距离足够小，提高模型的鲁棒性。所述状态分类模型中的所述GhostNet网络用于提取所述头肩区域图的语义特征信息以及所述目标高斯热点图对应的不同人体关键点之间的空间位置关系，以得到语义特征信息与空间特征信息，利用融合后特征信息对所述待识别图片中的所述人体目标的状态进行分类，以得到相应的人体状态类别，若状态分类模型判断所述人体目标为睡岗状态，则在缓存器中缓存入1；若状态分类模型判断所述人体目标为非睡岗状态，则在缓存器中缓存入0，当缓存器中1的个数超过预设阈值时，则报警。
在本实施例中，睡岗识别示意图如图9所示，首先输入待识别图片至人体姿态识别模型中，进行人体关键点检测与动态人体目标过滤，并根据得到的人体关键点位置信息生成原始高斯热点图，然后将带识别图片输入至人体头肩检测模型中进行头肩区域图的确定，并根据确定的头肩区域图确定目标高斯热点图，分别对目标高斯热点图与头肩区域图输入至状态分类模型中进行空间特征提取与语义特征提取，并进行特征融合，以判断对应人体目标是否为睡岗状态。
可见，在本实施例中，采用以Lite_HRNet作为基础网络的人体姿态估计模型进行人体关键点识别与动态人体目标过滤，能够准确定位人体关键点位置，方便准确计算前后关键点位置的变化，从而可以过滤点动作幅度较小的动态目标，使得误报率大大降低。
参见图10所示，本申请实施例公开了一种睡岗识别装置，包括：
头肩区域确定模块11，用于获取待识别图片中人体目标对应的头肩区域图，并确定出与所述头肩区域图对应的目标高斯热点图；
特征信息提取模块12，用于提取所述头肩区域图的语义特征信息以及所述目标高斯热点图的空间特征信息；
状态判断模块13，用于将所述语义特征信息与所述空间特征信息进行特征融合，并基于融合后特征信息判断所述待识别图片中的所述人体目标是否处于睡岗状态。
可见，本实施例中在进行睡岗识别时，通过获取人体目标对应的头肩区域图与对应的目标高斯热点图，并对头肩区域图与目标高斯热点图分别进行特征提取后再进行特征融合，并根据特征融合后的结果来判断对应人体目标是否存在睡岗。由此，本申请中在进行睡岗识别时只需要通过头肩区域特征来判断而避免了在目标侧身或遮挡严重的情况下部分关键点检测不出而导致的睡岗识别效果不佳的问题；另一方面，通过对头肩区域图的语义特征提取与目标高斯热点图的空间特征提取以及特征融合，充分的利用图像中的各种信息，从而提高了睡岗识别的准确率。
在一些具体实施例中，所述头肩区域确定模块11，具体包括：
关键点检测单元，用于将所述待识别图片输入至训练后的关键点检测模型，以得到所述待识别图片的人体关键点，并基于所述待识别图片的人体关键点构建所述待识别图片对应的原始高斯热点图；
目标高斯热点图确定单元，从所述原始高斯热点图中确定出与所述头肩区域图对应的高斯热点，以得到与所述头肩区域图对应的目标高斯热点图。
在一些具体实施例中，所述睡岗识别装置还包括：
静态人体目标判断模块，用于获取包含所述待识别图片以及与所述待识别图片相邻的若干图片的目标图片组，并通过检测所述目标图片组中不同相邻图片之间的关键点位置变化，以确定所述待识别图片中是否包含静态人体目标；
静态头肩区域图确定模块，用于当所述待识别图片中包含静态人体目标，则获取所述待识别图片中的所述静态人体目标对应的头肩区域图。
在一些具体实施例中，所述睡岗识别装置还包括：
姿态模型构建模块，用于基于Shuffle网络与HRNet网络构建人体姿态估计模型。
在一些具体实施例中，所述睡岗识别装置还包括：
分类模型构建模块，用于将GhostNet网络作为基础网络以及将ArcFace函数作为损失函数，构造所述状态分类模型。
图11所示为本申请实施例提供的一种电子设备20。该电子设备20，具体还可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的睡岗识别方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源储存的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221，计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的睡岗识别方法的计算机程序外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的睡岗识别方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种睡岗识别方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种睡岗识别方法，其特征在于，包括：
获取待识别图片中人体目标对应的头肩区域图，并确定出与所述头肩区域图对应的目标高斯热点图；
提取所述头肩区域图的语义特征信息以及所述目标高斯热点图的空间特征信息；
将所述语义特征信息与所述空间特征信息进行特征融合，并基于融合后特征信息判断所述待识别图片中的所述人体目标是否处于睡岗状态。
2.根据权利要求1所述的睡岗识别方法，其特征在于，所述获取待识别图片中人体目标对应的头肩区域图，包括：
将待识别图片输入至训练后的人体头肩检测模型中以获取所述待识别图片中人体目标对应的头肩区域图；所述人体头肩检测模型为基于YOLO v5网络构建的模型，并且，所述YOLO v5网络中的Neck采用BiFPN结构。
3.根据权利要求1所述的睡岗识别方法，其特征在于，所述确定出与所述头肩区域图对应的目标高斯热点图，包括：
将所述待识别图片输入至训练后的关键点检测模型，以得到所述待识别图片的人体关键点，并基于所述待识别图片的人体关键点构建所述待识别图片对应的原始高斯热点图；
从所述原始高斯热点图中确定出与所述头肩区域图对应的高斯热点，以得到与所述头肩区域图对应的目标高斯热点图。
4.根据权利要求3所述的睡岗识别方法，其特征在于，还包括：
获取包含所述待识别图片以及与所述待识别图片相邻的若干图片的目标图片组，并通过检测所述目标图片组中不同相邻图片之间的关键点位置变化，以确定所述待识别图片中是否包含静态人体目标；
相应的，所述获取待识别图片中人体目标对应的头肩区域图，包括：
当所述待识别图片中包含静态人体目标，则获取所述待识别图片中的所述静态人体目标对应的头肩区域图。
5.根据权利要求4所述的睡岗识别方法，其特征在于，还包括：
基于Shuffle网络与HRNet网络构建人体姿态估计模型；
相应的，所述将所述待识别图片输入至训练后的关键点检测模型，以得到所述待识别图片的人体关键点，包括：
将所述待识别图片输入至训练后的所述人体姿态估计模型，以通过所述人体姿态估计模型对所述待识别图片进行人体姿态估计，得到在人体姿态估计过程中检测出的人体关键点。
6.根据权利要求1至5任一项所述的睡岗识别方法，其特征在于，所述提取所述头肩区域图的语义特征信息以及所述目标高斯热点图的空间特征信息，将所述语义特征信息与所述空间特征信息进行特征融合，并基于融合后特征信息判断所述待识别图片中的所述人体目标是否处于睡岗状态，包括：
通过训练后的状态分类模型，提取所述头肩区域图的语义特征信息以及所述目标高斯热点图对应的不同人体关键点之间的空间位置关系，并将所述语义特征信息和所述空间位置信息进行特征融合，然后利用融合后特征信息对所述待识别图片中的所述人体目标的状态进行分类，以得到相应的人体状态类别；所述人体状态类别包括处于睡岗状态对应的类别以及处于非睡岗状态对应的类别。
7.根据权利要求6所述的睡岗识别方法，其特征在于，还包括：
将GhostNet网络作为基础网络以及将ArcFace函数作为损失函数，构造所述状态分类模型；
其中，所述状态分类模型中的所述GhostNet网络用于提取所述头肩区域图的语义特征信息以及所述目标高斯热点图对应的不同人体关键点之间的空间位置关系。
8.一种睡岗识别装置，其特征在于，包括：
头肩区域确定模块，用于获取待识别图片中人体目标对应的头肩区域图，并确定出与所述头肩区域图对应的目标高斯热点图；
特征信息提取模块，用于提取所述头肩区域图的语义特征信息以及所述目标高斯热点图的空间特征信息；
状态判断模块，用于将所述语义特征信息与所述空间特征信息进行特征融合，并基于融合后特征信息判断所述待识别图片中的所述人体目标是否处于睡岗状态。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的睡岗识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的睡岗识别方法的步骤。
CN202210439925.0A 2022-04-25 2022-04-25 一种睡岗识别方法、装置、设备及介质 Pending CN114821647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210439925.0A CN114821647A (zh) 2022-04-25 2022-04-25 一种睡岗识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210439925.0A CN114821647A (zh) 2022-04-25 2022-04-25 一种睡岗识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114821647A true CN114821647A (zh) 2022-07-29

Family

ID=82508301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210439925.0A Pending CN114821647A (zh) 2022-04-25 2022-04-25 一种睡岗识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114821647A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272973A (zh) * 2022-08-02 2022-11-01 上海禹创智能科技有限公司成都分公司 识别睡觉行为的方法、装置、存储介质及处理器
CN115631509A (zh) * 2022-10-24 2023-01-20 智慧眼科技股份有限公司 一种行人再识别方法、装置、计算机设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统
CN109902576A (zh) * 2019-01-25 2019-06-18 华中科技大学 一种头肩图像分类器的训练方法及应用
CN109934111A (zh) * 2019-02-12 2019-06-25 清华大学深圳研究生院 一种基于关键点的健身姿态估计方法及系统
CN110334607A (zh) * 2019-06-12 2019-10-15 武汉大学 一种视频人体交互行为识别方法及系统
CN111767823A (zh) * 2020-06-23 2020-10-13 京东数字科技控股有限公司 一种睡岗检测方法、装置、系统及存储介质
WO2021051579A1 (zh) * 2019-09-17 2021-03-25 平安科技（深圳）有限公司 形体姿态识别方法、系统、装置及存储介质
CN112926541A (zh) * 2021-04-09 2021-06-08 济南博观智能科技有限公司 一种睡岗检测方法、装置及相关设备
CN114037943A (zh) * 2021-11-25 2022-02-11 湖南中科助英智能科技研究院有限公司 一种防脱岗睡岗检测方法及装置
CN114241524A (zh) * 2021-12-23 2022-03-25 北京邮电大学 人体姿态估计方法、装置、电子设备及可读存储介质
CN114332680A (zh) * 2021-12-08 2022-04-12 腾讯科技（深圳）有限公司 图像处理、视频搜索方法、装置、计算机设备和存储介质
US20220358326A1 (en) * 2019-11-20 2022-11-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Hand posture estimation method, apparatus, device, and computer storage medium

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711320A (zh) * 2018-12-24 2019-05-03 兴唐通信科技有限公司 一种值班人员违规行为检测方法及系统
CN109902576A (zh) * 2019-01-25 2019-06-18 华中科技大学 一种头肩图像分类器的训练方法及应用
CN109934111A (zh) * 2019-02-12 2019-06-25 清华大学深圳研究生院 一种基于关键点的健身姿态估计方法及系统
CN110334607A (zh) * 2019-06-12 2019-10-15 武汉大学 一种视频人体交互行为识别方法及系统
WO2021051579A1 (zh) * 2019-09-17 2021-03-25 平安科技（深圳）有限公司 形体姿态识别方法、系统、装置及存储介质
US20220358326A1 (en) * 2019-11-20 2022-11-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Hand posture estimation method, apparatus, device, and computer storage medium
CN111767823A (zh) * 2020-06-23 2020-10-13 京东数字科技控股有限公司 一种睡岗检测方法、装置、系统及存储介质
CN112926541A (zh) * 2021-04-09 2021-06-08 济南博观智能科技有限公司 一种睡岗检测方法、装置及相关设备
CN114037943A (zh) * 2021-11-25 2022-02-11 湖南中科助英智能科技研究院有限公司 一种防脱岗睡岗检测方法及装置
CN114332680A (zh) * 2021-12-08 2022-04-12 腾讯科技（深圳）有限公司 图像处理、视频搜索方法、装置、计算机设备和存储介质
CN114241524A (zh) * 2021-12-23 2022-03-25 北京邮电大学 人体姿态估计方法、装置、电子设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘唐波;杨锐;王文伟;何楚;: "基于姿态估计的驾驶员手部动作检测方法研究", 信号处理, no. 12, 25 December 2019 (2019-12-25) *
潘锋, 王宣银, 王全强: "智能监控中基于头肩特征的人体检测方法研究", 浙江大学学报(工学版), no. 04, 30 April 2004 (2004-04-30) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272973A (zh) * 2022-08-02 2022-11-01 上海禹创智能科技有限公司成都分公司 识别睡觉行为的方法、装置、存储介质及处理器
CN115631509A (zh) * 2022-10-24 2023-01-20 智慧眼科技股份有限公司 一种行人再识别方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN109344787B (zh) 一种基于人脸识别与行人重识别的特定目标跟踪方法
CN108805900B (zh) 一种跟踪目标的确定方法及装置
CN109284733B (zh) 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
CN110837856B (zh) 神经网络训练及目标检测方法、装置、设备和存储介质
CN114821647A (zh) 一种睡岗识别方法、装置、设备及介质
CN109858371A (zh) 人脸识别的方法及装置
CN109165589A (zh) 基于深度学习的车辆重识别方法和装置
CN109766755A (zh) 人脸识别方法及相关产品
CN112257527B (zh) 基于多目标融合与时空视频序列的手机检测方法
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN111476160A (zh) 损失函数优化方法、模型训练方法、目标检测方法及介质
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
CN113870254A (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN115205581A (zh) 一种钓鱼检测方法、钓鱼检测设备和计算机可读存储介质
CN112257492A (zh) 一种多路摄像头实时入侵检测与跟踪方法
CN111985331B (zh) 预防商业秘密被窃照的检测方法及装置
CN109523573A (zh) 目标对象的跟踪方法和装置
CN109583296A (zh) 一种防止误检测方法、装置、系统及计算机存储介质
CN115410240A (zh) 智能人脸的痘痘和色斑分析方法、装置及存储介质
EP4287145A1 (en) Statistical model-based false detection removal algorithm from images
CN112183287A (zh) 一种移动机器人在复杂背景下的人数统计方法
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
TWI777689B (zh) 物件辨識暨體溫量測方法
JP6893812B2 (ja) 物体検出装置
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination