CN112926541A

CN112926541A - 一种睡岗检测方法、装置及相关设备

Info

Publication number: CN112926541A
Application number: CN202110382540.0A
Authority: CN
Inventors: 王跃; 谢会斌; 李聪廷
Original assignee: Jinan Boguan Intelligent Technology Co Ltd
Current assignee: Jinan Boguan Intelligent Technology Co Ltd
Priority date: 2021-04-09
Filing date: 2021-04-09
Publication date: 2021-06-08
Anticipated expiration: 2041-04-09
Also published as: CN112926541B

Abstract

本申请公开了一种睡岗检测方法，包括对图像序列中的各图像帧进行目标检测，获得目标人体中各目标骨骼点的位置信息；根据所述位置信息判断所述图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围；若是，则将所述目标骨骼点标记为睡眠状态，并根据处于所述睡眠状态的目标骨骼点的数量计算获得所述图像帧的睡眠概率；根据各所述图像帧的睡眠概率计算获得所述目标人体的实际睡眠概率；当所述实际睡眠概率超出预设阈值时，判定所述目标人体处于睡眠状态；该睡岗检测方法可以更为有效的提高睡岗检测结果的准确性。本申请还公开了一种睡岗检测装置、系统以及计算机可读存储介质，均具有上述有益效果。

Description

一种睡岗检测方法、装置及相关设备

技术领域

本申请涉及智能监控技术领域，特别涉及一种睡岗检测方法，还涉及一种睡岗检测装置、系统以及计算机可读存储介质。

背景技术

人工智能技术的快速发展带动了安防技术的快速部署，在生产和生活必须持续监控的行业中，相机的监控仍需要人工不断的参与，但是，值班人员可能会因侥幸心理玩忽职守，很难保证长时间专注的处于值岗状态，而值班人员的疏忽可能造成事故的发生，给社会和企业带来安全隐患。在相关技术中，多采用卷积神经网络实现值班人员睡觉行为检测，但是，由于卷积神经网络处理的对象为二维图片，而睡觉的姿势千差万别，因此，简单的分类网络无法涵盖所有的在岗睡觉姿势，很容易造成睡岗误检。

因此，如何更为有效的提高睡岗检测结果的准确性是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种睡岗检测方法，该睡岗检测方法可以更为有效的提高睡岗检测结果的准确性；本申请的另一目的是提供一种睡岗检测装置、系统以及计算机可读存储介质，也具有上述有益效果。

第一方面，本申请提供了一种睡岗检测方法，包括：

对图像序列中的各图像帧进行目标检测，获得目标人体中各目标骨骼点的位置信息；

根据所述位置信息判断所述图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围；

若是，则将所述目标骨骼点标记为睡眠状态，并根据处于所述睡眠状态的目标骨骼点的数量计算获得所述图像帧的睡眠概率；

根据各所述图像帧的睡眠概率计算获得所述目标人体的实际睡眠概率；

当所述实际睡眠概率超出预设阈值时，判定所述目标人体处于睡眠状态。

优选的，所述根据所述位置信息判断所述图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围之前，还包括：

获取各所述目标骨骼点的置信度，并将所述置信度低于预设置信度的目标骨骼点剔除。

根据所述位置信息计算所述图像帧中的目标骨骼点与所述历史图像帧中的匹配目标骨骼点的欧氏距离；

根据所述图像帧中所述目标人体的各所述目标骨骼点的欧氏距离计算获得平均欧氏距离；

将所述欧氏距离超出所述平均欧式距离预设倍数的目标骨骼点剔除。

优选的，所述根据所述位置信息判断所述图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围，包括：

根据预设灵敏度确定所述历史图像帧中所述匹配目标骨骼点的外接圆；

在所述图像帧中确定所述外接圆对应的匹配外接圆；

判断所述图像帧中对应于所述匹配目标骨骼点的目标骨骼点是否在所述匹配外接圆内；

若是，则确定所述目标骨骼点与所述匹配目标骨骼点存在于同一预设范围；

若否，则确定所述目标骨骼点与所述匹配目标骨骼点不存在于同一预设范围。

优选的，所述根据各所述图像帧的睡眠概率计算获得所述目标人体的实际睡眠概率，包括：

将所有所述图像帧的睡眠概率的加和平均值作为所述目标人体的实际睡眠概率。

优选的，所述当所述实际睡眠概率超出预设阈值时，判定所述目标人体处于睡眠状态之后，还包括：

统计所述目标人体处于所述睡眠状态的持续时长；

当所述持续时长超出预设时长时，发出告警提示。

优选的，所述对图像序列中的各图像帧进行目标检测，获得目标人体中各目标骨骼点的位置信息，包括：

利用预设深度学习网络对所述图像帧进行目标检测，获得所述目标人体中各目标骨骼点的位置信息。

第二方面，本申请还公开了一种睡岗检测装置，包括：

目标检测模块，用于对图像序列中的各图像帧进行目标检测，获得目标人体中各目标骨骼点的位置信息；

位置匹配模块，用于根据所述位置信息判断所述图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围；

状态标定模块，用于若所述图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点存在于同一预设范围，则将所述目标骨骼点标记为睡眠状态，并根据处于所述睡眠状态的目标骨骼点的数量计算获得所述图像帧的睡眠概率；

概率计算模块，用于根据各所述图像帧的睡眠概率计算获得所述目标人体的实际睡眠概率；

状态判定模块，用于当所述实际睡眠概率超出预设阈值时，判定所述目标人体处于睡眠状态。

第三方面，本申请还公开了一种睡岗检测系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如上所述的任一种睡岗检测方法的步骤。

第四方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种睡岗检测方法的步骤。

本申请所提供的一种睡岗检测方法，包括对图像序列中的各图像帧进行目标检测，获得目标人体中各目标骨骼点的位置信息；根据所述位置信息判断所述图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围；若是，则将所述目标骨骼点标记为睡眠状态，并根据处于所述睡眠状态的目标骨骼点的数量计算获得所述图像帧的睡眠概率；根据各所述图像帧的睡眠概率计算获得所述目标人体的实际睡眠概率；当所述实际睡眠概率超出预设阈值时，判定所述目标人体处于睡眠状态。

可见，本申请所提供的睡岗检测方法，通过对身体姿态骨骼点的识别和骨骼点运动范围的判断实现睡岗检测，首先检测获得目标人体中各目标骨骼点的位置信息，再将其与历史图像帧进行匹配比较，确定各目标骨骼点的运动范围，从而实现各目标骨骼点所处状态的确定，最后根据各目标骨骼点的所处状态确定目标人体的实际状态，完成睡岗检测，有效的解决了由于睡觉姿态各异导致的睡岗检测正检少、误检多的问题，大大提高了睡岗检测结果的准确性。

本申请所提供的一种睡岗检测装置、系统以及计算机可读存储介质，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。

图1为本申请所提供的一种睡岗检测方法的流程示意图；

图2为本申请所提供的另一种睡岗检测方法的流程示意图；

图3为本申请所提供的一种骨骼点连接关系图；

图4为本申请所提供的一种睡岗检测装置的结构示意图；

图5为本申请所提供的一种睡岗检测系统的结构示意图。

具体实施方式

本申请的核心是提供一种睡岗检测方法，该睡岗检测方法可以更为有效的提高睡岗检测结果的准确性；本申请的另一核心是提供一种睡岗检测装置、系统以及计算机可读存储介质，也具有上述有益效果。

为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在相关技术中，多采用卷积神经网络实现值班人员睡觉行为检测，但是，由于卷积神经网络处理的对象为二维图片，而睡觉的姿势千差万别，因此，简单的分类网络无法涵盖所有的在岗睡觉姿势，很容易造成睡岗误检。为解决上述问题，本申请提供了一种睡岗检测方法，该睡岗检测方法可以更为有效的提高睡岗检测结果的准确性。其中，睡岗检测是指基于智能视频分析，自动对视频图像信息进行分析识别，无需人工干预，对监控区域内的人员睡觉状态进行识别。

请参考图1，图1为本申请所提供的一种睡岗检测方法的流程示意图，该睡岗检测方法可包括：

S101：对图像序列中的各图像帧进行目标检测，获得目标人体中各目标骨骼点的位置信息；

本步骤旨在通过目标检测实现人体骨骼点位置信息的获取。具体的，可以利用图像采集设备，如摄像头、相机等对人员值岗区域进行视频采集，获得视频信息，进而通过分帧获得图像序列；进一步，对图像序列中的各图像帧进行目标检测，该目标具体为人体骨骼点，由此获得目标人体中各目标骨骼点的位置信息。其中，目标人体是指需要进行睡岗检测的人员，可以为一个，也可以为多个，换而言之，当图像帧中的人体数量不唯一时，可以仅对某一个目标人体进行睡岗检测，也可以为对多个或所有的目标人体进行睡岗检测，具体由技术人员根据实际情况进行设定即可；目标骨骼点则是指预先设定的需要采集的人体骨骼点，如肘部、腕部、肩部、颈部等，当然，目标骨骼点的种类数量并不唯一，可以理解的是，其种类数量越多，对应的睡岗检测结果也越为准确。

作为一种优选实施例，上述对图像序列中的各图像帧进行目标检测，获得目标人体中各目标骨骼点的位置信息，可以包括：利用预设深度学习网络对图像帧进行目标检测，获得目标人体中各目标骨骼点的位置信息。

本优选实施例提供了一种目标检测方法，即基于预设深度学习网络实现。可以理解的是，该预设深度学习网络的具体类型并不影响本技术方案的实施，例如，可以采用Openpose网络，Openpose网络是一种bottom-up方法，就是对一张图片首先从图像中找到所有人的所有骨骼点，然后再对这些点进行匹配连接，达到同一个人的点连接起来。其中，为保证检测效率和检测性能，同时保证检测结果的准确性，可以对Openpose网络进行适应性改进。当然，还可以采用其他神经网络，如R-CNN、Faster R-CNN、SSD、YOLO等。

S102：根据位置信息判断图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围；若是，则执行S103；若否，则执行是104；

S103：将目标骨骼点标记为睡眠状态；

S104：将目标骨骼点标记为清醒状态；

以上步骤旨在实现目标骨骼点运动范围的匹配判定，即判断当前图像帧(当前正在进行处理的任一图像帧，归属于上述图像序列)中的目标骨骼点与历史图像帧中相匹配的目标骨骼点(匹配目标骨骼点)是否存在于同一预设范围，可以理解的是，该同一预设范围判定是指判断目标骨骼点在当前图像帧中的位置所在的区域，是否与匹配目标骨骼点在历史图像帧中的位置所在的区域为同一区域，若是，则说明该目标骨骼点的运动范围较小，可将其标记为睡眠状态，反之则说明该目标骨骼点的运动范围较大，可将其标记为清醒状态，其中，目标骨骼点与匹配目标骨骼点的匹配对应，可通过目标追踪算法实现。

可以理解的是，历史图像帧是指出现于当前图像帧之前的任一图像帧，可以归属于当前的图像序列，也可以归属于当前图像序列之前的序列，但均归属于同一视频信息。换而言之，当前图像帧与历史图像帧间隔预设帧数，当然，该预设帧数的具体取值并不唯一，由技术人员根据实际需求进行设定即可，本申请对此不做限定。

作为一种优选实施例，上述根据位置信息判断图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围，可以包括：根据预设灵敏度确定历史图像帧中匹配目标骨骼点的外接圆；在图像帧中确定外接圆对应的匹配外接圆；判断图像帧中对应于匹配目标骨骼点的目标骨骼点是否在匹配外接圆内；若是，则确定目标骨骼点与匹配目标骨骼点存在于同一预设范围；若否，则确定目标骨骼点与匹配目标骨骼点不存在于同一预设范围。

本优选实施例提供了一种目标骨骼点运动范围的匹配判定方法，具体为判定目标骨骼点是否存在于匹配目标骨骼点的外接圆内。首先，在历史图像帧中，基于预设灵敏度计算匹配目标骨骼点的外接圆，进一步，在当前图像帧中确定该外接圆对应的匹配外接圆，最后，判断目标骨骼点是否存在于该匹配外接圆内，若是，则说明目标骨骼点与匹配目标骨骼点存在于同一预设范围，反之则说明二者不存在于同一预设范围。其中，预设灵敏度限定了外接圆的大小，其具体取值并不唯一，由技术人员根据实际需求进行设定即可，本申请对此不做限定。可以理解的是，在睡岗检测方法的具体实现流程中，是指对目标人体的每一个目标骨骼点执行上述操作。

作为一种优选实施例，上述根据位置信息判断图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围之前，还可以包括：获取各目标骨骼点的置信度，并将置信度低于预设置信度的目标骨骼点剔除。

本优选实施例提供了一种目标骨骼点的筛选方法，以便将不符合要求的不准确的目标骨骼点剔除，进一步提高睡岗检测结果的准确性。具体而言，可以将置信度过低的目标骨骼点剔除，因此，可以对每个目标骨骼点进行置信度获取，并将置信度低于预设置信度的目标骨骼点剔除，其中，预设置信度的具体取值并不唯一，由技术人员根据实际需求进行设定即可，本申请对此不做限定。

作为一种优选实施例，上述根据位置信息判断图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围之前，还可以包括：根据位置信息计算图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点的欧氏距离；根据图像帧中目标人体的各目标骨骼点的欧氏距离计算获得平均欧氏距离；将欧氏距离超出平均欧式距离预设倍数的目标骨骼点剔除。

本优选实施例提供了另一种目标骨骼点的筛选方法，以便将不符合要求的不准确的目标骨骼点剔除，进一步提高睡岗检测结果的准确性。具体而言，可以将欧氏距离过高的目标骨骼点剔除，该欧氏距离是指当前目标骨骼点与其对应的匹配目标骨骼点之间的距离。在具体实现过程中，先计算各目标骨骼点与其对应的匹配目标骨骼点之间的欧式距离，进而计算得到所有目标骨骼点的平均欧式距离，将该平均欧式距离作为判定标准，由此，即可将欧式距离超出该平均欧式距离预设倍数的目标骨骼点剔除，其中，预设倍数的具体取值并不唯一，由技术人员根据实际需求进行设定即可，本申请对此不做限定。

可以理解的是，在具体实现过程中，上述两种筛选方法可任选其一，也可为有效保证睡岗检测结果的准确性，先后执行上述两次筛选操作，本申请对此不做限定。

S105：根据处于睡眠状态的目标骨骼点的数量计算获得图像帧的睡眠概率；

本步骤旨在实现当前图像帧中目标人体睡眠概率的计算，在当前图像帧中，对于归属于同一目标人体的既定数量个目标骨骼点，统计处于睡眠状态的目标骨骼点的数量，并计算该数量与既定数量的比值，即为目标人体在当前图像帧中该的睡眠概率。例如，假设预先设定采集九个目标骨骼点的位置信息，分别为：头部、颈部、双肩部、双手肘部、双手腕部、腰部，其中，头部、颈部和双手腕部共四个目标骨骼点被标定为睡眠状态，其余五个目标骨骼点被标定为清醒状态，由此，当前图像帧的睡眠概率为4/9。

S106：根据各图像帧的睡眠概率计算获得目标人体的实际睡眠概率；

本步骤旨在实现目标人体实际睡眠概率的计算。具体而言，在基于以上操作流程获得各图像帧的睡眠概率之后，即可基于图像序列中所有的睡眠概率计算获得目标人体的实际睡眠概率。

作为一种优选实施例，上述根据各图像帧的睡眠概率计算获得目标人体的实际睡眠概率，可以包括：将所有图像帧的睡眠概率的加和平均值作为目标人体的实际睡眠概率。

本优选实施例提供了一种实际睡眠概率的计算方法，即将所有图像帧的睡眠概率的加和平均值作为目标人体的实际睡眠概率，也就是将所有图像帧的睡眠概率进行加和，除以图像序列中图像帧的数量，得到上述睡眠概率。

可以理解的是，上述加和平均值的计算方法仅为本优选实施例所提供的一种实现方式，并不唯一，也可以采用其他方式实现。例如，在基于以上操作流程获得各图像帧的睡眠概率之后，可以根据该睡眠概率标定目标人体在各图像帧中所处的状态，同样以上述预先设定采集九个目标骨骼点的位置信息为例，设定当睡眠概率的取值大于4/9时标定对应的图像帧为睡眠状态，不大于4/9时标定对应的图像帧为清醒状态，并以此方式得到图像序列中每张图像帧的所处状态，进而计算得到处于睡眠状态的图像帧在图像序列中的所占比率，并将其作为上述实际睡眠概率，例如，图像序列中有50张图像帧，处于睡眠状态的图像帧的数量为27，则实际睡眠概率为27/50。

S107：当实际睡眠概率超出预设阈值时，判定目标人体处于睡眠状态。

本步骤旨在基于实际睡眠概率实现最终的睡岗检测，当实际睡眠概率的取值超出预设阈值时，即可判定对应的目标人体处于睡眠状态。同样的，上述预设阈值的具体取值并不唯一，由技术人员根据实际需求进行设定即可，本申请对此不做限定。

作为一种优选实施例，上述当实际睡眠概率超出预设阈值时，判定目标人体处于睡眠状态之后，还可以包括：统计目标人体处于睡眠状态的持续时长；当持续时长超出预设时长时，发出告警提示。

本优选实施例所提供的睡岗检测方法实现了告警功能，以有效提醒值岗人员及时恢复值岗状态，避免不必要的安全隐患。具体而言，当判定目标人体已经进入睡眠状态时，即可统计目标人体处于睡眠状态的持续时长，并当其超出预设时长时，发出告警提示，如警铃提示或语音提示。其中，预设时长的具体取值并不唯一，由技术人员根据实际需求进行设定即可，本申请对此不做限定。

本申请实施例提供了另一种睡岗检测方法。

请参考图2，图2为本申请所提供的另一种睡岗检测方法的流程示意图,具体而言，首先，在采集获得关于某人体目标的图像帧后，将其输入至检测网络，由检测网络对该图像帧进行检测，获得该人体目标各骨骼关键点的位置信息；进一步，根据不同图像帧中人体目标的各骨骼关键点的位置信息对该目标人体的活动范围进行比对分析，从而确定人体姿态。

1、构建优化的姿态估计网络：

本申请实施例中的检测网络采用OpenPose网络，可以利用coco数据集训练人体骨骼点，最终得到每个人的骨骼点和连接关系。

在原OpenPose网络中，其使用VGG-19网络，采用连续6个stage(阶段)，每个stage包含两个分支，一个分支用来预测关键点的定位(heatmp)，另一个用来预测关键点组合(part affinity filed，pafs)；由于原Openpose网络深度太深，同时性能耗时太久，无法满足芯片上的大规模使用，因此，为解决上述问题，可以对网络结构进行多方面优化，优化后的网络更加适应产品性能，且有效提升了骨骼点的预测精度。

首先，利用卷积核裁剪后的resnet18网络代替原Openpose的VGG-19网络，解决由于网络层加深导致梯度消失、模型精度提升较小的问题。其次，由于Openpose网络共计6个stage，随着stage的加深，性能的消耗不断加大，但AP(精度)值提升却不是很大，而initialstage和stage 1的指标已基本满足骨骼点的定位，同时stage2和stage1阶段模型AP的提升在3％以内，但CPU消耗却增大了10％，越往后的stage在性能的消耗上更大，AP提升也更小，因此，可以通过裁剪网络层，将stage3、stage4和stage5阶段裁剪掉以达到性能和AP的最优。进一步，原Openpose网络的stage采用双路并行，会对同一层网络进行两次卷积，本申请通过将裁剪后保留的stage进行权值共享，将双路卷积改为单路卷积，并在最后分出两个branch(网络枝干)，分别用来预测关键点的heatmap和pafs，节省了运算性能。最后，由于原来的branch中使用的卷积核为7*7，计算量较大，本申请改为采用三个连续的1*1，3*3，3*3的卷积核代替原卷积核，并且，最后的3*3卷积核使用空洞卷积(dilated convolution)，即dilation＝2；由于将7*7变成了3个卷积核，导致网络层加深，可以利用residual(残差)连接降低梯度。

由此，即可基于上述网络对骨骼点进行训练或预测：

(1)输入w*h(宽*高)图像，和2D(二维)关键点；

(2)对图像进行卷积操作，卷积后一个分支用来预测身体关键点的2D置信度映射图集S；另一分支预测局部关联场的2D向量场集L；

(3)通过对置信度映射和关联场进行贪婪推理得出所有人的关键点。

其中，在预测阶段，可以通过对个体置信度响应进行max操作和非最大抑制获取候选点，其具体流程为：

在训练过程中，对于某类给定的关键点j，对于一个人k，训练时的置信度lable为每一关键点到真值(ground_truth)关键点的高斯距离，首先，为每一个个体k产生个体值的置信图

用x_j,k表示个体k的身体部位j关键点的真实位置，σ控制峰值的传播，那么，在置信图

中的位置P定义为：

在预测过程中，网络预测的置信度输出直接为置信度网络输出，再利用非极大值抑制方法获取关键点位置，即选取网络输出的最高置信度的位置作为网络预测的关键点位置：

进一步计算相应向量场上的线段积分来衡量关联关系，最终匹配到同一ID的各骨骼关键点。

此外，关于骨骼网络关键点的选取，虽然Openpose网络可将人体全身骨骼分为多个点，但是，预测点数量的增加不仅耗时影响性能，还会增加计算复杂度，影响实时性。因此，可以先分别训练pose全身16点、上半身9点、头部和肩颈部骨骼5点的网络，进而对比各网络骨骼点对睡岗检测的影响，通过计算每张图片性能耗时和对睡岗检测的判断，最终采用上半身9点骨骼点网络，保留双臂和上身的骨骼点，得到每个目标上半身的pose点和连接关系，如图3所示，图3为本申请所提供的一种骨骼点连接关系图，相应的，骨骼点连接关系为：POSE_COCO_PAIRS＝{1,8,1,2,2,3,3,4,1,5,5,6,6,7,1,0}。

2、睡岗检测业务逻辑实现：

(1)利用跟踪算法得到每帧图片中各目标的ID，通过跟踪ID获得每个目标ID的骨骼点id、id坐标、id置信度等；

(2)通过置信度阈值过滤掉置信度较小的骨骼点，保留剩余的骨骼点，如conf(置信度阈值)＝0.5；

(3)计算剩余各目标ID上各骨骼点id与N帧前该目标相应骨骼点id的欧氏距离，进而计算获得平均欧式距离，若某一帧某ID的骨骼点id的欧氏距离为其平均欧氏距离的m倍(m可取10)，则过滤掉该骨骼点id，即：

其中，dist(X,Y)为两点欧式距离，(x_i，y_i)为骨骼点i的坐标；

(4)通过阈值判断当前帧该目标的各骨骼点位置是否在对比帧的时空范围内，即计算两个骨骼点的时空关系，判断当前目标的骨骼点是否在相应目标的相应骨骼点的外接圆中，其中，对每一个骨骼点取外接圆：

int r＝5+0.45*sensitive

其中，sensitive为灵敏度，可控制外接圆的大小，r为外接圆的半径；若当前帧目标的骨骼点在N帧前的对应骨骼点的外接圆范围内，则认为该骨骼点处于睡眠状态，反之则该骨骼点处于清醒状态；基于此，计算获得每帧图片中每个目标的睡眠状态骨骼点的概率；

(5)连续统计M帧图片中各目标睡眠状态的概率，通过判断M帧图片中睡眠状态的概率是否大于设置的睡眠概率阈值，确定各目标是否处于睡岗状态；

(6)统计处于睡眠状态的目标的睡眠时长，当其超出预设时间阈值时，触发告警机制。

可见，本申请实施例所提供的睡岗检测方法，通过对身体姿态骨骼点的识别和骨骼点运动范围的判断实现睡岗检测，首先检测获得目标人体中各目标骨骼点的位置信息，再将其与历史图像帧进行匹配比较，确定各目标骨骼点的运动范围，从而实现各目标骨骼点所处状态的确定，最后根据各目标骨骼点的所处状态确定目标人体的实际状态，完成睡岗检测，有效的解决了由于睡觉姿态各异导致的睡岗检测正检少、误检多的问题，大大提高了睡岗检测结果的准确性。

为解决上述技术问题，本申请还提供了一种睡岗检测装置，请参考图4，图4为本申请所提供的一种睡岗检测装置的结构示意图，该睡岗检测装置可包括：

目标检测模块1，用于对图像序列中的各图像帧进行目标检测，获得目标人体中各目标骨骼点的位置信息；

位置匹配模块2，用于根据位置信息判断图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围；

状态标定模块3，用于若图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点存在于同一预设范围，则将目标骨骼点标记为睡眠状态，并根据处于睡眠状态的目标骨骼点的数量计算获得图像帧的睡眠概率；

概率计算模块4，用于根据各图像帧的睡眠概率计算获得目标人体的实际睡眠概率；

状态判定模块5，用于当实际睡眠概率超出预设阈值时，判定目标人体处于睡眠状态。

可见，本申请实施例所提供的睡岗检测装置，通过对身体姿态骨骼点的识别和骨骼点运动范围的判断实现睡岗检测，首先检测获得目标人体中各目标骨骼点的位置信息，再将其与历史图像帧进行匹配比较，确定各目标骨骼点的运动范围，从而实现各目标骨骼点所处状态的确定，最后根据各目标骨骼点的所处状态确定目标人体的实际状态，完成睡岗检测，有效的解决了由于睡觉姿态各异导致的睡岗检测正检少、误检多的问题，大大提高了睡岗检测结果的准确性。

作为一种优选实施例，该睡岗检测装置还可包括第一筛选模块，用于在上述根据位置信息判断图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围之前，获取各目标骨骼点的置信度，并将置信度低于预设置信度的目标骨骼点剔除。

作为一种优选实施例，该睡岗检测装置还可包括第二筛选模块，用于在上述根据位置信息判断图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围之前，根据位置信息计算图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点的欧氏距离；根据图像帧中目标人体的各目标骨骼点的欧氏距离计算获得平均欧氏距离；将欧氏距离超出平均欧式距离预设倍数的目标骨骼点剔除。

作为一种优选实施例，上述位置匹配模块2可具体用于根据预设灵敏度确定历史图像帧中匹配目标骨骼点的外接圆；在图像帧中确定外接圆对应的匹配外接圆；判断图像帧中对应于匹配目标骨骼点的目标骨骼点是否在匹配外接圆内；若是，则确定目标骨骼点与匹配目标骨骼点存在于同一预设范围；若否，则确定目标骨骼点与匹配目标骨骼点不存在于同一预设范围。

作为一种优选实施例，上述概率计算模块4可具体用于将所有图像帧的睡眠概率的加和平均值作为目标人体的实际睡眠概率。

作为一种优选实施例，该睡岗检测装置还可包括告警模块，用于在上述当实际睡眠概率超出预设阈值时，判定目标人体处于睡眠状态之后，统计目标人体处于睡眠状态的持续时长；当持续时长超出预设时长时，发出告警提示。

作为一种优选实施例，上述目标检测模块1可具体用于利用预设深度学习网络对图像帧进行目标检测，获得目标人体中各目标骨骼点的位置信息。

对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述技术问题，本申请还提供了一种睡岗检测系统，请参考图5，图5为本申请所提供的一种睡岗检测系统的结构示意图，该睡岗检测系统可包括：

存储器10，用于存储计算机程序；

处理器20，用于执行计算机程序时可实现如上述任意一种睡岗检测方法的步骤。

对于本申请提供的系统的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上述任意一种睡岗检测方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。

Claims

1.一种睡岗检测方法，其特征在于，包括：

2.根据权利要求1所述的睡岗检测方法，其特征在于，所述根据所述位置信息判断所述图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围之前，还包括：

3.根据权利要求1所述的睡岗检测方法，其特征在于，所述根据所述位置信息判断所述图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围之前，还包括：

4.根据权利要求1至3任意一项所述的睡岗检测方法，其特征在于，所述根据所述位置信息判断所述图像帧中的目标骨骼点与历史图像帧中的匹配目标骨骼点是否存在于同一预设范围，包括：

在所述图像帧中确定所述外接圆对应的匹配外接圆；

5.根据权利要求1所述的睡岗检测方法，其特征在于，所述根据各所述图像帧的睡眠概率计算获得所述目标人体的实际睡眠概率，包括：

6.根据权利要求1所述的睡岗检测方法，其特征在于，所述当所述实际睡眠概率超出预设阈值时，判定所述目标人体处于睡眠状态之后，还包括：

统计所述目标人体处于所述睡眠状态的持续时长；

当所述持续时长超出预设时长时，发出告警提示。

7.根据权利要求1所述的睡岗检测方法，其特征在于，所述对图像序列中的各图像帧进行目标检测，获得目标人体中各目标骨骼点的位置信息，包括：

8.一种睡岗检测装置，其特征在于，包括：

9.一种睡岗检测系统，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的睡岗检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1至7任一项所述的睡岗检测方法的步骤。