CN110909684A - 基于人体检测的工作状态检查系统及方法 - Google Patents

Abstract

本发明公开了一种基于人体检测的工作状态检查系统，包括：视频图像获取模块，用于实时获取工作人员在工作场景下的视频图像；图像分析模块，用于对每一帧输入的所述视频图像进行图像检测分析，并根据所检测到的所述工作人员的人体姿态信息，得出所述工作人员在所述工作场景下的工作状态；工作状态记录模块，用于对所述工作人员的所述工作状态进行数据记录，并将记录的所述数据存储于一数据库中，本发明通过实时采集工作人员在工作场景下的视频图像，并通过对每一帧视频图像进行人体姿态检测，然后依据预设的考评规则对人体姿态是否符合规定要求进行评价分析，所作出的检查结果更加客观、真实。本发明还公开了一种基于人体检测的工作状态检查方法。

Description

基于人体检测的工作状态检查系统及方法

技术领域

本发明涉及一种工作状态检查系统，具体涉及一种基于人体检测技术的工作状态检查系统及检查方法。

背景技术

在一些特殊的工作场景，比如在前台、在机场、在收费站，需要对各种类的服务人员的工作状态进行监督检查。目前大多企业采取的检查方式是，人为监督检查。人为监督检查方式费时费力，对于服务人员的工作状态的考评存在较大的主观性，而且人为的考评方式不具有实时性，无法对考评依据进行有效保存，考评结果有时候并不被考评对象认可。

发明内容

本发明的目的在于提供一种基于人体检测的工作状态检查系统、方法，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供基于人体检测的工作状态检查系统，用于对工作人员的工作状态进行实时检查，包括：

视频图像获取模块，用于实时获取所述工作人员在工作场景下的视频图像；

图像分析模块，连接所述视频图像获取模块，用于对每一帧输入的所述视频图像进行图像检测分析，并根据所检测到的所述工作人员的人体姿态信息，得出所述工作人员在所述工作场景下的工作状态；

工作状态记录模块，连接所述图像分析模块，用于对所述工作人员的所述工作状态进行数据记录，并将记录的所述数据存储于一数据库中。

作为本发明的一种优选方案，所述图像分析模块中具体包括：

人体检测单元，用于根据所述视频图像，并基于预设的人体检测算法，框选出所述工作人员在所述视频图像中的人体区域；

逻辑过滤单元，连接所述人体检测单元，用于根据预设的过滤方法，过滤掉所述人体区域中为非检测对象的所述人体姿态；

工作状态形成单元，连接所述逻辑过滤单元，用于根据未经过滤的所述视频图像、和/或所述视频图像中未经过滤的所述人体区域，形成关联所述工作人员的所述工作状态。

作为本发明的一种优选方案，所述人体检测算法包括基于卷积神经网络的OpenPose人体姿态估计算法、注意力检测算法中的任意一种或多种。

作为本发明的一种优选方案，作为检测对象的所述人体姿态包括所述工作人员玩手机的动作姿态、睡觉姿态中的任意一种或多种。

作为本发明的一种优选方案，所述基于人体检测的工作状态检查系统还包括一工作人员工作状态综合分析和结果展示平台，用户可通过所述工作人员工作状态综合分析和结果展示平台调取存储于所述数据库中的关联各所述工作人员的所述工作状态数据信息，并根据所调取的所述工作状态数据信息，对各所述工作人员的整体工作状态进行分析、统计，并形成综合分析结果展示给所述用户。

本发明还提供了一种基于人体检测的工作状态检查方法，通过应用所述工作状态检查系统实现，具体包括如下步骤：

步骤S1，所述工作状态检查系统实时获取工作人员在其工作场景下的视频图像；

步骤S2，所述工作状态检查系统对获取的每一帧所述视频图像进行图像检测分析，并根据所检测到的所述工作人员的人体姿态信息，得出所述工作人员在所述工作场景下的工作状态；

步骤S3，所述工作状态检查系统对所述工作人员的所述工作状态进行数据记录，并将记录的所述数据存储于一数据库中。

作为本发明的一种优选方案，所述步骤S2中，所述工作状态检查系统分析所述工作人员的所述工作状态的过程具体包括如下步骤：

步骤S21，所述工作状态检查系统根据所述视频图像，并基于预设的人体检测算法，检测得到所述工作人员在所述视频图像中的人体区域；

步骤S22，所述工作状态检查系统根据预设的过滤方法，过滤掉所述人体区域中为非检测对象的所述人体姿态；

步骤S23，所述工作状态检查系统根据未经过滤的所述视频图像、和/或所述视频图像中未经过滤的所述人体区域，形成关联所述工作人员的所述工作状态。

作为本发明的一种优选方案，预设的所述人体检测算法包括基于卷积神经网络的OpenPose人体姿态估计算法和注意力检测算法中的任意一种或多种。

作为本发明的一种优选方案，预设的所述过滤方法包括基于卷积神经网络的图像特征提取方法，所述工作状态检查系统基于所述卷积神经网络所提取的人体姿态图像特征包括所述工作人员玩手机的动作姿态图像特征和睡觉姿态图像特征中的任意一种或多种，所述工作状态检查系统将未提取的图像特征进行过滤，以保存未经过滤的所述视频图像、和/或所述视频图像中未经过滤的所述人体区域作为关联所述工作人员的所述工作状态。

作为本发明的一种优选方案，所述工作状态检查系统还包括对所述工作场景进行非规定存放物品检测的过程，具体包括如下步骤：

步骤L1，所述工作状态检查系统根据所述视频图像，并基于预设的物品检测算法对所述工作人员的所述工作场景进行物品检测，得到一物品检测结果；

步骤L2，所述工作状态检查系统根据所述物品检测结果，判断存在于所述视频图像中的物品是否为非规定存放的物品，

若是，则保存所述视频图像并转入步骤L3；

若否，则过滤掉所述视频图像；

步骤L3，所述工作状态检查系统根据所保存的所述视频图像，形成并记录关联所述工作人员的所述工作状态。

本发明的有益效果：本发明通过实时采集工作人员在工作场景下的视频图像，并通过对每一帧视频图像进行人体姿态检测，然后依据预设的考评规则对人体姿态是否符合规定要求进行评价分析，实现了对工作人员工作状态的自动实时检查，检查过程更有依据性，检查结果更加客观、真实，更容易被考评对象接受。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例所述的基于人体检测的工作状态检查系统的结构示意图；

图2是本发明一实施例所述的基于人体检测的工作状态检查系统中的图像分析模块的内部结构示意图；

图3是本发明一实施例所述的基于人体检测的工作状态检查方法的方法步骤图；

图4是本发明一实施例所述的基于人体检测的工作状态检查方法中的分析工作人员的工作状态的具体方法步骤图；

图5本发明一实施例所述的基于人体检测的工作状态检查方法中的对工作人员的工作场景进行非规定存放物品检测的具体方法步骤图；

图6是本发明一实施例所述的基于人体检测的工作状态检查系统实现对工作人员的工作状态的检查分析的原理框图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例提供的一种基于人体检测的工作状态检查系统，用于工作人员的工作状态进行实时检查，请参照图1，该工作状态检查系统包括：

视频图像获取模块1，用于实时获取工作人员在工作场景下的视频图像；这里所述的视频图像获取模块包括高清摄像头，工作场景为工作人员所在的工作环境，比如具体到每个员工的工位、前台、工作台等。

图像分析模块2，连接视频图像获取模块1，用于对每一帧输入的视频图像进行图像检测分析，并根据所检测到的工作人员的人体姿态信息，得出工作人员在工作场景下的工作状态；工作状态包括工作人员是否存在工作时间玩手机、睡觉、做美甲、看小说等无关正常工作的行为以及工作行为。

工作状态记录模块3，连接图像分析模块2，用于对工作人员的工作状态进行数据记录，并将记录的数据存储于一数据库中。这里所述的数据包括摄像头所拍摄的视频图像以及对视频图像进行分析得到的人体姿态图像，人体姿态图像包括工作人员的正常工作状态下的姿态图像以及非正常工作状态下的姿态图像。非正常工作状态下的姿态图像包括但不限于工作时间玩手机、睡觉、看小说等无关正常工作的行为姿态。企业还可根据自身的企业规则预设非正常工作状态的姿态行为，比如保安的正常工作姿态通常为站立状态，当系统检测到保安为坐姿状态，则系统初步判断该保安的工作状态异常，然后可以设定保安处于非正常工作姿态的时间，比如当保安处于坐姿状态连续超过半个小时，则最终判定为保安的工作状态异常，然后将保安的异常工作状态数据(处于坐姿的视频图像以及持续坐姿状态的累计时间等数据)进行记录存储，以便于后续对保安工作状态是否异常进行进一步的数据分析和处理。

请参照图2，图像分析模块2中具体包括：

人体检测单元21，用于根据视频图像，并基于预设的人体检测算法，框选处工作人员在视频图像中的人体区域；预设的人体检测算法包括但不限于基于卷积神经网络的OpenPose人体姿态估计算法。为了增强对人体目标检测的准确率和识别效率，更优选地，系统通过多个人体目标检测算法对人体目标进行检测，比如可以另外通过注意力检测算法对人体目标进行进一步的检测。现有技术中存在较多的注意力检测算法，比如可以通过检测人眼关键点，并对人眼的开闭状态，眨眼频率等进行分析，判断出被检测对象的注意力程度。本发明采用的注意力检测算法为现有技术中存在的方法，所以其对人体目标检测的具体过程在此不作阐述。

逻辑过滤单元22，连接人体检测单元21，用于根据预设的过滤方法，过滤掉人体区域中为非检测对象的人体姿态。举例而言，对于收费站工作人员来说，收费站工作人员的服务内容主要为，为入高速车辆司机收递收费卡及结算找零，收费站对收费站工作人员的服务要求通常为微笑服务，所以对于收费站工作人员工作状态的检查通常为检查他们的微笑状态。所以系统将重点检测收费站工作人员的头部区域的活动情况以及手部区域动作姿态，所以为了提高对收费站服务人员工作状态的评价速度，系统将自动过滤掉收费站工作人员的腿部动作姿态(非检测对象)。

这里需要说明的是，预设的过滤方法有许多，比如可以基于卷积神经网络对视频图像进行图像特征提取，重点对工作人员在玩手机时的动作姿态、睡觉姿态等非正常工作姿态进行图像特征提取而过滤掉正常工作姿态的姿态图像。

工作状态形成单元23，连接逻辑过滤单元22，用于根据未经过滤的视频图像、或视频图像中未经过滤的人体区域，形成关联工作人员的工作状态。

为了便于后续对各工作人员的工作状态进行进一步的分析、统计，优选地，本实施例提供的工作状态检查系统还包括：

一工作人员工作状态综合分析和结果展示平台，用户可通过该工作人员工作状态综合分析和结果展示平台调取存储于数据库中的关联各工作人员的工作状态数据信息，并根据所调取的工作状态数据信息，对各工作人员的整体工作状态进行分析、统计，并形成综合分析结果展示给用户。

这里所述的工作状态数据信息包括检测到的人体姿态信息以及工作人员产生某一人体姿态的时间、持续时间、人体姿态是否合规、是否在岗、缺岗次数等信息。

请参照图3和图6，本发明另外提供了一种基于人体检测的工作状态检查方法，通过应用上述的工作状态检查系统实现，具体包括如下步骤：

步骤S1，工作状态检查系统实施获取工作人员在其工作场景下的视频图像；

步骤S2，工作状态检查系统对获取的每一帧视频图像进行图像检测分析，并根据所检测到的工作人员的人体姿态信息，得出工作人员在工作场景下的工作状态；

步骤S3，工作状态检查系统对工作人员的工作状态进行数据记录，并将记录的数据存储于一数据库中。

请参照图4，步骤S2中，工作状态检查系统分析工作人员的工作状态的过程具体包括如下步骤：

步骤S21，工作状态检查系统根据视频图像，并基于预设的人体检测算法，检测得到工作人员在视频图像中的人体区域；

步骤S22，工作状态检查系统根据预设的过滤方法，过滤掉人体区域中为非检测对象的人体姿态；

步骤S23，工作状态检查系统根据未经过滤的视频图像、和/或视频图像中的未经过滤的人体区域，形成关联工作人员的工作状态。

上述技术方案中，步骤S21中，预设的人体检测算法包括但不限于基于卷积神经网络的OpenPose人体姿态估计算法和注意力检测算法。

预设的过滤方法包括基于卷积神经网络的图像特征提取方法，工作状态检查系统基于卷积神经网络所提取的人体姿态图像特征包括工作人员玩手机的动作姿态图像特征、睡觉姿态图像特征等非正常工作姿态图像特征，工作状态检查系统将未提取的图像特征进行过滤，并将经过滤后的视频图像、和/或视频图像经过滤后的人体区域作为关联工作人员的工作状态并保存。

为了扩充对工作人员工作状态的评价范围，提高对工作人员工作状态的评价客观性，优选地，请参照图5，所述工作状态检查系统还包括对工作人员的工作场景进行非规定存放物品检测的过程，具体包括如下步骤：

步骤L1，工作状态检查系统根据视频图像，并基于预设的物品检测算法对工作人员的工作场景进行物品检测，得到一物品检测结果；

步骤L2，工作状态检查系统根据物品检测结果，判断存在于视频图像中的物品是否为非规定存放的物品，

若是，则保存该视频图像并转入步骤L3；

若否，则过滤掉该视频图像；

步骤L3，工作状态检查系统根据所保存的视频图像，形成并记录关联工作人员的工作状态。

上述技术方案中，物品检测算法可以是现有技术中存在的基于卷积神经网络的图像特征提取方法，系统根据所提取的物品图像特征，判断视频图像中是否存在物品。

另外，系统判断所提取的物品图像对应的物品种类的方法为现有技术中存在的类别判断方法。该类别判断方法也可以通过现有的卷积神经网络实现，比如可以通过训练形成一物品类别识别模型识别到所提取的物品对应的物品种类。由于训练物品类别识别模型的方法并非本发明要求权利保护的范围，所以其训练过程在此不作阐述。

综上，本发明通过实时采集工作人员在工作场景下的视频图像，并通过对每一帧视频图像进行人体姿态检测、和/或非规定存放物品检测，然后依据预设的考评规则对人体姿态是否符合规定要求，在工作场景比如工位上是否存放有非规定的物品等进行评价分析，实现了对工作人员工作状态的自动实时检查，检查过程更有依据性，检查结果更加客观、真实，更容易被考评对象接受。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (10)

1.一种基于人体检测的工作状态检查系统，用于对工作人员的工作状态进行实时检查，其特征在于，包括：

视频图像获取模块，用于实时获取所述工作人员在工作场景下的视频图像；

图像分析模块，连接所述视频图像获取模块，用于对每一帧输入的所述视频图像进行图像检测分析，并根据所检测到的所述工作人员的人体姿态信息，得出所述工作人员在所述工作场景下的工作状态；

工作状态记录模块，连接所述图像分析模块，用于对所述工作人员的所述工作状态进行数据记录，并将记录的所述数据存储于一数据库中。

2.如权利要求1所述的基于人体检测的工作状态检查系统，其特征在于，所述图像分析模块中具体包括：

人体检测单元，用于根据所述视频图像，并基于预设的人体检测算法，框选出所述工作人员在所述视频图像中的人体区域；

逻辑过滤单元，连接所述人体检测单元，用于根据预设的过滤方法，过滤掉所述人体区域中为非检测对象的所述人体姿态；

工作状态形成单元，连接所述逻辑过滤单元，用于根据未经过滤的所述视频图像、和/或所述视频图像中未经过滤的所述人体区域，形成关联所述工作人员的所述工作状态。

3.如权利要求2所述的基于人体检测的工作状态检查系统，其特征在于，所述人体检测算法包括基于卷积神经网络的OpenPose人体姿态估计算法、注意力检测算法中的任意一种或多种。

4.如权利要求2所述的基于人体检测的工作状态检查系统，其特征在于，作为检测对象的所述人体姿态包括所述工作人员玩手机的动作姿态、睡觉姿态中的任意一种或多种。

5.如权利要求1所述的基于人体检测的工作状态检查系统，其特征在于，还包括一工作人员工作状态综合分析和结果展示平台，用户可通过所述工作人员工作状态综合分析和结果展示平台调取存储于所述数据库中的关联各所述工作人员的工作状态数据信息，并根据所调取的所述工作状态数据信息，对各所述工作人员的整体工作状态进行分析、统计，并形成综合分析结果展示给所述用户。

6.一种基于人体检测的工作状态检查方法，其特征在于，通过应用如权1-5任意一项所述的工作状态检查系统实现，具体包括如下步骤：

步骤S1，所述工作状态检查系统实时获取工作人员在其工作场景下的视频图像；

步骤S2，所述工作状态检查系统对获取的每一帧所述视频图像进行图像检测分析，并根据所检测到的所述工作人员的人体姿态信息，得出所述工作人员在所述工作场景下的工作状态；

步骤S3，所述工作状态检查系统对所述工作人员的所述工作状态进行数据记录，并将记录的所述数据存储于一数据库中。

7.如权利要求6所述的基于人体检测的工作状态检查方法，其特征在于，所述步骤S2中，所述工作状态检查系统分析所述工作人员的所述工作状态的过程具体包括如下步骤：

步骤S21，所述工作状态检查系统根据所述视频图像，并基于预设的人体检测算法，检测得到所述工作人员在所述视频图像中的人体区域；

步骤S22，所述工作状态检查系统根据预设的过滤方法，过滤掉所述人体区域中为非检测对象的所述人体姿态；

步骤S23，所述工作状态检查系统根据未经过滤的所述视频图像、和/或所述视频图像中未经过滤的所述人体区域，形成关联所述工作人员的所述工作状态。

8.如权利要求7所述的基于人体检测的工作状态检查方法，其特征在于，预设的所述人体检测算法包括基于卷积神经网络的OpenPose人体姿态估计算法和注意力检测算法中的任意一种或多种。

9.如权利要求7所述的基于人体检测的工作状态检查方法，其特征在于，预设的所述过滤方法包括基于卷积神经网络的图像特征提取方法，所述工作状态检查系统基于所述卷积神经网络所提取的人体姿态图像特征包括所述工作人员玩手机的动作姿态图像特征和睡觉姿态图像特征中的任意一种或多种，所述工作状态检查系统将未提取的图像特征进行过滤，以保存未经过滤的所述视频图像、和/或所述视频图像中未经过滤的所述人体区域作为关联所述工作人员的所述工作状态。

10.如权利要求7所述的基于人体检测的工作状态检查方法，其特征在于，所述工作状态检查系统还包括对所述工作场景进行非规定存放物品检测的过程，具体包括如下步骤：

步骤L1，所述工作状态检查系统根据所述视频图像，并基于预设的物品检测算法对所述工作人员的所述工作场景进行物品检测，得到一物品检测结果；

步骤L2，所述工作状态检查系统根据所述物品检测结果，判断存在于所述视频图像中的物品是否为非规定存放的物品，

若是，则保存所述视频图像并转入步骤L3；

若否，则过滤掉所述视频图像；

步骤L3，所述工作状态检查系统根据所保存的所述视频图像，形成并记录关联所述工作人员的所述工作状态。

Images