CN110443179B - 离岗检测方法、装置以及存储介质 - Google Patents

离岗检测方法、装置以及存储介质 Download PDF

Info

Publication number
CN110443179B
CN110443179B CN201910691409.5A CN201910691409A CN110443179B CN 110443179 B CN110443179 B CN 110443179B CN 201910691409 A CN201910691409 A CN 201910691409A CN 110443179 B CN110443179 B CN 110443179B
Authority
CN
China
Prior art keywords
human body
picture
determining
belonging
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910691409.5A
Other languages
English (en)
Other versions
CN110443179A (zh
Inventor
胡泽双
田志博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spider Iot Technology Beijing Co ltd
Original Assignee
Spider Iot Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spider Iot Technology Beijing Co ltd filed Critical Spider Iot Technology Beijing Co ltd
Priority to CN201910691409.5A priority Critical patent/CN110443179B/zh
Publication of CN110443179A publication Critical patent/CN110443179A/zh
Application granted granted Critical
Publication of CN110443179B publication Critical patent/CN110443179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种离岗检测方法、装置以及存储介质。其中，离岗检测方法包括：获取包含待检测对象的人体图像的图片；利用基于机器学习训练的特征提取模型，确定所述人体图像在所述图片中的位置信息；以及根据所述位置信息，判定所述待检测对象是否离岗。本申请所述的离岗检测方法识别比较全面，准确率高，识别速度快，具有较低的延时，以便保证实时监控。并且由于本方案采用了基于机器学习训练的特征提取模型，因此相对于传统的检测方法，仅使用单个摄像头可以检测多个员工是否在岗，对于一个摄像头中如果有多个员工只需要在划分岗位范围的时候标出此范围是哪一位员工的岗位范围即可，成本低，使用方便，没有繁琐的穿戴设备。

Description

离岗检测方法、装置以及存储介质
技术领域
本申请涉及行为检测方法领域，特别是涉及一种离岗检测方法、装置以及存储介质。
背景技术
我们日常生活中有很多岗位必须要有人来实时守岗，就比如哨兵，门卫值班，雷达警戒，医院值班，边境守卫等，但是随着社会水平的进步，人类的生活水平逐步提高，人力资源的成本也越来越高，以前检查岗位上的人员是否在岗的传统方法就是找一个人，不定时的到岗位巡视，这样既不能做到实时的监控，又需要请专门的人来巡视，并且人力资源的开销也比较大。现在也有一些比较先进的方法来检测，比如增加穿戴设备，但是这些方法也比较繁琐，需要每天穿戴固定的设备。
目前市场上离岗检测方法及主要问题是：1)目测法，目测法需要雇人不定时的到岗位巡视，这样人力成本比较大，不能做到7*24小时实时不间断监控，对于夜晚来说可能效率比较低。2)基于穿戴设备的检测法，这种方法的主要缺点在于繁琐，每天都需要穿指定的设备，也没有实时监控画面。3)基于帧差法和减背景法的人员离岗检测方法，此方法主要依据摄像头的每一帧，依赖项比较强，如果有一帧或者连续几帧画面出了问题，可能导致检测就会出现问题。4)基于卷积神经网络分类的离岗检测，分类这种网络只能对一张图片进行分类是否员工离岗，但是如果对于一个摄像头下有多个员工，分类网络就显得力不从心了，这样的话一个摄像头只能监控一个员工，资源利用不够充分，成本相对于这里的方法比较高。
针对上述的现有的离岗检测方法中存在的检测精度不高、使用不便、成本较高以及计算占用资源偏高的技术问题，目前尚未提出有效的解决方案。
发明内容
本公开的实施例提供了一种离岗检测方法、装置以及存储介质，以至少解决现有的离岗检测方法中存在的检测精度不高、使用不便、成本较高以及计算占用资源偏高的技术问题。
根据本公开实施例的一个方面，提供了一种离岗检测方法，包括：获取包含待检测对象的人体图像的图片；利用基于机器学习训练的特征提取模型，确定人体图像在图片中的位置信息；以及根据位置信息，判定待检测对象是否离岗。
根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行上述任意一项所述的方法。
根据本公开实施例的另一个方面，还提供了一种离岗检测装置，包括：获取模块，用于获取包含待检测对象的人体图像的图片；确定模块，用于利用基于机器学习训练的特征提取模型，确定人体图像在图片中的位置信息；以及判定模块，用于根据位置信息，判定待检测对象是否离岗。
根据本公开实施例的另一个方面，还提供了一种离岗检测装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取包含待检测对象的人体图像的图片；利用基于机器学习训练的特征提取模型，确定人体图像在图片中的位置信息；以及根据位置信息，判定待检测对象是否离岗。
从而，根据本实施例的技术方案，通过基于机器学习训练的特征提取模型，确定人体图像在图片中的位置信息，然后根据所确定的位置信息，判定待检测对象是否离岗。本申请的技术方案可以同时从多路图像采集设备中获取视频数据，使用基于机器学习训练的特征提取模型实时确定待检测对象的人体图像在图片中的位置信息，从而根据位置信息，实时的判定待检测对象是否离岗。本实施例的特征提取模型学习大量不同人体的图片的体型特征，包括在不同服饰颜色、不同姿势、不同肤色、不同光照以及不同场景下，脑袋、肩膀、身体、脚、手、腿部、胳膊等体型特征，特征提取比较丰富，识别比较全面，准确率高，识别速度快，具有较低的延时，以便保证实时监控。并且由于本方案采用了基于机器学习训练的特征提取模型，因此相对于传统的检测方法，仅使用单个摄像头可以检测多个员工是否在岗，对于一个摄像头中如果有多个员工只需要在划分岗位范围的时候标出此范围是哪一位员工的岗位范围即可，成本低，使用方便，没有繁琐的穿戴设备。
从而本实施例的技术方案解决了现有的离岗检测方法中存在的检测精度不高、使用不便、成本较高以及计算占用资源偏高的技术问题。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1是根据本公开实施例1所述的离岗检测方法的流程示意图；
图2是根据本公开实施例1所述的神经网络的主要网络结构的示意图；
图3a是根据本公开实施例1所述的神经网络结构中的隐藏层1的处理流程图；
图3b是根据本公开实施例1所述的神经网络结构中的隐藏层2的处理流程图
图4是根据本公开实施例1所述的离岗检测方法对图片进行处理的示意图；
图5是根据本公开实施例1所述的所确定的各个人体部分所对应的图像区域；
图6是根据本公开实施例2所述的离岗检测装置的示意图；以及
图7是根据本公开实施例3所述的离岗检测装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
图1示出了根据本实施例所述的离岗检测方法的流程示意图。
参考图1所示，本实施例的离岗检测方法包括以下步骤：
S102：获取包含待检测对象的人体图像的图片；
S104：利用基于机器学习训练的特征提取模型，确定人体图像在图片中的位置信息；以及
S106：根据位置信息，判定待检测对象是否离岗。
具体地，利用基于卷积神经网络的人体检测模型，在待检测图像中确定包括人体目标的人体图像区域。然后利用基于卷积神经网络的离岗检测模型，根据确定的人体图像区域，判定人体图像区域中的人体目标是否处于离岗状态。
正如背景技术中所述的，目前市场上离岗检测方法及主要问题是：1)目测法，目测法需要雇人不定时的到岗位巡视，这样人力成本比较大，不能做到7*24小时实时不间断监控，对于夜晚来说可能效率比较低。2)基于穿戴设备的检测法，这种方法的主要缺点在于繁琐，每天都需要穿指定的设备，也没有实时监控画面。3)基于帧差法和减背景法的人员离岗检测方法，此方法主要依据摄像头的每一帧，依赖项比较强，如果有一帧或者连续几帧画面出了问题，可能导致检测就会出现问题。4)基于卷积神经网络分类的离岗检测，分类这种网络只能对一张图片进行分类是否员工离岗，但是如果对于一个摄像头下有多个员工，分类网络就显得力不从心了，这样的话一个摄像头只能监控一个员工，资源利用不够充分，成本相对于这里的方法比较高。
针对现有技术中存在的问题，本实施例的技术方案提供了一种离岗检测方法，首先获取包含待检测对象的人体图像的图片，然后使用基于机器学习训练的特征提取模型，确定人体图像在图片中的位置信息，然后根据所确定的位置信息，判定待检测对象是否离岗。本申请的技术方案可以同时从多路图像采集设备中获取视频数据，使用基于机器学习训练的特征提取模型实时确定待检测对象的人体图像在图片中的位置信息，从而根据位置信息，实时的判定待检测对象是否离岗。本实施例的特征提取模型学习大量不同人体的图片的体型特征，包括在不同服饰颜色、不同姿势、不同肤色、不同光照以及不同场景下，脑袋、肩膀、身体、脚、手、腿部、胳膊等体型特征，特征提取比较丰富，识别比较全面，准确率高，识别速度快，具有较低的延时，以便保证实时监控。并且由于本方案采用了基于机器学习训练的特征提取模型，因此相对于传统的检测方法，仅使用单个摄像头可以检测多个员工是否在岗，对于一个摄像头中如果有多个员工只需要在划分岗位范围的时候标出此范围是哪一位员工的岗位范围即可，成本低，使用方便，没有繁琐的穿戴设备。
从而本实施例的技术方案解决了现有的离岗检测方法中存在的检测精度不高、使用不便、成本较高以及计算占用资源偏高的技术问题。
此外，例如，本实施例的技术方案在获取包含待检测对象的人体图像的图片时，例如可以利用摄像头等图像采集设备，并将待检测图像发送至处理器。其中待检测图像例如可以源于摄像头采集的视频，处理器从视频流中获取视频数据，并将视频数据解码为图像帧数据，其中图像帧数据即为上述包含待检测对象的人体图像的图片。
可选地，利用基于机器学习训练的特征提取模型，确定人体图像在图片中的位置信息的操作，包括：利用基于神经网络的特征提取模型，生成与图片对应的特征向量，其中特征向量的第一部分元素用于描述图片的各个子区域属于不同人体部位的概率，特征向量的第二部分元素用于描述各个子区域为人体的概率，特征向量的第三部分元素用于描述各个子区域在图片中的位置与大小；基于特征向量的信息，确定属于同一人体的各个部位在图片中的位置；以及根据所确定的属于同一人体的各个部位在图片中的位置，确定人体图像在图片中的位置。
具体地，图2示出了神经网络的主要网络结构的示意图。如图2所示，所述神经网络包括卷积层、隐藏层1和隐藏层2。
其中卷积层的参数由以下代码限定：
Figure BDA0002147987810000061
Figure BDA0002147987810000071
然后，图3a示出了神经网络结构中的隐藏层1的处理流程图。图3b示出了神经网络结构中的隐藏层2的处理流程图。参照图2、图3a以及图3b所示，利用基于神经网络的特征提取模型，生成与图片对应的特征向量。
其中，特征向量的第一部分元素用于描述图片的各个子区域属于不同人体部位的概率。例如：采用VOC20类标注物体作为数据集，即将人体分为20个部位类别，例如，脑袋、肩膀、身体、脚、腿、手、胳膊、耳朵等其他20个人体部位类别。图4示出了离岗检测方法对图片进行处理的示意图，图5示出了所确定的各个人体部分所对应的图像区域。在特征提取模型将获取的图片分成S*S的网格(其中S为正整数)的情况下，如图4所示，特征提取模型将获取的图片分成7*7的网格，其中，每个小网络对应于一个子区域，特征向量的第一部分元素对应于7*7*20个部位类别概率值。
其中，特征向量的第二部分元素用于描述各个子区域为人体的概率，即当前位置是一个人体的概率。由于卷积网络可以将各个子区域进行二分类操作，即各个子区域要么是物体，要么是人体。因此，特征向量的第二部分元素对应于7*7*2个概率值。
其中，特征向量的第三部分元素用于描述各个子区域在图片中的位置与大小。每个子区域的位置信息可以由(x，y，w，h)组成，其中x，y是指当前格子预测得到的物体的中心位置坐标。w，h是当前子区域的宽度和高度。因此，特征向量的第三部分元素对应于7*7*2*4个坐标值。
进一步地，基于特征向量的信息，确定属于同一人体的各个部位在图片中的位置。即根据特征向量的第二部分元素，确定属于同一人体的各个部位在图片中的位置。然后，根据所确定的属于同一人体的各个部位在图片中的位置，确定人体图像在图片中的位置。从而，通过这种方式，可以快速、准确的确定出人体图像在图片中的位置。
可选地，基于特征向量的信息，确定属于同一人体的各个部位在图片中的位置的操作，包括：根据第二部分元素确定图片中属于人体部位的子区域；根据第一部分元素，针对属于人体部位的子区域，确定属于不同人体部位的概率；以及将相邻的属于不同人体部位的子区域确定为同一人体的各个部位的子区域，并且确定属于同一人体的各个部位在图片中的位置。
具体地，可以根据所提取出的特征向量的第二部分元素，确定图片中属于人体部位的子区域。由于第二部分元素用于描述各个子区域为人体的概率，因此，可以将人体概率大于预先设置的阈值的子区域确定为人体部位。从而，根据第二部分元素确定图片中属于人体部位的子区域。然后，根据第一部分元素，针对属于人体部位的子区域，确定属于不同人体部位的概率。由于第一部分元素用于描述各个子区域属于不同人体部位的概率，即每一子区域分别属于20个不同类别的人体部位的概率。例如：子区域1属于脑袋、肩膀、身体、脚、腿、手、胳膊、耳朵等其他20个人体部位类别的概率。
进一步地，将相邻的属于不同人体部位的子区域确定为同一人体的各个部位的子区域，并且确定属于同一人体的各个部位在图片中的位置。例如：子区域1属于脑袋的概率最高，子区域2属于肩膀的概率最高，子区域3属于肩膀的概率也是最高的，然后由于子区域1与子区域2是相邻的，区域1与子区域3是分隔开的，因此将相邻的区域1与区域2确定为同一人体的各个部位的子区域。并且，根据特征向量的第一部分元素，即各个子区域的位置与大小，确定属于同一人体的各个部位在图片中的位置。从而，通这种方式，可以有据可依的，准确的确定出人体图像在图片中的位置。
可选地，根据位置信息，判定待检测对象是否离岗的操作，包括：确定待检测对象的岗位在图片中的位置范围；根据位置信息，判定人体图像是否在位置范围内；以及在人体图像在位置范围内的情况下，判定待检测对象在岗。
具体地，可以根据预先划分的岗位范围，确定待检测对象的岗位在图片中的位置范围。然后根据位置信息，判定人体图像是否在位置范围内。然后在人体图像在位置范围内的情况下，判定待检测对象在岗。反之，在人体图像不在位置范围内的情况下，判定待检测对象离岗。从而，通过这种方式，可以快速识别待检测对象是否离岗。
此外，为了便于理解，对本实施例的技术方案按时间顺序步骤的补充说明如下。
本实施例提供了如下技术方案：
步骤一：收集大量不同人体的图片，包括不同服饰颜色、不同姿势、不同肤色、不同光照、不同场景的图片。其中，收集大量不同人体的图片，同一个人的面部图片放在一个目录下，目录编号从0开始，依次递增。
步骤二：搭建深度神经网络，训练神经网络，神经网络提取人体特征(主要判断人体是否在设定的岗位范围内)等，提取原则是不同姿势的人体的同一部位的特征尽量相似、特征距离尽可能小，不同部位的特征尽量相似、特征距离尽可能小。
步骤三：当新来一批待检测图片时，我们用网络模型提取所有人体的身体特征向量，存放在数组中。
步骤四：根据取出的身体特征向量，确定人体图像在图片中的位置信息，然后通过位置信息判断人体位置是否在我们设定的岗位范围内，如果一个摄像头范围内有多个员工岗位，则需要标出每一个岗位范围属于哪一位员工的范围即可。
步骤二中，其中深度学习神经网络预测步骤如下：
设计训练神经网络，神经网络的网络结构见图2，对于标注好的IOU本图片x，通过下式对其输出结果进行判断，x通过卷积神经网络计算输出特征向量。
1)将获取的图片X分成S*S的网格，如图4(7*7的网格)。
2)每一个小网格能预测得到B个boundingbox(包含物体的矩形区域)和物体属于某种物体类别的概率。
其中Boundingbox信息包含5个数据值，用
Figure BDA0002147987810000101
来描述Boundingbox信息，分别是x,y,w,h和Confidence。其中x,y是指当前格子预测得到的物体的中心位置坐标。w,h是Boundingbox的宽度和高度，P(Object)表示当前位置是一个人体的概率，
Figure BDA0002147987810000102
是预测的box和groundtruth之间的重叠概率。实际训练过程中，w和h会归一化到[0,1]区间内，x和y是Boundingbox中心位置相对于当前格子位置的偏移也被归一化到[0,1]区间内。Confidence反应当前box是否包含物体以及物体位置的准确性，计算方式为：
Figure BDA0002147987810000111
其中，如果Boundingbox包含物体，则P(Object)＝1否则P(Object)＝0。IOU(intersection over union)为预测Boundingbox与物体真是区域的交集面积(也用真实区域的像素面积归一化到[0,1]区间内。因此，网络最终的全连接层的输出维度是S*S*(B*5+C)。假设输入采用的是448*448像素的图片，S＝7,B＝2；采用VOC20类标注物体作为训练数据，C＝20。因此输入的向量为7*7*(20+2*5)＝1470维，因此全连接层输出的特征向量各维度对应如下：
Figure BDA0002147987810000112
3)每一个网格预测物体的概率Ci＝P(Classi|Object)。
其中，P(Classi)用于指示当前位置属于第i个人体部位的类别概率。
4)预测的时候，将类条件概率和置信度相乘：
Figure BDA0002147987810000113
其中，P(Person)用于指示当前位置属于人体部位的概率。
使用均方和误差作为loss函数来优化模型参数，网络输出的S*S(B*5+C)维向量与真实图像的对应S*S(B*5+C)维向量的均方和误差，如：
Figure BDA0002147987810000114
其中，coordError、iouError和classError分别代表预测数据与标定数据之间的坐标误差、IOU误差和分类误差。计算loss时使用λcoord＝5修正coordError，在计算IOU误差时，包含物体与不包含物体的格子，二者的IOU误差对网络loss的贡献值时不同的，因此使用λnoobj＝0.5修正iouError，因此优化后的误差损失函数应如下所示：
Figure BDA0002147987810000121
其中，x,y,w,C,p为网络预测值，
Figure BDA0002147987810000122
为标注值，
Figure BDA0002147987810000123
表示物体落入格子i中，
Figure BDA0002147987810000124
和
Figure BDA0002147987810000125
分别表示物体落入与未落入格子i的第j个Boundingbox内。
训练模型时使用ImageNet，将数据训练网络的前20个卷积层+1个average池化层+1个全连接层。训练图像分辨率调整到448*448。
预测时，通过设定的合理的阈值P(Person)，只要该物体的概率P(object)大于P(Person)的值我们就能判断该物体时一个人体，再通过人体在图片中的位置坐标和我们设定的岗位范围进行对比，判断人体是否在我们设定的范围内，这样就可以判断出员工是否在岗了。
此外，根据本实施例的第二个方面，提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
图6示出了本实施例所述的离岗检测装置600的示意图。本实施例的离岗检测装置600与根据实施例1的方法相对应。
参考图6所示，该装置600包括：获取模块610，用于获取包含待检测对象的人体图像的图片；确定模块620，用于利用基于机器学习训练的特征提取模型，确定人体图像在图片中的位置信息；以及判定模块630，用于根据位置信息，判定待检测对象是否离岗。
可选地，确定模块620，包括：生成子模块，用于利用基于神经网络的特征提取模型，生成与图片对应的特征向量，其中特征向量的第一部分元素用于描述图片的各个子区域属于不同人体部位的概率，特征向量的第二部分元素用于描述各个子区域为人体的概率，特征向量的第三部分元素用于描述各个子区域在图片中的位置与大小；第一确定子模块，用于基于特征向量的信息，确定属于同一人体的各个部位在图片中的位置；以及第二确定子模块，用于根据所确定的属于同一人体的各个部位在图片中的位置，确定人体图像在图片中的位置。
可选地，第一确定子模块，包括：第一确定单元，用于根据第二部分元素确定图片中属于人体部位的子区域；第二确定单元，用于根据第一部分元素，针对属于人体部位的子区域，确定属于不同人体部位的概率；以及第三确定单元，用于将相邻的属于不同人体部位的子区域确定为同一人体的各个部位的子区域，并且确定属于同一人体的各个部位在图片中的位置。
可选地，判定模块630，包括：第三确定子模块，用于确定待检测对象的岗位在图片中的位置范围；第一判定子模块，用于根据位置信息，判定人体图像是否在位置范围内；以及第二判定子模块，用于在人体图像在位置范围内的情况下，判定待检测对象在岗。
从而，根据本实施例的技术方案，通过离岗检测装置600使用基于机器学习训练的特征提取模型，确定人体图像在图片中的位置信息，然后根据所确定的位置信息，判定待检测对象是否离岗。本申请的技术方案可以同时从多路图像采集设备中获取视频数据，使用基于机器学习训练的特征提取模型实时确定待检测对象的人体图像在图片中的位置信息，从而根据位置信息，实时的判定待检测对象是否离岗。本实施例的特征提取模型学习大量不同人体的图片的体型特征，包括在不同服饰颜色、不同姿势、不同肤色、不同光照以及不同场景下，脑袋、肩膀、身体、脚、手、腿部、胳膊等体型特征，特征提取比较丰富，识别比较全面，准确率高，识别速度快，具有较低的延时，以便保证实时监控。并且由于本方案采用了基于机器学习训练的特征提取模型，因此相对于传统的检测方法，仅使用单个摄像头可以检测多个员工是否在岗，对于一个摄像头中如果有多个员工只需要在划分岗位范围的时候标出此范围是哪一位员工的岗位范围即可，成本低，使用方便，没有繁琐的穿戴设备。
从而本实施例的技术方案解决了现有的离岗检测方法中存在的检测精度不高、使用不便、成本较高以及计算占用资源偏高的技术问题。
实施例3
图7示出了本实施例所述的离岗检测装置700的示意图。本实施例的离岗检测装置700与根据实施例1的方法相对应。
参考图7所示，该装置700包括：处理器710；以及存储器720，与处理器710连接，用于为处理器710提供处理以下处理步骤的指令：获取包含待检测对象的人体图像的图片；利用基于机器学习训练的特征提取模型，确定人体图像在图片中的位置信息；以及根据位置信息，判定待检测对象是否离岗。
可选地，利用基于机器学习训练的特征提取模型，确定人体图像在图片中的位置信息的操作，包括：利用基于神经网络的特征提取模型，生成与图片对应的特征向量，其中特征向量的第一部分元素用于描述图片的各个子区域属于不同人体部位的概率，特征向量的第二部分元素用于描述各个子区域为人体的概率，特征向量的第三部分元素用于描述各个子区域在图片中的位置与大小；基于特征向量的信息，确定属于同一人体的各个部位在图片中的位置；以及根据所确定的属于同一人体的各个部位在图片中的位置，确定人体图像在图片中的位置。
可选地，基于特征向量的信息，确定属于同一人体的各个部位在图片中的位置的操作，包括：根据第二部分元素确定图片中属于人体部位的子区域；根据第一部分元素，针对属于人体部位的子区域，确定属于不同人体部位的概率；以及将相邻的属于不同人体部位的子区域确定为同一人体的各个部位的子区域，并且确定属于同一人体的各个部位在图片中的位置。
可选地，根据位置信息，判定待检测对象是否离岗的操作，包括：确定待检测对象的岗位在图片中的位置范围；根据位置信息，判定人体图像是否在位置范围内；以及在人体图像在位置范围内的情况下，判定待检测对象在岗。
从而，根据本实施例的技术方案，通过离岗检测装置700使用基于机器学习训练的特征提取模型，确定人体图像在图片中的位置信息，然后根据所确定的位置信息，判定待检测对象是否离岗。本申请的技术方案可以同时从多路图像采集设备中获取视频数据，使用基于机器学习训练的特征提取模型实时确定待检测对象的人体图像在图片中的位置信息，从而根据位置信息，实时的判定待检测对象是否离岗。本实施例的特征提取模型学习大量不同人体的图片的体型特征，包括在不同服饰颜色、不同姿势、不同肤色、不同光照以及不同场景下，脑袋、肩膀、身体、脚、手、腿部、胳膊等体型特征，特征提取比较丰富，识别比较全面，准确率高，识别速度快，具有较低的延时，以便保证实时监控。并且由于本方案采用了基于机器学习训练的特征提取模型，因此相对于传统的检测方法，仅使用单个摄像头可以检测多个员工是否在岗，对于一个摄像头中如果有多个员工只需要在划分岗位范围的时候标出此范围是哪一位员工的岗位范围即可，成本低，使用方便，没有繁琐的穿戴设备。
从而本实施例的技术方案解决了现有的离岗检测方法中存在的检测精度不高、使用不便、成本较高以及计算占用资源偏高的技术问题。
因此，本实施例的技术方案解决了现有的离岗检测方法中存在的检测精度不高、使用不便、成本较高、计算占用资源偏高、普及困难的技术问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种离岗检测方法，其特征在于，包括：
获取包含待检测对象的人体图像的图片；
利用基于机器学习训练的特征提取模型，确定所述人体图像在所述图片中的位置信息；以及
根据所述位置信息，判定所述待检测对象是否离岗，并且其中
利用基于机器学习训练的特征提取模型，确定所述人体图像在所述图片中的位置信息的操作，包括：
利用基于神经网络的特征提取模型，生成与所述图片对应的特征向量，其中所述特征向量的第一部分元素用于描述所述图片的各个子区域属于不同人体部位的概率，所述特征向量的第二部分元素用于描述所述各个子区域为人体的概率，所述特征向量的第三部分元素用于描述所述各个子区域在所述图片中的位置与大小；
基于所述特征向量的信息，确定属于同一人体的各个部位在所述图片中的位置；以及
根据所确定的属于同一人体的各个部位在所述图片中的位置，确定所述人体图像在所述图片中的位置，并且基于所述特征向量的信息，确定属于同一人体的各个部位在所述图片中的位置的操作，包括：根据所述第二部分元素确定所述图片中属于人体部位的子区域；根据所述第一部分元素，针对属于人体部位的所述子区域，确定属于不同人体部位的概率；以及将相邻的属于不同人体部位的子区域确定为同一人体的各个部位的子区域，并且确定属于同一人体的各个部位在所述图片中的位置。
2.根据权利要求1所述的离岗检测方法，其特征在于，根据所述位置信息，判定所述待检测对象是否离岗的操作，包括：
确定所述待检测对象的岗位在图片中的位置范围；
根据所述位置信息，判定所述人体图像是否在所述位置范围内；以及
在所述人体图像在所述位置范围内的情况下，判定所述待检测对象在岗。
3.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至2中任意一项所述的方法。
4.一种离岗检测装置，其特征在于，包括：
获取模块，用于获取包含待检测对象的人体图像的图片；
确定模块，用于利用基于机器学习训练的特征提取模型，确定所述人体图像在所述图片中的位置信息；以及
判定模块，用于根据所述位置信息，判定所述待检测对象是否离岗，并且其中确定模块，包括：
生成子模块，用于利用基于神经网络的特征提取模型，生成与所述图片对应的特征向量，其中所述特征向量的第一部分元素用于描述所述图片的各个子区域属于不同人体部位的概率，所述特征向量的第二部分元素用于描述所述各个子区域为人体的概率，所述特征向量的第三部分元素用于描述所述各个子区域在所述图片中的位置与大小；
第一确定子模块，用于基于所述特征向量的信息，确定属于同一人体的各个部位在所述图片中的位置；以及
第二确定子模块，用于根据所确定的属于同一人体的各个部位在所述图片中的位置，确定所述人体图像在所述图片中的位置，并且
第一确定子模块，包括：
第一确定单元，用于根据所述第二部分元素确定所述图片中属于人体部位的子区域；
第二确定单元，用于根据所述第一部分元素，针对属于人体部位的所述子区域，确定属于不同人体部位的概率；以及
第三确定单元，用于将相邻的属于不同人体部位的子区域确定为同一人体的各个部位的子区域，并且确定属于同一人体的各个部位在所述图片中的位置。
5.根据权利要求4所述的离岗检测装置，其特征在于，判定模块，包括：
第三确定子模块，用于确定所述待检测对象的岗位在图片中的位置范围；
第一判定子模块，用于根据所述位置信息，判定所述人体图像是否在所述位置范围内；以及
第二判定子模块，用于在所述人体图像在所述位置范围内的情况下，判定所述待检测对象在岗。
6.一种离岗检测装置，其特征在于，包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：
获取包含待检测对象的人体图像的图片；
利用基于机器学习训练的特征提取模型，确定所述人体图像在所述图片中的位置信息；以及
根据所述位置信息，判定所述待检测对象是否离岗，并且其中
利用基于机器学习训练的特征提取模型，确定所述人体图像在所述图片中的位置信息的操作，包括：
利用基于神经网络的特征提取模型，生成与所述图片对应的特征向量，其中所述特征向量的第一部分元素用于描述所述图片的各个子区域属于不同人体部位的概率，所述特征向量的第二部分元素用于描述所述各个子区域为人体的概率，所述特征向量的第三部分元素用于描述所述各个子区域在所述图片中的位置与大小；
基于所述特征向量的信息，确定属于同一人体的各个部位在所述图片中的位置；以及
根据所确定的属于同一人体的各个部位在所述图片中的位置，确定所述人体图像在所述图片中的位置，并且
基于所述特征向量的信息，确定属于同一人体的各个部位在所述图片中的位置的操作，包括：根据所述第二部分元素确定所述图片中属于人体部位的子区域；根据所述第一部分元素，针对属于人体部位的所述子区域，确定属于不同人体部位的概率；以及将相邻的属于不同人体部位的子区域确定为同一人体的各个部位的子区域，并且确定属于同一人体的各个部位在所述图片中的位置。
CN201910691409.5A 2019-07-29 2019-07-29 离岗检测方法、装置以及存储介质 Active CN110443179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910691409.5A CN110443179B (zh) 2019-07-29 2019-07-29 离岗检测方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910691409.5A CN110443179B (zh) 2019-07-29 2019-07-29 离岗检测方法、装置以及存储介质

Publications (2)

Publication Number Publication Date
CN110443179A CN110443179A (zh) 2019-11-12
CN110443179B true CN110443179B (zh) 2021-11-12

Family

ID=68432121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910691409.5A Active CN110443179B (zh) 2019-07-29 2019-07-29 离岗检测方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN110443179B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011449A (zh) * 2019-12-20 2021-06-22 中移(上海)信息通信科技有限公司 行为确定方法、装置、设备及存储介质
CN114022685B (zh) * 2020-07-17 2022-10-21 南京南瑞信息通信科技有限公司 一种安全员位置检测方法及系统
CN112215148B (zh) * 2020-10-13 2021-07-27 江门市景舟科技发展有限公司 电子人工监控一体化系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408406A (zh) * 2014-11-03 2015-03-11 安徽中科大国祯信息科技有限责任公司 基于帧差法和减背景法的人员离岗检测方法
CN106570467A (zh) * 2016-10-25 2017-04-19 南京南瑞集团公司 一种基于卷积神经网络的人员离岗检测方法
CN107403158A (zh) * 2017-07-28 2017-11-28 中国电子科技集团公司第三十八研究所 一种人员在岗视频识别方法及智能用户信息传输装置
CN107679471A (zh) * 2017-09-24 2018-02-09 天津大学 基于视频监控平台的室内人员空岗检测方法
CN107798312A (zh) * 2017-11-21 2018-03-13 电子科技大学 一种基于视觉头部检测的自动考勤方法
CN108564012A (zh) * 2018-03-29 2018-09-21 北京工业大学 一种基于人体特征分布的行人解析方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169647B2 (en) * 2016-07-27 2019-01-01 International Business Machines Corporation Inferring body position in a scan
CN107103300B (zh) * 2017-04-22 2020-08-04 高新兴科技集团股份有限公司 一种离岗检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408406A (zh) * 2014-11-03 2015-03-11 安徽中科大国祯信息科技有限责任公司 基于帧差法和减背景法的人员离岗检测方法
CN106570467A (zh) * 2016-10-25 2017-04-19 南京南瑞集团公司 一种基于卷积神经网络的人员离岗检测方法
CN107403158A (zh) * 2017-07-28 2017-11-28 中国电子科技集团公司第三十八研究所 一种人员在岗视频识别方法及智能用户信息传输装置
CN107679471A (zh) * 2017-09-24 2018-02-09 天津大学 基于视频监控平台的室内人员空岗检测方法
CN107798312A (zh) * 2017-11-21 2018-03-13 电子科技大学 一种基于视觉头部检测的自动考勤方法
CN108564012A (zh) * 2018-03-29 2018-09-21 北京工业大学 一种基于人体特征分布的行人解析方法

Also Published As

Publication number Publication date
CN110443179A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
US9922271B2 (en) Object detection and classification
CN112241731B (zh) 一种姿态确定方法、装置、设备及存储介质
CN110443179B (zh) 离岗检测方法、装置以及存储介质
CN111709310B (zh) 一种基于深度学习的手势跟踪与识别方法
US20190362144A1 (en) Eyeball movement analysis method and device, and storage medium
CN109816745B (zh) 人体热力图展示方法及相关产品
CN107169458B (zh) 数据处理方法、装置及存储介质
CN112699808B (zh) 密集目标检测方法、电子设备及相关产品
EP3499414A1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
CN109583345A (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN106845484B (zh) 一种一维码区域的定位方法及装置
CN111160169A (zh) 人脸检测方法、装置、设备及计算机可读存储介质
CN113409362A (zh) 高空抛物检测方法和装置、设备及计算机存储介质
CN111507324A (zh) 卡片边框识别方法、装置、设备和计算机存储介质
WO2023109664A1 (zh) 监测方法和相关产品
CN111639668A (zh) 一种基于深度学习的人群密度检测方法
CN111445442A (zh) 基于神经网络的人群计数方法、装置、服务器及存储介质
CN114005140A (zh) 一种人员识别方法、装置、设备、行人监控系统及存储介质
CN110795995B (zh) 数据处理方法、装置及计算机可读存储介质
CN110147755B (zh) 基于上下文级联cnn的人头检测方法
Shengze et al. Research based on the HSV humanoid robot soccer image processing
Kuo et al. A behavior-based flame detection method for a real-time video surveillance system
CN113469138A (zh) 对象检测方法和装置、存储介质及电子设备
Jiao et al. Individual Building Rooftop and Tree Crown Segmentation from High‐Resolution Urban Aerial Optical Images
CN109727218B (zh) 一种完整图形提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant