CN110516553A - 工作状态的监测方法和装置 - Google Patents

工作状态的监测方法和装置 Download PDF

Info

Publication number
CN110516553A
CN110516553A CN201910698284.9A CN201910698284A CN110516553A CN 110516553 A CN110516553 A CN 110516553A CN 201910698284 A CN201910698284 A CN 201910698284A CN 110516553 A CN110516553 A CN 110516553A
Authority
CN
China
Prior art keywords
duration
staff
working condition
blinkpunkt
attentively
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910698284.9A
Other languages
English (en)
Inventor
陆峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Beijing University of Aeronautics and Astronautics
Original Assignee
Beijing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Aeronautics and Astronautics filed Critical Beijing University of Aeronautics and Astronautics
Priority to CN201910698284.9A priority Critical patent/CN110516553A/zh
Publication of CN110516553A publication Critical patent/CN110516553A/zh
Priority to US16/729,293 priority patent/US11361590B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Psychiatry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本申请提供一种工作状态的监测方法和装置，通过自动实时采集工作人员的图像，基于所采集的工作人员的图像确定工作人员的注视点信息，进而，根据注视点信息确定工作人员的工作状态。由于整个过程不需要工作人员参与，可以不影响工作人员的正常工作，并且，由于避免工作人员在参与时主观因素对判断结果的影响，提高了对工作状态监测的准确度。

Description

工作状态的监测方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种工作状态的监测方法和装置。
背景技术
在一些工作场合，例如，空中交通管制工作，需要工作人员在具备良好的精神状态和娴熟的专业技能的情况下进行监控指挥工作，相关工作人员的任何疏忽都可能会造成严重的后果。因此，需要对工作人员的工作状态进行监测。
目前，通常要求工作人员填写调查问卷来主观判断工作人员的工作状态。但是，填写调查问卷会影响工作人员的正常工作，而且，监测准确度不高。
发明内容
本申请提供了一种工作状态的监测方法和装置，用以解决判断工作人员的工作状态时影响工作人员的正常工作且监测准确度不高的问题。
第一方面，本申请提供了一种工作状态的监测方法，包括：
实时采集工作人员的图像；
根据所述工作人员的图像获取所述工作人员的注视点信息，所述注视点信息包括注视点的注视时长；
根据所述注视点信息确定所述工作人员的工作状态。
可选的，所述根据所述注视点信息确定所述工作人员的工作状态，包括：
获取第一时长，所述第一时长为在第一预设时长内没有位于预设监测区域内的注视点的注视时长的总和；
根据所述第一时长确定所述工作人员的工作状态。
可选的，所述根据所述第一时长确定所述工作人员的工作状态，包括：
若所述第一时长小于或等于第一预设数值，则确定所述工作人员的工作状态为正常状态。
可选的，预设监测区域包括多个关键区域，所述根据所述注视点信息确定所述工作人员的工作状态，包括：
获取每个所述关键区域的第二时长，所述第二时长为在第二预设时长内位于所述关键区域内的注视点的注视时长的总和；
根据所述多个关键区域的第二时长确定所述工作人员的工作状态。
可选的，所述根据所述多个关键区域的第二时长确定所述工作人员的工作状态，包括：
若每个所述关键区域的第二时长均大于或等于第二预设数值，则确定所述工作人员的工作状态为正常状态。
可选的，所述根据所述注视点信息确定所述工作人员的工作状态，包括：
若在第三预设时长内存在注视时长大于或等于第三预设数值的注视点，则确定所述工作人员的工作状态为异常状态。
第二方面，本申请提供了一种工作状态的监测装置，包括：
图像采集模块，用于实时采集工作人员的图像；
获取模块，用于根据所述工作人员的图像获取所述工作人员的注视点信息，所述注视点信息包括注视点的注视时长；
确定模块，用于根据所述注视点信息确定所述工作人员的工作状态。
可选的，所述确定模块包括：
第一获取单元，用于获取第一时长，所述第一时长为在第一预设时长内没有位于预设监测区域内的注视点的注视时长的总和；
第一确定单元，用于根据所述第一时长确定所述工作人员的工作状态。
可选的，所述第一确定单元具体用于：
若所述第一时长小于或等于第一预设数值，则确定所述工作人员的工作状态为正常状态。
可选的，预测监测区域包括多个关键区域，所述确定模块包括：
第二获取单元，用于获取每个所述关键区域的第二时长，所述第二时长为在第二预设时长内位于所述关键区域内的注视点的注视时长的总和；
第二确定单元，用于根据所述多个关键区域的第二时长确定所述工作人员的工作状态。
可选的，所述第二确定单元具体用于：
若每个所述关键区域的第二时长均大于或等于第二预设数值，则确定所述工作人员的工作状态为正常状态。
可选的，所述确定模块，包括：
第三确定单元，用于若在第三预设时长内存在注视时长大于或等于第三预设数值的注视点，则确定所述工作人员的工作状态为异常状态。
第三方面，本申请提供了一种工作状态的监测装置，包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述存储器中存储的所述程序指令以实现本申请第一方面任意实施方式提供的工作状态的监测方法。
第四方面，本申请提供了一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现本申请第一方面任意实施方式提供的工作状态的监测方法。
本申请提供一种工作状态的监测方法和装置，通过自动实时采集工作人员的图像，基于所采集的工作人员的图像确定工作人员的注视点信息，进而，根据注视点信息确定工作人员的工作状态。由于整个过程不需要工作人员参与，可以不影响工作人员的正常工作，并且，由于避免工作人员在参与时主观因素对判断结果的影响，提高了对工作状态监测的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的工作状态的监测方法的流程图；
图2为本申请实施例二提供的工作状态的监测方法的流程图；
图3为本申请实施例提供的注视点分布的示意图；
图4为本申请实施例三提供的工作状态的监测方法的流程图；
图5为本申请实施例提供的关键区域分布和注视点分布的示意图；
图6为本申请实施例提供的工作状态的监测装置的一种结构示意图；
图7为本申请实施例提供的工作状态的监测装置的另一种结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本申请实施例一提供的工作状态的监测方法的流程图。本实施例提供的工作状态的监测方法可以由工作状态的监测装置执行，具体实现时，该工作状态的监测装置可以由软件和/或硬件实现。如图1所示，本实施例提供的工作状态的监测方法，可以包括：
S101、实时采集工作人员的图像。
具体的，可以使用摄像机实时拍摄工作人员在工作时的图像，或者实时拍摄工作人员在工作时的视频，然后，按帧依次读取工作人员的视频图像。本实施例对摄像机的数量和类型不做限定，例如，可以采用多个摄像机从不同的角度实时拍摄工作人员在工作时的图像或视频，进而，从能够拍摄得到的多个图像或视频中选择理想的图像或视频，例如包含工作人员正面的图像或视频。又例如，可以采用红外摄像机，以便在环境光线不足时进行红外补光。
S102、根据工作人员的图像获取工作人员的注视点信息。
其中，注视点信息包括注视点的注视时长。注视点信息还可以包括注视点的坐标。
在本实施例中，当工作人员的视线在某个区域中停留一定的时间，即形成一个注视点。所述注视点的注视时长为工作人员的视线在所述区域中停留的时间。所述注视点的坐标可以根据所述区域确定。例如，当所述区域为一个点时，所述注视点的坐标可以为该点的坐标。又例如，当所述区域具有一定的面积时，所述注视点的坐标可以为所述区域的中心点的坐标。本实施例在确定注视点的坐标时，对于坐标系不做限定。例如，坐标系可以为摄像机的相机坐标系。又例如，坐标系可以根据工作人员的监测区域进行定义。假设，监测区域为长方形，坐标系可以以监测区域的左上角顶点为原点，以向右为X轴正轴，向下为Y轴正轴。
可选的，根据工作人员的图像获取工作人员的注视点信息，一种可能的实现方式包括：
在采集到工作人员在工作时的图像之后，可以采用任意现有的人脸检测算法检测该图像中的人脸，并使用任意现有的人脸模型匹配算法对图像中的人脸进行特征点匹配，得到人脸特征点的二维图像坐标或三维图像坐标。其中，实际采用的人脸检测算法和人脸模型匹配算法可以根据执行工作状态的监测方法的装置的计算性能、期望的识别精度或采集得到的工作人员的图像的亮度等情况来选择。
在得到的人脸特征点的二维图像坐标或三维图像坐标之后，可以截取得到人眼区域图像。然后，可以采用基于计算机视觉的视线计算算法，得到图像中人眼的视线方向或视线在监测区域上的视点坐标。本实施例对视线计算算法不做限定，可以是输入为人眼区域图像且输出为视线方向或视线在监测区域上的视点坐标的任意视线计算方法，例如基于眼球模型的算法或基于图像回归的算法等。若所采用的视线计算算法输出为视线方向，则将视线方向转换为视线在监测区域上的视点坐标。例如，在摄像机坐标系下，以计算得到的三维眼球中心为起点，沿视线计算算法输出的视线方向做射线，将该射线与监测区域相交之处视为视线在监测区域上的视点坐标。
在一段时间内，通过上面的方法，根据在时域连续采集到的工作人员的图像，可以得到在时域连续的视点坐标数据。可以根据这些视点坐标数据，找到工作人员的注视点以及对应的注视点信息。本实施例对根据视点坐标获取注视点信息的方式不做限定，作为一种可能的实现方式如下：
设定预设时间阈值和预设空间阈值。以当前起点开始，从上面提到的在一段时间内得到的时域连续的视点坐标数据中获取第一个视点坐标子序列，使得该视点坐标子序列的总累计时长大于预设时间阈值，且该视点坐标子序列中的所有视点坐标与其平均位置差异均小于预设空间阈值，而该视点坐标子序列后一帧的视点坐标偏离平均位置的幅度超过预设空间阈值。在找到第一个视点坐标子序列之后，将该子序列对应的所有视点坐标的平均值作为第一个注视点的坐标，并且将该子序列对应的总帧数对应的时长确定为第一个注视点的注视时长。然后，以类似的方式，从第一个视点坐标子序列之后的视点坐标数据中寻找第二个视点坐标子序列、…、第n个视点坐标子序列，其中n≥1，直到处理完所述视点坐标数据。由此，获取到在一段时间内的所有注视点以及对应的注视点信息。
在获取到在一段时间内的所有注视点以及对应的注视点信息之后，可以任意的方式进行存储。例如，可以以矩阵的形式进行存储，在各个注视点的坐标位置处分别赋值，该值为相应注视点的注视时长。由此，可以最直观的描述各个注视点的位置和注视时长，有助于后续的处理。
可选的，根据工作人员的图像获取工作人员的注视点信息，另一种可能的实现方式包括：
将工作人员的图像输入神经网络模型中，获取工作人员的注视点信息。其中，所述神经网络模型用于根据输入的包括人脸的图像获取人的注视点信息。
本实施例对于神经网络模型的类型和训练过程不做限定。例如，神经网络模型可以为卷积神经网络模型。
S103、根据注视点信息确定工作人员的工作状态。
具体的，在本实施例中，工作人员的工作状态可以包括正常状态和异常状态。其中，正常状态是指工作人员集中精力进行监测工作，且工作能力较强，能够注意到每一个关键监测区域。异常状态是指工作人员存在下列情况中的至少一项：注意力不集中、发呆，以及遗漏对某些关键区域的监测等。
本实施例提供的工作状态的监测方法，通过自动实时采集工作人员的图像，基于所采集的工作人员的图像确定工作人员的注视点信息，进而，根据注视点信息确定工作人员的工作状态。由于整个过程不需要工作人员参与，可以不影响工作人员的正常工作，并且，由于避免工作人员在参与时主观因素对判断结果的影响，提高了对工作状态监测的准确度。
在本申请的另一个实施例中，请参照图2，可选的，在一种实现方式中，S103中，根据注视点信息确定工作人员的工作状态，可以包括：
S201、获取第一时长。
其中，第一时长为在第一预设时长内没有位于预设监测区域内的注视点的注视时长的总和。
具体的，在第一预设时长内可以获取到多个注视点，对于第一预设时长内的所有注视点，可以根据每个注视点的坐标与预设监测区域的坐标范围，确定没有位于预设监测区域内的注视点。将这些没有位于预设监测区域内的注视点对应的注视时长求和，得到第一预设时长内没有位于预设监测区域内的注视点的总时长，即获取到第一时长。其中，预设监测区域的坐标范围可以是预先通过几何校正算法确定。
本实施例中，第一预设时长可以根据实际应用场景设定。具体的，若实际应用场景对确定工作人员的工作状态的实时性要求较高，则可以将第一预设时长设置得较短。例如，在工作人员的工作状态短时出现异常会造成严重的后果的情况下，需要将第一预设时长设置得较短，以便能够及时发现工作人员的异常工作状态。相反，若实际应用场景对工作人员的工作状态监测的实时性要求不高，则可以将第一预设时长设置得较长。例如，仅是为了了解工作人员在某段时间的工作状态，而工作人员的工作状态短时出现异常并不会产生严重的后果的情况下，可以将第一预设时长设置得较长。
S202、根据第一时长确定工作人员的工作状态。
本实施例中，对根据第一时长确定工作人员的工作状态的方式不做限定。
作为一种可能的实现方式，可以设置第一预设数值，根据第一时长与第一预设数值之间的关系，确定工作人员的工作状态。若第一时长小于或等于第一预设数值，则可以确定工作人员的工作状态为正常状态。其中，第一预设数值可以根据具体应用场景设定。例如，若具体应用场景对工作人员的注视点落入监测区域外的情况要求较为严格，则可以将第一预设数值设置得较小。若具体应用场景对工作人员的注视点落入监测区域外的情况要求不严格，则可以将第一预设数值设置得较大。例如，若具体应用场景不允许工作人员的注视点落入监测区域之外，则可以将第一预设数值设置为0。
作为另一种可能的实现方式，可以根据第一时长与第一预设时长之比与第一预设比值之间的关系确定工作人员的工作状态。若第一时长与第一预设时长之比小于或等于第一预设比值，则确定工作人员的工作状态为正常状态。若第一时长与第一预设时长之比大于第一预设比值，则确定工作人员的工作状态为异常状态。其中，可以以设定第一预设数值的方式相同的方式设置第一预设比值。
下面结合图3对S201～S202进行说明。如图3所示，在第一预设时长内总共存在10个注视点V1～V10，其中，注视点V1～V3，V6～V8和V10位于预设监测区域内，并且注视点V4、V5和V9位于预设监测区域外。假设第一预设数值为T1，注视点V4、注视点V5和V9对应的注视时长分别为t4、t5和t9，若t4+t5+t9大于T1，则可以确定工作人员在工作时走神，观察预设监测区域之外的内容，没有集中注意力于工作。
本实施例提供的工作状态的监测方法，通过根据位于预设监测区域外的注视点的注视时长的总和是否超过某一阈值，可以判断工作人员在工作时注意力是否分散，未集中精力进行对预设监测区域的监测。
在本申请的又一个实施例中，请参照图4，可选的，在一种实现方式中，工作人员进行监测的预设监测区域中包括多个关键区域，S103中，根据注视点信息确定工作人员的工作状态，可以包括：
S401、获取每个关键区域的第二时长。
其中，第二时长为在第二预设时长内位于关键区域内的注视点的注视时长的总和。
本实施例对于关键区域的数量以及每个关键区域在预设监测区域中的位置不做限定，根据需要进行设置。
可选的，关键区域可以为预设监测区域中显示重要内容的监测区域，例如显示航班位置、信息点位置等的区域。其中，信息点位置可以包括飞行冲突预警位置、低于安全高度预警位置等。
可选的，预设监测区域可以按照一定的规则被划分为多个区域，每个区域均为关键区域。例如，预设监测区域为长方形区域，该长方形区域在长度方向和宽度方向上被平均划分为16个区域，每个区域的面积一样。所述16个区域均为关键区域。
本实施例中，可以以与图2所示实施例中的第一预设时长相同的方式设定第二预设时长，此处不再赘述。
在第二预设时长内可以获取到多个注视点。对于第二预设时长内的每个注视点，可以根据每个注视点的坐标以及关键区域的坐标范围，确定关键区域包含的注视点。其中，各个关键区域的坐标范围可以预先通过几何校正算法确定。针对每个关键区域，将第二预设时长内位于该关键区域内的所有注视点对应的注视时长求和，得到第二预设时长内位于该关键区域内的注视点的总时长，即获取到与该关键区域对应的第二时长。
S402、根据多个关键区域的第二时长确定工作人员的工作状态。
本实施例中，对根据多个关键区域的第二时长确定工作人员的工作状态不做限定。
作为一种可能的实现方式，可以设置第二预设数值，根据多个关键区域的第二时长与第二预设数值之前的关系，确定工作人员的工作状态。若每个关键区域的第二时长均大于或等于第二预设数值，则确定工作人员的工作状态为正常状态。其中，第二预设数值可以根据经验确定，例如，可以将第一预设数值设定为观察关键区域内显示的内容所需要的最少时间。
下面结合图5对S401～S402进行说明。如图5所示，总共存在3个关键区域，分别为第一关键区域K1、第二关键区域K2和第三关键区域K3，其中，在第二预设时间段内，注视点V2和V3位于第一关键区域K1内，且注视点V2和V3对应的注视时长分别为t2、t3，注视点V5和V6位于第二关键区域K2内，且注视点V5和V6对应的注视时长分别t5、t6，注视点V8～V10位于第三关键区域K3内，且各个注视点对应的注视时长分别为t8、t9、t10。根据在第二预设时间段内位于每个关键区域内注视点的数量以及各个注视点对应的注视时长，可以得到在第二预设时间段内第一关键区域K1对应的总时长为t2+t3，第二关键区域K2对应的总时长t4+t5，第三关键区域K3对应的总时长t8+t9+t10。假设第二预设数值为T2，若t2+t3、t4+t5和t8+t9+t10均大于或等于T2，则可以确定工作人员充分注视查看到预设监测区域中的每个关键区域，进而，可以确定工作人员当前精神状态良好、工作能力较强。若t2+t3、t4+t5和t8+t9+t10中的至少一个小于T2，则可以确定工作人员遗漏对相应关键区域的监测，进而，可以确定工作人员当前精神状态差或能力存在欠缺。
本实施例提供的工作状态的监测方法，通过根据在一段时间内工作人员对每个关键区域内的总注视时长小于某一阈值，可以判断工作人员在监测时遗漏预设监测区域内的关键区域，进而，可以评估工作人员在工作时的精神和工作水平。
在本申请的又一个实施例中，可选的，在一种实现方式中，S103中，根据注视点信息确定工作人员的工作状态，可以包括：
若在第三预设时长内存在注视时长大于或等于第三预设数值的注视点，则确定工作人员的工作状态为异常状态。
具体的，人在有心事或精神处于疲惫时经常会出现双眼一直盯着某一位置，而思想处于放空的状态，即处于发呆状态。因此，可以根据是否存在长时间注视某一位置，来确定工作人员的工作状态。以第三预设数值为T3，在第三预设时长内预设监测区域内共存在5个注视点V1～V5为例进行说明。若注视点V2对应的注视时长大于或等于T3，则可以确定工作人员在工作时在V5对应的注视时长期间处于发呆状态，由此，可以确定工作人员在第三预设时长内存在异常工作状态。
本实施例中，可以以与图2所示实施例中的第一预设时长相同的方式设定第三预设时长。第三预设时长可以与第一预设时长相同，也可以与第一预设时长不同。第三预设数值的设定可以根据经验值确定。
本实施例的工作状态的监测方法，通过根据在一段时间内存在工作人员持续注视预设监测区域内的某一位置超过某一阈值，可以判断工作人员在工作时出现发呆，精神状态可能较差。
需要说明的是，上述关于S103中，根据注视点信息确定工作人员的工作状态的各种实现方式，相互之间可以相互结合，本申请对此不作限定。
图6为本申请实施例提供的工作状态的监测装置的一种结构示意图。本实施例提供的工作状态的监测装置，用以执行本申请任意方法实施例提供的工作状态的监测方法。如图6所示，本实施例提供的工作状态的监测方法，可以包括：
图像采集模块61，用于实时采集工作人员的图像；
获取模块62，用于根据工作人员的图像获取工作人员的注视点信息，注视点信息包括注视点的注视时长；
确定模块63，用于根据注视点信息确定工作人员的工作状态。
可选的，确定模块可以包括：
第一获取单元，用于获取第一时长，第一时长为在第一预设时长内没有位于预设监测区域内的注视点的注视时长的总和；
第一确定单元，用于根据第一时长确定工作人员的工作状态。
可选的，第一确定单元具体用于：
若第一时长小于或等于第一预设数值，则确定工作人员的工作状态为正常状态。
可选的，预测监测区域包括多个关键区域，确定模块可以包括：
第二获取单元，用于获取每个关键区域的第二时长，第二时长为在第二预设时长内位于关键区域内的注视点的注视时长的总和；
第二确定单元，用于根据多个关键区域的第二时长确定工作人员的工作状态。
可选的，第二确定单元具体用于：
若每个关键区域的第二时长均大于或等于第二预设数值，则确定工作人员的工作状态为正常状态。
可选的，确定模块可以包括：
第三确定单元，用于若在第三预设时长内存在注视时长大于或等于第三预设数值的注视点，则确定工作人员的工作状态为异常状态。
本实施例提供的工作状态的监测装置，用以执行本申请任意方法实施例提供的工作状态的监测方法，其技术原理和技术效果类似，此处不再赘述。
图7为本申请实施例提供的工作状态的监测装置的另一种结构示意图。本实施例提供的工作状态的监测装置，用以执行本申请任意方法实施例提供的工作状态的监测方法。如图7所示，本实施例提供的工作状态的监测装置，可以包括：存储器72和处理器71；
所述存储器72，用于存储程序指令；
所述处理器71，用于调用所述存储器中存储的所述程序指令以实现本申请任意方法实施方式提供的工作状态的监测方法。
具体实现方式和技术效果类似，此处不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种工作状态的监测方法，其特征在于，包括：
实时采集工作人员的图像；
根据所述工作人员的图像获取所述工作人员的注视点信息，所述注视点信息包括注视点的注视时长；
根据所述注视点信息确定所述工作人员的工作状态。
2.根据权利要求1所述的方法，其特征在于，所述根据所述注视点信息确定所述工作人员的工作状态，包括：
获取第一时长，所述第一时长为在第一预设时长内没有位于预设监测区域内的注视点的注视时长的总和；
根据所述第一时长确定所述工作人员的工作状态。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一时长确定所述工作人员的工作状态，包括：
若所述第一时长小于或等于第一预设数值，则确定所述工作人员的工作状态为正常状态。
4.根据权利要求1所述的方法，其特征在于，预设监测区域包括多个关键区域，所述根据所述注视点信息确定所述工作人员的工作状态，包括：
获取每个所述关键区域的第二时长，所述第二时长为在第二预设时长内位于所述关键区域内的注视点的注视时长的总和；
根据所述多个关键区域的第二时长确定所述工作人员的工作状态。
5.根据权利要求4所述的方法，其特征在于，所述根据所述多个关键区域的第二时长确定所述工作人员的工作状态，包括：
若每个所述关键区域的第二时长均大于或等于第二预设数值，则确定所述工作人员的工作状态为正常状态。
6.根据权利要求1所述的方法，其特征在于，所述根据所述注视点信息确定所述工作人员的工作状态，包括：
若在第三预设时长内存在注视时长大于或等于第三预设数值的注视点，则确定所述工作人员的工作状态为异常状态。
7.一种工作状态的监测装置，其特征在于，包括：
图像采集模块，用于实时采集工作人员的图像；
获取模块，用于根据所述工作人员的图像获取所述工作人员的注视点信息，所述注视点信息包括注视点的注视时长；
确定模块，用于根据所述注视点信息确定所述工作人员的工作状态。
8.根据权利要求7所述的装置，其特征在于，所述确定模块包括：
第一获取单元，用于获取第一时长，所述第一时长为在第一预设时长内没有位于预设监测区域内的注视点的注视时长的总和；
第一确定单元，用于根据所述第一时长确定所述工作人员的工作状态。
9.根据权利要求8所述的装置，其特征在于，所述第一确定单元具体用于：
若所述第一时长小于或等于第一预设数值，则确定所述工作人员的工作状态为正常状态。
10.根据权利要求7所述的装置，其特征在于，预测监测区域包括多个关键区域，所述确定模块包括：
第二获取单元，用于获取每个所述关键区域的第二时长，所述第二时长为在第二预设时长内位于所述关键区域内的注视点的注视时长的总和；
第二确定单元，用于根据所述多个关键区域的第二时长确定所述工作人员的工作状态。
CN201910698284.9A 2019-07-31 2019-07-31 工作状态的监测方法和装置 Pending CN110516553A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910698284.9A CN110516553A (zh) 2019-07-31 2019-07-31 工作状态的监测方法和装置
US16/729,293 US11361590B2 (en) 2019-07-31 2019-12-27 Method and apparatus for monitoring working state

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910698284.9A CN110516553A (zh) 2019-07-31 2019-07-31 工作状态的监测方法和装置

Publications (1)

Publication Number Publication Date
CN110516553A true CN110516553A (zh) 2019-11-29

Family

ID=68623836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910698284.9A Pending CN110516553A (zh) 2019-07-31 2019-07-31 工作状态的监测方法和装置

Country Status (2)

Country Link
US (1) US11361590B2 (zh)
CN (1) CN110516553A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954209A (zh) * 2021-02-08 2021-06-11 维沃移动通信（杭州）有限公司 拍照方法、装置、电子设备及介质
CN115547501A (zh) * 2022-11-24 2022-12-30 国能大渡河大数据服务有限公司 一种结合工作特征的员工情绪感知方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114680889A (zh) * 2022-03-08 2022-07-01 中国石油大学(北京) 钻井作业人员的不安全行为识别方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
US9868352B1 (en) * 2012-12-17 2018-01-16 State Farm Mutual Automobile Insurance Company Systems and methodologies for real-time driver gaze location determination and analysis utilizing computer vision technology
CN108427503A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 人眼追踪方法及人眼追踪装置
CN108492648A (zh) * 2018-03-16 2018-09-04 何戴娆 一种远程在线教学学生状态确定方法及系统
CN109271914A (zh) * 2018-09-07 2019-01-25 百度在线网络技术（北京）有限公司 检测视线落点的方法、装置、存储介质和终端设备
CN109375765A (zh) * 2018-08-31 2019-02-22 深圳市沃特沃德股份有限公司 眼球追踪交互方法和装置
CN109949193A (zh) * 2019-04-02 2019-06-28 中国计量大学上虞高等研究院有限公司 可变光环境下学习注意力检测与预判装置和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10102773B2 (en) * 2012-04-23 2018-10-16 The Boeing Company Methods for evaluating human performance in aviation
US20160343229A1 (en) * 2015-05-18 2016-11-24 Frank Colony Vigilance detection method and apparatus
US10339659B2 (en) * 2016-06-13 2019-07-02 International Business Machines Corporation System, method, and recording medium for workforce performance management

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
US9868352B1 (en) * 2012-12-17 2018-01-16 State Farm Mutual Automobile Insurance Company Systems and methodologies for real-time driver gaze location determination and analysis utilizing computer vision technology
CN108492648A (zh) * 2018-03-16 2018-09-04 何戴娆 一种远程在线教学学生状态确定方法及系统
CN108427503A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 人眼追踪方法及人眼追踪装置
CN109375765A (zh) * 2018-08-31 2019-02-22 深圳市沃特沃德股份有限公司 眼球追踪交互方法和装置
CN109271914A (zh) * 2018-09-07 2019-01-25 百度在线网络技术（北京）有限公司 检测视线落点的方法、装置、存储介质和终端设备
CN109949193A (zh) * 2019-04-02 2019-06-28 中国计量大学上虞高等研究院有限公司 可变光环境下学习注意力检测与预判装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAXIME REYNAL,ET AL: "Pilot Flying vs. Pilot Monitoring during the approach phase: an eye--tracking study", 《INTERNATIONAL CONFERENCE ON HUMAN-COMPUTER INTERACTION IN AEROSPACE (HCI-AERO 2016)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954209A (zh) * 2021-02-08 2021-06-11 维沃移动通信（杭州）有限公司 拍照方法、装置、电子设备及介质
CN115547501A (zh) * 2022-11-24 2022-12-30 国能大渡河大数据服务有限公司 一种结合工作特征的员工情绪感知方法及系统
CN115547501B (zh) * 2022-11-24 2023-04-07 国能大渡河大数据服务有限公司 一种结合工作特征的员工情绪感知方法及系统

Also Published As

Publication number Publication date
US20210034845A1 (en) 2021-02-04
US11361590B2 (en) 2022-06-14

Similar Documents

Publication Publication Date Title
CN110516553A (zh) 工作状态的监测方法和装置
CN111128068B (zh) 一种显示装置和显示面板的驱动显示方法
CN109766011A (zh) 一种图像渲染方法和装置
US8913005B2 (en) Methods and systems for ergonomic feedback using an image analysis module
WO2022000300A1 (zh) 图像处理方法、图像获取装置、无人机、无人机系统和存储介质
WO2011023948A1 (en) Visual perimeter measurement system and method
WO2016150112A1 (zh) 一种调节显示屏亮度的方法及装置
CN103176693A (zh) 一种自动变换终端屏幕画面方向的方法及装置
US11206376B2 (en) Systems and methods for image processing
CN110765828A (zh) 视觉识别方法及其系统
US11937928B2 (en) Evaluation apparatus, evaluation method, and evaluation program
US9035803B2 (en) Systems and methods for aiding traffic controllers and/or pilots
US20130076738A1 (en) 3d display method and system with automatic display range and display mode determination
CN111586230A (zh) 一种移动终端屏幕亮度的调节系统及方法
CN111190486A (zh) 一种基于眼睛控制的分区显示方法及装置
CN107396054B (zh) 一种监控视频的显示方法
CN117406949A (zh) 终端设备屏幕调节方法及装置
JP2014182628A (ja) 空間重要度判定装置、空間重要度判定方法、及びプログラム
CN111651043A (zh) 一种支持定制化多通道交互的增强现实系统
CN110533577B (zh) 鱼眼图像校正方法及装置
US11696038B2 (en) Multiple camera color balancing
JP2014102668A (ja) 表示装置
CN107343193B (zh) 一种裸眼立体显示方法、装置及设备
CN105956996B (zh) 基于二次折射投影模型的鱼眼图像校正方法、装置和系统
CN116528036B (zh) 一种基于智慧文旅的景区安全实时监控系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination