CN113487596A - 工作强度确定方法、装置及电子设备 - Google Patents
工作强度确定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113487596A CN113487596A CN202110841743.1A CN202110841743A CN113487596A CN 113487596 A CN113487596 A CN 113487596A CN 202110841743 A CN202110841743 A CN 202110841743A CN 113487596 A CN113487596 A CN 113487596A
- Authority
- CN
- China
- Prior art keywords
- video frame
- time period
- working strength
- human body
- target time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 10
- 238000013145 classification model Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 claims 18
- 230000002596 correlated effect Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种工作强度确定方法、装置及电子设备，其中，能够对获取到的预设工作时段的视频帧序列进行同一对象的对象检测和跟踪，将每个轨迹信息对应的对象分别作为第一对象，从第一对象的轨迹信息对应的各个对象检测框中提取人体姿态信息，基于人体姿态信息获取手臂运动的目标时间段；从目标时间段对应的视频帧序列中提取第一对象的关联时序特征和空间特征；基于关联时序特征和空间特征确定第一对象的工作强度，本发明基于视频帧进行工作强度计算，保证了工作强度计算的准确性，另外，不需要工作人员进行员工工作强度的判别，一定程度上降低了人力成本。
Description
技术领域
本发明涉及计算机技术领域，尤其是涉及一种工作强度确定方法、装置及电子设备。
背景技术
人员工作强度量化管理是现代工厂人员管理中非常重要的一个环节，实际生产产线中人员的工作强度过大或过小一方面会影响生产效率，另一方面可能会影响产品质量甚至会因为强度过大而导致严重的生产事故。
目前主要识别员工工作强度的方法主要还是靠员工自身情况进行报备或相关工作分配人员依据历史经验进行判别；上述判别的方式很难结合实际情况实时的对工人工作强度进行判别，所以，容易因工作分配不均造成员工身体疲劳、工作效率低下等问题的出现。
发明内容
有鉴于此，本发明的目的在于提供一种工作强度确定方法、装置及电子设备，以缓解上述技术问题。
第一方面，本发明实施例提供了一种工作强度确定方法，其中，该方法包括：获取预设工作时段的视频帧序列；对视频帧序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息；其中，轨迹信息为包含相同对象检测框标识的视频帧子序列；将每条轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行以下操作：从第一对象的轨迹信息对应的各个对象检测框中提取人体姿态信息；基于人体姿态信息获取手臂运动的目标时间段；从目标时间段对应的第一视频帧子序列中提取第一对象的关联时序特征和空间特征；基于关联时序特征和空间特征确定第一对象的工作强度。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，对视频帧序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息的步骤，包括：通过预先训练好的检测模型对视频帧序列进行对象检测，得到标注有对象检测框的视频帧；对每个视频帧进行跟踪，得到同一对象的轨迹信息。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，基于人体姿态信息获取手臂运动的目标时间段的步骤，包括：将预设工作时段均分成多个时间段；将每个时间段分别作为第一时间段，对于每个第一时间段均执行以下操作：在第一时间段对应的第二视频帧子序列中，基于人体姿态信息计算相邻两个视频帧中第一对象对应的手臂运动幅值；如果手臂运动幅值超过预设幅值阈值，确定相邻两个视频帧为有效视频帧；统计有效视频帧的帧数；如果有效视频帧的帧数超过预设帧数阈值，确定第一时间段为目标时间段。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，人体姿态信息包括手臂距离人体的角度信息和距离信息；基于人体姿态信息计算相邻两个视频帧中第一对象对应的手臂运动幅值的步骤包括：计算相邻两个视频帧中第一对象对应的角度信息的角度差值；计算相邻两个视频帧中第一对象对应的距离信息的距离差值；将角度差值和距离差值作为相邻两个视频帧中第一对象对应的手臂运动幅值。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，从目标时间段对应的第一视频帧子序列中提取第一对象的关联时序特征和空间特征的步骤，包括：利用预先训练好的第一提取模型对目标时间段对应的视频帧序列中进行人体姿态信息的相关程度的特征提取，得到关联时序特征；利用预先训练好的第二提取模型对目标时间段对应的视频帧序列中进行人体姿态信息的空间特征提取，得到空间特征。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，基于关联时序特征和空间特征确定第一对象的工作强度的步骤，包括：将关联时序特征和空间特征进行加权计算得到目标特征；将目标特征输入至预先训练好的工作强度分类模型中，通过工作强度分类模型计算目标时间段对应的工作强度分值，其中，工作强度分类模型为通过目标特征对神经网络训练得到的分类模型；基于工作强度分值确定第一对象的工作强度。
结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，基于工作强度分值确定第一对象的工作强度的步骤，包括：如果确定出一个目标时间段，基于目标时间段对应的工作强度分值确定第一对象的工作强度；如果确定出多个目标时间段，则将多个目标时间段分别对应的工作强度分值进行加权计算得到计算结果，基于计算结果确定第一对象的工作强度。
第二方面，本发明实施例还提供一种工作强度确定装置，其中，该装置包括：第一获取模块，用于获取预设工作时段的视频帧序列；检测跟踪模块，用于对视频帧序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息；其中，轨迹信息为包含相同对象检测框标识的视频帧子序列；执行模块，用于将每条轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行以下操作：第一提取模块，用于从第一对象的轨迹信息对应的各个对象检测框中提取人体姿态信息；第二获取模块，用于基于人体姿态信息获取手臂运动的目标时间段；第二提取模块，用于从目标时间段对应的第一视频帧子序列中提取第一对象的关联时序特征和空间特征；确定模块，用于基于关联时序特征和空间特征确定第一对象的工作强度。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述工作强度确定方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述工作强度确定方法的步骤。
本发明实施例带来了以下有益效果：
本申请实施例提供一种工作强度确定方法、装置及电子设备，其中，能够对获取到的预设工作时段的视频帧序列进行同一对象的对象检测和跟踪，将每个轨迹信息对应的对象分别作为第一对象，从第一对象的轨迹信息对应的各个对象检测框中提取人体姿态信息，基于人体姿态信息获取手臂运动的目标时间段；从目标时间段对应的视频帧序列中提取第一对象的关联时序特征和空间特征；基于关联时序特征和空间特征确定第一对象的工作强度，本发明基于视频帧进行工作强度计算，保证了工作强度计算的准确性，另外，部分或者完全替代工作人员进行员工工作强度的判别，一定程度上降低了人力成本。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种工作强度确定方法的流程图；
图2为本发明实施例提供的另一种工作强度确定方法的流程图；
图3为本发明实施例提供的一种工作强度确定装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，主要识别员工工作强度的方法主要还是靠员工自身情况进行报备或相关工作分配人员依据历史经验进行判别；上述判别的方式很难结合实际情况实时的对工人工作强度进行判别，所以，容易因工作分配不均造成员工身体疲劳、工作效率低下等问题的出现。基于此，本发明实施例提供的一种工作强度确定方法、装置及电子设备，以缓解上述技术问题。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种工作强度确定方法进行详细介绍。
本实施例提供了一种工作强度确定方法，参见图1所示的一种工作强度确定方法的流程图，该方法具体包括如下步骤：
步骤S102，获取预设工作时段的视频帧序列；
上述视频帧序列可由能摄像的摄像机拍摄得到，且，本申请中预设工作时段的时间段可以根据实际需要进行设置，在此不进行限定。
步骤S104，对视频帧序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息；其中，轨迹信息为包含相同对象检测框标识的视频帧子序列；
上述对象可以为人脸对象或人体对象，或者人体其它部位，为了便于说明，以人体对象为例进行说明；在对视频帧序列进行人体对象检测时，能够在包括有人体对象的视频帧上标注出每个人体对象的人体检测框，比如，在上述视频帧序列中包含人体对象1的人体检测框的视频帧共有5帧，分别对应的视频帧的帧标识为1、2、3、4、5；包含人体对象2的人体检测框的视频帧共有4帧，分别对应的视频帧的帧标识为3、4、5、6。上述帧标识可以使用上述数字的形式或其他形式对视频帧进行标识，在此不进行限定。
在对视频帧序列进行对象检测的同时进行跟踪，以获取每个员工对应的轨迹信息。可以理解的是，不同视频帧中通过对对象的跟踪而确认为对应相同员工对象的对象检测框具有相同的检测框标识。
步骤S106，将每条轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行步骤S108至步骤S114的操作：
步骤S108，从第一对象的轨迹信息对应的各个对象检测框中提取人体姿态信息；
人体姿态信息包括手臂距离人体的角度信息和距离信息，该距离信息是指手臂上特定部位距离人体的水平距离，该特定部位可以是指手臂上的肘部、小臂中部、大臂中部、手腕等部位，在此不对特定部分进行限定；在本实施例中，可在包含第一对象的轨迹信息的各个视频帧中的对象检测框中提取出第一对象的人体姿态信息。
步骤S110，基于人体姿态信息获取手臂运动的目标时间段；
上述手臂运动的目标时间段可理解为是员工工作的时间段。
步骤S112，从目标时间段对应的第一视频帧子序列中提取第一对象的关联时序特征和空间特征；
其中，关联时序特征是指上面所描述的手臂运动较为的目标时间段内对应的人体姿态信息的运动特征序列；空间特征主要是指第一对象所在视频帧中包含的传统直方图特征、PCA(Principal Component Analysis，主成分分析方法)、sift(Scale-invariantfeature transform，尺度不变特征变换)特征，以及，用深度循环网络提取的实际的空间高阶特征向量。
步骤S114，基于关联时序特征和空间特征确定第一对象的工作强度。
通过上述步骤S112能够准确得到人体姿态信息的运动信息和实际的空间信息，提升了提取特征的可区分性，进而使得最终的工作强度量化结果更为准确。
本申请实施例提供一种工作强度确定方法，其中，能够对获取到的预设工作时段的视频帧序列进行同一对象的对象检测和跟踪，将每个轨迹信息对应的对象分别作为第一对象，从第一对象的轨迹信息对应的各个对象检测框中提取人体姿态信息，基于人体姿态信息获取手臂运动的目标时间段；从目标时间段对应的视频帧序列中提取第一对象的关联时序特征和空间特征；基于关联时序特征和空间特征确定第一对象的工作强度，本发明基于视频帧进行工作强度计算，保证了工作强度计算的准确性，另外，部分或者完全替代工作人员进行员工工作强度的判别，一定程度上降低了人力成本。
本实施例提供了另一种工作强度确定方法，该方法在上述实施例的基础上实现；本实施例重点描述对视频帧序列进行对象检测和跟踪的具体实施方式。如图2所示的另一种工作强度确定方法的流程图，本实施例中的工作强度确定方法包括如下步骤：
步骤S202，获取预设工作时段的视频帧序列；
步骤S204，通过预先训练好的检测模型对视频帧序列进行对象检测，得到标注有对象检测框的视频帧；
上述检测模型可以是由带有标签的人体训练样本对SSD(Single Shot MultiBoxDetector)算法、retinaNet算法或fasterRCNN算法等深度神经网络进行训练得到的人体检测模型，利用上述训练好的人体检测模型能够准确检测出每个视频帧中包含的人体对象，并能够在上述视频帧中用方框的形式将人体对象标注出来，便于用户识别人体对象，进一步便于得到该人体对象对应的人体姿态信息。
步骤S206，对每个视频帧进行跟踪，得到同一对象的轨迹信息；
在本实施例中，可基于IOU(Intersection over Union，交并比)匹配跟踪算法对每个视频帧进行IOU跟踪，得到同一对象的轨迹信息；上述IOU匹配跟踪算法是一种测量在特定数据集中检测相应物体准确度的一个标准，这个标准用于测量真实和预测之间的相关度，相关度越高，该标准值越高；在本实施例的目标跟踪中，为了实现简单，上述标准值可以由预先训练好的人体检测模型实现，通过该模型可以对在包含有人体对象的视频帧中计算出检测框之间的交叠率，即它们的交集与并集的比值；如果计算出的相邻两视频帧(例如帧标识为5和帧标识为6的视频帧)中检测框之间的交叠率高于预先设定的交叠率阈值或者为最大交叠率，则确定两个检测框对应的人体对象为同一个目标对象；通过上述IOU匹配跟踪算法能够获得在上述视频帧序列中同一人脸目标的对象检测框所在的视频帧的帧标识，并将同一人脸目标的检测框赋予相同的检测框标识。
除了可以利用上述IOU匹配跟踪算法进行人体对象的跟踪之外，还可以基于对象检测框的坐标信息利用马氏距离或协方差距离计算两视频帧中对象检测框的线性相关度进行人体对象的跟踪，该线性相关度越高，说明是同一人体对象以获取每个对象的轨迹信息。
步骤S208，将每条轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行步骤S210至步骤S216的操作：
步骤S210，从第一对象的轨迹信息对应的各个对象检测框中提取人体姿态信息；
步骤S212，基于人体姿态信息获取手臂运动的目标时间段；
具体可通过步骤A1至步骤A6实现：
步骤A1，将预设工作时段均分成多个时间段；
比如，预设工作时段为早上9点至下午5点，可按照半小时的划分时间段将上述8个小时均分成16个时间段。
步骤A2，将每个时间段分别作为第一时间段，对于每个第一时间段均执行步骤A3至步骤A6的操作：
步骤A3，在第一时间段对应的第二视频帧子序列中，基于人体姿态信息计算相邻两个视频帧中第一对象对应的手臂运动幅值；
续接前例，该第二视频帧子序列是指每半小时时间段内包括的所有视频帧。
具体手臂运动幅值的计算过程为：计算相邻两个视频帧中第一对象对应的角度信息的角度差值；计算相邻两个视频帧中第一对象对应的距离信息的距离差值；将角度差值和距离差值作为相邻两个视频帧中第一对象对应的手臂运动幅值。
该手臂运动幅值为相邻两个视频帧中第一对象手臂的变化量，通过计算出的角度差值和距离差值，能够准确得到后一个视频帧相对于前一个视频帧中第一对象手臂的运动幅度情况。
步骤A4，如果手臂运动幅值超过预设幅值阈值，确定相邻两个视频帧为有效视频帧；
由于手臂运动幅值包括角度差值和距离差值，因此，在本实施例中，预设幅值阈值也包括的角度幅值阈值和距离幅值阈值，若得到的角度差值满足角度幅值阈值，距离差值也满足距离幅值阈值，则可确定相邻两个视频帧为有效视频帧；若有一个差值不满足对应的幅值阈值，则确定相邻两个视频帧中的前一个视频帧为无效视频帧，而后一个视频帧是否为无效视频帧或有效视频帧，还需后一个视频帧，以及后一个视频帧的下一个视频帧再次进行步骤A3和步骤A4才能确定，该确定步骤同上，在此不进行赘述。其中，上述预设幅值阈值可以根据实际需要进行设置，在此不进行限定。
步骤A5，统计有效视频帧的帧数；
步骤A6，如果有效视频帧的帧数超过预设帧数阈值，确定第一时间段为目标时间段。
如果在第一时间段中统计有效视频帧的帧数超过预设帧数阈值，说明员工在该时段工作繁忙，则将该第一时间段确定为目标时间段。
步骤S214，从目标时间段对应的第一视频帧子序列中提取第一对象的关联时序特征和空间特征；
其中，关联时序特征和空间特征的提取过程为：利用预先训练好的第一提取模型对目标时间段对应的视频帧序列中进行人体姿态信息的相关程度的特征提取，得到关联时序特征；利用预先训练好的第二提取模型对目标时间段对应的视频帧序列中进行人体姿态信息的空间特征提取，得到空间特征。
其中，上述第一提取模型是基于人体姿态信息预先训练好的，第二提取模型是基于人体姿态信息的空间特征训练好的。
步骤S216，基于关联时序特征和空间特征确定第一对象的工作强度。
具体确定过程可通过步骤B1至步骤B3实现：
步骤B1，将关联时序特征和空间特征进行加权计算得到目标特征；
其中，对关联时序特征和空间特征进行加权的权重值可以根据需要进行设置，在此不进行限定。
步骤B2，将目标特征输入至预先训练好的工作强度分类模型中，通过工作强度分类模型计算目标时间段对应的工作强度分值，其中，工作强度分类模型为通过目标特征对神经网络训练得到的分类模型；
步骤B3，基于工作强度分值确定第一对象的工作强度。
如果确定出一个目标时间段，基于目标时间段对应的工作强度分值确定第一对象的工作强度；如果确定出多个目标时间段，则将多个目标时间段分别对应的工作强度分值进行加权计算得到计算结果，基于计算结果确定第一对象的工作强度。
比如，可将工作强度分成轻度、较轻度、中度、高度和重高度五种强度，每种强度都有对应的工作强度分值阈值范围，其中，轻度的工作强度分值阈值范围为[20-40)，较轻度的工作强度分值阈值范围为[40-55)，中度的工作强度分值阈值范围为[55-70)，高度的工作强度分值阈值范围为[70-85)，重高度的工作强度分值阈值范围为[85-100)。
判断得到的工作强度分值落入上述哪个工作强度分值阈值范围，将落入的工作强度分值阈值范围对应的工作强度确定为第一对象的工作强度，比如，得到的工作强度分值为80，由于该分值落入[70-85)范围内，因此，第一对象的工作强度属于高度。
对应于上述方法实施例，本实施例提供了一种工作强度确定装置，参见图3所示的一种工作强度确定装置的结构示意图，该装置包括：
第一获取模块302，用于获取预设工作时段的视频帧序列；
检测跟踪模块304，用于对视频帧序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息；其中，轨迹信息为包含相同对象检测框标识的视频帧子序列；
执行模块306，用于将每条轨迹信息对应的对象分别作为第一对象，对于每个第一对象均执行以下操作：
第一提取模块308，用于从第一对象的轨迹信息对应的各个对象检测框中提取人体姿态信息；
第二获取模块310，用于基于人体姿态信息获取手臂运动的目标时间段；
第二提取模块312，用于从目标时间段对应的第一视频帧子序列中提取第一对象的关联时序特征和空间特征；
确定模块314，用于基于关联时序特征和空间特征确定第一对象的工作强度。
本申请实施例提供一种工作强度确定装置，其中，能够对获取到的预设工作时段的视频帧序列进行同一对象的对象检测和跟踪，将每个轨迹信息对应的对象分别作为第一对象，从第一对象的轨迹信息对应的各个对象检测框中提取人体姿态信息，基于人体姿态信息获取手臂运动的目标时间段；从目标时间段对应的视频帧序列中提取第一对象的关联时序特征和空间特征；基于关联时序特征和空间特征确定第一对象的工作强度，本发明基于视频帧进行工作强度计算，保证了工作强度计算的准确性，另外，部分或者完全替代工作人员进行员工工作强度的判别，一定程度上降低了人力成本。
本发明实施例提供的工作强度确定装置，与上述实施例提供的工作强度确定方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本申请实施例还提供了一种电子设备，如图4所示，为该电子设备的结构示意图，其中，该电子设备包括处理器121和存储器120，该存储器120存储有能够被该处理器121执行的计算机可执行指令，该处理器121执行该计算机可执行指令以实现上述工作强度确定方法。
在图4示出的实施方式中，该电子设备还包括总线122和通信接口123，其中，处理器121、通信接口123和存储器120通过总线122连接。
其中，存储器120可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口123(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线122可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线122可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器121可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器121中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器121可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器121读取存储器中的信息，结合其硬件完成前述实施例的工作强度确定方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述工作强度确定方法，具体实现可参见前述方法实施例，在此不再赘述。
本申请实施例所提供的工作强度确定方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种工作强度确定方法，其特征在于，所述方法包括：
获取预设工作时段的视频帧序列；
对所述视频帧序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息；其中，所述轨迹信息为包含相同对象检测框标识的视频帧子序列；
将每条所述轨迹信息对应的对象分别作为第一对象，对于每个所述第一对象均执行以下操作：
从所述第一对象的轨迹信息对应的各个对象检测框中提取人体姿态信息；
基于所述人体姿态信息获取手臂运动的目标时间段；
从所述目标时间段对应的第一视频帧子序列中提取所述第一对象的关联时序特征和空间特征；
基于所述关联时序特征和空间特征确定所述第一对象的工作强度。
2.根据权利要求1所述的方法，其特征在于，所述对所述视频帧序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息的步骤，包括：
通过预先训练好的检测模型对所述视频帧序列进行所述对象检测，得到标注有对象检测框的视频帧；
对每个所述视频帧进行跟踪，得到同一对象的轨迹信息。
3.根据权利要求1所述的方法，其特征在于，基于所述人体姿态信息获取手臂运动的目标时间段的步骤，包括：
将所述预设工作时段均分成多个时间段；
将每个所述时间段分别作为第一时间段，对于每个所述第一时间段均执行以下操作：
在所述第一时间段对应的第二视频帧子序列中，基于所述人体姿态信息计算相邻两个视频帧中所述第一对象对应的手臂运动幅值；
如果所述手臂运动幅值超过预设幅值阈值，确定所述相邻两个视频帧为有效视频帧；
统计所述有效视频帧的帧数；
如果所述有效视频帧的帧数超过预设帧数阈值，确定所述第一时间段为目标时间段。
4.根据权利要求3所述的方法，其特征在于，所述人体姿态信息包括手臂距离人体的角度信息和距离信息；
基于所述人体姿态信息计算相邻两个视频帧中所述第一对象对应的手臂运动幅值的步骤包括：
计算相邻两个视频帧中所述第一对象对应的角度信息的角度差值；
计算相邻两个视频帧中所述第一对象对应的距离信息的距离差值；
将所述角度差值和所述距离差值作为相邻两个视频帧中所述第一对象对应的手臂运动幅值。
5.根据权利要求1所述的方法，其特征在于，从所述目标时间段对应的第一视频帧子序列中提取所述第一对象的关联时序特征和空间特征的步骤，包括：
利用预先训练好的第一提取模型对所述目标时间段对应的视频帧序列中进行所述人体姿态信息的相关程度的特征提取，得到所述关联时序特征；
利用预先训练好的第二提取模型对所述目标时间段对应的视频帧序列中进行所述人体姿态信息的空间特征提取，得到所述空间特征。
6.根据权利要求1所述的方法，其特征在于，基于所述关联时序特征和空间特征确定所述第一对象的工作强度的步骤，包括：
将所述关联时序特征和所述空间特征进行加权计算得到目标特征；
将所述目标特征输入至预先训练好的工作强度分类模型中，通过所述工作强度分类模型计算目标时间段对应的工作强度分值，其中，所述工作强度分类模型为通过所述目标特征对神经网络训练得到的分类模型；
基于所述工作强度分值确定所述第一对象的工作强度。
7.根据权利要求6所述的方法，其特征在于，基于所述工作强度分值确定所述第一对象的工作强度的步骤，包括：
如果确定出一个所述目标时间段，基于所述目标时间段对应的工作强度分值确定所述第一对象的工作强度；
如果确定出多个所述目标时间段，则将多个所述目标时间段分别对应的工作强度分值进行加权计算得到计算结果，基于所述计算结果确定所述第一对象的工作强度。
8.一种工作强度确定装置，其特征在于，所述装置包括：
第一获取模块，用于获取预设工作时段的视频帧序列；
检测跟踪模块，用于对所述视频帧序列进行对象检测和跟踪，得到标注有对象检测框的视频帧和同一对象的轨迹信息；其中，所述轨迹信息为包含相同对象检测框标识的视频帧子序列；
执行模块，用于将每条所述轨迹信息对应的对象分别作为第一对象，对于每个所述第一对象均执行以下操作：
第一提取模块，用于从所述第一对象的轨迹信息对应的各个对象检测框中提取人体姿态信息；
第二获取模块，用于基于所述人体姿态信息获取手臂运动的目标时间段；
第二提取模块，用于从所述目标时间段对应的第一视频帧子序列中提取所述第一对象的关联时序特征和空间特征；
确定模块，用于基于所述关联时序特征和空间特征确定所述第一对象的工作强度。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-8任一项所述的工作强度确定方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-8任一项所述的工作强度确定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110841743.1A CN113487596A (zh) | 2021-07-26 | 2021-07-26 | 工作强度确定方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110841743.1A CN113487596A (zh) | 2021-07-26 | 2021-07-26 | 工作强度确定方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113487596A true CN113487596A (zh) | 2021-10-08 |
Family
ID=77943613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110841743.1A Pending CN113487596A (zh) | 2021-07-26 | 2021-07-26 | 工作强度确定方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487596A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108810464A (zh) * | 2018-06-06 | 2018-11-13 | 合肥思博特软件开发有限公司 | 一种智能人身识别图像优化跟踪传输方法及系统 |
| CN111310689A (zh) * | 2020-02-25 | 2020-06-19 | 陕西科技大学 | 潜在信息融合的家庭安防系统中的人体行为识别的方法 |
| CN112163470A (zh) * | 2020-09-11 | 2021-01-01 | 高新兴科技集团股份有限公司 | 基于深度学习的疲劳状态识别方法、系统、存储介质 |
| CN112883906A (zh) * | 2021-03-15 | 2021-06-01 | 珠海安联锐视科技股份有限公司 | 一种基于目标检测的人员状态分析方法 |
| CN113033523A (zh) * | 2021-05-25 | 2021-06-25 | 杭州雄迈集成电路技术股份有限公司 | 跌倒判断模型的构建方法及系统、跌倒判断方法及系统 |
| US20210201506A1 (en) * | 2019-12-31 | 2021-07-01 | Sensetime International Pte. Ltd. | Image recognition method and apparatus, and computer-readable storage medium |
-
2021
- 2021-07-26 CN CN202110841743.1A patent/CN113487596A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108810464A (zh) * | 2018-06-06 | 2018-11-13 | 合肥思博特软件开发有限公司 | 一种智能人身识别图像优化跟踪传输方法及系统 |
| US20210201506A1 (en) * | 2019-12-31 | 2021-07-01 | Sensetime International Pte. Ltd. | Image recognition method and apparatus, and computer-readable storage medium |
| CN111310689A (zh) * | 2020-02-25 | 2020-06-19 | 陕西科技大学 | 潜在信息融合的家庭安防系统中的人体行为识别的方法 |
| CN112163470A (zh) * | 2020-09-11 | 2021-01-01 | 高新兴科技集团股份有限公司 | 基于深度学习的疲劳状态识别方法、系统、存储介质 |
| CN112883906A (zh) * | 2021-03-15 | 2021-06-01 | 珠海安联锐视科技股份有限公司 | 一种基于目标检测的人员状态分析方法 |
| CN113033523A (zh) * | 2021-05-25 | 2021-06-25 | 杭州雄迈集成电路技术股份有限公司 | 跌倒判断模型的构建方法及系统、跌倒判断方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 赵琦琳 等: "《人工神经网络在环境科学与工程中的设计应用》", 31 March 2019, 中国环境出版集团, pages: 139 * |
| 郑潇 等: "基于姿态时空特征的人体行为识别方法", 《计算机辅助设计与图形学学报》, vol. 30, no. 9, pages 1615 - 1624 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3528207B1 (en) | Motion recognition device, motion recognition program, and motion recognition method | |
| CN108564069B (zh) | 一种工业佩戴安全帽视频检测方法 | |
| Davey et al. | Validation trial of an accelerometer‐based sensor platform for swimming | |
| WO2017050140A1 (zh) | 一种人体动作识别方法、识别用户动作的方法和智能终端 | |
| CN109165685B (zh) | 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统 | |
| CN108021888B (zh) | 一种跌倒检测方法 | |
| CN109145696B (zh) | 一种基于深度学习的老人跌倒检测方法及系统 | |
| CN110674680B (zh) | 活体识别的方法、装置、存储介质 | |
| CN112257660B (zh) | 无效客流的去除方法、系统、设备及计算机可读存储介质 | |
| CN106971130A (zh) | 一种以人脸为参照的手势识别方法 | |
| CN115497596B (zh) | 一种基于物联网的人体运动过程姿态纠正方法及系统 | |
| CN105426929A (zh) | 对象形状对准装置、对象处理装置及其方法 | |
| CN115810178B (zh) | 人群异常聚集预警方法、装置、电子设备及介质 | |
| CN113723157B (zh) | 一种农作物病害识别方法、装置、电子设备及存储介质 | |
| EP3039600B1 (en) | Pose and sub-pose clustering-based identification of individuals | |
| CN107798308A (zh) | 一种基于短视频训练法的人脸识别方法 | |
| CN114155557A (zh) | 定位方法、装置、机器人及计算机可读存储介质 | |
| CN118194186A (zh) | 一种基于物联网的螺蛳肉饲料制作管理方法及系统 | |
| CN113487596A (zh) | 工作强度确定方法、装置及电子设备 | |
| CN107886060A (zh) | 基于视频的行人自动检测与跟踪方法 | |
| CN116363583A (zh) | 一种用于顶视角的人体识别方法、装置、设备及介质 | |
| CN115984959A (zh) | 基于神经网络与质心跟踪的牛类异常行为检测方法及系统 | |
| CN111681673B (zh) | 庭审过程中敲法槌的识别方法及系统 | |
| Ding et al. | Implementation of behavior recognition based on machine vision | |
| CN104000598B (zh) | 一种基于最大内切圆的猪呼吸急促运动建模方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |