CN113435380A - 一种人岗匹配检测方法、装置、计算机设备及存储介质 - Google Patents
一种人岗匹配检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113435380A CN113435380A CN202110763737.9A CN202110763737A CN113435380A CN 113435380 A CN113435380 A CN 113435380A CN 202110763737 A CN202110763737 A CN 202110763737A CN 113435380 A CN113435380 A CN 113435380A
- Authority
- CN
- China
- Prior art keywords
- action
- production
- matching
- post
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 230000009471 action Effects 0.000 claims abstract description 523
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000004519 manufacturing process Methods 0.000 claims description 247
- 238000004590 computer program Methods 0.000 claims description 11
- 101000637771 Homo sapiens Solute carrier family 35 member G1 Proteins 0.000 claims 3
- 102000053339 human SLC35G1 Human genes 0.000 claims 3
- 230000000875 corresponding effect Effects 0.000 description 107
- 230000033001 locomotion Effects 0.000 description 38
- 238000010586 diagram Methods 0.000 description 13
- 239000002994 raw material Substances 0.000 description 12
- 238000012216 screening Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000002156 mixing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000008213 purified water Substances 0.000 description 1
- 235000013599 spices Nutrition 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种人岗匹配检测方法、装置、计算机设备及存储介质,其中,该方法包括:获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频;对所述待处理视频进行人脸识别和动作识别,得到所述工作人员的人脸识别结果以及动作识别结果;关联所述人脸识别结果与所述动作识别结果,得到关联关系;基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配。这样,通过对目标岗位的工作人员、与目标岗位之间是否匹配进行检测,可以获知处于各目标岗位的工作人员的身份,从而得到各工作人员与岗位之间是否匹配,以实现人岗匹配检测的目的。
Description
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种人岗匹配检测方法、装置、计算机设备及存储介质。
背景技术
在工业生产过程中,通常通过工作人员在不同岗位上顺序执行不同动作的方式进行。目前,考察人员是否与岗位匹配主要是通过人为管理的方式,不仅耗费人力物力,且得到的人岗是否匹配的数据过于依赖管理人员的主观意识。
发明内容
本公开实施例至少提供一种人岗匹配检测方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种人岗匹配检测方法,包括:获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频;对所述待处理视频进行人脸识别和动作识别,得到所述工作人员的人脸识别结果以及动作识别结果;关联所述人脸识别结果与所述动作识别结果,得到关联关系;基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配。
这样,通过对目标岗位的工作人员、与目标岗位之间是否匹配进行检测,可以获知处于各目标岗位的工作人员的身份,从而得到各工作人员与岗位之间是否匹配,以实现人岗匹配检测的目的。
一种可选的实施方式中,所述岗位信息包括在所述目标时段与所述目标岗位对应的人员身份信息;所述基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配,包括:在所述岗位信息包括所述人员身份信息,响应于所述人脸识别结果与所述人员身份信息匹配,得到所述工作人员与所述目标岗位匹配。
这样,由于利用人脸识别结果进行匹配的方式较为简单,因此通过人员身份信息,可以较为容易且快速的确定工作人员与目标岗位是否匹配。
一种可选的实施方式中,所述岗位信息包括与所述目标岗位对应的参考动作序列;所述基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配,包括:在所述岗位信息包括所述参考动作序列,响应于所述动作识别结果与所述参考动作序列匹配,得到所述工作人员与所述目标岗位匹配。
这样,通过参考动作序列的匹配,可以更准确的确定工作人员是否按照工作要求相应的完成生产动作,在可以准确的确定工作人员与所述目标岗位是否匹配的同时,可以进一步保证工作人员在生产中的安全性。
一种可选的实施方式中,所述动作识别结果与所述参考动作序列匹配,包括下述至少一种:工作时长的匹配、生产规范性的匹配、生产效率的匹配。
这样,通过不同维度下的匹配方式,可以在不同方面保证产品高质量、且高效率的生产出。
一种可选的实施方式中,动作识别结果与所述参考动作序列匹配,包括:工作时长的匹配;所述方法还包括:基于所述动作识别结果,确定所述工作人员执行生产动作的动作时长;基于所述动作时长、以及与所述参考动作序列对应的参考动作时长,确定工作时长的匹配结果。
这样,通过工作时长的匹配,可以保证产品以较快的速度生产出。
一种可选的实施方式中,所述工作人员执行生产动作的动作时长,包括下述至少一种:所述工作人员执行生产动作的总时长;所述工作人员执行相邻生产动作的间隔时长;所述工作人员执行生产子动作的子时长;所述工作人员执行相邻生产子动作的间隔时长。
这样,通过对不同的时长的控制,可以保证工作人员在执行相关生产动作时,能够高效有序的进行。
一种可选的实施方式中,所述动作识别结果包括:识别动作序列;所述识别动作序列包括:多个子动作;所述动作识别结果与所述参考动作序列匹配,包括:生产规范性的匹配;所述方法还包括:将所述识别动作序列和所述参考动作序列进行类型匹配,得到所述生产规范性的匹配结果。
这样,通过动作序列的匹配,可以进一步保证在生产时按照一定的顺序要求进行,在保证产品质量的同时,还可以保障工作人员的安全。
一种可选的实施方式中,所述将所述识别动作序列和所述参考动作序列进行类型匹配,得到所述生产规范性的匹配结果,包括:将所述识别动作序列切分为多个动作子序列;将所述参考动作序列分别与各个动作子序列进行匹配;基于所述参考动作序列与各个动作子序列的匹配结果,得到所述生产规范性的匹配结果。
一种可选的实施方式中,所述将所述识别动作序列切分为多个动作子序列,包括:从所述识别动作序列中,确定与所述参考动作序列中的目标参考动作匹配的目标子动作;基于所述目标子动作在所述识别动作序列中的位置、以及所述目标参考动作在所述参考动作序列中的位置,将所述识别动作序列切分为至少一个动作子序列。
这样,通过利用目标子动作以及目标参考动作对不同的动作序列切分的方式,可以更准确的得到生产规范性的匹配结果。
一种可选的实施方式中,所述生产规范性的匹配结果包括下述至少一种:生产动作内容正确、生产动作内容错误、缺失生产动作、多余生产动作、以及生产动作中各动作顺序错误。
一种可选的实施方式中,所述动作识别结果与所述参考动作序列匹配,包括:工作效率的匹配;所述方法还包括:基于所述动作识别结果,确定所述工作人员执行生产动作的总时长和/或间隔时长;基于所述工作人员执行生产动作的总时长和/或间隔时长,确定所述工作人员的工作效率信息;基于所述工作人员的工作效率信息、与预设工作效率信息,确定所述工作效率的匹配结果。
这样,还可以保证生产的效率。
一种可选的实施方式中,所述人岗匹配检测方法还包括:基于所述人脸识别结果,确定所述工作人员的上岗时间和离岗时间中的至少一项;基于得到的所述上岗时间和/或所述离岗时间,确定所述工作人员的出勤信息。
第二方面,本公开实施例还提供一种人岗匹配检测装置,包括:获取模块,用于获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频;识别模块,用于对所述待处理视频进行人脸识别和动作识别,得到所述工作人员的人脸识别结果以及动作识别结果;关联模块,用于关联所述人脸识别结果与所述动作识别结果,得到关联关系;确定模块,用于基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配。
一种可选的实施方式中,所述岗位信息包括在所述目标时段与所述目标岗位对应的人员身份信息;所述确定模块在基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配时,用于:在所述岗位信息包括所述人员身份信息,响应于所述人脸识别结果与所述人员身份信息匹配,得到所述工作人员与所述目标岗位匹配。
一种可选的实施方式中,所述岗位信息包括与所述目标岗位对应的参考动作序列;所述确定模块在基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配时,用于:在所述岗位信息包括所述参考动作序列,响应于所述动作识别结果与所述参考动作序列匹配,得到所述工作人员与所述目标岗位匹配。
一种可选的实施方式中,所述动作识别结果与所述参考动作序列匹配,包括下述至少一种:工作时长的匹配、生产规范性的匹配、生产效率的匹配。
一种可选的实施方式中,动作识别结果与所述参考动作序列匹配,包括:工作时长的匹配;所述确定模块还用于:基于所述动作识别结果,确定所述工作人员执行生产动作的动作时长;基于所述动作时长、以及与所述参考动作序列对应的参考动作时长,确定工作时长的匹配结果。
一种可选的实施方式中,所述工作人员执行生产动作的动作时长,包括下述至少一种:所述工作人员执行生产动作的总时长;所述工作人员执行相邻生产动作的间隔时长;所述工作人员执行生产子动作的子时长;所述工作人员执行相邻生产子动作的间隔时长。
一种可选的实施方式中,所述动作识别结果包括:识别动作序列;所述识别动作序列包括:多个子动作;所述动作识别结果与所述参考动作序列匹配,包括:生产规范性的匹配;所述确定模块还用于:将所述识别动作序列和所述参考动作序列进行类型匹配,得到所述生产规范性的匹配结果。
一种可选的实施方式中,所述确定模块在将所述识别动作序列和所述参考动作序列进行类型匹配,得到所述生产规范性的匹配结果时,用于:将所述识别动作序列切分为多个动作子序列;将所述参考动作序列分别与各个动作子序列进行匹配;基于所述参考动作序列与各个动作子序列的匹配结果,得到所述生产规范性的匹配结果。
一种可选的实施方式中,所述确定模块在将所述识别动作序列切分为多个动作子序列时,用于:从所述识别动作序列中,确定与所述参考动作序列中的目标参考动作匹配的目标子动作;基于所述目标子动作在所述识别动作序列中的位置、以及所述目标参考动作在所述参考动作序列中的位置,将所述识别动作序列切分为至少一个动作子序列。
一种可选的实施方式中,所述生产规范性的匹配结果包括下述至少一种:生产动作内容正确、生产动作内容错误、缺失生产动作、多余生产动作、以及生产动作中各动作顺序错误。
一种可选的实施方式中,所述动作识别结果与所述参考动作序列匹配,包括:工作效率的匹配;所述确定模块还用于:基于所述动作识别结果,确定所述工作人员执行生产动作的总时长和/或间隔时长;基于所述工作人员执行生产动作的总时长和/或间隔时长,确定所述工作人员的工作效率信息;基于所述工作人员的工作效率信息、与预设工作效率信息,确定所述工作效率的匹配结果。
一种可选的实施方式中,所述确定模块还用于:基于所述人脸识别结果,确定所述工作人员的上岗时间和离岗时间中的至少一项;基于得到的所述上岗时间和/或所述离岗时间,确定所述工作人员的出勤信息。
第三方面,本公开可选实现方式还提供一种计算机设备,处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开可选实现方式还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述人岗匹配检测装置、计算机设备、及计算机可读存储介质的效果描述参见上述人岗匹配检测方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种人岗匹配检测方法的流程图;
图2示出了本公开实施例所提供的一种在对待处理视频进行动作识别时的示意图;
图3示出了本公开实施例所提供的多个参考动作的示意图;
图4示出了本公开实施例所提供的一种生产周期对应时间轴的示意图;
图5示出了本公开实施例所提供的一种人岗匹配检测装置的示意图;
图6示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,在工业生产过程中存在大量人员岗位匹配度不够的问题,例如工作人员在待岗、窜岗、离岗等情况下,是无法正常按照工作要求在对应岗位下工作的,这样就容易导致生产出的产品质量无法得到保证。
另外,若工作人员在所属岗位上的操作有误,也可能会对工作人员的自身安全造成威胁。
基于上述研究,本公开提供了一种人岗匹配检测方法,通过对目标岗位的工作人员、与目标岗位之间是否匹配进行检测,可以获知处于各目标岗位的工作人员的身份,从而得到各工作人员与岗位之间是否匹配,以实现人岗匹配检测的目的。
另外,由于可以通过工作人员是否与目标岗位匹配的匹配结果,帮助工作人员按照正常的工作要求工作,因此还可以保证工作人员在正确的工作要求下工作,提升工作人员在工作时的安全性。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种人岗匹配检测方法进行详细介绍,本公开实施例所提供的人岗匹配检测方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该人岗匹配检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的人岗匹配检测方法加以说明。
参见图1所示,为本公开实施例提供的一种人岗匹配检测方法的流程图,所述方法包括步骤S101~S104,其中:
S101:获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频;
S102:对所述待处理视频进行人脸识别和动作识别,得到所述工作人员的人脸识别结果以及动作识别结果;
S103:关联所述人脸识别结果与所述动作识别结果,得到关联关系;
S104:基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配。
本公开实施例提供的人岗匹配检测方法,通过目标岗位的工作人员在目标时段的待处理视频进行人脸识别和动作识别,确定工作人员的人脸识别结果以及动作识别结果,从而利用对人脸识别结果与动作识别结果进行关联得到的关联关系与目标岗位对应的岗位信息进行匹配,以确定工作人员与所述目标岗位是否匹配。这样,通过对目标岗位的工作人员、与目标岗位之间是否匹配进行检测,可以获知处于各目标岗位的工作人员的身份,从而得到各工作人员与岗位之间是否匹配,以实现人岗匹配检测的目的。
针对上述S101,该人岗匹配检测方法例如可以应用于流水线生产车间中,或是应用于并行作业的生产车间中。其中,以流水线生产车间为例,生产车间可以包括食品加工生产线、汽车装配生产线、纯净水灌装生产线等。以食品加工生产线为例,在该生产线上例如可以按照顺序包括下述生产步骤(process):原材料筛选、原材料清洗、混合加工、以及灌装。在不同的生产步骤可配备不同的工作人员(staff),例如在原材料筛选的生产步骤中,可以配备多个对不同原材料分别进行筛选的工作人员,例如对蔬菜进行筛选的工作人员、对水果进行筛选的工作人员、以及对香辛料进行筛选的工作人员。针对不同生产步骤配备的工作人员可以包括一个或者多个。
另外,在不同的生产步骤中,例如还可以包括更细化的生产步骤。以混合加工步骤为例,其还可以细化为对不同原材料的切件处理、加热处理、对加热后得到的不同原材料进行混合处理。具体可以根据实际情况确定,在此不再赘述。
下面,为了简化说明,以生产步骤包括原材料筛选P1、原材料清洗P2、混合加工P3,针对其中原材料筛选P1的生产步骤配备一个工作人员S1为例进行说明。
工作人员S1,需要执行的生产步骤为原材料筛选P1,工作人员S1在正常工作时对应的岗位,为生产步骤P1对应的岗位,也即工作人员S1的目标岗位,例如可以以A1表示。其中,目标岗位A1包括具体的岗位信息,例如针对生产步骤P1,对应的岗位信息可以包括工作人员S1对应的岗位名称,例如筛选员;另外,目标岗位A1也可以包括工作人员S1的具体工作区域,例如传送带前的材料集中仓库。
在获取待处理视频时,可以先确定进行拍摄的目标时段。具体地,例如可以将预设的工作时间作为目标时段,例如在工作日的早上9时至晚上6时的时间。或者,也可以将工作人员容易发生错误操作的时段、生产效率较低的时段或是生产效率较高的时段等作为目标时段,例如在工作日的下午2时至4时的时间段。
在确定目标时段后,即可以对目标岗位的工作人员进行拍摄。在一种可能的情况下,可以直接在目标岗位所在的区域设置视频采集装置,并在目标时段内对该目标岗位所在的区域进行拍摄;在另一种可能的情况下,若工作人员的工作范围较大时,例如工作人员需要往返不同的区域,设置的视频采集装置还可以实时对目标岗位的工作人员进行定位追踪,以获取待处理视频。
针对上述S102,在获取待处理视频后,还可以利用该待处理视频对其中的工作人员进行人脸识别(Face Recognition,FR)和动作识别(Action Recognition,AR)。在具体实施中,例如可以采用深度学习的方式进行人脸识别以及动作识别。
示例性的,可以采用预先训练好的深度神经网络对视频帧图像中工作人员进行识别。其中,由于在视频帧图像中显示出的工作人员可能存在多个,因此在对视频帧图像进行人脸识别时,例如可以相应的在待处理视频中确定包含与目标岗位对应的工作人员的人脸的视频帧图像。相应地,在对待处理视频进行动作识别时,也可以根据在待处理视频中锁定的与目标岗位对应的工作人员对应的视频帧图像,相应的对该工作人员进行动作识别。这样,得到的人脸识别结果以及动作识别结果的针对性更强,在后续利用人脸识别结果以及动作识别结果确定工作人员与目标岗位是否匹配时,准确性也更高。
另外,在对待处理视频进行人脸识别后,得到的工作人员的人脸识别结果例如可以包括识别到的人脸子图像或匹配的工作人员的相关信息中至少一种。示例性的,在对工作人员S1对应的待处理视频进行人脸识别后,例如可以得到多帧包含工作人员S1人脸的子图像,也可以获得在该待处理视频中匹配到工作人员S1的人脸的识别结果,并相应的可以调取工作人员S1的相关信息,例如岗位名称、工作时间等信息。
在对待处理视频进行动作识别后,得到的工作人员的动作识别结果例如可以包括识别到的工作人员的动作信息或者与预设的多个参考动作的匹配结果。其中,在进行动作识别时,例如可以根据在待处理视频包含的视频帧图像中,对工作人员的四肢、躯干、头部等识别,以确定动作识别结果。示例性的,参见图2所示,为本公开实施例提供的一种在对待处理视频进行动作识别时的示意图。其中,图2中(a)示出了工作人员S1对应的待处理视频中的一帧视频帧图像。在对图2中(a)中示出的视频帧图像进行动作识别后,例如可以得到图2中(b)的识别结果,也即标注出工作人员S1的基本肢体动作的简图,并将得到的简图作为动作识别结果;或者,也可以利用图2中(b)示出的基本动作,然后与多个参考动作进行匹配,得到动作识别结果,此处,得到的动作识别结果可以具体到特定的动作分类结果,例如“行走动作”、“拾取动作”等。例如,参见图3所示,为本公开实施例提供的多个参考动作的示意图,图3中示出的参考动作以简图的形式示出,并对应有动作标识。利用图2中(b)得到的结果与图3示出的多个参考动作进行匹配,可以得到动作识别结果“行走动作”。
此处,仅示出部分示例,具体可以根据实际情况确定,在此并不做出限定。
针对上述S103,在根据上述S102确定人脸识别结果与动作识别结果后,可以将其进行匹配,以得到不同工作人员分别对应的关联信息。
具体地,针对工作人员S1,可以将人脸识别结果中包含工作人员S1的子图像、动作识别结果中确定的“行走动作”、工作人员S1的相关信息中的至少一个作为与工作人员S1对应的匹配信息,并进一步利用匹配信息与工作人员S1进行关联,得到该工作人员S1的关联信息。
针对上述S104,针对不同的工作人员,由于每个工作人员都具有特定的目标岗位,并且目标岗位对应的岗位信息固定,因此可以利用上述S103确定的关联关系与目标岗位对应的岗位信息,确定工作人员与目标岗位是否匹配。
下面,针对不同岗位信息,如何确定工作人员与目标岗位是否匹配的方式加以说明。其中,岗位信息包括但不限于下述(A)以及(B):
(A):岗位信息包括在所述目标时段与所述目标岗位对应的人员身份信息。
在该种情况下,在基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配时,例如可以采用下述方式:在所述岗位信息包括所述人员身份信息,响应于所述人脸识别结果与所述人员身份信息匹配,得到所述工作人员与所述目标岗位匹配。
在岗位信息包括人员身份信息时,示例性的,人脸识别结果例如可以包括包含工作人员的人脸的子图像,对应的,在目标岗位上工作的工作人员对应的岗位信息例如可以具体包括:该工作人员的人脸图像信息、或人脸特征信息中至少一种。在该种情况下,利用包含工作人员的人脸的子图像,可以与岗位信息中的人脸图像信息或人脸特征信息中至少一种进行匹配,以确定是否是该目标岗位上指定的工作人员到岗工作,而非其他工作人员替岗、代岗工作。另外,岗位信息例如也可以包括目标岗位对应的职务信息等,利用人脸识别结果,可以确定该工作人员对应的职务,通过该工作人员对应的职务与目标岗位对应的职务信息进行匹配,也可以得到所述工作人员与所述目标岗位是否匹配的结果,具体可以根据实际情况选取,在此同样不做出限定。
这样,利用人脸识别结果与人员身份信息进行匹配的方式,能够简单明确的确定工作人员与目标岗位是否匹配的匹配结果。
(B):岗位信息包括与所述目标岗位对应的参考动作序列。
在该种情况下,在基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配时,例如可以采用下述方式:在所述岗位信息包括所述参考动作序列,响应于所述动作识别结果与所述参考动作序列匹配,得到所述工作人员与所述目标岗位匹配。
在具体实施中,所述动作识别结果与所述参考动作序列匹配,包括下述至少一种:工作时长的匹配、生产规范性的匹配、生产效率的匹配。
下面,分别对不同的动作识别结果与所述参考动作序列匹配进行说明,包括下述(B1)~(B3):
(B1):动作识别结果与所述参考动作序列匹配包括:工作时长的匹配。
在该种情况下,例如可以采用下述方式确定工作时长的匹配结果:基于所述动作识别结果,确定所述工作人员执行生产动作的动作时长;基于所述动作时长、以及与所述参考动作序列对应的参考动作时长,确定工作时长的匹配结果。
其中,工作人员执行生产动作的动作时长,例如可以包括下述(b1)~(b4)中至少一种:
(b1):所述工作人员执行生产动作的总时长;
(b2):所述工作人员执行相邻生产动作的间隔时长;
(b3):所述工作人员执行生产子动作的子时长;
(b4):所述工作人员执行相邻生产子动作的间隔时长。
下面,为了便于对不同的动作时长进行描述,参见图4所示,为本公开实施例提供的一种生产周期对应时间轴的示意图。其中,该时间轴上标注了不同的生产周期,例如示出的生产周期T1以及生产周期T2(时间轴还包括未示出的部分,比如生产周期T3等)。另外,在时间轴上还标注了三个参考动作p1~p3分别对应的起始时间和结束时间。此处,时间轴为工作人员在实际执行生产动作时对应的时间轴。
示例性的,工作人员S1例如可以在一天内完成三个生产周期(分别对应T1~T3)的生产动作,在第一个生产周期T1中,开始执行参考动作p1对应的生产动作时对应的时间为t1_1,结束执行参考动作p3对应的生产动作时对应的时间为t1_6;在第二个生产周期T2中,开始执行参考动作p1对应的生产动作时对应的时间为t2_1,结束执行参考动作p3对应的生产动作时对应的时间为t2_6;以此类推。
针对上述(b1),在工作人员执行生产动作的动作时长包括工作人员执行生产动作的总时长时,例如可以根据参考动作序列对应的参考动作时长中的参考动作总时长确定工作时长的匹配结果。
示例性的,以工作人员S1为例,执行的生产步骤为原材料筛选P1。在该步骤中,例如包括三个参考动作p1~p3,分别对应拆封材料箱对应的行走动作、清点原材料对应的站立动作、筛选劣质品对应的拾取动作。通过预先测试,或者根据经验判断,例如可以合理的确定对一个生产周期内执行该三个参考动作p1~p3对应的参考动作时长。例如,针对三个参考动作p1~p3,可以相应的确定参考动作时长为1小时;也即,可以确定工作人员S1能够在安全、且保证效率的情况下,在1小时内完成一个生产周期中三个参考动作p1~p3对应的生产子动作。
具体地,利用动作识别结果,可以相应的确定工作人员执行生产动作的总时长。以工作人员S1为例,工作人员S1执行生产动作的总时长例如可以包括在一个周期内相应的完成全部的三个参考动作p1~p3对应的生产动作时需要花费的总时长。比如,可以是图4中在第一个生产周期T1中执行参考动作p1对应的生产子动作时的起始时间t1_1,到执行完毕参考动作p3对应的生产子动作时的结束时间t1_6之间的总时长;也可以是图4中在第二个生产周期T2中执行参考动作p1对应的生产子动作时的起始时间t2_1,到执行完毕参考动作p3对应的生产子动作时的结束时间t2_6之间的总时长。
或者,工作人员S1执行生产动作的总时长例如也可以包括在不同的执行周期结束后确定的平均花费的总时长,例如工作人员S1在一天内完成了三个生产周期中参考动作p1~p3对应的生产子动作。对应于图4示出的时间轴,在第一个生产周期T1中,工作人员S1在执行生产动作的总时长为t1_1至t1_6经过的总时长,例如为1小时;在第二个生产周期T2中,工作人员S1在执行生产动作的总时长为t2_1至t2_6经过的总时长,例如为1.5小时;在第三个生产周期T3中(图4未示出),工作人员S1在执行生产动作的总时长为t3_1至t3_6经过的总时长,例如为0.5小时。然后,可以对确定的1小时、1.5小时、以及0.5小时求取平均值,也即1小时,然后再将1小时作为工作人员S1执行生产动作的总时长。这样,还可以减少突发事件或者其他情况造成的干扰。
具体地,例如在确定工作人员S1执行生产动作的总时长为50分钟的情况下,由于工作人员S1执行生产动作的总时长小于参考动作序列对应的参考动作时长,则可以认为工作人员S1正常的完成了相应的生产动作,也即工作人员S1的动作识别结果与参考动作序列匹配。
在另一种可能的情况下,若工作人员S1执行生产动作的总时长为65分钟,则可以在利用动作时长与参考动作时长进行匹配时,确定工作人员S1的执行生产动作的动作时长超过了参考动作时长。在该种情况下,例如可以设置超时允许时间阈值,例如在确定的参考动作时长的基础上,可以允许超出10分钟,也即确定超时允许时间阈值为70分钟,则在工作人员S1执行生产动作的动作时长为65分钟的情况下,也可以相应的认为动作识别结果与参考动作序列匹配。而若工作人员S1执行生产动作的总时长为75分钟,则可以相应的确定工作人员S1未能在规定时间内完成生产动作,因此判定动作识别结果与参考动作序列不匹配。
针对上述(b2),在工作人员执行生产动作的动作时长包括工作人员执行相邻生产动作的间隔时长时,可以相应的根据参考动作时长中包含的相邻生产周期之间的间隔时长(也即相邻参考生产动作之间的间隔时长)确定工作时长的匹配结果。
在确定工作人员S1执行相邻生产动作的间隔时长时,例如可以以该工作人员S1对应的多个生产周期中除第一个生产周期T1外的任一个生产周期Ti(i为大于1的整数)作为基准,确定生产周期Ti中开始执行参考动作p1对应的生产动作时对应的时间ti_1,以及在与生产周期Ti相邻的前一生产周期T(i-1)中结束执行参考动作p3对应的生产动作时对应的时间t(i-1)_6,通过计算由t(i-1)_6至ti_1之间的时间间隔,可以相应的确定工作人员S1执行相邻生产动作的间隔时长。类似的,也可以基于生产周期Ti以及与生产周期Ti相邻的后一生产周期T(i+1),确定ti_6至t(i+1)_1之间的时间间隔。当然,还可以基于相邻的多个生产周期得到累计间隔总时长,基于时间间隔数量求平均值,得到一个间隔时长。
在利用动作时长和参考动作序列对应的参考动作时长进行匹配时,示例性的,在动作时长包含的工作人员S1执行相邻生产动作的间隔时长例如为10分钟,参考动作时长中包含的相邻参考生产动作对应的时长例如为15分钟,则在该种情况下,可以确定工作人员S1在指定的15分钟时间内开始了下一周期的生产动作的执行,并相应的确定动作识别结果与所述参考动作序列匹配。
在另一种情况下,若工作人员S1执行相邻生产动作的间隔时长为17分钟,与上述(b1)相似的,也可以设置超时允许时间阈值,例如可以15分钟为基准,确定相邻生产动作的间隔时长最多不能超过18分钟,则也可以相应的确定动作识别结果与所述参考动作序列匹配。但如果工作人员S1执行相邻生产动作的间隔时长超过18分钟,则相应的判定动作识别结果与所述参考动作序列不匹配。
针对上述(b3),在工作人员执行生产动作的动作时长包括工作人员执行生产子动作的子时长时,例如可以根据参考动作时长中包含的与多个参考动作分别对应的参考子时长确定工作时长的匹配结果。
示例性的,以工作人员S1为例,其在正常工作流程下,执行的子动作包括参考动作p1~p3对应的生产子动作。针对任一生产子动作,可以相应的根据预先测试或者经验判断,合理的确定完成该生产子动作所需要的时长。例如,参考动作p1对应的生产子动作,可以确定正常完成该生产子动作所需要的时间为20分钟,也即参考动作p1的参考动作时长为20分钟。
具体地,利用动作识别结果,可以相应的确定工作人员执行多个生产子动作的每一生产子动作所花费的时间。以工作人员S1在第一个周期T1中完成参考动作p1对应的生产子动作为例,例如可以根据t1_1到t1_2的时段,确定工作人员S1执行与参考动作p1对应的生产子动作的子时长,例如为18分钟。在该种情况下,利用动作时长18分钟与参考动作p1的参考动作时长为20分钟进行比较,实际执行时间18分钟小于规定执行时间20分钟,则确定该工作人员S1在完成参考动作p1对应的生产子动作时,可以按时完成,因此动作识别结果与所述参考动作序列匹配。
在另一种可能的情况下,也可以相应的为不同的生产子动作确定不同的超时允许时间阈值,具体可以参见上述(b1)的描述,在此不再赘述。其中,超时允许时间阈值可基于生产线需求、动作难易程度等多个维度中的至少一项进行调整。另外,对于与参考动作p1对应的生产子动作不同的其他生产子动作,对应的动作识别结果与所述参考动作序列匹配方式,与上述对利用参考动作p1对应的生产子动作的子时长与所述参考动作序列匹配方式相似,在此同样不再赘述。
针对上述(b4),在工作人员执行生产动作的动作时长包括工作人员执行相邻生产子动作的间隔时长时,例如可以根据在一个周期内参考动作序列中相邻两个参考动作之间预设的间隔时长确定工作时长的匹配结果。示例性的,针对任意相邻的两个生产子动作,可以相应的根据预先测试或者经验判断,合理的确定相邻两个生产子动作之间的间隔时长,例如对应于参考动作p1对应的生产子动作与参考动作p2对应的生产子动作之间的时间间隔,可以设置为8分钟。
以工作人员S1为例,在第一个周期T1中,可以确定在完成参考动作p1对应的生产子动作后的时间t1_2,以及开始执行参考动作p2对应的生产子动作时的时间t1_3,并根据t1_2以及t1_3确定两个生产子动作之间的间隔时长,例如5分钟。则在该种情况下,可以确定工作人员S1可以按时执行下一参考动作对应的生产子动作,因此动作识别结果与所述参考动作序列匹配。
在另一种可能的情况下,也可以相应的为不同的生产子动作之间的间隔时长确定不同的超时允许时间阈值,具体可以参见上述(b2)的描述,在此不再赘述。另外,对于其他生产子动作之间的间隔时长,对应的动作识别结果与所述参考动作序列匹配方式,与上述对利用参考动作p1以及p2分别对应的生产子动作之间的时间间隔与所述参考动作序列匹配方式相似,在此同样不再赘述。
(B2):动作识别结果与所述参考动作序列匹配,包括:生产规范性的匹配。
在该种情况下,例如可以采用下述方式确定生产规范性的匹配结果:将所述识别动作序列和所述参考动作序列进行类型匹配,得到所述生产规范性的匹配结果。其中,动作识别结果包括:识别动作序列;所述识别动作序列包括:多个子动作。
示例性的,以工作人员S1为例,在对其对应的待处理视频进行动作识别时,例如可以得到其对应的识别动作序列。具体地,在识别动作序列中例如包括行走动作、站立动作、以及拾取动作,其为工作人员S1在实操时的具体顺序,例如先执行行走动作,然后执行站立动作,最后执行拾取动作;相对应的子动作例如可以包括行走动作、站立动作、以及拾取动作的具体动作。
其中,为便于描述,将包括行走动作、站立动作、以及拾取动作的具体动作的子动作,分别表示为z1、z2以及z3;相应的,利用“→”符号表示动作序列的具体顺序,例如先执行行走动作,然后执行站立动作,最后执行拾取动作,则表示为“z1→z2→z3”。
具体地,在将所述识别动作序列和所述参考动作序列进行类型匹配,得到所述生产规范性的匹配结果时,例如可以采用下述方式:将所述识别动作序列切分为多个动作子序列;将所述参考动作序列分别与各个动作子序列进行匹配;基于所述参考动作序列与各个动作子序列的匹配结果,得到所述生产规范性的匹配结果。
其中,在将识别动作序列切分为多个动作子序列时,例如可以采用下述方式:从所述识别动作序列中,确定与所述参考动作序列中的目标参考动作匹配的目标子动作;基于所述目标子动作在所述识别动作序列中的位置、以及所述目标参考动作在所述参考动作序列中的位置,将所述识别动作序列切分为至少一个动作子序列。
具体地,可以在参考动作序列中先确定目标参考动作。在选取目标参考动作时,可以根据不同的参考动作与其他参考动作的可区分度确定。例如,相较于行走动作和站立动作,拾取动作更容易区分,因此可以将拾取动作作为目标参考动作。
另外,目标参考动作也可以是参考动作序列中位于预设位置的子动作;例如位于参考动作序列首部、和/或尾部的子动作等;根据目标参考动作,可以将一个工作人员在执行一次生产动作时所需要的子动作从识别动作序列确定出来,从而能够得到工作人员多次执行多次生产动作分别对应的动作子序列。
在确定目标参考动作后,可以根据识别动作序列,较为容易的确定与所述参考动作序列中的目标参考动作匹配的目标子动作。
在确定目标子动作后,即可以确定该目标子动作在识别动作序列中的位置,例如在识别动作序列中的第几个位置。以识别动作序列包括z1→z2→z3→z4→z5→z6→z7→z8→z9→z10→z11→z12为例,其中,z1、z4、z7、以及z10的动作类型为a;参考动作序列包括:a→b→c,将a作为目标参考动作,则可以将识别动作序列切分为:z1→z2→z3,z4→z5→z6,z7→z8→z9,以及z10→z11→z12四个动作子序列。
这样,即可以利用目标子动作在所述识别动作序列中的位置、以及所述目标参考动作在所述参考动作序列中的位置,将所述识别动作序列切分为至少一个动作子序列。
在确定参考动作序列与动作子序列的情况下,可以相应的基于所述参考动作序列与各个动作子序列的匹配结果,得到所述生产规范性的匹配结果。
在上述示例中,在得到四个动作子序列后,可以分别将z1→z2→z3,z4→z5→z6,z7→z8→z9,以及z10→z11→z12四个动作子序列与a→b→c进行类型的匹配,得到每个动作子序列与参考动作序列的匹配结果。
所述生产规范性的匹配结果包括下述至少一种:生产动作内容正确、生产动作内容错误、缺失生产动作、多余生产动作、以及生产动作中各动作顺序错误。
其中,若参考动作序列与各个动作子序列匹配,可以确定生产动作内容正确;在参考动作序列与各个动作子序列不匹配的情况下,若动作子序列中存在参考动作序列中不存在的动作,则确定多余生产动作;若动作子序列中缺失了参考动作序列中的某个动作,则确定缺失生产动作;若动作子序列中包括的子动作与参考动作序列中的参考动作之间的匹配度小于预设的匹配度阈值,则确定生产动作内容错误;若动作子序列包括的子动作部分与参考动作序列中的子动作不一致,则确定生产动作中各动作顺序错误。
这样,还可以根据不同生产规范性的匹配结果向工作人员发出不同类型的告警信息,以使工作人员能够根据不同类型的告警信息及时纠正动作错误,或者相应的紧急停止操作,以保证自身的工作安全性。
(B3):动作识别结果与所述参考动作序列匹配,包括:工作效率的匹配。
在该种情况下,例如可以采用下述方式确定工作时长的匹配结果:基于所述动作识别结果,确定所述工作人员执行生产动作的总时长和/或间隔时长;基于所述工作人员执行生产动作的总时长和/或间隔时长,确定所述工作人员的工作效率信息;基于所述工作人员的工作效率信息、与预设工作效率信息,确定所述工作效率的匹配结果。
其中,确定工作人员生产动作的总时长、以及间隔时长的方式,可以参见上述(b1)~(b4)的相关说明,在此不再赘述。
在确定工作人员生产动作的总时长、以及间隔时长后,可以相应的为工作人员确定工作效率信息。其中,在确定工作效率信息时,可以先确定合理的参考动作时长,包括参考总时长、以及参考间隔时长,然后再通过工作人员生产动作的总时长、以及间隔时长分别计算工作效率信息。
示例性的,在工作人员S1生产动作的总时长为50分钟,而参考总时长为60分钟的情况下,可以通过参考总时长与工作人员S1生产动作的总时长的比值,确定该工作人员S1以120%的效率完成了生产动作,也即工作人员S1对应的工作效率信息为120%。
另外,还可以确定预设工作效率信息,例如为90%,若工作人员的工作效率信息大于或者等于该预设工作效率信息,则确定工作效率的匹配。例如上述在工作人员S1对应的工作效率信息为120%时,可以确定工作效率匹配。若工作人员的工作效率信息小于该预设工作效率信息,则确定工作效率的匹配。
这样,通过工作效率的匹配,可以更进一步的保证在规定的时间内完成工作任务,可以在保证产品质量的同时,保证工作的进度。
在本公开另一实施例中,还提供了另一种检测方法,包括:基于所述人脸识别结果,确定所述工作人员的上岗时间和离岗时间中的至少一项;基于得到的所述上岗时间和/或所述离岗时间,确定所述工作人员的出勤信息。
在该种情况下,例如可以根据人脸识别的结果,确定在目标时段内工作人员在岗的时间,并根据在岗时间确定工作人员是否正常出勤。
例如,在目标时间段内,可以确定工作人员的上岗时间是否在规定的上岗时间之前,并确定工作人员的离岗时间是否在规定的离岗时间之后,已确定工作人员的出勤信息是否正常。
又例如,在目标时段内,可以确定工作人员在岗位上发生变动的时间:例如早上9时,确定工作人员到岗;上午10时,确定工作人员离岗;上午10时30分,确定工作人员返回工作岗位;下午5时,确定工作人员离岗。则对应的,可以确定工作人员的在岗时间为7.5小时。若目标岗位要求该工作人员工作6小时,则可以确定工作人员正常出勤。这样确定出勤信息是否正常更加灵活。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与人岗匹配检测方法对应的人岗匹配检测装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述人岗匹配检测方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图5所示,为本公开实施例提供的一种人岗匹配检测装置的示意图,所述装置包括:获取模块51、识别模块52、关联模块53、以及确定模块54;其中,
获取模块51,用于获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频;识别模块52,用于对所述待处理视频进行人脸识别和动作识别,得到所述工作人员的人脸识别结果以及动作识别结果;关联模块53,用于关联所述人脸识别结果与所述动作识别结果,得到关联关系;确定模块54,用于基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配。
一种可选的实施方式中,所述岗位信息包括在所述目标时段与所述目标岗位对应的人员身份信息;所述确定模块54在基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配时,用于:在所述岗位信息包括所述人员身份信息,响应于所述人脸识别结果与所述人员身份信息匹配,得到所述工作人员与所述目标岗位匹配。
一种可选的实施方式中,所述岗位信息包括与所述目标岗位对应的参考动作序列;所述确定模块54在基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配时,用于:在所述岗位信息包括所述参考动作序列,响应于所述动作识别结果与所述参考动作序列匹配,得到所述工作人员与所述目标岗位匹配。
一种可选的实施方式中,所述动作识别结果与所述参考动作序列匹配,包括下述至少一种:工作时长的匹配、生产规范性的匹配、生产效率的匹配。
一种可选的实施方式中,动作识别结果与所述参考动作序列匹配,包括:工作时长的匹配;所述确定模块54还用于:基于所述动作识别结果,确定所述工作人员执行生产动作的动作时长;基于所述动作时长、以及与所述参考动作序列对应的参考动作时长,确定工作时长的匹配结果。
一种可选的实施方式中,所述工作人员执行生产动作的动作时长,包括下述至少一种:所述工作人员执行生产动作的总时长;所述工作人员执行相邻生产动作的间隔时长;所述工作人员执行生产子动作的子时长;所述工作人员执行相邻生产子动作的间隔时长。
一种可选的实施方式中,所述动作识别结果包括:识别动作序列;所述识别动作序列包括:多个子动作;所述动作识别结果与所述参考动作序列匹配,包括:生产规范性的匹配;所述确定模块54还用于:将所述识别动作序列和所述参考动作序列进行类型匹配,得到所述生产规范性的匹配结果。
一种可选的实施方式中,所述确定模块54在将所述识别动作序列和所述参考动作序列进行类型匹配,得到所述生产规范性的匹配结果时,用于:将所述识别动作序列切分为多个动作子序列;将所述参考动作序列分别与各个动作子序列进行匹配;基于所述参考动作序列与各个动作子序列的匹配结果,得到所述生产规范性的匹配结果。
一种可选的实施方式中,所述确定模块54在将所述识别动作序列切分为多个动作子序列时,用于:从所述识别动作序列中,确定与所述参考动作序列中的目标参考动作匹配的目标子动作;基于所述目标子动作在所述识别动作序列中的位置、以及所述目标参考动作在所述参考动作序列中的位置,将所述识别动作序列切分为至少一个动作子序列。
一种可选的实施方式中,所述生产规范性的匹配结果包括下述至少一种:生产动作内容正确、生产动作内容错误、缺失生产动作、多余生产动作、以及生产动作中各动作顺序错误。
一种可选的实施方式中,所述动作识别结果与所述参考动作序列匹配,包括:工作效率的匹配;所述确定模块54还用于:基于所述动作识别结果,确定所述工作人员执行生产动作的总时长和/或间隔时长;基于所述工作人员执行生产动作的总时长和/或间隔时长,确定所述工作人员的工作效率信息;基于所述工作人员的工作效率信息、与预设工作效率信息,确定所述工作效率的匹配结果。
一种可选的实施方式中,所述确定模块54还用于:基于所述人脸识别结果,确定所述工作人员的上岗时间和离岗时间中的至少一项;基于得到的所述上岗时间和/或所述离岗时间,确定所述工作人员的出勤信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本公开实施例还提供了一种计算机设备,如图6所示,为本公开实施例提供的计算机设备结构示意图,包括:
处理器10和存储器20;所述存储器20存储有处理器10可执行的机器可读指令,处理器10用于执行存储器20中存储的机器可读指令,所述机器可读指令被处理器10执行时,处理器10执行下述步骤:
获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频;对所述待处理视频进行人脸识别和动作识别,得到所述工作人员的人脸识别结果以及动作识别结果;关联所述人脸识别结果与所述动作识别结果,得到关联关系;基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配。
上述存储器20包括内存210和外部存储器220;这里的内存210也称内存储器,用于暂时存放处理器10中的运算数据,以及与硬盘等外部存储器220交换的数据,处理器10通过内存210与外部存储器220进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的人岗匹配检测方法的步骤,此处不再赘述。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的人岗匹配检测方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的人岗匹配检测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (15)
1.一种人岗匹配检测方法,其特征在于,包括:
获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频;
对所述待处理视频进行人脸识别和动作识别,得到所述工作人员的人脸识别结果以及动作识别结果;
关联所述人脸识别结果与所述动作识别结果,得到关联关系;
基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配。
2.根据权利要求1所述的人岗匹配检测方法,其特征在于,所述岗位信息包括在所述目标时段与所述目标岗位对应的人员身份信息;
所述基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配,包括:
在所述岗位信息包括所述人员身份信息,响应于所述人脸识别结果与所述人员身份信息匹配,得到所述工作人员与所述目标岗位匹配。
3.根据权利要求1或2所述的人岗匹配检测方法,其特征在于,所述岗位信息包括与所述目标岗位对应的参考动作序列;
所述基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配,包括:
在所述岗位信息包括所述参考动作序列,响应于所述动作识别结果与所述参考动作序列匹配,得到所述工作人员与所述目标岗位匹配。
4.根据权利要求3所述的方法,其特征在于,所述动作识别结果与所述参考动作序列匹配,包括下述至少一种:工作时长的匹配、生产规范性的匹配、生产效率的匹配。
5.根据权利要求3或4所述的人岗匹配检测方法,其特征在于,动作识别结果与所述参考动作序列匹配,包括:工作时长的匹配;
所述方法还包括:
基于所述动作识别结果,确定所述工作人员执行生产动作的动作时长;
基于所述动作时长、以及与所述参考动作序列对应的参考动作时长,确定工作时长的匹配结果。
6.根据权利要求5所述的人岗匹配检测方法,其特征在于,所述工作人员执行生产动作的动作时长,包括下述至少一种:
所述工作人员执行生产动作的总时长;
所述工作人员执行相邻生产动作的间隔时长;
所述工作人员执行生产子动作的子时长;
所述工作人员执行相邻生产子动作的间隔时长。
7.根据权利要求3-6任一项所述的人岗匹配检测方法,其特征在于,所述动作识别结果包括:识别动作序列;所述识别动作序列包括:多个子动作;
所述动作识别结果与所述参考动作序列匹配,包括:生产规范性的匹配;
所述方法还包括:
将所述识别动作序列和所述参考动作序列进行类型匹配,得到所述生产规范性的匹配结果。
8.根据权利要求7所述的人岗匹配检测方法,其特征在于,所述将所述识别动作序列和所述参考动作序列进行类型匹配,得到所述生产规范性的匹配结果,包括:
将所述识别动作序列切分为多个动作子序列;
将所述参考动作序列分别与各个动作子序列进行匹配;
基于所述参考动作序列与各个动作子序列的匹配结果,得到所述生产规范性的匹配结果。
9.根据权利要求8所述的人岗匹配检测方法,其特征在于,所述将所述识别动作序列切分为多个动作子序列,包括:
从所述识别动作序列中,确定与所述参考动作序列中的目标参考动作匹配的目标子动作;
基于所述目标子动作在所述识别动作序列中的位置、以及所述目标参考动作在所述参考动作序列中的位置,将所述识别动作序列切分为至少一个动作子序列。
10.根据权利要求7-9任一项所述的人岗匹配检测方法,其特征在于,所述生产规范性的匹配结果包括下述至少一种:
生产动作内容正确、生产动作内容错误、缺失生产动作、多余生产动作、以及生产动作中各动作顺序错误。
11.根据权利要求3-10任一项所述的人岗匹配检测方法,其特征在于,所述动作识别结果与所述参考动作序列匹配,包括:工作效率的匹配;
所述方法还包括:
基于所述动作识别结果,确定所述工作人员执行生产动作的总时长和/或间隔时长;
基于所述工作人员执行生产动作的总时长和/或间隔时长,确定所述工作人员的工作效率信息;
基于所述工作人员的工作效率信息、与预设工作效率信息,确定所述工作效率的匹配结果。
12.根据权利要求2所述的人岗匹配检测方法,其特征在于,所述人岗匹配检测方法还包括:
基于所述人脸识别结果,确定所述工作人员的上岗时间和离岗时间中的至少一项;
基于得到的所述上岗时间和/或所述离岗时间,确定所述工作人员的出勤信息。
13.一种人岗匹配检测装置,其特征在于,包括:
获取模块,用于获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频;
识别模块,用于对所述待处理视频进行人脸识别和动作识别,得到所述工作人员的人脸识别结果以及动作识别结果;
关联模块,用于关联所述人脸识别结果与所述动作识别结果,得到关联关系;
确定模块,用于基于所述关联关系,与所述目标岗位对应的岗位信息,确定所述工作人员与所述目标岗位是否匹配。
14.一种计算机设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至12任一项所述的人岗匹配检测方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机设备运行时,所述计算机设备执行如权利要求1至12任一项所述的人岗匹配检测方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110763737.9A CN113435380A (zh) | 2021-07-06 | 2021-07-06 | 一种人岗匹配检测方法、装置、计算机设备及存储介质 |
PCT/CN2022/083921 WO2023279785A1 (zh) | 2021-07-06 | 2022-03-30 | 人岗匹配检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110763737.9A CN113435380A (zh) | 2021-07-06 | 2021-07-06 | 一种人岗匹配检测方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113435380A true CN113435380A (zh) | 2021-09-24 |
Family
ID=77759216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110763737.9A Pending CN113435380A (zh) | 2021-07-06 | 2021-07-06 | 一种人岗匹配检测方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113435380A (zh) |
WO (1) | WO2023279785A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023279785A1 (zh) * | 2021-07-06 | 2023-01-12 | 上海商汤智能科技有限公司 | 人岗匹配检测方法、装置、计算机设备及存储介质 |
CN115953853A (zh) * | 2022-12-28 | 2023-04-11 | 华能核能技术研究院有限公司 | 核电厂应急组织启动签到的方法及装置 |
WO2024046003A1 (zh) * | 2022-09-02 | 2024-03-07 | 重庆邮电大学 | 一种理发店员工工作内容智能识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197801A (zh) * | 2017-12-29 | 2018-06-22 | 安徽博诺思信息科技有限公司 | 基于可视化现场监控系统的工地人员管理方法及系统及方法 |
CN111582110A (zh) * | 2020-04-29 | 2020-08-25 | 利智华(北京)智能科技有限公司 | 一种基于人脸识别的安检人员行为分析方法、装置及设备 |
CN111860152A (zh) * | 2020-06-12 | 2020-10-30 | 浙江大华技术股份有限公司 | 人员状态检测的方法、系统、设备和计算机设备 |
CN112016363A (zh) * | 2019-05-30 | 2020-12-01 | 富泰华工业(深圳)有限公司 | 人员监控方法、装置、计算机装置及可读存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10110858B2 (en) * | 2015-02-06 | 2018-10-23 | Conduent Business Services, Llc | Computer-vision based process recognition of activity workflow of human performer |
CN110110575A (zh) * | 2018-02-01 | 2019-08-09 | 广州弘度信息科技有限公司 | 一种人员脱岗检测方法及装置 |
CN108470255B (zh) * | 2018-04-12 | 2021-02-02 | 上海小蚁科技有限公司 | 工作量统计方法及装置、存储介质、计算设备 |
CN111325069B (zh) * | 2018-12-14 | 2022-06-10 | 珠海格力电器股份有限公司 | 产线数据处理方法、装置、计算机设备和存储介质 |
CN112699755A (zh) * | 2020-12-24 | 2021-04-23 | 北京市商汤科技开发有限公司 | 一种行为检测方法、装置、计算机设备和存储介质 |
CN113435380A (zh) * | 2021-07-06 | 2021-09-24 | 北京市商汤科技开发有限公司 | 一种人岗匹配检测方法、装置、计算机设备及存储介质 |
-
2021
- 2021-07-06 CN CN202110763737.9A patent/CN113435380A/zh active Pending
-
2022
- 2022-03-30 WO PCT/CN2022/083921 patent/WO2023279785A1/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197801A (zh) * | 2017-12-29 | 2018-06-22 | 安徽博诺思信息科技有限公司 | 基于可视化现场监控系统的工地人员管理方法及系统及方法 |
CN112016363A (zh) * | 2019-05-30 | 2020-12-01 | 富泰华工业(深圳)有限公司 | 人员监控方法、装置、计算机装置及可读存储介质 |
CN111582110A (zh) * | 2020-04-29 | 2020-08-25 | 利智华(北京)智能科技有限公司 | 一种基于人脸识别的安检人员行为分析方法、装置及设备 |
CN111860152A (zh) * | 2020-06-12 | 2020-10-30 | 浙江大华技术股份有限公司 | 人员状态检测的方法、系统、设备和计算机设备 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023279785A1 (zh) * | 2021-07-06 | 2023-01-12 | 上海商汤智能科技有限公司 | 人岗匹配检测方法、装置、计算机设备及存储介质 |
WO2024046003A1 (zh) * | 2022-09-02 | 2024-03-07 | 重庆邮电大学 | 一种理发店员工工作内容智能识别方法 |
CN115953853A (zh) * | 2022-12-28 | 2023-04-11 | 华能核能技术研究院有限公司 | 核电厂应急组织启动签到的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2023279785A1 (zh) | 2023-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113435380A (zh) | 一种人岗匹配检测方法、装置、计算机设备及存储介质 | |
CN111507283B (zh) | 基于课堂场景的学生行为识别方法及系统 | |
CN105902257B (zh) | 睡眠状态分析方法及装置、智能可穿戴设备 | |
CN112766050B (zh) | 着装及作业检查方法、计算机装置及存储介质 | |
CN110309706A (zh) | 人脸关键点检测方法、装置、计算机设备及存储介质 | |
CN113065474B (zh) | 行为识别方法、装置及计算机设备 | |
CN106227844A (zh) | 一种应用推荐的方法以及终端 | |
CN109145771A (zh) | 一种人脸抓拍方法及装置 | |
CN110610169B (zh) | 图片标注方法和装置、存储介质及电子装置 | |
CN113723157B (zh) | 一种农作物病害识别方法、装置、电子设备及存储介质 | |
CN110175068A (zh) | 分布式系统中主机数量弹性伸缩方法、装置和计算机设备 | |
US20220101016A1 (en) | Assembly monitoring system | |
CN112633671A (zh) | 一种项目成本监管方法、系统、存储介质及智能终端 | |
CN114066421A (zh) | 基于人工智能的任务催办方法、装置及电子设备 | |
CN109033995A (zh) | 识别用户行为的方法、装置及智能可穿戴设备 | |
CN110287928A (zh) | 商品缺货检测方法及装置 | |
CN114005183B (zh) | 动作识别方法、装置、设备及存储介质 | |
CN110584675B (zh) | 信息触发方法及装置、可穿戴设备 | |
CN111242546A (zh) | 基于人脸识别的拣货任务核算方法及装置 | |
CN109101917A (zh) | 用于行人重识别的标注方法、训练方法、装置及系统 | |
CN109345184A (zh) | 基于微表情的节点信息处理方法、装置、计算机设备及存储介质 | |
CN111222370A (zh) | 一种案件研判方法、系统及装置 | |
CN111161319A (zh) | 工作监督方法和装置、存储介质 | |
CN114005174A (zh) | 工作状态的确定方法、装置、电子设备及存储介质 | |
CN112801296B (zh) | 数据处理方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40055755 Country of ref document: HK |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210924 |