CN112766050A - 着装及作业检查方法、计算机装置及存储介质 - Google Patents
着装及作业检查方法、计算机装置及存储介质 Download PDFInfo
- Publication number
- CN112766050A CN112766050A CN202011599995.XA CN202011599995A CN112766050A CN 112766050 A CN112766050 A CN 112766050A CN 202011599995 A CN202011599995 A CN 202011599995A CN 112766050 A CN112766050 A CN 112766050A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- dressing
- target person
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000007689 inspection Methods 0.000 title claims abstract description 29
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000013145 classification model Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000005520 cutting process Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)
- Debugging And Monitoring (AREA)
- Mechanical Treatment Of Semiconductor (AREA)
Abstract
本申请提供一种着装及作业检查方法、计算机装置及存储介质，其中，所述方法包括：采集关键帧图像，进行图像预处理；对预处理后的图像帧进行人体检测，得到包含人体目标的图像帧；对包含人体目标的图像帧中的多个目标人员进行多目标跟踪；识别每个目标人员的人体关键点；切割出每个目标人员的人体关键点的图像；利用目标分类模型检测人员的着装和手部作业是否符合规范；当任一人员的着装不符合规范及/或手部作业不符合规范时发出警示。本申请可辅助进行着装和作业检查，提升生产规范系数。
Description
技术领域
本申请涉及生产车间监管技术领域，特别是指一种着装及作业检查方法、计算机装置及存储介质。
背景技术
为保证产品的生产质量，生产车间内的工作人员需要遵照固定的行为规范进行着装和对设备和器材进行操作，并限制可能会对最终产品质量造成影响的不规范着装、违规作业等。现有人员在生产车间的静电着装、安全防护着装等由现场管理人员肉眼监督与劝阻，标准作业流程缺乏实时监管，因此可能会导致人员作业时发生违规行为。这些违规行为会破坏生产环境，对产品质量和企业收入带来巨大的负面影响。
发明内容
鉴于以上内容，有必要提供一种着装及作业检查方法、计算机装置及存储介质，可以检测着装与作业流程是否符合规范。
所述着装及作业检查方法，包括：采集视频流图像，从所述视频流图像中提取关键帧图像，将所述关键帧图像进行图像预处理，获得预处理后的图像帧；对所述预处理后的图像帧进行人体检测，得到包含人体目标的图像帧；对所述包含人体目标的图像帧中的多个目标人员进行多目标跟踪，得到与所述多个目标人员中的每个目标人员对应的人体图像；识别所述每个目标人员对应的人体图像中的每个目标人员的人体关键点；根据所述每个目标人员的人体关键点，从所述每个目标人员对应的人体图像中切割出每个目标人员的人体关键点的图像，所述人体关键点的图像包含手部图像和着装图像；基于每个目标人员的着装图像，利用目标分类模型检测每个目标人员的着装是否符合规范，和/或基于每个目标人员的手部图像，利用所述目标分类模型检测每个目标人员的手部作业是否符合规范；及当任一目标人员的着装不符合规范及/或手部作业不符合规范时发出警示。
可选地，所述将所述关键帧图像进行图像预处理包括：对所述关键帧图像进行解析度优化调整、影像增强、旋转校正。
可选地，该方法调用基于深度神经网络的物体识别和定位算法YOLO-V4，对所述预处理后的图像帧进行人体检测，得到包含人体目标的图像帧。
可选地，该方法利用Deep SORT的深度学习模型对所述多个目标人员进行多目标跟踪。
可选地，该方法利用HRNet模型识别所述每个目标人员的人体关键点。
可选地，该方法还包括：收集人体关键点的图像，基于所收集的人体关键点的图像利用ResNext50结构进行分类训练，获得所述目标分类模型；利用所述目标分类模型基于预定义的标准着装数据库，检测每个目标人员的着装是否符合规范。
可选地，该方法还包括：基于每个目标人员的手部图像，利用所述目标分类模型识别手部动作的持续时间t1；当所述手部动作的持续时间t1大于预设阈值T1时，将所述手部动作作为一个作业步骤；计算连续两个作业步骤之间的时间间隔t2；及当连续两个作业步骤之间的时间间隔t2大于标准作业时间T2时，确定手部作业不符合规范。
所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述着装及作业检查方法。
所述计算机装置包括存储器和至少一个处理器，所述存储器中存储有至少一个指令，所述至少一个指令被所述至少一个处理器执行时实现所述着装及作业检查方法。
相较于现有技术，所述着装及作业检查方法、计算机装置及存储介质，可以使用人工智能机器视觉等技术，辅助检测着装与作业流程是否符合规范。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请较佳实施例的着装及作业检查方法的流程图。
图2是本申请较佳实施例的计算机装置的架构图。
主要元件符号说明
| 计算机装置 | 3 |
| 处理器 | 32 |
| 存储器 | 31 |
| 人员检查系统 | 30 |
| 摄像头 | 33 |
| 显示器 | 34 |
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
参阅图1所示，为本申请较佳实施例的着装及作业检查方法的流程图。
在本实施例中，所述着装及作业检查方法可以应用于计算机装置(例如图2所示的计算机装置3)中，对于需要进行着装及作业检查的计算机装置，可以直接在计算机装置上集成本申请的方法所提供的用于着装及作业检查的功能，或者以软件开发工具包(Software Development Kit，SDK)的形式运行在计算机装置上。
如图1所示，所述着装及作业检查方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤S1、计算机装置采集视频流图像，从所述视频流图像中提取关键帧图像，将所述关键帧图像进行图像预处理，获得预处理后的图像帧。
在一个实施例中，所述计算机装置可以利用电荷耦合器件(Charge CoupledDevice，CCD)相机作为图像传感器采集生产车间内的视频流图像，所述着装及作业检查方法可以应用于对生产车间人员的着装及作业进行检查。
在一个实施例中，可以利用关键帧提取技术，将所述视频流图像按图像帧进行切分，从所述视频流图像中依帧率(例如，每秒30帧)提取所述关键帧图像。
在一个实施例中，还可以根据所述关键帧图像对应的时间，将所述关键帧图像依序置入视频流图像数据队列并设置该视频流图像数据队列的最大有效存储长度(例如，可存储10万帧图像)，将该视频流图像数据队列循序保存在计算机装置中。
在一个实施例中，所述将所述关键帧图像进行图像预处理包括：对所述关键帧图像进行解析度优化调整、影像增强、旋转校正。
步骤S2、计算机装置对所述预处理后的图像帧进行人体检测，得到包含人体目标的图像帧。
在一个实施例中，计算机装置可以调用基于深度神经网络的物体识别和定位算法YOLO-V4(You Only Look Once)，对所述预处理后的图像帧进行人体检测，得到包含人体目标的图像帧。
在一个实施例中，所述YOLO-V4是一种运行速度快、可以用于实际工作环境中的实时快速目标检测系统。所述YOLO-V4能够进行并行优化，没有刻意追求理论上的低计算量(BFLOP)。通过所述YOLO-V4对所述预处理后的图像帧进行人体检测时返回的置信值，可以轻易进行判断并得到所述包含人体目标的图像帧，在此不再赘述。
步骤S3、计算机装置对所述包含人体目标的图像帧中的多个目标人员进行多目标跟踪，得到与所述多个目标人员中的每个目标人员对应的人体图像。
在一个实施例中，计算机装置可以利用Deep SORT的深度学习模型对所述多个目标人员进行多目标跟踪。
在一个实施例中，所述Deep SORT可以对所述包含人体目标的图像帧中的多个目标人员进行识别追踪。所述Deep SORT可以将所述多个目标人员中的每一个目标人员的整个人体形状以矩形的形式进行特征提取，得到与所述每一个目标人员对应的矩形人体图像。所述Deep SORT可以给所述每一个目标人员对应的矩形人体图像定义一个标识号(例如，工号)，依据所述标识号追踪对应的所述每一个目标人员。
在一个实施例中，所述Deep SORT的深度学习模型在SORT算法的基础上，使用了卷积神经网络(Convolutional Neural Networks，CNN)基于大规模数据集进行训练，增加了网络鲁棒性。
在一个实施例中，所述大规模数据集可以是从其他渠道(例如，影视作品)获取的大规模(例如，100万张)包含行人的图片组成的数据集。
在一个实施例中，计算机装置还可以依据每个目标人员的标识号(例如，工号)建立所述多个目标人员中的每个目标人员的人员数据库，用于存储所述每个目标人员的相关资料(例如，每一个目标人员对应的矩形人体图像)，并将每个目标人员的所述人员数据库保存在计算机装置或者与该计算机装置通讯连接的其他设备例如云服务器中，从而方便对所述每个目标人员的着装及作业进行检查。
步骤S4、计算机装置识别所述每个目标人员对应的人体图像中的每个目标人员的人体关键点。
在一个实施例中，计算机装置可以利用HRNet模型识别所述每个目标人员的人体关键点。
在一个实施例中，所述HRNet模型是一种人体骨架关键点(例如，头顶)识别模型。在传统Openpose人体识别模型的基础上，所述HRNet模型解决了效能不足的问题，并利用Hourglass、Cascaded pyramid networks、SimpleBase-line、Dilated convolutions这四种结构进行多尺度融合保证了高分辨率。
步骤S5、计算机装置根据所述每个目标人员的人体关键点，从所述每个目标人员对应的人体图像中切割出每个目标人员的人体关键点的图像，所述人体关键点的图像包含手部图像和着装图像。
在一个实施例中，计算机装置可以利用图像切割方法以矩形的形式从所述预处理后的图像中切割出所述人体关键点的图像(例如，头顶关键点的图像)。
在一个实施例中，所述着装图像是由所述人体关键点的图像中所述人体骨架关键点的着装逻辑得到的(例如，头顶关键点的图像对应着装为静电帽)。
步骤S6、计算机装置基于每个目标人员的着装图像，利用目标分类模型检测每个目标人员的着装是否符合规范。当任一目标人员的着装不符合规范时，执行S8。
在一个实施例中，计算机装置收集人体关键点的图像，基于所收集的人体关键点的图像利用ResNext50结构进行分类训练，获得所述目标分类模型；所述目标分类模型基于预定义的标准着装数据库，检测每个目标人员的着装是否符合规范。
在一个实施例中，所述ResNext50结构相较于传统的ResNet50结构，具备参数节省性、动态聚合性和可微分性的特点，能够实现工业智能场景下对人员手部特征和人员着装特征的精准识别和分类。
在一个实施例中，所述人员手部特征可以包含人员手部持有作业工具时的特征。所述作业工具可以包括剪刀、扫描枪。
在一个实施例中，所述人员着装特征可以包括人员穿戴静电衣、静电帽、静电鞋、静电手环、安全帽、防毒口罩、防尘口罩的特征。
在一个实施例中，所述对人员手部特征的精准识别可以包括：先通过边缘梯度方向特征提取方法，提取所述手部图像的人员手部的边缘，确定所述人员手部的轮廓特征，然后进行人员手部的特征提取，所述人员手部的特征包括人员手部持有作业工具时的特征。所述对人员着装特征的精准识别可以包括：提取所述着装图像的人员着装的边缘，确定所述人员着装的轮廓特征，然后进行人员着装的特征提取。所述人员手部特征包括所述人员手部的轮廓形状，以及所述人员手部持有作业工具时的轮廓形状、颜色和纹理。所述人员着装特征包括所述人员着装的轮廓形状、颜色和纹理。
在一个实施例中，所述标准着装数据库可以预定义在所述目标分类模型中，所述标准着装数据库是二分类模型，所述标准着装数据库可以分类保存人员出现在智能工厂区域着装的规范事件的图像以及着装的不规范事件的图像。例如，将作业人员有戴静电帽对应的图像作为一类，将作业人员未戴静电帽对应的图像作为另外一类，即静电帽模型为一个二分类模型。举另外的例子而言，可以将作业人员有穿戴静电衣对应的图像作为一类，将作业人员未穿静电衣对应的图像作为另外一类，即静电衣模型也为一个二分类模型。
在一个实施例中，所述目标分类模型是二分类模型，所述目标分类模型可以根据所述人体关键点的图像中的所述人员手部特征或人员着装特征，将所述人体关键点的图像进行目标分类。具体而言，计算机装置可以利用ResNext50结构对所述人体关键点的图像进行分类训练，例如，可以利用ResNext50结构对头顶关键点的图像进行训练，根据着装逻辑，训练获得的模型为静电帽模型，所述静电帽模型为二分类模型。需要说明的是，所述目标分类模型为二分类模型也就是说，所述目标分类模型针对所述人体关键点的图像的输出结果会是两种结果中的一种。例如，针对头顶关键点图像的输出结果为“有戴静电帽”或者“未戴静电帽”。
步骤S7、计算机装置基于每个目标人员的手部图像，利用所述目标分类模型检测每个目标人员的手部作业是否符合规范，当任一目标人员的手部作业不符合规范时，执行S8。
在一个实施例中，计算机装置基于每个目标人员的手部图像，利用所述目标分类模型识别手部动作的持续时间t1，当所述手部动作的持续时间t1大于预设阈值T1时，将所述手部动作作为一个作业步骤；计算连续两个作业步骤之间的时间间隔t2；及当连续两个作业步骤之间的时间间隔t2大于标准作业时间T2时，确定手部作业不符合规范；当连续两个作业步骤之间的时间间隔t2小于或者等于标准作业时间T2时，确定手部作业符合规范。
在一个实施例中，所述预设阈值T1可以从预先定义的标准作业行为库中获得。例如，拿起扫描枪进行扫描这个作业步骤，手部持扫描枪的时间阈值为5秒。
在一个实施例中，所述利用目标分类模型识别手部动作的持续时间t1可以包括：基于所述每个目标人员手部图像的连续跟踪数据和所述视频流图像数据队列，对所述每个目标人员的所述手部动作持续时间t1进行计算。例如，当所述视频流图像数据的帧率为30帧每秒，且该目标分类模型识别到连续150帧的人员手部图像都包括了“持有扫描枪”的特征时，利用帧数除以帧率得到手部持有扫描枪的时间为5秒。可以用同样的方法计算连续两个作业步骤之间的时间间隔t2，在此不再赘述。
在一个实施例中，计算机装置还可以根据所述标准作业行为库中定义的规范的连续两个作业步骤的顺序，确定目标人员的连续两个作业步骤的顺序是否符合规范，当确定目标人员的连续两个作业步骤的顺序不符合规范时，执行步骤S8；当确定目标人员的连续两个作业步骤的顺序符合规范时，确定连续两个作业步骤之间的时间间隔(即所述时间间隔t2)是否符合规范。例如，标准作业行为库中定义作业步骤A和作业步骤B为连续的两个作业步骤，且作业步骤B应当在作业步骤A之后进行，当确定一个手部动作为作业步骤A后，计算机装置会记录作业步骤A开始的时间点h1，同理，当确定一个手部动作为作业步骤B后，计算机装置会记录作业步骤B开始的时间点h2，当时间点h2发生在时间点h1之前时，确定目标人员的连续两个作业步骤的顺序不符合规范，执行步骤S8；当时间点h2发生在时间点h1之后时，确定目标人员的连续两个作业步骤的顺序符合规范，之后需确定连续两个作业步骤A和作业步骤B之间的时间间隔(即所述时间间隔t2)是否符合规范。
在一个实施例中，所述标准作业时间T2可以从所述标准作业行为库中获得。例如，上料与手持扫描枪扫描料盘之间的标准作业时间为90秒。
步骤S8、当任一目标人员的着装不符合规范及/或手部作业不符合规范时，计算机装置发出警示。
本实施例中，所述计算机装置发出警示可以是呈现警示图样或发出警告声。在其他实施例中，还可通过其他设备(例如，扬声器等)发出语音警告。此外，还可将警告发送至预设的终端设备(例如，指定用户的手机)以提醒车间不符合规范事件。
上述图1详细介绍了本申请的着装及作业检查方法，下面结合图2，对实现所述着装及作业检查方法的硬件装置架构进行介绍。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
参阅图2所示，为本申请较佳实施例提供的计算机装置的结构示意图。在本申请较佳实施例中，所述计算机装置3包括存储器31、至少一个处理器32、摄像头33。本领域技术人员应该了解，图2示出的计算机装置的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述计算机装置3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述计算机装置3包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。
需要说明的是，所述计算机装置3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31用于存储程序代码和各种数据，例如安装在所述计算机装置3中的人员检查系统30，并在计算机装置3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者任何其他能够用于携带或存储数据的计算机可读的存储介质。
在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述计算机装置3的控制核心(Control Unit)，利用各种接口和线路连接整个计算机装置3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行计算机装置3的各种功能和处理数据，例如执行图1所示的着装及作业检查的功能。
在一些实施例中，所述人员检查系统30运行于计算机装置3中。所述人员检查系统30可以包括多个由程序代码段所组成的功能模块。所述人员检查系统30中的各个程序段的程序代码可以存储于计算机装置3的存储器31中，并由至少一个处理器32所执行，以实现图1所示的着装及作业检查功能。
本实施例中，所述人员检查系统30根据其所执行的功能，可以被划分为多个功能模块。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
尽管未示出，所述计算机装置3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机装置3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是服务器、个人电脑等)或处理器(processor)执行本申请各个实施例所述方法的部分。
在进一步的实施例中，结合图2，所述至少一个处理器32可执行所述计算机装置3的操作装置以及安装的各类应用程序(如所述的人员检查系统30)、程序代码等，例如，上述的各个模块。
所述存储器31中存储有程序代码，且所述至少一个处理器32可调用所述存储器31中存储的程序代码以执行相关的功能。例如，图2中所述的各个模块是存储在所述存储器31中的程序代码，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能以达到图1所示的着装及作业检查的目的。
在本申请的一个实施例中，所述存储器31存储一个或多个指令(即至少一个指令)，所述至少一个指令被所述至少一个处理器32所执行以实现图1所示的着装及作业检查的目的。
在本申请的一个实施例中，所述摄像头33可以是安装在车间内的作为图像传感器的CCD相机，所述摄像头33只要能满足所述车间的监控需求即可。
在本实施例中，所述显示器34可以为能呈现图像和发出声音的显示装置，例如呈现所述摄像头33拍摄到的影像画面，当检测到人员的着装不符合规范及/或手部作业不符合规范时发出警示。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后所应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照以上较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。
Claims (9)
1.一种着装及作业检查方法，其特征在于，所述方法包括：
采集视频流图像，从所述视频流图像中提取关键帧图像，将所述关键帧图像进行图像预处理，获得预处理后的图像帧；
对所述预处理后的图像帧进行人体检测，得到包含人体目标的图像帧；
对所述包含人体目标的图像帧中的多个目标人员进行多目标跟踪，得到与所述多个目标人员中的每个目标人员对应的人体图像；
识别所述每个目标人员对应的人体图像中的每个目标人员的人体关键点；
根据所述每个目标人员的人体关键点，从所述每个目标人员对应的人体图像中切割出每个目标人员的人体关键点的图像，所述人体关键点的图像包含手部图像和着装图像；
基于每个目标人员的着装图像，利用目标分类模型检测每个目标人员的着装是否符合规范，和/或基于每个目标人员的手部图像，利用所述目标分类模型检测每个目标人员的手部作业是否符合规范；及
当任一目标人员的着装不符合规范及/或手部作业不符合规范时发出警示。
2.根据权利要求1所述的着装及作业检查方法，其特征在于，所述将所述关键帧图像进行图像预处理包括：
对所述关键帧图像进行解析度优化调整、影像增强、旋转校正。
3.根据权利要求1所述的着装及作业检查方法，其特征在于，所述方法调用基于深度神经网络的物体识别和定位算法YOLO-V4，对所述预处理后的图像帧进行人体检测，得到包含人体目标的图像帧。
4.根据权利要求1所述的着装及作业检查方法，其特征在于，所述方法利用Deep SORT的深度学习模型对所述多个目标人员进行多目标跟踪。
5.根据权利要求1所述的着装及作业检查方法，其特征在于，所述方法利用HRNet模型识别所述每个目标人员的人体关键点。
6.根据权利要求1所述的着装及作业检查方法，其特征在于，所述方法还包括：
收集人体关键点的图像，基于所收集的人体关键点的图像利用ResNext50结构进行分类训练，获得所述目标分类模型；
所述目标分类模型基于预定义的标准着装数据库，检测每个目标人员的着装是否符合规范。
7.根据权利要求1所述的着装及作业检查方法，其特征在于，所述方法还包括：
基于每个目标人员的手部图像，利用所述目标分类模型识别手部动作的持续时间t1；
当所述手部动作的持续时间t1大于预设阈值T1时，将所述手部动作作为一个作业步骤；
计算连续两个作业步骤之间的时间间隔t2；及
当连续两个作业步骤之间的时间间隔t2大于标准作业时间T2时，确定手部作业不符合规范。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项的所述着装及作业检查方法。
9.一种计算机装置，其特征在于，该计算机装置包括存储器和至少一个处理器，所述存储器中存储有至少一个指令，所述至少一个指令被所述至少一个处理器执行时实现如权利要求1至7中任意一项的所述着装及作业检查方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011599995.XA CN112766050B (zh) | 2020-12-29 | 2020-12-29 | 着装及作业检查方法、计算机装置及存储介质 |
| TW110100901A TWI776350B (zh) | 2020-12-29 | 2021-01-09 | 著裝及作業檢查方法、電腦裝置及儲存介質 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011599995.XA CN112766050B (zh) | 2020-12-29 | 2020-12-29 | 着装及作业检查方法、计算机装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766050A true CN112766050A (zh) | 2021-05-07 |
| CN112766050B CN112766050B (zh) | 2024-04-16 |
Family
ID=75697096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011599995.XA Active CN112766050B (zh) | 2020-12-29 | 2020-12-29 | 着装及作业检查方法、计算机装置及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112766050B (zh) |
| TW (1) | TWI776350B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990153A (zh) * | 2021-05-11 | 2021-06-18 | 创新奇智(成都)科技有限公司 | 一种多目标行为识别方法、装置、存储介质以及电子设备 |
| CN113326772A (zh) * | 2021-05-28 | 2021-08-31 | 青岛海尔工业智能研究院有限公司 | 作业分析方法、装置、电子设备、及存储介质 |
| CN113780077A (zh) * | 2021-08-05 | 2021-12-10 | 深圳市燃气集团股份有限公司 | 基于目标检测的作业行为规范检测方法、装置及终端设备 |
| CN114005183A (zh) * | 2021-12-31 | 2022-02-01 | 北京瑞莱智慧科技有限公司 | 动作识别方法、装置、设备及存储介质 |
| CN114241885A (zh) * | 2021-12-27 | 2022-03-25 | 浙江大学台州研究院 | 具有安全教学功能的机床设备 |
| CN114926970A (zh) * | 2022-05-20 | 2022-08-19 | 深圳市第三人民医院 | 医用防护用品穿脱提醒方法及相关装置 |
| CN116994210A (zh) * | 2023-09-20 | 2023-11-03 | 中国水利水电第七工程局有限公司 | 隧道施工人员识别方法、装置及系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI820980B (zh) * | 2022-10-26 | 2023-11-01 | 臺灣塑膠工業股份有限公司 | 工程監造管理整合系統 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651910A (zh) * | 2016-11-17 | 2017-05-10 | 北京蓝天多维科技有限公司 | 驾驶员异常行为状态的智能图像分析方法和告警系统 |
| CN107680220A (zh) * | 2017-09-28 | 2018-02-09 | 朱明增 | 一种基于机器视觉技术的作业违规行为智能识别方法 |
| CN110399767A (zh) * | 2017-08-10 | 2019-11-01 | 北京市商汤科技开发有限公司 | 车内人员危险动作识别方法和装置、电子设备、存储介质 |
| CN110826610A (zh) * | 2019-10-29 | 2020-02-21 | 上海眼控科技股份有限公司 | 一种用于智能检测人员着装是否规范的方法与系统 |
| CN111047526A (zh) * | 2019-11-22 | 2020-04-21 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111222423A (zh) * | 2019-12-26 | 2020-06-02 | 深圳供电局有限公司 | 基于作业区域的目标识别方法、装置、计算机设备 |
| CN111726586A (zh) * | 2020-06-29 | 2020-09-29 | 上海药明生物技术有限公司 | 一种生产体系操作规范监测提醒系统 |
| CN111898514A (zh) * | 2020-07-24 | 2020-11-06 | 燕山大学 | 一种基于目标检测与动作识别的多目标视觉监管方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1755441B1 (en) * | 2004-04-01 | 2015-11-04 | Eyefluence, Inc. | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
| US9269157B2 (en) * | 2005-03-01 | 2016-02-23 | Eyesmatch Ltd | Methods for extracting objects from digital images and for performing color change on the object |
| WO2016014966A2 (en) * | 2014-07-24 | 2016-01-28 | Brubaker Curtis M | Systems, methods, and devices for generating critical mass in a mobile advertising, media, and communications platform |
| WO2012097163A1 (en) * | 2011-01-14 | 2012-07-19 | The Board Of Trustees Of The University Of Illinois | Optical component array having adjustable curvature |
-
2020
- 2020-12-29 CN CN202011599995.XA patent/CN112766050B/zh active Active
-
2021
- 2021-01-09 TW TW110100901A patent/TWI776350B/zh active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651910A (zh) * | 2016-11-17 | 2017-05-10 | 北京蓝天多维科技有限公司 | 驾驶员异常行为状态的智能图像分析方法和告警系统 |
| CN110399767A (zh) * | 2017-08-10 | 2019-11-01 | 北京市商汤科技开发有限公司 | 车内人员危险动作识别方法和装置、电子设备、存储介质 |
| CN107680220A (zh) * | 2017-09-28 | 2018-02-09 | 朱明增 | 一种基于机器视觉技术的作业违规行为智能识别方法 |
| CN110826610A (zh) * | 2019-10-29 | 2020-02-21 | 上海眼控科技股份有限公司 | 一种用于智能检测人员着装是否规范的方法与系统 |
| CN111047526A (zh) * | 2019-11-22 | 2020-04-21 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111222423A (zh) * | 2019-12-26 | 2020-06-02 | 深圳供电局有限公司 | 基于作业区域的目标识别方法、装置、计算机设备 |
| CN111726586A (zh) * | 2020-06-29 | 2020-09-29 | 上海药明生物技术有限公司 | 一种生产体系操作规范监测提醒系统 |
| CN111898514A (zh) * | 2020-07-24 | 2020-11-06 | 燕山大学 | 一种基于目标检测与动作识别的多目标视觉监管方法 |
Non-Patent Citations (1)
| Title |
|---|
| 娄岩: "《虚拟现实与增强现实实用教程》", 机械工业出版社, pages: 55 - 56 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990153A (zh) * | 2021-05-11 | 2021-06-18 | 创新奇智(成都)科技有限公司 | 一种多目标行为识别方法、装置、存储介质以及电子设备 |
| CN113326772A (zh) * | 2021-05-28 | 2021-08-31 | 青岛海尔工业智能研究院有限公司 | 作业分析方法、装置、电子设备、及存储介质 |
| CN113780077A (zh) * | 2021-08-05 | 2021-12-10 | 深圳市燃气集团股份有限公司 | 基于目标检测的作业行为规范检测方法、装置及终端设备 |
| CN114241885A (zh) * | 2021-12-27 | 2022-03-25 | 浙江大学台州研究院 | 具有安全教学功能的机床设备 |
| CN114005183A (zh) * | 2021-12-31 | 2022-02-01 | 北京瑞莱智慧科技有限公司 | 动作识别方法、装置、设备及存储介质 |
| CN114926970A (zh) * | 2022-05-20 | 2022-08-19 | 深圳市第三人民医院 | 医用防护用品穿脱提醒方法及相关装置 |
| CN116994210A (zh) * | 2023-09-20 | 2023-11-03 | 中国水利水电第七工程局有限公司 | 隧道施工人员识别方法、装置及系统 |
| CN116994210B (zh) * | 2023-09-20 | 2023-12-22 | 中国水利水电第七工程局有限公司 | 隧道施工人员识别方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202228010A (zh) | 2022-07-16 |
| CN112766050B (zh) | 2024-04-16 |
| TWI776350B (zh) | 2022-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766050A (zh) | 着装及作业检查方法、计算机装置及存储介质 | |
| CN110210302B (zh) | 多目标跟踪方法、装置、计算机设备及存储介质 | |
| CN111507317B (zh) | 一种基于视觉的旋转设备作业手套佩戴检测方法及系统 | |
| CN109085174A (zh) | 显示屏外围电路检测方法、装置、电子设备及存储介质 | |
| CN109598229A (zh) | 基于动作识别的监控系统及其方法 | |
| CN112434669B (zh) | 一种多信息融合的人体行为检测方法及系统 | |
| CN113269142A (zh) | 一种检察领域值班人员睡觉行为识别方法 | |
| CN112396658A (zh) | 一种基于视频的室内人员定位方法及定位系统 | |
| CN111814775A (zh) | 目标对象异常行为识别方法、装置、终端及存储介质 | |
| CN108921840A (zh) | 显示屏外围电路检测方法、装置、电子设备及存储介质 | |
| CN113807240A (zh) | 基于非配合式人脸识别的变电站人员着装智能监控方法 | |
| CN110909684A (zh) | 基于人体检测的工作状态检查系统及方法 | |
| CN113505770B (zh) | 快递行业衣着发饰异常检测方法及系统、电子设备 | |
| CN113485277A (zh) | 一种智慧电厂视频识别监控管理系统和方法 | |
| CN114092875A (zh) | 基于机器学习的作业现场安全监管方法及装置 | |
| CN116580490A (zh) | 风电作业安全检测方法及系统 | |
| CN117237935A (zh) | 一种空间物体的识别方法、装置、电子设备及存储介质 | |
| CN109801394B (zh) | 一种工作人员考勤方法及装置、电子设备和可读存储介质 | |
| CN111723725A (zh) | 一种基于视频ai多维分析系统 | |
| CN111582183A (zh) | 一种公共场所的口罩识别方法及系统 | |
| CN113516632A (zh) | 检测方法、装置、系统、存储介质及电子装置 | |
| CN113989625A (zh) | 基于边缘计算的图像识别方法、装置、设备及存储介质 | |
| CN111881733A (zh) | 一种工人作业工步规范视觉识别判定与指导方法和系统 | |
| CN112949606B (zh) | 工服穿戴状态检测方法、装置、存储介质及电子装置 | |
| CN118135490A (zh) | 一种基于图形组态的安全隐患排查及事故预警方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |