CN111931652A - 着装检测方法、装置和监测终端 - Google Patents
着装检测方法、装置和监测终端 Download PDFInfo
- Publication number
- CN111931652A CN111931652A CN202010800107.XA CN202010800107A CN111931652A CN 111931652 A CN111931652 A CN 111931652A CN 202010800107 A CN202010800107 A CN 202010800107A CN 111931652 A CN111931652 A CN 111931652A
- Authority
- CN
- China
- Prior art keywords
- human body
- frame image
- current frame
- dressing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Alarm Systems (AREA)
Abstract
本申请实施例提供的着装检测方法、装置和监测终端,监测终端通过着装检测模型对实时获取到的当前帧图像进行检测,获得目标检测结果,随后通过多目标跟踪算法对目标检测结果中的人体信息进行跟踪,获得该人体信息的第一位置信息,计算第一位置信息和各类别的着装的第二位置信息的IOU值,以判断当前帧图像中该人体信息的着装是否符合要求,从而实现对工作人员的着装的自动监测,并且还可通过多目标跟踪算法对目标检测结果中的多个人体信息进行自动跟踪,从而实现同时对多人的着装进行检测。
Description
技术领域
本申请涉及自动监测技术领域,具体而言,涉及一种着装检测方法、装置和监测终端。
背景技术
由于电力施工工地作业人员在工作时需要直接接触电力设备,存在一定的安全隐患,为了保证施工工地作业人员的安全,减少事故发生,进入电力施工工地的人员都需要按照要求穿戴安全生产设备,例如安全帽、安全带、绝缘服等,因此,监控施工现场的作业人员的着装是否符合要求具有重要的意义。
目前,大部分的施工工地都是通过人工的方式对施工工地现场进行监控的。各施工工地通常配置有一系列的视频监控设备,安全监督管理员通过显示设备查看各视频监控设备拍摄到的画面,在查看到画面中出现不满足着装要求的情况时,对该着装不符合要求的着装行为进行纠正。
但此种监控方式效率较低,且当现场施工人员较多时,安全监督管理员无法同时对多人进行监控。
发明内容
有鉴于此,本申请的目的在于提供着装检测方法、装置和监测终端,以对施工工地的工作人员的着装是否符合着装要求进行自动检测。
第一方面,本申请实施例提供一种着装检测方法,应用于着装检测系统中的监测终端,监测终端包括摄像头,方法包括:
实时获取摄像头拍摄的当前帧图像,将当前帧图像输入至预先训练好的着装检测模型中进行人体或着装的目标检测,获得当前帧图像的目标检测结果;
判断当前帧图像的目标检测结果中是否包括人体信息,若包括,则通过多目标跟踪算法对人体信息进行跟踪,获得人体信息在当前帧图像中的第一位置信息;
判断当前帧图像的目标检测结果中是否包括着装信息,其中,着装信息包括着装类别以及该类别的着装在当前帧图像中的第二位置信息;
若包括,则计算各类别的着装在当前帧图像中的第二位置信息与人体信息在当前帧图像中的第一位置信息的IOU值;
根据IOU值的大小判定当前帧图像中的人体信息的是否符合着装要求,获得当前帧图像的判定结果。
在可选的实施方式中,方法还包括:
针对检测到的同一人体信息,获取根据摄像头拍摄的多个帧图像分析获得的多个判定结果;
根据多个帧图像对应的判定结果判断不符合着装要求的帧图像的数量是否大于预设阈值;
若大于,则判定该人体信息的着装检测结果为不合格,若不大于,则判定该人体信息的着装检测结果为合格。
在可选的实施方式中,着装检测系统还包括安全管控终端和安全监控平台,在实时获取摄像头拍摄的当前帧图像,将当前帧图像输入至预先训练好的着装检测模型中进行人体或着装的目标检测之前,方法还包括:
获取安全管控终端或安全监控平台发送的着装检测计划,其中,着装检测计划包括多个待检测人员的照片及对应的个人信息;
根据待检测人员的照片及待检测人员的个人信息建立人脸库。
在可选的实施方式中,方法还包括:
当人体信息的着装检测结果为不合格时,将该人体信息的人脸与人脸库中的待检测人员的照片进行匹配,获得该着装检测结果不合格的人脸对应的个人信息;
基于着装检测结果不合格的人脸对应的个人信息生成报警信息,并将报警信息发送至安全管控终端或安全监控平台。
在可选的实施方式中,方法还包括:
为当前帧图像的目标检测结果中的每个人体信息标注ID;
通过多目标跟踪算法对人体信息进行跟踪,获得人体信息在当前帧图像中的第一位置信息,包括:
通过当前帧图像的前一帧图像的目标检测结果中包括的各ID对应的人体信息对各ID对应的人体信息在当前帧图像中的位置信息进行预测,获得各ID对应的人体信息在当前帧图像中的预测位置信息;
判断各ID对应的人体信息在当前帧图像中的预测位置信息与当前帧的目标检测结果中包括的各ID对应的人体信息的实际位置信息是否匹配;
若匹配,则判定跟踪成功,将实际检测到的该ID对应的人体信息的实际位置信息作为该人体信息在当前帧图像中的第一位置信息。
在可选的实施方式中,通过多目标跟踪算法对人体信息进行跟踪,获得人体信息在当前帧图像中的第一位置信息,还包括:
若不匹配,则为当前帧图像中不匹配的人体信息标注新的ID,并将当前帧图像中该人体信息的实际位置信息作为该人体信息在当前帧图像中的第一位置信息。
在可选的实施方式中,在实时获取摄像头拍摄的当前帧图像,将当前帧图像输入至预先训练好的着装检测模型中进行人体或着装的目标检测之前,方法还包括:
对多个训练样本进行预处理,获得各个训练样本的期望检测结果;
基于目标检测算法对多个训练样本分别进行检测,获得每个训练样本的实际检测结果;
根据各个训练样本的期望检测结果和实际检测结果计算损失函数值;
根据损失函数值调整目标检测算法的网络参数,直到损失函数值收敛,获得训练好的着装检测模型。
在可选的实施方式中,着装检测系统还包括安全管控终端和安全监控平台,在实时获取摄像头拍摄的当前帧图像,将当前帧图像输入至预先训练好的着装检测模型中进行人体或着装的目标检测之前,方法还包括:
获取安全管控终端或安全监控平台发送的着装检测项;
根据着装检测项设置待检测的着装类别,其中,待检测的着装类别包括安全帽、工装、绝缘手套、绝缘靴和安全带中的至少一种。
第二方面,本申请实施例提供一种着装检测装置,应用于着装检测系统中的监测终端,监测终端包括摄像头,装置包括:
图像获取模块,用于实时获取摄像头拍摄的当前帧图像,将当前帧图像输入至预先训练好的着装检测模型中进行人体或着装的目标检测,获得当前帧图像的目标检测结果;
人体信息跟踪模块,用于判断当前帧图像的目标检测结果中是否包括人体信息,若包括,则通过多目标跟踪算法对人体信息进行跟踪,获得人体信息在当前帧图像中的第一位置信息;
着装信息判断模块,用于判断当前帧图像的目标检测结果中是否包括着装信息,其中,着装信息包括着装类别以及该类别的着装在当前帧图像中的第二位置信息;
计算模块,用于在当前帧图像的目标检测结果中包括着装信息时,计算各类别的着装在当前帧图像中的第二位置信息与人体信息在当前帧图像中的第一位置信息的IOU值;
分析模块,用于根据IOU值的大小判定当前帧图像中的人体信息的是否符合着装要求,获得当前帧图像的判定结果。
第三方面,本申请实施例提供一种监测终端,包括摄像头、处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当监测终端运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以执行如前述实施方式任一方法的步骤。
本申请实施例提供的着装检测方法、装置和监测终端,监测终端通过着装检测模型对实时获取到的当前帧图像进行检测,获得目标检测结果,随后通过多目标跟踪算法对目标检测结果中的人体信息进行跟踪,获得该人体信息的第一位置信息,计算第一位置信息和各类别的着装的第二位置信息的IOU值,以判断当前帧图像中该人体信息的着装是否符合要求,从而实现对工作人员的着装的自动监测,并且还可通过多目标跟踪算法对目标检测结果中的多个人体信息进行自动跟踪,从而实现同时对多人的着装进行检测。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的着装检测系统的示意图;
图2为本申请实施例提供的着装检测方法的流程图之一;
图3为本实施例提供的着装检测方法的流程图之二;
图4为本申请实施例提供的着装检测方法的流程图之三;
图5为本申请实施例提供的步骤S103的子步骤流程图;
图6为本申请实施例提供的着装检测系装置的功能模块图;
图7为本申请实施例提供的监测终端的结构示意图。
主要元件符号说明:10-着装检测系统;100-监测终端;101-处理器;102-存储器;103-总线;200-安全管控终端;300-安全监控平台;110-着装检测系装置;1101-图像获取模块;1102-人体信息跟踪模块;1103-着装信息判断模块;1104-计算模块;105-分析模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了检测施工现场的多个工作人员的着装是否符合要求,本申请实施例提供了一种着装检测方法、装置和监测终端。
首先,先对本申请实施例提供的着装检测方法的应用场景进行介绍。请参照图1,图1为本申请实施例提供的着装检测系统10的示意图。着装检测系统10包括监测终端100以及和监测终端100通信连接的安全管控终端200和安全监控平台300。
值得说明的是,安全管控终端200用于为施工现场的负责人提供作业计划信息,并根据作业计划信息设置相应的着装检测项。例如,在某一些作业计划中可以只检测安全帽是否佩戴,但在另一些作业计划中需要检测安全帽、绝缘手套及绝缘靴是否均进行了穿戴。其次,安全管控终端200还用于接收监测终端100发送的报警信息,例如,接收监测终端100发送的某一工作人员未按照要求进行着装,以便安全管控终端200的用户可以及时对该工作人员进行着装纠正,避免出现安全事故。另外,安全管控终端200还可以实时查看监测终端100的摄像头拍摄到画面,对现场进行实时监控。
安全监控平台300用于建立作业计划,以及对施工现场的着装不符合要求的所有情况进行统计,供安全监督员查看,以便及时发送施工现场的安全隐患。
监测终端100则用于对施工现场进行实时拍摄,并基于内置的算法对施工现场的着装情况进行实时监测,在监测到出现不符合着装要求的情况时,根据监测结果生成报警信息,发送至安全监控平台300以及安全管控终端200。
下面对本申请提供的着装检测方法进行详细说明。具体地,该方法应用于图1中的监测终端100。
请参照图2,图2为本申请实施例提供的着装检测方法的流程图之一。在本实施例中,监测终端100包括有摄像头,该方法包括:
步骤S101,实时获取摄像头拍摄的当前帧图像,将当前帧图像输入至预先训练好的着装检测模型中进行人体或着装的目标检测,获得当前帧图像的目标检测结果。
步骤S102,判断当前帧图像的目标检测结果中是否包括人体信息。
步骤S103,若包括,则通过多目标跟踪算法对人体信息进行跟踪,获得人体信息在当前帧图像中的第一位置信息;
步骤S104,判断当前帧图像的目标检测结果中是否包括着装信息。其中,着装信息包括着装类别以及该类别的着装在当前帧图像中的第二位置信息。
步骤S105,若包括,则计算各类别的着装在当前帧图像中的第二位置信息与人体信息在当前帧图像中的第一位置信息的IOU值;
步骤S106,根据IOU值的大小判定当前帧图像中的人体信息的是否符合着装要求,获得当前帧图像的判定结果。
在上述步骤中,监测终端100通过着装检测模型对实时获取到的当前帧图像进行检测,获得目标检测结果,随后通过多目标跟踪算法对目标检测结果中的人体信息进行跟踪,获得该人体信息的第一位置信息,计算第一位置信息和各类别的着装的第二位置信息的IOU值,以判断当前帧图像中该人体信息的着装是否符合要求,从而实现对工作人员的着装的自动监测,并且还可通过多目标跟踪算法对目标检测结果中的多个人体信息进行自动跟踪,从而实现同时对多人的着装进行检测,减少施工现场的安全事故。
具体地,着装检测模型在本实施例中用于对实时获取到的当前帧图像进行目标检测,在当前帧图像中进行人体信息、安全帽、工装、安全带、绝缘手套以及绝缘靴等目标的检测,获得目标检测结果并在当前帧图像中通过检测框的形式标注出来。其中,目标检测结果中包括有当前帧图像中可能存在的人体信息、安全帽、工装、安全带、绝缘手套以及绝缘靴等目标的位置信息。若当前帧图像中没有检测到人体信息、安全帽、工装、安全带、绝缘手套以及绝缘靴等信息,则目标检测结果为空。
IOU的全称为交并比(Intersection over Union),在本实施例中,IOU值计算的是人体信息的第一位置信息和各类别的着装的第二位置信息的交集和并集的比值。
例如,假设着装类别为安全帽时,当前帧图像的目标检测结果中包括有一个人体信息以及一个安全帽的位置信息时,可能出现该安全帽并没有戴在该人体信息对应的工作人员的头上,而是被放置在地上的情况,为了准确判断该人体信息是否正确佩戴安全帽,分别计算该人体信息的第一位置信息和该安全帽的位置信息之间的IOU值,若IOU值大于预设阈值,则可判定该工作人员正确佩戴了安全帽,反之则表示没有正确佩戴。
在另一种情况中,假设着装类别为安全帽时,当前帧图像的目标检测结果中包括有一个人体信息以及两个安全帽的位置信息时,需要分别计算两个安全帽的位置信息和人体信息的第一位置信息的IOU值,判断两个IOU值是否大于预设阈值。
基于同样的方法,还可以同时对工装、安全带、绝缘手套以及绝缘靴等其他的着装类别进行检测,以检测工作人员是否按照要求正确穿戴相应的保护着装。
进一步地,请参照图3,图3为本实施例提供的着装检测方法的流程图之二。在本实施例中,着装检测方法还包括:
步骤S201,针对检测到的同一人体信息,获取根据摄像头拍摄的多个帧图像分析获得的多个判定结果。
步骤S202,根据多个帧图像对应的判定结果判断不符合着装要求的帧图像的数量是否大于预设阈值;
步骤S203,若大于,则判定该人体信息的着装检测结果为不合格。
步骤S204,若不大于,则判定该人体信息的着装检测结果为合格。
在具体的实施过程中,工作人员在一帧图像中没有按照规定进行着装,也有可能是因为该工作人员刚到工地,还没来得及进行相应的着装穿戴。为了避免因为此种原因出现误检测的情况。因此,需要针对同一个人体信息,进行多帧判断。
在每一帧图像的检测过程中,当其中一个人体信息在该帧图像中不符合着装要求时,计数+1,并继续下一帧图像的判断,直到最终的计数结果大于预设值,则可以判定该人体信息的着装检测结果为不合格。
例如,当第一帧图像中的人体信息不符合着装要求时(例如未佩戴安全帽),计数1,继续第二帧图像的检测和判断,若第二帧图像中的人体信息符合着装要求,则计数停止,此时的着装检测结果为合格;若第二帧图像的人体信息不符合着装要求,则计数2,再继续第三帧图像的检测和判断,循环上述步骤,直到计数结果大于预设阈值时,则认为该人体信息在一段时间内均没有按照要求进行着装,此时的着装检测结果为不合格。
值的说明的是,上述步骤在判断着装是否符合要求时,除了判断是否佩戴安全帽,还需要判断是否正确穿戴工装、安全带、绝缘手套及绝缘靴等,若其中一项不符合要求,均认为该工作人员的着装不符合要求。
进一步地,在本实施例中,如图1所示,着装检测系统10还包括安全管控终端200和安全监控平台300。结合参照图1及图4,图4为本申请实施例提供的着装检测方法的流程图之三,在本实施例中,该方法还包括:
步骤S301,获取安全管控终端200或安全监控平台300发送的着装检测计划,其中,着装检测计划包括多个待检测人员的照片及对应的个人信息。
步骤S302,根据待检测人员的照片及待检测人员的个人信息建立人脸库。
在本步骤中,安全监督员可通过安全管控终端200或安全监控平台300建立当天或本周的着装检测作业计划,该计划包括施工现场的地址、多个在施工现场作业的工作人员的照片信息及个人信息(例如姓名、工号等)。监测终端100能够从安全管控终端200或安全监控平台300获取当天的着装检测作业计划,并获取作业计划中包括的各个工作人员的照片及个人信息建立人脸库。
进一步地,请继续参照图4,在本实施例中,着装检测方法还包括:
步骤S303,当人体信息的着装检测结果为不合格时,将该人体信息的人脸与人脸库中的待检测人员的照片进行匹配,获得该着装检测结果不合格的人脸对应的个人信息。
步骤S304,基于着装检测结果不合格的人脸对应的个人信息生成报警信息,并将报警信息发送至安全管控终端200或安全监控平台300。
在上述步骤中,当监测终端100接收到开始作业的指令后,对摄像头获取到的每一帧图像进行检测,并通过同一人体信息的多帧图像检测该人体信息的着装检测结果是否合格。
当检测结果为不合格时,则通过人脸识别技术将该人体信息的人脸与人脸库中的人脸进行匹配,获得该人体信息对应的工作人员的个人信息以及照片,并基于匹配获得的个人信息生成报警信息,发送至安全管控终端200或安全监控平台300。安全监督员在安全管控终端200或安全监控平台300查看到报警信息后,可以及时提醒该违规的工作人员,降低安全事故发生的可能性。
另外,安全监控平台300还可以对接收到的报警信息进行汇总统计,便于安全监督员随时查看。
进一步地,在本实施例中,安全管控终端200也可以从安全监控平台300获取着装检测作业计划,并基于着装检测计划设置着装检测项。例如,在场景一对应的着装检测作业计划中,可以只对安全帽的佩戴进行检测,则着装检测项可以设置为安全帽。在设置完着装检测项之后,安全管控终端200向监测终端100发送开始作业的指令。另外,安全监控平台300也可直接根据着装检测作业计划设置着装检测项并发送给监测终端100。
监测终端100在接收到开始作业的指令后,开始安全着装检测。具体地,在步骤S101之前,着装检测方法还包括:
获取安全管控终端200或安全监控平台300发送的着装检测项;根据着装检测项设置待检测的着装类别,其中,待检测的着装类别包括安全帽、工装、绝缘手套、绝缘靴和安全带中的至少一种。
在上述步骤中,监测终端100获取安全管控终端200或是安全监控平台300发送的着装检测项之后,基于着装检测线设置相应的待检测的类别。
例如,若着装检测项为安全帽、工装及安全带,则监测终端100将安全帽、工装及安全带设置为待检测的着装类别,在安全着装检测的过程中,仅对安全帽、工装及安全带这几项着装类别进行检测。
进一步地,在本实施例中,着装检测方法还包括:为当前帧图像的目标检测结果中的每个人体信息标注ID的步骤。
在本步骤中,当前帧图像可能拍摄到多个工作人员,此时,当前帧的目标检测结果会包括多个人体信息,因此需要为每个人体信息标注ID。
在此之后,请参照图5,图5为本申请实施例提供的步骤S103的子步骤流程图。其中,步骤S103具体包括以下子步骤:
子步骤S1031,通过当前帧图像的前一帧图像的目标检测结果中包括的各ID对应的人体信息对各ID对应的人体信息在当前帧图像中的位置信息进行预测,获得各ID对应的人体信息在当前帧图像中的预测位置信息;
子步骤S1032,判断各ID对应的人体信息在当前帧图像中的预测位置信息与当前帧的目标检测结果中包括的各ID对应的人体信息的实际位置信息是否匹配;
步骤S1033,若匹配,则判定跟踪成功,将实际检测到的该ID对应的人体信息的实际位置信息作为该人体信息在当前帧图像中的第一位置信息。
在具体的实施过程中,可以通过deepsort算法进行多目标的跟踪,首先上一帧图像中的某个ID标注的人体信息(例如ID为1)的位置信息预测ID为1的人体信息在当前帧图像中的位置信息,获得一个预测位置框,再基于当前帧图像的目标检测结果中检测到的ID为1的人体信息的实际位置信息获得实际位置框,将预测位置框与实际位置框进行比对,若位置相差在预设的范围内,即可认为预测位置框和实际位置框匹配,即表示当前帧图像中的ID为1的人体信息与上一帧图像中的ID为1的人体信息为同一人体信息,即跟踪成功。
通过上述的多目标跟踪算法可以对画面中的多个人体进行跟踪,从而实现对施工现场的多个工作人员进行安全着装检测。
进一步地,请继续参照图5,在本实施例中,步骤S103还包括:
子步骤S1034,若不匹配,则为当前帧图像中不匹配的人体信息标注新的ID,并将当前帧图像中该人体信息的实际位置信息作为该人体信息在当前帧图像中的第一位置信息。
在具体的实施过程中,如果某一ID(例如ID为1)对应的人体信息的预测位置框和实际位置框不匹配,则为人体信息标注一个新的ID(例如标注的新ID为2),此时该ID为2对应的人体信息的第一位置信息即为实际位置框对应的实际位置信息。
具体地,出现预测位置框和实际位置框不匹配的原因可能是由于工作人员的走路速度较快,相邻两帧图像之间的位置差太大,因此无法匹配;也有可能是因为当前帧图像中没有该人体信息的实际位置框或是当前帧图像中没有该人体信息的预测位置框,即表示该人体信息已经离开当前画面或是当前帧图像中出现了一个新的人体信息。无论是上述哪种情况,当预测位置框与实际位置框不匹配时,即为该不匹配的人体信息标注一个新的ID以进行区分。
进一步地,在本实施例中,在步骤S101之前,着装检测方法还包括训练着装检测模型的步骤,具体包括:
对多个训练样本进行预处理,获得各个训练样本的期望检测结果;
基于目标检测算法对多个训练样本分别进行检测,获得每个训练样本的实际检测结果;
根据各个训练样本的期望检测结果和实际检测结果计算损失函数值;
根据损失函数值调整目标检测算法的网络参数,直到损失函数值收敛,获得训练好的着装检测模型。
在具体的实施过程中,首先对大量的训练样本进行预处理,在各个训练样本中标注出人体信息、安全帽、工装、绝缘手套、绝缘靴以及安全带等,并基于目标检测算法(例如yolo-v3算法)对标注好的训练样本进行检测,获得实际检测结果,实际检测结果是指从训练样本中实际检测到的人体信息、安全帽、工装、绝缘手套、绝缘靴以及安全带等的位置信息。
基于实际检测结果与期望检测结果(即训练样本的标注结果)计算损失函数值,并基于损失函数值调整目标检测算法的网络参数。
再通过网络参数调整之后获得的新的目标检测算法继续对训练样本进行检测,重复上述的步骤,直到损失函数值收敛或是循环迭代的次数达到预设值,最终获得训练好的着装检测模型。
进一步地,在本实施例中,当获得训练好的着装检测模型之后,还可以通过tensorrt算法对该着装检测模型进行加速,以使该着装检测模型可以满足实时检测的需求。具体地,可以将着装检测模型中的数据模型压缩为低精度的数据类型,例如FP16或Int8等数据类型,以减少存储数据所需的内存空间。
基于同一发明构思,本申请实施例中还提供了与着装检测方法对应的着装检测系装置110,由于本申请实施例中的装置解决问题的原理与本申请实施例上述着装检测方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
具体请参照图6,图6为本申请实施例提供的着装检测系装置110的功能模块图。在本实施例中,该装置应用于监测终端100,包括:
图像获取模块1101,用于实时获取摄像头拍摄的当前帧图像,将当前帧图像输入至预先训练好的着装检测模型中进行人体或着装的目标检测,获得当前帧图像的目标检测结果;
人体信息跟踪模块1102,用于判断当前帧图像的目标检测结果中是否包括人体信息,若包括,则通过多目标跟踪算法对人体信息进行跟踪,获得人体信息在当前帧图像中的第一位置信息;
着装信息判断模块1103,用于判断当前帧图像的目标检测结果中是否包括着装信息,其中,着装信息包括着装类别以及该类别的着装在当前帧图像中的第二位置信息;
计算模块1104,用于在当前帧图像的目标检测结果中包括着装信息时,计算各类别的着装在当前帧图像中的第二位置信息与人体信息在当前帧图像中的第一位置信息的IOU值;
分析模块105,用于根据IOU值的大小判定当前帧图像中的人体信息的是否符合着装要求,获得当前帧图像的判定结果。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本申请实施例还提供了一种监测终端100,如图7所示,为本申请实施例提供的监测终端100的结构示意图,包括:处理器101、存储器102、和总线103。存储器102存储有处理器101可执行的机器可读指令(比如,图6中的装置中的图像获取模块1101、人体信息跟踪模块1102、着装信息判断模块1103、计算模块1104、分析模块105对应的执行指令等),当监测终端100运行时,处理器101与存储器102之间通过总线103通信,机器可读指令被处理器101执行时执行上述实施例中任意一个实施例的方法。
在一些实施例中,处理器101可以包括一个或多个处理核(例如,单核处理器101(S)或多核处理器101(S))。仅作为举例,处理器101可以包括中央处理单元(CentralProcessing Unit,CPU)、专用集成电路(Application Specific Integrated Circuit,ASIC)、专用指令集处理器101(Application Specific Instruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(PhysicsProcessing Unit,PPU)、数字信号处理器101(Digital Signal Processor,DSP)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、可编程逻辑器件(ProgrammableLogic Device,PLD)、控制器、微控制器单元、简化指令集计算机(Reduced InstructionSet Computing,RISC)、或微处理器101等,或其任意组合。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的监测终端100和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的监测终端100、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种着装检测方法,其特征在于,应用于着装检测系统中的监测终端,所述监测终端包括摄像头,所述方法包括:
实时获取所述摄像头拍摄的当前帧图像,将当前帧图像输入至预先训练好的着装检测模型中进行人体或着装的目标检测,获得当前帧图像的目标检测结果;
判断所述当前帧图像的目标检测结果中是否包括人体信息,若包括,则通过多目标跟踪算法对所述人体信息进行跟踪,获得所述人体信息在当前帧图像中的第一位置信息;
判断所述当前帧图像的目标检测结果中是否包括着装信息,其中,所述着装信息包括着装类别以及该类别的着装在当前帧图像中的第二位置信息;
若包括,则计算各类别的着装在当前帧图像中的第二位置信息与所述人体信息在当前帧图像中的第一位置信息的IOU值;
根据所述IOU值的大小判定当前帧图像中的人体信息的是否符合着装要求,获得当前帧图像的判定结果。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
针对检测到的同一人体信息,获取根据所述摄像头拍摄的多个帧图像分析获得的多个判定结果;
根据多个所述帧图像对应的判定结果判断不符合着装要求的帧图像的数量是否大于预设阈值;
若大于,则判定该人体信息的着装检测结果为不合格,若不大于,则判定该人体信息的着装检测结果为合格。
3.根据权利要求2所述的方法,其特征在于,所述着装检测系统还包括安全管控终端和安全监控平台,在实时获取所述摄像头拍摄的当前帧图像,将当前帧图像输入至预先训练好的着装检测模型中进行人体或着装的目标检测之前,所述方法还包括:
获取所述安全管控终端或所述安全监控平台发送的着装检测计划,其中,所述着装检测计划包括多个待检测人员的照片及对应的个人信息;
根据所述待检测人员的照片及待检测人员的个人信息建立人脸库。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当所述人体信息的着装检测结果为不合格时,将该人体信息的人脸与所述人脸库中的待检测人员的照片进行匹配,获得该着装检测结果为不合格的人脸对应的个人信息;
基于着装检测结果不合格的人脸对应的个人信息生成报警信息,并将所述报警信息发送至所述安全管控终端或所述安全监控平台。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
为当前帧图像的目标检测结果中的每个人体信息标注ID;
所述通过多目标跟踪算法对所述人体信息进行跟踪,获得所述人体信息在当前帧图像中的第一位置信息,包括:
通过当前帧图像的前一帧图像的目标检测结果中包括的各ID对应的人体信息对各ID对应的人体信息在当前帧图像中的位置信息进行预测,获得各ID对应的人体信息在当前帧图像中的预测位置信息;
判断各ID对应的人体信息在当前帧图像中的预测位置信息与当前帧的目标检测结果中包括的各ID对应的人体信息的实际位置信息是否匹配;
若匹配,则判定跟踪成功,将实际检测到的该ID对应的人体信息的实际位置信息作为该人体信息在当前帧图像中的第一位置信息。
6.根据权利要求5所述的方法,其特征在于,所述通过多目标跟踪算法对所述人体信息进行跟踪,获得所述人体信息在当前帧图像中的第一位置信息,还包括:
若不匹配,则为当前帧图像中不匹配的人体信息标注新的ID,并将当前帧图像中该人体信息的实际位置信息作为该人体信息在当前帧图像中的第一位置信息。
7.根据权利要求1所述的方法,其特征在于,在实时获取所述摄像头拍摄的当前帧图像,将当前帧图像输入至预先训练好的着装检测模型中进行人体或着装的目标检测之前,所述方法还包括:
对多个训练样本进行预处理,获得各个训练样本的期望检测结果;
基于目标检测算法对多个训练样本分别进行检测,获得每个训练样本的实际检测结果;
根据各个训练样本的期望检测结果和实际检测结果计算损失函数值;
根据所述损失函数值调整所述目标检测算法的网络参数,直到所述损失函数值收敛,获得训练好的着装检测模型。
8.根据权利要求1所述的方法,其特征在于,所述着装检测系统还包括安全管控终端和安全监控平台,在实时获取所述摄像头拍摄的当前帧图像,将当前帧图像输入至预先训练好的着装检测模型中进行人体或着装的目标检测之前,所述方法还包括:
获取所述安全管控终端或所述安全监控平台发送的着装检测项;
根据所述着装检测项设置待检测的着装类别,其中,所述待检测的着装类别包括安全帽、工装、绝缘手套、绝缘靴和安全带中的至少一种。
9.一种着装检测装置,其特征在于,应用于着装检测系统中的监测终端,所述监测终端包括摄像头,所述装置包括:
图像获取模块,用于实时获取所述摄像头拍摄的当前帧图像,将当前帧图像输入至预先训练好的着装检测模型中进行人体或着装的目标检测,获得当前帧图像的目标检测结果;
人体信息跟踪模块,用于判断所述当前帧图像的目标检测结果中是否包括人体信息,若包括,则通过多目标跟踪算法对所述人体信息进行跟踪,获得所述人体信息在当前帧图像中的第一位置信息;
着装信息判断模块,用于判断所述当前帧图像的目标检测结果中是否包括着装信息,其中,所述着装信息包括着装类别以及该类别的着装在当前帧图像中的第二位置信息;
计算模块,用于在所述当前帧图像的目标检测结果中包括着装信息时,计算各类别的着装在当前帧图像中的第二位置信息与所述人体信息在当前帧图像中的第一位置信息的IOU值;
分析模块,用于根据所述IOU值的大小判定当前帧图像中的人体信息的是否符合着装要求,获得当前帧图像的判定结果。
10.一种监测终端,其特征在于,包括摄像头、处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述监测终端运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至8任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010800107.XA CN111931652A (zh) | 2020-08-11 | 2020-08-11 | 着装检测方法、装置和监测终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010800107.XA CN111931652A (zh) | 2020-08-11 | 2020-08-11 | 着装检测方法、装置和监测终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111931652A true CN111931652A (zh) | 2020-11-13 |
Family
ID=73307480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010800107.XA Pending CN111931652A (zh) | 2020-08-11 | 2020-08-11 | 着装检测方法、装置和监测终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111931652A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113505770A (zh) * | 2021-09-13 | 2021-10-15 | 国家邮政局邮政业安全中心 | 快递行业衣着发饰异常检测方法及系统、电子设备 |
CN113554682A (zh) * | 2021-08-03 | 2021-10-26 | 同济大学 | 一种基于目标跟踪的安全帽检测方法 |
CN113762171A (zh) * | 2021-09-09 | 2021-12-07 | 赛思沃德(武汉)科技有限公司 | 铁路施工现场安全监测的方法及装置 |
CN114120293A (zh) * | 2021-11-30 | 2022-03-01 | 北京华高世纪科技股份有限公司 | 一种地铁列车乘客检测方法及系统 |
CN116503589A (zh) * | 2023-02-07 | 2023-07-28 | 珠海安联锐视科技股份有限公司 | 一种基于深度学习的窃贼面罩检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745226A (zh) * | 2013-12-31 | 2014-04-23 | 国家电网公司 | 一种电力设施作业现场人员着装安全检测方法 |
CN109697430A (zh) * | 2018-12-28 | 2019-04-30 | 成都思晗科技股份有限公司 | 基于图像识别的工作区域安全帽佩戴的检测方法 |
CN110619324A (zh) * | 2019-11-25 | 2019-12-27 | 南京桂瑞得信息科技有限公司 | 一种行人和安全帽检测方法、装置及系统 |
CN111368727A (zh) * | 2020-03-04 | 2020-07-03 | 西安咏圣达电子科技有限公司 | 配电室巡检人员着装检测方法、存储介质、系统、装置 |
CN111401314A (zh) * | 2020-04-10 | 2020-07-10 | 上海东普信息科技有限公司 | 着装信息检测方法、装置、设备及存储介质 |
-
2020
- 2020-08-11 CN CN202010800107.XA patent/CN111931652A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745226A (zh) * | 2013-12-31 | 2014-04-23 | 国家电网公司 | 一种电力设施作业现场人员着装安全检测方法 |
CN109697430A (zh) * | 2018-12-28 | 2019-04-30 | 成都思晗科技股份有限公司 | 基于图像识别的工作区域安全帽佩戴的检测方法 |
CN110619324A (zh) * | 2019-11-25 | 2019-12-27 | 南京桂瑞得信息科技有限公司 | 一种行人和安全帽检测方法、装置及系统 |
CN111368727A (zh) * | 2020-03-04 | 2020-07-03 | 西安咏圣达电子科技有限公司 | 配电室巡检人员着装检测方法、存储介质、系统、装置 |
CN111401314A (zh) * | 2020-04-10 | 2020-07-10 | 上海东普信息科技有限公司 | 着装信息检测方法、装置、设备及存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554682A (zh) * | 2021-08-03 | 2021-10-26 | 同济大学 | 一种基于目标跟踪的安全帽检测方法 |
CN113762171A (zh) * | 2021-09-09 | 2021-12-07 | 赛思沃德(武汉)科技有限公司 | 铁路施工现场安全监测的方法及装置 |
CN113505770A (zh) * | 2021-09-13 | 2021-10-15 | 国家邮政局邮政业安全中心 | 快递行业衣着发饰异常检测方法及系统、电子设备 |
CN114120293A (zh) * | 2021-11-30 | 2022-03-01 | 北京华高世纪科技股份有限公司 | 一种地铁列车乘客检测方法及系统 |
CN116503589A (zh) * | 2023-02-07 | 2023-07-28 | 珠海安联锐视科技股份有限公司 | 一种基于深度学习的窃贼面罩检测方法 |
CN116503589B (zh) * | 2023-02-07 | 2024-05-10 | 珠海安联锐视科技股份有限公司 | 一种基于深度学习的窃贼面罩检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111931652A (zh) | 着装检测方法、装置和监测终端 | |
CN106372662B (zh) | 安全帽佩戴的检测方法和装置、摄像头、服务器 | |
CN111445524B (zh) | 基于场景理解的施工现场工人不安全行为识别方法 | |
CN112434669B (zh) | 一种多信息融合的人体行为检测方法及系统 | |
CN110879995A (zh) | 目标物品检测方法及装置、存储介质及电子装置 | |
CN109102677A (zh) | 建筑工地安全监控系统及方法 | |
CN111062303A (zh) | 图像处理方法、系统及计算机存储介质 | |
CN109938439A (zh) | 安全帽、安全系统、人员的管理方法 | |
CN109389040B (zh) | 一种作业现场人员安全着装的检查方法及装置 | |
CN114155492A (zh) | 高空作业安全带挂绳高挂低用识别方法、装置和电子设备 | |
CN113505770B (zh) | 快递行业衣着发饰异常检测方法及系统、电子设备 | |
CN115880722A (zh) | 一种配电作业人员穿戴的智能识别方法、系统和介质 | |
CN113506416A (zh) | 一种基于智能视觉分析的工程异常预警方法及系统 | |
CN115620192A (zh) | 一种高空作业安全绳穿戴检测的方法和装置 | |
CN114220117A (zh) | 一种穿戴合规性检测方法、装置和计算机可读存储介质 | |
CN112906441B (zh) | 用于通信行业查勘维护的图像识别系统及方法 | |
CN110751125A (zh) | 穿戴检测方法及装置 | |
CN111291728A (zh) | 违规翻越传输带行为的检测系统及检测设备、检测方法 | |
WO2022121886A1 (zh) | 一种电力作业着装规范识别方法和装置 | |
CN115953815A (zh) | 基建现场的监测方法及装置 | |
CN115830626A (zh) | 穿戴检测方法、设备和计算机可读存储介质 | |
CN113033515A (zh) | 穿戴检测方法与装置、电子设备和计算机可读存储介质 | |
JP2019144861A (ja) | 安全判定装置、安全判定システム、安全判定方法 | |
CN111932581B (zh) | 安全绳检测方法、装置、电子设备和可读存储介质 | |
CN113920544A (zh) | 用于冲压车间的安全管理系统、方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |