CN115424340A - 基于yolov5神经网络技术识别防护服的方法 - Google Patents

Abstract

本发明涉及防护服监管技术领域，且公开了基于YOLOV5神经网络技术识别防护服的方法，基于人工智能深度学习进行算法模型定制，智能硬件与智慧软件平台相结合，设计一种研判科学化、工作智能化、业务数据化、数据一体化物联网解决方案来管理防护服穿脱消毒工作。利用YOLOV5深度学习神经网络技术,进行大规模行为动作数据识别训练，配合智能摄像头、统一软件管理平台实现防护服穿脱合规和消毒规范判断，智能硬件数据回传统一软件管理平台实时预警并警告，监测医护人员穿脱防护服是否合规，控制病毒传播的范围保障隔离人员、医护人员和工作服务人员安全，提高监管效率，降低监管成本，利用动作识别模型智能识别视频中医护人员是否正确穿脱防护服和消毒。

Description

基于YOLOV5神经网络技术识别防护服的方法

技术领域

本发明涉及防护服监管技术领域，具体为基于YOLOV5神经网络技术识别防护服的方法。

背景技术

新冠疫情席卷全球，影响数个国家地区，传播速度之快、之强人人听闻怵之。新冠疫情反复无常对人们的出行带来不便，新冠传播能力之强更是对防护服的需求更上一步。医疗防护服有效阻隔了新冠病毒的传播保护医护人员的人生健康，但是一天劳累的工作可能会让医护人员穿脱防护服消毒的时候疏忽大意，增加了感染的可能性，人工监视提醒费时费力，成效甚微。防护服穿脱操作和消毒操作已统一规范但却存在着监督问题，人工监管耗时耗力还存在着监督不到位、误判、漏判的风险。防护服穿脱与消毒没有规范的监管制度，如果处理医疗废料和消毒不当，环境中若存在确诊病例，极大增加了感染新冠的风险，人工监管耗时耗力，一人只能保证监测一人的准确率，当网络互联多视频监测则会出现漏检、误检的问题。本发明的目的是为了解决防护服穿脱和消毒操作监管的问题，保证医护人员正确的穿脱防护服、处理医疗废料以及保护自我安全合规的消毒操作。

现有的技术方案主要还是靠医护人员自觉和人工视频监督的方法。但是医护人员一天的工作劳累后可能存在疏忽大意错误操作，无法保证每次都合规、医疗废料处理得当。人工视频监督的方法是在防护服消毒操作间安装摄像头，人工在监控室监督提醒，当多视频出现医护人员防护服穿脱和消毒的动作时，一个监督员会监督不及。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了基于YOLOV5神经网络技术识别防护服的方法，本发明利用YOLOV5深度学习神经网络技术大规模训练医护人员穿脱防护服合规数据集，将训练好的识别模型部署在智能摄像头上，对进入区域的医护人员穿脱防护服行为动作进行监测实时报警、医废处理监测，并将识别结果同步至智慧软件平台，打造智能硬件与软件相结合、数据一体化物联网，实现智能化监督机制。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：基于YOLOV5神经网络技术识别防护服的方法，包括以下步骤：

1)智能摄像头设置：在隔离酒店或其他隔离点根据现有的防疫要求划分出专用的隔离防护服消毒操作间或场地，将智能摄像头设置在隔离防护服消毒操作间或场内合适的安装点位上；

2)图片数据筛选：装好点位后从监控视频中获取场景图象，使用python语言进行视频帧提取，筛选图片数据，使用labelimg标注工具对图像进行二分类标注，人物标签用0表示，其他用1表示，根据深度学习识别算法框架YOLOV5模型识别图像中的人物目标，并用矩形边框标识和输出，置信度损失函数和分类损失函数均使用的是BCEWithLogitsLoss,回归损失函数使用的是CIOU；

3)获取anchor框：根据iou距离利用Kmeans聚类算法获取YOLO V5所需的9个anchor框；

4)人物的动作进行分类识别并输出：识别出的人物的原始图像根据识别模型选中的矩形框坐标将人物裁剪出来，使用labelimg标注工具对图像进行八分类标注，标注后的文件使用python代码修改文件中的标签信息为五分类信息，穿防护服带面罩和正在消毒SaftyClothes-FaceMsak-Sanitizing、穿防护服未带面罩和正在消毒SaftyClothes-NoFaceMask-Sanitizing、未穿防护服但佩戴面罩和正在消毒NoSaftyClothes-FaceMsak-Sanitizing、未穿防护服未带面罩和正在消毒NoSaftyClothes-NoFaceMsak-Sanitizing、没有消毒No-Sanitizing，将重新修改标签后的数据放在resnet18分类模型中，对人物的动作进行分类识别并输出；

5)信息输出：分类输出后的动作识别信息回传给智慧软件平台并在前端显示。

优选的，所述智能摄像头的安装点位要求能够清洗完整的对场景中的图像进行拍摄。

优选的，所述智能摄像头的配置过程如下：首先利用摄像头采集医护人员穿脱防护服数据，包括正常穿脱防护服、佩戴护目镜、消毒操作的正样本和错误穿脱防护服、佩戴护目镜、消毒的负样本数据，正常穿脱防护服、佩戴护目镜、消毒操作的正样本和错误穿脱防护服、佩戴护目镜、消毒的负样本数据均设置多组，利用labelme标注工具进行图像标注处理并存储到数据库，之后利用该数据训练防护服穿脱合规识别模型，将训练好的模型部署在智能摄像头内，且模型训练的次数为300次。

优选的，所述智能摄像头与智慧软件平台网络连接将前端物理信息传输给智能软件平台，智能软件平台配置有可查看监控视频功能且具备实时报警异常行为功能。

优选的，防护服穿脱动作和消毒动作识别模型是使用的YOLO v5,其中消毒动作识别是修改了YOLO v5模型的检测类别数量(由8类改为5类)并训练，防护服穿脱动作识别标注模型类别为：SaftyClothes-FaceMsak-Sanitizing、SaftyClothes-FaceMask-NoSanitizing、SaftyClothes-NoFaceMask-Sanitizing、SaftyClothes-NoFaceMask-NoSanitizing、NoSaftyClothes-FaceMsak-Sanitizing、NoSaftyClothes-FaceMsak-NoSanitizing、NoSaftyClothes-NoFaceMsak-Sanitizing、NoSaftyClothes-NoFaceMsak-NoSanitizing；所述消毒动作识别模型将类别由8类修改为5类具体为：SaftyClothes-FaceMsak-Sanitizing、SaftyClothes-NoFaceMask-Sanitizing、NoSaftyClothes-FaceMsak-Sanitizing、NoSaftyClothes-NoFaceMsak-Sanitizing、No-Sanitizing。

优选的，所述智能摄像头算法开发流程如下：

1)在隔离酒店或其他隔离点根据现有的防疫要求划分出专用的隔离防护服消毒操作间或场地，将智能摄像头设置在隔离防护服消毒操作间或场内合适的安装点位上；

2)收集音频图像数据，使用python的Opencv框架中的Videocapture()函数进行视频抽帧，按照指定的动作标准筛选特征明显的图像，使用labelme标注工具标注图像数据，制定数据集；

3)将制定的好的数据存放在数据库，YOLOV5神经网络模型调用readme文件读取数据集进行推理、训练模型参数、迭代优化；

4)将算法部署在智能摄像头，智能摄像头前端再次收集图像信息作为测试集，动作识别模型推理判断测试数据集；

6)数据判定，若算法模型推理准确率达到0.95则符合标准进行下一步模型验证，若准确率不达标进行算法迭代，增加数据扩大数据集，迭代优化训练模型参数。

(三)有益效果

与现有技术相比，本发明提供了基于YOLOV5神经网络技术识别防护服的方法，具备以下有益效果：

该基于YOLOV5神经网络技术识别防护服的方法，基于人工智能深度学习进行算法模型定制，智能硬件与智慧软件平台相结合，设计一种研判科学化、工作智能化、业务数据化、数据一体化物联网解决方案来管理防护服穿脱消毒工作。利用YOLOV5深度学习神经网络技术,进行大规模行为动作数据识别训练，配合智能摄像头、统一软件管理平台实现防护服穿脱合规和消毒规范判断，智能硬件数据回传统一软件管理平台实时预警并警告，监测医护人员穿脱防护服是否合规，控制病毒传播的范围保障隔离人员、医护人员和工作服务人员安全，提高监管效率，降低监管成本，利用动作识别模型智能识别视频中医护人员是否正确穿脱防护服和消毒，减少了人工参与的工作量，并且检测、识别、报警一站式完成简化了整体流程。

附图说明

图1为本发明智能摄像头算法开发流程结构示意图；

图2为本发明识别穿脱防护服动作模型精确率与训练轮数关系图；

图3为本发明识别消毒操作动作模型精确率与训练轮数关系示意图

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：基于YOLOV5神经网络技术识别防护服的方法，包括以下步骤：

1)智能摄像头设置：在隔离酒店或其他隔离点根据现有的防疫要求划分出专用的隔离防护服消毒操作间或场地，将智能摄像头设置在隔离防护服消毒操作间或场内合适的安装点位上，所述智能摄像头的安装点位要求能够清洗完整的对场景中的图像进行拍摄；

2)图片数据筛选：装好点位后从监控视频中获取场景图象，使用python语言进行视频帧提取，筛选图片数据，使用labelimg标注工具对图像进行二分类标注，人物标签用0表示，其他用1表示，根据深度学习识别算法框架YOLOV5模型识别图像中的人物目标，并用矩形边框标识和输出，置信度损失函数和分类损失函数均使用的是BCEWithLogitsLoss,回归损失函数使用的是CIOU；

3)获取anchor框：根据iou距离利用Kmeans聚类算法获取YOLO V5所需的9个anchor框；

4)人物的动作进行分类识别并输出：识别出的人物的原始图像根据识别模型选中的矩形框坐标将人物裁剪出来，使用labelimg标注工具对图像进行八分类标注，标注后的文件使用python代码修改文件中的标签信息为五分类信息，穿防护服带面罩和正在消毒SaftyClothes-FaceMsak-Sanitizing、穿防护服未带面罩和正在消毒SaftyClothes-NoFaceMask-Sanitizing、未穿防护服但佩戴面罩和正在消毒NoSaftyClothes-FaceMsak-Sanitizing、未穿防护服未带面罩和正在消毒NoSaftyClothes-NoFaceMsak-Sanitizing、没有消毒No-Sanitizing，将重新修改标签后的数据放在resnet18分类模型中，对人物的动作进行分类识别并输出；

5)信息输出：分类输出后的动作识别信息回传给智慧软件平台并在前端显示。

所述智能摄像头的配置过程如下：首先利用摄像头采集医护人员穿脱防护服数据，包括正常穿脱防护服、佩戴护目镜、消毒操作的正样本和错误穿脱防护服、佩戴护目镜、消毒的负样本数据，正常穿脱防护服、佩戴护目镜、消毒操作的正样本和错误穿脱防护服、佩戴护目镜、消毒的负样本数据均设置多组，利用labelme标注工具进行图像数据标注处理并存储到数据库，之后利用该数据训练防护服穿脱合规识别模型，将训练好的模型部署在智能摄像头内，且模型训练的次数为300次，防护服穿脱动作和消毒动作识别模型是使用的YOLO v5,其中消毒动作识别是修改了YOLO v5模型的检测类别数量(由8类改为5类)并训练，防护服穿脱动作识别标注模型类别为：SaftyClothes-FaceMsak-Sanitizing、SaftyClothes-FaceMask-NoSanitizing、SaftyClothes-NoFaceMask-Sanitizing、SaftyClothes-NoFaceMask-NoSanitizing、NoSaftyClothes-FaceMsak-Sanitizing、NoSaftyClothes-FaceMsak-NoSanitizing、NoSaftyClothes-NoFaceMsak-Sanitizing、NoSaftyClothes-NoFaceMsak-NoSanitizing；所述消毒动作识别模型将类别由8类修改为5类具体为：SaftyClothes-FaceMsak-Sanitizing、SaftyClothes-NoFaceMask-Sanitizing、NoSaftyClothes-FaceMsak-Sanitizing、NoSaftyClothes-NoFaceMsak-Sanitizing、No-Sanitizing，所述智能摄像头与智慧软件平台网络连接将前端物理信息传输给智能软件平台，智能软件平台配置有可查看监控视频功能且具备实时报警异常行为功能。

智能摄像头算法开发流程如下：

1)在隔离酒店或其他隔离点根据现有的防疫要求划分出专用的隔离防护服消毒操作间或场地，将智能摄像头设置在隔离防护服消毒操作间或场内合适的安装点位上；

2)收集音频图像数据，使用python的Opencv框架中的Videocapture()函数进行视频抽帧，按照指定的动作标准筛选特征明显的图像，使用labelme标注工具标注图像数据，制定数据集；

3)将制定的好的数据存放在数据库，YOLOV5神经网络模型调用readme文件读取数据集进行推理、训练模型参数、迭代优化；

4)将算法部署在智能摄像头，智能摄像头前端再次收集图像信息作为测试集，动作识别模型推理判断测试数据集；

6)数据判定，若算法模型推理准确率达到0.95则符合标准进行下一步模型验证，若准确率不达标进行算法迭代，增加数据扩大数据集，迭代优化训练模型参数。

在隔离防护服消毒操作间或场地被的关键位点配置智能摄像头，首先利用摄像头采集医护人员穿脱防护服数据，包括正常穿脱防护服、佩戴护目镜、消毒操作的正样本和错误穿脱防护服、佩戴护目镜、消毒的负样本数据，正利用labelme标注工具进行数据预处理并存储到数据库，之后利用该数据训练防护服穿脱合规识别模型，将训练好的模型部署在智能摄像头；智能摄像头与智慧软件平台网络连接将前端物理信息传输给智能软件平台，当医护人员进入到隔离防护服消毒操作间或场地内后智能摄像头采集到人员进入的图像信息，随后开始对人员操作进行图像捕捉，智能软件平台有个可查看监控视频功能并且页面也实时报警异常行为并当场提示医护人员操作不当。

本发明的有益效果是：该基于YOLOV5神经网络技术识别防护服的方法，基于人工智能深度学习进行算法模型定制，智能硬件与智慧软件平台相结合，设计一种研判科学化、工作智能化、业务数据化、数据一体化物联网解决方案来管理防护服穿脱消毒工作。利用YOLOV5深度学习神经网络技术,进行大规模行为动作数据识别训练，配合智能摄像头、统一软件管理平台实现防护服穿脱合规和消毒规范判断，智能硬件数据回传统一软件管理平台实时预警并警告，监测医护人员穿脱防护服是否合规，控制病毒传播的范围保障隔离人员、医护人员和工作服务人员安全，提高监管效率，降低监管成本，利用动作识别模型智能识别视频中医护人员是否正确穿脱防护服和消毒，减少了人工参与的工作量，并且检测、识别、报警一站式完成简化了整体流程。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.基于YOLOV5神经网络技术识别防护服的方法，其特征在于，包括以下步骤：

1)智能摄像头设置：在隔离酒店或其他隔离点根据现有的防疫要求划分出专用的隔离防护服消毒操作间或场地，将智能摄像头设置在隔离防护服消毒操作间或场内合适的安装点位上；

2)图片数据筛选：装好点位后从监控视频中获取场景图象，使用python语言进行视频帧提取，筛选图片数据，使用labelimg标注工具对图像进行二分类标注，人物标签用0表示，其他用1表示，根据深度学习识别算法框架YOLOV5模型识别图像中的人物目标，并用矩形边框标识和输出，置信度损失函数和分类损失函数均使用的是BCEWithLogitsLoss，回归损失函数使用的是CIOU；

3)获取anchor框：根据iou距离利用Kmeans聚类算法获取YOLO V5所需的9个anchor框；

4)人物的动作进行分类识别并输出：识别出的人物的原始图像根据识别模型选中的矩形框坐标将人物裁剪出来，使用labelimg标注工具对图像进行八分类标注，标注后的文件使用python代码修改文件中的标签信息为五分类信息，穿防护服带面罩和正在消毒SaftyClothes-FaceMsak-Sanitizing、穿防护服未带面罩和正在消毒SaftyClothes-NoFaceMask-Sanitizing、未穿防护服但佩戴面罩和正在消毒NoSaftyClothes-FaceMsak-Sanitizing、未穿防护服未带面罩和正在消毒NoSaftyClothes-NoFaceMsak-Sanitizing、没有消毒No-Sanitizing，将重新修改标签后的数据放在resnet18分类模型中，对人物的动作进行分类识别并输出；

5)信息输出：分类输出后的动作识别信息回传给智慧软件平台并在前端显示。

2.根据权利要求1所述的基于YOLOV5神经网络技术识别防护服的方法，其特征在于，所述智能摄像头的安装点位要求能够清洗完整的对场景中的图像进行拍摄。

3.根据权利要求1所述的基于YOLOV5神经网络技术识别防护服的方法，其特征在于，所述智能摄像头的配置过程如下：利用摄像头采集医护人员穿脱防护服数据，包括正常穿脱防护服、佩戴护目镜、消毒操作的正样本和错误穿脱防护服、佩戴护目镜、消毒的负样本数据，正常穿脱防护服、佩戴护目镜、消毒操作的正样本和错误穿脱防护服、佩戴护目镜、消毒的负样本数据均设置多组，利用labelme标注工具进行图像数据标注处理并存储到数据库，之后利用该数据训练防护服穿脱合规识别模型，将训练好的模型部署在智能摄像头内，且模型训练的次数为300次。

4.根据权利要求3所述的基于YOLOV5神经网络技术识别防护服的方法，其特征在于，所述智能摄像头与智慧软件平台网络连接将前端物理信息传输给智能软件平台，智能软件平台配置有可查看监控视频功能且具备实时报警异常行为功能。

5.根据权利要求3所述的基于YOLOV5神经网络技术识别防护服的方法，其特征在于，防护服穿脱动作和消毒动作识别模型是使用的YOLO v5,其中消毒动作识别是修改了YOLO v5模型的检测类别数量(由8类改为5类)并训练，防护服穿脱动作识别标注模型类别为：SaftyClothes-FaceMsak-Sanitizing、SaftyClothes-FaceMask-NoSanitizing、SaftyClothes-NoFaceMask-Sanitizing、SaftyClothes-NoFaceMask-NoSanitizing、NoSaftyClothes-FaceMsak-Sanitizing、NoSaftyClothes-FaceMsak-NoSanitizing、NoSaftyClothes-NoFaceMsak-Sanitizing、NoSaftyClothes-NoFaceMsak-NoSanitizing；所述消毒动作识别模型将类别由8类修改为5类具体为：SaftyClothes-FaceMsak-Sanitizing、SaftyClothes-NoFaceMask-Sanitizing、NoSaftyClothes-FaceMsak-Sanitizing、NoSaftyClothes-NoFaceMsak-Sanitizing、No-Sanitizing。

6.根据权利要求5所述的基于YOLOV5神经网络技术识别防护服的方法，其特征在于，所述智能摄像头算法开发流程如下：

1)在隔离酒店或其他隔离点根据现有的防疫要求划分出专用的隔离防护服消毒操作间或场地，将智能摄像头设置在隔离防护服消毒操作间或场内合适的安装点位上；

2)收集音频图像数据，使用python的Opencv框架中的Videocapture()函数进行视频抽帧，按照指定的动作标准筛选特征明显的图像，使用labelme标注工具标注图像数据，制定数据集；

3)将制定的好的数据存放在数据库，YOLOV5神经网络模型调用readme文件读取数据集进行推理、训练模型参数、迭代优化；

4)将算法部署在智能摄像头，智能摄像头前端再次收集图像信息作为测试集，动作识别模型推理判断测试数据集；

6)数据判定，若算法模型推理准确率达到0.95则符合标准进行下一步模型验证，若准确率不达标进行算法迭代，增加数据扩大数据集，迭代优化训练模型参数。

Images