CN117237835A - 一种基于yolov7的货架安全自动检测方法及装置 - Google Patents
一种基于yolov7的货架安全自动检测方法及装置 Download PDFInfo
- Publication number
- CN117237835A CN117237835A CN202310115581.2A CN202310115581A CN117237835A CN 117237835 A CN117237835 A CN 117237835A CN 202310115581 A CN202310115581 A CN 202310115581A CN 117237835 A CN117237835 A CN 117237835A
- Authority
- CN
- China
- Prior art keywords
- data set
- yolov7
- training
- model
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 230000007547 defect Effects 0.000 claims abstract description 77
- 238000012549 training Methods 0.000 claims abstract description 60
- 230000007246 mechanism Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000002372 labelling Methods 0.000 claims abstract description 16
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000012795 verification Methods 0.000 claims abstract description 8
- 238000004519 manufacturing process Methods 0.000 claims abstract description 6
- 238000005286 illumination Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 230000002950 deficient Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 7
- 238000002360 preparation method Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 240000007651 Rubus glaucus Species 0.000 description 4
- 235000011034 Rubus glaucus Nutrition 0.000 description 4
- 235000009122 Rubus idaeus Nutrition 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000007847 structural defect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种基于yolov7的货架安全自动检测方法及装置，涉及检测技术领域。该方法包括：获取原始数据集。通过邻域方差建模机制对原始数据集进行处理后，对通过邻域方差建模机制获得的数据进行标注，形成标签，制成第一数据集。将第一数据集按照预设比例划分为训练集、验证集和测试集。将训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型。使用TensorRT引擎将机架结构缺陷识别模型进行转换并部署在NVIDIA Jetson Nano上，并通过apriltag定位技术对缺陷的机架进行定位，完成对托盘货架机构缺陷的精确、实时识别和定位，从而实现了货架安全缺陷的自动化检测与定位。
Description
技术领域
本发明涉及检测技术领域，具体而言，涉及一种基于yolov7的货架安全自动检测方法及装置。
背景技术
货架是仓库、配送中心和制造设施中必不可少的元素。当货物被装载到货架上时，货架内压力的累积可能会导致货架损坏，为了保证货架的安全运行以及货物保护和人员安全，在发现损坏的情况下，货架需要持续检查和及时维护。
目前，货架检验是由持证检验人员人工进行的，则存在因人为失误导致的作业停机时间、检验成本和漏损等问题，为了避免这些问题发生，现有技术对机架设置有两种方法，一种是聚合物支架，这种支架的成本较高。另一种是在每个货架腿上装一个传感器，这种方法不仅所需传感器的数量较多，而且传感器的灵敏度会受到距离的影响。
发明内容
本发明的目的在于提供一种基于yolov7的货架安全自动检测方法及装置，其能够以YOLOv7体系结构为核心，实现对货架安全自动检测与定位的目的。
本发明的实施例是这样实现的：
第一方面，本申请实施例提供一种基于yolov7的货架安全自动检测方法，其包括如下步骤：
获取原始数据集；
通过邻域方差建模机制对原始数据集进行处理后，对通过邻域方差建模机制获得的数据进行标注，形成标签，制成第一数据集；
将第一数据集按照预设比例划分为训练集、验证集和测试集；
将训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型；
使用TensorRT引擎将机架结构缺陷识别模型进行转换并部署在NVIDIA JetsonNano上；
获取待检测视频流，将待检测视频流输入至机架结构缺陷识别模型中，得到缺陷识别结果，并通过apriltag定位技术对缺陷的机架进行定位。
在本发明的一些实施例中，上述获取原始数据集的步骤包括：
搭建数据采集平台，对多个仓库的托盘货架进行视频录制，得到视频信息；
对视频信息进行分帧处理，获得机架静态图像；
通过设置子分类器对每帧机架静态图像进行筛选，滤掉不包含目标的帧图像，合成原始数据集。
在本发明的一些实施例中，上述将训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型的步骤之前，该方法还包括：
按照预设方法，对原YOLOv7网络中neck结构的MPConv模块进行改进；
对原YOLOv7网络中的head部位加入轻量化无参注意力机制simam注意力机制；
使用SIoU替换原YOLOv7网络中的CIoU。
在本发明的一些实施例中，上述通过邻域方差建模机制对原始数据集进行处理的步骤包括：
针对数据稀疏以及光照强度的变化，通过邻域方差建模机制，设置光照强度变化范围在预设变化范围内进行建模，得到不同光照强度的数据；
重复执行上述步骤，得到扩充后的数据集。
在本发明的一些实施例中，上述将训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型的步骤之后，该方法还包括：
将机架结构缺陷识别模型转换后，部署于嵌入式平台上。
在本发明的一些实施例中，上述将机架结构缺陷识别模型转换后，部署于嵌入式平台上的步骤包括：
获取并使用YOLOv7对应的转换模型程序，将Pytorch的pt文件转化成中间模型ONNX文件和wts文件；
在JestonNano上将中间模型ONNX文件和wts文件生成部署引擎，以完成部署。
在本发明的一些实施例中，上述对通过邻域方差建模机制获得的数据进行标注，形成标签，制成第一数据集的步骤包括：
采用标注工具LabelImg标注每张图片中的目标信息，形成标签并以yolo格式txt形式保存，制成第一数据集。
第二方面，本申请实施例提供一种基于yolov7的货架安全自动检测装置，其包括：
数据集制备模块，用于获取原始数据集；
数据集预处理模块，用于通过邻域方差建模机制对原始数据集进行处理后，对通过邻域方差建模机制获得的数据进行标注，形成标签，制成第一数据集；
数据集划分模块，用于将第一数据集按照预设比例划分为训练集、验证集和测试集；
模型训练模块，用于将训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型；
模型转换模块，用于使用TensorRT引擎将机架结构缺陷识别模型进行转换并部署在NVIDIA Jetson Nano上；
结构安全识别模块，用于获取待检测视频流，将待检测视频流输入至机架结构缺陷识别模型中，得到缺陷识别结果，并通过apriltag定位技术对缺陷的机架进行定位。
第三方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
相对于现有技术，本发明的实施例至少具有如下优点或有益效果：
本发明提出了一种基于yolov7的货架安全自动检测方法及装置，其包括如下步骤：获取原始数据集。通过邻域方差建模机制对原始数据集进行处理后，对通过邻域方差建模机制获得的数据进行标注，形成标签，制成第一数据集。从而通过构建光照模型进行数据扩充，实现了对数据集进行数据增强，不仅解决了光照引起的影响，也解决了数据稀疏问题。将第一数据集按照预设比例划分为训练集、验证集和测试集。将训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型，使用该模型可以检测相应类别的视频和图像。使用TensorRT引擎将机架结构缺陷识别模型进行转换并部署在NVIDIA JetsonNano上。获取待检测视频流，将待检测视频流输入至机架结构缺陷识别模型中，得到缺陷识别结果，并通过apriltag定位技术对缺陷的机架进行定位，完成对托盘货架机构缺陷的精确、实时识别和定位，从而实现了货架安全缺陷的自动化检测与定位。并且该方法通过改进的YOLOv7模型训练得到机架结构缺陷识别模型，可以在保证较高检测速率的同时，提高机架结构缺陷识别模型识别的精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种基于yolov7的货架安全自动检测方法的流程图；
图2为本发明实施例提供的一种机架结构缺陷检测流程；
图3为本发明实施例提供的一种改进YOLOv7算法网络结构图；
图4为本发明实施例提供的一种MPConv框架改进前后对比图；
图5为本发明实施例提供的一种SimAM原理图；
图6为本发明实施例提供的一种定义真实框BGT和预测框B之间的相关距离角度信息图；
图7为本发明实施例提供的一种TensorRT使用流程图；
图8为本发明实施例提供的一种装置放置策略图；
图9为本发明实施例提供的一种基于yolov7的货架安全自动检测装置的结构框图；
图10为本发明实施例提供的一种电子设备的示意性结构框图。
图标：110-数据集制备模块；120-数据集预处理模块；130-数据集划分模块；140-模型训练模块；150-模型转换模块；160-结构安全识别模块；101-存储器；102-处理器；103-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
实施例
请参照图1，图1所示为本发明实施例提供的一种基于yolov7的货架安全自动检测方法的流程图。本申请实施例提供一种基于yolov7的货架安全自动检测方法，其包括如下步骤：
S110：获取原始数据集；
S120：通过邻域方差建模机制对原始数据集进行处理后，对通过邻域方差建模机制获得的数据进行标注，形成标签，制成第一数据集；
具体的，考虑到光照的影响，将原始数据集通过邻域方差建模机制，生成有代表性的数据样本即第一数据集来解决数据稀缺问题，从而通过构建光照模型进行数据扩充，实现了对数据集进行数据增强，不仅解决了光照引起的影响，也解决了数据稀疏问题。
S130：将第一数据集按照预设比例划分为训练集、验证集和测试集；
S140：将训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型；
相比于其他YOLO系列模型，YOLOv7模型额外采用高效聚合网络、重参数化卷积、正负样本匹配策略、辅助头训练和模型缩放，使得模型对目标的特征提取能力得到了显著提升，对目标的识别精确率大大提高，但也导致识别速度较慢。所以选择一阶段YOLOV7网络为基础网络，实现货架安全的自动检测，通过损坏检测警报和创建损坏货架报告类互联叉车，进而来协助管理人员进行货架管理优化。
具体的，训练完成后得到针对该数据集类型的模型文件，使用该模型可以检测相应类别的视频和图像。
S150：使用TensorRT引擎将机架结构缺陷识别模型进行转换并部署在NVIDIAJetson Nano上；
具体的，训练得到的机架结构缺陷识别模型的模型文件为onnx格式，部署在设备上要转换为Engine模型。
S160：获取待检测视频流，将待检测视频流输入至机架结构缺陷识别模型中，得到缺陷识别结果，并通过apriltag定位技术对缺陷的机架进行定位。
具体的，通过机架结构缺陷识别模型对待检测视频流进行识别后，通过apriltag定位技术对缺陷的机架进行定位，完成对托盘货架机构缺陷的精确、实时识别和定位。
上述实现过程中，该方法对于数据稀疏以及光照强度的变化，通过邻域方差建模机制，设置光照强度变化范围在-11到+11％之间进行建模，实现亮度随机调整，得到不同光照强度的数据样本，将这些数据样本也放在数据集中进行训练，不仅解决了光照的影响，同时解决了数据稀疏的问题。多次重复上述步骤，得到扩充后的训练数据集。并将扩充后的数据集加入到改进的YOLOv7网络中进行训练，该YOLO算法采用CNN对目标进行端到端的检测，输入任意大小3通道RGB图片，图像缩放至640*640作为网络的输入。将扩充后的训练集中的数据分批次输入到backbone网络，经过连续的卷积操作通过上采样后再卷积，生成三种不同尺度的特征图，用来检测大中小目标。然后使用Neck网络，在三张特征图上的每一个网格处各预测出三个目标框，确定响应的位置和类别信息。训练完成后得到针对该数据集类型的模型文件，使用该模型可以检测相应类别的视频和图像。并通过apriltag定位技术对缺陷的机架进行定位，完成对托盘货架机构缺陷的精确、实时识别和定位，从而实现了货架安全缺陷的自动化检测与定位。并且该方法通过改进的YOLOv7模型训练得到机架结构缺陷识别模型，可以在保证较高检测速率的同时，提高机架结构缺陷识别模型识别的精度。
请参照图2，图2所示为本发明实施例提供的一种机架结构缺陷检测流程。该方法可适用于仓库或者快递机架安全结构图像检测，主要包括数据集制备、模型训练、模型转换、缺陷识别和缺陷定位5个部分。首先将采集的数据集进行基于限制对比度自适应直方图均衡化的增强，并对增强后的数据集进行标注。其次，将整个数据集按比例随机划分训练集和测试集。然后，将训练集导入改进的YOLOv7网络结构中，在服务器上训练得到结构缺陷识别模型。最后，使用TensorRT引擎将训练后的异物识别模型进行转换并部署在NVIDIAJetsonXavierNX上，并通过apriltag定位技术对缺陷的机架进行定位，完成对托盘货架机构缺陷的精确、实时识别和定位。
请参照图3，图3所示为本发明实施例提供的一种改进YOLOv7算法网络结构图。YOLOv7主要由Input、Backbone、Neck和Head等部分组成。在YOLOv7网络中，对neck中的MPConv模块进行改进，以减少网络特征处理过程造成的特征损失；Head结构中引入轻量化无参注意力机制simam注意力机制；最后，算法使用SIoU替换原YOLOv7网络模型中的CIoU以此来优化损失函数，减少损失函数自由度，提高网络鲁棒性。
请参照图4，图4所示为本发明实施例提供的一种MPConv框架改进前后对比图。MPConv模块上分支最大池化层后连接了一个k＝1，s＝1的卷积；下分支在k＝1，s＝1的卷积后连接一个k＝3，s＝2的卷积，当选择卷积核为3，步长为2的卷积时，卷积过程会造成一些细粒度的丢失，从而使得网络产生低效率的特征表示学习。为了避免这类由于步长为2的卷积对小目标网络所造成的特征缺失，现提出分离合并操作。具体是，对于一张含有S×S像素的图片而言，我们将其分离成4个S/2×S/2的子图，然后将4个子图按照通道进行拼接。经过分离合并后的特征再通过1×1卷积，就可以得到S/2×S/2×1大小的特征。改进后MPConv模块的右分支与改进前一样达到了特征图尺寸减半的目的，但操作过程中不会造成特征的缺失。
请参照图5，图5所示为本发明实施例提供的一种SimAM原理图。针对head部位，加入了注意力机制。相比于通道注意力机制和空间注意力机制，SimAM直接在网络层中推理出三维的注意力权重，在考虑空间和通道维度相关性的同时，不会增加多余的参数量；SimAM通过对异物的相邻神经元产生空间抑制，减少复杂背景对异物识别的干扰，凸显异物的关键特征，增强了提取异物关键特征的能力。
请参照图6，图6所示为本发明实施例提供的一种定义真实框BGT和预测框B之间的相关距离角度信息图。为了在有货物与货架相互遮挡的情况下，也能更好的检测出货架的情况，使用SIoU替换原YOLOv7网络模型中的CIoU以此来优化损失函数，减少损失函数自由度，提高网络鲁棒性。SIoU损失函数由4个Cost函数组成，分别是Anglecost、Distancecost、Shapecost、IoUcost；将角度成本纳入考虑，使用角度成本对距离重新进行描述，减少损失函数的总自由度。
请参照图7，图7所示为本发明实施例提供的一种TensorRT使用流程图。具体的，将上述改进的yolov7网络结构中训练得到的最优模型保存到权重文件之中，供后续检测任务。然后将改进的YOLOv7检测器部署到用于执行检测的树莓派上，将所得的最佳模型权重转换成可部署在嵌入式平台上的模型，部署在嵌入式人工智能模块Jeston Nano上。具体的部署步骤如下：首先使用YOLOv7官方提供的转换模型程序，将Pytorch的pt文件转化成中间模型ONNX文件与wts文件，之后在Jeston Nano上将中间模型ONNX文件与wts文件生成部署引擎，完成后即可完成部署。
具体的，部署训练好的模型用于仓库货架的实施检测，在移动平台执行任务时调用摄像头设备实时获取视频流，将视频帧进行处理；将读取的图像送入改进的YOLOv7检测器，执行货架缺陷检测；将检测到的结果，包括图像的位置和类别信息可视化并送回到树莓派中用于下一步的指示，如果检测到正在运行的货架有损坏，蜂鸣器就会调高，提醒司机注意检查损坏情况，同时还会向指定的工作人员发送电子邮件提醒，包括时间戳、损坏类型和损坏货架的图像。并且为了解决设备在移动过程中遇到输出图像模糊问题，引入高斯模糊技术。为了消除图像在采集过程中形成的误差，引入了移位分量，以形式表示以为因子：
otp＝(x,y)＝inp(M11 x+M12x+M13,M21x+M22y+M23)
在应用仿射变换之前，矩阵M被转换成一个数组，其中INP是输入图像，OTP是输出图像，M等于变换矩阵：
作为像素移位的结果，捕获由硬件设备的偏移引起的方差。然而，这种类型的处理消除了在少数情况下(当机架损坏位于图像边缘)的受损区域。为了更好地保存图像中的破损环，引入了基于中心的旋转。通常，图像相对于角度(θ)的旋转通过矩阵达到：
引入旋转图像中心其中Centre是旋转中心(输入图像)，θ是旋转角(度数)，Scale是各向同性比例因子：α＝scale·cosθ,β＝scale·sinθ。
请参照图8，图8所示为本发明实施例提供的一种装置放置策略图。本实施例所提供的一种基于货架结构缺陷图像检测装置可以通过软件和/或硬件来实现，可配置于服务器或者终端设备中来实现该基于yolov7的货架安全自动检测方法。该装置包括叉车本身、货架、NVIDIA Jetson、树莓派wifi模块、云服务器。可以将上述设备部署在叉车上，叉车上安装有可以调节的带磁性的支架，适用不同高度货架。设备不需要单独供电，直接从主机上供电，只需定期更换电池。设备选择树莓派，设备小，WiFi实现智能化基本组件，作为数据连接与传输的主要设备。如果检测到正在运行的货架有损坏，蜂鸣器就会调高，提醒司机注意检查损坏情况，同时还会向指定的工作人员发送电子邮件提醒，包括时间戳、损坏类型和损坏货架的图像。
在本实施例的一些实施方式中，该方法可以部署在嵌入式设备中，进而提高仓库安全性以及工作的稳定性。该方法对货架安全检测包含水平、垂直、支撑、垂直损伤和支撑损伤5个方面。
在本实施例的一些实施方式中，上述获取原始数据集的步骤包括：
搭建数据采集平台，对多个仓库的托盘货架进行视频录制，得到视频信息；
对视频信息进行分帧处理，获得机架静态图像；
通过设置子分类器对每帧机架静态图像进行筛选，滤掉不包含目标的帧图像，合成原始数据集。
具体的，搭建数据采集平台，在大型仓库或者物流公司对每个仓库的托盘货架进行视频录制，对视频信息进行分帧处理，进而获取机架静态图像。通过设置子分类器对每帧图像进行筛选，滤掉不包含目标的帧图像，合成原始数据集。
在本实施例的一些实施方式中，上述将训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型的步骤之前，该方法还包括：
按照预设方法，对原YOLOv7网络中neck结构的MPConv模块进行改进；
对原YOLOv7网络中的head部位加入轻量化无参注意力机制simam注意力机制；
使用SIoU替换原YOLOv7网络中的CIoU。
具体的，以原YOLOv7网络为基础，该方法对原网络中neck结构的MPConv模块进行改进，以减少网络特征处理过程造成的特征损失。在Head结构中引入轻量化无参注意力机制simam。最后，算法使用SIoU替换原YOLOv7网络模型中的CIoU以此来优化损失函数，减少损失函数自由度，提高网络鲁棒性。
其中，在原网络中的neck结构中的MPConv模块上分支最大池化层后连接了一个k＝1，s＝1的卷积；下分支在k＝1，s＝1的卷积后连接一个k＝3，s＝2的卷积，当选择卷积核为3，步长为2的卷积时，卷积过程会造成一些细粒度的丢失，从而使得网络产生低效率的特征表示学习。为了避免这类由于步长为2的卷积对小目标网络所造成的特征缺失，现提出分离合并操作。具体是，对于一张含有S×S像素的图片而言，将其分离成4个S/2×S/2的子图，然后将4个子图按照通道进行拼接。经过分离合并后的特征再通过1×1卷积，就可以得到S/2×S/2×1大小的特征。改进后MPConv模块的右分支与改进前一样达到了特征图尺寸减半的目的，但操作过程中不会造成特征的缺失。
对原网络中的head部位，加入了注意力机制。相比于通道注意力机制和空间注意力机制，SimAM直接在网络层中推理出三维的注意力权重，在考虑空间和通道维度相关性的同时，不会增加多余的参数量。
为了在有货物与货架相互遮挡的情况下，也能更好的检测出货架的情况，使用SIoU替换原YOLOv7网络模型中的CIoU以此来优化损失函数，减少损失函数自由度，提高网络鲁棒性，在保证较高检测速率的同时，提高了YOLO网络的精度。具有灵活、轻量和快速等优点。将角度成本纳入考虑，使用角度成本对距离重新进行描述，减少损失函数的总自由度，SIoU损失函数的最终定义：其中，角度计算成本/>如下：
其中距离成本代表了预测框与真实狂两框的中心点距离，距离成本Δ定义为：
其中形状成本Ω定义如下：
其中，ch为真实框和预测框中心点高度差，cw为真实框与预测框中心之间的宽度，σ为真实框与预测框与中心点之间的距离。真实框中心坐标，/>预测框中心坐标，(cw，ch)真实框与预测框的最小外接矩形的宽和高，(w,h)预测框的宽和高，(wgt，hgt)真实框的宽和高。
在本实施例的一些实施方式中，上述通过邻域方差建模机制对原始数据集进行处理的步骤包括：
针对数据稀疏以及光照强度的变化，通过邻域方差建模机制，设置光照强度变化范围在预设变化范围内进行建模，得到不同光照强度的数据；
重复执行上述步骤，得到扩充后的数据集。
具体的，对于数据稀疏以及光照强度的变化，通过邻域方差建模机制，设置光照强度变化范围在-11到+11％之间进行建模，实现亮度随机调整，得到不同光照强度的数据，将这些数据样本也放在数据集中进行训练，不仅解决了光照的影响，同时解决了数据稀疏的问题。多次重复上述步骤，可得到扩充后的训练数据集。
在本实施例的一些实施方式中，上述将训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型的步骤之后，该方法还包括：
将机架结构缺陷识别模型转换后，部署于嵌入式平台上。
具体的，将机架结构缺陷识别模型权重转换成可部署在嵌入式平台上的模型，并部署于嵌入式人工智能模块Jeston Nano上。
在本实施例的一些实施方式中，上述将机架结构缺陷识别模型转换后，部署于嵌入式平台上的步骤包括：
获取并使用YOLOv7对应的转换模型程序，将Pytorch的pt文件转化成中间模型ONNX文件和wts文件；
在JestonNano上将中间模型ONNX文件和wts文件生成部署引擎，以完成部署。
具体的，首先使用YOLOv7官方提供的转换模型程序，将Pytorch的pt文件转化成中间模型ONNX文件与wts文件，之后在JestonNano上将中间模型ONNX文件与wts文件生成部署引擎，完成后即可完成部署。
在本实施例的一些实施方式中，上述对通过邻域方差建模机制获得的数据进行标注，形成标签，制成第一数据集的步骤包括：
采用标注工具LabelImg标注每张图片中的目标信息，形成标签并以yolo格式txt形式保存，制成第一数据集。
请参照图9，图9所示为本发明实施例提供的一种基于yolov7的货架安全自动检测装置的结构框图。本申请实施例提供一种基于yolov7的货架安全自动检测装置，其包括：
数据集制备模块110，用于获取原始数据集；
数据集预处理模块120，用于通过邻域方差建模机制对原始数据集进行处理后，对通过邻域方差建模机制获得的数据进行标注，形成标签，制成第一数据集；
数据集划分模块130，用于将第一数据集按照预设比例划分为训练集、验证集和测试集；
模型训练模块140，用于将训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型；
模型转换模块150，用于使用TensorRT引擎将机架结构缺陷识别模型进行转换并部署在NVIDIA Jetson Nano上；
结构安全识别模块160，用于获取待检测视频流，将待检测视频流输入至机架结构缺陷识别模型中，得到缺陷识别结果，并通过apriltag定位技术对缺陷的机架进行定位。
上述实现过程中，该装置对于数据稀疏以及光照强度的变化，通过邻域方差建模机制，设置光照强度变化范围在-11到+11％之间进行建模，实现亮度随机调整，得到不同光照强度的数据样本，将这些数据样本也放在数据集中进行训练，不仅解决了光照的影响，同时解决了数据稀疏的问题。多次重复上述步骤，得到扩充后的训练数据集。并将扩充后的数据集加入到改进的YOLOv7网络中进行训练，该YOLO算法采用CNN对目标进行端到端的检测，输入任意大小3通道RGB图片，图像缩放至640*640作为网络的输入。将扩充后的训练集中的数据分批次输入到backbone网络，经过连续的卷积操作通过上采样后再卷积，生成三种不同尺度的特征图，用来检测大中小目标。然后使用Neck网络，在三张特征图上的每一个网格处各预测出三个目标框，确定响应的位置和类别信息。训练完成后得到针对该数据集类型的模型文件，使用该模型可以检测相应类别的视频和图像。并通过apriltag定位技术对缺陷的机架进行定位，完成对托盘货架机构缺陷的精确、实时识别和定位，从而实现了货架安全缺陷的自动化检测与定位。并且该装置通过改进的YOLOv7模型训练得到机架结构缺陷识别模型，可以在保证较高检测速率的同时，提高机架结构缺陷识别模型识别的精度。
请参照图10，图10为本申请实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，如本申请实施例所提供的一种基于yolov7的货架安全自动检测装置对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器101可以是但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(CentralProcessingUnit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，图10所示的结构仅为示意，电子设备还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。图10中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种基于yolov7的货架安全自动检测方法，其特征在于，包括如下步骤：
获取原始数据集；
通过邻域方差建模机制对所述原始数据集进行处理后，对通过邻域方差建模机制获得的数据进行标注，形成标签，制成第一数据集；
将所述第一数据集按照预设比例划分为训练集、验证集和测试集；
将所述训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型；
使用TensorRT引擎将所述机架结构缺陷识别模型进行转换并部署在NVIDIA JetsonNano上；
获取待检测视频流，将所述待检测视频流输入至所述机架结构缺陷识别模型中，得到缺陷识别结果，并通过apriltag定位技术对缺陷的机架进行定位。
2.根据权利要求1所述的基于yolov7的货架安全自动检测方法，其特征在于，所述获取原始数据集的步骤包括：
搭建数据采集平台，对多个仓库的托盘货架进行视频录制，得到视频信息；
对所述视频信息进行分帧处理，获得机架静态图像；
通过设置子分类器对每帧机架静态图像进行筛选，滤掉不包含目标的帧图像，合成原始数据集。
3.根据权利要求1所述的基于yolov7的货架安全自动检测方法，其特征在于，将所述训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型的步骤之前，还包括：
按照预设方法，对原YOLOv7网络中neck结构的MPConv模块进行改进；
对原YOLOv7网络中的head部位加入轻量化无参注意力机制simam注意力机制；
使用SIoU替换原YOLOv7网络中的CIoU。
4.根据权利要求1所述的基于yolov7的货架安全自动检测方法，其特征在于，所述通过邻域方差建模机制对所述原始数据集进行处理的步骤包括：
针对数据稀疏以及光照强度的变化，通过邻域方差建模机制，设置光照强度变化范围在预设变化范围内进行建模，得到不同光照强度的数据；
重复执行上述步骤，得到扩充后的数据集。
5.根据权利要求1所述的基于yolov7的货架安全自动检测方法，其特征在于，将所述训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型的步骤之后，还包括：
将所述机架结构缺陷识别模型转换后，部署于嵌入式平台上。
6.根据权利要求5所述的基于yolov7的货架安全自动检测方法，其特征在于，将所述机架结构缺陷识别模型转换后，部署于嵌入式平台上的步骤包括：
获取并使用YOLOv7对应的转换模型程序，将Pytorch的pt文件转化成中间模型ONNX文件和wts文件；
在JestonNano上将所述中间模型ONNX文件和所述wts文件生成部署引擎，以完成部署。
7.根据权利要求1所述的基于yolov7的货架安全自动检测方法，其特征在于，所述对通过邻域方差建模机制获得的数据进行标注，形成标签，制成第一数据集的步骤包括：
采用标注工具LabelImg标注每张图片中的目标信息，形成标签并以yolo格式txt形式保存，制成第一数据集。
8.一种基于yolov7的货架安全自动检测装置，其特征在于，包括：
数据集制备模块，用于获取原始数据集；
数据集预处理模块，用于通过邻域方差建模机制对所述原始数据集进行处理后，对通过邻域方差建模机制获得的数据进行标注，形成标签，制成第一数据集；
数据集划分模块，用于将所述第一数据集按照预设比例划分为训练集、验证集和测试集；
模型训练模块，用于将所述训练集导入改进的YOLOv7网络结构中，训练得到机架结构缺陷识别模型；
模型转换模块，用于使用TensorRT引擎将所述机架结构缺陷识别模型进行转换并部署在NVIDIA Jetson Nano上；
结构安全识别模块，用于获取待检测视频流，将所述待检测视频流输入至所述机架结构缺陷识别模型中，得到缺陷识别结果，并通过apriltag定位技术对缺陷的机架进行定位。
9.一种电子设备，其特征在于，包括：
存储器，用于存储一个或多个程序；
处理器；
当所述一个或多个程序被所述处理器执行时，实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310115581.2A CN117237835A (zh) | 2023-02-14 | 2023-02-14 | 一种基于yolov7的货架安全自动检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310115581.2A CN117237835A (zh) | 2023-02-14 | 2023-02-14 | 一种基于yolov7的货架安全自动检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237835A true CN117237835A (zh) | 2023-12-15 |
Family
ID=89095489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310115581.2A Pending CN117237835A (zh) | 2023-02-14 | 2023-02-14 | 一种基于yolov7的货架安全自动检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237835A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117807270A (zh) * | 2024-02-29 | 2024-04-02 | 中国人民解放军国防科技大学 | 基于新闻内容的视频推荐方法、装置、设备和存储介质 |
-
2023
- 2023-02-14 CN CN202310115581.2A patent/CN117237835A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117807270A (zh) * | 2024-02-29 | 2024-04-02 | 中国人民解放军国防科技大学 | 基于新闻内容的视频推荐方法、装置、设备和存储介质 |
| CN117807270B (zh) * | 2024-02-29 | 2024-05-07 | 中国人民解放军国防科技大学 | 基于新闻内容的视频推荐方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | A surface defect detection framework for glass bottle bottom using visual attention model and wavelet transform | |
| Gobert et al. | Application of supervised machine learning for defect detection during metallic powder bed fusion additive manufacturing using high resolution imaging. | |
| CN111325713A (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
| Akagic et al. | Pothole detection: An efficient vision based method using rgb color space image segmentation | |
| CN112733812B (zh) | 三维车道线检测方法、装置及存储介质 | |
| CN111507976B (zh) | 基于多角度成像的缺陷检测方法及系统 | |
| JP2016115331A (ja) | 識別器生成装置、識別器生成方法、良否判定装置、良否判定方法、プログラム | |
| CN111985466A (zh) | 一种集装箱危险品标志识别方法 | |
| JP2015041164A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN111695609A (zh) | 目标物损伤程度判定方法、装置、电子设备及存储介质 | |
| CN111652098A (zh) | 产品表面缺陷检测方法及装置 | |
| CN114022537B (zh) | 一种用于动态称重区域车辆装载率和偏载率分析方法 | |
| CN116052026B (zh) | 一种无人机航拍图像目标检测方法、系统及存储介质 | |
| CN117237835A (zh) | 一种基于yolov7的货架安全自动检测方法及装置 | |
| CN115775236A (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 | |
| CN117037132A (zh) | 一种基于机器视觉的船舶水尺读数检测和识别方法 | |
| CN116824335A (zh) | 一种基于YOLOv5改进算法的火灾预警方法及系统 | |
| JPH1173509A (ja) | 画像情報認識装置および画像情報認識方法 | |
| CN113255555A (zh) | 中国交通标志牌识别方法、系统、处理设备及存储介质 | |
| CN116245882A (zh) | 电路板电子元件检测方法、装置及计算机设备 | |
| US20230230224A1 (en) | Physics-informed anomaly detection in formed metal parts | |
| Kheder et al. | Transfer Learning Based Traffic Light Detection and Recognition Using CNN Inception-V3 Model | |
| CN112308061B (zh) | 一种车牌字符识别方法及装置 | |
| CN110349133B (zh) | 物体表面缺陷检测方法、装置 | |
| CN114399671A (zh) | 目标识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |