CN117152419A - 一种矿井架空乘人装置人员违规携带物品的检测方法及系统 - Google Patents
一种矿井架空乘人装置人员违规携带物品的检测方法及系统 Download PDFInfo
- Publication number
- CN117152419A CN117152419A CN202311313950.5A CN202311313950A CN117152419A CN 117152419 A CN117152419 A CN 117152419A CN 202311313950 A CN202311313950 A CN 202311313950A CN 117152419 A CN117152419 A CN 117152419A
- Authority
- CN
- China
- Prior art keywords
- information
- module
- illegal
- personnel
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 27
- 230000006399 behavior Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 230000003014 reinforcing effect Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 229910052500 inorganic mineral Inorganic materials 0.000 claims description 5
- 239000011707 mineral Substances 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000004821 distillation Methods 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 3
- 238000013499 data model Methods 0.000 claims description 2
- 230000008014 freezing Effects 0.000 claims description 2
- 238000007710 freezing Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 claims 2
- 238000012544 monitoring process Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 239000003245 coal Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种矿井架空乘人装置人员违规携带物品的检测方法及系统，首先使用主干特征提取模块和特征加强融合模块对物品特征进行收集，通过以YOLOv8m为教师模型、YOLOv8s为学生模型，对特征加强融合模块的输出添加知识蒸馏模块增强对信息的收集能力，再通过辅助信息加强模块对目标物品信息进行进一步检测，最后通过对定位网络和分类网络进行改进并且对YOLOv8的分类损失进行改进，加强定位与分类的准确性，分类之后的信息流传输到警报系统实现对违规产品的检测。加强对矿井架空乘人装置人员携带违规物品的检测能力。
Description
技术领域
本发明属于矿井违禁物品检测领域，具体涉及一种矿井架空乘人装置人员违规携带物品的检测方法及系统。
背景技术
矿架空乘人装置，是一种用于在矿井中进行人员运输的设备。它的主要用途是提供安全、高效的人员运输服务，以满足煤矿生产和作业需求，矿工在乘坐架空乘人装置的过程中，常存在违规携带超长、超宽甚至超重工具或者材料的情况发生，致使存在各种安全隐患，如不及时检测和识别报警，将会产生重大人员伤害事故。通过对矿工在乘坐架空乘人装置的过程中的违规携带物品进行检测一方面可以及时察觉到人员携带超长、超宽或超重工具的情况，并立即采取措施阻止其上车，助于避免人员伤亡事故的发生，保障乘坐人员和装置的安全，维护架空乘人装置的正常运行。另一方面，可以减少对架空乘人装置和相关设备的损坏风险，这有助于延长装置的使用寿命，降低维修成本，提高生产效率。
专利号为CN116310575A的一种基于卷积神经网络的连续太赫兹波违禁物品图像分类方法，然而，受到条件恶劣、能见度低、工作功率受限等限制因素影响，并不适用于矿井，其需要进行针对性调整或重新构建新模型。同时，传统的目标检测需要大量已标注的标签，这需要大量的人力资源和时间成本。大部分煤矿的应用环境和待检测目标并不全完相同，如果使用传统目标检测方法，则需要对每个煤矿都制作针对性标签，其成本则进而更加无可估量。目前，解决环境影响的各种方法中效果最好的网络为域自适应的目标检测，但是由于其固有的实时性差、计算量大和功率高等各种问题，在工业中并不适用。因此，如何针对矿井的特殊应用场景，综合考虑精度和速度，开发矿井专用的目标检测算法成为一个非常有意义和价值的课题。
发明内容
针对上述矿井架空乘人装置违规物品检测技术存在的问题以及需求，本发明提出了一种矿井架空乘人装置人员违规携带物品的检测方法及系统。YOLO系列是当前工业中使用最广的目标检测算法，其网络结构主要包括三个部分：主干特征提取层、特征加强融合层以及最后的检测分类层，本发明针对YOLO系列算法进行改进，在YOLO系列算法的基础上将已知装置的视觉特征通过文本语义等辅助信息迁移到难以获取的违规状态中，在对模型进行训练时本发明以YOLOv8m为教师模型、YOLOv8s为学生模型，对特征加强融合模块的输出添加知识蒸馏模块；其次，相较于传统网络，针对上下文信息在迁移学习中更加重要的特点，本发明以可扩张卷积和空洞卷积为基础，设计了一种上下文和细节感知模块，常规空洞卷积模块通常使用不同扩张率的三个卷积串联，以此得到上下文信息，本发明将三者串联更改为并联，并添加残差连接；再其次，在通过视觉和语义辅助信息增强模块对模型进行进一步的训练，实现对物品信息进一步划分；最后，对YOLOv8的分类损失进行改进：对投影矩阵进行针对性额外训练，将一对文本-图像对同时输入网络中，并计算它们在嵌入空间中的两个向量之间的距离，以其作为分类损失中的额外项。经上述步骤处理之后的信息流入报警系统，如若分类属于违规品则报警器报警。
一种矿井架空乘人装置人员违规携带物品的检测方法及系统，包括下列步骤：
步骤1：通过工业相机对矿井架空乘人装置待检测区域的图像信息进行收集，预处理后将工业相机收集到的信息传输到计算机进行进一步的处理，以YOLOv8m为教师模型、YOLOv8s为学生模型，作为主干提取模块，并将不同尺寸的特征输入不同规模的YOLOv8解耦检测头；
步骤2：以可扩张卷积和空洞卷积为基础，得到上下文和细节感知模块辅助模型自主学习重要的细节信息；
步骤3：将步骤2获得的信息通过辅助信息加强模块对已知矿产和未知的违规行为进行进一步分析，以此对物品进行进一步分类；
步骤4：将定位回归的网络结构进行冻结且不参与训练，完全使用原网络训练的参数和结构，将模型得到的信息进行定位；
步骤5：将步骤3得到的分类信息和步骤4得到的定位信息传输到警报系统，如果信息属于违规物品，则警报系统报警。
与现有的矿井架空乘人装置人员违规携带物品的检测方法及系统相比，本发明有以下改进和优点：
（1）受到条件恶劣、能见度低、工作功率受限等限制因素影响，很多常规目标检测算法并不适用于矿井，其需要进行针对性调整或重新构建新模型，本发明通过利用视觉信息外的辅助信息，可以提升目标检测模型的鲁棒性和适应力，将辅助信息加强网络和目标检测网络这两个不同的深度学习网络进行结合，来改善现今目标检测网络中普遍存在的缺陷，提升网络的性能。
（2）现有应用的网络泛化能力不够，如若没有大量的针对性标签，难以达到矿场和相关工业的要求，通过辅助信息来加强其鲁棒性能够大幅减少对大量的已标注标签的依赖，正是由于辅助信息能够加强网络的特征提取与强化，进而得到鲁棒性更强的网络，所以将辅助信息加强网络加入目标检测网络一起进行检测，相比于传统目标检测，能够大幅度提升目标检测网络在特定场景下的识别性能。
（3）现有检测技术中可以解决环境影响的各种方法中效果最好的网络为域自适应的目标检测，但是由于其固有的实时性差、计算量大和功率高等各种问题，在工业中并不适用，相较于相同运行速度的同类算法，本发明使用的知识蒸馏能大幅提升精度，使其满足相关工业的各项要求，同时，本发明将常规空洞卷积的串联结构更改为并联，并将其中的普通3×3卷积替换为可变形卷积，能够进一步获取上下文信息并提高模型的检测精度。
附图说明
图1为本发明实施例中系统及装置的示意图。
图2为本发明实施例中违规物品检测识别流程图。
图3为本发明实施例中主干特征提取模块和特征加强融合模块框架图。
图4为本发明实施例中蒸馏模块结构图。
图5为本发明实施例中上下文提取模块结构图。
图6为本发明实施例中辅助信息加强模块结构图。
图7为本发明实施例中分类模块结构图。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
本方法采用的检测装置及系统，参照图1，可知，本装置对信息收集处理的方法包括如下步骤：
步骤1.1：通过工业相机对矿井架空乘人装置进行图像收集，简单预处理后将信息流传入计算机；
步骤2.1：计算机接收信息流，并对预处理后的图像使用辅助信息加强检测网络进行目标检测，提出违规目标信息并将目标信息上传给警报系统；
步骤3.1：警报系统接收违规目标信息，并发出警告。
一种矿井架空乘人装置人员违规携带物品的检测方法及系统，参照图2、图3和图4可知，其检测方法包括如下步骤：
步骤2.1.1：计算机对工业相机收集的图像信息流经主干提前模块和特征加强模块进行处理，主干特征提取模块不同输出层中包含浅层特征和深层特征。其中，浅层的特征包含着丰富的纹理和细节信息。但是由于其卷积次数少，语义信息更低、噪声更多；深层的特征包含丰富的上下文和位置信息，但是其分辨率很低，对细节的感知能力较差。因此，通常采取特征加强融合模块来将二者融合，再将不同尺寸的特征输入不同规模的检测头。在YOLOv8中，不同版本的网络拥有不同层数的结构，进而导致它们的map和fps也各不相同。本发明以YOLOv8m为教师模型、YOLOv8s为学生模型，对特征加强融合模块的输出添加知识蒸馏模块，即使用一个较大的预训练模型YOLOv8m(教师模型)来引导训练一个较小的模型YOLOv8s(学生模型)，通过蒸馏模块，在检测时可以使用较小的参数量与运行代价实现更深网络的性能。
通过步骤2.1.1满足工程实践中低延迟、低功率等限制因素的要求，使用YOLOv8m为教师模型，指导学生模型YOLOv8s。通过这种方式，仅增加首次的训练成本来提高多次使用的效果与指标
参照图5，可知，本发明在对信息进行检测时还包括如下步骤：
步骤2.1.2：本发明以可扩张卷积和空洞卷积为基础，设计了一种上下文和细节感知模块。常规空洞卷积模块通常使用不同扩张率的三个卷积串联，以此得到上下文信息。本发明将三者串联更改为并联，并添加残差连接。同时，当扩张率为1时，空洞卷积等价于普通卷积。因此，本发明使用可变形卷积代替此普通卷积，以此来帮助模型自主学习重要的细节信息。为了使扩展卷积和可变形卷积在同一层面上获取信息，本发明将各分支同一位置的1×1卷积的权重共享，以此能够更好的获取各尺度上的有效信息。
通过步骤2.1.2，以串联的空洞卷积为基础，提出一个并联的结构，在共享卷积层权重的同时加入可变形卷积。以此进一步加强获得上下文信息和细节信息的能力，并以较小增加计算量为代价提高精度。
参照图6，可知，为了提高识别的精度和效率本发明还包括以下步骤：
步骤2.1.3：在对模型进行训练时本发明首先分别训练已知矿产的视觉特征与语义特征，并分别使用投影矩阵将其投影到CEmb维度的公共嵌入空间。其次，将未知的违规行为由已知行为的视觉信息和额外辅助信息线性表示，例如：皮带撕裂=皮带+裂缝。同时，将YOLOv8分类模块中的卷积层输出由Ccls更改为CEmb。最后，使用投影矩阵将所有待检测行为的语义向量投影到公共嵌入空间，并使用Softmax函数计算其与所有待检测行为类别的相似度，将相似度最高且大于阈值的行为类别赋作其类属，否则将其视为背景类。
具体来说，辅助信息加强模块的输入张量分别为（80，80，256）、（40，40，512）、（20，20，1024）。将它们的通道数统一使用1×1卷积压缩到256维，分别为（80，80，256）、（40，40，256）、（20，20，256），下文将其统一表述为（H，W，256）。随后通过解构检测头，得到双通道结构，它们分别负责分类与定位回归。在分类分支中，输入张量首先通过两个卷积模块，将通道数转变为公共嵌入层中统一的CEmb，得到对应的特征向量。此时，加入语义辅助加强信息，通过一个投影函数将语义信息投影到公共嵌入层统一的CEmb。最后，将输入图片在公共嵌入的特征向量与目标类别的语义投影计算余弦相似度，并通过Softmax得到分类概率。
通过步骤2.1.3，辅助信息加强网络通过训练文本-嵌入和视觉-嵌入两个投影矩阵，将传统目标检测中的大规模标注要求转化为文本语义要求。通过这种方法，在节省人力、时间资源的同时，无需待检测违规行为的任何视觉信息。更重要的是，其几乎无需任何提前准备，在拥有一个训练完备的模型后，只需更改待检测行为的文本语义描述即可，能够在短时间内投入使用。
参照图7，可知，在对信息进行定位分析时主要包括如下步骤：
步骤2.1.4：目标检测包含两个重要组成部分，分别为：类无关的定位网络与类有关的分类网络。定位网络与类别无关，因此在训练时，将定位回归的网络结构进行冻结且不参与训练，完全使用原网络训练的参数和结构。在分类网络中，遵循CLIP中提出的文本-图像对训练结构，基于大量成对的文本与图像分别训练文本-嵌入投影矩阵和图像-嵌入投影矩阵。同时，由于需检测的类是未经过训练的，需要首先使用CLIP官方推出的模型作为预训练模型，基于矿井中已标注类的文本-图像对作微调，并以文本-嵌入和视觉-嵌入分别在嵌入空间中的位置间距离作为损失函数。本发明采用L1范数，因为L1范数具有较强的鲁棒性。通过大量数据模型作预训练并针对矿井进行微调，文本-嵌入和图像-嵌入投影矩阵能够互相配合优化，并以此将能够识别的目标扩展到未标注的矿物上。值得注意的是，这种泛化方式在训练时没有将未标注类纳入训练范围，因此可以轻易地泛化到任何其他类别上。从而在面对时间紧急的任务时，只需使用文本-嵌入投影矩阵将语义投影到嵌入空间即可，因此可以在短时间内投入使用。
在检测新行为的类别时，将新行为类别的文本语义通过语义-嵌入投影矩阵投影到嵌入空间。同时将待检测图像中感兴趣的区域通过图像-嵌入投影矩阵投影到嵌入空间，得到视觉特征。再分别计算新行为的类别与待检测图像视觉特征的余弦相似度，并通过softmax函数计算最相似的类别，当结果高于阈值时，将其作为类属。
通过步骤2.1.4，通过添加辅助信息加强网络在目标检测网络中，并在训练时冻结主干网络和定位回归网络进一步节约成本。
除此之外，本发明对YOLOv8的损失函数进行了改进，具体包括如下步骤：
步骤2.1.5：YOLOv8的损失函数分别为:回归损失、分类损失、前背景损失，本发明尽可能最大化保留YOLOv8的原始结构，因此仅对其分类损失作出改进。对于全监督目标检测而言，分类损失仅需分配正负样本即可。但在本发明中，还需对投影矩阵进行针对性额外训练。本发明将一对文本-图像对同时输入网络中，并计算它们在嵌入空间中的两个向量之间的距离，以其作为分类损失中的额外项。
通过步骤2.1.5，可以提高分类准确性：分类损失是用来衡量物体的类别预测与真实标签之间的差异程度。通过改进分类损失的计算方法，可以提高模型对物体类别的准确性。这意味着模型能够更准确地将物体分为不同的类别，从而提高目标检测结果的准确性；
减少误分类：分类损失的改进可以降低模型对于背景或相似物体的误分类。传统的分类损失采用softmax函数作为激活函数，但在梯度反向传播过程中，可能会存在“hardnegative”样本（即难以分类的负样本），这些样本容易导致模型学习过于激进，将其错误地分类为正样本。改进分类损失可以减少这种误分类的情况，提高模型的鲁棒性；加强类别平衡性：在目标检测中，不同类别的目标数量可能不平衡，一些常见的类别可能比其他类别更容易被检测到。改进分类损失可以通过引入类别权重或采样策略，平衡不同类别的样本数量，使模型更公平地对待各个类别的目标，并提高对稀有类别的检测准确性；
提高模型的泛化能力：改进分类损失可以促使模型学习更具有泛化能力的特征表示。通过优化分类损失的计算方式，可以更好地引导模型学习具有判别性的特征，从而提高模型对不同类别目标的识别能力，并增强模型在未见样本上的泛化能力。
至此，本发明的整个流程结束，完成了一种矿井架空乘人装置人员违规携带物品的检测方法及系统的任务。各模块的实现步骤在对应部分均已详细描述，模型图以及发明流程图参见说明书附图部分。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。
Claims (8)
1.一种矿井架空乘人装置人员违规携带物品的检测方法，其特征在于：所述方法包括下列步骤：
步骤1：通过工业相机对矿井架空乘人装置待检测区域的图像信息进行收集，预处理后将工业相机收集到的信息传输到计算机进行进一步的处理，以YOLOv8m为教师模型、YOLOv8s为学生模型，作为主干提取模块，并将不同尺寸的特征输入不同规模的YOLOv8解耦检测头；
步骤2：以可扩张卷积和空洞卷积为基础，得到上下文和细节感知模块辅助模型自主学习重要的细节信息；
步骤3：将步骤2获得的信息通过辅助信息加强模块对已知矿产和未知的违规行为进行进一步分析，以此对物品进行进一步分类；
步骤4：将定位回归的网络结构进行冻结且不参与训练，完全使用原网络训练的参数和结构，将模型得到的信息进行定位；
步骤5：将步骤3得到的分类信息和步骤4得到的定位信息传输到警报系统，如果信息属于违规物品，则警报系统报警。
2.根据权利要求1所述的一种矿井架空乘人装置人员违规携带物品的检测方法，其特征在于：步骤1中以YOLOv8m为教师模型、YOLOv8s为学生模型，对特征加强融合模块的输出添加知识蒸馏模块，将主干特征提取模块的浅层特征和深层特征通过特征加强融合模块来将二者融合。
3.根据权利要求1所述的一种矿井架空乘人装置人员违规携带物品的检测方法，其特征在于：步骤2中，使用可变形卷积代替常规空洞卷积模块，辅助模型自主学习重要的细节信息并将各分支同一位置的1×1卷积的权重共享。
4.根据权利要求3所述的一种矿井架空乘人装置人员违规携带物品的检测方法，其特征在于：将常规空洞卷积模块的三个不同扩张率的卷积由串联更改为并联，添加残差连接。
5.根据权利要求1所述的一种矿井架空乘人装置人员违规携带物品的检测方法，其特征在于：在步骤3和步骤4中，在辅助信息加强模块训练时，首先分别训练已知矿产的视觉特征与语义特征，并分别使用投影矩阵将其投影到CEmb维度的公共嵌入空间；其次，将未知的违规行为由已知行为的视觉信息和额外辅助信息线性表示，同时将YOLOv8分类模块中的卷积层输出由CClS更改为CEmb；最后，使用投影矩阵将所有待检测行为的语义向量投影到公共嵌入空间，并使用Softmax函数计算其与所有待检测行为类别的相似度，将相似度最高且大于阈值的行为类别赋作其类属，否则将其视为背景类。
6.根据权利要求1所述的一种矿井架空乘人装置人员违规携带物品的检测方法，其特征在于：在步骤3中，遵循CLIP（深度学习模型）中提出的文本-图像对训练结构，基于大量成对的文本与图像分别训练文本-嵌入投影矩阵和图像-嵌入投影矩阵，使用CLIP（深度学习模型）作为预训练模型，基于矿井中已标注类的文本-图像对作微调，并以文本-嵌入和视觉-嵌入分别在嵌入空间中的位置间距离作为损失函数；采用L1范数用来辅助模型学习，通过大量数据模型作预训练并针对矿井进行微调，文本-嵌入和图像-嵌入投影矩阵能够互相配合优化。
7.根据权利要求1所述的一种矿井架空乘人装置人员违规携带物品的检测方法，其特征在于：在步骤5中，警报系统接收计算机处理之后的分类信息。
8.一种基于权利要求1-7中任一项所述的矿井架空乘人装置人员违规携带物品的检测方法的系统，其特征在于：包括：
图像信息收集模块，工业相机对矿井架空乘人装置进行监测用于获取矿井架空乘人装置的图像信息；
主干提取模块，用于对物品的主干进行收集；
特征加强融合模块，用于对物品的浅层特征和深层特征进行融合分析；
细节感知模块，用于对图像信息的信息进行进一步收集；
蒸馏模块，实现使用较小的参数量与运行代价实现更深网络的性能；
上下文提取模块，能够更好的获取各尺度上的有效信息；
辅助信息加强模块，将未知的违规行为由已知行为的视觉信息和额外辅助信息线性表示，进一步加强对违规行为及违规物的分析；
定位模块，用于对物品信息进行定位；
分类模块，用于将分析之后的物品信息进行分类；
输出模块，将定位分类之后的信息发送到警报器判断是否报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311313950.5A CN117152419B (zh) | 2023-10-11 | 2023-10-11 | 一种矿井架空乘人装置人员违规携带物品的检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311313950.5A CN117152419B (zh) | 2023-10-11 | 2023-10-11 | 一种矿井架空乘人装置人员违规携带物品的检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117152419A true CN117152419A (zh) | 2023-12-01 |
| CN117152419B CN117152419B (zh) | 2024-03-29 |
Family
ID=88900931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311313950.5A Active CN117152419B (zh) | 2023-10-11 | 2023-10-11 | 一种矿井架空乘人装置人员违规携带物品的检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152419B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536971A (zh) * | 2021-06-28 | 2021-10-22 | 中科苏州智能计算技术研究院 | 一种基于增量学习的目标检测方法 |
| CN113743256A (zh) * | 2021-08-17 | 2021-12-03 | 武汉大学 | 一种工地安全智能预警方法与装置 |
| CN113762166A (zh) * | 2021-09-09 | 2021-12-07 | 中国矿业大学 | 一种基于可穿戴式装备的小目标检测改善方法及系统 |
| CN114913452A (zh) * | 2022-04-20 | 2022-08-16 | 哈尔滨工业大学（深圳） | 一种基于办公场所的违规行为检测系统及方法 |
| CN114913606A (zh) * | 2022-06-17 | 2022-08-16 | 中国计量大学 | 一种基于yolo的深度学习的工业现场生产工作区域的违规检测方法 |
| CN115797881A (zh) * | 2022-12-26 | 2023-03-14 | 江苏大学 | 一种用于交通道路路面信息的多任务联合感知网络模型及检测方法 |
| CN115937774A (zh) * | 2022-12-06 | 2023-04-07 | 天津大学 | 一种基于特征融合和语义交互的安检违禁品检测方法 |
| CN116012601A (zh) * | 2023-01-16 | 2023-04-25 | 苏州大学 | 一种yolo_sr系统、用于扫地机器人的目标检测方法及装置 |
| US20230207064A1 (en) * | 2021-12-29 | 2023-06-29 | Illumina, Inc. | Inter-model prediction score recalibration during training |
| CN116452976A (zh) * | 2023-03-31 | 2023-07-18 | 四川航天电液控制有限公司 | 一种煤矿井下安全检测方法 |
| CN116740429A (zh) * | 2023-06-08 | 2023-09-12 | 哈尔滨工业大学 | 一种基于目标检测的云边协同危险物品自动检测识别与定位抓取方法及系统 |
-
2023
- 2023-10-11 CN CN202311313950.5A patent/CN117152419B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536971A (zh) * | 2021-06-28 | 2021-10-22 | 中科苏州智能计算技术研究院 | 一种基于增量学习的目标检测方法 |
| CN113743256A (zh) * | 2021-08-17 | 2021-12-03 | 武汉大学 | 一种工地安全智能预警方法与装置 |
| CN113762166A (zh) * | 2021-09-09 | 2021-12-07 | 中国矿业大学 | 一种基于可穿戴式装备的小目标检测改善方法及系统 |
| US20230207064A1 (en) * | 2021-12-29 | 2023-06-29 | Illumina, Inc. | Inter-model prediction score recalibration during training |
| CN114913452A (zh) * | 2022-04-20 | 2022-08-16 | 哈尔滨工业大学（深圳） | 一种基于办公场所的违规行为检测系统及方法 |
| CN114913606A (zh) * | 2022-06-17 | 2022-08-16 | 中国计量大学 | 一种基于yolo的深度学习的工业现场生产工作区域的违规检测方法 |
| CN115937774A (zh) * | 2022-12-06 | 2023-04-07 | 天津大学 | 一种基于特征融合和语义交互的安检违禁品检测方法 |
| CN115797881A (zh) * | 2022-12-26 | 2023-03-14 | 江苏大学 | 一种用于交通道路路面信息的多任务联合感知网络模型及检测方法 |
| CN116012601A (zh) * | 2023-01-16 | 2023-04-25 | 苏州大学 | 一种yolo_sr系统、用于扫地机器人的目标检测方法及装置 |
| CN116452976A (zh) * | 2023-03-31 | 2023-07-18 | 四川航天电液控制有限公司 | 一种煤矿井下安全检测方法 |
| CN116740429A (zh) * | 2023-06-08 | 2023-09-12 | 哈尔滨工业大学 | 一种基于目标检测的云边协同危险物品自动检测识别与定位抓取方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| JI WANG 等: "DAssd-Net: A Lightweight Steel Surface Defect Detection Model Based on Multi-Branch Dilated Convolution Aggregation and Multi-Domain Perception Detection Head", 《SENSORS》, vol. 23, no. 12 * |
| QIQI KOU 等: "Image Super-Resolution Based on Residual Attention and Multi-Scale Feature Fusion", 《IEEE ACCESS》, vol. 11 * |
| SAYDIRASULOV NORKOBIL SAYDIRASULOVICH 等: "An Improved Wildfire Smoke Detection Based on YOLOv8 and UAV Images", 《SENSORS》, vol. 23, no. 20 * |
| 程德强 等: "煤矿安全生产视频AI识别关键技术研究综述", 《煤炭科学技术》, vol. 51, no. 2 * |
| 韩江洪 等: "煤矿井下机车无人驾驶系统关键技术", 《煤炭学报》, vol. 45, no. 6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117152419B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Smolyakov et al. | Self-driving car steering angle prediction based on deep neural network an example of CarND udacity simulator | |
| CN110969166A (zh) | 一种巡检场景下小目标识别方法和系统 | |
| CN109977897A (zh) | 一种基于深度学习的船舶特征重识别方法、应用方法及系统 | |
| CN111127499A (zh) | 一种基于语义轮廓信息的安检图像刀具检测分割方法 | |
| CN110569843B (zh) | 一种矿井目标智能检测与识别方法 | |
| CN111680613B (zh) | 一种实时检测手扶电梯乘客摔倒行为的方法 | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| He et al. | Detection of foreign matter on high-speed train underbody based on deep learning | |
| CN113553906A (zh) | 基于类中心域对齐的判别无监督跨域行人重识别方法 | |
| CN114708518A (zh) | 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法 | |
| Hassan et al. | Road anomaly classification for low-cost road maintenance and route quality maps | |
| Güney et al. | An implementation of traffic signs and road objects detection using faster R-CNN | |
| Yu et al. | Identifying high risk driving scenarios utilizing a CNN-LSTM analysis approach | |
| CN116168356A (zh) | 一种基于计算机视觉的车辆损伤判别方法 | |
| CN117152419B (zh) | 一种矿井架空乘人装置人员违规携带物品的检测方法及系统 | |
| Chu et al. | Deep learning method to detect the road cracks and potholes for smart cities | |
| CN112269827B (zh) | 数据处理方法、装置、计算机设备及计算机可读存储介质 | |
| CN117423157A (zh) | 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法 | |
| CN112052881B (zh) | 基于多尺度近端特征拼接的高光谱图像分类模型的装置 | |
| CN112668535A (zh) | 基于YOLOv3模型的煤矿猴车违规检测与预警方法 | |
| Gao et al. | Molten metal hazards monitoring and early warning system based on convolutional neural network | |
| Gao et al. | A lightweight VK-net based on motion profiles for hazardous driving scenario identification | |
| CN118013234B (zh) | 基于多源异构大数据的重点车辆驾驶员画像智能生成系统 | |
| Loungani et al. | Vision Based Vehicle-Pedestrian Detection and Warning System | |
| Nwanze et al. | Modeling of Inter-Vehicle Accident Prevention and Control System Using Rule-Based Integrated Machine Learning Technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |