CN117351298A - 一种基于深度学习的矿山作业车辆检测方法及系统 - Google Patents
一种基于深度学习的矿山作业车辆检测方法及系统 Download PDFInfo
- Publication number
- CN117351298A CN117351298A CN202311139518.9A CN202311139518A CN117351298A CN 117351298 A CN117351298 A CN 117351298A CN 202311139518 A CN202311139518 A CN 202311139518A CN 117351298 A CN117351298 A CN 117351298A
- Authority
- CN
- China
- Prior art keywords
- module
- cbl
- branch
- output
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000013135 deep learning Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims abstract description 6
- 238000005065 mining Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- WSNMPAVSZJSIMT-UHFFFAOYSA-N COc1c(C)c2COC(=O)c2c(O)c1CC(O)C1(C)CCC(=O)O1 Chemical compound COc1c(C)c2COC(=O)c2c(O)c1CC(O)C1(C)CCC(=O)O1 WSNMPAVSZJSIMT-UHFFFAOYSA-N 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 101100441251 Arabidopsis thaliana CSP2 gene Proteins 0.000 claims description 3
- 101100222094 Arabidopsis thaliana CSP4 gene Proteins 0.000 claims description 3
- 102100027557 Calcipressin-1 Human genes 0.000 claims description 3
- 101100247605 Homo sapiens RCAN1 gene Proteins 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 101150064416 csp1 gene Proteins 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的矿山作业车辆检测方法及系统，包括：采集并标注矿山作业车辆检测数据集；构建并训练矿山作业车辆检测网络模型；利用训练好的所述矿山作业车辆检测网络模型实时检测作业车辆目标，自动根据检测结果，做出决策和警告，并将检测结果实时显示在监控界面上。本发明在YOLO v4网络中设计了卷积组合模块DCBL，降低了远距离跨层连接融合特征层次的差异，并通过使用深度可分离卷积来替换普通卷积的措施来提升系统的运行速度。
Description
技术领域
本发明涉及矿区自动驾驶技术领域，具体为一种基于深度学习的矿山作业车辆检测方法及系统。
背景技术
矿区环境具有地形复杂，障碍物复杂多样的特点，这给矿区自动驾驶的感知系统带来了挑战。为了确保矿车自动驾驶的安全性，要求矿车能够准确识别矿区道路中的障碍物，而其中对于车辆的识别是极为重要的，对车辆的误检容易造成交通事故，危害生命安全。因此，对车辆的准确检测是矿区无人驾驶基本安全保障，可以大大提升矿车无人驾驶的安全性。
对车辆检测算法的研究主要分为两类，一是传统检测方法，该类方法一般采用特征匹配和支持向量机方法对车辆进行检测，如HOG+SVM算法和DPM算法等，由于传统方法往往需要人工设计特征进行特征匹配，但是，由于不同任务所需特征不同，设计特征无法通用，且人为设计特征往往会存在疏漏，因此传统方法检测精度较低，且泛化能力差；二是深度学习方法，该类方法一般采用深度学习网络进行车辆检测，这类方法有单阶段(onestage)和两阶段(two stage)两类算法，单阶段以YOLO系列算法为代表，其特点是检测速度快，但目标检测精度稍差；两阶段以R-CNN系列算法为代表，其特点是检测速度慢，但目标检测精度高。考虑到矿山无人驾驶系统在实时性方面的要求，本专利在YOLO算法基础上进行结构优化，在保证系统运行速度的前提下提升YOLO算法的检测精度。
发明内容
鉴于上述存在的问题，提出了本发明。
因此，本发明解决的技术问题是：如何在矿区复杂的地形和多样的障碍物环境中，确保矿车自动驾驶的安全性，特别是准确地识别矿区道路中的车辆，以防止交通事故和保障生命安全。由于传统的车辆检测方法，如基于特征匹配和支持向量机的方法，存在检测精度低和泛化能力差的问题，而深度学习方法虽然精度高但实时性不足。因此，本发明的核心是在YOLO算法的基础上进行结构优化，旨在在保证系统实时性的前提下，提高车辆检测的精度，从而为矿区无人驾驶提供基本的安全保障。
为解决上述技术问题，本发明提供如下技术方案：一种基于深度学习的矿山作业车辆检测方法，包括：
采集并标注矿山作业车辆检测数据集；
构建并训练矿山作业车辆检测网络模型；
利用训练好的所述矿山作业车辆检测网络模型实时检测作业车辆目标，自动根据检测结果，做出决策和警告，并将检测结果实时显示在监控界面上。
作为本发明所述的基于深度学习的矿山作业车辆检测方法的一种优选方案，其中：所述数据集包括，在不同矿区的不同时间段使用工业相机对作业车辆的图像进行采集，利用采集到的数据制作数据集；标注车辆位置和类别，按照9:1的比例将数据集中的图像划分为训练集和测试集。
作为本发明所述的基于深度学习的矿山作业车辆检测方法的一种优选方案，其中：所述练矿山作业车辆检测网络模型包括，由主干网络、颈部网络和预测网络构成；
所述主干网络包括，对输入图像进行特征提取，输出不同层次的特征供后续颈部网络进行融合；
输入图像进入所述主干网络后，传递到CBM模块进行初步处理，所述CBM模块由一个标准卷积层、一个批标准化层和一个Mish激活函数层顺序连接组成；经所述CBM模块处理后的特征会进入CSP网络；
所述CSP网络包括，由一个CSP1模块、一个CSP2模块、两个CSP8模块和一个CSP4模块顺序连接组成；
所述CSP网络后依次连接着一个由3个CBL模块构成的CBL组合结构1、一个SPP模块和一个由3个CBL模块构成的CBL组合结构2；
其中，CBL模块由一个标准卷积层、一个批归一化层和一个Leaky relu激活函数层顺序连接组成；
SPP模块由三支大小分别为3*3、5*5和7*7的最大池化支路和一条捷径连接支路合并融合而成，通过不同大小池化层的并联结构能够在不同尺度上对同一特征图提取到的显著信息进行集合，使提取到的特征信息更具有代表性，特征表达更准确；
所述主干网络为后续的网络结构提供了三个特征输出节点，第一个输出节点位于第一个CSP8模块之后，第二个输出节点位于二个CSP8模块之后，第三个输出节点位于CBL组合结构2之后，每个输出节点分别可以为两条支路提供特征输入。
作为本发明所述的基于深度学习的矿山作业车辆检测方法的一种优选方案，其中：所述颈部网络包括，由四个合并结构组成，分别被称为合并结构一、合并结构二、合并结构三和合并结构四，每个合并结构均为两条并行支路进行合并融合的基础架构；
所述合并结构一的第一条支路的输入特征来源于主干网络节点三的输出特征，第二条支路的输入来源于主干网络节点二的输出特征；
节点三输出特征进入合并结构一的第一条支路后，依次被一个CBL模块和一个上采样处理；
同时，节点二输出特征进入合并结构一的第二条支路，所述第二条支路由一个DCBL模块和一个CBL模块组成；
所述DCBL模块结构由CBL模块、DBL模块和CBL模块顺序连接构成的支路和一条捷径连接支路进行相加融合而成，其中DBL模块由一层深度可分离卷积层、一层批标准化层和Leakyrelu激活函数层顺序连接而成。
作为本发明所述的基于深度学习的矿山作业车辆检测方法的一种优选方案，其中：所述合并结构二包括，第一条支路承接合并结构一的输出，而后分别由一个CBL模块和一个上采样层组成对输入进行特征提取和尺寸变换处理，合并结构二的第二条支路的输入来源于主干网络节点一的输出特征，第二条支路由两个DCBL组合模块和一个CBL模块组成；
两条支路对输入特征进行处理将输出特征传递到融合模块进行合并融合，融合特征被由5个CBL模块组成的CBL组合结构4进行深层特征提取，CBL组合结构4的输出特征的位置为第五个输出节点，第五个输出节点一路为合并结构三的第一条支路提供特征输入、另一路则作为预测网络支路一的输入；
所述合并结构三的第一条支路承接合并结构二的输出，然后利用一个CBL模块对输入信息进行处理；合并结构三的第二条支路的输入来源于节点四的输出特征，然后第二条支路利用一个DCBL组合模块对输入信息进行特征提取；而后两条支路的输出特征传递到融合模块进行合并融合，然后融合特征被由5个CBL模块组成的CBL组合结构5进行进一步的深层特征提取，CBL组合结构5的输出特征的位置为第六个输出节点，节点六一路为合并结构四的第一条支路提供特征输入、另一路则作为预测网络支路二的输入；
所述合并结构四的第一条支路承接合并结构三的输出，然后利用一个CBL模块对输入信息进行处理；合并结构四的第二条支路的输入来源于节点三的输出特征，第二条支路由三个DCBL组合模块顺序连接而成；当两条支路完成对输出特征的处理后将输出特征传递到融合模块进行合并融合，然后融合特征被由5个CBL模块组成的CBL组合结构6进行进一步的深层特征提取，CBL组合结构6的输出特征作为预测网络支路三的输入。
作为本发明所述的基于深度学习的矿山作业车辆检测方法的一种优选方案，其中：所述预测网络包括，由CBL模块和Conv模块顺序连接构成的三个支路进行加法融合形成的；
三个支路分别接收来自颈部网络的输入特征，而后依次被传递到CBL模块和Conv模块进行处理，经所述预测网络三个支路处理后生成三个输出特征，对三个输出特征进行元素级的加法运算，实现特征融合，获得的融合特征即是最终的预测结果。
作为本发明所述的基于深度学习的矿山作业车辆检测方法的一种优选方案，其中：所述实时检测作业车辆目标，包括，
将训练好的矿山作业车辆检测模型部署到一个适当的计算平台上，对模型的输出结果进行后处理；
根据检测结果，做出相应的决策或警告，并将检测结果实时显示在监控界面上；
收集矿山作业中车辆数据，并用新数据对模型进行训练，利用实际应用中的反馈，优化和调整模型参数，适应矿山环境的变化和新的工况需求。
第二方面，本发明还提供了基于深度学习的矿山作业车辆检测系统，包括，数据采集与标注模块：负责采集矿山作业车辆的图像数据，并利用标注软件对车辆位置和类别进行手动标注；
网络模型构建与训练模块：根据标注的数据集，构建并训练矿山作业车辆检测网络模型；
实时检测模块：利用训练好的检测模型，对实时采集的矿山作业车辆图像进行目标检测。
第三方面，本发明还提供了一种计算设备，包括：存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现所述基于深度学习的矿山作业车辆检测方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现所述基于深度学习的矿山作业车辆检测方法的步骤。
本发明的有益效果：本发明所提出的方法在不同矿山场景中可以实现对作业车辆的精准检测。本发明在YOLO v4网络中设计了卷积组合模块DCBL，降低了远距离跨层连接融合特征层次的差异，并通过使用深度可分离卷积来替换普通卷积的措施来提升系统的运行速度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例提供的一种基于深度学习的矿山作业车辆检测方法的整体流程图；
图2为本发明第一个实施例提供的一种基于深度学习的矿山作业车辆检测方法的网络模型结构图；
图3为本发明第一个实施例提供的一种基于深度学习的矿山作业车辆检测方法的CBM模块的结构图；
图4为本发明第一个实施例提供的一种基于深度学习的矿山作业车辆检测方法的CBL模块的结构图；
图5为本发明第一个实施例提供的一种基于深度学习的矿山作业车辆检测方法的DBL模块的结构图；
图6为本发明第一个实施例提供的一种基于深度学习的矿山作业车辆检测方法的DCBL模块的结构图；
图7为本发明第一个实施例提供的一种基于深度学习的矿山作业车辆检测方法的CSPX模块的结构图；
图8为本发明第一个实施例提供的一种基于深度学习的矿山作业车辆检测方法的Res unit模块的结构图；
图9为本发明第一个实施例提供的一种基于深度学习的矿山作业车辆检测方法的空间金字塔池化模块SPP的结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1，为本发明的一个实施例，提供了一种基于深度学习的矿山作业车辆检测方法，包括：
S1：采集并标注矿山作业车辆数据集。
在不同矿区的不同时间段使用工业相机对作业车辆的图像进行采集，利用采集到的数据制作数据集；利用标注软件手动标注车辆位置和类别，按照9:1的比例将数据集中的图像划分为训练集和测试集。
应说明的是，9:1的数据划分策略是为了确保模型在训练时有足够的数据进行学习，同时也为模型的性能评估提供了一个独立的测试集。针对不同的场景和工况，这种划分策略可能会有所调整。例如，当数据量非常大时，可能会选择一个更小的测试集，如95:5的比例，因为即使5％的数据也足够评估模型的性能。另外，如果数据中的某些类别样本很少，可能会采用分层采样来确保训练和测试集中都有均衡的类别分布。在时间序列或有时间依赖性的数据中，按时间顺序划分数据更为合适。总之，数据划分策略应根据具体的应用需求和数据特性来确定，以确保模型的鲁棒性和泛化能力。
S2：构建矿山作业车辆检测网络模型并对模型进行训练。
矿山作业车辆检测网络由主干、颈部和预测三部分构成，如图1所示。
主干网络对输入图像进行特征提取，输出不同层次的特征供后续颈部网络进行融合。
输入图像进入主干网络后，首先被传递到CBM模块进行初步处理，该模块由一个标准卷积层(Conv)、一个批标准化层(Bn)和一个Mish激活函数层顺序连接组成，如图2所示；经CBM模块处理后的特征会进入CSP网络，CSP网络由一个CSP1模块、一个CSP2模块、两个CSP8模块和一个CSP4模块顺序连接组成。CSPX(X＝1,2,4,8)模块的结构如图6所示，CSPX模块中X代表该模块结构中包含Res unit的个数，Res unit的结构如图7所示。
CSP网络后依次连接着一个由3个CBL模块构成的CBL组合结构1、一个SPP模块和一个由3个CBL模块构成的CBL组合结构2。其中，CBL模块由一个标准卷积层(Conv)、一个批归一化层(Bn)和一个Leaky relu激活函数层顺序连接组成，如图3所示；SPP模块由三支大小分别为3*3、5*5和7*7的最大池化支路和一条捷径连接支路合并融合而成，通过不同大小池化层的并联结构能够在不同尺度上对同一特征图提取到的显著信息进行集合，使提取到的特征信息更具有代表性，特征表达更准确，如图8所示。
进一步的，3x3、5x5和7x7这三种尺度，这主要是基于实验经验和实际应用中的效果。这三种尺度的组合在许多任务中都表现出了很好的效果。当然，根据不同的应用和数据集，可能会有其他的尺度组合。
主干网络为后续的网络结构提供了三个特征输出节点，第一个输出节点(节点一)位于第一个CSP8模块之后，第二个输出节点(节点二)位于二个CSP8模块之后，第三个输出节点(节点三)位于CBL组合结构2之后，如图1所示，每个输出节点分别可以为两条支路提供特征输入。
颈部网络由四个合并结构组成，负责对不同层次的特征信息进行合并融合，为预测网络提供特征输入。
颈部网络的四个合并结构分别被称为合并结构一、合并结构二、合并结构三和合并结构四，每个合并结构均为两条并行支路进行合并融合的基础架构。
合并结构一的第一条支路的输入特征来源于主干网络节点三的输出特征，第二条支路的输入来源于主干网络节点二的输出特征。节点三输出特征进入合并结构一的第一条支路后，依次被一个CBL模块和一个上采样(双线性插值)处理；与此同时，节点二输出特征进入合并结构一的第二条支路，该支路由一个DCBL模块和一个CBL模块组成。DCBL组合结构由一条由CBL模块、DBL模块和CBL模块顺序连接构成的支路和一条捷径连接支路进行相加融合而成，其中DBL模块由一层深度可分离卷积层(DW conv)、一层批标准化层(Bn)和Leakyrelu激活函数层顺序连接而成。DBL模块和CBL模块的差别在于卷积层的不同，与标准卷积相比，可分离卷积参数量更少，因此本发明提出DBL模块，利用该模块设计DCBL组合结构，该结构的运用有利于提升算法的实时性能。合并结构一的两条支路计算处理后的输出特征会被传递到融合模块(Concat)进行合并融合，然后融合特征被由5个CBL模块组成的CBL组合结构3进行进一步的深层特征提取，CBL组合结构3的输出特征的位置为第四个输出节点(节点四)，节点四一路为合并结构二的第一条支路提供特征输入、另一路则充当合并结构三第二条支路的输入。
合并结构二的第一条支路承接合并结构一的输出，而后分别由一个CBL模块和一个上采样层组成对输入进行特征提取和尺寸变换处理，合并结构二的第二条支路的输入来源于主干网络节点一的输出特征，第二条支路由两个DCBL组合模块和一个CBL模块组成。两条支路对输入特征进行处理将输出特征传递到融合模块(Concat)进行合并融合，然后融合特征被由5个CBL模块组成的CBL组合结构4进行进一步的深层特征提取，CBL组合结构4的输出特征的位置为第五个输出节点(节点五)，节点五一路为合并结构三的第一条支路提供特征输入、另一路则作为预测网络支路一的输入。
合并结构三的第一条支路承接合并结构二的输出，然后利用一个CBL模块对输入信息进行处理；合并结构三的第二条支路的输入来源于节点四的输出特征，然后第二条支路利用一个DCBL组合模块对输入信息进行特征提取；而后两条支路的输出特征传递到融合模块(Concat)进行合并融合，然后融合特征被由5个CBL模块组成的CBL组合结构5进行进一步的深层特征提取，CBL组合结构5的输出特征的位置为第六个输出节点(节点六)，节点六一路为合并结构四的第一条支路提供特征输入、另一路则作为预测网络支路二的输入。
合并结构四的第一条支路承接合并结构三的输出，然后利用一个CBL模块对输入信息进行处理；合并结构四的第二条支路的输入来源于节点三的输出特征，第二条支路由三个DCBL组合模块顺序连接而成；当两条支路完成对输出特征的处理后将输出特征传递到融合模块(Concat)进行合并融合，然后融合特征被由5个CBL模块组成的CBL组合结构6进行进一步的深层特征提取，CBL组合结构6的输出特征作为预测网络支路三的输入。
预测网络由三个支路构成，负责对颈部网络输入的融合特征进行提纯和预测，并输出预测结果。
预测网络是由CBL模块和Conv模块顺序连接构成的三个支路进行加法融合形成的。三个支路分别接收来自颈部网络的输入特征，而后依次被传递到CBL模块和Conv模块进行处理，经预测网络三个支路处理后生成三个输出特征，对三个输出特征进行元素级的加法运算，实现特征融合，获得的融合特征即是最终的预测结果。
进一步的，假设颈部网络合并结构二、合并结构三和合并结构四输出给预测网络的特征分别为x1、x2和x3，那么预测网络输出的检测结果y为：
其中，xn为代表预测网络第n个支路结构的输入，Fn为预测网络第n个支路的CBL结构函数,其中k代表卷积层的卷积核大小，p代表卷积的padding填充，s代表卷积的步长，a是leak系数，一般取值为-0.01。Cn为预测网络第n个支路的Conv卷积层函数，其中k代表卷积层的卷积核大小，p代表卷积的padding填充，s代表卷积的步长。支路一CBL中的卷积层的卷积核大小为3*3，通道数为256。支路一Conv卷积层的卷积核大小为1*1；支路二CBL中的卷积层的卷积核大小为3*3，通道数为512。支路二Conv卷积层的卷积核大小为1*1；支路三CBL中的卷积层的卷积核大小为3*3，通道数为1024。支路三Conv卷积层的卷积核大小为1*1。
S3：利用训练好的所述矿山作业车辆检测网络模型实时检测作业车辆目标，自动根据检测结果，做出决策和警告，并将检测结果实时显示在监控界面上。
将训练好的矿山作业车辆检测模型部署到一个适当的计算平台上，如服务器、边缘计算设备或矿车上的嵌入式系统。
为了确保实时性，选择的计算平台应具有足够的计算能力，如高性能GPU或专用AI芯片。
使用工业相机或其他图像采集设备实时捕获矿山作业区域的图像或视频流。
对捕获的图像进行必要的预处理，如调整分辨率、归一化、颜色校正等，使其符合模型的输入要求。
将预处理后的图像数据输入到部署好的检测模型中。
模型将分析图像中的内容，并识别出作业车辆的位置、形状和其他相关属性。
根据模型的输出，生成边界框或其他标记来指示检测到的车辆位置。
对模型的输出结果进行后处理，如非极大值抑制(NMS)以消除重复的检测结果。
根据检测结果，可以做出相应的决策或警告，如警告驾驶员避免与其他车辆碰撞、自动控制车辆避让等。
将检测结果实时显示在监控界面上，如在视频流上叠加边界框、车辆信息等。
如果系统检测到可能的碰撞或其他危险情况，可以通过声音、灯光或其他方式向操作员发出警告。
在实际应用中，可以收集更多的矿山作业车辆数据，并定期用这些新数据对模型进行微调或重新训练，以提高模型的检测性能。
利用实际应用中的反馈，不断优化和调整模型参数，以适应矿山环境的变化和新的工况需求。
通过相机实时获取的矿区路面数据，经过检测模型的前向推理，实现对作业车辆的有效检测。
本实施例还提供一种计算设备，包括，存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的实现基于深度学习的矿山作业车辆检测方法。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的基于深度学习的矿山作业车辆检测方法。
本实施例提出的存储介质与上述实施例提出的基于深度学习的矿山作业车辆检测方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(ReadOnly，Memory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
实施例2
为本发明的一个实施例，提供了一种基于深度学习的矿山作业车辆检测方法，为了验证本发明的有益效果，通过经济效益计算和仿真实验进行科学论证。
经过实验证明，与YOLO v4算法相比，本发明在矿山数据集上的检测性能具有明显的提升。为了进行这一比较，我们首先在同一矿山数据集上对YOLO v4算法进行了训练和测试。该数据集包含了多种矿山环境下的车辆图像，涵盖了不同的天气、光照和地形条件，确保了测试的公正性和全面性。
如表1所示，YOLO v4在矿山数据集上的mAP为67.82，而本发明的算法在同一数据集上的mAP达到了73.29，提升了约5.47个百分点。
表1数据对比表
| 算法 | 数据集 | mAP |
| YOLOv4 | 矿山数据集 | 67.82 |
| 本发明 | 矿山数据集 | 73.29 |
此外，为了进一步验证本发明的优越性，我们还对检测速度、实时性和资源消耗进行了评估。结果显示，本发明在保持与YOLO v4相近的检测速度的同时，实现了更高的检测精度。此外，本发明的算法结构优化也使得模型的参数量和计算量都得到了一定程度的减少，从而更适合于矿山这种对实时性要求较高的应用场景。
综上所述，本发明不仅在检测精度上超越了YOLO v4，而且在实时性和资源效率上也表现出色，充分满足了矿山无人驾驶的实际需求。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于深度学习的矿山作业车辆检测方法，其特征在于，包括：
采集并标注矿山作业车辆检测数据集；
构建并训练矿山作业车辆检测网络模型；
利用训练好的所述矿山作业车辆检测网络模型实时检测作业车辆目标，自动根据检测结果，做出决策和警告，并将检测结果实时显示在监控界面上。
2.如权利要求1所述的基于深度学习的矿山作业车辆检测方法，其特征在于：所述数据集包括，在不同矿区的不同时间段使用工业相机对作业车辆的图像进行采集，利用采集到的数据制作数据集；标注车辆位置和类别，按照9:1的比例将数据集中的图像划分为训练集和测试集。
3.如权利要求2所述的基于深度学习的矿山作业车辆检测方法，其特征在于：所述练矿山作业车辆检测网络模型包括，由主干网络、颈部网络和预测网络构成；
所述主干网络包括，对输入图像进行特征提取，输出不同层次的特征供后续颈部网络进行融合；
输入图像进入所述主干网络后，传递到CBM模块进行处理，所述CBM模块由一个标准卷积层、一个批标准化层和一个Mish激活函数层顺序连接组成；经所述CBM模块处理后的特征会进入CSP网络。
4.如权利要求3所述的基于深度学习的矿山作业车辆检测方法，其特征在于：所述CSP网络包括，由一个CSP1模块、一个CSP2模块、两个CSP8模块和一个CSP4模块顺序连接组成；
所述CSP网络后依次连接着一个由3个CBL模块构成的CBL组合结构1、一个SPP模块和一个由3个CBL模块构成的CBL组合结构2；
其中，CBL模块由一个标准卷积层、一个批归一化层和一个Leaky relu激活函数层顺序连接组成；
SPP模块由三支大小分别为3*3、5*5和7*7的最大池化支路和一条捷径连接支路合并融合而成，通过不同大小池化层的并联结构在不同尺度上对同一特征图提取到的信息进行集合；
所述主干网络为网络结构提供了三个特征输出节点，第一个输出节点位于第一个CSP8模块之后，第二个输出节点位于二个CSP8模块之后，第三个输出节点位于CBL组合结构2之后，每个输出节点分别能够为两条支路提供特征输入。
5.如权利要求4所述的基于深度学习的矿山作业车辆检测方法，其特征在于：所述颈部网络包括，由四个合并结构组成，分别被称为合并结构一、合并结构二、合并结构三和合并结构四，每个合并结构均为两条并行支路进行合并融合的基础架构；
所述合并结构一的第一条支路的输入特征来源于主干网络节点三的输出特征，第二条支路的输入来源于主干网络节点二的输出特征；
节点三输出特征进入合并结构一的第一条支路后，依次被一个CBL模块和一个上采样处理；
同时，节点二输出特征进入合并结构一的第二条支路，所述第二条支路由一个DCBL模块和一个CBL模块组成；
所述DCBL模块结构由CBL模块、DBL模块和CBL模块顺序连接构成的支路和一条捷径连接支路进行相加融合而成，其中DBL模块由一层深度可分离卷积层、一层批标准化层和Leakyrelu激活函数层顺序连接而成。
6.如权利要求5所述的基于深度学习的矿山作业车辆检测方法，其特征在于：所述合并结构二包括，第一条支路承接合并结构一的输出，而后分别由一个CBL模块和一个上采样层组成对输入进行特征提取和尺寸变换处理，合并结构二的第二条支路的输入来源于主干网络节点一的输出特征，第二条支路由两个DCBL组合模块和一个CBL模块组成；
两条支路对输入特征进行处理将输出特征传递到融合模块进行合并融合，融合特征被由5个CBL模块组成的CBL组合结构4进行深层特征提取，CBL组合结构4的输出特征的位置为第五个输出节点，第五个输出节点一路为合并结构三的第一条支路提供特征输入、另一路则作为预测网络支路一的输入；
所述合并结构三的第一条支路承接合并结构二的输出，然后利用一个CBL模块对输入信息进行处理；合并结构三的第二条支路的输入来源于节点四的输出特征，然后第二条支路利用一个DCBL组合模块对输入信息进行特征提取；而后两条支路的输出特征传递到融合模块进行合并融合，然后融合特征被由5个CBL模块组成的CBL组合结构5进行进一步的深层特征提取，CBL组合结构5的输出特征的位置为第六个输出节点，节点六一路为合并结构四的第一条支路提供特征输入、另一路则作为预测网络支路二的输入；
所述合并结构四的第一条支路承接合并结构三的输出，然后利用一个CBL模块对输入信息进行处理；合并结构四的第二条支路的输入来源于节点三的输出特征，第二条支路由三个DCBL组合模块顺序连接而成；
当两条支路完成对输出特征的处理后将输出特征传递到融合模块进行合并融合，然后融合特征被由5个CBL模块组成的CBL组合结构6进行深层特征提取，CBL组合结构6的输出特征作为预测网络支路三的输入。
7.如权利要求6所述的基于深度学习的矿山作业车辆检测方法，其特征在于：所述预测网络包括，由CBL模块和Conv模块顺序连接构成的三个支路进行加法融合形成的；
三个支路分别接收来自颈部网络的输入特征，依次传递到CBL模块和Conv模块进行处理，经所述预测网络三个支路处理后生成三个输出特征，对三个输出特征进行元素级的加法运算，实现特征融合，获得的融合特征即是最终的预测结果。
8.一种采用如权利要求1～7任一所述方法的基于深度学习的矿山作业车辆检测系统，其特征在于，包括，
数据采集与标注模块：负责采集矿山作业车辆的图像数据，并利用标注软件对车辆位置和类别进行手动标注；
网络模型构建与训练模块：根据标注的数据集，构建并训练矿山作业车辆检测网络模型；
实时检测模块：利用训练好的检测模型，对实时采集的矿山作业车辆图像进行目标检测。
9.一种计算设备，包括：存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
10.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311139518.9A CN117351298A (zh) | 2023-09-06 | 2023-09-06 | 一种基于深度学习的矿山作业车辆检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311139518.9A CN117351298A (zh) | 2023-09-06 | 2023-09-06 | 一种基于深度学习的矿山作业车辆检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117351298A true CN117351298A (zh) | 2024-01-05 |
Family
ID=89356431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311139518.9A Pending CN117351298A (zh) | 2023-09-06 | 2023-09-06 | 一种基于深度学习的矿山作业车辆检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351298A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117734683A (zh) * | 2024-02-19 | 2024-03-22 | 中国科学院自动化研究所 | 一种井下车辆防碰撞安全预警决策方法 |
-
2023
- 2023-09-06 CN CN202311139518.9A patent/CN117351298A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117734683A (zh) * | 2024-02-19 | 2024-03-22 | 中国科学院自动化研究所 | 一种井下车辆防碰撞安全预警决策方法 |
| CN117734683B (zh) * | 2024-02-19 | 2024-05-24 | 中国科学院自动化研究所 | 一种井下车辆防碰撞安全预警决策方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444821B (zh) | 一种城市道路标志自动识别方法 | |
| CN108537197B (zh) | 一种基于深度学习的车道线检测预警装置及预警方法 | |
| CN104392212B (zh) | 一种基于视觉的道路信息检测及前方车辆识别方法 | |
| CN111582029B (zh) | 一种基于密集连接与注意力机制的交通标志识别方法 | |
| He et al. | Rail transit obstacle detection based on improved CNN | |
| CN111104903A (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
| CN113420607A (zh) | 无人机多尺度目标检测识别方法 | |
| CN111462140B (zh) | 一种基于区块拼接的实时图像实例分割方法 | |
| CN117351298A (zh) | 一种基于深度学习的矿山作业车辆检测方法及系统 | |
| CN111738336A (zh) | 基于多尺度特征融合的图像检测方法 | |
| CN113553916B (zh) | 一种基于卷积神经网络的轨道危险区域障碍物检测方法 | |
| CN111292366A (zh) | 一种基于深度学习和边缘计算的视觉行车测距算法 | |
| CN113128476A (zh) | 一种基于计算机视觉目标检测的低功耗实时头盔检测方法 | |
| CN111079675A (zh) | 基于目标检测与目标跟踪的行驶行为分析方法 | |
| CN114049572A (zh) | 识别小目标的检测方法 | |
| CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
| CN115937736A (zh) | 基于注意力和上下文感知的小目标检测方法 | |
| CN116597411A (zh) | 极端天气下无人驾驶车辆识别交通标志的方法及系统 | |
| CN117496384A (zh) | 一种无人机图像物体检测方法 | |
| CN116935361A (zh) | 一种基于深度学习的驾驶员分心行为检测方法 | |
| CN111339967A (zh) | 一种基于多视域图卷积网络的行人检测方法 | |
| CN115205568B (zh) | 一种多尺度特征融合的道路交通多要素检测方法 | |
| CN113569702A (zh) | 基于深度学习的货车单双胎识别方法 | |
| Yang et al. | Research on Target Detection Algorithm for Complex Scenes | |
| Du et al. | A Lightweight and Accurate Method for Detecting Traffic Flow in Real Time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |