CN114445767B - 一种传输带传输异物检测方法及系统 - Google Patents
一种传输带传输异物检测方法及系统 Download PDFInfo
- Publication number
- CN114445767B CN114445767B CN202111646884.4A CN202111646884A CN114445767B CN 114445767 B CN114445767 B CN 114445767B CN 202111646884 A CN202111646884 A CN 202111646884A CN 114445767 B CN114445767 B CN 114445767B
- Authority
- CN
- China
- Prior art keywords
- training
- detection
- images
- model
- fast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000001514 detection method Methods 0.000 claims abstract description 197
- 238000012549 training Methods 0.000 claims abstract description 186
- 230000008569 process Effects 0.000 claims abstract description 33
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 6
- 239000003245 coal Substances 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 12
- 229910000831 Steel Inorganic materials 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 239000010959 steel Substances 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 238000005520 cutting process Methods 0.000 description 6
- 230000006378 damage Effects 0.000 description 6
- 229910052742 iron Inorganic materials 0.000 description 6
- 238000011897 real-time detection Methods 0.000 description 6
- 239000004033 plastic Substances 0.000 description 5
- 229920003023 plastic Polymers 0.000 description 5
- 239000002023 wood Substances 0.000 description 5
- 238000007477 logistic regression Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 208000014674 injury Diseases 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 208000012260 Accidental injury Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000012788 shakes Diseases 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种传输带传输异物检测方法及系统，包括：获取不同传输带上的多张图像，并进行数据预处理，分成训练集和测试集；建立Fast_Yolov3模型，将训练集的图像输入Fast_Yolov3模型进行模型训练，其中，在训练集的图像中，随机选取从不同传输带的至少四张图像，处理后拼接成一张新的图像，作为目标图像检测的训练样本；在卷积层填加反卷积网路进行上采样，获取训练样本的特征图，并且通过至少12种先验框，对训练样本的4种特征图进行训练，并且引入交叉熵调整因子和平衡因子，调整损失函数中的负样本置信度的交叉熵，以降低模型训练过程中输出的负样本；再次获取传输带上的图像，输入到Fast_Yolov3模型进行异物检测。
Description
技术领域
本发明涉及目标检测技术领域，特别涉及一种传输带传输异物检测方法及系统。
背景技术
皮带运输机是煤矿重要的煤炭运输设备，在生产使用过程中可能有诸如钎子、锚杆、木条、矸石、铁块等部分异物掉落到皮带运输机上，跟随煤块一起在皮带上被传 输。这些异物在传输过程中可能会造成皮带损坏甚至皮带被撕裂。而皮带的价格昂贵， 皮带损坏就会造成额外的成本。同时，皮带的损坏可能造成意外的伤人事故，对人的 生命健康产生威胁，因此皮带上异物的检测任务就显得十分有意义。现有的皮带保护 系统仅仅是检测皮带机是否出现异常，并不能对传输皮带上是否出现异物进行检测。 而传统的皮带异物检测的方法主要有人工检测、金属探测器检测、雷达检测等。但是 人工检测效率较低，而且在处理皮带上的异物隐患时存在安全危险。金属探测器检测 只能检测如钎子、锚杆、钢板、铁块等金属异物，并不能检测全部异物，检测范围较 小。雷达检测的检测成本较高，无法真正在企业中应用和推广。而基于图像的皮带目 标检测是通过摄像头采集皮带上运输的物体，实时检测皮带上是否出现异物，可以检 测异物种类较多，检测精度较高，目前的井下皮带异物检测算法主要使用 Faster-RCNN检测算法，郜振国等对视频进行防抖动处理，将处理过后的图像采用多 摄像头基于Faster R-CNN算法来进行皮带异物检测。吕志强等首先采用中值滤波对 井下图像进行去噪，然后使用自适应直方图均衡化对图像进行图像增强，经处理后再 构建Faster R-CNN网络进行异物识别检测。Faster-RCNN检测算法检测精度较高，但 是检测速度较慢，无法实现井下皮带运输机上异物的实时检测。
现有技术中，物体检测的方法主要分为两大类，一类是two-stage算法，主要包 括基于Region Proposal的R-CNN系列算法，如R-CNN算法、Fast R-CNN算法、Faster R-CNN算法。R-CNN系列算法主要是基于卷积神经网络来产生Region Proposal，然 后在RegionProposal上进行分类或者做边框回归以及分类。以R-CNN为代表的two-stage算法检测准确度高，但是检测速度慢，无法满足井下传输带上实时异物检 测的需要。
目前针对井下皮带异物检测算法的研究主要集中在Faster R-CNN算法上。另一类目标检测算法是以Yolo算法、SSD算法为代表的one-stage算法，one-stage算法直 接使用卷积神经网络预测不同目标的分类和目标的位置，以Yolo目标检测算法为代 表的one-stage算法检测速度快，但是检测的准确性要比Faster R-CNN算法相对低一 点。
Yolo v1目标检测算法是Yolo系列算法的作者在提出的。Yolo v1算法首先利用多层卷积网络提取原始image的全局信息，最后用全连接层进行预测和回归。
如图1所示的网络结构图中可以看出Yolo v1算法与传统的two stage的算法不同， Yolo使用的是利用图片的全局信息进行bounding box的回归与预测，这就使其识别检测的速度非常快。Yolo v1使用全连接层做最后的类别输出。但是Yolov1算法也存 在一定的缺陷：一是固定的输出数据的尺寸，二是对小目标物体的检测效果不精确。
为了改进Yolo v1算法的不足，Yolo v2算法从输入分辨率、模型网络结构、训练bounding boxes的方法等方面进行对Yolo v1进行了改进，使得模型参数更容易学习， 模型更加稳定。
Yolo v3算法在网络结构上将之前的单标签分类改进为多标签分类，将之前用于单标签分类的softmax层换成多标签分类的逻辑回归层，逻辑回归层使用的函数主要 为sigmoid函数，改进为多标签分类的逻辑回归层就有利于适用复杂的环境当中。Yolo v3在基础特征提取器中添加了多个卷积层，并且使用最后的卷积层预测出一个三维 的张量编码，然后将从前面两个图层中得到的feature map进行两次上采样，从更前 面的图层中获得feature map，使用element-wise将两种高低不同分辨率的feature map 连接到一起，从而可以找到图像早期特征映射中的上采样特征和细粒度特征，以便于 获得图像中更加丰富的语义信息。
Yolo v3使用了新的网络结构来对目标进行特征的提取，新的网络结构融合了Yolo v2、Darknet-19和残差网络，Yolo v3的backbone网络结构由之前的DartNet19 网络结构改进为DarkNet53网络结构，DarkNet53网络结构的性能远远超过DarkNet19 网络结构，DarkNet53网络结构中没有池化层和全连接层，特征图的缩小主要是通过 扩大卷积核的步长实现的。除此之外，在DarkNet53网络结构中使用了残差神经网络 的结构。Yolo v3采用多尺度预测的思想，使用多尺度对不同尺寸大小的目标物体进 行检测，越精细的网格就能检测出越精细的物体，Yolo v3中每个网格使用3个Box 进行预测，可以实现80个物体的识别。
虽然Yolov3检测算法有着较快的检测速度和较高的检测精度，但针对井下异物检测场景来说仍存在一定的问题：Yolov3检测算法对井下小目标异物检测的检测效 果不好、Yolov3的多尺度检测容易出现正负样本不均衡问题、Yolov3对井下小目标 异物的检测容易出现漏检的情况等。Yolov5算法的计算网络模型采用Focus+CSP网 络，是所有Yolo版本中数据量最小的，速度快，在速度和灵活性上要好于Yolov3， 但是由于裁剪了featuremap，卷积网络结构的最后一层压缩了feature map，使得小目 标检测能力更弱。针对以上问题，本文对Yolo v3异物检测算法进行改进。
现有技术中，Yolo v3模型使用多尺度的特征输出来对不同尺度的对象进行目标检测，但是多尺度的检测产生了正负样本不均衡的问题。Yolo v3模型输出13×13、 26×26、52×52这三种特征图，即同时输出10647个检测框，但是这10647个检测框 中只有很少部分的检测框包含需要检测的物体，特别是对于检测小目标的特征图中， 10647个检测框中包含物体的检测框的比例更小。在模型的训练的过程中，模型输出 产生候选框大部分会被标记为负样本，最终使得模型训练过程中异物数据集的负样本 的数量远远高于正样本的数量，使得模型在训练过程中数量更多的负样本掌握模型梯 度更新的方向，导致模型无法学习到有用的信息，进而降低了模型针对井下异物检测 的精度。
因此，为了解决现有技术中井下皮带传输机上异物检测时，对井下小目标异物检测的检测效果差、多尺度检测容易出现正负样本不均衡、井下小目标异物的检测容易 出现漏检的技术问题，本发明在Yolo v3目标检测的基础上提供一种传输带传输异物 检测方法及系统，在实际井下异物检测环境中，通过Fast_Yolov3检测算法检测准确 度高、速度快，整体性能良好。
发明内容
本发明的一个目的在于提供一种传输带传输异物检测方法，所述方法包括：
获取不同传输带上的多张图像，并进行数据预处理，分成训练集和测试集；
建立Fast_Yolov3模型，将训练集的图像输入Fast_Yolov3模型进行模型训练， 其中，
在训练集的图像中，随机选取从不同传输带的至少四张图像，处理后拼接成一张新的图像，作为目标图像检测的训练样本；
在卷积层添加反卷积网络进行上采样，获取训练样本的特征图，并且
通过12种先验框，对训练样本的4种特征图进行训练，并且
引入交叉熵调整因子和平衡因子，调整损失函数中的负样本置信度的交叉熵，以降低模型训练过程中输出的负样本；
再次获取传输带上的图像，输入到Fast_Yolov3模型进行异物检测。
优选地，随机选取的不同传输带的至少四张图像进行随机拼接、随机缩放、随机剪裁、随机排列后拼接成一张新的图像。
优选地，将随机选取的不同传输带的至少四张图像分为第一训练集和第二训练集，
确定剪裁区域边界，将第一训练集中的剪裁区域去除，将第二训练中的剪裁区域填充到第一训练集中，生成目标图像检测的训练样本。
优选地，在卷积层添加批处理规范化层，并使用反卷积网络对目标图像检测的训练样本进行上采样；
将卷积层采获取的特征图与反卷积网络获取的特征图进行特征融合，生成训练样本的特征图。
优选地，在卷积层中对所有网格增加一个偏移量。
优选地，所述先验框包括第一先验框，用于对特征图上的第一尺寸目标进行训练，以及
第二先验框，用于对特征图上的第二尺寸目标进行训练，以及
第三先验框，用于对特征图上的第三尺寸目标进行训练。
本发明的另一个目的在于提供一种传输带传输异物检测系统，所述系统包括：
图像采集模块，包括至少在每一条传输带上的多个摄像头，用于采集传输带图像；
图像预处理模块，用对采集的图像进行数据预处理，分成训练集和测试集；
Fast_Yolov3模型，用于将训练集的图像输入Fast_Yolov3模型进行模型训练，以及用于将传输带上的图像输入到Fast_Yolov3模型进行异物检测，其中，
所述Fast_Yolov3模型，包括
在训练集的图像中，随机选取从不同传输带的至少四张图像，处理后拼接成一张新的图像，作为目标图像检测的训练样本；
在卷积层填加反卷积网络进行上采样，获取训练样本的特征图，并且
通过12种先验框，对训练样本的4种特征图进行检测，并且
引入交叉熵调整因子和平衡因子，调整交叉熵损失函数，以降低模型训练过程中输出的负样本。
优选地，将随机选取的不同传输带的至少四张图像分为第一训练集和第二训练集，
确定剪裁区域边界，将第一训练集中的剪裁区域去除，将第二训练中的剪裁区 域填充到第一训练集中，生成目标图像检测的训练样本。
优选地，在卷积层添加批处理规范化层，并使用反卷积网路对目标图像检测的训练样本进行上采样；
将卷积层采获取的特征图与反卷积网络获取的特征图进行特征融合，生成训练样本的特征图。
优选地，所述先验框包括第一先验框，用于对特征图上的第一尺寸目标进行训练，以及
第二先验框，用于对特征图上的第二尺寸目标进行训练，以及
第三先验框，用于对特征图上的第三尺寸目标进行训练。
为满足井下传输带异物实时检测的需求，本发明对Yolov3目标检测算法进行改进,建立快速异物检测算法Fast_Yolov3模型，提出一种传输带传输异物检测方法及系 统。针对井下传输带上小型异物检测的问题提出了新的解决方法：
一是针对井下传输带上的异物的先验框重新进行细化计算，采用适合井下传输带上小型异物的先验框。
二是提出StiPic方法来生成新的异物数据集的训练样本，增强了Fast_Yolov3异物检测算法的检测能力。Fast_Yolov3模型异物检测算法改进了Yolo v3模型的损失函 数，引入交叉熵调整因子和平衡因子，调整Yolo v3模型的损失函数中的负样本置信 度的交叉熵，提高了异物检测模型的检测精度。
针对井下传输带上小目标异物的检测容易出现漏检的情况，采用增加反卷积网络结构来替换原Yolov3中的双线性插值上采样的过程，使用反卷积网络来获得到高分 辨率的异物数据特征图，进一步提高了井下传输带上异物检测的识别精度。
通过连接井下摄像头作为图像数据输入端，采用本发明提供的一种传输带传输异物检测方法及系统对皮带异物进行检测，一旦Fast_Yolov3算法程序检测到传输皮带 上的异物就立刻对皮带运输机启动处理控制程序，进而减少或者防止井下安全隐患的 发生，保证了井下煤矿工人的安全。
本发明提供的一种传输带传输异物检测方法及系统，能够准确识别井下小目标异物，消除多尺度检测容易出现正负样本不均衡、井下小目标异物的检测容易出现漏检 的技术问题，在实际井下异物检测环境中，通过Fast_Yolov3检测算法检测准确度高、 速度快，整体性能良好。
应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：
图1示意性示出了现有技术中Yolo v1算法的网络结构示意图。
图2示出了本发明传输带传输异物检测方法的流程图。
图3示出了本发明Fast_Yolov3模型，在训练集的图像中拼接成新的图像的示意图。
图4示出了本发明Fast_Yolov3模型在卷积层填加反卷积网路的结构示意图。
图5示出了一个实施例中采用本发明的传输带传输异物检测方法检测异物的示意图。
图6示出了一个实施例中使用不同检测方法与本发明传输带传输异物检测方法的对比示意图。
图7示出了一个实施例中本发明传输带传输异物检测方法异物检测效果展示图。
具体实施方式
通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同 形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的 具体细节。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为了解决现有技术中井下皮带传输机上异物检测时，对井下小目标异物检测的检测效果差、多尺度检测容易出现正负样本不均衡、井下小目标异物的检测容易出现漏 检的技术问题，本发明提供一种传输带传输异物检测方法及系统。
根据本发明的实施例，如图2所示本发明传输带传输异物检测方法的流程图，传输带传输异物检测方法包括以下几个步骤：
步骤S101、获取图像。
获取不同传输带上的多张图像。异物检测数据集由多个摄像头分别采集不同传输带上的图像得到。
在一些实施例中，摄像头的分辨率为1920×1080。数据集大小为7520张，其中 图像数据集中不含有异物的数据集的个数为3540张，图像数据集中含有异物的数据 集的个数为3980张。为使得异物模型训练有更好的泛化能力，含有异物的传输皮带 的图像中的杂物的种类有钎子、锚杆、钢板、铁块、煤矸石、木条、工字钢、塑料等， 尽可能的在可能在传输带上出现的异物都考虑在内。
步骤S102、图像预处理。
根据本发明的实施例，对采集的多张图像进行数据预处理，分成训练集和测试集。
训练集将用于本发明所建立的Fast_Yolov3模型进行训练，测试集用于对本发明所建立的Fast_Yolov3模型测试。
步骤S103，建立Fast_Yolov3模型。
根据本发明的实施例，在Yolov3模型的基础上建立Fast_Yolov3模型。
数据增强(拼接成一张新的图像)
为增强Fast_Yolov3模型对井下小目标的检测精度，本发明对煤矿井下传输带的图像的数据增强。在训练集的图像中，随机选取从不同传输带的至少四张图像，处理 后拼接成一张新的图像，作为目标图像检测的训练样本。
在一些优选的实施例中，随机选取的不同传输带的至少四张图像进行随机拼接、随机缩放、随机剪裁、随机排列后拼接成一张新的图像。
具体地，将随机选取的不同传输带的至少四张图像分为第一训练集和第二训练集， 确定剪裁区域边界，将第一训练集中的剪裁区域去除，将第二训练中的剪裁区域填充到第一训练集中，生成目标图像检测的训练样本。
实施例中以采集的两个不同的传输带的图像进行说明，对上述图像拼接过程采用如下计算方法计算：
其中，为第一传输带图像对应的标签，/>为第二传输带图像对应的标签，xA和 xB是分为第一训练集的剪裁区域和第二训练集的剪裁区域，⊙代表逐像素相乘， M∈{0，1}W×H是为了剪裁和填充的二进制掩码，λ是服从(0,1)的均匀分布，W和H为 剪裁区域的长度和高度。
根据本发明的实施例，为了对剪裁区域的二进制掩码进行采样，需要对第一训练集中的剪裁区域进行采样。
裁剪区域的边界B＝(rx,ry,rw,rh)通过如下方式计算：
其中，rx，ry为剪裁区域的中心坐标，rw，rh为剪裁区域的长度和高度。
裁剪区域的比例为rwr h/W H＝1-λ，当确定好裁剪区域的边界后，将二进制 掩码M中的裁剪区域置值为0，其他区域置值为1。将第一训练集的裁剪区域xA去 除，将第二训练集的中的裁剪区域xB剪裁，并填充到第一训练集的裁剪区域xA中。 至此，完成了异物检测新的训练样本的生成。如图3所示本发明Fast_Yolov3模型， 在训练集的图像中拼接成新的图像的示意图，随机选取的不同传输带的至少四张图像 拼接成一张新的图像。
本发明中，随机使用4张图片缩放成为一张图像丰富了训练的数据集样本，增加了井下传输带上异物训练集的数量，尤其是目标较小的异物训练集的数量，使得井下 传输带异物检测网络的鲁棒性更好，模型能够从一个图像上的局部视图识别出多个异 物，提高了模型的训练效率，增强了模型对于井下中型和小型异物目标的识别能力。
本发明将4张井下传输带图像随机缩放并进行拼接，减少了井下传输带异物检测网络的训练时间，加速了异物检测模型的训练。在增加了异物检测样本数量的同时也 增加了异物检测样本的多样性，使得Fast_Yolov3异物检测模型能够从一个异物图像 上的局部视图识别出多个异物，提高了Fast_Yolov3异物检测模型的训练效率，增强 了Fast_Yolov3模型对于井下传输带上小目标异物的识别能力。
添加反卷积网络
根据本发明的实施例，利用生成目标图像检测的训练样本进行Fast_Yolov3模型训练。
在煤矿井下传输带异物检测过程中，井下传输带上的小目标异物容易出现漏检的情况。为了获得特征中更多的上下文信息和降低异物被漏检的概率，对此，本发明在 卷积层填加反卷积网路进行上采样，获取训练样本的特征图。
具体地，本发明在卷积层添加批处理规范化层，并使用反卷积网络对目标图像检测的训练样本进行上采样。
将卷积层采获取的特征图与反卷积网络获取的特征图进行特征融合，生成训练样本的特征图。
在一些实施例中，在卷积层添加批处理规范化层，并增加反卷积网络取代原Yolov3中的采样过程，设定反卷积的stride(步长)为2，之后添加大小为3×3的卷 积网络和BN规范化层结构，最后特征向量的连接方式采用金字塔特征图的方式将反 卷积之后的特征图和浅层的特征图进行连接。如图4所示本发明Fast_Yolov3模型， 在卷积层填加反卷积网路的结构示意图。
本发明Fast_Yolov3模型的上采样过程和卷积的过程，采用增加反卷积网络结构来替换Yolov3中的双线性插值上采样的过程，使用反卷积网络来获得高分辨率的异 物数据特征图，使得在检测过程中保留更多的上下文信息，通过反卷积的学习能力去 让网络自己学习如何进行上采样，以增强异物检测中远景图像里的小目标异物的检测 效果。
进一步地，本发明在卷积层中对所有网格增加一个偏移量。在一些实施例中，将卷积操所有网格增加一个偏移量Δpn|n＝1,2,3,...,N，其中N等于网格的个数，除此 之外，本文还对图像中的每一个采样都预测一个适当的权重Δmn，在特征图上的每个 位置p0的计算输出值y(p0)可得：
其中，pn为网格中位置的枚举。
通过双线性插值法计算偏移量Δpn：
x(p)＝∑qG(q,p)·x(q)，
G(q,p)＝g(qx,px)·g(qy,py)，
g(a,b)＝max(0,1-|a-b|)，
其中，x为为特征图，p为网格中任意的位置，q为特征图x中所有整数的空间 位置，G为双线性插值核。
细分先验框
在对井下皮带传输机的异物检测中，Yolo v3对井下小目标的异物检测效果较差，井下传输带上的异物除了目标较大的异物如工字钢、锚杆等还存在目标较小的异物如 煤矸石、钎子、塑料等，这些异物的AP值(Average Precision，平均精准度)比井下 目标较大的异物低很多。
本发明建立的Fast_Yolov3模型，通过至少12种先验框，对训练样本的4种特征 图进行模型训练，以增强井下小目标的异物检测能力。
根据本发明，先验框包括第一先验框，用于对特征图上的第一尺寸目标进行训练，以及第二先验框，用于对特征图上的第二尺寸目标进行训练，以及第三先验框，用于 对特征图上的第三尺寸目标进行训练。
在一个实施例中，本发明针对Yolov3模型的3种特征图(52x52，26x26，13x13)， 聚类出9种不同大小的先验框的基础上，重新设计了先验框的大小和数量，针对小尺 寸特征图，设置了3种先验框，增加了(6×12),(8×24),(16×32)，(16×32)这 三种尺寸的先验框。以在COCO数据集(Common Objects in Context上下文中的公共 对象)上进行目标检测的任务为例，得到的12个先验框分别是：(6×12),(8×24), (16×32)，(16×32)，(10×18)，(16×32)，(28×34)，(30×61)，(62×45)，(59×119)， (116×90)，(156×198)，(373×326)。具体通过如下方式计算：
其中Cx，Cy是网格的坐标偏移量，Pw，Ph是预设的anchor box(先验框)的边长。 最终得到的边框坐标值是bx,y,w,h，而网络学习目标是tx,y,w,h。其中，x,y代表预测框的 中心点，w,h代表预测框的宽和高。
实施例中，异物检测任务中可以分解为：在最小的13×13尺寸大小的特征图上应用较大的先验框(116×90)，(156×198)，(373×326)，适合检测较大尺寸的异物。中等 大小的26×26特征图上应用中等的先验框(30×61)，(62×45)，(59×119)，适合检测中 等大小的异物。在较大尺寸的52×52特征图上应用较小的先验框(10×18)，(16×32)， (28×34)，适合检测较小的异物。在最大尺寸的68×68特征图上应用更小的先验框 (6×12)，(8×24)，(16×32)，适合检测更小的异物。如表1所示不同特征图对应先验框 大小。
表1不同特征图对应先验框大小
调整交叉熵损失函数
对于传输带传输异物检测数据集中正样本来说，异物检测模型的检测概率越高，二元分类的交叉熵的损失就越小。对于异物检测数据集中负样本来说，异物检测模型 的检测概率越低，二元分类的交叉熵的损失就越大。故当异物检测模型训练时，如果 异物检测数据集中的负样本的数量远远高于正样本的数量，模型无法达到理想的状态， 异物模型检测的精度也就较低。
为了降低在模型的训练的过程中负样本的数量，本发明引入交叉熵调整因子和平衡因子，调整损失函数中的负样本置信度的交叉熵，以降低模型训练过程中输出的负 样本，降低异物检测模型训练过程中负样本的损失在模型的总损失的比重，使得异物 检测模型在训练过程中负样本能够尽量不主导模型梯度更新的方向，以使模型学到更 多有用的信息，提高模型井下异物检测的精度。
优选地实施例中，调整损失函数中的负样本置信度的交叉熵通过如下方式计算：
其中，γ表示交叉熵的调整因子，α为平衡因子。
当γ大于0时，异物检测模型会减少对负样本的置信度损失的计算，当γ小于0时，异物检测模型会减少对异物数据集中正样本的置信度损失的计算。通过引入调整 因子γ，解决了正负样本数量严重失衡的问题。
步骤S104、Fast_Yolov3模型训练。
在步骤S103建立了Fast_Yolov3模型后，将训练集的图像输入到Fast_Yolov3模型进行模型训练。训练结束后，输入测试集对模型进行测试。
步骤S105、保存Fast_Yolov3模型。
Fast_Yolov3模型训练完成后，保持Fast_Yolov3模型。
步骤S106、传输带传输异物检测。
获取传输带上的图像，输入到Fast_Yolov3模型进行异物检测。
在上文中已经对本发明一种传输带传输异物检测方法做了详细的阐述，本领域技术人员阅读上述方法后，在Yolov3模型的基础上，通过本发明给出的方法建立 Fast_Yolov3模型后实现对传输带传输异物的检测，并实现准确识别井下小目标异物， 消除多尺度检测容易出现正负样本不均衡、井下小目标异物的检测容易出现漏检的技 术问题。
根据本发明的一些实施例，一种传输带传输异物检测系统，包括：
图像采集模块，包括至少在每一条传输带上的多个摄像头，用于采集传输带图像。例如摄像头的分辨率为1920×1080。数据集大小为7520张，其中图像数据集中不含 有异物的数据集的个数为3540张，图像数据集中含有异物的数据集的个数为3980 张。为使得异物模型训练有更好的泛化能力，含有异物的传输皮带的图像中的杂物的 种类有钎子、锚杆、钢板、铁块、煤矸石、木条、工字钢、塑料等，尽可能的在可能 在传输带上出现的异物都考虑在内。
图像预处理模块，用对采集的图像进行数据预处理，分成训练集和测试集。例如实施例中，按照8:2的比例划分训练集和测试集，其中训练集的数据集个数为6016 张，测试集的个数为1504张。
Fast_Yolov3模型，用于将训练集的图像输入Fast_Yolov3模型进行模型训练，以及用于将传输带上的图像输入到Fast_Yolov3模型进行异物检测。根据本发明的实施 例，在Yolov3模型的基础上建立Fast_Yolov3模型。
数据增强(拼接成一张新的图像)
为增强Fast_Yolov3模型对井下小目标的检测精度，本发明对煤矿井下传输带的图像的数据增强。在训练集的图像中，随机选取从不同传输带的至少四张图像，处理 后拼接成一张新的图像，作为目标图像检测的训练样本。
在一些优选的实施例中，随机选取的不同传输带的至少四张图像进行随机拼接、随机缩放、随机剪裁、随机排列后拼接成一张新的图像。
具体地，将随机选取的不同传输带的至少四张图像分为第一训练集和第二训练集， 确定剪裁区域边界，将第一训练集中的剪裁区域去除，将第二训练中的剪裁区域填充到第一训练集中，生成目标图像检测的训练样本。
实施例中以采集的两个不同的传输带的图像进行说明，对上述图像拼接过程采用如下计算方法计算：
其中，为第一传输带图像对应的标签，/>为第二传输带图像对应的标签，xA和 xB是分为第一训练集的剪裁区域和第二训练集的剪裁区域，⊙代表逐像素相乘， M∈{0，1}W×H是为了剪裁和填充的二进制掩码，λ是服从(0,1)的均匀分布，W和H为 剪裁区域的长度和高度。
根据本发明的实施例，为了对剪裁区域的二进制掩码进行采样，需要对第一训 练集中的剪裁区域进行采样。
裁剪区域的边界B＝(rx,ry,rw,rh)通过如下方式计算：
其中，rx，ry为剪裁区域的中心坐标，rw，rh为剪裁区域的长度和高度。
裁剪区域的比例为rwrh/WH＝1-λ，当确定好裁剪区域的边界后，将二进制 掩码M中的裁剪区域置值为0，其他区域置值为1。将第一训练集的裁剪区域xA去 除，将第二训练集的中的裁剪区域xB剪裁，并填充到第一训练集的裁剪区域xA中。 至此，完成了异物检测新的训练样本的生成。如图3所示本发明Fast_Yolov3模型， 在训练集的图像中拼接成新的图像的示意图，随机选取的不同传输带的至少四张图像 拼接成一张新的图像。
本发明中，随机使用4张图片缩放成为一张图像丰富了训练的数据集样本，增加了井下传输带上异物训练集的数量，尤其是目标较小的异物训练集的数量，使得井下 传输带异物检测网络的鲁棒性更好，模型能够从一个图像上的局部视图识别出多个异 物，提高了模型的训练效率，增强了模型对于井下中型和小型异物目标的识别能力。
本发明将4张井下传输带图像随机缩放并进行拼接，减少了井下传输带异物检测网络的训练时间，加速了异物检测模型的训练。在增加了异物检测样本数量的同时也 增加了异物检测样本的多样性，使得Fast_Yolov3异物检测模型能够从一个异物图像 上的局部视图识别出多个异物，提高了Fast_Yolov3异物检测模型的训练效率，增强 了Fast_Yolov3模型对于井下传输带上小目标异物的识别能力。
添加反卷积网络
根据本发明的实施例，利用生成目标图像检测的训练样本进行Fast_Yolov3模型训练。
在煤矿井下传输带异物检测过程中，井下传输带上的小目标异物容易出现漏检的情况。为了获得特征中更多的上下文信息和降低异物被漏检的概率，对此，本发明在 卷积层填加反卷积网路进行上采样，获取训练样本的特征图。
具体地，本发明在卷积层添加批处理规范化层，并使用反卷积网路对目标图像检测的训练样本进行上采样。
将卷积层采获取的特征图与反卷积网络获取的特征图进行特征融合，生成训练样本的特征图。
在一些实施例中，在卷积层添加批处理规范化层，并增加反卷积网络取代原Yolov3中的采样过程，设定反卷积的stride(步长)为2，之后添加大小为3×3的卷 积网络和BN规范化层结构，最后特征向量的连接方式采用金字塔特征图的方式将反 卷积之后的特征图和浅层的特征图进行连接。如图4所示本发明Fast_Yolov3模型， 在卷积层填加反卷积网路的结构示意图。
本发明Fast_Yolov3模型的上采样过程和卷积的过程，采用增加反卷积网络结构来替换Yolov3中的双线性插值上采样的过程，使用反卷积网络来获得高分辨率的异 物数据特征图，使得在检测过程中保留更多的上下文信息，通过反卷积的学习能力去 让网络自己学习如何进行上采样，以增强异物检测中远景图像里的小目标异物的检测 效果。
进一步地，本发明在卷积层中对所有网格增加一个偏移量。在一些实施例中，将卷积操所有网格增加一个偏移量Δpn|n＝1,2,3,...,N，其中N等于网格的个数，除此 之外，本文还对图像中的每一个采样都预测一个适当的权重Δmn，在特征图上的每个 位置p0的计算输出值y(p0)可得：
其中，pn为网格中位置的枚举。
通过双线性插值法计算偏移量Δpn：
x(p)＝∑qG(q,p)·x(q)，
G(q,p)＝g(qx,px)·g(qy,py)，
g(a,b)＝max(0,1-|a-b|)，
其中，x为为特征图，p为网格中任意的位置，q为特征图x中所有整数的空间 位置，G为双线性插值核。
细分先验框
在对井下皮带传输机的异物检测中，Yolo v3对井下小目标的异物检测效果较差，井下传输带上的异物除了目标较大的异物如工字钢、锚杆等还存在目标较小的异物如 煤矸石、钎子、塑料等，这些异物的AP值(Average Precision，平均精准度)比井下 目标较大的异物低很多。
本发明建立的Fast_Yolov3模型，通过至少12种先验框，对训练样本的4种特征 图进行模型训练，以增强井下小目标的异物检测能力。
根据本发明，先验框包括第一先验框，用于对特征图上的第一尺寸目标进行训练，以及第二先验框，用于对特征图上的第二尺寸目标进行训练，以及第三先验框，用于 对特征图上的第三尺寸目标进行训练
在一个实施例中，本发明针对Yolov3模型的3种特征图(52x52，26x26，13x13)， 聚类出9种不同大小的先验框的基础上，重新设计了先验框的大小和数量，针对小尺 寸特征图，设置了3种先验框，增加了(6×12),(8×24),(16×32)，(16×32)这 三种尺寸的先验框。。以在COCO数据集(Common Objects in Context上下文中的公 共对象)上进行目标检测的任务为例，得到的12个先验框分别是：(6×12),(8×24), (16×32)，(16×32)，(10×18)，(16×32)，(28×34)，(30×61)，(62×45)，(59×119)， (116×90)，(156×198)，(373×326)。具体通过如下方式计算：
其中Cx，Cy是网格的坐标偏移量，Pw，Ph是预设的anchor box(先验框)的边长。 最终得到的边框坐标值是bx,y,w,h，而网络学习目标是tx,y,w,h。其中，x,y代表预测框的 中心点，w,h代表预测框的宽和高。
实施例中，异物检测任务中可以分解为：在最小的13×13尺寸大小的特征图上应用较大的先验框(116×90)，(156×198)，(373×326)，适合检测较大尺寸的异物。中等 大小的26×26特征图上应用中等的先验框(30×61)，(62×45)，(59×119)，适合检测中 等大小的异物。在较大尺寸的52×52特征图上应用较小的先验框(10×18)，(16×32)， (28×34)，适合检测较小的异物。在最大尺寸的68×68特征图上应用更小的先验框 (6×12)，(8×24)，(16×32)，适合检测更小的异物。如表1所示不同特征图对应先验框 大小。
表1不同特征图对应先验框大小
调整交叉熵损失函数
对于传输带传输异物检测数据集中正样本来说，异物检测模型的检测概率越高，二元分类的交叉熵的损失就越小。对于异物检测数据集中负样本来说，异物检测模型 的检测概率越低，二元分类的交叉熵的损失就越大。故当异物检测模型训练时，如果 异物检测数据集中的负样本的数量远远高于正样本的数量，模型无法达到理想的状态， 异物模型检测的精度也就较低。
为了降低在模型的训练的过程中负样本的数量，本发明引入交叉熵调整因子和平衡因子，调整损失函数中的负样本置信度的交叉熵，以降低模型训练过程中输出的负 样本，降低异物检测模型训练过程中负样本的损失在模型的总损失的比重，使得异物 检测模型在训练过程中负样本能够尽量不主导模型梯度更新的方向，以使模型学到更 多有用的信息，提高模型井下异物检测的精度。
优选地实施例中，调整损失函数中的负样本置信度的交叉熵通过如下方式计算：
其中，γ表示交叉熵的调整因子，α为平衡因子。
当γ大于0时，异物检测模型会减少对负样本的置信度损失的计算，当γ小于0时，异物检测模型会减少对异物数据集中正样本的置信度损失的计算。通过引入调整 因子γ，解决了正负样本数量严重失衡的问题。
下面对采用本发明提供的一种传输带传输异物检测方法及系统的试验和应用情况进行说明。采用上文实施例中给出的图像数据：摄像头的分辨率为1920×1080。数 据集大小为7520张，其中图像数据集中不含有异物的数据集的个数为3540张，图像 数据集中含有异物的数据集的个数为3980张。为使得异物模型训练有更好的泛化能 力，含有异物的传输皮带的图像中的杂物的种类有钎子、锚杆、钢板、铁块、煤矸石、 木条、工字钢、塑料等，尽可能的在可能在传输带上出现的异物都考虑在内。
按照8:2的比例划分训练集和测试集，其中训练集的数据集个数为6016张，测 试集的个数为1504张。
为了检验异物检测的精确度，实施例中用新的不同传输皮带上的异物图像数据集进行测试。加入的测试异物有：木条、钢筋等。如图5所示采用本发明的传输带传 输异物检测方法检测异物的示意图，在井下传输皮带的异物检测任务中，本发明一种 传输带传输异物检测方法及系统建立的Fast_Yolov3模型的异物检测的平均精确度可 以达到90.12％。
如图6所示一个实施例中使用不同检测方法与本发明传输带传输异物检测方法的对比示意图。实施例中，采用6种不同的算法进行传输带传输异物检测，从数据集 中随机选取了包含钎子、锚杆、钢板、铁块、煤矸石等在内的200张小目标异物数据 进行实时异物检测实验。实验结果如表2所示小目标检测对比表；表3所示检测精度 和实时检测时间对比表。
表2小目标检测对比表
由表2可见，Fast_Yolov3异物检测算法相较于Yolov5、Yolov3、Yolov2、SSD、Faster RCNN，有着更高的小目标异物的检出成功率，对井下小目标检测有更好的检 测效果。
表3检测精度和实时检测时间对比表
由表3可见，Fast_Yolov3井下异物检测算法与Yolov5、Yolov3、Yolov2、SSD、Faster RCNN等目标检测算法相比，准确率分别提高了3.44％、5.44％、15.91％、1.76％、 -2.77％，召回率分别提高了4.41％、6.63％、9.21％、2.72％、0.58％。Fast_Yolov3异 物检测算法的检测精度较Yolov5算法、Yolov3算法、Yolov2算法相比有较大程度提 高，Fast_Yolov3的实时检测速度较Yolov3算法、Yolov2算法、SSD算法和Faster RCNN 算法相比也有较大程度加快，其中Fast_Yolov3的实时检测速度较SSD算法加快近3 倍、较Faster RCNN算法加快近10倍，基本满足了井下传输带上异物实时检测的检 测需求。
在一些实施例中，检测算法由Python语言编写、Pytorch框架实现，并由C#.Net 实现了异物检测的软件界面。图7示出了一个实施例中本发明传输带传输异物检测方 法异物检测效果展示图。
本发明提供的一种传输带传输异物检测方法及系统，建立基于Fast_Yolov3模型的煤矿皮带传输异物检测，可以快速地实现井下皮带上的异物检测，降低了皮带损坏 或者被撕裂的风险，减少或者防止了因皮带损坏造成的意外伤人事故的发生。
结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主 旨均由权利要求所限定。
Claims (10)
1.一种传输带传输异物检测方法，其特征在于，所述方法包括：
获取不同传输带上的多张图像，并进行数据预处理，分成训练集和测试集；
建立Fast_Yolov3模型，将训练集的图像输入Fast_Yolov3模型进行模型训练，其中，
在训练集的图像中，随机选取从不同传输带的至少四张图像，处理后拼接成一张新的图像，作为目标图像检测的训练样本；
在卷积层填加反卷积网路进行上采样，获取训练样本的特征图，并且
通过至少12种先验框，对训练样本的4种特征图进行训练，并且
引入交叉熵调整因子和平衡因子，调整损失函数中的负样本置信度的交叉熵，以降低模型训练过程中输出的负样本；
再次获取传输带上的图像，输入到Fast_Yolov3模型进行异物检测。
2.根据权利要求1所述的方法，其特征在于，随机选取的不同传输带的至少四张图像进行随机拼接、随机缩放、随机剪裁、随机排列后拼接成一张新的图像。
3.根据权利要求1或2所述的方法，其特征在于，将随机选取的不同传输带的至少四张图像分为第一训练集和第二训练集，
确定剪裁区域边界，将第一训练集中的剪裁区域去除，将第二训练中的剪裁区域填充到第一训练集中，生成目标图像检测的训练样本。
4.根据权利要求1所述的方法，其特征在于，在卷积层添加批处理规范化层，并使用反卷积网路对目标图像检测的训练样本进行上采样；
将卷积层采获取的特征图与反卷积网络获取的特征图进行特征融合，生成训练样本的特征图。
5.根据权利要求4所述的方法，其特征在于，在卷积层中对所有网格增加一个偏移量。
6.根据权利要求1所述的方法，其特征在于，所述先验框包括第一先验框，用于对特征图上的第一尺寸目标进行训练，以及
第二先验框，用于对特征图上的第二尺寸目标进行训练，以及
第三先验框，用于对特征图上的第三尺寸目标进行训练。
7.一种传输带传输异物检测系统，其特征在于，所述系统包括：
图像采集模块，包括至少在每一条传输带上的多个摄像头，用于采集传输带图像；
图像预处理模块，用对采集的图像进行数据预处理，分成训练集和测试集；
Fast_Yolov3模型，用于将训练集的图像输入Fast_Yolov3模型进行模型训练，以及用于将传输带上的图像输入到Fast_Yolov3模型进行异物检测，其中，
所述Fast_Yolov3模型，包括
在训练集的图像中，随机选取从不同传输带的至少四张图像，处理后拼接成一张新的图像，作为目标图像检测的训练样本；
在卷积层填加反卷积网路进行上采样，获取训练样本的特征图，并且
通过至少12种先验框，对训练样本的4种特征图进行检测，并且
引入交叉熵调整因子和平衡因子，调整交叉熵损失函数，以降低模型训练过程中输出的负样本。
8.根据权利要求7所述的系统，其特征在于，将随机选取的不同传输带的至少四张图像分为第一训练集和第二训练集，
确定剪裁区域边界，将第一训练集中的剪裁区域去除，将第二训练中的剪裁区域填充到第一训练集中，生成目标图像检测的训练样本。
9.根据权利要求7所述的系统，其特征在于，在卷积层添加批处理规范化层，并使用反卷积网络对目标图像检测的训练样本进行上采样；
将卷积层采获取的特征图与反卷积网络获取的特征图进行特征融合，生成训练样本的特征图。
10.根据权利要求7所述的系统，其特征在于，所述先验框包括第一先验框，用于对特征图上的第一尺寸目标进行训练，以及
第二先验框，用于对特征图上的第二尺寸目标进行训练，以及
第三先验框，用于对特征图上的第三尺寸目标进行训练。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111316530 | 2021-11-08 | ||
| CN2021113165303 | 2021-11-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114445767A CN114445767A (zh) | 2022-05-06 |
| CN114445767B true CN114445767B (zh) | 2024-02-20 |
Family
ID=81366053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111646884.4A Active CN114445767B (zh) | 2021-11-08 | 2021-12-29 | 一种传输带传输异物检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114445767B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197149A (zh) * | 2023-11-08 | 2023-12-08 | 太原理工大学 | 掘锚机和锚杆台车的协同控制方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270347A (zh) * | 2020-10-20 | 2021-01-26 | 西安工程大学 | 一种基于改进ssd的医疗废弃物分类检测方法 |
| CN113469071A (zh) * | 2021-07-06 | 2021-10-01 | 西安科技大学 | 一种针对嵌入式设备的运煤皮带异物视频检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005024437A1 (ja) * | 2003-09-05 | 2005-03-17 | Nec Corporation | 測定システム |
| CN110163234B (zh) * | 2018-10-10 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 一种模型训练方法、装置和存储介质 |
-
2021
- 2021-12-29 CN CN202111646884.4A patent/CN114445767B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270347A (zh) * | 2020-10-20 | 2021-01-26 | 西安工程大学 | 一种基于改进ssd的医疗废弃物分类检测方法 |
| CN113469071A (zh) * | 2021-07-06 | 2021-10-01 | 西安科技大学 | 一种针对嵌入式设备的运煤皮带异物视频检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| A surveillance video real-time analysis system based on edge-cloud and fl-yolo cooperation in coal mine;Zhi Xu;《IEEE》;20210504;68482-68497 * |
| Smart recognition system for business predictions (You only look once-v3) unified, real-time object detection;Allumallu veera venkata susmitha;《Internet of things for industry 4.0》;20191229;137-146 * |
| 基于FASTYOLOV3算法的煤矿胶带运输异物检测;任国强;《工矿自动化》;20211223;128-133 * |
| 基于改进YOLO-V3算法的眼机交互模型研究及实现;陈亚晨;《中国优秀硕士学位论文全文数据库》;20210915;I138-477 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114445767A (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111681273B (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| CN110956225A (zh) | 一种违禁品检测方法及系统、一种计算设备及存储介质 | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN113159120A (zh) | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 | |
| CN113052834A (zh) | 一种基于卷积神经网络多尺度特征的管道缺陷检测方法 | |
| CN112819796A (zh) | 烟丝异物识别方法及设备 | |
| CN115601682A (zh) | 井下皮带运输机异物检测方法和装置 | |
| CN113283395A (zh) | 一种运煤皮带转接处堵塞异物的视频检测方法 | |
| CN111539957A (zh) | 一种用于目标检测的图像样本生成方法、系统及检测方法 | |
| Singh et al. | Semantic segmentation using deep convolutional neural network: A review | |
| CN114898200A (zh) | 一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统 | |
| CN114445767B (zh) | 一种传输带传输异物检测方法及系统 | |
| CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
| CN114155474A (zh) | 基于视频语义分割算法的损伤识别技术 | |
| CN114445715A (zh) | 一种基于卷积神经网络的农作物病害识别方法 | |
| CN112881412A (zh) | 一种废钢产品中非金属异物检测方法 | |
| CN115439693A (zh) | 目标识别网络模型的训练方法、电子设备及程序产品 | |
| CN118212572A (zh) | 一种基于改进YOLOv7的道路损坏检测方法 | |
| CN112183640B (zh) | 一种基于不规则物体的检测和分类方法 | |
| CN116309612B (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
| CN113128362A (zh) | 一种基于yolov3的无人机视角下小目标快速检测方法 | |
| CN117218672A (zh) | 一种基于深度学习的病案文字识别方法及系统 | |
| CN117557860A (zh) | 基于YOLOv8的货运列车异物检测方法及系统 | |
| CN113033371A (zh) | 基于csp模型的多级特征融合行人检测方法 | |
| CN117670791A (zh) | 基于多尺度融合策略和改进YOLOv5的道路病害检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |