CN115601682A - 井下皮带运输机异物检测方法和装置 - Google Patents

井下皮带运输机异物检测方法和装置 Download PDF

Info

Publication number
CN115601682A
CN115601682A CN202211349966.7A CN202211349966A CN115601682A CN 115601682 A CN115601682 A CN 115601682A CN 202211349966 A CN202211349966 A CN 202211349966A CN 115601682 A CN115601682 A CN 115601682A
Authority
CN
China
Prior art keywords
training
real
time video
image
foreign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211349966.7A
Other languages
English (en)
Inventor
王超
郝博南
张立亚
吴文臻
李晨鑫
李标
杨国伟
赵青
杨志方
彭丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCTEG China Coal Research Institute
Original Assignee
CCTEG China Coal Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCTEG China Coal Research Institute filed Critical CCTEG China Coal Research Institute
Priority to CN202211349966.7A priority Critical patent/CN115601682A/zh
Publication of CN115601682A publication Critical patent/CN115601682A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请提出了一种井下皮带运输机异物检测方法，包括：使用高帧率摄像仪采集井下皮带运输过程中的实时视频；对实时视频进行关键帧提取，并对提取后的图像进行增强处理，得到目标图像；将目标图像输入异物识别模型中，输出分析数据；将分析数据中识别到的异物目标框信息与实时视频进行叠加，输出带目标框的实时视频；将生成的带目标框的实时视频和分析数据中识别到的其他异物信息存入数据库，并根据数据库中的数据生成报警通知。采用上述方案的本发明能够有效提高皮带异物检测的速度与精度。

Description

井下皮带运输机异物检测方法和装置
技术领域
本申请涉及煤矿井下安全设备技术领域，尤其涉及井下皮带运输机异物检测方法和装置。
背景技术
皮带输运机作为在煤矿井下复杂环境中负责煤炭运输的重要机械，但由于过载、异物、长距离运输等原因，导致运输机皮带极易受损，例如皮带跑偏，皮带打滑，皮带撕裂等，并由此产生一系列生产事故。皮带撕裂作为运输机皮带最常见事故，一般是由混杂在煤炭中尖锐物件(如锚杆、铁块、铁棍、大块煤矸石、槽钢等)刺穿所造成，皮带撕裂会对煤矿正常生产造成巨大影响，不仅会降低煤矿生产效率，更有可能威胁到工作人员的安全。
针对皮带异物检测，目前传统的检测方法主要有人工检测、雷达检测、金属探测器检测和电磁除铁检测等。传统的检测方法的缺点包括：人工检测效率低，且存在人力资源的浪费与安全隐患；雷达检测成本高，受环境影响强；金属探测器和电磁除铁检测适用范围小，而现有的视频分析方法由于皮带运动速度过快，无法兼顾识别精度与检测速度。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种井下皮带运输机异物检测方法，解决了现有方法适用范围小、且检测速度精度低下的技术问题，能够有效提高皮带异物检测的速度与精度。
本申请的第二个目的在于提出一种井下皮带运输机异物检测装置。
为达上述目的，本申请第一方面实施例提出了一种井下皮带运输机异物检测方法，包括：使用高帧率摄像仪采集井下皮带运输过程中的实时视频；对实时视频进行关键帧提取，并对提取后的图像进行增强处理，得到目标图像；将目标图像输入异物识别模型中，输出分析数据；将分析数据中识别到的异物目标框信息与实时视频进行叠加，输出带目标框的实时视频；将生成的带目标框的实时视频和分析数据中识别到的其他异物信息存入数据库，并根据数据库中的数据生成报警通知。
本申请实施例的井下皮带运输机异物检测方法，通过高帧率摄像仪对井下皮带图像进行采集，之后将图像通过网络传输到视频分析服务器中，在皮带图像采集示意图服务器中，先将对图像进行关键帧的提取，然后对提取图像进行图像增强处理，并对增强后的图像进行实时分析，获得分析数据，将分析数据中识别到的异物目标框信息与实时视频进行叠加，输出带目标框的实时视频，并将识别到异物的截图、时间、摄像仪位置等信息存入数据库，从而生成报警通知相关负责人，本申请通过智能化的检测过程有效提高了皮带异物检测的速度与精度。
可选地，在本申请的一个实施例中，对提取后的图像进行增强处理，包括：
将提取后的图像转换为HSV空间图像；
在保持色调分量不变与校对饱和度分量情况下，使用融合Retinex算法对HSV空间图像的亮度分量进行增强；
将经过调整的HSV空间图像转换回原格式图像，完成图像增强，其中，
所述融合Retinex算法表示为：
Figure BDA0003919315110000021
其中，r(x,y)表示融合Retinex算法最终收到的图像信息，N表示尺度的总目数，wk表示每个尺度上的系数，I(x,y)＝R(x,y)×L(x,y)，R(x,y)表示物体的反射分量，L(x,y)表示光的照度分量，Hk(x,y)表示融入双边滤波理论生成的新的中心环绕函数。
可选地，在本申请的一个实施例中，异物识别模型以ResNet101作为的主干网络，在异物识别模型输出的基础上进行多尺度特征融合，并对特征融合得到的特征层进行边框回归与分类，异物识别模型的损失函数为Focal Loss损失函数。
可选地，在本申请的一个实施例中，训练异物识别模型，包括：
获取训练数据集，其中，训练数据集包括训练集和验证集，训练数据集包括煤矿井下的皮带应用场景图片；
使用训练集、基于随机梯度下降法优化损失函数对异物模型进行训练，直到与验证集的相似度系数不再上升，完成训练。
可选地，在本申请的一个实施例中，训练数据集由皮带上带有异物图像与无异物正常图片组成，获取训练数据集，包括：
通过标注平台对原始图片进行标注，获得与原始图片对应的标注文件，其中，标注文件包括原始图片的标注框顶点坐标数据；
对原始图片进行仿射变换处理，并在图片进行变换时对标注文件按照对应的变换方式进行处理，使得图片数据与标注文件数据保持一致，其中，仿射变换包括翻转、平移、旋转变换；
将完成标注与仿真变换的数据集按照预设比例进行划分，得到训练集和验证集。
为达上述目的，本发明第二方面实施例提出了一种井下皮带运输机异物检测装置，包括采集模块、处理模块、识别模块、分析数据处理模块、报警通知生成模块，其中，
采集模块，用于使用高帧率摄像仪采集井下皮带运输过程中的实时视频；
处理模块，用于对实时视频进行关键帧提取，并对提取后的图像进行增强处理，得到目标图像；
识别模块，用于将目标图像输入异物识别模型中，输出分析数据；
分析数据处理模块，用于将分析数据中识别到的异物目标框信息与实时视频进行叠加，输出带目标框的实时视频；
报警通知生成模块，用于将生成的带目标框的实时视频和分析数据中识别到的其他异物信息存入数据库，并根据数据库中的数据生成报警通知。
可选地，在本申请的一个实施例中，对提取后的图像进行增强处理，包括：
将提取后的图像转换为HSV空间图像；
在保持色调分量不变与校对饱和度分量情况下，使用融合Retinex算法对HSV空间图像的亮度分量进行增强；
将经过调整的HSV空间图像转换回原格式图像，完成图像增强，其中，
所述融合Retinex算法表示为：
Figure BDA0003919315110000031
其中，r(x,y)表示融合Retinex算法最终收到的图像信息，N表示尺度的总目数，wk表示每个尺度上的系数，I(x,y)＝R(x,y)×L(x,y)，R(x,y)表示物体的反射分量，L(x,y)表示光的照度分量，Hk(x,y)表示融入双边滤波理论生成的新的中心环绕函数。
可选地，在本申请的一个实施例中，异物识别模型以ResNet101作为的主干网络，在异物识别模型输出的基础上进行多尺度特征融合，并对特征融合得到的特征层进行边框回归与分类，异物识别模型的损失函数为Focal Loss损失函数。
可选地，在本申请的一个实施例中，训练异物识别模型，包括：
获取训练数据集，其中，训练数据集包括训练集和验证集，训练数据集包括煤矿井下的皮带应用场景图片；
使用训练集、基于随机梯度下降法优化损失函数对异物模型进行训练，直到与验证集的相似度系数不再上升，完成训练。
可选地，在本申请的一个实施例中，训练数据集由皮带上带有异物图像与无异物正常图片组成，获取训练数据集，包括：
通过标注平台对原始图片进行标注，获得与原始图片对应的标注文件，其中，标注文件包括原始图片的标注框顶点坐标数据；
对原始图片进行仿射变换处理，并在图片进行变换时对标注文件按照对应的变换方式进行处理，使得图片数据与标注文件数据保持一致，其中，仿射变换包括翻转、平移、旋转变换；
将完成标注与仿真变换的数据集按照预设比例进行划分，得到训练集和验证集。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种井下皮带运输机异物检测方法的流程示意图；
图2为本申请实施例的整体流程图；
图3为本申请实施例的第一原图；
图4为本申请实施例的第二原图；
图5为本申请实施例的第一原图对应的增强图；
图6为本申请实施例的第二原图对应的增强图；
图7为本申请实施例的模型训练流程图；
图8为本申请实施例的模型训练损失函数示例图；
图9为本申请实施例的皮带图像采集示意图；
图10为本申请实施例的为本申请实施例提供的一种井下皮带运输机异物检测装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的井下皮带运输机异物检测方法和装置。
图1为本申请实施例一所提供的一种井下皮带运输机异物检测方法的流程示意图。
如图1所示，该井下皮带运输机异物检测方法包括以下步骤：
步骤101，使用高帧率摄像仪采集井下皮带运输过程中的实时视频；
步骤102，对实时视频进行关键帧提取，并对提取后的图像进行增强处理，得到目标图像；
步骤103，将目标图像输入异物识别模型中，输出分析数据；
步骤104，将分析数据中识别到的异物目标框信息与实时视频进行叠加，输出带目标框的实时视频；
步骤105，将生成的带目标框的实时视频和分析数据中识别到的其他异物信息存入数据库，并根据数据库中的数据生成报警通知。
本申请实施例的井下皮带运输机异物检测方法，如图2所示，通过高帧率摄像仪对井下皮带图像进行采集，之后将图像通过网络传输到视频分析服务器中，在皮带图像采集示意图服务器中，先将对图像进行关键帧的提取，然后对提取图像进行图像增强处理，并对增强后的图像进行实时分析，获得分析数据，将分析数据中识别到的异物目标框信息与实时视频进行叠加，输出带目标框的实时视频，并将识别到异物的截图、时间、摄像仪位置等信息存入数据库，从而生成报警通知相关负责人，本申请通过智能化的检测过程有效提高了皮带异物检测的速度与精度。
可选地，在本申请的一个实施例中，煤矿井下光照和粉尘通常会影响图像质量，这里使用一种基于HSV空间改进融合Retinex算法井下图像增强方法，将一种改进的双边滤波方法与多尺度Retinex算法进行融合，降低Retinex算法存在的易出现光源、边缘模糊等问题，其公式如下：
Figure BDA0003919315110000051
其中，r(x,y)表示融合Retinex算法最终收到的图像信息，N表示尺度的总目数，wk表示每个尺度上的系数，I(x,y)＝R(x,y)×L(x,y)，R(x,y)表示物体的反射分量，L(x,y)表示光的照度分量，Hk(x,y)表示融入双边滤波理论生成的新的中心环绕函数。
并将原RGB空间图像转换为HSV空间图像，在保持色调分量不变与校对饱和度分量情况下，将融合Retinex算法应用于亮度分量，对亮度分量进行增强，最后再由经过调整的HSV空间图像转换回RGB空间图像，由此完成图像增强，降低井下环境因素对模型精准度的影响，原图与增强图像对比如图3、图4、图5、图6所示，其中，图3、图4为原图，图5、图6为对应增强后的图像。
可选地，在本申请的一个实施例中，OctConv是种单一、泛型、即插即用的卷积单元，能在不调整任何网络结构的情况下代替原来的卷积单元，主要通过对图像中存在空间冗余进行处理来提高卷积效果。
在煤矿井下光照和粉尘影响下，运用HSV空间改进融合算法对图像进行增强，以RetinaNet_Res101为基础网络，用八度卷积(Octave Convolution)代替网络中的部分传统卷积层，在特征提取阶段降低特征图中低频分量冗余特征，提高细节特征提取效果，减少空间冗余，达到提升精度的同时节约计算资源提高运算速度的效果。
异物识别模型以ResNet101作为算法的主干网络，在其输出的基础上进行类似于FPN图像金字塔多尺度特征融合，并对特征融合得到的特征层进行边框回归与分类，并且以上皆是在用OctConv替换传统卷积层的情况下进行的。图7为模型训练流程图，算法结构如图5中的OctRetinaNet_Res101部分。
图片以640×640×3作为输入，在经过ResNet部分中，C2、C3、C4、C5输出分别为160×160×256、80×80×512、40×40×1024、20×20×2048，并在C3、C4、C5的基础上进行类似于FPN图像金字塔多尺度特征融合，得到{C3、C4、C5}层对应的融合特征层{P3,P4,P5}，以及在P5层基础上通过最大池化下采样得到的{P6、P7}特征层，P3-P7的结构分别为80×80×256、40×40×256、20×20×256、10×10×256、5×5×256。针对P3-P7特征层上每个点生成九个anchor，对每个anchor分别使用两个相同的预测器进行边框回归与分类,如模型训练流程图中的class+box subnets部分所示。
过多anchor box(用来产生目标区域的候选框)会出现训练样本正负不平衡问题，Focal Loss损失函数能够有效降低这一问题对算法的影响，使得RetinaNet算法能够兼顾One Stage(单阶段)目标检测算法的速度和Two Stage(两阶段)目标检测的精度。图8模型训练损失函数，其中，损失函数公式如下：
FL(pt)＝-αt(1-pt)γlog(pt)
Focal loss是基于二分类交叉熵Cross Entropy Loss的一个损失函数，由一个动态缩放交叉熵损失构成，通过一个动态缩放因子，动态降低训练过程中易区分样本的权重，从而将重心快速聚焦在难区分的样本。Focal Loss损失函数是在CE(pt)＝-log(pt)基础上增加了αt与(1-pt)γ两个参数，其参数αt调节正负样本损失之间的比例，解决了常见的类别不平衡问题，参数(1-pt)γ用来控制减低易分样本的损失贡献，从而增加难分样本的损失比例。
可选地，在本申请的一个实施例中，使用OctRetinaNet_Res101对数据集进行训练的模型。将大小为640×640×3的图像作为输入，在经过ResNet101 Backbone与FeaturePyramid Net(算法中特征金字塔部分)后获得五个Predict(特征层)，然后对五个Predict进行分类与回归预测。
在训练过程中，选择使用随机梯度下降法优化损失函数，选择批次大小为16，动量常数为0.9，全值衰减系数为10-4，初始学习率为1×10-6，每迭代60次学习率变为原来的十分之一，为防止出现过拟合现象，将相似度系数作为评价的指标，若验证集相似度系数不再上升则停止训练。
将训练出的模型在测试集上进行测试，得出平均精度(average precision,AP)和平均召回率(average recall,AR)指标，AP表示的是模型的精度，AR表示的是模型误检的水平，其公式如下：
Figure BDA0003919315110000071
Figure BDA0003919315110000072
其中，TP代表正确检测出异物的数量，FP代表无异物却被检测出有异物的数量，FN代表有异物未被检测的数量，AP与AR的值越大代表模型越准确，在测试集上获得模型AP与AR结果分别为94.1％、96.2％，检测速度为24/FPS。
可选地，在本申请的一个实施例中，数据集由皮带上带有锚杆、铁块、铁棍、大块煤矸石、槽钢等异物图像与少量无异物正常图片组成，数据集中的样本图片主要来自于实际煤矿井下皮带应用场景，通过如图9所示的方法完成采集，受煤矿井下环境影响，获得的图片质量并不高，为提高模型的识别率，对获得的原始图像进行处理。
受井下环境影响，合适位置与角度的摄像头较少，共取得2500张左右的素材，通过标注平台对素材进行标注，获得与素材对应的标注文件，文件中存储了图片中标注框顶点坐标数据。为了满足深度学习训练需求与提高数据集多样性，对样本进行了仿射变换处理，如图片翻转、平移、旋转变换等，在图片进行变换时对应标注文件也按照变换方式进行不同处理，使得图片数据与标注文件数据保持一致。仿射变换标注文件计算公式如下：
Figure BDA0003919315110000073
旋转变换矩阵：
Figure BDA0003919315110000074
水平翻转变换矩阵：
Figure BDA0003919315110000075
垂直翻转变换矩阵：
Figure BDA0003919315110000076
镜像翻转变换矩阵：
Figure BDA0003919315110000077
其中x′、y′与x、y分别代表旋转后的顶点坐标数据与旋转前顶点左边数据，(a,b)表示旋转中心，θ表示旋转角度，w、h分别代表图片的高与宽。经过处理后最终得到数据集约有12000张图片。同时使用经过处理的数据集进行训练也能够提高模型的鲁棒性与泛化能力。
将完成标注与仿射变换的数据集按照8：1：1的比例划分为训练集、验证集和测试集，既随机分配数据集中9600张作为训练集，剩余1400张平均分为验证集与测试集。
为了实现上述实施例，本申请还提出一种井下皮带运输机异物检测装置。
图10为本申请实施例提供的一种井下皮带运输机异物检测装置的结构示意图。
如图10所示，该井下皮带运输机异物检测装置包括采集模块、处理模块、识别模块、分析数据处理模块、报警通知生成模块，其中，
采集模块，用于使用高帧率摄像仪采集井下皮带运输过程中的实时视频；
处理模块，用于对实时视频进行关键帧提取，并对提取后的图像进行增强处理，得到目标图像；
识别模块，用于将目标图像输入异物识别模型中，输出分析数据；
分析数据处理模块，用于将分析数据中识别到的异物目标框信息与实时视频进行叠加，输出带目标框的实时视频；
报警通知生成模块，用于将生成的带目标框的实时视频和分析数据中识别到的其他异物信息存入数据库，并根据数据库中的数据生成报警通知。
可选地，在本申请的一个实施例中，对提取后的图像进行增强处理，表示为：
Figure BDA0003919315110000081
其中，r(x,y)表示融合Retinex算法最终收到的图像信息，N表示尺度的总目数，wk表示每个尺度上的系数，I(x,y)＝R(x,y)×L(x,y)，R(x,y)表示物体的反射分量，L(x,y)表示光的照度分量，Hk(x,y)表示融入双边滤波理论生成的新的中心环绕函数。
可选地，在本申请的一个实施例中，异物识别模型以ResNet101作为的主干网络，在异物识别模型输出的基础上进行多尺度特征融合，并对特征融合得到的特征层进行边框回归与分类，异物识别模型的损失函数为Focal Loss损失函数。
可选地，在本申请的一个实施例中，训练异物识别模型，包括：
获取训练数据集，其中，训练数据集包括训练集和验证集，训练数据集包括煤矿井下的皮带应用场景图片；
使用训练集、基于随机梯度下降法优化损失函数对异物模型进行训练，直到与验证集的相似度系数不再上升，完成训练。
可选地，在本申请的一个实施例中，训练数据集由皮带上带有异物图像与无异物正常图片组成，获取训练数据集，包括：
通过标注平台对原始图片进行标注，获得与原始图片对应的标注文件，其中，标注文件包括原始图片的标注框顶点坐标数据；
对原始图片进行仿射变换处理，并在图片进行变换时对标注文件按照对应的变换方式进行处理，使得图片数据与标注文件数据保持一致，其中，仿射变换包括翻转、平移、旋转变换；
将完成标注与仿真变换的数据集按照预设比例进行划分，得到训练集和验证集。
需要说明的是，前述对井下皮带运输机异物检测方法实施例的解释说明也适用于该实施例的井下皮带运输机异物检测装置，此处不再赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种井下皮带运输机异物检测方法，其特征在于，包括以下步骤：
使用高帧率摄像仪采集井下皮带运输过程中的实时视频；
对所述实时视频进行关键帧提取，并对提取后的图像进行增强处理，得到目标图像；
将所述目标图像输入异物识别模型中，输出分析数据；
将所述分析数据中识别到的异物目标框信息与所述实时视频进行叠加，输出带目标框的实时视频；
将生成的所述带目标框的实时视频和所述分析数据中识别到的其他异物信息存入数据库，并根据数据库中的数据生成报警通知。
2.如权利要求1所述的方法，其特征在于，所述对提取后的图像进行增强处理，包括：
将所述提取后的图像转换为HSV空间图像；
在保持色调分量不变与校对饱和度分量情况下，使用融合Retinex算法对所述HSV空间图像的亮度分量进行增强；
将经过调整的HSV空间图像转换回原格式图像，完成图像增强，其中，
所述融合Retinex算法表示为：
Figure FDA0003919315100000011
其中，r(x,y)表示融合Retinex算法最终收到的图像信息，N表示尺度的总目数，wk表示每个尺度上的系数，I(x,y)＝R(x,y)×L(x,y)，R(x,y)表示物体的反射分量，L(x,y)表示光的照度分量，Hk(x,y)表示融入双边滤波理论生成的新的中心环绕函数。
3.如权利要求1所述的方法，其特征在于，所述异物识别模型以ResNet101作为的主干网络，在所述异物识别模型输出的基础上进行多尺度特征融合，并对特征融合得到的特征层进行边框回归与分类，所述异物识别模型的损失函数为Focal Loss损失函数。
4.如权利要求3所述的方法，其特征在于，训练所述异物识别模型，包括：
获取训练数据集，其中，所述训练数据集包括训练集和验证集，所述训练数据集包括煤矿井下的皮带应用场景图片；
使用所述训练集、基于随机梯度下降法优化损失函数对所述异物模型进行训练，直到与所述验证集的相似度系数不再上升，完成训练。
5.如权利要求4所述的方法，其特征在于，所述训练数据集由皮带上带有异物图像与无异物正常图片组成，获取所述训练数据集，包括：
通过标注平台对原始图片进行标注，获得与所述原始图片对应的标注文件，其中，所述标注文件包括所述原始图片的标注框顶点坐标数据；
对所述原始图片进行仿射变换处理，并在图片进行变换时对标注文件按照对应的变换方式进行处理，使得图片数据与标注文件数据保持一致，其中，所述仿射变换包括翻转、平移、旋转变换；
将完成标注与仿真变换的数据集按照预设比例进行划分，得到所述训练集和所述验证集。
6.一种井下皮带运输机异物检测装置，其特征在于，包括采集模块、处理模块、识别模块、分析数据处理模块、报警通知生成模块，其中，
所述采集模块，用于使用高帧率摄像仪采集井下皮带运输过程中的实时视频；
所述处理模块，用于对所述实时视频进行关键帧提取，并对提取后的图像进行增强处理，得到目标图像；
所述识别模块，用于将所述目标图像输入异物识别模型中，输出分析数据；
所述分析数据处理模块，用于将所述分析数据中识别到的异物目标框信息与所述实时视频进行叠加，输出带目标框的实时视频；
所述报警通知生成模块，用于将生成的所述带目标框的实时视频和所述分析数据中识别到的其他异物信息存入数据库，并根据数据库中的数据生成报警通知。
7.如权利要求6所述的装置，其特征在于，所述对提取后的图像进行增强处理，包括：
将所述提取后的图像转换为HSV空间图像；
在保持色调分量不变与校对饱和度分量情况下，使用融合Retinex算法对所述HSV空间图像的亮度分量进行增强；
将经过调整的HSV空间图像转换回原格式图像，完成图像增强，其中，
所述融合Retinex算法表示为：
Figure FDA0003919315100000021
其中，r(x,y)表示融合Retinex算法最终收到的图像信息，N表示尺度的总目数，wk表示每个尺度上的系数，I(x,y)＝R(x,y)×L(x,y)，R(x,y)表示物体的反射分量，L(x,y)表示光的照度分量，Hk(x,y)表示融入双边滤波理论生成的新的中心环绕函数。
8.如权利要求6所述的装置，其特征在于，所述异物识别模型以ResNet101作为的主干网络，在所述异物识别模型输出的基础上进行多尺度特征融合，并对特征融合得到的特征层进行边框回归与分类，所述异物识别模型的损失函数为Focal Loss损失函数。
9.如权利要求8所述的装置，其特征在于，训练所述异物识别模型，包括：
获取训练数据集，其中，所述训练数据集包括训练集和验证集，所述训练数据集包括煤矿井下的皮带应用场景图片；
使用所述训练集、基于随机梯度下降法优化损失函数对所述异物模型进行训练，直到与所述验证集的相似度系数不再上升，完成训练。
10.如权利要求9所述的装置，其特征在于，所述训练数据集由皮带上带有异物图像与无异物正常图片组成，获取所述训练数据集，包括：
通过标注平台对原始图片进行标注，获得与所述原始图片对应的标注文件，其中，所述标注文件包括所述原始图片的标注框顶点坐标数据；
对所述原始图片进行仿射变换处理，并在图片进行变换时对标注文件按照对应的变换方式进行处理，使得图片数据与标注文件数据保持一致，其中，所述仿射变换包括翻转、平移、旋转变换；
将完成标注与仿真变换的数据集按照预设比例进行划分，得到所述训练集和所述验证集。
CN202211349966.7A 2022-10-31 2022-10-31 井下皮带运输机异物检测方法和装置 Pending CN115601682A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211349966.7A CN115601682A (zh) 2022-10-31 2022-10-31 井下皮带运输机异物检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211349966.7A CN115601682A (zh) 2022-10-31 2022-10-31 井下皮带运输机异物检测方法和装置

Publications (1)

Publication Number Publication Date
CN115601682A true CN115601682A (zh) 2023-01-13

Family

ID=84850955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211349966.7A Pending CN115601682A (zh) 2022-10-31 2022-10-31 井下皮带运输机异物检测方法和装置

Country Status (1)

Country Link
CN (1) CN115601682A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309351A (zh) * 2023-02-15 2023-06-23 浙江丽威汽车控制系统有限公司 一种汽车工程物料供给加工系统
CN116958904A (zh) * 2023-08-07 2023-10-27 济宁安泰矿山设备制造有限公司 一种基于小样本检测的井下异物识别方法
CN116958556A (zh) * 2023-08-01 2023-10-27 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
CN118454895A (zh) * 2024-07-09 2024-08-09 贵州雷克康纳科技有限责任公司 一种基于机器视觉锚杆锚网溜井格栅堵塞检测及除铁系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309351A (zh) * 2023-02-15 2023-06-23 浙江丽威汽车控制系统有限公司 一种汽车工程物料供给加工系统
CN116309351B (zh) * 2023-02-15 2023-11-21 浙江丽威汽车控制系统有限公司 一种汽车工程物料供给加工系统
CN116958556A (zh) * 2023-08-01 2023-10-27 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
CN116958556B (zh) * 2023-08-01 2024-03-19 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
CN116958904A (zh) * 2023-08-07 2023-10-27 济宁安泰矿山设备制造有限公司 一种基于小样本检测的井下异物识别方法
CN116958904B (zh) * 2023-08-07 2024-05-07 济宁安泰矿山设备制造有限公司 一种基于小样本检测的井下异物识别方法
CN118454895A (zh) * 2024-07-09 2024-08-09 贵州雷克康纳科技有限责任公司 一种基于机器视觉锚杆锚网溜井格栅堵塞检测及除铁系统

Similar Documents

Publication Publication Date Title
Wei et al. Multi-target defect identification for railway track line based on image processing and improved YOLOv3 model
CN115601682A (zh) 井下皮带运输机异物检测方法和装置
CN101453575B (zh) 一种视频字幕信息提取方法
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in‐car camera
WO2020124247A1 (en) Automated inspection system and associated method for assessing the condition of shipping containers
US9330336B2 (en) Systems, methods, and media for on-line boosting of a classifier
CN110991447B (zh) 基于深度学习的列车车号精确定位与识别方法
KR102197930B1 (ko) 번호판 인식 방법 및 시스템
Toprak et al. Conditional weighted ensemble of transferred models for camera based onboard pedestrian detection in railway driver support systems
Kuchi et al. A machine learning approach to detecting cracks in levees and floodwalls
Wang et al. An improved YOLOX approach for low-light and small object detection: PPE on tunnel construction sites
CN115719475A (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
Arzhaeva et al. Development of Automated Diagnostic Tools for Pneumoconiosis Detection from Chest X-ray Radiographs
Chen et al. Foreign Object Detection in Railway Images Based on an Efficient Two‐Stage Convolutional Neural Network
CN116844143B (zh) 基于边缘增强的胚胎发育阶段预测与质量评估系统
CN111985269A (zh) 检测模型构建方法、检测方法、装置、服务器及介质
CN117557860A (zh) 基于YOLOv8的货运列车异物检测方法及系统
Ashraf et al. Efficient Pavement Crack Detection and Classification Using Custom YOLOv7 Model
CN117218672A (zh) 一种基于深度学习的病案文字识别方法及系统
CN114445767B (zh) 一种传输带传输异物检测方法及系统
Das et al. Object Detection on Scene Images: A Novel Approach
Hu et al. Hybrid Pixel‐Level Crack Segmentation for Ballastless Track Slab Using Digital Twin Model and Weakly Supervised Style Transfer
Gooda et al. Automatic detection of road cracks using EfficientNet with residual U-net-based segmentation and YOLOv5-based detection
Castillo et al. Object detection in digital documents based on machine learning algorithms
CN115272741A (zh) 一种细长柔性物体检测方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination