CN115170527A - 输送带跑偏视觉检测方法、装置、电子设备及存储介质 - Google Patents

输送带跑偏视觉检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115170527A
CN115170527A CN202210846674.8A CN202210846674A CN115170527A CN 115170527 A CN115170527 A CN 115170527A CN 202210846674 A CN202210846674 A CN 202210846674A CN 115170527 A CN115170527 A CN 115170527A
Authority
CN
China
Prior art keywords
image
conveyor belt
central line
conveying belt
belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210846674.8A
Other languages
English (en)
Inventor
袁建明
姚瑞阳
闫家豪
胡志辉
沈嘉禾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202210846674.8A priority Critical patent/CN115170527A/zh
Publication of CN115170527A publication Critical patent/CN115170527A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种输送带跑偏视觉检测方法、装置、电子设备及存储介质，其方法包括：获取输送带实时运输图像；将所述输送带实时运输图像输入训练完备的图像分割模型中，提取覆盖输送带边界曲线图像；确定所述覆盖输送带边界曲线图像的第一中心线与第二中心线，并计算所述第一中心线与第二中心线之间的像素距离；基于预设的坐标转换关系，确定所述像素距离对应的输送带偏移距离。提高了检测精度与安全性。

Description

输送带跑偏视觉检测方法、装置、电子设备及存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种输送带跑偏视觉检测方法、装置、电子设备及存储介质。
背景技术
现代化运输生产中，带式输送机是一种适用于散装物料连续运输的设备，它的优点是运输量大、运输距离远、运输能耗小、装卸方便等优点，广泛运用于矿山、冶金、电力、化工、粮食等领域。随着生产需求的不断扩大，输送带的运载量不断增加，为物料运输行业带来了巨大的经济效益，但作为带式输送机的牵引和承载的关键部件，输送带占带式输送机全部成本的40％～60％，输送长度最高可达数千米，其运行状态直接影响整个生产流程的稳定性。
输送带跑偏是带式输送机在实际运行过程中最常见的故障之一，主要包括：局部跑偏、整体跑偏、间歇性跑偏等。由于输送带长期磨损发生变形老化，输送带上物料分布不均匀等问题，容易导致输送带在运行过程中内部应力分布不对称状况，从而造成输送带偏离原有的纵向中心线的现象，即输送带跑偏。在带式输送机高速运转期间，轻度的输送带跑偏容易造成机器老化变形和偏置磨损状况；中度的输送带跑偏容易导致物料溢出，加剧输送带支撑托辊摩擦损伤，同时增加清理成本；重度的输送带跑偏可能引发大面积输送带撕裂，整条输送线停工、更换，甚至造成人员伤亡。
当前在企业生产过程中，一般采用人工定期巡检的方法检测输送带跑偏，但检测人员估计的输送状态不足以形成可靠数据，且无法对生产过程的安全状态进行统计分析；同时人工巡检存在危险高、效率低、劳动强度大和缺少实时检测功能等缺陷，长期的重复性机械工作也对工作人员造成巨大的工作疲劳，当检测人员发现输送带发生故障时，已经造成了输送带大面积撕裂等严重事故。此外，检测人员需要长期投入培训，人员和管理成本不断上升。因此，如何对输送带跑偏进行实时检测，以提供可靠的传送数据是一个亟待解决的问题。
发明内容
有鉴于此，有必要提供一种输送带跑偏视觉检测方法、装置、电子设备及存储介质，用以实时检测输送带偏移距离，提高运输安全。
为了实现上述目的，第一方面本发明提供一种输送带跑偏视觉检测方法，包括：
获取输送带实时运输图像；
将所述输送带实时运输图像输入训练完备的图像分割模型中，提取覆盖输送带边界曲线图像；
确定所述覆盖输送带边界曲线图像的第一中心线与第二中心线，并计算所述第一中心线与第二中心线之间的像素距离；
基于预设的坐标转换关系，确定所述像素距离对应的输送带偏移距离。
进一步的，所述训练完备的图像分割模型是基于改进型YOLACT网络进行训练的，所述训练完备的图像分割模型的训练过程，包括：
采集输送带历史运输图像，对所述历史运输图像进行标注，并基于标注后的图像构建训练集和测试集；
将所述训练集输入改进型YOLACT网络中的主干网络中提取初始特征信息；
结合主干网络和改进FPN特征金字塔结构，对所述初始特征信息基于预设的融合方式进行融合，得到有效特征信息；
联合计算所述有效特征信息中的第一有效特征信息及第二有效特征信息，输出第一覆盖输送带边界曲线图像；
利用所述第一覆盖输送带边界曲线图像与验证集中的第二覆盖输送带边界曲线图像进行损失计算，若损失函数达到预设损失条件，所述图像分割模型训练完备。
进一步的，所述结合主干网络和改进FPN特征金字塔结构，对所述初始特征信息基于预设的融合方式进行融合，得到有效特征信息，包括：
对所述初始特征信息基于自上而下的融合方式进行融合，得到中间特征信息；
将所述初始特征信息中的第一初始特征信息作为自底而上融合的基底，并结合所述中间特征信息进行自下而上的融合，得到所述有效特征信息。
进一步的，所述覆盖输送带边界曲线图像的第一中心线为输送带机器中心线；
确定所述覆盖输送带边界曲线图像的第二中心线，包括：
以所述覆盖输送带边界曲线图像的中心为原点，以所述第一中心线为第一方向坐标轴建立图像坐标系；
确定所述覆盖输送带边界曲线图像在所述图像坐标系第二方向上的输送带宽度，并将所述输送带宽度的中心点坐标集合作为所述第二中心线。
进一步的，所述计算所述第一中心线与第二中心线之间的像素距离，包括：
分别确定第一中心线与第二中心线在所述图像坐标系下的像素坐标，并根据所述像素坐标确定所述第一中心线与所述第二中心线之间的像素距离。
进一步的，所述预设的坐标转换关系包括图像坐标系、相机坐标系及世界坐标系之间的转换关系。
进一步的，所述基于预设的坐标转换关系，确定所述像素距离对应的输送带偏移距离，包括：
基于所述预设坐标转换关系包括的比例关系确定所述像素距离对应的输送带偏移距离，其中，所述比例关系由相机距传送带的高度、相机参数、像素宽度及像素长度确定。
第二方面，本发明还提供一种输送带跑偏视觉检测装置，包括：
获取模块，用于获取输送带实时运输图像；
提取模块，用于将所述输送带实时运输图像输入训练完备的图像分割模型中，提取覆盖输送带边界曲线图像；
计算模块，用于确定所述覆盖输送带边界曲线图像的第一中心线与第二中心线，并计算所述第一中心线与第二中心线之间的像素距离；
确定模块，用于基于预设的坐标转换关系，确定所述像素距离对应的输送带偏移距离。
第三方面，本发明还提供一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述输送带跑偏视觉检测方法中的步骤。
第四方面，本发明还提供一种计算机存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述输送带跑偏视觉检测方法中的步骤。
本发明可以通过训练完备的图像分割模型分割出覆盖输送带边界的图像，便于对输送带的整体偏移进行把控；并且通过提取覆盖输送带边界曲线图像的两条中心线，然后利用坐标转换关系确定输送带的偏移距离，实现了实时精准检测，还保障了检测的安全性。
附图说明
图1为本发明提供的一种输送带跑偏视觉检测方法的一实施例的流程示意图；
图2为本发明一实施例提供的一种覆盖输送带边界曲线图像的参考图；
图3为本发明一实施例提供的图像分割模型训练过程的流程示意图；
图4为本发明一实施例提供的图像分割模型的结构示意图；
图5为本发明一实施例提供的FPN计算过程图；
图6为本发明一实施例提供的相机坐标与世界坐标的转换图；
图7为本发明提供的输送带跑偏视觉检测装置的一实施例的结构示意图；
图8为本发明一实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明提出利用图像识别技术对带式输送机的输送带位置进行实时监测，通过识别和定位输送带上物料状态和输送带的位置，综合评估输送带发生跑偏的风险程度，从而实现输送带跑偏在线诊断和风险预测功能，保障带式输送机的安全生产与连续运转。
YOLACT：含义是You Only Look At CoefficienTs，是一篇非常有创新性的实时实例分割算法。YOLACT的贡献是没有在Mask R-CNN基础上小修小补，而是基于one-stage全卷积算法重新设计，并且速度达到了实时，容易部署，广泛应用于各类落地场景。YOLACT的核心思想是并行预测当前图片的原型掩码和每个bbox实例的掩码系数，然后通过将原型与掩模系数线性组合来生成实例掩码。由于并行预测，不需要two-stage的roipool等操作，可以保持高的输出分辨率，故分割精度比较高。
本发明提供了一种输送带跑偏视觉检测方法、装置、电子设备及存储介质，以下分别进行说明。
请参阅图1，图1为本发明提供的一种输送带跑偏视觉检测方法的一实施例的流程示意图，本发明的一个具体实施例，公开了一种输送带跑偏视觉检测方法，包括：
步骤S101：获取输送带实时运输图像；
步骤S102：将输送带实时运输图像输入训练完备的图像分割模型中，提取覆盖输送带边界曲线图像；
步骤S103：确定覆盖输送带边界曲线图像的第一中心线与第二中心线，并计算第一中心线与第二中心线之间的像素距离；
步骤S104：基于预设的坐标转换关系，确定像素距离对应的输送带偏移距离。
其中，输送带上的实时运输图像可以由相机进行拍摄，然后将拍摄的实时运输图像输入预先训练好的图像分割模型中进行分割提取，得到覆盖输送带边界曲线图像，可以理解的是，通过提取覆盖输送带边界的图像可以对输送带有整体认知，便于观察输送带是否偏移。请参考图2，图2为本发明一实施例提供的一种覆盖输送带边界曲线图像的参考图。
然后对分割出的输送带图像进行中心线提取，其中，输送带图像的额中心线包括机器中心线和输送带图像上的中心线，通过两条中心线的相交角度可以推导出输送带的偏移程度，具体的，首先计算图像中心线与机器中心线之间的像素距离，然后根据图像、相机和真实的世界坐标转换关系，确定上述像素距离对应的真实世界的偏移距离。
本发明可以通过训练完备的图像分割模型分割出覆盖输送带边界的图像，便于对输送带的整体偏移进行把控；并且通过提取覆盖输送带边界曲线图像的两条中心线，然后利用坐标转换关系确定输送带的偏移距离，实现了实时精准检测，还保障了检测的安全性。
在本发明的一个具体实施例中，训练完备的图像分割模型是基于改进型YOLACT网络进行训练的。
需要说明的是，改进型YOLACT网络的改进思路是基于传统的YOLACT网络进行改进的，主要改进主干网络部分、局部优化处理以及特征金字塔部分，增强输送带特征融合的识别。考虑带式输送机的运行环境及检测要求，选择并改进YOLACT算法，结合输送带分割的特点，将原算法的ResNet主干特征提取网络替换为ResNeXt主干特征提取网络，在特征金字塔部分增加了自底而上融合的FPN结构，以增强底层边缘信息的定位能力，增强语义信息；采用三个3×3的卷积核叠加替换YOLACT网络中的7×7的卷积核，增加网络深度的同时减少计算参数；使用空洞卷积增强特征层的空间信息，最终实现YOLACT算法检测精度的提升。
请参阅图3，图3为本发明一实施例提供的图像分割模型训练过程的流程示意图。图像分割模型的训练过程，包括：
步骤S301：采集输送带历史运输图像，对历史运输图像进行标注，并基于标注后的图像构建训练集和测试集；
步骤S302：将训练集输入改进型YOLACT网络中的主干网络中提取初始特征信息；
步骤S303：结合主干网络和改进FPN特征金字塔结构，对初始特征信息基于预设的融合方式进行融合，得到有效特征信息；
步骤S304：联合计算有效特征信息中的第一有效特征信息及第二有效特征信息，输出第一覆盖输送带边界曲线图像；
步骤S305：利用第一覆盖输送带边界曲线图像与验证集中的第二覆盖输送带边界曲线图像进行损失计算，若损失函数达到预设损失条件，图像分割模型训练完备。
其中，由训练集和验证集组成的数据集可以通过采集的真实场景下的运输视频进行生成，具体的，可以在Labelme工具中对数据集中的图像进行标注，生成可以较好地覆盖输送带边界曲线图像的标签，标注完成生成对应的json文件，将图像放在coco文件夹中转换为最终的数据集格式。
然后将数据集按照8:2划分为训练集和验证集，并将划分完毕的数据集输入至预先训练完备的图像分割模型中，具体的，请参阅图4，图4为本发明一实施例提供的图像分割模型的结构示意图。
在本实施例中，首先，将数据集中的图片输入到YOLAT的输入端，为了能够更好的实现完整输送带的识别，主干网络ResNeXt-50的输入端图像分辨率为550×550。可以理解的是，本文选用的ResNeXt特征提取网络结构可以在不增加网络计算成本的基础上提高图像识别的准确率，在与ResNet相同的参数复杂度情况下表现出更好的特征提取效果。在深度和宽度的基础上，ResNeXt引入了一个新的维度“基数-cardinality”，在实验中能够明显分析出，当主干网络的深度和宽度趋于饱和的时候，增加基数能够很好地提升网络的图像识别性能。在不明显增加计算量的同时，提高输送带边缘特征的读取效果。通过主干网络能够保留更多的语义特征，图片经过原始的主干网络提取后得到初始特征信息，即将图片卷积为含不同的语义信息和目标信息的C1、C2、C3、C4及C5五层特征层。
然后，YOLACT结合主干网络和改进的FPN特征金字塔结构，对主干网络计算得到的初始特征信息，即不同的特征层进行融合，通过自上而下和自下而上的的融合方式加强底部各层的语义信息，以生成有效特征信息P2、P3、P4、P5、P6及P7。
需要说明的是，改进的FPN特征金字塔结构是根据原始的特征金字塔进行改进的，在原始的特征金字塔中，进行特征融合的特征地图仅仅包括C3、C4、C5前三个特征层。在最终得到的多尺度特征金字塔中，P5是C5简单的复制得到，P6和P7是P5经过两次stride＝2的卷积得到的结果，本质上是主干网络的卷积延伸。只有P3和P4是经过特征融合得到的特征层，这样会使得网络本身的检测精度有所下降。
本发明实施例中改进FPN，是在原来FPN结构自顶向下融合路径上，增加了一条自底而上的融合路径。原始FPN结构中的P3、P4、P5层对应改进后的M3、M4、M5层，并将原始结构中的P6、P7层移动至自底而上融合路径的顶部，将主干网络提取到的C2特征地图作为自底而上融合路径的底部特征地图。
通过FPN的优化，带来物体检测性能的显著提升，自上而下和自底而上的融合能够保证上下特征层都可学习大小尺寸的目标，即较浅的特征层的也需要学习加强语义信息，较深的特征层的也需要学习小目标和边缘信息；FPN层能够同时获得较好的语义信息和较强的空间信息。
进一步的，将第一有效特征信息，即P3、P4、P5、P6和P7特征层输入至PredictionHead部分以及Fast NMS部分中；同时将第二有效特征信息，即P3特征层进行局部优化，可以理解的是，空洞卷积能够在3×3卷积的基础上提供更大的感受野，为了减少图像过大带来的参数数量，保证特征层的空间信息不过分损失，使用空洞卷积代替普通卷积核池化过程，从而增强特征层的空间信息，然后将优化后的P3特征层输入至Protonet部分进行计算，由最终的两个分支得到卷积神经网络的训练结果，提取出第一覆盖输送带边界曲线图像。
再进一步的，将第一覆盖输送带边界曲线图像与验证集中的图片中的第二覆盖输送带边界图像区域进行验证以进行损失计算。若损失函数达到预设损失条件，比如当损失函数减小至0.5以下并趋于稳定阶段，认为模型的训练过程基本完成。
在本发明的一个具体实施例中，结合主干网络和改进FPN特征金字塔结构，对初始特征信息基于预设的融合方式进行融合，得到有效特征信息，包括：
对初始特征信息基于自上而下的融合方式进行融合，得到中间特征信息；
将初始特征信息中的第一初始特征信息作为自下而上融合的基底，并结合中间特征信息进行自下而上的融合，得到有效特征信息。
具体的，请参阅图5，图5为本发明一实施例提供的FPN计算过程图。
其中，自上而下的融合路径计算过程对应M4、M5两个步骤。例如为了得到融合特征层Mi，首先对Mi+1层进行上采样，扩大两倍得到Qi+1。对Ci进行大小为1×1的卷积调整通道数与Qi+1通道数相同，得到Ui。将上采样扩大得到的特征层Qi+1与调整完通道数的特征层Ui相加得到融合的特征层Mi。
具体的，自底而上的融合路径计算过程对应P3、P4、P5三个步骤。在这一部分与传统的双向融合不同的是去除了一个特征层M2，直接将C2特征层通过大小为1×1的卷积调整通道数，横向连接至P2，作为向上融合的基底。其他部分则通过如下计算，例如为了得到向上融合的特征层Pi+1，对Pi层进行大小为3×3、步长为2的卷积计算得到特征层Yi+1，将左侧融合得到的特征层Mi+1与特征层Yi+1逐像素相加得到特征层Xi+1，最后对特征层Xi+1进行卷积核大小为3×3、步长为1的卷积，得到对应的融合特征层Pi+1。
在本发明的一个具体实施例中，覆盖输送带边界曲线图像的第一中心线为输送带机器中心线；
确定覆盖输送带边界曲线图像的第二中心线，包括：
以覆盖输送带边界曲线图像的中心为原点，以第一中心线为第一方向坐标轴建立图像坐标系；
确定覆盖输送带边界曲线图像在图像坐标系第二方向上的输送带宽度，并将输送带宽度的中心点坐标集合作为第二中心线。
可以理解的是，为了便于理解两条中心线，可以以覆盖输送带边界曲线图像的中心为原点，以第一中心线即机器中心线为第一方向(垂直)坐标轴建立图像坐标系，其中，水平方向为U轴，垂直方向为V轴，那么，第一中心线的坐标为(0，v1)，第二中心线坐标为(u2，v2)。
因此，水平方向的输送带图像宽度为：
Figure BDA0003731468790000121
其中，hw为v值等于vi时水平方向的像素个数，uw0为图像最左侧对应水平坐标，uwn为图像最右侧对应水平坐标。
故输送带中心线图像横坐标u为：
Figure BDA0003731468790000122
其中，Ubf为YOLACT标注目标区域水平正方向的边界值。
可以理解的是，在提取出覆盖输送带边界曲线图像后再提取图像的第二中心线，可以通过输送带中心线与机器中心线在图像坐标系的第二方向，即水平方向判断输送带跑偏程度。
在本发明的一个具体实施例中，计算第一中心线与第二中心线之间的像素距离，包括：
分别确定第一中心线与第二中心线在图像坐标系下的像素坐标，并根据像素坐标确定第一中心线与第二中心线之间的像素距离。
可以理解的是，由于图像坐标系以机器中心线为垂直方向的坐标轴，因此可以重点关注输送带中心线在图像坐标系下的像素坐标，具体可以根据水平方向的坐标值确定第一中心线与第二中心线的像素距离。
在本发明的一个具体实施例中，预设的坐标转换关系包括图像坐标系、相机坐标系及世界坐标系之间的转换关系。
可以理解的是，改进的YOLACT算法能够很好地标定输送带图像及输送带的边界，为了能够得到输送带跑偏的真实偏心距离及跑偏程度，需要对输送带位置进行量化处理。量化过程主要通过图像、相机和真实的世界坐标转换，以得到被分割出来输送带每个像素位置对应的真实物理位置。具体的，请参阅图6，图6为本发明一实施例提供的相机坐标与世界坐标的转换图。
在本发明的一个具体实施例中，基于预设的坐标转换关系，确定像素距离对应的输送带偏移距离，包括：
基于预设坐标转换关系包括的比例关系确定像素距离对应的输送带偏移距离，其中，比例关系由相机距传送带的高度、相机参数、像素宽度及像素长度确定。
其中，图6主要包含三个坐标系，分别是图像坐标系UO1V，以O2为原点的相机坐标系，世界坐标系XO3Y。可以理解的是，世界坐标系上的点通过摄像机光轴成像在图像坐标的点是成比例的，基于这个比例关系，可以计算出像素距离对应的偏移距离。
具体的，相机镜头中心在图像上的像素点Q1与其在世界坐标中的点M是构建比例关系的重要媒介，通过几何关系推导可以求解PQ的长度。其中，偏移距离PQ为像素距离P1Q1通过比例关系进行计算得到。
可以理解的是，在图像坐标系下V轴与机器中心线重合，在世界坐标下Y轴与机器中心线重合，因此，在中心线提取完成后图像坐标系下的中心线各点坐标为(ui，vi)，Q1为在图像坐标系下输送带中心线上某一点其坐标为(uQ，vQ)，后面的P1Q1即为在图像坐标下输送带中心线上某一点Q1相对与机器中心线的偏移距离，这里PQ的长度为在世界坐标系下皮带中心线上某一点Q与对应的机器中心线上这一点P的在水平方向上的偏移距离，其物理意义与F(uQ，vQ)相同，均为偏移距离。
这里求解PQ就是为了演示图像坐标如何转换为真实的世界坐标，即F(ui，vi)为对应中心线(ui，vi)坐标的真实跑偏距离。F(ui，vi)是输送带中心线上每一点的相对与机器中心线的真实跑偏距离，对其求平均偏差μ，即可得到真实平均跑偏距离。
结合图6，PQ的具体求解过程包括：
Figure BDA0003731468790000141
Figure BDA0003731468790000142
β＝α+γ、
Figure BDA0003731468790000143
Figure BDA0003731468790000144
Figure BDA0003731468790000145
Figure BDA0003731468790000146
其中，H为摄像机距离输送带平面之间的高度，O3M为图像中心坐标对应的世界坐标点与摄像头在Y轴上的距离，O1(ucenter,vcenter)为镜头中心点的图像坐标，P1(u1,v1)和Q1(u2,v2)为测量像素点的图像坐标，P1Q1为一变量，v1与v2相等，xpix为实际像素的长度，ypiy为实际像素的宽度，f为摄像头焦距，α为HO3M平面内O2点水平方向与O1M之间的夹角，β为P1P与Y轴之间的夹角，γ为P1P与O1M之间的夹角。
故输送带中心线的真实平均偏差μ为：
Figure BDA0003731468790000147
其中，v0和vn为分割出的目标区域v的取值范围，F(ui,vi)为对应中心线(ui,vi)坐标的真实跑偏距离。
为了更好实施本发明实施例中的输送带跑偏视觉检测方法，在输送带跑偏视觉检测方法基础之上，对应的，请参阅图7，图7为本发明提供的输送带跑偏视觉检测装置的一实施例的结构示意图，本发明实施例提供了一种输送带跑偏视觉检测装置700，包括：
获取模块701，用于获取输送带实时运输图像；
提取模块702，用于将输送带实时运输图像输入训练完备的图像分割模型中，提取覆盖输送带边界曲线图像；
计算模块703，用于确定覆盖输送带边界曲线图像的第一中心线与第二中心线，并计算第一中心线与第二中心线之间的像素距离；
确定模块704，用于基于预设的坐标转换关系，确定像素距离对应的输送带偏移距离。
这里需要说明的是：上述实施例提供的装置700可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
基于上述输送带跑偏视觉检测方法，本发明实施例还相应的提供一种电子设备，包括：处理器和存储器以及存储在存储器中并可在处理器上执行的计算机程序；处理器执行计算机程序时实现如上述各实施例的输送带跑偏视觉检测方法中的步骤。
图8中示出了适于用来实现本发明实施例的电子设备800的结构示意图。本发明实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
电子设备包括：存储器以及处理器，其中，这里的处理器可以称为下文的处理装置801，存储器可以包括下文中的只读存储器(ROM)802、随机访问存储器(RAM)803以及存储装置808中的至少一项，具体如下所示：
如图8所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM802被安装。在该计算机程序被处理装置801执行时，执行本发明实施例的方法中限定的上述功能。
基于上述输送带跑偏视觉检测方法，本发明实施例还相应的提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上述各实施例的输送带跑偏视觉检测方法中的步骤。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种输送带跑偏视觉检测方法，其特征在于，包括：
获取输送带实时运输图像；
将所述输送带实时运输图像输入训练完备的图像分割模型中，提取覆盖输送带边界曲线图像；
确定所述覆盖输送带边界曲线图像的第一中心线与第二中心线，并计算所述第一中心线与第二中心线之间的像素距离；
基于预设的坐标转换关系，确定所述像素距离对应的输送带偏移距离。
2.根据权利要求1所述的输送带跑偏视觉检测方法，其特征在于，所述训练完备的图像分割模型是基于改进型YOLACT网络进行训练的，所述训练完备的图像分割模型的训练过程，包括：
采集输送带历史运输图像，对所述历史运输图像进行标注，并基于标注后的图像构建训练集和测试集；
将所述训练集输入改进型YOLACT网络中的主干网络中提取初始特征信息；
结合主干网络和改进FPN特征金字塔结构，对所述初始特征信息基于预设的融合方式进行融合，得到有效特征信息；
联合计算所述有效特征信息中的第一有效特征信息及第二有效特征信息，输出第一覆盖输送带边界曲线图像；
利用所述第一覆盖输送带边界曲线图像与验证集中的第二覆盖输送带边界曲线图像进行损失计算，若损失函数达到预设损失条件，所述图像分割模型训练完备。
3.根据权利要求2所述的输送带跑偏视觉检测方法，其特征在于，所述结合主干网络和改进FPN特征金字塔结构，对所述初始特征信息基于预设的融合方式进行融合，得到有效特征信息，包括：
对所述初始特征信息基于自上而下的融合方式进行融合，得到中间特征信息；
将所述初始特征信息中的第一初始特征信息作为自底而上融合的基底，并结合所述中间特征信息进行自底而上的融合，得到所述有效特征信息。
4.根据权利要求1所述的输送带跑偏视觉检测方法，其特征在于，所述覆盖输送带边界曲线图像的第一中心线为输送带机器中心线；
确定所述覆盖输送带边界曲线图像的第二中心线，包括：
以所述覆盖输送带边界曲线图像的中心为原点，以所述第一中心线为第一方向坐标轴建立图像坐标系；
确定所述覆盖输送带边界曲线图像在所述图像坐标系第二方向上的输送带宽度，并将所述输送带宽度的中心点坐标集合作为所述第二中心线。
5.根据权利要求4所述的输送带跑偏视觉检测方法，其特征在于，所述计算所述第一中心线与第二中心线之间的像素距离，包括：
分别确定第一中心线与第二中心线在所述图像坐标系下的像素坐标，并根据所述像素坐标确定所述第一中心线与所述第二中心线之间的像素距离。
6.根据权利要求5所述的输送带跑偏视觉检测方法，其特征在于，所述预设的坐标转换关系包括图像坐标系、相机坐标系及世界坐标系之间的转换关系。
7.根据权利要求6所述的输送带跑偏视觉检测方法，其特征在于，
所述基于预设的坐标转换关系，确定所述像素距离对应的输送带偏移距离，包括：
基于所述预设坐标转换关系包括的比例关系确定所述像素距离对应的输送带偏移距离，其中，所述比例关系由相机距传送带的高度、相机参数、像素宽度及像素长度确定。
8.一种输送带跑偏视觉检测装置，其特征在于，包括：
获取模块，用于获取输送带实时运输图像；
提取模块，用于将所述输送带实时运输图像输入训练完备的图像分割模型中，提取覆盖输送带边界曲线图像；
计算模块，用于确定所述覆盖输送带边界曲线图像的第一中心线与第二中心线，并计算所述第一中心线与第二中心线之间的像素距离；
确定模块，用于基于预设的坐标转换关系，确定所述像素距离对应的输送带偏移距离。
9.一种电子设备，其特征在于，包括存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至7中任一项所述输送带跑偏视觉检测方法中的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1至7中任一项所述输送带跑偏视觉检测方法中的步骤。
CN202210846674.8A 2022-07-05 2022-07-05 输送带跑偏视觉检测方法、装置、电子设备及存储介质 Pending CN115170527A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210846674.8A CN115170527A (zh) 2022-07-05 2022-07-05 输送带跑偏视觉检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210846674.8A CN115170527A (zh) 2022-07-05 2022-07-05 输送带跑偏视觉检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115170527A true CN115170527A (zh) 2022-10-11

Family

ID=83495890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210846674.8A Pending CN115170527A (zh) 2022-07-05 2022-07-05 输送带跑偏视觉检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115170527A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359055A (zh) * 2022-10-19 2022-11-18 煤炭科学技术研究院有限公司 运输机皮带边缘检测方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359055A (zh) * 2022-10-19 2022-11-18 煤炭科学技术研究院有限公司 运输机皮带边缘检测方法、装置、电子设备和存储介质
CN115359055B (zh) * 2022-10-19 2023-02-07 煤炭科学技术研究院有限公司 运输机皮带边缘检测方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111340752B (zh) 屏幕的检测方法、装置、电子设备及计算机可读存储介质
Qi et al. MYOLOv3-Tiny: A new convolutional neural network architecture for real-time detection of track fasteners
Liu et al. A rail surface defect detection method based on pyramid feature and lightweight convolutional neural network
CN111079632A (zh) 文本检测模型的训练方法、装置、计算机设备和存储介质
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN111462222B (zh) 待侦测物体储量确定方法、装置、设备及介质
US20210390282A1 (en) Training data increment method, electronic apparatus and computer-readable medium
CN114283155B (zh) 矿石图像的分割方法、装置及计算机可读存储介质
Chen et al. A deep region-based pyramid neural network for automatic detection and multi-classification of various surface defects of aluminum alloys
CN111523429A (zh) 基于深度学习的堆钢识别方法
CN115170527A (zh) 输送带跑偏视觉检测方法、装置、电子设备及存储介质
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
Sun et al. Cascaded detection method for surface defects of lead frame based on high-resolution detection images
WO2024174726A1 (zh) 基于深度学习的手写及打印文本检测方法和装置
CN113643173A (zh) 水印去除方法、装置、终端设备及可读存储介质
Chen et al. Mobile imaging and computing for intelligent structural damage inspection
CN111008634B (zh) 一种基于实例分割的字符识别方法及字符识别装置
CN116912628A (zh) 训练缺陷检测模型及检测缺陷的方法和装置
CN117132540A (zh) 一种基于分割模型的pcb电路板缺陷后处理方法
CN116843657A (zh) 基于注意力融合的焊接缺陷检测方法及装置
KR102458896B1 (ko) 세그멘테이션 맵 기반 차량 번호판 인식 방법 및 장치
CN114419693A (zh) 一种用于人脸深伪检测的方法和装置
CN113012132A (zh) 一种图像相似度确定方法、装置及计算设备、存储介质
Hwang et al. Deep U-NET based heating film defect inspection system
Liu et al. YOLOT: Multi-scale and diverse tire sidewall text region detection based on You-Only-Look-Once (YOLOv5)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination