CN115049632A - 管带扭转检测方法、装置、设备和存储介质 - Google Patents

管带扭转检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN115049632A
CN115049632A CN202210750149.6A CN202210750149A CN115049632A CN 115049632 A CN115049632 A CN 115049632A CN 202210750149 A CN202210750149 A CN 202210750149A CN 115049632 A CN115049632 A CN 115049632A
Authority
CN
China
Prior art keywords
pipe belt
pipe
edge
belt
tube
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210750149.6A
Other languages
English (en)
Inventor
朱友康
万定锐
谢勇祥
陈玉国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hande Intelligent Robot Co ltd
Original Assignee
Shenzhen Hande Intelligent Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hande Intelligent Robot Co ltd filed Critical Shenzhen Hande Intelligent Robot Co ltd
Priority to CN202210750149.6A priority Critical patent/CN115049632A/zh
Publication of CN115049632A publication Critical patent/CN115049632A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Tires In General (AREA)
  • Tyre Moulding (AREA)
  • Structure Of Belt Conveyors (AREA)

Abstract

本发明实施例公开了一种管带扭转检测方法、装置、设备和存储介质，该方法包括：获取管带机的管带图像；对管带图像进行图像分割，得到多个区域；从多个区域中筛选符合预定条件的管带相关区域，并确定管带相关区域中的管带边缘和管带合拢处边缘；根据管带边缘与管带合拢处边缘之间的相对位置，确定管带是否发生扭转。本发明实施例通过对管带图像进行图像分割，识别管带相关区域，从而根据管带相关区域中管带边缘和管带合拢处边缘之间的相对位置，来确定管带是否发生扭转，实现了在非接触式下管带扭转的自动化检测，提高了检测效率，节省了人力成本。

Description

管带扭转检测方法、装置、设备和存储介质
技术领域
本发明涉及扭管检测领域，尤其涉及一种管带扭转检测方法、装置、设备和存储介质。
背景技术
在管带机长距离传输应用场景中，有时会出现管带扭转现象(称为扭管)，导致管带漏料，管带断裂等危险现象。传统管带扭转检测方法一般有两种方法，设计接触式的扭管检测装置和人工监测。
设计接触式的扭管检测装置方法，在管带固定支架安装接触式传感器，当发生管带扭管时，管带扭转至传感器附近与合拢处边缘接触从而触发报警，但这种方法优点在于成本低，缺点在于检测精度不高；并且，管带本身是可拉伸的，管带有直线或弧形线段，管带填料是否饱满，管带表面赃物，管带传输时的局部变形等都会导致管带形状，大小的复杂性，非常容易导致误报警，接触式的设置也容易损坏检测装置。而人工检测的检测方法，其人力成本高，长距离传输管带机下还需人工巡检，效率低，高速传输管带机对工人的人身安全也有威胁。因此，如何对管带机的管带发生扭转的情况在非接触式下自动化进行检测，是亟需解决的问题。
发明内容
第一方面，本发明提供一种管带扭转检测方法，应用于管带机，包括：
获取管带机的管带图像；
采用视觉检测模型对所述管带图像进行图像分割，得到多个区域；
从所述多个区域中筛选符合预定条件的管带相关区域，并识别所述管带相关区域中的管带边缘和管带合拢处边缘；
根据识别到的所述管带边缘与所述管带合拢处边缘之间的相对位置，确定管带是否发生扭转。
在可选的实施方式中，还包括：
当未识别到所述管带相关区域中的管带合拢处边缘时，确定管带未发生扭转。
在可选的实施方式中，所述视觉检测模型的构建过程包括：
对双向分割网络的语义分支、聚集层和助推部分进行更改，得到视觉检测模型；所述更改包括：
将双向分割网络中语义分支的上下文嵌入块的输入与通道权重相乘；
在所述双向分割网络的聚集层中，设置反卷积分割头，以进行上采样操作；
删除所述双向分割网络的助推部分分割头的辅助训练分支；
将反卷积分割头作为助推部分的分割头，设置分割头激活函数为多分类输出函数。
在可选的实施方式中，所述反卷积分割头包括依次连接的线性插值层、两个反卷积归一化层和反卷积层。
在可选的实施方式中，所述从所述多个所述区域中筛选符合预定条件的管带相关区域包括：
计算每个区域的长度和宽度；
将所述每个区域的长度和宽度分别与预设的长度阈值和宽度阈值进行比较；
若所述每个区域的长度和宽度分别大于等于所述预设的长度阈值和宽度阈值，则将所述区域作为管带相关区域，反之则删除相应的区域。
在可选的实施方式中，所述根据所述管带边缘与所述管带合拢处边缘之间的相对位置，确定管带是否发生扭转包括：
采用最小二乘法提取所述管带相关区域中的管带上边缘和管带下边缘；
计算所述管带上边缘和所述管带下边缘之间的第一垂直距离，以及计算所述管带合拢处边缘的中心点与所述管带上边缘之间的第二垂直距离；
根据所述第一垂直距离与所述第二垂直距离之间的比值，确定管带是否发生扭转。
在可选的实施方式中，所述根据所述第一垂直距离与所述第二垂直距离之间的比值，确定管带是否发生扭转包括：
若所述第一垂直距离与所述第二垂直距离之间的比值大于预设比值阈值，则确定管带发生扭转；
若所述第一垂直距离与所述第二垂直距离之间的比值小于等于所述预设比值阈值，则确定管带未发生扭转。
第二方面，本发明提供一种管带扭转检测装置，包括：
获取模块，用于获取管带机的管带图像；
分割模块，用于对所述管带图像进行图像分割，得到多个区域；
筛选模块，用于从所述多个区域中筛选符合预定条件的管带相关区域，并识别所述管带相关区域中的管带边缘和管带合拢处边缘；
确定模块，用于根据识别到的所述管带边缘与所述管带合拢处边缘之间的相对位置，确定管带是否发生扭转。
第三方面，本发明提供一种计算机设备，所述计算机设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施前述任一项所述的管带扭转检测方法。
第四方面，本发明提供一种计算机存储介质，其存储有计算机程序，所述计算机程序被执行时，实施前述任一项所述的管带扭转检测方法。
本发明实施例具有如下有益效果：
本发明实施例所提供的管带扭转检测方法，包括获取管带机的管带图像，对管带图像进行图像分割，得到多个区域；从多个区域中筛选符合预定条件的管带相关区域，并确定管带相关区域中的管带边缘和管带合拢处边缘；根据管带边缘与管带合拢处边缘之间的相对位置，确定管带是否发生扭转。本发明实施例通过对管带图像进行图像分割，以识别管带图像中的管带相关区域，从而根据管带相关区域中管带边缘和管带合拢处边缘之间的相对位置，来确定管带是否发生扭转，以此实现扭管的自动化检测。本发明实施例相较于接触式的检测装置，实现了在非接触式下管带扭转的自动化检测，提高了检测的安全性，避免接触式损坏检测装置的情况；而相较于人工检测的方式，本实施例实现了自动化检测，提高了检测效率，节省了人力成本。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明实施例中管带扭转检测方法的第一个实施方式示意图；
图2示出了本发明实施例中管带扭转检测方法的第二个实施方式示意图；
图3示出了本发明实施例中双向分割网络的结构示意图；
图4示出了本发明实施例中视觉检测模型的结构示意图；
图5示出了本发明实施例中上下文嵌入块的示意图；
图6示出了本发明实施例中反卷积分割头的结构示意图；
图7示出了本发明实施例中管带扭转检测方法的第三个实施方式示意图；
图8示出了本发明实施例中管带相关区域识别的第一个示意图；
图9示出了本发明实施例中管带相关区域识别的第二个示意图；
图10示出了本发明实施例中管带扭转检测方法的第四个实施方式示意图；
图11示出了本发明实施例中管带边缘与管带合拢处边缘的中心点之间的相对位置示意图；
图12示出了本发明实施例中管带扭转检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
IoU(Intersection over Union)，一种测量在特定数据集中检测相应物体准确度的一个标准。
MIOU，在特定数据集中的每一个类的交并比的平均值。
实施例1
请参照图1，本发明实施例提供了一种管带扭转检测方法，下面对该管带扭转检测方法进行详细说明。
S10，获取管带机的管带图像。
采用光学相机对管带机进行拍照得到管带图像，并将管带图像发送至工控机进行检测，工控机将检测结果发送至监控终端，并同步将采集的图像压缩同步发送至监控终端实现实时在线查看。
S20，采用视觉检测模型对管带图像进行图像分割，得到多个区域。
所采用的视觉检测模型可为双向分割网络，如图2所示，为双向分割网络的结构示意图，采用双向分割网络(如BiSeNet等)对管带图像进行图像分割，得到多个区域。其中，双向分割网络可采用实时语义分割模型，如BiSeNet V2模型。
优选地，本实施例还可对该BiSeNet V2模型进行改进，以形成视觉检测模型。如图3所示，为所形成的视觉检测模型的结构示意图，通过该视觉检测模型对管带图像进行图像分割，以提高图像分割效率。
可选的，根据管带图像的宽度和高度，为兼顾边缘计算设备算力和检测精度，可以将管带图像的大小转换为832×480输入至视觉检测模型中，以提高视觉检测模型在自行收集的管带数据集中的平均IoU，可以实现更好的分割精度。视觉检测模型中的双向分割网络对管带图像进行实时语义分割，其中，低层次的空间细节和高层次的分类语义是语义分割的基础，通过BiSeNet V2模型将管带图像中的空间细节和分类语义分开处理，以实现高精度和高效率的实时语义分割。
而视觉检测模型的构建过程包括：对双向分割网络的语义分支、聚集层和助推部分进行更改，以相应形成视觉检测模型。
其中，如图4所示，对双向分割网络进行更改得到视觉检测模型的过程包括如下步骤：
S21，将双向分割网络中语义分支的上下文嵌入块的输入与通道权重相乘。
S22，在双向分割网络的聚集层中，设置反卷积分割头，以进行上采样操作。
S23，删除双向分割网络的助推部分分割头的辅助训练分支。
S24，将反卷积分割头作为助推部分的分割头，设置分割头激活函数为多分类输出函数。
示范性地，双向分割网络的结构包括：(1)一个细节分支，具有宽通道和浅层，用于捕获低层细节并生成高分辨率的特征表示；(2)一个语义分支，通道窄，层次深，获取高层次语义语境。语义分支是轻量级的，因为它减少了通道容量和快速下采样策略。此外，设计了一个引导聚合层来增强相互连接和融合这两种类型的特征表示。此外，还设计了一种增强型训练策略，在不增加任何推理代价的情况下提高分割性能。
具体地，双向分割网络主要有三个组成部分：双通道主干，聚集层，助推部分。双通道主干有一个细节分支和一个语义分支。三个阶段支路分别有C1、C2、C3通道。相应阶段的渠道语义分支可以轻量级的因子λ(λ<1)。语义分支的最后一个阶段是上下文嵌入块的输出。同时，立方体中的数字是特征映射大小与输入分辨率的比值。在聚合层部分，采用了双边聚合层。其中，Up代表upsampling操作，φ是Sigmoid函数，x是element-wise输出。此外，在推理部分，设计了一些辅助分割头，以提高分割性能，没有任何额外的推理成本。而本实施例中将反卷积分割头作为辅助分割头。
而双向分割网络中通过语义分支中的Context Embedding Block(上下文嵌入块)来捕获高级语义，且该块使用全局平均池和残差连接有效地嵌入全局上下文信息。
值得注意的是，如图5所示，在本实施例中，该视觉检测模型中的双向分割网络中上下文嵌入块中的输入与通道权重采取乘积运算，具体是将原来BiseNet V2模型的输入与通道权重相加的运算修改为输入与通道权重相乘的运算，以此表征不同特征的重要程度。
并且，本实施例的视觉检测模型的采样输出前分辨率是原图1/8，为了不限制深层语义特征学习，同时节省显卡内存加快训练，该视觉检测模型在语义分支中删去了原BiseNet V2模型的1/4，1/16，1/32的SegHead(分割头)的辅助训练分支；相较于BiseNet V2模型，该视觉检测模型的MIOU指标提升了1.5％，提高了语义分割的效率。
由于细节分支和语义分支的特征表示是互补的，其中一个不知道另一个的信息。因此，设计了一个聚合层来合并这两种类型的特性表示。由于采用了快速下采样策略，语义分支的输出空间维度比细节分支小，所以需要对语义的输出特征图进行向上采样分支以匹配细节分支的输出。
助推部分，它可以在训练阶段增强特征表示，在推理阶段可以丢弃。因此，在推理阶段增加的计算复杂度很小。可以将辅助分割头插入到语义的不同位置分支。
值得注意的是，在本实施例中，通过设置更优的反卷积分割头(ConvTransHead)代替原BiseNetV2模型中的SegHead(分割头)，以进行上采样操作。其中，如图6所示，该反卷积分割头包括依次连接的线性插值层、两个反卷积归一化层(如图6中的反卷积+BN层)和反卷积层。由于SegHead采用简单的线性插值8倍上采样恢复输入分辨率，细节信息有不少丢失；而ConvTransHead简单采用反卷积进行上采样操作，与原BiseNetV2模型相比，其MIOU提升了1.7％，因此具有较好的分割效率和实用性。
并且，本实施例中，还将原BiseNetV2模型的分割头激活函数由softmax改为多分类(通道)函数输出，因为在实际中管带边缘区域归属于管带，管带合拢处边缘区域同属于管带与管带合拢处边缘这两类对象，这样做数据标注时也方便提升标注效率。
经由上述步骤，可得到如图3所示的视觉检测模型。
当采用得到的视觉检测模型对管带图像进行图像分割时，可以得到多个区域，其中，该多个区域中包括：仅包含管带部分的管带区域和包含管带合拢处边缘部分的管带合拢处边缘区域；以使得从管带区域中确定管带边缘以及从管带合拢处边缘区域中确定管带合拢处边缘。
S30，从多个区域中筛选符合预定条件的管带相关区域，并识别管带相关区域中的管带边缘和管带合拢处边缘。
在一种可行的实施方式中，如图7所示，步骤S30中“从多个区域中筛选符合预定条件的管带相关区域”可具体包括如下步骤：
S31，计算每个区域的长度和宽度。
S32，将每个区域的长度和宽度分别与预设的长度阈值和宽度阈值进行比较，判断每个区域的长度和宽度是否满足分别大于等于预设的长度阈值和宽度阈值的条件。
S33，若区域的长度和宽度满足条件，则将相应区域作为管带相关区域。
S34，若区域的长度和宽度不满足条件，则剔除对应的区域。
计算各个区域的尺寸信息，即长度和宽度，并将各个区域的长度和宽度分别和预设的长度阈值和宽度阈值进行比较。当各个区域的长度和宽度分别大于等于预设的长度阈值和宽度阈值时，则将该区域对应作为管带相关区域，反之，则对应删除该区域，其中，管带相关区域包括管带区域和管带合拢处边缘区域。也即是，按照区域的预设长度阈值和宽度阈值，过滤无用的小区域，例如，假设图像宽高(宽长)为W，H，则只保留宽高大于(0.1*W，0.1*H)的区域，将其作为管带相关区域。
如图8和图9所示，在得到管带相关区域后，依次可识别各个管带相关区域中的管带部分和管带合拢处边缘部分，得到管带区域和管带合拢处边缘区域。
需要注意的是，若在各个区域中没有识别到管带合拢处边缘，将其作为无异常情况处理，也即是，确定管带未发生扭转。
在管带区域中可识别管带的边缘，包括管带上边缘和管带下边缘，并可根据管带合拢处边缘区域来对应确定管带合拢处边缘的中心点。
S40，根据识别到的管带边缘与管带合拢处边缘之间的相对位置，确定管带是否发生扭转。
根据管带边缘与管带合拢处边缘在管带图像中的相对位置，确定管带是否发送扭转。
在一种可行的实施方式中，如图10所示，步骤S40可具体包括如下步骤：
S41，采用最小二乘法提取管带相关区域中的管带上边缘和管带下边缘。
S42，计算管带上边缘和所述管带下边缘之间的第一垂直距离，以及计算管带合拢处边缘的中心点与管带上边缘之间的第二垂直距离。
S43，根据第一垂直距离与第二垂直距离之间的比值，确定管带是否发生扭转。
如图11所示，采用最小二乘法计算管带相关区域中的管带上边缘和管带下边缘，并在y轴方向上，计算管带上边缘和管带下边缘之间的第一垂直距离，以及计算管带边缘合拢中心点与管带上边缘之间的第二垂直距离，根据第一垂直距离和第二垂直距离之间的比值，来确定管带是否发生扭转。其中，当第一垂直距离和第二垂直距离之间的比值大于预设的比值阈值时，则确定该管带已发送扭转，而在比值小于等于比值阈值时，则确定管带未发生扭转。也即是，计算计算管带合拢处边缘中心在y方向离管带上边缘的距离，占该方向的管径比值R，
Figure BDA0003717995880000131
若R超过一定阈值，视为发生扭管，正常情况下，管带合拢处边缘在管带上方，当管带合拢处边缘已扭转至管带下方时，则管带发生扭转。
本发明实施例通过对管带图像进行图像分割，以识别管带图像中的管带相关区域，从而根据管带相关区域中管带边缘和管带合拢处边缘之间的相对位置，来确定管带是否发生扭转，实现了在非接触式下管带扭转的自动化检测，提高了检测效率，节省了人力成本。
实施例2
请参照图12，本发明实施例提供一种管带扭转检测装置，包括：
获取模块121，用于获取管带机的管带图像；
分割模块122，用于对所述管带图像进行图像分割，得到多个区域；
筛选模块123，用于从所述多个区域中筛选符合预定条件的管带相关区域，并识别所述管带相关区域中的管带边缘和管带合拢处边缘；
确定模块124，用于根据识别到的所述管带边缘与所述管带合拢处边缘之间的相对位置，确定管带是否发生扭转。
上述的管带扭转检测装置对应于实施例1的管带扭转检测方法，实施例1中的任何可选项也适用于本实施例，这里不再详述。
本发明实施例还提供了一种计算机设备，该计算机设备包括存储器和至少一个处理器，存储器存储有计算机程序，处理器用于执行计算机程序以实施上述实施例的管带扭转检测方法。
存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据(比如管带图像、管带边缘等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使处理器运行上述实施例的管带扭转检测方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种管带扭转检测方法，其特征在于，应用于管带机，包括：
获取管带机的管带图像；
采用视觉检测模型对所述管带图像进行图像分割，得到多个区域；
从所述多个区域中筛选符合预定条件的管带相关区域，并识别所述管带相关区域中的管带边缘和管带合拢处边缘；
根据识别到的所述管带边缘与所述管带合拢处边缘之间的相对位置，确定管带是否发生扭转。
2.根据权利要求1所述的管带扭转检测方法，其特征在于，还包括：
当未识别到所述管带相关区域中的管带合拢处边缘时，确定管带未发生扭转。
3.根据权利要求1所述的管带扭转检测方法，其特征在于，所述视觉检测模型的构建过程包括：
对双向分割网络的语义分支、聚集层和助推部分进行更改，得到视觉检测模型；所述更改包括：
将双向分割网络中语义分支的上下文嵌入块的输入与通道权重相乘；
在所述双向分割网络的聚集层中，设置反卷积分割头，以进行上采样操作；
删除所述双向分割网络的助推部分分割头的辅助训练分支；
将反卷积分割头作为助推部分的分割头，设置分割头激活函数为多分类输出函数。
4.根据权利要求3所述的管带扭转检测方法，其特征在于，所述反卷积分割头包括依次连接的线性插值层、两个反卷积归一化层和反卷积层。
5.根据权利要求1所述的管带扭转检测方法，其特征在于，所述从所述多个所述区域中筛选符合预定条件的管带相关区域包括：
计算每个区域的长度和宽度；
将所述每个区域的长度和宽度分别与预设的长度阈值和宽度阈值进行比较；
若所述每个区域的长度和宽度分别大于等于所述预设的长度阈值和宽度阈值，则将所述区域作为管带相关区域，反之则删除相应的区域。
6.根据权利要求1所述的管带扭转检测方法，其特征在于，所述根据所述管带边缘与所述管带合拢处边缘之间的相对位置，确定管带是否发生扭转包括：
采用最小二乘法提取所述管带相关区域中的管带上边缘和管带下边缘；
计算所述管带上边缘和所述管带下边缘之间的第一垂直距离，以及计算所述管带合拢处边缘的中心点与所述管带上边缘之间的第二垂直距离；
根据所述第一垂直距离与所述第二垂直距离之间的比值，确定管带是否发生扭转。
7.根据权利要求6所述的管带扭转检测方法，其特征在于，所述根据所述第一垂直距离与所述第二垂直距离之间的比值，确定管带是否发生扭转包括：
若所述第一垂直距离与所述第二垂直距离之间的比值大于预设比值阈值，则确定管带发生扭转；
若所述第一垂直距离与所述第二垂直距离之间的比值小于等于所述预设比值阈值，则确定管带未发生扭转。
8.一种管带扭转检测装置，其特征在于，包括：
获取模块，用于获取管带机的管带图像；
分割模块，用于对所述管带图像进行图像分割，得到多个区域；
筛选模块，用于从所述多个区域中筛选符合预定条件的管带相关区域，并识别所述管带相关区域中的管带边缘和管带合拢处边缘；
确定模块，用于根据识别到的所述管带边缘与所述管带合拢处边缘之间的相对位置，确定管带是否发生扭转。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施权利要求1-7中任一项所述的管带扭转检测方法。
10.一种计算机存储介质，其特征在于，其存储有计算机程序，所述计算机程序被执行时，实施根据权利要求1-7中任一项所述的管带扭转检测方法。
CN202210750149.6A 2022-06-28 2022-06-28 管带扭转检测方法、装置、设备和存储介质 Pending CN115049632A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210750149.6A CN115049632A (zh) 2022-06-28 2022-06-28 管带扭转检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210750149.6A CN115049632A (zh) 2022-06-28 2022-06-28 管带扭转检测方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN115049632A true CN115049632A (zh) 2022-09-13

Family

ID=83164933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210750149.6A Pending CN115049632A (zh) 2022-06-28 2022-06-28 管带扭转检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN115049632A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
US20170311782A1 (en) * 2015-01-23 2017-11-02 Olympus Corporation Image processing apparatus, method, and computer program product
CN110470429A (zh) * 2019-08-12 2019-11-19 上海应用技术大学 基于机器视觉的供热管道泄漏检测装置
CN111256577A (zh) * 2020-02-14 2020-06-09 山东钢铁股份有限公司 一种管带扭转监测装置、监测方法及管状输送机
US20210304417A1 (en) * 2018-12-19 2021-09-30 Panasonic Intellectual Property Management Co., Ltd. Observation device and observation method
CN113610072A (zh) * 2021-10-11 2021-11-05 精英数智科技股份有限公司 一种基于计算机视觉的人员跨越皮带识别方法及系统
CN113781511A (zh) * 2021-09-17 2021-12-10 深圳市赛为智能股份有限公司 传送带边缘磨损检测方法、装置、计算机设备及存储介质
CN113936139A (zh) * 2021-10-29 2022-01-14 江苏大学 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN114066964A (zh) * 2021-11-17 2022-02-18 江南大学 一种基于深度学习的水产实时尺寸检测方法
CN114140625A (zh) * 2022-01-30 2022-03-04 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备与计算机可读存储介质
US20220076117A1 (en) * 2018-09-24 2022-03-10 Peter Amon Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium
CN114187268A (zh) * 2021-12-04 2022-03-15 北京工业大学 基于目标检测和语义分割融合的障碍物检测方法
US20230128637A1 (en) * 2020-11-09 2023-04-27 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170311782A1 (en) * 2015-01-23 2017-11-02 Olympus Corporation Image processing apparatus, method, and computer program product
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
US20220076117A1 (en) * 2018-09-24 2022-03-10 Peter Amon Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium
US20210304417A1 (en) * 2018-12-19 2021-09-30 Panasonic Intellectual Property Management Co., Ltd. Observation device and observation method
CN110470429A (zh) * 2019-08-12 2019-11-19 上海应用技术大学 基于机器视觉的供热管道泄漏检测装置
CN111256577A (zh) * 2020-02-14 2020-06-09 山东钢铁股份有限公司 一种管带扭转监测装置、监测方法及管状输送机
US20230128637A1 (en) * 2020-11-09 2023-04-27 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
CN113781511A (zh) * 2021-09-17 2021-12-10 深圳市赛为智能股份有限公司 传送带边缘磨损检测方法、装置、计算机设备及存储介质
CN113610072A (zh) * 2021-10-11 2021-11-05 精英数智科技股份有限公司 一种基于计算机视觉的人员跨越皮带识别方法及系统
CN113936139A (zh) * 2021-10-29 2022-01-14 江苏大学 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN114066964A (zh) * 2021-11-17 2022-02-18 江南大学 一种基于深度学习的水产实时尺寸检测方法
CN114187268A (zh) * 2021-12-04 2022-03-15 北京工业大学 基于目标检测和语义分割融合的障碍物检测方法
CN114140625A (zh) * 2022-01-30 2022-03-04 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备与计算机可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ROCKY X: "轻量级实时语义分割经典BiSeNet及其进化BiSeNet v2", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/141692672> *
YU, C. ET.AL: "BiSeNet V2: Bilateral Network with Guided Aggregation for Real-Time Semantic Segmentation", INT J COMPUT VIS 129, 3051–3068 (2021). HTTPS://DOI.ORG/10.1007/S11263-021-01515-2, 3 September 2021 (2021-09-03), pages 3051, XP037591974, DOI: 10.1007/s11263-021-01515-2 *
姜世浩等: "基于Mask R-CNN和多特征融合的实例分割", 计算机技术与发展, no. 09, 10 September 2020 (2020-09-10), pages 71 - 7671 *
朱小天: "面向物体识别与检测的高效率深度神经网络模型研究", 信息科技辑-中国博士学位论文全文数据库, 15 January 2021 (2021-01-15), pages 138 - 160 *
陈震等: "基于语义分割的双目场景流估计", 电子学报, no. 04, 15 April 2020 (2020-04-15), pages 631 - 636 *

Similar Documents

Publication Publication Date Title
CN110298361B (zh) 一种rgb-d图像的语义分割方法和系统
CN108664981A (zh) 显著图像提取方法及装置
CN108764039B (zh) 神经网络、遥感影像的建筑物提取方法、介质及计算设备
CN111681273B (zh) 图像分割方法、装置、电子设备及可读存储介质
CN113301430B (zh) 视频剪辑方法、装置、电子设备以及存储介质
CN110852222A (zh) 一种基于目标检测的校园走廊场景智能监控方法
CN108805889A (zh) 边缘引导的精细化显著性物体分割方法与系统、设备
CN111985374B (zh) 人脸定位方法、装置、电子设备及存储介质
CN108830185B (zh) 基于多任务联合学习的行为识别及定位方法
CN113012383B (zh) 火灾检测报警方法、相关系统、相关设备及存储介质
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN111144254A (zh) 城市内涝积水程度识别方法及装置
CN106683040B (zh) 一种基于ncc算法的红外全景图像拼接方法
CN115115540A (zh) 基于光照信息引导的无监督低光图像增强方法及装置
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN116342538A (zh) 一种跑冒滴漏检测方法、装置、智能设备和存储介质
CN111398292A (zh) 一种基于gabor滤波和CNN的布匹瑕疵检测方法、系统及设备
CN110503002A (zh) 一种人脸检测方法和存储介质
CN112232236B (zh) 行人流量的监测方法、系统、计算机设备和存储介质
CN115049632A (zh) 管带扭转检测方法、装置、设备和存储介质
CN115187820A (zh) 轻量化的目标检测方法、装置、设备、存储介质
CN112949451A (zh) 通过模态感知特征学习的跨模态目标跟踪方法及系统
CN111753766A (zh) 一种图像处理方法、装置、设备及介质
CN114511788A (zh) 一种坡体裂缝识别方法、系统、设备以及存储介质
CN113256603A (zh) 一种双流网络二次融合的显著性物体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination