CN113763376B - 传送带偏移检测方法、装置、计算机设备及存储介质 - Google Patents

传送带偏移检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113763376B
CN113763376B CN202111092777.1A CN202111092777A CN113763376B CN 113763376 B CN113763376 B CN 113763376B CN 202111092777 A CN202111092777 A CN 202111092777A CN 113763376 B CN113763376 B CN 113763376B
Authority
CN
China
Prior art keywords
conveyor belt
offset
edge
picture
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111092777.1A
Other languages
English (en)
Other versions
CN113763376A (zh
Inventor
胡懋成
王秋阳
郑博超
何金龙
凤阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sunwin Intelligent Co Ltd
Original Assignee
Shenzhen Sunwin Intelligent Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sunwin Intelligent Co Ltd filed Critical Shenzhen Sunwin Intelligent Co Ltd
Priority to CN202111092777.1A priority Critical patent/CN113763376B/zh
Publication of CN113763376A publication Critical patent/CN113763376A/zh
Application granted granted Critical
Publication of CN113763376B publication Critical patent/CN113763376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了传送带偏移检测方法、装置、计算机设备及存储介质。方法包括：获取传送带的图片，以得到待检测图片；对待检测图片进行二值化语义分割，以得到语义分割图片；对语义分割图片进行边缘直线检测，以得到直线的参数方程；确定传送带边缘角平分线；对待检测图片进行滚轴检测；确定滚轴基准线角平分线；确定夹角偏移角；确定全局偏移面积；确定传送带偏移程度；进行告警处理。通过实施本发明实施例的方法可解决因仪器部署角度问题无法做检测的难题，无需人为定义基准，对传送带偏移做提前预警，且可避免对传送带边缘检测会出现多条边缘被检测到或者某些边缘检测不到的情况。

Description

传送带偏移检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及传送带，更具体地说是指传送带偏移检测方法、装置、计算机设备及存储介质。
背景技术
货物运输传送带输送机广泛应用在装运港口、加工厂等短距离运输场景，其具有的结构简单、输送量大、使用场景广泛等优点使得可以运用在各行各业中，但是在运送过程中，货物运输传送带会由于安装位置偏差，物料超重、偏移等问题导致其位置发生偏移，长时间的跑偏更可能会使传送带发生断裂，严重影响了传送带的使用寿命，而且一旦出现问题也波及整个生产过程。
现有的检测货物运输传送带跑偏方法多为接触式、激光红外、霍尔磁感式等，而这类检测方式，通过卡槽来限制传送带的位移，这样会摩擦传送带边缘导致传送带受损，或者需要通过价格很高的仪器来检测，一旦传感器出现问题后，检测系统本身的结果也会受到严重的影响。
中国专利CN201911154456.2通过图像识别确定左右滚轴组成的第一第二目标矩形区域，分别计算其面积后得到面积比值来判定传送带是否偏移，这种方法的优点是不需要安装额外的设备，不会对传送带造成磨损，但是问题在于霍夫直线检测对于残缺传送带直线检测的效果很差，就会导致整体精度上面的误差。中国专利CN201510221251.7基于机器视觉，在货物运输传送带非承载面标记传送带中轴线，利用图像坐标系原点带所述检测到的传送带中轴线的垂线与图像坐标系水平方向的夹角来描述传送带的跑偏量及方向，该方法的优点不需要通过历史样本数据去拟合的情况下保持了高精度，但是也有较多的缺点，比如只能进行垂直视角的视频拍摄，且需要在传送带上人为标注中轴线，某些场景会不适合用垂直视角，在传送带上标注中轴线，会由于粉尘吸附导致中轴线模糊，或者是传送带长时间负载后发生形变造成检测不稳定的问题。
综上所述，现有的技术由于港口的复杂现场环境，现有的货物运输传送带经过长时间运行会出现磨损，打滑以至于出现最终的偏移情况，于此同时因现场环境限制，导致检测仪器无法正视进行传送带拍摄，先有的方法仅仅针对正视的角度对传送带进行检测；传送带偏移检测基本使用的是霍夫变化做直线检测，但是此类方法往往会因为传送带边缘凹凸不齐，导致对传送带边缘检测会出现多条边缘被检测到或者某些边缘检测不到的情况；对偏移进行分类而无法具体量化偏移程度，有的对其偏移程度做量化只能衡量整体偏移程度，无法测算局部偏移程度，导致无法对传送带偏移做提前预警；检测的基准往往需要人为去预定，这会现场部署变得极其复杂，同时在运货管道工作的情况下进行调试是非常困难的一件事情。
因此，有必要设计一种新的方法，以解决现有技术存在的问题。
发明内容
本发明的目的在于克服现有技术的缺陷，提供传送带偏移检测方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：传送带偏移检测方法，包括：
获取传送带的图片，以得到待检测图片；
对所述待检测图片进行二值化语义分割，以得到含有传送带区域及背景的语义分割图片；
对所述语义分割图片进行边缘直线检测，以得到直线的参数方程；
根据所述直线的参数方程确定传送带边缘角平分线；
对所述待检测图片进行滚轴检测，以得到上边缘滚轴以及下边缘滚轴；
根据上边缘滚轴以及下边缘滚轴确定滚轴基准线角平分线；
根据所述传送带边缘角平分线以及所述滚轴基准线角平分线确定夹角偏移角；
根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积确定全局偏移面积；
根据所述夹角偏移角以及所述全局偏移面积确定传送带偏移程度；
根据所述传送带偏移程度进行告警处理。
其进一步技术方案为：所述对所述待检测图片进行二值化语义分割，以得到含有传送带区域及背景的语义分割图片，包括：
采用语义分割网络对所述待检测图片进行语义分割，以得到分割图片；
对所述分割图片进行黑白二值化映射，以得到含有传送带区域及背景的语义分割图片。
其进一步技术方案为：所述对所述语义分割图片进行边缘直线检测，以得到直线的参数方程，包括：
对所述语义分割图片进行特征提取，以得到特征图；
对所述特征图进行霍夫变换，以得到变化后的特征图；
将变化后的特征图内的每一层深度信息将空间域转换成参数域，以得到直线的参数方程。
其进一步技术方案为：所述根据所述直线的参数方程确定传送带边缘角平分线，包括：
确定传送带上边缘的直线的参数方程以及传送带下边缘的直线的参数方程的交点坐标、传送带上边缘的直线的参数方程的斜率以及传送带下边缘的直线的参数方程的斜率；
根据所述交点坐标、传送带上边缘的直线的参数方程的斜率以及传送带下边缘的直线的参数方程的斜率确定传送带边缘角平分线。
其进一步技术方案为：所述对所述待检测图片进行滚轴检测，以得到上边缘滚轴以及下边缘滚轴，包括：
采用yolov5目标检测模型对所述待检测图片内的滚轴进行目标定位，得出每个滚轴的图像坐标位置；
根据每个滚轴的图像坐标位置计算每个滚轴的中心点坐标；
计算中心点坐标到上边缘传送带的距离以及中心点坐标到下边缘传送带的距离，以确定上边缘滚轴以及下边缘滚轴。
其进一步技术方案为：所述根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积确定全局偏移面积，包括：
确定根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合，以得到多边形框；
计算所述多边形框的面积，以得到全局偏移面积。
其进一步技术方案为：所述根据所述夹角偏移角以及所述全局偏移面积确定传送带偏移程度，包括：
当所述全局偏移面积大于偏移面积阈值且所述夹角偏移角小于角度偏移阈值时，根据所述全局偏移面积确定传送带偏移程度；
当所述全局偏移面积大于偏移面积阈值且所述夹角偏移角大于角度偏移阈值时，根据所述夹角偏移角确定传送带偏移程度；
当所述全局偏移面积小于偏移面积阈值且所述夹角偏移角大于角度偏移阈值时，根据所述夹角偏移角确定传送带偏移程度。
本发明还提供了传送带偏移检测装置，包括：
图片获取单元，用于获取传送带的图片，以得到待检测图片；
分割单元，用于对所述待检测图片进行二值化语义分割，以得到含有传送带区域及背景的语义分割图片；
直线检测单元，用于对所述语义分割图片进行边缘直线检测，以得到直线的参数方程；
第一确定单元，用于根据所述直线的参数方程确定传送带边缘角平分线；
滚轴检测单元，用于对所述待检测图片进行滚轴检测，以得到上边缘滚轴以及下边缘滚轴；
第二确定单元，用于根据上边缘滚轴以及下边缘滚轴确定滚轴基准线角平分线；
夹角偏移角确定单元，用于根据所述传送带边缘角平分线以及所述滚轴基准线角平分线确定夹角偏移角；
全局偏移面积确定单元，用于根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积确定全局偏移面积；
程度确定单元，用于根据所述夹角偏移角以及所述全局偏移面积确定传送带偏移程度；
告警处理单元，用于根据所述传送带偏移程度进行告警处理。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过通过采用图片的形式进行边缘缺陷的检测，极大的节约了成本及简化了部署步骤；对语义分割、边缘直线的检测、传送带边缘角平分线的确定、滚轴的检测、滚轴基准线角平分线的检测、夹角偏移角的确定、全局偏移面积的确定以及传送带偏移检测，以进行传送带偏移程度的确定，基于语义分割和目标检测以及直线检测算法可以对任意角度的传送带偏移进行检测，解决因仪器部署角度问题无法做检测的难题，通过局部角度偏移以及全局面积偏移策略进行传送带偏移评估，无需人为定义基准，对传送带偏移做提前预警，且可避免对传送带边缘检测会出现多条边缘被检测到或者某些边缘检测不到的情况。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的传送带偏移检测方法的应用场景示意图；
图2为本发明实施例提供的传送带偏移检测方法的流程示意图；
图3为本发明实施例提供的传送带偏移检测方法的子流程示意图；
图4为本发明实施例提供的传送带偏移检测方法的子流程示意图；
图5为本发明实施例提供的传送带偏移检测方法的子流程示意图；
图6为本发明实施例提供的传送带偏移检测方法的子流程示意图；
图7为本发明实施例提供的传送带偏移检测方法的子流程示意图；
图8为本发明实施例提供的传送带偏移检测装置的示意性框图；
图9为本发明实施例提供的传送带偏移检测装置的分割单元的示意性框图；
图10为本发明实施例提供的传送带偏移检测装置的直线检测单元的示意性框图；
图11为本发明实施例提供的传送带偏移检测装置的第一确定单元的示意性框图；
图12为本发明实施例提供的传送带偏移检测装置的滚轴检测单元的示意性框图；
图13为本发明实施例提供的传送带偏移检测装置的全局偏移面积确定单元的示意性框图；
图14为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的传送带偏移检测方法的应用场景示意图。图2为本发明实施例提供的传送带偏移检测方法的示意性流程图。该传送带偏移检测方法应用于服务器中。该服务器与终端、摄像头进行数据交互，其中，摄像头用于拍摄传输带的图片，由服务器进行语义分割、边缘直线的检测、传送带边缘角平分线的确定、滚轴的检测、滚轴基准线角平分线的检测、夹角偏移角的确定、全局偏移面积的确定以及传送带偏移检测，以确定传送带偏移程度，进行告警处理。
图2是本发明实施例提供的传送带偏移检测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S200。
S110、获取传送带的图片，以得到待检测图片。
在本实施例中，待检测图片是指在货物运输传送带设定的固定位置进行图片数据的采集所形成的图片，在采集的过程中对云台拍摄的焦距及高度给予固定的预设值。
摆脱对传感器等硬件的依赖，仅仅依据图像即可进行货物运输传送带边缘磨损检测，极大的节约了成本及简化了部署步骤。可以对任意角度的传送带偏移进行检测，解决因仪器部署角度问题无法做检测的难题。
S120、对所述待检测图片进行二值化语义分割，以得到含有传送带区域及背景的语义分割图片。
在本实施例中，语义分割图片是指包括传送带区域及背景对应掩膜的图片。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S122。
S121、采用语义分割网络对所述待检测图片进行语义分割，以得到分割图片。
在本实施例中，分割图片是指传送带掩膜及背景掩膜的两类语义分割图。
具体地，所述语义分割网络是采用resnet50模型作为骨架网络，所述resnet50模型结合上下文路径与空间路径机制通过特征融合模块进行特征融合所形成的，且所述语义分割网络的损失函数改用Dice损失函数，选用特征融合模块前的注意力细化模块输出添加两个特征做辅助损失函数，按照比例将dice损失函数以及辅助损失函数相加，以形成所述语义分割网络的最终损失函数。
具体地，货物运输传送带语义分割采用的是resnet50做为backbone骨架网络并，该模型结合了context path与spatial path机制通过Feature Fusion模块做特征融合，最终得出语义分割网络，这里使用的损失函数改用dice损失函数l1。这里选用FeatureFusion前的ARM(注意力细化模块，Attention Refinement Module)输出添加两个特征做辅助损失函数l2和l3，最终按照1:1:1的比例将其相加作为最终损失函数Loss＝l1+l2+l3。
为了保证对传送带掩膜预测的准确性，先将待检测图片按照原始宽为1920，高为1080的像素作为网络的输入，语义分割网络的输出类别分别为传送带掩膜及背景掩膜的两类语义分割图。
S122、对所述分割图片进行黑白二值化映射，以得到含有传送带区域及背景的语义分割图片。
在对分割图片做黑白二值化映射，将传送带部位的像素的三个通道都设置为值为255的像素点，对于背景部位的三个通道都设置为值为0的像素点，由此形成含有传送带区域及背景的语义分割图片，同时这里定义传送带区域为s传送带。
S130、对所述语义分割图片进行边缘直线检测，以得到直线的参数方程。
在本实施例中，直线的参数方程是指传送带边缘直线的参数方程，传送线边缘包括传送带上边缘和传送带下边缘两条边缘直线。
边缘直线检测是基于霍夫变换的语义分割线检测，再次基础上在提取特征的过程中进行了改进，采用的是基于transformer及FPN(特征金字塔网络，Feature PyramidNetwork)进行的特征提取。并将输出的特征图进行霍夫变换，于此同时将空间域转换成参数域，最终输出转换为空间域得出直线的参数方程。
在一实施例中，请参阅图4，上述的步骤S130可包括步骤S131～S133。
S131、对所述语义分割图片进行特征提取，以得到特征图。
在本实施例中，特征图是指传送带的上一层和下一层的特征构成的图片。
S132、对所述特征图进行霍夫变换，以得到变化后的特征图。
直线检测采用的是深度学习算法与传统图像算法做了结合，基于transformer及FPN进行的特征提取，对每一层的的深度信息从空间域转成参数域，并对其做霍夫变换，再将霍夫变换输出进行差值来适应不同特征的分辨率，最后再差值后的特征。这里使用的损失函数 这里的g为参数域的二值化的标注图，gi,j＝1指的是在参数域为i，j的直线，/>k为5*5的高斯核，/>为卷积操作。当在做测试的时候，直接将参数域的参数转换到空间域的参数，可以计算出直线坐标。
S133、将变化后的特征图内的每一层深度信息将空间域转换成参数域，以得到直线的参数方程。
S140、根据所述直线的参数方程确定传送带边缘角平分线。
在本实施例中，传送带边缘角平分线是指传送带上边缘和传送带下边缘的角平分线。
在一实施例中，请参阅图5，上述的步骤S140可包括步骤S141～S142。
S141、确定传送带上边缘的直线的参数方程以及传送带下边缘的直线的参数方程的交点坐标、传送带上边缘的直线的参数方程的斜率以及传送带下边缘的直线的参数方程的斜率。
具体地，基于直线的参数方程得出对应直线与待检测图片相交的边缘点，依次做出传送带的两条边缘线段l输送带top以及l输送带down。
S142、根据所述交点坐标、传送带上边缘的直线的参数方程的斜率以及传送带下边缘的直线的参数方程的斜率确定传送带边缘角平分线。
具体地，将上述的l输送带top以及l输送带down两条传送带直线方程的交点坐标(x交点,y交点)和两条直线的斜率带入半角公式中，由传送带上边缘的直线的参数方程的斜率k输送带top可以得到其直线与坐标系的夹角A，同理，传送带下边缘的直线的参数方程的斜率k输送带down得到夹角B，将其带入半角公式的右边，得到角平分线的斜率k，即进而得出两条边缘线的角平分线的斜率k输送带，再将其带入交点坐标(x交点,y交点)中，得出角平分线的直线方程f(x)角平分线＝k*x+b。
本实施例使用的是基于语义分割网络进行传送带的部位的语义分割，再之后得到的二值化的基础上进行霍夫变化与transfomer特征提取网络融合进行直线检测从而得出准确的传送带边缘。
S150、对所述待检测图片进行滚轴检测，以得到上边缘滚轴以及下边缘滚轴。
在本实施例中，传送带的滚轴包括上边缘滚轴以及下边缘滚轴。
在一实施例中，请参阅图6，上述的步骤S150可包括步骤S151～S153。
S151、采用yolov5目标检测模型对所述待检测图片内的滚轴进行目标定位，得出每个滚轴的图像坐标位置。
在本实施例中，每个滚轴的图像坐标位置是指上边缘滚轴与下边缘滚轴在图像内的坐标。
具体地，通过yolov5目标检测模型对滚轴进行目标定位，得出每一个滚轴的图像坐标位置(xmin，ymin，xmax，ymax)。选择yolov5目标检测模型的检测置信度为0.6。为了使得检测滚轴顶端坐标的准确性，选用的结构为yolo5x的结构做检测，这里回归框坐标的损失函数选择CIOU loss作为其对应的损失函数，并结合前背景交叉熵loss以及分类交叉熵loss构成整体损失函数。
这里对滚轴的检测需要注意的是如果有滚轴位于图像边缘，这样会容易引起滚轴不全的情况从而导致端点值不准，基于这种情况分别对滚轴的位置进行判断，如果满足以下任意一个条件则不考虑该滚轴的端点坐标
(1)xmin<α；(2)width-xmax<α；(3)ymin<α；(4)height-ymax<α；这里的width为图片的宽度，height为图片的高度，同时设置α＝10。
S152、根据每个滚轴的图像坐标位置计算每个滚轴的中心点坐标。
在本实施例中，分别计算每个滚轴框的中心点坐标
S153、计算中心点坐标到上边缘传送带的距离以及中心点坐标到下边缘传送带的距离，以确定上边缘滚轴以及下边缘滚轴。
在本实施例中，通过计算中心点坐标(cx，cy)与到上边缘l传送带的距离d上边缘以及到下边缘l传送带的距离d下边缘。如果d下边缘<d上边缘，则判定该滚轴为下边缘滚轴，反正则称之为上边缘滚轴。
S160、根据上边缘滚轴以及下边缘滚轴确定滚轴基准线角平分线。
在本实施例中，滚轴基准线角平分线是指由上边缘滚轴以及下边缘滚轴确定的两条基准线的角平分线。
具体地，计算上边缘滚轴以及下边缘滚轴的端点坐标；根据所述端点坐标确定上基准线以及下基准线；根据上基准线、下基准线以及两个基准线的交点确定滚轴基准线角平分线；如果传送带的斜率k传送带＞0，对于上边缘滚轴，选取每个上边缘滚轴右上角坐标作为其端点坐标pi(k＞0,top)(xmax，ymin)，下边缘滚轴则选取每个下边缘滚轴左上角的坐标作为其端点坐标pi(k＞0,bottom)(xmin，ymin)。如果传送带的斜率k传送带<0，对于上边缘滚轴则选取滚轴左上角坐标作为其端点坐标pi(k<0,top)(xmin，ymin)，下边缘滚轴则选取滚轴右上角坐标作为其端点坐标pi(k<0,top)(xmax，ymin)，最终通过这些端点拟合出两条基准线l基准。通过基准线及基准线交点得出的滚轴基准线角平分线l基准角平分线。
S170、根据所述传送带边缘角平分线以及所述滚轴基准线角平分线确定夹角偏移角。
在本实施例中，夹角偏移角是指传送带边缘角平分线以及滚轴基准线角平分线的夹角。
基于上述得出传送带边缘角平分线l传送带角平分线，以及得出的滚轴基准线角平分线l基准角平分线，算出其之间对应的夹角偏移角θ偏移。
S180、根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积确定全局偏移面积。
在本实施例中，全局偏移面积是指根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合构成的多边形的面积。
在一实施例中，请参阅图7，上述的步骤S180可包括步骤S181～S182。
S181、确定根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合，以得到多边形框；
S182、计算所述多边形框的面积，以得到全局偏移面积。
因为考虑到角度偏移只能反映局部偏移，但如果传送带整体偏移，往往角度偏移是不会改变，因此可以通过传送带边缘角平分线l传送带角平分线与滚轴基准线角平分线l基准角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积求出全局偏移面积s偏移。这里的局部偏移面积是根据两条角平分线与图像边缘的交点集合形成的闭合多边形框，主要思路是将多边形切分成多个三角形，然后将所有三角形面积相加起来，三角形的面积利用向量的叉乘来计算。即 其中，/>为向量，由A，B点坐标可求得；|AB|为/>的模；sin(BAC)为∠BAC的sin值。这种方法的优点是可以直接利用现成的点坐标转换成向量，另一个优点是不仅支持对凸多边形的面积计算，也支持对凹多边形面积的计算。
S190、根据所述夹角偏移角以及所述全局偏移面积确定传送带偏移程度。
具体地，当所述全局偏移面积大于偏移面积阈值且所述夹角偏移角小于角度偏移阈值时，根据所述全局偏移面积确定传送带偏移程度；当所述全局偏移面积大于偏移面积阈值且所述夹角偏移角大于角度偏移阈值时，根据所述夹角偏移角确定传送带偏移程度；当所述全局偏移面积小于偏移面积阈值且所述夹角偏移角大于角度偏移阈值时，根据所述夹角偏移角确定传送带偏移程度。
在本实施例中，设定偏移面积阈值sthreshold，以及角度偏移阈值θthreshold。传送带偏移程度τ；当s偏移＞sthreshold且θ偏移<θthreshold，则设置λ为/>s传送带为传送带面积；当s偏移＞sthreshold且θ偏移＞θthreshold，则/> 设置/>当s偏移<sthreshold且θ偏移＞θthreshold，则/>设置/>
S200、根据所述传送带偏移程度进行告警处理。
设置报警阈值γ，τ＞γ,则触发报警机制。这里设置γ＝0.2。
本实施例针对这种情况分别给出局部以及全局偏移的衡量。这里分别通过局部角度偏移以及全局面积偏移策略进行传送带偏移评估，可以给出自动局部角度偏移及全局面积偏移值，来衡量传送带偏移情况，无需人为定义基准。
上述的传送带偏移检测方法，通过通过采用图片的形式进行边缘缺陷的检测，极大的节约了成本及简化了部署步骤；对语义分割、边缘直线的检测、传送带边缘角平分线的确定、滚轴的检测、滚轴基准线角平分线的检测、夹角偏移角的确定、全局偏移面积的确定以及传送带偏移检测，以进行传送带偏移程度的确定，基于语义分割和目标检测以及直线检测算法可以对任意角度的传送带偏移进行检测，解决因仪器部署角度问题无法做检测的难题，通过局部角度偏移以及全局面积偏移策略进行传送带偏移评估，无需人为定义基准，对传送带偏移做提前预警，且可避免对传送带边缘检测会出现多条边缘被检测到或者某些边缘检测不到的情况。
图8是本发明实施例提供的一种传送带偏移检测装置300的示意性框图。如图8所示，对应于以上传送带偏移检测方法，本发明还提供一种传送带偏移检测装置300。该传送带偏移检测装置300包括用于执行上述传送带偏移检测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图8，该传送带偏移检测装置300包括图片获取单元301、分割单元302、直线检测单元303、第一确定单元304、滚轴检测单元305、第二确定单元306、夹角偏移角确定单元307、全局偏移面积确定单元308、程度确定单元309以及告警处理单元310。
图片获取单元301，用于获取传送带的图片，以得到待检测图片；分割单元302，用于对所述待检测图片进行二值化语义分割，以得到含有传送带区域及背景的语义分割图片；直线检测单元303，用于对所述语义分割图片进行边缘直线检测，以得到直线的参数方程；第一确定单元304，用于根据所述直线的参数方程确定传送带边缘角平分线；滚轴检测单元305，用于对所述待检测图片进行滚轴检测，以得到上边缘滚轴以及下边缘滚轴；第二确定单元306，用于根据上边缘滚轴以及下边缘滚轴确定滚轴基准线角平分线；夹角偏移角确定单元307，用于根据所述传送带边缘角平分线以及所述滚轴基准线角平分线确定夹角偏移角；全局偏移面积确定单元308，用于根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积确定全局偏移面积；程度确定单元309，用于根据所述夹角偏移角以及所述全局偏移面积确定传送带偏移程度；告警处理单元310，用于根据所述传送带偏移程度进行告警处理。
在一实施例中，如图9所示，所述分割单元302包括语义分割子单元3021以及映射子单元3022。
语义分割子单元3021，用于采用语义分割网络对所述待检测图片进行语义分割，以得到分割图片；映射子单元3022，用于对所述分割图片进行黑白二值化映射，以得到含有传送带区域及背景的语义分割图片。
在一实施例中，如图10所示，所述直线检测单元303包括特征提取子单元3031、霍夫变换子单元3032以及转换子单元3033。
特征提取子单元3031，用于对所述语义分割图片进行特征提取，以得到特征图；霍夫变换子单元3032，用于对所述特征图进行霍夫变换，以得到变化后的特征图；转换子单元3033，用于将变化后的特征图内的每一层深度信息将空间域转换成参数域，以得到直线的参数方程。
在一实施例中，如图11所示，所述第一确定单元304包括斜率确定子单元3041以及传送带边缘角平分线确定子单元3042。
斜率确定子单元3041，用于确定传送带上边缘的直线的参数方程以及传送带下边缘的直线的参数方程的交点坐标、传送带上边缘的直线的参数方程的斜率以及传送带下边缘的直线的参数方程的斜率；传送带边缘角平分线确定子单元3042，用于根据所述交点坐标、传送带上边缘的直线的参数方程的斜率以及传送带下边缘的直线的参数方程的斜率确定传送带边缘角平分线。
在一实施例中，如图12所示，所述滚轴检测单元305包括目标定位子单元3051、中心点坐标计算子单元3052以及距离计算子单元3053。
目标定位子单元3051，用于采用yolov5目标检测模型对所述待检测图片内的滚轴进行目标定位，得出每个滚轴的图像坐标位置；中心点坐标计算子单元3052，用于根据每个滚轴的图像坐标位置计算每个滚轴的中心点坐标；距离计算子单元3053，用于计算中心点坐标到上边缘传送带的距离以及中心点坐标到下边缘传送带的距离，以确定上边缘滚轴以及下边缘滚轴。
在一实施例中，如图13所示，所述全局偏移面积确定单元308包括交点集合确定子单元3081以及面积计算子单元3082。
交点集合确定子单元3081，用于确定根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合，以得到多边形框；面积计算子单元3082，用于计算所述多边形框的面积，以得到全局偏移面积。
在一实施例中，所述程度确定单元309，用于当所述全局偏移面积大于偏移面积阈值且所述夹角偏移角小于角度偏移阈值时，根据所述全局偏移面积确定传送带偏移程度；当所述全局偏移面积大于偏移面积阈值且所述夹角偏移角大于角度偏移阈值时，根据所述夹角偏移角确定传送带偏移程度；当所述全局偏移面积小于偏移面积阈值且所述夹角偏移角大于角度偏移阈值时，根据所述夹角偏移角确定传送带偏移程度。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述传送带偏移检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述传送带偏移检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图14所示的计算机设备上运行。
请参阅图14，图14是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图14，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种传送带偏移检测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种传送带偏移检测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取传送带的图片，以得到待检测图片；对所述待检测图片进行二值化语义分割，以得到含有传送带区域及背景的语义分割图片；对所述语义分割图片进行边缘直线检测，以得到直线的参数方程；根据所述直线的参数方程确定传送带边缘角平分线；对所述待检测图片进行滚轴检测，以得到上边缘滚轴以及下边缘滚轴；根据上边缘滚轴以及下边缘滚轴确定滚轴基准线角平分线；根据所述传送带边缘角平分线以及所述滚轴基准线角平分线确定夹角偏移角；根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积确定全局偏移面积；根据所述夹角偏移角以及所述全局偏移面积确定传送带偏移程度；根据所述传送带偏移程度进行告警处理。
在一实施例中，处理器502在实现所述对所述待检测图片进行二值化语义分割，以得到含有传送带区域及背景的语义分割图片步骤时，具体实现如下步骤：
采用语义分割网络对所述待检测图片进行语义分割，以得到分割图片；对所述分割图片进行黑白二值化映射，以得到含有传送带区域及背景的语义分割图片。
在一实施例中，处理器502在实现所述对所述语义分割图片进行边缘直线检测，以得到直线的参数方程步骤时，具体实现如下步骤：
对所述语义分割图片进行特征提取，以得到特征图；对所述特征图进行霍夫变换，以得到变化后的特征图；将变化后的特征图内的每一层深度信息将空间域转换成参数域，以得到直线的参数方程。
在一实施例中，处理器502在实现所述根据所述直线的参数方程确定传送带边缘角平分线步骤时，具体实现如下步骤：
确定传送带上边缘的直线的参数方程以及传送带下边缘的直线的参数方程的交点坐标、传送带上边缘的直线的参数方程的斜率以及传送带下边缘的直线的参数方程的斜率；根据所述交点坐标、传送带上边缘的直线的参数方程的斜率以及传送带下边缘的直线的参数方程的斜率确定传送带边缘角平分线。
在一实施例中，处理器502在实现所述对所述待检测图片进行滚轴检测，以得到上边缘滚轴以及下边缘滚轴步骤时，具体实现如下步骤：
采用yolov5目标检测模型对所述待检测图片内的滚轴进行目标定位，得出每个滚轴的图像坐标位置；根据每个滚轴的图像坐标位置计算每个滚轴的中心点坐标；计算中心点坐标到上边缘传送带的距离以及中心点坐标到下边缘传送带的距离，以确定上边缘滚轴以及下边缘滚轴。
在一实施例中，处理器502在实现所述根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积确定全局偏移面积步骤时，具体实现如下步骤：
确定根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合，以得到多边形框；计算所述多边形框的面积，以得到全局偏移面积。
在一实施例中，处理器502在实现所述根据所述夹角偏移角以及所述全局偏移面积确定传送带偏移程度步骤时，具体实现如下步骤：
当所述全局偏移面积大于偏移面积阈值且所述夹角偏移角小于角度偏移阈值时，根据所述全局偏移面积确定传送带偏移程度；当所述全局偏移面积大于偏移面积阈值且所述夹角偏移角大于角度偏移阈值时，根据所述夹角偏移角确定传送带偏移程度；当所述全局偏移面积小于偏移面积阈值且所述夹角偏移角大于角度偏移阈值时，根据所述夹角偏移角确定传送带偏移程度。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取传送带的图片，以得到待检测图片；对所述待检测图片进行二值化语义分割，以得到含有传送带区域及背景的语义分割图片；对所述语义分割图片进行边缘直线检测，以得到直线的参数方程；根据所述直线的参数方程确定传送带边缘角平分线；对所述待检测图片进行滚轴检测，以得到上边缘滚轴以及下边缘滚轴；根据上边缘滚轴以及下边缘滚轴确定滚轴基准线角平分线；根据所述传送带边缘角平分线以及所述滚轴基准线角平分线确定夹角偏移角；根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积确定全局偏移面积；根据所述夹角偏移角以及所述全局偏移面积确定传送带偏移程度；根据所述传送带偏移程度进行告警处理。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述待检测图片进行二值化语义分割，以得到含有传送带区域及背景的语义分割图片步骤时，具体实现如下步骤：
采用语义分割网络对所述待检测图片进行语义分割，以得到分割图片；对所述分割图片进行黑白二值化映射，以得到含有传送带区域及背景的语义分割图片。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述语义分割图片进行边缘直线检测，以得到直线的参数方程步骤时，具体实现如下步骤：
对所述语义分割图片进行特征提取，以得到特征图；对所述特征图进行霍夫变换，以得到变化后的特征图；将变化后的特征图内的每一层深度信息将空间域转换成参数域，以得到直线的参数方程。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述直线的参数方程确定传送带边缘角平分线步骤时，具体实现如下步骤：
确定传送带上边缘的直线的参数方程以及传送带下边缘的直线的参数方程的交点坐标、传送带上边缘的直线的参数方程的斜率以及传送带下边缘的直线的参数方程的斜率；根据所述交点坐标、传送带上边缘的直线的参数方程的斜率以及传送带下边缘的直线的参数方程的斜率确定传送带边缘角平分线。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述待检测图片进行滚轴检测，以得到上边缘滚轴以及下边缘滚轴步骤时，具体实现如下步骤：
采用yolov5目标检测模型对所述待检测图片内的滚轴进行目标定位，得出每个滚轴的图像坐标位置；根据每个滚轴的图像坐标位置计算每个滚轴的中心点坐标；计算中心点坐标到上边缘传送带的距离以及中心点坐标到下边缘传送带的距离，以确定上边缘滚轴以及下边缘滚轴。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积确定全局偏移面积步骤时，具体实现如下步骤：
确定根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合，以得到多边形框；计算所述多边形框的面积，以得到全局偏移面积。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述夹角偏移角以及所述全局偏移面积确定传送带偏移程度步骤时，具体实现如下步骤：
当所述全局偏移面积大于偏移面积阈值且所述夹角偏移角小于角度偏移阈值时，根据所述全局偏移面积确定传送带偏移程度；当所述全局偏移面积大于偏移面积阈值且所述夹角偏移角大于角度偏移阈值时，根据所述夹角偏移角确定传送带偏移程度；当所述全局偏移面积小于偏移面积阈值且所述夹角偏移角大于角度偏移阈值时，根据所述夹角偏移角确定传送带偏移程度。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.传送带偏移检测方法，其特征在于，包括：
获取传送带的图片，以得到待检测图片；
对所述待检测图片进行二值化语义分割，以得到含有传送带区域及背景的语义分割图片；
对所述语义分割图片进行边缘直线检测，以得到直线的参数方程；
根据所述直线的参数方程确定传送带边缘角平分线；
对所述待检测图片进行滚轴检测，以得到上边缘滚轴以及下边缘滚轴；
根据上边缘滚轴以及下边缘滚轴确定滚轴基准线角平分线；
根据所述传送带边缘角平分线以及所述滚轴基准线角平分线确定夹角偏移角；
根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积确定全局偏移面积；
根据所述夹角偏移角以及所述全局偏移面积确定传送带偏移程度；
根据所述传送带偏移程度进行告警处理。
2.根据权利要求1所述的传送带偏移检测方法，其特征在于，所述对所述待检测图片进行二值化语义分割，以得到含有传送带区域及背景的语义分割图片，包括：
采用语义分割网络对所述待检测图片进行语义分割，以得到分割图片；
对所述分割图片进行黑白二值化映射，以得到含有传送带区域及背景的语义分割图片。
3.根据权利要求1所述的传送带偏移检测方法，其特征在于，所述对所述语义分割图片进行边缘直线检测，以得到直线的参数方程，包括：
对所述语义分割图片进行特征提取，以得到特征图；
对所述特征图进行霍夫变换，以得到变化后的特征图；
将变化后的特征图内的每一层深度信息将空间域转换成参数域，以得到直线的参数方程。
4.根据权利要求1所述的传送带偏移检测方法，其特征在于，所述根据所述直线的参数方程确定传送带边缘角平分线，包括：
确定传送带上边缘的直线的参数方程以及传送带下边缘的直线的参数方程的交点坐标、传送带上边缘的直线的参数方程的斜率以及传送带下边缘的直线的参数方程的斜率；
根据所述交点坐标、传送带上边缘的直线的参数方程的斜率以及传送带下边缘的直线的参数方程的斜率确定传送带边缘角平分线。
5.根据权利要求1所述的传送带偏移检测方法，其特征在于，所述对所述待检测图片进行滚轴检测，以得到上边缘滚轴以及下边缘滚轴，包括：
采用yolov5目标检测模型对所述待检测图片内的滚轴进行目标定位，得出每个滚轴的图像坐标位置；
根据每个滚轴的图像坐标位置计算每个滚轴的中心点坐标；
计算中心点坐标到上边缘传送带的距离以及中心点坐标到下边缘传送带的距离，以确定上边缘滚轴以及下边缘滚轴。
6.根据权利要求1所述的传送带偏移检测方法，其特征在于，所述根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积确定全局偏移面积，包括：
确定根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合，以得到多边形框；
计算所述多边形框的面积，以得到全局偏移面积。
7.根据权利要求1所述的传送带偏移检测方法，其特征在于，所述根据所述夹角偏移角以及所述全局偏移面积确定传送带偏移程度，包括：
当所述全局偏移面积大于偏移面积阈值且所述夹角偏移角小于角度偏移阈值时，根据所述全局偏移面积确定传送带偏移程度；
当所述全局偏移面积大于偏移面积阈值且所述夹角偏移角大于角度偏移阈值时，根据所述夹角偏移角确定传送带偏移程度；
当所述全局偏移面积小于偏移面积阈值且所述夹角偏移角大于角度偏移阈值时，根据所述夹角偏移角确定传送带偏移程度。
8.传送带偏移检测装置，其特征在于，包括：
图片获取单元，用于获取传送带的图片，以得到待检测图片；
分割单元，用于对所述待检测图片进行二值化语义分割，以得到含有传送带区域及背景的语义分割图片；
直线检测单元，用于对所述语义分割图片进行边缘直线检测，以得到直线的参数方程；
第一确定单元，用于根据所述直线的参数方程确定传送带边缘角平分线；
滚轴检测单元，用于对所述待检测图片进行滚轴检测，以得到上边缘滚轴以及下边缘滚轴；
第二确定单元，用于根据上边缘滚轴以及下边缘滚轴确定滚轴基准线角平分线；
夹角偏移角确定单元，用于根据所述传送带边缘角平分线以及所述滚轴基准线角平分线确定夹角偏移角；
全局偏移面积确定单元，用于根据所述传送带边缘角平分线以及所述滚轴基准线角平分线与所述待检测图片的边缘的交点集合围成的多边形框的面积确定全局偏移面积；
程度确定单元，用于根据所述夹角偏移角以及所述全局偏移面积确定传送带偏移程度；
告警处理单元，用于根据所述传送带偏移程度进行告警处理。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至7中任一项所述的方法。
CN202111092777.1A 2021-09-17 2021-09-17 传送带偏移检测方法、装置、计算机设备及存储介质 Active CN113763376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111092777.1A CN113763376B (zh) 2021-09-17 2021-09-17 传送带偏移检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111092777.1A CN113763376B (zh) 2021-09-17 2021-09-17 传送带偏移检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113763376A CN113763376A (zh) 2021-12-07
CN113763376B true CN113763376B (zh) 2024-03-01

Family

ID=78796270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111092777.1A Active CN113763376B (zh) 2021-09-17 2021-09-17 传送带偏移检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113763376B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523908B (zh) * 2023-06-30 2023-09-12 湖南隆深氢能科技有限公司 基于卷料涂布生产线的安全生产方法、系统、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009092130A1 (en) * 2008-01-22 2009-07-30 Barge's Belting Solution Pty Ltd Method and apparatus for monitoring a conveyor belt
CN103051872A (zh) * 2012-12-18 2013-04-17 青岛科技大学 基于图像边缘提取的输送带跑偏检测方法
CN105151648A (zh) * 2015-10-20 2015-12-16 李晓东 气垫带式输送机跑偏自动托浮纠正系统
CN107499861A (zh) * 2017-08-18 2017-12-22 河南三和水工机械有限公司 皮带纠偏方法及实现该方法的皮带自动纠偏装置、皮带机
CN110838097A (zh) * 2019-11-22 2020-02-25 江苏东方赛云电子科技有限公司 一种基于机器视觉的输送带偏移测量方法
CN110902315A (zh) * 2019-12-10 2020-03-24 浙江蓝卓工业互联网信息技术有限公司 皮带偏移状态检测方法及系统
CN110953984A (zh) * 2019-11-22 2020-04-03 浙江蓝卓工业互联网信息技术有限公司 一种传送带偏移度判定方法及装置
CN113283344A (zh) * 2021-05-27 2021-08-20 中国矿业大学 一种基于语义分割网络的矿用输送带跑偏检测方法
CN113379743A (zh) * 2021-08-12 2021-09-10 山东中都机器有限公司 基于计算机视觉的输送机异常检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009092130A1 (en) * 2008-01-22 2009-07-30 Barge's Belting Solution Pty Ltd Method and apparatus for monitoring a conveyor belt
CN103051872A (zh) * 2012-12-18 2013-04-17 青岛科技大学 基于图像边缘提取的输送带跑偏检测方法
CN105151648A (zh) * 2015-10-20 2015-12-16 李晓东 气垫带式输送机跑偏自动托浮纠正系统
CN107499861A (zh) * 2017-08-18 2017-12-22 河南三和水工机械有限公司 皮带纠偏方法及实现该方法的皮带自动纠偏装置、皮带机
CN110838097A (zh) * 2019-11-22 2020-02-25 江苏东方赛云电子科技有限公司 一种基于机器视觉的输送带偏移测量方法
CN110953984A (zh) * 2019-11-22 2020-04-03 浙江蓝卓工业互联网信息技术有限公司 一种传送带偏移度判定方法及装置
CN110902315A (zh) * 2019-12-10 2020-03-24 浙江蓝卓工业互联网信息技术有限公司 皮带偏移状态检测方法及系统
CN113283344A (zh) * 2021-05-27 2021-08-20 中国矿业大学 一种基于语义分割网络的矿用输送带跑偏检测方法
CN113379743A (zh) * 2021-08-12 2021-09-10 山东中都机器有限公司 基于计算机视觉的输送机异常检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于图像处理技术的皮带跑偏监测系统设计;滕悦;徐少川;张庆东;;烧结球团(02);全文 *
基于图像处理的输送带跑偏故障在线检测技术研究;杨林顺;董志勇;;煤炭工程(10);全文 *
输送带跑偏故障的机器视觉检测技术;杨彦利;苗长云;亢伉;李现国;;中北大学学报(自然科学版)(06);全文 *

Also Published As

Publication number Publication date
CN113763376A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
US10115035B2 (en) Vision system and analytical method for planar surface segmentation
US8873837B2 (en) Image-based crack detection
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN107945155B (zh) 一种基于Gabor滤波器的牙膏管肩缺陷检测方法
CN112734760B (zh) 半导体bump缺陷检测方法、电子设备及存储介质
CN113763375A (zh) 传送带偏移程度检测方法、装置、计算机设备及存储介质
US11928805B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
CN113781511B (zh) 传送带边缘磨损检测方法、装置、计算机设备及存储介质
CN112033965A (zh) 基于差分图像分析的3d弧形表面缺陷检测方法
US10074551B2 (en) Position detection apparatus, position detection method, information processing program, and storage medium
CN113763376B (zh) 传送带偏移检测方法、装置、计算机设备及存储介质
US10643338B2 (en) Object detection device and object detection method
CN115656182A (zh) 基于张量投票主成分分析的板材点云缺陷检测方法
CN107808165B (zh) 一种基于susan角点检测的红外图像匹配方法
CN115375608A (zh) 检测方法及装置、检测设备和存储介质
CN116071304A (zh) 一种物品边缘线定位方法、装置及电子设备
KR101714131B1 (ko) 주차구획 인식 장치 및 방법
CN113096090A (zh) 带倒角的端面间隙视觉测量方法、装置、设备及存储介质
CN113888482A (zh) 传送带边缘缺陷检测方法、装置、计算机设备及存储介质
JP2000321038A (ja) パターン欠陥検出方法
CN112666733B (zh) Lcd灰阶画面下线型缺陷检测方法、电子设备及存储介质
US11508077B2 (en) Method and apparatus with moving object detection
CN113358058B (zh) 基于离散序列点的焊缝轮廓特征计算机视觉检测方法
CN116642893B (zh) 一种抗原检测试剂视觉智能检测方法、装置、设备及介质
JPH0894541A (ja) 検査対象物の角部の欠け検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant