CN111476804B - 托辊图像高效分割方法、装置、设备及存储介质 - Google Patents
托辊图像高效分割方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111476804B CN111476804B CN202010410273.9A CN202010410273A CN111476804B CN 111476804 B CN111476804 B CN 111476804B CN 202010410273 A CN202010410273 A CN 202010410273A CN 111476804 B CN111476804 B CN 111476804B
- Authority
- CN
- China
- Prior art keywords
- carrier roller
- image
- lines
- straight line
- idler
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000003709 image segmentation Methods 0.000 title claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 39
- 238000003708 edge detection Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 238000003064 k means clustering Methods 0.000 claims description 13
- 238000011426 transformation method Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000013519 translation Methods 0.000 abstract description 3
- 238000005520 cutting process Methods 0.000 abstract description 2
- 238000007689 inspection Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Abstract
本发明实施例公开了一种托辊图像高效分割方法、装置、设备及存储介质，其中，所述托辊图像高效分割方法，采用聚类算法将托辊图像中检测到的直线依据斜率和斜率方差进行递归分类，在不知道托辊图像中值直线数据类别数量的情况下可自动完成加图像中直线的分类，为快速高效的找到托辊上下边界直线提供依据；通过将在上边界直线的平移直线上设置左右边界查找的起始点，并通过领域内直线拟合方法，不仅可有效避免干扰直线，进一步简化了左右边界直线的计算。最终在只需计算四条边界直线的交点，来确定托辊的分割区域，再采用图像掩膜的方法就可高效快速分割出图像的托辊目标区域。
Description
技术领域
本发明涉及图像分割技术领域，尤指一种托辊图像高效分割方法、装置、设备及存储介质。
背景技术
托辊，是带式输送机的重要部件，种类多，数量大，可以支撑输送带和物料重量。它占了一台带式输送机总成本的35％，产生了70％以上的阻力，因此托辊的质量尤为重要。其有钢制和塑料两种。由此托辊作为带式输送机的基础部件，其健康状态对于确保带式输送机安全平稳运行至关重要，传统的人工巡检托辊主要通过目测、敲击和听音来辨别该托辊是否异常状态，这种方式安全性差、漏检率高、工作流程复杂、效率低下。因此，有必要研究工作于带式输送机沿线的自动巡检装置以及利用声音、温度和图像等信息对托辊实施自动监测的方法，从而代替人工巡检方式。相较声音和温度，图像能提供关于托辊姿态角度、表面锈蚀、转动顺畅等全面的工况信息，利于跟踪和提前预警可能出现故障的托辊。
目前在图像分割领域主要有基于传统图像处理技术和基于深度学习两种方法。而针对托辊，尤其是针对带式输送机的托辊图像分割方法这类专用的图像方法研究较少，其中，研究人员马宏伟、杨文娟等提出了一种基于红外图像的托辊定位分割算法，该方法基于传统的图像处理技术，采用了图像投影，连通分量处理，形态学处理等，但需额外依赖红外热成像设备，借助于红外热成像技术，无法直接分割普通摄像头采集的托辊图像，增加了成本且分割精度受限于托辊表面温度。而基于深度学习的图像语义分割方法，如He Kaiming,Gkioxari Georgia,Dollar Piotr,et al.(Mask R-CNN[J].IEEE Transactions onPattern Analysis&Machine Intelligence:1-1)提出的Mask R-CNN算法，需要采集并标准化大量用于托辊分割的图像数据集用于训练，从而来保证算法的准确性和鲁棒性，此外，基于深度学习的图像语义分割方法在部署时对硬件计算资源要求较高，如运行于NvidiaTesla M40显卡上的Mask R-CNN算法对COCO数据集中的图片分割速度仅为5fps，无法满足基于带式输送机沿线巡检装置这类低功耗计算平台的托辊图像实时分割要求。
发明内容
本发明实施例提供了一种托辊图像高效分割方法、装置、设备及存储介质，利用霍夫变换和聚类算法确定托辊的上下边界直线，根据领域内直线拟合的方法确定托辊的左右边界，可高效快速的确定图像中的托辊区域，从而完成托辊的准确分割。
本发明实施例提供了一种托辊图像高效分割方法，包括：
利用霍夫变换的方法对托辊图像提取直线条；
对所有提取出来的直线条依据其斜率特征，进行基于聚类算法的递归运算，得到若干簇线条一，再根据该若干簇线条一得到托辊的上边界直线和下边界直线；
根据得到托辊的上边界直线和下边界直线确定托辊的左右边界，并最终分割出托辊图像区域。
本发明实施例还提供一种托辊图像高效分割装置，包括：
提取模块，用于利用霍夫变换的方法对托辊图像提取直线条。
递归模块，用于对所有提取出来的直线条依据其斜率特征，进行基于聚类算法的递归运算，得到若干簇线条一，再根据该若干簇线条一得到托辊的上边界直线和下边界直线。
本发明实施例还提供一种托辊图像高效分割设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述托辊图像高效分割方法。
本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行所述托辊图像高效分割方法。
本发明实施例包括：在确定托辊上下边界时，采用聚类算法将托辊图像中检测到的直线依据斜率和斜率方差进行递归分类，在不知道托辊图像中值直线数据类别数量的情况下可自动完成加图像中直线的分类，为快速高效的找到托辊上下边界直线提供依据；通过将在上边界直线的平移直线上设置左右边界查找的起始点，并通过领域内直线拟合方法，不仅可有效避免干扰直线，进一步简化了左右边界直线的计算。最终在只需计算四条边界直线的交点，来确定托辊的分割区域，再采用图像掩膜的方法就可高效快速分割出图像的托辊目标区域。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本发明实施例的一种托辊图像高效分割方法的基本流程图；
图2为本发明实施例的一种托辊图像高效分割方法的详细流程图；
图3为本发明实施例的托辊图像分割过程的托辊图像；
图4为本发明实施例的实验验证的托辊图像的分割结果图。
具体实施方式
下文中将结合附图对本发明的实施例进行详细说明。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
传统的人工巡检托辊主要通过目测、敲击和听音来辨别该托辊是否异常状态，这种方式安全性差、漏检率高、工作流程复杂、效率低下。因此，有必要研究工作于带式输送机沿线的自动巡检装置以及利用声音、温度和图像等信息对托辊实施自动监测的方法，从而代替人工巡检方式。相较声音和温度，图像能提供关于托辊姿态角度、表面锈蚀、转动顺畅等全面的工况信息，利于跟踪和提前预警可能出现故障的托辊。因此，针对带式输送机沿线巡检装置采集的托辊图像，本发明实施例提出了一种基于K-means聚类算法的带式输送机托辊图像高效分割方法。
针对上述情况，本发明实施例提出一种托辊图像高效分割方法，通过在判断过程中进行提示以供调试所述托辊图像高效分割设备的方式，就能减少人力来进行室外调试安装托辊图像高效分割设备，并且无需接入网线结构的有线连接结构这样便于现场调试安装操作。
本发明实施例属于图像处理技术领域，涉及一种带式输送机托辊健康状态检测技术领域，也涉及一种托辊图像高效分割方法、装置、设备及存储介质，特别是涉及一种基于K-means聚类算法的带式输送机托辊图像高效分割方法、装置、设备及存储介质，用于对带式输送机沿线巡检装置采集的托辊图像进行快速分割。本发明实施例的目的是对采集的托辊图像，快速而高效的分割出图像中的托辊区域，为后续对托辊区域图像的特征分析和运动状态的判断提供基础。
如图1所示，本发明实施例的托辊图像高效分割方法，包括如下步骤：
步骤101，利用霍夫变换的方法对托辊图像提取直线条。
其中，托辊的上边界与下边界在托辊图像中均表现为一条直线段，霍夫变换的方法就是一种用来寻找托辊图像中直线段的算法。霍夫变换的方法对直线检测就是把托辊图像空间中的直线变换到参数空间中的点，通过统计特性来解决图像直线检测问题。具体来说，如果一幅图像中的像素构成一条直线，那么这些像素坐标值(x,y)在参数空间对应的曲线一定相交于一个点，所以我们只需要将图像中的所有像素点的坐标值变换成参数空间的曲线，并在参数空间统计曲线交点个数和对应阈值的比较就可以确定直线了。
目前有三种不同的霍夫变换的方法，其中霍夫变换的方法中的一种累计概率霍夫变换算法相较于另外两种分别为多尺度霍夫变换算法和标准霍夫变换算法的霍夫变换的方法，能在一定范围内进行霍夫变换，可有效的降低计算量，缩短计算时间，故在本发明实施例中，在一实施例中，所述霍夫变换的方法就为采用累计概率霍夫变换算法，以此来完成托辊图像中直线条的提取。
本发明实施例中，为了快速高效的完成托辊边界的直线段查找，进一步降低其他干扰直线和计算速度，将托辊图像从中线起分为上下两个部分，采取对托辊图像的上半部分图像进行直线条提取，直线条提取结果如图3中的(d)所示。
步骤102，对所有提取出来的直线条依据其斜率特征，进行基于聚类算法的递归运算，得到若干簇线条一，再根据该若干簇线条一得到托辊的上边界直线和下边界直线。
其中，根据利用霍夫变换的方法对托辊图像检测而提取出的直线条，可分两步确定托辊的上下边界：
在一实施例中，所述聚类算法的递归运算为K-means聚类算法的二分类递归运算，该递归运算的过程包括：
步骤201，将所有利用霍夫变换的方法对托辊图像检测而提取出的直线条采用K-means聚类算法聚为两类。
其中，由于利用霍夫变换的方法对托辊图像上半部分或托辊图像下半部分检测而提取出的直线条众多，分析这些直线条的斜率数据分布，发现无法直接将直线条划分为明确的类别数，这里将分为两类的K-means算法作为基本模块，对所有检测到的直线线条进行递归聚类。具体而言：在一实施例中，所述将所有利用霍夫变换的方法对托辊图像检测而提取出的直线条采用K-means聚类算法聚为两类的方法，包括：
步骤301：计算所有检测得到的直线条，即n条直线条的斜率，并将得到的所有直线条，即n个的斜率值作为待聚类对象，然后采用K-means++算法作为初始聚类中心的方法，生成所要聚成两个类别的初始中心来作为聚类中心。其中n为正整数。
步骤302：计算距离阶段，所述计算距离阶段即计算每个待聚类对象到所有聚类中心的欧氏距离；并将每个聚类对象划分到距离它最近的聚类中心，作为其所属于该类别的一个成员。
步骤303：重新计算每个类别的均值，作为该类别新的聚类中心。
步骤304：当每个待聚类对象到其所属类别的聚类中心的距离之和不能再减小，即算法已经收敛时，就终止所述将所有利用霍夫变换的方法对托辊图像检测而提取出的直线条采用K-means聚类算法聚为两类的方法；否则返回计算距离阶段继续进行。
步骤202，分别计算每个聚类的直线斜率的方差，当该方差不小于预设直线方差阈值时，则记录下该簇直线条的数据作为一个类别；当该方差大于预设直线方差阈值时，继续返回所述将所有利用霍夫变换的方法对托辊图像检测而提取出的直线条采用K-means聚类算法聚为两类的方法中执行而聚为两类，如此以二分类方式聚类递归，直到每个聚类的斜率方差小于直线方差阈值，最后，得到若干簇线条一，即k簇线条。其中k为正整数。
其中，进行递归聚类后，直到每个线条聚类的斜率方差小于预设阈值，最后得到k类直线簇。采用递归算法可以在不能明确直线类别数的情况下快速将直线条尽可能准确的分类。K-means算法是一种广泛使用的聚类算法，把n个对象划分为指定的类数，以使类内具有较高的相似度，而类间相似度尽可能小。相似度的计算根据每个类中对象的平均值来进行的。
在一实施例中，所述再根据该若干簇线条一得到托辊的上边界直线和下边界直线，包括：
步骤401，计算若干簇线条一，即k簇线条的斜率均值并取整，合并取整后的斜率均值相等的线条簇为一簇，将原来的若干簇线条一，即k簇线条缩减为若干簇线条二并得到若干簇线条二的斜率值，即m簇线条。其中m为正整数。
步骤402，检索所述若干簇线条二的斜率均值，找到其内具有垂直关系的两簇线条。
步骤403，确定两簇线条中斜率方差较小的为托辊上边界直线簇和下边界直线簇。
其中，合并所述再根据该若干簇线条一得到托辊的上边界直线和下边界直线的方法得到的k簇线条中斜率近似的线条簇，在这里计算k簇线条的斜率均值并取整，将取整后斜率均值相等的线条簇合并，缩减得到m簇线条。
在所检测到的线条里，可以发现托辊水平边界和垂直边界处的直线存在理论上垂直关系，根据这一位置关系，找到m簇线条中具有近似垂直关系的两簇，最后得到这两簇直线有一簇是托辊水平边界线条簇。最后得到两簇线条如图3中的(e)所示，包含托辊水平边界和垂直方向两类线条。由于上下边界直线可近似为平行直线，斜率相差很小，分别计算这两簇线条的斜率方差，方差小的一组即作为水平边界线条簇的托辊上边界直线簇和下边界直线簇。
步骤404，基于上边界线条簇和下边界线条簇的截距差别，即首先找到上下边界线条簇中线条截距的最大值和最小值并求得最大最小值的平均值作为截距阈值，大于截距阈值的分为下边界线条组，小于截距阈值的分为上边界线条组；最后分别挑选上下边界线条组中与该组直线中与斜率均值误差最小的一条直线作为托辊上边界直线和下边界直线。
其中，如图3中的(g)中大图展示了托辊图像中检测到的线条以斜率分布图，线条截距在图中为了展示设为统一值表示。经过上述步骤找到了托辊的水平边界线条簇，即为图中矩形圈选的点，左上小图为将矩形内的水平线条簇的放大图，可以看出上边界线条簇和下边界线条簇的截距差别明显，可根据截距阈值分为上边界线条组和下边界线条组。最后分别挑选上下边界线条组中与该组直线中与斜率均值误差最小的一条直线作为托辊上边界直线和下边界直线。最终得到的托辊的上下边界如图3中的(f)所示。
步骤103，根据得到托辊的上边界直线和下边界直线确定托辊的左右边界，并最终分割出托辊图像区域。
在一实施例中，所述利用霍夫变换的方法对托辊图像提取直线条的托辊图像是对原始托辊图像依次执行预处理、边缘检测、轮廓检测与筛选后的托辊图像。
其中，在如巡检机器人上设置的摄像头采集到一张托辊的图像后，先使用计算机视觉的方法对托辊图像进行相关处理，以减少周围环境中噪声的干扰，去除掉对托辊图像边界确定没有作用的图像数据，并对图像中的边缘进行检测和轮廓筛选，为下一步提取线条做好准备。并从而去除图像中的冗余信息，减少噪声影响；所述边缘检测为Canny边缘检测，边缘也就是图像中灰度信息变化剧烈的区域边界，采用边缘检测算法提取出图像的边缘轮廓信息，在图像内容的检测和识别中起着重要作用。典型的边缘检测算子有Roberts算子、Laplacian算子、Sobel算子、Scharr算子、Prewitt算子、Canny算子等，通过分析对比各种边缘检测的托辊图像边缘检测效果，Canny算子在抗噪声干扰和边缘完整性之间能够获得最佳折中，本方法采用Canny边缘检测算子，对预处理后得到的图像利用Canny算子进行边缘检测，可归纳为以下步骤：
步骤A、用一阶偏导的有限差分来计算梯度的幅值和方向，以达到边缘增强的目的；
本发明实施例利用Sobel卷积模板和/>分别作用于x和y方向，使用下面的公式(4)和公式(5)分别得到幅值和方向
其中f(x,y)为对应点图像像素数据，其中x为像素的横坐标，y为像素点的纵坐标。
步骤B：对梯度幅值采用非极大值抑制，排除非边缘像素，得到一些候选边缘，再通过高低双阈值算法检测和连接边缘。边缘检测结果如图3中的(b)所示。
而这样对于轮廓检测与筛选，由于Canny边缘检测得到边缘图像，冗余边缘线段众多，为了排除后续对托辊边界直线检测的干扰，这里对边缘图像进行轮廓检测，计算每一条边缘轮廓的长度，设定边缘轮廓长度阈值，过滤掉一些短小的非边界边缘轮廓，留下托辊图像中的主要边缘轮廓信息，并对留下进行重新绘制，使得边缘轮廓更加清晰。边缘轮廓筛选结果如图3中的(c)所示，所述的轮廓检测与筛选，利用边缘图像检测图像的轮廓，计算图像所有边缘轮廓长度，设置轮廓长度阈值，可有效过滤图像上冗余的边缘信息，排除干扰。
在一实施例中，所述原始托辊图像为普通摄像头采集而来的托辊图像。
其中，对原始托辊图像进行预处理，去除掉大部分对托辊边界确定没有帮助的图像数据，极大地减少了所需处理的信息量，降低了计算的复杂度；而且由于后续霍夫变换是一个相对比较耗时的过程，这样先去除了大量无关数据后，对后续的线条提取过程也节省了计算成本。
在一实施例中，所述预处理包括：
依次执行的图像灰度化处理、高斯滤波处理和中值滤波处理。
其中，由于计算机视觉的方法很容易受到所处环境中光照条件的影响，为了将这种影响降至最低，把得到的作为原始RGB图像的原始托辊图像的利用公式(1)转化为灰度图像，减少光照变化对边界检测的影响。
Gray＝0.229R+0.587G+0.114B (1)
而由于边缘检测对噪声比较敏感，为了尽可能的剔除与托辊边界轮廓无关的其他边缘信息，有效的过滤了无关边缘信息，大幅度减少边缘数据量，只保留了图像重要的结构属性，使用了高斯滤波和中值滤波结合进行滤波处理。首先用高斯滤波器平滑图像，消除高斯噪声，这里使用的高斯函数为公式(2)所示：
其中f(x,y)为图像数据。
然后用中值滤波器滤除图像中的椒盐噪声，设{xij,(i,j)∈I2}表示数字图像各点的灰度值，滤波窗口为A的二维中值滤波可定义为公式(3)所示:
其中，yij为滤波窗口A中按灰度值大小排列的中间值。
在一实施例中，所述根据得到托辊的上边界直线和下边界直线确定托辊的左右边界直线，包括：
将确定的上边界直线向下平移得到直线L，在直线L上分别设定左右起始点，沿直线L的伸展方向等间隔的取点，采集以该点为中心的正方形领域内的图像区域内的灰度值非零的像素点的个数作为非零点个数，通过设定区域内非零点个数的阈值，对符合要求的领域内的非零点进行直线拟合，根据该拟合直线与上下边界的位置关系判断和确定托辊的左右边界直线。
在一实施例中，所述根据得到托辊的上边界直线和下边界直线确定托辊的左右边界直线，包括：
步骤5-1：将托辊的上边界直线向下平移设定的像素距离d得到直线L，图像垂直中心线与直线L的交点记为点一C。
步骤5-2：移动阶段，所述移动阶段即将点一C沿直线L左右移动设定的距离n分别得到A和B两个点作为左右边界查找的起始点，以A和B作为起始点主要目的一方面可以缩短查找距离，另一方可以避免中心点附近托辊较深的划痕边缘对边界查找造成的影响。
步骤5-3：分别以直线上的A和B起始点开始查找左右边界，从起始点开始沿直线L等间隔取点，以取点为中心取一个正方形区域，获取这个区域内的所有灰度值非零的像素点的个数作为非零点个数N。设定领域内非零点个数N的阈值过滤掉一部分托辊内非边界的干扰点和线段，对满足条件的领域内点集进行最小二乘的直线拟合，得到拟合直线的斜率和截距；
步骤5-4：当拟合的直线是左右边界时，理论上和托辊的上边界是垂直关系的，其斜率乘积值等于-1，但图像上直线会产生畸变误差，故设置拟合左右边界直线与上边界直线斜率乘积值的误差阈值ε，当拟合直线斜率和上边界直线斜率乘积值∈[-1-ε,-1+ε]时，确定此时的拟合直线为托辊的左边界或右边界。若有满足阈值条件的拟合直线，则记录此时拟合直线的斜率和截距赋值参数；
步骤5-5：若左右起始点A，B两点沿直线L移动到托辊图像边界可能还未找到左边界或右边界，这时将这条直线L和点一C继续向下平移设定的距离d，得到新的直线L和新的点一C，返回移动阶段顺序向下执行，直至找到托辊的左右边界直线。所述左右边界的拟合结果如图3中的(h)所示。
其中，摄像头在采集不同位置带式输送机图像时，托辊边缘检测图像中的左右边界并不均是一段直线，不能直接通过上述的霍夫变换直线检测方法得到托辊左右边界，如图3中的(a)所示采集的托辊图像中托辊右边界并不是一段直线。为满足不同位置托辊的左右边界同步检测，本发明实施例选择通过获取托辊左右边界处的点进行直线拟合的方法得到托辊的左右边界。
在一实施例中，所述最终分割出托辊图像区域，包括：
利用托辊四条边界直线确定的四边形区域制作图像掩膜，分割出托辊图像区域。
在一实施例中，所述利用托辊四条边界直线确定的四边形区域制作图像掩膜，分割出托辊图像区域，包括：
步骤5-6：利用确定的托辊的上下左右的边界直线形成的四边形区域，作为托辊分割的目标区域。
步骤5-7：制作与目标区域一致的图像掩膜。
步骤5-8：通过将图像掩膜与原始托辊图像进行位与运算，即可分割出图像中的托辊区域。
其中，得到了托辊图像中托辊的外围四条边界直线，由于图像拍摄角度以及图像畸变的原因，直接用托辊原有的四条边界直线确定的托辊区域，可能会包含非托辊的其他区域，为确保分割的托辊完全是托辊内部区域，这里将寻找到的托辊四个边界分别向内部移动预设的像素距离，由向内移动的四个边界的交点确定的四边形区域即为最终图像中需要分割的托辊区域，如图3中的(i)所示。对图像中托辊区域的分割采用图像掩膜的方法，图像掩膜是指利用选定的图像、图形或物体，对处理图片的全部或局部进行遮挡，来控制和选取图像处理的区域。利用托辊四边界确定的四边形区域制作托辊截取区域的掩膜，将掩膜与待处理图像进行像素点位与运算，得到原图中掩膜区域的图像。托辊图像掩膜如图3中的(j)所示。最终利用掩膜从托辊图像上分割的托辊结果如图3中的(k)所示。
为了进一步说明本发明实施例提出方法对托辊图像分割的有效性，设计了下面实验进行验证：
通过采集不同环境和不同方向的两张托辊图像，通过本发明实施例提出的方法分割出图像中托辊区域，实验分割结果如图4所示。从分割结果来看，本发明实施例的方法可以较好的完成图像中托辊的分割，具有很高的适应性和很高实用的价值。
本发明实施例提出的方法采用的托辊图像数据由普通摄像头采集而来，无需额外辅助图像采集设备；对托辊原始图像进行预处理，去除掉大部分对托辊边界确定没有帮助的图像数据，极大地减少了所需处理的信息量，降低了计算的复杂度；而且由于霍夫变换是一个相对比较耗时的过程，在去除大量无关数据后，对后续线条提取过程也节省了计算成本。在确定托辊上下边界时，采用K-means聚类算法将图像中检测到的直线依据斜率和斜率方差进行递归分类，在不知道图像中值直线数据类别数量的情况下可自动完成加图像中直线的分类，为快速找到托辊上下边界直线提供依据；通过将在上边界直线的平移直线上设置左右边界查找的起始点，并通过领域内直线拟合方法，不仅可有效避免干扰直线，进一步简化了左右边界直线的计算。最终在只需计算四条边界直线的交点，确托辊分割区域，采用图像掩膜就可快速高效分割出图像的托辊目标区域。
本发明实施例还提供一种托辊图像高效分割装置，包括：
提取模块，用于利用霍夫变换的方法对托辊图像提取直线条。
递归模块，用于对所有提取出来的直线条依据其斜率特征，进行基于聚类算法的递归运算，得到若干簇线条一，再根据该若干簇线条一得到托辊的上边界直线和下边界直线。
分割模块，用于根据得到托辊的上边界直线和下边界直线确定托辊的左右边界，并最终分割出托辊图像区域。
在本发明实施例中，通过对采集的托辊图像，快速而高效的分割出图像中的托辊区域，为后续对托辊区域图像的特征分析和运动状态的判断提供基础。
本发明实施例还提供一种托辊图像高效分割设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述托辊图像高效分割方法。
本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行所述托辊图像高效分割方法。
在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，ReadOnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号。
Claims (11)
1.一种托辊图像高效分割方法，其特征在于，包括：
利用霍夫变换的方法对托辊图像提取直线条；
对所有提取出来的直线条依据其斜率特征，进行基于聚类算法的递归运算，得到若干簇线条一，再根据该若干簇线条一得到托辊的上边界线条和下边界线条；
根据得到托辊的上边界线条和下边界线条确定托辊的左右边界，并最终分割出托辊图像区域；
所述聚类算法的递归运算为K-means聚类算法的二分类递归运算，该递归运算的过程包括：
将所有利用霍夫变换的方法对托辊图像检测而提取出的直线条采用K-means聚类算法聚为两类；
分别计算每个聚类的直线斜率的方差，当该方差不小于预设直线方差阈值时，则记录下该直线条的数据作为一个类别；当该方差大于预设直线方差阈值时，继续返回所述将所有利用霍夫变换的方法对托辊图像检测而提取出的直线条采用K-means聚类算法聚为两类的方法中执行而聚为两类，如此以二分类方式聚类递归，直到每个聚类的斜率方差小于直线方差阈值，最后，得到若干簇线条一；
将所有利用霍夫变换的方法对托辊图像检测而提取出的直线条采用K-means聚类算法聚为两类的方法，包括：
计算所有检测得到的直线条的斜率，并将得到的所有直线条的斜率值作为待聚类对象，然后采用K-means++算法作为初始聚类中心的方法，生成所要聚成两个类别的初始中心来作为聚类中心；
计算距离阶段，所述计算距离阶段即计算每个待聚类对象到所有聚类中心的欧氏距离；并将每个聚类对象划分到距离它最近的聚类中心，作为其所属于该类别的一个成员；
重新计算每个类别的均值，作为该类别新的聚类中心；
当每个待聚类对象到其所属类别的聚类中心的距离之和不能再减小，即算法已经收敛时，就终止所述将所有利用霍夫变换的方法对托辊图像检测而提取出的直线条采用K-means聚类算法聚为两类的方法；否则返回计算距离阶段继续进行；
所述再根据该若干簇线条一得到托辊的上边界线条和下边界线条，包括：
计算若干簇线条一斜率均值并取整，合并取整后的斜率均值相等的线条簇为一簇，将原来的若干簇线条一缩减为若干簇线条二并得到若干簇线条二的斜率值；
检索所述若干簇线条二的斜率均值，找到其内具有垂直关系的两簇线条；
确定两簇线条中斜率方差较小的为托辊上边界线条簇和下边界线条簇；
基于上边界线条簇和下边界线条簇的截距差别，再根据预设的截距阈值分为上边界线条组和下边界线条组；最后分别挑选上下边界线条组中与线条组中与斜率均值误差最小的一条直线作为托辊上边界线条和下边界线条。
2.根据权利要求1所述的托辊图像高效分割方法，其特征在于，所述霍夫变换的方法就为采用累计概率霍夫变换算法，以此来完成托辊图像中直线条的提取。
3.根据权利要求2所述的托辊图像高效分割方法，其特征在于，所述利用霍夫变换的方法对托辊图像提取直线条的托辊图像是对原始托辊图像依次执行预处理、边缘检测、轮廓检测与筛选后的托辊图像。
4.根据权利要求3所述的托辊图像高效分割方法，其特征在于，所述原始托辊图像为普通摄像头采集而来的托辊图像。
5.根据权利要求3所述的托辊图像高效分割方法，其特征在于，所述预处理包括：
依次执行的图像灰度化处理、高斯滤波处理和中值滤波处理。
6.根据权利要求3所述的托辊图像高效分割方法，其特征在于，所述根据得到托辊的上边界线条和下边界线条确定托辊的左右边界线条，包括：
将确定的上边界线条向下平移得到直线，在直线上分别设定左右起始点，沿直线的伸展方向等间隔的取点，采集以该点为中心的正方形领域内的图像区域内的灰度值非零的像素点的个数作为非零点个数，通过设定区域内非零点个数的阈值，对符合要求的领域内的非零点进行直线拟合，根据该拟合直线与上下边界的位置关系判断和确定托辊的左右边界线条。
7.根据权利要求3所述的托辊图像高效分割方法，其特征在于，所述根据得到托辊的上边界线条和下边界线条确定托辊的左右边界线条，包括：
将托辊的上边界线条向下平移设定的像素距离得到直线，图像垂直中心线与直线的交点记为点一；
移动阶段，所述移动阶段即将点一沿直线左右移动设定的距离分别得到两个点作为左右边界查找的起始点；
分别以直线上的起始点开始查找左右边界，从起始点开始沿直线等间隔取点，以取点为中心取一个正方形区域，获取这个区域内的所有灰度值非零的像素点的个数作为非零点个数；设定领域内非零点个数的阈值过滤掉一部分托辊内非边界的干扰点和线段，对满足条件的领域内点集进行最小二乘的直线拟合，得到拟合直线的斜率和截距；
当拟合的直线是左右边界时，理论上和托辊的上边界是垂直关系的，但图像上直线也会有畸变误差，设置拟合直线的斜率阈值判断范围，确定托辊的左右边界的拟合直线；若有满足阈值条件的拟合直线，则记录此时拟合直线的斜率和截距赋值参数；
若左右起始点两点沿直线移动到托辊图像边界可能还未找到左边界或右边界，这时将这条直线和点一继续向下平移设定的距离，得到新的直线和新的点一，返回移动阶段顺序向下执行，直至找到托辊的左右边界线条。
8.根据权利要求3所述的托辊图像高效分割方法，其特征在于，所述最终分割出托辊图像区域，包括：
利用托辊四条边界线条确定的四边形区域制作图像掩膜，分割出托辊图像区域。
9.根据权利要求8所述的托辊图像高效分割方法，其特征在于，所述利用托辊四条边界线条确定的四边形区域制作图像掩膜，分割出托辊图像区域，包括：
利用确定的托辊的上下左右的边界线条形成的四边形区域，作为托辊分割的目标区域；
制作与目标区域一致的图像掩膜；
通过将图像掩膜与原始托辊图像进行位与运算，即可分割出图像中的托辊区域。
10.一种托辊图像高效分割设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1～9中任意一项所述托辊图像高效分割方法。
11.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1～9中任意一项所述托辊图像高效分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010410273.9A CN111476804B (zh) | 2020-05-15 | 2020-05-15 | 托辊图像高效分割方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010410273.9A CN111476804B (zh) | 2020-05-15 | 2020-05-15 | 托辊图像高效分割方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111476804A CN111476804A (zh) | 2020-07-31 |
| CN111476804B true CN111476804B (zh) | 2024-02-20 |
Family
ID=71760336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010410273.9A Active CN111476804B (zh) | 2020-05-15 | 2020-05-15 | 托辊图像高效分割方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476804B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529014B (zh) * | 2020-12-14 | 2023-09-26 | 中国平安人寿保险股份有限公司 | 直线检测方法、信息提取方法、装置、设备及存储介质 |
| CN113213101A (zh) * | 2021-05-06 | 2021-08-06 | 华润电力技术研究院有限公司 | 一种托辊异常检测方法和系统 |
| CN113762276A (zh) * | 2021-08-17 | 2021-12-07 | 湖南大学 | 一种电力作业梯子角度检测方法 |
| CN116682209A (zh) * | 2023-06-15 | 2023-09-01 | 南昌交通学院 | 一种基于机器视觉的自动售货机库存管理方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106706238A (zh) * | 2016-11-22 | 2017-05-24 | 山西大学 | 钢丝绳芯输送带接头搭接标记和识别方法 |
-
2020
- 2020-05-15 CN CN202010410273.9A patent/CN111476804B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106706238A (zh) * | 2016-11-22 | 2017-05-24 | 山西大学 | 钢丝绳芯输送带接头搭接标记和识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李占利 等.基于视觉计算的胶带运输机跑偏监测.煤矿安全.2014,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111476804A (zh) | 2020-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476804B (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
| CN106934803B (zh) | 电子器件表面缺陷的检测方法及装置 | |
| CN110334706B (zh) | 一种图像目标识别方法及装置 | |
| CN110163853B (zh) | 一种边缘缺陷的检测方法 | |
| CN109816644B (zh) | 一种基于多角度光源影像的轴承缺陷自动检测系统 | |
| US8340420B2 (en) | Method for recognizing objects in images | |
| CN109636824B (zh) | 一种基于图像识别技术的多目标计数方法 | |
| CN113781402A (zh) | 芯片表面划痕缺陷的检测方法、装置和计算机设备 | |
| CN108830832A (zh) | 一种基于机器视觉的塑料筒表面缺陷检测算法 | |
| CN108229342B (zh) | 一种海面舰船目标自动检测方法 | |
| CN101122953A (zh) | 一种图片文字分割的方法 | |
| WO2021109697A1 (zh) | 字符分割方法、装置以及计算机可读存储介质 | |
| Rosenfeld | Image pattern recognition | |
| CN110348289B (zh) | 一种基于二值图的手指静脉识别方法 | |
| CN110047063B (zh) | 一种物料掉落的检测方法、装置、设备及存储介质 | |
| CN110866903A (zh) | 基于霍夫圆变换技术的乒乓球识别方法 | |
| Sridevi et al. | A survey on monochrome image segmentation methods | |
| Said et al. | Robust automatic void detection in solder balls | |
| CN115841633A (zh) | 一种电力塔和电力线关联矫正的电力塔和电力线检测方法 | |
| CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN114648734A (zh) | 基于图像处理的摄像机工作异常检测方法 | |
| CN108537815B (zh) | 一种视频图像前景分割方法和装置 | |
| WO2024016632A1 (zh) | 亮点定位方法、亮点定位装置、电子设备及存储介质 | |
| Sari et al. | Text extraction from historical document images by the combination of several thresholding techniques | |
| Cheng et al. | Power pole detection based on graph cut |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |