CN116863249B - 基于人工智能的煤矿传送带跑偏识别方法 - Google Patents
基于人工智能的煤矿传送带跑偏识别方法 Download PDFInfo
- Publication number
- CN116863249B CN116863249B CN202311116726.7A CN202311116726A CN116863249B CN 116863249 B CN116863249 B CN 116863249B CN 202311116726 A CN202311116726 A CN 202311116726A CN 116863249 B CN116863249 B CN 116863249B
- Authority
- CN
- China
- Prior art keywords
- edge
- conveyor belt
- connected domain
- straight line
- line connected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000003245 coal Substances 0.000 title claims abstract description 36
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 20
- 238000003708 edge detection Methods 0.000 claims abstract description 44
- 230000005764 inhibitory process Effects 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims abstract description 24
- 230000000875 corresponding effect Effects 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 16
- 230000001629 suppression Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像边缘检测技术领域,具体涉及一种基于人工智能的煤矿传送带跑偏识别方法,该方法得到传送带图像边缘检测图像;获取直线连通域,找出最长连续单边缘序列,并将该序列的像素点作为参考像素点;直线连通域延伸出衍生区域,通过直线连通域与衍生区域的距离与面积,确定直线连通域的选择程度;基于参考边缘像素点的梯度均值与位置权重,得到直线连通域的置信程度;结合置信程度和选择程度得到抑制程度,以此调整直线连通域中边缘像素点的梯度值,进行边缘检测,获得传送带边缘,进行传送带的跑偏识别。本发明在复杂情况下准确识别出传送带边缘,增加了传送带跑偏识别的准确性和及时性,减少了安全事故发生。
Description
技术领域
本发明涉及图像边缘检测技术领域,具体涉及一种基于人工智能的煤矿传送带跑偏识别方法。
背景技术
传送带跑偏是煤矿生产中的一种常见问题,会给传送带及相关设备带来较大的摩擦和损耗,如果跑偏情况无法及时发现和处理,可能导致传送带带动设备的损坏等安全隐患,给操作人员带来潜在的安全风险。
在现有技术中,传送带跑偏识别往往需要准确提取传送带边缘作为前提,在煤矿生产行业中,因为煤矿纹理复杂,传送带表面同样也包含了复杂的纹理,通过常规的边缘检测算法对煤矿传送带进行边缘检测得到的边缘检测图像往往十分杂乱,边缘数量繁多,存在大量噪声影响且难以区分传送带边缘与非传送带边缘,进而影响对传送带跑偏进行识别。
发明内容
为了解决煤矿传送带环境复杂,常规边缘检测无法准确识别传送带边缘与非传送带边缘,进而无法对传送带进行准确跑偏识别的技术问题,本发明的目的在于提供一种基于人工智能的煤矿传送带跑偏识别方法,所采用的技术方案具体如下:
本发明提出一种基于人工智能的煤矿传送带跑偏识别方法,方法包括:
获得传送带图像,并对传送带图像进行边缘提取,得到边缘检测图像;
获得所述边缘检测图像的直线连通域,获得所述直线连通域的最长连续单边缘序列,将所述最长连续单边缘序列中的边缘像素点作为参考边缘像素点;
沿着所述直线连通域的整体方向进行延伸,获得直线连通域的衍生区域;根据所述直线连通域与所述衍生区域内边缘连通域之间的距离和面积获得所述直线连通域的选择程度;
根据所述参考边缘像素点在所述传送带图像中的位置,获得位置权重及滑窗尺寸;以所述参考边缘像素点为中心,根据所述滑窗尺寸建立第一滑窗;根据所述直线连通域上每个所述参考边缘像素点的第一滑窗中非参考边缘像素点的梯度均值与所述位置权重,获得直线连通域的置信程度;
根据所述置信程度与所述选择程度获得所述直线连通域的抑制程度;
根据所述抑制程度调整所述直线连通域边缘像素点的梯度值,进行边缘检测获得传送带边缘;
根据所述传送带边缘进行传送带跑偏识别。
进一步地,所述直线连通域的获取方法包括:
以任意一个边缘像素点为中心建立第二滑窗;
第二滑窗内边缘像素点与中心像素点组成边缘连通域且所述边缘连通域与滑窗边缘相交,相交的任意两个边缘像素点与中心像素点组成向量,计算向量之间的夹角角度,若夹角角度在预设范围之间,则所述中心像素点为转折点;
将所述边缘连通域去掉转折点之后的面积作为连通域面积,当所述连通域面积大于第二滑窗边长时,将所述边缘连通域作为初始直线连通域;
遍历所有边缘像素点,得到所有所述初始直线连通域,将连通的所述初始直线连通域合并为所述直线连通域。
进一步地,所述衍生区域的获取方法包括:
将所述最长连续单边缘序列的质心点作为直线连通域的中心点;
将所述最长连续单边缘序列内连续两个边缘像素点的连线角度均值作为直线连通域的方向角度;
以所述中心点沿着所述方向角度进行延伸,以最长连续单边缘序列长度作为相邻区域长度,取延伸方向预设延伸数量个相邻区域长度的单边缘序列作为衍生区域。
进一步地,获得所述直线连通域的选择程度,方法包括:
将衍生区域内每个边缘连通域的面积归一化作为比例系数,将边缘连通域与直线连通域的距离做反比得到距离系数,将所述比例系数与所述距离系数的乘积作为第一乘积,将衍生区域内所有边缘连通域的所述第一乘积求和得到选择系数;将所述选择系数与直线连通域的面积相乘获得选择程度。
进一步地,获得所述直线连通域的置信程度,方法包括:
计算所有对应滑窗中边缘像素点的梯度均值;将所述位置权重与所述梯度均值相乘得到第二乘积;将第二乘积求平均作为所述直线连通域的置信程度。
进一步地,所述抑制程度的获取方法包括:
将置信程度归一化得到选择权重值;根据选择权重值与选择程度的反比获得所述直线连通域的抑制程度。
进一步地,传送带边缘获取方法包括:
将所述抑制程度归一化与对应直线连通域的边缘像素点梯度值相乘得到抑制梯度值;
根据抑制梯度值进行边缘检测得到优化结果,将所述优化结果中的最长边缘作为传送带边缘。
进一步地,根据所述传送带边缘进行传送带跑偏识别,包括:
根据所述传送带边缘的偏移与角度方向改变量对传送带进行跑偏识别。
进一步地,所述滑窗尺寸的获取方法包括:
将传送带图像平均灰度值较小的一端作为近端,平均灰度值较大的一端作为远端;
把近端到远端的方向作为参考方向,根据所述参考方向将传送带图像旋转,直至所述参考方向为笛卡尔坐标系纵轴的正方向,将旋转后的传送带图像沿着参考方向均分几等份子区域,按照所述子区域对应的纵坐标大小从上到下标记位置等级,根据所述参考边缘像素点的所在所述子区域的所述位置等级获得对应的滑窗尺寸,所述滑窗尺寸与所述位置等级呈正相关。
进一步地,所述位置权重的获取方法包括:
将旋转后的传送带图像中所述参考边缘像素点的纵坐标进行负相关映射并归一化处理得到位置权重。
本发明具有如下有益效果:
为了解决煤矿传送带环境复杂,常规边缘检测无法准确识别传送带边缘与非传送带边缘,从而无法准确识别传送带跑偏的技术问题,本发明筛选出传送带图像边缘检测图像中的直线连通域,根据直线连通域的衍生区域的边缘信息得到每个直线连通域的选择程度,选择程度越大,直线连通域越有可能是传送带边缘;由于非传送带边缘与传送带边缘在传送带近端与远端的边缘信息存在差异,所以通过直线连通域边缘像素点在不同位置上的位置权重与滑窗内的梯度均值得到直线连通域的置信程度,非传送带边缘邻域的边缘信息在近端与远端有差异,置信程度比较高,而传送带边缘邻域的边缘信息在近端与在远端几乎一致,置信程度较低;利用置信程度结合选择程度得到直线连通域的抑制程度,非传送带边缘的边缘像素点抑制程度较高,传送带边缘的边缘像素点抑制程度较低,根据抑制程度对所有直线连通域的边缘像素点的梯度值进行抑制,得到抑制后的梯度值后再进行一次边缘检测,能够得到准确的传送带边缘,通过传送带边缘的偏移与角度改变量进行传送带跑偏识别。本发明能够在复杂情况下准确识别出传送带边缘,增加了传送带跑偏识别的准确性和及时性,有利于相关人员及时做出调整,避免安全事故发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于人工智能的煤矿传送带跑偏识别方法流程图;
图2为本发明一个实施例所提供的煤矿运输过程中传送带示例图;
图3为本发明一个实施例所提供的煤矿传送带边缘检测图像示例图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于人工智能的煤矿传送带跑偏识别方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的煤矿传送带跑偏识别方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于人工智能的煤矿传送带跑偏识别方法流程图,该方法包括:
步骤S1:获得传送带图像,并对传送带图像进行边缘提取,得到边缘检测图像;获得边缘检测图像的直线连通域,获得直线连通域的最长连续单边缘序列,将最长连续单边缘序列中的边缘像素点作为参考边缘像素点。
本发明实施例目的在于提供一种基于人工智能的煤矿传送带跑偏识别方法,针对煤矿传送带跑偏识别问题,采用图像处理的方法对煤矿传送带图像中的传送带偏移进行识别。所以首先需要获取本发明实施例的识别对象,即传送带图像。由于需要根据传送带边缘的偏移与角度改变来进行识别,所以要对传送带图像进行边缘检测,得到尽可能多且准确的边缘轮廓,方便后续筛选获得传送带边缘。
本发明一个实施例中,使用CCD工业高清相机从传送带正上方采集传送带图像,请参阅图2,提供了煤矿运输过程中传送带示例图,并以图2为基础进行后续图像处理。对传送带图像进行语义分割得到传送带大致轮廓区域。对所得结果采用Canny边缘检测算法进行边缘检测,Canny边缘检测选用低阈值,得到的边缘检测图像中包含更多传送带图像的边缘像素点,请参阅图3,图3提供了煤矿传送带边缘检测图像的示例图,包含了大量边缘信息,由于煤矿本身纹理复杂且传送带有诸多划痕,边缘信息杂乱繁多,不易区分传送带边缘与非传送带边缘。需要说明的是,语义分割与Canny边缘检测都是本领域技术人员熟知的技术手段,在此不做赘述。需要说明的是,Canny边缘检测的上下阈值设置为5。
直线连通域包含着所有近似直线的边缘,传送带边缘是两条直线,所以本发明实施例需要找到所有的直线连通域,并从中进一步筛选属于传送带边缘的直线连通域。最长连续单边缘序列是直线连通域中最长的直线边缘,序列的梯度方向与位置能够代表该直线连通域的边缘信息,由于直线连通域中可能存在转折点与其他无关边缘像素点,影响了对于该直线连通域是否是传送带边缘的判断,所以选取最能代表直线连通域边缘特征的最长连续单边缘序列中的边缘像素点作为参考边缘像素点进行后续的优化筛选过程。
优选地,本发明一个实施例中,直线连通域的获取方法包括:
以任意一个边缘像素点为中心建立第二滑窗;第二滑窗内边缘像素点与中心像素点组成边缘连通域且边缘连通域与滑窗边缘相交,相交的任意两个边缘像素点与中心像素点组成向量,计算向量之间的夹角角度,若夹角角度在预设范围之间,则中心像素点为转折点;将边缘连通域去掉转折点之后的面积作为连通域面积,当连通域面积大于第二滑窗边长时,将边缘连通域作为初始直线连通域;遍历所有边缘像素点,得到所有初始直线连通域,将连通的初始直线连通域合并为直线连通域。本发明一个实施例中,预设范围为,即当相交的任意两个边缘像素点与中心像素点组成的向量之间夹角角度在/>时,该中心像素点为转折点。
在实际场景中,传送带边缘可能会因为噪声、遮挡或者其他因素出现断裂,此时传送带边缘的直线连通域会产生曲率较大的点,即转折点。转折点并不能代表传送带边缘的边缘信息,会对后续处理造成干扰,所以要遍历所有边缘像素点,以任意边缘像素点为中心建立滑窗,通过与中心像素点连通的边缘连通域确认中心像素点是否为转折点,通过与转折点连通的边缘连通域的面积判断该边缘连通域是否为直线连通域,上述步骤可以通过遍历所有边缘像素点,找到尽可能多的直线连通域。需要说明的是,获取直线连通域的方法还可以使用霍夫直线检测,该方法为本领域技术人员熟知的技术手段,在此不做赘述。
步骤S2:沿着直线连通域的整体方向进行延伸,获得直线连通域的衍生区域;根据直线连通域与衍生区域内边缘连通域之间的距离和面积获得直线连通域的选择程度。
由于去掉转折点之后,会存在较长的边缘被部分奇点截断的情况,此时较短的线段会与非传送带边缘难以区分,所以需要考虑直线连通域在其延伸方向上的边缘点分布情况;研究衍生区域内的边缘像素点分布可以判断衍生区域与直线连通域的连续关系,传送带边缘直线连通域的衍生区域连通域面积较大,非传送带边缘直线连通域的衍生区域大都为小而离散的连通域,通过研究直线连通域衍生区域的差异能够为判断该直线连通域是否为传送带边缘直线连通域提供依据。由于传送带边缘与非传送带边缘直线连通域的衍生区域的边缘像素点分布情况有很大不同,传送带边缘直线连通域的衍生区域内边缘连通域面积较大且边缘连通域与直线连通域的距离较近,而非传送带边缘直线连通域的衍生区域内边缘连通域分布比较离散,面积也比较小,通过直线连通域与衍生区域内边缘连通域之间的距离和面积能够反映出衍生区域与直线连通域之间的相似性,进而获得选择程度。
优选地,本发明一个实施例中,衍生区域的获取方法包括:
将最长连续单边缘序列的质心点作为直线连通域的中心点;将最长连续单边缘序列内连续两个边缘像素点的连线角度均值作为直线连通域的方向角度;以中心点沿着方向角度进行延伸,以最长连续单边缘序列长度作为相邻区域长度,取延伸方向预设延伸数量个相邻区域长度的单边缘序列作为衍生区域。
计算最长连续单边缘序列内连续两个边缘像素点连线角度的均值能够对直线连通域的整体方向进行估计,连线角度的均值反映了直线连通域内边缘的大致走向;以直线连通域的几何中心,即质心点为中心点,沿着直线连通域的大致走向进行延伸获得衍生区域,方便后续研究衍生区域内边缘像素点的分布情况。需要说明的是,本发明实施例中,延伸数量设置为3,即取延伸方向3个相邻区域长度的单边缘序列作为衍生区域。
优选地,本发明一个实施例中,选择程度获取步骤包括:
将衍生区域内每个边缘连通域的面积归一化作为比例系数,将边缘连通域与直线连通域的距离做反比得到距离系数,将比例系数与距离系数的乘积作为第一乘积,将衍生区域内所有边缘连通域的第一乘积求和得到选择系数;将选择系数与直线连通域的面积相乘获得选择程度。本发明一个实施例中,选择程度公式如下所示:
式中,表示第/>个直线连通域的选择程度,/>表示第/>个直线连通域衍生区域内边缘连通域的个数,/>表示衍生区域内第/>个边缘连通域与对应第/>个直线连通域的距离,/>表示衍生区域内第/>个边缘连通域的面积,/>表示第/>个直线连通域的面积。
在选择程度公式中,通过将衍生区域内一个边缘连通域的面积归一化处理得到比例系数,将边缘连通域与直线连通域的距离的反比作为距离系数,比例系数与距离系数相乘得到第一乘积,将衍生区域内所有边缘连通域的第一乘积进行求和,反映出衍生区域与直线连通域的相似性,得到选择系数,将选择系数对对应直线连通域面积进行加权得到每个直线连通域的选择程度,其中选择系数、直线连通域面积均与选择程度呈正相关关系,选择系数越大,该直线连通域的选择程度越高,越有可能是传送带边缘直线连通域。
步骤S3:根据参考边缘像素点在传送带图像中的位置,获得位置权重及滑窗尺寸;以参考边缘像素点为中心,根据滑窗尺寸建立第一滑窗;根据直线连通域上每个参考边缘像素点的第一滑窗中非参考边缘像素点的梯度均值与位置权重,获得直线连通域的置信程度。
在传送带图像中,不同位置上的煤炭分布是不同的,在传送带图像近端煤炭较为聚集,近端图像灰度值较小,边缘像素点较少,在传送带图像远端煤炭较为分散,远端图像灰度值较大,边缘像素点较多,所以在研究参考边缘像素点邻域边缘分布信息时需要给近端的参考边缘像素点较小的滑窗,给远端的参考边缘像素点较大的滑窗,不同的滑窗尺寸反映了近端与远端边缘像素点数量上的差异;非传送带边缘像素点邻域在近端与远端的边缘分布存在较大差异,而传送带边缘像素点邻域在近端与远端的边缘分布几乎没有差异,根据滑窗中非参考边缘像素点的梯度均值与位置权重得到的直线连通域的置信程度能够反映出该直线连通域边缘像素点的分布与梯度信息,通过传送带近端和远端直线连通域边缘像素点的分布与梯度信息能够进一步判断哪些直线连通域属于传送带边缘。
优选地,本发明一个实施例中,滑窗尺寸的获取方法包括:
将传送带图像平均灰度值较小的一端作为近端,平均灰度值较大的一端作为远端;把近端到远端的方向作为参考方向,根据参考方向将传送带图像旋转,直至参考方向为笛卡尔坐标系纵轴的正方向,将旋转后的传送带图像沿着参考方向均分几等份子区域,按照子区域对应的纵坐标大小从上到下标记位置等级,根据参考边缘像素点的所在子区域的位置等级获得对应的滑窗尺寸,滑窗尺寸与位置等级呈正相关。
本发明一个实施例中,设置传送带尺寸为,将传送带图像沿竖直方向均分为9等份,将直线连通域内的参考边缘像素点纵坐标由大到小排列,当参考边缘像素点的纵坐标属于/>,将参考边缘像素点的对应滑窗尺寸为。当参考边缘像素点的纵坐标变大时,对应滑窗尺寸也会变大。需要说明的是,还可以将传送带图像划分成其他等份,对应滑窗尺寸的取值也可按照经验自行设置,在此不做限定。
优选地,本发明一个实施例中,位置权重的获取方法包括:
将旋转后的传送带图像中参考边缘像素点的纵坐标进行负相关映射并归一化处理得到位置权重。本发明一个实施例中,位置权重计算公式如下所示:
式中,表示参考边缘像素点的位置权重,/>表示直线连通域中参考边缘像素点的纵坐标,/>表示直线连通域中参考边缘像素点的最大纵坐标,/>表示直线连通域中参考边缘像素点的最小纵坐标。
在非传送带边缘的边缘像素点滑窗内,靠近近端的边缘像素点纵坐标较小,此时由于近端更加靠近相机镜头,会突出传送带上的诸多划痕与煤炭的边缘信息,边缘像素点邻域内梯度均值会更高,所以要赋予纵坐标较小的边缘像素点较大的位置权重;靠近远端的的边缘像素点纵坐标较大,此时由于距离相机镜头较远,无法获取更多的边缘信息,边缘像素点邻域内梯度均值较小,所以赋予纵坐标较大的边缘像素点较小的位置权重。但对于传送带边缘的边缘像素点来说,在滑窗内,无论靠近近端还是远端的边缘像素点邻域内梯度均值不会发生较大变化。
优选地,本发明一个实施例中,置信程度获取方法包括:
计算所有对应滑窗中边缘像素点的梯度均值;将位置权重与梯度均值相乘得到第二乘积;将第二乘积求平均作为直线连通域的置信程度。本发明一个实施例中,置信程度计算公式如下所示:
式中,表示第/>个直线连通域的置信程度,/>表示第/>个直线连通域中参考边缘像素点的数量,/>表示第/>个直线连通域中参考边缘像素点的位置权重,/>表示第/>个直线连通域中非参考边缘像素点的梯度均值。
在置信程度计算公式中,越靠近近端的参考边缘像素点赋予越大的位置权重,越靠近远端的参考边缘像素点赋予越小的位置权重,将参考边缘像素点的位置权重与参考边缘像素点滑窗内非参考边缘像素点的梯度均值相乘能够反映出该参考边缘像素点的分布信息,将参考边缘像素点的分布信息求平均能够得到该最长连续单边缘序列的置信程度,非传送带边缘的边缘像素点从传送带图像近端到远端的过程中置信程度会发生较大变化,而传送带边缘的边缘像素点对应滑窗内的梯度均值几乎不变,在不同位置权重下传送带边缘所属的直线连通域置信程度变化很小,以此能够对传送带边缘与非传送带边缘做出区分。
步骤S4:根据置信程度与选择程度获得直线连通域的抑制程度;根据抑制程度调整直线连通域边缘像素点的梯度值,进行边缘检测获得传送带边缘。
通过步骤S3得到置信程度,因为传送带边缘与非传送带边缘直线连通域衍生区域内的边缘像素点分布存在较大差异以及边缘像素点在传送带图像近端与远端的梯度变化不同,所以利用置信程度对直线连通域的选择程度进行加权得到每个直线连通域的抑制程度,抑制程度反映了哪些是传送带边缘与非传送带边缘;根据抑制程度调整对应直线连通域边缘像素点的的梯度值,再根据抑制后的梯度值进行边缘检测,因为此时非传送带边缘梯度值已经被抑制,无法体现出较为明显的边缘特征,所以能够轻易提取出传送带边缘。
优选地,本发明一个实施例中,抑制程度的获取方法包括:
将置信程度归一化得到选择权重值;根据选择权重值与选择程度的反比获得所述直线连通域的抑制程度。本发明一个实施例中,抑制程度公式如下所示:
式中,表示第/>个直线连通域的抑制程度,/>表示第/>个直线连通域的置信程度,表示第/>个直线连通域的选择程度。
在抑制程度计算公式中,将直线连通域的置信程度归一化作为选择权重值,将选择程度做反比,因为选择程度越大,该直线连通域越有可能属于传送带边缘,通过选择权重值与选择程度的反比相乘得到直线连通域的抑制程度,选择程度越小,反比越大,选择权重值、选择程度的反比均与抑制程度呈正相关关系。
优选地,本发明一个实施例中,传送带边缘获取方法包括:
将抑制程度归一化与对应直线连通域的边缘像素点梯度值相乘得到抑制梯度值;根据抑制梯度值进行边缘检测得到优化结果,将优化结果中的最长边缘作为传送带边缘。
通过抑制程度对每个边缘像素点做出调整,得到抑制后的边缘像素点梯度值,此时,赋予了非传送带边缘的边缘像素点较低的梯度值,而传送带边缘的边缘像素点梯度值不会有太多变化,此时传送带边缘的边缘像素点相对于非传送带边缘的边缘像素点来说更加突出,利用突出的像素点进行边缘检测得到的优化结果,传送带边缘会变得十分明显。本发明一个实施例中,选取抑制后的直线连通域中梯度均值最大的直线连通域,将最大梯度均值作为Canny边缘检测的高阈值,将最大梯度均值对应的直线连通域中最小的梯度值作为低阈值,进行Canny边缘检测得到边缘检测图像中,选取最长的边缘作为传送带边缘。需要说明的是,上述步骤也可以换成利用sobel边缘检测算法得到优化结果,从优化结果中获取传送带边缘,sobel边缘检测算法为本领域技术人员熟知的技术手段,在此不做赘述。
步骤S5:根据传送带边缘进行传送带跑偏识别。
本发明实施例目的在于提供一种基于人工智能的煤矿传送带跑偏识别方法,在得到准确的传送带边缘图像后,可以通过传送带边缘在煤炭运输过程中发生的一些变化来进行跑偏识别。
优选地,本发明一个实施例中,根据传送带边缘进行传送带跑偏识别,包括:
根据传送带边缘的偏移与角度方向改变量对传送带进行跑偏识别。本发明一个实施例中,可以规定一个传送带边缘初始方向,实时监测传送带边缘方向相对于初始方向的偏移量,设定一个阈值,当偏移量大于此阈值时,发出警报,相关人员可以及时进行修复和调整。需要说明的是,跑偏识别也可以通过实时传送带边缘与初始传送带边缘的夹角来进行跑偏识别及预警,具体方法为本领域技术人员显而易见的技术手段,在此不做限定及赘述。
至此,完成了煤矿传送带跑偏识别的全部过程。
一种基于人工智能的煤矿传送带边缘提取方法实施例:
在现有技术中,对传送带边缘进行提取往往在物流运输领域,但物流运输实施场景中传送带边缘与非传送带边缘容易区分,由于煤矿传送带环境复杂,在进行边缘检测后,无法准确地提取传送带边缘部分,为了解决该技术问题,本实施例提供一种基于人工智能的煤矿传送带边缘提取方法,包括:
步骤S1:获得边缘检测图像的直线连通域,获得直线连通域的最长连续单边缘序列,将最长连续单边缘序列中的边缘像素点作为参考边缘像素点。
步骤S2:沿着直线连通域的整体方向进行延伸,获得直线连通域的衍生区域;根据直线连通域与衍生区域内边缘连通域之间的距离和面积获得直线连通域的选择程度。
步骤S3:根据参考边缘像素点在传送带图像中的位置,获得位置权重及滑窗尺寸;以参考边缘像素点为中心,根据滑窗尺寸建立第一滑窗;根据直线连通域上每个参考边缘像素点的第一滑窗中非参考边缘像素点的梯度均值与位置权重,获得直线连通域的置信程度。
步骤S4:根据置信程度与选择程度获得直线连通域的抑制程度;根据抑制程度调整直线连通域边缘像素点的梯度值,进行边缘检测获得传送带边缘。
由于步骤S1-S4的具体实现过程在上述基于人工智能的煤矿传送带跑偏识别方法中已给出详细说明,不再赘述。
本实施例的技术效果:本实施例根据直线连通域与衍生区域之间的距离与面积关系得到所有直线连通域的选择程度,选择程度越大,直线连通域连续性越好,越有可能是传送带边缘,再根据直线连通域中边缘像素点分部信息在传送带图像近端与远端的差异,得到直线连通域的置信程度,不论是近端还是远端,传送带边缘置信程度变化程度很小,非传送带边缘的置信程度从近端到远端会发生较大变化,所以根据置信程度对选择程度进行加权进一步判断直线连通域是否属于传送带边缘,得到抑制程度,抑制程度越低越有可能是传送带边缘,通过抑制程度对直线连通域内的边缘像素点进行抑制得到抑制后的梯度值,根据抑制后梯度值进行边缘检测能够筛除非传送带边缘,突出传送带边缘,从得到的边缘检测图像中提取传送带边缘。本实施例能够从煤矿传输这一复杂环境中准确提取传送带边缘,也能够用于其他复杂环境。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (5)
1.一种基于人工智能的煤矿传送带跑偏识别方法,其特征在于,所述方法包括:
获得传送带图像,并对传送带图像进行边缘提取,得到边缘检测图像;
获得所述边缘检测图像的直线连通域,获得所述直线连通域的最长连续单边缘序列,将所述最长连续单边缘序列中的边缘像素点作为参考边缘像素点;
沿着所述直线连通域的整体方向进行延伸,获得直线连通域的衍生区域;根据所述直线连通域与所述衍生区域内边缘连通域之间的距离和面积获得所述直线连通域的选择程度;
根据所述参考边缘像素点在所述传送带图像中的位置,获得位置权重及滑窗尺寸;以所述参考边缘像素点为中心,根据所述滑窗尺寸建立第一滑窗;根据所述直线连通域上每个所述参考边缘像素点的第一滑窗中非参考边缘像素点的梯度均值与所述位置权重,获得直线连通域的置信程度;
根据所述置信程度与所述选择程度获得所述直线连通域的抑制程度;
根据所述抑制程度调整所述直线连通域边缘像素点的梯度值,进行边缘检测获得传送带边缘;
根据所述传送带边缘进行传送带跑偏识别;
所述直线连通域的选择程度获取方法包括:
将衍生区域内每个边缘连通域的面积归一化作为比例系数,将边缘连通域与直线连通域的距离做反比得到距离系数,将所述比例系数与所述距离系数的乘积作为第一乘积,将衍生区域内所有边缘连通域的所述第一乘积求和得到选择系数;将所述选择系数与直线连通域的面积相乘获得选择程度;
所述位置权重的获取方法包括:
将旋转后的传送带图像中所述参考边缘像素点的纵坐标进行负相关映射并归一化处理得到位置权重;
所述滑窗尺寸的获取方法包括:
将传送带图像平均灰度值较小的一端作为近端,平均灰度值较大的一端作为远端;
把近端到远端的方向作为参考方向,根据所述参考方向将传送带图像旋转,直至所述参考方向为笛卡尔坐标系纵轴的正方向,将旋转后的传送带图像沿着参考方向均分几等份子区域,按照所述子区域对应的纵坐标大小从上到下标记位置等级,根据所述参考边缘像素点的所在所述子区域的所述位置等级获得对应的滑窗尺寸,所述滑窗尺寸与所述位置等级呈正相关;
获得所述直线连通域的置信程度,方法包括:
计算所有对应滑窗中边缘像素点的梯度均值;将所述位置权重与所述梯度均值相乘得到第二乘积;将第二乘积求平均作为所述直线连通域的置信程度;
所述抑制程度的获取方法包括:
将置信程度归一化得到选择权重值;根据选择权重值与选择程度的反比获得所述直线连通域的抑制程度。
2.根据权利要求1所述的一种基于人工智能的煤矿传送带跑偏识别方法,其特征在于,所述直线连通域的获取方法包括:
以任意一个边缘像素点为中心建立第二滑窗;
第二滑窗内边缘像素点与中心像素点组成边缘连通域且所述边缘连通域与滑窗边缘相交,相交的任意两个边缘像素点与中心像素点组成向量,计算向量之间的夹角角度,若夹角角度在预设范围之间,则所述中心像素点为转折点;
将所述边缘连通域去掉转折点之后的面积作为连通域面积,当所述连通域面积大于第二滑窗边长时,将所述边缘连通域作为初始直线连通域;
遍历所有边缘像素点,得到所有所述初始直线连通域,将连通的所述初始直线连通域合并为所述直线连通域。
3.根据权利要求1所述的一种基于人工智能的煤矿传送带跑偏识别方法,其特征在于,所述衍生区域的获取方法包括:
将所述最长连续单边缘序列的质心点作为直线连通域的中心点;
将所述最长连续单边缘序列内连续两个边缘像素点的连线角度均值作为直线连通域的方向角度;
以所述中心点沿着所述方向角度进行延伸,以最长连续单边缘序列长度作为相邻区域长度,取延伸方向预设延伸数量个相邻区域长度的单边缘序列作为衍生区域。
4.根据权利要求1所述的一种基于人工智能的煤矿传送带跑偏识别方法,其特征在于,传送带边缘获取方法包括:
将所述抑制程度归一化与对应直线连通域的边缘像素点梯度值相乘得到抑制梯度值;
根据抑制梯度值进行边缘检测得到优化结果,将所述优化结果中的最长边缘作为传送带边缘。
5.根据权利要求1所述的一种基于人工智能的煤矿传送带跑偏识别方法,其特征在于,根据所述传送带边缘进行传送带跑偏识别,包括:
根据所述传送带边缘的偏移与角度方向改变量对传送带进行跑偏识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311116726.7A CN116863249B (zh) | 2023-09-01 | 2023-09-01 | 基于人工智能的煤矿传送带跑偏识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311116726.7A CN116863249B (zh) | 2023-09-01 | 2023-09-01 | 基于人工智能的煤矿传送带跑偏识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116863249A CN116863249A (zh) | 2023-10-10 |
CN116863249B true CN116863249B (zh) | 2023-11-21 |
Family
ID=88232632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311116726.7A Active CN116863249B (zh) | 2023-09-01 | 2023-09-01 | 基于人工智能的煤矿传送带跑偏识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116863249B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455908B (zh) * | 2023-12-22 | 2024-04-09 | 山东济矿鲁能煤电股份有限公司阳城煤矿 | 一种皮带机跑偏视觉检测方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019041590A1 (zh) * | 2017-08-31 | 2019-03-07 | 中国科学院微电子研究所 | 任意角度的边缘检测方法 |
CN111908060A (zh) * | 2020-08-31 | 2020-11-10 | 国电浙能宁东发电有限公司 | 一种电厂输煤皮带跑偏监测预警装置及方法 |
WO2020259264A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 主体追踪方法、电子设备和计算机可读存储介质 |
CN113724258A (zh) * | 2021-11-02 | 2021-11-30 | 山东中都机器有限公司 | 一种基于图像处理的传送带撕裂检测方法及系统 |
CN115240132A (zh) * | 2022-06-20 | 2022-10-25 | 讯飞智元信息科技有限公司 | 传送带运行状态的监测方法、装置和存储介质 |
CN115578732A (zh) * | 2022-11-21 | 2023-01-06 | 山东爱福地生物股份有限公司 | 一种肥料生产线的标签识别方法 |
CN116108696A (zh) * | 2023-04-04 | 2023-05-12 | 山东拓新电气有限公司 | 一种采煤机截割滚筒的高度路径规划方法 |
CN116309565A (zh) * | 2023-05-17 | 2023-06-23 | 山东晨光胶带有限公司 | 基于计算机视觉的高强传送带跑偏检测方法 |
CN116460151A (zh) * | 2023-04-19 | 2023-07-21 | 东北大学 | 一种基于机器视觉的低延时带钢跑偏量检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113947560A (zh) * | 2020-07-17 | 2022-01-18 | 京东方科技集团股份有限公司 | 产品检测方法、装置、系统和计算机存储介质 |
-
2023
- 2023-09-01 CN CN202311116726.7A patent/CN116863249B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019041590A1 (zh) * | 2017-08-31 | 2019-03-07 | 中国科学院微电子研究所 | 任意角度的边缘检测方法 |
WO2020259264A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 主体追踪方法、电子设备和计算机可读存储介质 |
CN111908060A (zh) * | 2020-08-31 | 2020-11-10 | 国电浙能宁东发电有限公司 | 一种电厂输煤皮带跑偏监测预警装置及方法 |
CN113724258A (zh) * | 2021-11-02 | 2021-11-30 | 山东中都机器有限公司 | 一种基于图像处理的传送带撕裂检测方法及系统 |
CN115240132A (zh) * | 2022-06-20 | 2022-10-25 | 讯飞智元信息科技有限公司 | 传送带运行状态的监测方法、装置和存储介质 |
CN115578732A (zh) * | 2022-11-21 | 2023-01-06 | 山东爱福地生物股份有限公司 | 一种肥料生产线的标签识别方法 |
CN116108696A (zh) * | 2023-04-04 | 2023-05-12 | 山东拓新电气有限公司 | 一种采煤机截割滚筒的高度路径规划方法 |
CN116460151A (zh) * | 2023-04-19 | 2023-07-21 | 东北大学 | 一种基于机器视觉的低延时带钢跑偏量检测方法 |
CN116309565A (zh) * | 2023-05-17 | 2023-06-23 | 山东晨光胶带有限公司 | 基于计算机视觉的高强传送带跑偏检测方法 |
Non-Patent Citations (5)
Title |
---|
A deep learning-based method for deviation status detection in intelligent conveyor belt system;Mengchao Zhang;Journal of Cleaner Production;第1-12页 * |
Visual detection method based on line lasers for the detection of longitudinal tears in conveyor belts;Zhiwei Lv;Measurement;第1-9页 * |
基于样本块和BSCB模型的壁画裂缝修复方法;师晓波;蔺素珍;;科学技术与工程(第35期);全文 * |
基于视觉的矿用输送带状态监测系统研究;胡江迪;中国优秀硕士学位论文全文数据库工程科技Ⅰ辑;第B021-789页 * |
重轨图像增强与边缘提取的关键技术;米曾真;谢志江;陈涛;楚红雨;范兵;;光学精密工程(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116863249A (zh) | 2023-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117173189B (zh) | 一种铝合金表面抛光效果视觉检测系统 | |
CN116721106B (zh) | 一种基于图像处理的型材瑕疵视觉检测方法 | |
CN108319973B (zh) | 一种树上柑橘果实检测方法 | |
CN116863249B (zh) | 基于人工智能的煤矿传送带跑偏识别方法 | |
CN112950508A (zh) | 一种基于计算机视觉的排水管道视频数据修复方法 | |
CN106404793B (zh) | 基于视觉的轴承密封件缺陷检测方法 | |
CN110119741B (zh) | 一种有背景的卡证图像信息识别方法 | |
Xu et al. | Pavement crack detection based on saliency and statistical features | |
CN108229342B (zh) | 一种海面舰船目标自动检测方法 | |
CN111814686A (zh) | 一种基于视觉的输电线路识别及异物入侵在线检测方法 | |
CN115829883A (zh) | 一种异性金属结构件表面图像去噪方法 | |
CN113034452B (zh) | 一种焊件轮廓检测方法 | |
CN107610114A (zh) | 基于支持向量机的光学卫星遥感影像云雪雾检测方法 | |
CN105787950B (zh) | 一种基于行梯度累加对红外图像海天线进行检测的方法 | |
CN102298781A (zh) | 基于颜色和梯度特征的运动阴影检测方法 | |
CN115082466B (zh) | 一种pcb表面焊点缺陷检测方法及系统 | |
CN110070523B (zh) | 一种用于瓶底的异物检测方法 | |
CN116402810B (zh) | 基于图像处理的润滑油抗磨粒质量检测方法 | |
CN109829858B (zh) | 一种基于局部自适应阈值的船载雷达图像溢油监测方法 | |
CN110263662B (zh) | 一种基于分级的人体轮廓关键点和关键部位识别方法 | |
CN111476804A (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
CN110348442B (zh) | 一种基于支持向量机的船载雷达图像海上油膜识别方法 | |
CN111161308A (zh) | 一种基于关键点匹配的双波段融合目标提取方法 | |
CN107977608B (zh) | 一种应用于公路视频图像道路区域提取的方法 | |
CN106530292B (zh) | 一种基于线扫描相机的带钢表面缺陷图像快速辨识方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |