CN114742864A - 皮带跑偏检测方法及装置 - Google Patents
皮带跑偏检测方法及装置 Download PDFInfo
- Publication number
- CN114742864A CN114742864A CN202210270615.0A CN202210270615A CN114742864A CN 114742864 A CN114742864 A CN 114742864A CN 202210270615 A CN202210270615 A CN 202210270615A CN 114742864 A CN114742864 A CN 114742864A
- Authority
- CN
- China
- Prior art keywords
- belt
- detection
- optical flow
- image
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 113
- 230000003287 optical effect Effects 0.000 claims abstract description 94
- 239000000463 material Substances 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000033001 locomotion Effects 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000003708 edge detection Methods 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims description 43
- 239000013598 vector Substances 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000004544 sputter deposition Methods 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 239000003245 coal Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 150000001875 compounds Chemical class 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000011423 initialization method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 1
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种皮带跑偏检测方法及装置，所述方法包括：将皮带图像训练数据集输入改进的车道线检测网络进行模型训练，得到皮带边缘检测模型；利用飞椅数据集对改进的光流深度神经网络进行模型训练，得到物料运动光流检测模型；实时获取检测图像，所述待检测图像包含皮带信息和物料信息；将所述检测图像输入皮带边缘检测模型和物料运动光流检测模型，得到皮带边缘和物料运动光流边缘；基于所述皮带边缘和所述物料运动光流边缘，确定皮带跑偏程度。本发明的皮带跑偏检测方法及装置具有检测精度高、速度快，鲁棒性强，适应性强的优点。
Description
技术领域
本发明涉及皮带跑偏检测技术领域，具体地涉及一种皮带跑偏检测方法、一种皮带跑偏检测装置以及一种机器可读存储介质。
背景技术
带式输送机被广泛应用于煤炭、港口、电力等行业，特别是在煤矿生产中，是煤炭运输的主要设备之一。在长期输送的过程中，由于冲击疲劳和各种外界因素的影响，皮带跑偏故障时常发生，因此皮带边缘检测是工业生产中需求量大且标准较高的一项技术。目前，主流的皮带跑偏检测方法采用的是图像检测中传统的数字图像处理技术，主要包括图像预处理、阈值分割处理与边缘判别，但是，采用这种检测方法，在检测的精度、实时性与分类的准确性上仍存在着不少缺陷，三个处理步骤之间的方法选取需要相互配合，并根据实际的实验情况不断调整，面对不同检测情况很难进行推广，且无法实现端到端的检测；另外，预处理与图像分割部分参数需要人工设定，不具备自适应性，检测效果不佳，且难以与检测速度同时提升；边缘判别方法设计中没有考虑到边界线的分类，易受皮带周围的栏杆线、煤炭的边缘线等噪声干扰，鲁棒性较差，无法实现准确的皮带边缘检测。
发明内容
本发明实施例的目的是提供一种设备皮带跑偏检测方法及装置，用以解决现有技术中皮带跑偏检测过程中检测精度、实时性和分类的准确性缺陷，鲁棒性较差，无法实现精准检测的问题。
为了实现上述目的，本发明实施例提供一种皮带跑偏检测方法，所述皮带用于承载并输送物料，所述方法包括：
将皮带图像训练数据集输入改进的车道线检测网络进行模型训练，得到皮带边缘检测模型；
利用飞椅数据集对改进的光流深度神经网络进行模型训练，得到物料运动光流检测模型；
实时获取检测图像，所述检测图像包含皮带信息和物料信息；
将所述检测图像输入皮带边缘检测模型和物料运动光流检测模型，得到皮带边缘和物料运动光流边缘；
基于所述皮带边缘和所述物料运动光流边缘，确定皮带跑偏程度。
可选的，所述改进的车道线检测网络通过在车道线检测网络加入非局部模块改进得到，所述改进的车道线检测网络采用EfficientDet-D7网络基础结构；
所述改进的光流深度神经网络利用聚类算法和双线性溅射技术对光流深度神经网络进行改进得到。
可选的，所述改进的车道线检测网络包括：输入层、特征层、特征融合层、卷积层、非局部模块和全连接层；
所述非局部模块作用于卷积层的高阶语义层；
所述特征层为七层，通道数分别为2、4、8、16、32、64、128。
可选的，所述改进的光流深度神经网络包括：提取模块、视觉相似性计算模块、更新迭代模块；
所述提取模块用于提取检测图像的第一帧图像的图像特征和相邻的第二帧图像的图像特征；
所述视觉相似性计算模块用于基于第一帧图像的图像特征和相邻的第二帧图像的图像特征，输出相关性矩阵；
所述更新迭代模块用于基于相关性矩阵、上一次光流迭代结果和第一帧图像的图像特征、相邻的第二帧图像的图像特征，迭代更新光流场。
可选的，利用聚类算法和双线性溅射技术对光流深度神经网络进行改进，包括：
利用k-聚类算法从相邻的第二帧图像的特征向量中确定与第一帧图像的特征向量最匹配的k个点的索引，基于该k个点的索引构造稀疏视觉相似性矩阵；
基于最新的光流迭代结果和稀疏视觉相似性矩阵，得到相关性矩阵。
可选的，所述方法还包括：确定初始光流结果，所述初始光流结果为第一次迭代时输入的光流结果，该光流结果为非零值；
所述确定初始光流结果，包括：
对稀疏视觉相似性矩阵中的相似值进行大小排序；
确定排序首位的相似值对应的索引，所述相似值对应的索引包括第一帧图像中对应的特征向量和相邻的第二帧图像中对应的特征向量；
在同一坐标系下确定第一帧图像中对应的特征向量的二维坐标和相邻的第二帧图像中对应的特征向量的二维坐标；
基于相邻的第二帧图像中对应的特征向量的二维坐标初始化第一帧图像中对应的特征向量的二维坐标，得到初始光流结果。
可选的，利用聚类算法和双线性溅射技术对光流深度神经网络进行改进，还包括：
利用距离加权法对相似值排序前n个中位于预设窗口内的点进行距离加权后，基于双线性溅射技术提高相关性矩阵的稠密度。
可选的，基于所述皮带边缘和物料运动光流边缘，确定皮带跑偏程度，包括：
确定标准直线，所述标准直线与皮带边缘存在第一交点和第二交点，所述标准直线与物料运动光流边缘存在第三交点和第四交点；
基于第一交点与第三交点的距离值以及第二交点与第四交点的距离值的差值，确定皮带跑偏程度。
本发明第二方面提供一种皮带跑偏检测装置，所述皮带用于承载并输送物料，所述装置包括：
第一建模模块，用于将皮带图像训练数据集输入改进的车道线检测网络进行模型训练，得到皮带边缘检测模型；
第二建模模块，用于利用飞椅数据集对改进的光流深度神经网络进行模型训练，得到物料运动光流检测模型；
获取模块，用于实时获取检测图像，所述检测图像包含皮带信息和物料信息；
检测模块，用于将所述检测图像输入皮带边缘检测模型和物料运动光流检测模型，得到皮带边缘和物料运动光流边缘；
输出模块，用于基于所述皮带边缘和所述物料运动光流边缘，确定皮带跑偏程度。
另一方面，本发明提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述的设备皮带跑偏检测方法。
本申请通过改进的车道线检测网络训练得到皮带边缘检测模型，用于获取皮带边缘；同时基于改进的光流深度神经网络训练得到物料运动光流检测模型，用于获取物料运动光流边缘；再通过得到的皮带边缘和物料运动光流边缘确认皮带的跑偏程度，容易调试、推广，能够适用于不同的光照、摄像头角度、硬件设备条件下的皮带跑偏检测场景，不需要根据实际情况重新进行方法选择与调试；并且检测精度高、检测速度快，鲁棒性更强，实时性高。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明提供的设备皮带跑偏检测方法的流程图；
图2是本发明提供的改进的车道线检测网络的结构示意图；
图3是本发明提供的改进的光流深度神经网络的结构示意图；
图4是本发明提供的皮带边缘与物料运动光流边缘的位置关系示意图；
图5是本发明提供的设备皮带跑偏检测装置的结构示意图。
附图标记说明
10-第一建模模块； 20-第二建模模块； 30-获取模块；
40-检测模块； 50-输出模块。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
在本发明实施例中，在未作相反说明的情况下，使用的方位词如“上、下、左、右”通常是指基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系。
术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
术语“平行”、“垂直”等并不表示要求部件绝对平行或垂直，而是可以稍微倾斜。如“平行”仅仅是指其方向相对“垂直”而言更加平行，并不是表示该结构一定要完全平行，而是可以稍微倾斜。
术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平、竖直或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
此外，“大致”、“基本”等用语旨在说明相关内容并不是要求绝对的精确，而是可以有一定的偏差。例如：“大致相等”并不仅仅表示绝对的相等，由于实际生产、操作过程中，难以做到绝对的“相等”，一般都存在一定的偏差。因此，除了绝对相等之外，“大致等于”还包括上述的存在一定偏差的情况。以此为例，其他情况下，除非有特别说明，“大致”、“基本”等用语均为与上述类似的含义。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明首先从固定位置的摄像头获取皮带传输视频数据，通过图像增强等手段进行预处理，修正Canny算子的分割结果作为数据标签，最终包装成网络训练与测试所需数据集。本发明所采用的算法主体为基于改进PolylaneNet与RAFT的双流网络，综合双流网络的结果，计算皮带两侧边缘与运动物料两侧边缘的距离差值，对皮带是否发生偏置进行判断。将PolylaneNet的网络基本结构从EfficientNet-b1替换为性能最好的EfficientDet-D7，并在高级语义层插入非局部模块捕捉远程依赖，提高边缘提取精度；同时通过引入新的光流初始化方法、用k-聚类算法降低视觉相似性矩阵的计算量、用双线性溅射技术代替线性插值法提高RAFT网络的光流提取性能。改进的RAFT网络通过提取运动信息有效提高了网络的鲁棒性，改进的PolylaneNet通过提取表观信息进一步提高皮带跑偏检测的精度。使得本发明具有一下优势：
可推广、易调试。免去了手动设计提取特征与繁杂的人工参数选择，且实现了端到端的检测，可以推广至不同的光照、摄像头角度、硬件设备条件下的皮带跑偏检测场景，不需要根据实际情况重新进行方法选择与调试。
精度高、速度快。该皮带跑偏检测方法采用的双流网络相较于现存的基于数字图像处理的检测方法而言，挖掘了皮带视频数据的潜在特征，场景语义线索更加丰富，方法的精度更高。深度学习方法可以利用微调手段快速适应不同场景，模型训练速度更快，且参数量较少，计算速度加快，运算效率高。
成本更低、鲁棒性强。深度学习方法的训练与调试只需利用GPU，测试过程能耗低，且用于训练的图像比较容易获取，方法成本较低。传统方法在有限情况下会起很好的作用，但该皮带跑偏检测方法的鲁棒性更强，RAFT网络可以很好地减少静态栏杆、煤炭边缘线条等噪声干扰，面对不同尺寸、距离的目标，不同条件下的检测场景，网络均能获得较好的性能。分类的准确性更高。
图1是本发明提供的设备皮带跑偏检测方法的流程图，如图1所示，本实施例提供一种设备皮带跑偏检测方法，所述皮带用于承载并输送物料，所述方法包括：
步骤101、将皮带图像训练数据集输入改进的车道线检测网络进行模型训练，得到皮带边缘检测模型；
步骤102、利用飞椅数据集对改进的光流深度神经网络进行模型训练，得到物料运动光流检测模型；
步骤103、实时获取检测图像，所述检测图像包含皮带信息和物料信息；
步骤104、将所述检测图像输入皮带边缘检测模型和物料运动光流检测模型，得到皮带边缘和物料运动光流边缘；
步骤105、基于所述皮带边缘和所述物料运动光流边缘，确定皮带跑偏程度。
具体地，车道线检测网络(PolyLaneNet:Lane Estimation via Deep PolynomialRegression，通过深度多项式回归估计车道线)，PolylaneNet原始应用于自动驾驶的车道线检测场景，从安装在车辆中的前视摄像头获取输入图像，并输出代表图像中每个车道标记的多项式，以及域车道多项式和每个车道的置信度得分，在速度与精度上相比于其它网络都有明显的提升。采用性能优良的深度学习网络PolylaneNet作为基础，改进后的网络经过微调后能很好地满足皮带边缘检测的应用需求。光流深度神经网络(RAFT:RecurrentAll-Pairs Field Transforms for Optical Flow，周期性全对场变换的光流网络)，是一种基于深度学习网络的光流提取算法，提取精度高、速度快，通过迭代更新得到最终的运动光流。其中，飞椅数据集为光流数据集中的一部分，常用于光流估计。
更具体地，将所述检测图像输入皮带边缘检测模型和物料运动光流检测模型，可以将两张相同的检测图像分别输入到皮带边缘检测模型和物料运动光流检测模型，由皮带边缘检测模型输出皮带边缘，由物料运动光流检测模型输出物料运动光流边缘，再将皮带边缘和物料运动光流边缘合称为一张图片，方便进行后续的比较，得到皮带跑偏程度。
在另一种实施方式中，可以将一张检测图像依次输出到皮带边缘检测模型和物料运动光流检测模型中，将检测图像输入到皮带边缘检测模型中，在检测图像中得到皮带边缘，再将该检测图像输入到物料运动光流检测模型中，最后输出包含有皮带边缘和物料运动光流边缘的图像，直接在该图像上进行后续的比较，得到皮带跑偏程度。
其中，皮带图像训练数据集为预先采集的图像，且该图像中包含有皮带信息和物料信息，可以为固定摄像头拍摄的视频中截取的图像的集合。
在进行训练和实际检测前，可以对获取的图像进行预处理，包括：
步骤1、在皮带传送正上方安装摄像头，通过网络以及rtsp(实时流传输)协议实时传输摄像头获取的视频图像；
步骤2、对视频数据进行预处理，从高像素长视频中截取出小段短视频，处理成为视频帧，并对视频帧图像进行裁剪、旋转、平移等操作；
所述步骤2的基本理论支持是：
训练集的优劣在深度学习中起着不可忽视的作用，工业应用中，数据分布不均衡、图像中存在噪声点是常有的情况。通常情况下，从监控视频中获取的皮带输送图像场景单一，且出现异常(即弯曲边缘)的样本较少，正负样本图像数量比例失衡时，网络会侧重于学习某一分布的特征，影响最终性能。此外，环境中的光照变化也会对图像的质量产生影响，输送带形态、边缘，输送带周围的线状栏杆等都可能成为图像的噪声点。数据的预处理操作可以在一定程度上解决上述问题，提升深度学习的效果。
本发明提出在此理论基础上对实施例的实现做出如下处理步骤：
通过复制等操作针对正负样本图像进行比例调整，使得数据的分布均衡，避免深度学习对某一特征的不充分学习；
在原始截取的图像上进行裁剪、镜像翻转，调整色彩对比度、光照明暗度与图像角度等数据增广操作，模拟不同场景下的皮带边缘图像；
随机在1％的图像中加入线状噪声点，使深度网络学习更具鲁棒性。
综上所述，原始图像数据经过数据均衡分布、数据增广、添加图像噪声点等预处理，可以提升深度学习网络的分割效果，使方法适用于不同的应用场景。
步骤3、通过Canny算子进行边缘检测，进行人工校验后，得到皮带两侧边缘各n个点的真实值，同时按合理比例将处理好的数据集划分为训练集和验证集；
本发明进行数据集标注与划分，所述步骤3包括如下子步骤：
3.1、统一数据集图像的格式后，通过Canny算子对皮带边缘进行检测，将输出图像的高度分成n等份，与检测得到的两条皮带边缘线相交，得到具有等差纵坐标的2*n个边缘检测点横坐标，进行校验后作为数据标签，训练改进后的PolylaneNet网络。
3.2、为实现有监督学习，我们将数据集进行扩充后，使用均匀随机抽样的方式，按8:1:1的比例将其划分为训练集、验证集与测试集，并保持其同分布。
3.3、面对不同应用场景，包装特定的数据集。加载训练完成的原始网络权重后，用特定场景的数据集对网络进行训练，调整网络权重等参数与超参数。
标注的方法节省了人力成本。数据集的划分使用了通用标准，微调数据集的封装与粗调数据集的封装形式相同，当面对多变的场景时，依然能够表现出一定的卓越性。
具体计算步骤详解如下：
获取皮带监控视频后，采用均匀采样的方法对视频进行帧采样，作为训练集的原始图像；
对采集得到的图像进行均衡数据分布、数据增广与添加噪声点等操作；
神经网络的输入要求是统一的数据格式，预处理完成后，将数据进行归一化并裁剪得到固定的像素比224*224；
用Canny算子对图像中的皮带边缘进行标注。具体流程为先将图像转换为灰度图，再用高斯滤波对灰度图进行平滑处理。
高斯滤波函数为：
其中，i≥1，j≤(2k+1)，σ2为该高斯分布的方差，e为自然底数，令σ＝1.4，可以得到尺寸为3×3的高斯卷积核为：
即对位置为(m,n)、灰度值为f(m,n)的像素点，高斯滤波后的灰度值g(m,n)为(m,n)周围3×3的矩阵灰度值与H的卷积值。在计算平滑灰度图的梯度值和梯度方向后，过滤非最大值，最终使用上下阈值来检测边缘。
对上述条纹中心点进行校验，使得边缘检测点在可接受的误差范围(1cm)内，作为最终的数据标签对数据集进行封装，将所得数据按照8:1:1的比例划分为训练集、验证集与测试集。
进一步地，所述改进的车道线检测网络通过在车道线检测网络加入非局部模块改进得到，所述改进的车道线检测网络采用EfficientDet-D7网络基础结构；
进一步地，所述改进的车道线检测网络包括：输入层、特征层、特征融合层、卷积层、非局部模块和全连接层；
所述非局部模块作用于卷积层的高阶语义层；
所述特征层为七层，通道数分别为2、4、8、16、32、64、128。
步骤4、具体地，本发明改进后的PolylaneNet网络搭建，包括如下子步骤：
4.1、为了提高深度学习网络的性能，本发明将PolylaneNet的基本网络由EfficientNet-b1替换为更优越的EfficientDet-D7，即首先放大EfficientNet-b1的系数，再加入BiFPN(多尺度特征融合)与Compound Scaling(复合缩放)两部分；
EfficientDet-D7依然采用了与EfficientNet-b1同源的初代网络框架EfficientNet-b0，在混合系数的选择上采用了网络放大倍率更高的系数，得到EfficientNet-b7。EfficientNet-b7的计算量较大，但精度远超过EfficientNet-b1，对于精确的特征提取具有重大的作用。
EfficientDet-D7就是在EfficientNet-b7的基础上添加了BiFPN与CompoundScaling两部分。其中BiFPN就是添加在原EfficientNet-b7上的特征融合模块，以往的特征融合是平等地处理不同尺度的特征，而BiFPN通过权重的选择和设定，放大了目标尺度的影响力，学习不同输入特征的重要性。EfficientNet在考虑模型扩展的时候着重强调了网络的宽度，深度和分辨率三要素，而EfficientDet则进一步扩展，把EfficientNet作为骨干网络从而控制骨干网络的规模。同时控制添加的BiFPN的通道数量、重复的层数数量以及head部分的层数、输入图片的分辨率等，这些组成了EfficientDet的扩展配置参数，称作Compound Scaling。
4.2、为使模型具备皮带边缘检测的功能，本发明对网络的输出进行改进，将原全连接层输出的多项式系数、垂直偏移量与预测置信度得分改为大小为2*n的张量，使输出节点的数量与皮带两侧边缘的边缘检测点相匹配；
4.3、在步骤4.2改进后的PolylaneNet网络的高阶语义层中加入非局部模块(非局部神经网络模块)，其通过计算任意两个未知之间的交互直接捕捉远程依赖，而不用局限于相邻点，通过特征值加权操作维持更多信息，插入非局部模块对图像分类、目标检测、目标分割等视觉任务的效果均有不同程度的提升，所述非局部模块采用以下方式进行计算：
其中，yi表示经过非局部处理后深度学习网络某一特征图第i个空间位置的特征向量，xi与xj表示对应的原特征图上第i个与第j个空间位置的特征向量，其中i,j∈(1,H*W)，H和W分别是输入特征图的宽和高；f(xi,xj)为计算任意两点相似关系的函数；θ(xi)和
均为卷积操作；C(x)为归一化因子，e为数学常数；g(xj)为映射函数，g(xj)∈RHW*Cg。
本发明实施例将g(xj)简化为线性嵌入，即g(xj)＝Wg·xj，其中Wg是一个待学习的权重矩阵，最终得到的特征yi通道数为Cg。
图2是本发明提供的改进的车道线检测网络的结构示意图，实施例中核心网络EfficientDet-D7配合皮带检测场景改进网络输出后的网络结构图如图2所示，各部分的释义如下：
视频帧将首先被输入至EfficientNet的网络基本结构进行特征提取，其中P1-P7是通过卷积层提取的自底向上的各层特征，特征层通道数分别为2、4、8、16、32、64、128。
从网络基本结构中提取3-7级特征{P3,P4,P5,P6,P7}，反复应用自顶向下和自底向上的双向特征融合，即中部的BiFPN层，重复次数权衡着模型的精度和速度，本发明重复三次，即采用三层BiFPN层。
将这些融合特征作为后面的三层卷积层的输入。在实际操作中，本发明实施例将非局部模块插入到这三层高阶语义层中，并将步骤4.3中f(xi,xj)的计算化为矩阵乘法运算与卷积运算。非局部模块是对特征层进行操作的，可以很方便地插入任意一个网络，实施例优选插入高阶语义层是为了减少计算量。
本发明将最后的全连接层输出设计为大小为2*n的张量，表示网络检测到的边缘点的横坐标。训练阶段，将皮带边缘关键点的横坐标作为监督，完成训练。推理阶段，用最小二乘法进行拟合，将拟合得到的直线作为最终的皮带边缘预测结果。
进一步地，所述改进的光流深度神经网络利用聚类算法和双线性溅射技术对光流深度神经网络进行改进得到。
图3是本发明提供的改进的光流深度神经网络的结构示意图，如图3所示，进一步地，所述改进的光流深度神经网络包括：提取模块、视觉相似性计算模块、更新迭代模块；
所述提取模块用于提取检测图像的第一帧图像的图像特征和相邻的第二帧图像的图像特征；
所述视觉相似性计算模块用于基于第一帧图像的图像特征和相邻的第二帧图像的图像特征，输出相关性矩阵；
所述更新迭代模块用于基于相关性矩阵、上一次光流迭代结果和第一帧图像的图像特征、相邻的第二帧图像的图像特征，迭代更新光流场。
进一步地，利用聚类算法和双线性溅射技术对光流深度神经网络进行改进，包括：
利用k-聚类算法从相邻的第二帧图像的特征向量中确定与第一帧图像的特征向量最匹配的k个点的索引，基于该k个点的索引构造稀疏视觉相似性矩阵；
基于最新的光流迭代结果和稀疏视觉相似性矩阵，得到相关性矩阵。
进一步地，所述方法还包括：确定初始光流结果，所述初始光流结果为第一次迭代时输入的光流结果，该光流结果为非零值；
所述确定初始光流结果，包括：
对稀疏视觉相似性矩阵中的相似值进行大小排序；
确定排序首位的相似值对应的索引，所述相似值对应的索引包括第一帧图像中对应的特征向量和相邻的第二帧图像中对应的特征向量；
在同一坐标系下确定第一帧图像中对应的特征向量的二维坐标和相邻的第二帧图像中对应的特征向量的二维坐标；
基于相邻的第二帧图像中对应的特征向量的二维坐标初始化第一帧图像中对应的特征向量的二维坐标，得到初始光流结果。
进一步地，利用聚类算法和双线性溅射技术对光流深度神经网络进行改进，还包括：
利用距离加权法对相似值排序前n个中位于预设窗口内的点进行距离加权后，基于双线性溅射技术提高相关性矩阵的稠密度。
本发明中选取相似值排序前n个点中位于预设窗口内的点进行加权，为了实现前后的统一，将n设置为k。
具体地，本发明改进光流深度神经网络，包括如下子步骤：
将改进RAFT网络用以提取皮带输送物料运动光流图，同时可对静态噪声进行强制区分，提升分类的准确性。RAFT网络主要由特征/上下文提取模块、视觉相似性计算模块、更新迭代模块构成。上下文提取模块的作用是提取特征，其输入为相邻的两帧RGB(颜色通道)图像，结构与特征提取网络相似，但选择了不同的规范化层，输出原始图像1/8分辨率的特征图(H*W)。视觉相似性计算模块将两帧图像的特征作为输入，输出相关性矩阵；计算分为两步，一是计算两视频帧间的视觉相似性，其将上一帧图像特征图的每一个特征向量与相邻帧特征图的所有特征向量作内积进行匹配，得到视觉相似性矩阵(H*W*H*W)，最后通过池化操作获得不同分辨率
的视觉相似性矩阵用以获得整体与局部特征。上下文提取网络的作用仍是提取特征，其结构与特征提取网络相似，但选择了不同的规范化层且只提取第一帧图像的特征。二是根据最新的光流迭代结果在计算得到的多尺度4D相关体中进行相关性查找，得到相关性矩阵。网络主体通过GRU(门循环单元)进行迭代更新光流场，每一次迭代的输入是相关性矩阵、上一次迭代得到的光流结果与上下文特征(第一帧图像的图像特征、相邻的第二帧图像的图像特征)经过卷积上采样处理后的连接。
第一次迭代时，光流初始值为0，则直接查找当前像素点在视觉相似性矩阵中对应的矩阵。后续迭代中，需首先在当前点上施加一个光流的位移，由于迭代结果不一定是整数，我们需要对位移后的点所在网格上的四个相似值完成插值计算后再进行上述查找操作，得到4个相关性矩阵(H*W)。RAFT中光流从初始化开始一直在进行全精度计算，不存在以往方法中金字塔上采样的过程，因此在小物体的快速运动上具有明显的优势。
迭代公式如下所示：
zt＝σ(Conv3×3([ht-1,xt],Wz))
rt＝σ(Conv3×3([ht-1,xt],Wr))
其中，ht-1为上一轮最新的光流迭代结果，xt是ht-1、相关性矩阵和上下文特征的连接，第一次迭代时，光流初始值为0，Conv3×3是大小为3x3的卷积，σ表示sigmoid激活函数，Wz、Wr、Wh均表示权重。此轮迭代结果ht是相对于上次迭代过程输出光流的残差光流，其与上一次迭代的光流相加生成全分辨率光流结果ft，用于计算损失函数。RAFT模型总共进行12次迭代优化，生成的12个光流结果逐次精确，通过计算迭代产生的光流ft与光流真实值fgt的L1范数，并乘以呈指数增长的权值作为损失函数，更新模型参数，如下式所示：
具体地，在后续迭代中，需首先在当前点上施加一个光流的位移，由于迭代结果不一定是整数，我们需要对位移后的点所在网格上的四个相似值完成插值计算后再进行上述查找操作，得到4个相关性矩阵(H*W)。RAFT中光流从初始化开始一直在进行全精度计算，不存在以往方法中金字塔上采样的过程，因此在小物体的快速运动上具有明显的优势。
步骤5、为满足皮带物料运动检测对实时性与捕捉精细结构运动的要求，本发明对RAFT网络进行了如下改进：
5.1、在计算视觉相似性矩阵时，本发明运用k-聚类算法从第二帧特征图的H*W个特征向量中选出与第一帧图像的特征向量最匹配的k个点的索引，只对这k个点进行内积计算并进行储存，构造稀疏视觉相似性矩阵(H*W*k)，在进行反向传播时，梯度只传播到k-聚类模块选择的k个特征向量中。只存储top-k个相似值的系数视觉相似性矩阵与原RAFT中稠密的视觉相似性矩阵相比空间复杂度由O(N2)降到了O(N)，解决了原始RAFT模型计算中内存消耗随着像素的数量呈二次增长的问题，在一定程度上解放了它处理高分辨率图像的能力。
5.2、本发明提出了一种新的光流初始化方法。，在相似性搜索中，记下稀疏视觉相似性矩阵中每一个相似值为top-1的索引(i,j)，其中i代表第一张视频帧特征图F1的第i个特征向量，j代表第二张视频帧特征图F2的第j个特征向量，分别定位两特征向量的二维坐标(x1,x2)、(y1,y2)，则将第一张视频帧特征图的第i个位置的光流初始化为(y1-x1,y2-x2)，通过先验避免陷入局部极小值，为后续小目标光流的迭代提供明确的方向。
5.3、在缩放视觉相似性矩阵时，相应的k个索引位置可能会变成非整数，本发明运用双线性溅射技术来提高相关性矩阵的稠密度，其中，某非网格位置上的相似值按距离长短被双线性地分散到最接近的四个整数网格。双线性溅射技术改变矩阵维数将固定半径内r个点的值重新排列形成稠密张量，该张量不仅储存了当前迭代光流的相似值权重信息，还通过特定的排列方式储存了位置信息，在一定程度上给出了光流的下一步迭代方向。
本实施例中改进后的RAFT网络采用距离加权，在双线性溅射技术中的张量维数重塑过程中，不在预设窗口(预设窗口为半径为r的圆，且圆心为相似值排序位于第一的点)中的top-k(排序位于k之前)个点被直接舍弃掉，这样简单直接的方式可能会造成快速移动小目标信息的缺失。为此，本文根据固定半径r以外的top-k个点的分布与相似值对固定半径r以内的top-k(排序位于k之前)个点进行加权从而加快迭代。记固定半径r以内的某个top-k(排序位于k之前)点为x，固定半径r以外的某个top-k点为y，两点间的欧式距离为d，则使用高斯函数考虑距离对权重的影响，公式如下所示：
我们记y点的相似值为a，则y对x的加权为：
Xy＝1+a*Xyd
权重越大意味着y与x的距离越近或者y的相似值越大，两种情况在理论上都要求在固定半径r内的光流向着距离y更近的x方向靠近。我们对在固定半径r(预设窗口)以内的top-k(排序位于k之前)中的所有x点进行加权后再进行双线性溅射操作。
具体地，利用faiss框架进行相似性搜索时，可以将度量方式由余弦相似转为欧式距离。
通过5个不同的常量系数缩放视觉相似性矩阵各点的坐标，形成多尺度稀疏相关金字塔。然后，我们把相似值双线性分割到整数网格上，根据上一次迭代的光流结果在一个局部窗口内(即固定半径r)提取不同分辨率下的相关值，较大的分辨率提供更广的上下文语义信息，较小的分辨率提供更精确的位移。最后，我们将各层金字塔上提取到的5*(2r+1)2个相似值张量转换为稠密张量，改变其维数并将它们连接起来形成大小为H*W*c的张量。
在缩放视觉相似性矩阵时，相应的k个索引位置可能会变成非整数，因此，我们需要运用双线性溅射技术来提高相关性矩阵的稠密度。其中，某非网格位置上的相似值按距离长短被双线性地分散到最接近的四个整数网格。
另外，将训练样本作为输入对改进的PolylaneNet网络进行训练，得到网络权重，形成检测用的皮带边缘检测模型。对改进后的RAFT网络用通用的飞椅数据集进行训练，得到网络权重，继而用于提取皮带输送物料运动光流。本步骤利用验证集衡量模型精度等指标。
用TensorRT(GPU加速工具)对模型进行轻量化处理，并选取合适的微调数据集对上述模型进行训练，以适用于不同场景。
将新的皮带视频图像测试样本作为上述训练好的皮带跑偏检测模型，输出图像中的皮带边缘提取结果及分类结果；同时输出物料运动光流
进一步地，基于所述皮带边缘和物料运动光流边缘，确定皮带跑偏程度，包括：
确定标准直线，所述标准直线与皮带边缘存在第一交点和第二交点，所述标准直线与物料运动光流边缘存在第三交点和第四交点；
基于第一交点与第三交点的距离值以及第二交点与第四交点的距离值的差值，确定皮带跑偏程度。
图4是本发明提供的皮带边缘与物料运动光流边缘的位置关系示意图，如图4所示，具体地，记标准直线交皮带两侧边缘于点a1与a4，交物料运动光流边缘于点a2与a3，分别计算物料运动光流边缘与皮带边缘的两个距离：d1＝a2-a1、d2＝a4-a3；(采用d1＝a3-a1、d2＝a4-a2同样能够得到物料运动光流边缘与皮带边缘的两个距离)。
两个距离的距离差值为：Δd＝|d1-d2|，若Δd大于设定的阈值，则判定皮带发生跑偏，Δd为跑偏程度。
在另一种实施方式中，可以基于公式Δd＝d1-d2的正负值确定皮带的跑偏方向。
阈值同样可替换为一个阈值区间，当距离差值Δd大于或者小于阈值区间中的值时，则判定皮带跑偏，并根据距离差值Δd与阈值区间中最大值或者最小值确定皮带的跑偏程度。
所述标准直线可以设置为倾斜直线或者相对的平行线，优选的，标准直线与皮带边缘之间的夹角相等或者标准直线与皮带边缘之间的夹角的差值小于预设值。
图5是本发明提供的设备皮带跑偏检测装置的结构示意图，如图5所示，本发明第二方面提供一种皮带跑偏检测装置，所述皮带用于承载并输送物料，所述装置包括：
第一建模模块10，用于将皮带图像训练数据集输入改进的车道线检测网络进行模型训练，得到皮带边缘检测模型；
第二建模模块20，用于利用飞椅数据集对改进的光流深度神经网络进行模型训练，得到物料运动光流检测模型；
获取模块30，用于实时获取检测图像，所述检测图像包含皮带信息和物料信息；
检测模块40，用于将所述检测图像输入皮带边缘检测模型和物料运动光流检测模型，得到皮带边缘和物料运动光流边缘；
输出模块50，用于基于所述皮带边缘和所述物料运动光流边缘，确定皮带跑偏程度。
本发明第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述的皮带跑偏检测方法。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。
Claims (10)
1.一种皮带跑偏检测方法，所述皮带用于承载并输送物料，其特征在于，所述方法包括：
将皮带图像训练数据集输入改进的车道线检测网络进行模型训练，得到皮带边缘检测模型；
利用飞椅数据集对改进的光流深度神经网络进行模型训练，得到物料运动光流检测模型；
实时获取检测图像，所述检测图像包含皮带信息和物料信息；
将所述检测图像输入皮带边缘检测模型和物料运动光流检测模型，得到皮带边缘和物料运动光流边缘；
基于所述皮带边缘和所述物料运动光流边缘，确定皮带跑偏程度。
2.根据权利要求1所述的皮带跑偏检测方法，其特征在于，所述改进的车道线检测网络通过在车道线检测网络加入非局部模块改进得到，所述改进的车道线检测网络采用EfficientDet-D7网络基础结构；
所述改进的光流深度神经网络利用聚类算法和双线性溅射技术对光流深度神经网络进行改进得到。
3.根据权利要求2所述的皮带跑偏检测方法，其特征在于，所述改进的车道线检测网络包括：输入层、特征层、特征融合层、卷积层、非局部模块和全连接层；
所述非局部模块作用于卷积层的高阶语义层；
所述特征层为七层，通道数分别为2、4、8、16、32、64、128。
4.根据权利要求2所述的皮带跑偏检测方法，其特征在于，所述改进的光流深度神经网络包括：提取模块、视觉相似性计算模块、更新迭代模块；
所述提取模块用于提取检测图像的第一帧图像的图像特征和相邻的第二帧图像的图像特征；
所述视觉相似性计算模块用于基于第一帧图像的图像特征和相邻的第二帧图像的图像特征，输出相关性矩阵；
所述更新迭代模块用于基于相关性矩阵、上一次光流迭代结果和第一帧图像的图像特征、相邻的第二帧图像的图像特征，迭代更新光流场。
5.根据权利要求4所述的皮带跑偏检测方法，其特征在于，利用聚类算法和双线性溅射技术对光流深度神经网络进行改进，包括：
利用k-聚类算法从相邻的第二帧图像的特征向量中确定与第一帧图像的特征向量最匹配的k个点的索引，基于该k个点的索引构造稀疏视觉相似性矩阵；
基于最新的光流迭代结果和稀疏视觉相似性矩阵，得到相关性矩阵。
6.根据权利要求5所述的皮带跑偏检测方法，其特征在于，所述方法还包括：确定初始光流结果，所述初始光流结果为第一次迭代时输入的光流结果，该光流结果为非零值；
所述确定初始光流结果，包括：
对稀疏视觉相似性矩阵中的相似值进行大小排序；
确定排序首位的相似值对应的索引，所述相似值对应的索引包括第一帧图像中对应的特征向量和相邻的第二帧图像中对应的特征向量；
在同一坐标系下确定第一帧图像中对应的特征向量的二维坐标和相邻的第二帧图像中对应的特征向量的二维坐标；
基于相邻的第二帧图像中对应的特征向量的二维坐标初始化第一帧图像中对应的特征向量的二维坐标，得到初始光流结果。
7.根据权利要求6所述的皮带跑偏检测方法，其特征在于，利用聚类算法和双线性溅射技术对光流深度神经网络进行改进，还包括：
利用距离加权法对相似值排序前n个中位于预设窗口内的点进行距离加权后，基于双线性溅射技术提高相关性矩阵的稠密度。
8.根据权利要求1所述的皮带跑偏检测方法，其特征在于，基于所述皮带边缘和物料运动光流边缘，确定皮带跑偏程度，包括：
确定标准直线，所述标准直线与皮带边缘存在第一交点和第二交点，所述标准直线与物料运动光流边缘存在第三交点和第四交点；
基于第一交点与第三交点的距离值以及第二交点与第四交点的距离值的差值，确定皮带跑偏程度。
9.一种皮带跑偏检测装置，所述皮带用于承载并输送物料，其特征在于，所述装置包括：
第一建模模块，用于将皮带图像训练数据集输入改进的车道线检测网络进行模型训练，得到皮带边缘检测模型；
第二建模模块，用于利用飞椅数据集对改进的光流深度神经网络进行模型训练，得到物料运动光流检测模型；
获取模块，用于实时获取检测图像，所述检测图像包含皮带信息和物料信息；
检测模块，用于将所述检测图像输入皮带边缘检测模型和物料运动光流检测模型，得到皮带边缘和物料运动光流边缘；
输出模块，用于基于所述皮带边缘和所述物料运动光流边缘，确定皮带跑偏程度。
10.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请权利要求1-8中任一项权利要求所述皮带跑偏检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210270615.0A CN114742864A (zh) | 2022-03-18 | 2022-03-18 | 皮带跑偏检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210270615.0A CN114742864A (zh) | 2022-03-18 | 2022-03-18 | 皮带跑偏检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114742864A true CN114742864A (zh) | 2022-07-12 |
Family
ID=82277786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210270615.0A Pending CN114742864A (zh) | 2022-03-18 | 2022-03-18 | 皮带跑偏检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114742864A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359055A (zh) * | 2022-10-19 | 2022-11-18 | 煤炭科学技术研究院有限公司 | 运输机皮带边缘检测方法、装置、电子设备和存储介质 |
| CN116402841A (zh) * | 2023-06-01 | 2023-07-07 | 天津市全福车业有限公司 | 基于机器视觉的跨动物流偏移检测方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060208169A1 (en) * | 1992-05-05 | 2006-09-21 | Breed David S | Vehicular restraint system control system and method using multiple optical imagers |
| CN109969736A (zh) * | 2019-01-17 | 2019-07-05 | 上海大学 | 一种大型运载皮带跑偏故障智能检测方法 |
| CN110902315A (zh) * | 2019-12-10 | 2020-03-24 | 浙江蓝卓工业互联网信息技术有限公司 | 皮带偏移状态检测方法及系统 |
| CN113772364A (zh) * | 2021-09-18 | 2021-12-10 | 中国矿业大学 | 一种皮带输送机跑偏检测装置及自动调整方法 |
| CN215206805U (zh) * | 2021-07-13 | 2021-12-17 | 中建材（合肥）粉体科技装备有限公司 | 一种用于输送皮带机上的皮带跑偏自动检测纠正装置 |
-
2022
- 2022-03-18 CN CN202210270615.0A patent/CN114742864A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060208169A1 (en) * | 1992-05-05 | 2006-09-21 | Breed David S | Vehicular restraint system control system and method using multiple optical imagers |
| CN109969736A (zh) * | 2019-01-17 | 2019-07-05 | 上海大学 | 一种大型运载皮带跑偏故障智能检测方法 |
| CN110902315A (zh) * | 2019-12-10 | 2020-03-24 | 浙江蓝卓工业互联网信息技术有限公司 | 皮带偏移状态检测方法及系统 |
| CN215206805U (zh) * | 2021-07-13 | 2021-12-17 | 中建材（合肥）粉体科技装备有限公司 | 一种用于输送皮带机上的皮带跑偏自动检测纠正装置 |
| CN113772364A (zh) * | 2021-09-18 | 2021-12-10 | 中国矿业大学 | 一种皮带输送机跑偏检测装置及自动调整方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张延生;聂志勇;孙国栋: "基于改进RAFT算法的皮带检测研究", 能源科技, vol. 20, no. 3, 24 June 2022 (2022-06-24), pages 25 - 29 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359055A (zh) * | 2022-10-19 | 2022-11-18 | 煤炭科学技术研究院有限公司 | 运输机皮带边缘检测方法、装置、电子设备和存储介质 |
| CN116402841A (zh) * | 2023-06-01 | 2023-07-07 | 天津市全福车业有限公司 | 基于机器视觉的跨动物流偏移检测方法及相关装置 |
| CN116402841B (zh) * | 2023-06-01 | 2023-08-11 | 天津市全福车业有限公司 | 基于机器视觉的跨动物流偏移检测方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109655019B (zh) | 一种基于深度学习和三维重建的货物体积测量方法 | |
| CN111201451B (zh) | 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置 | |
| CN107980150B (zh) | 对三维空间建模 | |
| KR102204818B1 (ko) | 3d 정렬 알고리즘들을 위한 밸런싱된-프로브 사이트들의 선택 | |
| CN114202672A (zh) | 一种基于注意力机制的小目标检测方法 | |
| CN110688905B (zh) | 一种基于关键帧的三维物体检测与跟踪方法 | |
| CN111062915A (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
| CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
| CN111523610B (zh) | 一种样本高效标注的物品识别方法 | |
| CN111191566A (zh) | 基于像素分类的光学遥感图像多目标检测方法 | |
| CN108257154B (zh) | 基于区域信息和cnn的极化sar图像变化检测方法 | |
| CN103871062B (zh) | 一种基于超像素描述的月面岩石检测方法 | |
| CN111523545B (zh) | 一种结合深度信息的物品查找方法 | |
| CN114742864A (zh) | 皮带跑偏检测方法及装置 | |
| Pascoe et al. | Robust direct visual localisation using normalised information distance. | |
| CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
| CN113688846B (zh) | 物体尺寸识别方法、可读存储介质及物体尺寸识别系统 | |
| CN109214254B (zh) | 一种确定机器人位移的方法及装置 | |
| CN109063549A (zh) | 基于深度神经网络的高分辨率航拍视频运动目标检测方法 | |
| CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其系统 | |
| CN112055192A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| Rosu et al. | Neuralmvs: Bridging multi-view stereo and novel view synthesis | |
| CN109241981B (zh) | 一种基于稀疏编码的特征检测方法 | |
| CN112712062A (zh) | 基于解耦截断物体的单目三维物体检测方法和装置 | |
| CN105809657A (zh) | 一种角点检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |