CN117237303A - 基于机器视觉的非接触式堆石颗粒级配检测方法及装置 - Google Patents
基于机器视觉的非接触式堆石颗粒级配检测方法及装置 Download PDFInfo
- Publication number
- CN117237303A CN117237303A CN202311210640.0A CN202311210640A CN117237303A CN 117237303 A CN117237303 A CN 117237303A CN 202311210640 A CN202311210640 A CN 202311210640A CN 117237303 A CN117237303 A CN 117237303A
- Authority
- CN
- China
- Prior art keywords
- particle
- rock
- grading
- fill
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 239000002245 particle Substances 0.000 claims abstract description 225
- 239000013598 vector Substances 0.000 claims abstract description 96
- 238000013139 quantization Methods 0.000 claims abstract description 60
- 230000011218 segmentation Effects 0.000 claims abstract description 44
- 238000005070 sampling Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000010801 machine learning Methods 0.000 claims abstract description 19
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000013136 deep learning model Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000001186 cumulative effect Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000012856 packing Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000009825 accumulation Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
一种基于机器视觉的非接触式堆石颗粒级配检测方法和装置，包括：使用图像获取装置获取堆石颗粒的数字图像；将获取的数字图像传入实例分割深度学习模型，对堆石颗粒进行识别与分割，得到颗粒轮廓区域；对获取的颗粒轮廓进行量化；对多项量化指标进行采样处理；将获取的向量作为输入，级配曲线上提取的向量作为数据标签；构建神经网络模型训练数据集，获得具有和真实颗粒三维形状的三维数字颗粒，构建数字颗粒模型库；得到最终用于级配检测神经网络预测模型。本发明可有效克服紧密堆积条件下堆石颗粒准确识别与分割，且无需人为假设任何经验公式，而完全基于大量数据的基础上的机器学习模型，可有效提高适应性和准确性。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种基于机器视觉的非接触式堆石颗粒级配检测方法及装置。
背景技术
堆石颗粒大规模存在于铁路下部结构，如路基填料、底砟层的级配碎石和有砟道床的道砟颗粒等，以及采矿领域、水利工程坝体建造等，堆石颗粒级配对其力学及破碎性能和相关性质的影响巨大。传统方法获取颗粒堆积体级配是筛分称重，取样有限，且效率低，获得的级配曲线不够连续。随着图像处理技术与人工智能的发展，出现一些基于机器视觉的颗粒级配检测技术，但是大多只可适用于颗粒之间无遮挡的情况，在拍摄图像之前需要人为将颗粒分散开，以获得较好的预测效果，对于紧密堆积的堆石颗粒，在颗粒识别分割方面，由于颗粒本身的纹理以及相互遮挡，传统边缘检测、阈值处理等方式无法准确有效的进行识别与分割，级配曲线的预测方面，基于一些形状假设公式的方式无法正确表征颗粒的实际形状、且颗粒轮廓之间存在相互遮挡，因此预测效果通常效果不佳，因此无法实现堆石颗粒级配的快速检测。
发明内容
为克服现有技术中存在的问题，本发明提供一种基于机器视觉的非接触式堆石颗粒级配检测方法及装置，本发明的基于实例分割深度学习模型的颗粒识别与分割技术，颗粒图像轮廓量化方法，以及基于机器学习和大数据的级配预测算法，可有效克服紧密堆积条件下堆石颗粒准确识别与分割，且无需人为假设任何经验公式，而完全基于大量数据的基础上的机器学习模型，可有效提高适应性和准确性。
本发明采用如下技术方案：
本发明的第一方面提供了一种基于机器视觉的非接触式堆石颗粒级配检测方法，包括如下步骤：
步骤S100，使用图像获取装置获取堆石颗粒的数字图像；
步骤S200，将获取的数字图像传入实例分割深度学习模型，对堆石颗粒进行识别与分割，得到颗粒轮廓区域；
步骤S300，对获取的颗粒轮廓进行量化；
步骤S400，对多项量化指标进行采样处理；
步骤S500，将步骤S400获取的1x90向量作为输入，级配曲线上提取的1ⅹ20维向量作为数据标签；
步骤S600，构建神经网络模型训练数据集，随机选取大量堆石颗粒，使用三维激光扫描装置扫描大量堆石颗粒，获得具有和真实颗粒三维形状的三维数字颗粒，构建数字颗粒模型库；
步骤S700，使用步骤S200的方法对生成的已知级配的数字颗粒堆积体图片进行颗粒的识别与分割，使用步骤S300-S400的方法对分割的颗粒轮廓进行量化和数据采样，获得每张图像对应的1x90特征向量，这个1ⅹ90的特征向量作为训练机器学习模型的输入，继续使用S500步骤对应的方法从数字颗粒样本的的级配曲线上进行采样，获得每条级配曲线对应的1ⅹ20特征向量，这个特征向量作为训练机器学习模型的输出，完成生成每一组级配的样本图像提取后便得到大量输入特征向量，和输出特征向量；将这些输入特征向量和输出特征向量作为数据集对步骤S500推荐的神经网络模型进行训练和模型优化，得到最终用于级配检测神经网络预测模型。
进一步的，步骤S200中，实例分割深度学习模型使用图像分割大模型SegmentAnything model(SAM)，针对掩膜这类稠密类型的提示，使用卷积的方式进行编码，点、框采用位置编码；掩膜解码模块将图像编码模块输出的图像嵌入矩阵和编码的提示信息高效地结合，并导出这个提示信息对应的掩膜。
进一步的，步骤S300中，先提取颗粒轮廓的几何量化特征，然后根据所述轮廓的几何量化特征提取每个颗粒轮廓的多项量化指标，SAM分割后的颗粒轮廓像素值在0-1之间，先对图像进行阈值化处理，再分别提取各项量化指标。
进一步的，所述阈值化处理方式为，将导出的单个掩膜转化为数字矩阵，按式(1)进行阈值化处理；
其中pix(x,y)为原图上(x,y)坐标位置的像素值，pix’(x,y)为处理后的图像上(x,y)坐标位置的像素值；
其中颗粒轮廓面积的计算如式(2)所示：
A＝α2·∑nx,y,x＝1,2,3,···,w；y＝1,2,3,···,h (2)
其中A是单颗粒轮廓计算面积，w为图像宽度，h为图像高度，nx,y表示像素的映射值，当像素值为0时，nx,y为0，当像素值不为0时，nx,y为1，α为尺度转换因子，代表单个像素表示的真实长度(单位：毫米每像素)；
颗粒轮廓周长使用公式3进行计算：
其中P是单颗粒轮廓计算周长，n为颗粒轮廓上像素点的个数，x[i],y[i]分别为对应像素点的横坐标和纵坐标；
等效圆直径计算如式4所示：
其中equivalent_circle_d为颗粒轮廓等效圆直径。
进一步的，最小外接圆直径的计算利用了OpenCV内置welzl算法，通过递归和迭代得到轮廓的最小外接圆直径；
等效椭圆长轴与短轴的计算利用了OpenCV进行拟合，使用最小二乘法迭代获取轮廓区域最佳拟合椭圆，得到等效椭圆的长轴与短轴；
颗粒轮廓最小凸包多边形面积的计算利用了OpenCV，使用的算法为Sklansky算法；
最小外接矩形的计算利用了OpenCV，在最小凸包多边形的基础上利用旋转卡尺算法通过枚举的方式获得最小外接矩形，得到其长边和短边。
进一步的，步骤S400中，将所得的多项量化指标绘制成累计分布曲线。
进一步的，绘制方法为，每张图片包含多个颗粒，每一个颗粒轮廓提取得到了多项量化指标，分别按每项量化指标对图像上所有颗粒从小到大进行排序，以颗粒的量化指标为横坐标、颗粒的排列序号除以颗粒总数作为纵坐标绘制折线图，然后对累计分布曲线进行数据采样。
进一步的，采样方式为，从累计分布曲线上对应获取通过率分别为10％，20％，30％，……，100％对应的10个量化指标值，每一个量化指标的累计分布曲线就转换为一个1ⅹ10的向量，同样的方式分别绘制提取8项量化指标的累计分布曲线，对累计分布曲线进行采样提取，便得到9个1ⅹ10的向量，将9个向量依次拼接，得到1ⅹ90的向量，这样便将数据量为数十万像素级别的图像数据压缩为1ⅹ90的向量。
进一步的，从级配曲线上提取的1ⅹ20维数据标签向量的方法如下：分别选择通过率分别为5％，10％，15％，……，100％对应的粒径值依次排列组成的1ⅹ20向量作为模型的数据标签。
本发明的第二方面提供了一种基于机器视觉的非接触式堆石颗粒级配检测装置，包括：
获取模块，用于使用图像获取装置获取堆石颗粒的数字图像；
分割模块，用于将获取的数字图像传入实例分割深度学习模型，对堆石颗粒进行识别与分割，得到颗粒轮廓区域；
量化模块，用于对获取的颗粒轮廓进行量化；
采样模块，用于对多项量化指标进行采样处理；
数据标签模块，用于将获取的1x90向量作为输入，级配曲线上提取的1ⅹ20维向量作为数据标签；
数字颗粒模型库构建模块，用于构建神经网络模型训练数据集，随机选取大量堆石颗粒，使用三维激光扫描装置扫描大量堆石颗粒，获得具有和真实颗粒三维形状的三维数字颗粒，构建数字颗粒模型库；
级配检测神经网络预测模型生成模块，对生成的已知级配的数字颗粒堆积体图片进行颗粒的识别与分割，对分割的颗粒轮廓进行量化和数据采样，获得每张图像对应的1x90特征向量，这个1ⅹ90的特征向量作为训练机器学习模型的输入，继续使用S500步骤对应的方法从数字颗粒样本的的级配曲线上进行采样，获得每条级配曲线对应的1ⅹ20特征向量，这个特征向量作为训练机器学习模型的输出，完成生成每一组级配的样本图像提取后便得到大量输入特征向量，和输出特征向量；将这些输入特征向量和输出特征向量作为数据集对推荐的神经网络模型进行训练和模型优化，得到最终用于级配检测神经网络预测模型。
本发明的技术方案能够实现如下有益的技术效果：
本发明可实现道砟或者其他粗骨料颗粒级配的非接触式快速识别，相比一般筛分法效率大大提高，且可以获得更为连续的级配曲线，并且该方法计算公式基于大量图像数据，相比基于假定公式的机器视觉方法具有更高的精度。
本发明的基于实例分割深度学习模型的颗粒识别与分割技术，颗粒图像轮廓量化方法，以及基于机器学习和大数据的级配预测算法，可有效克服紧密堆积条件下堆石颗粒准确识别与分割，且无需人为假设任何经验公式，而完全基于大量数据的基础上的机器学习模型，可有效提高适应性和准确性。
附图说明
图1是本发明的主要技术框架示意图；
图2是本发明使用的实例分割模型SAM的框架示意图；
图3是本发明不同情况下应达到的颗粒分割效果示意图；
图4是本发明提取的颗粒轮廓量化特征示意图；
(a)颗粒轮廓面积；(b)颗粒轮廓周长；(c)颗粒轮廓等效圆；(d)颗粒轮廓等效椭圆；(e)颗粒轮廓最小外接矩形；(f)颗粒轮廓最小外接圆；(g)颗粒轮廓最小凸包多边形；
图5是本发明提出的数据采样方法示意图；图5(a)是从颗粒轮廓特征累计分布曲线上进行数据采样获得一个10维的向量示意图，取样后相当于以图中的红色折线替代绿色曲线；图5(b)是从级配曲线上取样获得一个可以代表它的20维向量的示意图；
图6是本发明推荐使用的神经网络结构示意图；
图7是本发明使用的三维激光扫描装置示意图；
图8是本发明根据真实颗粒扫描获取的数字颗粒模型示意图；
图9是本发明在覆盖特级道砟级配范围的示例图；
图10是本发明利用离散元Particle Flow Code(PFC)生成的数字颗粒堆积体示例图。
具体实施方式
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
具体的，本发明的第一方面提供了一种基于机器视觉的非接触式堆石颗粒级配检测方法，整体实现技术框架图如图1所示包括：
步骤S100，使用图像获取装置获取堆石颗粒的数字图像；
具体的，使用工业相机等图像获取装置拍摄堆石料的表面图像，并获取尺度参考；
步骤S200，将获取的数字图像传入实例分割深度学习模型，本发明使用图像分割大模型Segment Anything Model(SAM)作为实例分割深度学习模型，对堆石颗粒进行识别与分割，得到颗粒轮廓区域。SAM基于注意力转移机制的架构，在图像处理领域比卷积网络架构具有更大潜力。SAM模型包含了3个主要模块，图像编码,提示编码和掩膜解码，模型架构如图2所示。图像编码部分使用的是视觉transformer(VIT)架构，相比卷积网络这被认为可能在数据量足够大的情况下提升模型训练效果的上限；提示编码部分，针对掩膜这类稠密类型的提示，使用卷积的方式进行编码，点、框采用位置编码；掩膜解码部分则是将图像编码模块输出的图像嵌入矩阵和编码的提示信息高效地结合，并导出这个提示信息对应的掩膜。此外，基于其提出的数据引擎，SAM的训练数据量达到了超过1000万张图像上的超过10亿个标签，这是其具有强大的图像分割性能的尤其重要的原因。通用大模型的结构并不算复杂，但在十分巨大的训练数据量下，它被认为学习到了物体包含像素区域的通用特征，因此即使对于从未见过的新目标物的分割，其仍然可以表现出比肩监督学习模型的效果。颗粒图像分割后的效果如图3所示。对于拍摄的堆石颗粒图像处理对颗粒的识别与分割应达到人肉眼可识别的程度，如图3展示不同外观形态应达到的分割效果示例。
具体的，将图像以及32ⅹ32提示点网格(可根据图像尺寸和颗粒数量调整提示点网格大小)作为模型输入，在图像质量较好的情况下模型推荐参数设置如表格1所示。
表1本发明的SAM模型推荐参数
步骤S300，对获取的颗粒轮廓进行量化。
具体的，先提取颗粒轮廓的几何量化特征，包括颗粒轮廓面积、周长、等效圆、最小外接圆、等效椭圆、最小外接矩形、最小凸包多边形，上述几何量化特征如图4所示。然后根据轮廓的几何量化特征提取每个颗粒轮廓的9项量化指标，包括：面积、周长、等效圆直径、最小外接圆直径、等效椭圆长轴、等效椭圆短轴、最小外接矩形长度、最小外接矩形宽度和最小凸包多边形面积。SAM分割后的颗粒轮廓像素值在0-1之间，并且颗粒轮廓边缘过渡带跨度大，若直接进行量化的换算造成的误差较大，需先对图像先进行阈值化处理，再分别提取各项量化指标。阈值化方式为，将导出的单个掩膜转化为数字矩阵，按式(1)进行阈值化处理；
其中pix(x,y)为原图上(x,y)坐标位置的像素值，pix’(x,y)为处理后的图像上(x,y)坐标位置的像素值。
其中颗粒轮廓面积的计算如式(2)所示：
A＝α2·∑nx,y,x＝1,2,3,···,w；y＝1,2,3,···,h (2)
其中A是单颗粒轮廓计算面积，w为图像宽度，h为图像高度，nx,y表示像素的映射值，当像素值为0时，nx,y为0，当像素值不为0时，nx,y为1，α为尺度转换因子，代表单个像素表示的真实长度(单位：毫米每像素)。
颗粒轮廓周长使用公式3进行计算：
其中P是单颗粒轮廓计算周长，n为颗粒轮廓上像素点的个数，x[i],y[i]分别为对应像素点的横坐标和纵坐标。
等效圆直径计算如式4所示：
其中equivalent_circle_d为颗粒轮廓等效圆直径。
最小外接圆直径的计算利用了OpenCV内置welzl算法，通过递归和迭代得到轮廓的最小外接圆直径。
等效椭圆长轴与短轴的计算利用了OpenCV进行拟合，使用最小二乘法迭代获取轮廓区域最佳拟合椭圆，得到等效椭圆的长轴与短轴。
颗粒轮廓最小凸包多边形面积的计算利用了OpenCV，使用的算法为Sklansky算法。
最小外接矩形的计算利用了OpenCV，在最小凸包多边形的基础上利用旋转卡尺算法通过枚举的方式获得最小外接矩形，得到其长边和短边。
步骤S400，对多项量化指标进行采样处理，具体的，将所得的9项量化指标绘制成累计分布曲线，绘制方法为，每张图片包含数百上千的颗粒，每一个颗粒轮廓提取得到了9项量化指标，分别按每项量化指标对图像上所有颗粒从小到大进行排序，以颗粒的量化指标为横坐标、颗粒的排列序号除以颗粒总数作为纵坐标绘制折线图。然后对累计分布曲线进行数据采样，采样方式为，从累计分布曲线上对应获取通过率分别为10％，20％，30％，……，100％对应的10个量化指标值，因此每一个量化指标的累计分布曲线就转换为一个1ⅹ10的向量，采样方式的示意图如图5(a)所示，同样的方式分别绘制提取8项量化指标的累计分布曲线，对累计分布曲线进行采样提取，便得到9个1ⅹ10的向量，将9个向量依次拼接，得到1ⅹ90的向量，这样便将数据量为数十万像素级别的图像数据压缩为1ⅹ90的向量。
步骤S500，将S400步骤获取的1x90向量作为输入，级配曲线上提取的1ⅹ20维向量作为数据标签，便可将级配的计算问题转换为一个回归预测的问题，从级配曲线上提取的1ⅹ20维数据标签向量的方法如下：分别选择通过率分别为5％，10％，15％，……，100％对应的粒径值依次排列组成的1ⅹ20向量作为模型的数据标签，取样方式示意图如图5(b)所示。
因此，本发明涉及的问题简化为通过一个1ⅹ90的向量预测一个1ⅹ20的向量，即一个回归预测问题，回归预测的模型本发明采用神经网络模型，使用K折交叉验证对模型超参数优化，得到的神经网络模型超参数如表2所示，神经网络的结构如610所示，模型的输入为1ⅹ90的特征向量，输出为反映级配曲线的1ⅹ20向量。
表2本发明的神经网络结构超参数
步骤S600，构建神经网络模型训练数据集，随机选取大量堆石颗粒，使用三维激光扫描装置(如图7所示)扫描大量堆石颗粒，获得具有和真实颗粒三维形状的三维数字颗粒，构建数字颗粒模型库，数字颗粒形状如图8所示。激光扫描仪获取的部分颗粒的数字化三维轮廓示例，扫描的颗粒形状应该具有和真实颗粒具有一致的三维几何形状，构建颗粒数据库扫描颗粒的数量应不少于100颗，并尽可能更多。根据设定的级配范围，生成覆盖该范围的级配曲线，例如覆盖范围为特级道砟级配范围，覆盖精度为5％，具体方法为，满足下述两个条件：1)将各个粒径值对应的通过率的上限和下限之间的范围用5％的间距点进行划分；2)将满足曲线单调不减作为筛选条件，留下范围内所有可能存在的级配曲线，选定级配范围的标定如图9所示，即在满足一定精度的前提下，采用具有一定间隔的有限数量的曲线来代表整个连续的范围；具体的抽样方法为满足下述两个条件：1)将各个粒径对应的通过率的上限和下限之间的范围用5％的间距进行划分；2)将满足曲线单调不减作为筛选条件，留下范围内所有可能存在的级配曲线。给定的级配范围可以根据需求划分，在算力满足要求的情况下，尽可能覆盖更加广泛的范围，同时划分间隔也可以根据需要采用5％或者更小的间隔。
当然，级配范围方面，给定的级配范围可以根据需求确定，在算力满足要求的情况下，尽可能覆盖更加广泛的范围；划分精度方面，可根据需要采用5％或者更小的间隔。将数字颗粒导入离散元PFC中，根据上述的给的那个范围内的级配曲线，随机生成大量指定级配的数字颗粒堆积体样本，不同大小的颗粒随机均匀分布，在离散元PFC中对样本施加重力作用，使其处于自然的紧密堆积状态，随后获取样本数字颗粒堆积体上表面的图像，以模拟实际拍照过程，如图10所示，数字颗粒堆积体中包含的颗粒具有的形状为三维激光扫描获取的真实颗粒形状，不同形状和大小的颗粒随机均匀混合，并在PFC中增加重力作用使颗粒堆积体的状态处于自然重力堆积状态，与真实情况下的颗粒堆积状态保持一致。
步骤S700，使用S200步骤的方法对生成的已知级配的数字颗粒堆积体图片进行颗粒的识别与分割，使用S300-S400步骤的方法对分割的颗粒轮廓进行量化和数据采样，获得每张图像对应的1x90特征向量，这个1ⅹ90的特征向量作为训练机器学习模型的输入。继续使用S500步骤对应的方法从数字颗粒样本的的级配曲线上进行采样，获得每条级配曲线对应的1ⅹ20特征向量，这个特征向量作为训练机器学习模型的输出。完成生成每一组级配的样本图像提取后便得到大量输入特征向量，和输出特征向量。
将这些输入特征向量和输出特征向量作为数据集对S500步骤推荐的神经网络模型进行训练和模型优化，便可得到最终用于级配检测神经网络预测模型。
本发明基于实例分割深度学习模型的颗粒识别与分割，主要可以通过两种方式实现：1)监督学习的方法，例如Mask RCNN等，可以通过标记堆石颗粒的图像数据集，训练实例分割模型，最终使实例分割模型可以有效识别与分割堆石颗粒，但该方法需要人工标注大量的训练数据，且对于不同类型的颗粒分割效果往往不佳；2)实例分割大模型，例如SAM，结合适当的图像裁剪，可有效实现颗粒的分割，该方法无需人工标注大量的数据，且对于不同类型的颗粒分割效果均比较好，缺陷在于无法识别颗粒的种类，只可适用于单一颗粒类型的级配检测。
本发明中颗粒轮廓的量化，实例分割得到的颗粒轮廓无法直接用于级配的预测，需要进行量化，通过获取颗粒轮廓的9大量化指标：颗粒轮廓面积、轮廓周长、轮廓等效圆直径、轮廓最小外接圆直径、轮廓等效椭圆长轴、等效椭圆短轴、轮廓最小外接矩形长度、轮廓最小外接矩形宽度和轮廓最小凸包面积，全面有效反应颗粒图像轮廓尽可能多的特征，避免信息丢失。将得到的9大量化指标分别绘制累计分布曲线，从累计分布曲线上对应获取通过率为10％，20％，30％，……，100％对应的指标值，将数据量为数十万像素的图像压缩为1ⅹ90的向量；
本发明通过三维激光扫描技术获取部分真实颗粒的三维形状，基于真实颗粒形状，结合离散元particle Flow Code(PFC)生成数字颗粒堆积体，指定级配生成范围(这个范围可尽可能覆盖较宽)，利用线性差值的方法，生成大量已知级配的堆石颗粒，这些颗粒在重力作用下随机均匀分布且紧密堆积，并具有真实颗粒形状。
本发明利用生成的大量已知级配的堆石颗粒堆积体作为数据库，对数字颗粒图像进行处理，依次获得数字颗粒堆积体的颗粒轮廓，9项量化指标，最终得到90维的一个特征向量。
本发明中获取的90维度向量作为机器学习模型的输入，已知级配曲线上选取通过率为5％，10％，15％，……，100％对应的粒径值对应的1ⅹ20特征向量作为标签，利用K折交叉验证的方式验证和选取神经网络模型。
本发明将真实图片的颗粒轮廓的量化指标对应的1ⅹ90特征向量作为模型输入，即可有效检测堆石颗粒的级配。
本发明的第二方面提供了一种基于机器视觉的非接触式堆石颗粒级配检测装置，包括：
本发明的第二方面提供了一种基于机器视觉的非接触式堆石颗粒级配检测装置，包括：
获取模块，用于使用图像获取装置获取堆石颗粒的数字图像；
分割模块，用于将获取的数字图像传入实例分割深度学习模型，对堆石颗粒进行识别与分割，得到颗粒轮廓区域；
量化模块，用于对获取的颗粒轮廓进行量化；
采样模块，用于对多项量化指标进行采样处理；
数据标签模块，用于将获取的1x90向量作为输入，级配曲线上提取的1ⅹ20维向量作为数据标签；
数字颗粒模型库构建模块，用于构建神经网络模型训练数据集，随机选取大量堆石颗粒，使用三维激光扫描装置扫描大量堆石颗粒，获得具有和真实颗粒三维形状的三维数字颗粒，构建数字颗粒模型库；
级配检测神经网络预测模型生成模块，对生成的已知级配的数字颗粒堆积体图片进行颗粒的识别与分割，对分割的颗粒轮廓进行量化和数据采样，获得每张图像对应的1x90特征向量，这个1ⅹ90的特征向量作为训练机器学习模型的输入，继续使用S500步骤对应的方法从数字颗粒样本的的级配曲线上进行采样，获得每条级配曲线对应的1ⅹ20特征向量，这个特征向量作为训练机器学习模型的输出，完成生成每一组级配的样本图像提取后便得到大量输入特征向量，和输出特征向量；将这些输入特征向量和输出特征向量作为数据集对推荐的神经网络模型进行训练和模型优化，得到最终用于级配检测神经网络预测模型。
综上所述，本发明提供了一种基于机器视觉的非接触式堆石颗粒级配检测方法和装置，包括：使用图像获取装置获取堆石颗粒的数字图像；将获取的数字图像传入实例分割深度学习模型，对堆石颗粒进行识别与分割，得到颗粒轮廓区域；对获取的颗粒轮廓进行量化；对多项量化指标进行采样处理；将获取的向量作为输入，级配曲线上提取的向量作为数据标签；构建神经网络模型训练数据集，获得具有和真实颗粒三维形状的三维数字颗粒，构建数字颗粒模型库；得到最终用于级配检测神经网络预测模型。本发明可有效克服紧密堆积条件下堆石颗粒准确识别与分割，且无需人为假设任何经验公式，而完全基于大量数据的基础上的机器学习模型，可有效提高适应性和准确性。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。在本申请的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，包括如下步骤：
步骤S100，使用图像获取装置获取堆石颗粒的数字图像；
步骤S200，将获取的数字图像传入实例分割深度学习模型，对堆石颗粒进行识别与分割，得到颗粒轮廓区域；
步骤S300，对获取的颗粒轮廓进行量化；
步骤S400，对多项量化指标进行采样处理；
步骤S500，将步骤S400获取的1x90向量作为输入，级配曲线上提取的1ⅹ20维向量作为数据标签；
步骤S600，构建神经网络模型训练数据集，随机选取大量堆石颗粒，使用三维激光扫描装置扫描大量堆石颗粒，获得具有和真实颗粒三维形状的三维数字颗粒，构建数字颗粒模型库；
步骤S700，使用步骤S200的方法对生成的已知级配的数字颗粒堆积体图片进行颗粒的识别与分割，使用步骤S300-S400的方法对分割的颗粒轮廓进行量化和数据采样，获得每张图像对应的1x90特征向量，这个1ⅹ90的特征向量作为训练机器学习模型的输入，继续使用S500步骤对应的方法从数字颗粒样本的级配曲线上进行采样，获得每条级配曲线对应的1ⅹ20特征向量，这个特征向量作为训练机器学习模型的输出，完成生成每一组级配的样本图像提取后便得到大量输入特征向量，和输出特征向量；将这些输入特征向量和输出特征向量作为数据集对步骤S500推荐的神经网络模型进行训练和模型优化，得到最终用于级配检测神经网络预测模型。
2.根据权利要求1所述的基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，步骤S200中，实例分割深度学习模型使用图像分割大模型Segment Anything model(SAM)，针对掩膜这类稠密类型的提示，使用卷积的方式进行编码，点、框采用位置编码；掩膜解码模块将图像编码模块输出的图像嵌入矩阵和编码的提示信息高效地结合，并导出这个提示信息对应的掩膜。
3.根据权利要求1所述的基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，步骤S300中，先提取颗粒轮廓的几何量化特征，然后根据所述轮廓的几何量化特征提取每个颗粒轮廓的多项量化指标，SAM分割后的颗粒轮廓像素值在0-1之间，先对图像进行阈值化处理，再分别提取各项量化指标。
4.根据权利要求1所述的基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，所述阈值化处理方式为，将导出的单个掩膜转化为数字矩阵，按式(1)进行阈值化处理；
其中pix(x,y)为原图上(x,y)坐标位置的像素值，pix’(x,y)为处理后的图像上(x,y)坐标位置的像素值；
其中颗粒轮廓面积的计算如式(2)所示：
A＝α2·∑nx,y,x＝1,2,3,···,w；y＝1,2,3,···,h (2)
其中A是单颗粒轮廓计算面积，w为图像宽度，h为图像高度，nx,y表示像素的映射值，当像素值为0时，nx,y为0，当像素值不为0时，nx,y为1，α为尺度转换因子，代表单个像素表示的真实长度(单位：毫米每像素)；
颗粒轮廓周长使用公式3进行计算：
其中P是单颗粒轮廓计算周长，n为颗粒轮廓上像素点的个数，x[i],y[i]分别为对应像素点的横坐标和纵坐标；
等效圆直径计算如式4所示：
其中equivalent_circle_d为颗粒轮廓等效圆直径。
5.根据权利要求3所述的基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，最小外接圆直径的计算利用了OpenCV内置welzl算法，通过递归和迭代得到轮廓的最小外接圆直径；
等效椭圆长轴与短轴的计算利用了OpenCV进行拟合，使用最小二乘法迭代获取轮廓区域最佳拟合椭圆，得到等效椭圆的长轴与短轴；
颗粒轮廓最小凸包多边形面积的计算利用了OpenCV，使用的算法为Sklansky算法；
最小外接矩形的计算利用了OpenCV，在最小凸包多边形的基础上利用旋转卡尺算法通过枚举的方式获得最小外接矩形，得到其长边和短边。
6.根据权利要求1所述的基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，步骤S400中，将所得的多项量化指标绘制成累计分布曲线。
7.根据权利要求6所述的基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，绘制方法为，每张图片包含多个颗粒，每一个颗粒轮廓提取得到了多项量化指标，分别按每项量化指标对图像上所有颗粒从小到大进行排序，以颗粒的量化指标为横坐标、颗粒的排列序号除以颗粒总数作为纵坐标绘制折线图，然后对累计分布曲线进行数据采样。
8.根据权利要求7所述的基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，采样方式为，从累计分布曲线上对应获取通过率分别为10％，20％，30％，……，100％对应的10个量化指标值，每一个量化指标的累计分布曲线就转换为一个1ⅹ10的向量，同样的方式分别绘制提取8项量化指标的累计分布曲线，对累计分布曲线进行采样提取，便得到9个1ⅹ10的向量，将9个向量依次拼接，得到1ⅹ90的向量，这样便将数据量为数十万像素级别的图像数据压缩为1ⅹ90的向量。
9.根据权利要求8所述的基于机器视觉的非接触式堆石颗粒级配检测方法，其特征在于，从级配曲线上提取的1ⅹ20维数据标签向量的方法如下：分别选择通过率分别为5％，10％，15％，……，100％对应的粒径值依次排列组成的1ⅹ20向量作为模型的数据标签。
10.一种基于机器视觉的非接触式堆石颗粒级配检测装置，其特征在于，包括：
获取模块，用于使用图像获取装置获取堆石颗粒的数字图像；
分割模块，用于将获取的数字图像传入实例分割深度学习模型，对堆石颗粒进行识别与分割，得到颗粒轮廓区域；
量化模块，用于对获取的颗粒轮廓进行量化；
采样模块，用于对多项量化指标进行采样处理；
数据标签模块，用于将获取的1x90向量作为输入，级配曲线上提取的1ⅹ20维向量作为数据标签；
数字颗粒模型库构建模块，用于构建神经网络模型训练数据集，随机选取大量堆石颗粒，使用三维激光扫描装置扫描大量堆石颗粒，获得具有和真实颗粒三维形状的三维数字颗粒，构建数字颗粒模型库；
级配检测神经网络预测模型生成模块，对生成的已知级配的数字颗粒堆积体图片进行颗粒的识别与分割，对分割的颗粒轮廓进行量化和数据采样，获得每张图像对应的1x90特征向量，这个1ⅹ90的特征向量作为训练机器学习模型的输入，继续使用S500步骤对应的方法从数字颗粒样本的级配曲线上进行采样，获得每条级配曲线对应的1ⅹ20特征向量，这个特征向量作为训练机器学习模型的输出，完成生成每一组级配的样本图像提取后便得到大量输入特征向量，和输出特征向量；将这些输入特征向量和输出特征向量作为数据集对推荐的神经网络模型进行训练和模型优化，得到最终用于级配检测神经网络预测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311210640.0A CN117237303B (zh) | 2023-09-19 | 2023-09-19 | 基于机器视觉的非接触式堆石颗粒级配检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311210640.0A CN117237303B (zh) | 2023-09-19 | 2023-09-19 | 基于机器视觉的非接触式堆石颗粒级配检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237303A true CN117237303A (zh) | 2023-12-15 |
| CN117237303B CN117237303B (zh) | 2024-05-03 |
Family
ID=89083939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311210640.0A Active CN117237303B (zh) | 2023-09-19 | 2023-09-19 | 基于机器视觉的非接触式堆石颗粒级配检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237303B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230175384A1 (en) * | 2021-12-03 | 2023-06-08 | Halliburton Energy Services, Inc. | Classification of pore or grain types in formation samples from a subterranean formation |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652270A (zh) * | 2020-04-23 | 2020-09-11 | 中南大学 | 基于图像匹配的粗粒土填料级配自动识别方法及应用系统 |
| CN113592792A (zh) * | 2021-07-16 | 2021-11-02 | 清华大学 | 堆石图像粒径识别方法、装置、电子设备及存储介质 |
| WO2023280300A1 (zh) * | 2021-07-09 | 2023-01-12 | 清华大学 | 基于摄像机组三维重建的堆石粒径识别与监控装置及方法 |
| CN116223313A (zh) * | 2022-12-09 | 2023-06-06 | 北京化工大学 | 一种电解液颗粒物的原位测试方法 |
| CN116258689A (zh) * | 2023-02-13 | 2023-06-13 | 三峡大学 | 基于深度学习的集料颗粒识别和级配自动分析方法 |
-
2023
- 2023-09-19 CN CN202311210640.0A patent/CN117237303B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652270A (zh) * | 2020-04-23 | 2020-09-11 | 中南大学 | 基于图像匹配的粗粒土填料级配自动识别方法及应用系统 |
| WO2023280300A1 (zh) * | 2021-07-09 | 2023-01-12 | 清华大学 | 基于摄像机组三维重建的堆石粒径识别与监控装置及方法 |
| CN113592792A (zh) * | 2021-07-16 | 2021-11-02 | 清华大学 | 堆石图像粒径识别方法、装置、电子设备及存储介质 |
| CN116223313A (zh) * | 2022-12-09 | 2023-06-06 | 北京化工大学 | 一种电解液颗粒物的原位测试方法 |
| CN116258689A (zh) * | 2023-02-13 | 2023-06-13 | 三峡大学 | 基于深度学习的集料颗粒识别和级配自动分析方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈金平: "非接触式骨料级配检测方法及应用模块研究", 中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑, 15 January 2023 (2023-01-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230175384A1 (en) * | 2021-12-03 | 2023-06-08 | Halliburton Energy Services, Inc. | Classification of pore or grain types in formation samples from a subterranean formation |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237303B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113516135B (zh) | 一种基于深度学习的遥感影像建筑物提取及轮廓优化方法 | |
| Moaveni et al. | Evaluation of aggregate size and shape by means of segmentation techniques and aggregate image processing algorithms | |
| CN117237303B (zh) | 基于机器视觉的非接触式堆石颗粒级配检测方法及装置 | |
| CN109903292A (zh) | 一种基于全卷积神经网络的三维图像分割方法及系统 | |
| CN112017164A (zh) | 基于深度阈值卷积模型的土石料级配检测方法 | |
| CN112964712A (zh) | 一种快速检测沥青路面状态的方法 | |
| CN115457044B (zh) | 基于类激活映射的路面裂缝分割方法 | |
| CN117036243A (zh) | 刨花板表面缺陷检测的方法、装置、设备和存储介质 | |
| CN115690073A (zh) | 一种激光增材制造陶瓷微结构局部表征方法、装置及介质 | |
| CN112836614A (zh) | 一种基于残差网络和迁移学习的高分遥感图像分类方法 | |
| Ying et al. | Identification and reconstruction of concrete mesostructure based on deep learning in artificial intelligence | |
| CN112686872B (zh) | 基于深度学习的木材计数方法 | |
| CN118196028A (zh) | 一种改进YOLOv8的农村水泥路面病害提取方法 | |
| CN116797602A (zh) | 一种用于工业产品检测的表面缺陷鉴定方法和装置 | |
| CN112926694A (zh) | 基于改进的神经网络对图像中的猪只进行自动识别的方法 | |
| CN117351409A (zh) | 混凝土坝面作业风险智能识别方法 | |
| CN116206261A (zh) | 一种人员工装穿戴检测方法、装置、设备及存储介质 | |
| CN116402753A (zh) | 一种基于改进的YOLOv5的钢材缺陷检测方法 | |
| CN112884824B (zh) | 一种基于卷积网络多尺度特征融合的鞋印身高估计方法 | |
| CN115294151A (zh) | 基于多任务卷积模型的肺部ct感兴趣区域自动检测方法 | |
| Meegoda et al. | Framework for automatic condition assessment of culverts | |
| Wang | Recognition and Positioning of Container Lock Holes for Intelligent Handling Terminal Based on Convolutional Neural Network. | |
| Ahmadia et al. | The application of neural networks, image processing and cad-based environments facilities in automatic road extraction and vectorization from high resolution satellite images | |
| Zhang | Surface defect detection, segmentation and quantification for concrete bridge assessment using deep learning and 3D reconstruction | |
| Jin et al. | A Deep Learning Model for Striae Identification in End Images of Float Glass. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |