CN111681249A - 基于Grabcut的砂石颗粒的改进分割算法研究 - Google Patents

Abstract

本发明公开的一种基于Grabcut的砂石颗粒的改进分割算法研究，提出了一种基于图像的砂石粒径分割算法。首先提出一种自适应自动生成目标候选框的方法，能够实现对前景背景混合模型与背景图像快速分割开来，大大减少所需手动绘框的时间,满足在工程现场对于实时性的要求；其次采用基于SLIC的K‑Means的聚类方法，对SLIC的超像素图像的质心进行聚类，可以大幅减少参与聚类的样本数量；Gibbs能量函数可以确定分割的两种边的权重，为了减少Grabcut在候选框内未知标签的前景与背景分割的迭代次数，对Gibbs的能量函数加以一定权重的信息熵函数，对分割的图像的分割信息加以监督，进一步优化系统的实时性。本发明能够应用于工厂对于砂石粒径的实时在线分析。

Description

基于Grabcut的砂石颗粒的改进分割算法研究

技术领域

本发明涉及建筑业工业机器视觉分析领域，特别涉及一种基于Grabcut的砂石颗粒的改进分割算法研究。

背景技术

混凝土的粗骨料级配配比对混凝土拌合物的工作性能和硬化后混凝土的强度、硬度收缩能力等性能尤其重要，混凝土骨料的粒径分布检测是交通行业和建筑行业中不可或缺的环节。如果混凝土骨料未能满足国家标准配比，则会导致用料浪费、耐久性差、混凝土强度低等问题，必须在确保混凝土的粒径分布达标以后，才能将骨料用于生产实践。然而，传统的机械筛分法通过机械抖动，使混凝土骨料通过不同孔径的筛孔，这种方法存在明显缺陷，长条状、椭球形石块可以通过该孔径，无法准确地反映混凝土骨料的配比情况，并且该方法检测成本高、检测速度慢，且难以达到较高的精度。因此可以从机器视觉的角度出发，通过摄像机拍摄得到的图像对砂石目标进行分割，实时分析砂石粒径的分布情况。

图像分割是将图像依照感兴趣目标或者感兴趣区域从背景中分割出来，基于Blob分析的图像分割算法分可为四大类，即基于边缘检测的分割、基于阈值的分割、基于区域的分割和基于图论的分割。其中基于边缘检测的分割中，Canny算子是高斯函数的一阶导数，它在边缘保留和噪声抑制上的平衡性较好，但容易引入伪边缘点；Sobel算子对像素点的邻域像素值进行加权，根据在边缘点处达到极值的原理实现边缘检测，其缺陷是定位精度不高。基于阈值的分割又可以分为全局阈值分割和局部阈值分割，前者利用全局信息对整幅图像求出最优分割阈值，后者把原始图像分成几个子图像，通过对子图像进行全局阈值分割得到结果。一般而言，阈值法适用于直方图有两个明显的波峰和波谷的图像，然而本系统处理的砂石图像不满足该条件。基于区域的分割是将具有相似性质的像素集合起来，生成区域。该方法首先选取一些种子点，然后根据某种判断准则，依次将种子点周围的相似像素合并到种子点所在区域中。基于图论的分割算法从统计学的角度出发对图像建模，把每个像素点的像素值看作具有一定概率分布的随机变量，根据所建模型和像素值分布情况，将图像划分为前景像素集合与背景像素集合。

发明内容

针对上述现有技术存在的缺陷，本发明要解决的技术问题是：为了克服手动绘制目标候选框带来处理目标延迟的问题，采用依照图像中边缘所在的区域外围自适应绘制目标候选框的方法；为了减少将每一个像素进行聚类引入大量的计算量的问题，采用生成SLIC超像素图像的方法，仅仅对超像素的质心进行聚类，大大减少了计算的复杂度；为了减少Grabcut在最终分割的迭代次数，在Gibbs能量函数中引入信息熵的变量，可以加快图像分割的收敛速度。

基于Grabcut的砂石颗粒的改进分割算法，依照工业现场实时拍摄的图像，首先遍历图像的像素梯度，找到一个合适的梯度值，依照梯度所在坐标对图像做初步分割，区分出背景图像；再将超像素的方法进行聚类，减少聚类处理的实验数据；最后对Gibbs能量函数进行优化，进而加速对图像中砂石的快速分割，实现步骤如下：

步骤S1前、背景候选框的自适应生成：先利用Sobel边缘算子得到原始图像的边缘图像，选取一个适当的阈值T作为原始图像的边缘检测参数并生成一幅掩码图，遍历掩码图与原始图卷积之后的结果，找到边缘的最大值、最小值的像素位置并以此作为目标候选框的框选范围，得到了一幅带有粗略初始化分割图像。

步骤S2基于SLIC超像素的K-Means聚类：设置超像素质心个数为400个，利用超像素的RGB三通道均值表示质心的特征向量，依照像素是在候选框的内部还是候选框的外部将像素赋予不同的标签，初始化前景点与背景点的高斯混合模型(GMM)。

步骤S3 Gibbs能量函数优化：当像素所属标签α不确定时，U_S、U_T分别为该像素属于背景GMM模型与前景GMM模型概率的负对数。在能量函数中引入熵的概念来监督图像分割，可以加快熵减的过程，从而加速收敛。当某一高斯分量的权重较小时，负熵项会隐式地将其从GMM模型中弱化或消除，使图割更侧重于权重较大的高斯分量，故可以在相同迭代次数的条件下达到更高的分割精度。

进一步地，自适应生成目标候选框改进的进一步实现如下：

步骤S11原始图像边缘提取：对于每张输入图像，先使用大小为3*3的高斯核进行高斯滤波并转成灰度图，然后采用Sobel边缘检测算子计算其边缘图像，边缘图像的像素值为各点处的梯度幅值。

步骤S12获得边缘梯度图并初始化标签：找到最大的梯度幅值Tmax，根据百分比确定一个梯度阈值T。根据砂石图像的梯度分布，百分比在60％到70％之间效果较优，令T＝0.65Tmax。用T对边缘图像进行阈值处理，将梯度幅值大于T的像素点赋值为1，梯度幅值小于T的像素点赋值为0，从而得到一张掩码图像(mask)。

步骤S13全局阈值分割：将掩码图像与输入图像逐元素相乘，即只保留输入图像中强边缘的像素点，将所得结果图记为temp；使用最大类间方差(OTSU)算法对temp进行全局阈值分割，将大于阈值的像素点赋值为255，小于阈值的像素点赋值为0，将所得结果图记为dst。

步骤S14目标候选框的绘制：遍历dst中所有灰度值为255的像素点，找出其中横坐标的最小值X_min，纵坐标的最小值Y_min，横坐标的最大值X_max和纵坐标的最大值Y_max，则目标候选框的左上角坐标和右下角坐标分别为(X_min，Y_min)和(X_max，Y_max)，最后在此坐标的基础上向外加上10个像素的裕量。

进一步地，所述步骤S2基于SLIC超像素的K-Means聚类的进一步实现如下：

步骤S21高斯混合模型初始化：选择SLIC算法生成400个超像素图像，利用K-Means算法对超像素的质心进行聚类，用超像素的RGB三通道均值表示质心的特征向量。

步骤S22超像素质心标签初始化：依据超像素质心的位置设置不同类别的标签。(x，y)位于初始矩形框内部，则将质心标签赋为3，表示候选的前景点；否则将标签赋为0，表示确定的背景点。这样就把S划分成了两个质心集合S₁、S₂，分别用来初始化前景和背景GMM模型。

步骤S23超像素图像迭代分割：将一个超像素的内部都由超像素块内的RGB均值代替块内的所有点的像素值，可使属于同一超像素内的相邻像素间的平滑项为0，增加图像分割收敛速度。

进一步地，所述步骤S3基于Gibbs能量函数优化进一步实现如下：

步骤S31图像信息熵的监督变量引入：在U_S和U_T的基础上，增加了高斯分量权重系数的负熵，只有候选框中未知标签的前景与背景像素节点才添加负熵项，而对于确定是前景或背景的像素节点则不添加，算法通过像素点的标签来判断是否添加负熵项。

步骤S32图模型分割：确定图模型后，需要选出一些边的集合，使得删除这些边以后从源点无法到达汇点，这些边的集合叫做一个“割”。最优的图像分割，就是在无向图上求解一个割，使割边上的权值之和最小，即总能量最小。选择出这些满足总能量最小的边的集合对图像进行划分，最终完成前景物体与背景的分割。

综上所述，本发明相对于现有技术其有益效果是：

本发明的创新之处在于，提出了一种用于工业流水线场景上的砂石颗粒物粒径检测系统，并采用计算机视觉技术进行粒径分布检测，以较好地满足工业需求。首先依照图像中目标图像的边缘分布情况绘制初始的目标候选框，将纯背景区域粗略分割开，并依照分割区域对像素设置标签方便后续算法的机器学习过程；其次获得图像Simple LinearIterative Cluster(SLIC)算法生成的超像素图像，对超像素的质心采用K-Means方法聚类，达到对砂石目标的初步分割；最后优化Grabcut算法中的Gibbs能量函数，引入图像中的信息熵变量，减少混合像素的迭代次数，加速图像分割的收敛。本发明首先解决了施工现场手动绘制候选框速度慢、精度差的问题，使图像得以在施工现场可以做快速有效的预处理；其次，对于图像中目标的分割仅仅需要对生成的超像素的质心进行聚类而不必对每个像素进行单独聚类，此过程极大地缩减了计算量，使系统处理图片的实时性能得到进一步的提升；引入信息熵的Gibbs能量函数可以通过减少图像的迭代次数降低分割用时并能够提升分割精度。以上过程极大缩短了图像分割的过程，可以满足工业现场实时快速处理图像的需求。

附图说明

图1为改进算法的基本流程图；

图2为依据图像中物体的大致位置自动绘制粗制目标候选框；

图3为砂石粒径前景、背景的高斯混合模型；

图4为不同超像素个数下的超像素图像；

图5为将每个超像素内的所有像素的均值作为该超像素的像素值；

图6为本次实验的砂石分割结果图。

具体实施方式

在对本发明的实施例进行详细描述之前，应当理解本发明不限于以下描述所阐述的或以下附图所例示的元件构造和排布的细节。本发明可采用其它实施例并以不同的方式进行实施。

本发明的基本流程图如图1所示，首先，在获取的图像中，首先需绘制一个目标候选框，将含有目标的区域与纯背景区域分割开；其次，将图像初始化为含有噪声的背景、前景的两个高斯混合模型，获得SLIC超像素图像，选取超像素的质心作为聚类中心进行K-Means聚类；最后，在Gibbs能量函数中加入信息熵的监督量，可以减少前景、背景分割的迭代次数，加快模型的学习速度。具体以实施步骤如下：

步骤S1前、背景目标候选框的自适应生成

由工业控制机控制工业相机拍摄得到即时图像，该系统通过传送带将砂石送至目标拍摄区域，经过一段时间的图像采集之后，传送带的履带上会附着大量的灰尘，如图2所示，灰尘的颜色与砂石极为相似，在处理时将引入大量的噪声给图像的处理带来诸多不便。

Grabcut算法需要用户手动地绘制一个矩形的目标候选框，为减少用户手工绘制目标候选框的时间，本发明设计了一种自适应生成目标候选框地方法。依照粒径在图像视野中的分布情况首先绘制一个目标候选框，其一是为了将候选框外的像素信息设置为背景标签，砂石的分割仅需要在目标候选框内部完成；其二在获得背景的像素信息后，能够有效地训练图像的机器学习模型。

绘制目标候选框的目的是将前景与背景做一个初步的分割，考虑到砂石是具有明显轮廓的目标，砂石边缘处的梯度通常大于背景的梯度，因此依照背景与目标物体的外围较为明显的“边缘”所在位置绘制所需要的候选框，具体的实施可以分为以下几个步骤：

步骤S11.提取原始图像的边缘

对于每张输入图像，先使用大小为3*3的高斯核进行高斯滤波并转成灰度图，然后采用Sobel边缘检测算子计算其边缘图像，边缘图像的像素值为各点处的梯度幅值，找到边缘最大的梯度幅值T_max，选取T＝0.65T_max作为“明显边缘”的分割阈值。将梯度幅值大于T的像素点赋值为1，梯度幅值小于T的像素点赋值为0，从而得到一张掩码图像(mask)；

步骤S12.依据阈值二值化图像

将掩码图像与输入图像逐元素相乘，即只保留输入图像中强边缘的像素点，将所得结果图记为temp，使用最大类间方差(OTSU)算法对temp进行全局阈值分割，将大于阈值的像素点赋值为255，小于阈值的像素点赋值为0，获得了仅含有边缘区域信息的二值图像，将所得结果图记为dst，

步骤S13.依照边缘所在区域绘制目标候选框遍历dst中所有灰度值为255的像素点，找出其中横坐标的最小值Y_min，纵坐标的最小值Y_min，横坐标的最大值Y_max和纵坐标的最大值Y_max，则目标候选框的左上角坐标和右下角坐标分别为(X_min，Y_min)和(X_max，Y_max)。当经OTSU算法处理得到的位于边缘的砂石轮廓不封闭时，将导致目标候选框位置存在偏差，使得图像无法完全包裹住下方的物体，因此在之前坐标的基础上加上10个像素的裕量，对目标候选框的位置进行矫正。

步骤S2.SLIC超像素的K-Means算法质心聚类

步骤S21高斯模型混合初始化

对于图像的分布，可以将其像素视为基于高斯概率密度分布所形成的高斯概率模型(GMM)，如图3所示，其概率密度函数如下式(1)所示：

其中X为某一样本,π_k为第k个高斯分量的权重系数，N(x|μ_k∑_k)为第k个高斯分量的高斯分布，其计算公式为：

式中μ_k为属于该高斯分量的样本的均值，∑_k为该高斯分量的协方差矩阵，D为样本的特征向量维数。选择K＝2可以更加贴近的拟合砂石图像模型，即初始化两个高斯混合模型，分别为前景模型(fgdGMM)和背景模型(bgdGMM)，两个模型的高斯分量数均为5。每个高斯分量都由1个权重系数、3个均值(对应RGB三通道)和9个协方差矩阵的元素(RGB三个通道，故为3*3矩阵)组成，即对应一个13维的向量。因为模型由5个组件组成，故每个高斯混合模型都是一个65维的向量。高斯分量的权重系数计算公式为：

其中，num_Sample_k为属于第k个高斯分量的样本个数，num_Total为样本总数，因此属于某个高斯分量的样本数越多，该高斯分量所占权重越大，5个高斯分量的权重之和等于1。

步骤S22.SLIC超像素算法

衡量超像素算法性能的指标主要有未分割率、边界召回率、速度、生成的超像素是否规则和超参数可控性，常用超像素算法在伯克利(Berkeley)数据集上的表现如下表所示，测试样本分辨率均为320*240。相对于其他几种常用的超像素算法，SLIC算法的处理速度最快，兼具优异的未分割率和边界召回率，同时因其超参数可控，生成的超像素也十分规则。因此，本文优选SLIC算法生成超像素。

S为超像素的边长，每隔S个像素取一个点，作为初始聚类中心。为了避免所选择的聚类中心是噪声点，算法做了改进，在3*3邻域内将聚类中心移动到梯度最小的位置，梯度计算如下：

表1.常用超像素算法表现(Berkeley数据集)

初始聚类中心确定后，遍历每个聚类中心的2S*2S邻域像素，计算其与聚类中心的距离，距离定义为：

d_lab和d_xy分别为像素到聚类中心的lab颜色空间距离和xy空间距离，一般采用欧式距离，计算公式如式(6)所示：

根据像素到各聚类中心的距离，将其归为距离最小的一类，直到所有像素归类完毕。然后计算各类的l，a，b，x，y的均值，作为新的聚类中心坐标，如此迭代直到聚类中心的坐标收敛。那么每一类的像素集合就形成一个超像素，全部超像素的集合即构成了超像素图像。

步骤S23.基于SLIC的K-Means聚类

超像素个数的多少会影响到超像素的精度以及后续迭代的处理速度，选定K＝400，即生成400个超像素，如图(4)所示。生成超像素后，仅使用超像素的质心进行聚类，聚类使用K-Means算法。本文用超像素的RGB三通道均值表示质心的特征向量，记质心集合为S，质心个数为K，则S可以表示为:

S＝{S₁,S₂,...,S_K}＝{(R₁,G₁,B₁),(R₂,G₂,B₂),...,(R_K,G_K,B_K)} (7)

对以上K个质心，需要根据其位置确定初始标签。如果质心的空间坐标(x，y)位于初始矩形框内部，则将质心标签赋为3，表示候选的前景点；否则将标签赋为0，表示确定的背景点。这样就把S划分成了两个质心集合S₁、S₂，分别用来初始化前景和背景GMM模型。

最终获得的超像素，用超像素块的RGB均值代替块内所有点的像素值，如图(5)所示，

增加超像素内部的平滑项用以进一步提升处理速度。

步骤S3.图像像素的迭代

步骤S31.Gibbs能量函数优化

在构建的无向图模型中，像素节点与源点S和汇点T之间的边的权值统称为数据项。为叙述方便起见，本发明将像素节点与源点、汇点之间的边的权值分别记为U_S、U_T，Grabcut算法计算U_S、U_T如下：

其中，和N_bgd(x|μ_k，∑_k)和N_fgd(x|μ_k，∑_k)分分别表示某一像素属于背景GMM模型和前景GMM模型中的第k个高斯分量的概率，为常数，Grabcut算法中取λ＝450。

当像素标签α不确定时，其U_S、U_T分别为该像素属于背景GMM模型与前景GMM模型概率的负对数。候选背景点(标签为2)的像素具有较小的N_bgd(x|μ_k，∑_k)和较大的N_fgd(x|μ_k，∑_k)，U_T其较大，U_S较小，因此最大流最小割算法倾向于将其与源点(前景)“割”开。同理，对于标签为3(候选前景点)的像素，最大流最小割算法倾向于将其与汇点(背景)“割”开。

信息熵是对信息量的度量，根据信息论，系统越有序，信息熵就越低。对于Grabcut算法来说，随着迭代次数增加，分割结果的熵逐渐减小。因此，向能量函数中引入熵的概念来监督图像分割，可以加快熵减的过程，从而加速收敛。本文在U_S和U_T和的基础上，增加了高斯分量权重系数的负熵，增加项的表达式如式(3-14)所示：

添加负熵项H(π)后的U_S和U_T分别计算如下：

其中ω为熵惩罚因子，实验中取ω＝5H_bgd(π)和H_bgd(π)分别表示前景GMM模型和背景GMM模型的高斯分量权重系数的负熵。

只有候选框中未知标签的前景与背景像素节点才添加负熵项，而对于确定是前景或背景的像素节点则不添加。对于候选框中未知标签的前景像素，将前景GMM模型高斯分量权重系数的负熵ωH_bgd(π)加到U_S上；对于候选框中未知标签的背景像素，将背景GMM模型高斯分量权重系数的负熵ωH_bgd(π)加到U_T上。

将基于SLIC的Grabcut算法记为SLIC_G(未优化Gibbs能量函数)，将能量函数优化之后的最终方案记为E_SLIC_G。

经在砂石数据集上测试，原Grabcut算法、SLIC_G算法和E_SLIC_G算法的精度和实时性结果如下表所示：

改进算法测试结果

以上显示和描述了本发明的基本原理和主要特征以及本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.基于Grabcut的砂石颗粒的改进分割算法，依照工业现场实时拍摄的图像，首先遍历图像的像素梯度，找到一个合适的梯度值，依照梯度所在坐标对图像做初步分割，区分出背景图像；再将超像素的方法进行聚类，减少聚类处理的实验数据；最后对Gibbs能量函数进行优化，进而加速对图像中砂石的快速分割，其特征在于实现步骤如下：

步骤S1前、背景候选框的自适应生成：先利用Sobel边缘算子得到原始图像的边缘图像，选取一个适当的阈值T作为原始图像的边缘检测参数并生成一幅掩码图，遍历掩码图与原始图卷积之后的结果，找到边缘的最大值、最小值的像素位置并以此作为目标候选框的框选范围，得到了一幅带有粗略初始化分割图像。

步骤S2基于SLIC超像素的K-Means聚类：设置超像素质心个数为400个，利用超像素的RGB三通道均值表示质心的特征向量，依照像素是在候选框的内部还是候选框的外部将像素赋予不同的标签，初始化前景点与背景点的高斯混合模型(GMM)。

步骤S3 Gibbs能量函数优化：当像素所属标签α不确定时，U_S、U_T分别为该像素属于背景GMM模型与前景GMM模型概率的负对数。在能量函数中引入熵的概念来监督图像分割，可以加快熵减的过程，从而加速收敛。当某一高斯分量的权重较小时，负熵项会隐式地将其从GMM模型中弱化或消除，使图割更侧重于权重较大的高斯分量，故可以在相同迭代次数的条件下达到更高的分割精度。

2.根据权利要求1所述的基于Grabcut的砂石颗粒的改进分割算法，其特征在于自适应生成目标候选框改进的进一步实现如下：

步骤S11原始图像边缘提取：对于每张输入图像，先使用大小为3*3的高斯核进行高斯滤波并转成灰度图，然后采用Sobel边缘检测算子计算其边缘图像，边缘图像的像素值为各点处的梯度幅值。

步骤S12获得边缘梯度图并初始化标签：找到最大的梯度幅值Tmax，根据百分比确定一个梯度阈值T。根据砂石图像的梯度分布，百分比在60％到70％之间效果较优，令T＝0.65Tmax。用T对边缘图像进行阈值处理，将梯度幅值大于T的像素点赋值为1，梯度幅值小于T的像素点赋值为0，从而得到一张掩码图像(mask)。

步骤S13全局阈值分割：将掩码图像与输入图像逐元素相乘，即只保留输入图像中强边缘的像素点，将所得结果图记为temp；使用最大类间方差(OTSU)算法对temp进行全局阈值分割，将大于阈值的像素点赋值为255，小于阈值的像素点赋值为0，将所得结果图记为dst。

步骤S14目标候选框的绘制：遍历dst中所有灰度值为255的像素点，找出其中横坐标的最小值X_min，纵坐标的最小值Y_min，横坐标的最大值X_max和纵坐标的最大值Y_max，则目标候选框的左上角坐标和右下角坐标分别为(X_min，Y_min)和(X_max，Y_max)，最后在此坐标的基础上向外加上10个像素的裕量。

3.根据权利要求1所述的基于Grabcut的砂石颗粒的改进分割算法，其特征在于所述步骤S2基于SLIC超像素的K-Means聚类的进一步实现如下：

步骤S21高斯混合模型初始化：选择SLIC算法生成400个超像素图像，利用K-Means算法对超像素的质心进行聚类，用超像素的RGB三通道均值表示质心的特征向量。

步骤S22超像素质心标签初始化：依据超像素质心的位置设置不同类别的标签。(x，y)位于初始矩形框内部，则将质心标签赋为3，表示候选的前景点；否则将标签赋为0，表示确定的背景点。这样就把S划分成了两个质心集合S₁、S₂，分别用来初始化前景和背景GMM模型。

步骤S23超像素图像迭代分割：将一个超像素的内部都由超像素块内的RGB均值代替块内的所有点的像素值，可使属于同一超像素内的相邻像素间的平滑项为0，增加图像分割收敛速度。

4.根据权利要求1所述的基于Grabcut的砂石颗粒的改进分割算法，其特征在于所述步骤S3基于Gibbs能量函数优化进一步实现如下：

步骤S31图像信息熵的监督变量引入：在U_S和U_T的基础上，增加了高斯分量权重系数的负熵，只有候选框中未知标签的前景与背景像素节点才添加负熵项，而对于确定是前景或背景的像素节点则不添加，算法通过像素点的标签来判断是否添加负熵项。

步骤S32图模型分割：确定图模型后，需要选出一些边的集合，使得删除这些边以后从源点无法到达汇点，这些边的集合叫做一个“割”。最优的图像分割，就是在无向图上求解一个割，使割边上的权值之和最小，即总能量最小。选择出这些满足总能量最小的边的集合对图像进行划分，最终完成前景物体与背景的分割。

Images