CN117423046A - 基于图像处理的水泥砂浆搅拌过程视觉检测方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，提出了基于图像处理的水泥砂浆搅拌过程视觉检测方法，包括：采集水泥砂浆图像，分割获取水泥砂浆区域；获取若干闭包边缘线；获取每个像素点的气泡隶属度；获取若干第一连通域；获取每个第一连通域的非气泡边缘概率及非气泡区域概率；对第一连通域内的像素点的气泡隶属度进行修正得到修正隶属度；根据像素点的气泡隶属度及修正隶属度得到若干初始气泡区域；得到每个初始气泡区域的气泡识别度；得到若干最终气泡区域；根据最终气泡区域在水泥砂浆区域中的分布，得到水泥砂浆区域的气泡分布程度。本发明旨在通过对水泥砂浆中的气泡进行检测而控制水泥砂浆的质量。

Description

基于图像处理的水泥砂浆搅拌过程视觉检测方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及基于图像处理的水泥砂浆搅拌过程视觉检测方法。

背景技术

水泥砂浆在搅拌过程中会引入一些气泡，通常搅拌速度越大，引入的气泡越多且体积越大；通常泡径小、分布均匀且构造稳定的气泡是有益气泡；反之泡径大、尺寸不一、不均匀且不稳定的气泡是有害气泡；因此在混凝土中引入气泡，并通过适当控制减水剂来控制气泡的数量与质量可以使混凝土的抗渗性、耐久性得到较大地提高；因此需要在水泥砂浆搅拌过程中，根据过程中产生的气泡情况，对搅拌过程进行控制，进而实现对水泥砂浆质量的控制。

现有方法中通常利用基于图像处理的计算机视觉来对气泡区域进行识别，根据图像中像素点的灰度值及分布位置通过FCM算法进行聚类，得到像素点的隶属度，进而获取像素点的气泡隶属度；然而气泡隶属度在图像中分布不均匀，存在其他干扰项导致无法准确获取气泡的全部区域，进而无法准确地根据气泡质量对水泥砂浆质量进行控制；其中砂砾区域即是对于气泡隶属度判断的最大干扰项，因此需要在获取隶属度后，需要根据气泡区域与砂砾区域在边缘表现上的差异来修正气泡隶属度，进而获取准确的气泡区域并完成水泥砂浆质量的控制。

发明内容

本发明提供基于图像处理的水泥砂浆搅拌过程视觉检测方法，以解决现有的水泥砂浆气泡区域识别不准确而影响水泥砂浆质量控制的问题，所采用的技术方案具体如下：

本发明一个实施例提供了基于图像处理的水泥砂浆搅拌过程视觉检测方法，该方法包括以下步骤：

采集水泥砂浆图像，分割获取水泥砂浆区域；

对水泥砂浆区域进行边缘检测获取若干闭包边缘线；根据水泥砂浆区域中像素点的灰度值及位置，以及闭包边缘线的分布，对像素点进行FCM聚类得到每个像素点属于每个类别的隶属度；根据每个类别的聚类中心，获取每个像素点的气泡隶属度；

根据每个像素点的气泡隶属度获取若干第一连通域；根据第一连通域中边缘点的梯度分布，获取每个第一连通域的非气泡边缘概率；根据第一连通域的边缘线之间的相似性，获取每个第一连通域的非气泡区域概率；对第一连通域内的像素点的气泡隶属度进行修正得到修正隶属度；

根据像素点的气泡隶属度及修正隶属度得到若干初始气泡区域；结合初始气泡区域的初始边缘线及边界像素点的灰度值，以及闭包边缘线，得到每个初始气泡区域的气泡识别度；通过对初始气泡区域进行调整，结合气泡识别度变化，得到若干最终气泡区域；

根据最终气泡区域在水泥砂浆区域中的分布，得到水泥砂浆区域的气泡分布程度。

进一步的，所述对水泥砂浆区域进行边缘检测获取若干闭包边缘线，包括的具体方法为：

对水泥砂浆区域通过canny算法进行边缘检测，得到水泥砂浆区域中的若干边缘像素点；

通过边缘像素点的分布得到若干边缘线，对于任意一条边缘线，若该条边缘线上每个边缘像素点的八邻域范围内，其他边缘像素点的数量均大于或等于闭包阈值，将该条边缘线记为一条闭包边缘线；若存在任意一个边缘像素点的八邻域范围内其他边缘像素点的数量小于闭包阈值，该条边缘线不作为闭包边缘线；得到若干闭包边缘线。

进一步的，所述根据水泥砂浆区域中像素点的灰度值及位置，以及闭包边缘线的分布，对像素点进行FCM聚类得到每个像素点属于每个类别的隶属度；根据每个类别的聚类中心，获取每个像素点的气泡隶属度，包括的具体方法为：

对于任意一条闭包边缘线，该条闭包边缘线包围出一个区域，记为该条闭包边缘线的包围区域，获取包围区域的中心，记为该条闭包边缘线的中心；获取每条闭包边缘线的包围区域及中心；

对于水泥砂浆区域中任意一个像素点，获取与该像素点距离最近的闭包边缘线，记为该像素点的参考闭包边缘线，将该像素点到参考闭包边缘线的距离记为该像素点的第一距离，将该像素点到参考闭包边缘线的中心的距离记为该像素点的第二距离，将第一距离与第二距离的乘积，记为该像素点的闭包距离；获取水泥砂浆区域中每个像素点的闭包距离；

对水泥砂浆区域中所有像素点进行FCM聚类，距离度量采用像素点之间灰度值的差异及闭包距离的差异的欧式范数，得到若干类别以及每个像素点属于每个类别的隶属度；

对于任意一个类别，将其质心记为聚类中心，将聚类中心的灰度值与闭包距离的乘积，记为该类别气泡评价因子；获取每个类别的气泡评价因子，将气泡评价因子最小的类别，作为气泡类别，将每个像素点属于气泡类别的隶属度，记为每个像素点的气泡隶属度。

进一步的，所述根据每个像素点的气泡隶属度获取若干第一连通域，包括的具体方法为：

对所有像素点的气泡隶属度通过最大类间方差法，获取分割阈值，将气泡隶属度大于分割阈值的像素点，记为气泡可能像素点，得到若干气泡可能像素点；对所有气泡可能像素点进行连通域分析，得到若干连通域，记为若干第一连通域。

进一步的，所述每个第一连通域的非气泡边缘概率，具体的获取方法为：

获取每个第一连通域的边缘，记为每个第一连通域的边缘线，将第一连通域的边缘上的像素点，记为每个第一连通域的若干边缘点；

对于任意一个第一连通域的任意一个边缘点，通过sobel算子获取该边缘点的梯度方向，获取梯度方向的垂线，将沿垂线逆时针的方向作为梯度方向的垂直方向，将垂直方向与水平右向形成的夹角，记为该边缘点的边缘角度；获取每个第一连通域的每个边缘点的边缘角度，对所有边缘点进行DBSCAN聚类，距离度量采用边缘角度之间的差值绝对值，得到若干聚簇，记为若干边缘点聚簇；

对于任意一个第一连通域中任意一个边缘点，获取该边缘点与相邻两个边缘点各自的边缘角度之间的差值绝对值，将两个差值绝对值中最大值记为该边缘点的相邻角度差异；若该边缘点与相邻两个边缘点中至少一个边缘点属于同一个边缘点聚簇，将该边缘点记为同向边缘点；该第一连通域的非气泡边缘概率的计算方法为：

其中，表示该第一连通域中同向边缘点的数量，/>表示该第一连通域中边缘点的数量，/>表示该第一连通域中第/>个边缘点的相邻角度差异，/>为预设的角度差异阈值，/>为超参数，/>表示以自然常数为底的指数函数，/>表示向上取整。

进一步的，所述每个第一连通域的非气泡区域概率，具体的获取方法为：

对所有第一连通域的边缘线进行DBSCAN聚类，距离度量采用边缘线之间的不相似度，其中不相似度为边缘线之间的相似性通过反比例函数输出得到，边缘线之间的相似性通过形状上下文算法获取；得到若干聚簇，记为若干边缘线聚簇；

对于任意一个第一连通域，获取该第一连通域的边缘线与所属边缘线聚簇中每个边缘线之间的不相似度的均值，将均值作为该第一连通域的非气泡区域概率。

进一步的，所述对第一连通域内的像素点的气泡隶属度进行修正得到修正隶属度，包括的具体方法为：

对于任意一个第一连通域，该第一连通域中第个像素点的修正隶属度/>的计算方法为：

其中，表示该第一连通域中第/>个像素点的气泡隶属度，/>表示该第一连通域的非气泡边缘概率，/>表示该第一连通域的非气泡区域概率。

进一步的，所述根据像素点的气泡隶属度及修正隶属度得到若干初始气泡区域，包括的具体方法为：

将所有第一连通域中，修正隶属度大于分割阈值的像素点，记为气泡初始像素点；对所有气泡初始像素点进行DBSCAN聚类，距离度量采用气泡初始像素点之间的欧式距离，得到若干聚簇，记为若干气泡聚簇；对每个气泡聚簇通过凸包运算，得到每个气泡聚簇的包围区域，将包围区域作为初始气泡区域，得到若干初始气泡区域。

进一步的，所述得到每个初始气泡区域的气泡识别度；通过对初始气泡区域进行调整，结合气泡识别度变化，得到若干最终气泡区域，包括的具体方法为：

将每个气泡聚簇的质心，作为每个初始气泡区域的中心；对于任意一个初始气泡区域，获取该初始气泡区域的边缘，记为该初始气泡区域的初始边缘线，将初始边缘线上的若干像素点，记为该初始气泡区域的若干边界像素点，沿逆时针遍历，获取每个边界像素点与相邻下一个边界像素点的灰度值之间的差值绝对值，将所有差值绝对值的均值，作为该初始气泡区域的边缘灰度变化因子；获取该初始气泡区域的中心的参考闭包边缘线，通过形状上下文算法获取该初始气泡区域的初始边缘线与该参考闭包边缘线的相似性，该初始气泡区域的气泡识别度的计算方法为：

其中，表示该初始气泡区域中所有像素点的气泡隶属度或修正隶属度的均值，所述气泡隶属度或修正隶属度的均值计算过程中，不存在修正隶属度的像素点采用气泡隶属度参与计算，存在修正隶属度的像素点采用修正隶属度参与计算；/>表示该初始气泡区域的初始边缘线与该初始气泡区域的中心的参考闭包边缘线的相似性，/>表示该初始气泡区域的边缘灰度变化因子，/>为超参数，/>表示以自然常数为底的指数函数；

对该初始气泡区域获取最大内切圆及最小外接圆，获取最大内切圆的圆心及半径，记为初始内切半径，通过迭代步长对初始内切半径进行增加，圆心不变，停止阈值为最小外接圆的半径，得到若干内切半径；

对于任意一个内切半径，通过内切半径得到一个圆，记为该内切半径的内切圆，将该内切圆包含的像素点集合与该初始气泡区域包含的像素点集合的并集对应的区域，作为该内切半径下的修正气泡区域，每个内切半径得到一个修正气泡区域，根据每个修正气泡区域中像素点的气泡隶属度或修正隶属度、边缘及边缘上像素点的灰度值，对每个修正气泡区域计算气泡识别度，将所有修正气泡区域的气泡识别度及该初始气泡区域的气泡识别度中的最大值对应的初始气泡区域或修正气泡区域，作为该初始气泡区域的最终气泡区域，最终气泡区域对应的内切半径或初始内切半径，记为该最终气泡区域的最佳内切半径。

进一步的，所述得到水泥砂浆区域的气泡分布程度，包括的具体方法为：

预设一个搜索窗口，根据搜索窗口步长，从水泥砂浆区域左上角第一个像素点为起点，先行后列对水泥砂浆区域进行遍历，得到水泥砂浆区域中的若干窗口区域；统计每个窗口区域中包含最终气泡区域的数量，得到的结果记为每个窗口区域的气泡数量，水泥砂浆区域的气泡分布程度的计算方法为：

其中，表示所有最终气泡区域的最佳内切半径的均值，/>表示预设的合格气泡半径，/>表示所有窗口区域的气泡数量的方差，/>为超参数，/>表示以自然常数为底的指数函数。

本发明的有益效果是：本发明通过拍摄搅拌过程中的水泥砂浆图像，根据其中水泥砂浆区域中像素点的灰度值及分布，量化得到若干最终气泡区域，通过最终气泡区域的大小及分布，完成气泡分布程度的获取，用以反映水泥砂浆中的气泡质量；其中最终气泡区域获取过程中，通过像素点之间灰度值的差异及与闭包边缘线得到的闭包距离，聚类分析得到气泡隶属度，通过气泡区域闭合边缘的特点初步量化各像素点为气泡区域像素点的可能性；再通过气泡隶属度得到第一连通域，通过第一连通域的边缘点梯度方向变化，以及边缘线之间的相似性，对气泡隶属度修正得到修正隶属度，使得砂砾区域的像素点不会对气泡隶属度造成过多影响，从而提高气泡隶属度或修正隶属度的准确性；再通过气泡隶属度及修正隶属度，以及像素点的位置分布，得到初始气泡区域，并根据气泡区域的形状特征，对初始气泡区域调整得到最终气泡区域，使得最终气泡区域更加符合气泡区域的外形轮廓特征，进而提高最终气泡区域量化的准确性，从而提高气泡分布程度最终量化的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的基于图像处理的水泥砂浆搅拌过程视觉检测方法流程示意图；

图2为最终气泡区域获取模型示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例所提供的基于图像处理的水泥砂浆搅拌过程视觉检测方法流程图，该方法包括以下步骤：

步骤S001、采集水泥砂浆图像，分割获取水泥砂浆区域。

本实施例的目的是对水泥砂浆图像的气泡区域进行检测，进而实现对水泥砂浆质量进行控制，因此首先需要对水泥砂浆图像进行采集；本实施例通过在搅拌机内安装工业相机对正在进行搅拌的水泥砂浆进行拍摄，将拍摄得到的图像进行灰度化处理，得到的结果记为水泥砂浆图像；其中拍摄的时间间隔设置为1分钟，即搅拌过程中每分钟进行一次拍摄，并进行后续处理。

进一步的，通过语义分割网络获取水泥砂浆图像中的水泥砂浆区域，其中语义分割网络采用现有的U-net神经网络结构，通过大量水泥砂浆图像作为训练数据集，对训练数据集中每张图像的水泥砂浆区域标记为1，其他区域标记为0，损失函数采用交叉熵损失函数，对语义分割网络进行训练得到训练好的语义分割网络；将水泥砂浆图像输入到训练好的语义分割网络中，输出得到水泥砂浆区域。

至此，采集到了水泥砂浆图像并获取到了水泥砂浆区域。

步骤S002、对水泥砂浆区域进行边缘检测获取若干闭包边缘线；根据水泥砂浆区域中像素点的灰度值及位置，以及闭包边缘线的分布，对像素点进行FCM聚类得到每个像素点属于每个类别的隶属度；根据每个类别的聚类中心，获取每个像素点的气泡隶属度。

需要说明的是，通过结合气泡特征，在获取的水泥砂浆图像中对获取的气泡进行识别；由于图像中存在气泡与水泥砂浆混合，边界差异小，故本发明使用基于模糊C均值聚类（FCM）的聚类算法，对图像进行分割；根据图像中气泡特征可知，气泡边界像素点有着较高对比度，并且边界较为隐晦，因为水泥的覆盖而仅露出部分区域气泡，其特征为图像中气泡所在区域，其中心点亮度即灰度值较高，但气泡边界较为模糊，为了获取准确边界，使用FCM对图像像素点进行聚类分析，通过聚类结果中每个像素点属于每个类别的隶属度，结合各聚类中心的灰度值及位置，得到每个像素点的气泡隶属度；而在FCM聚类过程中，像素点之间的距离度量需要考虑灰度值及位置关系，通过边缘检测得到边缘像素点，根据边缘像素点邻域内边缘像素点的分布，获取闭包边缘线，即闭合的边缘线，通过像素点与闭包边缘线的距离以及灰度值之间的差异，完成聚类，而类别数量设置为2，则得到的类别中，一类为闭包边缘线内部且灰度差异较小的像素点组成的类别，更可能为气泡区域，而另一类则更可能为水泥砂浆区域中的非气泡区域。

具体的，对水泥砂浆区域通过canny算法进行边缘检测，得到水泥砂浆区域中的若干边缘像素点，canny算法为公知技术，本实施例不再赘述；通过边缘像素点的分布得到若干边缘线，则对于任意一条边缘线，预设一个闭包阈值，本实施例闭包阈值采用2进行叙述，若该条边缘线上每个边缘像素点的八邻域范围内，其他边缘像素点的数量均大于或等于闭包阈值，则将该条边缘线记为一条闭包边缘线，即该条边缘线为闭合的；若存在任意一个边缘像素点的八邻域范围内其他边缘像素点的数量小于闭包阈值，则该条边缘线不是闭合的，不作为闭包边缘线；则得到若干闭包边缘线；则对于任意一条闭包边缘线，该条闭包边缘线包围出一个区域，记为该条闭包边缘线的包围区域，获取包围区域的中心，记为该条闭包边缘线的中心，中心即为到该条闭包边缘线上各边缘像素点的距离均值最小的像素点；按照上述方法获取每条闭包边缘线的包围区域及中心。

进一步的，对于水泥砂浆区域中任意一个像素点，获取与该像素点距离最近的闭包边缘线，记为该像素点的参考闭包边缘线，将该像素点到参考闭包边缘线的距离记为该像素点的第一距离，将该像素点到参考闭包边缘线的中心的距离记为该像素点的第二距离，将第一距离与第二距离的乘积，记为该像素点的闭包距离，其中点到线的距离计算为公知技术，本实施例不再赘述；按照上述方法获取水泥砂浆区域中每个像素点的闭包距离；闭包距离反映的是像素点是否位于闭包边缘线的包围区域内，其第一距离越小且第二距离越小，越可能处于包围区域内，闭包距离就越小。

进一步的，对水泥砂浆区域中所有像素点进行FCM聚类，类别数量即K值本实施例设置为2，即区分气泡区域与非气泡区域，距离度量采用像素点之间灰度值的差异及闭包距离的差异的欧式范数，则得到两个类别以及每个像素点属于每个类别的隶属度，FCM聚类为公知技术，隶属度为FCM聚类结果的公知内容，本实施例不再赘述。

进一步的，对于任意一个类别，将其质心记为聚类中心，将聚类中心的灰度值与闭包距离的乘积，记为该类别气泡评价因子；获取每个类别的气泡评价因子，将气泡评价因子最小的类别，作为气泡类别，将每个像素点属于气泡类别的隶属度，记为每个像素点的气泡隶属度；则气泡区域多分布于闭包边缘线的包围区域中，且灰度值较小，因此通过气泡评价因子来获取每个像素点的气泡隶属度。

至此，通过获取闭包边缘线，根据像素点的位置得到闭包距离，结合灰度值进行FCM聚类，得到每个像素点属于每个类别的隶属度，再通过各类别的聚类中心的灰度值与闭包距离与气泡区域像素点的相似关系，得到气泡类别以及每个像素点的气泡隶属度。

步骤S003、根据每个像素点的气泡隶属度获取若干第一连通域；根据第一连通域中边缘点的梯度分布，获取每个第一连通域的非气泡边缘概率；根据第一连通域的边缘线之间的相似性，获取每个第一连通域的非气泡区域概率；对第一连通域内的像素点的气泡隶属度进行修正得到修正隶属度。

需要说明的是，获取到像素点的气泡隶属度后，通过阈值分割获取若干气泡可能像素点，并通过连通域分析，得到若干第一连通域，用来反映气泡可能像素点的分布；而对于第一连通域，需要判断其是否为气泡区域，气泡区域的边缘呈现圆润的形状，则各第一连通域中相邻边缘像素点的梯度方向的垂直方向之间存在差异，以此来量化第一连通域的非气泡边缘概率；同时对第一连通域的边缘线进行整体分析，通过形状上下文算法对边缘线进行相似性量化，根据相似性对所有第一连通域的边缘性进行聚类，根据聚类结果量化非气泡区域概率；再通过非气泡边缘概率及非气泡区域概率，对各第一连通域中的像素点的气泡隶属度进行修正。

具体的，获取到水泥砂浆区域中每个像素点的气泡隶属度后，对所有像素点的气泡隶属度通过最大类间方差法，获取分割阈值，将气泡隶属度大于分割阈值的像素点，记为气泡可能像素点，则得到若干气泡可能像素点；对所有气泡可能像素点进行连通域分析，得到若干连通域，记为若干第一连通域，获取每个第一连通域的边缘，记为每个第一连通域的边缘线，将第一连通域的边缘上的像素点，记为每个第一连通域的若干边缘点。

进一步的，对于任意一个第一连通域的任意一个边缘点，通过sobel算子获取该边缘点的梯度方向，获取梯度方向的垂线，由于垂线存在两个方向，本实施例对所有边缘点的梯度方向的垂线都取逆时针的方向作为梯度方向的垂直方向，将垂直方向与水平右向形成的夹角，记为该边缘点的边缘角度；按照上述方法获取每个第一连通域的每个边缘点的边缘角度，对所有边缘点进行DBSCAN聚类，距离度量采用边缘角度之间的差值绝对值，其中边缘角度的范围为，则得到若干聚簇，记为若干边缘点聚簇。

进一步的，对于任意一个第一连通域中任意一个边缘点，获取该边缘点与相邻两个边缘点各自的边缘角度之间的差值绝对值，将两个差值绝对值中最大值记为该边缘点的相邻角度差异；同时若该边缘点与相邻两个边缘点中至少一个边缘点属于同一个边缘点聚簇，则将该边缘点记为同向边缘点，即该边缘点与一个边缘点或两个边缘点属于同一边缘点聚簇时，该边缘点为同向边缘点；则该第一连通域的非气泡边缘概率的计算方法为：

其中，表示该第一连通域中同向边缘点的数量，/>表示该第一连通域中边缘点的数量，/>表示该第一连通域中第/>个边缘点的相邻角度差异，/>为预设的角度差异阈值，本实施例采用/>进行叙述；/>为避免指数函数输出值过小的超参数，本实施例采用/>进行叙述；/>表示以自然常数为底的指数函数，本实施例采用/>模型来呈现反比例关系及归一化处理，/>为模型的输入，实施者可根据实际情况来设置反比例函数及归一化函数；/>表示向上取整；第一连通域中同向边缘点的数量越多，边缘部分连续边缘点的边缘角度变化越小，不符合气泡区域的圆润形状特点，更符合砂砾区域存在多个棱角及连续边缘的特点，非气泡边缘概率越大；同时气泡区域的圆润形状及砂砾区域的多个连续边缘上的相邻边缘点，均符合相邻角度差异较小的特点，则/>会越大，进而大于或等于角度差异阈值，向上取整后结果为0；而砂砾区域中棱角位置的边缘点的相邻角度差异会较大，导致/>会越小，进而小于角度差异阈值，向上取整后结果为1，因此通过对每个边缘点得到的向上取整结果获取均值，均值越大，结果为1的边缘点数量越多，越可能为砂砾区域，则非气泡边缘概率越大；按照上述方法获取每个第一连通域的非气泡边缘概率。

进一步的，对所有第一连通域的边缘线进行DBSCAN聚类，距离度量采用边缘线之间的不相似度，其中不相似度为边缘线之间的相似性通过反比例函数输出得到，本实施例采用模型来呈现反比例关系，/>为模型的输入，实施者可根据实际情况来设置反比例函数；将相似性作为反比例函数的输入，边缘线之间的相似性通过形状上下文算法获取，形状上下文算法为公知技术，本实施例不再赘述；根据边缘线之间的不相似度的大小，通过DBSCAN算法，对边缘线进行聚类，则得到若干聚簇，记为若干边缘线聚簇。本发明实施例将DBSCAN算法中的邻域半径设定为3，最小数量设定为5，实施者可根据实际情况设定DBSCAN算法中的邻域半径和最小数量的大小，在此不进行限定。其中，DBSCAN算法为公知技术，不再进行赘述。对于任意一个第一连通域，获取该第一连通域的边缘线与所属边缘线聚簇中每个边缘线之间的不相似度的均值，将均值作为该第一连通域的非气泡区域概率；则边缘线与所属边缘线聚簇中边缘线的不相似度越大，相似边缘轮廓的第一连通域越少，越不符合气泡形状圆润相近的特点，砂砾区域的可能性越大，非气泡区域概率越大；按照上述方法获取每个第一连通域的非气泡区域概率。

进一步的，对于任意一个第一连通域，该第一连通域中第个像素点的修正隶属度的计算方法为：

其中，表示该第一连通域中第/>个像素点的气泡隶属度，/>表示该第一连通域的非气泡边缘概率，/>表示该第一连通域的非气泡区域概率；非气泡边缘概率及非气泡区域概率越大，第一连通域中的像素点的修正隶属度应越小；按照上述方法获取每个第一连通域中每个像素点的修正隶属度。

至此，对每个第一连通域中像素点的气泡隶属度调整得到修正隶属度，第一连通域中像素点包括气泡可能像素点。

步骤S004、根据像素点的气泡隶属度及修正隶属度得到若干初始气泡区域；结合初始气泡区域的初始边缘线及边界像素点的灰度值，以及闭包边缘线，得到每个初始气泡区域的气泡识别度；通过对初始气泡区域进行调整，结合气泡识别度变化，得到若干最终气泡区域。

需要说明的是，获取到第一连通域中像素点的修正隶属度后，则通过已有的分割阈值，获取气泡初始像素点，通过气泡初始像素点进行密度聚类分析，获取初始气泡区域；得到初始气泡区域后，由于气泡整体呈现圆润形状，则需要保证气泡区域的边缘上相邻像素点的灰度值相近，则获取到初始气泡区域后，对初始气泡区域获取最大内切圆，并通过对内切半径进行增加，将增加后的内切圆与初始气泡区域的像素点并集作为新的气泡区域，对不断变化的气泡区域根据其中像素点的气泡隶属度（修正隶属度），边缘线与闭包边缘线的相似性以及边缘上像素点的灰度值，量化气泡识别度，根据气泡识别度变化，得到最佳内切半径及最终气泡区域。

具体的，将所有第一连通域中，修正隶属度大于步骤S003中分割阈值的像素点，记为气泡初始像素点，需要说明的是，第一连通域中存在不是气泡可能像素点的其他像素点，其气泡隶属度同样被修正为修正隶属度并进行后续处理；对所有气泡初始像素点进行DBSCAN聚类，距离度量采用气泡初始像素点之间的欧式距离，即空间距离，得到若干聚簇，记为若干气泡聚簇；对每个气泡聚簇通过凸包运算，得到每个气泡聚簇的包围区域，将包围区域作为初始气泡区域，则得到若干初始气泡区域，同时将每个气泡聚簇的质心，作为每个初始气泡区域的中心；凸包运算为公知技术，本实施例不再赘述。

进一步的，对于任意一个初始气泡区域，获取该初始气泡区域的边缘，记为该初始气泡区域的初始边缘线，将初始边缘线上的若干像素点，记为该初始气泡区域的若干边界像素点，沿逆时针遍历，获取每个边界像素点与相邻下一个边界像素点的灰度值之间的差值绝对值，将所有差值绝对值的均值，作为该初始气泡区域的边缘灰度变化因子；获取该初始气泡区域的中心的参考闭包边缘线，通过形状上下文算法获取该初始气泡区域的初始边缘线与该参考闭包边缘线的相似性，则该初始气泡区域的气泡识别度的计算方法为：

其中，表示该初始气泡区域中所有像素点的气泡隶属度或修正隶属度的均值，即均值计算过程中，不存在修正隶属度的像素点采用气泡隶属度参与计算，存在修正隶属度的像素点采用修正隶属度参与计算；/>表示该初始气泡区域的初始边缘线与该初始气泡区域的中心的参考闭包边缘线的相似性，/>表示该初始气泡区域的边缘灰度变化因子，/>为避免指数函数输出值过小的超参数，本实施例采用/>进行叙述；/>表示以自然常数为底的指数函数，本实施例采用/>模型来呈现反比例关系及归一化处理，/>为模型的输入，实施者可根据实际情况来设置反比例函数及归一化函数；则初始气泡区域中气泡隶属度（修正隶属度）的均值越大，可能为气泡区域中像素点数量越多，气泡识别度越大；初始边缘线与参考闭包边缘线的相似性越大，初始气泡区域边缘越符合正常检测得到的闭合边缘，为气泡区域的可能性越大，气泡识别度越大；边缘灰度变化因子越小，初始边缘线上相邻边界像素点的灰度差异越小，越符合气泡区域特征，气泡识别度越大。

进一步的，对该初始气泡区域获取最大内切圆及最小外接圆，获取最大内切圆的圆心及半径，记为初始内切半径，预设迭代步长为1对初始内切半径进行增加，圆心不变，停止阈值为最小外接圆的半径，则得到若干内切半径；对于任意一个内切半径，通过内切半径得到一个圆，记为该内切半径的内切圆，将该内切圆包含的像素点集合与该初始气泡区域包含的像素点集合的并集对应的区域，作为该内切半径下的修正气泡区域，则每个内切半径都可以得到一个修正气泡区域，根据每个修正气泡区域中像素点的气泡隶属度或修正隶属度、边缘及边缘上像素点的灰度值，对每个修正气泡区域按照上述方法计算气泡识别度，将所有修正气泡区域的气泡识别度及该初始气泡区域的气泡识别度中的最大值对应的初始气泡区域或修正气泡区域，作为该初始气泡区域的最终气泡区域，最终气泡区域对应的内切半径或初始内切半径，记为该最终气泡区域的最佳内切半径；请参阅图2，其示出了最终气泡区域的获取模型，其中不规则形状则为初始气泡区域，三个同心圆中半径最小的为初始气泡区域的最大内切圆，半径第二小的为迭代增加得到的内切半径对应的内切圆，半径最大的为内切半径中最大值对应的内切圆，即内切半径与最小外接圆半径相同的内切圆。

进一步的，对每个初始气泡区域按照上述方法获取气泡识别度，并通过最大内切圆及最小外接圆，最终得到每个初始气泡区域的最终气泡区域，则得到若干最终气泡区域。

步骤S005、根据最终气泡区域在水泥砂浆区域中的分布，得到水泥砂浆区域的气泡分布程度，根据气泡分布程度对搅拌机进行调节。

获取到若干最终气泡区域后，每个最终气泡区域均对应一个最佳内切半径，同时水泥砂浆搅拌过程中，对于气泡存在预设的合格气泡半径，合格气泡半径由实施者自行设置；预设一个搜索窗口，本实施例搜索窗口采用的大小进行叙述，搜索窗口步长为10，从水泥砂浆区域左上角第一个像素点为起点，先行后列对水泥砂浆区域进行遍历，即不重叠进行遍历，得到水泥砂浆区域中的若干窗口区域，需要说明的是，若窗口区域超出水泥砂浆区域，无需特别处理；统计每个窗口区域中包含最终气泡区域的数量，统计过程中，存在窗口区域中最终气泡区域不完整的情况，不完整的情况下仍作为一个最终气泡区域进行数量统计，得到的结果记为每个窗口区域的气泡数量，则水泥砂浆区域的气泡分布程度/>的计算方法为：

其中，表示所有最终气泡区域的最佳内切半径的均值，/>表示合格气泡半径，/>表示所有窗口区域的气泡数量的方差，/>为避免指数函数输出值过小的超参数，本实施例采用/>进行叙述；/>表示以自然常数为底的指数函数，本实施例采用/>模型来呈现反比例关系及归一化处理，/>为模型的输入，实施者可根据实际情况来设置反比例函数及归一化函数；最终气泡区域的最佳内切半径与合格气泡半径的差异越小，且气泡数量方差越小，表明气泡为水泥砂浆搅拌过程中正常产生的气泡，且气泡分布均匀，气泡分布程度越大，气泡产生越正常。

进一步的，预设气泡产生阈值，本实施例气泡产生阈值采用0.7进行叙述，若水泥砂浆搅拌过程中气泡分布程度小于气泡产生阈值，需要对搅拌机参数进行调节，减少气泡产生，调节非本实施例重点，不再赘述。

至此，对水泥砂浆搅拌过程产生的气泡通过计算机视觉及图像处理完成了检测及评价，并根据气泡分布程度及时调整。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于图像处理的水泥砂浆搅拌过程视觉检测方法，其特征在于，该方法包括以下步骤：

采集水泥砂浆图像，分割获取水泥砂浆区域；

对水泥砂浆区域进行边缘检测获取若干闭包边缘线；根据水泥砂浆区域中像素点的灰度值及位置，以及闭包边缘线的分布，对像素点进行FCM聚类得到每个像素点属于每个类别的隶属度；根据每个类别的聚类中心，获取每个像素点的气泡隶属度；

根据每个像素点的气泡隶属度获取若干第一连通域；根据第一连通域中边缘点的梯度分布，获取每个第一连通域的非气泡边缘概率；根据第一连通域的边缘线之间的相似性，获取每个第一连通域的非气泡区域概率；对第一连通域内的像素点的气泡隶属度进行修正得到修正隶属度；

根据像素点的气泡隶属度及修正隶属度得到若干初始气泡区域；结合初始气泡区域的初始边缘线及边界像素点的灰度值，以及闭包边缘线，得到每个初始气泡区域的气泡识别度；通过对初始气泡区域进行调整，结合气泡识别度变化，得到若干最终气泡区域；

根据最终气泡区域在水泥砂浆区域中的分布，得到水泥砂浆区域的气泡分布程度。

2.根据权利要求1所述的基于图像处理的水泥砂浆搅拌过程视觉检测方法，其特征在于，所述对水泥砂浆区域进行边缘检测获取若干闭包边缘线，包括的具体方法为：

对水泥砂浆区域通过canny算法进行边缘检测，得到水泥砂浆区域中的若干边缘像素点；

通过边缘像素点的分布得到若干边缘线，对于任意一条边缘线，若该条边缘线上每个边缘像素点的八邻域范围内，其他边缘像素点的数量均大于或等于闭包阈值，将该条边缘线记为一条闭包边缘线；若存在任意一个边缘像素点的八邻域范围内其他边缘像素点的数量小于闭包阈值，该条边缘线不作为闭包边缘线；得到若干闭包边缘线。

3.根据权利要求1所述的基于图像处理的水泥砂浆搅拌过程视觉检测方法，其特征在于，所述根据水泥砂浆区域中像素点的灰度值及位置，以及闭包边缘线的分布，对像素点进行FCM聚类得到每个像素点属于每个类别的隶属度；根据每个类别的聚类中心，获取每个像素点的气泡隶属度，包括的具体方法为：

对于任意一条闭包边缘线，该条闭包边缘线包围出一个区域，记为该条闭包边缘线的包围区域，获取包围区域的中心，记为该条闭包边缘线的中心；获取每条闭包边缘线的包围区域及中心；

对于水泥砂浆区域中任意一个像素点，获取与该像素点距离最近的闭包边缘线，记为该像素点的参考闭包边缘线，将该像素点到参考闭包边缘线的距离记为该像素点的第一距离，将该像素点到参考闭包边缘线的中心的距离记为该像素点的第二距离，将第一距离与第二距离的乘积，记为该像素点的闭包距离；获取水泥砂浆区域中每个像素点的闭包距离；

对水泥砂浆区域中所有像素点进行FCM聚类，距离度量采用像素点之间灰度值的差异及闭包距离的差异的欧式范数，得到若干类别以及每个像素点属于每个类别的隶属度；

对于任意一个类别，将其质心记为聚类中心，将聚类中心的灰度值与闭包距离的乘积，记为该类别气泡评价因子；获取每个类别的气泡评价因子，将气泡评价因子最小的类别，作为气泡类别，将每个像素点属于气泡类别的隶属度，记为每个像素点的气泡隶属度。

4.根据权利要求1所述的基于图像处理的水泥砂浆搅拌过程视觉检测方法，其特征在于，所述根据每个像素点的气泡隶属度获取若干第一连通域，包括的具体方法为：

对所有像素点的气泡隶属度通过最大类间方差法，获取分割阈值，将气泡隶属度大于分割阈值的像素点，记为气泡可能像素点，得到若干气泡可能像素点；对所有气泡可能像素点进行连通域分析，得到若干连通域，记为若干第一连通域。

5.根据权利要求1所述的基于图像处理的水泥砂浆搅拌过程视觉检测方法，其特征在于，所述每个第一连通域的非气泡边缘概率，具体的获取方法为：

获取每个第一连通域的边缘，记为每个第一连通域的边缘线，将第一连通域的边缘上的像素点，记为每个第一连通域的若干边缘点；

对于任意一个第一连通域的任意一个边缘点，通过sobel算子获取该边缘点的梯度方向，获取梯度方向的垂线，将沿垂线逆时针的方向作为梯度方向的垂直方向，将垂直方向与水平右向形成的夹角，记为该边缘点的边缘角度；获取每个第一连通域的每个边缘点的边缘角度，对所有边缘点进行DBSCAN聚类，距离度量采用边缘角度之间的差值绝对值，得到若干聚簇，记为若干边缘点聚簇；

对于任意一个第一连通域中任意一个边缘点，获取该边缘点与相邻两个边缘点各自的边缘角度之间的差值绝对值，将两个差值绝对值中最大值记为该边缘点的相邻角度差异；若该边缘点与相邻两个边缘点中至少一个边缘点属于同一个边缘点聚簇，将该边缘点记为同向边缘点；该第一连通域的非气泡边缘概率的计算方法为：

其中，表示该第一连通域中同向边缘点的数量，/>表示该第一连通域中边缘点的数量，表示该第一连通域中第/>个边缘点的相邻角度差异，/>为预设的角度差异阈值，/>为超参数，/>表示以自然常数为底的指数函数，/>表示向上取整。

6.根据权利要求5所述的基于图像处理的水泥砂浆搅拌过程视觉检测方法，其特征在于，所述每个第一连通域的非气泡区域概率，具体的获取方法为：

对所有第一连通域的边缘线进行DBSCAN聚类，距离度量采用边缘线之间的不相似度，其中不相似度为边缘线之间的相似性通过反比例函数输出得到，边缘线之间的相似性通过形状上下文算法获取；得到若干聚簇，记为若干边缘线聚簇；

对于任意一个第一连通域，获取该第一连通域的边缘线与所属边缘线聚簇中每个边缘线之间的不相似度的均值，将均值作为该第一连通域的非气泡区域概率。

7.根据权利要求1所述的基于图像处理的水泥砂浆搅拌过程视觉检测方法，其特征在于，所述对第一连通域内的像素点的气泡隶属度进行修正得到修正隶属度，包括的具体方法为：

对于任意一个第一连通域，该第一连通域中第个像素点的修正隶属度/>的计算方法为：

其中，表示该第一连通域中第/>个像素点的气泡隶属度，/>表示该第一连通域的非气泡边缘概率，/>表示该第一连通域的非气泡区域概率。

8.根据权利要求4所述的基于图像处理的水泥砂浆搅拌过程视觉检测方法，其特征在于，所述根据像素点的气泡隶属度及修正隶属度得到若干初始气泡区域，包括的具体方法为：

将所有第一连通域中，修正隶属度大于分割阈值的像素点，记为气泡初始像素点；对所有气泡初始像素点进行DBSCAN聚类，距离度量采用气泡初始像素点之间的欧式距离，得到若干聚簇，记为若干气泡聚簇；对每个气泡聚簇通过凸包运算，得到每个气泡聚簇的包围区域，将包围区域作为初始气泡区域，得到若干初始气泡区域。

9.根据权利要求3所述的基于图像处理的水泥砂浆搅拌过程视觉检测方法，其特征在于，所述得到每个初始气泡区域的气泡识别度；通过对初始气泡区域进行调整，结合气泡识别度变化，得到若干最终气泡区域，包括的具体方法为：

将每个气泡聚簇的质心，作为每个初始气泡区域的中心；对于任意一个初始气泡区域，获取该初始气泡区域的边缘，记为该初始气泡区域的初始边缘线，将初始边缘线上的若干像素点，记为该初始气泡区域的若干边界像素点，沿逆时针遍历，获取每个边界像素点与相邻下一个边界像素点的灰度值之间的差值绝对值，将所有差值绝对值的均值，作为该初始气泡区域的边缘灰度变化因子；获取该初始气泡区域的中心的参考闭包边缘线，通过形状上下文算法获取该初始气泡区域的初始边缘线与该参考闭包边缘线的相似性，该初始气泡区域的气泡识别度的计算方法为：

其中，表示该初始气泡区域中所有像素点的气泡隶属度或修正隶属度的均值，所述气泡隶属度或修正隶属度的均值计算过程中，不存在修正隶属度的像素点采用气泡隶属度参与计算，存在修正隶属度的像素点采用修正隶属度参与计算；/>表示该初始气泡区域的初始边缘线与该初始气泡区域的中心的参考闭包边缘线的相似性，/>表示该初始气泡区域的边缘灰度变化因子，/>为超参数，/>表示以自然常数为底的指数函数；

对该初始气泡区域获取最大内切圆及最小外接圆，获取最大内切圆的圆心及半径，记为初始内切半径，通过迭代步长对初始内切半径进行增加，圆心不变，停止阈值为最小外接圆的半径，得到若干内切半径；

对于任意一个内切半径，通过内切半径得到一个圆，记为该内切半径的内切圆，将该内切圆包含的像素点集合与该初始气泡区域包含的像素点集合的并集对应的区域，作为该内切半径下的修正气泡区域，每个内切半径得到一个修正气泡区域，根据每个修正气泡区域中像素点的气泡隶属度或修正隶属度、边缘及边缘上像素点的灰度值，对每个修正气泡区域计算气泡识别度，将所有修正气泡区域的气泡识别度及该初始气泡区域的气泡识别度中的最大值对应的初始气泡区域或修正气泡区域，作为该初始气泡区域的最终气泡区域，最终气泡区域对应的内切半径或初始内切半径，记为该最终气泡区域的最佳内切半径。

10.根据权利要求9所述的基于图像处理的水泥砂浆搅拌过程视觉检测方法，其特征在于，所述得到水泥砂浆区域的气泡分布程度，包括的具体方法为：

预设一个搜索窗口，根据搜索窗口步长，从水泥砂浆区域左上角第一个像素点为起点，先行后列对水泥砂浆区域进行遍历，得到水泥砂浆区域中的若干窗口区域；统计每个窗口区域中包含最终气泡区域的数量，得到的结果记为每个窗口区域的气泡数量，水泥砂浆区域的气泡分布程度的计算方法为：

其中，表示所有最终气泡区域的最佳内切半径的均值，/>表示预设的合格气泡半径，表示所有窗口区域的气泡数量的方差，/>为超参数，/>表示以自然常数为底的指数函数。