CN113506246B - 基于机器视觉的混凝土3d打印构件精细检测方法 - Google Patents

Abstract

基于机器视觉的混凝土3D打印构件精细检测方法，包括以下步骤；1)图像预处理；2)层间边缘检测；3)层间信息熵的目标优化建模；4)增强边缘细节；5)开闭运算；6)输出图像。该方法不仅能识别出混凝土3D打印构件图像边界轮廓信息，还能保留大量图像内部纹理信息，旨在为利用混凝土3D打印技术生产外形精准的复杂几何建筑构件产品提供有效参考。

Description

基于机器视觉的混凝土3D打印构件精细检测方法

技术领域

本发明属于模式识别及机器视觉技术领域，具体涉及基于机器视 觉的混凝土3D打印构件精细检测方法。

背景技术

由于混凝土材料的六边形，3D混凝土打印的成形过程更加复杂， 存在许多问题亟需解决。构件成形的质量因速度因素导致层间间隔时 间过短、材料凝结硬化不足而导致坍塌变形；或者因空气窜入泵送管 路中被连同物料一起挤出，将导致物料之间进行间隔，造成挤出物料 不连续，出现欠填充现象。物料挤出的不密实和不连续在逐层累积的 过程中可造成整体的形变甚至坍塌破坏。因此，打印构件成形质量检 测是一个关键问题。其主要包括检测打印构件的形状、尺寸、表面纹 理信息等方面。人工检测打印构件质量存在一些误差和限制。

混凝土检测算法一般基于图像分割的方法达到目的。图像分割是 将一副图以灰度、纹理、区域等为标准分成若干个具有独特性质的区 域的过程。常用且经典的分割方法有基于阈值、边缘、区域、聚类、 图论及特定理论等。基于阈值的图像分割方法通常只考虑像素自身的 灰度值，未考虑图像的语义、空间等特征信息，且易受噪声影响，对 于复杂的图像，阈值分割的效果并不理想。边缘检测技术是通过搜索 图像区域中的各个边界，从而达到图像分割的目的。常用的边缘检测 算子有Roberts、Sobel、LOG等，这些算子算法简单且检测速度较快， 但对噪声比较敏感，而真边缘因为噪声的干扰可能被漏检，同时检测 出的图像边缘模糊，边缘精细度不高效果并不理想。Canny在1986 年提出了基于最优化算法的边缘检测算子，实验证明该算子在处理高 斯白噪声污染的图像方面优于其他传统的边缘检测算子。基于区域的 图像分割方法该方法计算简单，但对噪声敏感，易导致区域空缺。基 于聚类的图像分割方法中FCM聚类算法认为所有分类样本对聚类中 心误差的平方和影响是一致的，不具有局部约束能力，没有考虑邻域 像素对目标像素分类的影响同时对噪声比较敏感。基于图论的图像分 割方法对大部分图像都能进行分割并且可以取得良好的效果，但该方 法计算量大，一般需要通过交互实现分割。

发明内容

为了克服以上技术问题，本发明的目的在于提供基于机器视觉 的混凝土3D打印构件精细检测方法，该方法不仅能识别出混凝土 3D打印构件图像边界轮廓信息，还能保留大量图像内部纹理信息， 旨在为利用混凝土3D打印技术生产外形精准的复杂几何建筑构件产 品提供有效参考。

为了实现上述目的，本发明采用的技术方案是：

基于机器视觉的混凝土3D打印构件精细检测方法，包括以下步 骤；

1)图像预处理；

2)层间边缘检测；

3)层间信息熵的目标优化建模；

4)增强边缘细节；

5)开闭运算；

6)输出图像。

所述步骤1)具体为：首先对构件图像进行Gamma灰度变换， 调整高低灰度级让图像变得更接近人眼感受的颜色映射范围，扩大图 像灰度范围，使用直方图均衡化处理提高原始图像I(x,y)整体或局部 对比度；

O＝KI^γ (1)

其中，O为输出图像灰度值，I为输入图像灰度值，K作为常数 通常情况为1，γ为Gamma指数，γ＝1为线性变换，如果γ≠1为非线 性变换，k代表灰度级0～255中每个灰度级的像素数量，n代表图像 的总像素数；

混凝土3D打印构件图像经过直方图均衡化后根据目标对象 S(x,y)特性使用自适应中值滤波进行除噪处理得到处理后图像K(x,y)， 平滑其它非脉冲噪声，减少物体边界细化或粗化的失真以及最大程度 保留混凝土3D打印构件图像的纹理信息。

所述步骤2)将步骤1)计算处理后的图像K(x,y)的梯度幅值和方 向，采用一阶偏导的有限差分计算的梯度幅值M(x,y)和梯度方向H(x,y)非 极大值抑制；通常灰度变化的地方都比较集中，将局部范围内的梯度 方向上的灰度变化最大的保留下来，其它的不保留。

所述步骤2)具体为：在完成构件图像的分割的同时保留图像的 边缘信息，首先对构件图像进行层间边缘检测，并根据梯度信息检测 构件图像边缘细节，再使用目标优化模型完成构件图像的分割，使用 Laplacian算子对图像进行锐化提高边缘定位能力，增强目标对象的 边缘细节完成精细分割，计算处理后的图像K(x,y)的梯度幅值和方向， 采用一阶偏导的有限差分计算的梯度幅值M(x,y)和梯度方向H(x,y)，即：

H(x,y)＝arctan(K_x(x,y),K_y(x,y)) (4)

其中:K_x和K_y分别是处理后图像K(x,y)被滤波器沿行和列分别 作用的结果；

紧接着对K(x,y)内所有像素点用2×2窗口在8个方向的领域对 M(i,j)的所有元素沿梯度方向进行梯度幅值的插值，对于每个点，将 邻域中心元素M(i,j)比梯度方向上相邻两个点的幅值都大，则将当前 邻域的中心点记为边缘点的可能点，否则当前邻域的中心点为非边缘 点，赋值为0，利用非极大值抑制找到最佳的目标边界框，消除冗余 的边界框。根据梯度幅值矩阵判断可能边缘点去除伪边缘，找到图像 中所有可能的边缘点，保留幅值局部变化最大的点。

所述步骤3)具体为：混凝土3D打印构件图像表面结构复杂具有 台阶效应，当固化或挤出的材料线条数量较多或线条粒度较大时，这 种台阶效应将会变得明显，针对目标对象进行优化建模，根据梯度信 息计算层间信息熵，求解阈值使目标和背景的信息熵之和最大，得到 最佳的目标和背景均匀程度，将前景和背景图像很好的分割，图像信 息熵为：

其中，t为分割阈值；p_i为第i个像素灰度特征显示的几率；n_i为 数字图像中灰度值为i的像素个数；

将图像分为前景和背景时，前景的图像信息熵H_f(t)与背景的图像 信息熵H_b(t)分别为：

整体图像的层间信息熵值为：

其中，

最优阈值t^*划分整体图像层间信息熵并取得最大值，则

由公式(10)找出最大图像层间信息熵值对应的阈值，该阈值需 要满足H_f(t)≥H_b(t)，则该阈值就是最佳低阈值T_l和高阈值T_h＝αT_l，出现断 点时在低阈值边缘8邻点域搜寻边缘点并连接边缘完成图像的分割， 分割后的图像为H(x,y)，取α＝2。

所述步骤4)具体为：混凝土3D打印图像分割后存在一部分边缘 细节信息模糊，存在一些伪边缘信息，使用Laplacian算子进行边缘 锐化，将检测出的轮廓信息和输入图像进行边缘信息融合，实现图像 边缘轮廓信息的增强；

对于二维图像f(x,y)，Laplacian算子定义：

其中，

为图像f(x,y)的二阶偏微分；x,y是图像像素点的坐标， Laplacian算子边缘细节增强的计算公式为：

其中，e为输出图像，f为输入图像，c为系数。

所述步骤5)具体为：混凝土3D打印图像分割后图像纹理信息因 一些噪声存在造成部分的缺失或者分割过程中存在一些非目标颗粒 物，使用数学形态学算法对图像进行先膨胀后腐蚀的平滑处理，膨胀 实质就是用来填补目标区域中某些空洞以及消除包含在目标区域中 的小颗粒噪声，e(x,y)为边缘锐化后的图像，s(i,c)为结构元素，则膨 胀后图像为：

腐蚀实质造成图像的边界收缩，可以用来消除小且无意义的目标 物，则腐蚀后图像为：

本发明的有益效果：

本方法针对混凝土3D打印构件图像精细分割，不仅有效解决传 统算法边缘连通性不足的问题，而且大量的保留了混凝土3D打印构 件图像内部纹理信息，为构件成形质量检测提供有效依据。9种代表 性混凝土3D打印构件图像ACC值平均提高12.44％，F1值平均提高 了30.79％，极大的提高了检测精度和分割精度。

附图说明

图1为本发明提出的算法流程图。

图2为3D混凝土构件ACC值评价算法对比示意图。

图3为3D混凝土构件F1值评价算法对比示意图。

图4为缺陷检测对比结果示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1-图4所示：

参照图1，对本发明的具体步骤进行详细描述。

步骤一：采集混凝土3D打印构件。

所述步骤一：采用混凝土3D打印实验室中打印的混凝土构件为 研究，通过摄像头采用9种类型混凝土3D打印构件图像为研究对象。

步骤二：图像预处理

混凝土3D打印构件图像在采集过程中有大量石灰颗粒漂浮在空 气中、工作台有漏斗滴落的水泥、太阳光照等各种噪声的干扰。传统 直方图均衡化将图像像素灰度做映射变换，使变换后图像像素灰度概 率密度呈均匀分布，但实际因为噪声干扰情况下很少能够得到完全平 坦的直方图；因此首先对构件图像进行Gamma灰度变换，调整高低 灰度级让图像变得更接近人眼感受的颜色映射范围，扩大图像灰度范 围，使用直方图均衡化处理提高原始图I(x,y)像整体或局部对比度。

O＝AI^γ (1)

其中，O为输出图像灰度值，I为输入图像灰度值，A作为常数通 常情况为1，γ为Gamma指数，γ＝1为线性变换，如果γ≠1为非线性 变换。k代表灰度级0～255中每个灰度级的像素数量，n代表图像的 总像素数。

混凝土3D打印构件图像经过直方图均衡化后根据目标对象 S(x,y)特性使用自适应中值滤波进行除噪处理得到处理后图像K(x,y)， 平滑其它非脉冲噪声，减少物体边界细化或粗化的失真以及最大程度 保留混凝土3D打印构件图像的纹理信息。

步骤三：层间边缘检测

为了达到混凝土3D打印构件图像精细分割，在完成构件图像的 分割的同时保留图像的边缘信息，首先对构件图像进行层间边缘检测， 并根据梯度信息检测构件图像边缘细节，再使用目标优化模型完成构 件图像的分割，使用Laplacian算子对图像进行锐化提高边缘定位能 力，增强目标对象的边缘细节完成精细分割。计算处理后的图像 K(x,y)的梯度幅值和方向，采用一阶偏导的有限差分计算的梯度幅值M(x,y)和梯度方向H(x,y)，即：

H(x,y)＝arctan(K_x(x,y),K_y(x,y)) (4)

其中:K_x和K_y分别是处理后图像K(x,y)被滤波器沿行和列分别 作用的结果。H(x,y)为梯度方向，预言边缘的方向走势。

紧接着对K(x,y)内所有像素点用2×2窗口在8个方向的领域对 M(x,y)的所有元素沿梯度方向进行梯度幅值的插值。对于每个点，将 邻域中心元素M(x,y)比梯度方向上相邻两个点的幅值都大，则将当前 邻域的中心点记为边缘点的可能点，否则当前邻域的中心点为非边缘 点，赋值为0。利用非极大值抑制找到最佳的目标边界框，消除冗余 的边界框。根据梯度幅值矩阵判断可能边缘点去除伪边缘，找到图像 中所有可能的边缘点，保留幅值局部变化最大的点。

步骤四：基于层间信息熵的目标优化建模

混凝土3D打印构件图像表面结构复杂具有台阶效应，当固化或 挤出的材料线条数量较多或线条粒度较大时，这种台阶效应将会变得 明显。因此，针对目标对象进行优化建模，根据梯度信息计算层间信 息熵。该方法考虑混凝土3D打印构件层与层间的灰度信息和邻域空 间信息，抗干扰能力强。同时度量像素及其邻域中像素之间的信息相 关性，在求解阈值使目标和背景的信息熵之和最大，得到最佳的目标 和背景均匀程度，将前景和背景图像很好的分割。

层间信息熵为：

其中，t为分割阈值；p_i为第i个像素灰度特征显示的几率；n_i为 数字图像中灰度值为i的像素个数。M，N表示图像长度和宽度；L表 示灰度等级。

将图像分为前景和背景时，前景的图像信息熵H_f(t)与背景的图像 信息熵H_b(t)分别为：

整体图像的层间信息熵值为：

其中，

最优阈值t^*划分整体图像的层间信息熵并取得最大值，则

由公式(10)找出最大图像层间信息熵值对应的阈值，该阈值需 要满足H_f(t)≥H_b(t)，则该阈值就是最佳低阈值T_l和高阈值T_h＝αT_l，出现断 点时在低阈值边缘8邻点域搜寻边缘点并连接边缘，即可分割出包含 目标区域的图像大于T_h部分与包含背景区域的图像小于等于T_l的部 分，分割后的图像为H(x,y)。本文研究取α＝2。

步骤五：增强边缘细节

混凝土3D打印图像分割后存在一部分边缘细节信息模糊，存在 一些伪边缘信息，因此使用Laplacian算子进行边缘锐化。Laplacian 算子能够有效地提取并增强图像的边缘和细节，将检测出的轮廓信息 和输入图像进行边缘信息融合，实现图像边缘轮廓信息的增强。

对于二维图像H(x,y)，Laplacian算子定义：

其中，

为图像H(x,y)的二阶偏微分；x,y是图像像素点的坐标。 Laplacian算子边缘细节增强的计算公式为：

其中，e(x,y)为输出图像，H(x,y)为输入图像，c为系数。本文研 究取c＝1。

步骤六：开闭运算

混凝土3D打印图像分割后图像纹理信息因一些噪声存在造成部 分的缺失或者分割过程中存在一些非目标颗粒物。因此使用数学形态 学算法对图像进行先膨胀后腐蚀的平滑处理。膨胀实质就是可以用来 填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪声。 e(x,y)为边缘锐化后的图像，s(i,c)为结构元素，则膨胀后图像为：

腐蚀实质造成图像的边界收缩，可以用来消除小且无意义的目标 物。则腐蚀后图像为：

步骤七:输出结果。

表1.软件硬件环境参数表

表2 不同γ阈值分割结果指标对比

Table 1 Index comparison of segmentation results with differentγthresholds

表3 不同d阈值分割结果指标对比

Table 2 Index comparison of segmentation results with different dthresholds

表2不同γ阈值下分割结果中，γ＝2阈值分割下构件图像的纹理 信息和轮廓信息比较完整，分割结果中噪声相比于其他γ阈值较少。 由表1可知，在指标对比结果中，γ＝2阈值下各项分割指标相比于 其他γ阈值较高，综上所述当γ＝2阈值时，分割效果较好。

表3不同d阈值下分割结果中，d＝2阈值分割下构件图像的纹理 信息和轮廓信息相比于其他阈值比较完整，d＝3，d＝4阈值时使构件 图像纹理和轮廓信息变得模糊。由表2可知，在指标对比结果中，d＝2 阈值下各项分割指标相比于其他d阈值略低，但d＝3，d＝4阈值分割 图像失真比较严重。综上所述当d＝2阈值时，分割效果较好。

图4与其他对比算法相比，本文方法对构件分割准确度都高于其 他对比方法，准确率平均提高12.44％。

本文算法与传统图像分割算法F1值对比结果，明显本文方法F1 值相比其他分割算法值更高，F1值相比于其他对比分割算法提高了 30.79％，说明本文所提出的算法分割质量更好。

缺陷检测对比结果，相比于其他算法本文算吧把3D打印构件缺 陷部分很好的识别出来。

Claims (4)

1.基于机器视觉的混凝土3D打印构件精细检测方法，其特征在于，包括以下步骤；

1)图像预处理，先进行Gamma灰度变换，在进行直方图均衡化；

2)层间边缘检测；

3)层间信息熵的目标优化建模；

4)增强边缘细节；

5)开闭运算；

6)输出图像；

所述步骤2)具体为：在完成构件图像的分割的同时保留图像的边缘信息，首先对构件图像进行层间边缘检测，并根据梯度信息检测构件图像边缘细节，再使用目标优化模型完成构件图像的分割，使用Laplacian算子对图像进行锐化提高边缘定位能力，增强目标对象的边缘细节完成精细分割，计算处理后的图像K(x,y)的梯度幅值和方向，采用一阶偏导的有限差分计算的梯度幅值M(x,y)和梯度方向H(x,y)，即：

H(x,y)＝arctan(K_x(x,y),K_y(x,y)) (4)

其中：K_x和K_y分别是处理后图像K(x,y)被滤波器沿行和列分别作用的结果；

紧接着对K(x,y)内所有像素点用2×2窗口在8个方向的领域对M(i,j)的所有元素沿梯度方向进行梯度幅值的插值，对于每个点，将邻域中心元素M(i,j)比梯度方向上相邻两个点的幅值都大，则将当前邻域的中心点记为边缘点的可能点，否则当前邻域的中心点为非边缘点，赋值为0，利用非极大值抑制找到最佳的目标边界框，消除冗余的边界框，根据梯度幅值矩阵判断可能边缘点去除伪边缘，找到图像中所有可能的边缘点，保留幅值局部变化最大的点；

所述步骤3)具体为：混凝土3D打印构件图像表面结构复杂具有台阶效应，当固化或挤出的材料线条数量多或线条粒度大时，这种台阶效应将会变得明显，针对目标对象进行优化建模，根据梯度信息计算层间信息熵，求解阈值使目标和背景的信息熵之和最大，得到最佳的目标和背景均匀程度，将前景和背景图像很好的分割，图像信息熵为：

其中，t为分割阈值；p_i为第i个像素灰度特征显示的几率；n_i为数字图像中灰度值为i的像素个数；

将图像分为前景和背景时，前景的图像信息熵H_f(t)与背景的图像信息熵H_b(t)分别为：

整体图像的层间信息熵值为：

其中，

最优阈值t^*划分整体图像层间信息熵并取得最大值，则

由公式(10)找出最大图像层间信息熵值对应的阈值，该阈值需要满足H_f(t)≥H_b(t)，则该阈值就是最佳低阈值T_l和高阈值T_h＝αT_l，出现断点时在低阈值边缘8邻点域搜寻边缘点并连接边缘完成图像的分割，分割后的图像为H(x,y)，取α＝2；

所述步骤4)具体为：混凝土3D打印图像分割后存在一部分边缘细节信息模糊，存在一些伪边缘信息，使用Laplacian算子进行边缘锐化，将检测出的轮廓信息和输入图像进行边缘信息融合，实现图像边缘轮廓信息的增强；

对于二维图像f(x,y)，Laplacian算子定义：

其中，

为图像f(x,y)的二阶偏微分；x,y是图像像素点的坐标，Laplacian算子边缘细节增强的计算公式为：

其中，e为输出图像，f为输入图像，c为系数。

2.根据权利要求1所述的基于机器视觉的混凝土3D打印构件精细检测方法，其特征在于，所述步骤1)具体为：首先对构件图像进行Gamma灰度变换，调整高低灰度级让图像变得更接近人眼感受的颜色映射范围，扩大图像灰度范围，使用直方图均衡化处理提高原始图像I(x,y)整体或局部对比度；

O＝KI^γ (1)

其中，O为输出图像灰度值，I为输入图像灰度值，K作为常数为1，γ为Gamma指数，γ＝1为线性变换，如果γ≠1为非线性变换，k代表灰度级0～255中每个灰度级的像素数量，n代表图像的总像素数；

混凝土3D打印构件图像经过直方图均衡化后根据目标对象S(x,y)特性使用自适应中值滤波进行除噪处理得到处理后图像K(x,y)，平滑其它非脉冲噪声，减少物体边界细化或粗化的失真以及最大程度保留混凝土3D打印构件图像的纹理信息。

3.根据权利要求1所述的基于机器视觉的混凝土3D打印构件精细检测方法，其特征在于，所述步骤2)将步骤1)计算处理后的图像K(x,y)的梯度幅值和方向，采用一阶偏导的有限差分计算的梯度幅值M(x,y)和梯度方向H(x,y)非极大值抑制；灰度变化的地方都比较集中，将局部范围内的梯度方向上的灰度变化最大的保留下来，其它的不保留。

4.根据权利要求1所述的基于机器视觉的混凝土3D打印构件精细检测方法，其特征在于，所述步骤5)具体为：混凝土3D打印图像分割后图像纹理信息因一些噪声存在造成部分的缺失或者分割过程中存在一些非目标颗粒物，使用数学形态学算法对图像进行先膨胀后腐蚀的平滑处理，膨胀实质就是用来填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪声，e(x,y)为边缘锐化后的图像，s(i,c)为结构元素，则膨胀后图像为：

腐蚀实质造成图像的边界收缩，可以用来消除小且无意义的目标物，则腐蚀后图像为：

Images