CN110286124B - 基于机器视觉的耐火砖测量系统 - Google Patents

Abstract

本发明公开了基于机器视觉的耐火砖测量系统，包括基于机器视觉的耐火砖测量装置和基于机器视觉的耐火砖测量方法。本发明提供了一种无需在受测端面涂色就能够检测耐火砖的外形几何尺寸，并且能获得耐火砖的表面划痕信息、深度缺陷信息以及表面倾斜角的基于机器视觉的耐火砖测量系统。

Description

基于机器视觉的耐火砖测量系统

技术领域

本发明涉及一种基于机器视觉的耐火测量系统。

技术背景

耐火砖是一种用耐火黏土或其他耐火原料烧制呈的定型耐火材料，主要用于砌冶炼炉或钢水包，能耐1580℃-1770℃的高温。在耐火砖的生产线上，产品下线装箱之前，长期以来都是依靠人工使用卷尺手动测量，肉眼评判深度缺陷，如耐火砖的缺角、缺棱以及麻面等。

而耐火砖生产过程中，粉尘烟雾较大，压机的振动噪音等对工人的身心健康危害较大，而且很多缺陷都是工人依靠经验判断，受主观影响较大，无法建立一个统一的评判标准。此外，大批量生产过程中该工序不仅要消耗大量劳动成本，而且重复、单调的测量观察工作极易引起人员疲劳，容易出现误判，若个别不良品混入整批成品中，会给工厂带来严重经济损失，甚至严重影响钢铁的生产。因此，整个耐火砖的生产过程极其需要一套自动化的在线检测装置。

发明内容

本发明的目的在于提供一种无需在受测端面涂色就能够检测耐火砖的外形几何尺寸，并且能获得耐火砖的表面划痕信息、深度缺陷信息以及表面倾斜角的基于机器视觉的耐火砖测量系统。

基于机器视觉的耐火砖测量装置，包括图像采集模块，控制模块，图像处理模块和反馈模块，图像采集模块具有底座，底座上设有承载三结构光激光传感器的导轨，步进电机通过联轴器带动三结构光激光传感器移动，承载耐火砖的转台固定于底座，三结构光激光传感器对准耐火砖的待测表面并扫描待测耐火砖的4个端面；控制模块的输入端与图像采集模块连接，控制模块的输出端分别与图像处理模块和反馈模块连接，反馈模块包括行程开关，和执行剔除筛选操作的机械手；

图像采集模块采集耐火砖图像信息，图像处理模块获取耐火砖图像信息，并对耐火砖图像信息进行分析，控制模块获得分析结果，控制模块将分析结果反馈至反馈模块。

基于机器视觉的耐火砖测量方法，包含以下步骤：

步骤1、搭建耐火砖测量装置，将耐火砖放置在可转动的转台上，使耐火砖的待测量表面正对三结构光激光传感器的位置，使导轨平动，三结构光激光传感器扫描耐火砖的待测量表面，以获取灰度信息和高度信息融合的耐火砖的原始彩色图像；

步骤2、对原始彩色图像滤波降噪，并分割出耐火砖所在的连通域，获得耐火砖连通域图像；

步骤3、对耐火砖连通域图像进行形态学处理，获得消除孤立噪声的修正后耐火砖图像；对修正后耐火砖图像进行边缘检测，获得边界直线段以及相邻直线段的交点，以相邻两个交点之间的距离作为耐火砖的边界尺寸；

和、或步骤4、耐火砖连通域图像进行通道分离，获得G通道图像，对G通道图像进行频域滤波增强获得时频域图像，对时频域图像识别所有连通域，根据连通域参数确定划痕区域；

和、或步骤5、采集耐火砖的彩色点云数据，对耐火砖所测上表面进行拟合，沿其上表面法向对点云数据进行高度分割，设置高度范围以筛选出耐火砖的深度缺陷；

和、或步骤6、采集耐火砖的彩色点云数据，对耐火砖所测上表面进行拟合得到拟合平面，获取拟合平面的法向量并计算表面倾斜角；

步骤7、使转台转动到耐火砖的下一检测面，重复执行步骤1-7。

进一步，根据两遍扫描法获取连通域，包括以下操作：对耐火砖阈值图像进行第一遍扫描，赋予每个像素位置一个标签，赋予同一个连通域内的像素集合一个或多个不同标签，合并属于同一个连通域但具有不同值的标签；

对耐火砖阈值图像进行第二遍扫描，将具有相等关系的相同标签所标记的像素归为一个连通域，赋予连通域一个相同的标签。

进一步，步骤2使用种子填充法进行连通域获取：

(1)扫描耐火砖阈值图中的像素点，直到当前像素点B(x，y)＝＝1：

a、将B(x，y)作为种子、并赋予标签，然后将该种子相邻的所有前景像素都压入栈中；

b、弹出栈顶像素，将栈顶像素赋予跟种子相同的标签，然后再将与该栈顶像素相邻的所有前景像素都压入栈中；

c、重复b步骤，直到栈为空；

此时，所有具有相同标签的像素值形成一个连通域；

(2)获取连通域之外的任意一个像素作为种子，重复第(1)步，直到扫描结束；扫描结束后，就可以得到图像B中所有的连通域。

进一步，形态学处理包括对耐火砖图像进行开运算和闭运算，进行开运算去除孤立点噪声；进行闭运算使耐火砖图像边界平滑。

进一步，使用candy算子进行边缘检测：用高斯平滑函数对修正后耐火砖图像滤波，令修正后耐火砖图像为f(x,y)，高斯函数为G(x,y)，平滑后的图像为f_s(x,y)，则

f_s(x,y)＝G(x,y)*f(x,y)；计算梯度幅值图像M和角度幅值图像θ，

其中，G_x表示水平方向的梯度幅值分量，G_y表示垂直方向的梯度幅值分量；对梯度幅值图像M进行非极大值抑制：在梯度方向，在每一点上，领域的中心像素f(x,y)与沿着梯度线的两个相邻像素相比，若f(x,y)的梯度值小于或等于沿梯度线的两个相邻像素的梯度值，则令f(x,y)＝0；采用双阈值检测并连接边缘，以高阈值图像为基础，以低阈值图像为补充来连接图像边缘。

进一步，步骤4中，获取耐火砖的边界尺寸包括以下操作：采集耐火砖的原始图像，对原始图像进行滤波降噪和阈值分割，获得耐火砖的连通域，将耐火砖连通域从原始图像中分离，获得耐火砖连通域图像；

对耐火砖连通图像进行形态学处理，获得修正后耐火砖图像；

对修正后耐火砖图像进行边缘检测，获得耐火砖的边缘检测图像；确定耐火砖图像的边缘后，边缘由一堆离散点组成，所有离散点都是连接的候选点；

通过边缘的离散点检测到曲线形成耐火砖的边界：经过Hough变换算法对离散点进行直线检测拟合出多条直线，对拟合出的直线结合K-Means的无监督聚类算法，从多组交点随机选取交点定义为聚类中心，将同一条边作为一个种类，每一个种类的直线提取一条直线作为耐火砖的边界，随后由求取相邻直线的交点，以相邻的两点之间距离作为耐火砖的外形边长。

进一步，步骤5中，获取划痕区域包括以下操作：采集耐火砖的原始图像，原始图像为彩色图像，对耐火砖的原始彩色图像进行通道分离、并获取G通道图像；

从频率域的角度处理G通道图像，对G通道图像进行二维离散傅里叶变换及频率域滤波平滑、获得耐火砖时频域图像；

对耐火砖时频域图像进行阈值处理和形态学处理，获得频率滤波后的耐火砖阈值图；

用阈值法标记出耐火砖阈值图像中存在的所有连通域；根据连通域的特征筛选出划痕区域，连通域的特征包括圆度，矩形度和偏心度，偏心度参数设置为150-999，矩形度参数设置为0.5-1之间。

进一步，步骤6中，获取深度缺陷包括以下操作：利用结构光传感器获取耐火砖的彩色点云数据，彩色点云数据由影像数据和三维点云融合在一起，彩色点云数据的坐标系是以传感器位姿为基准；

使用最小二乘法对耐火砖图像点云进行平面拟合获得零平面，并获取原始耐火砖图像的高度和宽度，根据原始耐火砖图像的尺寸参数和零平面，生成对应的基准平面图像；

对原始耐火砖图像与基准平面图像进行作差，获得倾斜校正后的点云数据图；

对倾斜校正后的点云的高度直方图进行滤波分割，得到设定深度的点云信息，设置高度带通滤波器的高度值范围对点云高度直方图进行滤波，在高度值范围内的连通域均视为深度缺陷。

进一步，步骤7中，计算表面倾斜角包括以下操作：用结构光传感器采集得到的耐火砖的彩色点云数据；

使用一阶平面方法对彩色点云数据的上表面区域进行近似拟合，获得拟合平面；

在拟合平面上确定不共线的三个点，分别为(x₁,y₁,z₁),(x₂,y₂,z₂),(x₃,y₃,z₃)，生成两个向量

两个向量求叉集得到法向量

根据法向量

获得耐火砖的表面倾斜角θ，

其中

本发明的优点在于：

1、本文可以辅助工人进行耐火砖的质量检测，提高检测效率并且保证产品的出厂质量，进而提高企业的整体的生产效率，降低企业的制造成本，同时保护了工人的身体健康。

2、使用线结构光的3D传感器，对耐火砖的待测面进行扫描，获取其表面的灰度数据和高度数据，经过分析不但可以计算出其外形几何尺寸，而且还能获得深度缺陷信息。

3、该测量系统是上位机系统，与Sql Server数据库进行连接，可以将测量信息上传至企业管理数据库，对企业的生产具有进一步的指导意义。

4、本系统在对耐火砖的外形几何尺寸和深度信息进行测量时，是使用线结构光照射在耐火砖表面，不需要对耐火砖进行涂色处理，提高了企业的生产效率，缩短了生产周期。

5、由于本测量系统使用的是三维测量，不会产生二维视觉测量的失焦模糊问题，因此也不需要使用夹持机构，简化了机械结构。另外一方面，该系统与PLC进行通信，机械手剔除不合格的耐火砖，实现生产流程的高程度自动化。

6、由于人工在判别耐火砖缺陷的时候，经常出现误判，漏判等情况，本测量系统能够对缺陷通过提取连通域的方法进行量化，大大减少了误判和漏判的概率。

附图说明

图1是图像采集模块的示意图。

图2是耐火砖测量装置的示意图。

图3是耐火砖测量系统的简单流程图。

图4是将耐火砖从背景中分割出来形成耐火砖灰度图像。

图5为耐火砖外形尺寸。

图6是耐火砖连通区域标记图。

图7是耐火砖划痕提取结果图。

图8是倾斜校正后的示意图。

图9是深度缺陷测量得到的示意图。

图10是本发明的详细流程图。

图11为尺寸误差统计结果。

图中标识：图像采集模块1，控制模块2，图像处理模块3，反馈模块4，底座11，三结构光激光传感器12，导轨13，转台14，步进电机15，联轴器16，机械手41。

具体实施方式

实施例1

如图1-3所示，基于机器视觉的耐火砖测量装置，包括图像采集模块1，控制模块2，图像处理模块3和反馈模块4，图像采集模块1具有底座11，底座11上设有承载三结构光激光传感器12的导轨13，步进电机15通过联轴器16带动三结构光激光传感器12移动，承载耐火砖的转台14固定于底座11，三结构光激光传感器12对准耐火砖的待测表面并扫描待测耐火砖的4个端面；控制模块2的输入端与图像采集模块1连接，控制模块2的输出端分别与图像处理模块3和反馈模块4连接，反馈模块4包括行程开关，和执行剔除筛选操作的机械手41；图像采集模块1采集耐火砖图像信息，图像处理模块3获取耐火砖图像信息，并对耐火砖图像信息进行分析，控制模块2获得分析结果，控制模块2将分析结果反馈至反馈模块4，参加图10。

通过实施例1、实施例2、实施例3和实施例4进行具体说明，参见图4-10，

实施例1

一种耐火砖几何尺寸测量方法，包括以下步骤：

步骤1：采集耐火砖的原始图像，对原始图像进行滤波降噪和阈值分割，获得耐火砖的连通域，将耐火砖连通域从原始图像中分离，获得耐火砖连通域图像；

步骤2：对耐火砖连通图像进行形态学处理，获得修正后耐火砖图像；

步骤3：对修正后耐火砖图像进行边缘检测，获得耐火砖的边缘检测图像；确定耐火砖图像的边缘后，边缘由一堆离散点组成，所有离散点都是连接的候选点；

步骤4：通过边缘的离散点检测到曲线形成耐火砖的边界，经过Hough变换算法对离散点进行直线检测拟合出多条直线，对拟合出的直线结合K-Means的无监督聚类算法，从多组交点随机选取交点定义为聚类中心，将同一条边作为一个种类，每一个种类的直线提取一条直线作为耐火砖的边界，随后由求取相邻直线的交点，以相邻的两点之间距离作为耐火砖的外形边长。外形边长即为耐火砖的几何尺寸。

在视觉系统对采集图像进行尺寸测量和分析之前，必须对采集到的图像做一些预处理，一般而言图像预处理包括滤波降噪、阈值分割获取待测目标，形态学处理以消除孤立噪声，平滑边界，经过边缘检测后的直线段用以测量尺寸。本章最终通过对比Hough变换结合K均值方法以及多边形拟合的尺寸测量方法的精度和效率，完成了耐火砖的尺寸测量。

图像预处理

摄像机所采集的图像，在成像、数字化以及传输过程中，难免会受到各种各样噪声的干扰，图像的质量往往会出现一定程度的退化，影响了图像的视觉效果。通常这些噪声干扰使得图像退化，表现为图像模糊，特征淹没，这会对图像分析产生不利，使所获得的图像质量较低。因此，抑制噪声，增强图像视觉效果对于提取图像特征，分析图像就显得尤为重要。

图像降噪是指在保留图像重要细节特征的前提下尽量地抑制其他噪声，是图像预处理中不可或缺的环节。滤波方法是使用较多的降噪方法，常见的线性邻域滤波有“均值滤波”，“高斯滤波”，常见的非线性滤波有“中值滤波”和“双边滤波”两种。

(1)均值滤波

平滑线性空间滤波器的输出(响应)是包含在滤波器模板邻域内的像素的简单平均值。使用这种均值滤波器进行滤波降噪的方法被称为均值滤波。均值滤波常用模板的数学表达式为：

均值滤波的优点是可以平滑图像，降低图像灰度的“锐化”变化，速度快。然而对于图像边缘这种由图像灰度锐化变化带来的特性，均值滤波存在负面效应，即会造成边缘模糊。由于需要计算耐火砖的外形几何尺寸，因此精确地提取边缘至为重要，因此，均值滤波无法满足需求。

(2)高斯滤波

高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器，有利于消除高斯噪声。常用的零均值离散高斯滤波器函数如下式所示：

高斯函数的图形如图2所示。

像素的颜色不仅由自身决定了，同时由其周围的像素加权决定，客观上减小了和周围像素的差异。同时这些权重的设定满足了越近权重越大的规律。从理论来讲，这些权重的分布满足了著名的所谓高斯分布。

(3)中值滤波

中值滤波器是一种非线性空间滤波器，是一种统计排序滤波器。其基本思想是：以滤波器包围的图像区域中所含像素的排序为基础，将像素邻域内灰度的中值代替中心像素的值。

中值滤波器具有优秀的去噪能力，而且比相同尺寸的线性平滑滤波器的模糊程度明显要低。此外，中值滤波对于消除脉冲噪声非常有效。

(4)双边滤波

双边滤波(Bilateral filter)在图像处理领域中有着广泛的应用，比如去噪、去马赛克、光流估计等等。双边滤波器是一种可以保边去噪的滤波器。之所以可以达到此效果，是因为滤波器是由两个函数构成：一个函数是由几何空间距离决定滤波器系数，另一个由像素差值决定滤波器系数。

双边滤波器的数学表达式如下：

其中I是像素的强度值，w_s(i,j)表示空间邻近度因子，w_r(i,j)表示亮度相似度因子。

双边滤波后对边缘的细节保存的最好，而高斯滤波和中值滤波均在一定程度上迷糊了边界。

在一个主频为2.9Ghz的pc上进行上述运算，所用时间如表1所示：

表1三种滤波方法运行时间对比表

高斯滤波	中值滤波	双边滤波
			137ms	1451ms	1030ms

可以看出，从保留边缘效果和算法效率两方面折中考虑，双边滤波是较为合理的选择。

ROI区域的阈值分割

经过激光传感器获取到的数据形式是高度数据的点云和亮度数据的灰度，两者融合为一幅16位的RGB图像。在实际工业视觉检测中，不可避免地会将背景和待测量物体的数据都获取到，因此，分割出图像中待测量物体的区域是进行图像处理的先决步骤，也是至为重要的一步。此待测物区域即为ROI(Region Of Interest)，确定ROI区域不但有利于精确地分析待测量物体的外形尺寸，也有利于缩小图像处理范围，提高算法效率。

在耐火砖的测量过程中，由于其尺寸相对于机械零件来说较大，因此也不可避免地会将背景引入到待测区域中。基于机器视觉测量其外形几何尺寸，因此准确地分割出耐火砖是进行耐火砖尺寸测量的关键。

大多数的图像分割算法是基于灰度值的两个基本性质：不连续性和相似性。本发明所用的阈值分割方法主要是基于灰度值的相似性。由于阈值处理直观，实现简单且计算速度快，因此图像阈值处理在图像分割应用中处于核心地位。

(1)灰度阈值处理基础

假设有图中的灰度直方图对应于图像f(x,y)，该图像由背景色上较亮物体组成，主体目标像素和背景像素所具有的灰度值组合成了两种支配模式。从背景中提取出目标物体的一种明显方法是选择一个将灰度模式分开的阈值T。其中，f(x,y)>T的任何一个点(x,y)称为一个对象点，否则称为背景点。即，分割后的图像g(x,y)由下式给出：

当T是一个适用于整个图像的常数时，该公式给出的处理称为全局阈值处理。当图像的灰度直方图包含有三个支配模式的直方图时，则这三个支配模式对应于暗色背景上的两个明亮物体。这里，如果f(x,y)≤T₁，则多阈值处理把点(x,y)分类属于背景；如果T₁<f(x,y)≤T₂，则分为一个物体；如果f(x,y)>T₂，则分为另一个物体。即分割图像由下式给出：

(2)Otsu阈值分割方法概述

Otsu算法中文名称为最大类间方差分割法。阈值处理可视为一种统计决策理论问题，其目的是在把像素分配给两个或多组(也称为分类)的过程中引入的平均误差最小。它是按图像的灰度特性，将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量，背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。Otsu方法在类间方差最大的情况下是最佳的，此外，它完全以在一幅图像的直方图上执行计算为基础，直方图是很容易得到的一维阵列。

令{0,1,2,…,L-1}表示一幅大小为像素的数字图像中的L个不同的灰度级，n_i表示灰度级为i的像素数。图像中的像素总数MN为MN＝n₀+n₁+n₂+…+n_L-1。算法实现步骤如下：

Step1：计算输入图像的归一化直方图。使用p_i＝n_i/MN,i＝0,1,2,...,L-1表示该直方图的各个分量。

Step2：计算累积和

其中k＝0,1,2,…,L-1。

Step3：计算累计均值

其中k＝0,1,2,…,L-1。

Step4：计算全局灰度均值

Step5：计算类间方差

Step6：得到Ostu阈值k^*，即使得

最大的k值。如果最大值不唯一，用相应检测到的各个最大值k的平均得到k^*。

Step7：在k＝k^*处计算，得到可分性度量η^*。

(3)耐火砖的ROI区域阈值分割

使用LMI 3D传感器采集到耐火砖RGB图像，将耐火砖从背景区域里分割出来是一个多阈值分割的问题。此处，多阈值的参数选择是将待测耐火砖分割出来的关键。

由上文所述的Otsu方法可知，该阈值处理方法可以扩展到任意数量的阈值。K类由K-1个阈值来分离，这些值

满足下式：

其灰度间隔大致可以分为三类(这三个类由两个阈值分隔)，类间方差由下式给出：

式中，

且有以下关系成立：

P₁m₁+P₂m₂+P₃m₃＝m_G (3-10)

P₁+P₂+P₃＝1 (3-11)

此时，使用下式寻找最佳阈值：

对上述耐火砖灰度图进行Otsu算法处理后可以得到最佳阈值：

从分割效果来看，并未将耐火砖完全隔离开来，但是与其他连通区域已经分开，此时从图像区域进行坐标定位，即可将耐火砖彻底独立出来，如图4所示。

形态学处理

由于图像采集的过程中难免受到外来因素的干扰，加上激光在边缘处发生了衍射现象，图像的边缘并不是平滑过渡，甚至边缘处还有孤立点噪声，因此形态学操作显得尤为重要。

形态学一词通常表示生物学的一个分支，该分支主要研究动植物的形态和结构。图像处理领域的形态学是指一种能够从图像中提取表达和描述区域形状的有用图像分量的数学集合论方法。基本形态学算子包括腐蚀，膨胀，开运算和闭运算。

(1)腐蚀和膨胀

腐蚀是一种最基本的数学形态学运算，其作用是消除物体边界点，使边界向内部收缩的过程，可以把小于结构元素的物体去除。选取不同大小的结构元素，就可以去除不同大小的物体。

设X为目标图像，B为结构元素，则目标图像X被结构元素B腐蚀的数学表达式为：

其中，x表示集合平移的位移量，Θ是腐蚀运算的运算符。

腐蚀运算的含义是，每当在目标图像中找到一个与结构元素相同的子图像时，就把该子图像中与结构元素的原点位置对应的那个像素位置标注出来，目标图像上被标注出来的所有像素组成的集合即为腐蚀运算的结果。其实质就是在目标图像中标出那些与结构元素相同的子图像的原点位置的像素。

膨胀是形态学中另一种基本运算。膨胀的作用与腐蚀相反，他是对物体二值化边界点进行扩充，将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程。

设X为目标图像，B为结构元素，则目标图像X被结构元素B膨胀的数学表达式为：

其中，x表示集合平移的位移量，Θ是膨胀运算的运算符。

膨胀运算的含义是，先对结构元素B做关于其原点的反射得到反射集合B^V，然后在目标图像X上将B^V平移x，则B^V平移后与目标图像X至少有一个非零公共元素相交时，对应的原点位置所组成的集合就是膨胀运算的结果。

(3)开运算和闭运算

在形态学运算中，除了腐蚀和膨胀两种基本运算外，还有两种重要的形态学运算：开运算和闭运算。

开运算是指使用同一个结构元素对目标图像先进行腐蚀运算，再进行膨胀运算的过程的运算方式。原图经过开运算后，能够去除孤立的小点、毛刺和小的连通区域，去除小物体、平滑较大物体的边界，并不明显改变其面积。

设X为目标图像，B为结构元素，则目标图像X被结构元素B开运算的数学表达式为：

其中，x表示集合平移的位移量，

是腐蚀运算的运算符。

闭运算是指使用同一个结构元素对目标图像先进行膨胀运算，再进行腐蚀运算的过程的运算方式。其功能是用来填充物体的细小空洞、连接邻近物体、平滑其边界，不明显改变目标图像的面积。

设X为目标图像，B为结构元素，则目标图像X被结构元素B开运算的数学表达式为：

其中，x表示集合平移的位移量，·是腐蚀运算的运算符。

待测耐火砖经过开运算和闭运算后，有效地平滑了边界，去除毛刺和填充了表面的细小空洞，方便了接下来的边缘检测。

边缘检测

在经过图像预处理后，将会得到图像质量相对较好的二值化图像。对于此二值化图像，求解其外形几何尺寸之前，目标主体的边缘提取是不可或缺的一步。

边缘检测是基于灰度突变来分割图像的常用方法。边缘模型，根据它们的灰度剖面来分类。台阶边缘是指在1个像素的距离上发生两个灰度级间的理想过渡。屋顶边缘是通过一个区域的线的模型，屋顶边缘的基底(宽度)由该线的宽度和尖锐度决定。

基于图像的边缘处会发生灰度值的突变，因此可以通过一阶或二阶导数来完成边缘的寻找，要得到一幅图像的梯度，则要求在图像的每个像素位置处计算偏导数

和

由于图像是数字量，因此关于一点邻域上的偏导数近似为：

基于上述原理，有以下边缘检测算子：

(1)Roberts算子

根据上式，可以直接得到Roberts算子模板为：

2x2大小的模板在概念上很简单，但是它们对于用关于中心点对称的模板来计算边缘方向不是很有用。

(2)Sobel算子

当使用最小模板为3x3时，考虑到了中心点对端数据的性质，并携带有关于边缘方向的更多信息。Sobel算子由两个3x3的卷积核形成，将图像中的每个像素点分别与这两个核做卷积，取值较大作为该像素点的灰度值，处理完毕即可得到一幅边缘强度图像。

Sobel算子能够较好地抑制(平滑)噪声，但是仅对垂直和水平边缘才能保持各向异性。

(3)Canny算子

Canny边缘检测算子是John F.Canny于1986年开发出来的一个多级边缘检测算法。

Canny算子基于三个基本目标：低错误率、边缘点应被很好地定位及单一的边缘点响应。

Canny从数学上表达了前面的三个准则，并试图找到这些表达式的最佳解。

Canny边缘检测的算法步骤如下：

Step1：利用高斯平滑函数对图像滤波以消除噪声。令f(x,y)表示输入图像，G(x,y)表示高斯函数，平滑后的图像为f_s(x,y)，则有：

f_s(x,y)＝G(x,y)*f(x,y) (3-20)

Step2：计算梯度幅值图像M和角度幅值图像θ。G_x和G_y分别表示水平方向和垂直方向的梯度幅值分量，由此计算出：

Step3：对梯度幅值图像进行非极大值抑制。仅仅得到全局的梯度并不足以确定边缘，因此为确定边缘，必须保留局部梯度最大的点，而抑制非极大值。利用梯度的方向，在每一点上，邻域的中心像素f(x,y)与沿着梯度线的两个像素相比。如果f(x,y)的梯度值不比沿梯度线的两个相邻像素梯度值大，则令f(x,y)＝0。

Step4：用双阈值处理和连接分析来检测并连接边缘。大的阈值会得到少量的边缘点以及众多的空隙。小的阈值会得到大量的边缘点以及众多的错误检测。以高阈值图像为基础，以低阈值图像为补充来连结图像的边缘。

耐火砖尺寸测量算法及其实现

基于Hough变换与K均值方法的尺寸测量算法

确定耐火砖图像的边缘之后，所得到的只是一堆离散点，所有像素都是连接的候选点，这样，必须基于预先定义的全局性质接受或删除某些点，检测到的曲线就会形成边界。

若给定一幅图像中的n个点，假设希望找到这些点中一个位于直线上的子集。一种可行的解决方法是先找到所有由每对点确定的直线，然后寻找靠近特定直线的点的所有子集。这种方法需要寻找n(n-1)/2-n²条直线。然后，对于每个点，要与所有直线执行(n)(n(n-1))/2-n³次比较。因此这种计算方法计算量过大而没有实际价值。

霍夫[Hough 1962]提出一种替代方法，通常称为霍夫变换。

1)Hough变换：

考虑xy平面上的一个点(x,y)和斜截式表达式为y＝ax+b的一条直线。使用极坐标系来表示直线，则有：

xcosθ+ysinθ＝ρ (3-23)

每条正弦曲线表示通过xy平面中一个特殊点(x_k,y_k)的一簇直线，交点对应于通过点(x_i,y_i)和(x_j,y_j)的直线。

霍夫变换可将ρθ参数空间划分为所谓的累加单元，其中(ρ_min,ρ_max)和(θ_min,θ_max)是所期望的参数范围；-90°≤θ≤90°和-D≤ρ≤D，其中D是图像对角的最大距离。位于坐标(i,j)处的单元具有累加值A(i,j)，它对应于与参数空间坐标(ρ_i,θ_j)相关联的正方形。最初，将这些单元初始化为0。然后，对于xy平面中的每个非背景点(x_k,y_k)，令θ等于θ轴上每个允许的细分值，同时使用方程ρ＝x_kcosθ+y_k sinθ解除对应的ρ。对ρ进行四舍五入，得到沿轴的最接近的允许单元值。若选择一个θ_p值得到的解ρ_q，则令A(p,q)＝A(p,q)+1。此过程结束后，A(i,j)中的值P将意味着xy平面中有P个点位于直线xcosθ_j+ysinθ_j＝ρ_j上。ρθ平面中的细分数量决定了这些点的共线性的精度。

2)K-Means方法：

K-means算法，又称为K均值算法，是很典型的基于距离的无监督聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。

给定样本集D＝{x₁,x₂,…,x_m}，“k均值”(k-means)算法针对聚类所得簇

C＝{C₁,C₂,…,C_K}划分最小化平方误差

其中，

是簇C_i的均值向量。上式表明，在一定程度上簇内样本围绕簇均值向量的紧密程度，E值越小，则簇内样本相似度越高。K均值算法流程如下：

输入：样本集D＝{x₁,x₂,...,x_m}；

聚类簇数k.

过程:

输出：簇划分C＝{C₁,C₂,...,C_k}

经过Hough变换算法进行直线检测会拟合出多条直线，此时结合K-Means的无监督聚类算法，从多组交点随机选取交点定义为聚类中心(4组)，最终可以将同一条边作为一个种类提取一条直线出来，随后由求取直线交点，两点之间距离即可求解出耐火砖的外形几何尺寸，结果如图5所示。

基于多边形拟合的尺寸测量算法

多边形拟合的算法流程如下：

算法流程:

Step1:令P是一个已排序序列，显然，这些点是一幅二值图像中的1值点。指定两个起始点A和B。它们是多边形的两个起始点。

Step2:指定一个阈值T，以及两个空堆栈“开”和“闭”。

Step3:如果P中的点对应于一条闭合曲线，则把A放到“开”中，并把B放到“开”和“闭”中。如果点对应于一条开放曲线，则把A放到“开”中，而把“B”放到“闭”。

Step4:计算从“闭”中最后一个顶点“开”中最后一个顶点的线的参数。

Step5:计算Step4中所得的直线至P中所有点的距离，序列把它们放到Step4所得的两个顶点之间。选择具有最大距离D_max的点V_max(解决任意性问题)

Step6:如果D_max>T，则把V_max作为一个新顶点放在“开”堆栈的末尾。此时转到Step4。

Step7:否则，从“开”中移除最后一个顶点，并把它作为“闭”的最后一个顶点插入。

Step8:如果“开”非空，转到Step4。

Step9:否则，退出。“闭”中的顶点就是拟合P中的多边形的顶点。

Hough变换&K-均值以及多边形拟合算法用于尺寸测量时均能达到要求，如表2所示，但是出于工厂自动化稳定性以及1s内的时间要求，故选择Hough变换结合K均值的方法用于耐火砖的尺寸测量。

表2尺寸测量算法对比

实施例2

耐火砖的表面划痕，其深度较浅，但是在冶炼钢铁的过程中，也会随着时间的推移，渗透腐蚀现象会愈发恶劣，最终会影响耐火砖的使用寿命，给钢铁冶炼带来质量和效益影响。因此，耐火砖的表面划痕检测尤为重要。

基于频率域滤波增强的耐火砖表面划痕识别方法，包括：

步骤1：采集耐火砖的原始图像，原始图像为彩色图像，对耐火砖的原始彩色图像进行通道分离、并获取G通道图像；

步骤2：从频率域的角度处理G通道图像，对G通道图像进行二维离散傅里叶变换及频率域滤波平滑、获得耐火砖时频域图像；

步骤3：对耐火砖时频域图像进行阈值处理和形态学处理，获得频率滤波后的耐火砖阈值图；

步骤4：用阈值法标记出耐火砖阈值图像中存在的所有连通域；根据不同连通域的特征筛选出划痕区域。

彩色图像通道及其分解

人眼中的锥状细胞是负责彩色视觉的传感器，人眼中的600～700万个锥状细胞可分为3个主要的感知类别，分别对应于红色、绿色和蓝色。大约65％的锥状细胞对红光敏感，33％对绿光敏感，只有2％对蓝光敏感。由于人眼的吸收特性，所看到的颜色是所谓的原色红(R)、绿(G)、蓝(B)的各种组合。一幅彩色图像f(x,y)可以表示为：

f(x,y)＝0.3f(x,y,R)+0.59f(x,y,G)+0.11f(x,y,B) (4-1)

根据上式可以对一幅彩色图像进行通道分解，得到其R、G、B三个通道的图像。

G通道的图像划痕缺陷最为明显，因此，将G通道图像分离出来，用于处理以得到划痕缺陷。

G通道的灰度直方图可以看出，只有一个波峰，因此，直接使用阈值来么分割出划痕区域，是不切实际的。灰度空间域的处理无法得到划痕缺陷的信息，因此可以从频率域的角度来处理G通道的图像。

二维离散傅里叶变换及频率域滤波平滑

由于表面划痕缺陷与深度信息无关，因此只需要对表面灰度信息进行处理，得到的G通道的图像为一幅二维图像，二维图像需要通过傅里叶变换得到其频率域。信号变化的快慢和频率域频率有关，噪声、边缘及跳跃部分代表图像的高频分量；背景和慢变部分代表图像的低频部分。因此，可以从频率域的角度来滤波增强划痕信息，以便于提取出表面划痕缺陷。

由于图像是数字信号，是离散量，二维离散傅里叶变换及其反变换表达式如下：

其中，f(x,y)是大小为M×N的数字图像，F(u,v)为频率域结果。式中x,y为空间域变量，u,v为频率域变量且x＝0,1,2,…,M-1,y＝0,1,2,…,N-1，u＝0,1,2,…,M-1,v＝0,1,2,…,N-1。

使用函数h(x,y)对二维离散图像f(x,y)进行卷积操作的表达式为：

其中，x＝0,1,2,...,M-1,y＝0,1,2,...,N-1

二维卷积定理为：

使用正弦形状的带通滤波器对频率域图像进行卷积操作。

根据傅里叶逆变换，可以得到时频域图像，参见图6。

基于连通域标记的表面划痕缺陷的识别

可知此时阈值法可以得到多个特征不一的区域，因此需要对这些区域做连通操作方能将各个区域隔离开来。数字图像的连通域一般分为四连通域和八连通域，具体定义如下：

位于坐标(x,y)处的像素p有4个水平和垂直的相邻像素，其坐标由下式给出：

(x+1,y),(x-1,y),(x,y+1),(x,y-1)

这组像素称为p的4邻域，如图9所示，用N₄(p)表示。

P的4个对角相邻像素的坐标如下：

并用N₄(p)表示。这些点与其4个邻点一起称为p的8邻域，用N₈(p)表示。

连通域(Connected Component)一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域。连通域分析是指将图像中的各个连通域找出并标记。连通域提取方法一般有以下两种：顺序标记法和区域生长法。

顺序标记法中比较经典的是Fu Chang提出的两遍扫描法，通过扫描两遍图像，将图像中存在的所有连通域找出并标记。两遍扫描法，顾名思义，指的就是通过扫描两遍图像，就可以将图像中存在的所有连通域找出并标记。算法思路：第一遍扫描时赋予每个像素位置一个标签，扫描过程中同一个连通域内的像素集合中可能会被赋予一个或多个不同标签，因此需要将这些属于同一个连通域但具有不同值的标签合并，也就是记录它们之间的相等关系；第二遍扫描就是将具有相等关系的相同标签所标记的像素归为一个连通域并赋予一个相同的标签(通常这个标签是相同标签中的最小值)。

下面是两遍扫描算法的简单步骤：

(1)第一次扫描：

访问当前像素B(x，y)，如果B(x，y)＝＝1：

a、如果B(x，y)的领域中像素值都为0，则赋予B(x，y)一个新的label：

label+＝1，B(x，y)＝label；

b、如果B(x，y)的临域中有像素值>1的像素Neighbors：

1)将Neighbors中的最小值赋予给B(x，y)，即执行B(x，y)＝min{Neighbors}

2)记录Neighbors中各个值(label)之间的相等关系，即这些值(label)同属同一个连通域；labelSet[i]＝{label_m，..，label_n}，labelSet[i]中的所有label都属于同一个连通域

(2)第二次扫描：

访问当前像素B(x，y)，如果B(x，y)>1：

找到与label＝B(x，y)同属相等关系的一个最小label值，赋予给B(x，y)。

这样，完成扫描后，图像中具有相同label值的像素就组成了同一个连通域。

区域生长法是基于种子填充法，种子填充方法来源于计算机图形学，常用于对某个图形进行填充。思路：选取一个前景像素点作为种子，然后根据连通域的两个基本条件(像素值相同、位置相邻)将与种子相邻的前景像素合并到同一个像素集合中，最后得到的该像素集合则为一个连通域。

种子填充算法的执行步骤如下：

(1)扫描图像，直到当前像素点B(x，y)＝＝1：

a、将B(x，y)作为种子(像素位置)，并赋予其一个label，然后将该种子相邻的所有前景像素都压入栈中；

b、弹出栈顶像素，赋予其相同的label，然后再将与该栈顶像素相邻的所有前景像素都压入栈中；

c、重复b步骤，直到栈为空；

此时，便找到了图像B中的一个连通域，该区域内的像素值被标记为label；

(2)重复第(1)步，直到扫描结束；

扫描结束后，就可以得到图像B中所有的连通域。

上述两个算法，种子填充算法一般都是基于递归算法，而且需要消耗大量的堆栈空间，如果图像中存在大面积的连通域会导致系统堆栈溢出。而两遍扫描算法则具有相对较好的执行效率。因此，采用两遍扫描法来进行连通域的标记。对阈值后的区域进行连通域标记，标记之后，有相同标记的区域就认为是一个连通域，可以根据不同连通域的特征进行判断和筛选，从而实现划痕区域的提取。

经过连通域标记算法可以得到多个连通域，经主观判断可知划痕区域的特征较其他区域表现的较为狭长，因此可以根据这个特征来提取划痕。

一般描述图像区域的特征描绘子有以下几种：

1)圆度

圆度是指区域的面积比上外接圆面积的比值；形状越接近圆，比值越接近1；范围(0<C<1)。圆度的数学表达式如下：

C＝S/(R^∧2*π) (4-7)其中，S是区域的面积，R是外接圆半径。

2)矩形度

矩形度是指区域的面积与其最小外接矩形面积的比值；越接近矩形，值越接近1范围(0<C<1)。矩形度反映了一个物体对其外接矩形的充满程度。矩形度的数学表达式为；

C＝S/(S_MER) (4-8)其中，S是区域的面积，是S_MER外接矩形的面积。

3)偏心度

偏心度是指区域等效椭圆的长半轴与短半轴的比值。偏心度的数学表达式如下：

C＝Ra/Rb (4-9)其中，Ra是长半轴，Rb是短半轴。

最终，偏心度参数设置为150-999，矩形度参数设置为0.5-1之间，可以将所需要识别的狭长的划痕连通域提取出来，提取结果如图7所示。

此时，将划痕所在的连通域的面积进行像素统计，经过标定结果，可以得到划痕区域的面积和长度为2.018cm²，28.22mm。

实施例3

耐火砖在生产的过程中，除了因为接触而造成的表面划痕，也会因为模具的损耗而造成一些深度缺陷：凹坑麻面和缺角缺棱等。Gocator2350传感器采集到的图像数据是影像数据和三维点云融合在一起的彩色点云数据。对此，可以从点云数据中的高度信息中分析得到深度缺陷。

传感器采集的数据是彩色点云数据，其坐标系是以传感器位姿为基准，因此首先需要对耐火砖所测上表面进行拟合，沿其法向进行高度分割，即可得到深度缺陷信息。

基于高度直方图分割的耐火砖深度缺陷的识别方法，包括以下步骤：

步骤1、利用结构光传感器获取耐火砖的彩色点云数据，彩色点云数据由影像数据和三维点云融合在一起，彩色点云数据的坐标系是以传感器位姿为基准；

步骤2、使用最小二乘法对耐火砖图像点云进行平面拟合获得零平面，并获取原始耐火砖图像的高度和宽度，根据原始耐火砖图像的尺寸参数和零平面，生成对应的基准平面图像；

步骤3、对原始耐火砖图像与基准平面图像进行作差，获得倾斜校正后的点云数据图；

步骤4、对倾斜校正后的点云的高度直方图进行滤波分割，得到设定深度的点云信息，设置高度带通滤波器的高度值范围对点云高度直方图进行滤波，在高度值范围内的连通域均视为深度缺陷。

基于计算灰度值矩及一阶平面近似法的平面拟合

矩是描述图像特征的算子，如今图像矩技术已广泛应用于图像检索和识别、图像匹配、图像重建、数字压缩、数字水印及运动图像序列分析等领域。

图像可以被看成一个平板物体，每个像素点的值看成是该处的密度。对某点求期望就是该图像在该点处的矩。对于一幅2D连续图像f(x,y)(≥0)，p+q阶矩m_pq定义为：

其中，p，q是非负的整数，对于离散化数字图像，上式为：

其中，(r₀,c₀)为质心坐标，且

一阶平面近似方法是通过最小化灰度值和平面间的距离来实现的，可以通过以下公式来描述：

Image(r,c)＝α(r-r₀)+β(c-c₀)+γ (4-13)其中，r₀和c₀即为待拟合区域的横纵坐标，γ为待拟合区域的平均灰度。

令F为整个平面的面积，MRow和MCol分别是沿着行和列方向的矩，则有：

MRow＝sum((r-r₀)*(Image(r,c)-γ))/F² (4-14)

MCol＝sum((c-r₀)*(Image(r,c)-γ))/F² (4-15)

基于倾斜校正的高度直方图阈值分割提取深度缺陷

根据上式求得的拟合参数α,β,γ，再结合原图的大小，即可生成一幅图像作为基准。此时，将原图与基准图像进行作差，即可得到倾斜校正后的点云数据图，参见图8。

此时，对于倾斜校正后的高度图进行分割，即可得到沿着拟合平面法向进行分割的效果。对倾斜校正后的高度数据进行概率分析。

设置高度带通滤波器，高度值范围为-2.5-0mm，进行滤波分割，可以得到在此范围内的所有深度缺陷，如图9所示。

对分割出的所有满足高度范围内的深度缺陷，都标记为1，其余标记为0。根据连通域算法，提取出连通域，深度缺陷的面积在40mm²以上的区域提取如下：

凹坑麻面：[98，122，178，59，281，117，107，120，116，55，290，50，103，139]

缺角缺棱：[92，120，97，165，63，160]

对不同类型的耐火砖进行多次测量实验，在多次重复实验中，耐火砖的缺陷实验数据如表3所示，表中的缺陷值是按照约定的指标，凹坑麻面上限均为1.5mm，，其中OK表示合格，NG表示不合格。由测量结果可知，连通域量化缺陷方法得到了有效验证，即该测量系统可以满足缺陷识别要求。

表3缺陷测量实验结果

数据分析表明系统的缺陷识别满足精度要求，从而证明本套视觉测量方法的稳定性和重复性精度是满足需求的。

实施例4

基于拟合平面法向量的耐火砖表面倾斜角的测量

耐火砖在生产过程中受模具损耗等影响，其表面平行度，即表面倾斜角参数也应控制在一定范围内，否则会对钢铁冶炼生产过程造成泄露等不利影响。表面倾斜角求解步骤如下：

1)通过对上表面区域进行一阶平面方法近似拟合，可以得到上表面区域的拟合平面，

2)在上表面随机确立三个点(x₁,y₁,z₁),(x₂,y₂,z₂),(x₃,y₃,z₃)，可生成两个向量

3)两个向量求叉乘得到法向量

4)求解二面角，确定其倾斜角

实验中，测得的

计算得到θ＝1.60073°。按照需求表面允许最大倾角为1.2°，可知表面倾角不满足工况要求。

步骤2)中，使用最小二乘法对耐火砖图像点云进行平面拟合获得拟合平面，根据原始耐火砖图像的尺寸参数和拟合平面，生成对应的基准平面图像。

在多次重复实验中，耐火砖的缺陷实验数据如表4所示，表面平行度上限为1.6°，其中OK表示合格，NG表示不合格。由测量结果可知，即该测量方法可以满足缺陷识别要求。

表4缺陷测量实验结果

对实验结果进行分析，数据分析表明系统的缺陷识别满足精度要求，从而证明本套视觉测量系统的稳定性和重复性精度是满足需求的。

实验验证

对不同类型的耐火砖进行多次测量实验，利用本发明的测量方法对采集到的耐火砖进行分析，部分实验测量结果如表5所示。

表5尺寸测量实验结果

尺寸序号	系统测量值(mm)	实际测量值(mm)
			L1	154.55	154
L2	233.65	234
			L3	153.75	154
L4	234.34	234
			L5	98.56	98
L6	98.45	98
			L7	98.25	98
L8	154.37	154
			L9	234.35	234
L10	154.26	154
			L11	234.57	234
L12	98.45	98

由尺寸测量实验结果表可知，对耐火砖的6个面进行扫描，统计分析后，测量得到的尺寸测量误差分布在0.25-0.57mm之间，精度满足1mm的生产质量要求。根据上表数据绘制统计图如图11所示，图中虚线为误差趋势项，由图可知，误差项均为正，此处可推测为测量系统的机械结构精度所致。因此，可以取趋势项均值0.4mm作为补偿，以此减小系统误差。

基于本文的理论方法和试验流程进行30次重复试验，均满足精度要求。且趋势项均值基本分布在0.4mm附近，因此均可采用0.4mm作为整个系统的均值补偿。

在多次重复实验中，耐火砖的缺陷实验数据如缺陷测量实验结果表6所示，表中的缺陷值是按照约定的指标，缺角缺棱和凹坑麻面上限均为1.5mm，表面平行度上限为1.6°，其中OK表示合格，NG表示不合格。由测量结果可知，连通域量化缺陷方法得到了有效验证，即该测量系统可以满足缺陷识别要求。

表6缺陷测量实验结果

本发明的基于线结构光3D视觉耐火砖的测量系统，对实验结果进行分析，数据分析表明系统的尺寸测量误差极值不超过1mm，缺陷识别也满足精度要求，从而证明本套视觉测量系统的稳定性和重复性精度是满足需求的。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (7)

1.基于机器视觉的耐火砖测量方法，包含以下步骤：

步骤1、搭建耐火砖测量装置，将耐火砖放置在可转动的转台上，使耐火砖的待测量表面正对三结构光激光传感器的位置，使导轨平动，三结构光激光传感器扫描耐火砖的待测量表面，以获取灰度信息和高度信息融合的耐火砖的原始彩色图像；

步骤2、对原始彩色图像滤波降噪，并分割出耐火砖所在的连通域，获得耐火砖连通域图像；

步骤3、对耐火砖连通域图像进行形态学处理，获得消除孤立噪声的修正后耐火砖图像；对修正后耐火砖图像进行边缘检测，获得边界直线段以及相邻直线段的交点，以相邻两个交点之间的距离作为耐火砖的边界尺寸；

和、或步骤4、耐火砖连通域图像进行通道分离，获得G通道图像，对G通道图像进行频域滤波增强获得时频域图像，对时频域图像识别所有连通域，根据连通域参数确定划痕区域；

和、或步骤5、采集耐火砖的彩色点云数据，对耐火砖所测上表面进行拟合，沿其上表面法向对点云数据进行高度分割，设置高度范围以筛选出耐火砖的深度缺陷；

和、或步骤6、采集耐火砖的彩色点云数据，对耐火砖所测上表面进行拟合得到拟合平面，获取拟合平面的法向量并计算表面倾斜角；

步骤7、使转台转动到耐火砖的下一检测面，重复执行步骤1-7；

所述搭 建耐火砖测量装置包括图像采集模块，控制模块，图像处理模块和反馈模块，图像采集模块具有底座，底座上设有承载三结构光激光传感器的导轨，步进电机通过联轴器带动三结构光激光传感器移动，承载耐火砖的转台固定于底座，三结构光激光传感器对准耐火砖的待测表面并扫描待测耐火砖的4 个端面；控制模块的输入端与图像采集模块连接，控制模块的输出端分别与图像处理模块和反馈模块连接，反馈模块包括行程开关，和执行剔除筛选操作的机械手；图像采集模块采集耐火砖图像信息，图像处理模块获取耐火砖图像信息，并对耐火砖图像信息进行分析，控制模块获得分析结果，控制模块将分析结果反馈至反馈模块；

根据两遍扫描法获取连通域，包括以下操作：

对耐火砖阈值图像进行第一遍扫描，赋予每个像素位置一个标签，赋予同一个连通域内的像素集合一个或多个不同标签，合并属于同一个连通域但具有不同值的标签；

对耐火砖阈值图像进行第二遍扫描，将具有相等关系的相同标签所标记的像素归为一个连通域，赋予连通域一个相同的标签。

2.根据权利要求1所述的基于机器视觉的耐火砖测量方法，其特征在于，形态学处理包括对耐火砖图像进行开运算和闭运算，进行开运算去除孤立点噪声；进行闭运算使耐火砖图像边界平滑。

3.根据权利要求2所述的基于机器视觉的耐火砖测量方法，其特征在于，使用candy算子进行边缘检测：用高斯平滑函数对修正后耐火砖图像滤波，令修正后耐火砖图像为f(x,y)，高斯函数为G(x,y)，平滑后的图像为fs(x,y)，则

fs(x,y)＝G(x,y)*f(x,y)；计算梯度幅值图像M和角度幅值图像

其中，Gx表示水平方向的梯度幅值分量，Gy表示垂直方向的梯度幅值分量；对梯度幅值图像M进行非极大值抑制：在梯度方向，在每一点上，领域的中心像素f(x,y)与沿着梯度线的两个相邻像素相比，若f(x,y)的梯度值小于或等于沿梯度线的两个相邻像素的梯度值，则令f(x,y) ＝0；采用双阈值检测并连接边缘，以高阈值图像为基础，以低阈值图像为补充来连接图像边缘。

4.根据权利要求3所述的基于机器视觉的耐火砖测量方法，其特征在于，步骤3中，获取耐火砖的边界尺寸包括以下操作：

采集耐火砖的原始图像，对原始图像进行滤波降噪和阈值分割，获得耐火砖的连通域，将耐火砖连通域从原始图像中分离，获得耐火砖连通域图像；

对耐火砖连通图像进行形态学处理，获得修正后耐火砖图像；

对修正后耐火砖图像进行边缘检测，获得耐火砖的边缘检测图像；确定耐火砖图像的边缘后，边缘由一堆离散点组成，所有离散点都是连接的候选点；

通过边缘的离散点检测到曲线形成耐火砖的边界：经过Hough变换算法对离散点进行直线检测拟合出多条直线，对拟合出的直线结合K-Means的无监督聚类算法，从多组交点随机选取交点定义为聚类中心，将同一条边作为一个种类，每一个种类的直线提取一条直线作为耐火砖的边界，随后由求取相邻直线的交点，以相邻的两点之间距离作为耐火砖的外形边长。

5.根据权利要求4所述的基于机器视觉的耐火砖测量方法，其特征在于，步骤4中，获取划痕区域包括以下操作：采集耐火砖的原始图像，原始图像为彩色图像，对耐火砖的原始彩色图像进行通道分离、并获取G通道图像；

从频率域的角度处理G通道图像，对G通道图像进行二维离散傅里叶变换及频率域滤波平滑、获得耐火砖时频域图像；

对耐火砖时频域图像进行阈值处理和形态学处理，获得频率滤波后的耐火砖阈值图；用阈值法标记出耐火砖阈值图像中存在的所有连通域；根据连通域的特征筛选出划痕区域，连通域的特征包括圆度，矩形度和偏心度，偏心度参数设置为150-999，矩形度参数设置为0.5-1之间。

6.根据权利要求5所述的基于机器视觉的耐火砖测量方法，其特征在于，步骤5中，获取深度缺陷包括以下操作：利用结构光传感器获取耐火砖的彩色点云数据，彩色点云数据由影像数据和三维点云融合在一起，彩色点云数据的坐标系是以传感器位姿为基准；

使用最小二乘法对耐火砖图像点云进行平面拟合获得零平面，并获取原始耐火砖图像的高度和宽度，根据原始耐火砖图像的尺寸参数和零平面，生成对应的基准平面图像；对原始耐火砖图像与基准平面图像进行作差，获得倾斜校正后的点云数据图；

对倾斜校正后的点云的高度直方图进行滤波分割，得到设定深度的点云信息，设置高度带通滤波器的高度值范围对点云高度直方图进行滤波，在高度值范围内的连通域均视为深度缺陷。

7.根据权利要求6所述的基于机器视觉的耐火砖测量方法，其特征在于，步骤6中，计算表面倾斜角包括以下操作：用结构光传感器采集得到的耐火砖的彩色点云数据；

使用一阶平面方法对彩色点云数据的上表面区域进行近似拟合，获得拟合平面；在拟合平面上确定不共线的三个点，分别为(x1,y1,z1),(x2,y2,z2),(x3,y3,z3)，生成两个向量

两个向量求叉集得到法向量

根据法向量获得耐火砖的表面倾斜角θ，

其中

Images