CN112669208B - 利用一种基于多相机的电镀金刚石线锯表面图像采集装置进行图像拼接的方法 - Google Patents

Abstract

本发明涉及一种基于多相机的电镀金刚石线锯表面图像采集装置及图像拼接方法，涉及电镀金刚石线锯表面图像采集及图像拼接领域，本方法首先利用多台相机同时采集电镀金刚石线锯表面同一轴向位置，不同角度的图像，然后通过图像展开、图像预处理、特征点查找、特征点匹配、匹配特征点对筛选、配准模型求解、图像重采样、重合区域去除等步骤完成电镀金刚石线锯表面图像的拼接。本方法及装置可以得到电镀金刚石线锯全圆柱表面图像，利用全圆柱表面图像对电镀金刚石线锯表面质量进行视觉检测可以有效提高检测精度。本方法对提高电镀金刚石线锯表面质量在线检测精度具有指导价值。

Description

利用一种基于多相机的电镀金刚石线锯表面图像采集装置进 行图像拼接的方法

技术领域

本发明涉及一种对电镀金刚石线锯表面图像进行采集的装置及图像拼接的方法，特别涉及一种利用多相机对电镀金刚石线锯表面进行图像采集的装置及对电镀金刚石线锯表面图像进行拼接得到电镀金刚石线锯全圆柱表面图像的方法。

背景技术

电镀金刚石线锯因其加工效率高、切缝小的优点，广泛应用于单晶硅、蓝宝石、单晶碳化硅、陶瓷等硬脆性材料的切片加工领域。电镀金刚石线锯表面质量的好坏会对其切片加工质量及精度产生直接影响。因此电镀金刚石线锯表面质量检测是电镀金刚石线锯生产过程中必不可少的工序。现有的电镀金刚石线锯表面质量检测方式主要分为人工检测和基于机器视觉的在线检测。人工检测方式需要借助显微镜等拍摄电镀金刚石线锯表面图像，并利用人工对其进行定性分析，这种检测方式检测效率低且成本高。基于机器视觉的在线检测方法检测效率高、成本低，且能实现对电镀金刚石线锯表面质量的定量表征。由于电镀金刚石线锯表面为圆柱形，通过单台相机无法获得电镀金刚石线锯的全圆柱表面图像。而基于电镀金刚石线锯部分表面图像进行检测时会存在较大误差，检测精度相对较低。利用多台相机采集电镀金刚石线锯表面的多个角度的图像，通过图像拼接得到电镀金刚石线锯的全圆柱表面图像，基于全圆柱表面图像进行电镀金刚石线锯的表面质量检测可以消除单幅图像检测时存在的误差，有效提高表面质量检测精度。因此本方法对提高电镀金刚石线锯表面质量在线检测精度具有指导意义。

发明内容

为了克服基于单相机进行电镀金刚石线锯表面质量检测时存在的误差，本方法提供了一种基于多相机的电镀金刚石线锯表面图像采集装置及图像拼接方法。该方法能获得电镀金刚石线锯全圆柱表面图像，从而能够有效提高电镀金刚石线锯表面质量在线检测精度，该装置是实现该方法的基础。本发明的技术方案如下：

一种基于多相机的电镀金刚石线锯表面图像采集装置，包括以下5个子装置组成：

子装置1.工业相机：用于采集电镀金刚石线锯表面的原始图像；

子装置2.光源：用于增加电镀金刚石线锯镀层与表面磨粒在图像中的灰度值差异；

子装置3.载物台：用于安装工业相机、光源、导轮；

子装置4.导轮：电镀金刚石线锯生产时保证其与镜头之间的距离稳定不变；

子装置5.计算机：用于安装图像采集软件。

上述基于多相机的电镀金刚石线锯表面图像采集装置，安装过程包括以下特征：

特征(1)平台安装过程中尽量保证4台工业相机沿着电镀金刚石线锯表面间隔90゜均匀分布且光心大致在同一平面上；

特征(2)采用低角度光前向照明的光源布置方式。

为了实现电镀金刚石线锯表面图像拼接，本发明基于多相机的电镀金刚石线锯表面图像拼接方法的步骤为：

步骤(1)4台工业相机同时采集电镀金刚石线锯同一轴向位置，不同角度的表面图像；

步骤(2)通过式(1)，式(2)，式(3)，式(4)，式(5)得到电镀金刚石线锯表面原始图像中像素与展开后电镀金刚石线锯表面图像中像素的坐标变换关系，如图4所示，根据此坐标变换关系展开图像；

式中，u₁为金刚石线锯原始图像中芯线靠近图像坐标系原点O₁的母线U坐标值，u₂为金刚石线锯原始图像中芯线远离图像坐标系原点的母线U坐标值，u为金刚石线锯表面原始图像中像素的U坐标值；

式中，r表示电镀金刚石线锯原始图像中芯线的半径，u₁为金刚石线锯原始图像中芯线靠近图像坐标系原点O₁的母线U坐标值，u₂为金刚石线锯原始图像中芯线远离图像坐标系原点的母线U坐标值；

s_x＝r·α (4)

式中，s_u为电镀金刚石线锯表面展开图像中的U坐标，u₁为金刚石线锯原始图像中芯线靠近图像坐标系原点O₁的母线U坐标值；

步骤(3)图像预处理：通过高斯滤波滤除电镀金刚石线锯表面图像中存在的噪声，利用Otsu 算法对电镀金刚石线锯表面图像进行全局自适应二值化分割，由形态学中的开运算消除二值化图像中存在的小噪点；

步骤(4)以电镀金刚石线锯表面图像中的磨粒重心为特征点，得到每个特征点的坐标信息；

步骤(5)利用电镀金刚石线锯表面同一磨粒，在相邻工业相机所采集图像中的映射关系，根据式(6)设置搜索区域得到匹配特征点对；

式中，

表示参考图像中特征点的U坐标值，

表示参考图像中特征点的V坐标值，

表示输入图像中特征点的U坐标值，v₂表示输入图像中特征点的V坐标值，Δu表示在U方向允许的偏差阈值，Δv表示在V方向允许的偏差阈值；

步骤(6)对步骤(5)中得到的匹配特征点对进行筛选；

步骤(7)用步骤(6)中筛选出的特征点对，由最小二乘拟合求解出电镀金刚石线锯表面图像平移模型中的未知参数；

步骤(8)利用电镀金刚石线锯表面图像平移模型中的参数，得到单幅电镀金刚石线锯表面图像中像素与拼接后电镀金刚石线锯表面图像中像素之间的映射关系，通过图像重采样得到初步拼接好的电镀金刚石线锯表面图像；

步骤(9)去除步骤(8)所得图像两侧的重合区域，得到完整的电镀金刚石线锯表面图像；

进一步的，所述步骤(4)包括以下步骤：

步骤(4.1)通过连通域查找，得到电镀金刚石线锯表面二值化图像中每个磨粒所包含像素的坐标值；

步骤(4.2)利用式(7)得到图像中磨粒的重心位置((4)；

式中，A表示连通区域R中包含的像素数，u表示R中包含像素的U坐标，v表示R中包含像素的V坐标，

表示磨粒图像重心的U坐标，

表示磨粒图像重心的V坐标；

进一步的，所述步骤(6)包括以下步骤：

步骤(6.1)通过式(8)以一对匹配点对求解平移模型；

式中，C_1i，C_2i表示由第i对匹配特征点对得到的图像平移模型参数，

表示第i对匹配特征点对中位于参考图像中的特征点的U坐标和V坐标，

表示第i对匹配特征点对中位于输入图像中的特征点的U坐标和V坐标；

步骤(6.2)通过式(9)利用剩余匹配点对验证模型的正确性从而完成对步骤(6.1)中匹配点对的筛选；

式中，

表示第j(j≠i)对匹配特征点对中位于参考图像中的特征点的U坐标和V坐标，

表示第j(j≠i)对匹配特征点对中位于输入图像中的特征点的U坐标和V坐标，C_1i，C_2i表示由第i对匹配特征点对得到的图像平移模型参数，du表示在U方向上允许的最大模型误差，dv表示在V方向上允许的最大模型误差；

步骤(6.3)通过对所有匹配点对的筛选得到不同工业相机所采集图像之间的正确匹配特征点对；

进一步的，所述步骤(9)包括以下步骤：

步骤(9.1)检测位于初步拼接好的电镀金刚石线锯表面图像两侧的，重合区域的中心线；

步骤(9.2)检测步骤(9.1)中得到的中心线穿过的磨粒，并保存磨粒的位置信息；

步骤(9.3)根据步骤(9.2)中所检测到的磨粒与步骤(9.1)中所检测到的中心线之间的相对位置关系得到重合区域去除路径；

步骤(9.4)根据步骤(9.3)中得到的路径，去除图像中的重合区域，得到完整拼接图像；

与单相机采集电镀金刚石线锯表面图像相比，本方法及装置的优越性体现在，可消除基于电镀金刚石线锯部分表面图像对其进行质量检测时存在的误差，从而可以提高电镀金刚石线锯表面质量检测精度，在电镀金刚石线锯机器视觉在线检测领域具有广泛的应用前景，尤其对实现电镀金刚石线锯的智能制造意义更加明显。

附图说明

图1为本发明中电镀金刚石线锯表面图像采集装置示意图；

图2为本发明基于多相机的电镀金刚石线锯表面图像拼接方法的基本流程图；

图3为单相机采集的金刚石线锯表面原始图像；

图4为金刚石线锯表面原始图像与展开图像之间的坐标变换关系示意图；

图5为单相机采集的金刚石线锯表面原始图像展开结果；

图6为对金刚石线锯表面展开图像插值后的结果；

图7为特征点查找结果；

图8为特征点匹配结果；

图9为初步拼接图像的重合区域去除路径规划结果；

图10为拼接好的金刚石线锯全圆柱表面图像；

具体实施方式

下面结合具体实施例来进一步描述本发明，本发明的优点和特点将会随着描述而更为清楚。但实施例仅是范例性的，并不对本发明的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换，但这些修改和替换均落入本发明的保护范围内。

实施例1一种基于多相机的电镀金刚石线锯表面图像采集装置

如图1所示，基于多相机的电镀金刚石线锯表面图像采集装置包括以下5个子装置组成：

子装置1.工业相机：用于采集电镀金刚石线锯表面的原始图像；

子装置2.光源：用于增加电镀金刚石线锯镀层与表面磨粒在图像中的灰度值差异；

子装置3.载物台：用于安装工业相机、光源、导轮；

子装置4.导轮：电镀金刚石线锯生产时保证其与镜头之间的距离稳定不变；

子装置5.计算机：用于安装图像采集软件。

上述基于多相机的电镀金刚石线锯表面图像采集装置，安装过程包括以下特征：

特征(1)平台安装过程中尽量保证4台工业相机沿着电镀金刚石线锯表面间隔90゜分布且光心大致在同一平面上；

特征(2)采用低角度光前向照明的光源布置方式。

实施例2基于多相机的电镀金刚石线锯表面图像拼接方法

如图2所示，具体步骤如下：

步骤(1)4台工业相机同时采集电镀金刚石线锯同一轴向位置，不同角度的表面图像，结果如

图3所示；

步骤(2)通过式(1)，式(2)，式(3)，式(4)，式(5)得到电镀金刚石线锯表面原始图像中像素与展开后电镀金刚石线锯表面图像中像素的坐标变换关系，如图4所示，根据此坐标变换关系展开图像，展开结果如图5所示，利用线性插值补全图像，结果如图6所示；

式中，u₁为金刚石线锯原始图像中芯线靠近图像坐标系原点O₁的母线U坐标值，u₂为金刚石线锯原始图像中芯线远离图像坐标系原点的母线U坐标值，u为金刚石线锯表面原始图像中像素的U坐标值；

式中，r表示电镀金刚石线锯原始图像中芯线的半径，u₁为金刚石线锯原始图像中芯线靠近图像坐标系原点O₁的母线U坐标值，u₂为金刚石线锯原始图像中芯线远离图像坐标系原点的母线U坐标值；

s_x＝r·α (4)

式中，s_u为电镀金刚石线锯表面展开图像中的U坐标，u₁为金刚石线锯原始图像中芯线靠近图像坐标系原点O₁的母线U坐标值；

步骤(3)图像预处理：通过高斯滤波滤除电镀金刚石线锯表面图像中存在的噪声，利用Otsu 算法对电镀金刚石线锯表面图像进行全局自适应二值化分割，由形态学中的开运算消除二值化图像中存在的小噪点；

步骤(4)以电镀金刚石线锯表面图像中的磨粒重心为特征点，如图7所示，得到每个特征点的坐标信息，具体如下：

步骤(4.1)通过连通域查找，得到电镀金刚石线锯表面二值化图像中每个磨粒所包含像素的坐标值；

步骤(4.2)利用式(6)得到图像中磨粒的重心位置((4)；

式中，A表示连通区域R中包含的像素数，u表示R中包含像素的U坐标，v表示R中包含像素的V坐标，

表示磨粒图像重心的U坐标，

表示磨粒图像重心的V坐标；

步骤(5)利用电镀金刚石线锯表面同一磨粒，在相邻工业相机所采集图像中的映射关系，根据式(7)设置搜索区域得到匹配特征点对，结果如图8所示；

式中，

表示参考图像中特征点的U坐标值，

表示参考图像中特征点的V坐标值，

表示输入图像中特征点的U坐标值，v₂表示输入图像中特征点的V坐标值，Δu表示在U方向允许的偏差阈值，Δv表示在V方向允许的偏差阈值；

步骤(6)对步骤(5)中得到的匹配特征点对进行筛选，具体如下：

步骤(6.1)通过式(8)以一对匹配点对求解平移模型；

式中，C_1i，C_2i表示由第i对匹配特征点对得到的图像平移模型参数，

表示第i对匹配特征点对中位于参考图像中的特征点的U坐标和V坐标，

表示第i对匹配特征点对中位于输入图像中的特征点的U坐标和V坐标；

步骤(6.2)通过式(9)利用剩余匹配点对验证模型的正确性从而完成对步骤(6.1)中匹配点对的筛选；

式中，

表示第j(j≠i)对匹配特征点对中位于参考图像中的特征点的U坐标和V坐标，

表示第j(j≠i)对匹配特征点对中位于输入图像中的特征点的U坐标和V坐标，C_1i，C_2i表示由第i对匹配特征点对得到的图像平移模型参数，du表示在U方向上允许的最大模型误差，du表示在U方向上允许的最大模型误差，dv表示在V方向上允许的最大模型误差；

步骤(6.3)通过对所有匹配点对的筛选得到不同工业相机所采集图像之间的正确匹配特征点对；

步骤(7)用步骤(6)中筛选出的特征点对，由最小二乘拟合求解出电镀金刚石线锯表面图像平移模型中的未知参数；

步骤(8)利用电镀金刚石线锯表面图像平移模型中的参数，得到单幅电镀金刚石线锯表面图像中像素与拼接后电镀金刚石线锯表面图像中像素之间的映射关系，通过图像重采样得到初步拼接好的电镀金刚石线锯表面图像；

步骤(9)去除步骤(8)所得图像两侧的重合区域，得到完整的电镀金刚石线锯表面图像，具体如下：

步骤(9.1)检测位于初步拼接好的电镀金刚石线锯表面图像两侧的，重合区域的中心线；

步骤(9.2)检测步骤(9.1)中得到的中心线穿过的磨粒，并保存磨粒的位置信息；

步骤(9.3)根据步骤(9.2)中所检测到的磨粒与步骤(9.1)中所检测到的中心线之间的相对位置关系得到重合区域去除路径，结果如图9所示；

步骤(9.4)根据步骤(9.3)中得到的路径，去除图像中的重合区域，得到完整拼接图像，结果如图10所示；

实验例：以某品牌的线径为160μm的电镀金刚石线锯为例，图像拼接结果如图10所示。

Claims (4)

1.利用一种基于多相机的电镀金刚石线锯表面图像采集装置进行图像拼接的方法，其特征在于，包括以下步骤：

步骤(1)4台工业相机同时采集电镀金刚石线锯同一轴向位置、不同角度的表面图像；

步骤(2)通过式(1)，式(2)，式(3)，式(4)，式(5)得到电镀金刚石线锯表面原始图像中像素与展开后电镀金刚石线锯表面图像中像素的坐标变换关系，根据此坐标变换关系展开图像；

式中，u₁为金刚石线锯原始图像中芯线靠近图像坐标系原点O₁的母线U坐标值，u₂为金刚石线锯原始图像中芯线远离图像坐标系原点的母线U坐标值，u为金刚石线锯表面原始图像中像素的U坐标值；

式中，r表示电镀金刚石线锯原始图像中芯线的半径，u₁为金刚石线锯原始图像中芯线靠近图像坐标系原点O₁的母线U坐标值，u₂为金刚石线锯原始图像中芯线远离图像坐标系原点的母线U坐标值；

s_x＝r·α (4)

式中，s_u为电镀金刚石线锯表面展开图像中的U坐标，u₁为金刚石线锯原始图像中芯线靠近图像坐标系原点O₁的母线U坐标值；

步骤(3)图像预处理：通过高斯滤波滤除电镀金刚石线锯表面图像中存在的噪声，利用Otsu算法对电镀金刚石线锯表面图像进行全局自适应二值化分割，由形态学中的开运算消除二值化图像中存在的小噪点；

步骤(4)以电镀金刚石线锯表面图像中的磨粒重心为特征点，得到每个特征点的坐标信息；

步骤(5)利用电镀金刚石线锯表面同一磨粒，在相邻工业相机所采集图像中的映射关系，根据式(6)设置搜索区域得到匹配特征点对；

式中，

表示参考图像中特征点的U坐标值，

表示参考图像中特征点的V坐标值，

表示输入图像中特征点的U坐标值，v₂表示输入图像中特征点的V坐标值，Δu表示在U方向允许的偏差阈值，Δv表示在V方向允许的偏差阈值；

步骤(6)对步骤(5)中得到的匹配特征点对进行筛选；

步骤(7)用步骤(6)中筛选出的特征点对，由最小二乘拟合求解出电镀金刚石线锯表面图像平移模型中的未知参数；

步骤(8)基于平移模型，得到单幅电镀金刚石线锯表面图像中像素与拼接后电镀金刚石线锯表面图像中像素之间的映射关系，并通过图像重采样得到初步拼接好的电镀金刚石线锯表面图像；

步骤(9)去除步骤(8)所得图像两侧的重合区域，得到完整的电镀金刚石线锯表面图像；

上述电镀金刚石线锯表面图像采集装置包括以下5个子装置组成：

子装置1.工业相机：用于采集电镀金刚石线锯表面的原始图像；

子装置2.光源：用于增加电镀金刚石线锯镀层与表面磨粒在图像中的灰度值差异；

子装置3.载物台：用于安装工业相机、光源、导轮；

子装置4.导轮：电镀金刚石线锯生产时保证其与镜头之间的距离稳定不变；

子装置5.计算机：用于安装图像采集软件。

2.根据权利要求1所述的拼接方法，其特征在于，所述步骤(4)包括以下步骤：

步骤(4.1)通过连通域查找，得到电镀金刚石线锯表面二值化图像中每个磨粒所包含像素的坐标值；

步骤(4.2)利用式(7)得到图像中磨粒的重心位置

并将其作为金刚石线锯表面图像中的特征点；

式中，A表示连通区域R中包含的像素数，u表示R中包含像素的U坐标，v表示R中包含像素的V坐标，

表示磨粒图像重心的U坐标，

表示磨粒图像重心的V坐标；

3.根据权利要求1所述的拼接方法，其特征在于，所述步骤(6)包括以下步骤：

步骤(6.1)通过式(8)以一对匹配点对求解平移模型；

式中，C_1i，C_2i表示由第i对匹配特征点对得到的图像平移模型参数，

表示第i对匹配特征点对中位于参考图像中的特征点的U坐标和V坐标，

表示第i对匹配特征点对中位于输入图像中的特征点的U坐标和V坐标；

步骤(6.2)通过式(9)利用剩余匹配点对验证模型的正确性从而完成对步骤(6.1)中匹配点对的筛选；

式中，

表示第j(j≠i)对匹配特征点对中位于参考图像中的特征点的U坐标和V坐标，

表示第j(j≠i)对匹配特征点对中位于输入图像中的特征点的U坐标和V坐标，C_1i，C_2i表示由第i对匹配特征点对得到的图像平移模型参数，du表示在U方向上允许的最大模型误差，dv表示在V方向上允许的最大模型误差；

步骤(6.3)通过对所有匹配点对的筛选得到不同工业相机所采集图像之间的正确匹配特征点对；

4.根据权利要求1所述的拼接方法，其特征在于，所述步骤(9)包括以下步骤：

步骤(9.1)检测位于初步拼接好的电镀金刚石线锯表面图像两侧的，重合区域的中心线；

步骤(9.2)检测步骤(9.1)中得到的中心线穿过的磨粒，并保存磨粒的位置信息；

步骤(9.3)根据步骤(9.2)中所检测到的磨粒与步骤(9.1)中所检测到的中心线之间的相对位置关系得到重合区域去除路径；

步骤(9.4)根据步骤(9.3)中得到的路径，去除图像中的重合区域，得到完整拼接图像。

Images