CN113063804A - 一种基于图像处理的热切机视觉系统自动定位方法 - Google Patents

Abstract

本发明涉及一种基于图像处理的热切机视觉系统自动定位方法，属于图像计算技术领域，解决生瓷片热切前的精密定位功能问题，包括以下步骤：拍摄工件图像并预处理→模板管理→Mark中心检测→工作台参数标定→求Mark中心到刀痕的距离h→控制量运动几何分析→工作台控制量计算→模型参数修正→控制量输出，本发明可以根据不同Mark形状来自适应的调整并定位，无需人工监视与修正，提高了生瓷片热机加工自动化进程与高效生产。

Description

一种基于图像处理的热切机视觉系统自动定位方法

技术领域

本发明属于图像计算技术领域，具体涉及的是一种基于图像处理的热切机视觉系统自动定位方法。

背景技术

低温共烧陶瓷(Low-temperature co-fired ceramics,LTCC)技术是将低温烧结陶瓷粉经过流延制成厚度精确且致密的生瓷片作为电路基板材料，在生瓷片上制出所需要的电路图形并将多个无源元件埋入其中叠压在一起，在高温下烧结制成无源集成组件或基板。热切工序是对层压后带有Mark标识的生瓷片进行热切，将产品自动切割成型以形成单体，具有广阔的市场前景。

传统的热切设备均为手动上下料，容易造成生瓷片变形，且生产率较低，不能满足企业日益增长的产量需求。由于计算机技术及图像处理算法的日趋成熟，科学和技术的持续发展和创新为数字图像处理技术提供了越来越多的机会，使得其在发展空间上拥有更过的可能性，其应用范围从静止图像到运动图像，从物体的外部延伸到物体的内部，以及人工智能化的图像处理能够以实现。

在工业检测领域上，图像检测精度和处理速度能够满足绝大多数工业检测的需求。在要求检测较高时，可以利用多相机组合检测技术，在不降低测量精度的前提下，扩大检测范围。目前机械加工中已经出现了各种各样的视觉系统，使视觉系统保证同时满足测量范围和测量精度两方面的要求。

发明内容

本发明的研究目标是为了解决热切机完成热切工序时需要人为监视与修正的技术问题，提供一种基于图像处理的热切机视觉系统自动定位方法。通过LTCC热切工艺的原理，并结合目前热切设备的结构能够完成生瓷片热切前的精密定位需求，自动化计算并确定切割的位置。通过对热切机机构运动的几何分析，建立视觉控制系统的输入、输出量的函数关系。输入为左右相机的Mark图像；输出量即为工作台旋转角度、Y方向平移量。

为了实现上述目的，本发明通过以下技术方案予以实现。

一种基于图像处理的热切机视觉系统自动定位方法，包括以下步骤：

S1、拍摄图像并预处理

架设左右两个摄像机及光源，校准摄像机的焦距，调整摄像机的曝光量，使左右两个摄像机都可以清晰呈现生瓷片的Mark图像并进行拍摄；驱动器械机构，当生瓷片进入左右相机视野范围内，初步切割并拍摄左右刀痕图。

设拍摄到的刀痕图、Mark图像都记为X，根据以下公式(1)～(3)对图像X进行处理：对彩色图像X灰度化处理得到图像X₁，对X₁进行反色并去除个别异常数据得X₂，对X₂进行二值化处理得到图像X₃。

X₁＝0.2989*X_R+0.587*X_G+0.114*X_B (1)

X₂(x,y)＝255-X₁(x,y) (2)

其中X_R、X_G、X_B分别为彩色图像X的红、绿、蓝三分量，(x，y)为对应图像中同一像素的水平、垂直坐标。

S2、标准模板管理

标准模板管理模块用来生成标准的Mark模板图像及其特征。设Mark图像为A，首先根据公式(1)～(3)对A进行处理得到二值化图像A₃，然后寻找A₃的边界、保留边界中面积最大的连通域，并对最大连通域进行边缘滤波及重新填充以获得标准模板A_model；最后计算并存储标准模板A_model及其Hu不变矩H_A、二值化图像A₃的边界坐标。

S3、Mark中心的检测

利用模板匹配方法，对左右相机所拍摄的Mark图像，分别检测其中心。

以左Mark图像B为例，根据公式(1)～(3)对B进行处理得到二值化图像B₃，计算B₃的Hu不变矩H_B的7个值，并读取所存储的标准模板A_model的Hu不变矩H_A的7个值及其二值化图像A₃的边界坐标。以B₃的形心与重心平均值为中心选定21*21大小的矩形窗，依次选取矩形窗内点为区域中心点，与A₃的边界坐标形成新区域，计算每个新区域的7个矩值，并根据公式(4)计算新区域与标准模板的余弦相似度，最后选余弦相似度最高的区域中心点为 Mark中心坐标。

其中

是标准模板的第i个矩值。

是待测Mark的第i个矩值，m的取值范围是：[1,21*21]。

S4、工作台参数标定以及刀痕线提取

求取世界坐标系Y方向与图像坐标系的列方向比例关系，以及工作台旋转固定角度所引起的坐标变化关系，并确定切刀在相机视场中的初始位置。

2、工作台Y方向移动固定距离dist，左相机、右相机分别拍摄移动前后的左右Mark图像，并分别求取左右Mark中心点的移动距离pixel₁、pixel₂，最后求出左、右视场Y方向的比例关系K₁、K₂，其中K₁＝dist/pixel₁、K₂＝pixel₂/dist。

2、工作台旋转固定角度θ_degr，左右相机拍摄旋转前后的Mark图像，分别求取左右Mark 中心点的像素移动距离L₁、L₂，根据公式计算工作台旋转固定角度所引起的坐标变化关系

其中

3、确定刀在相机视场中的初始位置。

在生瓷片空白处进行切割以形成刀痕印记，左右相机分别对印记进行拍照，得到左刀痕图及右刀痕图。以左刀痕图为例，对其进行公式(1)的灰度化处理并反色得图像C₁，对C₁逐次在旋转角度α＝[-2,2]的范围内进行仿射变换，并对变换后图像按行求和，记录所有角度下行像素和的最大值Max，寻找Max对应的行索引y_pos及角度α_max，根据公式(5)确定刀痕线在图像C₁中的首、尾位置坐标p(x_s,y_s)、p(x_l,y_l)。

其中

cols为输入图像的列数。然后，根据公式(6)求得刀痕线的方程表达式：

l＝A₁x+B₁ (6)

其中

同理可得右图刀痕直线方程：

l＝A₂x+B₂ (7)

S5、求Mark中心到刀痕的距离

由步骤S3得到的Mark中心坐标、步骤S4得到的刀痕线方程，根据公式(8)分别求出左右视场中Mark与刀痕的距离h₁、h₂。

其中(x₁,y₁)、(x₂,y₂)分别是左、右Mark的中心坐标。

S6、求工作台的转角θ和Y方向平移量m_y

求取工作台的旋转角度θ、平移量m_y，使得左右Mark连线与刀痕线重合。

由步骤S3得到的Mark中心、步骤S4得出的工作台标定参数，以及S5得出的左右视场中Mark中心到刀的距离h₁、h₂，根据式(19)求得转角θ：

Y方向的平移量m_y由两部分组成，一是Mark中心到刀痕线的距离，二是旋转角度所引起的左右Mark点的距离长度。以左视场为例，根据公式(10)可得Y方向平移量m_y为：

m_y＝h₁+l₁ (10)

其中，l₁、l₂为由旋转所引起的左右Mark点间距离，可通过公式(11)求得：

即：

因此，将公式(12)代入(10)，可得到工作台Y方向平移量m_y：

令m_θ＝sinθ，由于当θ→0时，(1-cosθ)≈sinθ，所以公式(9)、(13)可整理为：

其中：

S7、Y方向误差修正

如果实验发现Y方向移动量有固定误差，可通过以下步骤对Y方向进行修正，即将平均误差E作为系统误差补偿到m_y中。

当Mark在视野上方(表达式为：y＜y_pos)，刀将向负向移动，系统误差将作为负值补偿；当Mark在视野下方(表达式为：y＞y_pos)，刀将向正向移动，系统误差将作为正值补偿：

其中，y是Mark的垂直坐标。

与现有技术相比，本发明的有益效果为：

本发明提供的一种基于图像处理的热切机视觉系统自动定位方法，通过LTCC热切工艺的原理，并结合目前热切设备的结构能够完成生瓷片热切前的精密定位需求，自动化计算并确定切割的位置。无需人工监视与修正，热切工序得以自动化进程与高效生产。

附图说明

图1是本发明的流程图；

图2是本发明保存的Mark模板图，(a)为一字形，(b)为十字形；

图3是本发明检测的Mark中心结果图；

图4是本发明Y方向参数标定原理图；

图5是本发明旋转方向θ参数标定原理图；

图6是本发明刀痕的仿射变换与刀痕获取结果图；

图7是本发明运动几何分析原理图。

图8是三组Mark控制量计算结果图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细描述。

如图1至图8是一种基于图像处理的热切机视觉系统自动定位方法，包括以下步骤：

S1、拍摄图像并预处理

架设左右两个摄像机及光源，校准摄像机的焦距，调整摄像机的曝光量，使左右两个摄像机都可以清晰呈现生瓷片的Mark图像并进行拍摄；驱动器械机构，当生瓷片进入左右相机视野范围内，初步切割并拍摄左右刀痕图。

设拍摄到的刀痕图、Mark图像都记为X，根据以下公式(1)～(3)对图像X进行处理：对彩色图像X灰度化处理得到图像X₁，对X₁进行反色并去除个别异常数据得X₂，对X₂进行二值化处理得到图像X₃。

X₁＝0.2989*X_R+0.587*X_G+0.114*X_B (1)

X₂(x,y)＝255-X₁(x,y) (2)

其中X_R、X_G、X_B分别为彩色图像X的红、绿、蓝三分量，(x，y)为对应图像中同一像素的水平、垂直坐标。

S2、标准模板管理

标准模板管理模块用来生成标准的Mark模板图像及其特征。

具体做法为：设Mark图片为A，根据公式(1)～(3)对A进行处理得到二值化图像A₃并寻找其边界，保留面积最大的连通域A_max。在图像产生、传输和复制过程中，常常会因为多方面原因而被噪声干扰或出现数据丢失，通过图像平滑减小这些缺陷带来的影响，并对平滑后的边缘进行填充，得到Mark模板图A_model并保存。最后计算并存储标准模板的Hu不变矩H_A及二值化图像A₃的边界坐标A_bou(x_b,y_b)。如图2是Mark的模板图。

根据公式(4)求图像A边界坐标的形心坐标：

求图像A边界坐标的重心坐标。若一图像f(x,y)的p+q阶几何矩、中心矩公式分别为：

则图像A边界坐标的重心根据公式(7)可得：

此时可根据公式(8)估算出模板中心的坐标，计算公式如下：

将图像A边界坐标的中心矩公式定义为：

1、求图像A边界坐标归一化中心矩、hu矩H_A(七个不变矩)为：

2、下图是A₃的部分边界坐标展示：

S3、Mark中心的检测

利用模板匹配方法提取所拍摄Mark的中心坐标。左右相机各拍摄一张Mark图像B，根据公式(1)～(3)对B进行处理得到二值化图像B₃，计算B₃的Hu不变矩H_B的7个值，并读取所存储的标准模板A_model的Hu不变矩H_A的7个值及其二值化图像A₃的边界坐标。以B₃的形心与重心平均值为中心选定21*21大小的矩形窗，依次选取矩形窗内点为区域中心点，与A₃的边界坐标形成新区域，计算每个新区域的7个矩值，并根据公式(11)计算新区域与标准模板的余弦相似度，最后选余弦相似度最高的区域中心点为Mark中心坐标。如图3是检测得到的Mark中心位置。

其中

是标准模板的第i个矩值。

是待测Mark的第i个矩值，m的取值是：[1,21*21]。

S4、工作台参数标定

求取世界坐标系Y方向与图像坐标系的列方向的比例关系：dist/pixel，以及工作台旋转固定角度所引起的Y方向坐标变化关系：pixel/degr，并确定切刀在相机视场中的初始位置。

1、确定Y方向的mm/pixel

原理如图4：工作台Y方向移动固定距离dist，左相机、右相机分别拍摄移动前后的Mark 图像，并求取Mark中心点对应的移动距离pixel₁、pixel₂，就可求出左、右视场Y方向的比例关系K₁、K₂：K₁＝dist/pixel₁、K₂＝dist/pixel₂。

具体做法为：将Mark移动至相机视场的偏下方，分别拍摄并保存左右相机图像，再将工作台沿Y方法移动固定距离1mm，拍摄并保存图片。利用模板匹配方法提取出Mark的中心坐标，计算两组Mark移动前后的Y坐标差值K₁、K₂即为Y方向比例系数(像素/毫米)。

2、确定旋转角度的pixel/度系数

原理如图5：工作台旋转固定角度degr，分别拍摄旋转前后左右相机的Mark图像，由四个Mark的中心坐标，可以分别求得左右Mark中心点的移动距离L₁、L₂，则根据公式计算工作台旋转固定角度所引起的坐标变化关系

具体做法为：选择位于机构转心处的一对Mark作为标记，并将其移动至相机视场中间位置，分别正、反转0.5°拍摄相关Mark图片，利用模板匹配求得各Mark的中心坐标，计算距离L₁、L₂(单位：像素)。L₁、L₂以及旋转角0.5°的等式关系即为标定得到的旋转参数。

3、刀痕线提取

确定刀在相机视场中的位置。在生瓷片空白处进行切割会形成刀痕印记，对刀痕进行图像处理，提取出刀痕直线位置。

具体做法为：左右相机分别对印记进行拍照，得到左刀痕图及右刀痕图。以左刀痕图为例，对其进行公式(1)的灰度化处理及反色得到图像C₁，对C₁逐次在旋转角度α＝[-2,2]的范围内根据公式(15)进行仿射变换，仿射效果如图6左所示，并对变换后图像按行求和，记录所有角度下行像素和的最大值Max，寻找Max对应的行索引y_pos及角度α_max，根据公式(13)确定刀痕线在图像C₁中的首、尾位置坐标p(x_s,y_s)、p(x_l,y_l)。

其中

cols为输入图像的列数，(15)式为仿射变换公式。根据公式(16)得到刀痕线的方程表达式，图6右是得到的刀痕直线图。

l＝A₁x+B₁ (16)

其中

同理可得右图刀痕直线方程：

l＝A₂x+B₂ (17)

S5、求Mark中心到刀痕的距离

由步骤S3得到的Mark中心坐标、步骤S4得到的刀痕线方程，根据公式(18)分别求出左右视场中Mark坐标与刀的距离h₁、h₂。

其中(x₁,y₁)、(x₂,y₂)分别是左、右Mark的中心坐标。

S6、求工作台的转角θ和平移量m_y

求取工作台的旋转角度θ、平移量m_y，如图7所示。使得左右Mark连线与刀痕线重合。

由步骤S3得到的Mark中心、步骤S4得出的工作台标定参数，以及S5得出的左右视场中Mark中心到刀的距离h₁、h₂，根据式(19)求得转角θ：

Y方向的平移量m_y由两部分组成，一是Mark中心到刀痕线的距离，二是旋转角度所引起的左右Mark点的距离长度。以左视场为例，根据公式(20)可得Y方向平移量m_y为：

m_y＝h₁+l₁ (20)

其中，l₁、l₂为由旋转所引起左右Mark点的距离，可通过公式(21)求得：

即：

因此，将公式(22)代入(20)，可得到工作台Y方向平移量m_y：

令m_θ＝sinθ，由于当θ→0时，(1-cosθ)≈sinθ，所以公式(19)、(23)可整理为：

其中：

本实验选取三组Mark进行验证，结果如图8所示。发现旋转角度几乎为0,观察Y方向移动距离误差。

选取生瓷片上的两列Mark，拍摄位置是相机拍摄到含有Mark的位置，Mark位置1是计算出的当Mark与刀一致的Y方向位置，Mark位置2是图像中Mark的像素位置。结果1是实际拍摄位置到Mark位置1的差值，结果2是运行得到的Y方向移动距离，其与实测结果误差如下表所示：

表1 控制量计算误差分析

通过上述表格，可看到Y方向的误差平均值E＝0.498125mm。

S7、Y方向误差修正

实验发现Y方向移动量有固定误差，可通过以下步骤对Y方向进行修正，即将平均误差 E作为系统误差补偿到m_y中。

当Mark在视野上方(表达式为：y＜y_pos)，刀将向负向移动，系统误差将作为负值补偿；当Mark在视野下方(表达式为：y＞y_pos)，刀将向正向移动，系统误差将作为正值补偿：

其中，y是Mark的垂直坐标。

Y方向误差修正后，误差结果如下表所示：

实验表明系统测量与实际测量的误差在Mark宽度(0.03mm)范围内，满足生产精度需求。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (1)

1.一种基于图像处理的热切机视觉自动定位方法，其特征在于：包括以下步骤：

S1、拍摄图像并预处理

架设左右两个摄像机及光源，校准摄像机的焦距，调整摄像机的曝光量，使左右两个摄像机都可以清晰呈现生瓷片的Mark图像并进行拍摄；驱动器械机构，当生瓷片进入左右相机视野范围内，初步切割并拍摄左右刀痕图；

设拍摄到的刀痕图、Mark图像都记为X，根据以下公式(1)～(3)对图像X进行处理：对彩色图像X灰度化处理得到图像X₁，对X₁进行反色并去除个别异常数据得X₂，对X₂进行二值化处理得到图像X₃；

X₁＝0.2989*X_R+0.587*X_G+0.114*X_B (1)

X₂(x,y)＝255-X₁(x,y) (2)

其中X_R、X_G、X_B分别为彩色图像X的红、绿、蓝三分量，(x，y)为对应图像中同一像素的水平、垂直坐标；

S2、标准模板管理

标准模板管理模块用来生成标准的Mark模板图像及其特征，设Mark图像为A，首先根据公式(1)～(3)对A进行处理得到二值化图像A₃，然后寻找A₃的边界、保留边界中面积最大的连通域，并对最大连通域进行边缘滤波及重新填充以获得标准模板A_model；最后计算并存储标准模板A_model及其Hu不变矩H_A、二值化图像A₃的边界坐标；

S3、Mark中心的检测

利用模板匹配方法，对左右相机所拍摄的Mark图像，分别检测其中心；

以左Mark图像B为例，根据公式(1)～(3)对B进行处理得到二值化图像B₃，计算B₃的Hu不变矩H_B的7个值，并读取所存储的标准模板A_model的Hu不变矩H_A的7个值及其二值化图像A₃的边界坐标，以B₃的形心与重心平均值为中心选定21*21大小的矩形窗，依次选取矩形窗内点为区域中心点，与A₃的边界坐标形成新区域，计算每个新区域的7个矩值，并根据公式(4)计算新区域与标准模板的余弦相似度，最后选余弦相似度最高的区域中心点为Mark中心坐标；

其中H_Ai是标准模板的第i个矩值，

是待测Mark的第i个矩值，m的取值范围是：[1,21*21]；

S4、工作台参数标定以及刀痕线提取

求取世界坐标系Y方向与图像坐标系的列方向比例关系，以及工作台旋转固定角度所引起的坐标变化关系，并确定切刀在相机视场中的初始位置；

1、工作台Y方向移动固定距离dist，左相机、右相机分别拍摄移动前后的左右Mark图像，并分别求取左右Mark中心点的移动距离pixel₁、pixel₂，最后求出左、右视场Y方向的比例关系K₁、K₂，其中K₁＝dist/pixel₁、K₂＝pixel₂/dist；

2、工作台旋转固定角度θ_degr，左右相机拍摄旋转前后的Mark图像，分别求取左右Mark中心点的像素移动距离L₁、L₂，根据公式计算工作台旋转固定角度所引起的坐标变化关系

其中

3、确定刀在相机视场中的初始位置

在生瓷片空白处进行切割以形成刀痕印记，左右相机分别对印记进行拍照，得到左刀痕图及右刀痕图，以左刀痕图为例，对其进行公式(1)的灰度化处理并反色得图像C₁，对C₁逐次在旋转角度α＝[-2,2]的范围内进行仿射变换，并对变换后图像按行求和，记录所有角度下行像素和的最大值Max，寻找Max对应的行索引y_pos及角度α_max，根据公式(5)确定刀痕线在图像C₁中的首、尾位置坐标p(x_s,y_s)、p(x_l,y_l)；

其中

cols为输入图像的列数，然后，根据公式(6)求得刀痕线的方程表达式：

l＝A₁x+B₁ (6)

其中

同理可得右图刀痕直线方程：

l＝A₂x+B₂ (7)

S5、求Mark中心到刀痕的距离

由步骤S3得到的Mark中心坐标、步骤S4得到的刀痕线方程，根据公式(8)分别求出左右视场中Mark与刀痕的距离h₁、h₂；

其中(x₁,y₁)、(x₂,y₂)分别是左、右Mark的中心坐标；

S6、求工作台的转角θ和Y方向平移量m_y

求取工作台的旋转角度θ、平移量m_y，使得左右Mark连线与刀痕线重合；

由步骤S3得到的Mark中心、步骤S4得出的工作台标定参数，以及S5得出的左右视场中Mark中心到刀的距离h₁、h₂，根据式(19)求得转角θ：

Y方向的平移量m_y由两部分组成，一是Mark中心到刀痕线的距离，二是旋转角度所引起的左右Mark点的距离长度，以左视场为例，根据公式(10)可得Y方向平移量m_y为：

m_y＝h₁+l₁ (10)

其中，l₁、l₂为由旋转所引起的左右Mark点间距离，可通过公式(11)求得：

即：

因此，将公式(12)代入(10)，可得到工作台Y方向平移量m_y：

令m_θ＝sinθ，由于当θ→0时，(1-cosθ)≈sinθ，所以公式(9)、(13)可整理为：

其中：

S7、Y方向误差修正

如果实验发现Y方向移动量有固定误差，可通过以下步骤对Y方向进行修正，即将平均误差E作为系统误差补偿到m_y中；

当Mark在视野上方(表达为：y＜y_pos)，刀将向负向移动，系统误差将作为负值补偿；当Mark在视野下方(表达为：y＞y_pos)，刀将向正向移动，系统误差将作为正值补偿：

其中，y是Mark的垂直方向坐标。

Images