CN112894154B

CN112894154B - 激光打标方法及装置

Info

Publication number: CN112894154B
Application number: CN202110495700.2A
Authority: CN
Inventors: 别晓辉; 魏鹏; 别伟成; 单书畅
Original assignee: Shirui Hangzhou Information Technology Co ltd
Current assignee: Shirui Hangzhou Information Technology Co ltd
Priority date: 2021-05-07
Filing date: 2021-05-07
Publication date: 2021-09-03
Anticipated expiration: 2041-05-07
Also published as: CN112894154A

Abstract

本发明实施例提供一种激光打标方法及装置，涉及计算机技术领域。包括基于预先确定的相机标定方法对相机的参数进行标定；基于预先确定的训练数据，在X轴和Y轴进行像素距离的线性回归矫正，确定梯形化矫正参数，其中，所述X轴和所述Y轴属于激光坐标系，所述像素距离为像素在图像坐标系中代表激光坐标系的实际物理距离；基于所述相机的标定参数以及所述梯形化矫正参数，确定相机坐标系和激光坐标系的转换矩阵；基于所述转换矩阵进行打标。克服了现有技术中矫正方式精度低，人员工作量较大的缺点。

Description

激光打标方法及装置

技术领域

本发明涉及计算机技术领域，尤其是涉及一种激光打标方法及装置。

背景技术

随着精密仪器和高新技术的发展，led行业生产的芯片也越来越微米级别，对质检工序要求更加的严格，对于检出的不良品需要剔除掉或者将LED灯珠、焊线进行激光烧毁达到生产线自动化的目的，因此很多的工厂开始陆续使用视觉来代替人工去定位标刻区域。这样不仅大大节省了人力资源，而且不伤害工人身体健康，视觉定位系统基于机器其更加稳定和不易疲劳，能够提高产线的生产效率。

在实际的系统搭建过程中，由于光路与结构安装难免产生误差，以及变焦镜头变焦过程中产生的随机误差，打标对象与影像显示难以通过硬件调节实现精准匹配，以及实际误差影响因素难以控制等原因，往往出现打标位置与影像显示位置产生偏差的现象，导致视觉定位打标精度的下降。也就是实际的打标位置与影像显示中预期打标位置之间产生误差，激光的实际打标位置与影像显示的位置不一致。

发明内容

本发明的目的在于提供一种激光打标方法及装置，以缓解了现有技术中存在的激光的实际打标位置与影像显示的位置误差大的技术问题。

第一方面，本发明提供一种激光打标方法，包括：

基于预先确定的相机标定方法对相机的参数进行标定；

基于预先确定的训练数据，在X轴和Y轴进行像素距离的线性回归矫正，确定梯形化矫正参数，其中，所述X轴和所述Y轴属于激光坐标系，所述像素距离为像素在图像坐标系中代表激光坐标系的实际物理距离；

基于所述相机的标定参数以及所述梯形化矫正参数，确定相机坐标系和激光坐标系的转换矩阵；

基于所述转换矩阵进行打标。

在可选的实施方式中，所述预先确定的相机标定方法为张正友平面标定法，所述相机的参数包括相机内参、相机外参以及畸变参数。

在可选的实施方式中，基于预先确定的训练数据，在X轴和Y轴进行像素距离的线性回归矫正，确定梯形化矫正参数，包括：

基于预先确定的训练数据，分别确定对应于X轴和对应于Y轴的线性回归矩阵；

采用最小二乘法对线性回归矩阵求解，分别得到在X轴方向上的像素距离和在Y轴方向上的像素距离，所述梯形化矫正参数包括所述在X轴方向上的像素距离和所述在Y轴方向上的像素距离。

在可选的实施方式中，所述对应于X轴的线性回归矩阵的求解方程为：

在可选的实施方式中，所述基于预先确定的训练数据，在X轴和Y轴进行像素距离的线性回归矫正，确定梯形化矫正参数，包括：

确定激光坐标系中的数点阵列，所述数点阵列中点等间距排列；

基于所述数点阵列，以及先确定的训练数据，在X轴和Y轴进行像素距离的线性回归矫正，确定梯形化矫正参数。

在可选的实施方式中，所述方法应用于激光打标机和相机联合安装的打标系统。

在可选的实施方式中，所述打标系统应用于AOI系统。

第二方面，本发明提供一种激光打标装置，包括：

标定模块，用于基于预先确定的相机标定方法对相机的参数进行标定；

第一确定模块，用于基于预先确定的训练数据，在X轴和Y轴进行像素距离的线性回归矫正，确定梯形化矫正参数，其中，所述X轴和所述Y轴属于激光坐标系，所述像素距离为像素在图像坐标系中代表激光坐标系的实际物理距离；

第二确定模块，用于基于所述相机的标定参数以及所述梯形化矫正参数，确定相机坐标系和激光坐标系的转换矩阵；

打标模块，用于基于所述转换矩阵进行打标。

在可选的实施方式中，第一确定模块具体用于：

在可选的实施方式中，第一确定模块具体用于：

在可选的实施方式中，所述打标系统应用于AOI系统。

第三方面，本发明提供一种电子设备，包括：处理装置以及存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如前述实施方式任一项所述的方法的步骤。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述前述实施方式任一项所述的方法的步骤。

本发明实施例提供一种激光打标方法及装置。通过基于预先确定的相机标定方法对相机的参数进行标定；基于预先确定的训练数据，在X轴和Y轴进行像素距离的线性回归矫正，确定梯形化矫正参数，其中，所述X轴和所述Y轴属于激光坐标系，所述像素距离为像素在图像坐标系中代表激光坐标系的实际物理距离；基于所述相机的标定参数以及所述梯形化矫正参数，确定相机坐标系和激光坐标系的转换矩阵；基于所述转换矩阵进行打标。克服了现有技术中矫正方式精度低，人员工作量较大的缺点，将相机梯形化通过线性回归矫正的方式，实现了打标系统与相机视觉系统的高精度矫正，可以满足目前LED封装行业各种质检流水线的视觉定位打标精度要求。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是一种用于实现本发明实施例的激光打标方法的示例电子设备；

图2是根据本发明实施例的一种激光打标方法的流程图；

图3是根据本发明实施例的一种激光打标方法的一个示例；

图4是根据本发明实施例的一种激光打标方法的另一个示例；

图5是根据本发明实施例的一种激光打标装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

首先，参照图1来描述用于实现本发明实施例的激光打标方法的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106以及输出装置108，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子设备也可以具有其他组件和结构。

处理设备102可以是中央处理单元(CPU)、图形处理单元（GPU）或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备100中的其它组件以执行期望的功能。

存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

示例性地，用于实现根据本发明实施例的激光打标方法的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。

根据本发明实施例，提供了一种激光打标方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种激光打标方法的流程图，如图2所示，该方法包括如下步骤：

S210，基于预先确定的相机标定方法对相机的参数进行标定。

传统摄像机标定主要有Faugeras标定法、Tscai两步法、直接线性变换方法、张正友平面标定法和Weng迭代法等等。自标定包括基于Kruppa方程自标定法、分层逐步自标定法、基于绝对二次曲面的自标定法和Pollefeys的模约束法等等。视觉标定有马颂德的三正交平移法、李华的平面正交标定法和Hartley旋转求内参数标定法等等。在本发明实施例中，可以使用上述方法的一种或多种的组合，作为一个示例，可以使用张正友平面标定法来进行相机标定，也即，该步骤S210中预先确定的相机标定方法为张正友平面标定法，该相机的参数可以包括相机内参、相机外参以及畸变参数等等。具体通过如下步骤实现：

“步骤1），初始化：摄像机位置保持不变，将标定板设置于不同位置采集m张图像(世界坐标系/单应矩阵随之变化),检测图像中的角点，假设每张图片中可检测出n个角点；

；

步骤2），单应矩阵求解：求解方程

（共2n个方程，9个未知数）,得到单应矩阵

的初值，并考虑噪声影响，进行非线性优化；

；

步骤3），摄像机内参数求解：综合m张图片中的单应矩阵

，求解方程

（共 2m个方程，6个未知数）,将中间矩阵B进行分解，获得内参数矩阵

(5个参数)；

；

步骤4），摄像机外参数求解：计算

和

；

；

步骤5），畸变系数求解：结合m张图片中的n个角点，求解方程

（共2mn个方程，2个未知数）,得到畸变参数；

步骤6），参数优化：通过非线性最小二乘法，优化

(5个参数),

和

（6m个参数）和

,

。”

S220，基于预先确定的训练数据，在X轴和Y轴进行像素距离的线性回归矫正，确定梯形化矫正参数。其中，X轴和Y轴属于激光坐标系，像素距离为像素在图像坐标系中代表激光坐标系的实际物理距离，该像素距离还可以称为像素物理距离；

在本发明实施例中，可以基于预先确定的训练数据，分别确定对应于X轴和对应于Y轴的线性回归矩阵；采用最小二乘法对线性回归矩阵求解，分别得到在X轴方向上的像素距离和在Y轴方向上的像素距离。其中，梯形化矫正参数可以包括上述在X轴方向上的像素距离和在Y轴方向上的像素距离。

一般情况下，和激光联合的相机安装都是倾斜的，即相机与工作平台水平面不是水平的，而是存在一定的夹角。相机相对于工作台水平面的倾斜的角度不同，该相机所对应的图像梯形的程度也是不同的。

为了矫正该由倾斜造成的图像梯形，通常做法是先获得感兴趣区域（region ofinterest，ROI），然后对该感兴趣区域进行透视变化为设定的矩形，基于这个矩形进行矫正。但是，这类方法局限了随意区域激光打标的条件，本发明实施例采用了对相机所拍摄的图像的X轴和Y轴进行像素距离(该像素距离可以指每个像素在图像坐标系中代表激光坐标系实际物理距离)的线性回归矫正，可以很好的矫正图像梯形化导致激光打标的误差。

其中，X轴线性回归可以基于如下步骤确定：

公式（一）

公式（二）

公式（三）

假设有训练数据

，其中，（X_i，Y_i）可以为像素在图像坐标系中的坐标，其中，i∈[1,n]，

为激光中心在相机图片的像素点坐标；

那么为了方便可以写成矩阵的形式：

公式（四）

对于线性回归矩阵使用最小二乘法进行W权重求解，求解程表达方式为：

公式（五）

其中，

在X轴方向上的像素距离。对于Y轴线性回归同X轴线性回归一样，只是中心在Y轴方向基于激光坐标中心位置的像素距离。

S230，基于相机的标定参数以及梯形化矫正参数，确定相机坐标系和激光坐标系的转换矩阵。

相机图像像素点位坐标系到激光坐标系（也可以称为激光打标机坐标系）2D平面矩阵的转换。假设相机像素坐标系为

,其中

为像素点在激光坐标系中的x 轴和y轴的距离，

为激光中心在相机图片的像素点坐标，

分别为 x轴和y轴的像素物理距离，

为像素点

在激光坐标系中最终代表的坐标点，

为两个坐标系之间的夹角。其两者的推导逻辑关系如下所示：

公式（六）

公式（七）

S240，基于转换矩阵进行打标。

在确定相机和激光打标机的关系后，便可以基于此关系进行打标控制。

例如，针对上述激光打标存在的问题，将整个硬件流程中存在的理论误差通过算法来进行矫正，此类方法提高了激光打标的精度，其整个流程参见图3所示，通过软件触发相机拍照，获取相机数据流。该相机数据流中可以包括标定板图片，基于该标定板图片可以对相机进行标定。对相机标定完成后，可以确定图像梯形化矫正以及相机和激光打标机坐标系转换矩阵。对图像进行预处理，然后获得目标点像素坐标，基于相机和激光打标机坐标系转换矩阵输出激光坐标系。激光控制软件基于激光坐标系进行打标。

本发明实施例克服了现有技术中矫正方式精度低，人员工作量较大的缺点，将相机梯形化通过线性回归矫正的方式，实现了打标系统与相机视觉系统的高精度矫正，可以满足目前LED封装行业各种质检流水线的视觉定位打标精度要求。

在一些实施例中，还可以通过如下步骤确定梯形化矫正参数：确定激光坐标系中的数点阵列，数点阵列中点等间距排列；基于数点阵列，以及先确定的训练数据，在X轴和Y轴进行像素距离的线性回归矫正，确定梯形化矫正参数。

其中，如图4所示，九点标定法主要用于辅助梯形化矫正和像素物理距离的计算。在激光打标机内输入一个数点阵列，每个点左右、上下间隔为5mm。其中这些激光点位图中心点就是激光坐标系的(0,0)点，通过这些激光点位距离中心点的X轴和Y轴间距进行X轴的dx和Y轴的dy的像素距离线性回归。

在一些实施例中，该方法应用于激光打标机和相机联合安装的打标系统。

在一些实施例中，该打标系统应用于AOI系统。

对于相机成像梯形化导致激光打标偏移问题进行的X轴和Y轴线性回归进行了有效矫正；相机坐标系和激光坐标系转换误差根据现场情况进行误差矫正。

本发明技术方案的方法，克服了现有技术中矫正方式精度低，人员工作量较大的缺点，将相机梯形化通过线性回归矫正的方式，实现了打标系统与相机视觉系统的高精度矫正，可以满足目前LED封装行业各种质检流水线的视觉定位打标精度要求。

本发明和AOI系统进行集成，可以将LED的不良品进行高精度激光烧灼破坏，利于生产线自动线系统的集成，大大提高产线的效率，节约成本。

本发明实施例中图像梯形化部分采用的是一阶线性线性回归矫正的方式，替代方案可以使用更高阶函数进行矫正，可以进一步减少梯形误差。

本发明实施例中激光打的点位图来换算相机和激光坐标系的2D关系，可以通过打更加密集点位图来代替现在的稀疏点位图，这个也能进一步减少误差。

本发明实施例中相机安装的时候可以增加一个角度矫装置，通过物理方式来减少相机的不水平导致相机成像梯形化的误差，进一步减少相机和激光坐标系转换的误差。

图5为本发明实施例提供的一种激光打标装置结构示意图。如图5所示，包括：

标定模块501，用于基于预先确定的相机标定方法对相机的参数进行标定；

第一确定模块502，用于基于预先确定的训练数据，在X轴和Y轴进行像素距离的线性回归矫正，确定梯形化矫正参数，其中， X轴和Y轴属于激光坐标系，像素距离为像素在图像坐标系中代表激光坐标系的实际物理距离；

第二确定模块503，用于基于相机的标定参数以及梯形化矫正参数，确定相机坐标系和激光坐标系的转换矩阵；

打标模块504，用于基于转换矩阵进行打标。

在一些实施例中，预先确定的相机标定方法为张正友平面标定法，相机的参数包括相机内参、相机外参以及畸变参数。

在一些实施例中，第一确定模块具体用于：

采用最小二乘法对线性回归矩阵求解，分别得到在X轴方向上的像素距离和在Y轴方向上的像素距离，梯形化矫正参数包括在X轴方向上的像素距离和在Y轴方向上的像素距离。

在一些实施例中，对应于X轴的线性回归矩阵的求解方程为：

在一些实施例中，第一确定模块具体用于：

确定激光坐标系中的数点阵列，数点阵列中点等间距排列；

基于数点阵列，以及先确定的训练数据，在X轴和Y轴进行像素距离的线性回归矫正，确定梯形化矫正参数。

在一些实施例中，该装置应用于激光打标机和相机联合安装的打标系统。

在一些实施例中，打标系统应用于AOI系统。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

进一步的，本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤。

本发明实施例所提供的人脸识别方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。