CN107063087B - 一种基于手持示教器的着漆中心点信息的测量方法 - Google Patents

Abstract

一种基于手持示教器的着漆中心点信息的测量方法，涉及一种着漆中心点信息的测量方法。本发明为了解决目前物体表面三维测量中点状结构光精度有限的问题和单条结构光成本较高、应用受到很大限制的问题。本发首先通过网格结构光投射装置投射2×2的射出网格结构光，将结构光中心点对准工件表面期望着漆中心点，记为表面网格结构光；通过两台照相机分别捕捉表面网格结构光的图像，并对其进行中值滤波和降噪处理，然后将两幅表面结构光的图像进行匹配，并对匹配后图像内的对应的表面网格结构光曲线进行曲线拟合；最后计算结果就是期望的着漆中心点的空间三维坐标，进而得到着漆中心点的三维坐标和法向方向的信息。本发明适用于着漆中心点的测量。

Description

一种基于手持示教器的着漆中心点信息的测量方法

技术领域

本发明涉及一种着漆中心点信息的测量方法。

背景技术

目前的工业中已经开始应用喷漆机器人给工件喷漆，在喷漆机器人给工件喷漆时，会在工件表面形成一个长椭圆形喷漆小区域，称为着漆点。而着漆点的中心位置又称为着漆中心点。对于着漆点的测量是工件表面局部小范围测量，主要是测量着漆中心点位置的空间三维坐标和法向法向。

工业喷漆要求喷漆机器人的喷枪位于着漆中心点位置上方，并且姿态是基本垂直于工件表面。如此的喷漆机器人位姿才能保证良好喷漆的效果。而获得着漆中心点的三维坐标和法向方向后才能使喷漆机器人保持最佳的喷漆位姿，所以测量着漆中心点位置信息对于工业喷漆十分必要。

目前对于物体表面三维测量分为接触式和非接触式测量。

接触式测量，如三维坐标仪等复杂的精密机械机构，存在划伤工件表面或者探头磨损等问题，操作过程繁琐，效率低下，成本高而且不适用于环境恶劣的工业现场。

非接触测量有主要有两类方法：视觉的测量方法和结构光的测量方法。其中，视觉测量受环境影响较大，在喷漆作业中受影响严重。而结构光使用人工光源投射测量，抗扰性强，算法和计算较视觉测量也更为简单。

常见的结构光测量方法大多使用的是点状结构光或者单条线结构光。点状结构光获取信息量少，精度有限。单条结构光获取信息量较大，计算难度也没有大幅增加，但其需要辅助的一维运动机构实现对物体表面的扫描，在实际的工业应用中不但会增加很多成本开支，其使用也受到很大限制。

发明内容

本发明为了解决目前物体表面三维测量中点状结构光精度有限的问题和单条结构光成本较高、应用受到很大限制的问题。

一种基于手持示教器的着漆中心点信息的测量方法，是通过基于手持示教器摄像装置实现的，所述的手持示教器摄像装置包括计算机、网格结构光投射装置、两台照相机、手持示教器和手柄；手柄设置在手持示教器底端上，网格结构光投射装置设置在手持示教器上端的中央处，两台照相机分别设置在手持示教器上端的两侧，分别记为左照相机和右照相机；网格结构光投射装置投射光线的一侧和照相机的镜头侧同向设置；手持示教器分别与计算机、两台照相机信号连接；

本发明所述的测量方法包括以下步骤：

步骤1、将网格结构光投射装置的结构光调整为2×2的网格结构光，记为射出网格结构光，将2×2的射出网格结构光的四格对应九个点逐行顺序依次标记为点(1)至点(9)；九个点形成六条直线，分别为直线(1-2-3)、直线(4-5-6)、直线(7-8-9)、直线(1-4-7)、直线(2-5-8)和直线(3-6-9)；角点是射出网格结构光形成网格的顶点，对应的角点为点(1)、点(3)、点(7)、点(9)；

步骤2、将手持网格结构光投射装置的结构光中心点的点(5)，对准工件表面期望着漆中心点；当射出网格结构光照射到工件表面后，记为表面网格结构光；表面网格结构光会根据工件表面形状发生相应的变化；形变的表面网格结构光中包含着工件表面的三维信息，射出网格结构光形成的直线(1-2-3)、直线(4-5-6)、直线(7-8-9)、直线(1-4-7)、直线(2-5-8)、直线(3-6-9)在空间内对应为表面网格结构光曲线(1-2-3)、曲线(4-5-6)、曲线(7-8-9)、曲线(1-4-7)、曲线(2-5-8)、曲线(3-6-9)；射出网格结构光的角点分别与表面网格结构光的角点一一对应；

步骤3、通过两台照相机分别捕捉表面网格结构光的图像，得到两幅点云图像；然后利用FPGA等数字芯片对图像进行中值滤波和降噪处理并传至计算机；

在两幅点云图像中，利用对应的3个角点或者4个角点将两幅表面结构光的图像进行匹配，并对匹配后图像内的对应的表面网格结构光曲线进行曲线拟合；将图像内的两套表面网格结构光拟合后的六条曲线记为六条空间曲线；

步骤4、使用MATLAB软件计算六条空间曲线中空间曲线(4-5-6)和曲线(2-5-8)的交点点(5)，计算结果就是期望的着漆中心点的空间三维坐标，并通过着漆中心点的空间三维坐标计算着漆中心点法向方向的信息；进而得到着漆中心点的三维坐标和法向方向的信息。

优选地，步骤4所述使用MATLAB软件计算六条空间曲线中空间曲线(4-5-6)和曲线(2-5-8)的交点点(5)的过程包括以下步骤：

设空间曲线(4-5-6)的函数表达方程：y＝γ(t)，z＝ω(t)；

设空间曲线(2-5-8)的函数表达方程：x＝ρ(t)，y＝σ(t)，z＝τ(t)；其中，x、y、z是因变量，表示图像三维空间中x轴、y轴、z轴位置，t表示自变量；γ(t)、ω(t)表示空间曲线(4-5-6)在图像三维空间中x轴、y轴、z轴对应的函数表达方程；ρ(t)、σ(t)、τ(t)表示空间曲线(2-5-8)在图像三维空间中x轴、y轴、z轴对应的函数表达方程；

这两条空间曲线函数表达方程上的点的坐标都能够通过图像拟合后的点云图像得到；利用x、y、z方向上坐标等值变化逐步逼近，计算出交点点(5)的坐标。

优选地，步骤4所述通过着漆中心点的空间三维坐标计算着漆中心点法向方向的信息的过程包括以下步骤：

在以(i,j,k)为基向量的三维空间中，将点(5)的坐标表示为(x₀，y₀，z₀)；

空间曲线(4-5-6)的切线向量表达式：

空间曲线(2-5-8)的切线向量表达式：

γ′(·)、ω′(·)分别为γ(·)、ω(·)的导数，ρ′(·)、σ′(·)、τ′(·)分别为ρ(·)、σ(·)、τ(·)的导数，t₀表示自变量；

根据点5的坐标(x₀，y₀，z₀)求得γ′(t₀)、ω′(t₀)、ρ′(t₀)、σ′(t₀)、τ′(t₀)的值；进而求得两条空间曲线切线向量的向量积就是空间交点法向量法向量的方向就是空间交点的法向；

其中，(i,j,k)是三维空间的基向量。

优选地，步骤3所述的利用对应的3个角点或者4个角点将两幅表面结构光的图像进行匹配的过程包括以下步骤：

首先通过Harris算法提取出两幅表面结构光的图像中对应的角点(1)(3)(7)(9)中的3个或者4个；然后将两幅表面结构光的图像中对应的角点(1)(3)(7)(9)中的3个或者4个作为特征点对两幅图像进行特征点匹配，最后将两幅表面结构光的图像匹配成一幅具有空间信息的拟合空间结构光图像，该拟合空间结构光图像包含着空间三维位置信息和法向信息。

优选地，步骤3所述的将图像内的两套表面网格结构光拟合后的六条曲线记为六条空间曲线的过程包括以下步骤：

匹配过程中两幅点云图像的6条表面网格结构光曲线一一对应，然后对表面网格结构光曲线进行曲线拟合得到拟合空间结构光图像点云，两幅点云图像中6条表面网格结构光曲线拟合为6条拟合空间结构光曲线，利用最小二乘法提取6条拟合空间结构光曲线的中心线上的点云坐标，得到六条空间曲线。

本发明具有以下有益效果：

本发明所述的方法只需要通过简单的仪器就能实现，只需要操作人员将网格中心点与期望的着漆中心点重合即可，不必要求把示教器严格垂直对准着漆点中心位置，操作简单方便。同时本发明将示教和测量相结合，精度较高，测量速度快，在喷漆现场受干扰小。相比现有的点状结构光测量精度，本发明的测量精度提高数倍，相比单条结构光测量，本发明的测量精度提高60％以上；且由于本发明方法对应的设备结构简单，无需增加额外行程或者行进设备，相比单条结构光测量，利用本发明可以节约50％以上的成本，而且其应用的精度不依赖于实际的操作人员的熟练程度和工作经验，加上设备简单，本发明的应用几乎不收到限制。

附图说明

图1为具体实施方式一所述的手持示教器摄像装置结构示意图俯视图；

图2为具体实施方式一所述的手持示教器摄像装置结构示意图侧视图；

图3为网格结构光投射装置投射的2×2的射出网格结构光示意图；

图4为射出网格结构光在工件表面形成的表面网格结构光会示意图。

具体实施方式

具体实施方式一：

一种基于手持示教器的着漆中心点信息的测量方法，是通过基于手持示教器摄像装置实现的，如图1和图2所示，所述的手持示教器摄像装置包括计算机、网格结构光投射装置a、两台照相机b、手持示教器c和手柄d；手柄d设置在手持示教器c底端上，网格结构光投射装置a设置在手持示教器c上端的中央处，两台照相机b分别设置在手持示教器c上端的两侧，分别记为左照相机和右照相机；网格结构光投射装置a投射光线的一侧和照相机的镜头侧同向设置；手持示教器c分别与计算机、两台照相机b信号连接；

本实施方式所述的一种基于手持示教器的着漆中心点信息的测量方法包括以下步骤：

步骤1、针对类似汽车保险杠等表面变化小的工件，建议采用2×2的网格结构光，如图3所示，这样能够保证手持示教器c采集建立的空间三维坐标的速度极快，能够适应实际的喷涂流水作业的快速性；所以将网格结构光投射装置a的结构光调整为2×2的网格结构光，记为射出网格结构光，将2×2的射出网格结构光的四格对应九个点逐行顺序依次标记为点(1)至点(9)；九个点形成六条直线，分别为直线(1-2-3)、直线(4-5-6)、直线(7-8-9)、直线(1-4-7)、直线(2-5-8)和直线(3-6-9)；角点是射出网格结构光形成网格的顶点，对应的角点为点(1)、点(3)、点(7)、点(9)；

步骤2、将手持网格结构光投射装置a的结构光中心点的点(5)，对准工件表面期望着漆中心点；当射出网格结构光照射到工件表面后，记为表面网格结构光；表面网格结构光会根据工件表面形状发生相应的变化；形变的表面网格结构光中包含着工件表面的三维信息，射出网格结构光形成的直线(1-2-3)、直线(4-5-6)、直线(7-8-9)、直线(1-4-7)、直线(2-5-8)、直线(3-6-9)在空间内对应为表面网格结构光曲线(1-2-3)、曲线(4-5-6)、曲线(7-8-9)、曲线(1-4-7)、曲线(2-5-8)、曲线(3-6-9)，如图4所示；射出网格结构光的角点分别与表面网格结构光的角点一一对应；

步骤3、通过两台照相机b分别捕捉表面网格结构光的图像，得到两幅点云图像；然后利用FPGA等数字芯片对图像进行中值滤波和降噪处理并传至计算机；采用中值中值滤波能够很好地对网格结构光形成网格的角点和边缘线的信息保护较好；

在两幅点云图像中，利用对应的3个角点或者4个角点将两幅表面结构光的图像进行匹配，并对匹配后图像内的对应的表面网格结构光曲线进行曲线拟合；将图像内的两套表面网格结构光拟合后的六条曲线记为六条空间曲线；

步骤4、使用MATLAB软件计算六条空间曲线中空间曲线(4-5-6)和曲线(2-5-8)的交点点(5)，计算结果就是期望的着漆中心点的空间三维坐标，并通过着漆中心点的空间三维坐标计算着漆中心点法向方向的信息；进而得到着漆中心点的三维坐标和法向方向的信息。

具体实施方式二：

本实施方式步骤4所述使用MATLAB软件计算六条空间曲线中空间曲线(4-5-6)和曲线(2-5-8)的交点点(5)的过程包括以下步骤：

设空间曲线(4-5-6)的函数表达方程：y＝γ(t)，z＝ω(t)；

设空间曲线(2-5-8)的函数表达方程：x＝ρ(t)，y＝σ(t)，z＝τ(t)；其中，x、y、z是因变量，表示图像三维空间中x轴、y轴、z轴位置，t表示自变量；γ(t)、ω(t)表示空间曲线(4-5-6)在图像三维空间中x轴、y轴、z轴对应的函数表达方程；ρ(t)、σ(t)、τ(t)表示空间曲线(2-5-8)在图像三维空间中x轴、y轴、z轴对应的函数表达方程；

空间曲线方程可能比较复杂，其实这两条空间曲线函数表达方程上的绝大部分点的坐标都能够通过图像拟合后的点云图像得到；因此可以利用x、y、z方向上坐标等值变化逐步逼近，计算出交点点(5)的坐标。

其他步骤和参数与具体实施方式一相同。

具体实施方式三：

本实施方式步骤4所述通过着漆中心点的空间三维坐标计算着漆中心点法向方向的信息的过程包括以下步骤：

在以(i,j,k)为基向量的三维空间中，将点(5)的坐标表示为(x₀，y₀，z₀)；

空间曲线(4-5-6)的切线向量表达式：

空间曲线(2-5-8)的切线向量表达式：

γ′(·)、ω′(·)分别为γ(·)、ω(·)的导数，ρ′(·)、σ′(·)、τ′(·)分别为ρ(·)、σ(·)、τ(·)的导数，t₀表示自变量；

根据点5的坐标(x₀，y₀，z₀)求得γ′(t₀)、ω′(t₀)、ρ′(t₀)、σ′(t₀)、τ′(t₀)的值；进而求得两条空间曲线切线向量的向量积就是空间交点法向量法向量的方向就是空间交点的法向；

其中，(i,j,k)是三维空间的基向量。

其他步骤和参数与具体实施方式一或二相同。

具体实施方式四：

本实施方式步骤3所述的利用对应的3个角点或者4个角点将两幅表面结构光的图像进行匹配的过程包括以下步骤：

首先通过Harris算法提取出两幅表面结构光的图像中对应的角点(1)(3)(7)(9)中的3个或者4个；然后将两幅表面结构光的图像中对应的角点(1)(3)(7)(9)中的3个或者4个作为特征点对两幅图像进行特征点匹配，最后将两幅表面结构光的图像匹配成一幅具有空间信息的拟合空间结构光图像，该拟合空间结构光图像包含着空间三维位置信息和法向信息。

其他步骤和参数与具体实施方式一至三之一相同。

具体实施方式五：

本实施方式步骤3所述的将图像内的两套表面网格结构光拟合后的六条曲线记为六条空间曲线的过程包括以下步骤：

匹配过程中两幅点云图像的6条表面网格结构光曲线一一对应，然后对表面网格结构光曲线进行曲线拟合得到拟合空间结构光图像点云，两幅点云图像中6条表面网格结构光曲线拟合为6条拟合空间结构光曲线，利用最小二乘法提取6条拟合空间结构光曲线的中心线上的点云坐标，得到六条空间曲线。

最小二乘法除掉了偏离结构光中心线较远的点，减少了结构光图像的宽度，这可以提高精度，减少后续的运算量。

其他步骤和参数与具体实施方式一至四之一相同。

Claims (5)

1.一种基于手持示教器的着漆中心点信息的测量方法，是通过基于手持示教器摄像装置实现的，所述的手持示教器摄像装置包括计算机、网格结构光投射装置(a)、两台照相机(b)、手持示教器(c)和手柄(d)；手柄(d)设置在手持示教器(c)底端上，网格结构光投射装置(a)设置在手持示教器(c)上端的中央处，两台照相机(b)分别设置在手持示教器(c)上端的两侧，分别记为左照相机和右照相机；网格结构光投射装置(a)投射光线的一侧和照相机的镜头侧同向设置；手持示教器(c)分别与计算机、两台照相机(b)信号连接；

其特征在于，所述的测量方法包括以下步骤：

步骤1、将网格结构光投射装置(a)的结构光调整为2×2的网格结构光，记为射出网格结构光，将2×2的射出网格结构光的四格对应九个点逐行顺序依次标记为点(1)至点(9)；九个点形成六条直线，分别为直线(1-2-3)、直线(4-5-6)、直线(7-8-9)、直线(1-4-7)、直线(2-5-8)和直线(3-6-9)；角点是射出网格结构光形成网格的顶点，对应的角点为点(1)、点(3)、点(7)、点(9)；

步骤2、将手持网格结构光投射装置(a)的结构光中心点的点(5)，对准工件表面期望着漆中心点；当射出网格结构光照射到工件表面后，记为表面网格结构光；表面网格结构光会根据工件表面形状发生相应的变化；形变的表面网格结构光中包含着工件表面的三维信息，射出网格结构光形成的直线(1-2-3)、直线(4-5-6)、直线(7-8-9)、直线(1-4-7)、直线(2-5-8)、直线(3-6-9)在空间内对应为表面网格结构光曲线(1-2-3)、曲线(4-5-6)、曲线(7-8-9)、曲线(1-4-7)、曲线(2-5-8)、曲线(3-6-9)；射出网格结构光的角点分别与表面网格结构光的角点一一对应；

步骤3、通过两台照相机(b)分别捕捉表面网格结构光的图像，得到两幅点云图像；然后对图像进行中值滤波和降噪处理并传至计算机；

在两幅点云图像中，利用对应的3个角点或者4个角点将两幅表面结构光的图像进行匹配，并对匹配后图像内的对应的表面网格结构光曲线进行曲线拟合；将图像内的两套表面网格结构光拟合后的六条曲线记为六条空间曲线；

步骤4、使用MATLAB软件计算六条空间曲线中空间曲线(4-5-6)和曲线(2-5-8)的交点点(5)，计算结果就是期望的着漆中心点的空间三维坐标，并通过着漆中心点的空间三维坐标计算着漆中心点法向方向的信息；进而得到着漆中心点的三维坐标和法向方向的信息。

2.根据权利要求1所述的一种基于手持示教器的着漆中心点信息的测量方法，其特征在于，步骤4所述使用MATLAB软件计算六条空间曲线中空间曲线(4-5-6)和曲线(2-5-8)的交点点(5)的过程包括以下步骤：

设空间曲线(4-5-6)的函数表达方程：y＝γ(t)，z＝ω(t)；

设空间曲线(2-5-8)的函数表达方程：x＝ρ(t)，y＝σ(t)，z＝τ(t)；其中，x、y、z是因变量，表示图像三维空间中x轴、y轴、z轴位置，t表示自变量；γ(t)、ω(t)表示空间曲线(4-5-6)在图像三维空间中x轴、y轴、z轴对应的函数表达方程；ρ(t)、σ(t)、τ(t)表示空间曲线(2-5-8)在图像三维空间中x轴、y轴、z轴对应的函数表达方程；

这两条空间曲线函数表达方程上的点的坐标都能够通过图像拟合后的点云图像得到；利用x、y、z方向上坐标等值变化逐步逼近，计算出交点点(5)的坐标。

3.根据权利要求2所述的一种基于手持示教器的着漆中心点信息的测量方法，其特征在于，步骤4所述通过着漆中心点的空间三维坐标计算着漆中心点法向方向的信息的过程包括以下步骤：

在以(i,j,k)为基向量的三维空间中，将点(5)的坐标表示为(x₀，y₀，z₀)；

空间曲线(4-5-6)的切线向量表达式：

空间曲线(2-5-8)的切线向量表达式：

γ′(·)、ω′(·)分别为γ(·)、ω(·)的导数，ρ′(·)、σ′(·)、τ′(·)分别为ρ(·)、σ(·)、τ(·)的导数，t₀表示自变量；

根据点5的坐标(x₀，y₀，z₀)求得γ′(t₀)、ω′(t₀)、ρ′(t₀)、σ′(t₀)、τ′(t₀)的值；进而求得两条空间曲线切线向量的向量积就是空间交点法向量法向量的方向就是空间交点的法向；

其中，(i,j,k)是三维空间的基向量。

4.根据权利要求1至3之一所述的一种基于手持示教器的着漆中心点信息的测量方法，其特征在于，步骤3所述的利用对应的3个角点或者4个角点将两幅表面结构光的图像进行匹配的过程包括以下步骤：

首先通过Harris算法提取出两幅表面结构光的图像中对应的角点(1)(3)(7)(9)中的3个或者4个；然后将两幅表面结构光的图像中对应的角点(1)(3)(7)(9)中的3个或者4个作为特征点对两幅图像进行特征点匹配，最后将两幅表面结构光的图像匹配成一幅具有空间信息的拟合空间结构光图像，该拟合空间结构光图像包含着空间三维位置信息和法向信息。

5.根据权利要求4所述的一种基于手持示教器的着漆中心点信息的测量方法，其特征在于，步骤3所述的将图像内的两套表面网格结构光拟合后的六条曲线记为六条空间曲线的过程包括以下步骤：

匹配过程中两幅点云图像的6条表面网格结构光曲线一一对应，然后对表面网格结构光曲线进行曲线拟合得到拟合空间结构光图像点云，两幅点云图像中6条表面网格结构光曲线拟合为6条拟合空间结构光曲线，利用最小二乘法提取6条拟合空间结构光曲线的中心线上的点云坐标，得到六条空间曲线。