CN114193460A - 基于三维视觉及Mark自补偿的胶路引导定位方法 - Google Patents

Abstract

本发明公开了一种基于三维视觉及Mark自补偿的胶路引导定位方法，采集工件胶路三维轮廓信息并将工件高度数据转换成灰度图像；对胶路以及工件在高度方向上进行阈值分割，绘制胶路轨迹线，并绘制工件包含区域，创建工件定位模板；根据所绘制的胶路轨迹线及胶路特征，创建测量矩，求解每个测量矩与胶路交集区域的中心点，生成Mark点序列；实际作业时，搜索工件定位模板，仿射胶路轨迹线，并根据创建的测量矩参数生成测量矩，同时根据胶路特征生成Mark序列；根据新的Mark序列或调整后的Mark序列结合3D成像设备标定结果获取Mark点的机械坐标；实现胶路引导作业。该方法具有Mark定位精度高、空间引导点胶灵活性强的优点。

Description

基于三维视觉及Mark自补偿的胶路引导定位方法

技术领域

本发明涉及胶路引导定位的技术领域，尤其是一种基于三维视觉及Mark自补偿的胶路引导定位方法。

背景技术

在点胶行业中，需要对产品胶路进行提取并生成相应的点胶轨迹，传统示教方式生成的点胶轨迹固定，无法根据产品位置灵活变动，基于二维机器视觉的方式可根据产品位置变化灵活生成相应的点胶轨迹，但无法实现产品高度方向的调整。在胶路提取过程中，当产品的一致性出现偏差时，往往需要根据产品胶路特征动态提取Mark点并生成相应的点胶轨迹，有时实际点胶位置还需要根据Mark位置做局部或全局的补偿调整。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。

为此，本发明提出一种基于三维视觉及Mark自补偿的胶路引导定位方法，具有Mark定位精度高、空间引导点胶灵活性强的优点。

根据本发明实施例的基于三维视觉及Mark自补偿的胶路引导定位方法，具有以下步骤：第一步骤、利用3D成像设备采集工件胶路三维轮廓信息并将工件高度数据转换成灰度图像，并对灰度图像进行预处理；第二步骤、基于第一步骤对胶路以及工件在高度方向上进行阈值分割，绘制胶路轨迹线，并绘制工件包含区域，创建工件定位模板；第三步骤、根据第二步骤所绘制的胶路轨迹线以及胶路特征，创建测量矩，求解每个测量矩与胶路交集区域的中心点，并生成Mark点序列，存储至相应容器中；第四步骤、实际作业时，搜索工件定位模板，当匹配结果满足要求时，仿射第二步骤所绘制的胶路轨迹线，并根据第三步骤创建的测量矩参数生成测量矩，同时根据实际作业的胶路特征生成对应Mark序列； 第五步骤、根据实际作业工件生成的新的Mark序列或调整后的Mark序列结合3D成像设备标定结果获取Mark点在点胶机器人基坐标系下的机械坐标并输出；第六步骤、根据第五步骤输出Mark点机械坐标，结合点胶针头与点胶机器人基坐标标定转换矩阵，实现胶路引导作业。

本发明的有益效果是，本发明利用3D成像设备获取产品胶路三维轮廓数据并结合胶路定位提取和Mark自补偿算法，可以实现根据产品胶路变化，动态提取空间Mark点，防止因为产品一致性不好导致的Mark定位偏差；本发明可通过预先创建的Mark点管理模板对需要调整的Mark进行参数设置，后续胶路引导中可自动对R角等需要补偿处Mark点进行局部调整或全局批量调整，提高空间引导点胶灵活性。

根据本发明一个实施例，在所述第三步骤中，若需要对Mark点进行局部调整或全局调整，则设定调整方向以及调整值这两个Mark调整参数，并将调整后的Mark调整参数保存。

根据本发明一个实施例，在所述第四步骤中，若需要对Mark点进行调整，则获取第三步骤中的Mark调整参数，根据调整方向和调整值对对应序号的Mark点进行调整后输出，同时在所述第五步骤中，根据实际作业工件生成的调整后的Mark序列结合3D成像设备标定结果获取Mark点在点胶机器人基坐标系下的机械坐标并输出。

根据本发明一个实施例，在所述第四步骤中，若不需要对Mark点进行调整，则在第五步骤中，直接根据实际作业工件生成的Mark序列结合3D成像设备标定结果获取Mark点在点胶机器人基坐标系下的机械坐标并输出。

根据本发明一个实施例，在所述第二步骤中，沿胶路中心绘制轨迹线，并对轨迹线进行平滑处理，提取轨迹线亚像素轮廓。

根据本发明一个实施例，在所述第二步骤中，根据高度差异阈值分割出胶路区域和工件区域，并记录胶路区域的阈值上下限和工件区域的阈值上下限。

根据本发明一个实施例，在所述第二步骤中，所述工件定位模板的设置参数包括起始角度、角度范围、匹配度、金字塔级数、最小对比度、最大对比度以及轮廓长度。

根据本发明一个实施例，在所述第五步骤中，结合3D成像设备与点胶机器人之间标定关系，根据生成的新的Mark序列或调整后的Mark序列中Mark点行列坐标、高度值求解Mark点在点胶机器人机械坐标下的位置。

根据本发明一个实施例，当测量矩包含多余胶路区域，导致转角处Mark点提取出现偏差或实际点胶作业时需在胶路中心Mark点附近进行调整，此时要对模板Mark序列进行局部调整或全局调整，创建Mark序列中所有Mark点属性容器。

根据本发明一个实施例，所述Mark点属性包括Mark点像素行列坐标、高度值、调整方向以及调整值。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的流程图；

图2是预处理后工件灰度图；

图3是绘制胶路轨迹线亚像素轮廓图；

图4是包含胶路的胶槽区域阈值分割效果图；

图5是工件整体阈值分割效果图；

图6是测量矩创建以及Mark点生成效果图；

图7是形状模板创建包含区域示意图；

图8是Mark点在辅助线方向上调整示意图；

图9 是R角处部分Mark点调整补偿前效果图；

图10是R角处部分Mark点调整补偿后效果图。

具体实施方式

为了使本发明所解决的技术问题、技术方案以及有益效果更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

由于二维机器视觉的方式只能实现平面方向上的特征定位，无法实现对高度方向的特征提取，本发明提出一种新型胶路引导定位方式，旨在解决产品一致性出现偏差时无法动态提取空间Mark点的问题。传统胶路引导定位根据产品胶路特征提取Mark点并生成相应轨迹，实际点胶位置需要偏移时，无法对局部或全局Mark做空间位置上的补偿调整。本发明提出一种新型胶路引导定位方式，旨在解决上述问题，实现空间灵活点胶。

本发明的基于三维视觉及Mark自补偿的胶路引导定位方法，具有以下步骤：

第一步骤、利用3D成像设备采集工件胶路三维轮廓信息并将工件高度数据转换成灰度图像，并对灰度图像进行预处理；其中，3D成像设备可以是各种成像原理的3D采集设备。

第二步骤、基于第一步骤对胶路以及工件在高度方向上进行阈值分割，绘制胶路轨迹线，并绘制工件包含区域，创建工件定位模板。

在第二步骤中，沿胶路中心绘制轨迹线，并对轨迹线进行平滑处理，提取轨迹线亚像素轮廓。根据高度差异阈值分割出胶路区域和工件区域，并记录胶路区域的阈值上下限和工件区域的阈值上下限。工件定位模板的设置参数包括起始角度、角度范围、匹配度、金字塔级数、最小对比度、最大对比度以及轮廓长度。

其中，需要说明的是，起始角度（模板旋转起始角度），即模板搜索时的开始角度。角度范围（模板旋转角度范围），即模板搜索时的搜索角度范围。匹配度（最小匹配的阈值），匹配度越大，匹配要求越高，匹配到的模板特征越多，匹配越精确。金字塔级数（指定金字塔的级别），其范围为0～10，值越小，理论上相对越精确，但速度越慢；值越大，匹配精度越低，但匹配速度越快。最小对比度（特征提取的对比度），对比度第一个值（滞后阈值min），这里范围设置为0～250，建议取为50；通过调整参数指定哪些像素是模板的一部分，调小该值，会将对比度较小的像素也算作模板的一部分。最大对比度（特征提取的对比度），对比度第二个值（滞后阈值max），这里范围设置为0～250，建议取为100；通过调整参数指定哪些像素是模板的一部分，调大该值，会将对比度较大的像素也算作模板的一部分。轮廓长度，即所提取的边缘特征长度。

第三步骤、根据第二步骤所绘制的胶路轨迹线以及胶路特征，创建测量矩，求解每个测量矩与胶路交集区域的中心点，并生成Mark点序列，存储至相应容器中。

在第三步骤中，若需要对Mark点进行局部调整或全局调整，则设定调整方向以及调整值这两个Mark调整参数，并将调整后的Mark调整参数保存。

第四步骤、实际作业时，搜索工件定位模板，当匹配结果满足要求时，仿射第二步骤所绘制的胶路轨迹线，并根据第三步骤创建的测量矩参数生成测量矩，同时根据实际作业的胶路特征生成对应Mark序列。

第五步骤、根据实际作业工件生成的新的Mark序列或调整后的Mark序列结合3D成像设备标定结果获取Mark点在点胶机器人基坐标系下的机械坐标并输出。

在第五步骤中，结合3D成像设备与点胶机器人之间标定关系，根据生成的新的Mark序列或调整后的Mark序列中Mark点行列坐标、高度值求解Mark点在点胶机器人机械坐标下的位置。

其中，需要说明的是，点胶机器人基坐标系即点胶机器人运动机构建立的机械坐标。

在第四步骤中，若需要对Mark点进行调整，则获取第三步骤中的Mark调整参数，根据调整方向和调整值对对应序号的Mark点进行调整后输出，同时在第五步骤中，根据实际作业工件生成的调整后的Mark序列结合3D成像设备标定结果获取Mark点在点胶机器人基坐标系下的机械坐标并输出。

在第四步骤中，若不需要对Mark点进行调整，则在第五步骤中，直接根据实际作业工件生成的Mark序列结合3D成像设备标定结果获取Mark点在点胶机器人基坐标系下的机械坐标并输出。

当测量矩包含多余胶路区域，导致转角处Mark点提取出现偏差或实际点胶作业时需在胶路中心Mark点附近进行调整，此时要对模板Mark序列进行局部调整或全局调整，创建Mark序列中所有Mark点属性容器，Mark点属性包括Mark点像素行列坐标、高度值、调整方向以及调整值。

第六步骤、根据第五步骤输出Mark点机械坐标，结合点胶针头与点胶机器人基坐标标定转换矩阵，实现胶路引导作业。

根据本发明一个实施例：

见图1，为方便说明本发明的流程，采用某注塑零件中间不规则多边形部分进行胶路以及Mark提取，具体步骤如下：

第1步骤、利用基于激光三角或双目等原理的3D成像设备对工件胶路部分轮廓数据进行采集，并生成高度图像P_origin，经灰度缩放、格式转换等操作生成工件灰度图P_gray，如图2所示。

第2步骤、沿胶路中心绘制轨迹线，并对轨迹线进行平滑处理，提取轨迹线亚像素轮廓，如图3所示，获取其轮廓行列坐标并存储至相应数组Tuple_row、Tuple_col，即轮廓行坐标存储至数组Tuple_row，轮廓列坐标存储至数组Tuple_col。

第3步骤、根据高度差异阈值分割出胶路区域R_glue和工件区域R_artifact，如图4、图5所示。记录各自阈值上下限，胶路区域R_glue的阈值最小值为glueGray_min，胶路区域R_glue的阈值最大值为glueGray_max，工件区域R_artifact的阈值最小值为artifactGray_min，工件区域R_artifact的阈值最大值为artifactGray_max。

第4步骤、记轨迹线轮廓长度为Length，定义轨迹线上某点A（Row[P]，Col[P]）与下一点B（Row[P+1]，Col[P+1]）连线的垂线方向为A点测量矩的生成方向，设测量矩每间隔Step（Step是正整数，且0<Step<Length）个长度依次创建测量矩片段Rect = {R1，R2，R3...Rn}，采用for循环依次遍历整个轨迹线，for循环从1开始，Length-（Step-2）处终止，记测量矩生成方向长度为Width，垂直于生成方向长度为Height，为确保测量矩遍历过程中能充分考虑胶路区域整体形状特征，一般取Height≥Step，Width长度应大于胶路最宽处。其中，1≤n≤⌊(Length-(Step-2))/Step⌋,符号⌊ ⌋表示向下取整。

第5步骤、对胶路区域R_glue进行简单形态学处理，求取测量矩片段序列Rect与处理后的胶路区域R_glue交集区域中心坐标，记为 Mark = {M1，M2，M3...Mn}。其中，1≤n≤⌊(Length-(Step-2))/Step⌋,符号⌊ ⌋表示向下取整。Mi=（Row_Mi，Col_Mi），1≤i≤n，如图6所示。

第6步骤、绘制模板包含区域，如图7所示，创建形状匹配模板并设置模板参数，其中的模板参数包括起始角度、角度范围、匹配度、金字塔级数、最小对比度、最大对比度以及轮廓长度等。

第7步骤、对于胶路转角过大时，测量矩会包含多余胶路区域，导致转角处Mark点提取出现偏差或实际点胶作业时需在胶路中心Mark点附近进行调整，此时需要对模板Mark序列进行局部调整或全局调整，创建Mark序列中所有Mark点属性容器，记录每个Mark点像素行列坐标、高度值、调整方向以及调整值。

第8步骤、记轨迹线Length递增方向为测量矩Rect序列遍历前进方向，按第4步骤测量矩生成方向生成经过Mark点的辅助线，调整Mark点在辅助线轨道上左右滑动，如图8所示，Mark点沿Rect遍历前进方向左侧调整，方向记为-1，不调整记为0，Mark点沿Rect遍历前进方向右侧调整，方向记为1，调整值记为OffsetValue，单位为像素。

第9步骤、定义像素坐标中某点P（R_center，C_center）沿水平方向逆时针旋转Angle度，Angle=[0°，360°]，调整值为OffsetValue，OffsetValue的大小一般来说会根据所选3D成像设备分辨率以及工件大小来定，调整后坐标P’ （Row[P’]，Col[P’]）可由如下基础公式描述：

Row[P’] := R_center - sin（rad（Angle）） * OffsetValue

Col[P’] := C_center + cos（rad（Angle）） * OffsetValue

第10步骤、按第4步骤A点往右水平延伸一定长度，求该水平辅助线与AB连线夹角，记为AuxiAngle，AuxiAngle的取值在-Phi到Phi之间，Phi是п的弧度制取值，即-3.14159＜AuxiAngle＜3.14159，定义水平辅助线逆时针旋转度数为正，推导出Mark点坐标Q（RowMark，ColMark）在第8步骤辅助线轨道左右调整OffsetValue（0≤OffsetValue≤50）大小后的Mark点坐标Q’（OffsetRow，OffsetCol）描述如下：

左移公式：

if （AuxiAngle>1.5708 and AuxiAngle<3.14159）

OffsetRow := RowMark - sin（7.85398-AuxiAngle）*OffsetValue

OffsetCol := ColMark + cos（7.85398-AuxiAngle）*OffsetValue

else

OffsetRow := RowMark - sin（1.5708-AuxiAngle）*OffsetValue

OffsetCol := ColMark + cos（1.5708-AuxiAngle）*OffsetValue

endif

右移公式：

if （AuxiAngle>-3.14159 and AuxiAngle<-1.5708）

OffsetRow := RowMark - sin（-1.5708-AuxiAngle）*OffsetValue

OffsetCol := ColMark + cos（-1.5708-AuxiAngle）*OffsetValue

else

OffsetRow := RowMark - sin（4.7124-AuxiAngle）*OffsetValue

OffsetCol := ColMark + cos（4.7124-AuxiAngle）*OffsetValue

endif

第11步骤、保存上述局部调整或全局调整后Mark点属性，实际作业时在第3步骤artifactGray_min到artifactGray_max 灰度区间搜索模板，并仿射第2步骤轨迹线，生成新的轨迹线，重复第3步骤、第4步骤、第5步骤操作，根据来料工件胶路特征生成新的Mark序列，当Mark点不需要调整时，即可在此输出。当Mark点需要调整时，遍历Mark点调整方向、调整值等属性容器，依第10步骤调整公式，对新的Mark序列进行补偿调整，并输出调整后的Mark序列，局部R角补偿前后效果如图9、图10所示。

第12步骤、结合3D成像设备与点胶机器人之间标定关系，根据生成的新的Mark序列或调整后的Mark序列中Mark点行列坐标、高度值求解Mark点在点胶机器人机械坐标下的位置。

第13步骤、上位机软件结合Mark点位置信息以及相关插补算法规划出实际点胶作业路径，实现胶路引导定位作业。

本发明利用3D轮廓测量设备采集的高度数据生成灰度图像，结合2D图像处理形状匹配实现胶路轨迹线的仿射定位，并基于该仿射轨迹线创建测量矩片段序列，并根据每段测量矩内胶路区域形状找出中心点自动生成Mark序列，当胶路区域出现微小变化时，算法可根据变化自动生成Mark序列；对胶路转角处出现的Mark点提取偏差或根据实际点胶需求对局部或全局Mark点进行调整补偿时，可通过编辑所有Mark点调整方向、调整值等属性实现统一管理，并将Mark点属性保存至容器中，实际作业时根据模板中Mark调整属性实现相应调整补偿。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案以及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于三维视觉及Mark自补偿的胶路引导定位方法，其特征在于，具有以下步骤：

第一步骤、利用3D成像设备采集工件胶路三维轮廓信息并将工件高度数据转换成灰度图像，并对灰度图像进行预处理；

第二步骤、基于第一步骤对胶路以及工件在高度方向上进行阈值分割，绘制胶路轨迹线，并绘制工件包含区域，创建工件定位模板；

第三步骤、根据第二步骤所绘制的胶路轨迹线以及胶路特征，创建测量矩，求解每个测量矩与胶路交集区域的中心点，并生成Mark点序列，存储至相应容器中；

第四步骤、实际作业时，搜索工件定位模板，当匹配结果满足要求时，仿射第二步骤所绘制的胶路轨迹线，并根据第三步骤创建的测量矩参数生成测量矩，同时根据实际作业的胶路特征生成对应Mark序列；

第五步骤、根据实际作业工件生成的新的Mark序列或调整后的Mark序列结合3D成像设备标定结果获取Mark点在点胶机器人基坐标系下的机械坐标并输出；

第六步骤、根据第五步骤输出Mark点机械坐标，结合点胶针头与点胶机器人基坐标标定转换矩阵，实现胶路引导作业。

2.根据权利要求1所述的基于三维视觉及Mark自补偿的胶路引导定位方法，其特征在于：在所述第三步骤中，若需要对Mark点进行局部调整或全局调整，则设定调整方向以及调整值这两个Mark调整参数，并将调整后的Mark调整参数保存。

3.根据权利要求2所述的基于三维视觉及Mark自补偿的胶路引导定位方法，其特征在于：在所述第四步骤中，若需要对Mark点进行调整，则获取第三步骤中的Mark调整参数，根据调整方向和调整值对对应序号的Mark点进行调整后输出，同时在所述第五步骤中，根据实际作业工件生成的调整后的Mark序列结合3D成像设备标定结果获取Mark点在点胶机器人基坐标系下的机械坐标并输出。

4.根据权利要求1所述的基于三维视觉及Mark自补偿的胶路引导定位方法，其特征在于：在所述第四步骤中，若不需要对Mark点进行调整，则在第五步骤中，直接根据实际作业工件生成的Mark序列结合3D成像设备标定结果获取Mark点在点胶机器人基坐标系下的机械坐标并输出。

5.根据权利要求1所述的基于三维视觉及Mark自补偿的胶路引导定位方法，其特征在于：在所述第二步骤中，沿胶路中心绘制轨迹线，并对轨迹线进行平滑处理，提取轨迹线亚像素轮廓。

6.根据权利要求1所述的基于三维视觉及Mark自补偿的胶路引导定位方法，其特征在于：在所述第二步骤中，根据高度差异阈值分割出胶路区域和工件区域，并记录胶路区域的阈值上下限和工件区域的阈值上下限。

7.根据权利要求1所述的基于三维视觉及Mark自补偿的胶路引导定位方法，其特征在于：在所述第二步骤中，所述工件定位模板的设置参数包括起始角度、角度范围、匹配度、金字塔级数、最小对比度、最大对比度以及轮廓长度。

8.根据权利要求1所述的基于三维视觉及Mark自补偿的胶路引导定位方法，其特征在于：在所述第五步骤中，结合3D成像设备与点胶机器人之间标定关系，根据生成的新的Mark序列或调整后的Mark序列中Mark点行列坐标、高度值求解Mark点在点胶机器人机械坐标下的位置。

9.根据权利要求1所述的基于三维视觉及Mark自补偿的胶路引导定位方法，其特征在于：当测量矩包含多余胶路区域，导致转角处Mark点提取出现偏差或实际点胶作业时需在胶路中心Mark点附近进行调整，此时要对模板Mark序列进行局部调整或全局调整，创建Mark序列中所有Mark点属性容器。

10.根据权利要求9所述的基于三维视觉及Mark自补偿的胶路引导定位方法，其特征在于：所述Mark点属性包括Mark点像素行列坐标、高度值、调整方向以及调整值。

Images