CN108927805A - 一种基于视觉补偿的机器人自动化插钉方法 - Google Patents

Abstract

一种基于视觉补偿的机器人自动化插钉方法，本发明涉及基于视觉补偿的机器人自动化插钉方法。本发明为了解决自动化生产线中来料不一致导致现有技术成本高且需要手眼标定的问题。本发明包括：一：选择铆接工件待加工孔位中需要拍照的孔；二：使用机器人对选择的需要拍照的孔进行拍照点位设定，并采集图像；三：使用机器人对铆接工件待加工孔位进行手动示教插钉；四：更换工件，机器人在设定的拍照点位采集图像；五：采用视觉补偿算法对孔位偏移信息进行计算，生成补偿信息发送到机器人；六：机器人根据收到的补偿信息完成插钉过程；七：插钉完成后，工件下料，重复执行步骤四至步骤六，直至完成所有工件的插钉。本发明用于工业机器人应用领域。

Description

一种基于视觉补偿的机器人自动化插钉方法

技术领域

本发明涉及工业机器人应用领域，具体涉及基于视觉补偿的机器人自动化插钉方法。

背景技术

铆接技术以其简洁可靠的特性广泛的应用于航空航天制造业、汽车制造等行业中，而国内目前较多采用人工铆接或专用设备铆接。铆接工作强度大、铆接点多，所以采用自动化设备完成铆接任务具有很大的战略意义。工业机器人工作灵活，适应性强，在制造业自动化中得到了广泛的应用。

在铆接自动化中，插铆钉是其中必不可少的一个部分，一般工件铆钉数量很大，这导致很难用一般的自动化设备去完成插钉任务并适应不同的工件。工业机器人以其自身特性成为该项任务的首选。但由于加工过程中自动化装夹工件的环节过多且工件来料的一致性很难保证，传统机器人示教再现的方式难以保证加工的稳定性。

为解决类似问题，机器视觉结合机器人的方法较多的应用在自动化生产线中，机器人根据视觉测得的信息进行补偿以完成插钉过程。其中摄像头的安装方式分为眼在手(Eye-in-hand)和眼固定(Eye-to-hand)两种。

前者方式中摄像头固定在机器人末端，这种方式下需要对机器人的手眼关系进行标定，即标定摄像头与机器人之间的位置关系。手眼关系的标定过程复杂，且精度难以达到要求，给整个过程增加了很多难度。另一种方式中，摄像头固定在某一位置，但在这种方式下，工件只能被测一部分信息，且摄像头需要布置在合理的安装位置。

发明内容

本发明的目的是为了解决自动化生产线中来料不一致所导致现有技术成本高且需要进行手眼标定的问题，而提出一种基于视觉补偿的机器人自动化插钉方法。

一种基于视觉补偿的机器人自动化插钉方法包括以下步骤：

步骤一：选择铆接工件待加工孔位中需要拍照的孔；

步骤二：使用机器人对步骤一中选择的需要拍照的孔进行拍照点位设定，并采集图像；

步骤三：使用机器人对步骤一中铆接工件待加工孔位进行手动示教插钉；

步骤四：更换工件，机器人在步骤二设定的拍照点位采集图像；

步骤五：采用视觉补偿算法对孔位偏移信息进行计算，生成补偿信息发送到机器人；

步骤六：机器人根据收到的补偿信息完成插钉过程；

步骤七：插钉完成后，工件下料，重复执行步骤四至步骤六，直至完成所有工件的插钉。

本发明的有益效果为：

本发明方法提出了一种基于视觉补偿的机器人自动化插钉方法。由于自动化生产线中工件具有来料不一致性，即按批次加工的工件不能保证每一个工件具有绝对相同的位置，此时需要对加工过程进行补偿进而完成插钉动作。

本发明方法适用于夹具具有靠边定位功能的情况。当机械结构限制了工件的自由度时，需要对工件未限定的一个自由度进行补偿，在完成机器人与夹具的标定后，设定该方向与机器人某一笛卡尔坐标轴方向一致。所以在通过机器视觉完成窜动量测量后，机器人将在该轴方向进行补偿以实现自动化插钉。如果出现与该轴垂直的方向也存在窜动，经结果分析后可对该方向进行附加补偿。

本发明方法解决了自动化生产线中来料不一致所导致的问题。该方法基于单目视觉技术获取工件待加工孔位窜动的位移量，成本低，且无需进行手眼标定，最终利用位移量指导机器人进行补偿，实现自动化插钉过程。采用本发明方法成功率能达到99％以上。

附图说明

图1为本发明流程图；

图2为图像读取示意图；

图3为对图像进行中值滤波处理示意图；

图4为对图像进行阈值分割示意图；

图5为按圆度提取孔位区域示意图；

图6为提取孔位区域的区域边界示意图；

图7为拟合圆型边界示意图1；

图8为步骤四中待加工孔位的图像表达；

图9为计算圆心像素距离和直径示意图；

图10为工件横向位移关系示意图；

图11为工件两向位移关系示意图；

图12为孔位连线折点上的孔示意图，图中黑色实心的孔为孔位连线折点上的孔。

具体实施方式

具体实施方式一：如图1所示，一种基于视觉补偿的机器人自动化插钉方法包括以下步骤：

本发明方法提出了一种基于视觉补偿的机器人自动化插钉方法。由于自动化生产线中工件具有来料不一致性，即按批次加工的工件不能保证每一个工件具有绝对相同的位置，此时需要对加工过程进行补偿进而完成插钉动作。

本发明方法适用于夹具具有靠边定位功能的情况。当机械结构限制了工件的自由度时，需要对工件未限定的一个自由度进行补偿，在完成机器人与夹具的标定后，设定该方向与机器人某一笛卡尔坐标轴方向一致。所以在通过机器视觉完成窜动量测量后，机器人将在该轴方向进行补偿以实现自动化插钉。如果出现与该轴垂直的方向也存在窜动，经结果分析后可对该方向进行附加补偿。

插钉方法中需要标定的还有摄像头与工件表面的垂直关系，这部分用可以用机器视觉完成。而机器人手眼关系不需要标定，因为机器人手眼标定的结果依赖于机器人自身运动学参数的精度及摄像头精度，最终标定结果通常难以获得好的精度，所以无需标定的方法很大程度上降低了方式实现的难度，提升了可靠度。机器人手眼关系是指摄像头相对于机器人本体末端的位置关系。在本方法中，当摄像头与待测工件保持垂直时，其所测得的孔位移量即可代表工件相对于大地的位移。如上所述，该位移量可在机器人坐标轴的方向进行补偿。

整体方案的流程图如下，在制定好机器人图像采集的拍照点位后，机器人移动至拍照点位进行基准图像的采集。采集完成后机器人进行第一次手动示教，完成对工件所有点的第一次插钉。第二次上料时，机器人移动至拍照点位进行位移后图像的采集并以第一次的图像为依据进行图像处理，图像处理的结果为多个点处的位移量，综合各点数据进行分析，完成整体工件窜动量的计算，此后以该计算量为补偿控制机器人进行第二次插钉，依次完成全部工件的插钉过程。

步骤一：选择铆接工件待加工孔位中需要拍照的孔；

步骤二：使用机器人对步骤一中选择的需要拍照的孔进行拍照点位设定，并采集图像；

步骤三：使用机器人对步骤一中铆接工件待加工孔位进行手动示教插钉，并记录当前位置；

步骤四：更换工件，机器人在步骤二设定的拍照点位采集图像；

步骤五：采用视觉补偿算法对孔位偏移信息进行计算，生成补偿信息发送到机器人；

步骤六：机器人根据收到的补偿信息，在步骤三记录的位置的基础上进行补偿，完成插钉过程；

步骤七：插钉完成后，工件下料，重复执行步骤四至步骤六，直至完成所有工件的插钉。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中选择铆接工件待加工孔位中需要拍照的孔具体为：

需要拍照的孔选择的依据是尽量覆盖整体工件的同时避免过于密集。需要拍照的孔占总孔位的10％以内，选择的孔分布均匀，且孔位连线折点上的孔必须被选择，如图12所示。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤二中使用机器人对步骤一中选择的需要拍照的孔进行拍照点位设定，并采集图像的具体过程为：

以待加工工件的孔位在图像中心，同时摄像头视场要覆盖整个可能位移的范围，即来料位置的误差范围时为拍照点位；

设定好点位后，机器人记录下自身状态，在后续的拍照时，机器人移动至相同位置，保持摄像头的绝对位置不动。这种方式的好处在于，摄像头固定设置，不需要设置多个摄像头和固定装置，却获得了相当数量的点位。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤五中采用视觉补偿算法对孔位偏移信息进行计算的具体过程为：

视觉补偿软件主要有两部分功能，一部分为标定摄像头与工件的垂直关系，另一部分计算各个孔位的位移。

标定工作中，对于平面型工件，待插钉孔与平面相互垂直。在平面上设置视觉标定点，在标定点处可以设置标定专用图案，例如十字Marker点或正方形等，当摄像头提取信息中，满足两边图上长度相同或其他判定条件时，摄像头与待加工孔位置相互垂直。对于斜面工件则需根据工件特征寻找与孔垂直的平面或在工装上寻找相应平面，仍采用上述设置标定专用图案的方式进行标定。

计算各个孔位的位移时，以第一次拍照的图片作为基准，计算孔位在图像中的位置，当位移后的图片获得后，计算相应孔位的位置，由此可获得两个孔位间的距离，此时两个孔位的直径及距离的像素个数均已知，而在加工过程中，孔位直径的实际大小已知，所以由此比例关系可获得实际距离的大小，此时不需要标定摄像头的焦距等内参数，方法快捷方便。

具体的图像处理过程如下：

步骤五一：如图2所示，对步骤二采集的图像进行读取；

步骤五二：如图3所示，对步骤五一读取的图像进行中值滤波处理；中值滤波对周围圆型部分内的像素进行中值处理。

步骤五三：如图4所示，对步骤五二中值滤波处理后的图像采用最大类间方差法，求得使前景和背景图案的类间方差最大的阈值；根据求得的阈值进行黑色区域选取；

传统的阈值分割法需要依赖于固定阈值，但受外界环境影响很大，稳定性较差，利用基于OTUS法的动态阈值分割方法，以滤波后为参照图像，进行黑色部分的选取。OTUS方法，又称最大类间方差法，利用此方法求得的阈值，可以使前景和背景图案的类间方差最大。

步骤五四：如图5所示，步骤五三选取的黑色区域为孔位和背景，按圆度提取孔位区域；

步骤五五：如图6所示，提取孔位区域的区域边界；提取孔位区域后，通常不是完全的圆形区域，此时提取区域边界。

步骤五六：如图7所示，在步骤五五提取的边界上利用最小二乘法拟合圆型边界，作为初始待加工孔位的图像表达；

圆的方程为x²+y²+ax+by+c＝0，设轮廓点到圆心的距离的平方和半径平法的差为δ_i＝d_i ²-R_i ²，最小二乘法拟合圆曲线方法是找出使得∑δ_i ²最小的a，b，c。

步骤五七：重复执行步骤五一至步骤五六，对步骤四采集的图像进行处理，得到步骤四中待加工孔位的图像表达，如图8所示；

步骤五八：如图9所示，计算步骤五六和步骤五七中得到的两个孔位的圆心距离和直径在图像中的像素个数；

步骤五九：根据孔位的实际直径和步骤五八中得到的孔位的圆心距离和直径在图像中的像素个数，计算初始待加工孔位和步骤五七中待加工孔位的实际圆心距离，即得到位移量。

由于实际直径已知，根据像素距离之比计算实际圆心距离。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤五二中对步骤五一读取的图像进行中值滤波处理采用以下公式：

y(i)＝Med[x(i-N),…,x(i),…,x(i+N)]

其中，y(i)为图像上第i个点滤波后的灰度值，x(i)为图像上第i个点滤波前的灰度值，2N+1为窗口长度，Med为取中值。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤五中生成补偿信息的具体过程为：

如图10所示，对多个点的位移量进行计算后，再计算位移量间的极差，如果极差小于插钉的轴孔间距，则工件仅在沿夹具定位面方向发生位移，计算位移量的平均值，采用平均值对每个点进行补偿，机器人完成插钉入孔；

如图11所示，当极差大于等于插钉的轴孔间距时，此时情况很少发生，是由于工件在垂直夹具定位面方向有少量位移，此时需要按孔位分布对位移量进行分析，此时位移量大小分布应与孔位的位置有明显的关系。以位移量最小值为补偿基准，分别对各孔进行垂直于夹具定位面方向的位移进行计算；计算满足勾股定理关系，以各孔的位移量为斜边，以位移量最小值为直角边，计算另一直角边，即为各孔垂直于夹具定位面方向的位移；

机器人以位移量最小值为沿夹具定位面方向的位移，结合各孔垂直于夹具定位面方向的位移，在步骤三记录的位置的基础上进行补偿，完成插钉入孔。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种基于视觉补偿的机器人自动化插钉方法，其特征在于：所述基于视觉补偿的机器人自动化插钉方法包括以下步骤：

步骤一：选择铆接工件待加工孔位中需要拍照的孔；

步骤二：使用机器人对步骤一中选择的需要拍照的孔进行拍照点位设定，并采集图像；

步骤三：使用机器人对步骤一中铆接工件待加工孔位进行手动示教插钉，并记录当前位置；

步骤四：更换工件，机器人在步骤二设定的拍照点位采集图像；

步骤五：采用视觉补偿算法对孔位偏移信息进行计算，生成补偿信息发送到机器人；

步骤六：机器人根据收到的补偿信息，在步骤三记录的位置的基础上进行补偿，完成插钉过程；

步骤七：插钉完成后，工件下料，重复执行步骤四至步骤六，直至完成所有工件的插钉。

2.根据权利要求1所述一种基于视觉补偿的机器人自动化插钉方法，其特征在于：所述步骤一中选择铆接工件待加工孔位中需要拍照的孔具体为：

需要拍照的孔占总孔位的10％以内，选择的孔分布均匀，且孔位连线折点上的孔必须被选择。

3.根据权利要求2所述一种基于视觉补偿的机器人自动化插钉方法，其特征在于：所述步骤二中使用机器人对步骤一中选择的需要拍照的孔进行拍照点位设定，并采集图像的具体过程为：

以待加工工件的孔位在图像中心，同时摄像头视场要覆盖整个可能位移的范围，即来料位置的误差范围内时为拍照点位；

设定好点位后，机器人记录下自身状态，在后续的拍照时，机器人移动至相同位置。

4.根据权利要求3所述一种基于视觉补偿的机器人自动化插钉方法，其特征在于：所述步骤五中采用视觉补偿算法对孔位偏移信息进行计算的具体过程为：

步骤五一：对步骤二采集的图像进行读取；

步骤五二：对步骤五一读取的图像进行中值滤波处理；

步骤五三：对步骤五二中值滤波处理后的图像采用最大类间方差法，求得使前景和背景图案的类间方差最大的阈值；根据求得的阈值进行黑色区域选取；

步骤五四：步骤五三选取的黑色区域为孔位和背景，按圆度提取孔位区域；

步骤五五：提取孔位区域的区域边界；

步骤五六：在步骤五五提取的边界上利用最小二乘法拟合圆型边界，作为初始待加工孔位的图像表达；

步骤五七：重复执行步骤五一至步骤五六，对步骤四采集的图像进行处理，得到步骤四中待加工孔位的图像表达；

步骤五八：计算步骤五六和步骤五七中得到的两个孔位的圆心距离和直径在图像中的像素个数；

步骤五九：根据孔位的实际直径和步骤五八中得到的孔位的圆心距离和直径在图像中的像素个数，计算初始待加工孔位和步骤五七中待加工孔位的实际圆心距离，即得到位移量。

5.根据权利要求4所述一种基于视觉补偿的机器人自动化插钉方法，其特征在于：所述步骤五二中对步骤五一读取的图像进行中值滤波处理采用以下公式：

y(i)＝Med[x(i-N),…,x(i),…,x(i+N)]

其中，y(i)为图像上第i个点滤波后的灰度值，x(i)为图像上第i个点滤波前的灰度值，2N+1为窗口长度，Med为取中值。

6.根据权利要求5所述一种基于视觉补偿的机器人自动化插钉方法，其特征在于：所述步骤五中生成补偿信息的具体过程为：

对多个点的位移量进行计算后，再计算位移量间的极差，如果极差小于插钉的轴孔间距，则工件在沿夹具定位面方向发生位移，计算位移量的平均值，采用平均值对每个点进行补偿，机器人完成插钉入孔；

当极差大于等于插钉的轴孔间距时，工件在垂直夹具定位面方向有位移，以位移量最小值为补偿基准，分别对各孔进行垂直于夹具定位面方向的位移进行计算；计算满足勾股定理关系，以各孔的位移量为斜边，以位移量最小值为直角边，计算另一直角边，即为各孔垂直于夹具定位面方向的位移；

机器人以位移量最小值为沿夹具定位面方向的位移，结合各孔垂直于夹具定位面方向的位移，进行补偿，完成插钉入孔。