CN108015762B - 机器人视觉定位的验证方法 - Google Patents

Abstract

本发明公开一种机器人视觉定位的验证方法，在机器人校正视觉定位后，补偿设定的机器人验证姿态，以补偿姿态提取工作环境中形状特征影像，与基准特征影像比较影像差异值，在影像差异值大于预设差异阀值时，重新进行视觉定位，以确保视觉定位的正确。

Description

机器人视觉定位的验证方法

技术领域

本发明涉及一种机器人，尤其是涉及工业机器人利用视觉系统提取影像，定位作业位置，再行验证定位的方法。

背景技术

机器人具有灵活移动、精确定位及连续性作业的特性，已成为产品生产线上制造组装的最佳利器。而弹性化机器人的作业，让机器人快速切换生产线，有效率的生产各种产品，已成为提升机器人生产效率的重要课题。

现有技术的机器人将周边治具设置成相对的固定关系，使机器人与工件、工作台面维持在一定的相对关系，以利机器人取放处理工件。但此种固定关系的方法，包含机器人在内的整个作业单位固定化，需要依赖大量的精准机械治具，以及机械结合始能形成相对的固定关系。一旦生产的工件及处理程序改变，作业单位中所有的机械治具、机械结合、相对固定关系及作业点位都必须精准重新教导设立，而且机器人固定于作业单位中，难以再移作他用，无法弹性调度机器人，缺乏使用弹性。

因此，另有现有技术增加机器人的使用弹性，例如中国台湾公告TW385269专利案，将机器人载于可移动的台车上，在生产线上各作业单位间移动切换工作。为解决台车每次移动到每一作业单位的定位，因工作台面、地板及台车等水平度三者不一的状况，造成机器人与工作台面3维空间的不确定关系。现有技术利用在工作台面设置定位标记，搭配机器人的视觉系统，让机器人在开始工作前，自动完成机器人坐标系统与工作台面的3维空间的定位。因此机器人所有在该工作台面的教导的作业点位，将随定位结果，重新建立原有相对的固定关系，以遂行预设的自动化作业。

然而，前述现有技术利用视觉系统进行空间定位的技术，常因视觉系统本身的误差、工作环境及光影等的影响，使其定位精度造成偏差，难以完全避免视觉系统辨识误判状况。而在视觉系统发生辨识误判时，将产生错误的定位结果，因而影响所有教导点位的自动化作业，以致常造成撞机、工件加工精度不足或损毁工件的困扰。因此，如何确保机器人的视觉定位的正确，是亟待解决的问题。

发明内容

本发明的目的在于提供一种机器人视觉定位的验证方法，在视觉定位后，通过补偿设定机器人验证姿态提取工作环境中形状特征的影像，与教导的基准特征影像比较差异，以验证视觉定位的正确性。

本发明的另一目的在于提供一种机器人视觉定位的验证方法，利用提取特征影像与基准特征影像的差异，预设影像差异阀值，在影像差异大于差异阀值时，重新进行视觉定位，以确保视觉定位的正确。

为了达到前述发明的目的，本发明机器人视觉定位的验证方法，在教导机器人建立及记录视觉定位基准后，机器人移动进入设定位置，自动控制移动至视觉定位基准记录的基准姿态，对定位标记提取定位标记影像，影像处理及比较提取的定位标记影像与视觉定位基准记录的基准定位标记影像的差异，并利用影像差异进行补偿校正机器人的定位，对视觉定位基准记录的验证姿态进行相同的补偿，形成补偿姿态，机器人自动控制移动至补偿姿态，对形状特征提取特征影像，影像处理及比较提取的特征影像与视觉定位基准记录的基准特征影像中形状特征的影像差异值，检查影像差异值不小于预设差异阀值，则重新开始视觉定位验证。检查影像差异值小于预设差异阀值，则完成视觉定位验证作业。

在教导机器人建立及记录视觉定位基准时，移动机器人进入设定位置，牵引机器人至第一点位，以基准姿态提取定位标记影像，作为基准定位标记影像，记录基准定位标记影像及机器人的基准姿态，牵引机器人至第二点位，以验证姿态提取工作环境中任一形状特征的影像，作为基准特征影像，记录基准特征影像及机器人的验证姿态，完成建立视觉定位基准。

本发明利用影像差异进行校正机器人定位时，由机器人基准姿态提取的定位标记影像与记录的基准定位标记影像，进行两影像中定位标记的特征比对，计算位移量及旋转角度的差异量。根据差异量伺服控制地移动机器人，搜寻比对提取定位标记的影像，使提取的定位标记影像与基准定位标记影像相同或其差异量小于预设阀值时，记录机器人的校正姿态，计算校正姿态与基准姿态的坐标的偏移，补偿机器人的坐标偏移，以完成机器人的校正定位。

本发明的设定位置设在作业单位中机器人的作业位置，定位标记设置在作业单位中的工作台，其中定位标记与作业单位中的工作环境保持相对固定的空间位置关系，形状特征为工作环境中任一可识别的特殊形象。重新开始视觉定位验证时，计数重新校正定位的次数，一旦超出预设次数限值，即启动警报。

附图说明

图1为本发明教导机器人建立视觉定位基准的示意图；

图2为本发明机器人视觉定位的验证的示意图；

图3为本发明比较基准定位标记影像差异的示意图；

图4为本发明机器人调整姿态搜寻基准定位标记影像的示意图；

图5为本发明机器人以校正姿态提取特征影像的示意图；

图6为本发明比较基准特征影像差异的示意图；

图7为本发明机器人建立视觉定位基准的方法的流程图；

图8为本发明机器人视觉定位的验证方法的流程图。

符号说明

1 作业单位

2 机器人

3 控制器

4 工作台

5 工作环境

6 固定端

7 基座

8 定位标记

9 活动端

10 视觉系统

11 定位标记影像

12 基准定位标记影像

13 特征影像

14 基准特征影像

具体实施方式

有关本发明为达成上述目的，所采用的技术手段及其功效，现举优选实施例，并配合附图加以说明如下。

如图1所示，为本发明教导机器人建立视觉定位基准的示意图。本发明的作业单位1，主要包含机器人2、控制器3、工作台4及工作环境5。其中机器人2的固定端6固定在基座7，形成机器人坐标系统R，而基座7可为台车等移动体，以乘载机器人2进行移动至各作业单位1，接近或离开作业单位1的工作台4，工作台4上设置定位标记8，定位标记8并与工作台4及周边的工作环境5保持相对固定的空间位置关系，而工作环境5中具有多个形状特征F，形状特征F可为例如物体尖角或记号等可识别的特殊形象。

机器人2的活动端9设置视觉系统10，机器人2连接至控制器3，由控制器3根据编程控制机器人2移动，使活动端9承载视觉系统10提取工作台4或工作环境5特征影像，并将提取影像时的机器人2姿态及特征影像记录在控制器3中。控制器3通过机器人2提取影像的姿态，根据各轴节的伺服马达的转动关系，可认知及记录活动端9在机器人坐标系统R的坐标。因视觉系统10固定在机器人2的活动端9上，由视觉系统10与活动端9相对固定的关系，也可获得视觉系统10的坐标。控制器3再对存储的特征影像进行影像处理，由视觉系统10的聚焦状况，判别影像中的特征与视觉系统10的空间关系，以定位特征的坐标。

本发明教导机器人2建立视觉定位基准时，首先使机器人2进入作业单位1中的设定位置，该设定位置为机器人2的作业位置，由使用者牵引机器人2的活动端9移动至第一点位P1，利用控制器3操作视觉系统10，对工作台4台面上的定位标记8提取影像，作为基准定位标记影像12(参图3)。再由控制器3记录基准定位标记影像12及提取定位标记8影像时的机器人2基准姿态A。机器人2由基准姿态A，根据各轴节的伺服马达的转动关系，可计算活动端9在第一点位P1的坐标，基准定位标记影像12则提供定位标记8与活动端9的相对空间关系，进一步可获得与定位标记8保持固定位置关系的工作台4及工作环境5的相对位置关系，而使机器人2在作业单位1中明确定位。

接着再由使用者牵引机器人2的活动端9移动至第二点位P2，利用控制器3操作视觉系统10，对工作环境5的任一形状特征F提取影像，作为基准特征影像14(参图6)。再由控制器3记录基准特征影像及提取形状特征F影像时的机器人2验证姿态B。同理机器人2由验证姿态B，根据各轴节的伺服马达的转动关系，可计算活动端9在第二点位P2的坐标，基准特征影像14则提供形状特征F与活动端9的相对空间关系。因形状特征F在工作环境5的位置固定，相对与定位标记8维持相对固定空间关系。因此在正确视觉定位情况下，只要利用定位标记8使机器人2在作业单位1中定位，机器人2就能以相同的验证姿态B提取相同的基准特征影像14。

请同时参考图2至图6，图2为本发明机器人视觉定位的验证的示意图，图3为本发明比较基准定位标记影像差异的示意图，图4为本发明机器人调整姿态搜寻基准定位标记影像的示意图，图5为本发明机器人以校正姿态提取特征影像的示意图，图6为本发明比较基准特征影像差异的示意图。图2中，本发明在建立视觉定位基准后，当机器人2移动后再进入作业单位1的设定位置时，首先需校正机器人2的定位，机器人2根据建立基准时记录的资讯，自动控制移动形成基准姿态A，并控制视觉系统10提取定位标记影像11(参图3)，经影像处理比较定位标记影像11与基准定位标记影像12(参图3)的差异，利用影像差异进行校正机器人2定位。

图3中，本发明利用影像差异进行校正机器人2定位时。由机器人2以基准姿态A提取的定位标记影像11，与记录的基准定位标记影像12比较差异，再进行两影像中定位标记8特征比对，计算出位移量及旋转角度的差异量。接着在图4中，根据差异量伺服控制地移动机器人2，并不断提取定位标记8影像进行搜寻比对，使提取的定位标记影像11与基准定位标记影像12相同或其差异量小于预设阀值时，记录机器人2的校正姿态A’。此时提取的定位标记影像11与基准定位标记影像12相同，表示机器人2的活动端9与定位标记8保持在建立视觉定位基准时的相对位置关系。再根据校正姿态A’，由机器人2各轴节的伺服马达的转动关系，可获得活动端9校正后在机器人2坐标系统R的坐标，计算校正姿态A’与基准姿态A的活动端9坐标的偏移，补偿机器人2的坐标偏移，就可获得机器人2在作业单位1的重新定位，以完成机器人2的校正定位。前述仅是举例说明，机器人2的校正定位方法有多种，本发明包含且不限于前述举例。

本发明在完成机器人2的校正定位后，因偏移的定位标记8的坐标已经过补偿，对与定位标记8具有固定空间关系的形状特征F的坐标也会偏移，因此需先对建立基准时的验证姿态B进行相同的偏移补偿，形成补偿姿态B’。图5中，当本发明进行验证时，机器人2先根据建立基准时记录的资讯，对验证姿态B进行相同的偏移补偿为补偿姿态B’，机器人2再自动控制移动至补偿姿态B’，并控制视觉系统10提取形状特征F的特征影像13，图6中，经影像处理比较特征影像13中形状特征F’与基准特征影像14中形状特征F的影像差异值e。例如影像差异值e的X轴:3像素(pixel),Y:6像素(pixel),角度:0.5度，将像素换算为实际距离如6mm,12mm等。与预设的差异阀值E比较，如果影像差异值e小于差异阀值E，表示定位的误差经验证尚在可接受的范围，机器人2完成定位可继续进行作业。一旦影像差异值e大于差异阀值E，就表示定位的误差过大无法继续进行作业，机器人2需要重新校正定位。而对于一再重新校正定位的机器人2，应进一步设定重新校正定位的次数限值，计数重新校正定位的次数，一旦超出次数限值，即启动警报通知维修，才能避免碰撞损毁。

如图7所示，为本发明机器人建立视觉定位基准方法的流程。根据前述实施例的说明，本发明建立视觉定位基准的方法的流程详细步骤说明如下:首先在步骤S1，移动机器人进入作业单位的设定位置，开始对机器人建立视觉定位基准；步骤S2，牵引机器人至第一点位，以基准姿态提取工作台的定位标记影像，作为基准定位标记影像；步骤S3，记录基准定位标记影像及机器人的基准姿态；步骤S4，牵引机器人至第二点位，以验证姿态提取工作环境中任一形状特征的影像，作为基准特征影像，接着至步骤S5，记录基准特征影像及机器人的验证姿态；步骤S6，结束建立视觉定位基准。

如图8所示，为本发明机器人视觉定位的验证方法的流程。根据前述实施例的说明，本发明在教导机器人建立及记录视觉定位基准后，对于移动进入作业单位设定的位置的机器人，需要机器人进行视觉定位及定位验证，本发明机器人视觉定位的验证方法的流程详细步骤说明如下:首先在步骤T1，机器人移动进入作业单位设定的位置，开始进行视觉定位验证；步骤T2，机器人自动控制移动至视觉定位基准记录的基准姿态，对工作台的定位标记，提取定位标记影像；步骤T3，影像处理且比较提取的定位标记影像与视觉定位基准记录的基准定位标记影像的差异，利用影像差异进行补偿校正机器人的定位；至步骤T4，对建立基准记录的验证姿态进行相同的补偿，形成补偿姿态；接着至步骤T5，机器人自动控制移动至补偿姿态，对工作环境中的形状特征，提取特征影像；步骤T6，影像处理比较提取的特征影像与基准特征影像中形状特征的影像差异值；步骤T7，检查影像差异值是否小于预设差异阀值？如果影像差异值不小于预设差异阀值，则至步骤T8，回至步骤T1，重新开始进行视觉定位验证，如果影像差异值小于预设差异阀值，则至步骤T9，完成视觉定位验证，结束作业。

因此，本发明机器人视觉定位的验证方法，就可在机器人校正视觉定位后，通过补偿设定的机器人验证姿态，提取工作环境中形状特征影像，与教导的基准特征影像比较差异，验证视觉定位的正确性，并利用提取特征影像与基准特征影像的影像差异值，与预设的影像差异阀值，在影像差异值大于差异阀值时，重新进行视觉定位，以达到确保视觉定位的正确的目的。

以上所述者，仅为用以方便说明本发明的优选实施例，本发明的范围不限于该等优选实施例，凡依本发明所做的任何变更，在不脱离本发明的精神下，都属本发明保护的范围。

Claims (9)

1.一种机器人视觉定位的验证方法，在教导机器人建立及记录视觉定位基准后，其步骤包含：

机器人进入设定位置；

机器人自动控制移动至视觉定位基准记录的基准姿态，对定位标记，提取定位标记影像；

影像处理及比较提取的定位标记影像与视觉定位基准记录的基准定位标记影像的差异，并利用影像差异进行补偿校正机器人的定位；

对视觉定位基准记录的验证姿态进行相同的补偿，形成补偿姿态，其中验证姿态为牵引机器人至第二点位的姿态；

机器人自动控制移动至补偿姿态，对工作环境中任一可识别的特殊形象的形状特征提取特征影像；

影像处理及比较提取的特征影像与视觉定位基准记录的基准特征影像中形状特征的影像差异值；

检查影像差异值不小于预设差异阀值，则重新开始视觉定位验证。

2.如权利要求1所述的机器人视觉定位的验证方法，其中教导机器人建立及记录视觉定位基准的步骤包含：

移动机器人进入设定位置；

牵引机器人至第一点位，以基准姿态提取定位标记影像，作为基准定位标记影像；

记录基准定位标记影像及机器人的基准姿态；

牵引机器人至第二点位，以验证姿态提取工作环境中任一形状特征的影像，作为基准特征影像；

记录基准特征影像及机器人的验证姿态；

结束建立视觉定位基准。

3.如权利要求2所述的机器人视觉定位的验证方法，其中该设定位置设在作业单位中机器人的作业位置。

4.如权利要求3所述的机器人视觉定位的验证方法，其中该定位标记设置在作业单位中的工作台。

5.如权利要求4所述的机器人视觉定位的验证方法，其中该定位标记与作业单位中的工作环境保持相对固定的空间位置关系。

6.如权利要求1所述的机器人视觉定位的验证方法，其中利用影像差异进行校正机器人定位时，由机器人基准姿态提取的定位标记影像与记录的基准定位标记影像，进行两影像中定位标记的特征比对，计算位移量及旋转角度的差异量。

7.如权利要求6所述的机器人视觉定位的验证方法，其中根据差异量伺服控制地移动机器人，搜寻比对提取定位标记的影像，使提取的定位标记影像与基准定位标记影像相同或其差异量小于预设阀值时，记录机器人的校正姿态，计算校正姿态与基准姿态的坐标的偏移，补偿机器人的坐标偏移，以完成机器人的校正定位。

8.如权利要求1所述的机器人视觉定位的验证方法，其中检查影像差异值小于预设差异阀值，则完成视觉定位验证作业。

9.如权利要求1所述的机器人视觉定位的验证方法，其中重新开始视觉定位验证时，计数重新校正定位的次数，一旦超出预设次数限值，即启动警报。

Images