CN114322775B

CN114322775B - 一种机器人视觉定位系统及视觉定位方法

Info

Publication number: CN114322775B
Application number: CN202210011353.6A
Authority: CN
Inventors: 吴雪亮; 徐�明
Original assignee: Shenzhen W Robot Industry Co ltd
Current assignee: Shenzhen W Robot Industry Co ltd
Priority date: 2022-01-06
Filing date: 2022-01-06
Publication date: 2022-11-11
Anticipated expiration: 2042-01-06
Also published as: CN114322775A

Abstract

本发明提供一种机器人视觉定位系统及视觉定位方法。涉及视觉定位技术领域。本发明可以基于待加工件的外轮廓位置、真实孔洞位置以及当前虚拟孔洞位置定位待加工件的夹取位置；并在当前虚拟孔洞加工完成后，更新真实孔洞位置，再定位下一个夹取位置，直至所有虚拟孔洞均加工完成，使得可以在每次打孔前计算出夹取位置，避免因夹取位置的厚度过薄导致的产品破损。还可实时更改当前虚拟孔洞的位置信息，并实时修正夹取位置，使得加工时的灵活性显著提高。

Description

一种机器人视觉定位系统及视觉定位方法

技术领域

本发明涉及视觉定位技术领域，具体涉及一种机器人视觉定位系统及视觉定位方法。

背景技术

现有机器人在对待加工件进行打孔时，通常需要先将待加工件固定，一般采用夹持装置夹住待加工件的侧壁，再从上端面对待加工件进行打孔。

但现有方法在打孔时未考虑到夹持位置对待加工件的影响。例如，打孔位置靠近待加工件的边缘和夹持位置时，过大的夹持力会使得最终产品的侧壁产生破损，影响产品良率，如果提前设定夹持位置和力度，则会导致加工的灵活性降低，无法实时根据情况进行调整。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种视觉定位方法，解决了现有方法在打孔时未考虑到夹持位置对待加工件的影响的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，提供了一种视觉定位方法，该方法包括：

S1、获取待加工件的加工目标端面图像；

S2、获取所述加工目标端面图像的第一边缘图像；

S3、基于所述第一边缘图像生成在现实坐标系下的待加工件的外轮廓位置和真实孔洞位置；

S4、获取当前虚拟孔洞并将其映射到现实坐标系，得到当前虚拟孔洞位置；

S5、基于待加工件的外轮廓位置、真实孔洞位置以及当前虚拟孔洞位置定位待加工件的夹取位置；

S6、当前虚拟孔洞加工完成后，更新真实孔洞位置，再返回S4以定位下一个夹取位置，直至所有虚拟孔洞均加工完成。

进一步的，所述基于所述第一边缘图像生成在现实坐标系下的待加工件的外轮廓位置和真实孔洞位置，包括：

获取第一边缘图像的中心点位置；

以第一边缘图像的中心点为现实坐标系的原点，得到第一边缘图像的现实坐标系下的待加工件的外轮廓位置和真实孔洞位置。

进一步的，所述获取当前虚拟孔洞并将其映射到现实坐标系，得到当前虚拟孔洞位置，包括：

获取产品设计图纸中加工目标端面对应的第二边缘图像和至少一个虚拟孔洞的第三边缘图像；

计算各个第三边缘图像与第二边缘图像的比例关系；

依次选取第三边缘图像作为当前虚拟孔洞，并基于对应的比例关系将其映射到现实坐标系，得到当前虚拟孔洞在现实坐标系下的位置作为当前虚拟孔洞位置。

进一步的，所述基于待加工件的外轮廓位置、真实孔洞位置以及当前虚拟孔洞位置定位待加工件的夹取位置，包括：

S5.1、生成I个等角度的待加工件的外轮廓的直径对应的采样线y＝k_ix,i＝1,2,K,I，k_i为第i个采样线的斜率；

S5.2、判断是否存在与真实孔洞位置和当前虚拟孔洞位置均不相交的采样线；若存在，转至S5.3a；

S5.3a、获取不相交的采样线集合

N表示不相交的采样线的数量；

若只存在一个不相交的采样线时，将其作为目标线；

若存在多个不相交的采样线时，计算每个不相交的采样线

与各个真实孔洞位置和各个当前虚拟孔洞位置的距离

并获取中的最小值

选择最大的

对应的采样线作为目标线；

S5.4、将目标线与待加工件的外轮廓位置的两个交点作为夹取位置。

进一步的，所述S5.2、判断是否存在与真实孔洞位置和当前虚拟孔洞位置均不相交的采样线，还包括：

若不存在不相交的采样线，则转至S5.3b；

S5.3b、计算每个采样线与待加工件的外轮廓位置的两个交点

和

并计算交点

和

与真实孔洞位置和当前虚拟孔洞位置的在采样线方向上的最短距离

选择最大的

对应的采样线作为目标线。

第二方面，提供了一种机器人视觉定位系统，包括：

图像采集模块，用于获取待加工件的加工目标端面图像；

边缘图像提取模块，用于获取所述加工目标端面图像的第一边缘图像；

现实位置定位模块，用于基于所述第一边缘图像生成在现实坐标系下的待加工件的外轮廓位置和真实孔洞位置；

映射模块，用于获取当前虚拟孔洞并将其映射到现实坐标系，得到当前虚拟孔洞位置；

夹取位置定位模块，基于待加工件的外轮廓位置、真实孔洞位置以及当前虚拟孔洞位置定位待加工件的夹取位置；并在当前虚拟孔洞加工完成后，更新真实孔洞位置，再定位下一个夹取位置，直至所有虚拟孔洞均加工完成。

获取第一边缘图像的中心点位置；

计算各个第三边缘图像与第二边缘图像的比例关系；

S5.3a、获取不相交的采样线集合

N表示不相交的采样线的数量；

若只存在一个不相交的采样线时，将其作为目标线；

若存在多个不相交的采样线时，计算每个不相交的采样线

与各个真实孔洞位置和各个当前虚拟孔洞位置的距离

并获取其中的最小值

并选择最大的

对应的采样线作为目标线；

若不存在不相交的采样线，则转至S5.3b；

S5.3b、计算每个采样线与待加工件的外轮廓位置的两个交点

和

并计算交点

和

选择最大的

对应的采样线作为目标线。

(三)有益效果

本发明可以基于待加工件的外轮廓位置、真实孔洞位置以及当前虚拟孔洞位置定位待加工件的夹取位置；并在当前虚拟孔洞加工完成后，更新真实孔洞位置，再定位下一个夹取位置，直至所有虚拟孔洞均加工完成，使得可以在每次打孔前计算出夹取位置，避免因夹取位置的厚度过薄导致的产品破损。还可实时更改当前虚拟孔洞的位置信息，并实时修正夹取位置，使得加工时的灵活性显著提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的流程图；

图2为本发明实施例构建的现实坐标系的示意图；

图3为本发明实施例的产品设计图纸的边缘提取图像的示意图；

图4为本发明的不存在不相交的采样线的示意图；

图5为本发明的存在多个不相交的采样线的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例通过提供一种视觉定位方法，解决了现有方法在打孔时未考虑到夹持位置对待加工件的影响的问题。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例1：

本发明实施例提出了一种视觉定位方法，参见图1，该方法包括：

S1、获取待加工件的加工目标端面图像；

S2、获取所述加工目标端面图像的第一边缘图像；

本发明实施例的有益效果：

本发明实施例可以基于待加工件的外轮廓位置、真实孔洞位置以及当前虚拟孔洞位置定位待加工件的夹取位置；并在当前虚拟孔洞加工完成后，更新真实孔洞位置，再定位下一个夹取位置，直至所有虚拟孔洞均加工完成，使得可以在每次打孔前计算出夹取位置，避免因夹取位置的厚度过薄导致的产品破损。还可实时更改当前虚拟孔洞的位置信息，并实时修正夹取位置，使得加工时的灵活性显著提高。

以圆柱形加工件为例，下面对本发明实施例的实现过程进行详细说明：

一种视觉定位方法，该方法包括：

S1、获取待加工件的加工目标端面图像。

具体实施时，以在圆柱形的待加工件的圆形端面为加工目标端面为例，可将摄像头设置在圆柱形的待加工件的正上方，并将待加工件放置在摄像头下方的工作台面上，以便采集加工件顶部清晰的图像。

S2、获取所述加工目标端面图像的第一边缘图像。

在具体实施时，在获取到加工目标端面图像后，利用现有的边缘图像提取算法可得到圆柱形的待加工件的上端面的边缘图像，即第一边缘图像。

此外，在第一次进行边缘图像提取时，第一边缘图像为一个圆。

S3、基于所述第一边缘图像生成在现实坐标系下的待加工件的外轮廓位置和真实孔洞位置。

具体实施时，可采用如下步骤：

S3.1、获取第一边缘图像的中心点位置；

S3.2、以第一边缘图像的中心点为现实坐标系的原点，得到第一边缘图像的现实坐标系下的待加工件的外轮廓位置和真实孔洞位置。

举例说明，当提取的第一边缘图像为一个圆时，其中心点即为圆的圆心，则构建的现实坐标系如图2所示，以圆心O为原点，构建二维坐标系XOY；此时，待加工件的外轮廓为圆形，其位置可记为(p₀,r₀)，其中p₀表示圆心坐标，即p₀＝(0,0)；r₀表示外轮廓的半径，即r₀＝x₀；由于此时并未开始加工，因此不存在真实孔洞位置。

S4、获取当前虚拟孔洞并将其映射到现实坐标系，得到当前虚拟孔洞位置。

具体实施时，可采用如下步骤：

S4.1、获取产品设计图纸中加工目标端面对应的第二边缘图像和至少一个虚拟孔洞的第三边缘图像；

S4.2、计算各个第三边缘图像与第二边缘图像的比例关系；

S4.3、依次选取第三边缘图像作为当前虚拟孔洞，并基于对应的比例关系将其映射到现实坐标系，得到当前虚拟孔洞在现实坐标系下的位置作为当前虚拟孔洞位置。

举例说明，产品设计图纸可为目标产品的设计图片或是真实产品的照片，再次利用边缘图像提取技术后，即可得到加工目标端面对应的第二边缘图像和第三边缘图像。如图3所示，产品的加工目标端面的外轮廓为最大的圆，其内部的其他圆形为各个需要后续加工的虚拟孔洞，即虚拟孔洞。

与S3的方法类似，可以以第二边缘图像的圆心O’为原点构建出一个虚拟的二维坐标系XO’Y，得到第二边缘图像的位置，与(p₀,r₀)进行比例换算后，即可得到虚拟坐标系和现实坐标系的比例关系以及各个第三边缘图像与第二边缘图像的比例关系。同理，得到各个虚拟孔洞在现实坐标系下的位置，即当前虚拟孔洞位置的集合，可记为：{(p_j,r_j)}，其中j＝1,2,…J，J表示虚拟孔洞的数量。因此，遍历时首先取出第一个虚拟孔洞位置(p₁,r₁)，作为即将加工的孔洞，也就是当前虚拟孔洞位置。

S5、基于待加工件的外轮廓位置、真实孔洞位置以及当前虚拟孔洞位置定位待加工件的夹取位置。

在具体实施时，可采用如下步骤：

举例说明，I的值越多则夹取位置的定位越精准，可根据实际的硬件性能和需求来设置。如图4所示，生成10条采样线(图中以虚线表示)。

S5.2、判断是否存在与真实孔洞位置和当前虚拟孔洞位置均不相交的采样线；具体的，可根据坐标进行计算。

若存在，转至S5.3a；

若不存在不相交的采样线，则转至S5.3b。

S5.3a、获取不相交的采样线集合

N表示不相交的采样线的数量；

若只存在一个不相交的采样线时，将其作为目标线；

若存在多个不相交的采样线时，计算每个不相交的采样线

与各个真实孔洞位置和各个当前虚拟孔洞位置的距离

并获取中的最小值

选择最大的

对应的采样线作为目标线。

举例说明，如图5所示，符合S5.3a中存在5个不相交的采样线的情景。可以得到5个不相交的采样线

(图中以点状线表示)；由于第一次加工时只有一个当前虚拟孔洞，而不存在真实孔洞位置(以完成加工的孔洞)，则只需计算各个不相交的采样线与当前虚拟孔洞的距离，即

其中，

表示第2个不相交的采样线

与第一个虚拟孔洞的距离。此时，由于M＝真实孔洞数量+当前虚拟孔洞＝0+1＝1，因此可直接选择最大值

对应的

作为目标线(图5中以实线表示)。

S5.3b、计算每个采样线与待加工件的外轮廓位置的两个交点

和

并计算交点

和

选择最大的

对应的采样线作为目标线；

举例说明，如图4所示，符合S5.3b中不存在不相交的采样线的情景，即不相交的采样线集合为空集。以采样线y＝k₁x为例(图4中以实线表示)，同理，第一次加工时只有一个当前虚拟孔洞，而不存在真实孔洞位置，得到两个交点

和

则

与当前虚拟孔洞位置在采样线方向上的距离

小于

与当前虚拟孔洞位置在采样线方向上的距离

则令最短距离

表示第1条采样线y＝k₁x在夹取时待加工件在受力方向上的距打孔位置的最短距离。

基于上述方法，可以得到其他采样线的最短距离

的值越小，说明以该位置进行夹取时，可受力的厚度越薄，为了避免出现破损，需要选择

中的最大值对应的采样线作为目标线。

基于步骤，选择的夹取位置可以在受力方向上尽可能远离孔洞，降低出现破损的概率。

举例说明，如图3所示，每个第三边缘图像都表示一个孔洞，实际中可能需要加工多个孔洞，假设完成第一个虚拟孔洞的加工后，再提取一次第一边缘图像，此时待加工件上会增加一个真实孔洞位置，即对应第一个虚拟孔洞的位置，而当前虚拟孔洞的位置则更新到第二个虚拟孔洞的位置。

而在S5.3a中，

则会更新成

表示第2个不相交的采样线

与第一个虚拟孔洞的距离和第一个真实孔洞的距离。此时则需要进一步比较

的大小，选择其中的最小值作为

并从

中选择最大值对应的

作为目标线。

而在S5.3b中，

和

可能存在一对多的情景，即采样线y＝k₁x可能穿过多个孔洞，则需要计算采样线y＝k₁x与所有孔洞(包括真实孔洞和虚拟孔洞)的交点

h＝1,2,K,H_i，H_i表示采样线y＝k_ix与所有孔洞的交点数量，再计算各个

与

和

的距离，从中选择最小值作为最短距离

同样方法可以计算出

再选择

中的最大值对应的采样线作为目标线。重复执行以上步骤直至所有孔洞都完成加工，即可停止。

因此，本实施例可以在每次打孔前计算出夹取位置，由于摄像头的高度已知，可以计算出对应的高度信息(Z方向)，结合上述计算出的X和Y方向的定位信息，可以控制夹取装置进行夹取。而夹取装置可采用具有两指夹取功能的机械臂或机器人。此外，本实施例还可实时更改当前虚拟孔洞的位置信息，并实时修正夹取位置，使得灵活性显著提高。

实施例2：

第二方面，提供了一种机器人视觉定位系统，包括：

图像采集模块，用于获取待加工件的加工目标端面图像；

可理解的是，本发明实施例提供的机器人视觉定位系统与上述视觉定位方法相对应，其有关内容的解释、举例、有益效果等部分可以参考视觉定位方法中的相应内容，此处不再赘述。

综上所述，与现有技术相比，具备以下有益效果：

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。