CN113635286B - 基于机器视觉技术控制螺栓拧紧的装置及方法 - Google Patents

Abstract

本发明提供了基于机器视觉技术控制螺栓拧紧的装置及方法，装置包括视觉跟踪系统，其处理器执行程序时实现以下步骤：判断工具输出端所处状态，判断多个螺栓是否有依附，判断工具输出端与示教螺栓的角度是否小于阈值，判断工具输出端当前拧紧序号与示教的螺栓拧紧序号是否相符；控制螺栓拧紧的方法需同时满足下列三个条件：工具输出端所处位置与距某螺栓的距离小于预设偏差值，工具输出端与某螺栓的角度小于预设阈值，当前的拧紧序号与示教的螺栓拧紧序号相符。采用本发明方案，能够使得顺序控制过程更准确、客观，能够对同一个位置进行多次示教，可靠性高。

Description

基于机器视觉技术控制螺栓拧紧的装置及方法

技术领域

本发明属于工具视觉跟踪技术领域，尤其涉及一种基于机器视觉技术控制螺栓拧紧的装置及方法。

背景技术

在装配生产过程中，为达到更稳定的装配效果，对工件的装配拧紧一般需要制定控制拧紧顺序的工艺流程，并严格执行。对重要螺栓、螺母拧紧时的扭矩和拧紧顺序的精确控制，是保证产品性能和装配质量的关键。

基于机器视觉技术控制螺栓拧紧，其主要流程是先以一个产品作为示教模板，采用拧紧工具按照工艺顺序依次拧螺栓，并借助于视觉跟踪系统的相机实时获取工具（自动拧螺栓工具）输出端在相机坐标系的位置、方向向量和每个螺栓对应的拧紧序号；后续装配过程中则按照示教流程控制工具自动拧螺栓。而在后续装配过程中自动拧螺栓时，必然涉及到拧螺栓的定位防错控制，比如说当前拧螺栓的顺序与示教模型中存储的拧螺栓顺序（示教时螺栓拧紧顺序）不匹配时不应实施拧紧，螺栓未拧到位时不应停止。

常规的定位防错逻辑是：跟踪示教螺栓的位置，得到一系列的坐标{Pi}，{Pi}按示教顺序排序，然后设置一公差r；在生产过程中，当拧紧第i个螺栓时，借助于视觉跟踪系统检测工具的位置P，并与 Pi比较，如果P到Pi的距离大于r，则未到位；如果P与其他螺栓的位置距离小于r, 则位置错误。

然而：在实际装配过程中，部分螺栓距离很近，其间距小于位置防错的公差r，因为两颗螺栓到工具P的距离同时小于r，沿用常规防错逻辑会误判为位置错误；对某些螺栓A需要先预紧，待其他螺栓也预紧后再将A拧完的情况也非常常见，这种情况下，一颗螺栓需要在不同时间节点上反复拧紧，沿用常规防错逻辑同样会检测到多个螺栓位置到工具P的距离小于r，误判为位置错误。更关键地是，考虑到拧紧工具的加长套筒，以及人握持工具姿态的人为因素，工具位置P一般很难精确的达到Pi，沿用常规防错逻辑误判的机率会大大增加。

此外，现有文献CN112847355A公开了一种基于DMP的机器人螺栓旋拧方法及系统，包括：通过多次拖动示教得到多条示教旋拧轨迹，预处理示教旋拧轨迹数据，对轨迹信息进行特征提取，从多个示教轨迹中选择一条最平滑的轨迹作为DMP的初始点和目标点。但是，采用该方法必须将螺栓每次都调整到对齐后的位置，对旋拧螺栓一圈动作进行机械臂末端的多次轨迹示教，显然，该方法工序复杂，受人为因素影响大且仍然存在防错误判机率大的问题。

发明内容

本发明目的在于提供一种基于机器视觉技术控制螺栓拧紧的装置及方法，至少用于解决控制螺栓拧紧系统存在的定位防错误判机率大的问题。

为了实现上述目的，本发明采用了如下技术方案。

基于机器视觉技术控制螺栓拧紧的装置，包括视觉跟踪系统，视觉跟踪系统的相机用于实时获取工具输出端在相机坐标系的位置P及其方向向量N，并将其获取的数据反馈给视觉跟踪系统的控制模块；视觉跟踪系统的控制模块包括存储器、处理器及存储在存储器上并可在处理器上运行的程序；其特征在于，所述处理器执行所述程序时实现以下步骤：

步骤1，判断工具输出端所处状态，若工具输出端仅靠近单个螺栓，则继续执行步骤2；若工具输出端同时靠近多个螺栓，则继续执行步骤11；

步骤11，判断多个螺栓是否有依附，若是，则先排除优先级低的螺栓，然后比较工具输出端到各螺栓的距离，取最小距离对应的螺栓，再执行步骤2；若否，则直接比较工具输出端到各螺栓的距离，取最小距离对应的螺栓，然后执行步骤2；

步骤2，判断工具输出端与示教螺栓的角度是否小于阈值，若是，则工具输出端所处角度合格，继续执行步骤3，若否，则工具禁用；所述角度是指工具输出端的方向向量与示教螺栓中保存的方向向量的夹角；

步骤3，判断工具输出端当前拧紧序号与示教的螺栓拧紧序号是否相符，若是，则启用工具开始拧紧螺栓，若否，则工具禁用。

为进一步降低定位防错误判机率，步骤11中，若工具输出端处于多个螺栓的公差带的重叠区域，则比较工具输出端到各螺栓的垂直距离，取最小垂直距离对应的螺栓。

为更进一步降低定位防错误判机率，步骤11中，多个螺栓有依附是指工具输出端与某个示教螺栓的距离小于设定的阈值,且位于该螺栓的竖直方向上。更具体地，多个螺栓有依附是指在示教过程中，新的示教螺栓位置A与某个已示教的螺栓位置B的距离小于设定的阈值，且位于该螺栓的竖直方向上，则认为A依附于B，即A的示教信息中包含了一条记录其依附于B的信息。在跟踪时，有依附信息的螺栓不加入判断，直到其依附的螺栓完成拧紧。

一种基于前述装置的控制螺栓拧紧的方法，其特征在于,步骤包括:

步骤A，在某个类型的产品生产时，以第一个产品作为示教模板，将拧紧工具按照工艺顺序依次移动至产品的螺栓上方，借助于所述装置的视觉跟踪系统的相机实时获取工具输出端在相机坐标系的位置P、方向向量N和每个螺栓对应的拧紧序号；

步骤B，从第二个产品开始，借助于所述装置的视觉跟踪系统跟踪工具输出端在空间的位置，并实时计算工具输出端与所有螺栓的距离以及角度；如果同时满足下列B1、B2、B3三个条件，则判断此时的工具输出端所处位置符合要求；

条件B1、工具输出端所处位置与距某螺栓的距离小于预设偏差值；

条件B2、工具输出端与某螺栓的角度小于预设阈值；

条件B3、当前的拧紧序号与示教的螺栓拧紧序号相符；

作为优选，所述预设偏差值一般取决于工件的大小和螺栓间距，但一般设置20mm是较为合理的数值；所述角度阈值一般设置30°，如果螺栓和工具套筒较长，可以适当加大阈值；

步骤C，所述装置的视觉跟踪系统向工具发送对应的拧紧序号，并启用工具，完成拧紧后，提示下一个需要拧紧的螺栓的位置；按照提示依次完成所有螺栓拧紧后，提示该产品装配完成。

作为优选方案，对于需要先按顺序预紧螺栓再拧紧螺栓的产品，在对该产品进行示教的过程中，每示教一个螺栓位置，便判断该位置与已经示教的螺栓的距离，如果该位置与某个示教螺栓的距离小于设定阈值,且位于该螺栓的竖直方向上，便认定当前示教螺栓依附于上次示教的螺栓，然后将该信息一同保存于视觉跟踪系统中；在实施拧紧工序时，先判断螺栓依附情况，分出优先级，再按照优先级顺序实施拧紧。

采用本发明方案，不仅有利于在装配过程中控制螺栓的拧紧顺序和拧紧扭矩，弥补了人为控制螺栓顺序时主观判断导致的漏打、错打问题；而且解决了因螺栓间距小于防错公差而导致的防错误判问题，同时可处理一个螺栓在不同时间节点反复拧紧的顺序控制，可适应一个螺栓多次示教，实现了装配过程的智能化控制，满足生产过程质量控制的要求。

采用本发明方案，能够使得顺序控制过程更准确、客观，可做到事前预警和纠错，解决人为控制螺栓拧紧顺序容易判断失误的问题；能够对同一个位置进行多次示教，并且能准确区分示教顺序，可满足部分产品螺栓需要预紧的生产要求；可靠性高，螺栓间距小于防错公差的螺栓位置也能准确的区分；增强了在复杂工况下定位防错的可靠性，使得工人在使用加长套筒时不会因为加长套筒的晃动造成误判，也使得工人可以以更舒适的姿势握持工具。

附图说明

图1为实施例中涉及的示教流程示意图；

图2为实施例中涉及的控制螺栓拧紧流程示意图；

图3为实施例中涉及的控制螺栓拧紧流程的顺序控制示意图（按角度和顺序）；

图4为实施例中涉及的控制螺栓拧紧流程的顺序控制示意图（公差带重叠）；

图5为实施例中涉及的控制螺栓拧紧流程的顺序控制示意图（多个螺栓有依附）。

具体实施方式

下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明部分实施例，而不是全部的实施例。

实施例

参照图1至图5所示，一种基于机器视觉技术控制螺栓拧紧的装置，包括视觉跟踪系统，视觉跟踪系统的相机用于实时获取工具输出端在相机坐标系的位置P及其方向向量N，并将其获取的数据反馈给视觉跟踪系统的控制模块；视觉跟踪系统的控制模块包括存储器、处理器及存储在存储器上并可在处理器上运行的程序；所述处理器执行所述程序时实现以下步骤，结合图2所示：

步骤1，判断工具输出端所处状态，若工具输出端仅靠近单个螺栓，表示工具输出端当前所处位置合格，则继续执行步骤2；若工具输出端同时靠近多个螺栓，则继续执行步骤11；

步骤11，判断多个螺栓是否有依附，若是，则先排除优先级低的螺栓，然后比较工具输出端到各螺栓的距离，取最小距离对应的螺栓（即取最近的螺栓），再执行步骤2；若否，则直接比较工具输出端到各螺栓的距离，取最小距离对应的螺栓（即取最近的螺栓），然后执行步骤2；若工具输出端处于多个螺栓的公差带的重叠区域，则比较工具输出端到各螺栓的垂直距离，取最小垂直距离对应的螺栓；多个螺栓有依附是指工具输出端与某个示教螺栓的距离小于设定的阈值,并且位于该螺栓的竖直方向上；

步骤2，判断工具输出端与示教螺栓的角度是否小于阈值，若是，则工具输出端所处角度合格，继续执行步骤3，若否，则工具禁用；所述角度是指工具输出端的方向向量与示教螺栓中保存的方向向量的夹角；

步骤3，判断工具输出端当前拧紧序号与示教的螺栓拧紧序号是否相符，若是，则启用工具开始拧紧螺栓，若否，表示工具输出端当前拧紧顺序不合格，则工具禁用。

一种采用本实施例中所述装置的控制螺栓拧紧的方法，步骤包括:

步骤A，在某个类型的产品生产时，以第一个产品作为示教模板，将拧紧工具按照工艺顺序依次移动至产品的螺栓上方，借助于所述装置的视觉跟踪系统的相机实时获取工具输出端在相机坐标系的位置P、方向向量N和每个螺栓对应的拧紧序号，示教流程见图1所示；

步骤B，从第二个产品开始，借助于所述装置的视觉跟踪系统跟踪工具输出端在空间的位置，并实时计算工具输出端与所有螺栓的距离以及角度；如果同时满足下列B1、B2、B3三个条件，则判断此时的工具输出端所处位置符合要求；

条件B1、工具输出端所处位置与距某螺栓的距离小于预设偏差值；

条件B2、工具输出端与某螺栓的角度小于预设阈值；

条件B3、当前的拧紧序号与示教的螺栓拧紧序号相符；

步骤C，所述装置的视觉跟踪系统向工具发送对应的拧紧序号，并启用工具，完成拧紧后，提示下一个需要拧紧的螺栓的位置；按照提示依次完成所有螺栓拧紧后，提示该产品装配完成。

以图3为例：当工具输出端靠近1#螺栓时，视觉跟踪系统的控制模块判断出工具输出端所处位置为1#螺栓对应的位置，且1#螺栓与示教模型中的序号相对应，工具输出端所处角度与示教模型中的工具输出端所处角度相对应，表明同时满足B1、B2、B3三个条件，则可以启用工具实施拧紧；反之，若是视觉跟踪系统的控制模块判断出工具输出端所处位置为2#螺栓对应的位置，表明当前的拧紧序号与示教的螺栓拧紧序号不符，则禁用工具。

以图4为例：在判断工具输出端位置与螺栓位置的距离时使用最近距离法，如果两个螺栓的公差带重叠，当工具输出端处于公差带重叠的区域时，会判定此时距离工具位置最近的螺栓位置为合格位置，这样便能准确区分相邻螺栓位置的顺序；图4中，此时工具输出端位置处于1#和2#示教螺栓公差带的重叠部分，即同时满足1#和2#位置距离条件，但此时判断工具输出端的位置与1#位置较近，因此判断此时工具到达了1#位置，而不会误判为达到2#位置。

对于需要先按顺序预紧螺栓再拧紧螺栓的产品，在对该产品进行示教的过程中，每示教一个螺栓位置，便判断该位置与已经示教的螺栓的距离，如果该位置与某个示教螺栓的距离小于设定阈值,且位于该螺栓的竖直方向上，便认定当前示教螺栓依附于上次示教的螺栓，然后将该信息一同保存于视觉跟踪系统中；在实施拧紧工序时，先判断螺栓依附情况，分出优先级，再按照优先级顺序实施拧紧。

以图5为例。在生产过程中，部分产品的螺栓需要预紧，因此在使用视觉跟踪系统中，需要对一个螺栓位置进行多次示教，图5中1#和3#重叠、2#和4#重叠，此时使用最近距离法无法判断此时工具到达的位置。应按如下方法控制拧紧顺序：在对产品进行示教的过程中，每示教一个螺栓位置，便判断其与已经示教的螺栓的距离，如果与某个示教螺栓的距离小于设定的阈值,并且位于该螺栓的竖直方向上，便认定当前示教螺栓依附于上次示教的螺栓，即3#依附于1#，4#依附于2#，并将该信息一同保存于系统中；在使用时便判断示教螺栓的优先级，即1#和2#优先级分别大于3#和4#，因此拧紧仍然按照1#-2#-3#-4#的顺序进行，这样便达到了一个螺栓位置多次示教并控制拧紧顺序的目的。

Claims (2)

1.基于机器视觉技术控制螺栓拧紧的装置，包括视觉跟踪系统，视觉跟踪系统的相机用于实时获取工具输出端在相机坐标系的位置P及其方向向量N，并将其获取的数据反馈给视觉跟踪系统的控制模块；视觉跟踪系统的控制模块包括存储器、处理器及存储在存储器上并可在处理器上运行的程序；其特征在于，所述处理器执行所述程序时实现以下步骤：

步骤1，判断工具输出端所处状态，若工具输出端仅靠近单个螺栓，则继续执行步骤2；若工具输出端同时靠近多个螺栓，则继续执行步骤11；

步骤11，判断多个螺栓是否有依附，若是，则排除优先级低的螺栓；若否，则比较工具输出端到各螺栓的距离，取最小距离对应的螺栓，再执行步骤3；

若工具输出端处于多个螺栓的公差带的重叠区域，则比较工具输出端到各螺栓的垂直距离，取最小垂直距离对应的螺栓；多个螺栓有依附是指工具输出端与某个示教螺栓的距离小于设定的阈值,并且位于该螺栓的竖直方向上；

步骤2，判断工具输出端与示教螺栓的角度是否小于阈值，若是，则工具输出端所处角度合格，继续执行步骤3，若否，则工具禁用；所述角度是指工具输出端的方向向量与示教螺栓中保存的方向向量的夹角；

步骤3，判断工具输出端当前拧紧序号与示教的螺栓拧紧序号是否相符，若是，则启用工具开始拧紧螺栓，若否，则工具禁用。

2.一种采用权利要求1所述装置的控制螺栓拧紧的方法，其特征在于,步骤包括:

步骤A，在某个类型的产品生产时，以第一个产品作为示教模板，将拧紧工具按照工艺顺序依次移动至产品的螺栓上方，借助于所述装置的视觉跟踪系统的相机实时获取工具输出端在相机坐标系的位置P、方向向量N和每个螺栓对应的拧紧序号；

步骤B，从第二个产品开始，借助于所述装置的视觉跟踪系统跟踪工具输出端在空间的位置，并实时计算工具输出端与所有螺栓的距离以及角度；如果同时满足下列B1、B2、B3三个条件，则判断此时的工具输出端所处位置符合要求；

条件B1、工具输出端所处位置与距某螺栓的距离小于预设偏差值；

条件B2、工具输出端与某螺栓的角度小于预设阈值；

条件B3、当前的拧紧序号与示教的螺栓拧紧序号相符；

步骤C，所述装置的视觉跟踪系统向工具发送对应的拧紧序号，并启用工具，完成拧紧后，提示下一个需要拧紧的螺栓的位置；按照提示依次完成所有螺栓拧紧后，提示该产品装配完成；

对于需要先按顺序预紧螺栓再拧紧螺栓的产品，在对该产品进行示教的过程中，每示教一个螺栓位置，便判断该位置与已经示教的螺栓的距离，如果该位置与某个示教螺栓的距离小于设定阈值,且位于该螺栓的竖直方向上，便认定当前示教螺栓依附于上次示教的螺栓，然后将该信息一同保存于视觉跟踪系统中；在实施拧紧工序时，先判断螺栓依附情况，分出优先级，再按照优先级顺序实施拧紧。