CN114872055B - Scara机器人装配控制方法及系统 - Google Patents

Scara机器人装配控制方法及系统 Download PDF

Info

Publication number
CN114872055B
CN114872055B CN202210811688.6A CN202210811688A CN114872055B CN 114872055 B CN114872055 B CN 114872055B CN 202210811688 A CN202210811688 A CN 202210811688A CN 114872055 B CN114872055 B CN 114872055B
Authority
CN
China
Prior art keywords
assembly
target
real
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210811688.6A
Other languages
English (en)
Other versions
CN114872055A (zh
Inventor
高帆
寇慧
杜润鸣
宁南北
代剑锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Longqi Robot Co ltd
Original Assignee
Guangdong Longqi Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Longqi Robot Co ltd filed Critical Guangdong Longqi Robot Co ltd
Priority to CN202210811688.6A priority Critical patent/CN114872055B/zh
Publication of CN114872055A publication Critical patent/CN114872055A/zh
Application granted granted Critical
Publication of CN114872055B publication Critical patent/CN114872055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了SCARA机器人装配控制方法及系统；属于机器人控制技术领域，所述方法包括：基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频；进行视频关键帧提取处理，获得实时视频关键帧；对在传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；对移动装配目标的装配关键点进行提取处理，获得装配关键点信息；进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果；生成SCARA机器人的装配规划指令，并基于装配规划指令控制SCARA机器人进行装配操作。在本发明实现了SCARA机器人对移动目标的精确装配控制。

Description

SCARA机器人装配控制方法及系统
技术领域
本发明涉及机器人控制技术领域，尤其涉及一种基于移动装配目标的SCARA机器人装配控制方法及系统。
背景技术
SCARA是Selective Compliance Assembly Robot Arm的缩写，为一种应用于装配作业的机器人手臂；SCARA机器人具有3个旋转关节，最适用于平面定位；如今SCARA机器人还广泛应用于塑料工业、汽车工业、电子产品工业、药品工业和食品工业等领域；它的主要职能是搬取零件和装配工作；它的第一个轴和第二个轴具有转动特性，第三和第四个轴可以根据工作的需要的不同，制造成相应多种不同的形态，并且一个具有转动、另一个具有线性移动的特性；由于其具有特定的形状，决定了其工作范围类似于一个扇形区域。
现有的SCARA机器人一般通过示教的方式实现对SCARA机器人作业路径的控制，但由于时间的推移，可以发生作业路径的偏移而导致作业效率的降低，从而需要进行重新示教；并且无法对移动的目标进行精确的装配处理。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于移动装配目标的SCARA机器人装配控制方法及系统，实现了SCARA机器人对移动目标的精确装配控制。
为了解决上述技术问题，本发明实施例提供了一种基于移动装配目标的SCARA机器人装配控制方法，所述方法包括：
基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频；
对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧；
基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；
基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息；
基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果；
基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，并基于所述装配规划指令控制所述SCARA机器人进行装配操作。
可选的，所述基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频，包括：
将所述视觉传感器固定设置在所述传送带的侧上方，且所述视觉传感器所采集的视频范围覆盖所述SCARA机器人作业范围；
基于设置在所述传送带侧上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频。
可选的，所述对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧，包括：
对所述实时采集视频按照预设时间间隔进行视频帧提取处理，获得提取视频帧；
基于感兴趣区域算法对所述移动装配目标在所述提取视频帧中进行目标识别处理；
基于目标识别结果对所述提取视频帧进行筛选处理，形成实时视频关键帧。
可选的，所述基于目标识别结果对所述提取视频帧进行筛选处理，形成实时视频关键帧，包括：
判断所述提取视频帧中的识别目标结果中是否存在移动装配目标，若不存在，则舍弃所述提取视频帧；
若存在则保留所述提取视频帧，由保留的所述提取视频帧按顺序构建，形成实时视频关键帧。
可选的，所述基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果，包括：
将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间进行三维空间特征提取处理，获得所述移动装配目标的三维空间特征信息；
基于所述移动装配目标的三维空间特征信息和对应的实时视频关键帧利用Meanshift目标跟踪算法进行目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；
所述三维目标定位模型为训练收敛的Vision Transformer模型。
可选的，所述将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间进行三维空间特征提取处理，包括：
将所述实时视频关键帧中的每一帧图像划分为不重叠的分块，并将不重叠的分块依次输入所述三维目标定位模型中的编码器，并基于所述编码器的线性投影将不重叠的分块展平为一系列图片的特征向量；
采用多层串联的多头自注意模块逐层提取所述特征向量中的图片特征信息，建立每个不重叠的分块之间的关联关系；
基于所述关联关系将多头自注意模块的不同层之间的输出进行组合，形成具有多个分辨率的图片特征，并经过解码器的融合处理，形成每一帧图像的图像特征；
基于三维目标定位模型中的卷积解码器对所述图像特征解码为与所述每一帧图像尺寸相同的深度图像，其中所述深度图像中不同像素点的取值对应该位置距离视觉传感器的距离；
结合所述视觉传感器的内参矩阵，通过所述视觉传感器成像逆变换将所述深度图像转换为视觉传感器坐标矩阵中的一系列空间坐标点集，获得所述移动装配目标的三维空间特征信息。
可选的，所述基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息，包括：
提取所述实时视频关键帧中的每一帧对应的移动装配目标图像；
对每一帧对应的移动装配目标图像进行灰度化处理，并将灰度化处理结果进行低通滤波处理，形成滤波后的每一帧对应的移动装配目标图像；
对滤波后的每一帧对应的移动装配目标图像依次进行高通滤波和差分运算处理，获得确定上下左右边界的每一帧对应的移动装配目标图像；
基于确定上下左右边界的每一帧对应的移动装配目标图像进行装配关键点提取处理，获得每一帧对应的移动装配目标图像的装配关键点；
利用每一帧对应的移动装配目标图像的装配关键点进行线性加权叠加处理，并基于加权叠加结果提取装配关键点信息。
可选的，所述基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果，包括：
获得所述装配关键点信息在对应的实时视频关键帧中的像素坐标信息；
结合所述视觉传感器的内参矩阵，在所述移动装配目标的三维定位跟踪结果中通过视觉传感器逆变换将所述像素坐标信息转换为三维空间位置信息，获得装配关键点对应的三维定位跟踪结果。
可选的，所述基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，包括：
基于所述装配关键点对应的三维定位跟踪结果预测所述移动装配目标中的装配关键点到达预定装配区域的位置及时间；
基于到达预定装配区域的位置及时间生成SCARA机器人的装配规划指令。
另外，本发明实施例还提供了一种基于移动装配目标的SCARA机器人装配控制系统，所述系统包括：
视频采集模块：用于基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频；
关键帧提取模块：用于对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧；
目标跟踪定位模块：用于基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；
关键点提取模块：用于基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息；
转换模块：用于基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果；
装配控制模块：用于基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，并基于所述装配规划指令控制所述SCARA机器人进行装配操作。
在本发明实施例中，通过利用视觉传感器对在传送带上的移动装配目标进行实时视频采集，并且进行三维目标跟踪定位处理，同时获得装配关键点信息，并转换为装配关键点对应的三维定位跟踪结果，然后生成SCARA机器人的装配规划指令，实现无需用户进行示教操作，通过实时视频的方式来精确控制SCARA机器人对在传送带上移动的移动装配目标进行装配控制，并且具有较高的装配精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于移动装配目标的SCARA机器人装配控制方法的流程示意图；
图2是本发明实施例中的基于移动装配目标的SCARA机器人装配控制系统的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
请参阅图1，图1是本发明实施例中的基于移动装配目标的SCARA机器人装配控制方法的流程示意图。
如图1所示，一种基于移动装配目标的SCARA机器人装配控制方法，所述方法包括：
S11：基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频；
在本发明具体实施过程中，所述基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频，包括：将所述视觉传感器固定设置在所述传送带的侧上方，且所述视觉传感器所采集的视频范围覆盖所述SCARA机器人作业范围；基于设置在所述传送带侧上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频。
具体的，通过在传送带的正上方或者侧上方固定设置视觉传感器，同时使得该视觉传感器所采集的视频范围覆盖到SCARA机器人作业范围；然后通过设置在该传送带上的视觉传感器实时进行传送带上的视频采集处理，从而获得实时采集视频。
S12：对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧；
在本发明具体实施过程中，所述对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧，包括：对所述实时采集视频按照预设时间间隔进行视频帧提取处理，获得提取视频帧；基于感兴趣区域算法对所述移动装配目标在所述提取视频帧中进行目标识别处理；基于目标识别结果对所述提取视频帧进行筛选处理，形成实时视频关键帧。
进一步的，所述基于目标识别结果对所述提取视频帧进行筛选处理，形成实时视频关键帧，包括：判断所述提取视频帧中的识别目标结果中是否存在移动装配目标，若不存在，则舍弃所述提取视频帧；若存在则保留所述提取视频帧，由保留的所述提取视频帧按顺序构建，形成实时视频关键帧。
具体的，首先，对实时采集视频按照采集频率进行分帧处理，形成实时视频序列帧，需要按照预设的时间间隔来对实时视频序列帧进行视频帧提取处理，从而得到提取视频帧；然后通过感兴趣区域算法来对移动装配目标在提取视频帧中进行目标识别处理，从而识别移动装配目标是否存在在提取视频帧中，然后根据目标识别结果对提取视频帧进行筛选处理，即可形成实时视频关键帧。
在根据目标识别结果对所述提取视频帧进行筛选处理时，首先是判断提取视频帧中的识别目标结果中是否存在移动装配目标，若不存在，则舍弃所述提取视频帧；若存在则保留该提取视频帧，最后由保留的所述提取视频帧按顺序构建，形成实时视频关键帧。
S13：基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；
在本发明具体实施过程中，所述基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果，包括：将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间进行三维空间特征提取处理，获得所述移动装配目标的三维空间特征信息；基于所述移动装配目标的三维空间特征信息和对应的实时视频关键帧利用Meanshift目标跟踪算法进行目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；所述三维目标定位模型为训练收敛的Vision Transformer模型。
进一步的，所述将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间进行三维空间特征提取处理，包括：将所述实时视频关键帧中的每一帧图像划分为不重叠的分块，并将不重叠的分块依次输入所述三维目标定位模型中的编码器，并基于所述编码器的线性投影将不重叠的分块展平为一系列图片的特征向量；采用多层串联的多头自注意模块逐层提取所述特征向量中的图片特征信息，建立每个不重叠的分块之间的关联关系；基于所述关联关系将多头自注意模块的不同层之间的输出进行组合，形成具有多个分辨率的图片特征，并经过解码器的融合处理，形成每一帧图像的图像特征；基于三维目标定位模型中的卷积解码器对所述图像特征解码为与所述每一帧图像尺寸相同的深度图像，其中所述深度图像中不同像素点的取值对应该位置距离视觉传感器的距离；结合所述视觉传感器的内参矩阵，通过所述视觉传感器成像逆变换将所述深度图像转换为视觉传感器坐标矩阵中的一系列空间坐标点集，获得所述移动装配目标的三维空间特征信息。
具体的，在得到实时视频关键帧之后，将实时视频关键帧依次输入三维目标定位模型中对移动装配目标在传送带上移动时的三维空间进行三维空间特征提取处理，获得移动装配目标的三维空间特征信息；然后根据移动装配目标的三维空间特征信息和对应的实时视频关键帧利用Meanshift目标跟踪算法进行目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；其中三维目标定位模型为训练收敛的Vision Transformer模型；当然三维目标定位模型可以为其他的深度网络模型。
在进行三维空间特征提取处理时，是将实时视频关键帧中的每一帧图像划分为不重叠的分块，并将不重叠的分块依次输入所述三维目标定位模型中的编码器，并通过编码器的线性投影将不重叠的分块展平为一系列图片的特征向量；然后采用多层串联的多头自注意模块逐层提取特征向量中的图片特征信息，建立每个不重叠的分块之间的关联关系；并且根据关联关系将多头自注意模块的不同层之间的输出进行组合，形成具有多个分辨率的图片特征，并经过该解码器的融合处理，形成每一帧图像的图像特征；根据三维目标定位模型中的卷积解码器对图像特征解码为与每一帧图像尺寸相同的深度图像，其中该深度图像中不同像素点的取值对应该位置距离视觉传感器的距离；最后结合视觉传感器的内参矩阵，通过视觉传感器成像逆变换将深度图像转换为视觉传感器坐标矩阵中的一系列空间坐标点集，从而获得该移动装配目标的三维空间特征信息。
S14：基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息；
在本发明具体实施过程中，所述基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息，包括：提取所述实时视频关键帧中的每一帧对应的移动装配目标图像；对每一帧对应的移动装配目标图像进行灰度化处理，并将灰度化处理结果进行低通滤波处理，形成滤波后的每一帧对应的移动装配目标图像；对滤波后的每一帧对应的移动装配目标图像依次进行高通滤波和差分运算处理，获得确定上下左右边界的每一帧对应的移动装配目标图像；基于确定上下左右边界的每一帧对应的移动装配目标图像进行装配关键点提取处理，获得每一帧对应的移动装配目标图像的装配关键点；利用每一帧对应的移动装配目标图像的装配关键点进行线性加权叠加处理，并基于加权叠加结果提取装配关键点信息。
具体的，首先是提取到实时视频关键帧中的每一帧对应的移动装配目标图像；然后对对每一帧对应的移动装配目标图像进行灰度化处理，并将灰度化处理结果进行低通滤波处理，形成滤波后的每一帧对应的移动装配目标图像；然后再对滤波后的每一帧对应的移动装配目标图像依次进行高通滤波和差分运算处理，实现移动装配目标图像的上下左右边界的确定，即可得到确定上下左右边界的每一帧对应的移动装配目标图像；然后再根据确定上下左右边界的每一帧对应的移动装配目标图像进行装配关键点提取处理，获得每一帧对应的移动装配目标图像的装配关键点；最后利用每一帧对应的移动装配目标图像的装配关键点进行线性加权叠加处理，并根据加权叠加结果提取装配关键点信息。
其中，根据加权叠加结果提取装配关键点信息具体为根据加权叠加结果来获得移动装配目标图像的装配关键点的轮廓数据，并且根据移动装配目标图像的装配关键点的轮廓数据来提取装配关键点信息。
S15：基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果；
在本发明具体实施过程中，所述基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果，包括：获得所述装配关键点信息在对应的实时视频关键帧中的像素坐标信息；结合所述视觉传感器的内参矩阵，在所述移动装配目标的三维定位跟踪结果中通过视觉传感器逆变换将所述像素坐标信息转换为三维空间位置信息，获得装配关键点对应的三维定位跟踪结果。
具体的，首先需要获得装配关键点信息在对应的实时视频关键帧中的像素坐标信息；然后结合视觉传感器的内参矩阵，在移动装配目标的三维定位跟踪结果中通过视觉传感器逆变换将像素坐标信息转换为三维空间位置信息，从而获得装配关键点对应的三维定位跟踪结果。
S16：基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，并基于所述装配规划指令控制所述SCARA机器人进行装配操作。
在本发明具体实施过程中，所述基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，包括：基于所述装配关键点对应的三维定位跟踪结果预测所述移动装配目标中的装配关键点到达预定装配区域的位置及时间；基于到达预定装配区域的位置及时间生成SCARA机器人的装配规划指令。
具体的，首先是通过装配关键点对应的三维定位跟踪结果预测移动装配目标中的装配关键点到达预定装配区域的位置及时间；然后根据到达预定装配区域的位置及时间生成SCARA机器人的装配规划指令；最后根据该装配规划指令来控制SCARA机器人进行装配操作。
在本发明实施例中，通过利用视觉传感器对在传送带上的移动装配目标进行实时视频采集，并且进行三维目标跟踪定位处理，同时获得装配关键点信息，并转换为装配关键点对应的三维定位跟踪结果，然后生成SCARA机器人的装配规划指令，实现无需用户进行示教操作，通过实时视频的方式来精确控制SCARA机器人对在传送带上移动的移动装配目标进行装配控制，并且具有较高的装配精确度。
实施例二
请参阅图2，图2是本发明实施例中的基于移动装配目标的SCARA机器人装配控制系统的结构组成示意图。
如图2所示，一种基于移动装配目标的SCARA机器人装配控制系统，所述系统包括：
视频采集模块21：用于基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频；
在本发明具体实施过程中，所述基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频，包括：将所述视觉传感器固定设置在所述传送带的侧上方，且所述视觉传感器所采集的视频范围覆盖所述SCARA机器人作业范围；基于设置在所述传送带侧上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频。
具体的，通过在传送带的正上方或者侧上方固定设置视觉传感器，同时使得该视觉传感器所采集的视频范围覆盖到SCARA机器人作业范围；然后通过设置在该传送带上的视觉传感器实时进行传送带上的视频采集处理，从而获得实时采集视频。
关键帧提取模块22：用于对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧；
在本发明具体实施过程中，所述对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧，包括：对所述实时采集视频按照预设时间间隔进行视频帧提取处理，获得提取视频帧；基于感兴趣区域算法对所述移动装配目标在所述提取视频帧中进行目标识别处理；基于目标识别结果对所述提取视频帧进行筛选处理，形成实时视频关键帧。
进一步的，所述基于目标识别结果对所述提取视频帧进行筛选处理，形成实时视频关键帧，包括：判断所述提取视频帧中的识别目标结果中是否存在移动装配目标，若不存在，则舍弃所述提取视频帧；若存在则保留所述提取视频帧，由保留的所述提取视频帧按顺序构建，形成实时视频关键帧。
具体的，首先，对实时采集视频按照采集频率进行分帧处理，形成实时视频序列帧，需要按照预设的时间间隔来对实时视频序列帧进行视频帧提取处理，从而得到提取视频帧；然后通过感兴趣区域算法来对移动装配目标在提取视频帧中进行目标识别处理，从而识别移动装配目标是否存在在提取视频帧中，然后根据目标识别结果对提取视频帧进行筛选处理，即可形成实时视频关键帧。
在根据目标识别结果对所述提取视频帧进行筛选处理时，首先是判断提取视频帧中的识别目标结果中是否存在移动装配目标，若不存在，则舍弃所述提取视频帧；若存在则保留该提取视频帧，最后由保留的所述提取视频帧按顺序构建，形成实时视频关键帧。
目标跟踪定位模块23：用于基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；
在本发明具体实施过程中，所述基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果，包括：将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间进行三维空间特征提取处理，获得所述移动装配目标的三维空间特征信息；基于所述移动装配目标的三维空间特征信息和对应的实时视频关键帧利用Meanshift目标跟踪算法进行目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；所述三维目标定位模型为训练收敛的Vision Transformer模型。
进一步的，所述将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间进行三维空间特征提取处理，包括：将所述实时视频关键帧中的每一帧图像划分为不重叠的分块，并将不重叠的分块依次输入所述三维目标定位模型中的编码器，并基于所述编码器的线性投影将不重叠的分块展平为一系列图片的特征向量；采用多层串联的多头自注意模块逐层提取所述特征向量中的图片特征信息，建立每个不重叠的分块之间的关联关系；基于所述关联关系将多头自注意模块的不同层之间的输出进行组合，形成具有多个分辨率的图片特征，并经过解码器的融合处理，形成每一帧图像的图像特征；基于三维目标定位模型中的卷积解码器对所述图像特征解码为与所述每一帧图像尺寸相同的深度图像，其中所述深度图像中不同像素点的取值对应该位置距离视觉传感器的距离；结合所述视觉传感器的内参矩阵，通过所述视觉传感器成像逆变换将所述深度图像转换为视觉传感器坐标矩阵中的一系列空间坐标点集，获得所述移动装配目标的三维空间特征信息。
具体的，在得到实时视频关键帧之后，将实时视频关键帧依次输入三维目标定位模型中对移动装配目标在传送带上移动时的三维空间进行三维空间特征提取处理，获得移动装配目标的三维空间特征信息；然后根据移动装配目标的三维空间特征信息和对应的实时视频关键帧利用Meanshift目标跟踪算法进行目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；其中三维目标定位模型为训练收敛的Vision Transformer模型；当然三维目标定位模型可以为其他的深度网络模型。
在进行三维空间特征提取处理时，是将实时视频关键帧中的每一帧图像划分为不重叠的分块，并将不重叠的分块依次输入所述三维目标定位模型中的编码器，并通过编码器的线性投影将不重叠的分块展平为一系列图片的特征向量；然后采用多层串联的多头自注意模块逐层提取特征向量中的图片特征信息，建立每个不重叠的分块之间的关联关系；并且根据关联关系将多头自注意模块的不同层之间的输出进行组合，形成具有多个分辨率的图片特征，并经过该解码器的融合处理，形成每一帧图像的图像特征；根据三维目标定位模型中的卷积解码器对图像特征解码为与每一帧图像尺寸相同的深度图像，其中该深度图像中不同像素点的取值对应该位置距离视觉传感器的距离；最后结合视觉传感器的内参矩阵，通过视觉传感器成像逆变换将深度图像转换为视觉传感器坐标矩阵中的一系列空间坐标点集，从而获得该移动装配目标的三维空间特征信息。
关键点提取模块24：用于基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息；
在本发明具体实施过程中，所述基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息，包括：提取所述实时视频关键帧中的每一帧对应的移动装配目标图像；对每一帧对应的移动装配目标图像进行灰度化处理，并将灰度化处理结果进行低通滤波处理，形成滤波后的每一帧对应的移动装配目标图像；对滤波后的每一帧对应的移动装配目标图像依次进行高通滤波和差分运算处理，获得确定上下左右边界的每一帧对应的移动装配目标图像；基于确定上下左右边界的每一帧对应的移动装配目标图像进行装配关键点提取处理，获得每一帧对应的移动装配目标图像的装配关键点；利用每一帧对应的移动装配目标图像的装配关键点进行线性加权叠加处理，并基于加权叠加结果提取装配关键点信息。
具体的，首先是提取到实时视频关键帧中的每一帧对应的移动装配目标图像；然后对对每一帧对应的移动装配目标图像进行灰度化处理，并将灰度化处理结果进行低通滤波处理，形成滤波后的每一帧对应的移动装配目标图像；然后再对滤波后的每一帧对应的移动装配目标图像依次进行高通滤波和差分运算处理，实现移动装配目标图像的上下左右边界的确定，即可得到确定上下左右边界的每一帧对应的移动装配目标图像；然后再根据确定上下左右边界的每一帧对应的移动装配目标图像进行装配关键点提取处理，获得每一帧对应的移动装配目标图像的装配关键点；最后利用每一帧对应的移动装配目标图像的装配关键点进行线性加权叠加处理，并根据加权叠加结果提取装配关键点信息。
其中，根据加权叠加结果提取装配关键点信息具体为根据加权叠加结果来获得移动装配目标图像的装配关键点的轮廓数据，并且根据移动装配目标图像的装配关键点的轮廓数据来提取装配关键点信息。
转换模块25：用于基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果；
在本发明具体实施过程中，所述基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果，包括：获得所述装配关键点信息在对应的实时视频关键帧中的像素坐标信息；结合所述视觉传感器的内参矩阵，在所述移动装配目标的三维定位跟踪结果中通过视觉传感器逆变换将所述像素坐标信息转换为三维空间位置信息，获得装配关键点对应的三维定位跟踪结果。
具体的，首先需要获得装配关键点信息在对应的实时视频关键帧中的像素坐标信息；然后结合视觉传感器的内参矩阵，在移动装配目标的三维定位跟踪结果中通过视觉传感器逆变换将像素坐标信息转换为三维空间位置信息，从而获得装配关键点对应的三维定位跟踪结果。
装配控制模块26：用于基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，并基于所述装配规划指令控制所述SCARA机器人进行装配操作。
在本发明具体实施过程中，所述基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，包括：基于所述装配关键点对应的三维定位跟踪结果预测所述移动装配目标中的装配关键点到达预定装配区域的位置及时间；基于到达预定装配区域的位置及时间生成SCARA机器人的装配规划指令。
具体的，首先是通过装配关键点对应的三维定位跟踪结果预测移动装配目标中的装配关键点到达预定装配区域的位置及时间；然后根据到达预定装配区域的位置及时间生成SCARA机器人的装配规划指令；最后根据该装配规划指令来控制SCARA机器人进行装配操作。
在本发明实施例中，通过利用视觉传感器对在传送带上的移动装配目标进行实时视频采集，并且进行三维目标跟踪定位处理，同时获得装配关键点信息，并转换为装配关键点对应的三维定位跟踪结果，然后生成SCARA机器人的装配规划指令，实现无需用户进行示教操作，通过实时视频的方式来精确控制SCARA机器人对在传送带上移动的移动装配目标进行装配控制，并且具有较高的装配精确度。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，ReadOnly Memory）、随机存取存储器（RAM，Random AccessMemory）、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种基于移动装配目标的SCARA机器人装配控制方法及系统进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于移动装配目标的SCARA机器人装配控制方法，其特征在于，所述方法包括：
基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频；
对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧；
基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；
基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息；
基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果；
基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，并基于所述装配规划指令控制所述SCARA机器人进行装配操作。
2.根据权利要求1所述的SCARA机器人装配控制方法，其特征在于，所述基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频，包括：
将所述视觉传感器固定设置在所述传送带的侧上方，且所述视觉传感器所采集的视频范围覆盖所述SCARA机器人作业范围；
基于设置在所述传送带侧上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频。
3.根据权利要求1所述的SCARA机器人装配控制方法，其特征在于，所述对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧，包括：
对所述实时采集视频按照预设时间间隔进行视频帧提取处理，获得提取视频帧；
基于感兴趣区域算法对所述移动装配目标在所述提取视频帧中进行目标识别处理；
基于目标识别结果对所述提取视频帧进行筛选处理，形成实时视频关键帧。
4.根据权利要求3所述的SCARA机器人装配控制方法，其特征在于，所述基于目标识别结果对所述提取视频帧进行筛选处理，形成实时视频关键帧，包括：
判断所述提取视频帧中的识别目标结果中是否存在移动装配目标，若不存在，则舍弃所述提取视频帧；
若存在则保留所述提取视频帧，由保留的所述提取视频帧按顺序构建，形成实时视频关键帧。
5.根据权利要求1所述的SCARA机器人装配控制方法，其特征在于，所述基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果，包括：
将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间进行三维空间特征提取处理，获得所述移动装配目标的三维空间特征信息；
基于所述移动装配目标的三维空间特征信息和对应的实时视频关键帧利用Meanshift目标跟踪算法进行目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；
所述三维目标定位模型为训练收敛的Vision Transformer模型。
6.根据权利要求5所述的SCARA机器人装配控制方法，其特征在于，所述将所述实时视频关键帧输入三维目标定位模型中对所述移动装配目标在所述传送带移动时的三维空间进行三维空间特征提取处理，包括：
将所述实时视频关键帧中的每一帧图像划分为不重叠的分块，并将不重叠的分块依次输入所述三维目标定位模型中的编码器，并基于所述编码器的线性投影将不重叠的分块展平为一系列图片的特征向量；
采用多层串联的多头自注意模块逐层提取所述特征向量中的图片特征信息，建立每个不重叠的分块之间的关联关系；
基于所述关联关系将多头自注意模块的不同层之间的输出进行组合，形成具有多个分辨率的图片特征，并经过解码器的融合处理，形成每一帧图像的图像特征；
基于三维目标定位模型中的卷积解码器对所述图像特征解码为与所述每一帧图像尺寸相同的深度图像，其中所述深度图像中不同像素点的取值对应位置距离视觉传感器的距离；
结合所述视觉传感器的内参矩阵，通过所述视觉传感器成像逆变换将所述深度图像转换为视觉传感器坐标矩阵中的一系列空间坐标点集，获得所述移动装配目标的三维空间特征信息。
7.根据权利要求1所述的SCARA机器人装配控制方法，其特征在于，所述基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息，包括：
提取所述实时视频关键帧中的每一帧对应的移动装配目标图像；
对每一帧对应的移动装配目标图像进行灰度化处理，并将灰度化处理结果进行低通滤波处理，形成滤波后的每一帧对应的移动装配目标图像；
对滤波后的每一帧对应的移动装配目标图像依次进行高通滤波和差分运算处理，获得确定上下左右边界的每一帧对应的移动装配目标图像；
基于确定上下左右边界的每一帧对应的移动装配目标图像进行装配关键点提取处理，获得每一帧对应的移动装配目标图像的装配关键点；
利用每一帧对应的移动装配目标图像的装配关键点进行线性加权叠加处理，并基于加权叠加结果提取装配关键点信息。
8.根据权利要求1所述的SCARA机器人装配控制方法，其特征在于，所述基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果，包括：
获得所述装配关键点信息在对应的实时视频关键帧中的像素坐标信息；
结合所述视觉传感器的内参矩阵，在所述移动装配目标的三维定位跟踪结果中通过视觉传感器逆变换将所述像素坐标信息转换为三维空间位置信息，获得装配关键点对应的三维定位跟踪结果。
9.根据权利要求1所述的SCARA机器人装配控制方法，其特征在于，所述基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，包括：
基于所述装配关键点对应的三维定位跟踪结果预测所述移动装配目标中的装配关键点到达预定装配区域的位置及时间；
基于到达预定装配区域的位置及时间生成SCARA机器人的装配规划指令。
10.一种基于移动装配目标的SCARA机器人装配控制系统，其特征在于，所述系统包括：
视频采集模块：用于基于设置在传送带上方的视觉传感器实时进行传送带上的视频采集处理，获得实时采集视频；
关键帧提取模块：用于对所述实时采集视频按照预设时间间隔进行视频关键帧提取处理，获得实时视频关键帧；
目标跟踪定位模块：用于基于所述实时视频关键帧对在所述传送带移动的移动装配目标进行三维目标定位跟踪处理，获得移动装配目标的三维定位跟踪结果；
关键点提取模块：用于基于所述实时视频关键帧对所述移动装配目标的装配关键点进行提取处理，获得装配关键点信息；
转换模块：用于基于所述装配关键点信息和移动装配目标的三维定位跟踪结果进行装配关键点的三维空间转换处理，获得装配关键点对应的三维定位跟踪结果；
装配控制模块：用于基于所述装配关键点对应的三维定位跟踪结果生成SCARA机器人的装配规划指令，并基于所述装配规划指令控制所述SCARA机器人进行装配操作。
CN202210811688.6A 2022-07-12 2022-07-12 Scara机器人装配控制方法及系统 Active CN114872055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210811688.6A CN114872055B (zh) 2022-07-12 2022-07-12 Scara机器人装配控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210811688.6A CN114872055B (zh) 2022-07-12 2022-07-12 Scara机器人装配控制方法及系统

Publications (2)

Publication Number Publication Date
CN114872055A CN114872055A (zh) 2022-08-09
CN114872055B true CN114872055B (zh) 2022-11-18

Family

ID=82683604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210811688.6A Active CN114872055B (zh) 2022-07-12 2022-07-12 Scara机器人装配控制方法及系统

Country Status (1)

Country Link
CN (1) CN114872055B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115091472B (zh) * 2022-08-26 2022-11-22 珠海市南特金属科技股份有限公司 基于人工智能的目标定位方法及装夹机械手控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204656A (zh) * 2016-07-21 2016-12-07 中国科学院遥感与数字地球研究所 基于视频和三维空间信息的目标定位和跟踪系统及方法
CN110648361A (zh) * 2019-09-06 2020-01-03 深圳市华汉伟业科技有限公司 一种三维目标物体的实时位姿估计方法及定位抓取系统
CN213323425U (zh) * 2020-06-17 2021-06-01 长沙长泰机器人有限公司 汽车挡风玻璃柔性装配系统
CN113814986A (zh) * 2021-11-23 2021-12-21 广东隆崎机器人有限公司 一种基于机器视觉控制scara机器人的方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4864363B2 (ja) * 2005-07-07 2012-02-01 東芝機械株式会社 ハンドリング装置、作業装置及びプログラム
US11261035B2 (en) * 2018-10-02 2022-03-01 Tera Automation S.R.L. Component for feeding robots, automation systems and the like

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204656A (zh) * 2016-07-21 2016-12-07 中国科学院遥感与数字地球研究所 基于视频和三维空间信息的目标定位和跟踪系统及方法
CN110648361A (zh) * 2019-09-06 2020-01-03 深圳市华汉伟业科技有限公司 一种三维目标物体的实时位姿估计方法及定位抓取系统
CN213323425U (zh) * 2020-06-17 2021-06-01 长沙长泰机器人有限公司 汽车挡风玻璃柔性装配系统
CN113814986A (zh) * 2021-11-23 2021-12-21 广东隆崎机器人有限公司 一种基于机器视觉控制scara机器人的方法及系统

Also Published As

Publication number Publication date
CN114872055A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
CN109190508B (zh) 一种基于空间坐标系的多摄像头数据融合方法
CN111553949B (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN110580723B (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN112785643A (zh) 一种基于机器人平台的室内墙角二维语义地图构建方法
CN110084243B (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN110281231B (zh) 无人化fdm增材制造的移动机器人三维视觉抓取方法
CN110315525A (zh) 一种基于视觉引导的机器人工件抓取方法
CN108416428B (zh) 一种基于卷积神经网络的机器人视觉定位方法
CN101574586B (zh) 毽球机器人及控制方法
CN108171715B (zh) 一种图像分割方法及装置
CN114898313B (zh) 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质
CN114872055B (zh) Scara机器人装配控制方法及系统
Mittrapiyanumic et al. Calculating the 3d-pose of rigid-objects using active appearance models
CN107766864A (zh) 提取特征的方法和装置、物体识别的方法和装置
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN112288815A (zh) 一种目标模位置测量方法、系统、存储介质及设备
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其系统
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN115213903A (zh) 一种基于障碍规避的移动机器人路径规划方法及装置
Verma et al. Vision based object follower automated guided vehicle using compressive tracking and stereo-vision
CN113033470B (zh) 一种轻量型目标检测方法
CN115767424A (zh) 一种基于rss与csi融合的视频定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant