CN115026823A - 一种基于坐标焊接的工业机器人控制方法以及系统 - Google Patents

一种基于坐标焊接的工业机器人控制方法以及系统 Download PDF

Info

Publication number
CN115026823A
CN115026823A CN202210669673.0A CN202210669673A CN115026823A CN 115026823 A CN115026823 A CN 115026823A CN 202210669673 A CN202210669673 A CN 202210669673A CN 115026823 A CN115026823 A CN 115026823A
Authority
CN
China
Prior art keywords
welding
coordinates
identification
coordinate
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210669673.0A
Other languages
English (en)
Other versions
CN115026823B (zh
Inventor
吴凌云
何志雄
陈统书
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Tiantai Robot Co Ltd
Original Assignee
Guangdong Tiantai Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Tiantai Robot Co Ltd filed Critical Guangdong Tiantai Robot Co Ltd
Priority to CN202210669673.0A priority Critical patent/CN115026823B/zh
Publication of CN115026823A publication Critical patent/CN115026823A/zh
Application granted granted Critical
Publication of CN115026823B publication Critical patent/CN115026823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02Carriages for supporting the welding or cutting element
    • B23K37/0252Steering means
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Numerical Control (AREA)

Abstract

一种基于坐标焊接的工业机器人控制系统及方法,其中所述系统包括工业机器人和划分有多个范围区域的传输履带,所述工业机器人包括相互电联接的多个功能机械臂与图像信息处理模块,每一个范围区域内均设置有功能机械臂;所述图像信息处理模块包括坐标信息采集模块、区域规划模块以及控制指令发出模块;所述坐标信息采集模块用于获取同一批次进入传输履带的所有目标芯片焊接点的焊接坐标,并将所有目标芯片的焊接坐标发送给所述区域规划模块。通过搬运机械臂将每个区域内多余的目标芯片搬出传输履带,使得每个区域内目标芯片与焊接机械臂的工作频率匹配,避免了成品中出现未被焊接的目标芯片。

Description

一种基于坐标焊接的工业机器人控制方法以及系统
技术领域
本发明涉及工业机器人控制技术领域,特别是一种基于坐标焊接的工业机器人控制方法以及系统。
背景技术
随着现代科学技术的不断进步,尤其是传感器和执行器处理能力的提高、计算机技术的发展以及机械设计和数控加工工具的进步等共同推动了机器人的迅速发展。智能机器人已经被广泛应用于工程、生产制造以及生活等各个领域,它凭借着小型化、智能化以及灵活性高等优点能够在焊接工作中代替人类执行任务。
在焊接芯片时,工人或者运输部件会将同一批次的芯片投放在传输履带上,通过传输履带带动芯片移动至焊接机械臂,对芯片进行焊接。但是由于在投放芯片时,由于投放的高度或投放人员失误的影响,部分的芯片会发送位移,移动到不同的地方,使传输履带的某一区域芯片数量会变多,而焊接机械臂的焊接速度是固定的,最终导致该区域内有部分芯片未能接受到焊接,影响芯片的焊接质量。
发明内容
针对上述缺陷,本发明的目的在于提出一种基于坐标焊接的工业机器人控制方法以及系统,使传输履带上每一片芯片都能接收焊接,避免成品中存在有未焊接的芯片。
为达此目的,本发明采用以下技术方案:一种基于坐标焊接的工业机器人控制系统,所述系统包括工业机器人和划分有多个范围区域的传输履带,所述工业机器人包括相互电联接的多个功能机械臂与图像信息处理模块,每一个范围区域内均设置有功能机械臂;
所述图像信息处理模块包括坐标信息采集模块、区域规划模块以及控制指令发出模块;
所述坐标信息采集模块用于获取同一批次进入传输履带的所有目标芯片焊接点的焊接坐标,并将所有目标芯片的焊接坐标发送给所述区域规划模块;
所述区域规划模块用于根据焊接坐标以及预设的范围区域,统计每一个范围区域内的焊接坐标数量;
判断当前范围区域内焊接坐标数量是否超出数量阈值,若超出,则获取超出部分的坐标个数,在当前范围区域内选择与超出部分的坐标个数相等数量的焊接坐标,并标记为剔除坐标,并根据所述剔除坐标生成搬运控制指令;
所述控制指令发出模块用于根据焊接坐标生成焊接指令,将焊接指令和搬运控制指令发送给所述功能机械臂;
所述功能机械臂包括接收模块、搬运机械臂以及焊接机械臂;
所述接收模块用于接收并解析所述焊接指令和搬运指令,得到剔除坐标以及焊接坐标;
将所述剔除坐标发送给对应范围区域的所述搬运机械臂;
将所述焊接坐标发送给对应范围区域的所述焊接机械臂;
所述搬运机械臂用于接收所述剔除坐标,当所述剔除坐标落入到所述搬运机械臂的工作范围内时,所述搬运机械臂对剔除坐标的目标芯片搬运传输履带;
所述焊接机械臂接收所述焊接坐标,当所述焊接坐标落入到所述焊接机械臂的工作范围内时,所述焊接机械臂对目标芯片的焊接点进行焊接。
优选的,所述搬运机械臂还用于获取传输履带的运动速度,并根据所述传输履带的运动速度对剔除坐标的X轴坐标进行更新。
优选的,所述焊接机械臂还用于获取传输履带的运动速度,并根据所述传输履带的运动速度对焊接坐标的X轴坐标进行更新。
优选的,所述包括目标芯片提取子模块、识别特征关联子模块以及旋转平移子模块;
所述目标芯片提取子模块用于以亚像素点的方式将目标芯片的边框从所述图形信息中进行提取,得到目标边框,并将所述目标边框发送给所述识别特征关联子模块;
所述识别特征关联子模块用于按照比例将目标边框上的识别特征以及其余识别特征组合成第一识别点,根据第一识别点找出所述模板图上与所述第一识别点所对应的第二识别点;
获取所有第一识别点与与其对应第二识别点之间的距离,判断所有第一识别特征点与与其对应第二识别点之间的距离是否大于距离阈值,若满足,则获取满足距离阈值第一识别特征的数量,并判断数量是否满足第一数量阈值,若满足,则向所述旋转平移子模块发出修正指令;
所述旋转平移子模块接收所述修正指令,并将所述第一识别点与第二识别点代入至变化矩阵中,修正模板图的位姿,得到修正后的模板图,在修正后的模板图上获取焊接坐标。
优选的,所述焊接坐标提取模块还包括验证子模块;
所述验证子模块用于获取当前模板图位姿的修改次数以及所有第一识别点与第二识别点之间的距离,并判断修正后的模板图上满足距离阈值的第二识别点数量以及模板图的修正次数;
当满足距离阈值的第二识别点数量小于第二数量阈值且模板图修正次数小于次数阈值,则使用上一次变化矩阵对变化矩阵进行更新,继续发出修正指令,对模板图继续修正,直到满足距离阈值的第二识别点数量大于第二数量阈值或模板图修正次数等于次数阈值。
一种基于坐标焊接的工业机器人控制方法,应用于所述一种基于坐标焊接的工业机器人控制系统,所述系统包括划分为多个范围区域的传输履带,每一个范围区域内均设置有工业机器人,所述工业机器人包括相互电联接的多个功能机械臂与图像获取设备,所述功能机械臂包括夹取机械臂以及焊接机械臂,所述方法包括以下步骤:
步骤S1:图像获取设备获取同一批次进入传输履带的目标芯片焊接点的焊接坐标,并将所有目标芯片的焊接坐标发送给工业机器人;
步骤S2:工业机器人对焊接坐标以及预设的范围区域,统计每一个范围区域内的焊接坐标数量,判断当前范围区域内焊接坐标数量是否超出数量阈值,若超出,则获取超出部分的坐标个数,在当前范围区域内选择与超出部分的坐标个数相等数量的焊接坐标,并标记为剔除坐标;
步骤S3:所述搬运机械臂接收所述剔除坐标,当所述剔除坐标落入到所述搬运机械臂的工作范围内时,所述搬运机械臂对目标芯片进行搬运;
所述焊接机械臂接收所述焊接坐标,当所述焊接坐标落入到所述焊接机械臂的工作范围内时,所述焊接机械臂对目标芯片的焊接点进行焊接。
优选的,所述步骤S3中:
所述搬运机械臂还用于获取传输履带的运动速度,并根据所述传输履带的运动速度对剔除坐标的X轴坐标进行更新。
优选的,所述步骤S3中:
所述焊接机械臂还用于获取传输履带的运动速度,并根据所述传输履带的运动速度对焊接坐标的X轴坐标进行更新。
优选的,所述步骤S13中对坐标选定模板图执行旋转和位移的具体步骤如下:
步骤B1:以亚像素点的方式将目标零件的边框从所述图形信息中进行提取,得到目标边框;
步骤B2:按照比例将目标边框上的识别特征以及其余识别特征组合成第一识别点,根据第一识别点找出所述模板图上与所述第一识别点所对应的第二识别点;
获取所有第一识别点与与其对应第二识别点之间的距离,判断所有第一识别特征点与与其对应第二识别点之间的距离是否大于距离阈值,若满足,则获取满足距离阈值第一识别特征的数量,并判断数量是否满足第一数量阈值,若满足,则进行模板图修正;
步骤B3:并将所述第一识别点与第二识别点代入至变化矩阵中,修正模板图的位姿,得到修正后的模板图,其中变化矩阵的计算过程如下:
将第一识别点的坐标与第二识别点的坐标代入下面的公式(1)中:
Figure BDA0003694353800000051
其中R为旋转矩阵,
Figure BDA0003694353800000052
为平移矩阵,qi和pi分别为相关联的第一识别特征点与第二识别特征点的坐标,ni为特征向量,i为大于1的自然整数;
随后获取第一识别点与第二识别点中最小的偏转的角度r,将最小的偏转角度r代入到下面公式(2)中,计算得到旋转矩阵R的最小值,其中公式(2)如下所示:
Figure BDA0003694353800000061
将旋转矩阵R的最小值代回至公式(1)中,得到公式(3):;
Figure BDA0003694353800000062
其中ci=pi×ni
对公式(3)求偏导,并转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y,其过程如下:
偏导公式四如下:
Figure BDA0003694353800000063
Figure BDA0003694353800000064
Figure BDA0003694353800000065
转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y的过程如下:
Figure BDA0003694353800000066
优选的,所述步骤S2中直到所述坐标选定模板图与所述目标零件的重合度满足阈值的具体步骤如下:
步骤B4:获取当前模板图位姿的修改次数以及所有第一识别点与第二识别点之间的距离,并判断修正后的模板图上满足距离阈值的第二识别点数量以及模板图的修正次数;
当满足距离阈值的第二识别点数量小于第二数量阈值且模板图修正次数小于次数阈值,则使用上一次变化矩阵对变化矩阵进行更新,继续对模板图继续修正,直到满足距离阈值的第二识别点数量大于第二数量阈值或模板图修正次数等于次数阈值。
上述技术方案中的一个技术方案具有如下优点或有益效果:1.在本系统中将传输履带划分为多个范围区域,每一个范围区域内设置有一个功能机械臂,通过图像信息处理模块获取每一个范围区域内,需要焊接的目标芯片的数量;通过搬运机械臂将每个区域内多余的目标芯片搬出传输履带,使得每个区域内目标芯片与焊接机械臂的工作频率匹配,避免了成品中出现未被焊接的目标芯片。
2.本申请直接中获取得到最高匹配得分的模板图,该模板图的旋转角度与目标芯片相接近,在系统中能够获取到该模板图在所述十字坐标系中的虚拟定位。然后在通过旋转与平移的方式使模板图与目标芯片重合,而焊接坐标在模板图上有固定的位置关系,当模板图与目标芯片重合后,可以认为模板图上焊接点的焊接坐标等于实际中目标芯片的焊接坐标。相比与传统的直接识别出焊接点技术,本发明所提出的方法能够提高焊接坐标的精准度,以实现芯片等细小零部件的焊接工作。
附图说明
图1是本发明系统的一个实施例中工业机器人的结构示意图。
图2是本发明系统的一个实施例中坐标信息采集模块的结构示意图。
图3是本发明系统的一个实施例中判断模块的结构示意图。
图4是本发明系统的一个实施例中焊接坐标提起模块的结构示意图。
图5是本发明方法的一个实施例的流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
如图1~5所示,一种基于坐标焊接的工业机器人控制系统,所述系统包括工业机器人和划分有多个范围区域的传输履带,所述工业机器人包括相互电联接的多个功能机械臂与图像信息处理模块,每一个范围区域内均设置有功能机械臂;
所述传输履带的范围区域设置的方式为,以传输履带的对称中心为十字坐标系的原点,以传输履带的运输方向为x轴方向,以传输履带的宽度方向为y轴方向,构建出做十字坐标。而所述范围区域是以工业机器人的运动直径作为划分标准,将y轴划分为多个等分所述范围区域;例如当工业机器人的运动直径为20个单位,而传输履带的宽度为100个单位,此时就会将(x,-50)~(x,-30)为第一个范围区域,(x,-30)~(x,-10)为第二个范围区域,(x,-10)~(x,10)为三个范围区域,(x,10)~(x,30)为四个范围区域,(x,30)~(x,50)为五个范围区域;
而工业机器人的y轴坐标为每一个y轴范围区域的中点,例如,第一个范围区域内功能机械臂设置在(x,-40),第二个范围区域内功能机械臂设置在(x,-20)等等。以便于每一个功能机械臂都能够在独立工作,且不会在工作时相互影响。
所述图像信息处理模块包括坐标信息采集模块、区域规划模块以及控制指令发出模块;
所述坐标信息采集模块用于获取同一批次进入传输履带的所有目标芯片焊接点的焊接坐标,并将所有目标芯片的焊接坐标发送给所述区域规划模块;
所述区域规划模块用于根据焊接坐标以及预设的范围区域,统计每一个范围区域内的焊接坐标数量;
判断当前范围区域内焊接坐标数量是否超出数量阈值,若超出,则获取超出部分的坐标个数,在当前范围区域内选择与超出部分的坐标个数相等数量的焊接坐标,并标记为剔除坐标,并根据所述剔除坐标生成搬运控制指令;
所述控制指令发出模块用于根据焊接坐标生成焊接指令,将焊接指令和搬运控制指令发送给所述功能机械臂;
所述功能机械臂包括接收模块、搬运机械臂以及焊接机械臂;
所述接收模块用于接收并解析所述焊接指令和搬运指令,得到剔除坐标以及焊接坐标;
将所述剔除坐标发送给对应范围区域的所述搬运机械臂;
将所述焊接坐标发送给对应范围区域的所述焊接机械臂;
所述搬运机械臂用于接收所述剔除坐标,当所述剔除坐标落入到所述搬运机械臂的工作范围内时,所述搬运机械臂对剔除坐标的目标芯片搬运传输履带;
所述焊接机械臂接收所述焊接坐标,当所述焊接坐标落入到所述焊接机械臂的工作范围内时,所述焊接机械臂对目标芯片的焊接点进行焊接。
所述图像信息处理模块可以为连接云端的摄像设备或者自带有处理逻辑的摄像设备,所述图像信息处理模块设置在传输履带的前端,而所述工业机器人设置在所述传输履带的后端,所述图像信息处理模块中的坐标信息采集模块获取同一批次进入传输履带的目标芯片焊接点的焊接坐标,并将该目标芯片的焊接坐标发送给所述区域规划模块,区域规划模块经过统计,获取到每一个范围区域中焊接点的数量,并判断每一个范围区域中焊接点的数量是否超出了数量阈值,所述数量阈值是根据焊接机械臂的工作频率设置的,当焊接机械臂的工作频率高时,所述数量阈值可以相应提高。范围区域中焊接点的数量超出了数量阈值时,则说明目标芯片的数量已经超过了焊接机械臂的工作频率,有部分目标芯片将无法被实施焊接点焊,需要将超出焊接机械臂工作频率以外的目标芯片进行除去,防止成品中出现未焊接的目标芯片。故所述区域规划模块在当前范围区域内选择与超出部分的坐标个数相等数量的焊接坐标,并标记为剔除坐,其中生成出剔除坐标没有固定的限制,可以在该范围区域内进行随机挑取的方式选出剔除坐标,或者也可以按照先后顺序将在先或者在后的焊接坐标作为剔除坐标。
在将所述剔除坐标与焊接坐标发送给对应的搬运机械臂以及焊接机械臂时,通过分析所述剔除坐标与焊接坐标中的y坐标,判断其落入到那一个范围区域内。例如当一个剔除坐标为(7,-27),此时剔除坐标落入到(x,-30)~(x,-10)的第二个范围区域,将该剔除坐标发送到(x,-20)的搬运机械臂。而焊接坐标给对应范围区域内的焊接机械臂也是按照上述的方式根据y坐标进行范围区域的划分,并发送到对应的焊接机械臂处。
值得一提的时,在本系统中,每一批次投放目标芯片的投放频率应根据焊接机械臂的工作频率相进行调整,避免投放速度过快影响导致焊接机械臂无法焊接全部目标芯片。例如所述焊接机械臂在工作范围内,每隔6秒就能够完成工作范围内的焊接工作,此时目标芯片每一批次的投放间隔时间为6秒。另外说明在本申请中通过输入相应坐标以实现对应功能的搬运机械臂以及焊接机械臂属于现有已经完善的技术方案,可以通过外购的方式来得到这两种功能机械臂。
优选的,所述搬运机械臂还用于获取传输履带的运动速度,并根据所述传输履带的运动速度对剔除坐标的X轴坐标进行更新。
优选的,所述焊接机械臂还用于获取传输履带的运动速度,并根据所述传输履带的运动速度对焊接坐标的X轴坐标进行更新。
随后将剔除坐标以及其他焊接坐标发送给所述接收模块,所述接收模块解析出剔除坐标以及焊接坐标,将所述剔除坐标发送给所述搬运机械臂,所述搬运机械臂上安装有夹手,夹手根据剔除坐标夹取对应的目标零件并搬移出传输履带,待下次重新投入到所述系统中继续进行焊接。而所述焊接机械臂上设置有焊接的设备,通过所述焊接坐标对目标芯片进行焊接。同时在夹取搬运多余的目标芯片与焊接目标芯片时,系统会对剔除坐标以及焊接坐标进行更新追踪。其对坐标进行更新追踪的方式为:获取传输履带的运行速度,通过运行速度对坐标的x坐标进行更新,例如当一个焊接坐标为(2,3),此时传输履带的运行速度为1个单位/秒的匀速运动,当2秒后,该焊接坐标为(4,3)。因为当目标芯片放置在传输履带上后,目标芯片跟随传输履带运动,此时的目标芯片会沿着传输履带的运动方向移动,即更改x坐标,而对应的y坐标是保持不变。只要通过获取传输履带的运行速度对焊接坐标或剔除坐标的x坐标进行更新即可对相应的目标芯片位置进行跟踪,实现相应的抓取或焊接操作。
优选的,坐标信息采集模块包括拍摄模块、判断模块以及焊接坐标提取模块;
拍摄模块用于拍摄包含有同一批次进入传输履带的目标芯片的图像信息,并将所述图像信息发送给所述判断模块;
所述判断模块用于使用多个不同角度的模板图对图像信息进行识别,判断当前目标芯片的焊接面是否面向传输履带,若焊接面面向传输履带,则以该目标芯片的中心点坐标为焊接坐标,若焊接面非面向传输履带,将并获取出与该目标芯片匹配得分最高的模板图作为坐标选定模板图,将所述选定模板图发送给所述焊接坐标提取模块;
由于可能存在操作失误,导致目标芯片在投放进传输履带时发生偏转,使得目标芯片的焊接面朝向了传输履带,而目标芯片的背面面向了焊接机械臂,所以在获取焊接坐标前,还需要判断当前目标芯片的焊接面是否面向焊接机械臂。故本发明中通过以焊接面训练的模板图作为判断的手法,通过所述模板图与图像信息内的目标芯片进行匹配,计算出多个不同角度的模板图与图像信息中目标芯片的匹配得分,然后统计做个目标芯片于多个模板图中最高的匹配得分,若该最高匹配得分是高于阈值的,则说明该目标芯片不是面向传输履带的,否则反正。
所述焊接坐标提取模块接收目标芯片的中心点坐标,对坐标选定模板图执行旋转和位移,直到所述坐标选定模板图与所述目标芯片的重合度满足阈值,从所述坐标选定模板图中选取焊接点的焊接坐标,并将焊接坐标发送给控制指令发出模块。
由于芯片的焊接点属于精细的焊接工作,本申请为了更好的获取到焊接坐标,实现精准的焊接操作。为此本申请直接中获取得到最高匹配得分的模板图,该模板图的旋转角度与目标芯片相接近,在系统中能够获取到该模板图在所述十字坐标系中的虚拟定位。然后在通过旋转与平移的方式使模板图与目标芯片重合,而焊接坐标在模板图上有固定的位置关系,当模板图与目标芯片重合后,可以认为模板图上焊接点的焊接坐标等于实际中目标芯片的焊接坐标。相比与传统的直接识别出焊接点技术,本发明所提出的方法能够提高焊接坐标的精准度,以实现芯片等细小零部件的焊接工作。
优选的,所述判断模块包括准备模块与匹配模块;
其中所述准备模块包括模板制作子模块、识别特征提取子模块以及存储子模块;
所述模板制作子模块用于制作多个模板图,其中每一个模板图对应一个不同的整数角度;
所述识别特征提取子模块包括梯度量化单元以及提起单元;
所述梯度量化单元用于对多个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化,分别获得多个模板图所对应的识别特征;
所述提起单元用于以当前角度为表列获取所述识别特征;
所述存储子模块用于存储不同角度表列中的所有识别特征。
有益效果:本申请中所述模板制作子模块是以目标芯片的焊接面作为模板图的训练基础。由于目标芯片在传输履带上随意的摆放,其摆放的角度会影响到识别效果。有可能存在某个摆放角度,无法对其进行识别,导致目标芯片被认为焊接面面向了传输履带。为此,在本申请的识别模块中包括了准备模块,所述准备模块内设置有模板制作子模块,在所述模板制作子模块中制作了N个模板图,N可以根据所述识别模块的配置来进行决定,当所述识别模块的配置高时,N的值可以相应提高,增加模板图的数量,同时不会影响到识别速度,当确定N的数量后,使用360/N,得到每一个模板图所对应的角度。通过增加了模板图的数量,使得所述模板图能够尽可能覆盖每一个目标芯片的摆放角度,避免因摆放角度的问题而影响到所述识别模块对目标芯片的识别。
所述梯度量化单元能够对模板图进行梯度量化,更好得获取模板图中的识别特征。在一个是实施例中,所述第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化的过程如下:
通过sobel计算梯度图像的梯度,在一个实施例中所述模板图为三通道图像,由X和Y方向的梯度求平方和非最大抑制算法提取出单通道梯度幅值最大值图像矩阵;
由X和Y方向的梯度图像矩阵得到角度图像矩阵;
角度图像矩阵范围从0-360度量化成1-15的整数,再继续对7取余数进行8个方向量化,取幅度图像矩阵中大于阈值的像素,然后取该像素领域3*3对应的量化图像矩阵,构成直方图,取领域多于5个相同方向,并对该方向进行赋值,并对索引进行00000001~10000000的移位编码;
其中所述梯度幅值最大值图像矩阵计算公式如下:
Figure BDA0003694353800000151
Figure BDA0003694353800000152
x代表位置,
Figure BDA0003694353800000153
为x位置梯度值,{R,G,B}为R通道、G通道、B通道,ori()为梯度方向,c是模板图在输入的图像信息的位置。
在进行完梯度量化后,所述模板图中的识别特征在像素点数值上与其他像素点有明显的区别,为此,本申请中对于识别特征的过程如下:梯度幅值最大值图像矩阵进行遍历,找出在梯度幅值最大值图像矩阵中各个领域存在最大梯度幅值的像素点,若在领域中找出最大梯度幅值的像素点,则将领域中除去最大梯度幅值的像素点以外像素值点的梯度幅值设置为零;
判断所有领域中最大梯度幅值的像素点的梯度幅值是否大于梯度幅值阈值,若是,则将该像素点标记为识别特征;
获取所有识别特征的数量,判断所有识别特征的数量是否大于数量阈值,若是,则将所有识别特征加入到特征合集中并保存至所述存储子模块;若否,则判断识别特征在距离阈值的范围内是否存在至少另一识别特征,若存在,则对该识别特征以及距离阈值内的识别特征进行剔除,若不存在,则将该识别特征保存至所述存储子模块。
在存储子模块内的识别特征会以角度作为每一组存储识别特征的分组。在识别模块识别的过程中,会调用所述存储子模块内的识别特征,以每一组的识别特征与所述图像信息中的目标芯片进行识别匹配。
所述匹配模块包括处理子模块以及得分计算子模块;
所述处理子模块包括:金字塔线性内存数据容器处理单元、平移单元与相似度响应矩阵图获取单元;
其中所述金字塔线性内存数据容器处理单元用于对图像信息进行梯度提取和量化,创建两层金字塔线性内存数据容器,将图像信息线遍历两层金字塔的数据;
其中遍历金字塔具体过程为:获取目标梯度扩散平移数值大小,获取得到金字塔线性内存数据容器;
所述平移单元用于对图像信息量化梯度进行4*4的范围内按位平移,得到的16张图逐像素做或操作,得到梯度扩散后图像信息的扩散梯度矩阵图;
所述相似度响应矩阵图获取单元用于通过与操作,将图像信息的扩散梯度矩阵图转换为前四个方向和后四个方向的梯度矩阵图,通过预设的查找表,找出各个梯度矩阵图角度与查找表中各个角度的最大相似度,其中所述查找表为预先计算好的8个方向的各种组合的表;
得到某方向的相似度响应矩阵图,由于所述扩散梯度矩阵图有8个方向,故获取8个相似度响应矩阵图,将所有的相似度响应矩阵图转成16阶或64阶的格式进行线性化存储在连续的所述线性内存数据容器内;
其中具有8个相似度方向的查找表的查找方式如下:
Figure BDA0003694353800000161
其中i是量化方向的索引,L是扩散梯度矩阵图中一个各方向的集合,l为扩散梯度矩阵图的方向;
所述得分计算子模块包括调用单元以及相似度计算单元;
所述调用单元用于调用所述存储子模块中的两层金字塔,并根据8个相似度响应矩阵图,找到两层金字塔的线性内存的访问入口,获取每一个角度对应的识别特征;
从所述存储子模块中获取第一个模板图的两层金字塔对应的识别特征的数据,同时获取图像信息第二层金字塔线性内存数据容器内8个方向的相似度响应矩阵图,根据第二层金字塔识别特征的信息找到对应方向的线性内存数据容器的访问入口,通过计算得到的模板图位置范围信息迭代循环以及MIPP累加计算相应位置的相似度,得到第一个模板图第二层金字塔单一识别特征的匹配相似度矩阵,遍历第一个模板图第二层金字塔所有识别特征,得到第二层金字塔匹配相似度矩阵数据集,再将匹配相似度矩阵数据集内的数据转化为100进制,获得每一个匹配相似度矩阵的得分,将得分数小于阈值的匹配相似度矩阵去除。
相似度计算单元用于对图像信息以及识别特征进行匹配,获取图像信息与每一个角度的识别特征的匹配得分,判断最高的匹配得分是否大于阈值,若大于,则判所述图像信息中目标芯片的焊接面非面向传输履带,同时获取最高的匹配得分对应的模板作为坐标选定模板。
将所述调用单元留下第二层金字塔的识别特征的位置选取在第一层金字塔所对应的识别特征位置,选取第一层金字塔目标检测图的8个方向的某个方向的线性相似度矩阵图,并找到第一层金字塔线性内存数据容器内8个方向的相似度响应矩阵图,根据第一层金字塔识别特征的信息找到对应方向的线性内存数据容器的访问入口,通过计算得到的模板图位置范围信息迭代循环以及MIPP累加计算相应位置的相似度,得到第一个模板图第一层金字塔单一识别特征的匹配相似度矩阵,遍历第一个模板图第一层金字塔所有识别特征,得到第一层金字塔匹配相似度矩阵数据集,再将匹配相似度矩阵数据集内的数据转化为100进制,获得每一个匹配相似度矩阵的得分,综合模板图第一层金字塔和第二层金字塔识别特征的得分,记为匹配得分;
其中,匹配得分的计算方式如下:
Figure BDA0003694353800000171
其中,Q为输入的图像信息,T表示模板图,c是模板图在输入的图像信息的位置,P代表的是以c为中心的领域,r为偏移位置,o为识别特征,ε(Q,T,c)为匹配得分。
在本申请中的实施例中,通过获取模板图中识别特征来计算图像信息与模板图相似度的得分,即匹配得分。当匹配得分大于阈值时,则判所述图像信息中目标芯片的焊接面非面向传输履带,因为所述模板图是以焊接面作为训练的基础,当目标芯片面向传输履带时,所述模板图识别的图像信息为焊接面的背面,所述焊接面的背面上的识别特征的点位置与焊接面上识别特征点的位置不一样,所以可以通过匹配得分来控制识别的结果。
优选的,所述包括目标芯片提取子模块、识别特征关联子模块以及旋转平移子模块;
所述目标芯片提取子模块用于以亚像素点的方式将目标芯片的边框从所述图形信息中进行提取,得到目标边框,并将所述目标边框发送给所述识别特征关联子模块;
在一个实施例中,获取目标边框的实施过程如下:
通过Canny算子收集图像信息中目标芯片的边缘点集,对边缘点集进行二元二次多项式拟合,通过facet模型求解二元二次多项式,得到Hessian矩阵,对Hessian矩阵求解到边缘点集的特征值和特征向量,在通过泰勒展开式对特征值进行求导,得出边缘点集的亚像素,通过目标芯片的目标边框进行提取。通过Canny算子实现检测目标芯片的边缘点集,随后拟合二元二次多项式,利用facet模型求解系数,得到Hessian矩阵,由此求解到特征值和特征向量,特征向量即为第二识别点的方向矢量,再有泰勒展开式求导,结合点方向矢量,求得相应亚像素点,如此循环求得相应亚像素点集和方向矢量点集,保存在kdtree数据结构体相应位置。通过构建KDTree算法,将kdtree数据结构中的亚像素点集和方向矢量点集存储顺序与KDTree树的叶子节点建立关联,即改变原先的亚像素和点方向矢量的在数据结构中的存储顺序。另外本申请中提取边缘的亚像素点,对目标芯片进行提取。亚像素的边缘点更加能提高边缘的清晰度,提取的目标芯片会更加精准,而目标边框上的边缘点或者特征点也会更加精准。
所述识别特征关联子模块用于按照比例将目标边框上的识别特征以及其余识别特征组合成第一识别点,根据第一识别点找出所述模板图上与所述第一识别点所对应的第二识别点;
获取所有第一识别点与与其对应第二识别点之间的距离,判断所有第一识别特征点与与其对应第二识别点之间的距离是否大于距离阈值,若满足,则获取满足距离阈值第一识别特征的数量,并判断数量是否满足第一数量阈值,若满足,则向所述旋转平移子模块发出修正指令;
本发明的一个实施例中以3:7的比例获取目标边框上的识别特征以及其余识别特征组合成第一识别点,其中其余识别特征为非目标边缘上的识别特征,此比例能够减少挑出目标边框的识别特征以及其余识别特征的时间,同时大量的其余识别特征能够保证模板位姿修正的精准度。
获取第一识别点与第二识别点的方式如下:获取第一识别点的切线,对第一识别点的切线做垂线,该垂线连接所述第二识别点,计算所述垂线的长度,所述垂线的长度为所述第一识别点与第二识别点之间的距离。
随后获取关联后一一对应的第一识别点与第二识别点的距离,并判断该距离是否大于距离阈值。只有当大于距离阈值时,才能说明,目标芯片的位姿与模板图的位姿相差大,需要对模板图的位姿进行修正。获取完所有满足距离阈值的第一识别点与第二识别点后,统计第一识别点与第二识别点的数量,当该数量是否满足数量阈值后才对模板进行修正。因为第一识别点与第二识别点虽然是相互关联在位姿上是对应的,但是有可能所述第一识别点为目标边框上的旋转边缘点,而相关联第二识别点边缘点在位姿上只是相接近的,不能旋转边缘点是不能和边缘点完全重合的。所以当模板图修正位姿接近目标芯片后,该类的第一识别特征点与第二识别特征点还是满足距离阈值的要求。如果单纯只采用距离阈值来判断是否需要进行模板位姿修改的话,会模板图的位姿会一直进行修正,浪费系统的运行资源。
所述旋转平移子模块接收所述修正指令,并将所述第一识别点与第二识别点代入至变化矩阵中,修正模板图的位姿,得到修正后的模板图,在修正后的模板图上获取焊接坐标。
其中,变化矩阵包括平移矩阵以及旋转矩阵;
首先将第一识别点的坐标与第二识别点的坐标代入下面的公式(1)中:
Figure BDA0003694353800000201
其中R为旋转矩阵,
Figure BDA0003694353800000202
为平移矩阵,qi和pi分别为相关联的第一识别特征点与第二识别特征点的坐标,ni为特征向量,i为大于1的自然整数,ε为变化矩阵;
随后获取第一识别点与第二识别点中最小的偏转的角度r,将最小的偏转角度r代入到下面公式(2)中,计算得到旋转矩阵R的最小值,其中公式(2)如下所示:
Figure BDA0003694353800000203
将旋转矩阵R的最小值代回至公式(1)中,得到公式(3):;
Figure BDA0003694353800000204
其中ci=pi×ni
对公式(3)求偏导,并转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y,其过程如下:
偏导公式四如下:
Figure BDA0003694353800000211
Figure BDA0003694353800000212
Figure BDA0003694353800000213
转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y的过程如下:
Figure BDA0003694353800000214
由于模板图与焊接点的坐标存在有固定的关系,当得到修正后的模板图后,可以通过修正后模板图与焊接点的固定关系获取得到焊接点的具体坐标。
例如某个焊接点为(1,1),所述模板图进行了0.1的水平平移以及0的旋转,此时焊接点的坐标为(1.1,1)。
优选的,所述焊接坐标提取模块还包括验证子模块;
所述验证子模块用于获取当前模板图位姿的修改次数以及所有第一识别点与第二识别点之间的距离,并判断修正后的模板图上满足距离阈值的第二识别点数量以及模板图的修正次数;
当满足距离阈值的第二识别点数量小于第二数量阈值且模板图修正次数小于次数阈值,则使用上一次变化矩阵对变化矩阵进行更新,继续发出修正指令,对模板图继续修正,直到满足距离阈值的第二识别点数量大于第二数量阈值或模板图修正次数等于次数阈值。
在本发明还设置所述次数阈值用于终结模板图修正才次数,由于在算法上,模板图的位姿只能无限接近目标零件的位姿,在有限次修正后,模板的位姿已经非常接近目标图像的位姿,可以视为模板图与目标零件重叠。在模板图上提取的点也能非常接近目标图像对应点。再对模板图的位姿进行修正就是浪费内存资源。由于本申请运用于2d图像中,模板图与目标图像之间存在线型关系,所以本申请的理论算法为AX=B,X为线型关系,即变化矩阵。在进行一次位姿修正后,所述ε=*ε,使用当前的ε乘以上一次的ε,对变化举证进行更新,以提高变化矩阵对于该模板图位姿修正的精准度。
一种基于坐标焊接的工业机器人控制方法,应用于所述一种基于坐标焊接的工业机器人控制系统,所述系统包括划分为多个范围区域的传输履带,每一个范围区域内均设置有工业机器人,所述工业机器人包括相互电联接的多个功能机械臂与图像获取设备,所述功能机械臂包括夹取机械臂以及焊接机械臂,所述方法包括以下步骤:
步骤S1:图像获取设备获取同一批次进入传输履带的目标芯片焊接点的焊接坐标,并将所有目标芯片的焊接坐标发送给工业机器人;
步骤S2:工业机器人对焊接坐标以及预设的范围区域,统计每一个范围区域内的焊接坐标数量,判断当前范围区域内焊接坐标数量是否超出数量阈值,若超出,则获取超出部分的坐标个数,在当前范围区域内选择与超出部分的坐标个数相等数量的焊接坐标,并标记为剔除坐标;
步骤S3:所述搬运机械臂接收所述剔除坐标,当所述剔除坐标落入到所述搬运机械臂的工作范围内时,所述搬运机械臂对目标芯片进行搬运;
所述焊接机械臂接收所述焊接坐标,当所述焊接坐标落入到所述焊接机械臂的工作范围内时,所述焊接机械臂对目标芯片的焊接点进行焊接。
优选的,所述步骤S3中:
所述搬运机械臂还用于获取传输履带的运动速度,并根据所述传输履带的运动速度对剔除坐标的X轴坐标进行更新。
优选的,所述步骤S3中:
所述焊接机械臂还用于获取传输履带的运动速度,并根据所述传输履带的运动速度对焊接坐标的X轴坐标进行更新。
优选的,所述步骤S1包括如下步骤:
步骤S11:图像获取设备拍摄包含有同一批次进入传输履带的目标芯片的图像信息;
步骤S12:使用多个不同角度的模板图对图像信息进行识别,判断当前目标芯片的焊接面是否面向传输履带,若焊接面面向传输履带,则以该目标芯片的中心点为剔除坐标,若焊接面非面向传输履带,将并获取出与该目标芯片匹配得分最高的模板图作为坐标选定模板图,将所述选定模板图发送给所述焊接坐标提取模块;
步骤S13:对坐标选定模板图执行旋转和位移,直到所述坐标选定模板图与所述目标芯片的重合度满足阈值,从所述坐标选定模板图中选取焊接点的焊接坐标。
优选的,所述步骤S12中使用多个不同角度的模板图对图像信息进行识别的具体步骤如下:
步骤A1:制作多个模板图,其中每一个模板图对应一个不同的整数角度;
步骤A2:对多个模板图进行第一层金字塔方向梯度量化以及第二层金字塔方向梯度量化,分别获得多个模板图所对应的识别特征,以当前角度为表列获取所述识别特征,并进行保存;
步骤A3:存储不同角度表列中的所有识别特征;
步骤A4:对图像信息进行梯度提取和量化,创建两层金字塔线性内存数据容器,将图像信息线遍历两层金字塔的数据;
步骤A5:对图像信息量化梯度进行4*4的范围内按位平移,得到的16张图逐像素做或操作,得到梯度扩散后图像信息的扩散梯度矩阵图;
所述相似度响应矩阵图获取单元用于通过与操作,将图像信息的扩散梯度矩阵图转换为前四个方向和后四个方向的梯度矩阵图,通过预设的查找表,找出各个梯度矩阵图角度与查找表中各个角度的最大相似度,其中所述查找表为预先计算好的8个方向的各种组合的表;
得到某方向的相似度响应矩阵图,由于所述扩散梯度矩阵图有8个方向,故获取8个相似度响应矩阵图,将所有的相似度响应矩阵图转成16阶或64阶的格式进行线性化存储在连续的所述线性内存数据容器内;
步骤A6:用所述存储模块中的两层金字塔,并根据8个相似度响应矩阵图,找到两层金字塔的线性内存的访问入口,获取每一个角度对应的识别特征;
步骤A7:对图像信息以及识别特征进行匹配,获取图像信息与每一个角度的识别特征的匹配得分,判断最高的匹配得分是否大于阈值,若大于,则判所述图像信息的内容为目标零件,获取最高的匹配得分对应的模板作为坐标选定模板;
其中,匹配得分的计算方式如下:
Figure BDA0003694353800000241
其中,Q为输入的图像信息,T表示模板图,c是模板图在输入的图像信息的位置,P代表的是以c为中心的领域,r为偏移位置,o为识别特征。
优选的,所述步骤S13中对坐标选定模板图执行旋转和位移的具体步骤如下:
步骤B1:以亚像素点的方式将目标零件的边框从所述图形信息中进行提取,得到目标边框;
步骤B2:按照比例将目标边框上的识别特征以及其余识别特征组合成第一识别点,根据第一识别点找出所述模板图上与所述第一识别点所对应的第二识别点;
获取所有第一识别点与与其对应第二识别点之间的距离,判断所有第一识别特征点与与其对应第二识别点之间的距离是否大于距离阈值,若满足,则获取满足距离阈值第一识别特征的数量,并判断数量是否满足第一数量阈值,若满足,则进行模板图修正;
步骤B3:并将所述第一识别点与第二识别点代入至变化矩阵中,修正模板图的位姿,得到修正后的模板图,其中变化矩阵的计算过程如下:
将第一识别点的坐标与第二识别点的坐标代入下面的公式(1)中:
Figure BDA0003694353800000251
其中R为旋转矩阵,
Figure BDA0003694353800000252
为平移矩阵,qi和pi分别为相关联的第一识别特征点与第二识别特征点的坐标,ni为特征向量,i为大于1的自然整数;
随后获取第一识别点与第二识别点中最小的偏转的角度r,将最小的偏转角度r代入到下面公式(2)中,计算得到旋转矩阵R的最小值,其中公式(2)如下所示:
Figure BDA0003694353800000253
将旋转矩阵R的最小值代回至公式(1)中,得到公式(3):;
Figure BDA0003694353800000261
对公式(3)求偏导,并转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y,其过程如下:
偏导公式四如下:
Figure BDA0003694353800000262
Figure BDA0003694353800000263
Figure BDA0003694353800000264
转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y的过程如下:
Figure BDA0003694353800000265
优选的,所述步骤S2中直到所述坐标选定模板图与所述目标零件的重合度满足阈值的具体步骤如下:
步骤B4:获取当前模板图位姿的修改次数以及所有第一识别点与第二识别点之间的距离,并判断修正后的模板图上满足距离阈值的第二识别点数量以及模板图的修正次数;
当满足距离阈值的第二识别点数量小于第二数量阈值且模板图修正次数小于次数阈值,则使用上一次变化矩阵对变化矩阵进行更新,继续对模板图继续修正,直到满足距离阈值的第二识别点数量大于第二数量阈值或模板图修正次数等于次数阈值。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于坐标焊接的工业机器人控制系统,其特征在于,所述系统包括工业机器人和划分有多个范围区域的传输履带,所述工业机器人包括相互电联接的多个功能机械臂与图像信息处理模块,每一个范围区域内均设置有功能机械臂;
所述图像信息处理模块包括坐标信息采集模块、区域规划模块以及控制指令发出模块;
所述坐标信息采集模块用于获取同一批次进入传输履带的所有目标芯片焊接点的焊接坐标,并将所有目标芯片的焊接坐标发送给所述区域规划模块;
所述区域规划模块用于根据焊接坐标以及预设的范围区域,统计每一个范围区域内的焊接坐标数量;
判断当前范围区域内焊接坐标数量是否超出数量阈值,若超出,则获取超出部分的坐标个数,在当前范围区域内选择与超出部分的坐标个数相等数量的焊接坐标,并标记为剔除坐标,并根据所述剔除坐标生成搬运控制指令;
所述控制指令发出模块用于根据焊接坐标生成焊接指令,将焊接指令和搬运控制指令发送给所述功能机械臂;
所述功能机械臂包括接收模块、搬运机械臂以及焊接机械臂;
所述接收模块用于接收并解析所述焊接指令和搬运指令,得到剔除坐标以及焊接坐标;
将所述剔除坐标发送给对应范围区域的所述搬运机械臂;
将所述焊接坐标发送给对应范围区域的所述焊接机械臂;
所述搬运机械臂用于接收所述剔除坐标,当所述剔除坐标落入到所述搬运机械臂的工作范围内时,所述搬运机械臂对剔除坐标的目标芯片搬运传输履带;
所述焊接机械臂接收所述焊接坐标,当所述焊接坐标落入到所述焊接机械臂的工作范围内时,所述焊接机械臂对目标芯片的焊接点进行焊接。
2.根据权利要求1所述的一种基于坐标焊接的工业机器人控制系统,其特征在于,所述搬运机械臂还用于获取传输履带的运动速度,并根据所述传输履带的运动速度对剔除坐标的X轴坐标进行更新。
3.根据权利要求1所述的一种基于坐标焊接的工业机器人控制系统,其特征在于,所述焊接机械臂还用于获取传输履带的运动速度,并根据所述传输履带的运动速度对焊接坐标的X轴坐标进行更新。
4.根据权利要求2所述的一种基于坐标焊接的工业机器人控制系统,其特征在于,还包括目标芯片提取子模块、识别特征关联子模块以及旋转平移子模块;
所述目标芯片提取子模块用于以亚像素点的方式将目标芯片的边框从所述图形信息中进行提取,得到目标边框,并将所述目标边框发送给所述识别特征关联子模块;
所述识别特征关联子模块用于按照比例将目标边框上的识别特征以及其余识别特征组合成第一识别点,根据第一识别点找出所述模板图上与所述第一识别点所对应的第二识别点;
获取所有第一识别点与与其对应第二识别点之间的距离,判断所有第一识别特征点与与其对应第二识别点之间的距离是否大于距离阈值,若满足,则获取满足距离阈值第一识别特征的数量,并判断数量是否满足第一数量阈值,若满足,则向所述旋转平移子模块发出修正指令;
所述旋转平移子模块接收所述修正指令,并将所述第一识别点与第二识别点代入至变化矩阵中,修正模板图的位姿,得到修正后的模板图,在修正后的模板图上获取焊接坐标。
5.根据权利要求4所述的一种基于坐标焊接的工业机器人控制系统,其特征在于,所述焊接坐标提取模块还包括验证子模块;
所述验证子模块用于获取当前模板图位姿的修改次数以及所有第一识别点与第二识别点之间的距离,并判断修正后的模板图上满足距离阈值的第二识别点数量以及模板图的修正次数;
当满足距离阈值的第二识别点数量小于第二数量阈值且模板图修正次数小于次数阈值,则使用上一次变化矩阵对变化矩阵进行更新,继续发出修正指令,对模板图继续修正,直到满足距离阈值的第二识别点数量大于第二数量阈值或模板图修正次数等于次数阈值。
6.一种基于坐标焊接的工业机器人控制方法,应用于权利要求1~5所述一种基于坐标焊接的工业机器人控制系统,其特征在于,所述系统包括划分为多个范围区域的传输履带,每一个范围区域内均设置有工业机器人,所述工业机器人包括相互电联接的多个功能机械臂与图像获取设备,所述功能机械臂包括夹取机械臂以及焊接机械臂,所述方法包括以下步骤:
步骤S1:图像获取设备获取同一批次进入传输履带的目标芯片焊接点的焊接坐标,并将所有目标芯片的焊接坐标发送给工业机器人;
步骤S2:工业机器人对焊接坐标以及预设的范围区域,统计每一个范围区域内的焊接坐标数量,判断当前范围区域内焊接坐标数量是否超出数量阈值,若超出,则获取超出部分的坐标个数,在当前范围区域内选择与超出部分的坐标个数相等数量的焊接坐标,并标记为剔除坐标;
步骤S3:所述搬运机械臂接收所述剔除坐标,当所述剔除坐标落入到所述搬运机械臂的工作范围内时,所述搬运机械臂对目标芯片进行搬运;
所述焊接机械臂接收所述焊接坐标,当所述焊接坐标落入到所述焊接机械臂的工作范围内时,所述焊接机械臂对目标芯片的焊接点进行焊接。
7.根据权利要求6所述的一种基于坐标焊接的工业机器人控制方法,其特征在于,所述步骤S3中:
所述搬运机械臂还用于获取传输履带的运动速度,并根据所述传输履带的运动速度对剔除坐标的X轴坐标进行更新。
8.根据权利要求7所述的一种基于坐标焊接的工业机器人控制方法,其特征在于,所述步骤S3中:
所述焊接机械臂还用于获取传输履带的运动速度,并根据所述传输履带的运动速度对焊接坐标的X轴坐标进行更新。
9.根据权利要求8所述的一种基于坐标焊接的工业机器人控制方法,其特征在于,所述步骤S13中对坐标选定模板图执行旋转和位移的具体步骤如下:
步骤B1:以亚像素点的方式将目标零件的边框从所述图形信息中进行提取,得到目标边框;
步骤B2:按照比例将目标边框上的识别特征以及其余识别特征组合成第一识别点,根据第一识别点找出所述模板图上与所述第一识别点所对应的第二识别点;
获取所有第一识别点与与其对应第二识别点之间的距离,判断所有第一识别特征点与与其对应第二识别点之间的距离是否大于距离阈值,若满足,则获取满足距离阈值第一识别特征的数量,并判断数量是否满足第一数量阈值,若满足,则进行模板图修正;
步骤B3:并将所述第一识别点与第二识别点代入至变化矩阵中,修正模板图的位姿,得到修正后的模板图,其中变化矩阵的计算过程如下:
将第一识别点的坐标与第二识别点的坐标代入下面的公式(1)中:
Figure FDA0003694353790000051
其中R为旋转矩阵,
Figure FDA0003694353790000052
为平移矩阵,qi和pi分别为相关联的第一识别特征点与第二识别特征点的坐标,ni为特征向量,i为大于1的自然整数;
随后获取第一识别点与第二识别点中最小的偏转的角度r,将最小的偏转角度r代入到下面公式(2)中,计算得到旋转矩阵R的最小值,其中公式(2)如下所示:
Figure FDA0003694353790000053
将旋转矩阵R的最小值代回至公式(1)中,得到公式(3):;
Figure FDA0003694353790000054
其中ci=pi×ni
对公式(3)求偏导,并转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y,其过程如下:
偏导公式四如下:
Figure FDA0003694353790000055
Figure FDA0003694353790000056
Figure FDA0003694353790000057
转化为线型方程求出最小偏转的角度r、最小的水平偏移量x和最小垂直偏移量y的过程如下:
Figure FDA0003694353790000061
10.根据权利要求9所述的一种基于坐标焊接的工业机器人控制方法,其特征在于,所述步骤S2中直到所述坐标选定模板图与所述目标零件的重合度满足阈值的具体步骤如下:
步骤B4:获取当前模板图位姿的修改次数以及所有第一识别点与第二识别点之间的距离,并判断修正后的模板图上满足距离阈值的第二识别点数量以及模板图的修正次数;
当满足距离阈值的第二识别点数量小于第二数量阈值且模板图修正次数小于次数阈值,则使用上一次变化矩阵对变化矩阵进行更新,继续对模板图继续修正,直到满足距离阈值的第二识别点数量大于第二数量阈值或模板图修正次数等于次数阈值。
CN202210669673.0A 2022-06-14 2022-06-14 一种基于坐标焊接的工业机器人控制方法以及系统 Active CN115026823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210669673.0A CN115026823B (zh) 2022-06-14 2022-06-14 一种基于坐标焊接的工业机器人控制方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210669673.0A CN115026823B (zh) 2022-06-14 2022-06-14 一种基于坐标焊接的工业机器人控制方法以及系统

Publications (2)

Publication Number Publication Date
CN115026823A true CN115026823A (zh) 2022-09-09
CN115026823B CN115026823B (zh) 2023-01-17

Family

ID=83124154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210669673.0A Active CN115026823B (zh) 2022-06-14 2022-06-14 一种基于坐标焊接的工业机器人控制方法以及系统

Country Status (1)

Country Link
CN (1) CN115026823B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117260083A (zh) * 2023-07-13 2023-12-22 广州富士汽车整线集成有限公司 焊接控制方法以及相关的汽车加工系统和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3621891A (en) * 1969-01-27 1971-11-23 Solbern Corp Machine and method for transferring predetermined amounts of material
US5069155A (en) * 1987-09-24 1991-12-03 Convac Gmbh Apparatus for in-line lacquering of compact disks
EP2774728A2 (en) * 2013-03-05 2014-09-10 Kabushiki Kaisha Yaskawa Denki Robotic system comprising a robot attached to a ceiling and including a plurality of arms
CN106743405A (zh) * 2017-01-26 2017-05-31 达尔嘉(广州)标识设备有限公司 一种对离散式物品的定量按需分配方法及装置、补差分配方法
CN106892265A (zh) * 2016-06-14 2017-06-27 温州港源电子有限公司 弹片的运送装置
CN210162595U (zh) * 2018-11-15 2020-03-20 上海快仓智能科技有限公司 移动仓储机器人和仓储系统
CN111127559A (zh) * 2019-12-26 2020-05-08 深圳市瑞立视多媒体科技有限公司 光学动捕系统中标定杆检测方法、装置、设备和存储介质
CN112091438A (zh) * 2020-09-27 2020-12-18 广东拓斯达科技股份有限公司 一种镭射加工系统及其工作方法
CN113386131A (zh) * 2021-06-01 2021-09-14 江苏科瑞恩自动化科技有限公司 一种全自动测试搬运系统及其控制方法
CN113618169A (zh) * 2021-07-19 2021-11-09 东莞市劲力机电科技有限公司 一种空心螺栓具有孔径测量功能的加工设备
CN114161424A (zh) * 2021-12-24 2022-03-11 广东天太机器人有限公司 一种scara机器人动态制动的控制方法及控制系统
CN114355953A (zh) * 2022-03-18 2022-04-15 深圳市朗宇芯科技有限公司 一种基于机器视觉的多轴伺服系统的高精度控制方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3621891A (en) * 1969-01-27 1971-11-23 Solbern Corp Machine and method for transferring predetermined amounts of material
US5069155A (en) * 1987-09-24 1991-12-03 Convac Gmbh Apparatus for in-line lacquering of compact disks
EP2774728A2 (en) * 2013-03-05 2014-09-10 Kabushiki Kaisha Yaskawa Denki Robotic system comprising a robot attached to a ceiling and including a plurality of arms
CN106892265A (zh) * 2016-06-14 2017-06-27 温州港源电子有限公司 弹片的运送装置
CN106743405A (zh) * 2017-01-26 2017-05-31 达尔嘉(广州)标识设备有限公司 一种对离散式物品的定量按需分配方法及装置、补差分配方法
CN210162595U (zh) * 2018-11-15 2020-03-20 上海快仓智能科技有限公司 移动仓储机器人和仓储系统
CN111127559A (zh) * 2019-12-26 2020-05-08 深圳市瑞立视多媒体科技有限公司 光学动捕系统中标定杆检测方法、装置、设备和存储介质
CN112091438A (zh) * 2020-09-27 2020-12-18 广东拓斯达科技股份有限公司 一种镭射加工系统及其工作方法
CN113386131A (zh) * 2021-06-01 2021-09-14 江苏科瑞恩自动化科技有限公司 一种全自动测试搬运系统及其控制方法
CN113618169A (zh) * 2021-07-19 2021-11-09 东莞市劲力机电科技有限公司 一种空心螺栓具有孔径测量功能的加工设备
CN114161424A (zh) * 2021-12-24 2022-03-11 广东天太机器人有限公司 一种scara机器人动态制动的控制方法及控制系统
CN114355953A (zh) * 2022-03-18 2022-04-15 深圳市朗宇芯科技有限公司 一种基于机器视觉的多轴伺服系统的高精度控制方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡小静: "自动分拣鸡蛋平台智能控制系统研究", 《自动分拣鸡蛋平台智能控制系统研究 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117260083A (zh) * 2023-07-13 2023-12-22 广州富士汽车整线集成有限公司 焊接控制方法以及相关的汽车加工系统和存储介质
CN117260083B (zh) * 2023-07-13 2024-03-19 广州富士汽车整线集成有限公司 焊接控制方法以及相关的汽车加工系统和存储介质

Also Published As

Publication number Publication date
CN115026823B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN113524194B (zh) 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN115008093B (zh) 一种基于模板识别的多焊接点焊接机器人控制系统及方法
CN110315525A (zh) 一种基于视觉引导的机器人工件抓取方法
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN110560373B (zh) 一种多机器人协作分拣运输方法及系统
WO1993015376A1 (en) System for recognizing and tracking target mark, and method therefor
CN115026823B (zh) 一种基于坐标焊接的工业机器人控制方法以及系统
CN108907526A (zh) 一种具有高鲁棒性的焊缝图像特征识别方法
CN114751153B (zh) 一种全角度的多模板码垛系统
CN113276106A (zh) 一种攀爬机器人空间定位方法及空间定位系统
CN113146172A (zh) 一种基于多视觉的检测与装配系统及方法
CN112561886A (zh) 一种基于机器视觉的工件自动分拣方法及系统
CN112348890B (zh) 一种空间定位方法、装置及计算机可读存储介质
CN111311691A (zh) 拆垛机器人拆垛方法及系统
CN115131268A (zh) 一种基于图像特征提取与三维模型匹配的自动化焊接系统
CN112381783A (zh) 一种基于红色线激光的焊缝轨迹提取方法
CN110852265B (zh) 一种应用在工业流水线上的快速目标检测和定位方法
CN115582827A (zh) 一种基于2d和3d视觉定位的卸货机器人抓取方法
CN114986051B (zh) 一种基于模板识别的工业机器人焊接控制系统及方法
Han et al. Target positioning method in binocular vision manipulator control based on improved canny operator
CN115026822B (zh) 一种基于特征点对接的工业机器人控制系统及方法
CN110533717A (zh) 一种基于双目视觉的目标抓取方法及装置
CN115049860A (zh) 一种基于特征点识别的系统及抓取方法
CN115082509A (zh) 一种对无特征目标的追踪方法
CN116529760A (zh) 抓取控制方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant