CN112548527A - 一种基于多相机视觉伺服的动态轴孔装配的装置和方法 - Google Patents

一种基于多相机视觉伺服的动态轴孔装配的装置和方法 Download PDF

Info

Publication number
CN112548527A
CN112548527A CN202011423448.6A CN202011423448A CN112548527A CN 112548527 A CN112548527 A CN 112548527A CN 202011423448 A CN202011423448 A CN 202011423448A CN 112548527 A CN112548527 A CN 112548527A
Authority
CN
China
Prior art keywords
robot
assembly
assembling
hole
driving shaft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011423448.6A
Other languages
English (en)
Inventor
王斐
任百明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou Wuzhixinchuang Intelligent Technology Co ltd
Original Assignee
Yangzhou Wuzhixinchuang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou Wuzhixinchuang Intelligent Technology Co ltd filed Critical Yangzhou Wuzhixinchuang Intelligent Technology Co ltd
Priority to CN202011423448.6A priority Critical patent/CN112548527A/zh
Publication of CN112548527A publication Critical patent/CN112548527A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/02—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for connecting objects by press fit or for detaching same
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于多相机视觉伺服的动态轴孔装配的装置及方法，其属于机电一体化领域。所述的动态轴孔装配装置包括机械部分和控制部分；机械部分包括操作平台、装配机器人、工具法兰、主动轴支架、主动轴、相机云台、线性导轨、装配孔、装配平台和三脚架，所述的装配机器人和线性导轨固定于操作平台上；所述的线性导轨会带动装配平台进行线性运动，所述的装配平台会带动待装配孔线性运动；控制部分包括主控机、机器人控制器、深度相机；所述的动态轴孔装配装置可以自动的识别运动的装配孔与主动轴的位置偏差，并且依靠视觉伺服控制器自动调整位置偏差，从而实现对于移动装配孔的动态轴孔装配，能够胜任更加高效的自动化装配。

Description

一种基于多相机视觉伺服的动态轴孔装配的装置和方法
技术领域
本发明属于机电一体化领域，具体涉及一种基于多相机视觉伺服的动态轴孔装配的装置和方法。
背景技术
在工业生产中，高效的自动化装配尤为重要，也是亟需改善的问题。在制造业中，大量机器人装配任务可以归结为机器人轴孔装配问题。比如，在3D产品装配过程中，需要将一些零部件放入到设置的卡槽内等。装配的效率可以直接影响整个工业生产的效率，进而降低装配成本。
较早的研究者Newman在其文章[W.S.Newman,Y.Zhao,and Y.Pao,“Interpretation of force and moment signals for compliant peg-in-holeassembly”],采用力传感器进行扫描搜索的方法来定位装配孔的位置，从而避免初始装配孔位置的不确定性。但是这种方法的搜索速度缓慢，难以应用于动态装配。最近，研究者Triyonoputro在文章[J.C.Triyonoputro,W.Wan,and K.Harada,“Quickly insertingpegs into uncertain holes using multi-view images and deep network trained onsynthetic data”],提出一种基于学习的视觉伺服方法，这种方法可以快速移动轴接近装配孔的位置。研究结果展示了所提出的方法可以极大提高对于大的初始位置不确定的装配孔的搜索效率。然而这一方法在最后阶段采用了扫描搜索的方法，它很难实现对于孔的连续跟踪。
公开号CN102218652B的专利中提出了一种利用机器人的柔顺性完成轴孔装配的方法，这种方法依靠增大位置环的增益来完成，可以实现对装配孔移动情况下的轴孔装配作业，但是依靠夹持机构完成轴的插入，在夹持过程中存在较大的误差。公开号CN106584093A的专利中提出一种工业机器人自我装配的系统及方法，这种依靠视觉和力觉完成轴孔装配操作，虽然可以实现高精度装配，但是力反馈信息不断调整位姿的过程难以应对移动装配孔的装配过程。
在所有这些任务中，一个共同的主题是机器人的手臂操纵静止的装配孔。对于静态装配孔的操作已经进行了广泛的研究。然而，对于移动装配孔的轴孔装配操作对整个系统的各个部分提出了新的挑战-包括移动装配孔的动态位置不确定性。
目前，在一些动态装配的过程中，由于很难实现连续装配孔的定位和跟踪，所以只能通过停止装配孔的移动来对静态的装配孔进行轴孔装配任务。
发明内容
本发明的一个目的在于提供一种对于移动装配孔，将轴插入装配孔的装置。
本发明所采用的技术方案为：一种基于多相机视觉伺服的动态轴孔装配的装置，包括机械部分和控制部分；
机械部分包括操作平台、装配机器人、工具法兰、主动轴支架、主动轴、相机云台、线性导轨、装配孔、装配平台和三脚架，所述的装配机器人和线性导轨固定于操作平台上；所述的装配平台固定在线性导轨上，所述的线性导轨带动装配平台进行线性运动；所述的装配孔放置在装配平台上，所述的装配平台带动装配孔线性运动；所述的装配机器人工作端安装有工具法兰，所述的主动轴通过主动轴支架安装在工具法兰上；所述的三角架位于操作平台的前方；
控制部分包括主控机、机器人控制器、深度相机A、深度相机B；主控机与机器人控制器通过网线连接，两个深度相机与主控机通过串口连接，深度相机B被固定安装在三脚架上，深度相机A通过相机云台固定安装在工具法兰上；
主控机内设有基于图像视觉伺服控制器、基于位置视觉伺服控制器、轨迹规划模块、机器人运动控制器、装配策略转换模块、以太网通讯模块；机器人运动控制器内设有电气模块、以太网通讯模块、示教器，主控机内的以太网通讯模块和机器人运动控制器内的以太网通讯模块通过TCP协议连接；基于图像视觉伺服控制器内设有图像处理模块、视觉伺服模块；基于位置视觉伺服控制器内设有图像处理模块、DDPG网络模块。
轨迹规划模块，用于规划机器人运动轨迹；机器人运动控制器，用于进行机器人的运动学及动力学相关计算，获得机器人各个关节的运动速度和角度；装配策略转换模块，根据轴与装配孔的位置差，进行装配策略的切换；主控机内的以太网通讯模块，用于完成以太网通信工作，包括与机器人运动控制器的通信工作；电气模块，构建了各个模块的电气连接和运转；机器人运动控制器内的以太网通讯模块，用于完成以太网通信相关工作；图像处理模块，用于采集来自深度相机的图像信息，并将深度相机采集到图片进行处理；视觉伺服模块用于将处理后的图片数据转换成机器人关节速度及角度；DDPG网络模块用于进行精确对准算法的网络训练。
本发明的另一个目的在于提供一种基于多相机视觉伺服的动态轴孔装配的方法，通过上述装置执行如下步骤：
步骤a1：将装配孔放置在装配平台上，启动线性导轨，使装配孔跟随装配平台同时运动；由于装配平台是在线性导轨上固定连接，进而线性导轨的运转带动装配平台的运动，使装配孔可以跟随装配平台一起做线性运动，构建装配孔的动态轴孔装配场景；
步骤a2：装配机器人末端的深度相机A(3)结合图像处理算法识别并获取装配孔的中心位置坐标，设置期望的中心位置坐标，并将中心位置坐标差作为基于图像视觉伺服控制器输入，计算得到装配机器人关节速度和角度的变化，然后发送给机器人控制器，控制机器人运动；然后利用图像处理算法，以设定频率实时获取装配孔的中心位置坐标，构建闭环反馈的装配机器人运动控制，逐渐缩小中心位置坐标差，完成轴与装配孔的粗略对准；
步骤a3：进行步骤a2装配机器人的控制器进行粗对准过程中，引导主动轴向装配孔靠近；当主动轴遮挡装配孔，导致图像处理产生位置误差，从而影响对准效果，这时将对准相机转换到外部三脚架上的深度相机B；
步骤a4：置于三脚架上的深度相机B采集彩色图像，利用目标跟踪算法，实时获取移动装配孔与主动轴的位置差，并将该位置差传送到DDPG网络输入端进行模型训练，利用训练好的模型作为精确对准算法，通过此算法计算得到装配机器人关节速度和角度的变化，缩小移动装配孔与主动轴的位置差；然后发送给机器人控制器，控制机器人运动，最后利用图像处理算法，以设定频率实时获取移动装配孔与主动轴的位置差，构建闭环反馈的装配机器人运动控制，逐渐缩小装配孔与主动轴的位置差，完成主动轴与装配孔的精确对准；
步骤a5：设置精确对准精度阈值，当主动轴和移动装配孔的对准精度小于设置的阈值后，发送电信号，启动主动轴，完成最后的插入操作。
优选地，步骤a2中的粗略对准算法的具体步骤为：
步骤b1：通过深度相机A，以设定频率从视频流获取单一帧的深度图像；
步骤b2：深度图像经过阈值处理，去除大量的背景干扰；然后利用基于行程的连通域查找算法过滤剩下的干扰像素，最后将待装配孔从相对复杂的背景中分割出来，经过像素投影处理获得在图像坐标系下的中心点坐标；
步骤b3：设置期望的装配孔的中心点坐标以及粗略对准阈值误差；
步骤b4：将计算得到采集到的装配孔的中心点坐标与期望的中心点坐标做差作为视觉伺服控制器的输入；
步骤b5：通过基于图像视觉伺服控制器，将中心坐标差值转化为装配机器人各关节的速度和角度；
步骤b6：利用以太网通信，将得到装配机器人各关节速度和角度传送给机器人控制器；
步骤b7：通过机器人控制器控制装配机器人运动，使期望的装配孔的中心坐标与实际采集获得装配孔的中心点坐标的差值逐渐减小，使装配机器人末端的主动轴靠近移动的装配孔；
步骤b8：重复上述b1到b7，从而实现动态跟随移动装配孔的运动，进而不断缩小主动轴与移动装配孔的位置差，当位置差小于设定的粗略对准阈值误差后，转换到精确对准的过程。
优选地，步骤a4中精确对准算法具体步骤为：
步骤c1：通过深度相机B，以设定频率从视频流获取单一帧的彩色图像，首先利用目标跟踪算法在第一帧图像以矩形边界框的形式标出装配机器人末端主动轴与移动装配孔；
步骤c2：利用目标跟踪算法在后面连续帧中得到主动轴与装配孔相应地坐标(x0，y0，width0，height0)，(x1，y1，width1，height1)；坐标代表对应边界框左上角地坐标以及边界框地宽和高；
步骤c3：计算主动轴与装配孔间的坐标差值s1，s2，其中s1＝(x0+weigh0/2)-(x1+weigh1/2)，s2＝dz＝(y0+height0/2)-(y1+height1/2)；
步骤c4：把坐标差值作为s1，s2作为DDPG网络的输入，进行模型训练，网络的输出代表装配机器人末端主动轴在两个方向的位移量，通过模型训练可以获得精确对准的算法参数；
步骤c5：模型训练完成后，再次利用目标跟踪算法在后面连续帧中得到两个物体相应地坐标差值，通过精确对准算法，将坐标差值转化为装配机器人末端主动轴在两个方向的位移量；
步骤c6：利用以太网通信，将得到装配机器人在两个方向的位移量传送给机器人控制器；
步骤c7：通过机器人控制器控制装配机器人运动，缩小装配机器人末端主动轴与移动装配孔的坐标差值，使装配机器人末端的主动轴靠近移动的装配孔。
步骤c8：重复上述c5到c7，不断缩小装配机器人末端主动轴与移动装配孔的坐标差值，当坐标差小于设定的精确对准阈值坐标差值后，精确对准完成。
优选地，步骤c1和c2中目标跟踪算法为KCF目标跟踪算法具体步骤为：
步骤d1：通过深度相机获取视频信息，启动KCF目标跟踪算法并在第一帧标出目标位置；
步骤d2：对目标位置区域提取特征，并于汉宁窗相乘得到目标模板；
步骤d3：通过高斯核转换到傅里叶域内，计算目标在当前帧中的位置；
步骤d4：根据目标位置计算新的目标模板；
步骤d5：通过高斯核映射到傅里叶域内，计算并更新参数与模板；
步骤d6：输出目标位置，并开始计算下一帧；
步骤d7：确定roi区域，并进行特征提取；
步骤d8：根据模板生成汉宁窗口；
步骤d9：通过特征与汉宁窗相乘得到目标模板，并根据模板生成高斯矩阵；
步骤d10：重复步骤d5；
步骤d11：若为最后一帧则结束，若非最后一帧，则重复步骤d7-d10；
优选地，步骤c4中利用DDPG网络进行模型训练具体步骤为：
步骤e1：把坐标差值作为s1，s2作为DDPG网络的输入，网络输出为a1,a2，它们代表装配机器人末端在两个方向上的位移量；
步骤e2：将每次移动的最大步长设置为1mm，使网络能够及时获得对准的信息，也加快了网络的收敛速度；
步骤e3：设距离阈值，当小于距离阈值时，便认为已经对准，给与正奖励，反之则给予一个与距离相关的负奖励；
步骤e4：当连续50次对准后，则给予一个大奖励，同时装配机器人运动至随机位置，网络结束当前回合，进入下一回合训练；
步骤e5：根据操作平台实际情况，限定了装配机器人的工作空间，减少无谓的装配机器人运动障碍问题或无效的工作空间所带来的训练时间的冗长。记忆空间设置为5000，回合数为300，每回合最多执行400步；
步骤e6：经过300回合的训练后，获得了网络训练模型的参数，可以用于在线的精确对准操作。
本发明的有益之处在于，本发明通过利用视觉伺服算法+DDPG网络模型训练的方法，完成了多相机的动态轴孔装配操作，一方面它可以避免单相机视觉伺服动态装配带来的遮挡问题和特征丢失；另一方面它可以克服移动孔带来的动态位置不确定性的问题，达到高效动态装配的目的。本发明的特点在于：
a)通过装配机器人末端的深度相机结合图像处理算法定位移动装配孔的中心位置，然后利用视觉伺服算法获得装配机器人各个关节角度和速度变化，引导装配机器人靠近移动的孔，从而完成粗略的对准操作这样可以降低对深度相机的定位精度和机器人操作精度的要求。
b)利用DDPG网络模块结合KCF目标跟踪算法进行强化学习的模型训练，这样可以更加柔顺的控制装配机器人的运动，并赋予装配机器人一定的自主学习能力，可以提高装配机器人对非结构化环境的适应性。
c)利用多相机视觉伺服的策略，可以有效解决移动装配孔所带来的动态轴孔位置的不确定性，从而为动态轴孔装配提供一种高效可靠的解决方案。
附图说明
图1为本发明实施例中提供的基于多相机视觉伺服的动态轴孔装配的装置的结构示意图；
图2为本发明实施例中提供的基于多相机视觉伺服的动态轴孔装配的整体流程图；
图3为本发明实施例中提供的基于多相机视觉伺服的动态轴孔装配的控制器的模块化图；
图4为本发明实施例中提供的基于多相机视觉伺服的动态轴孔装配策略流程图；
图5为本发明实施例中提供的基于多相机视觉伺服的动态轴孔装配的粗略对准算法流程图；
图6为本发明实施例中提供的基于多相机视觉伺服的动态轴孔装配的精确对准算法中KCF目标跟踪算法流程图；
图7为本发明实施例中提供的基于多相机视觉伺服的动态轴孔装配的DDPG网络模型训练图；
图中：1装配机器人；2工具法兰；3深度相机A；4装配孔；5装配平台；6主动轴；7相机云台；8主动轴支架；9操作平台；10线性导轨；11深度相机B；12三脚架；13主控机；14电缆；15网线；16机器人控制器。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，现将图1中所示的主动轴6装入装配平台5上装配孔4中为具体实施例，对本发明的具体实施方式做进一步的详细说明。
如图1、2所示，动态轴孔装配装置包括机械部分和控制部分；
机械部分包括操作平台9、装配机器人1、工具法兰2、主动轴支架8、主动轴6、相机云台7、三脚架12、线性导轨10、装配孔4和装配平台5；控制部分包括主控机13、机器人控制器16、深度相机A3和深度相机B11；
所述的操作平台9和固定于操作平台上的线性导轨10以及装配机器人1，所述的线性导轨10上设有装配平台5，所述的装配平台上设有待装配孔4；系统工作时，所述的线性导轨会带动装配平台5进行线性运动，所述的装配平台5会带动待装配孔4进行线性运动；所述的装配机器人1的末端设有工具法兰2，所述的工具法兰2左侧设有与其相连的主动轴支架8，所述的主动轴支架设有与其相连的主动轴6；所述的工具法兰2的右侧设有相机云台7，所述的相机云台7设有与其相连的深度相机A3；在操作平台9的前方设有一个三脚架12，在三脚架12设有与其相连的深度相机B11；在操作平台的右边设有主控机13，所述的主控机13设有与其相连网线15，所述网线15将主控机13与机器人控制箱16相连，所述的机器人控制器16设有与其相连的电缆14，所述电缆14将装配机器人1与机器人控制箱16相连。
如图3所示，主控机内设有基于图像视觉伺服控制器、基于位置的视觉伺服控制器、轨迹规划模块、机器人运动控制模块、装配策略转换模块、以太网通讯模块；基于图像视觉伺服控制器内设有图像处理模块、视觉伺服模块；基于位置视觉伺服控制器内设有图像处理模块、DDPG网络模块；机器人控制器内设有示教器、电气模块、以太网通讯模块；主控机内的以太网通讯模块和机器人控制箱内的以太网通讯模块通过TCP协议连接。
如图4所示，装配机器人1末端主动轴6插入装配平台5上装配孔4的步骤为：
步骤a1：将待装配孔4放置在装配平台5上，使装配孔4可以跟随装配平台5同时运动；然后上电，带动线性导轨10运转，由于装配平台5是在线性导轨10上固定连接，进而线性导轨10的运转带动装配平台5的运动，使装配孔4可以跟随装配平台5一起做线性运动，这样便可以实现一个装配孔4的动态轴孔装配场景构建；
步骤a2：装配机器人1末端的深度相机A3结合图像处理算法识别并获取装配孔4的中心位置坐标，设置装配孔4期望的中心位置坐标，将实时获取的中心位置坐标与期望的中心位置坐标做差后得到中心位置坐标差，将该中心位置坐标差作为基于图像视觉伺服控制器输入，计算得到装配机器人1关节速度和角度的变化，然后发送给机器人控制器，控制机器人运动；然后利用图像处理算法，以一定频率实时获取装配孔4的中心位置坐标，构建一个闭环反馈的装配机器人1运动控制，逐渐的缩小装配孔4中心位置坐标差，这一过程可以完成轴与装配孔的粗略对准。
步骤a3：装配机器人1的控制器进行粗对准过程中，引导主动轴6向装配孔4不断靠近；但是当足够近时，主动轴6会遮挡装配孔4的部分图像，导致图像处理产生位置误差，从而影响对准效果，这时将对准深度相机A 3转换到外部三脚架上的深度相机B 11。
步骤a4：置于三脚架12上的深度相机B11采集彩色图像，利用KCF目标跟踪算法，实时获取移动装配孔4与主动轴6的位置差，并将该位置差传送到DDPG网络输入端进行模型训练，利用训练好的模型作为精确对准算法，通过此算法计算得到装配机器人1关节速度和角度的变化，来缩小移动装配孔4与主动轴6的位置差。然后发送给机器人控制器，控制机器人运动，最后利用图像处理算法，以一定频率实时获取移动装配孔4与主动轴6的位置差，构建一个闭环反馈的装配机器人1运动控制，逐渐移动装配孔4与主动轴6的位置差，这一过程可以完成主动轴4与装配孔6的精确对准。
步骤a5：设置精确对准精度阈值，当主动轴6和移动装配孔4的对准精度小于设置的阈值后，发送电信号，启动主动轴6，完成最后的插入操作。
如图5所示，所述步骤a2中粗略对准算法具体步骤为：
步骤b1：通过深度相机A 3，以一定的频率从视频流获取单一帧的深度图像；
步骤b2：从深度图像入手，经过阈值处理，去除大量的背景干扰。然后利用基于行程的连通域查找算法过滤剩下的干扰像素，最后将待装配孔4从相对复杂的背景中分割出来，经过像素投影处理获得在图像坐标系下的中心点坐标；
步骤b3：设置期望的装配孔4的中心点坐标以及粗略对准阈值误差；
步骤b4：将计算得到采集到的装配孔4的中心点坐标与期望的中心点坐标做差作为基于图像视觉伺服控制器的输入；
步骤b5：通过基于图像视觉伺服控制器，将中心坐标差值转化为装配机器人1各个关节的速度和角度；
步骤b6：利用以太网通信，将得到装配机器人1各个关节速度和角度传送给机器人控制器；
步骤b7：通过机器人控制器控制装配机器人1运动，使期望的装配孔4的中心坐标与实际采集获得装配孔4的中心点坐标的差值逐渐减小，使装配机器人1末端的主动轴6靠近移动装配孔4。
步骤b8：重复上述b1到b7，从而实现动态跟随移动装配孔4的运动，进而不断缩小主动轴与移动装配孔4的位置差，当位置差小于设定的粗略对准阈值误差后，转换到精确对准的过程。
所述步骤a4中精确对准算法具体步骤为：
步骤c1：通过深度相机B11，以一定的频率从视频流获取单一帧的彩色图像，首先利用KCF目标跟踪算法在第一帧图像以矩形边界框的形式标出装配机器人1末端主动轴6与移动装配孔4；
步骤c2：利用KCF目标跟踪算法在后面连续帧中得到主动轴6与装配孔4相应地坐标(x0，y0，width0，height0)，(x1，y1，width1，height1)；坐标代表对应边界框左上角地坐标以及边界框地宽和高。
步骤c3：计算主动轴与装配孔之间的坐标差值s1，s2，其中s1＝(x0+weigh0/2)-(x1+weigh1/2)，s2＝dz＝(y0+height0/2)-(y1+height1/2)
步骤c4：把s1，s2的坐标差值作为DDPG网络的输入，进行模型训练，网络的输出代表装配机器人1末端主动轴6在两个方向的位移量，通过模型训练可以获得精确对准的算法参数；
步骤c5：模型训练完成后，再次利用KCF目标跟踪算法在后面连续帧中得到两个物体相应地坐标差值，通过精确对准算法，将坐标差值转化为装配机器人1末端主动轴6在两个方向的位移量；
步骤c6：利用以太网通信，将得到装配机器人1在两个方向的位移量传送给机器人控制器；
步骤c7：通过机器人控制器控制装配机器人1运动，缩小装配机器人1末端主动轴6与移动装配孔4的坐标差值，使装配机器人1末端的主动轴6靠近移动的装配孔4。
步骤c8：重复上述c5到c7，不断缩小装配机器人1末端主动轴6与移动装配孔4的坐标差值，当坐标差小于设定的精确对准阈值坐标差值后，精确对准完成。
如图6所示，利用KCF目标跟踪算法，以边界框的形式完成对装配机器人1末端主动轴6与移动装配孔4的坐标计算。
所述步骤c1和c2中KCF目标跟踪算法具体步骤为：
步骤d1：通过深度相机获取视频信息，启动KCF目标跟踪算法并在第一镇标出目标位置；
步骤d2：对目标位置区域提取特征，并于汉宁窗相乘得到目标模板；
步骤d3：通过高斯核转换到傅里叶域内，计算目标在当前帧中的位置；
步骤d4：根据目标位置计算新的目标模板；
步骤d5：通过高斯核映射到傅里叶域内，计算并更新参数与模板；
步骤d6：输出目标位置，并开始计算下一帧；
步骤d7：确定roi区域，并进行特征提取；
步骤d8：根据模板生成汉宁窗口；
步骤d9：通过特征与汉宁窗相乘得到目标模板，并根据模板生成高斯矩阵；
步骤d10：重复步骤d5；
步骤d11：若为最后一帧则结束，若非最后一帧，则重复步骤d7-d10；
如图7所示，利用DDPG算法，建立多线程并行训练任务，每个任务学习X轴和Y轴方向上装配机器人1的控制指令，并使用实时获得的动作值来调整装配机器人1。
步骤c4中利用DDPG网络进行模型训练具体步骤为：
步骤e1：把坐标差值作为s1，s2作为DDPG网络的输入，网络输出为a1,a2，它们代表装配机器人1末端在两个方向上的位移量；
步骤e2：将每次移动的最大步长设置为1mm，使网络能够及时获得对准的信息，也加快了网络的收敛速度；
步骤e3：设计了距离阈值，当小于这个距离时，便认为已经对准，给与正奖励，反之则给予一个与距离相关的负奖励；
步骤e4：当连续50次对准后，则给予一个大奖励，同时装配机器人1运动至随机位置，网络结束当前回合，进入下一回合训练；
步骤e5：根据操作平台实际情况，限定了装配机器人1的工作空间，减少无谓的装配机器人1运动障碍问题或无效的工作空间所带来的训练时间的冗长。记忆空间设置为5000，回合数为300，每回合最多执行400步；
步骤e6：经过300回合的训练后，获得了网络训练模型的参数，可以用于在线的精确对准操作；
为了凸显本发明方案的高效性，使用了两种不同的方法，包括基于图像的视觉伺服方案和自己的方案，针对于同一个装配孔4，启动线性导轨10，使线性导轨10的运转带动装配平台5的运动，在30次实验后，记录了两种方法的对准成功率以及主动轴6插入装配孔4的成功率。
表1本发明实施例中提供的基于图像视觉伺服与基于多相机视觉伺服两种方案在动态轴孔装配中装配成功率
方法 实验次数 配准成功率 插入成功率
基于图像视觉伺服 30 23.34％ 16.67％
本发明 30 70.00％ 66.67％
如表1所示，发现基于图像的视觉伺服在30次的动态装配实验中，对准成功率为23.34％，插入成功率为16.67％。相比较而言。提出的方案在30次的动态装配实验中，可以实现70.00％的对准成功率以及66.67％的插入成功率。主要原因在于的方案可以有效的解决基于图像的视觉伺服在动态装配中存在的特征遮挡和丢失的问题。可以发现本发明的方案相对于之前的方案可以显著地提高动态轴孔装配的效率。
应当理解的是，上述针对本发明实施的描述较为详细，并不能因此而认为是对本发明保护范围的限制，本发明的专利保护范围应以所附权利要求书为准。

Claims (6)

1.一种基于多相机视觉伺服的动态轴孔装配的装置，包括机械部分和控制部分，其特征在于：
机械部分包括操作平台(9)、装配机器人(1)、工具法兰(2)、主动轴支架(8)、主动轴(6)、相机云台(7)、线性导轨(10)、装配孔(4)、装配平台(5)和三脚架(12)，所述的装配机器人(1)和线性导轨(10)固定于操作平台(9)上；所述的装配平台(5)固定在线性导轨(10)上，所述的线性导轨(10)带动装配平台(5)进行线性运动；所述的装配孔(4)放置在装配平台上，所述的装配平台(5)带动装配孔(4)线性运动；所述的装配机器人(1)工作端安装有工具法兰(2)，所述的主动轴(6)通过主动轴支架(8)安装在工具法兰(2)上；所述的三角架(12)位于操作平台(9)的前方；
控制部分包括主控机(13)、机器人控制器(16)、深度相机A(3)、深度相机B(11)；主控机(13)与机器人控制器(16)通过网线连接，两个深度相机与主控机(13)通过串口连接，深度相机B(11)被固定安装在三脚架(12)上，深度相机A(3)通过相机云台(7)固定安装在工具法兰(2)上；
主控机(13)内设有基于图像视觉伺服控制器、基于位置视觉伺服控制器、轨迹规划模块、机器人运动控制器、装配策略转换模块、以太网通讯模块；机器人运动控制器内设有电气模块、以太网通讯模块、示教器，主控机内的以太网通讯模块和机器人运动控制器内的以太网通讯模块通过TCP协议连接；基于图像视觉伺服控制器内设有图像处理模块、视觉伺服模块；基于位置视觉伺服控制器内设有图像处理模块、DDPG网络模块；
轨迹规划模块，用于规划机器人运动轨迹；机器人运动控制器，用于进行机器人的运动学及动力学相关计算，获得机器人各个关节的运动速度和角度；装配策略转换模块，根据轴与装配孔的位置差，进行装配策略的切换；主控机内的以太网通讯模块，用于完成以太网通信工作，包括与机器人运动控制器的通信工作；电气模块，构建了各个模块的电气连接和运转；机器人运动控制器内的以太网通讯模块，用于完成以太网通信相关工作；图像处理模块，用于采集来自深度相机的图像信息，并将深度相机采集到图片进行处理；视觉伺服模块用于将处理后的图片数据转换成机器人关节速度及角度；DDPG网络模块用于进行精确对准算法的网络训练。
2.一种基于多相机视觉伺服的动态轴孔装配的方法，其特征在于，包括步骤如下：
步骤a1：将装配孔放置在装配平台上，启动线性导轨，使装配孔跟随装配平台同时运动；构建装配孔的动态轴孔装配场景；
步骤a2：装配机器人末端的深度相机A(3)结合图像处理算法识别并获取装配孔的中心位置坐标，设置期望的中心位置坐标，并将中心位置坐标差作为基于图像视觉伺服控制器输入，计算得到装配机器人关节速度和角度的变化，然后发送给机器人控制器，控制机器人运动；然后利用图像处理算法，以设定频率实时获取装配孔的中心位置坐标，构建闭环反馈的装配机器人运动控制，逐渐缩小中心位置坐标差，完成轴与装配孔的粗略对准；
步骤a3：进行步骤a2装配机器人的控制器进行粗对准过程中，当主动轴遮挡装配孔，这时将对准相机转换到外部三脚架上的深度相机B(11)；
步骤a4：置于三脚架上的深度相机B(11)采集彩色图像，利用目标跟踪算法，实时获取移动装配孔与主动轴的位置差，并将该位置差传送到DDPG网络输入端进行模型训练，利用训练好的模型作为精确对准算法，通过此算法计算得到装配机器人关节速度和角度的变化，缩小移动装配孔与主动轴的位置差；然后发送给机器人控制器，控制机器人运动，最后利用图像处理算法，以设定频率实时获取移动装配孔与主动轴的位置差，构建闭环反馈的装配机器人运动控制，逐渐缩小装配孔与主动轴的位置差，完成主动轴与装配孔的精确对准；
步骤a5：设置精确对准精度阈值，当主动轴和移动装配孔的对准精度小于设置的阈值后，发送电信号，启动主动轴，完成最后的插入操作。
3.根据权利要求2所述的基于多相机视觉伺服的动态轴孔装配的方法，其特征在于，步骤a2中的粗略对准算法的具体步骤为：
步骤b1：通过深度相机A(3)，以设定频率从视频流获取单一帧的深度图像；
步骤b2：深度图像经过阈值处理，去除大量的背景干扰；然后利用基于行程的连通域查找算法过滤剩下的干扰像素，最后将待装配孔从相对复杂的背景中分割出来，经过像素投影处理获得在图像坐标系下的中心点坐标；
步骤b3：设置期望的装配孔的中心点坐标以及粗略对准阈值误差；
步骤b4：将计算得到采集到的装配孔的中心点坐标与期望的中心点坐标做差作为视觉伺服控制器的输入；
步骤b5：通过基于图像视觉伺服控制器，将中心坐标差值转化为装配机器人各关节的速度和角度；
步骤b6：利用以太网通信，将得到装配机器人各关节速度和角度传送给机器人控制器；
步骤b7：通过机器人控制器控制装配机器人运动，使期望的装配孔的中心坐标与实际采集获得装配孔的中心点坐标的差值逐渐减小，使装配机器人末端的主动轴靠近移动的装配孔；
步骤b8：重复上述b1到b7，从而实现动态跟随移动装配孔的运动，进而不断缩小主动轴与移动装配孔的位置差，当位置差小于设定的粗略对准阈值误差后，转换到精确对准的过程。
4.根据权利要求书2或3所述的基于多相机视觉伺服的动态轴孔装配的方法，其特征在于，步骤a4中精确对准算法具体步骤为：
步骤c1：通过深度相机B(11)，以设定频率从视频流获取单一帧的彩色图像，首先利用目标跟踪算法在第一帧图像以矩形边界框的形式标出装配机器人末端主动轴与移动装配孔；
步骤c2：利用目标跟踪算法在后面连续帧中得到主动轴与装配孔相应地坐标(x0,y0,width0,height0),(x1,y1,width1,height1)；坐标代表对应边界框左上角地坐标以及边界框地宽和高；
步骤c3：计算主动轴与装配孔之间的坐标差值s1，s2，其中s1＝(x0+weigh0/2)-(x1+weigh1/2)，s2＝dz＝(y0+height0/2)-(y1+height1/2)；
步骤c4：把坐标差值作为s1，s2作为DDPG网络的输入，进行模型训练，网络的输出代表装配机器人末端主动轴在两个方向的位移量，通过模型训练我们获得精确对准的算法参数；
步骤c5：模型训练完成后，再次利用目标跟踪算法在后面连续帧中得到两个物体相应地坐标差值，通过精确对准算法，将坐标差值转化为装配机器人末端主动轴在两个方向的位移量；
步骤c6：利用以太网通信，将得到装配机器人在两个方向的位移量传送给机器人控制器；
步骤c7：通过机器人控制器控制装配机器人运动，缩小装配机器人末端主动轴与移动装配孔的坐标差值，使装配机器人末端的主动轴靠近移动的装配孔；
步骤c8：重复上述c5到c7，不断缩小装配机器人末端主动轴与移动装配孔的坐标差值，当坐标差小于设定的精确对准阈值坐标差值后，精确对准完成。
5.根据权利要求书4所述的基于多相机视觉伺服的动态轴孔装配的方法，其特征在于，步骤c1和c2中目标跟踪算法为KCF目标跟踪算法，具体步骤为：
步骤d1：通过深度相机获取视频信息，启动KCF目标跟踪算法并在第一帧标出目标位置；
步骤d2：对目标位置区域提取特征，并于汉宁窗相乘得到目标模板；
步骤d3：通过高斯核转换到傅里叶域内，计算目标在当前帧中的位置；
步骤d4：根据目标位置计算新的目标模板；
步骤d5：通过高斯核映射到傅里叶域内，计算并更新参数与模板；
步骤d6：输出目标位置，并开始计算下一帧；
步骤d7：确定roi区域，并进行特征提取；
步骤d8：根据模板生成汉宁窗口；
步骤d9：通过特征与汉宁窗相乘得到目标模板，并根据模板生成高斯矩阵；
步骤d10：重复步骤d5；
步骤d11：若为最后一帧则结束，若非最后一帧，则重复步骤d7-d10。
6.根据权利要求书4所述的基于多相机视觉伺服的动态轴孔装配的方法，其特征在于，步骤c4中利用DDPG网络进行模型训练具体步骤为：
步骤e1：把坐标差值作为s1，s2作为DDPG网络的输入，网络输出为a1,a2，代表装配机器人末端在两个方向上的位移量；
步骤e2：将每次移动的最大步长设置为1mm；
步骤e3：设距离阈值，当小于距离阈值时，认为已经对准，给与正奖励，反之则给予一个与距离相关的负奖励；
步骤e4：当连续50次对准后，则给予一个大奖励，同时装配机器人运动至随机位置，网络结束当前回合，进入下一回合训练；
步骤e5：根据操作平台实际情况，限定装配机器人的工作空间，设定回合数；
步骤e6：经过设定回合的训练后，获得网络训练模型的参数，用于在线的精确对准操作。
CN202011423448.6A 2020-12-08 2020-12-08 一种基于多相机视觉伺服的动态轴孔装配的装置和方法 Withdrawn CN112548527A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011423448.6A CN112548527A (zh) 2020-12-08 2020-12-08 一种基于多相机视觉伺服的动态轴孔装配的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011423448.6A CN112548527A (zh) 2020-12-08 2020-12-08 一种基于多相机视觉伺服的动态轴孔装配的装置和方法

Publications (1)

Publication Number Publication Date
CN112548527A true CN112548527A (zh) 2021-03-26

Family

ID=75059692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011423448.6A Withdrawn CN112548527A (zh) 2020-12-08 2020-12-08 一种基于多相机视觉伺服的动态轴孔装配的装置和方法

Country Status (1)

Country Link
CN (1) CN112548527A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112894827A (zh) * 2021-02-25 2021-06-04 中国科学院长春光学精密机械与物理研究所 一种机械臂运动控制方法、系统、装置及可读存储介质
CN115338610A (zh) * 2022-07-04 2022-11-15 中国科学院自动化研究所 双轴孔装配方法、装置、电子设备和存储介质
WO2023272529A1 (zh) * 2021-06-29 2023-01-05 西门子（中国）有限公司 动态装配方法、装置和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112894827A (zh) * 2021-02-25 2021-06-04 中国科学院长春光学精密机械与物理研究所 一种机械臂运动控制方法、系统、装置及可读存储介质
WO2023272529A1 (zh) * 2021-06-29 2023-01-05 西门子（中国）有限公司 动态装配方法、装置和系统
CN115338610A (zh) * 2022-07-04 2022-11-15 中国科学院自动化研究所 双轴孔装配方法、装置、电子设备和存储介质
CN115338610B (zh) * 2022-07-04 2024-02-13 中国科学院自动化研究所 双轴孔装配方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN112548527A (zh) 一种基于多相机视觉伺服的动态轴孔装配的装置和方法
CN107618030B (zh) 基于视觉的机器人动态跟踪抓取方法及系统
CN107901041B (zh) 一种基于图像混合矩的机器人视觉伺服控制方法
CN103406905B (zh) 一种具有视觉伺服及检测功能的机器人系统
CN105607651B (zh) 一种快速的视觉引导对位系统及方法
CN107300100B (zh) 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法
EP4013578A1 (en) Robot-mounted moving device, system, and machine tool
CN106044570A (zh) 一种采用机器视觉的钢卷吊自动识别装置和方法
CN104325268A (zh) 一种基于智能学习的工业机器人三维空间自主装配方法
CN110842918B (zh) 一种基于点云伺服的机器人移动加工自主寻位方法
CN113319859B (zh) 一种机器人示教方法、系统、装置及电子设备
CN111805547B (zh) 一种轨迹动态跟踪实现方法
CN114519738A (zh) 一种基于icp算法的手眼标定误差修正方法
CN111993422B (zh) 基于无标定视觉的机器人轴孔对准控制方法
CN112677159A (zh) 一种基于视觉定位的机械手作业路径规划方法及装置
CN114851209A (zh) 一种基于视觉的工业机器人工作路径规划优化方法及系统
CN107177912A (zh) 一种带视觉的自动落纱机控制系统
JP2007171018A (ja) 物体位置認識方法及び物体位置認識装置
CN116079732A (zh) 基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法
CN113009878A (zh) 一种基于单目视觉的运动工件姿态估计方法及装置
Ito et al. Visual tracking of a hand–eye robot for a moving target object with multiple feature points: translational motion compensation approach
CN111113394A (zh) 机械手定位方法
CN117047787B (zh) 基于双目结构光视觉的水轮机顶盖在位机器人编程方法
CN114782533B (zh) 一种基于单目视觉的线缆盘轴位姿确定方法
CN115837701B (zh) 一种具备自动识别功能的盾构管片自动精抹面控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210326