CN117396301A - 动态装配方法、装置和系统 - Google Patents
动态装配方法、装置和系统 Download PDFInfo
- Publication number
- CN117396301A CN117396301A CN202180098485.0A CN202180098485A CN117396301A CN 117396301 A CN117396301 A CN 117396301A CN 202180098485 A CN202180098485 A CN 202180098485A CN 117396301 A CN117396301 A CN 117396301A
- Authority
- CN
- China
- Prior art keywords
- assembly
- reference point
- workpiece
- dynamic
- mechanical arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010330 laser marking Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Manipulator (AREA)
Abstract
本发明提供了动态装配方法、装置和系统，其中，包括如下步骤：S1，根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点，并根据所述动态装配的装配操作及其操作空间匹配机械臂和摄像头；S2，同步所述AGV小车和所述夹持装置，并参照所述参考点同步机械臂末端和装配对象上的装配工件；S3，通过视觉追踪所述参考点，通过比例积分微分算法来纠正所述参考点和所述装配工件的位置误差和角度误差，从而对所述机械臂末端和所述装配工件执行同步；S4，基于视觉追踪所述参考点和自适应力控的调整执行卡尔曼滤波器多传感器融合，从而计算出机械臂末端的速度和位置以对所述装配工件执行装配操作。本发明特别适用于汽车总装装配，并且精确成本低。
Description
本发明涉及机器人控制领域，尤其涉及一种动态装配方法、装置和系统。
随着机器人技术的发展，越来越多机器人工站在汽车生产中应用。汽车生产能被分为4个主要工站，包括压、焊接、喷涂和装配。其中，机器人已经在上述压、焊接、喷涂和装配中广泛应用。
在最后装配工站，与其他三个工站相比，大部分任务更加灵活和复杂。复杂任务的其中之一是为了装配汽车部件到车体上，其中，车身是移动的。这种任务通常用人工完成。工人在装配过程中站在AGV小车上执行装配工作，这种对人工来说很难且很繁重。在装配过程中，工程师必须向外观察障碍物并且面对车体的底部，这非常费力。并且，装配需要准确度并且响应改变的环境。为了提高产量，AGV沿着移动的夹持设备移动。
发明内容
本发明第一方面提供了动态装配方法，其中，所述动态装配方法由放置在AGV小车上的机器人执行，所述机器人具有机械臂，机械臂上装配有装配工具，所述动态装配的装配对象通过一个夹持工具固定，其中，包括如下步骤：S1，根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点，并根据所述动态装配的装配操作及其操作空间匹配机械臂和摄像头；S2，同步所述AGV小车和所述夹持装置，并参照所述参考点同步机械臂末端和装配对象上的装配工件；S3，通过视觉追踪所述参考点，通过比例积分微分算法来纠正所述参考点和所述装配工件的位置误差和角度误差，从而对所述机械臂末端和所述装配工件执行同步；S4，基于视觉追踪所述参考点和自适应力控的调整执行卡尔曼滤波器多传感器融合，从而计算出机械臂末端的速度和位置以对所述装配工件执行装配操作。
进一步地，所述机械臂上装配的装配工具为螺丝刀电钻，所述装配操作 为拧螺丝操作。
进一步地，当无法根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点时，所述动态装配方法还包括如下步骤：则设置一个激光投影机于所述AGV小车或者所述机器人上，以利用激光向装配对象投射激光参考点。
进一步地，所述AGV小车和所述夹持装置基于磁性导航、二维码指示或者激光导航来执行同步。
进一步地，所述位置偏差为：
e
x，y＝x
0，xy-x
x，y，
其中，x
0，xy为装配工件的坐标位置，x
x，y为根据参考点和装配工件的相对位置视觉识别的推算出的装配工件位置。
进一步地，所述角度偏差为：
e
rz＝x
0，rz-x
rz，
其中，x
0，rz为装配工件的角度，x
rz为根据参考点和装配工件的相对角度视觉识别的推算出的装配工件角度。
进一步地，所述机械臂末端的速度为：
所述机械臂沿着Z轴的旋转角速度为：
其中，所述Mat
rotation为当前状态量旋转矩阵，K
p为比例积分微分算法的比例系数，K
i为积分系数。
进一步地，所述机械臂上设置有力矩传感器，所述矩传感器获得的外部的力为：
其中，M
d、D
d和K
d为预设量。
进一步地，所述卡尔曼滤波器多传感器融合为：
其中，x为目标位置，i为不同传感器的下标，x
i代表视觉或者力控传感器的估计量，k为卡尔曼增益。其中，A(k)和C(i，k+1)均为单位矩阵。
本发明第二方面提供了动态装配系统，所述动态装配系统包括AGV小车以及放置在AGV小车上的机器人，所述机器人具有机械臂，机械臂上装配有装配工具，所述动态装配的装配对象通过一个夹持工具固定，其中，包括：处理器；以及与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被处理器执行时使所述电子设备执行动作，所述动作包括：S1，根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点，并根据所述动态装配的装配操作及其操作空间匹配机械臂和摄像头；S2，同步所述AGV小车和所述夹持装置，并参照所述参考点同步机械臂末端和装配对象上的装配工件；S3，通过视觉追踪所述参考点，通过比例积分微分算法来纠正所述参考点和所述装配工件的位置误差和角度误差，从而对所述机械臂末端和所述装配工件执行同步；S4，基于视觉追踪所述参考点和自适应力控的调整执行卡尔曼滤波器多传感器融合，从而计算出机械臂末端的速度和位置以对所述装配工件执行装配操作。
进一步地，所述机械臂上装配的装配工具为螺丝刀电钻，所述装配操作为拧螺丝操作。
进一步地，当无法根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点时，所述动作还包括：设置一个激光投影机于所述AGV小车或者所述机器人上，以利用激光向装配对象投射激光参考点。
进一步地，所述AGV小车和所述夹持装置基于磁性导航、二维码指示或者激光导航来执行同步。
进一步地，所述位置偏差为：
e
x，y＝x
0，xy-x
x，y，
其中，x
0，xy为装配工件的坐标位置，x
x，y为根据参考点和装配工件的相对位置视觉识别的推算出的装配工件位置。
进一步地，所述角度偏差为：
e
rz＝x
0，rz-x
rz，
其中，x
0，rz为装配工件的角度，x
rz为根据参考点和装配工件的相对角度视 觉识别的推算出的装配工件角度。
进一步地，所述机械臂末端的速度为：
所述机械臂沿着Z轴的旋转角速度为：
其中，所述Mat
rotation为当前状态量旋转矩阵，K
p为比例积分微分算法的比例系数，K
i为积分系数。
进一步地，所述机械臂上设置有力矩传感器，所述矩传感器获得的外部的力为：
其中，M
d、D
d和K
d为预设量。
进一步地，所述卡尔曼滤波器多传感器融合为：
其中，x为目标位置，i为不同传感器的下标，x
i代表视觉或者力控传感器的估计量，k为卡尔曼增益。其中，A(k)和C(i，k+1)均为单位矩阵。
本发明第三方面提供了动态装配装置，其中，所述动态装配装置用于控制放置在AGV小车上的机器人执行装配操作，所述机器人具有机械臂，机械臂上装配有装配工具，所述动态装配的装配对象通过一个夹持工具固定，所述动态装配装置包括：定位配置装置，其根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点，并根据所述动态装配的装配操作及其操作空间匹配机械臂和摄像头；同步装置，其同步所述AGV小车和所述夹持装置，并参照所述参考点同步机械臂末端和装配对象上的装配工件；视觉追踪装置，其通过视觉追踪所述参考点，通过比例积分微分算法来纠正所述参考点和所述装配工件的位置误差和角度误差，从而对所述机械臂末端和所述装配工件执行同步；融合装置，其基于视觉追踪所述参考点和自适应力控的调整执行 卡尔曼滤波器多传感器融合，从而计算出机械臂末端的速度和位置以对所述装配工件执行装配操作。
本发明第四方面提供了计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行根据本发明第一方面所述的方法。
本发明第五方面提供了计算机可读介质，其上存储有计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行根据本发明第一方面所述的方法。
本发明提供的动态装配机制特别适用于汽车总装装配，其利用了AGV、机器人和视觉技术来执行动态装配，并且成本低。并且，动态装配的精确度和速度能够满足要求。其中，AGV小车和夹持装置的同步操作能够确保没有大的位置和速度变化。视觉追踪使得装配有操作工具的机器人能够准确地接近装配对象，即使实在很小的位置和速度变化下也能够执行。最终的自适应力控和视觉追踪的融合能够使得动态装配操作更加精确。
图1是根据本发明一个具体实施例的参考点定位示意图；
图2是根据本发明一个具体实施例的动态装配方法的步骤流程图；
图3是根据本发明一个具体实施例的动态装配方法的卡尔曼滤波器多传感器融合示意图。
以下结合附图，对本发明的具体实施方式进行说明。
本发明提供了一种动态装配的灵活可定制方案，特别适用于在汽车的装配工站。本发明利用AGV上放置具有机械臂的机器人，并通过视觉识别来判断机械臂末端和装配工件的相互位置，以及通过视觉和自适应的力控做卡尔曼滤波器传感器融合来执行相应的装配操作。
本发明的架构包括三个部分：夹持装置、放置了机器人的AGV小车和辅助装置。具体地，所述夹持装置特别地为抱具，当应用场景为汽车生产线时，总装的工厂顶部具有抱具轨道，抱具能够在上方沿着轨道夹持着待装配的汽车滑动。其中，AGV小车上放置有一个机器人，机器人具有机械臂，机械臂 末端上设置有装配所需的工具，例如螺丝刀电钻，上述工具能够在机械臂的控制下动作。辅助设备是可选的，其中，所述辅助设备包括激光投影机。
其中，夹持装置用于承载车的上车体。为了取代AGV上的工人，本发明在AGV上用及其人来执行这个任务。机器人上的摄像头用于定位机器人末端的目标装配元件，机器人末端的工具会执行最后的装配。必要时，辅助装置用于协助摄像头来定位目标。所述辅助设备可以为激光投影仪和电子监控器(tag)等。有时，车体上的特征用摄像头很难定位。在辅助设备的帮助下，目标装配元件定位会更加准确和快速。
本发明第一方面提供了动态装配方法，其中，所述动态装配方法由放置在AGV小车上的机器人执行，所述机器人具有机械臂，机械臂上装配有装配工具，所述动态装配的装配对象通过一个夹持工具固定。优选地，所述机械臂上装配的装配工具为螺丝刀电钻，所述装配操作为拧螺丝操作。
首先执行步骤S1，根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点，并根据所述动态装配的装配操作及其操作空间匹配机械臂和摄像头。具体地，例如在本实施例中，装配对象是汽车，装配操作是在汽车底座某一区域拧螺丝，那么我们需要定位的是螺孔，如果能够在CAD模型的螺孔周围定位到另一个螺孔或者其他显著参考点，则可以作为后续装配操作的位置定位参考。并且，由于装配操作是在汽车底座的操作空间执行拧螺丝操作，则需要配备能够在该操作空间内成功完成拧螺丝操作的尺寸的机械臂和摄像头等。即，基于任务的细节来选取合适的工具。此外，本发明还需要参考视觉上的需求为自动计算摄像头选择和安装，例如field、深度和分辨率等。
进一步地，当无法根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点时，所述动态装配方法还包括如下步骤：则设置一个激光投影机于所述AGV小车或者所述机器人上，以利用激光向装配对象投射激光参考点。其中，本发明需要为摄像头找到明显特征来追踪。本发明必须利用固定在夹持设备上的辅助设备来为摄像头虚拟追踪在车身上添加特征。辅助设备可以为一个激光标刻投影仪，其能够投影一个设计的激光标志在车身上。激光标志易于虚拟追踪。辅助设备能够为一个电子监控器。在摄像头开始追踪电子监控器之前，其需要测量电子监控器和目标螺孔之间的偏离量。一旦偏离量确定了，摄像头追踪电子监控器以保证工具能够合适地达到目标螺孔。
如图1所示，装配对象为汽车底座100，装配工件为螺丝孔100a，装配操作为拧螺丝孔。因此当AGV小车上的机器人机械臂的螺丝刀210末端靠近需要执行拧螺丝操作的螺丝孔100a时，螺丝刀210旁边的摄像头220并不能直接对螺丝孔100a执行视觉识别。因此，我们选取与之临近的另一个螺丝孔100b来作为参考点执行追踪，其中，充当所述参考的螺丝孔100b和目标螺丝孔100a具有固定偏离量，能够保持相对静止。因此，机器人机械臂的螺丝刀210末端利用摄像头220来追踪螺丝孔100b来保证后续操作中螺丝刀210能够靠近螺丝孔100a并执行装配操作。此外，一旦装配对象确定了，系统可以推荐这样的临近特征作为参考点。
然后执行步骤S2，同步AGV小车和夹持装置，参照所述参考点同步机械臂末端和装配对象上的装配工件。优选地，所述AGV小车和所述夹持装置基于磁性导航、二维码指示或者激光导航来执行同步。
具体地，在本实施例中，应用场景是汽车的装配车间，夹持装置为抱具，抱具能够在装配车间顶部沿着既定轨道运动，抱具能够夹持住待装配汽车。其中，所述轨道是基于磁条、轨道或者激光导航以及二维码。其中，示例性地，AGV小车在装配车间地面上沿着二维码指示的方向运动。因此，可以基于此定位AGV小车和夹持工具的运动轨迹，并以此同步AGV小车和夹持装置。
其中，磁性导航并不能直接获取位置信息。因此，AGV在此行导航的引导下以和加持工具相同的速度移动。二维码能够直接获取位置信息，其对于动态装配任务的同步执行更好。然而，AGV和夹持工具应该在动态装配过程中在系统控制下同步运动。
图2是根据本发明一个具体实施例的动态装配方法的步骤流程图，如图2所示，接着执行步骤S3，通过视觉追踪所述参考点，通过比例积分微分算法来纠正所述参考点和所述装配工件的位置误差和角度误差，从而对所述机械臂末端和所述装配工件执行同步。即，在本实施例中，机械臂手指末端螺丝刀末端在没接触的情况下和螺丝孔同步，两者保持相对静止。其中，螺丝孔100a是装配工件，充当参考点的螺丝孔100b是视觉追踪对象。
具体地，摄像头220持续获取图像，并利用异步图像获取来增加速度，其中，速度需要达到至少每秒50帧。其中，充当视觉追踪对象的参考点具有角度信息，并易于识别。摄像头画面中的针对不同的螺丝孔具有不同调和。 在本实施例中，90度以内的旋转能够在机器人运动中纠正。
优选地，我们在本实施例中采用比例积分微分算法(PID)，其中，所述位置偏差为：
e
x，y＝x
0，xy-x
x，y，
其中，x
0，xy为装配工件的坐标位置，x
x，y为根据参考点和装配工件的相对位置视觉识别的推算出的装配工件位置。在本实施例中，x
0，xy为螺丝孔100a的坐标位置，x
x，y为根据充当参考点的螺丝孔100b和螺丝孔100a的相对位置视觉识别的推算出的螺丝孔100a位置。可选地，所述参考点也可以为激光投射器投影的激光标记。
进一步地，所述角度偏差为：
e
rz＝x
0，rz-x
rz，
其中，x
0，rz为装配工件的角度，x
rz为根据参考点和装配工件的相对角度视觉识别的推算出的装配工件角度。在本实施例中，x
0，xy为螺丝孔100a的角度，，x
rz为根据充当参考点的螺丝孔100b和螺丝孔100a的相对角度视觉识别的推算出的螺丝孔100a角度。可选地，所述参考点也可以为激光投射器投影的激光标记。
进一步地，机器人末端水平移动的速度为：
进一步地，机械臂沿着Z轴的旋转角速度为：
其中，所述Mat
rotation为当前状态量旋转矩阵，K
p为比例积分微分算法的比例系数，K
i为积分系数。
本发明基于位置偏差调整机械臂靠近螺丝孔100a的速度。
最后执行步骤S4，基于视觉追踪所述参考点和自适应力控的调整执行卡尔曼滤波器传感器融合，从而计算出机械臂末端的速度和位置以对所述装配工件执行装配操作。其中，视觉追踪相当于视觉传感器，自适应力控的调整相当于力量传感器，因此，本发明基于视觉识别和自适应力控的调整就能够 精确执行对所述装配工件的装配操作。
以螺栓连接为例，当螺丝起子靠近螺孔时，工具和机器人会阻挡摄像头看到目标。我们需要为摄像头选择一个临近特征来跟踪。其中，所述临近特征相对于目标螺孔具有固定偏离量。机器人用摄像头来追踪临近特征来保证螺丝起子能够碰触到目标螺孔。
其中，所述临近特征可以为螺孔，元件上的花纹等。当工具碰触到目标螺孔时，临近特征应该用摄像头识别，其相对于目标螺孔的偏离量能够被CAD测量。由于临近特征和目标螺孔之间的偏离量是固定的，摄像头框架中的偏离量是固定的。我们用摄像头框架中的固定偏离量来追踪特征。然后，工具能够精确地碰触到目标螺孔。进一步地，一旦目标选定，临近特征能够自动系统推荐。
具体地，针对自适应力控的调整，本发明采用导纳控制，其中，力矩传感器感受到的外部的力为：
其中，M
d、D
d和K
d为预设量。
具体地，卡尔曼滤波器多传感器融合为：
其中，x为目标位置，i为不同传感器的下标，x
i代表视觉或者力控传感器的估计量，k为卡尔曼增益。其中，A(k)和C(i，k+1)均为单位矩阵。
上述公式可以转化为：
其中，卡尔曼增益更新公式为
P
i(k+1|k+1)＝(I-K(i，k+1))·P
i(k+1|k)
P
i(k+1|k)＝P
i(k|k)+Q
其中，P
i(k+1|k)为先验估计协方差阵；
P
i(k+1|k+1)和P
i(k|k)为后验估计协方差阵；
R,Q为噪声估算量；
因此，分别得到两种传感器的目标位置估计以后，计算传感器估计值的权重：
利用权重对两种传感器得到的速度控制量进行加权平均，从而对视觉追踪和自适应力控调整执行融合操作。
如图3所示，在执行视觉追踪和自适应力控调整之后执行测试，测试是通过以后则初始化状态和协方差矩阵，测试未通过状态为否时则执行预测操作。然后，执行视觉追踪或自适应力控调整，从而建立视觉追踪矩阵和建立自适应力可控制矩阵，然后基于此执行更新。
本发明第二方面提供了动态装配系统，所述动态装配系统包括AGV小车以及放置在AGV小车上的机器人，所述机器人具有机械臂，机械臂上装配有装配工具，所述动态装配的装配对象通过一个夹持工具固定，其中，包括：处理器；以及与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被处理器执行时使所述电子设备执行动作，所述动作包括：S1，根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点，并根据所述动态装配的装配操作及其操作空间匹配机械臂和摄像头；S2，同步所述AGV小车和所述夹持装置，并参照所述参考点同步机械臂末端和装配对象上的装配工件；S3，通过视觉追踪所述参考点，通过比例积分微分算法来纠正所述参考点和所述装配工件的位置误差和角度误差，从而对所述机械臂末端和所述装配工件执行同步；S4，基于视觉追踪所述参考点和自适应力控的调整执行卡尔曼滤波器多传感器融合，从而计算出机械臂末端的速度和位置以对所述装配工件执行装配操作。
进一步地，所述机械臂上装配的装配工具为螺丝刀电钻，所述装配操作为拧螺丝操作。
进一步地，当无法根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点时，所述动作还包括：设置一个激光投影机于所述AGV小车或 者所述机器人上，以利用激光向装配对象投射激光参考点。
进一步地，所述AGV小车和所述夹持装置基于磁性导航、二维码指示或者激光导航来执行同步。
进一步地，所述位置偏差为：
e
x，y＝x
0，xy-x
x，y，
其中，x
0，xy为装配工件的坐标位置，x
x，y为根据参考点和装配工件的相对位置视觉识别的推算出的装配工件位置。
进一步地，所述角度偏差为：
e
rz＝x
0，rz-x
rz，
其中，x
0，rz为装配工件的角度，x
rz为根据参考点和装配工件的相对角度视觉识别的推算出的装配工件角度。
进一步地，所述机械臂末端的速度为：
所述机械臂沿着Z轴的旋转角速度为：
其中，所述Mat
rotation为当前状态量旋转矩阵，K
p为比例积分微分算法的比例系数，K
i为积分系数。
进一步地，所述机械臂上设置有力矩传感器，所述矩传感器获得的外部的力为：
其中，M
d、D
d和K
d为预设量。
进一步地，所述卡尔曼滤波器多传感器融合为：
其中，x为目标位置，i为不同传感器的下标，x
i代表视觉或者力控传感器的估计量，k为卡尔曼增益。其中，A(k)和C(i，k+1)均为单位矩阵。
本发明第三方面提供了动态装配装置，其中，所述动态装配装置用于控制放置在AGV小车上的机器人执行装配操作，所述机器人具有机械臂，机械臂上装配有装配工具，所述动态装配的装配对象通过一个夹持工具固定，所述动态装配装置包括：定位配置装置，其根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点，并根据所述动态装配的装配操作及其操作空间匹配机械臂和摄像头；同步装置，其同步所述AGV小车和所述夹持装置，并参照所述参考点同步机械臂末端和装配对象上的装配工件；视觉追踪装置，其通过视觉追踪所述参考点，通过比例积分微分算法来纠正所述参考点和所述装配工件的位置误差和角度误差，从而对所述机械臂末端和所述装配工件执行同步；融合装置，其基于视觉追踪所述参考点和自适应力控的调整执行卡尔曼滤波器多传感器融合，从而计算出机械臂末端的速度和位置以对所述装配工件执行装配操作。
本发明第四方面提供了计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行根据本发明第一方面所述的方法。
本发明第五方面提供了计算机可读介质，其上存储有计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行根据本发明第一方面所述的方法。
本发明提供的动态装配机制特别适用于汽车总装装配，其利用了AGV、机器人和视觉技术来执行动态装配，并且成本低。并且，动态装配的精确度和速度能够满足要求。其中，AGV小车和夹持装置的同步操作能够确保没有大的位置和速度变化。视觉追踪使得装配有操作工具的机器人能够准确地接近装配对象，即使实在很小的位置和速度变化下也能够执行。最终的自适应力控和视觉追踪的融合能够使得动态装配操作更加精确。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。此外，不应将权利要求中的任何附图标记视为限制所涉及的权利要求；“包括”一词不排除其它权利要求或说明书中未列出的装置或步骤；“第一”、“第二”等词语仅用来表示名称，而并不表示任何特定的顺序。
Claims (21)
- 动态装配方法，其中，所述动态装配方法由放置在AGV小车上的机器人执行，所述机器人具有机械臂，机械臂上装配有装配工具，所述动态装配的装配对象通过一个夹持工具固定，其中，包括如下步骤：S1，根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点，并根据所述动态装配的装配操作及其操作空间匹配机械臂和摄像头；S2，同步所述AGV小车和所述夹持装置，并参照所述参考点同步机械臂末端和装配对象上的装配工件；S3，通过视觉追踪所述参考点，通过比例积分微分算法来纠正所述参考点和所述装配工件的位置误差和角度误差，从而对所述机械臂末端和所述装配工件执行同步；S4，基于视觉追踪所述参考点和自适应力控的调整执行卡尔曼滤波器多传感器融合，从而计算出机械臂末端的速度和位置以对所述装配工件执行装配操作。
- 根据权利要求1所述的动态装配方法，其特征在于，所述机械臂上装配的装配工具为螺丝刀电钻，所述装配操作为拧螺丝操作。
- 根据权利要求1所述的动态装配方法，其特征在于，当无法根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点时，所述动态装配方法还包括如下步骤：则设置一个激光投影机于所述AGV小车或者所述机器人上，以利用激光向装配对象投射激光参考点。
- 根据权利要求1所述的动态装配方法，其特征在于，所述AGV小车和所述夹持装置基于磁性导航、二维码指示或者激光导航来执行同步。
- 根据权利要求1所述的动态装配方法，其特征在于，所述位置偏差为：e x，y＝x 0，xy-x x，y，其中，x 0，xy为装配工件的坐标位置，x x，y为根据参考点和装配工件的相对位置视觉识别的推算出的装配工件位置。
- 根据权利要求1所述的动态装配方法，其特征在于，所述角度偏差为：e rz＝x 0，rz-x rz，其中，x 0，rz为装配工件的角度，x rz为根据参考点和装配工件的相对角度视 觉识别的推算出的装配工件角度。
- 根据权利要求1所述的动态装配方法，其特征在于，所述机械臂末端的速度为：所述机械臂沿着Z轴的旋转角速度为：其中，所述Mat rotation为当前状态量旋转矩阵，K p为比例积分微分算法的比例系数，K i为积分系数。
- 根据权利要求1所述的动态装配方法，其特征在于，所述机械臂上设置有力矩传感器，所述矩传感器获得的外部的力为：其中，M d、D d和K d为预设量。
- 据权利要求1所述的动态装配方法，其特征在于，所述卡尔曼滤波器多传感器融合为：其中，x为目标位置，i为不同传感器的下标，x i代表视觉或者力控传感器的估计量，k为卡尔曼增益。其中，A(k)和C(i，k+1)均为单位矩阵。
- 动态装配系统，所述动态装配系统包括AGV小车以及放置在AGV小车上的机器人，所述机器人具有机械臂，机械臂上装配有装配工具，所述动态装配的装配对象通过一个夹持工具固定，其中，包括：处理器；以及与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被处理器执行时使所述电子设备执行动作，所述动作包括：S1，根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点， 并根据所述动态装配的装配操作及其操作空间匹配机械臂和摄像头；S2，同步所述AGV小车和所述夹持装置，并参照所述参考点同步机械臂末端和装配对象上的装配工件；S3，通过视觉追踪所述参考点，通过比例积分微分算法来纠正所述参考点和所述装配工件的位置误差和角度误差，从而对所述机械臂末端和所述装配工件执行同步；S4，基于视觉追踪所述参考点和自适应力控的调整执行卡尔曼滤波器多传感器融合，从而计算出机械臂末端的速度和位置以对所述装配工件执行装配操作。
- 根据权利要求10所述的动态装配系统，其特征在于，所述机械臂上装配的装配工具为螺丝刀电钻，所述装配操作为拧螺丝操作。
- 根据权利要求10所述的动态装配系统，其特征在于，当无法根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点时，所述动作还包括：设置一个激光投影机于所述AGV小车或者所述机器人上，以利用激光向装配对象投射激光参考点。
- 根据权利要求10所述的动态装配系统，其特征在于，所述AGV小车和所述夹持装置基于磁性导航、二维码指示或者激光导航来执行同步。
- 根据权利要求10所述的动态装配系统，其特征在于，所述位置偏差为：e x，y＝x 0，xy-x x，y，其中，x 0，xy为装配工件的坐标位置，x x，y为根据参考点和装配工件的相对位置视觉识别的推算出的装配工件位置。
- 根据权利要求10所述的动态装配系统，其特征在于，所述角度偏差为：e rz＝x 0，rz-x rz，其中，x 0，rz为装配工件的角度，x rz为根据参考点和装配工件的相对角度视觉识别的推算出的装配工件角度。
- 根据权利要求10所述的动态装配系统，其特征在于，所述机械臂末端的速度为：所述机械臂沿着Z轴的旋转角速度为：其中，所述Mat rotation为当前状态量旋转矩阵，K p为比例积分微分算法的比例系数，K i为积分系数。
- 根据权利要求10所述的动态装配系统，其特征在于，所述机械臂上设置有力矩传感器，所述矩传感器获得的外部的力为：其中，M d、D d和K d为预设量。
- 据权利要求10所述的动态装配系统，其特征在于，所述卡尔曼滤波器多传感器融合为：其中，x为目标位置，i为不同传感器的下标，x i代表视觉或者力控传感器的估计量，k为卡尔曼增益。其中，A(k)和C(i，k+1)均为单位矩阵。
- 动态装配装置，其中，所述动态装配装置用于控制放置在AGV小车上的机器人执行装配操作，所述机器人具有机械臂，机械臂上装配有装配工具，所述动态装配的装配对象通过一个夹持工具固定，所述动态装配装置包括：定位配置装置，其根据动态装配的装配操作在装配对象的CAD模型上定位一个参照点，并根据所述动态装配的装配操作及其操作空间匹配机械臂和摄像头；同步装置，其同步所述AGV小车和所述夹持装置，并参照所述参考点同步机械臂末端和装配对象上的装配工件；视觉追踪装置，其通过视觉追踪所述参考点，通过比例积分微分算法来纠正所述参考点和所述装配工件的位置误差和角度误差，从而对所述机械臂末端和所述装配工件执行同步；融合装置，其基于视觉追踪所述参考点和自适应力控的调整执行卡尔曼滤波器多传感器融合，从而计算出机械臂末端的速度和位置以对所述装配工件执行装配操作。
- 计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行根据权利要求1至9中任一项所述的方法。
- 计算机可读介质，其上存储有计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行根据权利要求1至9中任一项所述的方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/103282 WO2023272529A1 (zh) | 2021-06-29 | 2021-06-29 | 动态装配方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117396301A true CN117396301A (zh) | 2024-01-12 |
Family
ID=84690168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180098485.0A Pending CN117396301A (zh) | 2021-06-29 | 2021-06-29 | 动态装配方法、装置和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117396301A (zh) |
| WO (1) | WO2023272529A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116237947B (zh) * | 2023-03-22 | 2024-05-07 | 北京瓦特曼智能科技有限公司 | 机器人控制方法、系统、表面处理设备及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3192617A1 (en) * | 2016-01-12 | 2017-07-19 | Airbus Operations, S.L. | Autonomous screwing robot |
| CN110666792B (zh) * | 2019-09-04 | 2022-11-25 | 南京富尔登科技发展有限公司 | 一种基于信息融合的多点位协操控制作装配装置及装配方法 |
| CN111192301B (zh) * | 2019-12-31 | 2023-05-05 | 广东博智林机器人有限公司 | 地板安装方法和装置、机器人及存储介质 |
| CN111331367B (zh) * | 2020-04-15 | 2021-08-20 | 上海工程技术大学 | 智能装配控制系统 |
| CN111761347B (zh) * | 2020-06-18 | 2022-04-19 | 龙铁纵横（北京）轨道交通科技股份有限公司 | 一种运用修检修车间机器人智能装配系统及方法 |
| CN112548527A (zh) * | 2020-12-08 | 2021-03-26 | 扬州舞指芯创智能科技有限公司 | 一种基于多相机视觉伺服的动态轴孔装配的装置和方法 |
| CN113001142B (zh) * | 2021-03-18 | 2023-02-03 | 北京空间机电研究所 | 一种用于大型分块光学组件的双机械臂自动装配系统 |
-
2021
- 2021-06-29 CN CN202180098485.0A patent/CN117396301A/zh active Pending
- 2021-06-29 WO PCT/CN2021/103282 patent/WO2023272529A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023272529A1 (zh) | 2023-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107225569B (zh) | 定位装置 | |
| CN106272416B (zh) | 基于力觉和视觉的机器人细长轴精密装配系统及方法 | |
| US9833904B2 (en) | Method for robot-assisted measurement of measurable objects | |
| EP3318372A2 (en) | Method and apparatus for compliant robotic end-effector | |
| US20110087360A1 (en) | Robot parts assembly on a workpiece moving on an assembly line | |
| CN109866206A (zh) | 机器人系统以及机器人系统的控制方法 | |
| US10974393B2 (en) | Automation apparatus | |
| JP5321532B2 (ja) | ロボットキャリブレーション装置及びキャリブレーション方法 | |
| US11230016B1 (en) | Multi-resolution localization system | |
| JP6538751B2 (ja) | プログラミング装置及びロボット制御方法 | |
| JPH01159186A (ja) | ロボット不正確度修正方法 | |
| JP7359633B2 (ja) | ロボットシステム | |
| CN111496776B (zh) | 机器人系统、机器人控制方法、机器人控制器及记录介质 | |
| CN110581946B (zh) | 控制系统、控制装置、图像处理装置以及存储介质 | |
| CN111002304B (zh) | 用于获取机械手的末端执行器的位置和定位的装置 | |
| KR20080088165A (ko) | 로봇 캘리브레이션 방법 | |
| Burrell et al. | Towards a cooperative robotic system for autonomous pipe cutting in nuclear decommissioning | |
| EP3602214B1 (en) | Method and apparatus for estimating system error of commissioning tool of industrial robot | |
| CN117396301A (zh) | 动态装配方法、装置和系统 | |
| JP6217322B2 (ja) | ロボット制御装置、ロボット及びロボット制御方法 | |
| CN111515928A (zh) | 机械臂运动控制系统 | |
| CN108871194B (zh) | 视觉传感器工作功能快速恢复方法 | |
| CN110497391B (zh) | 机械臂示教方法及机械臂示教装置 | |
| CN116652939A (zh) | 一种并联机器人无标定视觉伺服柔顺控制方法 | |
| JP7477633B2 (ja) | ロボットシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |