CN110385694A - 机器人的动作示教装置、机器人系统以及机器人控制装置 - Google Patents
机器人的动作示教装置、机器人系统以及机器人控制装置 Download PDFInfo
- Publication number
- CN110385694A CN110385694A CN201910288650.3A CN201910288650A CN110385694A CN 110385694 A CN110385694 A CN 110385694A CN 201910288650 A CN201910288650 A CN 201910288650A CN 110385694 A CN110385694 A CN 110385694A
- Authority
- CN
- China
- Prior art keywords
- robot
- workpiece
- movement locus
- operator
- teaching device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000012546 transfer Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1651—Programme controls characterised by the control loop acceleration, rate control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35464—Glove, movement of fingers
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/36—Nc in input of data, input key till input tape
- G05B2219/36422—During teaching shut off, disable motor to move arm easy
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
即使在操作人员进行实际作业的工件和机器人进行作业的工件不同的情况下，也能基于操作人员的实际作业而简便地对机器人进行动作示教，提高制造效率。机器人的动作示教装置(10)具备：动作轨迹提取部(14)，其通过对在操作人员对第一工件进行作业时的第一工件和操作人员的手指或者臂的时变图像进行处理，提取操作人员的手指或者臂的动作轨迹；映射生成部(17)，其基于第一工件的特征点和机器人进行作业的第二工件的特征点，生成从第一工件向第二工件转换的转换函数；以及动作轨迹生成部(18)，其基于由动作轨迹提取部(14)提取到的操作人员的手指或者臂的动作轨迹和由映射生成部(17)生成的转换函数，生成机器人的动作轨迹。
Description
技术领域
本发明涉及一种机器人的动作示教装置、机器人系统以及机器人控制装置。
背景技术
在现有技术中，已知有使机器人模仿操作人员的实际作业的动作示教装置(例如，专利文献1)。
专利文献1中的动作示教装置，利用多台摄像机来获取操作人员正进行作业时的臂、手腕前端、手指的移动或者作业对象物的移动而作为多个有关三维位置的时序数据，并且利用安装于操作人员的手腕前端、手指的传感器来检测施加于作业对象物的力，从而获取有关力的时序数据，将这些相同时刻获取到的两个时序数据转换为与多台机器人臂的各个关节轴的移动相对应的各个轴轨道数据。
现有技术文献
专利文献
专利文献1：日本特开昭60-205721号公报
发明内容
发明要解决的问题
但是，在专利文献1的动作示教装置中，由于将操作人员进行实际作业的工件和机器人进行作业的工件相同的情况作为前提，因此，存在有在工件的形状稍微不同的情况下对机器人进行动作示教会变得困难的问题。
本发明是鉴于上述情况而做出的，其目的在于提供一种机器人的动作示教装置、机器人系统以及机器人控制装置，其即使在操作人员进行实际作业的工件和机器人进行作业的工件不同的情况下，也能基于操作人员的实际作业而简便地对机器人进行动作示教，由此能够提高制造效率。
用于解决问题的方案
根据本发明的一实施方式的机器人的动作示教装置，其具备：动作轨迹提取部，其通过对在操作人员对第一工件进行作业时的所述第一工件、和所述操作人员的手指或者臂的时变图像进行处理，提取所述操作人员的所述手指或者所述臂的动作轨迹；映射生成部，其基于所述第一工件的特征点和机器人进行作业的第二工件的特征点，生成从所述第一工件向所述第二工件转换的转换函数；以及动作轨迹生成部，其基于由所述动作轨迹提取部提取到的所述操作人员的所述手指或者所述臂的动作轨迹和由所述映射生成部生成的所述转换函数，生成所述机器人的动作轨迹。
根据本实施方式，由动作轨迹提取部通过处理在操作人员对第一工件进行作业时的第一工件、和操作人员的手指或者臂的时变图像，来提取操作人员的手指或者臂的动作轨迹，并且，由映射生成部基于第一工件的特征点和机器人进行作业的第二工件的特征点，生成从第一工件向第二工件转换的转换函数。并且，由动作轨迹生成部基于提取到的操作人员的手指或者臂的动作轨迹和所生成的转换函数，生成机器人的动作轨迹。由此，即使在操作人员进行实际作业的第一工件和机器人进行作业的第二工件不同的情况下，也能基于操作人员的实际作业简便地对机器人进行动作示教，从而能够提高制造效率。
在上述实施方式中，也可以具备轨道最优化部，所述轨道最优化部基于所述机器人沿着所述机器人的动作轨迹进行动作所需的动作时间和所述机器人的各个轴的加速度，对由所述动作轨迹生成部生成的所述机器人的动作轨迹进行最优化。
根据该结构，由轨道最优化部以减少动作时间且抑制过度的加速的方式，对机器人的动作轨迹进行最优化。
另外，在上述实施方式中，还可以具备：第一视觉传感器，其获取在所述操作人员对所述第一工件进行作业时的所述第一工件、和所述操作人员的所述手指或者所述臂的时变图像；以及第一特征点提取部，其从由所述第一视觉传感器获取到的图像提取所述第一工件的所述特征点，所述动作轨迹提取部从由所述第一视觉传感器获取到的图像提取所述操作人员的所述手指或者所述臂的动作轨迹。
根据该结构，由第一视觉传感器获取第一工件和操作人员的手指或者臂的时变图像，并且由动作轨迹提取部从获取到的图像提取操作人员的手指或者臂的动作轨迹，而且由第一特征点提取部提取第一工件的特征点。
另外，在上述实施方式中，还可以具备：第二视觉传感器，其对所述第二工件进行拍摄并获取图像；以及第二特征点提取部，其从由所述第二视觉传感器获取到的图像提取所述第二工件的所述特征点。
根据该结构，由第二视觉传感器获取第二工件的图像，由第二特征点提取部从获取到的图像提取第二工件的特征点。
另外，在上述实施方式中，也可以在虚拟现实空间中进行所述操作人员对所述第一工件的作业。
根据该结构，现实中无需准备第一工件和操作人员的作业环境，通过在虚拟现实空间内进行由软件实现的使第一工件进行移动的作业，能够提取操作人员的手指的动作轨迹。
另外，在上述实施方式中，也可以具备存储部，所述存储部将所述第二工件的所述特征点和所述机器人的动作轨迹相关联起来进行存储。
根据该结构，在再次对第二工件进行作业时，通过读取在存储部存储的机器人的动作轨迹，能够提高作业效率。
另外，本发明的另一实施方式的机器人系统，具备：多个机器人；多个控制装置，其分别对各个所述机器人进行控制；网络，其连接所述控制装置；以及连接于所述网络的上述机器人的动作示教装置。
根据本实施方式，基于第二工件的特征点，能够经由网络由多个机器人的控制装置读取在动作示教装置的存储部中存储的机器人的动作轨迹，并且能够使多个机器人之间共享信息。
另外，根据本发明的又一实施方式的机器人控制装置，其具备上述机器人的动作示教装置，所述第二特征点提取部以规定的周期提取所述第二工件的多个所述特征点的位置，所述机器人控制装置具备位置姿态计算部，所述位置姿态计算部基于提取到的多个所述特征点的位置，以每个所述规定的周期对各个所述特征点的运动方程式进行更新，并且基于由更新后的各个所述运动方程式计算出的各个所述特征点的位置，计算出所述第二工件的位置或姿态，基于由所述位置姿态计算部计算出的所述第二工件的位置或姿态，对所述机器人进行控制而使所述机器人随动于所述第二工件。
根据本实施方式，由第二特征点提取部以规定的周期从由视觉传感器获取到的图像中提取第二工件的多个特征点的位置。接着，由位置姿态计算部基于由第二特征点提取部提取到的多个特征点的位置，以每个规定的周期对这些多个特征点的运动方程式分别进行更新。另外，由位置姿态计算部从更新后的各个运动方程式计算出新的多个特征点的各自的位置，并且基于所计算出的多个特征点的位置计算出第二工件的位置或姿态。并且，由机器人控制装置基于由位置姿态计算部计算出的第二工件的位置或姿态，对机器人进行控制而使机器人随动于第二工件。
如此，由于以规定的周期对各个特征点的运动方程式进行更新，因此，能够在线构建第二工件的运动方程式。其结果，能够使机器人高精度地随动于随机进行移动的第二工件。
发明效果
根据本发明，即使在操作人员进行实际作业的工件和机器人进行作业的工件不同的情况下，也能基于操作人员的实际作业而简便地对机器人进行动作示教，由此实现能够提高制造效率的效果。
附图说明
图1是示出本发明的一实施方式的机器人系统的整体结构图。
图2是示出图1中的机器人系统所具备的动作示教装置的框图。
图3是用于说明由图2中的动作示教装置所具备的映射生成部所进行的转换函数的生成处理的图。
附图标记说明:
1 机器人系统
2 机器人
3 机器人控制装置
10 动作示教装置
11 第一摄像机(第一视觉传感器)
12 第二摄像机(第二视觉传感器)
14 动作轨迹提取部
15 第一特征点提取部
16 第二特征点提取部
17 映射生成部
18 动作轨迹生成部
W1 第一工件
W2 第二工件
A、A′ 动作轨迹
F 手指
H 操作人员
具体实施方式
以下，参照附图对本发明的一实施方式的机器人的动作示教装置10和机器人系统1进行说明。
如图1所示，本实施方式的机器人系统1具备：机器人2；机器人控制装置3，其连接于机器人2；以及本实施方式的动作示教装置10，其连接于机器人控制装置3。
动作示教装置10具备：第一摄像机(第一视觉传感器)11，其用于对操作人员H对第一工件W1进行作业时的第一工件W1和操作人员H的手指F进行拍摄并获取时变图像；第二摄像机(第二视觉传感器)12，其用于对机器人2进行作业的第二工件W2进行拍摄并获取图像；以及图像处理部13，其与第一摄像机11和第二摄像机12连接。
如图2所示，图像处理部13具备：动作轨迹提取部14，其连接于第一摄像机11；第一特征点提取部15，其连接于第一摄像机11；第二特征点提取部16，其连接于第二摄像机12；映射生成部17，其与第一特征点提取部15和第二特征点提取部16连接；以及动作轨迹生成部18，其与动作轨迹提取部14和映射生成部17连接。
动作轨迹提取部14从由第一摄像机11获取到的图像提取操作人员H的手指F的动作轨迹。具体而言，以如下方式执行：利用公知的动作捕捉技术，在将标记安装于操作人员H的手指F的状态下，从由第一摄像机11获取到的时变图像提取标记的位置的移动轨迹。
第一特征点提取部15通过图像处理提取由第一摄像机11获取到的任意图像内的第一工件W1，例如提取顶角、边缘等多个特征点的坐标。
第二特征点提取部16通过图像处理提取由第二摄像机12获取到的任意图像内的第二工件W2，例如提取顶角、边缘等多个特征点的坐标。
映射生成部17基于由第一特征点提取部15提取到的特征点的坐标以及由第二特征点提取部16提取到的特征点的坐标，并且利用如下的式(1)的映射理论公式，计算出转换函数f。
此处，符号f表示转换函数，k表示第一工件W1的特征点的数量，x(k)表示第k个特征点的坐标，在二维图形的情况下，x1、x2表示二维坐标系的坐标(x1，x2)，x(k)′表示第二工件W2的第k个特征点的坐标，f(x(k))表示用映射函数f计算出的第一工件W1的第k个坐标x(k)与第二工件W2相关联起来的坐标。
参照图3，说明该计算方法。在图3中，作为一例示出了长方形的第一工件W1的形状B、以及与第一工件W1的形状不同的第二工件W2的形状B′。
在图3中，在第一工件W1中的任意位置设定有点C。第一工件W1的形状B、第二工件W2的形状B′以及点C利用图中的坐标系C2设定坐标。
此处，在图3中，点C′表示与相对于第一工件W1的形状的点C的位置相对应的、相对于第二工件W2的形状的位置。假如坐标系C2中的第一工件W1的形状B和第二工件W2的形状B′的坐标是已知的，则通过将这些坐标的信息导入式(1)的转换函数f来能够计算出所述点C′的位置(即，坐标系C2的坐标)。
动作轨迹生成部18利用这种计算方法，算出与对第一工件W1的形状B获取到的操作人员H的手指F的动作轨迹相对应的、针对第二工件W2的形状B′的动作轨迹。具体而言，动作轨迹生成部18在图1的坐标系中，通过将由动作轨迹提取部14提取到的针对第一工件W1的操作人员H的手指F的动作轨迹A导入到转换函数f，能够计算出针对第二工件W2的机器人2的动作轨迹A′。
若机器人控制装置3从动作轨迹生成部18接收动作轨迹A，则将构成动作轨迹A的各个点的坐标乘以坐标转换矩阵(例如，雅可比矩阵)，由此转换为三维机器人坐标系中的坐标。由此，通过将转换后的坐标用作示教点，能够使机器人2按照动作轨迹A′进行动作。
根据本实施方式的动作示教装置10和机器人系统1，将利用动作捕捉技术来获取到的操作人员H的手指F的动作轨迹A转换为机器人2的动作轨迹A′，因此，与采用了示教操作盘的情况相比，能够缩短进行复杂的动作轨迹A的示教所需的时间。具有通过进行示教的操作人员H的直观动作来能够对动作轨迹A进行示教的优点。另外，与采用了示教操作盘的情况相比，还具有不需要进行示教的操作人员H的熟练程度的优点。
另外，根据本实施方式的动作示教装置10和机器人系统1，即使操作人员H进行作业的第一工件W1和机器人2进行作业的第二工件W2之间不具有严格相同的形状，通过由映射生成部17生成转换函数，在将操作人员H的手指F的动作轨迹A转换为机器人2的动作轨迹A′时，能够转换为考虑到工件W1、W2的不同形状的动作轨迹A′。
例如，即使第一工件W1和第二工件W2具有相似形状，或者具有比例尺在一个方向上不同的形状，也能够高精度地生成机器人2的动作轨迹A′。由此，基于操作人员H的直观的实际作业而简便地对机器人2的动作进行示教，从而具有能够提高制造效率的优点。
另外，与采用计算机模拟进行示教的情况相比，具有无需制作精度高的CAD数据的优点。
此外，在本实施方式中，还可以具备轨道最优化部(省略图示)，所述轨道最优化部用于对由动作轨迹生成部18生成的机器人2的动作轨迹A′进行最优化。由该轨道最优化部进行的动作轨迹A′的最优化处理，例如利用“Changliu Liu，Masayoshi Tomizuka，Realtime trajectory optimization for nonlinear robotics systems：Relaxation andconvexification，Systems&Control Letters 108(2017)，p56－63”中公开的技术即可。
在该最优化处理中，进行用于回避障碍物的轨道规划，之后进行针对轨道的最优化。在轨道规划中，使用下述的式(2)至式(5)的评价函数和限制条件，求出：将与障碍物之间的距离保持在固定值以上、同时将从所生成的动作轨迹A′的变化量抑制得较低、而且马达转矩抑制得较低的轨迹。
xt∈x，ut∈u (3)
xt＝f(xt-1，ut-1) (4)
式(2)示出用于进行轨道规划的评价函数J(x，u)，并求出：将规定的权重ω1、ω2附加于机器人2的从预设的动作轨迹xr的变化量(x-xr)的范数的平方和马达转矩u的范数的平方并进行加法的值成为最小的轨迹x和转矩u。
式(3)、式(4)、式(5)是针对式(2)的限制条件。
式(4)是动力学模型。
式(5)将与障碍物之间的距离大于最小距离作为条件。
另外，在针对轨道的最优化中，使用下述的式(6)至式(8)的评价函数和限制条件，轨迹以将沿着动作轨迹A′进行动作所需的动作时间抑制得较低、同时也将加速度抑制得较低的方式被最优化。
τ＞0，α∈A (7)
gT(τ，α)＝0 (8)
式(6)示出用于进行针对轨道的最优化的评价函数JT(τ，a)，并求出：将规定的权重ω3、ω4附加于动作时间τ的范数的平方和加速度a的范数的平方并进行加法的值成为最小的动作时间τ和加速度a。
式(7)、式(8)是针对式(6)的限制条件，式(8)表示时间和加速度之间的关系。
通过进行针对该动作轨迹A′的最优化处理，能够对与周围的障碍物不发生冲突而能够进行高速动作的动作轨迹A′进行示教。
另外，在第二工件W2随机移动的情况下，例如也可以采用日本特开2018-27580号公报中公开的机器人控制装置。即，由第二特征点提取部16以规定的周期提取第二工件W2的多个特征点的位置，并且基于提取到的多个特征点的位置，由位置姿态计算部以每个上述周期对各个特征点的运动方程式进行更新，而且基于由更新后的各个运动方程式计算出的各特征点的位置而计算出第二工件W2的位置或姿态，然后基于所计算出的第二工件W2的位置或姿态而对机器人2进行控制也可。通过以上方式，具有如下优点：对于随机进行移动的第二工件W2，通过视觉伺服能够使机器人2高精度地随动。
另外，在第二工件W2为如电缆那样的不规则的构件的情况下，也可以利用由第一摄像机11获取到的图像来进行模拟，由此识别形状，并且基于识别到的形状而由映射生成部17求出转换函数。
另外，在本实施方式中例示了，通过公知的动作捕捉技术，在将标记安装于操作人员H的手指F的状态下，从由第一摄像机11获取到的时变图像提取标记位置的移动轨迹的情况。取而代之，也可以在VR(虚拟现实)空间内，由操作人员H对第一工件W1进行作业。通过所述结构，实际上无需准备第一工件W1和操作人员H的作业环境，能够提取操作人员H的手指F的动作轨迹A。
另外，也可以具备存储部，所述存储部用于将第二工件W2的特征点和所生成的机器人2的动作轨迹A′相关联起来进行存储。通过所述结构，在再次对第二工件W2进行作业时，通过读取存储于存储部的机器人2的动作轨迹A′，能够提高作业效率。
也可以采用机器人系统，所述机器人系统包括：多个机器人2；用于控制各个机器人2的控制装置；用于连接控制装置的网络；以及动作示教装置10，其具备连接于网络的存储部。
通过所述结构，具有如下优点：基于第二工件W2的特征点，经由网络能够由多个机器人2的控制装置读取存储于动作示教装置10的存储部中的机器人2的动作轨迹A′，多个机器人2之间能够共享信息。
Claims (8)
1.一种机器人的动作示教装置，其特征在于，具备：
动作轨迹提取部，其通过对在操作人员对第一工件进行作业时的所述第一工件、和所述操作人员的手指或者臂的时变图像进行处理，提取所述操作人员的所述手指或者所述臂的动作轨迹；
映射生成部，其基于所述第一工件的特征点和机器人进行作业的第二工件的特征点，生成从所述第一工件向所述第二工件转换的转换函数；以及
动作轨迹生成部，其基于由所述动作轨迹提取部提取到的所述操作人员的所述手指或者所述臂的动作轨迹和由所述映射生成部生成的所述转换函数，生成所述机器人的动作轨迹。
2.根据权利要求1所述的机器人的动作示教装置，其特征在于，
所述机器人的动作示教装置具备轨道最优化部，
所述轨道最优化部基于所述机器人沿着所述机器人的动作轨迹进行动作所需的动作时间和所述机器人的各个轴的加速度，对由所述动作轨迹生成部生成的所述机器人的动作轨迹进行最优化。
3.根据权利要求1或2所述的机器人的动作示教装置，其特征在于，
所述机器人的动作示教装置具备：
第一视觉传感器，其获取在所述操作人员对所述第一工件进行作业时的所述第一工件、和所述操作人员的所述手指或者所述臂的时变图像；以及
第一特征点提取部，其从由所述第一视觉传感器获取到的图像提取所述第一工件的所述特征点，
所述动作轨迹提取部从由所述第一视觉传感器获取到的图像提取所述操作人员的所述手指或者所述臂的动作轨迹。
4.根据权利要求1至3中任一项所述的机器人的动作示教装置，其特征在于，
所述机器人的动作示教装置具备：
第二视觉传感器，其对所述第二工件进行拍摄并获取图像；以及
第二特征点提取部，其从由所述第二视觉传感器获取到的图像提取所述第二工件的所述特征点。
5.根据权利要求1或2所述的机器人的动作示教装置，其特征在于，
在虚拟现实空间中进行所述操作人员对所述第一工件的作业。
6.根据权利要求1至5中任一项所述的机器人的动作示教装置，其特征在于，
所述机器人的动作示教装置具备存储部，所述存储部将所述第二工件的所述特征点和所述机器人的动作轨迹相关联起来进行存储。
7.一种机器人系统，其特征在于，具备：
多个机器人；
多个控制装置，其分别对各个所述机器人进行控制；
网络，其连接所述控制装置；以及
权利要求6所述的机器人的动作示教装置，其连接于所述网络。
8.一种机器人控制装置，其特征在于，
具备权利要求4所述的机器人的动作示教装置，
所述第二特征点提取部以规定的周期提取所述第二工件的多个所述特征点的位置，
所述机器人控制装置具备位置姿态计算部，所述位置姿态计算部基于提取到的多个所述特征点的位置，以每个所述规定的周期对各个所述特征点的运动方程式进行更新，并且基于由更新后的各个所述运动方程式计算出的各个所述特征点的位置，计算出所述第二工件的位置或姿态，
所述机器人控制装置基于由所述位置姿态计算部计算出的所述第二工件的位置或姿态，对所述机器人进行控制而使所述机器人随动于所述第二工件。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-079583 | 2018-04-18 | ||
| JP2018079583A JP6826069B2 (ja) | 2018-04-18 | 2018-04-18 | ロボットの動作教示装置、ロボットシステムおよびロボット制御装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110385694A true CN110385694A (zh) | 2019-10-29 |
Family
ID=68105579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910288650.3A Pending CN110385694A (zh) | 2018-04-18 | 2019-04-11 | 机器人的动作示教装置、机器人系统以及机器人控制装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11130236B2 (zh) |
| JP (1) | JP6826069B2 (zh) |
| CN (1) | CN110385694A (zh) |
| DE (1) | DE102019109624B4 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111360789A (zh) * | 2020-03-23 | 2020-07-03 | 广东美的白色家电技术创新中心有限公司 | 工件加工的示教方法、控制方法及机器人示教系统 |
| CN112824060A (zh) * | 2019-11-21 | 2021-05-21 | 财团法人工业技术研究院 | 加工路径生成装置及其方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6838017B2 (ja) * | 2018-08-31 | 2021-03-03 | ファナック株式会社 | レーザ加工のための教示装置、教示方法、及び教示プログラム |
| DE102018124671B4 (de) * | 2018-10-06 | 2020-11-26 | Bystronic Laser Ag | Verfahren und Vorrichtung zur Erstellung eines Robotersteuerprogramms |
| CN111360794B (zh) * | 2020-03-31 | 2022-08-26 | 上海捷勃特机器人有限公司 | 一种适配多种型号机器人的示教系统及其示教方法 |
| US11813749B2 (en) * | 2020-04-08 | 2023-11-14 | Fanuc Corporation | Robot teaching by human demonstration |
| US20230278211A1 (en) * | 2020-06-25 | 2023-09-07 | Hitachi High-Tech Corporation | Robot Teaching Device and Work Teaching Method |
| JP7491115B2 (ja) * | 2020-07-22 | 2024-05-28 | セイコーエプソン株式会社 | ロボットの教示制御方法、ロボットシステム、及び、コンピュータープログラム |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07314359A (ja) * | 1994-05-30 | 1995-12-05 | Nippon Telegr & Teleph Corp <Ntt> | マニピュレータ用追従装置およびその制御方法 |
| US6654666B1 (en) * | 1994-05-18 | 2003-11-25 | Fanuc Limited | Programming method and apparatus for robot movement |
| US20040189675A1 (en) * | 2002-12-30 | 2004-09-30 | John Pretlove | Augmented reality system and method |
| US20090132088A1 (en) * | 2007-04-24 | 2009-05-21 | Tairob Ltd. | Transfer of knowledge from a human skilled worker to an expert machine - the learning process |
| US20150094855A1 (en) * | 2012-05-04 | 2015-04-02 | Leoni Cia Cable Systems Sas | Imitation learning method for a multi-axis manipulator |
| US20160243704A1 (en) * | 2013-10-25 | 2016-08-25 | Aleksandar Vakanski | Image-based trajectory robot programming planning approach |
| WO2017130389A1 (ja) * | 2016-01-29 | 2017-08-03 | 三菱電機株式会社 | ロボット教示装置及びロボット制御プログラム作成方法 |
| JP2018015863A (ja) * | 2016-07-29 | 2018-02-01 | 川崎重工業株式会社 | ロボットシステム、教示データ生成システム及び教示データ生成方法 |
| CN107666988A (zh) * | 2015-05-29 | 2018-02-06 | 库卡罗伯特有限公司 | 用于确定路径点的方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60205721A (ja) | 1984-03-30 | 1985-10-17 | Matsushita Electric Ind Co Ltd | ロボツト動作教示装置 |
| JPH05197416A (ja) | 1992-01-20 | 1993-08-06 | Nippon Telegr & Teleph Corp <Ntt> | ロボット動作点教示装置 |
| JP4410208B2 (ja) | 2005-03-17 | 2010-02-03 | 独立行政法人科学技術振興機構 | 高速検索方法を用いたロボットの駆動方法 |
| JP4976883B2 (ja) | 2007-02-23 | 2012-07-18 | パナソニック株式会社 | マニピュレータシステム |
| US9052710B1 (en) * | 2009-03-20 | 2015-06-09 | Exelis Inc. | Manipulation control based upon mimic of human gestures |
| DE102010029745A1 (de) | 2010-06-07 | 2011-12-08 | Kuka Laboratories Gmbh | Werkstück-Handhabungssystem und Verfahren zum Manipulieren von Werkstücken mittels kooperierender Manipulatoren |
| JP5921248B2 (ja) * | 2012-02-16 | 2016-05-24 | キヤノン株式会社 | ロボットの制御装置、ロボット、そのプログラム及びその制御方法 |
| US10406686B2 (en) | 2012-12-14 | 2019-09-10 | Abb Schweiz Ag | Bare hand robot path teaching |
| DE102013110847B3 (de) | 2013-10-01 | 2015-01-22 | gomtec GmbH | Steuervorrichtung und Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung |
| JP6228079B2 (ja) * | 2014-07-16 | 2017-11-08 | 本田技研工業株式会社 | 移動ロボットの動作目標生成装置 |
| JP6660102B2 (ja) | 2014-08-27 | 2020-03-04 | キヤノン株式会社 | ロボット教示装置およびその制御方法、ロボットシステム、プログラム |
| JP6333790B2 (ja) | 2015-10-21 | 2018-05-30 | ファナック株式会社 | ネットワークを介して接続された複数の制御装置を備えるロボットシステム |
| WO2018022657A1 (en) * | 2016-07-25 | 2018-02-01 | Ctrl-Labs Corporation | System and method for measuring the movements of articulated rigid bodies |
| JP6514156B2 (ja) | 2016-08-17 | 2019-05-15 | ファナック株式会社 | ロボット制御装置 |
| JP6680720B2 (ja) | 2017-04-10 | 2020-04-15 | ファナック株式会社 | ロボットの動作軌跡を自動で生成する装置、システム、および方法 |
| JP6499716B2 (ja) | 2017-05-26 | 2019-04-10 | ファナック株式会社 | 形状認識装置、形状認識方法及びプログラム |
| DE102018201589A1 (de) | 2018-02-01 | 2019-08-01 | KORIS Vision & Force GmbH | Verfahren zur Programmierung der Steuerung eines Industrieroboters, Verfahren zum Betreiben eines Industrieroboters, Programmiervorrichtung sowie Industrierobotersystem mit einer solchen Programmiervorrichtung |
-
2018
- 2018-04-18 JP JP2018079583A patent/JP6826069B2/ja active Active
-
2019
- 2019-03-06 US US16/293,965 patent/US11130236B2/en active Active
- 2019-04-11 CN CN201910288650.3A patent/CN110385694A/zh active Pending
- 2019-04-11 DE DE102019109624.3A patent/DE102019109624B4/de active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6654666B1 (en) * | 1994-05-18 | 2003-11-25 | Fanuc Limited | Programming method and apparatus for robot movement |
| JPH07314359A (ja) * | 1994-05-30 | 1995-12-05 | Nippon Telegr & Teleph Corp <Ntt> | マニピュレータ用追従装置およびその制御方法 |
| US20040189675A1 (en) * | 2002-12-30 | 2004-09-30 | John Pretlove | Augmented reality system and method |
| US20090132088A1 (en) * | 2007-04-24 | 2009-05-21 | Tairob Ltd. | Transfer of knowledge from a human skilled worker to an expert machine - the learning process |
| US20150094855A1 (en) * | 2012-05-04 | 2015-04-02 | Leoni Cia Cable Systems Sas | Imitation learning method for a multi-axis manipulator |
| US20160243704A1 (en) * | 2013-10-25 | 2016-08-25 | Aleksandar Vakanski | Image-based trajectory robot programming planning approach |
| CN107666988A (zh) * | 2015-05-29 | 2018-02-06 | 库卡罗伯特有限公司 | 用于确定路径点的方法 |
| WO2017130389A1 (ja) * | 2016-01-29 | 2017-08-03 | 三菱電機株式会社 | ロボット教示装置及びロボット制御プログラム作成方法 |
| JP2018015863A (ja) * | 2016-07-29 | 2018-02-01 | 川崎重工業株式会社 | ロボットシステム、教示データ生成システム及び教示データ生成方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112824060A (zh) * | 2019-11-21 | 2021-05-21 | 财团法人工业技术研究院 | 加工路径生成装置及其方法 |
| CN112824060B (zh) * | 2019-11-21 | 2023-03-28 | 财团法人工业技术研究院 | 加工路径生成装置及其方法 |
| US11648667B2 (en) | 2019-11-21 | 2023-05-16 | Industrial Technology Research Institute | Processing path generating device and method thereof |
| CN111360789A (zh) * | 2020-03-23 | 2020-07-03 | 广东美的白色家电技术创新中心有限公司 | 工件加工的示教方法、控制方法及机器人示教系统 |
| CN111360789B (zh) * | 2020-03-23 | 2021-11-16 | 广东美的白色家电技术创新中心有限公司 | 工件加工的示教方法、控制方法及机器人示教系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6826069B2 (ja) | 2021-02-03 |
| DE102019109624B4 (de) | 2022-11-03 |
| US20190321983A1 (en) | 2019-10-24 |
| JP2019188477A (ja) | 2019-10-31 |
| US11130236B2 (en) | 2021-09-28 |
| DE102019109624A1 (de) | 2019-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110385694A (zh) | 机器人的动作示教装置、机器人系统以及机器人控制装置 | |
| CN110026987B (zh) | 一种机械臂抓取轨迹的生成方法、装置、设备及存储介质 | |
| CN108161882B (zh) | 一种基于增强现实的机器人示教再现方法及装置 | |
| CN108284436B (zh) | 具有模仿学习机制的远程机械双臂系统及方法 | |
| WO2016193781A1 (en) | Motion control system for a direct drive robot through visual servoing | |
| JPH06314103A (ja) | 制御装置と能動的センシング装置 | |
| CN113829343B (zh) | 基于环境感知的实时多任务多人人机交互系统 | |
| CN114641375A (zh) | 动态规划控制器 | |
| Salvietti et al. | Multicontact bilateral telemanipulation with kinematic asymmetries | |
| JP4942924B2 (ja) | 仮想多関節物体を仮想環境で動きの連続により動かす方法 | |
| EP3790710A1 (en) | Robotic manipulation using domain-invariant 3d representations predicted from 2.5d vision data | |
| Jen et al. | VR-Based robot programming and simulation system for an industrial robot | |
| CN115122325A (zh) | 一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法 | |
| CN117103277A (zh) | 一种基于多模态数据融合的机械手臂感知方法 | |
| Wang et al. | A virtual end-effector pointing system in point-and-direct robotics for inspection of surface flaws using a neural network based skeleton transform | |
| Aleotti et al. | Trajectory reconstruction with nurbs curves for robot programming by demonstration | |
| Al Mashhadany et al. | Implement of Intelligent Controller for 6DOF Robot Based on a Virtual Reality Model | |
| US20220101477A1 (en) | Visual Interface And Communications Techniques For Use With Robots | |
| Wang et al. | Design and implementation of humanoid robot behavior imitation system based on skeleton tracking | |
| CN115481489A (zh) | 基于增强现实的白车身与生产线适配性验证系统及方法 | |
| CN112171664B (zh) | 基于视觉识别的生产线机器人轨迹补偿方法、装置和系统 | |
| CN112276947B (zh) | 一种机器人动作模仿方法、装置、设备及存储介质 | |
| Al-Junaid | ANN based robotic arm visual servoing nonlinear system | |
| Minowa et al. | Origami operations by multifingered robot hand with realtime 3D shape estimation of paper | |
| CN111438499A (zh) | 一种基于5g+工业ar的使用无约束力反馈的装配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |