CN112109069A - 机器人示教装置以及机器人系统 - Google Patents

机器人示教装置以及机器人系统 Download PDF

Info

Publication number
CN112109069A
CN112109069A CN202010542856.7A CN202010542856A CN112109069A CN 112109069 A CN112109069 A CN 112109069A CN 202010542856 A CN202010542856 A CN 202010542856A CN 112109069 A CN112109069 A CN 112109069A
Authority
CN
China
Prior art keywords
robot
movement
hand
image
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010542856.7A
Other languages
English (en)
Inventor
长野惠典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN112109069A publication Critical patent/CN112109069A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40116—Learn by operator observation, symbiosis, show, watch

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Numerical Control (AREA)

Abstract

本发明提供机器人示教装置以及机器人系统。机器人示教装置具备：图像获取装置，其获取表示拍摄对象的距离信息的距离图像或者拍摄对象的二维图像作为运动图像；轨迹检测部，其使用上述运动图像来检测在运动图像内作为上述拍摄对象被拍摄的操作员的手的移动轨迹；识别部，其识别检测出的移动轨迹是表示直线移动还是表示旋转移动；以及指令生成部，其在被识别为移动轨迹表示直线移动的情况下，输出使机器人的预定的可动部位根据移动轨迹平移的指令，在被识别为移动轨迹表示旋转移动的情况下，输出使机器人的预定的可动部位根据移动轨迹旋转移动的指令。

Description

机器人示教装置以及机器人系统
技术领域
本发明涉及机器人示教装置以及机器人系统。
背景技术
在利用使用了工业用机器人的系统执行各种作业的情况下，需要示教机器人以使机器人进行想要做的动作。工业用机器人的示教装置一般具有所谓的可进行点动操作的操作键或操作画面。
另一方面，作为示教装置的另一示例，国际公开第2017/130389号记载有：一种机器人示教装置，设置获取拍摄作业人员的手指和工作对象物的图像的图像输入装置、根据图像输入装置所获取的图像来检测作业人员的手指动作的手指动作检测部以及根据手指动作检测部检测到的手指的动作来推定针对作业对象物的作业人员的作业内容的作业内容推测部，控制程序生成部生成再现作业内容推定部所推定的作业内容的机器人的控制程序”(第0006段)。
在使用了示教装置的工业用机器人的示教中，大多使用示教装置的点动操作键的操作、对示教装置的画面进行触摸/滑动操作的示教方法。然而，在点动操作键的操作示教中，指示的自由度根据点动操作键的数量而受限制，并且，在画面的触摸/滑动操作的示教中，指示的自由度被限制在二维平面上。需要具有更高的自由度并且可以通过直观的操作进行机器人的示教的机器人示教装置和机器人系统。
发明内容
本公开的一个方式为示教机器人的机器人示教装置，具备：图像获取装置，其获取表示拍摄对象的距离信息的距离图像或者上述拍摄对象的二维图像作为运动图像；轨迹检测部，其使用上述运动图像检测在上述运动图像内作为上述拍摄对象而被拍摄的操作员的手的移动轨迹；识别部，其识别检测出的上述移动轨迹是表示直线移动还是表示旋转移动；以及指令生成部，其在由上述识别部识别出上述移动轨迹表示直线移动的情况下，输出使上述机器人的预定的可动部位根据上述移动轨迹平移的指令，在上述识别部识别为上述移动轨迹表示旋转移动的情况下，输出使上述机器人的上述预定的可动部位根据上述移动轨迹旋转移动的指令。
本公开的另一个方式是机器人系统，具备机器人、控制上述机器人的机器人控制装置以及上述机器人示教装置，上述机器人控制装置根据由上述机器人示教装置的上述指令生成部输出的上述指令来控制上述机器人。
附图说明
根据与附图关联的以下实施方式的说明来明确本发明的目的、特征以及优点。在这些附图中：
图1是表示一个实施方式的包含机器人示教装置的机器人系统的整体结构的图。
图2是表示机器人示教装置所具有的功能的功能框图。
图3是表示机器人示教装置作为示教操作盘而构成时的机器人示教装置的前表面的结构例的图。
图4是表示完成表现直线移动的手势输入的状态的示意图。
图5是表示完成表现旋转移动的手势输入的状态的示意图。
图6是表示手势示教处理的流程图。
图7是表示手掌朝向识别处理的流程图。
图8是表示通过手掌朝向识别处理识别指尖的位置的状态的示意图。
图9是表示使用二维图像获取手的三维位置信息时的拍摄面、透镜、基准面以及手的配置关系的示意图。
具体实施方式
以下，参照附图详细说明本公开的实施方式。在所有附图中，对相应的结构要素标注共同的参照标记。为了容易理解，适当变更这些附图的比例尺。另外，附图所示的方式是用于实施本发明的一个例子，本发明不限定图示的方式。
图1是表示一个实施方式的包含机器人示教装置30的机器人系统100的整体结构的图。图2是表示机器人示教装置30所具有的功能的功能框图。如图1所示，机器人系统100具备机器人10、控制机器人10的机器人控制装置20、用于进行机器人10的示教的机器人示教装置30。机器人10例如是垂直多关节机器人，但是也可以使用其他种类的机器人。机器人控制装置20通过控制机器人10各轴的电动机来控制机器人10的动作。机器人控制装置20具有作为一般计算机的结构，该计算机具有CPU、ROM、RAM、存储装置、显示部、操作部、通信部等。
机器人示教装置30例如是示教操作盘或平板终端型的示教装置，具有作为一般计算机的结构，该计算机具有作为硬件构成要素的CPU 31、ROM、RAM等存储器32、通信接口33等。机器人示教装置30经由通信接口33与机器人控制装置20连接。另外，机器人示教装置30具备包含各种操作键的操作部35、和显示部36(参照图3)作为用于进行示教的用户接口。本实施方式的机器人示教装置30还具有用于拍摄进行手势输入的操作员的手的图像获取装置34。
图像获取装置34是获取表示依赖于拍摄对象的空间位置的距离信息的距离图像作为运动图像的距离图像照相机、或者是获取拍摄对象的二维图像作为运动图像的照相机。作为一例，作为距离图像照相机的图像获取装置34的结构为，具有光源、投影图案光的投影机、夹着投影机配置在投影机两侧的两个照相机，从配置在不同位置的两个照相机拍摄投影了图案光的对象物，通过立体法来获取对象物的三维位置信息。或者，作为距离图像照相机的图像获取装置34也可以是具有光源和拍摄元件且测量光照射到对象物并返回的时间的TOF(Time of Flight飞行时间)方式的照相机。或者，作为距离图像照相机的图像获取装置34可以是立体照相机，在通过图像识别在由两个照相机拍摄的图像的每一个图像中识别出对象物的位置的基础上，通过立体声方法获取对象物的三维位置信息。另外，也可以使用其他类型的装置作为距离图像照相机。在图1-3所示的构成例中，图像获取装置34构成为内置于机器人示教装置30中的类型的装置，但图像获取装置34也可以构成为通过有线或无线与机器人示教装置30连接的外部装置。
图3示出了当机器人示教装置30被构成为示教操作盘时机器人示教装置30的前表面的结构例。如图3所示，图像获取装置34配置在机器人示教装置30中配置有操作部35和显示部36的前表面，从正面侧拍摄拍摄对象。在该结构中，操作员可以用一只手拿着机器人示教装置30，移动另一只手来进行手势输入。如以下详细说明的那样，机器人示教装置30在操作员的手的运动是直线移动的情况下，使机器人10的预定的可动部位平移(参照图4)，在操作员的手的运动是旋转移动的情况下，使机器人10的预定的可动部位旋转移动(图5)。以下，作为一例，预定的可动部位是机器人10的臂前端11。
如图2所示，机器人示教装置30除了图像获取装置34之外，还具备轨迹检测部311、识别部312和指令生成部313。这些功能例如通过CPU 31执行存储在存储器32内的软件来实现。轨迹检测部311使用由图像获取装置34获取的运动图像，检测在运动图像内作为拍摄对象被拍摄的操作员的手的移动轨迹。识别部312识别检测到的手的移动轨迹是表示直线移动还是表示旋转移动。指令生成部313在识别为移动轨迹表示直线移动的情况下，生成使机器人10的臂前端11根据移动轨迹平移的指令(参照图4)，在识别为移动轨迹表示旋转移动的情况下，输出使机器人10的臂前端11根据移动轨迹旋转移动的指令(参照图5)。机器人控制装置20根据来自机器人示教装置30的指令控制机器人10。
图6是表示手势的示教处理(以下记为手势示教处理)的流程图。图6的手势示教处理例如经由操作部35对机器人示教装置30完成预定的操作而被启动。在机器人示教装置30的CPU 31的控制下执行手势示教处理。当开始手势示教处理时，图像获取装置34进行拍摄。在进行手势输入时，操作员在图像获取装置34的影像中只放映操作员手的部分，考虑到为了不放映脸等其他部位而进行操作。
首先，机器人示教装置30(轨迹检测部311)在图像获取装置34获取的运动图像的各个帧中进行手的识别(步骤S11)。在图像获取设备34是距离图像照相机的情况下，对是二维照相机的情况下分别说明以帧为单位的手的识别。
(步骤S11：是距离图像照相机的情况)
在由距离图像照相机拍摄的各帧的图像中，到拍摄对象为止的距离例如表示为浓淡度。操作员的手可以被认为是在距离图像内作为一个块而聚集在一定的距离范围内的像素(即，在相邻像素之间距离没有太大变化的像素的集合)。因此，通过在距离图像中标记位于一定距离范围内的像素，可以将被标记的像素的集合识别为手。另外，在操作员在距离图像获取装置34有一定距离的位置(例如大致15cm)移动手的条件下，通过利用该方法进行图像识别，能够提高识别的精度。
(步骤S11：是二维照相机的情况)
在图像获取装置34是获取二维图像的运动图像的照相机的情况下，轨迹检测部311可以通过以下方法中的任意一种来进行手的识别。
(A1)在图像中将肤色像素分组并识别为手。此时，通过将图像的颜色信息从RGB例如转换为HSV(色相、色彩、亮度)来提取肤色区域，能够高精度地提取肤色区域。
(A2)通过深度训练的方法进行图像识别。作为一个例子，在卷积神经网络中预先学习多个手的图像，进行各帧的图像中的手的识别。此时，例如可以在操作员将手作为标准的姿势进行手势输入的条件下，作为训练数据准备并学习多人的标准姿势的手的图像。
(A3)通过模板匹配进行手的识别。此时，操作员可以在以预定手势(例如，标准的姿势)进行手势输入这样的条件下进行模板匹配。
另外，后面描述步骤S11的手掌朝向的识别。
当这样对每个帧进行手的识别时，接着轨迹检测单元311跟踪帧之间的手的运动并获取手的轨迹(步骤S12)。在步骤S12中，轨迹检测部311求出对各个帧进行了识别的手的重心。这里，可以使用根据在步骤S11识别出的手的二维位置信息来求出手的几何学重心的各种方法。轨迹检测部311通过连结所求出的各帧中的手的重心位置，得到手的移动轨迹。说明当图像获取装置34是距离图像照相机时和是二维照相机时各自手的移动轨迹的获取。
(S12：是距离图像照相机时)
在使用了距离图像时，通过步骤S11识别出的手的区域的像素具有距离信息，所以能够得到手的重心的三维位置。因此，此时，轨迹检测部311连接对每个帧进行识别的手的重心，由此得到手的移动轨迹的三维位置信息。
(S12：是二维照相机时)
通过连结在各帧的二维图像中识别出的手的重心的位置，可以得到手的移动轨迹的二维信息。为了使用二维照相机得到手的移动轨迹的三维信息，作为一个示例，在以下条件下进行手势输入。
(r1)操作员在机器人坐标系中已知的位置保持机器人示教装置30，以使图像获取装置34的透镜34b的光轴大致与机器人坐标系的X轴一致的姿势来保持。
(r2)操作员将与距离机器人示教装置30有预定距离的位置(例如15cm左右)的光轴垂直的基准面S0(即，X轴方向上的位置相对于图像获取装置34为相同的平面)意识为是在手势输入开始时成为配置手的基准的平面。
图9表示在上述条件(r1)以及(r2)下的图像获取装置34的拍摄元件的拍摄面34a、透镜34b以及基准面S0的位置关系。根据上述条件(r1)以及(r2)，机器人坐标系的X轴方向上的拍摄面34a以及基准面S0各自的位置P0、P1是已知的。预先存储在该配置关系中将手放在基准面S0的位置时的拍摄面34a中的手的图像的大小(像倍率)。在随着手势动作操作员的手相对于基准面S0向X轴方向移动，并且拍摄面34a的手的图像的大小发生了变化的情况下，与手在基准面S0时的手的图像的大小进行比较，由此根据透镜34b的焦点距离以及透镜的成像式可以求出X轴方向的手的位置(P2)。以上，在二维照相机的情况下，可以得到手的移动轨迹的三维位置信息。
通过以上得到的手的移动轨迹的三维位置是固定在图像获取装置34上的坐标系(以下记为照相机坐标系)中的位置信息，因此轨迹检测部311根据表示机器人10与图像获取装置34(机器人坐标系和照相机坐标系)之间的相对位置关系，将移动轨迹的坐标值转换为机器人坐标系中的坐标值。表示机器人10和图像获取装置34之间的相对位置关系的信息也可以通过以下方法得到。例如，当操作员以机器人坐标系中的已知的位置/手势(例如，在机器人坐标系中已知的位置处，使图像获取装置34的透镜的光轴大致与机器人坐标系的X轴一致的姿势)保持机器人示教装置30并进行手势输入时，在这样的条件下可以将移动轨迹的坐标值从照相机坐标系转换为机器人坐标系。或者，也可以在机器人示教装置30上安装用于检测位置/姿势的传感器(陀螺传感器、加速度传感器等)。此时，例如在机器人示教装置30启动时预先校准机器人坐标系与照相机坐标系之间的相对位置关系，始终通过上述传感器计算机器人坐标系中的机器人示教装置30的位置/姿势。也可以使用其他方法来求出机器人坐标系和照相机坐标系之间的相对位置关系。
接着，机器人示教装置30(识别部312)使用步骤S12中求出的手的移动轨迹，识别手的移动轨迹是表示直线移动还是表示旋转移动(步骤S13)。这里的识别作为一个例子，使用手的移动轨迹的二维位置信息(例如，将移动轨迹投影到某个平面上时的位置信息)来进行。使用哈夫转换来识别手的移动轨迹是否为直线移动。具体而言，通过以下步骤判定在步骤S12中得到的移动轨迹是否为直线。
(E1)相对于表示手的移动轨迹(x，y)的平面上的各点(x0，y0)，使用r＝x0cosθ+y0sinθ的关系，在(r，θ)平面上描绘通过该点的直线整体的集合。
(E2)在(r，θ)平面中多条曲线相交的点表示(x，y)平面的直线。这里，例如，在判定为(x，y)平面的轨迹上的预定数以上的像素在同一直线上的情况下，也可以判定手的移动轨迹为直线。
关于手的移动轨迹是否是旋转移动的识别，使用一般化哈夫变换。具体而言，通过一般化哈夫变换能够判定手的移动轨迹是否为圆形、椭圆形或二次曲线。作为一例，可以通过以下步骤识别移动轨迹是否为圆形。
(F1)相对于表示手的移动轨迹(x，y)的平面上的各个点(x0，y0)，使用(x0-A)2+(y0-B)2＝R2的关系在(A，B，R)空间中描绘通过该点的整个圆的集合。
(F2)在(A，B，R)空间中多个曲面共享的点表示(x，y)平面中的一个圆。这里，例如在判定为(x，y)平面的移动轨迹上的预定数以上的像素位于同一圆上的情况下，也可以判定手的移动轨迹是旋转。通过与圆的情况类似的方法，也可以通过判定(x，y)平面的轨迹上的像素是否位于同一椭圆上，或者是否位于二次曲线上，从而判定移动轨迹是否是旋转移动。
当判断为通过上述步骤(E1)、(E2)识别出直线移动时(S13：直线移动)，机器人示教装置30(指令生成部313)生成使臂前端11平移的指令，并发送到机器人控制装置20(步骤S14)。接受到直线移动指令的机器人控制装置20使机器人10的臂前端11平移。如图4所示，臂前端11的平移的移动路径A2与在步骤S12中检测到的手的移动轨迹的机器人坐标系中的移动路径A1平行。移动方向为与通过后述的方法识别出的手掌的朝向对应的方向。例如，如图4所示，在手掌朝向上方时，使臂前端11向上方移动。关于臂前端11的移动量，例如可以采取如下方法：(1)移动预先设定的距离，或者(2)移动与手的移动轨迹的长度相应的距离。移动速度也可以是预先对机器人10设定的值。
当判断为通过上述步骤(F1)和(F2)识别出旋转移动时(S13：旋转移动)，机器人示教装置30(指令生成部313)生成使臂前端11旋转移动的指令，并发送到机器人控制装置20(步骤S14)。接受了旋转移动指令的机器人控制器20使机器人10的臂前端11旋转移动。如图5所示，使臂前端11旋转移动时的旋转轴R1是与机器人坐标系中手的旋转移动的旋转轴R0的方向平行的方向。臂前端11的旋转方向C2可以与手的移动轨迹中的旋转方向C1一致。识别部312作为一例，能够根据在步骤S12中求出的手的三维移动轨迹求出手的移动轨迹的机器人坐标系中的旋转轴R0。
在直线移动和旋转移动都没有被检测到的情况下(S13：不可识别)，不使机器人10动作而结束本处理。
接着，对在步骤S11中执行的手掌的朝向的识别进行说明。图7是表示识别手掌的朝向的处理(以下记为手掌朝向识别处理)的流程图。在执行手掌方向识别处理时，将手势中使用的手是右手还是左手以及手势时的手的姿势预先登记到机器人示教装置30中。手势所使用的手的姿势作为一个例子是标准的手势。首先，轨迹检测部311使用在步骤S11中检测到的手的部分的像素组，提取手的轮廓(步骤S21)。接着，轨迹检测部311以相等间隔在手的轮廓线上打点(步骤S22)。接着，轨迹检测部311设定在将步骤S22中设定的点中邻接的点之间进行连接的线段，提取将某个点和该两侧的邻接点连接的两个直线形成的角度成为固定值以下的锐角的点(步骤S23)。这样，在轮廓线中提取指尖那样尖的部分。
接着，轨迹检测部311从步骤S23中提取的点选择距手的重心有一定距离的5个点，将其视为指尖位置(步骤S24)。图8的左侧表示在右手的手掌侧朝向图像获取装置34的情况下，通过图7的步骤S21-S24的处理检测出的指尖位置P11-P15的位置。另外，在图8的右侧，在右手的手背侧朝向图像获取装置34的情况下，表示通过图7的步骤S21-S24的处理检测出的指尖位置P21-P25的位置。通过预先决定手势输入所使用的手的左右，根据在手掌侧和手背侧指尖的位置关系如图8所示那样的不同，能够判定图像中显示的手掌的朝向(步骤S25)。例如，也可以根据位于相互比较近的位置的食指、中指、无名指、小拇指的指尖的位置和相对于它们的大拇指位于左右的哪侧来判定手掌或手背。
接着，说明识别手势时的开始/结束的定时。为了避免将操作员无意进行的手的运动识别为手势指示，例如，可以采用如下方法：以一定时间间隔进行手的移动轨迹的检测，在移动量为一定以下时不进行是直线移动还是旋转移动的识别。例如，也可以在以一定时间间隔反复启动图6的手势示教处理，在步骤S13中通过哈夫转换识别为直线移动或旋转移动的手的移动轨迹的移动量为一定量以下时判定为不可识别。这样，可以避免将操作员无意进行的手的运动识别为手势指示。另外，在步骤S11中手掌的朝向识别中例如在指尖不能识别的情况下，也可以在步骤S13中判定为不可识别。
根据以上所说明的本实施方式，可以有更高的自由度并且可以通过直观的操作进行机器人的示教。
以上说明了本公开的实施例，但是本领域技术人员应该理解，可以在不脱离技术方案的公开范围的情况下进行各种修正以及变更。
在上述实施方式中，轨迹检测部311、识别部312、指令生成部313的各功能块配置在机器人示教装置30中，但这些功能的至少一部分也可以配置在机器人控制装置20侧。
机器人示教装置30可以具有距离图像照相机和二维照相机这两者作为图像获取装置34。在这种情况下，将距离图像照相机和二维照相机配置成已知彼此的位置关系(即，彼此的图像的像素配置的关系)。在这样的结构中，可以同时使用在上述实施方式中说明的距离图像照相机时的各种识别方法和使用二维照相机时的各种识别方法。
执行上述实施方式所示的手势示教处理或手掌朝向识别处理的程序可以记录在计算机可读取的各种记录介质(例如ROM、EEPROM、闪存等半导体存储器、磁记录介质、CD-ROM、DVD-ROM等的光盘)中。

Claims (5)

1.一种机器人示教装置，该机器人示教装置示教机器人，
其特征在于，
上述机器人示教装置具备：
图像获取装置，其获取表示拍摄对象的距离信息的距离图像或者上述拍摄对象的二维图像作为运动图像；
轨迹检测部，其使用上述运动图像来检测在上述运动图像内作为上述拍摄对象而被拍摄的操作员的手的移动轨迹；
识别部，其识别检测出的上述移动轨迹是表示直线移动还是表示旋转移动；以及
指令生成部，其在上述识别部识别为上述移动轨迹表示直线移动的情况下，输出使上述机器人的预定的可动部位根据上述移动轨迹平移的指令，在上述识别部识别为上述移动轨迹表示旋转移动的情况下，输出使上述机器人的上述预定的可动部位根据上述移动轨迹旋转移动的指令。
2.根据权利要求1所述的机器人示教装置，其特征在于，
上述轨迹检测部根据表示上述机器人和上述图像获取装置之间的相对位置关系的信息，来检测上述移动轨迹作为机器人坐标系的坐标值，
上述指令生成部在由上述识别部识别为上述移动轨迹表示直线移动的情况下，生成上述指令使上述预定的可动部位与上述移动轨迹平行地移动。
3.根据权利要求1或2所述的机器人示教装置，其特征在于，
上述轨迹检测部还根据上述运动图像来检测手掌的朝向，
上述指令生成部根据检测出的上述手掌的朝向而设定使上述预定的可动部位平移时的移动方向。
4.根据权利要求1～3中任意一项所述的机器人示教装置，其特征在于，
上述识别部在识别为上述移动轨迹表示旋转移动时，还检测上述手的旋转移动的旋转轴作为机器人坐标系的坐标值，
上述指令生成部设定使上述预定的可动部位旋转移动时的旋转轴，以使得该使上述预定的可动部位旋转移动时的旋转轴与检测出的上述手的旋转移动的旋转轴平行。
5.一种机器人系统，其特征在于，
上述机器人系统具备机器人、控制上述机器人的机器人控制装置以及权利要求1～4中任意一项所述的机器人示教装置，
上述机器人控制装置根据由上述机器人示教装置的上述指令生成部输出的上述指令来控制上述机器人。
CN202010542856.7A 2019-06-21 2020-06-15 机器人示教装置以及机器人系统 Pending CN112109069A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-115464 2019-06-21
JP2019115464A JP7359577B2 (ja) 2019-06-21 2019-06-21 ロボット教示装置及びロボットシステム

Publications (1)

Publication Number Publication Date
CN112109069A true CN112109069A (zh) 2020-12-22

Family

ID=73654146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010542856.7A Pending CN112109069A (zh) 2019-06-21 2020-06-15 机器人示教装置以及机器人系统

Country Status (4)

Country Link
US (1) US11478922B2 (zh)
JP (1) JP7359577B2 (zh)
CN (1) CN112109069A (zh)
DE (1) DE102020115670A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114670189A (zh) * 2020-12-24 2022-06-28 精工爱普生株式会社 存储介质、以及生成机器人的控制程序的方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110238831B (zh) * 2019-07-23 2020-09-18 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法
US11999060B2 (en) * 2020-12-28 2024-06-04 Cloudminds Robotics Co., Ltd. Action learning method, medium, and electronic device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060229766A1 (en) * 2005-04-07 2006-10-12 Seiko Epson Corporation Motion control apparatus for teaching robot position, robot-position teaching apparatus, motion control method for teaching robot position, robot-position teaching method, and motion control program for teaching robot-position
WO2011065035A1 (ja) * 2009-11-24 2011-06-03 株式会社豊田自動織機 ロボットの教示データを作成する方法およびロボット教示システム
JP2011203936A (ja) * 2010-03-25 2011-10-13 Fuji Xerox Co Ltd 特徴点抽出装置及びこれを用いた動作教示装置、動作処理装置
JP2018010538A (ja) * 2016-07-14 2018-01-18 株式会社東海理化電機製作所 画像認識装置
JP2018015863A (ja) * 2016-07-29 2018-02-01 川崎重工業株式会社 ロボットシステム、教示データ生成システム及び教示データ生成方法
JP2018077744A (ja) * 2016-11-11 2018-05-17 株式会社東海理化電機製作所 ジェスチャ判定装置及びジェスチャ判定方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
JP5921248B2 (ja) * 2012-02-16 2016-05-24 キヤノン株式会社 ロボットの制御装置、ロボット、そのプログラム及びその制御方法
US20140022171A1 (en) * 2012-07-19 2014-01-23 Omek Interactive, Ltd. System and method for controlling an external system using a remote device with a depth sensor
EP2931485B1 (en) * 2012-12-14 2023-09-13 ABB Schweiz AG Bare hand robot path teaching
JP6228079B2 (ja) * 2014-07-16 2017-11-08 本田技研工業株式会社 移動ロボットの動作目標生成装置
JP6038417B1 (ja) 2016-01-29 2016-12-07 三菱電機株式会社 ロボット教示装置及びロボット制御プログラム作成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060229766A1 (en) * 2005-04-07 2006-10-12 Seiko Epson Corporation Motion control apparatus for teaching robot position, robot-position teaching apparatus, motion control method for teaching robot position, robot-position teaching method, and motion control program for teaching robot-position
WO2011065035A1 (ja) * 2009-11-24 2011-06-03 株式会社豊田自動織機 ロボットの教示データを作成する方法およびロボット教示システム
JP2011203936A (ja) * 2010-03-25 2011-10-13 Fuji Xerox Co Ltd 特徴点抽出装置及びこれを用いた動作教示装置、動作処理装置
JP2018010538A (ja) * 2016-07-14 2018-01-18 株式会社東海理化電機製作所 画像認識装置
JP2018015863A (ja) * 2016-07-29 2018-02-01 川崎重工業株式会社 ロボットシステム、教示データ生成システム及び教示データ生成方法
JP2018077744A (ja) * 2016-11-11 2018-05-17 株式会社東海理化電機製作所 ジェスチャ判定装置及びジェスチャ判定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114670189A (zh) * 2020-12-24 2022-06-28 精工爱普生株式会社 存储介质、以及生成机器人的控制程序的方法及系统
CN114670189B (zh) * 2020-12-24 2024-01-12 精工爱普生株式会社 存储介质、以及生成机器人的控制程序的方法及系统

Also Published As

Publication number Publication date
US11478922B2 (en) 2022-10-25
JP7359577B2 (ja) 2023-10-11
DE102020115670A1 (de) 2020-12-24
US20200398420A1 (en) 2020-12-24
JP2021000694A (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
CN107813310B (zh) 一种基于双目视觉多手势机器人控制方法
EP3035164B1 (en) Wearable sensor for tracking articulated body-parts
WO2019114339A1 (zh) 机械臂运动的校正方法和装置
JP3834297B2 (ja) 画像処理装置
JP7071054B2 (ja) 情報処理装置、情報処理方法およびプログラム
US9279661B2 (en) Information processing apparatus and information processing method
CN112109069A (zh) 机器人示教装置以及机器人系统
JP2020135623A (ja) 物体検出装置、制御装置及び物体検出用コンピュータプログラム
CN110288661B (zh) 手术灯的位置调整方法、装置、计算机设备和存储介质
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
JP6141108B2 (ja) 情報処理装置およびその方法
EP3127586A1 (en) Interactive system, remote controller and operating method thereof
EP3185106A1 (en) Operating apparatus, control method therefor, program, and storage medium storing program
JP6410411B2 (ja) パターンマッチング装置及びパターンマッチング方法
JP5174492B2 (ja) 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム
CN110363811B (zh) 用于抓取设备的控制方法、装置、存储介质及电子设备
JP2009216503A (ja) 三次元位置姿勢計測方法および装置
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
JP2021021577A (ja) 画像処理装置及び画像処理方法
US11508121B2 (en) Method for annotating points on a hand image to create training dataset for machine learning
JP2005323905A (ja) 眼球運動測定装置、及び眼球運動測定プログラム
JP2017162251A (ja) ３次元非接触入力装置
JP2832333B2 (ja) 物体の形状・姿勢検出装置
JP2005332229A (ja) 姿勢検出装置、姿勢検出方法、この方法のプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination