CN111487946A - 机器人系统 - Google Patents

机器人系统 Download PDF

Info

Publication number
CN111487946A
CN111487946A CN202010059442.9A CN202010059442A CN111487946A CN 111487946 A CN111487946 A CN 111487946A CN 202010059442 A CN202010059442 A CN 202010059442A CN 111487946 A CN111487946 A CN 111487946A
Authority
CN
China
Prior art keywords
robot
image
wearer
information
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010059442.9A
Other languages
English (en)
Other versions
CN111487946B (zh
Inventor
冈元崇纮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN111487946A publication Critical patent/CN111487946A/zh
Application granted granted Critical
Publication of CN111487946B publication Critical patent/CN111487946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40131—Virtual reality control, programming of manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Manufacturing & Machinery (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Numerical Control (AREA)

Abstract

本发明提供一种机器人系统，具备：机器人；机器人控制装置，其控制机器人；影像获取装置，其获取包括机器人以及机器人控制装置的作业空间的现实的影像；以及头部佩戴型的影像显示装置，其具备获取视线信息的视线追踪部。机器人控制装置具备：信息存储部，其将用于机器人的控制的信息与物体的种类相关联地存储；注视对象确定部，其基于视线信息在影像中确定出佩戴者在作业空间中注视的注视对象；以及显示处理部，其使与确定出的注视对象所对应的物体相关联的信息以佩戴者能够通过视觉执行内容的掌握、选择或者设定的一个图像的形式与注视对象并排显示在影像显示装置上。

Description

机器人系统
技术领域
本发明涉及机器人系统。
背景技术
近年来，期待增强现实(Augmented Reality：AR)技术应用到工业用机器人。例如，日本特开2016-107379号公报记载了在显示于具备拍摄装置的头戴式显示器的实际环境的机器人的图像上重叠显示表示工具前端点处的点动操作的方向的操作引导的机器人系统。日本特表2017-538218号公报记载了通过利用头戴式显示器所具备的视线追踪装置识别用户的注视对象，从而用户如鼠标光标那样使用视线来操作重叠显示于实际环境的影像上的应用启动器。
一般来说，在机器人系统中，为了使用户经由显示于示教操作面板的显示部等的用户界面来访问目标信息，需要进行依次选择分级提示的选择菜单找到目标信息的操作。希望具有用户能够更高效地访问所希望的信息的构成的机器人系统。
发明内容
本公开的一方式是一种机器人系统，具备：机器人；机器人控制装置，其控制上述机器人；影像获取装置，其获取包括上述机器人以及上述机器人控制装置的作业空间的现实的影像；以及头部佩戴型的影像显示装置，其具备获取佩戴者的视线信息的视线追踪部，上述机器人控制装置具备：信息存储部，其将用于上述机器人的控制的信息与存在于上述作业空间的物体的种类相关联地存储；注视对象确定部，其基于上述视线信息在上述影像中确定出上述影像显示装置的佩戴者在上述作业空间中注视的注视对象；以及显示处理部，其使与确定出的上述注视对象所对应的上述物体相关联的上述信息以上述佩戴者能够通过视觉执行内容的掌握、选择或者设定的一个图像的形式与上述注视对象并排显示在上述影像显示装置上。
附图说明
本发明的目的、特征以及优点通过与附图相关的以下的实施方式的说明更加清楚。该附图中，
图1是表示本公开的一实施方式的机器人系统的结构的图，
图2是机器人系统的功能框图，
图3是表示信息显示处理的流程图，
图4是选择是否新设定工具坐标系的选择菜单重叠于影像的显示画面例，
图5是表示通过视线对选择菜单进行选择操作的状态的图，
图6是与负荷信息有关的内容重叠于显示画面的显示画面例，
图7是与工具坐标有关的信息重叠于显示画面的显示画面例，
图8是与机器人的速度、轨迹有关的信息重叠于影像的显示画面例，
图9是与点动操作相关的信息重叠显示于影像的显示画面例，
图10是与关节的当前位置以及活动区域有关的信息重叠显示于影像的显示画面例，
图11是与禁止进入区域有关的信息重叠显示于影像的显示画面例，
图12是用于重新接通电源的选择菜单重叠显示于影像的显示画面例，
图13是与运转模式切换有关的选择菜单重叠于影像的显示画面例，
图14是与动作程序的动作状态有关的信息重叠于影像的显示画面例，
图15是用于对工具坐标系设定处理进行说明的图，
图16是用于对工具坐标系设定处理进行说明的图。
具体实施方式
以下，参照附图对本公开的实施方式进行说明。在所有附图中，对对应的构成要素标注共同的参照附图标记。为了容易理解，这些附图适当地变更比例尺。另外，附图所示的方式是用于实施本发明的一个例子，本发明并不局限于图示的方式。
图1是表示本公开的一实施方式的机器人系统100的结构的图。图2是机器人系统100的功能框图。如图1-2所示，机器人系统100具备机器人10；机器人控制装置50，其控制机器人10；影像获取装置91，其获取包括机器人10以及机器人控制装置50的作业空间的现实的影像；以及头部佩戴型的影像显示装置90，其具备获取佩戴者的视线信息的视线追踪部92。机器人控制装置50具备：信息存储部80，其将机器人10的控制所使用的信息与在作业空间存在的物体(机器人10、机器人控制装置50以及周边装置等)的种类相关联地存储；注视对象确定部51，其基于视线信息在影像中确定影像显示装置90的佩戴者在作业空间中注视的注视对象；以及显示处理部53，其使与确定出的注视对象所对应的物体相关联的信息以佩戴者能够通过视觉执行内容的掌握、选择或者设定的一个图像的形式在影像显示装置90上与注视对象并排地显示。在本实施方式中，影像获取装置91被集成在影像显示装置90，但这仅是例示，影像获取装置91也可以与影像显示装置90独立地设置。
在本实施方式中，机器人10是垂直多关节机器人，在臂前端部安装有工具12。此外，机器人10也可以是其他类型的机器人。例如，在机器人10是6轴机器人的情况下，机器人控制装置50从机器人10获取各轴(J1-J6)的位置作为表示机器人10的当前位置的信息。机器人控制装置50也可以具有作为具备CPU、ROM、RAM、存储装置等的通常计算机的结构。
影像显示装置90具有配置于佩戴者的双眼前部的显示器94，将由影像获取装置91获取到的影像显示到显示器94。作为视线追踪部92，能够使用测量视线的本领域已知的通常结构的装置。作为一个例子，视线追踪部92通过配置于影像显示装置90的佩戴者的双眼前方的位置的红外LED以及红外照相机获取佩戴者的双眼的角膜反射(基准点)与瞳孔(动点)的位置关系，并由此求出视线方向(图1中虚线的箭头E所示)。由影像获取装置91获取到的影像和由视线追踪部92得到的视线信息被发送至机器人控制装置50。图像处理部93执行将从机器人控制装置50提供的与注视对象有关的信息在来自影像获取装置91的影像内与注视对象并排地重叠显示的图像处理。
在本实施方式中，影像获取装置91以及视线追踪部92一体地设置于影像显示装置90，位置相对于佩戴者的头部固定。因此，能够通过使用由视线追踪部92测量出的视线信息(眼球的方向)来确定出影像内的佩戴者的注视对象。机器人控制装置50具有存储将作业空间内的各物体(机器人10、机器人控制装置50以及周边装置等)模型化后的物体模型的物体模型存储部81。作为一个例子，注视对象确定部51也可以通过使用存储于物体模型存储部81的物体模型的图像识别处理，确定出影像内的物体的位置以及物体上的注视对象部位。
机器人控制装置50还具备特征识别部52和工具坐标系设定部54。为了能够针对各物体的预先决定的每个特征部将该特征部固有的信息显示于影像显示装置90，信息存储部80将物体的预先决定的各特征部与特征部固有的信息相关联地存储。下述表1是存储于信息存储部80的信息的一个例子。如下述表1所示，针对机器人10预先决定的特征部例如是工具、关节部位，针对机器人控制装置50预先决定的特征部例如是电源开关、模式开关。各特征部固有的信息包括特征部的内部信息、设定信息。
表1
Figure BDA0002373958020000041
特征识别部52使用物体模型和影像以及视线信息识别被佩戴者注视的特征部。特征识别部52例如使用机器人10的物体模型和机器人10的各轴的当前位置，使物体模型采取与当前的机器人10的姿势对应的姿势，通过图案匹配来确定影像内的机器人10的位置，并且，识别佩戴者的注视对象位于对机器人10和物体分别预先设定的多个特征部中的哪个特征部。
显示处理部53从信息存储部80获取由特征识别部52识别出的特征部的固有的信息并提供给影像显示装置90，并使该信息图像化后在显示于显示器94的影像上重叠显示。在图1中，附图标记190是显示于影像显示装置90的显示器94的画面的例子。
图3是表示使与注视对象有关的信息以佩戴者能够通过视觉执行内容的掌握、选择或者设定的一个图像的形式在影像显示装置90上显示的处理(以下，记载为信息显示处理)的流程图。图3的信息显示处理在机器人控制装置50的CPU的控制下执行。具体而言，显示处理部53使用由注视对象确定部51以及特征识别部52得到的注视对象(特征部)的确定结果，使与注视对象(特征部)有关的信息与影像中的注视对象并排地显示。用户佩戴影像显示装置90，对于机器人控制装置50进行预定的操作，启动信息显示处理。首先，判定是否能够通过注视对象确定部51以及特征识别部52进行注视对象的确定(步骤S1)。在注视对象不能确定的情况下，待机到能够确定(步骤S1：否)。若注视对象被确定(S1：是)，则判定注视对象是否是机器人10的工具12(步骤S2)。
若判定为基于佩戴者的视线方向E的注视点A位于工具12上且注视对象是机器人10的工具12(S2：是)，则显示处理部53根据工具12的工具坐标系是否设定完毕、以及与工具12对应的负荷是否设定完毕，使佩戴者能够通过视觉执行工具坐标系的设定状态的掌握、工具坐标系的新设定或者变更设定、负荷的设定状态的掌握、以及负荷的新设定或者变更设定中的至少任意一方的图像显示在影像显示装置90上(步骤S6－S8)。
具体而言，在佩戴者注视工具12(S2：是)，机器人10处于停止中(S3：是)并且工具坐标系未设定(S4：否)的情况下，如图4所示，显示处理部53使工具坐标系未设定这样的消息301和选择是否新设定工具坐标系的选择菜单302与显示器94上的影像重叠显示(步骤S8)。在图4中，附图标记201表示在包括机器人10的影像上重叠有上述消息301以及选择菜单302的显示器94上的显示画面。
佩戴者能够在显示画面201上进行利用视线对于选择菜单302的选择(图5)。例如，机器人控制装置50在佩戴者的注视点A滞留在选择菜单302上的“是(YES)”附近数秒期间的情况下，能够判定为佩戴者选择“是”。这里，将在后面描述佩戴者选择“是”的情况下的工具坐标系设定处理。
在工具坐标系设定完毕(S4：是)并且未进行负荷设定的情况下(S5：否)，显示处理部53在步骤S7中使未进行负荷设定这样的消息311重叠于显示器94上的影像进行显示(图6)。另外，此时显示处理部53也显示用于通过视线选择是否新设定负荷信息的选择菜单312。在图6中，附图标记202表示包括机器人10的影像上重叠有上述消息311以及选择菜单312的显示器94上的显示画面。这里，佩戴者通过视线选择了选择菜单312上的“是”的情况下，显示处理部53也可以还显示用于输入负荷设定值的用户界面。
在工具坐标系被设定(S4：是)并且也进行了负荷设定的情况下(S5：是)，显示处理部53在步骤S6中使工具坐标系或者负荷信息的当前的设定值321重叠显示于显示器94上的影像(图7)。在图7中，附图标记203表示包括机器人10的影像上重叠显示有工具坐标系的设定值321的显示器94上的显示画面。另外，在该显示画面203也显示有用于指示移至设定值变更的处理、或者移至负荷信息的显示的选择菜单322。这里，在佩戴者通过视线选择了选择菜单322上的“变更”的情况下，移至后述的工具坐标系设定处理。在佩戴者通过视线选择了选择菜单322的“至负荷信息”的情况下，代替工具坐标系的设定值而显示负荷信息的设定值。负荷信息的设定值的显示图像显示有用于移至变更负荷信息的设定值的画面的菜单。
当在步骤S3中判断为机器人10处于动作中时(S3：否)，显示处理部53使佩戴者能够通过视觉执行将工具12移动的机器人10的动作信息的掌握的图像显示在影像显示装置90上。具体而言，在机器人10处于动作中(S3：否)并且机器人10正在执行动作程序的情况下(S9：是)，显示处理部53在步骤S10中使与机器人10的速度、轨迹有关的信息重叠显示于影像(图8)。在图8中，附图标记204表示在包括机器人10的影像上重叠显示有与机器人10的速度、轨迹有关的信息331的显示器94上的显示画面。显示画面204重叠显示有表示动作程序名称、机器人10的动作形式、速度倍率、示教速度、工具中心点的速度(TCP速度)的文字信息，并且工具前端的动作轨迹T以及示教点P重叠显示于图标上。
在机器人10处于动作中(S3：否)并且机器人10未执行动作程序的情况下(S9：否)，机器人控制装置50判断为机器人10正在执行基于使用与机器人控制装置50连接的示教操作面板(未图示)的点动操作的动作。该情况下，显示处理部53在步骤S11中使与点动操作相关的信息332重叠显示于影像(图9)。在图9中，附图标记205表示基于点动操作的机器人10的动作速度、动作范围、行进方向作为文字以及图像重叠显示在包括机器人10的影像上的显示器94上的显示画面。
在佩戴者的注视对象是机器人10的关节部位的情况下(S11：否，S12：是)，显示处理部53在步骤S13中使与关节部位的当前位置以及关节活动区域有关的信息333重叠显示于影像(图10)。这里，假设基于佩戴者的视线E的注视点A位于第5个关节部位(J5)。在图10中，附图标记206表示与第5个关节部位的当前位置以及关节活动区域有关的信息作为文字以及图像重叠显示在包括机器人10的影像上的显示器94上的显示画面。
在工业用机器人中，为了避免与机器的周围环境的干扰，而定义机器人不能进入的区域，存在具有在机器人要进入该区域的情况下使机器人停止的功能的情况。以下，将这样的区域记载为禁止进入区域。与禁止进入区域的位置有关的信息例如作为机器人10的基坐标系上的位置，存储于机器人控制装置50的信息存储部80。在步骤S14中，佩戴者的注视点A不是机器人10而是机器人10的周边环境的情况下(S14：是)，若在周边区域定义有禁止进入区域则显示处理部53使与禁止进入区域有关的信息重叠显示于影像(步骤S15；图11)。在图11中，附图标记207表示在包括机器人10的影像上重叠显示有作为图像的表示禁止进入区域的虚线H的显示器94上的显示画面。
在步骤S16-S21中，注视对象确定部51将设置于机器人控制装置50的选择开关确定为注视对象时，显示处理部53使佩戴者能够通过视觉执行选择开关的选择的图像显示在影像显示装置90上。具体而言，在佩戴者的注视对象是机器人控制装置50(S16：是)并且机器人10处于停止中的情况下(S17：是)，进一步辨别佩戴者的注视点A是机器人控制装置50的哪个部位(步骤S18、S20)。在判断为基于佩戴者的视线E的注视点A位于电源开关55附近且注视对象的特征部是电源开关55的情况下(S18：是)，显示处理部53在步骤S19中使用于选择是否进行重新接通电源的选择菜单341重叠显示于影像(图12)。在图12中，附图标记208表示选择菜单341作为文字信息重叠显示在包括机器人控制装置50的影像上的显示器94上的显示画面。在佩戴者通过视线选择了选择菜单341上的“是”的情况下，机器人控制装置50执行机器人10的电源重新接通。
在判断为基于佩戴者的视线E的注视点A位于模式切换开关56附近且注视对象的特征部是模式切换开关56的情况下(S18：否，S20：是)，显示处理部53在步骤S21中将表示机器人控制装置50的当前的运转模式的消息351和用于切换运转模式的选择菜单352重叠显示在影像上(图13)。在图13中，附图标记209表示消息351和选择菜单352作为文字信息重叠显示在包括机器人控制装置50的影像上的显示器94上的显示画面。在佩戴者通过视线选择了T1模式或者T2模式的任意一方的情况下，机器人控制装置50将运转模式切换到所选择的模式。
在佩戴者注视机器人控制装置50上的任意位置(S16：是)，机器人10不是停止中的情况下(S17：否)，判定为动作程序处于执行中(S22：是)，显示处理部53将表示动作程序的执行状态的信息361以及用于选择程序的暂时停止或者重新开始的选择菜单362重叠显示在影像上(步骤S23；图14)。在图14中，附图标记210表示将表示动作程序的状态的信息361以及选择菜单362作为文字信息重叠显示在在包括机器人控制装置50的影像的显示器94上的显示画面。在选择菜单362上佩戴者通过视线选择了“是”的情况下，机器人控制装置50使动作程序暂时停止。
接下来，参照图15-16对通过在步骤S8(图4)中选择了选择菜单302的“是”、或者在步骤S6(图7)中选择了选择菜单322的“变更”而执行的工具坐标系设定处理进行说明。工具坐标系设定处理由机器人控制装置50所具有的工具坐标系设定部54来执行。这里，工具坐标系设定处理是指对于机器人10的臂前端的法兰(flange)坐标系设定具有预定的关系的工具坐标系的处理。如图15所示，通过从多个方向观察工具前端的佩戴者的视线的交点来推断工具前端的位置。作为一个例子，如图15所示，佩戴者从2处位置注视工具前端，通过此时的2个视线方向E1、E2的交点求出工具前端的位置。
图16是用于对求出工具前端位置的具体方法进行说明的图。将法兰坐标系定义为ΣF，将机器人10的基坐标系定义为ΣR。ΣF与ΣR的关系根据机器人10的当前位置已知。这里，求出法兰坐标系ΣF上的工具前端的坐标(x，y，z)。将表示佩戴者从2个不同位置注视工具前端的情况下的头部的位置以及姿势的头部坐标系分别定义为ΣH、ΣH’。ΣH、ΣH’也可以使用固定于影像显示装置90的坐标系。头部坐标系ΣH、ΣH’能够使用在影像显示装置90搭载加速度传感器以及陀螺仪传感器而求出的方法、使用AR标记测定的方法等本领域已知的各种位置检测方法。根据以上所述，ΣR、ΣF、ΣH、ΣH’相互的变换已知。将接下来由视线追踪部92测量出的2个视线方向E1、E2的起点分别设定为ΣH、ΣH’的原点，将视线方向E1、E2与法兰坐标系ΣF上定义的任意的平面(例如，XY平面)的交点分别定义为点P、P’。该情况下，工具前端的坐标(x，y，z)能够作为线段OP与线段O’P’的交点M、或者线段OP与线段O’P’之间的距离最小的点求出。由此，能够设定与法兰坐标系具有预定的关系的工具坐标系。例如，也可以将工具坐标系的原点设定在工具前端。
在步骤S6-S8、S10、S11、S13、S15、S19、S20(否)、S21、S23之后，信息显示处理结束。此外，也可以在这些步骤之后使处理返回步骤S1继续处理。
如以上说明那样，根据上述实施方式，用户能够仅通过注视各物体的关心部位来执行与该部位有关的信息的掌握、选择或者设定。即，根据上述实施方式，能够实现用户更高效地访问所希望的信息。
以上，对本公开的实施方式进行了说明，但本领域技术人员应该理解能够在不脱离后述的技术方案的公开范围的情况下进行各种修正以及变更。
在上述的实施方式中，影像显示装置90为具备显示由影像获取装置91获取到的影像的显示器94的所谓的封闭型的结构，但影像显示装置90也可以是具有透射式显示器的结构。透射式显示器由半透半反镜构成，在佩戴显示器的佩戴者的视场上合成显示从机器人控制装置50提供的注视对象的信息。
在影像显示装置90是具有透射式显示器的结构的情况下，影像获取装置91也可以作为与影像显示装置90独立的装置与机器人控制装置50连接。在这样结构的情况下，在影像显示装置90设置检测佩戴者的头部的位置以及姿势的传感器(加速度传感器、陀螺仪传感器等)。作业空间内的物体的位置已知。该情况下，注视对象确定部通过掌握影像显示装置90与机器人10等对象物体的相对位置、佩戴者的头部的姿势、视线信息(眼球的方向)，求出面向对象物体的佩戴者的视线向量，在由影像获取装置获取到的影像内确定出注视对象。影像获取装置获取到的影像内的对象物体的位置的确定可以有通过图像识别处理进行的方法、使用影像获取装置与对象物体的相对位置关系进行的方法等。
图2所示的各功能模块的配置是例示，对机器人控制装置50和影像显示装置90的功能的分配并不局限于图2的例子。例如，进行使各种信息并排地与影像内的注视对象重叠的图像处理的图像处理部93也可以设置于机器人控制装置50。此时，重叠有各种信息的影像的信号从机器人控制装置50发送到影像显示装置90。另外，特征识别部52也可以设置于影像显示装置90。该情况下，特征识别部52使用从机器人控制装置50侧获取到的或者特征识别部52内所具有的物体模型，确定出影像内的注视点位于物体上的哪个特征部。
注视对象确定部51确定出物体上的注视对象部位的情况下，注视对象确定部51也可以将包括佩戴者的注视点的预定的范围设定为注视范围，将该注视范围所包含的部位确定为注视对象部位。该情况下，若例如佩戴者注视机器人的工具的附近，则工具被确定为注视对象部位，能够使用户便利性提高。另外，也可以使用户能够设定该注视范围。
执行图3所示的信息显示处理的程序能够记录于计算机可读取的各种记录介质(例如，ROM、EEPROM、闪存等半导体存储器、磁记录介质、CD－ROM、DVD－ROM等光盘)。

Claims (15)

1.一种机器人系统，其特征在于，具备：
机器人；
机器人控制装置，其控制上述机器人；
影像获取装置，其获取包括上述机器人以及上述机器人控制装置的作业空间的现实的影像；以及
头部佩戴型的影像显示装置，其具备获取佩戴者的视线信息的视线追踪部，
上述机器人控制装置具备：
信息存储部，其将用于上述机器人的控制的信息与存在于上述作业空间的物体的种类相关联地存储；
注视对象确定部，其基于上述视线信息在上述影像中确定出上述影像显示装置的佩戴者在上述作业空间中注视的注视对象；以及
显示处理部，其使与确定出的上述注视对象所对应的上述物体相关联的上述信息以上述佩戴者能够通过视觉执行内容的掌握、选择或者设定的一个图像的形式与上述注视对象并排显示在上述影像显示装置上。
2.根据权利要求1所述的机器人系统，其特征在于，
上述信息存储部将针对上述物体的预先决定的特征部与特征部固有的上述信息相关联地存储，
上述显示处理部使与上述注视对象所对应的上述特征部相关联的上述信息显示在上述影像显示装置上。
3.根据权利要求2所述的机器人系统，其特征在于，
上述机器人控制装置或者上述影像显示装置具备特征识别部，该特征识别部使用将上述物体模型化后的物体模型和上述影像以及上述视线信息识别上述特征部。
4.根据权利要求1～3的任一项所述的机器人系统，其特征在于，
当上述注视对象确定部将佩戴于上述机器人的手腕法兰的工具确定为上述注视对象时，上述显示处理部根据上述工具的工具坐标系是否设定完毕、以及与上述工具对应的负荷是否设定完毕，使上述佩戴者能够通过视觉执行上述工具坐标系的设定状态的掌握、上述工具坐标系的新设定或者变更设定、上述负荷的设定状态的掌握以及上述负荷的新设定或者变更设定中的至少任意一方的上述图像显示在上述影像显示装置上。
5.根据权利要求1～3的任一项所述的机器人系统，其特征在于，
当上述注视对象确定部将佩戴于上述机器人的手腕法兰的工具确定为上述注视对象时，上述显示处理部使上述佩戴者能够通过视觉执行移动上述工具的上述机器人的动作信息的掌握的上述图像显示在上述影像显示装置上。
6.根据权利要求4或者5所述的机器人系统，其特征在于，
该机器人系统还具备工具坐标系设定部，该工具坐标系设定部基于将头部配置于第一位置以及姿势的上述佩戴者注视上述工具时得到的第一上述视线信息、将头部配置于与上述第一位置以及姿势不同的第二位置以及姿势的上述佩戴者注视上述工具时得到的第二上述视线信息、上述机器人的基坐标系、上述机器人的法兰坐标系、上述基坐标系与上述头部的上述第一位置以及姿势的相对关系和上述基坐标系与上述头部的上述第二位置以及姿势的相对关系，设定上述工具坐标系。
7.根据权利要求1～6的任一项所述的机器人系统，其特征在于，
当上述注视对象确定部将上述机器人的关节部位确定为上述注视对象时，上述显示处理部使上述佩戴者能够通过视觉执行上述关节部位的轴位置的掌握以及上述关节部位的可动范围的掌握中的至少任意一方的上述图像显示在上述影像显示装置上。
8.根据权利要求1～7的任一项所述的机器人系统，其特征在于，
当上述注视对象确定部将包括上述机器人的禁止进入区域的周边环境的预定位置确定为上述注视对象时，上述显示处理部使上述佩戴者能够通过视觉执行上述禁止进入区域的掌握的上述图像显示在上述影像显示装置上。
9.根据权利要求1～8的任一项所述的机器人系统，其特征在于，
当上述注视对象确定部将设置于上述机器人控制装置的选择开关确定为上述注视对象时，上述显示处理部使上述佩戴者能够通过视觉执行上述选择开关的选择的上述图像显示在上述影像显示装置上。
10.根据权利要求1～9的任一项所述的机器人系统，其特征在于，
当上述注视对象确定部将上述机器人控制装置的任意位置确定为上述注视对象时，上述显示处理部使上述佩戴者能够通过视觉执行上述机器人的动作程序的执行状态的掌握以及上述动作程序的执行的选择中的至少任意一方的上述图像显示在上述影像显示装置上。
11.根据权利要求1～10的任一项所述的机器人系统，其特征在于，
上述机器人控制装置根据上述机器人是否处于停止，使上述显示处理部进行上述图像的显示处理。
12.根据权利要求1～11的任一项所述的机器人系统，其特征在于，
上述机器人控制装置或者上述影像显示装置具备将上述信息图像化为上述一个图像的形式的图像处理部。
13.根据权利要求1～12的任一项所述的机器人系统，其特征在于，
上述影像显示装置具备将上述影像获取装置获取到的上述影像与上述信息一起显示的显示器，上述注视对象确定部确定出上述佩戴者在上述显示器上作为上述影像注视的上述注视对象。
14.根据权利要求1～12的任一项所述的机器人系统，其特征在于，
上述影像显示装置具备显示上述信息的透射式显示器，上述注视对象确定部确定出上述佩戴者通过上述透射式显示器注视的现实的上述注视对象。
15.根据权利要求1～14的任一项所述的机器人系统，其特征在于，
上述影像获取装置搭载于上述影像显示装置、或者与上述影像显示装置独立设置。
CN202010059442.9A 2019-01-29 2020-01-19 机器人系统 Active CN111487946B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019013403A JP7000364B2 (ja) 2019-01-29 2019-01-29 ロボットシステム
JP2019-013403 2019-01-29

Publications (2)

Publication Number Publication Date
CN111487946A true CN111487946A (zh) 2020-08-04
CN111487946B CN111487946B (zh) 2024-03-29

Family

ID=71524251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010059442.9A Active CN111487946B (zh) 2019-01-29 2020-01-19 机器人系统

Country Status (4)

Country Link
US (1) US11267132B2 (zh)
JP (1) JP7000364B2 (zh)
CN (1) CN111487946B (zh)
DE (1) DE102020000390B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887373A (zh) * 2021-09-27 2022-01-04 中关村科学城城市大脑股份有限公司 基于城市智慧体育的并行融合网络的姿态识别方法和系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112265000B (zh) * 2020-11-13 2023-12-22 辽宁科技大学 一种弯管内表面磁粒研磨轨迹快速获取的装置及方法
JP2022088884A (ja) * 2020-12-03 2022-06-15 セイコーエプソン株式会社 コンピュータープログラム、及び、ロボットの教示方法
WO2022131068A1 (ja) * 2020-12-14 2022-06-23 ファナック株式会社 拡張現実表示装置、及び拡張現実表示システム
JP7149440B1 (ja) 2022-04-21 2022-10-06 三菱製鋼株式会社 操作装置
WO2024100719A1 (ja) * 2022-11-07 2024-05-16 ファナック株式会社 数値制御装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770710A (zh) * 2009-12-31 2010-07-07 哈尔滨工业大学 用于遥控焊接的激光视觉传感辅助遥控示教方法
CN102566523A (zh) * 2010-12-24 2012-07-11 中国科学院深圳先进技术研究院 管家机器人及基于管家机器人的网络控制系统
JP2015004948A (ja) * 2013-05-23 2015-01-08 独立行政法人理化学研究所 頭部装着型映像表示システム及び方法、頭部装着型映像表示プログラム
US20160269631A1 (en) * 2015-03-09 2016-09-15 Fujitsu Limited Image generation method, system, and apparatus
US20170206710A1 (en) * 2015-11-26 2017-07-20 Denso Wave Incorporated Information displaying system provided with head-mounted type display
CN107249497A (zh) * 2015-02-20 2017-10-13 柯惠Lp公司 手术室和手术部位感知
US20170372139A1 (en) * 2016-06-27 2017-12-28 Autodesk, Inc. Augmented reality robotic system visualization
WO2018190345A1 (ja) * 2017-04-11 2018-10-18 川崎重工業株式会社 ロボットシステム及びその運転方法
CN108972568A (zh) * 2017-05-31 2018-12-11 发那科株式会社 显示用于机器人的示教的信息的机器人系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
US6120461A (en) * 1999-08-09 2000-09-19 The United States Of America As Represented By The Secretary Of The Army Apparatus for tracking the human eye with a retinal scanning display, and method thereof
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US10248192B2 (en) 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
JP2016107379A (ja) 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
JP6746902B2 (ja) 2015-12-01 2020-08-26 株式会社デンソーウェーブ 作業者用頭部装着型ディスプレイの情報表示システム
JP6420229B2 (ja) 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP6902369B2 (ja) 2017-03-15 2021-07-14 株式会社オカムラ 提示装置、提示方法およびプログラム、ならびに作業システム
JP2020069538A (ja) 2018-10-29 2020-05-07 セイコーエプソン株式会社 表示システム、及び、表示システムの制御方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770710A (zh) * 2009-12-31 2010-07-07 哈尔滨工业大学 用于遥控焊接的激光视觉传感辅助遥控示教方法
CN102566523A (zh) * 2010-12-24 2012-07-11 中国科学院深圳先进技术研究院 管家机器人及基于管家机器人的网络控制系统
JP2015004948A (ja) * 2013-05-23 2015-01-08 独立行政法人理化学研究所 頭部装着型映像表示システム及び方法、頭部装着型映像表示プログラム
CN107249497A (zh) * 2015-02-20 2017-10-13 柯惠Lp公司 手术室和手术部位感知
US20160269631A1 (en) * 2015-03-09 2016-09-15 Fujitsu Limited Image generation method, system, and apparatus
US20170206710A1 (en) * 2015-11-26 2017-07-20 Denso Wave Incorporated Information displaying system provided with head-mounted type display
US20170372139A1 (en) * 2016-06-27 2017-12-28 Autodesk, Inc. Augmented reality robotic system visualization
WO2018190345A1 (ja) * 2017-04-11 2018-10-18 川崎重工業株式会社 ロボットシステム及びその運転方法
CN108972568A (zh) * 2017-05-31 2018-12-11 发那科株式会社 显示用于机器人的示教的信息的机器人系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887373A (zh) * 2021-09-27 2022-01-04 中关村科学城城市大脑股份有限公司 基于城市智慧体育的并行融合网络的姿态识别方法和系统

Also Published As

Publication number Publication date
US20200238536A1 (en) 2020-07-30
CN111487946B (zh) 2024-03-29
DE102020000390B4 (de) 2023-07-20
JP2020121351A (ja) 2020-08-13
DE102020000390A1 (de) 2020-07-30
JP7000364B2 (ja) 2022-01-19
US11267132B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
CN111487946B (zh) 机器人系统
Krupke et al. Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
CN110394780B (zh) 机器人的仿真装置
EP1435280B1 (en) A method and a system for programming an industrial robot
EP1537959B1 (en) A method and a system for programming an industrial robot
US11850755B2 (en) Visualization and modification of operational bounding zones using augmented reality
CN105666505B (zh) 具备扩展现实对应显示器的机器人系统
US7353081B2 (en) Method and a system for programming an industrial robot
US7236854B2 (en) Method and a system for programming an industrial robot
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20110311127A1 (en) Motion space presentation device and motion space presentation method
Zaeh et al. Interactive laser-projection for programming industrial robots
US20160346921A1 (en) Portable apparatus for controlling robot and method thereof
US20190163266A1 (en) Interaction system and method
Huy et al. See-through and spatial augmented reality-a novel framework for human-robot interaction
EP0743589B1 (en) Interactive image generation method and apparatus
Bolano et al. Transparent robot behavior using augmented reality in close human-robot interaction
JP2018202514A (ja) ロボットの教示のための情報を表示するロボットシステム
WO2019186551A1 (en) Augmented reality for industrial robotics
US20200039066A1 (en) Collaborative operation support device
Gregg-Smith et al. Investigating spatial guidance for a cooperative handheld robot
US20220331972A1 (en) Robot Image Display Method, Recording Medium, And Robot Image Display System
US20230356405A1 (en) Robot control system, and control device
JP2021065971A (ja) ロボット教示システム、画像生成方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant