CN102448681B - 动作空间提示装置、动作空间提示方法以及程序 - Google Patents

动作空间提示装置、动作空间提示方法以及程序 Download PDF

Info

Publication number
CN102448681B
CN102448681B CN201080023195.1A CN201080023195A CN102448681B CN 102448681 B CN102448681 B CN 102448681B CN 201080023195 A CN201080023195 A CN 201080023195A CN 102448681 B CN102448681 B CN 102448681B
Authority
CN
China
Prior art keywords
region
motion space
mobile robot
line segment
operating area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080023195.1A
Other languages
English (en)
Other versions
CN102448681A (zh
Inventor
水谷研治
佐藤太一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102448681A publication Critical patent/CN102448681A/zh
Application granted granted Critical
Publication of CN102448681B publication Critical patent/CN102448681B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40478—Graphic display of work area of robot, forbidden, permitted zone
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49137—Store working envelop, limit, allowed zone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)

Abstract

提供一种动作空间提示装置，生成用于对可动机器人的动作空间进行立体显示的数据。动作空间提示装置，生成用于提示可动机器人的动作空间的数据，包括：作业区域生成部(102)，生成可动机器人进行动作的三维区域；摄影部(104)，拍摄实际图像；位置姿势检测部(105)，检测摄影部(104)的拍摄位置和拍摄方向；以及重叠部(106)，按照从拍摄位置向拍摄方向来看可动机器人的线段近似模型时的像、与从所述拍摄位置向所述拍摄方向来看所述三维区域时的像之中的某一个像的可见难易度，来将这两个像有选择地重叠到由摄影部(104)拍摄的实际图像。

Description

动作空间提示装置、动作空间提示方法以及程序
技术领域
本发明涉及生成用于提示按照动作计划来动作的可动机器人的动作空间的数据的动作空间提示装置以及动作空间提示方法。
背景技术
关于以往的机器人，充分提供了禁止人进入的机器人专用的动作空间。但是，近些年例如家务支援机器人、以及双臂型的面向零部件生产的机器人等与人共享空间并执行任务的机器人在不断增多。
在人邻近这样的机器人来进行作业的情况下，若人不能确切地感知到机器人的动作空间，则会出现人与机器人接触受伤的情况。即使人没有受伤，由于机器人的紧急停止，会造成空载运行时间增加或由机器人执行的任务失败。
为了避开这样的障碍，例如专利文献1提出的移动机器人，将危险范围投影到移动机器人移动的路面上。据此，移动机器人提示危险范围，并实现灵活顺利的动作。
图27示出了专利文献1所示的移动机器人的概要。
动作计划部9902决定移动机器人9901的动作内容。
动作控制部9903根据决定后的动作内容、以及由编码器9908测量的车轮9906的信息，算出用于驱动车轮9906的信息。驱动部9904根据算出的信息，驱动车轮9906。并且，动作控制部9903根据决定后的动作内容、以及编码器9909测量的臂部9907的信息，算出用于驱动臂部9907的信息。驱动部9905按照算出的信息，驱动臂部9907。
这样，移动机器人9901移动，并且使臂部9907动作。显示控制部9910根据决定的动作内容，决定有可能移动以及动作的危险范围。投影仪9911将决定了的危险范围投影到移动机器人9901移动的路面上。这样，移动机器人9901提示危险范围，并实现灵活顺利的动作。
(现有技术文献)
(专利文献)
专利文献1日本特开2009-123045号公报
然而，在专利文献1中示出的移动机器人，不能提示多高为危险范围。
例如，在手臂机器人的情况下，通过投影仪手臂机器人利用的范围仅被投影到手臂机器人的设置面，但是对于判断手臂机器人能够被利用到哪个高度就比较困难了。假设手臂机器人仅使用从设置面开始60cm以上的部分来作为动作空间的情况下，专利文献1所公开的方法中就无法判断高度方向上的所有的动作空间。因此，作为手臂机器人的动作空间而能够使用的空间，也成为了不能利用的空间。
并且，在手臂机器人高速动作的情况下，由投影仪投影到手臂机器人的设置面的像也会高速地移动。而且，在投影仪所投影的接地面为曲面等情况下，被投影的像会发生变形，会出现误判断动作空间的情况。
发明内容
因此，根据被投影到设置面的像，从直觉上判断手臂机器人的动作空间整体是比较困难的。于是，本发明的目的在于提供一种动作空间提示装置，其生成用于在立体上显示机器人的动作空间的数据。
为了解决上述课题，本发明所涉及的工作空间提示装置，生成用于提示可动机器人的动作空间的数据，包括：作业区域生成部，生成所述可动机器人进行动作的三维区域；摄影部，拍摄实际图像；位置姿势检测部，检测作为所述摄影部的位置的拍摄位置和所述摄影部的拍摄方向；重叠部，按照线段近似模型像以及作业区域像之中的某一个的可见难易度，来将该线段近似模型像以及该作业区域像有选择地重叠到由所述摄影部拍摄的所述实际图像，所述线段近似模型像是指，从所述拍摄位置向所述拍摄方向来看所述可动机器人的线段近似模型时的像，所述作业区域像是指，从所述拍摄位置向所述拍摄方向来看所述三维区域时的像。
据此，动作空间提示装置能够生成用于立体显示可动机器人的动作空间的数据，所述可动机器人是按照动作计划来动作的。并且，通过根据不易看到的程度而有选择地进行重叠，从而能够生成适于显示的数据。
并且，也可以是，所述重叠部，在按照用于评价所述可见难易度的基准，将所述作业区域像评价为不易看到之时，将所述线段近似模型像重叠到所述实际图像。
据此，在动作区域像不易看到之时，线段近似模型像被重叠。因此，能够生成适于显示的数据。
并且，也可以是，所述作业区域生成部包括：线段近似模型保持部，保持所述可动机器人的所述线段近似模型；动作模拟器，按照用于使所述可动机器人动作的动作计划，在虚拟空间内使所述线段近似模型动作；以及三维区域生成部，根据所述动作模拟器使所述线段近似模型动作后的结果，来生成所述可动机器人动作的所述三维区域。
据此，动作空间提示装置利用可动机器人的线段近似模型，生成作为可动机器人的动作空间的三维区域。因此，动作空间提示装置能够减少运算处理。
并且，也可以是，所述重叠部，按照所述三维区域的平滑度和从所述拍摄位置到所述可动机器人的位置的距离之中的至少一方，将所述线段近似模型像与所述作业区域像之中的某一个重叠到所述实际图像，所述线段近似模型像是，从所述拍摄位置向所述拍摄方向，来看由所述动作模拟器而进行动作的所述线段近似模型时的像。
据此，动作空间提示装置能够按照平滑程度以及距离，来表现更易感知的形态。
并且，也可以是，所述重叠部，在所述三维区域被评价为平滑时，将所述线段近似模型像重叠到所述实际图像，在所述三维区域被评价为不平滑时，将所述作业区域像重叠到所述实际图像。
据此，在动作空间平滑且不易知道的情况下，为了进行更易感知的显示，而采用线段近似模型。
并且，也可以是，所述重叠部，在从所述拍摄位置到所述可动机器人的位置的距离满足预先决定的条件时，将所述线段近似模型像重叠到所述实际图像，在从所述拍摄位置到所述可动机器人的位置的距离不满足预先决定的条件时，将所述作业区域像重叠到所述实际图像。
据此，从摄影部到动作空间的距离过近不容易知道的情况下，为了进行更易感知的显示，而采用线段近似模型。
并且，也可以是，所述动作空间提示装置还具备区域表现调整部，对由所述作业区域生成部生成的所述三维区域的表现形式进行变更。
据此，动作空间的表现形式被变更为更容易知道的表现形式。
并且，也可以是，所述区域表现调整部，根据所述可动机器人按照所述动作计划在所述三维区域中进行动作时的每单位时间的移动量，来对构成所述三维区域的二维平面的表现形式进行变更。
据此，根据速度，动作空间的表现形式被变更。例如，动作空间提示装置能够针对速度快的部分，表现出更高的危险程度。
并且，也可以是，所述区域表现调整部，根据在所述动作计划中被区分的模式的不同，来对构成所述三维区域的二维平面的表现形式进行变更。
据此，动作空间提示装置能够表现各个模式的动作空间。
并且，也可以是，所述重叠部，还将所述模式的执行顺序，重叠到所述作业区域像和所述实际图像中的至少一方，所述模式的执行顺序是按照所述动作计划而被决定的所述执行顺序。
据此，动作空间提示装置能够按照各个模式来表现动作空间被利用的顺序。
并且，也可以是，所述重叠部，还将当前正在执行中的所述模式的结束预定时间，重叠到所述作业区域像与所述实际图像中的至少一方。
据此，动作空间提示装置能够表现，直到预定结束时间为止，由目前正在执行中的模式利用的动作空间以外的空间能够被利用。
并且，也可以是，所述重叠部，在从所述拍摄位置到所述可动机器人的位置的距离为比第一长度短的第二长度时，使所述作业区域像的透明度降低得，比从所述拍摄位置到所述可动机器人的位置的距离为所述第一长度之时更低后，将所述作业区域像重叠到所述实际图像。
据此，动作空间提示装置能够表现直到动作空间为止的远近。并且，动作空间提示装置通过降低透明度，从而能够表现出危险正在接近。
并且，也可以是，所述作业区域生成部，将所述可动机器人在所述三维区域中进行动作的区域、与所述可动机器人在所述三维区域中进行动作的时刻对应起来，生成所述三维区域；所述重叠部，从所述三维区域中抽出在当前时刻以后所述可动机器人进行动作的所述区域，并将从所述拍摄位置向所述拍摄方向来看被抽出的所述区域时的像作为所述作业区域像，重叠到所述实际图像。
据此，动作空间提示装置能够预先生成作为可动机器人的动作空间的、基于动作计划的三维区域。因此，动作空间提示装置能够减少在进行重叠时的运算处理。
并且，也可以是，所述位置姿势检测部，根据由所述摄影部拍摄的、示出位置的可视标记，来检测所述拍摄位置和所述拍摄方向。
据此，动作空间提示装置可以不必依赖于位置传感设备以及姿势传感设备，就能够检测摄影部的拍摄位置以及拍摄方向。
并且，也可以是，所述动作空间提示装置还包括与所述摄影部一起移动的显示部；所述显示部，对由所述重叠部重叠到所述实际图像的所述作业区域像进行显示。
据此，动作空间提示装置可以不依赖于外部的显示单元就能够显示被重叠的图像。并且，通过使摄影部与显示部一起移动，从而能够在没有任何不协调感的情况下将图像显示在显示部。
并且，也可以是，所述动作空间提示装置还具备动作计划保持部，该动作计划保持部保持用于使所述可动机器人动作的动作计划；所述动作区域生成部，按照所述动作计划保持部所保持的所述动作计划，来生成所述三维区域。
据此，动作空间提示装置可以不依赖于网络等通信单元，就能够获得可动机器人的动作计划。
并且，也可以是，本发明所涉及的动作空间提示方法，生成用于提示可动机器人的动作空间的数据，包括：作业区域生成步骤，生成所述可动机器人进行动作的三维区域；位置姿势检测步骤，检测作为拍摄实际图像的摄影部的位置的拍摄位置和所述摄影部的拍摄方向；以及重叠步骤，按照线段近似模型像以及作业区域像之中的某一个的可见难易度，来将该线段近似模型像以及该作业区域像有选择地重叠到由所述摄影部拍摄的所述实际图像，所述线段近似模型像是指，从所述拍摄位置向所述拍摄方向来看所述可动机器人的线段近似模型时的像，所述作业区域像是指，从所述拍摄位置向所述拍摄方向来看所述三维区域时的像。
据此，能够生成用于对按照动作计划来动作的可动机器人的动作空间进行立体显示的数据。并且，通过根据能够看到的难易度来有选择地重叠，从而能够生成适于显示的数据。
并且，也可以是，本发明所涉及的程序生成用于提示可动机器人的动作空间的数据，并且使计算机执行以下的步骤：作业区域生成步骤，生成所述可动机器人进行动作的三维区域；位置姿势检测步骤，检测作为拍摄实际图像的摄影部的位置的拍摄位置和所述摄影部的拍摄方向；以及重叠步骤，按照线段近似模型像以及作业区域像之中的某一个的可见难易度，来将该线段近似模型像以及该作业区域像有选择地重叠到由所述摄影部拍摄的所述实际图像，所述线段近似模型像是指，从所述拍摄位置向所述拍摄方向来看所述可动机器人的线段近似模型时的像，所述作业区域像是指，从所述拍摄位置向所述拍摄方向来看所述三维区域时的像。
据此，所述动作空间提示方法能够作为程序来实现。
根据本发明，能够生成用于对机器人的动作空间进行立体显示的数据。
附图说明
图1是实施例1中的动作空间提示装置的功能方框图。
图2示出了实施例1中的动作空间提示装置的利用状态。
图3示出了实施例1中的动作空间提示装置的外观。
图4示出了实施例1中的动作空间提示装置的显示内容的一个例子。
图5示出了实施例1中的动作计划保持部的动作计划的一个例子。
图6是实施例1中的作业区域生成部的功能方框图。
图7示出了实施例1中的线段近似模型的一个例子。
图8示出了实施例1中的三维区域生成部的动作的一个例子。
图9示出了实施例1中的区域表现调整部的动作的一个例子。
图10示出了实施例1中的重叠部的动作的一个例子。
图11示出了实施例1中的动作空间提示装置中所显示的动作空间的一个例子。
图12示出了实施例2中的区域显示调整部的动作的一个例子。
图13示出了实施例2中的动作空间提示装置所显示的动作空间的一个例子。
图14是示出了实施例3中的动作计划保持部的动作计划的一个例子。
图15示出了实施例3中的区域显示调整部的动作的一个例子。
图16示出了实施例3中的动作空间提示装置所显示的动作空间的一个例子。
图17示出了实施例3中的动作空间提示装置所显示的动作空间的第一变形例。
图18示出了实施例3中的动作空间提示装置中所显示的动作空间的第二变形例。
图19示出了实施例4中的区域显示调整部的动作的一个例子。
图20示出了实施例4中的三维区域的一个例子。
图21示出了实施例4中的动作空间提示装置中所显示的动作空间的一个例子。
图22是实施例5中的动作空间提示装置的功能方框图。
图23示出了实施例5中的动作空间提示装置的利用状态。
图24示出了实施例5中的动作空间提示装置的外观。
图25示出了实施例5中的重叠部的动作的一个例子。
图26是实施例6中的动作空间提示装置的功能方框图。
图27是以往技术中的提示危险范围的装置的功能方框图。
具体实施方式
以下，参照附图对本发明的实施例进行说明。
(实施例1)
图1是实施例1中的动作空间提示装置的功能方框图。
图1中的动作计划保持部101保持手臂机器人等可动机器人的动作计划。作业区域生成部102根据动作计划保持部101所保持的动作计划，生成作为可动机器人的动作空间的三维区域。区域表现调整部103为了使人容易感知到被生成的三维区域，而进行变形或对构成三维区域的二维平面的纹理进行加工。
摄影部104拍摄实际世界图像。位置姿势检测部105检测摄影部104在实际世界中的位置和姿势。重叠部106从由区域表现调整部103输出的三维区域中，抽出当前时刻以后可动机器人所要使用的三维区域，并利用摄影部104的视点，重叠到实际世界图像的二维平面。显示部107是用于使人确认三维区域的显示单元。
作业区域生成部102和区域表现调整部103直到可动机器人开始动作为止结束处理。可动机器人开始动作之后，重叠部106按照摄影部104的位置和姿势、以及可动机器人的动作的经过时间，将相当于可动机器人的动作空间的三维区域显示到显示部107。这样，动作空间提示装置100能够将可动机器人的动作空间提示给人。并且，作业区域生成部102与区域表现调整部103也可以与可动机器人的动作并行进行处理。
图2示出了图1所示的动作空间提示装置100的利用状态。
动作空间提示装置100被用于人201与可动机器人202相邻并进行作业的环境中。动作计划保持部101、作业区域生成部102、区域表现调整部103、以及重叠部106作为动作空间提示装置100的电子电路而被安装。摄影部104以及显示部107被安装在动作空间提示装置100的表面。
并且，位置姿势检测部105，通过被安装在动作空间提示装置100的传感设备、以及被安装作业环境内的传感设备，来检测摄影部104的拍摄位置以及拍摄方向。在实施例1中，作为作业环境内的传感设备，在天花板上设置有多个位置传感设备204，在地面上设置有多个姿势传感设备205。
图3示出了图1所示的动作空间提示装置100的外观。
动作空间提示装置100作为显示终端而被构成，其中包括：拍摄实际世界的摄像机301、以及用于显示三维区域被重叠到实际世界后的图像的显示画面302。图1所示的摄影部104被安装有摄像机301等。并且，图1所示的显示部107被安装有显示画面302等。
显示画面302也可以如便携式电话以及PDA(Personal DigitalAssistant：个人数字助理)等，以人201能够手持的大小来实现。并且，显示画面302也可以是以眼镜镜片左右的大小的、安装有目镜的头戴式显示器来实现。
位置传感设备303是动作空间提示装置100的位置传感设备，与环境一侧的位置传感设备204联动，来检测动作空间提示装置100的实际世界中的位置。动作空间提示装置100的位置传感设备303和作为环境内的位置传感设备204例如是通过利用了UWB(Ultra Wide Band：超宽带)的周知的室内GPS(Global Positioning System：全球定位系统)等来实现位置检测。
并且，姿势传感设备304是动作空间提示装置100的姿势传感设备，与动作环境内的姿势传感设备205联动，来检测动作空间提示装置100的姿势。动作空间提示装置100的姿势传感设备304与环境一侧的姿势传感设备205，例如通过使用利用了磁气的周知的三维倾角传感器，来实现姿势检测。
另外，由于动作空间提示装置100与摄影部104成为一体，因此动作空间提示装置100的位置以及姿势能够替换为图1所示的摄影部104的拍摄位置以及拍摄方向。在此，摄影位置意味着摄影部104本身的位置。并且，拍摄方向意味着从摄影部104向被摄体的方向。
图4示出了实施例1的动作空间提示装置100的显示内容的一个例子。
人201经由动作空间提示装置100，通过观察可动机器人202，从而能够在直觉上掌握可动机器人202的动作空间。例如，人201与可动机器人202的距离远的情况下，显示内容401被显示在显示画面302。显示内容401的动作空间402为可动机器人202的动作空间。
并且，若人201与可动机器人202的距离接近，例如显示内容就被显示在显示画面302。在这种情况下，可动机器人202的动作空间404由于人201与可动机器人202的距离较近，因此显示比动作空间402大的空间。
并且，在距离更接近时，例如显示内容405被显示在显示画面302。可动机器人202的动作空间406，由于人201与可动机器人202的距离进一步接近，因此显示比动作空间404更大的空间。但是，动作空间被显示得很大的情况下，人201会难于区分动作空间与动作空间以外的空间。因此，在这种例子中动作空间提示装置100通过降低动作空间的透明度，以便更明确地将动作空间提示给人201。
即，动作空间提示装置100的重叠部106，在从拍摄位置到可动机器人202的距离为比第一长度短的第二长度之时，比在第一长度之时降低示出动作空间的作业区域像的透明度。并且，重叠部106使降低透明度的作业区域像与实际世界的图像重叠。
图5示出了图1所示的动作计划保持部101所保持的动作计划的一个例子。
图5所示的动作计划501由作为JIS标准的产业用机器人语言的SLIM(Standard Language for Industrial Manipulator：产业用机器人语言)来描述。在用于操作机器人的语言中，从被标准化后的规格到面向特殊的机器人的设计存在各种各样的语言。动作计划501也可以由SLIM以外的语言规格来描述。即使是其他的语言，本发明也可以执行。
根据动作计划501的动作如以下所述。即，在可动机器人202的前端位于空间位置C来执行动作计划501的情况下，可动机器人202的前端以100的速度向空间位置A移动。接着，可动机器人202的前端以50的速度向空间位置B移动，接着向空间位置C移动。可动机器人202的前端以空间位置A、空间位置B、以及空间位置C的顺序，反复动作10次。
图6是图1所示的作业区域生成部102的功能方框图。可动机器人202的形状由近似线段来表现，作为线段近似模型(也称为线性近似模型或区间线性近似模型)被存放到线段近似模型保持部601。
图7示出了实施例1中的线段近似模型的一个例子。
实际的机器人的形状701一般不是直线形，在考虑到安全性和轻量化之上大多采用曲面的形状。动作空间提示装置100通过利用表现曲面的算式，从而能够更精确地表现提示给人201的动作空间。但是，在根据表现曲线的算式来计算机器人的形状时，会出现计算量增加的问题。因此，例如实际的机器人的形状701被事先变换为近似模型，以便成为由近似的多个直线的线段来表现的线段近似模型702。
线段近似模型702是线段近似模型的一个例子，是能够包含实际的机器人的形状701的最小的多面体。线段近似模型702例如由线段近似模型的内部形式703来表现。线段近似模型的内部形式703作为构成多面体的线段的集合，由XML(Extensible Markup Language：可扩展标记语言)来表现。
在线段近似模型的内部形式703，线段由<line>标记来表现。并且，属性start表示线段的始点，属性end表示线段的终点。在属性attr为body的情况下，线段则表示是构成可动机器人202的形状的线段，在属性attr为traj的情况下，线段则表示动作的轨迹。并且，线段的集合由<polygons>标记来表现。另外，实际上在图7所示的线段近似模型的内部形式703的p1至p8中，存放有具有单位的三维坐标值。
图6所示的动作模拟器602根据动作计划保持部101中所保持的动作计划，使被保持在线段近似模型保持部601内的线段近似模型在虚拟空间内动作。三维区域生成部603以一定的时间间隔ΔT来对可动机器人202的动作进行采样，生成并输出作为可动机器人202的动作空间的三维区域。
图8示出了图6所示的三维区域生成部603的动作的一个例子。
图8所示的线段近似模型702构成可动机器人202的一部分。并且，线段近似模型702按照动作计划501，在伴随着姿势的变化的状态下，从空间位置A(时刻t＝0)移动到空间位置B(时刻t＝2ΔT)。
为了便于说明并不失普遍性，着眼于构成图8中的线段近似模型702的线段p1p2。随着可动机器人202从空间位置A移动到空间位置B，线段p1p2从空间位置A的线段801移动到空间位置B的线段803。但是，三维区域生成部603以一定的时间间隔ΔT对动作进行采样。因此，中间的位置的线段802也被采样。
并且，如三维区域的内部形式804所示，表现动作空间的三维区域被生成。另外，三维区域生成部603将动作计划501的开始时刻设定到<polygons>标记的属性time。以下，关于时刻表示，记载为[时]:[分]:[秒]。并且，实际上在图8所示的三维区域的内部形式804的p1(0)、p2(0)、p1(ΔT)、p2(ΔT)、p1(2ΔT)以及p2(2ΔT)中，被存放有具有单位的三维坐标值。
区域表现调整部103对由作业区域生成部102输出的三维区域的形状或构成三维区域的二维平面纹理进行加工。图9示出了区域表现调整部103通过可动机器人202的动作速度，使构成三维区域的二维平面的色彩发生变化的例子。
表现三维区域的线段形成以这些线段为边的多角形。三维区域的内部形式903的<polygon>标记示出多角形。属性start的值示出可动机器人202进入二维平面的相对时刻。属性end的值示出可动机器人202从二维平面出来的相对时刻。并且，图9所示的三维区域的内部形式903被区分为二维平面901和二维平面902，二维平面901由时刻从0到ΔT为止的动作而形成，二维平面902由时刻从ΔT到2ΔT的动作而形成。
并且，构成各个二维平面的线段中的、由移动的轨迹生成的线段，由attr属性的值为traj的<line>标记来表现。并且，由移动的轨迹生成的线段的长度与动作速度成正比。
并且，在图9所示的例子中，包括示出快速动作的轨迹的二维平面901的色彩为红色，<polygon>标记的属性color的值为red。包括示出缓慢动作的轨迹的二维平面902的色彩为黄色，<polygon>标记的属性color的值为yellow。
重叠部106从由区域表现调整部103加工的三维区域中，抽出从当前时刻以后可动机器人202所使用的三维区域。更具体而言，重叠部106将可动机器人202开始动作的时刻作为相对时刻00:00:00，算出当前的相对时刻。并且，仅抽出<polygons>标记的属性time的值比当前的相对时刻晚的三维区域。
重叠部106将作为可动机器人202的动作空间的三维区域作为半透明的纹理，重叠到以摄像机301拍摄的实际世界的图像。图10示出了重叠部106将从拍摄位置向拍摄方向看到的三维区域的像，重叠到以摄像机301拍摄的实际图像的例子。
可动机器人202的位置是已知的。并且，在实际世界中的摄影部104的拍摄位置与拍摄方向由位置姿势检测部105跟踪。摄像机301的规格(透镜焦点距离、摄像元件的形状)是已知的。
通过CG(Computer Graphics)的处理，算出用于将可动机器人202的动作空间变换到从摄影部104的拍摄位置向拍摄方向看到的像的行列式。即，计算用于将世界坐标系(Xw，Yw，Zw)变换到显示坐标系(xc，yc)的行列式。重叠部106利用该行列式将三维区域投影到二维平面，并重叠到包括可动机器人202的实际图像。
在实施例1中，重叠时的透明度被设定为与从拍摄位置和可动机器人202的位置计算出的距离成正比的值。
并且，人201与可动机器人202之间的距离，与拍摄位置和可动机器人202之间的距离以及动作空间提示装置100和可动机器人202之间的距离近似。并且，图10所示的可动机器人202的世界坐标Pr是已知的。并且，时刻t的动作空间提示装置100的世界坐标Pd(t)，通过位置传感设备204为已知。因此，时刻t的人201与可动机器人202之间的距离d(t)，由d(t)＝|Pr-Pd(t)|来计算。并且，重叠部106能够按照计算出的距离，将三维区域的像重叠到实际图像。
通过这样的构成，如图11所示，动作空间提示装置100提示动作空间。据此，人201能够立体地并且在直觉上感知可动机器人202的动作空间，并能够回避冲突等危险。
并且，由于越接近可动机器人202，被重叠并被显示的动作空间的透明度就越低，因此人201容易在视觉上掌握动作空间。并且，人201虽然在可动机器人202的可动范围内，通过感知目前没有被使用的三维区域，从而能够有效地活用动作空间。
(实施例2)
接着，对实施例2进行说明。对于与实施例1相同的部分，省略描述。并且，实施例2中的动作空间提示装置具备与图1所示的实施例1中的动作空间提示装置100相同的构成要素。
图12示出了实施例2中的区域表现调整部的动作的一个例子。在实施例2中，区域表现调整部103使示出三维区域的色彩发生变化。
首先，区域表现调整部103将构成三维区域的二维平面1201的内部形式，作为基础来复制。接着，区域表现调整部103通过将成为基础的二维平面的色彩设定为红色、将被复制的二维平面的色彩设定为黄色，从而变更三维区域的内部形式1202。据此，动作空间提示装置100能够以不同的色彩来显示动作空间。
图13示出了实施例2中的动作空间提示装置100中显示的动作空间的一个例子。动作空间提示装置100在离可动机器人202较远的位置上，如显示内容1301那样显示图像，在离可动机器人202近的位置上，如显示内容1302那样图像被放大显示。并且，在动作空间提示装置100离可动机器人202近的情况下，三维区域以其他的色彩如显示内容1303那样进行显示。
在此，如实施例1所示，人201与可动机器人202的距离是能够算出的。例如，重叠部106，在将可动机器人202的最大到达距离Dr作为阈值，时刻t的人201与可动机器人202之间的距离d(t)为d(t)＜＝Dr的情况下，使重叠的三维区域的色彩设为红色。并且，在d(t)＞Dr的情况下，重叠部106使重叠的三维区域的色彩为黄色。据此，如图13所示，三维区域被显示。
因此，人201能够通过色彩来感知人201与可动机器人202的动作空间的距离，能够更直觉地掌握可动机器人202的动作空间。
(实施例3)
接着，对实施例3进行说明。对于与实施例1相同的部分，省略描述。并且，实施例3中的动作空间提示装置具备与图1所示的实施例1中的动作空间提示装置100相同的构成要素。在实施例3中，可动机器人202按照以动作计划决定的多个动作模式进行动作。动作空间提示装置100通过动作模式，变更动作空间的表现形式。
图14示出了实施例3中的动作计划保持部101的动作计划的一个例子。区域表现调整部103以可动机器人202的动作模式的切换，来变更三维区域的色彩。在实施例3中，可动机器人202具有两个动作模式，执行了动作模式1之后，执行动作模式2。
图15示出了实施例3中的区域表现调整部103的动作的一个例子。如图15所示，按照各个动作模式，分别生成三维区域。并且，动作模式1的三维区域被设定为黄色，与动作模式1对应的<polygons>标记的属性color被设定为yellow。并且，动作模式2的三维区域被设定为绿色，与动作模式2对应的<polygons>标记的属性color被设定为green。这样，三维区域的色彩被变更。
并且，在三维区域的内部形式1501中，将全体的动作开始时刻作为00:00:00，各个动作模式的动作开始相对时刻被存放。更具体而言，该相对时刻作为<polygons>标记的属性time的值被存放。
图16示出了实施例3中的动作空间提示装置100中所显示的动作空间的一个例子。在实施例3中，在人201利用动作空间提示装置100来观察可动机器人202的动作空间的情况下，当前的动作模式的三维区域以黄色显示，下一个动作模式的三维区域以绿色显示。
据此，动作空间提示装置100能够唤起人201的注意，以使人201不接近当前的动作模式的动作空间。并且，动作空间提示装置100能够向人201通知，接近下一个动作模式的动作空间有危险。
图17示出了实施例3中的动作空间提示装置100中所显示的动作空间的第一变形例。重叠部106在将三维区域投影到二维平面之后，从<polygons>标记的属性mode中获得示出动作模式的顺序的数值。并且，重叠部106将示出当前的动作模式的顺序的数值1701以及示出下一个动作模式的顺序的数值1702，再次重叠到二维平面。这样，对于人201而言能够更容易地知道动作空间迁移的顺序。
图18示出了实施例3中的动作空间提示装置100中所显示的动作空间的第二变形例子。重叠部106在将三维区域投影到二维平面之后，从<polygons>标记的属性time中获得下一个动作模式的开始时刻。并且，重叠部106将当前的时刻与下一个动作模式的开始时刻的差作为当前的动作模式直到结束为止所需要的时间，重叠到二维平面。这样，对于人201而言能够更容易知道动作空间迁移的时刻。
如图18所示，在可动机器人202的动作开始时刻的相对时刻00:00:00，使动作空间提示装置100显示直到动作模式1的结束为止的所要时间1801。并且，在相对时刻00:05:30，显示了直到动作模式1结束为止的所要时间1802。
如以上所述，在实施例3中区域表现调整部103根据以动作计划而被区分的模式的不同，来变更构成三维区域的二维平面的表现形式。并且，重叠部106将执行顺序以及结束预定时间重叠到实际图像或三维区域。执行顺序以及结束预定时间被重叠的位置也可以是实际图像以及三维区域的像的某一个。例如，执行顺序也可以被重叠在示出与动作模式相对应的动作空间的像的附近。
(实施例4)
接着，对实施例4进行说明。对于与实施例1相同的部分省略描述。并且，在实施例4的动作空间提示装置中具备与图1所示的实施例1中的动作空间提示装置100相同的构成要素。
图19示出了实施例4中的区域表现调整部103的动作的一个例子。区域表现调整部103，对由作业区域生成部102输出的三维区域的形状或构成三维区域的二维平面的纹理进行加工。图19所示的例子是，区域表现调整部103通过可动机器人202的动作速度，来使构成三维区域的二维平面的色彩发生变化。
表现三维区域的线段构成了以这些线段为边的多角形。三维区域的内部形式1903的<polygon>标记示出多角形。属性start的值示出，可动机器人202进入二维平面的相对时刻。属性end的值示出，可动机器人202从二维平面出来的相对时刻。并且，图19所示的三维区域的内部形式1903被区分为二维平面1901和二维平面1902，所述二维平面1901由时刻从0到ΔT的动作来形成，所述二维平面1902由时刻从ΔT到2ΔT的动作来形成。
并且，在构成各个二维平面的线段中，由移动的轨迹生成的线段由作为attr属性的值为traj的<line>标记来表现。并且，根据移动的轨迹而生成的线段的长度与移动速度成正比。
并且，在图19所示的例子中，包括示出快速动作的轨迹的二维平面1901的色彩为红色，<polygon>标记的属性color的值为red。包括示出缓慢动作的轨迹的二维平面1902的色彩为黄色，<polygon>标记的属性color的值为yellow。
并且，区域表现调整部103计算各个二维平面的单位法线矢量，并追加到多角形的属性。被追加的单位法线矢量被存放在三维区域的内部形式1903的<polygon>标记的属性norm中。并且，实际上图19所示的三维区域的内部形式1903n1以及n2中，描述了具有单位的三维坐标值。
重叠部106针对由区域表现调整部103输出的三维区域的所有的相邻的二维平面i，j，计算他们所成的角θij。并且，重叠部106计算θij比预先设定的阈值θth更小的角的数量n(θij＜θth)。并且，重叠部106利用包含了其他的角的所有的角的数量n(θij)，计算n(θij＜θth)/n(θij)的值。
并且，重叠部106，在计算出的n(θij＜θth)/n(θij)的值在预先决定的阈值pth以上的情况下，判断为区域表现调整部103输出的三维区域的起伏较少，是较平滑的。在三维区域不平滑的情况下，或者人201与可动机器人202的距离在预先规定的阈值dth以上的情况下，重叠部106将由区域表现调整部103输出的三维区域重叠。在三维区域为平滑、并且人201与可动机器人202的距离小于预先决定的阈值dth的情况下，重叠部106将被线段近似的可动机器人202的形状重叠到二维平面。
更具体而言，例如图20所示，在三维区域为以二维平面2001-2006这6个二维平面构成的六面体的情况下，相邻的二维平面为以下的12个。即，n(θij)＝12成立。
(二维平面2001，二维平方面2002)
(二维平面2001，二维平方面2003)
(二维平面2001，二维平方面2005)
(二维平面2001，二维平方面2006)
(二维平面2002，二维平方面2005)
(二维平面2002，二维平方面2003)
(二维平面2003，二维平方面2006)
(二维平面2005，二维平方面2006)
(二维平面2004，二维平方面2002)
(二维平面2004，二维平方面2003)
(二维平面2004，二维平方面2006)
(二维平面2004，二维平方面2005)
重叠部106，通过将余弦的逆函数适用于法线矢量的内积，从而计算各个二维平面所成的角θij。例如，二维平面2001与二维平面2003所成的角度2007为θ。在此，作为阈值的θth以及pth分别被设定为θth＝30[deg]，pth＝0.3。在n(θij＜θth)＝4的情况下，n(θij＜θth)/n(θij)＝4/12＝1/3＞pth成立。
因此，重叠部106判断为三维区域是平滑的。因此，在人201与可动机器人202之间的距离小于预先决定的阈值dth的情况下，重叠部106从区域表现调整部103输出的三维区域中抽出被线段近似的可动机器人202的形状，并重叠到二维平面。
对于被线段近似的可动机器人202的形状的抽出，更具体而言如以下所述。即，首先重叠部106将可动机器人202开始动作的时刻作为相对时刻00:00:00，算出当前的相对时刻。接着，重叠部106仅抽出包含特定的时刻(例如ΔT经过后的时刻)的线段(<line>标记)，所述特定的时刻是指<polygons>标记的属性time的值比当前的相对时刻晚的时刻。之后，重叠部106通过根据一致点来判断线段的连接关系，从而对构成线段近似模型702的二维平面进行重构。
并且，重叠部106，也可以通过抽出多个时刻的线段，来对构成多个线段近似模型的二维平面进行重构。
重叠部106按照规定的条件，将从摄影部104的拍摄位置向拍摄方向来看线段近似模型702时的像与实际图像重叠。
图21示出了实施例4中的动作空间提示装置100所显示的动作空间的一个例子。
动作空间提示装置100在远离可动机器人202的情况下，如显示内容2101那样显示图像。并且，动作空间提示装置100在离可动机器人202近的情况下，如显示内容2102那样将图像放大后显示。
而且，在动作空间提示装置100离可动机器人202更近、并且三维区域的表面平滑的情况下，人201从直觉上感知动作空间是比较困难的。因此，动作空间提示装置100自动切换到示出被线段近似后的可动机器人202的形状的显示。并且，动作空间提示装置100如显示内容2103那样显示图像。这样，人201能够更直观地掌握可动机器人202的动作空间。
在此，如实施例1所示，人201与可动机器人202的距离是可算出的。例如，用于进行比较的阈值dth也可以是可动机器人202的最大到达距离Dr。即，阈值dth也可以作为dth＝Dr来设定。据此，如图21所示显示三维区域。
并且，在实施例4中，重叠部106是按照平滑程度和距离，来将线段近似模型的像与三维区域的像之中的某一个重叠到实际图像的，不过，也可以按照平滑程度以及距离中的至少某一方，来将线段近似模型的像与三维区域的像之中的一方重叠到实际图像。
例如，重叠部106也可以仅按照三维区域的平滑程度，来判断将线段近似模型的像与三维区域的像之中的哪一方重叠。在这种情况下，重叠部106在评价为三维区域是平滑的情况下，将线段近似模型的像重叠到实际图像，在判断为不平滑的情况下，将三维区域的像重叠到实际图像。
或者，重叠部106也可以仅按照拍摄位置与可动机器人202的距离，来判断将线段近似模型的像与三维区域的像之中的哪一个重叠。在这种情况下，重叠部106，在拍摄位置与可动机器人202的位置的距离满足预先决定的条件之时，将线段近似模型的像重叠到实际图像，在拍摄位置与可动机器人202的位置之间的距离不满足预先决定的条件之时，将三维区域的像重叠到实际图像。
并且，重叠部106也可以根据其他的切换单元，将线段近似模型的像与三维区域的像的某一个重叠到实际图像。
并且，在实施例4中，虽然是区域表现调整部103计算各个二维平面的单位法线矢量，不过也可以是作业区域生成部102来计算单位法相矢量。这样，即使没有区域表现调整部103，重叠部106也能够评价三维区域的平滑程度，有选择地将线段近似模型或三维区域的像重叠到实际图像。
(实施例5)
接着，对实施例5进行说明。对于与实施例1相同的部分省略描述。
图22是实施例5中的动作空间提示装置的功能方框图。位置姿势检测部2205从由摄影部104拍摄的实际世界图像中，检测摄影部104的拍摄位置和拍摄方向。
图23示出了图22所示的动作空间提示装置2200的利用状态。
动作空间提示装置2200被利用于，人201与可动机器人202相邻来进行作业的环境中。动作计划保持部101、作业区域生成部102、区域表现调整部103、位置姿势检测部2205以及重叠部106，作为动作空间提示装置2200的电子电路而被安装。摄影部104以及显示部107被安装在动作空间提示装置2200的表面。可视标记2304被利用于位置姿势检测部2205检测拍摄位置以及拍摄方向之中。
图24示出了图22所示的动作空间提示装置2200的外观。
动作空间提示装置2200具备摄像机301和显示画面302，摄像机301拍摄现实世界，显示画面302显示三维区域被重叠到现实世界后的图像。显示画面302可以像便携式电话以及PDA(Personal Digital Assistant：个人数字助理)那样，以人201能够手持的大小来实现。并且，显示画面302也可以是以眼镜镜片左右的大小的、安装有目镜的头戴式显示器来实现。
可视标记2304由摄影部104拍摄，被显示在显示画面302。位置姿势检测部2205利用被拍摄的可视标记2304，检测摄影部104的拍摄位置以及拍摄方向。
图25示出了图22所示的重叠部106的动作的一个例子。重叠部106利用可视标记2304，将三维区域投影到二维平面。
具体而言，预先标定的可视标记2304被配置成被包括在摄像机301的拍摄范围内。并且，重叠部106以半透明的纹理，将三维区域投影到以摄像机301拍摄的现实世界的图像上。与显示坐标系和标记坐标系相对应的图像处理(ARToolKit)被利用于坐标系的变换中。标记坐标系和显示坐标系通过定标等被简单地对应起来。
因此，重叠部106通过事先将可视标记2304与标记坐标系对应，从而在可视标记2304被拍摄之时，能够决定从标记坐标系(Xm，Ym，Zm)向显示坐标系(xc，yc)变换的行列式。重叠部106利用该行列式将三维区域投影到二维平面，并重叠到实际世界的图像。
(实施例6)
接着，对实施例6进行说明。对于与实施例1相同的部分省略说明。
图26是实施例6中的动作空间提示装置的功能方框图。
动作空间提示装置2600具备：动作空间提示装置2600、作业区域生成部2602、摄影部104、位置姿势检测部105以及重叠部2606。
作业区域生成部2602例如通过通信网络，获得可动机器人202的动作计划。这样，即使没有实施例1所示的动作计划保持部101，作业区域生成部2602也能够按照可动机器人202的动作计划来生成三维区域。
摄影部104拍摄实际图像。即，摄影部104拍摄被摄体，生成实际图像。位置姿势检测部105检测摄影部104的拍摄位置以及拍摄方向。位置姿势检测部105为了检测拍摄位置以及拍摄方向，也可以利用实施例5所示的可视标记2304。
重叠部2606获得由作业区域生成部2602生成的三维区域，算出作业区域像，该作业区域像是指，从摄影部104的拍摄位置像拍摄方向来看三维区域时的像。并且，被算出的作业区域像和摄影部104所拍摄的实际图像重叠。并且，被重叠的数据被输出到外部。被输出的数据例如由外部的显示单元来显示。
即，动作空间提示装置2600即使不具备实施例1所示的动作计划保持部101、区域表现调整部103以及显示部107，也能够生成用于对可动机器人202的动作空间进行立体显示的数据。被生成的数据例如由外部的显示单元被显示出来，以作为立体显示动作空间的图像。据此，人201能够从直觉上感知可动机器人202的动作空间。
并且，重叠部2606也可以按照线段近似模型像或作业区域像的不易看到程度，有选择地将线段近似模型像和作业区域像的某一方重叠到实际图像，所述线段近似模型像是指，从拍摄位置向拍摄方向来看可动机器人202的线段近似模型时的像。例如，重叠部2606在按照用于评价能够看到难易度的基准，将作业区域像评价为难于看到之时，将线段近似模型像重叠到实际图像。这样，能够生成用于实现更易懂的显示的数据。
具体而言，在从拍摄位置到可动机器人202的距离过近的情况下，作业区域则不易看到。并且，可动机器人202的动作空间为平滑的情况下，人201难于从直觉上感知动作空间。即，在这种情况下也难于看到作业区域像。于是，重叠部2606将从拍摄位置到可动机器人202为止的距离是否近、或者由作业区域生成部2602生成的三维区域是否平滑等，作为用于评价能够看到的难易度的基准，并利用该基准来评价不易看到的程度。
如以上所述，如多个实施例所示，本发明所涉及的动作空间提示装置能够生成，用于对按照动作计划而被生成的可动机器人的动作空间进行立体显示的数据。被生成的数据由显示单元被显示出来，以作为立体显示动作空间的图像。这样，人能够从直觉上感知可动机器人的动作空间。
另外，这些实施例仅为一个例子，本发明并非受这些实施例所限。对于这样的实施例本领域技术人员所能够想到的各种变形以及对这些实施例中的构成要素进行任意组合而实现的其他的实施例也包含在本发明内，并且也能够生成用于对动作空间进行立体显示的数据。
并且，本发明不仅能够作为动作空间提示装置来实现，而且能够作为将构成动作空间提示装置的处理单元作为步骤的方法来实现。并且，本发明还可以作为用于使计算机执行这些方法中所包含的步骤的程序来实现。并且，本发明还可以作为存储了这些程序的CD-ROM等计算机可读取的存储介质来实现。
本发明所涉及的动作空间提示装置能够生成用于对动作空间进行立体显示的数据，在零部件生成现场等机器人的协调作业现场中，能够有效地回避与机器人的冲突。并且，本发明所涉及的动作空间提示装置能够作为用于演示机器人的动作的工具来应用。
符号说明
100，2200，2600动作空间提示装置
101动作计划保持部
102，2602动作区域生成部
103区域表现调整部
104摄影部
105，2205位置姿势检测部
106，2606重叠部
107显示部
201人
202可动机器人
204，303位置传感设备
205，304姿势传感设备
301摄像机
302显示画面
401，403，405，1301，1302，1303，2101，2102，2103显示内容
402，404，406动作空间
501动作计划
601线段近似模型保持部
602动作模拟器
603三维区域生成部
701机器人的形状
702线段近似模型
703线段近似模型的内部形式
801，802，803线段
804，903，1202，1501，1903三维区域的内部形式
901，902，1201，1901，1902，2001，2002，2003，2004，2005，2006二维平面
1701，1702数值
1801，1802所要时间
2007角度
2304可视标记
9901移动机器人
9902动作计划部
9903动作控制部
9904，9905驱动部
9906车轮
9907臂部
9908，9909编码器
9910显示控制部
9911投影仪

Claims (17)

1.一种动作空间提示装置，生成用于提示可动机器人的动作空间的数据，包括：
作业区域生成部，生成所述可动机器人进行动作的三维区域；
摄影部，拍摄实际图像；
位置姿势检测部，检测作为所述摄影部的位置的拍摄位置和所述摄影部的拍摄方向；以及
重叠部，按照线段近似模型像以及作业区域像之中的某一个的可见难易度，来将该线段近似模型像以及该作业区域像有选择地重叠到由所述摄影部拍摄的所述实际图像，所述线段近似模型像是指，从所述拍摄位置向所述拍摄方向来看所述可动机器人的线段近似模型时的像，所述作业区域像是指，从所述拍摄位置向所述拍摄方向来看所述三维区域时的像。
2.如权利要求1所述的动作空间提示装置，
所述重叠部，在按照用于评价所述可见难易度的基准，将所述作业区域像评价为不易看到之时，将所述线段近似模型像重叠到所述实际图像。
3.如权利要求1或权利要求2所述的动作空间提示装置，
所述作业区域生成部包括：
线段近似模型保持部，保存所述可动机器人的所述线段近似模型；
动作模拟器，按照用于使所述可动机器人动作的动作计划，在虚拟空间内使所述线段近似模型动作；以及
三维区域生成部，根据所述动作模拟器使所述线段近似模型动作后的结果，来生成所述可动机器人动作的所述三维区域。
4.如权利要求3所述的动作空间提示装置，
所述重叠部，按照所述三维区域的平滑度和从所述拍摄位置到所述可动机器人的位置的距离之中的至少一方，将所述线段近似模型像与所述作业区域像之中的某一个重叠到所述实际图像，所述线段近似模型像是，从所述拍摄位置向所述拍摄方向，来看由所述动作模拟器而进行动作的所述线段近似模型时的像。
5.如权利要求4所述的动作空间提示装置，
所述重叠部，在所述三维区域被评价为平滑时，将所述线段近似模型像重叠到所述实际图像，在所述三维区域被评价为不平滑时，将所述作业区域像重叠到所述实际图像。
6.如权利要求4所述的动作空间提示装置，
所述重叠部，在从所述拍摄位置到所述可动机器人的位置的距离满足预先决定的条件时，将所述线段近似模型像重叠到所述实际图像，在从所述拍摄位置到所述可动机器人的位置的距离不满足所述预先决定的条件时，将所述作业区域像重叠到所述实际图像。
7.如权利要求3所述的动作空间提示装置，
所述动作空间提示装置还具备区域表现调整部，对由所述作业区域生成部生成的所述三维区域的表现形式进行变更。
8.如权利要求7所述的动作空间提示装置，
所述区域表现调整部，根据所述可动机器人按照所述动作计划在所述三维区域中进行动作时的每单位时间的移动量，来对构成所述三维区域的二维平面的表现形式进行变更。
9.如权利要求7所述的动作空间提示装置，
所述区域表现调整部，根据在所述动作计划中被区分的模式的不同，来对构成所述三维区域的二维平面的表现形式进行变更。
10.如权利要求9所述的动作空间提示装置，
所述重叠部，还将所述模式的执行顺序，重叠到所述作业区域像和所述实际图像中的至少一方，所述模式的执行顺序是按照所述动作计划而被决定的顺序。
11.如权利要求9所述的动作空间提示装置，
所述重叠部，还将当前正在执行中的所述模式的结束预定时间，重叠到所述作业区域像与所述实际图像中的至少一方。
12.如权利要求1或2所述的动作空间提示装置，
所述重叠部，在从所述拍摄位置到所述可动机器人的位置的距离为比第一长度短的第二长度时，使所述作业区域像的透明度降低得，比从所述拍摄位置到所述可动机器人的位置的距离为所述第一长度之时更低后，将所述作业区域像重叠到所述实际图像。
13.如权利要求1或2所述的动作空间提示装置，
所述作业区域生成部，将所述可动机器人在所述三维区域中进行动作的区域、与所述可动机器人在所述三维区域中进行动作的时刻对应起来，生成所述三维区域；
所述重叠部，从所述三维区域中抽出在当前时刻以后所述可动机器人进行动作的所述区域，并将从所述拍摄位置向所述拍摄方向来看被抽出的所述区域时的像作为所述作业区域像，重叠到所述实际图像。
14.如权利要求1或2所述的动作空间提示装置，
所述位置姿势检测部，根据由所述摄影部拍摄的、示出位置的可视标记，来检测所述拍摄位置和所述拍摄方向。
15.如权利要求1或2所述的动作空间提示装置，
所述动作空间提示装置还包括与所述摄影部一起移动的显示部；
所述显示部，对由所述重叠部重叠到所述实际图像的所述作业区域像进行显示。
16.如权利要求1或2所述的动作空间提示装置，
所述动作空间提示装置还具备动作计划保持部，该动作计划保持部保持用于使所述可动机器人动作的动作计划；
所述作业区域生成部，按照所述动作计划保持部所保持的所述动作计划，来生成所述三维区域。
17.一种动作空间提示方法，生成用于提示可动机器人的动作空间的数据，包括：
作业区域生成步骤，生成所述可动机器人进行动作的三维区域；
位置姿势检测步骤，检测作为拍摄实际图像的摄影部的位置的拍摄位置和所述摄影部的拍摄方向；以及
重叠步骤，按照线段近似模型像以及作业区域像之中的某一个的可见难易度，来将该线段近似模型像以及该作业区域像有选择地重叠到由所述摄影部拍摄的所述实际图像，所述线段近似模型像是指，从所述拍摄位置向所述拍摄方向来看所述可动机器人的线段近似模型时的像，所述作业区域像是指，从所述拍摄位置向所述拍摄方向来看所述三维区域时的像。
CN201080023195.1A 2009-12-28 2010-12-09 动作空间提示装置、动作空间提示方法以及程序 Expired - Fee Related CN102448681B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009297790 2009-12-28
JP2009-297790 2009-12-28
PCT/JP2010/007167 WO2011080882A1 (ja) 2009-12-28 2010-12-09 動作空間提示装置、動作空間提示方法およびプログラム

Publications (2)

Publication Number Publication Date
CN102448681A CN102448681A (zh) 2012-05-09
CN102448681B true CN102448681B (zh) 2014-09-10

Family

ID=44226310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080023195.1A Expired - Fee Related CN102448681B (zh) 2009-12-28 2010-12-09 动作空间提示装置、动作空间提示方法以及程序

Country Status (4)

Country Link
US (1) US8731276B2 (zh)
JP (1) JP4850984B2 (zh)
CN (1) CN102448681B (zh)
WO (1) WO2011080882A1 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY173983A (en) 2010-03-30 2020-03-02 Ns Solutions Corp Information providing apparatus, information providing method and program
JP4950348B2 (ja) * 2010-03-30 2012-06-13 新日鉄ソリューションズ株式会社 情報提供装置、情報提供方法、及びプログラム
JP5708196B2 (ja) 2011-04-21 2015-04-30 セイコーエプソン株式会社 衝突検出システム、ロボットシステム、衝突検出方法及びプログラム
US9656392B2 (en) * 2011-09-20 2017-05-23 Disney Enterprises, Inc. System for controlling robotic characters to enhance photographic results
CN103213125B (zh) * 2011-11-04 2016-05-18 范努克机器人技术美国有限公司 具有3d显示的机器人教学装置
CN102841679B (zh) * 2012-05-14 2015-02-04 乐金电子研发中心(上海)有限公司 一种非接触式人机互动方法与装置
JP5426719B2 (ja) 2012-05-18 2014-02-26 ファナック株式会社 ロボットシステムの動作シミュレーション装置
US8996167B2 (en) 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
US9103873B1 (en) * 2013-03-01 2015-08-11 Anritsu Company Systems and methods for improved power control in millimeter wave transceivers
JP5742862B2 (ja) 2013-03-18 2015-07-01 株式会社安川電機 ロボット装置及び被加工物の製造方法
JP5673717B2 (ja) * 2013-03-19 2015-02-18 株式会社安川電機 ロボットシステム及び被加工物の製造方法
ES2680576T3 (es) * 2013-10-07 2018-09-10 Abb Schweiz Ag Método y dispositivo para verificar uno o más volúmenes de seguridad para una unidad mecánica móvil
WO2016000770A1 (de) * 2014-07-02 2016-01-07 Siemens Aktiengesellschaft Warnverfahren und robotersystem
US9283678B2 (en) * 2014-07-16 2016-03-15 Google Inc. Virtual safety cages for robotic devices
JP5911933B2 (ja) * 2014-09-16 2016-04-27 ファナック株式会社 ロボットの動作監視領域を設定するロボットシステム
JP2016107379A (ja) 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
US9614845B2 (en) 2015-04-15 2017-04-04 Early Warning Services, Llc Anonymous authentication and remote wireless token access
DE102015209896B3 (de) * 2015-05-29 2016-08-18 Kuka Roboter Gmbh Ermittlung der Roboterachswinkel und Auswahl eines Roboters mit Hilfe einer Kamera
JP6554945B2 (ja) * 2015-07-03 2019-08-07 株式会社デンソーウェーブ ロボットシステム
US9916506B1 (en) 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
US9919427B1 (en) 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
US10959795B2 (en) 2015-08-25 2021-03-30 Kawasaki Jukogyo Kabushiki Kaisha Remote-control manipulator system and method of operating the same
US10084782B2 (en) 2015-09-21 2018-09-25 Early Warning Services, Llc Authenticator centralization and protection
JP6631203B2 (ja) * 2015-11-30 2020-01-15 株式会社デンソーウェーブ バーチャルフェンス表示システム
JP6690203B2 (ja) * 2015-11-25 2020-04-28 株式会社デンソーウェーブ ロボット安全システム
US9855664B2 (en) * 2015-11-25 2018-01-02 Denso Wave Incorporated Robot safety system
JP6746902B2 (ja) * 2015-12-01 2020-08-26 株式会社デンソーウェーブ 作業者用頭部装着型ディスプレイの情報表示システム
US10712566B2 (en) 2015-11-26 2020-07-14 Denso Wave Incorporated Information displaying system provided with head-mounted type display
JP6582921B2 (ja) * 2015-11-26 2019-10-02 株式会社デンソーウェーブ ロボットモニタシステム
JP6645142B2 (ja) * 2015-11-30 2020-02-12 株式会社デンソーウェーブ ロボット安全システム
JP6657858B2 (ja) * 2015-11-30 2020-03-04 株式会社デンソーウェーブ ロボット操作システム
JP6657859B2 (ja) * 2015-11-30 2020-03-04 株式会社デンソーウェーブ ロボット安全システム
JP6420229B2 (ja) 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP6444908B2 (ja) * 2016-02-17 2018-12-26 ファナック株式会社 掃引空間を算出するロボットのシミュレーション装置
JP2017148905A (ja) * 2016-02-25 2017-08-31 ファナック株式会社 ロボットシステムおよびロボット制御装置
JP6570742B2 (ja) * 2016-05-16 2019-09-04 三菱電機株式会社 ロボット動作評価装置、ロボット動作評価方法及びロボットシステム
JP2018008347A (ja) * 2016-07-13 2018-01-18 東芝機械株式会社 ロボットシステムおよび動作領域表示方法
CN109478769A (zh) * 2016-07-26 2019-03-15 三菱电机株式会社 缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序
CN107717982B (zh) * 2016-08-12 2020-09-25 财团法人工业技术研究院 机械手臂的控制装置及操作方法
JP6809267B2 (ja) * 2017-02-10 2021-01-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP6950192B2 (ja) * 2017-02-10 2021-10-13 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
US11219422B2 (en) * 2017-03-14 2022-01-11 Canon Medical Systems Corporation Image displaying system, image processing apparatus and x-ray imaging system
CN106956261A (zh) * 2017-04-11 2017-07-18 华南理工大学 一种具有安全识别区的人机交互机械臂系统及方法
JP6538760B2 (ja) * 2017-06-22 2019-07-03 ファナック株式会社 複合現実シミュレーション装置及び複合現実シミュレーションプログラム
US10562181B2 (en) * 2017-07-03 2020-02-18 X Development Llc Determining and utilizing corrections to robot actions
US11106967B2 (en) 2017-07-03 2021-08-31 X Development Llc Update of local features model based on correction to robot action
BR112020005835A2 (pt) * 2017-09-26 2020-09-24 Palfinger Ag dispositivo de comando e guindaste de carregamento com dispositivo de comando
JP6633584B2 (ja) * 2017-10-02 2020-01-22 ファナック株式会社 ロボットシステム
JP6939432B2 (ja) * 2017-11-06 2021-09-22 トヨタ自動車株式会社 マスタ操縦装置
US10676022B2 (en) 2017-12-27 2020-06-09 X Development Llc Visually indicating vehicle caution regions
KR102499576B1 (ko) * 2018-01-08 2023-02-15 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7232437B2 (ja) * 2018-02-19 2023-03-03 国立大学法人 東京大学 作業車両の表示システム及び生成方法
JP6863927B2 (ja) 2018-04-25 2021-04-21 ファナック株式会社 ロボットのシミュレーション装置
JP7187820B2 (ja) * 2018-05-29 2022-12-13 セイコーエプソン株式会社 制御装置、ヘッドマウントディスプレイ、及びロボットシステム
DE102018113336A1 (de) * 2018-06-05 2019-12-05 GESTALT Robotics GmbH Verfahren zum Verwenden mit einer Maschine zum Einstellen einer Erweiterte-Realität-Anzeigeumgebung
JP7167518B2 (ja) * 2018-07-20 2022-11-09 セイコーエプソン株式会社 制御装置、ヘッドマウントディスプレイおよびロボットシステム
JP2020051092A (ja) * 2018-09-26 2020-04-02 コベルコ建機株式会社 作業機械情報表示システム
JP7204513B2 (ja) * 2019-02-13 2023-01-16 株式会社東芝 制御装置及びプログラム
JP7282016B2 (ja) * 2019-11-11 2023-05-26 株式会社日立製作所 ロボットシステム
US11978168B2 (en) 2020-04-27 2024-05-07 Fanuc Corporation Display device for industrial machine
US11775148B2 (en) * 2020-11-06 2023-10-03 Motional Ad Llc Augmented reality enabled autonomous vehicle command center
DE102020129823B4 (de) 2020-11-12 2022-07-07 Sick Ag Visualisieren eines Schutzfeldes
WO2022131068A1 (ja) * 2020-12-14 2022-06-23 ファナック株式会社 拡張現実表示装置、及び拡張現実表示システム
JPWO2023037456A1 (zh) * 2021-09-08 2023-03-16

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1435280A2 (en) * 2002-12-30 2004-07-07 Abb Research Ltd. A method and a system for programming an industrial robot
CN1538355A (zh) * 2003-03-13 2004-10-20 欧姆龙株式会社 侵入物体监控系统
WO2009063318A1 (en) * 2007-11-16 2009-05-22 Toyota Jidosha Kabushiki Kaisha Mobile robot and mobile robot danger zone indicating method
CN101512452A (zh) * 2006-07-31 2009-08-19 皮尔茨公司 基于摄像机监控具有移动机器部件的机器以防碰撞

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01162904A (ja) * 1987-05-27 1989-06-27 Mitsubishi Electric Corp 自動プログラミング装置
JP2627811B2 (ja) * 1990-04-18 1997-07-09 日本スピンドル製造 株式会社 油圧方向制御弁
JPH044306U (zh) * 1990-04-21 1992-01-16
US5706195A (en) * 1995-09-05 1998-01-06 General Electric Company Augmented reality maintenance system for multiple rovs
US5745387A (en) * 1995-09-28 1998-04-28 General Electric Company Augmented reality maintenance system employing manipulator arm with archive and comparison device
JP2955654B2 (ja) * 1998-02-23 1999-10-04 工業技術院長 マニピュレータ作業教示装置
JPH11254360A (ja) 1998-03-13 1999-09-21 Yaskawa Electric Corp ロボットのシミュレーション装置
US20030012410A1 (en) * 2001-07-10 2003-01-16 Nassir Navab Tracking and pose estimation for augmented reality using real features
JP2004160588A (ja) * 2002-11-12 2004-06-10 Nissan Motor Co Ltd 複数ロボットの干渉領域検出方法およびそのプログラム
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
DE10305384A1 (de) 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
JPWO2005015466A1 (ja) * 2003-08-07 2006-10-05 松下電器産業株式会社 生活支援システム及びその制御用プログラム
JP2005081445A (ja) * 2003-09-04 2005-03-31 Fanuc Ltd ロボットの干渉領域確認装置
JP4304133B2 (ja) * 2004-07-30 2009-07-29 東芝機械株式会社 産業用ロボットの移動時間表示装置
JP2006113858A (ja) * 2004-10-15 2006-04-27 Mitsubishi Heavy Ind Ltd 移動体の遠隔操作支援方法及びシステム
FR2917598B1 (fr) * 2007-06-19 2010-04-02 Medtech Plateforme robotisee multi-applicative pour la neurochirurgie et procede de recalage
DE602007003849D1 (de) * 2007-10-11 2010-01-28 Mvtec Software Gmbh System und Verfahren zur 3D-Objekterkennung
JP4847428B2 (ja) * 2007-10-18 2011-12-28 株式会社ソディック 加工シミュレーション装置およびそのプログラム
JP4991023B2 (ja) * 2010-11-12 2012-08-01 パナソニック株式会社 移動経路探索装置および移動経路探索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1435280A2 (en) * 2002-12-30 2004-07-07 Abb Research Ltd. A method and a system for programming an industrial robot
CN1538355A (zh) * 2003-03-13 2004-10-20 欧姆龙株式会社 侵入物体监控系统
CN101512452A (zh) * 2006-07-31 2009-08-19 皮尔茨公司 基于摄像机监控具有移动机器部件的机器以防碰撞
WO2009063318A1 (en) * 2007-11-16 2009-05-22 Toyota Jidosha Kabushiki Kaisha Mobile robot and mobile robot danger zone indicating method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2004-160588A 2004.06.10

Also Published As

Publication number Publication date
WO2011080882A1 (ja) 2011-07-07
JPWO2011080882A1 (ja) 2013-05-09
US8731276B2 (en) 2014-05-20
US20110311127A1 (en) 2011-12-22
CN102448681A (zh) 2012-05-09
JP4850984B2 (ja) 2012-01-11

Similar Documents

Publication Publication Date Title
CN102448681B (zh) 动作空间提示装置、动作空间提示方法以及程序
US10852847B2 (en) Controller tracking for multiple degrees of freedom
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
CN107004275B (zh) 确定实物至少一部分的3d重构件空间坐标的方法和系统
US10762386B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
KR101420201B1 (ko) 자율 이동 장치
US8711221B2 (en) Visually tracking an object in real world using 2D appearance and multicue depth estimations
KR101768958B1 (ko) 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템
WO2018121617A1 (zh) 定位准确度的检测方法及电子设备、计算机存储介质
KR101423139B1 (ko) 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체
WO2022193508A1 (zh) 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品
EP2851868A1 (en) 3D Reconstruction
US10110822B2 (en) Method for tracking at least one object and method for replacing at least one object by a virtual object in a moving image signal recorded by a camera
KR101207535B1 (ko) 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법
Kyriakoulis et al. Color-based monocular visuoinertial 3-D pose estimation of a volant robot
CN110675455A (zh) 一种基于自然场景的车身环视相机自标定方法和系统
CN113701750A (zh) 一种井下多传感器的融合定位系统
CN103903253A (zh) 一种可移动终端定位方法及系统
Ham et al. Motion and visual data-driven distant object localization for field reporting
KR102456872B1 (ko) 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법
Li et al. A combined vision-inertial fusion approach for 6-DoF object pose estimation
Miyake et al. Outdoor markerless augmented reality
CN112558602B (zh) 基于影像特征的机器人定位的方法
US20230122185A1 (en) Determining relative position and orientation of cameras using hardware
He et al. Novel control scheme for prosthetic hands through spatial understanding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140910