CN110871441A - 感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质 - Google Patents

感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质 Download PDF

Info

Publication number
CN110871441A
CN110871441A CN201910790877.8A CN201910790877A CN110871441A CN 110871441 A CN110871441 A CN 110871441A CN 201910790877 A CN201910790877 A CN 201910790877A CN 110871441 A CN110871441 A CN 110871441A
Authority
CN
China
Prior art keywords
augmented reality
image
reality image
candidate
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910790877.8A
Other languages
English (en)
Inventor
大场雅文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN110871441A publication Critical patent/CN110871441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0009—Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35499—Model of process, machine and parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

本发明提供一种感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质，能够实现检测对象的系统的工作的成功或失败的原因查明的容易化、该系统的设定检查的容易化、该系统的设定的容易化、状态变化确认的效率化、系统调整的简单化。感测系统具备：对象检测单元，其通过对由检测装置得到的数据进行预定的处理来检测对象；增强现实图像创建单元，其创建与进行了所述预定的处理后的处理后数据内所出现的多个候补之中的预定的参数为检测阈值以上的候补对应的AR图像(73)，并创建与所述多个候补之中的所述预定的参数小于检测阈值且为检测候补阈值以上的候补对应的候补AR图像(80)；显示AR图像和候补AR图像的显示装置。

Description

感测系统、作业系统、增强现实图像的显示方法、以及存储有 程序的存储介质
技术领域
本发明涉及感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质。
背景技术
在现有技术中，已知一种作业系统，其具备：视觉传感器，其用于检测由搬运装置正在搬运的对象的位置；以及机器人，其基于由视觉传感器所检测的检测结果，进行对象的取出作业(例如，参照专利文献1。)。
另外，已知一种系统，其基于机器人的三维模型、以及三维坐标上的作业人员的视点的位置，将所示教的机器人的动作的轨迹显示于显示装置(例如，参照专利文献2。)。
现有技术文献
专利文献
专利文献1：日本特开2005-111607号公报
专利文献2：日本特开2017-100234号公报
发明内容
发明要解决的问题
在利用机器人对由搬运装置正在搬运的对象或正在移动的对象或未移动的对象进行作业的系统中，当由机器人对对象的作业未成功时，需要确认其原因。为了进行该确认，目前需要记录控制机器人的控制装置内的所有处理，并且解读所记录的处理。由于如此记录的处理为文本数据的情况较多，因此原因的调查需要很长时间。或者需要准备专门的解析软件进行解析而花费费用。另外，即使用专门的解析软件，也难以直观地理解现象。
另一方面，在所述作业系统中，虽然在机器人的控制装置中设定有外围装置的坐标系、机器人的坐标系、机器人的作业区域、视觉传感器的位置等，但不能直观地识别出所设定的这些位置与现实空间的外围装置、机器人、视觉传感器的位置等之间的关系。因此，存在未发现设定的失误而开始进行生产的情况。其结果导致发生了机器人与外围设备的干涉、利用机器人取出对象失败等。
另外，在机器人未对对象进行作业的情况下，由于判别不出原因是由于各种传感器的测量还是在于对象的位置计算，因而调整耗费时间。
另外，利用示教操作盘所进行的机器人的控制装置的设定、例如坐标系的设定、机器人的作业区域的设定等，即使是熟知机器人操作的作业人员也需要很长时间，对机器人的操作不熟练的作业人员则需要更长的时间。
本发明是鉴于上述情况而做出的。本发明的目的是提供一种感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质，能够实现检测对象的系统的工作的成功或失败的原因查明的容易化、该系统的设定检查的容易化、该系统的设定的容易化、或该系统的相关状态变化、计算结果等的可视化。
用于解决问题的方案
为了解决上述问题，本发明采用以下方案。
本发明的第一方案的感测系统具备：检测装置，其用于检测对象；对象检测单元，其对由所述检测装置得到的数据进行预定的处理；增强现实图像创建单元，其创建与进行了所述预定的处理后的处理后数据内所出现的多个候补之中的预定的参数为检测阈值以上的候补对应的增强现实图像，并且创建与所述多个候补之中的所述预定的参数小于所述检测阈值且为检测候补阈值以上的候补对应的候补增强现实图像；以及显示装置或投影装置，其显示或投影所述增强现实图像和所述候补增强现实图像。
以下有时也将“增强现实图像”记载为“AR图像”。
在该方案中，不仅与预定的参数为检测阈值以上的候补对应的AR图像显示于显示装置，而且与预定的参数小于检测阈值且为检测候补阈值以上的候补对应的候补AR图像也显示于显示装置。因此，通过检测阈值的变更、用于检测的光照(照明)的变更、以及其他设定的变更等，使得增加所检测的对象的作业变得容易，并且该作业后的结果的确认也变得容易。
在上述方案中，优选地，所述候补增强现实图像以能够与所述增强现实图像区分的方式创建。
通过该配置，操作员能够容易地识别出与候补AR图像对应的对象的存在。
在上述方案中，优选地，所述增强现实图像创建单元创建附随于所述候补增强现实图像上的检测结果的增强现实图像，利用所述显示装置或所述投影装置，将所述检测结果的增强现实图像与所述候补增强现实图像一起显示或投影。
在该配置中，基于与候补AR图像一起显示的检测结果，操作员能够更容易地进行检测装置的相关参数设定。
在上述方案中，优选地，所述显示装置或所述投影装置根据对预定的输入部的输入，显示或投影所述多个增强现实图像之中所选择的所述增强现实图像以及/或者所述候补增强现实图像。
另外，控制装置实时创建并记录所述增强现实图像，所述显示装置根据对预定的输入部的输入或者控制装置或传感器中的预定的条件的成立，显示该时刻的或者最近的多个增强现实图像之中所选择的所述增强现实图像。
在该配置中，操作员能够利用对输入部的输入、或者对控制装置、传感器的条件设定，选择要显示的AR图像。因此，操作员能够更容易地识别出任意时刻、事件发生时的控制装置的处理、设定等，并且对于实现系统的工作的成功或失败的原因查明的容易化、提高系统的运行率也是极其有用的。
在上述方案中，优选地，所述显示装置或所述投影装置在发生了预定的事件时，显示或投影所述多个增强现实图像之中的所述预定的事件的发生时刻的周围的所述增强现实图像以及/或者所述候补增强现实图像。
在该配置中，由于显示事件的发生位置的周围的AR图像以及/或者候补AR图像，因此操作员能够更高效地进行系统的工作的成功或失败的原因查明。
在上述方案中，优选地，所述感测系统具备：增强现实图像操作单元，其进行选择处理、移动处理、以及所显示的参数的设定变更，所述选择处理是根据利用预定的输入装置所进行的输入，选择显示于所述显示装置上的所述增强现实图像或由所述投影装置投影的所述增强现实图像中的至少一个，所述移动处理是对根据利用所述预定的输入装置所进行的输入而选择的、由所述显示装置显示的所述增强现实图像或由所述投影装置投影的所述增强现实图像进行移动；以及设定调整单元，其根据所选择的所述增强现实图像的移动信息或变更信息，变更在控制作业机械的控制装置中所设定的参数或所计算的参数。
在该配置中，操作员利用预定的输入装置使AR图像移动，设定调整单元变更在控制装置中所设定的参数或所计算的参数。因此，操作员能够直观地变更用于控制作业机械的设定，这即使对于熟练的操作员来说也有助于提高控制装置的设定的准确性以及作业效率。
在上述方案中，优选地，所述投影装置将所述增强现实图像投影于现实空间，所述显示装置以与现实空间像或现实空间一起看到的方式显示所述增强现实图像和所述候补增强现实图像。
在AR图像投影到现实空间的情况下，操作员能够在现实空间中视觉性地识别出控制装置内的设定、处理等，尤其适于多数人进行讨论的情况。在AR图像由显示装置以与现实空间像或现实空间一起看到的方式显示的情况下，即使不观察系统的整体，只观察显示装置内，操作员就能够视觉性地识别出AR图像与现实空间之间的关系。另外，在显示装置将AR图像与现实空间一起显示的情况下，即使在不在现场的情况下，也能够掌握状况，尤其适于系统监控。将AR图像附加于现实空间的情况尤其适于在实际观察的同时进行作业的情况。
在上述方案中，优选地，所述感测系统具备存储部，所述存储部将所创建的所述增强现实图像以及/或者所述候补增强现实图像与对应的现实空间像一起存储。
在该配置中，AR图像与对应的现实空间像一起存储。因此，操作员能够将所存储的AR图像与现实空间像一起播放，这极其有利于系统的设定检查的容易化、系统的设定的容易化、以及系统的工作的成功或失败的原因查明的容易化。
在上述方案中，优选地，所述感测系统具备播放单元，所述播放单元播放存储于所述存储部的所述增强现实图像以及/或者所述候补增强现实图像、或者将存储于所述存储部的所述增强现实图像以及/或者所述候补增强现实图像与所述现实空间像一起播放。
在该配置中，操作员能够通过播放单元在任意位置容易地将存储后的AR图像与现实空间像一起播放。
另外，通过在观察现实空间上的装置的同时播放AR图像，能够在现场进行用于改善运行率的调整。
本发明的第二方案的作业系统具备所述感测系统以及作业机械。
本发明的第三方案是用于系统的增强现实图像的显示方法，所述系统通过对由检测装置得到的数据进行预定的处理来检测对象，所述方法包括以下步骤：增强现实图像创建步骤，其创建与进行了所述预定的处理后的处理后数据内所出现的多个候补之中的预定的参数为检测阈值以上的候补对应的增强现实图像，并且创建与所述多个候补之中的所述预定的参数小于所述检测阈值且为检测候补阈值以上的候补对应的候补增强现实图像；以及显示步骤，其显示或投影所述增强现实图像和所述候补增强现实图像。
本发明的第四方案是存储有用于系统的程序的存储介质，所述系统通过对由检测装置得到的数据进行预定的处理来检测对象，所述程序使计算机执行以下处理：增强现实图像创建处理，其创建与进行了所述预定的处理后的处理后数据内所出现的多个候补之中的预定的参数为检测阈值以上的候补对应的增强现实图像，并且创建与所述多个候补之中的所述预定参数小于所述检测阈值且为检测候补阈值以上的候补对应的候补增强现实图像；以及显示处理，其显示或投影所述增强现实图像和所述候补增强现实图像。
发明效果
根据本发明，能够实现检测对象的系统的工作的成功或失败的原因查明的容易化、该系统的设定检查的容易化、或该系统的设定的容易化、或状态变化确认的效率化、以及系统调整的简单化。
附图说明
图1是表示本发明的一个实施方式的感测系统的示意性结构以及动作的一个例子的图。
图2是本实施方式的感测系统的控制装置的框图。
图3是表示利用本实施方式的感测系统的显示装置进行显示的例子的图。
图4是表示利用本实施方式的感测系统的显示装置进行显示的例子的图。
图5是表示利用本实施方式的感测系统的显示装置进行显示的例子的图。
图6是表示利用本实施方式的感测系统的显示装置进行显示的例子的图。
图7是表示利用本实施方式的感测系统的显示装置进行显示的例子的图。
图8是表示利用本实施方式的感测系统的显示装置进行显示的例子的图。
图9是表示利用本实施方式的感测系统的显示装置进行显示的例子的图。
图10是表示利用本实施方式的感测系统的显示装置进行显示的例子的图。
图11是表示利用本实施方式的感测系统的显示装置进行显示的例子的图。
附图标记说明
10：搬运装置
11：马达
12：工作位置检测装置
20：检测装置
30：机器人
30a：臂
31：伺服马达
40：控制装置
41：控制部
42：控制装置显示部
43：存储部
43a：系统程序
43b：动作程序
43c：物品检测程序
43d：AR图像创建程序
43e：播放程序
50：工具
51：伺服马达
60：增强现实装置
61：摄像机
62：显示装置
63：存储部
63a：AR图像操作程序
71～82：AR图像
O：对象
具体实施方式
以下利用附图对本发明的一个实施方式的感测系统进行说明。
如图1所示，本实施方式的感测系统具备：搬运装置10，其作为搬运物品即对象O的移动单元；检测装置20，其用于检测由搬运装置10搬运的对象O；机器人30，其是对由搬运装置10搬运的对象O进行预定作业的作业机械；控制装置40，其控制机器人30；以及增强现实装置60(图2)。由于本实施方式的感测系统是作为作业机械的机器人30对所感测到的对象O进行预定的作业的系统，因此也是作业系统。
此外，感测系统还能够用于放置于固定台上的对象O等不移动的对象O的检测。
搬运装置10通过驱动马达11而搬运对象O。马达11具备工作位置检测装置12，工作位置检测装置12依次检测马达11的输出轴的旋转位置以及旋转量。工作位置检测装置12例如是编码器，工作位置检测装置12的检测值发送到控制装置40。此外，还可以不使用编码器而利用检测装置20检测对象O的工作位置。
对象O可以是车身、车架、部件、食品、以及医药品等各种物品。还能够利用如图1所示的搬运装置10以外的搬运装置，只要搬运装置10能够搬运对象O即可。
检测装置20是二维摄像机、三维摄像机、以及三维距离传感器等，检测装置20将得到的图像数据(数据)或点云数据(数据)发送到控制装置40。如后面所述，控制装置40基于图像数据或点云数据，检测对象O的位置以及姿态。
机器人30不限于特定种类的机器人，本实施方式的机器人30是具备分别驱动多个可动部的多个伺服马达31的多关节机器人(参照图2)。此外，由多个可动部构成机器人30的臂30a。各伺服马达31具有用于检测其工作位置的工作位置检测装置，作为一例，工作位置检测装置是编码器。工作位置检测装置的检测值发送到控制装置40。由此，控制装置40能够识别出机器人30的各部分的位置、速度、以及加速度等。
机器人30针对对象O进行与设置于其前端部的工具50的种类相应的预定的作业。工具50只要是机器人用工具即可，是握持工具、吸附工具、加工工具、清扫工具、组装用工具、测量工具、各种传感器以及视觉系统用的摄像机等。加工工具例如是电动钻等钻孔工具、前端带有丝锥的螺纹形成工具、电动抛光工具、涂装枪等涂装工具、伺服焊枪等焊接工具。用于组装的工具例如是电动螺丝刀、握持销而插入孔中的工具等。测量工具例如是膜厚测量仪、利用超声波的内部检查装置、硬度测量仪、非接触式温度计、近摄式摄像机等。此外，对象O还可以是设置于物品上的孔、加工对象部等。
本实施方式的工具50是手，机器人30利用工具50进行搬运装置10上的对象O的取出。
工具50具备驱动爪的伺服马达51(参照图2)。伺服马达51具有用于检测其工作位置的工作位置检测装置，作为一例，工作位置检测装置是编码器。工作位置检测装置的检测值发送到控制装置40。
机器人30的坐标系与搬运装置10的坐标系相对应。在本实施方式中，通过使设置于机器人30的前端部的设定工具与设置于搬运装置10上的校准夹具的多个预定部位接触，从而设定用作机器人30以及搬运装置10的坐标系的基准坐标系。另外，基于检测装置20所得到的所述校准夹具的图像数据，将检测装置20的位置姿态(传感器坐标系)与基准坐标系相关联。
如图2所示，控制装置40具备：控制部41，其具有CPU、RAM等；控制装置显示部42，其显示控制装置40的设定、菜单等；存储部43，其具有非易失性存储器、ROM等；多个伺服控制器44，其分别与机器人30的伺服马达31相对应；伺服控制器45，其与手50的伺服马达51相对应；以及输入部46，其与控制装置40连接。输入部46是能够由操作员携带的操作盘等输入装置。还存在输入部46与控制装置40进行无线通信的情况。
存储部43中存储有系统程序43a，系统程序43a承担控制装置40的基本功能。另外，存储部43中存储有动作程序43b、对象检测程序43c等。控制部41基于对象检测程序43c，为了检测出物品O，对从检测装置20发送来的图像数据进行公知的图像处理、重心位置的检测处理、图案匹配处理、以及其他需要的处理等，并且检测由搬运装置10正在搬运的对象O的位置、姿态等。此外，在检测装置20能够进行所述图像处理、检测处理、以及图案匹配处理等的情况下，控制部41无需进行与检测装置20重复的处理。
另外，控制部41基于对象检测程序43c，在检测出对象O后，立即利用工作位置检测装置12的检测结果(搬运装置10的动作的检测结果)，追踪(跟踪)由搬运装置10正在搬运的对象O的位置以及姿态。这样，控制部41能够基于从检测装置20发送来的图像数据以及工作位置检测装置12的检测结果，检测出由搬运装置10正在搬运的对象O的位置、速度、移动量等。
增强现实装置60具有：控制部，其具有CPU、RAM等；存储部63，其具有非易失性存储器、ROM等；以及键盘等输入部。在一个例子中，如图2所示，具备：摄像机61，其设置于预定位置，用于摄像搬运装置10以及机器人30；以及显示装置62，其显示由摄像机61摄像的现实空间像。显示装置62能够使用平板终端、头戴式显示器、以及带AR显示功能的眼镜等公知的显示装置。在该情况下，摄像机61还可以装备于平板终端、头戴式显示器、或带AR显示功能的眼镜上。由摄像机61摄像的图像数据发送到控制装置40。另外，显示装置62基于从控制装置40发送来的增强现实图像数据进行显示。增强现实图像可以是三维图像，也可以是二维图像。以下，有时也将“增强现实”记载为“AR”。可以基于摄像机61所得到的所述校准夹具、贴附于机器人的标记、机器人自身的形状的图像数据，将摄像机61的位置以及姿态(摄像机坐标系)与基准坐标系相关联。为了将现实空间与AR图像之间的位置关系不改变维度地相关联，优选由摄像机61得到的所述现实空间像是由三维摄像机得到的三维图像，但也能够使用获取二维图像作为所述现实空间像的其他种类的摄像机。
此外，基准坐标系的关联可以自动进行，也可以由用户直接操作AR图像而手动对准坐标系。
另外，也可以不进行基准坐标系的关联。在该情况下，现实与AR图像虽然不重叠，但现实空间上的物体的相对关系与AR图像上的物体的相对关系一致，若AR图像上的物体的相对关系存在异常，则可知实际的设定不准确。
(增强现实显示的基本处理)
控制部41基于存储于存储部43的AR图像创建程序43d，依次创建与以下事项中的至少一项有关的AR图像数据，并将创建的AR图像数据发送到显示装置62，所述事项为：关于利用检测装置20检测对象O的设定、搬运装置10的设定、机器人30的设定、控制部41基于所述设定识别出的对象O的位置以及姿态、利用检测装置20检测对象O的结果、搬运装置10的作业预定、机器人30的作业预定、控制部41关于机器人30的作业执行的判断结果、以及控制部41识别出的对象O的相关参数。AR图像的位置以及姿态基于摄像机坐标系或基准坐标系进行调整。由此，在显示装置62上显示从摄像机61接收的现实空间像以及从控制装置40接收的AR图像。
此外，还可以从控制部41获取数据，从而在增强现实装置60中创建AR图像。
控制装置40与增强现实装置60之间的通信可以利用有线电缆连接，也可以利用无线进行通信。
在图1的例子中，作为关于利用检测装置20检测对象O的设定，显示有检测装置20的传感器坐标系的AR图像71、以及检测装置20的检测范围的AR图像72。作为关于利用检测装置20检测对象O的设定，可以显示表示检测装置20的位置以及方向的AR图像，也可以将检测装置20的帧率、检测装置20的位置以及方向、检测装置20的光圈或曝光时间的调整值、检测装置20的使用开始后的经过时间等显示为指示符、数值、文字等的AR图像。指示符也可以利用颜色显示程度。
检测范围的AR图像72的位置以及范围可以基于校准进行设定，在该设定中例如可以将图像数据中的搬运装置10上的标记、花纹、对象O等的位置以及大小用作基准。在显示有检测范围的AR图像72的情况下，操作员能够容易地确认对象O向搬运装置10上的放置是否适当、以及检测范围与机器人30的作业范围之间的关系等。
在图1的例子中，基于由控制部41检测出的对象O的位置以及姿态，显示有表示控制部41识别出的对象O的位置以及姿态的AR图像73。图1是表示AR图像73与现实空间像的对象O在搬运装置10的宽度方向上错开的例子。在本实施方式中，AR图像73具有与对象O的形状相似或一致的形状，而AR图像73也可以是表示对象O的位置、姿态等的点、表示对象O的移动方向、速度等的箭头、对象O的抽象图、以及其他替代图等。对于上述以及下述的其他AR图像，也能够进行相同的显示。AR图像73的位置以及姿态根据由控制部41检测出的对象O的位置以及姿态而相应变化。
另外，在图1的例子中，作为机器人30的设定的基准坐标系显示为AR图像74。作为机器人30的设定，可以将机器人30的现实的动作速度、机器人30的最高速度、以及机器人30的使用开始后的经过时间等显示为指示符、数值、文字等的AR图像。
若将机器人30的前端部、工具50、由工具50握持的对象O等的速度或加速度的计算结果显示为指示符、数值、文字等的AR图像，则能够直观地识别出施加于工具50的负载、施加于由工具50握持的对象O的负载、工具50的握持力的适当与否等。所述速度以及所述加速度也可以加入机器人30的手腕凸缘的旋转。
另外，在图1的例子中，作为机器人30的设定的机器人30的作业范围显示为AR图像75。在本实施方式中，该作业范围是机器人30进行对象O的取出作业的范围。通过该配置，操作员能够直观地识别出：该作业范围与操作员的行动范围之间的关系，该作业范围与另一个机器人的作业范围之间的关系、该作业范围相对于作业内容的大小等。
另外，图1的例子中，作为搬运装置10的设定，显示有搬运装置10的搬运方向的AR图像76。作为搬运装置10的设定，可以将搬运速度、使用开始后的经过时间等显示为指示符、数值、文字等的AR图像。
搬运装置10的搬运方向例如基于由搬运装置10搬运的对象O的位置变化，通过计算而得到。在该情况下，优选地，摄像机61设置于搬运装置10的上方。该配置使得能够目视确认AR图像74与AR图像76之间的关系，并且有利于确认搬运装置10的搬运方向相对于基准坐标系等的设定是否适当。
另外，作为搬运装置10的设定，为了表示搬运装置10的搬运速度，可以显示由控制装置40识别出的指示搬运装置10的带的某个特定的位置的指示标记的AR图像77。
另外，机器人30的动作限制区域也可以作为AR图像显示于显示装置62上。动作限制区域是设定于操作员、外围设备等的周围的区域，是停止或限制机器人30的动作的区域。在该情况下，能够直观地识别出动作限制区域的设定范围。
另外，作为利用检测装置20检测对象O的结果，可以将由检测装置20检测出的图像、通过对该图像施行所述图像处理而得到的图像即表现对象O的位置、姿态、以及形状的图像等作为AR图像而显示于显示装置62上。
在该情况下，操作员能够直观地确认利用检测装置20检测对象O的适当与否。例如，能够确认向对象O的光照的适当与否、向对象O的光照的检测阈值的适当与否、以及由检测装置20检测且由控制装置40识别出的对象O的位置、姿态、形状等的适当与否等。在光照、检测阈值不适当的情况下，容易发生不能检测出作为明亮的部分或黑暗的部分的对象O的一部分或整体的情况。另外，通过将由检测装置20检测出的对象O的位置、姿态、以及形状与实物进行比较，操作员能够直观地确认检测装置20的检测适当与否。由于利用检测装置20进行的检测对利用机器人30进行的作业的成功与否、适当与否等的影响很大，因此该配置是有用的。
此外，作为AR图像而显示于显示装置62上的对象O的位置、姿态、以及形状还能够基于对象的检测装置20的结果并结合现实的对象的移动而依次更新。
另外，能够在任意时刻停止更新并进行结果的确认，并且能够播放所记录的结果。
另外，如图3所示，作为机器人30的作业预定，可以将表示机器人30对由控制部41追踪的多个对象O进行作业的预定顺序、作业可否、作业的难度(对象O的属性)、对象O的种类、重量、硬度、材质(对象O的属性)、对象O的检查结果等的指示符、数值、文字等作为AR图像78而显示于显示装置62上。其中，预定顺序、作业可否、以及作业的难度也是控制部41关于作业执行的判断结果，对象O的种类、重量、硬度、材质、以及检查结果是控制部41识别出的对象O的相关参数。
此外，能够根据对象的检测装置20的结果并结合现实的对象的移动，依次更新显示于显示装置62的AR图像78。另外，能够在任意时刻停止更新并进行结果的确认，并且还能够播放所记录的结果。
在该情况下，操作员能够直观地识别出机器人30的作业预定。例如，如图3所示，在配置于表示机器人30的作业范围的一对AR图像75之间的多个对象O之中的搬运方向的下游侧的对象O的预定顺序不适当的情况下，能够容易确认到该不适当。
此外，如图4所示，在多个机器人30对对象O进行作业的情况下，能够针对各机器人30，将进行作业的预定顺序作为AR图像79显示于显示装置62上。该配置使得能够直观地识别出各机器人30的作业的分工等。作业顺序的AR图像79可以从两个机器人30的控制装置40中的每一个机器人30的控制装置40发送到显示装置62，也可以从一个机器人30的控制装置40发送到显示装置62。另外，还可以从与机器人30连接的主机控制装置向显示装置62发送作业顺序的AR图像79。其中，预定顺序也是控制部41关于作业执行的判断结果。
此外，还能够根据对象的检测装置20的检测结果并结合现实的对象的移动，依次更新显示于显示装置62上的AR图像79。并且，能够在任意时刻停止更新并进行结果的确认，并且还能够播放所记录的结果。
另外，作为搬运装置10的作业预定，还能够将由控制部41追踪的多个对象O的最近的预定位置以及预定姿态作为AR图像显示于显示装置62上。在该情况下，操作员能够容易地确认对象O的移动方向、移动过程中的姿态等。
此外，还能够根据对象的检测装置20的结果并结合现实的对象的移动，依次更新显示于显示装置62上的该AR图像。另外，能够在任意时刻停止更新并进行结果的确认，并且还能够播放所记录的结果。
如上所述，通过将AR图像显示于显示装置62上，操作员能够直观地识别出：关于利用检测装置20检测对象O的设定、搬运装置10的设定、机器人30的设定、控制部41基于所述设定识别出的对象O的位置以及姿态、利用检测装置20检测对象O的结果、搬运装置10的作业预定、机器人30的作业预定、控制部41关于机器人30的作业执行的判断结果、或控制部41识别出的对象O的相关参数。这极其有利于缩短用于设定、现象掌握、现象的原因查明等的作业时间、通过改善设定来提高作业效率、以及提高设定的感觉等。
(不作为作业对象的检测结果的显示)
在图3和图4中，各AR图像73将机器人30能够进行作业的对象示出为作业对象。针对此，存在如下情况：例如在对象O的检测不充分时，所检测出的对象O的姿态不适于作业时等，机器人30对多个对象O之中的一部分对象O不执行作业，或无法执行作业。例如，在对象O的检测参数小于其检测阈值时，该对象O不被检测为作业对象。另外，在对象O的检测图像的姿态的相关参数小于其姿态阈值时，判定对象O的姿态不适于作业。
包括向对象O的光照、对象O的姿态、对象O的形状、对象O的原材料、光圈、曝光时间的检测装置20的设定等是影响对象O的适当检测的主要因素，并且用于判定是否检测为作业对象的检测阈值的设定也影响。作为检测阈值，可以使用对比度的相关参数、表示相对于模型的形状的差异或相似度的参数等。
控制部41创建，与进行了所述图像处理后的图像数据中的每一个图像数据与对象O、异物、以及搬运装置10上的污垢等对应的多个候补之中的、预定的参数为检测阈值以上的候补对应的所述AR图像73，并且创建与所述预定的参数小于检测阈值且为检测候补阈值以上的候补对应的AR图像(候补AR图像)80(图5)。其中，检测候补阈值小于检测阈值。AR图像80以能够与AR图像73区分的显示方式创建，因此AR图像80以能够与AR图像73区分的方式显示于显示装置62上。
通过该配置，操作员能够比较容易地进行如下调整：用于增加以检测阈值以上检测的对象O的所述主要因素的调整、检测阈值的调整等。
另外，控制部41可以创建附随于各AR图像80上的分数值的AR图像81。分数值是表示模型与对象的相似度、一致度等的指标，在图5中，分数值越大，则达到检测阈值的可能性就越高。分数值是检测结果的一个例子，作为检测结果的AR图像，也可以创建对比度值、检测位置、对象O的种类信息、对象O的ID信息、测量结果等的AR图像。
通过将AR图像81显示于显示装置62上，操作员能够更容易地进行如下调整：用于增加以检测阈值以上检测的对象O的所述主要因素的调整、检测阈值的调整等。
对不作为作业对象的检测结果的显示进行进一步说明。
在进行与放置于搬运装置10上的多个或单一的对象O的检测相关的设定时，进行检测装置10的设定、照明装置的设定、以及检测阈值的设定。在图6的例子中，在搬运装置10的宽度方向上排列的两个对象O中的一个对象O以实线的AR图像73进行显示，另一个对象O以实线的AR图像73以及虚线的AR图像(候补AR图像)80示出。在图7的例子中，在搬运装置10的宽度方向上排列的3个对象O中的一个对象O以实线的AR图像73进行显示，其他对象O以虚线的AR图像(候补AR图像)80示出。在图6和图7的例子中，对象O的现实的像可以显示，也可以不显示。
在图6中的例子中，例如，由于向对象O的光照不适当、检测装置20的位置以及姿态不适当、搬运装置10的上面的一部分存在污渍、检测阈值不适当等而导致对象O的一部分的对比度的相关参数小于检测阈值且为检测候补阈值以上，由此该一部分以AR图像80示出。在图7的例子中，例如，两个对象O的姿态的相关参数小于检测阈值且为检测候补阈值以上，由此两个对象O以AR图像80示出。
在该作业系统的运行过程中，操作员能够在显示装置62上观察到AR图像73和AR图像80。此时，附随于各AR图像80上的所述分数值或所述检测结果的AR图像81可以显示于显示装置62上。即，操作员能够在作业系统的运行过程中进行该系统的设定检查、工作的成功或失败的原因查明、或该系统的设定。
在该作业系统运行前的情况下，例如在搬运装置10的停止状态或低速运行状态下，操作员能够在观察显示于显示装置62上的AR图像73、80、81的同时，进行各种调整。各种调整例如包括：照明装置的位置、姿态等的调整、照明装置的变更、照明装置的不良情况的确认、检测装置20的光圈、曝光时间等的调整、检测装置20的位置、姿态等的调整、以及检测阈值的设定。由于能够在显示装置62上观察到调整后的结果，因此操作员能够高效地进行调整作业。
另外，在对象O通过搬运装置10慢慢移动时，操作员通过观察显示于显示装置62上的AR图像73、80、81，能够直观地识别出在检测装置20的检测范围内AR图像73、80、81是如何变化的。例如，操作员能够直观地识别出：在检测范围的上游侧各对象O的检测良好，而移动到检测范围的下游侧时一部分的对象O的全部或一部分的检测结果小于检测阈值、以及该检测结果小于检测阈值的区域及其趋势。这有利于高效地进行调整作业。此外，在显示装置62上还可以进一步显示有AR图像71、72、74、75、76、77、78、79。
作为生鲜食品的对象O的品质下降了的部分通过从照明装置照射的例如紫外线发出预定波长的光，在检测装置20是能够摄像预定波长的光的摄像机的情况下，控制装置40能够基于检测装置20的图像数据求出对象O的品质下降了的部分的面积，并根据所求出的面积确定相应的分数值。而且，控制装置40例如将用于利用机器人30取出分数值高(面积大)的对象O的控制指令发送到机器人30的各伺服马达31。另外，控制装置40创建AR图像73、AR图像80以及AR图像81，AR图像73表示分数值为检测阈值以上的对象O，AR图像80表示分数值小于检测阈值但为检测候补阈值以上的对象O，AR图像81表示分数值。
在该情况下，操作员也能够在比较现实空间的对象O与显示装置62的同时，高效地进行调整作业。
此外，AR图像80可以不以虚线显示，AR图像80可以以与AR图像73不同的颜色显示。在该情况下，AR图像80也以能够与AR图像73区分的方式显示。此外，也可以根据所述分数值或所述检测结果使AR图像80的颜色相应变化。
另外，如图8所示，预定的参数小于检测阈值且为检测候补阈值以上的对象O也可以利用作为标记的AR图像82示出。也可以利用抽象图、替代图、点等来代替标记。
另外，如图9所示，还能够在与对象O不同的位置显示AR图像73、80。在图9中，在与搬运装置10的搬运方向正交的方向上在相对于对象O错开的位置显示有AR图像73、80。在该情况下，可以使AR图像73、80随着搬运装置10上的对象O的移动相应移动。根据对象O的种类等，AR图像73、80显示于与对象O不同的位置，使得操作员能够更清楚且容易地识别出对象O的检测状态。
以下对关于检测结果的显示的例子进行说明。
检测装置20也有安装于自主行进型的作业机械的情况。在该情况下，检测装置20例如是立体摄像机(三维摄像机)。为了使点云数据适合于现实空间，对检测装置20进行公知的校准。控制部41基于对象检测程序43c，检测存在于现实空间的对象O的形状、对象O的位置以及姿态、与对象O之间的距离等。
在一个例子中，控制部41针对立体摄像机的一对图像中的每一个图像的对比度的相关参数为检测阈值以上的部分创建实线的AR图像73，对该参数小于检测阈值且为检测候补阈值以上的部分创建虚线的AR图像80。然后，将AR图像73以及AR图像80显示于显示装置62上(图10)。此时，附随于各AR图像80上的所述分数值或所述检测结果的AR图像81也可以显示于显示装置62上。由此，操作员能够在观察显示于显示装置62上的AR图像73、80、81的同时，进行各种调整。
各种调整例如包括：检测装置20的光圈等的调整、检测装置20的位置、姿态等的调整、检测阈值的设定、安装于作业机械的照明装置的位置、姿态等的调整、安装于作业机械的照明装置的不良情况的确认、安装于作业机械的照明装置的变更等。检测装置20不能检测出的因素各种各样。例如，需要根据对象O的颜色、材质等适当地变更检测装置20的设定、照明的种类等，包含这些的调整参数的数量为无数。在该配置中，由于调整后的结果立刻出现在显示装置62上，因此操作员能够高效地进行调整作业。
在另一个例子中，控制部41利用用于检测是否成为障碍物的检测阈值，针对存在高度的相关参数为检测阈值以上的对象O或其部分，创建实线的AR图像73，并且针对存在高度的相关参数小于检测阈值但为检测候补阈值以上的对象O或其部分，创建虚线的AR图像80。然后，将AR图像73和AR图像80显示于显示装置62上(图11)。此时，附随于各AR图像80上的所述分数值或所述检测结果的AR图像81也可以显示于显示装置62上。由此，操作员能够在观察显示于显示装置62上的AR图像73、80、81的同时，进行各种调整。各种调整例如包括：检测装置20的位置、姿态等的调整、检测阈值的设定、安装于作业机械的照明装置的位置、姿态等的调整、安装于作业机械的照明装置的不良情况的确认、安装于作业机械的照明装置的变更等。由于调整后的结果出现在显示装置62上，因此操作员能够高效地进行调整作业。
此外，AR图像71～82随着时间的经过被依次创建、记录(更新)。因此，即使在显示装置62上AR图像71～82也根据现实空间像被依次更新。
或者，也可以配置为：控制装置40实时创建、记录AR图像71～82，显示装置62根据对预定的输入部的输入或者控制装置40或传感器中的预定的条件的成立，显示该时刻的或最近的多个AR图像71～82之中所选择的AR图像。
(再显示处理)
控制装置40、增强现实装置60等具有保存显示于显示装置62上的现实空间像和AR图像71～82的功能。在由控制装置40进行保存的情况下，基于存储于存储部43的播放程序43e，从增强现实装置60依次接收的摄像机61的图像数据和依次创建的AR图像数据至少暂时保存于存储部43。在由增强现实装置60进行保存的情况下，基于存储于增强现实装置60的存储部的播放程序，摄像机61的图像数据和从控制装置40依次接收的AR图像数据至少暂时保存于增强现实装置60的存储部。在其他装置、计算机终端等中也可以进行相同的保存。
而且，控制装置40或增强现实装置60根据对输入部46或增强现实装置60的输入部的操作，在控制装置显示部42、显示装置62等中，利用所保存的现实空间像数据和AR图像数据，进行播放、慢播放、播放中的暂停显示等。因此，操作员能够反复观察现实空间像与AR图像71～82的重叠显示。此外，控制装置40或增强现实装置60还可以使现实空间像和AR图像71～82之中的由操作员选择的至少一个显示于控制装置显示部42、显示装置62等上。由此，操作员能够重点地观察想关注的对象。
通过该配置，操作员能够更准确地识别出：关于利用检测装置20检测对象O的设定、搬运装置10的设定、机器人30的设定、控制装置40的控制部41基于所述设定识别出的对象O的位置以及姿态、利用检测装置20检测对象O的结果、搬运装置10的作业预定、或机器人30的作业预定。
此外，控制装置40、增强现实装置60等还能够将所保存的现实空间像数据和AR图像数据发送到其他显示装置。
(与选择对应的增强现实图像的显示)
增强现实装置60具有仅将所选择的AR图像显示于显示装置62的功能。例如，根据对增强现实装置60的输入部的操作，在显示装置62上仅显示有AR图像71～82之中所选择的AR图像71。在图4中，还能够仅使多个机器人30之中的一个机器人30的相关AR图像显示于显示装置62上。
通过该配置，操作员能够根据需要切换显示的AR图像，这有利于缩短设定、现象掌握、现象的原因查明等的相关作业时间。
在控制装置40仅将所选择的AR图像发送到显示装置62的情况下，也能够达到与上述相同的效果。
另外，增强现实装置60还可以具有仅将所选择的范围的AR图像显示于显示装置62上的功能。例如，根据对增强现实装置60的输入部的操作，仅将存在于所选择的范围的AR图像显示于显示装置62上。
在该情况下，操作员也能够根据需要切换显示AR图像的范围，这有利于缩短设定、现象掌握、现象的原因查明等的相关作业时间。
此外，在显示装置62具有触摸屏功能的情况下，所述的所选择的范围可以是以与显示装置62接触的手指、笔等为中心的预定范围、用手指、笔等包围的范围等。
此外，在显示装置62是头戴式显示器、带AR功能的眼镜的情况下，显示装置62可以具备检测安装人员视线的视线检测装置。在该情况下，能够使视线检测装置作为所述增强现实装置60的输入部而发挥功能。
另外，在机器人30未能适当地进行针对对象O的作业时，控制装置40或增强现实装置60判定在该感测系统中发生了事件，增强现实装置60或控制装置40还能够仅使事件发生位置的周围即预定范围的AR图像显示于显示装置62或控制装置显示部42。
(与选择对应的执行历史的增强现实图像的显示)
增强现实装置60具有将关于所选择的AR图像的执行历史显示于显示装置62上的功能。例如，根据对增强现实装置60的输入部的操作，与多个AR图像73、80之中所选择的一个AR图像73或AR图像80对应的对象O的、由检测装置20摄像的摄像图像可以作为执行历史而显示于显示装置62上。执行历史的显示位置优选是在显示装置62中与AR图像73、80不重叠的位置。
此外，在由检测装置20进行摄像、以及由控制部41进行检测处理时，利用控制部41识别可能作为对象O的多个候补。控制部41能够将每个候补所对应的执行历史保存于存储部43。
执行历史只要是通过感测系统的执行而得到的结果即可，可以是测量结果、检测结果、以及摄像结果等。
(对象的选择以及操作)
另外，增强现实装置60、控制装置40等可以根据利用预定的输入装置所进行的输入，进行显示于显示装置62上的各AR图像71～82的选择处理、以及所选择的AR图像的移动处理。
例如，增强现实装置60基于存储于其存储部63的AR图像操作程序63a，根据利用预定的输入装置进行的输入，使各AR图像71～82之中的一个或多个为选择状态，并根据利用预定的输入装置进行的输入，在显示装置62内变更所选择的AR图像的位置以及姿态。增强现实装置60还可以进行所显示的参数的设定变更。
在变更所检测出的对象O的AR图像73的位置以及姿态时，还能够仅变更利用预定的输入装置所操作的AR图像73的位置，并且还能够利用相同的移动距离或对应的移动距离移动多个AR图像的位置。
预定的输入装置例如包括作为设置于显示装置62的触摸屏的输入装置、键盘等。
另外，增强现实装置60基于对输入装置的输入，将AR图像71～82的移动信息以及/或者参数的变更信息发送到控制装置40，控制装置40的控制部41基于存储于存储部43的设定调整程序43f，根据接收的移动信息，变更在控制装置40中所设定的各种参数或所计算的各种参数。
例如，根据AR图像71或AR图像74的移动信息，变更由控制装置40识别出的传感器坐标系或基准坐标系。在检测装置20具有用于变更检测范围的变焦功能、光轴变更功能、以及姿态变更功能等的情况下，控制装置40根据AR图像72的移动信息，进行关于检测装置20的这些功能的控制。
另外，根据AR图像73或AR图像80的移动信息，变更由控制装置40识别出的一部分或全部的对象O的检测位置、姿态等。还可以根据AR图像73或AR图像80的移动信息，变更由控制装置40识别出的各对象O的搬运速度、移动量等。另一方面，还可以根据AR图像77的移动信息，变更由控制装置40识别出的各对象O的搬运速度、移动量等。
此外，还可以针对所记录的AR图像，根据各移动信息，变更各数据。
另外，控制装置40根据AR图像75的移动信息，变更机器人30的作业范围的设定。另外，根据AR图像76的移动信息，变更由控制装置40识别出的搬运装置10的搬运方向。
此外，每当AR图像移动时，增强现实装置60还可以将移动信息发送到控制装置40，但基于输入装置的输入发送移动信息的配置更有利于减少控制装置40的处理量、减少设定的失误等。
此外，控制部41还能够接收某个AR图像的移动信息，并且针对与该AR图像不同的AR图像，变更在控制装置40内设定的各种参数或通过计算而得到的各种参数。例如，在接收到关于设定的AR图像71、74、75等的移动信息时，变更AR图像73、78、79、80、81、82的参数。在该情况下，控制部41按照AR图像创建程序43d，基于在控制装置40内所变更的参数，再次创建AR图像数据，并将所创建的AR图像数据发送到显示装置62。由此，操作员在使某个AR图像移动时，能够马上识别出伴随着该AR图像的移动的控制装置40内的设定、计算等的变化。
此外，作为所述预定的输入装置，还能够使用被称为智能手套的可穿戴设备。在使用智能手套的情况下，例如若将操作员佩戴了智能手套的手配置于摄像机61的视场角内，则该手的食指、拇指等的位置由增强现实装置60识别出，若用食指和拇指进行抓握AR图像71～82之中的任一个AR图像的动作，则该AR图像变为选择状态，若在使食指和拇指为该状态的同时进行移动，则该AR图像移动。
此外，上述的AR图像71～82例如以机器人30的基准坐标系为基准而设定位置、姿态、以及参数等。与此相对，AR图像71～82的位置、姿态、参数等还可以以检测装置20的传感器坐标系等为基准而进行设定。另外，在多个机器人30分别具有控制装置40的情况下，根据由控制装置40识别出的基准坐标系，将AR图像71～82显示于显示装置62上，从而使得确认各机器人30的基准坐标系的设定的适当与否变得容易。
另外，也可以配置为：在显示装置62具有触摸屏功能、检测操作员视线的视线检测功能等的情况下，利用指示设备、视线方向等指定多个机器人30之中的一个或多个，并且显示由所指定的机器人30的控制装置40识别出的AR图像。
(适用于其他作业系统或检查系统的情况)
在机器人30针对对象O进行加工、组装、检查、观察等其他作业的作业系统中也能够应用与上述相同的结构。对象O只要能够利用任一个移动单元搬运即可，作为移动单元也能够利用与机器人30不同的机器人等。在对象O是车的车身或车架的情况下，在该车身或车架由搭载于其上的发动机、马达、车轮等进行移动的情况下，发动机、马达、以及车轮等作为移动单元而发挥功能。
还可以通过对象O因重力而滑落、滚落、或落下的滑槽，使对象O移动。在该情况下，通过加振装置使倾斜的滑槽振动，由此能够使滑槽上的对象O移动顺畅。在这些情况下，滑槽、加振装置等作为移动单元而发挥功能。
另外，在不使用机器人的作业系统、以及检查系统等中也能够应用与上述相同的结构。作为不使用机器人的作业系统有自动涂装系统、清洗系统等，所述自动涂装系统的多个涂装枪(预定的装置)配置于搬运装置10的上方的预定位置，所述清洗系统的清洗喷嘴(预定的装置)配置于搬运装置10的侧方的预定位置。
在检查系统的情况下，例如，代替机器人30，在搬运装置10的上方配置检查用传感器(预定的装置)，控制装置40利用检查用传感器的图像数据进行图像处理以及判定。还可以设置用于对检查用传感器的感测范围进行照明的检查用照明装置。
而且，控制装置40创建图像处理的结果、判定结果、这些结果的相关参数、与参数对应的分数等的AR图像，并且将所创建的AR图像发送到显示装置62。例如，显示装置62上显示有图像处理后的检查对象的图像、关于检查对象的合格与否的判定结果、这些结果的相关参数、分数等的AR图像。另外，显示装置62上还可以显示有搬运装置10上的检查对象以外的物品、花纹、污渍等的图像处理后的图像即噪音图像、噪音图像的相关参数、噪音图像的分数等。通过该配置，操作员能够容易地进行控制装置40的设定、检查用照明装置的设定作业等。
这样，根据本实施方式，不仅与预定的参数为检测阈值以上的候补对应的AR图像73显示于显示装置，而且与预定的参数小于检测阈值但为检测候补阈值以上的候补对应的候补AR图像80也显示于显示装置。因此，通过检测阈值的变更、用于检测的光照(照明)的变更、以及其他设定的变更等，使得增加所检测的对象的作业变得容易，并且该作业之后的结果的确认也变得容易。
另外，在本实施方式中，候补AR图像80以能够与AR图像73区分的方式创建。通过该配置，操作员能够容易识别出与候补AR图像80对应的对象O的存在。
另外，在本实施方式中，创建附随于候补AR图像80上的检测结果的AR图像81，并且利用显示装置62将检测结果的AR图像81与候补AR图像80一起显示。在该配置中，基于与候补AR图像80一起显示的检测结果，操作员能够更容易地进行检测装置20的相关参数的设定。
另外，在本实施方式中，显示装置62根据对预定的输入部的输入，显示或投影多个AR图像73、80、81之中所选择的AR图像73、81以及/或者候补AR图像80。
或者，控制装置40可以实时创建、记录AR图像71～82，显示装置62根据对预定的输入部的输入或者控制装置40或传感器中的预定条件的成立，显示该时刻的或者最近的多个AR图像71～82之中所选择的AR图像。
在该配置中，操作员能够利用对输入部的输入、或对控制装置40、传感器的条件设定来选择显示的AR图像。因此，操作员能够更容易地识别出任意时刻、事项(事件)发生时的控制装置40的处理、设定等，并且对于实现系统的工作的成功或失败的原因查明的容易化、以及提高系统的运行率是极其有用的。
另外，在本实施方式中，显示装置62在发生了预定的事件时，显示多个AR图像71～82之中的预定的事件的发生位置周围的AR图像。在该配置中，由于显示事件的发生位置周围的AR图像，因此操作员能够更高效地进行系统的工作的成功或失败的原因查明。
另外，在本实施方式中，在增强现实装置60中，根据利用预定的输入装置进行的输入，进行选择处理和移动处理，所述选择处理选择显示于显示装置62上的AR图像71～82之中的至少一个，所述移动处理移动由显示装置62显示的所选择的AR图像。另外，根据所选择的AR图像的移动信息，在控制作为作业机械的机器人30的控制装置40中，变更所设定的参数或所计算的参数。
在该配置中，操作员利用预定的输入装置使AR图像移动，根据该移动在控制装置40中变更所设定的参数或所计算的参数。因此，操作员能够直观地变更用于控制机器人30的设定，这对于熟练的操作员来说也有助于提高控制装置40的设定的准确性以及作业效率。
另外，在本实施方式中，所创建的AR图像71～82与对应的现实空间像一起存储。在该配置中，操作员能够与现实空间像一起播放所存储的AR图像71～82，这极其有利于系统的设定检测的容易化、系统的设定的容易化、以及系统的工作的成功或失败的原因查明的容易化。
另外，在本实施方式中，具备播放所存储的AR图像71～82的、或者将所存储的AR图像71～～82与现实空间像一起播放的播放单元。在该配置中，操作员能够利用播放单元容易地将所存储的AR图像71～82与现实空间像一起在任意位置播放。或者，通过在观察现实空间上的装置的同时播放AR图像，从而能够在现场进行用于改善运行率的调整。
此外，在本实施方式中作为作业机械使用作为多关节机器人的机器人30。与此相对，作为作业机械，也能够使用通过气缸、液压缸等使钻头等工具仅在上下方向上移动的钻头支撑装置，也能够使用其他作业机机械。
另外，代替显示装置62，也能够使用向操作员的视网膜投影AR图像的显示装置。在该情况下，也在操作员的视网膜上与现实空间像一起显示AR图像。
另外，代替利用显示装置62进行的显示，或者，与利用显示装置62进行的显示一起，还能够利用投影仪(投影装置)，向现实空间的装置、例如搬运装置10、检测装置20、机器人30、以及空间中的至少一个投影AR图像。在该情况下，由于AR图像显示于现实空间，因此也能够达到与上述相同的作用效果。
作为投影装置，还能够将三维的AR图像投影于现实空间。例如，通过利用投影机向作业区域投影AR图像，从而能够显示作业区域内的信息。
另外，作为显示装置62的带AR功能的眼镜、头戴式显示器等与上述不同，可以具备允许佩戴有这些的操作员直接观察实际的现实空间的透光性板或透光性薄膜。在该情况下，可以是透光性板或透光性薄膜具备显示AR图像数据的功能，或者可以是带AR功能的眼镜、头戴式显示器等具备向透光性板或透光性薄膜投影AR图像数据的功能。利用该配置，操作员能够在经由显示装置62观察现实空间的同时，观察透光性板或透光性薄膜的AR图像，因此能够达到与上述相同的作用效果。
关于透光性板或透光性薄膜的增强现实图像与实际的现实空间之间的定位，例如可以采用如下方法：用其他传感器感测人体的站立位置等，并且准备与人体的朝向相应的AR图像并进行显示。
在利用能够在观察现实空间的同时观察透光性板或透光性薄膜的AR图像的所述显示装置62或所述投影装置的情况下，也能够进行不作为所述的作业对象的检测结果的显示、与所述的选择相应的AR图像的显示、所述的对象的选择以及操作，并且还能够如上所述应用于其他作业系统或检查系统。
例如，若进行用智能手套的食指和拇指抓握所投影的AR图像或显示于透光性板或透光性薄膜上的AR图像手套的动作，该动作利用由摄像机摄像的图像被识别出，若在使食指和拇指为该状态的同时进行移动，则该AR图像移动。
此外，增强现实装置60的摄像机61可以配置于俯瞰搬运装置10、检测装置20、以及机器人30的位置，在显示装置62上显示俯瞰状态的现实空间像以及AR图像。在该情况下，在显示装置62上还可以显示操作员的AR图像。
此外，在本实施方式中，示出了控制装置40如上所述创建AR图像，但内置于增强现实装置60等的控制装置、其他控制装置也可以从控制装置40接收各种设定、运算结果、判定结果等数据，利用接收到的数据创建AR图像，并将所创建的AR图像发送到显示装置62。
另外，检测装置20还可以根据对象O的位置相应移动。例如，检测装置20可以支撑于机器人30的前端部，在该情况下，控制装置40也具有检测装置20的坐标系、检测范围等的设定数据，能够通过计算而求出与机器人30的动作相应的检测装置20的位置以及姿态。
并且，检测装置20还可以支撑于一轴机器人、多关节机器人等。在这些情况下，控制装置40也能够接收检测装置20的坐标系、检测范围等的设定数据，并通过计算而求出与多关节机器人等的动作相应的检测装置20的位置以及姿态。
此外，增强现实创建部也可以不一定存在于控制装置内。

Claims (12)

1.一种感测系统，其特征在于，具备：
检测装置，其用于检测对象；
对象检测单元，其通过对由所述检测装置得到的数据进行预定的处理来检测所述对象；
增强现实图像创建单元，其创建与进行了所述预定的处理后的处理后数据内所出现的多个候补之中的预定的参数为检测阈值以上的候补对应的增强现实图像，并且创建与所述多个候补之中的所述预定的参数小于所述检测阈值且为检测候补阈值以上的候补对应的候补增强现实图像；以及
显示装置或投影装置，其显示或投影所述增强现实图像和所述候补增强现实图像。
2.根据权利要求1所述的感测系统，其特征在于，
所述候补增强现实图像以能够与所述增强现实图像区分的方式创建。
3.根据权利要求1或2所述的感测系统，其特征在于，
所述增强现实图像创建单元创建附随于所述候补增强现实图像上的检测结果的增强现实图像，
利用所述显示装置或所述投影装置，将所述检测结果的增强现实图像与所述候补增强现实图像一起显示或投影。
4.根据权利要求1至3中任一项所述的感测系统，其特征在于，
所述显示装置或所述投影装置根据对预定的输入部的输入，显示或投影所述多个增强现实图像之中所选择的所述增强现实图像以及/或者所述候补增强现实图像。
5.根据权利要求1至3中任一项所述的感测系统，其特征在于，
所述显示装置或所述投影装置在发生了预定的事件时，显示或投影所述多个增强现实图像之中的所述预定的事件的发生时刻的周围的所述增强现实图像以及/或者所述候补增强现实图像。
6.根据权利要求1至5中任一项所述的感测系统，其特征在于，所述感测系统具备：
增强现实图像操作单元，其进行选择处理、移动处理、以及所显示的参数的设定变更，所述选择处理是根据利用预定的输入装置所进行的输入，选择显示于所述显示装置上的所述增强现实图像或由所述投影装置投影的所述增强现实图像中的至少一个，所述移动处理是对根据利用所述预定的输入装置所进行的输入而选择的、由所述显示装置显示的所述增强现实图像或由所述投影装置投影的所述增强现实图像进行移动；以及
设定调整单元，其根据所选择的所述增强现实图像的移动信息或变更信息，变更在控制作业机械的控制装置中所设定的参数或所计算的参数。
7.根据权利要求1至6中任一项所述的感测系统，其特征在于，
所述投影装置将所述增强现实图像投影于现实空间，所述显示装置以与现实空间像或现实空间一起看到的方式显示所述增强现实图像和所述候补增强现实图像。
8.根据权利要求1至7中任一项所述的感测系统，其特征在于，
所述感测系统具备存储部，所述存储部将所创建的所述增强现实图像以及/或者所述候补增强现实图像与所对应的现实空间像一起存储。
9.根据权利要求8所述的感测系统，其特征在于，
所述感测系统具备播放单元，所述播放单元播放存储于所述存储部的所述增强现实图像以及/或者所述候补增强现实图像、或者将存储于所述存储部的所述增强现实图像以及/或者所述候补增强现实图像与所述现实空间像一起播放。
10.一种作业系统，其特征在于，
具备权利要求1至9中任一项所述的感测系统以及作业机械。
11.一种增强现实图像的显示方法，其用于系统，所述系统通过对由检测装置得到的数据进行预定的处理来检测对象，其特征在于，所述方法包括以下步骤：
增强现实图像创建步骤，其创建与进行了所述预定的处理后的处理后数据内所出现的多个候补之中的预定的参数为检测阈值以上的候补对应的增强现实图像，并且创建与所述多个候补之中的所述预定的参数小于所述检测阈值且为检测候补阈值以上的候补对应的候补增强现实图像；以及
显示步骤，其显示或投影所述增强现实图像和所述候补增强现实图像。
12.一种存储介质，存储有用于系统的程序，所述系统通过对由检测装置得到的数据进行预定的处理来检测对象，其特征在于，所述程序使计算机执行以下处理：
增强现实图像创建处理，其创建与进行了所述预定的处理后的处理后数据内所出现的多个候补之中的预定的参数为检测阈值以上的候补对应的增强现实图像，并且创建与所述多个候补之中的所述预定参数小于所述检测阈值且为检测候补阈值以上的候补对应的候补增强现实图像；以及
显示处理，其显示或投影所述增强现实图像和所述候补增强现实图像。
CN201910790877.8A 2018-08-31 2019-08-26 感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质 Pending CN110871441A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-163819 2018-08-31
JP2018163819A JP6856590B2 (ja) 2018-08-31 2018-08-31 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN110871441A true CN110871441A (zh) 2020-03-10

Family

ID=69621672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910790877.8A Pending CN110871441A (zh) 2018-08-31 2019-08-26 感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质

Country Status (4)

Country Link
US (1) US11049287B2 (zh)
JP (1) JP6856590B2 (zh)
CN (1) CN110871441A (zh)
DE (1) DE102019122865B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112975955A (zh) * 2021-02-03 2021-06-18 浙江明泉工业涂装有限公司 一种涂装生产线机器人视觉集成系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
JP7069747B2 (ja) 2018-01-26 2022-05-18 セイコーエプソン株式会社 ロボット制御装置及びロボットシステム
JP7467041B2 (ja) * 2018-09-27 2024-04-15 キヤノン株式会社 情報処理装置、情報処理方法及びシステム
US11557065B2 (en) 2020-02-10 2023-01-17 Fujifilm Business Innovation Corp. Automatic segmentation for screen-based tutorials using AR image anchors
US11475661B2 (en) * 2020-02-10 2022-10-18 Fujifilm Business Innovation Corp. Systems and methods for augmented reality application for annotations and adding interfaces to control panels and screens
WO2022261333A1 (en) * 2021-06-11 2022-12-15 Cargill, Incorporated Inspection and handling sytems and methods

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227748A (ja) * 2010-04-21 2011-11-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム、及び欠陥検出装置
JP2013031896A (ja) * 2011-08-02 2013-02-14 Sony Corp 表示制御装置、表示制御方法、プログラム、及び通信システム
CN104660842A (zh) * 2013-11-18 2015-05-27 柯尼卡美能达株式会社 增强现实显示装置、印刷条件设定系统、印刷系统
WO2017217296A1 (ja) * 2016-06-16 2017-12-21 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置
US20180043541A1 (en) * 2016-08-09 2018-02-15 Omron Corporation Information processing system, information processing device, workpiece position identifying method, and workpiece position identifying program
CN107850550A (zh) * 2015-08-21 2018-03-27 新日铁住金系统集成株式会社 显示系统、显示装置、显示方法以及程序
CN107924585A (zh) * 2015-08-25 2018-04-17 新日铁住金系统集成株式会社 作业辅助装置、作业辅助方法以及程序
US20180218538A1 (en) * 2017-02-01 2018-08-02 Accenture Global Solutions Limited Rendering virtual objects in 3d environments

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002192486A (ja) 2000-12-25 2002-07-10 Seiko Epson Corp ロボット制御方法及び該方法を適用したロボットコントローラ
DE10305384A1 (de) 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
JP2005111607A (ja) 2003-10-07 2005-04-28 Fanuc Ltd ロボット物流トラッキング装置
DE102005011126A1 (de) 2005-03-10 2006-09-14 Siemens Ag Generierung virtueller Welten auf Basis einer realen Umgebung
DE102005045855A1 (de) 2005-09-26 2007-03-29 Siemens Ag Verfahren und Vorrichtung zur Erleichterung der Einstellung von Systemen, bei welchen Objekten bewegt werden
JP2008296330A (ja) 2007-05-31 2008-12-11 Fanuc Ltd ロボットシミュレーション装置
JP5459269B2 (ja) 2011-06-20 2014-04-02 株式会社安川電機 ピッキングシステム
EP2537645B1 (en) 2011-06-20 2017-10-25 Kabushiki Kaisha Yaskawa Denki Robot System
US20140081459A1 (en) 2012-09-20 2014-03-20 Marc Dubois Depth mapping vision system with 2d optical pattern for robotic applications
EP2939423A1 (en) 2012-12-28 2015-11-04 Metaio GmbH Method of and system for projecting digital information on a real object in a real environment
JP5596844B2 (ja) 2013-10-30 2014-09-24 オリンパス株式会社 画像処理装置、画像処理システム及び画像処理方法
JP5824173B1 (ja) 2014-02-28 2015-11-25 ファナック株式会社 ロボットを用いて物品を整列させる物品整列装置及び物品整列方法、並びに物品整列装置を備えた物品移送システム
US9632313B1 (en) 2014-03-27 2017-04-25 Amazon Technologies, Inc. Augmented reality user interface facilitating fulfillment
JP2016107379A (ja) 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
JP6645142B2 (ja) 2015-11-30 2020-02-12 株式会社デンソーウェーブ ロボット安全システム
JP6589604B2 (ja) 2015-12-01 2019-10-16 株式会社デンソーウェーブ ティーチング結果表示システム
JP6420229B2 (ja) 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP6426672B2 (ja) 2016-08-30 2018-11-21 ファナック株式会社 ワーク仕分けシステムおよび方法
JP2018034241A (ja) 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP6801333B2 (ja) 2016-09-27 2020-12-16 株式会社デンソーウェーブ ロボット用の表示システム
JP6741538B2 (ja) 2016-09-28 2020-08-19 川崎重工業株式会社 ロボット、ロボットの制御装置、及び、ロボットの位置教示方法
JP6450727B2 (ja) 2016-10-28 2019-01-09 ファナック株式会社 ロボットが行う物品整列作業のシミュレーションのための装置、方法、プログラム及び記録媒体
JP6866646B2 (ja) 2017-01-16 2021-04-28 オムロン株式会社 センサ支援システム、端末、センサおよびセンサ支援方法
JP6795471B2 (ja) 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
JP6937995B2 (ja) * 2018-04-05 2021-09-22 オムロン株式会社 物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227748A (ja) * 2010-04-21 2011-11-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム、及び欠陥検出装置
JP2013031896A (ja) * 2011-08-02 2013-02-14 Sony Corp 表示制御装置、表示制御方法、プログラム、及び通信システム
US20140200714A1 (en) * 2011-08-02 2014-07-17 Sony Corporation Display control device, display control method, computer program product, and communication system
CN104660842A (zh) * 2013-11-18 2015-05-27 柯尼卡美能达株式会社 增强现实显示装置、印刷条件设定系统、印刷系统
CN107850550A (zh) * 2015-08-21 2018-03-27 新日铁住金系统集成株式会社 显示系统、显示装置、显示方法以及程序
CN107924585A (zh) * 2015-08-25 2018-04-17 新日铁住金系统集成株式会社 作业辅助装置、作业辅助方法以及程序
WO2017217296A1 (ja) * 2016-06-16 2017-12-21 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置
US20180043541A1 (en) * 2016-08-09 2018-02-15 Omron Corporation Information processing system, information processing device, workpiece position identifying method, and workpiece position identifying program
US20180218538A1 (en) * 2017-02-01 2018-08-02 Accenture Global Solutions Limited Rendering virtual objects in 3d environments

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112975955A (zh) * 2021-02-03 2021-06-18 浙江明泉工业涂装有限公司 一种涂装生产线机器人视觉集成系统
CN112975955B (zh) * 2021-02-03 2024-02-02 浙江明泉工业涂装有限公司 一种涂装生产线机器人视觉集成系统

Also Published As

Publication number Publication date
JP2020035396A (ja) 2020-03-05
US11049287B2 (en) 2021-06-29
US20200074692A1 (en) 2020-03-05
JP6856590B2 (ja) 2021-04-07
DE102019122865B4 (de) 2023-01-12
DE102019122865A1 (de) 2020-03-12

Similar Documents

Publication Publication Date Title
CN110784708B (zh) 感测系统、作业系统、扩展现实图像的显示方法、扩展现实图像的存储方法以及程序
CN110871441A (zh) 感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
US11345042B2 (en) Robot system equipped with video display apparatus that displays image of virtual object in superimposed fashion on real image of robot
US10857673B2 (en) Device, method, program and recording medium, for simulation of article arraying operation performed by robot
CN110394780B (zh) 机器人的仿真装置
EP3222393B1 (en) Automated guidance system and method for a coordinated movement machine
US20160158937A1 (en) Robot system having augmented reality-compatible display
US20080013825A1 (en) Simulation device of robot system
CN113056351A (zh) 外部输入设备、机器人系统、机器人系统的控制方法、控制程序及记录介质
JP6902369B2 (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
JP2018015863A (ja) ロボットシステム、教示データ生成システム及び教示データ生成方法
US11511430B2 (en) Robot controller and management system
EP4261636A1 (en) Processing device, processing system, head mounted display, processing method, program, and storage medium
JP7133017B2 (ja) エンドエフェクタの選択方法および選択システム
CN115213894A (zh) 机器人图像的显示方法、显示系统以及记录介质
US20200016766A1 (en) Robot
CN111899629A (zh) 柔性机器人教学系统和方法
WO2023105637A1 (ja) 産業機械の動作を検証するための装置、及び方法
JP2023156237A (ja) 処理装置、処理システム、頭部装着ディスプレイ、処理方法、プログラム、及び記憶媒体
US20220410394A1 (en) Method and system for programming a robot
WO2024023934A1 (ja) ワーク取出し装置、ワーク取出し方法及び制御装置
JP2021008033A (ja) 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination