CN110784708A - 感测系统、作业系统、扩展现实图像的显示方法、扩展现实图像的存储方法以及程序 - Google Patents

感测系统、作业系统、扩展现实图像的显示方法、扩展现实图像的存储方法以及程序 Download PDF

Info

Publication number
CN110784708A
CN110784708A CN201910656478.2A CN201910656478A CN110784708A CN 110784708 A CN110784708 A CN 110784708A CN 201910656478 A CN201910656478 A CN 201910656478A CN 110784708 A CN110784708 A CN 110784708A
Authority
CN
China
Prior art keywords
augmented reality
reality image
image
control device
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910656478.2A
Other languages
English (en)
Other versions
CN110784708B (zh
Inventor
大场雅文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN110784708A publication Critical patent/CN110784708A/zh
Application granted granted Critical
Publication of CN110784708B publication Critical patent/CN110784708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0426—Programming the control sequence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40577—Multisensor object recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种感测系统，所述感测系统具备控制装置(40)和用于检测对象(O)的位置的检测装置(20)，控制装置(40)制作扩展现实图像以用于显示装置的显示或投影装置的投影，该扩展现实图像表示与使用检测装置(20)进行的对象(O)的检测相关的设定、输送装置(10)的设定、及针对对象(O)进行作业的机器人(30)的设定中的至少一个设定、控制装置(40)进行识别的对象(O)的位置、对象(O)的检测结果、输送装置(10)的作业预定、机器人(30)的作业预定、控制装置(40)的判断结果、以及与对象(O)相关的参数中的至少一个。

Description

感测系统、作业系统、扩展现实图像的显示方法、扩展现实图 像的存储方法以及程序
技术领域
本发明涉及一种感测系统、作业系统、扩展现实图像的显示方法、扩展现实图像的存储方法以及程序。
背景技术
一直以来，已知有一种作业系统，具备：视觉传感器，其用于检测由输送装置输送的对象的位置；以及机器人，其基于视觉传感器的检测结果来进行对象的取出作业(例如参照专利文献1)。
另外，已知有一种系统：基于机器人的三维模型和操作者的视点在三维坐标上的位置，在显示装置显示机器人所示教的动作的轨迹(例如参照专利文献2)。
现有技术文献
专利文献
专利文献1：日本特开2005-111607号公报
专利文献2：日本特开2017-100234号公报
发明内容
发明要解决的问题
在由机器人对输送装置输送的对象或正在移动的对象进行作业的系统中，在机器人针对对象的作业不成功时，需要确认其原因。为了进行该确认，目前需要将控制机器人的控制装置内的处理全部记录下来，并对所记录的处理进行解读。这样记录的处理大多是文本数据，因此调查原因需要长时间。或者，需要准备专用的解析软件进行解析，导致产生费用。另外，即使具有专用的解析软件，也很难直观地理解这种现象。
另一方面，在所述作业系统中，在机器人的控制装置中设定有输送装置的坐标系、机器人的作业区域、视觉传感器的位置等，但是无法直观地识别所设定的这些位置与现实空间的输送装置、机器人、视觉传感器等的关系。因此，存在有未注意到设定的错误而开始生产的情况。其结果是，产生了机器人与周边设备的干扰、由机器人进行的对象的取出失败等。
另外，在机器人未针对对象进行作业的情况下，无法判别原因是由于各种传感器的测量引起的、还是在于对象的位置计算且需要时间进行调整。
另外，关于使用示教器进行的机器人的控制装置的设定、例如坐标系的设定、机器人的作业区域的设定等，即使熟知机器人的操作的操作者也需要长时间，不熟悉机器人的操作的操作者就需要更长的时间。
本发明是鉴于上述的情形而完成的。本发明的目的之一在于，提供一种能够实现进行对象的检测的系统工作的成功或失败的原因查明的容易化、该系统的设定检查的容易化、或该系统的设定的容易化、状态变化、计算结果的可视化的感测系统、作业系统、扩展现实图像的显示方法、扩展现实图像的存储方法以及程序。
用于解决问题的方案
为了解决上述问题，本发明采用以下的方案。
本发明的第一方式的感测系统具备：检测装置，其至少用于检测通过使对象移动的移动单元进行移动的所述对象的位置；以及控制装置，所述控制装置制作扩展现实图像以用于显示装置的显示或投影装置的投影，该扩展现实图像表示：所述控制装置进行识别的设定、即与使用所述检测装置进行的所述对象的检测相关的设定、所述移动单元的设定、及针对所述对象进行作业的作业机械的设定中的至少一个设定、所述控制装置基于所述设定进行识别的所述对象的位置、使用所述检测装置检测所述对象的检测结果、所述移动单元的作业预定、所述作业机械的作业预定、与所述作业机械执行所述作业相关的所述控制装置的判断结果、以及与所述控制装置进行识别的所述对象相关的参数中的至少一个。
下面，有时将“扩展现实图像”记载为“AR图像”。
在该方式中，制作与控制装置进行识别的使用检测装置检测对象相关的设定、移动单元的设定、针对对象进行作业的作业机械的设定等的AR图像，以用于显示装置的显示或投影装置的投影。例如，制作表示检测装置的检测区域的AR图像、表示移动单元的输送方向的AR图像、表示作业机械的作业区域的AR图像等。因此，操作员能够容易地识别这些内容。
另外，在该方式中，针对控制装置基于所述设定进行识别的对象的位置、使用检测装置检测对象的检测结果、移动单元的作业预定、作业机械的作业预定、与作业机械执行作业相关的控制装置的判断结果、与控制装置进行识别的对象相关的参数等，也能够由操作员在视觉上进行识别，由此操作员能够容易地获知控制装置内实际进行的处理。
像这样，在视觉上识别控制装置内的设定、处理等关系到查明系统工作的成功或失败的原因的容易化。
在上述方式中，优选的是，所述投影装置将所述扩展现实图像投影到现实空间，所述显示装置以现实空间图像或现实空间能够一同显现的方式显示所述扩展现实图像。
在AR图像被投影到现实空间的情况下，操作员能够在现实空间中在视觉上识别控制装置内的设定、处理等，特别适合于多人之间进行讨论的情况。在由显示装置以现实空间图像或现实空间能够一同显现的方式显示AR图像的情况下，操作员即使不观看系统的整体，只观看显示装置内就能够在视觉上识别AR图像与现实空间的关系。另外，在显示装置将AR图像与现实空间图像一同显示的情况下，即使不在现场的情况下，也能够掌握状况，特别适合于系统监视。将AR图像附加在现实空间中的情况特别适合于一边实际观看一边进行作业的情况。
在上述方式中，优选的是，所述控制装置在所述作业机械进行所述作业时更新所述扩展现实图像，所述扩展现实图像表示：所述控制装置进行识别的所述对象的所述位置、所述对象的所述检测的结果、所述移动单元的所述作业预定、所述作业机械的所述作业预定、所述控制装置的所述判断结果、以及与所述对象相关的所述参数中的至少一个。
在该方式中，更新这些AR图像以用于显示装置的显示或投影装置的投影，因此操作员能够在视觉上识别与这些AR图像相关的控制装置的设定、处理等的动态的变化。
在上述方式中，优选的是，所述控制装置对所述作业机械进行控制，所述感测系统具备：扩展现实图像操作单元，其进行选择处理和移动处理，在该选择处理中，选择根据使用规定的输入装置进行的输入而显示于所述显示装置的所述扩展现实图像和由所述投影装置投影的所述扩展现实图像中的至少一个图像，在该移动处理中，移动根据使用所述规定的输入装置进行的输入而被选择的由所述显示装置显示的所述扩展现实图像或由所述投影装置投影的所述扩展现实图像；以及设定调整单元，其根据被选择的所述扩展现实图像的移动信息，变更所述控制装置中为了控制所述作业机械而设定的参数或计算出的参数。
在该方式中，操作员使用规定的输入装置来使AR图像移动，设定调整单元对控制装置中设定的参数或计算出的参数进行变更。因此，操作员能够直观地变更用于控制作业机械的设定，这对于熟练的操作员而言也会提高控制装置的设定的准确性和作业效率，因此是有用的。
在上述方式中，优选的是，所述控制装置制作多个所述扩展现实图像，所述显示装置显示所述多个扩展现实图像中的根据对规定的输入部的输入而被选择的所述扩展现实图像，所述投影装置投影所述多个扩展现实图像中的根据对规定的输入部的输入而被选择的所述扩展现实图像。
或者，所述控制装置实时地制作并记录所述扩展现实图像，所述显示装置根据对规定的输入部的输入或者控制装置或传感器中的规定的条件的成立，而显示从该时间点或最近的多个扩展现实图像中选择的所述扩展现实图像。
在该方式中，操作员能够使用对输入部的输入、对控制装置、传感器的条件设定来选择要显示的AR图像。因此，操作员能够更容易地识别任意的时间点、事件发生时的控制装置的处理、设定等，对于实现系统工作的成功或失败的原因查明的容易化、系统的运行率提高也是非常有用的。
在上述方式中，优选的是，具备存储部，该存储部将由所述控制装置制作而成的所述扩展现实图像连同对应的现实空间图像一同存储。
在该方式中，将AR图像连同对应的现实空间图像一同存储。因此，操作员能够将存储的AR图像连同现实空间图像一同再现，这对于系统的设定检查的容易化、系统的设定的容易化以及系统工作的成功或失败的原因查明的容易化是非常有利的。
在上述方式中，优选的是，具备再现单元，该再现单元再现所述存储部中存储的所述扩展现实图像、或者将所述扩展现实图像连同所述现实空间图像一同再现。
在该方式中，操作员能够在任意的场所通过再现单元容易地将所存储的AR图像连同现实空间图像一同再现。
或者，通过一边观看实际空间上的装置一边再现扩展现实图像，能够在现场进行用于改善运转率的调整。
本发明的第二方式的感测系统具备：检测装置，其至少用于检测通过规定的移动单元进行移动的对象的位置；控制装置，其使用所述检测装置的检测结果来控制对所述对象进行作业的作业机械；扩展现实图像制作单元，其在所述作业机械进行所述作业时，依次制作扩展现实图像，该扩展现实图像表示：所述控制装置基于所述检测装置的检测结果识别的所述对象的位置、所述移动单元的作业预定、所述作业机械的作业预定、与所述作业机械执行作业相关的所述控制装置的判断结果、以及与所述控制装置进行识别的所述对象相关的参数中的至少一个；以及存储部，将由所述扩展现实图像制作单元制作而成的所述扩展现实图像连同对应的现实空间图像一同存储。
在该方式中，将AR图像连同对应的现实空间图像一同存储。因此，操作员能够将存储的AR图像与现实空间图像一同再现，这对于系统的设定检查的容易化、系统的设定的容易化以及系统工作的成功或失败的原因查明的容易化是非常有利的。
在上述方式中，优选的是，具备再现单元，该再现单元再现所述存储部中存储的所述扩展现实图像、或者将所述扩展现实图像连同所述现实空间图像一同再现。
本发明的第三方式的感测系统具备：检测装置，其用于检测使对象移动的移动单元移动的多个对象；对象检测单元，其对由所述检测装置获得的图像数据进行用于检测所述对象的图像处理；扩展现实图像制作单元，其制作与进行了所述图像处理的处理后图像内出现的多个候选中的规定的参数为检测阈值以上的候选对应的扩展现实图像，并制作与所述多个候选中的所述规定的参数小于所述检测阈值且为检测候选阈值以上的候选对应的候选扩展现实图像；以及显示装置，其显示所述扩展现实图像和所述候选扩展现实图像。
在该方式中，在显示装置上不只显示与规定的参数为检测阈值以上的候选对应的AR图像，还以不同的颜色等能够区分开的方式显示与规定的参数小于检测阈值但为检测候选阈值以上的候选对应的候选AR图像。因此，增加检测阈值的变更、用于检测的照明(lighting)的变更、由其它设定的变更等检测的对象的作业变容易，还易于确认该作业后的结果。
在上述方式中，优选的是，以能够与所述扩展现实图像区分开的方式制作所述候选扩展现实图像。
根据该方式，操作员能够容易地识别与候选AR图像对应的对象的存在。
此外，也可以将制作而成的所述扩展现实图像保存到存储装置中。
在上述方式中，优选的是，所述扩展现实图像制作单元制作附属于所述候选扩展现实图像的检测结果的扩展现实图像，由所述显示装置将所述检测结果的扩展现实图像连同所述候选扩展现实图像一同显示，由所述投影装置将所述检测结果的扩展现实图像连同所述候选扩展现实图像一同投影。
在该方式中，操作员基于与候选AR图像一同显示的检测结果，能够更容易地进行与检测装置相关的参数设定。
本发明的第四方式的作业系统具备所述感测系统和所述作业机械。
本发明的第五方式是一种扩展现实图像的显示方法，被用于控制装置基于通过使对象移动的移动单元进行移动的所述对象的检测结果来控制作业机械或规定的装置的系统中，该扩展现实图像的显示方法包括以下步骤：所述控制装置制作扩展现实图像的步骤，该扩展现实图像表示：所述控制装置进行识别的设定、即与所述对象的检测相关的设定、所述移动单元的设定、及所述作业机械的设定中的至少一个设定、所述控制装置基于所述设定进行识别的所述对象的位置、使用所述检测装置检测所述对象的检测结果、所述移动单元的作业预定、所述作业机械的作业预定、与所述作业机械执行作业相关的所述控制装置的判断结果、以及与所述控制装置进行识别的所述对象相关的参数中的至少一个；以及由显示装置显示制作而成的所述扩展现实图像或者由投影装置投影制作而成的所述扩展现实图像的步骤。
本发明的第六方式是一种扩展现实图像的存储方法，被用于控制装置基于通过使对象移动的移动单元进行移动的所述对象的检测结果来控制作业机械的系统中，该扩展现实图像的存储方法包括以下步骤：扩展现实图像制作步骤，在所述作业机械进行所述作业时，依次制作扩展现实图像，该扩展现实图像表示：所述控制装置基于所述检测结果进行识别的所述对象的位置、所述移动单元的作业预定、所述作业机械的作业预定、与所述作业机械执行作业相关的所述控制装置的判断结果、以及与所述控制装置进行识别的所述对象相关的参数中的至少一个；以及存储步骤，将通过所述扩展现实图像制作步骤制作而成的所述扩展现实图像连同对应的现实空间图像一同存储。
本发明的第七方式是一种扩展现实图像的显示方法，被用于进行图像处理以对使对象移动的移动单元正在移动的多个所述对象进行检测的系统中，该扩展现实图像的显示方法包括以下步骤：制作与进行了所述图像处理的处理后图像内出现的多个候选中的规定的参数为检测阈值以上的候选对应的扩展现实图像，并制作与所述多个候选中的所述规定的参数小于所述检测阈值且为检测候选阈值以上的候选对应的候选扩展现实图像的步骤；以及显示步骤，显示所述扩展现实图像和所述候选扩展现实图像。
本发明的第八方式是一种存储介质，保存有被用于控制装置基于通过使对象移动的移动单元进行移动的所述对象的检测结果来控制作业机械或规定的装置的系统中的程序，所述存储介质保存有使计算机执行以下处理的程序：制作扩展现实图像的处理，该扩展现实图像表示所述控制装置进行识别的设定、即与所述对象的检测相关的设定、所述移动单元的设定、及所述作业机械的设定中的至少一个设定、所述控制装置基于所述设定进行识别的所述对象的位置、使用所述检测装置检测所述对象的检测结果、所述移动单元的作业预定、所述作业机械的作业预定、与所述作业机械执行作业相关的所述控制装置的判断结果、以及与所述控制装置进行识别的所述对象相关的参数中的至少一个；以及由显示装置显示制作而成的所述扩展现实图像或者由投影装置投影制作而成的所述扩展现实图像的处理。
本发明的第九方式是一种存储介质，保存有被用于控制装置基于通过使对象移动的移动单元进行移动的所述对象的检测结果来控制作业机械的系统中的程序，所述存储介质保存有使计算机执行以下处理的程序：扩展现实图像制作处理，在所述作业机械进行所述作业时，依次制作扩展现实图像，该扩展现实图像表示所述控制装置基于所述检测结果进行识别的所述对象的位置、所述移动单元的作业预定、所述作业机械的作业预定、与所述作业机械执行作业相关的所述控制装置的判断结果、以及与所述控制装置进行识别的所述对象相关的参数中的至少一个；以及存储处理，将通过所述扩展现实图像制作处理制作而成的所述扩展现实图像连同对应的现实空间图像一同存储。
本发明的第十方式是一种存储介质，保存有被用于进行图像处理以对通过使对象移动的移动单元进行移动的多个所述对象进行检测的系统中的程序，所述存储介质保存有使计算机执行以下步骤的程序：制作在进行了所述图像处理的处理后图像内出现的多个候选图像中的规定的参数为检测阈值以上的候选对应的扩展现实图像，并制作与所述多个候选中的所述规定的参数小于所述检测阈值且为检测候选阈值以上的候选对应的候选扩展现实图像的步骤；以及显示步骤，显示所述扩展现实图像和所述候选扩展现实图像。
发明的效果
根据本发明，能够实现进行对象的检测的系统工作的成功或失败的原因查明的容易化、该系统的设定检查的容易化、或该系统的设定的容易化、或状态变化确认的高效化、系统调整的简单化。
附图说明
图1是示出本发明的一个实施方式的感测系统的概要结构和动作的一例的图。
图2是本实施方式的感测系统的控制装置的框图。
图3是示出本实施方式的感测系统的显示装置进行显示的例子的图。
图4是示出本实施方式的感测系统的显示装置进行显示的例子的图。
图5是示出本实施方式的感测系统的显示装置进行显示的例子的图。
具体实施方式
下面，使用附图对本发明的一个实施方式所涉及的感测系统进行说明。
如图1所示，本实施方式的感测系统具备：作为移动单元的输送装置10，其用于输送作为物品的对象O；检测装置20，其用于对由输送装置10输送的对象O进行检测；作为作业机械的机器人30，其对由输送装置10输送的对象O进行规定的作业；控制装置40，其对机器人30进行控制；以及扩展现实装置60(图2)。对于本实施方式的感测系统，由于是作为作业机械的机器人30对感测出的对象O进行规定的作业的系统，因此也是作业系统。
输送装置10是通过驱动电机11来输送对象O的装置。电机11具备工作位置检测装置12，工作位置检测装置12依次检测电机11的输出轴的旋转位置和旋转量。工作位置检测装置12例如为编码器，工作位置检测装置12的检测值被发送到控制装置40。
此外，也可以不使用编码器而由检测装置20检测对象O的工作位置。
对象O能够是车身、车架、零件、食品、医药品等各种物体。也能够使用图1所示的输送装置10以外的输送装置，输送装置10只要是能够输送对象O的装置即可。
检测装置20为二维摄像机、三维摄像机、三维距离传感器等，检测装置20将所获得的图像数据(检测结果)或三维距离传感器的检测点组(检测结果)发送到控制装置40。如后述那样，控制装置40基于图像数据、点组来检测对象O的位置和姿势。
机器人30不限定于特定种类的机器人，但是本实施方式的机器人30是具备对多个可动部分别进行驱动的多个伺服电机31的多关节机器人(参照图2)。此外，由多个可动部构成机器人30的臂30a。各伺服电机31具有用于检测其工作位置的工作位置检测装置，工作位置检测装置的一例是编码器。工作位置检测装置的检测值被发送到控制装置40。由此，控制装置40能够识别机器人30的各部的位置、速度、加速度等。
机器人30针对对象O进行与设置于机器人30的前端部的工具50的种类相应的规定的作业。工具50只要是机器人用工具即可，可以是把持工具、吸附工具、加工工具、清扫工具、装配用工具、测定工具、各种传感器、视觉系统(vision system)用的摄像机等。加工工具例如是电动钻机等钻孔工具、前端附带有攻丝(tap)的螺纹形成工具、电动研磨工具、涂装枪等涂装工具、伺服枪等焊接工具等。装配中使用的工具例如是电动起子，用于把持销并插入孔中的工具等。测定工具例如是膜厚测定器、使用超声波的内部检查装置、硬度测定器、非接触式的温度计、近摄式的摄像机等。此外，对象O也可以是在物品上设置的孔、加工对象部等。
本实施方式的工具50为机械手，机器人30通过工具50取出输送装置10上的对象O。
工具50具备对爪进行驱动的伺服电机51(参照图2)。伺服电机51具有用于检测其工作位置的工作位置检测装置，工作位置检测装置的一例是编码器。工作位置检测装置的检测值被发送到控制装置40。
将机器人30的坐标系与输送装置10的坐标系相关联。在本实施方式中，通过使在机器人30的前端部所设置的设定工具接触设置在输送装置10上的校准夹具的多个规定位置，来设定被用作机器人30和输送装置10的坐标系的基准坐标系。另外，基于由检测装置20获得的所述校准夹具的图像数据，将检测装置20的位置姿势(传感器坐标系)与基准坐标系建立关联。
如图2所示，控制装置40具备：控制部41，其具有CPU、RAM等；控制装置显示部42，其显示控制装置40的设定、菜单等；存储部43，其具有非易失性存储器、ROM等；多个伺服控制器44，该多个伺服控制器44分别与机器人30的伺服电机31对应；伺服控制器45，其与机械手50的伺服电机51对应；以及输入部46，其与控制装置40连接。输入部46是由操作员携带的操作面板等输入装置。有时输入部46与控制装置40进行无线通信。
在存储部43中保存有系统程序43a，系统程序43a承担控制装置40的基本功能。另外，在存储部43中保存有动作程序43b、对象检测程序43c等。控制部41基于对象检测程序43c，对从检测装置20发送的图像数据进行公知的图像处理、重心位置的检测处理、图案匹配处理、其它必要的处理等以便进行物品O的检测，从而检测出输送装置10输送的对象O的位置、姿势等。此外，在检测装置20能够进行所述图像处理、检测处理以及图案匹配处理等的情况下，控制部41不需要进行与检测装置20重复的处理。
另外，控制部41在基于对象检测程序43c刚检测完对象O之后，使用工作位置检测装置12的检测结果(输送装置10的动作的检测结果)来至少追踪(跟踪)输送装置10输送的对象O的位置和姿势。像这样，控制部41能够基于从检测装置20发送的图像数据和工作位置检测装置12的检测结果，检测由输送装置10输送的对象O的位置、速度、移动量等。
扩展现实装置60具备具有CPU、RAM等的控制部、具有非易失性存储器、ROM等的存储部以及键盘等输入部。在一例中，如图2所示，扩展现实装置60具备：摄像机61，其设置在规定位置以拍摄输送装置10和机器人30；以及显示装置62，其用于显示由摄像机61拍摄到的现实空间图像。显示装置62能够使用平板电脑终端、头戴式显示器、带AR显示功能的眼镜等公知的显示装置。在该情况下，摄像机61也可以搭载于平板电脑终端或头戴式显示器、带AR显示功能的眼镜。由摄像机61拍摄得到的图像数据被发送到控制装置40。另外，显示装置62用于显示从控制装置40发送的扩展现实图像数据。扩展现实图像可以是三维图像，也可以是二维图像。下面，有时“扩展现实”被记载为“AR”。也可以基于由摄像机61获得的粘贴在所述校准夹具或机器人上的标记、机器人自身的形状的图像数据，来将摄像机61的位置和姿势(摄像机坐标系)与基准坐标系建立关联。为了将实际空间与AR图像的位置关系不改变维度地建立关联，优选的是由摄像机61获得的所述现实空间图像为由三维摄像机获得的三维图像，但是也能够使用获取二维图像作为所述现实空间图像的其它种类的摄像机。
此外，基准坐标系建立关联可以自动地进行，也可以是用户直接操作AR图像来手动地使坐标系一致。
另外，也可以不对基准坐标系建立关联。在该情况下，现实与AR图像不会叠加，但是现实空间上的物体的相对关系与AR图像上的物体的相对关系一致，如果AR图像上的物体的相对关系存在异常，则可知实际的设定也是不准确的。
(扩展现实显示的基本处理)
控制部41基于存储部43中保存的AR图像制作程序43d，依次制作与下面的内容中的至少一个相关的AR图像数据，并将制作而成的AR图像数据发送到显示装置62，其中，该内容是与使用检测装置20进行的对象O的检测相关的设定、输送装置10的设定、机器人30的设定、控制部41基于所述设定进行识别的对象O的位置和姿势、检测装置20检测对象O的检测结果、输送装置10的作业预定、机器人30的作业预定、与机器人30执行作业相关的控制部41的判断结果以及与控制部41进行识别的对象O相关的参数。基于摄像机坐标系或基准坐标系来调整AR图像的位置和姿势。由此，在显示装置62上显示从摄像机61接收的现实空间图像和从控制装置40接收的AR图像。
此外，也可以是由扩展现实装置60从控制部41获取数据来制作AR图像。
控制装置40与扩展现实装置60之间的通信可以通过有线线缆连接，也可以是以无线方式进行通信。
在图1的例子中，作为与使用检测装置20进行的对象O的检测相关的设定，显示有检测装置20的传感器坐标系的AR图像71和检测装置20的检测范围的AR图像72。作为与使用检测装置20进行的对象O的检测相关的设定，也可以显示表示检测装置20的位置和方向的AR图像，还可以将检测装置20的帧频、检测装置20的位置和方向、检测装置20的光圈或曝光时间的调整值、检测装置20的使用开始后的经过时间等显示为指示符、数值、文字等的AR图像。指示符可以利用颜色来表现程度。
也可以是，基于校准来设定检测范围的AR图像72的位置和范围，在该设定中例如使用图像数据中的输送装置10上的标记、图案、对象O等的位置和大小来作为基准。在显示有检测范围的AR图像72的情况下，操作员能够容易地确认对象O是否适当地载置在输送装置10上、检测范围与机器人30的作业范围的关系等。
在图1的例子中，基于由控制部41检测出的对象O的位置和姿势，显示有表示控制部41进行识别的对象O的位置和姿势的AR图像73。图1示出AR图像73与现实空间图像的对象O在输送装置10的宽度方向上发生了偏移的例子。在本实施方式中，AR图像73具有与对象O的形状类似或一致的形状，但是AR图像73也可以是表示对象O的位置、姿势等的点、表示对象O的移动方向、速度等的箭头、对象O的抽象图、其它替代图等。关于前述和后述的其它AR图像，也能够进行同样的显示。AR图像73的位置和姿势根据由控制部41检测出的对象O的位置和姿势而变化。
另外，在图1的例子中，将作为机器人30的设定的基准坐标系显示为AR图像74。作为机器人30的设定，也可以是将机器人30的现实的动作速度、机器人30的最高速度、机器人30的使用开始后的经过时间等显示为指示符、数值、文字等的AR图像。
当将机器人30的前端部、工具50、由工具50把持的对象O等的速度或加速度的计算结果显示为指示符、数值、文字等的AR图像时，能够直观地识别施加于工具50的负荷、施加于由工具50把持的对象O的负荷、工具50的把持力是否适当等。所述速度和所述加速度也可以是考虑机器人30的手腕法兰的旋转所得到的。
另外，在图1的例子中，将作为机器人30的设定的机器人30的作业范围显示为AR图像75。在本实施方式中，该作业范围是机器人30进行对象O的取出作业的范围。根据该结构，操作员能够直观地识别该作业范围与操作员的行动范围的关系、该作业范围与其它机器人的作业范围的关系、针对作业内容而言的该作业范围的大小等。
另外，在图1的例子中，作为输送装置10的设定，显示有输送装置10的输送方向的AR图像76。作为输送装置10的设定，也可以将输送速度、使用开始后的经过时间等显示为指示符、数值、文字等的AR图像。
输送装置10的输送方向例如是基于由输送装置10输送的对象O的位置变化来通过计算得到的。在该情况下，优选摄像机61设置于输送装置10的上方。在该结构中，能够目视确认AR图像74与AR图像76的关系，对于确认输送装置10的输送方向相对于基准坐标系等的设定是否适当是有利的。
另外，作为输送装置10的设定，也可以显示指出控制装置40进行识别的输送装置10的带的某个特定位置的指示标记的AR图像77，以表示输送装置10的输送速度。
另外，也可以将机器人30的动作限制区域以AR图像的形式显示于显示装置62。动作限制区域是设定在操作员、周边设备等的周围的区域且是使机器人30的动作停止或对机器人30的动作进行限制的区域。在该情况下，能够直观地识别动作限制区域的设定范围。
另外，作为检测装置20检测对象O的检测结果，也可以将由检测装置20检测出的图像、通过对该图像实施所述图像处理而得到的图像且表示对象O的位置、姿势及形状的图像等以AR图像的形式显示于显示装置62。
在该情况下，操作员能够直观地确认由检测装置20进行的对象O的检测是否适当。例如，能够确认向对象O的照明是否适当、针对向对象O的照明的检测阈值是否适当、由检测装置20检测并且控制装置40进行识别的对象O的位置、姿势、形状等是否适当等。在照明或检测阈值不适当的情况下，容易产生作为明亮的部分或黑暗的部分的对象O的一部分或整体未被检测到的状况。另外，通过将由检测装置20检测出的对象O的位置、姿势及形状与实物进行比较，操作员能够直观地确认检测装置20的检测是否适当。由于检测装置20的检测对于机器人30的作业是否成功、是否适当等产生较大的影响，因此该结构是有用的。
此外，作为AR图像显示于显示装置62的对象O的位置、姿势及形状也能够基于检测对象的检测装置20的结果来与实际的对象的运动匹配地依次进行更新。
另外，能够在任意的时间点停止更新而进行结果确认，并且还能够再现所记录的结果。
另外，如图3所示，作为机器人30的作业预定，可以将表示机器人30对被控制部41追踪的多个对象O进行作业的预定顺序、能否作业、作业的难度(对象O的属性)、对象O的种类、重量、硬度、材质(对象O的属性)、对象O的检查结果等的指示符、数值、文字等以AR图像78的形式显示于显示装置62。在此，预定顺序、能否作业以及作业的难度也是与控制部41执行作业相关的判断结果，对象O的种类、重量、硬度、材质以及检查结果是与控制部41进行识别的对象O相关的参数。
此外，也能够基于检测装置20的检测对象的结果来与实际的对象的运动匹配地依次更新显示于显示装置62的AR图像78。另外，能够在任意的时间点停止更新而进行结果确认，并且还能够再现所记录的结果。
在该情况下，操作员能够直观地识别机器人30的作业预定。例如图3所示，在配置于表示机器人30的作业范围的一对AR图像75之间的多个对象O中的输送方向的下游侧的对象O的预定顺序不适当的情况下，能够容易地确认该情况。
此外，如图4所示，在多个机器人30针对对象O进行作业的情况下，能够针对各机器人30，将进行作业的预定顺序以AR图像79的形式显示于显示装置62。在该结构中，能够直观地识别各机器人30的作业分担等。可以从两个机器人30的控制装置40分别向显示装置62发送作业顺序的AR图像79，也可以从一个机器人30的控制装置40向显示装置62发送作业顺序的AR图像79。另外，也可以从与机器人30连接的上级控制装置向显示装置62发送作业顺序的AR图像79。在此，预定顺序也是与作业的执行相关的控制部41的判断结果。
此外，也能够基于检测对象的检测装置20的结果来与实际的对象的运动匹配地依次更新显示于显示装置62的AR图像79。另外，能够在任意的时间点停止更新而进行结果确认，并且还能够再现所记录的结果。
另外，作为输送装置20的作业预定，也能够将被控制部41追踪的多个对象O的不久将来的预定位置和预定姿势以AR图像的形式显示于显示装置62。在该情况下，操作员能够容易地确认对象O的移动方向、移动过程中的姿势等。
此外，也能够基于检测对象的检测装置20的结果来与实际的对象的运动匹配地依次更新显示于显示装置62的该AR图像。另外，能够在任意的时间点停止更新而进行结果确认，并且还能够再现所记录的结果。
通过如上述那样通过将AR图像显示于显示装置62，操作员能够直观地识别与使用检测装置20进行的对象O的检测相关的设定、输送装置10的设定、机器人30的设定、控制部41基于所述设定进行识别的对象O的位置和姿势、检测装置20检测对象O的检测结果、输送装置10的作业预定、机器人30的作业预定、与机器人30执行作业相关的控制部41的判断结果、或者与控制部41进行识别的对象O相关的参数。这对于缩短用于设定、现象掌握、查明现象的原因等的作业时间、通过改善设定来提高作业效率、设定意识的提高等是非常有利的。
(不作为作业对象的检测结果的显示)
在图3和图4中，对于各AR图像73，将机器人30能够进行作业的对象O作为作业对象示出。与此相对地，例如存在如下情况：在对象O的检测不充分时、检测出的对象O的姿势不适于作业时等，机器人30针对多个对象O中的一部分对象O不执行作业、或无法执行作业。例如在对象O的检测参数小于其检测阈值时，该对象O不被作为作业对象进行检测。另外，在与对象O的检测图像的姿势相关的参数小于其姿势阈值时，对象O的姿势被判定为不适于作业。
针对对象O的照明、对象O的姿势、对象O的形状、对象O的材料、包括光圈、曝光时间的检测装置20的设定等是影响对象O的适当检测的主要原因，也会影响用于是否作为作业对象进行检测的判定的检测阈值的设定。作为检测阈值，能够使用与对比度相关的参数、表示形状相对于模型的差异或相似度的参数等。
控制部41制作进行所述图像处理得到的图像数据中的各个图像数据与对象O、异物、输送装置10上的脏污等对应的多个候选中的、与规定的参数为检测阈值以上的候选对应的所述AR图像73，并制作与所述规定的参数小于检测阈值且为检测候选阈值以上的候选对应的AR图像(候选AR图像)80(图5)。在此，检测候选阈值小于检测阈值。以能够与AR图像73区分开的显示方式制作AR图像80，因此AR图像80以能够与AR图像73区分开的方式显示于显示装置62。
根据该结构，操作员能够比较容易地进行用于增加以检测阈值以上被检测出的对象O的所述主要原因的调整、检测阈值的调整等。
另外，控制部41也可以制作附属于各AR图像80的评分值的AR图像81。评分值是表示模型与对象的相似度、匹配度的指标，在图5中，评分值越大则达到检测阈值的可能性越高。评分值为检测结果的一例，作为检测结果的AR图像，也可以制作对比度值、检测位置、对象O的种类信息、对象O的ID信息、测量结果等的AR图像。通过AR图像81显示于显示装置62，操作员能够更容易地进行用于增加以检测阈值以上被检测出的对象O的所述主要原因的调整、检测阈值的调整等。
此外，AR图像71～81随着时间的经过来依次制作并进行记录(更新)。因此，在显示装置62中，AR图像71～81也与现实空间图像匹配地依次被更新。
或者，也可以构成为：控制装置40实时地制作并记录AR图像71～81，显示装置62显示根据对规定的输入部的输入或者控制装置40或传感器中的规定的条件的成立，而显示从该时间点或最近的多个AR图像71～81中选择的AR图像。
(再显示处理)
控制装置40、扩展现实装置60等具有保存显示于显示装置62的现实空间图像和AR图像71～81的功能。在控制装置40进行保存的情况下，基于保存于存储部43的再现程序43e，至少将从扩展现实装置60依次接收的摄像机61的图像数据和依次制作的AR图像数据暂时保存到存储部43。在扩展现实装置60进行保存的情况下，基于保存于扩展现实装置60的存储部的再现程序，至少将摄像机61的图像数据和从控制装置40依次接收的AR图像数据暂时保存到扩展现实装置60的存储部。也可以在其它的装置、计算机终端等中进行同样的保存。
而且，控制装置40或扩展现实装置60根据对输入部46或扩展现实装置60的输入部的操作，在控制装置显示部42、显示装置62等中进行使用所保存的现实空间图像数据和AR图像数据的再现、慢速再现、再现过程中的暂停显示等。因此，操作员能够反复观看现实空间图像与AR图像71～81的叠加显示。
根据该结构，操作员能够更准确地识别与使用检测装置20进行的对象O的检测相关的设定、输送装置10的设定、机器人30的设定、控制装置40的控制部41基于所述设定进行识别的对象O的位置和姿势、检测装置20检测对象O的检测结果、输送装置10的作业预定、或机器人30的作业预定。
此外，控制装置40、扩展现实装置60等也能够将所保存的现实空间图像数据和AR图像数据发送到其它的显示装置。
(与选择相应的扩展现实图像的显示)
扩展现实装置60具有仅将被选择的AR图像显示于显示装置62的功能。例如，根据对扩展现实装置60的输入部的操作，而在显示装置62仅显示AR图像71～81中的被选择的AR图像71。在图4中，也能够使显示装置62仅显示与多个机器人30中的一个机器人30相关的AR图像。
根据该结构，操作员能够根据需要切换所显示的AR图像，这对于缩短与设定、现象掌握、查明现象的原因等相关的作业时间是有利的。
即使在控制装置40仅将被选择的AR图像发送到显示装置62的情况下，也能够达到与上述同样的效果。
另外，扩展现实装置60也可以具有仅将被选择的范围的AR图像显示于显示装置62的功能。例如，根据对扩展现实装置60的输入部的操作，而在显示装置62仅显示被选择的范围内存在的AR图像。
在该情况下，操作员也能够根据需要切换显示AR图像的范围，这对于缩短与设定、现象掌握、查明现象的原因等相关的作业时间是有利的。
此外，在显示装置62具有触摸屏功能的情况下，所述被选择的范围能够是以接触显示装置62的手指、笔等为中心的规定范围、通过手指、笔等包围的范围等。
此外，在显示装置62为头戴式显示器、带AR功能的眼镜的情况下，显示装置62也可以具备对佩戴者的视线进行检测的视线检测装置。在该情况下，能够使视线检测装置作为所述扩展现实装置60的输入部发挥功能。
(与选择相应的执行历史记录的扩展现实图像的显示)
扩展现实装置60具有将与被选择的AR图像相关的执行历史记录显示于显示装置62的功能。例如，可以根据对扩展现实装置60的输入部的操作，而将与多个AR图像73、80中的被选择的一个AR图像73或AR图像80对应的对象O的由检测装置20获得的摄像图像作为执行历史记录显示于显示装置62。优选执行历史记录的显示位置为显示装置62中的不与AR图像73、80重叠的位置。
此外，当进行检测装置20的摄像和控制部41的检测处理时，由控制部41识别可以是对象O的多个候选。控制部41能够将与各个候选对应的执行历史记录保存到存储部43。
执行历史记录只要是通过感测系统的执行获得的结果即可，能够是测定结果、检测结果、摄像结果等。
(对象的选择和操作)
另外，扩展现实装置60、控制装置40等也可以根据使用规定的输入装置进行的输入而进行显示于显示装置62的各AR图像71～81的选择处理和被选择的AR图像的移动处理。
例如，扩展现实装置60基于保存于该存储部63的AR图像操作程序63a，根据使用规定的输入装置进行的输入来使各AR图像71～81中的一个或多个AR图像成为选择状态，根据使用规定的输入装置进行的输入而在显示装置62内变更被选择的AR图像的位置和姿势。
在变更检测出的对象O的AR图像73的位置和姿势时，也能够仅变更被规定的输入装置实施了操作的AR图像73的位置，还能够使用相同的移动距离或对应的移动距离来移动多个AR图像73的位置。
规定的输入装置例如包括作为设置于显示装置62的触摸屏的输入装置、键盘等。
另外，扩展现实装置60基于对输入装置的输入，将AR图像71～81的移动信息发送到控制装置40，控制装置40的控制部41基于保存于存储部43的设定调整程序43f，根据接收的移动信息来变更控制装置40中设定的各种参数或计算出的各种参数。
例如，根据AR图像71或AR图像74的移动信息，来变更控制装置40进行识别的传感器坐标系或基准坐标系。在检测装置20具有用于变更检测范围的变焦功能、光轴变更功能、姿势变更功能等的情况下，控制装置40根据AR图像72的移动信息，进行与检测装置20的这些功能相关的控制。
另外，根据AR图像73或AR图像80的移动信息，来变更控制装置40进行识别的一部分或全部的对象O的检测位置、姿势等。也可以根据AR图像73或AR图像80的移动信息，来变更控制装置40进行识别的各对象O的输送速度、移动量等。另一方面，也可以根据AR图像77的移动信息，变更控制装置40进行识别的各对象O的输送速度、移动量等。
此外，也可以根据各移动信息，针对所记录的AR图像变更各数据。
另外，控制装置40根据AR图像75的移动信息，变更机器人30的作业范围的设定。另外，根据AR图像76的移动信息来变更控制装置40进行识别的输送装置10的输送方向。
此外，也可以是每当AR图像被移动时，扩展现实装置60都将移动信息发送到控制装置40，但是基于输入装置的输入来发送移动信息的结构对于控制装置40的处理量的减少、设定错误的降低等更有利。
此外，控制部41也能够接收某个AR图像的移动信息，来针对与该AR图像不同的AR图像变更控制装置40内设定的各种参数或通过计算得到的各种参数。例如，在接收到与设定相关的AR图像71、74、75等的移动信息时，对AR图像73、78、79、80、81的参数进行变更。在该情况下，控制部41基于AR图像制作程序43d，根据控制装置40内变更后的参数再次制作AR图像数据，并将制作而成的AR图像数据发送到显示装置62。由此，操作员在移动了某个AR图像时，能够立即识别伴随该AR图像的移动所引起的控制装置40内的设定、计算等的变化。
此外，作为所述规定的输入装置，也能够使用被称为智能手套的可穿戴设备。在使用智能手套的情况下，例如当操作员将戴着智能手套的手放到摄像机61的视角内时，扩展现实装置60对该手的食指、拇指等的位置进行识别，当进行由食指和拇指夹住AR图像71～81中的某一个AR图像的动作时，该AR图像成为选择状态，当食指和拇指成为该状态的同时进行移动时，该AR图像进行移动。
此外，关于上述的AR图像71～81，例如以机器人30的基准坐标系为基准来设定位置、姿势、参数等。与此相对地，也可以是，以检测装置20的传感器坐标系等为基准设定AR图像71～81的位置、姿势、参数等。另外，在多个机器人30各自具有控制装置40的情况下，根据各控制装置40进行识别的基准坐标系而将AR图像71～81显示于显示装置62，由此容易地确认各机器人30的基准坐标系的设定是否适当。
另外，也可以构成为：在显示装置62具有触摸屏功能、用于检测操作员的视线的视线检测功能等的情况下，通过指示设备、视线方向等来指定多个机器人30中的一个或多个机器人，并显示被指定的机器人30的控制装置40进行识别的AR图像。
(应用于其它的作业系统或检查系统的情况)
也能够将与上述同样的结构应用于机器人30针对对象O进行加工、装配、检查、观察等其它作业的作业系统。对象O只要能够通过任意的移动单元进行输送即可，作为移动单元也能够使用与机器人30不同的机器人等。在对象O为车的车身或车架的情况下，在该车身或车架通过搭载于其上的发动机、电机、车轮等而进行移动的情况下，发动机、电机、车轮等作为移动单元发挥功能。
也可以通过对象O因重力而滑落、滚落、或落下的吹射机(shooter)来使对象O移动。在该情况下，也能够通过起振装置使倾斜的吹射机振动，由此使对象O在吹射机上顺畅地移动。在这些情况下，吹射机、起振装置等作为移动单元发挥功能。
另外，能够将与上述同样的结构应用于未使用机器人的作业系统、检查系统等。作为未使用机器人的作业系统，存在有在输送装置10的上方的规定位置配置有多个涂装枪(规定的装置)的自动涂装系统、在输送装置10的侧方的规定位置配置有清洗喷嘴(规定的装置)的清洗系统等。
在检查系统的情况下，例如取代机器人30而将检查用传感器(规定的装置)配置在输送装置10的上方，控制装置40使用检查用传感器的检测图像来进行图像处理和判定。也可以设置用于照亮检查用传感器的感测范围的检查用照明装置。
而且，控制装置40制作图像处理的结果、判定结果、与它们相关的参数、与参数对应的评分等的AR图像，并将制作而成的AR图像发送到显示装置62。例如，在显示装置62显示有图像处理后的检查对象的图像、与检查对象是否合格相关的判定结果、与它们相关的参数、评分等的AR图像。另外，也可以在显示装置62显示有输送装置10上的检查对象以外的物品、图案、脏污等的图像处理后的图像即噪声图像、与噪声图像相关的参数、噪声图像的评分等。根据该结构，操作员能够容易地进行控制装置40的设定、检查用照明装置的设定作业等。
像这样，根据本实施方式，制作与控制装置40进行识别的使用检测装置20的对象O的检测相关的设定、输送装置10的设定以及针对对象O进行作业的机器人30的设定即AR图像71、72、73、75、76、77以用于显示装置62的显示。因此，操作员能够容易地识别这些设定。
另外，在本实施方式中，操作员也能够在视觉上识别控制装置40基于所述设定进行识别的对象O的位置、使用检测装置20检测对象O的检测结果、输送装置10的作业预定、机器人30的作业预定、与机器人30执行作业相关的控制装置40的判断结果、与控制装置40进行识别的对象O相关的参数等，由此操作员能够容易地获知控制装置40内实际进行的处理。
像这样，在视觉上识别控制装置40内的设定、处理等关系到系统工作的成功或失败的原因查明的容易化。
另外，在本实施方式中，控制装置40在机器人30进行作业时更新AR图像73、78、79、80、81，所述AR图像73、78、79、80、81表示控制装置40进行识别的对象O的位置、对象O的检测结果、由控制装置40接收或决定的输送装置10的作业预定、由控制装置40决定的机器人30的作业预定、控制装置40的判断结果以及与控制装置40进行识别的对象O相关的参数中的至少一个。
因此，操作员能够在视觉上识别与上述内容相关的控制装置40的设定、处理等的动态变化。
另外，在本实施方式中，控制装置40对机器人30进行控制，并实施根据使用规定的输入装置进行的输入而选择显示于显示装置62的AR图像中的至少一个的选择处理和在显示装置62内移动根据使用规定的输入装置进行的输入而被选择的AR图像的移动处理，根据被选择的AR图像的移动信息，变更控制装置40中为了控制机器人30而设定的参数或计算出的参数。
因此，操作员能够直观地变更用于控制机器人30的控制装置40的设定，这对于熟练的操作员而言也会提高设定的准确性和作业效率，因此是有用的。
另外，在本实施方式中，控制装置40制作多个AR图像，显示装置62能够根据对规定的输入部的输入而显示多个AR图像中的被选择的AR图像。
由此，操作员能够利用对输入部的输入来选择要显示的AR图像。因此，操作员能够更容易地识别控制装置40的处理、设定等，对于实现系统工作的成功或失败的原因查明的容易化也是非常有用的。
另外，在本实施方式中，具备将由控制装置40制作而成的AR图像连同对应的现实空间图像一同存储的存储部43、63。
由此，操作员能够将存储的AR图像连同现实空间图像一同再现，这对于系统的设定检查的容易化、系统的设定的容易化以及系统工作的成功或失败的原因查明的容易化是非常有利的。此外，也可以仅再现所保存的AR图像数据、进行慢速再现、再现过程中的暂停显示等。在这样的结构中，也有助于系统的设定检查的容易化、系统的设定的容易化以及系统工作的成功或失败的原因查明的容易化。
此外，在本实施方式中，作为作业机械，使用作为多关节机器人的机器人30。与此相对地，也能够使用通过气缸、液压缸等使钻机等工具仅在上下方向上移动的钻机支承装置作为作业机械，还能够使用其它的作业机械。
另外，也能够取代显示装置62而使用向操作员的视网膜投影AR图像的显示装置。在该情况下，现实空间图像和AR图像也会一起显示于操作员的视网膜上。
另外，也能够取代显示装置62的显示，或者连同显示装置62的显示一同使用现实空间的装置、例如向输送装置10、检测装置20、机器人30以及空间中的至少一个投影AR图像的投影仪(投影装置)。在该情况下，也是将AR图像显示于现实空间，因此能够达到与上述同样的作用效果。
作为投影装置，也能够向现实空间投影三维的AR图像。例如，通过投影仪向作业区域投影AR图像，能够显示作业区域内的信息。
另外，作为显示装置62的带AR功能的眼镜、头戴式显示器等也可以与上述不同，且具备容许佩戴着它们的操作员观看现场的现实空间的透光性板或透光性膜。在该情况下，透光性板或透光性膜也可以具备显示AR图像数据的功能，带AR功能的眼镜、头戴式显示器等还可以具备向透光性板或透光性膜投影AR图像数据的功能。当使用该结构时，操作员能够一边经由显示装置62观看现实空间，一边观看透光性板或透光性膜的AR图像，因此能够达到与上述同样的作用效果。
关于透光性板或透光性膜的扩展现实图像与现场的现实空间的定位，例如能够采用事先由其它传感器检测人的站立位置等从而准备并显示与人的朝向匹配的AR图像这样的方法。
即使在使用能够一边观看现实空间一边观看透光性板或透光性膜的AR图像的所述显示装置62或所述投影装置的情况下，也能够进行上述的未成为作业对象的检测结果的显示、与上述的选择相应的AR图像的显示、上述的对象的选择和操作，还能够如上述那样应用于其它的作业系统或检查系统。
例如，当进行由智能手套的食指和拇指夹住被投影的AR图像或透光性板或透光性膜所显示的AR图像的动作时，使用由摄像机拍摄到的图像来识别该动作，当使食指和拇指成为该状态的同时进行移动时，该AR图像进行移动。
此外，也可以是，扩展现实装置60的摄像机61被配置在俯瞰输送装置10、检测装置20以及机器人30的位置，在显示装置62显示有俯瞰状态的现实空间图像和AR图像。在该情况下，也可以在显示装置62显示操作员的AR图像。
此外，在本实施方式中，示出了控制装置40如上述那样制作AR图像，但也可以是，内置于扩展现实装置60等的控制装置、其它的控制装置从控制装置40接收各种设定、运算结果、判定结果等的数据，使用接收到的数据制作AR图像，并将制作而成的AR图像发送到显示装置62。
另外，检测装置20也可以根据对象O的位置进行移动。例如，检测装置20也可以被支承于机器人30的前端部，在该情况下，控制装置40也可具有检测装置20的坐标系、检测范围等的设定数据，能够通过计算求出与机器人30的动作相应的检测装置20的位置和姿势。
并且，检测装置20也可以被支承于单轴机器人、多关节机器人等。在这些情况下，控制装置40也可接收检测装置20的坐标系、检测范围等的设定数据，能够通过计算求出与单轴机器人、多关节机器人等的动作相应的检测装置20的位置和姿势。
此外，扩展现实制作部也可以不必存在于控制装置内。
附图标记说明
10：输送装置
11：电机
12：工作位置检测装置
20：检测装置
30：机器人
30a：臂
31：伺服电机
40：控制装置
41：控制部
42：控制装置显示部
43：存储部
43a：系统程序
43b：动作程序
43c：物品检测程序
43d：AR图像制作程序
43e：再现程序
50：工具
51：伺服电机
60：扩展现实装置
61：摄像机
62：显示装置
63：存储部
63a：AR图像操作程序
71～81：AR图像
O：对象

Claims (19)

1.一种感测系统，其特征在于，具备：
检测装置，其至少用于检测通过使对象移动的移动单元进行移动的所述对象的位置；以及
控制装置，
所述控制装置制作扩展现实图像以用于显示装置的显示或投影装置的投影，所述扩展现实图像表示：所述控制装置进行识别的设定、即与使用所述检测装置进行的所述对象的检测相关的设定、所述移动单元的设定、及针对所述对象进行作业的作业机械的设定中的至少一个设定、所述控制装置基于所述设定进行识别的所述对象的位置、使用所述检测装置检测所述对象的检测结果、所述移动单元的作业预定、所述作业机械的作业预定、与所述作业机械执行所述作业相关的所述控制装置的判断结果、以及与所述控制装置进行识别的所述对象相关的参数中的至少一个。
2.根据权利要求1所述的感测系统，其特征在于，
所述投影装置将所述扩展现实图像投影到现实空间，所述显示装置以现实空间图像或现实空间能够一同显现的方式显示所述扩展现实图像。
3.根据权利要求1或2所述的感测系统，其特征在于，
所述控制装置在所述作业机械进行所述作业时更新所述扩展现实图像，所述扩展现实图像表示：所述控制装置进行识别的所述对象的所述位置、所述对象的所述检测的结果、所述移动单元的所述作业预定、所述作业机械的所述作业预定、所述控制装置的所述判断结果、以及与所述对象相关的所述参数中的至少一个。
4.根据权利要求1至3中的任一项所述的感测系统，其特征在于，
所述控制装置对所述作业机械进行控制，
所述感测系统具备：
扩展现实图像操作单元，其进行选择处理和移动处理，在所述选择处理中，选择根据使用规定的输入装置进行的输入而显示于所述显示装置的所述扩展现实图像和由所述投影装置投影的所述扩展现实图像中的至少一个图像，在所述移动处理中，移动根据使用所述规定的输入装置进行的输入而被选择的由所述显示装置显示的所述扩展现实图像或由所述投影装置投影的所述扩展现实图像；以及
设定调整单元，其根据被选择的所述扩展现实图像的移动信息，变更所述控制装置中为了控制所述作业机械而设定的参数或计算出的参数。
5.根据权利要求1至4中的任一项所述的感测系统，其特征在于，
所述控制装置制作多个所述扩展现实图像，
所述显示装置显示所述多个扩展现实图像中的根据对规定的输入部的输入而被选择的所述扩展现实图像，
所述投影装置投影所述多个扩展现实图像中的根据对规定的输入部的输入而被选择的所述扩展现实图像。
6.根据权利要求1至5中的任一项所述的感测系统，其特征在于，
具备存储部，所述存储部将由所述控制装置制作而成的所述扩展现实图像连同对应的现实空间图像一同存储。
7.根据权利要求5所述的感测系统，其特征在于，
具备再现单元，所述再现单元再现所述存储部中存储的所述扩展现实图像、或者将所述扩展现实图像连同所述现实空间图像一同再现。
8.一种感测系统，其特征在于，具备：
检测装置，其至少用于检测通过规定的移动单元进行移动的对象的位置；
控制装置，其使用所述检测装置的检测结果来控制对所述对象进行作业的作业机械；
扩展现实图像制作单元，其在所述作业机械进行所述作业时，依次制作扩展现实图像，所述扩展现实图像表示：所述控制装置基于所述检测装置的检测结果识别的所述对象的位置、所述移动单元的作业预定、所述作业机械的作业预定、与所述作业机械执行作业相关的所述控制装置的判断结果、以及与所述控制装置进行识别的所述对象相关的参数中的至少一个；以及
存储部，将由所述扩展现实图像制作单元制作而成的所述扩展现实图像连同对应的现实空间图像一同存储。
9.根据权利要求8所述的感测系统，其特征在于，
具备再现单元，该再现单元再现所述存储部中存储的所述扩展现实图像、或者将所述扩展现实图像连同所述现实空间图像一同再现。
10.一种感测系统，其特征在于，具备：
检测装置，其用于检测由规定的移动单元进行移动的多个对象；
对象检测单元，其对由所述检测装置获得的图像数据进行用于检测所述对象的图像处理；
扩展现实图像制作单元，其制作与进行了所述图像处理的处理后图像内出现的多个候选中的规定的参数为检测阈值以上的候选对应的扩展现实图像，并制作与所述多个候选中的所述规定的参数小于所述检测阈值且为检测候选阈值以上的候选对应的候选扩展现实图像；
显示装置，其显示所述扩展现实图像和所述候选扩展现实图像；以及
投影装置，其投影所述扩展现实图像和所述候选扩展现实图像。
11.根据权利要求10所述的感测系统，其特征在于，
以能够与所述扩展现实图像区分开的方式制作所述候选扩展现实图像。
12.根据权利要求10或11所述的感测系统，其特征在于，
所述扩展现实图像制作单元制作附属于所述候选扩展现实图像的检测结果的扩展现实图像，
由所述显示装置将所述检测结果的扩展现实图像连同所述候选扩展现实图像一同显示，
由所述投影装置将所述检测结果的扩展现实图像连同所述候选扩展现实图像一同投影。
13.一种作业系统，具备权利要求1至12中的任一项所述的感测系统和所述作业机械。
14.一种扩展现实图像的显示方法，被用于控制装置基于通过使对象移动的移动单元进行移动的所述对象的检测结果来控制作业机械或规定的装置的系统中，
所述扩展现实图像的显示方法的特征在于，包括以下步骤：
所述控制装置制作扩展现实图像的步骤，所述扩展现实图像表示：所述控制装置进行识别的设定、即与所述对象的检测相关的设定、所述移动单元的设定、及所述作业机械的设定中的至少一个设定、所述控制装置基于所述设定进行识别的所述对象的位置、使用所述检测装置检测所述对象的检测结果、所述移动单元的作业预定、所述作业机械的作业预定、与所述作业机械执行作业相关的所述控制装置的判断结果、以及与所述控制装置进行识别的所述对象相关的参数中的至少一个；以及
由显示装置显示制作而成的所述扩展现实图像或者由投影装置投影制作而成的所述扩展现实图像的步骤。
15.一种扩展现实图像的存储方法，被用于控制装置基于通过使对象移动的移动单元进行移动的所述对象的检测结果来控制作业机械的系统中，
所述扩展现实图像的存储方法的特征在于，包括以下步骤：
扩展现实图像制作步骤，在所述作业机械进行所述作业时，依次制作扩展现实图像，所述扩展现实图像表示：所述控制装置基于所述检测结果进行识别的所述对象的位置、所述移动单元的作业预定、所述作业机械的作业预定、与所述作业机械执行作业相关的所述控制装置的判断结果、以及与所述控制装置进行识别的所述对象相关的参数中的至少一个；以及
存储步骤，将通过所述扩展现实图像制作步骤制作而成的所述扩展现实图像连同对应的现实空间图像一同存储。
16.一种扩展现实图像的显示方法，被用于进行图像处理以对使对象移动的移动单元正在移动的多个所述对象进行检测的系统中，
所述扩展现实图像的显示方法的特征在于，包括以下步骤：
制作与进行了所述图像处理的处理后图像内出现的多个候选中的规定的参数为检测阈值以上的候选对应的扩展现实图像，并制作与所述多个候选中的所述规定的参数小于所述检测阈值且为检测候选阈值以上的候选对应的候选扩展现实图像的步骤；以及
显示步骤，显示所述扩展现实图像和所述候选扩展现实图像。
17.一种存储介质，保存有被用于控制装置基于通过使对象移动的移动单元进行移动的所述对象的检测结果来控制作业机械或规定的装置的系统中的程序，
所述存储介质的特征在于，保存有使计算机执行以下处理的程序：
制作扩展现实图像的处理，所述扩展现实图像表示所述控制装置进行识别的设定、即与所述对象的检测相关的设定、所述移动单元的设定、及所述作业机械的设定中的至少一个设定、所述控制装置基于所述设定进行识别的所述对象的位置、使用所述检测装置检测所述对象的检测结果、所述移动单元的作业预定、所述作业机械的作业预定、与所述作业机械执行作业相关的所述控制装置的判断结果、以及与所述控制装置进行识别的所述对象相关的参数中的至少一个；以及
由显示装置显示制作而成的所述扩展现实图像或者由投影装置投影制作而成的所述扩展现实图像的处理。
18.一种存储介质，保存有被用于控制装置基于通过使对象移动的移动单元进行移动的所述对象的检测结果来控制作业机械的系统中的程序，
所述存储介质的特征在于，保存有使计算机执行以下处理的程序：
扩展现实图像制作处理，在所述作业机械进行所述作业时，依次制作扩展现实图像，所述扩展现实图像表示所述控制装置基于所述检测结果进行识别的所述对象的位置、所述移动单元的作业预定、所述作业机械的作业预定、与所述作业机械执行作业相关的所述控制装置的判断结果、以及与所述控制装置进行识别的所述对象相关的参数中的至少一个；以及
存储处理，将通过所述扩展现实图像制作处理制作而成的所述扩展现实图像连同对应的现实空间图像一同存储。
19.一种存储介质，保存有被用于进行图像处理以对通过使对象移动的移动单元进行移动的多个所述对象进行检测的系统中的程序，
所述存储介质的特征在于，保存有使计算机执行以下步骤的程序：
制作在进行了所述图像处理的处理后图像内出现的多个候选图像中的规定的参数为检测阈值以上的候选对应的扩展现实图像，并制作与所述多个候选中的所述规定的参数小于所述检测阈值且为检测候选阈值以上的候选对应的候选扩展现实图像的步骤；以及
显示步骤，显示所述扩展现实图像和所述候选扩展现实图像。
CN201910656478.2A 2018-07-25 2019-07-19 感测系统、作业系统、扩展现实图像的显示方法、扩展现实图像的存储方法以及程序 Active CN110784708B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-139198 2018-07-25
JP2018139198A JP6856583B2 (ja) 2018-07-25 2018-07-25 センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN110784708A true CN110784708A (zh) 2020-02-11
CN110784708B CN110784708B (zh) 2022-09-13

Family

ID=69149041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910656478.2A Active CN110784708B (zh) 2018-07-25 2019-07-19 感测系统、作业系统、扩展现实图像的显示方法、扩展现实图像的存储方法以及程序

Country Status (4)

Country Link
US (2) US10885340B2 (zh)
JP (1) JP6856583B2 (zh)
CN (1) CN110784708B (zh)
DE (1) DE102019119319B4 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114800483A (zh) * 2021-01-29 2022-07-29 精工爱普生株式会社 机器人的控制方法和机器人系统
CN116152828A (zh) * 2023-04-21 2023-05-23 福建鹿鸣教育科技有限公司 作业批改方法、系统、终端及存储介质
CN116897375A (zh) * 2021-02-11 2023-10-17 高通股份有限公司 扩展现实环境中的图像捕获

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
WO2019140699A1 (en) * 2018-01-22 2019-07-25 SZ DJI Technology Co., Ltd. Methods and system for multi-target tracking
US12036663B2 (en) * 2019-03-25 2024-07-16 Abb Schweiz Ag Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
JP7359633B2 (ja) * 2019-10-17 2023-10-11 ファナック株式会社 ロボットシステム
JP7481205B2 (ja) 2020-08-26 2024-05-10 川崎重工業株式会社 ロボットシステム、ロボットの制御方法、情報処理装置、コンピュータプログラム、学習装置、及び学習済みモデルの生成方法
EP3992741A1 (en) * 2020-10-30 2022-05-04 Asco Power Technologies, L.P. Extended reality playback of events for manufacturing, installation, operation, maintenance and repair of infrastructure equipment
CN113301306A (zh) * 2021-05-24 2021-08-24 中国工商银行股份有限公司 智能巡检方法及系统
CN114739454A (zh) * 2022-03-25 2022-07-12 青岛虚拟现实研究院有限公司 一种基于增强现实的测试系统
CN115963749B (zh) * 2022-12-13 2024-05-28 彼合彼方机器人(天津)有限公司 一种管道补口机器人作业实时控制系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004243516A (ja) * 2003-02-11 2004-09-02 Kuka Roboter Gmbh コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置
US20070242861A1 (en) * 2006-03-30 2007-10-18 Fujifilm Corporation Image display apparatus, image-taking apparatus and image display method
US20130002649A1 (en) * 2011-07-01 2013-01-03 Yi Wu Mobile augmented reality system
CN104660859A (zh) * 2013-11-21 2015-05-27 柯尼卡美能达株式会社 Ar显示装置、处理内容设定装置以及处理内容设定方法
JP2016107379A (ja) * 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
US9632313B1 (en) * 2014-03-27 2017-04-25 Amazon Technologies, Inc. Augmented reality user interface facilitating fulfillment

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002192486A (ja) 2000-12-25 2002-07-10 Seiko Epson Corp ロボット制御方法及び該方法を適用したロボットコントローラ
JP2005111607A (ja) 2003-10-07 2005-04-28 Fanuc Ltd ロボット物流トラッキング装置
DE102005011126A1 (de) * 2005-03-10 2006-09-14 Siemens Ag Generierung virtueller Welten auf Basis einer realen Umgebung
DE102005045855A1 (de) 2005-09-26 2007-03-29 Siemens Ag Verfahren und Vorrichtung zur Erleichterung der Einstellung von Systemen, bei welchen Objekten bewegt werden
JP2008296330A (ja) 2007-05-31 2008-12-11 Fanuc Ltd ロボットシミュレーション装置
EP2537645B1 (en) 2011-06-20 2017-10-25 Kabushiki Kaisha Yaskawa Denki Robot System
JP5459269B2 (ja) 2011-06-20 2014-04-02 株式会社安川電機 ピッキングシステム
JP5892360B2 (ja) 2011-08-02 2016-03-23 ソニー株式会社 ロボット指示装置、ロボット指示方法、プログラム、及び通信システム
WO2014047491A1 (en) 2012-09-20 2014-03-27 Marc Dubois Depth mapping vision system with 2d optical pattern for robotic applications
WO2014101955A1 (en) 2012-12-28 2014-07-03 Metaio Gmbh Method of and system for projecting digital information on a real object in a real environment
JP5596844B2 (ja) 2013-10-30 2014-09-24 オリンパス株式会社 画像処理装置、画像処理システム及び画像処理方法
JP5824173B1 (ja) 2014-02-28 2015-11-25 ファナック株式会社 ロボットを用いて物品を整列させる物品整列装置及び物品整列方法、並びに物品整列装置を備えた物品移送システム
JP6645142B2 (ja) * 2015-11-30 2020-02-12 株式会社デンソーウェーブ ロボット安全システム
JP6589604B2 (ja) 2015-12-01 2019-10-16 株式会社デンソーウェーブ ティーチング結果表示システム
JP2017100244A (ja) 2015-12-02 2017-06-08 オークマ株式会社 中空ワークの位置決め方法
JP6420229B2 (ja) * 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
KR102371409B1 (ko) * 2016-01-08 2022-03-07 삼성전자주식회사 센서 관리 방법 및 장치
EP3474236A4 (en) 2016-06-16 2019-12-11 Sony Interactive Entertainment Inc. IMAGING DEVICE
JP6834232B2 (ja) 2016-08-09 2021-02-24 オムロン株式会社 情報処理システム、情報処理装置、ワークの位置特定方法、およびワークの位置特定プログラム
JP6426672B2 (ja) 2016-08-30 2018-11-21 ファナック株式会社 ワーク仕分けシステムおよび方法
JP2018034241A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP6801333B2 (ja) 2016-09-27 2020-12-16 株式会社デンソーウェーブ ロボット用の表示システム
JP6741538B2 (ja) 2016-09-28 2020-08-19 川崎重工業株式会社 ロボット、ロボットの制御装置、及び、ロボットの位置教示方法
JP6450727B2 (ja) * 2016-10-28 2019-01-09 ファナック株式会社 ロボットが行う物品整列作業のシミュレーションのための装置、方法、プログラム及び記録媒体
JP6866646B2 (ja) 2017-01-16 2021-04-28 オムロン株式会社 センサ支援システム、端末、センサおよびセンサ支援方法
US10140773B2 (en) 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
JP6795471B2 (ja) 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004243516A (ja) * 2003-02-11 2004-09-02 Kuka Roboter Gmbh コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置
US20070242861A1 (en) * 2006-03-30 2007-10-18 Fujifilm Corporation Image display apparatus, image-taking apparatus and image display method
US20130002649A1 (en) * 2011-07-01 2013-01-03 Yi Wu Mobile augmented reality system
CN104660859A (zh) * 2013-11-21 2015-05-27 柯尼卡美能达株式会社 Ar显示装置、处理内容设定装置以及处理内容设定方法
US9632313B1 (en) * 2014-03-27 2017-04-25 Amazon Technologies, Inc. Augmented reality user interface facilitating fulfillment
JP2016107379A (ja) * 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114800483A (zh) * 2021-01-29 2022-07-29 精工爱普生株式会社 机器人的控制方法和机器人系统
CN114800483B (zh) * 2021-01-29 2023-12-22 精工爱普生株式会社 机器人的控制方法和机器人系统
CN116897375A (zh) * 2021-02-11 2023-10-17 高通股份有限公司 扩展现实环境中的图像捕获
CN116897375B (zh) * 2021-02-11 2024-05-03 高通股份有限公司 扩展现实环境中的图像捕获
CN116152828A (zh) * 2023-04-21 2023-05-23 福建鹿鸣教育科技有限公司 作业批改方法、系统、终端及存储介质

Also Published As

Publication number Publication date
US11328507B2 (en) 2022-05-10
US20210004598A1 (en) 2021-01-07
DE102019119319B4 (de) 2022-12-22
DE102019119319A1 (de) 2020-01-30
JP2020015128A (ja) 2020-01-30
JP6856583B2 (ja) 2021-04-07
CN110784708B (zh) 2022-09-13
US10885340B2 (en) 2021-01-05
US20200034621A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
CN110784708B (zh) 感测系统、作业系统、扩展现实图像的显示方法、扩展现实图像的存储方法以及程序
CN110871441B (zh) 感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
US11345042B2 (en) Robot system equipped with video display apparatus that displays image of virtual object in superimposed fashion on real image of robot
JP7490349B2 (ja) 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体
JP6579498B2 (ja) 自動化装置及び位置検出装置
US20190193947A1 (en) Article transfer apparatus, robot system, and article transfer method
US20050240309A1 (en) Method and device for influencing a multiaxial manipulator
JP4862765B2 (ja) 表面検査装置及び表面検査方法
JP2019188580A (ja) 情報処理装置、制御方法、ロボットシステム、コンピュータプログラム、及び記憶媒体
JP6902369B2 (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
JP2007523334A (ja) 欠陥位置特定方法及びマーキングシステム
JP7359633B2 (ja) ロボットシステム
US20200238522A1 (en) Robot controller and management system
CN114714029A (zh) 铝合金自动弧焊方法及装置
JP2018015863A (ja) ロボットシステム、教示データ生成システム及び教示データ生成方法
JP7502003B2 (ja) 移動機械の移動軌跡のずれを取得する装置、及び方法
EP3744461B1 (en) Weld operation measurement system
WO2017007492A1 (en) Machine display and machine control systems
CN115213894A (zh) 机器人图像的显示方法、显示系统以及记录介质
US11130241B2 (en) Robot
CN116348912A (zh) 用于机器人视觉引导中的对象跟踪的方法和系统
JP2022060003A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
WO2023105637A1 (ja) 産業機械の動作を検証するための装置、及び方法
JP2021008033A (ja) 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant