DE102018213985A1 - Robotersystem - Google Patents

Robotersystem Download PDF

Info

Publication number
DE102018213985A1
DE102018213985A1 DE102018213985.7A DE102018213985A DE102018213985A1 DE 102018213985 A1 DE102018213985 A1 DE 102018213985A1 DE 102018213985 A DE102018213985 A DE 102018213985A DE 102018213985 A1 DE102018213985 A1 DE 102018213985A1
Authority
DE
Germany
Prior art keywords
robot
treatment object
photographing device
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102018213985.7A
Other languages
English (en)
Other versions
DE102018213985B4 (de
Inventor
Kiyoshi Yoshino
Makoto Yamada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE102018213985A1 publication Critical patent/DE102018213985A1/de
Application granted granted Critical
Publication of DE102018213985B4 publication Critical patent/DE102018213985B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39451Augmented reality for robot programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

Es wird ein Robotersystem geschaffen, das in kurzer Zeit genau und leicht bestätigen kann, ob Einstellungsinformationen über eine Position eines Roboters, einer Photographiervorrichtung oder eines Behandlungsobjekts geeignet eingestellt sind. Ein Robotersystem 1 enthält einen Roboter 10 zum Ausführen einer vorgegebenen Verarbeitung an einem Behandlungsobjekt W, eine Photographiervorrichtung 20 zum Photographieren des Behandlungsobjekts W, eine Robotersteuervorrichtung 40, um auf einer Grundlage zuvor eingestellter Informationen über Positionen des Roboters 10, der Photographiervorrichtung 20 und des Behandlungsobjekts W und eines durch die Photographiervorrichtung 20 photographierten Bilds des Behandlungsobjekts W eine Positionskompensation eines Bewegungsziels des Roboters 10 auszuführen, um das Behandlungsobjekt W nachzuführen, und eine Anzeigevorrichtung 60 zum Bereitstellen eines AR-Raums. Die Robotersteuervorrichtung 40 berechnet auf der Grundlage der Informationen über die Positionen des Roboters 10 und der Photographiervorrichtung 20 eine Position der Photographiervorrichtung 20. Die Anzeigevorrichtung 60 zeigt auf der Grundlage der berechneten Position der Photographiervorrichtung 20 ein Bild, das die Photographiervorrichtung imitiert, an einer entsprechenden Position in dem AR-Raum an.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf ein Robotersystem zum Ausführen einer Positionskompensation eines bewegten Ziels eines Roboters, um ein Behandlungsobjekt auf der Grundlage des durch eine Photographiervorrichtung photographierten Bilds des Behandlungsobjekts nachzuführen.
  • Verwandtes Gebiet
  • Sowohl das Patentdokument 1 als auch das Patentdokument 2 offenbart ein Robotersystem zum Ausführen einer Positionskompensation eines bewegten Ziels eines Roboters auf der Grundlage des durch eine Photographiervorrichtung photographierten Bilds. Das in dem Patentdokument 1 offenbarte Robotersystem erzeugt auf der Grundlage des durch eine Photographiervorrichtung photographierten Bilds des Roboters ein CG-Bild eines Roboters und zeigt das CG-Bild auf einem Berührungsbildschirm an. Das Robotersystem bewegt den Roboter als Reaktion auf eine Berührungsoperation durch einen Nutzer in dem CG-Bild virtuell auf dem Berührungsbildschirm und bewegt den tatsächlichen Roboter so, dass er die Bewegung des virtuellen Roboters nachführt. Das im Patentdokument 2 offenbarte Robotersystem zeigt das Bild eines durch eine Behandlungsvorrichtung photographierten Behandlungsobjekts auf einer Anzeigevorrichtung an. Somit fernbedient ein Betreiber die Bewegung des Roboters auf der Grundlage des auf der Anzeigevorrichtung angezeigten Behandlungsobjekts.
  • Einige Industrierobotersysteme führen als ein Beispiel jeweils eine Positionskompensation eines bewegten Ziels eines Roboters in der Weise durch, dass sie ein Behandlungsobjekt auf der Grundlage des durch eine Photographiervorrichtung photographierten Bilds des Behandlungsobjekts nachführen. In einem solchen Robotersystem werden Informationen über die Positionen des Roboters, der Photographiervorrichtung und des Behandlungsobjekts zuvor eingestellt. Die Informationen über die Informationen des Roboters, der Photographiervorrichtung und des Behandlungsobjekts enthalten z. B.:
    1. (i) den Ursprung und die Richtungen der jeweiligen Achsen eines Koordinatensystems, das als die Referenz für die Positionskompensation des Roboters dient,
    2. (ii) die Position des Roboters (z. B. Drehwinkel oder Translationsbeträge jeweiliger Gelenke des Roboters, die im Folgenden beschrieben sind), die als die Referenz für die Positionskompensation des Roboters dient,
    3. (iii) die relative Positionsbeziehung zwischen dem Roboter und der Photographiervorrichtung, und
    4. (iv) die Entfernung zwischen der Photographiervorrichtung und dem Behandlungsobjekt.
  • In einem typischen Roboter ist das Basisteil davon auf dem Boden, auf einer Schiene oder dergleichen befestigt. Dementsprechend bedeutet der Begriff „bewegen, Bewegung, bewegend oder dergleichen“ in der vorliegenden Anmeldung nicht den Transport des Roboters selbst, sondern bedeutet er, dass die Drehwinkel oder Translationsbeträge jeweiliger Gelenke eines Roboters in der Weise geändert werden, dass eine Position eines Punkts eines Abschnitts, der das Ziel für die Positionssteuerung des Roboters ist, (z. B. des Spitzenteils des Arms davon) bewegt wird.
    • Patentdokument 1: Japanische ungeprüfte Patentanmeldung, Veröffentlichungsnummer 2012-171024
    • Patentdokument 2: Japanische ungeprüfte Patentanmeldung, Veröffentlichungsnummer 2004-213673
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Wie oben beschrieben wurde, erfordert die Positionskompensation des Bewegungsziels des Roboters das vorherige Einstellen der Informationen über die Positionen des Roboters, der Photographiervorrichtung und des Behandlungsobjekts. Falls die Informationen in diesem Fall fehlerhaft eingestellt werden, kann der Roboter, von dem erwartet wird, dass er sich bewegt, um die in dem photographierten Bild angezeigte Position des Behandlungsobjekts nachzuführen, aber ein ungeeignetes Verhalten ausführen, das die Position des Behandlungsobjekts nicht nachführt. Somit ist es notwendig zu bestätigen, ob die Einstellungsinformationen über die Positionen des Roboters, der Photographiervorrichtung und des Behandlungsobjekts geeignet sind.
  • Der Positionskompensationsbetrag des Roboters wird in dem Robotersystem auf der Grundlage des photographierten Bilds des Behandlungsobjekts berechnet. Ein Betreiber wird über den berechneten Positionskompensationsbetrag des Roboters informiert. Da die Informationen über die Position des Roboters wie oben beschrieben z. B. Drehwinkel oder Translationsbeträge mehrerer Gelenke enthalten, muss ein Betreiber allerdings Sachkenntnis und Aufmerksamkeit besitzen, um die tatsächliche Position des bewegten Ziels des Roboters genau zu schätzen. Aus diesem Grund tritt zwischen der Erkennung des Betreibers und der Bewegung des Roboters wahrscheinlich eine Diskrepanz auf, und ist es somit schwierig, die Einstellungsinformationen über die Positionen des Roboters, der Photographiervorrichtung und des Behandlungsobjekts geeignet einzustellen.
  • Da es wie oben beschrieben schwierig ist zu bestätigen, ob die Einstellungsinformationen geeignet eingestellt worden sind, bevor das Robotersystem betrieben wird, kann es bestätigt werden, wenn das Robotersystem tatsächlich betrieben wird. Falls die Einstellungsinformationen fehlerhaft eingestellt werden, kann sich der Roboter dagegen zu einer ungeeigneten Position bewegen und dadurch ein Problem verursachen, dass der Roboter wegen Kollision mit ihnen einen Betreiber verletzt oder eine Peripherievorrichtung zerstört.
  • Falls das Behandlungsobjekt (im Fall der Nachführung) durch eine Fördereinrichtung oder dergleichen bewegt wird, wird eine solche Bestätigung schwieriger. In einem Beispiel kann sich die Position des Behandlungsobjekts ändern, falls die Bestätigung erfolgt, wenn das Robotersystem tatsächlich betrieben wird, wodurch das Behandlungsobjekt in dem Sichtfeld des photographierten Bilds nicht vorhanden sein kann. Um die oben beschriebene Kollision zwischen dem Roboter und dem Betreiber oder einer Peripherievorrichtung zu vermeiden, kann der Roboter langsam bewegt werden und muss die Geschwindigkeit der Fördereinrichtung oder dergleichen in diesem Fall dennoch langsamer sein. Wie oben beschrieben wurde, erfordert das Einstellen einer anderen Nachstellung als für den Roboter mehr Arbeitsbelastung, wodurch es schwieriger wird, die Position des bewegten Ziels des Roboters nach der Positionskompensation zu erfassen. Darüber hinaus wird die Zeitdauer zum Bestätigen der Einstellungsinformationen länger.
  • Die Aufgabe der vorliegenden Erfindung ist die Schaffung eines Robotersystems, das unabhängig davon, ob Einstellungsinformationen über eine Position eines Roboters, einer Photographiervorrichtung oder eines Behandlungsobjekts geeignet eingestellt werden, diese in kurzer Zeit genau und leicht bestätigen kann.
  • Zur Lösung des obigen Problems hatten die Erfinder der vorliegenden Anmeldung einen Gedanken der Visualisierung von Einstellungsinformationen über eine Position eines Roboters, einer Photographiervorrichtung oder eines Behandlungsobjekts unter Verwendung eines AR-Raums. Obgleich hinsichtlich dieses Punkts sowohl das Patentdokument 1 als auch das Patentdokument 2 offenbart, dass die Position des Roboters unter Verwendung eines AR-Raums gesteuert wird, bestätigt sowohl das in dem Patentdokument 1 als auch das in dem Patentdokument 2 offenbarte Robotersystem nicht unter Verwendung des AR-Raums, der den Roboter, die Photographiervorrichtung und das Behandlungsobjekt enthält, ob Einstellungsinformationen über eine Position eines Roboters, einer Photographiervorrichtung oder eines Behandlungsobjekts geeignet eingestellt sind.
    • (1) Ein Robotersystem in Übereinstimmung mit der vorliegenden Erfindung (z. B. das im Folgenden beschriebene Robotersystem 1) enthält einen Roboter (z. B. einen im Folgenden beschriebenen Roboter 10) zum Ausführen einer vorgegebenen Verarbeitung an einem Behandlungsobjekt (z. B. an einem im Folgenden beschriebenen Werkstück W), eine Photographiervorrichtung (z. B. eine im Folgenden beschriebene Kamera 20) zum Photographieren des Behandlungsobjekts, eine Robotersteuervorrichtung (z. B. eine im Folgenden beschriebene Robotersteuervorrichtung 40) zum Ausführen einer Positionskompensation eines bewegten Ziels des Roboters, um das Behandlungsobjekt auf einer Grundlage zuvor eingestellter Informationen über Positionen des Roboters, der Photographiervorrichtung und des Behandlungsobjekts und eines durch die Photographiervorrichtung photographierten Bilds des Behandlungsobjekts nachzuführen, und eine Anzeigevorrichtung (z. B. eine im Folgenden beschriebene Anzeigevorrichtung 60) zum Bereitstellen eines AR-Raums. Die Robotersteuervorrichtung berechnet auf der Grundlage der Informationen über die Positionen des Roboters und der Photographiervorrichtung eine Position der Photographiervorrichtung. Die Anzeigevorrichtung zeigt auf der Grundlage der berechneten Position der Photographiervorrichtung an einer entsprechenden Position in dem AR-Raum ein Bild an, das die Photographiervorrichtung imitiert.
    • (2) Die Informationen über die Position des Roboters in dem Robotersystem nach (1) können (i) einen Ursprung und Richtungen jeweiliger Achsen eines Koordinatensystems, das als eine Referenz für die Positionskompensation des Roboters dient, und (ii) die Position des Roboters, die als die Referenz für die Positionskompensation des Roboters dient, enthalten. Die Informationen über die Position der Photographiervorrichtung können (iii) eine relative Positionsbeziehung zwischen dem Roboter und der Photographiervorrichtung enthalten.
    • (3) Ein anderes Robotersystem in Übereinstimmung mit der vorliegenden Erfindung (z. B. ein im Folgenden beschriebenes Robotersystem 1) enthält einen Roboter (z. B. einen im Folgenden beschriebenen Roboter 10) zum Ausführen einer vorgegebenen Verarbeitung an einem Behandlungsobjekt (z. B. an einem im Folgenden beschriebenen Werkstück W), eine Photographiervorrichtung (z. B. eine im Folgenden beschriebene Kamera 20) zum Photographieren des Behandlungsobjekts, eine Robotersteuervorrichtung (z. B. eine im Folgenden beschriebene Robotersteuervorrichtung 40) zum Ausführen einer Positionskompensation eines bewegten Ziels des Roboters, um das Behandlungsobjekt auf einer Grundlage zuvor eingestellter Informationen über Positionen des Roboters, der Photographiervorrichtung und des Behandlungsobjekts und eines durch die Photographiervorrichtung photographierten Bilds des Behandlungsobjekts nachzuführen, und eine Anzeigevorrichtung (z. B. eine im Folgenden beschriebene Anzeigevorrichtung 60) zum Bereitstellen eines AR-Raums. Die Robotersteuervorrichtung berechnet auf der Grundlage der Informationen über die Positionen des Roboters, der Photographiervorrichtung und des Behandlungsobjekts und des durch die Photographiervorrichtung photographierten Bilds des Behandlungsobjekts eine Position des Behandlungsobjekts. Die Anzeigevorrichtung zeigt das durch die Photographiervorrichtung photographierte Bild des Behandlungsobjekts auf der Grundlage der berechneten Position des Behandlungsobjekts an einer entsprechenden Position in dem AR-Raum an.
    • (4) In dem Robotersystem nach Anspruch (3) können die Informationen über die Position des Roboters (i) einen Ursprung und Richtungen jeweiliger Achsen eines Koordinatensystems, das als eine Referenz für die Positionskompensation des Roboters dient, und (ii) die Position des Roboters, die als die Referenz für die Positionskompensation des Roboters dient, enthalten. Die Informationen über die Position der Photographiervorrichtung können (iii) eine relative Positionsbeziehung zwischen dem Roboter und der Photographiervorrichtung enthalten. Die Informationen über die Position des Behandlungsobjekts können (iv) eine Entfernung zwischen der Photographiervorrichtung und dem Behandlungsobjekt enthalten.
    • (5) Das Behandlungsobjekt kann sich in dem Robotersystem nach (3) oder (4) auf einer Fördereinrichtung bewegen, sodass die Robotersteuervorrichtung die Position des Behandlungsobjekts ferner auf der Grundlage einer Bewegungsgeschwindigkeit des Behandlungsobjekts berechnen kann.
    • (6) Ein anderes Robotersystem in Übereinstimmung mit der vorliegenden Erfindung (z. B. ein im Folgenden beschriebenes Robotersystem 1) enthält einen Roboter (z. B. einen im Folgenden beschriebenen Roboter 10) zum Ausführen einer vorgegebenen Verarbeitung an einem Behandlungsobjekt (z. B. an einem im Folgenden beschriebenen Werkstück W), eine Photographiervorrichtung (z. B. eine im Folgenden beschriebene Kamera 20) zum Photographieren des Behandlungsobjekts, eine Robotersteuervorrichtung (z. B. eine im Folgenden beschriebene Robotersteuervorrichtung 40) zum Ausführen einer Positionskompensation eines bewegten Ziels des Roboters, um das Behandlungsobjekt auf einer Grundlage zuvor eingestellter Informationen über Positionen des Roboters, der Photographiervorrichtung und des Behandlungsobjekts und eines durch die Photographiervorrichtung photographierten Bilds des Behandlungsobjekts nachzuführen, und eine Anzeigevorrichtung (z. B. eine im Folgenden beschriebene Anzeigevorrichtung 60) zum Bereitstellen eines AR-Raums. Die Informationen über die Position des Roboters enthalten einen Ursprung und Richtungen jeweiliger Achsen eines Koordinatensystems, das als eine Referenz für die Positionskompensation des Roboters dient. Die Anzeigevorrichtung zeigt ein Bild an, das den Ursprung und die Richtungen der jeweiligen Achsen des Koordinatensystems, das als die Referenz für die Positionskompensation des Roboters dient, imitiert.
    • Die vorliegende Erfindung ermöglicht die Schaffung eines Robotersystems, das in kurzer Zeit genau und leicht bestätigen kann, ob Einstellungsinformationen über eine Position eines Roboters, einer Photographiervorrichtung oder eines Behandlungsobjekts geeignet eingestellt sind.
  • Figurenliste
    • 1 ist eine schematische Darstellung, die eine Konfiguration eines Robotersystems in Übereinstimmung mit der vorliegenden Ausführungsform darstellt.
    • 2 ist eine schematische Darstellung, die ein Beispiel eines AR-Raums, der auf einer Anzeigevorrichtung in dem in 1 gezeigten Robotersystem angezeigt wird, in Übereinstimmung mit einer ersten Ausführungsform darstellt.
    • 3 ist ein Ablaufplan, der die durch das Robotersystem ausgeführte Bestätigungsoperation von Einstellungsinformationen in Übereinstimmung mit der ersten Ausführungsform angibt.
    • 4 ist eine schematische Darstellung, die ein Beispiel eines auf einer Anzeigevorrichtung in dem in 1 gezeigten Robotersystem angezeigten AR-Raums in Übereinstimmung mit einer zweiten Ausführungsform darstellt.
    • 5 ist ein Ablaufplan, der die durch das Robotersystem ausgeführte Bestätigungsoperation von Einstellungsinformationen in Übereinstimmung mit der zweiten Ausführungsform angibt.
    • 6 ist eine schematische Darstellung, die ein Beispiel eines auf einer Anzeigevorrichtung in dem in 1 gezeigten Robotersystem angezeigten AR-Raums in Übereinstimmung mit einer dritten Ausführungsform darstellt.
    • 7 ist ein Ablaufplan, der die durch das Robotersystem ausgeführte Bestätigungsoperation von Einstellungsinformationen in Übereinstimmung mit der dritten Ausführungsform angibt.
  • AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
  • Im Folgenden werden anhand der beigefügten Zeichnungen einige beispielhafte Ausführungsformen der vorliegenden Erfindung beschrieben. Es wird angemerkt, dass denselben oder einander entsprechenden Teilen in jeweiligen Zeichnungen dieselben Bezugszeichen zugewiesen sind.
  • (Erste Ausführungsform)
  • 1 ist eine schematische Darstellung, die eine Konfiguration eines Robotersystems in Übereinstimmung mit einer ersten Ausführungsform darstellt. Ein in 1 gezeigtes Robotersystem 1 führt auf der Grundlage eines durch eine Kamera (Photographiervorrichtung) 20 photographierten Bilds eines Werkstücks (Behandlungsobjekts) W eine Positionskompensation des bewegten Ziels des Spitzenteils (des Abschnitts, der das Ziel für die Positionssteuerung ist) eines Arms 12 eines Roboters 10 in der Weise aus, dass das Werkstück W nachgeführt wird. Das Robotersystem 1 enthält den Roboter 10, die Kamera 20, eine Fördereinrichtung 30, eine Robotersteuervorrichtung 40, eine Bildverarbeitungsvorrichtung 50 und eine AR-Anzeigevorrichtung 60.
  • Der Roboter 10 ist ein Roboter zum Ausführen einer vorgegebenen Verarbeitung wie etwa einer Kontrolle des Werkstücks W und/oder einer Bearbeitung des Werkstücks W. Als der Roboter 10 ist ein gut bekannter Robotermanipulator verfügbar. 1 zeigt als den Roboter 10 ein Beispiel eines Manipulators mit sechs Gelenkachsen. In diesem Roboter 10 ist der Spitzenteil des Arms 12 der Abschnitt, der das Ziel für die Positionssteuerung ist.
  • Die Kamera 20 ist an dem Spitzenteil des Arms 12 des Roboters 10 vorgesehen. Die Kamera 20 photographiert das Werkstück W und stellt für die Robotersteuervorrichtung 40 das photographierte Bild des Werkstücks W bereit.
  • Das Werkstück W ist auf der Fördereinrichtung 30 eingestellt. Die Fördereinrichtung 30 bewegt das Werkstück W mit einer vorgegebenen Geschwindigkeit in einer vorgegebenen Förderrichtung.
  • Die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W werden in der Robotersteuervorrichtung 40 zuvor eingestellt. Die Robotersteuervorrichtung 40 erhält von der Kamera 20 das durch die Kamera 20 photographierte Bild des Werkstücks W. Die Robotersteuerung 40 erhält z. B. von einer numerischen Steuervorrichtung (nicht gezeigt) einen Betriebsbefehl (ein Betriebsprogramm). Die Robotersteuervorrichtung 40 führt die Positionssteuerung des Spitzenteils (des Abschnitts, der das Ziel für die Positionssteuerung ist) des Arms 12 des Roboters 10 und die Positionskompensation des bewegten Ziels davon in der Weise aus, dass das Werkstück W auf der Grundlage des Betriebsbefehls, der Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstück W und des Bilds des Werkstück W nachgeführt wird.
  • Die Einstellungsinformationen über die Position des Roboters 10 enthalten z. B.:
    1. (i) den Ursprung und die Richtungen der jeweiligen Koordinatenachsen eines dreidimensionalen Koordinatensystems, das als die Referenz für die Positionskompensation des Roboters 10 dient, und
    2. (ii) die Position des Roboters 10 (z. B. Drehwinkel oder Translationsbeträge jeweiliger Gelenke), die als die Referenz der Positionskompensation des Roboters 10 dient.
  • Die Einstellungsinformationen über die Position der Kamera 20 enthalten z. B.:
    • (iii) die relative Positionsbeziehung zwischen dem Roboter 10 und der Kamera 20.
  • Die Einstellungsinformationen über die Position des Werkstücks W enthalten z. B.:
    • (iv) die Entfernung zwischen der Kamera 20 und dem Werkstück W.
  • Die Robotersteuervorrichtung 40 berechnet die Position der Kamera 20 auf der Grundlage der Einstellungsinformationen (i), (ii) und (iii) über die Positionen des Roboters 10 und der Kamera 20, um zu bestätigen, ob die Einstellungsinformationen über die Positionen des Roboters 10 und der Kamera 20 in den Einstellungsinformationen geeignet eingestellt sind.
  • Die Bildverarbeitungsvorrichtung 50 erzeugt Bilddaten, um in einem durch die Anzeigevorrichtung 60 bereitgestellten AR-Raum auf der Grundlage der berechneten Position der Kamera 20 an einer entsprechenden Position ein Kamerabild zu zeichnen, das die Kamera 20 imitiert. Die Bildverarbeitungsvorrichtung 50 kann in der Robotersteuervorrichtung 40 enthalten sein.
  • Die Anzeigevorrichtung 60 stellt den AR-Raum (Augmented-Reality-Raum) bereit, in dem virtuelle Informationen überlagert und in einem realen Raum angezeigt werden. Ein Head-Mounted Display kann als ein Beispiel der Anzeigevorrichtung 60 dienen. 2 zeigt ein Beispiel des auf der Anzeigevorrichtung 60 angezeigten AR-Raums. Wie in 2 gezeigt ist, zeigt die Anzeigevorrichtung 60 auf der Grundlage der durch die Bildverarbeitungsvorrichtung 50 erzeugten Bilddaten ein Kamerabild 21 bei einer entsprechenden Position in dem AR-Raum, der den Roboter 10, die Kamera 20 und das Werkstück W enthält, an.
  • Sowohl die Robotersteuervorrichtung 40 als auch die Bildverarbeitungsvorrichtung 50, die oben beschrieben sind, sind mit einem Arithmetikprozessor, z. B. einem DSP (digitalen Signalprozessor) oder einer FPGA (frei programmierbaren logischen Anordnung), konfiguriert. Die verschiedenen Funktionen der Robotersteuervorrichtung 40 und der Bildverarbeitungsvorrichtung 50 werden z. B. durch Ausführen vorgegebener Software (eines Programms, einer Anwendung), die in einem Speicherteil gespeichert ist, verwirklicht. Die verschiedenen Funktionen der Robotersteuervorrichtung 40 und der Bildverarbeitungsvorrichtung 50 können durch Zusammenwirken von Hardware und Software verwirklicht werden oder können durch Hardware (elektronische Schaltung) allein verwirklicht werden.
  • Die Robotersteuervorrichtung 40, die auf verdrahtete oder drahtlose Weise mit dem Roboter 10, mit der Kamera 20 und mit der Bildverarbeitungsvorrichtung 50 verbunden ist, kann Informationen an sie senden und Informationen von ihnen empfangen. Die Bildverarbeitungsvorrichtung 50, die auf verdrahtete oder drahtlose Weise mit der Anzeigevorrichtung 60 verbunden ist, kann Informationen an sie senden und Informationen von ihr empfangen.
  • Im Folgenden wird anhand von 3 die Beschreibung der durch das Robotersystem 1 in Übereinstimmung mit der ersten Ausführungsform ausgeführten Bestätigungsoperation der Einstellungsinformationen gegeben. 3 ist ein Ablaufplan, der die durch das Robotersystem 1 in Übereinstimmung mit der ersten Ausführungsform ausgeführte Bestätigungsoperation der Einstellungsinformationen angibt.
  • Zunächst stellt ein Betreiber die Kamera 20 an dem Spitzenteil (dem Abschnitt, der das Ziel für die Positionssteuerung ist) des Arms 12 des Roboters 10 ein.
  • Nachfolgend registriert der Betreiber die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W in der Robotersteuervorrichtung 40. Auf diese Weise werden die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W in der Robotersteuervorrichtung 40 zuvor eingestellt (S11). Wie oben beschrieben wurde, enthalten die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W:
    1. (i) den Ursprung und die Richtungen der jeweiligen Koordinatenachsen eines dreidimensionalen Koordinatensystems, das als die Referenz für die Positionskompensation des Roboters 10 dient,
    2. (ii) die Position des Roboters 10 (z. B. Drehwinkel oder Translationsbeträge jeweiliger Gelenke), die als die Referenz für die Positionskompensation des Roboters 10 dient,
    3. (iii) die relative Positionsbeziehung zwischen dem Roboter 10 und der Kamera 20, und
    4. (iv) die Entfernung zwischen der Kamera 20 und dem Werkstück W.
  • Die vorliegende Ausführungsform gibt ein Beispiel an, in dem ein Betreiber die Einstellungsinformationen in der Robotersteuervorrichtung 40 direkt registriert. Alternativ kann die Robotersteuervorrichtung 40 die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W durch Berechnung erhalten. In einem Beispiel kann die Robotersteuervorrichtung 40 unter Verwendung der Kamera, deren Position im Voraus erhalten worden ist, die an dem Roboter 10, an der Kamera 20 und an dem Werkstück W angebrachten Markierungen photographieren und kann sie die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W auf der Grundlage der photographierten Bilder berechnen.
  • Nachfolgend berechnet die Robotersteuervorrichtung 40 auf der Grundlage der Einstellungsinformationen (i), (ii), (iii) über die Positionen des Roboters 10 und der Kamera 20 die Position der Kamera 20 (S12).
  • Nachfolgend rechnet die Bildverarbeitungsvorrichtung 50 die berechnete Position der Kamera 20 aus dem Koordinatensystem des Roboters 10 in das durch die Anzeigevorrichtung 60 bereitgestellte Koordinatensystem des AR-Raums um (S13). Nachfolgend erzeugt die Bildverarbeitungsvorrichtung 50 Bilddaten, um das Kamerabild 21, das die Kamera 20 imitiert, auf der Grundlage der umgerechneten Position der Kamera 20 an einer entsprechenden Position in dem durch die Anzeigevorrichtung 60 bereitgestellten AR-Raum zu zeichnen (S14). Wie in 2 gezeigt ist, zeigt die Anzeigevorrichtung 60 nachfolgend das Kamerabild 21 auf der Grundlage der erzeugten Bilddaten an einer entsprechenden Position in dem AR-Raum, der den Roboter 10, die Kamera 20 und das Werkstück W enthält, an (S15).
  • Somit kann der Betreiber, der die Anzeigevorrichtung 60 trägt, auf der Grundlage der Position des Kamerabilds 21 in dem AR-Raum in Bezug auf die Position der tatsächlichen Kamera 20 bestätigen, ob die Einstellungsinformationen geeignet eingestellt sind. In einem Beispiel sind die Einstellungsinformationen geeignet eingestellt, falls das Kamerabild 21 mit der tatsächlichen Kamera 20 überlappt. Dagegen können die Einstellungsinformationen fehlerhaft sein, falls das Kamerabild 21 gegenüber der tatsächlichen Kamera 20 verlagert ist. In diesem Fall werden die Einstellungsinformationen über die Positionen des Roboters 10 und der Kamera 20 zurückgesetzt und wird die oben beschriebene Bestätigungsoperation der Einstellungsinformationen erneut ausgeführt. Es wird angemerkt, dass der Fall, dass das Kamerabild 21 gegenüber der tatsächlichen Kamera 20 verlagert ist, durch die ungeeignete Einstellung der Kamera 20, z. B., da die Kamera 20 nicht fest befestigt ist oder wegen einer losen Linse, verursacht sein kann. In diesem Fall wird die Kamera 20 geeignet zurückgesetzt und die oben beschriebene Bestätigungsoperation der Einstellungsinformationen erneut ausgeführt.
  • Wie oben beschrieben ist, berechnet die Robotersteuervorrichtung 40 in dem Robotersystem 1 in Übereinstimmung mit der ersten Ausführungsform die Position der Kamera 20 auf der Grundlage der Einstellungsinformationen über die Positionen des Roboters 10 und der Kamera 20, während die Anzeigevorrichtung 60 das Kamerabild 21, das die Kamera 20 imitiert, auf der Grundlage der berechneten Position der Kamera 20 an einer entsprechenden Position in dem AR-Raum anzeigt. Dies visualisiert die Einstellungsinformationen über die Positionen des Roboters 10 und der Kamera 20, wobei ermöglicht wird, in kurzer Zeit genau und leicht zu bestätigen, ob die Einstellungsinformationen geeignet eingestellt sind.
  • (Zweite Ausführungsform)
  • Wie in 2 gezeigt ist, wird in der ersten Ausführungsform das Kamerabild 21 auf der Grundlage der Einstellungsinformationen in dem AR-Raum angezeigt, wodurch bestätigt wird, ob die Einstellungsinformationen über die Positionen des Roboters 10 und der Kamera 20 geeignet eingestellt sind. In der zweiten Ausführungsform, wie sie in 4 gezeigt ist, wird ein Werkstückbild W1 auf der Grundlage der Einstellungsinformationen in dem AR-Raum angezeigt, wodurch bestätigt wird, ob die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W geeignet eingestellt sind.
  • Die Konfiguration des Robotersystems 1 in Übereinstimmung mit der zweiten Ausführungsform ist dieselbe wie die in 1 gezeigte Konfiguration des Robotersystems 1 in Übereinstimmung mit der ersten Ausführungsform. Es wird angemerkt, dass sich das Robotersystem 1 in Übereinstimmung mit der zweiten Ausführungsform in Bezug auf die Funktionen und den Betrieb der Robotersteuervorrichtung 40, der Bildverarbeitungsvorrichtung 50 und der Anzeigevorrichtung 60 von dem Robotersystem 1 in Übereinstimmung mit der ersten Ausführungsform unterscheidet.
  • Die Robotersteuervorrichtung 40 berechnet die Position des Werkstücks W auf der Grundlage der Einstellungsinformationen (i), (ii), (iii), (iv) über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W und des durch die Kamera 20 photographierten Bilds des Werkstücks W, um zu bestätigen, ob die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W geeignet eingestellt sind.
  • Die Bildverarbeitungsvorrichtung 50 erzeugt Bilddaten, um das durch die Kamera 20 photographierte Bild des Werkstücks W auf der Grundlage der berechneten Position des Werkstücks W an einer geeigneten Position in dem durch die Anzeigevorrichtung 60 bereitgestellten AR-Raum zu zeichnen.
  • 4 zeigt ein Beispiel des auf der Anzeigevorrichtung 60 angezeigten AR-Raums. Wie in 4 gezeigt ist, zeigt die Anzeigevorrichtung 60 das Werkstückbild W1 auf der Grundlage der durch die Bildverarbeitungsvorrichtung 50 erzeugten Bilddaten an einer entsprechenden Position in dem AR-Raum, der den Roboter 10, die Kamera 20 und das Werkstück W enthält, an.
  • In Folgenden wird anhand von 5 die Beschreibung der durch das Robotersystem 1 in Übereinstimmung mit der zweiten Ausführungsform ausgeführten Bestätigungsoperation der Einstellungsinformationen gegeben. 5 ist ein Ablaufplan, der die durch das Robotersystem 1 in Übereinstimmung mit der zweiten Ausführungsform ausgeführte Bestätigungsoperation der Einstellungsinformationen angibt.
  • Zunächst stellt ein Betreiber die Kamera 20 an dem Spitzenteil (dem Abschnitt, der das Ziel der Positionssteuerung ist) des Arms 12 des Roboters 10 ein.
  • Nachfolgend registriert der Betreiber die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W in der Robotersteuervorrichtung 40. Auf diese Weise werden die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W in der Robotersteuervorrichtung 40 zuvor eingestellt (S21). Wie oben beschrieben wurde, enthalten die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W:
    1. (i) den Ursprung und die Richtungen der jeweiligen Koordinatenachsen eines dreidimensionalen Koordinatensystems, das als die Referenz für die Positionskompensation des Roboters 10 dient,
    2. (ii) die Position des Roboters 10 (z. B. Drehwinkel oder Translationsbeträge der jeweiligen Gelenke), die als die Referenz für die Positionskompensation des Roboters 10 dient,
    3. (iii) die relative Positionsbeziehung zwischen dem Roboter 10 und der Kamera 20, und
    4. (iv) die Entfernung zwischen der Kamera 20 und dem Werkstück W.
  • Nachfolgend erhält die Robotersteuerung 40 das durch die Kamera 20 photographierte Bild des Werkstücks W (S22).
  • Nachfolgend berechnet die Robotersteuerung 40 auf der Grundlage der Einstellungsinformationen (i), (ii), (iii), (iv) über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W und des erhaltenen Bilds des Werkstücks W die Position des Werkstücks W (S23).
  • Nachfolgend rechnet die Bildverarbeitungsvorrichtung 50 die berechnete Position des Werkstücks W aus dem Koordinatensystem des Roboters 10 in das durch die Anzeigevorrichtung 60 bereitgestellte Koordinatensystem des AR-Raums um (S24). Nachfolgend erzeugt die Bildverarbeitungsvorrichtung 50 Bilddaten, um das erhaltene Werkstückbild W1 auf der Grundlage der umgerechneten Position des Werkstücks W an einer entsprechenden Position in dem durch die Anzeigevorrichtung 60 bereitgestellten AR-Raum zu zeichnen (S25). Wie in 4 gezeigt ist, zeigt die Anzeigevorrichtung 60 das Werkstückbild W1 nachfolgend auf der Grundlage der erzeugten Bilddaten an einer entsprechenden Position in dem AR-Raum an, der den Roboter 10, die Kamera 20 und das Werkstück W enthält (S26).
  • Im Fall der Nachführung wird das Werkstück W durch die Fördereinrichtung 30 bewegt. Somit berechnet die Robotersteuervorrichtung 40 in Schritt S23 auf der Grundlage der Bewegungsgeschwindigkeit des Werkstücks W durch die Fördereinrichtung 30 die Position des Werkstücks W. Die Bewegungsgeschwindigkeit des Werkstücks W durch die Fördereinrichtung 30 kann zuvor eingestellt werden oder kann unter Verwendung eines Geschwindigkeitssensors oder dergleichen detektiert werden. Dies ermöglicht, dass die Anzeigevorrichtung 60 in Schritt S26 das wie in 4 gezeigte Werkstückbild W1 anzeigt, um das von einem Photographierbereich R der Kamera 20 bewegte Werkstück W nachzuführen.
  • Dementsprechend kann der Betreiber, der die Anzeigevorrichtung 60 trägt, auf der Grundlage der Position des Werkstückbilds W1 in dem AR-Raum in Bezug auf die Position des tatsächlichen Werkstücks W bestätigen, ob die Einstellungsinformationen geeignet eingestellt sind. In einem Beispiel sind die Einstellungsinformationen geeignet eingestellt, falls das Werkstückbild W1 mit dem tatsächlichen Werkstück W überlappt. Dagegen können die Einstellungsinformationen fehlerhaft sein, falls das Werkstückbild W1 gegenüber dem tatsächlichen Werkstück W verlagert ist. In diesem Fall werden die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W zurückgesetzt und wird die oben beschriebene Bestätigungsoperation der Einstellungsinformationen erneut ausgeführt. Es wird angemerkt, dass der Fall, dass das Werkstückbild W1 gegenüber dem tatsächlichen Werkstück W verlagert ist, durch die ungeeignete Einstellung der Kamera 20, z. B. dadurch, dass die Kamera 20 nicht fest befestigt ist, oder durch eine lose Linse, verursacht sein kann. In diesem Fall wird die Kamera 20 geeignet zurückgesetzt und wird die oben beschriebene Bestätigungsoperation der Einstellungsinformationen erneut ausgeführt.
  • Wie oben beschrieben wurde, berechnet die Robotersteuervorrichtung 40 die Position des Werkstücks W in dem Robotersystem 1 in Übereinstimmung mit der zweiten Ausführungsform auf der Grundlage der Informationen über die Informationen des Roboters 10, der Kamera 20 und des Werkstücks W und des durch die Kamera 20 photographierten Bilds des Werkstücks W, während die Anzeigevorrichtung 60 das durch die Kamera 20 photographierte Werkstückbild W1 auf der Grundlage der berechneten Position des Werkstücks W an einer entsprechenden Position in dem AR-Raum anzeigt. Dies visualisiert die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W, wodurch ermöglicht wird, in kurzer Zeit genau und leicht zu bestätigen, ob die Einstellungsinformationen geeignet eingestellt sind.
  • Darüber hinaus berechnet die Robotersteuervorrichtung 40 in dem Robotersystem 1 in Übereinstimmung mit der zweiten Ausführungsform die Position des Werkstücks W auf der Grundlage der Bewegungsgeschwindigkeit des Werkstücks W durch die Fördereinrichtung 30 selbst in dem Fall der Nachführung, in dem das Werkstück W durch die Fördereinrichtung 30 bewegt wird. Dies ermöglicht, dass die Anzeigevorrichtung 60 das Werkstückbild W1 wie in 4 gezeigt anzeigt, um das von dem Photographierbereich R der Kamera 20 bewegte Werkstück W nachzuführen.
  • (Dritte Ausführungsform)
  • In der dritten Ausführungsform, wie sie in 6 gezeigt ist, wird in dem AR-Raum ein Koordinatensystembild XYZ angezeigt, das auf den Einstellungsinformationen beruht, wodurch die Einstellungsinformationen (i) über den Ursprung und die Richtungen der jeweiligen Koordinatenachsen eines dreidimensionalen Koordinatensystems, das als die Referenz für die Positionskompensation des Roboters 10 dient, bestätigt werden.
  • Die Konfiguration des Robotersystems 1 in Übereinstimmung mit der dritten Ausführungsform ist dieselbe wie die in 1 gezeigte Konfiguration des Robotersystems 1 in Übereinstimmung mit der ersten Ausführungsform. Es wird angemerkt, dass sich das Robotersystem 1 in Übereinstimmung mit der dritten Ausführungsform in Bezug auf die Funktionen und den Betrieb der Robotersteuervorrichtung 40, der Bildverarbeitungsvorrichtung 50 und der Anzeigevorrichtung 60 von dem Robotersystem 1 in Übereinstimmung mit der ersten Ausführungsform unterscheidet.
  • Die Robotersteuervorrichtung 40 sendet an die Bildverarbeitungsvorrichtung 50 die Einstellungsinformationen (i) über den Ursprung und die Richtungen der jeweiligen Koordinatenachsen eines dreidimensionalen Koordinatensystems, das als die in den Einstellungsinformationen enthaltene Referenz für die Positionskompensation des Roboters 10 dient, zur Bestätigung, ob die Einstellungsinformationen (i) geeignet eingestellt sind.
  • Die Bildverarbeitungsvorrichtung 50 erzeugt Bilddaten, um das Koordinatensystembild auf der Grundlage der empfangenen Einstellungsinformationen (i) an einer entsprechenden Position in dem durch die Anzeigevorrichtung 60 bereitgestellten AR-Raum zu zeichnen.
  • 6 zeigt ein Beispiel des auf der Anzeigevorrichtung 60 angezeigten AR-Raums. Wie in 6 gezeigt ist, zeigt die Anzeigevorrichtung 60 das Koordinatensystembild XYZ auf der Grundlage der durch die Bildverarbeitungsvorrichtung 50 erzeugten Bilddaten an einer entsprechenden Position in dem AR-Raum an, der den Roboter 10, die Kamera 20 und das Werkstück W enthält.
  • Im Folgenden wird anhand von 7 die Beschreibung der Bestätigungsoperation der Einstellungsinformationen, die durch das Robotersystem 1 in Übereinstimmung mit der dritten Ausführungsform ausgeführt wird, gegeben. 7 ist ein Ablaufplan, der die durch das Robotersystem 1 in Übereinstimmung mit der dritten Ausführungsform ausgeführte Bestätigungsoperation der Einstellungsinformationen angibt.
  • Zunächst stellt ein Betreiber die Kamera 20 auf den Spitzenteil (den Abschnitt, der das Ziel für die Positionssteuerung ist) des Arms 12 des Roboters 10 ein.
  • Nachfolgend registriert der Betreiber die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W in der Robotersteuervorrichtung 40. Auf diese Weise werden die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W in der Robotersteuervorrichtung 40 zuvor eingestellt (S31). Wie oben beschrieben wurde, enthalten die Einstellungsinformationen über die Positionen des Roboters 10, der Kamera 20 und des Werkstücks W:
    1. (i) den Ursprung und die Richtungen der jeweiligen Koordinatenachsen eines dreidimensionalen Koordinatensystems, das als die Referenz für die Positionskompensation des Roboters 10 dient,
    2. (ii) die Position des Roboters 10 (z. B. Drehwinkel oder Translationsbeträge jeweiliger Gelenke), die als die Referenz für die Positionskompensation des Roboters 10 dient,
    3. (iii) die relative Positionsbeziehung zwischen dem Roboter 10 und der Kamera 20, und
    4. (iv) die Entfernung zwischen der Kamera 20 und dem Werkstück W.
  • Nachfolgend sendet die Robotersteuervorrichtung 40 die Einstellungsinformationen (i) an die Bildverarbeitungsvorrichtung 50 (S32). Nachfolgend rechnet die Bildverarbeitungsvorrichtung 50 den Ursprung und die Richtungen der drei Koordinatenachsen eines dreidimensionalen Koordinatensystems, das als die Referenz für die Positionskompensation des Roboters 10 dient, aus dem Koordinatensystem des Roboters 10 in das Koordinatensystem des durch die Anzeigevorrichtung 60 bereitgestellten AR-Raums um (S33). Nachfolgend erzeugt die Bildverarbeitungsvorrichtung 50 Bilddaten, um das Koordinatensystembild XYZ auf der Grundlage des umgerechneten Koordinatensystems an einer entsprechenden Position in dem durch die Anzeigevorrichtung 60 bereitgestellten AR-Raum zu zeichnen (S34). Wie in 6 gezeigt ist, zeigt die Anzeigevorrichtung 60 das Koordinatensystem XYZ nachfolgend auf der Grundlage der erzeugten Bilddaten an einer entsprechenden Position in dem AR-Raum, der den Roboter 10, die Kamera 20 und das Werkstück W enthält, an (S35).
  • Wie oben beschrieben wurde, zeigt die Anzeigevorrichtung 60 in dem Robotersystem 1 in Übereinstimmung mit der dritten Ausführungsform das Koordinatensystembild XYZ des Koordinatensystems, das (i) den Ursprung und die Richtungen der jeweiligen Achsen eines dreidimensionalen Koordinatensystems, das als die Referenz für die Positionskompensation des Roboters 10 dient, imitiert, an einer entsprechenden Position in dem AR-Raum an. Dies visualisiert die Einstellungsinformationen (i) über den Ursprung und die Richtungen der jeweiligen Achsen eines dreidimensionalen Koordinatensystems, das als die Referenz für die Positionskompensation des Roboters 10 dient, wodurch ermöglicht wird, in kurzer Zeit genau und leicht zu bestätigen, ob die Einstellungsinformationen (i) geeignet eingestellt sind. Außerdem kann ein Betreiber auf einen Blick bestätigen, ob die Einstellung für das Koordinatensystem mit der Erkennung durch den Betreiber vereinbar ist.
  • Obgleich oben einige Ausführungsformen der vorliegenden Erfindung beschrieben worden sind, ist die vorliegende Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt. Die in den vorliegenden Ausführungsformen beschriebenen Wirkungen sind lediglich als die am meisten bevorzugten durch die vorliegende Erfindung erzeugten Wirkungen aufgeführt. Die durch die vorliegende Erfindung erzeugten Wirkungen sind nicht auf die in den vorliegenden Ausführungsformen beschriebenen beschränkt.
  • Obgleich die Kamera 20 in den oben beschriebenen Ausführungsformen auf den Spitzenteil des Arms 12 des Roboters 10 eingestellt wird, ist die vorliegende Erfindung in einem Beispiel darauf nicht beschränkt. Die Merkmale der vorliegenden Erfindung sind ebenfalls auf eine Ausführungsform anwendbar, in der die Kamera 20 auf einem Stativ oder dergleichen, das unabhängig von dem Roboter 10 angeordnet ist, befestigt und eingestellt ist.
  • Obgleich in den oben beschriebenen Ausführungsformen eine Kamera als die Photographiervorrichtung 20 dient, ist die vorliegende Erfindung darauf nicht beschränkt. Als die Photographiervorrichtung 20 können verschiedene Photographiervorrichtungen, die ein Werkstückbild photographieren können, wie etwa ein visueller Sensor verwendet werden.
  • Obgleich als die Anzeigevorrichtung 60 in den oben beschriebenen Ausführungsformen ein Head-Mounted Display dient, ist die vorliegende Erfindung darauf nicht beschränkt. Als die Anzeigevorrichtung 60 können verschiedene Anzeigevorrichtungen, die einen AR-Raum bereitstellen können, verwendet werden.
  • Obgleich in den oben beschriebenen Ausführungsformen ein Industrierobotersystem als das Robotersystem 1 dient, ist die vorliegende Erfindung darauf nicht beschränkt. Die Merkmale der vorliegenden Erfindung sind auf die Bestätigung von Einstellungsinformationen in verschiedenen Robotersystemen, in denen es jeweils schwierig ist zu bestätigen, ob die Einstellungsinformationen geeignet sind, anwendbar.
  • Bezugszeichenliste
  • 1
    ROBOTERSYSTEM
    10
    ROBOTER
    12
    ARM
    20
    KAMERA (PHOTOGRAPHIERVORRICHTUNG)
    21
    KAMERABILD (BILDIMITIERENDE PHOTOGRAPHIERVORRICHTUNG)
    30
    FÖRDEREINRICHTUNG
    40
    ROBOTERSTEUERVORRICHTUNG
    50
    BILDVERARBEITUNGSVORRICHTUNG
    60
    ANZEIGEVORRICHTUNG
    W
    WERKSTÜCK (BEHANDLUNGSOBJEKT)
    W1
    WERKSTÜCKBILD (BILD ODER BEHANDLUNGSOBJEKT)
    XYZ
    KOORDINATENSYSTEMBILD (BILDIMITIERENDES KOORDINATEN-SYSTEM)

Claims (6)

  1. Robotersystem (1), das Folgendes umfasst: einen Roboter (10) zum Ausführen einer vorgegebenen Verarbeitung an einem Behandlungsobjekt (W); eine Photographiervorrichtung (20) zum Photographieren des Behandlungsobjekts (W); eine Robotersteuervorrichtung (40) zum Ausführen einer Positionskompensation eines bewegten Ziels des Roboters (10), um das Behandlungsobjekt (W) auf einer Grundlage zuvor eingestellter Informationen über Positionen des Roboters (10), der Photographiervorrichtung (20) und des Behandlungsobjekts (W) und eines durch die Photographiervorrichtung (20) photographierten Bilds des Behandlungsobjekts (W) nachzuführen; und eine Anzeigevorrichtung (60) zum Bereitstellen eines AR-Raums, wobei die Robotersteuervorrichtung (40) auf der Grundlage der Informationen über die Positionen des Roboters (10) und der Photographiervorrichtung (20) eine Position der Photographiervorrichtung (20) berechnet, und die Anzeigevorrichtung (60) ein Bild, das die Photographiervorrichtung (20) imitiert, auf einer Grundlage der berechneten Position der Photographiervorrichtung (20) an einer entsprechenden Position in dem AR-Raum anzeigt.
  2. Robotersystem (1) nach Anspruch 1, wobei die Informationen über die Position des Roboters (10) (i) einen Ursprung und Richtungen jeweiliger Achsen eines Koordinatensystems, das als eine Referenz für die Positionskompensation des Roboters (10) dient, und (ii) die Position des Roboters (10), die als die Referenz für die Positionskompensation des Roboters (10) dient, enthalten, und wobei die Informationen über die Position der Photographiervorrichtung (20) (iii) eine relative Positionsbeziehung zwischen dem Roboter (10) und der Photographiervorrichtung (20) enthalten.
  3. Robotersystem (1), das Folgendes umfasst: einen Roboter (10) zum Ausführen einer vorgegebenen Verarbeitung an einem Behandlungsobjekt (W); eine Photographiervorrichtung (20) zum Photographieren des Behandlungsobjekts (W); eine Robotersteuervorrichtung (40) zum Ausführen einer Positionskompensation eines bewegten Ziels des Roboters (10), um das Behandlungsobjekt (W) auf einer Grundlage zuvor eingestellter Informationen über Positionen des Roboters (10), der Photographiervorrichtung (20) und des Behandlungsobjekts (W) und eines durch die Photographiervorrichtung (20) photographierten Bilds des Behandlungsobjekts (W) nachzuführen; und eine Anzeigevorrichtung (60) zum Bereitstellen eines AR-Raums, wobei die Robotersteuervorrichtung (40) eine Position des Behandlungsobjekts (W) auf der Grundlage der Informationen über die Positionen des Roboters (10), der Photographiervorrichtung (20) und des Behandlungsobjekts (W) und des durch die Photographiervorrichtung (20) photographierten Bilds des Behandlungsobjekts (W) berechnet, und die Anzeigevorrichtung (60) das durch die Photographiervorrichtung (20) photographierte Bild des Behandlungsobjekts (W) auf einer Grundlage der berechneten Position des Behandlungsobjekts (W) an einer entsprechenden Position in dem AR-Raum anzeigt.
  4. Robotersystem (1) nach Anspruch 3, wobei die Informationen über die Position des Roboters (10) (i) einen Ursprung und Richtungen jeweiliger Achsen eines Koordinatensystems, das als eine Referenz für die Positionskompensation des Roboters (10) dient, und (ii) die Position des Roboters (10), die als die Referenz für die Positionskompensation des Roboters (10) dient, enthalten, wobei die Informationen über die Position der Photographiervorrichtung (20) (iii) eine relative Positionsbeziehung zwischen dem Roboter (10) und der Photographiervorrichtung (20) enthalten, und die Informationen über die Position des Behandlungsobjekts (W) (iv) eine Entfernung zwischen der Photographiervorrichtung (20) und dem Behandlungsobjekt (W) enthalten.
  5. Robotersystem (1) nach Anspruch 3 oder Anspruch 4, wobei sich das Behandlungsobjekt (W) auf einer Fördereinrichtung (30) bewegt, und wobei die Robotersteuervorrichtung (40) die Position des Behandlungsobjekts (W) ferner auf der Grundlage einer Bewegungsgeschwindigkeit des Behandlungsobjekts (W) berechnet.
  6. Robotersystem (1), das Folgendes umfasst: einen Roboter (10) zum Ausführen einer vorgegebenen Verarbeitung an einem Behandlungsobjekt (W); eine Photographiervorrichtung (20) zum Photographieren des Behandlungsobjekts (W); eine Robotersteuervorrichtung (40) zum Ausführen einer Positionskompensation eines bewegten Ziels des Roboters (10), um das Behandlungsobjekt (W) auf einer Grundlage zuvor eingestellter Informationen über Positionen des Roboters (10), der Photographiervorrichtung (20) und des Behandlungsobjekts (W) und eines durch die Photographiervorrichtung (20) photographierten Bilds des Behandlungsobjekts (W) nachzuführen; und eine Anzeigevorrichtung (60) zum Bereitstellen eines AR-Raums, wobei die Informationen über die Position des Roboters (10) einen Ursprung und Richtungen jeweiliger Achsen eines Koordinatensystems, das als eine Referenz für die Positionskompensation des Roboters (10) dient, enthalten, und die Anzeigevorrichtung (60) ein Bild anzeigt, das den Ursprung und die Richtungen der jeweiligen Achsen des Koordinatensystems, das als die Referenz für die Positionskompensation des Roboters (10) dient, imitiert.
DE102018213985.7A 2017-08-25 2018-08-20 Robotersystem Active DE102018213985B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-162670 2017-08-25
JP2017162670A JP6795471B2 (ja) 2017-08-25 2017-08-25 ロボットシステム

Publications (2)

Publication Number Publication Date
DE102018213985A1 true DE102018213985A1 (de) 2019-02-28
DE102018213985B4 DE102018213985B4 (de) 2022-09-29

Family

ID=65321867

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018213985.7A Active DE102018213985B4 (de) 2017-08-25 2018-08-20 Robotersystem

Country Status (4)

Country Link
US (2) US10786906B2 (de)
JP (1) JP6795471B2 (de)
CN (1) CN109421048B (de)
DE (1) DE102018213985B4 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109834712A (zh) * 2019-03-01 2019-06-04 广东工业大学 一种机器人抓取顺序优化的方法
CN113103230A (zh) * 2021-03-30 2021-07-13 山东大学 一种基于处置机器人遥操作的人机交互系统及方法
DE112020001675B4 (de) 2019-03-29 2023-07-06 Ihi Corporation Fernbedienungsvorrichtung

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11472035B2 (en) * 2018-06-26 2022-10-18 Fanuc America Corporation Augmented reality visualization for robotic picking system
JP6856583B2 (ja) 2018-07-25 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム
JP6856590B2 (ja) 2018-08-31 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
CN113597362B (zh) * 2019-03-25 2024-05-24 Abb瑞士股份有限公司 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN110127436A (zh) * 2019-06-04 2019-08-16 青岛大学 一种棉条自动输送系统
CN110897717B (zh) 2019-12-09 2021-06-18 苏州微创畅行机器人有限公司 导航手术系统及其注册方法与电子设备
US11288877B2 (en) 2020-01-10 2022-03-29 38th Research Institute, China Electronics Technology Group Corp. Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality
CN111260793B (zh) * 2020-01-10 2020-11-24 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
CN113601510B (zh) * 2021-08-17 2024-05-07 广东电网有限责任公司 基于双目视觉的机器人移动控制方法、装置、系统及设备
EP4137279A1 (de) * 2021-08-20 2023-02-22 BHS Technologies GmbH Robotisches bildgebungssystem und verfahren zur steuerung einer robotischen vorrichtung

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319443A (en) * 1991-03-07 1994-06-07 Fanuc Ltd Detected position correcting method
US5742263A (en) * 1995-12-18 1998-04-21 Telxon Corporation Head tracking system for a head mounted display system
JP4747410B2 (ja) * 2000-11-10 2011-08-17 ソニー株式会社 映像切替表示装置および映像切替表示方法
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
JP4167954B2 (ja) * 2003-09-02 2008-10-22 ファナック株式会社 ロボット及びロボット移動方法
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
JP2008021092A (ja) * 2006-07-12 2008-01-31 Fanuc Ltd ロボットシステムのシミュレーション装置
JP4347386B2 (ja) * 2008-01-23 2009-10-21 ファナック株式会社 加工用ロボットプラグラムの作成装置
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
JP2010131711A (ja) * 2008-12-05 2010-06-17 Honda Motor Co Ltd ロボットアームの制御方法
US20120022924A1 (en) * 2009-08-28 2012-01-26 Nicole Runnels Method and system for creating a personalized experience with video in connection with a stored value token
BR112012026354A8 (pt) * 2010-04-13 2018-05-08 Nokia Corp aparelho, método, programa de computador e interface de usuário
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP5246672B2 (ja) 2011-02-17 2013-07-24 独立行政法人科学技術振興機構 ロボットシステム
JP4989768B2 (ja) * 2011-02-24 2012-08-01 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5803155B2 (ja) * 2011-03-04 2015-11-04 セイコーエプソン株式会社 ロボット位置検出装置及びロボットシステム
GB201111138D0 (en) 2011-06-30 2011-08-17 Leman Micro Devices Uk Ltd Personal health data collection
JP5561260B2 (ja) * 2011-09-15 2014-07-30 株式会社安川電機 ロボットシステム及び撮像方法
JP5266377B2 (ja) * 2011-12-19 2013-08-21 ファナック株式会社 物品の姿勢を修正する機能を備えた取出し装置
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US8996174B2 (en) * 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
JP5670416B2 (ja) * 2012-12-28 2015-02-18 ファナック株式会社 ロボットシステム表示装置
US9393686B1 (en) * 2013-03-15 2016-07-19 Industrial Perception, Inc. Moveable apparatuses having robotic manipulators and conveyors to facilitate object movement
JP5742862B2 (ja) * 2013-03-18 2015-07-01 株式会社安川電機 ロボット装置及び被加工物の製造方法
NO336219B1 (no) * 2013-04-19 2015-06-15 Electric Friends As Anordning og fremgangsmåte for kamerastyring
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
CN104959982A (zh) * 2013-10-10 2015-10-07 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法
JP6475409B2 (ja) * 2013-12-20 2019-02-27 蛇の目ミシン工業株式会社 ロボット、ロボットの制御方法、及びロボットの制御プログラム
JP5850962B2 (ja) * 2014-02-13 2016-02-03 ファナック株式会社 ビジュアルフィードバックを利用したロボットシステム
JP6379874B2 (ja) * 2014-08-29 2018-08-29 株式会社安川電機 ティーチングシステム、ロボットシステムおよびティーチング方法
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
JP2016107379A (ja) * 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
JP6693718B2 (ja) * 2015-02-27 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
JP6562665B2 (ja) * 2015-03-18 2019-08-21 蛇の目ミシン工業株式会社 ロボット
JP6596883B2 (ja) * 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
US9916506B1 (en) * 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
CN205121556U (zh) * 2015-10-12 2016-03-30 中国科学院自动化研究所 机器人抓取系统
JP6551184B2 (ja) * 2015-11-18 2019-07-31 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP6420229B2 (ja) * 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
WO2017199261A1 (en) * 2016-05-19 2017-11-23 Deep Learning Robotics Ltd. Robot assisted object learning vision system
US10245724B2 (en) * 2016-06-09 2019-04-02 Shmuel Ur Innovation Ltd. System, method and product for utilizing prediction models of an environment
JP6308248B2 (ja) 2016-06-22 2018-04-11 オムロン株式会社 コンベアトラッキング等に向けられたガイダンス装置
JP2018004950A (ja) * 2016-07-01 2018-01-11 フォーブ インコーポレーテッド 映像表示システム、映像表示方法、映像表示プログラム
US10723022B2 (en) * 2016-09-16 2020-07-28 Carbon Robotics, Inc. System and calibration, registration, and training methods
JP6707485B2 (ja) * 2017-03-22 2020-06-10 株式会社東芝 物体ハンドリング装置およびその較正方法
US10521871B2 (en) * 2017-07-12 2019-12-31 Fanuc Corporation Robot system
JP6734253B2 (ja) * 2017-12-20 2020-08-05 ファナック株式会社 ワークを撮像する視覚センサを備える撮像装置
JP7055657B2 (ja) * 2018-02-14 2022-04-18 川崎重工業株式会社 接続装置及び接続方法
US11472035B2 (en) * 2018-06-26 2022-10-18 Fanuc America Corporation Augmented reality visualization for robotic picking system
JP6856583B2 (ja) * 2018-07-25 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム
JP6856590B2 (ja) * 2018-08-31 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
JP7414810B2 (ja) * 2018-09-10 2024-01-16 ファナック アメリカ コーポレイション ロボット連続経路のゼロティーチ
EP3875230A4 (de) * 2018-11-01 2022-07-27 Canon Kabushiki Kaisha Externe eingabevorrichtung, robotersystem, steuerungsverfahren für robotersystem, steuerungsprogramm und aufzeichnungsmedium
JP6836571B2 (ja) * 2018-11-14 2021-03-03 ファナック株式会社 ロボット装置
JPWO2020110659A1 (ja) * 2018-11-27 2021-10-14 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP7277172B2 (ja) * 2019-02-26 2023-05-18 Juki株式会社 ミシン
US10369698B1 (en) * 2019-03-07 2019-08-06 Mujin, Inc. Method and system for performing automatic camera calibration for robot control
JP7222764B2 (ja) * 2019-03-18 2023-02-15 株式会社キーエンス 画像測定装置
US10399227B1 (en) * 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN113905859B (zh) * 2019-07-12 2024-03-08 株式会社富士 机器人控制系统及机器人控制方法
JP7306937B2 (ja) * 2019-09-25 2023-07-11 ファナック株式会社 ロボットに支持された部材の位置を調整するロボット装置の制御装置
US11875013B2 (en) * 2019-12-23 2024-01-16 Apple Inc. Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
US11816754B2 (en) * 2020-03-13 2023-11-14 Omron Corporation Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium
US20210286502A1 (en) * 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
CH717263A1 (fr) * 2020-03-27 2021-09-30 Richemont Int Sa Loupe électronique d'horloger, ensemble de loupe électronique d'horloger et procédé pour effectuer un contrôle d'un produit horloger, notamment d'un mécanisme de montre.
AU2021290132C1 (en) * 2020-06-08 2024-04-18 Apple Inc. Presenting avatars in three-dimensional environments
CN113103230A (zh) * 2021-03-30 2021-07-13 山东大学 一种基于处置机器人遥操作的人机交互系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109834712A (zh) * 2019-03-01 2019-06-04 广东工业大学 一种机器人抓取顺序优化的方法
CN109834712B (zh) * 2019-03-01 2021-03-12 广东工业大学 一种机器人抓取顺序优化的方法
DE112020001675B4 (de) 2019-03-29 2023-07-06 Ihi Corporation Fernbedienungsvorrichtung
CN113103230A (zh) * 2021-03-30 2021-07-13 山东大学 一种基于处置机器人遥操作的人机交互系统及方法

Also Published As

Publication number Publication date
US20200368918A1 (en) 2020-11-26
CN109421048A (zh) 2019-03-05
US11565427B2 (en) 2023-01-31
US20190061167A1 (en) 2019-02-28
CN109421048B (zh) 2023-06-02
JP2019038075A (ja) 2019-03-14
JP6795471B2 (ja) 2020-12-02
DE102018213985B4 (de) 2022-09-29
US10786906B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
DE102018213985A1 (de) Robotersystem
DE102015001527B4 (de) Robotersystem, das visuelle Rückmeldung verwendet
DE102013021917B4 (de) Robotersystemanzeigevorrichtung
DE102016011653B4 (de) Robotersystem mit Kamera zum Aufnehmen eines Bildes einer Zielmarke
DE102017125190B4 (de) Vorrichtung, Verfahren, Programm und Aufzeichnungsmedium zur Simulation des durch Roboter durchgeführten Vorgangs zum Anordnen von Artikeln
DE102015002760B4 (de) Robotersimulationssystem, das den Prozess des Entnehmens von Werkstücken simuliert
DE60127644T2 (de) Lehrvorrichtung für einen Roboter
DE102018109774B4 (de) Bildverarbeitungssystem, Bildverarbeitungsvorrichtung und Bildverarbeitungsprogramm
DE102010032840B4 (de) Vorrichtung und Verfahren zum Messen der Position eines Werkzeugmittelpunktes eines Roboters
DE102016103799B4 (de) Bildverarbeitungssystem zum Trainieren eines Montagesystems durch virtuelle Montage von Objekten
DE102017128543B4 (de) Störbereich-einstellvorrichtung für einen mobilen roboter
DE102015000587B4 (de) Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
DE102018132213A1 (de) Artikelübertragungsvorrichtung, Robotersystem und Artikelübertragungsverfahren
DE102017001305A1 (de) Fehlerdiagnosevorrichtung eines Robotersystem zum Beurteilen eines Fehlers anhand eines Kamerabildes
DE102010023736B4 (de) Robotersystem mit Problemerkennungsfunktion
WO2017207436A1 (de) Industrieroboter
DE102015000589A1 (de) Datenerzeugungsvorrichtung für einen visuellen Sensor und ein Erfassungssimulationssystem
DE102013014873A1 (de) Aufnahmevorrichtung, die die Halteposition und -orientierung eines Roboters auf der Grundlage einer Auswahlbedingung bestimmt
DE102011050640A1 (de) Verfahren und Vorrichtung für die Wiederherstellung von Roboterlagedaten
DE102019217430A1 (de) Kamerakalibrierungsvorrichtung und Kamerakalibrierungsverfahren
DE102018121481A1 (de) Entfernungsmesssystem und Entfernungsmessverfahren
DE102015104582A1 (de) Verfahren zum Kalibrieren eines Roboters an einem Arbeitsbereich und System zum Durchführen des Verfahrens
DE102018009836B4 (de) Objektprüfsystem und Objektprüfverfahren
DE102010037067B4 (de) Robotersteuervorrichtung und Verfahren zum Teachen eines Roboters
DE102018124595A1 (de) Vorrichtung zur Erfassung einer Position und Lage eines Endeffektors eines Roboters

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final