DE112020001675T5 - Fernbedienungsvorrichtung - Google Patents

Fernbedienungsvorrichtung Download PDF

Info

Publication number
DE112020001675T5
DE112020001675T5 DE112020001675.7T DE112020001675T DE112020001675T5 DE 112020001675 T5 DE112020001675 T5 DE 112020001675T5 DE 112020001675 T DE112020001675 T DE 112020001675T DE 112020001675 T5 DE112020001675 T5 DE 112020001675T5
Authority
DE
Germany
Prior art keywords
image
virtual
remote control
control device
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112020001675.7T
Other languages
English (en)
Other versions
DE112020001675B4 (de
Inventor
Masato Tanaka
Shunichi Yamazaki
Taku Shimizu
Shou Yasui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Publication of DE112020001675T5 publication Critical patent/DE112020001675T5/de
Application granted granted Critical
Publication of DE112020001675B4 publication Critical patent/DE112020001675B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

Eine Fernbedienungsvorrichtung (2) umfasst: einen Sensor (1d), der eine Distanz zwischen einem beweglichen Roboter (1) und einem Objekt (W) in der Umgebung des beweglichen Roboters in einem Arbeitsraum bestimmt; eine Blickwinkel-Angabeeinheit (2e), die einen Blickwinkel für ein virtuelles dreidimensionales Bild des Arbeitsraums angibt; eine Virtuellbild-Erzeugungseinheit (2a), die das virtuelle, dreidimensionale Bild basierend auf einem Bestimmungsergebnis des Sensors und auf dem durch die Blickwinkel-Angabeeinheit angegebenen Blickwinkel erzeugt; eine Anzeige (2c), die das virtuelle dreidimensionale Bild anzeigt; und eine Bedienungseinheit (2d), die Bedienungssignale für eine Fernbedienung des beweglichen Roboters erzeugt.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft eine Fernbedienungsvorrichtung.
  • Es wird die Priorität der japanischen Patentanmeldung Nr. 2019-067408 vom 29. März 2019, die hier vollständig unter Bezugnahme eingeschlossen ist, beansprucht.
  • Hintergrund
  • Das unten angegebene Patentdokument 1 beschreibt eine Fernbedienungsvorrichtung, die einen Manipulator verwendet. Die Fernbedienungsvorrichtung umfasst eine Kameraeinheit, die Bilder des Arbeitsraums eines Roboters (Manipulators) aufnimmt, ein Head-Mounted Display (HMD), das durch die Kameraeinheit aufgenommene Bilder anzeigt, eine dreidimensionale Eingabeeinrichtung, die durch einen Bediener betätigt wird, während der Bediener die Bilder des Head-Mounted Displays betrachtet, und einen Robotersteuerungscomputer.
  • Dokumente aus dem Stand der Technik
  • Patentdokument
  • [Patentdokument 1] Ungeprüfte japanische Patentanmeldung mit der Erstveröffentlichungsnummer 2000-042960
  • Zusammenfassung
  • Technisches Problem
  • In der oben beschriebenen Fernbedienungsvorrichtung bedient der Bediener den Roboter unter Verwendung der dreidimensionalen Eingabeeinrichtung, während der Bediener das Kamerabild des an dem Head-Mounted Display angezeigten Arbeitsraums betrachtet. Die Kameraeinheit ist fix installiert, und das Sichtfeld des Kamerabilds ist auf einen fixen Bereich beschränkt. Deshalb kann der Manipulator unter Umständen in einen Kontakt mit zum Beispiel einem nicht in dem Kamerabild gezeigten Objekt kommen.
  • Die vorliegende Erfindung nimmt auf die vorstehend geschilderten Umstände Bezug, wobei es eine Aufgabe der Erfindung ist, eine Fembedienvorrichtung mit einem variablen Sichtfeld vorzusehen.
  • Problemlösung
  • Eine Fernbedienvorrichtung gemäß einem ersten Aspekt der vorliegenden Erfindung umfasst: einen Sensor, der eine Distanz zwischen einem beweglichen Roboter und einem Objekt in der Umgebung des beweglichen Roboters in einem Arbeitsraum bestimmt; eine Blickwinkel-Angabeeinheit, die einen Blickwinkel für ein virtuelles dreidimensionales Bild des Arbeitsraums angibt; eine Virtuellbild-Erzeugungseinheit, die das virtuelle dreidimensionale Bild basierend auf einem Bestimmungsergebnis des Sensors und dem durch die Blickwinkel-Angabeeinheit angegebenen Blickwinkel erzeugt; eine Anzeige, die das virtuelle dreidimensionale Bild anzeigt; und eine Bedienungseinheit, die Bedienungssignale für eine Fernbedienung des beweglichen Roboters erzeugt.
  • Gemäß einem zweiten Aspekt der vorliegenden Erfindung umfasst die Fernbedienungsvorrichtung gemäß dem ersten Aspekt weiterhin: eine Bildaufnahmeeinheit, die ein tatsächliches Bild des Arbeitsraums aufnimmt; und eine Bildzusammenstellungseinheit, die das virtuelle dreidimensionale Bild und das tatsächliche Bild zusammenstellt, um ein zusammengestelltes Bild zu erzeugen, wobei die Anzeige das zusammengestellte Bild anstelle des virtuellen dreidimensionalen Bilds anzeigt.
  • Gemäß einem dritten Aspekt der vorliegenden Erfindung fügt in der Fernbedienungsvorrichtung gemäß dem zweiten Aspekt die Bildzusammenstellungseinheit Steuerinformationen des beweglichen Roboters zu dem zusammengesetzten Bild hinzu.
  • Gemäß einem vierten Aspekt der vorliegenden Erfindung enthält in der Fernbedienungsvorrichtung gemäß den ersten bis dritten Aspekten das virtuelle dreidimensionale Bild ein Objekt des beweglichen Roboters und ein Objekt eines Werkstücks, das ein Arbeitsziel für den beweglichen Roboter ist.
  • Gemäß einem fünften Aspekt der vorliegenden Erfindung umfasst in der Fernbedienungsvorrichtung gemäß den ersten bis vierten Aspekten die Anzeige eine Head-Mounted Display und umfasst die Blickwinkel-Angabeeinheit einen Bewegungssensor, der in dem Head-Mounted Display vorgesehen ist.
  • Effekte
  • Gemäß der vorliegenden Erfindung kann eine Fernbedienungsvorrichtung mit einem variablen Sichtfeld vorgesehen werden.
  • Figurenliste
    • 1 ist eine Systemkonfiguration, die eine Gesamtkonfiguration eines Robotersystems gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
    • 2 ist ein Blockdiagramm, das eine Konfiguration einer Fernbedienungsvorrichtung gemäß der Ausführungsform der vorliegenden Erfindung zeigt.
    • 3 ist eine schematische Ansicht, die ein zusammengesetztes Bild gemäß der Ausführungsform der vorliegenden Erfindung zeigt.
  • Beschreibung von Ausführungsformen
  • Im Folgenden wird eine Ausführungsform der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben.
  • Wie in 1 gezeigt, wird ein Robotersystem gemäß dieser Ausführungsform durch einen Roboterhauptkörper 1 und eine Fernbedienungsvorrichtung 2 konfiguriert.
  • Der Roboterhauptkörper 1 ist ein artikulierter Roboter, der vorbestimmte Arbeiten an einem Werkstück W durchführt, während er sich in einem vorbestimmten Arbeitsraum bewegt. Wie in der Zeichnung gezeigt, umfasst der Roboterhauptkörper 1 wenigstens einen beweglichen Wagen 1a, einen Manipulator 1b, ein Arbeitswerkzeug 1c, einen Sensor 1d und eine Robotersteuereinrichtung 1e. Der Roboterhauptkörper 1 entspricht einem beweglichen Roboter gemäß der vorliegenden Erfindung.
  • In dem Arbeitsraum ist das Werkstück W, das ein Arbeitsziel des Roboterhauptkörpers 1 ist, auf einem Halteständer T platziert. Der Roboterhauptkörper 1 führt vorbestimmte Arbeiten an dem auf dem Halteständer T platzierten Werkstück W aus, indem er durch die Robotersteuereinrichtung 1e gesteuert wird.
  • Der bewegliche Wagen 1a umfasst Räder und eine Antriebseinrichtung (einen Motor oder ähnliches), die die Räder antreibt, und bewegt sich auf einem Boden F des Arbeitsraums basierend auf Fahrtsteuersignalen, die von der Robotersteuereinrichtung 1e eingegeben werden. Der bewegliche Wagen 1a setzt die Position des daran montierten Manipulators 1b in dem Arbeitsraum zu einer vorbestimmten Arbeitsposition. Der Aufbau für das Bewegen des beweglichen Wagens 1a ist nicht auf Räder beschränkt und kann zum Beispiel auch Ketten, Beine oder ähnliches umfassen.
  • Der Manipulator 1b ist fix an der oberen Seite des beweglichen Wagens 1a installiert und umfasst Arme und Gelenke, die die Arme miteinander verbinden. In den Gelenken vorgesehene Motoren werden basierend auf von der Robotersteuereinrichtung 1e eingegebenen Gelenksteuersignalen betrieben, sodass der Manipulator 1b das an seinem Ende angebrachte Arbeitswerkzeug 1c bewegt. Der Manipulator 1b ist also eine mechanische Einrichtung, die die Position und die Haltung des Arbeitswerkzeugs 1c optimal in Entsprechung zu dem an dem Werkstück W durchzuführenden Arbeitsinhalt setzt.
  • Das Arbeitswerkzeug 1c ist entfembar an der Spitze des Manipulators 1b angebracht und ist ein Teil, der direkt Arbeiten an dem Werkstück W durchführt. Wenn zum Beispiel das Werkstück mechanisch bearbeitet wird, enthält das Arbeitswerkzeug 1c ein Werkzeug, das eine Scherkraft, eine Drückkraft oder ähnliches auf das Werkstück ausübt.
  • Der Sensor 1d umfasst wenigstens einen Distanzsensor und eine Kamera. Der Sensor 1d ist fix an der Vorderseite des beweglichen Wagens 1a, d.h. vor dem Manipulator 1b in dem beweglichen Wagen 1a (d.h. vor einem an dem beweglichen Wagen 1a fixierten Teil des Manipulators 1b) installiert, bestimmt die Distanz zwischen dem Roboterhauptkörper 1 und einem Objekt in der Umgebung des Roboterhauptkörpers 1 in dem Arbeitsraum und nimmt Bilder vor dem beweglichen Wagen 1a als tatsächliche Bilder des Arbeitsraums auf.
  • Die „vordere Seite des beweglichen Wagens 1a“ ist die Seite des beweglichen Wagens 1a, die dem Werkstück W zum Beispiel während Arbeitsvorgängen nahe ist. Alternativ dazu ist „die vordere Seite des beweglichen Wagens 1a“ die Seite (die kein blinder Punkt wird) des beweglichen Wagens 1a, auf welcher der Sensor 1d das Werkstück W auch dann erfassen kann, wenn sich der Manipulator 1b für Arbeitsvorgänge bewegt.
  • Das tatsächliche Bild ist ein Bewegtbild, das Bedingungen des Werkstücks W in dem Arbeitsraum und des Arbeiten an dem Werkstück durchführenden Arbeitswerkzeugs 1c zeigt. Der Sensor 1d gibt Bestimmungsergebnisse zu der Distanz in Bezug auf das in der Umgebung befindliche Objekt zu der Fernbedienungsvorrichtung 2 als Distanzbestimmungssignale aus und gibt die tatsächlichen Bilder zu der Fernbedienungsvorrichtung 2 als tatsächliche Bildsignale aus.
  • In 1 sind der Sensor 1d und die Fernbedienungsvorrichtung 2 als separate Komponenten gezeigt, wobei der Sensor 1d jedoch eine Komponente ist, die funktionell in der Fernbedienungsvorrichtung 2 enthalten ist. Der Sensor 1d entspricht einer Bildaufnahmeeinheit, die die tatsächlichen Bilder des Arbeitsraums aufnimmt. Die Kamera des Sensors 1d entspricht also der Bildaufnahmeeinheit.
  • Die Robotersteuereinrichtung 1e ist eine Steuereinrichtung, die kommunikativ mit der Fernbedienungsvorrichtung 2 in einem Bedienungsraum verbunden ist und den beweglichen Wagen 1a und den Manipulator 1b basierend auf von der Fernbedienungsvorrichtung 2 empfangenen Bedienungssignalen steuert. Die Robotersteuereinrichtung 1e ist eine Art von Computer und verarbeitet die Bedienungssignale gemäß zuvor gespeicherten Steuerprogrammen, um den beweglichen Wagen 1a und den Manipulator 1b gemäß den Bedienungssignalen zu steuern. Der Computer umfasst zum Beispiel eine CPU (eine zentrale Verarbeitungseinheit), einen Speicher wie etwa einen RAM (Direktzugriffspeicher) und einen ROM (Nur-Lese-Speicher) und eine Eingabe/Ausgabe-Einrichtung, die Signale mit externen Einrichtungen austauscht.
  • Die Robotersteuereinrichtung 1e sendet Steuerinformationen des beweglichen Wagens 1a und des Manipulators 1b an die Fernbedienungsvorrichtung 2. Die Steuerinformationen umfassen zum Beispiel den Betriebsmodus des Roboterhauptkörpers 1, die Position des beweglichen Wagens 1a und den Winkel jedes Gelenks des Manipulators 1b.
  • Die Fernbedienungsvorrichtung 2 ist in dem Bedienungsraum entfernt von dem Arbeitsraum vorgesehen und gibt Bedienungssignale zu dem Roboterhauptkörper 1 basierend auf Bedienungseingaben von einem Bediener aus. Die Fernbedienungsvorrichtung 2 ist eine Art von Computer, der die Bedienungseingaben basierend auf Bedienungsprogrammen verarbeitet, um Bedienungssignale zu erzeugen, und umfasst wie in 2 gezeigt als Funktionskomponenten wenigstens eine Virtuellbild-Erzeugungseinheit 2a, eine Bildzusammenstellungseinheit 2b, eine Anzeige 2c und eine Bedienungseinheit 2d.
  • Die Fernbedienungsvorrichtung 2 kann einen Computer umfassen, und der Computer kann die Funktionen der Virtuellbild-Erzeugungseinheit 2a und der Bildzusammenstellungseinheit 2b erfüllen. Der Computer kann zum Beispiel eine CPU (zentrale Verarbeitungseinheit), einen Speicher wie etwa einen RAM (Direktzugriffspeicher) oder einen ROM (Nur-Lese-Speicher) und eine Eingabe/Ausgabe-Einrichtung, die Signale mit externen Einrichtungen austauscht, umfassen.
  • Die Virtuellbild-Erzeugungseinrichtung 2a erzeugt virtuelle dreidimensionale Bilder des Arbeitsraums, d.h. Virtuelle-Realität-Bilder desselben. Die Virtuellbild-Erzeugungseinheit 2a erzeugt virtuelle dreidimensionale Bilder (Virtuelle-Realität-Bilder) des Arbeitsraums basierend auf den Blickwinkel-Angabesignalen, die von der weiter unten beschriebenen Anzeige 2c eingegeben werden, und auf Distanzbestimmungssignalen, die von dem Sensor (d.h. dem Distanzsensor des Sensors 1d) eingegeben werden. Das virtuelle dreidimensionale Bild (Virtuelle-Realität-Bild) enthält wenigstens jeweils ein dreidimensionales Modell des Objekts des Werkstücks W und des Objekts des Roboterhauptkörpers 1.
  • In dem oben genannten virtuellen dreidimensionalen Bild (Virtuelle-Realität-Bild) wird ein Blickwinkel basierend auf den Blickwinkel-Angabesignalen gesetzt. In dem virtuellen dreidimensionalen Bild (Virtuelle-Realität-Bild) werden das Werkstück W, der Roboterhauptkörper 1 usw. als Objekte aus dem durch die Blickwinkel-Angabesignale angegebenem Blickwinkel gezeigt. Unter einem „Blickwinkel“ ist also in dieser Ausführungsform nicht nur ein Blickwinkel für das Abbilden oder visuelle Erkennen eines tatsächlichen Objekts zu verstehen, sondern auch der Blickwinkel des erzeugten, virtuellen dreidimensionalen Bilds.
  • Die Bildzusammenstellungseinheit 2b betrachtet das von der Virtuellbild-Erzeugungseinheit 2a eingegebene virtuelle dreidimensionale Bild (Virtuelle-Realität-Bild) als ein Basisbild und setzt in das virtuelle dreidimensionale Bild das von dem Sensor 1d eingegebene tatsächliche Bild des Arbeitsraums und die von der Robotersteuereinrichtung 1e eingegebenen Steuerinformationen des Roboterhauptkörpers 1 ein. Die Bildzusammenstellungseinheit 2b erzeugt ein zusammengestelltes Bild G, in dem das virtuelle dreidimensionale Bild (Virtuelle-Realität-Bild) mit dem tatsächlichen Bild und den Steuerinformationen zusammengestellt ist, und gibt es an die Anzeige 2c aus.
  • 3 ist ein schematisches Diagramm, das ein Beispiel für das oben genannte zusammengesetzte Bild G zeigt. Das zusammengesetzte Bild G wird erzeugt durch das Hinzufügen eines tatsächlichen Bilds g1 und eines Steuerinformationenbilds g2 zu dem virtuellen dreidimensionalen Bild (Virtuelle-Realität-Bild) des Arbeitsraums. In dem Virtuelle-Realität-Bild sind das Werkstück W an dem Halteständer T und der Roboterhauptkörper 1 als Objekte (Objekte in dem virtuellen Bild) gezeigt. In dem zusammengesetzten Bild G sind das tatsächliche Bild g1 und das Steuerinformationenbild g2 in anderen Bereichen als die Objekte des Werkstücks W und des Roboterhauptkörpers 1 in dem Virtuelle-Realität-Bild angeordnet.
  • Die Anzeige 2c ist eine Anzeigeeinrichtung, die das oben genannte zusammengesetzte Bild G anzeigt. Die Anzeige 2c sieht das zusammengesetzte Bild G für den Bediener als Unterstützungsinformationen für eine Fernbedienung des Roboterhauptkörpers 1 vor. Dabei weist die Anzeige 2c eine Form auf, die einfach für den Bediener in dem Bedienungsraum sichtbar ist, und ist zum Beispiel ein Head-Mounted Display (HMD).
  • In der Anzeige 2c ist ein Bewegungssensor 2e vorgesehen, der die Ausrichtung des Kopfs eines Trägers, d.h. des Bedieners, erfasst. Der Bewegungssensor 2e gibt Erfassungssignale aus, die die Ausrichtung des Kopfs des Bedieners für die Virtuellbild-Erzeugungseinheit 2a als die Blickwinkel-Angabesignale angeben. Der oben beschriebene Bewegungssensor 2e entspricht der Blickwinkel-Angabeeinheit, die einen Blickwinkel des virtuellen dreidimensionalen Bilds (Virtuelle-Realität-Bilds) angibt.
  • Die oben beschriebene Virtuellbild-Erzeugungseinheit 2a erhält Erfassungssignale des Bewegungssensors 2e als Blickwinkel-Angabesignale und erzeugt auf diese Weise das virtuelle dreidimensionale Bild (Virtuelle-Realität-Bild), das einen sich in Entsprechung zu der Ausrichtung des Kopfs des Bedieners ändernden Blickwinkel aufweist.
  • Die Bedienungseinheit 2d ist eine Einrichtung, zu der der Bediener Bedienungsbefehle eingibt. Die Bedienungseinheit 2d empfängt also die Bedienungsbefehle für eine Fernbedienung des Roboterhauptkörpers 1 von dem Bediener, erzeugt Bedienungssignale, die die Bedienungsbefehle angeben, und gibt die Bedienungssignale zu der Robotersteuereinrichtung 1e aus. Die Bedienungseinheit 2d umfasst zum Beispiel einen Joystick.
  • Im Folgenden wird der Betrieb der Fernbedienungsvorrichtung dieser Ausführungsform im größeren Detail beschrieben.
  • Wenn der Roboterhauptkörper 1 unter Verwendung der Fernbedienungsvorrichtung fernbedient wird, trägt der Bediener die Anzeige 2c, die das HMD ist, an seinem Gesicht und führt Bedienungseingaben an der Bedienungseinheit 2d durch. Der Bediener führt also Bedienungseingaben an der Bedienungseinheit 2d durch, während er das zusammengesetzte Bild G von 3 über die Anzeige 2c betrachtet, um den Roboterhauptkörper 1 fernzubedienen.
  • Wenn der Bediener in einer derartigen Fernbedienungsumgebung die Ausrichtung seines Kopfs ändert, wird diese Änderung durch den Bewegungssensor 2e der Anzeige 2c erfasst und in die Virtuellbild-Erzeugungseinheit 2a als das Blickwinkel-Angabesignal eingegeben. Daraus resultiert, dass die Virtuellbild-Erzeugungseinheit 2a das virtuelle dreidimensionale Bild (Virtuelle-Realität-Bild) mit einem Blickwinkel in Entsprechung zu der neuen Ausrichtung des Kopfs erzeugt. Das virtuelle dreidimensionale Bild (Virtuelle-Realität-Bild) mit dem neuen Blickwinkel wird von der Virtuellbild-Erzeugungseinheit 2a zu der Bildzusammensetzungseinheit 2b eingegeben.
  • Die Bildzusammensetzungseinheit 2b setzt das tatsächliche Bild und die Steuerinformationen in das virtuelle dreidimensionale Bild (Virtuelle-Realität-Bild) mit dem von der Virtuellbild-Erzeugungseinheit 2a eingegebenen neuen Blickwinkel ein, um ein neues zusammengesetztes Bild zu erzeugen, und gibt das neue zusammengesetzte Bild G zu der Anzeige 2c aus. Das zusammengesetzte Bild G mit dem neuen Blickwinkel wird jedes Mal erzeugt, wenn der Bediener die Ausrichtung seines Kopfs ändert, und wird an der Anzeige 2c angezeigt.
  • Dann führt der Bediener Bedienungseingaben an der Bedienungseinheit 2d durch, indem er als Unterstützungsinformationen für die Fernbedienung auf das zusammengesetzte Bild G mit dem neuen Blickwinkel Bezug nimmt. Dann werden die Bedienungssignale gemäß den Bedienungseingaben von der Bedienungseinheit 2d zu der Robotersteuereinrichtung 1e eingegeben, sodass der bewegliche Wagen 1a, der Manipulator 1b und das Arbeitswerkzeug 1c gemäß den Bedienungseingaben betrieben werden. Der Roboterhauptkörper 1 wird also gemäß den Bedienungseingaben von dem Bediener zu der Fernbedienungseinrichtung 2 betrieben.
  • Wenn bei dieser Ausführungsform der Bediener die Ausrichtung seines Kopfs ändert, ändert sich der Blickwinkel der Objekte wie etwa des Werkstücks W und des Roboterhauptkörpers 1 in dem an der Anzeige 2c angezeigten zusammengesetzten Bild G, sodass eine Fernbedienungsvorrichtung mit einem variablen Sichtfeld vorgesehen werden kann. Gemäß dieser Ausführungsform kann der Bediener also die Distanz zwischen dem Werkstück W und dem Roboterhauptkörper 1 und die Bedingungen derselben genauer erfassen, wodurch die Arbeitseffizienz verbessert werden kann und genauere Operationen als zuvor durchgeführt werden können.
  • Insbesondere wird gemäß dieser Ausführungsform nur das Objekt des Roboterhauptkörpers 1 nicht an der Anzeige 2c angezeigt und wird das Objekt des Werkstücks W auch an der Anzeige 2c als ein virtuelles, dreidimensionales Bild (Virtuelle-Realität-Bild) angezeigt, sodass der Bediener die Positionsbeziehung zwischen dem Roboterhauptkörper 1 und dem Werkstück W genauer erkennen kann, indem er den Blickwinkel ändert. Gemäß dieser Ausführungsform kann also eine Fernbedienungsvorrichtung mit einer verbesserten Arbeitseffizienz vorgesehen werden.
  • Und weil gemäß dieser Ausführungsform das tatsächliche Bild g1 und das Steuerinformationenbild g2 an der Anzeige 2c in einem zu dem virtuellen dreidimensionalen Bild (Virtuelle-Realität-Bild) hinzugefügten Zustand angezeigt werden, kann der Bediener die Bedingungen des Arbeitsraums und den Betriebszustand des Roboterhauptkörpers 1 genauer erfassen. Deshalb kann gemäß dieser Ausführungsform auch aus diesem Grund eine Fernbedienungsvorrichtung mit einer verbesserten Arbeitseffizienz vorgesehen werden.
  • Die vorliegende Erfindung ist nicht auf die oben beschriebene Ausführungsform beschränkt, wobei zum Beispiel die folgenden Modifikationen vorgenommen werden können.
    • (1) In der oben beschriebenen Ausführungsform werden das tatsächliche Bild g1 und das Steuerinformationenbild g2 zu dem virtuellen dreidimensionalen Bild (Virtuelle-Realität-Bild) hinzugefügt, wobei die vorliegende Erfindung jedoch nicht darauf beschränkt ist. Falls erforderlich, kann nur das virtuelle dreidimensionale Bild (Virtuelle-Realität-Bild) an der Anzeige 2c angezeigt werden. Ein Bild, in dem nur das tatsächliche Bild g1 zu dem virtuellen dreidimensionalen Bild (Virtuelle-Realität-Bild) hinzugefügt ist, kann an der Anzeige 2c angezeigt werden. Die Virtuellbild-Erzeugungseinheit 2a kann das von der Anzeige 2c eingegebene Blickwinkel-Angabesignal, das von dem Sensor 1d eingegebene Distanzbestimmungssignal und zuvor vorbereitete Entwurfsinformationen (z.B. CAD-Daten oder ähnliches) des Arbeitsraums kombinieren, um ein virtuelles, dreidimensionales Bild (Virtuelle-Realität-Bild) des Arbeitsraums zu erzeugen. Wenn ein virtuelles, dreidimensionales Bild, mit dem die Bedingungen des Arbeitsraums ausreichend erkannt werden können, unter Verwendung der Entwurfsinformationen des Arbeitsraums erzeugt werden können, muss die Bildzusammenstellungseinheit 2b das von der Virtuellbild-Erzeugungseinheit 2a eingegebene virtuelle dreidimensionale Bild und das von dem Sensor 1d eingegebene tatsächliche Bild des Arbeitsraums nicht zusammenstellen.
    • (2) In der oben beschriebenen Ausführungsform ist der Roboterhauptkörper 1 als ein beweglicher Roboter konfiguriert, wobei die vorliegende Erfindung jedoch nicht darauf beschränkt ist. Die vorliegende Erfindung kann auch auf einen fix in dem Arbeitsraum installierten Roboter angewendet werden. Die vorliegende Erfindung kann auch auf einen Arbeitsraum angewendet werden, in dem der Roboterhauptkörper 1 fix installiert ist und sich das Werkstück W bewegt, und auf einen anderen Arbeitsraum, in dem sich der Roboterhauptkörper 1 und das Werkstück W individuell bewegen.
    • (3) Das virtuelle dreidimensionale Bild (Virtuelle-Realität-Bild) der oben beschriebenen Ausführungsform umfasst wenigstens die Objekte des Werkstücks W und des Roboterhauptkörpers 1, wobei die vorliegende Erfindung jedoch nicht darauf beschränkt ist. Wenn in dem Arbeitsraum für den Betrieb des Roboterhauptkörpers 1 benötigte oder wichtige Artikel vorhanden sind, können die Artikel auch als Objekte in dem virtuellen dreidimensionalen Bild (Virtuelle-Realität-Bild) enthalten sein.
    • (4) In der oben beschriebenen Ausführungsform wird das Head-Mounted Display (HMD) als die Anzeige 2c verwendet, wobei die vorliegende Erfindung jedoch nicht darauf beschränkt ist. Zum Beispiel kann die Anzeige 2c auch einen fixen Monitor umfassen. Die Blickwinkel-Angabeeinheit der vorliegenden Erfindung ist nicht auf den Bewegungssensor 2e beschränkt. Zum Beispiel kann der Bediener den Blickwinkel des virtuellen dreidimensionalen Bilds (Virtuelle-Realität-Bilds) angeben, indem er die Bedienungseinheit 2d betätigt. Die Blickwinkel-Angabeeinheit der vorliegenden Erfindung kann also einen Detektor wie etwa einen Sensor umfassen, der den Blickwinkel des Bedieners erfasst.
  • Industrielle Anwendbarkeit
  • Die vorliegende Erfindung kann auf eine Fernbedienungsvorrichtung für einen beweglichen Roboter in einem Arbeitsraum angewendet werden und kann eine Fernbedienungsvorrichtung mit einem variablen Sichtfeld vorsehen.
  • Bezugszeichenliste
    • 1
    Roboterhauptkörper (beweglicher Roboter)
    1a
    beweglicher Wagen
    1b
    Manipulator
    1c
    Arbeitswerkzeug
    1d
    Sensor
    1e
    Robotersteuereinrichtung
    2
    Fernbedienungsvorrichtung
    2a
    Virtuellbild-Erzeugungseinheit
    2b
    Bildzusammenstellungseinheit
    2c
    Anzeige
    2d
    Bedienungseinheit
    2e
    Bewegungssensor
    g1
    tatsächliches Bild
    g2
    Steuerinformationenbild
    G
    zusammengesetztes Bild
    F
    Boden
    W
    Werkstück (Objekt)
    T
    Halteständer
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2019067408 [0002]

Claims (5)

  1. Fernbedienungsvorrichtung, umfassend: einen Sensor, der eine Distanz zwischen einem beweglichen Roboter und einem Objekt in der Umgebung des beweglichen Roboters in einem Arbeitsraum bestimmt, eine Blickwinkel-Angabeeinheit, die einen Blickwinkel für ein virtuelles dreidimensionales Bild des Arbeitsraums angibt, eine Virtuellbild-Erzeugungseinheit, die das virtuelle dreidimensionale Bild basierend auf einem Bestimmungsergebnis des Sensors und dem durch die Blickwinkel-Angabeeinheit angegebenen Blickwinkel erzeugt, eine Anzeige, die das virtuelle dreidimensionale Bild anzeigt, und eine Bedienungseinheit, die Bedienungssignale für eine Fernbedienung des beweglichen Roboters erzeugt.
  2. Fernbedienungsvorrichtung gemäß Anspruch 1, die weiterhin umfasst: eine Bildaufnahmeeinheit, die ein tatsächliches Bild des Arbeitsraums aufnimmt, und eine Bildzusammenstellungseinheit, die das virtuelle dreidimensionale Bild und das tatsächliche Bild zusammenstellt, um ein zusammengestelltes Bild zu erzeugen, wobei die Anzeige das zusammengestellte Bild anstelle des virtuellen dreidimensionalen Bilds anzeigt.
  3. Fernbedienungsvorrichtung nach Anspruch 2, wobei: die Bildzusammenstellungseinheit Steuerinformationen des beweglichen Roboters zu dem zusammengestellten Bild hinzufügt.
  4. Fernbedienungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei: das virtuelle, dreidimensionale Bild ein Objekt des beweglichen Roboters und ein Objekt eines Werkstücks, das ein Arbeitsziel für den beweglichen Roboter ist, enthält.
  5. Fernbedienungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei: die Anzeige ein Head-Mounted Display umfasst, und die Blickwinkel-Angabeeinheit einen in dem Head-Mounted Display vorgesehenen Bewegungssensor enthält.
DE112020001675.7T 2019-03-29 2020-03-27 Fernbedienungsvorrichtung Active DE112020001675B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019067408 2019-03-29
JP2019-067408 2019-03-29
PCT/JP2020/014141 WO2020203819A1 (ja) 2019-03-29 2020-03-27 遠隔操作装置

Publications (2)

Publication Number Publication Date
DE112020001675T5 true DE112020001675T5 (de) 2021-12-30
DE112020001675B4 DE112020001675B4 (de) 2023-07-06

Family

ID=72668118

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020001675.7T Active DE112020001675B4 (de) 2019-03-29 2020-03-27 Fernbedienungsvorrichtung

Country Status (5)

Country Link
US (1) US20220214685A1 (de)
JP (1) JPWO2020203819A1 (de)
CN (1) CN113631325A (de)
DE (1) DE112020001675B4 (de)
WO (1) WO2020203819A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019067408A (ja) 2017-10-04 2019-04-25 株式会社ストラドビジョン イメージセグメンテーションのための学習方法及び学習装置、そしてこれを利用したイメージセグメンテーション方法及びイメージセグメンテーション装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09224267A (ja) * 1996-02-16 1997-08-26 Olympus Optical Co Ltd 立体映像作成装置及び立体映像表示装置並びにシステム
JP3201589B2 (ja) * 1997-05-22 2001-08-20 川崎重工業株式会社 注視機能を付加した遠隔視覚提示装置
JP2000042960A (ja) 1998-07-29 2000-02-15 Gifu Prefecture マニピュレータの遠隔操作装置
JP2008021092A (ja) * 2006-07-12 2008-01-31 Fanuc Ltd ロボットシステムのシミュレーション装置
CN101396829A (zh) * 2007-09-29 2009-04-01 株式会社Ihi 机器人装置的控制方法以及机器人装置
JP5246672B2 (ja) * 2011-02-17 2013-07-24 独立行政法人科学技術振興機構 ロボットシステム
DE102012009863B4 (de) 2012-05-21 2018-05-03 Baden-Württemberg Stiftung Ggmbh Fernsteuerung von Robotern
US10442025B2 (en) * 2014-10-22 2019-10-15 Illinois Tool Works Inc. Virtual reality controlled mobile robot
JP2016107379A (ja) 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
JP6653526B2 (ja) * 2015-04-21 2020-02-26 株式会社ミツトヨ 測定システムおよびユーザインタフェース装置
US10712566B2 (en) 2015-11-26 2020-07-14 Denso Wave Incorporated Information displaying system provided with head-mounted type display
JP6746902B2 (ja) * 2015-12-01 2020-08-26 株式会社デンソーウェーブ 作業者用頭部装着型ディスプレイの情報表示システム
US10322506B2 (en) * 2016-05-06 2019-06-18 Kindred Systems Inc. Systems, devices, articles, and methods for using trained robots
JP6499993B2 (ja) * 2016-05-18 2019-04-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
WO2018097223A1 (ja) * 2016-11-24 2018-05-31 国立大学法人京都大学 ロボット制御システム、機械制御システム、ロボット制御方法、機械制御方法、および記録媒体
DE102016224774B3 (de) 2016-12-13 2018-01-25 Audi Ag Verfahren zur Programmierung eines Messroboters und Programmiersystem
JP6795471B2 (ja) 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019067408A (ja) 2017-10-04 2019-04-25 株式会社ストラドビジョン イメージセグメンテーションのための学習方法及び学習装置、そしてこれを利用したイメージセグメンテーション方法及びイメージセグメンテーション装置

Also Published As

Publication number Publication date
US20220214685A1 (en) 2022-07-07
WO2020203819A1 (ja) 2020-10-08
CN113631325A (zh) 2021-11-09
DE112020001675B4 (de) 2023-07-06
JPWO2020203819A1 (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
DE102018213985B4 (de) Robotersystem
DE60127644T2 (de) Lehrvorrichtung für einen Roboter
EP1521211B1 (de) Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
DE102007033486B4 (de) Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
DE102013021917B4 (de) Robotersystemanzeigevorrichtung
DE102015015503A1 (de) Robotersystem, das eine mit erweiterter Realität kompatible Anzeige aufweist
DE102009012590A1 (de) Vorrichtung zum Ermitteln der Stellung eines Roboterarms mit Kamera zur Durchführung von Aufnahmen
DE102017128543B4 (de) Störbereich-einstellvorrichtung für einen mobilen roboter
DE102018112403B4 (de) Robotersystem, das informationen zur unterweisung eines roboters anzeigt
DE202008014481U1 (de) Tragbares Roboterkontrollgerät zum Kontrollieren einer Bewegung eines Roboters
DE102010032840A1 (de) Vorrichtung und Verfahren zum Messen der Position eines Werkzeugmittelpunktes eines Roboters
DE102013114372A1 (de) Laststand-anzeige für eine werkzeugmaschine
DE102018009023A1 (de) Einlernvorrichtung zum ausführen von robotereinlernvorgängen und einlernverfahren
DE102012216908B4 (de) Verfahren unter Verwendung einer Bildkorrelation zum Bestimmen von Positionsmessungen in einem Maschinenvisionssystem
DE102020110252B4 (de) Vibrationsanzeigeeinrichtung, Betriebsprogrammerstellungseinrichtung und System
DE102015000587A1 (de) Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
DE102013017007B4 (de) Roboter mit einem Endmanipulatorarm mit Endeffektor sowie Verfahren zur Bestimmung eines Kraft- und Drehmomenteintrages auf einen Endeffektor eines Roboters
DE102019002928A1 (de) Simulationsvorrichtung für Roboter
DE102019212452A1 (de) Interferenzvermeidungsvorrichtung und Robotersystem
DE102014117346A1 (de) Roboter, Robotersteuerungsverfahren und Robotersteuerungsprogramm
DE102010037067B4 (de) Robotersteuervorrichtung und Verfahren zum Teachen eines Roboters
DE202017003104U1 (de) Bilderkennungsfunktion unterstützendes Bewegungssteuermodul für Arbeitsmaschinen
DE112021003127T5 (de) Programmiervorrichtung
DE112020001675T5 (de) Fernbedienungsvorrichtung
DE102020121396A1 (de) Objektdetektionsvorrichtung und Objektdetektionscomputerprogramrn

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final