DE112021005346T5

DE112021005346T5 - Anzeigevorrichtung für erweiterte Realität und Anzeigesystem für erweiterte Realität

Info

Publication number: DE112021005346T5
Application number: DE112021005346.9T
Authority: DE
Inventors: Youhei Nakada; Takeshi Motodaka
Original assignee: Hitachi Ltd; Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2020-12-14
Filing date: 2021-12-07
Publication date: 2023-08-03
Also published as: US20240001555A1; CN116547115A; JPWO2022131068A1; WO2022131068A1

Abstract

Gemäß der vorliegenden Erfindung kann der Arbeitsbereich eines Roboters leicht überprüft werden. Diese Augmented-Reality-Anzeigevorrichtung umfasst: eine Kamera; eine Anzeigeeinheit; und eine Anzeigesteuereinheit, die auf der Anzeigeeinheit ein von der Kamera aufgenommenes Bild eines Roboters und ein Augmented-Reality-Bild des Arbeitsbereichs des Roboters anzeigt.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Anzeigevorrichtung für erweiterte Realität (augmented reality) und ein Anzeigesystem für erweiterte Realität.
STAND DER TECHNIK
Für den Fall, dass die Möglichkeit besteht, dass ein Bediener, der ein Sicherheitsüberwachungsziel ist, einen Bewegungsbereich eines Roboters betritt, ist eine Technologie bekannt, bei der der Bewegungsbereich des Roboters um den Bediener herum festgelegt wird, und wenn der Roboter den Bewegungsbereich betritt, werden Sicherheitsbewegungssteuerung, Not-Aus-Steuerung und ähnliches des Roboters durchgeführt. Siehe zum Beispiel Patentdokument 1.
Patentdokument 1: Ungeprüfte japanische Patentanmeldung, Veröffentlichung Nr. JP 2004-243427 A
OFFENBARUNG DER ERFINDUNG
Durch die Erfindung zu lösende Probleme
Da der Bediener den Bewegungsbereich des Roboters jedoch nicht visuell erkennen kann, kann es passieren, dass der Bediener fälschlicherweise in den Bewegungsbereich eintritt und den Roboter anhält. Dies senkt die Arbeitseffizienz des Roboters.
Daher ist es wünschenswert, den Bewegungsbereich des Roboters leicht überprüfen zu können.
Mittel zur Lösung der Probleme

(1) Ein Aspekt der vorliegenden Offenbarung ist eine Augmented-Reality-Anzeigevorrichtung, die Folgendes umfasst: eine Kamera; eine Anzeigeeinheit; und eine Anzeigesteuereinheit, die so konfiguriert ist, dass sie auf der Anzeigeeinheit ein Bild eines Roboters, das von der Kamera erfasst wurde, und ein Augmented-Reality-Bild eines Bewegungsbereichs des Roboters anzeigt.
(2) Ein Aspekt der vorliegenden Offenbarung ist ein Augmented-Reality-Anzeigesystem, das Folgendes umfasst: einen Roboter; und die Augmented-Reality-Anzeigevorrichtung gemäß (1).

Effekte der Erfindung
Ein Aspekt ist, dass der Bewegungsbereich des Roboters leicht überprüft werden kann.
Figurenliste

1 ist ein funktionales Blockdiagramm, das ein funktionales Konfigurationsbeispiel eines Augmented-Reality-Anzeigesystems gemäß einer Ausführungsform zeigt;
2A zeigt ein Beispiel für ein Bewegungsprogramm;
2B zeigt ein Beispiel für eine Liste von Zielpositionskoordinaten, die im Bewegungsprogramm eingelernt wurden;
3 zeigt ein Beispiel für die Anzeige eines Augmented-Reality-(AR) -Bildes eines Bewegungsbereichs eines Roboters;
4 zeigt ein Beispiel für die Anzeige eines AR-Bildes einer Bewegungstrajektorie bis zu den nächsten Zielpositionskoordinaten;
5 zeigt ein Beispiel für die Anzeige des AR-Bildes des Bewegungsbereichs des Roboters und des AR-Bildes der Bewegungstrajektorie bis zu den nächsten Zielpositionskoordinaten; und
6 ist ein Flussdiagramm, das die Anzeigeverarbeitung einer Augmented-Reality-Anzeigevorrichtung veranschaulicht.

BEVORZUGTER MODUS ZUR AUSFÜHRUNG DER ERFINDUNG
<Eine Ausführungsform>
Eine Ausführungsform wird nun unter Bezugnahme auf die Zeichnungen beschrieben.
1 ist ein funktionales Blockdiagramm, das ein Beispiel für die funktionale Konfiguration eines Augmented-Reality-Anzeigesystems gemäß der vorliegenden Ausführungsform zeigt.
Wie in 1 dargestellt, umfasst ein Augmented-Reality-Anzeigesystem 1 einen Roboter 10 und eine Augmented-Reality-Anzeigevorrichtung 20.
<Roboter 10>
Der Roboter 10 ist zum Beispiel ein Industrieroboter, wie er dem Fachmann bekannt ist. Der Roboter 10 treibt einen Servomotor (nicht gezeigt) an, der in jeder einer Vielzahl von Gelenkachsen (nicht gezeigt) angeordnet ist, die in dem Roboter 10 enthalten sind, basierend auf einem Antriebsbefehl von einer Robotersteuerungsvorrichtung (nicht gezeigt), wodurch ein bewegliches Element (nicht gezeigt) des Roboters 10 angetrieben wird.
< Augmented-Reality-Anzeigevorrichtung 20>
Die Augmented-Reality-Anzeigevorrichtung 20 ist beispielsweise ein Smartphone, ein Tablet, ein Augmented-Reality-Glas (AR), ein Mixed-Reality-Glas (MR) oder Ähnliches.
Wie in 1 gezeigt, enthält die Augmented-Reality-Anzeigevorrichtung 20 gemäß der vorliegenden Ausführungsform eine Steuereinheit 21, eine Kamera 22, eine Eingabeeinheit 23, eine Anzeigeeinheit 24, eine Speichereinheit 25 und eine Kommunikationseinheit 26. Die Steuereinheit 21 enthält eine Koordinatenerfassungseinheit 211, eine Informationserfassungseinheit 212, eine Abstandsberechnungseinheit 213, eine AR-Bilderzeugungseinheit 214 und eine Anzeigesteuereinheit 215.
Bei der Kamera 22 handelt es sich beispielsweise um eine Digitalkamera oder ähnliches, die ein Bild des Roboters 10 auf Basis einer Bedienung durch einen Benutzer aufnimmt und zweidimensionale Bilddaten erzeugt, die auf eine Ebene projiziert werden, die senkrecht zur optischen Achse der Kamera 22 verläuft. Bei den von der Kamera 22 erzeugten Bilddaten kann es sich um ein Bild mit sichtbarem Licht wie ein RGB-Farbbild handeln.
Die Eingabeeinheit 23 ist z.B. ein Touchpanel (nicht gezeigt) oder ähnliches, das auf der später beschriebenen Anzeigeeinheit 24 angeordnet ist, und empfängt eine Eingabeoperation von einem Bediener, der ein Benutzer ist.
Die Anzeigeeinheit 24 ist zum Beispiel eine Flüssigkristallanzeige (LCD) oder ähnliches. Die Anzeigeeinheit 24 zeigt ein von der Kamera 22 aufgenommenes Bild des Roboters 10 und ein Augmented-Reality-Bild (AR-Bild) eines Bewegungsbereichs des Roboters 10 an, das von einer Robotersteuerungsvorrichtung (nicht dargestellt) durch die später beschriebene Informationserfassungseinheit 212 über die später beschriebene Kommunikationseinheit 26 auf Basis eines Steuerbefehls der später beschriebenen Anzeigesteuereinheit 215 erfasst wurde.
Die Speichereinheit 25 ist beispielsweise ein ROM (Festwertspeicher), ein HDD (Festplattenlaufwerk) oder ähnliches und speichert beispielsweise ein Systemprogramm und ein Augmented-Reality-Anzeige-Anwendungsprogramm, die von der später beschriebenen Steuereinheit 21 ausgeführt werden. Die Speichereinheit 25 kann dreidimensionale Erkennungsmodelldaten 251 speichern.
Im Hinblick auf die dreidimensionalen Erkennungsmodelldaten 251 werden beispielsweise die Haltung und die Ausrichtung des Roboters 10 vorher geändert, und Merkmalsgrößen wie Kantengrößen, die aus einer Vielzahl von Bildern des Roboters 10, die von der Kamera 22 in verschiedenen Abständen und Winkeln (Neigungen) aufgenommen wurden, extrahiert wurden, werden als dreidimensionale Erkennungsmodelle gespeichert. In Bezug auf die dreidimensionalen Erkennungsmodelldaten 251 können die dreidimensionalen Koordinaten des Ursprungs (im Folgenden auch als „Roboterursprung“ bezeichnet) des Roboterkoordinatensystems des Roboters 10 im Weltkoordinatensystem, wenn ein Bild jedes dreidimensionalen Erkennungsmodells aufgenommen wird, und Informationen, die die Richtungen der X-Achse, der Y-Achse und der Z-Achse des Roboterkoordinatensystems im Weltkoordinatensystem zu diesem Zeitpunkt angeben, in Verbindung mit dem entsprechenden dreidimensionalen Erkennungsmodell gespeichert werden.
Der Ursprung und die Richtungen der X-Achse, der Y-Achse und der Z-Achse des Weltkoordinatensystems sind so definiert, dass sie mit der Position der Augmented-Reality-Anzeigevorrichtung 20 übereinstimmen, wenn die Augmented-Reality-Anzeigevorrichtung 20 das oben beschriebene Augmented-Reality-Anzeigeanwendungsprogramm ausführt, d.h. der Ursprung und die Richtungen der X-Achse, der Y-Achse und der Z-Achse des Kamerakoordinatensystems der Kamera 22. Wenn sich die Augmented-Reality-Anzeigevorrichtung 20 (Kamera 22) nach der Ausführung des Augmented-Reality-Anzeigeanwendungsprogramms bewegt, bewegt sich der Ursprung im Kamerakoordinatensystem vom Ursprung im Weltkoordinatensystem weg.
Die Kommunikationseinheit 26 ist eine Kommunikationssteuerungsvorrichtung, die Daten an ein Netzwerk wie ein drahtloses LAN (lokales Netzwerk), Wi-Fi (eingetragenes Warenzeichen) und ein Mobiltelefonnetzwerk, das Standards wie 4G und 5G entspricht, sendet und empfängt. Die Kommunikationseinheit 26 kann mit einer Robotersteuerungsvorrichtung (nicht dargestellt) zur Steuerung der Bewegung des Roboters 10 als externer Vorrichtung kommunizieren.
<Steuereinheit 21>
Die Steuereinheit 21 umfasst eine CPU (Zentraleinheit), ROM, RAM, CMOS (Komplementär-Metalloxid-Halbleiter)-Speicher und dergleichen, die so konfiguriert sind, dass sie über einen Bus miteinander kommunizieren, und die dem Fachmann bekannt sind.
Die CPU ist ein Prozessor, der die gesamte Augmented-Reality-Anzeigevorrichtung 20 steuert. Die CPU liest das Systemprogramm und das Augmented-Reality-Display-Anwendungsprogramm, die im ROM gespeichert sind, über den Bus und steuert die gesamte Augmented-Reality-Anzeigevorrichtung 20 in Übereinstimmung mit dem Systemprogramm und dem Augmented-Reality-Display-Anwendungsprogramm. Dabei ist die Steuereinheit 21, wie in 1 gezeigt, so konfiguriert, dass sie die Funktionen der Koordinatenerfassungseinheit 211, der Informationserfassungseinheit 212, der Abstandsberechnungseinheit 213, der AR-Bilderzeugungseinheit 214 und der Anzeigesteuereinheit 215 realisiert. Das RAM speichert eine Vielzahl von Daten wie temporäre Berechnungsdaten und Anzeigedaten. Der CMOS-Speicher wird von einer Batterie (nicht dargestellt) abgesichert und ist als nichtflüchtiger Speicher konfiguriert, in dem ein Speicherzustand auch dann beibehalten wird, wenn die Augmented-Reality-Anzeigevorrichtung 20 ausgeschaltet wird.
<Koordinatenerfassungseinheit 211>
Die Koordinatenerfassungseinheit 211 erfasst z.B. die dreidimensionalen Koordinaten des Roboterursprungs im Weltkoordinatensystem auf Basis eines von der Kamera 22 aufgenommenen Bildes des Roboters 10.
Konkret extrahiert die Koordinatenerfassungseinheit 211 Merkmalsgrößen, wie z.B. Kantengrößen, aus einem von der Kamera 22 aufgenommenen Bild des Roboters 10, indem sie z.B. ein bekanntes Verfahren zur dreidimensionalen Roboterkoordinatenerkennung (z.B.
https://linx.jp/product/mvtec/halcon/feature/3d_vision.html) verwendet. Die Koordinatenerfassungseinheit 211 führt einen Abgleich zwischen den extrahierten Merkmalsgrößen und den Merkmalsgrößen der dreidimensionalen Erkennungsmodelle durch, die in den dreidimensionalen Erkennungsmodelldaten 251 gespeichert sind. Die Koordinatenerfassungseinheit 211 erfasst beispielsweise die dreidimensionalen Koordinaten des Roboterursprungs und Informationen, die die Richtungen der X-Achse, der Y-Achse und der Z-Achse der Roboterkoordinaten des dreidimensionalen Erkennungsmodells mit dem höchsten Übereinstimmungsgrad auf Basis der Übereinstimmungsergebnisse angeben.
Die Koordinatenerfassungseinheit 211 erfasst die dreidimensionalen Koordinaten des Roboterursprungs und Informationen, die die Richtungen der X-Achse, der Y-Achse und der Z-Achse der Roboterkoordinaten im Weltkoordinatensystem angeben, indem sie die dreidimensionale Roboterkoordinatenerkennungsmethode verwendet, aber die vorliegende Erfindung ist darauf nicht beschränkt. Beispielsweise kann die Koordinatenerfassungseinheit 211 eine Markierung wie ein Schachbrett an dem Roboter 10 anbringen und die dreidimensionalen Koordinaten des Roboterursprungs und Informationen, die die Richtungen der X-Achse, der Y-Achse und der Z-Achse der Roboterkoordinaten in dem Weltkoordinatensystem angeben, aus einem Bild der Markierung erfassen, das von der Kamera 22 auf Basis einer bekannten Markierungserkennungstechnologie aufgenommen wurde.
Alternativ kann ein Innenraum-Positionierungsgerät, wie z.B. ein Ultrabreitband (UWB), am Roboter 10 angebracht werden, und die Koordinatenerfassungseinheit 211 kann die dreidimensionalen Koordinaten des Roboterursprungs und Informationen über die Richtungen der X-Achse, der Y-Achse und der Z-Achse der Roboterkoordinaten im Weltkoordinatensystem von dem Innenraum-Positionierungsgerät erfassen.
<Informationserfassungseinheit 212>
Die Informationserfassungseinheit 212 erfasst beispielsweise die dreidimensionalen Koordinaten (im Folgenden auch als „dreidimensionale Koordinaten der Kamera 22“ bezeichnet) des Ursprungs des Kamerakoordinatensystems der Kamera 22 im Weltkoordinatensystem auf Basis eines Signals von einem (nicht dargestellten) Sensor wie einem GPS-Sensor oder einem elektronischen Kreisel, der in der Augmented-Reality-Anzeigevorrichtung 20 enthalten ist.
Die Informationserfassungseinheit 212 kann die Robotersteuerungsvorrichtung (nicht gezeigt) über die Kommunikationseinheit 26 abfragen und kann Einstellungsinformationen, die einen Bewegungsbereich des Roboters 10 anzeigen, von der Robotersteuerungsvorrichtung (nicht gezeigt) erhalten. Der Bewegungsbereich des Roboters 10 ist ein Bereich, durch den ein Teil des Roboters 10 und der gesamte Roboter 10 hindurchfahren kann, und ist im Voraus im Roboterkoordinatensystem definiert. Daher wandelt die später beschriebene AR-Bilderzeugungseinheit 214 die Einstellungsinformationen des Bewegungsbereichs des Roboters 10 in das Weltkoordinatensystem um, basierend auf den dreidimensionalen Koordinaten des Roboterursprungs und den Richtungen der X-Achse, der Y-Achse und der Z-Achse der Roboterkoordinaten im Weltkoordinatensystem.
Die Informationserfassungseinheit 212 kann die Einstellungsinformationen für den Bewegungsbereich des Roboters 10 in Übereinstimmung mit einer Eingabeoperation des Bedieners über die Eingabeeinheit 23 erfassen.
Die Informationserfassungseinheit 212 kann über die Kommunikationseinheit 26 die Robotersteuerungsvorrichtung (nicht dargestellt) abfragen und von der Robotersteuerungsvorrichtung (nicht dargestellt) zumindest die nächsten Zielpositionskoordinaten erfassen, die in einem auszuführenden Bewegungsprogramm eingelernt wurden.
2A zeigt ein Beispiel für ein Bewegungsprogramm. 2B zeigt ein Beispiel für eine Liste von Zielpositionskoordinaten, die im Bewegungsprogramm eingelernt wurden.
Wenn zum Beispiel die Informationserfassungseinheit 212 die Robotersteuerungsvorrichtung (nicht gezeigt) nach den nächsten Zielpositionskoordinaten fragt, falls der Block „MOVE P2“ des Programms in 2A ausgeführt wird, liest die Robotersteuerungsvorrichtung (nicht gezeigt) die Koordinaten der Zielposition P3 des nächsten Blocks „MOVE P3“ aus der Liste von 2B
Dadurch übernimmt die Informationserfassungseinheit 212 die Koordinaten einer Zielposition P3 als nächste Zielpositionskoordinaten von der Robotersteuerungseinrichtung (nicht gezeigt).
Die Koordinaten der Zielpositionen P1 bis P4 in 2B umfassen Komponenten der X-Koordinate, der Y-Koordinate, der Z-Koordinate, des Drehwinkels R um die X-Achse, des Drehwinkels P um die Y-Achse und des Drehwinkels W um die Z-Achse im Roboterkoordinatensystem.
<Abstandsberechnungseinheit 213>
Die Abstandsberechnungseinheit 213 berechnet den Abstand zwischen dem Roboter 10 und der Augmented-Reality-Anzeigevorrichtung 20 auf Basis der von der Koordinatenerfassungseinheit 211 erfassten dreidimensionalen Koordinaten des Roboterursprungs im Weltkoordinatensystem und der von der Informationserfassungseinheit 212 erfassten dreidimensionalen Koordinaten der Kamera 22 im Weltkoordinatensystem.
<AR-Bilderzeugungseinheit 214>
Die AR-Bilderzeugungseinheit 214 erzeugt beispielsweise sequentiell ein AR-Bild eines Bewegungsbereichs des Roboters 10 und ein AR-Bild einer Bewegungstrajektorie bis zu den nächsten Zielpositionskoordinaten auf Basis der dreidimensionalen Koordinaten des Roboterursprungs des Roboters 10, der Richtungen der X-Achse, Y-Achse und Z-Achse der Roboterkoordinaten, der dreidimensionalen Koordinaten der Kamera 22, der Einstellungsinformationen, die den Bewegungsbereich des Roboters 10 angeben, und der nächsten Zielpositionskoordinaten des Roboters 10.
Spezifisch wandelt die AR-Bilderzeugungseinheit 214 beispielsweise die Einstellinformationen des Bewegungsbereichs des Roboters 10 aus dem Roboterkoordinatensystem in das Weltkoordinatensystem um, basierend auf den dreidimensionalen Koordinaten des Roboterursprungs des Roboters 10 und den Richtungen der X-Achse, der Y-Achse und der Z-Achse der Roboterkoordinaten im Weltkoordinatensystem, und erzeugt ein AR-Bild des Bewegungsbereichs des Roboters 10.
Weiterhin rechnet die AR-Bilderzeugungseinheit 214 beispielsweise die nächsten Zielpositionskoordinaten des Roboters 10 aus dem Roboterkoordinatensystem in das Weltkoordinatensystem um, basierend auf den dreidimensionalen Koordinaten des Roboterursprungs des Roboters 10 und den Richtungen der X-Achse, der Y-Achse und der Z-Achse der Roboterkoordinaten im Weltkoordinatensystem, und erzeugt ein AR-Bild einer Bewegungstrajektorie bis zu den nächsten Zielpositionskoordinaten des Roboters 10.
< Anzeigesteuereinheit 215>
Die Anzeigesteuereinheit 215 zeigt beispielsweise auf der Anzeigeeinheit 24 ein von der Kamera 22 aufgenommenes Bild des Roboters 10 und ein von der AR-Bilderzeugungseinheit 214 erzeugtes AR-Bild eines Bewegungsbereichs des Roboters 10 an.
3 zeigt ein Beispiel für die Anzeige eines AR-Bildes eines Bewegungsbereichs des Roboters 10.
Wie in 3 gezeigt, passt die Anzeigesteuereinheit 215 beispielsweise die Position und die Haltung in dem von der AR-Bilderzeugungseinheit 214 erzeugten AR-Bild in Bezug auf den Roboterursprung in dem von der Informationserfassungseinheit 212 erfassten Weltkoordinatensystem an, und überlagert das von der Kamera 22 aufgenommene Bild des Roboters 10 dem AR-Bild des Bewegungsbereichs des Roboters 10 und zeigt das überlagerte Bild an.
Die Anzeigesteuereinheit 215 kann die Anzeigeform des AR-Bildes des Bewegungsbereichs des Roboters 10 basierend auf dem von der Abstandsberechnungseinheit 213 berechneten Abstand zwischen dem Roboter 10 und der Augmented-Reality-Anzeigevorrichtung 20 ändern. Zum Beispiel kann die Anzeigesteuereinheit 215 in einem Fall, in dem ein Abstand α, der vom Roboter 10 entfernt ist und ein sicherer Abstand ist, und ein Abstand β (β < α), der nahe am Roboter 10 ist und ein risikoreicher Abstand ist, im Voraus vom Benutzer wie dem Bediener festgelegt werden, das AR-Bild des Bewegungsbereichs des Roboters 10 in Blau anzeigen, um anzuzeigen, dass es sicher ist, wenn der Abstand zwischen dem Roboter 10 und der Augmented-Reality-Anzeigevorrichtung 20 größer oder gleich dem Abstand α ist. Wenn der Abstand zwischen dem Roboter 10 und der Augmented-Reality-Anzeigevorrichtung 20 größer oder gleich dem Abstand β und kleiner als der Abstand α ist, kann die Anzeigesteuereinheit 215 das AR-Bild des Bewegungsbereichs des Roboters 10 in Gelb anzeigen, um darauf hinzuweisen, dass sich der Roboter 10 in der Nähe der Augmented-Reality-Anzeigevorrichtung 20 befindet. Wenn der Abstand zwischen dem Roboter 10 und der Augmented-Reality-Anzeigevorrichtung 20 kleiner als der Abstand β ist, kann die Anzeigesteuereinheit 215 das AR-Bild des Bewegungsbereichs des Roboters 10 in Rot anzeigen, um darauf hinzuweisen, dass sich die Augmented-Reality-Anzeigevorrichtung 20 in der Nähe des Roboters 10 befindet und es riskant ist.
Dadurch kann verhindert werden, dass der Bediener versehentlich in den Bewegungsbereich des Roboters 10 gelangt.
Die Anzeigesteuereinheit 215 kann beispielsweise das von der Kamera 22 aufgenommene Bild des Roboters 10 mit dem von der AR-Bilderzeugungseinheit 214 erzeugten AR-Bild der Bewegungstrajektorie bis zu den nächsten Zielpositionskoordinaten überlagern und das überlagerte Bild auf der Anzeigeeinheit 24 anzeigen.
4 zeigt ein Beispiel für die Anzeige des AR-Bildes der Bewegungstrajektorie bis zu den nächsten Zielpositionskoordinaten.
Wie in 4 gezeigt, zeigt die Anzeigesteuereinheit 215 die aktuelle Zielposition P2 und die nächste Zielposition P3 des Roboters 10 an. Dadurch kann der Bediener die nächste Bewegung des Roboters 10 vorhersagen und eine Kollision mit dem Roboter 10 vermeiden.
Die Anzeigesteuereinheit 215 kann auch die Koordinaten der vergangenen Zielposition P1 anzeigen. In diesem Fall werden die Koordinaten der Zielposition P1 vorzugsweise in einer anderen Farbe oder Form angezeigt als die Koordinaten der Zielpositionen P2 und P3.
Die Anzeigesteuereinheit 215 kann zum Beispiel das von der Kamera 22 aufgenommene Bild des Roboters 10, das von der AR-Bilderzeugungseinheit 214 erzeugte AR-Bild des Bewegungsbereichs des Roboters 10 und das AR-Bild der Bewegungstrajektorie bis zu den nächsten Zielpositionskoordinaten überlagern und das überlagerte Bild auf der Anzeigeeinheit 24 anzeigen.
5 zeigt ein Beispiel für die Darstellung des AR-Bildes des Bewegungsbereichs des Roboters 10 und des AR-Bildes der Bewegungstrajektorie bis zu den nächsten Zielpositionskoordinaten.
<Anzeigeverarbeitung von Augmented-Reality-Anzeigevorrichtung 20>
Als Nächstes werden Vorgänge im Zusammenhang mit der Anzeigeverarbeitung der Augmented-Reality-Anzeigevorrichtung 20 gemäß der Ausführungsform beschrieben.
6 ist ein Flussdiagramm, das die Anzeigeverarbeitung der Augmented-Reality-Anzeigevorrichtung 20 zeigt. Der hier gezeigte Ablauf wird wiederholt ausgeführt, während die Anzeigeverarbeitung durchgeführt wird.
In Schritt S1 nimmt die Kamera 22 ein Bild des Roboters 10 auf Basis einer Anweisung des Bedieners über die Eingabeeinheit 23 auf.
In Schritt S2 erfasst die Koordinatenerfassungseinheit 211 Informationen, die die dreidimensionalen Koordinaten des Roboterursprungs im Weltkoordinatensystem angeben, und Informationen, die die Richtungen der X-Achse, der Y-Achse und der Z-Achse der Roboterkoordinaten im Weltkoordinatensystem angeben, basierend auf dem in Schritt S1 erfassten Bild des Roboters 10 und den dreidimensionalen Erkennungsmodelldaten 251.
In Schritt S3 erfasst die Informationserfassungseinheit 212 die dreidimensionalen Koordinaten der Kamera 22 im Weltkoordinatensystem.
In Schritt S4 fragt die Informationserfassungseinheit 212 die Robotersteuerungsvorrichtung (nicht gezeigt) über die Kommunikationseinheit 26 ab und erhält von der Robotersteuerungsvorrichtung (nicht gezeigt) die Einstellungsinformationen des Bewegungsbereichs des Roboters 10.
In Schritt S5 fragt die Informationserfassungseinheit 212 die Robotersteuerungsvorrichtung (nicht dargestellt) über die Kommunikationseinheit 26 ab und erfasst von der Robotersteuerungsvorrichtung (nicht dargestellt) zumindest die nächsten Zielpositionskoordinaten, die in dem auszuführenden Bewegungsprogramm eingelernt wurden.
In Schritt S6 berechnet die Abstandsberechnungseinheit 213 den Abstand zwischen dem Roboter 10 und der Augmented-Reality-Anzeigevorrichtung 20 auf Basis der in Schritt S2 erfassten dreidimensionalen Koordinaten des Roboterursprungs in dem Weltkoordinatensystem und der in Schritt S3 erfassten dreidimensionalen Koordinaten der Kamera 22 in dem Weltkoordinatensystem.
In Schritt S7 erzeugt die AR-Bilderzeugungseinheit 214 ein AR-Bild des Bewegungsbereichs des Roboters 10 und ein AR-Bild der Bewegungstrajektorie bis zu den nächsten Zielpositionskoordinaten auf Basis der dreidimensionalen Koordinaten des Roboterursprungs des Roboters 10, der Richtungen der X-Achse, der Y-Achse und der Z-Achse der Roboterkoordinaten, der dreidimensionalen Koordinaten der Kamera 22, der Einstellungsinformationen, die den Bewegungsbereich des Roboters 10 angeben, und der nächsten Zielpositionskoordinaten des Roboters 10.
In Schritt S8 zeigt die Anzeigesteuereinheit 215 auf der Anzeigeeinheit 24 das in Schritt S1 aufgenommene Bild des Roboters 10, das in Schritt S7 erzeugte AR-Bild des Bewegungsbereichs des Roboters 10 und das AR-Bild der Bewegungstrajektorie bis zu den nächsten Zielpositionskoordinaten an.
Die Verarbeitung der Schritte S2 bis S5 kann chronologisch nacheinander oder auch parallel erfolgen.
Wie oben beschrieben, kann gemäß der Augmented-Reality-Anzeigevorrichtung 20 der Ausführungsform der Bewegungsbereich des Roboters 10 leicht überprüft werden, indem der Bewegungsbereich des Roboters 10 durch eine Augmented-Reality-Anzeige visualisiert wird. Infolgedessen kann die Augmented-Reality-Anzeigevorrichtung 20 den Bediener daran hindern, versehentlich in den Bewegungsbereich einzudringen, und kann die Arbeitssicherheit verbessern und gleichzeitig eine hohe Arbeitseffizienz gewährleisten.
Obwohl eine Ausführungsform oben beschrieben wurde, ist die vorliegende Erfindung nicht auf die oben beschriebene Ausführungsform beschränkt und umfasst Änderungen, Verbesserungen und dergleichen im Rahmen der Erreichung des Ziels.
<Modifikation 1>
In der oben beschriebenen Ausführungsform zeigt die Augmented-Reality-Anzeigevorrichtung 20 das AR-Bild des Bewegungsbereichs des Roboters 10 so an, dass sich die Farbe in Abhängigkeit von der Entfernung zum Roboter 10 ändert, aber die vorliegende Erfindung ist darauf nicht beschränkt. Zum Beispiel kann die Augmented-Reality-Anzeigevorrichtung 20 auf der Anzeigeeinheit 24 das AR-Bild des Bewegungsbereichs des Roboters 10 und eine Meldung wie „Annäherung an den Bewegungsbereich des Roboters“ in Abhängigkeit von der Entfernung vom Roboter 10 anzeigen.
Alternativ kann die Augmented-Reality-Anzeigevorrichtung 20 das AR-Bild des Bewegungsbereichs des Roboters 10 auf der Anzeigeeinheit 24 anzeigen und eine Meldung wie „Annäherung an den Bewegungsbereich des Roboters“ oder einen Alarmton aus einem Lautsprecher (nicht dargestellt) ausgeben, der in der Augmented-Reality-Anzeigevorrichtung 20 enthalten ist, abhängig von der Entfernung zum Roboter 10.
<Modifikation 2>
In der oben beschriebenen Ausführungsform assoziiert die Augmented-Reality-Anzeigevorrichtung 20 beispielsweise die dreidimensionalen Koordinaten der Kamera 22 mit dem Weltkoordinatensystem, wenn das Augmented-Reality-Anzeigeanwendungsprogramm ausgeführt wird, aber die vorliegende Erfindung ist darauf nicht beschränkt. Beispielsweise kann die Augmented-Reality-Anzeigevorrichtung 20 die dreidimensionalen Koordinaten der Kamera 22 im Weltkoordinatensystem unter Verwendung eines bekannten Eigenpositions-Schätzverfahrens erhalten.
<Modifikation 3>
In der oben beschriebenen Ausführungsform erfasst die Augmented-Reality-Anzeigevorrichtung 20 beispielsweise die nächsten Zielpositionskoordinaten aus der Robotersteuerungsvorrichtung (nicht gezeigt), kann aber auch alle Zielpositionskoordinaten erfassen.
Jede Funktion, die in der Augmented-Reality-Anzeigevorrichtung 20 gemäß der Ausführungsform enthalten ist, kann durch Hardware, Software oder eine Kombination aus diesen realisiert werden. Hier bedeutet „durch Software realisiert“, dass sie durch einen Computer realisiert wird, der ein Programm liest und ausführt.
Das Programm kann auf verschiedenen Arten von nichtübertragbaren, computerlesbaren Medien gespeichert und dem Computer bereitgestellt werden. Zu den nicht-transitorischen computerlesbaren Medien gehören verschiedene Arten von materiellen Speichermedien. Beispiele für nicht transitorische computerlesbare Medien sind magnetische Aufzeichnungsmedien (z.B. flexible Platten, Magnetbänder und Festplattenlaufwerke), magneto-optische Aufzeichnungsmedien (z.B. magneto-optische Platten), CD-ROMs (Nur-Lese-Speicher), CD-Rs, CD-R/Ws, Halbleiterspeicher (z.B. Mask-ROMs, PROMs (programmierbare ROMs), EPROMs (löschbare PROMs), Flash-ROMs und RAMs). Das Programm kann dem Computer mit verschiedenen Arten von transitorischen computerlesbaren Medien zur Verfügung gestellt werden. Beispiele für transitorische computerlesbare Medien sind elektrische Signale, optische Signale und elektromagnetische Wellen. Die transitorischen computerlesbaren Medien können dem Computer das Programm über einen verdrahteten Kommunikationspfad, wie z.B. ein elektrisches Kabel oder ein optischer Leiter, oder einen drahtlosen Kommunikationspfad zuführen.
Es ist zu beachten, dass der Schritt der Beschreibung des auf dem Aufzeichnungsmedium aufgezeichneten Programms nicht nur die chronologisch nacheinander durchgeführten Verarbeitungen umfasst, sondern auch die parallel oder einzeln durchgeführten Verarbeitungen, ohne dass diese notwendigerweise chronologisch durchgeführt werden.
Mit anderen Worten können die Augmented-Reality-Anzeigevorrichtung und das Augmented-Reality-Anzeigesystem der vorliegenden Offenbarung verschiedene Ausführungsformen mit den folgenden Merkmalen annehmen.

(1) Eine Augmented-Reality-Anzeigevorrichtung 20 der vorliegenden Offenbarung ist eine Augmented-Reality-Anzeigevorrichtung mit einer Kamera 22, einer Anzeigeeinheit 24 und einer Anzeigesteuereinheit 215, die so konfiguriert ist, dass sie auf der Anzeigeeinheit 24 ein Bild eines Roboters 10, das von der Kamera 22 aufgenommen wurde, und ein Augmented-Reality-Bild eines Bewegungsbereichs des Roboters 10 anzeigt. Gemäß der Augmented-Reality-Anzeigevorrichtung 20 kann der Bewegungsbereich des Roboters leicht überprüft werden.
(2) Die Augmented-Reality-Anzeigevorrichtung 20 gemäß (1) kann eine Koordinatenerfassungseinheit 211 enthalten, die so konfiguriert ist, dass sie dreidimensionale Koordinaten eines Roboterursprungs auf Basis des von der Kamera 22 erfassten Bildes des Roboters 10 erfasst, und die Anzeigesteuereinheit 215 kann das Augmented-Reality-Bild des Bewegungsbereichs des Roboters auf dem Bild des Roboters in Bezug auf den erfassten Roboterursprung anordnen und das Bild auf der Anzeigeeinheit 24 anzeigen.

So kann die Augmented-Reality-Anzeigevorrichtung 20 den tatsächlichen Bewegungsbereich des Roboters 10 mit dem Bewegungsbereich des AR-Bildes verknüpfen.

(3) Die Augmented-Reality-Anzeigevorrichtung 20 gemäß (1) oder (2) kann eine Informationserfassungseinheit 212, die dreidimensionale Koordinaten der Kamera 22 erfasst, und eine Abstandsberechnungseinheit 213, die einen Abstand zwischen dem Roboter 10 und der Augmented-Reality-Anzeigevorrichtung 20 auf Basis der dreidimensionalen Koordinaten des Roboterursprungs und der dreidimensionalen Koordinaten der Kamera 22 berechnet, umfassen, und die Anzeigesteuereinheit 215 kann so konfiguriert sein, dass sie eine Anzeigeform des Bewegungsbereichs des Roboters entsprechend dem berechneten Abstand ändert.

So kann die Augmented-Reality-Anzeigevorrichtung 20 verhindern, dass der Bediener versehentlich in den Bewegungsbereich des Roboters 10 gelangt.

(4) Die Augmented-Reality-Anzeigevorrichtung 20 gemäß (3) kann eine Kommunikationseinheit 26 enthalten, die mit einer externen Vorrichtung kommuniziert, und die Informationserfassungseinheit 212 kann Einstellungsinformationen, die den Bewegungsbereich des Roboters 10 anzeigen, aus einer Robotersteuerungsvorrichtung erfassen.

Auf diese Weise kann die Augmented-Reality-Anzeigevorrichtung 20 genaue Einstellungsinformationen über den Bewegungsbereich des Roboters 10 erfassen.

(5) Die Augmented-Reality-Anzeigevorrichtung 20 gemäß (3) oder (4) kann eine Eingabeeinheit 23 enthalten, die eine Eingabe von einem Benutzer empfängt, und die Informationserfassungseinheit 212 kann Einstellungsinformationen, die den Bewegungsbereich des Roboters 10 anzeigen, von dem Benutzer über die Eingabeeinheit 23 erfassen.

Auf diese Weise kann die Augmented-Reality-Anzeigevorrichtung 20 beliebige, vom Benutzer gewünschte Einstellungsinformationen des Bewegungsbereichs des Roboters 10 erfassen.

(6) In der Augmented-Reality-Anzeigevorrichtung 20 gemäß einem der Punkte (3) bis (5) kann die Informationserfassungseinheit 212 zumindest die nächsten Zielpositionskoordinaten des Roboters 10 erfassen, und die Anzeigesteuereinheit 215 kann auf der Anzeigeeinheit 24 ein Augmented-Reality-Bild einer Bewegungstrajektorie bis zu den nächsten Zielpositionskoordinaten zusammen mit dem Augmented-Reality-Bild des Bewegungsbereichs des Roboters 10 anzeigen.

So kann die Augmented-Reality-Anzeigevorrichtung 20 die nächste Bewegung des Roboters 10 vorhersagen, wodurch eine Kollision zwischen dem Roboter 10 und dem Bediener vermieden werden kann.

(7) Ein Augmented-Reality-Anzeigesystem 1 der vorliegenden Offenbarung ist ein Augmented-Reality-Anzeigesystem, das einen Roboter 10 und die Augmented-Reality-Anzeigevorrichtung 20 gemäß einem der Punkte (1) bis (6) umfasst.

Mit dem Augmented-Reality-Anzeigesystem 1 können die gleichen Effekte erzielt werden wie mit den ersten bis sechsten Aspekten.
Bezugszeichenliste

1: Augmented-Reality-Anzeigesystem
10: Roboter
20: Augmented-Reality-Anzeigevorrichtung
21: Steuereinheit
211: Koordinatenerfassungseinheit
212: Informationserfassungseinheit
213: Abstandsberechnungseinheit
214: AR-Bilderzeugungseinheit
215: Anzeigesteuereinheit
22: Kamera
23: Eingabeeinheit
24: Anzeigeeinheit
25: Speichereinheit
251: Dreidimensionale Erkennungsmodelldaten
26: Kommunikationseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2004243427 A [0003]

Claims

Augmented-Reality-Anzeigevorrichtung, umfassend: eine Kamera; eine Anzeigeeinheit; und eine Anzeigesteuereinheit, die so konfiguriert ist, dass sie auf der Anzeigeeinheit ein von der Kamera aufgenommenes Bild eines Roboters und ein Augmented-Reality-Bild eines Bewegungsbereichs des Roboters anzeigt.
Augmented-Reality-Anzeigevorrichtung gemäß Anspruch 1, umfassend eine Koordinatenerfassungseinheit, die so konfiguriert ist, dass sie dreidimensionale Koordinaten eines Roboterursprungs basierend auf dem von der Kamera erfassten Bild des Roboters erfasst, wobei die Anzeigesteuereinheit das Augmented-Reality-Bild des Bewegungsbereichs des Roboters auf dem Bild des Roboters in Bezug auf den erfassten Roboterursprung anordnet und das Bild auf der Anzeigeeinheit anzeigt.
Augmented-Reality-Anzeigevorrichtung gemäß Anspruch 2, umfassend: eine Informationserfassungseinheit, die so konfiguriert ist, dass sie dreidimensionale Koordinaten der Kamera erfasst; und eine Entfernungsberechnungseinheit, die so konfiguriert ist, dass sie eine Entfernung zwischen dem Roboter und der Augmented-Reality-Anzeigevorrichtung auf Basis der dreidimensionalen Koordinaten des Roboterursprungs und der dreidimensionalen Koordinaten der Kamera berechnet, wobei die Anzeigesteuereinheit eine Anzeigeform des Bewegungsbereichs des Roboters entsprechend dem berechneten Abstand ändert.
Augmented-Reality-Anzeigevorrichtung gemäß Anspruch 3, umfassend eine Kommunikationseinheit, die für das Kommunizieren mit einer externen Vorrichtung konfiguriert ist, wobei die Informationserfassungseinheit Einstellungsinformationen, die den Bewegungsbereich des Roboters anzeigen, von der externen Vorrichtung erwirbt.
Augmented-Reality-Anzeigevorrichtung gemäß Anspruch 3 oder 4, umfassend eine Eingabeeinheit, die so konfiguriert ist, dass sie eine Eingabe von einem Benutzer empfängt, wobei die Informationserfassungseinheit Einstellungsinformationen, die den Bewegungsbereich des Roboters angeben, vom Benutzer über die Eingabeeinheit erfasst.
Augmented-Reality-Anzeigevorrichtung gemäß einem der Ansprüche 3 bis 5, wobei die Informationserfassungseinheit zumindest die nächsten Zielpositionskoordinaten des Roboters erfasst, und wobei die Anzeigesteuereinheit auf der Anzeigeeinheit ein Augmented-Reality-Bild einer Bewegungstrajektorie bis zu den nächsten Zielpositionskoordinaten zusammen mit dem Augmented-Reality-Bild des Bewegungsbereichs des Roboters anzeigt.
Augmented-Reality-Anzeigesystem, umfassend: einen Roboter; und die Augmented-Reality-Anzeigevorrichtung gemäß einem der Ansprüche 1 bis 6.