DE102020131815A1 - Anzeigevorrichtung und Anzeigeprogramm - Google Patents

Anzeigevorrichtung und Anzeigeprogramm Download PDF

Info

Publication number
DE102020131815A1
DE102020131815A1 DE102020131815.4A DE102020131815A DE102020131815A1 DE 102020131815 A1 DE102020131815 A1 DE 102020131815A1 DE 102020131815 A DE102020131815 A DE 102020131815A DE 102020131815 A1 DE102020131815 A1 DE 102020131815A1
Authority
DE
Germany
Prior art keywords
work
augmented reality
display
display device
work target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020131815.4A
Other languages
English (en)
Inventor
Masafumi OOBA
Wataru Miyazaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE102020131815A1 publication Critical patent/DE102020131815A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39449Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40353Split robot into two virtual robot, origin of second equals tip of first
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Abstract

Zur Ermöglichung der einfachen Überprüfung des Layouts des Arbeitsplatzes und der Verarbeitungskapazität des Roboters für die Arbeit vor der tatsächlichen Installation des Roboters an dem Arbeitsplatz. Eine Anzeigevorrichtung beinhaltet einen Anzeigeteil für erweiterte Realität, der einen virtuellen Roboter anzeigt, der gemäß einem vorgegebenen Programm zusammen mit Objekten im realen Raum arbeitet, einen Positionsermittlungsteil, der die Position eines Arbeitsziels im realen Raum durch Messen eines Abstands zu dem Arbeitsziel von dem Anzeigeteil für erweiterte Realität ermittelt, und einen Steuerteil, der den auf dem Anzeigeteil für erweiterte Realität angezeigten virtuellen Roboter veranlasst, auf der Grundlage der von dem Positionsermittlungsteil ermittelten Position des Arbeitsziels zu arbeiten, um eine vorgegebene Arbeit an dem Arbeitsziel auszuführen.

Description

  • Hintergrund der Erfindung
  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft eine Anzeigevorrichtung und ein Anzeigeprogramm.
  • Stand der Technik
  • Konventionell gibt es in einem System, das vorgegebene Arbeiten an einem Werkstück ausführt, welches von einem Förderband transportiert wird, z.B. wenn ein zusätzlicher Roboter während einer arbeitsreichen Saison installiert wird, einen Fall, in dem es wünschenswert ist, das Layout eines Arbeitsplatzes im Voraus zu überprüfen, nachdem der Roboter installiert ist. Um den Verbesserungseffekt der Arbeit durch die Installation eines zusätzlichen Roboters zu kennen, gibt es darüber hinaus einen Fall, in dem es wünschenswert ist, die Verarbeitungskapazität des Roboters im Voraus zu prüfen, wenn der Roboter an einem Arbeitsplatz installiert wird.
  • In der japanischen Patentanmeldung Nr. 6385627 ist eine Anzeigesteuerung zur Darstellung von Informationen offenbart, die es dem Benutzer ermöglichen, eine Beziehung zwischen einer aktuellen Position einer arbeitenden Vorrichtung und einer Zielposition, auf welche die arbeitende Vorrichtung bewegt werden soll, visuell zu verstehen. Die Anzeigesteuerung enthält einen Informationsverarbeitungsteil, der die dreidimensionalen Daten der Zielkoordinatenachse erzeugt, die durch einen Steuerpunkt verläuft, der in einer anzutreibenden Vorrichtung festgelegt ist, und der eine erste gerade Linie in einem virtuellen Raum enthält, die die dreidimensionalen Daten einer Struktur auf der Grundlage der dreidimensionalen Daten der anzutreibenden Vorrichtung und der dreidimensionalen Daten der Struktur definiert; und einen Ausgabesteuerteil, der Steuerinformationen zur Anzeige der Zielkoordinatenachse auf einer Ausgabevorrichtung auf der Grundlage der dreidimensionalen Daten der anzutreibenden Vorrichtung, der dreidimensionalen Daten der Struktur und der dreidimensionalen Daten der Zielkoordinatenachse, die durch den Informationsverarbeitungsteil erzeugt werden, erzeugt. Die erste Gerade ist ein Liniensegment eines Abschnitts bis zu einem Schnittpunkt des Kontrollpunktes und der Oberfläche der Struktur.
  • Patentdokument 1: Japanische Patentanmeldung Nr. 6385627
  • Zusammenfassung der Erfindung
  • Bei der Überprüfung des Layouts des Arbeitsplatzes nach der Installation des zusätzlichen Roboters ist es notwendig, das Layout des Arbeitsplatzes zu überprüfen, indem man den Roboter zu einer Zeichnung eines bestehenden Systems hinzufügt und den Arbeitsbereich usw. des Roboters überprüft. Daher dauert es lange, bis der Roboter tatsächlich am Arbeitsplatz installiert ist und die Arbeit beginnen kann.
  • Um die Verarbeitungskapazität des Roboters im Voraus zu überprüfen, wird darüber hinaus konventionell der Verbesserungseffekt der Arbeit des Roboters bewertet, indem der Fluss des Werkstücks simuliert und der Roboter in Offline-Software betrieben wird. Mit der Offline-Software ist es jedoch schwierig, den tatsächlichen Fluss des Werkstücks genau zu reproduzieren, und der Verbesserungseffekt der Arbeit kann nicht genau bewertet werden.
  • Daher ist es wünschenswert, dass das Layout des Arbeitsplatzes und die Verarbeitungskapazität des Roboters für die Arbeit leicht überprüft werden können, bevor der Roboter tatsächlich an dem Arbeitsplatz installiert wird.
  • Ein Aspekt einer Anzeigevorrichtung der vorliegenden Offenlegungsschrift beinhaltet einen Anzeigeteil für erweiterte Realität, der einen virtuellen Roboter anzeigt, der gemäß einem vorgegebenen Programm zusammen mit Objekten im realen Raum arbeitet, einen Positionsermittlungsteil, der eine Position eines Arbeitsziels im realen Raum durch Messen eines Abstands zu dem Arbeitsziel von dem Anzeigeteil für erweiterte Realität ermittelt, und einen Steuerteil, der den auf dem Anzeigeteil für erweiterte Realität angezeigten virtuellen Roboter veranlasst, auf der Grundlage der von dem Positionsermittlungsteil ermittelten Position des Arbeitsziels zu arbeiten, um eine vorgegebene Arbeit an dem Arbeitsziel auszuführen.
  • Ein Aspekt eines Anzeigeprogramms der vorliegenden Offenlegungsschrift veranlasst einen Computer, als eine Anzeigevorrichtung zu fungieren. Die Anzeigevorrichtung beinhaltet einen Anzeigeteil für erweiterte Realität, der einen virtuellen Roboter anzeigt, der gemäß einem vorgegebenen Programm zusammen mit Objekten im realen Raum arbeitet, einen Positionsermittlungsteil, der eine Position eines Arbeitsziels von dem Anzeigeteil für erweiterte Realität misst, und einen Steuerteil (4), der den auf dem Anzeigeteil für erweiterte Realität angezeigten virtuellen Roboter veranlasst, auf der Grundlage der von dem Positionsermittlungsteil gemessenen Position des Arbeitsziels zu arbeiten, um eine vorgegebene Arbeit an dem Arbeitsziel auszuführen.
  • Gemäß dem Aspekt der Anzeigevorrichtung der vorliegenden Offenlegungsschrift ist es möglich, das Layout des Arbeitsplatzes und die Verarbeitungskapazität des Roboters für die Arbeit leicht zu überprüfen, bevor der Roboter tatsächlich am Arbeitsplatz installiert wird. Gemäß dem Aspekt des Anzeigeprogramms der vorliegenden Offenlegungsschrift ist es möglich, das Layout des Arbeitsplatzes und die Verarbeitungskapazität des Roboters für die Arbeit mit dem Computer leicht zu überprüfen, bevor der Roboter tatsächlich am Arbeitsplatz installiert wird.
  • Figurenliste
    • 1 ist ein Diagramm, das einen Zustand der Benutzung einer Anzeigevorrichtung gemäß einem Aspekt der vorliegenden Offenlegungsschrift zeigt;
    • 2 ist ein Blockdiagramm, das die Konfiguration der Anzeigevorrichtung gemäß dem Aspekt der vorliegenden Offenlegungsschrift zeigt;
    • 3 ist ein Diagramm, das die Messung einer Bewegungsgeschwindigkeit eines Arbeitsziels in der Anzeigevorrichtung gemäß dem Aspekt der vorliegenden Offenlegungsschrift zeigt;
    • 4 ist ein Diagramm, das einen Zustand der Anzeige von Informationen, die angeben, dass eine vorgegebene Arbeit an einem Arbeitsziel durchgeführt wurde, auf der Anzeigevorrichtung gemäß dem Aspekt der vorliegenden Offenlegungsschrift zeigt;
    • 5 ist ein Flussdiagramm, das ein Anzeigeverfahren auf der Anzeigevorrichtung gemäß dem Aspekt der vorliegenden Offenlegungsschrift zeigt; und
    • 6 ist eine schematische Darstellung, die eine Anzeigevorrichtung gemäß einem anderen Aspekt der vorliegenden Offenlegungsschrift zeigt.
  • Ausführliche Beschreibung der Erfindung
  • Im Folgenden wird ein Aspekt der vorliegenden Offenlegungsschrift unter Bezug auf die begleitenden Zeichnungen beschrieben. 1 ist ein Diagramm, das einen Zustand der Benutzung einer Anzeigevorrichtung gemäß einem Aspekt der vorliegenden Offenlegungsschrift zeigt. 2 ist ein Blockdiagramm, das die Konfiguration der Anzeigevorrichtung gemäß dem Aspekt der vorliegenden Offenlegungsschrift zeigt.
  • Eine Anzeigevorrichtung 1 ermöglicht es dem Benutzer zum Beispiel, wenn die Installation eines neuen Roboters an einem Arbeitsplatz 100 in einer Fabrik in Betracht gezogen wird, das Layout des Arbeitsplatzes 100 nach der Installation des Roboters und die Verarbeitungskapazität des Roboters im Voraus zu überprüfen. Die in 1 dargestellte Anzeigevorrichtung 1 wird durch einen Tablet-Computer mit einem Flüssigkristallbildschirm als Anzeigeteil konfiguriert.
  • An dem in 1 dargestellten Arbeitsplatz 100 (Objekt) im realen Raum ist ein Förderband (200) (Objekt) zum Fördern einer Vielzahl von Arbeitszielen 300 (Objekte) in einer Richtung installiert, die durch einen weißen Pfeil angezeigt ist. Es zeigt, dass an dem Arbeitsplatz 100 zwei Arbeiter WK (Objekte) Arbeit an den Arbeitszielen 300 durchführen, die von dem Förderband 200 transportiert werden.
  • Wie in 2 dargestellt, beinhaltet die Anzeigevorrichtung 1 einen Anzeigeteil 2 für erweiterte Realität, einen Positionsermittlungsteil 3, einen Steuerteil 4 und einen Arbeitszielverwaltungsteil 5. Wie in 1 dargestellt, zeigt der Anzeigeteil 2 für erweiterte Realität einen virtuellen Roboter 10 zusammen mit Objekten (in dem vorliegenden Ausführungsbeispiel dem Arbeitsplatz 100, dem Förderband 200, den Arbeitszielen 300 und den Arbeitern WK) im realen Raum an. Der Anzeigeteil 2 für erweiterte Realität ist im Allgemeinen durch einen Anzeigebildschirm eines Computers konfiguriert und zeigt beispielsweise die Objekte im realen Raum, abgebildet durch eine Abbildungsvorrichtung, die auf der Anzeigevorrichtung 1 vorgesehen ist, zusammen mit dem virtuellen Roboter 10 an.
  • Der virtuelle Roboter 10 ist ein virtuelles Objekt, das auf dem Anzeigeteil 2 für erweiterte Realität gemäß einem vorgegebenen Programm angezeigt wird, welches vorab in der Anzeigevorrichtung 1 gespeichert wird, und existiert nicht im realen Raum. Allerdings zeigt der Anzeigeteil 2 für erweiterte Realität ein erweitertes Realitätsbild so an, als ob der virtuelle Roboter 10 an dem Arbeitsplatz 100 im realen Raum präsent (installiert) wäre, indem der virtuelle Roboter 10 dreidimensional auf die Objekte im realen Raum aufgelagert wird, um den virtuellen Roboter 10 darzustellen. Der virtuelle Roboter 10 kann so arbeiten, dass er vorgegebene Arbeiten auf der Grundlage eines Arbeitsprogramms an den Arbeitszielen 300 auf dem Anzeigeteil 2 für erweiterte Realität ausführt, wie in dem Fall, dass der Roboter tatsächlich im realen Raum installiert ist. Zu den vorgegebenen Arbeiten gehören beispielsweise alle Arbeiten, die der Roboter an dem Arbeitsziel 300 ausführen kann, wie z.B. Zustellarbeiten, um das Arbeitsziel 300 zu greifen und es vom Förderband 200 an einen anderen Ort zu transferieren, sowie Dichtungsapplikationsarbeiten.
  • Der Anzeigeteil 2 für erweiterte Realität ist so konfiguriert, dass er an dem virtuellen Roboter 10 an einer beliebigen Position angeordnet werden kann. Wenn der Anzeigeteil 2 für erweiterte Realität beispielsweise durch ein berührungsempfindliches Feld konfiguriert ist, kann der virtuelle Roboter 10 an einer beliebigen Position angeordnet werden, an der die Installation des Roboters im realen Raum geplant ist, wie auf dem Anzeigeteil 2 für erweiterte Realität angezeigt, indem die Bedienungspersonen der Anzeigevorrichtung 1 den virtuellen Roboter 10 mit einem Finger oder einem Berührungsstift berührt und ihn auf eine beliebige Position innerhalb des Anzeigeteils 2 für erweiterte Realität bewegt. Die Anzeige des virtuellen Roboters 10 auf dem Anzeigeteil 2 für erweiterte Realität wird durch die Funktion des Steuerteils 4 realisiert, wie später beschrieben.
  • Der Positionsermittlungsteil 3 hat die Funktion, die Position des Arbeitsziels 300 auf dem Anzeigeteil 2 für erweiterte Realität zu ermitteln. Konkret ist der Positionsermittlungsteil 3 so konfiguriert, dass er eine Abbildungsvorrichtung wie beispielsweise eine zweidimensionale Kamera, die dazu in der Lage ist, das Arbeitsziel 300 abzubilden, einen Entfernungsbildsensor etc. beinhaltet. 1 zeigt ein Beispiel, in dem der Positionsermittlungsteil 3 durch den Entfernungsbildsensor konfiguriert wird, der auf der Oberfläche gegenüber der Oberfläche angeordnet ist, auf der der Anzeigeteil 2 für erweiterte Realität in der Anzeigevorrichtung 1 angeordnet ist. Allerdings kann es sich bei dem Positionsermittlungsteil 3 auch um eine Abbildungsvorrichtung, einen Entfernungsbildsensor etc. handeln, der separat von der Anzeigevorrichtung 1 vorgesehen ist. Wenn eine Abbildungsvorrichtung wie beispielsweise eine zweidimensionale Kamera verwendet wird, kann die Position des Arbeitsziels 300 durch maschinelles Lernen der Sichtbarkeit und Position des Arbeitsziels 300 ermittelt werden. Wie in 1 dargestellt, kann der Positionsermittlungsteil 3, der durch den Abstandsbildsensor konfiguriert ist, auch eine Funktion aufweisen, ein Bild des Objekts im realen Raum auf dem Anzeigeteil 2 für erweiterte Realität anzuzeigen. Der Positionsermittlungsteil 3 misst eine Distanz von dem Anzeigeteil 2 für erweiterte Realität zu dem Arbeitsziel 300 durch Durchführen von Bildverarbeitung an einem Bild des Arbeitsziels 300 im realen Raum gemäß einem vorgegebenen Verarbeitungsprogramm. Die Ermittlung der Position des Arbeitsziels 300 durch den Positionsermittlungsteil 3 wird durch die Funktion des Arbeitszielverwaltungsteils 5 realisiert, wie später beschrieben.
  • Der Steuerteil 4 hat eine Funktion, den virtuellen Roboter 10 über die Objekte im realen Raum, die auf dem Anzeigeteil 2 für erweiterte Realität angezeigt werden, zu überlagern, um den virtuellen Roboter 10 dreidimensional anzuzeigen, und zu bewirken, dass der virtuelle Roboter 10, der auf dem Anzeigeteil 2 für erweiterte Realität angezeigt wird, auf der Grundlage der Position des Arbeitsziels 300 arbeitet, das von dem Positionsermittlungsteil 3 ermittelt wird, um vorgegebene Arbeiten an dem Arbeitsziel 300 durchzuführen.
  • Konkret wird der Steuerteil 4 durch eine arithmetische Verarbeitungseinheit wie eine Zentraleinheit (CPU) konfiguriert. Der Steuerteil 4 enthält eine Hilfsspeichervorrichtung wie z.B. ein Festplattenlaufwerk (HDD) oder ein Festkörperlaufwerk (SSD), das verschiedene Programme zur Ausführung verschiedener Funktionen der Anzeigevorrichtung 1 speichert, und eine Hauptspeichervorrichtung wie z.B. einen Arbeitsspeicher (RAM) zum Speichern von Daten, die vorübergehend benötigt werden, wenn die arithmetische Verarbeitungseinheit das Programm ausführt. In dem Steuerteil 4 liest die arithmetische Verarbeitungseinheit verschiedene Programme aus der Hilfsspeichervorrichtung aus und führt arithmetische Verarbeitung basierend auf diesen verschiedenen Programmen durch, während sie die verschiedenen gelesenen Programme in der Hauptspeichervorrichtung einsetzt. Der Steuerteil 4 ist dazu konfiguriert, als die Anzeigevorrichtung 1 zu fungieren, indem er jede an den Steuerteil 4 angeschlossene Hardware steuert, wie z.B. den Anzeigenteil 2 für erweiterte Realität und den Positionsermittlungsteil 3, basierend auf dem arithmetischen Ergebnis.
  • Der Steuerteil 4 passt die Größe des virtuellen Roboters 10, der auf dem Anzeigeteil 2 für erweiterte Realität angezeigt wird, entsprechend dem Maßstab der Objekte im realen Raum an, die mit dem virtuellen Roboter 10 angezeigt werden. Alternativ passt der Steuerteil 4 die Größe der Objekte im realen Raum, die auf dem Anzeigeteil 2 für erweiterte Realität angezeigt werden, entsprechend dem Maßstab des virtuellen Roboters 10 an, der auf dem Anzeigeteil 2 für erweiterte Realität angezeigt wird. Der Maßstab der Objekte im realen Raum wird basierend auf einem Bild der Objekte im realen Raum erfasst, das von dem Positionsermittlungsteil 3, einer anderen Abbildungsvorrichtung oder dergleichen aufgenommen wird. So überlagert der Steuerteil 4 den virtuellen Roboter 10 über die Objekte (den Arbeitsplatz 100, das Förderband 200, die Arbeitsziele 300 und die Arbeiter WK) im realen Raum und zeigt dies auf der Anzeigeeinheit 2 für erweiterte Realität an, so dass ihre relativen Positionsbeziehungen im realen Raum erhalten bleiben.
  • Der Arbeitszielverwaltungsteil 5 misst die aktuelle Position des Arbeitsziels 300 basierend auf der Position des Arbeitsziels 300, die durch den Positionsermittlungsteil 3 ermittelt wird. Da das Arbeitsziel 300 auf dem Förderband 200 kontinuierlich oder intermittierend mit konstanter Geschwindigkeit durch den Antrieb des Förderbandes 200 transportiert wird, ist es, damit der virtuelle Roboter 10 vorgegebene Arbeiten an dem Arbeitsziel 300 ausführen kann, konkret erforderlich, stets die aktuelle Position des Arbeitsziels 300 auf dem Anzeigeteil 2 für erweiterte Realität auf der Grundlage der Bewegungsgeschwindigkeit des Arbeitsziels 300 (der Fördergeschwindigkeit des Förderbandes 200) zu erfassen und zu prüfen, ob sich das Arbeitsziel 300 innerhalb des Arbeitsbereichs des virtuellen Roboters 10 befindet. Daher verwendet der Arbeitszielverwaltungsteil 5 den Positionsermittlungsteil 3, um die Position mindestens zweimal hintereinander in Bezug auf eines der Arbeitsziele 300 zu ermitteln, das unter einer Vielzahl der Arbeitsziele 300, die auf der Anzeigeeinheit 2 für erweiterte Realität angezeigt und von dem Förderband 200 transportiert werden, als dasselbe Objekt angesehen werden kann, und misst anhand der Ermittlungsergebnisse die Bewegungsgeschwindigkeit des Arbeitsziels 300.
  • 3 zeigt die Messung einer Bewegungsgeschwindigkeit des Arbeitsziels 300 auf der Anzeigevorrichtung 1. Zum Beispiel wird im Falle der Fokussierung auf ein Arbeitsziel 300 am linken Ende auf dem Förderband 200, das auf dem Anzeigeteil 2 für erweiterte Realität angezeigt wird, durch Durchführen von zwei aufeinanderfolgenden Positionsermittlungen des Arbeitsziels 300 die Position des Arbeitsziels 300a (in 3 durch eine gestrichelte Linie angezeigt) beim ersten Mal ermittelt und die Position des Arbeitsziels 300b (in 3 durch eine durchgezogene Linie angezeigt), das von der Position des Arbeitsziels 300a um eine vorgegebene Strecke bewegt wurde, beim zweiten Mal ermittelt. Der Arbeitszielverwaltungsteil 5 misst die Bewegungsgeschwindigkeit des Arbeitsziels 300 durch Dividieren der Bewegungsdistanz von der Position des Arbeitsziels 300a zu der Position des Arbeitsziels 300b durch das Zeitintervall von der ersten Positionsermittlung zu der zweiten Positionsermittlung. Der Arbeitszielverwaltungsteil 5 ermittelt die aktuelle Position des Arbeitsziels 300 auf dem Anzeigeteil 2 für erweiterte Realität in einem vorgegebenen Steuerzyklus basierend auf der gemessenen Bewegungsgeschwindigkeit des Arbeitsziels 300. Alle oder ein Teil der Funktionen des Arbeitszielverwaltungsteils 5 können in dem Steuerteil 4 enthalten sein.
  • Nachfolgend wird ein Anzeigeverfahren unter Verwendung der Anzeigevorrichtung 1 unter Bezug auf das Flussdiagramm beschrieben, das in 5 abgebildet ist. Zunächst aktiviert die Bedienungsperson die Anzeigevorrichtung 1 und nimmt ein Bild des Arbeitsplatzes 100 im realen Raum, wie in 1 dargestellt, mithilfe des Positionsermittlungsteils S3 auf, der auch als eine Abbildungsvorrichtung fungiert. So überlagert die Anzeigevorrichtung 1 den virtuellen Roboter 10 über das Bild der Objekte (den Arbeitsplatz 100, das Förderband 200, die Arbeitsziele 300 und die Arbeiter WK) im realen Raum und zeigt dies auf der Anzeigeeinheit 2 für erweiterte Realität an (S1).
  • Die Position und die Haltung des virtuellen Roboters 10 werden in demselben Koordinatensystem angezeigt wie dem Koordinatensystem für die Positionen der Objekte im realen Raum, die durch den Positionsermittlungsteil 3 erhalten werden. Die Bedienungsperson ordnet den virtuellen Roboter 10 an einer beliebigen Position an, an der der Roboter auf dem Anzeigeteil 2 für erweiterte Realität installiert werden soll, indem sie den virtuellen Roboter 10 mit einem Finger oder einem Berührungsstift berührt und bewegt.
  • Nachdem der virtuelle Roboter 10 an einer beliebigen Position auf dem Anzeigeteil 2 für erweiterte Realität angeordnet wurde, ermittelt die Anzeigevorrichtung 1 die Position des Arbeitsziels 300 auf dem Anzeigeteil 2 für erweiterte Realität unter Verwendung des Positionsermittlungsteils 3, beispielsweise mit einem Eingabebefehl von der Bedienungsperson als Auslöser, um den Betrieb des virtuellen Roboters 10 zu starten. Darüber hinaus misst die Anzeigevorrichtung 1 die Bewegungsgeschwindigkeit des Arbeitsziels 300 anhand der Position und misst kontinuierlich die aktuelle Position der einzelnen Arbeitsziele 300 auf dem Anzeigeteil 2 für erweiterte Realität anhand des Messergebnisses. Die Anzeigevorrichtung 1 veranlasst den virtuellen Roboter 10, der auf dem Anzeigeteil 2 für erweiterte Realität angezeigt wird, dazu, basierend auf der gemessenen aktuellen Position des Arbeitsziels 300 zu arbeiten und vorgegebene Arbeiten an dem Arbeitsziel 300 durchzuführen (S2).
  • Nach dem Start des Betriebs des virtuellen Roboters 10 überwacht die Anzeigevorrichtung 1, ob die aktuelle Position des Arbeitsziels 300 in den Arbeitsbereich des virtuellen Roboters 10 eingetreten ist, auf dem Steuerteil 4. Wenn das Arbeitsziel 300 auf dem Anzeigeteil 2 für erweiterte Realität in den Arbeitsbereich des virtuellen Roboters 10 eintritt, veranlasst die Anzeigevorrichtung 1 den virtuellen Roboter 10 zum Betrieb, um die Arbeiten durchzuführen, während gleichzeitig das Arbeitsziel 300 verfolgt wird, basierend auf der aktuellen Position des Arbeitsziels 300. So kann der virtuelle Roboter 10 eine Operation durchführen, wie beispielsweise das virtuelle Greifen des Arbeitsziels 300 auf dem Anzeigeteil 2 für erweiterte Realität, und dessen Transfer an einen anderen Ort.
  • Die Arbeit des virtuellen Roboters 10 gilt als abgeschlossen, wenn der virtuelle Roboter 10 sich so bewegen kann, dass er der aktuellen Position des Arbeitsziels 300 folgt und das Arbeitsziel 300 virtuell greifen kann. Somit ermittelt die Anzeigevorrichtung 1, ob die Arbeit des virtuellen Roboters 10 am Arbeitsziel 300 erledigt ist, indem sie die Positionsbeziehung zwischen dem virtuellen Roboter 10 (z.B. die Position der Spitze des virtuellen Roboters 10) und dem Arbeitsziel 300 auf dem Anzeigeteil 2 für erweiterte Realität in dem Steuerteil 4 oder dem Arbeitszielverwaltungsteil 5 überwacht (S3).
  • Wenn die Arbeit des virtuellen Roboters an dem Arbeitsziel 300 in dem obigen Schritt S3 (Schritt S3; JA) erledigt ist, überlagert die Anzeigevorrichtung 1 eine Arbeitsende-Markierung 20, welche angibt, dass die Arbeit erledigt wurde, über das Arbeitsziel 300c, an dem die Arbeit abgeschlossen wurde, und zeigt sie an, wie in 4 dargestellt (S4). Die Arbeitsende-Markierung 20 wird, wie in 4 dargestellt, durch einen Kreis angezeigt, der das Arbeitsziel 300c umgibt. Die Arbeitsende-Markierung 20 kann jedoch jede beliebige Markierung sein, solange das Arbeitsziel 300c, an dem die Arbeit abgeschlossen wurde, auf dem Anzeigeteil 2 für erweiterte Realität identifiziert werden kann. Wenn die Arbeit des virtuellen Roboters 10 an dem Arbeitsziel 300 in Schritt S3 nicht erledigt ist (Schritt S3; NEIN), zeigt die Anzeigevorrichtung 1 die Arbeitsende-Markierung 20 in Bezug auf das Arbeitsziel 300 nicht an und wechselt zu dem Prozess von Schritt S5.
  • Die Arbeit des virtuellen Roboters 10 wird fortgesetzt, solange das vom Förderband 200 transportierte Arbeitsziel 300 vorhanden ist (S5). Wenn das von dem Förderband 200 transportierte Arbeitsziel 300 auf dem Anzeigeteil 2 für erweiterte Realität vorhanden ist oder wenn es keinen Eingabebefehl zur Beendigung des Betriebs des virtuellen Roboters 10 durch die Bedienungsperson gibt (Schritt S5; NEIN), wird die Verarbeitung aus Schritt S3 wiederholt. Wenn das von dem Förderband 200 transportierte Arbeitsziel 300 nicht vorhanden ist oder wenn ein Eingabebefehl zum Beenden des Betriebs des virtuellen Roboters 10 von der Bedienungsperson ausgegeben wird, wird der Betrieb des virtuellen Roboters 10 gestoppt.
  • Die Anzeigevorrichtung 1 ist nicht auf eine durch einen Tablet-Computer konfigurierte Vorrichtung beschränkt. Die Anzeigevorrichtung 1 kann ein Computer mit einem Anzeigeteil sein, der dazu in der Lage ist, ein Bild anzuzeigen, und kann beispielsweise ein Notebook-Personalcomputer, ein anderes tragbares Endgerät oder dergleichen sein. Ferner kann in einer Anzeigevorrichtung 1A, wie in 6 dargestellt, eine kopfmontierte Anzeige mit einem Positionsermittlungsteil 3 verwendet werden, der in den Anzeigeteil 2 für erweiterte Realität integriert ist. Ein Steuerteil 4 und ein Arbeitszielverwaltungsteil 5 können in die kopfmontierte Anzeige eingebaut sein, oder können separat von der kopfmontierten Anzeige vorgesehen und über einen Draht oder drahtlos zur Kommunikation verbunden werden.
  • Der Anzeigeteil 2 für erweiterte Realität, der Positionsermittlungsteil 3, der Steuerteil 4 und der Betriebsobjektverwaltungsteil 5 in der Anzeigevorrichtung 1, 1A können jeweils durch Hardware, Software oder eine Kombination daraus realisiert werden. Das Anzeigeverfahren, das durch das Zusammenwirken des Anzeigeteils 2 für erweiterte Realität, des Positionsermittlungsteils 3, des Steuerteils 4 und des Arbeitszielverwaltungsteils 5 durchgeführt wird, kann ebenfalls durch Hardware, Software oder eine Kombination daraus realisiert werden. In diesem Zusammenhang bedeutet durch Software realisiert zu werden, dass der Computer ein Programm liest und ausführt.
  • Die Programme können unter Verwendung von verschiedenen Typen von nicht flüchtigen computerlesbaren Medien gespeichert und an einen Computer geliefert werden. Zu den nicht flüchtigen computerlesbaren Medien zählen verschiedene Typen von materiellen Speichermedien. Die nicht flüchtigen computerlesbaren Medien beinhalten magnetische Aufzeichnungsmedien (beispielsweise Disketten, Magnetbänder, Festplattenlaufwerke), magnetooptische Aufzeichnungsmedien (beispielsweise magnetooptische Disketten), CD-ROMs (Nur-Lese-Speicher), CD-Rs, CD-R/Ws und Halbleiterspeicher (beispielsweise Masken-ROMs, PROMs (programmierbare ROMs), EPROMs (Löschbare PROMs), Flash-ROMs und RAMs (Arbeitsspeicher)). Die Programme können auch an verschiedene Arten von temporären Computern geliefert werden. Zu den flüchtigen computerlesbaren Medien zählen elektrische Signale, optische Signale und elektromagnetische Wellen. Die flüchtigen computerlesbaren Medien können das Programm über einen drahtgebundenen Kommunikationspfad aus elektrischen Drähten oder optischen Fasern oder über einen drahtlosen Kommunikationspfad an den Computer liefern.
  • Ein Aspekt der Anzeigevorrichtung 1, 1A der oben beschriebenen vorliegenden Offenlegungsschrift hat die folgenden Effekte. Die Anzeigevorrichtung 1, 1A der vorliegenden Offenlegungsschrift beinhaltet einen Anzeigeteil 2 für erweiterte Realität, der einen virtuellen Roboter 10 anzeigt, der gemäß einem vorgegebenen Programm zusammen mit Objekten (einem Arbeitsplatz 100, einem Förderband 200, einem Arbeitsziel 300, einem Arbeiter WK) im realen Raum arbeitet, einen Positionsermittlungsteil 3, der eine Position eines Arbeitsziels 300 im realen Raum durch Messen eines Abstands zu dem Arbeitsziel 300 von dem Anzeigeteil 2 für erweiterte Realität ermittelt, und einen Steuerteil 4, der den auf dem Anzeigeteil 2 für erweiterte Realität angezeigten virtuellen Roboter 10 veranlasst, auf der Grundlage der von dem Positionsermittlungsteil 3 ermittelten Position des Arbeitsziels 300 zu arbeiten, um eine vorgegebene Arbeit an dem Arbeitsziel 300 auszuführen. Auf diese Weise ist es möglich, das Layout zu überprüfen, wenn der Roboter am Arbeitsplatz 100 installiert ist, sowie den Betrieb des Roboters auf dem Anzeigeteil 2 für erweiterte Realität. Um das Layout des Arbeitsplatzes nach der Installation des Roboters zu überprüfen, ist es daher nicht notwendig, den Roboter in die Zeichnung eines bestehenden Systems einzufügen oder den Fluss eines Werkstücks zu simulieren und den Roboter in Offline-Software oder ähnlichem zu betreiben, und somit ist es möglich, das Layout des Arbeitsplatzes 100 und die Verarbeitungskapazität des Roboters für die Arbeit leicht zu überprüfen, bevor der Roboter tatsächlich im Arbeitsplatz 100 installiert wird.
  • Ferner beinhaltet die Anzeigevorrichtung 1, 1A der vorliegenden Offenlegungsschrift weiterhin einen Arbeitszielverwaltungsteil 5, der eine aktuelle Position des Arbeitsziels 300 basierend auf der Position des Arbeitsziels 300 misst, die durch den Positionsermittlungsteil 3 ermittelt wird. Da die relative Positionsbeziehung zwischen dem virtuellen Roboter 10 und dem Arbeitsziel 300 auf dem Anzeigeteil 2 für erweiterte Realität somit genau erfasst werden kann, lässt sich die Verarbeitungskapazität des Roboters für die Arbeit genauer bestimmen.
  • Der Arbeitszielverwaltungsteil 5 misst eine Bewegungsgeschwindigkeit des Arbeitsziels 300 aus den Ergebnissen der mindestens zweimaligen Positionsermittlung durch den Positionsermittlungsteil 3 bezüglich des Arbeitsziels 300, welches als dasselbe Objekt betrachtet werden kann, und misst die aktuelle Position des Arbeitsziels 300 basierend auf der Bewegungsgeschwindigkeit. Auf diese Weise kann der Arbeitszielverwaltungsteil 5 eine genaue Bewegungsgeschwindigkeit des Arbeitsziels 300 erfassen und eine genaue aktuelle Position des Arbeitsziels 300 messen, ohne von der Fördergenauigkeit des Förderbandes 200 beeinflusst zu werden.
  • Wenn die aktuelle Position des Arbeitsziels 300, die von dem Arbeitszielverwaltungsteil 5 gemessen wird, in einen Arbeitsbereich des virtuellen Roboters 10 eintritt, veranlasst der Steuerteil 4 den virtuellen Roboter 10 zum Betrieb, um die Arbeiten durchzuführen, während gleichzeitig das Arbeitsziel 300 verfolgt wird, basierend auf der aktuellen Position des Arbeitsziels 300. Dadurch kann der virtuelle Roboter 10 an dem Arbeitsziel 300 arbeiten, um die Arbeit auf die gleiche Weise auszuführen wie die Arbeit durch den Betrieb eines realen Roboters. Daher kann die Bedienungsperson die Verarbeitungskapazität des realen Roboters für das Arbeitsziel 300 auf dem Anzeigeteil 2 für erweiterte Realität genauer erfassen.
  • Der Anzeigeteil 2 für erweiterte Realität ist so konfiguriert, dass er an dem virtuellen Roboter 10 an einer beliebigen Position angeordnet werden kann. Dadurch kann der virtuelle Roboter 10 auf dem Anzeigeteil 2 für erweiterte Realität entsprechend der Anordnung der Objekte im realen Raum, die auf dem Anzeigeteil 2 für erweiterte Realität angezeigt werden, so angeordnet werden, dass er der Einbauposition des realen Roboters entspricht.
  • Der Anzeigeteil 2 für erweiterte Realität überlagert und zeigt Informationen an, die angeben, dass vorgegebene Arbeiten an dem Arbeitsziel 300 durchgeführt wurden. So kann die Bedienungsperson den Status der Arbeit des virtuellen Roboters 10 an dem Arbeitsziel 300 auf dem Anzeigeteil 2 für erweiterte Realität leicht überprüfen.
  • Darüber hinaus veranlasst ein Anzeigeprogramm der vorliegenden Offenlegungsschrift einen Computer dazu, als eine Anzeigevorrichtung 1, 1A zu fungieren. Die Anzeigevorrichtung 1, 1A beinhaltet einen Anzeigeteil 2 für erweiterte Realität, der einen virtuellen Roboter 10 anzeigt, der gemäß einem vorgegebenen Programm zusammen mit Objekten (einem Arbeitsplatz 100, einem Förderband 200, einem Arbeitsziel 300, einem Arbeiter WK) im realen Raum arbeitet, einen Positionsermittlungsteil 3, der eine Position eines Arbeitsziels 300 durch Messen eines Abstands zu dem Arbeitsziel 300 im realen Raum von dem Anzeigeteil 2 für erweiterte Realität ermittelt, und einen Steuerteil 4, der den auf dem Anzeigeteil 2 für erweiterte Realität angezeigten virtuellen Roboter 10 veranlasst, auf der Grundlage der von dem Positionsermittlungsteil 3 ermittelten Position des Arbeitsziels 300 zu arbeiten, um eine vorgegebene Arbeit an dem Arbeitsziel 300 auszuführen. Somit ist es durch Ausführen des Anzeigeprogramms auf dem Computer der Anzeigevorrichtung 1, 1A, einschließlich des Anzeigeteils 2 für erweiterte Realität, des Positionsermittlungsteils 3 und des Steuerteils 4, möglich, das Layout des Arbeitsplatzes 100 und die Verarbeitungskapazität des Roboters für die Arbeit leicht zu überprüfen, bevor der Roboter tatsächlich an dem Arbeitsplatz 100 installiert wird, unter Verwendung der Anzeigevorrichtung 1, 1A.
  • Bezugszeichenliste
  • 1, 1A
    Anzeigevorrichtung
    2
    Anzeigeteil für erweiterte Realität
    3
    Positionsermittlungsteil
    4
    Steuerteil
    5
    Arbeitszielverwaltungsteil
    10
    virtueller Roboter
    20
    Informationen, die angeben, dass eine vorgegebene Arbeit an einem Arbeitsziel durchgeführt wurde
    100
    Arbeitsplatz (Objekt)
    200
    Förderband (Objekt)
    300
    Arbeitsziel (Objekt)
    WK
    Arbeiter (Objekt)
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 6385627 [0003, 0004]

Claims (7)

  1. Anzeigevorrichtung (1, 1A), umfassend: einen Anzeigeteil 2 für erweiterte Realität, der einen virtuellen Roboter (10) anzeigt, der gemäß einem vorgegebenen Programm zusammen mit Objekten (100, 200, 300, WK) im realen Raum arbeitet; einen Positionsermittlungsteil (3), der eine Position eines Arbeitsziels (300) aus dem Anzeigeteil (2) für erweiterte Realität ermittelt; und einen Steuerteil (4), der den auf dem Anzeigeteil (2) für erweiterte Realität angezeigten virtuellen Roboter (10) veranlasst, auf der Grundlage der von dem Positionsermittlungsteil (3) ermittelten Position des Arbeitsziels (300) zu arbeiten, um eine vorgegebene Arbeit an dem Arbeitsziel (300) auszuführen.
  2. Anzeigevorrichtung (1, 1A) nach Anspruch 1, des Weiteren umfassend: einen Arbeitszielverwaltungsteil (5), der eine aktuelle Position des Arbeitsziels (300) basierend auf der Position des Arbeitsziels (300) misst, die durch den Positionsermittlungsteil (3) ermittelt wird.
  3. Anzeigevorrichtung (1, 1A) nach Anspruch 2, wobei der Arbeitszielverwaltungsteil (5) eine Bewegungsgeschwindigkeit des Arbeitsziels (300) aus den Ergebnissen der mindestens zweimaligen Positionsermittlung durch den Positionsermittlungsteil (3) bezüglich des Arbeitsziels (300) misst, welches als dasselbe Objekt betrachtet werden kann, und die aktuelle Position des Arbeitsziels (300) basierend auf der Bewegungsgeschwindigkeit misst.
  4. Anzeigevorrichtung (1, 1A) nach Anspruch 2 oder 3, wobei, wenn die aktuelle Position des Arbeitsziels (300), die von dem Arbeitszielverwaltungsteil (5) gemessen wird, in einen Arbeitsbereich des virtuellen Roboters (10) eintritt, der Steuerteil (4) den virtuellen Roboter (10) zum Betrieb veranlasst, um die Arbeiten durchzuführen, während gleichzeitig das Arbeitsziel (300) verfolgt wird, basierend auf der aktuellen Position des Arbeitsziels (300).
  5. Anzeigevorrichtung (1, 1A) nach einem der Ansprüche 1 bis 4, wobei der Anzeigeteil (2) für erweiterte Realität so konfiguriert ist, dass er an dem virtuellen Roboter (10) an einer beliebigen Position angeordnet werden kann.
  6. Anzeigevorrichtung (1, 1A) nach einem der Ansprüche 1 bis 5, wobei der Anzeigeteil (2) für erweiterte Realität Informationen, die angeben, dass die vorgegebene Arbeit an dem Arbeitsziel (300) durchgeführt wurde, überlagert und anzeigt.
  7. Anzeigeprogramm, welches einen Computer dazu veranlasst, als eine Anzeigevorrichtung (1, 1A) zu fungieren, wobei die Anzeigevorrichtung (1, 1A) umfasst: einen Anzeigeteil 2 für erweiterte Realität, der einen virtuellen Roboter (10) anzeigt, der gemäß einem vorgegebenen Programm zusammen mit Objekten (100, 200, 300, WK) im realen Raum arbeitet; einen Positionsermittlungsteil (3), der eine Position eines Arbeitsziels (300) aus dem Anzeigeteil (2) für erweiterte Realität ermittelt; und einen Steuerteil (4), der den auf dem Anzeigeteil (2) für erweiterte Realität angezeigten virtuellen Roboter (10) veranlasst, auf der Grundlage der von dem Positionsermittlungsteil (3) ermittelten Position des Arbeitsziels (300) zu arbeiten, um eine vorgegebene Arbeit an dem Arbeitsziel (300) auszuführen.
DE102020131815.4A 2019-12-04 2020-12-01 Anzeigevorrichtung und Anzeigeprogramm Pending DE102020131815A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-219471 2019-12-04
JP2019219471A JP7409848B2 (ja) 2019-12-04 2019-12-04 表示装置及び表示プログラム

Publications (1)

Publication Number Publication Date
DE102020131815A1 true DE102020131815A1 (de) 2021-06-10

Family

ID=75962666

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020131815.4A Pending DE102020131815A1 (de) 2019-12-04 2020-12-01 Anzeigevorrichtung und Anzeigeprogramm

Country Status (4)

Country Link
US (1) US11538201B2 (de)
JP (1) JP7409848B2 (de)
CN (1) CN112894799A (de)
DE (1) DE102020131815A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166371A (ja) * 2019-03-28 2020-10-08 セイコーエプソン株式会社 情報処理方法、情報処理装置、物体検出装置およびロボットシステム
US20230078919A1 (en) * 2021-09-16 2023-03-16 Globus Medical, Inc. Extended reality systems for visualizing and controlling operating room equipment
KR102377988B1 (ko) * 2021-09-30 2022-03-24 주식회사 아진엑스텍 로봇과의 협업 보조 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6944584B1 (en) * 1999-04-16 2005-09-13 Brooks Automation, Inc. System and method for control and simulation
SE531104C2 (sv) 2002-12-30 2008-12-16 Abb Research Ltd Metod och system för programmering av en industrirobot
US7236854B2 (en) * 2004-01-05 2007-06-26 Abb Research Ltd. Method and a system for programming an industrial robot
US8271132B2 (en) * 2008-03-13 2012-09-18 Battelle Energy Alliance, Llc System and method for seamless task-directed autonomy for robots
JP2008021092A (ja) 2006-07-12 2008-01-31 Fanuc Ltd ロボットシステムのシミュレーション装置
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
JP6420229B2 (ja) * 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
US10956739B2 (en) 2016-06-27 2021-03-23 Autodesk, Inc. Augmented reality robotic system visualization
JP6385627B1 (ja) 2017-11-07 2018-09-05 三菱電機株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP6787966B2 (ja) * 2018-10-02 2020-11-18 ファナック株式会社 拡張現実と複合現実を用いたロボット制御装置及び表示装置

Also Published As

Publication number Publication date
US11538201B2 (en) 2022-12-27
JP2021088028A (ja) 2021-06-10
JP7409848B2 (ja) 2024-01-09
CN112894799A (zh) 2021-06-04
US20210174555A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
DE102020131815A1 (de) Anzeigevorrichtung und Anzeigeprogramm
DE102018213985B4 (de) Robotersystem
DE102015000587B4 (de) Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
DE102017128543B4 (de) Störbereich-einstellvorrichtung für einen mobilen roboter
DE102020110252B4 (de) Vibrationsanzeigeeinrichtung, Betriebsprogrammerstellungseinrichtung und System
DE102018112403B4 (de) Robotersystem, das informationen zur unterweisung eines roboters anzeigt
DE112017005765T5 (de) Geräteverschleissdetektionssystem unter verwendung von erweiterter realität
DE102018216154B4 (de) Robotersystem
DE69819064T2 (de) Messungsunterstützungssystem
DE102013105422A1 (de) Numerische Steuerungsvorrichtung mit Bildschirm zum Darstellen von Meldungen zum Evaluieren eines Bearbeitungsprozesses
DE102019119319A1 (de) Abtastsystem, Arbeitssystem, Verfahren zum Anzeigen von Augmented-Reality-Bildern, Verfahren zum Speichern von Augmented-Reality-Bildern und Programme dafür
DE102010014423A1 (de) Starten einer Messprozedur zum Messen von Koordinaten eines Werkstücks
DE102019122865A1 (de) Erfassungssystem, arbeitssystem, anzeigeverfahren für ein erweiterte-realität-bild und programm
DE102019131284B4 (de) Robotersystem und Koordinatenumwandlungsverfahren
DE102016220127A1 (de) Verfahren zum Betrieb eines Koordinatenmessgeräts
EP3403049B1 (de) Verfahren zur bestimmung von einer x-y-z-referenzkoordinate eines werkstücks und bearbeitungsmaschine
DE102021103726B4 (de) Messparameter-Optimierungsverfahren und -vorrichtung sowie Computersteuerprogramm
DE102017011589A1 (de) Bildanzeigevorrichtung
DE102020132957A1 (de) Steuervorrichtung, messsystem und messverfahren
DE102018207962A1 (de) Mischrealitätssimulationsvorrichtung und Mischrealitätssimulationsprogramm
DE102017216735A1 (de) Verfahren, System zum Beseitigen von Fahrzeugkarosseriedefekten unter Verwendung einer virtuellen Markierung
DE102007004423A1 (de) Steuerung eines Betriebes eines Koordinatenmessgerätes
DE102019006748B4 (de) Roboterlehrvorrichtung, roboterlehrverfahren und verfahren zum speichern einer betriebsanweisung
DE102020204103A1 (de) Wellenformanzeigevorrichtung und wellenformanzeigeverfahren
DE102020003992A1 (de) Augmented-reality-brillenvorrichtung und anzeigeprogramm

Legal Events

Date Code Title Description
R012 Request for examination validly filed