DE102019207489A1 - System zur Anzeige virtueller Objekte - Google Patents

System zur Anzeige virtueller Objekte Download PDF

Info

Publication number
DE102019207489A1
DE102019207489A1 DE102019207489.8A DE102019207489A DE102019207489A1 DE 102019207489 A1 DE102019207489 A1 DE 102019207489A1 DE 102019207489 A DE102019207489 A DE 102019207489A DE 102019207489 A1 DE102019207489 A1 DE 102019207489A1
Authority
DE
Germany
Prior art keywords
node
information
section
machine configuration
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019207489.8A
Other languages
English (en)
Inventor
Nobuhito OONISHI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE102019207489A1 publication Critical patent/DE102019207489A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/182Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by the machine tool function, e.g. thread cutting, cam making, tool direction control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G05B19/195Controlling the position of several slides on one axis
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4069Simulating machining process on screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/33Director till display
    • G05B2219/33304Display of diagnostic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Numerical Control (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Ein virtuelles Objekt wird mit einer einfachen Methode angezeigt. Ein Graph-Erzeugungsabschnitt 111 erzeugt, wie die Maschinenkonfiguration eines Steuerungsziels, ein Diagramm, in dem Bestandteile, die eine Kamera umfassen, Knoten sind, ein Knotenauswahlbereich 211 wählt einen Knoten aus, auf dem ein virtuelles Objekt angezeigt werden soll, ein Auswahlknoten-Benachrichtigungsabschnitt 212 benachrichtigt den Knoten, auf dem das virtuelle Objekt angezeigt werden soll, an eine Maschinenkonfigurationsverwaltungsvorrichtung 100, ein Transformationsinformations-Berechnungsabschnitt 115 berechnet Transformationsinformationen, die als Variable umfassen, einen Koordinatenwert eines Steuerachsknotens auf einem Weg in der Grafik von einem Kameraknoten zum Knoten eines Anzeigeziels, der zum Berechnen der Position und/oder der Haltung des Knotens des Anzeigeziels in einem Koordinatensystem des Kameraknotens basierend auf der Grafik verwendet wird, einen Transformationsinformations-Meldeabschnitt 116, der die Transformationsinformationen an eine erweiterte Informationssteuerung benachrichtigt, und einen Koordinateninformations-Transformationsabschnitt 213, der den Koordinatenwert einer Steuerachse transformiert, die in die Position und/oder die Haltung des Knotens des Anzeigeziels im Koordinatensystem des Kameraknotens gemeldet wird.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf ein System zur Anzeige virtueller Objekte zur Durchführung einer Simulation mit der Technologie von AR (Augmented Reality) und MR (Mixed Reality).
  • Verwandte Technik
  • Üblicherweise werden im Bereich der durch numerische Steuerungen gesteuerten Werkzeugmaschinen Werkstücke und Einrichtungen mittels CAD (Computer Aided Design) oder ähnlichem konstruiert. Die konstruierte Einrichtung wird verwendet, so dass ein Bearbeitungsprogramm zur Bearbeitung des Werkstücks erstellt wird. Anschließend wird die Werkzeugmaschine von der numerischen Steuerung basierend auf dem Bearbeitungsprogramm gesteuert und damit die Bearbeitung des Werkstücks realisiert.
  • Hier wird in der Regel eine Bearbeitungssimulation durchgeführt, bevor die Einrichtung und das konstruierte Werkstück und das Bearbeitungsprogramm tatsächlich in eine Fertigungslinie eingebracht werden, um deren Eignung zu überprüfen.
  • Wenn diese Bearbeitungssimulation durch eine Funktionsprüfung mit einer realen Maschine durchgeführt wird, kann die Bearbeitungssimulation natürlich erst nach Fertigstellung einer tatsächlichen Einrichtung durchgeführt werden. Daher wird der Prozess nachteilig angehalten, bis die Einrichtung fertig ist.
  • Wenn zum Zeitpunkt der Betriebskontrolle nach Fertigstellung der Einrichtung ein Problem wie beispielsweise Störungen festgestellt werden und es daher notwendig ist, das Design der Einrichtung zu ändern, wird der Prozess weiter ausgebaut. Außerdem sind Kosten für die Änderung des Designs der Einrichtung erforderlich. Wenn die Konstruktion der Einrichtung nicht geändert wird, muss das Bearbeitungsprogramm geändert werden, und in diesem Fall kann eine für die Bearbeitung erforderliche Zykluszeit über die ursprüngliche Zykluszeit hinaus verlängert werden.
  • Unter Berücksichtigung dieser Probleme gibt es eine Technologie, bei der die Funktionsprüfung nicht mit der eigentlichen Maschine durchgeführt wird, sondern die Bearbeitungssimulation virtuell durch Berechnungen mit einem Personalcomputer oder dergleichen. So werden beispielsweise bei einer in Patentdokument 1 offenbarten Technologie alle Strukturen in Werkzeugmaschinen in virtuelle Objekte umgewandelt und somit eine Bearbeitungssimulation durchgeführt.
  • In der in Patentdokument 1 offenbarten Technologie ist es jedoch notwendig, nicht nur virtuelle Objekte für ein Werkstück und eine Einrichtung, sondern auch virtuelle Objekte für die gesamte Maschine aus einer Vielzahl von Arten von einzelnen Werkzeugmaschinen herzustellen. Darüber hinaus ist es notwendig, die Operationsverarbeitung in die virtuellen Objekte der beweglichen Teile der Werkzeugmaschinen einzubauen, um den Betrieb der eigentlichen Werkzeugmaschinen zu reproduzieren. Mit anderen Worten, nachteilig ist es nicht einfach, die virtuellen Objekte zu produzieren.
  • Darüber hinaus wird selbst bei der Herstellung der oben beschriebenen virtuellen Objekte, wenn die Reproduzierbarkeit der virtuellen Objekte gering ist, eine Differenz zur Realität nachteilig erzeugt.
  • Eine Technologie, die die oben beschriebenen Probleme mit virtuellen Objekten berücksichtigt, ist in Patentdokument 2 offenbart. In der in Patentdokument 2 offenbarten Technologie wird das Innere einer Werkzeugmaschine mit Kamerabildern erfasst und als Merkmalspunkt ein Werkzeughalteabschnitt oder ein zuvor registrierter Werkstückhalteabschnitt extrahiert. Anschließend wird das virtuelle Objekt des Werkzeugs oder des zuvor registrierten Werkstücks überlagert und je nach Position des Merkmalspunktes auf dem Bild der tatsächlich aufgenommenen Werkzeugmaschine angezeigt. Auf diese Weise ist es nicht notwendig, das virtuelle Objekt der Werkzeugmaschine zu erzeugen. Die dem tatsächlich im realen Raum vorhandenen Objekt überlagerte Information wird im Folgenden als „erweiterte Information“ bezeichnet.
    • Patentdokument 1: Japanisches Patent Nr. 4083554
    • Patentdokument 2: Japanisches Patent Nr. 5384178
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Es ist jedoch notwendig, die Aufnahmerichtung der Kamera auf eine vorgegebene Richtung festzulegen, und eine weitere Extraktion der charakteristischen Punkte wird erforderlich.
  • Daher ist ein Objekt der vorliegenden Erfindung, ein System zur Anzeige virtueller Objekte bereitzustellen, das ein virtuelles Objekt mit einem einfachen Verfahren anzeigen kann.
  • (1) Ein System zur Anzeige virtueller Objekte (beispielsweise ein System zur Anzeige virtueller Objekte 10, das später beschrieben wird) nach der vorliegenden Erfindung, das eine Maschinenkonfigurationsverwaltungsvorrichtung (beispielsweise eine Maschinenkonfigurationsverwaltungsvorrichtung 100, die später beschrieben wird) und eine erweiterte Informationssteuerung (beispielsweise eine erweiterte Informationssteuerung 200, die später beschrieben wird) umfasst, wobei die Maschinenkonfigurationsverwaltungsvorrichtung einen Graph-Erzeugungsabschnitt (beispielsweise einen später beschriebenen Graph-Erzeugungsabschnitt 111), einen Steuerpunktkoordinatensystem-Einfügungsabschnitt (beispielsweise einen später beschriebenen Steuerpunktkoordinatensystem-Einfügungsabschnitt 113) umfasst, einen Knoteninformationsmeldeabschnitt (beispielsweise einen Knoteninformationsmeldeabschnitt 114, der später beschrieben wird), einen Transformationsinformations-Berechnungsabschnitt (beispielsweise einen Transformationsinformations-Berechnungsabschnitt 115, der später beschrieben wird) und einen Transformationsinformations-Meldeabschnitt (beispielsweise einen Transformationsinformations-Meldeabschnitt 116, der später beschrieben wird), und in dem die erweiterte Informationssteuerung einen Knotenauswahlabschnitt (beispielsweise einen Knotenauswahlabschnitt 211, der später beschrieben wird), einen Auswahlknotenmeldeabschnitt (beispielsweise einen Auswahlknotenmeldeabschnitt 212, der später beschrieben wird) und einen Koordinateninformationstransformationsabschnitt (beispielsweise) umfasst, einen Koordinaten-Informationstransformationsabschnitt 213, der später beschrieben wird), wobei der Graph-Erzeugungsabschnitt als Maschinenkonfiguration eines Steuerungsziels ein Diagramm erzeugt, in dem Bestandteile, die eine Kamera umfassen, Knoten sind, wobei der Steuerpunkt-Koordinatensystem-Einfügungsabschnitt einen Steuerpunkt und ein Koordinatensystem in das Diagramm einfügt, der Knoteninformationsmeldeabschnitt benachrichtigt Informationen über einen Knoten, die der erweiterten Informationssteuerung angezeigt werden können, der Knotenauswahlbereich wählt einen Knoten aus, auf dem ein virtuelles Objekt angezeigt werden soll, der Auswahlknotenmeldeabschnitt benachrichtigt den Knoten, auf dem das virtuelle Objekt angezeigt werden soll, an die Maschinenkonfigurationsverwaltungsvorrichtung, der Transformationsinformations-Berechnungsabschnitt Transformationsinformationen berechnet, die als Variable einen Koordinatenwert eines Steuerachsknotens auf einem Weg in der Grafik von einem Kameraknoten zu einem Knoten eines Anzeigeziels umfassen und die zum Berechnen einer Position und/oder einer Haltung des Knotens des Anzeigeziels in einem Koordinatensystem des Kameraknotens basierend auf der Grafik verwendet werden, der Transformationsinformations-Meldeabschnitt die Transformationsinformationen an die erweiterte Informationssteuerung benachrichtigt und der Koordinateninformations-Transformationsabschnitt die Transformationsinformationen verwendet, um den Koordinatenwert einer Steuerachse, die benachrichtigt wird, in die Position und/oder die Haltung des Knotens des Anzeigeziels im Koordinatensystem des Kameraknotens zu transformieren.
  • (2) Vorzugsweise umfasst das System zur Anzeige virtueller Objekte (beispielsweise ein System zur Anzeige virtueller Objekte 10, das später beschrieben wird) gemäß (1) weiterhin eine Anzeigevorrichtung (beispielsweise eine Anzeigevorrichtung 300, die später beschrieben wird), wobei die erweiterte Informationssteuerung (beispielsweise eine erweiterte Informationssteuerung 200, die später beschrieben wird) weiterhin umfasst: einen erweiterten Informationsanzeige-Datenberechnungsabschnitt (beispielsweise einen erweiterten Informationsanzeige-Datenberechnungsabschnitt 214, der später beschrieben wird), der basierend auf der Position und/oder der Haltung des Knotens des Anzeigeziels im Koordinatensystem des Kameraknotens erweiterte Informationsanzeige-Daten zum Berechnen des virtuellen Objekts mit der Anzeigevorrichtung als erweiterte Information berechnet; und einen erweiterten Informationsanzeige-Datenbenachrichtigungsabschnitt (beispielsweise einen erweiterten Informationsanzeige-Datenbenachrichtigungsabschnitt 215, der später beschrieben wird), der die erweiterten Informationsanzeige-Daten an die Anzeigevorrichtung mitteilt.
  • (3) Vorzugsweise wandelt der Koordinateninformations-Transformationsabschnitt (beispielsweise ein Koordinateninformations-Transformationsabschnitt 213, der später beschrieben wird) in dem virtuellen Objektanzeigesystem (beispielsweise ein System zur Anzeige virtueller Objekte 10, das später beschrieben wird) als Koordinatenwert der Steuerachse einen von einer numerischen Steuerung (beispielsweise eine numerische Steuerung 150, die später beschrieben wird) empfangenen Koordinatenwert in die Position und/oder die Haltung des Knotens des Anzeigeziels im Koordinatensystem des Kameraknotens um.
  • (4) Vorzugsweise umfasst die erweiterte Informationssteuerung (beispielsweise eine erweiterte Informationssteuerung 200, die später beschrieben wird) in dem virtuellen Objektanzeigesystem (beispielsweise ein System zur Anzeige virtueller Objekte 10, das später beschrieben wird) gemäß einer der Absätze (1) bis (3) weiterhin einen Speicherabschnitt (beispielsweise einen Speicherabschnitt 220, der später beschrieben wird) mit Daten der Grafik.
  • (5) Vorzugsweise umfasst das System zur Anzeige virtueller Objekte (beispielsweise ein System zur Anzeige virtueller Objekte 10, das später beschrieben wird) gemäß einer der Absätze (1) bis (4) des Weiteren einen Server, der Daten des Graphen speichert.
  • (6) Vorzugsweise ist in dem virtuellen Objektanzeigesystem (beispielsweise einem virtuellen Objektanzeigesystem 10, das später beschrieben wird) gemäß einem der (1) bis (5) die Maschinenkonfigurationsverwaltungsvorrichtung (beispielsweise eine Maschinenkonfigurationsverwaltungsvorrichtung 100, die später beschrieben wird) mit einer numerischen Steuerung (beispielsweise eine numerische Steuerung 150, die später beschrieben wird) einer Werkzeugmaschine (beispielsweise eine Werkzeugmaschine 400, die später beschrieben wird) integriert.
  • (7) Vorzugsweise ist in dem virtuellen Objektanzeigesystem (beispielsweise einem virtuellen Objektanzeigesystem 10, das später beschrieben wird) gemäß einem der (1) bis (5) die Maschinenkonfigurationsverwaltungsvorrichtung (beispielsweise eine Maschinenkonfigurationsverwaltungsvorrichtung 100, die später beschrieben wird) in einer Cloud vorhanden.
  • Nach der vorliegenden Erfindung ist es möglich, ein virtuelles Objekt mit einem einfachen Verfahren darzustellen.
  • Figurenliste
    • 1 ist ein Blockdiagramm, das eine Grundkonfiguration einer gesamten Ausführungsform der vorliegenden Erfindung darstellt;
    • 2 ist ein Funktionsblockdiagramm einer Maschinenkonfigurationsverwaltungsvorrichtung 100 gemäß der Ausführungsform der vorliegenden Erfindung;
    • 3 ist ein Funktionsblockdiagramm einer numerischen Steuerung 150 gemäß der Ausführungsform der vorliegenden Erfindung;
    • 4 ist ein Funktionsblockdiagramm einer erweiterten Informationssteuerung 200 gemäß der Ausführungsform der vorliegenden Erfindung;
    • 5 ist ein veranschaulichendes Diagramm eines Verfahrens zum Erzeugen eines Maschinenkonfigurationsbaums in der Ausführungsform der vorliegenden Erfindung;
    • 6 ist ein veranschaulichendes Diagramm des Verfahrens zum Erzeugen des Maschinenkonfigurationsbaums in der Ausführungsform der vorliegenden Erfindung;
    • 7 ist ein veranschaulichendes Diagramm des Verfahrens zum Erzeugen des Maschinenkonfigurationsbaums in der Ausführungsform der vorliegenden Erfindung;
    • 8 ist ein Flussdiagramm, das das Verfahren zum Erzeugen des Maschinenkonfigurationsbaums in der Ausführungsform der vorliegenden Erfindung zeigt;
    • 9A ist ein veranschaulichendes Diagramm einer Eltern-Kind-Beziehung der Bestandteile einer Maschine in der Ausführungsform der vorliegenden Erfindung;
    • 9B ist ein veranschaulichendes Diagramm der Eltern-Kind-Beziehung der Bestandteile einer Maschine in der Ausführungsform der vorliegenden Erfindung;
    • 10A ist ein veranschaulichendes Diagramm eines Verfahrens zum Einfügen einer Einheit in den Maschinenkonfigurationsbaum;
    • 10B ist ein veranschaulichendes Diagramm des Verfahrens zum Einfügen der Einheit in den Maschinenkonfigurationsbaum;
    • 10C ist ein veranschaulichendes Diagramm des Verfahrens zum Einfügen der Einheit in den Maschinenkonfigurationsbaum;
    • 11 ist ein Diagramm, das ein Beispiel für eine Maschinenkonfiguration gemäß der Ausführungsform der vorliegenden Erfindung zeigt;
    • 12A ist ein Diagramm, das ein Beispiel für die Maschine zeigt, die ein Ziel für die Erstellung des Maschinenkonfigurationsbaums ist;
    • 12B ist ein Diagramm, das ein Beispiel für einen Maschinenkonfigurationsbaum zeigt, der der Maschine entspricht, die das Ziel für die Erstellung des Maschinenkonfigurationsbaums ist;
    • 13 ist ein Diagramm, das ein Beispiel zeigt, bei dem in jedem Knoten der Maschine in der Ausführungsform der vorliegenden Erfindung ein Koordinatensystem und ein Steuerpunkt eingefügt sind;
    • 14 ist ein Diagramm mit einem Beispiel für den Maschinenkonfigurationsbaum, in dem die Koordinatensysteme und die Steuerpunkte in die Ausführungsform der vorliegenden Erfindung eingefügt sind;
    • 15A ist ein Diagramm, das ein Beispiel für die Maschine zeigt, bei der in jedem Knoten in der Ausführungsform der vorliegenden Erfindung ein Versatz und eine Haltungsmatrix eingefügt sind;
    • 15B ist ein Diagramm, das ein Beispiel zeigt, bei dem der Versatz und die Haltungsmatrix in jeden Knoten in der Maschine in der Ausführungsform der vorliegenden Erfindung eingefügt werden;
    • 16 ist ein Diagramm, das einen Arbeitsablauf zum Einfügen der Kontrollstelle in den Maschinenkonfigurationsbaum in der Ausführungsform der vorliegenden Erfindung darstellt;
    • 17 ist ein Diagramm mit einem Beispiel für den Maschinenkonfigurationsbaum, in den die Koordinatensysteme und die Steuerpunkte in die Ausführungsform der vorliegenden Erfindung eingefügt sind;
    • 18 ist ein Diagramm, das ein Beispiel für Informationen zeigt, die verwendet werden, wenn Transformationsinformationen in der Ausführungsform der vorliegenden Erfindung erzeugt werden;
    • 19 ist ein Diagramm, das ein Beispiel für die Informationen zeigt, die verwendet werden, wenn die Transformationsinformationen in der Ausführungsform der vorliegenden Erfindung erzeugt werden;
    • 20 ist ein Diagramm, das einen Betriebsablauf eines Verfahrens zur Darstellung eines virtuellen Objekts in der Ausführungsform der vorliegenden Erfindung darstellt;
    • 21A ist ein Diagramm, das ein Beispiel für die Ausführungsform der vorliegenden Erfindung darstellt;
    • 21B ist ein Diagramm, das das Beispiel für die Ausführungsform der vorliegenden Erfindung zeigt;
    • 22A ist ein Diagramm, das das Beispiel für die Ausführungsform der vorliegenden Erfindung zeigt; und
    • 22B ist ein Diagramm, das das Beispiel für die Ausführungsform der vorliegenden Erfindung zeigt.
  • AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
  • <Konfiguration des Systems zur Anzeige virtueller Objekte >
  • Eine Ausführungsform der vorliegenden Erfindung wird dann anhand von Zeichnungen ausführlich beschrieben. Die Konfiguration der gesamten vorliegenden Ausführungsform wird zunächst mit Bezug auf 1 beschrieben.
  • Ein System zur Anzeige virtueller Objekte 10 gemäß der vorliegenden Ausführungsform umfasst eine Maschinenkonfigurationsverwaltungsvorrichtung 100, eine numerische Steuerung 150, eine erweiterte Informationssteuerung 200, eine drahtlose Kommunikationsvorrichtung 250, eine Anzeigevorrichtung 300 und eine Werkzeugmaschine 400.
  • Die Maschinenkonfigurationsverwaltungsvorrichtung 100 ist eine für die vorliegende Ausführungsform spezifische Vorrichtung, erzeugt ein Diagramm (im Folgenden auch „Maschinenkonfigurationsbaum“ genannt), in dem die Bestandteile der Werkzeugmaschine 400 Knoten sind und verwendet das Diagramm zur Verwaltung einer Maschinenkonfiguration, und so kann die später beschriebene erweiterte Informationssteuerung 200 eine Steuerung durch Verwendung von Daten der Maschinenkonfiguration basierend auf dem Maschinenkonfigurationsbaum durchführen.
  • Genauer gesagt, verwendet die Maschinenkonfigurationsverwaltungsvorrichtung 100 ein unter <5. Erzeugen eines Maschinenkonfigurationsbaums> beschriebenes Verfahren, das später beschrieben wird, um den Maschinenkonfigurationsbaum zu erzeugen, der die Konfiguration der Werkzeugmaschine 400 darstellt, und der zusätzlich die Kamera als Knoten des Maschinenkonfigurationsbaums nach dem in <5. Erzeugung des Maschinenkonfigurationsbaums> beschriebenen Verfahren registriert, das später beschrieben wird. Da der Maschinenkonfigurationsbaum gegenseitige Positionsbeziehungsinformationen der einzelnen Knoten hat, wird die Kamera als Knoten im Maschinenkonfigurationsbaum aufgenommen und somit in der erweiterten Informationssteuerung 200, die später beschrieben wird, für alle Knoten im Maschinenkonfigurationsbaum das Verhältnis von Position/Haltung zur Kamera gefunden. Die ausführliche Konfiguration der Maschinenkonfigurationsverwaltungsvorrichtung 100 wird später anhand von 2 beschrieben.
  • Die numerische Steuerung 150 ist eine Vorrichtung, die eine Funktion als allgemeine numerische Steuerung und eine Funktion der Kommunikation mit der Maschinenkonfigurationsverwaltungsvorrichtung 100 aufweist. Die numerische Steuerung 150 ist mit der Werkzeugmaschine 400 verbunden, um mit ihr kommunizieren zu können. Die numerische Steuerung 150 verwendet die Bewegungsmengen der einzelnen Steuerachsen, die auf der Grundlage eines Bearbeitungsprogramms ausgegeben werden, das in die numerische Steuerung 150 selbst integriert ist, und steuert dadurch die Werkzeugmaschine 400, um ein Werkstück zu bearbeiten.
  • Die numerische Steuerung 150 gibt an die erweiterte Informationssteuerung 200 die Bewegungsmengen der einzelnen Steuerachsen aus, die basierend auf dem Bearbeitungsprogramm ausgegeben werden. Wie vorstehend beschrieben, gibt die numerische Steuerung 150 die Bewegungsmengen sowohl an die Maschinenkonfigurationsverwaltungsvorrichtung 100 als auch an die Werkzeugmaschine 400 aus. In diesem Punkt kann die Ausgabe der Bewegungsmengen von der numerischen Steuerung 150 zur Maschinenkonfigurationsverwaltungsvorrichtung 100 synchron oder asynchron mit der Ausgabe der Bewegungsmengen von der numerischen Steuerung 150 zur Werkzeugmaschine 400 erfolgen. Die ausführliche Konfiguration der numerischen Steuerung 150 wird später anhand von 3 beschrieben.
  • Die erweiterte Informationssteuerungsvorrichtung 200 verwendet eine Augmented-Reality-Technologie, um die Anzeigeposition und den Anzeigewinkel eines virtuellen Objekts zu berechnen und damit die Steuerung für eine angemessene Anzeige des virtuellen Objekts durchzuführen. Die ausführliche Konfiguration der erweiterten Informationssteuerung 200 wird später anhand von 4 beschrieben.
  • Die Anzeigevorrichtung 300 erfasst das von der erweiterten Informationssteuerungsvorrichtung 200 ausgegebene virtuelle Objekt sowie die Anzeigeposition und -haltung. Basierend auf diesen erfassten Informationen wird dann das virtuelle Objekt auf der Anzeigevorrichtung 300 angezeigt. Diese gewonnenen Informationen werden zu Informationen, die dem Kamerakoordinatensystem entsprechen.
  • Die Werkzeugmaschine 400 ist eine allgemeine Werkzeugmaschine und bewegt/dreht die einzelnen Steuerachsen entsprechend den Bewegungsbeträgen der einzelnen Steuerachsen, die von der numerischen Steuerung 150 ausgegeben werden. Darüber hinaus gibt die an der Werkzeugmaschine 400 befestigte Kamera die durch die Fotografie erfassten Informationen an die erweiterte Informationssteuerungsvorrichtung 200 aus.
  • In der vorliegenden Ausführungsform verweist ein Benutzer in der oben beschriebenen Konfiguration auf das nach einem Kamerakoordinatensystem angezeigte virtuelle Objekt auf der Anzeige der Anzeigevorrichtung 300 und verweist über die Anzeige auch auf die tatsächliche Struktur der Werkzeugmaschine 400, die entsprechend den Bewegungsumfängen der einzelnen Steuerachsen bewegt wird. Auf diese Weise kann der Anwender beobachten, wie eine Bearbeitungssimulation durchgeführt wird.
  • Die in 1 dargestellte Konfiguration ist nur ein Beispiel. So kann sie beispielsweise so konfiguriert werden, dass sie die Anzeigevorrichtung 300 über ein Tablett-Terminal realisiert. Ein Teil oder die Gesamtheit der Funktionen der Maschinenkonfigurationsverwaltungsvorrichtung 100 kann in die numerische Steuerung 150 integriert werden. Ein Teil oder die Gesamtheit der Funktionen der erweiterten Informationssteuerung 200 kann in die Anzeigevorrichtung 300 oder die numerische Steuerung 150 integriert werden. Obwohl die erweiterte Informationssteuerung 200 durch eine einzige Vorrichtung realisiert werden kann, kann die erweiterte Informationssteuerung 200 durch eine Kombination aus einer Vielzahl von Vorrichtungen realisiert werden. Obwohl die erweiterte Informationssteuerung 200 durch eine Vorrichtung realisiert werden kann, die in der Nähe der numerischen Steuerung 150 oder der Werkzeugmaschine 400 installiert ist, kann die erweiterte Informationssteuerung 200 durch eine Servervorrichtung oder dergleichen realisiert werden, die weit entfernt von der numerischen Steuerung 150 oder der Werkzeugmaschine 400 über ein Netzwerk installiert ist. Darüber hinaus können einzelne Kommunikationsverbindungen drahtgebundene Verbindungen oder drahtlose Verbindungen sein. Obwohl beispielsweise in der Abbildung das Beispiel dargestellt ist, bei dem die Kommunikationsverbindungen der Maschinenkonfigurationsverwaltungsvorrichtung 100, der numerischen Steuerung 150 und der erweiterten Informationssteuerung 200 über eine drahtgebundene Verbindung gemäß Ethernet (eingetragenes Warenzeichen) erfolgen, können die Verbindungen drahtlos sein.
  • <Konfiguration der Maschinenkonfigurationsverwaltungsvorrichtung>.
  • 2 ist ein Funktionsblockdiagramm der Maschinenkonfigurationsverwaltungsvorrichtung 100. Die Maschinenkonfigurationsverwaltungsvorrichtung 100 umfasst einen Steuerabschnitt 110 und einen Speicherabschnitt 120, der Steuerabschnitt 110 umfasst einen Graph-Erzeugungsabschnitt 111, einen Steuerpunktkoordinatensystem-Einfügungsabschnitt 113, einen Knoteninformations-Nachrichtenabschnitt 114, einen Transformationsinformations-Berechnungsabschnitt 115 und einen Transformationsinformations-Meldeabschnitt 116 und der Graph-Erzeugungsabschnitt 111 umfasst einen Knotenadditionsbereich 112.
  • Der Steuerabschnitt 110 ist ein Prozessor, der die Maschinenkonfigurationsverwaltungsvorrichtung 100 umfassend steuert. Der Steuerabschnitt 110 liest über einen Bus ein Systemprogramm und ein in einem ROM gespeichertes Anwendungsprogramm (nicht gezeigt) und realisiert gemäß dem Systemprogramm und dem Anwendungsprogramm die Funktionen des Graph-Erstellungsabschnitts 111, des Knotenadditionsbereichs 112, des Steuerpunktkoordinatensystem-Einfügungsabschnitts 113, des Knoteninformationsmeldeabschnitts 114, des Transformationsinformations-Berechnungsabschnitts 115 und des Transformationsinformations-Meldeabschnitts 116, der in dem Steuerabschnitt 110 enthalten ist.
  • Der Graph-Erzeugungsabschnitt 111 erzeugt in grafischer Form die Maschinenkonfiguration der Werkzeugmaschine 400 einschließlich einer Kamera. Darüber hinaus fügt der Knotenadditionsbereich 112, der in dem Graph-Erzeugungsabschnitt 111 enthalten ist, Knoten zu dem erzeugten Diagramm hinzu. Die ausführliche Funktionsweise wird im Folgenden unter „5. Erzeugung des Maschinenkonfigurationsbaums“ ausführlich beschrieben.
  • Der Steuerpunktkoordinatensystem-Einfügungsabschnitt 113 des Steuerpunktkoordinatensystems fügt einen Steuerpunkt und ein Koordinatensystem in das Diagramm der Maschinenkonfiguration ein. Die genaue Funktionsweise wird im Folgenden unter „6. automatisches Einfügen von Steuerpunkt und Koordinatenwert“ ausführlich beschrieben.
  • Der Knoteninformationsmeldeabschnitt 114 benachrichtigt die erweiterte Informationssteuerung 200, die später beschrieben wird, über Informationen von Knoten, die angezeigt werden können.
  • Wie später beschrieben, empfängt der Transformationsinformations-Berechnungsabschnitt 115 eine Benachrichtigung über einen Knoten, auf dem das virtuelle Objekt angezeigt werden soll, von einem Auswahlknoten-Benachrichtigungsabschnitt 212 der erweiterten Informationssteuerung 200 und berechnet anschließend Transformationsinformationen, die als Variable einen Koordinatenwert eines Steuerachsenknotens auf einem Weg von einem Kameraknoten zu einem Knoten eines Anzeigeziels umfassen und die zur Berechnung der Position und/oder der Position des Knotens jedes Anzeigeziels im Koordinatensystem des Kameraknotens basierend auf dem Diagramm verwendet werden. Die vorstehend beschriebenen Transformationsinformationen können eine Matrixform, eine Vektorform oder eine Rollneigungs-Gierform aufweisen. Die ausführliche Funktionsweise wird im Folgenden unter „7. Berechnung von Transformationsinformationen“ ausführlich beschrieben.
  • Der Transformationsinformations-Meldeabschnitt 116 benachrichtigt die von dem Transformationsinformations-Berechnungsabschnitt 115 berechnete Transformationsinformation an einen Koordinateninformations-Transformationsabschnitt 213 der erweiterten Informationssteuerung 200.
  • Der Speicherabschnitt 120 speichert Informationen über den Maschinenkonfigurationsbaum, der durch den Graph-Erzeugungsabschnitt 111 erzeugt wird.
  • Die ausführlichen Operationen des Graph-Erstellungsabschnitts 111, des Knoteninformationsmeldeabschnitts 114, des Transformationsinformations-Berechnungsabschnitts 115, des Transformationsinformations-Meldeabschnitts 116 und des Speicherabschnitts 120 werden im Folgenden unter „8. Verfahren zur Anzeige eines virtuellen Objekts“ ausführlich beschrieben.
  • <Konfiguration der numerischen Steuerung>
  • 3 ist ein Funktionsblockdiagramm der numerischen Steuerung 150. Die numerische Steuerung 150 umfasst einen Steuerabschnitt 160, und der Steuerabschnitt 160 umfasst einen Koordinateninformationsmeldeabschnitt 161 und einen Servomotorsteuerabschnitt 162.
  • Der Steuerabschnitt 160 ist ein Prozessor, der die numerische Steuerung 150 umfassend steuert. Der Steuerabschnitt 160 liest über einen Bus ein Systemprogramm und ein im ROM gespeichertes Anwendungsprogramm (nicht gezeigt) und realisiert gemäß dem Systemprogramm und dem Anwendungsprogramm die Funktionen des Koordinatendaten-Benachrichtigungsabschnitts 161 und des im Steuerabschnitt 160 enthaltenen Servomotorsteuerabschnitts 162.
  • Der Koordinateninformationsmeldeabschnitt 161 benachrichtigt Koordinateninformationen der zu bedienenden Werkzeugmaschine 400 an den Koordinateninformationstransformationsbereich 213 der erweiterten Informationssteuerung 200. Der Servomotorsteuerabschnitt 162 empfängt einen Bewegungsbefehlsbetrag jeder Achse vom Steuerabschnitt 160 und gibt den Befehl jeder Achse an einen Servomotor (nicht dargestellt) aus.
  • Obwohl die numerische Steuerung 150 andere Bestandteile umfasst, die in einer normalen numerischen Steuerung enthalten sind, um eine numerische Steuerung an der Werkzeugmaschine 400 durchzuführen, entfällt die Beschreibung derselben.
  • <Konfiguration der erweiterten Informationssteuerung>.
  • 4 ist ein Funktionsblockdiagramm der erweiterten Informationssteuerung 200. Die erweiterte Informationssteuerung 200 umfasst einen Steuerabschnitt 210 und einen Speicherabschnitt 220, und der Steuerabschnitt 210 umfasst einen Knotenauswahlbereich 211, den Auswahlknoten-Benachrichtigungsabschnitt 212, den Koordinateninformationstransformationsbereich 213, einen erweiterten Informationsanzeige-Datenberechnungsabschnitt 214 und einen erweiterten Informationsanzeige-Datenbenachrichtigungsabschnitt 215.
  • Der Steuerabschnitt 210 ist ein Prozessor, der die erweiterte Informationssteuerung 200 umfassend steuert. Der Steuerabschnitt 210 liest über einen Bus ein Systemprogramm und ein im ROM gespeichertes Anwendungsprogramm (nicht gezeigt) und realisiert gemäß dem Systemprogramm und dem Anwendungsprogramm die Funktionen des Knotenauswahlabschnitts 211, des Auswahlknoten-Benachrichtigungsabschnitts 212, des Koordinateninformationstransformationsbereichs 213, des erweiterten Informationsanzeige-Datenberechnungsabschnitts 214 und des erweiterten Informationsanzeige-Datenbenachrichtigungsabschnitts 215, der im Steuerabschnitt 210 enthalten ist.
  • Der Knotenauswahlbereich 211 wählt einen Knoten aus, auf dem das virtuelle Objekt angezeigt werden soll.
  • Der Auswahlknoten-Benachrichtigungsabschnitt 212 benachrichtigt den durch den Knotenauswahlabschnitt 211 ausgewählten Knoten an den Transformationsinformations-Berechnungsabschnitt 115 der Maschinenkonfigurationsverwaltungsvorrichtung 100.
  • Der Koordinaten-Informationstransformationsbereich 213 berechnet die Position und/oder die Haltung des virtuellen Objekts im Kamerakoordinatensystem aus dem Koordinatenwert jeder Steuerachse, die periodisch von der numerischen Steuerung 150 empfangen wird, basierend auf den von der Maschinenkonfigurationsverwaltungsvorrichtung 100 empfangenen Transformationsinformationen.
  • Der Erweiterte Informationsanzeige-Datenberechnungsabschnitt 214 berechnet, basierend auf der Technologie von AR, MR oder dergleichen, erweiterte Informationsanzeige-Daten zum Anzeigen der erweiterten Informationen des virtuellen Objekts und dergleichen. Insbesondere transformiert der erweiterte Informationsanzeige-Datenberechnungsabschnitt 214 die Position und/oder die Haltung des virtuellen Objekts im Kamerakoordinatensystem in die Position und/oder die Haltung im Bildschirmkoordinatensystem.
  • Der Benachrichtigungsabschnitt 215 für erweiterte Informationsanzeige-Daten überträgt die von dem Abschnitt 214 zur Berechnung der erweiterten Informationsanzeige-Daten berechneten erweiterten Informationsanzeige-Daten über die drahtlose Kommunikationsvorrichtung 250 an die Anzeigevorrichtung 300. Die erweiterten Informationsanzeige-Daten umfassen die Form und das Gleiche des virtuellen Objekts und die Anzeigeposition, den Anzeigewinkel und das Gleiche des virtuellen Objekts, das in Koordinatenwerte im Bildschirmkoordinatensystem umgewandelt wurde. Darüber hinaus kann die Übertragung der erweiterten Daten der Informationsanzeige drahtlos oder drahtgebunden erfolgen.
  • Der Speicherabschnitt 220 speichert Informationen über den Graph, der durch den Graph-Erzeugungsabschnitt 111 der Maschinenkonfigurationsverwaltungsvorrichtung 100 erzeugt wird.
  • Die ausführlichen Operationen des Knotenauswahlbereichs 211, des Auswahlknoten-Benachrichtigungsbereichs 212, des Koordinaten-Informationstransformationsbereichs 213, des erweiterten Informationsanzeige-Datenberechnungsabschnitts 214, des erweiterten Informationsanzeige-Datenbenachrichtigungsbereichs 215 und des Speicherabschnitts 220 werden im Folgenden unter „8. Verfahren zur Anzeige eines virtuellen Objekts“ ausführlich beschrieben.
  • <Erzeugung des Maschinenkonfigurationsbaums>
  • Die Maschinenkonfigurationsverwaltungsvorrichtung 100 gemäß der Ausführungsform der vorliegenden Erfindung erzeugt zunächst das Diagramm mit der Maschinenkonfiguration. Ein Verfahren zum Erzeugen eines Maschinenkonfigurationsbaums als Beispiel für die Grafik wird anhand der 5 bis 11 ausführlich beschrieben.
  • Als Beispiel wird das Verfahren zum Erzeugen des Maschinenkonfigurationsbaums beschrieben, der die Konfiguration einer in 5 dargestellten Maschine darstellt. In der Maschine von 5 wird davon ausgegangen, dass eine X-Achse senkrecht zu einer Z-Achse eingestellt ist, dass ein Werkzeug 1 in der X-Achse und ein Werkzeug 2 in der Z-Achse installiert ist. Andererseits wird davon ausgegangen, dass eine B-Achse auf eine Y-Achse eingestellt ist, dass eine C-Achse auf die B-Achse eingestellt ist und dass ein Werkstück 1 und ein Werkstück 2 in der C-Achse installiert sind. Im Folgenden wird das Verfahren zur Darstellung der Maschinenkonfiguration als Maschinenkonfigurationsbaum beschrieben.
  • Zunächst werden, wie in 6 dargestellt, nur ein Nullpunkt 201 und die Knoten 202A bis 202I angeordnet. In diesem Stadium besteht keine Verbindung zwischen dem Nullpunkt 201 und den Knoten 202 und zwischen den Knoten 202, und die Namen des Nullpunktes und der Knoten sind nicht gesetzt.
  • Anschließend werden die Achsnamen (Achstypen) der einzelnen Achsen, die Namen der einzelnen Werkzeuge, die Namen der einzelnen Werkstücke, die Namen der einzelnen Nullpunkte und die physikalischen Achsnummern (Achstypen) der einzelnen Achsen festgelegt. Anschließend werden die übergeordneten Knoten (Achstypen) der einzelnen Achsen, die übergeordneten Knoten der einzelnen Werkzeuge und die übergeordneten Knoten der einzelnen Werkstücke gesetzt. Abschließend werden die Kreuzversätze (Achstypen) der einzelnen Achsen, die Kreuzversätze der einzelnen Werkzeuge und die Kreuzversätze der einzelnen Werkstücke eingestellt. Dadurch wird der in 7 dargestellte Maschinenkonfigurationsbaum erzeugt.
  • Jeder Knoten des Maschinenkonfigurationsbaums ist nicht auf die oben beschriebenen Informationen beschränkt, und er kann Informationen enthalten, die sich beispielsweise auf einen Identifikator (Name), den Identifikator des übergeordneten Knotens selbst, die Identifikatoren aller Kindknoten, deren Eltern selbst es sind, einen relativen Versatz (Kreuzversatz) in Bezug auf den übergeordneten Knoten beziehen, einen relativen Koordinatenwert in Bezug auf den übergeordneten Knoten, eine relative Bewegungsrichtung (Einheitenvektor) in Bezug auf den übergeordneten Knoten, Knotentypen (Linearachse/Rundachse/Einheit (die später beschrieben wird)/Steuerpunkt/Koordinatensystem/Nullpunkt und dergleichen), die physikalische Achsnummer und die Transformationsformeln eines orthogonalen Koordinatensystems und eines physikalischen Koordinatensystems beziehen.
  • Wie vorstehend beschrieben, werden die Werte auf die einzelnen Knoten gesetzt, so dass innerhalb der Maschinenkonfigurationsverwaltungsvorrichtung 100 Daten erzeugt werden, die eine Datenstruktur in Form eines Maschinenkonfigurationsbaums aufweisen. Darüber hinaus wird auch beim Hinzufügen einer anderen Maschine (oder eines Roboters) ein Nullpunkt hinzugefügt, so dass es möglich ist, weitere Knoten hinzuzufügen.
  • Ein Flussdiagramm, das durch Verallgemeinerung des oben beschriebenen Verfahrens zum Erzeugen des Maschinenkonfigurationsbaums erhalten wurde, insbesondere das Verfahren zum Einstellen der Werte auf die einzelnen Knoten, ist in 8 dargestellt.
  • In Schritt S11 empfängt der Graph-Erzeugungsabschnitt 111 den Wert eines Parametersatzes für den Knoten. Wenn in Schritt S12 das Element des eingestellten Parameters „übergeordneter Knoten von sich selbst“ ist (ja in S12), wird die Verarbeitung an Schritt S13 übergeben. Wenn der Punkt des eingestellten Parameters nicht „übergeordneter Knoten von sich selbst“ (nein in S12) ist, wird die Verarbeitung an Schritt S17 übergeben.
  • Wenn in Schritt S13 bereits ein übergeordneter Knoten auf den Knoten gesetzt wurde, auf den der Parameter gesetzt ist (ja in S13), wird die Verarbeitung an Schritt S14 übergeben. Wenn ein übergeordneter Knoten nicht gesetzt wurde (Nr. in S13), wird die Verarbeitung an Schritt S15 übergeben.
  • In Schritt S14 löscht der Graph-Erzeugungsabschnitt 111 den Identifikator von sich selbst aus dem Element „Kindknoten“, das der aktuelle Elternknoten des Knotens besitzt, auf den der Parameter eingestellt ist, um den Maschinenkonfigurationsbaum zu aktualisieren.
  • In Schritt S15 setzt der Graph-Erzeugungsabschnitt 111 den Wert auf den entsprechenden Eintrag des Knotens, auf den der Parameter eingestellt ist.
  • In Schritt S16 fügt der Graph-Erzeugungsabschnitt 111 die Kennung von sich selbst zum Element „Kindknoten“ im übergeordneten Knoten hinzu, um den Maschinenkonfigurationsbaum zu aktualisieren, und danach ist der Ablauf abgeschlossen.
  • In Schritt S17 setzt der Graph-Erzeugungsabschnitt 111 den Wert auf den entsprechenden Eintrag des Knotens, auf den der Parameter eingestellt ist, und danach wird der Fluss abgeschlossen.
  • Es wird das Verfahren zum Erzeugen der Daten mit der Datenstruktur in Form des vorstehend beschriebenen Maschinenkonfigurationsbaums verwendet, so dass es möglich ist, eine Eltern-Kind-Beziehung der Bestandteile der Maschine einzustellen. Hier bezieht sich die Eltern-Kind-Beziehung auf eine Beziehung, in der beispielsweise, wenn, wie in 9A dargestellt, zwei Drehachsenknoten 504 und 505 vorhanden sind, eine Variation des Koordinatenwertes des Knotens 504 auf der einen Seite einseitig den geometrischen Zustand (typischerweise die Position und die Haltung) des Knotens 505 auf der anderen Seite beeinflusst. In diesem Fall sollen die Knoten 504 und 505 eine Eltern-Kind-Beziehung aufweisen, der Knoten 504 wird als Elternteil und der Knoten 505 als Kind bezeichnet. Allerdings ist beispielsweise, wie in 9B dargestellt, in einer Maschinenkonfiguration, die mit zwei Linearachsenknoten 502 und 503 und vier freien Gelenken 501 konfiguriert ist, ein Mechanismus vorhanden, bei dem als Koordinatenwert (Länge) eines der Knoten 502 und 503 variiert wird, nicht nur der geometrische Zustand des anderen Knotens, sondern auch der geometrische Zustand selbst variiert wird, d.h. die Knoten beeinflussen sich gegenseitig. In einem solchen Fall sind beide Eltern und Kinder, d.h. die Eltern-Kind-Beziehung kann als bidirektional betrachtet werden.
  • Wie vorstehend beschrieben, wird ein Mechanismus, bei dem eine Variation eines bestimmten Knotens den anderen Knoten beeinflusst, als eine Einheit betrachtet, diese Einheit wird in den Maschinenkonfigurationsbaum eingefügt und somit der gesamte Maschinenkonfigurationsbaum erzeugt. Wie in 10A dargestellt, weist die Einheit zwei Anschlusspunkte 510 und 520 auf, und wenn die Einheit wie in 10B, wie in 10C dargestellt, in den Maschinenkonfigurationsbaum eingefügt wird, wird der übergeordnete Knoten mit dem Anschlusspunkt 520 verbunden, und der untergeordnete Knoten wird mit dem Anschlusspunkt 510 verbunden. Die Einheit verfügt auch über eine Transformationsmatrix vom Anschlusspunkt 520 zum Anschlusspunkt 510. Diese Transformationsmatrix wird durch die Koordinatenwerte der einzelnen in der Einheit enthaltenen Knoten angezeigt. Wenn beispielsweise bei einer Maschinenkonfiguration, wie in 11 dargestellt, eine homogene Matrix, die die Position und die Haltung des Verbindungspunktes 520 angibt, als MA und eine homogene Matrix, die die Position und die Haltung des Verbindungspunktes 510 angibt, als MB angenommen wird, wird eine Transformationsformel zwischen den Matrizen unter Verwendung der Koordinatenwerte x1 und x2 der in der Einheit enthaltenen Linearachsenknoten wie folgt dargestellt. Wenn angenommen wird , dass θ = sin 1 ( x 1 2 x 2 2 4 L 1 L 2 ) L = L 1 cos θ + 0.5 x 1 2 + 0.5 x 2 2 L 2 2 L 1 2 sin 2 θ wird repräsentiert durch M B = T M A wobei T = ( s i n θ 0 c o s θ L c o s θ 0 1 0 0 c o s θ 0 s i n θ L s i n θ 0 0 0 1 )
    Figure DE102019207489A1_0001
  • Die Einheit, die diese Maschinenkonfiguration anzeigt, weist eine homogene Transformationsmatrix wie T in der vorstehend beschriebenen mathematischen Formel von [Formel 1] auf. Die homogene Matrix bezieht sich auf eine 4 ×4 4 Matrix, die zusammen die Position und die Haltung wie in der mathematischen Formel [Formel 2] unten darstellen kann. Lage Position ( cos θ sin θ 0 sin θ cos θ 0 0 0 1 x y z 0 0 0 1 )
    Figure DE102019207489A1_0002
  • Auch wenn die Eltern-Kind-Beziehung nicht gegenseitig ist, kann zur Berechnungsbearbeitung oder zur Vereinfachung einer Einstellung eine Einheit definiert und im Maschinenkonfigurationsbaum konfiguriert werden, in der zuvor eine Vielzahl von Knoten in einen integriert sind.
  • Wie vorstehend beschrieben, kann das Diagramm der Maschinenkonfiguration in der vorliegenden Ausführungsform als Bestandteil eine Einheit umfassen, in der eine Vielzahl von Achsen in eine integriert sind.
  • <Automatisches Einfügen von Steuerpunkt und Koordinatensystem>
  • Um als Steuerpunkte verschiedene Positionen in der Maschinenkonfiguration festzulegen und Koordinatensysteme an verschiedenen Stellen in der Maschinenkonfiguration einzustellen, wird das folgende Verfahren mit Hilfe des in der vorstehend beschriebenen „5. Erzeugen des Maschinenkonfigurationsbaums“ erzeugten Maschinenkonfigurationsbaums durchgeführt.
  • So ist beispielsweise bei einer in 12A dargestellten Rundtaktmaschine 350 eine X1 -Achse senkrecht zu einer Z1 -Achse und ein Werkzeug 1 in der X1 -Achse angeordnet. Eine X2-Achse ist senkrecht zu einer Z2-Achse eingestellt, und ein Werkzeug 2 ist auf der X2-Achse installiert. Weiterhin wird davon ausgegangen, dass in einem Tisch, auf einer C-Achse, eine C1-Achse und eine C2-Achse parallel eingestellt sind, und in der C1-Achse und der C2-Achse jeweils ein Werkstück 1 und ein Werkstück 2 installiert sind. Wenn diese Maschinenkonfiguration durch einen Maschinenkonfigurationsbaum dargestellt wird, wird der in 12B dargestellte Maschinenkonfigurationsbaum bereitgestellt.
  • In einem Beispiel einer Reihe von Knoten, die von einzelnen Werkstücken zum Maschinen-Nullpunkt führen, wie in 13 dargestellt, werden jeweils ein Koordinatensystem und ein Steuerpunkt automatisch in den Maschinen-Nullpunkt, die C-Achse, die C1-Achse, die C1-Achse, die C2-Achse, das Werkstück 1 und das Werkstück 2 eingefügt. Dies geschieht nicht nur auf dem Tisch, sondern auch auf der Knotenfolge, die von einzelnen Werkzeugen zum Maschinennullpunkt führt, d.h. auf der gesamten X1-Achse, der X2-Achse, der Z1-Achse, der Z2-Achse, dem Werkzeug 1 und dem Werkzeug 2. Folglich werden, wie in 14 dargestellt, in allen Knoten des Maschinenkonfigurationsbaums die Steuerpunkte und die den einzelnen Knoten entsprechenden Koordinatensysteme automatisch eingefügt. Normalerweise wird bei der Bearbeitung das Koordinatensystem im Werkstück und das Werkzeug als Steuerpunkt angegeben. Auf diese Weise ist es beispielsweise möglich, verschiedene Fälle zu bewältigen, wie beispielsweise einen Fall, in dem, um ein Werkstück selbst in eine vorgegebene Position zu bewegen, der Steuerpunkt im Werkstück festgelegt werden soll, und einen Fall, in dem, um mit einem bestimmten Werkzeug ein anderes Werkzeug zu polieren, das Koordinatensystem im Werkzeug selbst eingestellt werden soll.
  • Wie in 15A dargestellt, weist jeder der Steuerpunkte und die Koordinatensysteme einen Versatz auf. Somit kann ein von der Mitte des Knotens entfernter Punkt auf einen Steuerpunkt oder einen Koordinatensystem-Nullpunkt gesetzt werden. Darüber hinaus verfügt jeder der Steuerpunkte und die Koordinatensysteme über eine Haltungsmatrix. Wenn diese Haltungsmatrix die Haltungsmatrix des Steuerpunkts ist, zeigt sie die Haltung (die Richtung, die Neigung) des Steuerpunkts an, während, wenn diese Haltungsmatrix die Haltungsmatrix des Koordinatensystems ist, sie die Haltung des Koordinatensystems anzeigt. In einem in 15B dargestellten Maschinenkonfigurationsbaum werden der Versatz und die Haltungsmatrix so dargestellt, dass sie den entsprechenden Knoten zugeordnet sind. Darüber hinaus umfasst jeder der Steuerpunkte und die Koordinatensysteme Informationen darüber, ob die „Bewegung“ und der „Kreuzversatz“ des auf einem Weg bis zur Route des Maschinenkonfigurationsbaums vorhandenen Knotens einzeln hinzugefügt und eingestellt werden können.
  • Ein Flussdiagramm, das durch Verallgemeinerung des Verfahrens zum automatischen Einfügen des oben beschriebenen Steuerpunktes erhalten wurde, ist in 16 dargestellt. Konkret umfasst dieses Flussdiagramm ein Diagramm A und ein Diagramm B, und wie später beschrieben, wird das Diagramm B in der Mitte des Diagramms A durchgeführt.
  • Das Diagramm A wird zunächst beschrieben. In Schritt S21 legt der Graph-Erzeugungsabschnitt 111 einen Maschinenkonfigurationsbaum fest. In Schritt S22 wird das Diagramm B durchgeführt und der Ablauf des Diagramms A abgeschlossen.
  • Das Diagramm B wird dann beschrieben. In Schritt S31 des Diagramms B, wenn der Steuerpunkt und das Koordinatensystem in den Knoten eingefügt wurden (Ja in S31), ist der Ablauf abgeschlossen. Wenn der Steuerpunkt und das Koordinatensystem nicht in den Knoten eingefügt wurden (Nein in S31), wird die Verarbeitung an Schritt S32 übergeben.
  • In Schritt S32 fügt der Steuerpunktkoordinatensystem-Einfügungsabschnitt 113 den Steuerpunkt und das Koordinatensystem in den Knoten ein und stapelt eine Variable n um 1. Eine Einstellung wird so vorgenommen, dass n = 1 ist.
  • In Schritt S33, wenn der n-te Unterknoten im Knoten vorhanden ist (Ja in S33), wird die Verarbeitung an Schritt S34 übergeben. Wenn der n-te Unterknoten nicht im Knoten vorhanden ist (Nein in S33), wird die Verarbeitung an Schritt S36 übergeben.
  • In Schritt S34 wird auf dem n-ten Unterknoten das Diagramm B selbst rekursiv ausgeführt.
  • In Schritt S35 wird n um 1 erhöht, d.h. das Inkrement wird so durchgeführt, dass n = n + 1 ist, und die Verarbeitung wird zu Schritt S33 zurückgeführt.
  • In Schritt S36 wird die Variable n um 1 erhöht („popped by 1“) und der Durchfluss des Diagramms B abgeschlossen.
  • Nach dem vorstehend beschriebenen Verfahren fügt der Steuerpunkt-Steuerpunktkoordinatensystem-Einfügungsabschnitt 113 als Knoten die Steuerpunkte und die Koordinatensysteme in die einzelnen Knoten des Graphen in der Maschinenkonfiguration ein. Obwohl in der obigen Beschreibung das Beispiel beschrieben ist, in dem die Steuerpunkte und die Koordinatensysteme als Knoten hinzugefügt werden, ist auch eine Ausführungsform möglich, in der, wie in 17 dargestellt, der Steuerpunktkoordinatensystem-Einfügungsabschnitt 113 die einzelnen Knoten des Graphen in der Maschinenkonfiguration die Steuerpunkte und die Koordinatensysteme als Informationen umfasst.
  • <Berechnung von Transformationsinformationen>
  • Wie vorstehend beschrieben, berechnet der Transformationsinformations-Berechnungsabschnitt 115 die Transformationsinformationen zur Transformation des Koordinatenwertes der Steuerachse in die Position und/oder die Haltung des virtuellen Objekts im Kamera-Koordinatensystem. Ein Verfahren zur Berechnung der Transformationsinformationen wird unter Bezugnahme auf 18 und 19 ausführlich beschrieben.
  • So wird beispielsweise, wie in 18 dargestellt, davon ausgegangen, dass eine Achse X2 auf eine Achse X1 eingestellt ist, dass eine Achse X3 auf die Achse X2 eingestellt ist, dass dann N Knoten ebenfalls kontinuierlich sind und dass ihr Ende eine Achse XN ist. Weiterhin wird davon ausgegangen, dass auf dem Steuerpunkt auf der Achse XN ein virtuelles Objekt angezeigt wird. Ebenso wird davon ausgegangen, dass eine Achse y2 auf eine Achse y1 eingestellt ist, dass eine Achse y2 auf die Achse y2 eingestellt ist, dass dann L-Knoten ebenfalls kontinuierlich sind und dass ihr Ende eine Achse yL ist. Weiterhin wird davon ausgegangen, dass auf der Achse yL eine Kamera installiert ist. Obwohl Xi und yj die Namen der Knoten sind, wird hier angenommen, dass sie gleichzeitig die Koordinatenwerte der einzelnen Knoten anzeigen.
  • Weiterhin wird davon ausgegangen, dass der Versatz, die Art des Knotens (lineare Linie/Rotation/Einheit/Steuerpunkt/Koordinatensystem), die Achsrichtung, die Haltungsmatrix und der in 18 dargestellte Koordinatenwert den einzelnen Knoten gegeben sind.
  • Hier wird, wie in 19 dargestellt, die homogene Matrix Mobj , die die aktuelle Position und Haltung des virtuellen Objekts auf dem Steuerpunkt in Bezug auf die Route (Maschinen-Nullpunkt) anzeigt, durch eine der folgenden Formeln bestimmt. M o b j = ( i = 1 N S x i ) M c t r l  wobei  i = 1 N S x i = S x 1 S x 2 S x N
    Figure DE102019207489A1_0003
  • Hier haben die Symbole folgende Bedeutung:
    • Sxi: homogene Transformationsmatrix durch einzelne Knoten;
    • N: Nummer einer Reihe von Knoten, die von der Route des Maschinenkonfigurationsbaums zum Steuerpunkt führen; und
    • Mctrl: homogene Matrix des relativen Versatzes/Haltung für den übergeordneten Knoten des Steuerpunkts, die gemäß der vorstehend beschriebenen [Formel 2] definiert ist, aus einer im Steuerpunkt definierten Versatzvektor/Haltungsmatrix.
  • Die homogene Transformationsmatrix Sxi wird je nach Knotentyp variiert, und beispielsweise wird bei einer Linearachse die homogene Transformationsmatrix wie folgt dargestellt. S x i = ( 1 0 0 0 1 0 o f s x l 0 0 1 0 0 0 1 ) ( 1 0 0 0 1 0 x i v x l 0 0 1 0 0 0 1 )
    Figure DE102019207489A1_0004
  • Hier haben die Symbole folgende Bedeutung:
    • xi: Koordinatenwert eines Knotens xi ;
    • ofsxi,: relativer Offsetvektor für den übergeordneten Knoten des Knotens xi ; und
    • Vxi: Bewegungsrichtungsvektor des Knotens xi .
  • Im Falle einer Drehachse wird die homogene Transformationsmatrix wie folgt dargestellt. S x i = ( 1 0 0 0 1 0 o f s x l 0 0 1 0 0 0 1 ) R ( x i , v 1 , v 2 , v 3 ) R ( x i , v 1 , v 2 , v 3 ) = ( v 1 2 ( 1 cos x i ) + cos x i v 1 v 2 ( 1 cos x i ) v 3 sin x i v 1 v 3 ( 1 cos x i ) + v 2 sin x i 0 v 1 v 2 ( 1 cos x i ) + v 3 sin x i v 2 2 ( 1 cos x i ) + cos x i v 3 v 2 ( 1 cos x i ) v 1 sin x i 0 v 1 v 3 ( 1 cos x i ) v 2 sin x i v 2 v 3 ( 1 cos x i ) + v 1 sin x i v 3 2 ( 1 cos x i ) + cos x i 0 0 0 0 1 )
    Figure DE102019207489A1_0005
  • Hier haben die Symbole folgende Bedeutung;
    • V1: erste Komponente des Drehachsrichtungsvektors des Knotens xi;
    • V2: zweite Komponente des Drehachsenrichtungsvektors des Knotens xi; und
    • V3: dritte Komponente des Drehachsenrichtungsvektors des Knotens xi.
  • Hier wird eine homogene Matrix Xm , die die aktuelle Position und Haltung des virtuellen Objekts auf dem Steuerpunkt des Kamerakoordinatensystems darstellt, durch eine Formel unten mit Mobj bestimmt. X m = M c o o r d 1 = ( i = L 1 S x i 1 ) M o b j  wobei  i = L 1 S x i 1 = S x L 1 S x L 1 1 S x 1 1
    Figure DE102019207489A1_0006
  • Hier haben die Symbole folgende Bedeutung;
    • L: Nummer einer Reihe von Knoten, die von der Route des Maschinenkonfigurationsbaums zum Koordinatensystem führen; und
    • Mcoord: homogene Matrix des relativen Versatzes/Haltung für den übergeordneten Knoten der Kamera, die gemäß der oben beschriebenen mathematischen Formel der [Formel 2] aus einer im Koordinatensystem definierten Versatzvektor/Haltungsmatrix definiert ist.
  • <Verfahren zur Anzeige eines virtuellen Objekts>
  • 20 zeigt einen Betriebsablauf, wenn ein virtuelles Objekt angezeigt wird. Zunächst werden die einzelnen Schritte schematisch beschrieben.
  • In Schritt S41 fügt die Maschinenkonfigurationsverwaltungsvorrichtung 100 dem Maschinenkonfigurationsbaum einen Kameraknoten als neuen Knoten hinzu. Auf diese Weise, wenn beispielsweise die Konfiguration der Werkzeugmaschine 400 eine Konfiguration wie in 21A dargestellt ist, wird der Kameraknoten dem Maschinenkonfigurationsbaum hinzugefügt, der die Konfiguration der Werkzeugmaschine 400 wie in 21B dargestellt zeigt.
  • In Schritt S42 erfasst die erweiterte Informationssteuerung 200 von der Maschinenkonfigurationsverwaltungsvorrichtung 100 einen Knoten, der angezeigt werden kann.
  • In Schritt S43 wählt die erweiterte Informationssteuerung 200 einen Knoten aus, auf dem die erweiterten Informationen des virtuellen Objekts und dergleichen angezeigt werden, und benachrichtigt sie an die Maschinenkonfigurationsverwaltungsvorrichtung 100.
  • In Schritt S44 leitet die Maschinenkonfigurationsverwaltungsvorrichtung 100 eine Formel zum Bestimmen der Position und der Haltung des Knotens ab, der im Kamerakoordinatensystem angezeigt werden soll, und benachrichtigt diese an die erweiterte Informationssteuerung 200.
  • In Schritt S45 erfasst die erweiterte Informationssteuerung 200 die Koordinatenwerte der einzelnen Steuerachsen von der numerischen Steuerung 150.
  • In Schritt S46 verwendet die erweiterte Informationssteuerung 200 die erfassten Koordinatenwerte und die Formel zum Bestimmen der Position und der Haltung im Kamera-Koordinatensystem, um die Position und die Haltung des Knotens zu bestimmen, auf dem die erweiterten Informationen des virtuellen Objekts und dergleichen im Kamera-Koordinatensystem angezeigt werden.
  • In Schritt S47 bestimmt die erweiterte Informationssteuerung 200 die Position und die Haltung im Bildschirmkoordinatensystem durch die Transformation des Koordinatensystems aus der Position und der Haltung im Kamera-Koordinatensystem.
  • In Schritt S48 erzeugt die erweiterte Informationssteuerung 200 erweiterte Informationsanzeige-Daten, die die Anzeigedaten der erweiterten Informationen des virtuellen Objekts und dergleichen sind, und gibt sie an die Anzeigevorrichtung 300 aus.
  • In Schritt S49 zeigt die Anzeigevorrichtung 300 die erweiterten Informationen des virtuellen Objekts und dergleichen an. Danach wird die Verarbeitung zu Schritt S45 zurückgeführt.
  • Die Position und die Haltung des Knotens, auf dem die erweiterten Informationen des virtuellen Objekts und dergleichen im Kamerakoordinatensystem angezeigt werden, können in der Maschinenkonfigurationsverwaltungsvorrichtung 100 bestimmt werden, und Werte, die die Position und die Haltung selbst anzeigen, können an die erweiterte Informationssteuerung 200 gemeldet werden.
  • In den vorstehend beschriebenen Schritten S47 verwendet die erweiterte Informationssteuerung 200 ein bekanntes Verfahren, um die Position und die Haltung im Bildschirmkoordinatensystem aus der Position und der Haltung im Kamera-Koordinatensystem zu bestimmen. Genauer gesagt, wird eine Verarbeitung zum Bestimmen der Transformationsinformationen vom Kamerakoordinatensystem in das Bildschirmkoordinatensystem durchgeführt, und durch die Transformationsinformationen werden die Position und die Haltung des virtuellen Objekts vom Kamerakoordinatensystem in Werte im Bildschirmkoordinatensystem umgewandelt. Die erweiterten Informationsanzeige-Daten umfassen neben den Positionen und Haltungen im Kamerakoordinatensystem und dem hierin bestimmten Bildschirmkoordinatensystem auch die Daten der Form und dergleichen des virtuellen Objekts. Die erweiterten Informationsanzeigedaten werden an die Anzeigevorrichtung 300 ausgegeben, die Ausgabedaten werden verwendet und somit kann die Anzeigevorrichtung 300 das virtuelle Objekt an geeigneten Positionen des linken und rechten Bildschirms zeichnen.
  • Mit dem oben genannten Verfahren ist es möglich, das virtuelle Objekt an einem beliebigen Knoten auf dem Display anzuzeigen. Wie in 22A dargestellt, können als virtuelle Objekte beispielsweise 3D-Modelle für ein Werkstück und ein Werkzeug so angeordnet werden, dass sie für die Durchführung einer Bearbeitungssimulation verwendet werden können. Daten, die einem Knoten zugeordnet sind, wie beispielsweise die Anzahl der Umdrehungen jeder Spindel, können angezeigt werden. Darüber hinaus sind ein Beschleunigungssensor und ein Temperatursensor angeordnet, und wie in 22B dargestellt, werden dem Maschinenkonfigurationsbaum Sensorknoten hinzugefügt, so dass eine visuelle Kontrolle der Beschleunigung und der Temperatur an jedem Ort möglich ist. Auf diese Weise kann ein Bediener der Werkzeugmaschine 400 die den Knoten zugeordneten Daten und die Zahlenwerte der Sensoren überprüfen.
  • <Effekte, die durch die vorliegende Ausführungsform entstehen>.
  • In der vorliegenden Ausführungsform können die virtuellen Objekte auf allen im Graphen registrierten Knoten angeordnet werden. Insbesondere ist es durch den Zusatz eines Kameraknotens möglich, ein virtuelles Objekt an einer beliebigen Position hinzuzufügen, und es ist nicht notwendig, die Transformationsformel für die Bewegungsgröße zusätzlich zu registrieren und zusätzlich einen einzelnen Punkt zu erkennen. Es ist auch nicht notwendig, die Ausgangsposition zu erkennen.
  • <Geänderte Beispiele>
  • Obwohl teilweise wiederholt, können die Diagrammdaten in der Maschinenkonfigurationsverwaltungsvorrichtung 100 gespeichert werden, aber es gibt keine Einschränkung für diese Konfiguration. So können beispielsweise die Diagrammdaten in der erweiterten Informationssteuerung 200 oder auf einem Server gespeichert werden, der über ein Netzwerk mit dem System zur Anzeige virtueller Objekte 10 verbunden ist. Die Daten des Maschinenkonfigurationsbaums können in der erweiterten Informationssteuerung 200 oder auf dem Server gespeichert werden, so dass die vorliegende Erfindung auch auf eine alte Werkzeugmaschine angewendet werden kann. In diesem Fall wird die oben beschriebene Verarbeitung bis Schritt S43 nicht durchgeführt, und Schritt S44 wird auf der Seite der erweiterten Informationssteuerung 200 durchgeführt.
  • Die Maschinenkonfigurationsverwaltungsvorrichtung 100 kann so eingebaut werden, dass sie in die numerische Steuerung 150 integriert werden kann. Die Maschinenkonfigurationsverwaltungsvorrichtung 100 kann auch in einer Cloud vorhanden sein.
  • Die Maschinenkonfigurationsverwaltungsvorrichtung, die numerische Steuerung, die erweiterte Informationssteuerung und die Werkzeugmaschine können jeweils durch Hardware, Software oder eine Kombination davon realisiert werden. Das Simulationsverfahren, das durch das Zusammenwirken der Maschinenkonfigurationsverwaltungsvorrichtung, der numerischen Steuerung, der erweiterten Informationssteuerung und der Werkzeugmaschine durchgeführt wird, kann auch durch Hardware, Software oder eine Kombination derselben realisiert werden. Die Realisierung durch Software bedeutet hier, dass die Realisierung durch das Lesen und Ausführen von Programmen mit einem Computer erreicht wird.
  • Die Programme werden mit verschiedenen Arten von nicht-flüchtigen, computerlesbaren Medien gespeichert und können an einen Computer geliefert werden. Die nicht-flüchtigen, computerlesbaren Medien umfassen verschiedene Arten von materiellen Speichermedien. Beispiele für das nichtflüchtige, computerlesbare Medium sind magnetische Speichermedien (beispielsweise eine flexible Platte, ein Magnetband und ein Festplattenlaufwerk), magneto-optische Speichermedien (beispielsweise eine magneto-optische Platte), eine CD-ROM (Read Only Memory), eine CD-R, eine CD-R, eine CD-R/W, Halbleiterspeicher (beispielsweise ein Masken-ROM und ein PROM (Programmable ROM), ein EPROM (Erasable PROM), ein Flash-ROM und ein RAM (Random Access Memory). Die Programme können mit verschiedenen Arten von vorübergehend computerlesbaren Medien für einen Computer geliefert werden. Beispiele für das vorübergehend computerlesbare Medium sind ein elektrisches Signal, ein optisches Signal und elektromagnetische Wellen. Das vorübergehend computerlesbare Medium kann die Programme einem Computer über einen drahtgebundenen Kommunikationsweg, wie beispielsweise einen elektrischen Draht oder einen optischen Draht oder einen drahtlosen Kommunikationsweg, zur Verfügung stellen.
  • Bezugszeichenliste
  • 10
    System zur Anzeige virtueller Objekte
    100
    Maschinenkonfigurationsverwaltungsvorrichtung
    110
    Steuerabschnitt
    111
    Graph-Erzeugungsabschnitt
    112
    Knotenadditionsbereich
    113
    Steuerpunktkoordinatensystem-Einfügungsabschnitt
    114
    Knoteninformationsmeldeabschnitt
    115
    Transformationsinformations-Berechnungsabschnitt
    116
    Transformationsinformations-Meldeabschnitt
    120
    Speicherabschnitt
    150
    numerische Steuerung
    160
    Steuerabschnitt
    161
    Koordinatendaten-Benachrichtigungsabschnitt
    162
    Servomotorsteuerabschnitt
    200
    erweiterte Informationssteuerung
    211
    Knotenauswahlabschnitt
    212
    Auswahlknoten-Benachrichtigungsabschnitt
    213
    Koordinaten-Informationstransformationsabschnitt
    214
    erweiterter Informationsanzeige-Datenberechnungsabschnitt
    215
    erweiterter informationsanzeige-Datenbenachrichtigungsabschnitt
    220
    Speicherabschnitt
    300
    Anzeigevorrichtung
    400
    Werkzeugmaschine
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 4083554 [0009]
    • JP 5384178 [0009]

Claims (7)

  1. Virtuelles Objektanzeigesystem (10), das eine Maschinenkonfigurationsverwaltungsvorrichtung (100) und eine erweiterte Informationssteuerung (200) umfasst, wobei die Maschinenkonfigurationsverwaltungsvorrichtung (100) einen Graph-Erzeugungsabschnitt (111), einen Steuerpunktkoordinatensystem-Einfügungsabschnitt (113), einen Knoteninformationsmeldeabschnitt (114), einen Transformationsinformations-Berechnungsabschnitt (115) und einen Transformationsinformations-Meldeabschnitt (116) umfasst und wobei die erweiterte Informationssteuerung (200) einen Knotenauswahlbereich (211), einen Auswahlknotenmeldeabschnitt (212) und einen Koordinateninformationstransformationsabschnitt (213) umfasst, wobei der Graph-Erzeugungsabschnitt (111) als Maschinenkonfiguration eines Steuerziels eine Grafik erzeugt, in der Bestandteile, die eine Kamera umfassen, Knoten sind, wobei der Steuerpunktkoordinatensystem-Einfügungsabschnitt (113) einen Steuerpunkt und ein Koordinatensystem in die Grafik einfügt, wobei der Knoteninformationsmeldeabschnitt (114) Informationen über einen Knoten meldet, die der erweiterten Informationssteuerung (200) angezeigt werden können, wobei der Knotenauswahlbereich (211) einen Knoten auswählt, auf dem ein virtuelles Objekt angezeigt werden soll, wobei der Auswahlknoten-Benachrichtigungsabschnitt (212) den Knoten benachrichtigt, auf dem das virtuelle Objekt angezeigt werden soll, an die Maschinenkonfigurationsverwaltungsvorrichtung (100), wobei der Transformationsinformations-Berechnungsabschnitt (115) Transformationsinformationen berechnet, die als Variable einen Koordinatenwert eines Steuerachsknotens auf einem Weg in der Grafik von einem Kameraknoten zu einem Knoten eines Anzeigeziels umfassen und die zum Berechnen einer Position und/oder einer Haltung des Knotens des Anzeigeziels in einem Koordinatensystem des Kameraknotens basierend auf der Grafik verwendet werden, wobei der Transformationsinformations-Meldeabschnitt (116) die Transformationsinformationen an die erweiterte Informationssteuerung (200) benachrichtigt und der Koordinateninformationstransformationsbereich (213) die Transformationsinformation verwendet, um den Koordinatenwert einer Steuerachse, die benachrichtigt wird, in die Position und/oder die Haltung des Knotens des Anzeigeziels im Koordinatensystem des Kameraknotens zu transformieren.
  2. System zur Anzeige virtueller Objekte (10) nach Anspruch 1, des Weiteren umfassend eine Anzeigevorrichtung (300), wobei die erweiterte Informationssteuerung (200) des Weiteren umfasst: einen erweiterten Informationsanzeige-Datenberechnungsabschnitt (214), der basierend auf der Position und/oder der Haltung des Knotens des Anzeigeziels im Koordinatensystem des Kameraknotens erweiterte Informationsanzeige-Daten zum Berechnen des virtuellen Objekts mit der Anzeigevorrichtung als erweiterte Informationen berechnet; und einen erweiterten informationsanzeige-Datenbenachrichtigungsabschnitt (215), der die erweiterten Informationsanzeige-Daten an die Anzeigevorrichtung benachrichtigt.
  3. System zur Anzeige virtueller Objekte (10) nach Anspruch 1 oder 2, wobei der Koordinateninformations-Transformationsabschnitt (213) als Koordinatenwert der Steuerachse einen von einer numerischen Steuerung (150) empfangenen Koordinatenwert in die Position und/oder die Haltung des Knotens des Anzeigeziels im Koordinatensystem des Kameraknotens umwandelt.
  4. System zur Anzeige virtueller Objekte (10) nach einem der Ansprüche 1 bis 3, wobei die erweiterte Informationssteuerung (200) des Weiteren einen Speicherabschnitt mit Daten der Grafik umfasst.
  5. System zur Anzeige virtueller Objekte (10) nach einem der Ansprüche 1 bis 4, des Weiteren umfassend einen Server, der Daten des Graphen speichert.
  6. System zur Anzeige virtueller Objekte (10) nach einem der Ansprüche 1 bis 5, wobei die Maschinenkonfigurationsverwaltungsvorrichtung (100) mit einer numerischen Steuerung (150) einer Werkzeugmaschine (400) integriert ist.
  7. Das System zur Anzeige virtueller Objekte (10) nach einem der Ansprüche 1 bis 5, wobei die Maschinenkonfigurationsverwaltungsvorrichtung (100) auf einer Cloud vorhanden ist.
DE102019207489.8A 2018-06-05 2019-05-22 System zur Anzeige virtueller Objekte Pending DE102019207489A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-107951 2018-06-05
JP2018107951A JP6781201B2 (ja) 2018-06-05 2018-06-05 仮想オブジェクト表示システム

Publications (1)

Publication Number Publication Date
DE102019207489A1 true DE102019207489A1 (de) 2019-12-05

Family

ID=68576535

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019207489.8A Pending DE102019207489A1 (de) 2018-06-05 2019-05-22 System zur Anzeige virtueller Objekte

Country Status (4)

Country Link
US (1) US11199828B2 (de)
JP (1) JP6781201B2 (de)
CN (1) CN110568818B (de)
DE (1) DE102019207489A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230050158A1 (en) * 2020-02-04 2023-02-16 Fanuc Corporation Control device
GB2594714B (en) * 2020-05-04 2022-12-07 Createc Robotics Ltd Virtual view generation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5384178A (en) 1976-12-30 1978-07-25 Westinghouse Electric Corp Electric device with cooperating contacts
JP4083554B2 (ja) 2002-11-29 2008-04-30 株式会社森精機製作所 3次元モデルデータ生成装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0483554A (ja) 1990-07-25 1992-03-17 Honda Motor Co Ltd 水性塗料の色替塗装方法
JPH09212219A (ja) * 1996-01-31 1997-08-15 Fuji Facom Corp 三次元仮想モデル作成装置及び制御対象物の監視制御装置
JP2000081906A (ja) * 1998-09-04 2000-03-21 Mitsubishi Electric Corp 仮想工場シミュレーション装置および仮想工場シミュレーション方法
US7126558B1 (en) 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
JP5384178B2 (ja) * 2008-04-21 2014-01-08 株式会社森精機製作所 加工シミュレーション方法及び加工シミュレーション装置
JP5337636B2 (ja) * 2008-09-05 2013-11-06 株式会社森精機製作所 加工状況監視方法及び加工状況監視装置
JP2012058968A (ja) 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2012248098A (ja) * 2011-05-30 2012-12-13 Okuma Corp 機械の誤差補償値計算方法
US9223138B2 (en) * 2011-12-23 2015-12-29 Microsoft Technology Licensing, Llc Pixel opacity for augmented reality
JP5872923B2 (ja) 2012-02-22 2016-03-01 株式会社マイクロネット Ar画像処理装置及び方法
JP5847610B2 (ja) 2012-02-22 2016-01-27 株式会社マイクロネット Ar技術を用いたコンピュータ・グラフィックス画像処理システム及び方法
JP5742862B2 (ja) * 2013-03-18 2015-07-01 株式会社安川電機 ロボット装置及び被加工物の製造方法
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN103867205B (zh) * 2014-03-11 2016-04-20 西安科技大学 一种掘进机远程控制系统及方法
JP2016107379A (ja) 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
CN104700403B (zh) * 2015-02-11 2016-11-09 中国矿业大学 一种基于kinect的手势控制液压支架的虚拟示教方法
JP6524706B2 (ja) 2015-02-27 2019-06-05 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
JP6616164B2 (ja) * 2015-11-13 2019-12-04 Dmg森精機株式会社 数値制御装置および数値制御装置を備える工作機械
JP6420229B2 (ja) * 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
EP3179450B1 (de) * 2016-04-12 2020-09-09 Siemens Healthcare GmbH Verfahren zur multisensorischen darstellung eines objekts und darstellungssystem
JP2018008347A (ja) * 2016-07-13 2018-01-18 東芝機械株式会社 ロボットシステムおよび動作領域表示方法
JP6553552B2 (ja) * 2016-07-25 2019-07-31 ファナック株式会社 カメラを使って計測動作を自動化する機能を備えた数値制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5384178A (en) 1976-12-30 1978-07-25 Westinghouse Electric Corp Electric device with cooperating contacts
JP4083554B2 (ja) 2002-11-29 2008-04-30 株式会社森精機製作所 3次元モデルデータ生成装置

Also Published As

Publication number Publication date
JP6781201B2 (ja) 2020-11-04
US11199828B2 (en) 2021-12-14
CN110568818B (zh) 2024-04-23
CN110568818A (zh) 2019-12-13
US20190369589A1 (en) 2019-12-05
JP2019212041A (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
DE102018210261A1 (de) Anzeigesystem für virtuelle Objekte
DE112016000582B4 (de) Lehreinrichtung, Lehrverfahren und Robotersystem
DE102018205015B4 (de) Einstellvorrichtung und Einstellverfahren
DE102018203956B4 (de) Maschinelle Lernvorrichtung, Servosteuerungsvorrichtung, Servosteuerungssystem und maschinelles Lernverfahren
DE102017003529A1 (de) Parametereinstellvorrichtung, Parametereinstellprogramm und Parametereinstellverfahren
DE112016007220T5 (de) Kontaktplanprogrammbearbeitungsunterstützungsvorrichtung und Kontaktplanprogrammbearbeitungsverfahren
DE102011001460A1 (de) Verfahren und Gerät für eine datengesteuerte Schnittstelle basierend auf Relationen zwischen Prozesssteuerungsetiketten
DE102017212270A1 (de) Erstellungsvorrichtung für Modelle für maschinelles Lernen, numerische Steuerung, Erstellungsverfahren für Modelle für maschinelles Lernen, Erstellungsprogramm für Modelle für maschinelles Lernen und Aufzeichnungsmedium
DE69827568T2 (de) Verfahren zur automatischen Erzeugung einer Sequenz von Steuerungen für eine Metallbogen-Biegemaschine
DE102019003928A1 (de) Positionsinformationsanzeigesystem
DE112016005365T5 (de) Direktes Lehrverfahren eines Roboters
DE10114811A1 (de) System und Verfahren zur Erstellung von mehrachsigen Bearbeitungs-Vorgängen an Werkstücken
DE102018201210A1 (de) Koordinateninformations-Umwandlungsvorrichtung und Koordinateninformations-Umwandlungsprogramm
EP3690575B1 (de) Verfahren zur überprüfung einer konsistenten erfassung von rohrleitungen in einem projektierungssystem, projektierungssystem und steuerungsprogramm
DE102019207489A1 (de) System zur Anzeige virtueller Objekte
DE10231675B4 (de) Simulationssystem für die Maschinensimulation und Datenausgabe von Steuerdaten für ein Automatisierungssystem
DE10393527T5 (de) Systeme und Verfahren zur Darstellung komplexer n-Kurven für die Direktsteuerung einer Werkzeugbewegung
EP2808749B1 (de) Verfahren zum Austausch von Steuerungsinformationen zwischen Bedien- und Beobachtungsgeräten eines industriellen Automatisierungssystems und industrielles Automatisierungssystem
DE112016007339T5 (de) Simulationsvorrichtung
DE112021003517T5 (de) Numerisches Steuersystem
DE102019215634B4 (de) Wärmeverschiebungskompensationsvorrichtung und numerische Steuerung
DE102018209832A1 (de) Numerische Steuerung
DE102020213793A1 (de) Steuersystem
DE10154794A1 (de) Synchronisierte Visualisierung von Teilszenen
DE102014009389B3 (de) Prüfungsmodul für eine kombinierte Fräs-Dreh-Maschine

Legal Events

Date Code Title Description
R012 Request for examination validly filed