DE102017221678A1

DE102017221678A1 - Erweiterte-Realitäts-Simulationsvorrichtung und Erweiterte-Realitäts-Simulationsprogramm

Info

Publication number: DE102017221678A1
Application number: DE102017221678.6A
Authority: DE
Inventors: Yousuke KOYANAKA
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2016-12-06
Filing date: 2017-12-01
Publication date: 2018-06-07
Also published as: US20180158247A1; US10424122B2; JP2018092476A; CN108153240B; CN108153240A; JP6434476B2

Abstract

Eine Simulation wird unter Verwendung einer erweiterten Realitäts-Technologie angemessen durchgeführt. Eine erweiterte Realitäts-Simulationsvorrichtung beinhaltet: ein Erweiterungsinformations-Anzeigemittel 300 zum Anzeigen eines virtuellen Objekts, um so einer realen Werkzeugmaschine 400 überlagert zu sein; ein Relationsinformations-Erfassungsmittel 210 zum Erfassen von erster Relationsinformation, die Information ist, welche eine Relation zwischen dem virtuellen Objekt und Steuerachsen einer Numeriksteuerung spezifiziert, welche die Werkzeugmaschine 400 steuert, und zweiter Relationsinformation, die Information ist, welche Einstellungen der Steuerachsen selbst und Relation zwischen den Steuerachsen spezifiziert; ein Umwandlungsmittel 220 zum Umwandeln eines Bewegungsbetrags in einem ersten Koordinatensystem, welches ein Koordinatensystem der Steuerachse ist, in Bewegungsinformation in einem zweiten Koordinatensystem, welches ein Koordinatensystem ist, um dem Erweiterungsinformations-Anzeigemittel 300 zu gestatten, das virtuelle Objekt anzuzeigen, auf Basis der ersten Relationsinformation und der zweiten Relationsinformation; und ein Erweiterungsinformations-Rechenmittel 230 zum Berechnen einer Anzeigenposition und eines Anzeigewinkels des virtuellen Objekts auf Basis der Bewegungsinformation im zweiten Koordinatensystem nach der Umwandlung. Das Erweiterungsinformations-Anzeigemittel 300 zeigt das virtuelle Objekt auf Basis eines Rechenergebnisses des Rechenmittels 230 an.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine erweiterte Realitäts-Simulationsvorrichtung und ein erweitertes Realitäts-Simulationsprogramm zum Durchführen von Simulation unter Verwendung einer erweiterten Realitäts-Technologie.
Stand der Technik
Konventioneller Weise wird im Gebiet einer durch eine Numeriksteuerung gesteuerten Werkzeugmaschine ein Werkstück oder eine Spannvorrichtung durch computer-unterstützten Entwurf (CAD, Computer-Aided Design) oder dergleichen entworfen. Darüber hinaus wird ein Bearbeitungsprogramm zum Bearbeiten eines Werkstücks unter Verwendung eines entworfenen Spannfutters erzeugt. Eine Numeriksteuerung steuert eine Werkzeugmaschine auf Basis eines Bearbeitungsprogramms, wodurch die Bearbeitung eines Werkstücks realisiert wird.
Hier wird allgemein eine Bearbeitungssimulation durchgeführt, um zu überprüfen, ob eine entworfene Spannvorrichtung oder ein Werkstück und ein Bearbeitungsprogramm angemessen sind, bevor die Spannvorrichtung oder das Werkstück und das Bearbeitungsprogramm tatsächlich auf eine Produktionslinie geladen werden.
Wenn diese Bearbeitungssimulation durchgeführt wird, um die Operationen einer echten Maschine zu überprüfen, wird die Bearbeitungssimulation natürlich nicht durchgeführt, bis eine echte Spannvorrichtung komplettiert ist. Daher ergibt sich das Problem, dass der Prozess verzögert ist, bis eine Spannvorrichtung vervollständigt ist.
Darüber hinaus, wenn ein Problem, wie etwa Interferenz, zum Zeitpunkt der Prüfoperationen gefunden wird, nachdem eine Spannvorrichtung komplettiert ist und es notwendig ist, den Entwurf der Spannvorrichtung zu verändern, wird der Prozess weiter verzögert. Darüber hinaus bringt dies Kosten zum Ändern des Spannvorrichtungsentwurfs mit sich. Falls der Spannvorrichtungsentwurf nicht verändert wird, ist es notwendig, das Bearbeitungsprogramm zu ändern. In diesem Fall kann die Zykluszeit, die für die Bearbeitung erforderlich ist, sich mehr als erwartet erweitern. Mit diesem Problem in Sicht ist eine Technologie zum Durchführen von Bearbeitungssimulation virtuell durch arithmetische Verarbeitung, wie etwa auf einem Persönlichen Computer (PC), statt dem Überprüfen von Operation einer echten Maschine, bekannt. Beispielsweise werden in einer in Patentdokument 1 offenbarten Technologie alle Strukturen einer Werkzeugmaschine als virtuelle 3D-Objekte realisiert und wird eine Bearbeitungssimulation durchgeführt.
Jedoch ist es in der in Patentdokument 1 offenbarten Technologie notwendig, nicht nur ein virtuelles 3D-Objekt eines Werkstücks oder einer Spannvorrichtung zu erzeugen, sondern auch virtuelle 3D-Objekte einer gesamten Maschine von jeder einer Vielzahl von Typen von Werkzeugmaschinen zu erzeugen. Darüber hinaus, um Operationen einer realen Werkzeugmaschine zu reproduzieren, ist es notwendig, ein Operationsverarbeitungsmerkmal an einem virtuellen 3D-Objekt eines beweglichen Teils der Werkzeugmaschine zu implementieren. Das heißt, es gibt ein Problem, dass es nicht einfach ist, ein virtuelles 3D-Objekt zu erzeugen.
Weiterhin gibt es das Problem, dass, selbst wenn das virtuelle 3D-Objekt auf diese Weise erzeugt wird, wenn die Reproduzierbarkeit des virtuellen 3D-Objekts niedrig ist, sich das reproduzierte virtuelle 3D-Objekt von der der Realität unterscheiden kann.
Eine Technologie, die Probleme hinsichtlich eines solchen virtuellen 3D-Objekts angeht, ist in Patentdokument 2 offenbart. In der in Patentdokument 2 offenbarten Technologie werden Bilder der Innenseite eine Werkzeugmaschine durch eine Kamera aufgenommen, um einen Werkzeughalteteil oder einen Werkstückhalteteil zu extrahieren, die vorab registriert werden, als charakteristische Punkte. Darüber hinaus wird ein virtuelles 3D-Objekt eines Werkzeugs oder eines Werkstücks, das vorab registriert ist, auf einem Bild einer Werkzeugmaschine angezeigt, die tatsächlich als eine Überlagerung aufgenommen ist, auf Basis der Positionen der charakteristischen Punkte. Dadurch ist es nicht notwendig, ein virtuelles 3D-Objekt der Werkzeugmaschine zu erzeugen.
Jedoch gibt es in der in Patentdokument 2 offenbarten Technologie, da es notwendig ist, eine Aufnahmerichtung einer Kamera auf eine vorbestimmte Richtung zu fixieren, das Problem, dass es schwierig ist, einen Blickpunkt, von welchem der Zustand der Bearbeitungssimulation sichergestellt ist, zu ändern.
Andererseits wird im Gebiet jüngster Bildverarbeitungs-Technologien eine erweiterte Realitäts-Technologie, die erweiterte Realität (Augmented-Reality, AR) oder Mischrealität (MR, Mixed Reality) genannt wird, für solche Anzeige von virtuellen Objekten, um sie mit in einem echten Raum vorhandenen Objekten zu überlagern, allgemein verwendet. In der nachfolgenden Beschreibung wird Information, die durch solch eine erweiterte Realitäts-Technologie angezeigt wird, als „Erweiterungsinformation“ bezeichnet.
Wenn eine solche erweiterte Realitäts-Technologie verwendet wird, ist es möglich, spezifische Charakteristik-Punkte (beispielsweise Marker) eines durch eine Kamera aufgenommenen Bildes zu extrahieren und die Erweiterungs-Information, wie etwa virtuelle 3D-Objekte, als eine Überblendung anzuzeigen. Darüber hinaus ist es möglich, optional eine Aufnahmerichtung einer Kamera zu ändern. Daher, falls eine solche erweiterte Realitäts-Technologie angemessen eingesetzt werden kann, ist es möglich, die Probleme der in Patentdokument 2 offenbarten Technologie zu lösen.
Eine Basis-Technologie einer solchen erweiterten Realitäts-Technologie, wie etwa AR oder MR, ist in Nicht-Patentdokument 1 offenbart. In der in Nicht-Patentdokument 1 offenbarten Technologie wird eine kopfmontierte Anzeige (HMD, Head-Mounted Display) vom Durchblicktyp als eine Anzeigevorrichtung verwendet und wird eine dreidimensionale Position eines als Referenz-Koordinaten zum Anzeigen von virtuellen Objekten dienenden Markers aus, durch eine an der HMD angebrachten, kleinen Kamera erhaltenen Bildinformation detektiert. Ein Videobild eines virtuellen Objektes, das eine Parallaxe an beiden Augen eines Anwenders gibt, wird so präsentiert, dass ein virtuelles 3D-Objekt als ein dreidimensionales Objekt in einem echten dreidimensionalen Raum, gesehen durch einen HMD-Bildschirm, angezeigt werden kann.
Spezifisch wird in der in Nicht-Patentdokument 1 offenbarten Technologie eine Vielzahl von in 15 illustrierten Koordinatensystemen eingesetzt. In dieser Hinsicht wird ein virtuelles 3D-Objekt an einem Marker-Koordinatensystem repräsentiert, das ein Koordinatensystem ist, das den Ursprung als einen Charakteristik-Punkt aufweist. Darüber hinaus wird ein Prozess des Berechnens einer Koordinaten-Transformationsmatrix zum Transformieren eines Marker-Koordinatensystems zu einem Kamera-Koordinatensystem durchgeführt.
Unter Verwendung der durch diesen Prozess erhaltenen Koordinaten-Transformationsmatrix ist es möglich, ein virtuelles 3D-Objekt an einer angemessenen Position des Bildschirms auf den linken und rechten Seiten einer HMD zu zeichnen.
Unter Verwendung einer im Nicht-Patentdokument 1 und dergleichen offenbarten, solchen erweiterten Realitäts-Technologie ist es möglich, ein virtuelles 3D-Objekt innerhalb einer echten Werkzeugmaschine anzuzeigen und Bearbeitungssimulation durchzuführen.
Wie beispielsweise in 16 illustriert, wenn ein Charakteristik-Punkt ein vorab registrierter Marker ist, bewegt sich ein virtuelles 3D-Objekt der Bewegung des Markers folgend. Das heißt, dass das virtuelle 3D-Objekt dem Marker folgt.
Durch Anordnen eines Markers an einem beweglichen Teil einer echten Werkzeugmaschine unter Verwendung dieser Technologie ist es möglich, ein virtuelles 3D-Objekt so zu bewegen, dass es tatsächlicher Bewegung eines Tischs folgt. Beispielsweise wie durch (17A) auf der linken Seite von 17 angegeben, wird ein Marker auf einem beweglichen Tisch angeordnet, der ein beweglicher Teil einer realen Werkzeugmaschine ist. Darüber hinaus, wie durch (17B) im Zentrum von 17 angegeben, wird ein virtuelles 3D-Objekt unter Verwendung des Markers als Ursprung angezeigt. Weiterhin, wie durch (17C) auf der rechten Seite von 17 angegeben, wenn der bewegliche Tisch beispielsweise längs einer X-Achse bewegt wird, folgt das virtuelle 3D-Objekt dem Marker.
Dadurch ist es möglich, eine Bearbeitungssimulation ohne Realisieren der gesamten Werkzeugmaschine als ein virtuelles 3D-Objekt und Wiedergeben eines beweglichen Teils der Werkzeugmaschine durchzuführen.

Patentdokument 1: Japanisches Patent Nr. 4083554
Patentdokument 2: Japanisches Patent Nr. 5384178
Patentdokument 3: Japanische ungeprüfte Patentanmeldung, Veröffentlichungs-Nr. 2012-58968
Patentdokument 4: Japanisches Patent Nr. 5872923
Nicht-Patentdokument 1: „An Augmented-Reality-System and its Calibration based on Marker Tracking“, [online], abgerufen am 27. November 2016], Internet < URL: http://intron.kz.tsukuba.ac.jp/tvrsj/4.4/kato/p-99_VRSJ4_4.pdf>
Nicht-Patentdokument 2: „A study of ARToolkKit-based multi-markers“, Department of Management Information, Faculty of Management Information, Hannan University, Akira Tsutsui and Daisuke Yamaoka, [online], [abgerufen am 27. November 2016], Internet <URL: http://www2.hannanu.ac.jp/∼hanakawa/soturon/2010/TsutsuiYamaoka.pdf>
Nicht-Patentdokument 3: „3-dimensional Transformation Theory, 3-dimensional Affine Transformation“, Programming T-shop, [online], [abgerufen am 27. November 2016], Internet <URL: http://www.geocities.co.jp/SiliconValley-Bay/4543/Rubic/Mathematics/Mathematics-3.html>
Nicht-Patentdokument 4: „Euler Angles“, Wikipedia (registered trademark), [online], [abgerufen am 27. November 2016], Internet <URL: https://ja.m.wikipedia.org/wiki/
Nicht-Patentdokument 5: „3-dimensional Rotation using Quaternion“, Toru Nakada, [online], [abgerufen am 27. November 2016], Internet <URL: http://www015.upp.so-net.ne.jp/notgeld/quaternion.html>
Non-Patent Document 6: „3-dimensional Rotational Transform using Quaternion“, Kenji Hiranabe, [online], [abgerufen am 27. November 2016], Internet <URL: http://qiita.com/kenjihiranabe/items/945232fbde58fab45681>

ZUSAMMENFASSUNG DER ERFINDUNG
Wenn jedoch ein Marker an einem Bearbeitungsprogramm einer echten Werkzeugmaschine angeordnet ist, wie in 17 illustriert, entstehen eine Vielzahl von Problemen, wie in 18 illustriert.
Beispielsweise gibt es das Problem, dass es nicht möglich ist, den Marker wie durch (18A) auf der linken Seite von 18 angegeben zu identifizieren. Dies liegt daran, dass, obwohl es notwendig ist, einen Marker unter Verwendung einer Kamera zu identifizieren, um Erweiterungs-Information zu zeichnen, es unmöglich sein kann, den Marker zu identifizieren, aufgrund von Bewegung oder Rotation eines beweglichen Teils, an welchem der Marker angeordnet ist. In dieser Hinsicht, wenn die in Patentdokument 4 offenbarte Technologie verwendet wird, ist es möglich, das Anzeigen der Erweiterungs-Information fortzusetzen, selbst nachdem es unmöglich wurde, den Marker zu identifizieren. Jedoch, in der in Patentdokument 4 offenbarten Technologie, da es nicht möglich ist, die Bewegung des an dem beweglichen Teil angebrachten Markers zu detektieren, wird es unmöglich, den Marker zu identifizieren, wobei sich die Erweiterungs-Information, die angezeigt wird, nicht bewegt, nachdem es unmöglich wurde, den Marker zu identifizieren. Daher, selbst wenn in Patentdokument 4 offenbarte Technologie verwendet wird, ist es nicht möglich, eine Bearbeitungssimulation angemessen durchzuführen, falls es unmöglich ist, den Marker zu identifizieren.
Darüber hinaus, wie durch (18B) im Zentrum von 18 angegeben, gibt es das Problem, dass die Bewegungsgeschwindigkeit eines sich bewegenden Teils zu schnell ist, um den Marker zu erkennen.
Darüber hinaus, wie durch (18C) auf der rechten Seite von 18 angegeben, gibt es das Problem, dass es unmöglich sein kann, den Marker am beweglichen Teil anzuordnen, von vorneherein. Ein Fall, in welchem es unmöglich ist, den Marker am beweglichen Teil anzuordnen, ist ein Fall, in welchem der bewegliche Teil selbst beispielsweise als virtuelles 3D-Objekt realisiert wird.
Darüber hinaus kann ein Fall erwogen werden, in welchem eine Vielzahl von virtuellen 3D-Objekten auf einem Marker angeordnet ist. Beispielsweise kann ein Fall, in welchem, wie durch (19A) auf der linken Seite von 19 angegeben, ein Werkstück und eine Spannvorrichtung und ein Werkzeug als virtuelle 3D-Objekte angezeigt werden, erwogen werden. Darüber hinaus kann ein Fall, in welchem, wie durch (19B) auf der rechten Seite von 19 angegeben, ein Werkstück und eine Spannvorrichtung und ein Tisch als virtuelle 3D-Objekte angezeigt werden, erwogen werden. In einem solchen Fall gibt es das Problem, dass, falls ein Marker an einem beweglichen Teil angeordnet ist, virtuelle 3D-Objekte, die sich nicht bewegen müssen, sich auch bewegen.
Unter Berücksichtigung dieser Probleme wird es bevorzugt, dass, wenn eine Bearbeitungssimulation an einer Werkzeugmaschine durchgeführt wird, ein Marker fest an einer vorbestimmten Position platziert ist, ohne den Marker selbst zu bewegen.
Wenn jedoch der Marker fest platziert ist, bewegt sich ein virtuelles 3D-Objekt, das unter Verwendung des Markers als dem Ursprung angezeigt wird, nicht. In diesem Fall ist es nicht möglich, eine Bearbeitungssimulation durchzuführen.
Daher, wenn der Marker fest platziert ist, ist es notwendig, ein virtuelles 3D-Objekt an einem Marker-Koordinatensystem (nachfolgend als ein „AR-Koordinatensystem“ bezeichnet), folgend der Bewegung des beweglichen Teils einer Werkzeugmaschine, zu bewegen und zu rotieren.
Im Gegensatz dazu bewegt sich ein bewegliches Teil einer echten Werkzeugmaschine und rotiert durch Operationen einer Steuerachse, die durch eine Numeriksteuerung gesteuert wird. Ein Steuerachsen-Koordinatensystem (nachfolgend als ein „MCN-Koordinatensystem“ bezeichnet) wird durch eine Numeriksteuerung verwaltet und ist für jede Werkzeugmaschine einmalig.
Das heißt, dass ein AR-Koordinatensystem und ein MCN-Koordinatensystem unabhängige Koordinatensysteme sind und es nicht möglich ist, eine Bearbeitungssimulation korrekt durchzuführen, wenn ein virtuelles 3D-Objekt nur gemäß einer Operation (einem Bewegungsbetrag) in der Steuerachse bewegt und rotiert wird.
Dies wird unter Bezugnahme auf ein in 20 illustriertes spezifisches Beispiel beschrieben. Wie durch (20A) auf der linken Site von 20 angegeben, wird eine C-Achse an einer B-Achse einer echten Werkzeugmaschine montiert. Daher, wie durch (20B) in der Mitte von 20 angegeben, wenn die B-Achse rotiert wird, wird auch eine Rotationsachsenrichtung der C-Achse geändert.
Wie durch (20C) auf der rechten Seite von 20 angegeben, wenn die C-Achse aus diesem Zustand rotiert wird, da die Drehachsenrichtung der C-Achse mit der Drehung der B-Achse im MCN-Koordinatensystem, welches durch die Numeriksteuerung verwaltet wird, geändert wird, ist es möglich, eine Rotation der C-Achse wie erwartet durchzuführen.
Im Gegensatz dazu, da das AR-Koordinatensystem keine Information zum Durchführen einer Steuerung so aufweist, dass, wenn die B-Achse rotiert, die Rotationsachsenrichtung der C-Achse geändert wird, die Rotationsachsenrichtung der C-Achse nicht geändert wird, ohne durch die Rotation der B-Achse beeinflusst zu werden. Daher, im AR-Koordinatensystem, falls nur ein Drehbewegungsbetrag der C-Achse geliefert wird, wird eine falsche Rotationsbewegung unerwartet erzielt.
In der oben beschriebenen allgemeinen Technologie ist es schwierig, verschiedene Simulationen, wie Bearbeitungssimulation unter Verwendung einer erweiterten Realitäts-Technologie angemessen durchzuführen.
Daher ist eine Aufgabe der vorliegenden Erfindung, eine erweiterte Realitäts-Simulationsvorrichtung und ein erweitertes Realitäts-Simulationsprogramm bereitzustellen, die in der Lage sind, eine Simulation unter Verwendung einer erweiterten Realitäts-Technologie angemessen durchzuführen.

(1) Eine erweiterte Realitäts-Simulationsvorrichtung (beispielsweise eine später zu beschreibende Numeriksteuerung 100) gemäß der vorliegenden Erfindung beinhaltet: ein Erweiterungsinformations-Anzeigemittel (beispielsweise eine später zu beschreibende kopfmontierte Anzeige 300) zum Anzeigen eines virtuellen Objekts (beispielsweise eines später zu beschreibenden virtuellen 3D-Objektes), um so einer echten Werkzeugmaschine überlagert zu werden; ein Relations-Informations-Erfassungsmittel (beispielsweise eine Relationsinformations-Erfassungseinheit 210, die später zu beschreiben ist) zum Erfassen erster Relationsinformation, die Information ist, welche die Relation zwischen virtuellen Objekten in Steuerachsen einer Numeriksteuerung, welche die Werkzeugmaschine steuert, spezifiziert, und zweiter Relationsinformation, die Information ist, welche Einstellungen der Steuerachsen selbst spezifiziert und die Relation zwischen den Steuerachsen; ein Umwandlungsmittel (beispielsweise eine später zu beschreibende Umwandlungseinheit 220) zum Umwandeln eines Bewegungsbetrags in einem ersten Koordinatensystem, welches ein Koordinatensystem der Steuerachse ist, in Bewegungsinformation in einem zweiten Koordinatensystem, welches ein Koordinatensystem ist, um dem Erweiterungsinformations-Anzeigemittel zu gestatten, das virtuelle Objekt auf Basis der ersten Relationsinformation und der zweiten Relationsinformation anzuzeigen; und ein Rechenmittel (beispielsweise eine Erweiterungsinformations-Recheneinheit 230) zum Berechnen einer Anzeigeposition und eines Anzeigewinkel des virtuellen Objektes auf Basis der Bewegungsinformation im zweiten Koordinatensystem nach der Umwandlung, wobei das Erweiterungsinformations-Anzeigemittel das virtuelle Objekt auf Basis eines Rechenergebnisses des Rechenmittels anzeigt.
(2) In der erweiterten Realitätssimulations-Vorrichtung gemäß (1), wenn die Numeriksteuerung die Werkzeugmaschine durch Senden des Bewegungsbetrags im ersten Koordinatensystem an die Werkzeugmaschine betreibt, das Umwandlungsmittel die Umwandlung auf Basis desselben Bewegungsbetrages wie des Bewegungsbetrags im ersten Koordinatensystem, das an die Werkzeugmaschine gesendet ist, durchzuführen, und das virtuelle Objekt kann so angezeigt werden, dass es mit Operationen der Werkzeugmaschine verschränkt ist.
(3) In der erweiterten Realitäts-Simulationsvorrichtung gemäß (1) oder (2) kann das Rechenmittel eine Distanz zwischen einem ersten Charakteristik-Punkt, welches der Ursprung des zweiten Koordinatensystem ist, und einem zweiten Charakteristik-Punkt, der an einer Bearbeitungssimulations-Startposition des virtuellen Objekts angeordnet ist, berechnen, Bewegungsinformation zum Bewegen der Anzeigeposition des virtuellen Objekts zum zweiten Charakteristik-Punkt auf Basis der berechneten Distanz berechnen, und die Anzeigeposition des virtuellen Objektes, und die Anzeigeposition des virtuellen Objektes auf Basis der berechneten Bewegungsinformation und der Bewegungsinformation im durch das Umwandlungsmittel umgewandelten zweiten Koordinatensystem berechnen.
(4) In der erweiterten Realitäts-Simulationsvorrichtung gemäß einem von (1) bis (3), wenn eine Vielzahl von virtuellen Objekten am Ursprung des zweiten Koordinatensystems angezeigt werden, die jeweiligen virtuellen Objekte unterschiedliche Teile der ersten verwandten Information aufweisen können.
(5) In der erweiterten Realitäts-Simulationsvorrichtung gemäß einem von (1) bis (4), wenn eine Vielzahl von virtuellen Objekten an unterschiedlichen Positionen angezeigt wird, kann das Rechenmittel die Position eines dritten Charakteristik-Punkts im zweiten Koordinatensystem auf Basis der Distanz zwischen dem ersten Charakteristik-Punkt, welches der Ursprung des zweiten Koordinatensystems ist, und dem dritten Charakteristik-Punkt, der an einer anderen Position als dem ersten Charakteristik-Punkt angeordnet ist, spezifizieren und kann das Rechenmittel eine Anzeigeposition des ersten virtuellen Objekts auf Basis der Position des ersten Charakteristik-Punkts berechnen und die Position des dritten Charakteristik-Punkts im zweiten Koordinatensystem als die Anzeigeposition des zweiten virtuellen Objekts berechnen.
(6) Ein erweitertes Realitäts-Simulationsprogramm gemäß der vorliegenden Erfindung ist ein erweitertes Realitäts-Simulationsprogramm, um einen Computer zu veranlassen, als eine erweiterte Realitäts-Simulationsvorrichtung (beispielsweise eine später zu beschreibende Numeriksteuerung 100) zu fungieren, wobei das erweiterte Realitäts-Simulationsprogramm den Computer veranlasst, als die erweiterte Realitäts-Simulationsvorrichtung zu fungieren, die beinhaltet: ein Erweiterungsinformations-Anzeigemittel (beispielsweise eine später zu beschreibende kopfmontierte Anzeige 300) zum Anzeigen eines virtuellen Objekts (beispielsweise eines später zu beschreibenden virtuellen 3D-Objektes), um so einer echten Werkzeugmaschine überlagert zu werden; ein Relations-Informations-Erfassungsmittel (beispielsweise eine Relationsinformations-Erfassungseinheit 210, die später zu beschreiben ist) zum Erfassen erster Relationsinformation, die Information ist, welche die Relation zwischen virtuellen Objekten in Steuerachsen einer Numeriksteuerung, welche die Werkzeugmaschine steuert, spezifiziert, und zweiter Relationsinformation, die Information ist, welche Einstellungen der Steuerachsen selbst spezifiziert und die Relation zwischen den Steuerachsen; ein Umwandlungsmittel (beispielsweise eine später zu beschreibende Umwandlungseinheit 220) zum Umwandeln eines Bewegungsbetrags in einem ersten Koordinatensystem, welches ein Koordinatensystem der Steuerachse ist, in Bewegungsinformation in einem zweiten Koordinatensystem, welches ein Koordinatensystem ist, um dem Erweiterungsinformations-Anzeigemittel zu gestatten, das virtuelle Objekt auf Basis der ersten Relationsinformation und der zweiten Relationsinformation anzuzeigen; und ein Rechenmittel (beispielsweise eine Erweiterungsinformations-Recheneinheit 230) zum Berechnen einer Anzeigeposition und eines Anzeigewinkel des virtuellen Objektes auf Basis der Bewegungsinformation im zweiten Koordinatensystem nach der Umwandlung, wobei das Erweiterungsinformations-Anzeigemittel das virtuelle Objekt auf Basis eines Rechenergebnisses des Rechenmittels anzeigt.

Gemäß der vorliegenden Erfindung ist es möglich, eine Simulation unter Verwendung einer erweiterten Realitäts-Technologie angemessen durchzuführen.
Figurenliste

1 ist ein Blockdiagramm, das eine Basiskonfiguration einer Gesamt-Ausführungsform der vorliegenden Erfindung illustriert.
2 ist ein Blockdiagramm, das eine Basiskonfiguration einer Erweiterungsinformations-Steuerung gemäß einer Ausführungsform der vorliegenden Erfindung illustriert.
3 ist ein Diagramm (1/2), das eine Vorbereitung gemäß einer Ausführungsform der vorliegenden Erfindung illustriert.
4 ist ein Diagramm (2/2), das eine Vorbereitung gemäß einer Ausführungsform der vorliegenden Erfindung illustriert.
5 ist ein Diagramm, das ein Beispiel eines Relationsinformations-Einstellbildschirms gemäß einer Ausführungsform der vorliegenden Erfindung illustriert.
6 ist ein Diagramm (1/2), das die Umwandlung eine Umwandlungseinheit gemäß einer Ausführungsform der vorliegenden Erfindung illustriert.
7 ist ein Diagramm (2/2), das eine Umwandlung einer Umwandlungseinheit gemäß einer Ausführungsform der vorliegenden Erfindung illustriert.
8 ist ein Diagramm, das Relationen mit einer Hauptachse gemäß einer Ausführungsform der vorliegenden Erfindung illustriert.
9 ist ein Diagramm, das ein anderes Beispiel eines Relations-Informations-Einstellbildschirms gemäß einer Ausführungsform der vorliegenden Erfindung illustriert.
10 ist ein Diagramm (1/2) zum Beschreiben eines der Vorteile einer Ausführungsform der vorliegenden Erfindung.
11 ist ein Diagramm (2/2) zum Beschreiben eines der Vorteile einer Ausführungsform der vorliegenden Erfindung.
12 ist ein Diagramm (1/2) zum Beschreiben einer Vielzahl von Markern nicht und dergleichen gemäß einer ersten Modifikation der vorliegenden Erfindung.
13 ist ein Diagramm (2/2) zum Beschreiben einer Vielzahl von Markern und dergleichen gemäß der ersten Modifikation der vorliegenden Erfindung.
14 ist ein Diagramm, das ein Beispiel eines Relationsinformations-Einstellbildschirms gemäß der ersten Modifikation der vorliegenden Erfindung illustriert.
15 ist ein Diagramm, das ein Marker-Koordinatensystem illustriert.
16 ist ein Diagramm, das die Anzeige eines virtuellen 3D-Objekts illustriert.
17 ist ein Diagramm, das einen Fall illustriert, in welchem ein Marker auf einem beweglichen Teil platziert ist.
18 ist ein Diagramm, das ein Problem illustriert, wenn ein Marker auf einem beweglichen Teil platziert ist.
19 ist ein Diagramm, das einen Fall illustriert, in welchem eine Vielzahl von virtuellen 3D-Objekten mit einem Marker korreliert ist.
20 ist ein Diagramm, das ein Problem illustriert, wenn eine Vielzahl von virtuellen 3D-Objekten mit einem Marker korreliert ist.

DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Nachfolgend wird eine Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. Zuerst wird eine Gesamtkonfiguration der vorliegenden Ausführungsform unter Bezugnahme auf 1 beschrieben.
Die vorliegende Ausführungsform beinhaltet eine Numeriksteuerung 100, eine Erweiterungs-Informationssteuerung 200, eine Funkkommunikationseinheit 250, eine kopfmontierte Anzeige 300 und eine Werkzeugmaschine 400.
Die Numeriksteuerung 100 ist eine Vorrichtung, welche die Funktion einer allgemeinen Numeriksteuerung und eine Funktion des Durchführens von Kommunikation mit der Erweiterungs-Informationssteuerung 200 aufweist. Die Numeriksteuerung 100 ist kommunizierbar mit der Werkzeugmaschine 400 verbunden. Die Numeriksteuerung 100 steuert die Werkzeugmaschine 400 gemäß einem Bewegungsbetrag in einem MCN-Koordinatensystem, das auf Basis eines Bearbeitungsprogramms ausgegeben wird, das in die Numeriksteuerung 100 selbst inkorporiert ist, um ein Werkstück zu bearbeiten.
Darüber hinaus ist die Numeriksteuerung 100 auch kommunizierbar mit der Erweiterungs-Informationssteuerung 200 verbunden. Die Numeriksteuerung 100 gibt auch einen Bewegungsbetrag im NC-Koordinatensystem, das ausgegeben wird auf Basis des Bearbeitungsprogramms, an die Erweiterungs-Informationssteuerung 200 aus. Auf diese Weise gibt die Numeriksteuerung 100 den Bewegungsbetrag an sowohl die Werkzeugmaschine 400 als auch die Erweiterungs-Informationssteuerung 200 aus. In dieser Hinsicht kann die Ausgabe des Bewegungsbetrags aus der Numeriksteuerung 100 an die Erweiterungs-Informationssteuerung 200 synchron mit der Ausgabe des Bewegungsbetrags aus der Numeriksteuerung 100 aus der Werkzeugmaschine 400 durchgeführt werden und kann asynchron durchgeführt werden. Darüber hinaus gibt die Numeriksteuerung 100 auch „Relationsinformation zwischen Steuerachsen wie auch Einstellungen von Steuerachsen selbst“ an die Erweiterungs-Informationssteuerung 200 aus.
Die Erweiterungs-Informationssteuerung 200 ist eine Vorrichtung, welche für die vorliegende Erfindung einmalig ist und eine Steuerung zum Anzeigen eines virtuellen 3D-Objektes eines virtuellen Objekts) angemessen durchführt, durch Berechnen einer Anzeigeposition und eines Anzeigewinkels des virtuellen 3D-Objektes unter Verwendung einer erweiterten Realitäts-Technologie. Die detaillierte Konfiguration der Erweiterungs-Informationssteuerung 200 wird später unter Bezugnahme auf 2 beschrieben.
Die Funkkommunikationseinheit 250 ist kommunizierbar mit der Erweiterungs-Informationssteuerung 200 verbunden und erfasst das durch die Erweiterungs-Informationssteuerung 200 ausgegebene virtuelle 3D-Objekt und eine Anzeigeposition und einen Anzeigewinkel des virtuellen 3D-Objekts. Diese Informationsteile, die aus der Erweiterungs-Informationssteuerung 200 ausgegeben werden, entsprechen einem AR-Koordinatensystem. Diese Informationsteile, die aus der Erweiterungs-Informationssteuerung 200 ausgegeben werden, werden an die anhand einer kopfmontierten Anzeige 300 gemäß einem Funkkommunikations-Standard wie etwa Wi-Fi gesendet.
Darüber hinaus empfängt die Funkkommunikationseinheit 250 Information, die durch, durch eine in der kopfmontierten Anzeige 300 enthaltenen Kamera aufgenommenen Bilder erfasst werden, aus der kopfmontierten Anzeige 300 durch Funkkommunikation. Die Funkkommunikationseinheit 250 gibt die empfangene Information an die Erweiterungs-Informationssteuerung 200 aus.
Die kopfmontierte Anzeige 300 ist eine übliche kopfmontierte Anzeige (nachfolgend angemessen als eine „HMD“ bezeichnet) und erfasst das durch die Erweiterungs-Informationssteuerung 200 ausgegebene virtuelle 3D-Objekt und die Anzeigeposition und den Anzeigewinkel desselben über die Funkkommunikationseinheit 250. Das virtuelle 3D-Objekt wird auf einer Anzeige angezeigt, die in der kopfmontierten Anzeige 300 selbst enthalten ist, auf Basis der erfassten Information. Die erfasste Information entspricht dem AR-Koordinatensystem, wie oben beschrieben. Darüber hinaus gibt die kopfmontierte Anzeige 300 die durch, durch die in der kopfmontierten Anzeige 300 selbst enthaltene Kamera aufgenommenen Bilder erfasste Information über die Funkkommunikationseinheit 250 an die Erweiterungs-Informationssteuerung 200 aus.
Die Werkzeugmaschine 400 ist eine übliche Werkzeugmaschine und bewegt und rotiert die Steuerachse anhand eines Bewegungsbetrags im MCN-Koordinatensystem, der aus der Numeriksteuerung 100 ausgegeben wird.
In der vorliegenden Ausführungsform bezieht sich bei einer solchen Konfiguration ein Anwender auf das korrespondierend zu dem AR-Koordinatensystem angezeigten virtuellen 3D-Objekt aus der Anzeige der kopfmontierten Anzeige 300 und bezieht sich auf eine tatsächliche Struktur der Werkzeugmaschine 400, die korrespondierend zum MCN-Koordinatensystem arbeitet, über die Anzeige. Auf diese Weise kann der Anwender den Zustand der Bearbeitungssimulation beobachten. Das heißt, es ist möglich, die oben beschriebene Aufgabe zu lösen, dass eine Simulation unter Verwendung einer erweiterten Realitäts-Technologie angemessen durchgeführt werden kann.
Die in 1 illustrierte Konfiguration ist nur ein Beispiel. Beispielsweise kann die kopfmontierte Anzeige 300 durch ein Tablet-Endgerät statt einer HMD realisiert werden. Darüber hinaus können ein Teil oder die gesamten Funktionen der Erweiterungs-Informationssteuerung 200 an der kopfmontierten Anzeige 300 montiert sein. Darüber hinaus können jeweilige Kommunikationsverbindungen Kabelverbindungen oder Funkverbindungen sein. Beispielsweise, obwohl die Zeichnung ein Beispiel illustriert, in welchem eine Kommunikationsverbindung zwischen der Numeriksteuerung 100 und der Erweiterungs-Informationssteuerung 200 durch eine dem Ethernet (registrierte Marke) entsprechende Kabelverbindung realisiert wird, kann eine solche Verbindung eine Funkverbindung sein. Weiterhin, in der nachfolgenden Beschreibung, obwohl ein virtuelles 3D-Objekt als Erweiterungs-Simulation angezeigt wird, ist dies ein Beispiel nur zur Beschreibung und ist die Anwendung der vorliegenden Ausführungsform nicht auf das virtuelle 3D-Objekt beschränkt.
Beispielsweise kann in der vorliegenden Ausführungsform ein virtuelles 2D-Objekt als Erweiterungs-Information angezeigt werden.
Als Nächstes wird eine detaillierte Konfiguration der Erweiterungs-Informationssteuerung 200 unter Bezugnahme auf 2 beschrieben. Bezug nehmend auf 2 beinhaltet die Erweiterungs-Informationssteuerung 200 eine Relationsinformations-Erfassungseinheit 210, eine Umwandlungseinheit 220 und eine Erweiterungsinformations-Recheneinheit 230.
Die Relationsinformations-Erfassungseinheit 210 ist ein Teil, der Relationsinformation erfasst, welche Information ist, um der Umwandlungseinheit 220 zu gestatten, später zu beschreibende Prozesse durchzuführen. Die durch die Relationsinformations-Erfassungseinheit 210 erfasste Relationsinformation beinhaltet zwei Arten von Information. Zuerst erfasst die Relationsinformations-Erfassungseinheit 210 „Relationsinformation zwischen Steuerachsen wie auch Einstellungen von Steuerachsen selbst“ aus der Numeriksteuerung 100 als erste Relationsinformation.
Darüber hinaus erfasst die Relationsinformations-Erfassungseinheit 210 „Relationsinformation zwischen Steuerachse und virtuellem 3D-Objekt“ als zweite Relationsinformation. Diese Relationsinformation wird auf Basis einer Anwenderbedienung eingestellt. Ein Einstellverfahren wird später unter Bezugnahme auf 11 und dergleichen beschrieben. Die Relationsinformations-Erfassungseinheit 210 gibt die erfassten jeweiligen Teile von Relationsinformation an die Umwandlungseinheit 220 aus.
Die Umwandlungseinheit 220 ist ein Teil, der einen Bewegungsbetrag in dem MCN-Koordinatensystem, der aus der Numeriksteuerung 100 eingegeben wird, in Bewegungsinformation im AR-Koordinatensystem auf Basis der aus der Relationsinformations-Erfassungseinheit 210 eingegebenen Relationsinformation umwandelt. Die Bewegungsinformation im AR-Koordinatensystem nach Umwandlung wird an die Erweiterungsinformations-Recheneinheit 230 ausgegeben.
Die Erweiterungsinformations-Recheneinheit 230 ist ein Teil zum Anzeigen der Erweiterungsinformation gemäß einer erweiterten Realitäts-Technologie. Die Erweiterungsinformations-Recheneinheit 230 weist eine (nicht illustrierte) Datenbank von virtuellen 3D-Objekten innerhalb oder außerhalb der Erweiterungsinformations-Recheneinheit 230 auf. Die Erweiterungsinformations-Recheneinheit 230 erzeugt „Erweiterungsinformations-Anzeigedaten“ zum Anzeigen eines aus der Datenbank korrespondierend zur Bewegungsinformation im aus der Umwandlungseinheit 220 eingegebenen AR-Koordinatensystem ausgewählten virtuellen 3D-Objekts. Die Erweiterungsinformations-Anzeigedaten beinhalten eine Form oder dergleichen des virtuellen 3D-Objekts, eine Anzeigeposition und einen Anzeigewinkel des virtuellen 3D-Objekts und dergleichen. Die Erweiterungsinformations-Recheneinheit 230 gibt die erzeugten Erweiterungsinformations-Anzeigedaten an die kopfmontierte Anzeige 300 über die Funkkommunikationseinheit 250 aus.
Die kopfmontierte Anzeige 300 zeigt ein virtuelles 3D-Objekt auf Basis der entsprechenden Informationsteile an, die in den Erweiterungsinformations-Anzeigedaten enthalten sind, wie oben beschrieben.
Die Erweiterungs-Informationssteuerung 200 kann durch Inkorporieren von Software, die für die vorliegende Ausführungsform einmalig ist, in eine übliche Server-Vorrichtung oder einen Persönlichen Computer realisiert werden.
Spezifischer beinhaltet die Erweiterungs-Informationssteuerung 200 eine arithmetische Verarbeitungsvorrichtung wie etwa eine Zentraleinheit (CPU). Darüber hinaus beinhaltet die Erweiterungs-Informationssteuerung 200 eine Hilfsspeichervorrichtung, wie etwa ein Festplattenlaufwerk (HDD) oder ein Solid State-Laufwerk, das verschiedene Programme speichert, und eine Hauptspeichervorrichtung, wie etwa einen Wahlfreizugriffsspeicher (RAM) zum Speichern von Daten, die zeitweilig für die Arithmetik-Verarbeitungsvorrichtung nötig sind, um Programme auszuführen.
Darüber hinaus liest in der Erweiterungs-Informationssteuerung 200 die Arithmetik-Verarbeitungsvorrichtung verschiedene Programme aus der Hilfssteuervorrichtung ein und führt einen Arithmetik-Prozess, basierend auf diesen Programmen durch, während die eingelesenen Programme in die Hauptspeichervorrichtung geladen werden.
Die Funktionen der oben beschriebenen Funktionsblöcke werden durch Steuern von Hardware-Komponenten realisiert, die in der Erweiterungs-Informationssteuerung 200 enthalten sind, auf Basis des Arithmetik-Verarbeitungsergebnisses. Das heißt, dass die vorliegende Ausführungsform durch Kooperation von Software und Hardware realisiert werden kann.
Als Nächstes werden die Prozesse der jeweiligen Funktionsblöcke, die in der Erweiterungs-Informationssteuerung 200 enthalten sind, unter Bezugnahme auf die Zeichnungen beschrieben. Zuerst wird ein Vorbereitungsprozess, der in einer Vorstufe des Anzeigens eines virtuellen 3D-Objekts durchgeführt wird, unter Bezugnahme auf 3 und 4 beschrieben.
In der nachfolgenden Beschreibung werden ein Welt-Koordinatensystem und ein Lokal-Koordinatensystem verwendet. Hier ist das Welt-Koordinatensystem ein Koordinatensystem, das ein Marker-Zentrum als Ursprung P_W verwendet, wie in Element 1) von 3 illustriert.
Darüber hinaus ist das lokale Koordinatensystem ein Koordinatensystem, welches das Rotationszentrum eines virtuellen 3D-Objektes als Ursprung P_L verwendet, wie in Element 2) von 3 illustriert. Die Erweiterungsinformations-Recheneinheit 230 der Erweiterungs-Informationssteuerung 200 ruft virtuelle 3D-Objektdaten ab. Die Drehbewegung eines virtuellen 3D-Objekts um den Ursprung P_L des Lokal-Koordinatensystems wird anhand der Bewegungsinformation in der durch die Erweiterungsinformations-Recheneinheit 230 berechneten Rotationsrichtung durchgeführt.
Darüber hinaus arrangiert und registriert die Erweiterungsinformations-Recheneinheit 230 das abgerufene virtuelle 3D-Objekt auf dem Welt-Koordinatensystem auf Basis des Ursprungs P_L des Lokal-Koordinatensystem Koordinatensystems. Wie in Element 3) in 3 illustriert, kann die Anzeigeposition des virtuellen 3D-Objektes anhand eines Koordinatenwerts des Ursprungs P_L des Lokal-Koordinatensystems auf das Welt-Koordinatensystem bewegt werden. Das heißt, dass die Linearbewegung des virtuellen 3D-Objekts durch Aktualisieren des Koordinatenwerts des Ursprungs P_L des Lokal-Koordinatensystems am Welt-Koordinatensystem anhand der Bewegungsinformation in einer durch die Erweiterungsinformations-Recheneinheit 230 berechneten linearen Richtung durchgeführt wird.
Hier wird in der vorliegenden Ausführungsform der Marker nicht auf einem beweglichen Teil platziert, in welchem ein virtuelles 3D-Objekt tatsächlich anzuordnen ist, sondern wird fest an einer Position platziert, die von dem beweglichen Teil weg liegt und an welcher der Marker durch die Kamera der HMD aufgenommen werden kann. Dies dient dazu, das Problem zu lösen, das auftritt, wenn der Marker an einem beweglichen Teil platziert wird, wie unter Bezugnahme auf 18 und 19 beschrieben.
Jedoch entspricht eine Anfangsanzeigeposition des virtuellen 3D-Objekts einer Anordnungsposition des Markers zum Zeitpunkt der Aktivierung der Erweiterungs-Informationssteuerung 200. In diesem Fall wird die Anfangsanzeigeposition aus der Bearbeitungssimulations-Startposition des virtuellen 3D-Objektes verschoben und wird das virtuelle 3D-Objekt weg vom Marker angeordnet.
Daher ist es notwendig, diese Verschiebung zu eliminieren. In dieser Hinsicht, um diese Verschiebung zu eliminieren, kann ein Anwender die Verschiebung beispielsweise durch manuelles Betätigen des Markers eliminieren. Beispielsweise kann der Anwender eine in der Erweiterungs-Informationssteuerung 200 enthaltene (nicht illustrierte) Bedieneinheit bedienen, um ein Justierung so durchzuführen, dass die Verschiebung eliminiert wird, während Bezug genommen wird auf ein auf der Anzeige der HMD angezeigtes virtuelles 3D-Objekt. Die Bedieneinheit, die in der Erweiterungs-Informationssteuerung 200 enthalten ist, ist beispielsweise eine Tastatur, eine Maus oder dergleichen, verbunden mit einem Persönlichen Computer, wenn die Erweiterungs-Informationssteuerung 200 durch einen Persönlichen Computer realisiert ist.
Jedoch kann die Justierung so durchgeführt werden, dass die Verschiebung automatisch eliminiert wird, ohne eine Anwenderhandbuch-Justierung zu erfordern, in dem die Anwenderbequemlichkeit berücksichtigt wird. Ein Beispiel des Justierverfahrens wird unter Bezugnahme auf 4 beschrieben.
Wie in 4 illustriert, wden in diesem Beispiel zwei Marker: erster und zweiter Marker, vorbereitet. Hier ist der erste Marker derselbe Marker wie unter Bezugnahme auf 3 beschrieben und ist ein Marker zum Anzeigen eines virtuellen 3D-Objektes, wie in Element 1) von 4 illustriert. Der erste Marker entspricht dem Ursprung des Welt-Koordinatensystems.
Andererseits, wie in Element 1) von 4 illustriert, ist der zweite Marker ein Marker zum Detektieren einer Bearbeitungssimulations-Startposition eines aktuellen 3D-Objekts. Die ersten und zweiten Marker weisen unterschiedliche Entwürfe oder unterschiedliche Formen auf, so dass die Erweiterungs-Informationssteuerung 200 die zwei Marker unterscheiden und identifizieren kann.
Wie in Element 2) von 4 illustriert, wird eine Rotationsachse (MCN-Koordinatensystem) an einer mit einem virtuellen 3D-Objekt verschränkten Werkzeugmaschine an einer Anfangsposition positioniert und wird der zweite Marker an einer Bearbeitungssimulations-Startposition des virtuellen 3D-Objektes so angeordnet, dass der zweite Marker durch die Kamera der HMD aufgenommen werden kann. Andererseits ist der erste Marker an einer Position angeordnet, an welcher der erste Marker immer durch die Kamera der HMD aufgenommen werden kann.
Nachfolgend, wie in Element 3) von 4 illustriert, wird die Erweiterungs-Informationssteuerung 200 aktiviert. Andererseits werden die ersten und zweiten Marker durch die Kamera der kopfmontierten Anzeige 300 aufgenommen. Die kopfmontierte Anzeige 300 sendet durch Aufnehmen ermittelte Bilddaten über die Funkkommunikationseinheit 250 an die Erweiterungs-Informationssteuerung 200.
Die aktivierte Erweiterungs-Informationssteuerung 200 detektiert die jeweiligen Marker auf Basis der aus der kopfmontierten Anzeige 300 gesendeten Bilddaten und berechnet die Distanz zwischen den Markern als einen Anfangsprozess. Die in Nicht-Patentdokument 2 oder dergleichen offenbarte Technologie kann beispielsweise verwendet werden, um diesen Prozess durchzuführen.
Nachfolgend, wie in Element 4) von 4 illustriert, wenn das virtuelle 3D-Objekt auf dem ersten Marker angezeigt wird, wird der Ursprung P_L des Lokal-Koordinatensystems am Welt-Koordinatensystem unter Verwendung einer Zwischenmarker-Distanz als Information bewegt. Auf diese Weise ist es möglich, das virtuelle 3D-Objekt an einer Bearbeitungssimulations-Startposition des virtuellen 3D-Objektes an einer Werkzeugmaschine anzuzeigen, die mit dem virtuellen 3D-Objekt verschränkt ist. Da es nicht notwendig ist, eine Justierung unter Verwendung des zweiten Markers danach durchzuführen, kann der zweite Marker aus der Werkzeugmaschine entfernt werden.
Dadurch kann der erste Marker fest an einer Position platziert werden, an welcher der erste Marker durch die Kamera der kopfmontierten Anzeige 300 aufgenommen werden kann. Wenn eine zusätzliche Feinjustierung erforderlich ist, kann die Anwender-Handjustierung kombiniert werden. Als Nächstes wird die Erfassung von „Relationsinformation zwischen Steuerachse und virtuellem 3D-Objekt“ durch die Relationsinformations-Erfassungseinheit 210 unter Bezugnahme auf 5 beschrieben.
In der vorliegenden Ausführungsform wird angenommen, dass die Relationsinformations-Erfassungseinheit 210 dem Anwender gestattet, die Relation zwischen dem virtuellen 3D-Objekt und der Steuerachse, welche durch die Numeriksteuerung 100 verwaltet wird, auf einem dedizierten Einstellbildschirm einzustellen. Daher gibt die Relationsinformations-Erfassungseinheit 210 eine solche Anwenderschnittstelle, wie als der Relationsinformations-Einstellbildschirm in 5 illustriert, an den Anwender aus. Auf diese Anwenderschnittstelle wird die Einstellung der Relation zwischen der Steuerachse und dem virtuellen 3D-Objekt vom Anwender empfangen. Auf diese Weise kann die Relationsinformations-Erfassungseinheit 210 die Relationsinformation zwischen der Steuerachse und dem virtuellen 3D-Objekt erfassen. Diese Anwenderschnittstelle wird beschrieben.
Zuerst ist „Element: 1“ in der Zeichnung Information, die ein virtuelles 3D-Objekt identifiziert. In der vorliegenden Ausführungsform wird die Einstellung an jeweiligen virtuellen 3D-Objekten in einer, in der Erweiterungsinformations-Recheneinheit 230 gespeicherten virtuellen 3D-Objekt-Datenbank durchgeführt. Ein virtuelles Einstellziel-3D-Objekt wird beispielsweise aus einer Liste von virtuellen 3D-Objekten ausgewählt.
„Element: 2“ in der Zeichnung ist Information, die Bewegungsrichtungen und Rotationsrichtungen des AR-Koordinatensystems eines vorliegenden, virtuellen Einstellziel-3D-Objekts angibt. Die Bewegungsrichtung wird durch drei orthogonale Achsen X, Y und Z repräsentiert. Darüber hinaus gibt A eine Rotationsrichtung um die X-Achse an. Ähnlich gibt B eine Rotationsrichtung um die Y-Achse an und gibt C eine Rotationsrichtung um die Z-Achse an.
„Element: 3“ in der Zeichnung ist ein Teil zu Auswählen einer Achse und einer Rotationsrichtung entsprechend jeder Bewegungsrichtung und jeder Rotationsrichtung im AR-Koordinatensystem aus der Steuerachse (als „Zielachse“ in der Zeichnung bezeichnet), welche durch die Numeriksteuerung 100 verwaltet wird. Die auswählbare Steuerachse wird auf Basis des MCN-Koordinatensystems durch die Numeriksteuerung 100 verwaltet. Aufgrund dessen kann eine Liste von auswählbaren Steuerachsen aus der Numeriksteuerung 100 erfasst werden. Darüber hinaus wird die Steuerachse durch den Anwender ausgewählt.
Beispielsweise wird in dem in der Zeichnung illustrierten Beispiel eine Steuerachse X1 des MCN-Koordinatensystems als eine Achse ausgewählt, die der X-Achse des AR-Koordinatensystems entspricht. Jedoch ist dies nur ein Beispiel und beispielsweise kann eine Steuerachse Y1 des MCN-Koordinatensystems als die Achse ausgewählt werden, die der X-Achse des AR-Koordinatensystems entspricht. Diese Korrelationen unterscheiden sich von einem virtuellen 3D-Objekt zum anderen. Für Richtungen, wo keine Bewegung auftritt, wird keine Auswahl getroffen (durch „-“ in der Zeichnung bezeichnet).
„Element: 4“ in der Zeichnung ist ein Teil, der Information der Steuerachse anzeigt, die in „Element: 3“ in der Zeichnung ausgewählt ist. Diese Information wird automatisch zusammen mit der in „Element: 3“ ausgewählten Steuerachse bestimmt und wird zur Anwenderbestätigung angezeigt.
Spezifisch wird beschrieben, ob die Steuerachse Linearbewegung oder Rotationsbewegung durchführt. Darüber hinaus wird eine Referenzachse beschrieben. Wenn beispielsweise die Steuerachse X1 ist, wird eine Linearbewegung längs der X-Achse durchgeführt. Darüber hinaus, wenn die Steuerachse B1 ist, wird eine Rotationsbewegung um die Y-Achse durchgeführt.
Darüber hinaus wird die Bewegungsrichtung der Rotationsachsenrichtung abhängig von der Position einer in „Hauptachse“ angezeigten Achse verändert. Da beispielsweise die Hauptachse von C1 B1 ist, wird die Bewegungsrichtung der Rotationsachsenrichtung abhängig von der Position B1 verändert.
„Reversrichtung“ in „Element: 5“ ist ein Element, in welchem ein Anwender eine Prüfmarke ausfüllt, wenn die Bewegungsrichtung im AR-Koordinatensystem eine reverse Richtung ist. Wenn eine Prüfmarke in dem Element ausgeführt ist, wird eine reverse Bewegung im AR-Koordinatensystem durchgeführt. Von den oben beschriebenen jeweiligen Elementen werden die „Element: 3“ und „Element: 5“ durch den Anwender eingestellt.
Wie in 2 illustriert, erfasst die Relationsinformations-Erfassungseinheit 210 auch „Relationsinformation zwischen Steuerachsen wie auch Einstellungen von Steuerachsen selbst“. Tatsächlich sind die Einstellungen von Steuerachsen selbst und die Relationsinformation zwischen Steuerachsen bereits auf Seite der Numeriksteuerung 100 eingestellt und kann die Relationsinformations-Erfassungseinheit 210 dieselben aus der Numeriksteuerung 100 erfassen und dieselben so wie sie sind verwenden. Daher ist es nicht notwendig, die Einstellungen von Steuerachsen selbst und die Relationsinformation zwischen Steuerachsen an solch einem dedizierten Anzeigebildschirm, wie in 5 illustriert, einzustellen.
Als Nächstes wird die Umwandlung aus dem Bewegungsbetrag im MCN-Koordinatensystem zur Bewegungsinformation im AR-Koordinatensystem, welche durch die Umwandlungseinheit 220 durchgeführt wird, nachdem die oben beschriebene Einstellung durchgeführt ist, unter Bezugnahme auf 6 und 7 beschrieben. Zuerst wird die Linearbewegung (das heißt, eine lineare Achse, längs welcher Linearbewegung durchgeführt wird) unter Bezugnahme auf 6 beschrieben.
In diesem Beispiel wird ein Fall, in welchem ein virtuelles Umwandlungsziel-3D-Objekt „virtuelles 3D-Objekt 1“ ist, das unter Bezugnahme auf 5 beschrieben ist, die Relationsinformation wie unter Bezugnahme auf 5 beschrieben eingestellt wird und der Bewegungsbetrag der Steuerachse X1 in die entsprechende Bewegungsinformation im AR-Koordinatensystem X umgewandelt wird, beschrieben.
Im Falle der Bewegung in Normalrichtung längs der Linearachse wird der Bewegungsbetrag X_MCN der aus der Numeriksteuerung 100 ausgegebenen Linearachse in X_AR1 umgewandelt, anhand der Relationsinformation, die wie unter Bezugnahme auf 5 beschrieben eingestellt ist, und wird an die Erweiterungsinformations-Recheneinheit 230 ausgegeben.
Die Erweiterungsinformations-Recheneinheit 230 bewegt den Ursprung des Lokal-Koordinatensystems des virtuellen 3D-Objekts 1 um einen Bewegungsbetrag von X_AR1 auf Basis des Eingabewerts X_AR1 zum Erzeugen von Erweiterungsinformations-Anzeigedaten. Auf diese Weise wird die Anzeigeposition des virtuellen 3D-Objekts 1 entsprechend der Umwandlung der Umwandlungseinheit 220 bewegt.
Falls eine Prüfmarke in „reverser Richtung“ ausgefüllt wird, welche „Element: 5“ in 5 ist, weist der Bewegungsbetrag von X_AR1 einen Wert entsprechend der reversen Richtung auf. Das heißt, falls der Bewegungsbetrag X_MCN der Linearachse „+10,0“ ist, wird X_AR1 in „+10,0“ umgewandelt, wenn eine Prüfmarke nicht in „reverser Richtung“ ausgefüllt wird, während X_AR1 in „-10,0“ umgewandelt wird, wenn eine Prüfmarke in „reverser Richtung“ ausgefüllt wird. Darüber hinaus, falls X1 auf die lineare Achse des AR-Koordinatensystems Y in „Zielachse“ eingestellt wird, welche „Element: 3“ in 5 ist, wird der Bewegungsbetrag X_MCN der Linearachse zu Y_AR1. Als Nächstes wird die Rotationsbewegung (das heißt eine Rotationsachse, um welche eine Rotationsbewegung durchgeführt wird) unter Bezugnahme auf 7 beschrieben.
In diesem Beispiel wird ein Fall, in dem ein virtuelles Umwandlungsziel-3D-Objekt „virtuelles 3D-Objekt 1“ ist, das unter Bezugnahme auf 5 beschrieben ist, die Relationsinformation wie unter Bezugnahme auf 5 beschrieben eingestellt und wird der Bewegungsbetrag der Steuerachse C1 in die entsprechende Bewegungsrichtung im AR-Koordinatensystem C umgewandelt wird, beschrieben.
Der Bewegungsbetrag C_MCN der Rotationsachse, welche aus der Numeriksteuerung 100 ausgegeben wird, wird in C_AR1 anhand der Relationsinformation umgewandelt, die wie unter Bezugnahme auf 5 beschrieben eingestellt ist. In diesem Fall, falls eine Prüfmarke in „reverser Richtung“ ausgefüllt ist, die „Element: 5“ in 5 ist, weist der Bewegungsbetrag von C_AR1 einen Wert entsprechend der reversen Richtung auf. Darüber hinaus wird der Winkel θ der Hauptachse spezifiziert.
Wie in 5 illustriert, im Falle des AR-Koordinatensystems C ist die Zielachse C1 und ist die Hauptachse B1. In diesem Fall „θ ← Hauptachse (B_AR1-Achse) -Winkel“. Darüber hinaus, wie in 5 illustriert, im Falle des AR-Koordinatensystems B, ist die Zielachse B1 und ist die Hauptachse nicht vorhanden. In diesem Fall „θ←0“.
Nachfolgend wird die Drehachsenrichtungs-Information der C-Achse aus der Information der Hauptachse θ berechnet. Die berechnete Rotationsachsenrichtungs-Information ist unterschiedlich, abhängig von einem prinzipiellen Rechenverfahren (beispielsweise Quaternion oder affine Transformation), das für die Rotationsverarbeitung von virtuellen 3D-Objekten verwendet wird. Beispiele dieser prinzipiellen Rechenverfahren sind beispielsweise in den Nicht-Patentdokumenten 3 bis 6 offenbart. Spezifischer offenbart das Nicht-Patentdokument 3 hauptsächlich affine Transformation, offenbart das Nicht-Patentdokument 4 hauptsächlich den Euler-Winkel und offenbaren die Nicht-Patentdokumente 5 und 6 hauptsächlich Quaternion.
Beispielsweise wird im Falle von Quaternion ein Einheitsvektor, der eine Drehachsenrichtung angibt, als die Rotationsachsenrichtungs-Information verwendet. Wie beispielsweise in der Zeichnung illustriert, wird ein eine Rotationsachsenrichtung der C-Achse, bevor die B-Achse rotiert, angebender Einheitsvektor als V1 = [0 0 1] berechnet und wird ein, eine Rotationsachsenrichtung der C-Achse, wenn die B-Achse, wenn die B-Achse um 90,0 ° rotiert wird, angebender Einheitsvektor als V2 = [0 1 0] berechnet. Die Umwandlungseinheit 220 gibt die durch die Umwandlung erzeugte Rotationsachsenrichtungs-Information und den Bewegungsbetrag C_AR1 an die Erweiterungsinformations-Recheneinheit 230 aus.
Die Erweiterungsinformations-Recheneinheit 230 erzeugt Erweiterungsinformations-Anzeigedaten, so dass das virtuelle 3D-Objekt auf dem Lokal-Koordinatensystem rotiert, um so der Rotationsachsenrichtungs-Information und dem Bewegungsbetrag C_AR1 zu entsprechen. Auf diese Weise rotiert das virtuelle 3D-Objekt 1 korrespondierend zur Umwandlung der Umwandlungseinheit 220.
Auf diese Weise, indem die Rotationsachsenrichtungs-Information während der Umwandlung der Umwandlungseinheit 220 berechnet wird, ist es möglich, ein solches Problem zu lösen, dass die Rotationsachsenrichtung der C-Achse nicht geändert wird, ohne durch die Rotation der B-Achse im AR-Koordinatensystem beeinflusst zu werden, wie unter Bezugnahme auf (20C) auf der rechten Seite von 20 beschrieben.
Dies wird unter Bezugnahme auf ein in 8 illustriertes spezifisches Beispiel beschrieben. Wie durch (8A) oben in 8 angegeben, wird die C-Achse auf der B-Achse in einer echten Werkzeugmaschine montiert.
Daher, wie durch (8B) im Zentrum von 8 angegeben, wenn die B-Achse beispielsweise um 90,0° rotiert wird, wird auch die Rotationsachsenrichtung der C-Achse um 90,0° rotiert und wird geändert.
Wie durch (8C) unten in 8 angegeben, wenn die C-Achse um 90,0° aus diesem Zustand rotiert wird, wird auch die Rotationsachsenrichtung der C-Achse geändert, indem sie durch die Rotation der B-Achse beeinflusst wird. Auf diese Weise ist es möglich, die Rotationsbewegung wie erwartet zu realisieren. Das heißt, dass die oben beschriebenen Probleme gelöst werden können. Als Nächstes wird ein spezifisches Anwendungsbeispiel der vorliegenden Ausführungsform unter Bezugnahme auf 9 beschrieben.
Im Beispiel von 9 wird eine Vielzahl von virtuellen 3D-Objekten angezeigt. In diesem Fall werden Prozesse, welche das Welt-Koordinatensystem und das Lokal-Koordinatensystem berücksichtigen, an den entsprechenden virtuellen 3D-Objekten durchgeführt, wie unter Bezugnahme auf 3 und 4 beschrieben.
Wenn ein virtuelles 3D-Objekt mit Bewegung der Numeriksteuerung 100 verschränkt ist, wird die Relationsinformation zwischen der Steuerachse und dem virtuellen 3D-Objekt wie unten in 9 illustriert eingestellt.
Die in der Erweiterungs-Informationssteuerung 200 enthaltenen, jeweiligen Funktionsblöcke führen die oben beschriebenen Prozesse durch, wodurch die jeweiligen virtuellen 3D-Objekte sich am Koordinatensystem mit Bewegung der Steuerachsen entsprechend den virtuellen 3D-Objekten bewegen. In diesem Fall wird ein reverses Richtungsflag auf eine Zielachse Z2 des Objekts 2 eingestellt. Daher bewegt sich das Objekt in einer reversen Richtung auf dem AR-Koordinatensystem durch den aus der Numeriksteuerung 100 empfangenen Bewegungsbetrag. Die vorliegende Ausführungsform, die oben beschrieben ist, stellt die folgenden Vorteile bereit.
In der vorliegenden Ausführungsform wandelt die Umwandlungseinheit 220 den Bewegungsbetrag im MCN-Koordinatensystem in die Bewegungsinformation im AR-Koordinatensystem um. Darüber hinaus erzeugt die Erweiterungsinformations-Recheneinheit 230 Erweiterungsinformations-Anzeigedaten auf Basis der Bewegungsinformation im AR-Koordinatensystem nach der Umwandlung. Die kopfmontierte Anzeige 300 zeigt Erweiterungsinformation an, um so auf die Werkzeugmaschine 400 überlagert zu werden, auf Basis der Erweiterungsinformations-Anzeigedaten.
Auf diese Weise ist es möglich, die Numeriksteuerung 100 mit den virtuellen erweiterten realitätsbasierten 3D-Objekten zu verschränken. Daher kann der Anwender den Zustand der Bearbeitungssimulation beobachten.
Darüber hinaus, in der vorliegenden Ausführungsform, da eine Kameraaufnahmerichtung zum Erfassen eines Charakteristik-Punkts (beispielsweise eines Markers) geändert werden kann, ist es möglich, Objekte zu beobachten, während ein Blickpunkt verändert wird. Das heißt, dass gemäß der vorliegenden Ausführungsform es möglich ist, eine Maschinen-Simulation näher an der Realität zu realisieren als im Falle der Verwendung der im Patentdokument 2 offenbarten Technologie.
Darüber hinaus kann in der vorliegenden Ausführungsform ein Anwender eine Maschinensimulation durch einfache Vorbereitung und nur Einstellen ausführen: eine solche Vorbereitung wie unter Bezugnahme auf 4 beschrieben und eine solche Einstellung wie unter Bezugnahme auf 5 beschrieben.
Weiterhin ist es in der vorliegenden Ausführungsform, wie in 9 illustriert, wenn eine Vielzahl von 3D-Objekten durch einen Marker aufgenommen wird, möglich, die Vielzahl von 3D-Objekten zu bewegen, um sich so auseinanderzuspreizen.
Darüber hinaus, in der vorliegenden Ausführungsform, da das virtuelle 3D-Objekt so angezeigt wird, dass es der realen Werkzeugmaschine 400 überlagert wird, ist es nicht notwendig, alle Elemente zu realisieren, welche die Werkzeugmaschine 400 konfigurieren, als virtuelle 3D-Objekte. Das heißt, es ist nicht notwendig, eine volle Computergraphik (CG) zu erzeugen, anders als bei der konventionellen Technologie. Aufgrund dessen, selbst wenn eine Vielzahl von Typen von Werkzeugmaschinen 400 vorhanden ist, ist es möglich, leicht Bearbeitungssimulationen der jeweiligen Werkzeugmaschinen zu realisieren. Auf diese Weise ist es möglich, die Kosten und die Werkstückperiode zu reduzieren. Dies wird unter Bezugnahme auf 10 und 11 beschrieben.
Wie in 10 illustriert, wird ein Fall, in welchem unterschiedliche Werkzeugmaschinen 400 (beispielsweise ein durch Unternehmen A hergestelltes Bearbeitungszentrum und eine durch Unternehmen C hergestellte Gegenspindel-Drehmaschine) mit entsprechenden Numeriksteuerungen 100 verbunden sind, erwogen. In diesem Fall ist es bei der konventionellen Technologie notwendig, virtuelle 3D-Objekte für diese entsprechenden unterschiedlichen Werkzeugmaschinen 400 zu erzeugen. Darüber hinaus, danach, wenn ein neues Modell produziert wird, ist es notwendig, ein anderes virtuelles 3D-Objekt dieses neuen Modells zu erzeugen. Das heißt, dass es notwendig ist, virtuelle 3D-Objekte zu erzeugen, die für die jeweiligen Werkzeugmaschinen 400 einmalig sind.
Im Gegenteil dazu werden in der vorliegenden Ausführungsform die oben beschriebenen Prozesse durch eine Kombination der Erweiterungsinformations-Recheneinheit 230, die allgemeine Funktionen einer erweiterten Realitäts-Technologie aufweist, und der Relationsinformations-Erfassungseinheit 210 und der Umwandlungseinheit 220, die eine für die vorliegende Ausführungsform einmalige Konfiguration aufweisen, durchgeführt.
Auf diese Weise, selbst wenn die Numeriksteuerung 100, welche eine beliebige Werkzeugmaschine 400 steuert, und die Erweiterungs-Informationssteuerung 200 verbunden sind, ist es möglich, eine Bearbeitungssimulation zu realisieren.
Das heißt, dass es gemäß der vorliegenden Ausführungsform möglich ist, eine Bearbeitungssimulation an einer beliebigen Werkzeugmaschine 400 unter Verwendung einer Konfiguration (einer Applikation zum Realisieren der Konfiguration) durchzuführen.
Oben ist die vorliegende Ausführungsform beschrieben worden. Die oben beschriebene Ausführungsform ist eine bevorzugte Ausführungsform der vorliegenden Erfindung. Jedoch ist der Schutzumfang der vorliegenden Erfindung nicht nur auf die Ausführungsform beschränkt, sondern die vorliegende Erfindung kann in verschiedenen Modifikationen ausgeführt werden, ohne vom Geist der vorliegenden Erfindung abzuweichen. Beispielsweise kann die vorliegende Erfindung in Modifikationen modifiziert werden, die unten zu beschreiben sind.
[Erste Modifikation]
Eine erste Modifikation der vorliegenden Erfindung wird unter Bezugnahme auf 12 bis 14 beschrieben. Bei dieser Modifikation wird eine Bearbeitungssimulation basierend auf Verschränkung mit dem MCN-Koordinatenwert der Werkzeugmaschine 400 realisiert, ohne einen beweglichen Teil der Werkzeugmaschine 400 zu bewegen. Daher wird bei dieser Modifikation, wie oben in 12 illustriert, der Bewegungsbetrag im MCN-Koordinatensystem nicht an die Werkzeugmaschine 400 ausgegeben. Auf diese Weise ist es möglich, ein virtuelles 3D-Objekt nur zu bewegen, ohne einen echten beweglichen Teil der Werkzeugmaschine 400 zu bewegen.
Darüber hinaus wird bei dieser Modifikation eine Vielzahl von Markern zum Anzeigen virtueller 3D-Objekte vorbereitet. Wie unten in 12 illustriert, werden eine oder eine Vielzahl von virtuellen 3D-Objekten an jeder der Vielzahl von Markern angezeigt. Jeder der Vielzahl von Markern entspricht dem in 4 illustrierten ersten Marker und unterscheidet sich vom in 4 illustrierten zweiten Marker.
Wenn entsprechende virtuelle 3D-Objekte unter Verwendung einer Vielzahl von Markern angezeigt werden, ist es notwendig, das AR-Koordinatensystem (das Welt-Koordinatensystem im AR-Koordinatensystem) zu vereinheitlichen. Dies wird unter Bezugnahme auf 13 beschrieben. Zuerst wird ein Hauptmarker aus einer Vielzahl von Markern bestimmt. Andere Marker als der Hauptmarker sind Untermarker. Nachfolgend wird das Zentrum P_n eines anderen Markers mit dem Welt-Koordinatensystem korreliert, dessen Ursprung P₁ am Zentrum des Hauptmarkers liegt.
Daher, wie oben in 13 illustriert, wird die Distanz zwischen jedem Hauptmerker und Untermarker erfasst. Die Distanz wird unter Verwendung der in Nicht-Patentdokument 2 offenbarten Technologie und dergleichen erfasst, wie unter Bezugnahme auf 4 als Beispiel beschrieben.
Nachfolgend, wie unten in 13 illustriert, wird die erfasste Distanz auf die Zentrumsposition P_n jedes Markers im Welt-Koordinatensystem eingestellt. Hier, da das Lokal-Koordinatensystem jedes virtuellen 3D-Objektes mit dem Koordinatensystem jedes Markers korreliert wird, indem die Distanz auf diese Weise eingestellt wird, ist es möglich, die Position jedes virtuellen 3D-Objektes zu repräsentieren, kann die Position im selben Koordinatensystem zeigen, und Interferenz zwischen dem virtuellen 3D-Objekten zu überprüfen.
Obwohl eine Kombination einer Modifikation, dass der Bewegungsbetrag im MCN-Koordinatensystem nicht an die Werkzeugmaschine 400 ausgegeben wird, und eine Modifikation, dass ein oder eine Vielzahl von virtuellen 3D-Objekten auf jeder der Vielzahl von Markern angezeigt wird, beschrieben worden ist, kann jegliche der Modifikationen implementiert werden.
Ein Beispiel eines Relationsinformations-Einstellbildschirms, wenn eines oder eine Vielzahl von virtuellen 3D-Objekten mit jedem der Vielzahl von Markern korreliert sind, wird beschrieben. Dieser Einstellbildschirm ähnelt dem Relationsinformations-Bildschirm, der in 5 illustriert ist. In diesem Beispiel wird die Relation zwischen jedem virtuellen 3D-Objekt und jeder Steuerachse wie in 14 illustriert, eingestellt.
Hier werden zwei virtuelle 3D-Objekte von virtuellem 3D-Objekt 2 und virtuellem 3D-Objekt 3 mit dem Hauptmarker korreliert. In diesem Fall sind die virtuellen 3D-Objekte 2 und 3 mit einer gemeinsamen Steuerachse (X1, Y1 und B1) verschränkt. Daher, wenn der Bewegungsbetrag im aus der Numeriksteuerung 100 eingegebenen MCN-Koordinatensystem den Bewegungsbetrag von irgendeinem von X1, Y1 und B1 beinhaltet, kann die Umwandlungseinheit 220 einen Umwandlungsprozess in Bezug auf jedes der virtuellen 3D-Objekte 2 und 3 unter Verwendung des unter Bezugnahme auf 6 und 7 beschriebenen Verfahrens durchführen.
[Zweite Modifikation]
Durch Kombinieren der in der vorliegenden Ausführungsform und den Patentdokumenten 3 und 4 offenbarten Technologien kann eine Bearbeitungssimulation näher an der Realität implementiert werden.
Hier zieht die in Patentdokument 3 offenbarte Technologie eine Front-Rückrelation (Tiefe) oder dergleichen zwischen einem echten Objekt und einem virtuellen 3D-Objekt in Erwägung. Durch Kombinieren der in den vorliegenden Ausführungsformen und Patentdokument 3 offenbarten Technologien ist es möglich, die Front-Rückrelation zwischen einem virtuellen 3D-Objekt (beispielsweise einem bearbeitet werdenden Werkstück) und einem realen Objekt (beispielsweise einem Werkzeug) anzuzeigen, um so an der Bearbeitungssimulation widergespiegelt zu werden.
Darüber hinaus ermöglicht die in Patentdokument 4 offenbarte Technologie einem virtuellen 3D-Objekt, kontinuierlich angezeigt zu werden, selbst wenn ein Charakteristik-Punkt (beispielsweise ein Marker) aus einem Kamerabild verschwindet. Durch Kombinieren der in der vorliegenden Ausführungsform und Patentdokument 4 offenbarten Technologien ist es möglich, das virtuelle 3D-Objekt kontinuierlich anzuzeigen, selbst wenn ein Marker aus einem Aufnahmebereich der Kamera heraus ist, die in der kopfmontierten Anzeige 300 enthalten ist.
[Dritte Modifikation]
In der oben beschriebenen Ausführungsform, wie unter Bezugnahme auf 2 und dergleichen beschrieben, erfasst die Relationsinformations-Erfassungseinheit 210 „Relationsinformation zwischen Steuerachsen wie auch die Einstellungen der Steuerachsen selbst“ aus der Numeriksteuerung 100. Andererseits erfasst die Relationsinformations-Erfassungseinheit 210 „Relationsinformation zwischen Steuerachse und virtuellem 3D-Objekt“ auf Basis der Anwendereinstellung. Jedoch ist die vorliegende Erfindung nicht immer darauf beschränkt.
Beispielsweise kann die Relationsinformations-Erfassungseinheit 210 sowohl „Relationsinformation zwischen Steuerachsen wie auch die Einstellungen der Steuerachsen selbst“ als auch „Relationsinformation zwischen der Steuerachse und dem virtuellen 3D-Objekt“ auf Basis der Anwendereinstellung erfassen. Darüber hinaus kann beispielsweise die Relationsinformations-Erfassungseinheit 210 sowohl „Relationsinformation zwischen Steuerachsen wie auch die Einstellungen von Steuerachsen selbst“ als auch „Relationsinformation zwischen Steuerachse und virtuellem 3D-Objekt“ aus der Numeriksteuerung 100 erfassen. In diesem Fall können beispielsweise beide Relationsinformationsteile vorab in der Numeriksteuerung 100 eingestellt werden.
Es ist anzumerken, dass die oben beschriebene Numeriksteuerung, die Erweiterungsinformations-Steuerung und die Werkzeugmaschine jeweils durch Hardware, Software oder eine Kombination derselben realisiert werden können. Darüber hinaus kann das durch Kooperation der oben beschriebenen Numeriksteuerung, der Erweiterungsinformations-Steuerung und der Werkzeugmaschine durchgeführte, erweiterte Realitätssimulationsverfahren auch durch Hardware, Software oder eine Kombination derselben realisiert werden. Hier, durch Software-Mittel realisiert, die realisiert werden, wenn ein Computer ein Programm liest und ausführt.
Die Programme können in irgendeinem verschiedener Typen von nicht-transitorischen computerlesbaren Medien gespeichert werden und einem Computer bereitgestellt werden. Die nicht-trasitorischen computerlesbaren Medien beinhalten verschiedene Typen von anfassbaren Speichermedien. Beispiele der nicht-trasitorischen computerlesbaren Medien beinhalten ein Magnetaufzeichnungsmedium (beispielsweise eine flexible Disk, ein Magnetband und eine Festplatte), ein magnetooptisches Aufzeichnungsmedium (beispielsweise eine magnetoptische Disk), eine CD-ROM (Nurlesespeicher), eine CD-R, eine CD-R/W, einen Halbleiterspeicher (beispielsweise eine Masken-ROM, ein PROM (Programmierbares ROM), ein EPROM (löschbares PROM), ein Flash-ROM, und ein RAM (Wahlfreizugriffsspeicher)). Die Programme können einem Computer unter Verwendung jeglicher von verschiedenen Typen nicht-transitorischer computerlesbarer Medien bereitgestellt werden. Beispiele der nicht-transitorischen computerlesbaren Medien beinhalten elektrische Signale, optische Signale und elektromagnetische Wellen. Ein nicht-transitorisches computerlesbares Medium kann Programme einem Computer durch einen Kabel-Kommunikationspfad wie etwa ein elektrisches Kabel, Lichtwellenleiter oder dergleichen, oder einen Funkkommunikationspfad bereitstellen.
Bezugszeichenliste

100: Numeriksteuerung
200: Erweiterungs-Informationssteuerung
210: Relationsinformations-Erfassungseinheit
220: Umwandlungseinheit
230: Erweiterungsinformations-Recheneinheit
250: Funkkommunikationseinheit
300: Kopfmontierte Anzeige
400: Werkzeugmaschine 400

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 4083554 [0018]
JP 5384178 [0018]
JP 5872923 [0018]

Claims

Erweiterte Realitäts-Simulationsvorrichtung (100), umfassend: ein Erweiterungsinformations-Anzeigemittel (300) zum Anzeigen eines virtuellen Objekts, um so einer realen Werkzeugmaschine (400) überlagert zu werden; ein Relations-Informations-Erfassungsmittel (210) zum Erfassen erster Relationsinformation, die Information ist, welche die Relation zwischen virtuellen Objekten in Steuerachsen einer Numeriksteuerung, welche die Werkzeugmaschine (400) steuert, spezifiziert, und zweiter Relationsinformation, die Information ist, welche Einstellungen der Steuerachsen selbst spezifiziert und die Relation zwischen den Steuerachsen; ein Umwandlungsmittel (220) zum Umwandeln eines Bewegungsbetrags in einem ersten Koordinatensystem, welches ein Koordinatensystem der Steuerachse ist, in Bewegungsinformation in einem zweiten Koordinatensystem, welches ein Koordinatensystem ist, um dem Erweiterungsinformations-Anzeigemittel (300) zu gestatten, das virtuelle Objekt auf Basis der ersten Relationsinformation und der zweiten Relationsinformation anzuzeigen; und ein Rechenmittel (230) zum Berechnen einer Anzeigeposition und eines Anzeigewinkel des virtuellen Objektes auf Basis der Bewegungsinformation im zweiten Koordinatensystem nach der Umwandlung, wobei das Erweiterungsinformations-Anzeigemittel (300) das virtuelle Objekt auf Basis eines Rechenergebnisses des Rechenmittels (230) anzeigt.
Erweiterte Realitätssimulations-Vorrichtung (100) gemäß Anspruch 1, wobei wenn die Numeriksteuerung die Werkzeugmaschine (400) durch Senden des Bewegungsbetrags im ersten Koordinatensystem an die Werkzeugmaschine (400) betreibt, das Umwandlungsmittel (220) die Umwandlung auf Basis desselben Bewegungsbetrages wie des Bewegungsbetrags im ersten Koordinatensystem, das an die Werkzeugmaschine (400) gesendet ist, durchzuführen, und das virtuelle Objekt wird so angezeigt, dass es mit Operationen der Werkzeugmaschine (400) verschränkt ist.
Erweiterte Realitäts-Simulationsvorrichtung (100) gemäß Anspruch 1 oder 2, wobei das Rechenmittel (230) eine Distanz zwischen einem ersten Charakteristik-Punkt, welches der Ursprung des zweiten Koordinatensystem ist, und einem zweiten Charakteristik-Punkt, der an einer Bearbeitungssimulations-Startposition des virtuellen Objekts angeordnet ist, berechnet, Bewegungsinformation zum Bewegen der Anzeigeposition des virtuellen Objekts zum zweiten Charakteristik-Punkt auf Basis der berechneten Distanz berechnet, und die Anzeigeposition des virtuellen Objektes, und die Anzeigeposition des virtuellen Objektes auf Basis der berechneten Bewegungsinformation und der Bewegungsinformation im durch das Umwandlungsmittel (230) umgewandelten zweiten Koordinatensystem berechnet.
Erweiterte Realitäts-Simulationsvorrichtung (100) gemäß einem der Ansprüche 1 bis 3, wobei wenn eine Vielzahl von virtuellen Objekten am Ursprung des zweiten Koordinatensystems angezeigt werden, die jeweiligen virtuellen Objekte unterschiedliche Teile der ersten Relations-Information aufweisen können.
Erweiterte Realitäts-Simulationsvorrichtung gemäß einem der Ansprüche 1 bis 4, wobei wenn eine Vielzahl von virtuellen Objekten an unterschiedlichen Positionen angezeigt wird, das Rechenmittel (230) die Position eines dritten Charakteristik-Punkts im zweiten Koordinatensystem auf Basis der Distanz zwischen dem ersten Charakteristik-Punkt, welches der Ursprung des zweiten Koordinatensystems ist, und dem dritten Charakteristik-Punkt, der an einer anderen Position als dem ersten Charakteristik-Punkt angeordnet ist, spezifiziert, und das Rechenmittel (230) eine Anzeigeposition des ersten virtuellen Objekts auf Basis der Position des ersten Charakteristik-Punkts berechnet und die Position des dritten Charakteristik-Punkts im zweiten Koordinatensystem als die Anzeigeposition des zweiten virtuellen Objekts berechnet.
Erweitertes Realitäts-Simulationsprogramm, um einen Computer zu veranlassen, als eine erweiterte Realitäts-Simulationsvorrichtung (100) zu fungieren, wobei das erweiterte Realitäts-Simulationsprogramm den Computer veranlasst, als die erweiterte Realitäts-Simulationsvorrichtung (100) zu fungieren, umfassend: ein Erweiterungsinformations-Anzeigemittel (300) zum Anzeigen eines virtuellen Objekts, um so einer realen Werkzeugmaschine (400) überlagert zu werden; ein Relations-Informations-Erfassungsmittel (210) zum Erfassen erster Relationsinformation, die Information ist, welche die Relation zwischen virtuellen Objekten in Steuerachsen einer Numeriksteuerung, welche die Werkzeugmaschine (400) steuert, spezifiziert, und zweiter Relationsinformation, die Information ist, welche Einstellungen der Steuerachsen selbst spezifiziert und die Relation zwischen den Steuerachsen; ein Umwandlungsmittel (220) zum Umwandeln eines Bewegungsbetrags in einem ersten Koordinatensystem, welches ein Koordinatensystem der Steuerachse ist, in Bewegungsinformation in einem zweiten Koordinatensystem, welches ein Koordinatensystem ist, um dem Erweiterungsinformations-Anzeigemittel (300) zu gestatten, das virtuelle Objekt auf Basis der ersten Relationsinformation und der zweiten Relationsinformation anzuzeigen; und ein Rechenmittel (230) zum Berechnen einer Anzeigeposition und eines Anzeigewinkel des virtuellen Objektes auf Basis der Bewegungsinformation im zweiten Koordinatensystem nach der Umwandlung, wobei das Erweiterungsinformations-Anzeigemittel (300) das virtuelle Objekt auf Basis eines Rechenergebnisses des Rechenmittels (230) anzeigt.