-
HINTERGRUND DER ERFINDUNG
-
GEBIET DER ERFINDUNG
-
Die vorliegende Erfindung betrifft ein Informationsanzeigesystem und insbesondere ein Informationsanzeigesystem, das konfiguriert ist, Zusatzinformationen in einem realen Raum in überlagerter Weise anzuzeigen, abhängig von der Sichtbarkeit eines Werkstücks.
-
BESCHREIBUNG DES STANDES DER TECHNIK
-
Eine Mixed Reality- (MR, gemischte Realität) Technologie und eine Match Move-Technologie sind bekannte Technologien. In der MR-Technologie werden Informationen über einen virtuellen Raum in einem realen Raum in überlagerter Weise angezeigt. In der Match Move-Technologie wird ein Bewegtbild mit anderen Bildern synthetisiert. Zum Beispiel beschreibt die Japanische Patentauslegeschrift Nr. 2002-269546 ein System, das imstande ist, automatisch die Bewegung eines Gesichts einer Person in einem Bewegtbild zu verfolgen und ein Bild zu synthetisieren, das durch Umformen des Gesichtsbildes in eine gewünschte Form erhalten wird. Die Japanische Patentauslegeschrift Nr. 2012-019434 beschreibt ein System, das imstande ist, ein Werbevideo und ein Hauptvideo durch eine Tracking-Technik zu synthetisieren.
-
Im Bereich einer maschinellen Bearbeitung durch Werkzeugmaschinen entsteht andererseits ein Problem, dass es aufgrund einer Behinderung durch ein abschirmendes Objekt, wie ein Schneidöl oder ein verschmutztes Fenster einer Schutztür, schwierig ist, den Zustand eines in Bearbeitung befindlichen Werkstücks visuell zu erkennen (siehe 1). Es besteht zum Beispiel ein Wunsch, den Zustand des maschinellen Bearbeitungsfortschritts des Werkstücks, das Auftreten eines Luftschnitts (unnötiger Bewegungsverlauf eines Werkzeugs), eine Größe einer Bearbeitungstoleranz (Abschnitt, der abgedeckt ist, bevor das Werkzeug tatsächlich mit dem Werkstück nach Beginn eines Schnittvorschubs in Kontakt gelangt), ein Verhältnis zwischen dem Werkstück und Spänen, einer Spitzenposition des Werkzeugs und dergleichen, falls möglich, visuell zu erkennen. Aufgrund des zuvor beschriebenen Problems ist es derzeit schwierig, diese Besonderheiten während der maschinellen Bearbeitung zu erkennen. Derzeit erfolgt daher die Erkennung durch vorübergehende Unterbrechung der Zuleitung des Schneidöls oder indem die Schutztüre leicht geöffnet und ein Blick durch den entstehenden Spalt erhascht wird. Diese Verfahren sind jedoch problematisch, da die Sicherheit schlecht ist und Zeit verstreicht, bis das Sichtfeld besser ist.
-
Obwohl erwartet wurde, diese Probleme mittels der oben beschriebenen MR-Technologie oder Match Move-Technologie zu lösen, sind daher in den
Japanischen Patentauslegeschriften Nr. 2002-269546 und 2012-019434 keine speziellen Lösungen offenbar.
-
KURZDARSTELLUNG DER ERFINDUNG
-
Die vorliegende Erfindung wurde angesichts dieser Probleme gemacht und ihre Aufgabe ist ein Vorsehen eines Informationsanzeigesystems, das konfiguriert ist, Zusatzinformationen in einem realen Raum in überlagerter Weise anzuzeigen, abhängig von der Sichtbarkeit eines Werkstücks.
-
Ein Informationsanzeigesystem gemäß einer bestimmten Ausführungsform der vorliegenden Erfindung umfasst eine Abbildungseinheit, die konfiguriert ist, ein Werkstück zu fotografieren und Modelldaten zu erstellen, die die Form des Werkstücks angeben, eine Komplementierungseinheit, die konfiguriert ist, ein 3D-Modellbild zumindest eines Teils des Werkstücks basierend auf 3D-Modelldaten des Werkstücks anzuzeigen und einen unsichtbaren Teil des Werkstücks durch das 3D-Modellbild zu komplementieren, und eine Anzeigeeinheit, die konfiguriert ist, das 3D-Modellbild so anzuzeigen, dass es auf dem unsichtbaren Teil des Werkstücks überlagert ist.
-
Ein Informationsanzeigesystem gemäß einer anderen Ausführungsform umfasst ferner eine Match Move-Einheit, die konfiguriert ist, eine Match Move-Verarbeitung für die Modelldaten und das 3D-Modellbild auszuführen.
-
In einem Informationsanzeigesystem gemäß einer anderen Ausführungsform führt die Komplementierungseinheit die Komplementierung durch Vergleichen entsprechender Merkmalspunkte der Modelldaten und des 3D-Modells aus.
-
In einem Informationsanzeigesystem gemäß einer anderen Ausführungsform erstellt die Abbildungseinheit Modelldaten des Werkstücks und einer Umgebung des Werkstücks und die Komplementierungseinheit führt die Komplementierung durch Verwendung der Modelldaten der Umgebung aus.
-
Gemäß der vorliegenden Erfindung kann ein Informationsanzeigesystem vorgesehen werden, das zur Anzeige von Zusatzinformationen in einem realen Raum in überlagerter Weise, abhängig von der Sichtbarkeit eines Werkstücks, konfiguriert ist.
-
Figurenliste
-
Die obenstehenden und andere Aufgaben und Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von Ausführungsformen unter Bezugnahme auf die beiliegenden Zeichnungen offensichtlich, in welchen:
- 1 ein Diagramm ist, das ein Problem nach dem Stand der Technik zeigt;
- 2 eine schematische Darstellung ist, die ein praktisches Beispiel eines Informationsanzeigesystems zeigt;
- 3 ein Blockdiagramm ist, das eine Konfiguration des Informationsanzeigesystems zeigt;
- 4 ein Ablaufdiagramm ist, das einen Betrieb des Informationsanzeigesystems zeigt;
- 5 eine schematische Darstellung ist, die ein Betriebsbeispiel des Informationsanzeigesystems zeigt; und
- 6 eine schematische Darstellung ist, die ein Betriebsbeispiel des Informationsanzeigesystems zeigt.
-
AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
-
Es wird nun eine Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben.
-
3 ist ein Blockdiagramm, das eine Konfiguration eines Informationsanzeigesystems 100 gemäß der Ausführungsform der vorliegenden Erfindung zeigt. Das Informationsanzeigesystem 100 umfasst eine Abbildungseinheit 110, Komplementierungseinheit 120, Match Move-Einheit 130 und Anzeigeeinheit 140. Das Informationsanzeigesystem 100 ist ein Informationsprozessor, der typischerweise eine zentrale Verarbeitungseinheit (CPU), Speichervorrichtung und Eingabe- und Ausgabevorrichtungen, wie eine Bildgebungsvorrichtung und eine Anzeigevorrichtung, umfasst und deren verschiedene Verarbeitungseinheiten werden logisch implementiert, wenn die CPU ein vorbestimmtes Programm ausführt. Zum Beispiel kann das Informationsanzeigesystem 100 ein Smartphone, Tablet-Endgerät, eine am Kopf montierte Anzeige (HMD) oder dergleichen sein, versehen mit einer Anzeige, die konfiguriert ist, als die Anzeigeeinheit 140 zu dienen, und in das die CPU und die Speichervorrichtung eingebaut ist. Alternativ kann das Informationsanzeigesystem 100 durch Verbinden der Anzeige oder der HMD, die als die Anzeigeeinheit 140 dient, mit einem Computer, der mit der CPU und der Speichervorrichtung versehen ist, konstruiert werden.
-
Die Abbildungseinheit 110 erfasst ein Bild durch Fotografieren eines Objekts oder dergleichen, das in der realen Welt existiert, und führt eine Verarbeitung zum Generieren von Modelldaten des Objekts aus, das im Bild enthalten ist, das heißt, von Daten, die die Form des Objekts angeben. In der vorliegenden Ausführungsform wird ein Bewegtbild eines in Bearbeitung befindlichen Werkstücks aufgenommen und Modelldaten des Werkstücks, das in dem Bewegtbild enthalten ist, werden erstellt. Das Bewegtbild wird mittels einer Kamera aufgenommen, die zum Beispiel an der HMD befestigt ist. Da das Verfahren zum Erstellen der Modelldaten aus dem Bild allgemein bekannt ist, wird auf dessen ausführliche Beschreibung verzichtet. Typischerweise sind die zu generierenden Modelldaten Drahtgitterdaten. Alternativ kann es sich um einen einfachen Satz von Merkmalspunkten handeln, die aus dem Bild extrahiert werden.
-
Die Komplementierungseinheit 120 komplementiert die Modelldaten, die durch die Abbildungseinheit 110 generiert werden, durch ein 3D-Modell des Werkstücks und führt eine Verarbeitung aus, um die Anzeigeeinheit 140 zu veranlassen, dieses anzuzeigen. Im Speziellen hält die Komplementierungseinheit 120 zuvor 3D-Modelldaten (typischerweise CAD-Daten oder NC-Daten) des Werkstücks in einem Speicherbereich (nicht dargestellt) und führt eine Wiedergabe, sodass die 3D-Modelldaten auf den erstellten Modelldaten überlagert sind, die auf einem tatsächlichen Werkstück basieren, aus. Falls in der vorliegenden Ausführungsform ein Teil des Werkstücks durch ein abschirmendes Objekt, wie Schneidöl oder eine Schutztüre, unsichtbar werden, werden 3D-Daten des unsichtbaren Teils wiedergegeben.
-
Die Match Move-Einheit 130 führt eine Verarbeitung zur Verknüpfung der Modelldaten, die durch die Abbildungseinheit 110 generiert werden, mit dem 3D-Modell aus, das durch die Komplementierungseinheit 120 angezeigt wird. Im Speziellen verfolgt die Match Move-Einheit 130 die Modelldaten und stellt die Anzeigeposition, Richtung und dergleichen des 3D-Modells ein. Somit folgt das zu komplementierende 3D-Modell dem Werkstück, selbst wenn die Kamera zur Aufnahme des Werkstücks bewegt wird, sodass der Zustand des Werkstücks oder dergleichen kontinuierlich beobachtet werden kann. Da die spezielle Prozedur einer Match Move-Verarbeitung allgemein bekannt ist, wird auf deren ausführliche Beschreibung verzichtet.
-
Die Anzeigeeinheit 140 ist eine Anzeigevorrichtung, die visuell das tatsächliche Werkstück und das durch die Komplementierungseinheit 120 generierte 3D-Modell in überlagerter Weise erkennen kann. Zum Beispiel ist die Anzeigeeinheit 140 eine HMD, die mit einer Kamera ausgestattet ist (siehe 2). Im Fall einer HMD vom Nicht-Transmissionstyp wird ein Bild, das durch die Kamera aufgenommen wird, auf einer Projektionsfläche angezeigt.
-
Im Fall einer HMD vom Transmissionstyp kann ein Sichtfeld, das dem Bild äquivalent ist, das durch die Kamera aufgenommen wird, durch eine transparente Projektionsfläche visuell erkannt werden. Während die Abbildungseinheit 110 die Modelldaten basierend auf dem Bild erstellt, das durch die Kamera aufgenommen wurde, müssen die Modelldaten nicht auf der Anzeigeeinheit 140 angezeigt werden und werden in einem vorbestimmten Speicherbereich gehalten und für eine Komplementierungsverarbeitung und die Match Move-Verarbeitung verwendet. Andererseits zeigt die Anzeigeeinheit 140 das 3D-Modell, das durch die Komplementierungseinheit 120 wiedergegeben wird, auf der Projektionsfläche an. Auf diese Weise kann ein Anwender das tatsächliche Werkstück visuell erkennen, das auf die Projektionsfläche projiziert wird oder durch die Projektionsfläche und 3D-Daten, die auf die Projektionsfläche in überlagerter Weise projiziert werden, visuell erkannt wird.
-
4 ist ein Ablaufdiagramm, das einen Betrieb des Informationsanzeigesystems 100 zeigt.
-
S1: Abbildungsverarbeitung (Anfangsstufe)
-
Zuerst erfasst die Abbildungseinheit 110 ein Bild des Werkstücks vor der maschinellen Bearbeitung durch Verwendung eines Bildaufnahmemittels wie einer Kamera. Danach ist bevorzugt, das Bild des gesamten Werkstücks zu erfassen. Die Komplementierungsverarbeitung und die Match Move-Verarbeitung in der folgenden Stufe können präzise durchgeführt werden, ohne zuvor eine große Anzahl von Merkmalspunkten an verschiedenen Teilen des Werkstücks zu erfassen.
-
Es ist bevorzugter, nicht nur das Bild des Werkstücks zu erfassen, sondern jene seiner Umgebung, z. B. eines Tisches, der das Werkstück trägt, und des Gehäuses einer Werkzeugmaschine. Selbst wenn das Werkstück visuell überhaupt nicht erkennbar ist, können somit die Komplementierungsverarbeitung und die Match Move-Verarbeitung in der folgenden Stufe durchgeführt werden, falls die Umgebung des Werkstücks visuell erkennbar ist. Im Allgemeinen sind der Tisch, das Gehäuse der Werkzeugmaschine und dergleichen bevorzugte Umgebungen zu fotografieren, da sich ihre Positionen relativ zu dem in Bearbeitung befindlichen Werkstück nicht ändern. Andernfalls sind jene zu fotografierende Umgebungen, deren Positionen relativ zum Werkstück identifiziert werden können, bevorzugt, auch wenn ihre relativen Positionen veränderbar sind. Obwohl sich die Position zum Beispiel eines Werkzeugs während einer maschinellen Bearbeitung ändert, kann sie anhand eines Programms zur maschinellen Bearbeitung oder dergleichen zu einem gewissen Zeitpunkt identifiziert werden.
-
Die Abbildungseinheit 110 erkennt das Werkstück in einem fotografierten Bild und erstellt die Modelldaten des Werkstücks. Typischerweise extrahiert die Abbildungseinheit 110 dreidimensionale Merkmalspunkte einzeln aus dem zuvor gehaltenen 3D-Modell des Werkstücks und dem fotografierten Bild und vergleicht sie. Dann extrahiert sie und speichert nur jene Merkmalspunkte in dem Bild, die den Merkmalspunkten des 3D-Modells entsprechen. Vorzugsweise extrahiert die Abbildungseinheit 110 die Merkmalspunkte auch aus der Umgebung des Werkstücks. Dann speichert sie einen Datensatz, der die Merkmalspunkte des Werkstücks und jene der Umgebung enthält.
-
S2: Abbildungsverarbeitung (Während der maschinellen Bearbeitung)
-
Dann erfasst die Abbildungseinheit 110 ein Bild des in Bearbeitung befindlichen Werkstücks unter Verwendung des Bildaufnahmemittels wie der Kamera und extrahiert die Merkmalspunkte des in Bearbeitung befindlichen Werkstücks auf dieselbe Weise wie in Schritt S1. Vorzugsweise extrahiert die Abbildungseinheit 110 die Merkmalspunkte auch aus der Umgebung des Werkstücks.
-
S3: Komplementierungsverarbeitung
-
Die Komplementierungseinheit 120 vergleicht die Merkmalspunkte des Werkstücks, die in Schritt S2 erfasst wurden, und jene des zuvor gehaltenen 3D-Modells des Werkstücks. Falls der Vergleich angibt, dass es einen Teil gibt, der in den Merkmalspunkten des Werkstücks fehlt, die in Schritt S2 erfasst wurden, kann davon ausgegangen werden, dass dieser Teil der Teil ist, der durch das abschirmende Objekt unsichtbar wird.
-
Daraufhin gibt die Komplementierungseinheit 120 nur den Teil des 3D-Modells wieder, der dem unsichtbaren Teil des Werkstücks entspricht. Im Speziellen gibt sie ein 3D-Teilmodell wieder, das die Merkmalspunkte an der 3D-Modellseite enthält, die den Merkmalspunkte entsprechen, die an der Bildseite fehlen. Die Komplementierungseinheit 120 veranlasst die Anzeigeeinheit 140, das generierte 3D-Teilmodell anzuzeigen. Hier identifiziert die Komplementierungseinheit 120 jene Merkmalspunkte, die in den Merkmalspunkten des Werkstücks enthalten sind, das in Schritt S1 erfasst wurde, aber nicht in den Merkmalspunkten des Werkstücks enthalten sind, die in Schritt S2 erfasst wurden. Dies sind Merkmalspunkte, die im unsichtbaren Teil vorhanden sein sollten. Die Komplementierungseinheit 120 vergleicht die Merkmalspunkte, die im unsichtbaren Teil vorhanden sein sollten, mit den Merkmalspunkten des zuvor erstellten 3D-Teilmodells und positioniert das 3D-Teilmodell, sodass ihre relativen Positionen im Wesentlichen übereinstimmen. Anschließend wird das 3D-Teilmodell anzeigt, sodass der unsichtbare Teil des tatsächlichen Werkstücks komplementiert ist (siehe 5).
-
6 ist ein Diagramm, das zeigt, wie ein Projektionsteil des 3D-Modells, das durch die Komplementierungseinheit 120 gebildet wird, sich abhängig von der Konformität der Sichtbarkeit des Werkstücks ändert, das heißt, von der Größe des unsichtbaren Teils des Werkstücks. Falls die Sichtbarkeit des Werkstücks so hoch ist, dass es keinen unsichtbaren Teil gibt, wie an der linken Seite von 6 dargestellt, wird das 3D-Modell nicht projiziert. Falls ein Teil des Werkstücks fehlt, wie im mittleren Teil von 6 dargestellt, wird das 3D-Teilmodell, das dem fehlenden Teil entspricht, projiziert. Falls das Werkstück fast vollständig unsichtbar ist, wie an der rechten Seite von 6 gezeigt, wird das gesamte 3D-Modell projiziert.
-
Falls das Werkstück fast vollständig unsichtbar ist, wie an der rechten Seite von 6 gezeigt, oder falls die Merkmalspunkte, die aus dem Bild des Werkstücks extrahiert werden können, so wenige sind, dass die Position, an der das 3D-Modell positioniert ist, nicht identifiziert werden kann, kann die Komplementierungseinheit 120 die Position des 3D-Modells auf der Basis der Merkmalspunkte der Umgebung des Werkstücks bestimmen. Im speziellen wird das Bild des Werkstücks, das die Umgebung enthält, in Schritt S1 erfasst, sodass die relativen Positionen des Werkstücks und der Umgebung identifiziert werden können. Dann wird auch ein Bild, das die Umgebung enthält, in Schritt S2 erfasst und Unterschiede in Merkmalspunkten zwischen diesem Bild und dem in Schritt S1 erfassten Bild werden erhalten. Auf diese Weise können die Position, an welchen die Merkmalspunkte des Werkstücks vorhanden sein sollten, identifiziert werden. Die Komplementierungseinheit 120 positioniert das 3D-Modell so, dass diese Positionen abgedeckt sind.
-
S4: Match Move-Verarbeitung
-
Die Match Move-Einheit 130 führt eine Verarbeitung durch, die bewirkt, dass das in Schritt S3 wiedergegebene 3D-Modell durch ein herkömmliches Verfahren gemäß der Änderung der Position des Werkstücks im Bild verfolgt wird.
-
S5: Wiederholung für jeden vorbestimmten Zeitpunkt
-
Vorzugsweise wiederholt das Informationsanzeigesystem 100 die Verarbeitung bezüglich Schritte S2 bis S4 für jeden vorbestimmten Zeitpunkt. Anschließend kann die Änderung der Sichtbarkeit des Werkstücks in Echtzeit verfolgt werden, um eine angemessene überlagerte Anzeige des 3D-Modells zu ermöglichen.
-
Falls gemäß der vorliegenden Erfindung ein Teil oder die Gesamtheit des tatsächlichen Werkstücks durch das abschirmende Objekt, wie das Schneidöl oder die Schutztüre, unsichtbar wird, generiert das Informationsanzeigesystem 100 das 3D-Teilmodell entsprechend dem unsichtbaren Teil und zeigt das generierte 3D-Modell an, sodass es den unsichtbaren Teil des tatsächlichen Werkstücks überlagert. Folglich können der Zustand des maschinellen Bearbeitungsfortschritts des Werkstücks, das Auftreten eines Luftschnitts (unnötiger Bewegungsverlauf eines Werkzeugs), eine Größe einer Bearbeitungstoleranz (Abschnitt, der abgedeckt ist, bevor das Werkzeug tatsächlich mit dem Werkstück nach Beginn eines Schnittvorschubs in Kontakt gelangt), ein Verhältnis zwischen dem Werkstück und Spänen, einer Spitzenposition des Werkzeugs und dergleichen durch das 3D-Modell selbst in einem Zustand erkannt werden, der für eine visuelle Erkennung ungeeignet ist.
-
Die vorliegende Erfindung ist nicht auf die oben beschriebene Ausführungsform beschränkt und kann passend geändert werden, ohne vom Wesen der Erfindung abzuweichen. Jedes der Bestandelemente der Ausführungsform kann modifiziert oder weggelassen werden, ohne vom Umfang der vorliegenden Erfindung abzuweichen.
-
Obwohl zum Beispiel in der oben beschriebenen Ausführungsform vorwiegend der unsichtbare Teil des Werkstücks durch das 3D-Modell zur Anzeige ersetzt ist, ist die Anwendungsabsicht der vorliegenden Erfindung nicht auf das Werkstück beschränkt. Zum Beispiel können 3D-Modelle auch erstellt und in überlagerter Weise für das Werkzeug (dessen Spitzenabschnitt insbesondere), eine Teil der Werkzeugmaschine und dergleichen angezeigt werden.
-
Ferner kann beim anzeigen des 3D-Teilmodells auf dem tatsächlichen Werkstück in überlagerter Weise eine Verarbeitung durchgeführt werden, um die Transparent eines Teils zu erhöhen, der die Grenze zum tatsächlichen Werkstück definiert, wie im unteren mittleren Abschnitt von 6 gezeigt.
-
Folglich können das tatsächliche Werkstück und das 3D-Teilmodell nahtloser in überlagerter Weise angezeigt werden.
-
Ferner identifiziert die Komplementierungseinheit 120 in der oben beschriebenen Ausführungsform in Schritt S3 den unsichtbaren Teil des Werkstücks durch Vergleichen der Merkmalspunkte des Werkstücks, die in Schritt S2 erfasst wurden, mit jenen des zuvor gehaltenen 3D-Modells des Werkstücks. Alternativ jedoch kann der unsichtbare Teil des Werkstücks auch durch einen Vergleich der Merkmalspunkte des Werkstücks, die in Schritt S2 erfasst wurden, und jener des Werkstücks, die in Schritt S1 erfasst wurden, identifiziert werden. Im Speziellen ist es nur notwendig, dass die Merkmalspunkte des gesamten Werkstücks und jene des teilweise unsichtbaren Werkstück verglichen werden können. Ferner, obwohl das Beispiel, in dem die HMD als die Anzeigeeinheit 140 verwendet wird, vorwiegend in der oben beschriebenen Ausführungsform beschrieben ist, ist die vorliegende Erfindung nicht darauf beschränkt. Zum Beispiel können eine Anzeige, die imstande ist, das Bewegtbild, das durch die Kamera aufgenommen wird, anzuzeigen, ein Schutzabdeckungsfenster vom Transmissionstyp, das imstande ist, das Werkstück direkt visuell zu erkennen und auch das 3D-Modell zu projizieren, oder dergleichen alternativ als die Anzeigeeinheit 140 verwendet werden.
-
Während eine Ausführungsform der vorliegenden Erfindung hier beschrieben wurde, ist die Erfindung nicht auf die oben beschriebene Ausführungsform beschränkt und kann passend modifiziert und in verschiedenen Formen verkörpert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2002269546 [0004]
- JP 2012019434 [0004]
