-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung bezieht sich auf ein Bediensystem für Industriemaschinen.
-
HINTERGRUND
-
In letzter Zeit hat eine Mixed-Reality-Technologie (MR), bei der reale und virtuelle Welten miteinander verschmolzen werden und sich reale und virtuelle Dinge gegenseitig beeinflussen, Aufmerksamkeit erregt. Die Mixed-Reality-Technologie (Technologie der gemischten Realität) wird auch in der Industrie eingesetzt (siehe z.B. die japanische ungeprüfte Patentanmeldung, Veröffentlichung
JP 2019-008473 A ). Durch das Tragen eines Head-Mount-Displays dieser Technologie und die visuelle Erkennung einer in einem realen Raum vorhandenen Industriemaschine ist es möglich, ein 3D-Modell der Industriemaschine in einen virtuellen Raum zu projizieren. In diesem Fall kann der Träger des kopfgetragenen Anzeigegeräts auch seine eigenen Arme und Beine visuell erkennen, so dass eine intuitive Bedienung der Industriemaschine zu erwarten ist.
-
Patentdokument 1 Japanische ungeprüfte Patentanmeldung, Veröffentlichung
JP 2019-008473 A -
OFFENBARUNG DER ERFINDUNG
-
Durch die Erfindung zu lösende Probleme
-
Bei der Bedienung einer Industriemaschine ist es derzeit jedoch erforderlich, den Vorgang unter Beobachtung einer Bedienertafel oder eines Bedienpaneels durchzuführen, und es ist nicht möglich, den Vorgang intuitiv durchzuführen und gleichzeitig den Zustand der Industriemaschine zu beobachten. Weiterhin, auch wenn es möglich ist, den realen Zustand und die Informationen des virtuellen Raums durch einfache Anwendung der Mixed-Reality-Technologie mit der Industriemaschine zu synchronisieren, kann die Sicherheit des Betriebs nicht gewährleistet werden.
-
Daher ist es wünschenswert, ein Bediensystem für Industriemaschinen bereitzustellen, das in der Lage ist, die Industriemaschinen durch Verwendung der gemischten Realität intuitiv und sicher zu bedienen.
-
Mittel zur Lösung der Probleme
-
Ein Aspekt der vorliegenden Offenbarung ist ein Bediensystem für Industriemaschinen, das beinhaltet: eine Informationserfassungseinheit, die Maschinenidentifikationsinformationen, die einer Industriemaschine entsprechen, erfasst; eine Maschinenidentifikationseinheit, die die Industriemaschine basierend auf den Maschinenidentifikationsinformationen, die durch die Informationserfassungseinheit erfasst wurden, identifiziert; eine Modellprojektionseinheit, die ein Modell, das der Industriemaschine entspricht, die durch die Maschinenidentifikationseinheit identifiziert wurde, in einen virtuellen Raum projiziert; eine Distanz-Richtungs-Recheneinheit, die eine Distanz und eine Richtung eines Benutzers, der das Modell beobachtet, in Bezug auf das durch die Modellprojektionseinheit projizierte Modell berechnet eine Gestenbeobachtungseinheit, die eine Geste des Benutzers als eine Anweisung des Benutzers für die durch die Maschinenidentifikationseinheit identifizierte Industriemaschine beobachtet; eine Befehlsbestimmungseinheit, die bestimmt, ob der Benutzer die Anweisung auf der Grundlage der Distanz und der Richtung des Benutzers, die durch die Distanz-Richtungs-Recheneinheit berechnet wurden, und der Geste des Benutzers, die durch die Gestenbeobachtungseinheit beobachtet wurde, geben kann; und eine Betriebsbefehlseinheit, die, wenn ein Bestimmungsergebnis der Befehlsbestimmungseinheit positiv ist, die Industriemaschine, die durch die Maschinenidentifikationseinheit spezifiziert wurde, auf der Grundlage der durch die Gestenbeobachtungseinheit beobachteten Geste des Benutzers betreibt.
-
Auswirkungen der Erfindung
-
Gemäß einem Aspekt der vorliegenden Offenlegung ist es möglich, die Industriemaschinen intuitiv und sicher zu bedienen, indem man die gemischte Realität verwendet.
-
Figurenliste
-
- 1 ist ein schematisches Diagramm, das ein Bediensystem für Industriemaschinen gemäß einer Ausführungsform zeigt;
- 2 ist ein funktionelles Blockdiagramm einer MR-Vorrichtung, die für das in 1 dargestellte Bediensystem für Industriemaschinen vorgesehen ist;
- 3 ist ein konzeptionelles Diagramm zur Beschreibung von Vergrößerungs-, Verkleinerungs- und Rotationsoperationen eines in einen virtuellen Raum projizierten Modells;
- 4 ist ein konzeptionelles Diagramm zur Beschreibung von Distanz und Richtung der MR-Vorrichtung in Bezug auf das in den virtuellen Raum projizierte Modell;
- 5A ist eine Vorderansicht des in den virtuellen Raum projizierten Modells, welche ein Diagramm ist, das einen Zustand vor der Identifizierung eines zu bedienenden Subjekts zeigt;
- 5B ist eine Vorderansicht des in den virtuellen Raum projizierten Modells, die ein Diagramm ist, das den Zustand nach der Identifizierung des zu bedienenden Subjekts durch eine Geste des Benutzers illustriert;
- 6 ist eine Vorderansicht des in den virtuellen Raum projizierten Modells, das ein Diagramm ist, das einen Zustand bei der Bedienung einer Industriemaschine auf Basis einer Geste des Benutzers illustriert;
- 7 ist eine Draufsicht des in den virtuellen Raum projizierten Modells, die ein Diagramm ist, das einen Zustand veranschaulicht, in dem Bereiche der Distanz und der Richtung des Benutzers, in denen der Benutzer eine Anweisung geben kann; und
- 8 ist ein konzeptionelles Diagramm zur Beschreibung des Zustands des in den virtuellen Raum projizierten Modells, das einen Zustand bei der Bedienung der Industriemaschine entsprechend einer Geste des Benutzers veranschaulicht.
-
BEVORZUGTE AUSFÜHRUNGSFORM DER ERFINDUNG
-
Nachfolgend wird unter Bezugnahme auf die beigefügten Zeichnungen ein Bediensystem für Industriemaschinen gemäß einer Ausführungsform beschrieben.
-
Zuerst wird der Aufbau des Bediensystems 1 für Industriemaschinen anhand von 1 und 2 beschrieben. 1 ist eine schematische Darstellung des Bediensystems 1 für Industriemaschinen. 2 ist ein funktionelles Blockdiagramm einer MR-Vorrichtung 2, das für das Bediensystem 1 für Industriemaschinen vorgesehen ist.
-
Das in 1 illustrierte Bediensystem 1 für Industriemaschinen ist ein System, das eine Industriemaschine 3 unter Verwendung der MR-Vorrichtung 2 bedient, auf die die Mixed-Reality-Technologie (MR) angewendet wird. Das heißt, das Bediensystem 1 für Industriemaschinen umfasst die MR-Vorrichtung 2.
-
Die Industriemaschine 3 ist zwar nicht spezifisch beschränkt, aber es ist möglich, ein Bearbeitungszentrum zu verwenden, wie es zum Beispiel in 1 dargestellt ist. Die mit dem Bearbeitungszentrum konfigurierte Industriemaschine 3 umfasst einen Revolver als automatische Werkzeugwechselvorrichtung, und durch automatisches Umschalten der Werkzeuge durch den Revolver ist es möglich, verschiedene Arten von Bearbeitungen wie Bohren, Fräsen, Aufbohren und dergleichen durchzuführen.
-
Die MR-Vorrichtung 2 ist eine kopfmontierte Anzeigevorrichtung, die vom Benutzer, der die Industriemaschine 3 bedient, getragen wird. Insbesondere umfasst die MR-Vorrichtung 2 Eingabemittel wie eine Kamera, Ausgabemittel, die ein Bild der gemischten Realität anzeigen, Kommunikationsmittel, die mit der Industriemaschine 3 kommunizieren, Betriebsverarbeitungsmittel wie eine CPU (Central Processing Unit), Hilfsspeichermittel wie eine HDD (Festplattenlaufwerk) oder eine SSD (Solid-State-Laufwerk), auf denen verschiedene Arten von Programmen gespeichert sind, und Hauptspeichermittel wie ein RAM (Random Access Memory, Wahlfreizugriffsspeicher) zum vorübergehenden Speichern von Daten, die für die Betriebsverarbeitungsmittel erforderlich sind, um ein Programm auszuführen, die alle nicht dargestellt sind.
-
Wie in 2 illustriert, führt die CPU der MR-Vorrichtung 2 verschiedene Arten von Programmen aus, um verschiedene Arten von Funktionen durch eine Informationserfassungseinheit 20, eine Maschinenidentifikationseinheit 21, eine Modellprojektionseinheit 22, eine Distanz-Richtungs-Recheneinheit 23, eine Gestenbeobachtungseinheit 24, eine Betriebseinheit 25, eine Subjektidentifikationseinheit 26, eine Zustandserfassungseinheit 27, eine Befehlsbestimmungseinheit 28, eine Betriebsbefehlseinheit 29 und dergleichen zu erreichen.
-
Die Informationserfassungseinheit 20 erfasst die der Industriemaschine 3 entsprechenden Maschinenidentifikationsdaten. Als Maschinenidentifikationsinformation, die der Industriemaschine 3 entspricht, verwendet die Informationserfassungseinheit 20 beispielsweise Eingabemittel wie eine Kamera, um einen QR-Code (eingetragene Marke), der für die Industriemaschine 3 vorgesehen ist, und Merkmalspunkte durch Mustererkennung der Industriemaschine 3 zu erfassen.
-
Die Maschinenidentifikationseinheit 21 identifiziert die Industriemaschine 3 auf Basis der von der Informationserfassungseinheit 20 erfassten Maschinenidentifikationsinformation. Insbesondere identifiziert die Maschinenidentifikationseinheit 21, was die tatsächliche Industriemaschine 3 ist, basierend auf den von der Informationserfassungseinheit 20 erfassten Maschinenidentifikationsinformation und Daten bezüglich der Industriemaschine, die im Voraus registriert und durch Entsprechung mit der Maschinenidentifikationsinformation zugeordnet werden. Dadurch kann die Maschinenidentifikationseinheit 21 beispielsweise erkennen, dass die Industriemaschine 3 das in 1 illustrierte Bearbeitungszentrum ist.
-
Die Modellprojektionseinheit 22 projiziert ein Modell, das der von der Maschinenidentifikationseinheit 21 identifizierten Industriemaschine 3 entspricht, in einen virtuellen Raum. Insbesondere verwendet die Modellprojektionseinheit 22 das Ausgabemittel, wie z.B. ein kopfgetragenes Display, das in der Lage ist, ein Mixed-Reality-Bild anzuzeigen, um in den virtuellen Raum ein 3D-Modell M (siehe 4 und ähnliches, das später beschrieben wird) zu projizieren, das der durch die Maschinenidentifikationseinheit 21 identifizierten Industriemaschine 3 entspricht, so dass das Modell M vergrößert, verkleinert und gedreht werden kann. Zu diesem Zeitpunkt ist das von der Modellprojektionseinheit 22 in den virtuellen Raum projizierte Modell M immer mit der realen Industriemaschine 3 im realen Raum verbunden. Es ist zu beachten, dass die durch die Maschinenidentifikationseinheit 21 identifizierte Industriemaschine 3 und das entsprechende Modell M in den oben beschriebenen Daten bezüglich der Industriemaschine enthalten sind, die im Voraus registriert und durch entsprechende Maschinenidentifikationsinformation zugeordnet werden.
-
Darüber hinaus projiziert die Modellprojektionseinheit 22 das Modell M so in den virtuellen Raum, dass der von der später zu beschreibenden Subjektidentifikationseinheit 26 identifizierte Gegenstand hervorgehoben wird. Konkret zeigt die Modellprojektionseinheit 22 den von der Subjektidentifikationseinheit 26 identifizierten und später zu beschreibenden Operationsgegenstand an, indem sie ihn z.B. mit Rot hervorhebt. Dies ermöglicht es dem Benutzer, den Operationsgegenstand zu erkennen.
-
Es ist anzumerken, dass die Modellprojektionseinheit 22 ein Modell der Industriemaschine 3 auf der Grundlage von Bildern erstellt, die von den an jedem Ort platzierten Kameras aufgenommen wurden, und das erstellte Modell in den virtuellen Raum berufen kann. Zu diesem Zeitpunkt werden die Bilder der Kameras von der Informationserfassungseinheit 20 als Maschinenidentifikationsinformationen erfasst, und die Maschinenidentifikationseinheit 21 identifiziert, um welche Industriemaschine es sich handelt.
-
Die Distanz-Richtungs-Recheneinheit 23 berechnet die Distanz und die Richtung des Benutzers, der das Modell M betrachtet, in Bezug auf das von der Modellprojektionseinheit 22 projizierte Modell M. In der Kopfhalterung werden die Distanz und die Richtung des Benutzers bei der Projektion des Modells M in den virtuellen Raum als Werte festgelegt. Das heißt, dass die Distanz und die Richtung des Benutzers, wenn das Modell M in den virtuellen Raum projiziert wird, durch die eingestellten Werte bestimmt werden, und die Distanz-Richtungs-Recheneinheit 23 erfasst die eingestellten Werte. Wenn eine Vergrößerung, Verkleinerung oder Drehung des Modells M durch die später zu beschreibende Bedieneinheit 25 durchgeführt wird, berechnet die Distanz-Richtungs-Recheneinheit 23 außerdem die Distanz und die Richtung zwischen dem Modell M nach der Bedienung und dem Benutzer auf der Grundlage der eingestellten Werte und des von der Bedieneinheit 25 durchgeführten Arbeitsumfangs.
-
Die Gestenbeobachtungseinheit 24 beobachtet die Geste des Benutzers als eine Anweisung des Benutzers für die Industriemaschine 3, die von der Maschinenidentifikationseinheit 21 identifiziert wird. Spezifisch verwendet die Gestenbeobachtungseinheit 24 die Eingabemittel wie die Kameras, um die Geste eines vorgegebenen Benutzers als Anweisung des Benutzers für die von der Maschinenidentifikationseinheit 21 identifizierte Industriemaschine 3 zu beobachten. Die Gesten des vorgegebenen Benutzers werden im Voraus registriert.
-
Die Bedieneinheit 25 führt eine Operation durch, die mindestens eine der folgenden Operationen umfasst: Vergrößerung, Verkleinerung und Drehung des von der Modellprojektionseinheit 22 projizierten Modells M, basierend auf der von der Gestenbeobachtungseinheit 24 beobachteten Geste des Benutzers. Die Gesten für die Bedieneinheit 25 zur Durchführung von Operationen werden im Voraus als Informationen festgelegt, und diese Informationen werden registriert.
-
Die Subjektidentifikationseinheit 26 identifiziert den Gegenstand, der von der später zu beschreibenden Betriebsbefehlseinheit 29 bedient werden soll. Insbesondere identifiziert die Subjektidentifikationseinheit 26 den Gegenstand, der von der Betriebsbefehlseinheit 29 bedient werden soll, auf der Grundlage der Eingabe über das Eingabemittel, wie z.B. die Kamera, die die Geste des Benutzers ist, die z.B. von der Gestenbeobachtungseinheit 24 beobachtet wird. Die Gesten für die Subjektidentifikationseinheit 26, um das Subjekt zu identifizieren, werden im Voraus als Information eingestellt und registriert. Alternativ identifiziert die Subjektidentifikationseinheit 26 das Subjekt, das von der Betriebsbefehlseinheit 29 bedient werden soll, basierend auf den visuellen Punkten des Benutzers, die von einer nicht gezeigten CCD-Kamera oder ähnlichem erfasst werden, die an die Kopfmontageanzeige geliefert wird. Darüber hinaus kann die Subjektidentifikationseinheit 26 zum Zeitpunkt der Beobachtung der Geste des Benutzers durch die Gestenbeobachtungseinheit 24, wenn es ein Zielsubjektteil des Modells M gibt, das mit einer Hand des Benutzers überlappt, das Zielsubjektteil als das zu bedienende Subjekt identifizieren. Dies wird an späterer Stelle im Detail beschrieben.
-
Die Zustandserfassungseinheit 27 erfasst den Zustand der Industriemaschine 3, die von der Maschinenidentifikationseinheit 21 identifiziert wird. Insbesondere verwendet die Zustandserfassungseinheit 27 die Eingabemittel wie die Kamera, um den tatsächlichen Zustand der Industriemaschine 3 zu erfassen, die von der Maschinenidentifikationseinheit 21 identifiziert wurde. Beispiele für den tatsächlichen Zustand der Industriemaschine 3 sind das Vorhandensein oder Nichtvorhandensein einer Alarmanzeige, die Position des Revolvers, die Art des am Revolver befestigten Werkzeugs und die Position der Spindel.
-
Die Befehlsbestimmungseinheit 28 bestimmt, ob der Benutzer eine Anweisung geben kann, basierend auf der Distanz und der Richtung des Benutzers, die von der Distanz-Richtungs-Recheneinheit 23 berechnet werden, und der Geste des Benutzers, die von der Gestenbeobachtungseinheit 24 beobachtet wird. In einem Fall, in dem es notwendig ist, den Zustand der Industriemaschine 3 zu berücksichtigen, bestimmt die Befehlsbestimmungseinheit 28, ob der Benutzer die Anweisung auf der Grundlage der Distanz und der Richtung des Benutzers, die von der Distanz-Richtungs-Recheneinheit 23 berechnet werden, der Geste des Benutzers, die von der Gestenbeobachtungseinheit 24 beobachtet wird, und dem Zustand der Industriemaschine 3, der von der Zustandserfassungseinheit 27 erfasst wird, geben kann.
-
Die Bedingungen für die Distanz und die Richtung des Benutzers, bei denen das Bestimmungsergebnis der Befehlsbestimmungseinheit 28 positiv wird, werden im Voraus als Information festgelegt, und die Information wird registriert. In ähnlicher Weise wird die Bedingung der Gesten, die die Befehlsbestimmungseinheit 28 als eine Anweisung des Benutzers bestimmt, im Voraus als Information eingestellt, und die Information wird registriert. Jede dieser Bedingungen wird in einem späteren Teil im Detail beschrieben. Darüber hinaus werden die Zustände der Industriemaschine 3, bei denen das Bestimmungsergebnis der Befehlsbestimmungseinheit 28 positiv wird, im Voraus als Information eingestellt, und die Information wird registriert.
-
Wenn das Bestimmungsergebnis der Befehlsbestimmungseinheit 28 positiv ist, bedient die Betriebsbefehlseinheit 29 die von der Maschinenidentifikationseinheit 21 identifizierte Industriemaschine 3 auf der Grundlage der von der Gestenbeobachtungseinheit 24 beobachteten Geste des Benutzers. Der Betriebsinhalt der Industriemaschine 3, der der Geste des Benutzers entspricht, wird im Voraus als Information festgelegt, und die Information wird registriert. Der Zustand des Modells M im virtuellen Raum und der Zustand der Industriemaschine 3 im realen Raum sind stets über die oben beschriebenen Kommunikationsmittel miteinander verknüpft, wodurch die Bedienung der realen Industriemaschine 3 ermöglicht wird.
-
Als nächstes werden die Operationen der Vergrößerung, Verkleinerung und Drehung des in den virtuellen Raum projizierten Modells M anhand von 3 beschrieben. 3 ist ein konzeptionelles Diagramm zur Beschreibung der Vorgänge der Vergrößerung, Verkleinerung und Drehung des in den virtuellen Raum projizierten Modells M.
-
Wie in 3 illustriert, wird auf Basis der Geste des Benutzers eine Operation durchgeführt, die mindestens eine aus Vergrößerung, Verkleinerung und Drehung des in den virtuellen Raum projizierten Modells M ausgewählte Operation umfasst. Wie in 3 illustriert, wird das Modell M vergrößert oder verkleinert, wenn der Benutzer z.B. den Raum zwischen beiden Händen vergrößert oder verkleinert. Dreht der Benutzer beide Hände in eine vorgegebene Richtung, wird das Modell M in die vorgegebene Richtung gedreht. Das heißt, dass der Benutzer das Modell M im virtuellen Raum wie gewünscht bedienen und anzeigen kann. Dadurch ist es möglich, die Aufgabe an dem Modell M durchzuführen, das in einer beliebigen Größe projiziert wird, die sich von der tatsächlichen Größe unterscheidet, während es aus einer beliebigen Richtung betrachtet wird, die sich von der tatsächlichen Blickrichtung unterscheidet.
-
Als Nächstes werden die Distanz und die Richtung des Benutzers in Bezug auf das in den virtuellen Raum projizierte Modell M anhand von 4 beschrieben. 4 ist ein konzeptionelles Diagramm zur Beschreibung der Distanz und der Richtung des Benutzers in Bezug auf das in den virtuellen Raum projizierte Modell M. 4 illustriert den Revolver der Industriemaschine 3 als das in den virtuellen Raum projizierte Modell M und gibt die Distanz und die Richtungen zwischen dem Revolver und dem Benutzer (der MR-Vorrichtung 2 in 4) an.
-
Hinsichtlich des Betriebs des Revolvers, z.B. für einen Werkzeugwechsel, ist es die Bedingung (spezifische Positionsbedingung) für den Betrieb der Industriemaschine 3, dass die Distanz und die Richtung des Benutzers in Bezug auf den Revolver als Modell M innerhalb vorgeschriebener Bereiche liegen. In diesem Fall, wenn das Modell M in der gleichen Größe (100%) wie die tatsächliche Größe der Industriemaschine 3 projiziert wird, ist die Distanz, die in den vorgeschriebenen Bereich fällt, vorzugsweise zwischen 1 m und 1,5 m einschließlich. Was die Richtung betrifft, die in den vorgeschriebenen Bereich fällt, so sollte der Winkel zur Vorderseite des Modells M vorzugsweise 15 Grad oder weniger betragen. Wenn das Modell M in einer gegenüber der tatsächlichen Größe der Industriemaschine 3 vergrößerten oder verkleinerten Form projiziert wird, sollte die Distanz, die in den vorgeschriebenen Bereich fällt, vorzugsweise zwischen (1× Skalierungsprozentsatz) m und (1,5x Skalierungsprozentsatz) m einschließlich liegen.
-
Als nächstes wird ein Verfahren zur Identifizierung des zu bedienenden Subjekts anhand von 5A und 5B beschrieben. 5A ist eine Vorderansicht des Modells M, das in den virtuellen Raum projiziert wird, ein Diagramm, das den Zustand vor der Identifizierung des zu bedienenden Subjekts zeigt. 5B ist eine Vorderansicht des Modells M, das in den virtuellen Raum projiziert wird und ein Diagramm darstellt, das den Zustand nach der Identifizierung des zu bedienenden Subjekts gemäß der Geste des Benutzers zeigt. Man beachte, dass der Revolver der Industriemaschine 3 in 5A und 5B als das in den virtuellen Raum projizierte Modell M dargestellt ist.
-
Wie in 5A und 5B illustriert, wird, wenn der Benutzer eine vorgeschriebene Eingabe vornimmt, während das Modell M in den virtuellen Raum projiziert wird, das zu bedienende Subjekt durch die Subjektidentifikationseinheit 26 identifiziert und das identifizierte Subjekt wird durch Hervorhebung angezeigt, wie in 5B illustriert. Beispiele für die vorgegebene Eingabe können nicht nur die Geste wie das Zeigen eines Fingers auf das Subjekt umfassen, wie in 5B dargestellt, sondern auch das Halten der visuellen Punkte auf dem Subjekt für eine vorgeschriebene Zeitspanne und dergleichen.
-
In einem Fall, in dem eine Anweisung durch eine Geste des Benutzers gegeben wird, ohne dass der zu bedienende Gegenstand im Voraus identifiziert wird, kann der Teil, den die Hand des Benutzers berührt, d.h. der Teil des Zielsubjekts, der sich mit der Hand des Benutzers überschneidet, als der zu bedienende Gegenstand identifiziert werden. Diese Methode ist effektiv, wenn es eine Vielzahl Bediensubjektteilen gibt, die von den Sichtpunkten des Benutzers aus gesehen existieren.
-
Als nächstes wird ein Verfahren zur Bedienung der Industriemaschine 3 auf Basis der Geste des Benutzers anhand von 6 beschrieben. 6 ist eine Vorderansicht des in den virtuellen Raum projizierten Modells M, das ein Diagramm ist, das einen Zustand bei der Bedienung der Industriemaschine 3 auf der Grundlage der Geste des Benutzers illustriert. Man beachte, dass 6 den Revolver der Industriemaschine 3 als das in den virtuellen Raum projizierte Modell M zeigt.
-
Wie in 6 illustriert, ist es bei der Projektion des Modells M in den virtuellen Raum die Bedingung für die Bedienung der Industriemaschine 3 (spezifische Bewegungsbedingung), dass der Benutzer eine bestimmte Geste ausführt. Als vorgegebene Geste zur Durchführung des Werkzeugwechsels der Industriemaschine 3 wird eine Geste wie das Drehen des Steuerrades eines Schiffes oder ähnliches im Voraus festgelegt.
-
Wenn, wie beschrieben, sowohl die spezifische Position (die Distanz und die Richtung des Benutzers in Bezug auf das Modell M liegen innerhalb der vorgeschriebenen Bereiche) als auch die spezifische Bewegungsbedingung (der Benutzer führt die vorgegebene Geste aus) erfüllt sind, bestimmt die Befehlsbestimmungseinheit 28 als positiv. Dadurch ist es möglich, den Werkzeugwechsel der Industriemaschine 3 durch die Betriebsbefehlseinheit 29 durchzuführen. Das heißt, wenn die Distanz des Benutzers in Bezug auf das Modell M weit ist, ist es nicht möglich, den Werkzeugwechsel der Industriemaschine 3 durchzuführen, selbst wenn der Benutzer die vorgeschriebene Geste macht. Der Grund dafür ist, dass der Werkzeugtyp aus einer entfernten Position nicht bestimmt werden kann, und das ist unsicher. Mit Hilfe der gemischten Realität ist es möglich, einen Werkzeugwechsel intuitiv und sicher durchzuführen.
-
Als nächstes wird das Verfahren zur Bedienung der Industriemaschine 3 auf der Grundlage der Gesten des Benutzers anhand von 7 und 8 beschrieben. 7 ist eine Draufsicht auf das in den virtuellen Raum projizierte Modell M. Es handelt sich um ein Diagramm, das einen Zustand veranschaulicht, in dem der Bereich der Distanz und der Richtung des Benutzers, in dem der Benutzer eine Anweisung geben kann, projiziert wird. 8 ist ein konzeptionelles Diagramm zur Beschreibung des Zustands des in den virtuellen Raum projizierten Modells M, das ein Diagramm ist, das einen Zustand illustriert, in dem die Industriemaschine 3 auf der Grundlage der Geste des Benutzers betrieben wird. In 7 und 8 sind das Werkstück W und eine Spindel A der Industriemaschine 3 als das in den virtuellen Raum projizierte Modell M illustriert.
-
Man beachte hier, dass bei einem Startvorgang eines Bearbeitungsprogramms für die Industriemaschine 3 die Befehlsbestimmungseinheit 28 als positiv bestimmt, wenn der von der Zustandserfassungseinheit 27 erfasste Zustand der Industriemaschine 3 die spezifische Zustandsbedingung zusätzlich zur Erfüllung der spezifischen Positionsbedingung und der spezifischen Bewegungsbedingung erfüllt, und der Bearbeitungsprogrammbetrieb für die Industriemaschine 3 durch die Betriebsbefehlseinheit 29 gestartet wird.
-
Wie in 8 illustriert, ist es für den Startvorgang des Bearbeitungsprogramms für die Industriemaschine 3 vorteilhaft, als spezifische Positionsbedingung eine Position einzunehmen, bei der der Winkel zwischen der geraden Linie der Spindel A und dem Werkstück W als Modell M in einen Bereich von 5 Grad oder mehr bis 20 Grad oder weniger fällt. Dies liegt daran, dass sowohl die Spindel A als auch das Werkstück W dadurch visuell erkannt werden können.
-
Darüber hinaus wird als spezifische Bewegungsbedingung in einem solchen Fall eine Dreh- und Schwenkbewegung des gesamten Arms, wie z.B. in 8 dargestellt, als die vom Benutzer auszuführende Geste festgelegt.
-
Darüber hinaus ist es in einem solchen Fall wünschenswert, dass keine Alarmanzeige an der Industriemaschine 3 erscheint, dass die Position der Spindel A die Position ist, in der die Bearbeitung gestartet werden kann, und ähnliches. Der Bereich der Spindel A, in dem mit der Bearbeitung begonnen werden kann, kann durch eine Markierung K in den virtuellen Raum projiziert werden, wie z.B. in 7 dargestellt.
-
Wie oben beschrieben, umfasst das Bediensystem 1 für Industriemaschinen: die Informationserfassungseinheit 20, die die der Industriemaschine 3 entsprechende Maschinenidentifikationsinformation erfasst; die Maschinenidentifikationseinheit 21, die die Industriemaschine 3 auf Basis der von der Informationserfassungseinheit 20 erfassten Maschinenidentifikationsinformationen identifiziert; die Modellprojektionseinheit 22, die das der von der Maschinenidentifikationseinheit 21 identifizierten Industriemaschine 3 entsprechende Modell M in den virtuellen Raum projiziert; die Distanz-Richtungs-Recheneinheit 23, die die Distanz und die Richtung des das Modell M beobachtenden Benutzers in Bezug auf das von der Modellprojektionseinheit 22 projizierte Modell M berechnet; die Gestenbeobachtungseinheit 24, die die Geste des Benutzers als eine Anweisung des Benutzers für die Industriemaschine 3 beobachtet, die durch die Maschinenidentifikationseinheit 21 identifiziert wird; die Befehlsbestimmungseinheit 28, die bestimmt, ob der Benutzer die Anweisung geben kann, basierend auf der Distanz und der Richtung des Benutzers, die durch die Distanz-Richtungs-Recheneinheit 23 berechnet werden, und der Geste des Benutzers, die durch die Gestenbeobachtungseinheit 24 beobachtet wird; und die Betriebsbefehlseinheit 29, die, wenn das Bestimmungsergebnis der Befehlsbestimmungseinheit 28 positiv ist, die Industriemaschine 3, die durch die Maschinenidentifikationseinheit 21 identifiziert wurde, basierend auf der Geste des Benutzers, die durch die Gestenbeobachtungseinheit 24 beobachtet wurde, betreibt.
-
Dadurch ist es möglich, die reale Industriemaschine 3 im virtuellen Raum als das Modell M anzuzeigen und die reale Industriemaschine 3 durch eine im virtuellen Raum ausgeführte Bedienung des Benutzers zu bedienen. Genauer gesagt, wenn die Distanz und die Richtung des Benutzers, die von der Distanz-Richtungs-Recheneinheit 23 berechnet werden, die im Voraus festgelegte spezifische Positionsbedingung erfüllen und die Geste des Benutzers, die von der Gestenbeobachtungseinheit 24 beobachtet wird, die im Voraus festgelegte spezifische Bewegungsbedingung erfüllt, wird bestimmt, dass der Benutzer die Betriebsanweisung geben kann und die Industriemaschine 3 betrieben werden kann. Dies gilt beispielsweise für den Werkzeugwechsel an der Industriemaschine 3. Daher ist es mit dem Bediensystem 1 für Industriemaschinen möglich, die Industriemaschine 3 intuitiv und sicher zu bedienen, indem gemischte Realität verwendet wird.
-
Darüber hinaus kann das Bediensystem 1 für Industriemaschinen so konfiguriert sein, dass es die Bedieneinheit 25 enthält, die eine Operation durchführt, die mindestens eine aus Vergrößerung, Verkleinerung und Drehung des von der Modellprojektionseinheit 22 projizierten Modells M ausgewählte Operation umfasst, und zwar auf der Grundlage der von der Gestenbeobachtungseinheit 24 beobachteten Geste des Benutzers. Dadurch kann das Modell M im virtuellen Raum durch die Bedieneinheit 25 wie gewünscht bedient werden, so dass es möglich ist, die reale Industriemaschine 3, mit der der Zustand des Modells M immer verknüpft ist, verschiedene Arten von Aktionen durchführen zu lassen.
-
Darüber hinaus kann das Bediensystem 1 für Industriemaschinen so konfiguriert sein, dass es die Zustandserfassungseinheit 27 enthält, die den Zustand der Industriemaschine 3 erfasst, der von der Maschinenidentifikationseinheit 21 identifiziert wird, und die Befehlsbestimmungseinheit 28 bestimmt, ob der Benutzer den Befehl auf der Grundlage des von der Zustandserfassungseinheit 27 erfassten Zustands der Industriemaschine 3 geben kann. Dabei bestimmt die Befehlsbestimmungseinheit 28 als positiv, wenn der durch die Zustandserfassungseinheit 27 erfasste Zustand der Industriemaschine 3 die spezifische Zustandsbedingung zusätzlich zur Erfüllung der spezifischen Positionsbedingung und der spezifischen Bewegungsbedingung erfüllt, und die Industriemaschine 3 kann durch die Betriebsbefehlseinheit 29 betrieben werden. Dies gilt insbesondere für den Start des Bearbeitungsprogramms für die Industriemaschine 3, zum Beispiel.
-
Darüber hinaus kann das Bediensystem 1 für Industriemaschinen so konfiguriert sein, dass es die Subjektidentifikationseinheit 26 enthält, die das zu bedienende Subjekt durch die Betriebsbefehlseinheit 29 identifiziert. Dadurch kann das zu bedienende Subjekt sicher identifiziert werden, so dass es möglich ist, die oben beschriebenen Effekte sicherer zu zeigen.
-
Darüber hinaus kann die Modellprojektionseinheit 22 in dem Bediensystem 1 für Industriemaschinen so konfiguriert werden, dass das Modell M so projiziert wird, dass das von der Subjektidentifikationseinheit 26 identifizierte Subjekt hervorgehoben wird. Dadurch kann der Benutzer den Gegenstand der Bedienung visuell sicher erkennen, so dass die oben beschriebenen Effekte noch sicherer gezeigt werden können.
-
Es ist zu beachten, dass die vorliegende Offenbarung nicht auf die oben beschriebenen Ausführungsformen beschränkt ist, sondern verschiedene Änderungen und Modifikationen umfasst, die geeignet sind, das Ziel der vorliegenden Offenbarung zu erreichen. Zum Beispiel, während die Ausführungsformen oben beschrieben werden, indem sie sich auf den Fall beziehen, der das Bearbeitungszentrum als die industrielle Maschine betrachtet, ist die industrielle Maschine nicht nur darauf beschränkt. Das Bediensystem der vorliegenden Offenbarung kann auf andere Werkzeugmaschinen, Roboter und dergleichen angewendet werden.
-
Bezugszeichenliste
-
- 1
- Bediensystem für Industriemaschinen
- 2
- MR-Vorrichtung
- 20
- Informationserfassungseinheit
- 21
- Maschinenidentifikationseinheit
- 22
- Modell Projektionseinheit
- 23
- Distanz-Richtungs-Recheneinheit
- 24
- Gestenbeobachtungseinheit
- 25
- Bedieneinheit
- 26
- Subjektidentifikationseinheit
- 27
- Zustandserfassungsstelle
- 28
- Befehlsbestimmungseinheit
- 29
- Betriebsbefehlseinheit
- 3
- Industriemaschine
- M
- Modell
- K
- Marker
- A
- Spindel
- W
- Werkstück
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2019008473 A [0002, 0003]
