-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft eine Betriebsverwaltungsvorrichtung.
-
Stand der Technik
-
In einer Fabrik, in der eine Vielzahl von Industriemaschinen, wie Werkzeugmaschinen und Roboter, in Betrieb sind, sind Techniken vorgeschlagen worden, die Steuereinheiten zur Steuerung jeder Industriemaschine und Verwaltungsvorrichtungen zum Sammeln und Überwachen von Daten über den Betriebszustand jeder Industriemaschine über ein Netzwerk verbinden und dadurch den Betriebszustand jeder Industriemaschine zentral verwalten. Siehe zum Beispiel Patentdokument 1.
-
Patentdokument 1: Ungeprüfte japanische Patentanmeldung, Publikationsnummer
2017-10200 -
Offenbarung der Erfindung
-
Durch die Erfindung zu lösende Probleme
-
Bei der Erstellung eines Anordnungsdiagramms der Industriemaschinen auf der Betriebsverwaltungsvorrichtung muss der Benutzer jedoch Identifikationsinformationen und Positionsinformationen für jede der Vielzahl der in der Fabrik aufgestellten Industriemaschinen mit Hilfe eines Endgeräts, wie z. B. eines Smartphones, sammeln, was zeit- und arbeitsaufwendig ist.
-
Indes haben sich die Kosten für Überwachungskameras reduziert, und eine Vielzahl von netzwerkfähigen Überwachungskameras sind in Fabriken angeordnet.
-
Daher ist es wünschenswert, ein Anordnungsdiagramm einer Vielzahl von Industriemaschinen, die in der Fabrik angeordnet sind, einfach zu erstellen, indem Videos verwendet werden, die von einer Vielzahl von Kameras aufgenommen werden.
-
Mittel zur Lösung der Probleme
-
Ein Aspekt der Betriebsverwaltungsvorrichtung der vorliegenden Erfindung betrifft eine Betriebsverwaltungsvorrichtung, die ein Symbol anzeigt, das mindestens eine Industriemaschine darstellt, die auf einem Anordnungsdiagramm angeordnet ist, das einen Umriss eines Werks darstellt, in dem die Industriemaschine installiert ist, wobei die Betriebsverwaltungsvorrichtung umfasst: eine Werkzeugmaschinen-Erfassungseinheit, die so konfiguriert ist, dass sie die in dem Werk installierte Industriemaschine anhand eines Videos von jeder einer Vielzahl von in dem Werk installierten Kameras erfasst, und zwar auf der Grundlage einer Vielzahl von Merkmalspunkten jeder Industriemaschine, die im Voraus in einer Maschinenform-Speichereinheit erfasst werden; eine Abweichungspunkt-Erfassungseinheit, die so konfiguriert ist, dass sie aus der Vielzahl der erfassten Merkmalspunkte der Industriemaschine einen zeitlich veränderlichen Merkmalspunkt und einen Zeitpunkt, zu dem sich der Merkmalspunkt über die Zeit verändert hat, aus einem Video von jeder der Vielzahl von Kameras erfasst; eine Erkennungseinheit für identische Maschinen, die so konfiguriert ist, dass sie eine oder mehrere Industriemaschinen in einem Video von jeder der mehreren Kameras erkennt, und zwar auf der Basis des zeitlich veränderlichen Merkmalspunkts und der Zeit, zu der sich der Merkmalspunkt im Laufe der Zeit verändert hat, und die von der Abweichungspunkt-Erfassungseinheit erfasst wird; eine Kameraparameter-Berechnungseinheit, die so konfiguriert ist, dass sie einen Kameraparameter für jede der Vielzahl von Kameras berechnet, basierend auf einem Abstand zwischen mindestens einem Paar von Merkmalspunkten, die im Voraus in der Maschinenform-Speichereinheit erfasst werden, und einem Abstand zwischen den Merkmalspunkten in einem Video der Industriemaschinen, die von der Erkennungseinheit für identische Maschinen erkannt werden; eine Maschinenabstands-Berechnungseinheit, die so konfiguriert ist, dass sie einen Abstand zwischen jedem Merkmalspunkt der Industriemaschinen, die von der Erkennungseinheit für identische Maschinen erkannt werden, und einer Mitte einer Linse jeder der Vielzahl von Kameras berechnet, und zwar auf der Basis des Kameraparameters für jede der Vielzahl von Kameras, der von der Kameraparameter-Berechnungseinheit berechnet wird; und eine Anordnungsdiagramm-Erzeugungseinheit, die konfiguriert ist, um das Anordnungsdiagramm zu erzeugen, in dem Symbole der erkannten Industriemaschinen angeordnet sind, basierend auf dem Abstand zwischen jedem Merkmalspunkt der Industriemaschinen und der Mitte des Objektivs jeder der Vielzahl von Kameras, der durch die Maschinenabstands-Berechnungseinheit berechnet wird, und dreidimensionalen Koordinaten der Mitte des Objektivs jeder der Vielzahl von Kameras, die im Voraus erfasst werden.
-
Auswirkungen der Erfindung
-
Gemäß einem Aspekt der vorliegenden Erfindung kann ein Anordnungsdiagramm von Industriemaschinen, die in einer Fabrik angeordnet sind, auf einfache Weise erstellt werden, indem Videos verwendet werden, die von einer Vielzahl von Kameras aufgenommen wurden.
-
Kurze Beschreibung der Zeichnungen
-
- 1 ist ein Funktionsblockdiagramm, das ein funktionales Konfigurationsbeispiel eines Betriebsverwaltungssystems gemäß einer Ausführungsform darstellt;
- 2A ist ein Diagramm, das ein Beispiel für ein von einer Kamera aufgenommenes Video darstellt;
- 2B ist ein Diagramm, das ein Beispiel für ein von einer Kamera aufgenommenes Video zeigt;
- 3 ist ein Blockdiagramm, das eine Konfiguration der Betriebsverwaltungsvorrichtung veranschaulicht;
- 4 ist ein Diagramm, das ein Beispiel von Merkmalspunkten einer Werkzeugmaschine darstellt;
- 5A ist ein Diagramm, das ein Beispiel einer Ebene der Vorderseite der Werkzeugmaschine darstellt;
- 5B ist ein Diagramm zur Veranschaulichung eines Beispiels einer Ebene, die parallel von der Vorderseite der Werkzeugmaschine bewegt wird, sowie eines Frontbereichs der Maschine;
- 6 ist ein Diagramm, das ein Beispiel für eine Beziehung zwischen dem Frontbereich der Maschine und Schwellenwerten im Video zeigt;
- 7 ist ein Diagramm, das ein Beispiel für eine Verarbeitung zur automatischen Bestimmung von Kameras zeigt, die sich in einer Positionsbeziehung befinden, die eine Erkennung mit einem vorbestimmten Genauigkeitsgrad ermöglicht;
- 8 ist ein Diagramm, das ein Beispiel für ein Anordnungsdiagramm darstellt;
- 9A ist ein Diagramm, das ein Beispiel für eine Geste einer Person darstellt, die die Anzeige der erweiterten Realität anfordert;
- 9B ist ein Diagramm, das ein Beispiel für eine Geste einer Person darstellt, die die Anzeige der erweiterten Realität anfordert;
- 10 ist ein Diagramm, das ein Beispiel für ein AR-Bild darstellt; und
- 11 ist ein Flussdiagramm, das die Verwaltungsverarbeitung der Betriebsverwaltungsvorrichtung darstellt.
-
Bevorzugte Ausführungsform der Erfindung
-
<Eine Ausführungsform>
-
1 ist ein funktionales Blockdiagramm, das ein funktionales Konfigurationsbeispiel eines Betriebsverwaltungssystems gemäß einer Ausführungsform darstellt. Hier ist eine Werkzeugmaschine als Beispiel für eine Industriemaschine dargestellt. Es ist zu beachten, dass die vorliegende Erfindung auch auf Industriemaschinen wie Industrieroboter, Serviceroboter, Schmiedemaschinen und Spritzgießmaschinen angewendet werden kann.
-
Wie in 1 dargestellt, umfasst das Betriebsverwaltungssystem 1 eine Betriebsverwaltungsvorrichtung 10, n Werkzeugmaschinen 20(1) bis 20(n) und m Kameras 30(1) bis 30(m), die Videos (bewegte Bilder) mit einer vorgegebenen Bildrate aufnehmen (n ist eine ganze Zahl größer oder gleich 1 und m ist eine ganze Zahl größer oder gleich 2).
-
Die Betriebsverwaltungsvorrichtung 10, die Werkzeugmaschinen 20(1) bis 20(n) und die Kameras 30(1) bis 30(m) können über ein Netzwerk wie ein LAN (Nahverkehrsnetz) oder das Internet miteinander verbunden sein. In diesem Fall sind die Betriebsverwaltungsvorrichtung 10, die Werkzeugmaschinen 20(1) bis 20(n) und die Kameras 30(1) bis 30(m) mit einer Kommunikationseinheit (nicht abgebildet) zur gegenseitigen Kommunikation über eine solche Verbindung ausgestattet. Es ist zu beachten, dass die Betriebsverwaltungsvorrichtung 10, die Werkzeugmaschinen 20(1) bis 20(n) und die Kameras 30(1) bis 30(m) auch direkt über eine Verbindungsschnittstelle (nicht dargestellt), entweder drahtgebunden oder drahtlos, miteinander verbunden sein können.
-
Die Werkzeugmaschinen 20(1) bis 20(n) sind dem Fachmann bekannte Werkzeugmaschinen und umfassen eine Steuereinheit 210. Die Werkzeugmaschinen 20(1) bis 20(n) bewegen sich aufgrund von Verfahrbefehlen der Steuereinheit 210.
-
Wenn es nicht notwendig ist, die Werkzeugmaschinen 20(1) bis 20(n) einzeln zu unterscheiden, werden sie im Folgenden gemeinsam als „Werkzeugmaschinen 20“ bezeichnet.
-
Bei der Steuereinheit 210 handelt es sich beispielsweise um eine dem Fachmann bekannte numerische Steuereinheit, die auf der Basis von Steuerinformationen Verfahrbefehle erzeugt und die erzeugten Verfahrbefehle an die Werkzeugmaschinen 20 sendet. Auf diese Weise steuert die Steuereinheit 210 die Bewegung der Werkzeugmaschinen 20.
-
Konkret handelt es sich bei der Steuereinheit 210 um eine Vorrichtung, die die Werkzeugmaschinen 20 zur Durchführung vorbestimmter Bearbeitungsvorgänge steuert. Der Steuereinheit 210 wird ein Bearbeitungsprogramm vorgegeben, das die Bewegung der Werkzeugmaschinen 20 beschreibt. Auf der Basis des vorgegebenen Bearbeitungsprogramms erzeugt die Steuereinheit 210 Verfahrbefehle, darunter Verschiebebefehle für jede Welle und Drehbefehle für einen Motor, der die Hauptwelle antreibt, und sendet diese Verfahrbefehle an die Werkzeugmaschinen 20, wodurch der Motor der Werkzeugmaschinen 20 gesteuert wird. Dadurch kann die Werkzeugmaschine 20 eine vorgegebene Bearbeitung durchführen.
-
Die Steuereinheit 210 sendet Betriebsinformationen der Werkzeugmaschinen 20, die Verfahrbefehle enthalten, an die Betriebsverwaltungsvorrichtung 10. Darüber hinaus kann die Steuereinheit 210 Betriebsdaten, an die Zeitinformationen angehängt sind, die den Zeitpunkt angeben, zu dem die Werkzeugmaschine 20 durch die Verfahrbefehle bewegt wurde, basierend auf dem Taktsignal des in der Steuereinheit 210 enthaltenen Taktgenerators (nicht dargestellt), an die Betriebsverwaltungsvorrichtung 10 ausgeben.
-
Es ist zu beachten, dass in dem Fall, dass die Werkzeugmaschine 20 ein Roboter oder dergleichen ist, die Steuereinheit 210 eine Roboter-Steuereinheit oder dergleichen sein kann.
-
Die von der Steuereinheit 210 gesteuerten Vorrichtungen sind nicht auf die Werkzeugmaschinen 20 und Roboter beschränkt, sondern können allgemein als Industriemaschinen eingesetzt werden. Industriemaschinen umfassen beispielsweise verschiedene Maschinen wie Werkzeugmaschinen, Industrieroboter, Serviceroboter, Schmiedemaschinen und Spritzgießmaschinen.
-
In der vorliegenden Ausführungsform ist eine numerische Steuereinheit als ein Beispiel für die Steuereinheit 210 dargestellt.
-
Die Kameras 30(1) bis 30(m) sind zum Beispiel Digitalkameras, wie z.B. Überwachungskameras, und in einer Fabrik installiert, in der die Werkzeugmaschinen 20 aufgestellt sind. Die Kameras 30(1) bis 30(m) geben Einzelbilder, die mit einer vorgegebenen Bildrate aufgenommen werden, als Videos an die Betriebsverwaltungsvorrichtung 10 aus. Jede der Kameras 30(1) bis 30(m) erfasst den Zeitpunkt der Aufnahme jedes Einzelbildes auf der Basis des Taktsignals des in jeder der Kameras 30(1) bis 30(m) enthaltenen Taktgenerators (nicht dargestellt) und gibt das Video, das Zeitinformationen aufweist, die den erfassten Zeitpunkt angeben, an die Betriebsverwaltungsvorrichtung 10 aus.
-
2A und 2B sind Diagramme, die Beispiele von Videos zeigen, die von der Kamera 30 aufgenommen wurden. 2A und 2B zeigen Videos der drei identischen Werkzeugmaschinen 20, die von den beiden an unterschiedlichen Positionen angeordneten Kameras 30 aufgenommen wurden. Das heißt, eine Kamera 30 und die benachbarte Kamera 30 sind so angeordnet, dass sie einen Abschnitt von mindestens einer Werkzeugmaschine 20 aufnehmen.
-
Wenn es nicht notwendig ist, die Kameras 30(1) bis 30(m) einzeln zu unterscheiden, werden sie im Folgenden gemeinsam als „Kameras 30“ bezeichnet.
-
<Betriebsverwaltungsvorrichtung 10>
-
Bei der Betriebsverwaltungsvorrichtung 10 handelt es sich zum Beispiel um einen Computer.
-
3 ist ein Blockdiagramm, das die Konfiguration der Betriebsverwaltungsvorrichtung 10 zeigt.
-
Wie in 3 dargestellt, umfasst die Betriebsverwaltungsvorrichtung 10 eine Steuereinheit 110, eine Speichereinheit 130, eine Eingabeeinheit 150 und eine Anzeigeeinheit 170. Die Steuereinheit 110 umfasst eine Videodaten-Erfassungseinheit 111, eine Maschinenwerkzeug-Erfassungseinheit 112, eine Personen-Erfassungseinheit 113, eine Abweichungspunkt-Erfassungseinheit 114, eine Erkennungseinheit 115 für identische Maschinen, eine Kameraparameter-Berechnungseinheit 116, eine Betriebsinformations-Erfassungseinheit 117, eine Betriebsinformations-Maschinenidentifizierungseinheit 118, eine Maschinenentfernungs-Berechnungseinheit 119, eine Maschinenfrontbereich-Koordinatenberechnungseinheit 120, eine Maschinenfrontbereich-Personenerfassungseinheit 121, eine Anordnungsdiagramm-Erzeugungseinheit 122, eine Augmented-Reality-Anzeigenanforderungs-Gestenerfassungseinheit 123 und eine Augmented-Reality-Informationsübertragungseinheit 124. Die Speichereinheit 130 speichert Videodaten 131, Betriebsinformationen 132, Werkzeugmaschinenformdaten 133 und dreidimensionale Kamerakoordinatendaten 134.
-
Die Betriebsverwaltungsvorrichtung 10 kann beispielsweise so konfiguriert sein, dass sie die Funktion hat, die Zeit der Taktgeneratoren (nicht dargestellt) in der Steuereinheit 210 und der Kameras 30 in einem vorbestimmten Zeitintervall zu überprüfen und zu synchronisieren.
-
<Speichereinheit 130>
-
Die Speichereinheit 130 ist z.B. ein Nurlesespeicher (ROM) oder eine Festplatte (HDD) und speichert ein Systemprogramm, ein Anwendungsprogramm zur Betriebsüberwachung usw., die von der später beschriebenen Steuereinheit 110 ausgeführt werden. Die Speichereinheit 130 speichert die Videodaten 131, die Betriebsinformationen 132, die Werkzeugmaschinenformdaten 133 und die dreidimensionalen Kamerakoordinatendaten.
-
Die Videodaten 131 speichern zum Beispiel Videos, die von jeder Kamera 30 aufgenommen und von der später beschriebenen Videodaten-Erfassungseinheit 111 für jede Kamera 30 erfasst wurden.
-
Die Betriebsinformationen 132 speichern beispielsweise Betriebsinformationen jeder Werkzeugmaschine 20, die von der Betriebsinformations-Erfassungseinheit 117, die später beschrieben wird, für jede Werkzeugmaschine 20 erfasst werden.
-
Die Werkzeugmaschinenformdaten 133, die als Speichereinheit für die Maschinenform dienen, speichern eine Vielzahl von Merkmalspunkten (z. B. Ecken, Logo-Zeichen, numerische Steuerungsabschnitte (NC-Abschnitte), Kontrollleuchten, Türen usw.), die im Voraus für jedes Modell der Werkzeugmaschinen 20 auf der Grundlage von Zeichnungen wie CAD-Daten erfasst werden. Die Werkzeugmaschinenformdaten 133 können einen Abstand zwischen mindestens einem Paar von Merkmalspunkten unter den im Voraus erfassten Merkmalspunkten auf der Grundlage der Zeichnungen speichern.
-
4 zeigt ein Beispiel für Merkmalspunkte der Werkzeugmaschine 20. In 4 sind die Merkmalspunkte durch die schwarzen Punkte dargestellt.
-
Die Speichereinheit 130 speichert die dreidimensionalen Koordinaten im Weltkoordinatensystem der Mitte des Kameraobjektivs, das der Ursprungspunkt des Kamerakoordinatensystems ist, das für jede im Voraus erfasste Kamera 30 festgelegt wird. Es sollte beachtet werden, dass der Ursprungspunkt des Kamerakoordinatensystems in der Mitte des Kameraobjektivs liegt und die Z-Achse des Kamerakoordinatensystems die optische Achse der Kamera 30 ist, d.h. die Linie, die durch die Mitte des Objektivs und senkrecht zur Objektivoberfläche verläuft. Im Weltkoordinatensystem wird beispielsweise eine vorgegebene Position in der Fabrik (z. B. die Ecke der Fabrikhalle) als Koordinatenursprung festgelegt.
-
Im Folgenden werden die dreidimensionalen Koordinatenwerte im Weltkoordinatensystem der Mitte des Objektivs jeder Kamera 30 als die dreidimensionalen Kamerakoordinatendaten 134 bezeichnet.
-
<Eingabeeinheit 150>
-
Die Eingabeeinheit 150 ist beispielsweise eine Tastatur oder ein Touchpanel, das auf der später beschriebenen Wiedergabeeinheit 170 angeordnet ist und eine Benutzereingabe empfängt. Die Eingabeeinheit 150 kann als Kameraparameter-Eingabeeinheit dienen, die Kameraparameter für die Kameras 30 empfängt, oder kann als Kamerakoordinaten-Eingabeeinheit dienen, die die dreidimensionalen Koordinaten empfängt, die die Position der Mitte des Objektivs jeder Kamera 30 im Weltkoordinatensystem angeben, basierend auf den Eingabeoperationen des Benutzers, wie z.B. eines Bedieners.
-
<Anzeigeeinheit 170>
-
Die Anzeigeeinheit 170 ist beispielsweise eine LCD-Anzeige und kann als eine Anordnungsdiagramm-Informationsanzeigeeinheit dienen, die ein Anordnungsdiagramm der Werkzeugmaschinen 20 anzeigt, das von der später beschriebenen Anordnungsdiagramm-Erzeugungseinheit 122 erstellt wurde.
-
<Steuereinheit 110>
-
Die Steuereinheit 110 umfasst eine CPU, einen ROM, einen RAM, einen CMOS-Speicher (komplementärer Metalloxid-Halbleiter) usw., die dem Fachmann bekannt sind und so konfiguriert sind, dass sie über einen Bus miteinander kommunizieren können.
-
Die CPU ist ein Prozessor, der die gesamte Betriebsverwaltungsvorrichtung 10 steuert. Die CPU liest das im ROM gespeicherte Systemprogramm und das Betriebsverwaltungs-Anwendungsprogramm über den Bus und steuert die gesamte Betriebsverwaltungsvorrichtung 10 gemäß dem Systemprogramm und dem Betriebsverwaltungs-Anwendungsprogramm. Folglich ist, wie in 2 dargestellt ist, die Steuereinheit 110 so konfiguriert, dass sie die Funktionen der Videodaten-Erfassungseinheit 111, der Werkzeugmaschinen-Erfassungseinheit 112, der Personen-Erfassungseinheit 113, der Abweichungspunkt-Erfassungseinheit 114, der Erkennungseinheit 115 für identische Maschinen, der Kameraparameter-Berechnungseinheit 116, der Betriebsinformations-Erfassungseinheit 117 der Betriebsinformations-Maschinenidentifizierungseinheit 118, der Maschinenabstands-Berechnungseinheit 119, der Maschinenfrontbereich-Koordinatenberechnungseinheit 120, der Maschinenfrontbereich-Personenerfassungseinheit 121, der Anordnungsdiagramm-Erzeugungseinheit 122, der Augmented-Reality-Anzeigenanforderungs-Gestenerfassungseinheit 123 und der Augmented-Reality-Informationsübertragungseinheit 124 implementiert. Der Arbeitsspeicher speichert verschiedene Daten wie temporäre Berechnungsdaten und Anzeigedaten. Der CMOS-Speicher wird durch eine Batterie (nicht dargestellt) gesichert und ist als nichtflüchtiger Speicher konfiguriert, der den gespeicherten Zustand auch dann beibehält, wenn die Stromversorgung der Betriebsverwaltungsvorrichtung 10 ausgeschaltet ist.
-
Die Videodaten-Erfassungseinheit 111 erfasst Einzelbilder der Videos, die von jeder Kamera 30 aufgenommen und mit Zeitinformationen versehen wurden, von jeder Kamera 30. Die Videodaten-Erfassungseinheit 111 speichert die erfassten Videos als Videodaten 131 für jede Kamera 30.
-
Die Werkzeugmaschinen-Erfassungseinheit 112 führt beispielsweise eine dem Fachmann bekannte Merkmalspunktextraktionsverarbeitung an den von der Videodaten-Erfassungseinheit 111 erfassten Videos durch und vergleicht die extrahierten Merkmalspunkte mit der Vielzahl von Merkmalspunkten, die im Voraus in den Werkzeugmaschinenformdaten 133 für jede Werkzeugmaschine 20 erfasst wurden, wodurch die in den Videos erfasste Werkzeugmaschine 20 erkannt wird.
-
Die Personen-Erfassungseinheit 113 führt eine dem Fachmann bekannte Merkmalspunktextraktionsverarbeitung an den Einzelbildern der von der Videodaten-Erfassungseinheit 111 erfassten Videos durch und vergleicht die extrahierten Merkmalspunkte mit den Merkmalspunktdaten, die menschliche Gelenke und dergleichen (nicht dargestellt) darstellen, die im Voraus in der Speichereinheit 130 erfasst wurden, wodurch eine Person wie ein Bediener, der in den Videos erfasst wurde, erkannt wird.
-
Die Abweichungspunkt-Erfassungseinheit 114 erfasst einen zeitlich veränderlichen Merkmalspunkt und die Zeit, zu der sich der Merkmalspunkt im Laufe der Zeit verändert hat, aus den von jeder Kamera 30 erfassten Videos und den an die Videos angehängten Zeitinformationen, basierend auf der Vielzahl von Merkmalspunkten der Werkzeugmaschinen 20, die von der Werkzeugmaschinen-Erfassungseinheit 112 erfasst wurden.
-
Insbesondere identifiziert beispielsweise die Abweichungspunkt-Erfassungseinheit 114 einen Merkmalspunkt, der einer an der Werkzeugmaschine 20 installierten Kontrollleuchte entspricht, als einen zeitlich veränderlichen Merkmalspunkt aus der Vielzahl der Merkmalspunkte der erfassten Werkzeugmaschine 20. Anhand der von der Kamera 30 aufgenommenen Videos und der Zeitinformationen erkennt die Abweichungspunkt-Erfassungseinheit 114 den Zustand der Kontrollleuchte (z.B. grün für Betrieb, gelb für Stillstand oder rot für Alarm) und den Zeitpunkt, zu dem sich der Zustand der Kontrollleuchte in dem Video, in dem der identifizierte Merkmalspunkt (Kontrollleuchte) aufgenommen wurde, geändert hat (z.B. von grün auf gelb).
-
Die Abweichungspunkt-Erfassungseinheit 114 kann einen Merkmalspunkt, der mit einer an der Werkzeugmaschine 20 installierten Tür übereinstimmt, als zeitlich veränderlichen Merkmalspunkt aus der Vielzahl der Merkmalspunkte der erfassten Werkzeugmaschine 20 identifizieren. Unter Verwendung der von den Kameras 30 aufgenommenen Videos und der Zeitinformationen kann die Abweichungspunkt-Erfassungseinheit 114 den Zustand der geöffneten oder geschlossenen Tür und die Zeit, zu der die Tür geöffnet oder geschlossen wurde, in den Videos, in denen der identifizierte Merkmalspunkt (Tür) aufgenommen wird, erkennen.
-
Die Abweichungspunkt-Erfassungseinheit 114 kann den erfassten, sich zeitlich verändernden Merkmalspunkt und die Zeit, zu der sich der Merkmalspunkt im Laufe der Zeit verändert hat, in dem RAM (nicht dargestellt) speichern, das in der Steuereinheit 110 für jede Werkzeugmaschine 20 enthalten ist.
-
Die Erkennungseinheit 115 für identische Maschinen erkennt eine oder mehrere der identischen Werkzeugmaschinen 20 in den Videos von jeder Kamera 30 auf der Basis des zeitlich veränderlichen Merkmalspunkts und der Zeit, zu der sich der Merkmalspunkt im Laufe der Zeit verändert hat, die von der Abweichungspunkt-Erfassungseinheit 114 erfasst wurden.
-
Konkret erkennt beispielsweise in den in den 2A und 2B dargestellten Videos die Erkennungseinheit 115 für identische Maschinen, dass es sich bei den drei Werkzeugmaschinen 20, die in den in den 2A und 2B dargestellten Videos aufgenommen wurden, um identische Werkzeugmaschinen handelt, und zwar auf der Grundlage der Zustände der Kontrollleuchte und der Tür, die als zeitlich veränderliche Merkmalspunkte dienen, und der Zeit, zu der sich die Zustände der Kontrollleuchte und der Tür verändert haben, die von der Abweichungspunkt-Erfassungseinheit 114 erfasst wurden.
-
Die Kameraparameter-Berechnungseinheit 116 berechnet Kameraparameter für jede Kamera 30, basierend auf dem Abstand zwischen mindestens einem Paar von Merkmalspunkten der Werkzeugmaschine 20, die im Voraus in den Werkzeugmaschinenformdaten 133 erfasst wurden, und dem Abstand zwischen den entsprechenden Merkmalspunkten auf dem Video der Werkzeugmaschinen 20, die von der Erkennungseinheit 115 für identische Maschinen erkannt wurden.
-
Insbesondere verwendet die Kameraparameter-Berechnungseinheit 116 ein bekanntes Verfahren (z. B. Z. Zhang: A Flexible New Technique for Camera Calibration, IEEE Trans. Zhang: A Flexible New Technique for Camera Calibration, IEEE Trans. PAMI, 22, 11 (2000) 1330), um interne und externe Parameter für jede Kamera 30 zu berechnen, wie z.B. die Kameraperioden-Parameter für jede Kamera 30, zusammen mit Verzerrungsparametern in den Videos, basierend auf den Videos der Werkzeugmaschine 20, die von jeder Kamera 30 aufgenommen wurden und zwei Merkmalspunkte mit einem bekannten Abstand zwischen den Merkmalspunkten enthalten.
-
Es sollte beachtet werden, dass ein Schachbrett oder ähnliches mit einem bekannten Abstand zwischen Merkmalspunkten auf jeder Werkzeugmaschine 20 angeordnet sein kann, und die Kameraparameter-Berechnungseinheit 116 kann Kameraparameter für jede Kamera 30 berechnen, basierend auf den Videos der Werkzeugmaschinen 20 einschließlich des Schachbretts oder ähnlichem, die von jeder Kamera 30 aufgenommen wurden.
-
Die Betriebsinformations-Erfassungseinheit 117 erfasst Betriebsinformationen über jede Werkzeugmaschine 20, die Verfahrbefehle enthalten, von der Steuereinheit 210 jeder Werkzeugmaschine 20. Die Betriebsinformations-Erfassungseinheit 117 speichert die erfassten Betriebsinformationen in den Betriebsinformationen 132 für jede Werkzeugmaschine 20.
-
Die Betriebsinformations-Maschinenidentifizierungseinheit 118 identifiziert, zu welcher der von der Betriebsinformations-Erfassungseinheit 115 erkannten Werkzeugmaschinen 20 die von der Betriebsinformations-Erfassungseinheit 117 erfasste Betriebsinformation gehört, und zwar auf der Basis der zeitlichen Modifikation, die durch die von der Betriebsinformations-Erfassungseinheit 117 erfasste Betriebsinformation angezeigt wird, und des zeitlich veränderlichen Merkmalspunkts und des Zeitpunkts, zu dem sich der Merkmalspunkt zeitlich verändert hat, der von der Abweichungspunkt-Erfassungseinheit 114 erfasst wurde.
-
Insbesondere identifiziert beispielsweise die Betriebsinformations-Maschinenidentifizierungseinheit 118 eine Werkzeugmaschine 20 unter den Werkzeugmaschinen 20, die von der identischen Maschinenerkennungseinheit 115 erkannt wurden, wobei der Zustand der Werkzeugmaschine 20, wie der Zustand des Betriebs, des Stillstands, des Alarms oder der geöffneten oder geschlossenen Tür, und die Zeit, zu der sich der Zustand der Werkzeugmaschine 20 geändert hat, jeweils mit dem Zustand der Kontrolllampe oder der Tür und der Zeit, zu der sich der Zustand der Kontrolllampe oder der Tür geändert hat, übereinstimmen, die von der Abweichungspunkt-Erfassungseinheit 114 in den von der Betriebsinformations-Erfassungseinheit 117 erfassten Betriebsinformationen erfasst wurden.
-
Die Maschinenabstands-Berechnungseinheit 119 berechnet einen Abstand zwischen den Merkmalspunkten der Werkzeugmaschinen 20, die von der Erkennungseinheit 115 für identische Maschinen erkannt wurden, und jeder der Kameras 30, basierend auf den Kameraparametern für jede Kamera 30, die von der Kameraparameter-Berechnungseinheit 116 berechnet wurden.
-
Insbesondere verwendet die Maschinenabstands-Berechnungseinheit 119 beispielsweise die Kameraparameter für jede Kamera 30, die von der Kameraparameter-Berechnungseinheit 116 berechnet wurden, und ein bekanntes Verfahren (beispielsweise Structure for Motion (SfM)), um einen Abstand zwischen jedem Merkmalspunkt der Werkzeugmaschinen 20, die von der Erkennungseinheit 115 für identische Maschinen im Weltkoordinatensystem erkannt wurden, und der Position der Mitte des Objektivs jeder Kamera 30 aus den von jeder Kamera 30 aufgenommenen Videos zu berechnen.
-
Die Maschinenfrontbereich-Koordinatenberechnungseinheit 120 berechnet die Koordinaten des Frontbereichs der Werkzeugmaschine 20 in dem Bildkoordinatensystem der von jeder Kamera 30 aufgenommenen Videos auf der Basis des von der Maschinenabstands-Berechnungseinheit 119 berechneten Abstands zwischen den Merkmalspunkten der Werkzeugmaschine 20 und jeder Kamera 30 und der von der Kameraparameter-Berechnungseinheit 116 berechneten Kameraparameter für jede Kamera 30.
-
Wie in 5A dargestellt, berechnet die Maschinenfrontbereich-Koordinatenberechnungseinheit 120 eine Gleichung der Ebene, die durch die fettgedruckten Linien angezeigt wird, die die Vorderseite der Werkzeugmaschine 20 im Weltkoordinatensystem darstellen, indem sie den Abstand von der Mitte des Objektivs der Kamera 30 zu den vier Merkmalspunkten, die die Ecken der Vorderseite der Werkzeugmaschine 20 darstellen, unter den Merkmalspunkten der Werkzeugmaschine 20 verwendet.
-
Wie in 5B dargestellt, berechnet die Maschinenfrontbereich-Koordinatenberechnungseinheit 120 eine Gleichung der durch die fettgedruckten Linien dargestellten Ebene, in der die berechnete Ebene der Vorderseite der Werkzeugmaschine 20 im Weltkoordinatensystem um eine vorher festgelegte Strecke (z.B. 2 Meter) in der Richtung senkrecht zur Vorderseite der Werkzeugmaschine 20 parallel verschoben wird. Die Maschinenfrontbereich-Koordinatenberechnungseinheit 120 berechnet einen Bereich, der von der berechneten Ebene der Frontseite der Werkzeugmaschine 20 und der parallel verschobenen Ebene der Frontseite der Werkzeugmaschine 20 eingeschlossen wird, als Maschinenfrontbereich.
-
Die Maschinenfrontbereich-Koordinatenberechnungseinheit 120 verwendet die Kameraparameter für die Kameras 30, um die Gleichung der berechneten Ebene der Werkzeugmaschinenfront 20 und der parallel verschobenen Ebene der Werkzeugmaschinenfront 20 aus dem Weltkoordinatensystem in das Bildkoordinatensystem des Videos der Kamera 30 umzurechnen. Dadurch kann die Maschinenfrontbereich-Koordinatenberechnungseinheit 120 den Frontbereich der Maschine auf dem Video berechnen, wie in 5B dargestellt.
-
Die Maschinenfrontbereich-Personenerfassungseinheit 121 erkennt, ob sich eine Person in dem von der Maschinenfrontbereich-Koordinatenberechnungseinheit 120 berechneten Frontbereich der Werkzeugmaschine 20 (Maschinenfrontbereich) befindet, und zwar auf der Basis der Videos der Kameras 30, die sich in einer Positionsbeziehung befinden, die eine Erkennung mit einem vorbestimmten Genauigkeitsgrad unter den Kameras 30 ermöglicht.
-
Konkret setzt die Maschinenfrontbereich-Personenerfassungseinheit 121 beispielsweise die Minimalwerte x1, y1 und die Maximalwerte x2, y2 in der x-Achsen- bzw. y-Achsen-Richtung des Frontbereichs der Werkzeugmaschine 20 (Maschinenfrontbereich) im Bildkoordinatensystem des von der Maschinenfrontbereich-Koordinatenberechnungseinheit 120 berechneten Videos als Schwellenwerte fest.
-
6 ist ein Diagramm, das ein Beispiel für die Beziehung zwischen dem Frontbereich der Maschine und den Schwellenwerten auf dem Video zeigt.
-
Es ist zu beachten, dass bei der Bestimmung, ob sich eine Person im Frontbereich der Maschine befindet, basierend auf den Schwellenwerten, die Genauigkeit je nach Anordnung der Kamera (30) variieren kann. Daher bestimmt die Maschinenfrontbereich-Personenerfassungseinheit 121 automatisch die Kameras 30, die sich in einer Positionsbeziehung befinden, die mit einem gewissen Genauigkeitsgrad bestimmt werden kann, oder mit anderen Worten, eine Positionsbeziehung, die eine Erfassung mit einem vorbestimmten Genauigkeitsgrad unter den Kameras 30 ermöglicht.
-
7 ist ein Diagramm, das ein Beispiel für eine Verarbeitung zur automatischen Bestimmung der Kameras 30 zeigt, die sich in einer Positionsbeziehung befinden, die eine Erfassung mit einem vorbestimmten Genauigkeitsgrad ermöglicht. 7 zeigt die XZ-Ebene, in der die Werkzeugmaschine 20(1) aus der Richtung der +Y-Achse des Weltkoordinatensystems betrachtet wird, und die beiden Kameras 30(1), 30(2) die Werkzeugmaschine 20(1) erfassen. Das Gleiche gilt für die Werkzeugmaschinen 20(2) bis 20(n) und die Kameras 30(3) bis 30(m), so dass deren Beschreibung entfällt.
-
Zunächst berechnet die Maschinenfrontbereich-Personenerfassungseinheit 121, wie in 6 dargestellt, unter Verwendung der externen Parameter jeder der Kameras 30(1), 30(2) die Gleichungen der vier durch die gestrichelten Linien angegebenen Geraden, die dem Minimalwert x1 und dem Maximalwert x2 des Maschinenfrontbereichs im Bildkoordinatensystem auf dem von jeder der Kameras 30(1), 30(2) aufgenommenen Video in der XZ-Ebene des Weltkoordinatensystems entsprechen.
-
Als nächstes berechnet die Maschinenfrontbereich-Personenerfassungseinheit 121 eine Fläche des schraffierten Bereichs, der von den berechneten vier Geraden umschlossen wird und den Maschinenfrontbereich ausschließt.
-
Wenn dann die berechnete Fläche kleiner ist als ein vorbestimmter Prozentsatz des Frontbereichs der Maschine (z.B. 20% des Frontbereichs der Maschine oder ein Prozentsatz, der sicherstellen kann, dass sich die Fläche ungefähr vor der Werkzeugmaschine 20(1) befindet), bestimmt die Maschinenfrontzonen-Personenerkennungseinheit 121, dass sich die Kameras 30(1), 30(2) in einer Positionsbeziehung befinden, die mit einem gewissen Grad an Genauigkeit bestimmt werden kann, oder mit anderen Worten, eine Positionsbeziehung, die eine Erkennung mit einem vorbestimmten Grad an Genauigkeit ermöglicht.
-
Wenn es in den Videos der Kameras 30(1), 30(2) usw. Pixel von Videos gibt, die den ganzen Körper, die Füße, die Arme usw. einer von der Personenerfassungseinheit 113 erfassten Person innerhalb des Bereichs der Schwellenwerte x1 und x2 und der Schwellenwerte y1 und y2 anzeigen, die als in einer Positionsbeziehung befindlich bestimmt wurden, die eine Erfassung mit einem vorbestimmten Genauigkeitsgrad ermöglicht, bestimmt die Maschinenfrontbereich-Personenerfassungseinheit 121, dass sich eine Person im Maschinenfrontbereich befindet.
-
Die Anordnungsdiagrammerzeugungseinheit 122 erzeugt ein Anordnungsdiagramm, das mit Symbolen der Werkzeugmaschinen 20 angeordnet ist, die von der Erkennungseinheit 115 für identische Maschinen erkannt wurden, basierend auf dem Abstand zwischen jedem charakteristischen Punkt der Werkzeugmaschinen 20 und der Position der Mitte des Objektivs jeder Kamera 30, die von der Maschinenabstands-Berechnungseinheit 119 berechnet wurde, und den dreidimensionalen Koordinaten der Position der Mitte des Objektivs jeder Kamera 30, die im Voraus in den dreidimensionalen Kamerakoordinatendaten 134 erfasst wurden.
-
8 ist ein Diagramm, das ein Anordnungsdiagramm darstellt.
-
Wie in 8 dargestellt, berechnet die Anordnungsdiagramm-Erzeugungseinheit 122 die Koordinaten der Werkzeugmaschine 20 im Weltkoordinatensystem auf der Grundlage des Abstands zwischen jedem charakteristischen Punkt der Werkzeugmaschine 20 und der Position der Mitte des Objektivs jeder Kamera 30, die von der Maschinenabstands-Berechnungseinheit 119 berechnet wird. Die Anordnungsdiagramm-Erzeugungseinheit 122 erstellt ein Anordnungsdiagramm 300, das eine Draufsicht (oder Vogelperspektive) ist, die mit Symbolen 310 angeordnet ist, die die Werkzeugmaschinen 20 darstellen, basierend auf den berechneten Koordinaten der Werkzeugmaschinen 20 und den dreidimensionalen Koordinaten der Position der Mitte des Objektivs jeder Kamera 30 in den dreidimensionalen Kamerakoordinatendaten 134. Die Anordnungsdiagramm-Erzeugungseinheit 122 kann das Symbol 310 in grüner Farbe anzeigen, wenn sich die Werkzeugmaschine 20 bewegt, das Symbol 310 in gelber Farbe anzeigen, wenn die Werkzeugmaschine 20 angehalten ist, und das Symbol 310 in roter Farbe oder dergleichen anzeigen, wenn sich die Werkzeugmaschine 20 in einem Alarmzustand befindet. Wenn die Maschinenfrontbereich-Personenerfassungseinheit 121 eine Person im Frontbereich der Werkzeugmaschine 20 erkennt, kann die Anordnungsdiagramm-Erzeugungseinheit 122 ein Personensymbol 320 anzeigen, das mit dem Symbol 310 der Werkzeugmaschine 20 überlagert wird.
-
Dann zeigt die Anordnungsdiagramm-Erzeugungseinheit 122 das erstellte Anordnungsdiagramm 300 in Echtzeit auf der Anzeigeeinheit 170 als die Anordnungsdiagramm-Informationsanzeigeeinheit an.
-
Es ist zu beachten, dass die Anordnungsdiagramm-Erzeugungseinheit 122 die in den dreidimensionalen Kamerakoordinatendaten 134 erfassten Koordinatenwerte als die dreidimensionalen Koordinaten im Weltkoordinatensystem der Position der Mitte des Objektivs jeder Kamera 30 verwendet, wenn das Anordnungsdiagramm 300 erstellt wird; es können jedoch auch Koordinatenwerte verwendet werden, die von einem Bediener oder dergleichen über die Eingabeeinheit 150 eingegeben werden.
-
Die Augmented-Reality-Anzeigenanforderungs-Gestenerfassungseinheit 123 erkennt in dem Video, in dem eine Person von der Maschinenfrontbereich-Personenerfassungseinheit 121 erkannt wird, eine Geste einer Person, die die Anzeige einer erweiterten Realität anfordert, die das Virtuelle über das Reale überlagert.
-
9A und 9B sind Diagramme, die Beispiele für Gesten einer Person zeigen, die die Anzeige einer erweiterten Realität anfordert.
-
Wie in den 9A und 9B dargestellt, erkennt die Augmented-Reality-Anzeigenanforderungs-Gestenerfassungseinheit 123 in dem aufgenommenen Video die Pose des Hochhaltens eines Smartphones oder eines Tablets oder dergleichen in Richtung der Werkzeugmaschine 20 oder das Tragen eines tragbaren Geräts, wenn die Kamera 30 eine Person erfasst, die ein Smartphone oder ein Tablet-Gerät oder dergleichen in Richtung der Werkzeugmaschine 20 hält, oder eine Person, die ein tragbares Gerät wie ein Augmented-Reality-Gerät (AR: Augmented Reality) trägt.
-
Die Augmented-Reality-Informationsübertragungseinheit 124 erzeugt sequentiell AR-Bilddaten, die die Betriebsinformationen der Werkzeugmaschine 20 mit dem Maschinenfrontbereich enthalten, in dem die Person, die die von der Augmented-Reality-Anzeigenanforderungs-Gestenerfassungseinheit 123 erfasste Geste ausführt, vorhanden ist, und sendet die erzeugten AR-Bilddaten an Smartphones, Tablet-Geräte, tragbare Geräte usw., die als Augmented-Reality-Anzeigeeinheit zur Anzeige einer erweiterten Realität dienen.
-
10 ist ein Diagramm, das ein Beispiel für ein AR-Bild zeigt.
-
Wie in 10 dargestellt, passt beispielsweise das Smartphone oder ähnliches die Position und Haltung der empfangenen AR-Bilddaten auf der Grundlage des Kamerakoordinatensystems der im Smartphone oder ähnlichem enthaltenen Kamera (nicht dargestellt) an und zeigt das von der Kamera des Smartphones oder ähnlichem (nicht dargestellt) aufgenommene Realraumbild und das empfangene AR-Bild an.
-
Das AR-Bild enthält z.B. den Modellnamen der Werkzeugmaschine 20, „ROBODRILL-1“, und die Betriebsinformationen wie „in Betrieb“, „bis zum Ende der Bearbeitung: 5 Minuten“. Das AR-Bild kann „Wert des Hauptwellentemperatursensors: XXX“ als Betriebsinformation und ein Diagramm der chronologischen Daten des Hauptwellentemperatursensorwertes enthalten.
-
<Verwaltungsverarbeitung der Betriebsverwaltungsvorrichtung 10>
-
Als nächstes werden Vorgänge beschrieben, die sich auf die Betriebsverwaltungsvorrichtung 10 beziehen.
-
11 ist ein Flussdiagramm, das die Verwaltungsverarbeitung der Betriebsverwaltungsvorrichtung 10 veranschaulicht. Der hier dargestellte Fluss wird wiederholt ausgeführt, während die Verwaltungsverarbeitung ausgeführt wird.
-
In Schritt S11 erfasst die Videodaten-Erfassungseinheit 111 ein von jeder Kamera 30 aufgenommenes Video von jeder Kamera 30.
-
In Schritt S12 führt die Werkzeugmaschinenerkennungseinheit 112 eine Merkmalspunktextraktionsverarbeitung an dem in Schritt S11 erfassten Video durch, vergleicht die extrahierten Merkmalspunkte mit einer Vielzahl von Merkmalspunkten jeder Werkzeugmaschine 20, die im Voraus in den Werkzeugmaschinenformdaten 133 erfasst wurden, und erkennt die in dem Video erfasste Werkzeugmaschine 20.
-
In Schritt S13 führt die Personendetektionseinheit 113 eine Merkmalspunktextraktionsverarbeitung an dem in Schritt S11 erfassten Einzelbild des Videos durch, vergleicht die extrahierten Merkmalspunkte mit den Merkmalspunktdaten von menschlichen Gelenken oder dergleichen (nicht dargestellt), die vorab in der Speichereinheit 130 erfasst wurden, und erfasst eine in dem Video erfasste Person.
-
In Schritt S14 erfasst die Abweichungspunkt-Erfassungseinheit 114 einen zeitlich veränderlichen Merkmalspunkt und die Zeit, zu der sich der Merkmalspunkt im Laufe der Zeit verändert hat, basierend auf der Vielzahl der in Schritt S12 erfassten Merkmalspunkte der Werkzeugmaschine 20 aus dem von jeder Kamera 30 aufgenommenen Video und den an das Video angehängten Zeitinformationen.
-
In Schritt S15 erkennt die Erfassungseinheit 115 für identische Maschinen identische Werkzeugmaschinen 20 in dem Video von jeder Kamera 30, basierend auf dem sich zeitlich verändernden Merkmalspunkt und dem Zeitpunkt, zu dem sich der Merkmalspunkt über die Zeit verändert hat, wie in Schritt S14 erfasst.
-
In Schritt S16 berechnet die Kameraparameter-Berechnungseinheit 116 Kameraparameter für jede Kamera 30, basierend auf dem Abstand zwischen den Merkmalspunkten in der Werkzeugmaschine 20, die im Voraus in den Werkzeugmaschinenformdaten 133 erfasst wurden, und dem Abstand zwischen den entsprechenden Merkmalspunkten auf dem Video der Werkzeugmaschine 20, wie in Schritt S15 erkannt.
-
In Schritt S17 erfasst die Betriebsinformations-Erfassungseinheit 117 Betriebsinformationen jeder Werkzeugmaschine 20, die Verfahrbefehle enthalten, von der Steuereinheit 210 jeder Werkzeugmaschine 20.
-
In Schritt S18 identifiziert die Betriebsinformations-Maschinenidentifizierungseinheit 118, zu welcher der in Schritt S15 erkannten Werkzeugmaschinen 20 die in Schritt S17 erfasste Betriebsinformation gehört, basierend auf der Modifikation über die Zeit, die durch die in Schritt S17 erfasste Betriebsinformation angezeigt wird, und dem sich zeitlich verändernden Merkmalspunkt sowie dem Zeitpunkt, zu dem sich der Merkmalspunkt über die Zeit verändert hat, wie in Schritt S14 erkannt.
-
In Schritt S19 berechnet die Maschinenabstands-Berechnungseinheit 119 einen Abstand zwischen jedem in Schritt S15 erkannten Merkmalspunkt der Werkzeugmaschine 20 und der Position des Mittelpunkts des Objektivs jeder Kamera 30, basierend auf den in Schritt S16 berechneten Kameraparametern für jede Kamera 30.
-
In Schritt S20 berechnet die Maschinenfrontbereich-Koordinatenberechnungseinheit 120 den Maschinenfrontbereich der Werkzeugmaschine 20 in den Koordinaten im Bildkoordinatensystem jedes Videos von der Kamera 30, basierend auf dem Abstand zwischen jedem Merkmalspunkt der Werkzeugmaschine 20 und der Position der Mitte des Objektivs jeder Kamera 30, wie in Schritt S19 berechnet, und den Kameraparametern für jede Kamera 30, wie in Schritt S16 berechnet.
-
In Schritt S21 erkennt die Maschinenfrontbereich-Personenerfassungseinheit 121 auf der Basis der Videos von den Kameras 30, die sich in einer Positionsbeziehung befinden, die eine Erkennung mit einem vorbestimmten Genauigkeitsgrad ermöglicht, unter den Kameras 30, ob sich eine Person in dem in Schritt S20 berechneten Maschinenfrontbereich der Werkzeugmaschine 20 befindet.
-
In Schritt S22 erstellt die Anordnungsdiagramm-Erzeugungseinheit 122 ein Anordnungsdiagramm 300 mit den in Schritt S15 erkannten Symbolen 310 der Werkzeugmaschinen 20, basierend auf dem in Schritt S19 berechneten Abstand zwischen jedem Merkmalspunkt der Werkzeugmaschine 20 und der Position der Mitte des Objektivs jeder Kamera 30 und den dreidimensionalen Koordinaten der Position der Mitte des Objektivs jeder Kamera 30, die im Voraus in den dreidimensionalen Kamerakoordinatendaten 134 erfasst wurden.
-
In Schritt S23 stellt die Augmented-Reality-Anzeigenanforderungs-Gestenerfassungseinheit 123 fest, ob in dem Video, in dem eine Person von der Maschinenfrontbereich-Personenerfassungseinheit 121 erfasst wurde, eine Geste einer Person, die die Anzeige einer erweiterten Realität anfordert, erfasst wird. Wenn eine Geste einer Person, die die Anzeige einer erweiterten Realität anfordert, erkannt wird, geht die Verarbeitung zu Schritt S24 über. Wenn eine Geste einer Person, die die Anzeige einer erweiterten Realität anfordert, nicht erkannt wird, kehrt die Verarbeitung zu Schritt S11 zurück.
-
In Schritt S24 generiert die Augmented-Reality-Informationsübertragungseinheit 124 sequentiell AR-Bilddaten, die die Betriebsinformationen der Werkzeugmaschine 20 mit dem Frontbereich der Maschine, in dem sich die Person befindet, die die in Schritt S23 erfasste Geste ausführt, enthalten, und sendet die generierten AR-Bilddaten an die Geräte, wie beispielsweise Smartphones.
-
Wie zuvor beschrieben, kann die Betriebsverwaltungsvorrichtung 10 gemäß einer Ausführungsform auf einfache Weise ein Anordnungsdiagramm der Vielzahl von Werkzeugmaschinen 20, die in einer Fabrik angeordnet sind, unter Verwendung von Videos erstellen, die von der Vielzahl von Kameras 30 aufgenommen wurden.
-
Die Betriebsverwaltungsvorrichtung 10 kann schnell und einfach bestimmen, ob sich eine Person im Frontbereich der Werkzeugmaschine 20 befindet, ohne dass die dreidimensionalen Koordinaten der Standposition der Person berechnet werden müssen.
-
Die Betriebsverwaltungsvorrichtung 10 kann die Betriebsinformationen der Werkzeugmaschine 20, die in der erweiterten Realität angezeigt werden sollen, auf der Basis einer Geste einer Person, die die Anzeige der erweiterten Realität anfordert, erkennen, ohne Standortinformationen von Geräten wie Smartphones oder Standortinformationen der Werkzeugmaschine 20, für die die Betriebsinformationen in der erweiterten Realität angezeigt werden sollen, zu erfassen.
-
Obwohl zuvor eine Ausführungsform beschrieben wurde, ist die Betriebsverwaltungsvorrichtung 10 nicht auf die obige Ausführungsform beschränkt und kann Modifikationen und Verbesserungen im Rahmen der Erreichung des Zwecks umfassen.
-
<Modifikationsbeispiel>
-
In der obigen Ausführungsform wurde die Betriebsverwaltungsvorrichtung 10 als ein einzelner Computer beschrieben; die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Zum Beispiel kann der Server einen Abschnitt oder alle Funktionen umfassen, wie: die Videodaten-Erfassungseinheit 111, die Kameraparameter-Berechnungseinheit 112, die Maschinenfrontbereich-Koordinatenberechnungseinheit 113, die Abweichungspunkt-Erfassungseinheit 114, die identische Maschinenidentifizierungseinheit 115, die Kameraparameter-Berechnungseinheit 116, die Betriebsinformations-Erfassungseinheit 117, die Betriebsinformations-Maschinenidentifizierungseinheit 118, die Maschinenabstands-Berechnungseinheit 119, die Maschinenfrontbereich-Koordinatenberechnungseinheit 120, die Augmented-Reality-Anzeigenanforderungs-Gestenerfassungseinheit 123 und die Augmented-Reality-Informationsübertragungseinheit 124 der Betriebsverwaltungsvorrichtung 10. Jede Funktion der Betriebsverwaltungsvorrichtung 10 kann unter Verwendung einer virtuellen Serverfunktion in der Cloud implementiert werden.
-
Darüber hinaus kann die Betriebsverwaltungsvorrichtung 10 auch als ein verteiltes Verarbeitungssystem dienen, bei dem die Funktionen der Betriebsverwaltungsvorrichtung 10 in geeigneter Weise auf eine Vielzahl von Servern verteilt sind.
-
Es ist zu beachten, dass jede Funktion, die in der Betriebsverwaltungsvorrichtung 10 gemäß einer Ausführungsform enthalten ist, durch Hardware, Software oder eine Kombination davon implementiert werden kann. Hier bedeutet die Implementierung durch Software die Implementierung durch einen Computer, der ein Programm liest und ausführt.
-
Das Programm kann unter Verwendung verschiedener Arten von nicht-transitorischen computerlesbaren Medien gespeichert und einem Computer zugeführt werden. Nicht-transitorische computerlesbare Medien umfassen verschiedene Arten von materiellen Speichermedien. Beispiele für nicht-transitorische computerlesbare Medien sind magnetische Speichermedien (z. B. Disketten, Magnetbänder, Festplattenlaufwerke), magneto-optische Speichermedien (z. B. magneto-optische Disketten), CD-ROM (Nur-Lese-Speicher), CD-R, CD-R/W, Halbleiterspeicher (z. B. Masken ROM, PROM (programmierbares ROM), EPROM (löschbares PROM), Flash ROM, RAM). Das Programm kann auch durch verschiedene Arten von transitorischen, computerlesbaren Medien an einen Computer übertragen werden. Beispiele für transitorische computerlesbare Medien sind elektrische Signale, optische Signale und elektromagnetische Wellen. Transitorische computerlesbare Medien können Programme über verdrahtete Kommunikationswege, wie Elektroleitungen und optische Fasern, oder über drahtlose Kommunikationswege an einen Computer übertragen.
-
Es ist zu beachten, dass die Schritte zur Beschreibung des auf einem Aufzeichnungsmedium aufgezeichneten Programms nicht nur die in chronologischer Reihenfolge ausgeführte Verarbeitung umfassen, sondern auch die parallel oder einzeln ausgeführte Verarbeitung, die nicht unbedingt chronologisch sein muss.
-
Mit anderen Worten, die hierin offenbarte Betriebsverwaltungsvorrichtung kann verschiedene Ausführungsformen mit den folgenden Konfigurationen annehmen.
- Die Betriebsverwaltungsvorrichtung 10 der vorliegenden Erfindung ist eine Betriebsverwaltungsvorrichtung, die ein Symbol anzeigt, das mindestens eine Werkzeugmaschine 20 darstellt, die auf einem Anordnungsdiagramm angeordnet ist, das einen Umriss eines Werks darstellt, in dem die Werkzeugmaschine 20 installiert ist, wobei die Betriebsverwaltungsvorrichtung 10 umfasst:
- eine Werkzeugmaschinen-Erfassungseinheit 112, die so konfiguriert ist, dass sie die in dem Werk installierte Werkzeugmaschine 20 anhand eines Videos von jeder einer Vielzahl von in dem Werk installierten Kameras 30 erfasst, und zwar auf der Grundlage einer Vielzahl von Merkmalspunkten jeder Werkzeugmaschine 20, die im Voraus in einer Werkzeugmaschinen-Formdaten 133 erfasst wurden; eine Abweichungspunkt-Erfassungseinheit 114, die so konfiguriert ist, dass sie aus der Vielzahl von Merkmalspunkten der erkannten Werkzeugmaschine 20 einen zeitlich veränderlichen Merkmalspunkt und eine Zeit, zu der sich der Merkmalspunkt über die Zeit verändert hat, aus einem Video von jeder der Vielzahl von Kameras 30 erkennt; eine Erkennungseinheit 115 für identische Maschinen, die so konfiguriert ist, dass sie eine oder mehrere Werkzeugmaschinen 20 in einem Video von jeder der mehreren Kameras 30 erkennt, und zwar auf der Basis des zeitlich veränderlichen Merkmalspunkts und der Zeit, zu der sich der Merkmalspunkt im Laufe der Zeit verändert hat, und die von der Abweichungspunkt-Erfassungseinheit 114 erfasst wurde; eine Kameraparameter-Berechnungseinheit 116, die so konfiguriert ist, dass sie einen Kameraparameter für jede der Vielzahl von Kameras 30 berechnet, basierend auf einem Abstand zwischen mindestens einem Paar von Merkmalspunkten, die in den Werkzeugmaschinenformdaten 133 erfasst sind, und einem Abstand zwischen den Merkmalspunkten in einem Video der Werkzeugmaschinen 20, das von der Erkennungseinheit 115 für identische Maschinen erkannt wird; eine Kameraparameter-Berechnungseinheit 119, die so konfiguriert ist, dass sie einen Abstand zwischen jedem Merkmalspunkt der Werkzeugmaschinen 20, der von der Erkennungseinheit 115 für identische Maschinen erkannt wurde, und einer Mitte eines Objektivs jeder der Vielzahl von Kameras 30 auf der Basis des Kameraparameters für jede der Vielzahl von Kameras 30, der von der Kameraparameter-Berechnungseinheit 116 berechnet wurde, berechnet, und eine Anordnungsdiagramm-Erzeugungseinheit 122, die so konfiguriert ist, dass sie das Anordnungsdiagramm 300 erzeugt, das so angeordnet ist, dass Symbole 310 der Werkzeugmaschinen 20 erkannt werden, und zwar auf der Basis des Abstands zwischen jedem Merkmalspunkt der Werkzeugmaschinen 20 und der Mitte des Objektivs jeder der Vielzahl von Kameras 30, der von der Maschinenabstands-Berechnungseinheit 119 berechnet wird, und der dreidimensionalen Koordinaten der Mitte des Objektivs jeder der Vielzahl von Kameras 30, die im Voraus erfasst wurden.
-
Mit dieser Betriebsverwaltungsvorrichtung 10 kann das Anordnungsdiagramm 300 der in der Fabrik angeordneten Werkzeugmaschinen 20 leicht unter Verwendung von Videos erstellt werden, die von der Vielzahl von Kameras 30 aufgenommen wurden.
-
(2) Die Betriebsverwaltungsvorrichtung 10 gemäß Punkt (1) kann ferner umfassen: eine Betriebsinformations-Erfassungseinheit 117, die so konfiguriert ist, dass sie Betriebsinformationen über die Werkzeugmaschinen 20 von einer Steuereinheit 210 erfasst, die die Werkzeugmaschinen 20 steuert; und eine Betriebsinformations-Maschinenidentifizierungseinheit 118, die so konfiguriert ist, dass sie identifiziert, zu welcher der von der Erkennungseinheit 115 für identische Maschinen erkannten Werkzeugmaschinen 20 die von der Betriebsinformations-Erfassungseinheit 117 erfassten Betriebsinformationen gehören, und zwar auf der Basis einer Änderung über die Zeit, die durch die von der Betriebsinformations-Erfassungseinheit 117 erfassten Betriebsinformationen angezeigt wird, und des zeitlich veränderlichen Merkmalspunkts und des Zeitpunkts, zu dem sich der Merkmalspunkt über die Zeit verändert hat, der von der Abweichungspunkt-Erfassungseinheit 114 erfasst wird.
-
Auf diese Weise kann die Betriebsverwaltungsvorrichtung 10 die Belastung der Bediener und dergleichen reduzieren, indem die Werkzeugmaschinen 20 in den Videos automatisch mit den erfassten Betriebsinformationen verknüpft werden.
-
(3) Die Betriebsverwaltungsvorrichtung 10 gemäß Punkt (2) kann ferner umfassen: eine Maschinenfrontbereich-Koordinatenberechnungseinheit 120, die so konfiguriert ist, dass sie einen Frontbereich der Werkzeugmaschine 20 in Koordinaten in einem Bildkoordinatensystem eines Videos berechnet, das von jeder der Vielzahl von Kameras 30 aufgenommen wird, basierend auf einem Abstand zwischen den Merkmalspunkten der Werkzeugmaschine 20 und jeder der Vielzahl von Kameras 30, der von der Maschinenabstands-Berechnungseinheit 119 berechnet wird, und dem Kameraparameter für jede der Vielzahl von Kameras 30, der von der Kameraparameter-Berechnungseinheit 116 berechnet wird; und eine Maschinenfrontbereich-Personenerfassungseinheit 121, die konfiguriert ist, um zu erfassen, ob sich eine Person im Frontbereich der Werkzeugmaschine 20 befindet, der von der Maschinenfrontbereich-Koordinatenberechnungseinheit 120 berechnet wird, basierend auf dem Video von den Kameras 30, die sich in einer Positionsbeziehung befinden, die eine Erfassung mit einem vorbestimmten Genauigkeitsgrad ermöglicht, unter der Vielzahl von Kameras 30, wobei die Anordnungsdiagramm-Erzeugungseinheit 122 auf dem Anordnungsdiagramm 300 die Betriebsinformationen der Industriemaschinen, die von der Betriebsinformations-Maschinenidentifizierungseinheit 118 identifiziert werden, und die Anwesenheit oder Abwesenheit einer Person im Frontbereich der Werkzeugmaschine 20, die von der Maschinenfrontbereich-Personenerfassungseinheit 121 erfasst wird, zusammen mit den Symbolen 310 der Werkzeugmaschine 20 in Echtzeit anordnet, basierend auf einem Abstand zwischen jedem Merkmalspunkt der Industriemaschinen und der Mitte des Objektivs jeder der Vielzahl von Kameras 30, der von der Maschinenabstands-Berechnungseinheit 119 berechnet wird.
-
Auf diese Weise kann die Betriebsverwaltungsvorrichtung 10 schnell und einfach feststellen, ob sich eine Person im Frontbereich der Werkzeugmaschine 20 befindet, ohne die dreidimensionalen Koordinaten der Standposition der Person berechnen zu müssen.
-
(4) Die Betriebsverwaltungsvorrichtung 10 gemäß Punk (3) kann ferner umfassen: eine Augmented-Reality-Anzeigenanforderungs-Gestenerfassungseinheit 123, die konfiguriert ist, um eine Geste einer Person zu erfassen, die eine Anzeige einer erweiterten Realität anfordert, die die virtuelle mit der realen überlagert, basierend auf einem Video der Person, das von der Maschinenfrontbereich-Personenerfassungseinheit 121 erfasst wird; und eine Augmented-Reality-Informationsübertragungseinheit 124, die konfiguriert ist, um Bilddaten der erweiterten Realität, die die Betriebsinformationen der Werkzeugmaschine 20 mit dem Frontbereich, in dem sich die Person befindet, die die von der Augmented-Reality-Anzeigenanforderungs-Gestenerfassungseinheit 123 erfasste Geste ausführt, enthalten, an eine externe Vorrichtung zu übertragen.
-
Auf diese Weise kann die Betriebsverwaltungsvorrichtung 10 die Betriebsinformationen der Werkzeugmaschine 20, die in der erweiterten Realität angezeigt werden sollen, auf der Basis einer Geste einer Person, die die Anzeige der erweiterten Realität anfordert, erkennen, ohne Standortinformationen von Geräten wie Smartphones oder Standortinformationen der Werkzeugmaschine 20, für die die Betriebsinformationen in der erweiterten Realität angezeigt werden sollen, zu erfassen.
-
Bezugszeichenliste
-
- 1
- Betriebsverwaltungssystem
- 10
- Betriebsverwaltungsvorrichtung
- 110
- Steuereinheit
- 111
- Videodaten-Erfassungseinheit
- 112
- Werkzeugmaschinen-Erfassungseinheit
- 113
- Personenerkennungseinheit
- 114
- Abweichungspunkt-Erfassungseinheit
- 115
- Identische Maschinenerkennungseinheit
- 116
- Kameraparameter-Berechnungseinheit
- 117
- Betriebsinformations-Erfassungseinheit
- 118
- Betriebsinformations-Maschinenidentifizierungseinheit
- 119
- Maschinenabstands-Berechnungseinheit
- 120
- Maschinenfrontbereich-Koordinatenberechnungseinheit
- 121
- Maschinenfrontbereich-Personenerfassungseinheit
- 122
- Anordnungsdiagramm-Erzeugungseinheit
- 123
- Augmented-Reality-Anzeigenanforderungs-Gestenerfassungseinheit
- 124
- Augmented-Reality-Informationsübertragungseinheit
- 130
- Speichereinheit
- 131
- Videodaten
- 132
- Betriebsinformationen
- 133
- Werkzeugmaschinenformdaten
- 134
- Dreidimensionale Kamerakoordinatendaten
- 150
- Eingabeeinheit
- 170
- Anzeigeeinheit
- 20(1) bis 20(n)
- Werkzeugmaschine
- 210
- Steuereinheit
- 30(1) bis 30(m)
- Kamera
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- Z. Zhang: A Flexible New Technique for Camera Calibration, IEEE Trans. Zhang: A Flexible New Technique for Camera Calibration, IEEE Trans. PAMI, 22, 11 [0048]
