DE112018007348T5

DE112018007348T5 - Geräteüberwachungssystem

Info

Publication number: DE112018007348T5
Application number: DE112018007348.3T
Authority: DE
Inventors: Risa SAKAI; Wataru Yamada
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2018-03-26
Filing date: 2018-09-25
Publication date: 2021-04-22
Also published as: WO2019187229A1; JP6805199B2; US20200005450A1; US11062438B2; JP2019169021A

Abstract

Ein Geräteüberwachungssystem gemäß einer Ausführungsform umfasst eine Bildeinheit und einen Prozessor. Für ein eine erste Operation wiederholendes Gerät erfasst die Bildeinheit ein erstes Bild des Geräts wiederholt, welches zu einem ersten Zeitpunkt der ersten Operation abgebildet wird. Wenn ein neues erstes Bild erfasst wird, bestimmt der Prozessor eine Unregelmäßigkeit des in dem neuen ersten Bild umfassten Geräts basierend auf mehreren vorhergehenden ersten Bildern.

Description

Technisches Gebiet
Ausführungsformen der Erfindung betreffen im Allgemeinen ein Geräteüberwachungssystem.
Stand der Technik
Es gibt ein System, welches Unregelmäßigkeiten von einem Gerät überwacht, wenn dieses betrieben wird. Für ein solches Geräteüberwachungssystem ist es wünschenswert eine Technologie zu entwickeln, welche Unregelmäßigkeiten von einem Gerät einfacher bestimmen kann.
Literaturliste
Patentliteratur
Patentliteratur 1 JP 2017-1442532 A (Kokai)
Zusammenfassung der Erfindung
Aufgabenstellung der Erfindung
Ein durch die Erfindung gelöstes Problem ist es ein Geräteüberwachungssystem bereitzustellen, welches Unregelmäßigkeiten von einem Gerät einfacher bestimmen kann.
Mittel zur Lösung der Aufgabe
Ein Geräteüberwachungssystem gemäß einer Ausführungsform umfasst eine Bildeinheit und einen Prozessor. Für ein eine erste Operation wiederholendes Gerät erfasst die Bildeinheit wiederholt ein erstes Bild des Geräts, welches zu einem ersten Zeitpunkt der ersten Operation abgebildet ist. Wenn ein neues erstes Bild erfasst wird, bestimmt der Prozessor eine Unregelmäßigkeit des Geräts, umfasst in dem neuen ersten Bild, basierend auf mehreren vorhergehenden ersten Bildern.
Figurenliste

1 ist ein Blockdiagramm, welches die Konfiguration eines Geräteüberwachungssystems gemäß einer Ausführungsform darstellt.
2 ist eine schematische Ansicht zum Beschreiben des Geräteüberwachungssystems.
3A bis 3C sind schematische Ansichten zum Beschreiben des Geräteüberwachungssystems.
4 ist eine schematische Ansicht zum Beschreiben des Geräteüberwachungssystems.
5A bis 5C sind schematische Ansichten zum Beschreiben des Geräteüberwachungssystems.
6A bis 6F sind schematische Ansichten zum Beschreiben des Geräteüberwachungssystems.
7A bis 7F sind schematische Ansichten zum Beschreiben des Geräteüberwachungssystems.
8 ist ein Flussdiagramm, welches ein Beispiel der Operation des Geräteüberwachungssystems gemäß der Ausführungsform darstellt.

Ausführungsformen der Erfindung
Verschiedene Ausführungsformen werden nachstehend mit Bezug zu den beiliegenden Figuren beschrieben.
In der Beschreibung und in jeder Figur werden Komponenten, welche ähnlich zu den oben beschriebenen sind, mit denselben Bezugszeichen bezeichnet; und eine detaillierte Beschreibung wird geeignet ausgelassen.
1 ist ein Blockdiagramm, welches die Konfiguration eines Geräteüberwachungssystems gemäß einer Ausführungsform darstellt.
Wie in 1 dargestellt, umfasst das Geräteüberwachungssystem 1 gemäß der Ausführungsform eine Bildeinheit 10, einen Prozessor 20, eine Ausgabeeinheit 30 und einen Speicher 40.
Das Geräteüberwachungssystem 1 wird zum Überwachen des Geräts und zum Überprüfen des Vorhandenseins oder Abwesendseins einer Unregelmäßigkeit verwendet. Die Unregelmäßigkeit umfasst eine Verzögerung einer bestimmten Operation im Vergleich zu dem normalen Betrieb des Geräts, eine Veränderung eines Bewegungsbereichs (Bewegungsfreiheit) eines bestimmten Teils des Geräts, eine Veränderung der Position und/oder die Neigung des Werkstücks, welches verarbeitet wird, usw.
Die Bildeinheit 10 bildet das Gerät ab, welches eine gewisse erste Operation wiederholt, und erfasst ein Standbild. Insbesondere wiederholt die Bildeinheit 10 ein Abbilden des Zustands des Geräts zu einem ersten Zeitpunkt, wenn eine erste Zeit verstrichen ist, von einem Zeitpunkt, wenn das Gerät die erste Operation beginnt. Das erste Bild, welches das Gerät zu dem ersten Zeitpunkt darstellt, wird dadurch wiederholt erfasst. Die Bildeinheit 10 speichert die abgebildeten Bilder in dem Speicher 40.
Wenn die Bildeinheit 10 ein neues erstes Bild erfasst, nimmt der Prozessor 20 Bezug auf den Speicher 40 und erfasst ein vorhergehendes erstes Bild. Basierend auf mehreren vorhergehenden ersten Bildern bestimmt der Prozessor 20, ob es eine Unregelmäßigkeit in dem in dem neuen ersten Bild umfassten Gerät gibt oder nicht. Beispielsweise wird das Gerät als normal bestimmt, falls der Zustand des in den vorhergehenden ersten Bild abgebildeten Gerät und der Zustand des in dem neuen ersten Bild abgebildeten Gerät im Wesentlichen identisch ist. Das Gerät wird als unregelmäßig bestimmt, falls der Zustand des Geräts in dem vorhergehenden ersten Bild und der Zustand des Geräts in dem neuen ersten Bild sehr Unterschiedelich sind.
Beispielsweise, wenn das Gerät als unregelmäßig bestimmt wird, überträgt der Prozessor 20 ein Signal an das Gerät, welches das Überwachungsobjekt ist. Das Gerät hält die Operation an, wenn das Signal empfangen wird. Wenn das Gerät als unregelmäßig bestimmt ist, kann der Prozessor 20 eine Benachrichtigung an einen voreingestellten Registerrand ausgeben. Oder der Prozessor 20 kann das bestimmte Ergebnis einer Unregelmäßigkeit an die Ausgabeeinheit 30 übertragen.
Beispielsweise meldet die Ausgabeeinheit 30, dass das Gerät eine Unregelmäßigkeit aufweist, durch ausgeben eines Tons, Licht, usw. Die Ausgabeeinheit 30 kann veranlassen, dass das erste Bild, welches als unregelmäßig bestimmt ist, angezeigt wird, oder kann das erste Bild an einen voreingestellten Empfänger übertragen.
Die Bildeinheit 10 ist beispielsweise eine Kamera. Der Prozessor 20 umfasst eine CPU (zentrale Verarbeitungseinheit), einen Speicher, usw. Die Ausgabeeinheit 30 ist beispielsweise ein Monitor, ein Drucker, ein Lautsprecher, Beleuchtung, usw.
gemäß den Geräteüberwachungssystem 1 gemäß der Ausführungsform wird die Unregelmäßigkeit des Geräts basierend auf einem Vergleich zwischen dem neuen ersten Bild und den mehreren vorhergehenden ersten Bildern bestimmt. Es ist nicht notwendig Referenzdaten zum Bestimmen der Unregelmäßigkeit des Geräts vorzubereiten, usw. Entsprechend kann das Gerät einfacher überwacht werden. Beispielsweise, selbst für ein Gerät, welches den Betrieb gerade aufgenommen hat, ist das Geräteüberwachungssystem 1 ohne Vorbereiten von Referenzdaten anwendbar. Die Überwachung des Geräts kann im Vergleich zu anderen Verfahren schnell gestartet werden. Gemäß dem Geräteüberwachungssystem 1 kann das Gerät in Echtzeit überwacht werden, da die Unregelmäßigkeit des Geräts bestimmt wird, wenn das neue erste Bild erfasst wird.
Bildeinheit 10 kann eine Videoaufnahme von dem Gerät erstellen. Der Prozessor 20 erfasst die mehreren ersten Bilder durch entnehmen eines Teils des Videobilds. In einem solchen Fall wird die Datenmenge extrem groß. Daher ist es wünschenswert für die Bildeinheit 10, ein Standbild durch Abbilden des Geräts zu dem ersten Zeitpunkt der ersten Operation zu erfassen. Mit anderen Worten bildet die Bildeinheit 10 das Gerät in zumindest einem Teil der ersten Operation außer dem ersten Zeitpunkt nicht ab. Die Datenmenge kann durch Erfassen von lediglich dem Standbild zu dem bestimmten Zeitpunkt reduziert werden.
Die Bildeinheit 10 kann weiter das Gerät zu einem anderen Zeitpunkt der ersten Operation wiederholt abbilden. Beispielsweise erfasst die Bildeinheit 10 ein zweites Bild und ein drittes Bild durch Abbilden des Geräts zu einem zweiten Zeitpunkt und einem dritten Zeitpunkt der ersten Operation. Der zweite Zeitpunkt ist vor dem ersten Zeitpunkt. Der dritte Zeitpunkt ist vor dem zweiten Zeitpunkt.
Der Prozessor 20 kann die oben beschriebenen Operation für das zweite Bild und das dritte Bild ebenso ausführen. Mit anderen Worten, wenn ein neues zweites Bild erfasst wird, kann der Prozessor 20 die Unregelmäßigkeit des in dem neuen zweiten Bild umfassten Geräts basierend auf mehreren vorhergehenden zweiten Bildern bestimmen. Wenn ein neues drittes Bild erfasst wird, kann der Prozessor die Unregelmäßigkeit des in dem neuen dritten Bild umfassten Gerät basierend auf mehreren vorhergehenden dritten Bildern bestimmen.
2 bis 7 sind schematische Ansichten zum Beschreiben des Geräteüberwachungssystems.
Details des Geräteüberwachungssystems werden nun mit Bezug zu 2 bis 7 beschrieben.
in dem in 2 dargestellten Beispiel verarbeitet ein Gerät 90 ein Werkstück 91, welches sich auf einem Förderband bewegt. In dem Beispiel ist das Werkstück 91 ein teilweise vollendetes Werkstück auf dem Weg durch eine Montage. Die Bildeinheit 10 bildet das Gerät 90 und das Werkstück 91 ab. Andere Objekte außer dem Werkstück und dem Gerät, welches das Überwachungobjekt (Überwachungsziel) ist, können in dem Bild umfasst sein. Allerdings, um die Genauigkeit der Überwachung zu erhöhen, ist es wünschenswert die Bewegung der anderen Objekte klein oder gleich 0 zu halten.
3A bis 3C stellen durch das Abbilden des normalen Betriebs des Geräts 90 erfasste Bilder da. 3A bis 3C stellen jeweils ein drittes Bild A3, ein zweites Bild A2 und ein erstes Bild A1 dar. Die ersten bis dritten Bild A1 bis A3 werden durch Abbilden des Geräts 90 jeweils zu dem ersten Zeitpunkt, dem zweiten Zeitpunkt und dem dritten Zeitpunkt der ersten Operation erfasst. Das Gerät 90 führt die Serie von Operationen (die erste Operation) wiederholt aus, was in der 3A bis 3C dargestellt ist. Jedes Mal, wenn die erste Operation ausgeführt wird, bildet die Bildeinheit 10 das Gerät 90 und das Werkstück 91 zu den bestimmten Zeitpunkten wiederholt ab.
Beispielsweise empfängt die Bildeinheit 10 ein Signal betreffend die Operation des Geräts 90. Der Abbildungszeitpunkt des Geräts 90 ist unter Verwendung des Empfangszeitpunkts von diesem Signal als eine Referenz bestimmt. Als ein Beispiel empfängt die Bildeinheit 10 ein an das Gerät 90 eingegebenes Steuersignal, wenn die erste Operation beginnt. Die Bildeinheit 10 verwendet den Empfang des Steuersignals als den Startpunkt der Messung der Zeit. Die Bildeinheit 10 bildet das Gerät 90bei dem bestimmten Zeitpunkt ab, nachdem eine vorbestimmte Zeitlänge von dem Startpunkt an verstrichen ist. Oder die Bildeinheit 10 kann ein Videobild des Geräts 90 abbilden, und als den Startpunkt der Messung der Zeit, den Punkt verwenden, wenn das Gerät 90 oder das Werkstück 91 einen bestimmten Zustand erreicht.
In 4 ist die horizontale Achse die Zeit T. Beispielsweise, wie in 4 dargestellt, bildet die Bildeinheit 10 das Gerät 90 und das Werkstück 91 zu einem dritten Zeitpunkt T3, einem zweiten Zeitpunkt T2 und einem ersten Zeitpunkt T1 ab. Dadurch werden das dritte Bild A3, das zweite Bild A2 und das erste Bild A1 des Geräts 90 und des Werkstücks 91 zu jedem Zeitpunkt erfasst. Das abbilden wird durch die Bildeinheit 10 jedes Mal dann ausgeführt, wenn das Gerät 90 die erste Operation ausführt. Im Ergebnis werden die mehreren ersten Bilder A1, die mehreren zweiten Bild A2 und die mehreren dritten Bild A3 erfasst, wie in 4 dargestellt.
Ein Verfahren zum Bestimmen der Unregelmäßigkeit des Geräts in dem ersten Bild A1 wird nun beschrieben. Das nachstehend beschriebene Verfahren ist ähnlich zu der Bestimmung der Unregelmäßigkeit des Geräts unter Verwendung des zweiten bis A2 und der Bestimmung der Unregelmäßigkeit des Geräts unter Verwendung des dritten Bild A3 anwendbar.
Beispielsweise führt der Prozessor 20 ein nicht überwachtes lernen unter Verwendung der mehreren ersten Bilder A1 aus. Eine Hauptkomponentenanalyse, eine Bündelung, usw. können als eine bestimmte Technik des nicht überwachten Lernens verwendet werden. Der Prozessor 20 speichert in dem Speicher 40 das Modell zum Bestimmen der Unregelmäßigkeit des Geräts in dem ersten Bild A1, welches durch das nicht überwachtes lernen erzeugt ist.
5A bis 5C stellen die erste Operation dar, falls eine Unregelmäßigkeit in dem Gerät 90 vorhanden ist. 5A und 5B sind jeweils identisch zu der Operation, wenn diese normal ist, wie in 3A bis 3 B dargestellt. Die Position (der Winkel) eines Arms 90a und die Position einer Hand 90b des Geräts 90 in 5C unterscheiden sich von denen des in 13 dargestellten Zustands. Das Geräteüberwachungssystem 1 detektiert eine solche Veränderung (eine Unregelmäßigkeit) der Operation des Geräts 90.
Beispielsweise berechnet der Prozessor 20 den Unterschied eines Merkmals zwischen einem neuen ersten Bild und einem von mehreren vorhergehenden ersten Bildern. Das eine der mehreren vorhergehenden ersten Bilder ist beispielsweise das direkt vor dem neuen ersten Bild erfasste erste Bild. Beispielsweise kann SIFC (Skalen-Invariante-Merkmalstransformation), SURF (Geschwindigkeit-erhöhtesrobustes-Merkmal), usw. als das Entnahmeverfahren (der Algorithmus) des Merkmals verwendet werden. Der Prozessor 20 vergleicht den berechneten Unterschied und einen ersten Schwellenwert. Wenn der Unterschiede den ersten Schwellenwert überschreitet, bestimmt der Prozessor 20, dass eine Unregelmäßigkeit in dem Gerät vorhanden ist, welches das Ziel des neuen ersten Bilds ist.
Der erste Schwellenwert wird basierend auf Merkmalsdaten eingestellt. Beispielsweise werden der Durchschnittswert und die Standardabweichung basierend auf den vorhergehenden Merkmalsdaten berechnet. 3 Sigma Zeichen wird berechnet und als der erste Schwellenwert eingestellt. Unter Verwendung eines Maschinenlernen werden der eingestellte erste Schwellenwert und das Merkmal basierend auf dem neu erfassten ersten Bild verglichen; und es wird bestimmt, ob das Merkmal in dem Schwellenwert liegt oder nicht.
Beispielsweise ist der Unterschied des Merkmals zwischen den in 3C dargestellten Bildern klein. Die Positionen des Arms 90a und der Hand 90b sind viel anders zwischen dem in 3C dargestellten Bild und dem in 5C dargestellten Bild. Daher ist der Unterschied des Merkmals zwischen diesen Bildern hoch; und das Gerät 90 in dem in 5C dargestellten Bild wird als unregelmäßig bestimmt.
Der Prozessor 20 kann den Unterschied des Merkmals durch Ausführen einer Gitterverarbeitung des erfassten ersten Bilds berechnen. In der Gitterverarbeitung wird jedes Bild in mehrere Gitter (Netz oder Masche) geteilt; und das Merkmal wird für jedes Gitter berechnet. Der Prozessor 20 berechnet jeden Unterschied des Merkmals zwischen den zugehörigen Gittern zwischen dem neuen ersten Bild und dem vorhergehenden ersten Bild. Der Prozessor 20 bestimmt das Gerät als unregelmäßig, falls der Unterschied des Merkmals nicht weniger als der erste Schwellenwert für ein beliebiges der Gitter ist. Durch Ausführen einer Gitterverarbeitung an dem ersten Bild kann die Position (das Gitter) bestimmt werden, bei welchem die Unregelmäßigkeit des Geräts in dem ersten Bild auftritt.
Wenn die Gitterverarbeitung des ersten Bildes ausgeführt wird, kann der Prozessor 20 die Teile teilen, bei welchen eine Bewegung des Objekts hoch ist, den kleinere Gitter, und kann die Teile teilen, welchen eine Bewegung des Objekts klein (oder gleich 0) ist, in größere Gitter. Dadurch kann das Merkmal gewichtet werden; und die Veränderung des Merkmals wird einfach detektiert. Beispielsweise werden der Bereich innerhalb des Bilds, bei welchem eine feine Gitterverarbeitung ausgeführt wird, und der Bereich innerhalb des Bilds, bei welchem eine grobe Gitterverarbeitung ausgeführt wird, basierend auf der Veränderung des Merkmals zwischen dem ersten Bild und dem direkt vorhergehenden ersten Bild bestimmt.
Beispielsweise teilt der Prozessor 20 dass bei dem n-ten (n = 1, 2, 3, ...) Zweiten Zeitpunkt abgebildete zweite Bild in mehrere Gitter. Der zweite Zeitpunkt ist vor dem ersten Zeitpunkt. Der Prozessor 20 teilt das bei dem n-ten ersten Zeitpunkt abgebildete erste Bild in mehrere Gitter. Der Prozessor 20 berechnet jeden Unterschied des Merkmals zwischen den zugehörigen Gittern zwischen dem ersten Bild und dem zweiten Bild. Ein größerer Unterschied des Merkmals gibt an, dass eine Bewegung des Objekts in dem Gitter hoch ist.
Der Prozessor 20 führt die Gitter mit kleinen Unterschieden des Merkmals zusammen und vergrößert die Gitter. Der Prozessor 20 teilt die Gitter mit großen Unterschieden des Merkmals in eine Vielzahl und macht die Gitter kleiner. Dadurch kann das Merkmal gewichtet werden, und zwar Größe für die Teile, bei welchen eine Bewegung des Objekts größer ist.
Wenn die Unregelmäßigkeit des Geräts bestimmt wird, kann der Prozessor 20 ein durch das Gerät erzeugtes Signal zusätzlich zu dem ersten Bild nutzen. Beispielsweise wird angenommen, dass eine Veränderung eines Spannungswerts oder eines Stromwerts des Geräts 90 in dem Gerät 90 auftritt, wenn der Arm 90a und die Hand 90b betrieben werden. In einem solchen Fall empfängt der Prozessor 20 ein den Spannungswert oder den Stromwert des Geräts 90 angebendes Signal von einem den Spannungswert oder den Stromwert detektierenden Sensor. Der Prozessor 20 vergleicht die Intensität des empfangenen Signals mit einem voreingestellten ersten Bereich. Beispielsweise bestimmt der Prozessor 20 das Gerät 90 als unregelmäßig, falls der Unterschied des Merkmals zwischen dem neuen ersten Bild und dem vorhergehenden ersten Bild den ersten Schwellenwert überschreitet und die Signalstärke außerhalb des ersten Bereichs liegt.
Falls die Unregelmäßigkeit in dem Gerät auftritt, tritt typischerweise eine Unregelmäßigkeit ebenso in dem von dem Gerät ausgegebenen Signal auf. Die Genauigkeit der Bestimmung kann durch Bestimmen der Unregelmäßigkeit des Geräts basierend auf dem abgebildeten Bild und dem von dem Gerät ausgegebenen Signal erhöht werden. Dadurch kann die Wahrscheinlichkeit einer Bestimmung einer Unregelmäßigkeit reduziert werden, selbst obwohl eine Unregelmäßigkeit in dem Gerät nicht aufgetreten ist. Außer dem Spannungswerten dem Stromwert kann beispielsweise der Prozessor 20 die Unregelmäßigkeit des Geräts unter Verwendung eines Signals bestimmen, welches einen Druck, eine Gasflussrate, usw. des Geräts angibt.
Der Fall, bei welchem der Prozessor 20 den Unterschied des Merkmals berechnet, ist oben beschrieben. Anstatt diesem Verfahren kann der Prozessor 20 eine Ähnlichkeit zwischen dem neuen ersten Bild und einem der mehreren vorhergehenden ersten Bilder berechnen. Der Prozessor 20 vergleicht die berechnete Ähnlichkeit mit einem voreingestellte Schwellenwert. Wenn die Ähnlichkeit geringer als ein Schwellenwert ist, bestimmt der Prozessor 20, dass eine Unregelmäßigkeit in dem Gerät vorhanden ist, welches das Objekt des neuen ersten Bilds ist.
Oder der Prozessor 20 kann eine Gitterverarbeitung eines jeden der mehreren ersten Bilder ausführen und jede Ähnlichkeit zwischen den zugehörigen Gittern berechnen. Wenn die Gitterverarbeitung des ersten Bildes ausgeführt wird, kann der Prozessor 20 die Größe des Gitters gemäß der Größenordnung der Bewegung des Objekts verändern. Zusätzlich zu der Ähnlichkeit kann der Prozessor 20 ein durch das Gerät erzeugtes Signal zum Bestimmen der Unregelmäßigkeit verwenden.
Der Ausgabeinhalt der Ausgabeeinheit 30 kann geeignet gemäß der Verarbeitung des Prozessors 20 modifiziert werden. Die Ausgabeeinheit 30 kann insbesondere die Position zeigen, bei welchem die Unregelmäßigkeit in dem ersten Bild auftritt. Beispielsweise, falls die Gitterverarbeitung des ersten Bilds durch den Prozessor 20 ausgeführt wird, kann die Position (das Gitter) bestimmt werden, bei welchem die Unregelmäßigkeit in dem ersten Bild auftritt. Die Ausgabeeinheit 30 zeigt die durch den Prozessor 20 bestimmte Position an. Dadurch kann der Anwender einfach feststellen, welcher Teil des Geräts als unregelmäßig durch das Geräteüberwachungssystem 1 bestimmt ist.
Wenn das Gerät als unregelmäßig bestimmt ist, kann der Prozessor 20 die Klassifikation der Unregelmäßigkeit bestimmen. Dieser Aspekt wird mit Bezug zu 6 und 7 nachstehend beschrieben.
6A bis 6C stellen die normale Portion dar 6B bis 6 11 stellen die erste Operation dar, wobei zumindest ein Teil unregelmäßig ist. 6 Auenfigur 6B stellen die zu demselben dritten Zeitpunkt T3 abgebildeten dritten Bilder A3 dar. 6B und 6E stellen die zu dem gleichen zweiten Zeitpunkt T2 abgebildeten zweiten Bilder A2 dar. 6C und 6 11 stellen die zu dem gleichen ersten Zeitpunkt T1 abgebildeten ersten Bilder A1 dar.
Die relative Positionsbeziehung zwischen der Hand 90b und dem Werkstück 91 ist etwas Unterschiedelich zwischen den dritten Bildern A3 aus 6A uenfigur 6B und zwischen den zweiten Bildern A2 aus 6B und 6E. Bei einem Vergleichen des ersten Bilds A1 aus 6C und des ersten Bild A1 aus 6F ist die relative Positionsbeziehung zwischen der Hand 90b und dem Werkstück 91 sehr Unterschiedelich. Beispielsweise bestimmt der Prozessor 20 das dritte Bild A3 und das zweite Bild A2 aus 6B und 6E als unregelmäßig und bestimmt das erste Bild A1 aus 6F als unregelmäßig.
Wenn 6F als unregelmäßig bestimmt ist, nimmt der Prozessor 20 Bezug auf das dritte Bild A3 und das zweite Bild A2 aus 6B und 6E, welche vor 6F abgebildet sind. Der Prozessor 20 berechnet ungefähr wie viel das Gerät in den Bildern aus 6B und 6E sich jeweils von dem Gerät in den Bildern aus 6A und 6B verschoben haben. Beispielsweise wird die Verschiebung durch den Unterschied des Merkmals dargestellt.
Oder der Prozessor 20 kann auf die Berechnungsergebnisse Bezugnehmen, wenn die Unregelmäßigkeitsbestimmung des dritten Bilds A3 aus 6D und des zweiten Bilds 2 aus 6E ausgeführt wird. Beispielsweise werden die Berechnungsergebnisse des Unterschieds des Merkmals zwischen den dritten Bildern A3 aus 6A und 6B und der Unterschied des Merkmals zwischen den zweiten Bildern A2 aus 6B und 6E in dem Speicher 40 gespeichert. Der Prozessor 20 kann auf die Berechnungsergebnisse Bezug nehmen.
Aus den Berechnungsergebnissen detektiert der Prozessor 20, dass eine Verschiebung in dem Gerät 90 in den Bildern aus 6B und 6E im Vergleich zu den anderen normalen Bildern vorhanden ist. Mit anderen Worten kann aus den Bildern aus 6B und 6E gesehen werden, dass die Operation des Geräts 90 etwas zu jedem Zeitpunkt verzögert ist; die Verzögerung häuft sich an; und das erste Bild A1 aus 6 11 wird als unregelmäßig bestimmt. Beispielsweise wird solch eine Unregelmäßigkeit als eine Verzögerung der Operation des Geräts klassifiziert.
7A bis 7C stellen die normale erste Operation dar. 7B bis 7F stellen die erste Operation dar, wobei zumindest ein Teil unregelmäßig ist. 7A bis 7C stellen die normale erste Operation dar. 7B bis 7F stellen die erste Operation dar, wobei zumindest ein Teil unregelmäßig ist. 7A und 7B stellen die zu dem gleichen dritten Zeitpunkt T3 abgebildeten dritten Bilder A3 dar. 7B und 7E stellen die zu dem gleichen zweiten Zeitpunkt T2 abgebildeten zweiten Bilder A2 dar. 7C und 7F stellen die zu dem gleichen ersten Zeitpunkt T1 abgebildeten ersten Bilder A1 dar.
Die relative Positionsbeziehung zwischen der Hand 90b und dem Werkstück 91 ist identisch zwischen den dritten Bildern A3 aus 7A uenfigur 7B und zwischen den zweiten Bildern A2 aus 7B und 7E. Andererseits, wenn 7C und Figur verglichen werden, ist die relative Positionsbeziehung zwischen der Hand 90b und dem Werkstück 91 sehr Unterschiedelich. Der Prozessor 20 bestimmt das dritte Bild A3 aus 7D und das zweite Bild A2 aus 7E als unregelmäßig und bestimmt das erste Bild A1 aus 7F als unregelmäßig.
Wenn das erste Bild A1 aus 7F als unregelmäßig bestimmt wird, wie oben beschrieben, nimmt der Prozessor 20 auf das dritte Bild A3 aus 7B und auf das zweite Bild A2 aus 7E Bezug. Der Prozessor 20 vergleicht die Objekte in den Bildern aus 7D und 7E jeweils mit den Objekten in den Bildern aus 7A uenfigur 7B.
Aus dem Vergleichsergebnis wird detektiert, dass im Vergleich zu den anderen normalen Bildern die Verschiebungen des dritten Bilds A3 aus 7B und des zweiten Blizzard 2 aus 7E ausreichend klein sind. Mit anderen Worten ist die Operation (die Position) des Geräts 90 sehr Unterschiedelich nur zu dem ersten Zeitpunkt T1, wenn der erste Bild A1 aus 7F abgebildet wird. Beispielsweise aufgrund irgendeiner Ursache kann das Gerät 90 sich nicht aus dem in 7B dargestellten Zustand in den in 7C dargestellten Zustand verändern; und es wird angenommen, dass der Bewegungsbereich sich verändert hat. Beispielsweise wird solch eine Unregelmäßigkeit als eine Veränderung des Bewegungsbereichs des Geräts 90 klassifiziert.
Erneut mit Bezug zu dem oben beschriebenen Beispielen wird beispielsweise für die n-te erste Operation das Gerät in dem zu dem ersten Zeitpunkt abgebildeten ersten Bild als unregelmäßig durch den Prozessor 20 bestimmt. Der Prozessor 20 bestimmt die Klassifikation der Unregelmäßigkeit basierend auf dem Vergleichsergebnis zwischen dem bei dem zweiten Zeitpunkt in der n-ten ersten Operation abgebildeten zweiten Bild und dem bei dem zweiten Zeitpunkt in der (n-1)-ten ersten Operation abgebildeten zweiten Bild. Beispielsweise bestimmt der Prozessor 20, dass eine Unregelmäßigkeit einer ersten Klassifikation aufgetreten ist, falls der Unterschied des Merkmals zwischen dem zweiten Bild der n-ten ersten Operation und dem zweiten Bild der (n-1)-ten ersten Operation geringer als der erste Schwellenwert ist und einen zweiten Schwellenwert überschreitet. Die erste Klassifikation ist die Verzögerung der Operation des Geräts. Der Prozessor 20 bestimmt, dass eine Unregelmäßigkeit einer zweiten Klassifikation aufgetreten ist, falls der Unterschied des Merkmals geringer als der zweite Schwellenwert ist. Die zweite Klassifikation ist die Veränderung des Bewegungsbereich des Geräts. Der Prozessor 20 gibt die Klassifikation der Unregelmäßigkeit an den Anwender aus.
Zusätzlich zu der Klassifikation der Unregelmäßigkeit kann der Prozessor 20 das erste Bild und das zweite Bild der klein in Stich ten ersten Operation ausgeben. Doch ausgeben des als normal bestimmten zweiten Bilds zusätzlich zu dem als unregelmäßig bestimmten ersten Bild stellt der Anwender einfach die Details der Unregelmäßigkeit fest. Der Prozessor 20 kann weiter die Zeit ausgeben, zu welcher das erste Bild abgebildet ist, die Zeit von dem Beginn der ersten Operation, usw.
Der Prozessor 20 kann eine Markierungselement bei der als unregelmäßig bestimmten Position in dem ersten Bild bereitstellen und kann ein Markierungselement bei einer Position in dem zweiten Bild bereitstellen, welches mit der Unregelmäßigkeit des ersten Bilds verknüpft sein kann. Dadurch stellt der Anwender die Details der Unregelmäßigkeit einfacher fest.
8 ist ein Flussdiagramm, welches ein Beispiel der Operation des Geräteüberwachungssystems gemäß der Ausführungsform darstellt.
Die Bildeinheit 10 erfasst wiederholt das erste Bild des Geräts, abgebildet zu dem ersten Zeitpunkt der ersten Operation für das Gerät, welches die erste Operation wiederholt (Schritt S1). Der Prozessor 20 erfasst eine Information betreffend die Operation des Geräts, welches das Überwachungsziel ist (Schritt S2). Die Information ist beispielsweise ein von dem Gerät ausgegebene Signal. Der Prozessor 20 vergleicht das neue erste Bild mit den mehreren vorhergehenden ersten Bildern und führt ein Maschinenlernen aus (Schritt S3). Der Prozessor 20 bestimmt, ob die Operation des Geräts normal ist, betreffend die Operation des Geräts und dem Vergleichsergebnis zwischen dem neuen ersten Bild und den mehreren vorhergehenden ersten Bildern (Schritt S4).
Wenn die Operation des Geräts als normal bestimmt ist, wird Schritt S 1 erneut ausgeführt. Wenn die Operation des Geräts als unregelmäßig bestimmt ist, klassifiziert der Prozessor 20 die Unregelmäßigkeit (Schritt S5). Beispielsweise gibt der Prozessor 20 die Klassifikation der Unregelmäßigkeit und das als unregelmäßig bestimmte erste Bild aus (Schritt S6).
Während bestimmte Ausführungsformen beschrieben wurden, wurden diese Ausführungsformen lediglich beispielhaft dargestellt und sind nicht dazu gedacht den Schutzbereich der Erfindungen zu beschränken. Tatsächlich können die hierin beschriebenen neuen Ausführungsformen in verschiedenen anderen Formen ausgeführt werden; weiterhin können verschiedene Auslassungen, Ersetzungen und Veränderungen in der Form der hierin beschriebenen Ausführungsformen gemacht werden, ohne von dem Geist der Erfindungen abzuweichen. Die beigefügten Ansprüche und deren äquivalente sind dazu gedacht solche Formen oder Modifikationen abzudecken, wie diese innerhalb des Schutzbereichs und des Geistes der Erfindungen fallen würden. Darüber hinaus können oben beschriebene Ausführungsformen wechselweise kombiniert werden und können ausgeführt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 20171442532 A [0003]

Claims

Ein Geräteüberwachungssystem, umfassend: eine Bildeinheit, welche ein erstes Bild eines Geräts wiederholt erfasst, welches eine erste Operation ausführt, wobei das erste Bild das zu einem ersten Zeitpunkt der ersten Operation abgebildete Gerät darstellt; und einen Prozessor, welcher eine Unregelmäßigkeit des in einem neuen ersten Bild abgebildeten Geräts bestimmt, wenn das neue erste Bild erfasst wird, wobei das Bestimmen auf einer Vielzahl von vorhergehenden ersten Bildern basiert.
Geräteüberwachungssystem gemäß Anspruch 1, wobei der Prozessor einen Unterschied eines Merkmals zwischen dem neuen ersten Bild und einem der Vielzahl von vorhergehenden ersten Bildern berechnet, und das in dem neuen ersten Bild abgebildete Gerät als unregelmäßig bestimmt, falls der Unterschied einen ersten Schwellenwert überschreitet.
Geräteüberwachungssystem gemäß Anspruch 1, wobei der Prozessor einen Unterschied eines Merkmals zwischen dem neuen ersten Bild und einem der Vielzahl von vorhergehenden ersten Bildern berechnet, ein erstes Signal des Geräts betreffend die erste Operation detektiert und das in dem neuen ersten Bild abgebildete Gerät als unregelmäßig bestimmt, falls der Unterschied einen ersten Schwellenwert überschreitet und eine Intensität des ersten Signals außerhalb eines ersten Bereichs liegt, wobei der erste Schwellenwert voreingestellt ist.
Geräteüberwachungssystem gemäß Anspruch 2 oder 3, wobei der Prozessor das neue erste Bild in eine Vielzahl von Gittern teilt und das eine der Vielzahl von vorhergehenden ersten Bildern in eine Vielzahl von Gittern teilt, jeden Unterschied des Merkmals zwischen den zugehörigen Gittern berechnet und das in dem neuen ersten Bild abgebildete Gerät als unregelmäßig bestimmt, falls irgendeiner der Unterschiede den ersten Schwellenwert überschreitet.
Geräteüberwachungssystem gemäß Anspruch 4, wobei die Bildeinheit ein zu einem zweiten Zeitpunkt der ersten Operation abgebildetes zweites Bild des Geräts erfasst, der zweite Zeitpunkt vor dem ersten Zeitpunkt liegt, und der Prozessor das neue erste Bild in eine Vielzahl von Gittern teilt und das zweite Bild direkt vor dem neuen ersten Bild in eine Vielzahl von Gittern teilt, jeden Unterschied des Merkmals zwischen den zugehörigen Gittern berechnet, und für die Vielzahl von in dem neuen ersten Bild umfassten Gittern, die Gitter zusammenführt, bei welchen der Unterschiede relativ klein ist, und die Gitter in eine Vielzahl teilt, bei welchen der Unterschied relativ groß ist.
Geräteüberwachungssystems gemäß einem der Ansprüche 1 bis 5, wobei der Prozessor ein Signal an das Gerät überträgt, wenn das in dem neuen ersten Bild abgebildete Gerät als unregelmäßig bestimmt ist.
Geräteüberwachungssystem gemäß einem der Ansprüche 1 bis 6, wobei der Prozessor das neue erste Bild ausgibt, wenn das in dem neuen ersten Bild abgebildete Gerät als unregelmäßig bestimmt ist.
Geräteüberwachungssystem gemäß Anspruch 1, wobei die Bildeinheit ein bei einem zweiten Zeitpunkt vor dem ersten Zeitpunkt der ersten Operation abgebildetes zweites Bild des Geräts erfasst und, wenn das in dem neuen ersten Bild abgebildete Gerät als unregelmäßig bestimmt ist, der Prozessor die Unregelmäßigkeit basierend auf einem Vergleichsergebnis zwischen dem zweiten Bild direkt vor dem neuen ersten Bild und einem anderen vorhergehenden der zweiten Bilder klassifiziert.
Geräteüberwachungssystem gemäß Anspruch 8, wobei, wenn das in dem neuen ersten Bild abgebildete Gerät als unregelmäßig bestimmt ist, der Prozessor das neue erste Bild und die Klassifikation der Unregelmäßigkeit ausgibt.
Geräteüberwachungssystem gemäß Anspruch 9, wobei der Prozessor weiter das zweite Bild direkt vor dem neuen ersten Bild ausgibt.
Geräteüberwachungssystem gemäß Ansprüchen 7, 9 oder 10, wobei der Prozessor ein Markierungselement bereitstellt, welches die Unregelmäßigkeit in einem Teil des neuen ersten Bilds angibt, und das neue erste Bild ausgibt.
Geräteüberwachungssystem gemäß einem der Ansprüche 1 bis 11, wobei die Bildeinheit das Gerät in zumindest einem Teil der ersten Operation außer dem ersten Zeitpunkt nicht abbildet.