-
Die Erfindung betrifft ein System zur Überwachung von technischen Anlagen mittels Objekterkennung von definierten optischen Mustern. Des Weiteren wird ein Verfahren zur Überwachung von technischen Anlagen mittels Objekterkennung von definierten optischen Mustern beschrieben.
-
Um die Funktionsfähigkeit und Sicherheit von allen Arten technischer Anlagen zu gewährleisten, ist eine regelmäßige Überwachung notwendig. Dabei kann entweder geschultes Personal den Zustand der Anlagen in festgelegten zeitlichen Abständen überprüfen oder spezifische Sensoren überwachen die Anlagen bezüglich gewisser Kenngrößen, die die Funktionsfähigkeit der Anlagen wiedergeben. Allerdings lassen sich einige Zustände von technischen Anlagen, wie zum Beispiel ob eine Schraube richtig angezogen ist oder sich gelöst hat, nur schwer sensorisch erfassen. Eine optische Überprüfung durch Personal ist andererseits insbesondere an schwer zugänglichen Standorten kostenintensiv. Eine Alternative sind automatisierte optische Überwachungssysteme. Diese sind jedoch in der Regel nicht flexibel genug, um eine Vielzahl von Zuständen, die an einer Anlage auftreten können, zuverlässig zu erfassen, und beschränken sich daher auf einzelne Zustände. In der Patentschrift Fehler! Verweisquelle konnte nicht gefunden werden, wird zum Beispiel ein System zur Überwachung des Zustandes von Schraubverbindungen beschrieben. Ein kostengünstiges automatisches System, das beispielsweise sowohl den Zustand einer Schraubverbindung, als auch den Winkel weiterer Bauteile zueinander, sowie weitere Eigenschaften einer technischen Anlage optisch überwachen kann wäre also von großem Interesse.
-
Eine Aufgabe der vorliegenden Schutzrechtanmeldung ist es daher, ein solches automatisches System zur optischen Überwachung technischer Anlagen vorzuschlagen. Außerdem wird ein einfaches Verfahren zur optischen Überwachung technischer Anlagen vorgeschlagen.
-
Diese Aufgabe wird durch ein System zur Überwachung technischer Anlagen gemäß dem unabhängigen Anspruch 1 gelöst. Ein Verfahren zur Überwachung technischer Anlagen ist in Anspruch 10 gegeben. Weitere Ausführungsformen ergeben sich aus den abhängigen Ansprüchen.
-
Ein System zur Überwachung von technischen Anlagen umfasst
- Zeichen, die an zu überwachenden Teilen von technischen Anlagen in einer Umgebung angebracht sind,
- mindestens eine Kamera, die Bilddaten der Umgebung erfasst und mit Raumkoordinaten und Aufnahmezeitpunkt versieht,
- eine Bilddatenbank, in der die Bilddaten abgelegt werden,
- eine Zeichenbibliothek, in der eine Vielzahl von Zeichen und diesen zugeordneten Regeln hinterlegt sind, und
- eine Objekterkennungseinheit, die dazu ausgelegt ist Zeichen in den Bilddaten zu erkennen und mit den in der Zeichenbibliothek hinterlegten Zeichen zu vergleichen,
wobei bei einer Erkennung eines Zeichens in den Bilddaten dem Zeichen eine Raumkoordinate zugeordnet wird,
- ein Vergleich mit früheren Bilddaten der Umgebung durchgeführt wird und
- bei einer Nichteinhaltung einer dem erkannten Zeichen zugeordneten Regel ein Alarm ausgelöst wird.
-
Im Gegensatz zu bekannten optischen Überwachungssystem beschränkt sich die Überwachung nicht auf den Zustand eines spezifischen Bauteils, wie beispielsweise einer Schraubverbindung, sondern stattdessen auf die Überwachung von an den Anlagen angebrachten Zeichen. Die Zeichen sind einfache optische Muster, die zum Beispiel auf geometrischen Grundformen basieren können. Diese Zeichen bilden eine definierte Zeichensprache, in der jedem Zeichen eine Regel zugeordnet ist, die sich optisch überprüfen lässt. Diese Regeln können beispielsweise den Rotationszustand oder die Sichtbarkeit eines Zeichens betreffen. Die Zeichen sind in Bezug auf ihre Größe und Gestaltung nicht beschränkt, so dass sie sich an eine Vielzahl von Anwendungszwecken und Umgebungsbedingungen anpassen lassen.
-
Die Zeichen werden an den zu überwachenden Teilen einer technischen Anlage angebracht. Sie können dazu als Aufkleber ausgeführt sein oder sie können mit einer Schablone aufgemalt werden. Die Zeichen werden auf Teilen angebracht, für die die den Zeichen zugeordneten Regeln gelten sollen. So kann beispielsweise an einer Schraubverbindung, die sich nicht lösen soll, ein Zeichen angebracht werden, dem eine Regel zugeordnet ist, die besagt, dass sich das Zeichen nicht in Löserichtung der Schraubverbindung drehen darf.
-
Mindestens eine Kamera ist zur Überwachung der Anlage eingerichtet. Es könne auch mehrere Kameras verwendet werden, um verschiedene Blickwinkel der Anlage zu erhalten. Es kann sich um eine Kamera mit herkömmlichen optischen Sensoren handeln oder auch um ein Gerät, das, entsprechend besonderen Anforderungen der Umgebung, Aufnahmen außerhalb des optischen Spektrums, beispielsweise im Infrarotbreich, machen kann. In festgelegten Intervallen erfasst die Kamera Bilddaten der technischen Anlage. Diese Daten werden außerdem mit Informationen über den Aufnahmeort, die Raumkoordinaten, und den Aufnahmezeitpunkt versehen.
-
Das System umfasst außerdem eine Bilddatenbank. In dieser werden die von der mindestens einen Kamera erfassten Bilddaten abgelegt. Auf diese Weise wird der Vergleich von Bilddaten verschiedener Aufnahmezeitpunkte ermöglicht. Die Datenbank kann als lokales Speichermedium angelegt sein, oder über ein Netzwerk mit dem restlichen System verbunden sein.
-
Die Zeichenbibliothek beschreibt die definierte Zeichensprache. Sie umfasst ein Speichermedium mit einer Datenbank, in der Beispiele aller verwendeten Zeichen abgelegt sind. In der Zeichenbibliothek wird jedem Zeichen mindestens eine Regel zugeordnet. Die Zeichenbibliothek kann erweiterbar sein.
-
Kern des Systems ist eine Objekterkennungseinheit, die die von der Kamera erfassten Bilddaten verarbeitet. Die Objekterkennungseinheit benutzt eine Kombination aus statischen und dynamischen Algorithmen um die definierten Zeichen in den Bilddaten zu erkennen. Dabei erkennt sie Zeichen auf Grund ihrer Form- und Farbgebung und Reflektionseigenschaften. Die Objekterkennungseinheit ist außerdem dazu ausgelegt, den Zustand des erkannten Zeichens, also beispielsweise eine Rotation oder Verschmutzung, zu erfassen. Dabei kann eine Vielzahl von verschiedenen Methoden zum Einsatz kommen. Die Wahl einer Methode zur Erkennung der Zeichen kann in Abhängigkeit von den Eigenschaften der Umgebung und den Eigenschaften der definierten Zeichen getroffen werden. Die Objekterkennungseinheit kann ein Rechner sein, die eine spezialisierte Software ausführt. Es kann sich jedoch auch um ein Netzwerk von Rechnern oder um eine spezialisierte Elektronik handeln.
-
Erkennt die Objekterkennungseinheit in den Bilddaten ein in der Zeichenbibliothek hinterlegtes Zeichen, so bestimmt sie dessen Raumkoordinaten aus den Bilddaten. Des Weiteren wird ein Vergleich mit Bilddaten, die in derselben Umgebung zu einem früheren Aufnahmezeitpunkt erfasst wurden, durchgeführt. Wird das Zeichen in dieser Umgebung das erste Mal erfasst, so handelt es sich um ein Zeichen, das neu an der zu überwachenden Anlage angebracht wurde. Die Bilddaten werden daraufhin in der Bilddatenbank abgespeichert und sind dort für spätere Vergleiche verfügbar. Wird ein Zeichen zum zweiten oder wiederholten Mal in den Bilddaten an einer Raumkoordinate erkannt, so überprüft die Objekterkennungseinheit die Einhaltung der für dieses Zeichen in der Zeichenbibliothek hinterlegten Regel. Wird die Regel in den neu erfassten Bilddaten eingehalten, so kommt es zu keiner weiteren Aktion. Erkennt die Objekterkennungseinheit jedoch eine Änderung im Zustand des Zeichens, die der hinterlegten Regel widerspricht, so gibt das System ein Alarmsignal aus. Auf Grund des Alarmsignals kann dann eine Wartung der Anlage durchgeführt oder andere notwendige Schritte eingeleitet werden.
-
Durch die Überwachung der an der technischen Anlage angebrachten Zeichen kann das System auf einfache Weise auch den Zustand der technischen Anlage überwachen. Dabei ist das System äußerst flexibel, da die Zeichenbibliothek jederzeit erweitert werden kann und neue Zeichen an der Anlage angebracht werden können. Da den Zeichen eine Vielzahl verschiedener Regeln zugeordnet werden können, ist das System auch nicht auf die Überwachung eines einzelnen Zustandes beschränkt. Da das System vollständig automatisch arbeitet, kann die Überwachung in beliebigen Intervallen oder dauerhaft stattfinden.
-
Die mindestens eine Kamera kann fix installiert sein. Dies vereinfacht die Bestimmung der Raumkoordinaten der Bilddaten und der darin erkannten Zeichen, da die Position der Kamera und ihr Blickwinkel genau festgelegt werden kann. In dieser Ausführung können eine oder mehrere Überwachungskameras in der Umgebung der zu überwachenden technischen Anlage angebracht werden, um verschieden Blickwinkel zu erfassen.
-
Die mindestens eine Kamera kann jedoch auch mobil ausgeführt sein. Sie kann beispielweise an einer Drohne oder einem Roboterarm befestigt sein, oder als Teil eines Handgeräts, wie beispielsweise eines Smartphones, ausgeführt sein. Eine solche Ausführung der Kamera ermöglicht eine Überprüfung von technischen Anlagen auch an schwer zugänglichen Positionen in festgelegten Intervallen. Dennoch müssen dabei auch zur Überwachung größerer Anlagen nicht mehrere Kameras fest installiert werden. Insbesondere bei einer Ausführung der Kamera in einer Drohne kann das System dazu ausgelegt sein, autonom zu arbeiten.
-
Je nach Ausführung der mindestens einen Kamera kann diese eine Vorrichtung zu Positionsbestimmung, eine Vorrichtung zu zur Bestimmung des Aufnahmewinkels und eine Vorrichtung zur Entfernungsbestimmung umfassen. Eine Vorrichtung zur Positionsbestimmung dient dazu, die erfassten Bilddaten mit Raumkoordinaten zu versehen. Dies ist insbesondere bei mobilen Ausführungen der Kamera, bei denen die Position der Kamera nicht festgelegt ist, notwendig. Es kann sich beispielsweise einfach um ein System zu Positionsbestimmung über GPS handeln. Über eine Vorrichtung zur Entfernungsbestimmung können die Abstände der in der Umgebung erkannten Zeichen zu der Kamera bestimmt werden. Um die Raumkoordinaten der Zeichen bestimmen zu können, ist dann außerdem noch der Aufnahmewinkel der Kamera notwendig. Eine Vorrichtung zur Bestimmung des Aufnahmewinkels kann beispielweise auf Beschleunigungssensoren oder auf einem Kreiselkompass basieren.
-
Die Vorrichtung zur Entfernungsmessung kann beispielweise einen Laserentfernungsmesser umfassen. Durch diesen können die Abstände er mindestens einen Kamera zu dem Teilen der technischen Anlage, von denen Bilddaten erfasst werden, zuverlässig bestimmt werden. Die Entfernungsmessung kann auch rein optisch, über die Fokuseinstellung der Kamera, erfolgen. Bei handelsüblichen modernen Digital-Kameras wird eine solche Entfernungsmessung zur Einstellung des Autofokus meist durch eine Kantenkontrastmessung oder durch einen Phasenvergleich durchgeführt.
-
Die an einer technischen Anlage angebrachten Zeichen können so beschaffen sein, dass sie sich durch ihre Farbgebung und Reflektionseigenschaften besonders gut von ihrer Umgebung abheben. Dies vereinfacht die Erkennung der Zeichen durch die Objekterkennungseinheit. Es können beispielsweise Farben verwendet werden, die in der Umgebung ansonsten nicht vorkommen, oder stark reflektierend oder fluoreszierend wirken. Ebenso können die Zeichen als Aufkleber ausgeführt sein, die aus Materialien bestehen, die durch ihre Oberflächeneigenschaften eine besonders gute Sichtbarkeit erzielen.
-
Die verwendete Zeichensprache kann so definiert sein, dass die zugeordneten Regeln nicht nur einzelne Zeichen betreffen, sondern auch mehrere Zeichen zueinander in Beziehungen setzen kann. So können auch Regeln bezüglich dem Abstand oder Winkel zweier Zeichen zueinander aufgestellt werden. Die Zeichenbibliothek ordnet den entsprechenden Zeichen diese Regeln dann jeweils zu.
-
Die Objekterkennungseinheit kann ein auf maschinellen Lernen basierendes Modell nutzen, um die festgelegten Zeichen in den Bilddaten zu erkennen. Ein solches Modell muss zunächst darauf trainiert werden, die Zeichen zu erkennen, bietet dann jedoch eine größere Flexibilität bezüglich der Aufnahmewinkel und Umgebungseinflüsse unter denen die Zeichen erkannt werden können. Während die Erkennung der Zeichen in dem Bilddaten durch ein solches Modell erfolgen kann, kann die Zuordnung der erkannten Zeichen zu den in der Zeichenbibliothek hinterlegten Zeichen und Regeln weiterhin durch statische Algorithmen erfolgen.
-
Das gesamte System zur Überwachung von technischen Anlagen kann als ein Rechner ausgeführt sein, der die Objekterkennungseinheit, die Bilddatenbank und die Zeichenbibliothek umfasst, beziehungsweise entsprechende Programme ausführt, und mit der mindestens einen Kamera zur Erfassung der Bilddaten verbunden ist. Ein solcher Rechner kann lokal am Ort der Überwachung vorhanden sein. Es kann sich jedoch auch um einen Zentralrechner handeln, der über ein Netzwerk die Daten von einer Vielzahl von statischen oder beweglichen Kameras empfängt und so die gleichzeitige Überwachung von mehreren technischen Anlagen ermöglicht.
-
Ein Verfahren zur Überwachung von technischen Anlagen umfasst die folgenden Schritte:
- optische Erfassung einer Umgebung durch eine Kamera zur Produktion von Bilddaten,
- Vorbereitung der Bilddaten durch eine Objekterkennungseinheit, wobei die Bilddaten mit Raumkoordinaten und Aufnahmezeitpunkt versehen werden,
- Erkennung von Zeichen in den Bilddaten durch die Objekterkennungseinheit, wobei den Zeichen eine Raumkoordinate zugeordnet wird,
- Zuordnung von erkannten Zeichen zu in einer Zeichenbibliothek hinterlegten Zeichen,
- Vergleich der erkannten Zeichen mit Bilddaten die an denselben Raumkoordinaten an früheren Aufnahmezeitpunkten erfasst wurden, und Auswertung der erkannten Zeichen, wobei
- wenn in den Bilddaten früherer Aufnahmezeitpunkte keine Zeichen vorliegen oder in den Bilddaten früherer Aufnahmezeitpunkte ein erkanntes Zeichen nicht erkannt wurde, die Bilddaten abgespeichert werden,
- wenn die erkannten Zeichen in den Bilddaten früherer Aufnahmezeitpunkte erkannt wurden und keine Änderung erkannt wird, die gegen eine den erkannten Zeichen zugeordnete Regel verstößt, keine weiteren Aktionen ausgeführt werden,
- wenn die erkannten Zeichen in den Bilddaten früherer Aufnahmezeitpunkte erkannt wurden und eine Änderung erkannt wird, die gegen eine den erkannten Zeichen zugeordnete Regel verstößt, ein Alarm ausgelöst wird.
-
In einem ersten Schritt werden Bilddaten der Umgebung durch eine Kamera erfasst. Diese Bilddaten werden an die Objekterkennungseinheit weitergeleitet, wo sie in einem zweiten Schritt zur weiteren Verarbeitung vorbereitet werden. Insbesondere werden sie dabei mit Raumkoordinaten und Aufnahmezeitpunkt versehen. In einem dritten Schritt führt die Objekterkennungseinheit die Algorithmen zur Erkennung der definierten Zeichen in den Bilddaten durch. Dabei werden den erkannten Zeichen Raumkoordinaten, die aus den Bilddaten berechnet werden. Die erkannten Zeichen werden in einem vierten Schritt den in der Zeichenbibliothek hinterlegten Zeichen zugeordnet. Den in der Zeichenbibliothek hinterlegten Zeichen sind jeweils Regeln zugeordnet. Wird also ein Zeichen in den Bilddaten erkannt und einem in der Zeichenbibliothek definierten Zeichen erfolgreich zugeordnet, so ist auch bekannt, welche Regel für das erkannte Zeichen gelten soll. In einem fünften Schritt werden die Bilddaten mit an denselben Raumkoordinaten aufgenommenen Bilddaten früherer Aufnahmezeitpunkte verglichen. Bei der im sechsten Schritt folgenden Auswertung kann es so zu drei verschiedenen Ergebnissen kommen. Wurde in den Bilddaten des früheren Aufnahmezeitpunkts kein Zeichen erkannt oder ist ein in den neuen Bilddaten erkanntes Zeichen nicht vorhanden, so werden die neuen Bilddaten abgespeichert, um zu einen späteren Zeitpunkt einen Vergleich mit diesen und somit eine Überprüfung der Einhaltung der Regeln des erkannten Zeichens zu ermöglichen. Wurde das erkannte Zeichen auch in den Bilddaten früherer Aufnahmezeitpunkte erkannt, so wird überprüft, ob der Zustand des in den neuen Bilddaten erkannten Zeichens die dem Zeichen zugeordneten Regeln entspricht. Ist dies der Fall, so kommt es zu keiner Aktion und die Überwachung kann kontinuierlich oder zu einem späteren Zeitpunkt fortgesetzt werden. Wird jedoch eine Änderung an dem Zeichen erkannt, die gegen eine dem Zeichen zugeordnete Regel verstößt, so wird ein Alarmsignal ausgegeben.
-
Der zweite Schritt der Vorbereitung der Bilddaten zur weiteren Verarbeitung kann zusätzlich umfassen, dass die Bilddaten mit Daten versehen werden, die die Raumkoordinaten der aufnehmenden Kamera, die Entfernung der Kamera zu der erfassten technischen Anlage und ihren Aufnahmewinkel angeben. Aus diesen Daten lassen sich dann die Raumkoordinaten der erkannten Zeichen bestimmen.
-
Der zweite Schritt der Vorbereitung der Bilddaten zur weiteren Verarbeitung kann außerdem umfassen, dass die Bilddaten zunächst vorverarbeitet und gefiltert werden. Dabei können beispielweise der Kontrast angepasst und gewisse Farben gefiltert werden oder Algorithmen zur Rauschunterdrückung oder zur Kantendetektion verwendet werden.
-
Um die definierten Zeichen ebenfalls im Schritt der Erkennung leichter erkennbar zu machen, können diese so beschaffen sein, dass sie sich durch ihre Farbgebung und Reflektionseigenschaften besonders gut von ihrer Umgebung abheben. Es können beispielsweise Farben verwendet werden, die in der Umgebung ansonsten nicht vorkommen, oder stark reflektierend oder fluoreszierend wirken. Ebenso können die Zeichen als Aufkleber ausgeführt sein, die aus Materialien bestehen, die durch ihre Oberflächeneigenschaften eine besonders gute Sichtbarkeit erzielen.
-
Bei der Zuordnung der erkannten Zeichen zu den in einer Zeichenbibliothek hinterlegten Zeichen kann die Zeichenbibliothek den Zeichen auch Regeln zuordnen, die mehrere Zeichen zueinander in Bezug setzen. Auf diese Weisen können die Regeln auch Beziehungen zwischen zwei Zeichen wie Abstand oder Winkel betreffen.
-
Im Schritt der Erkennung der Zeichen in den Bilddaten kann ein auf maschinellen Lernen basierendes Modell genutzt werden, um die festgelegten Zeichen in den Bilddaten zu erkennen. Ein solches Modell muss zunächst darauf trainiert werden, die Zeichen zu erkennen, bietet dann jedoch eine größere Flexibilität bezüglich der Aufnahmewinkel und Umgebungseinflüsse unter denen die Zeichen erkannt werden können. Während die Erkennung der Zeichen in dem Bilddaten durch ein solches Modell erfolgen kann, kann die Zuordnung der erkannten Zeichen zu den in der Zeichenbibliothek hinterlegten Zeichen und Regeln weiterhin durch statische Algorithmen erfolgen.
-
Das beschriebene System, sowie Verfahren, zur Überwachung von technischen Anlagen ermöglichen eine kostengünstige automatische Überwachung von technischen Anlagen. Daher können das System und das Verfahren vielfältige Anwendungsmöglichkeiten finden, wenn es darum geht die Sicherheit von technischen Anlagen zu verbessern und ihre Wartung einfacher planbar zu machen. Insbesondere kann ein solches System an Orten eingesetzt werden, die für menschliches Personal schwer zugänglich oder gefährlich wären.
-
Die beschriebenen Ausführungsformen der Gegenstände der vorliegenden Anmeldung können dabei sowohl einzeln verwendet als auch kombiniert werden, um zusätzliche Effekte zu erzielen und ein einfaches und flexibles System und Verfahren zur Überwachung von technischen Anlagen mittels Objekterkennung von definierten optischen Mustern zu erbringen.
-
Die erwähnten, sowie weitere Aspekte der Erfindung werden ersichtlich anhand der detaillierten Beschreibung der Ausführungsbeispiele, die mit Hilfe der folgenden Zeichnungen gegeben wird, von welchen:
- 1 eine schematische Übersicht über ein erfindungsgemäßes System zur Überwachung von technischen Anlagen darstellt,
- 2a, 2b, und 2c Beispiele für die definierten Zeichen darstellen, und
- 3 den Ablauf des Verfahrens zur Überwachung von technischen Anlagen darstellt.
-
Im Folgenden sollen die beanspruchten Gegenstände auf Basis der begleitenden Zeichnungen näher erläutert werden. Dabei beziehen sich gleiche Bezugszeichen auf gleiche Elemente.
-
In 1 ist eine schematische Übersicht über eine Ausführungsform des Systems zur Überwachung von technischen Anlagen dargestellt. Ein Zeichen 1 ist an einer technischen Anlage oder in der Umgebung einer technischen Anlage angebracht. Die Kamera erfasst die Umgebung der technischen Anlage optisch. Dazu kann die Kamera 2 fest in der Umgebung installiert sein oder mobil, beispielsweise als Teil einer Drohne ausgeführt sein. Ist sie fest installiert, so ist ihre Position bekannt und auch ihr Aufnahmewinkel sowie ihre Entfernung zu verschiedenen Teilen der technischen Anlage können leicht berechnet oder vermessen werden. Bei einer mobilen Ausführung der Kamera 2 ist eine zusätzliche Bestimmung der Position der Kamera 2, von Aufnahmewinkel und Entfernung zu den erfassten Objekten notwendig. Sowohl eine statische als auch eine mobile Ausführung der Kamera 2 kann daher über eine Vorrichtung zur Positionsbestimmung 6, beispielsweise einen GPS-Empfänger, eine Vorrichtung zur Bestimmung des Aufnahmewinkels 7, beispielweise einen Beschleunigungssensor, und eine Vorrichtung zur Entfernungsmessung 8, beispielsweise einen Laserentfernungsmesser, verfügen. Alternativ kann die Entfernungsmessung zum Beispiel auch über die Fokuseinstellung der Kamera 2 bestimmt werden. Auf diese Weise lassen sich den von der Kamera 2 erfassten Bilddaten präzise Informationen zuordnen, aus den im weiteren Verlauf die Raumkoordinaten der in den Bilddaten erfassten Objekte berechnet werden können. Eine interne Uhr erfasst außerdem den Aufnahmezeitpunkt der Bilddaten.
-
Die Bilddaten werden von der Kamera 2 an eine Objekterkennungseinheit 3 weitergeleitet. Diese ist in der dargestellten Ausführungsform zusammen mit der Bilddatenbank 4 und der Zeichenbibliothek 5 Teil eines Rechners 9. Diese Elemente müssen jedoch nicht Teil eines einzelnen Rechners sein, es kann sich auch um ein Netzwerk aus Rechnern oder spezialisierten Schaltungen an unterschiedlichen Orten handeln. Ebenso kann die Datenübertragung von Kamera 2 zu Objekterkennungseinheit 3 über eine Kabelverbindung geschehen, sie kann jedoch genauso gut per drahtloser Datenübertragung erfolgen. Die Datenübertagung kann dabei ebenfalls über größere vernetzte Strukturen, wie das Internet erfolgen.
-
In der Objekterkennungseinheit 3 kann eine Vorverarbeitung der Bilddaten stattfinden. Dabei können verschiedene Algorithmen auf die Bilddaten angewendet werden, um störende Effekte, wie Rauschen, aus den Daten zu entfernen oder um für die Objekterkennung vorteilhafte Elemente, wie Kanten, hervorzuheben. Es kann auch sinnvoll sein, gewisse Farbfilter auf die erfasste Bilddaten anzuwenden, wenn die zu erkennenden Zeichen eine entsprechende Farbgebung aufweisen.
-
Die eigentliche Objekterkennung kann dann durch die Verwendung eines auf maschinellen Lernen basierenden Modells erfolgen, das mit Hilfe der definierten Zeichen trainiert wurde. Das Modell erkennt daraufhin die Zeichen an spezifischen Eigenschaften. Durch die Verwendung eines solchen Modells ergibt sich eine höhere Flexibilität in der Objekterkennung gegenüber Einflüssen der Umgebung, wie schlechter Beleuchtung des zu erfassenden Objekts oder gewisse Aufnahmewinkel. Wird in den Bilddaten ein Zeichen 1 erkannt, so bestimmt die Objekterkennungseinheit mit Hilfe der zusätzlichen Informationen der Bilddaten die Raumkoordinaten des erkannten Zeichens 1.
-
Die Zeichenbibliothek 5 umfasst eine Vielzahl von Definitionen von Zeichen und ordnet ihnen Regeln zu. Im Vergleich mit den in der Zeichenbibliothek 5 hinterlegten Zeichen können dem erkannten Zeichen 1 so als eines der definierten Zeichen erkannt werden und diesem ebenfalls eine Regel zugeordnet werden.
-
Um die Einhaltung dieser Regel zu überprüfen, werden die erfassten Bilddaten mit in der Bilddatenbank 4 gespeicherten Bilddaten vergleichen, die zu früheren Aufnahmezeitpunkten an den Raumkoordinaten des erkannten Zeichens erfasst wurden. Wird dabei ein Verstoß gegen die zugeordnete Regel festgestellt, so wird ein Alarmsignal ausgegeben, um beispielsweise eine Wartung einzuleiten. Unabhängig vom Ausgang der Überprüfung könne die erfassten Bilddaten in der Bilddatenbank 4 abgespeichert werden, um einen späteren Vergleich zu ermöglichen.
-
Um die zu überwachenden technischen Anlagen zu markieren und deren Zustände zu erkennen, wird eine definierte Zeichensprache verwendet. In 2a, 2b und 2c werden Beispiele für solche Zeichen gezeigt. Die gezeigten Beispiele basieren alle auf einem mit einem Ausschnitt versehenen Kreis, es sind jedoch auch andere geometrische Grundformen für eine solche Zeichensprache denkbar, die gut für Objekterkennung geeignet sind. Um eine zuverlässige Objekterkennung zu ermöglichen, sind die Zeichen möglichst einfach aufgebaut. Die Zeichen müssen außerdem in ihrer Form- und Farbgebung so gestaltet sein, dass sie gut in ihrer Umgebung erkennbar und dabei klar voneinander zu unterscheiden sind. Jedem Zeichen oder Paaren oder Gruppen von Zeichen sind Regeln zugeordnet, die dazu dienen den Zustand der zu überwachenden technischen Anlage zu bewerten.
-
Dem in 2a dargestellten Zeichen ist beispielsweise die Regel „Dieses Zeichen darf nicht um die Normale seiner Ebene rotieren“ zugeordnet. Wird dieses Zeichen also auf einer Schraubverbindung angebracht, so überwacht das System effektiv ob diese eine Rotationbewegung ausführt und sich möglicherweise löst. Durch die Formgebung des Zeichens lässt sich dabei eine Rotation besonders leicht feststellen.
-
2b zeigt eine Kombination aus zwei Zeichen, die durch die Regel „Der Winkel zwischen diesen beiden Zeichen darf sich nicht verändern“ zueinander in Beziehung gesetzt werden. Diese zwei Zeichen können so auf zwei Bauteilen einer Anlage angebracht werden, die sich nicht in ihrem Winkel zueinander bewegen dürfen. Die Bestimmung der Winkelbeziehung zwischen den beiden Zeichen wird durch die Doppelstriche in den Kreisausschnitten der Zeichen ermöglicht.
-
Die Zeichen können auch nicht-geometrische Bedeutungen haben. Dem in 2c gezeigten Zeichen kann beispielsweise die Regel „Dieses Zeichen muss nach seiner ersten Erfassung immer sichtbar sein“. Somit kann dieses Zeichen verwendet werden, um die Verschmutzung einer Oberfläche, beispielsweise durch eine Leckage, zu überwachen. Das Zeichen könnte auch benutzt werden, um eine unsachgemäße Bewegung eines Bauteils zu erkennen oder um einen Notausgang, der freigehalten werden muss, zu markieren.
-
Durch die Verwendung einer solchen Zeichensprache lassen sich so also eine Vielzahl von Zuständen einer technischen Anlage überwachen, die ansonsten schwierig automatisch zu kontrollieren sind oder sehr spezifische Sensoren benötigen. Außerdem ist ein System, das solche Zeichen und auf maschinellen Lernen basierte Objekterkennung nutzt, äußerst flexibel. Es können zum Beispiel mehrere Zeichen gleichzeitig in Bilddaten erkannt werden und zueinander in Bezug gesetzt werden. Außerdem lässt sich eine Zeichenbibliothek 5 erweitern und neue Zeichen können ohne großen technischen Aufwand an bereits bestehenden technischen Anlagen angebracht werden.
-
Der Ablauf des Verfahrens zur Überwachung von technischen Anlagen soll noch einmal in Bezug auf das Diagramm in 3 beschrieben werden. In einem ersten Schritt S1 wird eine Bilderfassung durch eine Kamera 2 durchgeführt. Eine solche Bilderfassung kann kontinuierlich oder in festgelegten Abständen erfolgen. Die von der Kamera 2 bereitgestellten Bilddaten werden an eine Objekterkennungseinheit 3 weitergegeben, die die Schritte S2 und S3 ausführt.
-
Im zweiten Schritt S2 werden die Bilddaten zunächst für die weitere Verarbeitung vorbereitet. Diese Vorbereitung S2 umfasst, dass die Bilddaten mit Informationen zu Aufnahmezeitpunkt, den Raumkoordinaten des Aufnahmeorts, Aufnahmewinkel und der Entfernung der aufgenommenen Objekte zu der Kamera versehen werden. Die Vorbereitung S2 der Bilddaten kann auch eine Vorverarbeitung umfassen, in der störende Effekte aus den Bilddaten gefiltert werden oder Algorithmen zu Kantenerkennung auf diese angewendet werden, um die Bilddaten für die eigentliche Objekterkennung in Schritt S3 vorzubereiten.
-
Die Zeichenerkennung S3 kann insbesondere auf einem Modell zum maschinellen Lernen beruhen, dass trainiert wurde, um die definierten Zeichen unter verschiedenen Umständen zu erkennen. So lässt sich eine besonders gute Erkennung bei gleichzeitig hoher Flexibilität des Systems gewährleisten.
-
Wird ein Zeichen in den Bilddaten erkannt, so geht das Verfahren in Schritt S4 weiter, in dem das erkannte Zeichen einem in der Zeichenbibliothek 5 hinterlegten Zeichen zugeordnet wird. Eine solche Zuordnung kann durch die Verwendung statischer Algorithmen erfolgen. Gleichzeitig wird dem erkannten Zeichen somit eine Regel zugeordnet.
-
Um die Einhaltung dieser Regel zu überprüfen, wird in Schritt S5 ein Vergleich zwischen den erfassten Bilddaten, in denen ein Zeichen erkannt wurde, und Bilddaten, die zu einem früheren Aufnahmedatum an denselben Raumkoordinaten erfasst wurden, durchgeführt. Gibt es keine früheren Bilddaten oder wurde in diesen das erkannte Zeichen nicht erfasst, so bedeutet dies, dass ein das Verfahren für diese Umgebung das erste Mal durchgeführt wurde oder ein Zeichen neu an einer Anlage angebracht wurde. Die erfassten Bilddaten werden daher in Schritt S6.1 in der Bilddatenbank 4 abgespeichert, um einen späteren Vergleich zu ermöglichen. Wurde das in den neuen Bilddaten erkannte Zeichen bereits in Bilddaten früherer Aufnahmezeitpunkte erkannt, aber es lässt sich keine Änderung feststellen, die gegen die dem Zeichen zugeordnete Regel verstößt, so gibt es in Schritt S6.2 keinen Aktionsbedarf. Ergibt der Vergleich der neuen und alten Bilddaten jedoch, dass eine Änderung an der technischen Anlage stattgefunden hat, die gegen die dem Zeichen zugeordnete Regel verstößt, so wird in Schritt S6.3 ein Alarm ausgelöst.
-
Der in 3 dargestellte Ablauf wurde hier am Beispiel eines einzelnen Zeichens beschrieben. Natürlich können aber auch mehrere definierte Zeichen in den Bilddaten erkannt werden. Dabei kann die Verarbeitung der einzelnen Zeichen nacheinander oder parallel stattfinden. Insbesondere können mehrere Zeichen in einer Umgebung erkannt werden und, wie bereits erwähnt, durch Regeln zueinander in Beziehung gesetzt werden.
-
Die hier gezeigten Ausführungsbeispiele sind nicht begrenzend. Insbesondere können die Merkmale dieser Ausführungsbeispiele miteinander kombiniert werden, um zusätzliche Effekte zu erzielen. Für den Fachmann ist offensichtlich, dass Änderungen an diesen Ausführungsbeispielen vorgenommen werden können, ohne die grundlegenden Prinzipien des Gegenstandes dieser Schutzanmeldung zu verlassen, deren Bereich in den Ansprüchen definiert ist.
