EP4371082A1

EP4371082A1 - Überwachung von definierten optischen mustern mittels objekterkennung und maschinellen lernens

Info

Publication number: EP4371082A1
Application number: EP22753624.0A
Authority: EP
Inventors: Matthias STAMMLER
Original assignee: Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date: 2021-07-15
Filing date: 2022-07-14
Publication date: 2024-05-22
Also published as: WO2023285621A1; US20240338945A1; CA3226740A1; DE102021207568A1

Abstract

System zur Überwachung von technischen Anlagen, umfassend Zeichen (1), die an zu überwachenden Teilen von technischen Anlagen in einer Umgebung angebracht sind, mindestens eine Kamera (2), die Bilddaten der Umgebung erfasst und mit Raumkoordinaten und Aufnahmezeitpunkt versieht, eine Bilddatenbank (4), in der die Bilddaten abgelegt werden, eine Zeichenbibliothek (5), in der eine Vielzahl von Zeichen (1) und diesen zugeordneten Regeln hinterlegt sind, und eine Objekterkennungseinheit (3), die dazu ausgelegt ist Zeichen (1) in den Bilddaten zu erkennen und mit den in der Zeichenbibliothek (4) hinterlegten Zeichen (1) zu vergleichen, wobei bei einer Erkennung eines Zeichens (1) in den Bilddaten dem Zeichen (1) eine Raumkoordinate zugeordnet wird, ein Vergleich mit früheren Bilddaten der Umgebung durchgeführt wird und bei einer Nichteinhaltung einer dem erkannten Zeichen (1) zugeordneten Regel ein Alarm ausgelöst wird.

Description

ÜBERWACHUNG VON DEFINIERTEN OPTISCHEN MUSTERN MITTELS OBJEKTERKENNUNG UND MASCHINELLEN LERNENS

Die Erfindung betrifft ein System zur Überwachung von technischen Anlagen mittels Objekterkennung von definierten optischen Mustern. Des Weiteren wird ein Verfahren zur Überwachung von technischen Anlagen mittels Ob jekterkennung von definierten optischen Mustern beschrieben.

Um die Funktionsfähigkeit und Sicherheit von allen Arten technischer Anlagen zu gewährleisten, ist eine regelmäßige Überwachung notwendig. Dabei kann entweder geschultes Personal den Zustand der Anlagen in festgelegten zeitli chen Abständen überprüfen oder spezifische Sensoren überwachen die Anla gen bezüglich gewisser Kenngrößen, die die Funktionsfähigkeit der Anlagen wiedergeben. Allerdings lassen sich einige Zustände von technischen Anlagen, wie zum Beispiel ob eine Schraube richtig angezogen ist oder sich gelöst hat, nur schwer sensorisch erfassen. Eine optische Überprüfung durch Personal ist andererseits insbesondere an schwer zugänglichen Standorten kostenintensiv. Eine Alternative sind automatisierte optische Überwachungssysteme. Diese sind jedoch in der Regel nicht flexibel genug, um eine Vielzahl von Zuständen, die an einer Anlage auftreten können, zuverlässig zu erfassen, und beschrän ken sich daher auf einzelne Zustände. In der Patentschrift DE 102016214705 Al wird zum Beispiel ein System zur Überwachung des Zustandes von Schraubverbindungen beschrieben. Ein kostengünstiges automatisches Sys tem, das beispielsweise sowohl den Zustand einer Schraubverbindung, als auch den Winkel weiterer Bauteile zueinander, sowie weitere Eigenschaften einer technischen Anlage optisch überwachen kann wäre also von großem Interesse.

Eine Aufgabe der vorliegenden Schutzrechtanmeldung ist es daher, ein sol ches automatisches System zur optischen Überwachung technischer Anlagen vorzuschlagen. Außerdem wird ein einfaches Verfahren zur optischen Über wachung technischer Anlagen vorgeschlagen.

Diese Aufgabe wird durch ein System zur Überwachung technischer Anlagen gemäß dem unabhängigen Anspruch 1 gelöst. Ein Verfahren zur Überwa chung technischer Anlagen ist in Anspruch 10 gegeben. Weitere Ausführungs formen ergeben sich aus den abhängigen Ansprüchen.

Ein System zur Überwachung von technischen Anlagen umfasst

Zeichen, die an zu überwachenden Teilen von technischen Anlagen in einer Umgebung angebracht sind, mindestens eine Kamera, die Bilddaten der Umgebung erfasst und mit Raumkoordinaten und Aufnahmezeitpunkt versieht, eine Bilddatenbank, in der die Bilddaten abgelegt werden, eine Zeichenbibliothek, in der eine Vielzahl von Zeichen und diesen zugeordneten Regeln hinterlegt sind, und eine Objekterkennungseinheit, die dazu ausgelegt ist Zeichen in den Bilddaten zu erkennen und mit den in der Zeichenbibliothek hinterlegten Zei chen zu vergleichen, wobei bei einer Erkennung eines Zeichens in den Bilddaten dem Zeichen eine Raumkoordinate zugeordnet wird, ein Vergleich mit früheren Bilddaten der Umgebung durchgeführt wird und bei einer Nichteinhaltung einer dem erkannten Zeichen zugeordneten Regel ein Alarm ausgelöst wird.

Im Gegensatz zu bekannten optischen Überwachungssystem beschränkt sich die Überwachung nicht auf den Zustand eines spezifischen Bauteils, wie bei spielsweise einer Schraubverbindung, sondern stattdessen auf die Überwa chung von an den Anlagen angebrachten Zeichen. Die Zeichen sind einfache optische Muster, die zum Beispiel auf geometrischen Grundformen basieren können. Diese Zeichen bilden eine definierte Zeichensprache, in der jedem Zeichen eine Regel zugeordnet ist, die sich optisch überprüfen lässt. Diese Regeln können beispielsweise den Rotationszustand oder die Sichtbarkeit ei nes Zeichens betreffen. Die Zeichen sind in Bezug auf ihre Größe und Gestal tung nicht beschränkt, so dass sie sich an eine Vielzahl von Anwendungszwe cken und Umgebungsbedingungen anpassen lassen.

Die Zeichen werden an den zu überwachenden Teilen einer technischen Anla ge angebracht. Sie können dazu als Aufkleber ausgeführt sein oder sie können mit einer Schablone aufgemalt werden. Die Zeichen werden auf Teilen ange bracht, für die die den Zeichen zugeordneten Regeln gelten sollen. So kann beispielsweise an einer Schraubverbindung, die sich nicht lösen soll, ein Zei chen angebracht werden, dem eine Regel zugeordnet ist, die besagt, dass sich das Zeichen nicht in Löserichtung der Schraubverbindung drehen darf.

Mindestens eine Kamera ist zur Überwachung der Anlage eingerichtet. Es könne auch mehrere Kameras verwendet werden, um verschiedene Blickwin kel der Anlage zu erhalten. Es kann sich um eine Kamera mit herkömmlichen optischen Sensoren handeln oder auch um ein Gerät, das, entsprechend be sonderen Anforderungen der Umgebung, Aufnahmen außerhalb des opti schen Spektrums, beispielsweise im Infrarotbreich, machen kann. In festgeleg ten Intervallen erfasst die Kamera Bilddaten der technischen Anlage. Diese Daten werden außerdem mit Informationen über den Aufnahmeort, die Raumkoordinaten, und den Aufnahmezeitpunkt versehen.

Das System umfasst außerdem eine Bilddatenbank. In dieser werden die von der mindestens einen Kamera erfassten Bilddaten abgelegt. Auf diese Weise wird der Vergleich von Bilddaten verschiedener Aufnahmezeitpunkte ermög licht. Die Datenbank kann als lokales Speichermedium angelegt sein, oder über ein Netzwerk mit dem restlichen System verbunden sein.

Die Zeichenbibliothek beschreibt die definierte Zeichensprache. Sie umfasst ein Speichermedium mit einer Datenbank, in der Beispiele aller verwendeten Zeichen abgelegt sind. In der Zeichenbibliothek wird jedem Zeichen mindes tens eine Regel zugeordnet. Die Zeichenbibliothek kann erweiterbar sein.

Kern des Systems ist eine Objekterkennungseinheit, die die von der Kamera erfassten Bilddaten verarbeitet. Die Objekterkennungseinheit benutzt eine Kombination aus statischen und dynamischen Algorithmen um die definierten Zeichen in den Bilddaten zu erkennen. Dabei erkennt sie Zeichen auf Grund ihrer Form- und Farbgebung und Reflektionseigenschaften. Die Objekterken nungseinheit ist außerdem dazu ausgelegt, den Zustand des erkannten Zei chens, also beispielsweise eine Rotation oder Verschmutzung, zu erfassen. Dabei kann eine Vielzahl von verschiedenen Methoden zum Einsatz kommen. Die Wahl einer Methode zur Erkennung der Zeichen kann in Abhängigkeit von den Eigenschaften der Umgebung und den Eigenschaften der definierten Zei chen getroffen werden. Die Objekterkennungseinheit kann ein Rechner sein, die eine spezialisierte Software ausführt. Es kann sich jedoch auch um ein Netzwerk von Rechnern oder um eine spezialisierte Elektronik handeln.

Erkennt die Objekterkennungseinheit in den Bilddaten ein in der Zeichenbibli othek hinterlegtes Zeichen, so bestimmt sie dessen Raumkoordinaten aus den Bilddaten. Des Weiteren wird ein Vergleich mit Bilddaten, die in derselben Umgebung zu einem früheren Aufnahmezeitpunkt erfasst wurden, durchge führt. Wird das Zeichen in dieser Umgebung das erste Mal erfasst, so handelt es sich um ein Zeichen, das neu an der zu überwachenden Anlage angebracht wurde. Die Bilddaten werden daraufhin in der Bilddatenbank abgespeichert und sind dort für spätere Vergleiche verfügbar. Wird ein Zeichen zum zweiten oder wiederholten Mal in den Bilddaten an einer Raumkoordinate erkannt, so überprüft die Objekterkennungseinheit die Einhaltung der für dieses Zeichen in der Zeichenbibliothek hinterlegten Regel. Wird die Regel in den neu erfass ten Bilddaten eingehalten, so kommt es zu keiner weiteren Aktion. Erkennt die Objekterkennungseinheit jedoch eine Änderung im Zustand des Zeichens, die der hinterlegten Regel widerspricht, so gibt das System ein Alarmsignal aus. Auf Grund des Alarmsignals kann dann eine Wartung der Anlage durchge führt oder andere notwendige Schritte eingeleitet werden.

Durch die Überwachung der an der technischen Anlage angebrachten Zeichen kann das System auf einfache Weise auch den Zustand der technischen Anla ge überwachen. Dabei ist das System äußerst flexibel, da die Zeichenbiblio thek jederzeit erweitert werden kann und neue Zeichen an der Anlage ange bracht werden können. Da den Zeichen eine Vielzahl verschiedener Regeln zugeordnet werden können, ist das System auch nicht auf die Überwachung eines einzelnen Zustandes beschränkt. Da das System vollständig automatisch arbeitet, kann die Überwachung in beliebigen Intervallen oder dauerhaft stattfinden.

Die mindestens eine Kamera kann fix installiert sein. Dies vereinfacht die Be stimmung der Raumkoordinaten der Bilddaten und der darin erkannten Zei chen, da die Position der Kamera und ihr Blickwinkel genau festgelegt werden kann. In dieser Ausführung können eine oder mehrere Überwachungskameras in der Umgebung der zu überwachenden technischen Anlage angebracht werden, um verschieden Blickwinkel zu erfassen.

Die mindestens eine Kamera kann jedoch auch mobil ausgeführt sein. Sie kann beispielweise an einer Drohne oder einem Roboterarm befestigt sein, oder als Teil eines Handgeräts, wie beispielsweise eines Smartphones, ausgeführt sein. Eine solche Ausführung der Kamera ermöglicht eine Überprüfung von techni schen Anlagen auch an schwer zugänglichen Positionen in festgelegten Inter vallen. Dennoch müssen dabei auch zur Überwachung größerer Anlagen nicht mehrere Kameras fest installiert werden. Insbesondere bei einer Ausführung der Kamera in einer Drohne kann das System dazu ausgelegt sein, autonom zu arbeiten.

Je nach Ausführung der mindestens einen Kamera kann diese eine Vorrich tung zu Positionsbestimmung, eine Vorrichtung zu zur Bestimmung des Auf nahmewinkels und eine Vorrichtung zur Entfernungsbestimmung umfassen. Eine Vorrichtung zur Positionsbestimmung dient dazu, die erfassten Bilddaten mit Raumkoordinaten zu versehen. Dies ist insbesondere bei mobilen Ausfüh- rungen der Kamera, bei denen die Position der Kamera nicht festgelegt ist, notwendig. Es kann sich beispielsweise einfach um ein System zu Positionsbe stimmung über GPS handeln. Über eine Vorrichtung zur Entfernungsbestim mung können die Abstände der in der Umgebung erkannten Zeichen zu der

5 Kamera bestimmt werden. Um die Raumkoordinaten der Zeichen bestimmen zu können, ist dann außerdem noch der Aufnahmewinkel der Kamera not wendig. Eine Vorrichtung zur Bestimmung des Aufnahmewinkels kann bei spielweise auf Beschleunigungssensoren oder auf einem Kreiselkompass ba sieren.

10

Die Vorrichtung zur Entfernungsmessung kann beispielweise einen Laserent fernungsmesser umfassen. Durch diesen können die Abstände er mindestens einen Kamera zu dem Teilen der technischen Anlage, von denen Bilddaten erfasst werden, zuverlässig bestimmt werden. Die Entfernungsmessung kann

15 auch rein optisch, über die Fokuseinstellung der Kamera, erfolgen. Bei han delsüblichen modernen Digital-Kameras wird eine solche Entfernungsmessung zur Einstellung des Autofokus meist durch eine Kantenkontrastmessung oder durch einen Phasenvergleich durchgeführt.

20 Die an einer technischen Anlage angebrachten Zeichen können so beschaffen sein, dass sie sich durch ihre Farbgebung und Reflektionseigenschaften be sonders gut von ihrer Umgebung abheben. Dies vereinfacht die Erkennung der Zeichen durch die Objekterkennungseinheit. Es können beispielsweise Farben verwendet werden, die in der Umgebung ansonsten nicht Vorkommen, oder

25 stark reflektierend oder fluoreszierend wirken. Ebenso können die Zeichen als Aufkleber ausgeführt sein, die aus Materialien bestehen, die durch ihre Ober flächeneigenschaften eine besonders gute Sichtbarkeit erzielen.

Die verwendete Zeichensprache kann so definiert sein, dass die zugeordneten

BO Regeln nicht nur einzelne Zeichen betreffen, sondern auch mehrere Zeichen zueinander in Beziehungen setzen kann. So können auch Regeln bezüglich dem Abstand oder Winkel zweier Zeichen zueinander aufgestellt werden. Die Zeichenbibliothek ordnet den entsprechenden Zeichen diese Regeln dann jeweils zu.

35

Die Objekterkennungseinheit kann ein auf maschinellen Lernen basierendes Modell nutzen, um die festgelegten Zeichen in den Bilddaten zu erkennen. Ein solches Modell muss zunächst darauf trainiert werden, die Zeichen zu erken nen, bietet dann jedoch eine größere Flexibilität bezüglich der Aufnahmewin kel und Umgebungseinflüsse unter denen die Zeichen erkannt werden kön nen. Während die Erkennung der Zeichen in dem Bilddaten durch ein solches Modell erfolgen kann, kann die Zuordnung der erkannten Zeichen zu den in der Zeichenbibliothek hinterlegten Zeichen und Regeln weiterhin durch stati sche Algorithmen erfolgen.

Das gesamte System zur Überwachung von technischen Anlagen kann als ein Rechner ausgeführt sein, der die Objekterkennungseinheit, die Bilddatenbank und die Zeichenbibliothek umfasst, beziehungsweise entsprechende Pro gramme ausführt, und mit der mindestens einen Kamera zur Erfassung der Bilddaten verbunden ist. Ein solcher Rechner kann lokal am Ort der Überwa chung vorhanden sein. Es kann sich jedoch auch um einen Zentralrechner handeln, der über ein Netzwerk die Daten von einer Vielzahl von statischen oder beweglichen Kameras empfängt und so die gleichzeitige Überwachung von mehreren technischen Anlagen ermöglicht.

Ein Verfahren zur Überwachung von technischen Anlagen umfasst die folgen den Schritte: optische Erfassung einer Umgebung durch eine Kamera zur Produktion von Bilddaten,

Vorbereitung der Bilddaten durch eine Objekterkennungseinheit, wo bei die Bilddaten mit Raumkoordinaten und Aufnahmezeitpunkt versehen werden,

Erkennung von Zeichen in den Bilddaten durch die Objekterkennungs einheit, wobei den Zeichen eine Raumkoordinate zugeordnet wird,

Zuordnung von erkannten Zeichen zu in einer Zeichenbibliothek hinter legten Zeichen,

Vergleich der erkannten Zeichen mit Bilddaten die an denselben Raumkoordinaten an früheren Aufnahmezeitpunkten erfasst wurden, und

Auswertung der erkannten Zeichen, wobei wenn in den Bilddaten früherer Aufnahmezeitpunkte keine Zei chen vorliegen oder in den Bilddaten früherer Aufnahmezeitpunkte ein er kanntes Zeichen nicht erkannt wurde, die Bilddaten abgespeichert werden, wenn die erkannten Zeichen in den Bilddaten früherer Auf nahmezeitpunkte erkannt wurden und keine Änderung erkannt wird, die ge gen eine den erkannten Zeichen zugeordnete Regel verstößt, keine weiteren Aktionen ausgeführt werden, wenn die erkannten Zeichen in den Bilddaten früherer Auf nahmezeitpunkte erkannt wurden und eine Änderung erkannt wird, die gegen eine den erkannten Zeichen zugeordnete Regel verstößt, ein Alarm ausgelöst wird.

In einem ersten Schritt werden Bilddaten der Umgebung durch eine Kamera erfasst. Diese Bilddaten werden an die Objekterkennungseinheit weitergelei tet, wo sie in einem zweiten Schritt zur weiteren Verarbeitung vorbereitet werden. Insbesondere werden sie dabei mit Raumkoordinaten und Aufnah mezeitpunkt versehen. In einem dritten Schritt führt die Objekterkennungs einheit die Algorithmen zur Erkennung der definierten Zeichen in den Bildda ten durch. Dabei werden den erkannten Zeichen Raumkoordinaten, die aus den Bilddaten berechnet werden. Die erkannten Zeichen werden in einem vierten Schritt den in der Zeichenbibliothek hinterlegten Zeichen zugeordnet. Den in der Zeichenbibliothek hinterlegten Zeichen sind jeweils Regeln zuge ordnet. Wird also ein Zeichen in den Bilddaten erkannt und einem in der Zei chenbibliothek definierten Zeichen erfolgreich zugeordnet, so ist auch be kannt, welche Regel für das erkannte Zeichen gelten soll. In einem fünften Schritt werden die Bilddaten mit an denselben Raumkoordinaten aufgenom menen Bilddaten früherer Aufnahmezeitpunkte verglichen. Bei der im sechs ten Schritt folgenden Auswertung kann es so zu drei verschiedenen Ergebnis sen kommen. Wurde in den Bilddaten des früheren Aufnahmezeitpunkts kein Zeichen erkannt oder ist ein in den neuen Bilddaten erkanntes Zeichen nicht vorhanden, so werden die neuen Bilddaten abgespeichert, um zu einen späte ren Zeitpunkt einen Vergleich mit diesen und somit eine Überprüfung der Ein haltung der Regeln des erkannten Zeichens zu ermöglichen. Wurde das er kannte Zeichen auch in den Bilddaten früherer Aufnahmezeitpunkte erkannt, so wird überprüft, ob der Zustand des in den neuen Bilddaten erkannten Zei chens die dem Zeichen zugeordneten Regeln entspricht. Ist dies der Fall, so kommt es zu keiner Aktion und die Überwachung kann kontinuierlich oder zu einem späteren Zeitpunkt fortgesetzt werden. Wird jedoch eine Änderung an dem Zeichen erkannt, die gegen eine dem Zeichen zugeordnete Regel ver- stößt, so wird ein Alarmsignal ausgegeben.

Der zweite Schritt der Vorbereitung der Bilddaten zur weiteren Verarbeitung kann zusätzlich umfassen, dass die Bilddaten mit Daten versehen werden, die

5 die Raumkoordinaten der aufnehmenden Kamera, die Entfernung der Kamera zu der erfassten technischen Anlage und ihren Aufnahmewinkel angeben. Aus diesen Daten lassen sich dann die Raumkoordinaten der erkannten Zeichen bestimmen.

10 Der zweite Schritt der Vorbereitung der Bilddaten zur weiteren Verarbeitung kann außerdem umfassen, dass die Bilddaten zunächst vorverarbeitet und gefiltert werden. Dabei können beispielweise der Kontrast angepasst und ge wisse Farben gefiltert werden oder Algorithmen zur Rauschunterdrückung oder zur Kantendetektion verwendet werden.

15

Um die definierten Zeichen ebenfalls im Schritt der Erkennung leichter er kennbar zu machen, können diese so beschaffen sein, dass sie sich durch ihre Farbgebung und Reflektionseigenschaften besonders gut von ihrer Umgebung abheben. Es können beispielsweise Farben verwendet werden, die in der Um

20 gebung ansonsten nicht Vorkommen, oder stark reflektierend oder fluoreszie rend wirken. Ebenso können die Zeichen als Aufkleber ausgeführt sein, die aus Materialien bestehen, die durch ihre Oberflächeneigenschaften eine beson ders gute Sichtbarkeit erzielen.

25 Bei der Zuordnung der erkannten Zeichen zu den in einer Zeichenbibliothek hinterlegten Zeichen kann die Zeichenbibliothek den Zeichen auch Regeln zuordnen, die mehrere Zeichen zueinander in Bezug setzen. Auf diese Weisen können die Regeln auch Beziehungen zwischen zwei Zeichen wie Abstand o- der Winkel betreffen.

BO

Im Schritt der Erkennung der Zeichen in den Bilddaten kann ein auf maschinel len Lernen basierendes Modell genutzt werden, um die festgelegten Zeichen in den Bilddaten zu erkennen. Ein solches Modell muss zunächst darauf trai niert werden, die Zeichen zu erkennen, bietet dann jedoch eine größere Flexi

35 bilität bezüglich der Aufnahmewinkel und Umgebungseinflüsse unter denen die Zeichen erkannt werden können. Während die Erkennung der Zeichen in dem Bilddaten durch ein solches Modell erfolgen kann, kann die Zuordnung der erkannten Zeichen zu den in der Zeichenbibliothek hinterlegten Zeichen und Regeln weiterhin durch statische Algorithmen erfolgen.

Das beschriebene System, sowie Verfahren, zur Überwachung von techni schen Anlagen ermöglichen eine kostengünstige automatische Überwachung von technischen Anlagen. Daher können das System und das Verfahren viel fältige Anwendungsmöglichkeiten finden, wenn es darum geht die Sicherheit von technischen Anlagen zu verbessern und ihre Wartung einfacher planbar zu machen. Insbesondere kann ein solches System an Orten eingesetzt wer den, die für menschliches Personal schwer zugänglich oder gefährlich wären.

Die beschriebenen Ausführungsformen der Gegenstände der vorliegenden Anmeldung können dabei sowohl einzeln verwendet als auch kombiniert wer den, um zusätzliche Effekte zu erzielen und ein einfaches und flexibles System und Verfahren zur Überwachung von technischen Anlagen mittels Objekter kennung von definierten optischen Mustern zu erbringen.

Die erwähnten, sowie weitere Aspekte der Erfindung werden ersichtlich an hand der detaillierten Beschreibung der Ausführungsbeispiele, die mit Hilfe der folgenden Zeichnungen gegeben wird, von welchen:

Fig. 1 eine schematische Übersicht über ein erfindungsgemäßes Sys tem zur Überwachung von technischen Anlagen darstellt,

Fig. 2a, 2b, und 2c Beispiele für die definierten Zeichen darstellen, und Fig. 3 den Ablauf des Verfahrens zur Überwachung von technischen Anlagen darstellt.

Im Folgenden sollen die beanspruchten Gegenstände auf Basis der begleiten den Zeichnungen näher erläutert werden. Dabei beziehen sich gleiche Bezugs zeichen auf gleiche Elemente.

In Fig. 1 ist eine schematische Übersicht über eine Ausführungsform des Sys tems zur Überwachung von technischen Anlagen dargestellt. Ein Zeichen 1 ist an einer technischen Anlage oder in der Umgebung einer technischen Anlage angebracht. Die Kamera erfasst die Umgebung der technischen Anlage op- tisch. Dazu kann die Kamera 2 fest in der Umgebung installiert sein oder mo bil, beispielsweise als Teil einer Drohne ausgeführt sein. Ist sie fest installiert, so ist ihre Position bekannt und auch ihr Aufnahmewinkel sowie ihre Entfer nung zu verschiedenen Teilen der technischen Anlage können leicht berech net oder vermessen werden. Bei einer mobilen Ausführung der Kamera 2 ist eine zusätzliche Bestimmung der Position der Kamera 2, von Aufnahmewinkel und Entfernung zu den erfassten Objekten notwendig. Sowohl eine statische als auch eine mobile Ausführung der Kamera 2 kann daher über eine Vorrich tung zur Positionsbestimmung 6, beispielsweise einen GPS-Empfänger, eine Vorrichtung zur Bestimmung des Aufnahmewinkels 7, beispielweise einen Beschleunigungssensor, und eine Vorrichtung zur Entfernungsmessung 8, bei spielsweise einen Laserentfernungsmesser, verfügen. Alternativ kann die Ent fernungsmessung zum Beispiel auch über die Fokuseinstellung der Kamera 2 bestimmt werden. Auf diese Weise lassen sich den von der Kamera 2 erfass ten Bilddaten präzise Informationen zuordnen, aus den im weiteren Verlauf die Raumkoordinaten der in den Bilddaten erfassten Objekte berechnet wer den können. Eine interne Uhr erfasst außerdem den Aufnahmezeitpunkt der Bilddaten.

Die Bilddaten werden von der Kamera 2 an eine Objekterkennungseinheit 3 weitergeleitet. Diese ist in der dargestellten Ausführungsform zusammen mit der Bilddatenbank 4 und der Zeichenbibliothek 5 Teil eines Rechners 9. Diese Elemente müssen jedoch nicht Teil eines einzelnen Rechners sein, es kann sich auch um ein Netzwerk aus Rechnern oder spezialisierten Schaltungen an un terschiedlichen Orten handeln. Ebenso kann die Datenübertragung von Kame ra 2 zu Objekterkennungseinheit 3 über eine Kabelverbindung geschehen, sie kann jedoch genauso gut per drahtloser Datenübertragung erfolgen. Die Da- tenübertagung kann dabei ebenfalls über größere vernetzte Strukturen, wie das Internet erfolgen.

In der Objekterkennungseinheit 3 kann eine Vorverarbeitung der Bilddaten stattfinden. Dabei können verschiedene Algorithmen auf die Bilddaten ange wendet werden, um störende Effekte, wie Rauschen, aus den Daten zu ent fernen oder um für die Objekterkennung vorteilhafte Elemente, wie Kanten, hervorzuheben. Es kann auch sinnvoll sein, gewisse Farbfilter auf die erfasste Bilddaten anzuwenden, wenn die zu erkennenden Zeichen eine entsprechen- de Farbgebung aufweisen.

Die eigentliche Objekterkennung kann dann durch die Verwendung eines auf maschinellen Lernen basierenden Modells erfolgen, das mit Hilfe der definier

5 ten Zeichen trainiert wurde. Das Modell erkennt daraufhin die Zeichen an spezifischen Eigenschaften. Durch die Verwendung eines solchen Modells ergibt sich eine höhere Flexibilität in der Objekterkennung gegenüber Einflüs sen der Umgebung, wie schlechter Beleuchtung des zu erfassenden Objekts oder gewisse Aufnahmewinkel. Wird in den Bilddaten ein Zeichen 1 erkannt,

10 so bestimmt die Objekterkennungseinheit mit Hilfe der zusätzlichen Informa tionen der Bilddaten die Raumkoordinaten des erkannten Zeichens 1.

Die Zeichenbibliothek 5 umfasst eine Vielzahl von Definitionen von Zeichen und ordnet ihnen Regeln zu. Im Vergleich mit den in der Zeichenbibliothek 5

15 hinterlegten Zeichen können dem erkannten Zeichen 1 so als eines der defi nierten Zeichen erkannt werden und diesem ebenfalls eine Regel zugeordnet werden.

Um die Einhaltung dieser Regel zu überprüfen, werden die erfassten Bilddaten

20 mit in der Bilddatenbank 4 gespeicherten Bilddaten vergleichen, die zu frühe ren Aufnahmezeitpunkten an den Raumkoordinaten des erkannten Zeichens erfasst wurden. Wird dabei ein Verstoß gegen die zugeordnete Regel festge stellt, so wird ein Alarmsignal ausgegeben, um beispielsweise eine Wartung einzuleiten. Unabhängig vom Ausgang der Überprüfung könne die erfassten

25 Bilddaten in der Bilddatenbank 4 abgespeichert werden, um einen späteren Vergleich zu ermöglichen.

Um die zu überwachenden technischen Anlagen zu markieren und deren Zu stände zu erkennen, wird eine definierte Zeichensprache verwendet. In Fig.

BO 2a, 2b und 2c werden Beispiele für solche Zeichen gezeigt. Die gezeigten Bei spiele basieren alle auf einem mit einem Ausschnitt versehenen Kreis, es sind jedoch auch andere geometrische Grundformen für eine solche Zeichenspra che denkbar, die gut für Objekterkennung geeignet sind. Um eine zuverlässige Objekterkennung zu ermöglichen, sind die Zeichen möglichst einfach aufge

35 baut. Die Zeichen müssen außerdem in ihrer Form- und Farbgebung so gestal tet sein, dass sie gut in ihrer Umgebung erkennbar und dabei klar voneinander zu unterscheiden sind. Jedem Zeichen oder Paaren oder Gruppen von Zeichen sind Regeln zugeordnet, die dazu dienen den Zustand der zu überwachenden technischen Anlage zu bewerten.

Dem in Fig. 2a dargestellten Zeichen ist beispielsweise die Regel „Dieses Zei chen darf nicht um die Normale seiner Ebene rotieren" zugeordnet. Wird die ses Zeichen also auf einer Schraubverbindung angebracht, so überwacht das System effektiv ob diese eine Rotationbewegung ausführt und sich möglich erweise löst. Durch die Formgebung des Zeichens lässt sich dabei eine Rotati on besonders leicht feststellen.

Fig. 2b zeigt eine Kombination aus zwei Zeichen, die durch die Regel „Der Winkel zwischen diesen beiden Zeichen darf sich nicht verändern" zueinander in Beziehung gesetzt werden. Diese zwei Zeichen können so auf zwei Bautei len einer Anlage angebracht werden, die sich nicht in ihrem Winkel zueinan der bewegen dürfen. Die Bestimmung der Winkelbeziehung zwischen den beiden Zeichen wird durch die Doppelstriche in den Kreisausschnitten der Zeichen ermöglicht.

Die Zeichen können auch nicht-geometrische Bedeutungen haben. Dem in Fig. 2c gezeigten Zeichen kann beispielsweise die Regel „Dieses Zeichen muss nach seiner ersten Erfassung immer sichtbar sein". Somit kann dieses Zeichen ver wendet werden, um die Verschmutzung einer Oberfläche, beispielsweise durch eine Leckage, zu überwachen. Das Zeichen könnte auch benutzt wer den, um eine unsachgemäße Bewegung eines Bauteils zu erkennen oder um einen Notausgang, der freigehalten werden muss, zu markieren.

Durch die Verwendung einer solchen Zeichensprache lassen sich so also eine Vielzahl von Zuständen einer technischen Anlage überwachen, die ansonsten schwierig automatisch zu kontrollieren sind oder sehr spezifische Sensoren benötigen. Außerdem ist ein System, das solche Zeichen und auf maschinellen Lernen basierte Objekterkennung nutzt, äußerst flexibel. Es können zum Bei spiel mehrere Zeichen gleichzeitig in Bilddaten erkannt werden und zueinan der in Bezug gesetzt werden. Außerdem lässt sich eine Zeichenbibliothek 5 erweitern und neue Zeichen können ohne großen technischen Aufwand an bereits bestehenden technischen Anlagen angebracht werden. Der Ablauf des Verfahrens zur Überwachung von technischen Anlagen soll noch einmal in Bezug auf das Diagramm in Fig. 3 beschrieben werden. In ei nem ersten Schritt S1 wird eine Bilderfassung durch eine Kamera 2 durchge führt. Eine solche Bilderfassung kann kontinuierlich oder in festgelegten Ab ständen erfolgen. Die von der Kamera 2 bereitgestellten Bilddaten werden an eine Objekterkennungseinheit 3 weitergegeben, die die Schritte S2 und S3 ausführt.

Im zweiten Schritt S2 werden die Bilddaten zunächst für die weitere Verarbei tung vorbereitet. Diese Vorbereitung S2 umfasst, dass die Bilddaten mit In formationen zu Aufnahmezeitpunkt, den Raumkoordinaten des Aufnahme orts, Aufnahmewinkel und der Entfernung der aufgenommenen Objekte zu der Kamera versehen werden. Die Vorbereitung S2 der Bilddaten kann auch eine Vorverarbeitung umfassen, in der störende Effekte aus den Bilddaten gefiltert werden oder Algorithmen zu Kantenerkennung auf diese angewendet werden, um die Bilddaten für die eigentliche Objekterkennung in Schritt S3 vorzubereiten.

Die Zeichenerkennung S3 kann insbesondere auf einem Modell zum maschi nellen Lernen beruhen, dass trainiert wurde, um die definierten Zeichen unter verschiedenen Umständen zu erkennen. So lässt sich eine besonders gute Erkennung bei gleichzeitig hoher Flexibilität des Systems gewährleisten.

Wird ein Zeichen in den Bilddaten erkannt, so geht das Verfahren in Schritt S4 weiter, in dem das erkannte Zeichen einem in der Zeichenbibliothek 5 hinter legten Zeichen zugeordnet wird. Eine solche Zuordnung kann durch die Ver wendung statischer Algorithmen erfolgen. Gleichzeitig wird dem erkannten Zeichen somit eine Regel zugeordnet.

Um die Einhaltung dieser Regel zu überprüfen, wird in Schritt S5 ein Vergleich zwischen den erfassten Bilddaten, in denen ein Zeichen erkannt wurde, und Bilddaten, die zu einem früheren Aufnahmedatum an denselben Raumkoordi naten erfasst wurden, durchgeführt. Gibt es keine früheren Bilddaten oder wurde in diesen das erkannte Zeichen nicht erfasst, so bedeutet dies, dass ein das Verfahren für diese Umgebung das erste Mal durchgeführt wurde oder ein Zeichen neu an einer Anlage angebracht wurde. Die erfassten Bilddaten werden daher in Schritt S6.1 in der Bilddatenbank 4 abgespeichert, um einen späteren Vergleich zu ermöglichen. Wurde das in den neuen Bilddaten er kannte Zeichen bereits in Bilddaten früherer Aufnahmezeitpunkte erkannt, aber es lässt sich keine Änderung feststellen, die gegen die dem Zeichen zu geordnete Regel verstößt, so gibt es in Schritt S6.2 keinen Aktionsbedarf. Ergibt der Vergleich der neuen und alten Bilddaten jedoch, dass eine Ände rung an der technischen Anlage stattgefunden hat, die gegen die dem Zeichen zugeordnete Regel verstößt, so wird in Schritt S6.3 ein Alarm ausgelöst.

Der in Fig. 3 dargestellte Ablauf wurde hier am Beispiel eines einzelnen Zei chens beschrieben. Natürlich können aber auch mehrere definierte Zeichen in den Bilddaten erkannt werden. Dabei kann die Verarbeitung der einzelnen Zeichen nacheinander oder parallel stattfinden. Insbesondere können mehre- re Zeichen in einer Umgebung erkannt werden und, wie bereits erwähnt, durch Regeln zueinander in Beziehung gesetzt werden.

Die hier gezeigten Ausführungsbeispiele sind nicht begrenzend. Insbesondere können die Merkmale dieser Ausführungsbeispiele miteinander kombiniert werden, um zusätzliche Effekte zu erzielen. Für den Fachmann ist offensicht lich, dass Änderungen an diesen Ausführungsbeispielen vorgenommen wer den können, ohne die grundlegenden Prinzipien des Gegenstandes dieser Schutzanmeldung zu verlassen, deren Bereich in den Ansprüchen definiert ist.

Claims

Patentansprüche

1. System zur Überwachung von technischen Anlagen, umfassend

Zeichen (1), die an zu überwachenden Teilen von technischen Anlagen in einer Umgebung angebracht sind, mindestens eine Kamera (2), die Bilddaten der Umgebung er fasst und mit Raumkoordinaten und Aufnahmezeitpunkt versieht, eine Bilddatenbank (4), in der die Bilddaten abgelegt werden, eine Zeichenbibliothek (5), in der eine Vielzahl von Zeichen (1) und diesen zugeordneten Regeln hinterlegt sind, und eine Objekterkennungseinheit (3), die dazu ausgelegt ist Zei chen (1) in den Bilddaten zu erkennen und mit den in der Zeichenbibli othek (4) hinterlegten Zeichen (1) zu vergleichen, wobei bei einer Erkennung eines Zeichens (1) in den Bilddaten dem Zeichen (1) eine Raumkoordinate zugeordnet wird, ein Vergleich mit früheren Bilddaten der Umgebung durchge führt wird und bei einer Nichteinhaltung einer dem erkannten Zeichen (1) zu geordneten Regel ein Alarm ausgelöst wird.

2. System nach Anspruch 1, dadurch gekennzeichnet, dass die mindes tens eine Kamera (2) fix installiert ist.

3. System nach Anspruch 1, dadurch gekennzeichnet, dass die mindes tens eine Kamera (2) mobil ist.

4. System nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass die mindestens eine Kamera (2) eine Vorrichtung zur Po sitionsbestimmung (6), eine Vorrichtung zur Bestimmung des Aufnah mewinkels (7) und eine Vorrichtung zur Entfernungsmessung (8) um fasst, um die Raumkoordinaten der Bilddaten zu bestimmen.

5. System nach Anspruch 4, dadurch gekennzeichnet, dass die Entfer nungsmessung (8) durch einen Laserentfernungsmesser oder durch eine Fokuseinstellung der mindestens einen Kamera erfolgt.

6. System nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass die Zeichen (1) durch ihre Farbgebung und Reflektions- eigenschaften gut von der Umgebung zu unterscheiden sind.

7. System nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass die Zeichenbibliothek Zeichen (1) Regeln zuordnet, die mehrere Zeichen (1) zueinander in Bezug setzen.

8. System nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass die Objekterkennungseinheit (3) ein auf maschinellen Lernen basiertes Modell nutzt um die Zeichen (1) in den Bilddaten zu erkennen.

9. System nach einem der vorhergehenden Ansprüche, dadurch gekenn zeichnet, dass die Bilddatenbank (4), die Zeichenbibliothek (5) und die Objekterkennungseinheit (3) Teile eines Rechners (9) sind, der über ein Netzwerk mit der mindestens einen Kamera (2) verbunden ist.

10. Verfahren zur Überwachung von technischen Anlagen umfassend die Schritte optische Erfassung einer Umgebung (Sl) durch eine Kamera zur Produktion von Bilddaten,

Vorbereitung der Bilddaten (S2) durch eine Objekterkennungs einheit, wobei die Bilddaten mit Raumkoordinaten und Aufnahmezeit punkt versehen werden,

Erkennung von Zeichen (S3) in den Bilddaten durch die Ob jekterkennungseinheit, wobei den Zeichen eine Raumkoordinate zuge ordnet wird,

Zuordnung von erkannten Zeichen (S4) zu in einer Zeichenbibli othek hinterlegten Zeichen,

Vergleich der erkannten Zeichen (S6) mit Bilddaten die an den selben Raumkoordinaten an früheren Aufnahmezeitpunkten erfasst wurden, und

Auswertung (S6) der erkannten Zeichen, wobei wenn in den Bilddaten früherer Aufnahmezeitpunkte keine Zeichen vorliegen oder in den Bilddaten früherer Aufnahmezeit punkte ein Zeichen nicht erkannt wurde, die Bilddaten abgespeichert werden (S6.1), wenn die erkannten Zeichen in den Bilddaten früherer Aufnahmezeitpunkte erkannt wurden und keine Änderung erkannt wird, die gegen eine den erkannten Zeichen zugeordnete Regel ver stößt, keine weiteren Aktionen ausgeführt werden (S6.2), wenn die erkannten Zeichen in den Bilddaten früherer Aufnahmezeitpunkte erkannt wurden und eine Änderung erkannt wird, die gegen eine den erkannten Zeichen zugeordnete Regel ver stößt, ein Alarm ausgelöst wird (S6.3).

11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Bildda ten mit Raumkoordinate versehen werden, die eine Position der Ka rner, eine Entfernungsmessung und einen Aufnahmewinkel umfassen.

12. Verfahren nach einem der Ansprüche 10 oder 11, dadurch gekenn zeichnet, dass der Schritt der Vorbereitung der Bilddaten (S2) zusätz lich eine Vorverarbeitung und ein Filtern der Bilddaten umfasst.

13. Verfahren nach einem der Ansprüche 10 bis 12, dadurch gekennzeich net, dass die Zeichen durch ihre Farbgebung und Reflektionseigen- schaften gut von der Umgebung zu unterscheiden sind.

14. Verfahren nach einem der Ansprüche 10 bis 13, dadurch gekennzeich net, dass den Zeichen Regeln zugeordnet sind, die mehrere Zeichen zu einander in Bezug setzen.

15. Verfahren nach einem der Ansprüche 10 bis 14, dadurch gekennzeich net, dass zur Erkennung der Zeichen in den Bilddaten ein auf maschi nellen Lernen basiertes Modell verwendet wird