DE10002085A1 - Verfahren und Vorrichtung zum Überwachen von Objekten - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Überwachen von Objekten. Die Erfindung eignet sich sowohl für die Überwachung von automatisierten Produktionsabläufen als auch für die sicherheitstechnische Überwachung von Maschinen. Das Verfahren zum Überwachen von Objekten umfaßt die Verfahrensschritte: Definieren von Objektklassen, optisches Erfassen der zu überwachenden Objekte, Erzeugen eines Bildes dieser Objekte, Zerlegen dieses Bildes in Bildsegmente, Zusammenfassen benachbarter Bildelemente mit gleichen Eigenschaften zu Objektbereichen, Ableiten von Klassifikationsmerkmalen der Objektbereiche und Zuordnen der Objektbereiche zu den Objektklassen.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Überwachen von Objek­ ten.

Aus sicherheitstechnischen Gründen ist die Überwachung von Arbeitsräumen an Ma­ schinen und Anlagen, insbesondere zum Schutz von Personen, aber auch zum Schutz der Maschinen und Anlagen, erforderlich. Solche Maschinen sind beispielsweise Biege- und Abkantpressen sowie Sondermaschinen, wie Druckereimaschinen, Maschinen zur Papierherstellung, Walzen und Maschinen zur Gummiverarbeitung.

Es ist bekannt, zur sicherheitstechnischen Überwachung von Arbeitsräumen berüh­ rungslos wirkende Schutzreinrichtungen, wie z. B. Lichtschranken, Lichtgittern und La­ serscanner, einzusetzen. Darüber hinaus wird der Schutz von Personen durch Zu­ gangssicherungen, wie z. B. durch feste oder bewegliche Verkleidungen und Verdeckun­ gen, Umhausungen und Einzäunungen, gewährleistet.

Solche Schutzeinrichtungen behindern und erschweren aber die Bedienung von Ma­ schinen, wodurch der Anreiz entsteht, diese Schutzeinrichtungen außer Kraft zu setzen oder zu umgehen. Da dies meist mit relativ geringem Aufwand möglich ist, kommt es deshalb immer wieder zu schweren Unfällen. Ferner können diese herkömmlichen Schutzeinrichtungen üblicherweise nur mit hohem Aufwand an neue bzw. veränderte Situationen und Umgebungsbedingungen des Gefahrenraumes angepaßt werden. Beim Einrichten der Maschinen müssen die Sicherheitseinrichtungen zum Teil außer Kraft gesetzt werden. Schließlich eignen sich die bekannten Schutzeinrichtungen nicht zur Überwachung von großflächigen Gefahrenräumen, wie sie im Umfeld von Kränen und Robotern vorkommen, sondern lediglich zur Überwachung von relativ kleinen Arbeits­ räumen an Maschinen und Anlagen.

Bei der Überwachung von Straßenverkehr werden optische Überwachungssysteme mit automatischer Bildauswertung eingesetzt. Diese Systeme verwenden allerdings anwen­ dungsspezifische Auswertealgorithmen, die den obenbeschriebenen Anforderungen funktionell nicht gerecht werden.

Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung an­ zugeben, mit denen Objekte zuverlässig überwacht werden können. Das Verfahren und die Vorrichtung sollen vorzugsweise flexibel an veränderliche Umgebungsbedingungen anpaßbar sein.

Ferner sollen das Verfahren und die Vorrichtung sowohl für eine sicherheitstechnische Überwachung als auch für eine Überwachung von Produktionsflüssen in automatisierten Anlagen geeignet sein.

Diese Aufgaben werden durch ein Verfahren mit den im Patentanspruch 1 angegebenen Merkmalen und durch eine Vorrichtung mit den im Patentanspruch 7 angegebenen Merkmalen gelöst.

Vorteilhafterweise vermeidet die Erfindung die Behinderung bei der Bedienung von Ma­ schinen und Anlagen. Darüber hinaus ist das Außerkraftsetzen des Überwachungssy­ stems mit Hilfe der Erfindung erschwert, wodurch eine höhere Sicherheit gewährleistet wird. Ein weiterer Vorteil der Erfindung besteht darin, daß das Verfahren bzw. die Vor­ richtung leicht an neue oder veränderte Situationen bzw. Umgebungsbedingungen des Gefahrenraumes angepaßt werden können. Die erfindungsgemäße Vorrichtung ist au­ ßerdem einfach zu installieren und zeichnet sich durch relativ geringe Anschaffungsko­ sten aus.

In einer vorteilhaften Ausgestaltung der Erfindung wird aufgrund des Verhaltens der überwachten Objekte ein Sicherheitsmechanismus ausgelöst. Vorteilhafterweise wird dabei nicht nur eine Abweichung von einem Normbild als Ja-/Nein-Entscheidung erfaßt, sondern die Art der Abweichung kann zuverlässig bestimmt werden. Mit Hilfe des Ver­ fahrens kann aufgrund des Verhaltens der überwachten Objekte eine differenzierte Ent­ scheidung dahingehend getroffen werden, ob ein Sicherheitsmechanismus ausgelöst werden muß oder nicht.

Eine weitere Verbesserung der Erfindung besteht darin, daß ein Referenzbild ohne zu überwachende Objekte erstellt wird. Mittels eines Referenzbild-Differenzverfahrens wird ein relevanter Suchraum eingeschränkt. Dadurch wird die Überwachung erleichtert und beschleunigt.

Die aktuellen Umgebungsbedingungen können in einer weiteren Ausführungsform der Erfindung durch ständige Adaption von Parametern, wie dem Referenzbild, den Klassifi­ kationsmerkmalen und/oder Schwellwerten von Verarbeitungsalgorithmen berücksichtigt werden. Auf diese Weise kann das Verfahren bzw. die Vorrichtung wirkungsvoll in einen automatisierten Prozeß eingebunden werden.

Vorteilhafterweise werden zum Ableiten der Klassifikationsmerkmale statistische Werte der Objektbereiche, wie Grauwert-Mittelwert, Entropie, Varianz oder Kontrast, und/oder geometrische Werte der Objektbereiche, wie Koordinaten, Umfang oder Flächeninhalt, berechnet. Vorteilhafterweise können mit Hilfe dieser Werte Objektbereiche eindeutig den Objektklassen zugeordnet werden. Die Zuordnung kann mit Hilfe von Klassifikati­ onsverfahren, wie der Fuzzy-Pattern-Klassifikation, erfolgen.

In einer weiteren vorteilhaften Ausführungsform der Erfindung ist die Einrichtung zum optischen Erfassen eine Kamera, insbesondere eine monochrome CCD-Kamera.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Bezug auf die Zeichnung näher beschrieben. In dieser zeigen:

Fig. 1 ein Bild eines von oben gesehenen Arbeitsraumes mit überwachten Objekten, wobei das gesamte Bild in regelmäßige Bildelemente aufgeteilt ist,

Fig. 2 ein Bild des Arbeitsraumes aus Fig. 1, wobei das Objektbild vom Hintergrund ge­ trennt ist,

Fig. 3 ein Bild des Arbeitsraumes aus Fig. 1 mit logisch als zusammengehörig erkann­ ten Bildbereichen,

Fig. 4 ein Bild des Arbeitsraumes aus Fig. 1 mit logisch als zusammengehörig erkann­ ten Bildbereichen, wobei das Objektbild vom Hintergrund getrennt ist, und

Fig. 5 ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens.

Bei dem in Fig. 1 gezeigten Bild eines zu überwachenden Raumes erfolgt die Zuordnung kleiner Bildelemente 2 zu Objektklassen mit Hilfe von Klassifikationsmerkmalen, die auf­ grund statistischer Werte der Objektbereiche 3 abgeleitet sind. In diesem Beispiel sind die Objektklassen als "Blech" und "Hand" definiert.

Die in diesem Verfahren erzeugten Bildelemente weisen eine regelmäßige Gestalt, z. B. in Form von Quadraten mit 10 Pixel Kantenlänge, auf.

Die Objekte "Hand" und "Blech" werden aufgrund ihrer Oberflächenbeschaffenheit er­ kannt und klassifiziert. Dazu wird das in Fig. 1 gezeigte Bild in Bildelemente 2 segmen­ tiert. Benachbarte Bildelemente 2, die gleiche Eigenschaften aufweisen, werden zu Ob­ jektbereichen 3 zusammengefaßt. Für diese Objektbereiche werden statistische Werte, wie z. B. Grauwert-Mittelwert, Entropievarianz oder Kontrast berechnet. Aus dem daraus gewonnenen Ergebnis werden Klassifikationsmerkmale abgeleitet, anhand derer die Objektbereiche 3 vorher definierten Objektklassen, in diesem Beispiel "Hand", "Blech", zugeordnet werden. Dieses Verfahren kann dadurch beschleunigt werden, daß, wie in Fig. 2 gezeigt, mit Hilfe eines Referenzbild-Differenzverfahrens das Objektbild vom Hin­ tergrund getrennt wird und somit die zu klassifizierenden Bildbereiche eingeschränkt werden. Die in der Fig. 2 verwendeten Bildelemente 2 sind, wie bei dem Bild aus Fig. 1, regelmäßige Quadrate.

Ferner kann, wie in Fig. 3 gezeigt, die Klassifikation von im Bild als logisch zusammen­ gehörig erkannter Bildbereiche erfolgen, die reale Objekte beschreiben. Diese Bildberei­ che sind dann nicht mehr regelmäßig, sondern unterschiedlich groß. Auch dieses Ver­ fahren ließe sich auf das Originalbild (Fig. 3) oder auf das vom Hintergrund getrennte Objektbild (Fig. 4) anwenden.

In Fig. 5 ist ein aus drei Schritten bestehendes Ausführungsbeispiel gezeigt, bei dem das nach dem dritten Schritt gewonnene Ergebnis im Rahmen einer Prozeßsteuerung weiterverarbeitet wird. Dabei kommt es im Anschluß an das Überwachungsverfahren zu einer Entscheidungsfindung und Einleitung einer Reaktion, wie beispielsweise dem Ab­ schalten einer Maschine.

Im ersten Schritt wird mittels einer monochromen CCD-Kamera ein Bild des zu überwa­ chenden Raumes aufgenommen. Dieses Bild wird mittels eines entsprechenden frame grabbers digitalisiert und kann dann in einem PC-Speicher ausgewertet werden. Mit Hilfe einer künstlichen Beleuchtung des zu untersuchenden Raumes kann der Bildkon­ trast erhöht und sich ändernde Beleuchtungsverhältnisse kompensiert werden, was zu einer Verbesserung der Auswertbarkeit des Bildes beiträgt.

Eine gute Trennung der zu überwachenden Objekte vom Hintergrund kann erzielt wer­ den, wenn in einem Initialisierungsschritt ein Referenzbild des überwachenden Raumes aufgenommen wird, das den Hintergrund ohne zu überwachende Objekte enthält. Durch Änderung der Beleuchtungsverhältnisse und Hinzufügen oder Entfernen von Gegen­ ständen kann sich der Hintergrund mit der Zeit verändern. Deshalb muß das Referenz­ bild mit Hilfe geeigneter Verfahren regelmäßig den veränderten Bedingungen angepaßt werden.

Durch Berechnen der Differenz zwischen dem aktuellen Bild, das die zu überwachenden Objekte enthält, und dem Referenzbild werden im zweiten Schritt alle Bildpunkte be­ rechnet, die offensichtliche Unterschiede zu dem vom Referenzbild dargestellten leeren Hintergrund aufweisen. Auf diese Weise wird der relevante Suchraum eingeschränkt.

Das so erhaltene Bild wird im dritten Schritt in Bildelemente zerlegt, die eine bestimmte zweidimensionale Oberflächencharakteristik aufweisen. Durch morphologische Operato­ ren werden benachbarte Bildelemente 2 mit gleicher Oberflächencharakteristik bzw. gleichen Eigenschaften zu zusammenhängenden Objektbereichen 3 zusammengefaßt. Aus den so entstandenen Objektbereichen 3 werden Klassifikationsmerkmale abgeleitet, die sich aus statistischen Werten, wie z. B. Grauwert-Mittelwert, Entropie, Varianz oder Kontrast, und/oder geometrischen Werten, wie z. B. Lage in x- bzw. y-Richtung, Umfang oder Flächeninhalt berechnen. Auf Grundlage dieser Klassifikationsmerkmale wird mit Hilfe eines Klassifikationsverfahrens, wie z. B. der Fuzzy-Pattern-Klassifikation, die Klas­ senzugehörigkeit in der Objektbereiche 3 zu vorher definierten Objektklassen bestimmt. Diese Klassen können z. B. ein Körperteil, ein Werkstück oder eine Maschine sein. Mit Hilfe logischer Beziehungen können nun noch benachbarte Objektbereiche 3 gleicher Klassenzuordnung zu globalen Objekten zusammengefaßt werden.

Auf diese Weise ist also nicht nur die Position des dreidimensionalen Objektes 1, son­ dern auch dessen Art im Bild bestimmt.

Mit Hilfe der so gewonnenen Informationen kann das Verhalten der identifizierten Objek­ te im Bild überwacht werden. Das bedeutet, daß sich das Verfahren bzw. die Vorrich­ tung zur Überwachung von automatisierten Produktionsvorgängen sowie für die Über­ wachung von Maschinen unter sicherheitstechnischen Aspekten eignet.

Claims (11)

1. Verfahren zum Überwachen von Objekten (1) mit den Verfahrensschritten:

• - Definieren von Objektklassen;
• - optisches Erfassen der zu überwachenden Objekte (1);
• - Erzeugen eines Bildes dieser Objekte (1);
• - Zerlegen dieses Bildes in Bildelemente (2);
• - Erkennen von Bildelementen (2), die aufgrund der Oberflächenbeschaffenheit und/oder Geometrie der zu überwachenden Objekte gleiche Eigenschaften auf­ weisen;
• - Zusammenfassen benachbarter Bildelemente (2) mit gleichen Eigenschaften zu Objektbereichen (3);
• - Ableiten von Klassifikationsmerkmalen der Objektbereiche (3);
• - Identifizieren der Objekte durch Zuordnen der Objektbereiche (3) zu den Objekt­ klassen anhand der Klassifikationsmerkmale und
• - Weiterverarbeiten des dadurch gewonnenen Ergebnisses im Rahmen einer Pro­ zeßsteuerung.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß aufgrund des Verhal­ tens der überwachten Objekte (1) im Rahmen der Prozeßsteuerung ein Sicher­ heitsmechanismus ausgelöst wird.

3. Verfahren nach wenigstens einem der Ansprüche 1 und 2, dadurch gekennzeich­ net, daß ein Referenzbild ohne zu überwachende Objekte (1) erstellt wird und ein relevanter Suchraum mittels eines Referenzbilddifferenzverfahrens eingeschränkt wird.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß aktuelle Umgebungs­ bedingungen durch ständige Adaption von Parametern, wie dem Referenzbild, den Klassifikationsmerkmalen und/oder Schwellwerten von Verarbeitungsalgorithmen, berücksichtigt werden.

5. Verfahren nach wenigstens einem der vorangegangen Ansprüche, dadurch ge­ kennzeichnet, daß zum Ableiten der Klassifikationsmerkmale statistische Werte der Objektbereiche (3), wie Grauwertmittelwert, Entropie, Varianz oder Kontrast, und/oder geometrische Werte der Objektbereiche (3), wie Koordinaten, Umfang oder Flächeninhalt, berechnet werden.

6. Verfahren nach wenigstens einem der vorangegangen Ansprüche, dadurch ge­ kennzeichnet, daß das Zuordnen der Objektbereiche (3) zu den Objektklassen un­ ter Zuhilfenahme von Klassifikations-Verfahren, wie der Fuzzy-Pattern- Klassifikation, erfolgt.

7. Vorrichtung zur Überwachung von Objekten (1) mit

• - einer Einrichtung zum Definieren von Objektklassen;
• - einer Einrichtung zum optischen Erfassen der zu überwachenden Objekte (1);
• - einer Bildverarbeitungseinrichtung, mit deren Hilfe die optisch erfaßten Objekte (1) zu einem Bild verarbeitbar sind;
• - einer Einrichtung, mit deren Hilfe das Bild in Bildelemente (2) zerlegbar ist;
• - einer Einrichtung zum Erkennen von Bildelementen (2), die aufgrund der Oberflä­ chenbeschaffenheit und/oder Geometrie der zu überwachenden Objekte gleiche Eigenschaften aufweisen;
• - einer Einrichtung zum Zusammenfassen benachbarter Bildelemente (2) mit glei­ chen Eigenschaften zu Objektbereichen (3);
• - einer Einrichtung zur Ableitung von Klassifikationsmerkmalen der Objektbereiche (3);
• - einer Einrichtung zum Identifizieren der Objekte durch Zuordnung der Objektbe­ reiche (3) zu den Objektklassen anhand der Klassifikationsmerkmale und
• - einer Einrichtung zur Weiterverarbeitung des dadurch gewonnenen Ergebnisses im Rahmen einer Prozeßsteuerung.

8. Vorrichtung nach Anspruch 7, gekennzeichnet durch eine Einrichtung, mit deren Hilfe aufgrund des Verhaltens der überwachten Objekte (1) im Rahmen der Pro­ zeßsteuerung ein Sicherheitsmechanismus auslösbar ist.

9. Vorrichtung nach wenigstens einem der Ansprüche 7 und 8, dadurch gekenn­ zeichnet, daß die Einrichtung zur Ableitung von Klassifikationsmerkmalen eine Ein­ richtung zur Berechnung statistischer Werte der Objektbereiche (3), wie Grau­ wertmittelwert, Entropie, Varianz oder Kontrast, und/oder geometrischer Werte der Objektbereiche (3), wie Koordinaten, Umfang oder Flächeninhalt, umfaßt.

10. Vorrichtung nach wenigstens einem der Ansprüche 7 bis 9, dadurch gekennzeich­ net, daß die Einrichtung zum optischen Erfassen eine Kamera, insbesondere eine monochrome CCD-Kamera ist.

11. Fertigungsvorrichtung mit einer Vorrichtung nach wenigstens einem der Ansprüche 8 bis 10 zur sicherheitstechnischen Überwachung der Fertigung.