DE10138960A1

DE10138960A1 - Verfahren und Vorrichtung zum Beobachten, Vermessen oder Überwachen eines Raumbereichs

Info

Publication number: DE10138960A1
Application number: DE10138960A
Authority: DE
Inventors: Oliver Fuchs; Dieter Bittner; Martin Wendler; Dietmar Doettling
Original assignee: Pilz GmbH and Co KG
Current assignee: Pilz GmbH and Co KG
Priority date: 2001-08-03
Filing date: 2001-08-03
Publication date: 2003-02-27

Abstract

Die vorliegende Erfindung beschreibt ein Verfahren sowie eine Vorrichtung zum Beobachten, Vermessen oder Überwachen eines Raumbereichs. Die Vorrichtung besitzt zumindest eine Bildaufnahmeeinheit (12, 14) zum Aufnehmen von ersten und von zweiten Bilddaten des Raumbereichs. Dabei weisen die aufgenommenen ersten und zweiten Bilddaten in Bezug zu mindestens einem Punkt des Raumbereichs unterschiedliche Helligkeitswerte auf. Ferner ist eine erste Auswerteeinheit vorhanden, die unter Verwendung der unterschiedlichen Helligkeitswerte der ersten und zweiten Bilddaten eine Entfernungsinformation zu dem Punkt des Raumbereichs bestimmt. Die erfindungsgemäße Vorrichtung weist erste Mittel (26, 28) auf, um die ersten und die zweiten Bilddaten mit derart voneinander verschiedenen Blendenöffnungen aufzunehmen, daß sich die unterschiedlichen Helligkeitswerte ergeben (Fig. 1).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Beobachten, Vermessen oder Überwachen eines Raumbereichs, mit den Schritten:

- Aufnehmen von ersten Bilddaten des Raumbereichs,
- Aufnehmen von zweiten Bilddaten des Raumbereichs, wobei die ersten und die zweiten Bilddaten in Bezug zu mindestens einem Punkt des Raumbereichs unterschiedliche Helligkeitswerte aufweisen, und
- Bestimmen einer Entfernungsinformation zu dem Punkt des Raumbereichs, wobei die unterschiedlichen Helligkeitswerte des ersten und der zweiten Bilddaten verwendet werden.

Die Erfindung betrifft des weiteren eine entsprechende Vorrichtung mit zumindest einer Bildaufnahmeeinheit zum Aufnehmen von ersten und von zweiten Bilddaten des Raumbereichs, wobei die aufgenommenen ersten und zweiten Bilddaten in Bezug zu mindestens einem Punkt des Raumbereichs unterschiedliche Helligkeitswerte aufweisen, und mit einer ersten Auswerteeinheit, die unter Verwendung der unterschiedlichen Helligkeitswerte der ersten und zweiten Bilddaten eine Entfernungsinformation zu dem Punkt des Raumbereichs bestimmt.
Ein solches Verfahren und eine entsprechende Vorrichtung sind aus der US 5,930,383 bekannt.
Seit einiger Zeit werden Versuche unternommen, aus den aufgenommenen Bilddaten einer Bildaufnahmeeinheit Entfernungsinformationen zu einzelnen Punkten oder ganzen Objekten innerhalb des aufgenommenen Raumbereichs zu bestimmen. Dabei werden unterschiedliche Verfahren vorgeschlagen, insbesondere Triangulationsverfahren, Interferometrie oder Laufzeitmessungen. Jedes dieser Verfahren besitzt naturgemäß Stärken und Schwächen, so daß je nach beabsichtigtem Anwendungsgebiet einzelne oder mehrere dieser Verfahren nicht geeignet sind. Dies gilt insbesondere im Hinblick auf die Verwendung solcher Verfahren im Bereich der Sicherheitstechnik im Sinne von Maschinensicherheit (Arbeitsplatzsicherheit), also beispielsweise beim Überwachen von Gefahrenbereichen automatisiert arbeitender Maschinenanlagen. Bei derartigen Anwendungen muß sicher ausgeschlossen sein, daß systembedingte Fehlfunktionen oder äußere Störeinflüsse zu einem Versagen des Beobachtungssystems führen, da ansonsten die Gesundheit und sogar das Leben von Personen gefährdet sind.
In der eingangs genannten US 5,930,383 beruht die Bestimmung von Entfernungsinformationen aus den Bilddaten auf dem Prinzip, daß die Helligkeit diffus reflektierender Oberflächen mit dem Quadrat der Entfernung von der Lichtquelle, die die Oberfläche beleuchtet, abnimmt. Bei doppeltem Abstand erhält man somit nur ein Viertel der Helligkeit. Bei dem beschriebenen Verfahren werden mindestens vier Lichtquellen an unterschiedlichen Positionen und in bekannter Entfernung zu einer Bildaufnahmeeinheit angeordnet. Anschließend werden vier Aufnahmen des Raumbereichs gemacht, wobei jeweils eine andere Lichtquelle den Raumbereich beleuchtet. Die Entfernung eines Objektpunktes zu der Bildaufnahmeeinheit kann dann anhand der Helligkeitsunterschiede der Bilddaten an diesem Punkt sowie anhand der bekannten Positionen der Lichtquellen berechnet werden.
Dieses bekannte Verfahren besitzt jedoch zumindest im Hinblick auf eine Verwendung im Bereich der Maschinensicherheit mehrere Nachteile. Zum einen funktioniert das Verfahren nicht hinreichend sicher genug, wenn die zu vermessenden Objekte im Raumbereich nicht diffus reflektierend sind. Das Verfahren versagt somit insbesondere bei spiegelnden oder retroreflektierenden Oberflächen. Des weiteren ist das Verfahren empfindlich gegenüber Störungen durch Umgebungslicht sowie durch Staubentwicklungen und dergleichen. Gerade derartige Störungen treten jedoch im Bereich von Maschinenanlagen häufig auf. Außerdem sind mindestens vier zeitlich aufeinanderfolgende Messungen erforderlich, um genügend Informationen zu erhalten, damit unerwünschte Meßparameter und Einflüsse eliminiert werden können. Damit ist die Überwachung einer Maschinenanlage in Echtzeit nicht oder allenfalls sehr schwierig zu realisieren.
Andere Verfahren zum Bestimmen von Entfernungsinformationen aus Bilddaten, teilweise auch zum optischen Überwachen von Gefahrenbereichen von Maschinenanlagen, sind aus EP 1 065 521 A2, EP 1 065 522 A2, EP 1 061 487 A1, WO 00/55642 oder WO 99/34235 bekannt. Diese Verfahren beruhen darauf, daß der Raumbereich mit mehreren Kameras aus verschiedenen Richtungen aufgenommen wird (Triangulation, EP 1 061 487 A1), daß künstliche Ziele wie beispielsweise ein komplexes Beleuchtungsmuster erzeugt werden (EP 1 065 521 A2) oder daß Laufzeitmessungen durchgeführt werden (EP 1 065 522 A2, WO 00/55642, WO 99/ 34235). Die Verfahren sind jedoch im Hinblick auf die technische Realisierung aufwendig und schwierig. Teilweise läßt sich auch keine ausreichende Sicherheit für eine Anwendung im Bereich der Maschinensicherheit erreichen, und zwar insbesondere keine ausreichende Erkennungssicherheit.

Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein alternatives Verfahren der eingangs genannten Art anzugeben, das in der praktischen Realisierung einen einfachen und trotzdem vor allem erkennungssicheren Aufbau erlaubt. Außerdem soll die Bestimmung der Entfernungsinformation sehr schnell, möglichst in Echtzeit erfolgen können. Es ist ferner eine Aufgabe der vorliegenden Erfindung, eine entsprechende Vorrichtung anzugeben.

Die Aufgabe wird hinsichtlich des eingangs genannten Verfahrens dadurch gelöst, daß die ersten und die zweiten Bilddaten mit derart voneinander verschiedenen Blendenöffnungen aufgenommen werden, daß sich die unterschiedlichen Helligkeitswerte ergeben.

Die Aufgabe wird ferner durch eine Vorrichtung der eingangs genannten Art gelöst, die erste Mittel aufweist, um die ersten und die zweiten Bilddaten mit derart voneinander verschiedenen Blendenöffnungen aufzunehmen, daß sich die unterschiedlichen Helligkeitswerte ergeben.

Das erfindungsgemäße Verfahren und die entsprechende Vorrichtung beruhen auf der Erkenntnis, daß der aufgenommene Helligkeitswert eines Punktes im Raumbereich in erster Näherung nur von der tatsächlichen Objekthelligkeit des Punktes, von der Blendenöffnung bei der Aufnahme und vom Abstand des Punktes zur Bildaufnahmeeinheit abhängt. Würde man die tatsächliche Objekthelligkeit des Punktes kennen, könnte man aus dem gemessenen Helligkeitswert und der verwendeten Blendenöffnung den Abstand bestimmen. Leider ist die tatsächliche Objekthelligkeit in der Regel nicht bekannt. Führt man jedoch zwei Messungen mit verschiedenen Blendenöffnungen durch, läßt sich aus dem Verhältnis der gemessenen Helligkeitswerte die gesuchte Entfernungsinformation bestimmen. Mathematisch gesehen handelt es sich dabei um ein System von zwei Gleichungen mit zwei Unbekannten.

Das erfindungsgemäße Verfahren besitzt vor allem im Hinblick auf die Verwendung im Bereich der Maschinensicherheit eine Reihe von Vorteilen. Zunächst sind handelsübliche Bildsensoren verwendbar, was eine kostengünstige technische Realisierung ermöglicht. Außerdem ist der Auswertealgorithmus erheblich einfacher als beispielsweise bei bekannten Stereo- oder Triangulationsverfahren, was sowohl den Aufbau vereinfacht als auch eine schnelle Auswertung der Meßergebnisse ermöglicht. Des weiteren ist die Bestimmung der Entfernung unabhängig vom Remissionsgrad der betrachteten Objekte und zumindest in erster Näherung auch unabhängig vom Raumwinkel zu dem Objekt möglich. Daher sind auch Spiegel und Retroreflektoren im aufgenommenen Raumbereich unproblematisch. Das Verfahren kann ferner ohne gezielte (determinierte) Beleuchtung durchgeführt werden, was den Aufbau weiter vereinfacht und außerdem die Robustheit gegen Staub etc. und auch gegen Manipulationen erhöht. Verschmutzungen im Bereich des Objektivs der Bildaufnahmeeinheit, beispielsweise durch Staubpartikel oder Insekten, können aufgrund der Entfernungsinformation erkannt und eliminiert werden.

Schließlich stehen zusätzlich zu den Entfernungsinformationen systembedingt auch noch die Bilddaten selbst zur Verfügung, so daß zur Überwachung des Raumbereichs redundante Informationen ausgewertet werden können. Dies erlaubt eine sehr hohe Fehlersicherheit bis hin zur Kategorie 4 im Sinne der Europäischen Norm EN 945-1. Zudem kommt das Verfahren auch ohne aufwendige Kalibrierungen aus.

Insgesamt erlaubt das erfindungsgemäße Verfahren somit eine technisch einfache und kostengünstige Realisierung, die echtzeitfähige Entfernungsinformationen liefern kann. Damit ist die genannte Aufgabe gelöst.

In einer Ausgestaltung der Erfindung werden die ersten und die zweiten Bilddaten zeitgleich miteinander aufgenommen.

Alternativ hierzu wäre es grundsätzlich auch denkbar, die ersten und zweiten Bilddaten zeitlich nacheinander aufzunehmen. Die bevorzugte Ausgestaltung besitzt demgegenüber den Vorteil, daß kurzzeitige Schwankungen der Objekthelligkeit, die zwischen aufeinanderfolgenden Aufnahmen auftreten können, nicht gesondert kompensiert werden müssen. Hierdurch wird die technische Realisierung vereinfacht und die Genauigkeit und Zuverlässigkeit der Entfernungsinformationen erhöht.

In einer weiteren Ausgestaltung werden die ersten und zweiten Bilddaten mit zwei Bildaufnahmeeinheiten aufgenommen. Dementsprechend besitzt die Vorrichtung in dieser Ausgestaltung zumindest zwei Bildaufnahmeeinheiten.

Die Maßnahme ist besonders vorteilhaft im Hinblick auf die gerade genannte Problematik, da sie die zeitgleiche Aufnahme der ersten und zweiten Bilddaten auf konstruktiv sehr einfache Weise ermöglicht. Grundsätzlich könnten auch getrennte Bereiche eines gemeinsamen Bildsensors verwenden werden, wobei die Zuordnung der Bildpunkte zu den beiden Aufnahmen dann rechnerisch erfolgt. Derzeit ist es jedoch bevorzugt, zwei Bildaufnahmeeinheiten mit räumlich getrennten Bildsensoren zu verwenden, da dies die Auswertung vereinfacht und damit den Verarbeitungsaufwand senkt.

In einer weiteren Ausgestaltung beinhalten die zwei Bildaufnahmeeinheiten jeweils zumindest einen Bildsensor, wobei die Bildsensoren pixelweise exakt zueinander ausgerichtet sind.

Eine pixelweise exakte Ausrichtung in diesem Sinne liegt vor, wenn jeweils genau ein Pixel des ersten Bildsensors und genau ein Pixel des zweiten Bildsensors exakt denselben Raumausschnitt aufnehmen. Die Maßnahme besitzt den Vorteil, daß die Zuordnung der aufgenommenen ersten und zweiten Bilddaten bereits durch die hardwaremäßige Ausrichtung der Bildsensoren erreicht wird. Rechnerisch aufwendige Transformationen und Abgleiche zwischen den ersten und zweiten Bilddaten können dadurch entfallen. Die Durchführung des Verfahrens wird beschleunigt und eine Echtzeitverarbeitung ist leichter realisierbar.

In einer weiteren Ausgestaltung weist der Strahlteiler ein unsymmetrisches Teilerverhältnis auf.

Ein solches Teilerverhältnis liegt dann vor, wenn der Strahlteiler das einfallende Licht mit unterschiedlichen Intensitäten zu den beiden Bildaufnahmeeinheiten verteilt. Die Maßnahme ist besonders vorteilhaft im Hinblick darauf, daß bei unterschiedlichen Blendenöffnungen nicht nur die abstandsbedingten Helligkeitsänderungen auftreten. Zusätzlich läßt eine größere Blendenöffnung insgesamt mehr Licht durch als eine kleinere Blendenöffnung, so daß die Grundhelligkeit der aufgenommenen Bilddaten bei großer Blendenöffnung höher ist. Dieser Helligkeitsunterschied zwischen den ersten und zweiten Bilddaten, der für die Gewinnung der Entfernungsinformation nicht benötigt wird, wird hier auf einfache Weise ausgeglichen. Außerdem erfolgt der Ausgleich der Grundhelligkeiten hier ohne Verluste, da die einfallende Lichtintensität vollständig auf die beiden Bildaufnahmeeinheiten verteilt wird.

In einer weiteren Ausgestaltung werden die Helligkeitswerte der zweiten Bilddaten reduziert.

Diese Maßnahme knüpft an die zuvor genannte Maßnahme an, wobei jedoch auch andere Möglichkeiten bestehen, um die Grundhelligkeit der ersten und zweiten Bilddaten aneinander anzugleichen. Die Durchführung dieses Schrittes bei dem erfindungsgemäßen Verfahren besitzt den generellen Vorteil, daß die anschließende Bestimmung der Entfernungsinformation einfacher und schneller erfolgen kann.

In einer weiteren Ausgestaltung werden die zweiten Bilddaten mit einer kürzeren Belichtungszeit als die ersten Bilddaten aufgenommen.

Diese Maßnahme ermöglicht eine Reduktion der Grundhelligkeit der zweiten Bilddaten ohne besondere konstruktive Elemente. Da bekannte Bildaufnahmeeinheiten zudem üblicherweise eine steuerbare Belichtungszeit aufweisen, läßt sich die gewünschte Reduktion der Grundhelligkeit hier sehr kostengünstig erreichen.

In einer weiteren Ausgestaltung werden die zweiten Bilddaten durch ein optisches Verdunklungselement aufgenommen. Die erfindungsgemäße Vorrichtung besitzt in dieser Ausgestaltung ein optisches Verdunklungselement, das die Helligkeitswerte der zweiten Bilddaten reduziert.

Bevorzugt handelt es sich bei dem Verdunklungselement um einen an sich bekannten Graufilter, der bei der Aufnahme der zweiten Bilddaten vor der Blendenöffnung angeordnet ist. Die Maßnahme ist ebenfalls recht kostengünstig zu realisieren und ermöglicht eine noch schnellere Bestimmung der Entfernungsinformation, da die Anzahl der ansonsten durchzuführenden Rechenoperationen mit dem Graufilter reduziert werden kann. Außerdem ist die unterschiedliche Steuerung der Belichtungszeiten entbehrlich, was den Verarbeitungsaufwand ebenfalls reduziert.

In einer weiteren Ausgestaltung werden die Helligkeitswerte der zweiten Bilddaten rechnerisch reduziert.

Diese Maßnahme besitzt den Vorteil, daß weder eine unterschiedliche Steuerung der Belichtungszeiten noch zusätzliche Hardware erforderlich sind. Die Maßnahme kann jedoch auch in Kombination mit einer oder mehreren der zuvor genannten Maßnahmen verwendet werden, um verbleibende Unterschiede zwischen den Grundhelligkeiten auszugleichen, so daß eine optimale Lösung im Hinblick auf erforderlichen Rechenaufwand, Hardwareaufwand und Verarbeitungsgeschwindigkeit erreicht werden kann.

In einer weiteren Ausgestaltung werden die ersten und die zweiten Bilddaten mit jeweils gleichen Abbildungsmaßstäben aufgenommen.

Diese Maßnahme ist besonders vorteilhaft, wenn die ersten und zweiten Bilddaten mit verschiedenen Bildaufnahmeeinheiten aufgenommen werden. Die Maßnahme besitzt den Vorteil, daß die aufgenommenen ersten und zweiten Bilddaten direkt miteinander vergleichbar sind, was eine noch schnellere und genauere Bestimmung der Entfernungsinformation ermöglicht. Konstruktiv lassen sich gleiche Abbildungsmaßstäbe besonders einfach durch die Verwendung von jeweils gleichen Abbildungsoptiken erreichen.

In einer weiteren Ausgestaltung werden die ersten und die zweiten Bilddaten zeitweise mit einer zusätzlichen Beleuchtung aufgenommen. Die entsprechende Vorrichtung weist in dieser Ausgestaltung eine steuerbare Beleuchtungseinrichtung auf.

Der Begriff "zeitweise" bezieht sich dabei auf einzelne Zeitabschnitte innerhalb des laufenden Einsatzbetriebs der erfindungsgemäßen Vorrichtung. Die Maßnahme besitzt den Vorteil, daß die aufgenommenen ersten und zweiten Bilddaten gezielt dynamisiert werden, was eine sehr zuverlässige Funktionskontrolle (Selbsttest) der Vorrichtung ermöglicht. Dies ist besonders im Hinblick auf die Verwendung im Bereich der Maschinensicherheit von Vorteil. Darüber hinaus kann die Beleuchtungseinrichtung natürlich auch verwendet werden, um eine unzureichende Beleuchtung in dem zu beobachtenden Raumbereich gezielt und nach Bedarf auszugleichen.

In einer weiteren Ausgestaltung der bevorzugten Vorrichtung sind die zwei Bildaufnahmeeinheiten ortsfest in einem gemeinsamen Gerätegehäuse angeordnet.

Diese Maßnahme ermöglicht es, die Bildaufnahmeeinheiten bereits bei der Produktion der Vorrichtung exakt zueinander zu positionieren, so daß spätere Kalibrierungen und Justierungen bei der Installation am Einsatzort entfallen können oder zumindest auf ein Minimum reduziert sind. Die Installation der erfindungsgemäßen Vorrichtung wird dadurch einfacher und der Betrieb ist zuverlässiger. Außerdem wird die Möglichkeit von Manipulationen weiter reduziert.

In einer weiteren Ausgestaltung weist die erfindungsgemäße Vorrichtung eine zweite Auswerteeinheit auf, die die Entfernungsinformation zu dem Punkt mit einem zugehörigen Referenzwert vergleicht, so daß eine Veränderung in dem Raumbereich detektierbar ist. Dementsprechend wird bei dem erfindungsgemäßen Verfahren dieser Ausgestaltung die Entfernungsinformation zu dem Punkt mit einem zugehörigen Referenzwert verglichen, um eine Veränderung in dem Raumbereich zu detektieren.

Diese Maßnahme ermöglicht eine sehr einfache und schnelle (echtzeitfähige) Überwachung des Raumbereichs. Damit kann die erfindungsgemäße Vorrichtung besonders vorteilhaft zur Absicherung von automatisiert arbeitenden Maschinenanlagen verwendet werden.

In einer weiteren Ausgestaltung werden ferner auch die Bilddaten mit zugehörigen Referenzwerten verglichen, um eine Veränderung in dem Raumbereich zu detektieren.

Diese Maßnahme führt zu einer vorteilhaften Redundanz bei der Beobachtung des Raumbereichs. Bevorzugt wird das Eindringen eines Objektes in den Raumbereich bereits angenommen, wenn sich entweder die Entfernungsinformationen oder die aufgenommenen Helligkeitswerte gegenüber ihren jeweils zugeordneten Referenzwerten zu stark verändern. Die systembedingte, sogar diversitäre Redundanz ermöglicht eine besonders hohe Zuverlässigkeit und Sicherheit. Gleichzeitig ist diese sehr hohe Sicherheit ohne zusätzlichen Hardwareaufwand möglich, was besonders im Hinblick auf die Herstellungskosten von Vorteil ist.

Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:

Fig. 1 eine schematische Darstellung des Bildaufnahmeteils einer erfindungsgemäßen Vorrichtung,

Fig. 2 eine Anordnung mit einer erfindungsgemäßen Vorrichtung zur Absicherung einer automatisiert arbeitenden Maschine,

Fig. 3 und 4 zwei Beispiele von virtuellen Schutzflächen, die mit dem erfindungsgemäßen Verfahren gebildet werden können,

Fig. 5 einen überwachten Raumbereich sowie ein zu dem Raumbereich gehörendes Entfernungsbild,

Fig. 6 den Raumbereich aus Fig. 5, wobei ein Fremdobjekt eingedrungen ist, und

Fig. 7 ein Flußdiagramm zur Erläuterung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens.

In Fig. 1 ist der Bildaufnahmeteil einer erfindungsgemäßen Vorrichtung in seiner Gesamtheit mit der Bezugsziffer 10 bezeichnet. Der Einfachheit halber wird der Bildaufnahmeteil im Nachfolgenden als Kamera bezeichnet, wenngleich die Kamera 10 hier genau genommen zwei getrennte Bildaufnahmeeinheiten 12 und 14 aufweist.

Die beiden Bildaufnahmeeinheiten 12, 14 sind ortsfest in einem gemeinsamen Gerätegehäuse 16 angeordnet. Nach vorne, d. h. in Blickrichtung der Kamera 10 hin, besitzt das Gerätegehäuse 16 ein Fenster 18, durch das die beiden Bildaufnahmeeinheiten 12, 14 gemeinsam "hindurchsehen".

Die beiden Bildaufnahmeeinheiten 12, 14 sind in dem Gerätegehäuse 16 um 90° versetzt zueinander angeordnet. In einem 45°- Winkel zu jeder der Bildaufnahmeeinheiten 12, 14 verläuft ein Strahlteiler 20 derart, daß er Licht, das durch das Fenster 18 in das Kameragehäuse 16 eintritt, jeder der beiden Bildaufnahmeeinheiten 12, 14 zuführt. Dies erfolgt hier in an sich bekannter Weise dadurch, daß der Strahlteiler 20 ein teildurchlässiger Spiegel ist.

Jede der beiden Bildaufnahmeeinheiten 12, 14 besitzt jeweils einen Bildsensor 22, 24, wobei es sich hier um handelsübliche Bildsensoren für Digitalkameras handelt. Die Bildsensoren 22, 24 können in CMOS, CCD oder jeder anderen geeigneten Technologie hergestellt sein. Aus Kostengründen können einfacher aufgebaute punkt- oder zeilenförmige Sensoren verwendet werden. Im vorliegenden Ausführungsbeispiel werden jedoch matrixförmige Bildsensoren verwendet, um einen maximalen Raumbereich beobachten zu können.

Vor jedem der beiden Bildsensoren 22, 24 ist jeweils eine Blende 26, 28 angeordnet. Die Blendenöffnung der Blende 26 ist dabei größer als die Blendenöffnung der Blende 28. Vor jeder Blende ist des weiteren jeweils eine Abbildungsoptik 30, 32 angeordnet, die hier schematisch die gesamte Abbildungsoptik der beiden Bildaufnahmeeinheiten 12, 14 darstellt. Bei der Bildaufnahmeeinheit 12 ist des weiteren im Bereich der Abbildungsoptik 30 ein zusätzliches Graufilter 34 angeordnet. Ein entsprechendes Graufilter fehlt bei diesem Ausführungsbeispiel der Erfindung bei der zweiten Bildaufnahmeeinheit 14.

Mit den Bezugsziffern 36, 38 und 40 sind drei beispielhafte Strahlengänge bezeichnet, die den Lichteinfall durch das Fenster 18 auf die Bildsensoren 22, 24 andeuten. Der Strahlengang 36 tritt senkrecht zum Fenster 18 ein und verläuft somit parallel zur optischen Achse der Bildaufnahmeeinheit 14. Die Strahlengänge 38 und 40 fallen von schräg oben bzw. schräg unten ein und symbolisieren somit die seitlichen Grenzen des gesamten Blickfeldes der Kamera 10.

Die Kamera 10 dient in der dargestellten Ausführung dazu, zeitgleich zueinander erste und zweite Bilddaten eines beobachteten Raumbereichs (hier nicht dargestellt) aufzunehmen. Der Bildsensor 24 nimmt dabei die ersten Bilddaten in der hier gewählten Terminologie und der Bildsensor 22 die zweiten Bilddaten auf. Da die beiden Bildaufnahmeeinheiten 12 und 14 aufgrund des Strahlteilers 20 den identischen Raumbereich betrachten und da die beiden Blenden 26, 28 mit unterschiedliche Blendenöffnungen besitzen, unterscheiden sich die Helligkeitswerte der ersten und zweiten Bilddaten voneinander hinsichtlich der einzelnen Punkte des Raumbereichs. Dabei besteht zum einen ein gleichmäßiger Helligkeitsunterschied zwischen den ersten und zweiten Bilddaten, der im vorliegenden Ausführungsbeispiel jedoch durch das Graufilter 34 eliminiert wird. In anderen Ausführungsbeispielen der Erfindung eliminiert das Graufilter 34 diesen Helligkeitsunterschied nur teilweise und es erfolgt ein weiterer Ausgleich rechnerisch bei der nachfolgenden Datenverarbeitung. Dabei wird von den Helligkeitswerten der zweiten Bilddaten jeweils ein konstanter Wert abgezogen.

In einem noch weiteren Ausführungsbeispiel besitzt der Strahlteiler 20 ein ungleiches Teilerverhältnis, d. h. er verteilt das einfallende Licht in einem ungleichen (unsymmetrischen) Verhältnis auf die beiden Bildsensoren 22, 24. In einem derzeit bevorzugten Ausführungsbeispiel wird 92% der Lichtintensität zum Bildsensor 24 und nur 8% der Lichtintensität zum Bildsensor 22 gelenkt.

In noch weiteren Ausführungsbeispielen werden die Belichtungszeiten der beiden Bildsensoren 22, 24 unterschiedlich gewählt, um durch eine kürzere Belichtungszeit ebenfalls den konstanten Unterschied in den Grundhelligkeitswerten auszugleichen. Je nach den konkreten Anwendungsfällen und -verhältnissen ist auch eine Kombination einzelner oder aller der zuvor genannten Maßnahmen sinnvoll.

Zusätzlich zu dem gleichförmigen Unterschied zwischen den Helligkeitswerten der ersten und zweiten Bilddaten besteht ein weiterer Helligkeitsunterschied, der jedoch abstandsabhängig ist. Dies bedeutet, daß der zweite Helligkeitsunterschied um so größer ist, je weiter der beobachtete Punkt von der Kamera 10 entfernt ist. Dieser zweite Helligkeitsunterschied wird in Verbindung mit den bekannten Blendenöffnungen der Blenden 26, 28 sowie den gemessenen Helligkeitswerten der ersten und zweiten Bilddaten dazu verwendet, um den Abstand des beobachteten Punktes zur Kamera 10, d. h. eine Entfernungsinformation, zu bestimmen. Es versteht sich, daß diese Information in andere Entfernungsinformationen, beispielsweise zu anders definierten Referenzpunkten, umgerechnet werden kann.

Der genaue Zusammenhang zwischen den gesuchten und bekannten Größen ist bei der Entwicklung der Kamera 10 experimentell festgestellt worden. Mit einer Versuchsanordnung entsprechend dem in Fig. 1 dargestellten Aufbau lassen sich die gewonnenen Erkenntnisse nachvollziehen.

Bei den hier bevorzugten Ausführungsbeispielen sind die Bildsensoren 22 und 24 pixelweise exakt zueinander ausgerichtet, und zwar so, daß jeweils ein Pixel des Bildsensors 22 und ein Pixel des Bildsensors 24 denselben Bildpunkt aus dem beobachteten Raumbereich aufnehmen. Die Bestimmung der Entfernungsinformation kann daher durch einen einfachen, pixelweisen Grauwertvergleich unter Berücksichtigung der experimentell gewonnenen Kenntnisse der Zusammenhänge erfolgen.

In Fig. 2 ist eine bevorzugte Anwendung für die Kamera 10 schematisch dargestellt. Dabei bezeichnen gleiche Bezugszeichen dieselben Elemente wie zuvor.

Die Kamera 10 dient hier zum Absichern des Gefahrenbereiches einer automatisiert arbeitenden Maschine. Dabei beobachtet die Kamera 10 einen Raumbereich 50, der hier ein quaderförmiger Bereich mit den Kantenlängen a, b und c ist. Die abzusichernde Maschine ist ein Industrieroboter, der sich selbständig in Richtung der Pfeile 54, 56, 58 bewegen kann. Würde sich eine Person während der Arbeit des Roboters 52 innerhalb Raumbereichs 50 aufhalten, besteht die Gefahr, daß die Person durch den Roboter 52 verletzt wird. Dies kann mit der Kamera 10 in der hier dargestellten Anwendung zuverlässig verhindert werden.

Die Kamera 10 ist zu diesem Zweck mit einer ersten Auswerteeinheit 60 verbunden, die anhand des zuvor beschriebenen Verfahrens die Entfernungsinformation zu jedem Punkt des Raumbereichs 50 bestimmt. Diese Daten werden dann zusammen mit den ersten und zweiten aufgenommenen Bilddaten an eine zweite Auswerteeinheit 62 weitergegeben. Die zweite Auswerteeinheit 62 ist hier in die erste Auswerteeinheit 60 integriert. Alternativ könnte sie jedoch auch getrennt von der ersten Auswerteeinheit 60 angeordnet sein. Ferner ist es auch möglich, daß die Auswerteeinheiten 60 und/oder 62 in dem Gerätegehäuse 16 der Kamera 10 mit untergebracht sind, was dann ein kompaktes Gerät ergibt, das besonders einfach zu installieren ist.

Die zweite Auswerteeinheit 62 ist mit einem Steuerteil (hier nicht gesondert dargestellt) für den Roboter 52 verbunden und kann diesen daher abschalten oder gesteuert stillsetzen.

Generell sind sowohl die Kamera 10 als auch die beiden Auswerteeinheiten 60, 62 fehlersicher aufgebaut, und zwar zumindest im Sinne der Kategorie 3, bevorzugt sogar der Kategorie 4, der Europäischen Norm EN 945-1. Dies wird durch redundante Auslegung der Komponenten und interne Selbsttest und Funktionskontrollen erreicht.

Mit der Bezugsziffer 64 ist eine steuerbare Lichtquelle bezeichnet, die von der ersten Auswerteeinheit 60 ein- und ausgeschaltet werden kann. Die Lichtquelle 64 erzeugt ein moduliertes Lichtsignal, beispielsweise gepulst oder phasenmoduliert, so daß Fremdlichteinflüsse, die nicht die gewählte Modulation aufweisen, leicht unterdrückt werden können. Des weiteren liegt das Licht der Lichtquelle in einem definierten Frequenzbereich, so daß Fremdlichteinwirkungen auch durch entsprechend angepaßte Bandpaßfilter unterdrückt werden können.

Mit den aufgenommenen ersten und zweiten Bilddaten sowie den daraus bestimmten Entfernungsinformationen steht eine redundante Menge an Informationen zur Verfügung, mit denen das Eindringen von Personen oder Gegenständen in den Raumbereich 50 festgestellt werden kann. Dabei ist es aufgrund der vorhandenen Daten leicht möglich, den Raumbereich 50 in unterschiedliche Schutz- und/oder Überwachungszonen aufzuteilen und somit individuell an die Schutzanforderungen anzupassen.

Beispielhaft sind in Fig. 3 und 4 zwei Schutzflächen dargestellt, die anhand der gewonnenen Daten definiert werden können. In Fig. 3 ist eine vertikal verlaufende Schutzfläche 70 gezeigt, die den Raumbereich 50 virtuell in zwei Hälften trennt. Die Schutzfläche 70 kann in Richtung des Pfeils 72 beliebig verschoben werden. Des weiteren ist es möglich, die Schutzfläche 70 in Richtung des Pfeils 72 aufzuweiten, um somit einen dreidimensionalen Schutzraum innerhalb des Raumbereichs 50 zu definieren.

In Fig. 4 ist ein weiteres Ausführungsbeispiel gezeigt, wobei eine Schutzfläche 74 in Richtung des Pfeils 76, d. h. in horizontaler Richtung bewegt werden kann. Anhand dieser beiden einfachen Beispiele wird deutlich, daß allein mit rechnerischen Mitteln durch Programmierung der Auswerteeinheit 62 beliebige, auch anders geformte Schutzflächen gebildet werden können. Damit ist es möglich, den Gefahrenbereich des Roboters 52 individuell gegen unbefugtes Eintreten abzusichern.

Fig. 5 zeigt den überwachten Raumbereich 50, wobei hier beispielhaft ein Objekt 80 vorhanden ist. Rechts daneben ist eine Graphik 82 gezeigt, die in dreidimensionaler Darstellung eine Höhenkarte des Raumbereichs 50 zeigt. Die Graphik 82 enthält an den Stellen, die der Oberfläche des Objektes 80 entsprechen, Höhenwerte, die anhand der mit der Kamera 10 gewonnenen Entfernungsinformationen sowie anhand der bekannten Position der Kamera 10 berechnet sind. Die Graphik 82 symbolisiert hier ein Referenzbild, das den überwachten Raumbereich 50 zeigt, wenn außer dem Objekt 80 keine Personen oder Gegenstände anwesend sind.

In Fig. 6 ist dieselbe Szene wie in Fig. 5 dargestellt, wobei sich in dem Raumbereich 50 nun jedoch ein zweites Objekt 84 befindet. Beispielsweise ist das Objekt 84 eine Person, die sich dem Objekt 80, beispielsweise eine Maschine, nähert. Die Anwesenheit des Objekts 84 in dem Raumbereich 50 kann mit Hilfe der Kamera 10 anhand der gewonnenen Entfernungsinformationen detektiert werden. Bildlich gesprochen, stellt die Auswerteeinheit 62 die Anwesenheit des Objekts 84 durch einen Vergleich der Meßwerte fest, die in den beiden Graphiken 82 und 84 symbolisiert sind. Die Graphik 82 ist somit ein Referenzbild, mit dem die Graphik 86 verglichen wird, wobei Abweichungen zwischen den beiden Graphiken auf die Anwesenheit eines vorher nicht dagewesenen Objektes 84 hindeuten. In dem bevorzugten Anwendungsfall würde dies zum Abschalten oder zumindest zum gesteuerten Stillsetzen der Maschine führen. Aufgrund der Entfernungsinformationen, die mit dem beschriebenen Verfahren gewonnen werden, können dabei auch Manipulationen, wie beispielsweise eine Veränderung der Kameraposition etc. erkannt und berücksichtigt werden.

In dem Flußdiagramm gemäß Fig. 7 ist das Verfahren zum Absichern der Maschine nochmals schematisch dargestellt. Nach der Inbetriebnahme der Vorrichtung in Schritt 90 werden in den Schritten 94, 96 zeitgleich zueinander die ersten und zweiten Bilddaten eingelesen. Optional kann vorher die Lichtquelle 64 eingeschaltet werden, was im Schritt 92 symbolisiert ist. Ein gezieltes Ein- und Ausschalten der Lichtquelle 64 führt zu einer Zwangsdynamisierung der beobachteten Szene, was in an sich bekannter Weise zu Selbsttests verwendet wird. In dem optionalen Schritt 98 werden die Helligkeitswerte der zweiten Bilddaten gleichmäßig reduziert, um den Unterschied in den Grundhelligkeiten auszugleichen. Bei Verwendung eines Graufilters, unterschiedlicher Belichtungszeiten und/oder eines unsymmetrischen Strahlteilers kann dieser Schritt auch entfallen.

In Schritt 100 erfolgt die Bestimmung der Entfernungsinformationen zu jedem gewünschten Punkt innerhalb des beobachteten Raumbereichs, und zwar nach dem zuvor beschriebenen Verfahren. Aus den erhaltenen Meßwerten wird eine Höhenkarte berechnet, wie sie beispielhaft in den Fig. 5 und 6 dargestellt ist. In Schritt 102 wird die Höhenkarte dann mit einer Referenz verglichen, um Veränderungen in dem beobachteten Raumbereich festzustellen. Des weiteren werden hier optional auch die ersten und zweiten Bilddaten für sich mit entsprechend zugehörigen Referenzdaten verglichen, so daß hier insgesamt ein dreifacher Vergleich erfolgt. Die beiden zuletzt genannten Vergleichsschritte sind in den Blöcken 104 bzw. 106 symbolisiert. Im Schritt 108 erfolgt die Abfrage, ob die neu aufgenommenen Daten gegenüber den zugeordneten Referenzwerten Unterschiede aufweisen. Ist dies der Fall, wird gemäß Schritt 110 ein Warnsignal erzeugt. Des weiteren wird die überwachte Maschine in einen sicheren Zustand gebracht. Liegen keine hinreichenden Veränderungen in den aufgenommenen Bilddaten und Entfernungsinformationen vor, beginnt ein neuer Überwachungszyklus mit den Schritten 92, 94 und 96.

Abschließend sei angemerkt, daß die Beschreibung der Ausführungsbeispiele hier nur eine derzeit bevorzugte Anwendung des erfindungsgemäßen Verfahrens darstellen. Darüber hinaus sind weitere Anwendungsgebiete auch in anderen Bereichen der Sicherheitstechnik und darüber hinaus denkbar, beispielsweise die Absicherung von fahrerlosen Fahrzeugen in Hochregallagern, die dreidimensionale Größenvermessung von Gütern für Kontroll- und Sortierzwecke, die Lageerkennung oder die Überstandskontrolle von Gütern. Des weiteren kann die Kamera 10 auch außerhalb der Sicherheitstechnik als Range-Kamera, für 3D- Television oder Ähnliches verwendet werden.

Außerdem kann der überwachte Raumbereich über den maximalen Blickwinkel der Kamera 10 hinaus einfach erweitert werden, indem mehrere Kameras 10 mit aneinander angrenzenden Sichtfeldern kombiniert werden.

Claims

1. Verfahren zum Beobachten, Vermessen oder Überwachen eines Raumbereichs (50), mit den Schritten:

- Aufnehmen von ersten Bilddaten (94) des Raumbereichs (50),

- Aufnehmen von zweiten Bilddaten (96) des Raumbereichs (50), wobei die ersten und die zweiten Bilddaten in Bezug zu mindestens einem Punkt des Raumbereichs (50) unterschiedliche Helligkeitswerte aufweisen, und

- Bestimmen einer Entfernungsinformation (82, 86, 100) zu dem Punkt des Raumbereichs (50), wobei die unterschiedlichen Helligkeitswerte der ersten und der zweiten Bilddaten (94, 96) verwendet werden,
dadurch gekennzeichnet,
daß die ersten und die zweiten Bilddaten (94, 96) mit derart voneinander verschiedenen Blendenöffnungen (26, 28) aufgenommen werden, daß sich die unterschiedlichen Helligkeitswerte ergeben.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die ersten und die zweiten Bilddaten (94, 96) zeitgleich miteinander aufgenommen werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die ersten und zweiten Bilddaten (94, 96) mit zwei Bildaufnahmeeinheiten (12, 14) aufgenommen werden.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß die ersten und zweiten Bilddaten (94, 96) mit zwei getrennten Bildsensoren (22, 24) aufgenommen werden, die pixelweise exakt zueinander ausgerichtet sind.

5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, daß die ersten und die zweiten Bilddaten (94, 96) den zwei Bildaufnahmeeinheiten (12, 14) über einen Strahlteiler (20) zugeführt werden.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß der Strahlteiler (20) ein unsymmetrisches Teilerverhältnis aufweist.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß die Helligkeitswerte der zweiten Bilddaten (96) reduziert werden.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß die Helligkeitswerte der zweiten Bilddaten (96) reduziert werden, indem die zweiten Bilddaten (96) mit einer kürzeren Belichtungszeit als die ersten Bilddaten (94) aufgenommen werden.

9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, daß die Helligkeitswerte der zweiten Bilddaten (96) reduziert werden, indem die zweiten Bilddaten (96) durch ein optisches Verdunklungselement (34) aufgenommen werden.

10. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, daß die Helligkeitswerte der zweiten Bilddaten (96) rechnerisch (98) reduziert werden.

11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, daß die ersten und die zweiten Bilddaten (94, 96) mit jeweils gleichen Abbildungsmaßstäben (30, 32) aufgenommen werden.

12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, daß die ersten und die zweiten Bilddaten (94, 96) zeitweise mit einer zusätzlichen Beleuchtung (92) aufgenommen werden.

13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, daß die Entfernungsinformation (86) zu dem Punkt mit einem zugehörigen Referenzwert (82) verglichen wird, um eine Veränderung in dem Raumbereich (50) zu detektieren.

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß zum Detektieren der Veränderung ferner auch die Bilddaten (94, 96) mit zugehörigen Referenzwerten (104, 106) verglichen werden.

15. Vorrichtung zum Beobachten, Vermessen oder Überwachen eines Raumbereichs (50), mit zumindest einer Bildaufnahmeeinheit (12, 14) zum Aufnehmen von ersten und von zweiten Bilddaten (94, 96) des Raumbereichs (50), wobei die aufgenommenen ersten und zweiten Bilddaten (94, 96) in Bezug zu mindestens einem Punkt des Raumbereichs (50) unterschiedliche Helligkeitswerte aufweisen, und mit einer ersten Auswerteeinheit (60), die unter Verwendung der unterschiedlichen Helligkeitswerte der ersten und zweiten Bilddaten (94, 96) eine Entfernungsinformation (82, 86, 100) zu dem Punkt des Raumbereichs (50) bestimmt, dadurch gekennzeichnet, daß die Vorrichtung Mittel (26, 28) aufweist, um die ersten und die zweiten Bilddaten (94, 96) mit derart voneinander verschiedenen Blendenöffnungen aufzunehmen, daß sich die unterschiedlichen Helligkeitswerte ergeben.

16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, daß sie zum Aufnehmen der ersten und der zweiten Bilddaten (94, 96) zumindest zwei Bildaufnahmeeinheiten (12, 14) aufweist.

17. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet, daß die zwei Bildaufnahmeeinheiten (12, 14) jeweils zumindest einen Bildsensor (22, 24) beinhalten, wobei die Bildsensoren (22, 24) pixelweise exakt zueinander ausgerichtet sind.

18. Vorrichtung nach Anspruch 16 oder 17, dadurch gekennzeichnet, daß sie einen Strahlteiler (20) aufweist, über den die ersten und die zweiten Bilddaten (94, 96) den Bildaufnahmeeinheiten (12, 14) zugeführt sind.

19. Vorrichtung nach Anspruch 18, dadurch gekennzeichnet, daß der Strahlteiler (20) ein unsymmetrisches Teilerverhältnis aufweist.

20. Vorrichtung nach einem der Ansprüche 15 bis 19, dadurch gekennzeichnet, daß sie weitere Mittel (34; 98) aufweist, um die Helligkeitswerte der zweiten Bilddaten (96) zu reduzieren.

21. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß die weiteren Mittel ein optisches Verdunklungselement (34) beinhalten.

22. Vorrichtung nach einem der Ansprüche 16 bis 21, dadurch gekennzeichnet, daß die zumindest zwei Bildaufnahmeeinheiten (12, 14) einen jeweils gleichen Abbildungsmaßstab (30, 32) aufweisen.

23. Vorrichtung nach einem der Ansprüche 16 bis 22, dadurch gekennzeichnet, daß die zwei Bildaufnahmeeinheiten (12, 14) ortsfest in einem gemeinsamen Gerätegehäuse (16) angeordnet sind.

24. Vorrichtung nach einem der Ansprüche 15 bis 23, dadurch gekennzeichnet, daß sie eine steuerbare Beleuchtungseinrichtung (64) aufweist.

25. Vorrichtung nach einem der Ansprüche 15 bis 24, dadurch gekennzeichnet, daß sie ferner eine zweite Auswerteeinheit (62) aufweist, die die Entfernungsinformation (86) zu dem Punkt mit einem zugehörigen Referenzwert (82) vergleicht, so daß eine Veränderung in dem Raumbereich (50) detektierbar ist.

26. Vorrichtung nach Anspruch 25, dadurch gekennzeichnet, daß die zweite Auswerteeinheit (62) zum Detektieren einer Veränderung in dem Raumbereich (50) ferner auch die Bilddaten (94, 96) mit zugehörigen Referenzwerten vergleicht.

27. Verwendung eines Verfahrens nach einem der Ansprüche 1 bis 14 oder einer Vorrichtung nach einem der Ansprüche 15 bis 26 zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage.