-
Die
Erfindung betrifft einen optoelektronischen Sensor und ein Verfahren
zur Detektion von Objekten nach dem Oberbegriff von Anspruch 1 beziehungsweise
Anspruch 12.
-
Bei
kamerabasierter Überwachung, wie sie von Sicherheits- oder
Machine-Vision-Kameras geleistet wird, müssen interessierende
Objekte vor einem beliebigen Hintergrund diskriminiert werden. Dazu
wird ein Kontrast am Objektrand relativ zum Hintergrund benötigt,
um eine Objekterkennung zuverlässig automatisch durchführen
zu können. Ungünstige Belichtungsverhältnisse
können diese Erkennungsaufgabe erschweren und den praktischen Einsatz
in sicherheitsrelevanten Anwendungen wegen nur unvollständiger
Objekterkennung verhindern.
-
Ungünstige
Belichtungswellenlängen oder ungünstige spektrale
Remissionsverläufe von Objekt und Hintergrund sind besonders
störend in Grauwertbildern von Monochromkameras. Beispielsweise können
blaue und rote Bereiche, je nach Lichtverhältnissen auch
nahezu beliebige andere Farbkombinationen, für Monochromkameras
identisch aussehen und so zu Detektionsausfällen führen.
Eine Verwendung von Farbkameras, welche eine dreikanalige Auswertung
erfordert, verbietet sich häufig oder wäre aufgrund
der großen aufzunehmenden Datenmenge zumindest deutlich
aufwändiger, auch weil die relevanten Informationen mit
großem Rechenaufwand extrahiert werden müssen.
-
Aus
der
DE 10 2004
035 243 A1 ist eine Kameraanordnung bekannt, welche eine
Beleuchtungseinrichtung zur Beleuchtung eines Gefahrenbereichs und
einen Bildsensor zur Erfassung von Licht aus dem Gefahrenbereich
aufweist, wobei eine Testvorrichtung die Beleuchtung variieren kann,
um die Funktionsfähigkeit des Bildsensors zu überprüfen. Die
verwendete Kamera ist hier notwendig eine Farbkamera, denn der Test
besteht gerade darin, dass der Sensor eine Farbänderung
der Beleuchtung richtig erkennt. Außerdem soll die Variation
der Farbe jeweils in einem kaum wahrnehmbaren Umfang stattfinden.
Eine solche geringfügige Änderung der spektralen
Zusammensetzung der Beleuchtung vermag an den eingangs beschriebenen
Detektionsproblemen nichts zu ändern.
-
Die
EP 1 269 762 B1 zeigt
eine kamerabasierte Überwachungsvorrichtung, welche zum
Test der Funktionsfähigkeit des Aufnahmechips das Bild der
aufgenommenen Szenerie unter anderem dadurch dynamisiert, dass die
Helligkeit durch zusätzliche Beleuchtung variiert wird.
Schon weil dies nur dem Test der Funktionsfähigkeit dient,
erhöht sich dadurch nicht die Zuverlässigkeit
der Erkennung von Objektkanten. Zudem ist die Art der Beleuchtung auch
in keiner Weise zu einer Verbesserung dieser Erkennung ausgebildet.
-
In
der
DE 199 19 584
A1 ist eine Anordnung zur 3D-Aufnahme offenbart, welche
eine Szene mit zwei Beleuchtungsobjektiven überlappend
mit einem Kontrastmuster unterschiedlicher Farben beleuchtet und
diese Szene aus verschiedenen Perspektiven mittels mehrerer Abbildungsobjektive
aufnimmt. Die einzelnen Sensoren arbeiten in einem an ein Lichtschnittverfahren
oder ein Streifenprojektionsverfahren angelehntes Verfahren zur
Ermittlung von Entfernungen aus Verzerrungen des Kontrastmusters.
Es entsteht also eine Vielzahl von 3D-Sensoren, keine Zusammenwirkung
als stereoskopisches System. Die unterschiedlichen Farben des Kontrastmusters dienen
dazu, die einzelnen Sensoren zu separieren, so dass sie sich durch
ihre jeweils eingestrahlten Kontrastmuster nicht stören.
Das erfordert zwingend schmalbandige Filter vor jedem Abbildungsobjektiv, um
das jeweils zugehörige Kontrastmuster der eigenen Farbe
zu selektieren. Diese Zuordnung der Farbe zu einem Abbildungsobjektiv
ist demnach fest, so dass jedes einzelne Abbildungsobjektiv kontrastarme Objekt-Hintergrundübergänge
bei der jeweils für den einzelnen 3D-Sensor festen Beleuchtung
ebenso schlecht erkennt, als würde die Szene mit einer
einzigen Farbe beleuchtet.
-
Es
ist daher Aufgabe der Erfindung, ein einfaches System zur Überwachung
auf Basis aufgenommener Bilddaten anzugeben, welches eine verbesserte
Objektdetektion zeigt.
-
Diese
Aufgabe wird durch einen optoelektronischen Sensor nach Anspruch
1 sowie ein Verfahren zur Detektion von Objekten nach Anspruch 12
gelöst.
-
Dabei
geht die erfindungsgemäße Lösung von
dem Grundprinzip aus, dass kontrastschwache Übergänge
zwischen Objekt und Hintergrund in verschiedenen Spektralbereichen
unterschiedlich stark ausgeprägt sind, und das Remissionsspektrum
des Überwachungsbereichs und der darin enthaltenen Objekte
kann dementsprechend in unterschiedlichen Spektren ausgewertet werden.
-
Damit
verbindet sich der Vorteil, dass kein großer technischer
Aufwand zur Separation von Farbkanälen getrieben werden
muss, sondern die spektrale Information auf einfache Weise zugänglich wird.
Dies ist deshalb insbesondere auch basierend auf einer billigen
Monochromkamera möglich. Es werden zusätzliche
spektrale Merkmalsräume erschlossen, damit schlechte Kontraste
in einem Spektralbereich durch einen anderen Spektralbereich ausgeglichen
werden können, was sich in einer verbesserten Objektdetektion
niederschlägt.
-
In
der ersten Alternative der erfindungsgemäßen Lösung
wird der Merkmalsraum dadurch erweitert, dass in jeden Auswertungszyklus
Informationen aus unterschiedlicher spektraler Beleuchtung eingehen
und sich damit durch bessere Kontraste die Erkennungsgenauigkeit
der Auswertung erhöht. In der zweiten Alternative wird
bewertet, wie gut unter den aktuellen spektralen Beleuchtungsbedingungen eine
Objektdetektion möglich ist, und gegebenenfalls das Spektrum
gewechselt, um ausreichende Zuverlässigkeit sicherzustellen.
-
Die
Steuerung ist bevorzugt dafür ausgebildet, das Auslösen
der Veränderung und/oder das Zeitintervall der Belichtung
des Lichtempfängers so zu steuern, dass während
der Aufnahme von Bilddaten eines ersten Bildes oder zwischen zwei
Aufnahmen von Bilddaten eines ersten und eines zweiten Bildes die
Beleuchtungsbedingungen wechseln. In der ersten Alternative fließen
verschiedene spektrale Informationen über das Remissionsverhalten
im Überwachungsraum in ein einziges Bild ein, so dass die
Auswertung in keiner Weise aufwändiger wird, jedoch aufgrund
der in den verschiedenen Spektren unterschiedlichen Kontraste Objekte
besser erkennen kann. In der zweiten Alternative werden die unter verschiedenen
Spektren aufgenommenen Bilder klar voneinander separiert und führen
zu verschiedenen Bilddaten, welche gewöhnlich einzeln ausgewertet werden.
Ist in den einen Bilddaten der Kontrastunterschied zu schwach, um
ein Objekt zu erkennen, so kann dies durch die anderen Bilddaten
in einem anderen Spektrum ausgeglichen werden. Es sind auch Mischformen denkbar,
bei denen mehrere Bilder aufgenommen werden, während das
Spektrum sowohl zwischen zwei Bildern als auch während
der Belichtungszeit für ein einzelnes Bild wechselt.
-
Weiterhin
ist die Steuerung bevorzugt dafür ausgebildet, Bilddaten
eines Gesamtbildes aus Teilbereichen des ersten Bildes und des zweiten
Bildes zusammenzusetzen, so dass die Bilddaten einen höheren
Kontrast aufweisen als jedes Einzelbild. Verschiedene Teilbereiche
und besonders Objektkanten, die in einem Spektrum kontrastschwach
sind, können in dem anderen Spektrum gut erkennbar sein.
Indem jeweils der kontraststärkere Teilbereich ausgewählt und
aus diesen Teilbereichen ein Gesamtbild zusammengesetzt wird, kann
mit nur einer Auswertung des Gesamtbildes die Erkennungsgenauigkeit
erheblich gesteigert werden.
-
Alternativ
ist die Steuerung dafür ausgebildet, die Anwesenheit eines
Objekts anzunehmen, wenn die getrennte Auswertung der Bilddaten
eines ersten und eines zweiten Bildes die Anwesenheit eines Objekts
ergibt. Statt also ein Gesamtbild zusammenzusetzen und dies anschließend
nur einmal auszuwerten, werden die unterschiedlichen Spektren durch
jeweils eine eigene Auswertung ausgenutzt. Im Ergebnis wird auch
so die Erkennungsgenauigkeit erheblich gesteigert, weil Objektkanten,
die unter einem Spektrum des einen Bildes schlecht erkennbar sind,
durch Detektion in dem anderen Bild kompensiert werden können.
-
In
vorteilhafter Weiterbildung der Erfindung sind mindestens zwei Lichtquellen
zur Beleuchtung des Überwachungsbereichs mit unterschiedlicher spektraler
Abstrahlung vorgesehen, insbesondere Halbleiterlichtquellen, LEDs
oder Laser, welche jeweils Licht im sichtbaren oder infraroten Bereich
erzeugen können, wobei die Steuerung eine Veränderung
der Beleuchtungsbedingungen durch Aktivieren, Deaktivieren oder
Veränderung der Leistungsaufnahme der Lichtquellen auslösen
kann. Die unterschiedlichen spektralen Bedingungen werden also aktiv
dem Überwachungsbereich aufgeprägt, wobei die
Steuerung durch verschiedene Zeitmuster, in denen der Überwachungsbereich
nicht, von jeweils einer oder überlappend von beiden Lichtquellen
beleuchtet wird, zahlreiche Möglichkeiten hat, diese spektralen
Bedingungen zu variieren. Ein weiterer Freiheitsgrad, um die spektralen
Bedingungen zu variieren, liegt in der Wahl des Belichtungsfensters, welches
von der Steuerung vollständig innerhalb eines Zeitfensters
mit konstanten aktiven Beleuchtungsbedingungen, aber auch zwei oder mehrere
unterschiedliche aktive Beleuchtungsbedingungen umfassend gelegt
werden kann.
-
Alternativ
oder zusätzlich zu den zwei Lichtquellen mit festgelegter
spektraler Abstrahlung kann auch vorteilhafterweise eine breitbandige
Lichtquelle mit einem Beleuchtungsfilter zur Beleuchtung des Überwachungsbereichs
vorgesehen sein, wobei die Steuerung eine Veränderung der
Beleuchtungsbedingungen durch Veränderungen der Filtereigenschaften
des Beleuchtungsfilters auslösen kann. Mit einer solchen
Lichtquelle und geeigneter Wahl der Filtereigenschaften können
dem Überwachungsbereich aktiv nahezu beliebige Spektralbereiche
aufgeprägt werden.
-
Die
Lichtquelle erzeugt jeweils bevorzugt homogenes Licht oder Licht
in einem Kontrastmuster, insbesondere mittels eines vor der Lichtquelle
angeordneten diffraktiven optischen Elements oder einer Maske. Durch
die erfindungsgemäße Variation der spektralen
Beleuchtungsbedingungen ist der Kontrast ohnehin schon erhöht,
so dass eine homogene Beleuchtung, die technisch unaufwändiger
ist, ausreichen kann. Zur weiteren Erhöhung des Kontrastes kann
aber auch ein Kontrastmuster gewählt werden, also ein regelmäßiges
oder unregelmäßiges Punktmuster, ein Linienmuster
und weitere, sogar ein selbstunähnliches Muster, welches
also eindeutige Bezüge zwischen Muster und zugehörigem
Ort zulässt.
-
Dem
Lichtempfänger ist bevorzugt ein Sensorfilter vorgeordnet,
wobei die Steuerung eine Veränderung der Beleuchtungsbedingungen
durch Veränderung der Filtereigenschaften des Sensorfilters auslösen
kann. Der Wechsel der Beleuchtungsbedingungen kann dann etwa auch
darin liegen, dass das Umgebungslicht in einer Phase durchgelassen
und in einer anderen Phase durch schmalbandige Filter ausgeblendet
wird. Dabei muss nicht einmal notwendig der Überwachungsbereich
aktiv beleuchtet werden, sondern es kann allein das natürliche
oder ohnehin vorhandene künstliche Umgebungslicht ausgenutzt
werden. Noch stärkere spektrale Unterschiede lassen sich
dadurch erzeugen, dass in der Phase des schmalbandigen Filterns
die Filtereigenschaften auf die Frequenz der aktiven Beleuchtung
abgestimmt sind.
-
Das
Beleuchtungs- und/oder Sensorfilter ist bevorzugt ein Filterrad
oder ein abstimmbares Filter, insbesondere ein schmalbandiges LCD-Filter,
wobei die Steuerung insbesondere dafür ausgebildet ist,
die Filtereigenschaften und/oder die Beleuchtungsbedingungen zu
verändern, so dass die Bilddaten einen optimalen oder einen
Mindestkon trast aufweisen. Ein Filterrad ist verhältnismäßig
kostengünstig verfügbar. Über den Drehwinkel
und die Sendefrequenz lassen sich die Filtereigenschaften von der
Steuerung ändern. Ein abstimmbares Filter, das also durch
elektronische Ansteuerung seine Filtereigenschaften ändern
kann, ist wesentlich schneller, robuster und kommt ohne nachteilige
mechanisch bewegte Teile aus, die eine höhere Wartungsanfälligkeit
haben. Die Steuerung kann die Filtereigenschaften in einem Teach-In
oder dynamisch an die aktuellen Gegebenheiten anpassen, um einen
Kontrast der Bilddaten zu erzeugen, welcher für eine sichere
Objektdetektion ausreicht, und dadurch die Verfügbarkeit
und Zuverlässigkeit erhöhen.
-
In
einer bevorzugten, insbesondere sicherheitstechnischen Anwendung
ist eine Warn- oder Absicherungseinrichtung vorgesehen, welche dafür ausgebildet
ist, bei Erkennung eines unzulässigen Objekteingriffs in
dem Überwachungsbereich durch die Steuerung eine Warnung
auszugeben oder eine Gefahrenquelle abzusichern. Nicht jegliche
Objektdetektion, sondern nur unzulässige Objekte, die also nicht
zuvor als zugelassen eingelernt oder aufgrund ihrer Eigenschaften
als unkritisch erkannt werden, führen daher zu einer Warnung
oder einer sicherheitsgerichteten Abschaltung. Das wichtigste Beispiel
derartiger unzulässiger Objekte sind Körperteile von
Bedienpersonal.
-
Der
Sensor ist bevorzugt eine zweidimensionale oder eine dreidimensionale
Sicherheitskamera, die insbesondere nach dem Prinzip der Stereoskopie,
der Lichtlaufzeit oder der aktiven Triangulation arbeitet. Dies
sind typische in der Sicherheitstechnik angewandte Sensoren, welche
besonders von der erhöhten Zuverlässigkeit durch
Anpassung und Ausnutzung spektraler Eigenschaften profitieren.
-
Das
erfindungsgemäße Verfahren kann auf ähnliche
Weise weitergebildet werden und zeigt dabei ähnliche Vorteile.
Derartige vorteilhafte Merkmale sind beispielhaft, aber nicht abschließend
in den sich an die unabhängigen Ansprüche anschließenden Unteransprüchen
beschrieben.
-
Erfolgt
bei dem erfindungsgemäßen Verfahren vorteilhafterweise
der Wechsel der Beleuchtungsbedingungen so schnell, dass das Auge
eines Betrachters aufgrund seiner Trägheit keinen Wechsel bemerkt,
so bleibt die Szene trotz Ausnutzung verschiedener optischer Spektren
ruhig, ohne Bedienpersonal zu irritieren oder gar Beeinträchtigungen
bis hin zu epileptischen Anfällen auszulösen.
-
Die
Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und
Vorteile beispielhaft anhand von Ausführungsformen und
unter Bezug auf die beigefügte Zeichnung näher
erläutert. Die Abbildungen der Zeichnung zeigen in:
-
1 eine
schematische Darstellung einer Ausführungsform des erfindungsgemäßen
Sensors und seines Überwachungsbereichs in der Draufsicht;
-
2a ein
stark vereinfachtes beispielhaftes Grauwertbild des Überwachungsbereichs
mit einem roten Objekt auf blauem Hintergrund unter breitbandiger
Beleuchtung zur Illustration des Problems schlechte Kontraste;
-
2b ein
Bild gemäß 2a in
einem blauen Beleuchtungsspektrum mit klar erkennbarem Objekt;
-
2c ein
Bild gemäß 2a alternativ
in einem roten Beleuchtungsspektrum mit ebenfalls klar erkennbarem
Objekt;
-
3 eine
Darstellung der zeitlichen Abfolge von verschiedenen Beleuchtungen
und Belichtungsfenstern zur Erläuterung der Erzeugung von
Bilddaten unter unterschiedlichen spektralen Beleuchtungsbedingungen;
-
4 eine
Darstellung gemäß 3 mit zu Beleuchtungspulsen
mehrerer Lichtquellen zeitversetztem Belichtungsfenster;
-
5 eine
schematische Darstellung einer zweiten Ausführungsform
des erfindungsgemäßen Sensors und seines Überwachungsbereichs
als 3D-Kamera;
-
6 eine
schematische Darstellung einer Kamera mit einem als Filterrad ausgebildeten
variablen optischen Filter; und
-
7 eine
Darstellung des zeitlichen Ablaufs der Filtereigenschaften eines
variablen Filters gemäß 6 und eines
Belichtungsfensters.
-
1 zeigt
in schematischer Draufsicht einen Sensor 10 zur Überwachung
eines Überwachungs- oder Raumbereichs 12 gemäß einer
ersten Ausführungsform der Erfindung. In einem Gehäuse 14 mit
einer Frontscheibe 16 ist ein Bildsensor 18 angeordnet,
der durch ein Objektiv 20 und die Frontscheibe 16 Bilddaten
des Raumbereichs 12 erzeugen kann. Dieser Bildsensor 18 besteht
beispielsweise aus einer Vielzahl von Photodioden oder ist ein zeilen-
oder matrixförmiger Aufnahmechip, der ein zeilenförmiges
oder rechteckiges Pixelbild aufnimmt und etwa ein CCD- oder ein
CMOS-Sensor ist.
-
Eine
Steuerung 22 des Sensors 10 ist mit dem Bildsensor 18 verbunden
und empfängt dessen Bilddaten aus dem Raumbereich 12.
Weiterhin ist an die Steuerung 22 eine Warn- oder Abschalt-
beziehungsweise Absicherungseinrichtung 24 angeschlossen.
Die Abschalteinrichtung 24 weist einen Abschaltausgang
(OSSD, Output Switching Signal Device) auf. Steuerung 22 sowie
Warn- oder Abschalteinrichtung 24 können, wie
in 1 dargestellt, Teile einer externen Steuerung
oder eines externen Rechnersystems sein, sie können aber
auch in den Sensor 10 innerhalb des Gehäuses 14 integriert
werden.
-
Erkennt
die Steuerung 22 durch Auswertung der Bilddaten des Raumbereichs 12 einen
unzulässigen Objekteingriff, etwa durch ein Objekt 26,
so wird über die Warn- oder Abschalteinrichtung 24 eine Warnung
ausgegeben oder eine Gefahrenquelle abgesichert. Dazu werden häufig
in dem Raumbereich 12 Schutzfelder angelegt, in die kein
Eingriff erfolgen darf, beispielsweise um gefährliche Maschinenteile herum.
Um Ausfallzeiten durch unnötige Fehlalarme so gering wie
möglich zu halten, wird häufig um das eigentliche
Schutzfeld herum ein Warnbereich angelegt, wo ein unzulässiger
Objekteingriff zunächst nur eine Warnung auslöst
und erst bei fortgesetztem Eingriff auch in das Schutzfeld die Gefahrenquelle
abgesichert wird, also beispielsweise die Maschine des gefährlichen
Maschinenteils abgeschaltet oder in eine sichere Position gebracht
wird. Es ist auch denkbar, vorab in dem Raumbereich 12 vorhandene
Objekte 26 sowie bestimmte erlaubte Bewegungsmuster festgelegter
Objekte 26 einzulernen und diese im Betrieb von unzulässigen
Objekteingriffen zu unterscheiden, also bei deren Eingriff nicht
zu reagieren.
-
Für
Anwendungen in der Sicherheitstechnik ist der Sensor 10 fehlersicher
ausgelegt. Dies bedeutet unter anderem, dass der Sensor 10 sich
selber in Zyklen unterhalb der geforderten Ansprechzeit testen kann
und dass der Ausgang zur sowie die Warn- oder Abschalteinrichtung 24 und
dessen OSSD sicher, beispielsweise zweikanalig ausgelegt sind. Ebenso ist
auch die Steuerung 22 selbstsicher, wertet also zweikanalig
aus oder verwendet Algorithmen, die sich selbst prüfen
können.
-
Entsprechende
Sicherheitsanforderungen sind in der Norm EN 954-1 bzw. ISO
13849 (performance level) festgelegt. Die damit mögliche
Sicherheitsstufe und die weiteren Sicherheitsanforderungen an eine
Anwendung sind in der Norm EN 61508 bzw. EN
62061 definiert. Eine entsprechende Norm für Sicherheitskameras
ist in Vorbereitung.
-
In
dem Gehäuse 14 ist weiterhin eine Beleuchtung 28 vorgesehen,
die in einer alternativen Ausführungsform auch außerhalb
des Gehäuses 14 angeordnet sein kann. Die Beleuchtung 28 weist
zwei Lichtquellen 30, 32 auf, und die Steuerung 22 ist
mit der Beleuchtung 28 derart verbunden, dass sie die Beleuchtung 28 und
jede der Lichtquellen 30, 32 je nach Bedarf ein-
und ausschaltet oder deren Leistung regelt. Die Beleuchtung 28 beleuchtet
im Betrieb den zu überwachenden Teil des Raumbereichs 12. Das
Licht kann homogen sein, oder es wird ein Kontrastmuster erzeugt,
das einen höheren Kontrast im Raumbereich 12 und
damit auch in den aufgenommenen Bilddaten sichert. Als Muster kommen
ein Punktmuster, ein Linienmuster, ein Gitternetz oder andere regelmäßige
Muster in Betracht, aber auch unregelmäßige und
sogar selbstunähnliche Muster, die unter einfachen geometrischen
Operationen wie Verschiebungen, Drehungen und Spiegelungen in keinem
Teilbereich ineinander überführt werden können.
Solche selbstunähnlichen Muster ermöglichen eine
eindeutige Zuordnung von Charakteristika des Musterbereichs zu relativer
Lage innerhalb des Musters. Das Kontrastmuster kann durch eine Maske oder
durch ein diffraktives optisches Element erzeugt werden, welches
Mikrostrukturen aufweist, die Licht vorgegebener Weise ablenken,
um das gewünschte Kontrastmuster zu erhalten.
-
Als
Lichtquellen 30, 32 dienen Halbleiterelemente,
wie Laser oder Leuchtdioden, insbesondere auch Hochleistungs-LEDs.
Die beiden Lichtquellen 30, 32 haben jeweils ein
voneinander unterschiedliches schmalbandiges Emissionsspektrum.
Dabei können Spektralbänder im sichtbaren oder
infraroten Bereich vorgesehen sein, wobei jedoch die Kombination
zweier unterschiedlicher Bänder jeweils im infraroten Bereich
weniger sinnvoll ist, weil die frequenzabhängigen Kontrastunterschiede
in verschiedenen Frequenzen des sichtbaren Lichts deutlich höher sind
als in verschiedenen Frequenzen des infraroten Lichts.
-
Durch
geeignete Ansteuerung der beiden Lichtquellen 30, 32 von
der Steuerung 22 kann die Beleuchtung im Raumbereich 12 auf
ein einzelnes Spektralband einer Lichtquelle 30, 32 oder
ein überlappendes Spektralband beider Lichtquellen 30, 32 festgelegt
werden. Zusätzlich kann die Steuerung 22 ein Belichtungsfenster
für den Bildsensor 18 und damit das effektiv für
die Aufnahme der Bilddaten genutzte Beleuchtungsspektrum festlegen.
Selbstverständlich ist denkbar, mehr als zwei Lichtquellen
für weitere Beleuchtungsspektralbänder vorzusehen.
-
Mit
dem Sensor 10 realisierbare Beleuchtungsszenarien zur Gewinnung
von Bilddaten mit verbessertem Kontrast werden nun unter Bezugnahme
auf die 2 bis 4 beschrieben.
-
In 2a ist
eine zur Veranschaulichung sehr einfache Konstellation eines roten
Objekts 26 vor einem blauen Hintergrund des Raumbereichs 12 als
Grauwertbild unter breitbandiger Beleuchtung dargestellt. Aufgrund
schwachen Kontrasts ist das Objekt 26 schlecht oder gar
nicht aufzulösen. 2b und 2c zeigen
dieselbe Konstellation in einem blauen beziehungsweise einem roten
Beleuchtungsspektrum. Das Objekt 26 hebt sich mit starkem
Kontrast von dem Hintergrund ab und ist durch die Steuerung 22 leicht
zu erkennen. Der erläuterte Effekt ist besonders groß bei
Verwendung einer Monochromkamera, aber auch bei einer Farbkamera
wird durch die erfindungsgemäße multispektrale
Beleuchtung die Auswertung beträchtlich erleichtert.
-
In
einer Ausführungsform der Erfindung bewertet die Steuerung 22 das
aufgenommene Bild auf hinreichenden Kontrast und wechselt das Beleuchtungsspektrum
immer dann, wenn die Bilddaten für eine zuverlässige
Objektdetektion nicht kontraststark genug sind. Ein Beispiel für
ein solches zu kontrastschwaches Bild könnte so aussehen
wie das in 2a dargestellte. In einer anderen
Ausführungsform liegen jeder Auswertung auf einen unzulässigen Objekteingriff,
also jedem Auswertungszyklus innerhalb der geforderten Ansprechzeit
des Sensors 10, mehrere Bilder zu Grunde, die unter unterschiedlichen
Beleuchtungsspektren aufgenommen sind, oder ein Bild, in dessen
Bilddaten unterschiedliche Beleuchtungsspektren eingeflossen sind.
Gerade im letzteren Fall sollte die Beleuchtung angepasst sein, etwa
indem je nach Rotanteil im Raumbereich 12 größere
oder kleinere Rotanteile der Beleuchtung innerhalb der Aufnahmezeit
eingestellt werden.
-
3 zeigt
im oberen Teil drei zueinander zeitversetzte beispielhafte Beleuchtungspulse,
etwa einen roten Beleuchtungspuls 34, einen blauen Beleuchtungspuls 36 und
einem grünen Beleuchtungspuls 38. Dies ist ein
mögliches Beleuchtungsschema, mit dem die Steuerung 22 drei
verschiedene schmalbandige Lichtquellen ansteuert. Andere, insbesondere
nicht pulsförmige Beleuchtungen sind denkbar. Im unteren
Teil der 3 sind drei Belichtungsfenster 40 dargestellt,
in denen der Bildsensor 18 Bilddaten aufnimmt, so dass
drei Bilder unter jeweils roter, blauer und grüner Beleuchtung
entstehen. Belichtungsphasen 40 des Sensors 10 sind
also synchron zu den Beleuchtungspulsen 34, 36, 38 mit
der jeweils gewünschten spektralen Charakteristik.
-
Gemäß 4 kann
das Belichtungsfenster 40 auch so gelegt werden, dass während
der Belichtungszeit unterschiedliche Beleuchtungen vorliegen, die
Beleuchtungspulse 34, 36 sind dann also nicht synchron
zu dem Belichtungsfenster 40. Im dargestellten Beispiel
wird jeweils zur Hälfte während der Beleuchtung
mit dem roten Beleuchtungspuls 34 und dem blauen Beleuchtungspuls 36 belichtet.
-
Der
Wechsel zwischen den unterschiedlichen Beleuchtungsfarben, die abweichend
von den Darstellungen in 3 und 4 auch im
infraroten Bereich liegen können, wird jeweils so schnell
vollzogen, dass die Trägheit des menschlichen Auges den Wechsel
nicht bemerkt und Bedienpersonal sich deshalb nicht von dem Sensor 10 gestört
fühlt.
-
Es
ist einerseits denkbar, dass die Steuerung 22 den Kontrast
im Bild oder in Bildregionen sowie das Detektionsergebnis bewertet
und abhängig davon einen Anstoß für einen
Spektralwechsel der Beleuchtung 26 gibt. Alternativ können
in einem regelmäßigen Turnus alle oder einige
der verfügbaren Beleuchtungsspektren durchprobiert werden.
-
Werden
mehrere Bilder aufgenommen, so ist denkbar, kontrastreiche Teilbereiche
der jeweiligen Bilder zu selektieren und zu einem Gesamtbild zusammenzusetzen,
welches eine aufgrund des durch die multispektrale Beleuchtung erhöhten
Kontrasts eine deutlich genauere Auswertung ermöglicht. Denkbar
ist auch, zusätzlich oder alternativ jedes einzelne Bild
auf Objekte 26 hin auszuwerten und einen unzulässigen
Objekteingriff dann als erkannt zu werten, wenn dies das Ergebnis
der Auswertung eines der Bilder ist.
-
5 zeigt
eine weitere Ausführungsform der Erfindung, in der gleiche
Bezugszeichen die gleichen Merkmale bezeichnen. Im Unterschied zu
der Ausführungsform gemäß 1 ist
hier eine 3D-Kamera vorgesehen, welche mittels zweier Bildsensoren 18a, 18b jeweils
mit einer Abbildungsoptik 20a, 20b den Raumbereich 12 aus
zwei unterschiedlichen Perspektiven aufnimmt und daraus mittels
stereoskopischer Algorithmen Entfernungen schätzt und somit dreidimensionale
Bilddaten erzeugt. Die übrigen beschriebenen Merkmale und
Varianten lassen sich auf diese Ausführungsform übertragen.
Besonders bei 3D-Algorithmen ist ein hinreichender Kontrast erforderlich,
um zuverlässig Entfernungen abschätzen zu können,
so dass die erfindungsgemäß verwirklichten Vorteile
besonders gut zum Tragen kommen.
-
Auch
in weiteren, nicht dargestellten Sensoren kann die Erfindung eingesetzt
werden, etwa in Lichtlaufzeitkameras, Sicherheitskameras, welche Entfernungen
mittels aktiver Triangulation ermitteln, und sonstigen Sensoren,
die einen ortsauflösenden Lichtemp fänger aufweisen
und wo eine Kontrasterhöhung durch multispektrale Beleuchtung
und den somit erweiterten Merkmalsraum von Vorteil ist.
-
6 zeigt
eine zusätzliche oder alternative Möglichkeit,
die spektrale Zusammensetzung des auf den Bildsensor 18 auftreffenden
Lichts zu verändern. Dem hier als Sicherheitskamera 10 dargestellten Sensor
wird ein Filterrad 42 vorgeordnet. Das Filterrad 42 hat
einen breitbandigen Anteil 42a, im einfachsten Fall eine
plane Glasplatte, und einen schmalbandigen Anteil 42b.
Je nach Drehposition erreicht also jegliches Licht oder nur entsprechendes schmalbandiges
Licht einer dem Filterband des Bereichs 42b entsprechenden
spektralen Zusammensetzung den Bildsensor 18.
-
In 7 ist
ein möglicher Verlauf 44 der Intensität
des Umgebungslichts gezeigt, welches in der ersten Hälfte
des dargestellten Intervalls durch den breitbandigen Anteil 42a transmittiert
wird und in der zweiten Hälfte durch den schmalbandigen
Anteil 42b weitgehend unterdrückt wird. Dafür
dreht sich das Filterrad 42 mit konstanter Geschwindigkeit
und erlaubt so die Einstellung einer Filtergewichtung über
den Zeitpunkt der Belichtung. Die Drehrate ist so gewählt, dass
eine Halbdrehung des Filterrades 42 gerade innerhalb der
maximalen Belichtungszeit des Bildsensors 18 stattfindet.
Das Filterrad kann weitere Teilbereiche aufweisen, um gegenüber
verschiedenen Frequenzen schmalbandig zu filtern und damit weitere spektral
unterschiedliche Beleuchtungsschemata zu realisieren.
-
Das
Belichtungsintervall 40 kann gegenüber den somit
variierenden Beleuchtungssituationen verschoben werden, um Störeffekte
des Umgebungslichts wie eine Überbelichtung auszugleichen.
In Kombination mit verschiedenen schmalbandigen Anteilen 42b kann
damit eine gewünschte spektrale Zusammensetzung ausgewählt
werden. In zusätzlicher Kombination mit der aktiven Beleuchtung 26 vergrößert
sich die Auswahl an verfügbaren Beleuchtungsspektren und
-intensitäten weiter.
-
Als
Alternative zu einem mechanischen Filterrad, wie es in 6 dargestellt
ist, kann auch als ein wesentlich schnelleres, robusteres und flexibleres
Element ein elektronisch abstimmbares Filter auf LCD-Basis eingesetzt
werden. In der Telekommunikation und der Projektionstechnik, weniger
in der Sensorik wird derzeit in vielen Forschungsaktivitäten das
Ziel verfolgt, schnellere, kostengünstigere, elektronisch
abstimmbare optische Filter auf Basis weiterer Technologien zu entwickeln.
Alle diese Filter kommen für den Einsatz anstelle des Filterrads 42 in
Betracht.
-
Ein
in seinem Filterverhalten variables Filter, wie es soeben als Filter
vor dem Bildsensor 18 beschrieben wurde, kann auch vor
eine breitbandige Lichtquelle gesetzt werden, damit diese in die
Lage versetzt wird, schmalbandige Beleuchtungen in jeweils gewünschten
Zeiten zu erzeugen. Eine solche Lichtquelle kann dann alternativ
oder zusätzlich zu schmalbandigen Halbleiterlichtquellen
eingesetzt werden.
-
Der
Vorteil beim Einsatz von Filtern vor einer Lichtquelle und/oder
vor dem Bildsensor 18 ist eine weitgehende Flexibilität
in Bezug auf die zu verwendende Wellenlänge. Die Steuerung 22 oder
eine Konfiguration kann also auf denjenigen Wellenlängenbereich
optimiert werden, in dem der Raumbereich 12 mit den Objekten 26 den
größten Kontrast bietet. Vorstellbar ist auch,
mehrere Wellenlängenbereiche zu finden, in denen jeweils
Teilbereiche einen optimalen Kontrast bilden, und das für
die Auswertung verwendete Bild wird aus mehreren Bildern mit solchen
Teilbereichen zusammengesetzt. Die Freiheitsgrade des Filters können
auch ausgenutzt werden, um sich zusätzlich abstimmbar gegen
das Umgebungslicht abzugrenzen.
-
Dieses
Umgebungslicht ist nämlich in seiner Intensität,
seiner räumlichen Verteilung und in seinem Spektrum für
den Sensor 10 unvorhersehbar, so dass sich neben dem Erreichen
eines guten Kontrasts Schwierigkeiten durch das Umgebungslicht ergeben
können. Zwar kann Umgebungslicht genutzt werden, um auch
ohne aktive Beleuchtung 26 optische Informationen über
den Raumbereich 12 zu gewinnen, es besteht aber immer die
Gefahr von Unterbelichtung oder Übersteuerung und somit
unzureichender oder sogar gänzlich unbrauchbarer Bilddaten.
-
Das
vorgestellte variable Filter 42 kann nun genutzt werden,
um sich eine optimale Beleuchtung als Kombination aus aktiver Beleuchtung
und/oder Umgebungslicht zusammenzustellen. Dazu werden Filtereigenschaften
und die Lage des Belichtungsfensters entsprechend gewählt,
und die herkömmliche Festlegung auf entweder nur aktive
Beleuchtung mit schmalbandigem Filter oder nur Umgebungslicht ohne
Filter entfällt. Erfindungsgemäß kann über
die zeitliche Lage des Belichtungsfensters 40 und die Gewichtung
zwischen Umgebungslicht und aktiver Beleuchtung variabel auf verschiedene
Umgebungslichtbedingungen reagiert werden. So kann wie in 7 jeweils
die halbe Belichtungszeit auf das Intervall mit breitbandigem und
das Intervall mit schmalbandigem Filter gelegt werden. Variation
der Änderungen der Filtereigenschaften und der Lage und Länge
des Belichtungsfensters erlaubt aber auch jegliche Zwi scheneinstellung,
mit welcher effektiv die Intensität des Umgebungslichts
und der aktiven Beleuchtung angepasst und ausgeglichen werden kann,
so dass Übersteuerungen oder Untergewichtungen beider Komponenten
vermieden werden.
-
Erfindungsgemäß werden
also diverse Beleuchtungsschemata auf Basis von Beleuchtungsquellen
verschiedener Wellenlänge eingesetzt, die in einem speziellen
zeitlichen Synchronisierungsschema eine Szene beleuchten und über
ein oder mehrere Kameras aufnehmen. Dadurch lässt sich
mit sehr geringem Aufwand, nämlich beispielsweise monochromem
Bildaufnehmer und einfacher LED-Beleuchtung, ein zusätzlicher
Merkmalsraum für die Objekterkennung oder Erfassung redundanter,
aber nicht unbedingt einzeln sicher auswertbarer Bildinformationen
erschließen. Die Möglichkeit, Kontraste und spezielle
Objekte 26 im Kamerabild zu entdecken, ist dadurch stark
verbessert. Da nur die zeitliche Synchronisation zwischen Beleuchtung
und Belichtung angepasst werden muss, ist die Umschaltung zwischen
den verschiedenen Beleuchtungsschemata sehr einfach zu realisieren,
sehr flexibel und sehr schnell. Bei schneller Umschaltung wird aufgrund
der Trägheit des menschlichen Auges die Verwendung verschiedener
Beleuchtungsspektren nicht wahrgenommen, sondern als konstante Beleuchtung
mit einer festen Farbe empfunden.
-
Obwohl
einzelne Ausführungsformen anhand der Figuren beschrieben
worden sind, umfasst die Erfindung auch weitere Kombinationen, da
die vorgestellten verschiedenen schmalbandigen aktiven Beleuchtungen,
breitbandigen Beleuchtungen mit Filter, variablen Filtern vor dem
Bildsensor und die diversen Auswertungsschemata sich ergänzende Maßnahmen
zur Verwirklichung der Erfindungsidee sind.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 102004035243
A1 [0004]
- - EP 1269762 B1 [0005]
- - DE 19919584 A1 [0006]
-
Zitierte Nicht-Patentliteratur
-
- - EN 954-1 [0038]
- - ISO 13849 [0038]
- - EN 61508 [0038]
- - EN 62061 [0038]