-
TECHNISCHES GEBIET
-
Die
vorliegende Erfindung betrifft das Erkennen von Verschmutzung bei
einem TOF-Distanzbild-Bildgebungssystem im Allgemeinen und an der Optik
eines TOF-Distanzbildkamerasystems im Besonderen.
-
STAND DER TECHNIK
-
Insassenerkennungs-
und -klassifizierungsvorrichtungen, die auf optischen Sensoren basieren, sind
mittlerweile in modernen Kraftfahrzeugen vorgesehen. Die durch derartige
Vorrichtungen ermittelten Informationen sind eine Sitzbelegungsklasse,
die häufig für sicherheitskritische Anwendungen
wie die intelligente Steuerung von adaptiven Airbags verwendet wird.
Diese Vorrichtungen bestehen für gewöhnlich aus
einer Steuer- und Recheneinheit und einer Sensoreinheit, wobei die
Steuereinheit die durch die Sensoreinheit bereitgestellten Bilder
analysiert, um die wahrscheinlichste Sitzbelegungsklasse, beispielsweise ”leer”, ”Kindersitz” oder ”Fahrzeuginsasse”,
zu ermitteln und diese hernach an die Airbag-Steuereinheit weiterzuleiten.
-
Herkömmliche
optische Erkennungs- und Klassifizierungsvorrichtungen bedienen
sich für gewöhnlich einer auf dem Laufzeit(Time
of Flight)-Prinzip basierenden Echtzeit-Distanzbildkamera ohne bewegte
Teile (ein Beispiel für eine derartige TOF-Distanzbildkamera
wurde beispielsweise von R. Lange und P. Seitz in "Solid-State
Time-of-Flight Range Camera", IEEE Journal of Quantum Electronics, Bd.
37, Nr. 3, März 2001, beschrieben). Die Erkennungs-
und Klassifizierungsvorrichtung umfasst vor allem eine Recheneinheit
und eine Sensoreinheit. Die Sensoreinheit weist einen Bildgebersensor
auf, der nach dem TOF-Prinzip betrieben wird, und eine zugeordnete
optische Schnittstelle, die eine oder mehrere Linsen umfasst, um
das Licht, das von der beobachteten Szene kommt, zu sammeln und
auf den Bildgeber zu fokussieren. Die Sensoreinheit bindet auch
das aktive Beleuchtungsmodul ein, das beispielsweise sichtbare oder
nahinfrarote Strahlung abgibt, die an den Objekten in der Szene
reflektiert und durch die Sensoreinheit detektiert wird.
-
Ein
jedwedem optischen System innewohnendes Problem ist jenes der Verschmutzung
(Verunreinigung). Tatsächlich ist bei einer Insassenerkennungs-
und -klassifizierungsvorrichtung die optische Schnittstelle der
Sensoreinheit zu dem Fahrzeuginnenraum hin von dem Fahrgastraum
aus kommender Verschmutzung, beispielsweise durch Schmutz, Staub,
Tau, Schmiere, Kratzern, Fingerspitzen usw., ausgesetzt. Indem sie
die optischen Eigenschaften der Sensoreinheit lokal oder homogen
verändert, kann sich Verschmutzung möglicherweise
dahingehend auswirken, dass sie die Leistung des Betriebs der Steuer-
und Recheneinheit verändert und daher möglicherweise
zu Fehlern bei den ermittelten Informationen, beispielsweise der
Belegungsklasse einer Insassenerkennungs- und -klassifizierungsvorrichtung,
führt.
-
Das
Problem der Verschmutzung ist bei derartigen sicherheitskritischen
Anwendungen besonders akut, und es wäre gut, über
ein einfaches und wirksames Verfahren zum Ermitteln von Verschmutzung
bei einer derartigen TOF-Distanzbildkamera für diese und
andere Arten von Anwendungen zu verfügen.
-
AUFGABE DER ERFINDUNG
-
Aufgabe
der vorliegenden Erfindung ist es, ein Verfahren zur Verschmutzungserkennung
bei einem TOF-Distanzbild-Bildgebungssystem bereitzustellen.
-
Diese
Aufgabe wird durch ein Verfahren nach Anspruch 1 gelöst.
-
ALLGEMEINE BESCHREIBUNG DER
ERFINDUNG
-
Die
vorliegende Erfindung schlägt die Verwendung von Amplitudeninformationen,
die den Sensorpixeln zugeordnet sind, vor, um das Vorliegen von Verschmutzung
auf der optischen Schnittstelle eines Laufzeit-Distanzbild-Bildgebungssystems
zu erkennen. Die Erfinder der vorliegenden Erfindung haben tatsächlich
beobachtet, dass das Vorliegen von Verschmutzung auf der optischen
Schnittstelle zu einem Unscharfwerden von Amplitudenbildern/-daten
führt, entweder lokal oder homogen über die gesamte
Sensorfläche. Dieses Unscharfwerden führt vor
allem zur Veränderung der Verteilung von Amplitudenwerten auf
Grund der Beugung von einfallendem moduliertem Licht zwischen benachbarten
Sensorpixeln in dem Bildgeberarray. Dies führt zu einem
Kontrastverlust, was sich vor allem auf Hintergrundeigenschaften
auswirkt.
-
Wie
bestens bekannt ist, stehen bei einer bildgebenden, d. h. einer
nicht-abtastenden, TOF-Kamera die Entfernungsinformationen mit der Lichtwellenlaufzeit
in Relation, wobei jedoch die Amplitude der detektierten optischen
Signalkomponente für gewöhnlich auch in Systemen
ermittelt wird, die modulierte Lichtwellen zur Szenenbeleuchtung
verwenden. Tatsächlich definiert die Amplitude das Signal-Hintergrund-Verhältnis
und somit die Systemgenauigkeit.
-
Demzufolge
schlägt die vorliegende Erfindung ein Verfahren zur Verschmutzungserkennung bei
einem Laufzeit (TOF)-Distanzbild-Bildgebungsystem vor, wobei das
Bildgebungssystem Licht empfängt, das von einer Szene durch
eine optische Schnittstelle auf einen Bildgebersensor reflektiert wird,
welcher ein Array aus Pixeln aufweist, wobei für die Sensorpixel
Entfernungsinformationen und Amplitudeninformationen ermittelt werden.
Gemäß einem wesentlichen Aspekt der vorliegenden
Erfindung wird das Vorliegen von Verschmutzung auf der optischen Schnittstelle
auf der Grundlage der für die Sensorpixel ermittelten Amplitudeninformationen
ermittelt.
-
Das
erfindungsgemäße Verfahren ist überaus
einfach umzusetzen und erfordert keine zusätzliche Hardware,
um die Oberfläche der optischen Schnittstelle zu beleuchten
oder um reflektiertes Licht zu detektieren, da ein aktives Beleuchtungsmodul
ein herkömmliches Merkmal eines TOF-Distanzbildkamerasystems
ist.
-
Es
wird zu erkennen sein, dass sich das vorliegende Verfahren besonders
zur Verwendung mit niedrig auflösenden Sensoren eignet,
da keine Bildtransformation erforderlich ist, welche eine Standard-VGA-Auflösung
voraussetzen würde oder welche Bildrauschen gegenüber
empfindlich sein könnte (beispielsweise Gradientenoperator,
Laplace-Operator oder Fast-Fourier-Transformation). Ferner ist keine
zusätzliche Rechenleistung erforderlich, da keine spezifischen
Bildoperationen (beispielsweise Bildkorrelation) erforderlich sind.
Ein weiterer vorteilhafter Aspekt des vorliegenden Verfahrens ist
seine Unabhängigkeit in Bezug auf den Szeneninhalt, wenngleich
die Optik für gewöhnlich auf die Szene und nicht
auf die Oberfläche der optischen Schnittstelle fokussiert
ist, wodurch die optische Vorrichtung zugleich für ihre
Hauptfunktion (Distanzmessung) und für die Verschmutzungserkennung
betrieben werden kann. Darüber hinaus kann das Verfahren
zusätzlich zu anderen Verschmutzungserkennungsverfahren und
-systemen verwendet werden. Ferner vermeidet der gekoppelte Betrieb
zwischen Beleuchtungseinheit und Sensoreinheit gemäß dem
TOF-Prinzip Empfindlichkeitsprobleme infolge von äußeren
Lichtverhältnissen.
-
In
der Praxis kann die Szene mittels eines aktiven Beleuchtungsmoduls
beleuchtet werden, welches modulierte Lichtwellen abgibt, und die
Entfernungsinformationen werden auf der Grundlage der Phasenlaufzeit
zwischen abgegebenem und empfangenem Lichtsignal ermittelt. In dem
Sensorarray wird empfangenes Licht vorzugsweise an jedem Pixel parallel synchron
demoduliert, um die Phasen- und Amplitudeninformationen oder -daten
zu ermitteln. Demzufolge kann zu einem bestimmten Zeitpunkt die Menge
von Amplitudenwerten, die an jedem Pixel des Sensorarray ermittelt
wird, als ein ”Amplitudenbild” bildend betrachtet
werden.
-
Bei
einer Ausführungsform umfasst das Verfahren: das Ermitteln
der Anzahl von Pixeln mit einer Amplitude, die niedriger als eine
bestimmte Amplitudenschwelle ist, und das Folgern auf das Vorliegen von
Verschmutzung, falls diese Anzahl von Pixeln mit einer Amplitude,
die niedriger als die Amplitudenschwelle ist, kleiner als eine vorgegebene
Anzahl von Pixeln ist. Andernfalls wird gefolgert, dass das TOF-Kamerasystem
nicht verschmutzt ist.
-
Bei
einer anderen Ausführungsform umfasst das Verfahren: das
Ermitteln der Anzahl von Pixeln je Amplitudenwert; das Ermitteln
des Amplitudenwerts, für den die Summe aus Pixeln mit einer
niedrigeren Amplitude gleich einer vorgegebenen Anzahl von Pixeln
ist; und das Folgern auf Verschmutzung, falls dieser Amplitudenwert
gleich einer vorgegebenen Amplitudenschwelle ist oder diese übersteigt.
-
Zweckmäßigerweise
ist bei beiden Ausführungsformen die Amplitudenschwelle
eine lineare Funktion des Mittels der Amplitudenwerte in dem Bild,
da die Menge an Licht, das über das Bild gebeugt wird,
zu dem Licht, das von der Szene empfangen wird, proportional ist.
Für gewöhnlich kann die Amplitudenschwelle derart
gewählt werden, dass die Anzahl von Pixeln etwa 5% des
mittleren Amplitudenwerts ist. Dieser mittlere Amplitudenwert kann
als Mittel aller Pixelamplitudenwerte in dem Bild berechnet werden.
-
Es
versteht sich, dass die vorliegende Erfindung auf eine Vielfalt
von TOF-Distanzbild-Bildgebungssystemen, unabhängig von
deren Anwendungsgebiet, anwendbar ist. Das Verfahren kann als unabhängiges
Verfahren unter Verwendung der bereits verfügbaren Amplitudenwerte
oder mit spezifischer Berechnung dieser Amplitudenwerte, falls diese
nicht verfügbar sind, umgesetzt werden. Optimale Leistung
wird bei Anwendungen mit einem festen Hintergrund erzielt.
-
Das
vorgeschlagene Verfahren kann eventuell mit zusätzlichen
Verschmutzungserkennungsmitteln kombiniert werden, beispielsweise
mit hardwarebasierten Verfahren oder anderen bildbasierten Verfahren,
um die Leistung und Robustheit der Verschmutzungserkennung zu steigern.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Die
vorliegende Erfindung wird durch die folgende Beschreibung mehrerer
nicht einschränkender Ausführungsformen mit Bezugnahme
auf die beiliegenden Zeichnungen noch deutlicher zum Ausdruck gebracht.
Es zeigen:
-
1:
ein Schema einer herkömmlichen optischen Insassenerkennungs-
und -klassifizierungsvorrichtung, die sich eines TOF-Kamerasystems
bedient;
-
2a)
und b) Amplitudenhistogramme, die einer nicht verschmutzten bzw.
einer verschmutzten Situation entsprechen.
-
AUSFÜHRLICHE BESCHREIBUNG
BEVORZUGTER AUSFÜHRUNGSFORMEN
-
Eine
bevorzugte Ausführungsform des vorliegenden Verfahrens
zur Verschmutzungserkennung wird nunmehr beispielhaft in Bezug auf
eine Anwendung beschrieben, die eine optische Insassenerkennungs-
und -klassifizierungsvorrichtung 10 betrifft, welche einen
Bildgebersensor einbindet, der gemäß dem Laufzeitprinzip
funktioniert. Bei dieser Anwendung gibt die optische Insassenerkennungs-
und -klassifizierungsvorrichtung 10 Klassifizierungsinformationen
aus, die in einer Airbagsteuerung verwendet werden.
-
Der
Aufbau einer herkömmlichen optischen Insassenerkennungs-
und -klassifizierungsvorrichtung ist in 1 veranschaulicht.
Sie umfasst eine Steuer- und Recheneinheit 12 und eine
Sensoreinheit 14. Die Sensoreinheit 14 umfasst
vor allem ein Bildgebermodul 16, das einer optischen Schnittstelle 18 zugeordnet
ist. Das Bildgebermodul 16 kann beispielsweise ein 2-D-Array
aus Lock-In-Pixeln umfassen, das sich des Prinzips eines ladungsgekoppelten Bauelements
bedient. Die Sensoreinheit 14 umfasst zweckmäßigerweise
ferner ein aktives Beleuchtungsmodul 20, um eine zu überwachende
Szene 22, beispielsweise das Innere eines Kraftfahrzeugs,
zu beleuchten, die im Sichtfeld der optischen Schnittstelle 18 angeordnet
ist. Das Einbinden des Beleuchtungsmoduls 20 in die Sensoreinheit 14 ist,
was die Kompaktheit betrifft, günstig und ermöglicht
es, die aktive Lichtquelle nahe beim Empfänger (Bildgeber 16)
anzuordnen, wodurch Schatteneffekte vermieden werden. Das Beleuchtungsmodul 20 gibt
vorzugsweise unsichtbares kontinuierlich moduliertes Licht ab. Licht
(Pfeil 21), das durch das Beleuchtungsmodul 20 abgegeben
wird, wird an Objekten in der Szene 22 reflektiert und
bewegt sich, wie durch Pfeil 23 dargestellt, durch die
optische Schnittstelle 18 zurück, um in jedes
Pixel des Sensorarray des Bildgebermoduls 16 eingebunden
zu werden.
-
Die
Steuer- und Recheneinheit 12 betreibt die Sensoreinheit 14 gemäß dem
TOF-Prinzip. Demzufolge wird Licht, welches an jedem Pixel des Sensorarray
des Bildgebermoduls 16 eintrifft, demoduliert, um verschiedene
Größen und insbesondere Entfernungs(Distanz)-Informationen
von Objekten in der Szene 22 zu ermitteln.
-
Die
Steuereinheit 12 analysiert die Daten/Bilder, die durch
das Bildgebermodul 16 geliefert werden, um der Airbagsteuerung 26 ein
Klassenentscheidungsinformationssignal 28 über
die wahrscheinlichste Insassenklasse des vorderen Fahrgastsitzes
(Insassenklasse wie beispielsweise ”leer”, ”Kindersitz” oder ”Fahrzeuginsasse”)
bereit zu stellen.
-
Wie
erwähnt wurde, gibt das Beleuchtungsmodul 20 vorzugsweise
kontinuierlich modulierte Lichtwellen ab, wobei die Phasendifferenz
zwischen ausgesandten und empfangenen Signalen durch die Steuer-
und Recheneinheit 12 gemessen wird, anstatt direkt die
gesamte Laufzeit eines Lichtimpulses zu messen. Da die Modulationsfrequenz
bekannt ist, entspricht diese gemessene Phase direkt der Laufzeit
und somit der Entfernung.
-
Bei
der vorliegenden Ausführungsform bedient sich die Sensoreinheit 16 eines
bildgebenden, d. h. nicht abtastenden, Sensorsystems. Die gesamte
Szene 22 wird durch das Beleuchtungsmodul 20 mit
einem modulierten Lichtkegel gleichzeitig beleuchtet. Das einfallende
modulierte Licht wird somit an jedem Pixel des Sensorarray parallel
synchron demoduliert.
-
Neben
den Phaseninformationen ist die Amplitude ein anderer Parameter,
der für jedes Pixel ermittelt wird. Die Amplitude der detektierten
optischen Signalkomponente wird um einen Faktor k reduziert, der
von allen optischen Verlusten abhängig ist. Ihre Höhe
definiert das Signal-Hintergrund-Verhältnis und bestimmt
somit die erzielbare Genauigkeit. Eine Demodulation eines empfangenen
modulierten Signals kann durch Korrelation mit der ursprünglichen
Modulation durchgeführt werden. In der Praxis wird in dem TOF-Chip
eine Kreuzkorrelation durchgeführt und diese erzeugt eine
Menge aus vier Kreuzkorrelationskoeffizienten; aus diesen Koeffizienten
werden dann Amplituden- und Phaseninformationen berechnet. Diese
Berechnungen sind Fachkundigen bekannt und werden in diesem Dokument
nicht näher beschrieben (allgemeine Informationen sind
beispielsweise in dem zuvor zitierten Artikel von R. Lange
und P. Seitz zu finden).
-
Der
Veranschaulichung halber erwähnen wir, dass bei dem vorliegenden
Fall, bei dem die ganze Szene 22 mit einem modulierten
Lichtkegel gleichzeitig beleuchtet wird, die Lichtstärke
für gewöhnlich gemäß IS(t) = I0·(1
+ sin(wt)) (Gleichung 1) mit
einer Frequenz w zeitlich schwankt. Das von jedem Pixel empfangene
Licht wird mit derselben Frequenz moduliert, jedoch mit einer Phasenverschiebung
f = 2dw/c (wobei c die Lichtgeschwindigkeit ist) proportional zu
der Entfernung d der Kamera zu dem Punkt des Objekts, der optisch
auf das Pixel abgebildet wird.
-
Das
empfangene Signal wird daher angegeben durch: IR(t) = B + A·sin(wt – f) (Gleichung 2)wobei
f = 2dw/c (wobei c die Lichtgeschwindigkeit ist). Daher besteht
das empfangene Signal aus einem nicht modulierten Teil B und einem
modulierten Teil mit der Amplitude A.
-
Der
Vollständigkeit halber kann hinzugefügt werden,
dass, wie in dem Gebiet von TOF-Kameras versierten Personen bekannt
ist, die Amplitude A von der Stärke I0 des
abgegebenen Lichts, einigen konstanten Eigenschaften der Kamera
wie beispielsweise einem optischen Verlustfaktor k und dem Demodulationskontrast
des TOF-Chips sowie von dem Lichtremissionskoeffizient der Szene
und der Entfernung der Szene von der Kamera abhängt. Auf
Grund der starken Abhängigkeit von A von der Entfernung messen
Pixel, die sich auf den Hintergrund der Szene beziehen, im Allgemeinen
eine kleinere Amplitude als Pixel, die sich auf den Vordergrund
der Szene beziehen.
-
Da
die optische Schnittstelle 18 der Vorrichtung 10 der
Szene 22 (den Fahrzeuginsassen) gegenüber freiliegt,
kann sie Verschmutzung ausgesetzt sein, beispielsweise durch Schmutz,
Staub, Fingerspitzen, Schmiereflecken, Kratzer, Haarspray, Glasreiniger,
Klebstoff, Aufkleber, Wasser oder Sodawasser usw. Schmutzstoffe
können an der optischen Schnittstelle anhaften oder sich
daran ablagern und folglich die optischen Eigenschaften der Sensoreinheit 14 entweder
lokal oder homogen verändern. Die Verschmutzung wirkt sich
dann derart aus, dass die Leistung des Betriebs der Steuer- und Recheneinheit
verändert wird und es daher möglicherweise zu
Fehlern bei den durch die optische Vorrichtung ermittelten Informationen
kommt.
-
In
der Praxis ist die optische Schnittstelle 18 dem Bildgebermodul 16 zugeordnet,
um das einfallende Licht 23 zu sammeln und auf das Sensorarray in
dem Bildgebermodul 16 zu fokussieren. Die optische Schnittstelle 18 kann
eine oder mehrere Linsen und ein Schutzfenster oder eine Schutzlinse
umfassen, wobei letztere(s) beispielsweise einen Außenwandteil
des Sensoreinheitsgehäuses bildet. Demnach werden sich
Schmutzstoffe für gewöhnlich an diesem Schutzfenster
ablagern, welches getrennt von der optischen Schnittstelle 18 durch
die Bezugszahl 24 gekennzeichnet ist. Der Begriff ”optische Schnittstelle” sollte
demnach als jedwedes optische Element in dem optischen Weg des einfallenden Lichts
zu dem Sensorarray umfassend interpretiert werden.
-
Gemäß dem
vorliegenden Verfahren werden die Amplitudenbilder, die der Amplitude
von empfangenen Lichtwellen entsprechen, welche auf den Sensor des
Bildgebermoduls 16 einfallen, verwendet, um das Vorliegen
von Verschmutzung auf der optischen Schnittstelle 18 zu
erkennen. Der Begriff ”Amplitudenbild” bezeichnet
die demodulierten Amplitudeninformationen/-daten/-werte, die einem
bestimmten Zeitpunkt entsprechen, wobei sich die Vorstellung von
einem Bild auf die zweidimensionale Anordnung dieser Informationen
bezieht.
-
Tatsächlich
haben die Erfinder der vorliegenden Erfindung beobachtet, dass Verschmutzung
auf der optischen Schnittstelle sich dahingehend auswirkt, dass
die Amplitudenbilder entweder lokal oder homogen über die
gesamte Pixelfläche unscharf werden. Unscharf werden bedeutet,
dass die Verteilung von Amplitudenwerten auf Grund von Beugung von einfallendem
moduliertem Licht zwischen benachbarten Pixeln verändert
wird. Dies führt zu einem Kontrastverlust, was sich vor
allem auf Hintergrundeigenschaften auswirkt.
-
Die
Schaubilder (Anzahl von Pixeln in Abhängigkeit von der
Amplitude) in 2 zeigen die typischen Verteilungen
von Amplituden in Amplitudenbildern, die durch die Steuereinheit
geliefert werden, bei einer sauberen (2a)
und einer verschmutzten (2b) optischen
Schnittstelle. Diese Histogramme zeigen, dass auf Grund von Unschärfe
und Kontrastverlust, die durch Verschmutzung verursacht wurden, weniger
niedrige Amplituden vorhanden sind. Wie zu sehen ist, ist die Verteilung
von Amplituden in dem verschmutzten Fall (2b)
schmäler, das heißt, sie deckt einen kleineren
Bereich von Amplitudenwerten ab. Die Analyse der Amplitudenhistogramme
von Amplitudenbildern kann daher als Mittel zum Erkennen von Verschmutzung
verwendet werden.
-
Gemäß einer
Betriebsart umfasst die Verschmutzungserkennung das Ermitteln der
Anzahl von Pixeln NP mit einer Amplitude, die kleiner als eine bestimmte
Amplitudenschwelle AT ist, und das Folgern auf das Vorliegen von
Verschmutzung, falls die Anzahl von Pixeln NP kleiner als eine vorgegebene
Anzahl von Pixeln PNP ist. Andernfalls gilt die Vorrichtung als
sauber/nicht verschmutzt (siehe 2a). Ein
guter Wert für PNP kann experimentell durch Sicherstellen,
dass keine sauberen Bilder eine NP kleiner als PNP aufweisen, gewählt
werden.
-
Die
Amplitudenschwelle AT wird vorzugsweise derart gewählt,
dass sie zu dem Mittel der Amplitude proportional ist (beispielsweise
5% des Mittelwerts), da die Menge von Licht, welche über
das Bild gebeugt wird, zu dem von der Szene empfangenen Licht proportional
ist.
-
Insbesondere
kann die Amplitudenschwelle gemäß folgender Formel
ermittelt werden:
AT = A0 +
e0·<A> (Gleichung 3) wobei
A
0 eine Konstante, <A> der
mittlere Amplitudenwert und e
0 eine Konstante
mit der Bedeutung eines Verschmutzungsgrads ist.
-
Es
ist anzumerken, dass die Amplitudenschwelle AT zweckmäßigerweise
ziemlich klein gewählt werden kann, um maximale Unabhängigkeit von
dem Vordergrund zu erzielen, sie muss jedoch groß genug
bleiben, um zu gewährleisten, dass die Anzahl von Pixeln
unter dieser Amplitude statistisch ausreichend groß ist.
-
Bei
einer alternativen Betriebsart schließt umfasst die Verschmutzungserkennung
das Ermitteln der Anzahl von Pixeln je Amplitudenwert (d. h. das
Erstellen eines Amplitudenhistogramms) und das Ermitteln des Amplitudenwerts
AS, für den die Summe von Pixeln
mit niedrigerer Amplitude gleich einer vorgegebenen Anzahl von Pixeln
ist. Ist dieser Wert AS größer
als die Schwelle AT, so wird das Bild als verschmutzt angesehen
(siehe 2b). Auch hier sollte, da die
Menge an Licht, die über das Bild gebeugt wird, zu dem
Licht ist, das von der Szene empfangen wird, proportional ist, die
Amplitudenschwelle AT vorzugsweise derart gewählt werden, dass
sie zu dem Mittel der Amplitude proportional ist, wie oben erläutert
wurde.
-
Alternativ
dazu kann man einen Verschmutzungsgrad e gemäß der
Formel: e = (AS – A0)/<A> (Gleichung 4)berechnen.
-
Wenn
der ermittelte Verschmutzungsgrad e größer als
die vorgegebene Konstante e0 ist, kann auf
Vorliegen von Verschmutzung gefolgert werden.
-
Während
der Szenenvordergrund mittlere bis große Amplituden in
den Amplitudenbildern erzeugt (da der Szenenvordergrund näher
bei der Sensor einheit liegt, empfängt er eine größere
Lichtstärke von der Beleuchtungseinheit), trägt
der Szenenhintergrund im Gegensatz dazu zu niedrigen Amplituden in
den Amplitudenbildern bei. Um dem Rechnung zu tragen, beschränkt
das vorliegende Verschmutzungserkennungsverfahren zweckmäßigerweise
die Analyse von Amplitudenhistogrammen auf die Verteilung von niedrigen
Amplituden, wodurch Verwirrung zwischen auf Verschmutzung zurückzuführende Änderungen
im Szenenvordergrund und Änderungen des Szeneninhalts vermieden
wird. In 2 sind die Schwankungen der
Amplituden von Hintergrundpixeln tatsächlich nur auf Verschmutzung
zurückzuführen. Es kann angemerkt werden, dass
das vorgeschlagene Verfahren sehr geringe Komplexität aufweist,
da die auszuführende Hauptaufgabe das Zählen von
Pixeln ist.
-
Bei
der beispielhaften Anwendung wird das Verfahren zweckmäßigerweise
verwendet, um ein binäres Signal 30 zu liefern,
welches Informationen über das Vorliegen von Verschmutzung
an die Airbagsteuerung liefert, wenn der Verschmutzungsgrad eine
bestimmte Schwelle übersteigt. Diese Schwelle wird zweckmäßigerweise
als unter dem Verschmutzungsgrad liegend gewählt, bei dem
Verschmutzung zu einer falschen Klassifizierungsausgabe führen könnte.
Auf diese Weise kann die vorgeschlagene Verschmutzungserkennung
gewährleisten, dass infolge von Verschmutzung keine falsche
Sitzbelegungsklasse an die Airbagsteuereinheit übermittelt wird.
-
Es
kann angemerkt werden, dass in Zusammenhang mit der Belegungserkennung
Amplitudenbilder, die durch die Steuereinheit ermittelt werden, die
folgenden zwei Eigenschaften aufweisen.
- (a)
Das Sichtfeld der optischen Schnittstelle der Insassenerkennungs-
und -klassifizierungsvorrichtung deckt eine Szene ab, bei der es
sich um den vorderen Fahrgastraum eines Kraftfahrzeuges handelt.
Wenngleich sich die Szene für gewöhnlich aus mehreren
Sitzinsassen und Sitzpositionen zusammensetzt, weist die Szene dennoch
einen festen und bekannten Rahmen auf, der durch die Fahrzeugkonstruktion,
und zwar die Windschutzscheibe und die Fahrgasttür und
das Fahrgastfenster, die A- und die B-Säule, das Armaturenbrett
und die Mittelkonsole, gebildet wird. Infolgedessen weisen durch
die Sensoreinheit erhaltene Bilder die erste gemeinsame Eigenschaft auf,
dass sie einen festen Hintergrund gemeinsam haben.
- (b) Zweitens sind bei der bevorzugten Ausführungsform
des vorgeschlagenen Verfahrens auf Grund des gekoppelten Betriebs
zwischen der Beleuchtungseinheit und der Sensoreinheit gemäß dem
Laufzeitprinzip Amplitudenbilder, die durch die Recheneinheit analysiert
werden, ebenfalls gegenüber äußeren Lichtverhältnissen
unempfindlich. Da sie Licht in einem festen und bekannten Rahmen
abgibt, kann die Beleuchtungseinheit daher mit einer konstanten
optischen Leistung betrieben werden. Folglich ist eine zweite wesentliche
Eigenschaft der Amplitudenbilder, dass deren Hintergrundpixel digitale
Werte aufweisen, die im Zeitverlauf konstant sind.
-
Diese
Eigenschaften von Amplitudenbildern können zweckmäßigerweise
für bildbasierte Verschmutzungserkennung gemäß dem
vorliegenden Verfahren genutzt werden.
-
Die
Verschmutzungserkennung kann verwendet werden, um in einem Service-Modus
ein kontinuierliches Signal (Wert für NP oder Wert für
e aus Gleichung 4) zu liefern, vorausgesetzt, dass die Sitzinsassenklasse
bekannt ist, wobei das kontinuierliche Signal Informationen über
den vorliegenden Verschmutzungsgrad liefert.
-
Bei
dieser bevorzugten Anwendung wird die Verschmutzungserkennung als
unabhängiger Algorithmus innerhalb der Recheneinheit der
Insassenerkennungs- und -klassifizierungsvorrichtung ohne jedwede
Rechenmittel oder Hardware zusätzlich zu der Sensoreinheit
durchgeführt.
-
Das
vorgeschlagene Verfahren kann möglicherweise mit zusätzlichen
Verschmutzungserkennungsmitteln kombiniert werden, beispielsweise
mit hardwarebasierten Verfahren oder anderen bildbasierten Verfahren,
um die Leistung und Robustheit der Verschmutzungserkennung zu steigern.
-
Die
Anwendung der Erfindung ist jedoch nicht auf optische Sensoren für
die Insassenklassifizierung beschränkt, sondern kann zweckmäßigerweise
in jedwedem optischen Überwachungssystem mit festen Hintergrund
und aktiver Beleuchtung verwendet werden.
-
Zusammenfassung
-
Beschrieben
wird ein Verfahren zur Verschmutzungserkennung in einem Laufzeit-Distanzbild-Bildgebungssystem,
wobei das Laufzeit-Distanzbild-Bildgebungssystem Licht empfängt,
das von einer Szene durch eine optische Schnittstelle auf einen Bildgebersensor
reflektiert wird, der ein Array aus Pixeln aufweist, und wobei Entfernungsinformationen und
Amplitudeninformationen für die Sensorpixel ermittelt werden.
Das Vorliegen von Verschmutzung auf der optischen Schnittstelle
wird auf der Grundlage von für die Sensorpixel ermittelten
Amplitudeninformationen ermittelt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- - R. Lange und
P. Seitz in ”Solid-State Time-of-Flight Range Camera”,
IEEE Journal of Quantum Electronics, Bd. 37, Nr. 3, März
2001 [0003]
- - Artikel von R. Lange und P. Seitz [0028]