DE19833207A1

DE19833207A1 - Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes

Info

Publication number: DE19833207A1
Application number: DE19833207A
Authority: DE
Inventors: Guenter Doemens; Peter Mengel
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1998-07-23
Filing date: 1998-07-23
Publication date: 2000-02-17

Abstract

Verfahren und Vorrichtung zur Erzeugung dreidimensionaler Abstandsbilder von räumlichen Objekten, wobei eine Kurzzeitbelichtung, beispielsweise durch Laserdioden des Objektes durchgeführt wird. Als Bildsensor wird ein Sensor mit hoher Lichtempfindlichkeit eingesetzt, der pixelauflösend und wahlfrei auslesbar ist, sowie eine für jedes Pixel einstellbare Integrationszeit aufweist. Durch Auswertung der zurückgestreuten Laserimpulse in zwei Integrationsfenster mit unterschiedlichen Integrationszeiten und durch Mittelung über mehrere Laserpulse lassen sich dreidimensionale Abstandsbilder mit hoher Zuverlässigkeit in beispielsweise maximal 5 ms aufnehmen.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes von räumli chen Objekten.

Dreidimensional aufnehmende und verarbeitende Sensorsysteme gewinnen für verschiedenste Aufgabenstellungen in der indu striellen Technik zunehmend an Bedeutung. Bekannte optische Radarsysteme, wie beispielsweise Laserradar basieren entweder auf dem Prinzip der Laserimpuls-Laufzeitmessung oder auf der Bestimmung der Phasendifferenz von moduliertem Laserlicht zur Ableitung der Objektdistanz. Zum Aufbau eines dreidimensiona len bildgebenden Systemes sind zusätzliche mechanische Scaneinrichtungen erforderlich. Dies führt zu einem relativ teuren elektronischen und mechanischen Aufwand, der den Ein satz solcher dreidimensionalen Systeme auf wenige Spezialan wendungen beschränkt.

Es sind Verfahren bekannt, die eine CCD-Kamera (Charged Cou pled Device) einsetzen, wobei für diese Halbeleiterkameras die Fernseh(TV)- Norm herangezogen wird. Somit lassen sich lediglich relativ lange Auslesezeiten erzielen.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Aufnahme eines dreidimensionalen Abstandsbildes, sowie eine Vorrichtung dazu zur Verfügung zu stellen, womit ein schnel les und kostengünstiges Verfahren zur Gewinnung eines dreidi mensionalen Abstandsbildes für räumliche Objekte ohne aufwen dige mechanische Einrichtungen bereitgestellt wird.

Die Lösung dieser Aufgabe geschieht durch die Merkmale des Anspruchs 1, 2 bzw. des Anspruches 23.

Der Erfindung liegt die Erkenntnis zugrunde, daß unter Ein satz eines bildpunktauflösenden (pixelauflösenden) und wahl frei auslesbaren optoelektronischen Sensors, dessen Integra tionszeit punktweise einstellbar ist, eine extrem schnelle Bildaufnahme eines dreidimensionalen Abstandsbildes möglich ist. Dazu wird das Objekt mit einem oder mehreren sehr kurzen Lichtimpulsen beleuchtet, woraufhin Lichtimpulse der gleichen Länge vom Objekt zurückgestreut werden. Diese zurückgestreu ten Lichtimpulse werden über eine entsprechende Optik auf den optoelektronischen Chip geleitet. Aufgrund der unterschiedli chen Abstände unterschiedlicher Objektpunkte vom Sensor wer den mit jeweiligen Orten korrespondierende zurückgestreute Lichtimpulse zu jeweils unterschiedlichen Zeiten am Sensor ankommen. Für eine Abstandsmessung wird ein Zeitmeßfenster geöffnet, dessen Zeitdauer einer vorbestimmbaren Integrati onszeit entspricht. Die Integrationszeit ist kleiner oder gleich der Länge der ausgesandten und damit auch der Länge der reflektierten Lichtimpulse. Somit ist sichergestellt, daß am Ende der Integrationszeit ein einheitliches Abschneiden der zurückgestreuten Lichtimpulse am Sensor erfolgt. Die zeitverzögert eintreffenden Lichtimpulse je Bildpunktelement werden hinten abgeschnitten, so daß aufgrund der unterschied lichen Ladungen im Raster des optoelektronischen Sensors die unterschiedlichen Laufzeiten in Ladungsunterschiede umgesetzt werden können. Daraus läßt sich ein dreidimensionales Ab standsbild errechnen.

Die Erfindung kann auch derart gestaltet sein, daß anstelle eines Lichtimpulses mit definierter Länge lediglich ein Lichtintensitätsanstieg mit steiler Flanke Verwendung findet, der entsprechend am Sensor aufgenommen und ausgewertet wird. Dadurch wird das Meßergebnis unabhängig vom Verlauf der ab fallenden Flanke des Lichtimpulses. Zum anderen kann der Ein fluß eines Dunkelstromes, der beispielsweise durch die Be triebswärme eines Sensorelementes erzeugt wird, sowie der An teil des Umgebungslichtes (Störlicht) exakt für jeden Bild punkt kompensiert werden. Durch insgesamt drei aufeinander folgende Messungen werden zunächst der Dunkelstrom und das Umgebungslicht erfaßt, danach werden in Zusammenhang mit ei ner Belichtung die vom Objekt reflektierten und am Sensor empfangenen Lichtmengen in Form des Sensorsignalses inte griert, was anschließend mit einer höheren Integrationszeit wiederholt wird. Daraus läßt sich durch entsprechende Inter polation die Laufzeit des Lichtes für jeden Objektpunkt er mitteln. Dies eröffnet die Verwendung von geringeren Licht leistungen bei gleichzeitig genauer Messung der Laufzeit und damit der Entfernung zum Objekt.

In einer vorteilhaften Ausgestaltung der Erfindung werden mit einer sehr langen Integrationszeit sämtliche Lichtimpulse gleichzeitig mit der zuerst beschriebenen Messung oder zeit versetzt danach mit ihrer vollständigen Länge aufgenommen. Dies wird zur Normierung benutzt, so daß Unterschiede im Re flexionsverhalten des Objektes erkannt und ausgeglichen wer den können.

Weitere vorteilhafte Ausgestaltungen können den Unteransprü chen entnommen werden.

Die wesentlichen Vorteile der Erfindung liegen darin, daß beispielsweise mechanische Shutter entfallen. Es können ex trem kurze Bildaufnahmezeiten realisiert werden. Der verwen dete optoelektronische Sensor wird allgemein als CMOS-Sensor bezeichnet, wobei dies lediglich die technologische Bezeich nung des Halbleiterbauelementes ist. Mit einem derartigen Sensor lassen sich minimale Integrationszeiten von 50 bis 30 nsec realisieren (Jitter bei weniger als 0,1%). Die techni sche Entwicklung schreitet bei den Integrationszeiten noch voran.

In folgenden werden anhand von schematischen Figuren Ausfüh rungsbeispiele beschrieben.

Fig. 1 zeigt das Funktionsprinzip zur Erfassung eines drei dimensionalen Abstandsbildes mit einem CMOS-Sensor,

Fig. 2 zeigt die schematische Darstellung einer zeitlichen Verschiebung zweier Lichtimpulse deren zugehörige Objektpunk te einen unterschlichen Abstand zum CMOS-Sensor besitzen, re lativ zu Integrationsfenstern,

Fig. 3 zeigt zwei Varianten des Sensors zur gleichzeitigen Erfassung von dreidimensionalen Abstandsbildern und Intensi täts- bzw. Grauwertbildern mit einem CMOS-Sensor,

Fig. 4 zeigt die schematische Darstellung der Fahrzeuginnen raumüberwachung mit einem dreidimensionalen CMOS-Sensor.

Fig. 5 zeigt die Entfernungsmessung mit integrierendem CMOS- Bildsensor, wobei das Signal der sendeseitigen Laserdiode und die empfangsseitigen Sensorsignale dargestellt sind,

Fig. 6 zeigt die Entfernungsmessung mit integrierendem CMOS- Bildsensor, wobei in Fig. 6a der sendeseitige Betrieb einer Laserdiode und in Fig. 6b die durch fortlaufende Integration am Sensor erzielten Sensorsignale dargestellt sind,

Fig. 7 zeigt in zeitlicher Korrelation die Zusammenhänge zwischen sendeseitiger Beleuchtung und empfangsseitiger De tektion eines Laserimpulses, wobei die in der Fig. 7 unten dargestellten Meßsignale in Verbindung mit einer kurzen Inte grationszeit und einer sehr langen Integrationszeit darge stellt werden,

Fig. 8 zeigt in zeitlicher Korrelation die sende- und emp fangsseitige Darstellung eines Laserimpulses, wobei auf die Beleuchtungssteuerung des Sensors bezogen zwei unterschiedli che kurze Integrationszeiten vorgesehen sind.

Es wird ein Verfahren zur seriellen oder gleichzeitigen Er fassung bzw. Erzeugung eines Intensitäts- und eines dreidi mensionalen Abstandsbildes räumlicher Objekt mit einem opto elektronischen Sensor unter Kurzzeitbelichtung beschrieben. Das Verfahren nutzt die Laufzeitunterschiede der von den dreidimensionalen Objekten zurückgestreuten Lichtimpulse bei der bildpunktsynchronen (pixelsynchronen) Detektion am Sensor innerhalb kurzer Integrationszeiten. Dabei wird ein CMOS- Sensor eingesetzt. Dieser Sensor besitzt eine Lichtempfind lichkeit von beispielsweise 1 mLux. Weiterhin weist er eine hohe Intensitätsdynamik von bis zu 10⁷ auf, einen wahlfreien Zugriff auf die einzelnen Bildpunkte (Pixel), sowie eine ein stellbare Integrationszeit (Sample & Hold). Für die Messung der Ladungsmenge Q(t) bei Belichtung am einzelnen Bildpunkt.

Gegenüber Verfahren die eine CCD-Kamera einsetzen, lassen sich besondere Vorteile erzielen, wie beispielsweise die pa rallele Erfassung von Intensitäts- und dreidimensionalen Bil dern, sowie die Realisierung kurzer Bildaufnahmezeiten, die deutlich unter den Auslesezeiten von CCD-Kameras liegen. Wei terhin benötigt der CMOS keine aufwendigen mechanischen Shut ter und es müssen auch keine leistungsstarken Laserlichtquel len für die Kurzzeitbelichtung eingesetzt werden.

Das Verfahren ist insbesondere für die Erkennung von Personen und Bewegungsabläufen in der Raumüberwachung, beispielsweise Fahrzeuginnen/-außenüberwachung der Automatisierung von Kra nanlagen sowie der Navigation geeignet.

Die wesentlichen Funktionsmerkmale werden anhand von Fig. l erläutert. Zunächst wird für die Beleuchtung der zu erfassen den räumlichen Objekte mit kurzen Lichtimpulsen beispielswei se <100 ns gesorgt. Die Beleuchtung kann mit Laserlicht, wie beispielsweise mit einer gepulsten Laserdiode oder mit Lichtquellen, wie beispielsweise einer gepulsten LED-Diode erfolgen. Das Verfahren ist unabhängig vom Winkel der Be leuchtung, die nicht unbedingt zentral zur allgemeinen Detek tionsrichtung erfolgen muß. So ist beispielsweise auch bei koaxialer Beleuchtung und Detektion der Einsatz eines Ring lichtes denkbar. Die in Fig. 1 dargestellte Anordnung dient nur zur schematischen Verdeutlichung des Funktionsprinzips.

Eine erste Bildaufnahme A wird mit einer kurzen Integrations zeit Δ_A CMOS-Sensor verbunden. Die von den Objektpunkten G der dreidimensionalen Szene zurückgestreuten Lichtimpulse 3 der Länge Δ_L (<100 nsec) werden an den zugehörigen Bildpunk ten 9 des CMOS-Sensors innerhalb einer eingestellten kurzen Integrationszeit Δ_A≦Δ_L erfaßt. Durch einen elektronischen Triggerimpuls wird dabei ein fester zeitlicher Bezug zwischen ausgesandtem Lichtimpuls 2 und dem Öffnen des Integrations zeitfensters am CMOS-Sensor hergestellt. Aufgrund der Lauf zeit des Lichtes ergibt sich je nach Objektabstand R eine un terschiedliche zeitliche Verschiebung

τ = 2R/V_c (V_c = Lichtgeschwindigkeit)

zwischen ausgesandtem und am CMOS-Sensor detektierten Lich timpuls. Die am Bildpunkt innerhalb der Integrationszeit ΔA gemessene Ladung Q_A wird dadurch vom Abstand R zwischen Sen sor und Objektpunkt G abhängig. Siehe hierzu Fig. 2.

Q_A∞I₀ * O_R(Δ_L - (2R/V_C - t_D)) (1)

I₀ Intensität des ausgesandten Lichtimpulses
O_R Oberflächenreflexionskoeffizient am Objektpunkt G
t_D Triggerpunktzeitverzögerung zwischen ausgesandtem Lichtim puls und Start des Integrationsfensters am CMOS-Sensor.

Für Objektpunkte G mit gleichem Oberflächenreflektionskoeffi zienten O_R wird abhängig von ihrem Abstand R eine unter schiedliche Ladung Q_A am zugehörigen Bildpunkt des CMOS- Sensors gemessen. Damit werden kleine Laufzeitunterschiede der Lichtimpulse in Ladungsänderungen Q_A transformiert, so daß eine integrierte Ladung für jeweils einen Objektpunkt G mit seinem jeweiligen Abstand R_{(1,. . .)} stellvertretend ist. Diese können bei einem CMOS-Sensor sehr empfindlich und mit hoher Dynamik detektiert werden. Üblicherweise besitzen die Objekte einer dreidimensionalen Szene eine unterschiedliche Oberflä chenreflexion.

Es wird daher zur Normierung des Abstandsbildes noch eine zweite Bildaufnahme Q_B durchgeführt, die nur von der Oberflä chereflexion der Objekte der dreidimensionalen Szene abhängig ist.

Die Durchführung einer zweiten Bildaufnahme B mit langer In tegrationszeit Δ_B dient zur Normierung der Oberflächenrefle xion der dreidimensionalen Szene, wobei im Prinzip das her kömmliche Intensitäts- oder Grauwertbild verwendet wird. Hierzu wird am CMOS-Sensor bei einer zweiten Bildaufnahme ei ne Integrationszeit Δ_B eingestellt, die sehr groß gegenüber der Länge eines Beleuchtungslichtimpulses ist; Δ_B»Δ_L z. B. 1 Mikrosekunde. Jetzt werden alle zurückgestreuten Lichtim pulse 3 unabhängig von ihrer Laufzeit in vollem Umfang am CMOS-Sensor detektiert. Die an einem Bildpunkt gemessene La dung Q_B gibt sich zu

Q_B∞I_D.O_R.Δ_L. (2)

Das erhaltene Bild ist nur von der Beleuchtungsintensität I₀, dem Oberflächenreflektions-Koeffizienten O_R des zugehörigen Objektpunktes, sowie der Lichtimpulslänge Δ_L abhängig.

Die Erzeugung des zweidimensionalen Abstandsbildes Q_R ge schieht durch die Berechnung aus der Differenz und Normierung von Bildaufnahme A und B bzw. Q_A und Q_B

Q_R = (Q_A - Q_B)/Q_B (3)

Aus Gleichung (1) und (2) folgt mit t_d = 0 die Gleichung

Q_R∞ - 2R/(V_C * Δ_L) (4)

Dieser Wert kann nach Auslesen und Digitalisieren sowie zu sätzlicher Skalierung für alle Bildpunkte direkt als Ab standsbild Q_R ausgegeben werden. Ist die Triggerverzögerungs zeit t_d ungleich 0, so addiert sich zu allen Punkten des Ab standsbildes Q_R ein konstanter Offset

R_D = t_D/(V_C * Δ_L) (5)

R_D = Abstandswert bei t_D (Ladungsoffset)
Die gleichzeitige Aufnahme von Intensitäts- und dreidimen sinalem Bild bezieht sich auf eine Ausführung einer örtlich und zeitlich parallelen Erfassung von Intensitäts-und Ab standswerten. Hierzu wird eine Chiparchitektur und pixelbezo gene Integrationszeit derart gewählt, daß direkt benachbarte Pixel A und Pixel B entsprechend der Fig. 3 auf dem CMOS- Sensor die zurückgestreuten Lichtimpulse 3 der dreidimensio nalen Szene gleichzeitig mit kurzer Integrationszeit Δ_A≦Δ_L (für Pixel A) aufnehmen und mit langer Integrationszeit Δ_B « Δ_L (für Pixel B) erfassen. Durch eine auf dem Chip inte grierte elektronische Schaltung kann dann direkt das zweidi mensionale Abstandsbild

Q_R = (Q_A - Q_B)/Q_B (6)

der zugeordneten Pixel A und B berechnet und ausgegeben wer den.

Fig. 3 zeigt dazu schematisch zwei mögliche Anordnungen auf dem CMOS-Sensor für die parallele Erfassung von Intensitäts und dreidimensionalem Abstandsbild. Weitere Varianten hierzu sind möglich. Die gleichzeitige Erfassung von Intensitäts- und dreidimensionalem Abstandsbild ist besonders für die Ana lyse bewegter dreidimensionaler Szenen von Bedeutung, bei spielsweise die Erfassung von Personengestik oder die Objekt verfolgung. Weitere besondere Kennzeichen der Erfindung sind:

- Falls erforderlich kann eine zusätzliche Normierung des dreidimensionalen Abstandsbildes bezüglich Umgebungslicht durchgeführt werden. Hierzu wird zunächst ohne Beleuchtung der dreidimensionalen Szene bzw. des Objekts die Ladung eines Bildpunktes mit kurzer und langer Integrationszeit erfaßt und von den mit Beleuchtung gemessenen Ladungen Q_A und Q_B abgezo gen. Anschließend erfolgt die Berechnung des Abstandsbildes Q_R
- Durch zeitliche Mittelung der Signale mehrerer Lichtim pulse kann eine Erhöhung der Empfindlichkeit des Verfahrens gegenüber dem Rauschen bei geringen zurückgestreuten Lichtin tensitäten erreicht werden.
- Die Meßunsicherheit für die Abstandsbestimmung hängt vom Signal/Rauschverhalten des CMOS-Sensors ab. Erwartet wird das Laufzeitunterschiede zwischen 0,1 ns noch detektiert werden können. Daraus folgt eine Meßunsicherheit von weniger als 3 cm für die Abstandsbestimmung.

Die wesentlichen Verwendungen des beschriebenen Verfahrens und der beschriebenen Vorrichtung betreffen die Überwachung von Innenräumen, insbesondere in Fahrzeugen in Verbindung mit volumetrischen Auswerteverfahren. Die Aufgabe der optischen Innenraummüberwachung bei Fahrzeugen ist die Erkennung der Sitzbelegung, wie beispielsweise Personen, Kindersitz, son stige Objekte, die Erfassung der Sitzposition von Personen sowie der Diebstahlschutz, d. h. das unzulässige Eindringen in das Fahrzeuginnere von außen. Die Erkennung von Personen und ihrer Sitzposition ist für die stufenweise Auslösung eines Airbaigs (smart Airbaig) von hoher sicherheitsrelevanter Be deutung und muß im Kollisionsfall sehr zuverlässig und in kurzen Meßzeiten erfolgen. Die Erfindung erfüllt diese Anfor derungen durch eine schnelle und zuverlässige Erzeugung eines dreidimensionalen Abstandsbildes Q_R im Fahrzeuginneren, wobei volumentrische Auswerteverfahren eingesetzt werden. Dabei werden aus den Abstandswerten R in einem Raumwinkelelement Ω die von Objekten 1 besetzten Nettovolumenanteile im Fahrzeu ginnenraum als Differenz zu den Abstandswerten bei unbesetz tem Fahrzeuginneren bestimmmt (siehe hierzu Fig. 4).

Das Verfahren und die Vorrichtung liefern weitere wesentliche Vorteile, wie:

- Schnelle, globale Erfassung der aktuellen Sitzbelegung durch Differenzbildung eines dreidimensionalen Abstandsbildes vom Fahrzeuginneren ohne Objekte (dreidimensionales Referenz bild Q_RO) und dem aktuell auszuwertenden dreidimensionalen Abstandsbild mit einer Person oder einem sonstigen Objekt Q_RP auf einem Sitz. Dabei gilt für das Nettovolumen V_p der Sitz belegung:
V_p = ∫_ΩR₀(Ω) * dF - ∫_ΩR_p(Ω) * dF (7),
wobei R₀ die Abstandswerte ohne Person bzw. sonstigem Objekt und R_p die Abstandswerte mit Person bzw. sonstigem Objekt auf dem Sitz sind und dF eine differenzielle Fläche bezeichnet.
- Die adaptive Ermittlung der Sitzbelegung aus der Berech nung der relativen Abstandsänderungen vor und nach dem Ein steigen einer Person ins Fahrzeug kann durchgeführt werden. Durch Anwendung regressiver und stochiastischer Auswertever fahren kann die Zuverlässigkeit der Differenzbestimmung noch weitergesteigert werden.
- Die Größenbestimmung der erfaßten Objekte und globale Un terscheidung von Objekten über Volumen-Vergleichsklassen ist möglich.
- Räumliche Zuordnung von besetzten Volumenanteilen ist mög lich
- Bestimmung der räumlichen Extrempositionen (x,y,z) des be setzten Volumens im Innenraum für die Steuerung der Airbaig Auslösung kann bestimmt werden.
- Volumetrische Verfolgung von Bewegungsabläufen im Raum bei zeitlich aufeinanderfolgenden Bildaufnahmen und Differenzbil dung. Erkennuung von Personen und Gestik aus der Bewegungsa nalyse.

Diese integrale Volumenbetrachtung ermöglicht eine globale Erfassung von Objekten und Positionen im Raum und ist nicht auf die Bestimmung von Merkmalen, wie beispielsweise Kontu ren, Ecken, Kanten im Bild zur Objekterkennung angewiesen. Die Auswertezeiten können für die dreidimensionale Bildauf nahme und volumetrische Auswertung unter 10 ms liegen.

Als Anwendungsgebiet des beschriebenen Verfahrens und der Vorrichtung kommt insbesondere ein Fahrzeuginnenraum infrage. Dabei wird für die dreidimensionale Bildaufnahme mit LED- Lichtimpulsen von beispielsweise 50 ns (Nanosekunden) ein Ob jekt belichtet. Die Integrationszeiten am CMOS-Sensor werden für die Bildaufnahme Q_A zu 50 ns und für die Bildaufnahme Q_B zu 0,5 µs, gewählt. Die zu erfassende Szenendynamik im Fahr zeuginneren soll 200 : 1 betragen. Die Abstandswerte R sollen mit einer Meßunsicherheit <15 cm (entsprechender Laufzeitun terschied eines Lichtimpulses = 1 ns) in einem Meßbereich bis 1,5 m (Laufzeit 10 ns) erfaßt werden.

Mit diesen Anforderungen wird am CMOS Sensor eine Intensi tätsdynamik von (10×200 =) 2000 : 1 erforderlich. Die digi tale Erfassung des dreidimensionalen Abstandsbildes Q_R wird damit durch einen 12 Bit A/D Wandler gewährleistet. Für eine Sensorortsauflösung von 50×50 Bildpunkten werden für die Bildaufnahmen A mit kurzer Integrationszeit und B mit langer Integrationszeit maximal 10⁴ Ausleseoperationen notwendig, die bei Auslesefrequenzen, von beispielsweise 2 MHz zu einer gesamten Bildaufnahmezeit für das dreidimensionale Abstands bild von maximal 5 ms führen. Die Berechnung der Differenzvo lumina aus den 2500 Abstandswerten ist mit einem schnellen Prozessor, wie beispielsweise einem Pentium mit 200 Mhz in weiteren 5 ms ohne Schwierigkeit ausführbar.

In Fig. 4 wird ein Schema für eine Anwendung der Erfindung in Fahrzeuginnenräumen dargestellt. Die Pfeile mit gepunkte ten Linien sind stellvertretend für einen nichtbelegten Sitz und die mit durchgezogenen Linien für einen mit einer Person belegten Sitz. Für die globale Objekterkennung und Positions bestimmung wird der umhüllende Nettovolumenanteil aus den dreidimensionalen Abstandsdaten bei besetztem und bei unbe setztem Fahrzeug bestimmt. Das Nettovolumen V_p einer Person oder eines sonstigen Objektes auf einem Autositz berechnet sich nach Gleichung (7).

Das bisher beschriebene Verfahren zur Aufnahme eines Ab standsbildes beruht auf einem Differenzverfahren, wobei die Laufzeit T₀=U_p/U_ges*Δ_A beträgt, wobei:
T₀ = Lichtlaufzeit, Δ_A = Integrationszeit,
U_ges = Meßsignal bei Δ_B minus Dunkelstromanteil bei Δ_B,
U_p = U_ges minus (Meßsignalanteil bei Δ_A minus Dunkelstroman teil bei Δ_A).

Die weitere hauptsächliche Lösung der Erfindung, die in Fig. 8 dargestellt wird, wertet die aufgenommenen Meßsignale am Sensor mittels eines Interpolationsverfahrens aus. Dabei ergibt sich die Laufzeit des Lichtes von der Lichtquelle über das Objekt bis zum Sensor durch den Schnittpunkt der Kurve des Meßsignales in Fig. 8, geschnitten mit der Kurve des Dunkelstromanteiles. Für die Lichtlaufzeit gilt

T₀ = 2R / V_c,

woraus sich der Abstandswert R ergibt.

Die bei zahlreichen industriellen Anwendungen der Bildverar beitung notwendige dreidimensionale Bilddatenerfassung ist insbesondere für die automatische Überwachung von Räumen, beispielsweise Autoinnenraum, notwendig. An die Genauigkeit des Entfernungsbildes/Abstandsbildes werden nicht allzu hohe Anforderungen gestellt. Entfernungsbilder mit etwa 1000 Bildlpunkten wären für eine Raumüberwachung in den meisten Fällen schon ausreichend. Übliche Triangulationsverfahren scheiden dabei aus Kostengründen, sowie wegen der großen not wendigen Meßbasis, aus.

Sowohl die Beleuchtungsart entsprechend Fig. 7, als auch die Beleuchtungsart entsprechend Fig. 8 lassen eine schnelle und kostengünstige Aufnahme eines dreidimensionalen Abstandsbil des verwirklichen. Das Verfahren, bei dem über die Interpola tion die Laufzeit des Lichtes, die zur Auswertung notwendig ist, für jeden Bildelementpunkt des Sensors 4 erzielt wird, ist beispielhaft in Fig. 8 dargestellt. Hierin wird anstatt eines Lichtimpulses mit definierter Länge nur ein Lichtinten sitätsanstieg mit steiler Flanke ausgewertet. Der am Sensor empfangene vom Objekt reflektierte Laserpuls wird durch zwei unterschiedliche Integrationszeiten abgeschnitten. Dadurch wird zum einen das Meßsignal unabhängig vom Verlauf der ab fallenden Flanke des Lichtimpulses und zum anderen kann der Einfluß des Dunkelstromes, der beispielsweise durch die Be triebswärme eines Sensors entsteht, und des Umgebungslichtes exakt für jeden Bildpunkt kompensiert werden.

Fig. 5 zeigt die Entfernungsmessung mit integrierendem CMOS- Bildsensor. In dem Zeit t/Sensorspannung U-Diagramm ist zum einen die sendeseitig beleuchtende Laserdiode bzw. deren rechteckförmig ausgebildeter Lichtimpuls dargestellt. Darun ter sind die empfangsseitig aufgenommenen Meßsignale darge stellt. Die durchgezogene Linie, die vom Ursprung des Koordi natensystems zu der Spannung U_d führt, ist die erste durch geführte Messung und beinhaltet einen Dunkelstromanteil plus einen Fremdlichtanteil. U_d wird zur Integrationszeit T₂, die größer als eine andere Integrationszeit T₁ ist, aufgenommen.

Im Anschluß daran wird das Objekt 1 mit der Laserdiode be leuchtet, woraufhin zunächst in den einzelnen Bildpunkten nur die Dunkelströme verbunden mit dem Fremdlichtanteil inte griert werden. Wenn aufgrund der Lichtlaufzeit T₀ zusätzli ches Licht vom Objektpunkt G zurückgestreut wird, so steigt das Meßsignal vom Zeitpunkt T₀ entsprechend der Helligkeit des jeweiligen Bildpunktes stärker an. Nach einer bestimmten Integrationszeit T₁ wird dann die Spannung U₁ für alle Bild punkte ausgelesen und abgespeichert. Der gleiche Vorgang wie derholt sich nun mit der bereits aus der ersten Dunkelstrom messung bekannten Integrationszeit T₂. T₁ beträgt beispiels weise 30 ns und T₂ beträgt beispielsweise 60 ns. An den Stel len, an denen das Meßsignal die Zeiten T₁ bzw. T₂ schneidet, was gleichbedeutend ist mit einem Abschneiden des empfangenen Lichtimpulses, ergibt sich der Punkt U₁ bzw. der Punkt U₂. Es gilt die Beziehung ΔU=U₂-U₁. Die Lichtlaufzeit T₀ er rechnet sich nach der Formel die in Fig. 5 dargestellt ist. Verlängert man eine Gerade durch die Punkte U₂ und U₁, so schneidet diese Gerade nach unten hin die Dunkelstrom dar stellende Gerade zwischen dem Ursprung des Koordinatensystems und der Spannung U_D. Am Schnittpunkt kann die Lichtlaufzeit T₀ abgelesen werden. Sämtliche Werte für U₁ und U₂ bzw. ΔU werden ebenfalls für alle Bildpunkte ausgelesen und gespei chert. Aus den für jeden Bildpunkt abgespeicherten Spannungen U_D, U₁, U₂ und ΔU in Verbindung mit den vorgegebenen Integra tionszeiten T₁ und T₂ läßt sich eindeutig und exakt für jeden Bildpunkt die Laufzeit T₀ berechnen, auch wenn relativ hohe Dunkelstromanteile U_D vorliegen. Dabei gilt:

T₀ = U₁.ΔT - ΔU.T₁/(U_D.ΔT/T₂ - ΔU).

Dies eröffnet die Verwendung von geringeren Lichtleistungen bei gleichzeitig genauer Messung der Laufzeit und damit der Entfernung zum Objekt.

Eine vorteilhafte Ausgestaltung sieht vor, daß zur Verringe rung der aus Kostengründen meist kritischen Laserleistung ei ne mehrfache Wiederholung des oben beschriebenen Vorgangs in hintereinander geschieht, wobei sich die ergebenden Werte für U₁, U_D, und ΔU erst am Ende der Mehrfachbelichtung von CMOS-Sensoren auslesen lassen und digitalisiert werden. Siehe hierzu die Fig. 6a und 6b. Eine analoge Mittelwertbildung für die Mehrfachbelichtung auf dem CMOS-Sensor vermeidet auch die relativ langen Auslesezeiten bei einer späteren digitalen Mittelung. Eine adaptive Einstellung auf die jeweilige Reflek tivität des Objektes im Hinblick auf die Optimierung des Si gnal-/Rauschverhältnisses der Meßwerte wird, dadurch erzielt, daß in wenigen Testbildern die Zahl der Belichtungen solange gesteigert wird, bis sich in einer gewissen Menge von Bild punkten des Gesamtbildes eine Sättigung der Werte n(U₁+ΔU) einstellt; mit n = Anzahl der Mehrfachbelichtungen.

Durch die beschriebenen Schritte wird ermöglicht, daß eine exakte Berechnung von der Lichtlaufzeit T₀ bei vorliegendem Dunkelstrom und Umgebungslicht möglich ist, daß das Auslesen des Signales vom CMOS-Sensor erst nach der Mehrfachbelichtung geschieht, woraufhin sich die Digitalisierung anschließt und daß eine adaptive Einstellung der Mehrfachbelichtung entspre chend der Objektreflektivität vorgenommen werden kann. Durch diese Maßnahmen kann eine bisher notwendige Laserleistung um den Faktor 10 bis 20 gesenkt werden bzw. die Genauigkeit er höht werden.

Das in dem Bildsensor verwendete Sensorprinzip ist ein inte grierendes Verfahren, beispielsweise auf der Basis einer n⁺-p -Photodiode. Diese Photodiode ist Bestandteil eines elektronischen Kurzzeitintegrators, der weiterhin einen Kon densator und mehrere Transistoren aufweist. Die Verschaltung geschieht derart, daß sich beispielsweise die Kapazität des Kondensators in Abhängigkeit von dem auf die Photodiode ein fallenden Licht entlädt. Dies wird über einen sog. Shutter- Transistor gesteuert. Im Anschluß daran wird beispielsweise das in dem Kondensator verbleibende Potential ausgelesen. Um eine synchronisierte Beleuchtung zu gewährleisten wird die Zeitsteuerung des elektronischen Kurzzeitintegrators ein sog. Strobe-Signal zur Ansteuerung einer Lichtquelle erzeugen. Für jedes Bildpunktelement des Sensors 4 wird ein derartiger elektronischer Kurzzeitintegrator (elektronischer Shutter) verwendet. Anstelle der am Ende einer Messung im Kondensator verbleibenden Potential kann auch das bereits abgeführte Po tential als Meßwert herangezogen werden.

In Fig. 6a sind mehrere hintereinander geschaltete sendesei tige Laserimpulse dargestellt. In Fig. 6b wird beispielhaft die Integrationszeit T₁ in Verbindung mit der jeweiligen Spannung U₁ und dem Dunkelstromanteil U_D dargestellt. Glei ches kann für T₂, U₂ und U_D aufgetragen werden. Es ergibt sich für jede Belichtung bzw. Mehrfachbelichtung ein Wert für die Lichtlaufzeit T₀.

In der Gegenüberstellung der Fig. 7 und 8 ist zu erkennen, daß das Interpolationsverfahren entsprechend Fig. 8 kürzere Beleuchtungszeiten aufweist. Die jeweils in der Mitte darge stellten Shutter-Zeiten von beispielsweise 30 ns und 60 ns in Fig. 8 und 60 ns in Verbindung mit einer sehr langen La serimpulszeit in Fig. 7 sollen die Integrationszeiten am Sensor festlegen. In der Fig. 7 ist im oberen Teil das zeit liche Verhältnis zwischen der sendeseitigen Beleuchtung und dem empfangsseitigen Eintreffen des Laserimpulses darge stellt. Die in den Fig. 5 bis 8 jeweils dargestellten Aus führungsbeispiele weisen keine Triggerverzögerungszeit auf. Dies bedeutet, daß empfangsseitig mit dem Beginn des Senso rimpulses das Meßfenster geöffnet wird. Dies bedeutet für die Darstellung in Fig. 7, daß der Kurzzeit-Shutter (60 ns) den empfangenen Laserpuls, jeweils bezogen auf einen Objekt- bzw. Bildelementpunkt, bei der Zeit Δ_A abschneidet. Die Zeitdauer des Lichtimpulses ist sende- wie empfangsseitig Δ_L. Es wird deutlich, das auf Grund von verschiedenen Lichtlaufzeiten der elektronische Kurzzeitintegrator am Sensor jeweils ein Poten tial als Meßwert liefern wird, daß in Abhängigkeit von der Laufzeit ab dem Zeitpunkt T₀ bis zum Ende von und Δ_A aufin tegriert wird. Die Integrationszeit Δ_B wird im Falle der Fig. 7 zum Ausgleich von Reflektivitätsunterschieden am Objekt 1 verwendet. Dabei wird ein Dunkelstrom und Fremdlichtanteil ermittelt, der entsprechend vom Meßsignal abgezogen werden kann.

Die Fig. 8 zeigt eine der Fig. 7 entsprechende Darstellung, wobei der obere Teil identisch dem der Fig. 7 ist. In der Mitte der Fig. 8 werden zwei Kurzzeit-Shutterzeiten darge stellt. Diese werden in ähnlicher Weise wie in Fig. 7 zum Abschneiden der am Sensor 4 eintreffenden Laserimpulse ver wendet. Somit ergeben sich eine kürzere Integrationszeit T und eine längere Integrationszeit T₂. Das Meßsignal weist in den Fig. 7 und 8 einen Dunkelstrom und Fremdlichtanteil auf. Das Meßsignal ergibt sich somit aus der Addition des Photostromanteils zu dem Dunkelstrom und Fremdlichtanteil. Anders ausgedrückt kann der Photostromanteil ermittelt wer den, indem vom Meßsignal der Dunkelstrom und Fremdlichtanteil angezogen wird. Die Lichtlaufzeit T₀ ergibt sich an der Stel le auf der Zeitachse an der das Meßsignal bei einem eingehen den reflektierten Lichtimpuls von dem normalen Verlauf des Dunkelstrom- und Fremdlichtanteils abweist, weil der Photo stromanteil nicht mehr Null ist. Die Auswertung, die die Lichtlaufzeit T₀ ergibt, ist in Zusammenhang mit Fig. 5 be schrieben worden.

Claims

1. Verfahren zur Aufnahme eines dreidimensionalen Abstands bildes von räumlichen Objekten unter Einsatz eines bild punktauflösenden optoelektronischen Sensors (4) mit an jedem Bildpunktelement (9) vorhandenen elektronischen Kurzzeitinte grator, wobei eine Integrationszeit einstellbar ist, beste hend aus folgenden Schritten:

- das Objekt (1) wird mit mindestens einem Lichtimpuls (2) vorgegebener Zeitdauer Δ_L beleuchtet,
- von Objektpunkten (G) zurückgestreute Lichtimpulse (3) werden an zugehörigen Bildpunkten des Sensors (4) innerhalb einer vorgegebenen kurzen Integrationszeit Δ_A, mit Δ_A≦Δ_L, erfaßt, wobei der Zeitpunkt für den Beginn der Integrations zeit Δ_A vor dem Eintreffen des ersten zurückgestreuten Lich timpulses (3) liegt, der dem nächstliegenden Objektpunkt (G) entspricht,
- aus den entsprechend ihrer unterschiedlichen Laufzeiten resultierenden unterschiedlichen aufgenommenen Intensitäten der zurückgestreuten Lichtimpulse (3) werden Abstandswerte ermittelt.

2. Verfahren zur Aufnahme eines dreidimensionalen Abstands bildes von räumlichen Objekten unter Einsatz eines bild punktauflösenden optoelektronischen Sensors (4) mit an jedem Bildpunktelement (9) vorhandenem elektronischen Kurzzeitinte grator, wobei eine Integrationszeit einstellbar ist, beste hend aus folgenden Schritten:

- Aufnahme und Integration des einen Dunkelstrom und Umge bungslicht darstellenden Sensorsignales von dem Beginn der Aufnahme und Integration bis zu einer vorgegebenen Integrati onszeit T₂,
- Beginn der Belichtung eines Objektes (1) durch eine Be leuchtungseinrichtung (5) zeitgleich mit dem Beginn der Auf nahme und der Integration des Sensorsignales am Sensor (4), wobei innerhalb eines Lichtintensitätsanstieges des am Sensor (4) empfangenen Lichtes bis zu einer Integrationszeit T₁ in tegriert wird und T₁ kleiner ist als T₂,
- wiederholte Belichtung des Objektes (1) durch die Beleuch tungseinrichtung (5) mit zeitgleichem Beginn der Aufnahme und der Integration des Sensorsignales am Sensor (4), wobei in nerhalb des Lichtintensitätsanstieges des am Sensor (4) emp fangenen Lichtes bis zu der Integrationszeit T₂ integriert wird,
- zu den Zeitpunkten T₁ und T₂ wird für alle Bildpunkte der jeweils integrierte Wert des Sensorsignales ausgelesen und gespeichert und
- aus den gespeicherten Werten werden für jeden Bildpunkt die Laufzeit T₀ des Lichtes von der Beleuchtungseinrichtung (5) über das Objekt (1) bis zum Sensor (4), sowie ein ent sprechender Abstandswert, berechnet.

3. Verfahren nach Anspruch 2, worin die einzelnen Verfahrens schritte zur Gewinnung eines Sensorsignales jeweils mehrfach wiederholt werden, und die daraus resultierenden Signale für jeden einzelnen Bildpunkt integriert werden und sich erst in Anschluß an die Mehrfachbelichtung das Auslesen, Abspeichern und Auswerten der Sensorsignale anschließt.

4. Verfahren nach Anspruch 2 oder 3, worin abgespeicherte Werte digitalisiert werden.

5. Verfahren nach einem der Ansprüche 3 oder 4, worin eine adaptive Einstellung auf die jeweilige Reflektivität eines Objektes (1), dadurch geschieht, daß die Zahl der Mehrfachbe lichtungen solange gesteigert wird, bis in einer vorgegebenen Menge von Bildpunkten des Gesamtbildes sich eine Sättigung der integrierten Intensitätswerte des Sensorsignales bei T₁ und bei T₂ einstellt.

6. Verfahren nach Anspruch 1 oder 2, worin die Integrations zeit bildpunktweise einstellbar ist.

7. Verfahren nach einem der Ansprüche 1 oder 6, worin zur gleichzeitigen oder nachfolgenden Normierung der Oberflächen reflexion des Objektes (1) zusätzlich sämtliche zurückge streuten Lichtimpulse (3) mit einer langen Integrationszeit Δ_B»Δ_L vollständig erfaßt werden.

8. Verfahren nach einem der Ansprüche 1 oder 6-7, worin der Beginn einer Integrationszeit Δ_A;Δ_B mit einer Triggerimpuls verzögerung gegenüber dem Sendeimpuls verbunden ist.

9. Verfahren nach einem der Ansprüche 1 oder 6-8, worin eine Integrationszeit Δ_A weniger als 100 ns beträgt.

10. Verfahren nach einem der Ansprüche 1 oder 6-9, worin eine Integrationszeit Δ_B ca. 1µs beträgt.

11. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Lichtimpulslänge weniger, als 100 ns beträgt.

12. Verfahren nach einem der vorhergehenden Ansprüche, worin zur gleichzeitigen Aufnahme eines dreidimensionalen Bildes und eines Grauwertbildes auf dem Sensor (4) zeilenweise un terschiedliche Integrationszeiten Δ_A bzw. Δ_B oder T₁ bzw. T₂ eingestellt werden.

13. Verfahren nach einem der vorhergehenden Ansprüche, worin zur gleichzeitigen Aufnahme eines dreidimensionalen und eines Grauwertbildes auf dem Sensor (4) bildpunktweise unterschied liche Integrationszeiten Δ_A bzw. Δ_B oder T₁ bzw. T₂ abwechselnd eingestellt werden.

14. Verfahren nach einem der vorhergehenden Ansprüche, worin das Objekt (1) mit Lichtimpulsen eines Lasers oder einer ge pulsten Leuchtdiode beleuchtet wird.

15. Verfahren nach einem der vorhergehenden Ansprüche, worin der Sensor (4) wahlfrei auslesbar ist.

16. Verfahren nach einem der vorhergehenden Ansprüche, worin der Sensor (4) ein CMOS Sensor ist.

17. Verfahren nach einem der vorhergehenden Ansprüche, worin die Entfernung vom Sensor (4) zu mindestens einem Punkt als Referenzabstand bekannt ist.

18. Verfahren nach Anspruch 17, worin beim Einsatz in einem Fahrzeug ein Referenzpunkt am Türrahmen positioniert ist.

19. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Erkennung von statischen Objekten und/oder von Bewe gungsabläufen vorgenommen wird.

20. Verfahren nach Anspruch 19, worin Objekte überwacht wer den, wie Gegenstände oder Personen in Räumen oder in Fahrzeu ge.

21. Verfahren nach Anspruch 19, worin Fahrzeuge oder Kranan lagen überwacht werden und/oder worin eine allgemeine Positi onsbestimmung in einem Navigationssystem vorgenommen wird.

22. Verfahren nach Anspruch 19 oder 20, worin eine Sitzbele gung und/oder eine Sitzposition beispielsweise einer Person in einem Fahrzeug erkannt wird.

23. Vorrichtung zur Aufnahme eines dreidimensionalen Abstand bildes, bestehend aus:

- einer Beleuchtungseinrichtung (5), die Lichtimpulse (2) über eine Optik (6) auf ein Objekt (1) sendet,
- einem optoelektronischen Sensor (4) mit einer vorgeschal teten Optik (7), der die vom Objekt (1) zurückgestreuten Lichtimpulse (3) detektiert, wobei der Sensor (4) durch eine Vielzahl von Bilpunktelementen (9) bildpunktauflösend aufge baut und wahlfrei auslesbar ist und eine Integrationszeit bildpunktweise einstellbar ist,
- einer Triggereinrichtung (8) zur zeitlichen Abstimmung zwischen Beleuchtungseinrichtung (5) und Sensor (4),
- einer Recheneinheit zur Berechnung eines dreidimensionalen Bildes aus entsprechenden Ladungen der Bildpunktelemente (9) des Sensors (4).

24. Vorrichtung nach Anspruch 23, worin an den Bildpunktele menten (9) des Sensors (4) zeilen- oder spaltenweise abwech selnd eine kurze Integrationszeit Δ_A bzw. T₁ und eine lange Integrationszeit Δ_B bzw. T₂ eingestellt ist.

25. Vorrichtung nach Anspruch 23, worin an den Bildpunktele menten (9) des Sensors (4) abwechselnd kurze und lange Inte grationszeiten Δ_A bzw. Δ_B oder T₁ bzw. T₂ eingestellt sind.

26. Vorrichtung nach einem der Ansprüche 23-25, worin die Re cheneinheit auf dem Sensor (4) angeordnet ist.