DE19757595C2 - Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes - Google Patents

Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes

Info

Publication number
DE19757595C2
DE19757595C2 DE19757595A DE19757595A DE19757595C2 DE 19757595 C2 DE19757595 C2 DE 19757595C2 DE 19757595 A DE19757595 A DE 19757595A DE 19757595 A DE19757595 A DE 19757595A DE 19757595 C2 DE19757595 C2 DE 19757595C2
Authority
DE
Germany
Prior art keywords
sensor
integration time
dimensional
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE19757595A
Other languages
English (en)
Other versions
DE19757595A1 (de
Inventor
Peter Mengel
Guenter Doemens
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to DE19757595A priority Critical patent/DE19757595C2/de
Application filed by Siemens AG filed Critical Siemens AG
Priority to EP98962257A priority patent/EP1040366B1/de
Priority to DE59809883T priority patent/DE59809883D1/de
Priority to US09/581,091 priority patent/US6373557B1/en
Priority to JP2000526831A priority patent/JP3860412B2/ja
Priority to PCT/DE1998/003344 priority patent/WO1999034235A1/de
Priority to KR10-2000-7007058A priority patent/KR100508277B1/ko
Publication of DE19757595A1 publication Critical patent/DE19757595A1/de
Application granted granted Critical
Publication of DE19757595C2 publication Critical patent/DE19757595C2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002Seats provided with an occupancy detection means mounted therein or thereon
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/0153Passenger detection systems using field detection presence sensors
    • B60R21/01538Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes von räumli­ chen Objekten.
Dreidimensional aufnehmende und verarbeitende Sensorsysteme gewinnen für verschiedenste Aufgabenstellungen in der indu­ striellen Technik zunehmend an Bedeutung. Bekannte optische Radarsysteme, wie beispielsweise Laserradar basieren entweder auf dem Prinzip der Laserimpuls-Laufzeitmessung oder auf der Bestimmung der Phasendifferenz von moduliertem Laserlicht zur Ableitung der Objektdistanz. Zum Aufbau eines dreidimensiona­ len bildgebenden Systemes sind zusätzliche mechanische Scan­ einrichtungen erforderlich. Dies führt zu einem relativ teu­ ren elektronischen und mechanischen Aufwand, der den Einsatz solcher dreidimensionalen Systeme auf wenige Spezial­ anwendungen beschränkt.
Es sind Verfahren bekannt, die eine CCD-Kamera (Charged Cou­ pled Device) einsetzen, wobei für diese Halbleiterkameras die Fernseh(TV)- Norm herangezogen wird. Somit lassen sich ledig­ lich relativ lange Auslesezeiten erzielen.
Aus DE 196 19 186 C1 ist ein Verfahren bekannt, bei dem zur Erzeugung eines Raumbildes eine Vielzahl von ausgesandten Lichtimpulsen zu einem Gesamtbild aufakkumuliert wird. In DE 37 32 347 ist ein Entfernungsbild-Sensor beschrieben, bei dem eine Bildaufnahme einer CCD-Kamera mittels eines Ver­ schlusses gesteuert wird, und eine Entfernungsinformation über eine Differenzbildung von zeitlich aufeinanderfolgenden Signalamplitudenwerte abgeleitet wird.
DE 41 29 912 C1 beschreibt eine Methode zur Aufnahme von Ent­ fernungsbildern, bei der eine der CCD-Kamera vorgeschaltete Verschlußeinrichtung mittels einer Steuerung ihrer Transpa­ renz modulierte Reflexionsbilder erzeugt.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Aufnahme eines dreidimensionalen Abstandsbildes, sowie eine Vorrichtung dazu zur Verfügung zu stellen, womit ein schnel­ les und kostengünstiges Verfahren zur Gewinnung eines dreidi­ mensionalen Abstandsbildes für räumliche Objekte ohne aufwen­ dige mechanische Einrichtungen bereitgestellt wird.
Die Lösung dieser Aufgabe geschieht durch die Merkmale des Anspruchs 1, 2 bzw. des Anspruches 23.
Der Erfindung liegt die Erkenntnis zugrunde, daß unter Ein­ satz eines bildpunktauflösenden (pixelauflösenden) und wahl­ frei auslesbaren optoelektronischen Sensors, dessen Integra­ tionszeit punktweise einstellbar ist, eine extrem schnelle Bildaufnahme eines dreidimensionalen Abstandsbildes möglich ist. Dazu wird das Objekt mit einem oder mehreren sehr kurzen Lichtimpulsen beleuchtet, woraufhin Lichtimpulse der gleichen Länge vom Objekt zurückgestreut werden. Diese zurückgestreu­ ten Lichtimpulse werden über eine entsprechende Optik auf den optoelektronischen Chip geleitet. Aufgrund der unterschiedli­ chen Abstände unterschiedlicher Objektpunkte vom Sensor wer­ den mit den Orten korrespondierende zurückgestreute Lichtim­ pulse zu unterschiedlichen Zeiten am Sensor ankommen. Für ei­ ne Abstandsmessung wird ein Zeitmeßfenster geöffnet, dessen Zeitdauer einer vorbestimmbaren Integrationszeit entspricht. Die Integrationszeit ist kleiner oder gleich der Länge der ausgesandten und damit auch der Länge der reflektierten Lich­ timpulse. Somit ist sichergestellt, daß der erste in den Sen­ sor einfallende zurückgestreute Lichtimpuls mehr oder weniger vollständig aufgenommen wird. Die zeitverzögert eintreffenden Lichtimpulse werden hinten abgeschnitten, so daß aufgrund der unterschiedlichen Ladungen im Raster des optoelektronischen Sensors die unterschiedlichen Laufzeiten in Ladungsunter­ schiede umgesetzt werden können. Daraus läßt sich ein dreidi­ mensionales Abstandsbild errechnen.
In einer vorteilhaften Ausgestaltung der Erfindung werden mit einer sehr langen Integrationszeit sämtliche Lichtimpulse gleichzeitig mit der zuerst beschriebenen Messung oder zeit­ versetzt danach mit ihrer vollständigen Länge aufgenommen. Dies wird zur Normierung benutzt, so daß Unterschiede im Re­ flektionsverhalten des Objektes erkannt und ausgeglichen wer­ den können.
Weitere vorteilhafte Ausgestaltungen können den Unteransprü­ chen entnommen werden.
Die wesentlichen Vorteile der Erfindung liegen darin, daß beispielsweise mechanische Shutter entfallen. Es können ex­ trem kurze Bildaufnahmezeiten realisiert werden. Der verwen­ dete optoelektronische Sensor wird allgemein als CMOS-Sensor bezeichnet, wobei dies lediglich die technologische Bezeich­ nung des Halbleiterbauelementes ist. Mit einem derartigen Sensor lassen sich minimale Integrationszeiten von 50 bis 30 nsec realisieren (Jitter bei weniger als 0,1%). Die techni­ sche Entwicklung schreitet bei den Integrationszeiten noch voran.
Im folgenden werden anhand von schematischen Figuren Ausfüh­ rungsbeispiele beschrieben.
Fig. 1 zeigt das Funktionsprinzip zur Erfassung eines drei­ dimensionalen Abstandsbildes mit einem CMOS-Sensor,
Fig. 2 zeigt die schematische Darstellung zur zeitlichen Verschiebung zweier Lichtimpulsle im Integrationsfenster de­ ren zugehörige Objektpunkte einen unterschiedlichen Abstand zum CMOS-Sensor besitzen,
Fig. 3 zeigt zwei Varianten des Sensors zur gleichzeitigen Erfassung von dreidimensionalen Abstandsbildern und Intensi­ täts- bzw. Grauwertbildern mit einem CMOS-Sensor,
Fig. 4 zeigt die schematische Darstellung der Fahrzeuginnen­ raumüberwachung mit einem dreidimensionalen CMOS-Sensor.
Es wird ein Verfahren zur seriellen oder gleichzeitigen Er­ fassung bzw. Erzeugung eines Intensitäts- und eines dreidi­ mensionalen Abstandsbildes räumlicher Objekt mit einem opto­ elektronischen Sensor unter Kurzzeitbelichtung beschrieben. Das Verfahren nutzt die Laufzeitunterschiede der von den dreidimensionalen Objekten zurückgestreuten Lichtimpulse bei der bildpunktsynchronen (pixelsynchronen) Detektion am Sensor innerhalb kurzer Integrationszeiten. Dabei wird ein CMOS- Sensor eingesetzt. Dieser Sensor besitzt eine Lichtempfind­ lichkeit von beispielsweise 1 mLux. Weiterhin weist er eine hohe Intensitätsdynamik von bis zu 107 auf, einen wahlfreien Zugriff auf die einzelnen Bildpunkte (Pixel), sowie eine ein­ stellbare Integrationszeit (Sample & Hold). Für die Messung der Ladungsmenge Q(t) bei Belichtung am einzelnen Bildpunkt.
Gegenüber Verfahren die eine CCD-Kamera einsetzen, lassen sich besondere Vorteile erzielen, wie beispielsweise die pa­ rallele Erfassung von Intensitäts- und dreidimensionalen Bil­ dern, sowie die Realisierung kurzer Bildaufnahmezeiten, die deutlich unter den Auslesezeiten von CCD-Kameras liegen. Wei­ terhin benötigt der CMOS keine aufwendigen mechanischen Shut­ ter und es müssen auch keine leistungsstarken Laserlichtquel­ len für die Kurzzeitbelichtung eingesetzt werden.
Das Verfahren ist insbesondere für die Erkennung von Personen und Bewegungsabläufen in der Raumüberwachung, beispielsweise Fahrzeuginnen/-außenüberwachung der Automatisierung von Kra­ nanlagen sowie der Navigation geeignet.
Die wesentlichen Funktionsmerkmale werden anhand von Fig. 1 erläutert. Zunächst wird für die Beleuchtung der zu erfassen­ den räumlichen Objekte mit kurzen Lichtimpulsen beispielswei­ se < 100 ns gesorgt. Die Beleuchtung kann mit Laserlicht, wie beispielsweise mit einer gepulsten Laserdiode oder mit Lichtquellen, wie beispielsweise einer gepulsten LED-Diode erfolgen. Das Verfahren ist unabhängig vom Winkel der Be­ leuchtung, die nicht unbedingt zentral zur allgemeinen Detek­ tionsrichtung erfolgen muß. So ist beispielsweise auch bei koaxialer Beleuchtung und Detektion der Einsatz eines Ring­ lichtes denkbar. Die in Fig. 1 dargestellte Anordnung dient nur zur schematischen Verdeutlichung des Funktionsprinzips.
Eine erste Bildaufnahme A wird mit einer kurzen Integrations­ zeit ΔA am CMOS-Sensor verbunden. Die von den Objektpunkten G der dreidimensionalen Szene zurückgestreuten Lichtimpulse 3 der Länge ΔL (< 100 nsec) werden an den zugehörigen Bildpunk­ ten 9 des CMOS-Sensors innerhalb einer eingestellten kurzen Integrationszeit ΔA ≦ ΔL erfaßt. Durch einen elektronischen Triggerimpuls wird dabei ein fester zeitlicher Bezug zwischen ausgesandtem Lichtimpuls 2 und dem Öffnen des Integrations­ zeitfensters am CMOS-Sensor hergestellt. Aufgrund der Lauf­ zeit des Lichtes ergibt sich je nach Objektabstand R eine un­ terschiedliche zeitliche Verschiebung
zwischen ausgesandtem und am CMOS- Sensor detektierten Lichtimpuls. Die am Bildpunkt innerhalb der Integrationszeit ΔA gemessene Ladung QA wird dadurch vom Abstand R zwischen Sensor und Objektpunkt G abhängig. Siehe hierzu Fig. 2.
QA ∝ I0 . ORL - (2R/vc - tD)) (1)
I0 Intensität des ausgesandten Lichtimpulses
OR Oberflächenreflektionskoeffizient am Objektpunkt G
tD Triggerpunktzeitverzögerung zwischen ausgesandtem Lichtim­ puls und Start des Integrationsfensters am CMOS-Sensor
Für Objektpunkte G mit gleichem Oberflächenreflektionskoeffi­ zienten OR wird abhängig von ihrem Abstand R eine unter­ schiedliche Ladung QA am zugehörigen Bildpunkt des CMOS- Sensors gemessen. Damit werden kleine Laufzeitunterschiede der Lichtimpulse in Ladungsänderungen QA transformiert. Diese können bei einem CMOS-Sensor sehr empfindlich und mit hoher Dynamik detektiert werden. Üblicherweise besitzen die Objekte einer dreidimensionalen Szene eine unterschiedliche Oberflä­ chenreflektion. Es wird daher zur Normierung des Abstandsbil­ des noch eine zweite Bildaufnahme QB durchgeführt, die nur von der Oberflächereflektion der Objekte der dreidimensiona­ len Szene abhängig ist.
Die Durchführung einer zweiten Bildaufnahme B mit langer In­ tegrationszeit ΔB dient zur Normierung der Oberflächenreflek­ tion der dreidimensionalen Szene, wobei im Prinzip das her­ kömmliche Intensitäts- oder Grauwertbild verwendet wird. Hierzu wird am CMOS-Sensor bei einer zweiten Bildaufnahme ei­ ne Integrationszeit ΔB eingestellt, die sehr groß gegenüber der Länge eines Beleuchtungslichtimpulses ist; ΔB » ΔL z. B. 1 Mikrosekunde. Jetzt werden alle zurückgestreuten Lichtim­ pulse 3 unabhängig von ihrer Laufzeit in vollem Umfang am CMOS-Sensor detektiert. Die an einem Bildpunkt gemessene La­ dung QB gibt sich zu
QB ∝ I0 x OR ΔL. (2)
Das erhaltene Bild ist nur von der Beleuchtungsintensität I0 dem Oberflächenreflektions-Koeffizienten OR des zugehörigen Objektpunktes, sowie der Lichtimpulslänge ΔL abhängig.
Die Erzeugung des zweidimensionalen Abstandsbildes QR ge­ schieht durch die Berechnung aus der Differenz und Normierung von Bildaufnahme A und B bzw. QA und QB
QR = (QA - QB)/QB (3).
Aus Gleichung (1) und (2) folgt mit td = 0 die Gleichung
QR ∝ -2R/(vc . ΔL) (4).
Dieser Wert kann nach Auslesen und Digitalisieren sowie zu­ sätzlicher Skalierung für alle Bildpunkte direkt als Ab­ standsbild QR ausgegeben werden. Ist die Triggerverzögerungs­ zeit td ungleich 0, so addiert sich zu allen Punkten des Ab­ standsbildes QR ein konstanter Offset
RD = tD/(vc . ΔL). (5).
Die gleichzeitige Aufnahme von Intensitäts- und dreidimen­ sinalem Bild bezieht sich auf eine Ausführung einer örtlich und zeitlich parallelen Erfassung von Intensitäts- und Ab­ standswerten. Hierzu wird eine Chiparchitektur und pixelbezo­ gene Integrationszeit derart gewählt, daß direkt benachbarte Pixel A und Pixel B entsprechend der Fig. 3 auf dem CMOS- Sensor die zurückgestreuten Lichtimpulse 3 der dreidimensio­ nalen Szene gleichzeitig mit kurzer Integrationszeit ΔA ≦ ΔL (für Pixel A) aufnehmen und mit langer Integrationszeit ΔB » ΔL (für Pixel B) erfassen. Durch eine auf dem Chip inte­ grierte elektronische Schaltung kann dann direkt das zweidi­ mensionale Abstandsbild
QR = (QA - QB)/QB (6)
der zugeordneten Pixel A und B berechnet und ausgegeben wer­ den.
Fig. 3 zeigt dazu schematisch zwei mögliche Anordnungen auf dem CMOS-Sensor für die parallele Erfassung von Intensitäts und dreidimensionalem Abstandsbild. Weitere Varianten hierzu sind möglich. Die gleichzeitige Erfassung von Intensitäts- und dreidimensionalem Abstandsbild ist besonders für die Ana­ lyse bewegter dreidimensionaler Szenen von Bedeutung, bei­ spielsweise die Erfassung von Personengestik oder die Objekt­ verfolgung. Weitere besondere Kennzeichen der Erfindung sind:
  • - Falls erforderlich kann eine zusätzliche Normierung des dreidimensionalen Abstandsbildes bezüglich Umgebungslicht durchgeführt werden. Hierzu wird zunächst ohne Beleuchtung der dreidimensionalen Szene bzw. des Objekts die Ladung eines Bildpunktes mit kurzer und langer Integrationszeit erfaßt und von den mit Beleuchtung gemessenen Ladungen QA und QB abgezo­ gen. Anschließend erfolgt die Berechnung des Abstandsbildes QR.
  • - Durch zeitliche Mittelung der Signale mehrerer Lichtim­ pulse kann eine Erhöhung der Empfindlichkeit des Verfahrens gegenüber dem Rauschen bei geringen zurückgestreuten Lichtin­ tensitäten erreicht werden.
  • - Die Meßunsicherheit für die Abstandsbestimmung hängt vom Signal/Rauschverhalten des CMOS-Sensors ab. Erwartet wird das Laufzeitunterschiede zwischen 0,1 ns noch detektiert werden können. Daraus folgt eine Meßunsicherheit von weniger als 3 cm für die Abstandsbestimmung.
Die wesentlichen Verwendungen des beschriebenen Verfahrens und der beschriebenen Vorrichtung betreffen die Überwachung von Innenräumen, insbesondere in Fahrzeugen in Verbindung mit volumetrischen Auswerteverfahren. Die Aufgabe der optischen Innenraummüberwachung bei Fahrzeugen ist die Erkennung der Sitzbelegung, wie beispielsweise Personen, Kindersitz, son­ stige Objekte, die Erfassung der Sitzposition von Personen sowie der Diebstahlschutz, d. h. das unzulässige Eindringen in das Fahrzeuginnere von außen. Die Erkennung von Personen und ihrer Sitzposition ist für die stufenweise Auslösung eines Airbags (smart Airbag) von hoher sicherheitsrelevanter Be­ deutung und muß im Kollisionsfall sehr zuverlässig und in kurzen Meßzeiten erfolgen. Die Erfindung erfüllt diese Anfor­ derungen durch eine schnelle und zuverlässige Erzeugung eines dreidimensionalen Abstandsbildes QR im Fahrzeuginneren, wobei volumentrische Auswerteverfahren eingesetzt werden. Dabei werden aus den Abstandswerten R in einem Raumwinkelelement Ω die von Objekten 1 besetzten Nettovolumenanteile im Fahrzeu­ ginnenraum als Differenz zu den Abstandswerten bei unbesetz­ tem Fahrzeuginneren bestimmt (siehe hierzu Fig. 4).
Das Verfahren und die Vorrichtung liefern weitere wesentliche Vorteile, wie:
  • - Schnelle, globale Erfassung der aktuellen Sitzbelegung durch Differenzbildung eines dreidimensionalen Abstandsbildes vom Fahrzeuginneren ohne Objekte (dreidimensionales Referenz­ bild QRO) und dem aktuell auszuwertenden dreidimensionalen Abstandsbild mit einer Person oder einem sonstigen Objekt QRP auf einem Sitz. Dabei gilt für das Nettovolumen VP der Sitz­ belegung:
    VP = ∫Ω R0(Ω) . dF - ∫Ω RP(Ω) . dF, (7),
    wobei R0 die Abstandswerte ohne Person bzw. sonstigem Objekt und RP die Abstandswerte mit Person bzw. sonstigen Objekt auf dem Sitz sind und dF eine differenzielle Fläche bezeichnet.
  • - Die adaptive Ermittlung der Sitzbelegung aus der Berech­ nung der relativen Abstandsänderungen vor und nach dem Ein­ steigen einer Person ins Fahrzeug kann durchgeführt werden. Durch Anwendung regressiver und stochiastischer Auswertever­ fahren kann die Zuverlässigkeit der Differenzbestimmung noch weitergesteigert werden.
  • - Die Größenbestimmung der erfaßten Objekte und globale Un­ terscheidung von Objekten über Volumen-Vergleichsklassen ist möglich.
  • - Räumliche Zuordnung von besetzten Volumenanteilen ist mög­ lich.
  • - Bestimmung der räumlichen Extrempositionen (x, y, z) des be­ setzten Volumens im Innenraum für die Steuerung der Airbag Auslösung kann bestimmt werden.
  • - Volumetrische Verfolgung von Bewegungsabläufen im Raum bei zeitlich aufeinanderfolgenden Bildaufnahmen und Diffe­ renzbildung. Erkennuung von Personen und Gestik aus der Bewe­ gungsanalyse.
Diese integrale Volumenbetrachtung ermöglicht eine globale Erfassung von Objekten und Positionen im Raum und ist nicht auf die Bestimmung von Merkmalen, wie beispielsweise Kontu­ ren, Ecken, Kanten im Bild zur Objekterkennung angewiesen. Die Auswertezeiten können für die dreidimensionale Bildauf­ nahme und volumetrische Auswertung unter 10 ms liegen.
Als Anwendungsgebiet des beschriebenen Verfahrens und der Vorrichtung kommt insbesondere ein Fahrzeuginnenraum infrage. Dabei wird für die dreidimensionale Bildaufnahme mit LED- Lichtimpulsen von beispielsweise 50 ns (Nanosekunden) ein Ob­ jekt belichtet. Die Integrationszeiten am CMOS-Sensor werden für die Bildaufnahme QA zu 50 ns und für die Bildaufnahme QB zu 0,5 µs, gewählt. Die zu erfassende Szenendynamik im Fahr­ zeuginneren soll 200 : 1 betragen. Die Abstandswerte R sollen mit einer Meßunsicherheit < 15 cm (entsprechender Laufzeitun­ terschied eines Lichtimpulses = 1 ns) in einem Meßbereich bis 1,5 m (Laufzeit 10 ns) erfaßt werden.
Mit diesen Anforderungen wird am CMOS Sensor eine Intensi­ tätsdynamik von (10 × 200 =) 2000 : 1 erforderlich. Die digi­ tale Erfassung des dreidimensionalen Abstandsbildes QR wird damit durch einen 12 Bit A/D Wandler gewährleistet. Für eine Sensorortsauflösung von 50 × 50 Bildpunkten werden für die Bildaufnahmen A mit kurzer Integrationszeit und B mit langer Integrationszeit maximal 104 Ausleseoperationen notwendig, die bei Auslesefrequenzen, von beispielsweise 2 MHz zu einer gesamten Bildaufnahmezeit für das dreidimensionale Abstands­ bild von maximal 5 ms führen. Die Berechnung der Differenzvo­ lumina aus den 2500 Abstandswerten ist mit einem schnellen Prozessor, wie beispielsweise einem Pentium mit 200 MHz in weiteren 5 ms ohne Schwierigkeit ausführbar.
In Fig. 4 wird ein Schemal für eine Anwendung der Erfindung in Fahrzeuginnenräumen dargestellt. Die Pfeile mit gepunkte­ ten Linien sind stellvertretend für einen nichtbelegten Sitz und die mit durchgezogenen Linien für einen mit einer Person belegten Sitz. Für die globale Objekterkennung und Positions­ bestimmung wird der umhüllende Nettovolumenanteil aus den dreidimensionalen Abstandsdaten bei besetztem und bei unbe­ setztem Fahrzeug bestimmt. Das Nettovolumen VP einer Person oder eines sonstigen Objektes auf einem Autositz berechnet sich nach Gleichung (7).
Bezugszeichenliste
1
Objekt
2
Lichtimpuls der Länge ΔL
3
Lichtimpuls der Länge ΔL
, zurückgestreut
4
Sensor
5
Beleuchtungseinrichtung
6
,
7
Optik
8
Triggereinrichtung
9
Bildpunktelement
G Objektpunkt
ΔA
; ΔB
Integrationszeit

Claims (18)

1. Verfahren zur Aufnahme eines dreidimensionalen Abstands­ bildes von räumlichen Objekten unter Einsatz eines bild­ punktauflösenden und wahlfrei auslesbaren optoelektronischen Sensors (4), dessen Integrationszeit Δ bildpunktweise ein­ stellbar ist, bestehend aus folgenden Schritten:
  • 1. das Objekt (1) wird mit mindestens einem Lichtimpuls (2) beleuchtet,
  • 2. von Objektpunkten (G) zurückgestreute Lichtimpulse (3) mit einer Zeitdauer ΔL werden an zugehörigen Bildpunkten des Sen­ sor (4) innerhalb einer vorgegebenen kurzen Integrationszeit ΔA, mit ΔA ≦ ΔL erfaßt, wobei der Zeitpunkt für den Beginn der Integrationszeit ΔA vor dem Eintreffen des ersten zurückge­ streuten Lichtimpulses (3) liegt, der dem nächstliegenden Ob­ jektpunkt (G) entspricht,
  • 3. aus den entsprechend ihrer unterschiedlichen Laufzeiten resultierenden unterschiedlichen aufgenommenen Intensitäten der zurückgestreuten Lichtimpulse (3) werden Abstandswerte ermittelt.
2. Verfahren nach Anspruch 1, worin zur gleichzeitigen oder nachfolgenden Normierung der Oberflächenreflexion des Objek­ tes (1) zusätzlich sämtliche zurückgestreuten Lichtimpulse (3) mit einer langen Integrationszeit ΔB » ΔL vollständig erfaßt werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, worin der Beginn einer Integrationszeit ΔA; ΔB mit einer Trig­ gerimpulsverzögerung verbunden ist.
4. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Integrationszeit ΔA weniger, als 100 ns beträgt.
5. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Integrationszeit ΔB ca. 1 µs beträgt.
6. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Lichtimpulslänge weniger als 100 ns beträgt.
7. Verfahren nach einem der Ansprüche 2-6, worin zur gleichzeitigen Aufnahme eines dreidimensionalen und eines Grauwertbildes auf dem Sensor (4) zeilenweise unterschiedli­ che Integrationszeiten ΔA bzw. ΔB eingestellt werden.
8. Verfahren nach einem der Ansprüche 2-6, worin zur gleichzeitigen Aufnahme eines dreidimensionalen und eines Grauwertbildes auf dem Sensor (4) bildpunktweise unterschied­ liche Integrationszeiten ΔA bzw. ΔB abwechselnd eingestellt werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, worin das Objekt (1) mit Lichtimpulsen eines Lasers oder einer ge­ pulsten Leuchtdiode beleuchtet wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, worin der Sensor (4) ein CMOS Sensor ist.
11. Verfahren nach einem der vorhergehenden Ansprüche, worin eine Erkennung von statischen Objekten und/oder von Bewe­ gungsabläufen vorgenommen wird.
12. Verfahren nach Anspruch 11, worin Objekte überwacht wer­ den, wie Gegenstände oder Personen in Räumen oder in Fahrzeu­ gen.
13. Verfahren nach Anspruch 11, worin Fahrzeuge oder Kranan­ lagen überwacht werden und/oder worin eine allgemeine Naviga­ tion vorgenommen wird.
14. Verfahren nach Anspruch 11 oder 12, worin eine Sitzbele­ gung und/oder eine Sitzposition in einem Fahrzeug erkannt wird.
15. Vorrichtung zur Aufnahme eines dreidimensionalen Abstand­ bildes, bestehend aus:
  • 1. einer Beleuchtungseinrichtung (5), die ausgesandte Lichtim­ pulse (2) über eine Optik (6) auf ein Objekt (1) richtet,
  • 2. einem optoelektronischen Sensor (4) mit einer vorgeschal­ teten Optik (7), der die vom Objekt (1) zurückgestreuten Lichtimpulse (3) detektiert, wobei der Sensor (4) durch eine Vielzahl von Bildpunktelementen (9) bildpunktauflösend aufge­ baut und wahlfrei auslesbar ist und die Integrationszeit Δ bildpunktweise einstellbar ist,
  • 3. einer Triggereinrichtung (8) zur zeitlichen Abstimmung zwischen Beleuchtungseinrichtung (5) und Sensor (4),
  • 4. einer Recheneinheit zur Berechnung eines dreidimensionalen Bildes aus den entsprechenden Ladungen der Bildpunkte.
16. Vorrichtung nach Anspruch 15, worin an den Bildpunktele­ menten (9) des Sensors (4) zeilen- oder spaltenweise abwech­ selnd eine kurze Integrationszeit ΔA und eine lange Inte­ grationszeit ΔB eingestellt ist.
17. Vorrichtung nach Anspruch 15, worin an den Bildpunktele­ menten (9) des Sensors (4) abwechselnd kurze und lange Inte­ grationszeiten ΔA bzw. ΔB eingestellt sind.
18. Vorrichtung nach einem der Ansprüche 15-17, worin die Re­ cheneinheit auf dem Sensor (4) angeordnet ist.
DE19757595A 1997-12-23 1997-12-23 Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes Expired - Fee Related DE19757595C2 (de)

Priority Applications (7)

Application Number Priority Date Filing Date Title
DE19757595A DE19757595C2 (de) 1997-12-23 1997-12-23 Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
DE59809883T DE59809883D1 (de) 1997-12-23 1998-11-14 Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
US09/581,091 US6373557B1 (en) 1997-12-23 1998-11-14 Method and apparatus for picking up a three-dimensional range image
JP2000526831A JP3860412B2 (ja) 1997-12-23 1998-11-14 3次元距離画像を撮影するための方法及び装置
EP98962257A EP1040366B1 (de) 1997-12-23 1998-11-14 Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
PCT/DE1998/003344 WO1999034235A1 (de) 1997-12-23 1998-11-14 Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
KR10-2000-7007058A KR100508277B1 (ko) 1997-12-23 1998-11-14 3차원 거리 측정 이미지를 기록하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19757595A DE19757595C2 (de) 1997-12-23 1997-12-23 Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes

Publications (2)

Publication Number Publication Date
DE19757595A1 DE19757595A1 (de) 1999-07-01
DE19757595C2 true DE19757595C2 (de) 2000-05-11

Family

ID=7853217

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19757595A Expired - Fee Related DE19757595C2 (de) 1997-12-23 1997-12-23 Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes

Country Status (1)

Country Link
DE (1) DE19757595C2 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1221582A2 (de) 2001-01-05 2002-07-10 Leuze electronic GmbH + Co. Optoelektronische Vorrichtung
DE10163534A1 (de) * 2001-12-21 2003-07-10 Siemens Ag Vorrichtung zur Überwachung von Raumbereichen
DE10221578A1 (de) * 2002-05-08 2003-11-27 Siemens Ag Vorrichtung zur Überwachung eines Flächen- oder Raumbereiches
DE10035531B4 (de) * 2000-07-21 2004-12-30 Daimlerchrysler Ag Vorrichtung zur Erfassung eines Raumes in einem Fahrzeuginnenraum
DE102004015047A1 (de) * 2004-03-26 2005-10-13 Bayerische Motoren Werke Ag Einstellverfahren für einen Kraftfahrzeug-Sitz
DE202017103345U1 (de) 2017-06-02 2018-09-05 Sick Ag Tastendes Lichtgitter zur Erfassung von Objekten

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19833207A1 (de) * 1998-07-23 2000-02-17 Siemens Ag Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
DE19908215A1 (de) * 1999-02-25 2000-09-21 Siemens Ag Vorrichtung und Verfahren zum optischen Erfassen eines Objektes oder einer Person im Innenraum eines Fahrzeugs
DE59906278D1 (de) 1999-06-24 2003-08-14 Fraunhofer Ges Forschung Vorrichtung und verfahren zur sitzüberwachung mittels einer optoelektronischen triangulationstechnik
DE29911391U1 (de) * 1999-06-30 1999-10-14 Sick Ag Optoelektronisches Überwachungssystem
DE19932520A1 (de) * 1999-07-12 2001-02-01 Hirschmann Austria Gmbh Rankwe Vorrichtung zur Steuerung eines Sicherheitssystems
EP1210250B1 (de) * 1999-09-10 2004-05-19 Siemens Aktiengesellschaft Verfahren und vorrichtung zum steuern des betriebs einer einem sitz zugeordneten insassenschutzvorrichtung, insbesondere in einem kraftfahrzeug
US6581961B1 (en) 1999-12-17 2003-06-24 Trw Vehicle Safety Systems Inc. Deactivation of second stage of air bag inflator
CN1223258C (zh) 2000-03-28 2005-10-12 西门子公司 在基板插装机中检查电气元件的方法和装置
JP2003532278A (ja) 2000-03-28 2003-10-28 シーメンス アクチエンゲゼルシヤフト 車室における物体または人物を捕捉検出するための装置および方法
DE10022215A1 (de) * 2000-05-04 2001-11-08 Oezkan Mustafa Statische Flächenüberwachung mit optischen Entfernungsmessern
US6810135B1 (en) * 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
US6904347B1 (en) * 2000-06-29 2005-06-07 Trw Inc. Human presence detection, identification and tracking using a facial feature image sensing system for airbag deployment
US6724920B1 (en) 2000-07-21 2004-04-20 Trw Inc. Application of human facial features recognition to automobile safety
DE10037220B4 (de) * 2000-07-31 2008-08-21 Volkswagen Ag Verfahren und Einrichtung zur situationsgerechten Ansteuerung
DE10044689A1 (de) * 2000-09-08 2002-03-21 Idm Gmbh Infrarot Sensoren Vorrichtung zur Überwachung eines Bereichs eines Raumes
US6801662B1 (en) * 2000-10-10 2004-10-05 Hrl Laboratories, Llc Sensor fusion architecture for vision-based occupant detection
KR100736472B1 (ko) * 2000-11-14 2007-07-06 지멘스 악티엔게젤샤프트 차량 내부의 탑승 유무를 결정하는 방법 및 장치
DE10114563A1 (de) 2001-03-24 2002-10-24 Conti Temic Microelectronic Stellelement, insbesondere als Teil eines Stellantriebs für eine Bildaufnahmeeinrichtung
DE10114564A1 (de) 2001-03-24 2002-09-26 Conti Temic Microelectronic Stellelement, insbesondere als Teil eines Stellantriebs für eine Bildaufnahmeeinrichtung
DE10141037C1 (de) * 2001-08-20 2003-04-03 Siemens Ag Vorrichtung zur Erkennung eines Hindernisses
CN1613020A (zh) * 2001-11-08 2005-05-04 西门子公司 用于测量距离的激光光栅
DE10246318A1 (de) * 2002-10-04 2004-04-15 Bayerische Motoren Werke Ag Sitzeinstellvorrichtung
JP2006512866A (ja) * 2003-05-08 2006-04-13 シーメンス アクチエンゲゼルシヤフト 対象または人間を検出するための方法および装置
DE10360789B4 (de) * 2003-12-23 2007-03-15 Leuze Lumiflex Gmbh + Co. Kg Vorrichtung zur Überwachung eines Erfassungsbereichs an einem Arbeitsmittel
DE102004028090A1 (de) * 2004-06-09 2005-12-29 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Sensorik zur Fahrzeuginnenraumüberwachung
DE102004040558A1 (de) * 2004-08-21 2006-02-23 A.D.C. Automotive Distance Control Systems Gmbh Optisches Objekterkennungssystem
DE102005045484A1 (de) * 2005-07-29 2007-02-01 Cedes Ag Sensorvorrichtung
DE102006016026A1 (de) * 2006-04-05 2007-10-11 Sick Ag Distanzmessvorrichtung
DE102006055343B3 (de) * 2006-11-23 2008-04-10 Siemens Ag Vorrichtung und Verfahren zur Unterscheidung zwischen rückwärts angeordneten Kindersitzen und erwachsenen Insassen in einem Kraftfahrzeug
DE102007046562A1 (de) 2007-09-28 2009-04-02 Siemens Ag Verfahren und Vorrichtung zum Bestimmen eines Abstands mittels eines optoelektronischen Bildsensors
DE102015201901B4 (de) * 2015-02-04 2021-07-22 Volkswagen Aktiengesellschaft Bestimmung einer Position eines fahrzeugfremden Objekts in einem Fahrzeug
EP3081960B1 (de) 2015-04-13 2023-03-22 Rockwell Automation Switzerland GmbH Flugzeitsicherheitslichtschranke und verfahren zur überwachung eines schutzfeldes
EP3494786A1 (de) 2017-12-07 2019-06-12 Bayer CropScience Aktiengesellschaft Erkennung von schädlingen
DE102019135363A1 (de) * 2019-12-20 2021-06-24 Recaro Aircraft Seating Gmbh & Co. Kg Flugzeugsitzvorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3732347C1 (de) * 1987-09-25 1989-03-16 Messerschmitt Boelkow Blohm Entfernungsbild-Sensor
DE3839513C2 (de) * 1988-11-23 1992-05-07 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
DE4129912C1 (de) * 1991-09-09 1992-10-22 Dornier Luftfahrt Gmbh, 8031 Wessling, De
DE19619186C1 (de) * 1996-05-02 1998-01-02 Pco Computer Optics Gmbh Verfahren sowie System zur Erstellung eines Bildes
EP1512572A2 (de) * 2003-09-05 2005-03-09 Toyoda Gosei Co., Ltd. Tankdeckel

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3732347C1 (de) * 1987-09-25 1989-03-16 Messerschmitt Boelkow Blohm Entfernungsbild-Sensor
DE3839513C2 (de) * 1988-11-23 1992-05-07 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
DE4129912C1 (de) * 1991-09-09 1992-10-22 Dornier Luftfahrt Gmbh, 8031 Wessling, De
DE19619186C1 (de) * 1996-05-02 1998-01-02 Pco Computer Optics Gmbh Verfahren sowie System zur Erstellung eines Bildes
EP1512572A2 (de) * 2003-09-05 2005-03-09 Toyoda Gosei Co., Ltd. Tankdeckel

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10035531B4 (de) * 2000-07-21 2004-12-30 Daimlerchrysler Ag Vorrichtung zur Erfassung eines Raumes in einem Fahrzeuginnenraum
EP1221582A2 (de) 2001-01-05 2002-07-10 Leuze electronic GmbH + Co. Optoelektronische Vorrichtung
DE10163534A1 (de) * 2001-12-21 2003-07-10 Siemens Ag Vorrichtung zur Überwachung von Raumbereichen
DE10221578A1 (de) * 2002-05-08 2003-11-27 Siemens Ag Vorrichtung zur Überwachung eines Flächen- oder Raumbereiches
DE102004015047A1 (de) * 2004-03-26 2005-10-13 Bayerische Motoren Werke Ag Einstellverfahren für einen Kraftfahrzeug-Sitz
US7430467B2 (en) 2004-03-26 2008-09-30 Bayerische Motoren Werke Aktiengesellschaft Regulating method for a motor vehicle seat
DE202017103345U1 (de) 2017-06-02 2018-09-05 Sick Ag Tastendes Lichtgitter zur Erfassung von Objekten

Also Published As

Publication number Publication date
DE19757595A1 (de) 1999-07-01

Similar Documents

Publication Publication Date Title
DE19757595C2 (de) Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
EP1040366B1 (de) Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
DE19833207A1 (de) Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
EP3185038B1 (de) Optoelektronischer sensor und verfahren zur messung einer entfernung
DE112008001384B4 (de) Verfahren zur Verschmutzungserkennung bei einer TOF-Distanzbildkamera
EP2290393B1 (de) Konzept zur optischen Abstandsmessung
EP2019973A1 (de) Distanzmessverfahren und distanzmesser zur erfassung der räumlichen abmessung eines zieles
EP2708913A1 (de) Optoelektronischer Sensor und Verfahren zur Objekterfassung
DE102008018718A1 (de) Optischer Abstandsmesser und Verfahren zur optischen Abstandsmessung
DE102010061382A1 (de) Optoelektronischer Sensor und Verfahren zur Erfassung und Abstandsbestimmung von Objekten
DE202013101039U1 (de) Optoelektronischer Sensor zur Entfernungsmessung
DE112010003752T5 (de) Dynamische echtzeitreferenzbilderzeugung für ein entfernungsbildgebungssystem
DE102014108310B4 (de) Optisches Laufzeitsystem
DE112020002106T5 (de) Ereignisdetektionsvorrichtung, ereignisdetektionsvorrichtung enthaltendes system und ereignisdetektionsverfahren
DE102020115997A1 (de) Fahrzeugsensorverbesserungen
EP1460454A2 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
DE10148064A1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE112020004621T5 (de) Lichtdetektierende Vorrichtung und System
DE102012211222A1 (de) Zielinformationsmessvorrichtung mit hoher möglicher Genauigkeit gemessener Informationen
DE102005046950B3 (de) Vorrichtung und Verfahren zur Aufnahme von Abstandsbildern
DE102014204423B4 (de) Lichtlaufzeitkamerasystem
EP4211490A1 (de) Verfahren, radarsystem und fahrzeug zur signalverarbeitung von radarsignalen
DE102019213812A1 (de) Optischer Sensor
DE102018126841B4 (de) 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
DE102005020599B4 (de) Verfahren zur Bestimmung mindestens einer Bewegungskenngröße eines mit Rückhaltemitteln ausgestatteten Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8363 Opposition against the patent
8339 Ceased/non-payment of the annual fee