DE10138531A1

DE10138531A1 - Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes

Info

Publication number: DE10138531A1
Application number: DE10138531A
Authority: DE
Inventors: Peter Mengel
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2001-08-06
Filing date: 2001-08-06
Publication date: 2003-03-06

Abstract

Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes eines Objektes durch Lichtlaufzeitmessungen mit einem Fotodetektor mit Kurzzeitintegration, wobei der Objektpunktabstand jeweils aus der Lichtlaufzeit (T¶0¶) von Lichtimpulsen berechnet wird und das zum Start eines sendeseitigen Lichtimpulses (1) erzeugte Triggersignal zugleich empfangsseitig zum Öffnen eines Integrationsfensters (2) zum Empfang zurückreflektierter Lichtimpulse (3) verwendet wird. Das Triggersignal wird empfangsseitig mit jedem Lichtimpuls stufenweise ansteigend um eine Triggerverzögerung (T¶v¶) verzögert und die Sensorsignale werden gespeichert. Wenn die Triggerverzögerung (T¶v¶) annähernd gleich der Lichtlaufzeit (T¶0¶) ist, tritt ein Maximalwert der integrierten Spannung (U) auf, womit ein jeweiliger Abstand (d) errechnet wird.

Description

Die schnelle, robuste Erfassung dreidimensionaler Bilder gewinnt insbesondere für die Sensorik auf zahlreichen Gebieten zunehmend an Bedeutung. Bekannte Triangulationsverfahren sind wegen der erforderlichen Messbasis für die trigonometrische Berechnung eines Abstandswertes nur für den Nahbereich bis ca. 2 m geeignet und eingeschränkt anwendbar. Insbesondere für größere Messbereiche von beispielsweise 20 cm bis 50 m ergeben sich für kostengünstige dreidimensional (3D) erfassende und auswertende Messsysteme vielfältigste Anwendungen, wie beispielsweise im Bereich der Automobiltechnik, der Navigation oder der Gebäude-, Sicherheits- und Automatisierungstechnik. Die Vermessung größerer 3D-Szenen und 3D-Objekte kann heute nur statisch mittels Photogrammetrie oder mit einem scannenden 3D-Laserradar bei entsprechend hohem Kosten- und Zeitaufwand erfolgen.
In der deutschen Patentanmeldung Nr. 19833207 wird ein Verfahren beschrieben, bei dem die extrem kurze Integrationszeit eines CMOS-Fotosensors, die beispielsweise bei 30 ns liegt, in Verbindung mit einem ebenfalls kurzen Laserimpuls genutzt wird, um Entfernungs- bzw. Abstandsbilder schnell und kostengünstig zu erzeugen. Zugleich mit dem Aussenden des Laserimpulses wird über einen Trigger ein Messfenster am CMOS Bildwandler geöffnet und die Lichtintensität des Laserimpulses nach Reflexion am auszumessenden Objekt in zwei aufeinanderfolgenden Messungen mit den Integrationszeiten T₁ und T₂ detektiert. Aus der Messung der integrierten Intensität U₁ und U₂ innerhalb von zwei Messfenstern mit Integrationszeiten T₁ und T₂ lässt sich die Laufzeit T₀ und damit der Abstand d zum Objektpunkte exakt berechnen nach der Rechenbeziehung:
Die Anwendung dieser Formel erfordert allerdings aufgrund der Differenz und Quotientenbildung eine Messung mit Lichtintensitäten, deren integrierte Photospannungen deutlich über der Rauschgrenze des CMOS-Bildwandlers liegen müssen. Zwar können die Ergebnisse zahlreicher Laserimpulsbeleuchtungen aufsummiert werden, eine Verbesserung des Signal/Rauschverhältnisses lässt sich aber nur mit der Wurzel der Anzahl der Laserimpulse erreichen. Des weiteren führen endliche Anstiegsflanken der Laserimpulse sowie unvermeidbare Nichtlinearitäten im Integrationsverhalten des CMOS-Bildwandlers zu Messwertfehlern, die zusätzliche Kalibrierverfahren erfordern.
Der Erfindung liegt die Aufgabe zugrunde ein Verfahren und eine Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes mittels Lichtlaufzeitmessungen zur Verfügung zu stellen, womit ein vergrößerter Abstandsmessbereich erzielt wird, Unabhängigkeit des Sensorsignales von der Form der Lichtimpulse gegeben ist und eine niedrigere Lichtleistung für die Sendeseite ermöglicht wird.
Die Lösung geschieht durch die jeweilige Merkmalskombinatio0n von Anspruch 1 bzw. Anspruch 11.
Vorteilhafte Ausgestaltungen können den Unteransprüchen entnommen werden.
Die vorliegende Erfindung verwendet einen CMOS-Fotosensor mit einer Vielzahl von Bildpunkten bzw. -zellen mit Kurzzeitintegration, wobei die Integrationszeit bildpunktweise einstellbar ist, sowie eine Lichtimpulsbeleuchtung zur Erzeugung eines 3D-Abstandbildes. Die dazu verwendete Lichtquelle muss einheitlich ansteuerbar sein, kann aber sowohl punktförmig, als auch flächig ausgebildet sein. Für die Bestimmung der Abstandswerte wird ein neues Messprinzip eingesetzt mit dem Ziel, zuverlässige Lichtlaufzeitmessungen bis an die Rauschgrenze des CMOS Sensors zu ermöglichen. Dazu werden die Triggersignale einerseits für das Aussenden der Lichtimpulse und anderseits für das Öffnen des elektronischen Shutters, gleichbedeutend mit dem Öffnen eines Zeitfensters, am CMOS Sensor mit einer vorgebbaren Zeitverzögerung, beispielsweise über eine Verzögerungsleitung, in Inkrementen von beispielsweise 1/10 Nanosekunde zeitlich gegeneinander verschoben und die so gemessenen integrierten Sensorsignale werden in einer Verarbeitungseinheit gespeichert. Bei Korrelation der eingestellten Verzögerung mit der Lichtlaufzeit des korrespondierenden Objektpunktes ergibt sich ein Maximum im integrierten Signal, dessen Ermittlung aus den gespeicherten Werten der Verarbeitungseinheit durch Interpolationsverfahren mit hoher Sensitivität und präzise durchgeführt werden kann. Der 3D-Abstandwert kann somit durch die für die größte Übereinstimmung zwischen Zeitfenster und zurückreflektiertem Lichtimpuls ermittelte Triggerverzögerung definiert werden und das Ergebnis, die Lichtlaufzeit, wird weitgehend unabhängig von der Form des Lichtimpulses sowie von den Linearitätseigenschaften des CMOS Bildwandlers erhalten.
Ein weiterer wesentlicher Vorteil liegt in der kolinearen Führung der Lichtstrahlen auf einer Achse.
Im Folgenden werden anhand von die Erfindung nicht einschränkenden Figuren Ausführungsbeispiele beschrieben:
Fig. 1 zeigt eine Messvorrichtung zur Erzeugung von dreidimensionalen Abstandsbildern,
Fig. 2 zeigt das Verfahrensprinzip der korrelierten Lichtlaufzeitmessung und
Fig. 3 zeigt die Interpolation zur Ermittlung des Maximalwertes zur Bestimmung der Laufzeitverzögerung T₀.

- Die gesamte zu vermessende 3D-Szene wird für eine Bildaufnahme seriell mit kurzen Lichtimpulsen mit Anstiegszeiten in Nanosekunden-Bereich beleuchtet. Der Start des Aussendens der Lichtimpulse erfolgt über einen Trigger, der für jeden Messvorgang von einer Kontroll- und Verarbeitungseinheit vorgegeben wird (Fig. 1). Ein Teil des Triggersignals wird gleichzeitig über eine programmierbare Verzögerungsleitung geführt und dient nach einer vorgegebenen zeitlichen Verzögerung T_V mit Inkrementen im 1/10-Nanosekundenbereich als Startsignal für das Öffnen des elektronischen Shutters am CMOS Fotosensor, das nach einer bestimmten kurzen Integrationszeit (beispielsweise 30 ns) wieder geschlossen wird. Dies ist gleichbedeutend mit dem Öffnen eines Zeitfensters zum Empfang von zurückreflektierten Lichtimpulsen 3. In einem geöffneten Zeitfenster können eingehende Lichtimpulse aufintegriert werden. Die Integrationszeit, also die Dauer des geöffneten Fensters, wird vorteilhafterweise gleich der zeitlichen Dauer eines Lichtimpulses gewählt.
- Die ausgesandten Lichtimpulse werden an den Objekten der 3D Szenen gestreut und das zurückkommende Licht über eine entsprechende Optik am CMOS Sensor innerhalb der Integrationszeit des elektronischen Shutters erfasst. Aufgrund der unterschiedlichen Abstände unterschiedlicher Objektpunkte vom Sensor werden mit den Orten korrespondierende Lichtimpulse eine unterschiedliche Laufzeitverzögerung T₀ erhalten. Für einen bestimmten, einzigen Objektpunkt im Abstand d ergibt sich damit ein integriertes Sensorsignal U(T₀, T_V) am korrespondierenden, empfangsseitigen Bildpunkt aus der zeitlichen Überlappung des CMOS Integrationsfensters 2 mit dem zurückkommenden Lichtimpuls 3 (mathematische Faltungsfunktion) bei der momentan eingestellten Triggerverzögerung T_V (Fig. 2).
- Wird nun die Triggerverzögerung T_V beginnend vom Wert 0 in Inkrementen n × ΔT_V erhöht, so steigt das Sensorsignal U (T₀, T_V) zunächst an bis die Triggerverzögerung T_V gleich der Lichtlaufzeit T₀ für diesen Bildpunkt ist. In diesem Fall liegt eine maximale Überlappung von zurückkommendem Laserimpuls 3 und dem Messfenster 2 des CMOS-Sensors vor, so dass sich hier ein Maximum für die integrierte Intensität ergibt. Wird die Triggerverzögerung T_V darüber hinaus weiter erhöht so reduziert sich wieder der zeitliche Überlappungsbereich und damit das integrierte Sensorsignal (Spannung U).
- Damit lässt sich ein 3D-Abstandsbild aus einfachen Intensitätsvergleichsmessungen mit Extremwertbestimmung unter Einsatz sehr niederer Lichtleistungen erzeugen. Die Kontroll- und Verarbeitungseinheit speichert für eine Reihe von unterschiedlichen Triggerverzögerungen n × ΔT_V (Laufindex i = 0 bis n) die zugehörigen Sensorsignale U(T₀, T_V) des gesamten CMOS Fotosensors ab und ermittelt anschließend den Maximalwert U(T₀, T_V)_Max für jeden einzelnen Bildpunkt. Aus der zugehörigen Triggerverzögerung T_V lässt sich die Lichtlaufzeit T₀ = i × ΔT_V, siehe Fig. 2, für diesen Bildpunkt bestimmen und daraus der Abstand d des korrespondierenden Objektpunktes d = c T₀/2 (c-Lichtgeschwindigkeit)
- Im allgemeinen wird die Lichtlaufzeit T₀ nicht exakt gleich der in Inkrementen eingestellten Triggerverzögerung i × ΔT_V sein, sondern einen Zwischenwert besitzen, wie in Fig. 3 gezeigt. Es ist daher vorgesehen, für die Maximalwertbestimmung Interpolationsverfahren einzusetzen. Für ideale Pulsformen sind lineare Verfahren hinreichend. Unter realen Bedingungen ist es aber vorteilhaft, aufwendige Interpolationsverfahren auf der Basis quadratischer Polynome oder Splin-Funktionen einzusetzen. Das Ergebnis für die Lichtlaufzeit T₀ lässt sich dabei nicht nur aus dem Maximalwert sondern gegebenenfalls auch aus anderen Formkriterien, Schnittpunkten, etc. . . der Interpolationskurve ermitteln. Da bei der Messung von Lichtimpulsen 3 mit unterschiedlichen Laufzeiten T₀ die Interpolationskurven der Signalwerte nur in ihrer Lage bezüglich der eingestellten Triggerverzögerungen T_V verschoben werden, ist auch ein Auswertung durch Vergleich mit einer gespeicherten Referenzkurve durchführbar, die zuvor bei einem bekannten Abstandswert d aufgenommen wurde. Damit lässt sich mit Interpolations- und Referenz-Vergleichsverfahren das Ergebnis der Abstandsbestimmung in seiner Genauigkeit verbessern und die Anzahl der einzustellenden Triggerverzögerungen für eine gewünschte Entfernungsauflösung reduzieren.
- Für eine elektronische Triggerverzögerung können vorteilhaft programmierbare Verzögerungsleitungen (Programmable Delay Lines) in CMOS Technologie eingesetzt werden. Erhältlich sind beispielsweise Verzögerungselemente mit standardmäßig 0,25 ns Inkrement und 256 programmierbaren Einstellungen. In künftigen Entwicklungen sind Inkremente mit 0,1 ns denkbar. Damit werden Entfernungsauflösungen von 1,5 cm möglich, die durch Interpolation noch auf 0,5 cm verbessert werden können.
- Die in Fig. 1 dargestellte Kontroll- und Verarbeitungseinheit kann teilweise- oder vollständig innerhalb der elektronischen Ansteuerungseinheiten des CMOS Sensor integriert werden.
- Entfernungsbilder mit etwa tausend Bildpunkten sind für eine Raum- und Sicherheitsüberwachung in den meisten Fällen schon ausreichend. Möchte man für einen Entfernungs- Messbereich von 10 m Entfernungsbilder mit 0,5% Auflösung (5 cm) erzeugen, so werden mit Interpolation etwa 100 Bildaufnahmen mit Verzögerungsinkrementen von ΔT_V = 0,6 ns erforderlich. Dies führt unter Annahme einer Bildpunktdatenrate des CMOS Sensors von 5 MHz zu einer Messzeit von 1000 × 0,2 µs × 100 = 20 ms für die Erfassung des gesamten 3D Abstandsbildes ( ∼ 50 3D-Bilder/s).
- Bei der Messung mit einer momentan eingestellten Triggerverzögerung T_V können zusätzlich noch mehrere Lichtimpulse analog am Chip aufaddiert werden, wodurch eine weitere Verbesserung des Signal/Rauschverhältnisses erzielt wird und eine adaptive Einstellung der Mehrfachbelichtung entsprechend Objektreflektivität ausgeführt werden kann.

Claims

1. Verfahren zur Aufnahme eines dreidimensionalen Abstandsbildes eines Objektes anhand von Lichtlaufzeitmessungen, für die Lichtimpulse (1) von einer Lichtquelle auf eine Objektoberfläche gesendet und zurückreflektierte Lichtimpulse (3) mittels eines Fotodetektors mit Kurzzeitintegration empfangen werden, sowie der Objektpunktabstand jeweils aus der Lichtlaufzeit (T₀) von Lichtimpulsen berechnet wird,
wobei das zum Start eines sendeseitigen Lichtimpulses (1) erzeugte Triggersignal zugleich empfangsseitig zum Öffnen eines Integrationsfensters (2) zum Empfang zurückreflektierter Lichtimpulse (3) verwendet wird, das Triggersignal empfangsseitig eine mit jedem Lichtimpuls stufenweise ansteigende Triggerverzögerung (T_V) aufweist, für jeden der seriellen Lichtimpulse (1; 3) eine integrierte Spannung (U) für jeden Bildpunkt gespeichert wird und ein jeweiliger Abstand (d) eines Objektpunktes aus dem Maximalwert der integrierten Spannung (U) errechnet wird, wobei die Triggerverzögerung (T_V) annähernd gleich der Lichtlaufzeit (T₀) ist.

2. Verfahren nach Anspruch 1, wobei zur Beleuchtung das Licht eines Lasers oder einer Laserdiode verwendet wird.

3. Verfahren nach einem der vorhergehenden Ansprüche, wobei für den ersten empfangsseitigen Lichtimpuls (3) einer Bildaufnahme die Triggerverzögerung gleich Null ist.

4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zeitliche Länge eines Integrationsfensters (2) konstant ist.

5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zeitliche Länge eines Integrationsfensters (2) gleich der Dauer eines Lichtimpulses (1; 3) ist.

6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Triggerverzögerung inkrementenweise weniger als 0,25 Nanosekunden beträgt.

7. Verfahren nach einem der vorhergehenden Ansprüche, wobei zur Maximalwertbestimmung der Spannung (U) Interpolationsverfahren eingesetzt werden.

8. Verfahren nach Anspruch 8, wobei Interpolationsverfahren auf der Basis von quadratischen Polynomen oder Splin- Funktionen eingesetzt werden.

9. Verfahren nach einem der vorhergehenden Ansprüche, wobei zur Auswertung von Spannungswerten ein Vergleich mit einer vorab gespeicherten Referenzkurve mit bekanntem Abstand (d) durchgeführt wird.

10. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Triggerverzögerung (T_V) durch Verwendung von programmierbaren Verzögerungsleitungen geschieht.

11. Vorrichtung zur Durchführung eines Verfahrens entsprechend einem der Ansprüche 1-10, bestehend aus:
einer Lichtimpulsbeleuchtung mit einer einzigen Lichtquelle zur Beleuchtung einer Objektoberfläche,
einem CMOS-Sensor mit einer Vielzahl von Sensorpunkten als Fotodetektor mit pixelweiser Kurzzeitintegration,
einer Kontroll- und Verarbeitungseinheit, die zumindest die sendeseitige und empfangsseitige Triggerung steuert und die Berechnung der Abstandswerte aus den Spannungssignalen (U) durchführt,
einer Verzögerungsleitung zwischen der Kontroll- und Verarbeitungseinheit und dem CMOS-Empfangssensor zur Bereitstellung einer Triggerverzögerung und
jeweiligen Triggerzuleitungen zu der Lichtimpulsbeleuchtung und zu dem CMOS-Empfangssensor.

12. Vorrichtung nach Anspruch 11, bei der die Kontroll- und Verarbeitungseinheit zumindest teilweise in der elektronischen Einheit des CMOS-Empfangssensor integriert ist.