DE112008003342T5

DE112008003342T5 - Aufzeichnung von 3D-Bildern einer Szene

Info

Publication number: DE112008003342T5
Application number: DE112008003342T
Authority: DE
Inventors: Bruno Mirbach; Franco Marta Castillo; Thomas Solignac; Frederic Grandidier
Original assignee: IEE International Electronics and Engineering SA
Current assignee: IEE International Electronics and Engineering SA
Priority date: 2007-12-18
Filing date: 2008-12-09
Publication date: 2011-01-13
Anticipated expiration: 2028-12-10
Also published as: US20110018967A1; US8723924B2; WO2009077378A1; DE112008003342B4; EP2073035A1; JP2011507429A

Abstract

Verfahren zur Aufzeichnung von 3D-Bildern einer Szene auf Basis des Laufzeitprinzips, Folgendes umfassend:
Beleuchten einer Szene durch Ausstrahlen von Licht, das eine Intensitätsmodulation trägt;
Abbilden der Szene auf einer Pixelanordnung unter Verwendung eines optischen Systems;
Detektieren, in jedem Pixel, von intensitätsmoduliertem Licht, das von der Szene auf das Pixel reflektiert wird;
Bestimmen, für jedes Pixel, eines Entfernungswerts auf Basis der Phase des im Pixel detektierten Lichts;
dadurch gekennzeichnet, dass die Bestimmung der Entfernungswerte eine phasenempfindliche Entfaltung der auf der Pixelanordnung abgebildeten Szene derart umfasst, dass Phasenfehler kompensiert werden, die durch Lichtspreizung im optischen System hervorgerufen sind.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft allgemein ein Verfahren zur Aufzeichnung von 3D-Bildern einer Szene auf Basis des Prinzips der Laufzeitmessung sowie einen für die Durchführung des Verfahrens konfigurierten 3D-Bildgeber.
Technischer Hintergrund
Das Prinzip der Laufzeitmessung ist im Gebiet der 3D-Bildgebung weithin bekannt. Es sind 3D-Kameras (auch als „Entfernungsbildkameras” bezeichnet) bekannt, die Entfernungsbilder in Echtzeit auf Basis des Laufzeitprinzips (TOF-Prinzip; Time-of-Flight-Prinzip) erfassen. Eine solche Kamera umfasst generell eine Lichtquelle, die sinusförmig moduliertes Licht in die in 3D abzubildende Szene ausstrahlt, und eine Pixelanordnung, auf welcher die Szene durch ein optisches System abgebildet wird. Die Kamera ordnet dann das in den Pixeln detektierte Licht dem ausgestrahlten Licht zu und bestimmt für jedes Pixel die Phasendifferenz zwischen ausgestrahltem und aufgefangenem Licht. Diese Phasendifferenz ist proportional zum Radialabstand zwischen der Kamera und demjenigen Teil der Szene, der auf dem betreffenden Pixel abgebildet wird. Da die Demodulation bei allen Pixeln der Pixelanordnung synchron durchgeführt wird, stellt die Kamera eine Anordnung von Entfernungswerten bereit, die jeweils einem bestimmten Pixel und somit einem bestimmten Teil der Szene zugeordnet sind. Im Folgenden wird ferner der Begriff „Phase” statt „Phasendifferenz” verwendet; es versteht sich, dass die Phase des ausgestrahlten Lichts oder ein Taktsignal, das zum Modulieren des ausgestrahlten Lichts verwendet oder aus der Modulation des ausgestrahlten Lichts abgeleitet wird, anschließend als Bezugsphase dient. Es ist ferner anzumerken, dass die hierin benutzten Begriffe „Phase” und „Phasendifferenz” sich immer auf die Phase der Modulation und nicht auf die Phase der Trägerwelle beziehen, die moduliert wird.
Das Demodulationsverfahren, das zur Bestimmung der Phase des auf die Pixel auftreffenden Lichts führt, kann auf verschiedene Arten durchgeführt werden. EP 0 792 555 offenbart eine 3D-Kamera mit einer ein- oder zweidimensionalen Pixelanordnung, wobei jedes Pixel davon einen lichtempfindlichen Teil, in welchem Ladungsträger als Reaktion auf das darauf auftreffende Licht erzeugt werden, und einen lichtunempfindlichen Teil mit mehreren elektrischen Schaltern und Speicherzellen umfasst, die einem jeweiligen dieser Schalter zugeordnet sind. Die Ladungen, die in den lichtempfindlichen Teil integriert sind, werden durch sequentielle Ansteuerung der elektrischen Schalter zu den Speicherzellen übertragen. Die elektrischen Schalter werden in einer solchen Weise gesteuert, dass die zu einer bestimmten Speicherzelle übertragenen Ladungen zu einem oder mehreren Zeitintervallen bei einer bekannten Phase des ausgestrahlten Lichts gehören. Die in den verschiedenen Speicherzellen akkumulierten Ladungen werden dann dazu verwendet, die Phase des auf das Pixel aufgetroffenen Lichts, dessen Amplitude sowie einen Hintergrundlichtpegel zu bestimmen. Weitere Details über dieses Messprinzip finden sich in dem Dokument „The Lock-In CCD-Two-dimensional Synchronous Detection of Light" von Spring et al. in IEEE Journal of Quantum Electronics 31 (1995), S. 1705–1708. Eine Verbesserung dieses Demodulationsverfahrens wird in EP 1 659 418 beschrieben.
Das US-Patent 6,825,455 offenbart einen anderen Weg zum Demodulieren des detektierten Lichts. In diesem Dokument umfasst der lichtempfindliche Teil jedes Pixels mindestens zwei Modulationsphotogates; der lichtunempfindliche Bereich umfasst Akkumulationsgates, von denen jedes einem jeweiligen Modulationsphotogate zugeordnet ist. Während eines ersten Belichtungsintervalls werden Ladungsträger, die im lichtempfindlichen Teil des Pixels als Reaktion auf das darauf auftreffende Licht erzeugt werden, einem ersten Spannungsgefälle ausgesetzt, das bei der Frequenz der Modulation des ausgestrahlten Lichts moduliert wird, und dadurch dazu veranlasst, in ein erstes Akkumulationsgate zu wandern, wenn die Spannung eine erste Polarität hat, und in ein zweites Akkumulationsgate zu wandern, wenn die Spannung die entgegengesetzte Polarität hat. Dann werden die so im ersten bzw. zweiten Modulationsgate akkumulierten Ladungen q_a und q_b ermittelt. Während eines zweiten Belichtungsintervalls werden die im lichtempfindlichen Teil des Pixels erzeugten Ladungsträger einem zweiten Spannungsgefälle ausgesetzt, das bei der gleichen Frequenz moduliert wird, aber um eine bekannte Phase gegenüber dem ersten Spannungsgefälle verschoben ist. Die Ladungsträger werden wieder dazu veranlasst, entsprechend der Polarität der angelegten Spannung in zwei verschiedene Akkumulationsgates zu wandern, wodurch die akkumulierten Ladungen q_c und q_d entstehen. Die Phase des auf das Pixel auftreffenden Lichts wird mit den Werten der akkumulierten Ladungen ermittelt. Falls die Phasendifferenz zwischen den Spannungsgefällen 90° beträgt, kann man die Phase des Lichts als φ = arctan[(q_c – q_d)/(q_a – q_b)] bestimmen. Die vorstehend zitierten Dokumente werden hiermit in ihrer Gesamtheit einbezogen.
Technisches Problem
Zum Zwecke der Verständlichkeit der Erfindung wird kurz an das mathematische Konzept der Messung nach dem Laufzeitprinzip bei einer mit kontinuierlich moduliertem Licht arbeitenden 3D-Kamera erinnert.
Eine Beleuchtungseinheit der Kamera strahlt eine kontinuierlich modulierte Lichtintensität aus, die man durch folgende Formel beschreiben kann: S(t) = S₀·(1 + sin(ωt)) (1) wobei S₀ die mittlere Lichtintensität ist und ω durch die Modulationsfrequenz f angegeben wird, d. h. ω = 2πf. Die Szene wird somit kontinuierlich mit einer Lichtleistungsdichte P beleuchtet, die von der Beleuchtungsstärke S, der räumlichen Verteilung des Lichts und dem Abstand zwischen Szene und Kamera abhängt. Ein Teil der Lichtleistung, der durch einen Remissionskoeffizienten ρ angegeben wird, wird anschließend von den Objekten der Szene remittiert. Der hierin verwendete Begriff „Remission” bezeichnet die Reflektion oder Streuung von Licht durch ein Material. Die Bildgeberoptik bildet das remittierte Licht, das durch das optische System (das z. B. eine oder mehrere Linsen und/oder Prismen und/oder Filter usw. umfasst) durchgeht, auf der Pixelanordnung der Kamera ab. Geht man von einem idealen optischen System aus, hat die aufgefangene Lichtintensität I(x, t), die in der Zeit t an der Pixelposition x = (u, v) der Pixelanordnung ankommt, demnach die folgenden Eigenschaften:
Die Lichtintensität I(x, t) wird in der Zeit mit der gleichen Frequenz moduliert wie das ausgestrahlte Licht, wobei jedoch die Phase um einen Wert φ verzögert ist, der proportional zu dem Abstand r zwischen der Kamera und dem Teil der Szene ist, der auf dem Punkt x = (u, v) auf dem Bildgeber abgebildet wird. Mathematisch wird die aufgefangene Lichtintensität daher durch folgende Formeln angegeben: I(x, t) = B(x) + A(x)sin(ωt – φ(x)) (2) und φ(x) = 2r(x)f/c (3) wobei c die Lichtgeschwindigkeit bedeutet, A die Amplitude der Modulation des aufgefangenen Lichts und B (> A) die konstante Verschiebung des modulierten Lichts und des Hintergrundlichts bedeuten, das von anderen Lichtquellen stammt, die die Szene beleuchten (z. B. die Sonne). Es wird hier vorausgesetzt, dass A, B und φ sich höchstens langsam verändern, so dass man sie als Konstante im Zeitrahmen der Modulation betrachten kann.
Die Amplitude A ist somit zu Folgendem proportional: der Leistungsdichte P bei dem Teil der Szene, der vom optischen System auf dem entsprechenden Pixel abgebildet wird; dem Remissionskoeffizienten ρ dieses Teils der Szene; und Parametern des optischen Systems, die nicht von der Lichtleistung abhängen, wie beispielsweise die F-Zahl des Objektivs.
Ein ideales optisches System bildet einen Punkt der Szene auf einem Punkt in der Bildebene ab. In der Praxis wird allerdings das von einem Punkt der Szene stammende Licht auf einem Bereich rings um den theoretischen Bildpunkt gespreizt. Verschiedene physikalische Mechanismen können eine solche Spreizung des Bildpunkts hervorrufen. Eine Defokussierung des Objektivs verursacht einen örtlich begrenzten Spreizbereich, der ein Bild unscharf erscheinen lässt. Die Beziehung zwischen Schärfe, Defokussierung und Spreizbereich wird durch den Begriff der Schärfentiefe beschrieben. Andere Mechanismen, die zu einer Punktspreizung führen, sind die Lichtbeugung (im Falle einer kleinen Blende des Objektivs), mehrfache Lichtstreuung an Oberflächen des optischen Systems oder Licht, das wegen einer Verunreinigung der Oberfläche des optischen Systems gestreut wird. Diese physikalischen Auswirkungen führen beim Bild zu einem Kontrastverlust.
Man kann die Auswirkung der Lichtspreizung einer Punktquelle mathematisch durch die so genannte Punktspreizfunktion (PSF) beschreiben. Wenn x = (u, v) und x' = (u', v') zwei Punkte in der Bildebene definieren, gibt der Wert g(x', x) der PSF-Funktion g die relative Lichtmenge an, die auf dem Punkt x' abgebildet wird, wenn der theoretische Bildpunkt x ist. Infolge des Superpositionsprinzips (das für alle linearen Systeme wie beispielsweise ein optisches Bildgebungssystem gilt) kann die Auswirkung der Lichtspreizung auf einem Bild durch eine Faltung beschrieben werden: I' = g·I (4a) dies bedeutet I'(x) = ∫g(x, x')I(x')dx', (4b) wobei I das Idealbild und I' das tatsächliche, durch Lichtspreizung im optischen System beeinflusste Bild bedeuten. Wenn ein Bild als diskrete Punkte (Pixel) angegeben wird, stellt das Integral eine Summe der Pixel dar.
Zur Rekonstruktion des Idealbilds I aus einem vom optischen System bereitgestellten Bild I' muss die Faltung (4a) oder (4b) umgekehrt werden. Diese Umkehrung wird als „Entfaltung” bezeichnet und wird im Idealfall durch Faltung des Bilds I' mit einer Entfaltungsfunktion g' (welche zumindest annähernd die Bedingung erfüllt, dass dessen Faltung mit g die Dirac-Delta-Funktion ist) durchgeführt. Eine solche Entfaltungsfunktion ist allerdings nicht allgemein bekannt und auch nicht immer eindeutig definiert. Ein Standardansatz für die Entfaltung beruht auf der Transformation des Bilds und der Faltungsfunktion in den Fourier-Raum. Dieser Ansatz ist aber nicht immer anwendbar. Im Gebiet der Bildverarbeitung wurden verschiedene Ansätze für das zumindest teilweise Entfalten eines Bilds entwickelt.
Bei der 2D-Bildgebung kann man die Lichtspreizung unter normalen Bedingungen (bei Umgebungslicht und gut fokussierter Optik) oft vernachlässigen. Die Punktspreizfunktion g(x', x) ist dann nahe an einem Delta-Peak, z. B.: g(x', x) = (1 – ε)δ(x', x) + εf(x', x) (5) wobei f eine auf 1 normierte Funktion und ε die relative Menge des im optischen System gestreuten Lichts sind. Bei einem gut fokussierten und sauberen optischen System ist ε normalerweise klein, z. B. in der Größenordnung 10^–3. Eine für das menschliche Auge sichtbare Unschärfe tritt demzufolge nur dann auf, wenn eine sehr helle Lichtquelle (z. B. die Sonne) in das optische System hineinscheint. In diesem Fall kann man den Anteil des gespreizten Lichts von der hellen Lichtquelle nicht vernachlässigen, da dessen Intensität um mehrere Größenordnungen höher ist als die von einem Objekt der Szene reflektierte Lichtintensität. Wenn das optische System verunreinigt ist (durch Schmutz oder einen Kratzer), ist der Parameter ε größer, so dass dies zu einer für das menschliche Auge sichtbaren Lichtspreizung sogar bei normalen Beleuchtungsbedingungen führen könnte.
Die Erfinder erkannten, dass bei einem Laufzeit-Kamerasystem, das die Szene hell beleuchtet, wegen der aktiven Beleuchtung eine ähnliche Auswirkung eintreten könnte wie bei der durch gestreutes Sonnenlicht bedingten Bildunschärfe. Der Hauptgrund dafür ist, dass die Lichtleistungsdichte P eines Objekts der Szene vor allem von der Entfernung d des Objekts zur Lichtquelle abhängt (P ~ 1/d²). Die Lichtintensität I'(x) an der entsprechenden Pixelposition x ist proportional zu der Lichtleistungsdichte und dem Remissionskoeffizienten ρ, d. h.: I'(x) ~ ρ/d² (6)
Beispielsweise erzeugt ein Objekt mit einem Remissionskoeffizienten von 50% bei 1 m Entfernung einen Intensitätswert, der 1000 mal höher ist als der Intensitätswert, den ein Objekt mit einem Remissionskoeffizienten von 5% bei 10 m Entfernung erzeugt. Wenn demzufolge (5) in das Faltungsintegral (4b) eingesetzt wird, sind die Intensitätsanteile bei den Punkten x ≠ x' nicht mehr vernachlässigbar, selbst wenn der Lichtstreuungsfaktor ε die Größenordnung 10^–3 hat.
Es gilt unbedingt zu erkennen, dass die Phasenmessung und somit die berechnete Entfernungsinformation durch Lichtspreizung verfälscht werden. Dies wird nun detaillierter zuerst für eine Superposition von zwei modulierten Lichtintensitäten und dann für den allgemeinen Fall beschrieben.
Die Superposition von zwei modulierten Lichtintensitäten, die durch die Gleichung (2) ausgedrückt werden kann, ergibt: I'(t) = I₁(t) + I₂(t) = (B₁ + B₂) + A₁sin(ωt – φ₁) + A₂sin(ωt – φ₂) (7a)
I'(t) kann wieder in Form von einer modulierten Lichtintensität ausgedrückt werden, d. h.: I'(t) = B' + A'sin(ωt – φ') (7b) wobei gilt:
mit AS' = A₁sinφ₁ + A₂sinφ₂ =: AS₁ + AS₂AC' = A₁cosφ₁ + A₂cosφ₂ =: AC₁ + AC₂ (9)
Die Formeln (7a) bis (9) zeigen, dass die Superposition von zwei modulierten Intensitäten mit der gleichen Frequenz, aber unterschiedlichen Phasen und Amplituden eine modulierte Intensität ergibt, die wieder die gleiche Frequenz hat, deren Phase aber nicht nur von den Phasen, sondern auch von den Amplituden der einzelnen Intensitäten abhängt, die überlagert werden. Mit anderen Worten: die Lichtspreizung bei einem vorhandenen nicht-idealen optischen System führt zu Fehlern bei den gemessenen Phasenwerten.
Bevor auf den allgemeinen Fall der Superposition von durch Spreizung bedingten modulierten Intensitäten eingegangen wird, ist zu beachten, dass man die Gleichung (9) aus praktischen Gründen in eine komplexe Formel umschreibt:
wobei AC und AS die reale bzw. imaginäre Komponente der komplexen Amplitude Â sind, d. h.: AS' = ImÂ' AC' = ReÂ' (11)
Man kann das Superpositionsprinzip (9) oder (10) für die Amplituden einfach für den Fall verallgemeinern, in dem das optische System die Lichtintensität mit einer Punktspreizfunktion g spreizt. Man verwendet I(t) = B + Asin(ωt – φ) = B – Im(A·e^i(φ-ωt)) = B – Im(Âe^–iωt) (12) und I'(t) = B' + A'sin(ωt – φ') = B' – Im(A'e^i(φ'-ωt)) = B' – Im(Â'e^–iωt) (13) und wenn man dies in die Gleichung (4b) einsetzt, ergibt sich: Â'(x) = ∫g(x, x')Â(x')dx' (14)
Die daraus resultierende Phase φ'(x) und Amplitude A'(x) werden wieder durch die Gleichung (8) angegeben, wobei man den in (11) definierten realen und imaginären Teil von Â'(x) benutzt.
Der Kontrast bei der Phasenmessung wird infolge der nicht vernachlässigbaren Superposition verringert. Dies bedeutet, dass die bei den verschiedenen Pixeln gemessenen Phasen zu der Phase des Pixels mit der stärksten Modulationsamplitude verschoben werden. Die Auswirkung der Phasenverschiebung ist umso stärker, je kleiner die Amplitude des entsprechenden Pixels ist. Daher beeinflusst die durch Lichtspreizung hervorgerufene Phasenverschiebung hauptsächlich die Hintergrundpixel. Die Objekte im Hintergrund der Szene erscheinen folglich näher an der Kamera als sie es tatsächlich sind, insbesondere dann, wenn der Hintergrundteil der Szene einen niedrigen Remissionskoeffizienten aufweist.
Der Gegenstand der vorliegenden Erfindung besteht darin, die Auswirkung der Lichtspreizung auf die Entfernungsmessung zu reduzieren.
Dieser Gegenstand wird durch ein Verfahren nach Anspruch 1 erreicht. Die bevorzugten Ausgestaltungen des Verfahrens werden durch die Unteransprüche angegeben.
Allgemeine Beschreibung der Erfindung
Das Verfahren zur Aufzeichnung von 3D-Bildern einer Szene umfasst die folgenden Schritte:
Beleuchten einer Szene durch Ausstrahlen von Licht, das eine Intensitätsmodulation trägt;
Abbilden der Szene auf einer Pixelanordnung unter Verwendung eines optischen Systems;
Detektieren, in jedem Pixel, von intensitätsmoduliertem Licht, das von der Szene auf das Pixel reflektiert wird; und
Bestimmen, für jedes Pixel, eines Entfernungswerts auf Basis der Phase des im Pixel detektierten Lichts.
Erfindungsgemäß umfasst die Bestimmung der Entfernungswerte eine phasenempfindliche Entfaltung der auf der Pixelanordnung abgebildeten Szene derart, dass Phasenfehler kompensiert werden, die durch Lichtspreizung im optischen System hervorgerufen werden. Wie oben angegeben, ist das Entfalten eine bekannte Maßnahme, um zumindest teilweise die Auswirkung der Lichtspreizung bei einem 2D-Bildgeber zu kompensieren, d. h. bei einem Bildgeber, der keine Information über die Tiefe (bzw. die Entfernung oder den Abstand) bereitstellt. Nach dem Wissen der Erfinder wurde das Problem des Verlusts des Phasenkontrasts bei einem 3D-Bildgeber jedoch noch nicht in der Literatur angesprochen. Das hierin vorgeschlagene Verfahren gestattet die Detektion von genaueren 3D-Bildern. Darüber hinaus ermöglicht das Verfahren die genaue Entfernungsbestimmung bei schwierigeren Beleuchtungsbedingungen.
Eine erste Ausgestaltung des Verfahrens ist insbesondere für einen 3D-Bildgeber geeignet, der für jedes Pixel einen Amplitudenwert und einen Phasenwert (gegebenenfalls auch die konstante Hintergrundintensität, doch dies ist für die weiteren Betrachtungen irrelevant) des auf das Pixel auftreffenden Lichts einschließlich von Streulicht (falls vorhanden) ausgibt. Demnach werden gemäß der ersten Ausgestaltung der Erfindung für jedes Pixel ein Amplitudenwert [A'(x) bei Anwendung der obigen Formel] sowie ein Phasenwert [φ'(x)] des intensitätsmodulierten Lichts bestimmt, das im Pixel detektiert wird. Die phasenempfindliche Entfaltung der auf der Pixelanordnung abgebildeten Szene umfasst Folgendes:
Bilden eines ersten Datenfelds, wobei jedes Feldelement des ersten Datenfelds einem jeweiligen Pixel der Pixelanordnung zugeordnet ist und einen Wert aufweist, der dem für das zugeordnete Pixel bestimmten Amplitudenwert entspricht, der möglicherweise mit einem ersten Phasenfaktor gewichtet ist;
Bilden eines zweiten Datenfelds, wobei jedes Feldelement des zweiten Datenfelds einem jeweiligen Pixel der Pixelanordnung zugeordnet ist und einen Wert aufweist, der dem für das zugeordnete Pixel bestimmten Amplitudenwert entspricht, der mit einem zweiten Phasenfaktor gewichtet ist, wobei der zweite Phasenfaktor von dem für das zugeordnete Pixel bestimmten Phasenwert abhängt;
Entfalten des ersten und zweiten Felds unter Verwendung einer Entfaltungsfunktion des optischen Systems.
Der Entfernungswert wird dann für jedes Pixel auf Basis der Werte der dem Pixel zugeordneten Feldelemente des entfalteten ersten und zweiten Felds berechnet.
Es versteht sich für den Fachmann, dass der erste Phasenfaktor vorzugsweise der Kosinus des für das zugeordnete Pixel bestimmten Phasenwerts ist [d. h. cos(φ'(x))] und dass der zweite Phasenfaktor vorzugsweise der Sinus des für das zugeordnete Pixel bestimmten Phasenwerts ist [d. h. sin(φ'(x))]. Die Elemente des ersten Datenfelds nehmen dann folgende Werte an: AC'(x) = A'(x)·cos(φ'(x)) (15)
Die Elemente des zweiten Datenfelds nehmen folgende Werte an: AS'(x) = A'(x)·sin(φ'(x)). (16)
Alternativ könnten der erste und der zweite Phasenfaktor Annäherungen des Kosinus bzw. Sinus des Phasenwerts sein. Beispielsweise kann man die so genannte kleine Phasenapproximation verwenden. Zuerst wird vorausgesetzt, dass |φ'(x)| << 2π. In diesem Fall kann der erste Phasenfaktor gleich 1 gesetzt werden und die bestimmte Phase φ'(x) selbst als Annäherung des Sinus der Phase dienen. In diesem Fall nehmen die Elemente des ersten Datenfelds dann folgende Werte an: AC'(x) = A'(x) (17)
Die Elemente des zweiten Datenfelds nehmen folgende Werte an: AS'(x) = A'(x)·φ'(x). (18)
In beiden Fällen kann man die Elemente der entfalteten Versionen des ersten und zweiten Datenfelds dann folgendermaßen auswerten: AC(x) = ∫g'(x, x')AC'(x')dx' (19a) und AS(x) = ∫g'(x, x')AC'(x')dx (19b) wobei g' die Entfaltungsfunktion des optischen Systems ist. Man kann g' als Matrix angeben, wenn das Integral eine Summe aller Pixel der Pixelanordnung ist. Die Gleichungen (19a) und (19b) können wie folgt zusammengefasst werden: Â(x) = ∫g'(x, x')Â'(x')dx'. (20)
Der entsprechende Entfernungswert kann für jedes Pixel durch Auswerten einer korrigierten Phase berechnet werden als
oder, wenn man die kleine Phasenapproximation anwendet, als
Es ist anzumerken, dass die kleine Phasenapproximation auch verwendet werden kann, wenn die Phasen der verschiedenen Pixel φ'(x) nicht zwangsläufig der Bedingung |φ'(x)| << 2π genügen, aber innerhalb eines relativ nahen Bereichs liegen. Man kann dann φ'(x) = φ₀' + δφ'(x) mit |δφ'(x)| << 2π schreiben, wobei φ₀' eine allen Pixeln der Anordnung gemeinsame Verschiebung ist, z. B. der Mittelwert der gemessenen Phasenwerte φ'(x) oder eine vorher bestimmte Konstante. Man kann in diesem Fall δφ'(x) statt φ'(x) in den Gleichungen (17) und (18) verwenden. Die Entfaltung des ersten und zweiten Datenfelds wird durch die Gleichungen (19a) und (19b) erreicht. Man findet die korrigierte Phase φ(x) mit δφ(x) = AS(x)/AC(x) und φ(x) = δφ(x) + φ₀. Der Fachmann bemerkt, dass die Subtraktion und die spätere Addition von φ₀ einer Änderung der Bezugsphase entsprechen, welche beliebig ausgewählt werden kann; es wird demnach im Folgenden vorausgesetzt, dass die Bezugsphase derart ausgewählt wird, dass φ₀ = 0 ist [also φ'(x) = δφ'(x)], wenn die kleine Phasenapproximation angewendet wird.
Wenn die Entfernung in anderen Einheiten als Phaseneinheiten ausgedrückt werden soll, kann man dies mit der Gleichung (3) durchführen.
Gemäß einer zweiten bevorzugten Ausgestaltung des Verfahrens umfasst die Detektion des von der Szene reflektierten intensitätsmodulierten Lichts für jedes Pixel das Bestimmen von Intensitätswerten des intensitätsmodulierten Lichts, das bei verschiedenen Phasen der Modulation auf das Pixel auftrift, wobei die verschiedenen Phasen derart ausgewählt werden, dass die Amplitude und die Phase des auf das Pixel auftreffenden intensitätsmodulierten Lichts von der Menge von Intensitätswerten ableitbar sind, wobei man eine bekannte Beziehung verwendet. Es versteht sich jedoch für den Fachmann, dass es in der zweiten Ausgestaltung nicht erforderlich ist, dass die unkorrigierten Amplituden- und Phasenwerte tatsächlich unter Verwendung der bekannten Beziehung berechnet wurden. In diesem Fall umfasst die phasenempfindliche Entfaltung der Szene Folgendes:
Bilden von Datenfeldern, wobei jedes Feldelement der Datenfelder einem jeweiligen Pixel der Pixelanordnung zugeordnet ist und einen Wert aufweist, der entweder dem bei einer der Phasen der Modulation bestimmten Intensitätswert des zugeordneten Pixels oder einer linearen Kombination von mindestens zwei bei verschiedenen Phasen der Modulation bestimmten Intensitätswerten des zugeordneten Pixels entspricht;
Entfalten der Datenfelder unter Verwendung einer Entfaltungsfunktion des optischen Systems.
Der Entfernungswert wird dann für jedes Pixel auf Basis der Werte der dem Pixel zugeordneten Feldelemente der entfalteten Datenfelder berechnet, beispielsweise indem man die korrigierte Phase aus den Werten der Feldelemente der entfalteten Datenfelder bestimmt, die dem Pixel zugeordnet sind.
Bei jedem Pixel kann die tatsächlich ermittelte Lichtintensität I'(x) mathematisch nach der Gleichung (7b) oder (13) mit den a priori unbekannten Parametern A'(x), B'(x) und φ'(x) als Funktion der Zeit ausgedrückt werden. Um nun eine Bestimmung dieser Parameter zu ermöglichen, sind die Intensitätswerte jedes Pixels folglich bei mindestens drei verschiedenen Phasen der Modulation zu ermitteln, wie es detailliert in dem oben zitierten Dokument von Spirig oder gemäß dem Ansatz von US-Patent 6,825,455 (wo die Ladungen q_a, q_b, q_c und q_d den Intensitätswerten bei verschiedenen Phasen entsprechen) erklärt wird.
Die mindestens drei Phasen der Modulation sind vorzugsweise gleichmäßig voneinander beabstandet. Am meisten bevorzugt werden die Intensitätswerte bei vier Phasen der Modulation bestimmt, wobei diese vier Phasen der Modulation um 90° voneinander beabstandet sind. Im letzteren Fall können die vier Datenfelder als Elemente folgende Intensitätswerte haben: I₀'(x), der der 0°-Phase der Modulation zugeordnet ist; I₁'(x), der der 90°-Phase der Modulation zugeordnet ist; I₂'(x), der der 180°-Phase der Modulation zugeordnet ist; und I₃'(x), der der 270°-Phase der Modulation zugeordnet ist.
Diese Datenfelder werden dann mit der Entfaltungsfunktion des optischen Systems entfaltet, wobei sich die entfalteten Datenfelder mit folgenden Elementen ergeben: I_k(x) = ∫g'(x, x')I_k'(x')dx' (23) wobei k = 0, 1, 2 bzw. 3. Die korrigierte Phase kann dann für jedes Pixel auf Basis der korrigierten Intensitätswerte I₀(x), I₁(x), I₂(x) und I₃(x) berechnet werden, indem man AS(x) = A(x)·sin(φ(x)) = 1 / 2 (I₂(x) – I₀(x)) AC(x) = A(x)·cos(φ(x)) = 1 / 2 (I₁(x) – I₃(x)) (24) und die Gleichung (21) verwendet.
Anstelle des Entfaltens von Datenfeldern, deren Feldelemente jeweils der spezifischen Phase der Modulation zugeordnet sind und einen Wert aufweisen, der dem bei einer der Phasen der Modulation wie in der Gleichung (23) bestimmten Intensitätswert des zugeordneten Pixels entspricht, kann man alternativ Datenfelder entfalten, die als Feldelemente lineare Kombinationen von mindestens zwei Intensitätswerten des zugeordneten Pixels bei verschiedenen Phasen der Modulation aufweisen, beispielsweise AS'(x) = (I₂'(x) – I₀'(x))/2 sowie AC'(x) = (I₁'(x) – I₃'(x))/2. Die Entfaltung kann in diesem Fall dadurch bewirkt werden, dass man AS und AC nach den Gleichungen (19a) und (19b) berechnet.
Gemäß einem vorteilhaften Aspekt der Erfindung wird ein Verunreinigungsgrad des optischen Systems ausgewertet und die phasenempfindliche Entfaltung auf den Verunreinigungsgrad eingestellt. Die Auswertung des Verunreinigungsgrads wird vorzugsweise so durchgeführt, wie es in der europäischen Patentanmeldung 07 110 379.0 erklärt wird.
Ein anderer Aspekt der Erfindung betrifft einen 3D-Bildgeber, der für die Durchführung des oben beschriebenen Verfahrens konfiguriert ist. Ein solcher 3D-Bildgeber (z. B. eine 3D-Kamera) kann Folgendes umfassen: eine Lichtquelle zum Beleuchten einer Szene durch Ausstrahlen von Licht, das eine Intensitätsmodulation trägt; ein optisches System; eine Pixelanordnung, die für die Detektion von intensitätsmoduliertem Licht konfiguriert ist, welches von der Szene reflektiert und auf der Pixelanordnung abgebildet wird; und eine Steuer- und Auswerteschaltung, die für jedes Pixel für das Bestimmen eines Entfernungswerts auf Basis der Phase des im Pixel detektierten Lichts konfiguriert ist. Die Steuer- und Auswerteschaltung umfasst ein Mittel – z. B. eine anwendungsspezifische integrierte Schaltung (ASIC), eine feldprogrammierbare Anordnung von Logik-Gattern (FPGA) und/oder einen Mikroprozessor – zur Durchführung einer phasenempfindlichen Entfaltung der auf der Pixelanordnung abgebildeten Szene derart, dass Phasenfehler kompensiert werden, die durch Lichtspreizung im optischen System hervorgerufen sind.
Kurze Beschreibung der Zeichnungen
Weitere Einzelheiten und Vorteile der vorliegenden Erfindung gehen aus der folgenden detaillierten Beschreibung mehrerer nicht einschränkender Ausgestaltungen anhand der beigefügten Zeichnungen hervor. Es zeigen:
1: eine schematische Darstellung einer 3D-Kamera, die nach dem Laufzeitprinzip arbeitet;
2: eine Darstellung davon, wie die Parameter der Intensitätswellenform bei vorhandener Lichtspreizung beeinflusst werden;
3: ein Flussdiagramm des Verfahrens gemäß der ersten Ausgestaltung der Erfindung;
4: ein Flussdiagramm des Verfahrens gemäß der zweiten Ausgestaltung der Erfindung.
Beschreibung bevorzugter Ausgestaltungen
1 zeigt eine 3D-Kamera, die allgemein durch das Bezugszeichen 10 gekennzeichnet ist. Die 3D-Kamera 10 umfasst eine Beleuchtungseinheit 12 für die Ausstrahlung von sinusförmig moduliertem Licht in eine Szene, eine zweidimensionale Pixelanordnung 14 und ein optisches System 16 (hier durch eine Linse dargestellt), das die Szene auf der Pixelanordnung 14 abbildet. Die Pixelanordnung 14 kann als elektronischer Kamerachip mit irgendeiner geeigneten Technologie wie beispielsweise CCD, CMOS und/oder TFA ausgeführt sein. Die Pixelanordnung umfasst einzelne Lock-in-Pixel-Sensorzellen 18 (hierin einfach als „Pixel” bezeichnet), auf denen jeweils ein kleiner Teil der Szene abgebildet wird.
Die Beleuchtungseinheit 12 kann eine oder mehrere einzelne Leuchtvorrichtungen wie beispielsweise Licht emittierende Dioden (LEDs) umfassen, welche zusammen von einem Beleuchtungstreiber 20 angesteuert werden. Eine Taktsignalquelle 22 (z. B. ein numerisch gesteuerter Oszillator) stellt die Eingangssignale für den Beleuchtungstreiber 20 sowie für den Photogate-Treiber 24 bereit, welcher die Pixelanordnung 14 steuert. Eine an die Pixelanordnung 14 angeschlossene Auswerteschaltung 26 [z. B. eine ASIC, eine FPGA oder ein digitaler Signalprozessor (DSP)] bestimmt bei Betrieb der 3D-Kamera die Entfernungsinformation auf Basis der in den Pixeln erzeugten Ladungen.
Die Signalquelle 22 erzeugt bei Betrieb der 3D-Kamera 10 ein Modulationssignal an ihrem Ausgang und leitet dieses Modulationssignal zum Beleuchtungstreiber 20. Letzterer steuert die Beleuchtungseinheit 12 mit einem Ansteuersignal an, wodurch die Beleuchtungseinheit dazu veranlasst wird, Licht in die Szene auszustrahlen (durch die gestrichelten/gepunkteten Linien 13 dargestellt), das eine sinusförmige Intensitätsmodulation trägt. Die Szene ist zum Zwecke der Veranschaulichung hier derart dargestellt, dass sie ein Vordergrundobjekt 28 und ein Hintergrundobjekt 30 umfasst. Es ist anzumerken, dass die Zeichnung nicht maßstabsgerecht ist und dass die Entfernung zwischen der Kamera 10 und den Objekten 28, 30 der Szene vorzugsweise wesentlich größer ist als die Entfernung zwischen der Beleuchtungseinheit 12 und dem optischen System 16 (welche vorzugsweise in ein einziges Gehäuse integriert sind). Das modulierte Licht wird von den Objekten 28, 30 remittiert (reflektiert oder gestreut) und ein Bruchteil des remittierten Lichts wird von der Pixelanordnung 14 aufgefangen. Die Signalquelle 22 leitet auch das Modulationssignal zum Photogate-Treiber 24, welcher die einzelnen Pixel 18 derart steuert, dass sie beispielsweise wie hier vorstehend unter Bezugnahme auf EP 0 792 555 oder US 6,825,455 beschrieben arbeiten.
Im Folgenden wird vorausgesetzt, dass die Pixelanordnung 14 und der Photogate-Treiber 24 derart konfiguriert sind, dass sie nach den Prinzipien des vorstehenden Dokuments arbeiten. In diesem Fall umfasst jedes Pixel 18 einen lichtempfindlichen Teil, in welchem Ladungsträger als Reaktion auf das von der Szene remittierte und auf sie auftreffende Licht erzeugt werden, und einen lichtunempfindlichen Teil mit mehreren elektrischen Schaltern und Speicherzellen, die einem jeweiligen dieser Schalter zugeordnet sind. Die folgenden Betrachtungen dieses Absatzes beziehen sich auf ein einzelnes Pixel. Die Ladungen, die im lichtempfindlichen Teil integriert sind, werden durch sequentielle Ansteuerung der elektrischen Schalter unter der Steuerung des Photogate-Treibers 24 zu den Speicherzellen übertragen. Die elektrischen Schalter werden derart gesteuert, dass die zu einer bestimmten Speicherzelle übertragenen Ladungen zu einem oder mehreren Zeitintervallen bei einer bekannten Phase des ausgestrahlten Lichts gehören. 2 veranschaulicht, wie diese Integrationsintervalle in einem Modulationszeitraum verteilt sein können. Die auf das Pixel auftreffende Lichtintensität I'(x, t) ist durch die gestrichelte Kurve 32 dargestellt. Man kann sie mathematisch durch die Gleichung (7b) oder (13) ausdrücken, wobei die Parameter A'(x), B'(x) und φ'(x) am Anfang nicht bekannt sind. Die im lichtempfindlichen Teil des Pixels während eines ersten Zeitintervalls T₁ erzeugten Ladungsträger werden zu einer ersten Speicherzelle übertragen, indem der entsprechende elektrische Schalter zu einem bestimmten Zeitpunkt geschlossen wird. Nach dieser Übertragung wird der erste elektrische Schalter wieder geöffnet; nachdem ein bestimmtes Zeitintervall verstrichen ist, werden die während eines zweiten Zeitintervalls T₂ erzeugten Ladungsträger zu der zweiten Speicherzelle übertragen, indem der zweite elektrische Schalter zu einem bestimmten Zeitpunkt geschlossen wird. Das gleiche Verfahren wird für die Zeitintervalle T₃ und T₄ wiederholt. Es ist möglich, das Verfahren über mehrere Zeiträume der Modulation zu verlängern. Die in den verschiedenen Speicherzellen akkumulierten Ladungen entsprechen demzufolge den Intensitätswerten des modulierten Lichts bei verschiedenen Phasen der Modulation und können zur Bestimmung der Parameter A'(x), B'(x) und φ'(x) des Lichts verwendet werden, das auf das Pixel aufgetroffen ist. In Bezug auf den Zeitrahmen der Modulation verändern sich A'(x), B'(x) und φ'(x) [und somit auch die korrigierten Parameter A(x), B(x) und φ(x)] langsam. Ein typischer Modulationszeitraum dauert beispielsweise 50 ns, was einer 20-MHz-Modulation oder einer Kamaraentfernung von 7,5 m entspricht. Bei Anwendungen wie beispielsweise der Erkennung der Belegung eines Fahrzeugsitzes können die obigen Parameter als praktisch konstant für mehrere Modulationszeiträume angesehen werden.
Eines oder mehrere der Pixel 18 (z. B. eine ganze Reihe) der Pixelanordnung werden als Bezugspixel 19 benutzt. Das von der Beleuchtungseinheit 12 ausgestrahlte Licht wird mittels eines Lichtwellenleiters 15 bekannter Länge (z. B. eine Lichtleitfaser oder ein Bündel von Lichtleitfasern) auf die Bezugspixel 19 geführt. Die aus dem Bezugspixel abgerufenen Intensitätswerte geben eine Bezugsphase an, die eine bekannte Verschiebung bezogen auf die Phase des modulierten Lichts bei der Ausstrahlung durch die Beleuchtungseinheit 12 aufweist. Die Bezugspixel 19 werden in geeigneter Weise vor dem von der Szene remittierten Licht geschützt, um eine Verzerrung der Bezugsphase zu vermeiden.
Wie in 1 dargestellt, wird das von Punkt X₁ in der Szene stammende Licht über einen Bereich rings um den theoretischen Bildpunkt gespreizt. Das rings um den theoretischen Bildpunkt von X₁ gespreizte Licht ist durch den gestrichelten Kreis 34 gekennzeichnet. Demnach trifft ein Teil des Lichts, das im Idealfall auf das dem theoretischen Bildpunkt von X₁ entsprechende Pixel 36 auftreffen sollte, tatsächlich auf verschiedene Pixel 18 der Pixelanordnung 14 auf, beispielsweise auf das Pixel 38, das am theoretischen Bildpunkt des Punkts X₂ der Szene angeordnet ist. Die Intensitätswerte I₀', I₁', I₂' und I₃' (die sich aus den Ladungen ergeben, die während der verschiedenen Integrationsintervalle T₁, T₂, T₃ und T₄ integriert wurden) unterscheiden sich daher von den idealen Intensitätswerten (die nicht durch Lichtspreizung beeinflusst sind). Die Parameterwerte von A'(x), B'(x) und φ'(x) der Intensitätswellenform I'(x), die aus den Intensitätswerten I₀'(x), I₁'(x), I₂'(x) und I₃'(x) rekonstruiert sind, unterscheiden sich daher von den Idealwerten von A(x), B(x) und φ(x). Dies wird in 2 veranschaulicht, die die Intensitätswellenform 32 zeigt, welche mit den tatsächlich gemessenen Intensitätswerten I₀', I₁', I₂' und I₃' (durch die gestrichelten Kästen 42 dargestellt) und der idealen Intensitätswellenform (gepunktete Kurve 40) mit den entsprechenden idealen Intensitätswerten erhalten werden, die durch die gepunkteten Kästen 44 dargestellt sind. Die Zeitangaben der Zeitachse (Horizontalachse) sind in Einheiten des Modulationszeitraums ausgedrückt, während die Intensitätsangaben der Vertikalachse in selbst ausgewählten Einheiten angezeigt sind. Es ist anzumerken, dass die Wellenformen 32 und 40 sich nicht nur in der Verschiebung und Amplitude, sondern auch in der Phase unterscheiden.
Wenn das Verfahren gemäß der ersten Ausgestaltung der Erfindung mit der 3D-Kamera 10 durchgeführt wird, bestimmt die Auswerteschaltung 26 zuerst für jedes Pixel die Parameter A'(x) und φ'(x). Dies ist in 3 als Schritt S10 dargestellt. Die Auswerteschaltung berechnet zur Ableitung der korrigierten Amplituden A(x) und Phasen φ(x) das erste Datenfeld [AC'(x)] = [AC'(x₁), ..., AC'(x_n)] und das zweite Datenfeld [AS'(x)] = [AS'(x₁), ..., AS'(x_n)], wobei x₁, ..., x_n für diejenigen Pixel der Pixelanordnung stehen, auf welchen ein Teil der Szene tatsächlich abgebildet wird (Schritt S12 in 3). Es ist anzumerken, dass im Zusammenhang mit der Entfaltung die Bezugspixel nicht als Teil der Pixelanordnung betrachtet werden, da auf ihnen kein Teil der Szene abgebildet wird. Es ist ferner anzumerken, dass die interne Darstellung des ersten und zweiten Datenfelds in der Auswerteschaltung 26 sich von der Darstellung unterscheiden kann, die hier zum Zwecke der Veranschaulichung angegeben ist. Die Werte der Feldelemente AC'(x) und AS'(x) können wie zuvor angegeben bestimmt werden, wobei die Gleichungen (15) und (16) oder – im Falle der kleinen Phasenapproximation – (17) und (18) verwendet werden. Die Auswerteschaltung 26 ermittelt anschließend (Schritt S14 in 3) die entfalteten Versionen [AC'(x) und AS'(x)] des ersten bzw. zweiten Datenfelds nach folgenden Gleichungen:
welche den Gleichungen (19a) und (19b) entsprechen, wobei beachtet wird, dass das Integral in diesem Fall eine Summe der Pixel der Pixelanordnung ist. Die Entfaltungsfunktion g' wird vorteilhafterweise in einem Speicher der Auswerteschaltung gespeichert, z. B. in Form einer Matrix [[g'(x, x')]]. Die Auswerteschaltung bestimmt dann (Schritt S16 in 3) für jedes Pixel (jedes außer den Bezugspixeln) die korrigierte Phase φ(x) mit der Gleichung (21) oder (22) – je nachdem, ob die kleine Phasenapproximation angewendet wird oder nicht. Die Entfernungswerte werden schließlich mit den korrigierten Phasen φ(x) und der mittels der Bezugspixel 19 bestimmten Bezugsphase berechnet.
Das Verfahren gemäß der ersten Ausgestaltung ist insbesondere von Nutzen, wenn die 3D-Kamera keinen Zugriff auf die Rohdaten (im obigen Beispiel die Werte I₀', I₁', I₂' und I₃') ermöglicht oder wenn ein solcher Zugriff kompliziert wäre.
Wenn das vorstehend erörterte Verfahren gemäß der zweiten Ausgestaltung der Erfindung mit der 3D-Kamera 10 durchgeführt wird, bildet die Auswerteschaltung 26 die Datenfelder [I_k'(x)] = [I_k'(x₁), ..., I_k'(x_n)], k = 0, ..., 3. Jedes dieser Datenfelder ist somit einer spezifischen Phase der Modulation zugeordnet, wobei jedes Feldelement der Datenfelder einem Pixel der Pixelanordnung zugeordnet ist und einen Wert aufweist, der dem Intensitätswert des zugeordneten Pixels bei der spezifischen Phase der Modulation entspricht. Diese Datenfelder werden dann entfaltet, wobei sich entfaltete Datenfelder mit Feldelementen ergeben, die durch
definiert werden, was der Gleichung (23) entspricht, wobei beachtet wird, dass das Integral in diesem Fall eine Summe der Pixel der Pixelanordnung ist. Alternativ könnte die Auswerteschaltung auch Datenfelder bilden, die aus der linearen Kombination der Datenfelder [I_k'(x)], k = 0, ..., 3 erhalten werden, und anschließend diese linear kombinierten Datenfelder entfalten, beispielsweise wie in der Gleichung (19). In dem Beispiel von 4 werden die in Schritt 20 gebildeten Felder [I_k'(x)] = [I_k'(x₁), ..., I_k'(x_n)], k = 0, ..., 3 derart linear kombiniert, dass sich die Datenfelder [AC'(x)] = [AC'(x₁), ..., AC'(x_n)] und [AS'(x)] = [AS'(x₁), ..., AS'(x_n)] (Schritt 22) ergeben, z. B. indem man die Gleichungen AS'(x) = (I₂'(x) – I₀'(x))/2 und AC'(x) = (I₁'(x) – I₃'(x))/2 verwendet, vorausgesetzt, dass die vier Phasen der Modulation um 90° voneinander beabstandet sind. Die Auswerteschaltung bestimmt dann (Schritt S24 in 4) die entfalteten Versionen [AC(x)] bzw. [AS(x)] der Datenfelder nach den Gleichungen (25) und (26). Die Auswerteschaltung ermittelt anschließend (Schritt S26 in 4) für jedes Pixel die korrigierte Phase φ(x) mittels der Gleichung (21) oder (22) – je nachdem, ob die kleine Phasenapproximation angewendet wird oder nicht.
Wie bei dem vorherigen Beispiel kann die Funktion g' intern in der Auswerteschaltung 26 gespeichert werden, beispielsweise in Form einer Matrix. Die Auswerteschaltung 26 berechnet danach die korrigierten Phasen φ(x) auf Basis der Gleichung (21) oder (22) sowie die Entfernungswerte mittels der korrigierten Phasen φ(x) und der anhand der Bezugspixel 19 bestimmten Bezugsphase.
Es ist anzumerken, dass der Fachmann für optische Bildgebungssysteme weiß, wie eine geeignete Entfaltungsfunktion für ein vorgegebenes optisches System bestimmt wird. Trotzdem wird nun zum Zwecke der Veranschaulichung ein spezifisches Beispiel für eine Punktspreizfunktion und die zugeordnete Entfaltungsfunktion erörtert.
Die vorliegende Korrektur kompensiert den Einfluss des homogenen Teils des Streulichts auf die Amplituden- und Phasenmessung. Die Punktspreizfunktion g_h, die einer solchen homogenen Lichtspreizung rings um den theoretischen Bildpunkt entspricht, ist durch Folgendes gegeben: g_h(x', x) = (1 – ε)δ(x', x) + εE_V(x) (28) wobei E_V eine Funktion bedeutet, welche bei einem Bereich V konstant und anderswo 0 ist:
Die Punktspreizfunktion g_h lässt sich umkehren. Das Ergebnis lautet:
Setzt man die Gleichung (21) in (5) ein, erhält man für die korrigierte komplexe Amplitude folgenden Ausdruck:
wobei <Â'> den Mittelwert der komplexen Amplitude Â' im Bereich V bezeichnet. Dies bedeutet, dass die korrigierte komplexe Phase dadurch erhalten wird, dass ein bestimmter Teil des Mittelwerts der komplexen Amplitude von der gemessenen komplexen Phase subtrahiert wird. Man erhält dann die korrigierte Phase und Amplitude, indem man die Gleichung (20) auf den realen bzw. den imaginären Teil von Â' anwendet. Die Entfaltung des ersten und zweiten Datenfelds kann somit durch Folgendes bewirkt werden:
wobei <AC'> und <AS'> die Mittelwerte von AC'(x) bzw. AS'(x) im Bereich V bedeuten. Die Gleichung (32) drückt aus, dass die Entfaltung im Falle der homogenen Spreizung bewirkt werden kann, indem man von jedem Feldelement des ersten Datenfelds [AC'(x)] einen Bruchteil ε eines gemittelten Werts der Werte der Feldelemente des ersten Datenfelds abzieht und von jedem Feldelement des zweiten Datenfelds [AS'(x)] denselben Bruchteil ε eines gemittelten Werts der Werte der Feldelemente des zweiten Datenfelds abzieht.
Die homogene Kompensation (30) ergibt kombiniert mit der kleinen Phasenapproximation [Gleichungen (17) und (18)]:
Die Entfaltung lässt sich auf diese Weise ohne Weiteres berechnen, da sie nur einmal die Berechnung des Mittelwerts der Amplituden <Â'> und des Mittelwerts der amplitudengewichteten Phase (oder der phasengewichteten Amplitude) <Â'φ'> im Bereich V erfordert. Es ist anzumerken, dass sich das Wort „homogen” auf die Streulichtamplitude bezieht, nicht aber auf den resultierenden Korrekturterm Δφ(x) = φ(x) – φ'(x). Bei jedem Pixel hängt die Korrektur der Phase vor allem von der in diesem Pixel gemessenen Phase φ'(x) und Amplitude A'(x) ab, und dies ist demnach keine homogene Funktion. Dies wird offensichtlich, wenn die Phasenverschiebung berechnet wird, die sich aus der Gleichung (33) ergibt:
Die Phasenverschiebung bei dem Pixel x ist daher umgekehrt proportional zu der korrigierten Amplitude dieses Pixels.
Es ist anzumerken, dass die Korrektur der homogenen Spreizung gleich gut auf das Verfahren anwendbar ist, bei dem die Gleichung (23) oder (19) benutzt wird. Ersetzt man g'(x, x') in der Gleichung (23) durch g_h'(x, x'), das durch die Gleichung (30) gegeben ist, ergibt sich:
wobei <I_k'> den Mittelwert der Intensitätswerte I_k'(x) im Bereich V bedeutet. Die Gleichung (35) drückt aus, dass die den jeweiligen Phasen der Modulation zugeordneten Datenfelder dadurch entfaltet werden, dass von jedem Feldelement I_k'(x) der Bruchteil ε eines gemittelten Werts <I'> der Werte der Feldelemente des Datenfelds abgezogen wird. Ein ähnlicher Ausdruck lässt sich ohne Weiteres ableiten, indem man g'(x, x') in der Gleichung (19) durch g_h'(x, x') ersetzt.
Der Parameter ε quantifiziert die Lichtmenge, die homogen durch die Optik des Systems gestreut wird. Dieser Parameter kann normalerweise durch eine optische Messung bestimmt werden und nimmt für eine vorgegebene Optik einen festen Wert an. Im Falle der Verunreinigung des optischen Systems kann die Menge des gestreuten Lichts allerdings steigen. Falls der Verunreinigungsgrad dynamisch bestimmt wird und der Parameter ε entsprechend eingestellt wird, ermöglicht das vorliegende Verfahren auch die Korrektur des durch den Verunreinigungsgrad bedingten Verlusts des Phasen- und Amplitudenkontrasts. Beispielsweise wird ein Verfahren zur Bestimmung des Verunreinigungsgrads in der europäischen Patentanmeldung 07 110 379.0 offenbart, welche hiermit in ihrer Gesamtheit einbezogen wird.
Zusammenfassung
Verfahren zur Aufzeichnung von 3D-Bildern einer Szene auf Basis des Laufzeitprinzips, Folgendes umfassend: Beleuchten einer Szene durch Ausstrahlen von Licht, das eine Intensitätsmodulation trägt; Abbilden der Szene auf einer Pixelanordnung unter Verwendung eines optischen Systems; Detektieren, in jedem Pixel, von intensitätsmoduliertem Licht, das von der Szene auf das Pixel reflektiert wird; Bestimmen, für jedes Pixel, eines Entfernungswerts auf Basis der Phase des im Pixel detektierten Lichts. Die Bestimmung der Entfernungswerte umfasst eine phasenempfindliche Entfaltung der auf der Pixelanordnung abgebildeten Szene derart, dass Phasenfehler kompensiert werden, die durch Lichtspreizung im optischen System hervorgerufen sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- EP 0792555 [0003, 0051]
- EP 1659418 [0003]
- US 6825455 [0004, 0038, 0051]
- EP 07110379 [0042, 0067]

Zitierte Nicht-Patentliteratur

- „The Lock-In CCD-Two-dimensional Synchronous Detection of Light” von Spring et al. in IEEE Journal of Quantum Electronics 31 (1995), S. 1705–1708 [0003]

Claims

Verfahren zur Aufzeichnung von 3D-Bildern einer Szene auf Basis des Laufzeitprinzips, Folgendes umfassend: Beleuchten einer Szene durch Ausstrahlen von Licht, das eine Intensitätsmodulation trägt; Abbilden der Szene auf einer Pixelanordnung unter Verwendung eines optischen Systems; Detektieren, in jedem Pixel, von intensitätsmoduliertem Licht, das von der Szene auf das Pixel reflektiert wird; Bestimmen, für jedes Pixel, eines Entfernungswerts auf Basis der Phase des im Pixel detektierten Lichts; dadurch gekennzeichnet, dass die Bestimmung der Entfernungswerte eine phasenempfindliche Entfaltung der auf der Pixelanordnung abgebildeten Szene derart umfasst, dass Phasenfehler kompensiert werden, die durch Lichtspreizung im optischen System hervorgerufen sind.
Verfahren nach Anspruch 1, wobei für jedes Pixel ein Amplitudenwert und ein Phasenwert des im Pixel detektierten intensitätsmodulierten Lichts bestimmt werden; wobei die phasenempfindliche Entfaltung der auf der Pixelanordnung abgebildeten Szene Folgendes umfasst: Bilden eines ersten Datenfelds, wobei jedes Feldelement des ersten Datenfelds einem Pixel der Pixelanordnung zugeordnet ist und einen Wert aufweist, der dem für das zugeordnete Pixel bestimmten Amplitudenwert entspricht, der mit einem ersten Phasenfaktor gewichtet ist; Bilden eines zweiten Datenfelds, wobei jedes Feldelement des zweiten Datenfelds einem Pixel der Pixelanordnung zugeordnet ist und einen Wert aufweist, der dem für das zugeordnete Pixel bestimmten Amplitudenwert entspricht, der mit einem zweiten Phasenfaktor gewichtet ist, wobei der zweite Phasenfaktor von dem für das zugeordnete Pixel bestimmten Phasenwert abhängt; Entfalten des ersten und zweiten Felds auf Basis einer Entfaltungsfunktion des optischen Systems; und wobei für jedes Pixel der Entfernungswert auf Basis der Werte der dem Pixel zugeordneten Feldelemente des entfalteten ersten und zweiten Felds berechnet wird.
Verfahren nach Anspruch 2, wobei die Entfaltung des ersten und zweiten Felds dadurch bewirkt wird, dass von jedem Feldelement des ersten Felds ein bestimmter Bruchteil eines Mittelwerts der Werte der Feldelemente des ersten Felds und von jedem Feldelement des zweiten Felds ein entsprechender Bruchteil eines Mittelwerts der Werte der Feldelemente des zweiten Felds abgezogen werden.
Verfahren nach Anspruch 2 oder 3, wobei der erste Phasenfaktor der Kosinus des für das zugeordnete Pixel bestimmten Phasenwerts ist und wobei der zweite Phasenfaktor der Sinus des für das zugeordnete Pixel bestimmten Phasenwerts ist.
Verfahren nach Anspruch 4, wobei für jedes Pixel das Berechnen des Entfernungswerts das Bestimmen einer korrigierten Phase als
umfasst, wobei x das Pixel kennzeichnet, φ(x) die korrigierte Phase bezeichnet, AC(x) das dem Pixel zugeordnete Feldelement des entfalteten ersten Felds bezeichnet und AS(x) das dem Pixel zugeordnete Feldelement des entfalteten zweiten Felds bezeichnet.
Verfahren nach Anspruch 2 oder 3, wobei der erste Phasenfaktor 1 ist und wobei der zweite Phasenfaktor der Phasenwert selbst ist.
Verfahren nach Anspruch 6, wobei für jedes Pixel das Berechnen des Entfernungswerts das Bestimmen einer korrigierten Phase als
umfasst, wobei x das Pixel kennzeichnet, φ(x) die korrigierte Phase bezeichnet, AC(x) das dem Pixel zugeordnete Feldelement des entfalteten ersten Felds bezeichnet und AS(x) das dem Pixel zugeordnete Feldelement des entfalteten zweiten Felds bezeichnet.
Verfahren nach Anspruch 1, wobei die Detektion des von der Szene reflektierten intensitätsmodulierten Lichts für jedes Pixel das Bestimmen von Intensitätswerten des auf das Pixel auftreffenden intensitätsmodulierten Lichts bei verschiedenen Phasen der Modulation umfasst, wobei die verschiedenen Phasen derart ausgewählt werden, dass die Amplitude und die Phase des auf das Pixel auftreffenden intensitätsmodulierten Lichts unter Verwendung einer bekannten Beziehung aus der Menge von Intensitätswerten ableitbar sind; wobei die phasenempfindliche Entfaltung der Szene Folgendes umfasst: Bilden von Datenfeldern, wobei jedes Feldelement der Datenfelder einem Pixel der Pixelanordnung zugeordnet ist und einen Wert aufweist, der entweder dem bei einer der Phasen der Modulation bestimmten Intensitätswert des zugeordneten Pixels oder einer linearen Kombination von mindestens zwei bei verschiedenen Phasen der Modulation bestimmten Intensitätswerten des zugeordneten Pixels entspricht; Entfalten der Datenfelder unter Verwendung einer Entfaltungsfunktion des optischen Systems; und wobei für jedes Pixel der Entfernungswert auf Basis der Werte der dem Pixel zugeordneten Feldelemente der entfalteten Datenfelder berechnet wird.
Verfahren nach Anspruch 8, wobei die Entfaltung jedes der Datenfelder dadurch bewirkt wird, dass von jedem Feldelement des Datenfelds ein bestimmter Bruchteil eines Mittelwerts der Werte der Feldelemente des Datenfelds abgezogen wird.
Verfahren nach Anspruch 8 oder 9, wobei die Intensitätswerte bei mindestens drei verschiedenen Phasen der Modulation bestimmt werden.
Verfahren nach Anspruch 10, wobei die mindestens drei Phasen der Modulation gleichmäßig voneinander beabstandet sind.
Verfahren nach Anspruch 11, wobei die Intensitätswerte bei vier Phasen der Modulation bestimmt werden, wobei die vier Phasen der Modulation um 90 Grad voneinander beabstandet sind.
Verfahren nach irgendeinem der Ansprüche 8 bis 12, wobei für jedes Pixel das Berechnen des Entfernungswerts das Bestimmen einer korrigierten Phase aus den Werten der dem Pixel zugeordneten Feldelemente der entfalteten Datenfelder umfasst.
Verfahren nach irgendeinem der Ansprüche 1 bis 13, wobei ein Verunreinigungsgrad des optischen Systems ausgewertet wird und wobei die phasenempfindliche Entfaltung auf den Verunreinigungsgrad eingestellt wird.
3D-Laufzeit-Bildgeber, konfiguriert für die Durchführung des Verfahrens nach irgendeinem der Ansprüche 1 bis 14.
3D-Laufzeit-Bildgeber nach Anspruch 15, Folgendes umfassend: eine Lichtquelle zum Beleuchten einer Szene durch Ausstrahlen von Licht, das eine Intensitätsmodulation trägt; eine Pixelanordnung; ein optisches System zum Abbilden der Szene auf der Pixelanordnung, wobei jedes Pixel der Pixelanordnung für das Detektieren des von der Szene auf das Pixel reflektierten intensitätsmodulierten Lichts konfiguriert ist; und eine Steuer- und Auswerteschaltung, die für jedes Pixel für das Bestimmen eines Entfernungswerts auf Basis der Phase des im Pixel detektierten Lichts konfiguriert ist; dadurch gekennzeichnet, dass die Steuer- und Auswerteschaltung ein Mittel zur Durchführung einer phasenempfindlichen Entfaltung der auf der Pixelanordnung abgebildeten Szene derart umfasst, dass Phasenfehler kompensiert werden, die durch Lichtspreizung im optischen System hervorgerufen sind.
3D-Laufzeit-Bildgeber nach Anspruch 16, wobei das Mittel eine anwendungsspezifische integrierte Schaltung, eine feldprogrammierbare Anordnung von Logik-Gattern und/oder einen Mikroprozessor umfasst.