DE102011089629B4

DE102011089629B4 - Lichtlaufzeitkamera und Verfahren zum Betreiben einer solchen

Info

Publication number: DE102011089629B4
Application number: DE102011089629.5A
Authority: DE
Inventors: Holger Kraft; Robert Lange; Stefan Hoberg; Tobias Rothermel
Original assignee: PMDtechnologies AG
Current assignee: PMDtechnologies AG
Priority date: 2010-12-22
Filing date: 2011-12-22
Publication date: 2022-08-04
Anticipated expiration: 2031-12-23
Also published as: DE102011089629A1

Abstract

Verfahren zum Betreiben einer Lichtlaufzeitkamera, bei dem anhand der Ausgangssignale der Laufzeitpixel (Pij) Entfernungswerte ermittelt werden,wobei mehrere Laufzeitpixel (Pij) zumindest zeitweise zu Pixelblöcken (Bi) zusammengefasst werden,und für jeden Pixelblock (Bi) ein Entfernungswert ermittelt wird,wobei in einem Grauwertbild eine Objekterkennung durchgeführt wird, und ausgehend von den erkannten Objekten die Laufzeitpixel (Pij), die im Grauwertbild das erkannte Objekt erfassen, als Pixelblock (Bi) für eine gemeinsame Entfernungsbestimmung zusammengefasst werden.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Lichtlaufzeitkamera nach Anspruch 1 und eine Lichtlaufzeitkamera, die zur Durchführung des Verfahrens ausgebildet ist nach Anspruch 7.
Aus dem Stand der Technik sind Systeme zur dreidimensionalen Bilderfassung bekannt, welche mit Hilfe einer aktiven Beleuchtung arbeiten. Dazu gehören so genannten Time-of-flight- (TOF-) oder Laufzeitmesssysteme. Diese verwenden eine amplitudenmodulierte oder gepulste Beleuchtung, zur Ausleuchtung der zu erfassenden dreidimensionalen Szenerie.
Mit Lichtlaufzeitmesssystem bzw. Lichtlaufzeitkamera sollen insbesondere auch alle 3D-Kamerasystem mit umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Laufzeitpixel für eine solche Kamera sind insbesondere so genannte Photomischdetektoren (PMD) geeignet, wie sie u.a. in den Anmeldungen EP 1 777 747 B1 , US 6 587 186 B2 und auch DE 197 04 496 C2 beschrieben und beispielsweise von den Firmen ,ifm electronic gmbh' oder „PMD Technologies“ als Frame-Grabber bzw. CamCube zu beziehen sind. Solche time-of-flight Kameras erlauben insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können. Die Anwendung ist selbstverständlich nicht nur auf PMD-Sensoren beschränkt. So kommen insbesondere alle Arten von Demodulationspixel in Betracht. Geeignet zur Demodulation eines empfangenen modulierten Lichts sind insbesondere auch folgende Detektoren: Lock-in-Detektoren, Pulslaufzeitdetektoren, MSM-PMD-Detektoren, Selbstmodulationspixel, Current assisited Photodioden (CAPD), Quanteneffizienz-Modulationspixel oder ähnliches.
Aus der DE 101 47 807 A1 und DE 101 47 808 A1 ist ein Verfahren zur dreidimensionalen Erfassung von Objekten mittels Mikrowellen oder Laser-Radar im infraroten Wellenlängenbereich bekannt. Zur Bildaufnahme sind zweidimensional angeordnete photoempfindliche Pixelelemente vorgesehen, die als PMD-Pixel ausgebildet sind. Benachbarte Pixelelemente können über eine programmierbare Schaltungsanordnung beliebig zusammengeschaltet und so zu einem großen Einzelpixel überführt werden, um beispielsweise die Entfernung zu einem beleuchteten Objekt trotz schwacher Strahlungsleistung messen zu können.
Die EP 2 187 237 A1 zeigt einen Sensor, der als Photodetektor für Distanzmessungen ausgebildet ist und Modulationsgates zur Demodulation eines eintreffenden modulierten Lichts und Akkumulationsbereichen zur Speicherung der photogenerierten Ladungen aufweist.
Die US 2009 / 0 059 201 A1 zeigt ein TOF-System, das mit Hilfe der erfassten Laufzeit von ausgesendeten und empfangenen pseudeo-noise-Signalen Entfernungen und Geschwindigkeiten von Objekten bestimmt.
Aus der DE 10 2007 004 348 A1 ist ferner ein Kamerasystem für ein Fahrzeug bekannt, das Entfernungen aus der Laufzeit einer emittierten und empfangenen modulierten Strahlung ermittelt. Die Pixel des Bildsensors sind als PMD-Pixel ausgebildet.
Aufgabe der Erfindung ist es, die Tiefenauflösung und die Verarbeitungsgeschwindigkeit einer Lichtlaufzeitkamera zu verbessern.
Die Aufgabe wird in vorteilhafter Weise durch das erfindungsgemäße Verfahren und die erfindungsgemäße Lichtlaufzeitkamera gelöst.
Vorteilhaft ist ein Verfahren zum Betreiben einer Lichtlaufzeitkamera vorgesehen, bei dem anhand der Ausgangssignale der Laufzeitpixel Entfernungswerte ermittelt werden, wobei mehrere Laufzeitpixel zumindest zeitweise zu Pixelblöcken zusammengefasst werden, und für jeden Pixelblock (Bi) ein Entfernungswert ermittelt wird, wobei in einem Grauwertbild eine Objekterkennung durchgeführt wird, und ausgehend von den erkannten Objekten die Laufzeitpixel, die im Grauwertbild das erkannte Objekt erfassen, als Pixelblock für eine gemeinsame Entfernungsbestimmung zusammengefasst werden.
Dieses Vorgehen hat den Vorteil, dass die Menge der Tiefeninformationen und der zu verarbeitenden Daten durch geeignetes Zusammenfassen der Laufzeitpixel reduziert werden kann. Insbesondere kann durch Zusammenfassen mehrer Laufzeitpixel zu einem Pixelblock die Genauigkeit des Entfernungswerts für den gesamten Pixelblock erhöht werden.
Besonders vorteilhaft ist es, wenn für die Ermittlung eines Entfernungswertes eines Pixelblocks zunächst die Rohdaten aller Laufzeitpixel des Pixelblocks gemittelt werden.
Durch dieses Vorgehen ist es vorteilhaft möglich, alle Informationen, die in den Rohdaten enthalten sind, effektiv zu nutzen, bevor physikalische Informationen in den weiteren Verfahrensschritten berechnungsbedingt evtl. verloren gehen.
In einer bevorzugten Ausgestaltung ist es vorgesehen, das Zusammenfassen von Laufzeitpixeln zu Pixelblöcken in Abhängigkeit von erfassten Grauwerten durchzuführen. Unter dem Begriff Grauwert soll im Rahmen dieser Erfindung allgemein eine Bildinformation verstanden werden, also nicht ausschließlich monochrome Informationen, sondern durchaus auch Farbbild-, IR-Bild, Termperatur-Bild-Informationen, oder Ähnliches.
Ferner ist es vorteilhaft zunächst für jedes Laufzeitpixel Phase und Amplitude zu bestimmen, wobei die Phasenwerte mit den zugehörigen Amplitudenwerten gewichtet werden und der Mittelwert der so gewichteten Phasenwerte als Phasenwert für den Pixelblock gebildet wird.
Bevorzugt werden nur die Laufzeitpixel mit einer Amplitude verwendet werden, deren Amplitude einen definierbaren Schwellwert übersteigt.
Durch dieses Vorgehen werden in einfacher Art und Weise stark verrauschte Signale, also in der Regel die Signale mit einer kleinen Amplitude, die naturgemäß nur eine unsichere Phaseninformation enthalten, vor der Bestimmung eines Phasenwerts ausgeblendet.
Vorteilhaft erfolgt die Zusammenfassung der Laufzeitpixel für die Ermittlung des Entfernungsbilds in Abhängigkeit der im Grauwertbild erkannten Objekte. Wobei insbesondere die Laufzeitpixel, die im Grauwertbild das erkannte Objekt erfassen, als Pixelblock für die Entfernungsbestimmung zusammengefasst werden. Ebenso vorteilhaft wird für das erkannte Objekt ein einziger Entfernungswert ermittelt.
Des Weiteren ist es vorteilhaft, eine Lichtlaufzeitkamera zur Durchführung eines der vorgenannten Verfahren auszubilden.
Vorteilhaft ist eine Lichtlaufzeitkamera mit einem Lichtlaufzeitsensor umfassend ein Array aus Laufzeitpixeln vorgesehen, mit einer Auswerteeinheit, die derart ausgestaltet ist, dass ausgehend von den Ausgangssignalen der Laufzeitpixel Entfernungswerte ermittelbar sind, wobei mehrere Laufzeitpixel zumindest zeitweise zu Pixelblöcken zusammenfassbar sind, und wobei die Auswerteeinheit derart ausgestaltet ist, dass für jeden Pixelblock ein Entfernungswert ermittelbar ist.
Weiterhin ist vorgesehen, dass der Lichtlaufzeitsensor der Lichtlaufzeitkamera Schaltelemente aufweist, die ein Zusammenfassen von Laufzeitpixeln zu Pixelblöcken erlauben. So ist es vorteilhaft möglich, bereits auf Hardware-Ebene ein Binning durchzuführen.
Insbesondere ist es vorgesehen, dass die Auswerteeinheit derart ausgestaltet ist, dass die Pixelblöcke in Abhängigkeit erfasster Grauwerte gebildet werden
Ferner ist die Auswerteeinheit derart ausgestaltet ist, dass ein Grauwert aus elektrischen Signalen eines Laufzeitpixels oder aus elektrischen Signalen eines dem Laufzeitpixel zugeordneten Sensors, insbesondere einer in der Nähe des Laufzeitpixel angeordneten Fotodiode oder eines separat angeordneten Sensors, ermittelt wird.
Das beschriebene Vorgehen hat den Vorteil, dass entweder mit ein und demselben Sensor oder mit einem separaten Sensor sowohl zweidimensionale Grauwertbilder als auch dreidimensionale Tiefenbilder erfasst werden können, wobei die laterale 3D-Auflösung unabhängig von der lateralen 2D-Auflösung festgelegt werden kann. So kann beispielsweise abhängig von der Applikation eine geringe 3D-Auflösung zugunsten eines besseren Signal-/Rauschverhältnisses ausgewählt werden, wobei durch die geringere Auflösung zudem die Signale schneller verarbeitet werden können. Somit bleibt die Ortsauflösung der Grauwerte erhalten und die Tiefenauflösung des Distanzbildes wird, bei reduzierter lateraler Auflösung, gesteigert.
In einer weiteren Ausgestaltung weist die Auswerteeinheit eine Bildverarbeitung zur Objekterkennung auf, und ist derart ausgestaltet, dass die Laufzeitpixel in Abhängigkeit der erkannten Objekte zusammengefasst werden.
In vielen Applikationen ist es nicht unbedingt notwendig ein Tiefenbild der Topographie des Objektes selbst zu erhalten, sondern als Information reicht die Entfernung des Objektes an sich. Zum Beispiel ist für ein Abstandsregelsystemen im Wesentlichen nur der Abstand eines vorausfahrenden Fahrzeuges interessant, die dreidimensionale Form des Fahrzeuges ist hingegen von geringerem Interesse. Mit Hilfe der erfindungsgemäßen Laufzeitpixelbündelung lässt sich die Zuverlässigkeit und Genauigkeit einer ermittelten Objektentfernung weiter verbessern.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
Es zeigen schematisch:

1 das Grundprinzip einer Lichtlaufzeitkamera nach dem PMD-Prinzip,
2 eine modulierte Integration der laufzeitverschobenen erzeugten Ladungsträger,
3 einen Querschnitt eines PMD-Pixels,
4 eine Abhängigkeit der Amplitude und des Distanzfehlers in Abhängigkeit der einfallenden Lichtmenge,
5 einen erfindungsgemäßen Lichtlaufzeitsensor,
6 eine Zusammenfassung von Laufzeitpixeln in Abhängigkeit eines erkannten Objekts.
7 eine Darstellung erfasster Rohdaten in einer komplexen Ebene mit unterschiedlicher Auswertung der Rohdaten.

Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
Zunächst wird betrachtet, ob Binning bzw. ein Zusammenfassen von Pixelblöcken geeignet ist, das Signal-zu-Rausch-Verhältnis (S/N), insbesondere nach erfolgter AD-Wandlung, zu verbessern.
Die Gesamtfläche A von N gebinnten Pixeln der Fläche B ergibt sich in bekannter Weise aus: $A = N \cdot B$
Zu betrachten ist das S/N des virtuellen gebinnten Pixels mit dem S/N des großen Pixels A. Das virtuelle gebinnte Pixel aus N Pixeln * B wird im Weiteren mit „BB“ bezeichnet.
Zur Vereinfachung werden folgende Annahmen getroffen:

1) Pixel A und Pixel B haben den gleichen Füllfaktor.
2) Die Integrationskapazität C_A von Pixel A ist N-mal größer als die Integrationskapazität C_B (Wandelkapazität) von Pixel B. Anders ausgedrückt, die Wandelkapazität skaliert linear mit der Pixelfläche.

C_{A} = N \cdot C_{S}

C_{S} = \frac{C_{A}}{N}

Wichtig für die weitere Betrachtung ist nun das S/N. Grundsätzlich besteht die (gleichwertige) Möglichkeit, das S/N in der Spannungsdomaine, d.h. ausgangsseitig oder in der Ladungsdomaine d.h. eingangsseitig zu betrachten. Nachfolgend wird das eingangsseitige S/N also die Ladungsdomaine betrachtet. Dazu wird es später erforderlich, systemseitige Rauschgrößen, z.B. externe Verstärker oder Störgrößen des AD-Wandlers, in eine äquivalente Eingangsrauschgröße umzurechnen.
Die Signal-Niveaus in der Ladungsdomaine ergeben sich wie folgt: $S_{A} = S$
$S_{B} = S_{A} \cdot \frac{B}{A} = \frac{S_{A}}{N}$
$S_{B B} = N \cdot S_{B} = S_{A}$
Im Weiteren wird das Rausch-Niveau in der Ladungsdomaine näher betrachtet.
Für die nachfolgende Notation sei angemerkt: N ohne Index bezeichnet gemäß obiger Definition die Anzahl der gebinnten kleinen Pixel. N mit Index bezeichnet die jeweils betrachtete Rauschgröße. Für eine bessere Lesbarkeit wurde darauf verzichtet, die Rauschart im Index nochmals zu wiederholen. N_A bezeichnet also im nachfolgenden Fall das Schrotrauschen des Pixels A und im darauf folgenden Fall das Resetrauschen des Pixels A (gleiches gilt für N_B und N_BB).
Schrotrauschen in der Ladungsdomaine: $N_{A} \sim \sqrt{S_{A}}$
$N_{B} \sim \sqrt{S_{B}} = \sqrt{\frac{S_{A}}{N}}$
$N_{S S} = N_{S} \cdot \sqrt{N} = N_{A}$
Das Schrotrauschen ist für die o.a. Annahmen (gleicher Füllfaktor) im Falle des gebinnten Pixels BB genau so groß wie im Falle des großen Einzelpixels A.
Resetrauschen in der Ladungsdomaine: $N_{A} = \sqrt{k \cdot T \cdot C_{A}}$
$N_{S} = \sqrt{k \cdot T \cdot C_{s}} = \frac{1}{\sqrt{N}} \cdot \sqrt{k \cdot T \cdot C_{A}} = \frac{N_{A}}{\sqrt{N}}$
$N_{S S} = N_{S} \cdot \sqrt{N} = N_{A}$
Das Resetrauschen ist für die o.a. Annahmen (Integrationskapazität skaliert mit Pixelfläche) wiederum im Falle des gebinnten Pixels BB genau so groß, wie im Falle des großen Einzelpixels A.
Systemrauschen in der Ladungsdomaine: $N_{A} \sim N_{A, A u s g a n g i n V} \cdot C_{A}$
Somit ist mit ansonsten gleichen Systembedingungen weiterhin davon auszugehen, dass auch für den gebinnten Fall (kleine Pixel) das Systemrauschen ausgangsseitig, also AD-Wandler, Verstärker, etc., gleich sind wie im Falle der Verwendung eines großen Pixels. Diese Annahme lässt sich folgendermaßen notieren: $N_{A, A u s g a n g i n V} = N_{B, A u s g a n g i n V}$
(für die Spannungsdomaine, also ausgangsseitig)
Dann folgt für das äquivalente (virtuelle) eingangsseitige Systemrauschen in der Ladungsdomaine: $N_{S} \sim N_{B, A u s g a n g i n V} \cdot C_{S} = N_{A, A u s g a n g i n V} \cdot \frac{C_{A}}{N} = \frac{N_{A}}{N}$
$N_{S S} = N_{S} \cdot \sqrt{N} = \frac{N_{A}}{\sqrt{N}}$
Das Systemrauschen fällt für die hier getroffenen Annahmen überraschenderweise also im gebinnten Fall sogar weniger ins Gewicht als im nicht gebinnten Fall. Diese überraschende Erkenntnis lässt sich durch die getroffene Annahme der um Faktor N höheren Ladungsverstärkung des gebinnten Falles erklären. Diese höhere Verstärkung reduziert die „Übersetzung“ des ausgangseitigen Systemrauschens in das ladungsäquivalente eingangsseitige Systemrauschen.
Zusammenfassend lässt sich festhalten, dass für die vereinfachend getroffenen Annahmen (Kapazität skaliert mit Pixelfläche, Füllfaktor ist unabhängig von Pixelfläche) selbst das Binning kleiner Pixel in der digitalen Domain, also nach der AD-Wandlung keine Nachteile im S/N gegenüber dem großen Pixel bietet.
Die Zusammenfassung von vielen kleinen Pixeln verbessert also unter den getroffenen Annahmen das Signal-zu-Rausch-Verhältnis vergleichbar gut wie die Realsierung eines entsprechenden großen Pixels. Daher erlaubt dieses Verfahren, mit ein und demselben Sensor, sowohl ein hochauflösendes 2D Bild ohne Zusammenfassung von Pixeln zu generieren, als auch ein performantes 3D Bild, mit reduzierte lateraler Auflösung aber mit einer Tiefenauflösung, die der eines Sensors mit größeren Pixeln entspricht. Da für das 2D Bild im Allgemeinen im Gegensatz zum 3D Bild nicht die aktive Beleuchtung erforderlich ist kann durch dieses Verfahren eine effiziente 2D/3D Lösung mit nur einem Sensor realisiert werden.
Natürlich handelt es sich hier um eine stark vereinfachte Betrachtung, die u.a. Effekte wie Sättigungsverhalten außer Acht lässt, und ebenso sind die getroffenen Annahmen in der Regel diskutierbar. So lassen sich durch spezielle Maßnahmen auch große Pixel mit kleine Auslesekapazitäten realisieren (die dann ein günstigeres Pixelflächen/Kapazitäts-Verhältnis besitzen). Ebenso ist in der Regel der Füllfaktor von großen Pixeln besser als der von kleinen Pixeln.
Es sei aber darauf hingewiesen, dass die Annahme der mit der Fläche skalierenden Wandelkapazität nur für Resetrauschen (und Systemrauschen) ausgenutzt wurde. In vielen Anwendungsfällen (vor allem bei dominantem Schrotrauschen, z.B. aufgrund hohen Hintergrundlichtes) können eben diese Rauschgrößen vernachlässigt werden.
Abschließend ist herauszustellen, dass das hier beschriebene Binning der Rohdaten (also vor der Entfernungsberechnung) entscheidende Vorteile gegenüber einer Mittelung von berechneten Entfernungswerten der entsprechenden Pixel bietet.
Diese Problematik ist beispielhaft in den 7a bis 7c in der komplexen Werteebene dargestellt. 7a zeigt eine Messsituation mit stark verrauschten Einzelmessungen. Im dargestellten Beispiel sind die gemessenen Phasen statistisch mit unterschiedlicher Amplitude verteilt. Die Rohdaten, also die Werte vor der Phasenberechnung, bilden für jedes Pixel einen komplexen Zeiger mit den Eigenschaften: Zeigerlänge und Phasenlage. Hier gilt, je größer die Zeigerlänge desto zuverlässiger der Phasenwert.
Problematisch sind insbesondere die aus den sehr schwachen Signalverhältnissen gewonnen entsprechend verrauschten Rohdaten. Für die Berechnung der Phase aus diesen Rohdaten werden vorzugsweise nichtlineare Algorithmen eingesetzt, insbesondere eine Arcustangensfunktion, so dass typische lineare Fehlerfortpflanzungsgesetze nicht oder nur bedingt anwendbar sind.
Werden die aus den Rohdaten gewonnen Phasenwinkel ohne Berücksichtigung der Zeigerlänge/Amplitude gemittelt, ergibt sich aus den in 7a) dargestellten Rohdaten ein mittlerer Phasenwinkel von 180° (7b). Hier wurde zur Veranschaulichung bewusst eine Gleichverteilung der Phasenwinkel der Einzelpixelphasen zwischen 0° und 360° gewählt.
Werden jedoch zunächst die Rohdaten, also die Phasenvektoren, gemittelt ergibt die anschließende Phasenberechnung den Schwerpunktwinkel, hier von ca. 45°, und somit ein korrektes bzw. zuverlässiges Messergebnis, wie in 7c exemplarisch gezeigt.
Ein weiteres Problem bei einer einfachen Mittlung besteht besonders bei Phasenwerten in der Nähe des Mehrdeutigkeitsübergangs, also beim Übergang von 360° auf 0°. Hier kann eine Mittelung der Einzelphasen zu größeren Sprüngen und somit „unsinnigen“ berechneten Phasenlagen führen, die dann auch nach Mittelung über sehr viele Phasenwerte kein sinnvolles Resultat mehr liefern.
Daher ist es vorgesehen, die Phasenberechnung in der hier vorgeschlagenen Erfindung vorzugsweise erst dann durchzuführen, wenn ein hinreichendes Signal- zu Rauschverhältnis (S/N) der gemittelten Rohdaten, entsprechend einer hinreichend gemittelten Zeigerlänge, vorhanden ist.
1 zeigt exemplarisch eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 bekannt ist. Die Lichtlaufzeitkamera bzw. das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtungslichtquelle 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. TOF-Kamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 weist mindestens ein Pixel, vorzugsweise jedoch ein Pixel-Array, auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 ist vorzugsweise als Reflektor ausgebildet.
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit des emittierten und reflektierten Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einer bestimmten Modulationsfrequenz mit einer ersten Phasenlage a beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal mit der Phase a aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage b auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Signal der ersten Phasenlage a des Modulators 30 mit dem empfangenen Signal, das die laufzeitbedingte zweiten Phasenlage b aufweist, gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.
Dieses Grundprinzip ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf der Modulationsfrequenz mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht b trifft entsprechend seiner Lichtlaufzeit t_L phasenverschoben auf den Lichtlaufzeitsensor 22 bzw. auf einen Laufzeitpixel. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q während der ersten Hälfte der Modulationsperiode in einem ersten Akkumulationsgate Ga und in der zweiten Periodenhälfte in einem zweiten Akkumulationsgate Gb. Die Ladungen werden typischerweise über mehrere Modulationsperioden gesammelt bzw. integriert. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung und somit eine Entfernung des Objekts bestimmen.
Selbstverständlich ist die Erfindung nicht auf dieses Messprinzip beschränkt, sondern es können insbesondere auch Verfahren mit mehreren Frequenzen eingesetzt werden, beispielsweise kann auch ein Mischen auf eine Zwischenfrequenz vorgesehen sein. Weiterhin sind denkbar: pn-Modulation, Frequenz-Shift-Verfahren etc.
Vereinfacht dargestellt, werden Ladungen mit Hilfe einer ersten und zweiten Akkumulationsvorrichtung Ga, Gb gesammelt, wobei die von der ersten und zweiten Akkumulationsvorrichtung gesammelten Ladungen bzw. einer daraus abgeleitete elektrische Größe einem ersten und zweiten Kanalsignal bzw. A- und B-Kanal entsprechen bzw. zugeordnet sind. Aus der Differenz der beiden Kanalsignale lässt in bekannter Art und Weise eine Entfernung und aus der Summe die gesamte photonisch erzeugte Ladung bzw. ein Grauwertsignal ermitteln.
In verbesserten Ausgestaltungen ist es vorgesehen, die Phase mit der die Beleuchtung 10, 12 moduliert wird gegenüber der Grundmodulationsfrequenz mit der die Kamera bzw. der Lichtlaufzeitsensor 22 moduliert wird zu verschieben. Im in 2 dargestellten Beispiel wurden die Beleuchtung 12 und der Lichtlaufzeitsensor gleichphasig angesteuert. Bevorzugt wird in weiteren Messungen die Phase zwischen Beleuchtung und Lichtlaufzeitsensor um 90°, 180° und 270° verschoben, selbstverständlich sind auch andere Phasenverschiebungen denkbar. Zu jeder Messung werden wiederum ein erstes und zweites Kanalsignal ermittelt.
Durch dieses Vorgehen können insbesondere Asymmetrien des Lichtlaufzeitsensors bzw. eines einzelnen Laufzeitpixels und Effekte des Umgebungslichts kompensiert bzw. berücksichtigt werden.
Die lichtlaufzeitbedingte Phasenverschiebung bzw. ein entsprechender Entfernungswert lässt sich dann in bekannter Weise ermitteln. Ein Grauwert bzw. Grauwertsignal kann im einfachsten Fall auch bei der dargestellten Mehrphasenmessung durch Addition aller erfassten Ladungen ermittelt werden. Selbstverständlich können auch äquivalente Größen für ein Grauwertsignal herangezogen werden. Beispielsweise kann für den Fall eines Gegentaktmischers wie z.B. ein PMD Detektor oder eine vergleichbare Realisierung ein auswertbares Grauwertbild auch die Summe der Wurzeln aller Kanaldifferenzen, eine so genannte Amplitude AM verwendet werden nämlich: AM = Summe (A_i-B_i)^2 mit i = Phasenindex, mit A= A-Kanal und B= B-Kanal.
Auch ist es denkbar jeweils nur einen Kanal auszuwerten oder auch nur ein Kanalsignal eines Phasenbildes zu verwenden. Auch eine Wiedergabe von Grauwerten, die nicht den tatsächlichen Lichtverhältnissen entspricht oder ggf. dazu sogar invers sind, ist grundsätzlich unschädlich. Maßgeblich ist letztendlich, ob die Signale aus denen der Grauwert oder ein Grauwertsignal bzw. Grauwertbild ermittelt wird für eine nachfolgende Objekterkennung geeignet sind.
Im Ergebnis sollten zusätzlich zur Laufzeitinformation auch Intensitätsinformationen bzw. Grauwerte vorliegen. Dazu sind alternativ zur Verwendung der Laufzeitpixel selbst grundsätzlich auch verschiedene weitere Ausführungsformen denkbar. Beispielsweise kann zu jedem Laufzeitpixel ein zusätzliches Intensitätspixel, beispielsweise einer Photodiode, hinzugefügt werden, die dann separat ausgelesen wird. Diese zusätzliche Photodiode kann auch ein Sensorelement mit Farberkennungseigenschaften sein (z.B. RGB-Photodiode).
Alternativ kann das Lichtlaufzeitpixel durch einen modifizierten Betriebsmodus, in dem beispielsweise nicht demoduliert wird, so betrieben werden, dass es in einer zusätzlichen Bildaufnahme-Phase nur einen Grauwert liefert. Im Spezialfall eines Photomischdetektors nach dem Gegentaktmischprinzip, wie er nachfolgend im Detail in 3 beschrieben wird, ist beispielsweise auch die gleichzeitige Ermittlung eines Grauwerts und eines Phasen- bzw. Entfernungswerts möglich, in dem beispielsweise für die Bestimmung des Grauwerts das Summensignal aus den Ausgängen Ga und Gb benutzt wird.
Zudem kann es vorteilhaft sein, den Grauwert in einem für den Grauwert optimierten Betriebsmodus des Laufzeitpixels zu ermitteln. Beispielsweise könnte ein Betriebsmodus vorgesehen sein, bei dem im Pixel nicht demoduliert wird, dass heißt die Modulationsgates werden während der Bildaufnahme nicht dynamisch umgeschaltet, sondern mit konstanten Potenzial vorgespannt. Die Potenziale können hierbei gleich oder gegebenenfalls unterschiedlich sein, maßgeblich ist, dass sie konstant gehalten werden.
Darüber hinaus wäre es auch denkbar, zur Ermittlung des Grauwertes den Laufzeitsensor bzw. das Laufzeitpixel auf eine separate Ausleseschaltung aufzuschalten, die beispielsweise eine spezielle Kennlinieneigenschaft für eine hohe Dynamik aufweist. Die Kennlinie könnte hierbei beispielsweise logarithmisch, linear/logarithmisch oder stückweise linear sein.
Eine weitere Möglichkeit zur Ermittlung der Grauwerte ist die Verwendung eines zusätzlichen 2D oder auch 3D-Bildsensors, der die gleiche Szene beobachtet. Eine solche Ausführung kann zum Beispiel in einer 2D/3D-Kamera interessant sein oder in Anwendungen, bei denen inhärent bereits eine 2D-Kamera vorhanden ist, beispielsweise in einem Mobiltelefon, einem mobilen Rechner, einem Tablet-PC, einem Monitor, einem Fotoapparat etc.
Selbstverständlich kann alternativ zu einem monochromen Bildsensor auch ein Farbsensor (RGB) oder auch irgendein anderer bildgebender Sensortyp, beispielsweise IR-Sensor, Wärmebildsensor etc., eingesetzt werden. Zum einen können die reinen Sensorsignale bzw. - amplituden der jeweiligen Sensorpixel im Ergebnis auch als Grauwerte erfasst werden zum anderen können auch die jeweils vorhandene Zusatzinformation, wie beispielsweise Wärme, Farbe, IR-Reflektivität oder ähnliches, kann genauso wie der Grauwert genutzt bzw. als Grauwert interpretiert werden. Auch diese Grauwerte sind geeignet, um zu entscheiden, welche Pixel bzw. Pixelrohdaten des Laufzeitsensors zu Objekten bzw. Binning-Objekten zusammengefasst werden sollen. Nachfolgend wird insofern vereinfachend nur noch von Grauwerten gesprochen, wobei hiermit verallgemeinert alle Signale umfasst sein sollen, die geeignet sind, Bildinformationen zu erhalten. Die Grauwerte sind nicht auf eine bestimmte Art oder Herkunft der Signale eingeschränkt.
3 zeigt einen Querschnitt durch ein Pixel eines Photomischdetektors wie er beispielsweise aus der DE 197 04 496 C2 bekannt ist. Die mittleren Modulationsphotogates Garn, G0, Gbm bilden den lichtsensitiven Bereich eines PMD-Pixels. Entsprechend der an den Modulationsgates angelegten Spannung werden die photonisch erzeugten Ladungen q entweder zum einen oder zum anderen Akkumulationsgate Ga, Gb gelenkt. Hierbei bezeichnet „Akkumulationsgate“ allgemein eine Struktur, in der die Ladungssammlung stattfindet, nicht notwendigerweise ein Gate einer MOS (Metal-Oxide-Semiconductor)-Struktur. Als konkrete Ausführungsform wird bevorzugt eine Diodenstruktur verwendet.
3b zeigt einen Potenzialverlauf bei dem die Ladungen q in Richtung des ersten Akkumulationsgates Ga abfliesen, während das Potenzial gemäß 3c die Ladung q in Richtung des zweiten Akkumulationsgates Gb fließen lässt. Die Potenziale werden entsprechend der anliegenden Modulationsfrequenz vorgegeben. Je nach Anwendungsfall liegen die Modulationsfrequenzen vorzugsweise in einem Bereich von 1 bis 100 MHz. Bei einer Modulationsfrequenz von beispielsweise 1 MHz ergibt sich eine Periodendauer von einer Mikrosekunde, so dass das Modulationspotenzial dementsprechend alle 500 Nanosekunden wechselt.
In 3a ist ferner eine Ausleseeinheit 400 dargestellt, die gegebenenfalls bereits Bestandteil eines als CMOS ausgebildeten PMD-Photosensors sein kann. Die als Kapazitäten ausgebildeten Akkumulationsgates Ga, Gb integrieren die photonisch erzeugten Ladungen über eine Vielzahl von Modulationsperioden. In bekannter Weise kann die dann an den Gates Ga, Gb anliegende Spannung beispielsweise über die Ausleseeinheit 400 hochohmig abgegriffen werden.
4 zeigt schematisch die Abhängigkeit einer elektrischen Größe des Lichtlaufzeitsensors bzw. eines Akkumulationsgates von der Lichtmenge. Die Lichtmenge bestimmt sich in bekannter Weise aus dem Lichtstrom und der Bestrahlungsdauer. Proportional zur Lichtmenge werden Ladungsträger im photosensitiven Bereich Garn, G0, Gbm erzeugt und entsprechend der Modulationsfrequenz phasenkorreliert auf die Akkumulationsgates Ga, Gb verteilt. Diese Ladungen können entweder als Spannungssignal bzw. -Amplitude hochohmig am Gate abgegriffen oder ggf. bei einer Entladung der Gates als Strom gemessen werden. Diese elektrischen Größen entsprechen somit dem phasenkorrelierten Lichtstrom bzw. der entsprechenden Lichtmenge.
Der mögliche Dynamikbereich erstreckt sich typischerweise über mehrere Größenordnungen. Die Größe des Dynamikbereiches hängt im Wesentlichen von der Fläche der photosensitiven Schicht eines Pixels, der Kapazität der Akkumulationsgates und ggf. dynamikerweiternden Elementen in der Ausleseschaltung (z.B. spezielle Kennlinien, oder aktive Konzepte zur Unterdrückung von Gleichanteilen) ab. Die Integrationszeit für den Lichtlaufzeitsensor bzw. einem einzelnen Pixel wird vorzugsweise so festgelegt, dass für den Anwendungsfall der Sensor bzw. das einzelne Pixel nicht in die Sättigung gerät. Mit abnehmender Lichtmenge bzw. analog mit abnehmender Integrationszeit nimmt jedoch das Potenzial am Akkumulationsgate immer mehr ab und bewirkt unter anderem aufgrund des abnehmenden Signal/Rausch-Verhältnisses eine zunehmende Unsicherheit bei der Entfernungsbestimmung, so wie es mit der gestrichelten Kurve der Standardabweichung in 4 dargestellt ist.
Optische Abstandssensoren, die nach dem Lichtlaufzeitverfahren arbeiten, haben in der Regel gemeinsam, dass zur Ermittlung des Abstandes typischerweise für jeden Messpunkt (Pixel) drei unabhängige Messgrößen ermittelt werden müssen, nämlich Entfernung (bzw. Phase), Amplitude (bzw. gesamte Pulsenergie) und Offset (z.B. bestehend aus Hintergrundlicht, und ggf. auch aktivem Licht). Dazu sind dann mindestens drei unabhängige Messungen erforderlich. Es kann auch vorteilhaft sein, mehr Messungen zu machen um eine höhere Messsicherheit zu erzielen. Diese Messungen können zeitlich sequentiell oder örtlich verteilt gleichzeitig aufgenommen werden. Erst durch Kombination dieser unabhängigen Messgrößen können Entfernung, Amplitude und Offset ermittelt werden. Der Vollständigkeit halber sei darauf hingewiesen, dass nicht zwangsläufig alle entstehenden Messgrößen durch die komplette Verarbeitungskette weitergereicht werden müssen. So ist es beispielsweise vorteilhaft den Offset oder einen Teil des Offsets bereits im Pixel durch geeignete Maßnahmen von den Rohdaten zu subtrahieren. Dadurch wird der Dynamikbereich des Sensors effizient für die Entfernungsberechnung genutzt. Diese unabhängigen Messgrößen bezeichnen wir im Rahmen dieser Erfindung als „Rohdaten“.
5 zeigt schematisch ein 6 x 6 Laufzeitpixelarray. In einer Ausgestaltung kann es beispielsweise vorgesehen sein, das Summensignal eines jeden einzelnen Laufzeitpixels Pij als Grauwertsignal auszulesen, um hieraus beispielsweise eine 2D-Bildinformation bzw. ein Grauwertbild zu ermitteln.
Im dargestellten Beispiel ist es vorgesehen, für die Gewinnung eines Entfernungsbilds jeweils vier Laufzeitpixel zu einem Pixelblock Bi zusammenzufassen. Je nach Applikation kann es jedoch auch vorgesehen sein, wenigstens zwei oder auch mehr Laufzeitpixel zusammenzufassen.
Das Zusammenfassen bzw. das Binning der Pixel kann sowohl auf dem Lichtlaufzeitsensor selbst als auch in den nachfolgenden Baugruppen und/oder in der Software erfolgen. Auch Hardware und Software-Kombinationen sind denkbar.
Beispielsweise können bereits auf dem Lichtlaufzeitsensor Gruppen von Laufzeitpixeln zusammengefasst sein, beispielsweise vier Laufzeitpixel gem. 5. Sollte für die Applikation das Signal nicht ausreichen, können dann per Software diese Gruppen zu weiteren „Übergruppen“ zusammengefasst werden.
Unter „Zusammenfassen der Laufzeitpixel“ wird im Rahmen dieser Erfindung vornehmlich verstanden: Addieren der Rohdaten der Laufzeitpixel und zwar vorzugsweise bevor aus den Rohdaten Entfernungswerte berechnet werden. Die Addition kann auch eine gewichtete Addition sein, indem beispielsweise Pixel mit hohem Konfidenzwert höher gewichtet werden als Pixel mit geringem Konfidenzwert.
Dieses Addieren der Rohdaten kann erfindungsgemäß entweder digital nach der AD-Wandlung passieren, oder aber bereits im Pixelarray selbst durch Zusammenschalten von Pixeln zu einem neuen, entsprechend größeren Superpixel. Dabei sind vorzugsweise folgende Arten des Zusammenfassens denkbar:

Als eine mögliche Variante kann ein statisches Muster von Pixelgruppen gebildete werden (statisches Binning), das sich während der Applikation nicht ändert (z.B. 2x2, 3x3, 4x4, 1x2, 1x4, ... u.s.w.). Dieses statische Binning ist sowohl vor der AD-Wandlung der Rohdaten, als auch nach der AD-Wandlung durchführbar. Eine weitere Möglichkeit ist das sogenannte dynamische Binning. Darunter ist das Zusammenfassen von Pixelgruppen in Abhängigkeit der Szeneninformation zu verstehen. Das dynamische Binning ist ebenfalls vor und nach der AD-Wandlung denkbar, wenngleich es vorzugsweise in Kombination mit Zusatzinformationen aus einer nachgelagerten (digitalen) 2D oder 3D Bildsignalverarbeitung durchgeführt wird. Ein bevorzugter Fall ist das Erkennen eines Objektes anhand seines Grauwertbildes und die Zusammenfassung der zum Objekt gehörenden Rohdaten des time-of-flight Sensors bzw. Laufzeitsensors vor der Entfernungsberechnung. Damit würde dann für das im Grauwert erkannte Objekt nur noch eine Entfernung berechnet. Das reduziert den 3D Rechenaufwand und erhöht das S/N der 3D Messung und somit die Reichweite des Messverfahrens.

6 zeigt eine weitere erfindungsgemäße Variante, bei der die Laufzeitpixel für eine Entfernungsbestimmung in Abhängigkeit der von einer Bildverarbeitung erkannten Objekte zusammengefasst werden.
Beispielhaft ist ein erstes, zweites und drittes erkanntes Objekt Oi gezeigt. Zur Bestimmung eines Entfernungswerts werden die Pixel, von denen das erkannte Objekt Oi erfasst wird, zu einem Pixelblock für die Entfernungsbestimmung zusammengefasst.
Im dargestellten Beispiel wurden drei Objekte O1, O2, O3 erkannt und jeweils zu einem ersten, zweiten und dritten Pixelblock B1, B2, B3 für die Entfernungsbestimmung zusammengefasst. Die übrigen Laufzeitpixel sind entweder gar nicht oder nur zu kleineren Pixelblöcken zusammengefasst.
Die in 6 dargestellte Auflösung ist stark vereinfacht. Typische Lichtlaufzeitkamerasysteme realisieren beispielsweise Auflösungen von 64 x 16, 64 x 48, 80 x 60, 160 x 120, 200 x 200, 352 x 288 Pixeln oder höher. Für solche hochauflösende Systeme kann je nach Applikation die 3D-Auflösung dauerhaft geringer als die 2D-Auflösung gewählt werden.
Beispielsweise könnte für eine 200 x 200 Pixel - Kamera die 3D-Auflösung bereits auf Chip bzw. CMOS-Ebene dauerhaft auf 100 x 100 Pixel festgelegt sein, während die 2D-Auflösung des gleichen Chips bei 200x200 Pixeln bleiben würde.
Bezugszeichenliste

10: Sendeeinheit
12: Beleuchtungslichtquelle
15: Strahlformungsoptik
20: Empfangseinheit, TOF-Kamera
22: Lichtlaufzeitsensor
25: Empfangsoptik
30: Modulator
40: Objekt
400: Ausleseeinheit
Gam, G0, Gbm: Modulationsphotogate, lichtsensitiver Bereich
Ga, Gb: Akkumulationsgate, Akkumulationsvorrichtung
q: Ladungen
qa, qb: Ladungen am Akkumulationsgate Ga, Gb
Pij: Laufzeitpixel (i = 1, 2, ...; j = 1, 2, ...)
Bi: Pixelblock (i = 1, 2, ...)
Oi: Objekt (i = 1, 2, ...)

Claims

Verfahren zum Betreiben einer Lichtlaufzeitkamera, bei dem anhand der Ausgangssignale der Laufzeitpixel (Pij) Entfernungswerte ermittelt werden, wobei mehrere Laufzeitpixel (Pij) zumindest zeitweise zu Pixelblöcken (Bi) zusammengefasst werden, und für jeden Pixelblock (Bi) ein Entfernungswert ermittelt wird, wobei in einem Grauwertbild eine Objekterkennung durchgeführt wird, und ausgehend von den erkannten Objekten die Laufzeitpixel (Pij), die im Grauwertbild das erkannte Objekt erfassen, als Pixelblock (Bi) für eine gemeinsame Entfernungsbestimmung zusammengefasst werden.
Verfahren nach dem vorhergehenden Verfahrensanspruch, bei dem für die Ermittlung eines Entfernungswertes eines Pixelblocks (Bi) zunächst die Rohdaten aller Laufzeitpixel (Pij) des Pixelblocks (Bi) gemittelt werden.
Verfahren nach dem vorhergehenden Verfahrensanspruch, bei dem das Zusammenfassen von Laufzeitpixeln (Pij) zu Pixelblöcken (Bi) in Abhängigkeit von erfassten Grauwerten erfolgt.
Verfahren nach Anspruch 1 oder 3, bei dem im Unterschied zu Anspruch 2 zunächst für jedes Laufzeitpixel (Pij) Phase und Amplitude bestimmt wird, die Phasenwerte mit den zugehörigen Amplitudenwerten gewichtet werden und der Mittelwert der so gewichteten Phasenwerte als Phasenwert für den Pixelblock (Bi) gebildet wird.
Verfahren nach Anspruch 2 oder Anspruch 4, bei dem nur Laufzeitpixel (Pij) mit einer Amplitude verwendet werden, die einen definierbaren Schwellwert übersteigt.
Verfahren nach einem der vorhergehenden Verfahrensansprüche, bei dem für das erkannte Objekt ein einziger Entfernungswert ermittelt wird.
Lichtlaufzeitkamera, die zur Durchführung eines der Verfahren gemäß der vorgenannten Ansprüche ausgebildet ist.
Lichtlaufzeitkamera nach Anspruch 7 mit einem Lichtlaufzeitsensor (22) umfassend ein Array aus Laufzeitpixeln (Pij), mit einer Auswerteeinheit, die derart ausgestaltet ist, dass ausgehend von den Ausgangssignalen der Laufzeitpixel (Pij) Entfernungswerte ermittelbar sind, wobei mehrere Laufzeitpixel (Pij) zumindest zeitweise zu Pixelblöcken (Bi) zusammenfassbar sind, und dass die Auswerteeinheit derart ausgestaltet ist, dass für jeden Pixelblock (Bi) ein Entfernungswert ermittelbar ist.
Lichtlaufzeitkamera nach Anspruch 8, bei dem der Lichtlaufzeitsensor (22) Schaltelemente aufweist, die ein Zusammenfassen von Laufzeitpixeln (Pij) zu Pixelblöcken (Bi) erlaubt.
Lichtlaufzeitkamera nach einem der Ansprüche 8-9 bei der die Auswerteeinheit derart ausgestaltet ist, dass die Pixelblöcke (Bi) in Abhängigkeit erfasster Grauwerte gebildet werden.
Lichtlaufzeitkamera nach Anspruch 8, bei dem die Auswerteeinheit derart ausgestaltet ist, dass für ein Laufzeitpixel ein Grauwert aus elektrischen Signalen des Laufzeitpixels (Pij) und/oder aus elektrischen Signalen eines dem Laufzeitpixel (Pij) zugeordneten Sensors ermittelt wird.