DE102014013099B4

DE102014013099B4 - Verfahren und Vorrichtung zur vereinfachten Erfassung eines Tiefenbildes

Info

Publication number: DE102014013099B4
Application number: DE102014013099.1A
Authority: DE
Inventors: Jörg Kunze
Original assignee: Basler AG
Current assignee: Basler AG
Priority date: 2014-09-03
Filing date: 2014-09-03
Publication date: 2019-11-14
Anticipated expiration: 2034-09-04
Also published as: JP2017530344A; DE102014013099A1; WO2016034408A1

Abstract

Verfahren zum Bestimmen einer Entfernungsinformation für ein dreidimensionales Bild aus einem Laufzeitunterschied oder einer Phasenverschiebung zwischen einem von einer Lichtquelle (23) einer Lichtlaufzeitkamera (20) emittierten Lichtsignal (L) und einem von einem Bildsensor (28) der Lichtlaufzeitkamera (20) durch Streuung oder Reflektion des emittierten Lichtsignals (L) empfangenen Lichtsignal (D), wobei das Verfahren umfasst:
- Steuern der Lichtquelle (23) zum Aussenden mindestens eines Lichtimpulses mit vorbestimmter Dauer (tl) als das emittierte Lichtsignal (L);
- mindestens einmaliges erstes Öffnen und Schließen eines elektrischen Verschlusses des Bildsensors (28) mittels eines ersten Steuersignals (C0), wobei dabei aus dem im ersten geöffneten Zustand des elektrischen Verschlusses empfangenen Lichtsignal ein erstes Signal (S0) erhalten wird;
- mindestens einmaliges zweites Öffnen und Schließen des elektrischen Verschlusses des Bildsensors (28) mittels eines zweiten Steuersignals (C1), wobei dabei aus dem im zweiten geöffneten Zustand des elektrischen Verschlusses empfangenen Lichtsignal ein zweites Signal (S1) erhalten wird; und
- mindestens einmaliges drittes Öffnen und Schließen des elektrischen Verschlusses des Bildsensors (28) mittels eines dritten Steuersignals (C2), wobei dabei aus dem im dritten geöffneten Zustand des elektrischen Verschlusses empfangenen Lichtsignal ein drittes Signal (S2) erhalten wird;
- wobei die zeitliche Dauer (ts) der den ersten bis dritten geöffneten Zustand des elektrischen Verschlusses bestimmenden Impulse der ersten bis dritten Steuersignale (C0, C1, C2) jeweils gleich ist;
- wobei die Phasenverschiebung (phi1) zwischen dem ersten Steuersignal (C0) und dem zweiten Steuersignal (C1) gleich der Phasenverschiebung (phi2) zwischen dem zweiten Steuersignal (C1) und dem dritten Steuersignal (C2) ist, und
- wobei das Verfahren ferner umfasst:
- Berechnung der Entfernungsinformation des dreidimensionalen Bilds anhand der Werte der drei Signale (S0, S1, S2) basierend auf einer Fallunterscheidung für verschiedene durch gegenseitige Größenverhältnisse der Werte der drei Signale (S0, S1, S2) festgelegte Bereiche, wobei die Entfernung, die Intensität des Umgebungslichts und die Intensität des einfallenden Lichts berücksichtigt sind.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Erfassung eines dreidimensionalen Tiefenbildes basierend auf einer Bildinformation aus einem Bildsensor mit ein- oder zweidimensionaler Bildpunktanordnung.
Zum elektronischen Erfassen von Bildern werden heutzutage meist digitale Kameras eingesetzt. Eine solche digitale Kamera ist beispielsweise in der US 4 131 919 A und in der EP 2 367 360 A2 beschrieben und wird hier nachfolgend als konventionelle digitale Kamera bezeichnet. Mit Hilfe konventioneller digitaler Kameras werden Helligkeitsbilder aufgenommen. In einem solchen Helligkeitsbild sind den Pixeln Helligkeitswerte zugeordnet.
1 zeigt einen schematischen Aufbau einer konventionellen Digitalkamera 10, die eine aus Objekten 17 bestehende Szene 11 aufnimmt, indem das Bild mittels einer Optik 12, z.B. mittels eines Objektivs, auf mindestens einen Bildsensor 13 abgebildet wird, dessen Signale von einer elektronischen Bildverarbeitungseinrichtung 14 in ein digitales Bild gewandelt werden, das mittels einer Schnittstelle 15 über eine Signalübertragungsleitung 16 ausgegeben wird. Dabei ist es möglich, dass in der elektronischen Bildverarbeitungseinrichtung 14 zuvor eine Speicherung erfolgt oder dass die Signalübertragungsleitung 16 zu einem Speichermedium (nicht gezeigt) führt, in dem das Bild gespeichert wird.
2 zeigt einen schematischen Aufbau eines Bildsensors 170 für konventionelle Kameras, der nachfolgend als konventioneller Bildsensor bezeichnet wird. Solche Bildsensoren bestehen meist aus einer periodischen Anordnung von Bildpunkten 171 (nachfolgend als Pixel bezeichnet). Vorwiegend eindimensionale Anordnungen werden als Zeilensensoren und vorwiegend zweidimensionale Anordnungen werden als Flächensensoren bezeichnet. Bei dem in 2 gezeigten Bildsensor handelt es sich somit um einen Flächensensor mit konventionellen Pixeln 171. Unabhängig von der Technologie ist den Pixeln 171 dabei gemeinsam, dass sie jeweils einen lichtempfindlichen Bereich 172, typischerweise eine Photodiode (PD) oder eine sogenannte Pinned-Photo-Diode (PPD) aufweisen, welche so ausgestaltet ist, dass sie während einer Belichtungszeit in Abhängigkeit des einfallenden Lichts eine elektrische Größe erzeugt, die ein Maß für die Menge des von dem betreffenden Pixel empfangenen Lichts darstellt. Diese elektrische Größe kann eine Ladung, eine Spannung, ein Strom oder auch ein zeitcodiertes Signal, wie beispielsweise eine Impulsfolge, sein.
Häufig sind solche Bildsensoren als sogenannte ladungsgekoppelte Anordnung (Charge-Coupled Device, CCD) aufgebaut, wie beispielsweise in der US 4 194 213 A beschrieben. Eine besondere Form von CCDs bilden die sogenannten Zwischenzeilen-Verschiebungs-CCDs (Interline-Transfer-CCDs), die beispielsweise in der US 4 656 519 A oder in der EP 2 150 039 A1 erläutert werden.
Eine aktuellere Technologie bilden die sogenannten Complementary Metal-Oxide-Semiconductor (CMOS) Bildsensoren. Diese verfügen heutzutage zumeist über aktive Pixel, wie sie beispielsweise in der US 5 471 515 A beschrieben werden. Es sind zahlreiche verschiedene Schaltkreise für aktive Pixel für CMOS-Bildsensoren bekannt, unter anderem solche, die einen rollenden elektronischen Verschluss, einen sogenannten Electronic Rolling Shutter (ERS) aufweisen. Ein Schaltkreis für einen solchen Pixel ist in der US 5 841 126 A gezeigt. Andere aktive Pixel können einen sogenannten Global Shutter (GS) bilden, wie beispielsweise in der US 6 667 768 B1 offenbart ist. Hier werden Pixel für konventionelle Bildsensoren ungeachtet der Technologie, in der sie ausgeführt sind, also CCD oder CMOS, als konventionelle Pixel bezeichnet.
In GS-Pixeln gibt es darüber hinaus typischerweise einen Signalspeicher 173, wie in 2 gezeigt, in dem Ladungen oder Spannungen gespeichert werden können. Oftmals handelt es sich dabei in CMOS-Pixeln um eine sogenannte Floating Diffusion (FD), während die Speicherung der Ladung in CCDs häufig in sogenannten Metal-Oxide Semiconductor (MOS) Dioden erfolgt.
Es gibt in Bildsensoren für konventionelle Kameras auch solche Pixel, die mit mehr als einem Signalspeicher ausgestattet sind, beispielsweise um eine sogenannte korrelierte Doppelabtastung (Correlated Double Sampling, CDS) auszuführen, oder um einen erweiterten Dynamikbereich (HDR) zu erzielen. Ein Beispiel dazu ist in der US 2012 / 0 193 516 A1 offenbart.
Den vorgenannten Pixelarchitekturen gemäß 2 ist gemeinsam, dass es jeweils nur höchstens einen Signalweg 174 gibt, mit dem die elektrische Größe vom lichtempfindlichen Bereich zu dem mindestens einen zugehörigen Signalspeicher übertragen wird, sofern dieser von dem lichtempfindlichen Bereich baulich getrennt ist. In manchen Fällen, wie beispielsweise in der US 6 667 768 B1 ist der lichtempfindliche Bereich zwar noch über einen Steuerweg 175 an einen elektrischen Verschluss angeschlossen, beispielsweise an einen sogenannten Rücksetz-Transistor (Reset-Transistor), jedoch bildet dieser Steuerweg 175 keinen zweiten Signalweg zu einem Signalspeicher, sondern verbindet den lichtempfindlichen Bereich lediglich mit einer Versorgungsspannung, damit die Ladung außerhalb der Belichtungszeit aus dem Pixel entfernt wird.
Es gibt einfarbige Kameras, die als monochrom bezeichnet werden. Monochrome Kameras verfügen nicht über die Fähigkeit, bei der Bildaufnahme zwischen verschiedenen Farben zu unterscheiden. Daneben gibt es auch Farbkameras, die eine solche Unterscheidung zwischen verschiedenen Farben erkennen können. Beispielsweise können sie einen Bildsensor verwenden, der einen sogenannten Mosaikfilter mit verschiedenen Farben aufweist, wie er in der US 3 971 065 A beschrieben ist.
Weiterhin gibt es dreidimensionale (3D) Kameras, die sogenannte Entfernungsbilder oder Tiefenbilder erzeugen bei denen den Pixeln Entfernungswerte zugeordnet werden, die ein Maß für die Entfernung zwischen der Kamera und dem Objekt darstellen.
Dabei ist es möglich, dass die Tiefenbilder direkt ausgegeben werden, oder dass intern weitere Verarbeitungsschritte erfolgen, beispielsweise das Erzeugen sogenannter Punktwolken aus 3D-Koordinaten oder die Interpretation der Tiefenbilder beispielsweise als Geste einer Hand.
In letzter Zeit werden vermehrt dreidimensional aufnehmende Lichtlaufzeitkameras angeboten, die eine lichtlaufzeitbasierte Entfernungsmessung vornehmen und als Timeof-Flight-Kameras (TOF-Kameras) bezeichnet werden, wie beispielsweise in der DE 10 2011 089 636 A1 offenbart.
3 zeigt einen schematischen Aufbau einer ToF-Kamera 20, die eine Synchronisationseinheit 21 aufweist, welche eine elektronische Steuereinrichtung 22 für eine Lichtquelle 23 mittels eines Steuersignals 33 dergestalt ansteuert, dass diese Lichtquelle 23 zeitlich moduliertes Licht oder Lichtimpulse aussendet. Die ausgesandten Lichtstrahlen 34 und 36 werden von Objekten 25 und 26 gestreut oder reflektiert und gelangen teils als Objektlichtstrahlen 35 und 37 zurück zur Kamera, wobei sie verzögert werden, da sie die notwendige Strecke mit etwa Lichtgeschwindigkeit zurücklegen. Dort werden sie mit einer Optik 27, z.B. mit einem Objektiv, auf den Bildsensor 28 abgebildet. Der Bildsensor 28 wird seinerseits mittels eines Ansteuersignals 32 von der Synchronisationseinheit 21 so angesteuert, dass er eine Demodulation der Objektlichtstrahlen vornimmt. Aus den vom Bildsensor 28 gelieferten Rohdaten werden dann in einer Recheneinheit 29 Tiefenbilder erzeugt, die über eine Schnittstelle 30 an eine Übertragungsleitung 31 ausgegeben werden.
Solche ToF-Kameras verfügen häufig über besondere ToF-Bildsensoren zur Messung von Entfernungen, wie sie beispielsweise aus der DE 197 04 496 C2 , der US 8 115 158 B2 oder der US 2012 / 0 176 476 A1 bekannt sind. Diese Bildsensoren arbeiten häufig mit Pixeln, die mit sogenannten Photomischdetektoren (PMD) ausgestattet sind oder nach einem verwandten Prinzip arbeiten. Diese Pixel werden nachfolgend als Demodulationspixel bezeichnet und die Bildsensoren als Demodulationssensoren.
4 zeigt einen schematischen Aufbau eines ToF-Demodulationssensors 180 mit Demodulationspixeln 282. Solche Demodulationspixel 181 weisen die Gemeinsamkeit auf, dass darin jeweils ein lichtempfindlicher Bereich 182 vorhanden ist, der mit mindestens zwei verschiedenen Signalspeichern 183 und 184 über mindestens zwei verschiedene Signalwege 185 und 186 verbunden ist. Häufig ist in solchen Demodulationspixeln auch die Ausleseelektronik für die mindestens zwei Signalspeicher mehr als einmal pro Pixel vorhanden. Demodulationspixel werden überwiegend zusammen mit Lichtquellen verwendet, die im sogenannten Dauerstrichbetrieb („Continuous Wave“ (CW) Betrieb) arbeiten. Dabei kommt sehr häufig sinusförmig moduliertes Licht zum Einsatz oder Licht mit einem Puls-Pausen-Verhältnis von ca. 50%.
Solche Bildsensoren mit Demodulationspixel werden speziell für ToF-Anwendungen hergestellt. Sie sind im Allgemeinen aufwändiger und damit teurer als vergleichbare konventionelle Bildsensoren oder sie weisen bei gleichem Preis weniger Pixel und somit eine geringere räumliche Auflösung auf. Ein Grund dafür liegt darin, dass Demodulationspixel für ihre charakteristische Mehrzahl an Signalwegen eine aufwändigere Elektronik benötigen, als konventionelle Pixel. Dadurch weisen sie gegenüber den konventionellen Pixeln einen erhöhten Platzbedarf auf, der zu einem höheren Ressourcenbedarf, beispielsweise an Chipfläche, führt. Weiterhin sinkt dadurch bei einem Demodulationspixel gegenüber einem konventionellen Pixel der für den lichtempfindlichen Bereich zur Verfügung stehende Flächenanteil an der Gesamtfläche des Pixels. Dadurch sind konventionelle Pixel im Allgemeinen lichtempfindlicher als Demodulationspixel. Schließlich werden derzeit konventionelle Bildsensoren in weit höherer Stückzahl produziert als ToF-Bildsensoren, woraus sich ein weiterer Preisvorteil für die konventionellen Bildsensoren ergibt. Aus diesen Gründen wäre es vorteilhaft, konventionelle Bildsensoren mit konventionellen Pixeln auch für ToF-Kameras bereitstellen zu können.
Die konventionellen Pixel in konventionelle Bildsensoren weisen hingegen, wie oben erwähnt, meist nur einen Signalweg und häufig auch nur einen Signalspeicher auf. Auch mit solchen Bildsensoren können jedoch grundsätzlich ToF-Entfernungsbilder aufgenommen werden.
Aus der US 5 081 530 A ist ein Verfahren bekannt, bei dem ein ToF-Bild mit einem konventionellen Interline-CCD (ILCCD) Bildsensor aufgenommen wird. Dieses Verfahren weist jedoch den Nachteil auf, dass es nur bei dunklen Szenen ohne Umgebungslicht anwendbar ist (abgesehen vom Pulslicht). Ursache dafür ist, dass die in dem CCD gesammelte Elektronenzahl N1 und N2 durch das Umgebungslicht um die Zahl NU additiv erhöht werden, also zu N1+NU und N2+NU, sodass dann die Entfernung unter Verwendung der Formel R/2 * (N1-N2)/(N1+N2) + R/2 fälschlicherweise als R/2 * (N1-N2)/(N1+N2+2*NU) + R/2 berechnet wird. Die mit dem Umgebungs- oder Hintergrundlicht verbundene Problematik wird beispielsweise in der DE 197 04 496 C2 als Gleichanteil und in der EP 1 040 366 B1 als Umgebungslicht diskutiert. Weiterhin erfordert die Tatsache, dass in der US 5 081 530 A nur ein einziger Lichtimpuls pro Bild verwendet wird, eine sehr leistungsstarke und somit auch teure Pulslichtquelle.
Ein weiteres Verfahren zum Aufnehmen eines ToF-Bilds mittels eines konventionellen CMOS-Bildsensors ist aus der EP 1 040 366 B1 bekannt. Hier wird unter anderem vorgeschlagen, zur Ermittlung eines Entfernungsbildes drei verschiedene Rohbilder (dort als Sensorsignale bezeichnet) aufzunehmen, nämlich ein erstes Bild mit Dunkelstrom und Umgebungslicht, ein zweites Rohbild, bei dem abhängig von der Lichtlaufzeit ein Teil des empfangenen Lichts integriert wird, und ein drittes Signal mit einer höheren Integrationszeit. In einer anderen Ausführungsform werden Dunkelstrom und Umgebungslicht zweimal aufgenommen, nämlich mit kurzer und mit langer Integrationszeit.
Darüber hinaus gibt es auch konventionelle Bildsensoren mit Pixeln, die nicht mehr als einen Signalweg, jedoch mehr als einen Signalspeicher, aufweisen. Ein Beispiel für eine solche Pixelarchitektur findet sich beispielsweise für einen CCD-Bildsensor in der US 8 576 319 B2 und für einen CMOS Bildsensor in der EP 2 109 306 A2 .
Die US 2001 / 0 046 317 A1 offenbart eine Vorrichtung zur Steuerung einer ToF-Bildaufzeichnung. Eine elektrische Verschlusseinrichtung wird mittels eines Steuersignals mit mindestens drei verschiedenen impulsförmigen Signalformen mit fester Phasenbeziehung zu zumindest einem von einer gesteuerten Lichtquelle abgegebenen Lichtimpuls geöffnet bzw. geschlossen, um mindestens drei Signale zu erfassen. Die Berechnung der Entfernungsinformation erfolgt dabei durch Auswertung der Laufzeitunterschiede der vom Bildsensor erfassten Empfangsimpulskomponenten mit anschließender Mittelwertbildung.
Die US 7 554 652 B1 schlägt vor, die Entfernung eines Objektes von einem Entfernungsmessgerät dadurch zu bestimmen, dass eine normalisierte Entfernungsmessung durch Verhältnisbildung der in verschiedenen Zeitfenstern erfassten Energieinhalte des Reflektionslichts erfolgt. Das Ergebnis der normalisierten Entfernungsmessung führt dann über eine entsprechende Kalibrierungskurve oder eine Speichertabelle zur entsprechenden Entfernung.
Die US 2006 / 0 197 937 A1 offenbart eine Entfernungsmessung, bei der mehrere Pixel-Detektoren mit einem eigenen Ladungsakkumulator und einer eigenen elektronischen Verschlusseinrichtung ausgestattet ist. Die Verschlusseinrichtung wird beim Aussenden eines Impulses geöffnet und nach einer vorbestimmten Zeitdauer wieder geschlossen, sodass die auf den zugehörigen Pixeldetektor eingefallene Ladungsmenge ein direktes Maß für die ToF-Zeitdauer ist.
Schließlich offenbart die WO 2003/016 944 A2 ein Verfahren zur Aufnahme eines dreidimensionalen Abstandsbilds, wobei ein CMOS-Fotosensor mit bildpunktweise einstellbarer Integrationszeit und eine Lichtimpulsbeleuchtung verwendet werden. Für die Bestimmung der Abstandswerte wird durch Triggersignale sendeseitig das Aussenden der Lichtimpulse und empfangsseitig das Öffnen eines elektronischen Shutters, gleichbedeutend mit dem Öffnen eines Integrationsfensters, am CMOS-Fotosensor gesteuert. Dabei werden ein ausgesendeter Laserimpuls und die Integrationsfenster zeitlich mit wachsender Zeitverzögerung gegeneinander verschoben, wobei mit jeweils schrittweise ansteigender Triggerverzögerung mindestens ein Lichtimpuls gesendet wird. Zur Verringerung der Laserimpulsleistung werden bei möglichst allen Triggerverzögerungen Mehrfachbelichtungen angewandt. Bei Korrelation der eingestellten Verzögerung mit der Lichtlaufzeit des korrespondierenden Objektpunktes ergibt sich ein Maximum im integrierten Signal. Der Abstandswert kann somit anhand der für die größte Übereinstimmung zwischen Zeitfenster und zurückreflektiertem Lichtimpuls ermittelten Triggerverzögerung definiert werden.
Der Erfindung liegt die Aufgabe zugrunde, eine Lichtlaufzeitkamera bereitzustellen, welche Tiefendaten mit hoher Messqualität und hoher Bildauflösung liefern kann.
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren nach Anspruch 1, ein Kamerasystem nach Anspruch 13, eine Lichtlaufzeitkamera nach Anspruch 15, eine Vorrichtung nach Anspruch 16 und ein Computerprogramm nach Anspruch 17.
Dementsprechend werden die Lichtquelle der Lichtlaufzeitkamera zur Abgabe von zumindest einem Lichtimpuls und der Bildsensors zur Demodulation des empfangenen Lichtsignals mittels einer jedem Bildpunkt des Bildsensor zugeordneten elektrischen Verschlusseinrichtung gesteuert, wobei die elektrische Verschlusseinrichtung mindestens dreimal mit fester Phasenbeziehung zu dem zumindest einen Lichtimpuls getaktet (d.h. geöffnet und geschlossen) wird, um mindestens drei Signale zu erfassen, wobei die zeitliche Dauer des Öffnens der elektrischen Verschlusseinrichtung jeweils gleich ist, und wobei die Phasenverschiebung zwischen dem ersten Öffnen und dem zweiten Öffnen gleich der Phasenverschiebung zwischen dem zweiten Öffnen und dem dritten Öffnen ist. Die Berechnung der Entfernungsinformation des dreidimensionalen Bilds erfolgt anhand der Werte der drei Signale basierend auf einer Fallunterscheidung für verschiedene durch gegenseitige Größenverhältnisse der Werte der drei Signale festgelegte Bereiche, wobei die Entfernung, die Intensität des Umgebungslichts und die Intensität des einfallenden Lichts berücksichtigt sind.
Es werden also zumindest drei Subbilder aufgenommen, wobei die Verschlusseinrichtung (Shutter) so getaktet ist, dass die Phasenverschiebung zwischen Lichtimpuls und Shutter durch die verschiedenen Phasenlagen der Taktung zwischen den Subbildern variiert wird. Dadurch werden pro Bildpunkt drei Messwerte erhalten. Diese können einem Operator zugeführt werden, der bspw. analog zu einem Hue-Operator aufgebaut sein kann und einen Drehwinkel um die Raumdiagonale des SO-S1-S2-Raumes ermittelt. Mittels einer Proportionalitätskonstante kann dieser dann in die gewünschte Entfernungsinformation umgerechnet werden.
Somit kann durch die erfindungsgemäße Losung eine Bildverarbeitung mit lediglich einem Signalpfad pro Bildpunkt des Bildsensors bereitgestellt werden, wodurch die herkömmlichen bildsensorabhängigen Vorteile der geringen Komplexität, der Rauscharmut, der hohen lateralen Auflösung und der hohen Bildrate auch bei Lichtlaufzeitkameras beibehalten werden können.
Durch die erfindungsgemäße Möglichkeit der Verwendung konventioneller Bildsensoren in ToF-Kameras ist es möglich, mit ein und derselben Kamera sowohl konventionelle Bilder als auch Entfernungsbilder aufzunehmen.
Optional können auch Farbbildsensoren verwendet werden. Da üblicherweise die im Bayer-Pattern verwendeten Farbfilter für infrarotes Licht transparent sind, kann bei der heutzutage üblichen Verwendung einer infraroten Lichtquelle auch mit einem konventionellen Farbbildsensor ein Entfernungsbild aufgenommen werden. Dieses bietet den Vorteil, dass es dadurch möglich wird, mit ein und derselben ToF-Kamera sowohl Farbbilder als auch Entfernungsbilder aufzunehmen.
Vorzugsweise kann die Phasenverschiebung zwischen dem ersten Steuersignal und dem zweiten Steuersignal und die Phasenverschiebung zwischen dem zweiten Steuersignal und dem dritten Steuersignal in Bezug auf die Periodendauer des Lichtimpulses jeweils 120° betragen.
Gemäß einer ersten vorteilhaften Weiterbildung kann die Phasenverschiebung zwischen dem Zeitpunkt des Öffnens der elektrischen Verschlusseinrichtung durch das erste der drei Steuersignale und dem Zeitpunkt der Abgabe des Lichtimpulses in Bezug auf die Periodendauer des Lichtimpulses -60° betragen. Ferner kann die zeitliche Dauer der impulsförmigen Steuersignale für das Öffnen der elektrischen Verschlusseinrichtung in Bezug auf die Periodendauer des Lichtimpulses einem Phasenwinkel von 180° und die Dauer des Lichtimpulses in Bezug auf die Periodendauer des Lichtimpulses einem Phasenwinkel von 60° entsprechen. Hierdurch kann für die Impulslänge des Lichtimpulses ein besonders großer Entfernungsmessbereich erzielt werden. Unter Beibehaltung der vorgenannten Zeitverhältnisse kann bei einer Erhöhung der Periodendauer des Lichtimpulssignals eine vorteilhafte Vermeidung des unerwünschten Tiefenaliasing erreicht werden.
Gemäß einer zweiten vorteilhaften Weiterbildung kann die Phasenverschiebung zwischen dem Zeitpunkt des Öffnens der elektrischen Verschlusseinrichtung durch das erste der drei Steuersignale und dem Zeitpunkt der Abgabe des Lichtimpulses in Bezug auf die Periodendauer des Lichtimpulses 0° betragen. Ferner kann die zeitliche Dauer der impulsförmigen Steuersignale für das Öffnen der elektrischen Verschlusseinrichtung in Bezug auf die Periodendauer des Lichtimpulses einem Phasenwinkel von 60° und die zeitliche Dauer des Lichtimpulses in Bezug auf die Periodendauer des Lichtimpulses einem Phasenwinkel von 180° entsprechen. Dies ermöglicht eine hohe Messqualität bei allerdings verkleinertem Messbereich. Auch hier kann unter Beibehaltung der vorgenannten Zeitverhältnisse bei einer Erhöhung der Periodendauer des Lichtimpulssignals eine vorteilhafte Vermeidung des unerwünschten Tiefenaliasing erreicht werden.
Gemäß einer dritten vorteilhaften Weiterbildung kann die Phasenverschiebung zwischen dem Zeitpunkt des Öffnens der elektrischen Verschlusseinrichtung durch das erste der drei Steuersignale und dem Zeitpunkt der Abgabe des Lichtimpulses in Bezug auf die Periodendauer des Lichtimpulses 0° betragen, wobei aber hier die zeitliche Dauer der impulsförmigen Steuersignale für das Öffnen der elektrischen Verschlusseinrichtung in Bezug auf die Periodendauer des Lichtimpulses einem Phasenwinkel von 180° und auch die Dauer des Lichtimpulses in Bezug auf die Periodendauer des Lichtimpulses einem Phasenwinkel von 180° entsprechen kann. Dies ermöglicht eine hohe Messqualität mit geringen nichtlinearen Fehlern. Wiederum kann unter Beibehaltung der vorgenannten Zeitverhältnisse bei einer Erhöhung der Periodendauer des Lichtimpulssignals eine vorteilhafte Vermeidung des unerwünschten Tiefenaliasing erreicht werden.
Gemäß einer vierten vorteilhaften Weiterbildung kann die Phasenverschiebung zwischen dem Zeitpunkt des Öffnens der elektrischen Verschlusseinrichtung durch das erste der drei Steuersignale und dem Zeitpunkt der Abgabe des Lichtimpulses in Bezug auf die Periodendauer des Lichtimpulses 0° betragen, wobei aber nunmehr die zeitliche Dauer der impulsförmigen Steuersignale für das Öffnen der elektrischen Verschlusseinrichtung in Bezug auf die Periodendauer des Lichtimpulses einem Phasenwinkel von 120° und auch die Dauer des Lichtimpulses in Bezug auf die Periodendauer des Lichtimpulses einem Phasenwinkel von 120° entspricht. Diese Modifikation der Phasenverhältnisse ermöglicht ein Ermitteln der Entfernung mit besonders geringem Rechenaufwand und damit verbundenen geringeren Ressourcen. Schließlich kann auch hier unter Beibehaltung der vorgenannten Zeitverhältnisse bei einer Erhöhung der Periodendauer des Lichtimpulssignals eine vorteilhafte Vermeidung des unerwünschten Tiefenaliasing erreicht werden.
Vorzugsweise kann die vorgeschlagene Lichtlaufzeitkamera eine Recheneinrichtung aufweisen zur Berechnung der Entfernungsinformation des dreidimensionalen Bilds anhand der Werte der drei Signale basierend auf einer Fallunterscheidung für verschiedene durch gegenseitige Größenverhältnisse der Werte der drei Signale festgelegte Bereiche. Die Recheneinrichtung kann vorteilhaft so ausgestaltet sein, dass die Gültigkeit der berechneten Entfernungsinformation anhand eines Verhältnisses zwischen Signalqualität und Rauschen bestimmt wird. Ergänzend oder alternativ kann die Recheneinrichtung so ausgestaltet sein, dass eine Entscheidung über die Gültigkeit der berechneten Entfernungsinformation anhand des Sättigungsgrades der drei Signale erfolgt.
Erfindungsgemäß ergibt sich gegenüber Lichtlaufzeitkameras mit Demodulationssensoren als weiterer Vorteil, dass für das ausgesendete Lichtsignal ein Puls-Pausenverhältnis verwendet werden kann, das kleiner oder sogar sehr viel kleiner als 50% ist. Dadurch ergibt sich eine geringere Empfindlichkeit gegenüber Umgebungslicht und somit eine verbesserte Messqualität. Dies ermöglicht Kameraanwendungen bei starkem Umgebungslicht, z.B. durch Sonnenlicht oder Studioscheinwerfer.
Die Komponenten der zur Lösung der vorgenannten Aufgabe vorgeschlagene Vorrichtung bzw. Lichtlaufzeitkamera können einzeln oder gemeinsam als diskrete Schaltkreise, integrierte Schaltkreise (z.B. Application-Specific Integrated Circuits (ASICs)), programmierbare Schaltkreise (z.B. Field Programmable Gate Arrays (FPGAs)) realisiert sein. Insbesondere die Recheneinheit kann durch ein FPGA als zentrales Bauteil realisiert sein. Ferner können die Schritte des Verfahrensanspruchs als Software-Programm oder Software-Routine zur Steuerung des Prozessors einer Computervorrichtung zu deren Ausführung realisiert sein.
Nachfolgend wird die vorliegende Erfindung anhand_bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Zeichnungsfiguren näher erläutert. Es zeigen:

1 einen schematischen Aufbau einer konventionellen Digitalkamera;
2 einen schamtischen Aufbau eines konventionellen Bildsensors;
3 einen schematischen Aufbau einer ToF-Kamera;
4 eine schematischen Aufbau eines ToF-Demodulationssensors mit Demodulatlonspixeln;
5(a)-(d) schematische Zeitdiagramme für eine ToF-Kamera gemäß einem ersten Ausführungsbeispielen;
6(a)-(e) schematische Zeitdiagramme zur Erläuterung der Zeitsteuerung für Licht- und Steuersignale gemäß dem ersten Ausführungsbeispiel;
7(a) und (b) schematische Zeitdiagramme mit Signalverläufen und Entfernungsermittlung für das erste Ausführungsbeispiel;
8 eine Formel zur Ermittlung der Entfernung in dem ersten Ausführungsbeispiel;
9 (a) und (b) Bahnkurven der S-Vektoren im S-Raum gemäß dem Stand der Technik bzw. gemäß dem erstes Ausführungsbeispiel;
10 (a) und (b) Zeitdiagramme zur Erläuterung einer Verschiebung eines Messbereichs zu einer minimalen Entfernung;
11 eine Formel zur Ermittlung der Entfernung d bei einem verschobenem Messbereich;
12 (a) und (b) Signalverläufe zur Erläuterung einer anderen Verschiebung eines Messbereichs zu einer minimalen Entfernung;
13 eine Formel zur Ermittlung der Entfernung d bei einem weiter verschobenem Messbereich;
14 ein Diagramm mit Signalverläufen unter Berücksichtigung des Abstandsgesetzes;
15 eine Formel zur Berechnung des Tiefenrauschens;
16 eine Formel zur Bestimmung der Gültigkeit von Entfernungswerten;
17 ein Diagramm zur Darstellung einer Approximation des Rauschens mittels einer vereinfachten Näherungsfunktion;
18 ein Zeitdiagramm mit dem Signalverlauf eines idealen und eines realen Lichtimpulses;
19 ein Diagramm mit dem Kurvenverlauf einer real gemessenen Entfernung in Abhängigkeit der Zeitdifferenz;
20 Zeitdiagramme mit einer Zeitsteuerung gemäß einem zweiten Ausführungsbeispiel;
21 (a) und (b) Diagramme mit resultierenden Signalverläufen gemäß dem zweiten Ausführungsbeispiel;
22 eine Formel zur Ermittlung der Entfernung d bei dem zweiten Ausführungsbeispiel;
23 (a) und (b) Zeitdiagramme mit Spitzenwert und Mittelwert eines pulsfrequenzmodulierten Signals bei verschiedenen Pulswiederholfrequenzen;
24 Zeitdiagramme mit einer Zeitsteuerung gemäß einem dritten Ausführungsbeispiel;
25 eine Formel zur Berechnung des Tiefenrauschens bei dem dritten Ausführungsbeispiel;
26 eine Formel zur Bestimmung der Gültigkeit von Entfernungswerten des dritten Ausführungsbeispiels;
27 Zeitdiagramme mit einer Zeitsteuerung gemäß einem vierten Ausführungsbeispiel;
28 Zeitdiagramme mit einer Zeitsteuerung gemäß einem fünften Ausführungsbeispiel;
29 Diagramme mit resultierenden Signalverläufen gemäß dem fünften Ausführungsbeispiel;
30 (a) und (b) eine Bahnkurve der S-Vektoren für das fünfte Ausführungsbeispiel aus zwei verschiedenen Blickrichtungen;
31 eine Formel zur Ermittlung der Entfernung aus den Signalendes fünften Ausführungsbeispiels;
32 einen Kurvenverlauf einer real gemessenen Entfernung in Abhängigkeit der Zeitdifferenz für das fünfte Ausführungsbeispiel;
33 Zeitdiagramme mit einer Zeitsteuerung gemäß einem sechsten Ausführungsbeispiel;
34 Diagramme mit resultierenden Signalverläufen gemäß dem sechsten Ausführungsbeispiel;
35 eine Formel zur Bestimmung der Entfernung im sechsten Ausführungsbeispiel;
36 Zeitdiagramme mit einer Zeitsteuerung gemäß einem siebten Ausführungsbeispiel;
37 Diagramme mit resultierenden Signalverläufen gemäß dem siebten Ausführungsbeispiel;
38 (a) und (b) eine Bahnkurve der S-Vektoren für das siebte Ausführungsbeispiel aus zwei verschiedenen Blickrichtungen;
39 eine Formel zur Bestimmung der Entfernung im siebten Ausführungsbeispiel;
40 eine Formel zur Berechnung des Tiefenrauschens bei dem siebten Ausführungsbeispiel;
41 Zeitdiagramme mit einer Zeitsteuerung gemäß einem achten Ausführungsbeispiel;
42 Diagramme mit resultierenden Signalverläufen gemäß dem achten Ausführungsbeispiel; und
43 eine Formel zur Bestimmung der Entfernung im achten Ausführungsbeispiel.

Gemäß den nachfolgenden Ausführungsbeispielen wird eine ToF-Kamera mit modifizierter und dadurch effektiverer Bildverarbeitung beschrieben.
5 (a) bis (d) zeigen Zeitdiagramme mit Signalverläufen zur Erläuterung einer Zeitsteuerung gemäß einem ersten Ausführungsbeispiel für den Betrieb einer ToF-Kamera gemäß 3 mit einem Bildsensor 28, der vorzugsweise ein konventioneller Bildsensor gemäß 2 ist. Dabei zeigt 5 (a) die Zeitsteuerung für das Aussenden von Licht L von der Lichtquelle 23 in der Kamera 20 mit zwei verschiedenen Intensitätspegeln „0“ und „1“ über der Zeit t. Beispielsweise wird bei dem Pegel „1“ Licht ausgesendet und bei dem Pegel „0“ kein Licht ausgesendet. Dabei wird das Licht als zeitlich begrenzter Lichtimpuls 40 ausgesendet, der eine zeitliche Pulslänge tl besitzt und mit einer Periode tp nach einer Totzeit to optional als zweiter Lichtimpuls 60 und dritter Lichtimpuls 61, und so weiter, wiederholt wird. Zum vereinfachten Verständnis der Zeit- bzw. Phasenzusammenhänge wird hier die Periode tp mit 360° gleichgesetzt. Im gezeigten Beispiel entspricht dann die Pulslänge tl des Lichtsignals einem Phasenwert von 60°, denn tl = 1/6 * tp und entsprechend to = 5/6 * tp.
In der Kamera 20 gemäß 3 wird durch den Bildsensor 28 einfallendes Licht D detektiert. Der zughörige Signalverlauf ist ebenfalls in 5 (a) gezeigt. Ohne Einfluss des ausgesandten Lichtimpulses 40 besteht das einfallende Licht zunächst nur aus dem Umgebungslicht 43 mit dem als konstant angenommenen Intensitätspegel B. Zu diesem Umgebungslicht addiert sich der einfallende Lichtimpuls 42, wodurch sich der gezeigte zeitliche Verlauf von D ergibt. Dieser hat zwischen Aussenden und Einfallen von der Lichtquelle 23 zu den Objekten 25, 26 und zurück zum Bildsensor 28 eine Strecke mit ungefähr Lichtgeschwindigkeit zurückgelegt und ist daher um eine Zeitdifferenz td verzögert. Weiterhin wird der Lichtimpuls 40 auch durch die Ausbreitung im Raum gemäß dem Abstandsgesetz und durch die unvollständige Reflektion am Objekt in seiner Intensität gemindert, so dass der empfangene Lichtimpuls 42 grundsätzlich weniger Intensität aufweist als der ausgesandte Lichtimpuls 40.
Gemäß 3 wird der Bildsensor 28 mittels des Ansteuersignals 32 von der Synchronisationseinheit 21 angesteuert, so dass er eine Demodulation der Objektlichtstrahlen vornimmt. Dieses Ansteuersignal 32 wird in den nachfolgenden Ausführungsbeispielen durch drei Steuersignale C0, C1 und C2 gebildet. Die Steuerung des Bildsensors 28 erfolgt dabei mittels eines elektrischen Verschlusses (Shutters) der eingangs genannten Art.
In 5 (b) ist das erste Steuersignal C0 zur Steuerung des elektrischen Verschlusses des in 3 gezeigten Bildsensors 28 über der Zeit t für den Erhalt eines ersten Rohbildes dargestellt. Im Einzelnen nimmt Steuersignal C0 nimmt Zustände „0“ und „1“ an, wobei der elektrische Verschluss im Zustand „0“ geschlossen ist und der Bildsensor 28 kein Licht empfangen kann, während er im Zustand „1“ offen ist und der Bildsensor 28 Licht empfangen kann. Das Steuersignal C0 wird parallel zu den in 5 (a) gezeigten ausgesandten Lichtimpulsen 40, 60 und 61 mit fester Phasenrelation phi0 zum Erhalt eines ersten Rohbildes angewandt. Dabei beträgt die Phasenrelation zwischen dem Öffnen des elektrischen Verschlusses in Bezug auf das Aussenden des Lichtimpulses 40 phi0, im gezeigten ersten Ausführungsbeispiel ist phi0 = -60°. Die Öffnungszeit beträgt jeweils 180°.
Dadurch wird während der Öffnungszeit des elektrischen Verschlusses ein Signalanteil 47 des Umgebungslichts 43 vom Bildsensor 28 erfasst, während ein anderer Signalanteil 48 des Umgebungslichts 43 außerhalb der Öffnungszeit des elektrischen Verschlusses nicht erfasst wird. Entsprechend seiner Verzögerung wird zusätzlich ein Signalanteil 45 des einfallenden Lichtimpulses 42 erfasst, während ein anderer Signalanteil 46 des einfallenden Lichtimpulses nicht erfasst wird.
Dies kann beispielsweise dadurch realisiert werden, dass dann, wenn das Steuersignal C0 den Zustand „0“ annimmt, die Ladung aus dem lichtempfindlichen Bereich 172 über den mit dem Signalweg 175 verbundenen elektrischen Verschluss (nicht gezeigt) gemäß 2 entfernt wird, und dann, wenn das Steuersignal C0 den Zustand „1“ annimmt, die Ladung aus dem lichtempfindlichen Bereich 172 über den Signalweg 174 kumulierend dem Speicher 173 zugeführt wird.
Aus dem einfallenden Licht wird ein Signal gebildet, beispielsweise eine Ladung, eine Spannung, ein Strom oder eine digitale Zahl. Sofern mehrere Lichtimpulse 40, 60 und 61 ausgesandt wurden und der elektrische Verschluss mehrfach geöffnet wurde, werden die Signale der einzelnen Öffnungen des Verschlusses als Ladungen im Speicher 173 analog, d.h. als Ladungspakete, addiert oder kumuliert, was durch die Addierfunktion 49 symbolisiert ist, und bilden schließlich ein Signal S0. Dieses Signal ist jeweils einem Pixel zugeordnet. Gemeinsam mit weiteren Signalen S0 von anderen Pixeln entsteht ein erstes Rohbild für das Signal S0. Optional könnte die Addierfunktion 49 auch in der in 3 gezeigten Recheneinheit 29 realisiert sein, falls Signale der einzelnen Verschlussöffnungen separat digitalisiert und verarbeitet werden. Gleiches gilt auch für die nachfolgend erwähnten (symbolischen) Addierfunktionen 54 und 59.
In 5 (c) ist ein zweites Steuersignal C1 zu Steuerung des elektrischen Verschlusses über der Zeit t für den Erhalt eines zweiten Rohbildes dargestellt. Die verwendeten Bezeichnungen entsprechen denen aus 5 (b). Hier wird nun eine andere Phasenrelation verwendet. Die Phasenrelation zwischen der steigenden Flanke 44 des Signals C0 und der steigenden Flanke 50 des Signals C1 beträgt phi1 und hat im gezeigten Beispiel den Wert phi1 = 120°. Die Öffnungszeit beträgt 180°.
Dadurch wird während der Öffnungszeit des elektrischen Verschlusses ein Signalanteil 52 des Umgebungslichts 43 empfangen, während ein anderer Signalanteil 53 des Umgebungslichts 43 außerhalb der Öffnungszeit des elektrischen Verschlusses nicht empfangen wird. Entsprechend seiner Verzögerung wird in diesem Fall der gesamte Signalanteil 51 des einfallenden Lichtimpulses 42 empfangen.
Aus dem einfallenden Licht wird wiederum ein Signal gebildet und sofern mehrere Lichtimpulse 40, 60 und 61 ausgesandt wurden und der elektrische Verschluss mehrfach geöffnet wurde, werden die Signale der einzelnen Öffnungen des Verschlusses durch eine symbolische Addierfunktion 54 als Ladungen im Speicher 173 analog, d.h. als Ladungspakete, addiert oder kumuliert und bilden schließlich ein Signal S1. Auch dieses Signal ist jeweils einem Pixel zugeordnet. Gemeinsam mit weiteren Signalen S1 von anderen Pixeln entsteht ein zweites Rohbild für das Signal S1. Optional könnte die Addierfunktion 54 auch in der in 3 gezeigten Recheneinheit 29 realisiert sein, falls Signale der einzelnen Verschlussöffnungen separat digitalisiert und verarbeitet werden.
Schließlich ist in 5 (d) ein drittes Steuersignal C2 zur Steuerung des elektrischen Verschlusses über der Zeit t für den Erhalt eines dritten Rohbildes dargestellt. Die verwendeten Bezeichnungen entsprechen wiederum denen aus 5 (b) und (c). Im gezeigten Beispiel ist phi2 = 120°, ebenso wie phi1. Die Öffnungszeit beträgt wiederum 180°.
Dadurch wird während der Öffnungszeit des elektrischen Verschlusses lediglich ein Signalanteil 58 des Umgebungslichts 43 empfangen, während ein anderer Signalanteil 57 des Umgebungslichts 43 außerhalb der Öffnungszeit des elektrischen Verschlusses nicht empfangen wird. Entsprechend seiner Verzögerung wird in diesem Fall der gesamte Signalanteil 56 des einfallenden Lichtimpulses 42 nicht empfangen. Die Signale der einzelnen Öffnungen des Verschlusses werden auch hier durch eine symbolische Addierfunktion 59 als Ladungen im Speicher 173 analog, d.h. als Ladungspakete, addiert oder kumuliert und bilden schließlich ein Signal S2. Auch dieses Signal ist jeweils einem Pixel zugeordnet. Gemeinsam mit weiteren Signalen S2 von anderen Pixeln entsteht ein drittes Rohbild für das Signal S2. Optional könnte die Addierfunktion 59 auch in der in 3 gezeigten Recheneinheit 29 realisiert sein, falls Signale der einzelnen Verschlussöffnungen separat digitalisiert und verarbeitet werden..
Die Steuersignale C0, C1 und C2 weisen die gleiche Periode tp auf wie das Licht L.
Durch Kombination der drei Rohbilder für jeden Pixel liegen schließlich drei Signale S0, S1 und S2 vor. Unter der Annahme, dass das Objekt während der Aufnahme der drei Rohbilder keine wesentlichen Bewegungen ausgeführt hat und für jeden Pixel jeweils das Umgebungslicht 43 und die Intensität des empfangenen Lichtimpulses 42 gleich sind, kann für jeden Pixel aus den drei Signalen S0, S1 und S2 die Zeitdifferenz td und durch mit Kenntnis der Lichtgeschwindigkeit die Entfernung des von auf diesem Pixel abgebildeten Signalanteils des Objektes 25 rechnerisch ermittelt werden. Daraus kann ein Entfernungsbild errechnet werden, bei dem den Pixeln Entfernungswerte zugeordnet sind.
Die Auswahl der Anzahl von drei Steuersignalen und Signalen erfolgt dabei auf Grundlage der nachfolgenden Überlegungen. Bei der Ermittlung der Entfernung eines Objekts über die Laufzeit des Lichts liegen drei Unbekannte vor, nämlich die Entfernung, die Intensität des Umgebungslichts und die Intensität des einfallenden Lichtimpulses. Zur Bestimmung dieses Problems mit drei Freiheitsgraden werden also mindestens drei verschiedene Signale benötigt. Gleichzeitig ist es zur Erzeugung hoher Bildraten geboten, die Anzahl der Rohbilder so klein wie möglich zu halten. Daher kann die Anzahl der Rohbilder und die damit verbundene Anzahl von Steuersignalen als drei gewählt werden.
6 (a) bis (e) zeigen Diagramme zur Erläuterung des Zustandekommens der Signale durch Anwendung der Zeitsteuerung für Licht und Steuersignale. Im Einzelnen zeigen die 6 (a) bis (e), wie sich aus der Phasenbeziehung zwischen dem einfallenden Licht D und dem Steuersignal C ein Verlauf des Signals S über der Zeitdifferenz td ergibt.
In 6 (a) trifft der einfallende Lichtimpuls 70 so ein, dass ein Signalanteil 71 des empfangenen Lichtimpulses vor der steigenden Flanke 73 des Steuersignals C liegt und nicht empfangen wird, während ein anderer Signalanteil 72 hinter der steigenden Flanke 73 liegt und entsprechend empfangen wird. Je später nun der einfallende Lichtimpuls 70 eintrifft, desto kleiner wird der nicht empfangene Signalanteil 71 des einfallenden Lichtimpulses und desto größer wird der empfangene Signalanteil 72. Somit ergibt sich im gezeigten Fall ein ansteigender Verlauf 74 des Signals S über der Zeitdifferenz td.
In 6 (b) trifft der einfallende Lichtimpuls 75 ein und das Steuersignal C nimmt während der gesamten Zeit des Eintreffens den Zustand „1“ ein. Dadurch wird der einfallende Lichtimpuls als vollständig empfangener Lichtimpuls 76 empfangen. Solange dies der Fall ist, ergibt sich für das Signal S ein konstanter hoher Wert 77.
In 6 (c) trifft der einfallende Lichtimpuls 78 so ein, dass ein Signalanteil 79 des empfangenen Lichtimpulses vor der fallenden Flanke 81 des Steuersignals C liegt und empfangen wird, während ein anderer Signalanteil 80 hinter der fallenden Flanke 81 liegt und entsprechend nicht empfangen wird. Je später nun der einfallende Lichtimpuls 78 eintrifft, desto kleiner wird der empfangene Signalanteil 79 des einfallenden Lichtimpulses und desto größer wird der nicht empfangene Signalanteil 80. Somit ergibt sich ein im gezeigten Fall ein fallender Verlauf 82 des Signals S über der Zeitdifferenz td.
In 6 (d) trifft der einfallende Lichtimpuls 75 zu einer Zeit ein, zu der das Steuersignal durchgehend den Zustand „0“ annimmt. Dadurch wird der empfangene Lichtimpuls 84 vollständig unterdrückt. Solange dies der Fall ist, ergibt sich für das Signal S ein konstanter niedriger Wert 85.
Daraus ergibt sich in Kombination der vorgenannten Fälle der in 6 (e) gezeigte Signalverlauf 86 des Signals S über der Zeitdifferenz td, welches sich stückweise aus einer steigenden Flanke, einem hohen konstanten Wert, einer fallenden Flanke und einem niedrigen konstanten Wert zusammensetzt.
7 (a) und (b) zeigen Diagramme mit Signalverläufen für das erste Ausführungsbeispiel. Im Einzelnen zeigt 7 (a) die Signale S0, S1 und S2 und 7 (b) den daraus ermittelte Wert für die Entfernung d.
Dementsprechend ergibt sich aus den in den 5 (a) bis (d) gezeigten Verläufen der Steuersignale der in 7 (a) dargestellte Verlauf für die Signale S0, S1 und S2. Die Signale bewegen sich dabei zwischen einem Hintergrundsignal Sb, das sich nur aus dem Beitrag des empfangenen Umgebungslichts 58 zu den Signalen S0, S1 und S2 ergibt, und dem Spitzensignal Sp, das sich aus der Summe des Beitrags des empfangenen Umgebungslichts und der empfangenen Lichtimpulse 51 und 52 zu den Signalen S0, S1 und S2 ergibt.
Es lässt sich ein S-Raum definieren als Raum, der aus den Einheitsvektoren S0, S1 und S2 als Basis aufgespannt wird. Gleichermaßen lässt sich jeweils aus den Wertetripeln der Signale S0, S1 und S1 ein S-Vektor definieren, der als Komponenten die Werte der Signale S0, S1 und S2 aufweist.
Durch Größenvergleich der Signale in 7 (a) lassen sich im S-Raum sechs verschiedene Bereiche für die Zeitdifferenz td unterscheiden, nämlich der Bereich 90 mit S2<=S1<S0, der Bereich 91 mit S2<S0<=S1, der Bereich 92 mit S0<=S2<S1, der Bereich 93 mit S0<S1<=S2, der Bereich 94 mit S1<=S0<S2 und der Bereich 95 mit S1<S2<=S0. Übersteigt die Zeitdifferenz td die Periode tp, so ergeben sich beispielsweise im Bereich 96 Werte für die Signal S0, S1 und S2, die nicht von denen im Bereich 90 unterschieden werden können und im Bereich 97 Werte, die nicht von denen im Bereich 91 unterschieden werden können. Dieser Effekt wird als Tiefenaliasing bezeichnet. Blickt man entlang der Einheitsdiagonale auf den Ursprung des S-Raumes so entspricht diese Unterteilung einer Segmentierung entlang der Einheitsdiagonale mit 6 tortenstückförmigen Segmenten zu je 60°.
Es ist zu erkennen, dass in 7 (a) immer genau eines der drei Signale S0, S1 und S2 einen steigenden oder fallenden Verlauf annimmt, während ein zweites der drei Signale einen konstanten hohen Wert und ein drittes der Signale einen konstanten tiefen Wert annimmt. Dabei wurde der in 5 gezeigte Verlauf der Steuersignale C0, C1 und C2 mit Bezug auf den Verlauf des Lichts L im ersten Ausführungsbeispiel mit Bedacht genau so gewählt, dass diese Bedingung erfüllt ist und sich der in 7 (a) gezeigte Signalverlauf ergibt.
Dieser Signalverlauf bietet mehrere Vorteile. Zunächst ist es möglich, innerhalb eines Intervalls von 0 <= td < tp den Wert von den td aus den Signalen S0, S1 und S2 eindeutig zu bestimmen. Dafür sind folgende Voraussetzungen erfüllt: Zu jedem Zeitpunkt sind mindestens zwei der Signale S0, S1 und S2 verschieden. Und zu jedem Zeitpunkt ändert sich mindestens eines der Signale S0, S1 und S2 auf eine andere Art und Weise als die anderen beiden der Signale S0, S1 und S2 in Abhängigkeit von der Zeitdifferenz td. Da sich jeweils nur ein Signal ändert und alle steigenden und fallenden Flanken der Steuersignale zur Erzeugung eines steigenden oder fallenden Signalverlaufs genutzt wurden, ist erkenntlich, dass sich so der größtmögliche Messbereich für die Zeitdifferenz td für eine gegebene Pulslänge tl erzielen lässt.
Aus den in 7(a) gezeigten Signalen kann die in 7(b) gezeigte Entfernung d von Objekten 25, 26 von der ToF-Kamera 20 in 3 bestimmt werden. Dabei wird angenommen, dass sich der Messbereich so nah wie möglich an der ToF-Kamera 20 befindet und daher mit der Entfernung d = 0 startet. Wird eine Kombination der Signale S0, S1 und S2 gemessen, die einer Zeitdifferenz td von 0 entspricht, so entspricht dies einer Entfernung d von 0. Mit linear zunehmender Zeitdifferenz td ergibt sich ein erster Bereich 100 mit proportionaler Zunahme der Entfernung d, bis schließlich kurz vor der Zeitdifferenz td = tp fast ein maximaler Entfernungswert dp gemessen wird. Ab dem Zeitpunkt tp wiederholen sich die Signale S0, S1 und S2 periodisch, so dass die Kombination der Signale S0, S1 und S2 zum Zeitpunkt td = tp mit der Kombination der Signale S0, S1 und S2 zum Zeitpunkt td = 0 übereinstimmt und somit ein sprunghafter Abfall 101 zum Entfernungswert d = 0 erfolgt. Ab dem Zeitpunkt tp folgt in einem zweiten Bereich 102 eine periodische Wiederholung der proportionalen Zunahme der Entfernung d. Dadurch kann die Entfernung d im Zeitraum 0 <= td < tp korrekt bestimmt werden. Sowohl der sprunghafte Abfall 101 als auch die periodische Wiederholung sind hingegen Messfehler durch Tiefenaliasing.
Der Proportionalitätsfaktor für die proportionale Zunahme im ersten Bereich 100 ergibt sich aus der Lichtgeschwindigkeit c und der Pulslänge tl, wobei letztere nämlich die Steigung des innerhalb der Bereiche in 7(a) jeweils steigenden oder fallenden Signals beeinflusst. Der Proportionalitätsfaktor beträgt c * tl /2.
8 zeigt eine in der Recheneinheit 29 verwendete Formel zur Ermittlung der Entfernung d aus den Signalen S0, S1 und S2. Durch die in 7 (a) gezeigte Unterscheidung in die Bereiche 90 bis 95 ergibt sich innerhalb eines jeden Bereichs ein linearer Signalverlauf, so dass in jedem Bereich die Entfernung d mit einer linearen Gleichung bestimmt werden kann. 8 gibt eine Formel an, mittels der lineare Gleichungen für die Bereiche 90 bis 95 mittels einer Fallunterscheidung zu einer einzigen stückweise linearen Formel vereint werden können. Dabei ist d die zu messende Entfernung, c die Lichtgeschwindigkeit und tl die Pulslänge. Die sechs Fallunterscheidungen durch Ungleichungen werden vorgenommen, um festzustellen, welchem der sechs Bereiche 90 bis 95 der S-Vektor angehört und mit welcher linearen Gleichung aus seinen Komponenten eine Entfernung errechnet werden soll. Für jeden Bereich ist eine lineare Gleichung angegeben. Durch die Addition der Zahlen 0, 1, 2, 3, 4, 5 wird eine Stetigkeit in der ermittelten Entfernung d erreicht. Der Ausdruck „NaN“ bedeutet „not a number“ und besagt, dass im Fall S0=S1=S2 eine Entfernungsberechnung grundsätzlich nicht möglich ist, da in diesem Fall die drei Unbekannten nicht ermittelt werden können. Durch die in 8 gezeigte Formel lässt sich aus den in 7 (a) gezeigten Signalen ein Wert für die in 7 (b) gezeigte Entfernung d korrekt bestimmen.
Die Werte der Signale S0, S1 und S2 werden also einem Operator zugeführt werden, der analog zu einem Hue-Operator aufgebaut ist und einen Drehwinkel um die Raumdiagonale des S0-S1-S2-Raumes ermittelt. Mittels einer Proportionalitätskonstante wird dieser dann in die Entfernungsinformation umgerechnet.
Durch das vorgeschlagene Verfahren lässt sich ein besonders großer Messbereich für eine gegebene Pulsbreite tl erzielen. Der Messbereich reicht von einer Entfernung d von Null bis zu einer maximalen Entfernung dp, die sich aus der Periode tp ergibt durch die Formel dp = c/2 * tp.
9 (a) und (b) zeigen eine Bahnkurve der S-Vektoren im S-Raum gemäß dem Stand der Technik bzw. gemäß dem ersten Ausführungsbeispiel.
Die anhand des ersten Ausführungsbeispiels gewonnene Erkenntnis lässt sich folgendermaßen visualisieren. In 9 ist jeweils ein S-Raum als Würfel dargestellt und die Bahnkurve der S-Vektoren mit zunehmender Zeitdifferenz td eingezeichnet. Dabei zeigt 9 (a) eine Bahnkurve gemäß dem Stand der Technik und 9 (b) eine Bahnkurve gemäß dem ersten Ausführungsbeispiel.
Eine Möglichkeit der Messung der Zeitdifferenz td mittels der drei Signale S0, S1 und S2 besteht darin, das Umgebungslicht als ein konstantes Signal S2 zu messen, einen einfallenden Lichtimpuls teilweise zu empfangen und als ansteigendes Signal S1 zu messen und das Umgebungslicht plus den vollständigen einfallenden Lichtimpuls als konstantes Signal S0 zu messen. Daraus ergibt sich im S-Raum ein linearer Verlauf, wie er in beispielhafter Weise in 9 (a) dargestellt ist, wobei die hier eingezeichnete Bahnkurve ein Umgebungslicht von Null annimmt.
9 (b) zeigt die sich aus dem in 7 (a) dargestellten Signalverlauf ergebende Bahnkurve der S-Vektoren im S-Raum unter der Annahme, dass die Intensität des Umgebungslichts Null beträgt. Im Vergleich zu 9 (a) wird deutlich, dass durch das erste Ausführungsbeispiel eine 6-mal so lange Bahnkurve erzielt wird. Gleichzeitig wird ersichtlich, warum die gewählte Bahnkurve unter den gegebenen Randbedingungen eine maximale Länge aufweist. Die gegebenen Randbedingungen bestehen aus der Forderung, dass sich die Zeitdifferenz td und somit die Entfernung d unabhängig von der Intensität des Umgebungslichts und von der Intensität des einfallenden Lichtimpulses bestimmen lässt. Durch diese besonders lange Bahnkurve lässt sich ein besonders großer Messbereich erzielen.
In bestimmten Anwendungen kann es zweckmäßig sein, dass der Messbereich, der einen bestimmten, durch die Periode tp gegebenen Entfernungsbereich aufweist, nicht in einer Entfernung d von der Kamera von Null beginnt, sondern in einer anderen, wählbaren Entfernung. Ein möglicher Grund dafür ist, dass Objekte, von denen Entfernungsbilder erstellt werden sollen, beispielsweise Paketsendungen auf einem Förderband, auf die eine darüber montierte Kamera von oben gerichtet ist, eine bestimmte Höhe nicht überschreiten können und der Messbereich optimal auf die tatsächlich vorkommenden Größen angepasst werden soll. Ein anderer möglicher Grund besteht darin, dass Objekte in zu großer Nähe durch die Eigenschaften des Bildsensors zu einer Sättigung der Signale führen und daher die Entfernung ohnehin nicht korrekt gemessen werden kann, so dass es vorteilhaft ist, den Messbereich auf korrekt messbare Entfernungen anzupassen. Dieser Umstand wird bei der Diskussion von 14 näher erläutert.
10 (a) und (b) zeigen Signalverläufe bei einer Verschiebung des Messbereichs zu einer minimalen Entfernung dmin um 120°, als Beispiel für ein Vielfaches von 60°.
Da für die Verschiebung die Zeitsteuerung aus 5 (a) bis (d) nicht verändert wurde, ist auch der Signalverlauf in 10 (a) gegenüber dem Signalverlauf in 7 (a) unverändert. Allerdings werden hier aus diesen gleichen Signalwerten die in 7 (b) gezeigten verschobenen Entfernungswerte errechnet. Der Bereich der Entfernung reicht von einer minimalen Entfernung dmin, welche größer ist als Null, bis fast zu einer maximalen Entfernung dmax, welche auf vorteilhafte Weise größer ist als dp. Die geringen Werte der Zeitdifferenz td, welche zu einem vor dem Messbereich liegenden ansteigenden Entfernungswert 103 gehören, unterliegen dann einem Tiefenaliasing und kommen gemäß der veränderten Aufgabenstellung nicht vor. Innerhalb des Messbereichs in den Signalbereichen 92 bis 97 erfolgt eine korrekte Umsetzung der Signale in eine ansteigende Entfernung d in einem ersten Bereich 105. Hinter der fallenden Flanke 106 der Entfernung d tritt ein weiteren Anstieg in einem zweiten Bereich 107 der Entfernung auf, der jedoch wiederum einem Tiefenaliasing unterliegt.
11 zeigt eine in der Recheneinheit 29 verwendete Formel zur Ermittlung der Entfernung d aus den Signalen S0, S1 und S2 mit einem um die zwei Signalbereiche 90 und 91 verschobenen Messbereich. Die Formel gemäß 11 kann mit dem in 10 gezeigten verschobenen Messbereich realisiert werden. Im Vergleich zu 7 ist erkennbar, dass die Signalbereiche 90 und 91 bei gleichen Signalen S0, S1 und S2 zu einer anderen Entfernungsinterpretation führen, die sich in der Formel in den Offsetwerten „6“ und „7“ wiederfindet. Generell gesprochen wurde für die von einer erhöhten Interpretation der Entfernung betroffenen Bereiche der Offsetwert jeweils um „6“ erhöht. Dieser Vorgang kann grundsätzlich auch mehrfach ausgeführt werden. Damit lässt sich auch eine minimale Entfernung dmin realisieren, die jenseits von dp liegt.
12 (a) und (b) zeigen Signalverläufe bei einer Verschiebung des Messbereichs zu einer minimalen Entfernung dmin um 150° als Beispiel für einen von einem Vielfachen von 60° abweichenden Wert. Die gezeigten Signalverläufe sind dabei in Abhängigkeit einer Zeitdifferenz dargestellt, d.h. für jeden Wert von td muss ein eigenes Zeitdiagramm ablaufen und liefert dann als Ergebnis den Signalwert. Durch diese Verschiebung des Messbereichs können in verschiedenen Teilen eines Entfernungsbereiches verschiedene Entfernungsinterpretationen vorgenommen werden. Dazu wird hier der linke Teil des Signalbereichs 92 anders interpretiert als der rechte Teil und es ergibt sich in der Mitte des Signalereichs 92 eine fallende Flanke 108 des Werts für die Entfernung d. Somit beginnt der korrekte Messbereich 109 innerhalb des Signalbereichs 92.
13 zeigt eine in der Recheneinheit 29 verwendete Formel zur Ermittlung der Entfernung d aus den Signalen S0, S1 und S2 mit einem um die zwei Signalbereiche 90 und 91 und einen Teil des Signalbereichs 92 verschobenen Messbereich. Diese Formel gibt die in 12 gezeigte Entfernungsinterpretation an. Dabei wurde gegenüber der Formel in 11 in die Bedingung der ersten Zeile zusätzlich zur bereits vorhandenen Ungleichung S0<=S2<S1 mit einem logischen UND die weitere Ungleichung S2-S0>=0.5 * (S1-S0) aufgenommen. Durch diese weitere Ungleichung wird nur der rechte Teil des Bereichs 92 berücksichtigt und mit einem Offsetwert von „2“ versehen. Auf gleiche Weise wird in der vorletzten Zeile die dazu komplementäre Ungleichung S2-S0<0.5 * (S1-S0) aufgenommen, durch die der linke Teil des Bereichs 92 berücksichtigt und mit einem Offsetwert von „8“ versehen wird. Hierbei wird ein Faktor von „0.5“ verwendet, um eine Teilung des Bereichs 92 in der Mitte zu erzielen. Durch einen anderen Faktor zwischen „0“ und „1“ lässt sich auch eine Teilung an einer beliebigen anderen Stelle erzielen und zwar mit Werten für den Faktor, die kleiner als „0.5“, sind mehr auf der linken und mit Werten, die größer als „0.5“ sind, mehr auf der rechten Seite des Bereichs. Dies lässt sich direkt auch auf andere Bereiche betragen, wobei zu beachten ist, dass im gezeigten Fall in 12 (a) im Signalbereich 92 ein Anstieg des Signals S2 erfolgt, während die anderen Signale S0 und S2 jeweils konstant sind. Wird eine solche Teilung in einem anderen Bereich vorgenommen, in dem statt dessen ein fallendes Signal vorliegt, so sind die Ungleichungszeichen umzukehren und ferner entsprechen dann Werte für den Faktor, die kleiner als „0.5“ sind, der rechten Seite und Werte, die größer als „0.5“ sind, der linken Seite. Außerdem müssen die Signale S0, S1 und S2 so gegeneinander ausgetauscht werden, dass sich eine gleiche mathematische Bedeutung ergibt.
14 zeigt einen Signalverlauf für die Signale S0, S1 und S2 unter Würdigung des Abstandsgesetzes und ausgehend von den vorgenannten Erläuterungen. Hier ist der Signalverlauf für die Signale S0, S1 und S2 mit zunehmender Entfernung d dargestellt. Durch das Abstandsgesetz ist dem Signalverlauf aus 10 (a) eine 1/r²-Funktion überlagert. Das Signal bewegt sich zwischen dem Hintergrundsignal Sb und dem Sättigungssignal Ss. Letzteres ergibt sich aus dem Umstand, dass Bildsensoren üblicherweise nur ein endlich großes maximales Signal im Pixel speichern können, welches hier als Sättigungssignal Ss bezeichnet wird.
Dadurch ergibt sich zwischen einer Entfernung d von Null und der Sättigungsentfernung ds ein Entfernungsbereich, in dem mindestens eines der Signale S0, S1 oder S2 gesättigt ist. In diesem Sättigungsbereich kann kein korrekter Entfernungswert ermittelt werden. Wo genau die Sättigungsentfernung ds liegt, ist unter anderem von der Intensität der Lichtimpulse, den Reflektionseigenschaften des Objekts und der Zeit der Belichtung abhängig.
Da dieser Sättigungsbereich ohnehin nicht zur Bestimmung der Entfernung d genutzt werden kann, ist es vorteilhaft, auf eine Nutzung dieses Bereichs zu verzichten und stattdessen bis zu einer größeren maximalen Entfernung dmax messen zu können.
15 zeigt eine in der Recheneinheit 29 verwendete Formel zur Berechnung des Tiefenrauschens Nd, welches anhand der Formel gemäß 8 errechnet wurde. Dabei ist NS0 das Rauschen des Signals S0, NS1 das Rauschen des Signals S1, und NS2 das Rauschen des Signals S2 sowie tl die Pulslänge und c die Lichtgeschwindigkeit. Der Operator max() bezeichnet einen Maximumoperator und min() einen Minimumoperator.
Zur Herleitung der Formel wurde nach dem Grundgedanken der bekannten Fehlerfortpflanzung vorgegangen. Eine experimentelle Überprüfung der Ergebnisse zeigte, dass zum Erzielen eines korrekten Ergebnisses nicht die Summe aus den Beträgen der partiellen Ableitungen der verschiedenen Eingangsgrößen jeweils multipliziert mit den Fehlern der verschiedenen Eingangsgrößen verwendet werden darf, sondern die Wurzel der Summe der Quadrate.
Die Rauschwerte NS0, NS1 und NS2 lassen sich entweder messen oder errechnen. Im letzteren Fall können beispielsweise die Formeln der Norm EMVA1288 Release A3.0 verwendet werden. Dort wird die Berechnung des zeitlichen Rauschens aus dem Dunkelrauschen des Bildsensors und aus dem Schrotrauschen (Shot Noise) der Ladungsträger und aus dem sogenannten Wandlungsgewinn (Conversion Gain) bestimmt. Sofern dies erforderlich ist, kann auch das Quantisierungsrauschen noch berücksichtigt werden.
Basierend auf der Formel gemäß 15 ist zu erkennen, dass das mit dem ersten Ausführungsbeispiel erzielte Entfernungsrauschen Nd direkt proportional zur Pulslänge tl ist. Ein einfacher Weg darin, eine qualitativ hochwertige Tiefenmessung mit einem geringen Rauschen vorzunehmen, besteht also darin, die Pulslänge tl kurz zu wählen. Da die Länge des Messbereichs von „0“ bis dp bzw. von dmin bis dmax seinerseits proportional zu tl ist, verkürzt sich der Messbereich bei einer Verkürzung der Pulslänge tl. Da, wie oben erwähnt, der Messbereich im ersten Ausführungsbeispiel besonders groß ist, ist dort eine besonders starke Verkürzung der Pulslänge tl möglich, die ihrerseits dann wiederum zu einem besonders niedrigen Entfernungsrauschen führt.
Des Weiteren kann der Entfernungsbereich durch die Möglichkeit der Verkürzung der Pulslänge tl und der damit erzielten Verringerung des Entfernungsrauschens Nd optimal angepasst werden, wie in 10 bis 13 erläutert wurde.
16 zeigt eine in der Recheneinheit 29 verwendete Formel zur Bestimmung der Gültigkeit von Entfernungswerten, die aus den Signalen S0, S1 und S2 errechnet werden.
Die Kenntnis des Rauschens kann dazu genutzt werden, über die Gültigkeit von aus Signalen S0, S1 und S2 errechneten Entfernungswerten d zu entscheiden. In der Formel gemäß 16 sind S0, S1 und S2 die bereits erläuterten Signale als digitale Werte, o ist der Offsetwert der Kamera als digitaler Wert, Nd das Dunkelrauschen der Kamera, welches nach der EMVA1288 bestimmt werden kann und in Elektronen e- angegeben wird, K der Conversion Gain nach EMVA 1288 in DN/e-, tl die Impulslänge in einer Zeiteinheit, c die Lichtgeschwindigkeit in einer Längeneinheit pro Zeit und Lim ein frei wählbarer Parameter zur Festsetzung eines Grenzwertes für das Tiefenrauschen in Längeneinheiten, z.B. Meter.
Die Formel gemäß 16 ist aus Termen 210 bis 213 aufgebaut. Term 210 liefert einen Grenzwert, Term 211 einen Proportionalitätsfaktor, Term 212 ein Maß für die Signalqualität in digitalen Zahlen und Term 213 einen Schätzwert für das Rauschen. Somit lässt sich die Formel wie folgt erklären: Wenn die Signalqualität um einen einstellbaren Grenzwert höher ist als das Rauschen, ist der entsprechende Messwert gültig. Damit lässt sich zwischen gültigen und ungültigen Messwerten unterscheiden.
Zur Herleitung der Formel wurde eine nachfolgend im Zusammenhang mit 17 erläuterte Vereinfachung verwendet.
Ein weiteres Kriterium für die Gültigkeit von Messwerten ist, dass alle drei Signale S0, S1 und S2 nicht gesättigt sind, also kleiner sind als das Sättigungssignal Ss.
17 zeigt ein Diagramm mit einer Approximation des Rauschens mittels einer vereinfachten Näherungsfunktion. Hier ist das Tiefenrauschen Nd über der Entfernung d als Graph 160 dargestellt. Dieser Verlauf wurde aus der Formel gemäß 15 errechnet. Da die sich daraus ergebende Formel komplex ist und im praktischen Einsatz zu einem hohen Berechnungsaufwand führt, wurde ein alternativer Näherungsgraph 161 mit einer Näherungsformel errechnet. Diese Näherungsformel ergibt sich, wenn anstelle der drei Rauschwerte NS0, NS1 und NS2 nur ein Rauschwert für den Mittelwert der Signale S0, S1 und S2 verwendet wird. Dieser Näherungsansatz liegt der Formel gemäß 16 zugrunde.
18 zeigt einen zeitlichen Verlauf eines idealen und eines realen Lichtimpulses. Der ideale Lichtimpuls 140 hat eine steile Einschaltflanke 141, in der die Intensität von „0“ auf „1“ ansteigt und eine steile Ausschaltflanke 142, in der die Intensität von „1“ auf „0“ abfällt, ohne dass dazu jeweils eine relevante Anstiegs- oder Abfallzeit benötigt würde. Im Gegensatz dazu besitzt der reale Lichtimpuls 143 eine stetige Einschaltflanke 144 und eine stetige Ausschaltflanke 145 und erzeugt somit einen nicht idealen zeitlichen Intensitätsverlauf, der von der Kurve des idealen Lichtimpulses 140 deutlich abweicht. Durch diese Abweichung kommt es zu Abweichungen des realen Verlaufs der Signale S0, S1 und S2 in Anhängigkeit der Zeitdifferenz td von dem beispielsweise in 7 (a) gezeigten Signalverlauf und folglich auch von der daraus ermittelten Entfernung d, welche in 7 (b) gezeigt ist.
19 zeigt einen Kurvenverlauf einer real gemessenen Entfernung d in Abhängigkeit der Zeitdifferenz td. Ein solcher realer, durch Messung ermittelten Verlauf der gemessenen Entfernung d weist gegenüber der idealen proportionalen Zunahme im Bereich 100 in 7 (b) nichtlineare Abweichungen auf. Die gemessene Entfernung kann aber mittels einer nichtlinearen Korrekturfunktion linearisiert werden. Dies kann beispielsweise in analytischer Form erfolgen, wobei eine analytische Funktion f(d) herangezogen wird, deren Eingangsvariable die gemessene Entfernung d ist und die als Ergebnis eine linearisierte Entfernung f liefert. Eine solche Funktion kann beispielsweise durch mathematische Modellierung mittels einer periodischen Funktion ermittelt werden, bei der die wählbaren Parameter durch Fit angepasst werden. Die Bezeichnung „Fit“ bezieht sich auf ein iteratives Näherungsverfahren.
Weiterhin kann auch eine numerische Korrekturfunktion verwendet werden, die der gemessenen Entfernung d eine korrekte, linearisierte Entfernung zuordnet. Dazu kann beispielsweise die Entfernung d für mehrere, bekannte Orte gemessen und aus den bekannten korrekten Entfernungen dieser Orte und den gemessenen Entfernung eine Speichertabelle erstellt werden. Anhand dieser Tabelle kann dann die Recheneinheit 29 in 3 für einen gemessenen Wert einer Entfernung d einen korrekter Entfernungswert auslesen. Auch kann bei diesem Auslesen eine Interpolation zwischen zwei Messpunkten vorgenommen werden, wobei die Interpolation beispielsweise linear, quadratisch, kubisch oder mit einer noch höheren Ordnung erfolgen kann.
Durch eine solche nichtlineare Korrekturfunktion können Messfehler korrigiert werden, die durch Abweichungen der Impulsform eines realen Lichtimpulses von der Impulsform eines idealen Lichtimpulses entstehen.
Da die Signale S0, S1 und S2 zyklisch verlaufen, ist es grundsätzlich möglich, das in 5 gezeigte Timing dahingehend zu verändern, dass mit einem anderen Wert von phi0 gearbeitet wird. Wenn dies der Fall ist, erhält man die Signale S0, S1 und S2 in einer anderen Phasenlage, als die in 7 gezeigten. Die Formel gemäß 8 kann dann an diese neue Phasenlage auf die in 11 und 13 beispielhaft gezeigte Weise angepasst werden, wobei dann die Anpassung nicht an eine neue minimale Distanz dmin, sondern an eine neue Phasenlage phi0 erfolgt. Ebenso kann auch eine neue Phasenlage mit einer neuen minimalen Distanz kombiniert werden.
20 zeigt Signalverläufe für eine Zeitsteuerung gemäß einem zweiten Ausführungsbeispiel.
Diese Zeitsteuerung besitzt gegenüber der in 5 gezeigten Zeitsteuerung die gleiche Pulslänge tl, die gleiche Öffnungszeit ts und die gleichen Phasenverschiebungen phi1 und phi2, wogegen die Totzeit to, der Wert für die Phasenverschiebung phi0 und die Periode tp verändert sind.
Dabei werden die Werte für die Phasenverschiebung hier so verwendet, dass sich deren Werte in Grad weiterhin auf die ursprüngliche Definition im ersten Ausführungsbeispiel in Relation zur dortigen Periode tp beziehen. Somit folgen die Lichtimpulse in diesem zweiten Ausführungsbeispiel mit dem erhöhten Wert für die Periode tp mit mehr als 360° Abstand aufeinander, während die Dauer eines Lichtimpulses weiterhin 60°, die Öffnungszeit des Verschlusses weiterhin 180° und phi1 und phi2 weiterhin 120° betragen.
21 (a) und (b) zeigen aus der Zeitsteuerung des zweiten Ausführungsbeispiels resultierende Verläufe der Signale S0, S1 und S2. Diese Signalverläufe weisen Signalbereich 220 bis 229 auf. Im Vergleich zu 7 (a) entsprechen die Signalbereiche 223 bis 226 aus 21 (a) qualitativ jeweils den Signalbereichen 90 bis 93 aus 7(a), sind jedoch entlang der Achse der Zeitdifferenz td verschoben. Zusätzlich zeigen sich neue Signalbereiche 220, 221, 222, 227, 228 und 229, die einen grundsätzlich anderen Signalverlauf aufweisen.
Berechnet man nun aus diesen Signalen eine Entfernung, so erhält man die in 21 (b) gezeigte Kurve für die Entfernung d. Diese Kurve weist zwei Bereiche 154 und 158 auf, in denen sich keine Entfernung berechnen lässt, weil die drei Signale S0, S1 und S2 dort konstant und identisch sind, so dass sich auf deren Grundlage kleine Gleichung nach der Entfernung auflösen lässt. Die Kurve weist weiterhin zwei Bereiche 155 und 157 mit einem stückweise konstanten Wert für die Entfernung d auf, sowie einen Bereich 156, in dem der Wert für die Entfernung linear mit einer zunehmenden Zeitdifferenz td ansteigt und in dem die Zeitdifferenz td korrekt in einen Wert für die Entfernung d umgesetzt werden kann.
22 zeigt eine in der Recheneinheit 29 verwendete Formel zur Entfernungsberechnung für das zweite Ausführungsbeispiel. Die Formel ist weitgehend identisch mit der in 8 angegebenen, es wurde jedoch ein weiterer Offsetwert dmin addiert, der sich aus dem Wert von phi0 ergibt, welcher in der Darstellung von 20 erheblich von der in 5 abweicht. Weiterhin wurde in 22 gegenüber 5 auf einen Term für den Fall S1<S2<=S0 und für den Fall S1<=S0<S2 verzichtet, da diese Fälle in 21 (a) nicht auftreten.
Das zweite Ausführungsbeispiel weist gegenüber dem ersten die nachfolgenden Vorteile auf. Da die Periode tp in 20 deutlich größer ist als in 5 tritt eine Periodizität des Wertes der Entfernung d, wie sie beispielsweise in 7 gezeigt ist, erst bei deutlich höheren Werten für die Zeitdifferenz tp auf und somit erst in deutlich größeren Entfernungen zwischen der Kamera 20 und den Objekten 25 und 26 gemäß 3 auf. Praktisch ist es sogar möglich, den Wert für die Periode tp so groß zu wählen, dass praktisch gar kein Tiefenaliasing mehr auftritt, weil dieses zu so großen Zeitdifferenzen td mit so großen Entfernungen verschoben wird, dass aufgrund des Abstandsgesetzes aus dieser Entfernung praktisch kein messbares Licht mehr zur Kamera 20 zurückkehrt oder so stark geschwächt ist, dass die daraus ermittelten Werte als ungültig erkannt werden können, beispielsweise durch Nutzung der in 16 gezeigten Formel.
Weiterhin wird durch die Ausgestaltung des Verlaufs mit den Bereichen 154, 155, 157 und 158 in 21 (b) eine Eindeutigkeit der im linearen Wertebereich 156 ermittelten Entfernungswerte erzielt. Das heißt, wenn einer der Werte für die Entfernung aus dem Wertebereich von 156 gemessen wird, kann sichergestellt werden, dass dieser Wert für die Entfernung auch korrekt ist. Wird ein Wert aus dem Wertebereich 155 oder 157 gemessen, ist erkennbar, dass der Messwert außerhalb des linearen Wertebereiches für die Entfernung 156 liegt und es ist sogar erkennbar, ob er im Wertebereich 155 vor oder im Wertebereich 157 hinter dem linearen Wertebereich 156 liegt.
Nachteilig hingegen ist, dass im zweiten Ausführungsbeispiel der lineare Wertebereich mit der korrekt ermittelten Entfernung d, welcher die vier Signalbereiche 223 bis 226 umfasst, kürzer ist als im ersten Ausführungsbereich, wo er die sechs Signalbereiche 90 bis 95 umfasst.
23 (a) und (b) zeigen Signalverläufe mit Spitzen- und Mittelwert eines Pulsfrequenzmodulierten Signals bei verschiedenen Pulswiederholfrequenzen. Aus diesen Signalverläufen ist ein weiterer Vorteil des ersten Ausführungsbeispiels gegenüber dem Stand der Technik und des zweiten Ausführungsbeispiels gegenüber dem ersten Ausführungsbeispiel entnehmbar. Dort ist für ein pulsbreiten- oder pulsfrequenzmoduliertes Signal die Relation zwischen Spitzen- und Mittelwert dargestellt. Der Spitzenwert Pmax und der Mittelwert Pmean eines solchen Signals sind über das Puls-Pausen-Verhältnis (Duty Cycle) verknüpft. Bei einem Puls-Pausen-Verhältnis von 50% wie in 23 (a) beträgt der Mittelwert 50% des Spitzenwertes, bei einem Puls-Pausen-Verhältnis von 1/6 wie in 23 (b) beträgt der Mittelwert 1/6 des Spitzenwertes.
Lichtquellen für ToF Kameras arbeiten meist mit Lichtquellen, welche für das menschliche Auge unsichtbare Wellenlängen aus dem nahen Infrarotbereich (NIR) aussenden. Dabei kommt wahlweise kohärente oder nichtkohärente Strahlung zum Einsatz. Um eine Gefährdung des menschlichen Auges auszuschließen ist die dabei verwendbare Leistung jeweils begrenzt, beispielsweise durch die in der Richtlinie 2006/25/EG genannten Vorgaben. Im üblichen Zeitbereich der für ToF-Kameras benutzen Lichtimpulse, zumeist mehrere Nanosekunden, ist dabei vor allem der Mittelwert ausschlaggebend. Das heißt, die Lichtquelle 23 darf eine gewisse mittlere Leistung nicht überschreiten.
Andererseits ist dagegen wünschenswert, eine möglichst hohe Lichtleistung auszusenden, damit das durch die Lichtquelle 23 ausgestrahlte Licht heller ist oder sich zumindest in der gleichen Größenordnung bewegt, wie das Umgebungslicht. Haben die Lichtimpulse hingegen auf den Objekten deutlich weniger Intensität als das Umgebungslicht, so führt das in dem Umgebungslicht aufgrund der Photonenstatistik vorhandene Rauschen zu einem schlechten bis sehr schlechten Signal-Rausch-Verhältnis, so dass die Entfernung d nicht mehr mit einer hinreichenden Genauigkeit ermittelt werden kann.
Da sich die Grenzwerte in erste Linie auf die mittlere Leistung, das Verhältnis zum Umgebungslicht hingegen auf die Spitzenleistung beziehen, kann die Leistungsfähigkeit einer ToF Kamera dadurch gesteigert werden, dass ein niedriges Puls-Pausen-Verhältnis gewählt wird. Dadurch werden in der Lichtintensität gleichzeitig ein hoher Spitzenwert und ein niedriger Mittelwert erzielt, wodurch sich beide vorgenannten Forderungen auf vorteilhafte Weise gemeinsam realisieren lassen.
Durch das zweite Ausführungsbeispiel lässt sich im Vergleich zum ersten Ausführungsbeispiel ein besonders hoher Spitzenwert für die Intensität bei einem gleichzeitig besonders niedrigen Mittelwert erzielen. Insbesondere eignet sich dieses Ausführungsbeispiel für den Einsatz sogenannter Pulslaserdioden, welche üblicherweise für ein Puls-Pausenverhältnis von 1/1000 optimiert sind. Dies stellt insbesondere auch gegenüber allen ToF-Kameras mit Demodulationsbildsensoren einen großen Vorteil dar. Der Vorteil kommt besonders dort zu tragen, wo eine hohe Intensität des Umgebungslichts vorliegt, beispielsweise bei starker Sonneneinstrahlung oder starken Studioscheinwerfern.
24 zeigt Signalverläufe für eine Zeitsteuerung gemäß einem dritten Ausführungsbeispiel. Hier handelt es sich um eine Modifikation des ersten Ausführungsbeispiels gemäß 5 ff dahingehend, dass die Dauer der Lichtimpulse von 60° auf 180° verlängert ist, während im Gegenzug die Impulse der Steuersignale C0, C1 und C2 von 180° auf 60° verkürzt sind und phi0 auf 0°eingestellt ist. Die Phasenverschiebungen phi1 und phi2 betragen weiterhin jeweils 120°. Durch Anwendung dieser Zeitsteuerung ergibt sich ein identischer Signalverlauf wie im ersten Ausführungsbeispiel in 7, so dass zur Ermittlung der Entfernung d die gleichen Formeln und Maßnahmen mit den gleichen Ausführungsoptionen angewandt werden können.
Der Vorteil des dritten Ausführungsbeispiels liegt darin, dass ein größeres Verhältnis zwischen der Pulslänge tl und der Periode tp realisiert werden kann. Um mit dem ersten Ausführungsbeispiel einen kurzen Messbereich mit einer hohen Genauigkeit zu realisieren, war es notwendig, eine kurze Pulslänge tl zu wählen. Nun ist es allerdings so, dass die üblichen pulsbaren Lichtquellen, beispielsweise Leuchtdioden, Laserdioden oder sogar Pulslaserdioden eine endliche Einschalt- und eine endliche Ausschaltzeit besitzen, so dass ihre Pulslänge nicht bis unter ein gewisses Maß reduziert werden kann. Somit kann mit dem ersten Ausführungsbeispiel auch eine gewisse Mindestgröße eines Messbereichs nicht unterschritten und somit auch nur eine begrenzte Messgenauigkeit erreicht werden. Das dritte Ausführungsbeispiel erlaubt jedoch, den Messbereich weiter um einen Faktor drei zu verkleinern und dabei auch eine weitere Steigerung der Messgenauigkeit zu erzielen.
25 zeigt eine in der Recheneinheit 29 verwendete Formel zur Berechnung des Tiefenrauschens Nd bei dem dritten Ausführungsbeispiel.
Im Vergleich zu 15 ist zu erkennen, dass der erste Faktor im Nenner eine „6“ statt einer „2“ aufweist und somit das Rauschen grundsätzlich um einen Faktor „3“ kleiner ist. Die real erzielbare Verminderung des Rauschens fällt bei gleicher Belichtungszeit allerdings etwas kleiner aus, da durch die im Vergleich zu den Lichtimpulsen kurzen Öffnungszeiten des Verschlusses nur einen Signalanteil des Lichts empfangen werden kann und somit die Signale S0, S1 und S2 kleiner ausfallen, als im ersten Ausführungsbeispiel. Demgegenüber steht jedoch der teilweise kompensierende Effekt, dass durch die kürzere Öffnungszeit auch nur ein geringerer Teil des Umgebungslichts empfangen wird.
26 zeigt eine in der Recheneinheit 29 verwendete Formel zur Bestimmung der Gültigkeit von anhand der Signale S0, S1 und S2 des dritten Ausführungsbeispiels gewonnenen Entfernungswerten.
Ebenso wie die Formel in 15 ist diese Formel aus der Formel für das Tiefenrauschen Nd unter Verwendung einer Vereinfachung hergeleitet. Die unterschiedlichen Faktoren in der Formel des Tiefenrauschens, nämlich der Wert „6“ in 25 und der Wert „2“ in 15 ergeben in 26 einen unterschiedlichen Faktor im Zähler des Terms 171, nämlich „108“ statt „12“. Mit dieser Formel kann die Gültigkeit von Messwerten auch für das dritte Ausführungsbeispiel ermittelt werden. Natürlich kann ebenso wie im ersten Ausführungsbeispiel auch die Sättigung als Kriterium herangezogen werden.
27 zeigt Signalverläufe für eine Zeitsteuerung gemäß einem vierten Ausführungsbeispiel.
Ebenso wie das zweite Ausführungsbeispiel sich aus dem ersten durch Vergrößerung der Periode tp ableiten lässt, lässt sich durch die gleiche Maßnahme das vierte aus dem dritten ableiten. Es ergeben sich die gleichen Signalformen, wie im zweiten Ausführungsbeispiel, sodass auch für das vierte Ausführungsbeispiel die gleichen Formeln und Maßnahmen angewandt werden können. Das vierte Ausführungsbeispiel weist gegenüber dem dritten die gleichen Vorzüge auf, wie das zweite gegenüber dem ersten.
28 zeigt Signalverläufe für eine Zeitsteuerung gemäß einem fünften Ausführungsbeispiel.
Hier betragen sowohl die Pulslänge tl als auch die Öffnungszeiten der Kontrollsignale C0, C1 und C2 jeweils 180°, phi0 beträgt 0° und phi1 und phi2 jeweils 120°.
Beim dritten und vierten Ausführungsbeispiel wurde zur Erzielung einer hohen Messgenauigkeit mit einem geringen Tiefenrauschen eine besonders kurze Öffnungszeit des Verschlusses verwendet. Es gibt jedoch Kameras mit Bildsensoren, bei denen diese besonders kurze Öffnungszeit des Verschlusses nicht realisiert werden kann. Dort ist es vorteilhaft, mit einer längeren Öffnungszeit des Verschlusses arbeiten zu können. Beim fünften Ausführungsbeispiel ist im Vergleich zum dritten und vierten Ausführungsbeispiel die Öffnungszeit des Verschlusses um einen Faktor „3“ verlängert.
Dadurch kann auch ein größerer Anteil des ausgesandten Lichtes empfangen werden, wodurch sich eine weitere Verbesserung der Messgenauigkeit ergibt.
29 zeigt Verläufe der Signale S0, S1 und S2 für die Zeitsteuerung gemäß dem fünften Ausführungsbeispiel.
Der Verlauf der Signale ergibt sich aus der Zeitsteuerung gemäß 28 mit den bei der Diskussion von 6 genannten Überlegungen und unterscheidet sich deutlich von dem in 7.
30 (a) und (b) zeigt die Bahnkurve der S-Vektoren im S-Raum für das fünfte Ausführungsbeispiel aus verschiedenen Blickwinkeln.
Dem fünften Ausführungsbeispiel liegt die Überlegung zugrunde, den Signalverlauf im S-Raum auf einer Polygonlinie zu führen, die einer Kreisbahn um die Einheitsdiagonale möglichst nahe kommt. Ein S-Raum mit einer solchen Polygonlinie bestehend aus Linien 130 bis 135 ist in 30 (a) und (b) gezeigt. Dabei zeigen 30 (a) und (b) dieselbe Polygonlinie zum besseren Verständnis des dreidimensionalen Verlaufs aus einem um 90° gegeneinander gedrehten Blickwinkel. Die Linien verbinden dabei jeweils Punkte auf den Außenflächen des Würfels, der den S-Raum darstellt. Ebenso wie in 9 wird bei dieser Darstellung davon ausgegangen, dass kein Umgebungslicht vorhanden ist.
31 zeigt eine in der Recheneinheit 29 verwendete Formel zur Ermittlung der Entfernung d aus den Signalen S0, S1 und S2 für das fünfte Ausführungsbeispiel.
Bis auf einen Faktor 1/3 zeigt sich eine Übereinstimmung mit der Formel aus 8 für das erste Ausführungsbeispiel. Somit können unter Beachtung dieses anderen Faktors alle weiteren Erkenntnisse und Ausführungsoptionen zum ersten Ausführungsbeispiel, beispielsweise auch nach 10 bis 13, auf das fünfte Ausführungsbeispiel übertragen werden.
32 zeigt einen Kurvenverlauf einer real gemessenen Entfernung d in Abhängigkeit der Zeitdifferenz td für das fünfte Ausführungsbeispiel.
Analog zu 19 zeigt 32 einen durch Messung ermittelten Verlauf der gemessenen Entfernung d in Abhängigkeit der Zeitdifferenz td für das fünfte Ausführungsbeispiel. Dabei tritt ein besonderer Vorteil des fünften Ausführungsbeispiels zutage. Hier sind nämlich die nichtlinearen Abweichungen besonders klein. Das liegt daran, dass sich hier die Wirkung der Abweichungen der realen Einschaltflanke von der idealen Einschaltflanke und der realen Ausschaltflanke von der idealen Ausschaltflanke auf besonders günstige Weise gegenseitig kompensieren. Die verbleibende nichtlineare Abweichung kann mit den gleichen Mitteln korrigiert werden, wie sie für das erste Ausführungsbeispiel vorgeschlagen wurden.
Das Rauschen für das fünfte Ausführungsbeispiel kann nach der Formel gemäß 25 bestimmt werden. Da gegenüber dem dritten Ausführungsbeispiel durch die längere Öffnungszeit des Verschlusses mehr Licht empfangen werden kann, fällt der Nenner im Allgemeinen größer aus, so dass das Rauschen im Ergebnis meist kleiner ausfällt.
Da sich für das Rauschen die gleiche Formel anwenden lässt wie im dritte Ausführungsbeispiel, kann auch die Gültigkeit von Entfernungswerten auf die gleiche Weise ermittelt werden wie für das dritte Ausführungsbeispiel in 26 dargelegt ist.
33 zeigt Signale einer Zeitsteuerung gemäß einem sechsten Ausführungsbeispiel.
Ebenso wie im zweiten und vierten Ausführungsbeispiel wurde auch hier die Periodendauer gegenüber dem fünften Ausführungsbeispiel verlängert. Es ergeben sich gegenüber dem fünften Ausführungsbeispiel gleiche oder ähnliche Vorteile, wie im zweiten gegenüber dem ersten und im vierten gegenüber dem dritten Ausführungsbeispiel.
34 zeigt einen Verlauf der Signale S0, S1 und S2 entsprechend der Darstellung in 12 bei einer Zeitsteuerung gemäß dem sechsten Ausführungsbeispiel.
Hier ergibt sich ein Bereich 230, in dem die Signale S1 und S2 gleich sind und eine exakte Bestimmung einer Entfernung d nicht möglich ist. Jedoch lässt sich dort, wo S0>S1, S0>S2 und S1=S2 schließen, dass die Entfernung geringer ist als in den nachfolgenden Bereichen 231 bis 237. In den Bereichen 231 bis 236 ist eine Bestimmung der Entfernung möglich. Im Bereich 237 dagegen wiederum nicht, doch lässt sich hier anhand der Relation S2>S1, S2>S0 und SO=S1 feststellen, dass die Entfernung d größer ist als in den Bereichen 231 bis 236. Im Bereich 238 lässt sich wegen SO=S1=S2 keine Entfernung ermitteln und gleichzeitig lässt sich die Aussage treffen, dass sich dort keine Entfernung ermitteln lässt. Ab Bereich 239 folgt eine periodische Wiederholung des Bereichs 230.
35 zeigt eine in der Recheneinheit 29 verwendete Formel zur Bestimmung der Entfernung d im sechsten Ausführungsbeispiel.
Diese Formel gibt an, wie aus den in 34 gezeigten Signalen eine korrekten Entfernung d ermittelt werden kann. Im Vergleich zu der Formel in 31 zeigen sich sowohl in den bereichsdefinierenden Bedingungen als auch in den innerhalb der Bereiche geltenden linearen Termen deutliche Unterschiede, die dem Signalverlauf aus 34 geschuldet sind. Es ist ersichtlich, dass mit dem sechsten Ausführungsbeispiel im Vergleich zu dem zweiten und vierten Ausführungsbeispiel ein besonders großer Messbereich bei besonders guter Linearität abdeckbar ist, ohne Verlust der dort aufgeführten Vorteile.
36 zeigt Signalverläufe einer Zeitsteuerung gemäß einem siebten Ausführungsbeispiel.
Hier betragen die Pulslänge sowie die Länge der Öffnungszeiten des Verschlusses jeweils 120°, phil und phi2 ebenfalls 120° und phi0 wird hier mit 0° gewählt.
37 zeigt Verlauf der Signale S0, S1 und S2 bei einer Zeitsteuerung gemäß dem siebten Ausführungsbeispiel.
Aus der Zeitsteuerung gemäß 36 ergibt sich für das siebte Ausführungsbeispiel auf Grundlage der anhand 6 diskutierten Überlegungen der in 37 gezeigte Signalverlauf. Im Gegensatz zu den vorherigen Ausführungsbeispielen ergeben sich hier nur drei verschiedene Signalbereiche 200, 201 und 202. Der vierte Signalbereich 203 stellt bereits eine periodische Wiederholung des ersten Signalbereichs 200 dar. Durch die geringere Anzahl an Bereichen reduziert sich die Anzahl an Fallunterscheidungen und somit auch der Berechnungsaufwand in der Recheneinheit 29 gemäß 3 zum Ermitteln der Entfernung.
38 (a) und (b) zeigt eine Bahnkurve der S-Vektoren im S-Raum für das siebte Ausführungsbeispiel aus verschiedenen Blickwinkeln.
Dem siebten Ausführungsbeispiel liegt die Überlegung zugrunde, den Signalverlauf im S-Raum auf einer Polygonlinie zu führen, die eine mathematisch möglichst einfach beschreibbare Bahnkurve aufweist. Eine solche Bahnkurve bildet beispielsweise ein Dreieck, welches gemeinsam mit den Basisvektoren des S-Raumes eine Dreieckspyramide aufspannt. Dieses ist in 38 (a) und (b) gezeigt und die Linien 190, 191 und 192 bilden das Dreieck. 38 (a) und (b) zeigen beide zum besseren räumlichen Verständnis genau dieselbe Polygonlinie aus einem um 90° gegeneinander gedrehten Blickwinkel. Ebenso wie in 9 und in 30 wird bei dieser Darstellung davon ausgegangen, dass kein Umgebungslicht vorhanden ist.
39 zeigt eine in der Recheneinheit 29 verwendete Formel zur Ermittlung der Entfernung d aus den Signalen S0, S1 und S2 bei einer Zeitsteuerung gemäß dem siebten Ausführungsbeispiel.
Im Vergleich zu 8, 11, 13, 22 und 31 fällt auf, dass diese Formel einfacher strukturiert ist und insbesondere bei der Realisierung der Hardware der Recheneinheit 29 gemäß 3, beispielsweise in einem Field-Programmable Gated Array (FPGA), einen besonders geringen Ressourcenaufwand benötigt.
40 zeigt eine in der Recheneinheit 29 verwendete Formel zur Berechnung des Tiefenrauschens Nd anhand der Signale S0, S1 und S2 für das siebte Ausführungsbeispiel.
Auch hier kennzeichnen die Parameter NS0, NS1 und NS2 die Rauschwerte der Signale S0, S1 und S2, welche direkt gemessen oder auch nach den Formeln der Norm EMVA 1288 berechnet werden können. Aus dieser Formel lässt sich mit den gleichen Überlegungen, die im Zusammenhang mit 16 und 17 diskutiert wurden, ein Kriterium für die Gültigkeit von Messwerten herleiten.
41 zeigt Signalverläufe für eine Zeitsteuerung gemäß einem achten Ausführungsbeispiel.
Hier wird auch das siebte Ausführungsbeispiel durch Erhöhung der Periode tp dahingehend weiterentwickelt, dass die Vorteile des zweiten, vierten und sechsten Ausführungsbeispiels erhalten werden.
42 zeigt Verläufe der Signale S0, S1 und S2 bei einer Zeitsteuerung gemäß dem achten Ausführungsbeispiel.
Wird die in 41 gezeigte Zeitsteuerung angewandt, so wird der in 42 dargestellte Signalverlauf in Abhängigkeit der Zeitdifferenz td erhalten. Dabei ist die Entfernung d innerhalb der Bereiche 241 und 242 korrekt bestimmbar, innerhalb der Bereiche 240 und 243 als vor bzw. hinter dem Messbereich bestimmbar, und im Bereich 244 nicht bestimmbar. Ab dem Bereich 245 findet eine periodische Wiederholung statt. Für die innerhalb der Bereiche linear verlaufenden Signale kann ebenso wie in den vorhergegangenen Beispielen eine Formel formuliert werden.
43 zeigt eine solche in der Recheneinheit 29 verwendete Formel für das achte Ausführungsbeispiel.
Ebenso wie im siebten Ausführungsbeispiel ist auch hier die Formel sehr kompakt und erfordert bei einer Realisierung in Hardware besonders wenig Ressourcenaufwand.
Den geschilderten Ausführungsbeispielen ist gemeinsam, dass als Bildsensor 28 in 3 nunmehr ein konventioneller Bildsensor eingesetzt werden kann, welcher über nur einen Signalpfad pro Pixel verfügt. Dadurch kann der Bildsensor 28 besonders einfach und damit kostengünstig hergestellt werden und ist lichtempfindlich oder rauscharm. Ferner kann eine besonders hohe laterale Auflösung aufweisen oder sich besonders schnell auslesen lassen. Da am Markt erheblich mehr konventionelle Bildsensoren verfügbar sind als Demodulationsbildsensoren, ist es einfach, einen entsprechenden Bildsensor zu finden, der den entsprechenden Vorteil aufweist. Schließlich kann auch ein Farbbildsensor verwendet werden, sodass mit nur mit einem einzigen Bildsensor Entfernung und Farbe von Objekten erfasst werden können.
In den vorgenannten Ausführungsbeispielen wurden jeweils drei Signale erfasst, zu deren Aufnahme jeweils Licht ausgesandt und ein Verschluss mit gegebener und jeweils verschiedener Phasenlage zum ausgesandten Licht geöffnet und geschlossen wird. Die Dauer ts der Öffnung des Verschlusses für die Gewinnung der drei Signale wurde jeweils gleich gewählt. Auch wurden jeweils Phasenverschiebungen phi2 = phi3 gewählt.
Die vorgestellten Lösungsalternativen gemäß den Ausführungsbeispielen können im Zusammenhang mit verschiedensten Bildaufnahmegeräten und Kameras nach dem TOF-Prinzip eingesetzt werden.
Zusammenfassend wurden eine Vorrichtung und ein Verfahren zur Steuerung einer Lichtlaufzeitkamera beschrieben, bei der eine Entfernungsinformation für ein dreidimensionales Bild aus einem Laufzeitunterschied oder einer Phasenverschiebung zwischen einem von einer Lichtquelle der Laufzeitkamera emittierten Lichtsignal und einem von einem Bildsensor der Laufzeitkamera durch Streuung oder Reflektion des emittierten Lichtsignals empfangen Lichtsignal ermittelt wird. Es werden zumindest drei Subbilder aufgenommen. Dabei wird zumindest ein Lichtpuls ausgesendet und eine Verschlusseinrichtung (Shutter) wird mittels zumindest dreier Steuersignale so getaktet, dass die Phasenverschiebung zwischen Lichtimpuls und Shutter durch die verschiedenen Phasenlagen der Steuersignale zwischen den Subbildern variiert wird. Dadurch werden pro Pixel drei Messwerte erhalten. Diese können einem Operator zugeführt werden, der analog zu einem Hue-Operator aufgebaut ist und einen Drehwinkel um die Raumdiagonale des SO-S1-S2-Raumes ermittelt. Mittels einer Proportionalitätskonstante kann dieser dann in die Entfernungsinformation umgerechnet werden.

Claims

Verfahren zum Bestimmen einer Entfernungsinformation für ein dreidimensionales Bild aus einem Laufzeitunterschied oder einer Phasenverschiebung zwischen einem von einer Lichtquelle (23) einer Lichtlaufzeitkamera (20) emittierten Lichtsignal (L) und einem von einem Bildsensor (28) der Lichtlaufzeitkamera (20) durch Streuung oder Reflektion des emittierten Lichtsignals (L) empfangenen Lichtsignal (D), wobei das Verfahren umfasst: - Steuern der Lichtquelle (23) zum Aussenden mindestens eines Lichtimpulses mit vorbestimmter Dauer (tl) als das emittierte Lichtsignal (L); - mindestens einmaliges erstes Öffnen und Schließen eines elektrischen Verschlusses des Bildsensors (28) mittels eines ersten Steuersignals (C0), wobei dabei aus dem im ersten geöffneten Zustand des elektrischen Verschlusses empfangenen Lichtsignal ein erstes Signal (S0) erhalten wird; - mindestens einmaliges zweites Öffnen und Schließen des elektrischen Verschlusses des Bildsensors (28) mittels eines zweiten Steuersignals (C1), wobei dabei aus dem im zweiten geöffneten Zustand des elektrischen Verschlusses empfangenen Lichtsignal ein zweites Signal (S1) erhalten wird; und - mindestens einmaliges drittes Öffnen und Schließen des elektrischen Verschlusses des Bildsensors (28) mittels eines dritten Steuersignals (C2), wobei dabei aus dem im dritten geöffneten Zustand des elektrischen Verschlusses empfangenen Lichtsignal ein drittes Signal (S2) erhalten wird; - wobei die zeitliche Dauer (ts) der den ersten bis dritten geöffneten Zustand des elektrischen Verschlusses bestimmenden Impulse der ersten bis dritten Steuersignale (C0, C1, C2) jeweils gleich ist; - wobei die Phasenverschiebung (phi1) zwischen dem ersten Steuersignal (C0) und dem zweiten Steuersignal (C1) gleich der Phasenverschiebung (phi2) zwischen dem zweiten Steuersignal (C1) und dem dritten Steuersignal (C2) ist, und - wobei das Verfahren ferner umfasst: - Berechnung der Entfernungsinformation des dreidimensionalen Bilds anhand der Werte der drei Signale (S0, S1, S2) basierend auf einer Fallunterscheidung für verschiedene durch gegenseitige Größenverhältnisse der Werte der drei Signale (S0, S1, S2) festgelegte Bereiche, wobei die Entfernung, die Intensität des Umgebungslichts und die Intensität des einfallenden Lichts berücksichtigt sind.
Verfahren nach Anspruch 1, wobei die Phasenverschiebung (phi1) zwischen dem ersten Steuersignal (C0) und dem zweiten Steuersignal (C1) und die Phasenverschiebung (phi2) zwischen dem zweiten Steuersignal (C1) und dem dritten Steuersignal (C2) in Bezug auf die Periodendauer des Lichtimpulses jeweils 120° beträgt, und wobei zumindest ein zweiter Lichtimpuls ausgesendet wird und die Periodendauer (tp) zwischen den Lichtimpulsen mit einem Phasenwinkel von 360° gleichgesetzt ist.
Verfahren nach Anspruch 2, wobei die den geöffneten Zustand des elektrischen Verschlusses bestimmende zeitliche Dauer (ts) des ersten bis dritten Steuersignals (C0, C1, C2) in Bezug auf die Periodendauer (tp) zwischen den Lichtimpulsen einem Phasenwinkel von 60° entspricht und die Dauer des Lichtimpulses in Bezug auf die Periodendauer (tp) zwischen den Lichtimpulsen einem Phasenwinkel von 180° entspricht, und wobei die Periodendauer (tp) zwischen den Lichtimpulsen mit einem Phasenwinkel von 360° gleichgesetzt ist.
Verfahren nach Anspruch 2, wobei die den geöffneten Zustand des elektrischen Verschlusses bestimmende zeitliche Dauer (ts) des ersten bis dritten Steuersignals (C0, C1, C2) in Bezug auf die Periodendauer der Lichtimpulse einem Phasenwinkel von 180° entspricht und die Dauer des Lichtimpulses in Bezug auf die Periodendauer des Lichtimpulses einem Phasenwinkel von 180° entspricht, und wobei die Periodendauer (tp) des Lichtimpulses mit einem Phasenwinkel von 360° gleichgesetzt ist.
Verfahren nach Anspruch 2, wobei die den geöffneten Zustand des elektrischen Verschlusses bestimmende zeitliche Dauer (ts) des ersten bis dritten impulsförmigen Steuersignals (C0, C1, C2) in Bezug auf die Periodendauer zwischen den Lichtimpulsen einem Phasenwinkel von 120° entspricht und die Dauer des Lichtimpulses in Bezug auf die Periodendauer zwischen den Lichtimpulsen einem Phasenwinkel von 120° entspricht, und wobei die Periodendauer (tp) zwischen den Lichtimpulsen mit einem Phasenwinkel von 360° gleichgesetzt ist.
Verfahren nach Anspruch 2, wobei die den geöffneten Zustand des elektrischen Verschlusses bestimmende zeitliche Dauer (ts) des ersten bis dritten Steuersignals (C0, C1, C2) für das Öffnen der elektrischen Verschlusseinrichtung in Bezug auf die Periodendauer zwischen den Lichtimpulsen einem Phasenwinkel von 180° entspricht und die Dauer des Lichtimpulses in Bezug auf die Periodendauer zwischen den Lichtimpulsen einem Phasenwinkel von 60° entspricht, und wobei die Periodendauer (tp) zwischen den Lichtimpulsen mit einem Phasenwinkel von 360° gleichgesetzt ist.
Verfahren nach Anspruch 1, wobei die den geöffneten Zustand des elektrischen Verschlusses bestimmende zeitliche Dauer (ts) des ersten bis dritten Steuersignals (C0, C1, C2) dreimal so groß ist, wie die zeitliche Dauer (tl) des Lichtimpulses, und die zeitliche Dauer der Phasenverschiebung (phi1) zwischen dem ersten Steuersignal (C0) und dem zweiten Steuersignal (C1) und der Phasenverschiebung (phi2) zwischen dem zweiten Steuersignal (C1) und dem dritten Steuersignal (C2) zwei Drittel der zeitlichen Dauer (ts) des ersten bis dritten Steuersignals (C0, C1, C2) beträgt (20).
Verfahren nach Anspruch 1, wobei die den geöffneten Zustand des elektrischen Verschlusses bestimmende zeitliche Dauer (ts) des ersten bis dritten Steuersignals (C0, C1, C2) ein Drittel der zeitlichen Dauer (tl) des Lichtimpulses beträgt, und die zeitliche Dauer der Phasenverschiebung (phi1) zwischen dem ersten Steuersignal (C0) und dem zweiten Steuersignal (C1) und der Phasenverschiebung (phi2) zwischen dem zweiten Steuersignal (C1) und dem dritten Steuersignal (C2) doppelt so groß ist wie die zeitlichen Dauer (ts) des ersten bis dritten Steuersignals (C0, C1, C2) (27).
Verfahren nach Anspruch 1, wobei die den geöffneten Zustand des elektrischen Verschlusses bestimmende zeitliche Dauer (ts) des ersten bis dritten Steuersignals (C0, C1, C2) mit der zeitlichen Dauer (tl) des Lichtimpulses übereinstimmt, und die zeitliche Dauer der Phasenverschiebung (phi1) zwischen dem ersten Steuersignal (C0) und dem zweiten Steuersignal (C1) und der Phasenverschiebung (phi2) zwischen dem zweiten Steuersignal (C1) und dem dritten Steuersignal (C2) zwei Drittel der zeitlichen Dauer (ts) des ersten bis dritten Steuersignals (C0, C1, C2) beträgt (33).
Verfahren nach Anspruch 1, wobei die den geöffneten Zustand des elektrischen Verschlusses bestimmende zeitliche Dauer (ts) des ersten bis dritten Steuersignals (C0, C1, C2) mit der zeitlichen Dauer (tl) des Lichtimpulses übereinstimmt, und wobei die zeitliche Dauer der Phasenverschiebung (phi1) zwischen dem ersten Steuersignal (C0) und dem zweiten Steuersignal (C1) und der Phasenverschiebung (phi2) zwischen dem zweiten Steuersignal (C1) und dem dritten Steuersignal (C2) mit der zeitlichen Dauer (ts) des ersten bis dritten Steuersignals (C0, C1, C2) übereinstimmt (41).
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Gültigkeit der berechneten Entfernungsinformation anhand eines Verhältnisses zwischen Signalqualität und Rauschen bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Gültigkeit der berechneten Entfernungsinformation anhand des Sättigungsgrades der drei Signale (S0, S1, S2) entschieden wird.
Kamerasystem umfassend eine Lichtlaufzeitkamera (20) mit einer Lichtquelle (23), einem Bildsensor (28) und einer Synchronisationseinrichtung (21) und eine Recheneinheit (29), zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 12.
Kamerasystem nach Anspruch 13, wobei die Recheneinheit (29) in der Lichtlaufzeitkamera (20) angeordnet ist.
Lichtlaufzeitkamera (20) mit einer Lichtquelle (23), einem Bildsensor (28) und einer Synchronisationseinrichtung (21) zur Verwendung in einem Kamerasystem nach Anspruch 13.
Vorrichtung umfassend eine Synchronisationseinrichtung (21) und eine Recheneinheit (29), die ausgestaltet ist zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 12.
Computerprogramm zum Speichern auf einem Datenträger und zum Veranlassen einer Computervorrichtung zum Ausführen des Verfahrens nach einem der Ansprüche 1 bis 12, wenn das Computerprogramm auf der Computervorrichtung ausgeführt wird.