DE102019121686A1

DE102019121686A1 - Messung und Kompensation von Phasenfehlern bei Time-of-Flight Kameras

Info

Publication number: DE102019121686A1
Application number: DE102019121686.9A
Authority: DE
Inventors: Timon Ehrlich
Original assignee: Basler AG
Current assignee: Basler AG
Priority date: 2019-08-12
Filing date: 2019-08-12
Publication date: 2021-02-18
Also published as: DE112020003844A5; US20220326359A1; WO2021028423A1

Abstract

Die Erfindung betrifft eine Time-of-Flight-, ToF, -Kamera (10) zum Messen von Entfernungsinformationen für Objekte (14) einer Szene. Die ToF-Kamera (10) umfasst eine Lichtquelle (11) zum Aussenden von modulierten Lichtsignalen (15) zum Beleuchten der Objekte (14), einen Bildsensor (12) zum Erfassen von an den Objekten (14) reflektierten Lichtsignalen (16), Shutter (13) zum Öffnen und Verschließen der Belichtung des Bildsensors (12), einen Pulserzeuger (17) zum Erzeugen von ersten Pulsen zum Schalten der Lichtquelle (11) und von zweiten Pulsen zum Schalten der Shutter (13), einen ersten Treiber (181) zum Verstärken der ersten Pulse und zum Ausgeben derselben an die Lichtquelle (11) und einen zweiten Treiber (182) zum Verstärken der zweiten Pulse und zum Ausgeben derselben an die Shutter (13), eine Zeitmesseinheit (19) zum Messen der Laufzeit der Pulse durch die Treiber (181, 182) und/oder der Pulsdauer der von den Treibern (181, 182) ausgegebenen Pulse, und eine Verarbeitungseinheit (20) zum Erzeugen eines Entfernungsmessbildes (21) basierend auf den erfassten reflektierten Lichtsignalen (16), wobei die Verarbeitungseinheit (20) angepasst ist, die gemessene Laufzeit der Pulse und/oder die gemessene Pulsdauer zu verwenden, um den Einfluss von Phasenfehlern auf das Entfernungsmessbild (21) zu reduzieren.

Description

Die Erfindung betrifft eine Time-of-Flight-, ToF, -Kamera zum Messen von Entfernungsinformationen für Objekte einer Szene sowie ein entsprechendes ToF-Verfahren. Insbesondere betrifft die Erfindung die Messung und Kompensation von Phasenfehlern bei einer ToF-Kamera bzw. einem ToF-Verfahren.
HINTERGRUND DER ERFINDUNG
Licht breitet sich mit einer Geschwindigkeit von annähernd 300.000 Kilometern pro Sekunde aus. Indem man die Laufzeit des Lichts zwischen zwei Punkten sehr genau misst, ist es möglich, die Entfernung zwischen ihnen zu berechnen. Dieses Prinzip bildet die Grundlage der Entfernungsmessverfahren, die in sogenannten Time-of-Flight-, ToF, -Kameras (dt. manchmal auch Lichtflugzeit-Kameras) zum Einsatz kommen. Eine ToF-Kamera umfasst eine Lichtquelle und einen Bildsensor. Die Lichtquelle sendet ein moduliertes Lichtsignal aus, das an den in der Szene befindlichen Objekten reflektiert wird, und die ToF-Kamera misst die Zeit zwischen dem Aussenden und dem Eintreffen des reflektierten Lichtsignals an dem Bildsensor. Für jeden Bildpunkt (oder für eine Untermenge der Bildpunkte) des Bildsensors wird dann eine aus der gemessenen Laufzeit berechnete Entfernung der lichtreflektierenden Objekte zur ToF-Kamera ausgegeben.
Manche ToF-Kameras erzeugen neben den Entfernungswerten zusätzlich noch Farb- oder Helligkeitswerte (und ggf. weitere Werte wie etwa Konfidenzwerte oder dergleichen), die dann ebenfalls ausgegeben werden können. ToF-Kameras, die aufgrund ihrer Ausstattung mit einer eigenen Lichtquelle oft auch als „aktive Kameras“ bezeichnet werden, kommen in einer Vielzahl von Anwendungen zum Einsatz, z.B. in der Robotik, der industriellen Automation, der Logistik und Medizin, sowie in verschiedenen Bereichen der „Smart Factory“.
Die Genauigkeit der ToF-Methode hängt davon ab, wie präzise die Zeitmessung ist. Da die Verzögerungszeit des Lichts nur etwa 3,3 ns pro Meter beträgt, muss die Auflösung der Zeitmessung entsprechend hoch sein. Bei der sogenannten Pulsmodulation emittiert die Lichtquelle der ToF-Kamera einen Lichtpuls zu einem Zeitpunkt t₀ und startet gleichzeitig eine hochpräzise Zeitmessung. Trifft das an einem Objekt der Szene reflektierte Licht dann zu einem Zeitpunkt t₁ in der Kamera ein, kann die Entfernung zum Objekt direkt aus der gemessenen Laufzeit t₁ - t₀ als d = c/2 · (t₁ - t₀) berechnet werden, wobei c die Lichtgeschwindigkeit angibt. Alternativ kann aber auch eine sinusförmige Modulation des Lichtsignals verwendet werden, wobei die Entfernungswerte dann aus der Phasenverschiebung zwischen dem aus- und eingehenden Lichtsignal abgeleitet werden. Diese Methode wird in der Literatur auch als Verfahren mit kontinuierlicher Modulation bzw. als Continuous Wave-, (CW), -Verfahren bezeichnet.
In der Praxis kommen sowohl Pulsmodulations- und CW-Verfahren als auch Mischformen aus beiden zum Einsatz:

Beispielsweise wird bei einem bekannten Verfahren ein rechteckförmiger Lichtpuls der Dauer t_p ausgesendet und zur gleichen Zeit ein erster elektronischer Verschluss (engl. „Shutter“) für die Dauer des Lichtpulses geöffnet. Das in dieser Zeit in der ToF-Kamera eintreffende, reflektierte Licht wird als eine erste elektrische Ladung S₁ gespeichert. Nun wird der erste Shutter geschlossen und ein zweiter Shutter wird - zum Zeitpunkt des Ausschaltens der Lichtquelle - ebenfalls für die Dauer t_p geöffnet. Das in dieser Zeit in der ToF-Kamera eintreffende, reflektierte Licht wird als eine zweite elektrische Ladung S₂ gespeichert. Da der Lichtpuls sehr kurz ist, wird dieser Vorgang mehrere tausend Male wiederholt, bis die eingestellte Belichtungszeit vorüber ist. Anschließend werden die integrierten elektrischen Ladungen S₁ und S₂ ausgelesen.

Im Ergebnis erhält man so zwei Teilmessbilder, die für jeden Bildpunkt jeweils die integrierte elektrische Ladung S₁ bzw. S₂ angeben. Im dem S₁-Teilmessbild sind die nahen Objekte der Szene heller, denn mit zunehmender Entfernung erreicht immer weniger reflektiertes Licht die ToF-Kamera solange der erste Shutter noch offen ist. Bei der S₂-Messung ist es hingegen genau umgekehrt. Hier sind nahe Objekte dunkel, da der zweite Shutter erst öffnet, wenn das Licht schon eine Weile unterwegs war. Das Verhältnis der integrierten elektrischen Ladungen S₁ und S₂ ändert sich also, je nachdem welche Entfernung das ausgesandte und reflektierte Licht zurückgelegt hat. Damit lässt sich die Entfernung zum Objekt für jeden Bildpunkt als $d = \frac{c}{2} \cdot t_{p} \cdot \frac{S_{2}}{S_{1} + S_{2}}$
bestimmen, wobei c wiederum die Lichtgeschwindigkeit angibt. Bei diesem Verfahren basiert die Entfernungsmessung also auf der Messung der Phasenlage reflektierter rechteckförmiger Pulse.
Die geringste messbare Entfernung wird dann gemessen, wenn alle Ladung während der frühen Verschlusszeit als S₁ und keine Ladung während der verzögerten Verschlusszeit als S₂ gespeichert wird, d.h. S₂ = 0. Die Gleichung (1) ergibt dann d = 0. Demgegenüber wird die größte messbare Entfernung gerade dann gemessen, wenn alle Ladung als S₂ und keine Ladung als S₁ gespeichert wird, d.h. S₁ = 0. In diesem Fall ergibt die Gleichung (1) d = c/2 · t_p. Daran erkennt man auch, dass die Lichtpulsbreite bei dieser Methode die maximal messbare Entfernung bestimmt. Beträgt t_p beispielsweise 47 Nanosekunden, lassen sich Entfernungen von 0 bis 7 Metern messen.
Sollen Entfernungen in einer beleuchteten Szene gemessen werden, führt das Hintergrundlicht zu einer Verfälschung der Messergebnisse. Um dies zu vermeiden, kann ein dritte Belichtung ohne Lichtpuls von der ToF-Kamera durchgeführt werden, so dass nur das Hintergrundlicht der Szene als eine dritte elektrische Ladung S₃ (drittes Teilmessbild) gespeichert wird. Die integrierte elektrische Ladung S₃ kann dann von den integrierten elektrischen Ladungen S₁ und S₂ abgezogen werden, wodurch sich für die Entfernungsmessung die folgende Formel ergibt $d = \frac{c}{2} \cdot t_{p} \cdot \frac{S_{2} - S_{3}}{S_{1} + S_{2} - 2 \cdot S_{3}} .$
Der Grundsatz, dass für die Messung von Entfernungen in einer beleuchteten Szene drei verschiedene Signale S₁, S₂ und S₃ benötigt werden, kommt auch in einem alternativen Ansatz zum Tragen, bei dem drei Shutter jeweils, bezogen auf eine Periode von 360°, um 120° phasenverschoben geöffnet und geschlossen werden. Man erhält dann ebenfalls drei Teilmessbilder, die ausreichend sind, um bei den vorliegenden drei Unbekannten, Entfernung zum Objekt, Reflektivität des Objekts sowie Umgebungslicht, eine Entfernungsmessung zu gewährleisten. Der Vorteil dieses Ansatzes ist, dass die Beleuchtung der ToF-Kamera in jeder der drei phasenverschobenen Öffnungszeiten der Shutter aktiv ist, sodass auch während der Öffnung des dritten Shutters, während der vorher das Hintergrundlicht gemessen wurde, Licht von der ToF-Kamera ausgesendet werden kann.
In der Praxis werden die Lichtquelle und die Shutter einer ToF-Kamera mit Hilfe von Pulsen geschaltet, die an diese Bauelemente angelegt werden. Die Pulse werden beispielsweise von einem FPGA-Baustein (Field Programmable Gate Array) mit Logikstandardsignalen erzeugt. Damit die Schaltsignale mit ihren Logikstandardpegeln die Lichtquelle bzw. die Shutter der ToF-Kamera schalten können, werden die Logikstandardpegel zur Verstärkung jeweils an eine Treiberstruktur gegeben, deren Ausgänge dann an die Lichtquelle bzw. die Shutter angelegt werden.
Aufgrund von unterschiedlich langen Laufzeiten der Schaltsignale durch die Treiberstrukturen ergeben sich prinzipbedingt Phasenfehler, die die Entfernungsmessung verfälschen können. Diese Fehler werden bei der Fertigung einer ToF-Kamera in der Regel einmalig ausgemessen und es werden Korrekturparameter in der Kamera gespeichert, mit Hilfe derer korrigierte Entfernungsmesswerte berechnet werden können, die besser mit den realen Entfernungen übereinstimmen. Die Phasenfehler sind jedoch im Allgemeinen nicht temperaturstabil, d.h., sie sind abhängig von thermischen Einflüssen, und auch die Alterung der Elektronikkomponenten kann die Signallaufzeiten und die Pulsdauern der an der Lichtquelle bzw. den Shuttern anliegenden Pulse verändern. Dies ist problematisch, da beispielsweise die Temperatur in einer ToF-Kamera von Betriebsparametern der ToF-Kamera, insbesondere der Belichtungszeit, sowie von äußeren Einflüssen wie der Umgebungstemperatur abhängig ist.
Im Hinblick auf diese Probleme wäre es daher wünschenswert, eine ToF-Kamera und ein ToF-Verfahren vorzusehen, bei denen der Einfluss von Phasenfehlern, die sich unter anderem aufgrund von Änderungen der Temperatur und von Alterungserscheinungen der Elektronikkomponenten ergeben können, auf die Entfernungsmessungen möglichst reduziert werden kann.
ZUSAMMENFASSUNG DER ERFINDUNG
Der Erfindung liegt die Aufgabe zugrunde, eine Time-of-Flight-, ToF, -Kamera bereitzustellen, die es ermöglicht, den Einfluss von Phasenfehlern, die sich unter anderem aufgrund von Änderungen der Temperatur und von Alterungserscheinungen der Elektronikkomponenten ergeben können, auf die Entfernungsmessungen zu reduzieren. Des Weiteren liegt der Erfindung die Aufgabe zugrunde, ein entsprechendes ToF-Verfahren bereitzustellen.
Gemäß einem ersten Aspekt der Erfindung wird eine Time-of-Flight-, ToF, -Kamera zum Messen von Entfernungsinformationen für Objekte einer Szene bereitgestellt, wobei die ToF-Kamera umfasst:

- eine Lichtquelle zum Aussenden von modulierten Lichtsignalen zum Beleuchten der Objekte;
- einen Bildsensor zum Erfassen von an den Objekten reflektierten Lichtsignalen;
- Shutter zum Öffnen und Verschließen der Belichtung des Bildsensors;
- einen Pulserzeuger zum Erzeugen von ersten Pulsen zum Schalten der Lichtquelle und von zweiten Pulsen zum Schalten der Shutter;
- einen ersten Treiber zum Verstärken der ersten Pulse und zum Ausgeben derselben an die Lichtquelle und einen zweiten Treiber zum Verstärken der zweiten Pulse und zum Ausgeben derselben an die Shutter;
- eine Zeitmesseinheit zum Messen der Laufzeit der Pulse durch die Treiber und/oder der Pulsdauer der von den Treibern ausgegebenen Pulse; und
- eine Verarbeitungseinheit zum Erzeugen eines Entfernungsmessbildes basierend auf den erfassten reflektierten Lichtsignalen, wobei die Verarbeitungseinheit angepasst ist, die gemessene Laufzeit der Pulse und/oder die gemessene Pulsdauer zu verwenden, um den Einfluss von Phasenfehlern auf das Entfernungsmessbild zu reduzieren.

Der Erfindung liegt die Erkenntnis des Erfinders zugrunde, dass die Treiber, die in einer ToF-Kamera zur Verstärkung der Pulse zum Schalten der Lichtquelle und der Shutter verwendet werden, in der Regel unterschiedlich lange Verzögerungszeiten aufweisen, die zudem von thermischen Einflüssen und der Alterung der Elektronikkomponenten anhängig sind. Dies führt zu sich ändernden Phasenfehlern, die nur schwerlich „statisch“ bei der Fertigung einer ToF-Kamera adressiert werden können. Daher wird vorgeschlagen, die Laufzeit der Pulse durch die Treiber und/oder der Pulsdauer der von den Treibern ausgegebenen Pulse mit Hilfe einer Zeitmesseinheit zu messen und die gemessene Laufzeit der Pulse und/oder die gemessene Pulsdauer zu verwenden, um das Entfernungsmessbild mit einem reduzierten Phasenfehler zu erzeugen.
Die Lichtquelle sendet das modulierte Licht vorteilhafterweise in den Sichtbereich der ToF-Kamera aus. Hierbei können zum Beispiel LEDs (engl. „light emitting diodes“) oder LDs (engl. „laser diodes“) zum Einsatz kommen. In vielen Anwendungen wird Infrarotlicht als Beleuchtung verwendet. Dies hat den Vorteil, dass es visuell unauffällig ist und insbesondere zusätzlich aufzunehmende Farb- oder Helligkeitswerte nicht oder nur in geringem Maße beeinflusst.
Die von der Lichtquelle ausgesendeten Lichtsignale können bevorzugt eine rechteckförmige Modulation aufweisen und es können drei Shutter vorgesehen sein, die jeweils, bezogen auf eine Periode von 360°, um 120° phasenverschoben geöffnet und geschlossen werden. Die Verarbeitungseinheit kann das Entfernungsmessbild dann aus drei Teilmessbildern erzeugen. Dies ist ausreichend, um bei Vorliegen von drei Unbekannten, Entfernung zum Objekt, Reflektivität des Objekts sowie Umgebungslicht, eine Entfernungsmessung zu gewährleisten.
Der Pulserzeuger ist bevorzugt ein FPGA-Baustein (Field Programmable Gate Array), der die Pulse mit Logikstandardsignalen erzeugt. Die Treiber verstärken in diesem Fall die Logikstandardpegel, damit die Schaltsignale mit ihren Logikstandardpegeln die Lichtquelle bzw. die Shutter der ToF-Kamera schalten können.
Gemäß einer vorteilhaften Ausgestaltung ist die Zeitmesseinheit ein Time-to-Digital Converter. Solche Time-to-Digital Converter sind im Wesentlichen sehr schnelle Stoppuhren, mit denen Signallaufzeiten beispielsweise in zweistelliger Picosekundenauflösung gemessen werden können. Ein Beispiel für einen kommerziell verfügbaren Time-to-Digital Converter ist der TDC7201 der Firma Texas Instruments mit einer zeitlichen Auflösung von 55 ps. Dieser Baustein verwendet eine interne, selbst-kalibrierte Zeitbasis, die Abweichungen sowohl über die Zeit als auch mit der Temperatur kompensiert, wodurch eine hochpräzise Zeitmessung ermöglicht wird. Ein Time-to-Digital Converter ist daher vorteilhafterweise geeignet, die benötigte zeitliche Genauigkeit bei der Messung der Signallaufzeiten durch die Treiber zu gewährleisten. Zudem sind diese Bausteine kompakt genug, um in einer ToF-Kamera integriert zu werden.
Gemäß einer vorteilhaften Ausgestaltung ist der Pulserzeuger angepasst, einen Startpuls zu erzeugen und an die Zeitmesseinheit auszugeben, und die Zeitmesseinheit ist angepasst, die Messung der Laufzeit der Pulse durch die Treiber und/oder der Pulsdauer der von den Treibern ausgegebenen Pulse auf den Empfang des Startpulses hin zu starten. Dadurch, dass der Startpuls für die Messung der Laufzeit der Pulse durch die Treiber und/oder der Pulsdauer der von den Treibern ausgegebenen Pulse ebenfalls von dem Pulserzeuger erzeugt wird, lässt sich der Start der Messung in einfacher Weise mit der Erzeugung der ersten und zweiten Pulse synchronisieren.
Gemäß einer vorteilhaften Ausgestaltung umfasst die ToF-Kamera des Weiteren eine Speichereinheit zum Speichern der zeitlichen Positionen der von dem Pulserzeuger erzeugten Pulse relativ zu der zeitlichen Position des Startpulses. Auf diese Weise können die zeitlichen Beziehungen zwischen dem Startpuls und den ersten und zweiten Pulsen in der ToF-Kamera gespeichert werden und diese bei der weiteren Verarbeitung zur Reduzierung des Einflusses von Phasenfehlern auf das Entfernungsmessbild verwendet werden.
Gemäß einer vorteilhaften Ausgestaltung ist die Zeitmesseinheit angepasst, die von den Treibern ausgegebenen Pulse zu empfangen und die Laufzeit der Pulse durch die Treiber und/oder die Pulsdauer der von den Treibern ausgegebenen Pulse basierend auf den empfangenen Pulsen zu messen. Dabei ist bevorzugt ein erster Eingang der Zeitmesseinheit operativ mit einem Ausgang des ersten Treibers gekoppelt und ein zweiter Eingang der Zeitmesseinheit ist operativ mit einem Ausgang des zweiten Treibers gekoppelt.
Gemäß einer vorteilhaften Ausgestaltung weisen die von den Treibern ausgegebenen Pulse eine vordere Flanke auf und die Zeitmesseinheit ist angepasst, die Laufzeit der Pulse durch die Treiber basierend auf der zeitlichen Position der vorderen Flanke zu messen. Die vordere Flanke der von den Treibern ausgegebenen Pulse lässt sich bevorzugt in einfacher Weise und mit hoher zeitlicher Genauigkeit detektieren und bietet somit einen geeigneten Referenzpunkt zur Messung der Laufzeit durch die Treiber der Pulse.
Gemäß einer vorteilhaften Ausgestaltung weisen die von den Treibern ausgegebenen Pulse des Weiteren eine hintere Flanke auf und die Zeitmesseinheit ist angepasst, die Pulsdauer der von den Treibern ausgegebenen Pulse basierend auf der zeitlichen Position der vorderen Flanke und der zeitlichen Position der hinteren Flanke zu messen. Die hintere Flanke der von den Treibern ausgegebenen Pulse lässt sich bevorzugt ebenfalls in einfacher Weise und mit hoher zeitlicher Genauigkeit detektieren. Mit diesem Referenzpunkt und der zeitlichen Position der vorderen Flanke kann dann die Pulsdauer der von den Treibern ausgegebenen Pulse gemessen werden.
Gemäß einer vorteilhaften Ausgestaltung weisen die von den Treibern ausgegebenen Pulse eine vordere steigende und eine hintere fallende Flanke auf. Mit Hilfe dieser Ausgestaltung ist es möglich, einen genauen Zeitpunkt für die Pulse zu bestimmen.
Gemäß einer vorteilhaften Ausgestaltung ist die Verarbeitungseinheit angepasst, basierend auf der gemessenen Laufzeit der Pulse und/oder der gemessenen Pulsdauer den Pulserzeuger zu steuern, die zeitlichen Positionen der Pulse anzupassen, um so die Phasenfehler beim Erzeugen des Entfernungsmessbildes zu reduzieren. Auf diese Weise können unterschiedliche lange Signallaufzeiten in den Treibern und/oder Veränderungen der Pulsdauern durch die Treiber unmittelbar bei der Erzeugung der Pulse mit dem Pulserzeuger kompensiert werden. Die von den Treibern ausgegebenen Pulse weisen dann bevorzugt eine möglichst korrekte Phasenbeziehung auf, so dass die Entfernungsmessung in nur geringerem Maße oder gar nicht durch Phasenfehler verfälscht wird.
Gemäß einer vorteilhaften Ausgestaltung ist die Verarbeitungseinheit angepasst, beim Erzeugen des Entfernungsmessbildes eine Korrektur der Entfernungsmesswerte basierend auf der gemessenen Laufzeit der Pulse und/oder der gemessenen Pulsdauer durchzuführen, um so durch die Phasenfehler in dem Entfernungsmessbild entstandene Fehler zu reduzieren. Hierzu kann beispielsweise zunächst das vollständige Entfernungsmessbild basierend auf den erfassten reflektierten Lichtsignalen berechnet werden. Dann kann die gemessene Verzögerungszeit verwendet werden, um mit Hilfe der Lichtgeschwindigkeit einen Entfernungskorrekturwert zu bestimmen, der der halben Strecke entspricht, die das Lichtsignal während der Verzögerungszeit zurücklegt. Mit Hilfe des Entfernungskorrekturwertes können dann die Entfernungsmesswerte in dem Entfernungsmessbild korrigiert werden, zum Beispiel durch Zusammenaddieren des jeweiligen Entfernungsmesswertes und des Entfernungskorrekturwertes.
Gemäß einem weiteren Aspekt der Erfindung wird ein Time-of-Flight-, ToF, -Verfahren zum Messen von Entfernungsinformationen für Objekte einer Szene bereitgestellt, wobei das ToF-Verfahren umfasst:

- Aussenden von modulierten Lichtsignalen zum Beleuchten der Objekte, mit einer Lichtquelle;
- Erfassen von an den Objekten reflektierten Lichtsignalen, mit einem Bildsensor;
- Öffnen und Schließen der Belichtung des Bildsensors, mit Shuttern;
- Erzeugen von ersten Pulsen zum Schalten der Lichtquelle und von zweiten Pulsen zum Schalten der Shutter, mit einem Pulserzeuger;
- Verstärken der ersten Pulse und Ausgeben derselben an die Lichtquelle, mit einem ersten Treiber, und Verstärken der zweiten Pulse und Ausgeben derselben an die Shutter, mit einem zweiten Treiber;
- Messen der Laufzeit der Pulse durch die Treiber und/oder der Pulsdauer der von den Treibern ausgegebenen Pulse, mit einer Zeitmesseinheit; und
- Erzeugen eines Entfernungsmessbildes basierend auf den erfassten reflektierten Lichtsignalen, wobei die gemessene Laufzeit der Pulse und/oder die gemessene Pulsdauer verwendet wird, um den Einfluss von Phasenfehlern auf das Entfernungsmessbild zu reduzieren.

Es versteht sich, dass die ToF-Kamera nach Anspruch 1 und das ToF-Verfahren nach Anspruch 11 ähnliche und/oder identische bevorzugte Ausführungsformen, insbesondere wie in den abhängigen Ansprüchen definiert, haben.
Es versteht sich, dass eine bevorzugte Ausführungsform der Erfindung auch jede Kombination der abhängigen Ansprüche mit dem entsprechenden unabhängigen Anspruch sein kann.
Figurenliste
Bevorzugte Ausführungsformen der Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Figuren näher beschrieben, wobei

1 schematisch und exemplarisch den Aufbau einer erfindungsgemäßen ToF-Kamera zeigt, und
2 schematisch und exemplarisch ein Ablaufdiagramm eines erfindungsgemäßen ToF-Verfahrens zeigt.

In den Figuren sind gleiche bzw. sich entsprechende Elemente oder Einheiten jeweils mit gleichen bzw. sich entsprechenden Bezugszeichen versehen. Wenn ein Element oder eine Einheit bereits im Zusammenhang mit einer Figur beschrieben worden ist, wird ggf. im Zusammenhang mit einer anderen Figur auf eine ausführliche Darstellung verzichtet.
1 zeigt schematisch und exemplarisch den Aufbau einer erfindungsgemäßen ToF-Kamera 10 zum Messen von Entfernungsinformationen für Objekte 14 einer Szene, wie sie z.B. in der Robotik, der industriellen Automation, der Logistik und Medizin, oder in verschiedenen Bereichen der „Smart Factory“ zum Einsatz kommen kann. Die ToF-Kamera 10 umfasst eine Lichtquelle 11 zum Aussenden von modulierten Lichtsignalen 15 zum Beleuchten der Objekte 14, einen Bildsensor 12 zum Erfassen von an den Objekten 14 reflektierten Lichtsignalen 16 und eine Verarbeitungseinheit 20 zum Erzeugen eines Entfernungsmessbildes 21 basierend auf den erfassten reflektierten Lichtsignalen 16.
Die Lichtquelle 11 sendet das Licht vorteilhafterweise in den Sichtbereich der ToF-Kamera 10 aus. Hierbei können zum Beispiel LEDs (engl. „light emitting diodes“) oder LDs (engl. „laser diodes“) zum Einsatz kommen. In dieser Ausführungsform wird Infrarotlicht als Beleuchtung verwendet. Dies hat den Vorteil, dass es visuell unauffällig ist und insbesondere zusätzlich aufzunehmende Farb- oder Helligkeitswerte nicht oder nur in geringem Maße beeinflusst.
Die ToF-Kamera 10 umfasst des Weiteren Shutter 13 zum Öffnen und Verschließen der Belichtung des Bildsensors 12, einen Pulserzeuger 17 zum Erzeugen von ersten Pulsen zum Schalten der Lichtquelle 11 und von zweiten Pulsen zum Schalten der Shutter 13 sowie einen ersten Treiber 18₁ zum Verstärken der ersten Pulse und zum Ausgeben derselben an die Lichtquelle 11 und einen zweiten Treiber 18₂ zum Verstärken der zweiten Pulse und zum Ausgeben derselben an die Shutter 13. Der Pulserzeuger 17 ist hier ein FPGA, der die Pulse mit Logikstandardsignalen erzeugt. Die Treiber 18₁ und 18₂ verstärken die Logikstandardpegel, damit die Schaltsignale mit ihren Logikstandardpegeln die Lichtquelle 11 bzw. die Shutter 13 der ToF-Kamera 10 schalten können.
Die von der Lichtquelle 11 ausgesendeten Lichtsignale weisen in dieser Ausführungsform eine rechteckförmige Modulation auf und es sind drei Shutter (in der Figur nicht einzeln gezeigt) vorgesehen, die jeweils, bezogen auf eine Periode von 360°, um 120° phasenverschoben geöffnet und geschlossen werden. Die Verarbeitungseinheit 20 erzeugt das Entfernungsmessbild 21 dann aus drei Teilmessbildern. Dies ist ausreichend, um bei Vorliegen von drei Unbekannten, Entfernung zum Objekt, Reflektivität des Objekts sowie Umgebungslicht, eine Entfernungsmessung zu gewährleisten.
Wie vorstehend beschrieben, besteht das Problem, dass die Treiber 18₁ und 18₂ , die in der ToF-Kamera 10 zur Verstärkung der Pulse zum Schalten der Lichtquelle 11 und der Shutter 13 verwendet werden, in der Regel unterschiedlich lange Verzögerungszeiten aufweisen, die zudem von thermischen Einflüssen und der Alterung der Elektronikkomponenten anhängig sind. Dies führt zu sich ändernden Phasenfehlern, die nur schwerlich „statisch“ bei der Fertigung der ToF-Kamera 10 adressiert werden können. Daher umfasst die erfindungsgemäße ToF-Kamera 10 des Weiteren eine Zeitmesseinheit 19 zum Messen der Laufzeit der Pulse durch die Treiber 18₁ und 18₂ und/oder der Pulsdauer der von den Treibern 18₁ und 18₂ ausgegebenen Pulse und die Verarbeitungseinheit 20 ist angepasst, die gemessene Laufzeit der Pulse und/oder die gemessene Pulsdauer zu verwenden, um das Entfernungsmessbild 21 mit einem reduzierten Phasenfehler zu erzeugen.
In dieser Ausführungsform ist die Zeitmesseinheit 19 ein Time-to-Digital Converter, beispielsweise der TDC7201 der Firma Texas Instruments, mit dem Signallaufzeiten in zweistelliger Picosekundenauflösung gemessen werden können. der Pulserzeuger 17 ist angepasst, einen Startpuls an die Zeitmesseinheit 19 auszugeben, und die Zeitmesseinheit 19 ist angepasst, die Messung der Laufzeit der Pulse durch die Treiber 18₁ und 18₂ und/oder der Pulsdauer der von den Treibern 18₁ und 18₂ ausgegebenen Pulse auf den Empfang des Startpulses hin zu starten.
Die ToF-Kamera 10 umfasst des Weiteren eine Speichereinheit 22 zum Speichern der zeitlichen Positionen t₁, t₂, t₃ und t₄ der von dem Pulserzeuger 17 erzeugten Pulse relativ zu der zeitlichen Position t₀ des Startpulses.
Die Zeitmesseinheit 19 ist angepasst, die von den Treibern 18₁ und 18₂ ausgegebenen Pulse zu empfangen und die Laufzeit der Pulse durch die Treiber 18₁ und 18₂ und/oder die Pulsdauer der von den Treibern 18₁ und 18₂ ausgegebenen Pulse basierend auf den empfangenen Pulsen zu messen. In dieser Ausführungsform ist ein erster Eingang der Zeitmesseinheit 19 operativ mit einem Ausgang des ersten Treibers 18₁ gekoppelt und ein zweiter Eingang der Zeitmesseinheit 19 ist operativ mit einem Ausgang des zweiten Treibers 18₂ gekoppelt.
Die von den Treibern 18₁ und 18₂ ausgegebenen Pulse weisen eine vordere Flanke auf und die Zeitmesseinheit 19 ist angepasst, die Laufzeit der Pulse durch die Treiber 18₁ und 18₂ basierend auf der zeitlichen Position t'₁ und t'₃ der vorderen Flanke zu messen. Des Weiteren weisen die von den Treibern 18₁ und 18₂ ausgegebenen Pulse eine hintere Flanke auf und die Zeitmesseinheit 19 ist angepasst, die Pulsdauer der von den Treibern 18₁ und 18₂ ausgegebenen Pulse basierend auf der zeitlichen Position t'₁ und t'₃ der vorderen Flanke und der zeitlichen Position t'₂ und t'₄ der hinteren Flanke zu messen. In dieser Ausführungsform weisen die von den Treibern 18₁ und 18₂ ausgegebenen Pulse eine vordere steigende und eine hintere fallende Flanke auf.
Die Verarbeitungseinheit 20 ist hier angepasst, basierend auf der gemessenen Laufzeit der Pulse und/oder der gemessenen Pulsdauer den Pulserzeuger 17 zu steuern, die zeitlichen Positionen t₁, t₂, t₃ und t₄ der Pulse anzupassen, um so die Phasenfehler beim Erzeugen des Entfernungsmessbildes 21 zu reduzieren. Wie vorstehend beschrieben, können auf diese Weise unterschiedliche lange Signallaufzeiten in den Treibern 18₁ und 18₂ und/oder Veränderungen der Pulsdauern durch die Treiber 18₁ und 18₂ unmittelbar bei der Erzeugung der Pulse mit dem Pulserzeuger 17 kompensiert werden. Die von den Treibern 18₁ und 18₂ ausgegebenen Pulse weisen dann bevorzugt eine möglichst korrekte Phasenbeziehung auf, so dass die Entfernungsmessung in nur geringerem Maße oder gar nicht durch Phasenfehler verfälscht wird.
Alternativ kann die Verarbeitungseinheit 20 auch angepasst sein, beim Erzeugen des Entfernungsmessbildes 21 eine Korrektur der Entfernungsmesswerte basierend auf der gemessenen Laufzeit der Pulse und/oder der gemessenen Pulsdauer durchzuführen, um so durch die Phasenfehler in dem Entfernungsmessbild 21 entstandene Fehler zu reduzieren. Wie vorstehend beschrieben, kann beispielsweise zunächst das vollständige Entfernungsmessbild 21 basierend auf den erfassten reflektierten Lichtsignalen 16 berechnet werden. Dann kann die gemessene Verzögerungszeit verwendet werden, um mit Hilfe der Lichtgeschwindigkeit c einen Entfernungskorrekturwert d_k zu bestimmen, der der halben Strecke entspricht, die das Lichtsignal während der Verzögerungszeit zurücklegt. Mit Hilfe des Entfernungskorrekturwertes d_k können dann die Entfernungsmesswerte in dem Entfernungsmessbild 21 korrigiert werden, zum Beispiel durch Zusammenaddieren des jeweiligen Entfernungsmesswertes und des Entfernungskorrekturwertes d_k.
In einer beispielhaften Ausführungsform kann die Korrektur über die gemessene Laufzeit der Pulse ohne Berücksichtigung möglicher Veränderungen der Pulsdauer erfolgen. In diesen Fall kann der Entfernungskorrekturwert d_k zum Beispiel über die vordere Flanke der von den Treibern 181 und 182 ausgegebenen Pulse zu $d_{k} = \frac{c}{2} ((t'_{3} - t_{0}) - (t'_{1} - t_{0})),$
bestimmt werden.
Alternativ besteht eine weitere beispielhafte Möglichkeit, den Entfernungskorrekturwert d_k zu bestimmen, darin, den Schwerpunkt bzw. die zeitliche Position der Mitte der von den Treibern 181 und 182 ausgegebenen Pulse zu bestimmen. Eine geeignete Formel zur Bestimmung des Entfernungskorrekturwertes d_k könnte beispielsweise lauten $d_{k} = \frac{c}{2} ((\frac{1}{2} (t'_{3} + t'_{4}) - t_{0}) - (\frac{1}{2} (t'_{1} + t'_{2})) - t_{0})) .$
Der nach der Gleichung (3) oder (4) bestimmte Entfernungskorrekturwert d_k kann dann wie vorstehend beschrieben mit den jeweiligen Entfernungsmesswerten des Entfernungsmessbildes 21 zusammengerechnet werden.
2 zeigt schematisch und exemplarisch ein Ablaufdiagramm eines erfindungsgemäßen ToF-Verfahrens zum Messen von Entfernungsinformationen für Objekte 14 einer Szene. Das ToF-Verfahren kann beispielsweise mit der in der 1 gezeigten ToF-Kamera 10 durchgeführt werden.
In Schritt S1 werden mit einer Lichtquelle 11 modulierte Lichtsignale 15 zum Beleuchten der Objekte 14 ausgesendet.
In Schritt S2 werden mit einem Bildsensor 12 an den Objekten 14 reflektierte Lichtsignale 16 erfasst.
In Schritt S3 wird mit Shuttern 13 die Belichtung des Bildsensors 12 geöffnet und geschlossen.
In Schritt S4 werden mit einem Pulserzeuger 17 erste Pulse zum Schalten der Lichtquelle 11 und zweite Pulse zum Schalten der Shutter 13 erzeugt.
In Schritt S5 werden mit einem ersten Treiber 18₁ die ersten Pulse verstärkt und an die Lichtquelle 11 ausgegeben und mit einem zweiten Treiber 18₂ die zweiten Pulse verstärkt und an die Shutter 13 ausgegeben.
In Schritt S6 wird mit einer Zeitmesseinheit 19 die Laufzeit der Pulse durch die Treiber 18₁ und 18₂ und/oder die Pulsdauer der von den Treibern 18₁ und 18₂ ausgegebenen Pulse gemessen.
In Schritt S7 wird mit einer Verarbeitungseinheit 20 ein Entfernungsmessbild 21 basierend auf den erfassten reflektierten Lichtsignalen 16 erzeugt, wobei die gemessene Laufzeit der Pulse und/oder die gemessene Pulsdauer verwendet wird, um das Entfernungsmessbild 21 mit einem reduzierten Phasenfehler zu erzeugen.
Es wird darauf hingewiesen, dass durch die Nummerierung der Schritte S1 bis S7 des vorstehenden ToF-Verfahrens keine zeitliche Reihenfolge der Schritte festgelegt werden soll. So wird beispielsweise der Schritt S3, in dem mit Shuttern 13 die Belichtung des Bildsensors 12 geöffnet und geschlossen wird, gleichzeitig mit dem Schritt S2, in dem mit dem Bildsensor 12 an den Objekten 14 reflektierte Lichtsignale 16 erfasst werden, ausgeführt.
In der Darstellung der erfindungsgemäßen ToF-Kamera 10 in der 1 ist nur ein einziger Puls zum Schalten der Shutter 13 gezeigt - mit der vorderen Flanke an der zeitlichen Position t₃ und der hinteren Flanke an der zeitlichen Position t₄ bzw. nach dem Durchlaufen des zweiten Treibers 18₁ mit der vorderen Flanke and der zeitlichen Position t'₃ und der hinteren Flanke an der zeitlichen Position t'₄. In der beschriebenen Ausführungsform, in der drei Shutter (in der Figur nicht einzeln gezeigt) vorgesehen sind, werden pro Periode von 360° bevorzugt drei Pulse (einer für jeden Schutter 13) mit der gleichen Pulsdauer erzeugt, die jeweils um 120° phasenverschoben sind. Diese haben jeweils eine vordere Flanke an den zeitlichen Positionen t₃, t₃ und t₇ und eine hintere Flanke and den zeitlichen Positionen t₄, t₃ und t₈ (bzw. nach dem Durchlaufen des zweiten Treibers 18₂ an den zeitlichen Positionen t'₃, t'₅ und t'₇ bzw. t'₄, t'₆ und t'₈). (Die zusätzlichen Pulse zum Schalten der Shutter 13 mit der vorderen Flanke an den zeitlichen Positionen t₅ und t₇ (bzw. nach dem Durchlaufen des zweiten Treibers 18₂ an den zeitlichen Positionen t'₅ und t'₇) und der hinteren Flanke an den zeitlichen Positionen t₃ und t₈ (bzw. nach dem Durchlaufen des zweiten Treibers 18₂ an den zeitlichen Positionen t'₆ und t'₈) sind in der Figur nicht gezeigt.) Die Zeitmesseinheit 19 is dann vorteilhafterweise angepasst, für alle Pulse - d.h., die Pulse zum Schalten der Lichtquelle 11 und die Pulse zum Schalten der drei Shutter 13 - die Laufzeit der Pulse durch die Treiber 18₁ und 18₂ und/oder die Pulsdauer der von den Treibern 18₁ und 18₂ ausgegebenen Pulse zu messen.
In den Ansprüchen schließen die Wörter „aufweisen“ und „umfassen“ nicht andere Elemente oder Schritte aus und der unbestimmte Artikel „ein“ schließt eine Mehrzahl nicht aus.
Eine einzelne Einheit oder Vorrichtung kann die Funktionen mehrerer Elemente durchführen, die in den Ansprüchen aufgeführt sind. Beispielsweise kann der Pulserzeuger 17 zum Speichern der zeitlichen Positionen t₁, t₂, t₃, und t₄ der von dem Pulserzeuger 17 erzeugten Pulse relativ zu der zeitlichen Position t₀ des Startpulses ausgebildet sein. In diesem Fall ist die Speichereinheit 22 also durch den Pulserzeuger 22 realisiert.
Die Tatsache, dass einzelne Funktionen und/oder Elemente in unterschiedlichen abhängigen Ansprüchen aufgeführt sind, bedeutet nicht, dass nicht auch eine Kombination dieser Funktionen und/oder Elemente vorteilhaft verwendet werden könnte.
Die Bezugszeichen in den Ansprüchen sind nicht derart zu verstehen, dass der Gegenstand und der Schutzbereich der Ansprüche durch diese Bezugszeichen eingeschränkt wären.
Zusammengefasst wurde eine Time-of-Flight-, ToF, -Kamera zum Messen von Entfernungsinformationen für Objekte einer Szene beschrieben. Die ToF-Kamera umfasst eine Lichtquelle zum Aussenden von modulierten Lichtsignalen zum Beleuchten der Objekte, einen Bildsensor zum Erfassen von an den Objekten reflektierten Lichtsignalen, Shutter zum Öffnen und Verschließen der Belichtung des Bildsensors, einen Pulserzeuger zum Erzeugen von ersten Pulsen zum Schalten der Lichtquelle und von zweiten Pulsen zum Schalten der Shutter, einen ersten Treiber zum Verstärken der ersten Pulse und zum Ausgeben derselben an die Lichtquelle und einen zweiten Treiber zum Verstärken der zweiten Pulse und zum Ausgeben derselben an die Shutter, eine Zeitmesseinheit zum Messen der Laufzeit der Pulse durch die Treiber und/oder der Pulsdauer der von den Treibern ausgegebenen Pulse, und eine Verarbeitungseinheit zum Erzeugen eines Entfernungsmessbildes basierend auf den erfassten reflektierten Lichtsignalen, wobei die Verarbeitungseinheit angepasst ist, die gemessene Laufzeit der Pulse und/oder die gemessene Pulsdauer zu verwenden, um den Einfluss von Phasenfehlern auf das Entfernungsmessbild zu reduzieren.

Claims

Time-of-Flight-, ToF, -Kamera (10) zum Messen von Entfernungsinformationen für Objekte (14) einer Szene, wobei die ToF-Kamera (10) umfasst: - eine Lichtquelle (11) zum Aussenden von modulierten Lichtsignalen (15) zum Beleuchten der Objekte (14); - einen Bildsensor (12) zum Erfassen von an den Objekten (14) reflektierten Lichtsignalen (16); - Shutter (13) zum Öffnen und Verschließen der Belichtung des Bildsensors (12); - einen Pulserzeuger (17) zum Erzeugen von ersten Pulsen zum Schalten der Lichtquelle (11) und von zweiten Pulsen zum Schalten der Shutter (13); - einen ersten Treiber (18₁) zum Verstärken der ersten Pulse und zum Ausgeben derselben an die Lichtquelle (11) und einen zweiten Treiber (18₂) zum Verstärken der zweiten Pulse und zum Ausgeben derselben an die Shutter (13); - eine Zeitmesseinheit (19) zum Messen der Laufzeit der Pulse durch die Treiber (18₁, 18₂) und/oder der Pulsdauer der von den Treibern (18₁, 18₂) ausgegebenen Pulse; und - eine Verarbeitungseinheit (20) zum Erzeugen eines Entfernungsmessbildes (21) basierend auf den erfassten reflektierten Lichtsignalen (16), wobei die Verarbeitungseinheit (20) angepasst ist, die gemessene Laufzeit der Pulse und/oder die gemessene Pulsdauer zu verwenden, um den Einfluss von Phasenfehlern auf das Entfernungsmessbild (21) zu reduzieren.
ToF-Kamera (10) nach Anspruch 1, wobei die Zeitmesseinheit (19) ein Time-to-Digital Converter ist.
ToF-Kamera (10) nach einem der Ansprüche 1 oder 2, wobei der Pulserzeuger (17) angepasst ist, einen Startpuls zu erzeugen und an die Zeitmesseinheit (19) auszugeben, und wobei die Zeitmesseinheit (19) angepasst ist, die Messung der Laufzeit der Pulse durch die Treiber (18₁, 18₂) und/oder der Pulsdauer der von den Treibern (18₁, 18₂) ausgegebenen Pulse auf den Empfang des Startpulses hin zu starten.
ToF-Kamera (10) nach Anspruch 3, des Weiteren umfassend eine Speichereinheit (22) zum Speichern der zeitlichen Positionen (t₁, t₂, t₃, t₄) der von dem Pulserzeuger (17) erzeugten Pulse relativ zu der zeitlichen Position (t₀) des Startpulses.
ToF-Kamera (10) nach einem der Ansprüche 1 bis 4, wobei die Zeitmesseinheit (19) angepasst ist, die von den Treibern (18₁, 18₂) ausgegebenen Pulse zu empfangen und die Laufzeit der Pulse durch die Treiber (18₁, 18₂) und/oder die Pulsdauer der von den Treibern (18₁, 18₂) ausgegebenen Pulse basierend auf den empfangenen Pulsen zu messen.
ToF-Kamera (10) nach Anspruch 5, wobei die von den Treibern (18₁, 18₂) ausgegebenen Pulse eine vordere Flanke aufweisen und die Zeitmesseinheit (19) angepasst ist, die Laufzeit der Pulse durch die Treiber (18₁, 18₂) basierend auf der zeitlichen Position (t'₁, t'₃) der vorderen Flanke zu messen.
ToF-Kamera (10) nach Anspruch 6, wobei die von den Treibern (18₁, 18₂) ausgegebenen Pulse des Weiteren eine hintere Flanke aufweisen und die Zeitmesseinheit (19) angepasst ist, die Pulsdauer der von den Treibern (18₁, 18₂) ausgegebenen Pulse basierend auf der zeitlichen Position (t'₁, t'₃) der vorderen Flanke und der zeitlichen Position (t'₂, t'₄) der hinteren Flanke zu messen.
ToF-Kamera (10) nach einem der Ansprüche 1 bis 7, wobei die von den Treibern (18₁, 18₂) ausgegebenen Pulse eine vordere steigende und eine hintere fallende Flanke aufweisen.
ToF-Kamera (10) nach einem der Ansprüche 1 bis 8, wobei die Verarbeitungseinheit (20) angepasst ist, basierend auf der gemessenen Laufzeit der Pulse und/oder der gemessenen Pulsdauer den Pulserzeuger (17) zu steuern, die zeitlichen Positionen (t₁, t₂, t₃, t₄) der Pulse anzupassen, um so die Phasenfehler beim Erzeugen des Entfernungsmessbildes (21) zu reduzieren.
ToF-Kamera (10) nach einem der Ansprüche 1 bis 8, wobei die Verarbeitungseinheit (20) angepasst ist, beim Erzeugen des Entfernungsmessbildes (21) eine Korrektur der Entfernungsmesswerte basierend auf der gemessenen Laufzeit der Pulse und/oder der gemessenen Pulsdauer durchzuführen, um so durch die Phasenfehler in dem Entfernungsmessbild (21) entstandene Fehler zu reduzieren.
Time-of-Flight-, ToF, -Verfahren zum Messen von Entfernungsinformationen für Objekte (14) einer Szene, wobei das ToF-Verfahren umfasst: - Aussenden (S1) von modulierten Lichtsignalen (15) zum Beleuchten der Objekte (14), mit einer Lichtquelle (11); - Erfassen (S2) von an den Objekten (14) reflektierten Lichtsignalen (16), mit einem Bildsensor (12); - Öffnen und Schließen (S3) der Belichtung des Bildsensors (12), mit Shuttern (13); - Erzeugen (S4) von ersten Pulsen zum Schalten der Lichtquelle (11) und von zweiten Pulsen zum Schalten der Shutter (13), mit einem Pulserzeuger (17); - Verstärken (S5) der ersten Pulse und Ausgeben derselben an die Lichtquelle (11), mit einem ersten Treiber (18₁), und Verstärken (S5) der zweiten Pulse und Ausgeben derselben an die Shutter (13), mit einem zweiten Treiber (18₂); - Messen (S6) der Laufzeit der Pulse durch die Treiber (18₁, 18₂) und/oder der Pulsdauer der von den Treibern (18₁, 18₂) ausgegebenen Pulse, mit einer Zeitmesseinheit (19); und - Erzeugen (S7) eines Entfernungsmessbildes (21) basierend auf den erfassten reflektierten Lichtsignalen (16), wobei die gemessene Laufzeit der Pulse und/oder die gemessene Pulsdauer verwendet wird, um den Einfluss von Phasenfehlern auf das Entfernungsmessbild (21) zu reduzieren, mit einer Verarbeitungseinheit (20).