DE102019118457A1

DE102019118457A1 - Tof-(time-of-flight)-kamera, elektronikeinrichtung und kalibrierungsverfahren

Info

Publication number: DE102019118457A1
Application number: DE102019118457.6A
Authority: DE
Inventors: Manuel Amaya-Benitez; Ward Van Der Tempel; Ye Chen
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2018-07-13
Filing date: 2019-07-08
Publication date: 2020-01-16
Also published as: US11196982B2; US20200021792A1

Abstract

Eine Time-of-Flight-Kamera besitzt:eine Lichtquelle zum Emittieren von Licht;einen ersten Bildgebungssensor; undeinen Controller, der ausgebildet ist zum Durchführen einer ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle emittiertem Licht mit einem zweiten Bildgebungssensor, wobei ein vorbestimmter optischer Pfad zwischen der Lichtquelle und dem zweiten Bildgebungssensor vorgesehen ist.

Description

ERFINDUNGSGEBIET
Die vorliegende Offenbarung betrifft allgemein ToF(Time of Flight)-Kameras, eine eine derartige ToF-Kamera enthaltende Elektronikeinrichtung und ein Kalibrierungsverfahren für eine ToF-Kamera.
ALLGEMEINER STAND DER TECHNIK
Allgemein ist eine ToF-Technologie bekannt, die eine Vielzahl an Verfahren enthält, die die Zeit messen, die ein Licht benötigt, um in einem Medium eine Distanz zurückzulegen, so dass die Distanz bestimmt werden kann.
Beispielsweise beleuchtet typischerweise eine ToF-Kamera eine Szene mit einer modulierten Welle und bildet die rückgestreute Welle zum Beispiel mit einem Sensorarray und durch Anwenden einer modulierten Verstärkung ab.
Außerdem sind iToF(indirect Time-of-Flight)-Kameras bekannt, die eine Verzögerung zwischen emittiertem Licht und rückgestreutem Licht durch Bestimmen einer Phasenverschiebung zwischen dem emittierten Licht und dem rückgestreuten Licht berechnen.
Bei iToF-Kameras ist bekannt, dass ein zyklischer Fehler und ein Offsetfehler von Tiefenmessungen auftreten kann, wobei solche Fehler durch Anwenden einer geeigneten Kalibrierung eliminiert werden können.
Ein bekanntes Kalibrierungsverfahren für eine ToF-Kamera ist beispielsweise eine Offline-Phasenverschiebung, die typischerweise unter Laborbedingungen präzise ist, aber für eine Prozess-, Spannungs- oder Temperaturänderung unempfindlich ist.
Obwohl Techniken für eine Kalibrierung von ToF-Kameras existieren, ist es allgemein wünschenswert, eine ToF-Kamera, eine Elektronikeinrichtung mit einer ToF-Kamera und ein Kalibrierungsverfahren für eine ToF-Kamera bereitzustellen.
KURZFASSUNG DER ERFINDUNG
Gemäß einem ersten Aspekt stellt die Offenbarung eine ToF-Kamera bereit, umfassend: eine Lichtquelle zum Emittieren von Licht; einen ersten Bildgebungssensor; und einen Controller, der ausgebildet ist zum Durchführen einer ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle emittiertem Licht mit einem zweiten Bildgebungssensor, wobei ein vorbestimmter optischer Pfad zwischen der Lichtquelle und dem zweiten Bildgebungssensor vorgesehen ist.
Gemäß einem zweiten Aspekt stellt die Offenbarung eine Elektronikeinrichtung bereit, die eine ToF-Kamera umfasst, wobei die ToF-Kamera enthält: eine Lichtquelle zum Emittieren von Licht; einen ersten Bildgebungssensor; und einen Controller, der ausgebildet ist zum Durchführen einer ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle emittiertem Licht mit einem zweiten Bildgebungssensor, wobei ein vorbestimmter optischer Pfad zwischen der Lichtquelle und dem zweiten Bildgebungssensor vorgesehen ist.
Gemäß einem dritten Aspekt stellt die Offenbarung ein Kalibrierungsverfahren für eine ToF-Kamera bereit, wobei die ToF-Kamera eine Lichtquelle zum Emittieren von Licht und einen ersten Bildgebungssensor enthält, wobei das Verfahren umfasst: Durchführen einer ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle emittiertem Licht mit einem zweiten Bildgebungssensor, wobei ein vorbestimmter optischer Pfad zwischen der Lichtquelle und dem zweiten Bildgebungssensor vorgesehen ist.
Weitere Aspekte sind in den abhängigen Ansprüchen, der folgenden Beschreibung und den Zeichnungen dargelegt.
Figurenliste
Ausführungsformen werden anhand eines Beispiels bezüglich der beiliegenden Zeichnungen erläutert. Es zeigen:

1 eine erste Kurve, die eine Korrelationswellenform für eine erste Distanz darstellt, und eine gepunktete Kurve, die eine Korrelationswellenform für die zweite Distanz darstellt;
2a eine gemessene Distanz auf der Ordinate und eine tatsächliche Distanz auf der Abszisse der ToF-Kamera, wobei eine gestrichelte Linie einen Idealfall darstellt und eine gekrümmte Linie einen Fall mit einem zyklischen Fehler darstellt;
2b eine gemessene Distanz auf der Ordinate und eine tatsächliche Distanz auf der Abszisse der ToF-Kamera, wobei eine gestrichelte Linie einen Idealfall darstellt und eine gerade Linie einen Fall mit einem Offsetfehler darstellt;
3 ein Beispiel der Harmonischen, die zum Berechnen eines zyklischen Fehlers verwendet werden;
4 eine erste Ausführungsform einer ToF-Kamera zum Bestimmen einer Distanz zu einer Szene;
5 eine zweite Ausführungsform einer ToF-Kamera zum Bestimmen einer Distanz zu einer Szene mit einem Reflektor und mit einem gemeinsamen Sensor-Die;
6 eine dritte Ausführungsform einer ToF-Kamera mit einem Reflektor und einem optischen Schild;
7 eine andere Ausführungsform einer ToF-Kamera mit einer Glasfaser und einem gemeinsamen Sensor-Die;
8 eine andere Ausführungsform einer ToF-Kamera mit einer optischen Faser und einem optischen Schild;
9 eine andere Ausführungsform einer ToF-Kamera, wobei der zweite Bildgebungssensor ein Fotodetektor ist;
10 eine andere Ausführungsform einer ToF-Kamera, wobei der erste und der zweite Bildgebungssensorabschnitt als separate Abschnitte auf dem gemeinsamen Sensorgebiet angeordnet sind.
11 eine andere Ausführungsform einer ToF-Kamera mit einer Glasfaser, wobei der erste und der zweite Bildgebungssensorabschnitt als separate Abschnitte auf dem gemeinsamen Sensorgebiet angeordnet sind;
12 eine Ausführungsform eines Controllers, die in einer ToF-Kamera wie offenbart umgesetzt sein kann und/oder die in einen ToF-Bildgebungssensor integriert sein kann;
13 ein Flussdiagramm eines Kalibrierungsverfahrens für eine ToF-Kamera;
14 ein Flussdiagramm eines Kalibrierungsverfahrens zum Bestimmen eines zyklischen Fehlers; und
15 ein Flussdiagramm eines Kalibrierungsverfahrens zum Bestimmen eines globalen Offsetfehlers.

AUSFÜHRLICHE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Bevor eine detaillierte Beschreibung einer ersten Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 4 erfolgt, werden allgemeine Erläuterungen angestellt.
Wie anfangs erwähnt, beinhaltet ToF (Time-of-Flight) bekanntermaßen eine Vielzahl von Verfahren, die die Zeit messen, die Licht benötigt, um in einem Medium eine Distanz zurückzulegen, so dass die Distanz zum Beispiel durch Bestimmung einer Phasenverschiebung, wie ebenfalls weiter unten erörtert, bestimmt werden kann und wie dies beispielsweise in iToF(indirekt Time-of-Flight)-Kameras geschieht, die bei einigen Ausführungsformen eine Laufzeit zwischen emittiertem Licht und rückgestreutem Licht berechnen, um Tiefenmessungen durch Abtasten einer Korrelationswelle zu erhalten, z.B. zwischen einem Modulationssignal zum Ansteuern einer Lichtquelle, einem Bildsensor oder dergleichen, wobei das Signal auf Basis von rückgestreutem Licht erhalten wird.
Allgemein wird die Laufzeit bei einigen Ausführungsformen im Frequenzbereich erhalten, der wiederum durch Anwenden einer Fourier-Transformation auf eine Korrelationswelle erhalten wird, wobei die Korrelationswelle beispielsweise durch Durchführen einer Kreuzkorrelation zwischen dem Modulationssignal und dem auf Basis des rückgestreuten Lichts erhaltenen Signals erhalten wird.
Bei einigen Ausführungsformen wird im Allgemeinen die Distanz aus der Phase der ersten Harmonischen der Korrelationswelle erhalten, da die erste Harmonische typischerweise die höchste Amplitude besitzt. Natürlich können bei einigen Ausführungsformen mehr als eine und andere als die ersten Harmonischen verwendet werden, um die Distanz zwischen der ToF-Kamera und der Szene zu bestimmen.
Jedoch kann Frequenz-Aliasing auftreten, was ein wohlbekannter Effekt ist, der erscheint, wenn ein Signal mit weniger als dem Doppelten der in dem Signal enthaltenen höchsten Frequenz abgetastet wird (Nyquist-Shannon-Theorem).
Beispielsweise kann bei (indirekten) ToF-Kameras das Frequenz-Aliasing zu einem zyklischen Fehler der Tiefen- oder Distanzmessung führen, so dass bei einigen Ausführungsformen möglicherweise eine Kalibrierung der ToF-Kamera benötigt wird. Weiterhin kann bei einigen Ausführungsformen zusätzlich oder alternativ ein globaler Offsetfehler auftreten, der zum Beispiel zu einem konstanten Tiefenfehler führt, was ebenfalls eine Kalibrierung erfordern kann.
Bekannterweise werden (i)ToF-Kameras kalibriert, bevor sie an einen Kunden ausgeliefert werden, doch wurde erkannt, dass eine Kalibrierung auf einen zyklischen Fehler und einen globalen Offsetfehler pro Modul zeitraubend ist und somit bei den Kalibrierungskosten dominiert. Zusätzlich können diese Fehler typischerweise von der Temperatur, der Alterung der Hardware und irgendeiner möglichen Änderung (z.B. bei der Spannungsversorgung) bei der ToF-Kamera abhängen, was zu einer Schwankung von generierten Signalen führen kann, so dass eine anfängliche Kalibrierung ungültig gemacht werden kann.
Es wurde erkannt, dass eine nützliche Kalibrierung bereitgestellt werden kann, indem zusätzlich zu einem ersten (Haupt-)Bildsensor ein zweiter Bildsensor und ein vorbestimmter optischer Pfad implementiert werden, der verwendet wird, um Licht mit dem zweiten Bildsensor zu detektieren, während der Hauptsensor zum Bestimmen einer Distanz zwischen einer ToF-Kamera und einer Szene verwendet wird.
Somit betreffen einige Ausführungsformen eine ToF-Kamera, die enthält: eine Lichtquelle zum Emittieren von Licht; einen ersten Bildgebungssensor; und einen Controller, der ausgebildet ist zum Durchführen einer ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle emittiertem Licht mit einem zweiten Bildgebungssensor, wobei ein vorbestimmter optischer Pfad zwischen der Lichtquelle und dem zweiten Bildgebungssensor vorgesehen ist.
Bei einigen Ausführungsformen muss die ToF-Kamera funktional verstanden werden, und beispielsweise kann sie in eine andere Elektronikeinrichtung wie etwa einen Computer, ein Smartphone, ein Mobiltelefon, einen Laptop, eine digitale (Standbild-/Video-) Kamera usw. integriert werden. Bei anderen Ausführungsformen kann die ToF-Kamera auch eine unabhängige Einrichtung sein, die beispielsweise ein Gehäuse, eine Benutzerschnittstelle zum Bedienen der ToF-Kamera und dergleichen enthält.
Die Lichtquelle kann eine beliebige Art von Beleuchtungseinrichtung sein, die in der Lage ist, mindestens eine Frequenz und/oder Phase eines Lichts zu modulieren und die beispielsweise eine oder mehrere Leuchtdioden, ein oder mehrere Laserelemente (z.B. VCSEL) oder dergleichen enthalten kann.
Die Lichtquelle kann sich innerhalb eines Gehäuses der ToF-Kamera befinden, befindet sich aber bei einigen Ausführungsformen außerhalb des Gehäuses der ToF-Kamera oder sie kann auch in der Elektronikeinrichtung enthalten sein, in der sich die ToF-Kamera befindet.
Der erste und/oder der zweite Bildsensor können ein oder mehrere Pixel enthalten, die in einem Pixelarray angeordnet sein können. Jedes Pixel kann ein oder mehrere lichtempfindliche Elemente (z.B. Fotodioden oder dergleichen) enthalten. Typischerweise wandelt ein lichtempfindliches Element einfallendes Licht in ein Lichtsignal um, das durch einen Analog-Digital-Wandler digitalisiert werden kann. Der erste und/oder der zweite Bildsensor können auf CMOS(Complementary metal-oxide-semiconductor)-Technologie, CCD(Charge-Coupled Device)-Technologie oder einer beliebigen anderen geeigneten Bildgebungstechnologie basieren.
Der zweite Sensor kann sich außerhalb der ToF-Kamera befinden und Bildgebungsdaten können zum Beispiel über eine Schnittstelle des Controllers oder dergleichen (z.B. über eine USB-Verbindung, über Netzwerk, (z.B. drahtlose und/oder verdrahte Verbindung), über das Internet usw.) empfangen werden. Der zweite Bildgebungssensor kann ebenfalls ein Fotodetektor sein oder ihn enthalten.
Der Controller kann einen oder mehrere Prozessoren, Transistoren, einen (z.B. Allzweck-) Computer, einen Speicher, Schnittstellen usw. enthalten.
Wie erwähnt, führt der Controller die ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines des zyklischen Fehlers und des Offsetfehlers durch. Dies wird durchgeführt durch Detektieren von von der Lichtquelle emittiertem Licht mit dem zweiten Bildsensor, wobei das von der Lichtquelle emittierte Licht sich über den vorbestimmten optischen Pfad zwischen der Lichtquelle und dem zweiten Bildsensor ausbreitet. Bei einigen Ausführungsformen wird nur sich auf der vorbestimmten Lichtquelle ausbreitendes Licht durch den zweiten Bildsensor detektiert. Durch Anwenden des vorbestimmten optischen Pfads ist eine Distanz zwischen dem zweiten Bildsensor und der Lichtquelle bekannt, da der optische Pfad vorbestimmt ist und sich somit während der Detektion des sich über den vorbestimmten optischen Pfad ausbreitenden Lichts nicht ändert. Somit steht bei einigen Ausführungsformen der vorbestimmte optische Pfad fest (zumindest während der Detektion des Lichts durch den zweiten Bildsensor).
Durch Verwenden des vorbestimmten optischen Pfads können mindestens einer des zyklischen und des Offsetfehlers bestimmt werden und der bestimmte Fehler kann zum Durchführen der ToF-Messungskalibrierung verwendet werden, so dass der zyklische und/oder Offsetfehler, der durch Messen einer Distanz mit dem ersten Bildgebungssensor eingeführt werden würde, korrigiert werden oder bei einigen Ausführungsformen auf Basis der Flugmessungskalibrierung vermieden werden kann.
Bei einigen Ausführungsformen wird die Lichtquelle mit einem Modulationssignal moduliert, das auch zum Auslesen des ersten und zweiten Bildsensors verwendet wird, wie allgemein bekannt ist. Das Modulationssignal kann in das emittierte Licht eine Phasenverschiebung einführen, und diese Phasenverschiebung wird ebenfalls zum Steuern des Auslesens des ersten und zweiten Bildsensors verwendet. Beispielsweise können bei einigen Ausführungsformen vier Phasenverschiebungen verwendet werden, ohne die vorliegende Offenbarung in dieser Hinsicht zu beschränken, und andere Ausführungsformen können weniger Phasenverschiebungen, z.B. zwei oder drei oder mehr Phasenverschiebungen, z.B. fünf, sechs, sieben, acht usw. Phasenverschiebungen verwendet werden, wie dem Fachmann allgemein bekannt ist.
1 veranschaulicht schematisch eine Ausführungsform, wo vier Phasenverschiebungen verwendet werden. Das Modulationssignal ist mit einem durch Detektieren des Rückstreulichts erhaltenen Signal kreuzkorreliert, z.B. mit dem ersten oder mit dem zweiten Bildgebungssensor, wodurch eine Korrelationswellenform erhalten wird. Natürlich ist die vorliegende Offenbarung nicht in dieser Hinsicht beschränkt, und wie erwähnt kann eine andere Anzahl von Phasenverschiebungen verwendet werden.
1 zeigt auf der Abszisse einen Phasenwinkel und auf der Ordinate den normalisierten Kreuzkorrelationswert von -1 (maximal unkorreliert) bis 1 (maximal korreliert). Eine erste Kurve L1 stellt eine Korrelationswellenform für eine erste Distanz dar, und die gepunktete Kurve L2 stellt eine Korrelationswellenform für die zweite Distanz dar. Die Laufzeit zwischen dem emittierten Licht und dem gestreuten Licht, die zum Berechnen der Distanz zu der Szene verwendet wird, entspricht der Phase der Korrelationswellenform.
Wie erwähnt, wird bei einigen Ausführungsformen eine vorbestimmte Anzahl von Phasenverschiebungen umgesetzt, wie etwa eine Zahl von vier, wie in 1 dargestellt, so dass vier Abtastwerte bei Phasen 0°, 90°, 180° und 360°, mit „X“ markiert, genommen werden können (natürlich können wie erwähnt andere Phasenverschiebungen und eine andere Anzahl von Phasenverschiebungen umgesetzt werden). Jeder Abtastwert wird durch Anwenden der entsprechenden Phasenverschiebung (0°, 90°, 180° und 360°) zwischen der Beleuchtung und dem Pixelmischsignal (Demodulationssignal) erhalten.
Somit ist bei einigen Ausführungsformen nur eine begrenzte Zahl von Abtastpunkten der Kreuzkorrelationswellenform (z.B. L1 und L2 in 1) bekannt (nämlich vier in 1), wobei die Anzahl von Abtastpunkten bei einigen Ausführungsformen der Anzahl von Phasenverschiebungen entsprechen kann.
Zum Bestimmen der gemessenen Distanz, die mit der Phasenverschiebung assoziiert ist, wird bei einigen Ausführungsformen eine (Fast-Forward-)Fouriertransformation für die Korrelationswellenform durchgeführt und z.B. die erste Harmonische der erhaltenen Fouriertransformierten Funktion wird verwendet, da die Phase (Verschiebung) der ersten Harmonischen der gemessenen Distanz entspricht.
Da jedoch, wie erörtert, die Korrelationswellenform nur mit einigen wenigen Punkten abgetastet wird, z.B. vier (oder 2, 3, 5, 6, 7, 8 usw., wie erwähnt), kann bei einigen Ausführungsformen das oben erwähnte Nyquist-Shannon-Theorem gelten, was wiederum den zyklischen Fehler verursacht, wie beispielhaft als Kurve L3 in 2a dargestellt, die eine gemessene Distanz auf der Ordinate und eine tatsächliche Distanz auf der Abszisse zeigt. Um eine derartige Art von zyklischem Fehler zu bestimmen, wird die Korrelationswellenform bei einigen Ausführungsformen mit mehreren Phasen gemessen, was zu der gestrichelten Linie L4 in 2a führt, für die kein zyklischer Fehler auftritt, da das Nyquist-Shannon-Theorem in diesem Fall nicht die Messung wie im Fall von L3 beeinflusst.
Natürlich können bei anderen Ausführungsformen zum Bestimmen der Distanz eine andere Anzahl und/oder andere Harmonische gewählt werden.
Somit wird bei einigen Ausführungsformen angenommen, dass der zyklische Fehler für den vorbestimmten optischen Pfad und eine Distanz zwischen der ToF-Kamera (oder dem ersten Bildgebungssensor) und einer Szene (fast) identisch sind. Das Gleiche gilt bei einigen Ausführungsformen für den Offsetfehler, von dem ein Beispiel in 2b dargestellt ist.
2b zeigt eine gemessene Distanz auf der Ordinate und eine tatsächliche Distanz auf den Abszissen (zu Veranschaulichungszwecken ist der zyklische Fehler in dieser 2b entfernt). Die ideale Kurve L4' ist durch eine gestrichelte Linie dargestellt, wobei die gemessene Kurve L3' um einen (globalen) Offset vertikal verschoben ist.
Durch Bestimmen des zyklischen Fehlers und/oder Offsetfehlers für die Messung des vorbestimmten optischen Pfads kann der zyklische und/oder Offsetfehler für die Distanzmessung entfernt werden.
Bei einigen Ausführungsformen wird die Tatsache genutzt, dass die Phasenverschiebung linear mit der gemessenen Distanz variiert. Bei solchen Ausführungsformen kann der zyklische Fehler deshalb eine zyklische Abweichung von der linearen Assoziation zwischen Phase und Distanz sein (siehe auch die oben erläuterte 2a).
Der bestimmte zyklische und/oder Offsetfehler kann zum Beispiel als Kalibrierungswerte in einer Nachschlagetabelle gespeichert werden, so dass die Kalibrierungswerte jederzeit für die Kalibrierung verwendet werden können.
Bei einigen Ausführungsformen basieren der erste Bildgebungssensor und der zweite Bildgebungssensor auf der gleichen Erfassungstechnologie, um sicherzustellen, dass sie einen ähnlichen Offsetfehler eingeführt haben, so dass ein für den zweiten Bildgebungssensor bestimmter Offsetfehler zu dem ersten Bildgebungssensor transferiert werden kann. Bei anderen Ausführungsformen können andere Technologien verwendet werden, und eine Transferfunktion kann zum Transferieren des Offsetfehlers von dem zweiten Bildgebungssensor zu dem ersten Bildgebungssensor angewendet werden. Die Transferfunktion und die bestimmten Offsetfehlerwerte können ebenfalls z.B. in der Nachschlagetabelle gespeichert werden.
Die ToF-Messungskalibrierung kann in Echtzeit und/oder simultan durchgeführt werden, während eine Distanz zu einer Szene gemessen wird. Bei einigen Ausführungsformen kann die ToF-Messungskalibrierung vor oder nach dem Messen einer Distanz zu der Szene durchgeführt werden, z.B. unmittelbar nach oder beginnend während der Messung.
Bei einigen Ausführungsformen ist es somit möglich, eine Kalibrierung eines globalen Offset und/oder eines zyklischen Fehlers in Echtzeit durchzuführen, und die Notwendigkeit einer Vorkalibrierung kann beseitigt werden, was Kameraproduktionskosten einsparen kann. Zudem kann die Abhängigkeit der Kameradistanzmessung von Temperatur, Prozess, Versorgungsspannung und Alterung derart beseitigt werden, dass die Kalibrierung der Kamera gültig bleiben kann.
Bei einigen Ausführungsformen enthält die ToF-Kamera weiterhin den zweiten Bildgebungssensor. Der zweite Bildsensor kann in die ToF-Kamera integriert sein, er könnte sich bei dem ersten Bildgebungssensor befinden, er kann Teil (Unterbereich, Teilpixel usw.) des ersten Bildgebungssensors sein oder kann sich auf dem gleichen Substrat befinden, er kann sich auf dem gleichen Die wie der erste Bildgebungssensor befinden, usw.
Der zweite Bildgebungssensor kann eine kleinere Auflösung besitzen, z.B. kleinere Anzahl von Pixeln, als der erste Bildgebungssensor. Somit kann der zweite Bildgebungssensor bei einigen Ausführungsformen preiswerter und/oder schneller sein.
Bei einigen Ausführungsformen enthält die ToF-Kamera den vorbestimmten optischen Pfad. Der vorbestimmte optische Pfad kann in die ToF-Kamera integriert sein, kann fest installiert sein oder dergleichen. Bei einigen Ausführungsformen wird das von der Lichtquelle emittierte Licht durch den zweiten Bildgebungssensor direkt detektiert, wobei das Licht bei anderen Ausführungsformen durch den zweiten Bildgebungssensor indirekt detektiert wird (z.B. durch mindestens eine Reflexion). Beispielsweise enthält der vorbestimmte optische Pfad einen Reflektor, eine Glasfaser oder ein beliebiges anderes optisches Mittel zum Leiten des von der Lichtquelle emittierten Lichts zu dem zweiten Bildgebungssensor. Bei einigen Ausführungsformen gehört der Reflektor zu der ganzen ToF-Kamera (z.B. Teil des Lasergehäuses), während bei anderen Ausführungsformen ein Reflektor verwendet wird, der nicht zu der Kamera gehört (z.B. eine externe Oberfläche). Auf diese Weise kann die Transferfunktion des ToF-Systems durch den zweiten Bildgebungssensor abgetastet werden, wie erörtert. Dadurch kann bei einigen Ausführungsformen eine vordefinierte Menge an von der Lichtquelle emittiertem Licht zu dem zweiten Bildgebungssensor geleitet werden. Zudem kann der vorbestimmte optische Pfad eine beliebige Art von Form besitzen und kann somit einfach in die ToF-Kamera (z.B. in das Gehäuse) integriert werden.
Bei einigen Ausführungsformen ist der Controller weiterhin ausgelegt zum Abbilden einer Szene mit dem ersten Bildgebungssensor und simultanen Durchführen der ToF-Messungskalibrierung. Der Ausdruck „simultan“ kann Ausführungsformen beinhalten, bei denen sich die Zeit der durch den ersten und durch den zweiten Bildgebungssensor durchgeführten Messung nur teilweise überlappt. Zudem können auch Ausführungsformen abgedeckt sein, wo die Messungen auf serielle Weise, z.B. abwechselnd, durchgeführt werden.
Somit werden bei einigen Ausführungsformen der zyklische Fehler und/oder der Offsetfehler während der mit dem ersten Bildgebungssensor durchgeführten Distanzmessung bestimmt, so dass bei einigen Ausführungsformen eine Echtzeitkalibrierung durchgeführt werden kann.
Bei einigen Ausführungsformen ist der Controller weiter ausgelegt zum Variieren einer Phase während des Detektierens von von der Lichtquelle emittiertem Licht mit dem zweiten Bildgebungssensor, und die ToF-Kamera kann weiterhin einen Teiler enthalten, der ausgebildet ist zum Variieren der Phase. Somit teilt der Teiler bei einigen Ausführungsformen weiter die Phase in mehrere Phasenverschiebungen. Dies erfolgt bei einigen Ausführungsformen durch Durchlaufen (Variieren) der Phase des Mischsignals (Ansteuersignals) (das zum Auslesen des zweiten (und auch des ersten) Bildgebungssensors verwendet wird und das zum Modulieren der Pixelantwort für die Distanzmessung verwendet wird. Über diese Weise wird die Korrelationswellenform bei einigen Ausführungsformen bei mehreren Phasen abgetastet (und nicht nur bei vier, wie in 1 dargestellt). Auf Basis dieser Daten kann eine Fourier-Transformation angewendet werden und somit können verschiedene Harmonische der Korrelationswellenform erhalten werden, wie ebenfalls oben erörtert. Bei einigen Ausführungsformen kann die Anzahl solcher bestimmter Harmonischer der Korrelationswelle, die ein Aliasing in die Grundkorrelationswellenform durchführen, berechnet werden, da die Korrelationswellenform detailliert genug bekannt ist, um zu bestimmen, welche Harmonischen (hauptsächlich) zu dem zyklischen Fehler beitragen.
Dies ist in 3 beispielhaft dargestellt, die als ein Beispiel zeigt, wie verschiedene Harmonische der Fourier-Transformation der detaillierten gemessenen Korrelationswellenform zu einem berechneten zyklischen Fehler beitragen, von dem angenommen wird, dass er einem zyklischen Fehler entspricht, wie in Verbindung mit 2b erörtert, der aus dem Nyquist Shannon-Theorem resultiert, dessen Einfluss mathematisch bekannt ist, so dass der zyklische Fehler berechnet werden kann, wenn die „ganze“ Korrelationswellenform bekannt ist (überabgetastet) (oder mindestens die Korrelationswellenform detailliert genug bekannt ist, so dass der zyklische Fehler zumindest nicht auftritt oder nur sehr vernachlässigbar auftritt). 3 zeigt einen normalisierten zyklischen Fehler auf der Ordinate und Phase/Radian auf der Abszisse. Die Linie 1401 ist der 4. Harmonischenbeitrag zu dem zyklischen Fehler und Linie 1402 ist der 6. Harmonischenbeitrag zu dem zyklischen Fehler. Die Linie 1403 zeigt den berechneten zyklischen Fehler, der im Grunde die Summe aus dem 4. Harmonischenbeitrag 1401 und dem 6. Harmonischenbeitrag in diesem konkreten Beispiel ist, ohne die vorliegende Offenbarung in dieser Hinsicht zu beschränken. Die beteiligten Harmonischen können abhängig mindestens von einer der Anzahl von Komponenten, dem Impulsprofil und dem Tastverhältnis variieren.
Bei einigen Ausführungsformen detektiert der erste Bildgebungssensor Licht auf Basis einer vordefinierten Anzahl von Phasenverschiebungen, die vier betragen kann, wie oben erörtert, oder eine beliebige andere Zahl, wie oben erörtert. Bei einigen Ausführungsformen entspricht jede Phasenverschiebung einem Teilbild, und die Messung bei allen der vordefinierten Anzahl von Phasenverschiebungen entspricht einem Bild, wobei die gemessene Distanz auf Basis mindestens eines Bilds bestimmt wird. Bei einigen Ausführungsformen detektiert der zweite Bildsensor während eines Bilds (oder mehrerer Bilder) (oder eines oder mehrerer Teilbilder) Licht für eine große Anzahl von Phasenvariationen, z.B. von einem Winkel von null bis zu einem Winkel von 360 reichend, z.B. mit einer vordefinierten Schrittgröße, die frei gewählt werden kann (z.B. 1, 2, 3 oder eine beliebige ganze oder reale Anzahl von Graden). Bei einigen Ausführungsformen wird die Phase auch kontinuierlich variiert.
Bei einigen Ausführungsformen enthält die ToF-Kamera weiterhin ein optisches Schild zum Abschirmen des ersten Bildgebungssensors gegenüber Licht des vorbestimmten optischen Pfads. Dadurch kann vermieden werden, dass Streulicht von dem vorbestimmten optischen Pfad in den ersten Bildgebungssensor eintritt.
Bei einigen Ausführungsformen enthält die ToF-Kamera weiterhin einen Phasenregelkreis, einen MXDRIVER, eine Auslesekette und den Teiler, wobei der Teiler ausgebildet ist zum Unterteilen der Frequenz und Generieren von Phasenverschiebungen, wie oben erörtert, wobei sich diese Komponenten auf dem gleichen Die befinden können.
Einige Ausführungsformen betreffen eine Elektronikeinrichtung mit der hierin offenbarten ToF-Kamera, wobei die Elektronikeinrichtung ein Computer, ein Laptop, ein Smartphone, eine digitale (Standbild- und/oder Video-) Kamera usw. sein kann.
Einige Ausführungsformen betreffen ein Kalibrierungsverfahren für eine ToF-Kamera, wie hierin erörtert, einschließlich dem Durchführen einer ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle emittiertem Licht mit einem zweiten Bildgebungssensor, wobei ein vorbestimmter optischer Pfad zwischen der Lichtquelle und dem zweiten Bildgebungssensor vorgesehen ist, wie oben erörtert. Das Verfahren kann weiterhin das Abbilden einer Szene mit dem ersten Bildgebungssensor und gleichzeitiges Durchführen der ToF-Messungskalibrierung beinhalten, wie oben erörtert. Das Verfahren kann weiterhin das Variieren einer Phase während des Detektierens von von der Lichtquelle emittiertem Licht mit dem zweiten Bildgebungssensor beinhalten, wie oben erörtert. Der erste Bildgebungssensor kann Licht auf Basis einer ersten Anzahl von Phasenverschiebungen detektieren, wie oben erörtert. Die ToF-Kamera kann weiterhin den zweiten Bildgebungssensor und den vorbestimmten optischen Pfad enthalten, wie oben erörtert.
Die Verfahren, wie hierin beschrieben, werden auch bei einigen Ausführungsformen als ein Computerprogramm umgesetzt, das bewirkt, dass ein Computer und/oder ein Prozessor das Verfahren durchführt, wenn es auf dem Computer und/oder Prozessor ausgeführt wird. Bei einigen Ausführungsformen ist auch ein nicht-vorübergehendes computerlesbares Aufzeichnungsmedium vorgesehen, das darin ein Computerprogrammprodukt speichert, das bei Ausführung durch einen Prozessor wie etwa dem oben beschriebenen Prozessor bewirkt, dass die hierin beschriebenen Verfahren durchgeführt werden.
4 veranschaulicht eine erste Ausführungsform einer ToF-Kamera 1 zum Bestimmen einer Distanz „d“ zu einer Szene 2.
Die ToF-Kamera 1 besitzt eine Lichtquelle 3 (mit mehreren Laserelementen), einen Hauptbildgebungssensor 4 (ersten Bildgebungssensor), einen zweiten Bildgebungssensor 5, einen Controller 6 und einen vorbestimmten optischen Pfad 7 zwischen der Lichtquelle 3 und dem zweiten Bildgebungssensor 5.
Der Hauptbildgebungssensor 4 ist ein Pixelarraysensor auf Basis der CMOS-Technologie (Complementary Metal Oxide Semiconductor) und besitzt eine größere Auflösung (z.B. 64x64 Pixel) als der zweite Bildgebungssensor 4 (z.B. 10x10 Pixel), der ebenfalls ein Pixelarraysensor auf Basis der CMOS-Technologie ist.
Der Hauptbildgebungssensor 4 detektiert Licht, das von der Lichtquelle 3 emittiert und durch die Szene 2 reflektiert wird.
Der zweite Bildgebungssensor 5 detektiert Licht, das von der Lichtquelle 3 emittiert wird und das sich über den vorbestimmten optischen Lichtpfad 7 zu dem zweiten Bildgebungssensor 5 ausbreitet.
Der Controller 6 enthält Elektronikkomponenten zum Umsetzen des Auslesens des Bildgebungssensors 4 und 5, zum Steuern der Lichtquelle 3, zum Durchführen der Distanzmessung und des Kalibrierungsverfahrens, hierin erörtert, und besitzt zum Beispiel einen Speicher, einen Prozessor, Schnittstellen usw.
5 veranschaulicht eine zweite Ausführungsform einer ToF-Kamera 101 zum Bestimmen einer Distanz zu einer Szene 110.
Die ToF-Kamera 101 besitzt eine Lichtquelle 102, einen Treiber 103, ein Sensorgebiet 104, eine Blockiereinheit 107 und einen (festen) Reflektor 109.
Die Lichtquelle 102 ist eine Beleuchtungseinrichtung, die in der Lage ist, eine Frequenz und Phase zu modulieren, und mehrere Laserelemente besitzt.
Der Treiber 103 ist ausgelegt zum Steuern der Lichtquelle 102, wie etwa das Ändern der Phase des Lichtsignals. Der Treiber 103 empfängt von dem Pixelarray 106 einen Lasertakt lv_clk zum Steuern der Phase der Lichtquelle 102.
Das Sensorgebiet 104 besitzt einen Phasenregelkreis 105, ein Pixelarray 106 mit einem ersten Bildgebungssensorabschnitt A1 und einem zweiten Bildgebungssensorabschnitt A2 und einer Mischspannungsschaltung MV, wobei sich das Sensorgebiet 104 und seine Komponenten 105, 106 und MV auf dem gleichen Die befinden.
Der feste Reflektor 109 reflektiert Licht und definiert einen vorbestimmten optischen Lichtpfad P2 zwischen der Lichtquelle 102 und dem zweiten Bildgebungssensorabschnitt A2. In dieser Ausführungsform ist der feste Reflektor 109 ein Teil der ToF-Kamera 101.
Eine gerade Pfeillinie P1 stellt einen optischen Pfad dar, wobei ein durch die Lichtquelle 102 emittiertes Lichtsignal durch die Hauptszene 110 reflektiert und durch den ersten Bildgebungssensorabschnitt A1 detektiert wird.
Eine gepunktete Pfeillinie P2 stellt den vorbestimmten (festen) optischen Pfad dar, wobei durch die Lichtquelle 102 emittiertes und durch den Reflektor 109 reflektiertes Licht durch den zweiten Bildgebungssensorabschnitt A2 detektiert wird.
Der Phasenregelkreis 105 ist ein Steuersystem, das ein Ausgangssignal erzeugt, dessen Phase zu der Phase des Eingangssignals in Beziehung steht. Deshalb empfängt der Phasenregelkreis 105 einen Haupttakt mclk und generiert den Spannungssteueroszillatortakt vco_clk jedes Pixels des Pixelarrays 106, um eine Modulationsfrequenz zu generieren.
Eine Mischspannung MV wird an das Pixelarray 106 angelegt, um jedes Pixel in dem Pixelarray 106 und somit den ersten und zweiten Bildgebungssensorabschnitt A1 und A2 anzusteuern.
Das Pixelarray 106 ist ein Halbleitersubstrat, das den ersten Bildgebungssensorabschnitt A1 und den zweiten Bildgebungssensorabschnitt A2 enthält.
Der zweite Bildgebungssensorabschnitt A2 besitzt eine schnellere Antwort als der erste Bildgebungssensorabschnitt A1 und besitzt eine kleinere Auflösung und somit eine Größe, die kleiner ist als die des ersten Bildgebungssensorabschnitts A1.
Die Hardware des zweiten Bildgebungssensorabschnitts A2 ist als zusätzliche Pixelzeilen auf dem gleichen Chip wie der erste Bildgebungssensorabschnitt A1 hinzugefügt (während er in anderen Ausführungsformen als ein separater Chip hinzugefügt werden kann).
Während die ToF-Kamera 101 Tiefenmessungen der Hauptszene 110 erhält, wie erörtert, erhält sie Abtastwerte der Korrelationswelle des festen bekannten Pfads P2.
Der Controller bestimmt die Distanz zu der Szene 110 und simultan einen zyklischen Fehler und einen Offsetfehler auf Basis des Durchlaufens der Phase des Mischsignals (Ansteuersignals), mit dem die Pixelantwort für die Distanzmessung des festen optischen Pfads P1 moduliert wird, wie erörtert.
Die Blockiereinheit 107 ist ausgebildet zum Blockieren des reflektierten Lichts des festen Reflektors 109, das in den ersten Bildgebungssensor A1 eintritt. Weiterhin besitzt die Blockiereinheit 107 eine Lochstruktur H, die ausgebildet ist zum Leiten des reflektierten Lichts zu dem zweiten Bildgebungssensor A2.
6 veranschaulicht eine dritte Ausführungsform einer ToF-Kamera 201, wobei ein optisches Schild zwischen einem ersten Bildgebungssensorabschnitt A1 und einem zweiten Bildgebungssensorabschnitt A2 vorgesehen ist, die sich beide auf einem gemeinsamen Sensorabschnitt 204 befinden.
Durch eine Lichtquelle 202 der ToF-Kamera 201 emittiertes Licht wird durch einen Reflektor 209 reflektiert, der Teil eines vorbestimmten optischen Pfads zwischen der Lichtquelle 202 und dem zweiten Bildgebungssensorabschnitt A2 ist, und wird durch den zweiten Bildgebungssensorabschnitt A2 detektiert.
Das optische Schild 207 verhindert, dass das gestreute Licht des Reflektors 209 zu dem ersten Bildgebungssensor A1 eindringt.
7 veranschaulicht eine andere Ausführungsform einer ToF-Kamera 101', die im Wesentlichen der oben erörterten ToF-Kamera 101 von 5 entspricht und die gleichen Komponenten besitzt, außer dass zusätzlich eine Glasfaser 112 bei dem zweiten Bildgebungssensorabschnitt A2 und zwischen dem Reflektor 109 und dem zweiten Bildgebungssensorabschnitt A2 angeordnet ist.
Dadurch tritt von dem Reflektor 109 reflektiertes Licht in die Glasfaser 112 ein und wird zu dem zweiten Bildgebungssensorabschnitt A2 geleitet, ohne Streulicht zu generieren, das in den ersten Bildgebungssensorabschnitt A1 eintreten könnte.
8 veranschaulicht eine andere Ausführungsform einer ToF-Kamera 201', die im Wesentlichen der ToF-Kamera 201 von 6 entspricht, wobei der Reflektor 209 der ToF-Kamera 201 von 6 durch eine Glasfaser 212 ersetzt wird.
Die Glasfaser 212 leitet von der Lichtquelle 202 emittiertes Licht zu dem zweiten Bildgebungssensorabschnitt A2.
9 veranschaulicht eine andere Ausführungsform einer ToF-Kamera 301, wobei der zweite Bildgebungssensor ein Fotodetektor 303 ist, der sich bei einer Lichtquelle 302 der ToF-Kamera 301 befindet. Der Fotodetektor 303 generiert ein Lichtdetektionssignal, das zu einem Analog-Digital-Abschnitt 304 transferiert wird, der auf einem Sensorabschnitt 305 angeordnet ist, auf dem auch der erste Bildgebungssensor 306 angeordnet ist.
10 veranschaulicht eine andere Ausführungsform einer ToF-Kamera 101", die im Grunde der ToF-Kamera 101 von 5 entspricht, außer dass der erste A1 und der zweite A2 Bildgebungssensorabschnitt als getrennte Abschnitte auf dem gemeinsamen Sensorgebiet 104 angeordnet sind und dass jeder des ersten A1 und des zweiten A2 Bildgebungssensorabschnitts seine eigenen Mischspannungsschaltungen MV besitzt.
11 veranschaulicht eine andere Ausführungsform einer ToF-Kamera 101'", die im Wesentlichen einer Kombination aus der ToF-Kamera 101" von 10 und der ToF-Kamera 101' von 7 entspricht, nämlich sind der erste A1 und der zweite A2 Bildgebungssensorabschnitt als getrennte Abschnitte auf dem gemeinsamen Sensorgebiet 104 angeordnet und eine Glasfaser 112 ist bei dem zweiten Bildgebungssensorabschnitt A2 angeordnet.
12 veranschaulicht eine Ausführungsform eines Controllers 900, die in einer ToF-Kamera wie hierin erörtert umgesetzt sein kann und/oder die in einem ToF-Bildgebungssensor integriert sein kann.
Der Controller 900 besitzt einen Phasenregelkreis 901, einen Top Digital Macro DGTOP 902, einen Teiler 903, eine Mischspannungsschaltung MV 904, ein Pixelarray (4x2) 905, das den zweiten Bildgebungssensor darstellt, einen Last-MOS LM 906, einen Analog-Digital-Wandler (ADW) 907, der die von dem Pixelarray 905 ausgegebenen analogen Signale umwandelt, und einen Horizontalscanner HS 908. Der DGTOP 902 ist ein digitaler Steuerblock, der digitale Steuersignale an den Teiler 903 sendet, um die Frequenz und Phasen einzustellen, die der Teiler generieren muss. Der LM 906 ist eine Stromquelle, die in dieser Ausführungsform ein Last-MOSFET ist. Der HS 908 macht den Übergang von dem parallelen ADW-Ausgang zu dem seriellen Ausgang der Einrichtung. Der HS 908 geht auf sequentielle Weise durch alle die Kanäle des ADW.
Der Phasenregelkreis 901 empfängt ein Haupttaktsignale mclk und gibt ein vco_clk aus, das dem Teiler 903, dem ADW 907 und dem HS 908 zugeführt wird.
Auf Basis des vco_clk teilt der Teiler 902 die Frequenz und generiert Phasendurchläufe zum Variieren der Phasen für den zweiten Bildgebungssensor 905, wie hierin erörtert.
13 veranschaulicht ein Flussdiagramm eines Kalibrierungsverfahrens 400 für eine ToF-Kamera, wie hierin erörtert, wobei das Kalibrierungsverfahren 400 durch eine ToF-Kamera oder ihren Controller durchgeführt werden kann, wie hierin erörtert. Zu Darstellungszwecken wird das Verfahren 400 unter Bezugnahme auf 4 erläutert, ohne die vorliegende Offenbarung in dieser Hinsicht zu beschränken.
Bei 401 wird die Szene 2 mit dem ersten Bildgebungssensor 4 abgebildet und gleichzeitig wird sich über den vorbestimmten optischen Pfad 7 ausbreitendes Licht mit dem zweiten Bildgebungssensor 5 detektiert.
Bei 402 wird eine Phase während des Detektierens von von der Lichtquelle emittiertem Licht mit dem zweiten Bildgebungssensor variiert, wie hierin erörtert.
Bei 403 wird eine ToF-Messungskalibrierung auf Basis eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle 3 emittiertem Licht mit dem zweiten Bildgebungssensor 5 durchgeführt, wie hierin erörtert.
14 veranschaulicht ein Flussdiagramm eines anderen Kalibrierungsverfahrens 500 zum Bestimmen eines zyklischen Fehlers einer ToF-Kamera. Das Kalibrierungsverfahren 500 wird durch eine beliebige ToF-Kamera oder ihren Controller durchgeführt, wie hierin erörtert. Zu Veranschaulichungszwecken wird das Verfahren 500 unter Bezugnahme auf 4 erklärt, ohne die vorliegende Offenbarung in dieser Hinsicht zu beschränken.
Bei 501 erhält der zweite Bildsensor 5 ausreichende Abtastwerte einer Korrelationswelle zum Überwinden von Aliasing-Effekten gemäß dem Nyquist-Shannon-Theorem, d.h., die Korrelationswelle wird überabgetastet, so dass der zyklische Fehler nicht auftritt. Somit wird die Phase der Modulationswelle mit ausreichenden verschiedenen Zeitverzögerungen durchlaufen.
Bei 502 wird eine Fast-Fourier-Transformation auf die bei 501 bestimmte abgetastete Korrelationswelle angewendet. Da die Korrelationswelle mit ausreichenden Abtastpunkten abgetastet wird, ist es möglich, alle oder mindestens genügend Harmonische einer präzisen Korrelationswelle zu erhalten, so dass der Einfluss der Harmonischen eines zyklischen Fehlers in Fällen, wo beispielsweise die Korrelationswellenform nur bei vier Phasen gemessen wird, bestimmt werden kann.
Bei 503 können auf Basis des Wissens über den Haupt-ToF-Sensor darüber, wie viele Abtastpunkte (z.B. vier Abtastpunkte 0°, 90°, 180°, 270°) zum Abtasten der Korrelationswelle zum Bestimmen der Distanz, der Impulsprofile und des Tastverhältnisses verwendet werden, die Grundharmonischen und die Amplituden/der Proportionalbeitrag der Harmonischen, die den zyklischen Fehler verursachen, bestimmt werden.
Bei 504 werden Kalibrierungsdaten für einen zyklischen Fehler bestimmt und generiert auf Basis einer Kombination aus den Grundharmonischen und ihrem proportionalen Einfluss auf den zyklischen Fehler, wie bei 503 bestimmt, und sie werden in einer Nachschlagetabelle zur späteren Verwendung und Kalibrierung gespeichert, z.B. Kalibrieren des ersten Bildsensors 4 und der ToF-Kamera (und/oder der mit dem ersten Bildsensor 4 erhaltenen Daten) entsprechend.
15 veranschaulicht ein Flussdiagramm eines Kalibrierungsverfahrens 600 zum Bestimmen eines globalen Offsetfehlers einer ToF-Kamera, wobei das Kalibrierungsverfahren 600 durch eine beliebige ToF-Kamera oder ihren Controller durchgeführt werden kann, wie hierin erörtert. Zu Veranschaulichungszwecken wird das Verfahren 600 unter Bezugnahme auf 4 erklärt, ohne die vorliegende Offenbarung in dieser Hinsicht zu beschränken.
Bei 601 wird eine physische Distanz zwischen der Lichtquelle 3 und dem zweiten Bildgebungssensor 5 vorbestimmt, wie oben erörtert, so dass der optische Pfad 7 vorbestimmt ist und die Distanz oder Länge des optischen Pfads, den das Licht von der Lichtquelle 3 zum zweiten Bildgebungssensor 5 durchquert, bekannt ist (und festliegt).
Bei 602 wird der optische Pfad 7 durch den zweiten Bildsensor 5 mit ausreichenden Abtastwerten der Korrelationswellenform gemessen, so dass die erhaltenen Daten als frei von einem zyklischen Fehler (oder fast frei) angesehen werden können. Bei einigen Ausführungsformen können zum Beispiel die bei 501 der Ausführungsform von 14 oben erfassten Daten verwendet werden. Wie erörtert, kann der optische Pfad 7 ein feststehender optischer Pfad sein, beispielsweise ein Hardwareteil, z.B. ein Reflektor, eine Faser, usw. oder ein externer Reflektor, z.B. eine Oberfläche eines Tischs.
Bei Schritt 603 wird der globale Offsetfehler durch Vergleichen der vorbestimmten Distanz zwischen der Lichtquelle 3 und dem zweiten Bildgebungssensor 5 mit der auf Basis der mit dem zweiten Bildsensor 5 durchgeführten Messung erhaltenen Distanz erhalten.
Bei Schritt 604 werden Kalibrierungsdaten für den globalen Offsetfehler auf Basis der Differenz zwischen der bei 603 erhaltenen vorbestimmten und gemessenen Distanz bestimmt und generiert, und die Kalibrierungsdaten für den globalen Offsetfehler werden in einer Nachschlagetabelle zur späteren Verwendung und Kalibrierung gespeichert, z.B. zum Kalibrieren des ersten Bildsensors 4 und der ToF-Kamera (und/oder den mit dem ersten Bildsensor 4 erhaltenen Daten) entsprechend.
Es ist bitte zu beachten, dass die Unterteilung des Hauptsensors 900 in Einheiten 901 bis 908 nur zu Veranschaulichungszwecken erfolgt und dass die vorliegende Offenbarung nicht auf eine beliebige spezifische Unterteilung von Funktionen in spezifische Einheiten beschränkt ist. Beispielsweise könnte der Hauptsensor 904 durch einen jeweiligen programmierten Prozessor, ein feldprogrammierbares Gatearray (FPGA) und dergleichen umgesetzt werden.
Es sollte erkannt werden, dass die Ausführungsformen Verfahren mit einer beispielhaften Ordnung von Verfahrensschritten beschreiben. Die spezifische Ordnung von Verfahrensschritten wird jedoch nur zu Veranschaulichungszwecken angegeben und sollte nicht als bindend ausgelegt werden.
Alle in dieser Patentschrift beschriebenen und in den beigefügten Ansprüchen beanspruchten Einheiten und Entitäten können, falls nicht etwas anderes angegeben ist, als eine integrierte Schaltungslogik umgesetzt werden, beispielsweise auf einem Chip, und durch solche Einheiten und Entitäten bereitgestellte Funktionalität, kann, falls nicht etwas anderes angegeben wird, durch Software umgesetzt werden.
Insofern als die Ausführungsformen der oben beschriebenen Offenbarung mindestens teilweise unter Verwendung einer softwaregesteuerten Datenverarbeitungsvorrichtung umgesetzt werden, versteht sich, dass ein Computerprogramm, das eine derartige Softwaresteuerung bereitstellt, und ein Übertragungs-, Ablage- oder anderes Medium, durch die ein derartiges Computerprogramm bereitgestellt werden, als Aspekte der vorliegenden Offenbarung in Betracht gezogen werden.
Man beachte, dass die vorliegende Technologie auch wie unten beschrieben ausgebildet werden kann.

(1) Eine ToF-Kamera, umfassend:
- eine Lichtquelle zum Emittieren von Licht;
- einen ersten Bildgebungssensor; und
- einen Controller, der ausgebildet ist zum Durchführen einer ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle emittiertem Licht mit einem zweiten Bildgebungssensor, wobei ein vorbestimmter optischer Pfad zwischen der Lichtquelle und dem zweiten Bildgebungssensor vorgesehen ist.
(2) Die ToF-Kamera von (1), weiterhin umfassend den zweiten Bildgebungssensor.
(3) Die ToF-Kamera von (1) oder (2), weiterhin umfassend den vorbestimmten optischen Pfad.
(4) Die ToF-Kamera nach einem von (1) bis (3), wobei der vorbestimmte optische Pfad einen Reflektor enthält.
(5) Die ToF-Kamera nach einem von (1) bis (4), wobei der vorbestimmte optische Pfad eine Glasfaser enthält.
(6) Die ToF-Kamera nach einem von (1) bis (5), wobei der Controller weiterhin ausgebildet ist zum Abbilden einer Szene mit dem ersten Bildgebungssensor und gleichzeitigen Durchführen der ToF-Messungskalibrierung.
(7) Die ToF-Kamera nach einem von (1) bis (6), wobei der Controller weiterhin ausgebildet ist zum Variieren einer Phase während des Detektierens von von der Lichtquelle emittiertem Licht mit dem zweiten Bildgebungssensor.
(8) Die ToF-Kamera von (7), weiterhin umfassend einen Teiler, der ausgebildet ist zum Variieren der Phase.
(9) Die ToF-Kamera nach einem von (1) bis (8), wobei der erste Bildgebungssensor Licht auf Basis einer vordefinierten Anzahl von Phasenverschiebungen detektiert.
(10) Die ToF-Kamera nach einem von (1) bis (9), wobei der zweite Bildgebungssensor eine kleinere Auflösung als der erste Bildgebungssensor besitzt.
(11) ToF-Kamera nach einem von (1) bis (10), wobei der zweite Bildgebungssensor ein Teil des ersten Bildgebungssensors ist.
(12) ToF-Kamera nach einem von (1) bis (11), wobei sich der erste und der zweite Bildgebungssensor auf dem gleichen Substrat befinden.
(13) Die ToF-Kamera nach einem von (1) bis (12), weiterhin umfassend ein optisches Schild zum Abschirmen des ersten Bildgebungssensors gegenüber Licht des vorbestimmten optischen Pfads.
(14) Die ToF-Kamera nach einem von (1) bis (13), wobei der zweite Bildgebungssensor ein Fotodetektor ist.
(15) Eine Elektronikeinrichtung umfassend eine ToF-Kamera, wobei die ToF-Kamera enthält:
- eine Lichtquelle zum Emittieren von Licht;
- einen ersten Bildgebungssensor; und
- einen Controller, der ausgebildet ist zum Durchführen einer ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle emittiertem Licht mit einem zweiten Bildgebungssensor, wobei ein vorbestimmter optischer Pfad zwischen der Lichtquelle und dem zweiten Bildgebungssensor vorgesehen ist.
(16) Ein Kalibrierungsverfahren für eine ToF-Kamera, wobei die ToF-Kamera eine Lichtquelle zum Emittieren von Licht und einen ersten Bildgebungssensor enthält, wobei das Verfahren umfasst:
- Durchführen einer ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle emittiertem Licht mit einem zweiten Bildgebungssensor, wobei ein vorbestimmter optischer Pfad zwischen der Lichtquelle und dem zweiten Bildgebungssensor vorgesehen ist.
(17) Das Kalibrierungsverfahren von (16), weiterhin umfassend das Abbilden einer Szene mit dem ersten Bildgebungssensor und gleichzeitiges Durchführen der ToF-Messungskalibrierung.
(18) Kalibrierungsverfahren von (16) oder (17), weiterhin umfassend das Variieren einer Phase während des Detektierens von von der Lichtquelle emittiertem Licht mit dem zweiten Bildgebungssensor.
(19) Das Kalibrierungsverfahren von einem von (16) bis (18), wobei der erste Bildgebungssensor Licht auf Basis einer ersten Anzahl von Phasenverschiebungen detektiert und der zweite Bildsensor Licht auf Basis einer zweiten Anzahl von Phasenverschiebungen detektiert, wobei die zweite Anzahl von Phasenverschiebungen größer ist als die erste Anzahl von Phasenverschiebungen.
(20) Das Kalibrierungsverfahren von einem von (16) bis (19), wobei die ToF-Kamera weiterhin den zweiten Bildgebungssensor und einen vorbestimmten optischen Pfad enthält.
(21) Computerprogramm umfassend Programmcode, der bewirkt, dass ein Computer das Verfahren nach einem von (16) bis (20) durchführt, wenn auf einem Computer ausgeführt.
(22) Ein nicht-vorübergehendes computerlesbares Aufzeichnungsmedium, das darin ein Computerprogrammprodukt speichert, das bei Ausführung durch einen Prozessor bewirkt, dass das Verfahren nach einem von (16) bis (20) ausgeführt wird.

Claims

ToF(Time-of-Flight)-Kamera umfassend: eine Lichtquelle zum Emittieren von Licht; einen ersten Bildgebungssensor; und einen Controller, der ausgebildet ist zum Durchführen einer ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle emittiertem Licht mit einem zweiten Bildgebungssensor, wobei ein vorbestimmter optischer Pfad zwischen der Lichtquelle und dem zweiten Bildgebungssensor vorgesehen ist.
ToF-Kamera nach Anspruch 1, weiterhin umfassend den zweiten Bildgebungssensor.
ToF-Kamera nach Anspruch 2, weiterhin umfassend den vorbestimmten optischen Pfad.
ToF-Kamera nach Anspruch 1, wobei der vorbestimmte optische Pfad einen Reflektor enthält.
ToF-Kamera nach Anspruch 1, wobei der vorbestimmte optische Pfad eine Glasfaser enthält.
ToF-Kamera nach Anspruch 1, wobei der Controller weiterhin ausgebildet ist zum Abbilden einer Szene mit dem ersten Bildgebungssensor und gleichzeitigen Durchführen der ToF-Messungskalibrierung.
ToF-Kamera nach Anspruch 1, wobei der Controller weiterhin ausgebildet ist zum Variieren einer Phase während des Detektierens von von der Lichtquelle emittiertem Licht mit dem zweiten Bildgebungssensor.
ToF-Kamera nach Anspruch 7, weiterhin umfassend einen Teiler, der ausgebildet ist zum Variieren der Phase.
ToF-Kamera nach Anspruch 1,wobei der erste Bildgebungssensor Licht auf Basis einer vordefinierten Anzahl von Phasenverschiebungen detektiert.
ToF-Kamera nach Anspruch 1, wobei der zweite Bildgebungssensor eine kleinere Auflösung als der erste Bildgebungssensor besitzt.
ToF-Kamera nach Anspruch 1, wobei der zweite Bildgebungssensor ein Teil des ersten Bildgebungssensors ist.
ToF-Kamera nach Anspruch 1, wobei sich der erste und der zweite Bildgebungssensor auf dem gleichen Substrat befinden.
ToF-Kamera nach Anspruch 1, weiterhin umfassend ein optisches Schild zum Abschirmen des ersten Bildgebungssensors gegenüber Licht des vorbestimmten optischen Pfads.
ToF-Kamera nach Anspruch 1, wobei der zweite Bildgebungssensor ein Fotodetektor ist.
Elektronikeinrichtung umfassend eine ToF-Kamera, wobei die ToF-Kamera enthält: eine Lichtquelle zum Emittieren von Licht; einen ersten Bildgebungssensor; und einen Controller, der ausgebildet ist zum Durchführen einer ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle emittiertem Licht mit einem zweiten Bildgebungssensor, wobei ein vorbestimmter optischer Pfad zwischen der Lichtquelle und dem zweiten Bildgebungssensor vorgesehen ist.
Kalibrierungsverfahren für eine ToF-Kamera, wobei die ToF-Kamera eine Lichtquelle zum Emittieren von Licht und einen ersten Bildgebungssensor enthält, wobei das Verfahren umfasst: Durchführen einer ToF-Messungskalibrierung auf Basis des Bestimmens mindestens eines eines zyklischen Fehlers und eines Offsetfehlers durch Detektieren von von der Lichtquelle emittiertem Licht mit einem zweiten Bildgebungssensor, wobei ein vorbestimmter optischer Pfad zwischen der Lichtquelle und dem zweiten Bildgebungssensor vorgesehen ist.
Kalibrierungsverfahren nach Anspruch 16, weiterhin umfassend das Abbilden einer Szene mit dem ersten Bildgebungssensor und gleichzeitiges Durchführen der ToF-Messungskalibrierung.
Kalibrierungsverfahren nach Anspruch 16, weiterhin umfassend das Variieren einer Phase während des Detektierens von von der Lichtquelle emittiertem Licht mit dem zweiten Bildgebungssensor.
Kalibrierungsverfahren nach Anspruch 16, wobei der erste Bildgebungssensor Licht auf Basis einer ersten Anzahl von Phasenverschiebungen detektiert und der zweite Bildsensor Licht auf Basis einer zweiten Anzahl von Phasenverschiebungen detektiert, wobei die zweite Anzahl von Phasenverschiebungen größer ist als die erste Anzahl von Phasenverschiebungen.
Kalibrierungsverfahren nach Anspruch 16, wobei die ToF-Kamera weiterhin den zweiten Bildgebungssensor und einen vorbestimmten optischen Pfad enthält.