DE102017124430A1 - 3di sensor-tiefenkalibrierungskonzept mittels differenzfrequenzmethode - Google Patents

3di sensor-tiefenkalibrierungskonzept mittels differenzfrequenzmethode Download PDF

Info

Publication number
DE102017124430A1
DE102017124430A1 DE102017124430.1A DE102017124430A DE102017124430A1 DE 102017124430 A1 DE102017124430 A1 DE 102017124430A1 DE 102017124430 A DE102017124430 A DE 102017124430A DE 102017124430 A1 DE102017124430 A1 DE 102017124430A1
Authority
DE
Germany
Prior art keywords
pixel
sensor response
depth
signal
modulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102017124430.1A
Other languages
English (en)
Inventor
Thomas Thurner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
PMDtechnologies AG
Original Assignee
Infineon Technologies AG
PMDtechnologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG, PMDtechnologies AG filed Critical Infineon Technologies AG
Publication of DE102017124430A1 publication Critical patent/DE102017124430A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Ein dreidimensionales Bild 3DI-System enthält einen Modulator, der zum Generieren eines ersten Modulationssignals und eines zweiten Modulationssignals mit einer vorgegebenen Frequenzdifferenz konfiguriert ist, eine Beleuchtungsquelle, die zum Generieren eines Lichtsignals, das durch das erste Modulationssignal moduliert ist, konfiguriert ist, und einen Sensorkern, der eine Pixelanordnung enthält, die durch das zweite Modulationssignal moduliert ist. Mindestens ein Pixel der Pixelanordnung ist zum Empfangen eines reflektierten modulierten Lichtsignals und zum Demodulieren des reflektierten modulierten Lichtsignals mit Hilfe des zweiten Modulationssignals während einer Bildaufnahme konfiguriert, um ein Messsignal zu generieren. Das mindestens eine Pixel ist zum Generieren mehrerer Messsignale auf der Basis mehrerer Bildaufnahmen konfiguriert, die zu verschiedenen Abtastzeitpunkten vorgenommen werden. Eine Steuerung ist zum Empfangen der mehreren Messsignale und Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis der mehreren Messsignale konfiguriert.

Description

  • Die vorliegende Offenbarung betrifft im Allgemeinen Vorrichtungen und Verfahren, die sich auf dreidimensionale Bild(3DI)-Sensoren und insbesondere auf automatisierte Kalibrierungsprozeduren zur Kalibrierung von Time-of-Flight(ToF)-3DI-Kameras und Sensorchips beziehen.
  • Amplitudenmodulierte Dauerstrich Time-of-Flight-Bereich-Kameras leiden an einem inhärenten Tiefenmessungsfehler aufgrund systematischer Fehlerbeiträge, z. B. aus einem sogenannten Wackelfehler bei der Phasenschätzung mit nicht sinusförmigen Modulationssignalen. Dies ist auf höhere Harmonische zurückzuführen, die in beiden Signalen vorhanden sind, die in dem Modell oder den Messungen nicht berücksichtigt werden. Diese und andere systematischen tiefenabhängigen Fehler werden allgemein auf der Basis von frequenz- und tiefenabhängigen Kalibrierungsdaten mit Hilfe einer Korrekturfunktion korrigiert.
  • Somit sollte jeder dreidimensionale Bild(3DI)-Sensor mit dabei bestimmten tiefenabhängigen Korrekturwerten kalibriert und korrigiert werden, wenn er für eine Tiefenmessung verwendet wird, um bestehende systematische Fehler (z. B. Wackelfehler) zu berücksichtigen. Derzeit ist diese Kalibrierung für jede fertige ToF-Kamera oder jedes Kameramodul mit einem teuren und komplizierten Kalibrierungsgerät während einer teuren und komplizierten Kalibrierungsprozedur vorzunehmen.
  • Zum Beispiel erfolgt eine bestehende 3DI-Tiefenkalibrierung durch ein teures und zeitaufwändiges Kalibrierungssystem mit einer komplizierten Prozedur und Abtastdurchführung. Eine Möglichkeit, diese Kalibrierung zu erzielen, ist die Verwendung eines Linearverstellers zur manuellen Kalibrierung in definierten Distanzschritten zwischen der ToF-Kamera und einer Zielebene.
  • Die bestehende Kalibrierungsprozedur wird aufgrund der zeitaufwändigen Tiefenkalibrierung, des komplizierten Aufbaus (auch wegen der Produktion und Kalibrierung des bestehenden Kalibrierungsaufbaus) und der komplizierten und zeitaufwändigen Abtastdurchführung nicht als ideal erachtet.
  • Eine Aufgabe besteht somit insbesondere darin, eine automatisierte Kalibrierungsprozedur, die den Aufwand bei der Tiefenkalibrierung für ToF-3DI-Kameras und Sensorchips vereinfacht und Kosten senkt.
  • Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar.
  • Zur Lösung der Aufgabe wird ein dreidimensionales Bild(3DI)-System vorgeschlagen umfassend:
    • - einen Modulator, der zum Generieren eines ersten Modulationssignals mit einer ersten Modulationsfrequenz und eines zweiten Modulationssignals mit einer zweiten Modulationsfrequenz eingerichtet ist, wobei die erste Frequenz und die zweite Frequenz eine vorgegebene Frequenzdifferenz aufweisen;
    • - eine Beleuchtungsquelle, die zum Generieren eines modulierten Lichtsignals auf der Basis des ersten Modulationssignals eingerichtet ist;
    • - einen Sensorkern, der eine Pixelanordnung aufweist, die durch das zweite Modulationssignal moduliert ist, wobei mindestens ein Pixel der Pixelanordnung eingerichtet ist, das modulierte Lichtsignal, das von einem Objekt reflektiert wird, als ein reflektiertes moduliertes Lichtsignal zu empfangen und das reflektierte modulierte Lichtsignal mit Hilfe des zweiten Modulationssignals während einer Bildaufnahme zu demodulieren, um ein Messsignal zu generieren, wobei das mindestens eine Pixel konfiguriert ist, mehrere Messsignale auf der Basis mehrerer Bildaufnahmen zu generieren, die zu verschiedenen Abtastzeitpunkten aufgenommen werden;
    • - eine Steuerung, die zum Empfangen der mehreren Messsignale und zum Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis der mehreren Messsignale eingerichtet ist.
  • Es ist eine Weiterbildung, dass die Steuerung eingerichtet ist
    • - zum Berechnen mindestens eines systematischen Tiefenmessungsfehlers auf der Basis der mehreren Messsignale und
    • - zum Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis des mindestens einen berechneten systematischen Tiefenfehlers.
  • Es ist eine Weiterbildung, dass die Steuerung eingerichtet ist
    • - zum Generieren einer tatsächlichen Sensoransprechfunktion auf der Basis der mehreren Messsignale und
    • - zum Berechnen des mindestens einen systematischen Tiefenmessungsfehlers auf der Basis eines Vergleichs der tatsächlichen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion.
  • Es ist eine Weiterbildung, dass die tatsächliche Sensoransprechfunktion Informationen enthält, die für ein Verhalten einer Phasendifferenz repräsentativ sind, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird, und die Phasendifferenz eine Phasendifferenz zwischen dem reflektierten modulierten Lichtsignal und dem zweiten Modulationssignal ist.
  • Es ist eine Weiterbildung, dass die Steuerung eingerichtet ist zum Generieren mindestens einer Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als eine Funktion einer Phasendifferenz, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird.
  • Es ist eine Weiterbildung, dass die Steuerung eingerichtet ist zum Vergleichen der mindestens einen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion, zum Berechnen mindestens eines systematischen Tiefenmessungsfehlers auf der Basis mindestens eines Ergebnisses des Vergleichs und zum Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis des mindestens einen berechneten systematischen Tiefenfehlers.
  • Es ist eine Weiterbildung, dass die Steuerung eingerichtet ist zum Generieren mindestens einer Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als eine Funktion einer simulierten Distanz, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird.
  • Es ist eine Weiterbildung, dass die Steuerung eingerichtet ist zum Generieren mindestens einer Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als eine Funktion einer simulierten Tiefe, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird.
  • Es ist eine Weiterbildung, dass die Steuerung eingerichtet ist zum Generieren mindestens einer Sensoransprechfunktion auf der Basis der mehreren Messsignale, sodass eine Sensoransprechfunktion für jedes Pixel des mindestens einen Pixels generiert wird.
  • Es ist eine Weiterbildung, dass die Steuerung eingerichtet ist zum Vergleichen jeder der mindestens einen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion, zum Berechnen eines systematischen Tiefenmessungsfehlers für jedes Pixel des mindestens einen Pixels auf der Basis jedes Ergebnisses des Vergleichs und zum Kalibrieren jedes Pixels des mindestens einen Pixels auf der Basis jedes berechneten systematischen Tiefenfehlers.
  • Es ist eine Weiterbildung, dass die Steuerung eingerichtet ist zum Generieren einer durchschnittlichen Sensoransprechfunktion aus der mindestens einen Sensoransprechfunktion und zum Kalibrieren des mindestens einen Pixels auf der Basis der durchschnittlichen Sensoransprechfunktion.
  • Es ist eine Weiterbildung, dass die Steuerung eingerichtet ist zum Vergleichen der durchschnittlichen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion, zum Berechnen eines systematischen Tiefenmessungsfehlers auf der Basis eines Ergebnisses des Vergleichs und zum Kalibrieren des mindestens einen Pixels auf der Basis des berechneten systematischen Tiefenfehlers.
  • Es ist eine Weiterbildung, dass die Steuerung eingerichtet ist zum Berechnen mindestens eines globalen Korrekturwerts, der von dem berechneten mindestens einen systematischen Tiefenmessungsfehler abgeleitet wird, und zum Kalibrieren des mindestens einen Pixels auf der Basis des globalen Korrekturwerts.
  • Es ist eine Weiterbildung, dass die vorgegebene Frequenzdifferenz eine linear zunehmende Phasendifferenz zwischen dem reflektierten modulierten Lichtsignal und dem zweiten Modulationssignal über einen Verlauf der verschiedenen Abtastzeiten einführt.
  • Es ist eine Weiterbildung, dass jedes der mehreren Messsignale Informationen enthält, die für eine andere Phasendifferenz zwischen dem reflektierten modulierten Lichtsignal und dem zweiten Modulationssignal bei einer entsprechenden Abtastzeit repräsentativ sind.
  • Weiterhin wird ein Verfahren angegeben zum Kalibrieren mindestens eines Pixels einer Pixelanordnung eines dreidimensionalen Bild(3DI)-Moduls, wobei das Verfahren umfasst:
    • - Generieren eines ersten Modulationssignals mit einer ersten Modulationsfrequenz und eines zweiten Modulationssignals mit einer zweiten Modulationsfrequenz, wobei die erste Frequenz und die zweite Frequenz eine vorgegebene Frequenzdifferenz aufweisen;
    • - Generieren eines modulierten Lichtsignals auf der Basis des ersten Modulationssignals;
    • - Modulieren der Pixelanordnung gemäß dem zweiten Modulationssignal;
    • - Empfangen des modulierten Lichtsignals, das von einem Objekt reflektiert wird, wobei das modulierte Lichtsignal, das vom Objekt reflektiert wird, ein reflektiertes moduliertes Lichtsignal ist;
    • - Demodulieren des reflektierten modulierten Lichtsignals mit Hilfe des zweiten Modulationssignals während einer Bildaufnahme, um ein Messsignal zu generieren;
    • - Generieren mehrerer Messsignale auf der Basis mehrerer Bildaufnahmen, die zu verschiedenen Abtastzeitpunkten aufgenommen werden; und
    • - Kalibrieren mindestens eines Pixels der Pixelanordnung auf der Basis der mehreren Messsignale.
  • Es ist eine Weiterbildung, dass das Verfahren ferner umfasst:
    • - Berechnen mindestens eines systematischen Tiefenmessungsfehlers auf der Basis der mehreren Messsignale; und
    • - Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis des mindestens einen berechneten systematischen Tiefenfehlers.
  • Es ist eine Weiterbildung, dass das Verfahren ferner umfasst:
    • - Generieren einer tatsächlichen Sensoransprechfunktion auf der Basis der mehreren Messsignale; und
    • - Berechnen des mindestens einen systematischen Tiefenmessungsfehlers auf der Basis eines Vergleichs der tatsächlichen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion.
  • Es ist eine Weiterbildung, dass das Verfahren ferner umfasst:
    • - Generieren mindestens einer Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als eine Funktion einer von einer Phasendifferenz, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird, einer simulierten Distanz, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird, oder einer simulierten Tiefe, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird.
  • Es ist eine Weiterbildung, dass das Verfahren ferner umfasst:
    • - Vergleichen der mindestens einen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion;
    • - Berechnen mindestens eines systematischen Tiefenmessungsfehlers auf der Basis mindestens eines Ergebnisses des Vergleichs; und
    • - Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis des mindestens einen berechneten systematischen Tiefenfehlers.
  • Es ist eine Weiterbildung, dass das Verfahren ferner umfasst:
    • - Generieren mindestens einer Sensoransprechfunktion auf der Basis der mehreren Messsignale, sodass eine Sensoransprechfunktion für jedes Pixel des mindestens einen Pixels generiert wird.
  • Es ist eine Weiterbildung, dass das Verfahren ferner umfasst:
    • - Vergleichen jeder der mindestens einen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion;
    • - Berechnen eines systematischen Tiefenmessungsfehlers für jedes Pixel des mindestens einen Pixels auf der Basis jedes Ergebnisses des Vergleichs; und
    • - Kalibrieren jedes Pixels des mindestens einen Pixels auf der Basis jedes berechneten systematischen Tiefenfehlers.
  • Es ist eine Weiterbildung, dass das Verfahren ferner umfasst:
    • - Generieren einer durchschnittlichen Sensoransprechfunktion aus der mindestens einen Sensoransprechfunktion; und
    • - Kalibrieren des mindestens einen Pixels auf der Basis der durchschnittlichen Sensoransprechfunktion.
  • Es ist eine Weiterbildung, dass das Verfahren ferner umfasst:
    • - Vergleichen der durchschnittlichen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion;
    • - Berechnen eines systematischen Tiefenmessungsfehlers auf der Basis eines Ergebnisses des Vergleichs; und
    • - Kalibrieren des mindestens einen Pixels auf der Basis des berechneten systematischen Tiefenfehlers.
  • Es ist eine Weiterbildung, dass das Verfahren ferner umfasst:
    • - Berechnen eines globalen Korrekturwerts, der von dem berechneten systematischen Tiefenmessungsfehler abgeleitet ist; und
    • - Kalibrieren des mindestens einen Pixels auf der Basis des globalen Korrekturwerts.
  • Es werden Systeme, Vorrichtungen und Verfahren zum Kalibrieren von Time-of-Flight(ToF)-dreidimensionalen-Bild(3DI)-Kameras und Sensoren bereitgestellt.
  • Eine oder mehrere Ausführungsformen stellen ein 3DI-System bereit, das einen Modulator, der zum Generieren eines ersten Modulationssignals mit einer ersten Modulationsfrequenz und eines zweiten Modulationssignals mit einer zweiten Modulationsfrequenz konfiguriert ist, wobei die erste und die zweite Frequenz eine vorgegebene Frequenzdifferenz aufweisen, und eine Beleuchtungsquelle, die zum Generieren eines modulierten Lichtsignals auf der Basis des ersten Modulationssignals konfiguriert ist, enthält. Das 3DI-System enthält ferner einen Sensorkern, der eine Pixelanordnung (z.B. Pixelarray) enthält, die durch das zweite Modulationssignal moduliert ist. Das mindestens eine Pixel der Pixelanordnung ist konfiguriert, das modulierte Lichtsignal, das von einem Objekt reflektiert wird, als ein reflektiertes moduliertes Lichtsignal zu empfangen, und das reflektierte modulierte Lichtsignal mit Hilfe des zweiten Modulationssignals während einer Bildaufnahme zu demodulieren, um ein Messsignal zu generieren, und das mindestens eine Pixel ist ferner konfiguriert, mehrere Messsignale auf der Basis mehrerer Bildaufnahmen zu generieren, die zu verschiedenen Abtastzeitpunkten vorgenommen werden. Das 3DI-System enthält ferner eine Steuerung, die zum Empfangen der mehreren Messsignale und Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis der mehreren Messsignale konfiguriert ist.
  • Eine oder mehrere Ausführungsformen stellen ein Verfahren zum Kalibrieren und Korrigieren einer Pixelanordnung eines dreidimensionalen Bild(3DI)-Moduls bereit, wobei das Verfahren ein Generieren, durch einen Modulator, eines ersten Modulationssignals mit einer ersten Modulationsfrequenz und eines zweiten Modulationssignals mit einer zweiten Modulationsfrequenz, wobei die erste und die zweite Frequenz eine vorgegebene Frequenzdifferenz aufweisen; ein Generieren, durch ein Beleuchtungssignal, eines modulierten Lichtsignals auf der Basis des ersten Modulationssignals; ein Modulieren durch den Modulator der Pixelanordnung gemäß dem zweiten Modulationssignal; ein Empfangen, durch mindestens ein Pixel der Pixelanordnung, des modulierten Lichtsignals, das von einem Objekt reflektiert wird, wobei das modulierte Lichtsignal, das vom Objekt reflektiert wird, ein reflektiertes moduliertes Lichtsignal ist; ein Demodulieren des reflektierten modulierten Lichtsignals mit Hilfe des zweiten Modulationssignals während einer Bildaufnahme, um ein Messsignal zu generieren; ein Generieren mehrerer Messsignale auf der Basis mehrerer Bildaufnahmen, die zu verschiedenen Abtastzeitpunkten vorgenommen werden; und ein Kalibrieren mindestens eines Pixels der Pixelanordnung auf der Basis der mehreren Messsignale umfasst.
  • Die beschriebenen Eigenschaften, Merkmale und Vorteile sowie die Art und Weise, wie diese erreicht werden, werden weiter ausgeführt im Zusammenhang mit der folgenden schematischen Beschreibung von Ausführungsbeispielen, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Dabei können zur Übersichtlichkeit gleiche oder gleichwirkende Elemente mit gleichen Bezugszeichen versehen sein.
    • 1 veranschaulicht ein 3D-Bildsensorsystem gemäß einer oder mehreren Ausführungsformen;
    • 2A zeigt ein Zeitdiagramm eines modulierten Sensorkerns und von Beleuchtungssignalen mit einer Frequenzdifferenz von 0,1 Hz über 10 Sekunden;
    • 2B zeigt ein Zeitdiagramm einer linearen Zunahme einer Phasendifferenz zwischen dem modulierten Sensorkern und Beleuchtungssignalen mit einer Frequenzdifferenz von 0,1 Hz über 10 Sekunden;
    • 3 veranschaulicht einen 3D-Bildsensor gemäß einer oder mehreren Ausführungsformen; und
    • 4 veranschaulicht ein Flussdiagramm eines Kalibrierungsvorgangs gemäß einer oder mehreren Ausführungsformen.
  • In der Folge werden verschiedene Ausführungsformen ausführlich unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben. Es sollte festgehalten werden, dass diese Ausführungsformen nur der Veranschaulichung dienen und nicht als Einschränkung auszulegen sind. Während zum Beispiel Ausführungsformen beschrieben sein können, die mehrere Merkmale oder Elemente aufweisen, ist dies nicht als Angabe auszulegen, dass alle diese Merkmale oder Elemente zur Implementierung von Ausführungsformen erforderlich sind. Stattdessen können in anderen Ausführungsformen einige der Merkmale oder Elemente fehlen oder durch alternative Merkmale oder Elemente ersetzt sein. Alternativ können weitere Merkmale oder Elemente zusätzlich zu den ausdrücklich dargestellten und beschriebenen bereitgestellt sein, zum Beispiel herkömmliche Komponenten von Sensorvorrichtungen.
  • Merkmale von unterschiedlichen Ausführungsformen können zur Bildung weiterer Ausführungsformen kombiniert werden, falls nicht ausdrücklich anderes angegeben ist. Variationen oder Modifizierungen, die in Bezug auf eine der Ausführungsformen beschrieben sind, können auch bei anderen Ausführungsformen anwendbar sein. In einigen Fällen sind gut bekannte Strukturen und Vorrichtungen in der Form eines Blockdiagramms und nicht ausführlich dargestellt, um ein Verschleiern der Ausführungsformen zu vermeiden.
  • Verbindungen oder Kopplungen zwischen Elementen, die in den Zeichnungen dargestellt oder hier beschrieben sind, können verdrahtete Verbindungen oder drahtlose Verbindungen sein, falls nicht anderes angegeben ist. Ferner können solche Verbindungen oder Kopplungen direkte Verbindungen oder Kopplungen ohne zusätzliche dazwischenliegende Elemente oder indirekte Verbindungen oder Kopplungen mit einem oder mehreren zusätzlichen dazwischenliegenden Elementen sein, solange der allgemeine Zweck der Verbindung oder Kopplung, wie zum Beispiel ein Senden einer bestimmten Art von Signal oder ein Senden einer bestimmten Art von Information, im Wesentlichen aufrechterhalten bleibt.
  • Ausführungsformen beziehen sich auf Sensoren und Sensorsysteme und auf das Erhalten von Informationen über Sensoren und Sensorsysteme. Ein Sensor kann sich auf eine Komponente beziehen, die eine physikalische Messgröße in ein elektrisches Signal umwandelt, zum Beispiel ein Stromsignal oder ein Spannungssignal. Die physikalische Größe kann zum Beispiel elektromagnetische Strahlung, wie sichtbares Licht, Infrarot(IR)-Strahlung oder eine andere Art von Beleuchtungssignal, einen Strom oder eine Spannung, aufweisen, ist aber nicht darauf beschränkt. Wie hier verwendet, kann IR-Strahlung auch als IR-Licht bezeichnet werden.
  • Eine Sensorvorrichtung, wie hier verwendet, kann sich auf eine Vorrichtung beziehen, die einen Sensor und weitere Komponenten, zum Beispiel eine Vorspannungsschaltung, einen Analog/Digital-Wandler oder ein Filter aufweist. Eine Sensorvorrichtung kann auf einem einzelnen Chip integriert sein, obwohl in anderen Ausführungsformen mehrere Chips oder auch Komponenten extern eines Chips zur Implementierung einer Sensorvorrichtung verwendet werden können.
  • 1 veranschaulicht ein dreidimensionales (3D) Bildsensorsystem 100 gemäß einer oder mehreren Ausführungsformen. Das 3D-Bildsensorsystem 100 enthält eine 3D-Tiefenkamera 1, eine Host-Steuerung 2 und eine 3D-Szene 3, die aus einem oder mehreren Objekten besteht. Die 3D-Tiefenkamera 1 ist konfiguriert, moduliertes IR-Licht auszustrahlen und misst die Zeit, die das IR-Signal für die Strecke von der Tiefenkamera 1 zur 3D-Szene 3 und wieder zurück braucht. Anhand der verstrichenen Zeit, die als „Time-of-Flight“ bezeichnet wird, kann die 3D-Tiefenkamera 1 Bildrohdaten auf einer Basis von Pixel für Pixel generieren und die Bildrohdaten an die Host-Steuerung 2 ausgeben. Insbesondere kann die 3D-Tiefenkamera 1 eine ToF-Kamera mit kontinuierlicher Modulation sein, die die Time-of-Flight durch Schätzen einer Phasendifferenz zwischen dem reflektierten modulierten Licht und dem Modulationssignal, das durch den Sensor generiert wird, misst. Die Phasendifferenz ΔΦ wird in die Time-of-Flight Δt umgesetzt, indem die Modulationsfrequenz, fmod: ΔΦ= 2 × pi × fmod × Δt, integriert wird, wobei Δt eine Zeitänderung darstellt.
  • Der Bildsensor kann eine Phasenverschiebungseinheit enthalten, die ein Einführen zusätzlicher, gut definierter Phasendifferenzen oder Stufen (Zeitverzögerungen) zwischen dem Beleuchtungssignal (und somit dem modulierten IR-Licht) und dem Sensorkernmodulationssignal ermöglicht, die zum Berechnen der vollständigen eindeutigen Phasendifferenz und zum Berechnen der gemessenen Tiefe auf einer Basis pro Pixel aus dieser verwendet werden können. Eine Kamera-Serienschnittstelle 2 (CSI-2) kann zum Beispiel zum Ausgeben der (digitalen) Bildrohdaten von der Tiefenkamera 1 an die Host-Steuerung 2 verwendet werden. Die Host-Steuerung 2 kann einen oder mehrere Prozessoren enthalten, wie eine oder mehrere zentrale Verarbeitungseinheiten (CPUs), digitale Signalprozessoren (DSPs), Universalmikroprozessoren, anwendungsspezifische integrierte Schaltungen (ASICs), feldprogrammierbare logische Arrays (FPGAs) oder einen anderen äquivalenten integrierten oder diskreten logischen Schaltkreis.
  • Daher kann die Host-Steuerung 2 konfiguriert sein, die Bildrohdaten zu empfangen und eine Tiefenkartenberechnung durchzuführen, um eine Amplitude (d. h. die Stärke des empfangenen reflektierten modulierten Lichts) und Tiefe (z. B. berechnet aus der geschätzten Phasendifferenz zwischen dem empfangenen reflektierten IR-Licht und der Sensorkernmodulation) für jedes Pixel, abgeleitet aus den Bildrohdaten, zu bestimmen. Zum Beispiel kann die Host-Steuerung 2 vier sogenannte Phasenbilder (z. B. vier Messungen) bei 0/90/180/270° einer gut definierten, zusätzlichen Phasendifferenz verwenden, die durch die Phasenverschiebungseinheit eingeführt wurde, um die Phasendifferenz zwischen dem reflektierten modulierten Licht und dem Sensorkernmodulationssignal zu schätzen, die für die Berechnung der Tiefe eines Objekts pro Sensorpixel verwendet wird. Die Amplitude und Tiefe werden dann durch die Host-Steuerung 2 ausgegeben, um ein Bild zu generieren, das die 3D-Szene 3 darstellt. Die Tiefenberechnung durch die Steuerung 2 kann auf einer Bestimmung der absoluten Phasendifferenz zwischen dem empfangenen, reflektierten, modulierten Licht und dem Sensormodulationssignal (d. h. dem Beleuchtungsmodulationssignal, das vom Sensor generiert wird) basieren.
  • Aufgrund der Mehrdeutigkeit in Phaseninformationen wird jede eindeutige Phasenschätzung für eine bestimmte Modulationsfrequenz mit einem gewissen sogenannten Eindeutigkeitsbereich Δzmax für die Tiefenmessung verbunden, der durch Azmax= λmod/2 = (c/fmod)/2 gegeben ist, wobei fmod und λmod die Modulationsfrequenz und die Modulationswellenlänge des verwendeten Beleuchtungssignals sind und c die Lichtgeschwindigkeit des gegebenen Ausbreitungsmediums ist (in den meisten Fällen Luft). Z. B. ist für eine Modulationsfrequenz von 60 MHz der Eindeutigkeitsbereich für eine Tiefenmessung durch Δzmax_60= 5m/2 = 2,5m gegeben. Um einen größeren eindeutigen Bereich zu erlangen, könnten mehrfache Tiefenmessungen für verschiedene Modulationsfrequenzen verwendet werden, z. B. unter Verwendung von Phasendifferenz(oder Tiefen)-Schätzungen für fmod= 60 MHz und für fmod= 80 MHz, um die Tiefe über den erweiterten Eindeutigkeitsbereich von Δzmax_60/80 = 7,5 m zu schätzen. Die Steuerung 2 kann daher Phasendifferenzschätzungen (oder Tiefenschätzungen) aus einer oder mehreren Modulationsfrequenzen zum Ableiten der abschließenden (kombinierten) Tiefenmessung über einen möglicherweise erweiterten Eindeutigkeitsbereich verwenden.
  • Zusätzlich kann die Host-Steuerung 2 Kalibrierungs- und Korrekturprozeduren auf der Basis einer Abfolge von Bildaufnahmen (d. h. Messungserfassungen), wie unten beschrieben, durchführen. Ferner, während in diesem Beispiel nicht dargestellt, kann die Host-Steuerung 2 auf dem 3D-Bildsensor 11 in einer oder mehreren Ausführungsformen integriert sein. Es ist klar, dass eine Kalibrierung, wie hier verwendet, eine Korrektur enthalten kann, zum Beispiel eine Korrektur eines berechneten systematischen Tiefenfehlers.
  • Die Tiefenkamera 1 enthält einen 3D-Bildsensor 11, der einen Modulator 12, einen Sensorkern 13 mit einer Pixelmatrix 14 (d. h. Pixelanordnung), einen Analog/Digital(A/D)-Wandler 15 und eine Sequenzsteuerung 16 enthält, die mit der Host-Steuerung 2 zum Beispiel über eine inter-integrierte Schaltungs(I2C)-Schnittstelle kommuniziert.
  • Der Modulator 12 kann eine Phasenverschiebungsschaltung enthalten, die ermöglicht, eine vordefinierte Anzahl gut definierter Phasenstufen zwischen dem Sensorkernmodulationssignal und dem Beleuchtungssignal, z. B. 0°/90°/180°/270°, aufzunehmen.
  • Die Ablaufsteuerung 16 kann ferner die Modulationsfrequenzen steuern, die durch den Modulator 12 implementiert werden. Die Ablaufsteuerung 16 kann eine interne Steuerlogik sein, mit der die Host-Steuerung 2 mit der Tiefenkamera 1 kommunizieren kann oder mit der die Host-Steuerung 2 die Tiefenkamera 1 parametrisieren kann, um eine oder mehrere der Modulations- und Beleuchtungsfrequenzen, wobei die zusätzlichen vordefinierten Phasendifferenzstufen durch den Phasenverschieber bereitgestellt werden, oder die Definition einer Bildabfolge mit definierter Frame-Rate, zu steuern.
  • Die Tiefenkamera 1 enthält ferner einen Beleuchtungstreiber 17 und eine Beleuchtungsquelle 18, wie eine Leuchtdiode (LED) oder einen Vertical-Cavity Surface-Emitting Laser (VCSEL, oberflächenemittierender Laser), die zum Ausstrahlen eines modulierten Lichtsignals (z. B. modulierten IR-Lichts) konfiguriert ist, und eine Linse 19. Es ist klar, dass die Begriffe „Lichtsignal“, „IR-Licht“ und „Beleuchtungssignal“ hier untereinander austauschbar verwendet werden können.
  • Die Beleuchtungsquelle 18 ist konfiguriert, das modulierte IR-Licht zur 3D-Szene 3 mit Beleuchtungsoptik (z. B. einer Linse oder einem optischen Brechungselement (DOE)) auszustrahlen. Somit kann durch Verwendung der Beleuchtungsoptik die Beleuchtungsquelle 18 nur ein Sichtfeld (FOV, Field of View) des Bildsensors 11 beleuchten.
  • Die Linse 19, die ein Bildgebungslinsensystem oder ein Objektiv, das eine oder mehrere Linsen oder DOEs enthält, sein kann, ist konfiguriert, reflektiertes IR-Licht zu empfangen, das von Objekten der 3D-Szene 3 reflektiert wird. Das reflektierte Licht wird durch die Linse 19 auf die Pixelmatrix 14 gerichtet.
  • Jedes Pixel der Pixelmatrix 14 generiert dann auf der Basis des reflektierten Lichtsignals analoge Bildrohdaten, die mindestens eines von Amplitudeninformationen, die die reflektierte Lichtstärke darstellen, und Tiefenmessungsinformationen, die Phaseninformationen innerhalb des reflektierten modulierten Lichts darstellen, enthalten, und gibt die analogen Bildrohdaten an den A/D-Wandler 15 aus, sodass sie in digitale Bildrohdaten umgewandelt werden. Somit kann, um ein 3D-Bild zu erhalten, eine Abfolge einer definierten Anzahl von Bildern mit einer bekannten aber unterschiedlichen, beliebigen Phasendifferenz zwischen der Sensorkern-13-Modulation und dem Beleuchtungssignal (z. B. vier Phasenstufen bei 0°/90°/180°/270°) erhalten werden. Die Bildaufnahmen können zur Berechnung der absoluten Phasendifferenz zwischen dem reflektierten modulierten Licht und dem Sensorkernmodulationssignal verwendet werden, wodurch die Host-Steuerung 2 eine Tiefe (d. h. eine Distanz zwischen dem Sensor und dem Objekt in Sichtlinie jedes Pixels) für jedes Pixel der Pixelanordnung 14 berechnen kann. Bildaufnahmen von verschiedenen Modulationsfrequenzen können zur Schätzung von Tiefeninformationen für einen erweiterten Eindeutigkeitsbereich verwendet werden, wobei die Phasendifferenzschätzung (somit die Tiefenmessung) separat für jede Modulationsfrequenz berechnet werden kann, und werden dann für den erweiterten Tiefenmessbereich verwendet (wie oben beschrieben).
  • Der Sensorkern 13 kann einen oder mehrere Prozessoren oder Steuerlogikeinheiten enthalten und ist konfiguriert, eine Time-of-Flight des Lichtsignals auf der Basis einer Phasendifferenzmessung unter Verwendung der Pixelmatrix 14 als Sensor zu erfassen und zu messen. Insbesondere ist jedes Pixel ein Sensorelement, das konfiguriert ist, das reflektierte IR-Lichtsignal zu empfangen und das reflektierte modulierte Lichtsignal unter Verwendung eines Modulationssignals zu demodulieren, das dem Sensorkern 13 bereitgestellt wird. Zur Sicherstellung exakter Erfassungsmessungen ist der Modulator 12 konfiguriert, eine Frequenz des modulierten IR-Lichts zu definieren und die Modulationsfrequenz der ToF-Sensorpixel der Pixelmatrix 14 über Steuersignale (z. B. Modulationssignale), die durch den Beleuchtungstreiber 17 bzw. den Sensorkern 13 empfangen werden, zu definieren. Wie in 1 dargestellt, werden mehrere Modulationssignale durch den Sensorkern 13 empfangen, jedes mit einer selben Modulationsfrequenz, um die Modulationsfrequenz der ToF-Pixel der Pixelmatrix 14 zu steuern.
  • Die ToF-Pixelmatrix 14 kann gemeinsam mit einem gemischten Signalschaltkreis des Sensors 11 zum Beispiel durch einen komplementären Metalloxid-Halbleiter(CMOS)-Prozess zu einem einzigen Chip integriert sein.
  • Während der Bilderfassung ist die Modulationsfrequenz von ToF-Pixeln auf dem Sensorkern 13 mit der Modulationsfrequenz des Beleuchtungssignals synchron, die die Wellenform der aktiven Szenenbeleuchtung definiert, kann aber möglicherweise eine bekannte, definierte, beliebige Phasenverschiebung enthalten (die z. B. durch eine Phasenverschiebungsschaltung eingeführt wird). Modulationsfrequenzen können im Bereich von 30 bis 100 MHz liegen, sind aber nicht darauf beschränkt.
  • Zur Sicherstellung, dass die ToF-Pixel eine Tiefe eines Objekts exakt messen, können die Pixel kalibriert (oder rekalibriert) und auf tiefenabhängige systematische Fehler während eines Kalibrierungsprozesses korrigiert werden. Somit wird eine Prozedur zur Kalibrierung von Tiefenmessungskapazitäten und zur Bestimmung von Tiefenmessungskorrekturwerten für ToF-Sensoren bereitgestellt.
  • Gemäß der Tiefenkalibrierungsprozedur wird eine kleine Frequenzdifferenz für die Modulationssignale am Sensorkern 13 (z. B. für die ToF-Pixel) in Bezug auf das Modulationssignal eingeführt, das die Lichtquelle 18, moduliert, z. B. kann eine Frequenzdifferenz im Bereich von 0,1 Hz bis 100 Hz verwendet werden, ist aber nicht darauf beschränkt. Zum Beispiel kann sich eine Modulationsfrequenz des Beleuchtungssignals um 1 Hz verglichen mit den Modulationssignalen der ToF-Pixel unterscheiden. Nach einer Zeitperiode, Δt, entwickeln sich zwei Signale, die zum Beispiel anfänglich in der Phase synchronisiert waren, sich aber in der Frequenz Δf (in Hz) unterscheiden, linear im Lauf der Zeit, wobei sich die gesamte Phasenverschiebung (ΔΦ) ändert. Daher ist die Phasendifferenz zwischen den zwei Signalen (in rad) nach der Zeit Δt durch ΔΦ = 2 × pi × Δf × Δt gegeben. Somit führt die Frequenzdifferenz Δf zu einer gut definierten Phasenverschiebung oder Phasendifferenz zwischen der Sensorkernmodulation und der Beleuchtungssignalmodulation, die mit der Zeit abhängig von der Inversen der Frequenzdifferenz linear zunimmt.
  • Die Phasenverschiebung zwischen der Sensorkernmodulation und der reflektierten Beleuchtungssignalmodulation kann vom Sensorkern 13 im Sinne einer Pixel-weisen Demodulation und Erzeugung von Pixelrohdaten erfasst werden. Diese Pixelrohdaten enthalten einen unbekannten Amplituden- und Phasenversatz aufgrund eines unbekannten Reflexionsvermögens des gemessenen Objekts, einer Distanzabhängigkeit der reflektierten Lichtstärke und eines möglichen konstanten Phasenversatzes. Zur Bewältigung des unbekannten Amplituden- und Phasenversatzes werden mehrfache Messungen (Bildaufnahmen) mit gut definierten künstlichen Phasendifferenzen (z. B. 4 Phasenstufen bei 0°/90°/180°/270°) verwendet, um ein Mittel zum Berechnen der Phasendifferenz über den vollständigen eindeutigen Phasenbereich von 2⧠ rad bereitzustellen. Aus der Phasendifferenz kann die Objektdistanz (Tiefe) berechnet werden.
  • Gemäß einer oder mehreren Ausführungsformen kann eine vollständige pixelweise Sensoransprechfunktion erlangt werden, welche die pixelweisen Rohdaten über die absolute Phasendifferenz oder berechnete Distanz darstellt - bei Bedarf für jede zusätzliche Phasenstufe, wie zur Tiefenmessung in der 3DI-Anwendung verwendet. Somit kann die eingeführte, linear zunehmende (oder abnehmende) Phasendifferenz zu einer simulierten, aber äußerst exakten, Entwicklung einer Objektdistanz (Tiefe) umgesetzt werden, und für jede Abtastzeit (d. h. Zeitpunkt einer Bildaufnahme mit Bezug auf eine Startzeit der Modulation) kann die eingeführte künstliche, aber äußerst exakte Objektdistanz auf der Basis der bekannten Frequenzdifferenz und der verstrichenen Zeit berechnet werden. Somit führt eine linear zunehmende (oder abnehmende) Phasenverschiebung eine linear mit der Zeit zunehmende (oder abnehmende) simulierte zusätzliche Objektdistanz in die 3D-Szene 30 ein. Zum Beispiel führt eine Frequenzdifferenz von 0,1 Hz zu einer vollen 360° Phasenverschiebung für eine Zeitdauer von 10 Sekunden, wodurch der vollständige mögliche Phasendifferenzbereich des 3DI-Systems abgedeckt ist. Somit kann ein lineares Überstreichen des vollständigen Messbereichs durch den Sensorkern 13 innerhalb von 10 Sekunden erfolgen.
  • Angesichts des Vorhergesagten enthält das 3DI-System 100 einen Modulator 12, der zum Generieren eines ersten Modulationssignals fIllu mit einer ersten Modulationsfrequenz und eines zweiten Modulationssignals fmod mit einer zweiten Modulationsfrequenz konfiguriert ist, wobei die erste und die zweite Frequenz eine vorgegebene Frequenzdifferenz aufweisen. Die Beleuchtungsquelle 18 ist zum Generieren eines modulierten Lichtsignals auf der Basis des ersten Modulationssignals konfiguriert. Der Sensorkern 13 enthält eine Pixelanordnung 14, die durch das zweite Modulationssignal moduliert ist, und mindestens ein Pixel der Pixelanordnung ist konfiguriert, das modulierte Lichtsignal, das von einem Objekt 3 reflektiert wird, als reflektiertes moduliertes Lichtsignal zu empfangen und das reflektierte modulierte Lichtsignal mit Hilfe des zweiten Modulationssignals während einer Bildaufnahme zu demodulieren, um ein Messsignal zu generieren. Das mindestens eine Pixel ist konfiguriert, mehrere Messsignale auf der Basis mehrerer Bildaufnahmen, die zu verschiedenen Abtastzeitpunkten vorgenommen werden, zu generieren. Die Host-Steuerung 2 kann zum Empfangen der mehreren Messsignale und Kalibrieren des mindestens einen Pixels der Pixelanordnung 14 auf der Basis der mehreren Messsignale konfiguriert sein.
  • Die vorgegebene Frequenzdifferenz führt eine linear zunehmende Phasendifferenz zwischen dem reflektierten modulierten Lichtsignal und dem zweiten Modulationssignal über einen Verlauf der verschiedenen Abtastzeiten ein. Somit wird jede der mehreren Bildaufnahmen bei einer anderen Phasendifferenz zwischen dem reflektierten modulierten Lichtsignal und dem zweiten Modulationssignal vorgenommen. Ferner enthält jedes der mehreren Messsignale Informationen, die für eine andere Phasendifferenz zwischen dem reflektierten modulierten Lichtsignal und dem zweiten Modulationssignal bei einer entsprechenden Abtastzeit repräsentativ sind.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, mindestens einen systematischen Tiefenmessungsfehler auf der Basis der mehreren Messsignale zu berechnen und das mindestens eine Pixel der Pixelanordnung auf der Basis des mindestens einen berechneten systematischen Tiefenfehlers zu kalibrieren.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, eine tatsächliche Sensoransprechfunktion auf der Basis der mehreren Messsignale zu generieren und den mindestens einen systematischen Tiefenmessungsfehler auf der Basis eines Vergleichs der tatsächlichen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion zu berechnen, wobei der mindestens eine systematische Tiefenmessungsfehler eine Funktion der Distanz ist. Die tatsächliche Sensoransprechfunktion kann Informationen enthalten, die ein Verhalten einer Phasendifferenz angeben, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, mindestens eine Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als Funktion einer Phasendifferenz zu generieren, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, die mindestens eine Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion zu vergleichen, mindestens einen systematischen Tiefenmessungsfehler auf der Basis mindestens eines Ergebnisses des Vergleichs zu berechnen und das mindestens eine Pixel der Pixelanordnung auf der Basis des mindestens einen berechneten systematischen Tiefenfehlers zu kalibrieren.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, mindestens eine Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als Funktion einer simulierten Distanz zu generieren, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, mindestens eine Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als Funktion einer simulierten Tiefe zu generieren, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, mindestens eine Sensoransprechfunktion auf der Basis der mehreren Messsignale so zu generieren, dass eine Sensoransprechfunktion für jedes Pixel des mindestens einen Pixels generiert wird.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, jede der mindestens einen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion zu vergleichen, einen systematischen Tiefenmessungsfehler für jedes Pixel des mindestens einen Pixels auf der Basis jedes Ergebnisses des Vergleichs zu berechnen und jedes Pixel des mindestens einen Pixels auf der Basis jedes berechneten systematischen Tiefenfehlers zu kalibrieren.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, eine durchschnittliche Sensoransprechfunktion aus der mindestens einen Sensoransprechfunktion zu generieren und das mindestens eine Pixel auf der Basis der durchschnittlichen Sensoransprechfunktion zu kalibrieren.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, die durchschnittliche Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion zu vergleichen, einen systematischen Tiefenmessungsfehler auf der Basis eines Ergebnisses des Vergleichs zu berechnen und das mindestens eine Pixel auf der Basis des berechneten systematischen Tiefenfehlers zu kalibrieren.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, mindestens einen globalen Korrekturwert zu berechnen, der aus dem berechneten, mindestens einen systematischen Tiefenmessungsfehler abgeleitet wird, und das mindestens eine Pixel auf der Basis des globalen Korrekturwerts zu kalibrieren. Jede der mindestens einen Sensoransprechfunktion ist eine Funktion von Messsignalen, die durch ein Pixel des mindestens einen Pixels generiert werden, über eine von einer Phasendifferenz, einer Distanz oder einer Tiefe. Die Phasendifferenz ist eine Phasendifferenz zwischen dem reflektierten modulierten Lichtsignal und dem zweiten Modulationssignal fmod. Jede der mindestens einen Sensoransprechfunktion kann eine Entwicklung einer Phasendifferenz über eines von einer Distanz oder einem Phasenmessbereich darstellen und die mehreren Messsignale können Abtastpunkte der tatsächlichen Sensoransprechfunktion darstellen.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, eine simulierte Distanz zwischen dem Objekt und dem Sensorkern auf der Basis einer Phasendifferenz zwischen dem reflektierten modulierten Lichtsignal und dem zweiten Modulationssignal zu berechnen.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, die simulierte Distanz auf der Basis der vorgegebenen Frequenzdifferenz und einer vorgegebenen Distanz zwischen dem Sensorkern und dem Objekt zu berechnen.
  • Der Modulator 12 kann eine erste Phasenregelschleife enthalten, die konfiguriert ist, die erste Modulationsfrequenz des ersten Modulationssignals zu steuern, und eine zweite Phasenregelschleife, die konfiguriert ist, die zweite Modulationsfrequenz des zweiten Modulationssignals zu steuern.
  • Der Modulator 12 kann eine kombinierte Phasenregelschleifenstruktur enthalten, die konfiguriert ist, die erste Modulationsfrequenz des ersten Modulationssignals und die zweite Modulationsfrequenz des zweiten Modulationssignals zu steuern.
  • Der Modulator 12 kann konfiguriert sein, das erste Modulationssignal und das zweite Modulationssignal zu Beginn einer Abfolge der mehreren Bildaufnahmen synchron zu starten.
  • Der Sensorkern 13 kann konfiguriert sein, die mehreren Bildaufnahmen in konstanten Zeitintervallen über eine 360° Phasenverschiebung durchzuführen.
  • Ohne darauf beschränkt zu sein, kann die vorgegebene Frequenzdifferenz in einem Bereich von 0,1 Hz bis 100 Hz sein, wobei die erste Modulationsfrequenz in einem Bereich von 30 MHz bis 100 MHz ist.
  • Die Host-Steuerung 2 kann ferner konfiguriert sein, alle Pixel der Pixelanordnung parallel zu kalibrieren.
  • Der Modulator 12 kann ferner einen Phasenverschieber enthalten, der konfiguriert ist, eine Phase eines des ersten Modulationssignals und des zweiten Modulationssignals bei einer Phasenstufe für jede der mehreren Bildaufnahmen zu verschieben.
  • Ein Verfahren zum Kalibrieren mindestens eines Pixels einer Pixelanordnung eines 3DI-Moduls kann ein Generieren eines ersten Modulationssignals mit einer ersten Modulationsfrequenz und eines zweiten Modulationssignals mit einer zweiten Modulationsfrequenz, wobei die erste und die zweite Frequenz eine vorgegebene Frequenzdifferenz aufweisen; ein Generieren eines modulierten Lichtsignals auf der Basis des ersten Modulationssignals; Modulieren der Pixelanordnung gemäß dem zweiten Modulationssignal; ein Empfangen des modulierten Lichtsignals, das von einem Objekt reflektiert wird, wobei das modulierte Lichtsignal, das vom Objekt reflektiert wird, ein reflektiertes moduliertes Lichtsignal ist; ein Demodulieren des reflektierten modulierten Lichtsignals mit Hilfe des zweiten Modulationssignals während einer Bildaufnahme, um ein Messsignal zu generieren; ein Generieren mehrerer Messsignale auf der Basis mehrerer Bildaufnahmen, die zu verschiedenen Abtastzeitpunkten vorgenommen werden; und ein Kalibrieren mindestens eines Pixels der Pixelanordnung auf der Basis der mehreren Messsignale umfassen.
  • Das Verfahren kann ferner ein Berechnen mindestens eines systematischen Tiefenmessungsfehlers auf der Basis der mehreren Messsignale; und ein Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis des mindestens einen berechneten systematischen Tiefenfehlers umfassen.
  • Das Verfahren kann ferner ein Generieren einer tatsächlichen Sensoransprechfunktion auf der Basis der mehreren Messsignale; und ein Berechnen des mindestens einen systematischen Tiefenmessungsfehlers auf der Basis eines Vergleichs der tatsächlichen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion umfassen.
  • Das Verfahren kann ferner ein Generieren mindestens einer Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als Funktion einer Phasendifferenz, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird, umfassen.
  • Das Verfahren kann ferner ein Vergleichen der mindestens einen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion; ein Berechnen mindestens eines systematischen Tiefenmessungsfehlers auf der Basis mindestens eines Ergebnisses des Vergleichs; und ein Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis des mindestens einen berechneten systematischen Tiefenfehlers umfassen.
  • Das Verfahren kann ferner ein Generieren mindestens einer Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als Funktion einer simulierten Distanz, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird, umfassen.
  • Das Verfahren kann ferner ein Generieren mindestens einer Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als Funktion einer simulierten Tiefe, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird, umfassen.
  • Das Verfahren kann ferner ein Generieren mindestens einer Sensoransprechfunktion auf der Basis der mehreren Messsignale umfassen, sodass eine Sensoransprechfunktion für jedes Pixel des mindestens einen Pixels generiert wird.
  • Das Verfahren kann ferner ein Vergleichen jeder der mindestens einen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion; ein Berechnen eines systematischen Tiefenmessungsfehlers für jedes Pixel des mindestens einen Pixels auf der Basis jedes Ergebnisses des Vergleichs; und ein Kalibrieren jedes Pixels des mindestens einen Pixels auf der Basis jedes berechneten systematischen Tiefenfehlers umfassen.
  • Das Verfahren kann ferner ein Generieren einer durchschnittlichen Sensoransprechfunktion aus der mindestens einen Sensoransprechfunktion; und ein Kalibrieren des mindestens einen Pixels auf der Basis der durchschnittlichen Sensoransprechfunktion umfassen.
  • Das Verfahren kann ferner ein Vergleichen der durchschnittlichen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion; ein Berechnen eines systematischen Tiefenmessungsfehlers auf der Basis eines Ergebnisses des Vergleichs; und ein Kalibrieren des mindestens einen Pixels auf der Basis des berechneten systematischen Tiefenfehlers umfassen.
  • Das Verfahren kann ferner ein Berechnen eines globalen Korrekturwerts, der vom berechneten systematischen Tiefenmessungsfehler abgeleitet ist; und ein Kalibrieren des mindestens einen Pixels auf der Basis des globalen Korrekturwerts umfassen.
  • 2A zeigt ein beispielhaftes Zeitdiagramm eines modulierten Sensorkerns und von Beleuchtungssignalen mit einer Frequenzdifferenz von 0,1 Hz über 10 Sekunden. Das Zeitdiagramm zeigt eine Entwicklung der Phasenverschiebung zwischen dem Sensorkernsignal und dem Beleuchtungskern, sodass die Signale bei 0 Sekunden vollständig phasengleich sind (z. B. 0°), bei 5 Sekunden um 180° vollständig außer Phase sind und bei 10 Sekunden wieder phasengleich sind (z. B. 360°). Somit kann ein lineares Überstreichen des vollständigen Messbereichs durch den Sensorkern 13 innerhalb von 10 Sekunden ausgeführt werden.
  • 2B zeigt ein beispielhaftes Zeitdiagramm einer linearen Zunahme der Phasendifferenz zwischen dem modulierten Sensorkern und den Beleuchtungssignalen mit einer Frequenzdifferenz von 0,1 Hz über 10 Sekunden. Insbesondere zeigt 2B Abtastpunkte für alle 10° Phasendifferenzstufen unter Verwendung einer Frequenzdifferenz von 10% der Nennfrequenz.
  • Ein Start beider Modulationssignale (d. h. der Sensorkernsignale und des Beleuchtungssignals) kann so gewählt werden, dass er synchron erfolgt, auch wenn das nicht unbedingt erforderlich ist, und eine Frame-Rate (d. h. eine Zeit zwischen 3DI Bild-Frame-Aufnahmen) kann beliebig programmiert werden. Falls die Modulationssignale anfänglich nicht synchronisiert sind, kann eine zusätzliche 4-Phasentiefenmessung verwendet werden, um eine anfängliche Phasendifferenz zu erhalten, wenn die Objektdistanz bekannt ist.
  • Somit kann die vollständige Sensoransprechfunktion (d. h. eine Sensorrohsignalentwicklung über den vollen Distanz(Tiefen)-Bereich, äquivalent dem vollständigen Bereich einer Phasendifferenz zwischen dem reflektierten modulierten Licht und dem Sensormodulationssignal) pro Pixel auf einfache und automatisierte Weise erreicht werden. Zum Beispiel kann mit Hilfe der obengenannten Kalibrierungsprozedur der Sensorkern 13 (z. B. die Pixel der Pixelmatrix 14) unter Verwendung von Tiefeninformationen kalibriert werden, indem Messungen eines Referenzobjekts (z. B. eine flache Wand oder eine ebene Fläche) in einer „Point-and-Shoot“(Anvisieren und Abdrücken)-Prozedur mit Hilfe der Tiefenkamera 10 vorgenommen werden. Die Frequenzdifferenz kann ein vorgegebener Wert sein, der für die Kalibrierungsprozedur eingestellt wird. Eine Distanz des Referenzobjekts kann vorgegeben sein oder kann von einem Benutzer eingegeben werden, sodass die bekannte Distanz zum Kalibrieren der Pixel der Pixelmatrix 14 verwendet werden kann. Die Frequenzdifferenz kann auch von einem Benutzer eingestellt werden, solange die Frequenzdifferenz dem Kalibrierungssystem bekannt ist, wenn Kalibrierungsmessungen und Berechnungen vorgenommen werden.
  • Eine Tiefenkalibrierung kann dann für jede verwendete Modulationsfrequenz erreicht werden, indem die aktive modulierte Beleuchtung und das Sichtfeld des Sensors auf eine flache Oberfläche (z. B. eine weiße Wand) gerichtet wird und die Tiefendistanz in der oben beschriebenen Weise über den vollständigen Bereich einer Phasendifferenz 0-360° (oder sogar mehr) simuliert wird. Somit kann der vollständige Tiefenbereich des Sensors durch die Kalibrierungsprozedur abgedeckt sein. Diese Kalibrierung kann dann für alle Pixel auf dem Sensorkern 13 parallel erfolgen, wodurch eine vollständige Tiefenkalibrierung der Sensoranordnung möglich ist. Ebenso können zusätzliche vordefinierte Phasenstufen, die durch eine Phasenverschiebungseinheit eingeführt werden, in die oben beschriebene Kalibrierungsprozedur integriert werden (z. B. Erhalten von Sensoransprechfunktionen für jede zusätzliche vordefinierte Phasenstufe), könnten aber nicht notwendig sein. Als Distanz des Referenzobjekts kann jede beliebige Distanz gewählt werden, solange die Distanz vor Durchführung der Tiefendistanzsimulation zur Kalibrierung bekannt ist. Basierend auf den erlangten Sensorsignalen und berechneten Phasenverschiebungsinformationen können Tiefeninformationen berechnet und mit den bekannten Distanzinformationen verglichen werden. Basierend auf dem Distanzvergleich können die Pixel kalibriert werden. Daher sind kleine Kalibrierungsaufbauten mit viel präziseren Kalibrierungsergebnissen möglich.
  • Die Prozedur kann auch ermöglichen, dass der Sensorkern 13 jederzeit vor Ort rekalibriert wird. Zum Beispiel kann eine Rekalibrierungsprozedur durch eine Benutzereingabe (z. B. Drücken eines Knopfs) und Ausrichten der 3DI-Kamera auf ein Referenzobjekt (z. B. eine ebene Oberfläche bei bekannter Distanz) eingeleitet werden. Beim Einleiten der Kalibrierungsprozedur kann eine Frequenzdifferenz zwischen den modulierten Signalen automatisch erfolgen, um die vollständige Sensoransprechfunktion der ToF-Kamera für alle verwendeten Modulationsfrequenzwerte zu erlangen, wodurch die Bestimmung systematischer Tiefenmessungsfehler und somit tiefenabhängiger Korrekturwerte möglich wird. Die systematischen Tiefenmessungsfehler können durch Vergleichen der erzielten Sensoransprechfunktion mit einer idealen oder erwarteten Sensoransprechfunktion (z. B. einer rein sinusförmigen Funktion für den 4-Punkt- Tiefenmessungsalgorithmus oder einen anderen Mehrfachpunkt-Tiefenmessungsalgorithmus) bestimmt werden. Alternativ können die systematischen Tiefenmessungsfehler durch Vergleichen von Tiefenmessungen aus der erhaltenen Sensoransprechfunktion mit der berechneten, aber äußerst exakt angegebenen, simulierten Objektdistanz (Tiefe) aus der 2-Frequenzmethode bestimmt werden (entweder aus Sensoransprechfunktionen für alle vordefinierten zusätzlichen Phasenstufen, die für die Tiefenberechnung notwendig sind, oder durch Verwendung aller verfügbaren Phasendifferenzen aus der vollständigen Sensoransprechfunktion, die derart abgetastet werden könnten, dass auch die vordefinierten zusätzlichen Phasenstufen erhalten werden). Auf der Basis der erhaltenen systematischen Tiefenmessungsfehlerbeiträge kann die Tiefenmessung pro Pixel kalibriert und dann für jede 3DI-Tiefenmessung korrigiert werden.
  • Oben beschriebene Ausführungsformen sind in der Folge ausführlicher beschrieben. Der Modulator 12 kann zwei Phasenregelschleifen (PLLs) und einen Phasenverschieber enthalten, der auf einem oder mehreren Chips des Bildsensors 11 integriert ist. Eine erste PLL ist konfiguriert, Modulationssignale über einen ersten Modulationspfad für den Sensorkern 13 bereitzustellen, und eine zweite PLL ist konfiguriert, Modulationssignale über einen zweiten Modulationspfad dem Beleuchtungstreiber 17 zur Modulation des Beleuchtungsausgangs der Beleuchtungsquelle 18 bereitzustellen. Zur Tiefenkalibrierung können die PLLs so programmiert sein, dass sie sich geringfügig in der Frequenz unterscheiden (z. B. eine Differenz von 0,1-100 Hz für eine Modulationsnennfrequenz von 80 MHz). Sowohl die erste wie auch die zweite PLL sind von derselben Systemtaktfrequenz abgeleitet, was bedeutet, dass sie synchron sind und selbst geringste Frequenzdifferenzen konstant halten können. Es ist klar, dass, während die Verwendung von zwei PLLs beschrieben ist, andere äquivalente Strukturen ebenso möglich sind. Zum Beispiel können Strukturen mit einer kombinierten PLL- oder Modulatorstruktur implementiert werden, wobei die zwei verschiedenen Frequenzen erhalten werden können.
  • Im Normalbetrieb (d. h. einem Nicht-Kalibrierungsvorgang) des 3DI-Sensorsystems 100, in dem die vollständigen 3D-Informationen aus einer abgebildeten Umgebung erlangt werden, kann eine erste der zwei PLLs zum Generieren beider Modulationssignale bei derselben Frequenz verwendet werden, während die zweite der zwei PLLs zum Generieren des CSI-2-Takts zur Datenübertragung an die Host-Steuerung 2 verwendet werden kann. Zur Durchführung der Tiefenkalibrierung kann jedoch die PLL, die zum Generieren des CSI-2-Takts verwendet wird, durch einzigartige Registereinstellungen im Sensor 11 konfiguriert sein, eines von dem Sensorkern oder dem Beleuchtungssignal zu modulieren, während die andere PLL das andere von dem Sensorkern oder dem Beleuchtungssignal moduliert. In anderen Implementierungen können Funktionsblöcke so konfiguriert sein, dass die PLL, die zum Generieren des CSI-2-Takts verwendet wird, zum Modulieren von einem von dem Sensorkern oder dem Beleuchtungssignal konfiguriert ist. Somit können die zwei PLLs während einer Tiefenkalibrierung zur Einstellung der Frequenzen der Modulationssignale in den Modulationspfaden mit einer Frequenzdifferenz verwendet werden. Es ist klar, dass andere Implementierungen (z. B. unabhängig von der CSI-2 PLL) mit zwei oder mehr PLLs oder einer einzigen PLL mit einer kombinierten PLL-Struktur ausgeführt werden können, solange eine Frequenzdifferenz in den Modulationspfaden erreicht wird.
  • Zusätzlich kann der Phasenverschieber zur Tiefenkalibrierung bereitgestellt sein und kann im Sensorkernmodulationspfad oder im Beleuchtungssignalmodulationspfad (d. h. im ersten Modulationspfad oder zweiten Modulationspfad) zum Einführen beliebiger Phasenstufen enthalten sein, die im Wesentlichen innerhalb des vollen Winkels von 360° (z. B. 0°/90°/180°/270°) gleichmäßig verteilt sind. Bei Verwendung der beliebigen Phasenstufen wird eine Abfolge von Rohbildern erhalten, von welchen jedes Distanzinformationen enthält. Aufgrund eines unbekannten Versatzes und einer Verstärkung in den Pixelrohsignalen infolge einer unbekannten reflektierten Lichtstärke und Phase (d. h. unbekanntes Zielreflexionsvermögen und unbekannte Distanz) werden mindestens drei unabhängige Messungen zur Schätzung der Phasendifferenz zwischen der Sensorpixelmodulation und dem zurückkehrenden Licht verwendet. Die Phasendifferenz hat einen systematischen Versatz für alle Pixel (d. h. Fixed Pattern Phase Noise (FPPN, feste periodische Störung) pro Pixel) wegen systematischer Zeitverzögerungen im Beleuchtungssignal und den Modulationssignalen pro Pixel und kann direkt als Distanz (Tiefe) für den eindeutigen Phasen-/Distanzbereich berechnet werden, da die Modulationsfrequenz und die Lichtgeschwindigkeit bekannt sind.
  • Die zwei PLLs können synchron gestartet werden, wenn dies auch, wie zuvor beschrieben, nicht unbedingt notwendig ist, sodass das modulierte Beleuchtungssignal und das modulierte Sensorsignal bei einer anfänglichen Phasendifferenz von 0° beginnen. Nach Initialisierung nimmt die Phasendifferenz zwischen den modulierten Signalen bei einer konstant zunehmenden Phasendifferenz zu, wobei eine lineare Phasenverschiebung eingeführt wird, die mit der Zeit linear zunimmt. Im Prinzip können Phasendifferenzen von mehr als 360° verwendet werden (Phasenambiguität). Durch Programmierung einer bestimmten Frame-Rate, Integrationszeit und von Wartezeiten können beliebige aber präzise und allgemein bekannte Phasendifferenzen für ein beliebiges Abtasten der Sensoransprechfunktion der Kameravorrichtung gewählt werden, wie zur Kalibrierung erforderlich. Dies kann zu präzisen Kalibrierungsergebnissen führen.
  • Die Kalibrierung kann dann an einem Referenzobjekt (z. B. einer einfachen flachen Oberfläche) bei einer bekannten Distanz zum Sensor 11 (z. B. 0,2 m oder 0,5 m) durchgeführt werden, die durch beliebig gewählte Phasendifferenzen mit möglicherweise konstanten Phasenstufen zwischen verschiedenen Messabtastungen läuft. Das heißt, es kann erwartet werden, dass die Zunahme in der Phasenverschiebung zwischen regelmäßig vorgenommenen Abtastungen konstant ist. Somit können Kalibrierungsdaten durch die Host-Steuerung 2 auf der Basis der erwarteten hohen Exaktheit der eingeführten künstlichen Phasendifferenz und somit der Objektdistanz(Tiefen)-Stufen generiert werden.
  • Eine Frame-Rate kann auch beliebig sein (d. h. zeitlich nicht konstant), solange die Zeitdifferenz zwischen jeder Bildaufnahme, die die simulierte Phasen- oder Distanzdifferenz ist, bekannt ist.
  • Somit kann die Kalibrierungsprozedur den Kalibrierungsaufwand für Time-of-Flight-Kameras beim Kunden oder vor Ort verringern, was zu geringeren Systemkosten führt. Durch Verwendung des vorgeschlagenen Zwei-Frequenzkalibrierungsverfahrens mit einem einfachen geometrischen Aufbau kann eine vollständige Sensoranordnungskalibrierung aller Pixel parallel in einem einzigen Kalibrierungsschritt erreicht werden. Ferner kann die Kalibrierungsprozedur durch ein automatisiertes Unterprogramm durchgeführt werden (z. B. zur Bildaufnahme und Berechnung von Kalibrierungsdaten). Somit kann eine einfache Tiefenkalibrierung unter Verwendung einer konstant zunehmenden Phasendifferenz erzielt werden, die für eine konstant zunehmende simulierte Tiefe sorgt, indem eine Frequenzverschiebung zwischen einem Sensormodulationssignal und Beleuchtungsmodulationssignal eingeführt wird. Der präzise und einfache Aufbau kann in Sensor- oder Kameraherstellungsprozessen oder vor Ort vom Endbenutzer verwendet werden.
  • 3 veranschaulicht einen 3D-Bildsensor 300 gemäß einer oder mehreren Ausführungsformen. Der 3D-Bildsensor 300 enthält einen Sensorchip 31, eine Beleuchtungseinheit 32 und eine Abbildungsoptik 33 (z. B. eine Linse). Die Beleuchtungseinheit 32 kann eine LED, VCSEL oder eine andere geeignete Lichtquelle sein, die zum Ausstrahlen eines modulierten Beleuchtungssignals (z. B. modulierten IR-Licht- oder Lichtsignals) konfiguriert ist. Die Beleuchtungseinheit 32 kann konfiguriert sein, das modulierte IR-Licht auf eine Referenzfläche 4 auszustrahlen, und die Linse 19 kann konfiguriert sein, reflektiertes moduliertes IR-Licht zu empfangen, das von der Referenzfläche 4 reflektiert wird.
  • Der Sensorchip 31 enthält eine Phasenverschieber- und PLL-Schaltung 34, die elektrisch mit einem Beleuchtungstreiber 35 und einem Modulationstreiber 36 verbunden ist. Die Phasenverschieber- und PLL-Schaltung 34 kann einen Phasenverschieber und zwei PLLs enthalten, die einen gemeinsamen Systemtakt haben. Alternativ können Strukturen mit einer kombinierten PLL-Struktur implementiert werden, wo die zwei verschiedenen Frequenzen erhalten werden können.
  • Die Funktion der Phasenverschieber- und PLL-Schaltung 34 ist ähnlich der Funktion des oben beschriebenen Modulators 12. Zum Beispiel kann der Phasenverschieber konfiguriert sein, einen Phasenversatz zwischen der Sensorkernmodulation und dem Beleuchtungssignal durch Einführen einer Phasenverschiebung in einem der Modulationspfade (d. h. entweder im Sensorkernmodulationspfad oder im Beleuchtungssignalmodulationspfad) zu steuern. Folglich kann der Phasenverschieber eine Phasenverschiebung oder einen Phasenversatz der modulierten Signale steuern, wie für einen zuvor beschriebenen Tiefenmessungsalgorithmus erforderlich. Zusätzlich kann eine erste PLL konfiguriert sein, ein Modulationssignal fIllu durch den Beleuchtungstreiber 35 zu steuern und eine zweite PLL kann konfiguriert sein, ein Modulationssignal fmod durch den Modulationstreiber 36 zu steuern. Der Phasenverschieber führt beliebige, aber gut definierte Phasendifferenzen oder -stufen, z. B. 0°/90°/180°/270°, für aufeinanderfolgende Bildaufnahmen ein, die für die Tiefenschätzung verwendet werden. Im Prinzip werden mindestens drei Bildaufnahmen mit unterschiedlichen geeigneten Phasenstufen für Tiefenmessungen verwendet und insbesondere werden vier oder mehr Bildaufnahmen verwendet.
  • Während der Tiefenkalibrierung kann der Beleuchtungstreiber 35 konfiguriert sein, ein erstes Steuersignal von der ersten PLL zu empfangen, das möglicherweise durch den Phasenverschieber phasenverschoben ist, und das Modulationssignal fIllu über die Kontaktstelle 37 gemäß dem ersten Steuersignal an die Beleuchtungseinheit 32 auszugeben. Die Kontaktstelle 37 kann zum Beispiel eine einseitige (SE) oder differentielle Kontaktstelle sein, die den Beleuchtungstreiber 35 mit der Beleuchtungseinheit 32 elektrisch verbindet.
  • Während der Tiefenkalibrierung kann der Modulationstreiber 36 konfiguriert sein, ein zweites Steuersignal von der zweiten PLL zu empfangen, das möglicherweise durch den Phasenverschieber phasenverschoben ist, und das Modulationssignal fmod an eine Pixelanordnung 38 eines Sensorkern 39 gemäß dem zweiten Steuersignal auszugeben.
  • Die Pixelanordnung 38 kann eine 224x172 Pixelanordnung sein, ist aber nicht darauf beschränkt. Die Pixelanordnung 38 kann konfiguriert sein, das reflektierte IR-Signal von der Abbildungsoptik 33 zu empfangen und das reflektierte IR-Signal unter Verwendung des Modulationssignals fmod zu demodulieren, sodass eine Phasenverschiebung zwischen dem modulierten (reflektierten) Beleuchtungssignal und der modulierten Pixelanordnung 38 (z. B. Signal fmod) detektiert und gemessen werden kann. Insbesondere kann die Pixelanordnung 38 konfiguriert sein, das reflektierte Licht direkt zu demodulieren.
  • Nach dem Demodulieren des reflektierten Lichts kann der Sensorkern 39 Phasenverschiebungsinformationen zwischen dem modulierten Sensorkernsignal und dem modulierten (reflektierten) Beleuchtungssignal empfangen, die entweder von einer Host-Steuerung (nicht dargestellt) oder vom Sensorkern 39 zur Kalibrierung verwendet werden. Zum Beispiel kann die Kalibrierung bei einer Host-Steuerung (siehe z. B. 1) durch Integration der aufgenommenen Bilder erfolgen, die durch einen digitalen Schnittstellenbus (z. B. CSI-2) zur Host-Steuerung gesendet wurden. Für stärker integrierte Kameras kann der Sensorchip 31 konfiguriert sein, die Kalibrierungsschritte durchzuführen. In diesem Fall können eine separate Steuerung und ein Speicher im Inneren des Sensorchips 31 enthalten sein, um die Kalibrierung durchzuführen. Zum Beispiel kann die in 1 dargestellte Host-Steuerung 2 auf dem Sensorchip 31 integriert sein. Es ist klar, dass die Host-Steuerung (z. B. Host-Steuerung 2 in 1) oder der Sensorchip 31 mit einer integrierten Steuerung, abhängig von der Implementierung, allgemein als eine „Kalibrierungseinheit“ oder eine „Kalibrierungssteuerung“ bezeichnet werden können, wenn auf die Durchführung der hier beschriebenen Kalibrierungsvorgänge Bezug genommen wird.
  • In Bezug auf die Kalibrierung, ist die Phasendifferenz zwischen dem modulierten Sensorkernsignal (z. B. Signal fmod) und dem reflektierten modulierten Beleuchtungssignal umso größer, je größer die Distanz der Referenzfläche 4 vom 3D-Bildsensor 300 ist (d. h. je länger die Time-of-Flight ist). Da die zusätzliche Phasendifferenz zwischen dem Beleuchtungssignal und der Sensorkernmodulation im Laufe der Zeit linear zunimmt (d. h. für eine Distanz repräsentativ ist), kann die gemessene Sensoransprechfunktion (d. h. die Sensoransprechwerte, die über den vollen eindeutigen Phasendifferenzbereich oder den verbundenen Tiefenmessbereich gemessen werden) mit einer erwarteten idealen Sensoransprechfunktion verglichen werden (z. B. einer rein sinusförmigen Funktion über Phasendifferenz oder Distanz), wobei eine vorgegebene Phasendifferenz oder ein Tiefenversatz von der gegebenen Distanz zur Objektreferenzfläche berücksichtigt wird, wobei die gegebene Distanz durch Benutzereingabe bereitgestellt wird.
  • Die Ergebnisse des Vergleichs (z. B. eine Vergleichsdifferenz) können dann von der Kalibrierungseinheit zur Durchführung einer Tiefenkalibrierung und Korrektur an der Pixelanordnung 38 auf der Basis von berechneten tiefenabhängigen Korrekturwerten verwendet werden, die aus allen aufgenommenen Kalibrierungssensorbildern berechnet werden, die eine vollständige Sensoransprechfunktion darstellen. Eine Korrektur pro Pixel auf der Basis einer pixelweisen Bestimmung der systematischen Fehler und daraus führen pixelweise Korrekturwerte zu einer verbesserten Leistung und Exaktheit bei den Tiefenmessungen. Es ist daher klar, dass eine Korrektur auf einer Basis von Pixel zu Pixel möglich ist, die die höchste Exaktheit bietet, aber auch die höchste Menge an Korrekturdaten und Rechenleistung erfordert. Während der Produktionskalibrierung des 3D-Bildsensors 300, kann eine auf Pixel beruhende Kalibrierung auch zur Verifizierung einer vollen Funktionalität der Kamera auf einer Basis pro Pixel mit einer Tiefenmessung im vollen Bereich verwendet werden. Alternativ kann in einem oder mehreren Beispielen eine einzige allgemeine globale Tiefenmessungsfehlerkorrektur parallel für alle Pixel durch globale tiefenabhängige Korrekturwerte unter der Annahme, dass sich alle Pixel ähnlich verhalten, durchgeführt werden. Zum Beispiel kann eine tiefenabhängige globale Korrekturfunktion, die durch Durchschnittsberechnung des systematischen Fehlers für jeden Tiefenwert über die volle Pixelanordnung, für jede simulierte Distanz erhalten wird, zur Berechnung der Tiefenkorrekturwerte für jeden gemessenen Tiefenwert verwendet werden.
  • Zusätzlich kann die Kalibrierungseinheit konfiguriert sein, die Frequenzdifferenz (d. h. die Frequenzdifferenz, die zum Programmieren der PLLs verwendet wird) und die erwartete Distanz der Referenzfläche 4 vom 3D-Bildsensor 300 durch Benutzereingabe zu empfangen, um die Berechnung der tiefenabhängigen Korrekturwerte zur Kompensation des bestehenden systematischen Tiefenmessungsfehlers auszuführen, und kann einen oder mehrere Prozessoren zur Durchführung der Berechnungen enthalten.
  • Der Sensorkern 39 kann ferner konfiguriert sein, einen Vierpunkt-Tiefenmessungsalgorithmus zu implementieren, sodass vier Phasenmessungen mit vier bekannten Phasenverschiebungen durchgeführt werden (z. B. durch die Phasenverschieber- und PLL-Schaltung 34 voneinander um 90° verschoben, gesteuert durch eine Ablaufsteuerung), die dem Sensorkern 39 ermöglichen, die Tiefe über den vollständigen eindeutigen Messbereich des Sensors für die gegebene Modulationsfrequenz zu schätzen.
  • Der Sensorkern 39 kann auch zur Verwendung von zwei (oder mehr) Vierpunkt-Tiefenmessungen bei verschiedenen Modulationsfrequenzen (z. B. 60 MHz und 80 MHz) konfiguriert sein, um den Eindeutigkeitsbereich der ToF-Kamera zu erweitern. In diesem Fall ist der Eindeutigkeitsbereich durch die Inverse der Frequenzdifferenz zwischen den zwei verschiedenen Modulationsfrequenzen gegeben. Hier werden 4-Punkt-Tiefenmessungen für jede einzelne Modulationsfrequenz durchgeführt und die Ergebnisse jeder Messung werden kombiniert, um eine Distanz in einem erweiterten Messbereich zu berechnen.
  • Der Sensorkern 39 kann mit einer Integrationszeit (d. h. der Öffnung der Sensorpixel) des reflektierten Lichtsignals konfiguriert sein, die im Bereich von 0,1-10 ms liegt, ist aber nicht auf diesen Bereich beschränkt. Der Sensorkern 39 kann mit einer Abtastzeit (d. h. einer Zeit zwischen verschiedenen Messabtastungen) konfiguriert sein, um Abtastungen des reflektierten Lichtsignals bei einer konstanten (alle 0,1 Sekunden oder alle 1,0 Sekunden) oder beliebigen Frame-Rate (d. h. Zeitintervalle) vorzunehmen, um eine linear zunehmende zusätzliche Phasendifferenz für jedes Pixel aufgrund der eingeführten Frequenzdifferenz zwischen dem Beleuchtungssignal und der Sensorkernmodulation einzurichten. Die eingeführte Frequenzdifferenz führt zu einer künstlichen Distanzentwicklung, die aus den Sensorablesungen (d. h. Messsignalen) geschätzt und als Sensoransprechfunktion bereitgestellt wird. Gemäß der Zeitdifferenz zwischen den einzelnen Bildabtastungen ist eine erwartete (linear zunehmende) Phasendifferenz, d. h. künstliche Tiefe, auf der Basis der bekannten Frequenzdifferenz bekannt und kann mit einer Tiefenmessung verglichen werden, die aus der Sensoransprechfunktion berechnet wird, die durch die Pixelablesungen der Pixelanordnung 38 erhalten wird. Somit ist die Zeitdifferenz zwischen einzelnen Bildaufnahmen auf die Phasendifferenz (oder Tiefendifferenz) der Abtastpunkte der erhaltenen Sensoransprechfunktion zur Verwendung im Kalibrierungsprozess codiert.
  • Gemäß den Abtastungen kann eine systematische Tiefenmessungsfehlerkomponente (z. B. ein Wackelfehler) für jedes Pixel auf der Basis der erwarteten idealen Sensoransprechfunktion und der (linear beabstandeten) Abtastpunkte der erlangten Sensoransprechfunktion berechnet werden. Somit werden die Ergebnisse des Vergleichs (z. B. eine Vergleichsdifferenz) zur Berechnung von Korrekturwerten für jedes Pixel oder für die vollständige Pixelanordnung 38 verwendet und eliminieren den systematischen Tiefenfehler.
  • Zusätzlich können die obengenannten Techniken zum Durchführen erster und zweiter Kalibrierungsschritte verwendet werden. Zum Beispiel kann der erste Kalibrierungsschritt eine Bestimmung von Fixed Pattern Phase Noise (FPPN) sein und kann eine Bestimmung möglicher systematischer Phasendifferenzen (Zeitverzögerungen) zwischen einzelnen Pixeln in der Pixelanordnung 38 enthalten, zusätzlich zu der durchschnittlichen Verzögerung (d. h. Distanzversatz) aufgrund verschiedener Modulationssignalverzögerungen für das Beleuchtungssignal und das Sensorkernmodulationssignal, zum Beispiel innerhalb der Pixelanordnung 38. Die Bestimmung von FPPN kann zum Beispiel durch Durchführen einer 4-Phasentiefenmessung auf einer flachen Oberfläche bei einer bekannten Distanz unter Verwendung der Kamerakalibrierung erfolgen und muss auch ein erster Schritt in der vorgeschlagenen Tiefenkalibrierungsprozedur sein - jedoch unter Verwendung desselben Kalibrierungsaufbaus. In diesem Fall kann die 4-Phasentiefenmessung nach dem Tiefenkalibrierungsprozess durch die erhaltenen Korrekturfaktoren korrigiert werden. Der zweite Kalibrierungsschritt kann eine Distanzkalibrierung zum Bestimmen von Korrekturparametern sein, um eine Kompensation systematischer Distanzmessfehler zu erlauben, wie eine oben beschriebene Tiefenkalibrierung.
  • Zusätzlich kann die FPPN auch aus den während des Zwei-Frequenzkalibrierungsschritts erlangten Sensoransprechfunktionen erhalten werden, falls die Sensoransprechfunktionen auf der Basis der bekannten (durch Benutzereingabe) Distanz der Objektreferenzebene, die zur Kalibrierung verwendet wird, evaluiert werden, um den bestehenden Phasenversatz auf einer Basis pro Pixel zu bestimmen.
  • Zusätzlich kann das anfängliche Phasenverhältnis der zwei Modulationssignale fIllu und fmod durch den FPPN-Kalibrierungsschritt mit einer Mehrphasen-Tiefenmessung auf einer ebenen Oberfläche (z. B. einer 4-Phasen-Tiefenschätzungssequenz) bestimmt werden.
  • 4 veranschaulicht ein Flussdiagramm eines Kalibrierungsvorgangs 400 gemäß einer oder mehreren Ausführungsformen. Insbesondere betrifft der Kalibrierungsvorgang 400 ein Kalibrieren einer Pixelanordnung eines Bildsensors und kann zur Entfernung systematischer Tiefenmessungsfehler (z. B. Wackelfehler) aus den Pixeln verwendet werden. Während das Flussdiagramm eine Reihe aufeinanderfolgender Vorgänge zeigt, sollte, falls nicht ausdrücklich angegeben, aus dieser Abfolge kein Schluss bezüglich einer speziellen Reihenfolge einer Durchführung, einer seriellen und nicht gleichzeitigen oder überlappenden Durchführung von Vorgängen oder Teilen davon oder einer Durchführung von Vorgängen, die ausschließlich ohne dazwischen auftretende oder liegende Vorgänge dargestellt sind, gezogen werden. Der Prozess, der in dem Beispiel dargestellt ist, wird zum Beispiel mit einem oder mehreren oben beschriebenen Time-of-Flight Sensorsystemen implementiert.
  • Der Kalibrierungsvorgang 400 enthält ein Ausrichten der ToF-Kamera aus einer Kalibrierungsebene oder Referenzebene (Vorgang 405), wobei die Kalibrierungsebene vorzugsweise eine gleichförmige, homogene, hoch reflektierende, ebene Oberfläche bei einer bekannten Distanz ist, die orthogonal zur Sichtlinie der ToF-Kamera orientiert ist; Einrichten des Sensors, einschließlich Einrichten der Modulations-PLLs mit einem bekannten Frequenzversatz Δf (Vorgang 410) und Einrichten einer Bildaufnahmeabfolge bei einer konstanten Frame-Rate (Vorgang 415); Starten der Modulation bei einem Sensorkern und bei einem Beleuchtungsausgang (Vorgang 420); Starten der Beleuchtung und Bildaufnahme (Vorgang 425); Aufnehmen von Bildern bei einer konstanten Frame-Rate für mindestens eine Zeit, die durch 1/Δf bereitgestellt ist (Vorgang 430); Ändern (z. B. Erhöhen) einer Phasendifferenz zwischen dem Sensorkern und dem Lichtsignal um eine bekannte Phasendifferenzstufe für jede folgende Bildaufnahme (Vorgang 435), wobei die bekannte Phasendifferenz einen simulierten Distanzwert darstellt; Erlangen von Abtastungen der vollständigen Sensoransprechfunktion der Kamera und Berechnen von Korrekturwerten zur systematischen Fehlerkompensation für jeden simulierten Distanzwert (Vorgang 440).
  • Das Berechnen der Korrekturwerte kann zum Beispiel ein Berechnen eines Fehlers in der gemessenen Sensoransprechfunktion (oder in den Phasendifferenzmessungen pro Pixel von der erwarteten Phasendifferenz für jede Bildabtastungsaufnahme) enthalten, um den systematischen Tiefenmessungsfehler auf der Basis eines Ergebnisses des Vergleichs zu berechnen.
  • Die FPPN-Kalibrierung kann innerhalb des beschriebenen Kalibrierungsprozesses durch Auswerten des Phasenversatzes der einzelnen Sensoransprechfunktionen pro Pixel erfolgen, wobei Informationen über die Kalibrierungsebenendistanz integriert werden.
  • Zusätzlich kann vor der Tiefenkalibrierung auch eine FPPN-Kalibrierung mit gleichen Vorgängen wie in 4 beschrieben durchgeführt werden, einschließlich eines Einrichtens des Sensors mit PLL-Frequenzen, Phasenverschiebereinstellungen, da diese FPPN-Bestimmung einen 4-Punkt-Tiefenmessungsprozess verwendet, und Frame-Rate, Starten der Beleuchtung und einer Bildaufnahmeabfolge, Berechnen von FPPN-Korrekturwerten aus den anschließend erlangten Sensorablesungen und Speichern von Kalibrierungswerten für jedes Pixel, oder falls anwendbar, für die vollständige Pixelanordnung. Ein Speichern kann im Speicher am Sensor, an der Kamera oder der Host-Steuerung erfolgen.
  • Obwohl einige Aspekte im Zusammenhang mit einem Apparat beschrieben wurden, ist klar, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, wobei ein Block oder eine Vorrichtung einem Verfahrensschritt oder einem Merkmal eines Verfahrensschritts entspricht. Analog stellen Aspekte, die im Zusammenhang mit einem Verfahrensschritt beschrieben sind, auch eine Beschreibung eines entsprechenden Blocks oder Elements oder Merkmals eines entsprechenden Apparats dar. Einige oder alle der Verfahrensschritte können durch einen (oder mit einem) Hardware-Apparat durchgeführt werden, wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung. In einigen Ausführungsformen können einer oder mehrere der Verfahrensschritte durch einen solchen Apparat ausgeführt werden.
  • Abhängig von gewissen Implementierungsanforderungen können hier bereitgestellte Ausführungsformen in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums durchgeführt werden, zum Beispiel einer Diskette, einer DVD, einer Blue-Ray, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem zusammenarbeiten (oder zusammenarbeiten können), sodass das jeweilige Verfahren durchgeführt wird. Daher kann das digitale Speichermedium computerlesbar sein.
  • Anweisungen können von einem oder mehreren Prozessoren, wie einer oder mehreren zentralen Verarbeitungseinheiten (CPU), digitalen Signalprozessoren (DSPs), Allzweckmikroprozessoren, anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren logischen Arrays (FPGAs) oder anderen äquivalenten integrierten oder diskreten logischen Schaltkreisen ausgeführt werden. Daher bezieht sich der Begriff „Prozessor,“ wie hier verwendet, auf jede vorangehende Struktur oder jede andere Struktur, die zur Implementierung der hier beschriebenen Techniken geeignet ist. Zusätzlich kann in einigen Aspekten die hier beschriebene Funktionalität innerhalb zweckbestimmter Hardware- und/oder Software-Module bereitgestellt sein. Ebenso könnten die Techniken in einer oder mehreren Schaltungen oder in einem oder mehreren logischen Elementen implementiert sein.
  • Die oben beschriebenen beispielhaften Ausführungsformen dienen nur der Veranschaulichung. Es ist klar, dass Modifizierungen und Variationen der hier beschriebenen Anordnungen und der Einzelheiten für andere Fachleute auf dem Gebiet offensichtlich sind. Daher sollte nur eine Einschränkung durch den Umfang der folgenden Patentansprüche bestehen und nicht durch die speziellen Einzelheiten, die in der Beschreibung und Erklärung der vorliegenden Ausführungsformen angeführt sind.

Claims (25)

  1. Dreidimensionales Bild(3DI)-System, umfassend: - einen Modulator, der zum Generieren eines ersten Modulationssignals mit einer ersten Modulationsfrequenz und eines zweiten Modulationssignals mit einer zweiten Modulationsfrequenz eingerichtet ist, wobei die erste Frequenz und die zweite Frequenz eine vorgegebene Frequenzdifferenz aufweisen; - eine Beleuchtungsquelle, die zum Generieren eines modulierten Lichtsignals auf der Basis des ersten Modulationssignals eingerichtet ist; - einen Sensorkern, der eine Pixelanordnung aufweist, die durch das zweite Modulationssignal moduliert ist, wobei mindestens ein Pixel der Pixelanordnung eingerichtet ist, das modulierte Lichtsignal, das von einem Objekt reflektiert wird, als ein reflektiertes moduliertes Lichtsignal zu empfangen und das reflektierte modulierte Lichtsignal mit Hilfe des zweiten Modulationssignals während einer Bildaufnahme zu demodulieren, um ein Messsignal zu generieren, wobei das mindestens eine Pixel konfiguriert ist, mehrere Messsignale auf der Basis mehrerer Bildaufnahmen zu generieren, die zu verschiedenen Abtastzeitpunkten aufgenommen werden; - eine Steuerung, die zum Empfangen der mehreren Messsignale und zum Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis der mehreren Messsignale eingerichtet ist.
  2. 3DI-System nach Anspruch 1, bei dem die Steuerung eingerichtet ist - zum Berechnen mindestens eines systematischen Tiefenmessungsfehlers auf der Basis der mehreren Messsignale und - zum Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis des mindestens einen berechneten systematischen Tiefenfehlers.
  3. 3DI-System nach Anspruch 2, bei dem die Steuerung eingerichtet ist - zum Generieren einer tatsächlichen Sensoransprechfunktion auf der Basis der mehreren Messsignale und - zum Berechnen des mindestens einen systematischen Tiefenmessungsfehlers auf der Basis eines Vergleichs der tatsächlichen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion.
  4. 3DI-System nach Anspruch 3, bei dem die tatsächliche Sensoransprechfunktion Informationen enthält, die für ein Verhalten einer Phasendifferenz repräsentativ sind, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird, und die Phasendifferenz eine Phasendifferenz zwischen dem reflektierten modulierten Lichtsignal und dem zweiten Modulationssignal ist.
  5. 3DI-System nach einem der vorhergehenden Ansprüche, bei dem die Steuerung eingerichtet ist zum Generieren mindestens einer Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als eine Funktion einer Phasendifferenz, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird.
  6. 3DI-System nach Anspruch 5, bei dem die Steuerung eingerichtet ist zum Vergleichen der mindestens einen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion, zum Berechnen mindestens eines systematischen Tiefenmessungsfehlers auf der Basis mindestens eines Ergebnisses des Vergleichs und zum Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis des mindestens einen berechneten systematischen Tiefenfehlers.
  7. 3DI-System nach einem der vorhergehenden Ansprüche, bei dem die Steuerung eingerichtet ist zum Generieren mindestens einer Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als eine Funktion einer simulierten Distanz, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird.
  8. 3DI-System nach einem der vorhergehenden Ansprüche, bei dem die Steuerung eingerichtet ist zum Generieren mindestens einer Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als eine Funktion einer simulierten Tiefe, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird.
  9. 3DI-System nach einem der vorhergehenden Ansprüche, bei dem die Steuerung eingerichtet ist zum Generieren mindestens einer Sensoransprechfunktion auf der Basis der mehreren Messsignale, sodass eine Sensoransprechfunktion für jedes Pixel des mindestens einen Pixels generiert wird.
  10. 3DI-System nach Anspruch 9, bei dem die Steuerung eingerichtet ist zum Vergleichen jeder der mindestens einen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion, zum Berechnen eines systematischen Tiefenmessungsfehlers für jedes Pixel des mindestens einen Pixels auf der Basis jedes Ergebnisses des Vergleichs und zum Kalibrieren jedes Pixels des mindestens einen Pixels auf der Basis jedes berechneten systematischen Tiefenfehlers.
  11. 3DI-System nach einem der Ansprüche 9 oder 10, bei dem die Steuerung eingerichtet ist zum Generieren einer durchschnittlichen Sensoransprechfunktion aus der mindestens einen Sensoransprechfunktion und zum Kalibrieren des mindestens einen Pixels auf der Basis der durchschnittlichen Sensoransprechfunktion.
  12. 3DI-System nach Anspruch 11, bei dem die Steuerung eingerichtet ist zum Vergleichen der durchschnittlichen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion, zum Berechnen eines systematischen Tiefenmessungsfehlers auf der Basis eines Ergebnisses des Vergleichs und zum Kalibrieren des mindestens einen Pixels auf der Basis des berechneten systematischen Tiefenfehlers.
  13. 3DI-System nach Anspruch 12, bei dem die Steuerung eingerichtet ist zum Berechnen mindestens eines globalen Korrekturwerts, der von dem berechneten mindestens einen systematischen Tiefenmessungsfehler abgeleitet wird, und zum Kalibrieren des mindestens einen Pixels auf der Basis des globalen Korrekturwerts.
  14. 3DI-System nach einem der vorhergehenden Ansprüche, bei dem die vorgegebene Frequenzdifferenz eine linear zunehmende Phasendifferenz zwischen dem reflektierten modulierten Lichtsignal und dem zweiten Modulationssignal über einen Verlauf der verschiedenen Abtastzeiten einführt.
  15. 3DI-System nach einem der vorhergehenden Ansprüche, bei dem jedes der mehreren Messsignale Informationen enthält, die für eine andere Phasendifferenz zwischen dem reflektierten modulierten Lichtsignal und dem zweiten Modulationssignal bei einer entsprechenden Abtastzeit repräsentativ sind.
  16. Verfahren zum Kalibrieren mindestens eines Pixels einer Pixelanordnung eines dreidimensionalen Bild(3DI)-Moduls, wobei das Verfahren umfasst: - Generieren eines ersten Modulationssignals mit einer ersten Modulationsfrequenz und eines zweiten Modulationssignals mit einer zweiten Modulationsfrequenz, wobei die erste Frequenz und die zweite Frequenz eine vorgegebene Frequenzdifferenz aufweisen; - Generieren eines modulierten Lichtsignals auf der Basis des ersten Modulationssignals; - Modulieren der Pixelanordnung gemäß dem zweiten Modulationssignal; - Empfangen des modulierten Lichtsignals, das von einem Objekt reflektiert wird, wobei das modulierte Lichtsignal, das vom Objekt reflektiert wird, ein reflektiertes moduliertes Lichtsignal ist; - Demodulieren des reflektierten modulierten Lichtsignals mit Hilfe des zweiten Modulationssignals während einer Bildaufnahme, um ein Messsignal zu generieren; - Generieren mehrerer Messsignale auf der Basis mehrerer Bildaufnahmen, die zu verschiedenen Abtastzeitpunkten aufgenommen werden; und - Kalibrieren mindestens eines Pixels der Pixelanordnung auf der Basis der mehreren Messsignale.
  17. Verfahren nach Anspruch 16, ferner umfassend: - Berechnen mindestens eines systematischen Tiefenmessungsfehlers auf der Basis der mehreren Messsignale; und - Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis des mindestens einen berechneten systematischen Tiefenfehlers.
  18. Verfahren nach Anspruch 17, ferner umfassend: - Generieren einer tatsächlichen Sensoransprechfunktion auf der Basis der mehreren Messsignale; und - Berechnen des mindestens einen systematischen Tiefenmessungsfehlers auf der Basis eines Vergleichs der tatsächlichen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion.
  19. Verfahren nach einem der Ansprüche 16 bis 18, ferner umfassend: - Generieren mindestens einer Sensoransprechfunktion für das mindestens eine Pixel auf der Basis der mehreren Messsignale als eine Funktion einer von einer Phasendifferenz, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird, einer simulierten Distanz, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird, oder einer simulierten Tiefe, die durch die vorgegebene Frequenzdifferenz und die verschiedenen Abtastzeiten eingeführt wird.
  20. Verfahren nach Anspruch 19, ferner umfassend: - Vergleichen der mindestens einen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion; - Berechnen mindestens eines systematischen Tiefenmessungsfehlers auf der Basis mindestens eines Ergebnisses des Vergleichs; und - Kalibrieren des mindestens einen Pixels der Pixelanordnung auf der Basis des mindestens einen berechneten systematischen Tiefenfehlers.
  21. Verfahren nach einem der Ansprüche 16 bis 20, ferner umfassend: - Generieren mindestens einer Sensoransprechfunktion auf der Basis der mehreren Messsignale, sodass eine Sensoransprechfunktion für jedes Pixel des mindestens einen Pixels generiert wird.
  22. Verfahren nach Anspruch 21, ferner umfassend: - Vergleichen jeder der mindestens einen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion; - Berechnen eines systematischen Tiefenmessungsfehlers für jedes Pixel des mindestens einen Pixels auf der Basis jedes Ergebnisses des Vergleichs; und - Kalibrieren jedes Pixels des mindestens einen Pixels auf der Basis jedes berechneten systematischen Tiefenfehlers.
  23. Verfahren nach einem der Ansprüche 21 oder 22, ferner umfassend: - Generieren einer durchschnittlichen Sensoransprechfunktion aus der mindestens einen Sensoransprechfunktion; und - Kalibrieren des mindestens einen Pixels auf der Basis der durchschnittlichen Sensoransprechfunktion.
  24. Verfahren nach Anspruch 23, ferner umfassend: - Vergleichen der durchschnittlichen Sensoransprechfunktion mit einer erwarteten Sensoransprechfunktion; - Berechnen eines systematischen Tiefenmessungsfehlers auf der Basis eines Ergebnisses des Vergleichs; und - Kalibrieren des mindestens einen Pixels auf der Basis des berechneten systematischen Tiefenfehlers.
  25. Verfahren nach Anspruch 24, ferner umfassend: - Berechnen eines globalen Korrekturwerts, der von dem berechneten systematischen Tiefenmessungsfehler abgeleitet ist; und - Kalibrieren des mindestens einen Pixels auf der Basis des globalen Korrekturwerts.
DE102017124430.1A 2016-10-19 2017-10-19 3di sensor-tiefenkalibrierungskonzept mittels differenzfrequenzmethode Withdrawn DE102017124430A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/297,512 US10416296B2 (en) 2016-10-19 2016-10-19 3DI sensor depth calibration concept using difference frequency approach
US15/297,512 2016-10-19

Publications (1)

Publication Number Publication Date
DE102017124430A1 true DE102017124430A1 (de) 2018-04-19

Family

ID=61765469

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017124430.1A Withdrawn DE102017124430A1 (de) 2016-10-19 2017-10-19 3di sensor-tiefenkalibrierungskonzept mittels differenzfrequenzmethode

Country Status (2)

Country Link
US (1) US10416296B2 (de)
DE (1) DE102017124430A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111751807A (zh) * 2019-03-27 2020-10-09 先进科技新加坡有限公司 用于校准或测试成像装置的设备和方法
DE102020119135A1 (de) 2020-07-21 2022-01-27 Ibak Helmut Hunger Gmbh & Co Kg Verfahren zur Inspektion eines Kanalrohrs

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11598850B2 (en) * 2016-11-30 2023-03-07 Sony Semiconductor Solutions Corporation Apparatus and method for illumination
US10929994B2 (en) * 2016-12-07 2021-02-23 Electronics And Telecommunications Research Institute Image processing device configured to generate depth map and method of operating the same
US10284836B2 (en) * 2017-02-08 2019-05-07 Microsoft Technology Licensing, Llc Depth camera light leakage avoidance
US10935641B2 (en) * 2017-10-30 2021-03-02 Texas Instruments Incorporated Phase noise shaping in a distance measurement system
US10382736B1 (en) * 2018-02-09 2019-08-13 Infineon Technologies Ag Two frequency time-of-flight three-dimensional image sensor and method of measuring object depth
US10887578B2 (en) * 2018-08-30 2021-01-05 Veo Robotics, Inc. Depth-sensing computer vision system
EP3620821A1 (de) * 2018-09-05 2020-03-11 Infineon Technologies AG Flugzeitkamera und verfahren zum kalibrieren einer flugzeitkamera
CN111147142B (zh) * 2018-11-02 2021-02-26 光宝电子(广州)有限公司 误差校正系统及其方法
US11275176B2 (en) * 2018-11-06 2022-03-15 Infineon Technologies Ag Phase emulator for a time-of-flight (ToF) device
DE112019005749T5 (de) * 2018-11-16 2021-08-05 Ams Sensors Singapore Pte. Ltd. Tiefenabtastung mittels optischer lichtlaufzeitverfahren durch einedurchlässige abdeckung
WO2020115068A1 (en) * 2018-12-04 2020-06-11 Iee International Electronics & Engineering S.A. Method for corrected depth measurement with a time-of-flight camera using amplitude-modulated continuous light
LU101024B1 (en) * 2018-12-04 2020-06-04 Iee Sa Method for Corrected Depth Measurement with a Time-Of-Flight Camera Using Amplitude-Modulated Continuous Light
CN109903241B (zh) * 2019-01-31 2021-06-15 武汉市聚芯微电子有限责任公司 一种tof相机系统的深度图像校准方法及系统
US11965962B2 (en) * 2019-02-04 2024-04-23 Analog Devices, Inc. Resolving multi-path corruption of time-of-flight depth images
US11500100B2 (en) * 2019-04-15 2022-11-15 Microsoft Technology Licensing, Llc Time-of-flight measurements using linear inverse function
JPWO2020218283A1 (de) * 2019-04-22 2020-10-29
EP3767327A1 (de) * 2019-07-16 2021-01-20 Infineon Technologies AG Verfahren und vorrichtung zur flugzeitmessung
CN114245908A (zh) * 2019-08-07 2022-03-25 奇跃公司 用深度信息快速3d重建
CN111538024B (zh) * 2020-03-24 2022-09-16 奥比中光科技集团股份有限公司 一种滤波ToF深度测量方法及装置
KR20220081056A (ko) * 2020-12-08 2022-06-15 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
CN113298785A (zh) * 2021-05-25 2021-08-24 Oppo广东移动通信有限公司 校正方法、电子设备及计算机可读存储介质
CN115469331A (zh) * 2022-09-05 2022-12-13 奥比中光科技集团股份有限公司 Itof相机、标定方法及相关设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111751807A (zh) * 2019-03-27 2020-10-09 先进科技新加坡有限公司 用于校准或测试成像装置的设备和方法
CN111751807B (zh) * 2019-03-27 2023-05-23 先进科技新加坡有限公司 用于校准或测试成像装置的设备和方法
DE102020119135A1 (de) 2020-07-21 2022-01-27 Ibak Helmut Hunger Gmbh & Co Kg Verfahren zur Inspektion eines Kanalrohrs
DE102020119135B4 (de) 2020-07-21 2022-11-03 Ibak Helmut Hunger Gmbh & Co Kg Verfahren und Vorrichtung zur Inspektion eines Kanalrohrs

Also Published As

Publication number Publication date
US20180106891A1 (en) 2018-04-19
US10416296B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
DE102017124430A1 (de) 3di sensor-tiefenkalibrierungskonzept mittels differenzfrequenzmethode
DE102014111431B4 (de) Flugzeitvorrichtungen
DE112010003649B4 (de) Distanzmessvorrichtung, Distanzmessverfahren und Programm
US9866208B2 (en) Precision measurements and calibrations for timing generators
CN106815867B (zh) Tof相机标定与校正系统及其设备与方法
CN108028887B (zh) 一种终端的拍照对焦方法、装置及设备
US20190253688A1 (en) Two frequency time-of-flight three-dimensional image sensor and method of measuring object depth
DE69013899T2 (de) Gerät zur messung dreidimensionaler koordinaten.
Jongenelen et al. Analysis of errors in ToF range imaging with dual-frequency modulation
DE102017126378A1 (de) Verfahren zum Verarbeiten eines Rohbildes einer Time-of-Flight-Kamera, Bildverarbeitungsvorrichtung und Computerprogramm
DE112016003188B4 (de) Dreidimensionale Messvorrichtung
KR102460659B1 (ko) ToF 센서를 이용하여 깊이 영상을 획득하는 방법 및 장치
CN110879398A (zh) 飞行时间相机和用于校准飞行时间相机的方法
US20160363654A1 (en) Time-of-flight (tof) system calibration
DE102016205826A1 (de) Systeme und Verfahren für Laufzeitmessung mittels einer einzigen Belichtung
KR102256583B1 (ko) 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템
DE102005004113A1 (de) Vorrichtung, Verfahren und Programm zum Erzeugen von Bereichsbilddaten
WO2014195000A1 (de) 3d-aufnahmevorrichtung, verfahren zur erstellung eines 3d-bildes und verfahren zur einrichtung einer 3d-aufnahmevorrichtung
DE102019004728A1 (de) Abstandsmessvorrichtung, aufweisend eine Abstandskorrekturfunktion
WO2020113358A1 (en) Systems and methods for synchronizing vehicle sensors and devices
CN112365546B (zh) Tof相机标定方法、系统及标定箱体
US20180131922A1 (en) Image capture device and image capture method
US10777589B2 (en) Pixel crosstalk correction
DE102014205585B4 (de) Verfahren zum Betreiben einer Lichtlaufzeitkamera und Lichtlaufzeitkamerasystem
CN113167899B (zh) 用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee