DE102017105142A1

DE102017105142A1 - Laufzeit-Bilderzeugungsvorrichtungen und ein Verfahren zum Anpassen einer Referenzfrequenz

Info

Publication number: DE102017105142A1
Application number: DE102017105142.2A
Authority: DE
Inventors: Hannes Plank; Armin SCHOENLIEB; Norbert Druml
Original assignee: Infineon Technologies AG
Current assignee: Infineon Technologies AG
Priority date: 2017-03-10
Filing date: 2017-03-10
Publication date: 2018-09-13
Anticipated expiration: 2037-03-11
Also published as: CN108712245B; DE102017105142B4; US11067675B2; CN108712245A; US20180259628A1

Abstract

Eine Laufzeit-Bilderzeugungsvorrichtung umfasst eine Mehrzahl von Sensorpixeln, die ausgebildet sind zum Erzeugen eines externen Lichtsignals, das mit einer externen Modulationsfrequenz moduliert wird. Die Laufzeit-Bilderzeugungsvorrichtung umfasst ferner eine Pixelschaltungsanordnung, die ausgebildet ist zum Erzeugen eines Sensorpixel-Ausgangssignals basierend auf dem externen Lichtsignal und einem Referenzsignal mit einer Referenzfrequenz. Das Sensorpixel-Ausgangssignal weist eine Frequenz auf, die von einer Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz abhängt. Die Laufzeit-Bilderzeugungsvorrichtung umfasst ferner eine Synchronisierungsschaltungsanordnung, die ausgebildet ist zum Anpassen der Referenzfrequenz des Referenzsignals basierend auf dem Sensorpixel-Ausgangssignal.

Description

Technisches Gebiet
Beispiele beziehen sich auf Laufzeitsysteme und insbesondere auf Laufzeit-Bilderzeugungsvorrichtungen und auf ein Verfahren zum Anpassen einer Referenzfrequenz.
Hintergrund
Laufzeit- (TOF-; TOF = Time of Flight) Systeme können verwendet werden, um dreidimensionale (3-D-) Bilder zu erzeugen. Im Allgemeinen kann eine TOF-Bilderzeugungsvorrichtung Licht empfangen, das durch die TOF-Bilderzeugungsvorrichtung emittiert und durch ein Objekt reflektiert wird. Basierend auf dem empfangenen reflektierten Licht kann die TOF-Bilderzeugungsvorrichtung eine Tiefeninformation bezogen auf das Objekt bestimmen und/oder ein 3D-Bild des Objekts basierend auf dem empfangenen reflektierten Licht und einem internen Referenzsignals erzeugen.
Zusammenfassung
Es besteht ein Bedarf zum Bereitstellen von Laufzeit-Bilderzeugungsvorrichtungen mit Kommunikationsfähigkeiten.
Ein solcher Bedarf kann durch den Gegenstand der Ansprüche erfüllt sein.
Einige Ausführungsbeispiele beziehen sich auf eine Laufzeit-Bilderzeugungsvorrichtung. Die Laufzeit-Bilderzeugungsvorrichtung umfasst eine Mehrzahl von Sensorpixeln, die ausgebildet sind zum Empfangen eines externen Lichtsignals, das mit einer externen Modulationsfrequenz moduliert wird. Die Laufzeit-Bilderzeugungsvorrichtung umfasst ferner eine Pixelschaltungsanordnung, die ausgebildet ist zum Erzeugen eines Sensorpixel-Ausgangssignals basierend auf dem externen Lichtsignal und einem Referenzsignal mit einer Referenzfrequenz. Das Sensorpixel-Ausgangssignal weist eine Frequenz auf, die von einer Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz abhängt. Die Laufzeit-Bilderzeugungsvorrichtung umfasst ferner eine Synchronisierungsschaltungsanordnung, die ausgebildet ist zum Anpassen der Referenzfrequenz des Referenzsignals basierend auf dem Sensorpixel-Ausgangssignal.
Einige Ausführungsbeispiele beziehen sich auf eine weitere Laufzeit-Bilderzeugungsvorrichtung. Die Laufzeit-Bilderzeugungsvorrichtung umfasst zumindest ein Sensorpixel, das ausgebildet ist zum Empfangen eines modulierten Lichtsignals. Die Laufzeit-Bilderzeugungsvorrichtung umfasst ferner eine Pixelschaltungsanordnung, die ausgebildet ist zum Erzeugen eines Sensorpixel-Ausgangssignals basierend auf einer Demodulation des modulierten Lichtsignals unter Nutzung eines Referenzsignals. Die Laufzeit-Bilderzeugungsvorrichtung umfasst ferner eine Synchronisierungsschaltungsanordnung, die ausgebildet ist zum Erzeugen des Referenzsignals mit einer angepassten Referenzfrequenz basierend auf dem Sensorpixel-Ausgangssignal.
Einige Ausführungsbeispiele beziehen sich auf ein Verfahren zum Anpassen einer Referenzfrequenz. Das Verfahren umfasst ein Empfangen eines externen Lichtsignals, das mit einer externen Modulationsfrequenz moduliert wird, durch eine Mehrzahl von Sensorpixel. Das Verfahren umfasst ferner ein Erzeugen eines Sensorpixel-Ausgangssignals basierend auf dem externen Lichtsignal und einem Referenzsignal mit einer Referenzfrequenz durch eine Pixelschaltungsanordnung, wobei das Sensorpixel-Ausgangssignal eine Frequenz aufweist, die von einer Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz abhängt. Das Verfahren umfasst ferner ein Anpassen der Referenzfrequenz des Referenzsignals basierend auf dem Sensorpixel-Ausgangssignal durch die Synchronisierungsschaltungsanordnung.
Figurenliste
Nachfolgend werden einige Beispiele von Vorrichtungen und/oder Verfahren ausschließlich beispielhaft und Bezug nehmend auf die beiliegenden Figuren beschrieben, in denen

1 eine schematische Darstellung einer Laufzeit-Bilderzeugungsvorrichtung zeigt;
2 eine graphische Repräsentation eines Sensorpixel-Ausgangssignals zeigt;
3A ein Flussdiagramm der durch die TOF-Bilderzeugungsvorrichtung ausgeführten Prozesse zeigt;
3B schematische Darstellungen von zumindest einem Teil eines Synchronisierungsprozesses zeigt;
4A eine schematische Darstellung einer ersten TOF-Bilderzeugungsvorrichtung und einer zweiten TOF-Bilderzeugungsvorrichtung zeigt;
4B eine Darstellung des Vorhandenseins von mehrdeutigen Phasenwerten zeigt;
4C eine Darstellung des Fehlens von mehrdeutigen Phasenwerten zeigt;
4D eine graphische Darstellung eines Sensorpixel-Ausgangssignals zeigt, wenn ein externes Lichtsignal mit einer Phasenverschiebung von 0° oder 180° empfangen wird.
4E eine graphische Darstellung eines Sensorpixel-Ausgangssignals zeigt, wenn ein externes Lichtsignal mit einer zufälligen Phasenverschiebung empfangen wird;
5 eine schematische Darstellung einer weiteren Laufzeit-Vorrichtung zeigt; und
6 ein Flussdiagramm eines Verfahrens zum Anpassen einer Referenzfrequenz zeigt.

Detaillierte Beschreibung
Verschiedene Beispiele werden nun ausführlicher Bezug nehmend auf die beiliegenden Zeichnungen beschrieben, in denen einige Beispiele dargestellt sind. In den Figuren kann die Dicke von Linien, Schichten und/oder Regionen der Klarheit halber übertrieben sein.
Während sich weitere Beispiele für verschiedene Modifikationen und alternative Formen eignen, werden einige bestimmte Beispiele derselben in den Figuren dementsprechend gezeigt und hier ausführlich beschrieben. Allerdings beschränkt diese detaillierte Beschreibung weitere Beispiele nicht auf die beschriebenen bestimmten Formen. Weitere Beispiele können alle in den Rahmen der Offenbarung fallenden Modifikationen, Entsprechungen und Alternativen abdecken. In der gesamten Beschreibung der Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder ähnliche Elemente, die identisch oder in modifizierter Form im Vergleich zueinander implementiert sein können, während sie dieselbe oder eine ähnliche Funktionalität bereitstellen.
Es versteht sich, dass, wenn ein Element als mit einem anderen Element „verbunden“ oder „gekoppelt“ bezeichnet wird, die Elemente direkt verbunden oder gekoppelt sein können oder über ein oder mehrere Zwischenelemente. Wenn zwei Elemente A und B mit einem „oder“ verbunden werden, soll dies derart verstanden werden, dass alle möglichen Kombinationen, d. h. nur A, nur B sowie A und B, offenbart sind. Ein alternativer Wortlaut für dieselben Kombinationen ist „zumindest eines von A und B“. Dasselbe gilt für Kombinationen aus mehr als 2 Elementen.
Die hierin zum Beschreiben bestimmter Beispiele verwendete Terminologie soll nicht begrenzend für weitere Beispiele sein. Wann immer eine Singularform wie „ein, eine“ und „das, der, die“ verwendet wird, und die Verwendung von nur einem einzelnen Element weder explizit noch implizit als verpflichtend definiert ist, können weitere Beispiele auch Pluralelemente umfassen, um dieselbe Funktionalität zu implementieren. Wenn eine Funktionalität nachfolgend derart beschrieben wird, dass sie unter Verwendung mehrerer Elemente implementiert wird, können weitere Beispiele dieselbe Funktionalität ebenso unter Verwendung eines einzelnen Elements oder Verarbeitungsentität implementieren. Es versteht sich weiterhin, dass die Begriffe „umfasst“, „umfassend“, „weist auf“ und/oder „aufweisend“ beim Gebrauch das Vorhandensein angegebener Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Elemente und/oder Bestandteile angeben, aber nicht das Vorhandensein oder die Zufügung eines oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Elemente, Bestandteile und/oder Gruppen derselben ausschließen.
Sofern nicht anderweitig definiert werden alle hier benutzten Begriffe (einschließlich technischer und wissenschaftlicher Begriffe) in ihrer üblichen Bedeutung des Gebiets verwendet, zu dem die Beispiele gehören.
1 zeigt eine schematische Darstellung einer Laufzeit-Bilderzeugungsvorrichtung 100.
Die Laufzeit-Bilderzeugungsvorrichtung 100 umfasst eine Mehrzahl von Sensorpixeln 101, die ausgebildet sind zum Empfangen eines externen Lichtsignals 102, das mit einer externen Modulationsfrequenz moduliert wird.
Die Laufzeit-Bilderzeugungsvorrichtung 100 umfasst ferner eine Pixelschaltungsanordnung 104, die ausgebildet ist zum Erzeugen eines Sensorpixel-Ausgangssignals 105 basierend auf dem externen Lichtsignal 102 und einem Referenzsignal 103 mit einer Referenzfrequenz. Das Sensorpixel-Ausgangssignal 105 weist eine Frequenz auf, die von einer Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz abhängt.
Die Laufzeit-Bilderzeugungsvorrichtung 100 umfasst ferner eine Synchronisierungsschaltungsanordnung 106, die ausgebildet ist zum Anpassen der Referenzfrequenz des Referenzsignals 103 basierend auf dem Sensorpixel-Ausgangssignal 105.
Da die Laufzeit- (TOF-) Bilderzeugungsvorrichtung 100 eine Synchronisierungsschaltungsanordnung 106 zum Anpassen der Referenzfrequenz des Referenzsignals 103 umfasst, kann die TOF-Bilderzeugungsvorrichtung 100 ihre eigene Referenzfrequenz 103 an die externe Modulationsfrequenz eines externen Lichtsignals 102 von einer externen Einrichtung anpassen oder adaptieren. Dies kann dazu führen, dass eine Kommunikation (z. B. die Übertragung von Ladedaten) zwischen der TOF-Bilderzeugungsvorrichtung 100 und einer externen Einrichtung genauer ist aufgrund einer verbesserten Synchronisierung zwischen der Referenzfrequenz der TOF-Bilderzeugungsvorrichtung 100 und der externen Modulationsfrequenz. Ladedateninformation in Datensignalen, die durch die TOF-Bilderzeugungsvorrichtung 100 empfangen werden, kann durch die TOF-Bilderzeugungsvorrichtung 100 somit genauer decodiert werden, da die Anzahl von mehrdeutigen Phasenwerten während des Decodierens reduziert werden kann.
Es kann sein, dass die Kommunikation wünschen kann, dass sie zwischen einer ersten TOF-Bilderzeugungsvorrichtung 100 und einer zweiten Bilderzeugungsvorrichtung eingerichtet wird. Zum Beispiel kann eine zweite Bilderzeugungsvorrichtung wünschen, ein Signal, das Ladedaten (z. B. phasenumtastungs- (PSK-; PSK = Phase Shift Key = Phasenumtastung) modulierte Information) umfasst, an die erste Bilderzeugungsvorrichtung 100 zu senden. Allerdings gibt es normalerweise einen Frequenzversatz zwischen den Modulationssignalen aufgrund einer Frequenzungenauigkeit der Oszillatoren. Wenn die Referenzfrequenz der ersten TOF-Bilderzeugungsvorrichtung 100 mit der externen Modulationsfrequenz der zweiten TOF-Bilderzeugungsvorrichtung nicht synchronisiert ist (z. B. eine Frequenzungenauigkeit existiert), dann können die mehrdeutigen Phasenwerte zu einer ungenauen Decodierung der empfangenen Ladedaten durch die erste Bilderzeugungsvorrichtung 100 führen. Da die erste Bilderzeugungsvorrichtung 100 jedoch in der Lage ist, ihre Referenzfrequenz an die externe Modulationsfrequenz der zweiten TOF-Bilderzeugungsvorrichtung anzupassen, kann die erste TOF-Bilderzeugungsvorrichtung 100 in der Lage sein, die empfangenen Ladedaten genauer zu decodieren.
Die TOF-Bilderzeugungsvorrichtung 100 kann eine Bilderzeugungseinrichtung, eine Einrichtung, die ausgebildet sein kann zum Bestimmen einer Distanzinformation bezogen auf ein Objekt, und/oder eine Einrichtung, die ausgebildet sein kann zum Erzeugen eines dreidimensionalen Bildes eines Objekts, umfassen (oder sein). Zum Beispiel kann die TOF-Bilderzeugungsvorrichtung 100 eine Kamera, z. B. eine Laufzeit- (TOF-) Kamera, sein.
Das externe Lichtsignal 102 kann durch die Mehrzahl von Pixeln 101 während eines Synchronisierungsprozesses zum Anpassen der Referenzfrequenz des Referenzsignals 103 an die externe Modulationsfrequenz empfangen werden. Das externe Lichtsignal 102, das durch die (erste) TOF-Bilderzeugungsvorrichtung 100 (z. B. durch die Mehrzahl von Pixeln 101 der TOF-Bilderzeugungsvorrichtung 100) empfangen wird, kann ein durch eine externe Lichtquelle emittiertes Lichtsignal, ein durch eine externe (oder zweite) Laufzeit-Bilderzeugungsvorrichtung emittiertes Lichtsignal und/oder ein durch eine externe Lichtquelle emittiertes und durch ein Objekt reflektiertes Lichtsignal sein. Zum Beispiel kann das externe Lichtsignal 102 durch die Mehrzahl von Pixeln 101 über (oder durch) Luft empfangen werden.
Das externe Lichtsignal 102 kann ein gepulstes Lichtsignal, Plight (Plight = pulsed light = gepulstes Licht), sein. Zum Beispiel kann das externe Lichtsignal 102 mit der externen Modulationsfrequenz moduliert werden. Zum Beispiel kann das externe Lichtsignal (von einer externen Einrichtung) in Pulsen bei der externen Modulationsfrequenz übertragen werden. Das externe Lichtsignal 102 ist nicht phasenumtastungs-moduliert. Zum Beispiel kann das externe Lichtsignal 102, das durch die Mehrzahl von Sensorpixel 101 empfangen wird, ein festes (z. B. konstantes) Phasensignal sein. Zum Beispiel kann das externe Lichtsignal 102 eine konstante Phase aufweisen. Das externe Lichtsignal 102 kann ein infrarot-elektromagnetisches (-EM-) Wellensignal (z. B. Infrarotlicht) oder eine sichtbare elektromagnetische Welle (z. B. sichtbares Licht) aufweisen oder sein. Infrarot-EM-Wellen können eine Wellenlänge aufweisen, die zwischen 700 nm und 1mm liegt und sichtbare EM-Wellen können eine Wellenlänge aufweisen, die zwischen 500 nm und 700 mm liegt.
Das externe Lichtsignal 102 kann von der Einrichtung (z. B. einer externen Lichtquelle oder z. B. einer zweiten TOF-Bilderzeugungsvorrichtung) empfangen werden, die durch elektrische Drähte mit der TOF-Bilderzeugungsvorrichtung 100 physisch nicht verbunden ist. Die externe Einrichtung kann von der TOF-Bilderzeugungsvorrichtung 100 elektrisch isoliert sein und/oder keine zusätzlichen elektrischen Signale können zwischen ihnen übertragen werden. Optional können die externe Einrichtung und die TOF-Bilderzeugungsvorrichtung 100 mit einer gemeinsamen Masse verbunden sein.
Die Schaltungen der externen Einrichtung, die für die Übertragung des externen Lichtsignals mit der externen Modulationsfrequenz verantwortlich sind (oder die ausgebildet sind zum Übertragen desselben), sind zum Beispiel mit der Synchronisierungsschaltungsanordnung der TOF-Bilderzeugungsvorrichtung 100 physisch nicht verbunden. Somit kann das externe Lichtsignal 102 mit der externen Modulationsfrequenz moduliert sein, die von dem Referenzsignal unabhängig ist (z. B. nicht auf demselben basiert). Zum Beispiel kann das externe Lichtsignal 102 unabhängig von der Synchronisierungsschaltungsanordnung 106 der TOF-Bilderzeugungsvorrichtung 100 erzeugt werden. Zum Beispiel kann die Synchronisierungsschaltungsanordnung 106 der TOF-Bilderzeugungsvorrichtung 100 die externe Modulationsfrequenz des externen Lichtsignals 102, das durch die TOF-Bilderzeugungsvorrichtung 100 empfangen wird, nicht beeinflussen. Die externe Modulationsfrequenz kann sich von der Referenzfrequenz der TOF-Bilderzeugungsvorrichtung 100 aufgrund von Frequenzungenauigkeit der Oszillatoren unterscheiden.
Die Mehrzahl von Sensorpixeln 101 kann Teil eines zweidimensionalen Sensorpixel-Arrays sein (oder kann dasselbe) sein. Ein (oder jedes) Sensorpixel 101 der Mehrzahl von Sensorpixeln 101 kann ein Photomischdetektor (PMD-; PMD = Photonic Mixing Device) Pixel sein (oder kann als ein solches bezeichnet werden). Optional kann ein (oder jedes) Sensorpixel 101 der Mehrzahl von Sensorpixeln 101 zumindest einen Teil der Pixelschaltungsanordnung 104 umfassen. Die Pixelschaltungsanordnung 104 eines jeden Sensorpixels 101 kann als eine Photomischdetektor- (PMD-) Schaltung ausgebildet sein. Zum Beispiel kann jedes Sensorpixel 101 eine Photodetektorschaltung für die Detektion von eingehenden EM-Wellen umfassen. Die PMD-Schaltungsanordnung der Pixelschaltungsanordnung 104 kann ausgebildet sein, derart, dass die Pixelschaltungsanordnung 104 das Sensorsignal basierend auf dem eingehenden externen Lichtsignal 102, das durch das Sensorpixel 101 empfangen wird, herleiten kann. Zum Beispiel kann die Pixelschaltungsanordnung 104 ausgebildet sein zum Erzeugen des Sensorsignals basierend auf einer Demodulation des externen Lichtsignals unter Nutzung des Referenzsignals 103.
Jedes Sensorpixel (z. B. PMD-Pixel) kann transparente ladungssammelnde Photogates umfassen, z. B. eine Mehrzahl von Photogates. Jedes Photogate kann eine Erzeugungszone umfassen, z. B. eine photoempfindliche Region, wie beispielweise eine Verarmungsregion oder Raumladezone, wo photoerzeugte Ladungsträger durch ein empfangenes Lichtsignal (z. B. das externe Lichtsignal mit der festen Phasen und/oder andere Lichtsignale mit variierenden Phasen) erzeugt werden können. Die photoerzeugten Ladungsträger können positive Ladungsträger, z. B. Löcher, oder negative Ladungsträger, z. B. Elektronen, umfassen. Die Anzahl von photoerzeugten Ladungsträgern, die in der Erzeugungszone erzeugt werden, kann proportional zu der Intensität des durch das Photogate empfangenen Lichtsignals sein, wenn das Photogate durch das angelegte Vorspannungssignal vorgespannt wird.
Der Betrieb der Mehrzahl von Sensorpixeln 101 kann zumindest teilweise durch das Referenzsignal 103 gesteuert werden. Zum Beispiel kann bei den mehreren Photogate-Sensorpixeln eine Mehrzahl von Vorspannungssignalen mit unterschiedlichen Phasenversätzen an die Photogates des Sensorpixels angelegt werden. Die Mehrzahl von Vorspannungssignalen kann basierend auf dem Referenzsignal 103 hergeleitet werden.
Ein Sensorpixel mit zwei Photogates kann ein erstes Photogate und ein zweites Photogate umfassen. Jedes Photogate in dem Sensorpixel kann durch ein Vorspannungssignal mit einem unterschiedlichen Phasenversatz in Bezug auf das Referenzsignal 103 vorgespannt werden. Zum Beispiel kann ein erstes Vorspannungssignal (Mod-A) an das erste Photogate angelegt werden, und ein zweites Vorspannungssignal kann an das zweite Photogate angelegt werden. Das erste Vorspannungssignal, das basierend auf dem Referenzsignal 103 hergeleitet wird, kann ein erstes Photogate eines Sensorpixels bei einer Vorspannungsfrequenz vorspannen oder umschalten. Die Vorspannungsfrequenz kann auf einem Vielfachen der Frequenz des Referenzsignals 103 basieren oder demselben entsprechen. Das zweite Vorspannungssignal (Mod-B), das basierend auf dem Referenzsignal 103 hergeleitet wird, kann ein zweites Photogate eines Sensorpixels bei einer Vorspannungsfrequenz vorspannen oder umschalten. Das zweite Vorspannungssignal kann die gleiche Vorspannungsfrequenz aufweisen wie das erste Vorspannungssignal. Allerdings kann das zweite Vorspannungssignal außerhalb der Phase sein mit dem (z. B. 180° außerhalb der Phase mit z. B. der Inversen des) ersten Vorspannungssignal(s). Somit können das erste Vorspannungssignal und das zweite Vorspannungssignal das erste Photogate und das zweite Photogate der Sensorschaltung steuern, derart, dass das erste Photogate und das zweite Photogate abwechselnd ein- oder abgeschaltet werden. Zum Beispiel kann das erste Photogate in einen Aus-Zustand geschaltet werden, wenn das zweite Photogate in einen Ein-Zustand geschaltet wird, oder umgekehrt.
Wenn das Lichtsignal in die Photogates eintritt (oder auf dieselben auftrifft), können in der Erzeugungszone Elektronenlochpaare erzeugt werden. Abhängig von den an das erste Photogate und das zweite Photogate angelegten Vorspannungssignalen kann ein Potentialgradient erzeugt werden, der verursachen kann, dass Elektronen in Richtung einer ersten Richtung (z. B von links nach rechts) driften und in einer ersten Ladungswanne gesammelt werden, oder in Richtung einer zweiten Richtung (z. B. von rechts nach links) driften und in einer zweiten Ladungswanne gesammelt werden. Auslesedioden können Information bezogen auf die in den entsprechenden Wannen akkumulierten Ladungen bereitstellen. Zum Beispiel kann eine erste Auslesediode in der Nähe der ersten Ladungswanne ein erstes Auslesesignal bezogen auf die Anzahl von in der ersten Ladungswanne gesammelten Elektronen bereitstellen. Zusätzlich kann eine zweite Auslesediode in der Nähe der zweiten Ladungswanne ein zweites Auslesesignal bezogen auf die Anzahl von in der zweiten Ladungswanne gesammelten Elektronen bereitstellen.
Die Pixelschaltungsanordnung 104 kann ausgebildet sein zum Erzeugen eines Sensorsignals, das jedem Sensorpixel 101 der Mehrzahl von Sensorpixeln 101 entspricht, basierend auf dem ersten Auslesesignal (Ua) und dem zweiten Auslesesignal (Ub) des Sensorpixels 101. Zum Beispiel kann die Pixelschaltungsanordnung 104 ausgebildet sein zum Herleiten des Sensorsignals basierend auf dem ersten Auslesesignal von dem ersten Photogate des ersten Sensorpixels 101 und dem zweiten Auslesesignal von dem zweiten Photogate des (gleichen) Sensorpixels 101. Das erste Auslesesignal kann Spannungswerte oder Stromwerte proportional zu der Anzahl von photoerzeugten Ladungsträgern umfassen, die in der Region des Sensorpixels erzeugt werden, das durch das erste Photogate gesteuert wird (steuerbar ist), während das externe Lichtsignal 102 empfangen wird. Das zweite Auslesesignal kann Spannungswerte oder Stromwerte proportional zu der Anzahl von photoerzeugten Ladungsträgern umfassen, die in einer Region des Sensorpixels erzeugt werden, das durch das zweite Photogate gesteuert wird (steuerbar ist), während das externe Lichtsignal 102 empfangen wird.
Die Pixelschaltungsanordnung 104 kann ausgebildet sein zum Herleiten (und/oder Erzeugen) eines Phaseninformationswertes des Sensorsignals basierend auf einer Differenz (oder z. B. einem Differential oder z. B. einer Subtraktion) zwischen dem ersten Auslesesignal und dem zweiten Auslesesignal. Jeder Phaseninformationswert des Sensorsignals kann Information bezogen auf einen Phasenversatz zwischen dem externen Lichtsignal 102 und dem Referenzsignal 103 umfassen. Jeder Phaseninformationswert des Sensorsignals kann basierend auf einer Subtraktion zwischen Ua und Ub (z. B. Ua-Ub) hergeleitet werden. Die Pixelschaltungsanordnung 104 kann ausgebildet sein zum Herleiten des Sensorsignals durch Berechnen einer Mehrzahl von Phaseninformationswerten (z. B. mehr als 100 Phaseninformationswerten oder z. B. mehr als 1000 Phaseninformationswerten) während des Synchronisierungsprozesses (-periode).
Die Pixelschaltungsanordnung 104 kann ausgebildet sein zum Herleiten eines Sensorsignals entsprechend einem jeden Sensorpixel. Die Sensorpixel die Mehrzahl von Sensorpixeln 101 können ausgebildet sein zum parallelen (z. B. gleichzeitigen) Betreiben. Zum Beispiel können die Vorspannungssignale an jedes Sensorpixel der Mehrzahl von Sensorpixeln 101 gleichzeitig angelegt werden. Somit kann die Pixelschaltungsanordnung 104 ausgebildet sein zum parallelen (z. B. gleichzeitigen) Erzeugen einer Mehrzahl von Sensorsignalen einer Mehrzahl von Sensorpixeln 101.
Die Pixelschaltungsanordnung 104 kann ausgebildet sein zum Erzeugen des Sensorpixel-Ausgangssignals 105 basierend auf dem externen Lichtsignal und dem Referenzsignal durch zumindest ein Sensorpixel 101 der Mehrzahl von Sensorpixeln 101. Optional kann die Pixelschaltungsanordnung 104 ferner ausgebildet sein zum Erzeugen des Sensorpixel-Ausgangssignals 105 basierend auf einer Mehrzahl von Sensorsignalen von der Mehrzahl von Sensorpixeln 101. Optional kann die Pixelschaltungsanordnung 104 ausgebildet sein zum Herleiten des Sensorpixel-Ausgangssignals basierend auf einer Phaseninformation (z. B. Sensorsignale), die von allen Sensorpixeln der Mehrzahl von Sensorpixeln 101 hergeleitet ist. Optional oder alternativ kann die Pixelschaltungsanordnung 104 ausgebildet sein zum Herleiten des Sensorpixel-Ausgangssignals basierend auf der Phaseninformation (z. B. Sensorsignale), die von einer Untergruppe von Sensorpixeln der Mehrzahl von Sensorpixeln hergeleitet ist. Zum Beispiel kann die Untergruppe von Sensorpixeln ein zweidimensionales Array von Sensorpixeln sein, das weniger als 50 % (oder z. B. weniger als 30 %) der Gesamtanzahl von Sensorpixeln der Mehrzahl von Sensorpixeln umfasst. Die Untergruppe von Sensorpixeln kann ein zweidimensionales Array von Sensorpixeln sein, die die höchste Gesamtlichtintensität von dem externen Lichtsignal 102 empfangen. Optional, alternativ oder zusätzlich kann die Pixelschaltungsanordnung 104 ausgebildet sein zum Herleiten des Sensorpixel-Ausgangssignals basierend auf der Phaseninformation (z. B. Sensorsignale), die von den Sensorpixeln der Mehrzahl von Sensorpixeln hergeleitet ist, die die höchste Lichtintensität von dem externen Lichtsignal 102 empfangen.
Die Pixelschaltungsanordnung 104 kann das Sensorpixel-Ausgangssignal 105 basierend auf einem Durchschnitt der Sensorsignale herleiten, die durch die Sensorpixel (z. B. die Untergruppe von Sensorpixeln oder z. B. alle Sensorpixel) der Mehrzahl von Sensorpixeln 101 erzeugt werden. Zum Beispiel kann ein Abtastwert p des Sensorpixel-Ausgangssignals durch durchschnittliche N Phasenwerte p_i,j, die ein Signal umfassen, erzeugt werden. Z kann ein Wert sein (z. B. ein experimentell bestimmter Wert), der verwendet wird, um diese Pixel von denen, die nur Hintergrundrauschen aufweisen, zu klassifizieren. $p = \frac{1}{N} \sum_{i=u}^{u+n} \sum_{j=v}^{v+m} {\begin{matrix} p_{i,j}, & wenn | p_{i,j} | \geq Z \\ 0, & ansonsten \end{matrix}$
Das Sensorpixel-Ausgangssignal kann Ausgangswerte bezogen auf einen Phasenversatz zwischen dem externen Lichtsignal 102 und dem Referenzsignal 103 umfassen. Das Sensorpixel-Ausgangssignal 105 kann eine nicht-verschwindende Frequenz (Frequenz ungleich null) sein, wenn sich die Referenzfrequenz von der externen Modulationsfrequenz unterscheidet. Zum Beispiel kann das Sensorpixel-Ausgangssignal 105 eine Frequenz aufweisen, die von einer Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz abhängt. Wenn ein Frequenzversatz (oder Frequenzdifferenz) zwischen der externen Modulationsfrequenz und der Referenzfrequenz zum Beispiel größer ist als ein Schwellenwert (z. B. größer als null), können sich die gemessenen Phasenwerte zwischen dem externen Lichtsignal und dem Referenzsignal in Bezug auf die Zeit ändern. Zum Beispiel kann das Sensorpixel-Ausgangssignal 105 ein periodisches Signal (z. B. ein trianguläres periodisches Signal) mit einer Frequenz sein (siehe 2).
Es versteht sich, dass, obgleich hierin beschriebene Beispiele sich darauf beziehen, dass das externe Lichtsignal 102 ein konstantes Phasensignal ist, es möglich sein kann, dass ein externes Lichtsignal mit einer Mehrzahl von unterschiedlichen Phasenverschiebungen für eine Synchronisierung verwendet werden kann. Wenn die TOF-Bilderzeugungsvorrichtung 100 ein externes Lichtsignal mit unterschiedlichen Phasenverschiebungen empfängt, kann die Pixelschaltungsanordnung 104 ausgebildet sein zum Anwenden einer Verarbeitung, um das Sensorsignal für jedes Sensorpixel herzuleiten. Zum Beispiel kann die Pixelschaltungsanordnung Verfahren anwenden, um den Frequenzversatz (Differenz) zu extrahieren, selbst wenn das externe Lichtsignal unterschiedliche Phasenverschiebungen aufweist (siehe 4D und 4E).
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein zum Anpassen der Referenzfrequenz des Referenzsignals 103 basierend auf dem Sensorpixel-Ausgangssignal 105. Zum Beispiel kann die Synchronisierungsschaltungsanordnung 106 ausgebildet sein zum Herleiten eines Frequenzversatzes bezogen auf die Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz basierend auf der Frequenz des Sensorpixel-Ausgangssignals 105. Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein zum Herleiten des Frequenzversatzes durch Abtasten des Sensorpixel-Ausgangssignals 105 mit einer Abtastfrequenz, um die Frequenz des Sensorpixel-Ausgangssignals 105 zu bestimmen. Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein zum Herleiten des Frequenzversatzes als einen digitalen Wert und kann für die Steuerschaltungsanordnung (z. B. oder ein Verarbeitungssystem) der TOF-Bilderzeugungsvorrichtung 100 verfügbar gemacht werden. Dies kann weitere Anwendungen ermöglichen, z. B. ein Anpassen der Phasenregelschleifen von unterschiedlichen Kommunikationspartnern oder ein Vermeiden von Interferenz mit anderen TOF-Systemen beim Tiefenerfassen.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein zum Anpassen der Referenzfrequenz des Referenzsignals 103 basierend auf dem hergeleiteten Frequenzversatz. Zum Beispiel kann die Synchronisierungsschaltungsanordnung 106 ausgebildet sein zum Anpassen der Referenzfrequenz des Referenzsignals 103, sodass die Frequenz des Sensorpixel-Ausgangssignals unter einen Schwellenwert fällt. Der Schwellenwert kann weniger als 10 Hz (oder z. B. weniger als 5 Hz oder z. B. weniger als 2 Hz oder z. B. null Hz) sein. Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein zum Anpassen der Referenzfrequenz des Referenzsignals, bis die Referenzfrequenz des Referenzsignals gleich der externen Referenzfrequenz ist und/oder bis ein Frequenzversatz zwischen der Referenzfrequenz und der externen Referenzfrequenz unter den Schwellenwert fällt. Zum Beispiel kann die Synchronisierungsschaltungsanordnung 106 der TOF-Bilderzeugungsvorrichtung 100 ihren Modulationstakt mit dem Modulationstakt der externen Beleuchtungsquelle (und/oder externen TOF-Bilderzeugungsvorrichtung), die das externe Lichtsignal 102 sendet, abstimmen oder an denselben adaptieren.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein zum Anpassen der Referenzfrequenz des Referenzsignals 103, sodass das Referenzsignal 103 eine angepasste Referenzfrequenz aufweist. Der Frequenzversatz zwischen der angepassten Referenzfrequenz und der externen Referenzfrequenz kann geringer sein als der Schwellenwert und/oder die angepasste Referenzfrequenz kann gleich der externen Referenzfrequenz sein.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein zum Variieren (oder Anpassen) der Referenzfrequenz durch einen Anpassungswert basierend auf dem Frequenzversatz. Der Anpassungswert kann gleich dem Frequenzversatz, einem Vielfachen des Frequenzversatzes oder dem mit einem Grenzwert multipliziertem Frequenzversatz sein. Zum Beispiel kann die Synchronisierungsschaltungsanordnung 106 ausgebildet sein zum Herleiten des Anpassungswertes durch Zuweisen eines Vorzeichens des Frequenzversatzes (siehe 3A und 3B). Zusätzlich oder optional kann die Synchronisierungsschaltungsanordnung 106 ausgebildet sein zum iterativen Variieren der Referenzfrequenz, bis (oder sodass) die Frequenz des Sensorpixel-Ausgangssignal unter einem vorbestimmten Schwellenwert ist.
Die Synchronisierungsschaltungsanordnung 106 kann eine Frequenzerzeugungsschaltung (z. B. eine Modulationstaktversorgung) umfassen (oder sein), die ausgebildet ist zum Erzeugen des Referenzsignals basierend auf dem Sensorpixel-Ausgangssignal 105 (siehe 4). Die Frequenzerzeugungsschaltung kann als eine analoge oder digitale Schaltung implementiert sein. Die Frequenzerzeugungsschaltung kann eine Referenzoszillatorschaltung umfassen, die ausgebildet ist zum Erzeugen des Referenzsignals 103 mit einer angepassten Referenzfrequenz basierend auf der Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz (z. B. basierend auf dem durch die Synchronisierungsschaltungsanordnung hergeleiteten Frequenzversatz). Die Referenzoszillatorschaltung kann ein abstimmbarer Kristalloszillator sein, der durch bestimmte elektrische Parameter abgestimmt oder konfiguriert werden kann, die basierend auf dem erforderlichen Frequenzversatz hergeleitet werden können. Die elektrischen Parameter können durch Schreiben eines PLL-Konfigurationsregisters (PLL = Phase Locked Loop = Phasenregelschleife) auf den TOF-Sensorchip über I2C eingestellt werden. Optional kann die Frequenzerzeugungsschaltung eine Phasenregelschleifenschaltung oder eine Verzögerungsphasenregelschleifenschaltung umfassen. Somit kann das Referenzsignal 103 auf einem phasensynchronisierten Referenzoszillatorsignal basieren oder dasselbe sein, das durch die Referenzoszillatorschaltung erzeugt wird. Optional kann die Referenzoszillatorschaltung einen spannungsgesteuerten Oszillator umfassen oder derselbe sein, der in einer separaten Schaltung von dem Sensorpixelarray angeordnet sein kann. Die Referenzoszillatorschaltung kann angeordnet sein, sodass sie nicht Teil eines Bildaufnehmerchips mit dem Sensorpixelarray ist.
Die Synchronisierungsschaltungsanordnung 106 kann ferner eine Phasenverschiebungsschaltung umfassen, die mit der Frequenzerzeugungsschaltung verbunden sein kann. Die Phasenverschiebungsschaltung kann ausgebildet sein zum aufeinanderfolgenden Erzeugen der Mehrzahl von Vorspannungssignalen mit der gleichen Frequenz wie das Referenzsignal, aber unterschiedlichen Phasenversätzen verglichen mit dem Referenzsignal. Zum Beispiel kann ein erstes Vorspannungssignal einen ersten Phasenversatz in Bezug auf das Referenzsignal aufweisen. Ein nachfolgendes zweites Vorspannungssignal kann einen zweiten (unterschiedlichen) Phasenversatz aufweisen verglichen mit dem Referenzsignal usw.
Das Referenzsignal 103 kann ein periodisches Signal sein, z. B. ein sinusförmiges oder ein Rechteck-Signal. Das Referenzsignal 103 kann die Referenzfrequenz fr aufweisen, die zwischen 1 MHz und 300 MHz, z. B. zwischen 5 MHz und 100 MHz, z. B. zwischen 5 MHz und 30 MHz, liegen kann. Das Referenzsignal 103 kann eine Frequenz aufweisen, die größer als 1 MHz oder größer als einige zehn MHz ist. Zum Beispiel kann das Referenzsignal, fr, von etwa 1 MHz bis etwa 5 MHz oder von etwa 1 MHz bis etwa 10 MHz oder von etwa 1 MHz bis etwa 20 MHz oder höher reichen.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein zum Bereitstellen des Referenzsignals 103 (und/oder eines Signals, das von dem Referenzsignal 103 hergeleitet wird) an die Mehrzahl von Sensorpixeln 101. Die Mehrzahl von Vorspannungssignalen (hergeleitet basierend auf dem Referenzsignal 103) kann aufeinanderfolgend auf das Pixelsensorarray (z. B. auf jedes Sensorpixel eines Sensorpixelarrays) angewandt werden. Die Frequenz und/oder Frequenzen, fr, des Referenzsignals 103 und/oder Mehrzahl von Vorspannungssignalen, die an die Photogates angelegt sind, können auf einem Mehrfachen der Referenzfrequenz, Fmod, des angepassten Referenzsignals, basieren oder gleich zu einem selben sein.
Nach dem Synchronisierungsprozess (z. B. nachdem die Synchronisierungsschaltungsanordnung 106 die Referenzfrequenz des Referenzsignals 103 angepasst hat, sodass die Frequenz des Sensorpixel-Ausgangssignals unter einen Schwellenwert fällt) kann die Modulationstaktversorgung der TOF-Bilderzeugungsvorrichtung 101 mit der Modulationstaktversorgung einer externen TOF-Bilderzeugungsvorrichtung synchronisiert werden, die das konstantphasige externe Lichtsignal 102 übertragen hat. Zum Beispiel kann die angepasste Referenzfrequenz des Referenzsignals 103 gleich der externen Modulationsfrequenz sein und/oder die angepasste Referenzfrequenz des Referenzsignals 103 kann sich von der externen Modulationsfrequenz um weniger als 10 Hz (oder z. B. um weniger als 5 Hz oder z. B. um weniger als 2 Hz oder z. B. null Hz) unterscheiden.
Die TOF-Bilderzeugungsvorrichtung 101 kann ferner eine Steuerschaltungsanordnung umfassen, die mit der Pixelschaltungsanordnung 104 verbunden sein kann. Die Steuerschaltungsanordnung kann ausgebildet sein zum Steuern einer emittierenden Schaltung der TOF-Bilderzeugungsvorrichtung 101. Zum Beispiel kann die Steuerschaltungsanordnung der TOF-Bilderzeugungsvorrichtung die emittierende Schaltung steuern, um ein moduliertes Lichtdatensignal mit der angepassten Referenzfrequenz zu übertragen, wenn (oder nachdem) die Frequenz des Sensorpixel-Ausgangssignal unter den Schwellenwert fällt. Das modulierte Lichtdatensignal kann eine Information umfassen, die eine Bereitschaft der TOF-Bilderzeugungsvorrichtung 101 anzeigt, um ein externes moduliertes Lichtdatensignal zu empfangen, das Ladedaten von einer externen TOF-Bilderzeugungsvorrichtung aufweist. Das modulierte Lichtdatensignal kann mit Ladedaten unter Verwendung einer Phasenumtastungs- (PSK-; PSK = Phase Shift Keying) Modulation codiert werden. Zum Beispiel die modulierten Lichtdaten mit Daten, die unterschiedliche Phasenverschiebungen (z. B. 0°, 90°, 180° und 270°) aufweisen. Optional oder alternativ kann eine Pulspositionsmodulation oder Ein-Aus-Umtastungsmodulation (on-off keying modulation, on-off key modulation) anstelle einer PSK-Modulation verwendet werden. Eine Pulspositionsmodulation und Ein-Aus-Umtastungsmodulation können auch von dem Synchronisierungsprozess profitieren, weil sie auch unter mehrdeutigen Phasenwerten leiden können, wenn die Referenzfrequenz und die externe Frequenz nicht synchronisiert sind. Zum Beispiel kann die Framerate (Rahmenrate) der ToF-Kamera etwa 7300 fps sein, und es kann wünschenswert sein, so viel Information wie möglich pro Frame (Rahmen) zu übertragen. Zum Beispiel können zwei Bits pro Frame (Abtastwert) übertragen werden. Optional können selbst andere Modulationsschemata, die möglicherweise 1 Bit pro Frame erreichen und die Bitrate reduzieren können, verwendet werden. Das Codieren des modulierten Lichtdatensignals kann durch die Phasenverschiebungsschaltung ausgeführt und durch die Steuerschaltungsanordnung gesteuert werden.
Die TOF-Bilderzeugungsvorrichtung 100 kann ferner ausgebildet sein zum Empfangen eines externen Lichtdatensignals (von der zweiten TOF-Bilderzeugungsvorrichtung). Anders als das externe Lichtsignal, das während des Synchronisierungsprozesses zum Anpassen der Referenzfrequenz des Referenzsignals 103 empfangen wird, weist das externe modulierte Lichtdatensignal nicht zwingend eine konstante Phase auf. Zum Beispiel kann das externe modulierte Lichtdatensignal mit Ladedaten unter Verwendung einer Phasenumtastungs- (PSK-) Modulation codiert werden. Die Pixelschaltungsanordnung 104 der TOF-Bilderzeugungsvorrichtung 100 kann ausgebildet sein zum Erzeugen von Sensorsignalen mit einer Phaseninformation bezogen auf das empfangene externe modulierte Lichtdatensignal basierend zumindest teilweise auf dem Referenzsignal 103 mit der angepassten Referenzfrequenz. Die Steuerschaltungsanordnung der TOF-Bilderzeugungsvorrichtung 100 kann ausgebildet sein zum Herleiten von Ladedaten des externen modulierten Lichtdatensignals, die durch die Mehrzahl von Sensorpixel 101 empfangen wird. Die Steuerschaltungsanordnung kann ausgebildet sein zum Herleiten der Ladedaten basierend auf dem Referenzsignal 103 mit der angepassten Referenzfrequenz. Da das Referenzsignal 103 mit der angepassten Referenzfrequenz mit der externen Modulationsfrequenz des empfangenen externen modulierten Lichtdatensignals synchronisiert wird, kann die Steuerschaltungsanordnung die Ladedaten des externen modulierten Lichtdatensignals ohne mehrdeutige Phasenwerte decodieren.
Die TOF-Bilderzeugungsvorrichtung 100 kann eine TOF-Kamera sein und kann ausgebildet sein zum Erzeugen eines dreidimensionalen Bildes eines Objekts (z. B. kann sie ausgebildet sein zum Arbeiten im Tiefenerfassungsmodus). Optional kann, nachdem die Synchronisierungsschaltungsanordnung 106 die Referenzfrequenz des Referenzsignals 103 angepasst hat, sodass die Frequenz des Sensorpixel-Ausgangssignals unter einen Schwellenwert fällt, die Steuerschaltungsanordnung ausgebildet sein zum Erzeugen des 3D-Bildes. Die Steuerschaltungsanordnung der TOF-Bilderzeugungsvorrichtung 100 kann ausgebildet sein zum Erzeugen des 3D-Bildes des Objekts und/oder zum Bestimmen einer Distanzinformation zwischen der TOF-Bilderzeugungsvorrichtung 10 und dem Objekt 110.
Die emittierende Schaltung kann ausgebildet sein zum Emittieren (oder Übertragen) eines modulierten Lichtsignals, das mit der angepassten Referenzfrequenz moduliert wird. Die emittierende Schaltung der TOF-Bilderzeugungsvorrichtung 100 kann eine Infrarot-EM-Welle oder eine sichtbare EM-Wellen-emittierende Schaltung umfassen. Die emittierende Schaltung kann eine oder mehrere Infrarot- oder sichtbare lichtemittierende Dioden umfassen. Die Synchronisierungsschaltungsanordnung 106 kann mit der emittierenden Schaltung (z. B. mit den lichtemittierenden Dioden der emittierenden Schaltung) gekoppelt sein (z. B. mit derselben verbunden sein), sodass durch die TOF-Bilderzeugungsvorrichtung 100 übertragene Lichtsignale mit der angepassten Referenzfrequenz gepulst werden können. Die Synchronisierungsschaltungsanordnung 106 kann ferner mit der Mehrzahl von Sensorpixeln 101 gekoppelt (z. B. verbunden) werden. Somit kann das reflektierte modulierte Lichtsignal die gleiche Frequenz (z. B. die angepasste Referenzfrequenz) aufweisen wie die Vorspannungssignale, die an die Photogates eines jeden Sensorpixels angelegt werden.
Das modulierte Lichtsignal, das durch die emittierende Schaltung der TOF-Bilderzeugungsvorrichtung 100 emittiert wird, kann durch das Objekt reflektiert werden. Die emittierende Schaltung kann ausgebildet sein zum Emittieren des modulierten Lichtsignals mit 4 unterschiedlichen Phasenverschiebungen (0°, 90°, 180° und 270°). Für jede Phasenverschiebung kann die Differenz zwischen dem ersten Auslesesignal und dem zweiten Auslesesignal als τ(0°), τ(90°), τ(180°) und τ(270°) gespeichert werden.
In dem Tiefenerfassungsmodus kann die Pixelschaltungsanordnung 104 ausgebildet sein zum Bestimmen eines Phasenversatzwertes zwischen dem emittierten modulierten Lichtsignal und dem Referenzsignal basierend auf einer Arkusfunktion der unterschiedlichen Auslesesignale. Zum Beispiel kann der Phasenversatzwert φ berechnet werden basierend auf $φ= {tan}^{- 1} \frac{τ (270 °) - τ (90 °)}{τ (0 °) - τ (180 °)}$
Die Steuerschaltungsanordnung kann ausgebildet sein zum Berechnen der Distanzinformation, die proportional zu der Phasenverzögerung zwischen dem reflektierten modulierten Lichtsignal und dem Referenzsignal mit der angepassten Referenzfrequenz sein kann. Zum Beispiel kann die Distanz, d, berechnet werden basierend auf $d = \frac{c * φ}{4 π f}$
Zum Beispiel kann c die Lichtgeschwindigkeit sein und f kann die Referenzfrequenz sein. Somit kann die Steuerschaltungsanordnung ausgebildet sein zum Erzeugen des 3D-Bildes basierend auf dem empfangenen modulierten Lichtsignal und dem Referenzsignal 103 mit der angepassten Referenzfrequenz.
Es versteht sich, dass der Differenzausgang das Korrelationsprodukt des eingehenden externen Lichtsignals 102 und des Referenzsignals 103 repräsentieren kann. Somit versteht es sich, dass die Pixelschaltungsanordnung 104 ausgebildet sein kann zum Erzeugen des 3D-Bildes basierend auf einer Korrelation (z. B. einer Kreuzkorrelation oder einer Autokorrelation) des externen Lichtsignal 102 und des Referenzsignals 103.
Die Steuerschaltungsanordnung kann ausgebildet sein zum Erzeugen der Distanzinformation von einem oder mehreren Punkten (z. B. nur einem Punkt, einer Linie von Punkten oder einem Array von Punkten) des 3D-Bildes. Durch Bestimmen der Distanzinformation kann das dreidimensionale Bild des Objekts erzeugt werden. Zum Beispiel kann das erzeugte Bild das finale Bild des Objekts sein oder z. B. ein vorfinales Bild, das verwendet werden kann, um das finale Bild des Objekts zu erzeugen. Zum Beispiel kann eine Mehrzahl, z. B. eine Sequenz, von vorfinalen Bildern verwendet werden, um das finale Bild des Objekts zu erzeugen.
Das Objekt kann eine Person oder ein Ding oder eine Szene sein, die/das fotografiert werden soll. Zum Beispiel kann das Objekt dreidimensional sein (3D), z. B. kann das Objekt eine Höhe, Breite und Tiefe aufweisen. Die durch die TOF-Bilderzeugungsvorrichtung 100 zu bestimmende Distanzinformation kann eine Distanz zwischen einer oder mehreren unterschiedlichen Stellen oder einem oder mehreren Punkten des Oberflächenprofils des Objekts zu der Vorrichtung 100 sein. Durch Bestimmen der Distanzinformation bezogen auf das Objekt kann dreidimensionale Information (z. B. die Höhe, Breite und Tiefe) über das Objekt durch die Vorrichtung bestimmt werden.
Die Beispiele begrenzen die TOF-Bilderzeugungsvorrichtung 100 nicht auf das Erzeugen eines 3D-Bildes basierend auf dem Referenzsignal mit der angepassten Referenzfrequenz. Die TOF-Bilderzeugungsvorrichtung 100 kann ein 3D-Bild basierend auf seinem ursprünglichen (z. B. nicht angepassten) Referenzsignal 103 sogar ohne Anpassen seiner Referenzfrequenz erzeugen.
Die hierin beschriebenen Beispiele beziehen sich auf eine TOF-Bilderzeugungsvorrichtung 100 (z. B. eine TOF-Kamera). TOF-Kameras können Tiefenbilder erzeugen, wo jedes Pixel die Distanz zwischen der Kamera und der erfassten Szene codieren kann. Dies kann funktionieren durch Emittieren von Infrarotlicht und Messen der Zeit, die es braucht, um zu der Szene und zurück zu dem Sensor zu wandern. Bei dem Ansatz mit ununterbrochener Welle kann pulsiertes Licht, Plight, durch die Beleuchtungseinheit (z. B. emittierende Schaltung) während des Erfassungsprozesses emittiert werden. Die Pixel des Sensors können mit einem Wellensignal Fmod (z. B. einem Rechteckwellensignal) versorgt werden, das die gleiche Frequenz aufweisen kann wie das emittierte gepulste Licht. Die Wanderzeit der Lichtpulse kann eine Phasenverschiebung zwischen den empfangenen und emittierten Signalen verursachen. Ein Photomischdetektor (PMD) kann sich an jedem Pixel befinden und kann einen Wert bezogen auf die Phasenverschiebung erzeugen. Die Phase der Pulse kann sich für jedes Bild verschieben, um Lichtintensitätsvariationen zu kompensieren. Mehrere Bilder können dann zu einem Tiefenbild verarbeitet werden. Aufgrund dieses Messprinzips, TOF, können die Sensoren fähig sein zum Emittieren von phasenverschobenem gepulstem Licht, und die Pixel können fähig sein zum präzisen Messen dieser Phasendifferenzen. Der Photomischdetektor (photonic mixture device, photonic mixing device, PMD) auf (oder an) jedem Pixel kann Phasendifferenzen der eingehenden Lichtpulse und seines eigenen Referenzmodulationssignals detektieren. Wenn die Systeme synchronisiert werden, kann der Sender Information durch Verschieben der Phase seiner emittierten Lichtpulse (z. B. durch PSK) codieren. Bei der Tiefenerfassung können die reflektierten Lichtpulse Plight und Fmod an Pixeln die gleiche Frequenz aufweisen, da sie von der gleichen Signalquelle herrühren. Wenn Laufzeitsysteme allerdings kommunizieren, können Signale von unterschiedlichen Quellen an sie geliefert werden. Aufgrund einer Frequenzungenauigkeit der Oszillatoren gibt es normalerweise einen Frequenzversatz zwischen diesen Modulationssignalen.
Die hierin beschriebenen Beispiele beziehen sich auf eine TOF-Bilderzeugungsvorrichtung 100, die ausgebildet sein kann zum Abstimmen oder Adaptieren ihres Modulationstakts mit dem/an den Modulationstakt einer externen Beleuchtungsquelle (und/oder zweiten TOF-Bilderzeugungsvorrichtung), die das externe Lichtsignal 102 überträgt. Dies kann es der TOF-Bilderzeugungsvorrichtung 100 erlauben, mit externen Systemen zu kommunizieren. Wenn zum Beispiel zwei TOF-Systeme (z. B. die TOF-Bilderzeugungsvorrichtung 100 und eine externe TOF-Bilderzeugungsvorrichtung) kommunizieren wollen, ist es erforderlich, dass sie das gleiche Modulations- (z. B. Referenz-) Signal, Fmod, aufweisen. Die TOF-Bilderzeugungsvorrichtung 100 kann eine Slave-Einrichtung (Einrichtung untergeordneter Einheit) sein, die ihre Modulations- (Referenz-) Frequenz an die Modulations- (Referenz-) Frequenz der Master-Einrichtung (Einrichtung übergeordneter Einheit) (z. B. die zweite TOF-Bilderzeugungsvorrichtung) adaptiert.
Die hierin beschriebenen Beispiele beziehen sich auf eine TOF-Bilderzeugungsvorrichtung 100 (z. B. ein TOF-3D-Bilderzeugungssystem), das ein Sendeempfänger für eine auf Bildsensoren basierende, optische Kommunikation sein kann. Die TOF-Bilderzeugungsvorrichtung kann Tiefenmessungen mit optischer Kommunikation kombinieren, was eine präzise Lokalisierung eines Kommunikationspartners ermöglichen kann. Die TOF-Bilderzeugungsvorrichtung kann ferner für eine gesicherte Einrichtungsauthentifizierung, erweiterte Realität (augmented reality) oder Hochgeschwindigkeits-Positions-Tracking (-Nachführung) verwendet werden.
Die hierin beschriebenen Beispiele beziehen sich auf zwei mit TOF-Sensoren ausgestattete Systeme (z. B. zwei TOF-Bilderzeugungsvorrichtungen) die über eine Sichtlinienverbindung persönlich (face to face) kommunizieren können. Aufgrund des Tiefenmessprinzips können die TOF-Systeme eine Phasenumtastung (PSK) des gepulsten Lichts (PLPSK; PLPSK = Phase-Shift-Keying of pulsed light) verwenden, um Daten zu übertragen. Durch Verwenden einer aktiven Beleuchtungseinheit als Emitter kann dies ohne zusätzliche Hardware realisiert werden. Das Modulationsverfahren kann 2 Bits pro Symbol codieren und kann somit hinsichtlich Bandbreite und Robustheit anderen Modulationsschemata in dem Bildsensorbereich überlegen sein. PLPSK kann bei beiden Systemen synchronisierte Modulationssignale erfordern. Ohne Synchronisierung kann eine optische Kommunikation zwischen zwei TOF-Systemen, die PSK verwenden, stark beeinträchtigt sein und als unmöglich angesehen werden. Die TOF-Bilderzeugungsvorrichtung 100 kann eine Frequenzdifferenz zwischen diesen beiden TOF-Systemen (oder Kameras) erfassen und kompensieren. Eine Erfolgsrate von 100 % kann erreicht werden.
Die hierin beschriebenen Beispiele beziehen sich auf eine TOF-Bilderzeugungsvorrichtung 100, die eine (externe) aktive Beleuchtungseinheit unabhängig ohne Drahtverbindung betreiben kann. Zum Beispiel gibt es möglicherweise keine physische Verbindung der Beleuchtungseinheit und der TOF-Bilderzeugungsvorrichtung 100 (Sensor) bei normalen Tiefenerfassungsanwendungen. Die TOF-Bilderzeugungsvorrichtung 100 kann die Tiefenerfassungskamera mit der Beleuchtungseinheit synchronisieren, was Entwurfsgrenzen abschwächen kann, die bei anderen Laufzeit-Einrichtungen existieren.
Die hierin beschriebenen Beispiele beziehen sich auf eine TOF-Bilderzeugungsvorrichtung 100, die eine optische Kommunikation zwischen zwei Laufzeit-Kameras ermöglichen kann. Die TOF-Bilderzeugungsvorrichtung kann ferner Tiefenerfassungssysteme mit optischer Kommunikation kombinieren, die eine Rolle in einer vollständig standortbewussten Kommunikation (Location-Aware-Communication) spielen kann. Die TOF-Bilderzeugungsvorrichtung 100 kann die Verwendung der Pixelposition der projizierten Lichtquelle und von Tiefenmessungen ermöglichen, um den Kommunikationspartner präzise zu lokalisieren. Dieses Standortbewusstsein (Location Awareness) bei der Kommunikation kann beispiellos sein und kann nur mit TOF-Sensoren in einer derartigen Miniaturisierung erreicht werden. Die Pixel der TOF-Kameras können auch empfindlich sein für gepulstes Licht, das sämtliches Hintergrundlicht eliminieren kann. Daher ist keine weitere Bildverarbeitung notwendig, um Information aus den gesammelten Daten zu extrahieren.
Die hierin beschriebenen Beispiele beziehen sich auf eine TOF-Bilderzeugungsvorrichtung 100, die es vermeiden kann, die Modulationsfrequenzdifferenz direkt auf dem Sensor durch Bewerten der Pixelinhalte zu detektieren, um eine Modulationssignalsynchronisierung zu erreichen. Die TOF-Bilderzeugungsvorrichtung 100 kann ein Verwenden eines separaten Photodetektors (z. B. einer Photodiode), um das Modulationssignal der anderen Kamera wiederherzustellen, vermeiden. Die TOF-Bilderzeugungsvorrichtung 100 kann zusätzliche Hardware vermeiden, die mit TOF-Kamerasystemen inkompatibel sein kann. Ferner kann die TOF-Bilderzeugungsvorrichtung eine gleichzeitige Handhabung von mehreren Kommunikationspartners erlauben.
2 zeigt eine Repräsentation 200 eines Sensorpixel-Ausgangssignals 211, das eine Beziehung zwischen Phasenwerten 212 in Bezug auf Zeit 213 repräsentiert.
Die Repräsentation 200 zeigt ein Sensorpixel-Ausgangssignal 211, das durch die Pixelschaltungsanordnung einer TOF-Bilderzeugungsvorrichtung (z. B. einer Slave-Einrichtung) erzeugt wird, nach dem Empfangen eines externen Lichtsignals von einer weiteren TOF-Bilderzeugungsvorrichtung (z. B. einer Master-Einrichtung). Das Sensorpixel-Ausgangssignal 211 zeigt Ausgangswerte bezogen auf einen Phasenversatz (z. B. Phasenwerte) zwischen dem externen Lichtsignal 102 und dem Referenzsignal 103, wenn die Frequenzen des externen Lichtsignals und des Referenzsignals nicht synchronisiert sind.
Wenn der Sender (Master) ein Signal mit konstanter Phase emittiert, kann der Slave das sich ergebende periodische Signal erfassen und die Frequenzdifferenz (Versatz) ΔF schätzen. Die Repräsentation 200 zeigt ein Sensorpixel-Ausgangssignal 211, wenn ein Frequenzversatz zwischen der externen Modulationsfrequenz und der Referenzfrequenz größer ist als ein Schwellenwert (z. B. größer als 0). Wenn zum Beispiel der Modulationstakt des Senders des externen Lichtsignals und der Modulationstakt der empfangenden TOF-Bilderzeugungsvorrichtung 100 nicht synchronisiert werden, ändern sich die gemessenen Phasenwerte im Zeitablauf. Zum Beispiel kann das Sensorpixel-Ausgangssignal 211 ein trianguläres periodisches Signal sein. Zum Beispiel kann die Frequenz des Sensorpixel-Ausgangssignals 211 dieselbe sein wie die (oder gleich sein zu der) Frequenzdifferenz (Versatz) ΔF der Modulationssignale (z. B. zwischen der externen Modulationsfrequenz des externen Lichtsignals und der Referenzfrequenz des internen Referenzsignals). Die Frequenz des Sensorpixel-Ausgangssignals 211 kann verwendet werden, um das System zu synchronisieren.
Weitere Details und Aspekte werden in Verbindung mit den vor- oder nachstehend beschriebenen Beispielen erwähnt. Die in 2 gezeigten Beispiele können ein oder mehrere optionale zusätzliche Merkmale aufweisen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren vorstehend (z. B. 1) oder nachstehend (z. B. 3A bis 6) beschriebenen Beispiel erwähnt sind.
3A zeigt ein Flussdiagramm der Prozesse, die durch die TOF-Bilderzeugungsvorrichtung 100 ausgeführt werden können. Zum Beispiel zeigt 3A ein Flussdiagramm der Prozesse, die durch die Synchronisierungsschaltungsanordnung der TOF-Bilderzeugungsvorrichtung 100 ausgeführt werden können. Zum Beispiel zeigt 3A einen Frequenzadaptations- (oder Synchronisierungsprozedur-) prozess.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein (in 331) zum Starten einer Synchronisierungsprozedur.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein (in 332) zum Abtasten des Sensorpixel-Ausgangssignals, O, 105, um die Frequenz des Sensorpixel-Ausgangssignals 105 zu bestimmen. Zum Beispiel kann das Signal O durch die Slave-Einrichtung abgetastet werden.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein (in 333) zum Durchführen einer Frequenzversatzschätzung. Zum Beispiel kann die Synchronisierungsschaltungsanordnung 106 ausgebildet sein zum Herleiten des Frequenzversatzes, Fest, bezogen auf die Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz basierend auf der Frequenz des Sensorpixel-Ausgangssignals 105. Zum Beispiel kann die Frequenz des Sensorpixel-Ausgangssignals 105 geschätzt werden.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein (in 334) zum Bestimmen, ob der Frequenzversatz zwischen der externen Modulationsfrequenz und der Referenzfrequenz geringer ist als ein (oder unter einem) Schwellenwert. Zum Beispiel kann die Synchronisierungsschaltungsanordnung 106 ausgebildet sein zum Bestimmen ob der Frequenzversatz gleich null ist.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein (in 335) zum Beenden der Synchronisierungsprozedur, wenn bestimmt wird, dass der Frequenzversatz unter einem Schwellenwert (oder z. B. gleich null) ist. Zum Beispiel ist es nicht erforderlich, dass die Synchronisierungsschaltungsanordnung die Referenzfrequenz des Referenzsignals adaptiert.
Wenn bestimmt wird, dass der Frequenzversatz nicht unter einem Schwellenwert ist (z. B. wenn der geschätzte Frequenzversatz Fest nicht gleich null ist) kann die Synchronisierungsschaltungsanordnung 106 ausgebildet sein (in 336) zum Vergleichen des aktuellen geschätzten Frequenzversatzes mit einem vorherigen geschätzten Frequenzversatz, um zu bestimmen, ob der aktuelle Frequenzversatz schlechter (z. B. größer) ist als der vorherige geschätzte Frequenzversatz.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein (in 337) zum Bestimmen, ob ein falsches Vorzeichen zu einem nicht messbaren Frequenzversatz führen kann, wenn der vorherige geschätzte Frequenzversatz nicht größer ist als der vorherige geschätzte Frequenzversatz und/oder wenn es keinen vorherigen geschätzten Frequenzversatz gab.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein (in 338) zum Bestimmen eines Anpassungswertes, Fadj. Der Anpassungswert, Fadj, kann eine Größe aufweisen, die dem Frequenzversatz Fest entspricht (z. V. Fadj = Fest).
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein (in 339) zum zufälligen Auswählen eines Vorzeichens (positiv oder negativ) des Anpassungswertes Fadj.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein (in 341) zum Anpassen (oder Adaptieren) der Referenzfrequenz Fmod durch den Anpassungswert (z. B. + Fadj oder -Fadj). Zum Beispiel kann die Referenzfrequenz Fmod des Referenz-(Modulations-) Signal durch +Fadj=Fest adaptiert werden.
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein (in 342) zum Bestimmen eines Anpassungswertes, Fadj, wenn der vorherige geschätzte Frequenzversatz größer ist als der vorherige geschätzte Frequenzversatz. Der Anpassungswert, Fadj, kann eine Größe aufweisen, die dem neuen Frequenzversatz, Fest, entspricht. Der Anpassungswert, Fadj, kann ein umgekehrtes Vorzeichen zu dem vorherigen Vorzeichen zu dem Anpassungswert aufweisen (siehe 3B).
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein (in 342) zum Bestimmen eines Anpassungswertes, wenn bestimmt wird (in 337), dass ein falsches Vorzeichen zu einem nicht messbaren Frequenzversatz führen kann. Der Anpassungswert, Fadj, kann eine Größe aufweisen, die dem geschätzten Frequenzversatz multipliziert mit einem Grenzwert α entspricht (z. B. Fadj= Fest×α wenn 0< α <1).
Die Synchronisierungsschaltungsanordnung 106 kann ausgebildet sein zum iterativen Variieren der Referenzfrequenz, bis die Frequenz des Sensorpixel-Ausgangssignals unter einem vorbestimmten Schwellenwert ist.
Der Synchronisierungsansatz (oder -prozesse) kann auf einem Erfassen des Sensorpixel-Ausgangssignals und Schätzen der Frequenz basieren. Die geschätzte Frequenz kann dann verwendet werden, um die Frequenzerzeugungsschaltung (z. B. die Phasenregelschleife PLL) in dem Laufzeit-Sensor zu adaptieren, was dazu führen kann, dass die Modulationsfrequenz der TOF-Bilderzeugungsvorrichtung angepasst wird (die Slave-Einrichtung).
Die Adaptationsvorrichtung kann iterativ sein, weil es möglicherweise nicht möglich ist, beim ersten Versuch die Frequenzdifferenz präzise genug zu schätzen. Es kann auch ungewiss sein, ob die Frequenzdifferenz positiv oder negativ ist und daher schätzt die Prozedur das Vorzeichen der adaptierten Frequenz zuerst, kann aber bei der nächsten Iteration detektieren, ob die Adaptation falsch war.
3B zeigt graphische Darstellungen (340, 350, 360) von zumindest einem Teil des Synchronisierungsprozesses, der durch die Synchronisierungsschaltungsanordnung (z. B. die Synchronisierung bezogen auf einen aufgezeichneten Datensatz) durchgeführt wird.
Darstellung 340 zeigt ein anfängliches Sensorpixel-Ausgangssignal (oder Phasenversatzsignal O). In 340 (und wie beschrieben in 332) kann das Signal 345 (z. B. das Sensorpixel-Ausgangssignal) für eine kurze Zeit abgetastet werden und ΔF (oder Fest) wird auf 30,82 Hz geschätzt.
Ein positives Vorzeichen kann beliebig ausgewählt werden und die Phasenregelschleife der Synchronisierungsschaltungsanordnung kann durch diesen Wert Fest (+30,82 Hz) adaptiert werden.
Bei der nachfolgenden Iteration kann das Signal (das Sensorpixel-Ausgangssignal) (iterativ) erneut abgetastet werden (in 340). Dieses Mal kann die geschätzte Frequenzdifferenz 60,62 Hz sein, was bedeutet, dass das vorherige Vorzeichen falsch war. Zum Beispiel kann das neue Sensorpixel-Ausgangssignal (neues Phasenversatzsignal) eine größere Frequenz aufweisen als das vorherige anfängliche Sensorpixel-Ausgangssignal. Dieses Mal kann die Synchronisierungsschaltungsanordnung ausgebildet sein zum Adaptieren der Frequenz um -60,62 Hz unter Verwendung des Umgekehrten des vorherigen Vorzeichens. Da bei der vorherigen Iteration ein positives Vorzeichen gewählt wurde, wird bei der aktuellen Iteration zum Beispiel ein negatives Vorzeichen gewählt.
Bei 360 wird bestimmt, dass der Frequenzversatz ΔF ausreichend klein ist (z. B. fällt die Frequenz des Sensorpixel-Ausgangssignals unter einen Schwellenwert) und somit kann kein periodisches Signal bestimmt werden.
Die Synchronisierungsschaltungsanordnung kann in Software implementiert werden. Die TOF-Kamera kann durch I2C-Befehle gesteuert werden. Diese Befehle können verursachen, dass der TOF-Sensor seine Modulationsfrequenz über seine interne PLL ändert.
Weitere Details und Aspekte werden in Verbindung mit den vor- oder nachstehend beschriebenen Beispielen erwähnt. Die in 3A und 3B gezeigten Beispiele können jeweils ein oder mehrere optionale zusätzliche Merkmale aufweisen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren vorstehend (z. B. 1 bis 2) oder nachstehend (4A bis 6) beschriebenen Beispielen erwähnt sind.
4A zeigt eine schematische Darstellung einer ersten TOF-Bilderzeugungsvorrichtung 100 und einer zweiten TOF-Bilderzeugungsvorrichtung 400. Zum Beispiel zeigt 4A ein Prinzip von optischer Kommunikation auf Laufzeitbasis.
Die erste TOF-Bilderzeugungsvorrichtung 100 (z. B. eine Slave-Einrichtung) umfasst eine Sensorschaltung 455, die die Mehrzahl von Sensorpixeln 101 umfassen kann. Die Sensorschaltung 455 kann ausgebildet sein zum Empfangen des externen Lichtsignals 102, das mit der externen Modulationsfrequenz moduliert wird. Die erste TOF-Bilderzeugungsvorrichtung 100 (die Slave-Einrichtung) kann ausgebildet sein zum Empfangen des externen Lichtsignals 102 von einer externen (oder zweiten) TOF-Bilderzeugungsvorrichtung 400 (z. B. einer Master-Einrichtung).
Die erste TOF-Bilderzeugungsvorrichtung 100 umfasst ferner eine Pixelschaltungsanordnung. Zumindest ein Teil der Pixelschaltungsanordnung kann sich innerhalb der Sensorschaltung 455 befinden. Zusätzlich, optional oder alternativ kann zumindest ein Teil der Pixelschaltungsanordnung der ersten TOF-Bilderzeugungsvorrichtung 100 mit einem Teil eines Verarbeitungssystems 451 der ersten TOF-Bilderzeugungsvorrichtung 100 verbunden sein oder kann Teil derselben sein.
Die erste TOF-Bilderzeugungsvorrichtung 100 kann ferner eine Synchronisierungsschaltungsanordnung 106 (z. B. eine Modulationstaktversorgung) umfassen, die ausgebildet ist zum Anpassen der Referenzfrequenz des Referenzsignals 103 basierend auf dem Sensorpixel-Ausgangssignal 105. Die Synchronisierungsschaltungsanordnung 106 kann eine Phasenregelschleifenschaltung 452 umfassen, die ausgebildet ist zum Erzeugen des Referenzsignals, Fmod. Die Phasenregelschleifenschaltung 452 kann eine Referenzoszillatorschaltung 457 umfassen, die ausgebildet ist zum Erzeugen des Referenzsignals 103.
Die Synchronisierungsschaltungsanordnung 106 kann ferner eine Phasenverschiebungsschaltung 453 (z. B. eine Phasenverschiebungseinheit PSU (PSU = Phase Shifting Unit)) umfassen, die mit der Phasenregelschleifenschaltung 452 verbunden sein kann oder die als Teil der Phasenregelschleife 452 implementiert sein kann. Die Phasenverschiebungsschaltung 453 kann das Referenzsignal Fmod empfangen und kann eine Mehrzahl von Vorspannungssignalen basierend auf dem Referenzsignal Fmod erzeugen.
Die erste-TOF-Bilderzeugungsvorrichtung 100 kann ferner ein Verarbeitungssystem oder -schaltung 451 umfassen. Das Verarbeitungssystem 451 kann eine Pixelschaltungsanordnung und Steuerschaltungsanordnung umfassen oder kann mit einer selben verbunden sein. Das Verarbeitungssystem 451 (z. B. die Steuerschaltungsanordnung) kann ausgebildet sein zum Steuern einer emittierenden Schaltung der TOF-Bilderzeugungsvorrichtung 101. Das Verarbeitungssystem 451 kann mit der Phasenverschiebungsschaltung 453 verbunden sein und kann eine Übertragung von Information durch Phasenumtastung (PSK) steuern. Zum Beispiel kann die Steuerschaltungsanordnung des Verarbeitungssystems 451 die Übertragung von Lichtpulsen (Plight) durch die emittierende Schaltung 454 mit einer konstanten Phasen oder unterschiedlichen Phasenverschiebungen steuern. Das Verarbeitungssystem (z. B. die Pixelschaltungsanordnung des Verarbeitungssystems) kann mit der Synchronisierungsschaltungsanordnung 106 verbunden sein. Das Verarbeitungssystem kann Information an die Synchronisierungsschaltungsanordnung 106 zum Adaptieren übertragen, um das Referenzsignal, Fmod, zu synchronisieren.
Die zweite (externe) TOF-Bilderzeugungsvorrichtung 400 (z. B. eine Master-Einrichtung) kann ähnlich (identisch) zu der ersten TOF-Bilderzeugungsvorrichtung 100 sein. Zum Beispiel kann die zweite TOF-Bilderzeugungsvorrichtung 400 eine emittierende Schaltung 464, eine Sensorschaltung 471 umfassend eine Mehrzahl von Sensorpixeln, eine Synchronisierungsschaltungsanordnung 406 (z. B. eine Modulationstaktversorgung), eine Phasenverschiebungsschaltung 463 (z. B. eine Phasenverschiebungseinheit) und ein Verarbeitungssystem 461 (z. B. umfassend Pixelschaltungsanordnung und Steuerschaltungsanordnung) umfassen.
Die zweite TOF-Bilderzeugungsvorrichtung 400 kann ausgebildet sein zum Senden eines konstanten Phasensignals an die erste TOF-Bilderzeugungsvorrichtung 100. Zum Beispiel kann das Verarbeitungssystem die Phasenverschiebungseinheit 463 steuern, um die Phasenverschiebung auf 0° während des (oder z. B. während des gesamten) Synchronisierungsprozesses einzustellen. Die Phasenverschiebungseinheit 463 kann ausgebildet sein zum Senden eines Lichtsignals mit einer konstanten 0° Phasenverschiebung während der (oder z. B. während der gesamten) Synchronisierung. Das Verarbeitungssystem 461 kann ferner die Phasenverschiebungseinheit 463 steuern, um Information durch PSK zu übertragen. Zusätzlich, alternativ oder optional kann der zweiten TOF-Bilderzeugungsvorrichtung 400 die Synchronisierungsschaltungsanordnung der ersten TOF-Bilderzeugungsvorrichtung 100 fehlen (oder kann dieselbe nicht aufweisen). Zum Beispiel kann die erste TOF-Bilderzeugungsvorrichtung 100 in der Lage sein, ihr internes Referenzsignal an das Referenzsignal der zweiten TOF-Bilderzeugungseinrichtung 400 zu adaptieren oder anzupassen, selbst wenn die zweite TOF-Bilderzeugungseinrichtung 400 nicht in der Lage ist, ihr eigenes internes Referenzsignal zu adaptieren oder anzupassen.
Wie in 4A gezeigt können zwei TOF-Kameras (100, 400) durch Phasenumtastung kommunizieren. Zum Beispiel können sie modulierte Lichtdatensignale mit unterschiedlichen Phasenverschiebungen (z. B. 0°, 90°, 180° und 270°) übertragen. Sie können ihre eingebaute Phasenverschiebungseinheit für die Modulation verwenden. Die Phasenverschiebung kann an jedem Pixel demoduliert werden, z. B. nachdem das Slave-Einrichtungssystem sein Modulationssignal Fmod mit dem Master-Einrichtungssystem synchronisiert hat.
Eine Distanz zwischen der ersten TOF-Bilderzeugungsvorrichtung 100 und der zweiten TOF-Bilderzeugungsvorrichtung 400 kann weniger sein als 15 m. Die erste TOF-Bilderzeugungsvorrichtung 100 und die zweite TOF-Bilderzeugungsvorrichtung 400 können mit MiraCE-Sensor-Software konfiguriert sein.
4B zeigt das Vorhandensein von mehrdeutigen Phasenwerten, wenn die Referenzfrequenz der ersten TOF-Bilderzeugungsvorrichtung 100 nicht mit der Referenzfrequenz der zweiten TOF-Bilderzeugungsvorrichtung 400 synchronisiert wird.
Wenn es eine Frequenzdifferenz zwischen der Referenzfrequenz der ersten TOF-Bilderzeugungsvorrichtung 100 und der Referenzfrequenz der zweiten TOF-Bilderzeugungsvorrichtung 400 gibt (z. B. ΔF > 0 oder z. B. ΔF > ein Schwellenwert), ändern sich die Phasen zwischen den Modulationssignalen im Zeitablauf. Linie 471 zeigt ein Datensignal mit einer Phasenverschiebung von 0°. Linie 472 zeigt ein Datensignal mit einer Phasenverschiebung von 90°. Dies führt zu mehrdeutigen Phasenwerten 473 (Kreise), was bei der Kommunikation direkt zu Fehlern führen.
4C zeigt das Fehlen von mehrdeutigen Phasenwerten, wenn die Referenzfrequenz der ersten TOF-Bilderzeugungsvorrichtung 100 mit der Referenzfrequenz der zweiten TOF-Bilderzeugungsvorrichtung 400 synchronisiert wird.
Linie 481 zeigt ein Datensignal mit einer Phasenverschiebung von 0°. Linie 482 zeigt ein Datensignal mit einer Phasenverschiebung von 90°. Wenn die Frequenzen der Modulations-(Referenz-) Signale identisch oder unter einem Schwellenwert sind (z. B. ΔF = 0), erzeugen unterschiedliche Phasen unterschiedliche Ausgänge, und die Anzahl von mehrdeutigen Phasenwerten kann reduziert oder eliminiert werden.
4D zeigt eine graphische Darstellung von möglichen Sensorpixel-Ausgangssignalen, wenn ein externes Lichtsignal mit einer Phasenverschiebung von 0° oder 180° von der Master-Einrichtung empfangen wird.
Linie 483 zeigt ein Sensorpixel-Ausgangssignal, wenn das externe Lichtsignal eine konstante Phasenverschiebung von 0° aufweist. Linie 484 zeigt ein Sensorpixel-Ausgangssignal, wenn das externe Lichtsignal eine konstante Phasenverschiebung von 180° aufweist.
4E zeigt eine graphische Darstellung eines Sensorpixel-Ausgangssignals S(x), wenn ein externes Lichtsignal mit zufälligen Phasenverschiebungen von der Master-Einrichtung empfangen wird, derart, als ob die Master-Einrichtung ein externes Lichtsignal mit Phasenverschiebungen überträgt, die sich zwischen 0° und 180° ändern.
Nachstehend wird ein Beispiel beschrieben, wie die Pixelschaltungsanordnung 104 die Frequenzdifferenz F aus einer Master-Einrichtung extrahieren kann, die mehrere Phasenwerte emittiert.
Durch Verwenden einer parametrisierten periodischen Funktion, z. B. einer Sinuswelle, in der folgenden Form:

f(x)=c*sin(2π*a*x+b) kann die Pixelschaltungsanordnung 104 der TOF-Bilderzeugungsvorrichtung 100 Parameter a bestimmen, der proportional zu der Frequenz des Phasenversatzsignals ist. Die Pixelschaltungsanordnung 104 der TOF-Bilderzeugungsvorrichtung 100 kann E in dem folgenden Glied minimieren, wobei: E=sum(abs(sin(2π*a*x+b))-S(x)) [sum = Summe] für alle Abtastwerte von 1 bis x.

Parameter b kann auf Werte 0 und π eingestellt sein, die der Phasenverschiebung 0° und 180° in dem externen Lichtsignal entsprechen. Parameter x kann der maximale Rohwert des Signals sein, der durch Verwenden des maximalen Abtastwertes in Signal S hergeleitet werden kann. Parameter a kann das erwünschte Ergebnis sein und durch Verwenden eines numerischen Approximationsalgorithmus gefunden werden. Die Frequenzdifferenz von Hz zwischen dem Master und dem Slave kann durch f= a/(2*π) hergeleitet werden.
Weitere Details und Aspekte werden in Verbindung mit den vor- oder nachstehend beschriebenen Beispielen erwähnt. Die in 4A bis 4E gezeigten Beispiele können jeweils ein oder mehrere optionale zusätzliche Merkmale aufweisen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren vorstehend (z. B. 1 bis 3B) oder nachstehend (5 bis 6) beschriebenen Beispielen erwähnt sind.
5 zeigt eine schematische Darstellung einer Laufzeit-Bilderzeugungsvorrichtung 500.
Die Laufzeit-Bilderzeugungsvorrichtung 500 umfasst zumindest ein Sensorpixel 101, das ausgebildet ist zum Empfangen eines modulierten Lichtsignals 102.
Die Laufzeit-Bilderzeugungsvorrichtung 500 umfasst ferner eine Pixelschaltungsanordnung 104, die ausgebildet ist zum Erzeugen eines Sensorpixel-Ausgangssignals 105 basierend auf einer Demodulation des modulierten Lichtsignals 102 unter Nutzung eines Referenzsignals 103.
Die Laufzeit-Bilderzeugungsvorrichtung 500 umfasst ferner eine Synchronisierungsschaltungsanordnung 106, die ausgebildet ist zum Erzeugen des Referenzsignals 103 mit einer angepassten Referenzfrequenz basierend auf dem Sensorpixel-Ausgangssignal 105.
Da die Laufzeit- (TOF-) Bilderzeugungsvorrichtung 500 eine Synchronisierungsschaltungsanordnung 106 umfasst, die ausgebildet ist zum Erzeugen des Referenzsignals 103 mit einer angepassten Referenzfrequenz kann die TOF-Bilderzeugungsvorrichtung 500 ihre eigene Referenzfrequenz an die externe Modulationsfrequenz eines Signals von einer externen Einrichtung anpassen oder adaptieren. Dies kann dazu führen, dass eine Kommunikation (z. B. die Übertragung von Ladedaten) zwischen der TOF-Bilderzeugungsvorrichtung 500 und einer externen Einrichtung aufgrund einer verbesserten Synchronisierung zwischen der Referenzfrequenz der TOF-Bilderzeugungsvorrichtung 500 und der externen Modulationsfrequenz genauer ist. Ladedateninformation in Datensignalen, die durch die TOF-Bilderzeugungsvorrichtung 500 empfangen werden, können somit durch die TOF-Bilderzeugungsvorrichtung 500 genauer decodiert werden, da die Anzahl von mehrdeutigen Phasenwerten während des Decodierens reduziert werden kann.
Die TOF-Bilderzeugungsvorrichtung 500 kann ein oder mehrere oder alle der Merkmale der Bilderzeugungsvorrichtung 100 aufweisen. Zum Beispiel kann die TOF-Bilderzeugungsvorrichtung 500 eine Pixelschaltungsanordnung 104 umfassen, die ausgebildet ist zum Erzeugen des Sensorpixel-Ausgangssignals 105. Die Pixelschaltungsanordnung 104 kann ausgebildet sein zum Erzeugen des Sensorpixel-Ausgangssignals 105 auf einer Demodulation des modulierten Lichtsignals 102 unter Nutzung des Referenzsignals 103, um eine Phaseninformation (oder Phasenversatz-)Information bezogen auf das modulierte Lichtsignal 102 und das Referenzsignal 103 herzuleiten (oder zu extrahieren).
Weitere Details und Aspekte werden in Verbindung mit den vor- oder nachstehend beschriebenen Beispielen erwähnt. Die in 5 gezeigten Beispiele können ein oder mehrere optionale zusätzliche Merkmale aufweisen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren der vorstehend (z.B. 1 bis 4C) oder nachstehend (z.B. 6) beschriebenen Beispiele erwähnt werden.
6 zeigt ein Flussdiagramm eines Verfahrens 700 zum Anpassen einer Referenzfrequenz.
Das Verfahren 600 umfasst ein Empfangen (in 610) eines externen Lichtsignals, das mit einer externen Modulationsfrequenz moduliert wird, durch eine Mehrzahl von Sensorpixel.
Das Verfahren umfasst ferner ein Erzeugen (in 620) eines Sensorpixel-Ausgangssignals basierend auf dem externen Lichtsignal und einem Referenzsignal mit einer Referenzfrequenz durch eine Pixelschaltungsanordnung, wobei das Sensorpixel-Ausgangssignal eine Frequenz aufweist, die von einer Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz abhängt.
Das Verfahren umfasst ferner ein Anpassen (in 630) der Referenzfrequenz des Referenzsignals basierend auf dem Sensorpixel-Ausgangssignal durch die Synchronisierungsschaltungsanordnung.
Aufgrund des Anpassens der Referenzfrequenz des Referenzsignals basierend auf dem Sensorpixel-Ausgangssignal kann eine Referenzfrequenz (z. B. einer TOF-Bilderzeugungsvorrichtung) an die externe Modulationsfrequenz des externen Lichtsignals adaptiert werden. Dies kann dazu führen, dass eine Kommunikation (z. B. die Übertragung von Ladedaten) zwischen der TOF-Bilderzeugungsvorrichtung und einer externen Einrichtung aufgrund einer verbesserten Synchronisierung zwischen der Referenzfrequenz der TOF-Bilderzeugungsvorrichtung und der externen Modulationsfrequenz genauer ist. Ladedateninformation in Datensignalen, die durch die TOF-Bilderzeugungsvorrichtung empfangen werden, können somit durch die TOF-Bilderzeugungsvorrichtung genauer decodiert werden, da die Anzahl von mehrdeutigen Phasenwerten während des Decodierens reduziert werden kann.
Das Verfahren 600 kann durch eine TOF-Bilderzeugungsvorrichtung ausgeführt werden.
Das externe Lichtsignal kann ein Lichtsignal sein, das durch eine externe Lichtquelle emittiert wird. Zum Beispiel kann die TOF-Bilderzeugungsvorrichtung ausgebildet sein zum Empfangen des externen Lichtsignals von der externen Lichtquelle über Luft oder durch eine Glasfaser. Zum Beispiel kann die externe Lichtquelle von der TOF-Bilderzeugungsvorrichtung elektrisch isoliert sein und/oder keine zusätzlichen elektrischen Signale können zwischen ihnen übertragen werden. Zum Beispiel gibt es möglicherweise keine verdrahteten (oder Kabel-) Verbindungen zwischen der externen Lichtquelle und der TOF - Bilderzeugungsvorrichtung.
Zusätzlich, alternativ oder optional kann das externe Lichtsignal ein Lichtsignal sein, das durch die externe Lichtquelle emittiert und durch ein Objekt reflektiert wird. Zum Beispiel können die externe Lichtquelle (z. B. eine Beleuchtungseinheit) und eine TOF-Bilderzeugungsvorrichtung in die gleiche Richtung gewandt sein (z. B. einer Szene oder einem Objekt zugewandt sein) und können im Tiefenerfassungsmodus operieren. Selbst wenn es keine Kabelverbindung gibt, die die externe Lichtquelle mit der TOF-Bilderzeugungsvorrichtung verbindet, kann der TOF-Sensor das Licht verwenden, das von der externen Lichtquelle emittiert und durch eine Szene (oder Objekt) reflektiert wird, um die Referenzfrequenz seines eigenen Referenz- (Modulations-) Signals mit der Frequenz der externen Lichtquelle zu synchronisieren.
Zusätzlich, alternativ oder optional kann das externe Lichtsignal ein Lichtsignal sein, das durch eine externe Laufzeit-Bilderzeugungsvorrichtung emittiert wird. Zum Beispiel kann die externe TOF-Bilderzeugungsvorrichtung von der TOF-Bilderzeugungsvorrichtung elektrisch isoliert sein und/oder keine zusätzlichen elektrischen Signale können zwischen ihnen übertragen werden. Zum Beispiel gibt es möglicherweise keine verdrahtete (oder Kabel-) Verbindungen zwischen der externen TOF-Bilderzeugungsvorrichtung und der TOF-Bilderzeugungsvorrichtung. Die TOF-Bilderzeugungsvorrichtung kann ihre interne Referenzfrequenz mit der Referenzfrequenz der externen TOF-Bilderzeugungsvorrichtung synchronisieren.
Das Verfahren 600 kann ferner ein Empfangen eines externen modulierten Lichtdatensignals, das Ladedaten umfasst, durch die Mehrzahl von Sensorpixel nach dem Anpassen der Referenzfrequenz umfassen, sodass die Frequenz des Sensorpixel-Ausgangssignals unter einen Schwellenwert fällt.
Das Verfahren 600 umfasst ferner ein Herleiten von Ladedaten des externen modulierten Lichtdatensignals, das nach dem Anpassen der Referenzfrequenz des Referenzsignals empfangen wird. Zum Beispiel können die Ladedaten des externen modulierten Lichtdatensignals hergeleitet werden, nachdem eine Frequenz des Sensorpixel-Ausgangssignals unter einen Schwellenwert fällt. Die Ladedaten des externen modulierten Lichtsignals können basierend auf dem Referenzsignal mit der angepassten Referenzfrequenz und dem externen modulierten Lichtsignal hergeleitet werden.
Das Verfahren 600 kann ferner ein Erzeugen eines dreidimensionalen Bildes eines Objekts und/oder ein Bestimmen einer Distanzinformation zwischen einer TOF-Bilderzeugungsvorrichtung und einem Objekt basierend auf einem modulierten Lichtsignal mit der angepassten Referenzfrequenz umfassen. Zum Beispiel können das Erzeugen des dreidimensionalen Bildes des Objekts und/oder das Bestimmen der Distanzinformation ein Emittieren eines modulierten Lichtsignals mit der angepassten Referenzfrequenz und ein Empfangen eines reflektierten modulierten Lichtsignals mit der angepassten Referenzfrequenz umfassen.
Weitere Details und Aspekte werden in Verbindung mit den vor- oder nachstehend beschriebenen Beispielen erwähnt. Die in 6 gezeigten Beispiele können ein oder mehrere optionale zusätzliche Merkmale aufweisen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren der vorstehend (z.B. 1 bis 5) oder nachstehend beschriebenen Beispiele erwähnt werden.
Verschiedene Beispiele beziehen sich auf eine Modulationssignalsynchronisierung für Laufzeit-Sensoren. Die Beispiele können eine Prozedur verwenden, um die Modulationssignale von zwei TOF-Kameras (A und B) zu synchronisieren. Ein gepulstes Lichtsignal kann durch TOF-Kamera A emittiert und durch TOF-Kamera B empfangen werden. Das Signal kann durch das Verarbeitungssystem der TOF-Kamera B analysiert werden, und die Frequenzdifferenz zwischen den Modulationssignalen von TOF-Kamera A und TOF-Kamera B kann bestimmt werden. Diese Information kann verwendet werden, um die Frequenz des Modulationssignals bei TOF-Kamera B für die Synchronisierung zu adaptieren.
Die Aspekte und Merkmale (z. B. die TOF-Bilderzeugungsvorrichtung, die Mehrzahl von Sensorpixeln, das externe Lichtsignal, die Pixelschaltungsanordnung, das Referenzsignal, das Sensorpixel-Ausgangssignal, die Synchronisierungsschaltungsanordnung, die weitere TOF-Bilderzeugungsvorrichtung, die Phasenregelschleife, die Referenzoszillatorschaltung, die Steuerschaltung), die zusammen mit einem oder mehreren der vorab detailliert beschriebenen Beispiele und Figuren erwähnt und beschrieben wurden, können auch mit einem oder mehreren der anderen Beispiele kombiniert werden, um ein ähnliches Merkmal des anderen Beispiels zu ersetzen oder um das Merkmal zusätzlich in das andere Beispiel einzuführen.
Beispiele können weiterhin ein Computerprogramm mit einem Programmcode zum Durchführen eines oder mehrerer der obigen Verfahren sein oder sich darauf beziehen, wenn das Computerprogramm auf einem Computer oder Prozessor ausgeführt wird. Schritte, Operationen oder Prozesse verschiedener, oben beschriebener Verfahren können durch programmierte Computer oder Prozessoren ausgeführt werden. Beispiele können auch Programmspeichereinrichtungen, z. B. Digitaldatenspeichermedien, abdecken, die maschinen-, prozessor- oder computerlesbar sind und maschinenausführbare, prozessorausführbare oder computerausführbare Programme von Anweisungen codieren. Die Anweisungen führen einige oder alle der Schritte der oben beschriebenen Verfahren durch oder veranlassen die Durchführung. Die Programmspeichereinrichtungen können z. B. Digitalspeicher, magnetische Speichermedien wie beispielsweise Magnetplatten und Magnetbänder, Festplattenlaufwerke oder optisch lesbare Digitaldatenspeichermedien sein. Auch sollen weitere Beispiele Computer, Prozessoren oder Steuerungseinheiten programmiert zum Durchführen der Schritte der oben beschriebenen Verfahren oder (feld-) programmierbare Logik-Arrays ((F)PLA = (Field) Programmable Logic Arrays) oder (feld-) programmierbare Gate-Arrays ((F)PGA = (Field) Programmable Gate Arrays) programmiert zum Durchführen der Schritte der oben beschriebenen Verfahren abdecken.
Die Beschreibung und Zeichnungen stellen nur die Grundsätze der Offenbarung dar. Weiterhin sollen alle hier aufgeführten Beispiele ausdrücklich nur Lehrzwecken dienen, um den Leser beim Verständnis der Grundsätze der Offenbarung und der durch den (die) Erfinder beigetragenen Konzepte zur Weiterentwicklung der Technik zu unterstützen. Alle hiesigen Aussagen über Grundsätze, Aspekte und Beispiele der Offenbarung wie auch bestimmte Beispiele derselben sollen deren Entsprechungen umfassen.
Ein als „Mittel zum...“ Durchführen einer gewissen Funktion bezeichneter Funktionsblock kann sich auf eine Schaltung beziehen, die ausgebildet ist zum Durchführen einer bestimmten Funktion. Somit kann ein „Mittel für etwas“ als ein „Mittel ausgebildet für oder geeignet für etwas“ implementiert sein, z. B. eine Einrichtung oder eine Schaltung, die ausgebildet ist für oder geeignet ist für die jeweilige Aufgabe.
Funktionen verschiedener, in den Figuren gezeigter Elemente einschließlich jeder als „Mittel“, „Mittel zur Bereitstellung eines Sensorsignals“, „Mittel zum Erzeugen eines Sendesignals“ usw. bezeichneter Funktionsblöcke können in Form dedizierter Hardware wie beispielsweise „eines Signalanbieters“, „einer Signalverarbeitungseinheit“, „eines Prozessors“, „einer Steuerung“ usw. wie auch als Hardware fähig der Ausführung von Software in Verbindung mit zugehöriger Software bereitgestellt werden. Bei Bereitstellung durch einen Prozessor können die Funktionen durch einen einzigen dedizierten Prozessor, durch einen einzigen gemeinschaftlich verwendeten Prozessor oder durch eine Mehrzahl einzelner Prozessoren bereitgestellt werden, von denen einige oder alle gemeinschaftlich verwendet werden können. Jedoch ist der Begriff „Prozessor“ oder „Steuerung“ bei weitem nicht ausschließlich auf zur Ausführung von Software fähige Hardware bezogen begrenzt, sondern kann Digitalsignalprozessor- (DSP-) Hardware, Netzprozessor, anwendungsspezifische integrierte Schaltung (ASIC; ASIC = Application Specific Integrated Circuit), feldprogrammierbare Logik-Arrays (FPGA), Nurlesespeicher (ROM; ROM = Read Only Memory) zum Speichern von Software, Direktzugriffsspeicher (RAM; RAM = Random Access Memory) und nichtflüchtige Speichervorrichtung (storage) einschließen. Auch kann sonstige Hardware, herkömmliche und/oder kundenspezifische, eingeschlossen sein.
Ein Blockdiagramm kann z. B. ein detailliertes Schaltungsdiagramm darstellen, das die Grundsätze der Offenbarung implementiert. Auf ähnliche Weise kann ein Ablaufdiagramm, ein Flussdiagramm, ein Zustandsübergangsdiagramm, ein Pseudocode und dergleichen verschiedene Prozesse, Operationen oder Schritte repräsentieren, die im Wesentlichen in computerlesbarem Medium dargestellt und so durch einen Computer oder Prozessor ausgeführt werden können, ungeachtet dessen, ob ein solcher Computer oder Prozessor ausdrücklich dargestellt ist. In der Beschreibung oder in den Ansprüchen offenbarte Verfahren können durch eine Einrichtung implementiert sein, die Mittel zum Ausführen von jedem der jeweiligen Schritte dieser Verfahren aufweist.
Es versteht sich, dass die Offenbarung vielfacher, in der Beschreibung oder den Ansprüchen offenbarter Schritte, Prozesse, Operationen oder Funktionen nicht als in der bestimmten Reihenfolge befindlich ausgelegt werden sollte, sofern dies nicht explizit oder implizit anderweitig angegeben ist, z. B. aus technischen Gründen. Durch die Offenbarung von mehreren Schritten oder Funktionen werden diese daher nicht auf eine bestimmte Reihenfolge begrenzt, es sei denn, dass diese Schritte oder Funktionen aus technischen Gründen nicht austauschbar sind. Weiterhin kann bei einigen Beispielen ein einzelner Schritt, Funktion, Prozess oder Operation mehrere Teilschritte, -funktionen, -prozesse oder -operationen einschließen oder in diese aufgebrochen werden. Solche Teilschritte können eingeschlossen sein und Teil der Offenbarung dieses Einzelschritts sein, sofern sie nicht ausdrücklich ausgeschlossen sind.
Weiterhin sind die nachfolgenden Ansprüche hiermit in die detaillierte Beschreibung aufgenommen, wo jeder Anspruch als getrenntes Beispiel für sich stehen kann. Während jeder Anspruch als getrenntes Beispiel für sich stehen kann, ist zu beachten, dass - obwohl ein abhängiger Anspruch sich in den Ansprüchen auf eine spezifische Kombination mit einem oder mehreren anderen Ansprüchen beziehen kann - andere Beispiele auch eine Kombination des abhängigen Anspruchs mit dem Gegenstand jedes anderen abhängigen oder unabhängigen Anspruchs einschließen können. Diese Kombinationen werden hier explizit vorgeschlagen, sofern nicht angegeben ist, dass eine bestimmte Kombination nicht beabsichtigt ist. Weiterhin sollen auch Merkmale eines Anspruchs für jeden anderen unabhängigen Anspruch eingeschlossen sein, selbst wenn dieser Anspruch nicht direkt abhängig von dem unabhängigen Anspruch gemacht ist.

Claims

Eine Laufzeit-Bilderzeugungsvorrichtung (100, 500), umfassend: eine Mehrzahl von Sensorpixeln (101), die ausgebildet sind zum Empfangen eines externen Lichtsignals (102), das mit einer externen Modulationsfrequenz moduliert wird; eine Pixelschaltungsanordnung (104), die ausgebildet ist zum Erzeugen eines Sensorpixel-Ausgangssignals (105) basierend auf dem externen Lichtsignal (102) und einem Referenzsignal (103) mit einer Referenzfrequenz, wobei das Sensorpixel-Ausgangssignal (105) eine Frequenz aufweist, die von einer Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz abhängt; und eine Synchronisierungsschaltungsanordnung (106), die ausgebildet ist zum Anpassen der Referenzfrequenz des Referenzsignals (103) basierend auf dem Sensorpixel-Ausgangssignal (105).
Die Laufzeit-Bilderzeugungsvorrichtung gemäß einem der vorherigen Ansprüche, wobei das Sensorpixel-Ausgangssignal (105) Ausgangswerte umfasst, die auf einen Phasenversatz zwischen dem externen Lichtsignal (102) und dem Referenzsignal (103) bezogen sind.
Die Laufzeit-Bilderzeugungsvorrichtung gemäß einem der vorherigen Ansprüche, wobei die Synchronisierungsschaltungsanordnung (106) ausgebildet ist zum Anpassen der Referenzfrequenz des Referenzsignals (103), sodass die Frequenz des Sensorpixel-Ausgangssignals (105) unter einen Schwellenwert fällt.
Die Laufzeit-Bilderzeugungsvorrichtung gemäß einem der vorherigen Ansprüche, wobei die Synchronisierungsschaltungsanordnung (106) ausgebildet ist zum Herleiten eines Frequenzversatzes bezogen auf die Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz basierend auf der Frequenz des Sensorpixel-Ausgangssignals (105).
Die Laufzeit-Bilderzeugungsvorrichtung gemäß Anspruch 4, wobei die Synchronisierungsschaltungsanordnung (106) ausgebildet ist zum Anpassen der Referenzfrequenz des Referenzsignals (103) basierend auf dem Frequenzversatz.
Die Laufzeit-Bilderzeugungsvorrichtung gemäß einem der vorherigen Ansprüche, wobei das externe Lichtsignal (102) ein festes Phasensignal ist.
Die Laufzeit-Bilderzeugungsvorrichtung gemäß einem der vorherigen Ansprüche, wobei die Pixelschaltungsanordnung (106) ausgebildet ist zum Herleiten des Sensorpixel-Ausgangssignals (105) basierend auf einer Phaseninformation, die von einer Untergruppe von Sensorpixeln (101) der Mehrzahl von Sensorpixeln (101) hergeleitet ist.
Die Laufzeit-Bilderzeugungsvorrichtung gemäß Anspruch 7, wobei die Untergruppe von Sensorpixeln (101) ein zweidimensionales Array von Sensorpixeln ist, das weniger als 50 % der Gesamtanzahl von Sensorpixeln der Mehrzahl von Sensorpixeln (101) umfasst.
Die Laufzeit-Bilderzeugungsvorrichtung gemäß Anspruch 7 oder 8, wobei die Untergruppe von Sensorpixeln die Sensorpixel der Mehrzahl von Sensorpixeln (101) sind, die die höchste Lichtintensität von dem externen Lichtsignal (102) empfangen.
Die Laufzeit-Bilderzeugungsvorrichtung gemäß einem der vorherigen Ansprüche, wobei die Synchronisierungsschaltungsanordnung (106) ausgebildet ist zum iterativen Variieren der Referenzfrequenz, bis die Frequenz des Sensorpixel-Ausgangssignals (105) unter einem Schwellenwert ist.
Die Laufzeit-Bilderzeugungsvorrichtung gemäß einem der vorherigen Ansprüche, wobei jedes Sensorpixel der Mehrzahl von Sensorpixeln (101) zumindest einen Teil einer Photomischdetektor-Schaltung umfasst.
Die Laufzeit-Bilderzeugungsvorrichtung gemäß einem der vorherigen Ansprüche, wobei die Pixelschaltungsanordnung (104) ausgebildet ist zum Erzeugen des Sensorpixel-Ausgangssignals (105) basierend auf einer Demodulation des modulierten Lichtsignals (102) unter Nutzung des Referenzsignals (103) durch zumindest ein Sensorpixel der Mehrzahl von Sensorpixeln (101).
Die Laufzeit-Bilderzeugungsvorrichtung gemäß einem der vorherigen Ansprüche, wobei die Synchronisierungsschaltungsanordnung (106) eine Phasenregelschleifenschaltung (452) umfasst, wobei die Phasenregelschleifenschaltung eine Referenzoszillatorschaltung (457) umfasst, die ausgebildet ist zum Erzeugen des Referenzsignals mit einer angepassten Referenzfrequenz basierend auf der Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz.
Die Laufzeit-Bilderzeugungsvorrichtung gemäß einem der vorherigen Ansprüche, ferner umfassend eine emittierende Schaltung (454) und eine Steuerschaltungsanordnung (451), wobei die angepasste Referenzfrequenz der Frequenz der Sensorpixelausgangssteuerungsschaltungsanordnung (451) ausgebildet ist zum Steuern der emittierenden Schaltung (454), um ein moduliertes Lichtdatensignal mit Signalabfällen unter einen Schwellenwert zu übertragen.
Die Laufzeit-Bilderzeugungsvorrichtung gemäß einem der vorherigen Ansprüche, ferner umfassend eine Steuerschaltungsanordnung (451), die ausgebildet ist zum Herleiten von Ladedaten eines externen modulierten Lichtdatensignals, das durch die Mehrzahl von Sensorpixel (101) empfangen wird, wobei die Steuerschaltungsanordnung (451) ausgebildet ist zum Herleiten der Ladedaten basierend auf dem Referenzsignal mit der angepassten Referenzfrequenz.
Die Laufzeit-Bilderzeugungsvorrichtung gemäß einem der vorherigen Ansprüche, ferner umfassend eine Steuerschaltungsanordnung (451), die ausgebildet ist zum Erzeugen eines dreidimensionalen Bildes eines Objekts, wobei die Steuerschaltungsanordnung (451) ausgebildet ist zum Erzeugen des dreidimensionalen Bildes basierend auf einem modulierten Lichtsignal, das durch eine emittierende Schaltung der Laufzeit-Bilderzeugungsvorrichtung emittiert wird, wobei das modulierte Lichtsignal mit der angepassten Referenzfrequenz moduliert wird.
Eine Laufzeit-Bilderzeugungsvorrichtung (100, 500), umfassend: zumindest ein Sensorpixel (101), das ausgebildet ist zum Empfangen eines modulierten Lichtsignals (102); und eine Pixelschaltungsanordnung (104), die ausgebildet ist zum Erzeugen eines Sensorpixel-Ausgangssignals (105) basierend auf einer Demodulation des modulierten Lichtsignals (102) unter Nutzung eines Referenzsignals (103); und eine Synchronisierungsschaltungsanordnung (106), die ausgebildet ist zum Erzeugen des Referenzsignals (103) mit einer angepassten Referenzfrequenz basierend auf dem Sensorpixel-Ausgangssignal (105).
Ein Verfahren (600) zum Anpassen einer Referenzfrequenz, das Verfahren umfassend: Empfangen (610) eines externen Lichtsignals, das mit einer externen Modulationsfrequenz moduliert wird, durch eine Mehrzahl von Sensorpixel; Erzeugen (620) eines Sensorpixel-Ausgangssignals basierend auf dem externen Lichtsignal und einem Referenzsignal mit einer Referenzfrequenz durch eine Pixelschaltungsanordnung, wobei das Sensorpixel-Ausgangssignal eine Frequenz aufweist, die von einer Differenz zwischen der externen Modulationsfrequenz und der Referenzfrequenz abhängt; und Anpassen (630) der Referenzfrequenz des Referenzsignals basierend auf dem Sensorpixel-Ausgangssignal durch die Synchronisierungsschaltungsanordnung.
Das Verfahren gemäß Anspruch 18, wobei das externe Lichtsignal ein Lichtsignal von zumindest einem von der Gruppe von Lichtsignalen ist: ein Lichtsignal, das durch eine externe Lichtquelle emittiert wird, ein Lichtsignal, das durch eine externe Laufzeit-Bilderzeugungsvorrichtung emittiert wird und ein Lichtsignal, das durch eine externe Lichtquelle emittiert und durch ein Objekt reflektiert wird.