DE102021122935A1

DE102021122935A1 - Verfahren und vorrichtung zum bestimmen eines reflektivitätswertes, der eine reflektivität eines objekts anzeigt

Info

Publication number: DE102021122935A1
Application number: DE102021122935.9A
Authority: DE
Inventors: Armin Josef Schoenlieb; Hannes Plank; Caterina Nahler
Original assignee: Infineon Technologies AG
Current assignee: Infineon Technologies AG
Priority date: 2020-09-07
Filing date: 2021-09-06
Publication date: 2022-03-10
Also published as: US20220074856A1; US11906427B2; EP3964857A1; CN114152592A

Abstract

Ein Verfahren zum Bestimmen eines Reflektivitätswertes, der eine Reflektivität eines Objekts anzeigt, ist bereitgestellt. Das Verfahren umfasst ein Durchführen einer Laufzeit-(ToF-) Messung unter Verwendung eines ToF-Sensors. Eine Korrelationsfunktion der ToF-Messung steigt über die Distanz innerhalb eines Messbereichs des ToF-Sensors derart, dass ein Ausgabewert des ToF-Sensors für die ToF-Messung unabhängig von der Distanz zwischen dem ToF-Sensor und dem Objekt ist. Das Verfahren umfasst ferner ein Bestimmen des Reflektivitätswertes basierend auf dem Ausgabewert des ToF-Sensors für die ToF-Messung.

Description

Gebiet
Die vorliegende Offenbarung betrifft die Reflektivitätserfassung. Beispiele betreffen insbesondere ein Verfahren und eine Vorrichtung zum Bestimmen eines Reflektivitätswertes, der eine Reflektivität eines Objekts unter Verwendung eines Laufzeit- (ToF-; Time-of-Flight) Sensors anzeigt.
Hintergrund
Die zweidimensionale Bildgebung mit ToF-Kameras wird zur Objektdetektion und -klassifizierung verwendet (z. B. Gesichtserkennung, Produktion, intelligente Überwachung, ...).
Wenn eine Szene von einer Lichtquelle in der Nähe des lichterfassenden Teils beleuchtet wird, hängt die gemessene Lichtintensität von der Distanz zu dem Objekt ab, entsprechend dem Abstandsgesetz (engl. Inverse Square Law) für Punktquellen. Dies verhindert ein Messen der tatsächlichen Reflektivität des Objekts, was eine wichtige Information für die Objekterkennung ist. Außerdem reflektiert ein nahes Objekt zu viel Licht, was zu einer Sättigung an der ToF-Kamera führen kann. Wenn sich die Lichtquelle zusätzlich in der Nähe des lichterfassenden Teils befindet, können nahe gelegene Objekte (z. B. ein Abdeckglas oder eine Organische-Leuchtdioden-, OLED- (Organic Light Emitting Diode), Anzeige) Streulicht in den lichterfassenden Teil verursachen.
Somit besteht ein Bedarf für verbesserte Reflektivitätserfassung unter Verwendung von ToF-Sensoren.
Zusammenfassung
Der Bedarf kann durch den Gegenstand der angehängten Ansprüche erfüllt sein.
Ein Beispiel betrifft ein Verfahren zum Bestimmen eines Reflektivitätswertes, der eine Reflektivität eines Objekts anzeigt. Das Verfahren umfasst ein Durchführen einer ToF-Messung unter Verwendung eines ToF-Sensors. Eine Korrelationsfunktion der ToF-Messung steigt über die Distanz innerhalb eines Messbereichs des ToF-Sensors derart, dass ein Ausgabewert des ToF-Sensors für die ToF-Messung unabhängig von der Distanz zwischen dem ToF-Sensor und dem Objekt ist. Das Verfahren umfasst ferner ein Bestimmen des Reflektivitätswertes basierend auf dem Ausgabewert des ToF-Sensors für die ToF-Messung.
Ein anderes Beispiel betrifft eine Vorrichtung zum Bestimmen eines Wertes, der eine Reflektivität eines Objekts anzeigt. Die Vorrichtung umfasst einen ToF-Sensor, der ausgebildet ist, eine ToF-Messung durchzuführen. Eine Korrelationsfunktion der ToF-Messung steigt über die Distanz innerhalb eines Messbereichs des ToF-Sensors derart, dass ein Ausgabewert des ToF-Sensors für die ToF-Messung unabhängig von der Distanz zwischen dem ToF-Sensor und dem Objekt ist. Die Vorrichtung umfasst ferner eine Verarbeitungsschaltung, die ausgebildet ist, den Reflektivitätswert basierend auf dem Ausgabewert des ToF-Sensors für die ToF-Messung zu bestimmen.
Figurenliste
Nachfolgend werden einige Beispiele von Vorrichtungen und/oder Verfahren ausschließlich beispielhaft und Bezug nehmend auf die beiliegenden Figuren beschrieben, in denen

1 stellt ein Flussdiagramm eines Beispiels eines Verfahrens zum Bestimmen eines Reflektivitätswertes dar;
2 stellt ein Beispiel einer Vorrichtung zum Bestimmen eines Reflektivitätswertes dar;
3 stellt beispielhafte Verläufe über die Distanz einer Korrelationsfunktion eines ToF-Sensors, einen Ausgabewert des ToF-Sensors und eine Lichtstärke von an dem ToF-Sensor empfangenen Licht dar.

Detaillierte Beschreibung
Einige Beispiele werden nun detaillierter Bezug nehmend auf die beiliegenden Figuren beschrieben. Andere mögliche Beispiele sind jedoch nicht auf die Merkmale dieser detailliert beschriebenen Ausführungsbeispiele beschränkt. Andere Beispiele können Modifikationen der Merkmale sowie Entsprechungen und Alternativen zu den Merkmalen aufweisen. Ferner soll die Terminologie, die hierin verwendet wird, um bestimmte Beispiele zu beschreiben, nicht einschränkend für weitere mögliche Beispiele sein.
Gleiche oder ähnliche Bezugszeichen beziehen sich in der gesamten Beschreibung der Figuren auf gleiche oder ähnliche Elemente und/oder Merkmale, die identisch oder in modifizierter Form implementiert sein können, während sie die gleiche oder eine ähnliche Funktion bereitstellen. Die Stärken von Linien, Schichten und/oder Bereichen in den Figuren kann der Klarheit halber auch übertrieben sein.
Wenn zwei Elemente A und B unter Verwendung eines „oder“ kombiniert werden, ist dies so zu verstehen, dass alle möglichen Kombinationen offenbart sind, d. h. nur A, nur B sowie A und B, sofern nicht im Einzelfall ausdrücklich anders definiert. Als eine alternative Formulierung für die gleichen Kombinationen kann „zumindest eines von A und B“ oder „A und/oder B“ verwendet werden. Das gilt entsprechend für Kombinationen aus mehr als zwei Elementen.
Wenn eine Singularform, wie beispielsweise „ein, eine“ und „der, die, das“ verwendet wird und die Verwendung nur eines einzelnen Elements weder explizit noch implizit als verpflichtend definiert ist, können weitere Beispiele auch mehrere Elemente verwenden, um die gleiche Funktion zu implementieren. Wenn eine Funktion nachfolgend als unter Verwendung mehrerer Elemente implementiert beschrieben ist, können weitere Beispiele die gleiche Funktion unter Verwendung eines einzelnen Elements oder einer einzelnen Verarbeitungsentität implementieren. Es versteht sich weiterhin, dass die Begriffe „umfasst“, „umfassend“, „aufweist“ und/oder „aufweisend“ bei Gebrauch das Vorliegen der angegebenen Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Elemente, Komponenten und/oder einer Gruppe derselben beschreiben, dabei aber nicht das Vorliegen oder das Hinzufügen eines oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Elemente, Komponenten und/oder einer Gruppe derselben ausschließen.
1 stellt ein Flussdiagramm eines Beispiels eines Verfahrens 100 zum Bestimmen eines Reflektivitätswertes, der eine Reflektivität eines Objekts anzeigt, dar. Das Verfahren 100 wird im Folgenden ferner unter Bezugnahme auf 2 beschrieben, die eine beispielhafte Vorrichtung 200 zum Bestimmen eines Reflektivitätswertes, der die Reflektivität eines Objekts 201 anzeigt, darstellt.
Die Vorrichtung 200 umfasst einen ToF-Sensor 210. Der ToF-Sensor 200 umfasst ein Beleuchtungselement 230 zum Emittieren von moduliertem Licht 202 zu einer das Objekt 201 umfassenden Szene 201 und ein Lichterfassungselement 220 zum Erfassen des von der Szene empfangenen Lichts 203.
Das Beleuchtungselement 230 erzeugt das modulierte Licht 203. Das Beleuchtungselement 230 kann irgendeine Anzahl von Lichtquellen umfassen. Das Beleuchtungselement 230 kann z. B. eine oder mehrere Leuchtdioden (LEDs; Light-Emitting Diodes) und/oder eine oder mehrere Laserdioden (z. B. einen oder mehrere oberflächenemittierende Diodenlaser (engl. VCSELs, Vertical-Cavity Surface-Emitting Lasers) umfassen, die basierend auf einem Beleuchtungssignal gezündet werden.
Das Lichterfassungselement 220 kann verschiedene Komponenten umfassen, wie z. B. eine Optik (z. B. eine oder mehrere Linsen) und eine elektronische Schaltungsanordnung. Insbesondere umfasst die elektronische Schaltungsanordnung einen Bildsensor mit zumindest einem photosensitiven Element oder Pixel (z. B. mit einem Photonic Mixer Device, PMD (Photomischdetektor), oder einem Charge-Coupled Device, CCD (ladungsgekoppeltes Bauelement). Der Bildsensor kann zum Beispiel eine Mehrzahl von photosensitiven Elementen oder Pixeln umfassen. Das zumindest eine photosensitive Element oder Pixel wird basierend auf einem Referenzsignal angesteuert.
Das Verfahren 100 umfasst ein Durchführen 102 einer ToF-Messung unter Verwendung des ToF-Sensors 210. Parameter des ToF-Sensors 210 werden derart eingestellt, dass eine Korrelationsfunktion (Sensorantwortfunktion) des ToF-Sensors 210 für die ToF-Messung über die Distanz innerhalb eines Messbereichs des ToF-Sensors 210 (z. B. streng monoton) derart steigt, dass ein Ausgabewert des ToF-Sensors 210 für die ToF-Messung unabhängig von der Distanz zwischen dem ToF-Sensor 210 und dem Objekt 201 ist.
Die Korrelationsfunktion stellt eine erwartete distanzabhängige Ausgabe des ToF-Sensors 210 für die ToF-Messung dar, unter der Annahme, dass eine Lichtstärke (Intensität) des während der ToF-Messung an dem ToF-Sensor 210 empfangenen Lichts 203 über die Distanz innerhalb des Messbereichs des ToF-Sensors 210 konstant ist. Dies ist in 3 dargestellt. Die Abszisse in 3 gibt die Distanz zwischen dem ToF-Sensor 210 und dem Objekt 201 an. Bei dem Beispiel von 3 wird angenommen, dass die Distanzen der gesamten Abszisse innerhalb des Messbereichs des ToF-Sensors 210 sind. Die Ordinate gibt die Ausgabe des ToF-Sensors 210 an. Ein beispielhafter Verlauf 310 der Korrelationsfunktion über die Distanz ist in 3 dargestellt. Wie aus dem beispielhaften Verlauf 310 ersichtlich ist, steigt die Korrelationsfunktion der ToF-Messung über die Distanz (d. h. die Korrelationsfunktion steigt bei größeren Distanzen zwischen dem ToF-Sensor 210 und dem Objekt 201).
Für die Korrelationsfunktion der ToF-Messung wird angenommen, dass die Lichtstärke des an dem ToF-Sensor 210 während der ToF-Messung empfangenen Lichts konstant ist. Bezug nehmend auf das Beispiel von 2 wird angenommen, dass - unabhängig von der Distanz zwischen dem ToF-Sensor 210 und dem Objekt 201 - die Lichtstärke des von dem Objekt 201 zurück zu dem Lichterfassungselement 220 reflektierten Lichts 203 im Wesentlichen konstant ist.
Die Lichtstärke des von dem Lichterfassungselement 220 empfangenen Lichts 203 hängt jedoch de facto von der Distanz zwischen dem ToF-Sensor 210 und dem Objekt 201 ab. Insbesondere nimmt die Lichtstärke des von dem Lichterfassungselement 220 empfangenen Lichts 203 mit zunehmender Distanz zwischen dem ToF-Sensor 210 und dem Objekt 201 ab. Dies ist in 3 weiter dargestellt. 3 stellt einen beispielhaften Verlauf 330 der Lichtstärke des an dem ToF-Sensor 210 empfangenen Lichts 203 über die Distanz (die Ordinate von 3 bezeichnet ferner die Lichtstärke) dar. Wie aus dem Verlauf 330 ersichtlich ist, nimmt die Lichtstärke über die Distanz ab. So kann beispielsweise angenommen werden, dass die Lichtstärke nach dem Abstandsgesetz abnimmt. Das heißt, die distanzabhängige Lichtstärke des an dem ToF-Sensor 210 empfangenen Lichts 203 kann wie folgt angenommen werden: $I (d) \propto \frac{1}{d^{2}}$
wobei I die Lichtstärke des an dem ToF-Sensor 210 empfangenen Lichts und d die Distanz zwischen dem ToF-Sensor 210 und dem Objekt 201, das das Licht 203 zurück zu dem ToF-Sensor 210 reflektiert, angibt.
Dementsprechend ermöglicht das Einstellen des ToF-Sensors 210, derart, dass die Korrelationsfunktion des ToF-Sensors 210 für die ToF-Messung über die Distanz innerhalb des Messbereichs des ToF-Sensors 210 steigt, die abnehmende Lichtstärke des an dem ToF-Sensor 210 empfangenen Lichts 203 zu kompensieren. Beispielsweise kann der Verlauf 310 über die Distanz der Korrelationsfunktion derart eingestellt werden, dass er umgekehrt zu dem Verlauf 330 über die Distanz der Lichtstärke des an dem ToF-Sensor 210 empfangenen Lichts 203 ist. Die distanzabhängige Korrelationsfunktion c(d) kann z. B. wie folgt eingestellt werden: $c (d) \propto d^{2}$
Folglich ist der Ausgabewert des ToF-Sensors 210 für die ToF-Messung unabhängig von der Distanz zwischen dem ToF-Sensor 210 und dem Objekt 201. Dies wird in 3 weiter dargestellt, die einen beispielhaften Verlauf 320 des Ausgabewertes des ToF-Sensors 210 darstellt.
Der Ausgabewert des ToF-Sensors 210 ist proportional zu der Reflektivität des Objekts 201, da die Reflektivität des Objekts 201 bestimmt, wie viel Licht während der ToF-Messung an dem ToF-Sensor 210 ankommt. Dementsprechend variiert der Ausgabewert des ToF-Sensors 210 mit der Reflektivität des Objekts 201 - unabhängig von der Distanz zwischen dem ToF-Sensor 210 und dem Objekt. Daher ermöglicht der Ausgabewert des ToF-Sensors 210 die Charakterisierung der Reflektivität des Objekts 201 bei Verwendung einer Korrelationsfunktion für die ToF-Messung wie oben beschrieben.
Wieder Bezug nehmend auf 1 umfasst das Verfahren 100 ferner ein Bestimmen 104 eines Reflektivitätswertes, der die Reflektivität des Objekts 201 anzeigt, basierend auf dem Ausgabewert des ToF-Sensors 210 für die ToF-Messung. Beispielsweise kann das Bestimmen 104 des Reflektivitätswertes ein Anwenden zumindest einer Korrektur auf den Ausgabewert des ToF-Sensors 210 für die ToF-Messung umfassen. Der Ausgabewert des ToF-Sensors 210 für die ToF-Messung kann z. B. skaliert und/oder versatz-korrigiert werden, um den Reflektivitätswert zu erhalten. Dementsprechend können systematische Fehler (z. B. Rauschen) korrigiert werden.
Die Vorrichtung 200 umfasst eine entsprechend ausgebildete Verarbeitungsschaltung 240, die mit dem ToF-Sensor 210 gekoppelt ist. Die Verarbeitungsschaltung 240 kann z. B. ein einzelner dedizierter Prozessor, ein einzelner gemeinschaftlich verwendeter Prozessor oder eine Mehrzahl einzelner Prozessoren, von denen einige oder alle gemeinschaftlich verwendet werden können, eine Digitalsignalprozessor- (DSP-; digital signal processor) Hardware, eine anwendungsspezifische integrierte Schaltung (ASIC; application specific integrated circuit) oder ein feldprogrammierbares Gate-Array (FPGA; field programmable gate array) sein. Die Verarbeitungsschaltung 240 kann optional gekoppelt werden, z.B. mit einem Nur-Lese-Speicher (ROM; read only memory) zur Speicherung von Software, einem Direktzugriffsspeicher (RAM; random access memory) und/oder einem nichtflüchtigen Speicher. Die Verarbeitungsschaltung 240 ist ausgebildet, den Reflektivitätswert, der die Reflektivität des Objekts 201 anzeigt, basierend auf dem Ausgabewert des ToF-Sensors 210 für die ToF-Messung zu bestimmen.
So kann die Verarbeitungsschaltung 240 beispielsweise weitere Daten ausgeben, die den Reflektivitätswert anzeigen (z. B. ein zweidimensionales Bild).
Die Vorrichtung 200 kann ferner andere Hardware umfassen - herkömmliche und/oder kundenspezifische.
Anders ausgedrückt, es wird ein zweidimensionales Erfassungsverfahren basierend auf einer ToF-Kamera vorgeschlagen. Das Ergebnis der Erfassung kann z. B. ein zweidimensionales Bild sein, in dem die Pixel jeweils die Menge des von dem Objekt reflektierten Lichts anzeigen. Wie oben beschrieben, kann dies durch Verwendung einer Sensorantwortfunktion erreicht werden, die nahe an der Umkehrung der Funktion der empfangenen Lichtstärke über die Distanz ist. Da dadurch die Sensorausgabe über die Distanz größer wird, wird der Verlust der Signalstärke kompensiert. Dies führt zu einer konstanten Sensorausgabe eines Objekts unabhängig von der Distanz.
Wie oben beschrieben, umfasst das Verfahren 100 zum Durchführen 102 der ToF-Messung a) ein Beleuchten der das Objekt 201 umfassenden Szene mit dem modulierten Licht 202 des Beleuchtungselements 230 basierend auf einem Beleuchtungssignal und b) ein Ansteuern des Lichterfassungselements 230 basierend auf einem Referenzsignal. Um die Korrelationsfunktion der ToF-Messung derart einzustellen, dass sie über die Distanz innerhalb des Messbereichs des ToF-Sensors 210 steigt, kann zumindest eines von dem Beleuchtungssignal, dem Referenzsignal und einem Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal während der ToF-Messung variiert werden.
Für die ToF-Messung kann sowohl eine Coded Modulation- (CM-; Codierte-Modulations-) Messung als auch eine Continuous Wave- (CW-; Dauerstrich-) Messung verwendet werden.
Wenn beispielsweise eine CW-Messung für die ToF-Messung verwendet wird, weist jedes von dem Beleuchtungssignal und dem Referenzsignal eine jeweilige abwechselnde Folge von hohen und niedrigen Pulsen gleicher Dauer (Länge) auf. Daher ist das modulierte Licht 202 eine Folge von Lichtpulsen mit gleicher Pulslänge (Dauer) und gleicher Pulsbeabstandung. Um die Korrelationsfunktion der ToF-Messung derart einzustellen, dass sie über die Distanz innerhalb des Messbereichs des ToF-Sensors 210 steigt, kann der Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal während der CW-Messung variiert werden.
Wenn alternativ eine CM-Messung für die ToF-Messung verwendet wird, weist zumindest eines von dem Beleuchtungssignal und dem Referenzsignal eine jeweilige abwechselnde Folge von hohen und niedrigen Pulsen von variierender Dauer (Länge) auf. Zum Beispiel kann das modulierte Licht 202 eine Folge von Lichtpulsen mit variierender Pulslänge (Dauer) und/oder variierender Pulsbeabstandung sein. In ähnlicher Weise kann das Referenzsignal eine abwechselnde Folge von hohen und niedrigen Pulsen von variierender Dauer für eine CM-Messung aufweisen. Bei anderen Beispielen kann das modulierte Licht 202 eine Folge von Lichtpulsen mit gleicher Pulslänge und gleicher Pulsbeabstandung sein, während das Referenzsignal eine abwechselnde Folge von hohen und niedrigen Pulsen mit unterschiedlicher Dauer aufweist. Um die Korrelationsfunktion der ToF-Messung derart einzustellen, dass sie über die Distanz innerhalb des Messbereichs des ToF-Sensors 210 steigt, kann die jeweilige abwechselnde Folge von hohen und niedrigen Pulsen für zumindest eines von dem Beleuchtungssignal und dem Referenzsignal während der CM-Messung variiert werden. Alternativ oder zusätzlich kann der Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal während der CM-Messung variiert werden.
Durch die Variation eines oder mehrerer von dem Beleuchtungssignal, dem Referenzsignal und dem Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal während der ToF-Messung kann der ToF-Sensor 210 eine Vielzahl unterschiedlicher Hilfskorrelationsfunktionen erstellen. Unabhängig davon, ob eine CW- oder eine CM-Messung durchgeführt wird, weist der ToF-Sensor 210 vorübergehend die jeweilige Hilfskorrelationsfunktion für jede Variation des Beleuchtungssignals, des Referenzsignals und des Zeitversatzes zwischen dem Beleuchtungssignal und dem Referenzsignal auf, die während der ToF-Messung verwendet wird. Die resultierende (Gesamt-)Korrelationsfunktion der ToF-Messung kann als eine Kombination (z. B. eine Summe) der verschiedenen während der ToF-Messung verwendeten Hilfskorrelationsfunktionen verstanden werden. Anders ausgedrückt, die resultierende (effektive) Korrelationsfunktion des ToF-Sensors 210 für die ToF-Messung ist eine Kombination der Hilfskorrelationsfunktionen für die Variationen des Beleuchtungssignals, des Referenzsignals und des Zeitversatzes zwischen dem Beleuchtungssignal und dem Referenzsignal, die während der ToF-Messung verwendet wird. Beispielsweise kann durch Schalten der Hilfskorrelationsfunktionen während der Belichtungszeit der ToF-Messung eine gewichtete Summe verschiedener Hilfskorrelationsfunktionen (d. h. verschiedener Sensorantwortfunktionen) als die Korrelationsfunktion der ToF-Messung erhalten werden. Dementsprechend kann eine benutzerspezifische Korrelationsfunktion des ToF-Sensors 210 für die ToF-Messung erhalten/eingestellt werden.
Um beispielsweise eine Korrelationsfunktion für die ToF-Messung zu erhalten, die über die Distanz innerhalb des Messbereichs des ToF-Sensors 210 steigt, kann zumindest eines von dem Beleuchtungssignal, dem Referenzsignal und dem Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal derart variiert werden, dass die Hilfskorrelationsfunktionen innerhalb des Messbereichs des ToF-Sensors gegeneinander verschoben werden (z. B. verschoben entlang der Abszisse in 3). Um beispielsweise eine Korrelationsfunktion zu erstellen, die über die Distanz innerhalb des Messbereichs des ToF-Sensors 210 steigt, kann eine CM-Hilfskorrelationsfunktion mit einem Korrelationspeak während der Belichtung kontinuierlich verschoben werden.
Alternativ kann die Geschwindigkeit der Verschiebung moduliert werden, sodass unterschiedliche Verschiebungen der CM-Hilfskorrelationsfunktion in der resultierenden Korrelationsfunktion unterschiedlich gewichtet werden. Zum Beispiel kann die jeweilige abwechselnde Folge von hohen und niedrigen Pulsen mit zunehmender Variationsrate für zumindest eines von dem Beleuchtungssignal und dem Referenzsignal während der CM-Messung variiert wird. Wenn beispielsweise eines von dem Beleuchtungssignal und dem Referenzsignal variiert wird, indem nacheinander Verschiedene aus einer Mehrzahl (Pool) von Codes ausgewählt werden, die für das Erzeugen des jeweiligen Einen von dem Beleuchtungssignal und dem Referenzsignal verwendet werden, kann eine Auswahl- oder Aktualisierungsrate/- frequenz während der CM-Messung erhöht werden. Ähnlich kann der Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal mit zunehmender Variationsrate während der CM-Messung variiert werden.
Durch Variieren der Variationsrate kann die Verschiebung zwischen den resultierenden Hilfskorrelationsfunktionen moduliert werden, sodass die Hilfskorrelationsfunktionen in der Gesamtkorrelationsfunktion für die ToF-Messung unterschiedlich gewichtet werden.
Innerhalb des Messbereichs kann der Verlauf über die Distanz der Korrelationsfunktion der ToF-Messung zum Beispiel von einem geschätzten Verlauf über die Distanz der tatsächlichen Lichtstärke des an dem ToF-Sensor 210 empfangenen Lichts 203 abhängen. Der geschätzte Verlauf über die Distanz der tatsächlichen Lichtstärke des an dem ToF-Sensor 210 empfangenen Lichts 203 kann z. B. in einer Werkskalibrierung erhalten werden. Dementsprechend kann die Korrelationsfunktion der ToF-Messung in der Werkskalibrierung (vor)bestimmt werden. So können beispielsweise die Variationen des Beleuchtungssignals, des Referenzsignals und des Zeitversatzes zwischen dem Beleuchtungssignal und dem Referenzsignal, die während der ToF-Messung verwendet werden, basierend auf der Werkskalibrierung ausgewählt/eingestellt werden.
Alternativ oder zusätzlich kann die Korrelationsfunktion der ToF-Messung on-the-fly angepasst/eingestellt werden (z. B. um Fehler wie beispielsweise distanzabhängige Fehler zu korrigieren). Zum Beispiel kann das Verfahren 100 ein Durchführen einer Mehrzahl von ToF-Kalibrierungsmessungen mit dem ToF-Sensor 210 zum Erhalten von Kalibrierungsdaten, die die tatsächliche Lichtstärke des an dem ToF-Sensor 210 empfangenen Lichts 203 für verschiedene Distanzen zwischen dem ToF-Sensor 210 und einem Referenzobjekt 201 anzeigen, umfassen. Dementsprechend sind die Kalibrierungsdaten eine Schätzung für den Verlauf der tatsächlichen Lichtstärke des an dem ToF-Sensor 210 empfangenen Lichts 203. Dementsprechend kann die Korrelationsfunktion der (für die) ToF-Messung basierend auf den Kalibrierungsdaten angepasst werden. So können beispielsweise die Variationen des Beleuchtungssignals, des Referenzsignals und des Zeitversatzes zwischen dem Beleuchtungssignal und dem Referenzsignal, die während der ToF-Messung verwendet werden, basierend auf den Kalibrierungsdaten angepasst (eingestellt) werden.
Außerdem können Drifts der Betriebsparameter des Beleuchtungselements 220 berücksichtigt werden, um einen konstanten Ausgabewert des ToF-Sensors zu erhalten. So sind beispielsweise die Erzeugung des Beleuchtungssignals und der Betrieb der Treiberelektronik in dem Beleuchtungselement 220 temperaturabhängig. Daher kann das Verfahren 100 ein Messen einer Temperatur an dem Beleuchtungselement 220 umfassen. Die Vorrichtung 200 kann einen oder mehrere Temperatursensoren zum Messen der Temperatur an dem Beleuchtungselement 220 umfassen. Alternativ oder zusätzlich kann das Verfahren 100 ein Messen einer Lichtstärke und/oder einer Anstiegszeit des von dem Beleuchtungselement 220 emittierten, modulierten Lichts 202 umfassen. Die Vorrichtung 200 kann einen oder mehrere Lichtsensoren (z. B. Photodioden) zum Messen der Lichtstärke und/oder der Anstiegszeit des von dem Beleuchtungselement 220 emittierten, modulierten Lichts 202 umfassen. Basierend auf zumindest einem von der gemessenen Temperatur an dem Beleuchtungselement 220 und der gemessenen Lichtstärke und/oder Anstiegszeit des von dem Beleuchtungselement 220 emittierten, modulierten Lichts 202 kann zumindest eines von dem Beleuchtungssignal, dem Referenzsignal und dem Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal variiert werden, um temperaturabhängige Drifts im Betrieb des Beleuchtungselements 220 zu kompensieren.
Gemäß einigen Beispielen kann die oben beschriebene Reflektivitätserfassung zusammen mit einer Tiefenerfassung verwendet werden, um Tiefen- und Reflektivitätsdaten (z. B. Tiefen- und Reflektivitätsbilder) bereitzustellen. Das Verfahren 100 kann zum Beispiel ein Durchführen einer oder mehrerer weiterer ToF-Messungen unter Verwendung des ToF-Sensors 210 umfassen. Dementsprechend kann ein Distanzwert, der eine Distanz des ToF-Sensors 210 zu dem Objekt 201 anzeigt, basierend auf der Ausgabe des ToF-Sensors 210 für die eine oder die mehreren weiteren ToF-Messungen bestimmt werden. Ferner können Daten ausgegeben werden, die den Reflektivitätswert und den Distanzwert anzeigen. Beispielsweise können ein oder mehrere Bilder ausgegeben werden, die den Reflektivitätswert und den Distanzwert anzeigen.
Bei anderen Beispielen steigt die Korrelationsfunktion über die Distanz innerhalb des Messbereichs des ToF-Sensors 210, stimmt aber nicht mit dem angenommenen/geschätzten Verlauf der Lichtstärke des an dem ToF-Sensor 210 empfangenen Lichts 203 überein. Anders ausgedrückt, die Korrelationsfunktion erfüllt nicht den obigen mathematischen Ausdruck (2). Ein derartiges Einstellen der Korrelationsfunktion kann eine Hoher-Dynamikbereich-(HDR-; High Dynamic Range) Bildgebung ermöglichen.
Die Beispiele, wie sie hierin beschrieben sind, können wie folgt zusammengefasst werden:
Einige Beispiele betreffen ein Verfahren zum Bestimmen eines Reflektivitätswertes, der eine Reflektivität eines Objekts anzeigt. Das Verfahren umfasst ein Durchführen einer ToF-Messung unter Verwendung eines ToF-Sensors. Eine Korrelationsfunktion der ToF-Messung steigt über die Distanz innerhalb eines Messbereichs des ToF-Sensors derart, dass ein Ausgabewert des ToF-Sensors für die ToF-Messung unabhängig von der Distanz zwischen dem ToF-Sensor und dem Objekt ist. Das Verfahren umfasst ferner ein Bestimmen des Reflektivitätswertes basierend auf dem Ausgabewert des ToF-Sensors für die ToF-Messung.
Gemäß einigen Beispielen stellt die Korrelationsfunktion eine erwartete distanzabhängige Ausgabe des ToF-Sensors für die ToF-Messung dar, unter der Annahme, dass eine Lichtstärke des während der ToF-Messung an dem ToF-Sensor empfangenen Lichts über die Distanz innerhalb des Messbereichs des ToF-Sensors konstant ist.
Bei einigen Beispielen umfasst das Bestimmen des Reflektivitätswertes ein Anwenden zumindest einer Korrektur auf den Ausgabewert des ToF-Sensors für die ToF-Messung.
Gemäß einigen Beispielen umfasst das Durchführen der ToF-Messung Beleuchten einer das Objekt umfassenden Szene mit moduliertem Licht basierend auf einem Beleuchtungssignal; Ansteuern eines Lichterfassungselements des ToF-Sensors basierend auf einem Referenzsignal; und Variieren zumindest eines von dem Beleuchtungssignal, dem Referenzsignal und einem Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal während der ToF-Messung.
Bei einigen Beispielen weist jedes von dem Beleuchtungssignal und dem Referenzsignal eine jeweilige abwechselnde Folge von hohen und niedrigen Pulsen gleicher Dauer auf, wobei der Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal während der ToF-Messung variiert wird.
Bei alternativen Beispielen weist zumindest eines von dem Beleuchtungssignal und dem Referenzsignal eine jeweilige abwechselnde Folge von hohen und niedrigen Pulsen von variierender Dauer auf, wobei die jeweilige abwechselnde Folge von hohen und niedrigen Pulsen für zumindest eines von dem Beleuchtungssignal und dem Referenzsignal während der ToF-Messung variiert wird.
Gemäß einigen Beispielen wird die jeweilige abwechselnde Folge von hohen und niedrigen Pulsen mit zunehmender Variationsrate für zumindest eines von dem Beleuchtungssignal und dem Referenzsignal während der ToF-Messung variiert.
Bei einigen Beispielen wird der Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal während der ToF-Messung variiert.
Gemäß einigen Beispielen weist der ToF-Sensor vorübergehend eine jeweilige Hilfskorrelationsfunktion für jede Variation des Beleuchtungssignals, des Referenzsignals und des Zeitversatzes zwischen dem Beleuchtungssignal und dem Referenzsignal auf, die während der ToF-Messung verwendet wird, wobei die Korrelationsfunktion der ToF-Messung eine Kombination der Hilfskorrelationsfunktionen ist, und wobei das zumindest eine von dem Beleuchtungssignal, dem Referenzsignal und dem Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal derart variiert wird, dass die Hilfskorrelationsfunktionen innerhalb des Messbereichs des ToF-Sensors gegeneinander verschoben werden.
Bei einigen Beispielen wird das modulierte Licht von einem Beleuchtungselement des ToF-Sensors emittiert, und das Verfahren umfasst ferner: Messen einer Temperatur an dem Beleuchtungselement; und/oder Messen einer Lichtstärke und/oder einer Anstiegszeit des von dem Beleuchtungselement emittierten, modulierten Lichts; und Variieren des zumindest einen von dem Beleuchtungssignal, dem Referenzsignal und dem Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal basierend auf zumindest einem von der gemessenen Temperatur an dem Beleuchtungselement und der gemessenen Lichtstärke und/oder Anstiegszeit des von dem Beleuchtungselement emittierten, modulierten Lichts.
Gemäß einigen Beispielen hängt ein Verlauf der Korrelationsfunktion der ToF-Messung über die Distanz von einem geschätzten Verlauf einer tatsächlichen Lichtstärke des an dem ToF-Sensor empfangenen Lichts über die Distanz innerhalb des Messbereichs ab.
Bei einigen Beispielen wird die Korrelationsfunktion der ToF-Messung in einer Werkskalibrierung vorbestimmt.
Gemäß einigen Beispielen umfasst das Verfahren ferner: Durchführen einer Mehrzahl von ToF-Kalibrierungsmessungen zum Erhalten von Kalibrierungsdaten, die die tatsächliche Lichtstärke des an dem ToF-Sensor empfangenen Lichts für verschiedene Distanzen zwischen dem ToF-Sensor und einem Referenzobjekt anzeigen; und Anpassen der Korrelationsfunktion der ToF-Messung basierend auf den Kalibrierungsdaten.
Bei einigen Beispielen umfasst das Verfahren ferner: Durchführen einer oder mehrerer weiterer ToF-Messungen unter Verwendung des ToF-Sensors; Bestimmen eines Distanzwertes, der eine Distanz zu dem Objekt anzeigt, basierend auf einer Ausgabe des ToF-Sensors für die eine oder die mehreren weiteren ToF-Messungen; und Ausgeben von Daten, die den Reflektivitätswert und den Distanzwert anzeigen.
Andere Beispiele betreffen eine Vorrichtung zum Bestimmen eines Wertes, der eine Reflektivität eines Objekts anzeigt. Die Vorrichtung umfasst einen ToF-Sensor, der ausgebildet ist, eine ToF-Messung durchzuführen. Eine Korrelationsfunktion der ToF-Messung steigt über die Distanz innerhalb eines Messbereichs des ToF-Sensors derart, dass ein Ausgabewert des ToF-Sensors für die ToF-Messung unabhängig von der Distanz zwischen dem ToF-Sensor und dem Objekt ist. Die Vorrichtung umfasst ferner eine Verarbeitungsschaltung, die ausgebildet ist, den Reflektivitätswert basierend auf dem Ausgabewert des ToF-Sensors für die ToF-Messung zu bestimmen.
Beispiele der vorliegenden Offenbarung können eine tiefenunabhängige Intensitätsbildgebung mit ToF-Kameras ermöglichen. Beispiele der vorliegenden Offenbarung führen einen ToF-Modulationsmodus ein, der ein zweidimensionales Bild liefern kann, bei dem die Pixelwerte von der Objektreflektivität abhängen - unabhängig von der Distanz. Anders ausgedrückt, die ToF-Kamera wird in einem Modus betrieben, in dem die Sensorausgabe eines Objekts über den gesamten Messbereich gleichmäßig ist. Dies kann z. B. bei der Überwachung und Gesichtserkennung nützlich sein, da zweidimensionale Bilder für diese Anwendungen mehr Informationen enthalten als Tiefenbilder. Reflektivitätsbilder umfassen noch mehr Informationen.
Die Aspekte und Merkmale, die im Zusammenhang mit einem Bestimmten der vorherigen Beispiele beschrieben sind, können auch mit einem oder mehreren der weiteren Beispiele kombiniert werden, um ein identisches oder ähnliches Merkmal dieses weiteren Beispiels zu ersetzen oder um das Merkmal in das weitere Beispiel zusätzlich einzuführen.
Es versteht sich ferner, dass die Offenbarung mehrerer, in der Beschreibung oder den Ansprüchen offenbarter Schritte, Prozesse, Operationen oder Funktionen nicht als zwingend in der beschriebenen Reihenfolge befindlich ausgelegt werden soll, sofern dies nicht im Einzelfall explizit angegeben oder aus technischen Gründen zwingend erforderlich ist. Daher wird durch die vorhergehende Beschreibung die Durchführung von mehreren Schritten oder Funktionen nicht auf eine bestimmte Reihenfolge begrenzt. Ferner kann bei weiteren Beispielen ein einzelner Schritt, eine einzelne Funktion, ein einzelner Prozess oder eine einzelne Operation mehrere Teilschritte, -funktionen, -prozesse oder -operationen umfassen und/oder in dieselben aufgebrochen werden.
Falls einige Aspekte im Zusammenhang mit einer Vorrichtung oder einem System beschrieben wurden, sind diese Aspekte auch als eine Beschreibung des entsprechenden Verfahrens zu verstehen. Zum Beispiel kann ein Block, eine Vorrichtung oder ein funktionaler Aspekt der Vorrichtung oder des Systems einem Merkmal, wie beispielsweise einem Verfahrensschritt, des entsprechenden Verfahrens entsprechen. Entsprechend sind Aspekte, die im Zusammenhang mit einem Verfahren beschrieben werden, auch als eine Beschreibung eines entsprechenden Blocks, eines entsprechenden Elements, einer Eigenschaft oder eines funktionalen Merkmals einer entsprechenden Vorrichtung oder eines entsprechenden Systems zu verstehen.
Die folgenden Ansprüche werden hiermit in die detaillierte Beschreibung aufgenommen, wobei jeder Anspruch als getrenntes Beispiel für sich stehen kann. Ferner ist zu beachten, dass, obwohl ein abhängiger Anspruch sich in den Ansprüchen auf eine bestimmte Kombination mit einem oder mehreren anderen Ansprüchen bezieht, andere Beispiele auch eine Kombination des abhängigen Anspruchs mit dem Gegenstand irgendeines anderen abhängigen oder unabhängigen Anspruchs umfassen können. Solche Kombinationen werden hiermit explizit vorgeschlagen, sofern nicht im Einzelfall angegeben ist, dass eine bestimmte Kombination nicht beabsichtigt ist. Ferner sollen auch Merkmale eines Anspruchs für irgendeinen anderen unabhängigen Anspruch umfasst sein, selbst wenn dieser Anspruch nicht direkt als abhängig von diesem anderen unabhängigen Anspruch definiert ist.

Claims

Ein Verfahren (100) zum Bestimmen eines Reflektivitätswertes, der eine Reflektivität eines Objekts anzeigt, das Verfahren (100) umfassend: Durchführen (102) einer Laufzeit-, ToF-, Messung unter Verwendung eines ToF-Sensors, wobei eine Korrelationsfunktion der ToF-Messung über die Distanz innerhalb eines Messbereichs des ToF-Sensors derart steigt, dass ein Ausgabewert des ToF-Sensors für die ToF-Messung unabhängig von der Distanz zwischen dem ToF-Sensor und dem Objekt ist; und Bestimmen (104) des Reflektivitätswertes basierend auf dem Ausgabewert des ToF-Sensors für die ToF-Messung.
Das Verfahren (100) gemäß Anspruch 1, wobei die Korrelationsfunktion eine erwartete distanzabhängige Ausgabe des ToF-Sensors für die ToF-Messung darstellt, unter der Annahme, dass eine Lichtstärke des während der ToF-Messung an dem ToF-Sensor empfangenen Lichts über die Distanz innerhalb des Messbereichs des ToF-Sensors konstant ist.
Das Verfahren (100) gemäß Anspruch 1 oder Anspruch 2, wobei das Bestimmen (104) des Reflektivitätswertes ein Anwenden zumindest einer Korrektur auf den Ausgabewert des ToF-Sensors für die ToF-Messung umfasst.
Das Verfahren (100) gemäß einem der Ansprüche 1 bis 3, wobei das Durchführen (102) der ToF-Messung umfasst: Beleuchten einer das Objekt umfassenden Szene mit moduliertem Licht basierend auf einem Beleuchtungssignal; Ansteuern eines Lichterfassungselements des ToF-Sensors basierend auf einem Referenzsignal; und Variieren zumindest eines von dem Beleuchtungssignal, dem Referenzsignal und einem Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal während der ToF-Messung.
Das Verfahren (100) gemäß Anspruch 4, wobei jedes von dem Beleuchtungssignal und dem Referenzsignal eine jeweilige abwechselnde Folge von hohen und niedrigen Pulsen gleicher Dauer aufweist, und wobei der Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal während der ToF-Messung variiert wird.
Das Verfahren (100) gemäß Anspruch 4, wobei zumindest eines von dem Beleuchtungssignal und dem Referenzsignal eine jeweilige abwechselnde Folge von hohen und niedrigen Pulsen von variierender Dauer aufweist, und wobei die jeweilige abwechselnde Folge von hohen und niedrigen Pulsen für zumindest eines von dem Beleuchtungssignal und dem Referenzsignal während der ToF-Messung variiert wird.
Das Verfahren (100) gemäß Anspruch 6, wobei die jeweilige abwechselnde Folge von hohen und niedrigen Pulsen mit zunehmender Variationsrate für zumindest eines von dem Beleuchtungssignal und dem Referenzsignal während der ToF-Messung variiert wird.
Das Verfahren (100) gemäß Anspruch 6 oder Anspruch 7, wobei der Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal während der ToF-Messung variiert wird.
Das Verfahren (100) gemäß einem der Ansprüche 4 bis 8, wobei der ToF-Sensor vorübergehend eine jeweilige Hilfskorrelationsfunktion für jede Variation des Beleuchtungssignals, des Referenzsignals und des Zeitversatzes zwischen dem Beleuchtungssignal und dem Referenzsignal aufweist, die während der ToF-Messung verwendet wird, wobei die Korrelationsfunktion der ToF-Messung eine Kombination der Hilfskorrelationsfunktionen ist, und wobei das zumindest eine von dem Beleuchtungssignal, dem Referenzsignal und dem Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal derart variiert wird, dass die Hilfskorrelationsfunktionen innerhalb des Messbereichs des ToF-Sensors gegeneinander verschoben werden.
Das Verfahren (100) gemäß einem der Ansprüche 4 bis 9, wobei das modulierte Licht von einem Beleuchtungselement des ToF-Sensors emittiert wird, und wobei das Verfahren (100) ferner umfasst: Messen einer Temperatur an dem Beleuchtungselement; und/oder Messen einer Lichtstärke und/oder einer Anstiegszeit des von dem Beleuchtungselement emittierten, modulierten Lichts; und Variieren des zumindest einen von dem Beleuchtungssignal, dem Referenzsignal und dem Zeitversatz zwischen dem Beleuchtungssignal und dem Referenzsignal basierend auf zumindest einem von der gemessenen Temperatur an dem Beleuchtungselement und der gemessenen Lichtstärke und/oder Anstiegszeit des von dem Beleuchtungselement emittierten, modulierten Lichts.
Das Verfahren (100) gemäß einem der Ansprüche 1 bis 10, wobei ein Verlauf der Korrelationsfunktion der ToF-Messung über die Distanz von einem geschätzten Verlauf einer tatsächlichen Lichtstärke des an dem ToF-Sensor empfangenen Lichts über die Distanz innerhalb des Messbereichs abhängt.
Das Verfahren (100) gemäß einem der Ansprüche 1 bis 11, wobei die Korrelationsfunktion der ToF-Messung in einer Werkskalibrierung vorbestimmt wird.
Das Verfahren (100) gemäß einem der Ansprüche 1 bis 12, ferner umfassend: Durchführen einer Mehrzahl von ToF-Kalibrierungsmessungen zum Erhalten von Kalibrierungsdaten, die die tatsächliche Lichtstärke des an dem ToF-Sensor empfangenen Lichts für verschiedene Distanzen zwischen dem ToF-Sensor und einem Referenzobjekt anzeigen; und Anpassen der Korrelationsfunktion der ToF-Messung basierend auf den Kalibrierungsdaten.
Das Verfahren (100) gemäß einem der Ansprüche 1 bis 13, ferner umfassend: Durchführen einer oder mehrerer weiterer ToF-Messungen unter Verwendung des ToF-Sensors; Bestimmen eines Distanzwertes, der eine Distanz zu dem Objekt anzeigt, basierend auf einer Ausgabe des ToF-Sensors für die eine oder die mehreren weiteren ToF-Messungen; und Ausgeben von Daten, die den Reflektivitätswert und den Distanzwert anzeigen.
Eine Vorrichtung (200) zum Bestimmen eines Wertes, der eine Reflektivität eines Objekts (201) anzeigt, die Vorrichtung umfassend: einen Laufzeit-, ToF-, Sensor (210), der ausgebildet ist, eine ToF-Messung durchzuführen, wobei eine Korrelationsfunktion der ToF-Messung über die Distanz innerhalb eines Messbereichs des ToF-Sensors (210) derart steigt, dass ein Ausgabewert des ToF-Sensors (210) für die ToF-Messung unabhängig von der Distanz zwischen dem ToF-Sensor (210) und dem Objekt (201) ist, und eine Verarbeitungsschaltung (240), die ausgebildet ist, den Reflektivitätswert basierend auf dem Ausgabewert des ToF-Sensors (210) für die ToF-Messung zu bestimmen.