DE102022131217A1 - Kamerasystem mit Cross-Talk-Kompensation - Google Patents

Abstract

Kamerasystem, das einen Sensor, bestehend aus einem oder mehreren für elektromagnetische Strahlung empfindliche Pixeln, eine Beleuchtung und eine Auswerteeinheit beinhaltet, wobei Sensor und Beleuchtung hinter einer semitransparenten Schicht angeordnet sind, die einen Teil der Strahlung der Beleuchtung zum Sensor zurückleitet,gekennzeichnet dadurch, dass im Speicher der Auswerteeinheit ein Referenzsignal vorliegt, das das für eine Aufnahme zu erwartende Cross-Talk Signal charakterisiert und das Referenzsignal von dem Signal der Aufnahme abgezogen wird.

Description

• Die Erfindung geht aus von einem Kamerasystem mit einer Cross-Talk-Kompensation nach Gattung des unabhängigen Anspruchs.
• Befindet sich ein Display (oder Coverglas, o.Ä.) vor einer Kamera mit einer Beleuchtung, wird am Display ein Teil des Lichtes der Beleuchtung reflektiert und gelangt direkt zurück zum Sensor, ohne in die Szene zu gelangen. Dieses Cross-Talk-Signal vermischt sich mit dem Nutzsignal und verfälscht damit die Messung. Das Problem wird dadurch behoben, dass das Cross-Talk-Signal im Vorhinein (z.B. in einem Kalibrationsschritt) bestimmt wird und zur Laufzeit auf Rohdatenbasis (z.B. Re, Im) abgezogen wird.
• Das erfindungsgemäße Vorgehen geht aus von beispielsweise einem Kamerasystem mit modulierter Beleuchtung und einer PMD-Kamera z.B. gemäß der DE 19 704 496 C2 oder einem System gemäß einem Structured-Light-Prinzip, oder einer Kamera mit einer/m unmodulierten Beleuchtung/Sensor, bei der Beleuchtung und Kamera hinter einer semitransparenten Schicht (z.B. ein Display oder Cover-Glas) angeordnet sind.
• Hier können auf verschiedene Weisen Messfehler entstehen, die darauf beruhen, dass sich der gewünschte Lichtpfad mit ungewünschten Lichtpfaden überlagert. Z.B. wird bei Multipath-Interferenz (MPI) (siehe beispielsweise WO 2015 102 847 A1 ) der direkte Lichtpfad mit Pfaden gemischt, die an anderen Objekten in der Szene reflektieren, bevor sie das gewünschte Objekt treffen, wodurch ein längerer Lichtpfad als der gewünschte suggeriert wird. Bei Streulicht wird z.B. durch Streuung an der Linse Licht von einem Objekt, das für einen bestimmten Pixel vorgesehen war, zu einem anderen Pixel geleitet.
• In der vorliegenden Erfindung wird ein Teil des Lichts der Beleuchtung nicht in die Szene ausgesandt, sondern aufgrund der semitransparenten Schicht direkt zurück zum Sensor geleitet. Dies geschieht z.B. durch Reflexion, oder durch Lichtleitung innerhalb der Strukturen des Displays. Anders als bei den vorstehend genannten Beispielen gelangt hierbei ein Teil des Beleuchtungslichtes nicht in die zu vermessende Szene. Dieses Licht ist im Allgemeinen unerwünscht, denn es überlagert sich mit dem Signal der eigentlich zu vermessenden Szene.
• In der US 2021 165 085 A1 wird dieses Problem durch Verwendung von polarisiertem Licht reduziert. Dies ist allerdings mit erhöhten Produktionskosten verbunden und kann die Reflexionen nur teilweise verhindern.
• Bei SPAD-, oder direct Time-of-Flight (dToF) Systemen, bei denen die verschiedenen möglichen Entfernungen der Objekte verschiedenen Histogramm-Bins zugeordnet werden, kann das Cover-Glas einem im Vorhinein festgelegten Bin-Bereich des Histogramms zugeordnet werden ( US20200271765A1 ), was eine Trennung der Objekte möglich macht.
• Die vorliegende Erfindung bezieht sich hingegen auf Sensoren, bei denen das Signal der Aufnahme der Menge des empfangenen Lichts entspricht. Hierfür werden typischerweise n-Tap Pixel (z.B. n = 2, 3, 4, ... für indirect Time-of-Flight-Systeme oder n = 1 für IR-Grauwert-Kameras oder Structured Light Kameras) verwendet. Die Bezeichnung Tap beschreibt typischerweise einen Integrationsknoten zur Akkumulation von Ladungsträger. Bei den betrachteten Verfahren wird das Signal vom Cover-Glas und dem zu vermessenden Objekt als gemeinsames Mischsignal und unterscheidet sich somit grundsätzlich von einem dToF-Histogramm-Verfahren.
• Aufgabe der Erfindung ist es, ein optisches Übersprechen von einer Beleuchtung auf einen Sensor, die gemeinsam unter einer semitransparenten Schicht angeordnet sind, zu kompensieren.
• Die Aufgabe wird durch das erfindungsgemäße Vorgehen gelöst.
• Vorteilhaft vorgeschlagen wird ein Kamerasystem vorgeschlagen mit einem Sensor, bestehend aus einem oder mehreren für elektromagnetische Strahlung empfindliche Pixel,
  mit einer Beleuchtung zur Aussendung einer elektromagnetischen Strahlung,
  und mit einer Auswerteeinheit,
  wobei der Sensor und die Beleuchtung hinter einer semitransparenten Schicht angeordnet sind,
  und über die semitransparente Schicht ein Teil der Strahlung der Beleuchtung als Cross-Talk-Signal zum Sensor gelangt,
  wobei im Betrieb des Kamerasystems am Sensor ein Mischsignal aus dem Cross-Talk-Signal und einer von einer Szenerie reflektierten Strahlung am Sensor anliegt, wobei aus den Mischsignalen einer oder mehrerer Messungen ein Aufnahmesignal
  ermittelt wird,
  wobei die Pixel des Sensors wenigstens ein Tap bzw. einen Integrationsknoten aufweisen, wobei in einem Speicher der Auswerteeinheit wenigstens ein Cross-Talk-Referenzsignal für wenigstens einen Aufnahme-Parameter hinterlegt ist,
  wobei die Auswerteeinheit derart ausgestaltet ist,
  dass zur Bildung einer korrigierten Aufnahme das Cross-Talk-Referenzsignal von dem Aufnahmesignal abgezogen wird.
• Dieses Vorgehen hat den Vorteil, dass in einer Referenzmessung ein Cross-Talk-Signal ohne Objektlicht als Referenzsignal hinterlegt und im Messbetrieb vom Mischsignal abgezogen werden kann.
• Vorteilhaft werden als Mischsignal nicht die Rohdaten, sondern bereits vorverarbeitete Rohdaten herangezogen.
• Dieses Vorgehen hat den Vorteil, dass die Vorverarbeitung derart erfolgen kann, dass die Subtraktion des Cross-Talk-Referenzsignals erleichtert erfolgen kann.
• Die Erfindung wird anhand von Ausführungsbeispielen näher erläutert.
• Es zeigen schematisch
• 1 eine Anordnung einer Beleuchtung und einer Kamera unterhalb einer semitransparenten Schicht,
• 2 ein Mischsignal aus Objekt- und Cross-Talksignal in einer Phasendarstellung,
• 3 ein Ablaufschema des erfindungsgemäßen Vorgehens
• 1 zeigt schematisch ein Beispiel einer Kamera (1) im Sinne der Erfindung. Die Beleuchtung (12) sendet Licht aus, das über den Pfad S_p1 zu einem Objekt (40) in der Szene gelangt und über den Pfad S_p2 zurück zum Sensor (22). Gleichzeitig gelangt ein Teil des Lichts der Beleuchtung (12) über den Pfad S_p,int zurück zum Sensor (22), ohne in die Szene zu gelangen. Dies geschieht z.B. durch Reflexionen an der semitransparenten Schicht (45) (durchgezogene Linien), oder durch Lichtleitung innerhalb der semitransparenten Schicht (45) (gestrichelte Linien).
• Dieser Effekt wird im Folgenden als Cross-Talk bezeichnet.
• Im Fall von Distanzbildern nach dem indirect Time-of-Flight (iToF) Prinzip führt der Cross-Talk zu Mischsignalen zwischen Display und tatsächlich zu vermessendem Objekt und daher zu verfälschten Distanzen.
• Die Korrektur des Cross-Talks besteht im Wesentlichen darin, das Cross-Talk Signal von den aufgenommenen Bildern abzuziehen. Dies kann auf den direkt aufgenommenen Rohdaten geschehen, oder auf vorprozessierten Bildern. Beispielsweise können die Bilder bereits um das Fixed-Pattern-Noise (FPN) bereinigt sein, oder tote Pixel durch Nachbarpixel ersetzt worden sein. Im Fall von indirect Time-of-Flight (iToF) Messungen werden typischerweise vier Aufnahmen, D₀, D₉₀, D₁₈₀, D₂₇₀, angefertigt und daraus z.B. Re = D₀ - D₁₈₀ und Im = D₉₀- D₂₇₀ berechnet. In diesem Fall ist es z.B. vorteilhaft, das Cross-Talk Signal auf Basis von Re und Im zu bestimmen (Re_XTalk, Im_XTalk) und von Re und Im der zu korrigierenden Aufnahme (Re_Aufn, Im_Aufn) abzuziehen: $${\text{Re}}_{\text{corr}}={\text{Re}}_{\text{Aufn}}-{\text{Re}}_{\text{XTalk}},$$

  

  $${\text{Im}}_{\text{corr}}={\text{Im}}_{\text{Aufn}}-{\text{Im}}_{\text{XTalk}}.$$

  
• Im Fall von Grauwert-Bildern (Amplitude / Intensität) führt der Cross-Talk zu Bildbereichen, die meist durch das zusätzliche, unerwünschte Licht (S_p,int) zu hell dargestellt werden.
• Aufnahmen, bei denen der Sensor nicht moduliert wird, werden im Folgenden als Intensitäts-Bilder (I) bezeichnet. Hierzu kann z.B. ein 2-Tap Pixel bzw. ein Pixel mit zwei Integrationsknoten verwendet werden, das so konfiguriert ist, dass nur einer der beiden Taps bzw. Integrationsknoten benutzt wird, oder auch ein Pixel mit nur einem Tap / Integrationsknoten. Hierbei ist es vorteilhaft, die Intensitäts-Bilder des Cross-Talk-Signals (I_XTalk) zu kennen und die Korrektur auf die Intensitäts-Aufnahmen (I_Aufn) anzuwenden: $${\text{I}}_{\text{corr}}={\text{I}}_{\text{Aufn}}-{\text{I}}_{\text{XTalk}}\text{.}$$

  
• Auch hier kann die Korrektur auf Rohdaten oder auf vorprozessierten Bildern geschehen. Das Cross-Talk-Signal (I_XTalk) einer homogenen Beleuchtung unterscheidet sich hierbei grundsätzlich von dem einer strukturierten Beleuchtung, jedoch ist die Anwendung der Korrektur identisch.
• Für die Korrektur muss das Cross-Talk Signal bekannt sein. Dies kann z.B. in einem Kalibrationsschritt bestimmt werden, in dem eine oder mehrere Referenzmessungen angefertigt werden. Dafür kann die Kamera in einer Szenerie platziert werden, die möglichst wenig Licht reflektiert, um möglichst ausschließlich das Cross-Talk Signal zu erfassen. Beispielsweise kann ein dunkler Stoff verwendet werden, der in möglichst großer Entfernung platziert ist.
• Grundsätzlich kann es vorteilhaft sein, mehrere Referenzmessungen zu mitteln, z.B. um ein rauscharmes Cross-Talk Signal zu erhalten.
• Sofern die Beleuchtung (12) und der Sensor (22) modulierbar ist, besteht die Möglichkeit, eine Aufnahme nach dem indirect Time-of-Flight Prinzip anzufertigen und ein Objekt (40) derart zu platzieren, dass die Entfernung zwischen dem Display (45) und dem Objekt (40) einer Phasen-Verschiebung von 90° entspricht.
• Eine derartige Messung ist in 2 illustriert. Hierbei addieren sich die Signale des Objekts (z_O) und des Displays (z_D) zu dem gemessenen Wert (z_gem) vektoriell. Ist die Entfernung, und damit die Phase (φ_D), des Displays bekannt, kann das Signal des Displays durch Projektion des gemessenen Wertes (z_gem) auf die Gerade, die der Phase (φ_D) des Displays entspricht, erhalten werden (gestrichelte Linie).
• Eine weitere Möglichkeit besteht darin, teils semitransparente Objekte (z.B. eine Glasscheibe) derart in der Szene zu platzieren, so dass die vektorielle Addition der Signale aus der Szene Null ergibt und daher bei der Messung nur das Cross-Talk Signal übrigbleibt.
• Sofern die Beleuchtung (12) und der Sensor (22) modulierbar ist, besteht eine andere Möglichkeit darin, durch Verwendung einer PN-Folge bestimmte Distanzbereiche auszublenden (wie in DE 10 2018 131 580 A1 beschrieben) und ein Objekt (40) in einem ausgeblendeten Distanzbereich zu platzieren, so dass das gemessene Signal ausschließlich dem Cross-Talk Signal entspricht.
• Eine weitere Möglichkeit besteht darin, eine Szene zu verwenden, in der sämtliche Objekte so weit entfernt sind, dass unabhängig von deren Reflektivität das reflektierte, zurückkehrende Licht (S_p2) vernachlässigbar ist, beispielsweise ein Sternenhimmel.
• Eine weitere Möglichkeit nutzt die Tatsache aus, dass für Aufnahmen zur Laufzeit das Cross-Talk Signal grundsätzlich näherungsweise unverändert bleibt, während sich das Signal der Szene typischerweise ändert. Ist nun z.B. das gemittelte, nicht Cross-Talk behaftete Signal für typische Szenen für die Verwendung des Kameramoduls bekannt, kann dieses von den gemittelten, Cross-Talk behafteten Signalen subtrahiert werden und dadurch näherungsweise das Cross-Talk Signal erhalten werden.
• Bestimmte Parameter der Aufnahme können das Cross-Talk Signal beeinflussen, wie beispielsweise die Belichtungszeit, also die Zeit, in der die Beleuchtung (12) aktiv ist, die Sensitivität bzw. ISO-Lichtempfindlichkeit des Sensors (22), oder die Temperatur des Kameramoduls (1). Um dies bei der Korrektur zu berücksichtigen, werden besagte Referenzmessungen vorteilhafterweise mit verschiedenen Parametern angefertigt. Bei der Korrektur werden dann diejenigen Referenzmessungen verwendet, die am ehesten den Parameter entsprechen, bei der zu korrigierenden Aufnahme verwendet wurden. Sollten Referenzmessungen für die gewünschten Parameter nicht vorliegen, kann durch Kombination von Referenzmessungen mit ähnlichen Parametern (z.B. Interpolation) eine gute Abschätzung für die gewünschte Referenzmessung bestimmt werden.
• Bei bestimmten Parametern ist deren Einfluss auf das Cross-Talk Signal elementar. Beispielsweise skaliert die Stärke des Cross-Talk Signals in guter Näherung linear mit der Belichtungszeit. Weiterhin verursacht ein Temperaturunterschied im Fall der indirekten Time-of-Flight Methode eine meist bekannte Phasenverschiebung der Messung. In solchen Fällen können mehrere Referenzmessungen mit verschiedenen Parametern (z.B. mit Belichtungszeiten von 100µs, 200µs, 300µs, ...) aufgenommen werden, auf ein Referenz-Parameter umgerechnet werden (für eine Referenz-Belichtungszeit von 100µs müssten die Referenzmessungen dann mit 1, ½, ⅓, ... malgenommen werden) und diese umgerechneten Referenzmessungen gemittelt werden. Zur Korrektur einer späteren Aufnahme muss die Referenzmessung auf die Parameter der zu korrigierenden Aufnahme umgerechnet werden. (Für eine Belichtungszeit von 729 µs müsste die mit 100 µs referenzierte Referenzmessung mit 7.29 malgenommen werden.)
• 3 zeigt ein Flussdiagramm für ein mögliches Setup im Sinne dieser Erfindung, in dem eine Kamera nach dem indirect Time-of-Flight Prinzip verwendet wird. Der erste Teil, Bestimmung des Referenzsignals, kann im Zuge einer Kalibration ausgeführt werden. Der zweite Teil, Aufnahmen und Korrektur zur Laufzeit, wird ausgeführt, wann immer eine Korrektur des Cross-Talks für die gemessene Szene erwünscht ist.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 19704496 C2 [0003]
• WO 2015102847 A1 [0004]
• US 2021165085 A1 [0006]
• US 20200271765 A1 [0007]
• DE 102018131580 A1 [0029]

Claims (10)

1. Kamerasystem (1), mit einem Sensor (22), bestehend aus einem oder mehreren für elektromagnetische Strahlung empfindliche Pixel, mit einer Beleuchtung (12) zur Aussendung einer elektromagnetischen Strahlung, und mit einer Auswerteeinheit, wobei der Sensor (22) und die Beleuchtung (12) hinter einer semitransparenten Schicht (45) angeordnet sind, und über die semitransparente Schicht (45) ein Teil der Strahlung der Beleuchtung (12) als Cross-Talk-Signal (S_p,int) zum Sensor (22) gelangt, wobei im Betrieb des Kamerasystems (1) am Sensor (22) ein Mischsignal aus dem Cross-Talk-Signal (S_p,int) und einer von einer Szenerie reflektierten Strahlung (S_p2) am Sensor (22) anliegt, wobei aus den Mischsignalen einer oder mehrerer Messungen ein Aufnahmesignal (I_Aufn, Re_Aufn, Im_Aufn) ermittelt wird, wobei die Pixel des Sensors (22) wenigstens ein Tap bzw. einen Integrationsknoten aufweisen, wobei in einem Speicher der Auswerteeinheit wenigstens ein Cross-Talk-Referenzsignal (I_xTalk, Re_xTalk, Im_xTalk,) für wenigstens einen Aufnahme-Parameter hinterlegt ist, wobei die Auswerteeinheit derart ausgestaltet ist, dass zur Bildung einer korrigierten Aufnahme (I_corr, Re_corr, Im_corr) das Cross-Talk-Referenzsignal (I_xTalk, Re_xTalk, Im_xTalk) von dem Aufnahmesignal (I_Aufn, Re_Aufn, Im_Aufn) abgezogen wird.
2. Kamerasystem (1) nach Anspruch 1, bei dem das zur Cross-Talk-Korrektur herangezogene Aufnahmesignal (I_Aufn, Re_Aufn, Im_Aufn) durch Vorverarbeitungsschritte aus den Rohdaten der Aufnahme oder aus Rohdaten, die der Aufnahme entsprechen, hervorgeht.
3. Kamerasystem (1) nach Anspruch 1 oder 2, bei dem das Cross-Talk-Referenzsignal (I_xTalk, Re_xTalk, Im_XTalk) durch Umrechnung von einem oder mehreren zuvor aufgenommenen Cross-Talk Signalen (S_p,int) auf die Parameter der Aufnahme entsteht.
4. Kamerasystem (1) nach einem der vorherigen Ansprüche, bei dem das Kamerasystem als Time-of-Flight Kamerasystem nach dem Phasenmessprinzip ausgebildet ist, bei dem zumindest ein Teil der Pixel des Sensors (22) sowie die Beleuchtung (12) modulierbar sind, und das Aufnahmesignal (Re_Aufn, Im_Aufn) durch Linearkombination der Rohdaten der Aufnahme und/oder Vorverarbeitungsschritten bestimmt wird, und zumindest einer der beiden folgenden Kriterien erfüllt ist: a. Aus dem Aufnahmesignal (Re_Aufn, Im_Aufn) wird eine Phasenverschiebung zwischen Sensor (22) und Beleuchtung (12) ermittelt, die die Laufzeit zwischen Aussendung und Empfang des Lichtes widerspiegelt. b. Aus dem Aufnahmesignal (Re_Aufn, Im_Aufn) wird ein Grauwertbild berechnet, das die Reflektivität der aufgenommenen Szene widerspiegelt.
5. Kamerasystem (1) nach Anspruch 1-3, bei dem zumindest ein Teil des Sensors (22) nicht moduliert wird und das Signal der Aufnahme der Gesamtmenge der empfangenen elektromagnetischen Strahlung im jeweiligen Pixel entspricht.
6. Kamerasystem (1) nach einem der vorherigen Ansprüche, bei dem das Cross-Talk-Referenzsignal (I_xTalk, Re_xTalk, Im_xTalk) durch Mittelung der Signale mehrerer Referenzmessungen entstanden ist, wobei die Signale der mehreren Referenzmessungen mit verschiedenen Aufnahme-Parametern (z.B. Belichtungszeit, Temperatur) aufgenommen sein können und die Signale vor der Mittelung auf Referenz-Parameter umgerechnet werden können.
7. Kamerasystem (1) nach einem der vorherigen Ansprüche, bei dem für die Aufnahme des Cross-Talk-Referenzsignals (I_xTalk, Re_xTalk, Im_XTalk) eine Szene verwendet wurde, in der sämtliche Objekte so weit entfernt sind, dass das reflektierte, zurückkehrende Licht (S_p2) vernachlässigbar ist.
8. Kamerasystem (1) nach einem der vorherigen Ansprüche, bei dem für die Aufnahme des Cross-Talk-Referenzsignals (I_xTalk, Re_xTalk, Im_XTalk) ein Pseudo-Noise (PN) Modulationsschema verwendet wurde und die für die Aufnahme relevanten Objekte sich in ausgeblendeten Distanzbereichen befinden.
9. Kamerasystem (1) nach einem der vorherigen Ansprüche, bei dem das Cross-Talk-Referenzsignal (l_xTalk, Re_xTalk, Im_XTalk) aus der Analyse der vergangenen Messungen des Kamerasystems gewonnen wird.
10. Kamerasystem (1) nach einem der vorherigen Ansprüche, bei dem das Kamerasystem (1) als Time-of-Flight Kamerasystem ausgebildet ist und für die Aufnahme des Cross-Talk-Referenzsignals (I_xTalk, Re_xTalk, Im_XTalk) eine Szene verwendet wird, deren vektoriell addiertes Signal gegenüber dem Cross-Talk Signal vernachlässigbar ist, oder sich durch Projektion auf das Cross-Talk Signal beseitigen lässt.

Images