DE102021124961A1

DE102021124961A1 - Kamerasystem mit Interferenzmusterunterdrückung

Info

Publication number: DE102021124961A1
Application number: DE102021124961.9A
Authority: DE
Inventors: Jan Hinnerk Stosch; Stephan Ulrich; Oliver Lottner
Original assignee: IFM Electronic GmbH; PMDtechnologies AG
Current assignee: IFM Electronic GmbH; PMDtechnologies AG
Priority date: 2021-09-27
Filing date: 2021-09-27
Publication date: 2023-03-30
Also published as: WO2023046545A1

Abstract

Kamerasystem mit einem Sensor, der eine Vielzahl von für elektromagnetische Strahlung empfindliche Pixeln aufweist,wobei auf einer Empfangsseite des Sensors eine halbtransparenten Schicht aufliegt,wobei eine Auswerteeinheit des Kamerasystems derart ausgebildet ist,dass ein auf der Empfangsseite des Sensors auftretendes Interferenzmuster durch eine pixelweise durchgeführte Korrektur unterdrückt wird.

Description

Kerngedanke der vorliegenden Erfindung ist, die Entfernung von Inferenzstreifen aus Daten, die von einer Kamera hinter einer halbtransparenten Schicht (z. B. einem Display oder Deckglas) erfasst wurden. Diese Streifen entstehen durch Mehrfachreflexionen von Licht innerhalb einer oder mehrerer Schichten des Displays. Konstruktive Interferenz erzeugt hierbei typischerweise ringförmige Streifenmuster, die Daten und damit Algorithmen, die diese Datenpunkte verwenden, negativ beeinflussen.
Durch Anwenden einer pixelweisen Korrektur können die Streifen entfernt werden, indem die erhaltenen Daten mit einer pixelweisen Korrekturmatrix verrechnet werden, die entweder direkt gespeichert oder unter Verwendung eines parametrisierten Modells aus Parametern rekonstruiert wird.
Da die beschriebenen Interferenzringe die Daten (wie z.B. die Intensität) durch konstruktive oder destruktive Interferenz um einen bestimmten Faktor verändern, ist es erforderlich, diesen Faktor in Abhängigkeit von der Position auf der Pixelmatrix zu beschreiben. Wenn das System sowohl einen aktiven Beleuchtungsteil (TX) als auch einen Empfangsteil (RX) hat, können je nach Basislinie des RX/TX-Teils zwei Interferenzstrukturen auftreten. Die Position des Interferenzmusters kann von der Entfernung zu dem beobachteten Objekt abhängen. Eine bessere Korrektur kann daher erfolgen, wenn die Entfernung des Objekts bekannt ist und eine entfernungsabhängige Verschiebung des Streifenmusters angewendet wird.
Das allgemeine Verfahren besteht aus zwei Schritten, wobei der erste Schritt ein Kalibrierungsschritt ist und nur einmal durchgeführt werden muss. Der zweite Schritt, die Korrektur selbst, muss für jedes Bild durchgeführt werden.
Die Kalibrierung kann aus den folgenden Schritten bestehen, ist aber nicht darauf beschränkt:

Aufnahme mindestens eines Referenzbildes, z.B. eine ebene weiße Wand in festem Abstand (z.B. 1m, idealerweise für unterschiedliche Temperaturen)
Bestimmung des/der Mittelpunkte(s) der einzelnen oder mehrfachen ringförmigen Interferenzmuster.

Der letztgenannte Schritt könnte manuell durchgeführt werden, da es sich um einen Kalibrierungsschritt handelt. Der Mittelpunkt kann mit der Linsenmitte korrelieren, muss es aber nicht. Auch weitere (halb)automatische Ansätze zur Erkennung von Kreisen und ihrer Mittenposition, wie zum Beispiel die Hough-Transformation, könnten genutzt werden. Die Mittenposition und die Radien der Ringe können je nach Materialeigenschaften von der Systemtemperatur abhängig sein. Eine entsprechende Korrektur der Positionswerte kann daher erforderlich sein.
Die Referenzbilder können ggf. als Bild oder parametrisiert in der Kamera abgelegt sein.
Als nächster Schritt muss der pixelweise Korrekturfaktor bestimmt werden. Bei homogener Ausleuchtung der Wand können diese Faktoren als gemessener Helligkeitswert relativ zum mittleren Helligkeitswert des Bildes angenommen werden. Wenn die Wand nicht homogen ist, kann das Helligkeitsverhältnis mit und ohne Display verwendet werden. Wenn die Inhomogenität langwellig ist, könnte dies auch erfolgen, indem das Hochpassbild einer Referenzszene durch deren Tiefpassbild geteilt wird. Das Tiefpassbild könnte unter Verwendung eines Gaußschen Filters bestimmt werden. Möglicherweise muss auch die Temperaturabhängigkeit eines solchen Faktorarrays bestimmt werden.
Zur Reduktion des Speicherplatzbedarfs der Kalibrierparameter könnte ein parametrisiertes Modell ermittelt werden. Ein Beispiel für ein solches Modell könnte ein Chirp-Signal oder eine LUT mit gespeicherten Radien und Amplituden sein, ist aber nicht darauf beschränkt. Die Parameter könnten bestimmt werden, indem sie auf der Grundlage der theoretischen Beschreibung des Interferenzmusters berechnet werden oder indem Kurvenfitalgorithmen verwendet werden. Der Ansatz kann optional Linseneffekte direkt berücksichtigen, was aufgrund von Linsenunschärfeeffekten zu abnehmenden Faktoren bei größeren Radien führt.
Die Korrektur selbst würde auf einer pixelweisen Korrekturmatrix basieren, deren Werte mit den aufgezeichneten Daten multipliziert werden, um verbesserte Daten mit abgeschwächten Streifenmustern zu erhalten. Diese Korrekturmatrix könnte idealerweise einmal während der Initialisierungsphase der Kamera berechnet werden, falls keine Temperaturabhängigkeit berücksichtigt wird. Andernfalls müsste die Matrix in bestimmten Abständen aktualisiert werden. Jeder Frame müsste dann mit der Matrix multipliziert werden, um die Interferenzstrukturen zu entfernen.

1 zeigt exemplarisch ein erfindungsgemäßes Kamerasystem, mit einem Sensor der hinter einem Display angeordnet sind. Das Display dient beispielsweise für die Darstellung von Informationen oder Bildern und ist vorzugsweise als halbtransparente Schicht ausgebildet. Wie eingangs erwähnt können in dieser Anordnung Interfenzen durch das Eintreffende Licht im Display auftreten, die sich dann als Amplitudenschwankungen auf dem Sensor bemerkbar machen und erfindungsgemäß kompensiert werden.
2 zeigt eine weitere Anordnung, bei der zusätzlich eine Beleuchtung hinter dem Display angeordnet ist. Das das Display durchdringende Licht kann ggf. auch durch Interferenzen beeinträchtigt sein, so dass das ausgesendete Licht in der Szenerie ein interferenzbeeinflusstes Amplitudenprofil aufweist. Erfindungsgemäß ist es vorgesehen, auch diesen Interferenzeinfluss zu kompensieren.

Alternativ oder ergänzend zu den aufgenommen Referenzbildern kann es auch vorgesehen sein, eine Interferenzunterdrückung anhand der während des Betriebs der Kamera aufgenommenen Bilder durchzuführen. So kann beispielsweise aus einer Vielzahl von aufgenommenen Bildern eine in den Bildern vorhandener interferenzbeeinflusster Amplitudenverlauf ermittelt und kompensiert werden.

Claims

Kamerasystem mit einem Sensor, der eine Vielzahl von für elektromagnetische Strahlung empfindliche Pixel aufweist, wobei der Sensor hinter einer halbtransparenten Schicht angeordnet ist, und wobei eine Auswerteeinheit des Kamerasystems derart ausgebildet ist, dass ein auf dem Sensor auftretendes Interferenzmuster durch eine pixelweise durchgeführte Korrektur unterdrückt wird.
Kamerasystem nach Anspruch 1, bei dem die Interferenzmusterunterdrückung eine Temperatur des Kamerasystems berücksichtigt.
Kamerasystem nach einem der vorhergehenden Ansprüche, bei dem die Interferenzmusterunterdrückung anhand mindestens eines Referenzbilds oder dessen Parametrisierung erfolgt, wobei das oder die Referenzbilder im Vorfeld in einer Referenzmessung erfasst wurden und Eigenschaften des Interferenzmusters abbilden.
Kamerasystem nach Anspruch 3, bei dem anhand der Referenzbilder eine Korrekturmatrix für die Interferenzmusterunterdrückung berechnet wird.
Kamerasystem nach Anspruch 3 oder 4, bei dem die Referenzbilder oder dessen Parametrisierung zu unterschiedlichen Temperaturen aufgenommen werden.
Kamerasystem nach einem der vorhergehenden Ansprüche, bei dem die Interferenzmusterunterdrückung Eigenschaften der halbtransparenten Schicht berücksichtigt.
Kamerasystem nach einem der vorhergehenden Ansprüche, bei dem die Interferenzmusterunterdrückung eine pixelweise Korrekturmatrix zur Laufzeit basierend auf den Vorgängerbildern berechnet.
Kamerasystem nach einem der vorhergehenden Ansprüche, mit einer Beleuchtung, die hinter der halbtransparenten Schicht angeordnet ist.
Kamerasystem nach Anspruch 8, bei dem die Interferenzmusterunterdrückung bzw. die Korrekturmatrix entfernungsabhängige Interferenzmuster berücksichtigt.
Kamerasystem nach einem der Ansprüche 8 oder 9, bei dem der Sensor als Tiefensensor ausgebildet ist.
Kamerasystem nach einem der Ansprüche 8 oder 9, bei dem der Sensor als 2D-Sensor ausgebildet ist und das Kamerasystem zusätzlich einen Tiefensensor aufweist.
Ein Kamerasystem wie aus den vorhergehenden Ansprüchen, bei dem die halbtransparente Schicht als Display ausgebildet ist.
Mobiles Handgerät mit einem Kamerasystem nach einem der vorhergehenden Ansprüche.