DE102010061864A1

DE102010061864A1 - Verfahren und Vorrichtung zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung

Info

Publication number: DE102010061864A1
Application number: DE102010061864A
Authority: DE
Inventors: Paul Ruhnau; Marc Geese
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2010-11-24
Filing date: 2010-11-24
Publication date: 2012-05-24
Also published as: EP2643967A1; US20130308020A1; WO2012069238A1; CN103229497A; JP2013545410A; US9154715B2; CN103229497B

Abstract

Die Erfindung betrifft ein Verfahren zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung mit einer Mehrzahl von Bildsensoren zum Bereitstellen einer Lichtstärkeinformation. Das Verfahren umfasst einen Schritt des Bestimmens einer Bildeigenschaft einer Bildinformation, die auf einer Mehrzahl von Lichtstärkeinformationen (104) und einer Mehrzahl von Parametern (108) basiert, wobei jedem der Mehrzahl von Bildsensoren jeweils einer der Mehrzahl von Parametern zugeordnet ist, sowie einen Schritt des Ermittelns (106) einer Mehrzahl von Parameterwerten für die Mehrzahl von Parametern (108), bei der die Bildeigenschaft an eine ideale Bildeigenschaft zumindest angenähert ist, wobei die Mehrzahl von Parameter den Fliegengittereffekt in einem Model der Bilderfassungseinrichtung repräsentiert.

Description

Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung, auf ein Verfahren zur Korrektur eines Fliegengittereffekts einer Bilderfassungseinrichtung sowie auf eine entsprechende Vorrichtung.
Verfahren zum Korrigieren des Fliegengittereffekts sind in den Branchen für den modernen Bildgerätebau und die moderne Bilderfassung hinlänglich bekannt. In den meisten Anwendungen jedoch wird der Fliegengittereffekt (englisch und Fachliteratur auch: FPN; Fixed Pattern Noise) während der Herstellung und zusätzlich oder alternativ in einer gesonderten Laborumgebung geschätzt.
Einige Szene-basierte Verfahren zur Reduzierung des Fliegengittereffekts finden sich in wissenschaftlichen Veröffentlichungen wie z. B. in R. C. Hardie, M. M. Hayat, E. Armstrong, an B. Yasuda, „Scene-based nonuniformity correction with video sequences and registration," Optical Society of America, APPLIED OPTICS No. 8, vol. 39, pp. 1241–1250, 2000. oder in der US 2009/0257679 A1 . Jedoch basieren die dabei angewendeten Verfahren hauptsächlich auf der Schätzung des optischen Flusses oder anderen eng damit verknüpften Verfahren und Abläufen.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung, ein Verfahren zur Korrektur eines Fliegengittereffekts einer Bilderfassungseinrichtung, weiterhin eine Vorrichtung, die diese Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Patentansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Die Erfindung basiert auf der Erkenntnis, dass sich die von einer Bilderfassungseinrichtung erfassten Bildinformationen aufgrund einer Bewegung der Bilderfassungseinrichtung oder der von der Bilderfassungseinrichtung erfassten Umgebung fortlaufend verändern. Werden über einen Zeitraum erfasste Bildinformationen gemittelt oder aufaddiert, so weist die resultierende Bildinformation typischerweise einen glatten Verlauf auf. Bereiche, in denen der glatte Verlauf gestört ist, deuten auf Störungen hin, die von der Bilderfassungseinrichtung hervorgerufen werden. Da eine reale Bilderfassungseinrichtung solche Störungen hervorruft, weist eine von einer Bilderfassungseinrichtung erfasste Bildinformation sowie die aus mehreren erfassten Bildinformationen generierte resultierende Bildinformation, keinen glatten Verlauf auf. Die durch die Bilderfassungseinrichtung hervorgerufenen Störungen können durch entsprechende Parameter in einer Modellbeschreibung der Bilderfassungseinrichtung beschrieben werden. Sind die Parameter optimal auf die Bilderfassungseinrichtung eingestellt, so können von der Bilderfassungseinrichtung erfasste Bildinformationen durch die Parameter so korrigiert werden, dass sie einen glatten Verlauf aufweisen. Somit können die Parameter bestimmt werden, indem die resultierende Bildinformation entsprechend der Modellbeschreibung mit Parametern beaufschlagt wird und Werte für die Parameter gesucht werden, bei denen die resultierende Bildinformation einen möglichst glatten Verlauf aufweist. Alternativ können erfasste Bildinformationen mit den Parametern beaufschlagt werden und anschließend jeweils die Glätte der erfassten Bildinformationen bestimmt werden. Im Anschluss können die einzelnen Werte für die Glätte der erfassten Bildinformationen als resultierende Glätte zusammengefasst werden und es können diejenigen Werte für die Parameter bestimmt werden, bei denen die resultierende Glätte minimiert ist.
Der erfindungsgemäße Ansatz beschreibt ein Onlineverfahren zur Fliegengittereffektschätzung, das auf der Analyse von Bildsequenzen beruht. Insbesondere bedeutet dies, dass der Fliegengittereffekt außerhalb einer Laborumgebung gemessen und korrigiert werden kann. Zum Erreichen dieses Ziels werden einige Annahmen über die Welt und die Erfassung der Einzelbilder getroffen.
Der Ansatz eignet sich für verschiedenste Video-basierte Methoden der Einzelbilderfassung in einer natürlichen Umgebung. Insbesondere gilt dies für Videosequenzen von modernen Fahrzeugfrontkameras oder Kameras an mobilen Robotern.
Mittels einer Online-FPN-Korrektur ist es möglich, eine Korrektur des Fliegengittereffekts in erfassten Sequenzen durchzuführen. So verbessert eine Korrektur des Fliegengittereffekts in einer Videoszene die Bildqualität, bei üblichen Sensoren insbesondere bei Sequenzen mit wenig Licht. Auch sind Verbesserungen bei der Farbrekonstruktion möglich. Besonders bei der Farbrekonstruktion, bei der viele Pixelwerte im Verlauf einer Berechnung verknüpft werden müssen, sind präzise Pixelwerte erforderlich. FPN-korrigierte Bilddaten verursachen weniger Farbrauschen im Bild, besonders bei Sequenzen mit schwacher Beleuchtung. Zudem sind Verbesserungen der Algorithmusfunktion möglich. Viele Algorithmen sind von ”guten”, d. h. für den jeweiligen Algorithmus geeigneten Bildsignalen abhängig. Der Fliegengittereffekt, insbesondere das bevorzugt auftretende Spalten-FPN, stört die Bildverarbeitungsalgorithmen, wie z. B. einen Spurerkennungsalgorithmus. Eine Korrektur des Fliegengittereffekts kann die Funktion solcher Algorithmusfunktionen verbessern.
Auch ist eine Erneuerung der Kalibrierung der Bilderfassungseinrichtung nach einigen Jahren im praktischen Einsatz sinnvoll. Da es sich erfindungsgemäß um einen Online-FPN-Korrekturalgorithmus handelt, kann der Fliegengittereffekt in bestimmten Zeitintervallen korrigiert werden. Dies bedeutet, dass die über große Zeitskalen hinweg verlaufenden Änderungen des Fliegengittereffekts korrigiert werden können. Dies verbessert die Qualität des Produkts. Auch ist ein Erfassen von temperaturabhängigen FPN-Korrekturgrößen im praktischen Einsatz möglich. Der Fliegengittereffekt ist im Allgemeinen ein sehr temperaturabhängiges Phänomen. Mit der Online-FPN-Korrektur können verschiedene temperaturabhängige Korrekturparameter (Daten) erfasst und korrigiert werden. Alle gemessenen Daten sind temperaturabhängig und können daher auch ohne Online FPN-Korrektur gemessen werden. Aber mit der Online-FPN-Korrektur kann das FPN in Abhängigkeit von der Temperatur korrigiert werden.
Dies führt auch zu Kosteneinsparungen beim Herstellungsprozess. Mit der Verwendung einer Online-FPN-Korrektur kann auf den Schritt im Herstellungsprozess verzichtet werden, in dem der Fliegengittereffekt gemessen und anschließend in dem Gerät gespeichert wird. Auf diese Weise kann auch der Speichplatz im Gerät verkleinert werden. Dies ermöglicht den Einsatz kostengünstigerer Bildgeräte-Hardware aufgrund der guten Korrekturverfahren.
Der erfindungsgemäße Ansatz basiert auf der Ableitung von räumlich und oder zeitlichen Eigenschaften gemessener Bilder oder Bildsequenzen, kurz Bildeigenschaft. Diese Bildeigenschaft kann durch die Glattheit, aber auch durch die Glattheitsänderung oder eine ganz anders definierte globale Bildeigenschaften realisiert werden. Eine solche Bildeigenschaft lässt sich in der Regel auf eine Zahl abbilden. Zusätzlich werden Annahmen über diese Bildeigenschaft für ein Idealbild oder eine ideale Bildsequenz geschätzt. Diese Schätzung kann z. B. theoretisch hergeleitet oder heuristisch, also aus der Erfahrung heraus, gefolgert werden. Aufgrund eines Vergleichs, der gemessenen Bildeigenschaft mit einer angenommenen idealen Bildeigenschaft, werden nun Bildkorrekturparameter geschätzt, mit denen die Bildeigenschaft der gemessenen Bilder in Richtung der idealen Bildeigenschaft korrigiert wird. Ein Minimierungsprozess findet nun den idealen Parametersatz für die gegebenen Eingangsdaten. Es müssen dabei nicht die idealen Bilder komplett bekannt sein. Vielmehr reicht es aus, eine abstrakte Bildeigenschaft dieser Bilder so zu definieren, dass die erhaltenen Ergebnisse in der realen Anwendung sinnvoll verwendbar sind.
Im Falle der FPN-Korrektur kann der erfindungsgemäße Ansatz folgendermaßen angewendet werden. Als globaler Parameter der gemessenen Bilder wird die Glattheit von zusammengeführten. Einzelbildern einer Sequenz geschätzt, oder alternativ die Glattheit von mehreren Einzelbildern zusammengeführt. Als angenommenes Idealbild wird ein ungestörtes, glattes Bild angenommen. Die Korrekturparameter, welche die Glattheit des gemessenen Bildes auf die angenommene ideale Glattheit eines Idealbildes korrigieren, können auch durch ein Sensormodell beschrieben werden und somit auch mit dem Fixed Pattern Noise identifiziert werden. Der Minimierungsprozess, findet nun einen idealen Parametersatz für eine gegebene Anzahl von Bildern. Sind diese Bilder repräsentativ gewählt und von der Anzahl her ausreichend, so entspricht das gefundene FPN, im Rahmen des Modells, auch dem FPN der Bilderfassungseinrichtung.
Die vorliegende Erfindung schafft ein Verfahren zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung mit einer Mehrzahl von Bildsensoren zum Bereitstellen einer Lichtstärkeinformation, das die folgenden Schritte umfasst:
Bestimmen einer Bildeigenschaft einer Bildinformation, die auf einer Mehrzahl von Lichtstärkeinformationen und einer Mehrzahl von Parametern basiert, wobei jedem der Mehrzahl von Bildsensoren jeweils einer der Mehrzahl von Parametern zugeordnet ist; und
Ermitteln einer Mehrzahl von Parameterwerten für die Mehrzahl von Parametern, bei der die Bildeigenschaft an eine ideale Bildeigenschaft zumindest angenähert ist, wobei die Mehrzahl von Parametern den Fliegengittereffekt in einem Model der Bilderfassungseinrichtung repräsentiert.
Bei dem Fliegengittereffekt, engl. Fixed Pattern Noise, handelt es sich um ein unerwünschtes Bildartefakt, das durch den technischen Aufbau der Bilderfassungseinrichtung bedingt ist. Bei der Bilderfassungseinrichtung kann es sich um eine Kamera oder einen Teil einer Kamera, beispielsweise eine Anzahl von Bildsensoren, handeln. Die Bilderfassungseinrichtung kann beispielsweise an einem Fahrzeug angeordnet sein, um ein Umfeld des Fahrzeugs zu erfassen. Eine Lichtintensität kann von einem Bildpunkt der Bilderfassungseinrichtung erfasst werden. Mehrere gleichzeitig oder direkt aufeinanderfolgend erfasste Lichtintensitäten einer Mehrzahl benachbarter Bildpunkte können zu einer Lichtstärkeinformation zusammengefasst werden. Somit kann es sich bei einer Lichtstärkeinformation um ein Bild oder eine Aufnahme der Bilderfassungseinrichtung oder einen Teilbereich eines entsprechenden Bildes oder einer entsprechenden Aufnahme handeln. Somit kann eine Lichtstärkeinformation von einem Bereich einer Sensorfläche der Bilderfassungseinrichtung erfasst bzw. bereitgestellt werden. Wird in die Sensorfläche ein zweidimensionales Koordinatensystem gelegt, so kann die Lichtstärkeinformation für unterschiedliche Koordinaten unterschiedliche Lichtstärkewerte aufweisen. Ebenso kann die Mehrzahl von Parametern für unterschiedliche Koordinaten des Koordinatensystems unterschiedliche Werte aufweisen. Die Mehrzahl von Parameterwerten kann als eine Matrix von Zahlen dargestellt sein, wobei jedem Bildsensor eine eigene Zahl in Form eines Parameterwerts zugeordnet ist. Die Mehrzahl von Lichtstärkeinformationen können zeitlich nacheinander, von ein und demselben Bereich der Sensorfläche erfasst werden. Eine Anzahl verwendeter Lichtstärkeinformationen kann von einer maximal möglichen Auflösung einer Lichtintensität durch einen Bildpunkt der Bilderfassungseinrichtung abhängig sein. So kann die Anzahl der Lichtstärkeinformationen größer als die Auflösung gewählt werden. Die Bilderfassungseinrichtung kann durch ein Modell beschrieben werden. Das Modell kann einen Zusammenhang zwischen einer realen Bildinformation, die von der Bilderfassungseinrichtung erfasst wird, und der entsprechenden von der Bilderfassungseinrichtung erfassten Bildinformation definieren. Das Modell kann eine mathematische Funktion darstellen. Der mindestens eine Parameter kann eine Variable des Modells sein. Insbesondere kann der mindestens eine Parameter eine den Fliegengittereffekt darstellende Störgröße des Models sein. Die Bildinformation kann aus den Lichtstärkeinformationen sowie der Mehrzahl von Parameter bestimmt werden, indem die Lichtstärkeinformationen zusammengeführt und anschließend mit der Mehrzahl von Parameter beaufschlagt werden, oder indem die Lichtstärkeinformationen jeweils mit der Mehrzahl von Parametern beaufschlagt und anschließend zusammengeführt werden. Die Bildeigenschaft kann eine räumliche und/oder zeitliche Eigenschaft der Bildinformation repräsentieren. Die ideale Bildeigenschaft kann im Vorfeld für ein Idealbild oder eine ideale Bildsequenz geschätzt werden. Die Bildeigenschaft kann durch einen Wert oder eine Zahl dargestellt werden. Das Annähern der Bildeigenschaft an die ideale Bildeigenschaft kann basierend auf einem Vergleich zwischen der idealen Bildeigenschaft und einer aktuellen Bildeigenschaft, die mit aktuellen Parameterwerten ermittelt wird, durchgeführt werden. Durch mehrere Vergleiche können diejenigen Parameterwerte gefunden werden, bei denen eine Abweichung zwischen der idealen Bildeigenschaft und der aktuellen Bildeigenschaft minimal ist oder innerhalb eines Toleranzfensters liegt. Ein Beispiel für eine geeignete Bildeigenschaft ist die Glattheit der Bildinformation. Glattheit kann in Bezug auf die Bildinformation das Fehlen hoher Frequenzen bedeuten. Minimale Glattheit liegt bei konstanter Bildinformation vor, was nicht erwünscht ist, weil die Bildinformation dann gelöscht ist. Die „gewünschte” Glattheit, die der idealen Bildeigenschaft entsprechen kann, enthält keine der störenden Bildanteile. Diese störenden Bildanteile stellen sich meistens durch hohe räumliche Frequenzen dar und kommen in der realen, ungestörten Bildinformation nicht vor. Entsprechend können die einzelnen Parameterwerte der Mehrzahl von Parameterwerten so ausgewählt werden, dass die Bildeigenschaft der idealen Bildeigenschaft entspricht oder der idealen Bildeigenschaft möglichst nahe kommt, beispielsweise innerhalb eines vorbestimmten Wertebereichs um einen Wert der idealen Bildeigenschaft liegt. Für das Beispiel der Glattheit liegt die ideale Bildeigenschaft dann vor, wenn die Bildinformation möglichst wenige hohe Frequenzen aufweist. Ein entsprechendes Online-Schätzverfahren für den Fliegengittereffekt kann online, also während eines Betriebs der Bilderfassungseinrichtung, in dem die Bilderfassungseinrichtung Aufnahmen der Umgebung bereitstellt, durchgeführt werden.
Gemäß einer Ausführungsform kann der Schritt des Bestimmens der Bildeigenschaft die folgenden Schritte umfassen: Zusammenführen der Mehrzahl von Lichtstärkeinformationen, um eine resultierende Lichtstärkeinformation zu bestimmen; Beaufschlagen der resultierenden Lichtstärkeinformation mit der Mehrzahl von Parametern, um eine mit der Mehrzahl von Parametern beaufschlagte Lichtstärkeinformation zu bestimmen; und Bestimmen der Bildeigenschaft als Bildeigenschaft der beaufschlagten Lichtstärkeinformation. Das Zusammenführen kann erfolgen, indem ein Mittelwert aus den Lichtstärkeinformationen gebildet wird, oder indem die Lichtstärkeinformationen aufaddiert werden. Das Zusammenführen kann auch auf eine ganz andere Art und Weise durchgeführt werden, z. B. als Gewichtung nach vergangener Zeit. Sowohl die einzelnen Lichtstärkeinformationen als auch die resultierende Lichtstärkeinformation weisen durch den Fliegengittereffekt hervorgerufenen Störungen auf. Durch das Beaufschlagen der resultierenden Lichtstärkeinformation mit der Mehrzahl von Parametern können die durch den Fliegengittereffekt hervorgerufenen Störungen reduziert werden. Je besser die Störungen durch die Mehrzahl von Parametern repräsentiert werden, umso besser können die Störungen in der beaufschlagten Lichtstärkeinformation, unter Verwendung der Mehrzahl von Parametern, reduziert werden. Je besser die Störungen reduziert werden, umso störungsfreier, beispielsweise glatter, ist wiederum die beaufschlagte Lichtstärkeinformation. Somit eignet sich diejenige der Mehrzahl von Parameterwerten am besten zur Reduzierung der durch den Fliegengittereffekt hervorgerufenen Störungen, die beispielsweise zu einer idealen Glattheit der beaufschlagten Lichtstärkeinformation führt. Um keine größtmögliche Glattheit zu erreichen, die zu konstanten Bildern führt, kann die Minimierungsvorschrift auch noch Regularisierungsparameter (alpha und beta) beinhalten. Diese können so gewählt werden, dass die Glattheit nach Korrektur möglichst mit der angenommenen oder erfahrungsgemäßen Glattheit der realen Information übereinstimmt.
Gemäß einer alternativen Ausführungsform kann der Schritt des Bestimmens der Bildeigenschaft die folgenden Schritte umfassen: Beaufschlagen jeder der Mehrzahl von Lichtstärkeinformation jeweils mit der Mehrzahl von Parametern, um eine Mehrzahl beaufschlagter Lichtstärkeinformationen zu bestimmen; Bestimmen jeweils einer Bildeigenschaft der Mehrzahl beaufschlagter Lichtstärkeinformationen; und Bestimmen der Bildeigenschaft durch Zusammenführen der Bildeigenschaften der Mehrzahl beaufschlagter Lichtstärkeinformationen. Durch das Beaufschlagen jeder der Lichtstärkeinformationen mit der Mehrzahl von Parametern können die durch den Fliegengittereffekt hervorgerufenen Störungen jeder der Lichtstärkeinformationen reduziert werden. Ein Wert der Bildeigenschaft, beispielsweise der Glattheit, kann mittels einer geeigneten mathematischen oder logischen Funktion bestimmt werden. Das Zusammenführen der Werte der einzelnen Bildeigenschaften kann erfolgen, in dem ein Mittelwert aus den Werten gebildet wird, oder in dem die Werte aufaddiert werden. Je stärker die Störungen in den Lichtstärkeinformationen durch die Mehrzahl von Parametern reduziert werden, umso störungsfreier sind die beaufschlagten Lichtstärkeinformationen und einen umso geringeren Wert weist, für das Beispiel der Glattheit, die resultierende Glattheit auf. Dabei bedeuten ein geringer Wert der Glattheit sehr glatt und ein großer Wert der Glattheit nicht glatt, also rau.
Der mindestens eine Parameter kann die die Dark Signal non-Uniformity (DSNU) und zusätzlich oder alternativ die Photo Response Non-Uniformity (PRNU) der Bilderfassungseinrichtung repräsentieren. Prinzipiell können alle Kombinationen von FPN Parametern geschätzt werden. Die Photo Response Non-Uniformity kann den charakteristischen Rauschanteil der Bilderfassungseinrichtung betreffen. Die Dark Signal non-Uniformity kann Abweichungen von Signalantworten einzelner Sensorbereiche von einem Durchschnittswert für den Fall betreffen, dass kein Licht auf die Bilderfassungseinrichtung trifft. Durch die Parameter PRNU und DSNU kann der Fliegengittereffekt sehr gut beschrieben werden. Beispielsweise kann der mindestens eine Parameter einen Faktor und/oder einen Summand umfassen, mit dem eine von der Bilderfassungseinrichtung zu erfassende Lichtstärkeinformation gemäß dem Modell beaufschlagt wird, um eine den Fliegengittereffekt berücksichtigende modellierte Lichtstärkeinformation zu bestimmen. Als Faktor kann der Parameter PRNU und als Summand der Parameter DSNU eingesetzt werden.
Die Mehrzahl von Parameterwerten der Mehrzahl von Parametern kann basierend auf einem Minimierungsprozess ermittelt werden. Es kann also für jeden einzelnen der Mehrzahl von Parametern jeweils ein geeigneter Parameterwert ermittelt werden. Beispielsweise kann die Mehrzahl von Parameterwerten als Minima einer die Glätte der Bildinformation beschreibenden Funktion bestimmt werden, wobei die Funktion eine Ableitung der Bildinformation über zumindest eine Haupterstreckungsrichtung einer Erfassungsfläche der Bilderfassungseinrichtung umfasst. Somit kann ein Wert der Bildeigenschaft, beispielsweise der Glattheit, mathematisch bestimmt und bewertet werden.
Generell kann die Bildeigenschaft eine räumliche und zusätzlich oder alternativ eine zeitliche Eigenschaft der Bildinformation repräsentieren.
Die vorliegende Erfindung schafft ferner ein Verfahren zur Korrektur eines Fliegengittereffekts einer Bilderfassungseinrichtung, das die folgenden Schritte umfasst:
Ermitteln einer Mehrzahl von Parameterwerten für eine Mehrzahl von Parametern, die den Fliegengittereffekt in einem Model der Bilderfassungseinrichtung repräsentiert, gemäß einem der vorangegangenen Ausführungsformen; und
Korrigieren einer Lichtstärkeinformation der Mehrzahl von Bildsensoren mit der Mehrzahl von Parameterwerten, um eine bezüglich des Fliegengittereffekts korrigierte Lichtstärkeinformation zu bestimmen.
Das Korrigieren kann erfolgen, in dem die von den Sensoren erfasste Lichtinformation mit der Mehrzahl von Parameter beaufschlagt wird, beispielsweise in dem die Lichtstärkeinformation mit einem entsprechenden Parameterwert multipliziert wird oder ein entsprechender Parameterwert aufaddiert wird. Durch das Korrigieren kann die erfasste Lichtstärkeinformation um den ermittelten Fliegengittereffekt bereinigt werden. Dies kann eine vollständige oder teilweise Korrektur des vorhandenen Fliegengittereffekts bewirken.
Gemäß einer Ausführungsform kann während eines Betriebsmodus der Bilderfassungseinrichtung, in dem die Mehrzahl von Bildsensoren fortlaufend Lichtstärkeinformationen erfassen, der Schritt des Ermittelns der Mehrzahl von Parameterwerten mehrmals wiederholt ausgeführt werden. Somit kann im Schritt des Korrigierens die erfasste Lichtstärkeinformation mit einer zuletzt bestimmten Mehrzahl von Parameterwerten beaufschlagt werden. Auf diese Weise könnte beispielsweise schnell auf temperaturabhängige Veränderungen eingegangen werden.
So kann der Schritt des Ermittelns des Parameterwerts ansprechend auf einen vorbestimmten Wert einer erfassten Temperatur der Bilderfassungseinrichtung oder einer Umgebung der Bilderfassungseinrichtung durchgeführt werden.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form eines Steuergeräts kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem, einem Computer entsprechenden Gerät ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 ein Blockschaltbild einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 ein Blockschaltbild einer Vorrichtung zur Korrektur eines Fliegengittereffekts einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
3 ein Ablaufdiagramm eines Verfahrens zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
4 ein Ablaufdiagramm eines weiteren Verfahrens zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt ein Blockschaltbild einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Bilderfassungseinrichtung weist einen Bildsensor 102 auf, der ausgebildet ist, um auf den Bildsensor 102 auftreffende und durch Pfeile dargestellte Lichtintensitäten zu erfassen. Der Bildsensor 102 ist ausgebildet, um eine Lichtstärkeinformation 104 auszugeben, die Informationen über die in einem Teilbereich oder einer gesamten Erfassungsfläche des Bildsensors 102 erfassten Lichtintensitäten umfasst. Eine Vorrichtung 106 zur Abschätzung eines Fliegengittereffekts der Bilderfassungseinrichtung ist ausgebildet, um eine Mehrzahl von Lichtstärkeinformationen 104 zu empfangen, die von dem Bildsensor 102 zu unterschiedlichen Erfassungszeitpunkten erfasst und ausgegeben werden. Die Vorrichtung 106 ist ausgebildet, um eine Bildeigenschafteiner Bildinformation zu bestimmen, die aus der Mehrzahl von Lichtstärkeinformationen 104 generiert wird. In Folgenden wird als Bildeigenschaft beispielhaft die Glattheit verwendet. Unter Verwendung der Glattheit ist die Vorrichtung 106 ferner ausgebildet, um einen oder mehrere Parameterwerte 108 zu bestimmen, der den durch die Bilderfassungseinrichtung hervorgerufenen Fliegengittereffekt beschreibt. Die Parameterwerte 108 können von der Vorrichtung 106 zur Weiterverwendung ausgegeben werden.
2 zeigt ein Blockschaltbild einer Vorrichtung zur Korrektur eines Fliegengittereffekts einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung weist eine Korrektureinrichtung 212 auf, die ausgebildet ist, um eine von der Bilderfassungseinrichtung erfasste und ausgegebene Lichtstärkeinformation 104 sowie zur Korrektur des Fliegengittereffekts geeignete Parameterwerte 108 zu empfangen. Die Korrektureinrichtung 212 ist ferner ausgebildet, um den in der Lichtstärkeinformation 104 vorhandenen Fliegengittereffekt unter Verwendung der Parameterwerte 108 zu korrigieren und eine entsprechend korrigierte Lichtstärkeinformation 214 auszugeben.
3 zeigt ein Ablaufdiagramm eines Verfahrens zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren kann beispielsweise von der in 1 gezeigten Vorrichtung 106 ausgeführt werden. Mittels des Verfahrens werden Parameterwerte 108 generiert, die beispielsweise von der in 2 gezeigten Korrektureinrichtung 212 eingesetzt werden können.
In einem Schritt 321 werden mehrere Lichtstärkeinformationen 104 zusammengeführt, um eine resultierende Lichtstärkeinformation 323 zu bestimmen. In einem Schritt 325 wird die resultierende Lichtstärkeinformation mit Parameterwerten 108 mehrerer Parameter zu beaufschlagen, um eine mit den Parametern beaufschlagte Lichtstärkeinformation 327 zu bestimmen. In einem Schritt 329 wird eine Glattheit 331 der beaufschlagten Lichtstärkeinformation 327 ermittelt. Dazu kann eine geeignete mathematische oder logische Funktion eingesetzt werden. Die Schritte 325, 329 können mit anderen Parameterwerten 108 wiederholt ausgeführt werden und es können die jeweils resultierenden Werte der Glattheiten 331 miteinander verglichen werden. Diejenigen Parameterwerte 108, bei denen der Wert der Glattheit 331 am geringsten ist, können als optimale Parameterwerte 108 angesehen und ausgegeben werden. Alternativ zu den Schritten 325, 329 kann ein Satz optimaler Parameterwerte 108 mittels eines geeigneten Algorithmus, beispielsweise einem Minimierungsprozess, gefunden werden.
Dieser Ansatz wird im Folgenden anhand eines Ausführungsbeispiels detailliert beschrieben.
In herkömmlichen 2D-Bilderfassungsverfahren wird eine Optik verwendet. Diese Optik projiziert die Lichtstärkeinformation aus der Umgebung aus einem vorgegebenen Raumwinkel auf eine 2D-Sensoranordnung. Dies kann wie folgt dargestellt werden: I_W,3D ∊ Ω ∩ R³ → I_W,2D ∊ R² (1)
I_W,2D kann dabei eine Lichtstärkeinformation in der Sensorebene darstellen.
Es wird nun angenommen, dass der Durchschnittswert in der Information I_W,2D glatt ist, wenn über eine ausreichend lange Zeitdauer hinweg gemittelt wird.
Die Mittelung kann durch eine einfache Integration oder Aufsummierung oder eine konkrete Mittelwertbildung, bei der beispielsweise das in Gleichung (2) gezeigte Integral noch durch die Zeit T geteilt wird.
Die Annahme basiert auf der Tatsache, dass die Information I_W,2D über die Zeit in der realen Welt variiert. Dies kann daran liegen, dass sich die Kamera und die Optik ständig bewegen, wie dies zum Beispiel bei Fahrzeugfrontkameras der Fall ist, oder aufgrund von anderen Effekten.
Im Allgemeinen ändern sich Kanten mit maximaler Lichtintensität, die von dem Gerät aufgezeichnet werden können, von Bild zu Bild. Daraus lässt sich gut ableiten, wie viele Abtastwerte gemittelt werden müssen. Ist eine Kante in einem Bild vorhanden und in jedem anderen Bild nicht, soll diese Kante beim Mitteln verschwinden. Ein Sensor kann in der Regel lediglich Lichtintensitäten von I_M,2D ∊ [0···2ⁿ – 1] ∩ Z⁺ messen. Eine Kante maximaler Lichtintensität soll nach dem Zusammenführen nicht mehr als 1 beitragen. Entsprechend gilt:
n_Abtastwert gibt dabei an, wie viele Lichtintensitäten zusammengeführt werden. Eine Glätte S einer Information X kann wie folgt ausgedrückt werden: S(X)_|·| = ∫∫|∇_x,yX(x, y)|dx dy (6), wobei |·| für eine beliebige, jedoch sinnvolle, Norm steht. Je niedriger der Wert S, desto glatter ist das Bild.
Die Glätte drückt dabei ein fehlen hoher Frequenzen aus.
Es wird davon ausgegangen, dass die gemittelte Information in der Welt glatt ist. Insofern gilt: S(A_W,2D)_|·| = ∫∫|∇_x,yA_W,2D|dx dy (7) = ∫∫|∇_x,y∫I_W,2Ddt|dx dy (8)
x und y stellen dabei Koordinaten eines Koordinatensystems dar, das in die Sensorfläche hineingelegt ist.
Dies führt zu dem Punkt, dass ein Modell der Bilderfassungsvorrichtung D_erf erstellt werden soll. Im Allgemeinen wird von einem linearen Modell für die gemessene Lichtintensität I_M,2D ausgegangen. Es kann jedoch auch eine allgemeine höhere Ordnung im Sinne eines Taylor-Polynoms in Betracht gezogen werden:
wobei die mit a_x,y ausgedrückten Werte auch unter der Bezeichnung PRNU (Photo Response Non-Uniformity) und die mit b_x,y ausgedrückten Werte auch unter der Bezeichnung DSNU (Dark Signal Non-Uniformity) bekannt sind.
Durch Einsetzen dieses Sensormodells in Gleichung 8 ergibt sich: S(A_W,2D)_|·| = ∫∫|∇_x,y∫D –1 / erf(I_M,2D)dt|dx dy (12)
Wird davon ausgegangen, dass die Annahme wahr ist, kann geschlossen werden, dass die Glätte der gemittelten Umgebungsintensität S(A_W,2D) durch die Erfassungsvorrichtung gestört wird. Um die Korrekturwerte für den FPN (a, b) zu erhalten, wird nun S minimiert:
Um dem Minimierungsprozess gewisse Zwangsbedingungen aufzuerlegen, wurde entschieden, von einem Vorrichtungsmodell auszugehen, das im Mittel nur kleine Abweichungen von seinen Idealparametern besitzt., z. B. a = 1 und b = 0, und Abweichungen vom Idealzustand zu berücksichtigen:
Im weiteren Verlauf der Aufgabe wurde entschieden, die Minimierung unter Verwendung einer L2 Norm zu konkretisieren. Zunächst werden einige Akronyme definiert: E_|·| = S(A_W,2D) + |a – 1| + |b| (15)
Anschließend wird die Minimierung durch
durchgeführt.
Diese Minimierung muss diskretisiert werden, da die Sensoren der Vorrichtung das Signal nicht kontinuierlich abtasten. Dies wird unter anderem mit einer Rekonstruktion durch endliche Elemente erster Ordnung an den Positionen sämtlicher Sensoren desselben Typs erzielt. Sensoren unterschiedlicher Typen sind beispielsweise Sensoren mit unterschiedlichen Farbfiltern. Das heißt, dass Sensoren desselben Typs beispielsweise Sensoren mit gleichen Farbfiltern sind. Dies führt zu einem System von Gleichungen, deren Anzahl von p·n·m abhängig ist, und das gelöst werden muss. Dabei repräsentiert p die Ordnung des Vorrichtungsmodells, in der Regel ist dies 2. n, m repräsentieren die Anzahl von Sensoren innerhalb der Abmessungen der Sensoranordnung.
4 zeigt ein Ablaufdiagramm eines weiteren Verfahrens zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren kann beispielsweise von der in 1 gezeigten Vorrichtung 106 ausgeführt werden. Mittels des Verfahrens wird ein Parameterwert 108 generiert, der beispielsweise von der in 2 gezeigten Korrektureinrichtung 212 eingesetzt werden kann.
In einem Schritt 441 werden mehrere Lichtstärkeinformationen 104 jeweils mit einem Parameterwert 108 beaufschlagt, um mehrere beaufschlagte Lichtstärkeinformationen 443 zu bestimmen. In einem Schritt 445 wird für jede beaufschlagte Lichtstärkeinformation 443 ein Wert für eine Glattheit 447 der jeweiligen beaufschlagten Lichtstärkeinformation 443 bestimmt. In einem Schritt 449 werden die einzelnen Werte der Glattheiten 447 zusammengeführt, um eine resultierende Glattheit 451 zu bestimmen. Die Schritte 441, 445, 449 können mit anderen Parameterwerten 108 wiederholt ausgeführt werden und es können die jeweils resultierenden Werte Glattheit 451 miteinander verglichen werden. Derjenige Parameterwert 108, bei dem der Wert der Glattheit 451 am geringsten ist, kann als optimaler Parameterwert 108 angesehen und ausgegeben werden.
Dieser Ansatz wird im Folgenden anhand eines Ausführungsbeispiels detailliert beschrieben.
Jede Intensitätsinformation, beispielsweise ein Bild, wird durch die Messung verschlechtert. Verschlechterung meint hier wieder die Zunahme an hohen Frequenzen und somit eine Abnahme der Glattheit.
Nun kann mit derselben Methode, wie anhand von 3 beschrieben, die Glattheit S(X) eines Einzelbildes mittels der Formel (6) bestimmt werden.
Zur Berücksichtigung der zeitlichen Dimension, soll die Zusammenführung, z. B. der Mittelwert, aller bestimmten Glattheiten berücksichtigt werden. Dabei ist der Parametersatz des Sensormodells in allen Glattheitsberechnungen konstant.
Der Mittelwert, bzw. die Zusammenführung, der Glattheiten muss minimiert werden um störungsreduzierende Information zu erhalten. Diese Minimierung wird wieder durch die Parameter des Penalizers (alpha bzw. alpha und beta) geregelt.
Die erfindungsgemäßen Ansätze beschränken sich nicht darauf, den DSNU oder den PRNU lediglich zu korrigieren. Stattdessen können die Ansätze auf eine beliebige Ordnung des Gerätemodells erweitert werden.
Ferner kann das Gerätemodell auf eine Art und Weise angepasst werden, dass das sich ergebende Gleichungssystem kleiner ist, z. B. lediglich einen Spalten-FPN zulässt. Auch kann die Art und Weise, wie das Gleichungssystem gelöst wird, frei gewählt werden, und zwar angepasst auf den erforderlichen Genauigkeitsabgleich und die erforderliche Verarbeitungskomplexität.
Im Gegensatz zu anderen FPN-Korrekturschemata, basiert der erfindungsgemäße Ansatz auf einer grundlegenden physikalischen Annahme über den Eindruck der Umgebung auf das Gerät.
Eine Implementierung kann in einem Programmcode einer Rechenvorrichtung erfolgen, die ausgebildet ist, um Informationen mit der Kamera auszutauschen. Auch kann eine Implementierung in Hardware erfolgen. Ein Hardware-System benötigt dabei unter anderem auch einen Speicher zum Speichern der gemittelten Informationen.
Die erfindungsgemäßen Ansätze lassen sich bei allen Produkten anwenden, für die klare und rauschfreie Bilder benötigt werden. Eine Einsatzmöglichkeit besteht beispielsweise bei einer Frontkamera eines Fahrzeugs.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2009/0257679 A1 [0003]

Zitierte Nicht-Patentliteratur

R. C. Hardie, M. M. Hayat, E. Armstrong, an B. Yasuda, „Scene-based nonuniformity correction with video sequences and registration,” Optical Society of America, APPLIED OPTICS No. 8, vol. 39, pp. 1241–1250, 2000. [0003]

Claims

Verfahren zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung (102) mit einer Mehrzahl von Bildsensoren zum Bereitstellen einer Lichtstärkeinformation, das die folgenden Schritte umfasst: Bestimmen einer Bildeigenschaft einer Bildinformation, die auf einer Mehrzahl von Lichtstärkeinformationen (104) und einer Mehrzahl von Parametern (108) basiert, wobei jedem der Mehrzahl von Bildsensoren jeweils einer der Mehrzahl von Parametern zugeordnet ist; und Ermitteln (106) einer Mehrzahl von Parameterwerten für die Mehrzahl von Parameter (108), bei der die Bildeigenschaft an eine ideale Bildeigenschaft zumindest angenähert ist, wobei die Mehrzahl von Parametern den Fliegengittereffekt in einem Model der Bilderfassungseinrichtung repräsentiert.
Verfahren gemäß Anspruch 1, bei dem der Schritt des Bestimmens der Bildeigenschaft die folgenden Schritte umfasst: Zusammenführen (321) der Mehrzahl von Lichtstärkeinformationen, um eine resultierende Lichtstärkeinformation zu bestimmen; Beaufschlagen (325) der resultierenden Lichtstärkeinformation (104) mit der Mehrzahl von Parametern (108), um eine mit der Mehrzahl von Parametern beaufschlagte Lichtstärkeinformation (327) zu bestimmen; und Bestimmen (329) der Bildeigenschaft als Bildeigenschaft (331) der beaufschlagten Lichtstärkeinformation.
Verfahren gemäß Anspruch 1, bei dem der Schritt des Bestimmens (329) der Bildeigenschaft die folgenden Schritte umfasst: Beaufschlagen (441) jeder der Mehrzahl von Lichtstärkeinformationen (104) jeweils mit der Mehrzahl von Parameter (108), um eine Mehrzahl beaufschlagter Lichtstärkeinformationen (443) zu bestimmen; Bestimmen (445) jeweils einer Bildeigenschaft (447) der Mehrzahl beaufschlagter Lichtstärkeinformationen; und Bestimmen (449) der Bildeigenschaft (451) durch Zusammenführen der Bildeigenschaften der Mehrzahl beaufschlagter Lichtstärkeinformationen.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Mehrzahl von Parameter (108) die Photo Response Non-Uniformity (PRNU) oder die Dark Signal non-Uniformity (DSNU) oder sowohl die Photo Response Non-Uniformity (PRNU) als auch die die Dark Signal non-Uniformity (DSNU) der Bilderfassungseinrichtung repräsentiert.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Mehrzahl von Parameterwerten basierend auf einem Minimierungsprozess ermittelt wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Bildeigenschaft eine räumliche und/oder zeitliche Eigenschaft der Bildinformation repräsentiert.
Verfahren zur Korrektur eines Fliegengittereffekts einer Bilderfassungseinrichtung (102), das die folgenden Schritte umfasst: Ermitteln einer Mehrzahl von Parameterwerten (108) für eine Mehrzahl von Parameter, die den Fliegengittereffekt in einem Model der Bilderfassungseinrichtung repräsentiert, gemäß einem der vorangegangenen Ansprüche; und Korrigieren (212) einer Lichtstärkeinformation (104) der Mehrzahl von Bildsensoren mit der Mehrzahl von Parameterwerten, um eine bezüglich des Fliegengittereffekts korrigierte Lichtstärkeinformation (214) zu bestimmen.
Verfahren zur Korrektur eines Fliegengittereffekts gemäß Anspruch 7, bei dem während eines Betriebsmodus der Bilderfassungseinrichtung (102), in dem die Mehrzahl von Bildsensoren fortlaufend Lichtstärkeinformationen (104) bereitstellen, der Schritt des Ermittelns (106) der Mehrzahl von Parameterwerten mehrmals wiederholt ausgeführt wird, und bei dem im Schritt des Korrigierens (212) die Lichtstärkeinformation mit einer zuletzt bestimmten Mehrzahl von Parameterwerten beaufschlagt wird.
Vorrichtung, die ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 8 durchzuführen.
Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Programm auf einer Vorrichtung ausgeführt wird.