DE10239994B4

DE10239994B4 - Method for correcting irregularities of an image sensor system

Info

Publication number: DE10239994B4
Application number: DE10239994A
Authority: DE
Inventors: Christoph Roessig; Marcus Lorei; Bernd Huertgen
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2002-08-27
Filing date: 2002-08-27
Publication date: 2006-12-14
Anticipated expiration: 2022-08-28
Also published as: WO2004021696A1; DE10239994A1

Abstract

Verfahren zur Korrektur von Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes eines Bildsensorsystems, wobei das Bildsensorsystem aus wenigstens einem Bildsensor besteht, wobei die Ungleichmäßigkeiten des Bildes des Bildsensorsystems beleuchtungsabhängig korrigiert werden, dadurch gekennzeichnet, dass sowohl eine Ermittlung der Ungleichmäßigkeiten des Bildes des Bildsensorsystems als auch deren Korrektur im Normalbetrieb des Bildsensorsystems erfolgt, wobei ein Korrekturmuster zur Nachkorrektur des aktuellen Bildes aus einer Sequenz von N zeitlich zurückliegenden, im Normalbetrieb aufgenommen Bildern berechnet wird.method for correction of irregularities at least part of at least one image of an image sensor system, wherein the image sensor system consists of at least one image sensor, the unevenness the image of the image sensor system are corrected depending on the lighting, thereby characterized in that both a determination of the irregularities the image of the image sensor system as well as their correction in normal operation the image sensor system, wherein a correction pattern for post-correction of the current image from a sequence of N past, in the Normal operation recorded images is calculated.

Description

Stand der TechnikState of technology

Die Erfindung betrifft ein Verfahren zur Korrektur von Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes eines Bildsensorsystems, wobei das Bildsensorsystem aus wenigstens einem Bildsensor besteht. Des weiteren betrifft die Erfindung ein Bildsensorsystem mit wenigstens einem Bildsensor und ein Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.The The invention relates to a method for correcting irregularities at least part of at least one image of an image sensor system, wherein the image sensor system consists of at least one image sensor. Furthermore, the invention relates to an image sensor system with at least an image sensor and a computer program with program code means, to perform all the steps of the procedure when the program is up running a computer becomes.

Bei Bildsensoren unterscheidet man zwischen CCD-Bildsensoren und CMOS-Bildsensoren. In digitalen Fotoapparaten und Videokameras werden überwiegend CCD-Bildsensoren eingesetzt. Da CCD-Bildsensoren aufgrund von technologisch bedingten Eigenschaften nur bedingt für den Einsatz im Automotiv-Bereich geeignet sind, ist im Bereich von Kraftfahrzeugen der Einsatz von CMOS-Bildsensoren geplant. CMOS-Bildsensoren zeichnen sich gegenüber den CCD-Bildsensoren durch eine größere Beleuchtungsdynamik und durch geringere Artefakte beim Auftreten von großen Kontrasten aus, wie sie bei Blendung durch entgegenkommende Fahrzeuge beim Einsatz der Bildsensoren in Kraftfahrzeugen auftreten. Darüber hinaus ist die CMOS-Technologie dazu geeignet, neben der Bildaufnahmeelektronik auch Logik auf dem Bildsensor unterzubringen. Diese Eigenschaften zeichnen die CMOS-Bildsensoren für den Einsatz im Automotiv-Bereich aus.at Image sensors are distinguished between CCD image sensors and CMOS image sensors. In Digital cameras and video cameras are predominantly CCD image sensors used. Because CCD image sensors due to technological reasons Properties only conditionally for are suitable for use in the automotive sector, is in the field of motor vehicles the use of CMOS image sensors planned. Draw CMOS image sensors opposite the CCD image sensors through a greater lighting dynamics and lower artefacts when large contrasts occur as they dazzle oncoming vehicles at the Use of image sensors in motor vehicles occur. Furthermore is the CMOS technology suitable for this, in addition to the image capture electronics as well Logic on the image sensor accommodate. Draw these properties the CMOS image sensors for the use in the automotive sector.

Bei Bildsensoren, insbesondere CMOS-Bildsensoren, entstehen Ungleichmäßigkeiten des Bildes beispielsweise durch das sogenannte Fixed Pattern Noise (FPN). Darunter versteht man die räumliche Variation des Ausgangswertes der Pixel bei gleichförmiger Beleuchtung des Bildsensors. Das Fixed Pattern Noise (FPN) entsteht dadurch, dass die Kennlinien der Beleuchtungsempfindlichkeit der Pixel auf einem CMOS-Bildsensor nicht identisch parametriert sind, d.h. bei gleicher Beleuchtung ergeben sich bei unterschiedlichen Pixeln unterschiedliche Ausgangswerte.at Image sensors, especially CMOS image sensors, cause irregularities of the picture, for example, by the so-called fixed pattern noise (FPN). This is the spatial variation of the initial value the pixels at uniform Illumination of the image sensor. The Fixed Pattern Noise (FPN) arises in that the characteristics of the illumination sensitivity of the Pixels on a CMOS image sensor are not parameterized identically, i.e. same lighting results in different Pixels different output values.

Aus der US 5,047,861 ist ein Verfahren und eine Vorrichtung zur Korrektur von Pixelungleichmäßigkeiten bekannt. Die GB 2 149 605 A offenbart ein Verfahren zur Bestimmung von Verstärkungs- und Offset-Korrekturfaktoren. Aus der WO 01/33494 A1 ist ein Fingerabdruckscanner mit einem Bildnormalisierungsspeicher bekannt.From the US 5,047,861 For example, a method and apparatus for correcting pixel irregularities is known. The GB 2 149 605 A discloses a method for determining gain and offset correction factors. From WO 01/33494 A1 a fingerprint scanner with a picture normalization memory is known.

Vorteile der ErfindungAdvantages of invention

Das nachfolgend beschriebene Verfahren zur beleuchtungsabhängigen Korrektur von Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes eines Bildsensorsystems, insbesondere die beleuchtungsabhängige Korrektur von Ungleichmäßigkeiten der Helligkeit wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes, hat den Vorteil, dass es möglich ist, das Bildsensorsystem bei extremen Helligkeitsänderungen einzusetzen. Durch die Anpassung der Korrektur der Ungleichmäßigkeiten des Bildes des Bildsensorsystems an den jeweiligen Arbeitspunkt, festgelegt durch die Beleuchtung, werden die Bildfehler reduziert, die durch das Bildsensorsystem verursacht werden. In besonders vorteilhafter Weise ermöglicht das beschriebene Verfahren den Einsatz von Bildsensorsystemen im Automotiv-Bereich. Beim Einsatz von Bildsensorsystemen in Kraftfahrzeugen im Tag- und Nachtbetrieb werden hohe Anforderungen an eine Korrektur von Ungleichmäßigkeiten des Bildes auch bei extremen Helligkeitsunterschieden gestellt. Durch das Verfahren wird die Bildqualität im gesamten Arbeitsbereich des Bildsensorsystems erhöht. Allgemein ermöglicht das beschriebene Verfahren in vorteilhafter Weise den Einsatz eines Bildsensorsystems in Anwendungen, die unter extremen Beleuchtungsbedingungen betrieben werden, beispielsweise direkt einfallendes helles Sonnenlicht oder eine dunkle Nacht. Diese Vorteile gelten für das Verfahren selbst und für ein Bildsensorsystem, das Mittel zur beleuchtungsabhängigen Korrektur von Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes ausweist, insbesondere für ein Bildsensorsystem das Mittel zur beleuchtungsabhängigen Korrektur von Ungleichmäßigkeiten der Helligkeit wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes aufweist.The Method for lighting-dependent correction described below of irregularities at least part of at least one image of an image sensor system, especially the lighting-dependent Correction of irregularities the brightness of at least one pixel of the image and / or at least a portion of the image, has the advantage that it possible is the image sensor system at extreme brightness changes use. By adjusting the correction of the irregularities the image of the image sensor system to the respective operating point, determined by the lighting, the artifacts are reduced, which are caused by the image sensor system. In a particularly advantageous manner allows the method described the use of image sensor systems in Automotive field. When using image sensor systems in motor vehicles In daytime and nighttime operation, high demands are made on a correction of irregularities of the picture even with extreme differences in brightness. Through the process, the image quality throughout the workspace of the image sensor system increases. General allows the method described advantageously the use of a Image sensor system in applications under extreme lighting conditions be operated, for example, directly incident bright sunlight or a dark night. These benefits apply to the process itself and for a Image sensor system, the means for lighting-dependent correction of irregularities at least a part of at least one image identifies, in particular for a Image sensor system the means for lighting-dependent correction of irregularities the brightness of at least one pixel of the image and / or has at least a portion of the image.

Vorteilhaft ist, dass die Korrektur von Ungleichmäßigkeiten wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes des Bildsensorsystems durch Ermittlung eines lokal und/oder global bestimmten Beleuchtungsmaßes beleuchtungsabhängig erfolgt. Für die Ermittlung eines lokalen Beleuchtungsmaßes wird dabei wenigstens ein Bildpunkt und/oder wenigstens ein Teilbereich des Bildes des Bildsensorsystems verwendet. Der Grauwert eines Bildpunktes eines Bildsensorsystems oder der Mittelwert der Grauwerte eines Bildpunktes und von Bildpunkten aus dessen Umgebung sind Beispiele für ein lokal bestimmtes Beleuchtungsmaß. Ein global bestimmtes Beleuchtungsmaß ist dadurch festgelegt, dass zu dessen Bestimmung das gesamte vom Bildsensor gelieferte Bild verwendet wird. Beispielsweise ist der Mittelwert aller Grauwerte der Bildpunkte eines Bildes ein global bestimmtes Beleuchtungsmaß. Durch die Ermittlung eines lokal und/oder global bestimmten Beleuchtungsmaßes wird in vorteilhafter Weise die individuelle Korrektur von Ungleichmäßigkeiten wenigstens eines Bildpunktes des Bildes und/oder eines Teilbereiches des Bildes ermöglicht. Dies führt zu einer optimalen Korrektur von Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes. Diese Vorteile gelten für das Verfahren selbst und für ein Bildsensorsystem mit Mittel, welche die beleuchtungsabhängig Korrektur von Ungleichmäßigkeiten wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes des Bildsensorsystems durch Ermittlung eines lokal und/oder global bestimmten Beleuchtungsmaßes ermöglichen.It is advantageous that the correction of nonuniformities of at least one pixel of the image and / or at least one subregion of the image of the image sensor system by determining a locally and / or globally determined illumination level is dependent on the illumination. At least one pixel and / or at least one subregion of the image of the image sensor system is used for determining a local illumination measure. The gray value of a pixel of an image sensor system or the average of the gray values of a pixel and of pixels from its surroundings are examples of a locally determined degree of illumination. A globally determined illumination measure is determined by the fact that the entire image supplied by the image sensor is used for its determination. For example, the mean of all is gray values of the picture elements of a picture determines a globally determined measure of illumination. By determining a locally and / or globally determined amount of illumination, the individual correction of unevenness of at least one pixel of the image and / or of a partial region of the image is advantageously made possible. This leads to an optimal correction of unevenness of at least a part of at least one image. These advantages apply to the method itself and to an image sensor system having means which enable the illumination-dependent correction of nonuniformities of at least one pixel of the image and / or at least one subarea of the image of the image sensor system by determining a locally and / or globally determined illumination level.

In besonders vorteilhafter Weise ist das Verfahren zur Korrektur des Fixed-Pattern-Noise (FPN) des Bildsensors und/oder wenigstens einer weiteren Ungleichmäßigkeit des wenigstens einen Teils des Bildes des Bildsensorsystems geeignet. Unter dem Fixed-Pattern-Noise versteht man die räumliche Variation des Ausgangswertes der Pixel bei gleichförmiger Beleuchtung des Bildsensors. In vorteilhafter Weise ermöglicht das Verfahren alternativ oder gleichzeitig die Korrektur wenigstens einer weiteren Ungleichmäßigkeit wenigstens eines Teiles des Bildes. Das Verfahren ermöglicht die Korrektur der radiometrischen Objektivinhomogenitäten, insbesondere der Objektivrandabschattung. Beim Einbau des Bildsensorsystems in ein Kraftfahrzeug, beispielsweise an die Innenseite einer Windschutzscheibe, gestattet das nachfolgend beschriebene Verfahren eine Korrektur der Ungleichmäßigkeiten des Bildes infolge von Inhomogenitäten der Windschutzscheibe. In besonders vorteilhafter Weise ermöglicht das Verfahren die Korrektur von Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes eines Bildsensorsystems, wobei das Bildsensorsystem aus wenigstens einem Bildsensor besteht, wobei die Ungleichmäßigkeiten des Bildes des Bildsensorsystems beleuchtungsabhängig korrigiert werden, wobei das Fixed-Pattern-Noise (FPN) des Bildsensors und die Objektivinhomogenitäten korrigiert werden. Durch diese helligkeitsadaptive Fixed-Pattern-Noise (FPN) -Nachkorrektur des vom Bildsensor gelieferten Ur-Bildes werden in vorteilhafter Weise gleichzeitig Objektivinhomogenitäten korrigiert. Das Ur-Bild des Bildsensors kann teilweise korrigiert sein oder unkorrigiert vorliegen. Diese Vorteile gelten für das beschriebene Verfahren selbst und für ein Bildsensorsystem, das Mittel zur Korrektur des Fixed-Pattern-Noise (FPN) des Bildsensors und/oder wenigstens einer weiteren Ungleichmäßigkeit des wenigstens einen Teils des Bildes des Bildsensorsystems, insbesondere Objektivinhomogenitäten, aufweist.In Particularly advantageous is the method for correcting the Fixed pattern noise (FPN) of the image sensor and / or at least one further unevenness the at least part of the image of the image sensor system suitable. Fixed-pattern noise is the spatial variation of the output value the pixels at uniform Illumination of the image sensor. This advantageously makes it possible Method alternatively or simultaneously the correction at least another unevenness at least part of the picture. The procedure allows the Correction of the radiometric objective inhomogeneities, in particular the Objektivrandabschattung. When installing the image sensor system in a Motor vehicle, for example to the inside of a windshield allowed the method described below is a correction of the irregularities of the image due to inhomogeneities of the windshield. In Particularly advantageously, the method allows the correction of irregularities at least part of at least one image of an image sensor system, wherein the image sensor system consists of at least one image sensor, the unevenness the image of the image sensor system are corrected lighting dependent, wherein corrects the fixed pattern noise (FPN) of the image sensor and the lens inhomogeneities become. Due to this brightness-adaptive Fixed Pattern Noise (FPN) post-correction of the supplied by the image sensor Ur-image are in an advantageous manner at the same time lens inhomogeneities corrected. The original image of the image sensor can be partially corrected be present or uncorrected. These benefits apply to the one described Procedure itself and for an image sensor system, the means for correcting the fixed pattern noise (FPN) of the image sensor and / or at least one further unevenness the at least part of the image of the image sensor system, in particular Objektivinhomogenitäten, having.

Vorteilhaft ist die Ermittlung wenigstens eines beleuchtungsabhängigen Korrektur-Offsets und/oder wenigstens eines beleuchtungsabhängigen Korrekturwerts und/oder wenigstens einer beleuchtungsabhängigen Korrekturfunktion für wenigstens einen Bildpunkt des Bildes und/oder wenigstens einen Teilbereich des Bildes und die Verwendung des Korrektur-Offsets und/oder des Korrekturwerts und/oder der Korrekturfunktion zur Korrektur von Ungleichmäßigkeiten des Bildes des Bildsensorsystems. Die Korrektur-Offsets und/oder die Korrekturwerte und/oder die Korrekturfunktionen werden in vorteilhafter Weise durch Aufnahme von einer hellen homogen ausgeleuchteten Fläche ermittelt, deren Helligkeit einstellbar ist. Die Abweichung der gewonnenen Abbildungen von dem theoretisch zu erwartenden Wert wird für wenigstens einen Bildpunkt des Bildes und/oder wenigstens einen Teilbereich des Bildes für jeden Helligkeitswert ermittelt. Die Abweichungen bilden als Korrektur-Offsets die Korrekturmuster. Ein Korrekturmuster ist bei einer Helligkeit eine Funktion der Bildpunkte des Bildes und/oder den Teilbereichen des Bildes. In einer Variante des nachfolgend beschriebenen Verfahrens wird das Korrekturmuster durch die Korrekturwerte anstatt der Korrektur-Offsets gebildet. Damit stehen für jeden Bildpunkt des Bildes und/oder einen Teilbereich des Bildes in vorteilhafter Weise jeweils individuelle, helligkeitsabhängige Look-up-Tabellen zur Verfügung, aus denen ohne weitere Berechnungen das korrigierte Bild zusammengesetzt wird. Dabei wird für jeden ermittelten Wert des Bildpunktes, beispielsweise ein Grauwert, aus der Look-up-Tabelle der Korrekturwert entnommen. In vorteilhafter Weise ist das Verfahren damit algorithmisch einfacher zu implementieren. Damit wird ein geringerer Rechenleistungsbedarf der Auswerteeinheit benötigt. Insgesamt führt dies zu geringen Kosten bei gleichzeitig schnellerer Verarbeitung der Bilder. In einer Variante des Verfahrens werden Korrekturfunktionen aus den ermittelten Korrekturmustern berechnet. Für jeden Bildpunkt des Bildes und/oder eines Teilbereiches des Bildes werden die jeweiligen Parameter einer geeigneten analytischen Funktion als Korrekturfunktion durch Parameterschätzung ermittelt. In vorteilhafter Weise führt dies zu einer Reduzierung des Speicherplatzbedarfes, da lediglich die Parameter der Korrekturfunktionen gespeichert werden müssen. Diese Vorteile gelten für das beschriebene Verfahren selbst und für ein Bildsensorsystem, das Mittel zur Korrektur von Ungleichmäßigkeiten des Bildes des Bildsensorsystems durch Ermittlung wenigstens eines beleuchtungsabhängigen Korrektur-Offsets und/oder wenigstens eines beleuchtungsabhängigen Korrekturwerts und/oder wenigstens einer beleuchtungsabhängigen Korrekturfunktion wenigstens eines Bildpunktes und/oder wenigstens eines Teilbereich des Bildes aufweist.Advantageous is the determination of at least one illumination-dependent correction offset and / or at least one illumination-dependent correction value and / or at least one illumination-dependent correction function for at least one Pixel of the image and / or at least a portion of the image and the use of the correction offset and / or the correction value and / or the correction function for correction of irregularities the image of the image sensor system. The correction offsets and / or the correction values and / or the correction functions become more advantageous Determined by recording from a bright, homogeneously illuminated area, whose brightness is adjustable. The deviation of the won Images of the theoretically expected value will be for at least a pixel of the image and / or at least a portion of the picture for determined each brightness value. The deviations form as correction offsets the correction patterns. A correction pattern is one at a brightness Function of the pixels of the image and / or the subregions of the image Image. In a variant of the method described below the correction pattern is replaced by the correction values instead of the correction offsets educated. This stands for each pixel of the image and / or a portion of the image in each case advantageously individual, brightness-dependent look-up tables to disposal, from which, without further calculations, the corrected image is composed becomes. It is for each determined value of the pixel, for example a gray value, taken from the look-up table of the correction value. In an advantageous manner In this way, the method is algorithmically easier to implement. In order to a lower computing power requirement of the evaluation is needed. All in all does this at low cost with faster processing of the same Images. In a variant of the method are correction functions calculated from the determined correction patterns. For each Become a pixel of the image and / or a portion of the image the respective parameters of a suitable analytical function determined as a correction function by parameter estimation. In an advantageous manner Way leads this leads to a reduction of the storage space requirement, since only the parameters of the correction functions must be stored. These Benefits apply to that described method itself and for an image sensor system, the Means for correcting non-uniformities of the image of the image sensor system Determining at least one illumination-dependent correction offset and / or at least one lighting-dependent Correction value and / or at least one lighting-dependent correction function at least one pixel and / or at least one subregion of the image.

Vorteilhaft ist die Ermittlung von Ungleichmäßigkeiten des Bildes des Bildsensorsystems zu deren Korrektur im Betrieb (Normalbetrieb) des Bildsensorsystems. Dadurch entfällt die Ermittlung von Ungleichmäßigkeiten mittels eines Laboraufbaus. In vorteilhafter Weise werden hierbei die Kosten für das Bildsensorsystem gesenkt. Beim Einbau des Bildsensorsystems in ein Kraftfahrzeug werden in vorteilhafter Weise Veränderungen der Ungleichmäßigkeiten des Bildes des Bildsensorsystems automatisch und wiederholt erfasst. Beispielsweise wird eine lokale transparente Verschmutzung des Objektivs automatisch korrigiert, da die Ermittlung von Ungleichmäßigkeiten des Bildes des Bildsensorsystems im Betrieb des Bildsensorsystems zyklisch wiederholt wird. Eine lokale transparente Verschmutzung ist beispielsweise ein einzelner Wassertropfen. Diese Voreile gelten für das beschriebene Verfahren selbst und für ein Bildsensorsystem, das Mittel zur Ermittlung von Ungleichmäßigkeiten des Bildes des Bildsensorsystems zu deren Korrektur im Betrieb des Bildsensorsystems aufweist.It is advantageous to determine non-uniformities of the image of the image sensor system for their correction during operation (normal operation) of the image sensor system. This eliminates the determination of irregularities by means of a laboratory setup. Advantageously, this reduces the cost of the image sensor system. When installing the image sensor system in a motor vehicle, changes in the unevenness of the image of the image sensor system are detected automatically and repeatedly in an advantageous manner. For example, a local transparent fouling of the lens is automatically corrected since the determination of non-uniformities of the image of the image sensor system is cyclically repeated during operation of the image sensor system. A local transparent pollution is, for example, a single drop of water. These advantages apply to the described method itself and to an image sensor system which has means for determining unevenness of the image of the image sensor system for its correction during operation of the image sensor system.

Besonders vorteilhaft ist ein Bildsensorsystem mit wenigstens einem CMOS-Bildsensor, wobei der CMOS-Bildsensor eine stetig monotone Kennlinie aufweist, insbesondere dass der CMOS-Bildsensor eine logarithmische Kennlinie hat. CMOS-Bildsensoren weisen inhärente Vorteile auf. Sie zeichnen sich durch einen großen Dynamikbereich der Kennlinie der Beleuchtungsempfindlichkeit aus. Daneben sind CMOS-Bildsensoren unempfindlich gegenüber auftretenden Artefakten bei direkter Blendung, also bei großen Kontrastunterschieden. Durch eine beleuchtungsabhängige Korrektur der Ungleichmäßigkeiten wenigstens eines Teils des Bildes des Bildsensorsystems, insbesondere die Korrektur des Fixed-Pattern-Noise (FPN) des Bildsensors erreicht man in vorteilhafter Weise eine Verminderung der Bildfehler im gesamten Dynamikbereich der Kennlinie. Gleichzeitig bleiben die inhärent vorhandenen Vorteile der CMOS-Bildsensoren erhalten.Especially advantageous is an image sensor system with at least one CMOS image sensor, wherein the CMOS image sensor has a continuous monotone characteristic, in particular that the CMOS image sensor has a logarithmic characteristic. CMOS image sensors have inherent advantages on. They are characterized by a large dynamic range of the characteristic curve of the illumination sensitivity. Next to them are CMOS image sensors insensitive to occurring artifacts with direct glare, so with large contrast differences. By a lighting-dependent Correction of the irregularities at least part of the image of the image sensor system, in particular achieved the correction of the fixed pattern noise (FPN) of the image sensor it is advantageous to reduce the aberrations throughout Dynamic range of the characteristic. At the same time, the inherent existing remain Advantages of CMOS image sensors obtained.

Besonders vorteilhaft ist ein Computerprogramm mit Programmcode-Mitteln, um alle Schritte des nachfolgend beschriebenen Verfahrens durchzuführen, wenn das Programm auf einem Computer ausgeführt wird. Die Verwendung eines Computerprogramms ermöglicht die schnelle und kostengünstige Anpassung des Verfahrens, beispielsweise durch Anpassung von Parametern an den jeweiligen Bildsensortyp. Daneben wird die Wartung in vorteilhafter Weise verbessert, da die einzelnen Verfahrensschritte nicht in Hardware, sondern in Software realisiert sind.Especially advantageous is a computer program with program code means to to perform all the steps of the procedure described below, if the program is running on a computer. The use of a Computer program allows the fast and inexpensive Adaptation of the method, for example by adapting parameters to the respective image sensor type. In addition, the maintenance is beneficial Improved because the individual process steps are not in hardware, but are realized in software.

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug auf die Figuren und aus den abhängigen Patentansprüchen.Further Advantages will become apparent from the following description of exemplary embodiments Reference to the figures and from the dependent claims.

Zeichnungdrawing

Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsformen näher erläutert.The Invention will be described below with reference to the drawing Embodiments explained in more detail.

Es zeigen:It demonstrate:

1 ein Bildsensorsystem des bevorzugten Ausführungsbeispiels, 1 an image sensor system of the preferred embodiment,

2 ein Blockdiagramm der Auswerteeinheit zur Korrektur von Ungleichmäßigkeiten von Bildern des Bildsensorsystems des bevorzugten Ausführungsbeispiels, 2 a block diagram of the evaluation unit for correcting irregularities of images of the image sensor system of the preferred embodiment,

3 ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im bevorzugten Ausführungsbeispiel in einer ersten Variante, 3 a flowchart of the method for determining correction data in the preferred embodiment in a first variant,

4 ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im bevorzugten Ausführungsbeispiel in einer zweiten Variante, 4 a flowchart of the method for determining correction data in the preferred embodiment in a second variant,

5 ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im bevorzugten Ausführungsbeispiel in einer dritten Variante. 5 a flowchart of the method for determining correction data in the preferred embodiment in a third variant.

Beschreibung von Ausführungsbeispielendescription of exemplary embodiments

1 zeigt ein Bildsensorsystem 10 des bevorzugten Ausführungsbeispiels, bestehend aus einem Bildsensor 12, einem Objektiv 14 und einer Auswerteeinheit 16. Der Bildsensor 12 hat einen Erfassungsbereich 20. Elektromagnetische Strahlung im sichtbaren Spektralbereich gelangt über das Objektiv 14 zum Bildsensor 12. Der Bildsensor 12 wandelt die elektromagnetische Strahlung in Ur-Bilder um. Als Bildsensor 12 ist ein CCD-Bildsensor oder ein CMOS-Bildsensor einsetzbar. CMOS-Bildsensoren gibt es als Sensoren mit linearer, abschnittsweise linearer oder nichtlinearer, beispielsweise logarithmischer, Kennlinie der Beleuchtungsempfindlichkeit. Im bevorzugten Ausführungsbeispiel wird ein CMOS-Bildsensor mit logarithmischer Kennlinie verwendet, der aus vielen, in einer Matrix angeordneten lichtempfindlichen Zellen (Pixeln) besteht und ein Ur-Bild liefert, wobei die einzelnen Pixel eine Grauwertauflösung (Quantisierung) von 8-Bit haben. Jeder Pixel erzeugt im bevorzugten Ausführungsbeispiel einen Bildpunkt im Ur-Bild. Die vom Bildsensor 12 ermittelten Ur-Bilder werden über eine Signalleitung 15 zur Auswerteeinheit 1G übertragen. Die Übertragung erfolgt dabei elektrisch und/oder optisch. Alternativ oder zusätzlich ist eine Übertragung per Funk möglich. Die Auswerteeinheit 1G ermittelt aus den Ur-Bildern die korrigierten Bilder und überträgt diese über die Signalleitung 17 an wenigstens ein, vorzugsweise nachfolgendes System 18. Die Übertragung erfolgt dabei elektrisch und/oder optisch. Alternativ oder zusätzlich ist eine Übertragung per Funk möglich. Als nachfolgendes System 18 ist im bevorzugten Ausführungsbeispiel ein Bildschirm zur Darstellung der korrigierten Bilder vorgesehen. Im bevorzugten Ausführungsbeispiel bilden der Bildsensor 12, das Objektiv 14 und die Auswerteeinheit 16 eine Einheit. In anderen Varianten liegen die Komponenten getrennt vor. Bei einer ersten Variante des bevorzugten Ausführungsbeispiels ist die Auswerteeinheit 16 im Bildsensor 12 direkt integriert, während in einer weiteren Variante die Auswerteeinheit 16 getrennt in einem nachfolgenden System 18, beispielsweise einer nachfolgenden Verarbeitungseinheit, untergebracht ist. Die Auswerteeinheit 16 besteht aus mehreren in 2 dargestellten Modulen 22, 24, die im bevorzugten Ausführungsbeispiel als Programme wenigstens eines Mikroprozessors ausgestaltet sind. Eine Besonderheit des CMOS-Bildsensors 12 mit logarithmischer Kennlinie ist, dass das unmittelbar von den lichtempfindlichen Zellen (Pixel) gelieferte Ur-Bild korrigiert werden muss, bevor man ein zum Betrachten oder Weiterverarbeiten geeignetes Bild erhält. Diese Korrektur ist notwendig, da aufgrund des sogenannten Fixed-Pattern-Noise (FPN) Ungleichmäßigkeiten im Ur-Bild auftreten. Das Fixed-Pattern-Noise (FPN) entsteht dadurch, dass die Kennlinien (Grauwert als Funktion der Beleuchtungsstärke) der Pixel auf dem CMOS-Bildsensor 12 (Chip) nicht identisch parametriert sind, d.h. bei gleicher Beleuchtung ergeben sich bei unterschiedlichen Pixeln unterschiedliche Ausgangswerte. 1 shows an image sensor system 10 of the preferred embodiment, consisting of an image sensor 12 , a lens 14 and an evaluation unit 16 , The image sensor 12 has a coverage area 20 , Electromagnetic radiation in the visible spectral range passes through the lens 14 to the image sensor 12 , The image sensor 12 converts electromagnetic radiation into original images. As an image sensor 12 a CCD image sensor or a CMOS image sensor can be used. CMOS image sensors are available as sensors with linear, partially linear or nonlinear, for example logarithmic, characteristic of the illumination sensitivity. In the preferred embodiment, a CMOS image sensor of logarithmic characteristic is used which consists of many matrix cells arranged in a matrix and provides an original image, the individual pixels having an 8-bit gray scale resolution (quantization). Each pixel generates a pixel in the original image in the preferred embodiment. The image sensor 12 determined Ur-pictures are transmitted via a signal line 15 to the evaluation unit 1G transfer. The transmission takes place electrically and / or optically. Alternatively or additionally, a transmission by radio is possible. The evaluation unit 1G determines the corrected images from the original images and transmits them via the signal line 17 at least a, preferably subsequent system 18 , The transmission takes place electrically and / or optically. Alternatively or additionally, a transmission by radio is possible. As a subsequent system 18 In the preferred embodiment, a screen for displaying the corrected images is provided. In the preferred embodiment, the image sensor form 12 , the objective 14 and the evaluation unit 16 one unity. In other variants, the components are separated. In a first variant of the preferred embodiment, the evaluation unit 16 in the image sensor 12 directly integrated, while in another variant, the evaluation unit 16 separated in a subsequent system 18 , For example, a subsequent processing unit is housed. The evaluation unit 16 consists of several in 2 illustrated modules 22 . 24 which are configured in the preferred embodiment as programs of at least one microprocessor. A special feature of the CMOS image sensor 12 logarithmic characteristic is that the original image supplied directly from the photosensitive cells (pixels) must be corrected before obtaining an image suitable for viewing or further processing. This correction is necessary because irregularities in the original image occur due to so-called fixed-pattern noise (FPN). The Fixed Pattern Noise (FPN) results from the fact that the characteristics (gray value as a function of the illuminance) of the pixels on the CMOS image sensor 12 (Chip) are not parameterized identically, ie with the same lighting result in different pixels different output values.

2 zeigt ein Blockdiagramm der Auswerteeinheit 16 zur Korrektur von Ungleichmäßigkeiten von Bildern des Bildsensorsystems des bevorzugten Ausführungsbeispiels. Über die Signalleitung 15 in 1 werden die Ur-Bilder 26 den Modulen 22 und 24 zugeführt. Dabei liegen die Ur-Bilder 26 entweder vom CMOS-Bildsensor vorkorrigiert vor oder die Ur-Bilder 26 sind unkorrigiert. In Modul 22 werden die Ungleichmäßigkeiten der Ur-Bilder 26 beleuchtungsabhängig ermittelt und gespeichert. Die ermittelten Korrekturdaten 30 werden an das Modul 24 weitergeleitet. Die helligkeitsadaptive Nachkorrektur der vom CMOS-Bildsensor gelieferten Ur-Bildern 26 geschieht in Modul 24. Durch Verarbeitung der Ur-Bilder 26 und der Korrekturdaten 30 werden die korrigierten Bilder 28 ermittelt, die über die Signalleitung 17 in 1 an ein System 18 weitergeleitet werden. Zur Bestimmung der Korrekturdaten 30 und zur Ermittlung der korrigierten Bilder 28 sind verschiedene Verfahren möglich, die nachfolgend anhand der 3 bis 5 erläutert werden. 2 shows a block diagram of the evaluation unit 16 for correcting image unevenness of the image sensor system of the preferred embodiment. Via the signal line 15 in 1 become the original pictures 26 the modules 22 and 24 fed. Here are the original pictures 26 either pre-corrected by the CMOS image sensor or the original images 26 are uncorrected. In module 22 become the unevenness of the original pictures 26 determined and stored depending on the lighting. The determined correction data 30 be to the module 24 forwarded. The brightness-adaptive correction of the original images delivered by the CMOS image sensor 26 happens in module 24 , By processing the original pictures 26 and the correction data 30 become the corrected images 28 determined by the signal line 17 in 1 to a system 18 to get redirected. For determining the correction data 30 and to determine the corrected images 28 Various methods are possible, which are described below on the basis of 3 to 5 be explained.

3 zeigt ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im bevorzugten Ausführungsbeispiel in einer ersten Variante. Als Korrekturdaten wird ein Korrekturmuster-Feld 52 bestimmt. Die helligkeitsadaptive Nachkorrektur, beispielsweise des Fixed-Pattern-Noise (FPN) und/oder von radiometrischen Objektivinhomogenitäten, des vom CMOS-Bildsensor gelieferten Ur-Bildes wird in dieser ersten Variante durch Ermittlung von Korrekturmustern 54 durchgeführt. Als radiometrische Objektivinhomogenitäten wird insbesondere der Objektivrandabschattung ermittelt. Dazu müssen die Korrekturmuster 54 zuvor messtechnisch ermittelt werden. Die Korrekturmuster 54 werden für die von den Bildelemente (Pixel) erzeugten Bildpunkten in Abhängigkeit einer jeweilig einfallenden Lichtmenge, also der Bestrahlungsstärke, bestimmt. Die Bestrahlungsstärke ist dabei als Leistung (Strahlungsleistung) pro Fläche definiert. Über den gesamten radiometrischen Arbeitsbereich des CMOS-Bildsensors werden Aufnahmen einer in der abgegebenen Strahlungsleistung (Lichtleistung) einstellbaren homogenen Referenzlichtquelle mit ausreichend feiner Abstufung der eingestellten Lichtleistung gemacht. Durch die Abstufung mit diskreten Schritten liegt eine Quantisierung der abgegebenen Strahlungsleistung der Lichtquelle vor. Zur Durchführung des Verfahrens ist eine ausreichende Homogenität der Lichtquelle sicherzustellen. Als Referenzlichtquelle wird im bevorzugten Ausführungsbeispiel eine Ulbrichtkugel verwendet. Sie ist ein Kugelphotometer mit einem Durchmesser von 1 bis 5 Meter. Die Ulbrichtkugel hat innen einen reinweißen, matten Anstrich. Dadurch wird das nach allen Seiten ausgestrahlte Licht einer in der Kugel befindlichen Lichtquelle so zerstreut und reflektiert, dass die Leuchtdichte auf der gesamten Kugeloberfläche konstant ist. Bei geeigneter Wahl der Quantisierungsstufen der Lichtleistung wird für jeden von einem Bildelement (Pixel) erzeugten Bildpunkt zu jedem Helligkeitswert der dazugehörige Korrektur-Offset SG ermittelt. Unter dem Korrektur-Offset 56 versteht man die Differenz zwischen dem tatsächlichen Wert des Bildpunktes und dem theoretisch bei der zugrundeliegenden Bestrahlungsstärke zu erwartenden Wert. Alle Korrektur-Offsets 56 der von den Pixeln des CMOS-Bildsensors erzeugten Bildpunkten bei einer Bestrahlungsstärke bzw. Lichtleistung der Lichtquelle bilden ein Korrekturmuster 54. Die ermittelten Korrekturmuster 54 für unterschiedliche Bestrahlungsstärken bilden das Korrekturmuster-Feld 52 (Kennfeld-Array). Im bevorzugten Ausführungsbeispiel wird für jeden quantisierten Ausgangswert des Bildpunktes eine entsprechende Bestrahlungsstärke gewählt. Bei einer Quantisierung des Bildpunktes mit 8-Bit sind damit 256 Bestrahlungsstärken notwendig. Das Ablaufdiagramm des Verfahrens zur Ermittlung eines Korrekturmuster-Felds 52 nach 3 beginnt beim Start 40. Im Punkt 42 des Ablaufdiagramms wird die Bestrahlungsstärke des Bildsensors durch Veränderung der Strahlungsleistung der Lichtquelle, im bevorzugten Ausführungsbeispiel der Ulbrichtkugel, eingestellt. Nach Aufnahme wenigstens eines Ur-Bildes durch den CMOS-Bildsensor wird im Punkt 44 die Ermittlung der Korrektur-Offsets 56 durchgeführt, die ein Korrekturmuster 54 bilden. Bei Aufnahme von wenigstens zwei Ur-Bildern wird die Ermittlung der Korrektur-Offsets 56 aus den zeitlich gemittelten Ur-Bildern durchgeführt. In anschließenden Punkt 46 wird das ermittelte Korrekturmuster 54 gespeichert. Im Punkt 48 wird die Abfrage durchgeführt, ob alle Korrekturmuster 54 zu jeder vorgesehenen Bestrahlungsstärke ermittelt wurde. Falls noch nicht alle Korrekturmuster 54 ermittelt wurden, wird zum Punkt 42 verzweigt und die Bestrahlungsstärke des Bildsensors entsprechend der vorgegebenen Quantisierung erhöht, andernfalls ist das Ablaufdiagramm mit dem Punkt 50 beendet. Das in Modul 22 in 2 durch das beschriebene Verfahren ermittelte Korrekturmuster-Feld 52 wird als Korrekturdaten 30 dem Modul 24 zugeführt. In Modul 24 in 2 wird zu jedem mit dem Bildsensorsystem aufgenommenen Ur-Bild 26 im Normalbetrieb in einem Zwischenschritt ein synthetisches Korrekturmuster aus dem Korrekturmuster-Feld 52 ermittelt, wobei das synthetische Korrekturmuster in jedem Bildpunkt an den Bildinhalt (Helligkeitswert des Bildpunktes) angepasst ist. Die helligkeitsadaptive Korrektur des in 2 gelieferten Ur-Bildes 26 erfolgt durch Addition des synthetischen Korrekturmusters zum Ur-Bild 26, wobei als Ergebnis das korrigierte Bild 28 erzeugt wird. Das in 3 beschriebene Verfahren wird algorithmisch vorteilhafter implementiert, indem im Korrekturmuster-Feld 52 nicht die Korrektur-Offsets 56 enthalten sind, sondern die bereits korrigierten Grauwerte (Korrekturwerte) 56 abgelegt werden. Der Korrekturwert ist der korrigierte Wert. Im Gegensatz dazu ist der Korrektur-Offset 56 die Differenz des ermittelten Grauwertes zum Korrekturwert. Damit stehen für alle Bildpunkte jeweils eine individuelle, helligkeitsabhängige Look-up-Tabelle im Korrekturmuster-Feld 52 zur Verfügung, aus denen direkt ohne weitere Berechnungen das korrigierte Bild 28 in Modul 24 nach 2 basierend auf dem Ur-Bild 26 im Normalbetrieb zusammengesetzt wird. Dies erfolgt, indem für jeden Bildpunkt aus dem Korrekturmuster-Feld 52 für jeden Bildpunkt für den ermittelten Grauwert im Ur-Bild ein Korrekturwert 56 aus dem Korrekturmuster-Feld 52 entnommen wird. 3 shows a flowchart of the method for determining correction data in the preferred embodiment in a first variant. The correction data is a correction pattern field 52 certainly. The brightness-adaptive post-correction, for example of the fixed pattern noise (FPN) and / or of radiometric objective inhomogeneities, of the original image supplied by the CMOS image sensor is determined in this first variant by determining correction patterns 54 carried out. In particular, the objective edge shading is determined as radiometric objective inhomogeneities. This requires the correction patterns 54 previously determined by measurement. The correction pattern 54 are determined for the pixels generated by the picture elements (pixels) as a function of a respective incident light quantity, ie the irradiance. The irradiance is defined as power (radiant power) per area. Over the entire radiometric working range of the CMOS image sensor, images of a homogeneous reference light source which can be set in the emitted radiation power (light output) are made with a sufficiently fine gradation of the adjusted light output. By grading with discrete steps, there is a quantization of the emitted radiation power of the light source. To carry out the process, it is necessary to ensure sufficient homogeneity of the light source. As a reference light source, an integrating sphere is used in the preferred embodiment. It is a spherical photometer with a diameter of 1 to 5 meters. The integrating sphere has a pure white, matt coating inside. As a result, the light emitted from all sides of a light source located in the ball is so scattered and reflected that the luminance on the entire spherical surface is constant. Given a suitable choice of the quantization levels of the light output, the associated correction offset SG is determined for each pixel generated by a picture element (pixel) for each brightness value. Below the correction offset 56 one understands the difference between the actual value of the pixel and the theoretically expected value at the underlying irradiance. All correction offsets 56 The pixels generated by the pixels of the CMOS image sensor at an irradiance or light output of the light source form a correction pattern 54 , The determined correction patterns 54 for different irradiances form the correction pattern field 52 (Map array). In the preferred embodiment, a corresponding irradiance is chosen for each quantized output value of the pixel. With a quantization of the pixel with 8-bit 256 irradiances are necessary. The flowchart of the method for determining a correction pattern field 52 to 3 starts at the start 40 , In the point 42 of the flowchart, the irradiance of the image sensor is adjusted by changing the radiant power of the light source, in the preferred embodiment of the integrating sphere. After recording at least one original image the CMOS image sensor is in point 44 the determination of the correction offsets 56 performed a correction pattern 54 form. Upon taking at least two master images, the determination of the correction offsets 56 from the temporally averaged original pictures. In subsequent point 46 becomes the determined correction pattern 54 saved. In the point 48 the query is performed if all the correction patterns 54 at each intended irradiance. If not all correction patterns 54 are determined becomes the point 42 branches and increases the irradiance of the image sensor according to the predetermined quantization, otherwise, the flowchart with the point 50 completed. That in module 22 in 2 correction pattern field determined by the described method 52 is called correction data 30 the module 24 fed. In module 24 in 2 becomes each original picture taken with the image sensor system 26 in normal operation in an intermediate step, a synthetic correction pattern from the correction pattern field 52 determined, wherein the synthetic correction pattern in each pixel to the image content (brightness value of the pixel) is adjusted. The brightness-adaptive correction of the in 2 supplied original picture 26 is done by adding the synthetic correction pattern to the original image 26 as a result, the corrected image 28 is produced. This in 3 described method is implemented algorithmically more advantageous by in the correction pattern field 52 not the correction offsets 56 are included, but the already corrected gray values (correction values) 56 be filed. The correction value is the corrected value. In contrast, the correction offset 56 the difference of the determined gray value to the correction value. This means that each individual pixel has an individual, brightness-dependent look-up table in the correction pattern field 52 available, from which directly without further calculations the corrected picture 28 in module 24 to 2 based on the original picture 26 is assembled in normal operation. This is done by selecting for each pixel from the correction pattern field 52 For each pixel for the determined gray value in the original image, a correction value 56 from the correction pattern field 52 is removed.

4 zeigt ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im bevorzugten Ausführungsbeispiel in einer zweiten Variante. Aus dem ermittelten Korrekturmuster-Feld 52 (Kennfeld-Array) nach 3 werden für die von den Bildelemente (Pixel) erzeugten Bildpunkten die jeweiligen Parameter 64 einer geeigneten analytischen Beschreibung (mathematische Funktion) durch Parameterschätzung ermittelt und in einem Feld der Parameter 62 zusammengefasst. Damit stehen für das gesamte vom CMOS-Bildsensor gelieferte Ur-Bild die parametrisierten Kennlinien für jeden Bildpunkt in Form eines Feldes der Parameter der Korrekturfunktionen 62 zur Verfügung, aus denen das korrigierte Bild berechnet wird. Hierbei wird vorausgesetzt, das die Form der Kennlinie der Beleuchtungsempfindlichkeit aller Pixel gleich ist, aber die Parametrisierung der Kennlinie Unterschiede aufweist. Im Punkt 58 des Ablaufdiagramms des Verfahrens zur Ermittlung von Korrekturdaten nach 4 werden die Parameter der Korrekturfunktionen 64 für jeden Bildpunkt des Bildes aus dem Korrekturmuster-Feld 52 berechnet. Dabei können sowohl die Korrektur-Offsets 56 und/oder die Korrekturwerte 56 verwendet werden. Die Struktur der Korrekturfunktionen wird entsprechend der Eigenschaften des Bildsensors, insbesondere dem Verlauf der Kennlinien der Beleuchtungsempfindlichkeit der Pixel des Bildsensors gewählt. Als Korrekturfunktionen werden im bevorzugten Ausführungsbeispiel beispielsweise entweder Polynome f(x) = a_nxⁿ + a_n-1x_n-1 + ... + a₁x + a₀ oder logarithmische Funktionen g(x) = a log(x/b) verwendet. Die Parameter der Korrekturfunktionen 64 werden durch den Einsatz von Parameterschätzverfahren, wie die Methode der kleinsten Quadrate oder robuste Schätzverfahren ermittelt. Im bevorzugten Ausführungsbeispiel wird in einem numerischen Verfahren mit der Methode der kleinsten Quadrate für jeden Bildpunkt eine Ausgleichsfunktion durch die ermittelten Messwerte, also die Korrektur-Offsets 56 oder die Korrekturwerte 56, berechnet. Die Korrekturfunktionen werden durch die Parameter der Korrekturfunktionen 64 beschrieben. Die Korrekturfunktion für einen Bildpunkt ist eine Funktion des Korrekturwertes von dem ermittelten Grauwert im Ur-Bild. Im anschließenden Punkt 60 werden die Parameter der Korrekturfunktionen 64 zum Feld der Parameter 62 zusammengefasst und gespeichert. Das in Modul 22 in 2 durch das beschriebene Verfahren ermittelte Feld der Parameter 62 wird als Korrekturdaten 30 dem Modul 24 zugeführt. In Modul 24 in 2 wird zu jedem mit dem Bildsensorsystem aufgenommenen Ur-Bild 26 im Normalbetrieb mittels des Feldes der Parameter 62 das korrigierte Bild 28 berechnet. Hierzu wird nach 2 aus dem ermittelten Grauwert eines Bildpunktes des Ur- Bildes 26 mittels der Korrekturfunktion eines Bildpunktes der korrigierte Grauwert berechnet. Das korrigierte Bild 28 in 2 setzt sich aus den so ermittelten korrigierten Grauwerten zusammen. In einer Variante des Verfahrens nach 4 wird ebenfalls das Korrekturmuster-Feld (Kennfeld-Array) 52 für geeignet ausgewählte Lichtleistungseinstellungen (Stützstellen des Kennfeldes) aufgenommen. Die Korrekturfunktionen bzw. die Parameter der Korrekturfunktionen 64 werden durch Interpolation aus zwei oder mehreren Stützstellen berechnet. Dabei wird die Interpolation für jeden einzelne von dem Bildelement (Pixel) erzeugten Bildpunkt entsprechend seinem Helligkeitswert aus den ihm zugeordneten Stützstellen durchgeführt. 4 shows a flowchart of the method for determining correction data in the preferred embodiment in a second variant. From the determined correction pattern field 52 (Map array) 3 become the respective parameters for the pixels generated by the picture elements (pixels) 64 a suitable analytical description (mathematical function) determined by parameter estimation and in a field of parameters 62 summarized. Thus, for the entire original image supplied by the CMOS image sensor, the parameterized characteristic curves for each pixel are in the form of a field of the parameters of the correction functions 62 available, from which the corrected image is calculated. In this case, it is assumed that the shape of the characteristic curve of the illumination sensitivity of all pixels is the same, but the parameterization of the characteristic curve has differences. In the point 58 of the flowchart of the method for determining correction data 4 become the parameters of the correction functions 64 for each pixel of the image from the correction pattern field 52 calculated. Both the correction offsets 56 and / or the correction values 56 be used. The structure of the correction functions is selected according to the characteristics of the image sensor, in particular the course of the characteristics of the illumination sensitivity of the pixels of the image sensor. In the preferred embodiment, for example, either polynomials f (x) = a _n × ⁿ + a _n-1 × _n-1 + ... + a ₁ × + a ₀ or logarithmic functions g (x) = a log (x / b) used. The parameters of the correction functions 64 are determined by the use of parameter estimation techniques, such as the least squares method or robust estimation methods. In the preferred embodiment, in a numerical method with the least squares method, a compensation function for each pixel is compensated for by the determined measured values, that is, the correction offsets 56 or the correction values 56 , calculated. The correction functions are determined by the parameters of the correction functions 64 described. The correction function for a pixel is a function of the correction value from the determined gray value in the original image. In the following point 60 become the parameters of the correction functions 64 to the field of parameters 62 summarized and saved. That in module 22 in 2 determined by the method described field of the parameters 62 is called correction data 30 the module 24 fed. In module 24 in 2 becomes each original picture taken with the image sensor system 26 in normal operation by means of the field of the parameters 62 the corrected picture 28 calculated. This is after 2 from the determined gray value of a pixel of the original image 26 calculated by the correction function of a pixel of the corrected gray value. The corrected picture 28 in 2 is composed of the thus determined corrected gray values. In a variant of the method according to 4 is also the correction pattern field (map array) 52 for suitably selected light power settings (nodes of the map) recorded. The correction functions or the parameters of the correction functions 64 are calculated by interpolation from two or more nodes. In this case, the interpolation is carried out for each individual pixel produced by the picture element (pixel) in accordance with its brightness value from the interpolation points assigned to it.

5 zeigt ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im bevorzugten Ausführungsbeispiel in einer dritten Variante. Als Korrekturdaten wird ein synthetisches Korrekturmuster 78 bestimmt. Das synthetische Korrekturmuster 78 zur adaptiven Nachkorrektur des aktuellen Kamerabildes wird aus der Sequenz von N zeitlich zurückliegenden Kamerabildern 66 berechnet. Das Zeitverhalten des synthetischen Korrekturmusters 78 kann durch die Anzahl und Gewichtung der zur Bestimmung des synthetischen Korrekturmusters 78 berücksichtigten Bilder 68, 69, 70, 71, 72 beeinflusst werden. Unter dem Zeitverhalten des synthetischen Korrekturmusters versteht man die Dynamik der Adaption an die aktuell aufgenommene Szene. Unter der Annahme, dass die Länge N der Bildsequenz 66 genügend groß ist und eine ausreichend große Veränderung der Bildinhalte gegeben ist, wird das synthetische Korrekturmuster 78 im bevorzugten Ausführungsbeispiel wie nachfolgend erläutert bestimmt. Eine ausreichend große Veränderung der Bildinhalte liegt beispielsweise dann vor, wenn eine Objektbewegung und/oder eine Kamerabewegung stattfindet. Zunächst wird ein gleitenden Mittelwert, eine zeitliche Mittelung, über N zurückliegende Bilder 68, 69, 70, 71, 72 der Bildsequenz 66 im Punkt 74 berechnet. Alternativ werden in einer Variante anstelle des gleitenden Mittelwertes beliebige Tiefpassfilter (zeitlicher Tiefpass) 74 zur zeitlichen Filterung der Bildsequenz 66 eingesetzt. Wird von dem Ergebnisbild der zeitlichen Tiefpassfilterung der räumliche Mittelwert im Punkt 76 subtrahiert, so erhält man das synthetische Korrekturmuster 78. Alternativ ist auch hier eine Tiefpassfilterung des Ergebnisbildes mit einem beliebigen Tiefpass (örtlicher Tiefpass) 76 möglich. Das in Modul 22 in 2 durch das beschriebene Verfahren ermittelte synthetische Korrekturmuster 78 wird als Korrekturdaten 30 dem Modul 24 zugeführt. Die helligkeitsadaptive Korrektur des in 2 gelieferten Ur-Bildes 26 erfolgt durch Addition des synthetischen Korrekturmusters 78 zum Ur-Bild 26, wobei als Ergebnis das korrigierte Bild 28 erzeugt wird. Dabei wird sowohl die Bildung des synthetischen Korrekturmusters 78 in Modul 22 in 2 als auch die Erzeugung des korrigierten Bildes 28 in Modul 24 im Normalbetrieb des Bildsensorsystems durchgeführt. In einer Variante des Verfahrens wird das Ergebnisbild der zeitlichen Tiefpass-Filterung mit einem geeigneten räumlichen Hochpass gefiltert, anstatt eine räumlichen Tiefpassfilterung mit anschließender Subtraktion des Ergebnisbildes der zeitlichen Filterung durchzuführen. Die bei Verletzung der oben getroffenen Annahme, also eine ausreichend große Bildsequenz 66 und ausreichend große Veränderungen der Bildinhalte, auftretenden Bildartefakte werden durch geeignete Wahl der Filter, der Bildsequenzlänge N und durch Einbringen von Vorwissen beseitigt oder weitestgehend kompensiert. In einer weiteren Variante werden die ermittelten synthetischen Korrekturmuster 78 gespeichert und durch Auswertung vieler zeitlich zurückliegender und gespeicherter synthetischer Korrekturmuster 78 ein Korrekturmuster-Feld 52 entsprechend 3 bestimmt. Das Korrekturmuster-Feld 52 nach 3 enthält Korrektur-Offsets oder Korrekturwerte. Das ermittelte Korrekturmuster-Feld wird durch die Verarbeitung weiterer Ur-Bilder dynamisch verändert. Die weitere Verarbeitung des Korrekturmuster-Felds 52 erfolgt entsprechend der oben beschriebenen Variante nach 3. 5 shows a flowchart of the method for determining correction data in Favor th embodiment in a third variant. As a correction data, a synthetic correction pattern 78 certainly. The synthetic correction pattern 78 for adaptive post-correction of the current camera image is from the sequence of N past camera images 66 calculated. The timing of the synthetic correction pattern 78 can be determined by the number and weight of the to determine the synthetic correction pattern 78 considered images 68 . 69 . 70 . 71 . 72 to be influenced. The time behavior of the synthetic correction pattern is the dynamics of the adaptation to the currently recorded scene. Assuming that the length N of the image sequence 66 is sufficiently large and there is a sufficiently large change in the image content is the synthetic correction pattern 78 determined in the preferred embodiment as explained below. A sufficiently large change in the image content is present, for example, when an object movement and / or a camera movement takes place. First, a moving average, a temporal averaging, over N past images 68 . 69 . 70 . 71 . 72 the picture sequence 66 at the point 74 calculated. Alternatively, in a variant, instead of the moving average, any low-pass filter (temporal low-pass filter) 74 for temporal filtering of the image sequence 66 used. From the result image of temporal low-pass filtering, the spatial mean in the point 76 subtracted, we obtain the synthetic correction pattern 78 , Alternatively, here is a low-pass filtering of the result image with any low pass (local low pass) 76 possible. That in module 22 in 2 synthetic correction pattern determined by the described method 78 is called correction data 30 the module 24 fed. The brightness-adaptive correction of the in 2 supplied original picture 26 is done by adding the synthetic correction pattern 78 to the original picture 26 as a result, the corrected image 28 is produced. In doing so, both the formation of the synthetic correction pattern becomes 78 in module 22 in 2 as well as the generation of the corrected image 28 in module 24 performed during normal operation of the image sensor system. In a variant of the method, the result image of the temporal low-pass filtering is filtered with a suitable spatial high-pass filter, instead of performing a spatial low-pass filtering with subsequent subtraction of the result image of the temporal filtering. The case of violation of the above assumption, so a sufficiently large image sequence 66 and sufficiently large changes in the image contents occurring image artifacts are eliminated or compensated for by appropriate choice of the filters, the image sequence length N and by introducing prior knowledge. In a further variant, the determined synthetic correction patterns 78 stored and evaluated by evaluating many past and stored synthetic correction patterns 78 a correction pattern field 52 corresponding 3 certainly. The correction pattern field 52 to 3 contains correction offsets or correction values. The determined correction pattern field is changed dynamically by the processing of further original images. Further processing of the correction pattern field 52 takes place according to the variant described above 3 ,

Das beschriebene Verfahren und das Bildsensorsystem sind nicht beschränkt auf die Verwendung eines 8-Bit-CMOS-Bildsensors bei Anwendungen in Kraftfahrzeugen. Vielmehr ist es insbesondere möglich andere CMOS-Bildsensoren und/oder CCD-Bildsensoren zu verwenden. Auch die Verwendung von Zeilen-Bildsensoren ist in einer Variante des Verfahrens und des Bildsensorsystems möglich. Daneben können die Bildsensoren als schwarz/weiß-Bildsensoren oder Farb-Bildsensoren ausgeführt sein. Alle beschriebenen Bildsensoren können dabei eine beliebige Grauwertauflösung und/oder Farbauflösung haben, die sich von dem im bevorzugten Ausführungsbeispiel verwendeten 8-Bit-Bildsensor unterscheiden. Insbesondere ist die Verwendung von CMOS-Bildsensoren mit einer Auflösung von 10-Bit möglich. Darüber hinaus sind das Verfahren und das Bildsensorsystem auch zur Verwendung von analogen Bildsensoren geeignet, die keine diskreten Bildpunkte und/oder keine Quantisierung des Ausgangswertes aufweisen. Bei der Durchführung des beschriebenen Verfahrens bei Bildsensoren ohne diskrete Bildpunkte werden anstatt der Bildpunkte Bereiche des Bildes verwendet, die durch Mittelwertbildung als Bildpunkte weiterverarbeitet werden. Bei analogen Bildsensoren ohne Quantisierung des Ausgangssignals wird das Ausgangssignal in einer Vorverarbeitung quantisiert und entsprechend dem oben beschriebenen Verfahren verarbeitet. In einer weiteren Variante werden wenigstens zwei Bildsensoren im Bildsensorsystem verwendet, wobei die Bildsensoren im wesentlichen dieselbe Szene aufnehmen, insbesondere, dass das Bildsensorsystem eine Stereokamera ist.The described method and the image sensor system are not limited to the use of an 8-bit CMOS image sensor in automotive applications. Rather, it is possible in particular use other CMOS image sensors and / or CCD image sensors. The use of line image sensors is in a variant of Method and the image sensor system possible. In addition, the Image sensors as black and white image sensors or Color image sensors running be. All described image sensors can be any gray value resolution and / or color resolution which differ from the 8-bit image sensor used in the preferred embodiment differ. In particular, the use of CMOS image sensors with a resolution 10-bit possible. About that In addition, the method and the image sensor system are also for use from analogue image sensors that do not use discrete pixels and / or have no quantization of the output value. In the execution the method described in image sensors without discrete pixels Instead of pixels, areas of the image are used be processed by averaging as pixels. For analog image sensors without quantization of the output signal the output signal is quantized in a pre-processing and processed according to the method described above. In a Another variant, at least two image sensors in the image sensor system used, wherein the image sensors substantially the same scene in particular, that the image sensor system is a stereo camera is.

In einer Variante des beschriebenen Verfahrens und des Bildsensorsystems wird wenigstens ein Teil des Ur-Bildes beleuchtungsabhängig korrigiert. Insbesondere ist es denkbar lediglich die Randbereiche eines Ur-Bildes zu korrigieren und/oder eine Korrektur lediglich bei sehr großer und/oder sehr geringer Beleuchtung durchzuführen. Dies führt zu einer Reduzierung der benötigten Rechenleistung der Auswerteeinheit.In a variant of the described method and the image sensor system At least a part of the original image is corrected in a lighting-dependent manner. Especially it is conceivable only to correct the margins of a primal picture and / or a correction only at very large and / or very low To perform lighting. this leads to to a reduction of the needed Computing power of the evaluation unit.

Eine Variante des beschriebenen Verfahrens und des Bildsensorsystems sieht vor, mehrere Bildpunkte gemeinsam als einen Teilbereich zu verarbeiten. Dies ist möglich, wenn die zugrundeliegenden Pixel der Bildpunkte ähnliche Eigenschaften aufweisen und damit gemeinsam als ein Teilbereich behandelt werden. Dabei werden für einen Teilbereich die Korrekturwerte oder die Korrektur-Offsets oder die Korrekturfunktion berechnet und die Berechnung für jeden Bildpunkt des Teilbereichs mit diesen Werten durchgeführt. Der notwendige Rechenleistungsbedarf der Auswerteeinheit zur Durchführung des Verfahrens wird dadurch vermindert. Die Korrektur der Ungleichmäßigkeiten eines Bildes kann dabei nach Bildpunkten oder Teilbereichen erfolgen, oder auch gemeinsam durchgeführt werden.A variant of the described method and the image sensor system provides to process a plurality of pixels together as a subarea. This is possible if the underlying pixels of the pixels have similar properties and are thus treated together as a subarea. Here are for a subarea the Correction values or the correction offsets or the correction function calculated and performed the calculation for each pixel of the subarea with these values. The necessary computing power requirement of the evaluation unit for carrying out the method is thereby reduced. The correction of the unevenness of an image can take place after pixels or partial areas, or can be carried out together.

In einer weiteren Variante des beschriebenen Verfahrens und des Bildsensorsystems werden die vorstehenden Varianten kombiniert, indem beispielsweise für unterschiedliche Teile, also Bereiche, des Ur-Bildes verschiedenen Varianten des Verfahrens angewendet werden. Insbesondere ist es möglich je nach Beleuchtung unterschiedliche Varianten der Verfahren anzuwenden.In a further variant of the described method and the image sensor system For example, the above variants are combined by, for example for different Parts, ie areas, of the original picture different variants of the Procedure be applied. In particular, it is possible ever to use different variants of the method after lighting.

Claims

Method for correcting irregularities of at least part of at least one image of an image sensor system, wherein the image sensor system consists of at least one image sensor, wherein the irregularities of the image of the image sensor system are corrected as a function of illumination, characterized in that both a determination of the unevenness of the image sensor system and its image Correction is made during normal operation of the image sensor system, wherein a correction pattern for the post-correction of the current image is calculated from a sequence of N past images acquired during normal operation.

Method according to claim 1, characterized in that that unevenness at least one pixel of the image and / or at least one Part of the image of the image sensor system by determination a locally and / or globally determined illumination level corrected lighting dependent become.

Method according to one of the preceding claims, characterized characterized in that the fixed pattern noise (FPN) of the image sensor and / or at least one more nonuniformity of the at least one Part of the image of the image sensor system, in particular Objektivinhomogenitäten corrected become.

Method according to one of the preceding claims, characterized marked that for at least one pixel of the image and / or at least one Part of the image at least one lighting-dependent correction offset and / or at least one illumination-dependent correction value and / or at least one lighting-dependent Correction function can be determined and the correction offset and / or the correction value and / or the correction function for the correction of irregularities the image of the image sensor system can be used.

Image sensor system with at least one image sensor, the image sensor system comprising means for detecting irregularities at least a part of at least one image of the image sensor system depending on the illumination correct, characterized in that the image sensor system means which includes both a determination of the irregularities the image of the image sensor system as well as their correction in normal operation the image sensor system allows wherein a correction pattern for the post-correction of the current image from a sequence of N in the past, calculated in normal operation.

Image sensor system according to claim 5, characterized in that the image sensor system has means which correct the illumination depending on of irregularities at least one pixel of the image and / or at least one Part of the image of the image sensor system by determination allow a locally and / or globally determined lighting level.

Image sensor system according to one of claims 5 or 6, characterized in that the image sensor system comprises means around the fixed pattern noise (FPN) of the image sensor and / or at least another unevenness the at least part of the image of the image sensor system, in particular Objektivinhomogenitäten, to correct.

Image sensor system according to one of claims 5 to 7, characterized in that the image sensor system comprises means which corrects for unevenness of the image of the image sensor system by determining at least one illumination-dependent correction offset and / or at least one illumination-dependent correction value and / or at least one lighting-dependent Correction function of at least one pixel of the image and / or allow at least a portion of the image.

Image sensor system according to one of claims 5 to 8, characterized in that the at least one image sensor CMOS image sensor is, with the CMOS image sensor is a steadily monotonous Characteristic, in particular that the CMOS image sensor is a logarithmic Characteristic has.

Computer program with program code means to all To perform steps of any one of claims 1 to 4, when the program is running on a computer.