DE102006036305A1

DE102006036305A1 - Verfahren zur Berechnung von Gammakorrekturwerten sowie Bildaufnahmevorrichtung mit einer entsprechenden Gammaadaptionseinheit

Info

Publication number: DE102006036305A1
Application number: DE102006036305A
Authority: DE
Original assignee: Mekra Lang GmbH and Co KG
Current assignee: Mekra Lang GmbH and Co KG
Priority date: 2006-08-03
Filing date: 2006-08-03
Publication date: 2008-02-21
Also published as: US20080074516A1

Abstract

Es wird ein Verfahren zur Berechnung von Gammakorrekturwerten angegeben, das eine verbesserte Bilddarstellung für unter unterschiedlichen Bedingungen aufgenommenen Bildern ermöglicht. Weiter ist es Aufgabe der vorliegenden Erfindung eine Bildbearbeitungsvorrichtung bereitzustellen, das dieses Verfahren zur Berechnung von Gammakorrekturwerten nutzt. Der Kern der vorliegenden Erfindung besteht darin, anstelle einer festen Gammakorrektur eine dynamische Gammakorrektur für Einzelbilder auf der Basis von bildspezifischen Statistikdaten dieser Einzelbilder bereitzustellen. Dadurch kommt der Anwender in die Lage, den Helligkeitsdynamikbereich von Bildaufnahmesystemen besser als bisher ausnutzen zu können. Damit wird sichergestellt, dass die im erfassten und anzuzeigenden Bild enthaltene Information möglichst vollständig zur Anzeige kommt. Die Ergebnisse dieser statistischen Auswertung von Einzelbildern werden genutzt, um durch die individuelle Bereitstellung von Gammakorrekturwerten relevante Bildbereiche zu betonen.

Description

Die Erfindung betrifft ein Verfahren zur Berechnung von Gammakorrekturwerten nach Anspruch 1 sowie eine Bildbearbeitungsvorrichtung, die dieses Verfahren zur Berechnung von Gammakorrekturwerten nutzt.
Speziell in der modernen industriellen Bildverarbeitung, aber auch in vielen automotiven Anwendungsbereichen sind Bildaufnahmesysteme erwünscht, die in unterschiedlichen Aufnahmesituationen eine sehr gute Bildqualität liefern. Eine Möglichkeit hierzu bietet die Gammakorrektur. Bildanzeigevorrichtungen, wie RGB- und LCD-Monitore haben verschieden Helligkeitsprofile und erfordern häufig eine Korrektur, um ein Bild optimal darzustellen. Idealerweise würde ein Ausgabegerät den Helligkeitswert 0 als Schwarz und den Helligkeitswert 1 als Weiß abbilden und die dazwischen liegenden Werte linear als unterschiedliche Grauwerte darstellen. Dies würde einem Gamma oder Gammawert 1 entsprechen. Reale Kameras und Bildwiedergabeeinrichtungen weisen keine solche Linearität auf. Meist spielt die nichtlineare Eingangskennlinie einer Bildwiedergabeeinrichtung, z. B eines LCD-Bildschirms, oder des CCD-Chips einer Kamera die entscheidende Ursache für die Nichtlinearität. Damit bei der Aufnahme und Anzeige von Bildern möglichst keine Helligkeitsinformationen verloren gehen oder überbetont werden, bieten Geräte mit nichtlinearen Eingangskennlinien häufig die Möglichkeit einer Gammakorrektur zur Linearisierung der Abbildungsleistung. Bei Geräten, die Bildwandler für unterschiedliche Farben aufweisen, ist üblicherweise eine Gammakorrektur für jeden einzelnen Farbkanal möglich.
Bisher eingesetzte Bildaufnahmesysteme haben daher zwar eine einstellbare, aber feste Gammakorrektur. Diese wird in der Regel benutzt, um das erfasste Bild an den Helligkeitswiedergabebereiche der verwendeten Anzeigeinrichtung anzupassen. Klassisch wurde zu Zeiten des Röhrenfernsehens die physikalisch bedingte Nichtlinearität der Bildröhre (γ = 2,2) durch eine Vorverzerrung von γ = 0,45 korrigiert. Bei Aufnahmen mit Kameras, die annähernd den gleichen Helligkeitsdynamikumfang haben, wie das Wiedergabegerät, führt dies auch zu akzeptablen Ergebnissen. Bei Aufnahmen, die eine größere Helligkeitsdynamik besitzen, hat dieses Verfahren jedoch gravierende Nachteile. Bei Bildinhalten mit einer hohen Helligkeitsdynamik und mit Blendungen kommt es zu Über- und Unterbelichtungen. In derartigen Szenen zeigt die verwendete Anzeigeeinheit entweder weiße oder schwarze Flächen an. In den meisten Fällen wird dieser Effekt durch die übliche die statische Gammakorrektur noch verstärkt, obwohl das Bildaufnahmesystem mehr verwertbare Bildinformationen erfasst hat.
Es ist daher Aufgabe der vorliegenden Erfindung ein Verfahren zur Berechnung von Gammakorrekturwerten bereitzustellen, das eine verbesserte Bildwiedergabe auf unterschiedlichen Wiedergabegeräten ermöglicht. Weiter ist es Aufgabe der vorliegenden Erfindung eine Bildbearbeitungsvorrichtung bereitzustellen, das dieses Verfahren zur Berechnung von Gammakorrekturwerten nutzt.
Die Lösung dieser Aufgabe erfolgt durch die Merkmale des Anspruchs 1 bzw. 8.
Der Kern der vorliegenden Erfindung besteht darin, anstelle einer festen Gammakorrektur eine dynamische Gammakorrektur für Einzelbilder auf der Basis von bildspezifischen Statistikdaten dieser Einzelbilder bereitzustellen. Dadurch kommt der Anwender in die Lage, den Helligkeitsdynamikbereich von Bildaufnahmesystemen besser als bisher ausnutzen zu können. Damit wird sichergestellt, dass die im erfassten und anzuzeigenden Bild enthaltene Information möglichst vollständig zur Anzeige kommt. Die Ergebnisse dieser statistischen Auswertung von Einzelbildern werden genutzt, um durch die individuelle Bereitstellung von Gammakorrekturwerten relevante Bildbereiche zu betonen.
Bei herkömmlichen Kameras basiert die Belichtungsregelung in der Regel auf Daten, die aus dem entsprechenden Helligkeitshistogramm und den entsprechenden Momenten (wie z. B. Mittelwert, Median, Streuung) systemintern berechnet werden. Diese bereits für die Belichtungsregelung notwendigen statistischen Bilddaten, genauer die Momente der Helligkeitsvertei lung bzw. Luminanzverteilung der jeweiligen Einzelbilder werden genutzt, um an die jeweiligen Einzelbilder angepasste dynamische Gammakorrekturwerte bereitzustellen. – Ansprüche 2, 3 und 4.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung nach Anspruch 5 kann ein unterbelichtetes Bild durch Verkleinerung des Gammawertes aufgehellt und ein überbelichtetes Bild durch Vergrößerung des Gammawertes abgedunkelt werden.
Bei bestimmten Anwendungen kann es auch sinnvoll sein, die statistischen Momente auf der Basis einer Mehrzahl von Einzelbildern zu errechnen – Anspruch 6. Bei bestimmten Anwendungen kann es auch ausreichend sein, den gleichen adaptierten Gammakorrekturwert für eine Mehrzahl von aufeinander folgenden Einzelbildern zu verwenden. Hierdurch verringert sich der Rechenaufwand.
Die übrigen Unteransprüche beziehen sich auf weitere vorteilhafte Ausgestaltungen der Erfindung.
Für die Erfindung ergeben sich folgende Anwendungsgebiete:

• Inspektions- und Placement-Systeme, die zur zuverlässigen Objekterkennung und -klassifizierung auf sehr gute Bildinformationen angewiesen sind;
• Überwachungsaufgaben in automotiven Umgebungen, wie z.B. die Fahrzeuginnenraumüberwachung, Fahrbahnerkennungssyteme, Pre-Crash Sensorik und Rückfahrkameras;
• Allgemeine Überwachungsaufgaben im Bereich der videobasierten Überwachungstechnik, Z. B. CCTV.

Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung einer beispielhaften Ausführungsform anhand der Zeichnung.
Die einzige Figur zeigt ein Blockschaltbild einer Bildaufnahmeeinheit in der in der das erfindungsgemäße Verfahren realisiert ist bzw. in die eine Bildbearbeitungsvorrichtung gemäß der vorliegenden Erfindung integriert ist.
Durch eine Bildaufnahmeeinheit 2 mit einem Bild-Sensor werden Bilddaten für eine Vielzahl von Einzelbildern bereitgestellt. Das Basiselement dieser Daten ist ein einzelner Bildpunkt (Pixel) P(x, y) mit der Spaltennummer x und der Zeilennummer y. Die Bilddaten können als so genannte RGB-Daten (mit roter, grüner und blauer Komponente), aber auch als Luminanz-Farbkomponenten (z.B. YUV oder YCrCb und ähnliche Formate) vorliegen. Da die unterschiedlichen Darstellungsformen stets ineinander umrechenbar sind, wird im folgenden Text von einer Luminanz-Farbkomponenten ausgegangen. Die Helligkeit bzw. Luminanz jedes einzelnen Bildpunktes Y(x, y) ist direktproportional zur eingestellten Belichtungszeit t_int und der gewählten Verstärkung v_int, solange keine Über- oder Unterbelichtung im Bildpunkt vorliegt.
Die durch die Bildaufnahmeeinheit 2 bereitgestellten Bilddaten von Einzelbildern werden hinsichtlich ihrer Luminanz-Farbkomponenten in einer Statistikeinheit 4 ausgewertet. Die Statistikeinheit 4 berechnet aus den Luminanz-Farbkomponenten der Bilddaten eines Bildes mit n Spalten und m Zeilen und damit mit Pixel, die entsprechenden Wahrscheinlichkeitsmomente, wie Mittelwert, Median und Streuung der einzelnen Komponenten. Diese in der Statistikeinheit 4 errechneten Momente werden zum einen an eine Belichtungseinheit 6 übermittelt, die die Belichtungszeiten der Bildaufnahmeeinheit 2 regelt. Die errechneten Momente werden auch an eine Gammaadaptionseinheit 8 übermittelt. In der Gammaadaptionseinheit 8 werden auf der Basis der übermittelten Momente Gammakorrekturwerte zu den jeweiligen Einzelbildern errechnet. Die Wahrscheinlichkeitsmomente der Luminanz sind: 1. Mittelwert:
2. Median:
Die Menge Y ist die Menge aller auftretenden Luminanzwerte: Y(x, y) ∈ Y ∧ x ∈ N ∧ y ∈ N ∧ x ≤ n ∧ y ≤ m (3)
Diese lassen sich in Y_Sort(l) sortiert darstellen: YSort(1) = min(Y) (4) YSort(l) ≤ YSort(l + 1) ∧ YSort(l) ∈ Y ∧ l ≤ n·m ∧ l ∈ N (5) 3. Streuung:
Die Gammaadaptionseinheit 8 berechnet den für die entsprechende Applikation optimalen Gammawert γ. Die allgemeine Form lautet:
Die Laufvariablen r sind ganze Zahlen.
Die einzelnen Summanden ergeben sich wie folgt:
Die rect₁-Funktion ist definiert als:
Die in diesen Funktionen benutzten Koeffizienten und Variablen haben dabei folgende Bedeutung:

– Gammaadaptionsbasissummanden Der Gammaadaptionsbasissummand
erfasst die funktionale Abhängigkeit des Gammawertes, bezogen auf den Istmittelwert Y und Sollmittelwert der Luminanz Y Soll . Entsprechend erfasst der Gammaadaptionsbasissummand
die funktionale Abhängigkeit des Gammawertes, bezogen auf den Istmedianwert Y ~ und den Sollmedianwert der Luminanz Y ~_Soll. Die funktionale Abhängigkeit von der Streuung wird durch den Gammaadaptionsbasissummanden
erfasst, bezogen auf die Iststreuung s 2 / Y und die Sollstreuung der Luminanz s 2 / Y_Soll. Interne Sensorparameter, wie die Belichtungszeit t_int und die interne Verstärkung v_int werden durch den Gammaadaptionsbasissummanden γ_int,r erfasst.

Die Sollwerte für Mittelwert, Median und Streuung ergeben sich aus der jeweiligen Anwendung.

– Gewichtungskoeffizizenten Die Gewichtung der jeweiligen Istwerte erfolgt entsprechend mit den Koeffizienten
und
. Die Sollwerte werden dagegen mit den Koeffizienten
und
gewichtet.
– Offsets, Jeder Gammaadaptionsbasissummand verfügt über einen einstellbaren Offset innerhalb der jeweiligen Potenzreihe. Dies sind die Summanden
und
.
– Potenzreihenentwicklungskoeffizienten Die Koeffizienten a_u,r, b_u,r, c_u,r, d_u,r, e_u,r, f_u,r, g_u,r, h_u,r und i_u,r sind die Entwicklungskoeffizienten der jeweiligen Potenzreihe, um die applikationsspezifische funktionale Abhängigkeit erfassen zu können.
– Bewertungsfenster Jede der hier benutzten Potenzreihen kann über die Bewertungsfunktion rect₁ ein- und ausgeblendet werden. Die jeweilige Breite des Bewertungsfenster bestimmen die Paramater ΔY r , ΔY ~_r, Δs 2 / Y_r, Δt_intr und Δv_intr. Die Verschiebung des Bewertungsfensters wird durch den jeweiligen Offsetsummanden δY r , δY ~_r, δs 2 / Y_r, δt_intr und δv_intr erreicht.

Die Darstellung der Gammaadaptionssummanden jeweils in Abhängigkeit von verschiedenen r-Werten und Mittelwert bzw. Median bzw. Streuung resultiert aus einer abschnittsweisen Definition der funktionalen Abhängigkeit der Gammaadaptionssummanden von dem jeweiligen Mittelwert Y , dem jeweiligen Medianwert Y ~ und dem jeweiligen Streuungswert s 2 / Y für ein bestimmtes Einzelbild. Der Wert für r gibt damit an, wie viele unterschiedliche Abschnitte die Funktionen „Gammaadaptionssummand in Abhängigkeit von Mittelwert, Median und Streuung" aufweist. Durch die rect₁-Funktion wird jeweils nur derjenige Abschnitt „aktiviert", der für den jeweiligen Mittelwert, den jeweiligen Medianwert und den jeweiligen Streuungswert gilt. Die Summe nach Gleichung (7) enthält also unabhängig von r höchstens einen Gammaadaptionssummanden für die Abhängigkeit von dem Mittelwert, dem Median, der Streuung und der Belichtungszeit.
Die Laufvariable u ist die Laufvariable der Potenzreihenentwicklung in den Gleichungen (8) bis (11).
D. h. es werden nach den Gleichungen (1) bis (6) Mittelwert, Median und Streuung der Helligkeit bzw. Luminanz der jeweiligen Einzelbilder berechnet. Nach den Gleichungen (7) bis (12) wird daraus der Gammakorrekturwert γ für die einzelnen Bilder berechnet. Diese Gammakorrekturwerte werden an eine Gammakorrektureinheit 10 übermittelt, der auch die von der Bildaufnahmeeinheit 2 aufgenommenen Bilddaten zugeführt werden. Die Gammakorrektureinheit 10 führt in an sich bekannter Weise die Gammakorrektur der zugeführten Bilddaten durch. Die hier verwendete Gammakorrektur basiert auf der aus der Literatur bekannten Gammakorrektur. In der Regel wird die Gammakorrektur mit der Luminanzkomponente Y(i, j) durchgeführt, so dass nach der Gammakorrektur die Luminanzkomponente Yγ(i, j) vorliegt. Dazu wird auf der Bildaufnahmeseite bzw. bei der Bereitstellung der Bilddaten folgende normierten Funktionsgleichung verwendet:
Die Luminzanzkomponente Yγ(i, j) muss dazu folgende Bedingung einhalten: 0 ≤ Yγ(i, j) ≤ 1. Gegebenenfalls muss die Luminzanzkomponente vor der Gammakorrektur normiert und nach der Gammakorrektur wieder entnormiert werden. Hinsichtlich Einzelheiten der Gammafunktion (13) wird auf das Fachbuch Wendland, Schröder, Fernsehtechnik Band II, 1991, Hüthig Buchverlag Heidelberg, Seite 41ff verwiesen.
Die Berechung der Gleichung (13) kann direkt, durch eine Potenzreihenentwicklung, durch eine Tabelle oder durch Stützstellen mit Interpolation zwischen den Stützstellen erfolgen.
Im Gegensatz zum Stand der Technik wird in der Gammakorrektureinheit 10 nicht ein fester Gammakorrekturwert verwendet, sondern ein dynamisch an die jeweiligen Einzelbilder angepasster Gammakorrekturwert aus der Gammaadaptionseinheit 8. Die gammakorrigierten Bilddaten werden dann über eine Ausgangsschaltung 12 einer Anzeigeeinheit 14, z. B. einem LCD-Bildschirm zugeführt. Hierbei ist dann noch die Gammakorrektur für die jeweilige Anzeigeeinheit in bekannter Weise zu berücksichtigen.

2: Bildaufnahmeeinheit
4: Statistikeinheit
6: Belichtungsregelungseinheit
8: Gammaadaptionseinheit
10: Gammakorrektureinheit
12: Ausgangsschaltung
14: Anzeigeeinheit

Claims

Verfahren zur Gammakorrektur von Bilddaten, mit den Verfahrensschritten: – statistische Auswertung der Bilddaten (P(x, y)), die wenigstens ein Einzelbild repräsentieren, insbesondere hinsichtlich der Helligkeitsverteilung in dem wenigstens einen Einzelbild, und Bereitstellung von bildspezifischen Statistikdaten; – Berechnung eines an das wenigstens eine Einzelbild adaptierten Gammakorrekturwertes (γ) auf der Basis der bildspezifischen Statistikdaten; und – Anwendung des an das wenigstens eine Einzelbild angepassten Gammakorrekturwertes (γ) auf das jeweilige wenigstens eine Einzelbild bei der Ausgabe des jeweiligen wenigstens einen Einzelbildes.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die bildspezifischen Statistikdaten Momente der Helligkeitsverteilung des jeweiligen Einzelbildes umfassen.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Momente Mittelwert, Median und/oder Streuung der Helligkeitsverteilung in dem jeweiligen Einzelbild umfassen.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass für die Momente Mittelwert, Median und Streuung einzelne Gammakorrekturwertsummanden berechnet werden und ein Gesamtgammakorrekturwert als Summe der Gammakorrekturwertsummanden berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Berechnung des an das wenigstens eine Einzelbild adaptierten Gammawertes die Belichtungswerte bei der Aufnahme des wenigstens eine Einzelbildes berücksichtigt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die Berechnung eines einzelnen adaptierten Gammawertes die bildspezifischen Statistikdaten von mehreren Einzelbildern verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der auf der Basis eines Einzelbildes errechnete adaptierte Gammakorrekturwert zur Gammakorrektur von mehreren aufeinander folgenden Einzelbildern verwendet wird.
Bildbearbeitungsvorrichtung, mit – einer Einrichtung (2) zur Bereitstellung von Bilddaten, die wenigstens ein Einzelbild repräsentieren, – einer Auswerteeinheit (4) zur statistischen Auswertung der Bilddaten und zur Bereitstellung von Statistikdaten zu dem wenigstens einen Einzelbild, – einer Gammaadaptionseinheit (8) zur Berechnung eines Gammawertes für das wenigstens eine Einzelbild nach einem Verfahren gemäß einem der vorhergehenden Ansprüche, und – einer Gammakorrektureinheit (10) zur Gammakorrektur der Bilddaten des wenigstens einen Einzelbildes mit dem durch die Gammaadaptionseinheit (8) jeweils ermittelten Gammawert.