DE112018005567T5 - Verfahren und System zur Bildverstärkung - Google Patents

Abstract

Die vorliegende Anmeldung stellt ein Verfahren und System zur Bildverstärkung zur Verfügung, wobei das Verfahren Folgendes umfasst: Erfassen eines Eingangshelligkeitswerts und Berechnen eines logarithmischen Mittelwerts des Eingangshelligkeitswerts; Verarbeiten eines Eingabebildes basierend auf einem Retinex-Bildverstärkungsalgorithmus, um einen ersten Helligkeitsverstärkungswert zu erhalten; Berechnen eines Helligkeitsverstärkungssteuerfaktors in Übereinstimmung mit dem logarithmischen Mittelwert des Eingangshelligkeitswerts; Berechnen eines zweiten Helligkeitsverstärkungswerts in Übereinstimmung mit dem Helligkeitsverstärkungssteuerfaktor und dem ersten Helligkeitsverstärkungswert; Verstärken eines Eingabebild in Übereinstimmung mit dem zweiten Helligkeitsverstärkungswert, um ein Ausgabebild zu erhalten. Bei der vorliegenden Anmeldung wird der Retinex-Bildverstärkungsalgorithmus verwendet, um ein Eingabebild zu verstärken, und unter Verwendung des Helligkeitsverstärkungssteuerfaktors wird der erste Helligkeitsverstärkungswert bei einer relativ niedrigen Helligkeit des Bildes weitgehend komprimiert, während bei einer relativ hohen Helligkeit des Bildes der erste Helligkeitsverstärkungswert weniger komprimiert wird, wodurch die Helligkeitsverstärkung eines dunklen Bildes verringert wird; dadurch wird eine wirksame Steuerung für die Helligkeit eines Ausgabebildes realisiert, so dass die Helligkeit des Ausgabebildes sowohl erhöht werden als auch eine reale Umgebung erfüllen kann.

Description

• TECHNISCHES GEBIET
• Die vorliegende Anmeldung betrifft das technische Gebiet der Verarbeitung eines digitalen Bildes, insbesondere ein auf dem Retinex-Bildverstärkungsalgorithmus basierendes Verfahren und System zur Bildverstärkung.
• STAND DER TECHNIK
• Der Videoaufnahmevorgang wird durch viele Faktoren beeinflusst, wie z.B. unzureichende Beleuchtung und geringe Helligkeit bei Nacht- oder Dunkellichtaufnahmen; das Sperren des Lichts führt dazu, dass ein Teil des gebildeten Bildes heller und ein anderer Teil dunkler ist, wodurch eine ungleichmäßige Beleuchtung verursacht wird; reflektierendes Licht oder starke Lichtquellen führen dazu, dass die Helligkeitsverteilung des aufgenommenen Bildes ungleichmäßig ist und die Details im Hervorhebungsbereich unscharf sind. Eine unzureichende oder ungleichmäßige Beleuchtung führt einerseits zu schlechten subjektiven Effekten des Bildes, und es ist schwierig, die Bedürfnisse der visuellen Sinne der Menschen zu erfüllen; andererseits besteht ein größerer Einfluss auf die nachfolgende Bildverarbeitung wie Mustererkennung und Zielverfolgung, aufgrund dessen soll eine Bildverstärkungstechnik verwendet werden, um die Qualität des Bildes mit ungleichmäßiger Beleuchtung durch eine Verstärkungsverarbeitung zu verbessern.
• Die Bildverstärkungstechnik bezieht sich darauf, basierend auf der Bildqualität und verschiedenen Anwendungen die Signalverarbeitungstechnik zu verwenden, um lokale oder allgemeine Merkmale zu verstärken. Für die Verstärkungsverarbeitung von Bildern mit ungleichmäßiger Beleuchtung werden häufig folgende Algorithmen verwendet: Grautransformationsverfahren, homomorphes Filterverfahren, Wavelet-Transformationsverstärkung, Bildverstärkungsalgorithmus basierend auf der Retinex-Theorie usw. Unter diesen verfügt der Retinex-Bildverstärkungsalgorithmus über viele Vorteile wie Farbtreue, Detailverstärkung und Dynamikbereichskomprimierung usw. und wird häufig in Kombination mit anderen Algorithmen verwendet, um bessere Verstärkungseffekte zu erzielen. Retinex mit mehreren Maßstäben (MSR, Multi-Scale Retinex) und MSR mit Farbwiederherstellung (MSRCR. Multi-Scales-Retinex with Color Restoration) sind zwei weit verbreitete Verfahren, allerdings haben diese beiden Algorithmen keine gute Verarbeitungseffekt für die Bilder mit mehreren Lichtquellen, darüber hinaus können Halo-Artefakte leicht auftreten. Bei dunkleren Bildern ist die Helligkeit des Ausgabebildes zu hoch. Obwohl es klarer aussieht, entspricht es nicht der tatsächlichen Szene. Insbesondere bei schlechter Bildqualität ist das Ausgabebild von Rauschen und Blockeffekten begleitet, dabei wird der Effekt schlechter.
• INHALT DER VORLIEGENDEN ERFINDUNG
• Hinsichtlich der Probleme aus dem Stand der Technik stellt die vorliegende Anmeldung ein Verfahren und System zur Bildverstärkung zur Verfügung, wobei die Ausgangshelligkeit gesteuert wird, wodurch das Ausgabebild sowohl verbessert werden als auch der realen Umgebung entsprechen kann.
• Eine Ausführungsform der vorliegenden Anmeldung stellt ein Verfahren zur Bildverstärkung zur Verfügung, umfassend die folgenden Schritte:
• Erfassen eines Eingangshelligkeitswerts der jeweiligen Pixelpunkte in einem Eingabebild und Berechnen des logarithmischen Mittelwerts des Eingangshelligkeitswerts;
• Verarbeiten des Eingabebildes basierend auf dem Retinex-Bildverstärkungsalgorithmus, um einen ersten Helligkeitsverstärkungswert der jeweiligen Pixel punkte zu erhalten;
• Berechnen eines Helligkeitsverstärkungssteuerfaktors in Übereinstimmung mit dem logarithmischen Mittelwert des Eingangshelligkeitswerts, wobei der Helligkeitsverstärkungssteuerfaktor in positivem Verhältnis zu dem logarithmischen Mittelwert des Eingangshelligkeitswerts steht;
• Berechnen eines zweiten Helligkeitsverstärkungswerts der jeweiligen Pixel punkte in Übereinstimmung mit dem Helligkeitsverstärkungssteuerfaktor und dem ersten Helligkeitsverstärkungswert;
• Verstärken der jeweiligen Pixelpunkte in dem Eingabebild in Übereinstimmung mit dem zweiten Helligkeitsverstärkungswert, um ein Ausgabebild zu erhalten.
• Eine Ausführungsform der vorliegenden Anmeldung stellt weiterhin ein System zur Bildverstärkung zur Verfügung, um das Verfahren zur Bildverstärkung zu realisieren, wobei das System Folgendes umfasst:
• ein Erfassungsmodul der Eingangshelligkeit zum Erfassen eines Eingangshelligkeitswerts der jeweiligen Pixelpunkte in einem Eingabebild;
• ein Helligkeitsverstärkungs-Berechnungsmodul, welches dazu verwendet wird, einen logarithmischen Mittelwert des Eingangshelligkeitswerts zu berechnen und das Eingabebild basierend auf dem Retinex-Bildverstärkungsalgorithmus zu verarbeiten, um einen ersten Helligkeitsverstärkungswert der jeweiligen Pixel punkte zu erhalten;
• ein Helligkeitssteuermodul, welches dazu verwendet wird, einen Helligkeitsverstärkungssteuerfaktor in Übereinstimmung mit dem logarithmischen Mittelwert des Eingangshelligkeitswerts zu berechnen und in Übereinstimmung mit dem Helligkeitsverstärkungssteuerfaktor einen zweiten Helligkeitsverstärkungswert der jeweiligen Pixel punkte zu berechnen;
• ein Bildverstärkungsmodul, welches dazu verwendet wird, die jeweiligen Pixelpunkte in dem Eingabebild in Übereinstimmung mit dem zweiten Helligkeitsverstärkungswert zu verstärken, um ein Ausgabebild zu erhalten.
• Das Verfahren zur Bildverstärkung gemäß der vorliegenden Anmeldung weist die folgenden Vorteile auf:
• Bei der vorliegenden Anmeldung wird der Retinex-Bildverstärkungsalgorithmus verwendet, um ein Eingabebild zu verstärken, und unter Verwendung des Helligkeitsverstärkungssteuerfaktors wird der erste Helligkeitsverstärkungswert bei einer relativ niedrigen Helligkeit des Bildes weitgehend komprimiert, während bei einer relativ hohen Helligkeit des Bildes der erste Helligkeitsverstärkungswert weniger komprimiert wird, wodurch die Helligkeitsverstärkung eines dunklen Bildes verringert wird; dadurch wird eine wirksame Steuerung für die Helligkeit eines Ausgabebildes realisiert, so dass die Helligkeit des Ausgabebildes sowohl erhöht werden als auch eine reale Umgebung erfüllen kann.
• Figurenliste
• Im Zusammenhang mit Figuren wird die nicht-beschränkende Ausführungsform näher erläutert, so dass die anderen Merkmale, das Ziel und die Vorteile der vorliegenden Anmeldung deutlicher werden.
• 1 zeigt ein Ablaufdiagramm eines Verfahrens zur Bildverstärkung gemäß der vorliegenden Anmeldung
• 2 zeigt ein Ablaufdiagramm der Berechnung eines ersten Helligkeitsverstärkungswerts in einer Ausführungsform der vorliegenden Anmeldung.
• 3 zeigt ein Ablaufdiagramm eines Verfahrens zur Bildverstärkung in einer Ausführungsform der vorliegenden Anmeldung.
• 4 zeigt eine schematische Strukturansicht eines Systems zur Bildverstärkung in einer Ausführungsform der vorliegenden Anmeldung.
• 5 zeigt eine schematische Strukturansicht eines Helligkeitsverstärkungs-Berechnungsmoduls in einer Ausführungsform der vorliegenden Anmeldung.
• AUSFÜHRLICHE BESCHREIBUNG
• Hier werden die beispielhaften Ausführungsformen im Zusammenhang mit Figuren näher erläutert. Allerdings können die beispielhaften Ausführungsformen in verschiedenen Formen ausgeführt werden und sollen nicht derart verstanden werden, dass sie auf die hier erläuterten Ausführungsformen beschränkt sind; im Gegenteil wird die vorliegende Anmeldung durch die bereitgestellten Ausführungsformen umfassend und vollständig gemacht, und das Konzept der beispielhaften Ausführungsformen wird umfassend an den Fachmann auf diesem Gebiet weitergegeben. Die gleichen Bezugszeichen in Figuren stehen für gleiche oder ähnliche Struktur, deshalb wird eine wiederholte Erläuterung für sie weggelassen.
• Wie in 1 dargestellt, stellt die vorliegende Anmeldung ein Verfahren zur Bildverstärkung zur Verfügung, umfassend die folgenden Schritte:
• S 100: Erfassen eines Eingangshelligkeitswerts der jeweiligen Pixelpunkte in einem Eingabebild und Berechnen des logarithmischen Mittelwerts des Eingangshelligkeitswerts;
• S200: Verarbeiten des Eingabebild basierend auf dem Retinex-Bildverstärkungsalgorithmus, um einen ersten Helligkeitsverstärkungswert der jeweiligen Pixelpunkte zu erhalten;
• S300: Berechnen eines Helligkeitsverstärkungssteuerfaktors in Übereinstimmung mit dem logarithmischen Mittelwert des Eingangshelligkeitswerts, wobei der Helligkeitsverstärkungssteuerfaktor in positivem Verhältnis zu dem logarithmischen Mittelwert des Eingangshelligkeitswerts steht;
• S400: Berechnen eines zweiten Helligkeitsverstärkungswerts der jeweiligen Pixel punkte in Übereinstimmung mit dem Helligkeitsverstärkungssteuerfaktor und dem ersten Helligkeitsverstärkungswert;
• S500: Verstärken der jeweiligen Pixelpunkte in dem Eingabebild in Übereinstimmung mit dem zweiten Helligkeitsverstärkungswert, um ein verstärktes Bild zu erhalten.
• Bei der vorliegenden Anmeldung wird ein Eingabebild mit dem Retinex-Bildverstärkungsalgorithmus verstärkt, wobei mittels des Helligkeitsverstärkungssteuerfaktors die Helligkeitsverstärkung gesteuert wird. Der Helligkeitsverstärkungssteuerfaktor wird durch den logarithmischen Mittelwert des Eingangshelligkeitswerts bestimmt und kann das Gesamthelligkeitsniveau des Eingabebildes gut widerspiegeln kann, wobei in Übereinstimmung mit dem Gesamthelligkeitsniveau des Eingabebildes die Helligkeitsverstärkung gesteuert wird, wodurch die Helligkeit des Ausgabebildes sowohl verbessert werden als auch die reale Umgebung erfüllen kann.
• In der vorliegenden Anmeldung kann der Retinex-Bildverstärkungsalgorithmus einen globalen adaptiven Algorithmus, einen lokalen adaptiven Algorithmus oder eine Kombination von dem globalen adaptiven Algorithmus und dem lokalen adaptiven Algorithmus verwenden, darüber hinaus können andere auf Retinex basierte Bildverstärkungsalgorithmen verwendet werden, dabei sollen sie als von dem Schutzumfang der vorliegenden Anmeldung gedeckt angesehen werden.
• Im Folgenden wird die vorliegende Erfindung im Zusammenhang mit einer ausführlichen Ausführungsform näher erläutert, in der Ausführungsform wird die Retinex-Theorie zugrunde gelegt, zuerst wird eine Vorverarbeitung für ein Eingabebild unter Verwendung der globalen Farbtonabbildungstechnik durchgeführt; dann wird unter Verwendung der lokalen Farbtonabbildung der Ausgang nach der globalen Verarbeitung verarbeitet; dann wird die Ausgangshelligkeit des Retinex-Algorithmus normalisiert, wobei unter Verwendung des Helligkeitsverstärkungssteuerfaktor die Ausgangshelligkeit des Retinex-Algorithmus verarbeitet wird; am Ende wird ein Ausgabebild aus dem Helligkeitswert nach der Verarbeitung und dem Eingangschrominanzwert erhalten.
• Wie in 2 dargestellt, umfasst die Bildverstärkung in der vorliegenden Ausführungsform eine globale Verarbeitung und eine lokale Verarbeitung. Insbesondere kann der Schritt S200 die folgenden Schritte umfassen:
• S201: Verarbeiten des Eingabebildes basierend auf dem globalen adaptiven Algorithmus, um einen globalen Ausgangshelligkeitswert der jeweiligen Pixelpunkte zu erhalten;
• S202: Verarbeiten des globalen Ausgangshelligkeitswerts basierend auf dem lokalen adaptiven Algorithmus, um einen Ausgangshelligkeitswert der jeweiligen Pixelpunkte zu erhalten;
• S203: Berechnen eines ersten Helligkeitsverstärkungswerts der jeweiligen Pixelpunkte in Übereinstimmung mit dem Ausgangshelligkeitswert und dem Eingangshelligkeitswert.
• Darüber hinaus wird in der vorliegenden Ausführungsform der lokale adaptive Algorithmus im Schritt S202 verbessert, wobei ein Gauß-Filter in dem visuellen Algorithmus durch einen Führungsfilter ersetzt wird, wodurch das Halo entfernt werden kann. In dem lokalen Verarbeitungsalgorithmus wird ein Kontrastverstärkungsfaktor hinzugefügt, der auf dem Wert der Szenenhelligkeit basiert, um den Kontrast des Ausgabebildes zu steuern. Darüber hinaus wird in die vorliegende Ausführungsform die nichtlineare Stärke der logarithmischen Funktion eingeführt, um den adaptiven nichtlinearen Versatz zu verarbeiten.
• Wie in 3 dargestellt, kann das Verfahren zur Bildverstärkung in der vorliegenden Ausführungsform die folgenden Schritte umfassen:
• S1: Eingeben der Bilddaten und Berechnen des Eingangshelligkeitswerts L_w des Eingabebildes und des logarithmischen Mittelwerts L _w; ;
• S2: Einführen des Eingangshelligkeitswerts L_w in die logarithmische Funktion der wahrgenommenen Helligkeit des menschlichen visuellen Systems, um den globalen Ausgangshelligkeitswert L_g zu erhalten;
• S3: Durchführen einer geführten Filterung für den globalen Ausgangshelligkeitswert L_g, um einen Ausgang H_g des Führungsfilters zu erhalten, Bestimmten des Kontraststeuerparameters η und des nichtlinearen Steuerparameters λ, um den lokalen Ausgangshelligkeitswert Ll zu berechnen;
• S4: Bestimmten des Helligkeitsverstärkungssteuerfaktors τ, Berechnen des Helligkeitsverstärkungswerts jedes Pixelpunkts gemäß dem Eingangshelligkeitswert L_w, dem logarithmischen Mittelwert L _w, dem lokalen Ausgangshelligkeitswert L_l und dem Helligkeitsverstärkungssteuerfaktor τ;
• S5: Multiplizieren der Pixelwerte von drei Kanälen des Eingabebildes jeweils mit dem Helligkeitsverstärkungswert, um eine neue Bilddatei zu erstellen.
• Aufgrund dessen können mit dem Verfahren zur Bildverstärkung der vorliegenden Ausführungsform nicht nur der Kontrast und die Helligkeit de Ausgabebildes verstärkt werden, sondern die Halo-Artefakte können auch entfernt werden. Mit der vorliegenden Anmeldung kann eine adaptive Verstärkung für verschiedene Sorten von den Bildern durchgeführt werden, um die Echtzeitverstärkung des Bildes zu gewährleisten.
• Im Folgenden werden die jeweiligen Schritte in Details vorgestellt:
• S1. Eingeben der Bilddaten, Berechnen des Eingangshelligkeitswerts L_w des Eingabebildes und Berechnen des logarithmischen Mittelwerts L_w gemäß der folgenden Formel:
• $${\overline{\text{L}}}_{\text{w}}=\text{exp}\left(\frac{1}{\text{N}}{\displaystyle \sum _{\text{x}\text{,y}}\text{log}\left(\mathrm{\delta }+{\text{L}}_{\text{w}}\left(\text{x},\text{y}\right)\right)}\right)$$

  
• Dabei steht L_w(x, y) für den Eingangshelligkeitswert, L _w für den logarithmischen Mittelwert von L _w, N für die Gesamtanzahl der Pixelpunkte in dem Eingabebild, δ für den zweiten voreingestellten Steuerwert und L_w(x, y) für den Eingangshelligkeitswert des Pixelpunkts (x, y).
• S2: Berechnen des globalen Ausgangshelligkeitswerts L_g mit dem globalen adaptiven Algorithmus
• Die globale Selbstanpassung ähnelt dem frühen menschlichen visuellen System. Die Annäherung der wahrgenommenen Helligkeit des menschlichen visuellen Systems ist eine logarithmische Funktion. Daher ist die visuelle globale Helligkeitstransformationsformel wie folgt: $$L_g\left(x,y\right)=\frac{log\left(L_w\left(x,y\right)/{\overline{L}}_w+1\right)}{log\left(L_{wmax}/{\overline{L}}_w+1\right)}$$

  
• Dabei steht L_g(x, y) für den globalen Ausgangshelligkeitswert des Pixelpunkts (x, y), L_w(x, y) für den Eingangshelligkeitswert des Pixelpunkts (x, y), L_wmax für den Maximalwert von L _w, L _w für den logarithmischen Mittelwert von L_w.
• S3: Berechnen des lokalen Ausgangshelligkeitswerts L_l mit dem lokalen adaptiven Algorithmus
• Nach der globalen adaptiven Verarbeitung wird ein lokaler adaptiver Algorithmus verwendet, der auf der Visionstheorie basiert. In der vorliegenden Ausführungsform wird ein Doppelkantenfilter in der herkömmlichen Theorie durch einen Führungsfilter ersetzt, wobei es es sich bei den beiden um einen Filter mit kantenerhaltenden Eigenschaften handelt, während der Führungsfilter in der Nähe der Kante eine bessere Leistung aufweist. Die lokale adaptive Formel lautet: $$L_l\left(x,y\right)=log\left(L_g\left(x,y\right)\right)-log\left(H_g\left(x,y\right)\right)$$

  
• Dabei steht L_g(x, y) für den globalen Ausgangshelligkeitswert des Pixelpunkts (x, y), H_g(x, y) für den Ausgangswert des Führungsfilters und L_l (x, y) für den lokalen Ausgangshelligkeitswert des Pixelpunkts (x, y).
• Der Ausgangswert des Führungsfilters wird mit der folgenden Formel berechnet: $$H_g\left(x,y\right)=\frac{1}{\left|\omega \right|}{\displaystyle \sum _{\left({\xi }_x,{\xi }_y\right)\in \omega \left(x,y\right)}\left(a\left({\xi }_x,{\xi }_y\right)L_g\left(x,y\right)+b\left({\xi }_x,{\xi }_y\right)\right)}$$

  
• Dabei stehen ξ_x, ξ_y für die Nachbarschaftspixelkoordinaten, wobei ω(x, y) ein lokales rechteckiges Fenster mit dem Radius r am Pixelpunkt (x, y) ist, und wobei |ω| für die Anzahl der Pixelpunkt in ω(x,y) steht und a (ξ_x, ξ_y) und b (ξ_x, ξ_y) jeweils für lineare Koeffizienten stehen und mit den folgenden zwei Formeln berechnet werden können: $$a\left({\xi }_x,{\xi }_y\right)=\frac{{\mu }_2\left({\xi }_x,{\xi }_y\right)-{\mu }^2\left({\xi }_x,{\xi }_y\right)}{{\sigma }^2\left({\xi }_x,{\xi }_y\right)+\mathrm{\epsilon }}$$

  

  $$b\left({\xi }_x,{\xi }_y\right)=\mu \left({\xi }_x,{\xi }_y\right)-a\left({\xi }_x,{\xi }_y\right)\mu \left({\xi }_x,{\xi }_y\right)$$

  
• Dabei sind µ (ξ_x, ξ_y) und σ² (ξ_x, ξ_y) jeweils der Mittelwert und die Varianz von Lg in ω(ξ_x, ξ_y), wobei µ2(ξ_x, ξ_y) der Durchschnittswert von $L_g^2$

  

  in ω(ξ_x, ξ_y) und ε der Regularisierungsparameter ist.
• Nach dem Filtern wird der Halo-Effekt erheblich reduziert, allerdings ist der globale Kontrast gering. Um den durch den Filter verursachten Flat-Effekt zu verhindern und die Leistung des Algorithmus zu verbessern, werden zwei wichtige Faktoren eingeführt. Einer ist der Kontrastverstärkungsfaktor und die Formel lautet wie folgt: $$\alpha \left(x,y\right)=1+\mathrm{\eta }\frac{L_g\left(x,y\right)}{L_{gmax}}$$

  
• Der andere Faktor ist der adaptive nichtlineare Versatzfaktor und die Formel lautet: $$\beta =\lambda L{\overrightarrow{}}_g$$

  
• Unter diesen steht L_gmax für den Maximalwert von L_g, λ für den nichtlinearen Steuerparameter und L_g und L _g für den logarithmischen Mittelwert von L_g.
• Durch die Berechnung der obigen Teilfaktoren lautet die endgültige lokale adaptive Formel: $$L_{out}\left(x,y\right)=\alpha \left(x,y\right)log\left(\frac{L_g\left(x,y\right)}{H_g\left(x,y\right)}+\beta \right)$$

  
• Unter diesen steht L_out(x, y) für den optimierten lokalen Ausgangshelligkeitswert des Pixelpunkts (x, y).
• S4: Bestimmten des Helligkeitsverstärkungssteuerfaktors τ
• Normalisieren von Lout, so dass es sich mit der Eingangshelligkeit in demselben Bereich befindet. Für das Normalisierungsverfahren kann die folgende Formel verwendet werden: $$L{\text{'}}_{out}\left(x,y\right)=\frac{L_{out}\left(x,y\right)-L_{outmin}}{L_{outmax}-L_{outmin}}$$

  
• Unter diesen steht L'_out (x, y) für den normalisierte Helligkeitswert von L_out(x, y), wobei L_outmax und L_outmin der Maximalwert und Minimalwert von Lout sind;
• Berechnen des ersten Helligkeitsverstärkungswerts mit der folgenden Formel: $$G\left(x,y\right)=\frac{L{\text{'}}_{out}\left(x,y\right)}{L_w\left(x,y\right)}$$

  
• Unter diesen ist G(x, y) der erste Helligkeitsverstärkungswert des Pixelpunkts (x, y).
• Wenn G(x, y) unmittelbar als Verstärkungsausgabebild verwendet wird, kann die Ausgangshelligkeit des Bildes nicht wirksam gesteuert werden. Bei dunkleren Bildern ist die Helligkeit des Ausgabebildes zu hoch. Obwohl es klarer aussieht, entspricht es nicht der tatsächlichen Szene. Insbesondere bei schlechter Bildqualität ist das Ausgabebild von Rauschen begleitet, und der Effekt sieht schlechter aus.
• Um die obigen Probleme zu lösen, soll die Ausgangshelligkeit gesteuert werden, wodurch das Ausgabebild sowohl verbessert werden als auch der realen Umgebung entsprechen kann. Dazu wird es erwünscht, dass G(x, y) auch kleiner wird und der Gradient größer wird, wenn die Helligkeit des Bildes sich verringert.
• Dazu wird ein Helligkeitsverstärkungssteuerfaktor τ ausgelegt. τ wird auf der Grundlage von G(x, y) eingestellt. $$G\text{'}\left(x,y\right)={\left(G\left(x,y\right)\right)}^{\tau }$$

  
• Unter diesen ist τ der Helligkeitsverstärkungssteuerfaktor, wobei G(x, y) und G'(x, y) jeweils der erste Helligkeitsverstärkungswert und der zweite Helligkeitsverstärkungswert des Pixelpunkts (x, y) sind.
• Mit der folgenden Formel wird der Helligkeitsverstärkungssteuerfaktor ermittelt: $$\tau ={\left({\overline{L}}_w\right)}^{\phi }$$

  
• Unter diesen ist L _w der logarithmische Mittelwert des Eingangshelligkeitswerts, wobei τ der Helligkeitsverstärkungssteuerfaktor und ψ der erste voreingestellte Steuerwert ist, und wobei φ∈ [0,1]. In der tatsächlichen Anwendung kann der erste voreingestellte Steuerwert gemäß empirischen Werten ausgewählt werden, wie 0,5, 0,6 usw., um den besten Effekt zur Steuerung der Helligkeitsverstärkung zu erzielen. Wenn der Wert von ψ auf 0 eingestellt ist, beträgt der Helligkeitsverstärkungssteuerfaktor 1, dabei besteht kein Einfluss auf den ersten Helligkeitsverstärkungswert, deshalb wird der Wert von ψ bevorzugt im Bereich von [0,1] ausgewählt.
• Da bei dem Helligkeitsverstärkungssteuerfaktor τ der logarithmische Mittelwert der Eingangshelligkeit als Eingang verwendet wird, kann die Helligkeit des ursprünglichen Bildes besser widergespiegelt werden. L _w ist der logarithmische Mittelwert des Eingangshelligkeitswerts, wobei L _w ∈ [0,1], deshalb τ ∈[0,1].
• Das Ziel liegt darin, dass bei einer kleineren Helligkeit des Bildes der erste Helligkeitsverstärkungswert stark komprimiert wird und bei einer höheren Helligkeit des Bildes der erste Helligkeitsverstärkungswert weniger komprimiert wird, wodurch die Ausgangshelligkeit gesteuert wird, um das Ziel der wirksamen Steuerung zu erzielen.
• S5: Verstärken der jeweiligen Pixelpunkte in dem Eingabebild mit der folgenden Formel, um ein Ausgabebild zu erhalten: $$RGB1\left(x,y\right)=RGB0\left(x,y\right)\ast G\text{'}\left(x,y\right)$$

  
• Unter diesen ist G'(x, y) der zweite Helligkeitsverstärkungswert des Pixelpunkts (x, y), wobei RGB1(x, y) der RGB-Wert des Pixelpunkts (x, y) im Ausgabebild ist, und wobei RGB0(x, y) der RGB-Wert des Pixelpunkts (x, y) im Eingabebild ist.
• Wie in 4 dargestellt, stellt die Ausführungsform der vorliegenden Anmeldung weiterhin ein System zur Bildverstärkung zur Verfügung, um das Verfahren zur Bildverstärkung zu realisieren, wobei das System ein Erfassungsmodul der Eingangshelligkeit 100, ein Helligkeitsverstärkungs-Berechnungsmodul 200, ein Helligkeitssteuermodul 300 und ein Bildverstärkungsmodul 400 umfasst, und wobei das Helligkeitserfassungsmodul 100 einen Eingangshelligkeitswerts der jeweiligen Pixelpunkte in einem Eingabebild erfasst; das Helligkeitsverstärkungs-Berechnungsmodul 200 den logarithmischen Mittelwert des Eingangshelligkeitswerts berechnet und das Eingabebild basierend auf dem Retinex-Bildverstärkungsalgorithmus verarbeitet, um einen ersten Helligkeitsverstärkungswert der jeweiligen Pixel punkte zu erhalten; das Helligkeitssteuermodul 300 einen Helligkeitsverstärkungssteuerfaktor in Übereinstimmung mit dem logarithmischen Mittelwert des Eingangshelligkeitswerts berechnet und in Übereinstimmung mit dem Helligkeitsverstärkungssteuerfaktor einen zweiten Helligkeitsverstärkungswert der jeweiligen Pixel punkte berechnet; das Bildverstärkungsmodul 400 die jeweiligen Pixel punkte in dem Eingabebild in Übereinstimmung mit dem zweiten Helligkeitsverstärkungswert verstärkt, um ein Ausgabebild zu erhalten.
• In der vorliegenden Ausführungsform wird ein Eingabebild mit dem Retinex-Bildverstärkungsalgorithmus verstärkt, wobei mittels des Helligkeitsverstärkungssteuerfaktors die Helligkeitsverstärkung gesteuert wird. Der Helligkeitsverstärkungssteuerfaktor wird durch den logarithmischen Mittelwert des Eingangshelligkeitswerts bestimmt und kann das Gesamthelligkeitsniveau des Eingabebildes gut widerspiegeln kann, wobei in Übereinstimmung mit dem Gesamthelligkeitsniveau des Eingabebildes die Helligkeitsverstärkung gesteuert wird, wodurch die Helligkeit des Ausgabebildes sowohl verbessert werden als auch die reale Umgebung erfüllen kann.
• Unter diesen können die jeweiligen Module jeweils eine Festkomma-Verarbeitung des Algorithmus realisieren, die jeweils in FPGA (Field-Programmable Gate Array) realisiert werden kann, wobei die spezifischen Bedienungsschritte der jeweiligen Module wie in der Ausführungsform des Verfahrens zur Bildverstärkung dargestellt sind. Wie in 5 dargestellt, kann das Helligkeitsverstärkungs-Berechnungsmodul 200 weiterhin Folgendes umfassen: eine globale adaptive Einheit 201, wobei mit dem globalen adaptiven Algorithmus ein Bild verarbeitet wird, um einen globalen Ausgangshelligkeitswert zu erhalten; eine Filtereinheit 202, wobei mit einem Führungsfilter der globale Ausgangshelligkeitswert gefiltert wird; eine Kontraststeuereinheit 203, wobei der Kontrastverstärkungsfaktor berechnet und dieser in die lokale adaptive Formel eingeführt wird; eine nichtlineare Versatzeinheit 204, wobei der adaptive nichtlineare Versatzfaktor berechnet und dieser in die lokale adaptive Formel eingeführt wird. Aufgrund dessen kann mit dem Verfahren zur Bildverstärkung gemäß der vorliegenden Ausführungsform nicht nur die Helligkeit des Ausgabebildes wirksam gesteuert werden, sondern der Apertur-Effekt der Bildverstärkung kann auch mittels des Führungsfilters verringert werden, wobei durch den Kontrastverstärkungsfaktor der globale Kontrast des Bildes verstärkt wird, und wobei durch den adaptiven nichtlinearen Versatzfaktor die Genauigkeit des lokalen adaptiven Algorithmus erhalten wird.
• Das Verfahren und System zur Bildverstärkung gemäß der vorliegenden Anmeldung weisen die folgenden Vorteile auf:
• Bei der vorliegenden Anmeldung wird der Retinex-Bildverstärkungsalgorithmus verwendet, um ein Eingabebild zu verstärken, und unter Verwendung des Helligkeitsverstärkungssteuerfaktors wird der erste Helligkeitsverstärkungswert bei einer relativ niedrigen Helligkeit des Bildes weitgehend komprimiert, während bei einer relativ hohen Helligkeit des Bildes der erste Helligkeitsverstärkungswert weniger komprimiert wird, wodurch die Helligkeitsverstärkung eines dunklen Bildes verringert wird; dadurch wird eine wirksame Steuerung für die Helligkeit eines Ausgabebildes realisiert, so dass die Helligkeit des Ausgabebildes sowohl erhöht werden als auch eine reale Umgebung erfüllen kann.
• Der vorstehende Inhalt bezieht sich nur auf weitere detaillierte Erläuterung der vorliegenden Anmeldung im Zusammenhang mit den ausführlichen Ausführungsformen, darauf ist die ausführliche Ausführung der vorliegenden Anmeldung nicht beschränkt. Der Durchschnittsfachmann auf dem technischen Gebiet der vorliegenden Anmeldung kann mehrere einfache Ableitungen oder Ersetzungen durchführen, ohne vom Konzept der vorliegenden Anmeldung abzuweichen, und sie sollen als vom Schutzumfang der vorliegenden Anmeldung gedeckt angesehen werden.

Claims (10)

1. Verfahren zur Bildverstärkung, dadurch gekennzeichnet, dass es die folgenden Schritte umfasst: Erfassen eines Eingangshelligkeitswerts der jeweiligen Pixelpunkte in einem Eingabebild und Berechnen des logarithmischen Mittelwerts des Eingangshelligkeitswerts; Verarbeiten des Eingabebildes basierend auf dem Retinex-Bildverstärkungsalgorithmus, um einen ersten Helligkeitsverstärkungswert der jeweiligen Pixel punkte zu erhalten; Berechnen eines Helligkeitsverstärkungssteuerfaktors in Übereinstimmung mit dem logarithmischen Mittelwert des Eingangshelligkeitswerts, wobei der Helligkeitsverstärkungssteuerfaktor in positivem Verhältnis zu dem logarithmischen Mittelwert des Eingangshelligkeitswerts steht; Berechnen eines zweiten Helligkeitsverstärkungswerts der jeweiligen Pixel punkte in Übereinstimmung mit dem Helligkeitsverstärkungssteuerfaktor und dem ersten Helligkeitsverstärkungswert; Verstärken der jeweiligen Pixelpunkte in dem Eingabebild in Übereinstimmung mit dem zweiten Helligkeitsverstärkungswert, um ein Ausgabebild zu erhalten.
2. Verfahren zur Bildverstärkung nach Anspruch 1, dadurch gekennzeichnet, dass der zweite Helligkeitsverstärkungswert der jeweiligen Pixel punkte mit der folgenden Formel ermittelt wird: $$G\text{'}\left(x,y\right)={\left(G\left(x,y\right)\right)}^{\tau }$$

   

   wobei τ der Helligkeitsverstärkungssteuerfaktor ist, und wobei G(x, y) und G'(x, y) jeweils der erste Helligkeitsverstärkungswert und der zweite Helligkeitsverstärkungswert des Pixelpunkts (x, y) sind.
3. Verfahren zur Bildverstärkung nach Anspruch 2, dadurch gekennzeichnet, dass der Helligkeitsverstärkungssteuerfaktor mit der folgenden Formel ermittelt wird: $$\tau ={\left({\overline{L}}_w\right)}^{\phi }$$

   

   wobei L _w der logarithmische Mittelwert des Eingangshelligkeitswerts ist, und wobei τ der Helligkeitsverstärkungssteuerfaktor und ψ der erste voreingestellte Steuerwert ist, und wobei φ∈[0,1].
4. Verfahren zur Bildverstärkung nach Anspruch 1, dadurch gekennzeichnet, dass der logarithmische Mittelwert des Eingangshelligkeitswerts mit der folgenden Formel ermittelt wird: $${\overline{L}}_w=exp\left(\frac{1}{N}{\displaystyle \sum _{x,y}log\left(\delta +L_w\left(x,y\right)\right)}\right)$$

   

   wobei L_w(x, y) für den Eingangshelligkeitswert des Pixelpunkts (x, y), L _w für den logarithmischen Mittelwert von L _w, N für die Gesamtanzahl der Pixelpunkte in dem Eingabebild, δ für den zweiten voreingestellten Steuerwert und L_w(x, y) für den Eingangshelligkeitswert des Pixelpunkts (x, y) steht.
5. Verfahren zur Bildverstärkung nach Anspruch 1, dadurch gekennzeichnet, dass das Verarbeiten des Eingabebildes basierend auf dem Retinex-Bildverstärkungsalgorithmus die folgenden Schritte umfasst: Verarbeiten des Eingabebildes basierend auf dem globalen adaptiven Algorithmus, um einen globalen Ausgangshelligkeitswert der jeweiligen Pixelpunkte zu erhalten; Verarbeiten des globalen Ausgangshelligkeitswerts basierend auf dem lokalen adaptiven Algorithmus, um einen Ausgangshelligkeitswert der jeweiligen Pixelpunkte zu erhalten; Berechnen eines ersten Helligkeitsverstärkungswerts der jeweiligen Pixel punkte in Übereinstimmung mit dem Ausgangshelligkeitswert und dem Eingangshelligkeitswert.
6. Verfahren zur Bildverstärkung nach Anspruch 5, dadurch gekennzeichnet, dass das Verarbeiten des Eingabebild basierend auf dem globalen adaptiven Algorithmus die folgenden Schritte umfasst: Berechnen der globalen Ausgangshelligkeitswerts der jeweiligen Pixelpunkte mit der folgenden Formel: $$L_g\left(x,y\right)=\frac{log\left(L_w\left(x,y\right)/{\overline{L}}_w+1\right)}{log\left(L_{wmax}/{\overline{L}}_w+1\right)}$$

   

   wobei L_g(x, y) für den globalen Ausgangshelligkeitswert des Pixelpunkts (x, y), L_w(x, y) für den Eingangshelligkeitswert des Pixelpunkts (x, y), L_wmax für den Maximalwert von L_w und, L _w für den logarithmischen Mittelwert von L_w.
7. Verfahren zur Bildverstärkung nach Anspruch 5, dadurch gekennzeichnet, dass das Verarbeiten des globalen Ausgangshelligkeitswerts basierend auf dem lokalen adaptiven Algorithmus die folgenden Schritte umfasst: Berechnen des Ausgangswerts des Führungsfilters in Übereinstimmung mit dem globalen Ausgangshelligkeitswert der jeweiligen Pixelpunkte; Berechnen der lokalen Ausgangshelligkeitswerts der jeweiligen Pixelpunkte mit der folgenden Formel: $$L_l\left(x,y\right)=log\left(L_g\left(x,y\right)\right)-log\left(H_g\left(x,y\right)\right)$$

   

   wobei L_g(x, y) für den globalen Ausgangshelligkeitswert des Pixelpunkts (x, y), H_g(x, y) für den Ausgangswert des Führungsfilters und L_l (x, y) für den lokalen Ausgangshelligkeitswert des Pixelpunkts (x, y) steht; Verwenden des lokalen Ausgangshelligkeitswerts als Ausgangshelligkeitswert der jeweiligen Pixelpunkte.
8. Verfahren zur Bildverstärkung nach Anspruch 5, dadurch gekennzeichnet, dass das Verarbeiten des globalen Ausgangshelligkeitswerts basierend auf dem lokalen adaptiven Algorithmus die folgenden Schritte umfasst: Berechnen des Ausgangswerts des Führungsfilters in Übereinstimmung mit dem globalen Ausgangshelligkeitswert der jeweiligen Pixelpunkte; Berechnen der lokalen Ausgangshelligkeitswerts der jeweiligen Pixelpunkte mit der folgenden Formel: $$L_{out}\left(x,y\right)=\alpha \left(x,y\right)log\left(\frac{L_g\left(x,y\right)}{H_g\left(x,y\right)}+\beta \right)$$

   

   wobei L_g(x, y) für den globalen Ausgangshelligkeitswert des Pixelpunkts (x, y), H_g(x, y) für den Ausgangswert des Führungsfilters und L_l (x, y) für den lokalen Ausgangshelligkeitswert des Pixelpunkts (x, y) steht, und wobei α(x, y) der Kontrastverstärkungsfaktor des Pixelpunkts (x, y) ist, und wobei β der adaptive nichtlineare Versatzfaktor ist; und wobei α(x, y) und β jeweils mit den folgenden beiden Formeln ermittelt werden können: $$\alpha \left(x,y\right)=1+\mathrm{\eta }\frac{L_g\left(x,y\right)}{L_{gmax}}$$

   

   $$\beta =\lambda {\overline{L}}_g$$

   

   und wobei L_gmax für den Maximalwert von L_g, η für den Kontraststeuerparameter, λ für den nichtlinearen Steuerparameter und, L _g für den logarithmischen Mittelwert von L_g steht; Verwenden des lokalen Ausgangshelligkeitswerts als Ausgangshelligkeitswert der jeweiligen Pixelpunkte.
9. Verfahren zur Bildverstärkung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass der Ausgangswert des Führungsfilters mit der folgenden Formel berechnet wird: $$H_g\left(x,y\right)=\frac{1}{\left|\omega \right|}{\displaystyle \sum _{\left({\xi }_x,{\xi }_y\right)\in \omega \left(x,y\right)}\left(a\left({\xi }_x,{\xi }_y\right)L_g\left(x,y\right)+b\left({\xi }_x,{\xi }_y\right)\right)}$$

   

   wobei ξ_x, ξ_y für die Nachbarschaftspixelkoordinaten stehen, und wobei ω (x, y) ein lokales rechteckiges Fenster mit dem Radius r am Pixelpunkt (x, y) ist, und wobei |ω| für die Anzahl der Pixelpunkt in ω(x, y) steht , a(ξ_x, ξ_y) und b(ξ_x, ξ_y) jeweils für lineare Koeffizienten stehen und mit den folgenden zwei Formeln berechnet werden können: $$a\left({\xi }_x,{\xi }_y\right)=\frac{{\mu }_2\left({\xi }_x,{\xi }_y\right)-{\mu }^2\left({\xi }_x,{\xi }_y\right)}{{\sigma }^2\left({\xi }_x,{\xi }_y\right)+\mathrm{\epsilon }}$$

   

   $$b\left({\xi }_x,{\xi }_y\right)=\mu \left({\xi }_x,{\xi }_y\right)-a\left({\xi }_x,{\xi }_y\right)\mu \left({\xi }_x,{\xi }_y\right)$$

   

   und wobei µ, (ξ^x, ξ^y) und σ² (ξ^x, ξ^y) jeweils der Mittelwert und die Varianz von L_g in ω(ξ_x, ξ^y) sind, und wobei µ2(ξ^x, ξ^y) der Durchschnittswert von $L_g^2$

   

   in ω(ξ_x, ξ^y) und ε der Regularisierungsparameter ist.
10. System zur Bildverstärkung, dadurch gekennzeichnet, dass es Folgendes umfasst: ein Erfassungsmodul der Eingangshelligkeit zum Erfassen eines Eingangshelligkeitswerts der jeweiligen Pixelpunkte in einem Eingabebild; ein Helligkeitsverstärkungs-Berechnungsmodul, welches dazu verwendet wird, einen logarithmischen Mittelwert des Eingangshelligkeitswerts zu berechnen und das Eingabebild basierend auf dem Retinex-Bildverstärkungsalgorithmus zu verarbeiten, um einen ersten Helligkeitsverstärkungswert der jeweiligen Pixel punkte zu erhalten; ein Helligkeitssteuermodul, welches dazu verwendet wird, einen Helligkeitsverstärkungssteuerfaktor in Übereinstimmung mit dem logarithmischen Mittelwert des Eingangshelligkeitswerts zu berechnen und in Übereinstimmung mit dem Helligkeitsverstärkungssteuerfaktor einen zweiten Helligkeitsverstärkungswert der jeweiligen Pixel punkte zu berechnen; ein Bildverstärkungsmodul, welches dazu verwendet wird, die jeweiligen Pixelpunkte in dem Eingabebild in Übereinstimmung mit dem zweiten Helligkeitsverstärkungswert zu verstärken, um ein Ausgabebild zu erhalten.

Images