DE112009004059T5

DE112009004059T5 - Verfahren zum Entfernen von Unschärfe von einem Bild und Aufzeichnungsmedium, auf dem das Verfahren aufgezeichnet ist

Info

Publication number: DE112009004059T5
Application number: DE112009004059T
Authority: DE
Inventors: Sung-hyun Cho; Seung-Yong Lee
Original assignee: Academy Industry Foundation of POSTECH
Current assignee: Academy Industry Foundation of POSTECH
Priority date: 2008-12-31
Filing date: 2009-10-12
Publication date: 2012-07-12
Anticipated expiration: 2029-10-13
Also published as: WO2010076945A3; WO2010076945A2; JP2010157210A; CN102326379A; KR20100079658A; JP4938070B2; US8380000B2; DE112009004059B4; CN102326379B; US20100166332A1; KR100990791B1

Abstract

Offenbart ist ein Verfahren zum sofortigen Entfernen einer Unschärfe von einem Bild. Das Verfahren ist in der Lage, Unschärfe von einem Bild schnell zu entfernen und die Bildqualität zu verbessern. Das Verfahren weist folgendes auf: einen Schritt zum Empfangen eines unscharfen Bildes, einen Bildschätzschritt zum Schätzen eines scharfen Bildes basierend auf dem unscharfen Bild, einen Unschärfeinformationsschätzschritt zum Schätzen von Unschärfeinformationen von dem unscharfen und scharfen Bild, und einen Unschärfeentfernungsschritt zum Entfernen der Unschärfe von dem unscharfen Bild basierend auf sowohl dem unscharfen Bild als auch den geschätzten Unschärfeinformationen, wobei der Bildschätzschritt und der Unschärfeinformationsschritt wiederholt durchgeführt werden. Daher kann die Erfindung die Unschärfe, die in einem Bild enthalten ist, schnell entfernen und ist in der Lage, die Bildqualität durch wirksames Entfernen der Unschärfe zu verbessern.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungsverfahren und insbesondere auf ein Verfahren zum Schärfen eines Bildes, durch das Unschärfe schnell und effektiv unter Verwendung nur eines Bildes eliminiert werden kann, und ein Aufzeichnungsmedium, auf dem dasselbe aufgezeichnet ist.
Stand der Technik
Ein Unschärfephänomen kann häufig bei dem Prozess des Aufnehmens eines Bildes unter Verwendung einer Bildaufnahmevorrichtung auftreten und ist eine Ursache für eine verschlechterte Qualität eines Bildes.
Um ein Bild unter Verwendung einer Vorrichtung, wie zum Beispiel einer Kamera, in einer Umgebung aufzunehmen, die nur eine unzureichende Lichtmenge aufweist, wie zum Beispiel in einem dunklen Zimmer oder außerhalb eines Zimmers am Abend, ist eine ausreichende Lichtmenge notwendig, um ein starkes Bild zu erhalten. Für die ausreichende Lichtmenge muss der Bildsensor lange Zeit Licht ausgesetzt werden. Die lange Belichtung verursacht jedoch, dass ein aufgenommenes Bild aufgrund eines wackelnden Bildsensors unscharf wird.
Obwohl die Eliminierung eines Unschärfephänomens ausgiebig untersucht wurde, ist es nach wie vor schwierig, Unschärfe von einem Bild zu entfernen. Dies liegt daran, dass das Schätzen und Eliminieren von Unschärfe von einem Bild mehr neue Informationen als gegebene Informationen erfordert.
Um das Problem zu lösen, verwenden herkömmliche Lösungen mehrere Bilder, erfordern zusätzliche Informationen, wie zum Beispiel eine Belichtungszeit eines Sensors oder nehmen eine begrenzte Unschärfeform an, wie zum Beispiel eine Unschärfeform begrenzt auf eine lineare Bewegung, die durch einen zweidimensionalen Vektor dargestellt werden kann.
Ytizhakey et al. (YTIZHZAKEY, Y., MOR, I., A. und KOPEIKA, N. S., 1998, Direct Method For Restoration of Motion-blurred Images. Journal of Opt. Soc. Am. A. 15, 6, 1512–1519) schätzt Unschärfe, die unter Verwendung eines 2D-Vektors dargestellt werden kann unter der Annahme, dass ein Bild Isotropie aufweist. RAV-ACHA und PELEG (Rav-Acha, A. und Peleg, S., 2005, Two Motion-blurred Images Are Better Than One. Pattern Recognition Letters 26, 311–317.) schlugen ein Verfahren vor zum Schätzen von Unschärfe unter Verwendung von zwei unscharfen Bildern. Yuan et al. (YUAN, L., SUN, J., QUAN, L., und SHUM, H.-Y., 2007, Image Deblurring With Blurred/Noisy Image Pairs. ACM Trans. Graphics 26, 3, 1.) schlugen ein Verfahren vor zum Schätzen und Eliminieren von Unschärfe unter Verwendung eines rauschbehafteten scharfen Bildes und eines unscharfen Bildes.
MONEY und KANG (Money, J. H. und Kang, S. H., 2008, Total Variation Minimizing Blind Deconvolution with Shock Filter Reference. Image and Vision Computing 26, 2, 302–314) schlugen ein Verfahren vor zum Schätzen von Gaußscher Unschärfe und Unschärfe, die unter Verwendung eines 2D-Vektors dargestellt werden kann, durch Anlegen von Schockfiltern an ein unscharfes Bild, um scharfe Kanten wiederherzustellen und dann die scharfen Kanten zu verwenden.
In den letzten Jahren wurden Verfahren eingeführt zum Schätzen von allgemeiner Unschärfe, anstatt einer Bewegungsunschärfe, die dargestellt werden kann unter Verwendung einer kleinen Anzahl von Parametern von einem Bild und zum Eliminieren der allgemeinen Unschärfe. Fergus u. a. (FERGUS, R., SINGH, B., HERTZMANN, A., ROWEIS, S. T. UND FREEMAN, W., 2006, Removing Camera Shake From A Single Photograph. ACM Trans. Graphics 25, 787–794.) schlugen ein Verfahren vor zum Schätzen von Unschärfe unter Verwendung einer statistischen Charakteristik eines allgemeinen Bildes. Jia (JIA, J., 2007, Single Image Motion Deblurring Using Transparency. In Proc. CVPR 2007, 1–8.) schlugen ein Verfahren vor zum Finden von Informationen über eine Unschärfeauftretensregion in einem Bild unter Verwendung eines Alpha-Matte-Schemas und dann Schärfen des Bildes. In dem von Fergus u. a. vorgeschlagenen Verfahren ist ein hervorragendes Ergebnis jedoch schwierig zu erzielen und das Verfahren benötigt viel Zeit aufgrund eines komplexen statistisehen Modells, und für das durch Jia vorgeschlagene Verfahren muss eine hervorragende Matte erhalten werden für ein zufriedenstellendes Ergebnis aufgrund der hohen Abhängigkeit von einem Ergebnis des Alpha-Matte-Schemas.
Shan u. a. (SHAN, Q., JIA, J. UND AGARWALA, A., 2008, High-Quality Motion Deblurring From A Single Image. ACM Trans. Graphics 27, 73.) schlugen ein Verfahren vor zum Schätzen und Eliminieren von Unschärfe durch Anzeigen der statistischen Charakteristik des allgemeinen Bildes, vorgeschlagen von Fergus u. a., in einer Form, die eine leichte Berechnung und Verwendung der statistischen Charakteristik ermöglicht. Das Verfahren ist jedoch unpraktisch, da eine Verarbeitungszeit von einigen wenigen Minuten bis etwa zehn Minuten oder mehr erforderlich ist, um ein Bild zu verarbeiten.
Offenbarung
Technisches Problem
Folglich sind beispielhafte Ausführungsbeispiele der vorliegenden Erfindung vorgesehen, um ein oder mehrere Probleme aufgrund von Begrenzungen und Nachteilen des Stands der Technik im Wesentlichen zu beheben.
Beispielhafte Ausführungsbeispiele der vorliegenden Erfindung schaffen ein Verfahren zum Schärfen (deblurring) eines Bildes und ein Aufzeichnungsmedium, auf dem dasselbe aufgezeichnet ist.
Technische Lösung
Bei beispielhaften Ausführungsbeispielen umfasst ein Verfahren zum Schärfen eines Bildes: Empfangen eines unscharfen Bildes; einen Bildschätzschritt zum Schätzen eines scharfen Bildes von dem unscharfen Bild; einen Unschärfeinformationsschätzschritt zum Schätzen von Unschärfeinformationen von dem unscharfen Bild und dem geschätzten scharfen Bild; und einen Schärfungsschritt zum Schärfen des unscharfen Bildes basierend auf dem unscharfen Bild und den geschätzten Unschärfeinformationen. Hier werden der Bildschätzschritt und der Unschärfeinformationsschätzschritt iterativ durchgeführt. Der Bildschätzschritt kann Folgendes umfassen: einen Gradienteninformationsvorhersageschritt zum Vorhersagen von Gradienteninformationen für das unscharfe Bild; und einen ersten Entfaltungsschritt zum Durchführen einer ersten Entfaltung basierend auf den geschätzten Unschärfeinformationen und dem unscharfen Bild. Der Gradienteninformationsvorhersageschritt kann Folgendes umfassen: Anlegen von bilateralem Filtern an das unscharfe Bild; Anlegen von Schockfiltern an das bilaterale gefilterte Bild; Berechnen einer Gradientenabbildung für das schockgefilterte Bild; und Anlegen eines Schwellenwerts an die berechnete Gradientenabbildung. Anlegen eines Schwellenwerts an die berechnete Gradientenabbildung kann Folgendes aufweisen: Erzeugen eines Histogramms basierend auf einer Richtung und einer Größe des berechneten Gradienten; Einstellen einer Größe eines Gradienten, der in der Lage ist, so viele Pixel zu umfassen wie ein vorbestimmtes Mehrfaches oder mehr eines Maximalwerts von vertikaler und horizontaler Größe der Unschärfeinformationen, die jeder Richtung entsprechen, die in dem erzeugten Histogramm enthalten ist, als einen Schwellenwert; und Anlegen des eingestellten Schwellenwerts an die Gradientenabbildung, um den Gradienten abzuschneiden. Anlegen des eingestellten Schwellenwerts an die Gradientenabbildung, um den Gradienten abzuschneiden, kann das Einstellen eines Gradienten kleiner als den Schwellenwert auf 0 umfassen. Der Unschärfeinformationsschätzschritt kann das Schätzen der Unschärfeinformationen basierend auf dem unscharfen Bild und dem abgeschnittenen Gradienten umfassen. Der Unschärfeinformationsschätzschritt kann das Schätzen der Unschärfeinformationen unter Verwendung einer Energiefunktion umfassen, die nur Bildableitungen ohne einen Pixelwert umfasst. Der Bildschätzschritt und der Unschärfeinformationsschätzschritt können iterativ durchgeführt werden, während Auflösungen des unscharfen Bildes und des geschätzten scharfen Bildes geändert werden.
Bei beispielhaften Ausführungsbeispielen ist ein Aufzeichnungsmedium mit einem darauf aufgezeichneten Programm von Befehlen vorgesehen. Das Programm führt folgende Schritte durch: Empfangen eines unscharfen Bildes; einen Bildschätzschritt zum Schätzen eines scharfen Bildes von dem unscharfen Bild; einen Unschärfeinformationsschätzschritt zum Schätzen von Unschärfeinformationen von dem unscharfen Bild und dem geschätzten scharfen Bild; und einen Schärfungsschritt zum Schärfen des unscharfen Bildes basierend auf dem unscharfen Bild und den geschätzten Unschärfeinformationen. Hier werden der Bildschätzschritt und der Unschärfeinformationsschätzschritt iterativ durchgeführt.
Vorteilhafte Auswirkungen
Ein Verfahren zum Schärfen eines Bildes, durch das ein Bild leicht und schnell geschärft werden kann, und die Qualität eines Bildes verbessert werden kann.
Beschreibung der Zeichnungen
1 ist ein Flussdiagramm eines Verfahrens zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung;
2 stellt ein geschärftes Bild gemäß einer Anzahl von Iterationen in einem Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung in 1 dar;
3 ist ein Flussdiagramm eines Vorhersageschritts in 1;
4 stellt Kerne dar, die bei dem Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung in unterschiedlichen Maßstäben geschätzt werden;
5 stellt einen Vergleich dar bei einer Konvergenzgeschwindigkeit einer Unschärfekernschätzung zwischen einem Verfahren zum Schätzen eines Unschärfekerns gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung und einem herkömmlichen Verfahren zum Schätzen eines Unschärfekerns;
6 stellt die Genauigkeit einer Unschärfekernschätzung gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung dar;
7 stellt Bilder dar, die unter Verwendung eines Verfahrens zum Schätzen von Unschärfe eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung geschärft wurden;
8 stellt tatsächliche Bilder dar, die unter Verwendung eines Verfahrens zum Schätzen von Unschärfe eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung geschärft wurden; und
9 stellt eine Verarbeitungszeit zum Schärfen von Bildern dar, die in 8 gezeigt sind.
Modi der Erfindung
Obwohl beispielhafte Ausführungsbeispiele für verschiedene Modifikationen und alternative Formen geeignet sind, sind folglich Ausführungsbeispiele derselben in den Zeichnungen beispielhaft gezeigt und werden hierin naher beschrieben. Es sollte jedoch klar sein, dass es keine Absicht gibt, beispielhafte Ausführungsbeispiele auf die bestimmte offenbarte Form zu begrenzen, sondern im Gegenteil sollen beispielhafte Ausführungsbeispiele alle Modifikationen, Äquivalente und Alternativen abdecken, die in den Schutzbereich der Erfindung fallen. Gleiche Bezugszeichen beziehen sich auf gleiche Elemente in der Beschreibung der Figuren.
Obwohl die Begriffe erster, zweiter, usw. verwendet werden können, um verschiedene Elemente zu beschreiben, ist klar, dass diese Elemente durch diese Begriffe nicht begrenzt werden sollen. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Ein erstes Element könnte beispielsweise als zweites Element bezeichnet werden und gleichartig dazu könnte ein zweites Element als ein erstes Element bezeichnet werden, ohne von dem Schutzbereich beispielhafter Ausführungsbeispiele abzuweichen. Wie er hierin verwendet wird, umfasst der Begriff „und/oder” jede und alle Kombinationen von einem oder mehreren der zugeordneten aufgelisteten Elemente.
Es ist klar, wenn ein Element als mit einem anderen Element „verbunden” oder „gekoppelt” bezeichnet wird, es mit dem anderen Element direkt verbunden oder gekoppelt sein kann oder dazwischenliegende Elemente vorliegen können. Im Gegensatz dazu, wenn ein Element als „direkt verbunden” oder „direkt gekoppelt” mit einem anderen Element bezeichnet wird, liegen keine dazwischenliegende Elemente vor.
Die hierin verwendete Terminologie dient nur dem Zweck des Beschreibens bestimmter Ausführungsbeispiele und soll beispielhafte Ausführungsbeispiele nicht begrenzen. Wie sie hierin verwendet werden, sind die Singularformen „ein/eine” und „der/die/das” so gedacht, dass sie auch die Pluralform umfassen, es sei denn, der Zusammenhang zeigt dies eindeutig anderweitig an. Es ist ferner klar, dass die Begriffe „weist auf”, „aufweisend”, „umfasst” und/oder „umfassend”, wenn sie hierin verwendet werden, das Vorliegen angegebener Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, aber das Vorliegen oder das Hinzufügen von einem oder mehreren anderen Merkmalen, Ganzzahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen derselben nicht ausschließen.
Sofern dies nicht anderweitig definiert ist, haben alle Begriffe, die hierin verwendet werden, einschließlich technischer oder wissenschaftlicher Begriffe, Bedeutungen, die für Fachleute auf diesem Gebiet klar sind. Begriffe, die allgemein in Wörterbüchern definiert sind, sollten so gesehen werden, dass sie eine Bedeutung im Zusammenhang verwandter Schemata haben und nicht keine anormale oder übertriebene formale Bedeutung, es sei denn dies ist klar definiert.
Hierin nachfolgend werden bevorzugte beispielhafte Ausführungsbeispiele der vorliegenden Erfindung mit Bezugnahme auf die beiliegenden Zeichnungen näher beschrieben.
Allgemein kann Bewegungsunschärfe unter Verwendung von Gleichung 1 dargestellt werden:
Gleichung 1

B = K * L + N wobei B ein unscharfes Bild bezeichnet, K einen Bewegungsunschärfekern oder eine Punktausbreitungsfunktion (PSF; PSF = point spread function) bezeichnet, die Unschärfeinformationen für ein Bild anzeigt, und L ein latentes Bild bezeichnet, d. h. ein starkes scharfes Bild. Außerdem bezeichnet N ein unbekanntes Rauschen, das in einem Bildaufnahmeprozess eingeführt wird, und * bezeichnet einen Faltungsoperator.

Für eine blinde Entfaltung von Gleichung 1 müssen L und K in einem Iterationsprozess optimiert werden. Außerdem können das latente Bild und der Unschärfekern unter Verwendung von Gleichungen 2 und 3 geschätzt werden:
Gleichung 2

L' = argmin_L{∥B – K * L∥ + ρ_L(L)}

Gleichung 3

K' = argmin_K{∥B – K * L∥ + ρ_K(K)} wobei ∥B – K * L∥ einen Datenanpassungsterm bezeichnet und ρ_L und ρ_K Regularisationsterme bezeichnen.

Iterative Optimierung soll die Genauigkeit des Unschärfekerns K schrittweise verfeinern. Ein endgültiges geschärftes Bild wird erhalten durch Durchführen einer Entfaltungsoperation an dem endgültigen Unschärfekern K und dem gegebenen unscharfen Bild B. Ein latentes Bild, das während der iterativen Optimierung geschätzt wird, hat keinen direkten Einfluss auf das endgültige geschärfte Bild, aber auf eine Verfeinerung des Bewegungsunschärfekerns K, so dass das latente Bild einen indirekten Einfluss auf das endgültige geschärfte Bild hat.
Der iterative Optimierungsprozess für latente Bildschätzung ermöglicht es, dass von dem latenten Bild scharfe Kanten wiederhergestellt werden und eine Rauschreduzierungscharakteristik erhalten wird in einer glatten Region, die verwendet wird, um einen genaueren Bewegungsunschärfekern zu schätzen. Selbst wenn angenommen wird, dass ein gegebenes Bild konstante Unschärfe umfasst, kann der genauere Bewegungsunschärfekern um scharfe Kanten herum erfasst werden. Beispielsweise kann der Bewegungsunschärfekern in einer Region mit konstanter Intensität nicht geschätzt werden, aber da ein natürliches Bild im allgemeinen scharfe Kanten umfasst, kann der Bewegungsunschärfekern effektiv vorhergesagt werden durch die Kanten, die in dem Latentes-Bild-Schätzprozess wiederhergestellt werden.
In einem allgemeinen natürlichen Bild besetzt eine glatte Region einen größeren Raum als eine Region einer scharfen Kante, so dass Unterdrücken von Rauschen in der glatten Region wesentlich ist. Rauschen, das in der glatten Region nicht unterdrückt wird, kann den Datenanpassungsterm von Gleichung 3 stark beeinträchtigen, was die Genauigkeit der Schätzung des Unschärfekerns von den scharfen Kanten verschlechtert.
Bei einem Prozess des Lösens von Gleichung 2 verwenden herkömmliche Verfahren zum Herstellen von scharfen Kanten und Unterdrücken von Rauschen eine nichtlineare Optimierung mit komplexen Berechnungen. Außerdem erfordert ein herkömmliches Verfahren zum Schätzen eines Unschärfekerns unter Verwendung von Gleichung 3 den Betrieb einer großen Anzahl von Matrizen und Vektoren. Als Folge hat das herkömmliche Verfahren zum iterativen Durchführen blinder Entfaltung für eine Schätzung eines latenten Bildes und eines Unschärfekerns den Nachteil eines großen Berechnungsumfangs.
Um die Nachteile der herkömmlichen Verfahren wie oben beschrieben zu überwinden, stellt das Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung eine schnelle Blindentfaltung bereit durch Reduzieren eines Berechnungsumfangs bei einem Prozess des Schätzens eines latenten Bildes und eines Unschärfekerns.
Bei dem Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung wird angenommen, dass ein latentes Bild ausreichend scharfe Kanten umfasst, um eine Schätzgeschwindigkeit des latenten Bildes zu verbessern, und scharfe Kanten werden unter Verwendung eines Bildfilters wiederhergestellt und eine Rauschunterdrückungscharakteristik wird verwendet, anstatt einen nichtlinearen Regularisationsterm mit hoher Berechnungskomplexität in Gleichung 2 zu optimieren.
Außerdem führt ein Unschärfekern-Schätzprozess zu einer verbesserten Geschwindigkeit eines numerischen Optimierungsprozesses von Gleichung 3 durch Ausschließen eines Pixelwerts.
Bei dem Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung umfasst der latente Bildschätzprozess zwei Schritte: einfache Entfaltung und Vorhersage.
Wenn ein unscharfes Bild B und ein Unschärfekern K gegeben sind, wird bei dem einfachen Entfaltungsschritt Unschärfe zunächst eliminiert unter Verwendung einer einfachen und schnellen Entfaltung mit Gaußschem Prior, um das latente Bild L zu schätzen. Das latente Bild L umfasst Rauschen in glatten Kanten und eine glatte Region aufgrund der Charakteristika des Gaußschen Priors.
Bei einem Schritt zum Vorhersagen des latenten Bildes L werden scharfe Kanten wiederhergestellt und Rauschen wird eliminiert unter Verwendung eines Bildfilters, um ein geschätztes latentes Bild L' mit verfeinerter Genauigkeit zu erhalten. Hier werden die scharfen Kanten und das unterdrückte Rauschen in glatten Regionen des latenten Bildes als kritische Charakteristika verwendet, wenn das latente Bild verwendet wird, um den Unschärfekern zu schätzen, so dass das geschätzte latente Bild L' ein qualitativ hochwertiges latentes Bild liefern kann für eine genau Schätzung des Unschärfekerns, selbst wenn die einfache Entfaltung die Qualität des Bildes verschlechtert.
Der Unschärfekernschätzschritt verwendet einen konjugierten Gradienten (CG; CG = conjugate gradient), um Gleichung 3 zu lösen. Außerdem wird eine Gradientenberechnung für eine Energiefunktion beim Lösen der Gleichung 3 mehrere Male durchgeführt.
Da die Gradientenberechnung eine große Matrix und Vektormultiplikation umfasst, ist dieselbe sehr komplex. Eine Berechnungsgeschwindigkeit der Multiplikation im Zusammenhang mit der Faltungsoperation kann durch Verwenden einer schnellen Fourier-Transformation verbessert werden.
Es ist jedoch notwendig, eine Bildgrenze genau einzustellen, die eine direkte Verkettung der schnellen Fourier-Transformation beim sequentiellen Durchführen der schnellen Fourier-Transformation blockiert.
Eine Anzahl von Bildgrenzeinstellungen und schnellen Fourier-Transformationen kann durch Formulieren der Gleichung 3 stark reduziert werden, um eine Energiefunktion zu erhalten, die nur Bildableitungen aufweist. Außerdem verbessert die Energiefunktion eine Verarbeitungsgeschwindigkeit des konjugierten Gradienten (CG), liefert eine gute Kondition mit einer geringen Konditionszahl zu einem Berechnungssystem abgeleitet von Gleichung 3 und verbessert eine Konvergenzgeschwindigkeit.
1 ist ein Flussdiagramm eines Verfahrens zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung.
Mit Bezugnahme auf 1 wird zunächst ein unscharfes Bild bereitgestellt (Schritt 110).
Ein Vorhersageschritt 120 ist an einer Anfangsstufe einer iterativen Schleife angeordnet, um einen Anfangswert eines latenten Bildes L für eine Schätzung eines Unschärfekerns bereitzustellen, wenn das unscharfe Bild bereitgestellt wird.
Bei einem Vorhersageschritt wird eine Gradientenabbildung {Px, Py} in x- und y-Richtung des latenten Bildes L berechnet, um prominente Kanten von dem latenten Bild vorherzusagen, in denen Rauschen in der glatten Region unterdrückt ist.
Bei Iterationen von Schritten 120 bis 150 wird das geschätzte latente Bild L, aufgenommen durch den Entfaltungsschritt in der vorhergehenden Iteration in den Vorhersageschritt eingegeben, obwohl diese keine anfängliche Eingabe ist.
Der Unschärfekernschätzschritt 130 schätzt den Unschärfekern K unter Verwendung der Gradientenabbildung {Px, Py}, vorhergesagt durch die Berechnung im Schritt 120 und das unscharfe Bild B.
Bei einem Entfaltungsschritt 140 werden der Unschärfekern K und das unscharfe Bild B verwendet, um das latente Bild L zu schätzen. Hier wird das geschätzte latente Bild L bei einer nächsten Iteration in den Vorhersageschritt 120 eingegeben.
Bei dem Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung werden Schritte 120 und 130 iterativ durchgeführt, um den Unschärfekern K und das latente Bild L effektiver zu schätzen, wodurch die Genauigkeit der Schätzung verbessert wird.
Bei dem Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der Erfindung werden Grauskalierungsversionen des unscharfen Bildes B und des latenten Bildes L bei dem Iterationsprozess verwendet zum Aktualisieren der Genauigkeit des Unschärfekerns K und des latenten Bildes L.
Nachdem der endgültige Unschärfekern K durch die Iterationen erhalten wird, wird endgültige Entfaltung an dem endgültigen Unschärfekern K und jedem Farbkanal des unscharfen Bildes B durchgeführt, um ein endgültiges geschärftes Bild zu erhalten (Schritt 150).
2 stellt ein geschärftes Bild gemäß einer Anzahl der Iterationen bei dem Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung dar, die in 1 gezeigt ist.
2(a) stellt ein ursprüngliches unscharfes Bild dar, und 2(b) stellt ein endgültiges geschärftes Bild dar gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung.
2(c) bis 2(e) stellen Ergebnisse des iterativen Durchführens der Schritte 120 bis 140 in 1 einmal, dreimal bzw. fünfmal dar, d. h. Entfaltungsergebnisse, die eine vorhergesagte Gradientenabbildung {Px, Py} und einen geschätzten Unschärfekern enthalten. In 2 wurde für Visualisierung in der vorhergesagten Gradientenabbildung {Px, Py} Poisson-Rekonstruktion verwendet.
Wie es in 2 gezeigt ist, kann das latente Bild bei dem Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung genauer geschätzt werden, wenn sich eine Anzahl der Iterationen der Schritte 120 bis 140 in 1 erhöht (die fünfte Iteration in 2(e)), und basierend auf dem geschätzten latenten Bild kann ein genauerer Unschärfekern vorhergesagt werden. Der genauere geschätzte Unschärfekern kann verwendet werden, um ein endgültiges geschärftes Bild (b) zu erhalten.
Ein Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung wird nachfolgend näher beschrieben.
Zunächst wird in dem Vorhersageschritt 120 in 1 die Bildgradientenabbildung {Px, Py} geschätzt, indem nur prominente Kanten in dem latenten Bild L belassen werden und ein Gradient für andere Regionen auf 0 eingestellt wird. Die Faltung eines Gradienten 0 ist immer Null unabhängig von dem geschätzten Unschärfekern, so dass nur prominente Kanten die Unschärfekernoptimierung bei dem Unschärfekernbestimmungsschritt 130 beeinträchtigen.
Der Vorhersageschritt verwendet ein Schockfilter, um starke Kanten wiederherzustellen. Das Schockfilter ist ein wirksames Werkzeug zum Stärken von Merkmalen eines Bildes durch Wiederherstellen scharfer Kanten von dem unscharfen Bild.
Das Schockfilter kann unter Verwendung von Gleichung 4 dargestellt werden:
Gleichung 4

I_t+1 = I_t – sign(ΔI_r)∥∇I_t∥dt wobei It ein Bild zu einem Zeitpunkt t bezeichnet und ΔI_tΔI_t und VI_t∇I_t den Laplace-Operator bzw. Gradienten von It darstellen. Außerdem bezeichnet dt einen Zeitschritt für Einzelfaltung.

3 ist ein Flussdiagramm des Vorhersageschritts in 1.
Mit Bezugnahme auf 3 kann der Vorhersageschritt ein Anlegen von bilateralem Filtern, Anlegen von Schockfiltern und Anlegen eines Gradientenschwellenwerts umfassen.
Zuerst wird bilaterales Filtern angelegt, um Rauschen und kleine Einzelheiten zu unterdrücken, die in dem geschätzten aktuellen latenten Bild L vorliegen können (Schritt 121). Hier kann eine Bildgröße, die durch bilaterales Filtern unterstützt werden kann, auf beispielsweise 5×5 festgelegt werden.
Darm wird Schockfiltern angelegt, um scharfe Kanten in dem geschätzten latenten Bild L wiederherzustellen (Schritt 123). In einem latenten Bild L', das ein schockgefiltertes resultierendes Bild ist, ist der Kontrast der Kanten verbessert, aber Rauschen ist erhöht.
Um das Rauschen zu eliminieren, wird eine Gradientenabbildung {∂_xL', ∂_yL'} des latenten Bildes L' berechnet (Schritt 125) und ein Schwellenwert wird an die berechnete Gradientenabbildung angelegt, um den Gradienten abzuschneiden (Schritt 127). Die abgeschnittene Gradientenabbildung {P_x, P_y} wird eine endgültige Ausgabe des Vorhersageschrittes. Hier kann der Gradient beispielsweise abgeschnitten werden durch Einstellen eines Gradienten kleiner als den Schwellenwert auf 0.
Der Schwellenwert zum Abschneiden des Gradienten wird erhalten durch Teilen einer Richtung des Gradienten in Intervalle eines vorbestimmten Winkels (z. B. 45°), Erzeugen eines Histogramms gemäß einer Gradientengröße für jede Richtung (wo Winkel zwischen 180° und 360° als diejenigen angesehen werden in Richtungen, in denen nur Vorzeichen unterschiedlich sind und Größen gleich sind), und Einstellen einer Größe eines Gradienten, der so viele Pixel umfassen kann wie ein vorherbestimmtes Mehrfaches (z. B. Doppeltes) oder mehr eines Maximalwerts von vertikaler und horizontaler Größe des Unschärfekerns für jede Richtung, als den Schwellenwert.
In einem Entfaltungsschritt 140 wird das latente Bild L geschätzt basierend auf einem gegebenen Unschärfekern K und einem bereitgestellten unscharfen Bild B. Hier wird das latente Bild L unter Verwendung einer Energiefunktion geschätzt. Die Energiefunktion kann unter Verwendung von Gleichung 5 dargestellt werden: Gleichung 5
wobei ∂_* ∊ {∂_o, ∂_x, ∂_y, ∂_xx, ∂_xy, ∂_yy} einen Teildifferentiationsoperator bezeichnet und eine Reihenfolge in unterschiedlichen Richtungen, ω_* ∊ {ω₀, ω₁, ω₂} ein Gewicht für jede Teildifferentiation bezeichnet und α ein Gewicht (z. B. 0 oder 1) für einen Regularisationsterm bezeichnet.
Der erste Term von Gleichung 5 basiert auf dem Unschärfemodell unter Verwendung von Bildableitungen vorgeschlagen von Shan et al. (SHAN, Q., JIA, J., and AGARWALA, A., 2008, High-quality Motion Deblurring From A Single Image. ACM Trans. Graphics 27, 73.), um Ringing-Artefakte zu reduzieren. Außerdem nimmt ein Regularisationsterm ∥∇L∥² ein latentes Bild L mit einem glatten Gradienten.
Gleichung 5 kann sehr schnell optimiert werden durch pixelweise Unterteilung in einen Frequenzbereich unter Verwendung von nur zwei schnellen Fourier-Transformationen. Ein Optimierungsergebnis von Gleichung 5 kann glatte Kanten und Ringing-Artefakte umfassen. Da jedoch nur scharfe Kanten wiederhergestellt werden und andere Abschnitte, die Ringing-Artefakte umfassen bei Schritt 120 abgeschnitten werden, beeinträchtigt ein Ergebnis des Durchführens einer einzelnen Entfaltung basierend auf dem Vorhersageschritt 120 die genaue Unschärfekernschätzung nicht.
Bei dem Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung wird ein mehrskaliger iterativer Prozess durchgeführt, um ein großes unscharfes Bild effektiv zu schärfen.
4 stellt Kerne dar, die bei dem Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung in unterschiedlichen Skalen geschätzt werden.
Der mehrskalige iterative Prozess wird mit Bezugnahme auf 4 beschrieben. Zuerst werden scharfe Kanten mit einer niedrigeren Auflösung geschätzt, bei der ein Unschärfebereich schmal ist und die Kanten geschätzt werden können ohne schwere Lokalisierungsfehler.
Bei höherer Auflösung beginnt die Schätzung der scharfen Kanten, während die schweren Lokalisierungsfehler von einem entfalteten Bild vermieden werden, das durch die vorhergehende niedrigere Auflösung erhalten wurde.
Die Schätzung der scharfen Kanten während des iterativen Prozesses in einem spezifischen Maßstab wird an ein Entfaltungsergebnis angelegt, das durch den Unschärfekern erhalten wird, der bei einem vorhergehenden iterativen Prozess aktualisiert wurde.
Bei dem Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung kann ein Unschärfekern für große Unschärfe unter Verwendung von kleinen bilateralen und Schockfiltern durch den mehrskaligen iterativen Prozess geschätzt werden, wie es oben beschrieben wurde.
Der mehrskalige iterative Prozess ermöglicht eine Schätzung großer Unschärfe, die nicht unter Verwendung einer Skala gehandhabt wurde. Außerdem werden bei dem Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung zwei schnelle Fourier-Transformationen und einfaches Bildfiltern durchgeführt beim Vorhersagen der Gradientenabbildung des latenten Bildes für Unschärfekernschätzung, und Anlegen von bilateralem Filtern, Schockfiltern und Gradientenschwellenwert kann sehr schnell durchgeführt werden. Das Verfahren wird schneller durchgeführt als herkömmliche Schärfungsverfahren (z. B. das von Shan u. a., 2008 vorgeschlagene Verfahren), die 30 bis 60 schnelle Fourier-Transformationen durchführen.
Die Unschärfekernschätzung unter Verwendung der geschätzten Gradientenabbildung {Px, Py} verwendet die Energiefunktion in Gleichung 6: Gleichung 6
wobei ω_* ∊ {ω₁; ω₂} ein Gewicht für jede Teildifferentiation bezeichnet, und P_* und B_* mit Gleichung 7 variieren können:
Gleichung 7

(P_*, B_*) ∊ {(P_x, ∂_xB), (P_y, ∂_yB), (∂_xPx, ∂_xxB), (∂_yP_y, ∂_yyB), ((∂_xP_y + ∂_yP_x)/2, ∂_xyB)}.

In Gleichung 6 bilden jeweils (K * P_* – B_*) eine Abbildung I, die als ∥I∥² = Σ_{(x, y)}I(x,y)² definiert ist, wobei (x, y) einen Index eines Pixels in I bezeichnet. B bezeichnet ein Gewicht für Tikhonov-Regularisation.
Wie es in Gleichung 6 gezeigt ist, verwendet die vorliegende Erfindung nur Bildableitungen ohne Pixelwert in der Energiefunktion. Die vorliegende Erfindung verwendet einen Tikhonov-Regularisationsterm anstatt einer L1-Norm von K in dem herkömmlichen Schärfungsverfahren.
Gleichung 6 kann in einer Matrixform dargestellt werden, wie es in Gleichung 8 gezeigt ist:
Gleichung 8

f_k(k) = ∥Ak – b∥² + ß∥k∥² = (Ak – b)^T(Ak – b) + ßk^Tk. wobei A eine Matrix bezeichnet, die aus fünf P_* besteht und k einen Vektor des Unschärfekerns K bezeichnet. b bezeichnet eine Matrix, die aus fünf B_* besteht. Unter Verwendung eines konjugierten Gradienten (CG) um Gleichung 8 zu vereinfachen, ist ein Gradient von f_k definiert, wie es in Gleichung 9 gezeigt ist: Gleichung 9
wobei die Berechnung von ∂f_k(k)/∂k sehr viel Zeit erfordert aufgrund einer Größe von A. Wenn das latente Bild L und der Unschärfekern K jeweilige Größen von n×n und m×m aufweisen, wird die Größe von A 5n2×m2. Folglich erfordert die direkte Berechnung von Ak einen sehr großen Berechnungsumfang und eine große Speicherkapazität. Obwohl A^TA eine Größe von relativ kleinen m2×m2 aufweist, erfordert dies dennoch viel Berechnungszeit.

Da jedoch Ak einer Faltung zwischen fünf P_* und K entspricht, kann die Berechnungsgeschwindigkeit durch Verwenden einer schnellen Fourier-Transformation verbessert werden. Insbesondere erfordert die Ak-Berechnung sechs schnelle Fourier-Transformationen, d. h. eine
und fünf
Hier bezeichnen
eine Vorwärts-FFT bzw. eine inverse FFT, und o bezeichnet eine pixelweise Multilikation.
kann früher berechnet werden als der konjugierte Gradient (CG).
Eine Berechnungsgeschwindigkeit von A^Ty (wobei y = Ak) kann durch sechs schnelle Fourier-Transformationen verbessert werden, ähnlich dem oben beschriebenen Verfahren.
Als Folge werden in jedem Iterationsschritt des Konjugierte-Gradienten-(CG-)Verfahrens eine Gesamtzahl von zwölf schnellen Fourier-Transformationen durchgeführt für eine Berechnung des Gradienten ∂f_k(k)/∂k. Ein Vorverarbeitunsschritt kann A^Tb sowie
durch eine schnelle Fourier-Transformation berechnen.
Bei der vorliegenden Erfindung wird A^TAk direkt berechnet durch Zuordnen von Ak zu A^Ty, um die Berechnungsgeschwindigkeit weiter zu erhöhen durch Reduzieren der Anzahl schneller Fourier-Transformationen. A^TAk kann unter Verwendung der Gleichung 10 dargestellt werden: Gleichung 10
wobei
eine konjugierte Komplexe von
bezeichnet.
kann im voraus berechnet werden bevor das Konjugierte-Gradienten-(CG-)Verfahren iterativ durchgeführt wird. Folglich werden schnelle Fourier-Transformationen nur zweimal durchgeführt für eine Gradientenberechnung, so dass eine Anzahl von schnellen Fourier-Transformationen um ein Zehnfaches reduziert werden kann.
Effiziente Berechnung, wie sie oben beschrieben ist, ergibt sich aus der Verwendung nur der Bildableitungen ohne den Pixelwert in Gleichung 6 zu verwenden. Das heißt, da die vorliegende Erfindung nur die Bildteildifferentiation verwendet, ist die Grenze des Bildes ausgedehnt auf eine Region, wo ein Teildifferentiationswert Null ist vor der Ak-Berechnung, um ein Bildgrenzproblem zu vermeiden.
Nachdem die Gleichung 6 optimiert ist, werden Werte von Elementen kleiner als 1/20 eines Maximalwerts auf 0 gesetzt, und andere Nicht-Nullwerte werden reguliert, so dass eine Summe der Nicht-Nullwerte 1 werden kann.
Die Iterationszahl und die Konvergenzgeschwindigkeit zum Optimieren der Konvergenz sind bei dem numerischen Optimierungsprozess sehr entscheidend. Das Verfahren zum Schätzen eines Unschärfekerns gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung erreicht eine schnellere Berechungsoptimierung als das herkömmliche Verfahren unter Verwendung von Pixelwerten.
5 stellt einen Vergleich dar bei einer Konvergenzgeschwindigkeit von Unschärfekernschätzung zwischen einem Verfahren zum Schätzen eines Unschärfekerns gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung und einem herkömmlichen Verfahren zum Schätzen eines Unschärfekerns.
Von 5 ist ersichtlich, dass ein Verfahren zum Schätzen eines Unschärfekerns gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung einen Unschärfekernschätzfehler stark reduziert durch Iterationen in einigen wenigen Malen, während das herkömmliche Verfahren zum Schätzen eines Unschärfekerns unter Verwendung von Pixelwerten den Unschärfekernschätzfehler relativ langsam reduziert.
Wie es oben beschrieben ist, ergibt sich schnelle Konvergenz in numerischer Optimierung von der gut definierten Bedingung der Matrix A^TA in Gleichung 9. A^TA kann unter Verwendung von Gleichung 11 dargestellt werden: Gleichung 11
wobei A T / *A_* definiert ist als (A T / *A_*)_{(i, j)} = (I i / *)(I j / *). Hier ist I i / * eine Vektordarstellung von ∂_*L verschoben um einen Betrag abhängig von i. Bildteildifferentiation ist allgemein nahe 0, außer für Kantenpixel. Folglich hat A T / *A_* einen großen Elementwert in einer diagonalen Region und einen sehr kleinen Elementwert in einer außerdiagonalen Region.
Für einen Vergleich von Unschärfekernschätzgeschwindigkeiten werden die Verfahren zum Schätzen eines Kerns in einem Zustand betrachtet, wo die Energiefunktion gleich ist wie diejenige, die durch „Shan u. a., 2008” vorgeschlagen wurde, außer dass ein Tikhonov-Regularisationsterm verwendet wird bei Regularisationstermen für Kernschätzung. Hier wird „Shan u. a., 2008”, das den Tikhonov-Regularisationsterm verwendet, als „Shan-L2” bezeichnet.
Eine ursprüngliche Version von „Shan u. a., 2008” erfordert einen größeren Rechenumfang, da dieselbe die L1-Norm in den Regularisationstermen der Energiefunktion verwendet. Außerdem wird in der Originalversion von „Shan u. a., 2008” bei dem Kernschätzschritt eine sehr große Matrix erzeugt, was Speicherinsuffizienz und einen übermäßigen Rechenbetrag verursacht.
Andererseits führt die Unschärfekernschätzung gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung beim Durchführen jedes Konjugierte-Gradienten-(CG-)Verfahrens eine schnelle Fourier-Transformation zweimal durch, während „Shan-L2” eine Gesamtzahl von 14 schnellen Fourier-Transformationen durchführt, da dieselbe sechs Bilder verwendet: ein Pixelwertbild und fünf teilweise differenzierte Bilder. Außerdem erfordert „Shan-L2” eine größere Anzahl von Iterationen als die vorliegende Erfindung, da letztere den Pixelwert verwendet.
Von 5 ist ersichtlich, dass bei dem Verfahren zum Schätzen eines Unschärfekerns gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung fünf Konjugierte-Gradienten-(CG-)Prozesse iterativ durchgeführt wurden, während „Shan-L2” 30 Iterationen erfordert, um eine ähnliche Genauigkeit zu erhalten.
Folglich ist das Verfahren zum Schätzen eines Unschärfekerns gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung 40 Mal schneller als „Shan-L” und 10 oder mehr Mal schneller als andere herkömmliche Verfahren, die Pixelwerte verwenden.
6 stellt die Genauigkeit von Unschärfekernschätzung gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung dar.
Die vorliegende Erfindung und ein herkömmliches Verfahren, das Pixelwerte verwendet, wurden verglichen unter Verwendung eines Testbildes, das unterschiedliches Gaußsches Rauschen enthält, um die Genauigkeit des Verfahrens zum Schätzen eines Kerns gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung zu verifizieren.
Mit Bezugnahme auf 6 hat das Verfahren zum Schätzen eines Kerns gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung im Wesentlichen die gleiche Genauigkeit wie ein herkömmliches Verfahren zum Schätzen eines Kerns unter Verwendung von Pixelwerten, obwohl das letztere den Pixelwert nicht verwendet. Bei einigen beispielhaften Ausführungsbeispielen hat das Verfahren zum Schätzen eines Kerns gemäß der vorliegenden Erfindung eine höhere Genauigkeit als das herkömmliche Verfahren zum Schätzen eines Kerns unter Verwendung von Pixelwerten aufgrund eines gut definierten Berechnungssystems, das durch Ausschließen des Pixelwerts erhalten wird.
7 stellt Bilder dar, die unter Verwendung eines Verfahrens zum Schätzen von Unschärfe eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung geschärft wurden.
Von 7 ist ersichtlich, dass ein geschätzter Unschärfekern im Wesentlichen der gleiche ist wie ein ursprünglicher Unschärfekern und ein geschärftes Bild genau wiederhergestellte Einzelheiten des ursprünglichen Bildes enthält.
8 stellt tatsächliche Bilder dar, die unter Verwendung eines Verfahrens zum Schätzen von Unschärfe eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung geschärft wurden. Jeweilige in 8 gezeigte Bilder umfassen unterschiedliche komplexe Strukturen und Kamerabewegungen.
Von 8 ist ersichtlich, dass scharfe Kanten jedes geschärften Bildes wesentlich gestärkt sind für eine prominentere Form und Struktur eines Objekts.
9 stellt eine Verarbeitungszeit zum Schärfen von in 8 gezeigten Bildern dar.
Für eine experimentelle Umgebung wurde ein Personalcomputer (PC) mit einer MS Windows XP(32 Bit)-basierten Intel Core 2 CPU 2,66 GHz, 3,25 GB RAM und einer NVIDIA GeForce GTX-Graphikkarte vorbereitet. Für das Experiment wurde das Schärfungsverfahren unter Verwendung einer GPU-Beschleunigungsfunktion der Graphikkarte implementiert. Von 9 ist ersichtlich, dass selbst wenn ein Kern groß ist, ein eingegebenes unscharfes Bild innerhalb einiger weniger Sekunden durch das Verfahren zum Schärfen eines Bildes gemäß einem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung geschärft werden kann.
Mit dem Verfahren zum Schärfen eines Bildes und dem Aufzeichnungsmedium mit dem darauf aufgezeichneten Schärfungsverfahren wird Bildfiltern an ein empfangenes unscharfes Bild angelegt, um Kanten wiederherzustellen und Rauschen zu eliminieren, eine Gradientenabbildung wird vorhergesagt, der unscharfe Kern wird basierend auf der Gradientenabbildung und dem unscharfen Bild geschätzt, und eine Entfaltung wird an dem geschätzten Unschärfekern und dem unscharfen Bild durchgeführt, um das latente Bild zu schätzen. Die Prozesse werden iterativ durchgeführt, um eine Schätzgenauigkeit für den Unschärfekern zu verbessern und dann einen endgültigen Unschärfekern zu schätzen, und eine endgültige Entfaltung wird an dem endgültigen Unschärfekern und dem unscharfen Bild durchgeführt, um das Bild zu schärfen. Der Unschärfekernschätzprozess verwendet nur Bildableitungen, ohne Pixelwerte zu verwenden.
Somit kann Unschärfe eliminiert werden während die Qualität des Bildes beibehalten wird, mit nur einem unscharfen Bild, und eine Schärfungszeit kann im Vergleich zu herkömmlichen Schärfungsverfahren stark reduziert werden.
Für Fachleute auf diesem Gebiet ist klar, dass verschiedene Modifikationen und Variationen bei der vorliegenden Erfindung durchgeführt werden können, ohne von dem Schutzbereich oder der Wesensart der Erfindung abzuweichen. Somit soll die vorliegende Erfindung die Modifikationen und Variationen dieser Erfindung abdecken, vorausgesetzt sie fallen in den Schutzbereich der angehängten Ansprüche und deren Äquivalente.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

YTIZHZAKEY, Y., MOR, I., A. und KOPEIKA, N. S., 1998, Direct Method For Restoration of Motion-blurred Images. Journal of Opt. Soc. Am. A. 15, 6, 1512–1519 [0006]
Rav-Acha, A. und Peleg, S., 2005, Two Motion-blurred Images Are Better Than One. Pattern Recognition Letters 26, 311–317. [0006]
YUAN, L., SUN, J., QUAN, L., und SHUM, H.-Y., 2007, Image Deblurring With Blurred/Noisy Image Pairs. ACM Trans. Graphics 26, 3, 1. [0006]
Money, J. H. und Kang, S. H., 2008, Total Variation Minimizing Blind Deconvolution with Shock Filter Reference. Image and Vision Computing 26, 2, 302–314 [0007]
FERGUS, R., SINGH, B., HERTZMANN, A., ROWEIS, S. T. UND FREEMAN, W., 2006, Removing Camera Shake From A Single Photograph. ACM Trans. Graphics 25, 787–794. [0008]
JIA, J., 2007, Single Image Motion Deblurring Using Transparency. In Proc. CVPR 2007, 1–8. [0008]
SHAN, Q., JIA, J. UND AGARWALA, A., 2008, High-Quality Motion Deblurring From A Single Image. ACM Trans. Graphics 27, 73. [0009]
SHAN, Q., JIA, J., and AGARWALA, A., 2008, High-quality Motion Deblurring From A Single Image. ACM Trans. Graphics 27, 73. [0071]
Shan u. a., 2008 [0079]
Shan u. a., 2008 [0094]
Shan u. a., 2008 [0094]
Shan u. a., 2008 [0095]
Shan u. a., 2008 [0095]

Claims

Ein Verfahren zum Schärfen eines Bildes, das folgende Schritte aufweist: Empfangen eines unscharfen Bildes; einen Bildschätzschritt zum Schätzen eines scharfen Bildes von dem unscharfen Bild; einen Unschärfeinformationsschätzschritt zum Schätzen von Unschärfeinformationen von dem unscharfen Bild und dem geschätzten scharfen Bild; und einen Schärfungsschritt zum Schärfen des unscharfen Bildes basierend auf dem unscharfen Bild und den geschätzten Unschärfeinformationen, wobei der Bildschätzschritt und der Unschärfeinformationsschätzschritt iterativ durchgeführt werden.
Das Verfahren gemäß Anspruch 1, bei dem der Bildschätzschritt folgende Schritte aufweist: einen Gradienteninformationsvorhersageschritt zum Vorhersagen von Gradienteninformationen für das unscharfe Bild; und einen ersten Entfaltungsschritt zum Durchführen einer ersten Entfaltung basierend auf den geschätzten Unschärfeinformationen und dem unscharfen Bild.
Das Verfahren gemäß Anspruch 2, bei dem der Gradienteninformationsvorhersageschritt folgende Schritte aufweist: Anlegen von bidirektionalem Filtern an das unscharfe Bild; Anlegen von Schockfiltern an das bidirektionale gefilterte Bild; Berechnen einer Gradientenabbildung für das schockgefilterte Bild; und Anlegen eines Schwellenwerts an die berechnete Gradientenabbildung.
Das Verfahren gemäß Anspruch 3, bei dem das Anlegen des Schwellenwerts an die berechnete Gradientenabbildung folgende Schritte aufweist: Erzeugen eines Histogramms basierend auf einer Richtung und einer Größe des berechneten Gradienten; Einstellen einer Größe eines Gradienten, der in der Lage ist, so viele Pixel zu umfassen wie ein vorherbestimmtes Mehrfaches oder mehr eines Maximalwerts von vertikaler und horizontaler Größe der Unschärfeinformationen, die jeder Richtung entsprechen, die in dem erzeugten Histogramm enthalten ist, als einen Schwellenwert; und Anlegen des eingestellten Schwellenwerts an die Gradientenabbildung, um den Gradienten abzuschneiden.
Das Verfahren gemäß Anspruch 4, bei dem das Anlegen des eingestellten Schwellenwerts an die Gradientenabbildung, um den Gradienten abzuschneiden, das Einstellen eines Gradienten kleiner als den Schwellenwert auf 0 umfasst.
Das Verfahren gemäß Anspruch 4, bei dem der Unschärfeinformationsschätzschritt das Schätzen der Unschärfeinformation basierend auf dem unscharfen Bild und dem abgeschnittenen Gradienten aufweist.
Das Verfahren gemäß Anspruch 4, bei dem der Unschärfeinformationsschätzschritt das Schätzen der Unschärfeinformationen unter Verwendung einer Energiefunktion aufweist, die nur Bildableitungen ohne einen Pixelwert umfasst.
Das Verfahren gemäß Anspruch 1, bei dem der Bildschätzschritt und der Unschärfeinformationsschätzschritt iterativ durchgeführt werden, während Auflösungen des unscharfen Bildes und des geschätzten scharfen Bildes geändert werden.
Ein Aufzeichnungsmedium mit einem darauf aufgezeichneten Programm von Befehlen, wobei das Programm greifbar ausgeführt ist und lesbar und ausführbar ist durch eine digitale Verarbeitung der Vorrichtung zum Schärfen eines unscharfen Bildes, wobei das Programm folgende Schritte durchführt: Empfangen eines unscharfen Bildes; einen Bildschätzschritt zum Schätzen eines scharfen Bildes von dem unscharfen Bild; einen Unschärfeinformationsschätzschritt zum Schätzen von Unschärfeinformationen von dem unscharfen Bild und dem geschätzten scharfen Bild; und einen Schärfungsschritt zum Schärfen des unscharfen Bildes basierend auf dem unscharfen Bild und den geschätzten Unschärfeinformationen, wobei der Bildschätzschritt und der Unschärfeinformationsschätzschritt iterativ durchgeführt werden.