DE102013111861B4

DE102013111861B4 - Verfahren und Vorrichtungen zur Bildoptimierung

Info

Publication number: DE102013111861B4
Application number: DE102013111861.5A
Authority: DE
Inventors: Michael KIEWEG
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss AG
Priority date: 2013-10-28
Filing date: 2013-10-28
Publication date: 2019-03-28
Anticipated expiration: 2033-10-29
Also published as: DE102013111861A1

Abstract

Verfahren zur Bildoptimierung, umfassend:Bereitstellen eines Ursprungsbildes,Bereitstellen mindestens eines Qualitätsmaßes für die Qualität eines Bildes, wobei das mindestens eine Qualitätsmaß ein Maß für die Sichtbarkeit von Details des Bildes umfasst,Bestimmen mindestens eines bildbestimmenden Parameters durch eine Optimierung des Ursprungsbildes auf Basis des mindestens einen Qualitätsmaßes, undAnwenden des mindestens eines bildbestimmenden Parameters auf mindestens ein zu bearbeitendes Bild,wobei das Maß für die Sichtbarkeit von Details bestimmt wird durch:Glätten des Ursprungsbildes,Bilden eines Differenzbildes zwischen dem geglätteten Ursprungsbild und dem Ursprungsbild,Glätten des Differenzbildes,Vergleichen von Bildpunkten des geglätteten Differenzbildes mit einem Schwellenwert, undBestimmen des Maßes auf Basis des Vergleichs.

Description

Moderne optische Geräte, beispielsweise in der Medizintechnik, in der Mikroskopie oder bei optischen Überwachungssystemen, weisen optische Elemente sowie einen Bildsensor zum Aufnehmen von Bildern auf. Gebräuchliche Bildsensoren umfassen dabei beispielsweise CCD-Sensoren oder CMOS-Sensoren. Zudem sind bei vielen optischen Geräten Einrichtungen zur Bildnachbearbeitung vorgesehen, welche die von dem Bildsensor gelieferten Bilddaten weiterverarbeiten, um eine Bildqualität zu verbessern. Häufig verwendete Bildnachbearbeitungstechniken umfassen beispielsweise ein Bildentrauschen, eine Bildschärfung, beispielsweise durch Entfaltungsalgorithmen oder durch Anwendung von Schärfefiltern, eine Gammakorrektur, eine Kontrasterhöhung, eine Anpassung der Helligkeit, oder eine Dynamikkompression. Dynamikkompressionsverfahren kommen z.B. zum Einsatz, falls aufgenommene Bilddaten eine höhere Bittiefe aufweisen als ein Betrachtungsmedium wie ein Bildschirm, für welchen die Bilder letztendlich bestimmt sind.
Insbesondere in der Medizintechnik, in der Mikroskopie oder bei optischen Überwachungssystemen ist es wichtig, kleine Details in aufgenommenen Bildern sichtbar zu machen, wofür passende Bildnachbearbeitungsverfahren entscheidende Vorteile bringen können. Allerdings bringt nicht jedes Bildverarbeitungsverfahren automatisch eine Bildverbesserung mit sich. Zudem ist die Stärke der Steigerung der Bildqualität von Parametern, welche bei der Anwendung der Bildverbesserungsverfahren verwendet werden, abhängig. So kann sich eine zu starke Anwendung der Bildnachbearbeitungsverfahren auch negativ auf den Bildeindruck auswirken. So kann das Bild künstlich wirken, oder durch ein Schärfen des Bildes wird Rauschen zu sehr verstärkt. Deshalb ist es wichtig, für jede Anwendung die richtige Auswahl und die richtige Einstellung von Nachbearbeitungsverfahren zu finden. Diese Einstellung ist abhängig vom Objekt selbst, von den Aufnahmebedingungen wie Lichtverhältnissen, Wetterbedingungen und dgl. und auch vom persönlichen Geschmack des Betrachters. Bei vielen Anwendungen erfolgt die Auswahl und die Parametrisierung, d.h. die Wahl der Parameter, derartiger Bildbearbeitungsverfahren manuell. Dies ist sehr zeitaufwändig. Außerdem kann es sein, dass sich während einer Bildsequenz, d.h. einer Aufnahme mehrerer Bilder, das Objekt oder die Bedingungen ändern, sodass andere Parametrisierungen oder gar andere Verfahren gewählt werden sollten, um eine möglichst gute Qualität von sich ergebenden Bildern zu erreichen.
Ähnliche Probleme stellen sich bei der Bestimmung von Aufnahmeparametern wie beispielsweise Beleuchtung und dgl., welche bei manchen optischen Vorrichtungen ebenfalls einstellbar sind. Hier kann die Einstellung ebenfalls die Qualität des sich ergebenden Bildes beeinflussen, wobei auch hier herkömmlicherweise die Einstellung häufig manuell vorgenommen werden muss.
Aus der US 2007/269132 A1 ist diesbezüglich ein Verfahren bekannt, welches darauf spezialisiert ist, eine geeignete Parametrisierung für eine Dynamikkompression zu finden. Das dort offenbarte Verfahren basiert auf der Verwendung von Histogrammen, d.h. globaler oder zumindest regionaler Bildeigenschaften. Die Auswahl geeigneter Bildnachbearbeitungsverfahren wird in dieser Druckschrift nicht thematisiert. Zudem besteht bei einer derartigen Betrachtungsweise der Nachteil, dass lokale Details auf Kosten eines scheinbar besseren globalen oder regionalen Bildeindrucks verschwinden können. Des Weiteren ist das dort beschriebene Verfahren nicht oder nur erschwert auf andere Bildbearbeitungsverfahren als die Dynamikkompression übertragbar.
Aus der WO 2013/085538 A1 ist ein Verfahren zur Bildoptimierung bekannt, bei welchem beispielsweise ein Eingangsvideobild empfangen wird und eine Analyse durchgeführt wird, um beispielsweise eine Rauschmetrik, eine Kontrastmetrik und/oder eine Schärfemetrik zu bestimmen. Basierend auf dieser Analyse können dann Parameter eines Nachverarbeitungsmoduls zur Bildbearbeitung ausgewählt und auf ein Bild angewendet werden.
Ähnliche Verfahren sind auch aus Seshadrinathan K. et al., „Control of Video Processing Algorithms Based on Measured Perceptual Quality Characteristics“, IEEE, SSIAI 2012, S. 177-180, und aus der US 2011/0249133 A1 bekannt.
Aus der EP 2 290 946 A2 ist ein Verfahren bekannt, mit welchem die Sichtbarkeit von Details verbessert werden kann. Dabei wird ein erstes Bild geglättet, ein Differenzbild gebildet und das Differenzbild geglättet.
Es ist daher eine Aufgabe der vorliegenden Erfindung, Verfahren und Vorrichtungen bereitzustellen, mit welchen bildbestimmende Parameter, welche eine Qualität des sich ergebenden Bildes beeinflussen, möglichst automatisiert ausgewählt werden können. Dabei sollen bevorzugt Bilddetails möglichst gut herausgearbeitet werden können, wobei bevorzugt ein Rauschen des Bildes in Grenzen gehalten wird.
Diesbezüglich wird ein Verfahren nach Anspruch 1 sowie eine Vorrichtung nach Anspruch 10 bereitgestellt. Die Unteransprüche definieren weitere Ausführungsbeispiele.
Erfindungsgemäß wird ein Verfahren zur Bildoptimierung bereitgestellt, umfassend:

Bereitstellen eines Ursprungsbildes,
Bereitstellen mindestens eines Qualitätsmaßes für die Qualität eines Bildes,
Bestimmen mindestens eines bildbestimmenden Parameters durch eine Optimierung des Ursprungsbildes auf Basis des mindestens einen Qualitätsmaßes, und
Anwenden des mindestens eines bildbestimmenden Parameters auf mindestens ein zu bearbeitendes Bild.

Durch das Verwenden eines Maßes für die Bildqualität und das Anwenden eines Optimierungsverfahrens kann sichergestellt werden, dass die Bildqualität hinsichtlich des Maßes durch die aufgefundenen Parameter optimiert wird. Zudem ist ein derartiges Verfahren flexibel auf die verschiedensten Bildnachbearbeitungsverfahren, auf die Auswahl geeigneter Bildbearbeitungsverfahren oder auch auf die Auswahl anderer bildbestimmender Parameter wie Aufnahmeparameter anwendbar.
Das mindestens eine zu bearbeitende Bild kann das Ursprungsbild umfassen oder das Ursprungsbild sein, d.h. die optimierten bildbestimmenden Parameter können beispielsweise bei einer Bildnachbearbeitung des Ursprungsbildes angewandt werden. Das mindestens eine zu bearbeitende Bild kann zusätzlich oder alternativ mindestens ein nach dem Ursprungsbild aufgenommenes Bild umfassen. Beispielsweise können mittels des Ursprungsbildes Bildaufnahmeparameter als bildbestimmende Parameter optimiert werden und diese bei folgenden Bildaufnahmen angewendet werden.
Das mindestens eine Qualitätsmaß kann ein Maß für ein Rauschen eines Bildes umfassen.
Die Verwendung eines Maßes, welches die Sichtbarkeit von Details des Bildes widerspiegelt, ist besonders bevorzugt für Mikroskopanwendungen, medizinische Anwendungen oder Sicherheitsanwendungen, da es hier hauptsächlich auf das Erkennen von Details ankommt.
Das mindestens eine Qualitätsmaß umfasst ein Maß für die Sichtbarkeit von Details des Bildes.
Durch die Berücksichtigung des Rauschens kann sichergestellt werden, dass das Herausarbeiten von Details nicht dahingehend übertrieben wird, dass unnötig Artefakte erzeugt werden oder übertriebenes Rauschen erzeugt wird.
Das Maß für die Sichtbarkeit von Details wird erfindungsgemäß bestimmt durch:

Glätten des Ursprungsbildes,
Bilden eines Differenzbildes zwischen dem geglätteten Ursprungsbild und dem Ursprungsbild,
Glätten des Differenzbildes,
Vergleichen von Bildpunkten des geglätteten Differenzbildes mit einem Schwellenwert, und
Bestimmen des Maßes auf Basis des Vergleichs.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügte Zeichnung näher erläutert. Es zeigen:

1 ein schematisches Blockdiagramm einer Vorrichtung gemäß einem Ausführungsbeispiel,
2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Bildnachbearbeitung gemäß einem Ausführungsbeispiel,
3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Bildnachbearbeitung bei Videoaufnahmen gemäß einem Ausführungsbeispiel,
4 ein Flussdiagramm eines Verfahrens zum Bestimmen eines Bildmaßes für eine Sichtbarkeit von Details gemäß einem Ausführungsbeispiel,
5A und 5B Ergebnisse einer Optimierung für verschiedene Schwellenwerte des Rauschens,
6A-6C verschiedene Optimierungsergebnisse für verschiedene Schwellenwerte für einen Detailreichtum, und
7A und 7B Optimierungsergebnisse für verschiedene Werte eines Glättungskernes.

Im Folgenden werden verschiedene Ausführungsbeispiele der vorliegenden Erfindung detailliert erläutert. Es ist zu bemerken, dass diese Ausführungsbeispiele lediglich der Veranschaulichung dienen und nicht als einschränkend auszulegen sind. So impliziert eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Merkmalen nicht, dass alle diese Merkmale zur Ausführung der Erfindung notwendig sind. Vielmehr können andere Ausführungsbeispiele weniger Merkmale und/oder alternative Merkmale aufweisen. Zudem oder alternativ können auch zusätzliche Merkmale vorgesehen sein. Des Weiteren können Merkmale verschiedener Ausführungsbeispiele miteinander kombiniert werden, sofern nichts anderes angegeben ist.
Im Folgenden diskutierte Ausführungsbeispiele beziehen sich auf die Bestimmung und/oder Optimierung von bildbestimmenden Parametern. Bildbestimmende Parameter können dabei beispielsweise Parameter einer Bildnachbearbeitung wie beispielsweise die Stärke eines Bildschärfens, ein Radius oder eine Stärke bei einem Entrauschen oder eine Stärke einer Kontrastveränderung sein. Bildbestimmende Parameter können auch Aufnahmeparameter wie beispielsweise eine Beleuchtung bei einer Bildaufnahme sein. Schließlich umfasst der Begriff bildbestimmende Parameter auch eine Auswahl und/oder Reihenfolge von Bildnachbearbeitungsverfahren. Beispielsweise kann eine Stärke von 0 angeben, dass ein Bildnachbearbeitungsverfahren nicht ausgeführt wird.
In 1 ist eine Vorrichtung 10 zur Bildaufnahme und Bildnachbearbeitung schematisch dargestellt. Die Vorrichtung der 1 umfasst eine Bildaufnahmeeinrichtung 11. Die Bildaufnahmeeinrichtung 11 kann beispielsweise in herkömmlicher Weise eine ein oder mehrere Linsen und/oder andere optische Elemente umfassende Optik sowie einen Bildsensor wie einen CCD-Sensor oder einen CMOS-Sensor umfassen, um Bilder aufzunehmen. Dabei kann die Bildaufnahmeeinrichtung zur Aufnahme von Einzelbildern und/oder zur Aufnahme einer Abfolge von Bildern, beispielsweise zur Aufnahme von Videos, ausgelegt sein. Die Bildaufnahmeeinrichtung 11 kann beispielsweise in eine Mikroskopanordnung eingebaut sein, um Bilder eines zu mikroskopierenden Objekts aufzunehmen. Bei einem anderen Ausführungsbeispiel kann die Bildaufnahmeeinrichtung 11 in Form einer Überwachungskamera oder einer Kamera für Medizinzwecke implementiert sein. Die Bildaufnahmeeinrichtung kann beispielsweise für sichtbares Licht und/oder für Infrarotlicht empfindlich sein. Eine Implementierung als Infrarotkamera eignet sich insbesondere für Überwachungsaufgaben, ist aber nicht hierauf beschränkt.
Je nach Anwendung kann zur Bildaufnahme zudem eine Beleuchtungseinrichtung 15 vorgesehen sein, um beispielsweise ein von der Bildaufnahmeeinrichtung 11 aufzunehmendes Objekt zu beleuchten. Bei einem Ausführungsbeispiel kann beispielsweise eine Beleuchtungsstärke der Beleuchtung 15 variiert werden. Die Beleuchtung 15 wird bei der dargestellten Vorrichtung 10 von einer Verarbeitungseinrichtung 12 gesteuert.
Die Verarbeitungseinrichtung 12 empfängt zudem von der Bildaufnahmeeinrichtung 11 aufgenommene Bilddaten zur weiteren Verarbeitung. Der Verarbeitungseinrichtung 12 ist hierzu eine Speichereinrichtung 13 zugeordnet, in welcher die Bilddaten gespeichert werden können. Die Speichereinrichtung 13 kann flüchtige Speicher wie Speicher mit wahlfreiem Zugriff (RAM), nicht flüchtige Speicher wie Flash-Speicher, magnetische Speichermedien wie Festplatten oder optische Speichermedien wie DVD-ROMs oder DVD-RAMs und/oder auch andere Speichermedien umfassen. Zudem können in der Speichereinrichtung 13 Anweisungen für verschiedene Bildnachbearbeitungsverfahren hinterlegt sein, welche durch die Verarbeitungseinrichtung 12 ausgeführt werden können. Die Verarbeitungseinrichtung 12 und die Speichereinrichtung 13 können beispielsweise Teile eines herkömmlichen Computersystems sein. Es sind jedoch auch andere Implementierungen möglich, beispielsweise mittels eines FPGAs (Field Programmable Gate Array) oder anderer fest programmierter Logikschaltungen zur Bildverarbeitung. Auch Kombinationen aus fest programmierten Hardwarebausteinen und frei programmierbaren Prozessoren sind möglich. Wie später näher erläutert werden wird, kann die Verarbeitungseinrichtung 12 insbesondere ein Optimierungsverfahren durchführen, um optimierte bildbestimmende Parameter für von der Bildaufnahmeeinrichtung 11 aufgenommene Bilder zu finden. Insbesondere können mittels derartiger Optimierungen geeignete Bildnachbearbeitungsverfahren ausgewählt und mit geeigneten Parametern durchgeführt werden. Beispielsweise kann eine Optimierung dahingehend vorgenommen werden, dass möglichst viele Details sichtbar werden.
Von der Bildaufnahmeeinrichtung 11 aufgenommene Bilder können zudem auf einer Anzeige 14 angezeigt werden können. Dies gilt ebenso für Bilder nach einer durchgeführten Nachbearbeitung. Derartige nachbearbeitete Bilder können auch in der Speichereinrichtung 13 gespeichert werden oder auch an andere Einrichtungen zur weiteren Bearbeitung übertragen werden. Bei manchen Ausführungsbeispielen können bei der oben angesprochenen Optimierung Eigenschaften eines Darstellungsmediums wie der Anzeige 14, für das die Bilder bestimmt sind, berücksichtigt werden, beispielsweise ein möglicher Kontrastumfang oder eine mögliche Auflösung des Darstellungsmediums. So kann bei manchen Ausführungsbeispielen eine an das Darstellungsmedium angepasste Optimierung des Bilder erreicht werden.
Im Folgenden wird nunmehr die oben bereits angesprochene Optimierung bildbestimmender Parameter unter Bezugnahme auf die 2-4 näher erläutert.
2 zeigt dabei ein Flussdiagramm eines Optimierungsverfahrens gemäß einem Ausführungsbeispiel. Das Verfahren der 2 kann beispielsweise in der Vorrichtung der 1, insbesondere der Verarbeitungseinrichtung 12, implementiert sein, ist jedoch nicht hierauf beschränkt.
Bei 20 in 2 wird ein Eingangsbild, im Rahmen dieser Anmeldung auch als Ursprungsbild bezeichnet, bereitgestellt, beispielsweise ein von der Bildaufnahmeeinrichtung 11 aufgenommenes Bild. Zudem werden eine Menge möglicher Bildnachbearbeitungsverfahren sowie mögliche Parametrisierungen, beispielsweise mögliche Parameterbereiche, der Bildnachbearbeitungsverfahren bereitgestellt. Die Bildnachbearbeitungsverfahren können beispielsweise Verfahren zur Bildentrauschung, zur Bildschärfung durch Entfaltung oder durch Anwendung von Schärfefiltern, zur Gammakorrektur, zur Kontrasterhöhung, zur Anpassung der Helligkeit und/oder zur Dynamikkompression umfassen. Die Parameter, für welche Parametrisierungen bereitgestellt werden, können insbesondere eine Stärke der Anwendung des jeweiligen Bildnachbearbeitungsverfahrens kennzeichnen. Zu bemerken ist, dass bei manchen Ausführungsbeispielen die möglichen Parametrisierungen auch Werte umfassen, welche bedeuten, dass ein bestimmtes Bildnachbearbeitungsverfahren nicht angewendet wird, was beispielsweise einer Stärke von 0 entspricht.
Bei 21 werden optimierte Parameter aus der Menge der möglichen Parametrisierungen bestimmt. Hierzu werden Bildmaße und Optimierungsverfahren verwendet. Bildmaße stellen dabei ein Maß für eine Qualität eines Bildes dar. Beispielsweise kann ein Maß verwendet werden, welches eine Sichtbarkeit von Details des Bildes beschreibt, z.B. auf Basis eines lokalen Kontrastes, und das Optimierungsverfahren kann dann die Parameter so optimieren, dass das Maß einen möglichst günstigen Wert aufweist, beispielsweise einen Wert, der eine hohe Sichtbarkeit von Details anzeigt.
Zudem können auch Nebenbedingungen bei der Optimierung verwendet werden, beispielsweise indem ein weiteres Bildmaß in einem vorgegebenen Bereich gehalten wird. Das weitere Bildmaß kann beispielsweise ein Rauschen oder Bildartefakte beschreiben, welche unterhalb eines gewünschten Wertes gehalten werden sollen. Beispiele für derartige Optimierungsverfahren werden später noch detaillierter erläutert.
Bei 22 werden dann die Bildnachbearbeitungsverfahren mit den bei 21 optimierten Parametern auf das Bild angewendet. Das so nachbearbeitete Bild kann beispielsweise dargestellt werden (beispielsweise auf der Anzeige 14 der 1) und/oder gespeichert werden (beispielsweise in der Speichereinrichtung 13 der 1).
In 3 ist ein weiteres Ausführungsbeispiel ähnlich dem Ausführungsbeispiel der 2 dargestellt. Während sich das Verfahren der 2 insbesondere für Einzelbilder eignet, ist das Verfahren der 3 insbesondere auf Videos anwendbar, bei welchen n Bilder pro Sekunde geliefert werden, beispielsweise 24 Bilder pro Sekunde oder 30 Bilder pro Sekunde. Im Kontext von Videos werden die Einzelbilder auch als Frames bezeichnet.
Bei 30 liefert ein Aufnahmesystem ein Video in Form von n Bildern pro Sekunde. Diese Bilder werden zum einen einem Optimierungsprozess 31 und zum anderen einem Nachbearbeitungsprozess 32 übergeben. Der Optimierungsprozess 31 und der Nachbearbeitungsprozess 32 können beispielsweise als parallele Prozesse in einer Verarbeitungseinrichtung wie der Verarbeitungseinrichtung 12 der 1 laufen, beispielsweise mittels Multitasking und/oder Multithreading. Die Prozesse 31, 32 können aber auch bei anderen Ausführungsbeispiel in getrennten Einrichtungen ausgeführt werden. Der Optimierungsprozess 31 nimmt das aktuelle ihm übergebene Bild, auch als Frame bezeichnet, und findet wie bereits unter Bezugnahme auf 2 erläutert optimierte Parameter für Bildnachbearbeitungsverfahren, wobei wiederum eine Anzahl möglicher Bildnachbearbeitungsverfahren sowie möglicher Parametrisierungen, beispielsweise Parameterbereiche bereitgestellt werden. Dann werden die optimierten Parameter an den Nachbearbeitungsprozess übergeben, und der Optimierungsprozess 31 kann z.B. mit einem dann aktuellen Frame von Neuem starten.
Der Nachbearbeitungsprozess 32 wendet die Bildnachbearbeitungsverfahren mit den jeweils aktuellen optimierten Parametern auf jeden ihm übergebenen Einzelframe, also auf jedes Bild an. Bei 33 werden dann die von dem Nachbearbeitungsprozess 32 bearbeiteten Frames beispielsweise angezeigt, sodass das bearbeitete Video betrachtet werden kann. Zusätzlich oder alternativ kann das Video auch abgespeichert werden.
Bei Ausführungsbeispielen, bei welchen das überarbeitete Video direkt dargestellt wird, arbeitet der Nachbearbeitungsprozess 32 bevorzugt in Echtzeit, sodass die von dem Aufnahmesystem gelieferten Bilder mit relativ geringer Verzögerung und im richtigen zeitlichen Abstand dargestellt werden können. Der Optimierungsprozess 31 muss hingegen nicht in Echtzeit laufen. So ändern sich im Allgemeinen die Bildverhältnisse von Frame zu Frame bei typischen Aufnahmeraten von 24 oder 30 Bilder pro Sekunde nur verhältnismäßig wenig, sodass es ausreichend sein kann, z.B. nur jeden n-ten Frame (n > 2) zur Optimierung der Parameter zu verwenden, beispielsweise nur einen Frame pro Sekunde oder weniger. Die Auswahl der für den Optimierungsprozess 31 verwendeten Frames kann auch vom Typ des Frames abhängen. Bei manchen Videokodierungsverfahren werden beispielsweise nur manche Frames vollständig abgespeichert, auch als I-Frames (Intrabilder) bezeichnet. Dazwischen liegende Frames (so genannte P-Frames oder B-Frames) werden aus referenzierten Bildteilen vorhergehender oder nachfolgender Einzelbilder, insbesondere I-Frames, rekonstruiert, d.h. in diesen Frames werden im Wesentlichen Änderungen zu vorhergehenden oder nachfolgenden Frames abgespeichert, um so Speicherplatz zu sparen. Bei manchen Ausführungsbeispielen werden zur Optimierung der Bildnachbearbeitungsparameter nur vollständig abgespeicherte Frames, beispielsweise I-Frames, verwendet. Bei anderen Ausführungsbeispielen kann auch jeder Frame zur Optimierung herangezogen werden. Je nach zur Verfügung stehender Rechenleistung kann dabei, wenn eine Echtzeitdarstellung erfolgen soll, auch nur ein Ausschnitt jedes Frames oder eine kleiner skalierte Version jedes Frames oder mancher Frames herangezogen werden, um Rechenzeit zu sparen. Eine derartige Herangehensweise kann beispielsweise hilfreich sein, wenn sich Bildverhältnisse schnell ändern und daher eine fortwährende Anpassung der Bildnachbearbeitungsparameter wünschenswert ist.
Bei dem Ausführungsbeispiel der 3 ist zu bemerken, dass statt einer kontinuierlichen Anwendung des Optimierungsprozesses 31 auch eine Detektion eingesetzt werden kann, die detektiert, wenn sich die Aufnahmebedingungen verändern, und in Antwort auf eine derartige Detektion eine erneute Optimierung durchgeführt werden.
Die Ausführungsbeispiele der 2 und 3 beziehen sich auf die Optimierung von Bildnachbearbeitungsparametern einschließlich einer Auswahl von Bildnachbearbeitungsverfahren (indem die Parameter z.B. auch angeben können, dass ein Verfahren nicht ausgeführt wird). Die Verfahren lassen sich entsprechend auch auf Bildaufnahmeparameter anwenden. Hier wird dann beispielsweise auf ein Bildmaß wie ein Bildmaß, welches eine Sichtbarkeit von Details beschreibt, optimiert, indem ein Bildaufnahmeparameter wie beispielsweise eine Beleuchtungsstärke optimiert wird, und dann können die Bildaufnahmeparameter für nachfolgende Bildaufnahmen verwendet werden.
Im Folgenden wird das Auffinden optimierter Parameter für Bildnachbearbeitungsverfahren anhand von Beispielen näher erläutert. Dabei wird als Beispiel davon ausgegangen, dass ein Bild derart nachbearbeitet werden soll, dass möglichst viele Details sichtbar werden, was für viele Anwendungen beispielsweise in der Mikroskopietechnik, in der Medizintechnik oder in der Überwachungstechnik ein wichtiges Kriterium ist. Als Nebenbedingung soll ein Rauschen nicht zu groß werden. Für ein derartiges Verfahren wird zum einen ein Bildmaß für die Sichtbarkeit von Details eines Bildes und zum anderen ein Bildmaß für das Rauschen benötigt. Um ein Maß für das Rauschen zu bestimmen, kann irgendein herkömmliches Verfahren angewendet werden, beispielsweise herkömmliche Verfahren, welche auf einer Wavelet-Analyse beruhen. Derartige Verfahren sind beispielsweise in W. Bäni, „Wavelets - Eine Einführung für Ingenieure“, 2. Auflage, Oldenbourg Verlag, 2005, Kapitel 9.2 beschrieben. Wavelet-basierte Verfahren ermöglichen insbesondere eine schnelle Bestimmung eines Maßes für das Rauschen.
Als Maß für die Sichtbarkeit von Details eines Bildes können ebenso herkömmliche Verfahren eingesetzt werden. Ein weiteres Verfahren, welches zur Bestimmung eines Maßes für die Sichtbarkeit von Details eines Bildes in Form eines lokalen Kontrastmaßes eingesetzt werden kann, wird nachfolgend unter Bezugnahme auf 4 beschrieben. Das nachfolgend unter Bezugnahme auf 4 beschriebene Verfahren stellt jedoch nur eine Möglichkeit zum Bestimmen eines derartigen Bildmaßes dar, und bei anderen Ausführungsbeispielen können andere Bildmaße verwendet werden.
Als Eingangsgröße wird dem Verfahren der 4 ein Bild, welches im Folgenden auch als Ursprungsbild I bezeichnet wird, übergeben, und ein Zahlenwert z, welcher ein Maß für die Details darstellt, wird zurückgegeben. Dabei wird für die Anwendung des Verfahrens der 4 das Ursprungsbild als Graustufenbild, d.h. ein Bild mit Helligkeitswerten, bereitgestellt. Farbbilder können hierzu in Graustufenbilder umgewandelt werden. Bei anderen Ausführungsbeispielen kann eine Optimierung für jeden Farbkanal separat durchgeführt werden. Auch bei anderen Bildmaßen, welche nur auf einzelnen Farbkanälen, z.B. auf einem Grauwertbild arbeiten, kann so vorgegangen werden. Bei anderen Ausführungsbeispielen können Bildmaße verwendet werden, die auf Farbbilder, z.B. RGB-Bildern, definiert sind. Auch können bei anderen Ausführungsbeispielen Bildmaße verwendet werden, die auf anderen Farbräumen als einem RGB-Farbraum /z.B. einem CieLab-Farbraum) oder auf einzelnen Kanälen hiervon definiert sind.
Bei 40 wird das Ursprungsbild I geglättet. Dies kann beispielsweise durch einen Gauß-Glättungskern (Kernel) mit einer Standardabweichung s₁ realisiert werden. Mittels einer geeigneten Wahl der Standardabweichung s₁ kann eine Lokalität der analysierten Kontraste, d.h. der analysierten Details, bestimmt werden. Bei großen Werten für s₁ wird auf einen globalen Kontrast geachtet, während kleinere Werte einem lokalen Kontrast und somit lokalen Details entsprechen. Somit kann durch Wahl von s₁ gesteuert werden, wie groß oder klein die Details sind bzw. wie lokal die Kontraste sind, welche in das Bildmaß einfließen und somit bei der später beschriebenen Optimierung berücksichtigt werden. Zur Veranschaulichung zeigen die 7A und 7B Optimierungsergebnisse für verschiedene Werte für s₁, wobei im Falle der 7A ein kleinerer Wert und im Falle der 7B ein größerer Wert für s₁ verwendet wurde. Während die 7B einen global höheren Kontrast aufweist und somit grobe Strukturen besser erkennbar sind, sind in 7A kleinere Details erkennbar, da in diesem Fall das Maß, welches mit dem Verfahren der 4 bestimmt wurde, mehr kleinere Details berücksichtigt.
Das Ergebnis der Glättungsoperation bei 40 ist ein geglättetes Bild, dessen Bildpunkte die lokale Helligkeit des Bildes repräsentieren.
Als Nächstes wird bei 41 ein Differenzbild zwischen dem bei 40 erzeugten geglätteten Bild und dem Ursprungsbild gebildet. Dieses Differenzbild wird mit D bezeichnet. Große Werte in dem Differenzbild D repräsentieren Bildpunkte, welche in ihrer lokalen Umgebung eine große Grauwertvarianz aufweisen. Bei anderen Ausführungsbeispielen können statt der Schritte 40 und 41 auch andere bekannte Verfahren zum lokalen Messen einer Grauwertvarianz verwendet werden.
Bei 42 wird das Differenzbild D geglättet, was beispielsweise mit einem Gauß-Glättungskern (Kernel) mit einer Standardabweichung s₂ realisiert werden kann. Das geglättete Differenzbild wird im Folgenden mit G bezeichnet. Eine derartige Glättung bewirkt, dass hohe Werte des Differenzbildes D, welche durch Rauschen hervorgerufen werden, geglättet werden. Größere Werte von s₂ ergeben eine größere Robustheit gegenüber Rauschen, bergen jedoch eine höhere Gefahr, dass auch tatsächliche Bilddetails geglättet werden. Bei anderen Ausführungsbeispielen können statt der Glättung bei 42 andere bekannte Entrauschungsverfahren verwendet werden.
Anschließend werden bei 43 die Bildpunkte des geglätteten Differenzbildes G mit einem Schwellenwert t verglichen. Dies kann gemäß folgender Gleichung vorgenommen werden: $I_{l} (x, y) = \frac{1}{t} max (0, t - G (x, y))$
I_l bezeichnet dabei ein „Bild“, dessen Bildpunkte jeweils ein Ergebnis des Vergleichs für den jeweiligen Bildpunkt des geglätteten Differenzbildes G bezeichnen. Mit x und y sind die Koordinaten des jeweiligen Bildpunktes bezeichnet. t entspricht dem Schwellenwert, und die Funktion max ergibt als Ausgabewert den größten Wert ihrer Argumente zurück, d.h. mit den hier verwendeten Argumenten entweder die Differenz zwischen dem Schwellenwert t und dem jeweiligen Bildpunkt des geglätteten Referenzbildes G oder den Wert 0, wenn die Differenz negativ, d.h. kleiner als 0, ist.
Der Schwellenwert t beschreibt dabei insbesondere eine Sensitivität, ab der ein Detail als erkennbar gilt. Dieser Schwellenwert kann insbesondere an die Sensitivität des menschlichen Auges und an das Darstellungsmedium angepasst werden. Beispielsweise sind auf einem kleinen Abzug einer Bildaufnahme, beispielsweise im Format 9 × 13 cm, grundsätzlich Details schwerer zu erkennen als auf einem größeren Abzug, beispielsweise in Postergröße. Bei Anzeigen auf Displays oder Monitoren hängt die Größe der erkennbaren Details auch von der Auflösung und Größe der jeweiligen Anzeigevorrichtung ab.
Die Auswirkungen verschiedener Schwellenwerte t auf das Ergebnis des nachfolgend beschriebenen Optimierungsverfahrens sind in 6 anhand eines Beispiels dargestellt. In 6A wurde ein kleinerer Wert für t gewählt, in 6B ein mittlerer Wert und in 6C ein größerer Wert. Dies führt dazu, dass in 6C die herausgearbeiteten Bilddetails einen größeren Kontrast aufweisen als in den 6A und 6B. Auf der anderen Seite sind in 6C einige Details nicht mehr zu erkennen, welche in 6A noch zu erkennen sind.
Bei 44 wird dann das Bildmaß als Maß für Details auf Basis des Vergleichs bei 43 bestimmt. Beispielsweise kann das Bildmaß als L_p-Norm des „Bildes“ I_l gemäß $z = {(\sum_{(x, y)} {| I_{l} (x, y) |}^{p})}^{1 /max (1, p)}$
bestimmt werden, wobei z das Bildmaß ist. p ist ein Parameter, welcher grundsätzlich zwischen 0 und unendlich gewählt werden kann. Im Falle p = 0 gelte 0⁰:=0 und a⁰:=1 für a ungleich 0. Bei p = 0 wird mit der Summe in Gleichung (2) die Anzahl von Bildpunkten ungleich 0 des „Bildes“ I_l bestimmt, d.h. es wird bestimmt, wie viele Bildpunkte des Ursprungsbildes einen lokal niedrigen Kontrast haben, ohne zu berücksichtigen, wie niedrig der lokale Kontrast ist. Der Fall unendlich entspricht dem Maximum über alle Bildpunkte I_l, entspricht also einem Maß für den niedrigsten vorliegenden lokalen Kontrast. Werte von p zwischen 0 und unendlich liegen zwischen diesen Extremen.
Insgesamt ist das Maß z ein Maß für die Anzahl der Bildpunkte mit lokal niedrigem Kontrast. Je höher der Wert z ist, desto schlechter sind im Allgemeinen Details in dem Bild erkennbar. Daher kann bei manchen Ausführungsbeispielen wie weiter unten erläutert eine Optimierung insbesondere darauf abzielen, den Wert z zu minimieren.
Zu beachten ist, dass das obenstehend unter Bezugnahme auf 4 beschriebene Verfahren nur einfache Arithmetiken benötigt und somit eine Berechnung sehr schnell erfolgen kann, beispielsweise mittels eines entsprechend programmierten Prozessors oder eines FPGA.
Im Folgenden wird nun anhand eines Beispiels erläutert, wie eine Optimierung zum Auffinden optimierter Parameter für Bildnachbearbeitungsverfahren vonstatten gehen kann. Dabei wird als Beispiel als Bildmaß ein Maß für einen Detailreichtum bzw. eine Größe von Bildbereichen mit niedrigem Kontrast, d.h. schlecht sichtbaren Details, verwendet. Dieses Maß wird mit z bezeichnet. Bei einem Ausführungsbeispiel wird z wie oben unter Bezugnahme auf 4 erläutert bestimmt.
Zudem wird für das hier diskutierte Ausführungsbeispiel ein Maß für das Rauschen des Bildes verwendet, welches mit n bezeichnet wird.
Es wird für das vorliegende Ausführungsbeispiel angenommen, dass N die Anzahl der verschiedenen zur Verfügung stehenden Bildnachbearbeitungsverfahren ist, wobei N ≥ 1 ist. p = (p₁,... ,p_N) sind die zu optimierenden Parameter der Nachbearbeitungsverfahren. Dabei wird zur Vereinfachung für das vorliegende Ausführungsbeispiel angenommen, dass es für jedes Bildnachbearbeitungsverfahren einen Parameter gibt, welcher die Stärke der Nachbearbeitung steuert. Dabei gibt es einen Wert, welcher einer Stärke von 0 entspricht, d.h. bedeutet, dass das jeweilige Verfahren nicht angewendet wird. Durch entsprechende Erweiterung des Vektors p auf mehr Parameter kann das beschriebene Verfahren jedoch problemlos auch auf Fälle angewendet werden, bei welchen ein Bildnachbearbeitungsverfahren mehr als einen Parameter aufweist. Sollte das Bildnachbearbeitungsverfahren nicht über einen Parameter verfügen, welcher angeben kann, dass das Verfahren nicht durchgeführt wird, kann hierzu auch ein entsprechender zusätzlicher Parameter eingeführt werden, welcher beispielsweise zwei verschiedene Werte annehmen kann, wobei einer der Werte bedeutet, dass das Verfahren durchgeführt wird, und der andere der Werte bedeutet, dass das Verfahren nicht durchgeführt wird. Für jeden der Parameter p_k, k = 1... N kann es einen vorgegebenen möglichen Wertebereich geben. Dieser kann prinzipbedingt durch das Bildnachbearbeitungsverfahren selbst oder durch eine vorgegebene maximale Stärke bestimmt sein.
Mit I wird wiederum ein zu bearbeitendes Ursprungsbild bezeichnet, und mit l(p) das Ursprungsbild nach der Anwendung der Nachbearbeitungsverfahren mit der Parametrisierung p. Schließlich ist mit T ein fester Zahlenwert bezeichnet, welcher ein oberes Maß für das Bildrauschen repräsentiert und beispielsweise anwendungsabhängig oder abhängig von einem persönlichen Geschmack eines Betrachters vorgegeben werden kann. Die Auswirkungen von T sind schematisch in 5 gezeigt. Dabei zeigt 5A ein Ergebnis einer Optimierung mit einem kleinen Wert für T, während 5B ein Ergebnis einer Optimierung mit einem größeren Wert T zeigt. 5B zeigt das schärfere Bild mit klareren Details, weist jedoch auch ein höheres Rauschen auf.
Eine optimierte Parametrisierung für die Bildnachbearbeitungsverfahren kann dann durch die Lösung des folgenden Optimierungsproblems (in für Optimierungsprobleme üblicher Notation) gefunden werden: $\begin{array}{l} m i n z (I (p)) \\ o v e r p = (p_{1}, \dots p_{N} \in W \subseteq R^{N}) \\ u n d e r n = (I (p)) \leq T \end{array}$
(R bezeichnet hier die Menge der reellen Zahlen und W ist eine Teilmenge des R^N, welche Nebenbedingungen an den Wertebereich der Nachbearbeitungparameter p_k beschreibt.) D.h., es wird über alle möglichen Parametrisierungen p das Maß z(I(p)) minimiert unter der Nebenbedingung, dass das Bildrauschen n(I(p)) kleiner der Rauschschwelle T ist. Alternativ kann bei einem anderen Ausführungsbeispiel das Optimierungsproblem auch gemäß $\begin{array}{l} m i n z (I (p)) + α s \\ o v e r p = (p_{1}, \dots p_{N} \in W \subseteq R^{N}) \\ s \geq 0 \\ u n d e r n = (I (p)) \leq T + s \end{array}$
formuliert werden. Hier wird eine so genannte Slackvariable s eingeführt, und α ist eine positive Konstante, welche vorgegeben ist. Größere Werte von α führen zu Ergebnisbildern mit weniger Rauschen. Durch eine derartige Slackvariable s werden grundsätzlich Überschreitungen der Rauschschwelle T ermöglicht, wenn dies zu einer durch die Konstante α festgelegten Verbesserung des Maßes z für die Bilddetails führt. Auch andere Formulierungen des Optimierungsproblems sind möglich. Dieses Optimierungsproblem kann dann mittels geeigneter herkömmlicher Optimierungsalgorithmen gelöst werden. Im Wesentlichen wird bei derartigen Algorithmen das Ursprungsbild mit den Bildnachbearbeitungsverfahren gemäß Startwerten der Parameter p₁ bis p_N nachbearbeitet und dann die Parameter variiert und überprüft, ob sich eine Verbesserung oder eine Verschlechterung des Maßes z ergibt. Ein geeignetes Optimierungsverfahren ist dabei das Nelder-Mead-Verfahren. Bevorzugt ist ein verwendetes Optimierungsverfahren anytime fähig, d.h. bei schrittweiser Optimierung der Parametrisierungen kann nach jedem Optimierungsschritt ein entsprechendes Bild mit einem momentanen Stand von Parametern angezeigt werden.
Zu bemerken ist, dass das Zielfunktional der oben beschriebenen Optimierungsverfahren, d.h. z(I(p)), im Allgemeinen nicht konvex ist, sodass Optimierungsverfahren verwendet werden sollten, welche auf derartige nicht konvexe Zielfunktionale anwendbar sind.
Bei dem oben angesprochenen Optimierungsverfahren haben das Maß z und das Optimierungsproblem Parameter, die verbal beschreibbaren Eigenschaften entsprechen. Z.B. entspricht die Rauschschwelle T dem maximalen Rauschen. Falls der Benutzer das von dem Verfahren ermittelte optimierte Bild als zu verrauscht ermittelt, kann er diesen Wert z.B. kleiner wählen. Falls ein Nutzer nur größere Details erkennen möchte, kann der Wert s₁ entsprechend vergrößert werden.
Eine Automatisierung der Bestimmung der Parametrisierung p wie oben beschrieben ist vor allem dann besonders vorteilhaft, wenn viele Bildnachbearbeitungsverfahren zur Auswahl stehen, und/oder wenn aufgenommene Bilder einen höheren Wertebereich haben als ein Darstellungsmedium. Hier ist es wichtig, eine Grauwerttransformation zu finden, welche den Wertebereich dem Darstellungsmedium anpasst, wobei möglichst viele Details im Bild visualisiert oder erhalten werden sollen.
Es können andere Maße als die oben diskutierten Bildmaße oder andere Optimierungsprobleme verwendet werden. Auch können zusätzliche Bildmaße verwendet werden. Beispielsweise kann ähnlich dem Rauschen ein Bildmaß verwendet werden, welches unerwünschte Effekte bei zu starker Anwendung von Bildnachbearbeitungsverfahren misst, beispielsweise so genannte Haloeffekte, und mittels einer Nebenbedingung mit einem Schwellenwert das Auftreten derartiger unerwünschter Effekte begrenzt werden.
Die für die Optimierung benötigten Berechnungen können wie bereits erläutert auch in spezieller Hardware, beispielsweise einem FPGA, durchgeführt werden, um die Berechnung zu beschleunigen. Bei der Optimierung kann auch ein Vorwissen über verwendete Bildbearbeitungsverfahren integriert werden. Beispielsweise kann es in Abhängigkeit von der jeweiligen Anwendung sinnvoll sein, eine Reihenfolge vorzugeben, in welcher die Parameter der einzelnen Bildnachbearbeitungsverfahren optimiert werden. Beispielsweise kann dies aus Erfahrungswerten bei manueller Einstellung der Parameter abgeleitet werden, wenn sich hier eine bestimmte Reihenfolge als grundsätzlich sinnvoll erwiesen hat.
Angesichts der Vielzahl von möglichen Variationen und Abwandlungen wie oben beschrieben sind die dargestellten Ausführungsbeispiele nur beispielhaft zu verstehen und nicht als einschränkend auszulegen.

Claims

Verfahren zur Bildoptimierung, umfassend: Bereitstellen eines Ursprungsbildes, Bereitstellen mindestens eines Qualitätsmaßes für die Qualität eines Bildes, wobei das mindestens eine Qualitätsmaß ein Maß für die Sichtbarkeit von Details des Bildes umfasst, Bestimmen mindestens eines bildbestimmenden Parameters durch eine Optimierung des Ursprungsbildes auf Basis des mindestens einen Qualitätsmaßes, und Anwenden des mindestens eines bildbestimmenden Parameters auf mindestens ein zu bearbeitendes Bild, wobei das Maß für die Sichtbarkeit von Details bestimmt wird durch: Glätten des Ursprungsbildes, Bilden eines Differenzbildes zwischen dem geglätteten Ursprungsbild und dem Ursprungsbild, Glätten des Differenzbildes, Vergleichen von Bildpunkten des geglätteten Differenzbildes mit einem Schwellenwert, und Bestimmen des Maßes auf Basis des Vergleichs.
Verfahren nach Anspruch 1, wobei das mindestens eine Qualitätsmaß ein Maß für ein Rauschen eines Bildes umfasst.
Verfahren nach Anspruch 2, wobei das Optimieren ein Optimieren des Maßes für die Sichtbarkeit von Details unter einer Nebenbedingung für das Maß des Rauschens umfasst.
Verfahren nach einem der Ansprüche 1-3, wobei das Glätten des Ursprungsbildes ein Glätten mit einem Gauß-Kernel umfasst, und/oder wobei das Glätten des Differenzbildes ein Glätten mit einem Gauß-Kernel umfasst.
Verfahren nach einem der Ansprüche 1-4, wobei das Vergleichen mit einem Schwellenwert gemäß $I_{l} (x, y) = \frac{1}{t} max (0, t - G (x, y))$
vorgenommen wird, wobei G(x,y) ein Bildpunkt an den Koordinaten x, y des geglätteten Differenzbildes ist, wobei t der Schwellenwert ist, wobei max eine Funktion ist, welche das Maximum ihrer Argumente zurückliefert, und wobei I_l(x,y) das Ergebnis des Vergleichs für den Bildpunkt (x,y) darstellt, und wobei das Bestimmen des Maßes gemäß $z = {(\sum_{(x, y)} {| I_{l} (x, y) |}^{p})}^{1 /max (1, p)}$
vorgenommen wird, wobei p ein vorgegebener Parameter ist und z das Maß ist.
Verfahren nach einem der Ansprüche 1-5, wobei der mindestens eine bildbestimmende Parameter mindestens einen Parameter ausgewählt aus der Gruppe bestehend aus Parametern für Bildnachbearbeitungsverfahren und Aufnahmeparametern umfasst.
Verfahren nach einem der Ansprüche 1-6, wobei der mindestens eine Bildparameter eine Vielzahl von Nachbearbeitungsparametern für mindestens zwei verschiedene Bildnachbearbeitungsverfahren umfasst.
Verfahren nach Anspruch 7, wobei jedem der mindestens zwei Bildnachbearbeitungsverfahren mindestens einer der Parameter der Vielzahl von Parametern zugeordnet ist, welcher auf einen Wert setzbar ist, der angibt, dass das jeweilige Bildnachbearbeitungsverfahren nicht angewendet wird.
Verfahren nach einem der Ansprüche 1-8, wobei das Bereitstellen eines Ursprungsbildes ein Aufnehmen eines Videos mit einer Vielzahl von Bildern umfasst, wobei das mindestens eine zu bearbeitende Bild die Bilder des Videos umfasst, wobei nur ein Teil der Bilder des Videos als Ursprungsbild verwendet wird.
Vorrichtung zur Bildoptimierung, umfassend: eine Verarbeitungseinrichtung (12), welcher ein Ursprungsbild zuführbar ist, wobei die Verarbeitungseinrichtung eingerichtet ist ein Ursprungsbild zu empfangen, mindestens einen bildbestimmenden Parameter durch eine Optimierung des Ursprungsbildes auf Basis von mindestens einem Qualitätsmaß für die Qualität eines Bildes zu bestimmen, wobei das mindestens eine Qualitätsmaß ein Maß für die Sichtbarkeit von Details des Bildes umfasst, und den mindestens einen bildbestimmenden Parameter auf mindestens ein zu bearbeitendes Bild anzuwenden, wobei die Verarbeitungseinrichtung (12) eingerichtet ist, das Maß für die Sichtbarkeit von Details zu bestimmen durch: Glätten des Ursprungsbildes, Bilden eines Differenzbildes zwischen dem geglätteten Ursprungsbild und dem Ursprungsbild, Glätten des Differenzbildes, Vergleichen von Bildpunkten des geglätteten Differenzbildes mit einem Schwellenwert, und Bestimmen des Maßes auf Basis des Vergleichs.
Vorrichtung nach Anspruch 10, weiter umfassend eine Bildaufnahmeeinrichtung (11) zum Bereitstellen des Ursprungsbildes.
Vorrichtung nach Anspruch 10 oder 11, wobei die Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1-9 eingerichtet ist.