-
Die
Erfindung bezieht sich auf das Gebiet der digitalen Bildverarbeitung
von abgetasteten Bildvorlagen und betrifft ein Verfahren zur automatischen
Erkennung von Bildfehlern, die beispielsweise durch Staub oder Kratzer
auf einer Bildvorlage beim Abtasten in den Bilddaten der Bildvorlage
entstehen.
-
Solche
Bildfehler sind besonders störend
bei der digitalen Bildverarbeitung in der Reproduktionstechnik,
bei der die abgetasteten Bilddaten zu Druckvorlagen und Druckformen
weiter verarbeitet werden. Dazu werden verhältnismäßig kleine Bildvorlagen, beispielsweise
Diapositive oder Farbnegative, mit einem sehr hoch auflösenden Scanner
abgetastet und dabei in der Regel stark vergrößert. Dadurch erscheinen schon
kleine Fremdkörper
oder Defekte auf der Oberfläche
der Bildvorlagen, wie beispielsweise Staub, Haare oder Kratzer,
als sichtbare Fehler auf der Druckform.
-
Zur
Beseitigung derartiger Fehler bei der Abtastung von transparenten
Vorlagen beschreibt die Patentschrift
US-A-5,969,372 bereits eine Reihe von Verfahren,
mit denen sich Fremdkörper
oder Oberflächendefekte
auf der Bildvorlage erkennen und anschließend auf elektronischem Wege
korrigieren lassen. Bei diesen Verfahren wird jeder Bildpunkt auf
der transparenten Bildvorlage im Scanner zweimal abgetastet, wobei
die Bildvorlage bei einer Abtastung mit normalem sichtbarem Licht
beleuchtet wird, das nach dem Hindurchtritt durch die Bildvorlage
auf einen Sensor fällt
und dort eine zu korrigierende elektronische Abbildung erzeugt.
Die zweite Abtastung liefert anschließend eine Fehlersignatur, d.h.
eine elektronische Abbildung der Fremdkörper oder Oberflächendefekte,
die dann in einer Bildverarbeitungs-Software verwendet wird, um entsprechende
Bereiche der ersten Abbildung in geeigneter Weise zu verändern, zum
Beispiel indem die Bildpunkte in diesen Bereichen durch Bildpunkte
ersetzt werden, deren Helligkeit aus Helligkeitsmessungen von Bildpunkten
in benachbarten als fehlerfrei identifizierten Bereichen der Abbil dung
abgeleitet wird. Für
die zweite Abtastung sind verschiedene Möglichkeiten offenbart, darunter
in erster Linie die Beleuchtung der Vorlage mit infrarotem Licht, das
von den normalerweise verwendeten Pigmenten der Vorlage durchgelassen
wird, während
Fremdkörper oder
Oberflächendefekte
zu einer Verringerung der Durchlässigkeit
führen,
sowie eine Dunkelfeldbeleuchtung der Vorlage mit sichtbarem oder
infrarotem Licht, bei der nur von den Fremdkörpern oder Oberflächendefekten reflektiertes,
gestreutes, gebrochenes oder in sonstiger Weise abgelenktes Licht
auf den Sensor einfällt
und dort die Fehlersignatur erzeugt.
-
Obwohl
sich diese beiden Verfahren und insbesondere die Abtastung mit infrarotem
Licht im allgemeinen gut bewähren,
weisen sie doch einige Nachteile auf. Die in einigen Vorlagen enthaltenen
Pigmente sind nicht immer ausreichend transparent für infrarotes
Licht oder weisen eine unterschiedliche Transparenz für dieses
auf, was bei der Fehlererkennung mit dem zuerst genannten Verfahren
zu Problemen führen
kann. Mit einer Dunkelfeldbeleuchtung der Vorlage lassen sich hingegen
wegen der geringen Empfindlichkeit sehr kleine Fremdkörper oder
Oberflächendefekte
nicht erfassen. Der Hauptnachteil solcher Verfahren ist jedoch,
dass im Scanner zusätzliche
Lichtquellen, Filter und weitere Vorrichtungen vorgesehen werden
müssen,
um diese Verfahren auszuführen.
Außerdem
muss die Bildvorlage mehrfach abgetastet werden, wodurch die Abtastung mehr
Zeit kostet und unwirtschaftlich ist. Zusätzlich besteht die Gefahr,
dass zwischen den verschiedenen Abtastungen Passungenauigkeiten
auftreten.
-
Wenn
kein speziell für
die Fehlererkennung ausgerüsteter
Scanner zur Verfügung
steht oder aus Kostengründen
nicht verwendet werden soll, müssen
die Bildfehler nach dem Abtasten in den digitalen Bilddaten korrigiert
werden. Dazu werden nach dem Stand der Technik verschiedene elektronische
Retuscheverfahren eingesetzt.
-
Ein
bekanntes Retuscheverfahren ist die kopierende Retusche, wie sie
in der europäischen
Patentschrift
EP-0111026-B1 beschrieben
ist. Sie wird genutzt, um Informationen eines Bildbereichs auf einen
anderen Bildbereich Bildpunkt für
Bildpunkt zu übertragen.
Damit können
Fehlerstellen im Bild beseitigt werden, indem in den beschädigten Bildbereich
Bildpunkte aus einem benachbarten Bildbereich mit ähnlicher
Farbe und Struktur kopiert werden. Zur Ausführung der Retusche bewegt der
Bediener an einem Computer-Arbeitsplatz, in dem das zu retuschierende
Bild gespeichert ist, mittels einer Computermaus gleichzeitig eine
Lesemarke und eine Schreibmarke, die auf dem Bildschirm eingeblendet
sind. Die Lesemarke zeigt auf einen Lesebereich des Bildes, und
die Schreibmarke zeigt auf einen Schreibbereich, in dem sich die
Fehlerstelle befindet. Dabei werden in dem gespeicherten Bild laufend
die unter der Lesemarke befindlichen Bildpunkte in die entsprechenden
Bildpunkte unter der Schreibmarke übertragen.
-
In
der europäischen
Patentschrift
EP-0768621-B1 wird
ein teilweise automatisiertes Verfahren zur Beseitigung von Bildfehlern
beschrieben. Zunächst
werden vom Bediener die Bildfehler manuell in einem Maskenspeicher
als Bitmap gekennzeichnet. Dann werden die in der Bitmap gekennzeichneten
Bildpunkte der Fehlerstellen mit einem speziellen Fensteroperator
korrigiert. Der Fensteroperator legt unter verschiedenen Winkeln
Liniensegmente über
jeden Bildpunkt der Fehlerstelle, wobei die äußeren Enden der Liniensegmente in
nicht-defekte Nachbarbereiche des Bildfehlers hineinragen. Die Farbwerte
der nicht-defekten Bildpunkte werden entlang jedes Liniensegments
mit Farbwerten verglichen, die aus einem Interpolationsmodell gewonnen
wurden. Dann wird das Liniensegment ausgewählt, das den geringsten Interpolationsfehler
aufweist. Schließlich
wird das defekte Pixel der Fehlerstelle entlang des ausgewählten Liniensegments
nach dem Interpolationsmodell interpoliert.
-
In
der deutschen Patentanmeldung
DE-19842572-A1 wird ein Verfahren zur automatischen
Entfernung von Bildfehlern in digitalen Bilddaten angegeben. Dazu
wird mittels eines Konturfilters eine Konturmaske erzeugt und zusätzlich eine
Farbmaske erzeugt, die die Bildbereiche mit der typischen Farbe
eines Bildfehlers erfasst. Durch Verknüpfung der Konturmaske und der
Farbmaske entsteht eine Fehlermaske, die noch automatisch korrigiert
und gegebenenfalls manuell editiert wird. Die verbleibenden Konturen
der Fehlermaske werden vektorisiert. Dann wird entlang der vektorisierten
Konturen eine automatische Verlaufsretusche ausgeführt. Dazu
wird je ein Linienendpunkt auf beiden Seiten der Fehlerkontur gewählt und
für alle
Bildpunkte, die auf der Verbindungslinie zwischen den Linienendpunkten liegen,
werden Zwischenwerte interpoliert, die die fehlerhaften Bildpunkte
ersetzen. Das Verfahren ist vorwiegend zur Beseitigung von Bildfehlern
in Form von Kratzern oder ähnlichen
Strukturen geeignet.
-
Weiterhin
sind Verfahren zur Reduzierung des Rauschens in Bilddaten durch
die Anwendung verschiedener Filtermethoden bekannt, die gewissermaßen als
Nebeneffekt auch die beim Abtasten durch Staub usw. entstandenen
Bildfehler vermindern. So ist in der europäischen Patentanmeldung
EP-0849706-A2 ein Verfahren
beschrieben, bei dem zunächst
die Varianz der Bildpunkte bezogen auf eine kleine Umgebungsfläche ermittelt
wird. Abhängig
vom Wert der Varianz wird dann eine gewichtete Medianwertfilterung
der Bildpunkte durchgeführt.
Dabei werden Bildpunkte mit einer kleinen Varianz stark gefiltert,
d.h. der ursprüngliche Bildpunktwert
wird durch den Medianwert ersetzt, und Bildpunkte mit einer großen Varianz
werden nicht gefiltert oder nur wenig in Richtung auf den Medianwert
verändert.
Dadurch wird in strukturreichen Bildteilen weniger stark gefiltert
als in strukturarmen Bereichen. Das Verfahren vermindert auch durch
Staub entstandene Bildfehler etwas, beseitigt sie aber nicht vollständig, da
solche Bildfehler im allgemeinen eine mittelgroße bis große Varianz bezogen auf eine
kleine Umgebungsfläche
haben. Das Verfahren wertet diese Bildfehler deshalb als strukturreiche
Bildteile, d.h. es kann die Bildfehler nicht von normalen Bildstrukturen
unterscheiden und ist deshalb nicht zur Erkennung und Beseitigung
der Bildfehler geeignet.
-
Aus
der
EP-0531904-A2 ist
ein Verfahren zur Filterung von digitalen Bilddaten bekannt, bei
dem in zwei unterschiedlich großen
Umgebungen eines Bildpunktes charakteristische Werte berechnet werden.
Für die
größere Umgebung
wird ein Maß für die Variation
der Bildpunktwerte berechnet und mit einem Schwellwert verglichen.
In der bevorzugten Ausführungsform
ist dieses Maß die
absolute mittlere Abweichung vom Mittelwert. Für die kleinere Umgebung und
für die
größere Umgebung
werden außerdem
jeweils die einfachen Mittelwerte (Durchschnittswerte) bestimmt.
Auf der Basis dieser drei charakteristischen Werte und des Schwellwertes
wird entschieden, in welchen Bereichen ein Hochpass- bzw. Tiefpassfilter
angewendet wird.
-
Die
nach dem Stand der Technik bekannten Verfahren zur Entfernung von
Bildfehlern haben den Nachteil, dass oft ein Bediener zunächst die
Lage der Fehlerstellen im Bild suchen und kennzeichnen muss, was
sehr zeitaufwendig ist. Außerdem
können
Fehlerstellen dabei vom Bediener übersehen werden. Automatische
Verfahren sind rechenaufwendig oder eignen sich nur für Bildfehler,
die eine bestimmte Form haben, wie z.B. Kratzer. Verfahren, die
für die
Verminderung des Rauschens optimiert sind, können beim Abtasten entstandene
Bildfehler nicht von den Bildstrukturen unterscheiden und sind deshalb
nicht wirkungsvoll genug. Außerdem
verändern
sie durch ihre Filteroperationen alle Bereiche des Bildes und nicht
nur die Bereiche, in denen ein Bildfehler vorliegt.
-
Die
Aufgabe der vorliegenden Erfindung ist daher, die Nachteile der
bekannten Verfahren zur Entfernung von Bildfehlern in digitalen
Bilddaten zu vermeiden und ein neues Verfahren anzugeben, das eine
automatische und sichere Erkennung der Fehlerstellen ermöglicht.
Nach diesem Schritt können
dann verschiedene Methoden zur Entfernung der Bildfehler gezielt
dort angewendet werden, wo in den Bilddaten ein Bildfehler erkannt
worden ist.
-
Diese
Aufgabe wird durch die Merkmale des Anspruchs 1 gelöst. Vorteilhafte
Weiterbildungen sind in den Unteransprüchen angegeben. Die Erfindung
wird nachfolgend anhand der 1 bis 3 näher beschrieben.
-
Es
zeigen:
-
1 einen Ausschnitt aus den
Bilddaten mit den Umgebungen N1 und N2,
-
2 die Umgebungen N1 und
N2, und
-
3 ein Beispiel für den Verlauf
der Wahrscheinlichkeitsfunktion w(x,y) in Abhängigkeit von den Momenten m1
und m2.
-
1 zeigt einen Ausschnitt
aus den Bilddaten 1, in denen die Bildfehler erkannt werden
sollen. Vorzugsweise liegt für
die Bilddaten 1 eine Helligkeitskomponente L vor. Wenn
es sich um Farbbilddaten handelt, beispielsweise mit den Farbkomponenten
Rot, Grün
und Blau, so kann nach bekannten Verfahren daraus eine Helligkeitskomponente
L abgeleitet werden, z.B. nach der Beziehung: L = 0,299 × R + 0,587 × G + 0,114 × B (1)
-
Durch
Transformation der Farbbilddaten in den geräteunabhängigen Farbraum CIE-LAB gewinnt
man ebenfalls eine Helligkeitskomponente L. Alternativ kann auch
eine der Farbkomponenten als Ersatz für die Helligkeitskomponente
L genommen werden, vorzugsweise die Farbkomponente Grün.
-
In
einem ersten Schritt des erfindungsgemäßen Verfahrens wird für jeden
Bildpunkt P(x,y) aus den Helligkeitswerten L(u,v) einer ersten kleinen
Umgebung N1 das zweite Moment m1(x,y) berechnet, d.h. die Wurzel
aus der Varianz.
-
-
Dabei
ist angenommen, dass die Umgebung N1 ein Quadrat von n1 × n1 Bildpunkten
umfasst. 2 zeigt die
Umgebung N1 noch einmal vergrößert. Die
Umgebung N1 kann auch ein Rechteck sein oder eine andere Form haben,
beispielsweise ein im Rahmen der Bildauflösung angenäherter Kreis. <L> ist der Mittelwert
der Helligkeitswerte L(u,v) über
die Umgebung N1.
-
-
Im
zweiten Schritt des erfindungsgemäßen Verfahrens wird für jeden
Bildpunkt P(x,y) aus den Helligkeitswerten L(u,v) einer zweiten
größeren Umgebung
N2 das zweite Moment m2(x,y) berechnet.
-
-
2 zeigt auch die zweite
Umgebung N2. Für
das Verfahren ist es wichtig, dass die erste Umgebung N1 relativ
klein gegenüber
den kleinsten zum Bildinhalt gehörenden
Objekten ist, beispielsweise 3 × 3
Bildpunkte, und dass die zweite Umgebung N2 deutlich größer ist,
beispielsweise 21 × 21
Bildpunkte. Andererseits sollte die zweite Umgebung N2 aber noch
klein sein gegenüber
der Breite und der Höhe
des ganzen Bildes, beispielsweise mindestens 20-mal kleiner. Bei
in der Reproduktionstechnik verarbeiteten Bildern, die mit hoher Auflösung abgetastet
werden, ist diese Forderung leicht zu erfüllen.
-
Im
dritten Schritt des erfindungsgemäßen Verfahrens werden für die berechneten
Momente m1(x,y) und m2(x,y) Schwellwerte T1 bzw. T2 festgelegt.
Ein Bildpunkt P(x,y) wird dann als zu einem Bildfehler gehörig erkannt,
wenn sein Moment m1(x,y) den Schwellwert T1 überschreitet und wenn sein
Moment m2(x,y) den Schwellwert T2 unterschreitet. Dies wird mit
einer zweiwertigen Fehlerfunktion e(x,y) kennzeichnet. e(x, y) = 1 wenn ml(x, y) > T1 und m2(x, y) < T2 e(x, y) = 0
sonst (5)
-
Mit
diesem Kriterium werden Bildpunkte als Fehler erkannt, die zu sehr
kleinen Objekten in einer strukturarmen Umgebung gehören, und
deren Helligkeit deutlich von den umgebenden Bildpunkten abweicht.
Solche Objekte werden typischerweise durch Staub verursacht. In
stark strukturierten Gebieten des Bildes ist die Varianz bzw. das
zweite Moment relativ groß,
so dass aufgrund des zweiten Teils des Kriteriums (5) in solchen Gebieten
keine Bildfehler erkannt werden. Damit wird vermieden, dass Bildstrukturen
fälschlicherweise
als Bildfehler erkannt werden. Selbst wenn in diesen Gebieten durch
Staub verursachte Bildfehler vorhanden sind, sind sie in der stark
strukturierten Umgebung kaum zu erkennen und stören deswegen nicht. Es ist
dann besser, sie nicht zu korrigieren, als die Bildstrukturen durch
Filteroperationen zu verändern
und die Bildschärfe
zu beeinträchtigen.
Durch die kombinierte Analyse der Varianz bzw. der zweiten Momente
in zwei verschieden großen
Umgebungen N1 und N2 können
zum Bildinhalt gehörende
Objekte und Strukturen relativ sicher von den durch Staub, Kratzer
usw. erzeugten Bildfehlern unterschieden werden, so dass in einem
anschließenden Prozess
nur die Bildfehler korrigiert werden ohne die im Bild enthaltenen
Strukturen zu verfälschen.
-
Um
eine optimale Erkennung der Bildfehler zu erreichen, werden die
Schwellwerte T1 und T2 vorzugsweise abhängig vom Bildinhalt festgelegt.
Dazu werden beispielsweise die in den Umgebungen N1 und N2 ermittelten
zweiten Momente m1(x,y) bzw. m2(x,y) über das ganze Bild gemittelt,
so dass man die Mittelwerte <m1> und <m2> erhält. Wird
dann z.B. T2 = <m2> festgelegt, so wird
bei der Erkennung der Bildfehler genau zwischen über- und unterdurchschnittlich
stark strukturierten Bildbereichen unterschieden. Für den Schwellwert
T1 ist es z.B. vorteilhaft, ihn deutlich größer als <m1 > festzulegen,
um nur solche Bildpunkte als Bildfehler zu erkennen, deren Varianz
bzw. zweites Moment sich genügend
vom Durchschnitt des Bildes abhebt.
-
Bei
einer alternativen Methode zur optimalen Festlegung der Schwellwerte
T1 und T2 werden zunächst
die Histogramme der zweiten Momente m1(x,y) bzw. m2(x,y) ermittelt.
Der Schwellwert T1 wird dann beispielsweise so festgelegt, dass
ein fester Anteil der Bildpunkte mit seinem zweiten Moment m1(x,y)
oberhalb des Schwellwertes liegt. Damit wird direkt eine bestimmte
Anzahl von vermuteten Bildpunkten vorgegeben, die zu Bildfehlern
gehören
könnten,
beispielweise 0,5% der Bildpunkte. Die Erfahrung aus der Praxis zeigt,
dass dieser Anteil bei Bildvorlagen, die aufeinanderfolgend unter
gleichen Bedingungen abgetastet werden, näherungsweise konstant ist.
Wenn dieser Anteil bekannt ist, kann der Schwellwert T1 so optimiert
werden, dass mit hoher Wahrscheinlichkeit mit dem ersten Teil des
Kriteriums (5) nur die fehlerhaften Bildpunkte gefunden werden und
keine fehlerfreien Bildpunkte, die zum Bildinhalt gehören. Der
Schwellwert T2 wird aufgrund des Histogramms so festgelegt, dass
der überwiegende
Teil der strukturreichen Bildgebiete nicht auf Bildfehler untersucht
wird.
-
In
einer weiteren Ausführungsform
der Erfindung wird anstelle einer zweiwertigen Fehlerfunktion e(x,y) eine
in den Momenten m1 und m2 kontinuierliche Wahrscheinlichkeitsfunktion
w(x,y) ermittelt, die angibt, mit welcher Wahrscheinlichkeit ein
Bildpunkt ein Bildfehler ist. Eine dafür geeignete Funktion ist:
-
Mit
den Parametern β1
und β2 kann
eingestellt werden, wie „weich" der Übergang
der Funktion zwischen den Extremwerten 0 bzw. 1 im Bereich der Schwellwerte
T1 und T2 ist. Für
große
Werte von β1
und β2 geht
die Funktion in eine zweiwertige Fehlerfunktion nach Gleichung (5) über. 3 veranschaulicht den Verlauf
der Wahrscheinlichkeitsfunktion w(x,y) im Bereich der Schwellwerte
T1 und T2. Eine Wahrscheinlichkeit, mit der ein Bildpunkt zu einem
Bildfehler gehört,
kann auch mit anderen Funktionen als mit der Funktion in Gleichung
(6) aus den Momenten m1(x,y) und m2(x,y) abgeleitet werden. Grundsätzlich sind
alle Funktionen geeignet, die im Bereich der Schwellwerte T1 und
T2 kontinuierliche Werte w(x,y) zwischen 0 und 1 ergeben und sich
für Momente,
die weiter von den Schwellwerten entfernt sind, den Extremwerten
0 bzw. 1 annähern.
-
Nachdem
die Bildfehler mit dem erfindungsgemäßen Verfahren erkannt und mit
der Fehlerfunktion e(x,y) bzw. der Wahrscheinlichkeitsfunktion w(x,y)
gekennzeichnet worden sind, können
sie mit einer der bekannten und bewährten Methoden korrigiert werden.
Dazu werden sie beispielsweise mit der Medianwertfilterung, mit
einer automatischen Verlaufsretusche oder allgemein mit einem beliebigen
Verfahren korrigiert, das die Bildpunktwerte im Bereich der Bildfehler
durch Werte ersetzt, die aus den Bildpunkten der unmittelbaren Umgebung
gewonnen werden, so dass die korrigierten Bildpunkte sich harmonisch
in die Bildpunkte der Umgebung einfügen. Für den Fall, dass die Bildfehler
mit einer zweiwertigen Fehlerfunktion e(x,y) gekennzeichnet worden
sind, ersetzen die nach dem Korrekturverfahren bestimmten Bildpunktwerte
die ursprünglichen
Bildpunktwerte vollständig
dort, wo die Fehlerfunktion den Wert 1 hat. Falls die Bildfehler
mit einer Wahrscheinlichkeitsfunktion w(x,y) nach dem Kriterium
(6) gekennzeichnet worden sind, wird beispielsweise ein neuer Bildpunktwert
aus einer mit w(x,y) bzw. 1–w(x,y)
gewichteten Mittelung des nach dem Korrekturverfahren bestimmten
Bildpunktwertes und des ursprünglichen
Bildpunktwertes bestimmt. Auf diese Weise erfolgt im Bereich der Schwellwerte
T1 bzw. T2 ein gradueller Übergang
zwischen unkorrigierten Bildpunkten und vollständig korrigierten Bildpunkten.
