DE19842572A1

DE19842572A1 - Verfahren zur automatischen Entfernung von Bildfehlern

Info

Publication number: DE19842572A1
Application number: DE19842572A
Authority: DE
Inventors: Rolf Behrends
Original assignee: Heidelberger Druckmaschinen AG
Current assignee: Heidelberger Druckmaschinen AG
Priority date: 1998-09-17
Filing date: 1998-09-17
Publication date: 2000-03-23
Anticipated expiration: 2018-09-18
Also published as: US6504953B1; DE19842572B4

Abstract

Es wird ein Verfahren zur automatischen Entfernung von Bildfehlern in digitalen Bilddaten angegeben, die z. B. durch Kratzer, Haare usw. entstanden sind. Dazu wird mittels eines Konturfilters eine Konturmaske erzeugt und zusätzlich eine Farbmaske erzeugt, die die Bildbereiche mit der typischen Farbe eines Bildfehlers erfaßt. Durch Verknüpfung der Konturmaske und der Farbmaske entsteht eine Fehlermaske, die noch automatisch korrigiert und gegebenenfalls manuell editiert wird. Die verbleibenden Konturen der Fehlermaske werden vektorisiert. Dann wird entlang der vektorisierten Konturen eine automatische Verlaufsretusche ausgeführt.

Description

Die Erfindung bezieht sich auf das Gebiet der elektronischen Reproduktions technik und betrifft ein Verfahren zur automatischen Entfernung von Fehlerstel len in einem digital gespeicherten Bild.

In der Reproduktionstechnik werden Druckvorlagen für Druckseiten erzeugt, die alle zu druckenden Seitenelemente wie Texte, Grafiken und Bilder enthalten. Im Fall der elektronischen Herstellung der Druckvorlagen liegen diese Elemente in Form von digitalen Daten vor. Für ein Bild werden die Daten z. B. erzeugt, indem die Bildvorlage in einem Scanner punkt- und zeilenweise abgetastet wird, jeder Bildpunkt in Farbkomponenten zerlegt wird und die Farbwerte dieser Kompo nenten digitalisiert werden. Je nach dem später verwendeten Ausgabeprozeß, z. B. Ausgabe auf einem Farbdrucker oder Drucken in einer konventionellen Druckmaschine, werden die Daten für die Seitenelemente in den Farbkompo nenten Rot, Grün und Blau (RGB) oder in den Druckfarben des Vierfarbdrucks Cyan, Magenta, Gelb und Schwarz (CMYK) erzeugt und gespeichert.

Im weiteren Arbeitsablauf werden die digitalisierten Bilder zusammen mit den Texten und Grafiken an einem Computer Arbeitsplatz unter Sichtkontrolle auf einem Farbmonitor oder automatisch nach gespeicherten Layoutvorgaben elek tronisch montiert. Die fertige Druckseite wird dabei in ein für die Ausgabe ge eignetes Datenformat umgewandelt und gespeichert. Die Druckseitendaten für jede der Druckfarben (RGB bzw. CMYK) werden als Farbauszugdaten bezeich net. Mit den Farbauszugdaten werden Druckplatten für eine konventionelle Druckmaschine hergestellt oder sie werden direkt zu einem Farbdrucker oder zu einer digitalen Druckmaschine übertragen und dort ausgedruckt.

Es kommt vor, daß die Bilddaten der gescannten Bilder fehlerhafte Stellen auf weisen, wie z. B. Kratzer in der Originalvorlage oder Fehlerstellen, die durch Haare, Fasern usw. entstehen, die der Bildvorlage während des Scanvorgangs anhaften. Solche Fehler müssen bei der Reproduktion korrigiert werden, bevor die Bilder gedruckt werden können. Dazu werden nach dem Stand der Technik verschiedene elektronische Retuscheverfahren eingesetzt.

Ein bekanntes Retuscheverfahren ist die kopierende Retusche, wie sie in der Europäischen Patentschrift 01 11 026 beschrieben ist. Sie wird genutzt, um Informationen eines Bildbereichs auf einen anderen Bildbereich Bildpunkt für Bildpunkt zu übertragen. Damit können Fehlerstellen im Bild beseitigt werden, indem in den beschädigten Bildbereich Bildpunkte aus einem benachbarten Bildbereich mit ähnlicher Farbe und Struktur kopiert werden. Zur Ausführung der Retusche bewegt der Bediener an einem Computer Arbeitsplatz, in dem das zu retuschierende Bild gespeichert ist, mittels einer Computermaus gleichzeitig ei ne Lesemarke und eine Schreibmarke, die auf dem Bildschirm eingeblendet sind. Die Lesemarke zeigt auf einen Lesebereich des Bildes, und die Schreib marke zeigt auf einen Schreibbereich, in dem sich die Fehlerstelle befindet. Da bei werden in dem gespeicherten Bild laufend die unter der Lesemarke befindli chen Bildpunkte in die entsprechenden Bildpunkte unter der Schreibmarke übertragen.

Ein weiteres für die Beseitigung von Fehlerstellen geeignetes Verfahren ist un ter der Bezeichnung "Verlaufsretusche" bekannt. Dabei werden vom Bediener ebenfalls zwei im Bildschirm eingeblendete Marken mit der Computermaus be wegt. Eine Marke befindet sich auf der einen Seite der Fehlerstelle, z. B. eines Kratzers, und die andere Marke befindet sich auf der gegenüberliegenden Seite der Fehlerstelle. Aus dem gespeicherten Bild werden zwei Bildpunkte gelesen, die an den von den Marken gekennzeichneten Stellen liegen. Für alle Bild punkte, die auf der Verbindungslinie zwischen den beiden Marken liegen, wer den aus den Farbauszugswerten der gelesenen Bildpunkte Zwischenwerte in terpoliert und in die Bildpunkte auf der Verbindungslinie geschrieben. Auf diese Weise wird die Fehlerstelle mit Farbwerten überdeckt, die an die Farben in der Nachbarschaft der Fehlerstelle angeglichen sind.

In der europäischen Patentschrift 0 768 621 wird ein teilweise automatisiertes Verfahren zur Beseitigung von Fehlerstellen beschrieben. Zunächst werden vom Bediener die Fehlerstellen manuell in einem Maskenspeicher als Bitmap gekennzeichnet. Dann werden die in der Bitmap gekennzeichneten Bildpunkte der Fehlerstellen mit einem speziellen Fensteroperator korrigiert. Der Fenster operator legt unter verschiedenen Winkeln Liniensegmente über jeden Bildpunkt der Fehlerstelle, wobei die äußeren Enden der Liniensegmente in nicht-defekte Nachbarbereiche der Fehlerstelle hineinragen. Die Farbwerte der nicht-defekten Bildpunkte werden entlang jedes Liniensegments mit Farbwerten verglichen, die aus einem Interpolationsmodell gewonnen wurden. Dann wird das Linienseg ment ausgewählt, das den geringsten Interpolationsfehler aufweist. Schließlich wird das defekte Pixel der Fehlerstelle entlang des ausgewählten Linienseg ments nach dem Interpolationsmodell interpoliert.

In der europäischen Patentschrift 0 614 154 wird vom Bediener über eine Feh lerstelle eine schmale Begrenzungsmaske gelegt und die Bildpunkte innerhalb der Maske werden weiß gefärbt. In einer Bearbeitungsfläche um die Begren zungsmaske herum werden die kontinuierlichen Farbwerte in eine Folge von Bi närbildern umgewandelt, indem die Farbwerte mit stufenweise wachsenden Schwellwerten verglichen werden. Der Umriß jedes Binärbilds wird um eine Randbreite, die der Breite der Begrenzungsmaske entspricht, verkleinert. Dabei wird die Form der Begrenzungsmaske eliminiert. Danach wird die veränderte Form jedes Binärbildes wieder um die gleiche Randbreite vergrößert, und die Folge der Binärbilder wird in ein Bild mit kontinuierlichen Farbwerten zurückge wandelt. In diesem Bild ist die Fehlerstelle dann eliminiert.

Die nach dem Stand der Technik bekannten Verfahren zur Entfernung von Bildfehlern haben den Nachteil, daß ein Bediener zunächst die Lage der Fehler stellen im Bild suchen und kennzeichnen muß, was sehr zeitaufwendig ist. Au ßerdem können Fehlerstellen dabei vom Bediener übersehen werden. An schließend muß der Bediener bei den meisten Verfahren die Fehlerstellen ma nuell durch interaktive Retusche korrigieren, indem er auf dem Bildschirm ein geblendete Marken über die Fehlerstellen bewegt. Das erfordert zusätzlichen Zeitaufwand.

Es ist daher die Aufgabe der vorliegenden Erfindung, die Nachteile der be kannten Verfahren zur Entfernung von Bildfehlern in digitalen Bilddaten zu ver meiden und ein neues verbessertes Verfahren anzugeben, das eine automati sierte Entfernung der Fehlerstellen ermöglicht. Damit können Fehlerstellen in einem Bild wesentlich schneller entfernt werden, als es mit den bekannten Ver fahren möglich ist.

Diese Aufgabe wird durch die Merkmale des Anspruchs 1 und der Unteransprü che 2 bis 6 gelöst.

Die Erfindung wird nachfolgend anhand der Fig. 1 bis 9 näher beschrieben. Es zeigen:

Fig. 1 ein Ablaufdiagramm für die erfindungsgemäße Folge der Verarbei tungsschritte,

Fig. 2 ein Beispiel für ein Bild mit Fehlerstellen,

Fig. 3 ein Beispiel für ein Konturfilter,

Fig. 4 ein Beispiel für eine Konturmaske,

Fig. 5 ein Beispiel für eine Farbmaske,

Fig. 6 ein Beispiel für eine Fehlermaske,

Fig. 7 die Überfüllung einer Kontur,

Fig. 8 das Absparen und Vektorisieren einer Kontur, und

Fig. 9 die automatische Verlaufsretusche über eine vektorisierte Kontur.

Bei dem erfindungsgemäßen Verfahren der Entfernung von Bildfehlern werden die Fehlerstellen durch eine Folge von automatisch ablaufenden Schritten ge funden und beseitigt, wobei der Bediener im wesentlichen nur eine Kontrollfunk tion hat.

Fig. 1 zeigt die Folge der Schritte als Ablaufdiagramm. Im ersten Schritt (1) wird eine Konturmaske als Bitmap erzeugt, d. h. als ein Bild mit nur zwei Helligkeits werten, schwarz und weiß. In der Konturmaske zeigen die schwarzen Bild punkte an, an welchen Stellen in dem ursprünglichen Bild Konturen vorhanden sind.

Fig. 2 zeigt ein Beispiel für ein Bild, das zwei Fehlerstellen (8) enthält. Da sich solche Fehlerstellen in der Regel deutlich vom Hintergrund abheben, werden sie von der Konturmaske zusammen mit den übrigen Konturen des Bildes erfaßt. Die Konturmaske wird erzeugt, indem ein digitales Konturfilter auf eine Bild komponente angewendet wird, die möglichst deutlich die Umrisse des Bildes wiedergibt. Vorzugsweise wird dazu eine Helligkeitskomponente verwendet, die z. B. durch die Transformation der Bilddaten in das CIELAB-Farbsystem gewon nen werden kann (CIE = Commission Internationale d'Éclairage). Eine Hellig keitskomponente kann aber auch durch eine gewichtete Addition der Farbaus zugkomponenten (RGB bzw. CMYK) gewonnen werden. Ersatzweise kann auch eine einzelne Farbkomponente, z. B. die Magenta-Komponente, als Hellig keitskomponente verwendet werden. Als Konturfilter wird ein Filter mit Hoch paßcharakteristik verwendet, d. h. ein Filter, das an Konturen einen hohen Aus gangswert und in detailarmen Bildbereichen einen niedrigen Ausgangswert er zeugt.

Fig. 3 zeigt als Beispiel ein einfaches digitales Konturfilter (9) mit einem Filter fenster, das sich über 3 × 3 Pixel erstreckt. Der eingekreiste Punkt P bezeichnet die Position des aktuellen Pixels. Die Werte h_ij an jeder Position des Filterfen sters sind die Filterkoeffizienten. Die Filterung wird durchgeführt, indem der Punkt P des Filterfensters über jedes Pixel der Helligkeitskomponente gelegt wird und die unter den jeweiligen Fensterpositionen liegenden Pixelwerte L_ij mit den Koeffizienten h_ij multipliziert und aufaddiert werden. Der Filterwert F jedes Pixels ergibt sich also zu:

F = Σ(h_ij × L_ij) (1)

Für die vorliegende Erfindung sind die Form des Filterfensters und die genauen Werte der Koeffizienten des in Fig. 3 gezeigten Konturfilters nicht wesentlich. Es können auch Filterfenster mit mehr als 3 × 3 Pixel und mit anderen Werten für die Koeffizienten verwendet werden. Wichtig ist nur, daß durch die Filterung vorwiegend die Konturen im Bild hervorgehoben werden.

Aus dem gefilterten Helligkeitsbild wird die Konturmaske als Bitmap gewonnen, indem die Filterwerte F mit Schwellwerten verglichen werden. Da das Konturfil ter je nach der Richtung des Helligkeitssprungs an einer Kontur positive und negative Ausgangswerte erzeugt, ist es zweckmäßig, nur einen oberen Schwellwert S1 festzulegen, mit dem die Helligkeitssprünge von hell nach dun kel in der Konturmaske erfaßt werden. Da außerdem die Fehlerstellen sehr dunkel sind, ist es weiter vorteilhaft, den Schwellwert S1 relativ hoch zu legen, damit vorwiegend die Fehlerstellen erfaßt werden und weniger die natürlichen Konturen des Bildes. Dann wird die Bitmap der Konturmaske erzeugt, indem Filterwerte F, die über dem Schwellwert S1 liegen, in den Binärwert 1 umgesetzt werden und Filterwerte, die unter dem Schwellwert S1 liegen, in den Binärwert 0.

Bitmap = 1 für F < S1 (2)
Bitmap = 0 für F ≦ S1

Fig. 4 zeigt die so gewonnene Konturmaske für das Beispielbild von Fig. 2. Man sieht, daß die Konturmaske sowohl einen Teil der natürlichen Bildkonturen als auch die Konturen der Fehlerstellen (8) enthält.

Im nächsten Verarbeitungsschritt (Schritt 2 in Fig. 1) wird aus dem ursprüngli chen Bild eine Farbmaske als Bitmap erzeugt, in der dunkle Farben als schwar ze Punkte gekennzeichnet sind. Dem liegt die Beobachtung zugrunde, daß typi sche Fehlerstellen im Bild, wie Kratzer und Haare, sehr dunkel sind. Die Farb maske wird beispielsweise aus der Helligkeitskomponente gewonnen, die schon der Erzeugung der Konturmaske diente, indem die Bildpunkte der Helligkeits komponente mit einem Schwellwert verglichen werden. Alternativ kann für jede Farbauszugskomponente ein separater Schwellwert festgelegt werden. In der Farbmaske werden dann die Bildpunkte gekennzeichnet, bei denen alle Farb auszugskomponenten dunkler als der jeweilige Schwellwert sind. Statt mit einer einfachen Schwellwertentscheidung kann die Farbmaske aber auch mittels ei nes Verfahrens zur selektiven Farberkennung gewonnen werden. Beispielswei se werden in der Farbmaske alle Bildpunkte gekennzeichnet, die im RGB- System, CMYK-System, LAB-System oder einem anderen Farbsystem in einem kleinen Volumen um eine typische Farbe einer Fehlerstelle herum liegen. Die Form des Volumens kann z. B. eine Kugel oder ein Ellipsoid sein.

Fig. 5 zeigt die Farbmaske für das Beispielbild von Fig. 2. Hierbei wurde der Normalfall angenommen, daß die Fehlerstellen im Bild dunkler sind als die Be reiche um die meisten natürlichen Konturen des Bildes, so daß in der Farbmas ke die Bereiche um die Fehlerstellen (10) herum enthalten sind und einige we nige Bereiche um die natürlichen Konturen herum. In diesem Beispiel gibt es ei nen Bereich (11) im Tennisschläger, der von der Farbmaske zusätzlich erfaßt wird.

Im nächsten Verarbeitungsschritt (Schritt 3 in Fig. 1) wird eine Fehlermaske er zeugt, indem die Konturmaske und die Farbmaske durch die logische UND- Funktion miteinander verknüpft werden. Dadurch werden fast alle natürlichen Konturen des Bildes, die in der Konturmaske noch enthalten sind, unterdrückt. Fig. 6 zeigt das Ergebnis, in dem nur noch die Fehlerstellen (8) und einige Konturen im Tennisschläger (12) enthalten sind.

Im nächsten Verarbeitungsschritt (Schritt 4 in Fig. 1) werden die in der Fehler maske verbliebenen Bereiche überfüllt. Dazu wird um die Konturen der Fehler maske ein Rahmen von bestimmter Breite gelegt, die von der Auflösung des Bildes abhängt. Die Rahmenbreite beträgt vorzugsweise einige Pixel. Während des Überfüllens wird geprüft, ob der Rahmen andere vorhandene Pixel der Fehlermaske berührt. Ist das der Fall, werden die sich berührenden Teile der überfüllten Fehlermaske eliminiert. Der Verarbeitungsschritt (4) hat die Aufgabe, Bereiche aus der Fehlermaske zu eliminieren, in denen natürliche Konturen in einem dunklen Teil des Bildes eng beieinander liegen, z. B. ein Bereich, in dem echte Haare abgebildet sind.

Fig. 7 zeigt schematisch die Überfüllung einer Kontur (13). An einem beliebigen Anfangspunkt A wird begonnen, z. B. entgegen dem Uhrzeigersinn einen Rah men (14) definierter Breite um die Kontur (13) herum zu erzeugen. Dazu wird ein beliebiger der bekannten und in der Fachliteratur beschriebenen Algorith men zur Rahmenbildung verwendet. Für den erfindungsgemäßen Ablauf der Verarbeitungsschritte ist der genaue Algorithmus für die Rahmenerzeugung nicht wesentlich. Wenn der Rahmen an irgendeinem Punkt B die Kontur (13) berührt, wird die Kontur einschließlich des schon erzeugten Teilrahmens ge löscht. Wenn der Rahmen eine andere benachbarte Kontur berührt, werden beide Konturen gelöscht. Nur wenn die Rahmenerzeugung ohne Berührung um die gesamte Kontur bis zum Anfangspunkt A zurück möglich ist, bleibt die Kon tur erhalten. In der Fig. 7 sind die Kontur (13) und der Rahmen (14) mit ver schiedenen Schraffuren gezeichnet worden, damit sie unterscheidbar sind. In die Bitmap der Fehlermaske werden beide als schwarze Pixel geschrieben.

In dem Beispiel von Fig. 6 wird angenommen, daß mit der Überfüllung und Eli minierung von sich berührenden Konturen, die restlichen natürlichen Konturen im Tennisschläger (12) aus der Fehlermaske gelöscht werden können. Als Er gebnis sind dann nur noch die Konturen der Fehlerstellen (8) in der Fehlermas ke erhalten.

Zur Kontrolle für den Bediener wird im nächsten Verarbeitungsschritt (Schritt 5 in Fig. 1) die Fehlermaske auf dem Bildschirm dargestellt, z. B. indem sie in ei ner transparenten Farbe dem Bild überlagert wird. Falls in der Fehlermaske noch restliche Konturen enthalten sind, die nicht zu Fehlerstellen gehören, kann sie der Bediener manuell mit einer Pinselretuschefunktion an dieser Stelle der Verarbeitungsfolge löschen. Ebenso kann der Bediener Fehlerstellen, die mög licherweise durch die automatische Verarbeitung nicht erkannt worden sind, mit der Pinselretuschefunktion in der Fehlermaske hinzufügen.

Im nächsten Verarbeitungsschritt (Schritt 6 in Fig. 1) werden die Konturen in der Fehlermaske abgespart, indem vom äußeren Rand der Konturen solange Pixel entfernt werden, bis eine Kontur mit der Breite von nur noch einem Pixel übrig bleibt. Diese abgesparte Kontur wird dann vektorisiert, indem lineare Stücke der abgesparten Kontur jeweils in einen Vektor umgewandelt werden. Für die Teil prozesse Absparen und Vektorisieren wird jeweils ein beliebiger von den be kannten und in der Fachliteratur beschriebenen Algorithmen verwendet. Für den erfindungsgemäßen Ablauf der Verarbeitungsschritte sind die genauen Algo rithmen nicht wesentlich.

Fig. 8 zeigt eine vergrößerte Kontur einer Fehlerstelle (15) aus der Fehlermas ke, die auf eine Pixelbreite abgesparte Kontur (16) und die vektorisierte Kontur (17).

Im letzten Verarbeitungsschritt (Schritt 7 in Fig. 1) wird in dem ursprünglichen Bild entlang der vektorisierten Konturen (17) der Fehlermaske automatisch eine Verlaufsretusche ausgeführt und so die Fehlerstellen entfernt.

Fig. 9 zeigt die Verlaufsretusche. Für jedes Pixel, das auf der vektorisierten Kontur (17) liegt, wird ein Liniensegment (18) annähernd senkrecht zu dem je weiligen Vektor gebildet. Aus dem gespeicherten Bild werden zwei Bildpunkte gelesen, die an den Enden C und D des Liniensegments (18) liegen. Für alle Bildpunkte, die auf dem Liniensegment (18) zwischen den beiden Endpunkten C und D liegen, werden aus den Farbauszugswerten der gelesenen Bildpunkte korrigierte Farbauszugswerte interpoliert und in die Bildpunkte auf dem Linien segment geschrieben. Auf diese Weise wird die Fehlerstelle mit Farbwerten überdeckt, die an die Farben in der Nachbarschaft der Fehlerstelle angeglichen sind. Die Länge des Liniensegments (18) wird zweckmäßigerweise so gewählt, daß die Endpunkte C und D außerhalb der typischen Breite von Fehlerstellen, wie Kratzern und Haaren, liegen.

Claims

1. Verfahren zur automatischen Entfernung von Bildfehlern in digitalen Bild daten, dadurch gekennzeichnet, daß

a) mittels eines Konturfilters eine Konturmaske erzeugt wird,
b) eine Farbmaske erzeugt wird,
c) durch logische UND-Verknüpfung der Konturmaske und der Farbmaske eine Fehlermaske erzeugt wird,
d) Konturen in der Fehlermaske abgespart und vektorisiert werden, und
e) eine automatische Verlaufsretusche der digitalen Bilddaten über die vektorisierten Konturen der Fehlermaske ausgeführt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Konturfilter auf eine Helligkeitskomponente der digitalen Bilddaten angewendet wird.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Farbmaske durch den Vergleich der digitalen Bilddaten mit Schwellwerten erzeugt wird.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die automati sche Verlaufsretusche ausgeführt wird, indem für jeden Bildpunkt auf einer vektorisierten Kontur ein Liniensegment annähernd senkrecht zu dem je weiligen Vektor erzeugt wird, und für die Bildpunkte, die auf dem Linien segment liegen, korrigierte Bilddaten aus den Bilddaten der Bildpunkte an den Enden des Liniensegments interpoliert werden.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Fehlermaske automatisch korrigiert wird, indem die Konturen über füllt (gerahmt) werden und sich dann berührende Konturen eliminiert wer den.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Fehlermaske zusammen mit den Bilddaten auf einem Bildschirm dargestellt wird und vom Bediener editiert wird.