DE10016450A1 - Verfahren zur Klassifizierung von Bildvorlagen nach Graubildern und Farbbildern - Google Patents

Abstract

Die Erfindung beschreibt ein Verfahren zur automatischen Klassifizierung von Bildvorlagen nach Graubildern und Farbbildern. Die Bildpunkte der Bildvorlagen sind als Bildpunktvektoren r¶x¶ in einem Farbsystem mit mehreren Farbkomponenten gegeben. Aus den Bildpunktvektoren wird die Kovarianzmatrix DOLLAR I1 ermittelt und die Eigenwerte lambda¶i¶ und Eigenvektoren ê¶i¶ der Kovianzmatrix DOLLAR I2 werden bestimmt. Die Bildvorlagen werden aufgrund der Eigenwerte lambda¶i¶ und der Eigenvektoren ê¶i¶ klassifiziert, wobei Merkmalsfuktionen aus den Größenverhältnissen der Eigenwerte lambda¶i¶ und aus dem Eigenvektor ê¶0¶ des größten Eigenwertes lambda¶0¶ gebildet werden. Die Klassifizierung erfolgt aufgrund einer Merkmalfunktion oder der Kombination von zwei Merkmalfunktionen.

Description

Die Erfindung bezieht sich auf das Gebiet der elektronischen Reproduktions­ technik und betrifft ein Verfahren zur automatischen Klassifizierung von Bildvorla­ gen nach Graubildern und Farbbildern.

In der Reproduktionstechnik werden Druckvorlagen für Druckseiten erzeugt, die alle zu druckenden Elemente wie Texte, Grafiken und Bilder enthalten. Im Fall der elektronischen Herstellung der Druckvorlagen liegen diese Elemente in Form von digitalen Daten vor. Für ein Bild werden die Daten z. B. erzeugt, indem das Bild in einem Scanner punkt- und zeilenweise abgetastet wird, jeder Bildpunkt in Farb­ komponenten zerlegt wird und die Farbwerte dieser Komponenten digitalisiert werden. Üblicherweise werden Bilder in einem Scanner in die Farbkomponenten Rot, Grün und Blau (R, G, B) zerlegt. Für den Vierfarbdruck werden diese Kompo­ nenten dann weiter in die Druckfarben Cyan, Magenta, Gelb und Schwarz (C, M, Y, K) transformiert. Wenn der Ausgabeprozeß für die Reproduktion noch offen ist, werden die RGB-Farbkomponenten für die weitere Verarbeitung häufig in das ge­ räteunabhängige LAB-Farbsystem transformiert. Für Graubilder erzeugt der Scan­ ner entweder gleich nur eine Komponente mit Grauwerten oder die zunächst ab­ getasteten RGB-Komponenten werden später in ein Graubild umgerechnet.

Der Scanner kann ein Flachbettgerät sein, in dem die abzutastenden Bildvorlagen auf einem Scannertablett montiert werden. Die Bildvorlagen können transparent sein (Diapositive oder Farbnegative) oder reflektierend (Aufsichtsbilder). Das Scannertablett wird beleuchtet, und das durchscheinende bzw. reflektierte Licht einer Scanlinie wird durch Farbfilter in die Farbkomponenten zerlegt. Das Licht der Farbkomponenten wird dann z. B. mittels einer CCD-Zeile weiter in diskrete Bild­ punkte zerlegt und in elektrische Signale umgewandelt, die anschließend digitali­ siert werden. Alternativ kann auch ein Trommelscanner verwendet werden, in dem die Bildvorlagen auf eine transparente Scannertrommel montiert werden. Die Scannertrommel wird je nach Art der Bildvorlagen (transparent oder reflektierend) punktförmig von innen oder außen beleuchtet, und das durchscheinende bzw. re­ flektierte Licht der Farbkomponenten wird in einem Abtastkopf auf Lichtsensoren fokussiert und in elektrische Signale umgewandelt. Dabei rotiert die Scannertrom­ mel, während die Beleuchtungseinrichtung und der Abtastkopf entlang der Achse der Scannertrommel bewegt werden, so daß die Oberfläche der Scannertrommel punkt- und zeilenweise abgetastet wird.

Um das Abtasten der Bildvorlagen rationeller durchzuführen, werden mehrere Bildvorlagen auf das Scannertablett bzw. die Scannertrommel montiert, die der Scanner dann automatisch nacheinander abtasten, digitalisieren und speichern soll. Dazu müssen in einem Arbeitsvorbereitungsprozeß die Positionen der Bilder auf dem Scannertablett bzw. auf der Scannertrommel, ihre Abmessungen und ihre Winkellage erfaßt und eingegeben werden. Außerdem muß während der Arbeits­ vorbereitung für jede Bildvorlage angegeben werden, ob es sich um ein Graubild oder ein Farbbild handelt, damit abhängig davon die Weiterverarbeitung und Um­ setzung der RGB-Signale in die CMYK-Farbkomponenten bzw. LAB- Farbkomponenten passend zum Bildtyp eingestellt wird.

Die Eingabe dieser Arbeitsvorbereitungsdaten für jede einzelne Bildvorlage ist ar­ beits- und zeitaufwendig. Deshalb wird versucht, so viele für die Abtastung und Weiterverarbeitung der Bildvorlagen benötigte Parameter wie möglich durch auto­ matische Klassifizierungsverfahren zu ermitteln. Dazu wird oft eine Übersichtsab­ tastung der Bildvorlagen in grober Auflösung durchgeführt (Prescan). Die Scan­ daten der Übersichtsabtastung werden auf einem Monitor dargestellt und zur Er­ mittlung der benötigten Parameter analysiert.

Nach dem Stand der Technik kann eine einfache Unterscheidung zwischen Grau­ bildern und Farbbildern vorgenommen werden, indem die RGB-Komponenten daraufhin untersucht werden, ob für die meisten Bildpunkte die R-, G- und B-Werte annähernd gleich groß sind oder ob sie sehr unterschiedlich sind. Im ersten Fall sind die Farben des Bildes in der Nähe der Raumdiagonalen des RGB-Farbraums, die etwa der Grauachse entspricht, d. h. es handelt sich um ein Graubild. Im zwei­ ten Fall sind die Farben des Bildes überall im RGB-Farbraum verteilt, d. h. es han­ delt sich um ein Farbbild. Eine solche Untersuchung nach dem Stand der Technik kann auch mit den Bildpunktkomponenten im LAB-Farbsystem durchgeführt wer­ den. In diesem von der CIE (Commission Internationale D'Éclairage) standardi­ sierten System werden die Farben mit einer Luminanzkomponente (L) und zwei Farbkomponenten (A,B) dargestellt. Die Luminanzachse bildet die Grauachse des LAB-Farbsystems, und die A- und B-Achsen beschreiben eine Farbebene. Wenn die A- und B-Werte der meisten Bildpunkte klein sind und die L-Werte über einen größeren Bereich variieren, dann liegen die Farben des Bildes in der Nähe der Grauachse und es handelt sich um ein Graubild. Wenn die A- und B-Werte über einen größeren Bereich variieren, dann sind die Farben des Bildes im LAB- Farbsystem weit gestreut und es handelt sich um ein Farbbild.

Die oben beschriebenen Klassifizierungsverfahren sind nicht immer sicher genug, insbesondere dann nicht, wenn die Graubilder einen Farbstich haben, was bei al­ ten vergilbten Fotografien vorkommen kann. In dem Fall streuen die Farben des Bildes nicht um die Grauachse sondern um eine von der Grauachse abweichende Gerade im RGB-Farbraum bzw. im LAB-Farbsystem.

Es ist daher die Aufgabe der vorliegenden Erfindung, die zuvor beschriebenen Nachteile zu vermeiden und ein besseres und sicheres Verfahren zur automati­ schen Klassifizierung von Bildvorlagen nach Graubildern und Farbbildern anzuge­ ben.

Die Erfindung wird nachfolgend anhand der Fig. 1 bis 5 näher beschrieben. Es zeigen

Fig. 1 eine optimale Gerade im LAB-Farbsystem,

Fig. 2 die Lage von Bildpunkten eines Graubildes in einer L,A-Ebene und einer L,B-Ebene,

Fig. 3 die Lage von Bildpunkten eines Farbbildes in einer L,A-Ebene und einer L,B-Ebene,

Fig. 4 die Positionen von Merkmalen von Graubildern und Farbbildern in einer Merkmalebene, und

Fig. 5 die Verarbeitungsschritte des erfindungsgemäßen Verfahrens.

Die Farbe jedes Bildpunkts des Bildes repräsentiert im LAB-Farbsystem einen Punkt mit bestimmten Werten für L, A, und B. Alle Bildpunkte zusammen bilden im LAB-Farbsystem eine Punktwolke, aus deren Form, Ausdehnung und Orientierung Rückschlüsse auf den Typ des Bildes gezogen werden können. Das erfindungs­ gemäße Verfahren geht von diesem Ansatz aus und ermittelt eine Gerade g(t) durch das LAB-Farbsystem, mit der die Punktwolke der Bildfarben optimal approxi­ miert wird. Die Gerade g(t) wird durch die vektorielle Parameter-Gleichung

g(t) = r₀ + tâ (1)

beschrieben (Fig. 1). Darin ist r₀ ein Vektor, durch dessen Endpunkt die Gerade g(t) verläuft, und â ist ein Einheitsvektor, der die Richtung der Geraden bestimmt. Der Parameter t gibt an, an welchem Punkt auf der Geraden g(t) man sich befindet. Für t = 0 befindet man sich z. B. an der Spitze des Vektors r₀. In der Gleichung (1) sind die Größen g(t), r₀ und â vektorielle Größen, d. h. sie haben jeweils die drei Komponenten (L,A,B). Der Farbwert eines beliebigen Bildpunktes am Ort x im Bild wird durch den Vektor r_x im LAB-Farbsystem beschrieben. Jeder Bildpunkt im Bild, d. h. jeder Punkt der Punktwolke, wird durch einen anderen solchen Vektor r_x re­ präsentiert.

Der minimale Abstand dmin zwischen dem Vektor r_x und der Geraden g(t) ist für einen bestimmten Parameter t_x erreicht.

dmin = min|{r_x - (r₀ + t × â)}| für t = t_x (2)

Für t_x ergibt sich dann:

t_x = (r_x - r₀)^T â (3)

Die Vektoren r₀ und â, die den Verlauf der Geraden g(t) beschreiben, werden nun so bestimmt, daß der Mittelwert der quadrierten Minimalabstände dmin zwischen den Vektoren r_x der Punkte in der Punktwolke und der Geraden g(t) ein Minimum wird. Dann ist eine optimale Approximation der Punktwolke durch die Gerade g(t) erreicht. Die Lösung dieser Minimierungsaufgabe, auf deren Ableitung hier nicht eingegangen wird, ergibt zunächst, daß der Vektor r₀ auf den Schwerpunkt M der Punktwolke weist.

Dabei wird der Schwerpunkt M ermittelt, indem über die Vektoren r_x der Punktwol­ ke komponentenweise gemittelt wird. Der Schwerpunkt M repräsentiert also mittle­ re LAB-Werte für die Punktwolke. Aus der Lösung der Minimierungsaufgabe ergibt sich weiterhin, daß der Vektor â der Eigenvektor ê₀ zum größten Eigenwert λ₀ der Kovarianzmatrix der Bildpunktvektoren r_x ist.

Die Kovarianzmatrix wird aus der komponentenweisen Mittelung über die Ele­ mente der Matrizen r_xr_x ^T und aus der Schwerpunktmatrix MM^T berechnet. Nach bekannten Rechenverfahren, z. B. dem Jacobi-Verfahren [William H. Press et al.: Numerical Recipes; Cambridge University Press; 1992; S. 463-469], werden aus der Kovarianzmatrix die drei Eigenwerte λ₀, λ₁, λ₂ und die zugehörigen Eigenvek­ toren ê₀, ê₁, ê₂ ermittelt, die immer größer als Null sind. Die Eigenvektoren ê₀, ê₁, ê₂ sind Einheitsvektoren, d. h. auf die Länge 1 normiert und paarweise orthogonal. Der Eigenvektor ê₀ beschreibt die Richtung der Hauptachse der Punktwolke, d. h. die Richtung, in die sie sich vorwiegend ausdehnt, die Eigenvektoren ê₁, ê₂ be­ schreiben dazu senkrechte Nebenachsen der Punktwolke. Wenn der Eigenwert λ₀ wesentlich größer als die Eigenwerte λ₁, λ₂ ist, dehnt sich die Punktwolke langge­ streckt um die Hauptachse herum aus. Eine solche langgestreckte Punktwolke ist typisch für ein Graubild. Ist der Eigenwert λ₀ im Vergleich zu den Eigenwerten λ₁, λ₂ nicht deutlich größer, dann ist die Punktwolke gleichmäßiger in mehrere Rich­ tungen ausgedehnt, und es handelt sich mit großer Wahrscheinlichkeit um ein Farbbild.

Fig. 2a und Fig. 2b zeigen für das Beispiel eines Graubildes die Projektionen der Punktwolke auf die L,A-Ebene (Fig. 2a) bzw. auf die L,B-Ebene (Fig. 2b). Man er­ kennt, daß die Punktwolke eine langgestreckte Form hat. Für dieses Beispielbild wurden die folgenden Eigenwerte berechnet:

λ₀ = 3.960; λ₁ = 1,89; λ₂ = 1,04 (6)

Die Projektion des mit dem Eigenwert λ₀ skalierten Eigenvektors ê₀ ist ausgehend vom Schwerpunkt M eingezeichnet. Die anderen beiden mit ihren zugehörigen Ei­ genwerten λ₁ und λ₂ skalierten Eigenvektoren ê₁ und ê₂ werden so klein, daß sie in der Zeichnung nicht mehr zu sehen sind.

Fig. 3a und Fig. 3b zeigen für das Beispiel eines Farbbildes die Projektionen der Punktwolke auf die L,A-Ebene (Fig. 3a) bzw. auf die L,B-Ebene (Fig. 3b). Man er­ kennt, daß die Punktwolke in mehrere Richtungen ausgedehnt ist und keine lang­ gestreckte Form hat. Für dieses Beispielbild wurden die folgenden Eigenwerte be­ rechnet:

λ₀ = 2.510; λ₁ = 324; λ₂ = 16,1 (7)

Aus dem Vergleich mit den Eigenwerten des Graubildes (Gleichung 6) ergibt sich, daß die beiden kleineren Eigenwerte λ₁ und λ₂ im Vergleich zum größten Eigen­ wert λ₀ für das Farbbild deutlich größer sind als beim Graubild. Darin drückt sich die weniger langgestreckte Form der Punktwolke aus. In Fig. 3a und 3b sind die Projektionen aller mit ihren zugehörigen Eigenwerten skalierten Eigenvektoren ausgehend vom Schwerpunkt M eingezeichnet.

Nach dem erfindungsgemäßen Verfahren werden die beschriebenen unterschied­ lichen Größenverhältnisse der Eigenwerte der Kovarianzmatrix bei Graubildern ei­ nerseits und bei Farbbildern andererseits zur Bildung eines Klassifizierungskriteri­ ums genutzt. Ein Beispiel für eine daraus abgeleitete Merkmalfunktion F₀ ist:

F₀ = (λ₁ + λ₂)/(λ₀ + λ₁ + λ₂) (8)

Für die Beispielbilder von Fig. 2 und Fig. 3 ergeben sich für diese Funktion die fol­ genden sehr unterschiedlichen Werte:

Graubild (Fig. 2): F₀ = 0,00074
Farbbild (Fig. 3): F₀ = 0,119 (9)

Zur Klassifizierung wird dann noch ein Schwellwert T₀ derart gewählt, daß die typi­ schen Wertebereiche von F₀ für Graubilder bzw. Farbbilder möglichst gut vonein­ ander getrennt werden. Die typischen Wertebereiche werden aus einer größeren Zahl von repräsentativen Graubildern und Farbbildern vorher ermittelt. Wenn der für ein Bild ermittelte Funktionswert F₀ kleiner als der Schwellwert T₀ ist, wird das Bild als Graubild klassifiziert, andernfalls wird es als Farbbild klassifiziert. Eine weitere Abwandlung ist die Bildung einer Merkmalfunktion F₁ als monotone Funk­ tion des Ausdrucks F₀, beispielsweise mit dem Logarithmus von F₀:

F₁ = -ln {(λ₁ + λ₂)/(λ₀ + λ₁ + λ₂)} (10)

Weitere Abwandlungen und Funktionen, mit denen aus den erfindungsgemäß ge­ nutzten Eigenwerten λ₀, λ₁, λ₂ der Kovarianzmatrix eine Merkmalfunktion zur Klas­ sifizierung gebildet wird, sind denkbar.

Die Klassifizierung nach Graubildern und Farbbildern aufgrund der Eigenwerte und Eigenvektoren kann noch sicherer gemacht werden, wenn eine zweite Merkmal­ funktion zusätzlich genutzt wird. Bei Graubildern ist zu erwarten, daß der Eigen­ vektor ê₀ etwa in die Richtung der L-Achse des LAB-Farbraums zeigt. Bei Farbbil­ dern, die vorwiegend eine Farbe in allen möglichen Helligkeitsabstufungen ent­ halten, kann es vorkommen, daß die Punktwolke ebenfalls eine langgestreckte Form hat. In einem solchen Fall zeigt der Eigenvektor ê₀, aber in eine andere Richtung, die nicht mit der L-Achse näherungsweise übereinstimmt. Daraus kann ein weiteres Kriterium abgeleitet werden, um Farbbilder von Graubildern zu unter­ scheiden. Als Kriterium dient die L-Komponente ê₀ ^L des auf die Länge 1 genorm­ ten Eigenvektors ê₀. Hat diese Komponente einen großen Wert, so ist das ein Hinweis darauf, daß es sich um ein Graubild handelt. Hat sie einen kleinen Wert, so ist es wahrscheinlich, daß es sich um ein Farbbild handelt. Aus diesem Kriteri­ um kann wiederum eine beliebige Merkmalfunktion abgeleitet werden, die die Größe der L-Komponente ê₀ ^L beinhaltet. Eine bevorzugte Merkmalfunktion ist die folgende Funktion F₂:

F₂ = -ln (1 - (ê₀ ^L)²) (11)

Die Merkmalfunktionen beider Klassifizierungskriterien bilden eine Merkmalebene, in der Graubilder einerseits und Farbbilder andererseits getrennt werden können.

Fig. 4 zeigt die Merkmalebene, die durch die Merkmalfunktionen F₁ und F₂ aufge­ spannt wird. Für verschiedene Graubilder und Farbbilder sind die Orte in der Merkmalebene eingezeichnet, die sich aus den jeweiligen Werten der Merkmal­ funktionen F₁ und F₂ für diese Bilder ergeben. Ferner ist eine Trennungsgerade T eingezeichnet, mit der die Graubilder von den Farbbildern getrennt werden und so anhand der beiden Merkmale F₁ und F₂ klassifiziert werden. Zur Festlegung einer optimierten Trennungsgeraden T wird vorher eine große Zahl von repräsentativen Graubildern und Farbbildern untersucht, um die typischen Wertebereiche für die Funktionen F₁ und F₂ zu ermitteln. Das Verfahren kann noch weiter dahingehend verallgemeinert werden, daß eine Trennungskurve verwendet wird, die in der F₁,F₂-Merkmalebene die Gebiete von Graubildern und Farbbildern trennt.

Das erfindungsgemäße Verfahren wurde mit Bezug auf das LAB-Farbsystem be­ schrieben. Es ist aber nicht darauf beschränkt sondern kann in anderen Farbsy­ stemen angewendet und sinngemäß angepaßt werden, beispielsweise in einem RGB-System, in einem CMYK-System oder in einem HSL-System (Hue, Saturati­ on, Lightness). Bei der Berechnung der Kovarianzmatrix aus den Bildpunktvekto­ ren r_x brauchen nicht alle Bildpunkte eines zu klassifizierenden Bildes herangezo­ gen zu werden. Es genügt eine repräsentative Auswahl der Bildpunkte, die bei­ spielsweise aus einer Unterabtastung des Bildes gewonnen wird. Das hat den zu­ sätzlichen Vorteil, daß die zur Klassifizierung benötigte Verarbeitungszeit reduziert wird.

Fig. 5 zeigt noch einmal die Verarbeitungsschritte bei der Klassifizierung von Bild­ vorlagen nach Graubildern und Farbbildern mittels des erfindungsgemäßen Ver­ fahrens. Im Schritt 51 wird aus den Bildpunktvektoren r_x der Schwerpunkt M durch komponentenweise Mittelung berechnet. Im Schritt 52 wird aus den Bildpunktvek­ toren r_x die Kovarianzmatrix berechnet. Aus der Kovarianzmatrix werden dann im Schritt 53 die Eigenwerte λ₀, λ₁, λ₂ und die Eigenvektoren ê₀, ê₁, ê₂ berechnet. Anschließend wird im Schritt 54 aus den Größenverhältnissen der Eigenwerte λ₀, λ₁, λ₂ eine Merkmalfunktion F₁ bestimmt. Im optionalen Schritt 55 wird eine zweite Merkmalfunktion F₂ aus der Richtung des Eigenvektors ê₀ bestimmt. Schließlich wird im Schritt 56 die Klassifizierung aufgrund des Wertes der Merkmalfunktion F₁ und optional zusätzlich aufgrund des Wertes der Merkmalfunktion F₂ vorgenom­ men.

Claims (7)

1. Verfahren zur Klassifizierung von Bildvorlagen, deren Bildpunkte als Bildpunkt­ vektoren r_x in einem Farbsystem mit mehreren Farbkomponenten gegeben sind, nach Graubildern und Farbbildern, dadurch gekennzeichnet, daß

• - die Kovarianzmatrix aus den Bildpunktvektoren r_x ermittelt wird,
• - die Eigenwerte λ_i und die Eigenvektoren ê_i der Kovarianzmatrix bestimmt werden, und
• - die Bildvorlagen aufgrund der Eigenwerte λ_i und der Eigenvektoren ê_i klassifi­ ziert werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß aus den Größen­ verhältnissen der Eigenwerte λ_i eine Merkmalfunktion F₁ gebildet wird und daß die Bildvorlagen aufgrund der Größe der Merkmalfunktion F₁ nach Graubildern und Farbbildern klassifiziert werden.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß aus dem Eigen­ vektor ê₀ des größten Eigenwertes λ₀ eine Merkmalfunktion F₂ gebildet wird und daß die Bildvorlagen aufgrund der Größe der Merkmalfunktion F₂ nach Graubil­ dern und Farbbildern klassifiziert werden.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Klassifizierung aufgrund der Kombination der Merkmalfunktionen F₁ und F₂ durchgeführt wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Klassifizierung auf der Basis einer repräsentativen Teilmenge der Bildpunkt­ vektoren r_x durchgeführt wird.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Klassifizierung im LAB-Farbsystem durchgeführt wird.

7. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Klassifizierung im RGB-Farbsystem durchgeführt wird.