DE10057889A1 - Verfahren zur Extraktion von Nutzinformation aus einem elektronischen Bild - Google Patents

Abstract

Verfahren und Vorrichtung zur Extraktion von Nutzinformation aus einem elektronischen Bild, das durch eine Vielzahl von Pixeln gebildet wird, wobei die Pixel mindestens eine Farbeigenschaft (x¶j¶) aufweisen, und wobei die Extraktion die Trennung von Pixeln, die Nutzinformation enthalten, von Pixeln, die keine Nutzinformation enthalten, beinhaltet, wobei das Verfahren die folgenden Schritte umfaßt: DOLLAR A a) Bestimmung eines Maßwertes (H(x¶j¶)) für mindestens eine Farbeigenschaft (x¶j¶), der die Gleichmäßigkeit der Verteilung der Pixel mit der Farbeigenschaft (x¶j¶) über das elektronisches Bild beschreibt, DOLLAR A b) Diskriminierung der Nutzinformation enthaltenden Pixel von den keine Nutzinformation enthaltenden Pixeln auf der Grundlage des berechneten Maßwertes (H(x¶j¶)) der Farbeigenschaft (x¶j¶) des Pixels, und DOLLAR A c) Trennung der Nutzinformation enthaltenden Pixel von den keine Nutzinformation enthaltenden Pixeln.

Description

• Die Erfindung betrifft ein Verfahren zur Extraktion von Nutzinformation aus einem aus Pixeln gebildeten elektronischen Bild durch Trennung von Pixeln die Nutzinformation enthalten, von Pixeln die keine Nutzinformation enthalten.
• Die Extraktion von Nutzinformation aus elektronischen Bildern wird bei einer Vielzahl von automatischen Verfahren, die von Computern unterstützt werden, verwendet. Ein Beispiel ist in diesem Zusammenhang das Lesen und Auswerten von Scheck- oder Überweisungsvordrucken. Aber auch für die Qualitätssicherung bei unterschiedlichen Produktionsprozessen werden solche Verfahren verwendet. Im Rahmen dieser Verfahren werden die elektronischen Bilder üblicherweise mit Hilfe von digitalen Kameras oder Scannern erstellt.
• Bei diesen Anwendungen sind allerdings nicht die Bilder an sich von Nutzen, sondern nur die in den Bildern enthaltene Nutzinformation. Diese Nutzinformation kann sich bei unterschiedlichen Anwendungen gleicher Bildern unterscheiden. Bei dem automatischen Lesen und Auswerten von eingescannten Schecks zum Beispiel kann die Nutzinformation aus den Eintragungen, wie zum Beispiel dem Geldbetrag, der Kontonummer oder der Unterschrift, bestehen. Möglich ist aber auch, daß im Rahmen eines anderen Verfahrens die Echtheit der Schecks an sich analysiert wird und deshalb nur das Hintergrundbild der Schecks für dieses Verfahren Nutzinformation enthält.
• Bei bekannten Auswertungsverfahren für die genannten Zwecke werden zuerst die Grauwerte der Pixel von farbigen elektronischen Bildern bestimmt, um die anfallende Datenmenge zu reduzieren. Die Auflösung des Bildes in Binärdaten mit voller Information, d. h. eine Aufteilung des Bildes in einzelne Pixel, eine Bestimmung des Farbwertes jedes Pixel, und eine Verarbeitung dieser Binärdaten wäre nämlich bei Farbbildern extrem aufwendig und würde eine hohe Rechenzeit benötigen. Auf der Grundlage der Grauwerte-Analyse wird unter Verwendung von globalen und lokalen Schwellwertverfahren, sowie einer iterative Relaxationsmethode, versucht Vordergrund- und Hintergrundpixel voneinander zu trennen, indem deren Kontrastunterschiede bestimmt werden. Dieses Verfahren führt bei bestimmten Konstellationen zu befriedigenden Ergebnissen, während es bei anderen versagt. Eine solche Konstellation die zu befriedigenden Ergebnissen führt ist beispielsweise vorhanden, wenn die Anzahl der Vordergrundpixel deutlich kleiner ist als die Anzahl der Hintergrundpixel. Außerdem ist es notwendig, daß die Vordergrundpixel entweder überwiegend heller oder dunkler als die Hintergrundpixel sind und daß die Hintergrundpixel im gesamten Bild durch ähnliche Eigenschaften charakterisiert sind. Sollte allerdings die Fläche der Vordergrundpixel über ein Zehntel der Fläche der Hintergrundpixel steigen, gibt es Schwierigkeiten mit diesem Verfahren.
• Die Aufgabe der vorliegenden Erfindung ist es ein Verfahren bereitzustellen, welches eine zuverlässige und unaufwendige Trennung von Pixeln mit Nutzinformation von Pixeln ohne Nutzinformation ermöglicht.
• Diese Aufgabe wird durch die vorliegende Erfindung gelöst, indem ein Verfahren zur Extraktion von Nutzinformation aus einem elektronischen Bild bereitgestellt wird, das durch eine Vielzahl von Pixeln gebildet wird, wobei die Pixel mindestens eine Farbeigenschaft (x_j) aufweisen und wobei die Extraktin durch Trennung von Pixeln, die Nutzinformation enthalten, von Pixeln, die keine Nutzinformation enthalten, beinhaltet, wobei das Verfahren die folgenden Schritte umfaßt:
  
• a) Bestimmung eines Maßwertes (H(x_j)) für mindestens eine Farbeigenschaft (x_j), der die Gleichmäßigkeit der Verteilung der Pixel mit dieser bestimmten Farbeigenschaft (x_j) über das elektronische Bild beschreibt,
• b) Diskriminierung, also Unterscheidung der Nutzinformation enthaltenden Pixel von den keine Nutzinformation enthaltenden Pixeln auf der Grundlage des berechneten Maßwertes (H(x_j)) der Farbeigenschaft (x_j) des Pixels, und
• c) Trennung der Nutzinformation enthaltenden Pixel von den keine Nutzinformation enthaltenden Pixeln, zum Beispiel mit Hilfe von bekannten Binarisierungsverfahren.
• Das elektronische Bild kann zum Beispiel durch eine spezielle Kamera oder durch eine Scan-Vorrichtung erstellt werden. Dabei wird das Bild, je nach gewählter Einstellung, in eine mehr oder weniger große Zahl von Pixeln unterteilt. Dabei kann auch ausgewählt werden, wieviele unterschiedliche Farbeigenschaften (x_j) in dem Bild unterschieden werden sollen. Eine Farbeigenschaft (x_j) ist je nach Anwendung entweder ein bestimmter Farbwert oder ein bestimmter Grauwert, oder eine Gruppe von Farbwerten oder Grauwerten.
• Im Rahmen des vorliegenden Verfahrens wird ein Maßwert (H(x_j)) bestimmt, der die Gleichmäßigkeit der Verteilung der Pixel mit einer bestimmten Farbeigenschaft (x_j) beschreibt. Dabei kann, je nach Anwendung, der Maßwert (H(x_j)) für alle Farbeigenschaften (x_j) in dem Bild bestimmt werden, oder auch nur für bestimmte ausgewählte Farbeigenschaften (x_j). Ein bevorzugtes Verfahren zur Berechnung des Maßwertes (H(x_j)) wird unten beschrieben.
• Auf der Grundlage des Maßwertes (H(x_j)) wird eine Entscheidung getroffen, ob die Pixel mit der Farbeigenschaft (x_j) Nutzinformation enthalten oder nicht. Dabei hängt es von der jeweiligen Anwendung ab, auf welcher Grundlage die Entscheidung durchgeführt wird. Dabei ist es entscheidend, ob die Nutzinformation von Farbeigenschaften (x_j) gebildet wird, die beispielsweise relativ gleichmäßig, oder von Farbeigenschaften (x_j) die besonders ungleichmäßig über das elektronische Bild verteilt sind. Wenn zum Beispiel bei einem betrachteten Scheck die Unterschrift als Nutzinformation betrachtet wird, werden im Rahmen der Entscheidung alle Farbeigenschaften (x_j) betrachtet, die relativ ungleichmäßig über das Bild verteilt sind, da die Unterschrift ja nur in einem Bereich des Schecks vorhanden ist. Bei einer Überprüfung der Echtheit des Scheckvordrucks könnte die Nutzinformation aber auch in den Farbeigenschaften (x_j) liegen, die relativ gleichmäßig über das Bild verteilt sind, da der Scheckvordruck an sich ein gleichmäßiges Muster aufweist. Wenn die Entscheidung für mehrere oder alle Farbeigenschaften durchgeführt wird, kann damit das elektronische Bild "gefiltert" werden, das heißt die im Rahmen der späteren Bildauswertung zu verarbeitende Datenmenge kann erheblich reduziert werden.
• Die Pixel die aufgrund des Maßwertes (H(x_j)) Nutzinformation enthalten werden dann in einem weiteren Schritt von den Pixeln ohne Nutzinformation getrennt. Hierzu werden beispielsweise im Stand der Technik bekannte Binarisierungsverfahren verwendet.
• Bevorzugt wird im Rahmen des erfindungsgemäßen Verfahrens die Entscheidung gemäß Schritt b) danach getroffen, ob der Maßwert (H(x_j)) für eine Farbeigenschaft (x_j) einen Schwellwert unterschreitet oder überschreitet. Dabei kann dieser Schwellwert je nach Anwendung pauschal für alle zu verarbeitenden Bilder gewählt werden, er wird allerdings vorzugsweise spezifisch für ein bestimmtes elektronisches Bild festgelegt.
• In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens umfaßt der Schritt a) der Bestimmung eines Maßwertes (H(x_j)) für eine Farbeigenschaft (x_j) die folgenden Teilschritte:
  
• 1. Aufteilung des elektronischen Bildes in eine Mehrzahl von Fenstern (w_i),
• 2. Bestimmung des Verhältnisses aus der Anzahl der Pixel mit der Farbeigenschaft (x_j) in einem Fenster (w_i) und der Pixel mit der Farbeigenschaft (x_j) in dem gesamten elektronischen Bild, wobei dieses Verhältnis für jedes Fenster (w_i) separat bestimmt wird, und
• 3. Bestimmung des Maßwertes (H(x_j)) für eine Farbeigenschaft (x_j) als Erwartungswert für das gesamte elektronische Bild aus dem in Schritt a2) bestimmten Verhältnis für jedes Fenster (w_i) und jede Farbeigenschaft (x_j).
• Erfindungsgemäß handelt es sich bei den Fenstern (w_i) des Bildes bevorzugt um rechteckige Fenster. Andere Formen, wie zum Beispiel Kreise, Ellipsen oder auch unregelmäßige Formen können aber auch im Rahmen der vorliegenden Erfindung verwendet werden. Dabei können die einzelnen Fenster (w_i) sowohl gleiche, als auch unterschiedliche Formen bilden. Die Fenster (w_i) stoßen bevorzugt aneinander an, überlappende Fenster (w_i) sind im Rahmen der vorliegenden Erfindung allerdings auch denkbar.
• Die Größe und damit auch die Anzahl der Pixel in den einzelnen Fenstern (w_i) kann im ganzen Bild gleich sein, oder aber auch variieren. So kann es zum Beispiel vorteilhaft sein, in Bereichen, in denen die Nutzinformation erwartet wird, je nach Anwendung größere oder auch kleinere Fenster (w_i) zu verwenden. Die Größe der Fenster (w_i) kann aber auch in Abhängigkeit von äußeren Voraussetzungen, wie zum Beispiel der Qualität des elektronischen Bildes, gewählt werden.
• Gemäß der oben beschriebenen Ausführungsform der vorliegenden Erfindung wird für jede untersuchte Farbeigenschaft (x_j) die Anzahl der Pixel mit der Farbeigenschaft (x_j) in jedem Fenster (w_i) und die Anzahl der Pixel mit der Farbeigenschaft (x_j) in dem gesamten Bild bestimmt. Für eine Farbeigenschaft (x_j) wird dann ein Verhältnis aus der Anzahl der Pixel mit der gleichen Farbeigenschaft (x_j) in dem Fenster (w_i) und der Anzahl der Pixel mit der gleichen Farbeigenschaft (x_j) in dem gesamten Bild gebildet. Dieser Quotient aus der Anzahl der Pixel mit einer bestimmten Farbeigenschaft (x_j) in einem bestimmten Fenster (w_i) und der Anzahl der Pixel mit der bestimmten Farbeigenschaft (x_j) in dem gesamten Bild ergibt die bedingte Wahrscheinlichkeit P(w_i|x_j). Diese Wahrscheinlichkeit wird für alle Fenster und für eine oder mehrere Farbeigenschaften gebildet. Dabei bezeichnet w_i die einzelnen Fenster und x_j die verschiedenen Farbeigenschaften (x_j). Die bedingte Wahrscheinlichkeit P(w_i|x_j) gibt also die Wahrscheinlichkeit an, daß der Pixel mit der Farbeigenschaft (x_j) in dem Fenster (w_i) liegt.
• Auf der Grundlage dieser bedingten Wahrscheinlichkeit wird in einem weiteren Teilschritt der Maßwert (H(x_j)) für die Gleichmäßigkeit der Verteilung der Farbeigenschaft (x_j) berechnet. Zu diesem Zweck wird zuerst der Informationsgehalt (I) des Ereignisses (w_i|x_j) berechnet. Der Informationsgehalt des Ereignisses (w_i |x_j) hängt folgendermaßen von der Auftrittswahrscheinlichkeit P(w_i|x_j) des Ereignisses (w_i|x_j) ab:
  
  I(w_i|x_j) = -log P(w_i|x_j) (1)
  
• In einem nächsten Schritt wird der Erwartungswert (E(W|x_j)) des Informationsgehalts in Abhängigkeit von der Farbeigenschaft (x_j) für das gesamte elektronische Bild, also für die Menge alle Fenster (W) wie folgt berechnet:
  
  
  
• Dieser Erwartungswert (E(W|x_j)) wird vorzugsweise als Maßwert (H(x_j)) für die Gleichmäßigkeit der Verteilung der Farbeigenschaft in dem elektronischen Bild verwendet.
  
  E(W|x_j) = H(x_j) (3)
  
• Für die weitere Verarbeitung können im Rahmen der vorliegenden Erfindung die mehrkanaligen Farbbilder in einkanalige Grauwertbilder konvertiert werden. Diese Operation entfällt, wenn es sich bei den Ausgangsbildern um Grauwertbilder handelt. Für diese Operation werden zuerst die Vektoren manipuliert.
• In einer bevorzugten Ausführungsform der vorliegenden Erfindung werden die Pixel ohne Nutzinformation zur Kontrastverstärkung zu den Pixeln mit Nutzinformation aufgehellt. Sind, wie beispielsweise bei Schecks und Überweisungsvordrucken, die zum Hintergrund gehörenden Werte überwiegend heller als die zum Vordergrund gehörenden, werden diese aufgehellt, um Hintergrund und Vordergrund zu diskriminieren. Das Aufhellen erfolgt für alle Werte, deren Struktur- Entropie größer als die mittlere Struktur-Entropie gemäß Gleichung (4) ist
  
  H(W|x_j) ≥ H(W)_mittel (4)
  
  mit
  
  
  
• Für alle Werte x_j, welche die Bedingung (4) erfüllen, wird ein neuer Vektor gemäß Gleichung (6) berechnet
  
  
  
• Diese Aufhellung entspricht der Verschiebung eines Punktes im Parameterraum in Richtung Weiß (255; 255; 255 bei der Verwendung von 256 Abstufungen für jede der drei Grundfarben im RGB-Farbraum). Der Grad der Aufhellung hängt linear von der Struktur-Entropie ab.
• In einer anderen bevorzugten Ausführungsform der vorliegenden Erfindung werden die Pixel mit Nutzinformation zur Kontrastverstärkung zu den Pixeln ohne Nutzinformation abgedunkelt. Sind die zum Hintergrund gehörenden Werte meist dunkler als die zum Vordergrund gehörenden, werden diese abgedunkelt. Das Abdunkeln erfolgt für alle Werte, deren Struktur-Entropie größer als die mittlere Struktur-Entropie gemäß Gleichung (4) ist. Für alle Werte x_j, welche die Bedingung (4) erfüllen wird ein neuer Vektor gemäß Gleichung (7) berechnet.
  
  
• Diese Abdunklung entspricht der Verschiebung eines Punktes im RGB-Farbraum in Richtung Schwarz (0; 0; 0).
• Nach dieser Manipulation der Farbvektoren werden die resultierenden Farbbilder in Grauwertbilder konvertiert und wie diese weiterverarbeitet. Der Grauwert eines Pixels ergibt sich aus dem Maximum der Elemente seines modifizierten Vektors.
• In einem weiteren Schritt wird eine Konvolution durchgeführt, die auf der Struktur-Entropie beruht. Ein neuer Grauwert g*_ij eines Pixels an der Stelle i, j im Bild ergibt sich aus der Konvolution mit einer aus den Farb-Struktur-Entropien berechneten lokalen 3 × 3 Konvolutionsmatrix
  
  
  wobei H[(W|x(c_kl)] der Struktur-Entropie der Farbe des Pixels an der Stelle k, 1 entspricht.
• Bei der Konvolationsmatrix muß es sich allerdings nicht zwingend um eine 3 × 3 Matrix handeln. Die Konvolationsmatrix sollte eine n₁ × n₂ Pixel groß sein mit n₁, n₂ E {1, 3, 5, 7, . . .}. Die Formel für diese Konvolution lautet:
  
  
  
• Für zeitkritische Anwendungen kann einen vereinfachte Form der Konvolution nach der folgenden Formel berechnet werden:
  
  
  
• Durch die Konvolution ergibt sich der neue Grauwert eines Pixels als Mittelwert der mit den Farb-Struktur-Entropien exponentiell gewichteten Grauwerten der 3 × 3 Umgebung dieses Pixels. Das bedeutet, daß ein Pixel mit niedriger Farb-Struktur- Entropie maßgeblich den Grauwert in seiner 3 × 3 Umgebung bestimmt. Damit wird zum einen erreicht, daß in Regionen, in denen entweder nur Vorder- oder nur Hintergrundpixel existieren, eine Mittelwertbildung erfolgt und so die Varianz der Grauwerte von Hinter- und Vordergrund reduziert wird. Zum anderen wird erreicht, daß in Übergangsregionen eine Dilation (Strukturrekonstruktion) der Vordergrundpixel erfolgt. Insgesamt werden Vorder- und Hintergrundpixel unter Berücksichtigung ihrer Nachbarschaft voneinander diskriminiert.
• Im letzten Schritt wird das Grauwertbild in üblicher Weise binarisiert, beispielsweise durch K-Means-Clustering-Verfahren. Statt des K-Means-Clustering- Verfahrens können hier auch andere Verfahren zur Binarisierung von Grauwertbildern verwendet werden, wie sie im Stand der Technik bekannt sind.
• Das erfindungsgemäße Verfahren beruht als statistisches Verfahren darauf, daß der Umfang der Stichproben hinreichend ist. Hier bedeutet dies, daß die Anzahl von Farbeigenschaften (x_j) wesentlich kleiner als die Anzahl von Bildpunkten (Pixeln) sein muß. Die üblicherweise gescannten Formulare haben eine Farbtiefe von 24 Bit. Untersuchungen haben ergeben, daß bei dieser Farbtiefe fast jeder Pixel in den relevanten Bildausschnitten eine andere Farbeigenschaft (x_j) aufweist und damit die oben aufgestellte Forderung unter Umständen nicht erfüllt wird. Es ist daher notwendig, eine Farbeigenschaften-Reduktion durchzuführen oder aber, was noch sinnvoller ist, bereits beim Scannen mit einer wesentlich geringeren Farbtiefe zu arbeiten. Auf diese Weise kann die zu transportierende Datenmenge und die Anforderung an die Scanner reduziert werden. Es hat sich daher als vorteilhaft erwiesen, die Anzahl der Farbeigenschaften (x_j) auf wenigstens 256, vorzugsweise auf 128 zu reduzieren. Wenn bereits mit dieser Farbauflösung gescannt wird, entfällt die sonst häufig notwendige rechenzeit- und speicherintensive Farbeigenschaften-Reduktion. Ist diese erforderlich, erfolgt sie beispielsweise in zwei Schritten:
  
• 1. Abschneiden der vier niederwertigsten Bits; Reduktion auf maximal 4.096 mögliche Farben.
• 2. Reduktion auf 128 Farben mittels eines Diversity Colour Reduction Algorithmus.
• Das erfindungsgemäße Extrahieren von Pixeln mit oder ohne Nutzinformation erlaubt die Erstellung eines binarisierten Bildes von verschiedenartigsten Vorlagen, aus dem gewonnene Nutzinformation entweder weiter ausgewertet oder diese als stark reduzierte Datenmenge abgespeichert werden kann.
• Die vorliegende Erfindung stellt damit ein Verfahren zur Extraktion von Nutzinformationen aus einem elektronischen Bild zu Verfügung, bei welchem die Pixel mit Nutzinformationen von den Pixeln ohne Nutzinformationen zuverlässig und ohne großen Aufwand getrennt werden können.

Claims (10)

1. Verfahren zur Extraktion von Nutzinformation aus einem elektronischen Bild, das durch eine Vielzahl von Pixeln gebildet wird, wobei die Pixel mindestens eine Farbeigenschaft (x_j) aufweisen, und wobei die Extraktion die Trennung von Pixeln, die Nutzinformation enthalten, von Pixeln, die keine Nutzinformation enthalten, beinhaltet, dadurch gekennzeichnet, daß das Verfahren die folgenden Schritte umfaßt:

a) Bestimmung eines Maßwertes (H(x_j)) für mindestens eine Farbeigenschaft (x_j), der die Gleichmäßigkeit der Verteilung der Pixel mit der Farbeigenschaft (x_j) über das elektronische Bild beschreibt,

b) Diskriminierung der Nutzinformation enthaltenden Pixel von den keine Nutzinformation enthaltenden Pixeln auf der Grundlage des berechneten Maßwertes (H(x_j)) der Farbeigenschaft (x_j) des Pixels, und

c) Trennung der Nutzinformation enthaltenden Pixel von den keine Nutzinformation enthaltenden Pixeln.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Entscheidung gemäß Schritt b) danach getroffen wird, ob der Maßwert (H(x_j)) für eine Farbeigenschaft (x_j) einen Schwellwert unterschreitet oder überschreitet.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß der Schwellwert spezifisch für das elektronische Bild festgelegt ist.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß der Schritt a) der Bestimmung eines Maßwertes (H(x_j)) für mindestens eine Farbeigenschaft (x_j) die folgenden Teilschritte umfaßt:

1. Aufteilung des elektronischen Bildes in eine Mehrzahl von Fenstern (w_i),

2. Bestimmung des Verhältnisses aus der Anzahl der Pixel mit der Farbeigenschaft (x_j) in einem Fenster (w_i) und der Pixel mit der Farbeigenschaft (x_j) in dem gesamten elektronischen Bild für jedes Fenster (w_i), und

3. Bestimmung des Maßwertes (H(x_j)) für mindestens eine Farbeigenschaft (x_j) als Erwartungswert für das gesamte elektronische Bild aus dem in Schritt a2) bestimmten Verhältnis für jedes Fenster (w_i) und mindestens eine Farbeigenschaft (x_j).

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß mehrkanalige Farbbilder in einkanalige Grauwertbilder konvertiert werden.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Pixel ohne Nutzinformation zur Kontrastverstärkung zu den Pixeln mit Nutzinformation aufgehellt werden.

7. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Pixel ohne Nutzinformation zur Kontrastverstärkung zu den Pixeln mit Nutzinformation abgedunkelt werden.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß eine Farbeigenschaft (x_j) einer Farbe oder einem Grauwert entspricht.

9. Vorrichtung zur Extraktion von Nutzinformationen aus einem elektronischen Bild, dadurch gekennzeichnet, daß die Vorrichtung so ausgestaltet ist, das sie die Verfahrensschritte nach einem der vorgenannten Verfahrens-Ansprüche durchführen kann.

10. Verwendung eines Verfahrens gemäß einem der vorgenannten Verfahrens- Ansprüche zur Qualitätssicherung bei einem Produktionsprozeß.