DE10195927B4

DE10195927B4 - Verallgemeinerte Textlokalisation in Bildern

Info

Publication number: DE10195927B4
Application number: DE10195927T
Authority: DE
Inventors: Rainer W. Santa Clara Lienhart; Axel San Jose Wernicke
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2000-03-14
Filing date: 2001-02-23
Publication date: 2008-04-10
Anticipated expiration: 2021-02-24
Also published as: CN100514364C; GB2377114B; DE10195927T1; WO2001069529A2; GB2377114A; HK1049536B; GB0223747D0; US20020159636A1; AU2001238648A1; US6470094B1; TWI223212B; GB2377114A8; CN1418354A; HK1049536A1; HK1069913A1; WO2001069529A3

Abstract

Ein Verfahren zum Lokalisieren von Text in digitalen Bildern, umfassend:
Skalieren eines digitalen Bildes in Bilder mehrerer Auflösungen;
Klassifizieren, ob Pixel in den Bildern mehrerer Auflösungen Teil eines Textbereiches sind;
Zusammenfassen der klassifizierten Bilder mehrerer Auflösungen, um eine Salienzkarte zu erstellen;
Verwenden der Salienzkarte, um Ausgangs-Textbegrenzungsboxen zu erstellen, indem die Boxen ausgehend von mindestens ein Pixel enthaltenden Pixelrechtecken erweitert werden,
wobei Gruppen von mindestens einem an die Rechtecke angrenzenden Pixeln eingeschlossen werden, sofern die Gruppen eine bestimmte Beziehung zu einem ersten Schwellenwert aufweisen, und
Konsolidieren der Ausgangs-Textbegrenzungsboxen.

Description

Technisches Gebiet der Erfindung: Die vorliegende Erfindung betrifft allgemein die Lokalisierung und/oder Segmentierung von Text in Bildern.
Die bestehende Arbeit auf dem Gebiet der Texterkennung hat sich primär auf die optische Erkennung von Zeichen (als optische Zeichenerkennung (OCR) optical character recognition) bezeichnet, in gedruckten und handgeschriebenen Dokumenten konzentriert. Als Reaktion auf die große Nachfrage und den Markt für Dokumentenlesegeräte für Systeme zur Büro-Automatisierung. Diese Systeme sind bis zu einem hohen Grade ausgereift. Weitere Texterkennungsaufaben können in industriellen Anwendungen gefunden werden, von denen sich die meisten auf ein sehr enges Anwendungsgebiet konzentrieren. Ein Beispiel ist die automatische Erkennung von Fahrzeugkennzeichen.
Bezüglich des Auffindens von Text in und des Extrahierens von Text aus komplexen Bildern und Video wurden Vorschläge gemacht. Wie jedoch beim Lesen von deren Beschreibungen erkannt werden kann, sind sie jeweils in irgendeiner Hinsich nicht allgemein gehalten. Außerdem schließen einige ein Entfernen von lokalisiertem Text aus seinem Hintergrund nicht ein.
Ein Verfahren zum Auffinden von Text in Bildern ist n dem Artikel "Finding Text In Images" von Victor Wu et al., Proceedings of the second ACM international conference an Digital libraries, Philadelphia, Pennsylvania, US, ISBN-0-89791-868-1 offenbart.
Der Artikel "Automatic text detection and tracking in digital video" von Huiping Li et al., Image Processing, IEEE Transactions on, Vol. 9, Issue 1, Jan. 2000, S. 147-156 beschreibt ebenfalls ein Verfahren zur Texterkennung in digitalen Bildern.
Der Artikel "Video OCR for Digital News Archive" von Sato, T. et al., Content-Based Access of Image and Video Database, 1998 IEEE International Workshop, 3. Jan. 1998, Seiten 52-60 offenbart ebenfalls ein Verfahren zur Texterkennund in digitalen Bildern.
Aufgabe der Erfindung ist es, ein verbessertes Verfahren zur Textlokalisierung in digitalen Bildern bereitzustellen.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren nach Anspruch 1 gelöst.
Die Erfindung wird vollständiger anhand der folgenden ausführlichen Beschreibung und der beiliegenden Zeichnungen von Ausführungsformen der Erfindung deutlich, die jedoch nicht als Beschränkung der Erfindung auf diese bestimmten beschriebenen Ausführungsformen verstanden werden sollen, sondern nur der Erklärung und dem Verständnis dienen.
1 zeigt ein Ablaufdiagramm, das verschiedene Funktionen darstellt, die in einigen Ausführungsformen der Erfindung ausgeführt werden.
2 zeigt ein Ablaufdiagramm, das Bilder in verschiedenen Stufen der Lokalisierung bei einigen Ausführungsformen der Erfindung darstellt.
3 veranschaulicht Beispiele von Ausgangs-Begrenzungsrahmen für ein Bild in einem Einzelbild, das Text und einen Hintergrund aufweist.
4 veranschaulicht Beispiele der vertikalen und horizontalen Projektionsprofilierung.
5 zeigt die auf einen Teil des Textes von 3 angewendete vertikale Segmentierung.
6 zeigt die auf einen Teil des Textes aus 3 angewendete horizontale Segmentierung.
7 zeigt ein Bild auf einer Website, das Text und einen Hintergrund enthält.
8 zeigt zu einem Teil eine Blockdiagramm-Darstellung und zu einem Teil eine Flußdiagramm-Darstellung einer Farbabschätzung durch Quantisierung gemäß einigen Ausführungsformen der Erfindung.
9 zeigt ein Ablaufschema, das die Beziehung zwischen Video-Überwachung und Textverfolgung gemäß einigen Ausführungsformen der Erfindung darstellt.
10 zeigt eine Blockdarstellung eines Computersystems, das Funktionen gemäß einigen Ausführungsformen der Erfindung ausführen kann.
Detaillierte Beschreibung
1. Einleitung
Verschiedene Ausführungsformen der vorliegenden Erfindung beinhalten Lokalisierung und/oder Segmentierung von Text in Bildern, wobei die Bilder unbewegt oder bewegt, wie z.B. in Videos oder auf Webseiten, sein können. Webseiten können Video- oder Nicht-Videobilder enthalten. Es ist nicht erforderlich, daß der Text in dem Bild eine bestimmte Position oder eine bestimmte Farbe hat. Außerdem kann der Hintergrund (auch als Nicht-Text bezeichnet) einen einfachen (z.B. einfarbigen) oder komplexen Hintergrund aufweisen.
Die effiziente Indizierung und Wiederauffindung von digitalem Video ist ein wesentlicher Aspekt von Multimedia-Datenbanken. Der Text in Videos ist ein leistungsfähiger, hochwertiger Index für die Wiederauffindung. Durch Auffinden, Extrahieren und Erkennen von Text kann ein solcher Index erstellt werden. Er ermöglicht es einem Benutzer komplexe Anfragen zu stellen, wie z.B. nach einer Liste aller Filme mit John Wayne oder aller Filme, die durch Steven Spielberg produziert wurden. Oder er kann verwendet werden, um zu einem Nachrichtenbeitrag über ein bestimmtes Thema zu springen, da die Untertitel in Nachrichtensendungen oft eine Zusammenfassung des zugrundeliegenden Nachrichtenbeitrages zur Verfügung stellen. Z.B. kann man nach dem Begriff "Finanznachrichten" suchen, um die Finanznachrichten des Tages zu erhalten. Der Index kann auch verwendet werden, um Sendezeit und -datum von Werbungen aufzuzeichnen, was denjenigen Personen hilft, die für ihre Kunden überprüfen, ob deren Werbungen in der abgesprochenen Zeit und auf dem abgesprochenen Fernsehkanal übertragen wurde. Viele andere nützliche hochentwickelte Anwendungen sind vorstellbar, wenn Text verläßlich und automatisch in digitalem Video erkannt werden kann. Segmentieren und Erkennen von Text in den Nicht-Textteilen von Webseiten ist ebenfalls eine wichtige Angelegenheit. Immer mehr Webseiten stellen Text in Bildern dar. Die bestehenden Algorithmen zur Textsegmentierung und Texterkennung können den Text nicht extrahieren. Daher können alle bestehenden Suchmaschinen den Inhalt von bilderreichen Webseiten nicht gut indizieren. Textsegmentierung und Texterkennung könnte ebenfalls bei der automatischen Konvertierung von Webseiten, die für große Monitore entwickelt wurden, auf kleine LCD-Anzeigen von Anwendungen helfen, da der Textinhalt in Bildern zurückgewonnen werden kann.
2. Überblick
1 zeigt ein Ablaufdiagramm, das nützlich ist, um einen Überblick bezüglich einiger Ausführungsformen der Erfindung zu geben. 1 enthält einen Textlokalisierungsblock 10 und einen Textsegmentierungsblock 14. Eine Bezugnahme in der Beschreibung auf "eine Ausführungsform", "einige Ausführungsformen" oder "andere Ausführungsformen" bedeutet, daß eine bestimmte Eigenschaft, Struktur oder Charakteristik, die in Verbindung mit den Ausführungsformen beschrieben wird, in mindestens einigen Ausführungsformen, jedoch nicht notwendigerweise in allen Ausführungsformen der Erfindung enthalten ist. Die verschiedenen Erwähnungen von "einer Ausführungsform" oder "einiger Ausführungsformen" beziehen sich notwendigerweise stets auf die gleichen Ausführungsformen.
2.1. Textlokalisierung
Ein digitales Eingangssignal, (das üblicherweise ein Bild beinhaltet) wird durch den Merkmalextraktionsblock 20 des Textlokalisierungsblocks 10 empfangen. Bei einigen Ausführungsform wird jeder ASCII- oder ähnliche Text (z.B. HTML-Text) entfernt, bevor oder wenn das Eingangssignal durch den Merkmalsextraktionsblock 20 empfangen wird. Es ist zu beachten, daß eine Webseite eine Mehrzahl von Bildern enthalten kann, die jeweils als getrennte Bilder behandelt werden. Der Textlokalisierungsblock findet die Textstellen in Bildern und markiert diese durch enge Textbegrenzungsboxen. Bei einigen Ausführungsformen sollten diese Begrenzungsboxen jeweils nur eine Textzeile einer Textspalte umgrenzen. Wie jedoch unten beschrieben wird, ist eine Textspalte nicht auf ein einzelnes Zeichen beschränkt. Bei einigen Ausführungsformen umfaßt die Lokalisierung das folgende:

(1) Merkmalsextraktion (Block 20): Ein Merkmal wird aus dem Eingabebild extrahiert, was Merkmale erfaßt, die einzigartig für Text sind.
(2) Bereichs-Klassifikation (Block 22): Jedes Pixel in dem Bildmerkmal wird danach klassifiziert, ob es zu Text gehört oder nicht. Basierend auf dieser Information werden die Ausgangs-Textbegrenzungsboxen erstellt.
(3) Bereichskonsolidierung (Block 24): Die Textbegrenzungsboxen werden so verfeinert, daß jede nur eine Textzeile und -spalte enthält.
(4) Textverfolgung (Block 26): Wenn die Eingabe ein Video ist, wird dieser Block zu dem Ablauf hinzugefügt. Hier nutzen wir die zeitliche Redundanz des Video aus, um die Präzision der Textbegrenzungsboxen zu verbessern und um viele Falschmeldungen zu entfernen.
(5) Abschätzen des Texts und der dominanten Hintergrundfarbe (Block 28).

2.2. Textsegmentierung: die Textsegmentierungsstufe (Block 14) entfernt den Hintergrund (Nicht-Text-Pixel) und erzeugt ein Ausgabesignal. Das Ausgabesignal auf Ausgang 44 ist eine Bildtext-Darstellung. Ein Beispiel für eine Bildtext-Darstellung ist eine Text-Bitmap. Die Text-Bitmap kann zum Beispiel einen schwarzen Text auf einem weißen Hintergrund enthalten, unabhängig von den Farben des ursprünglichen Textes und Hintergrundes. Die Bitmap kann von der Texterkennungssoftware verwendet werden, um den bestimmten Text zu identifizieren, der durch die Blöcke 10 und 14 lokalisiert und segmentiert wurde. Z.B. kann die Texterkennungssoftware eine Standard-OCR-Software sein, die schwarzen Text auf weißem Hintergrund erwartet, obwohl die Erfindung nicht auf die Erzeugung solch eines Ausgangssignals beschränkt ist.
Um die Segmentierung zu verbessern, wird jede Textbox auf eine Höhe von z.B. 100 Pixeln skaliert (Block 30). Als nächstes wird der Hintergrund entfernt (Blöcke 32 und 36). Die Suche nach Hintergrundpixeln beginnt am Rand der Textbegrenzungsbox. Im Falle von Video kann diesem die sub-pixel-genaue Ausrichtung der Bitmaps des gleichen Textes vorangehen (Block 34). Die verbleibenden Pixel können binär-gewandelt werden (Block 38). Wie erwähnt, können die resultierenden binären Bitmaps in eine Standard-OCR-Software eingegeben werden, um deren Inhalt z.B. in ASCII umzuschreiben.
Die Erfindung ist nicht auf die bestimmten Blöcke (10 und 14) von 1 beschränkt. In verschiedenen Ausführungsformen können Details dieser Blöcke (20 bis 38) abweichen und einige Blöcke können entfernt oder zusammengefügt werden oder eine andere Abfolge haben.
3. Zusätzliche Überblicksinformation und Zusammenfassung
Einige Ausführungsformen des Textlokalisierungs- und Segmentierungssystems gehören zu einer Klasse von Top-Down Ansätzen. Potentielle Textzeilen werden im Falle von Video durch die Auswertung von dessen zeitlicher Redundanz (Abschnitt 5) verfeinert. Die Textsegmentierung kann, wie die Textlokalisierung auch, die zeitliche Redundanz von Video verwenden, um das Ergebnis der Segmentierung zu verbessern. Einige grundlegende Entscheidungen sind in einigen Ausführungsformen enthalten. Diese schließen ein:

(1) Nur horizontaler Text wird berücksichtigt, da dies für mehr als 99% aller künstlichen Textvorkommen zutrifft. Erfahrungen mit älteren Systemen, die jede Schreibrichtung berücksichtigen, legen nahe, daß die fehlenden 1% des Textvorkommens mit einer wesentlich höheren Rate von Falschmeldungen bezahlt würden. Solange es immer noch eine Herausforderung ist, mehr als 90% des Textes in Videos und Bildern korrekt zu segmentieren, kann nicht-horizontaler Text vernachlässigt werden.
(2) Nicht-Textbereiche sind wesentlich wahrscheinlicher als Textbereiche. Daher haben wir uns entschieden, den Rohtext-Detektor so kritisch wie möglich zu trainieren (trainiert für eine bestimmte Textgröße bei einer bestimmten Position). Die Unabhängigkeit von Skalierung und Position kann durch die Anwendung unseres Textdetektors auf alle Positionen bei allen Skalierungen erreicht werden.

Eine weitere Entscheidung ist die, daß das Auftragen von Text nur dann eine Rolle spielt, wenn dieser aus mehr als zwei Buchstaben oder Ziffern besteht.
Die Erfindung ist jedoch nicht auf die oben erwähnten bestimmten Details beschränkt. Es ist möglich, daß bei bestimmten Anwendungen bekannt ist, daß vertikaler Text verwendet wird; in diesem Falle kann die Erfindung angepaßt werden. Wenn außerdem weitere Informationen über das Bild bekannt sind, kann die bestimmte Ausführungsform der Erfindung modifiziert werden, um diese Kenntnis auszunutzen.
4. Textlokalisierung
Es wird auf 2 Bezug genommen. Ein Bild 50 wird in eine Mehrzahl von Bildern verschiedener Größe 52, 54, 56, 58 und 60 skaliert (maßstbälich verkleinert und/oder vergrößert). Die Bilder können Standbilder oder Einzelbilder in einem Video sein. Obwohl fünf Bilder gezeigt sind, kann die Anzahl der Bilder größer oder kleiner als fünf sein. Die Kantenorientierung der Pixel in den Bildern wird bestimmt, um die Bildmerkmale 62, 64, 66, 68 und 70 (siehe Abschnitt 4.1) zu erzeugen. Ein Textadapter mit fester Skalierung wird angewendet, um die Pixel in den Kantenorientierungsbildern zu klassifizieren und um die Bilder 72, 74, 76, 78 und 80 (siehe Abschnitt 4.2) zu erzeugen. Die Bilder 72 bis 80 werden in eine Salienzkarte (Salienzkarte) 84 integriert, die einem Bild zugeordnet ist (siehe Abschnitt 4.3). Die Ausgangs-Textbegrenzungsboxen werden aus der Salienzkarte 84 erzeugt (siehe Abschnitt 4.4.1). Die Textbegrenzungsboxen und ein zugeordnetes Bild, welches gleich oder ähnlich zu dem Bild 50 ist, werden durch Block 86 dargestellt. Die Textbegrenzungsboxen von Block 86 werden überarbeitet (z.B. konsolidiert) (siehe Abschnitt 4.4.2), um überarbeitete Textbegrenzungsboxen zu erzeugen, wie durch Block 88 dargestellt, der ebenfalls das zu Block 86 zugeordnete Bild darstellt. Es ist zu beachten, daß die Textbegrenzungsboxen nicht Teil des Bildes sind, sondern dem Bild zugeordnet sind.
4.1. Bildmerkmale
Das Auftreten künstlichen Texts wurde in der Forschungsgemeinschaft im allgemeinen als Bereiche hoher Kontraste und hoher Frequenzen beschrieben. Es gibt viele verschiedene Wege diese Merkmale zu verstärken. Ein Weg ist die Verwendung des Gradientbildes des RGB-(rot, grün, blau)Eingabebildes I(x, y) = (I_r(x, y), I_g(x, y), I_b(x, y)), um das komplexwertige Kantenorientierungsbild E zu berechnen. E ist wie folgt definiert: A_c(r, φ) sei die Winkelkoordinatendarstellung des kartesischen Ableitungsbildes ∇I_c(x, y) der Farbebene C. Dann ist E definiert als die kartesische Koordinatendarstellung von
Die Modulo-Funktion mit 180 Grad wird angewendet, um die Richtung in eine Orientierung zu konvertieren. E dient als unser Merkmal für die Textlokalisierung.
Ein anderer Weg ist die Verwendung der Richtungsableitung D^c _x and D^c _y des Bildbandes b, um die Richtungskantenstärke zu berechnen
wie auch dessen Gesamtkantenstärke
4.2 Textdetektor mit fester Skalierung
Bei einigen Ausführungsformen wird ein Textdetektor mit fester Skalierung verwendet, um jedes Pixel in dem Kantenorientierungsbild E basierend auf dessen lokaler Nachbarschaft dahingehend zu klassifizieren, ob es Teil eines Textbereiches einer bestimmten Größe ist. Ist z.B. ein 20×10 Pixel großer Bereich in einem Kantenorientierungsbild E gegeben, so klassifiziert der Textdetektor mit fester Skalierung, ob der Bereich Text einer bestimmten Größe enthält. Es gibt viele verschiedene Verfahren, um einen Klassifizierer zu entwickeln. Beispiele beinhalten einen Bayes-Klassifizierer, einen gemischten Gauß-Klassifizierer und ein neuronales Vorwärtskopplungs-Netz (welches gute Verallgemeinerungsfähigkeiten aufweist. Für unsere Arbeit haben wir die Leistung eines Bayes-Klassifizierers unter Verwendung des Neymann-Pearson-Kriteriums mit der Leistung eines realwertigen und komplexwertigen neuronalen Vorwärtskopplungs-Netzes verglichen. Das komplexwertige neuronale Netz mit einer hyperbolischen Tangentenaktivierungsfunktion kann eine überragende Leistungsfähigkeit ermöglichen. In einigen Experimenten war bei einer vergleichbaren Trefferquote (90%) die Anzahl der falschen Treffer (0.07%) auf der Prüfmenge mehr als zweimal geringer als mit einem vergleichbaren realwertigen Netzwerk.
Netzwerkarchitektur. Verschiedene Netzwerkarchitekturen können verwendet werden. Bei einigen Ausführungsformen dienen 200 komplexwertige Neuronen, gespeist von einem 20×10-Kantenorientierungsbereich in E als Netzwerkeingabe. Die Größe des Aufnahmefeldes stellt einen guten Kompromiß zwischen der Leistungsfähigkeit und der rechnerischen Komplexität dar. Eine Eingabeschicht von 30×15 Neuronen erbrachte keine besseren Klassifizierungsergebnisse, war jedoch rechnerisch aufwändiger. Auf der anderen Seite führte die Verwendung einer Eingabeschicht mit weniger als zehn Reihen zu deutlich schlechteren Ergebnissen. Es ist zu beachten, daß die Anzahl der Zeilen des Aufnahmefeldes die Größe der detektierten Schriftfonts bestimmt, da alle Trainingstextmuster derart skaliert werden, daß die Schriftgröße gleich der Anzahl der Zeilen ist. Die Eingabeschicht ist wiederum mit einer verborgenen Schicht von zwei komplexwertigen Neuronen verbunden. Wiederum führt die Verwendung von mehr verborgenen Neuronen nicht zu einer Verbesserung der Leistungsfähigkeit, während die Verwendung von nur einem einzigen Neuron die Anzahl der Falschmeldungen um den Faktor drei erhöhte. Die verborgene Schicht wird zu einem realwertigen Ausgabeneuron vereinigt.
Netzwerktraining. Es gibt verschiedene Wege, um ein Netzwerktraining durchzuführen. Das folgende beschreibt einige Wege, jedoch ist die Erfindung nicht derart beschränkt. Die Trainings- und Prüftestmenge sollte so klein wie möglich und dennoch repräsentativ sein. Sie sollte alle üblichen Text-Muster und Nicht-Text-Muster enthalten. Theoretische Untersuchungen haben ergeben, daß neuronale Netzwerke am effektivsten sind, wenn das Verhältnis der Anzahl der Text- und Nicht-Text-Beispiele in der Trainingsmenge, dem Verhältnis der beiden Gruppen in der Anwendung entspricht. Eine Anzahl von Trainingsbeispielen, die diese Kriterien erfüllen, wird gewonnen. Während es einfach ist, Beispiele für verschiedene Arten von Text zu erhalten, kann es schwieriger sein, eine repräsentative Nicht-Text-Menge zu erhalten.
Eine Lösung für dieses Problem ist das sogenannte "Bootstrap"-Verfahren. Die Zusammensetzung einer Trainingsmenge kann die Leistungsfähigkeit eines Netzwerkes deutlich beeinflussen. Bei einigen Ausführungsformen wurde eine repräsentative Menge von 30180 Textmustern und 140436 Nicht-Textmustern gesammelt. Ursprünglich wurden 6000 Textmuster und 5000 Nicht-Text-Muster für das Training zufällig ausgewählt. Nur der Nicht-Text-Mustermenge war es erlaubt, um weitere 3000 Muster zu wachsen, die mit Hilfe des "Bootstrap"-Verfahrens gesammelt wurden. Dieses Verfahren beginnt mit einer anfänglichen Menge von Nicht-Text-Mustern, um das neuronale Netzwerk zu trainieren. Dann wird das trainierte Netzwerk durch die Verwendung einer Prüfmenge ausgewertet, die sich von der Trainingsmenge unterscheidet (hier: alle Muster abzüglich der Trainingsmenge). Einige der falsch klassifizierten Muster der Prüfmenge werden zufällig zu der Trainingsmenge hinzugefügt und ein neues, hoffentlich verbessertes neuronales Netzwerk wird mit dieser erweiterten und verbesserten Trainingsmenge trainiert. Das resultierende Netzwerk wird mit der Prüfmenge wieder ausgewertet und weiterhin falsch klassifizierte Nicht-Text-Muster werden der Trainingsmenge hinzugefügt. Dieser Zyklus des Trainierens und Hinzufügens von neuen Mustern wird wiederholt, bis die Anzahl der falsch klassifizierten Muster in der Prüfmenge sich nicht mehr verringert oder – wie in unserem Fall – 3000 Nicht-Text-Muster und (nur-Nicht-Text-Muster)- hinzugefügt wurden. Dieser iterative Trainingsprozeß garantiert eine diversifizierte Trainingsmustermenge.
Mit einem gut trainierten neuronalen Netz gleitet ein 20×10-Pixelfenster über das Kantenorientierungsbild E und wird bei jeder Position ausgewertet. Die Antwort des Netzwerkes wird in einem sogenannten Antwortbild gespeichert, indem der zugeordnete 20×10-Bereich in dem Antwortbild mit dem Ausgabewert des Netzwerkes dann, und nur dann gefüllt wird, wenn es th_netz = 0 übersteigt (zwischen –1 und 1). Da eine Schrittgröße von Eins für große Bilder oder hochaufgelöste Fernsehvideosequenzen (HDTV) rechnerisch untragbar sein kann, verwenden wir einen Schrittfaktor von 3 bzw. 2 in der X- bzw. Y-Richtung. Es kann sein, daß die Unterstichprobenentnahme keine Verringerung der Genauigkeit mit sich bringt, jedoch eine sechsfache Beschleunigung.
Bei anderen Ausführungsformen unter Verwendung eines realwertigen Netzes prüft eine logistische Aktivierungsfunktion bei jeder Fensterposition, ob die Ausgabe des neuronalen Netzwerkes th_Netz = 0.85 (zwischen 0 und 1,0) übersteigt. Wenn dem so ist, kann eine Box von 20×10, die mit dem Ausgabewert des neuronalen Netzwerkes gefüllt ist, zu der entsprechenden Position im Antwortbild hinzugefügt werden.
4.3. Integration der Skalierung
Bei einigen Ausführungsformen werden die Ergebnisse der groben Textauffindung mit fester Skalierung bei allen Skalierungen (Bilder 72-80) in eine Salienzkarte des Textes integriert, um die Ausgangs-Textbegrenzungsboxen wiederherzustellen (siehe 2, Block 82). In vielen Situationen identifizieren sich Textpositionen bei einer Mehrzahl von Skalierungen als korrekte Treffer, während Falschmeldungen bei einer Mehrzahl von Skalierungen schlechter übereinstimmen. Eine Salienzkarte kann erzeugt werden, indem eine Verläßlichkeit, Text zu sein, zurück auf die Originalskalierung des Bildes projiziert wird. (Ein Beispiel der Verläßlichkeit, Text zu sein, ist ein Aktivierungsniveau der Ausgabe des neuronalen Netzes). Die Salienzkarte kann mit Null initialisiert werden. Dann wird für jede gefundene Begrenzungsbox bei jeder Skalierung deren Verläßlichkeitswert, Text zu sein, zu der Salienzkarte über der Größe der Begrenzungsbox bei der Originalbildgröße hinzugefügt. In der Nähe eines bestimmten Bereichs kann es bei einer gegebenen Skalierung mehr als eine Begrenzungsbox geben. Bei einigen Ausführungsformen kann die Salienzkarte die Gesamtzahl aller Begrenzungsboxen von allen Bildskalierungen in der Nähe eines bestimmten Bereiches wiedergeben.
4.4. Extraktion der Textbegrenzungsboxen
4.4.1. Ausgangs-Textbegrenzungsboxen
Es gibt verschiedene Wege, um Textbegrenzungsboxen zu erzeugen. Im folgenden werden Verfahren für einige Ausführungsformen beschrieben, jedoch ist die Erfindung nicht auf diese Details beschränkt. Um einen anfänglichen Ausgangs-Satz von Textbegrenzungsboxen um stark herausragende Bereiche herum zu erstellen, beginnt der Algorithmus nach dem nächsten, noch nicht verarbeiteten Pixel in der Salienzkarte zu suchen, der einen Wert aufweist, der größer ist als ein vordefinierter Schwellenwert th_kern. Die Wahl des Schwellenwertes wird durch das Ziel bestimmt, die Erstellung von Textboxen für Nicht-Text-Bereiche zu vermeiden. Nicht-Text-Bereiche sollten weniger ausgeprägt sein. Bei unserem Klassifizierer funktionierte ein Wert von th_kern = 5,0 gut, jedoch kann es notwendig sein, diesen anzupassen (z.B. wenn ein neues neuronales Netzwerk trainiert wird). Ein anderer Wert als 5,0 kann verwendet werden. Wenn einmal ein Pixel, Kernpixel genannt, in der Salienzkarte gefunden wird, das einen Wert P(x, y) > th_kern aufweist, wird dieses als ein Samen für eine neue Textbegrenzungsbox der Höhe und Breite 1 verwendet. Diese neue Textbox wird dann iterativ erweitert. Der folgende Pseudocode (als Pseudocode-Beispiel 1 bezeichnet) gibt ein Beispiel des anfänglichen Textbox-Erzeugungsalgorithmus.
Anfänglicher Textbox-Erzeugungsalgorithmus (Pseudocode-Beispiel 1):
Die durchschnittliche Intensität der Pixel der angrenzenden Zeile über der gesamten Breite der Box in dem gesamten Kantenstärkebild wird als Kriterium für die Erweiterung in dieser Richtung genommen. Wenn die durchschnittliche Intensität größer als th_Bereich = 4,5 ist, wird die Zeile zu der Box hinzugefügt. Dieser Wert wird ein wenig kleiner als th_Kern gewählt, um nicht eine Textbox zu erhalten, die nur den Kern eines Textbereiches enthält, sondern eine Textbox, die alle Teile des Textes umfaßt. Als nächstes wird das gleiche Kriterium verwendet, um die Box nach links, unten und rechts zu erweitern. Die iterative Erweiterung der Box setzt sich fort, solange die Begrenzungsbox weiter wächst (siehe Pseudocode-Beispiel 1).
3 zeigt Datum und Zeit in einem Bild in einem Videoeinzelbild 110 und Beispiele von Ausgangs-Begrenzungsboxen, obwohl die Erfindung nicht auf diese bestimmten Beispiele beschränkt ist. Der Hintergrund des Einzelbildes 110 könnte eine einzige Farbe sein (wie z.B. weiß, wie in der Darstellung) oder ein komplexerer Hintergrund mit verschiedenen Farben in verschiedenen Formen. Die Textbegrenzungsboxen sind als gestrichelte Linien dargestellt. Es könnte sich zusätzlicher Text im Bild 110 befinden.
4.4.2 Überarbeitete Textbegrenzungsboxen
Die Asugangs-Textbegrenzungsboxen umrahmen den Text in dem Bild oft nicht optimal: In der Praxis enthalten einige Boxen keinen Text (Falschmeldungen); andere umrahmen mehr als eine Zeile und/oder Spalte des Textes und bei vielen macht der Hintergrund einen großen Teil der Pixel aus. Glücklicherweise können diese Unzulänglichkeiten durch eine iterative Nachbearbeitungsprozedur überwunden werden, welche die Informationen verwendet, die in den sogenannten Projektionsprofilen enthalten sind.
Ein Projektionsprofil eines Bildbereichs ist eine kompakte Darstellung der räumlichen Verteilung des Pixelinhalts und wurde erfolgreich bei der Dokumenttext Segmentierung angewendet. Während Histogramme nur die Frequenzverteilung einiger Bildmerkmale, wie z.B. der Pixelintensität, erfassen (jede räumliche Information geht verloren), bewahren die Intensitätsprojektionsprofile die grobe räumliche Verteilung auf Kosten einer noch stärkeren Zusammenfassung der Pixelinhalte. Ein horizontales/vertikales Projektionsprofil kann als der Vektor der Summen der Pixelintensitäten über jeder Spalte/Zeile definiert werden.
4 zeigt ein Beispiel, bei dem die vertikalen und horizontalen Projektionsprofile als Balkendiagramme entlang der X- und Y-Achsen des Bildmerkmals dargestellt sind. Die oberen Begrenzungen der Textzeilen werden durch einen steilen Anstieg in dem vertikalen Projektionsprofil markiert, während die unteren Begrenzungen durch einen starken Abfall markiert sind. In ähnlicher Weise sind die rechten und linken Begrenzungen der Textobjekte durch steile Anstiege und Abfälle in dem horizontalen Projektionsprofil gekennzeichnet. Diese steilen Anstiege und Abfälle können als Positionen identifiziert werden, an denen der Profilgraph eine adaptiv eingestellte Schwellenwertlinie schneidet. Übergänge von unten nach oben sind durch eine lange Linie angekündigt und Übergänge von oben nach unten sind durch eine kurze Linie angekündigt (wie in 4 markiert).
Der Begriff "Textobjekt" wird folgendermaßen verwendet. Im Falle eines einzelnen Bildes ist ein Textobjekt eine Textbegrenzungsbox (einschließlich einem, die den Überarbeitungsprozeß durchlaufen hat. In dem Falle von Video, enthält ein Textobjekt eine Mehrzahl von Textbegrenzungsboxen (einschließlich derer, die den Überarbeitungsprozeß durchlaufen haben) von zeitlich verschiedenen Einzelbildern. Mit anderen Worten, im Falle von Video enthält das Textobjekt verschiedene Instanzen des gleichen Textes von verschiedenen Einzelbildern (Bildern).
Ein Beispiel eines vertikalen Segmentierungsalgorithmus ist in Pseudocodeform im Pseudocode-Beispiel 2 gegeben. Ein Beispiel eines horizontalen Segmentierungsalgorithmus ist in Pseudocodeform im Pseudocode-Beispiel 3 gegeben. Jedoch ist die Erfindung nicht auf die besonderen Details beschränkt, die in den Pseucodebeispielen 3 und 4 gezeigt sind. Es gibt andere Wege, Ausführungsformen der Erfindung zu implementieren. Es ist zu beachten, daß der Begriff "Segmentierung" in diesem Abschnitt in Verbindung mit der Überarbeitung der Ausgangs-Begrenzungsboxen verwendet wird und in Abschnitt 6 unter Bezug auf die Entfernung von Text aus dem Hintergrund verwendet wird.
Vertikaler Segmentierungsalgorithmus (Pseudocode-Beispiel 2):
Horizontaler Segmentierungs Algorithmus (Pseudocode-Beispiel 3):
Unter Bezug auf Pseudocode-Beispiel 2 arbeitet der vertikale Segmentierungsalgorithmus, der auf jede Textbox angewendet wird, in einigen Ausführungsformen wie folgt, obwohl die Erfindung nicht auf diese Details beschränkt ist. Die Box wird an der Oberseite und Unterseite erweitert (Zeile (1) und (2) im Pseudocode-Beispiel 2). Die Erweiterung ist deswegen wünschenswert, weil die korrekte Begrenzung außerhalb der gegenwärtigen Box liegen kann und daher die Asugangs-Begrenzungen versehentlich einen Teil des Textes abschneiden können. Um diese Begrenzungen korrekt wiederherzustellen, sollten einige Zeilen außerhalb der ursprünglichen Box in die Betrachtung einbezogen werden. Wir setzen die oberen und unteren Erweiterungen auf das Minimum der Hälfte der Höhe der ursprünglichen Textbox und der Hälfte der maximal möglichen Texthöhe. Während die Hälfte der Höhe der ursprünglichen Textbox eine gute Worst-Case-Abschätzung für die Unzulänglichkeit der anfänglichen vertikalen Begrenzung erscheint, wird die Beschränkung auf die Hälfte der maximal möglichen Texthöhe verwendet, weil die ursprüngliche Textbox mehr als eine Zeile des Textes enthalten könnte und daher die Hälfte der Höhe der Textbox größer als die maximal mögliche Texthöhe sein könnte.
Als nächstes wird das vertikale Projektionsprofil über die erweiterte Box des Bildmerkmals |E| berechnet, wie auch der Maximalwert und Minimalwert max_profil und min_profil im Profil. Um zu bestimmen, ob ein einzelner Wert in dem Projektionsprofil zu einer Textzeile gehört, kann ein Schwellenwert schwell_text über schwell_text = min_profil + (max_profil min_profil) × 0,175 berechnet werden. (Man beachte Zeile (4) im Pseudocode-Beispiel 2). Der Faktor 0,175 wurde empirisch gewählt und kann in anderen Ausführungsformen abweichen. Jede Zeile, die einen vertikalen Profilwert größer als schwell_text aufweist, wird als textenthaltend klassifiziert.
In den Zeilen (6) bis (8) des Pseudocode-Beispiels 3 beginnt der Algorithmus den ersten Übergang von oben nach unten zu suchen, wobei er von der Oberseite startet. Diese Zeile wird als potentielle obere Begrenzung der Textbox (Zeile 9) markiert. Dann wird der nächste Übergang von oben nach unten in dem Projektionsprofil gesucht (Zeile 13). Wenn dieser gefunden wird, wird eine neue Box mit dem aktuellen oberen und unteren Begrenzungen erstellt. Die Suche nach einem neuen Paar von Übergängen von oben nach unten und unten nach oben setzt sich fort, bis alle Elemente in dem Projektionsprofil bearbeitet wurden. Schließlich kann die ursprüngliche Textbox gelöscht werden. Die Textbox wird nun in deren Textzeilen geteilt. Siehe 5, in der die vertikale Segmentierung gezeigt wird, die auf einen Teil der Box aus 3 angewendet wird. Es ist zu beachten, daß die in 5 dargestellten Begrenzungsboxen weiter überarbeitet werden sollten. Der horizontale Segmentierungsalgorithmus (Pseudocode-Beispiel 3) wird in Analogie dazu angewendet, um sicherzustellen, daß Text innnerhalb einer Zeile, der nicht zusammengehört, getrennt wird. In einigen Ausführungsformen können jedoch zwei Unterschiede zwischen den Pseudocode-Beispielen 2 und 3 bestehen:

(1) ein Faktor von 0,25 wird statt 0,175 bei der Berechnung von schwell_text verwendet. Dieser Wert hat sich experimentell als geeigneter für die horizontale Segmentierung erwiesen.
(2) Ein Abstandsparameter wurde hinzugefügt. Im Gegensatz zu der vertikalen Segmentierung sollen Worte in der "gleichen" Spalte nicht wegen kleiner Abstände zwischen den einzelnen Wörtern getrennt werden. Daher wird der Abstandsparameter benötigt, um diese kleinen horizontalen Profilwerte wenn notwendig zu überbrücken. Wenn der Algorithmus bereits ein Paar von Übergängen von unten nach oben und oben nach unten gefunden hat und daher ein Paar potentieller linker und rechter Begrenzungen und wenn der Abstand zwischen den gefundenen Übergängen von oben nach unten und der aktuellen Spalte groß genug ist, wird der gefundene Übergang von unten nach oben in der aktuellen Spalte als linke Begrenzung eines neuen Textobjekts interpretiert, und eine neue Box wird aus dem vorher gefundenen Paar von Übergängen erzeugt. Die aktuelle Spalte wird als neue potentielle linke Begrenzung markiert. Wenn der Abstand nicht groß genug ist, interpretiert der Algorithmus das Tal in dem Profil als zu klein und ignoriert es entsprechend (löscht die bis dahin gefundene potentielle linke Begrenzung). Der Algorithmus fährt mit dem nächsten Wert in dem Profil fort. Die Erfindung ist nicht auf diese Details beschränkt.

6 zeigt ein Beispiel des Ergebnis des horizontalen Segmentierungsalgorithmus. Es ist zu beachten, daß die Begrenzungsboxen bei komplexeren Layouts weiter bearbeitet werden sollten.
7 zeigt den Text "DOW JONES Commodities trading is risking and is not for everyone" in einem Bild 120, das einen Hintergrund 124 enthält. Das Bild 120 befindet sich auf einer Webseite 126. Der Hintergrund 124 kann einfarbig oder ein komplexer Hintergrund sein (z.B. mit vielen Farben in verschiedenen Formen). Der vertikale Segmentierungsalgorithmus kann anfänglich die verschiedenen Textzeilen von "Commodities trading involves risk and is not for everyone" trennen. Der Grund dafür leuchtet ein, wenn man sich verdeutlicht, wie das vertikale Projektionsprofil für die betreffende Textbox aussieht. Die Textbox in der linken Spalte kann das vertikale Profil des kleineren Textes auf der rechten Seite überdecken, welches daher nicht in zwei Textzeilen getrennt werden konnte. Andererseits ist der Abstand zwischen diesen beiden Textspalten groß genug, um sie nach der Anwendung des horizontalen Segmentierungsalgorithmus zu trennen. Im Experiment stellt es sich heraus, daß fast jedes Layout in seine Textzeilen und Spalten getrennt werden kann, wenn einige Zyklen (oder Durchläufer) von vertikalen und horizontalen Segmentierungen auf diese Textboxen angewendet werden.
Da die Texthöhe in Bildern und in Videoeinzelbildern begrenzt ist, werden bei einigen Ausführungsformen Boxen mit Höhe < mintexthöhe = 8ptoder Höhe > maxtexthöhe = Bildhöhe/2als Nicht-Text-Bereich klassifiziert und daher verantworten. Da die horizontale Segmentierung außerdem sicherstellt, daß die Textboxen Textobjekte wie Wörter oder Textzeilen enthalten, sollte die Höhe der korrekt segmentierten Textboxen kleiner als ihre Breite sein. Dementsprechend können Boxen mit Höhe > Breiteebenfalls verworfen werden. Schließlich können Textboxen, die die gleiche obere und untere Begrenzung haben und sich nahe genug sind um sich zu berühren oder zu überlappen, zu einer Textbox zusammengefaßt werden. Dies verringert die Komplexität und kann später eine zeitlich stabilere Textverfolgung ermöglichen.
4.4.3. Abschätzen der Textfarbe und Hintergrundfarbe
Bei einigen Ausführungsformen werden Abschätzungen der Textfarbe und Hintergrundfarbe für jede Textbegrenzungsbox gemacht. Die Abschätzungen können verwendet werden, um zu bestimmen, ob eine Textbegrenzungsbox normalen Text (dunklen Text auf hellem Hintergrund) oder inversen Text (hellen Text auf dunklem Hintergrund) enthält. Bilder sind üblicherweise farbenreich. Auch ein scheinbar einfarbiger Bereich, wie ein Zeichen in einem Videoeinzelbild besteht aus Pixeln vieler verschiedener, aber ähnlicher Farben. Dementsprechend kann die Komplexität der Farbverteilung in jeder Textbegrenzungsbox durch die Quantisierung der Farben in z.B. die vier dominantesten Farben reduziert werden. Eine Vielzahl von Vektor-Quantisierern kann verwendet werden. In unserer Arbeit verwendeten wir einen schnellen Vektor-Quantisierer, welcher leicht verfügbar ist.
Ein Textfarben-Histogramm stellt ein Maß für die Anzahl der quantisierten Farben zur Verfügung, die in einer Textbegrenzungsbox enthalten sind. Das Maß kann von einer Probe des Textes stammen, z.B. den vier zentralen Zeilen der Textbegrenzungsbox. Die durch das Textfarben-Histogramm gemessenen Farben würden üblicherweise auch etwas Hintergrund enthalten, der sich zwischen die Buchstaben und in einige Buchstaben mischt (z.B. "O"). Natürlich können andere Bereiche des Textes als die vier zentralen Zeilen für das Textfarben-Histogramm verwendet werden.
Ein Hintergrundfarben-Histogramm kann ein Maß für die Anzahl der quantisierten Farben zur Verfügung stellen, die in einem Teil des Hintergrundes enthalten sind. Z.B. können die Teile zwei Zeilen unmittelbar über und unter dem Textrahmen sein (insgesamt vier Zeilen). Es ist zu beachten, daß das Hintergrundfarben-Histogramm Komponenten von zwei Hintergrundfarben-Histogrammen enthalten kann (z.B. einen von über und den anderen von unter dem Text). Alternativ kann es nur ein Hintergrundfarben-Histogramm von über dem Text oder ein Farb-Histogramm von unter dem Text geben.
Bei einigen Ausführungsformen wird ein Differenzhistogramm zwischen dem Text und dem Hintergrund-Histogramm berechnet. Die maximale Farbe des Differenz-Histogramms entspricht sehr wahrscheinlich der Textfarbe und die minimale Farbe des Differenz-Histogramms der dominierenden Hintergrundfarbe. Diese Verfahrensart hat sich experimentell als sehr verläßlich für gleichmäßig gefärbten Text erwiesen. Na türlich kann sie für vielfarbigen Text versagen, der selten vorkommt.
Basierend auf der abgeschätzten Textfarbe und der dominantesten Hintergrundfarbe schätzen wir ab, ob ein Textbegrenzungsrahmen wie oben beschrieben, normalen Text oder inversen Text enthält. Wenn der Grauwert der Textfarbe geringer ist als der dominante Hintergrund, nehmen wir normalen Text an, anderenfalls inversen Text.
8 zeigt eine Blockdarstellung der Verwendung von Vektorquantisierung und der Verwendung von Farb-Histogrammen, um die Farbe abzuschätzen, in Übereinstimmung mit einigen Ausführungsformen der Erfindung. Andere Ausführungsformen weisen andere Details auf. In 8 stellt Block 130 eine begrenzte Textbox und umliegenden Hintergrund dar, bevor er vektorquantisiert (VQ) wird. Block 134 stellt das begrenzte vektorquantisierte Textsignal und Hintergrund dar. Nach der VQ enthält das Textsignal einschließlich des Hintergrundes nur vier Farben. Ein Textfarben-Histogramm CH_T – wird z.B. aus einem Streifen (z.B. vier zentrale Zeilen) durch das Zentrum des Textes erstellt. Obere und untere Farb-Histogramme CH_U und CH_L werden von einem Streifen (z.B. zwei Zeilen) über dem Text bzw. von einem Streifen (z.B. zwei Zeilen) unter dem Text erstellt. In dem Beispiel sind vier Farben erlaubt. Daher stellen die Farb-Histogramme die Menge jeder der Farben C1, C2, C3 und C4 dar, die in den Streifen nach der VQ enthalten sind. Ein Differenzfarb-Histogramm CH_D wird erstellt, wobei CH_D = CH_T – CH_U – CH_L. Wie oben vorgeschlagen, können die Farbhistogramme CH_U und CH_L summiert werden, bevor sie von CH_T abgezogen werden.
Es ist zu beachten, daß die abgeschätzten Farben, wie unten in den Abschnitten 6.2.2 und 6.3 beschrieben, verwendet werden können. Jedoch können in Abschnitt 5 bis Abschnitt 6.2.1 und dem ersten Teil von Abschnitt 6.2.2 Bilder mit Graufarben (wie in dem Bild 88 in 2) verwendet werden.
5. Ausnutzen der Informationsredundanz in Videos
Video unterscheidet sich von Standbildern und Nicht-Video-Webseiten durch zeitliche Redundanz. Üblicherweise erscheint jede Textzeile über mehrere aufeinanderfolgende Einzelbilder. Diese zeitliche Redundanz kann ausgenutzt werden, um:

(1) die Chancen zur Lokalisierung von Text zu vergrößern, da der gleiche Text von Einzelbild zu Einzelbild unter wechselnden Bedingungen erscheint,
(2) Text-Falschmeldungen in einzelnen Einzelbildern zu entfernen, da diese üblicherweise nicht über der Zeit stabil sind,
(3) die Positionen von "unbeabsichtigt" verpaßten Textzeilen in einzelnen Einzelbildern zu interpolieren, und
(4) die Segmentierung des Textes durch zeitliche Integration der Bitmaps zu verbessern.

Jedoch kann die Ausnutzung dieser Redundanz rechnerisch aufwendig sein und die Anwendung unseres Textlokalisierungsschemas aus Abschnitt 4 kann untragbar sein. Um dies zu verstehen, nehme man an, daß der bildbasierte Textlokalisierer etwa 5 Sekunden pro MPEG-1-Videoeinzelbild benötigt. Die Verarbeitung von einer Minute Video könnte sich so auf zweieinhalb Stunden summieren! MPEG bezieht sich auf Moving Picture Experts Group. Gegenwärtige und vorgeschlagene MPEG-Formate beinhalten MPEG-1 ("Codierung von bewegten Bildern und zugeordneten Audiodaten für die digitale Speicherung von Medien bei bis zu 1,5 Mbits/s", ISO/IEC JTC 1 CD IS-11172 (1992)), MPEG-2 ("Allgemeine Codierung von bewegten Bildern und zugeordnetem Audio", ISO/IEC JTC 1 CD 13818 (1994) und MPEG-4 ("Audio-Bildcodierung mit sehr niedriger Bitrate") Status: Aufruf zu Vorschlägen 11.94, Entwurfspapier in 11.96). Es gibt verschiedene Versionen von MPEG-1 und MPEG-2. Verschiedene andere Formate als MPEG können verwendet werden.
5.1 Textobjekte
Für den Fall der Standbilder sind alle lokalisierten Textbegrenzungsboxen im allgemeinen unabhängig und ohne Beziehung zueinander. Um die Redundanz, die in Video enthalten ist, auszunutzen, können Textbegrenzungsboxen des gleichen Inhaltes basierend auf den visuellen Inhalten der Textbegrenzungsboxen in aufeinanderfolgenden Einzelbildern zu einem Textobjekt zusammengefaßt werden. Im Falle von Video beschreibt ein Textobjekt eine Textzeile über die Zeit durch die Darstellung als Bildtext (z.B. Bitmaps), die Größe und Position in den verschiedenen Einzelbildern, und auch seinen zeitlichen Bereich des Auftretens. Komplette Textobjekte werden aus Videos in einem zweistufigen Vorgang extrahiert, um die rechnerische Komplexität zu verringern. Das folgende beschreibt die Operation in einigen Ausführungsformen, obwohl die Erfindung nicht derart beschränkt ist. In einer ersten Stufe wird ein Videosignal bei einer groben Zeitauflösung überwacht (siehe 9). Z.B. wird der in Abschnitt 4 beschriebene bildbasierte Textlokalisierer nur auf jedes zwanzigste Einzelbild (z.B. Einzelbilder F80, F100, F120 usw. in 9) angewendet. Wird Text gefunden (z.B. in Einzelbild F120) wird die zweite Stufe der Textverfolgung betreten. In dieser Stufe werden die in der Überwachungsstufe gefundenen Textzeilen zeitlich rückwärts (z.B. Einzelbild F119) und vorwärts (z.B. Einzelbild F121) bis zu deren ersten (z.B. Einzelbild F115) und letzten Erscheinen (z.B. Einzelbild F134) durchsucht. Diese Stufe verwendet eine Kombination von signaturbasierter Suche von Textzeilen und bildbasierter Textlokalisierung. Eine signaturbasierte Suche ist weniger rechenintensiv als eine bildbasierte Textlokalisierung (Abschnitt 4). Eine signaturbasierte Suche kann den Vergleich von Kanten oder Bereichen des Textes mit Dingen in anderen Einzelbildern enthalten. Sie könnte einen Kantenkartenvergleich beinhalten. Horizontale Profile könnten verglichen werden.
5.5.1 Videoüberwachung für Textvorkommen
In einigen Ausführungsformen wird Video bei einer groben zeitlichen Auflösung auf Textvorkommen überwacht. Zu diesem Zweck könnte der bildbasierte Textlokalisierer nur auf eine gleichmäßig verteilte Untermenge der Videoeinzelbilder angewendet werden. Die Schrittgröße wird durch das Ziel bestimmt, keine Textzeile zu übersehen. Es kann jedoch unbedeutend sein, ob Textzeilen im Anfangsbereich, im Mittelbereich oder am Ende ihres zeitlichen Auftretens lokalisiert werden. In jedem Falle wird die Textverfolgungsstufe den tatsächlichen zeitlichen Bereich jeder Textzeile wiederherstellen.
Die maximal mögliche Schrittgröße kann durch die minimal angenommene zeitliche Dauer des Auftretens der Textzeilen gegeben werden, die wir als eine Sekunde annehmen. Untersuchungen des Sehvermögens zeigen, daß Menschen zwischen 2 und 3 Sekunden benötigen, um eine komplette Szene zu verarbeiten. Daher erscheint es vernünftig anzunehmen, daß Text für mindestens 2/3 einer Sekunde deutlich erscheinen sollte, um leicht lesbar zu sein. Für ein Video mit 30 bps (Bilder pro Sekunde) übersetzt sich dies in eine Schrittgröße von zwanzig Einzelbildern.
Wenn bei einigen Ausführungsformen der bildbasierte Textlokalisierer keine Textzeile in Einzelbild_t findet, wird der Überwachungsprozeß mit Einzelbild_t+20 fortgesetzt. Wenn jedoch mindestens eine Textzeile gefunden wird, kann der bildbasierte Textlokalisierer auf Einzelbild_t-1 und Einzelbild_t+1 angewendet werden. Als nächstes sucht der Algorithmus für jede der Textzeilen in Einzelbild_t nach einer entsprechenden Textzeile in Einzelbild_t-1 und Einzelbild_t+1. Übereinstimmung zwischen zwei Textzeilen kann durch Bereichsüberlappung von mehr als 80% ihrer entsprechenden Begrenzungsboxen bei ihren Einzelbildpositionen definiert werden, obwohl andere Werte verwendet werden können. Wenn A und B die Punktmengen darstellen, die die Referenz- bzw. die zweite Begrenzungsbox beschreiben, kann die prozentuale Überlappung als Überlappung = |A∩B|/|A| definiert werden. In diesem Falle können dementsprechend zwei zugehörige Boxen nicht mehr als 20% in der Größe voneinander abweichen, wenn sie an derselben Position in aufeinanderfolgenden Einzelbildern auftreten und/oder dürfen nur leicht gegeneinander verschoben werden, wenn sie die gleiche Größe haben. Kleine Verschiebungen sind üblich bei nicht statischem Text. Wenn einander entsprechende Boxen in Einzelbild_t-1 und Einzelbild_t+1 für eine Textbox in Einzelbild_t gefunden werden, wird ein neues Textobjekt erstellt (welches diese Textboxen enthält) und für die zeitliche Verfolgung markiert. Pseudocode-Beispiel 4 gibt eine Zusammenfassung des Videoüberwachungsvorganges wieder.
Videoüberwachungsalgorithmus für Textvorkommen (Pseudocode-Beispiel 4):
5.1.2 Textverfolgung
Bei einigen Ausführungsformen wird dann jedes Textobjekt, basierend auf den Inhalten der in der Videoüberwachungsstufe erstellten Textobjekte, auf alle Einzelbilder erweitert, die die betreffende Textzeile enthalten (dies verringert die Anzahl der Bitmaps, die auf den Leitern 44 in 1 bereitgestellt werden). Die Textverfolgung kann sowohl zeitlich vorwärts als auch zeitlich rückwärts durchgeführt werden. Jedoch beschränken wir unsere Beschreibung auf die Vorwärtsverfolgung, da die Rückwärtsverfolgung sich nicht von der Vorwärtsverfolgung unterscheidet, außer in der Richtung, in der man durch das Video geht. Die grundlegende Idee hinter unserem schnellen Textverfolger ist es, die Textzeile in dem aktuellen Videoeinzelbild zu nehmen, eine charakteristische Signatur zu berechnen, die es erlaubt diese Textzeile von anderen Textzeilen mit anderen Inhalten zu unterscheiden, und nach dem Bildbereich der gleichen Größe in dem nächsten Videoeinzelbild zu suchen, das am besten mit der Referenzsignatur übereinstimmt.
Das in Abschnitt 4.4.2 definierte vertikale und horizontale Projektionsprofil dient als kompakte und charakteristische Referenzsignatur, obwohl andere Signaturen verwendet werden können. Das Zentrum der Signatur kann als Zentrum der begrenzenden Textbox der zugeordneten Textzeile definiert werden. Die Ähnlichkeit zwischen zwei Signaturen kann durch die Überschneidung von Signaturen gemessen werden (z.B. durch die Summe des Minimums zwischen bestimmten Elementen in Signaturen). In den Fällen, in denen Signaturen sowohl ein interessierendes Objekt als auch einen wechselnden Hintergrund umfassen, können Signaturen oder Histogrammüberschneidungen die L-Normen leistungsmäßig übertreffen. Um die präzise Position einer Textzeile in dem nächsten Einzelbild zu finden, können alle Signaturen, deren Zentren in ein Suchfenster um das Zentrum der Referenzsignatur fallen, berechnet und mit der Referenzsignatur verglichen werden. Wenn der beste Treffer eine minimal erforderliche Ähnlichkeit übertrifft, kann die Textzeile als gefunden deklariert werden und zu dem Textobjekt hinzugefügt werden. Wenn der beste Treffer eine minimal erforderliche Ähnlichkeit nicht über trifft, wird eine signaturbasierte Auslassung deklariert. Die Größe des Suchradius hängt von der maximal angenommenen Geschwindigkeit des Textes ab. In unseren Experimenten nahmen wir an, daß der Text mindestens zwei Sekunden für eine Bewegung in dem Video von links nach rechts benötigt. Bei gegebener Bildgröße und der Wiedergabefrequenz des Videos ist dies direkt in den Suchradius in Pixeln zu übersetzen. Im Prinzip könnten wir die Position durch die bis dahin in den Textobjekten enthaltenen Informationen voraussagen, um den Suchraum einzugrenzen, jedoch braucht es dafür keinen rechnerischen Bedarf zu geben.
Es ist zu beachten, daß dieser signaturbasierte erschöpfende Suchalgorithmus dem Blockanpassungs-Algorithmus für die Bewegungsvoraussage ähneln kann, abgesehen davon, daß das Ähnlichkeitsmaß auf einer Signatur basiert, die aus einem Bildmerkmal des tatsächlichen Bildes abgeleitet ist.
Es kann passieren, daß die signaturbasierte Textzeilensuche eine langsam ausblendende Textzeile nicht erfaßt, da die Suche auf der Signatur der Textzeile in dem vorherigen Einzelbild basiert und nicht auf einer festen und hergeleiteten Haupt/Prototyp-Signatur. Die Änderungen von Einzelbild zu Einzelbild können zu klein sein, um erkennbar zu sein. Außerdem kann die signaturbasierte Textzeilensuche bei der Verfolgung von einzoomendem oder auszoomendem Text versagen. Um diese Beschränkungen zu überwinden, kann die signaturbasierte Suche bei jedem x-ten Einzelbild durch den bildbasierten Textlokalisierer ersetzt werden, um die Positionen und Größen der Textzeilen zu rekalibrieren. Neu erkannte Textboxen können hier jedoch verworfen werden.
Heuristisch stellte sich jedes fünfte Einzelbild als guter Kompromiß zwischen Geschwindigkeit und Verläßlichkeit heraus, jedoch können auch andere Intervalle verwendet werden. Wieder können bei einigen Ausführungsformen sich die Begrenzungsboxen einander entsprechenden Textzeilen um mindestens 80% überlappen.
Aufgrund von Mängeln in dem Videosignal, wie starkem Rauschen, begrenzter Bandbreite (z.B. ineinanderlaufende Farben), Textausschluss, Artefakten der Kompression, u.s.w., ist die ununterbrochene Erkennung von Textobjekten im strengen Sinne (z.B. bei jedem Einzelbild) oft nicht möglich oder praktikabel. Daher kann es sein, daß es keine gute Idee ist, die Verfolgung abzubrechen, wenn keine entsprechende Textzeile in dem nächsten Einzelbild gefunden werden kann. Vielmehr sollte die Verfolgung nur dann abgebrochen werden, wenn für eine bestimmte Anzahl von aufeinanderfolgenden Einzelbildern keine entsprechende Textzeile gefunden werden kann.
Dafür können zwei Schwellenwerte max signaturbasiert / Auslassung und max bildbasiert / Auslassung verwendet werden. Jedes Mal dann, wenn ein Textobjekt nicht bis zum nächsten Einzelbild erweitertet werden kann, wird der entsprechende Zähler um Eins inkrementiert. Der entsprechende Zähler wird immer dann auf Null gesetzt, wenn die zugehörige Suchmethode erfolgreich ist. Der Verfolgungsvorgang kann abgebrochen werden, sobald einer der beiden Zähler seinen Schwellenwert max signaturbasiert / Auslassung oder max bildbasiert / Auslassung übersteigt. In unseren Experimenten wurden die
Schwellenwerte für den bildbasierten Textlokalisierer auf maxbildbasiertAuslassung = 3 gesetzt, jedoch können auch andere Werte ver wendet werden. Diese Art von Auslassungen können durch sehr stark rauschbelastete Videoeinzelbilder oder zeitweilig ausgeschlossenen Text verursacht werden. Der Schwellenwert für die signaturbasierte Suche wurde auf maxsignaturbasiertAuslassung = 4 gesetzt, z.B. die Entfernung zwischen zwei vollständig lokalisierten Einzelbildern, jedoch können auch andere Werte verwendet werden. Ein Wert von 4 ermöglicht die Verfolgung von Textzeilen, wenn sich die signaturbasierte Suche sehr schwer gestaltet, wie z.B. für einzoomenden oder auszoomenden Text.
Das unten stehende Pseudocode-Beispiel 5 gibt eine Zusammenfassung des Videoüberwachungsvorgangs gemäß einiger Ausführungsformen der Erfindung wieder. Jedoch können andere Ausführungsformen der Erfindung mit anderen Details implementiert werden.
Vorwärts-Textverfolgungsalgorithmus eines gegebenen Textobjekts (Pseudocode-Beispiel 5):
5.1.3. Nachbearbeitung
Um ein Textobjekt für die Textsegmentierung vorzubereiten, kann es auf den Teil zugeschnitten werden, der mit hoher Verläßlichkeit erkannt worden ist. Dafür wird in manchen Ausführungsformen jedes Textobjekt zeitweise auf das erste und letzte Einzelbild zugeschnitten, in denen der bildbasierte Textlokalisierer die Textzeile erkannt hat. Als nächstes wird das Textobjekt verworfen, wenn es z.B.

(1) für weniger als eine Sekunde erscheint oder
(2) eine Auslassungsrate von mehr als 25% aufweist.

Andere Werte können verwendet werden. Die erste Bedingung folgt aus der Beobachtung, daß Textzeilen üblicherweise für mindestens eine Sekunde sichtbar sind und kürzere Textzeilen üblicherweise Falschmeldungen sind. Die zweite Bedingung entfernt Textobjekte, die aus instabiler Verfolgung resultieren und die eine nachfolgende Verarbeitung nicht behandeln kann. Instabile Verfolgung kann durch starke Artefakte der Kompression oder Nicht-Text verursacht werden.
Schließlich können bei einigen Ausführungsformen eine oder mehrere der folgenden globalen Merkmale für jedes Textobjekt bestimmt werden. Die jeweiligen Details können in verschiedenen Ausführungsformen abweichen.
(1) Textfarbe des Textobjekts
Unter der Annahme, daß die Textfarbe derselben Textzeile sich mit der Zeit nicht verändert, wird die Textfarbe eines Textobjektes als Median aller pro Einzelbild bestimmten Textfarben bestimmt (z.B. wie durch Abschnitt 4.4.3 erhalten). Als Textfarbe muß nicht der Median gewählt werden. Andere mittelnde oder nicht mittelnde Maße können verwendet werden.
(2) Textgröße
Die Größe der Textbegrenzungsbox kann fest sein oder sich mit der Zeit verändern. Wenn Sie fest ist, bestimmen wir ihre Breite und Höhe durch den Median über der Menge der Breiten und Höhen.
(3) Textposition
Die Textzeile kann in einer oder beiden Koordinaten statisch sein. Eine Textzeile wird als statisch in der X- und/oder Y-Richtung angesehen, wenn die mittlere Bewegung pro Einzelbild weniger als 0,75 Pixel beträgt. Die mittlere Bewegung wird auf der Grundlage der Differenz der Positionen zwischen dem ersten und dem letzten Textvorkommen dieser Textzeile, normiert mit der Anzahl der Einzelbilder, berechnet.
Wenn die Textzeile statisch ist, ersetzen wir alle Textbegrenzungsboxen durch die Median-Textbegrenzungsbox. Die Median-Textbegrenzungsbox ist die Box, deren linke/rechte/obere/untere Begrenzung der Median über alle linken/rechten/oberen/unteren Begrenzungen ist. Wenn die Position nur in einer Richtung, wie z.B. der X- oder Y-Achse, fest ist, werden die linke und rechte oder die obere und untere Begrenzung durch die jeweiligen Medianwerte ersetzt.
6. Textsegmentierung
Die Textsegmentierung beinhaltet die Beseitigung des Hintergrundes von dem Text. Diese sollte nicht mit der Segmentierung aus Abschnitt 4.4.2 verwechselt werden.
6.1 Auflösungseinstellungen (Man beachte Block 30 in 1)
Die Textsegmentierungsmaßnahmen können an umskalierten Bildern (durch z.B. kubische Interpolation) durchgeführt werden, so daß die Texthöhe des betrachteten Textobjekts eine feste Höhe von z.B. 100 Pixel aufweist, wobei das Sei tenverhältnis erhalten bleibt. Es gibt verschiedene Gründe für die Umskalierung:
(1) Auflösungsverbesserungen von kleinen Schriftgrößen, die wiederum zu besseren Segmentierungsergebnissen führen
Eines der Hauptprobleme der gegenwärtigen Textextraktion und Texterkennung in Videos ist deren sehr geringe Auflösung. Bei MPEG-1-kodierten Videos haben die einzelnen Zeichen oft eine geringere Höhe als 12 Pixel. Obwohl Text bei dieser Auflösung für Menschen immer noch erkennbar ist, macht diese es den heutigen Standard-OCR-Systemen schwer. Diese OCR-Systeme wurden entwickelt, um Text in Dokumenten zu erkennen, die bei einer Auflösung von mindestens 200 DPI bis 300 DPI gescannt wurden, was eine minimale Texthöhe von mindestens 40 Pixeln ergibt. Um mit Standard-OCR-Systemen gute Ergebnisse zu erzielen, ist es wünschenswert, die Auflösung der Textzeilen zu verbessern.
Die Verbesserung der sichtbaren Qualität von Textbitmaps ist ein anderer und noch wichtigerer Grund für die Hochskalierung kleiner Textbitmaps. Die höhere Auflösung ermöglicht eine sub-Pixel-genaue Textausrichtung (bezogen auf die ursprüngliche Auflösung) in Abschnitt 6.2.2.
(2) Rechnerische Einsparungen für große Schriftgrößen
Eine Texthöhe, die größer ist als die festgelegte Höhe (z.B. 100 Pixel) verbessert weder die Segmentierung noch die OCR-Leistung. Die Herabsetzung der Größe verringert die rechnerische Komplexität deutlich. Es ist zu beachten, daß ein Auftreten größerer Schriftgrößen sehr wahrscheinlich ist, da unser Ansatz tatsächlich vielfachauflösend (multi-resolution) ist und auf Webseiten und HDTV-Videosequenzen mit einer Auflösung bis zu 1920 mal 1280 Pixeln arbeitet. 100 Pixel sind nur 1/12 der Höhe des Einzelbildes.
6.2. Entfernung der Hintergründe (einschließlich komplexer Hintergründe)
Wie erwähnt, können Hintergründe entfernt werden (man beachte Block 32 in 1). Ein komplexer Hintergrund hat größere Änderungen als ein einfacher Hintergrund. Jedoch ist die Erfindung nicht auf eine bestimmte Art von Hintergrund beschränkt (es kann ein komplexer oder einfacher Hintergrund sein). Wenn jedoch besondere Informationen über den Hintergrund des Bildes bekannt sind, so kann, wie oben erwähnt, eine Ausführungsform der Erfindung für die Verwendung dieser Informationen angepaßt werden.
6.2.1 Bilder
Es wird angenommen, daß Textvorkommen einen Kontrast zu ihrem Hintergrund aufweisen, um leicht lesbar zu sein. Dieses Merkmal wird hier verwendet, um große Teile des komplexen Hintergrundes zu entfernen. In einigen Ausführungsformen arbeitet es wie folgt, obwohl die Erfindung nicht derart beschränkt ist. Die grundlegende Idee ist es, die Textbegrenzungsbox derart zu vergrößern, daß keine Textpixel auf den Rand fallen, und dann jedes Pixel auf der Begrenzung der Textbegrenzungsbox als Keim zu verwenden, um alle Pixel, die nicht mehr als Schwellenwert_Keimfüllung davon abweichen, mit der Hintergrundfarbe zu füllen (man beachte, daß bei einigen Ausführungsformen die Änderung der gefüllten Pixel auf die Hintergrundfarbe zunächst nur vorgemerkt wird und nicht tatsächlich auf der Bitmap ausgeführt wird. Nachdem die Keimfüllung auf alle Pixel der Boxbegrenzung angewendet worden ist, kann die Ausführung vorgenommen werden). Die Hintergrundfarbe ist schwarz für inversen Text und weiß für normalen Text. Da die Pixel auf der Begrenzung nicht zu dem Text gehören und da der Text Kontrast zu seinem Hintergrund aufweist, wird der Keimfüllungs-Algorithmus niemals Pixel von Zeichen entfernen (Keimfüllungs-Algorithmen sind der Technik bekannt). Wir nennen diese neu konstruierte Bitmap B^r(x, y).
In unseren Experimenten wurde die euklidische Distanz zwischen den RGB-Farben als Distanzfunktion verwendet, und der Keimfüllungs-Algorithmus verwendete eine Vierfach-Nach barschaft. Um sicherzustellen, daß alle Buchstaben vollständig in den Textbegrenzungsboxen enthalten sind, erweiterten wir diese außerdem horizontal um 20% und vertikal um 40%. Andere Werte können verwendet werden.
Nicht alle Hintergrundpixel müssen gelöscht werden, da die Größe der Bereiche, die durch den Keimfüllungs-Algorithmus gefüllt werden, durch die maximal erlaubte Farbdifferenz zwischen einem Pixel und seinem Rahmenpixel beschränkt ist. Die Größe der verbleibenden Farbbereiche kann verwendet werden, um die verbleibenden Bereiche des Hintergrundes mit der Hintergrundfarbe zu füllen. In einigen Ausführungsformen kann jedes Pixel ein Keim für den Keimfüllungs-Algorithmus sein. Der Achtfach-Nachbarschaft-Keimfüllungs-Algorithmus könnte dann hypothetisch auf B^r(x, y) angewendet werden, um die Abmessungen des Bereiches zu bestimmen, der gefüllt werden könnte. Hintergrundbereiche sollten kleiner sein als Textzeichenbereiche. Daher werden alle Bereiche mit einer Höhe kleiner als min_Höhe Pixel und einer Breite kleiner als min_Breite _, oder größer als max_Breite gelöscht (mit der Hintergrundfarbe belegt).
6.2.2 Videobilder
Ein Video-Textobjekt unterscheidet sich von einem Einzelbild-Textobjekt in der Hinsicht, daß es eine Mehrzahl von Bildtextdarstellungen (z.B. Bitmaps) derselben Textzeile aufweist und nicht nur eine einzige. In einigen Ausführungsformen wird das folgende Verfahren angewendet, um diese Redundanz auszuwerten, um den komplexen Hintergrund, der die eigentlichen Zeichen umgibt, zu entfernen. Jedoch ist die Erfindung nicht auf diese Details beschränkt. Dieses Verfahren kann nicht nur auf statischen Text angewendet werden, sondern auch auf bewegten Text, weil wir das Problem der sub-pixel-genauen Textzeilenausrichtung gelöst haben.
Das Ursprungsbild kann in einem Graustufenformat wiedergeladen werden. Jedoch wird die vektorquantisierte Version verwendet, um zu bestimmen, welche Graustufenfarbe die glei che wie die abgeschätzte Textfarbe ist, wie unten beschrieben.
In einigen Ausführungformen funktioniert es wie folgt. Angenommen, man stapelt die verschiedenen Bitmaps eines Textobjekts so aufeinander, daß die Zeichen perfekt aufeinander ausgerichtet sind. Zu Text gehörige Pixel tendieren dazu, sich mit der Zeit nur leicht zu verändern, während nicht-Text Pixel (Hintergrund) sich meist dramatisch mit der Zeit verändern. Da die Textposition aufgrund der Ausrichtung feststeht, sollten sich diese Pixel nicht verändern (es ist zu beachten, daß obwohl der Text als statisch angenommen wird, kleine Änderungen von Einzelbild zu Einzelbild auftreten können). Hintergrundpixel verändern sich mit hoher Wahrscheinlichkeit aufgrund der Bewegung im Hintergrund oder Bewegung der Textzeilen. Wir leiten eine repräsentative Textzeilenbitmap für jedes Textobjekt ab. Bei einem gegebenen Stapel von perfekt ausgerichteten Bitmaps wird der Maximum-Minimum-Operator auf der Zeitskala auf die Graustufenbilder für normalen/inversen Text angewendet. Es ist zu beachten, daß es nicht notwendig ist, jede Bitmap eines Textobjektes zu verwenden, weil sich der Hintergrund üblicherweise zwischen zwei aufeinanderfolgenden Einzelbildern nicht signifikant ändert. Es zeigt sich, daß eine Auswahl von etwa vierzig zeitlich gleichverteilten Einzelbildern genug sein kann, um sehr gute Ergebnisse zu erhalten. Wenn z.B. 200 Einzelbilder vorhanden sind und 40 Einzelbilder ausgewählt sind, dann können die 40 Einzelbilder einen Abstand von fünf haben. Wenn 150 Einzelbilder vorhanden sind, können die 40 Einzelbilder einen Abstand von 15/4 haben, was bedeutet, daß der Abstand auf eine ganze Anzahl auf- oder abgerundet werden kann, oder daß der Abstand nicht konsistent ist, manchmal 3 aber meistens 4, um im Mittel 15/4 zu erhalten. Es ist außerdem zu beachten, daß einige Einzelbilder am Anfang und Ende eines Textobjektes übersprungen werden können, um eventuelle Probleme mit Einblendungs- oder Ausblendungseffekten zu vermeiden. Wie oben vorgeschlagen, wird alle paar Einzelbilder ein bildbasiertes Lokalisierungsverfahren verwendet, um zu vermeiden, daß die charakteristische Textfarbe langsam während der Einblendung oder Ausblendung geändert wird. Die Verfolgung durch die Signatur allein, könnte dazu führen, daß die Segmentierung unter solchen Umständen ruiniert wird.
Im folgenden wird beschrieben, wie die Bitmaps im wesentlichen perfekt ausgerichtet werden. Zuerst können in ähnlicher Weise bei Bildern und Webseiten alle Textbegrenzungsboxen eines Textobjektes um, z.B. 20% in horizontaler Richtung und 40% in vertikaler Richtung erweitert werden. Als nächstes können alle Bitmaps in Graustufenbilder konvertiert werden, da Graustufen stabiler gegen Farbkompressionsartefakte sind. Nahezu alle Videokompressions-Algorithmen stellen die Intensität bei höherer Auflösung als Farben dar, wie in dem bekannten 4:2:0 Abtastschema.
B_O(x, y), ..., B^N-1(x, y) sollen die N betrachteten Bitmaps bezeichnen und B^r(x, y) die repräsentative Bitmap, die abgeleitet werden muß und auf B^r ₀(x, y) = B₀(x, y) initialisiert wird. Z.B. könnte N = 40 sein, so daß 40 Bitmaps aus 40 Einzelbildern vorhanden sind. Dann können wir für jede Bitmap B_i(x, y), i ∊ {1, ..., 39) die beste Verschiebung (dx, dy) suchen, welche die Differenz zwischen B^r(x, y) und B_i(x, y), bezogen auf die Textfarben, minimiert, z.B.
Der Grund dafür, daß diese Art von Blockanpassungssuche funktioniert, ist der, daß nur Pixel in der Textfarbe in Betracht gezogen werden, wobei die Textfarbe die abgeschätzte Textfarbe aus Abschnitt 4.4.3 sein kann. Es wird definiert, daß ein Pixel dann, und nur dann, die Textfarbe hat, wenn es nicht mehr als einen bestimmten Betrag von der aus dem Textobjekt bestimmten Textfarbe abweicht. Es ist zu beachten, daß dieser Abstand basierend auf den RGB-Werten berechnet wird. Bei jeder Iteration wird B^r(x, y) mittels der vorhergehend angegebenen Gleichung aktualisiert, gemäß
B^r _i(x, y) = max(B^r _i-1(x, y), B_i(x + dx_t ^opt, y + dy_t ^opt)) für normalen Text
und gemäß
B^r _i(x, y) = min(B^r _i-1(x, y), B_i(x + dx_t ^opt, y + dy_t ^opt)) für inversen Text.
Es ist zu beachten, daß wir nicht nach den perfekten Verschiebungen suchen müssen, wenn ein Textobjekt in Abschnitt 4.4.3 als statisch identifiziert worden ist. Statt dessen können die Verschiebungen zwischen den verschiedenen Bitmaps alle auf Null gesetzt werden.
Durch das Verfahren aus Abschnitt 6.2.2 kann der Hintergrund dazu neigen, für normalen Text heller und heller zu werden und für inversen Text dunkler und dunkler zu werden. Jedoch ist es möglich, daß das erste Einzelbild das hellste bzw. dunkelste ist.
6.3. Binärisierung (Man beachte Block 38 in 1)
Die Textbitmaps B^r _i(x, y) sind nun für die Erkennung durch Standard-OCR-Engines vorbereitet. Hierzu können die Graustufenbilder in schwarz auf weißem Hintergrund konvertiert werden. Im folgenden wird eine Möglichkeit beschrieben, einen passenden Schwellenwert zu finden, der eine gute, wenn nicht sogar optimale Trennung zwischen Text und Hintergrund erlaubt. Aus Abschnitt 4.4.3 kennen wir die abgeschätzte Textfarbe, die dominante Hintergrundfarbe und wissen, ob wir es mit normalem Text oder inversem Text zu tun haben. Da der Großteil des Hintergrundes ohnehin in Abschnitt 6.2 entfernt wurde, haben wir uns entschieden, die Hintergrundfarbe für inversen Text auf schwarz zu setzen und für normalen Text auf weiß. Dann ist der Intensitätswert in der Mitte zwischen der Intensität der Textfarbe und der Hintergrundfarbe ein guter Binärisierungs-Schwellenwert. Jedes Pixel in der Textbitmap, das einen höheren Wert als der Binärisierungs-Schwellenwert hat, kann für normalen Text auf weiß gesetzt werden und für inversen Text auf schwarz. Jeder Pixel in der Textbitmap, der einen geringeren oder gleichen Wert hat wie der Binärisierungs-Schwellenwert, kann für normalen Text auf schwarz und für inversen Text auf weiß gesetzt werden. Schließlich ist es empfehlenswert, die binäre Bitmap durch Verwerfen von kleinen Bereichen (setzen auf die Hintergrundfarbe) zu bereinigen, so wie es in Abschnitt 6.2.1 beschrieben wurde.
Zusätzliche Informationen
Einige Ausführungsformen der vorliegenden Erfindung sind nicht nur dazu in der Lage, Textvorkommen zu lokalisieren und in große binäre Bilder zu segmentieren, sondern auch dazu, jedes Pixel innerhalb eines Bildes oder Videos zu kennzeichnen, je nachdem, ob es zu Text gehört oder nicht. Daher können unsere Textlokalisierungs- und Segmentierungsverfahren für objektbasierte Videocodierung verwendet werden. Es ist bekannt, daß objektbasierte Videocodierung eine wesentlich höhere Videoqualität bei einer festen Bitrate im Vergleich zu bestehenden Kompressionsverfahren erreicht. Jedoch ist in den meisten Fällen des Problem der automatischen Extraktion von Objekten noch nicht möglich. Unsere Textlokalisierung und Textsegmentierungs-Algorithmen lösen dieses Problem für Textvorkommen in Videos.
Einige Ausführungsformen der Erfindung beinhalten einen Vielfachauflösungs-Ansatz (multi-resolution-Proach), bei dem die Textlokalisierung und der Textsegmentierungs-Algorithmen erfolgreich von MPEG-1-Videosequenzen bis zu HDTV-MEPG-2-Videosequenzen (1980×1280) ohne jede Einstellung der Parameter erfolgreich arbeiten. Z.B. können die Zeichengrößen zwischen 8 Pixeln und der halben Höhe der Einzelbilder variieren.
10 zeigt ein Computersystem 180 mit einem Prozessor 184 und einem Speicher 188. Der Speicher 188 stellt einen oder mehrere einer Mehrzahl von Speichereinrichtungsar ten dar, einschließlich RAM, Plattenlaufwerke, CD-ROMS und Videospeicher, um nur einige zu nennen. Der Speicher 188 enthält maschinenlesbare Medien, auf denen Anweisungen gespeichert werden, um die oben beschriebenen verschiedenen Funktionen auszuführen. Der Speicher 188 kann außerdem zu verarbeitende Daten (z.B. digitale Videosignale) speichern, wie auch Zwischenergebnisse und Endergebnisse der Verarbeitung. Es ist klar, daß 10 stark schematisiert ist und in der Praxis eine Mehrzahl von anderen gut bekannten Komponenten enthalten würde.
Der Begriff Einzelbild soll in einem weiten Sinne verstanden werden. Z.B. spielt es keine Rolle, ob diese verschachtelt (interleaved) sind oder nicht. In ähnlicher Weise sollen die Begriffe Bild und Video in einem weiten Sinne interpretiert werden. Kein besonderes Format ist erforderlich.
Wenn in der Beschreibung erklärt wird, daß eine Komponente, ein Merkmal, eine Struktur oder Charakteristik enthalten sein "kann" oder "könnte", so bedeutet dies, daß die jeweilige Komponente, das Merkmal, die Struktur oder Charakteristik nicht enthalten sein muß. Wenn sich die Beschreibung oder die Ansprüche auf "ein" Element beziehen, so bedeutet dies nicht, daß es nur eines dieser Elemente gibt. Wenn sich die Beschreibung oder die Ansprüche auf "ein zusätzliches" Element beziehen, so schließt dies nicht aus, daß es mehr als eines der zusätzlichen Elemente gibt.

Claims

Ein Verfahren zum Lokalisieren von Text in digitalen Bildern, umfassend: Skalieren eines digitalen Bildes in Bilder mehrerer Auflösungen; Klassifizieren, ob Pixel in den Bildern mehrerer Auflösungen Teil eines Textbereiches sind; Zusammenfassen der klassifizierten Bilder mehrerer Auflösungen, um eine Salienzkarte zu erstellen; Verwenden der Salienzkarte, um Ausgangs-Textbegrenzungsboxen zu erstellen, indem die Boxen ausgehend von mindestens ein Pixel enthaltenden Pixelrechtecken erweitert werden, wobei Gruppen von mindestens einem an die Rechtecke angrenzenden Pixeln eingeschlossen werden, sofern die Gruppen eine bestimmte Beziehung zu einem ersten Schwellenwert aufweisen, und Konsolidieren der Ausgangs-Textbegrenzungsboxen.
Das Verfahren nach Anspruch 1, wobei die bestimmte Beziehung darin besteht, daß eine mittlere Intensität der Gruppe den ersten Schwellenwert übersteigt.
Das Verfahren nach Anspruch 1, wobei die Gruppe eine an das Rechteck angrenzende Zeile oder Spalte enthält und das Rechteck als 1-Pixel-mal-1-Pixel-Rechteck startet.
Das Verfahren nach Anspruch 1, wobei die Salienzkarte die gleiche Auflösung wie das digitale Bild hat, bevor es in eine Mehrzahl von Auflösungen skaliert wird.
Das Verfahren nach Anspruch 1, wobei das digitale Bild Teil eines digitalen Videobildes ist und wobei beim Konsolidieren der Ausgangs-Textbegrenzungsboxen horizontale Projektionsprofile mit adaptiven Schwellenwerten und vertikalen Projektionsprofilen mit adaptiven Schwellenwerten erstellt werden.
Das Verfahren nach Anspruch 5, wobei die adaptiven Schwellenwerte der horizontalen Projektionsprofile Funktionen der Minimalwerte und Maximalwerte der horizontalen Projektionsprofile sind, und wobei die adaptiven Schwellenwerte der vertikalen Projektionsprofile Funktionen der Minimalwerte und Maximalwerte der vertikalen Projektionsprofile sind.
Das Verfahren nach Anspruch 1, wobei das Konsolidieren der anfänglichen Textbegrenzungsboxen das wiederholte Ausführen eines horizontalen Segmentierungsalgorithmus und eines vertikalen Segmentierungsalgorithmus einschließt.
Das Verfahren nach Anspruch 6, wobei der horizontale Segmentierungsalgorithmus einschließt, daß eine Textbegrenzungsbox oben und unten um ein Minimum der Hälfte der Höhe der ursprünglichen Textbox und der Hälfte der maximal möglichen Texthöhe erweitert wird.
Das Verfahren nach Anspruch 1, wobei eine Kantenorientierung berechnet wird, um Bildmerkmale in den mehreren Auflösungen zu identifizieren.
Das Verfahren nach Anspruch 1, wobei außerdem eine signaturbasierte Verfolgung verwendet wird, um Einzelbilder in Vorwärts- und Rückwärtsrichtung zu identifizieren, die Text in einem Textobjekt enthalten, ausgehend von einem Einzelbild, in dem der Text durch ein bildbasiertes Verfahren identifiziert wurde.
Das Verfahren nach Anspruch 1, wobei außerdem die Textfarbe in dem Bild abgeschätzt wird, indem Farb-Histogramme in den Text- und den Text umgebenden Nicht-Text-Bereichen erstellt werden.
Eine Einrichtung, aufweisend: ein maschinenlesbares Medium mit darauf befindlichen Anweisungen, die einen Prozessor bei Ausführung dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.