DE102009059264B9

DE102009059264B9 - Verfahren zum schnellen Lokalisieren eines entschlüsselbaren Musters

Info

Publication number: DE102009059264B9
Application number: DE102009059264.4A
Authority: DE
Inventors: Chun-Shun Tseng; Ya-Yun Jheng; Ming-Chi Jhuang; Shih-Hsun Chen; Hai-Peng Cheng; Te-Heng Hsiang; Jung-hua Wang
Original assignee: Armorlink SH Corp; IEI Integration Corp
Current assignee: Armorlink SH Corp; IEI Integration Corp
Priority date: 2008-12-31
Filing date: 2009-12-22
Publication date: 2017-05-04
Anticipated expiration: 2029-12-23
Also published as: DE102009059264A1; US8469274B2; US20100163632A1; TW201025152A; DE102009059264B4

Abstract

Offenbart wird ein Verfahren zum schnellen Lokalisieren eines entschlüsselbaren Musters in einem Eingabebild, das durch das Verwenden eines übermäßig herunterskalierten Binärbildes nicht nur zum Verringern der Rechenzeit, sondern auch zum Vereinfachen des Extrahierens von Gerüsten zum schnellen und genauen Lokalisieren eines Musters gekennzeichnet ist. Zunächst wird zum Erhalten eines um ein n-faches herunterskalierten Binärbildes eine Vorverarbeitung bei einem Eingabebild angewendet, von dem mindestens ein Gerüst extrahiert wird, das einem entschlüsselbaren Muster entspricht. Koordinatenwerte mindestens eines Bildpunktes jedes Gerüstes werden jeweils um ein n1/2-faches vergrößert und als die zentralen Punkte auf der ursprünglichen Bildebene verwendet, um eine Mehrzahl von Erkennungsblöcken mit gleicher Größe zu erstellen. Anschließend wird zum Ermitteln der jeweiligen Erkennungsblöcke des entschlüsselbaren Musters ein Einstufungsmechanismus angewendet.

Description

Die vorliegende Erfindung betrifft ein automatisches Bildverarbeitungs- und Mustererkennungsverfahren, und insbesondere ein Verfahren zum Lokalisieren eines entschlüsselbaren Musters in einem Eingabebild, das mittels einer beliebigen Bilderfassungsvorrichtung, zum Beispiel mittels einer Kamera, eines Scanners, eines Kontaktbildsensors (engl. CIS, Contact Image Sensor) und verschiedener Arten tragbarer Geräte, zum Beispiel mittels eines Mobiltelefons, eines persönlichen digitalen Assistenten (PDA) und/oder dergleichen erfasst wird.
In der vorliegenden Erfindung betrifft das entschlüsselbare Muster ein Muster, das eine Mehrzahl von in Abständen angeordneten Linien enthält, wie zum Beispiel Strichcodes und die biologische Signatur menschlicher Fingerabdrücke, die heutzutage in verschiedenen Bereichen Anwendung finden. Bei einem Strichcode zum Beispiel handelt es sich um ein typisches entschlüsselbares Muster, das lediglich eine andere Art des Codierens von Ziffern und Buchstaben mittels einer Kombination von Strichen und Abständen unterschiedlicher Breite ist. In der Wirtschaft kann die korrekte Verwendung von Strichcodes unwirtschaftliche Vorgänge reduzieren und die Produktivität eines Unternehmens erhöhen. In der Logistik, der Fertigung, dem Gesundheitswesen, dem Einzelhandel, dem Bereich der Sicherheit und so weiter gibt es für die jeweilige Branche einzigartige Symbologien, die nicht austauschbar sind.
Es gibt viele Arten und Formen von Strichcodes. Allgemein am bekanntesten sind die Strichcodes, die man in Lebensmittelgeschäften oder Einzelhandelsgeschäften findet, es gibt jedoch noch viel mehr, die standardmäßig in den verschiedensten Geschäftszweigen Anwendung finden. Unabhängig von ihrem unterschiedlichen Aussehen weist jeder handelsübliche Strichcodeleser lediglich zwei Hauptfunktionen auf, nämlich das Lokalisieren von Strichcodes und das Entschlüsseln des Strichcodes. In Bezug auf die Lokalisierungsfunktion gibt es drei grundlegende Arten von Strichcodelesern: stationäre Systeme, tragbare Batch-Systeme und tragbare drahtlose Systeme. Stationäre Leser (tragbar oder montiert) bleiben an ihren Hostrechner oder ihr Endgerät angeschlossen und übertragen ein Datenelement zu einem Zeitpunkt, wenn der Strichcode abgetastet wird. Obwohl viele Entschlüsselungsalgorithmen entwickelt wurden, müssen sich die meisten handbetriebenen Strichcodeleser, insbesondere im Fall von zweidimensionalen Strichcodes darauf verlassen, dass der Benutzer die Lesevorrichtung manuell zu dem Strichcodebereich führt, der ungefähr an einem Hilfslichtpunkt zentriert ist, der von dem Leser ausgesendet wird, das heißt ein korrektes Entschlüsseln ist nur dann möglich, wenn der Benutzer in der Lage ist, die Bewegung so durchzuführen, dass erfolgreich auf den Strichcode gezielt wird. Dieses Ineffizienzproblem könnte sich leicht noch verstärken, wenn die Hand-Lesevorrichtung zum Verarbeiten einer großen Anzahl von Artikeln mit entschlüsselbaren Mustern verwendet würde, und die Schwierigkeit erhöht sich noch weiter in dem Fall, in dem Verpackungen in Form und Größe stark variieren. Diese Einschränkung der manuellen Lokalisierung muss beseitigt werden, um eine Automatisierung zu ermöglichen und um die Effizienz zu verbessern.
Aufgrund der immer größer werdenden Auflösung von Digitalkameras, die zu Standardausrüstungen verschiedener Arten von tragbaren Vorrichtungen geworden sind, ist es möglich, dass Benutzer die entschlüsselbaren Muster lokalisieren und entschlüsseln, indem sie eine Fotografie erstellen, ohne dabei den Hilfslichtpunkt zu verwenden, der von den tragbaren Vorrichtungen bereitgestellt wird. Durch die hochauflösenden Bildsensoren (zum Beispiel SXGA, 1280 × 1024) in einer solchen tragbaren Vorrichtung kann der Benutzer problemlos ein Bild erstellen, das das entschlüsselbare Muster umfasst, indem er lediglich die tragbare Vorrichtung nahe zu einer entschlüsselbaren Muster hinbewegt und die Fotografie erstellt. Allgemein hätte das auf diese Weise erhaltene entschlüsselbare Muster eine zufällige Position und Ausrichtung innerhalb der fotografierten Bilder. Des Weiteren kommt es nicht selten vor, dass Strichcodes nahe bei graphischen Elementen oder anderen Textelementen positioniert sind, die eine signifikante „Störung” bei der Lokalisierung des Strichcodes darstellen. Ein Beispiel für ein Verfahren zum Lokalisieren eines Strichcodes innerhalb eines Bildes, das mittels eines hochauflösenden Bilderstellungssystems erstellt wurde, ist im US-Patent mit der Nummer US 6,729,544 B2 mit dem Titel „Fast barcode search” (schnelle Strichcode-Suche) beschrieben, bei dem das erfasste Bild in eine Mehrzahl von Kacheln unterteilt wird und dann jede Kachel abgetastet wird, um ein Muster von Strichen zu erfassen, das mit dem Strichcode in wenigstens einer der Kacheln verknüpft ist, wobei das Muster von Strichen später analysiert wird, um einen Ausrichtungswinkel des Strichcodes zu ermitteln. Da das Verfahren jedoch mit der ursprünglichen Bildauflösung angewendet wird und das Ursprungsbild vollständig abgetastet werden muss (das heißt, dass ein Bereich von Interesse vordefiniert sein muss), um ein Lokalisieren des Strichcodes zu erreichen, wird die Rechenauslastung schnell ansteigen, je größer die Bildauflösung ist. Somit sind die Suchalgorithmen, die die Berechnung auf der ursprünglichen Bildebene durchführen, unpraktisch, wenn man die Nutzung eines kostensparenden und leichten tragbaren Gerätes in Betracht zieht, um die Aufgabe des Auffindens von entschlüsselbaren Mustern mit beliebigen Positionen in einem Bild mit hoher Auflösung durchzuführen. Des Weiteren erhöhen auch das Vorhandensein anderer graphischer Elemente und anderer Textelemente in dem Eingabebild sowie die teilweise Verfälschung der entschlüsselbaren Muster an sich ebenfalls die Wahrscheinlichkeit einer fehlerbehafteten Suche.
In Anbetracht der vorangehend betrachteten Probleme besteht auf dem Gebiet der Bedarf einer Entwicklung eines einfachen und schnellen Lokalisierungsalgorithmus, der zum automatischen Lokalisieren eines entschlüsselbaren Musters in einem sehr großen verrauschten Bild innerhalb der engen zeitlichen Beschränkungen für eine kostensparende tragbare Vorrichtung geeignet ist.
Ein primäres Ziel der vorliegenden Erfindung ist das Bereitstellen eines Verfahrens zum schnellen Lokalisieren eines entschlüsselbaren Musters in einem Eingabebild, bei dem das Eingabebild zum Extrahieren einer Mehrzahl von Gerüsten herunterskaliert wird, wobei das Verfahren die folgenden Schritte aufweist: (A) Anwenden einer Vorverarbeitung des Eingabebildes zum Erfassen eines um ein n-faches herunterskalierten Binärbildes, wobei n eine reelle Zahl ist; (B) Identifizieren einer Mehrzahl schwarzer Linien zum Extrahieren mindestens eines Gerüstes; (C) Vergrößern von jedem der Koordinatenwerte mindestens eines Bildpunktes des mindestens einen Gerüstes um ein n^1/2-faches, und Nutzen der vergrößerten Koordinatenwerte auf der Eingabebild-Ebene als die zentralen Punkte zum Erstellen einer Mehrzahl von Erkennungsblöcken, wobei jeder Erkennungsblock eine Mehrzahl von Bildpunktmerkmalwerten enthält, die der Eingabebild-Ebene entsprechen; und (D) Anwenden eines Einstufungsmechanismus zum Ermitteln der entsprechenden Erkennungsblöcke des entschlüsselbaren Musters.
Das Vorverarbeiten weist ferner die folgenden Schritte auf: Herunterskalieren des Eingabebildes zum Verringern der Anzahl von Bildpunkten, Filtern des Eingabebildes mittels eines Tiefpassfilters, Ausgleichen der Belichtung des Eingabebildes, Binarisieren der Bildpunktmerkmalwerte des Eingabebildes und Füllen der unterbrochenen Bereiche des Eingabebildes und Löschen der redundanten schwarzen Bildpunkte des Eingabebildes. Der Schritt des Herunterskalierens des Eingabebildes nutzt eine bilineare Interpolation zum Herunterskalieren des Eingabebildes. Das Tiefpassfilter, das bei dem Schritt des Filterns des Eingabebildes verwendet wird, ist ein Mittelwertfilter. Das Verfahren der vorliegenden Erfindung nutzt eine logarithmische Transformation zum Ausgleichen der Belichtung des Eingabebildes und nutzt einen konstanten Schwellenwert oder einen adaptiven Schwellenwert zum Binarisieren der Bildpunktmerkmalwerte des Eingabebildes.
Wenn das Eingabebild ein Graustufenbild ist, dann sind die Bildpunktmerkmalwerte jeweils die Graustufenwerte des Graustufenbildes. Wenn das Eingabebild ein Farbbild ist, dann wird das Eingabebild in ein Graustufenbild umgewandelt und die Bildpunktmerkmalwerte sind jeweils die Graustufenwerte des Graustufenbildes.
Die vorliegende Erfindung hat drei technische Schlüsselaspekte. Erstens wird das übermäßige Herunterskalieren der Vorverarbeitung absichtlich angewendet. Verglichen mit Ohbuchi et al. „Barcode Readers using the Camera Device in Mobile Phones” [Strichcode-Leser, die die Kameravorrichtung in Mobiltelefonen nutzen], Proceedings of the 2004 International Conference on Cyberworlds, Seiten 260 bis 265, wo eine vierfache (2×2) Herunterskalierungsrate verwendet wird, ist der beispielhafte Herunterskalierungsfaktor von 144 (12×12) sehr viel größer. Der Begriff des „übermäßigen Herunterskalierens” bezieht sich darauf, dass das Eingabebild absichtlich in einem derartigen Maß herunterskaliert wird, dass das Ausgabebild lediglich ein unscharfes und verzerrtes entschlüsselbares Muster aufweist. Diese Vorgehensweise mag auf dem Gebiet der Bildverarbeitung merkwürdig erscheinen, wo üblicherweise lebendige und scharfe Strukturen angestrebt werden, aber in der vorliegenden Erfindung sind die geometrischen Einzelheiten des entschlüsselbaren Musters von geringerer Bedeutung, da das Ziel hier das schnelle Identifizieren der Position des entschlüsselbaren Musters ist. Für diesen Zweck ist ein übermäßig herunterskaliertes, jedoch unscharfes Muster sehr viel hilfreicher als eine lebendige und scharfe Struktur. Da das entschlüsselbare Muster in den meisten Fällen von einem leeren Bereich umgeben ist, kann ein unscharfer Bereich desselben in dem übermäßig herunterskalierten Bild weiterhin leicht von anderen graphischen Elementen und Textelementen unterschieden werden. Da die Berechnung in dieser Stufe mit einer niedrigen Bildauflösung erfolgt, kann dazu die Rechenauslastung des gesamten Lokalisierungsprozesses verringert werden. Insbesondere das darauffolgende Extrahieren einer Mehrzahl von Gerüsten kann schneller erfolgen.
Das Extrahieren der Gerüste ist ein weiterer technischer Schlüsselaspekt der vorliegenden Erfindung. Das vorverarbeitete Binärbild wird entlang einer beliebigen ersten Richtung Bildpunkt für Bildpunkt abgetastet. Bei jedem Abtasten erscheinen die Binärwerte der Bildpunkte nacheinander, und werden überprüft. Wenn eine Sequenz von weiß, mindestens einem schwarz und weiß erfasst wird, dann werden die Positionen der schwarzen Bildpunkte aufgezeichnet, das heißt, dass die weißen Bildpunkte nur zweimal als Start- und Endmarkierung auftauchen. Auf diese Weise kann eine Mehrzahl von parallelen schwarzen Linien durch Verbinden der aufeinanderfolgenden schwarzen Bildpunkte erhalten werden, und die benachbarten mittleren Bildpunkte der schwarzen Linien werden miteinander verbunden, so dass mindestens ein Gerüst erhalten wird. Nachdem das Binärbild vollständig abgetastet wurde, wird der Abtast- und Aufzeichnungsvorgang für eine zweite Richtung senkrecht zu der ersten Richtung angewendet. Da die aus der ersten Richtung und der zweiten Richtung erhaltenen Gerüste separat aufgezeichnet werden, können die sich überkreuzenden Gerüste auf dem vorverarbeiteten Binärbild verarbeitet werden. Mit diesem zweimaligen, zueinander senkrechten Abtasten ist das Verfahren der vorliegenden Erfindung der Position gegenüber unempfindlich, und die Ausrichtung des entschlüsselbaren Muster erscheint in dem vorverarbeiteten Binärbild. Es wird angemerkt, dass der Abtastprozess je nach den Bedürfnissen des Benutzers progressiv oder verschachtelt erfolgen kann.
Ein weiterer technischer Schlüsselaspekt der vorliegenden Erfindung ist das Extrahieren mindestens eines Bildpunktes für jedes Gerüst, wobei die Koordinatenwerte um ein n^1/2-faches vergrößert werden. Diese Vorgehensweise hat zwei Vorteile: (1) Aufgrund des oben genannten Herunterskalierens sind die Abstände zwischen zwei vergrößerten Koordinatenpunkten identisch, das Suchen in dem ursprünglichen Eingabebild pro Bildpunkt ist überflüssig und Rechenzeit kann gespart werden. (2) Die Robustheit gegenüber dem verzerrten entschlüsselbaren Muster ist verbessert, da die Abtastpunkte genau entlang dem entschlüsselbaren Muster verteilt sind. Da die Koordinatenwerte der Abtastpunkte als die zentralen Punkte zum Erstellen einer Mehrzahl von Erkennungsblöcken verwendet werden, kann ferner ein Einstufungsmechanismus mittels geometrischer Eigenschaften des entschlüsselbaren Musters definiert werden, so dass die entsprechenden Erkennungsblöcke ermittelt werden können, zu denen das entschlüsselbare Muster gehört.
Ein weiteres Ziel der vorliegenden Erfindung ist das Bereitstellen eines computerlesbaren Speichermediums, das ein computerausführbares Programm speichert, das ein Verfahren gemäß der vorliegenden Erfindung implementiert.
Ein weiteres Ziel der vorliegenden Erfindung ist, dass unerwünschte Störungen in dem Ursprungsbild aufgrund der Vorverarbeitung beinahe vollständig beseitigt werden.
Ein weiteres Ziel der vorliegenden Erfindung ist, dass das Lokalisierungsverfahren mit einem Strichcode-Decodierungsmodul zum Implementieren eines Strichcodelesers verbunden werden kann.
Diese und andere Ziele der vorliegenden Erfindung werden dem Fachmann auf dem Gebiet nach dem Studium der folgenden ausführlichen Beschreibung der bevorzugten Ausführungsformen, die in den zahlreichen Figuren und Zeichnungen veranschaulicht sind, zweifellos deutlich.
In den Figuren zeigen:
1A ein Eingabebild, das einen teilweise beschädigten eindimensionalen Barcode (Code 128) und andere Textelemente/graphische Elemente enthält,
1B ein um ein n-faches herunterskaliertes Binärbild, wobei 1A als Eingabebild verwendet und die beschädigten Bereiche nicht gefüllt wurden,
1C ein um ein n-faches herunterskaliertes Binärbild, wobei 1A als Eingabebild verwendet wurde und die unterbrochenen Bereiche gefüllt wurden,
1D eine schematische Ansicht eines horizontalen Abtastvorgangs,
1E eine schematische Ansicht eines vertikalen Abtastvorgangs,
1F eine schematische Ansicht einer Mehrzahl von durch das horizontale Abtasten einer Mehrzahl von schwarzen Linien erhaltenen Gerüsten,
1G eine schematische Ansicht einer Mehrzahl von Erkennungsblöcken, wobei die Koordinatenwerte beider Enden der Gerüste aus 1F um ein zwölffaches vergrößert sind und als die zentralen Punkte zum Erstellen der Erkennungsblöcke mit identischer Größe verwendet werden, wobei (a, b), (c, d) und (e, f) die Erkennungsblöcke sind, die jeweils den beiden Enden jedes Gerüstes entsprechen,
1H eine schematische Ansicht der extrahierten Erkennungsblöcke, wobei (a, b), (c, d) und (e, f) die Erkennungsblöcke sind, die jeweils beiden Enden jedes Gerüstes entsprechen,
2A ein erfasstes Bild, das einen zweidimensionalen Strichcode 26 (PDF417) und andere Textelemente/graphische Elemente enthält,
2B ein um ein n-faches herunterskaliertes Binärbild unter Verwendung von 2A als Eingabebild, wobei die beschädigten Bereiche nicht gefüllt sind,
2C ein um ein n-faches herunterskaliertes Binärbild unter Verwendung von 2A als Eingabebild, wobei die beschädigten Bereiche gefüllt sind,
2D eine schematische Ansicht einer Mehrzahl von durch das vertikale Abtasten einer Mehrzahl von schwarzen Linien erhaltenen Gerüsten,
2E eine schematische Ansicht einer Darstellung einer Mehrzahl von Erkennungsblöcken, wobei die Koordinatenwerte des mittleren Bildpunktes der Gerüste vergrößert sind und als die zentralen Punkte zum Erstellen der Erkennungsblöcke verwendet werden, wobei a, b, c, d, e, f, g, h, i, j, k, l, m, n, o, p, q und r jeweils dem mittleren Bildpunkt jedes Gerüstes entsprechen,
2F eine schematische Ansicht des Ergebnisses des Abtastens in zwei zueinander senkrechten Richtungen, wobei a 2E-m entspricht, b ein Ergebnis des Abtastens in einer einzigen Richtung (horizontal) zeigt und c das Abtastergebnis in einer einzigen Richtung senkrecht zu der in b verwendeten Richtung zeigt,
3A die Darstellung eines Bildes, das ein Fingerabdruckmuster enthält,
3B ein um ein n-faches herunterskaliertes Binärbild, wobei 3A als Eingabebild verwendet wird und die beschädigten Bereiche nicht gefüllt sind,
3C ein um ein n-faches herunterskaliertes Binärbild, wobei 3A als Eingabebild verwendet wird und die beschädigten Bereiche gefüllt wurden,
3D eine schematische Ansicht einer durch das horizontale Abtasten einer Mehrzahl schwarzer Linien erhaltenen Mehrzahl von Gerüsten,
3E eine schematische Ansicht der durch das vertikale Abtasten der schwarzen Linien erhaltenen Gerüste,
3F eine schematische Ansicht einer Darstellung einer Mehrzahl von Erkennungsblöcken, wobei a und b jeweils dem mittleren Bildpunkt jedes Gerüstes entsprechen, und
4 ein Ablaufdiagramm der vorliegenden Erfindung für das Lokalisieren eines entschlüsselbaren Musters.
Die vorliegende Erfindung stellt ein Verfahren zum schnellen Lokalisieren eines entschlüsselbaren Musters in einem Eingabebild bereit, das dadurch gekennzeichnet ist, dass ein übermäßig herunterskaliertes Binärbild zum Extrahieren einer Mehrzahl von Gerüsten in dem entschlüsselbaren Muster verwendet wird.
[Erste veranschaulichende Ausführungsform des Verfahrens zum schnellen Lokalisieren eines entschlüsselbaren Musters in einem Eingabebild der vorliegenden Erfindung]
1A zeigt ein Eingabebild, das einen teilweise beschädigten eindimensionalen Strichcode (Code 128) 10 und andere Textelemente/graphische Elemente enthält. Das Verfahren zum Lokalisieren eines entschlüsselbaren Musters ist selbst dann wirkungsvoll, wenn ein beschädigter Bereich 12 vorhanden ist.
Die minimale Strich- und Lücken-Modulbreite des Strichcodes 10 im Eingabebild der 1A weist mindestens eine bestimmte Anzahl (3) von Bildpunkten auf, so dass durch die Bilderfassungsvorrichtung verursachte unerwünschte Effekte verhindert werden können. Des Weiteren sind die Leistung der Kameralinse, der Schaltkreisaufbau, Autofokus und Rauschfiltern und so weiter alles wesentliche Faktoren für eine gute Bilderfassung, und das Einstellen dieser Faktoren ist schwer zu definieren. Für eine Vereinfachung wird der Begriff „gut” so definiert, dass der Barcode in dem Eingabebild mit dem bloßen Auge erkennbar ist. Unter dieser Voraussetzung ist ein Herunterskalierungsfaktor n ≥ 100 für die meisten Bilderfassungsumgebungen anwendbar, und n wird in dieser Ausführungsform auf 144 festgesetzt. Obwohl auch ein Herunterskalierungsfaktor von weniger als 100 für die veranschaulichende Ausführungsform anwendbar ist, würde dann die Berechnungszeit ansteigen.
Der Vorverarbeitungsschritt S38 in 4 weist die folgenden Schritte auf: Herunterskalieren des Eingabebildes zum Verringern der Anzahl von Bildpunkten, Filtern des Eingabebildes mittels eines Mittelwertfilters, Ausgleichen der Belichtung des Eingabebildes, Binarisieren des Eingabebildes mittels eines konstanten Schwellwertes oder eines adaptiven Schwellwertes, und Auffüllen der unterbrochenen Bereiche des Eingabebildes und Löschen der redundanten schwarzen Bildpunkte des binarisierten Bildes der 1B. Das Ergebnis des Vorverarbeitungsschrittes S38 unter Verwendung von 1A als Eingabebild ist in 1C gezeigt.
1D ist eine schematische Darstellung eines Gerüstextraktionprozesses S40, bei dem das herunterskalierte Binärbild in einer ersten Richtung (horizontal) abgetastet wird. Das herunterskalierte Binärbild kann ferner in einer zweiten Richtung abgetastet werden. Es wird angemerkt, dass die erste Richtung zufällig ausgewählt werden kann und in der veranschaulichenden Ausführungsform nicht auf die oben genannte Richtung beschränkt ist, so lange die zweite Richtung senkrecht zu der ersten Richtung ist. Auf diese Weise kann mittels des Gerüstextraktionsprozesses die Position des entschlüsselbaren Musters in einer der beiden Richtungen identifiziert werden, und die Ausrichtung des entschlüsselbaren Musters ist unerheblich. Während jedes Abtastens wird, wie aus 1D ersichtlich, eine erste Position 16 detektiert, an welcher ein schwarzer Bildpunkt nach einem weißen Bildpunkt auftritt. Wie aus 1D ersichtlich, wird dann wiederum eine zweite Position 20 detektiert, an der ein schwarzer Bildpunkt vor einem weißen Bildpunkt auftritt. Durch das Verbinden der ersten Position und der zweiten Position wird eine schwarze Linie erhalten. Nachdem das Binärbild in der ersten Richtung vollständig abgetastet wurde, kann eine Mehrzahl von schwarzen Linien erfasst werden. Die Mittelpunkte der schwarzen Linien, die in 1D gezeigt sind (einer der Mittelpunkte, 18) werden extrahiert und die benachbarten Mittelpunkte werden zum Erhalten einer Mehrzahl von Gerüsten miteinander verbunden, wie aus 1F ersichtlich.
In Schritt S42 kann der Algorithmus zum Erstellen einer Mehrzahl von Erkennungsblöcken mittels der Gerüste durch Verwenden der geometrischen Eigenschaften jedes entschlüsselbaren Musters entwickelt werden. In der ersten Ausführungsform werden die Koordinatenwerte beider Enden der Restgerüste um ein 12-faches vergrößert (das heißt um die Quadratwurzel aus 144). Die vergrößerten Koordinatenwerte werden als die zentralen Punkte zum Erstellen der Erkennungsblöcke mit identischer Größe verwendet. Vorzugsweise sind die Erkennungsblöcke, wie in 1G und in 1H dargestellt, rechteckig, wobei jeder Erkennungsblock eine Mehrzahl von Bildpunktmerkmalwerten in der ursprünglichen Bildebene enthält. Mit M/W wird das Verhältnis zwischen der Breite des Eingabebildes M und der Breite der Erkennungsblöcke W bezeichnet, wobei 12 ≤ M/W ≤ 64, und mit N/H wird das Verhältnis zwischen der Höhe des Eingabebildes N und der Höhe des Erkennungsblocks H bezeichnet. Es gilt N/H = M/W. In dieser Ausführungsform ist N/H = M/W = 50.
Anschließend wird ein Einstufungsmechanismus S44 zum Ermitteln der Erkennungsblöcke, zu denen das entschlüsselbare Muster gehört, verwendet. Wie in Schritt S42 wird der Mechanismus S44 mittels geometrischer Merkmale des entschlüsselbaren Musters entwickelt. In der ersten Ausführungsform, in der das entschlüsselbare Muster ein eindimensionaler Strichcode mit rechteckigem Umriss und einer Mehrzahl von parallelen Linien ist, weist somit der Einstufungsmechanismus ferner die folgenden Schritte auf: (a) die vergrößerten Koordinatenwerte beider Enden der verbleibenden Gerüste werden miteinander verbunden, so dass eine Linie in dem Eingabebild erhalten wird, die Bildpunktwerte der Linie werden aufgezeichnet und binarisiert, und die Anzahl des Wechselns zwischen den schwarzen und weißen Bildpunkten innerhalb der Linie wird aufgezeichnet; (b) Binarisieren der Erkennungsblöcke; (c) Extrahieren der Gerüste der binarisierten Erkennungsblöcke mittels des vorher erwähnten Gerüstextraktionsprozesses, so dass die Anzahl von Gerüsten mit einem geringen Ausrichtungsunterschied (< 5°) und einer ähnliche Länge erhalten wird, und (d) Multiplizieren der in Schritt (a) erhaltenen Anzahl von Malen mit der in Schritt (c) erhaltenen Anzahl von Gerüsten, um die Ergebnisse für jeden Erkennungsblock zu erhalten.
Die Ergebnisse der Erkennungsblöcke werden sortiert und einer der Erkennungsblöcke mit dem höchsten Ergebnis wird als die Position des entschlüsselbaren Musters ausgewählt.
[Zweite veranschaulichende Ausführungsform des Verfahrens zum schnellen Lokalisieren des entschlüsselbaren Musters in einem Eingabebild der vorliegenden Erfindung]
In 2A ist ein Eingabebild gezeigt, das einen zweidimensionalen Strichcode (PDF417) und andere Textelemente/graphische Elemente enthält.
Die minimale Strich- und Lücken-Modulbreite des Strichcodes 26 im Eingabebild der 2A weist mindestens drei Bildpunkte auf. Wie in der ersten Ausführungsform ist ein Herunterskalierungsfaktor n in der zweiten Ausführungsform auf 144 festgesetzt.
2C ist ein herunterskaliertes Binärbild, das einem Vorverarbeitungsschritt S38 unterzogen wird, wobei 2A als Eingabebild verwendet wird. Schritt S38 in 4 weist die folgenden Schritt auf: Herunterskalieren des Eingabebildes zum Verringern der Anzahl von Bildpunkten, Filtern des Eingabebildes mittels eines Tiefpassfilters, Ausgleichen der Belichtung des Eingabebildes, Binarisieren des Eingabebildes mittels eines konstanten Schwellwertes oder eines adaptiven Schwellwertes und Füllen der unterbrochenen Bereiche des Eingabebildes und Löschen der redundanten schwarzen Bildpunkte des binarisierten Bildes der 2B.
Ein Gerüstextraktionsprozess S40 wird zum Abtasten des herunterskalierten Binärbildes in einer ersten Richtung (horizontal) verwendet. Das herunterskalierte Binärbild kann ferner in einer zweiten Richtung abgetastet werden. Es wird angemerkt, dass die erste Richtung beliebig ausgewählt werden kann, so lange die zweite Richtung senkrecht zu der ersten Richtung ist. Auf diese Weise kann durch den Gerüstextraktionsprozess die Position des entschlüsselbaren Musters in einer der beiden Richtungen identifiziert werden und die Ausrichtung des entschlüsselbaren Muster ist irrelevant. Während jedes Abtastens werden eine erste Position, an der ein schwarzer Bildpunkt nach einem weißen Bildpunkt auftritt, und eine zweite Position, an der ein schwarzer Bildpunkt vor einem weißen Bildpunkt auftritt, detektiert, und eine schwarze Linie wird durch Verbinden der ersten Position mit der zweiten Position erhalten. Nachdem das Binärbild in der zweiten Richtung vollständig abgetastet wurde, kann eine Mehrzahl von schwarzen Linien erfasst werden. Dann werden die Mittelpunkte der schwarzen Linien extrahiert und die benachbarten Mittelpunkte werden miteinander verbunden, so dass, wie aus 2D ersichtlich, eine Mehrzahl von Gerüsten erhalten wird.
In dieser Ausführungsform werden die Koordinatenwerte des mittleren Bildpunktes der Gerüste ebenfalls um ein Zwölffaches vergrößert. Die vergrößerten Koordinatenwerte werden als die zentralen Punkte zum Aufbauen einer Mehrzahl von Erkennungsblöcken mit identischer Größe verwendet. Vorzugsweise sind die Erkennungsblöcke, wie in 2E gezeigt, rechteckig, wobei jeder Erkennungsblock eine Mehrzahl von Bildpunktmerkmalwerten in der ursprünglichen Bildebene enthält. In dieser Ausführungsform gilt ebenfalls N/H = M/W = 64.
Wie weiter oben erwähnt, kann der Einstufungsmechanismus S44 mittels geometrischer Eigenschaften des entschlüsselbaren Musters definiert werden. In der aktuellen Ausführungsform ist das entschlüsselbare Muster PDF417 (zweidimensionaler Strichcode), wobei dieses durch zwei zueinander senkrechten Linienrichtungen (Codierungsrichtung und Stapelrichtung) innerhalb des Strichcodebereichs gekennzeichnet ist, so dass der Einstufungsmechanismus ferner die folgenden Schritte aufweist: (a) Binarisieren des Bildpunktwertes der Erkennungsblöcke; (b) Abtasten entlang einer Richtung zum Detektieren einer Mehrzahl von Randpunkten, die innerhalb der Erkennungsblöcke zwischen einem schwarzen Bildpunkt und einem weißen Bildpunkt wechseln, (c) Abtasten einer anderen Richtung senkrecht zu der Richtung aus Schritt (b), wobei eine Mehrzahl von Randpunkten detektiert wird, die innerhalb der Erkennungsblöcke zwischen einem schwarzen Bildpunkt und einem weißen Bildpunkt detektiert werden; (d) wenn die Anzahl der Randpunkte in Schritt (b) größer als die Anzahl der Randpunkte in Schritt (c) ist, Anwenden einer Hough-Transformation auf die Randpunkte in Schritt (b) und umgekehrt. Nach der Hough-Transformation wird ein Winkel erhalten und als die Codierungsrichtung des PDF417 verwendet; (e) Erhalten von m Startpunkten durch das Verlängern der Codierungsrichtung in der tangentialen Richtung von den zentralen Punkten aus, wobei m ≥ 5; (f) Erhalten von m Abstufungslinien durch jeweiliges Verlängern in der Codierungsrichtung von den Startpunkten aus; (g) wenn die Start-/Stopp-Markierungen von PDF417 innerhalb einer Abstufungslinie vorhanden sind, dann das jeweilige Ergebnis um 1 erhöht, so dass das höchste Ergebnis jedes entsprechenden Erkennungsblocks m ist; und (h) wenn mehr als ein Erkennungsblock dasselbe Ergebnis aufweisen, Auswählen des einen Blocks mit der jeweils kürzesten Gerüstlänge.
2E-a dient als Beispiel zum Interpretieren des Mechanismus des Extrahierens der Randpunkte. Das horizontale Abtastergebnis des Detektierens der Randpunkte aus 2F-a ist in 2F-b gezeigt, und das vertikale Abtastergebnis des Detektierens der Randpunkte der 2F-a ist in 2F-c gezeigt, wobei die Randpunkte in 2F-b einer Hough-Transformation unterzogen werden, da die Anzahl der Randpunkte in 2F-b größer als in 2F-c ist.
[Dritte veranschaulichende Ausführungsform des Verfahrens zum schnellen Lokalisieren des entschlüsselbaren Musters in einem Eingabebild der vorliegenden Erfindung]
In 3A ist ein Bild gezeigt, das ein Fingerabdruckmuster 30 aufweist. 3C ist ein Binärbild, das um ein 144-faches herunterskaliert wurde, wobei 3A als Eingabebild verwendet wurde.
Der Vorverarbeitungsschritt S38 weist ferner die folgenden Schritte auf: Filtern des Eingabebildes mittels eines Mittelwertfilters, Ausgleichen der Belichtung des Eingabebildes, Binarisieren des Eingabebildes mittels eines konstanten Schwellwerts oder eines adaptiven Schwellwerts und Füllen der unterbrochenen Bereiche des Eingabebildes und Löschen der redundanten schwarzen Bildpunkte des binarisierten Bildes der 3B.
Ein Gerüstextraktionsprozessschritt S40 wird zum Abtasten des um ein 144-faches herunterskalierten Binärbildes in einer ersten Richtung angewendet. Anschließend wird das um ein 144-faches herunterskalierte Binärbild in einer zweiten Richtung senkrecht zu der ersten Richtung abgetastet. Es wird angemerkt, dass die erste Richtung beliebig ausgewählt werden kann, solange die zweite Richtung senkrecht zu der ersten Richtung ist. Auf diese Weise kann mittels des Gerüstextraktionsprozesses die Position des entschlüsselbaren Musters in beiden Richtungen identifiziert werden und die Ausrichtung des entschlüsselbaren Musters ist irrelevant. Während jedes Abtastens werden abwechselnd eine erste Position, an der ein schwarzer Bildpunkt nach einem weißen Bildpunkt auftritt und eine zweite Position, an der ein schwarzer Bildpunkt vor einem weißen Bildpunkt auftritt, detektiert, und eine schwarze Linie wird durch Verbinden der ersten Position mit der zweiten Position erhalten. Nachdem das Binärbild vollständig abgetastet ist, kann eine Mehrzahl von schwarzen Linien erfasst werden, dann werden die Mittelpunkte der schwarzen Linien extrahiert und die benachbarten Mittelpunkte werden miteinander verbunden, um eine Mehrzahl von Gerüsten zu erhalten, wie aus 3D und 3E ersichtlich.
Anders als bei den vorangehenden veranschaulichenden Ausführungsformen enthalten allgemeine Fingerabdruckdarstellungen keine Hintergrundobjekte, so dass zum Identifizieren der Fingerabdruckposition nur die Koordinatenwerte der mittleren Bildpunkte der Gerüste um ein 12-faches vergrößert werden müssen.
Der Fachmann auf dem Gebiet wird erkennen, dass zahlreiche Modifizierungen und Änderungen der Vorrichtung und des Verfahrens erfolgen können, ohne dabei von der Lehre der vorliegenden Erfindung abzuweichen.

Claims

Verfahren zum schnellen Lokalisieren eines entschlüsselbaren Musters in einem Eingabebild, wobei das Eingabebild zum Extrahieren einer Mehrzahl von Skelettpunkten herunterskaliert wird, die folgenden Schritte aufweisend: (A) Anwenden einer Vorverarbeitung des Eingabebildes zum Erhalten eines um ein n-faches herunterskalierten Binärbildes, wobei n eine reelle Zahl mit n ≥ 100 ist, (B) Identifizieren einer Mehrzahl von schwarzen Linien zum Extrahieren mindestens eines Skelettpunktes, (C) Vergrößern jedes der Koordinatenwerte mindestens eines Bildpunktes des mindestens einen Skelettpunktes um ein n^1/2-faches und Verwenden der vergrößerten Koordinatenwerte als die zentralen Punkte auf der Eingabebildebene zum Erstellen einer Mehrzahl von Erkennungsblöcken, wobei jeder Erkennungsblock eine Mehrzahl von Bildpunktmerkmalwerten enthält, die der Eingabebildebene entsprechen, und (D) Anwenden eines Einstufungsmechanismus zum Ermitteln der jeweiligen Erkennungsblöcke des entschlüsselbaren Musters.
Verfahren gemäß Anspruch 1, wobei der Schritt (A) ferner die folgenden Vorverarbeitungsschritte aufweist: (A-1) Herunterskalieren des Eingabebildes zum Verringern der Anzahl von Bildpunkten, (A-2) Filtern des Eingabebildes mittels eines Tiefpassfilters, (A-3) Ausgleichen der Belichtung des Eingabebildes, (A-4) Binarisieren der Bildpunktmerkmalwerte des Eingabebildes, und (A-5) Füllen der unterbrochenen Bereiche des Eingabebildes und Löschen der redundanten schwarzen Bildpunkte des Eingabebildes.
Verfahren gemäß Anspruch 2, wobei der Schritt (A-1) zum Herunterskalieren des Eingabebildes eine bilineare Interpolation verwendet.
Verfahren gemäß Anspruch 2, wobei das in Schritt (A-2) verwendete Tiefpassfilter ein Mittelwertfilter ist.
Verfahren gemäß Anspruch 2, wobei der Schritt (A-3) eine logarithmische Transformation zum Ausgleichen der Belichtung des Eingabebildes verwendet.
Verfahren gemäß Anspruch 2, wobei der Schritt (A-4) zum Binarisieren der Bildpunktmerkmalwerte des Eingabebildes einen konstanten Schwellwert oder einen adaptiven Schwellwert verwendet.
Verfahren gemäß Anspruch 2, wobei der Schritt (A-5) ein Mittelwertfilter zum Füllen der unterbrochenen Bereiche des Eingabebildes und zum Löschen der redundanten schwarzen Bildpunkte des Eingabebildes verwendet.
Verfahren gemäß Anspruch 1, wobei ein Abtastprozess in Schritt (B) zum Detektieren der schwarzen Linien durch Abtasten des um ein n-faches herunterskalierten Binärbildes Bildpunkt für Bildpunkt in zwei verschiedenen Richtungen verwendet wird, die folgenden Schritte aufweisend: (B-1) Detektieren einer ersten Position, an der ein schwarzer Bildpunkt nach einem weißen Bildpunkt auftritt, (B-2) Detektieren einer zweiten Position, an der ein schwarzer Bildpunkt vor einem weißen Bildpunkt auftritt, (B-3) Verbinden der ersten Position mit der zweiten Position, und (B-4) Wiederholen von Schritt (B-1) bis Schritt (B-3), bis alle Bildpunkte des Binärbildes zum Erhalten der schwarzen Linien abgetastet wurden.
Verfahren gemäß Anspruch 8, wobei die Richtungen für den Abtastvorgang senkrecht zueinander sind.
Verfahren gemäß Anspruch 9, wobei der Abtastvorgang auf eine Verschachtelungsabtastweise erfolgt.
Verfahren gemäß Anspruch 9, wobei die Skelettpunkte durch Finden der Mittelpunkte der in der ersten Richtung abgetasteten schwarzen Linien und durch anschließendes Verbinden der benachbarten Mittelpunkte, und durch Finden der Mittelpunkte der in der zweiten Richtung abgetasteten schwarzen Linien und durch anschließendes Verbinden der benachbarten Mittelpunkte extrahiert werden.
Verfahren gemäß Anspruch 1, wobei die Erkennungsblöcke rechteckig sind und eine identische Größe aufweisen.
Verfahren gemäß Anspruch 12, wobei das Verhältnis zwischen der Breite M des Eingabebildes und der Breite W der Erkennungsblöcke M/W ist, wobei 12 ≤ M/W ≤ 64; und wobei das Verhältnis zwischen der Höhe N des Eingabebildes und der Höhe H der Erkennungsblöcke N/H ist, wobei N/H = M/W.
Verfahren gemäß Anspruch 1, wobei das Eingabebild ein Graustufenbild ist und die Bildpunktmerkmalwerte jeweils die Graustufenwerte des Graustufenbildes sind.
Verfahren gemäß Anspruch 1, wobei das Eingabebild ein in ein Graustufenbild umgewandeltes Farbbild ist und die Bildpunktmerkmalwerte jeweils die Graustufenwerte des Graustufenbildes sind.
Verfahren gemäß Anspruch 1, wobei das entschlüsselbare Muster eine Mehrzahl von Linien in Abständen aufweist.
Verfahren gemäß Anspruch 16, wobei das entschlüsselbare Muster ein eindimensionaler Strichcode ist.
Verfahren gemäß Anspruch 16, wobei das entschlüsselbare Muster ein zweidimensionaler Strichcode ist.
Computerlesbares Speichermedium, das ein computerausführbares Programm speichert, das ein Verfahren gemäß Anspruch 1 implementiert.