DE60106427T2

DE60106427T2 - Verfahren zur herstellung eines kombinationsbildes und fingerabdruckdetektionsgerät

Info

Publication number: DE60106427T2
Application number: DE60106427T
Authority: DE
Inventors: Henrik Benckert
Original assignee: Telefonaktiebolaget LM Ericsson AB
Current assignee: Telefonaktiebolaget LM Ericsson AB
Priority date: 2000-05-15
Filing date: 2001-04-24
Publication date: 2005-03-24
Anticipated expiration: 2021-04-25
Also published as: ATE279144T1; WO2001087159A8; DE60106427D1; SE0001761L; AU2001252808A1; US20020012455A1; WO2001087159A1; SE515239C2; EP1284651A1; EP1284651B1; SE0001761D0

Description

Technisches Gebiet
Allgemein gesagt betrifft die vorliegende Erfindung das Gebiet der Biometrik, d.h. eine Identifikation eines Individuums basierend auf seinen/ihren physikalischen oder verhaltensmäßigen Eigenschaften. Genauer gesagt betrifft die vorliegende Erfindung ein Verfahren zum Erzeugen eines zusammengesetzten Bildes aus einer Sequenz von Teilbildrahmen bzw. Teilbildern, die unterschiedliche, aber sich wenigstens teilweise überlagernde Bereiche eines körperspezifischen Musters, wie beispielsweise eines Fingerabdrucks, darstellen.
Die Erfindung betrifft auch eine Fingerabdruck-Erfassungsvorrichtung von dem Typ mit einem Fingerabdrucksensor, der dazu geeignet ist, eine Sequenz von sich wenigstens teilweise überlagernden Fingerabdrucksbildern bzw. -rahmen zu erzeugen, wenn ein Finger in Bezug auf den Fingerabdrucksensor bewegt wird, und weiterhin mit einer Verarbeitungsvorrichtung, die mit dem Fingerabdrucksensor gekoppelt ist und dazu geeignet ist, durch Bestimmen relativer Versätze zwischen jeweiligen Fingerabdrucksbildern und durch entsprechendes Kombinieren der Fingerabdrucksbilder ein vollständiges Fingerabdrucksbild zu erzeugen.
Stand der Technik
Auf einem Fingerabdruck basierende Biometriksysteme werden bei verschiedenen Anwendungen zum Identifizieren eines/einer individuellen Anwenders/Anwenderin oder zum Verifizieren seiner/ihrer Autorität zum Durchführen einer gegebenen Handlung, zum Zugreifen auf einen beschränkten Bereich, etc. verwendet. Eine Fingerabdruck-Identifizierung ist eine zuverlässige Biometrik-Technik, da keine zwei Fingerabdrücke von unterschiedlichen Individuen dasselbe körperspezifische Muster von Hügeln und Tälern haben. Weiterhin bleibt das Fingerabdrucksmuster eines Individuums während der gesamten Lebensdauer unverändert.
Einige Fingerabdruck-Erfassungssysteme arbeiten durch Einfangen eines vollständigen Bildes eines Fingerabdrucks in einem Schritt; die Oberfläche des Fingers wird durch z.B. Einfangen eines Grauskalen-Fotografiebildes aufgezeichnet, welches darauf folgend durch Bildverarbeitungsverfahren analysiert werden kann, um zu bestimmen, ob der eingefangene Fingerabdruck im Voraus gespeicherten Referenzdaten entspricht oder nicht.
Andere Fingerabdruck-Erfassungssysteme erzeugen kein gesamtes Fingerabdruckbild in genau einem Schritt. Statt dessen wird die Oberfläche des Fingers abgetastet bzw. gescannt, was eine Sequenz von Fingerabdrucksbildern oder "Scheiben" bzw. "Stücken" erzeugt, die in ein zusammengesetztes Bild kombiniert werden, das den gesamten Fingerabdruck darstellt. EP-A2-0 929 050 offenbart einen abtastenden kapazitiven Fingerabdruck-Halbleiterdetektor, der ein Feld von kapazitiven Erfassungselementen bzw. Leseelementen enthält. Wenn ein Anwender/eine Anwenderin seinen/ihren Finger über das Abtastfeld bewegt, wird eine Sequenz von Fingerabdrucksteilbildern durch die kapazitiven Leseelemente erzeugt. Die Fingerabdrucksteilbilder werden zu einem zusammengesetzten Fingerabdrucksbild zusammengefügt.
EP-A1-0 813 164 betrifft ein Lesesystem für digitale Fingerabdrücke mit einem Sensor in der Form eines Stabs, der breiter als die typische Breite eines Fingers ist, aber im Vergleich mit der Länge des Fingers relativ schmal ist. Der Sensor ist ein integrierter Schaltkreis mit einer aktiven Schicht, die gegenüber Druck und/oder Temperatur empfindlich ist. Wenn ein Anwender/eine Anwenderin seinen/ihren Finger über den Sensor bewegt, wird der Sensor den Fingerabdruck abtasten und eine Sequenz von Fingerabdrucksbildern liefern, die jeweils eine Größe haben, die im Wesentlichen dem empfindlichen Bereich des Sensors entspricht, und die sich teilweise überlagern. Eine Verarbeitungseinheit empfängt die Sequenz von Fingerabdrucksbildern von dem Sensor und ist dazu geeignet, ein vollständiges Fingerabdrucksbild zu rekonstruieren. Wenn einmal das vollständige Fingerabdrucksbild erhalten worden ist, kann es mit einem Referenzbild verglichen werden, das auf z.B. einer Chipkarte gespeichert ist, um den Halter der Chipkarte zu authentifizieren.
Fingerabdrucksensoren vom obigen Typ, die eine Sequenz von sich teilweise überlagernden Fingerabdrucksbildern liefern, haben mehrere Vorteile, und zwar insbesondere auf dem Gebiet von miniaturisierten oder tragbaren elektronischen Vorrichtungen. Moderate Kosten und ein niedriger Leistungsverbrauch zusammen mit einem Erfordernis eins kleinen Montagebereichs sind in dieser Hinsicht wichtige Vorteile. Jedoch haben miniaturisierte oder tragbare elektronische Vorrichtungen oft eine beschränkte Datenverarbeitungskapazität; sowohl der Datenprozessor (CPU) als auch die elektronischen Speicher, die darin verwendet werden, sind zu einem tragbaren Einsatz geeignet und haben folglich keine so exzellente Leistungsfähigkeit wie beispielsweise einige stationäre Installationen.
Ein Kombinieren einer Sequenz von sich teilweise überlagernden Fingerabdrucksbildern in ein zusammengesetztes Bild, das die Gesamtheit eines Fingerabdrucks darstellt, ist eine rechenintensive Operation. Zum Zusammenfügen des zusammengesetzten Fingerabdruckbildes aus einer Anzahl von aufeinander folgenden Fingerabdrucksbildern muss ein Versatzvektor zwischen jedem Paar von Bildern bzw. Frames berechnet werden. Das Standardverfahren besteht im Verwenden einer Autokorrelation, wobei ein erstes Fingerabdrucksbild und ein nachfolgendes zweites Bild gelesen werden und ein Ausgangsbild oder eine Korrelationsabbildung in einem Versatz-Koordinatenraum erzeugt wird. Die Korrelationsabbildung enthält normalerweise ein globales Maximum bei einer Stelle entsprechend dem Versatzvektor.
Genauer gesagt werden in dem Fall von digitalen Grauskalen-Fingerabdrucksbildern zwei zweidimensionale Felder von ganzen Zahlen zu der Autokorrelationsprozedur zugeführt, die ein zweidimensionales Feld von ganzen Zahlen ausgibt, wobei diese ganzen Zahlen als Grauskalenintensitäten dargestellt werden können. Wie es bereits angegeben ist, ist eine Autokorrelation rechenintensiv und ist schwer in Echtzeit mit einem Datenprozessor durchzuführen, der für niedrigen Leistungsverbrauch und miniaturisierte oder tragbare Anwendungen optimiert ist. Weiterhin wächst der Rechenaufwand quadratisch mit der Größe des Rechenbereichs an.
Zusammenfassung der Erfindung
Angesichts der obigen Probleme besteht eine Aufgabe der Erfindung im Ermöglichen der Erzeugung eines zusammengesetzten Bildes, das ein körperspezifisches Muster darstellt, wie beispielsweise einen Fingerabdruck, aus einer Sequenz von sich wenigstens teilweise überlagernden Bildern bzw. Bildrahmen bzw. Bildframes in Echtzeit durch Verwenden von viel weniger Leistung als herkömmliche Verfahren, um dadurch zuzulassen, dass kleine Sensoren (die nicht zum Erzeugen eines vollständigen Bildes in einem Schritt fähig sind) bei miniaturisierten oder tragbaren Anwendungen verwendet werden.
Diese Aufgabe wird durch ein Verfahren und eine Vorrichtung gemäß den beigefügten unabhängigen Patentansprüchen erreicht. Genauer gesagt kann ein zusammengesetztes Bild aus einer Sequenz von sich wenigstens teilweise überlagernden Bildrahmen durch Durchführen der folgenden Schritte für die Sequenz von Bildrahmen erzeugt werden. Eine vorbestimmte Anzahl von Unterbereichen (die so klein wie 1×1 Pixel sein können), wird in einem ersten Bildrahmen ausgewählt. Für jeden dieser Unterbereiche wird eine Korrelation mit einem zweiten Bildrahmen, der dem ersten Bildrahmen nachfolgt, bestimmt. Dann wird eine lineare Kombination der Korrelationen für alle Unterbereiche berechnet und schließlich wird aus der berechneten linearen Kombination der Versatz zwischen dem ersten und dem zweiten Bildrahmen bestimmt. Wenn einmal der Versatz bekannt ist, können der erste und der zweite Bildrahmen richtig zusammengefügt werden. Durch Wiederholen der obigen Prozedur kann ein zusammengesetztes Fingerabdrucksbild, etc. schrittweise zusammengefügt werden.
Die Aufgabe wird auch durch eine Fingerabdruck-Erfassungsvorrichtung erreicht, die einen Fingerabdrucksensor hat, der zum Erzeugen einer Sequenz von sich wenigstens teilweise überlagernden Fingerabdruckbildern bzw. -rahmen bzw. -frames geeignet ist, und eine Verarbeitungsvorrichtung hat, die zum Durchführen des obigen Verfahrens geeignet ist.
Andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden detaillierten Offenbarung, aus den beigefügten Unteransprüchen sowie aus den Zeichnungen offensichtlich werden.
Kurze Beschreibung der Zeichnungen
Nun wird ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung detaillierter beschrieben werden, wobei auf die beigefügten Zeichnungen Bezug genommen wird, in welchen:
1 eine schematische Ansicht einer tragbaren elektronischen Vorrichtung in der Form eines Funktelefons ist, bei welcher das Fingerabdruck- Erfassungsverfahren und die Vorrichtung gemäß der Erfindung verwendet werden können,
2 das gesamte Betriebsprinzip eines Fingerabdrucksensors vom Abtasttyp darstellt, das eine Sequenz von sich teilweise überlagernden Fingerabdrucksbildern erzeugt,
3 ein Blockdiagramm ist, das die wesentlichen Komponenten des in 1 dargestellten Funktelefons darstellt,
4 ein Ablaufdiagramm ist, das die Schritte des Verfahrens gemäß dem bevorzugten Ausführungsbeispiel darstellt,
5 eine Sequenz von sich teilweise überlagernden Fingerabdrucksbildern darstellt, und die Operationen, die während einer Vorverarbeitungsphase des Verfahrens gemäß dem bevorzugten Ausführungsbeispiel durchgeführt werden,
6 eine vergrößerte Ansicht eines Teils eines Fingerabdrucksbildes ist und die Operationen darstellt, die für dieses Bild bzw. diesen Frame bzw. Rahmen während einer Autokorrelationsphase des Verfahrens durchgeführt werden,
7 eine Korrelationsabbildung als Ergebnis der zuvor genannten Autokorrelation darstellt, und
8 darstellt, wie einzelne Korrelationsabbildungen in einer linearen Kombination zusammengesetzt werden, um eine gesamte Korrelationsabbildung zu erzeugen, aus welcher der Versatzvektor bestimmt wird.
Detaillierte Offenbarung
In 1 ist eine tragbare elektronische Vorrichtung in einer Form eines Funktelefons 1 gezeigt. Das Funktelefon 1 wird in einem nicht beschränkenden Sinn als Beispiel für eine mögliche tragbare Anwendung verwendet werden, bei welcher das Verfahren und die Vorrichtung der Erfindung eingesetzt werden können. Das Funktelefon 1 weist eine erste Antenne 2 auf, die zum Aufbauen und Halten einer ersten Funkverbindung 2' zu einer Basisstation 8 in einem Mobilfunk-Telekommunikationssystem, wie beispielsweise GSM ("Globales System für Funkkommunikationen" = "Global System for Mobile communications"), geeignet ist. Das Telefon 1 hat auch eine zweite Antenne 3, die zum Kommunizieren mit einer entfernten Vorrichtung 9 über eine zweite Funkverbindung 3' verwendet wird. Die zweite Antenne 3 kann beispielsweise für Bluetooth oder irgendeine andere Art von Kurzbereichs-Zusatzdatenkommunikation, wie z.B. im 2,4 GHz-ISM-Band ("Industrial, Scientific and Medical" = "industriell, wissenschaftlich und medizinisch"), geeignet sein.
Wie jedes andere heutige Funktelefon weist das Telefon 1 einen Lautsprecher 4, eine Anzeige 5, eine Gruppe von Cursortasten 6a, eine Gruppe von alphanumerischen Tasten 6b und ein Mikrofon 7 auf. Zusätzlich dazu weist das Telefon 1 auch einen Fingerabdrucksensor 10 auf, der einen Teil der Fingerabdruck-Erfassungsvorrichtung gemäß der Erfindung bildet und durch das Verfahren gemäß der Erfindung verwendet wird.
Gemäß dem bevorzugten Ausführungsbeispiel ist der Fingerabdrucksensor 10 ein Fingerabdrucksensor aus einem thermischen Siliziumchip, der FingerChip^TM genannt wird, welcher auf dem Markt von Thomson-CSF Semiconducteur Specifiques, Route Departementale 128, BP 46, 91 401 Orsay Cedex, France, erhältlich ist. Der Fingerabdrucksensor FingerChip^TM verwendet die durch den Finger erzeugte Wärme zum Erzeugen eines Grauskalenbildes eines Fingerabdrucks von acht Bits, 500 dpi. Die Bildgebungsfläche des Sensors FingerChip^TM misst 1, 5 mm × 14 mm. Wenn ein Finger 11 in einer Richtung 12 über den Fingerabdrucksensor 10 bewegt wird (siehe 2), erzeugt der Sensor 10 alle 20 ms eine Sequenz von sich teilweise überlagernden Fingerabdrucksbildern 13a, 13b,..., 13x, wobei jedes Bild einen Bereich darstellt, der etwa gleich der oben angegebenen Bildgebungsfläche ist. Die Bilder werden zu einem Datenprozessor/einer Steuerung 15 des Funktelefons 1 zugeführt (siehe 3). Der Datenprozessor/die Steuerung 15 werden dann ein zusammengesetztes Fingerabdrucksbild 14 erzeugen, wie es später detaillierter beschrieben wird.
Alternativ dazu kann virtuell irgendein anderer kommerziell verfügbarer Fingerabdrucksensor verwendet werden, wie beispielsweise ein optischer Sensor, ein kapazitiver Sensor, etc., solange ein solcher Sensor zum Erzeugen einer Sequenz von sich teilweise überlagernden Fingerabdrucksbildern bzw. – rahmen fähig ist, wie es oben beschrieben ist.
Wie es in 3 gezeigt ist, weist das Funktelefon 1 den Datenprozessor/die Steuerung 15 auf, die, wie es bereits angegeben ist, an den Fingerabdrucksensor 10 angeschlossen sind. Der Datenprozessor/die Steuerung 15 sind auch mit einem primären Speicher 16 gekoppelt, wie beispielsweise irgendeinem kommerziell verfügbarem RAM-Speicher. Sie sind auch an einen nichtflüchtigen Speicher 17 angeschlossen, der durch irgendeinen kommerziell verfügbaren nichtflüchtigen elektronischen, magnetischen, magnetooptischen, etc. Speicher implementiert sein kann.
Der nichtflüchtige Speicher 17 weist einen Programmcode 18 auf, der eine Gruppe von Programmanweisungen definiert, die dann, wenn sie durch den Datenprozessor/die Steuerung 15 ausgeführt werden, das Verfahren gemäß der Erfindung sowie viele andere Aufgaben innerhalb des Funktelefons 1 durchführen. Der nichtflüchtige Speicher 17 weist auch Fingerabdruck-Referenzdaten 19 auf, die durch die Steuerung 15 verwendet werden, nachdem sie ein zusammengesetztes Fingerabdrucksbild zusammengefügt hat, um dieses Bilds mit dem Fingerabdruck-Referenzdaten zu vergleichen, um zu bestimmen, ob der Besitzer des Fingers 11, d.h. der Anwender des Funktelefons 1, die Identität hat oder nicht, die durch die Fingerabdruck-Referenzdaten 19 dargestellt sind.
Zusätzlich zum Obigen sind der Datenprozessor/die Steuerung 15 an eine GSM-Funkschaltung 20 zum Implementieren der ersten Funkverbindung 2' über die Antenne 2 gekoppelt. Der Datenprozessor/die Steuerung 15 sind auch an einen Bluetooth-Funk 21 angeschlossen, der wiederum mit der Bluetooth-Antenne 3 gekoppelt ist. Schließlich sind der Datenprozessor/die Steuerung 15 an die Anzeige 5 angeschlossen.
Alle der oben beschriebenen Komponenten, einschließlich des Datenprozessors/der Steuerung 15, können auf viele unterschiedliche Arten durch irgendwelche kommerziell verfügbaren Komponenten implementiert sein, die die funktionellen Anforderungen erfüllen, die nachfolgend beschrieben sind. Hinsichtlich des Datenprozessors/der Steuerung 15 können sie durch irgendeinen kommerziell verfügbaren Mikroprozessor, eine CPU, einen DSP oder irgendeine andere programmierbare elektronische Logikvorrichtung implementiert sein.
Nun werden unter Bezugnahme auf die übrigen 4 – 8 das Verfahren und die Vorrichtung gemäß dem bevorzugten Ausführungsbeispiel beschrieben. Allgemein gesagt basiert die Erfindung auf der Idee, den Bildbereich, der für die Autokorrelation zwischen aufeinander folgenden Fingerabdrucksbildern bzw. -rahmen bzw. -frames verwendet wird, in mehrere kleine Unterbereiche aufzuteilen. Da, wie es oben erklärt ist, die Berechnung mit dem beteiligten Bildbereich quadratisch aufwändiger wird, kann die resultierende gesamte Berechnung Dank der Erfindung drastisch reduziert werden. Wenn einmal eine Autokorrelation für diese kleineren Unterbereiche durchgeführt worden ist und die jeweiligen Korrelationsabbildungen erzeugt worden sind, wird eine gesamte Autokorrelationsabbildung als lineare Kombination aus den Korrelationsabbildungen berechnet, die aus den Korrelationen mit den einzelnen Unterbereichen resultieren. Der Versatzvektor zwischen zwei aufeinander folgenden Bildern bzw. Rahmen bzw. Frames wird aus der gesamten Autokorrelationsabbildung möglicherweise durch Anwenden eines Verfahrens einer maximalen Wahrscheinlichkeit auf die gesamte Korrelationsabbildung bestimmt, wenn es so zu sein scheint, dass es mehr als einen Versatzvektorkandidaten gibt.
Da die Autokorrelation, die ein wichtiger Teil des Prozesses zum Zusammenfügen einer Vielzahl von sich teilweise überlagernden Fingerabdrucksrahmen in ein zusammengesetztes Fingerabdrucksbild ist, mit weit weniger Rechenleistung als eine herkömmliche Autokorrelation durchgeführt werden kann, lässt die Erfindung zu, dass ein kleiner Fingerabdrucksensor bei einer miniaturisierten oder tragbaren Anwendung mit einem sehr geringen Leistungsverbrauch sowie beschränkten Berechnungsbetriebsmitteln verwendet wird.
Nimmt man nun Bezug auf die 4, ist ein Fingerabdruck-Autokorrelationsprogramm 100 dargestellt, welches ein wichtiger Teil des Verfahrens gemäß der Erfindung ist. Nach einer nötigen Initialisierung, etc., wird in eine erste Phase oder eine Vorverarbeitungsphase 110 eingetreten. In einem Schritt 112 wird ein erstes Fingerabdrucksbild im Datenprozessor/in der Steuerung 15 von dem Fingerabdrucksensor 10 empfangen. In einem darauf folgenden Schritt 114 wird die Grauskalen-Pixelintensität des ersten Fingerabdrucksbilds analysiert. Eine Vielzahl von kleinen und geografisch verteilten Unterbereichen #1 – #n wird dann in einem Schritt 116 im ersten Fingerabdrucksbild ausgewählt, wie es detaillierter in 5 dargestellt ist. Die ausgewählten Unterbereiche sind diejenigen, die in Bezug auf den Bildrahmen bzw. -frame als gesamtes statistisch selten bzw. ungewöhnlich sind. Der Grund dafür besteht darin, dass es einfacher sein wird, die ausgewählten Unterbereiche mit dem nachfolgenden Fingerabdrucksbild einer Autokorrelation zu unterziehen.
5 stellt in der linksseitigen Spalte eine Vielzahl von aufeinander folgenden Fingerabdrucksbildern 13a,..., 13j dar, wie sie vom Fingerabdrucksensor 10 empfangen werden. Darüber hinaus sind in der rechtsseitigen Spalte die Bilder 13a–13j wieder (als 13a'–13j') dargestellt, wobei die ausgewählten ungewöhnlichen bzw. seltenen Unterbereiche als die jeweiligen Zentren von kleinen weißen Quadraten angezeigt sind. Für jedes Fingerabdrucksbild wird bei dem bevorzugten Ausführungsbeispiel eine Gesamtheit von sechs seltenen bzw. ungewöhnlichen Unterbereichen ausgewählt. Für das letzte Bild bzw. den letzten Rahmen bzw. Frame 13j/13' ist eine Vergrößerung am unteren Teil der 5 zur Verfügung gestellt. Aus dieser Vergrößerung erscheinen die ausgewählten ungewöhnlichen Unterbereiche 22a, 22b, 22c, 22d, 22e und 22f deutlicher.
Gemäß dem bevorzugten Ausführungsbeispiel hat jeder ausgewählte Unterbereich eine Größe von 1×1 Pixel, d.h. ein einzelnes Pixel mit einem Grauskalenwert von z.B. 0–255. Normalerweise sind bei einem Fingerabdrucksbild, das einen Teil eines Fingerabdrucks darstellt, ungewöhnliche Bereiche diejenigen, die entweder eine sehr hohe Intensität haben (d.h. nahezu weiß sind) oder eine sehr niedrige Intensität haben (d.h. nahezu schwarz sind). Daher sind gemäß dem bevorzugten Ausführungsbeispiel die ausgewählten Unterbereiche Pixel, die vorzugsweise entweder weiß (oder nahezu weiß) oder schwarz (oder nahezu schwarz) sind. Gemäß dem bevorzugten Ausführungsbeispiel werden drei weiße Pixel und drei schwarze Pixel als Unterbereiche #1–#6 im Fingerabdrucksbild ausgewählt. Jedoch kann es in bestimmten Situationen (wie beispielsweise bei einer Bildsättigung) geeigneter sein, andere als weiße oder schwarze Pixel als ungewöhnliche Bereiche auszuwählen. Alternativ dazu können größere ungewöhnliche Unterbereiche im Fingerabdrucksbild ausgewählt werden, wie beispielsweise 4×4 Pixel. In einem solchen Fall kann ein ungewöhnlicher Bereich ein Bereich sein, der einen Intensitätsgradienten enthält (der sich von schwarz zu weiß ändert, oder umgekehrt).
Allgemein gesagt kann durch Verwenden einer größeren Größe von jedem Unterbereich eine kleinere Anzahl von Unterbereichen verwendet werden, und umgekehrt.
Wenn einmal die ungewöhnlichen Unterbereiche im Schritt 116 ausgewählt worden sind, fährt die Ausführung fort mit einer zweiten Phase oder einer Autokorrelationsphase 120. Das Ziel der Autokorrelation besteht im Lokalisieren der während der Vorverarbeitung von einem Fingerabdrucksbild ausgewählten jeweiligen Unterbereiche in einem nachfolgenden Fingerabdrucksbild. Da statistisch ungewöhnliche Pixel als Unterbereiche verwendet werden, ist es wahrscheinlich, dass genau ein passendes bzw. übereinstimmendes in einem Suchbereich im nachfolgenden Fingerabdrucksbild gefunden werden wird. Die kombinierte Autokorrelation resultiert in wenigstens einem Versatzvektorkandidaten. Ein Versatzvektor stellt den relativen Versatz zwischen einem gegebenen Fingerabdrucksbild und seinem Nachfolger dar. Wenn einmal der Versatzvektor bestimmt worden ist, können die zwei Fingerabdrucksbilder kombiniert werden, um das zusammengesetzte Fingerabdrucksbild sukzessiv zusammenzufügen.
Unter einem allgemeinen Gesichtspunkt stellen Autokorrelationskoeffizienten c_i,j das Ausmaß an Korrelation zwischen benachbarten Datenbeobachtungen (aufeinander folgenden Fingerabdrucksbildern) in einer zeitlichen Serie dar. Eine Autokorrelation, die innerhalb des Schutzumfangs der Erfindung verwendet werden kann, ist folgende: ci,j = Σx,y (f(x,y) – g(x + i,y + j))2 wobei f(x,y) ein ausgewählter Unterbereich in einem gegebenen Fingerabdrucksbild ist und g(x,y) ein Unterbereich im nachfolgenden Fingerabdrucksbild bzw. -rahmen ist. Die Aufgabe der Autokorrelation, die im Finden der größten Korrelation zwischen zwei Fingerabdrucksbildern besteht, wird durch Berechnen von c_i,j für einen Suchbereich 23 (6) im nachfolgenden Fingerabdrucksbild 13 erreicht. Die beste Übereinstimmung wird durch Minimieren von c_i,j über dem Suchbereich 23 gefunden. Gemäß dem bevorzugten Ausführungsbeispiel ist der Suchbereich ein Bereich von 19×19 Pixel. Jedoch sind andere Suchbereiche gleichermaßen möglich, sogar nicht quadratische.
Die Verwendung der obigen Autokorrelation ist in 6 dargestellt, wo ein Teil eines nachfolgenden Fingerabdrucksbilds 13 gezeigt ist. Das kleine Quadrat 22 stellt einen der ausgewählten Unterbereiche während der Vorverarbeitung dar. Die Größe des Unterbereichs 22 sowie des Suchbereichs 23 sind in 6 der Klarheit halber vergrößert worden. Das Zentrum 24 des Suchbereichs 23 des nachfolgenden Fingerabdrucksbilds stellt die Position im vorangehenden Fingerabdrucksbild dar, wo es für den Unterbereich 22 bekannt war, dass er lokalisiert ist. Durch Minimieren von c_i,j über dem Suchbereich 23 im nachfolgenden Fingerabdrucksbild, wie es oben beschrieben ist, kann die Stelle des Unterbereichs 22 im nachfolgenden Fingerabdrucksbild 13 gefunden werden.
Das Ergebnis der Autokorrelation für einen einzelnen Unterbereich 22 in Bezug auf einen Suchbereich 23 ist eine Korrelationsabbildung 25 mit 19×19 Pixeln, welche in 7 dargestellt ist. Das Minimum der Autokorrelation c_i,j erscheint als dunkles Pixel 28 in der Korrelationsabbildung 25. Dann kann ein Versatzvektor 26 auf einfache Weise bestimmt werden, der seine Anfangsstelle im Zentrum 27 der Korrelationsabbildung 25 und seine Endstelle bei dem Pixel mit minimaler Intensität (dem schwarzen Pixel) 28 hat.
Das obige entspricht dem Schritt 122 im Ablaufdiagramm der 4. Wie es bereits angegeben ist, werden bei dem bevorzugten Ausführungsbeispiel eine Gesamtheit von sechs Korrelationsabbildungen für eine Gesamtheit von sechs Unterbereichen 22 erzeugt. In einem darauf folgenden Schritt 124 wird eine gesamte Korrelationsabbildung 29 als lineare Kombination (Summe) aus den einzelnen Korrelationsabbildungen 25a, 25b, etc. berechnet, wie es in 8 gezeigt ist. Aus der gesamten Korrelationsabbildung 29 ist es möglich, einen Versatzvektor zu bestimmen, oder oft eine Anzahl von Versatzvektorkandidaten.
Der Grund dafür, warum gemäß der Erfindung die Autokorrelation für mehrere sehr kleine und geografisch verteilte Unterbereiche 22 von aufeinander folgenden Fingerabdrucksbildern 13 durchgeführt werden kann, die schließlich in eine gesamte Korrelationsabbildung 29 kombiniert werden, besteht darin, dass ein Fingerabdrucksbild ein charakteristisches Muster mit Linien (Höhen und Tiefen) in unterschiedlichen Richtungen hat. Diese Linien werden auch in den Korrelationsabbildungen erscheinen. Wenn ein Unterbereich entlang den Fingerabdruckslinien verschoben wird, wird die Korrelation sehr stark werden und werden Linien erscheinen. Dies gilt auch dann, wenn der Unterbereich um die Breite von einer Linie verschoben wird. Wenn die Autokorrelation für Teile des Fingerabdrucks berechnet wird, wo die Linien verschiedene Winkel haben, werden die Korrelationsabbildungen 25 auch Linien in unterschiedlichen Richtungen zeigen. Wenn eine ausreichende Anzahl von 25a, 25b,... kombiniert wird, werden sich die Linien über der gesamten Korrelationsabbildung 29 kreuzen, aber es wird eine klare Überlagerung beim Korrelationsminimum geben, aus welchem der Versatzvektor bestimmt werden kann.
Oft können jedoch mehrere Pixel 28 mit minimaler Intensität in einer gesamten Korrelationsabbildung 29 auftreten, um dadurch nicht einen einzigen Versatzvektor anzuzeigen, sondern eine Anzahl von Versatzvektorkandidaten. Diese werden in einem darauf folgenden Schritt 126 des in 4 gezeigten Ablaufdiagramms bestimmt und werden in einer Nachverarbeitungsphase 130 des Fingerabdruck-Autokorrelationsprogramms 100 weiter verarbeitet.
Während der Nachverarbeitung der gesamten Korrelationsabbildung 29 (oder genauer gesagt der Anzahl von im Schritt 126 bestimmten Versatzvektorkandidaten) wird eine Prozedur zum Abschätzen einer maximalen Wahrscheinlichkeit auf diese Versatzkandidaten angewendet, wobei angenommen ist, dass es wahrscheinlich ist, dass das richtige Minimum für eine bestimmte Korrelationsabbildung 29 (wie es für ein bestimmtes Fingerabdrucksbild 13 bestimmt ist) nahe dem Minimum in der entsprechenden Korrelationsabbildung des vorangehenden Fingerabdrucksbilds ist. Folglich ist die Wahrscheinlichkeit, dass sich das Minimum von einer Position zu einer anderen bewegt hat, proportional zum Abstand zwischen den Minima. Wenn diese Wahrscheinlichkeit über der Zeit maximiert wird, wird der wahrscheinlichste Versatzpfad gefunden.
Detaillierter definieren wir einen Versatzvektor als die Richtung und die Größe eines Versatzes zwischen zwei aufeinander folgenden Fingerabdrucksbildern. Wie es bereits angegeben ist, erscheint der Versatzvektor in einer Korrelationsabbildung als ein Pixel mit minimaler Intensität (ein schwarzes Pixel). Darüber hinaus definieren wir eine Übergangswahrscheinlichkeit als die Wahrscheinlichkeit, dass sich der Vektor von einer ersten Position zu einer zweiten Position bewegt.
Der Versatzvektor ist eine Funktion einer Fingerbewegung und stellt eine Fingergeschwindigkeit und -richtung dar. Ein Vektorübergang entspricht einer Beschleunigung. Da der Finger ein physikalischer Körper ist, kann er keine unendlich große Beschleunigung haben. Daher werden dann, wenn die Fingerbewegung mit einer ausreichenden Geschwindigkeit abgetastet wird, die Abtastungen sehr stark korreliert sein. Aufgrund dieser Korrelation können wir die Wahrscheinlichkeiten dafür berechnen, dass sich der Vektor von einer Position zu einer anderen bewegt. Daher definieren wir für alle Positionen eine entsprechende Wahrscheinlichkeit, dass sich der Versatzvektor von einer ersten Position zu einer zweiten Position bewegt. Statistische Daten von einer realen Anwenderinteraktion können verwendet werden, um die Wahrscheinlichkeiten zu berechnen oder zu "kalibrieren".
Einige Vereinfachungen können durchgeführt werden, um die Anzahl von Berechnungen zu reduzieren:

– Berechnen der Wahrscheinlichkeiten von Bereichen. Abbilden aller Vektoren in einem Bereich auf eine Wahrscheinlichkeit.
– Wahrscheinlichkeiten sind proportional zu dem Abstand zwischen einer ersten und einer zweiten Position. Wir können annehmen, dass kleine Abstände zwischen diesen zwei Positionen wahrscheinlicher als große Abstände sind.

Aus dem Obigen können wir den folgenden Algorithmus (der in 4 durch die Schritte 132 und 134 dargestellt ist) definieren, der den wahrscheinlichsten Versatzvektor unter der Anzahl von Versatzvektorkandidaten findet, die im Schritt 126 bestimmt sind, indem die obigen Wahrscheinlichkeiten maximiert werden. Ein Suchbaum wird aus wahrscheinlichen Vektoren gebildet, und eine anfängliche Breitensuche wird durchgeführt. Zum Reduzieren der Anzahl von Berechnungen werden nur die N wahrscheinlichsten Pfade verwendet. Bei einem Initialisierungsschritt stellen wir bestimmte Variablen für die N Pfade gleich 0 ein. Dann wird eine Schleife iteriert, wo wir die N wahrscheinlichsten Versatzvektoren in einer Korrelationsabbildung finden. Diese werden als Knoten im Suchbaum verwendet. Um die Versatzvektorkandidaten einzureihen, wird ein Maß für jeden Kandidaten berechnet. Das Maß ist eine Funktion einer Übergangswahrscheinlichkeit und einer Korrelationsqualität. Für jeden Knoten bei einer Tiefe t+1 wird für jeden der vorangehenden bei einer Tiefe t die Summe des Maßes aus dem Vorangehenden und dem Verzweigungsmaß des Übergangs gefunden. Das Maximum dieser Summen wird bestimmt und diesem Knoten zugeordnet. Dann wird die Summe des Versatzvektors und ein gesamter Versatz des ausgewählten Vorangehenden berechnet und dem Knoten zugeordnet. Der Knoten mit dem größten Maß ist die Abschätzung für den richtigen Versatzvektor.
Das Fingerabdruck-Erfassungsverfahren und die Fingerabdruck-Erfassungsvorrichtung, die oben beschrieben sind, können in vielen unterschiedlichen elektronischen Vorrichtungen implementiert werden, und zwar vorzugsweise in miniaturisierten oder tragbaren Vorrichtungen. Ein Beispiel ist ein Funktelefon 1, wie es in 1 dargestellt ist. Andere Beispiele enthalten kleine in der Hand gehaltene Vorrichtungen, um als Türöffner, Fernbedienungen, drahtlose Authentifizierungsvorrichtungen, Vorrichtungen zum Durchführen einer drahtlosen elektronischen Bezahlung, etc. verwendet zu werden.
Gemäß einem Aspekt der Erfindung kann der bestimmte Versatzvektor gehalten werden, um eine Bewegung eines Anwenderfingers in einem Koordinatensystem darzustellen. Dies lässt zu, dass das Verfahren und die Vorrichtung der Erfindung als Zeigevorrichtung zum Steuern der Position eines Cursors, etc., auf einer Anzeige vom Computertyp verwendet werden.
Die Erfindung ist oben unter Bezugnahme auf ein bevorzugtes Ausführungsbeispiel beschrieben worden. Jedoch sind andere Ausführungsbeispiele als diejenigen, die oben offenbart sind, gleichermaßen innerhalb des Schutzumfangs der Erfindung möglich, wie er durch die beigefügten Patentansprüche definiert ist. Insbesondere wird beobachtet, dass das Verfahren gemäß der Erfindung nicht nur auf Fingerabdrücke angewendet werden kann, sondern auch auf andere Typen von Bildern, die ein körperspezifisches Muster darstellen, das irgendeine Art von periodischem Charakter enthält.

Claims

Verfahren zum Erzeugen eines zusammengesetzten Bildes (14) aus einer Sequenz von Teilbildrahmen bzw. -frames (13a–x), die unterschiedliche, aber sich wenigstens teilweise überlagernde Bereiche eines körperspezifischen Musters darstellen, wobei Versätze zwischen aufeinander folgenden Bildrahmen bestimmt werden, um die Bildrahmen richtig zu kombinieren, wenn das zusammengesetzte Bild erzeugt wird, dadurch gekennzeichnet, dass die folgenden Schritte für die Sequenz von Bildrahmen durchgeführt werden: Auswählen einer vorbestimmten Anzahl von Unterbereichen (22a–f) eines ersten Bildrahmens (13j), für jeden Unterbereich Bestimmen einer Korrelation (25) mit einem zweiten Bildrahmen (13), welcher dem ersten Bildrahmen nachfolgt, Berechnen einer linearen Kombination (29) aus den Korrelationen (25a, 25b) für alle Unterbereiche, und aus der berechneten linearen Kombination Bestimmen des Versatzes zwischen dem ersten und dem zweiten Bildrahmen.
Verfahren nach Anspruch 1, wobei Teile des ersten Bildrahmens (13j), die im Vergleich mit anderen Teilen des Bildrahmens ungewöhnlich bzw. selten sind und die darüber hinaus im Bildrahmen nicht benachbart zueinander sind, als die Unterbereiche (22a–f) ausgewählt werden.
Verfahren nach Anspruch 1 oder 2, wobei die Bildrahmen (13a–x) Grauskalen-Bilder sind und wobei die ausgewählten Unterbereiche (22a–f) Pixel-Grauskalenintensitäten haben, die entweder im Wesentlichen weiß oder im Wesentlichen schwarz sind.
Verfahren nach einem der Ansprüche 1–3, wobei jeder Unterbereich nur ein Pixel enthält.
Verfahren nach Anspruch 4, wobei eine Gesamtheit von sechs Unterbereichen (22a–f) ausgewählt wird, wobei drei von ihnen im Wesentlichen schwarz sind und die anderen drei im Wesentlichen weiß sind.
Verfahren nach einem der vorangehenden Ansprüche, wobei die Korrelation für jeden Unterbereich (22) des ersten Bildrahmens (13j) in Bezug auf einen Suchbereich (23) des zweiten Bildrahmens (13) bestimmt wird, wobei der Suchbereich größer als der Unterbereich ist, aber kleiner als das zweite Bildrahmen als Ganzes ist.
Verfahren nach Anspruch 6, wobei der Suchbereich (23) des zweiten Bildrahmens (13) 19 × 19 Pixel aufweist.
Verfahren nach Anspruch 1, wobei der Versatz zuerst bestimmt wird durch Auswählen aus der berechneten Kombination einer Vielzahl von Versatzkandidaten und dann durch Anwenden einer Prozedur zum Abschätzen einer maximalen Wahrscheinlichkeit auf die Vielzahl von Versatzkandidaten, um den wahrscheinlichsten Versatz zu finden.
Verfahren nach einem der vorangehenden Ansprüche, wobei das zusammengesetzte Bild (14) und die Sequenz von Teilbildrahmen (13a–13x) einen Fingerabdruck darstellen.
Fingerabdruck-Erfassungsvorrichtung mit einem Fingerabdrucksensor (10), der zum Erzeugen einer Sequenz von sich wenigstens teilweise überlagernden Fingerabdrucksrahmen (13) geeignet ist, wenn ein Finger (11) in Relation zum Fingerabdrucksensor bewegt wird, und mit einer Verarbeitungsvorrichtung (15), die mit dem Fingerabdrucksensor gekoppelt ist und geeignet ist zum Erzeugen eines vollständigen Fingerabdrucksbilds (14) durch Berechnen des relativen Versatzes zwischen jeweiligen Fingerabdrucksrahmen und durch entsprechendes Kombinieren der Fingerabdrucksrahmen, dadurch gekennzeichnet, dass die Verarbeitungsvorrichtung (15) durch folgendes zum Bestimmen des relativen Versatzes zwischen einem ersten Fingerabdrucksrahmen (13j) und einem zweiten Fingerabdrucksrahmen (13) geeignet ist: Auswählen einer Vielzahl von Unterbereichen (22a–f) im ersten Fingerabdrucksrahmen; für jeden Unterbereich Bestimmen einer jeweiligen Korrelation (25) mit dem zweiten Fingerabdrucksrahmen; Berechnen einer linearen Kombination (2a) aus den jeweiligen Korrelationen (25a, 25b) und aus der berechneten linearen Kombination Bestimmen des relativen Versatzes.
Fingerabdruck-Erfassungsvorrichtung nach Anspruch 10, wobei die Verarbeitungsvorrichtung (15) weiterhin zum Auswählen einer Vielzahl von Versatzkandidaten aus der berechneten linearen Kombination (29) und dann zum Bestimmen des wahrscheinlichsten Versatzes unter diesen Kandidaten durch Anwenden einer Prozedur zum Abschätzen einer maximalen Wahrscheinlichkeit geeignet ist.
Tragbare oder miniaturisierte elektronische Vorrichtung, die eine Fingerabdruck-Erfassungsvorrichtung gemäß einem der Ansprüche 10 oder 11 aufweist.
Vorrichtung nach Anspruch 12 in der Form eines Funktelefons (1).