-
Die
Erfindung betrifft das Erkennen von Fingerabdrücken und insbesondere das Erkennen
ausgehend von einer länglichen
Leiste aus Sensoren, die die Gipfel und Täler der Fingerabdrücke beim
relativen Ablaufen eines Fingers in Bezug auf den Sensor, der im
Wesentlichen senkrecht zu der Länge
der Leiste liegt, erfassen können.
-
Derartige
Sensoren in länglicher
Form, die kleiner sind als das Bild des zu erfassenden Fingers,
und die daher dieses Bild nur dank des relativen Ablaufens empfangen
können,
wurden bereits beschrieben. Diese Sensoren können hauptsächlich durch optisches oder
kapazitives oder thermisches oder piezoelektrisches Erfassen funktionieren.
-
Diese
Sensoren haben im Vergleich zu den Sensoren ohne Ablaufen, auf welchen
man den Finger bewegungslos lässt,
aufgrund der kleinen Siliziumoberfläche, die sie verwenden, verringerte
Kosten. Sie erfordern aber eine Rekonstruktion des globalen Bilds
des Fingers, denn dieses Bild wird nur Zeile für Zeile oder mehrere Zeilen
gleichzeitig erfasst.
-
Wenn
das Bild derart allmählich
erfasst wird, muss man im Prinzip eine relative Ablaufgeschwindigkeitsreferenz
des Fingers in Bezug auf den Sensor haben oder eine gleich bleibende
Ablaufgeschwindigkeit auferlegen. Das erfordert daher spezifische
zusätzliche
Mittel.
-
In
dem französischen
Patent, veröffentlicht
unter der Nummer
FR 2 749 955 wurde
ein Erfassungskonzept mit einem länglichen Sensor beschrieben,
der einige Zeilen zur aufeinander folgenden Akquisition von Teilbildern
des Abdrucks aufweist, wobei sich diese Bilder gegenseitig überlappen,
so dass man, beim Suchen einer Korrelation zwischen zwei aufeinander
folgenden Bildern, aufeinander folgende, im Laufe des Ablaufen des
Fingers versetzte Bilder überlagern
und allmählich
das globale Bild des Abdrucks rekonstruieren kann, ohne durch zusätzliche
Mittel die Ablaufgeschwindigkeit des Fingers in Bezug auf den Sensor
kennen zu müssen.
-
Dieser
Typ von Rekonstruktion funktioniert gut, erfordert aber Einrichtungen,
um den Bereich der Ablaufgeschwindigkeiten zu erhöhen, für die das
Funktionieren möglich
bleibt. Er erfordert auch Einrichtungen zum Minimieren der Anzahl
von Berechnungen, die zum Rekonstituieren des Bilds durchzuführen sind,
unter gleichzeitiger Wahrung einer guten Präzision.
-
Das
Dokument
EP-A-1 179
801 beschreibt ein Fingerabdruck-Bildakquisitionsverfahren
durch Ablaufen eines Fingers vor einem länglichen Bildsensor mit den
folgenden Operationen: Akquisition einer Abfolge von Teilbildern
in gegenseitigem Überlappen
unter der Kontrolle eines Prozessors, Suchen der Bewegung eines
ersten Bilds in Bezug auf ein zweites Bild, das die beste Korrelation
zwischen den beiden Bildern ergibt, und Bestimmen der Bewegungskomponente
in die Richtung senkrecht zu dem länglichen Sensor; Vergleichen der
Bewegungskomponente mit mindestens einem Schwellenwert; je nach
Ergebnis des Vergleichs, Auslösen oder
nicht des Abtasten des Sensors.
-
EP-A-0 735 502 ,
das das Intervall zwischen den Bildakquisitionen korrigiert, erwähnt hingegen
nicht, wie die Geschwindigkeit erfasst wird und erhöht oder
verringert das Intervall in Abhängigkeit
von der Geschwindigkeit des Fingers.
-
Die
Erfindung hat die Aufgabe, die Rekonstruktionsmöglichkeiten des Bilds zu verbessern,
ohne die Berechnungen, die für
diese Rekonstruktion erforderlich sind, übermäßig zu erhöhen.
-
Erfindungsgemäß wird ein
Fingerabdruck-Akquisitionsverfahren durch Ablaufen eines Fingers
vor einem länglichen
Bildsensor vorgeschlagen, das die folgenden Vorgänge aufweist:
- – Akquisition
einer Abfolge von Teilbildern durch gegenseitiges Überlappen
unter der Kontrolle eines Prozessors,
- – Suchen
der Bewegung eines ersten Bilds in Bezug auf ein zweites Bild, das
die beste Korrelation zwischen beiden Bildern ergibt, und Bestimmen
der Bewegungskomponente in die Richtung senkrecht zu dem länglichen
Sensor in Anzahl Bildpunkten,
- – Vergleichen
der Bewegungskomponente mit mindestens einem Schwellenwert,
- – je
nach Ergebnis des Vergleichs, Behalten oder Erhöhen oder Verringern einer Verzögerung T,
die von dem Prozessor vor der Akquisition eines nächsten Bilds
auferlegt wird, um ein Zeitinkrement dT.
-
Der
Akquisitionstakt der Teilbilder variiert daher in Abhängigkeit
von der Bewegungsgeschwindigkeit des Fingers auf dem Sensor in die
erwartete Ablaufrichtung.
-
Man
rekonstruiert danach das Bild in Abhängigkeit von den Bewegungen
in die Ablaufrichtung und senkrecht zur Ablaufrichtung, wobei die
betreffenden Bewegungen zwischen zwei aufeinander folgenden Bildern
in Überlappung
die sind, die die beste Korrelation zwischen Bildern ergeben. Der
Korrelationswert ist eine mathematische Größe, die die mehr oder minder
starke Ähnlichkeit
zwischen den zwei Bildern darstellt, und man kann als Korrelationsgröße eine
Funktion auswählen,
die ein Maximum oder (vorzugsweise) ein Minimum dar stellt, wenn
die zwei Bilder (erstes versetztes Bild und zweites Bild) identisch
sind. Bei jedem neuen Bild wird die Akquisitionsverzögerung in
eine Richtung angepasst, die dazu tendiert, dass die Bewegung, die
die beste Korrelation ergibt, von einer Akquisition zur nächsten ungefähr um den
betreffenden Schwellenwert konstant bleibt.
-
Vorzugsweise
gibt es einen oberen und einen unteren Schwellenwert, wobei das Überschreiten
des oberen Schwellenwerts nach oben ein Verringern der Verzögerung T
um dT bewirkt, und das Überschreiten nach
unten des unteren Schwellenwerts ein Erhöhen um dT der Verzögerung T.
Die Schwellenwerte sind vorzugsweise einige Pixel. Der Unterschied
zwischen dem oberen und dem unteren Schwellenwert ist vorzugsweise
ein einziges Pixel. Die Schwellenwerte betragen vorzugsweise jeweils
2 und 3 Pixel. Das bedeutet, dass die Verzögerung, die zwischen zwei aufeinander
folgenden Akquisitionen eingerichtet wird, ständig derart angepasst wird,
dass die Bildbewegung zwischen zwei aufeinander folgenden Akquisitionen
etwa 2 bis 3 Pixel beträgt.
-
Für einen
akzeptablen Kompromiss hinsichtlich der Berechnungszeit erfolgt
die Korrelation auf einem eingeschränkten Abschnitt des Bilds,
das von dem Sensor geliefert wird. Man führt zum Beispiel die Korrelation auf
einem Bildabschnitt aus, der aus einem oder mehreren Segmenten einer
Zeile des Teilbilds besteht: Man sucht in einer Zeile des zweiten
Bilds Segmente, die die gleiche Struktur haben wie in dem ersten
Bild, die sich aber aufgrund der relativen Bewegung, die zwischen
der Akquisition des ersten Bilds und der Akquisition des zweiten
Bilds stattgefunden hat, an einer anderen Position im Bild befinden.
Der Sensor weist vorzugsweise für
diese Korrelationssuche auf einem Liniensegment einen kleinen rechteckigen
Bereich auf, in dem sich das Bild des Segments nach einem Bewegen
um einige Pixel global in die Ablaufrichtung befinden kann.
-
Bei
einer besonderen Ausführungsform
kann man in Betracht ziehen, dass die Korrelation nur in einem zentralen
Bereich des Sensors erfolgt, und dass der längliche Sensor eine Bilderfassungszone
hat, die praktisch nur eine kleine rechteckige Oberfläche in der
Mitte hat (aus mehreren Zeilen, um die Bewegungen für die Korrelation
und die Rekonstruktion erfassen zu können), und eine einzige Zeile
außerhalb
des zentralen Bereichs (oder eventuell einige Zeilen, aber eine
kleinere Anzahl Zeilen als in dem zentralen Bereich). Diese Form der
Erfassungszone selbst lässt
mehr Raum auf dem rechteckigen Siliziumchip, um Signalverarbeitungsschaltkreise
anzubringen, die für
die Korrelation und Bildrekonstruktion, ja sogar das Erkennen eines
Fingerabdrucks, dienen.
-
Um
die Rechenoperationen der optimalen Korrelation zu vereinfachen,
sucht man nur mit Bildern, die in eine Richtung versetzt sind, die
der erwarteten Ablaufrichtung für
den Finger in Bezug auf den Sensor entspricht, aber nicht der umgekehrten
Richtung, nach einer Korrelation. Man schränkt zum Beispiel das Korrelationssuchfeld
ein, indem man aufeinander folgende Bewegungen des zweiten Bilds
in mehrere Richtungen und mit mehreren möglichen Amplituden ausführt, aber
nur entlang der Richtungen, deren Winkel zu der theoretischen erwarteten
Ablaufrichtung kleiner ist als 45° oder
sogar weniger.
-
Bei
der Korrelationsberechnung zur Rekonstruktion kann man Korrelationsberechnungen
ausführen, die
einen optimalen Korrelationswert für eine Bewegung ergeben, der
eine Ganzzahl von Pixeln ist; wenn die Bewegungen jedoch langsam
sind, ist eine Korrelation mit einem Abstand von auf 1 Pixel genau
nicht ausreichend präzis.
In diesem Fall beobachtet man die besten erzielten Korrelationen
in der Nähe
der Position (auf ein Pixel genau), und man führt eine Interpolation ausgehend
von zwei (oder mehreren) benachbarten Korrelationen der besten berechneten
Korrelation aus, um einen Zwischenbewegungswert zu berechnen, der
einer theoretischen, noch besseren Korrelation entsprechen sollte;
dieser Bewegungswert ist daher keine Ganzzahl von Abständen von
Pixeln, und man verwendet diesen Wert, der keine Ganzzahl ist, für die Rekonstruktion. Das
erfolgt vorzugsweise sowohl in die Ablaufrichtung als auch in die
Richtung senkrecht dazu.
-
Weitere
Merkmale und Vorteile der Erfindung ergeben sich bei der Lektüre der folgenden
ausführlichen Beschreibung,
die unter Bezugnahme auf die anliegenden Zeichnungen erfolgt, in
welchen:
-
1 das
allgemeine Fingerabdruck-Akquisitionssystem darstellt;
-
2 eine
bevorzugte Form einer aktiven Oberfläche des Bildsensors darstellt;
-
3 ein
Organigramm zur Erklärung
der allgemeinen Bildakquisitionsschritte darstellt;
-
4 ein
Organigramm zur Erklärung
der Akquisition mit variablen Takt darstellt;
-
5 ein
Interpolationsberechnungsschema zum Bestimmen der optimalen Korrelation
auf besser als ein Pixel genau darstellt.
-
Das
Fingerabdruck-Akquisitionssystem weist einen Bildsensor auf, der
eine länglichen
Leiste (eine oder mehrere Zeilen von Pixeln) aufweist, vor der sich
der Finger bewegen muss. Diese Leiste ist kleiner als das Bild des
Fingers, so dass nur ein relatives Ablaufen des Fingers in Bezug
auf den Sensor das Rekonstruieren eines globalen Abdruckbilds erlaubt.
-
1 stellt
das Akquisitionskonzept dar, das diesen Sensor 10 und elektronische
Verarbeitungsschaltkreise 12 verwendet, die zum Rekonstruieren
des globalen Bilds ausgehend von Teilbildern, die nacheinander von
dem Sensor erfasst werden, dienen.
-
Der
Sensor ist nicht notwendigerweise eine Leiste oder eine Matrix im
herkömmlichen
Sinn, mit Zeilen, die alle die gleiche Anzahl Pixel haben; es handelt
sich im Wesentlichen um eine oder mehrere Hauptzeilen zu N Pixeln,
die wirklich zum Erfassen des ganzen Bilds des Fingers dienen, und
um ein Netz aus einigen Zeilen und einigen Spalten, die eine zentrale
Matrix bilden, die spezifischer zur Korrelation aufeinander folgender Teilbilder
dient.
-
Die
Form der aktiven Oberfläche
des Sensors 10 ist auf 2 dargestellt:
Ein kleiner rechteckiger zentraler Bereich 20 und zwei
Flügel 22 und 24,
die sich senkrecht zu der Ablaufrichtung, die von dem Pfeil 30 dargestellt
ist, erstrecken; die Flügel
erstrecken sich jeweils zu beiden Seiten des zentralen Bereichs;
sie sind ausgerichtet und schmaler als der zentrale Bereich. Die
ausgerichteten Flügel
und der zentrale Bereichsteil, der sie verlängert, in dem sie vereint werden,
bilden eine Bilderfassungsleiste, deren Länge von der Bildbreite, die
man erfassen will, abhängt;
die Länge
der Zeile entspricht zum Beispiel der Breite eines Fingers (beispielhaft
etwa 1 bis 2 cm); die Bilderfassungsleiste besteht vorzugsweise
aus einer einzigen Zeile von Pixeln, wenn man die Rekonstruktion
aber optimieren will, kann man vorsehen, dass die Leiste mehrere
Zeilen von Pixeln aufweist. Die Erfassungsleiste liefert die Teilbilder,
die zur Rekonstruktion des globalen Bilds dienen.
-
Der
zentrale Bereich ist der, der dazu dient, die Korrelationsberechnungen
auszuführen,
und er ist es daher, der die Bilder in teilweisem Überlappen
auf zeichnet (es ist nicht erforderlich, dass die Erfassungsleiste selbst
Bilder mit teilweisem Überlappen
liefert, sofern der zentrale Bereich diese liefert). Die Anzahl
von Pixeln des zentralen Bereichs wird ausreichend gering ausgewählt, damit
die Korrelationsberechnungszeiten akzeptabel sind, ohne jedoch die
Präzision
der Korrelationsberechnungen zu weit zu verringern. Die Zeilenanzahl des
zentralen Bereichs 20 ist im Prinzip größer als die der Flügel 22 und 24.
-
Der
Bildsensor funktioniert unter der Steuerung eines Prozessors, der
den Takt der verschiedenen Teilbildaufnahmen des Fingers während seines
Ablaufens und die Art und Weise bestimmt, in der die Teilbilder rekonstituiert
werden, um zu einem globalen Fingerabdruckbild zu gelangen. Der
Prozessor kann aus zwei Teilen (zwei Prozessoren) bestehen, wobei
einer das Speichern der Teilbilder zu späteren Berechnungen ausführt, und
der andere die Korrelationsberechnungen durchführt, aber im Prinzip reicht
ein einziger Prozessor zum Ausführen
der zwei Aufgaben.
-
Der
Prozessor befindet sich vorzugsweise auf dem gleichen Chip wie der
Bildsensor, das ist aber nicht zwingend. Auf 1 wurde
davon ausgegangen, dass der Prozessor zu den elektronischen Schaltkreisen 12 außerhalb
des Chips, der den Bildsensor bildet, gehört.
-
Die
Akquisition der Teilbilder muss ausreichend schnell sein, um ein
ausreichendes Überlappen
zwischen den Teilbildern zu haben, anderenfalls wäre eine
Rekonstruktion nicht wirklich möglich.
Die Ablaufgeschwindigkeit eines Fingers kann zum Beispiel zwischen
1 cm/s und 20 cm/s variieren und beträgt typisch in der Größenordnung
von 7 cm/s.
-
Die
Größe eines
Pixels des Bilds beträgt
typisch in der Größenordnung
von 50 Mikrometer und für
diesen Geschwindigkeitsbereich entspricht das 200 bis 4000 Pixeln
pro Sekunde in Scheingeschwindigkeit auf dem Sensor, das heißt 0,2 bis
4 Pixel pro Millisekunde.
-
Unter
der Annahme, dass der Bildsensor nur acht Zeilen in dem Bereich
aufweist, der zur Korrelation verwendet wird, und daher in dem Bereich,
in dem es notwendigerweise eine bestimmte Überdeckung aufeinander folgender
Bilder geben muss, sieht man, dass man etwa 700 bis 1000 aufeinander
folgende Akquisitionen von Teilbildern pro Sekunde braucht, um eine Überlappung
von Bildern zu haben, auch wenn sich der Finger mit einer maximalen
Geschwindigkeit von 20 cm/s bewegt. Die Überlappung liegt daher auf
zwei oder drei Zeilen, das heißt,
dass die zwei oder drei ersten Zeilen des zweiten Bilds im Prinzip
mit den 2 oder 3 letzten Zeilen des ersten Bilds identisch sind.
Das zweite Bild hat daher im Vergleich zum ersten 2 oder 3 gemeinsame Zeilen
und 6 oder 5 neue.
-
Das
ergibt die Größenordnung
des Akquisitionstakts aufeinander folgender Bilder, der vorgesehen werden
muss. Man kann die Teilüberlappung
natürlich
verbessern, indem man die Anzahl Zeilen des Sensors in dem zentralen
Bereich 20 erhöht.
Diese Anzahl kann zum Beispiel 20 oder 30 Zeilen an Stelle von 8
Zeilen betragen, aber das erfolgt natürlich auf Kosten des Aufwands
an Siliziumoberfläche.
-
Beispielhaft
kann das globale Bild eines Fingers etwa 300×400 Pixel nach Rekonstruktion
entsprechen.
-
Die
Bilderfassungssequenz, die auf 3 in Erinnerung
gerufen wird, kann die Folgende sein:
- – Wartephase:
Erfassen einiger Bilder (zum Beispiel 3) und Erfassen durch Berechnen
der Gegenwart eines Fingers. Wenn eine Gegenwart erfasst wird, Übergang
zur nächsten
Phase, anderenfalls Warten während
etwa 10 Millisekunden vor einer neuen Akquisition einiger Bilder
und einem neuen Gegenwartserfassen; die Frist von 10 Millisekunden
stellt sicher, dass man auch im Fall einer maximalen Geschwindigkeit von
20 cm/s nicht mehr als einige Millimeter Bild verliert, wenn ein
Finger begonnen hat, zwischen zwei Erfassungsversuchen abzulaufen;
- – Akquisitionshauptphase:
Man erfasst willkürlich
Teilbilder während
zum Beispiel Dreiviertel Sekunde; meistens reicht diese Dauer für eine komplette
Akquisition des Bilds des Fingers, denn diese Dauer entspricht einem
Ablaufen mit relativ niedriger Geschwindigkeit (2,6 cm/s für ein Bild
zu 2 cm Länge);
nach dieser Zeit berechnet man die Gegenwart eines Fingers in den
letzten Teilbildern; wenn der Finger immer noch gegenwärtig ist,
geht man zur nächsten
Phase über;
anderenfalls ist die Akquisition von Bildern beendet, und man kann
zur nächsten
Phase übergehen;
- – Akquisitionsnebenphase
für den
Fall, in dem das Ablaufen des Fingers besonders langsam war: Wenn der
Finger gegenwärtig
ist, setzt man die Akquisition von Teilbildern fort, aber nur während einer
Viertelsekunde, und man testet die Gegenwart des Fingers auf den
letzten Abschnitten; wenn der Finger gegenwärtig ist, wiederholt man die
Akquisition während
einer neuen Zeitspanne einer Viertelsekunde, anderenfalls wird die
Akquisition beendet und man geht zur Rekonstruktion weiter.
-
Die
so erfassten Teilbilder können
zu ihrer späteren
Verarbeitung gespeichert werden, oder die Rekonstruktion kann allmählich während der
Akquisitionsperioden beginnen. In dem ersten Fall braucht man einen großen Speicher
mit geringeren Berechnungsmitteln; im zweiten Fall braucht man große Berechungsmittel
mit einem kleineren Speicher.
-
Das
Erfassen des Fingers kann durch Kontrolle der Standardabweichung
zwischen den Signalniveaus der Pixel des zentralen Bereichs des
Bilds erfolgen. Wenn der Finger nicht gegenwärtig ist, ist die Standardabweichung
gering, sie entspricht nur dem Rauschen. Wenn der Finger gegenwärtig ist,
nimmt sie stark zu, und man braucht nur einen ziemlich hohen Erfassungsschwellenwert
auszuwählen,
der es erlaubt, die Akquisition bei einem einfachen Rauschen nicht
auszulösen.
-
Das
Stoppen der Akquisition erfolgt gemäß dem gleichen Konzept über eine
ausreichende Dauer (zum Beispiel 20 ms), damit man sicher ist, dass
der Finger den Sensor komplett verlassen hat (und mit einem niedrigeren
Schwellenwert als dem vorhergehenden, um eine Instabilität zu vermeiden).
-
Um
die Rekonstruktion eines globalen Bilds ausgehend von Teilbildern
auszuführen,
muss man die Bewegung des Fingers von einem Bild zum nächsten berechnen.
-
Dafür zieht
man vorzugsweise ein Korrelationsverfahren heran, das nur eine geringe
Rechenleistung benötigt,
damit die Korrelation zweier aufeinander folgender Bilder wenig
Zeit beansprucht (in der Größenordnung:
1 Millisekunde, um die beste Korrelation zwischen zwei Bildern zu
finden).
-
Eine
einfache und effiziente Korrelationsberechnung besteht darin, den
Unterschied zwischen zwei Werten von Pixeln Pi und Pj zu berechnen,
die zwei möglichen
Positionen des gleichen realen Bildpunkts in zwei aufeinander folgenden
Teilbildern entspricht, und die Absolutwerte der Unterschiede (oder
alternativ die Quadrate der Unterschiede) für alle Pixel Pi der Korrelationszone
zu addieren. Mit anderen Worten, wenn Pi der Signalwert einer bestimmten
Pixelposition i des ersten Bilds ist, ist Pj der Wert einer anderen
Pixelposition j, gemessen in dem zweiten Bild, und die Pixel i und
j sind um eine Entfernung x auf der Abszisse und y auf der Ordinate
beabstandet. Die Abszisse wird in die Längsrichtung der länglichen
Leiste gezählt,
die Ordinate wird in die senkrechte Richtung dazu gezählt (das
heißt
im Wesentlichen in die Ablaufrichtung des Fingers).
-
Der
zu testende Korrelationswert wird ausgehend von dieser Summe von
Unterschieden im Absolutwert für
alle Pixel des Korrelationsbereichs berechnet; der Korrelationsbereich
ist ein Rechteck des ersten Bilds, das kleiner ist als der zentrale
Bereich 20, in dem die Korrelation erfolgt. Der Korrelationswert
COR(x, y) für
eine Bewegung (x, y) hängt
mit einer möglichen
Bildbewegung x, y zusammen, und natürlich werden alle Pixel i (wobei
i von 1 bis n variiert, wenn es in dem Korrelationsbereich n Pixel
gibt), die Gegenstand dieser Korrelationswertberechnung für eine Bewegung
x, y sind, um den gleichen Wert x, y versetzt. Je geringer der Korrelationswert
ist, desto größer ist
die Wahrscheinlichkeit, dass das zweite Bild effektiv das Bild des
gleichen Fingerabschnitts ist, der von dem ersten Bild bei der vorhergehenden
Akquisition gesehen wurde. Es ist klar, dass die Summe der Unterschiede
Pi-Pj umso geringer ist als die Bilder besser korreliert sind, und
daher entspricht der beste Korrelationswert einem Mindestwert der
Korrelationsgröße; aber
andere Korrelationsgrößen, die
der Suche nach einem Maximum für
die bestmögliche
Korrelation entsprechen, könnten
ausgewählt
werden. Die hier empfohlene Lösung
(durch Suchen eines Minimums einer Summe von Unterschieden optimierte Korrelation)
erlaubt das Vereinfachen der Berechnungen.
-
Es
werden für
verschiedene Wert von x, y mehrere Korrelationswerte berechnet,
und man erforscht die Bewegung x, y, die den kleinsten Wert ergibt.
-
Im
Prinzip werden x und y in Ganzzahlen von Pixeln ausgedrückt, unten
wird aber gezeigt, dass man die Suche der maximalen Korrelation
für Pixelbruchteile
verfeinern kann.
-
Vorzugsweise
ist die Anzahl der Pixel, auf der man die Korrelation ausführt, beschränkt. Die
Korrelation erfolgt zum Beispiel auf einem Zeilensegment, das in
dem zentralen Bereich 20 der aktiven Zone genommen wird.
Dieses Segment hat vorzugsweise eine Länge, die kleiner ist als die
Breite dieses zentralen Bereichs, um die Tatsache zu berücksichtigen,
dass das Bewegen des Bilds leicht schräg sein kann. Das Segment befindet
sich vorzugsweise in dem vorderen Teil dieses zentralen Bereichs
des Sensors, das heißt
dem Teil, der einen neuen Fingerbildabschnitt zuerst sieht. Aufgrund
der Ablaufrichtung des Fingers verlagert sich nämlich ein Fingerbildabschnitt,
der zuerst in dem vorderen Teil eines ersten Bilds erscheint, im
Laufe des Ablaufens des Fingers in die vorgesehene Richtung allmählich zu
dem hinteren Teil, und man kann die Korrelation zwischen einem Bildzeilenabschnitt,
der im vorderen Teil des ersten Bilds liegt, und einem Bildzeilenabschnitt, der
weiter hinten liegt, suchen. Das setzt voraus, dass die Ablaufrichtung
des Fingers auferlegt wird; in dem gegenteiligen Fall müsste der
Zeilenabschnitt, für
den man eine Korrelation in den folgenden Bildern sucht, in dem
zentralen Teil des Bereichs 20 liegen.
-
Zu
bemerken ist, dass, wenn die Form der aktiven Zone des Sensors im
Wesentlichen rechteckig ist, und im Gegenteil zu dem auf 2 dargestellten
Fall, bei dem die Zone eine Kreuzform hat, die Korrelation unterschiedlich
erfolgen könnte,
zum Beispiel auf mehreren Zeilensegmenten, die in der aktiven Zone
genommen werden: man würde
relative Bewegungen jedes Segments suchen.
-
Es
ist vorzuziehen, dass die Korrelationsberechnung auf einer festgelegten
Anzahl von Pixeln, zum Beispiel 64 erfolgt, einer einfachen binären Zahl,
die die Divisionen für
die Berechnung der Korrelation erleichtert.
-
Eine
Korrelationsberechnung erfolgt zum Beispiel für die darauf folgenden Bildbewegungswerte,
die sowohl horizontal als auch vertikal in Anzahl von Pixeln ausgedrückt wird:
(0,
1); (0, 2); (0, 3); (0, 4) (Bewegungen in die Ablaufrichtung)
(1,
1); (1, 2); (1, 3); (1, 4) (leicht schräge Bewegung rechts)
(–1, 1);
(–1, 2);
(–1, 3);
(–1, 4)
(leicht schräge
Bewegung links)
und eventuell andere schrägere Bewegungswerte, wenn man
die Erfassungsmöglichkeiten
einer Bewegung und der Rekonstruktion auf Richtungen, die deutlich
von der Nennablaufrichtung abweichen, erweitern will.
-
Erfindungsgemäß ist es
im Allgemeinen nicht notwendig, Korrelationen für Bewegungen zu suchen, deren
Amplituden größer sind
als die oben angegebenen (4 Pixel vertikal in die Ablaufrichtung).
Insgesamt sollte eine Suche der optimalen Korrelation unter 16 möglichen
Bewegungswerten gemäß dem erfindungsgemäßen Prinzip
ausreichen.
-
Man
beschließt
nämlich,
den Takt der Aufnahme von Teilbildern in Abhängigkeit von dem Ergebnis der Korrelation
derart anzupassen, dass die späteren
Korrelationen für
kleine Bewegungen optimal sind. Das läuft darauf hinaus, den Bildakquisitionstakt
an die Bewegungsgeschwindigkeit des Fingers in eine Richtung anzupassen,
die dazu tendiert, die Korrelationsberechnungen und die Rekonstruktion
zu erleichtern.
-
Die
Basisannahme besteht darin, dass sich der Finger bewegt, wobei er
nur geringe Beschleunigungen oder überhaupt keine Beschleunigungen
erfährt,
und man kann daher annehmen, dass, wenn die Geschwindigkeit im Augenblick
einer Bildakquisition einen gegebenen Wert hat, sie bei der darauf
folgenden Akquisition praktisch den gleichen Wert hat.
-
Einerseits
bedeutet das, dass man die Position des folgenden Bilds auf ein
oder zwei Pixel genau voraussagen kann (nach einigen Versuchen,
die ein annäherndes
Bestimmen der Geschwindigkeit erlauben). Man kann aber vor allem
das Zeitintervall zwischen zwei Akquisitionen anpassen, damit die
Bewegung zwischen zwei Akquisitionen im Durchschnitt gleich 2 oder
3 Pixel bleibt (insbesondere in dem Fall eines Sensors mit acht
Zeilen in dem Korrelationsbereich).
-
Dieser
Wert von 2 oder 3 Pixel könnte
erhöht
werden, falls der Sensor mehr als acht Zeilen in dem Korrelationsbereich
hat, zum Minimieren der Berechnungen ist es aber vorteilhaft, die
Größe des Korrelationsbereichs
nicht zu sehr zu erhöhen.
-
Der
Akquisitionstakt muss daher ausreichend sein können, um eine Bewegung von
2 bis 3 Pixel (bevorzugter Wert) für eine maximale Geschwindigkeit
des Fingers nicht zu überschreiten;
umgekehrt behält
man diesen Takt in dem Fall einer langsamen Geschwindigkeit des
Fingers nicht, denn, wenn man ihn behält, würde man zu allzu schwachen
Bildbewegungen zwischen zwei Akquisitionen gelangen und die Korrelationssuche zwischen
zwei aufeinander folgenden Bildern hätte nur wenig Bedeutung, vor
allem, wenn es die Korrelation nicht erlaubt, eine Bewegung nur
auf ein Pixel genau zu bestimmen.
-
Man
verlangsamt daher den Takt bei einer langsamen Bewegung, um ein
neues Bild nur zu erfassen, wenn sich der Finger um 2 oder 3 Pixel
fortbewegt hat. Es ist interessant festzustellen, dass man diese
Zeit nutzen kann, um das von dem Sensor erfasste Signal länger zu
integrieren, wenn der Sensortyp eine ziemlich lange Integrationszeit
benötigt,
um ein verwendbares Signal zu liefern: das ist der Fall der Sensoren,
die mit einem Wärmeeffekt
funktionieren (Temperaturschwankung oder Schwankung der Wärmeleitung
zwischen den Gipfeln und den Tälern
der Fingerabdrücke).
-
Der
Taktanpassungsalgorithmus der Akquisition, der auf 4 schematisch
dargestellt ist, ist der Folgende: Wenn man davon ausgeht, dass
das Lesen eines Bilds eine Zeit t1 dauert, und dass das Zeitintervall oder
die „Wartezeit" vor dem Lesen des
nächsten
Bilds T ist, geht man wie folgt vor:
- a) anfänglich wird
eine Wartezeit T zwischen zwei Akquisitionen auf Null gestellt,
was bedeutet, dass der Akquisitionstakt maximal ist; das erlaubt
es a priori, für
den Fall bereit zu sein, in dem die Bewegung des Fingers besonders
schnell erfolgt;
- b) eine erste Bildakquisition erfolgt, dann eine zweite mit
dieser Wartezeit gleich null zwischen beiden;
- c) die Suche der maximalen Korrelation erfolgt unter Berechnung
des Korrelationswerts zwischen dem zweiten Bild und dem ersten Bild,
versetzt um x, y, und zwar für
unterschiedliche Bewegungen x, y des ersten Bilds; man bestimmt
den Wert X, Y, der den besten Korrelationswert gibt; dieser Wert
stellt den Bewegungsvektor des Bilds des Fingers zwischen den zwei
Akquisitionen dar;
- d) wenn die Bewegung (im Wesentlichen in die Richtung y des
erwarteten Ablaufens des Fingers) kleiner ist als ein unterer Schwellenwert,
vorzugsweise 2 Pixel, erhöht
man die Wartezeit T um einen bestimmten Wert dT (typisch 50 Mikrosekunden);
ist sie jedoch größer als
ein oberer Schwellenwert, vorzugsweise 3 Pixel, verringert man sie
um die gleiche Menge, vorausgesetzt, dass sie nicht bereits gleich
null ist; wenn die Bewegung gleich 2 oder 3 Pixel ist, ändert man
die Wartezeit nicht.
-
Nach
Konvergenz zu einer Wartezeit T, die an die Geschwindigkeit des
Fingers angepasst ist, ist der Ablauf langsam, denn der Finger erfährt keine
signifikante Beschleunigung, und die Wartezeit schwankt zwischen
T – dT
und T + dT.
-
Bei
der Erforschung dieser Konvergenz zu einer geeigneten Wartezeit,
wird die Wartezeit auf einen bestimmten Wert Tmax beschränkt, über welchen
hinaus man sie nicht mehr erhöht
(typisch etwa zehn Millisekunden); dieser maximale Wert hängt von
der Mindestgeschwindigkeit ab, die man für die Bewegung des Fingers
fordert, typisch 1 cm/s. Im unteren Wert ist T natürlich auf
null beschränkt.
-
Die
Auswahl des unteren und oberen Schwellenwerts der Bewegung kann
anders sein als 2 oder 3 Pixel. Die Schwellenwerte könnten gleich
sein, wenn man sie jedoch unterschiedlich macht, vermeidet man unnützliche
Oszillationen der Wartezeit. Sie könnten bis auf 1 und 2 Pixel
verringert werden, dabei wird aber die Bildrekonstruktion weniger
präzis;
sie könnten
erhöht
werden, man muss dabei aber sicherstellen, dass der Sensor ausreichend
Zeilen in dem Korrelationsbereich hat, um größere Bewegungen zu berücksichtigen,
und außerdem
dauert die Korrelationssuche länger,
denn im Prinzip muss man eine größere Anzahl
von Korrelationswerten auf einem größeren Bereich möglicher
Bewegungen x, y berechnen.
-
4 ruft
das Organigramm dieses Teils der Verarbeitung in Erinnerung. Natürlich wird
nach jeder Bildakquisition, die zu einer Berechnung einer neuen
Verzögerung
T führt,
das erfasste zweite Bild zum ersten Bild für die Akquisitions- und Korrelationssuchsequenz,
die darauf folgt.
-
Nach
der Akquisition der verschiedenen Fingerteilbilder, die allmählich in
Abhängigkeit
von der Bewegungsgeschwindigkeit des Fingers versetzt werden, rekonstruiert
man das globale Bild des Fingers. Je nachdem, ob die Rechenleistung
und der verfügbare
Speicher zum Speichern der Teilbilder mehr oder minder groß sind,
führt man
die Rekonstruktion allmählich
im Laufe der Akquisition oder nach dem Ende aller Akquisitionen durch.
-
In
beiden Fällen
und ausgehend von dem Augenblick, in dem der Akquisitionstakt derart
stabilisiert wurde, dass die Bildbewegung zwischen zwei Akquisitionen
konstant ist (im Durchschnitt 2 oder 3 Pixel), ist es praktisch
nicht mehr erforderlich, den Wert dieses Takts zu berücksichtigen.
Zum Rekonstruieren des globalen Bilds des Fingers reicht es, die
aufeinander folgenden Bilder, die jedes Mal um den Bewegungswert
versetzt sind, der die bestmögliche
Korrelation gegeben hat und im Durchschnitt 2 oder 3 Pixel in die
Ablaufrichtung (vertikal) beträgt
und in die Richtung senkrecht dazu (horizontal) gleich null ist,
wenn sich der Finger richtig in die Ablaufrichtung bewegt, nebeneinander
zu legen.
-
Um
jedoch die Bildrekonstruktion zu verfeinern, ist es vorzuziehen,
die maximale Korrelation auf besser als ein Pixel genau sowohl vertikal
als auch horizontal zu erforschen. Auf einer kleinen Bewegung, wie
zum Beispiel 2 oder 3 Pixel, findet man nämlich Korrelationswerte, die
nur wenig Chancen haben, einer Bildbewegung gleich einer Ganzzahl
von Pixeln zu entsprechen.
-
Wenn
man daher mehrere Korrelationswerte für unterschiedliche Bewegungen
ausgedrückt
in Pixelganzzahlen findet, und wenn zwei Korrelationswerte COR(x,
y – 1)
und COR(x, y + 1) den höchsten
Korrelationswert COR(x, y) umgeben, kann man aus den drei Werten
eine Bewegung x, y' ausgedrückt in Pixelbruchteil in
die Ablaufrichtung ableiten, der dem Korrelationsgipfel besser entspricht
als die Bewegung x, y, die anscheinend.die beste Korrelation auf
1 Pixel genau gibt.
-
5 veranschaulicht
eine Berechnungsart dieser Annäherung
der Bewegung, die die beste Korrelation auf besser als ein Pixel
genau ausgehend von Berechnungen, die auf das Pixel genau erfolgten,
gibt. Der Algorithmus ist der folgende, ausgehend von einer Grafik
erklärt,
obwohl der Algorithmus in der Praxis natürlich von einer Software ausgehend
von Gleichungen ausgeführt
wird, die die Verläufe
auf der Grafik darstellen: Man trägt auf der Grafik (Bewegung
x auf der n Abszisse, Korrelationswerte auf der Ordinate) die drei
Werte COR(x, y), COR(x, y – 1)
und COR(x, y + 1) ein, unter welchen ein Punkt mit bester Korrelation
besteht, der einen minimalen Korrelationswert, COR(x, y), hat, ein
Punkt, der einen maximalen Korrelationswert hat (einer der beiden
anderen Punkte), und ein Punkt, der einen Zwischenkorrelationswert
hat (der andere der zwei Punkte); man zieht das Segment, das den
Punkt mit maximaler Korrelation und den Punkt mit minimaler Korrelation
verbindet; man bestimmt die Abszisse y'' des
Punkts dieses Segments, der als Ordinate den Zwischenkorrelationswert
hat; und man berechnet den Abszissenwert y', der der Mittenpunkt zwischen der Abszisse
y' und der Abszisse
des Zwischenkorrelationspunkts (y + 1 oder y – 1) ist.
-
Wenn
der Punkt mit dem Zwischenkorrelationswert daher zum Beispiel der
Punkt der Abszisse x, y + 1 und Ordinate COR(x, y + 1) ist, ist
der am besten auf 1 Pixel genau angenäherte optimale Korrelationspunkt der
Punkt mit Abszisse y' = (y'' +
y + 1)/2.
-
Im
gegenteiligen Fall, wenn der Zwischenkorrelationspunkt COR(x, y – 1) ist,
ist der auf besser als ein Pixel genaue maximale Korrelationswert
der Punkt mit Abszisse y' =
(y'' + y – 1/)2.
-
Es
ist dieser Wert y',
der den Wert Y der Bewegung zwischen dem zweiten Bild und dem ersten
Bild in die Ablaufrichtung bildet.
-
Die
gleiche Interpolation kann ausgeführt werden, um die Bewegung
X auf besser als 1 Pixel genau in die Richtung senkrecht zur Ablaufrichtung
ausgehend von den zwei Korrelationswerten COR(x – 1, y) und COR(x + 1 y), die
den Wert der besten Korrelation COR(x, y) umrahmen, zu bestimmen.
-
Bei
der Bildrekonstruktion verbindet man jedes Bild mit der Bewegung
X, Y, die in Bezug auf das vorhergehende Bild berechnet wurde, und
man legt die so allmählich
versetzten Bilder nebeneinander, um das globale Bild zu rekonstituieren.
Diese Nebeneinanderlegung kann in einer Matrix mit größerer Auflösung als ein
Pixel des Sensors erfolgen, wenn man die Bewegungen X, Y auf besser
als ein Pixel genau erforscht. Es ist jedoch möglich und sogar vorzuziehen,
das Nebeneinanderlegen in einer Matrix mit einer Auflösung von
1 Pixel durchzuführen,
das setzt aber eine Anpassung des Rekonstruktionsverfahrens voraus;
diese Anpassung ist die Folgende: Man definiert für die Überlagerung
eines Teilbilds in dem globalen Bild einen Bewegungswert, der nicht
in Bezug auf das vorhergehende Bild genommen wird (denn es wäre unnütz, die
Bewegung auf besser als ein Pixel genau berechnet zu haben, um sie
auf ein Bild zu übertragen,
das auf ein Pixel genau definiert wurde), sondern in Bezug auf das
allererste erfasste Bild: Die Bewegung eines Bilds in Bezug auf
das allererste Bild ist das Integral aller aufeinander folgenden
Bewegungen, die jeweils auf besser als ein Pixel genau berech net
wurden, und es ist dieses Integral, das auf ein Pixel genau in die
Rekonstruktionsmatrix des globalen Bilds eingetragen wird. Man versetzt
daher ein Teilbild um einen Bewegungswert, der in Bezug auf ein
erstes erfasstes Bild gezählt
wird, indem man die aufeinander folgenden Bewegungen der Teilbilder,
die zwischen dem ersten Bild und dem betreffenden Teilbild erfasst
wurden, summiert. Schlüssel
zu den Figuren
| Valeur
de corrélation | Korrelationswert |
| Déplacement
selon y | Bewegung
in y |
| Phase
d'attente | Wartephase |
| Phase
Primaire d'acquisition | Akquisitionshauptphase |
| Phase
secondaire d'acquisition | Akquisitionsnebenphase |
| Acquisition
de 3 images successives | Akquisition
von 3 aufeinander folgenden Bildern |
| Détection
de présence | Erfassen
der Gegenwart |
| Acquisition
d'images Pendant
0,75s | Bildakquisition
während
0,75 s |
| Acquisition
d'image Pendant
0,25s | Bildakquisition
während
0,25 s |
| Fin
d'acquisition | Ende
der Akquisition |
| non | nein |
| oui | ja |
| Délai 10
ms | Verzögerung 10
ms |
| Démarrage | Start |
| Acquisition
d'image | Bildakquisition |
| Stockage | Speichern |
| Attente
T | Warten
T |
| Calculs
de corrélation | Korrelationsberechnungen |
| Détermination
de X, Y | Bestimmen
von X, Y |
| Y < 2 Pixels | Y < 2 Pixel |
| Reconstruction | Rekonstruktion |