DE60307583T2

DE60307583T2 - Auswertung der Schärfe eines Bildes der Iris eines Auges

Info

Publication number: DE60307583T2
Application number: DE60307583T
Authority: DE
Inventors: Christel-Loic Tisse; Laurent Plaza; Guillaume Petitjean
Original assignee: STMicroelectronics SA
Current assignee: STMicroelectronics SA
Priority date: 2002-11-20
Filing date: 2003-11-19
Publication date: 2007-10-04
Anticipated expiration: 2023-11-20
Also published as: US7382902B2; US20040101170A1; EP1431907B1; DE60307583D1; EP1431907A1; JP2004288156A

Description

Die vorliegende Erfindung bezieht sich auf das Gebiet der digitalen Bildverarbeitung und insbesondere auf Identifikations- oder Authentifizierungsverfahren basierend auf digitalen Bildern eines Auges.
Die Iriserkennung ist ein altbewährtes biometrisches Identifikationsverfahren, vorausgesetzt, das Bild, auf das die Analyse- und Identifikationsverfahren angewandt werden, ist ein auswertbares Bild. Insbesondere hängt die Leistungsfähigkeit von Erkennungsalgorithmen stark von der Schärfe des Bildes der zu identifizierenden Iris ab.
Bei den meisten Anwendungen und insbesondere bei integrierten Anwendungen (zum Beispiel bei einer Zugangskontrolle für ein Telefon oder einen Laptop, bei einem elektronischen Schlüssel, etc.) hat die verwendete Kamera (digitaler Sensor und Linse) kein Autofokus-System, das die (reale oder simulierte) Brennweite abhängig von der Entfernung einstellt.
Um eine gute Auflösung der Iris zu erhalten, die nur einen kleinen Flächenbereich des Auges einnimmt, werden die Bilder aus relativ geringer Entfernung aufgenommen (allgemein in dem Bereich von 10 bis 30 cm). Dies resultiert in einer geringen Schärfentiefe (Entfernungsbereich zwischen der Kamera und dem Auge, in dem das Bild scharf ist). Diese geringe Schärfentiefe und die Tatsache, daß das Auge sphärisch ist, können sogar Schärfenunterschiede zwischen Bereichen ein und desselben Bildes von einem Auge erzeugen.
Ein Verarbeitungsschritt vor der eigentlichen Iriserkennung besteht also darin, ein ausreichend scharfes Bild auszuwählen.
Allgemein nimmt die Aufnahmeeinrichtung eine Reihe von Bildern auf, zwischen 5 und 50, und ein Vorverarbeitungssystem wählt das Bild aus, das an den eigentlichen Erkennungsalgorithmus übertragen werden soll.
Zur Bewertung der Schärfe wird jedem Bild ein charakteristischer Schärfeindex zugeordnet. Dies ermöglicht entweder das Auswählen eines ausreichend scharfen Bildes hinsichtlich eines festgelegten Schwellenwerts oder das Auswählen des schärfsten Bildes aus einer Gruppe von Bildern. Je höher der Index ist, der einem Bild zugeordnet wird, desto schärfer ist üblicherweise das Bild.
Die vorliegende Erfindung bezieht sich genauer gesagt auf die Vorverarbeitung, die auf Bilder desselben Auges angewandt wird, um einen charakteristischen Schärfeindex für jedes Bild zu bestimmen und gemäß einem bevorzugten Aspekt das schärfste Bild auszuwählen.
Es gibt bereits verschiedene Verfahren zur Bewertung der Schärfe digitaler Bilder, sei es basierend auf einer Filterung, einer Wavelet-Transformation (WO-A-00/36551), einer Frequenzanalyse (WO-A-00/30525) oder einer Gradientenanalyse (US-A-5 953 440).
Alle diese Verfahren haben den Nachteil, daß sie langsam sind, vor allem wenn sie in miniaturisierten Produkten implementiert sind, bei denen die Verarbeitungskapazität begrenzt ist (beispielsweise bei elektronischen Schlüsseln). „Langsam" bedeutet, daß sie schlecht mit einer Bildverarbeitung in Echtzeit kompatibel sind, wenn mehr als 10 Bilder pro Sekunde aufgenommen werden. Die Anforderung an Schnelligkeit hängt bei integrierten Anwendungen mit der notwendigen Schnelligkeit zusammen, mit der ein Benutzer anhand seiner Iris identifiziert oder authentifiziert wird, wobei die Auswahl eines scharfen Bildes der Iris ein vorhergehender Schritt ist.
Ein weiterer Nachteil ist die Komplexität hinsichtlich der Größe des Programms, das nötig ist, um den Algorithmus zur Bewertung der Schärfe auszuführen.
Um Zeit zu sparen und die Komplexität des Verfahrens zu verringern, stellt sich zudem das Problem, den Bereich zu begrenzen, für den die Schärfe untersucht werden soll. Genauer gesagt macht die geringe Schärfentiefe, die auf die Tatsache zurückzuführen ist, daß das Auge sphärisch ist und Elemente wie Wimpern mit auf dem Bild sein können, die Lokalisierung dieses Bereichs so wichtig für die Bewertung der Schärfe der Iris, und nicht anderer Bildbereiche.
Ein weiteres Problem bei der Schärfenbestimmung eines Bildes einer Iris oder allgemeiner gesagt eines bestimmten Bereichs eines Bildes, das mit einer geringen Schärfentiefe und aus kurzer Entfernung aufgenommen wurde, ist mit dem Vorhandensein eines Bereichs verbunden, der sich außerhalb des auszuwertenden Bereichs befindet (beispielsweise Wimpern), der scharf sein kann, während die Iris es nicht ist. Dieses Problem besteht besonders bei Operatoren oder Algorithmen, die Helligkeitsgradienten berücksichtigen, was dazu führt, daß die Konturen stärker berücksichtigt werden als die eigentlichen Bereiche. Dies ist insbesondere ein Nachteil bei einem herkömmlichen Operator oder Algorithmus, bekannt als FSWM-Operator, der außerdem bekanntermaßen ein Operator ist, der akzeptable Ergebnisse liefert.
Ein weiteres Problem bei der Schärfenbewertung von Bildbereichen, die aus kurzer Entfernung und mit einer geringen Schärfentiefe aufgenommen werden, hängt mit der erforderli chen Helligkeit des aufgenommenen Objekts zusammen. Bei Augenbildsensoren handelt es sich allgemein und eine Leuchtdiode. Diese Lichtquelle erzeugt Glanzpunkte, welche die Schärfenbewertung verfälschen. Insbesondere der oben genannte FSWM-Operator kann durch das Vorhandensein der Glanzpunkte beeinträchtigt werden, die dazu neigen, von der Iris stammende Helligkeitsgradienten mit signifikanteren, von den Punkten stammenden Helligkeitsgradienten zu verdecken.
Es ist das Ziel der vorliegenden Erfindung, ein Verfahren und ein System zum Verarbeiten digitaler Bilder anzugeben, die einen oder mehrere Nachteile bekannter Verfahren überwinden.
Insbesondere ist es das Ziel der vorliegenden Erfindung, die Schärfe der Iris eines Auges oder dergleichen auszuwerten.
Es ist zudem das Ziel der vorliegenden Erfindung, aus einer Gruppe von Bildern eines Auges dasjenige Bild auszuwählen, das am schärfsten ist.
Es ist zudem das Ziel der vorliegenden Erfindung, ein vereinfachtes Verfahren zum Lokalisieren einer Iris oder dergleichen in einem digitalen Bild eines Auges anzugeben, das einfach ist und nur wenig Rechenressourcen verbraucht.
Es ist das Ziel der vorliegenden Erfindung, auf unabhängige Weise eine ungefähre Lokalisierung einer Pupille oder dergleichen in einem digitalen Bild anzugeben, die einfach und schnell ist und nur wenig Rechenressourcen verbraucht.
Es ist das Ziel der vorliegenden Erfindung, auf unabhängige Weise einen charakteristischen Schärfeindex eines digitalen Bildbereichs anzugeben, der Glanzpunkte aufweist.
Es ist zudem das Ziel der vorliegenden Erfindung, einen Operator zur Analyse von Helligkeitsgradienten unempfindlich gegenüber störenden Konturen in dem Bereich zu machen, dessen Schärfe ausgewertet wird.
Um diese und weitere Aufgaben zu lösen, gibt die vorliegende Erfindung ein Verfahren zum Auswählen eines Bildes eines Auges aus einer Gruppe zuvor aufgenommener digitaler Bilder auf Grundlage eines Schärfeindex an, wobei das Verfahren für jedes Bild in der Gruppe folgende Schritte umfaßt:
Berechen eines ersten angenäherten charakteristischen Schärfeindex auf der Grundlage einer Akkumulation von Gradienten in einer einzelnen Richtung der Lichtintensitäten der Bildpixel;
Auswählen einer Untergruppe der Bilder, für welche der erste Index größer ist als ein vorgegebener Schwellenwert; und
für jedes der Bilder in der Untergruppe Berechnen eines zweiten charakteristischen Schärfeindex des Bildes durch ein Bewertungsverfahren, welches die folgenden aufeinanderfolgenden Schritte umfaßt:
ungefähres Lokalisieren der Pupille in dem Bild;
ausgehend von der ungefähren Position der Pupille, Definieren eines Untersuchungsfensters, das um diese Position herum zentriert ist;
Anwenden eines Operators zur Akkumulation von Gradienten auf die Luminanzwerte des Pixels des Untersuchungsfensters, wobei die Akkumulation proportional zu dem Schärfeindex des Bildes ist.
Gemäß einer Ausführung der vorliegenden Erfindung hat das Untersuchungsfenster eine längliche, vorzugsweise eine rechteckige Form.
Gemäß einer Ausführung der vorliegenden Erfindung entspricht die kleinste Abmessung des Untersuchungsfensters ungefähr dem erwarteten mittleren Durchmesser der Pupille.
Gemäß einer Ausführung der vorliegenden Erfindung entspricht die größte Abmessung des Untersuchungsfensters ungefähr dem erwarteten mittleren Durchmesser der Iris.
Gemäß einer Ausführung der vorliegenden Erfindung umfaßt die ungefähre Lokalisierung die folgenden Schritte:
Beschneiden des Bildes in Blöcke mit gleichen Abmessungen, deren Größe als Funktion der erwarteten ungefähren Größe der zu lokalisierenden Pupille gewählt wird;
Berechen der mittleren Luminanz für jeden Block; und
Suchen der Blöcke, deren Luminanz am geringsten ist, wobei die ungefähre Position der Pupille in dem Bild der Position des Blocks mit minimaler Luminanz entspricht.
Gemäß einer Ausführung der vorliegenden Erfindung überlappen die Blöcke einander, wobei die Schrittweite in beiden Richtungen zwischen zwei benachbarten Blöcken zwischen einem Zehntel und drei Vierteln der Größe des Blocks beträgt.
Gemäß einer Ausführung der vorliegenden Erfindung wird die Beschneidung an einem unterabgetasteten Bild des digitalen Bildes ausgeführt, wobei die Schrittweite zwischen zwei benachbarten Blöcken von dem Verhältnis der Unterabtastung des Bildes abhängig ist.
Gemäß einer Ausführung der vorliegenden Erfindung wird die Lokalisierung auf ein digitales Bild angewendet, dessen Größe im Verhältnis zu dem ursprünglichen Bild verringert ist, indem zwei seitliche Streifen vorgegebener Breite entfernt werden.
Gemäß einer Ausführung der vorliegenden Erfindung akkumuliert der Operator die quadratische Norm der horizontalen und vertikalen Gradienten der Luminanzwerte der Pixel des Bildes, wobei die Pixel wenigstens als Funktion eines ersten maximalen Luminanz-Schwellenwertes anderer Pixel in der betreffenden Richtung gewählt werden.
Gemäß einer Ausführung der vorliegenden Erfindung wird der Index erhalten, indem der akkumulierte Wert durch die Anzahl der akkumulierten quadratischen Normen geteilt wird.
Gemäß einer Ausführung der vorliegenden Erfindung wird ein aktuelles Pixel ausgewählt, dessen vertikaler oder horizontaler Gradient in dem akkumulierten Wert nur dann berücksichtigt wird, wenn die Luminanzwerte der zwei Pixel, die das aktuelle Pixel umgeben, während sie von diesem ein vorgegebenes Intervall in der betreffenden vertikalen oder horizontalen Richtung entfernt sind, kleiner sind als der erste Luminanz-Schwellenwert, wobei der erste Schwellenwert als Funktion der erwarteten Helligkeit möglicher Glanzpunkte gewählt wird, die nicht berücksichtigt werden sollen, und wobei das Intervall als Funktion der erwarteten Größe der möglichen Glanzpunkte gewählt wird.
Gemäß einer Ausführung der vorliegenden Erfindung wird die quadratische Norm eines Gradienten bei der Berechnung des akkumulierten Wertes nur dann berücksichtigt, wenn der Wert geringer ist als ein vorgegebener Gradienten-Schwellenwert, der als Funktion des Kontrastes des Bildes gewählt wird.
Gemäß einer Ausführung der vorliegenden Erfindung wird ein aktuelles Pixel zur Berücksichtigung in dem akkumulierten Wert nur dann ausgewählt, wenn seine Luminanz geringer ist als ein zweiter Luminanz-Schwellenwert, der so gewählt wird, daß er größer ist als die erwartete Lichtintensität der Iris in dem Bild.
Gemäß einer Ausführung der vorliegenden Erfindung wird der zweite Index, der jedem Bild zugeordnet wird, dazu genutzt, das schärfste Bild in der Gruppe auszuwählen.
Die vorliegende Erfindung gibt ferner ein System zur Verarbeitung digitaler Bilder an.
Die vorstehend genannten Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden detailliert in der folgenden, nicht einschränkenden Beschreibung spezifischer Ausführungen mit Bezug auf die beigefügten Zeichnungen erörtert, in denen:
1 eine sehr schematische, blockweise Darstellung eines Beispiels eines Iriserkennungssystems ist, auf das die vorliegende Erfindung angewandt wird;
2 eine blockweise Darstellung einer Ausführung des Verfahrens zum Bestimmen des charakteristischen Schärfeindex eines Bildes einer Iris gemäß der vorliegenden Erfindung ist;
3 eine blockweise Darstellung einer Ausführung des Verfahrens zum Lokalisieren der Iris gemäß der vorliegenden Erfindung ist; und
4 eine blockweise Darstellung einer Ausführung des Verfahrens zum Berechnen des charakteristischen Schärfeindex durch Suchen von gewichteten Gradienten gemäß der vorliegenden Erfindung ist.
Der Klarheit halber sind nur die Elemente und Schritte in den Zeichnungen gezeigt und im folgenden beschrieben, die für das Verständnis der vorliegenden Erfindung relevant sind. Insbesondere ist die Struktur eines Iriserkennungssystems nicht näher beschrieben, da die vorliegende Erfindung basierend auf einem herkömmlichen System implementiert werden kann, vorausgesetzt, das System kann so programmiert werden, daß es die vorliegende Erfindung implementiert.
Die vorliegende Erfindung wird nachfolgend mit Bezug auf die Auswahl des schärfsten Bildes der Iris aus einer Gruppe von Bildern beschrieben. Die vorliegende Erfindung betrifft jedoch allgemeiner die Bestimmung der Schärfe von digitalen Bildern oder Bildabschnitten, die dieselben Charakteristika wie ein Bild einer Iris aufweisen, und insbesondere von Bildern, bei denen eine erste Ebene, deren Schärfe bestimmt werden soll, eine unterschiedliche Entfernung von einem Hintergrund hat. Zwar wird die vorliegende Erfindung in Verbindung mit einem umfassenden Beispiel eines Schärfenbestimmungsverfahrens beschreiben, aber einige Schritte dieses Verfahrens können separat implementiert werden und sind für sich genommen charakteristisch.
1 ist eine sehr schematische Darstellung eines Beispiels eines Iriserkennungssystems, welches das Auswahlverfahren gemäß der vorliegenden Erfindung implementieren kann.
Ein derartiges System dient dazu, Bilder eines Auges auszuwerten, um eine Identifizierung oder Authentifizierung mittels Iriserkennung durchzuführen. Beispielsweise nimmt ein digitaler Sensor 1 eine Gruppe von Bildern eines Auges O einer Testperson auf. Die Anzahl der aufgenommenen Bilder beträgt allgemein mindestens etwa zehn, um eine Durchführung der Identifizierung zu ermöglichen, nachdem das schärfste Bild ausgewählt wurde, während das Risiko minimiert wird, daß sich die Testperson erneut einer Reihe von Aufnahmen unterziehen muß. Alternative stammen die zu analysierenden Bilder von einer entfernten Quelle und können aufgezeichnet sein.
Der Sensor 1 ist mit einer CPU 2 verbunden, welche insbesondere die Funktion hat, die eigentliche Iriserkennung zu implementieren (Block IR), nachdem aus einer Gruppe von Bildern, die in einem Speicher 3 gespeichert sind, das schärfste Bild IN ausgewählt wurde (Block IS), das für das Erkennungsverfahren verwendet werden soll. Das Auswahlverfahren basiert auf der Bestimmung eines charakteristischen Schärfeindex für jedes Bild in der Gruppe. Diese Bestimmung wird gemäß der vorliegenden Erfindung mittels des Verfahrens durchgeführt, dessen bevorzugte Ausführung mit Bezug auf 2 beschrieben wird. Die CPU 2 wird zudem verwendet, um alle Systemkomponenten und insbesondere den Sensor 1 und den Speicher 3 zu steuern.
2 ist eine schematische, blockweise Darstellung einer bevorzugten Ausführung des Schärfebestimmungsverfahrens gemäß der vorliegenden Erfindung.
Das Verfahren von 2 umfaßt drei separate charakteristische Schritte, die nacheinander mit Bezug auf die Verarbeitung eines Bildes der zu bewertenden Gruppe beschrieben werden, wobei alle Bilder in der Gruppe vorzugsweise nacheinander mittels dieses Verfahrens verarbeitet werden. Die Auswahl des Bildes, dem der höchste Index zugeordnet wurde, wird beispielsweise durch einen einfachen Vergleich der zugeordneten Schärfeindizes mittels eines Maximalindex-Suchschritts durchgeführt, wie es an sich herkömmlich ist.
Eine erste Vorverarbeitungsphase (Block 4, Pre-focus (Vorfokus)) zielt darauf ab, sehr verschwommene Bilder auszusondern (genauer gesagt, einen Schärfeindex von Null zuzuordnen), die offensichtlich für die Iriserkennung nicht geeignet sind. Gemäß der vorliegenden Erfindung erfolgt in dieser Phase eine Suche nach großen Luminanzgradienten in der horizontalen Richtung (die der allgemeinen Richtung der Augenlider beliebig entspricht). Solche Gradienten sind mit dem Vorhandensein von Wimpern, abrupten Graustufenübergängen zwi schen der Pupille und der Iris, zwischen der Iris und dem Weiß des Auges, zwischen dem Weiß des Auges und dem Augenwinkel, etc. verbunden. Je abrupter die Übergänge sind, desto schärfer ist das Bild. Da hier eine grobe Vorverarbeitung vorgenommen wird, wird die Gradientensuche vorzugsweise an einem groben Bild, das heißt einem unterabgetasteten Bild, durchgeführt.
3 ist eine schematische, blockweise Darstellung einer Ausführung einer Vorverarbeitungsphase 4.
Ein ursprüngliches Bild I wird zunächst in beide Richtungen vorzugsweise mit demselben Faktor unterabgetastet (Block 41, Bidir Sampling (Zweirichtungsabtastung)). Das Verhältnis der Unterabtastung beträgt beispielsweise 4 in beide Richtungen, was dazu führt, daß das Bild mit einem Faktor 16 angenähert wird.
Das aus Schritt 41 resultierende Bild SEI wird dann einer Filterung (Block 42, Horiz Sobel Filtering (horizontale Sobelfilterung)) in eine einzige Richtung, vorzugsweise horizontal, unterzogen, um der Richtung der Linien des Hauptbildes zu entsprechen. Die Filterung dient dazu, den horizontalen Gradienten bei jedem Pixel zu berechnen und somit die vertikalen Konturen zu erfassen.
Es kann sich beispielsweise um eine Filterung in eine Richtung handeln, die als „Sobel"-Filterung bekamt ist. Ein derartiger Filteroperator ist beispielsweise in „Analyse d' images: filtrage et segmentation" von J-P. Cocquerez und S. Phillip, veröffentlicht 1995 von Masson (ISBN 2-225-84923-4) beschrieben.
Das aus der Filterung resultierende Bild wird dann an einen Operator geleitet (Block 43, AF Compute (AF berechnen)), der den ungefähren Schärfeindex AF berechnet. Einfacher ausgedrückt berechnet dieser Operator nur die Summe der Intensitäten der Pixel des gefilterten Bildes. Je höher der AF-Index ist, desto schärfer ist das Bild.
Der von dem Block 4 berechnete Index AF wird mit einem vorbestimmten Schärfeschwellenwert TH verglichen (Block 44, 2, AF > TH). Wenn der erhaltene Index größer ist als der Schwellenwert, fährt der Schärfebestimmungsprozeß mit einer zweiten Phase zur Iriszentrierung fort, die im folgenden mit Bezug auf 4 beschrieben wird. Falls dies nicht der Fall ist, wird das Bild als nicht scharf genug zurückgewiesen (Block 45, Score = 0 (Index = 0)).
Die zweite Phase 5 (Lokalisierung der Pupille) besteht darin, die Pupille des Auges in dem Bild zu lokalisieren, um die Pupille (und somit die Iris) in einem zu analysierenden Bild zu zentrieren. Mit der Lokalisierung werden mehrere Ziele verfolgt. Ein erstes Ziel ist es, die Bewertung der Schärfe auf den wichtigen Bereich zu konzentrieren. Als ein weiteres Ziel soll vermieden werden, daß Bereiche des Bildes mit einem großen Gradienten (insbesondere Wimpern), die nicht in derselben Ebene sind wie die Iris, bei der Bewertung der Schärfe berücksichtigt werden und dann die Bewertung verfälschen.
Mehrere Lokalisierungsverfahren kommen hier in Frage. Ein besonders leistungsfähiges Verfahren ist beispielsweise ein Verfahren basierend auf einer Hough-Transformation in Verbindung mit Integral- und Differentialopertoren, das in dem Artikel „Person identification technique using human iris recognition" von C. Tisse, L. Martin, L. Torres und M. Robert, veröffentlich auf der Calgary Conference VI'02 im Mai 2002, beschrieben ist.
Das Verfahren benötigt jedoch viele Ressourcen und seine Ausführungszeit ist daher nicht unbedingt mit einer Verarbeitung in Echtzeit kompatibel. Zudem ist für die Bewertung der Schärfe nur eine ungefähre Lokalisierung erforderlich.
4 ist eine schematische, blockweise Darstellung einer bevorzugten Ausführung einer Phase zur Pupillenlokalisierung gemäß der vorliegenden Erfindung.
Ausgehend von dem ursprünglichen Bild I werden zunächst seitliche Streifen von diesem Bild entfernt (Block 51, vertikaler Schnitt). Dieses Entfernen zielt darauf ab, die dunklen Ränder (durch Linien T im Bild I abgegrenzt) des Bildes an seinen Seiten nachfolgend nicht zu berücksichtigen. Wenn das Auge ordnungsgemäß in dem Bild zentriert ist, resultieren diese Streifen aus der Krümmung des Auges, die eine schwächere Beleuchtung der Ränder verursacht. Die Größe (Breite) der entfernten Streifen hängt von der Auflösung und der Größe des ursprünglichen Bildes ab. Jeder Streifen hat beispielsweise eine Breite zwischen einem Zwan zigstel und einem Fünftel der Bildbreite.
Das erhaltene verkleinerte Bild RI wird dann optional in beiden Richtungen unterabgetastet (Block 52, Bidir-Sampling (Zweirichtungsabtastung)). Beispielsweise wird die Unterabtastung mit demselben Verhältnis durchgeführt wie in der Vorverarbeitungsphase, die mit Bezug auf 3 beschrieben ist.
Dann wird die mittlere Luminanz von Blöcken des unterabgetasteten verkleinerten Bildes SERI berechnet (Block 53, Mean Lum Block (Block mittlerer Luminanz)), wobei die Größe eines Blocks in etwa der erwarteten Größe der Pupille in dem bewerteten Bild entspricht. Diese Größe kann genau bestimmt werden, da die verarbeiteten Bilder allgemein aufgenommen werden, während ein gegebener Entfernungsbereich zwischen dem Sensor und dem Auge eingehalten wird.
Die Berechnung erfolgt durch Verschieben eines Berechnungsfensters mit einer Schrittweite, die kleiner ist, als die Größe eines Blocks. Die Blöcke überlappen einander, wobei die Schrittweite in beide Richtungen zwischen zwei benachbarten Blöcken vorzugsweise zwischen einem Zehntel und drei Vierteln der Größe eines Blocks beträgt.
Beispielsweise wird für Bilder mit 644×484 Pixeln, bei denen die Pupillen in Flächen von etwa 50×50 Pixeln bis etwa 70×70 Pixeln passen, die Luminanz für Blöcke mit 15×15 Pixeln (mit einem Unterabtastfaktor von 4 in jede Richtung) berechnet, indem das Bild mit einem Versatz des Berechnungsfensters von je 2 bis 5 Pixeln gescannt wird. Man erhält dann ein Bild LI aus Luminanzwerten der verschiedenen Blöcke.
In diesem Bild wird der Block mit der minimalen Luminanz gesucht (Block 54, Min Lum Search (Suche nach minimaler Luminanz)). Dieser Block entspricht ungefähr dem, der die Pupille (oder einen Großteil der Pupille) enthält. Die Pupille ist in der Tat der dunkelste Bereich.
Für den Fall, daß die Unterabtastung ausgelassen wird, ist die Anzahl der Blöcke, deren mittlere Luminanz berechnet werden muß, größer. Die Versatzschrittweite des Berechnungsfensters ist jedoch verringert (beispielsweise alle 8 bis 20 Pixel).
Wenn die Pupille anhand ihrer kartesischen Koordinaten (X, Y) ungefähr in dem Bild lokalisiert wurde (Block 55, 2), kehrt man zu dem ursprünglichen Bild I zurück, um aus diesem ein längliches Bild EI zu extrahieren (Block 56, Extract (Extrahieren)), das die Form eines horizontalen Streifens, der an der ungefähren Position der Pupille zentriert ist, und eine Höhe hat, die dem mittleren erwarteten Durchmesser einer Pupille im Maßstab der bewerteten Bilder entspricht. Die Tatsache, daß die gesamte Iris in diesem Bildabschnitt nicht reproduziert wird, ist hier nicht von Bedeutung. Dies ist in der Tat keine Analyse zur Iriserkennung, sondern lediglich eine Bewertung der Schärfe der Iris. Diese Schärfe ist mindestens etwa über den gesamten Umfang der Pupille hinweg gleich und eine Analyse in einem die Iris enthaltenden verkleinerten Streifen auf einer Seite der Pupille ist ausreichend.
Die längliche Form des ausgewählten Streifens ermöglicht die Berücksichtigung der Tatsache, daß das Auge bei der Aufnahme häufig teilweise geschlossen ist. Dadurch werden nicht relevante Konturen (Wimpern, Augenlider) minimiert.
Zwar ist ein längliches, rechteckiges Bild, welches das Schärfeuntersuchungsfenster bildet, die bevorzugte Ausführung, aber es ist nicht ausgeschlossen, daß ein ovales oder sogar quadratisches oder rundes Untersuchungsfenster vorgesehen sein kann. Für den Fall, daß das Untersuchungsfenster quadratisch oder rund ist, wird seine Größe so gewählt, daß es um die Pu pille herum einen ausreichenden Irisbereich zur Bewertung der Schärfe enthält. Dieser Bereich muß jedoch vorzugsweise frei von Konturen, wie Augenlidern, sein, indem dafür gesorgt wird, daß das Auge beim Aufnehmen des Bildes weit geöffnet ist.
Die Zuordnung eines charakteristischen Schärfeindex für das Bild wird dann gemäß der vorliegenden Erfindung in einer dritten Phase (Block 6, FSWM) basierend auf dem länglichen Bild EI durchgeführt, das aus dem vorhergehenden Schritt resultiert.
Gemäß der vorliegenden Erfindung ist ein verbesserter FSWM-Operator implementiert, um die Bilder, die wahrscheinlich Glanzpunkte enthalten, zu verarbeiten.
In der Tat berechnet ein FSWM-Operator für alle Pixel des Bildes (hier längliches Bild EI) die Summe der quadratischen Norm der horizontalen und vertikalen Gradienten der mittleren Luminanzwerte. Dementsprechend ist die folgende Formel anzuwenden:
mit:

gradV(i, j): = Med[Lum (i, j), Lum (i + 1, j), Lum (i + 2, j)] – Med[Lum (i, j), Lum (i – 1, j), Lum (i – 2, j)], und
gradH(i, j): = Med[Lum (i, j), Lum (i, j + 1), Lum (i, j + 2)] – Med[Lum (i, j), Lum (i, j – 1), Lum (i, j – 2)],

Ein FSWM-Operator, wie er vorstehend beschrieben ist, wird beispielsweise in dem Artikel „New autofocusing technique using the frequency selective weighted median filter for video cameras" von K. S. Choi, J. S. Lee und S. J. Ko, veröffentlicht in IEEE Trans. On Comsumers Electronics, Ausgabe 45, Nr. 3, August 1999, erörtert.
Gemäß der vorliegenden Erfindung wird die Summe nicht über alle Bildpixel berechnet, sondern ist auf einige Pixel beschränkt, die auf die folgende charakteristische Weise gewählt werden.
Damit die quadratische Norm eines Gradienten des Mittelwerts eines Bildpixels bei der Summe berücksichtig werden kann, die den Schärfeindex liefert, sollte die jeweilige Lichtintensität der Pixel bei einer gegebenen, vorbestimmten Entfernung von dem Pixel, dessen Gradienten berechnet werden, gemäß der vorliegenden Erfindung zumindest kleiner sein als ein erster vorbestimmter Luminanz-Schwellenwert. Dies führt dazu, daß die vertikalen Gradienten der Pixel mit den Koordinaten (i, j), für die Lum (i, j + k) > SAT1 oder Lum (i, j – k) > SAT1, und die horizontalen Gradienten der Pixel, für die Lum (i + k, j) > SAT1 oder Lum (i – k, j) > SAT1 nicht berücksichtigt werden (nicht in der Additionsgleichung des FSWM-Operators akkumuliert werden). Die Zahl k (beispielsweise zwischen 2 und 10) wird in Abhängigkeit von der Bildauflösung so gewählt, daß sie der durchschnittlichen Größe des Übergangs zwischen einem Glanzpunkt und der Iris entspricht. Der Schwellenwert SAT1 wird so gewählt, daß er der Graustufe entspricht, bei der das Bild als gesättigt angesehen wird.
Mit der oben genannten Bedingung lassen sich die Pixel entfernen, die zu einem Übergang zwischen einem möglichen, in dem Bild EI vorhandenen Glanzpunkt und dem Rest des Auges gehören. Die Pixel mit nicht relevanten Gradienten werden somit bei der Bestimmung des Schärfeindex nicht berücksichtigt.
Eine zusätzliche Bedingung besteht vorzugsweise darin, daß der absolute Wert der horizontalen oder vertikalen Gradienten kleiner sein muß als ein Gradientenschwellenwert GTH. In der Iris sind Gradienten relativ klein. Dies ermöglicht jedoch, daß Gradienten, die insbesondere von Wimpern stammen, nicht berücksichtig werden. Die Bestimmung des Schwellenwerts GTH hängt von dem Bildkontrast ab und muß niedriger ausfallen als der Durchschnitt der für Wimpern erwarteten Gradienten.
Die Lichtintensität des Pixels sollte vorzugsweise geringer sein als ein zweiter vorbestimmter Luminanz-Schwellenwert SAT2. Der Schwellenwert SAT2 wird so gewählt, daß er höher ist als die für die Iris erwartete Lichtintensität, die allgemein relativ dunkel ist (insbesondere im Vergleich zu dem Weiß des Auges).
Alternativ wird die quadratische Norm der Gradienten direkt mit dem (dann entsprechend gewählten) Schwellenwert GTH verglichen. Die Durchführung des Tests an dem Gradienten vor seiner Quadrierung ermöglicht es jedoch, Rechenzeit für alle eliminierten Gradienten zu sparen.
Die Erfüllung aller oben genannten Bedingungen entspricht einer bevorzugten Ausführung, die wie folgt in algorithmischer Beschreibung ausgedrückt werden kann.
Sc = 0, NbPix = 0
Für alle Pixel des neu zentrierten, länglichen Bildes EI, das beispielsweise in einer Zeilenabtastung abgetastet wurde (j von 1 bis m, für jedes i von 1 bis n), gilt:
Falls [Lum (i, j + k) < SAT1 UND Lum (i, j – k) < SAT1 UND Lum (i, j) < SAT2 UND |Gradv(i, j)| < GTH], dann Sc = Sc + (GradV(i, j))² und NbPix = NbPix + 1;
Falls [Lum (i + k, j) < SAT1 UND Lum (i – k, j) < SAT1 UND Lum (i, j) < SAT2 UND |GradH(i, j)| < GTH], dann Sc = Sc + (GradH(i, j))² und NbPix = NbPix + 1;
nächstes j;
nächstes i.
Wenn alle Pixel verarbeitet wurden, wird der zugeordnete Schärfeindex wie folgt berechnet:
Score = Sc/NbPix.
Diese Gewichtung ermöglicht, daß die Indizes der unterschiedlichen Bilder miteinander verglichen werden können.
Bei Anwendung des oben genannten Operators werden die vertikalen und horizontalen Gradienten selbst bei bedingungsabhängigen Überprüfungen bezüglich des Schwellenwerts GTH vorzugsweise nur dann berechnet, wenn die ersten drei Bedingungen (Lum (i + k, j) < SAT1 UND Lum (i – k, j) < SAT1 UND Lum (i, j) < SAT2) bezüglich Lichtintensitäten verifiziert werden.
Somit ist ersichtlich, daß viele Gradienten bei der Summe, die den Index liefert, nicht berücksichtigt und noch nicht einmal berechnet werden. Ein Vorteil ist eine erhebliche Zeitersparnis bei der Bestimmung des Schärfeindex des Bildes.
Ein weiterer Vorteil besteht darin, daß mögliche Glanzpunkte die Schärfenbewertung des Bildes nicht mehr negativ beeinflussen.
Allgemeiner gesagt minimiert die vorliegende Erfindung die Anzahl an Rechenschritten, die für die Pixel eines Bildes durchgeführt werden müssen, dessen Schärfe bestimmt werden soll.
Ein weiterer Vorteil der vorliegenden Erfindung ist es, daß die vorliegende Erfindung im Vergleich zu einem entsprechenden Hilfsmittel (Tool), das herkömmliche Verfahren zur Be rechnung der Schärfe implementiert, die charakteristischen Schärfeindizes einer Gruppe von Bildern schneller bestimmen kann.
Ein weiterer Vorteil der vorliegenden Erfindung ist es, daß sie bei der Bewertung der Schärfe zuverlässiger ist als bekannte Verfahren, wobei sie die auf die Bilder angewandte digitale Verarbeitung vereinfacht und schneller macht.
Es ist zu beachten, daß, obwohl die vorliegende Erfindung mit Bezug auf die Auswahl eines Bildes beschrieben wurde, in dem die Iris aus einer Gruppe von digitalen Bildern eines Auges am schärfsten ist, sie allgemeiner für Bilder gilt, deren Form und/oder Eigenschaften entsprechend sind. Desweiteren können einige Phasen, die für das erörterte Verfahren charakteristisch sind, angewandt werden, ohne in dem allgemeinen Prozeß enthalten zu sein und bestimmte Probleme lösen, die wahrscheinlich in anderen Prozessen auftreten.
Insbesondere hat die Lokalisierung der Pupille in dem Bild eines Auges gewisse Vorteile und ermöglicht alleine schon, Probleme und Nachteile von anderen Lokalisierungsprozessen zu lösen bzw. zu überwinden, die bei anderen Verfahren und insbesondere bei tatsächlichen Identifikations- oder Authentifizierungsverfahren verwendet werden. Ein weiteres Anwendungsbeispiel bezieht sich auf die Erfassung von Augenbewegungen einer Person in animierten Bildern (Blickverfolgung). Auch hier ist die Schnelligkeit, mit der die vorliegende Erfindung eine ungefähre Lokalisierung ermöglicht, mit einer Echtzeitverarbeitung von animierten Bildern kompatibel.
Zudem kann die Phase der Bestimmung des eigentlichen Schärfeindex im Hinblick darauf, daß sie einen bekannten FSWM-Operator vereinfacht, in Verfahren zur Analyse verschiedener Texturen anderweitig zur Anwendung kommen, bei denen ähnliche Probleme bestehen, und insbesondere, wenn sehr helle Reflexionen nicht berücksichtigt werden sollen. Bei solchen Anwendungen weist ein Verfahren zur Bestimmung des charakteristischen Schärfeindex eines Bildes als ein Anwendungsbeispiel bei der vorliegenden Erfindung Eigenschaften unabhängig von den anderen beschriebenen Phasen auf.
An der vorliegenden Erfindung können natürlich Veränderungen, Modifizierungen und Verbesserungen vorgenommen werden, die dem Fachmann ohne weiteres ersichtlich sind. Insbesondere liegt die Implementierung in Software mittels bekannter Tools aufgrund der obigen funktionsbezogenen Angaben im Rahmen der Fähigkeiten des Fachmanns. Die Schwellenwerte, Blockgrößen, Verkleinerungs- oder Unterabtastungsfaktoren, etc. werden je nach Anwendung und Art des Bildes gewählt, dessen Schärfe bestimmt werden soll, und ihre Bestimmung liegt im Rahmen der Fähigkeiten des Fachmanns.

Claims

Verfahren zum Auswählen eines Bildes eines Auges aus einer Gruppe zuvor aufgenommener digitaler Bilder auf der Grundlage eines Schärfeindex, dadurch gekennzeichnet, daß es für jedes Bild in der Gruppe folgende Schritte umfaßt: Berechnen (4) eines ersten angenäherten charakteristischen Schärfeindex (AF) auf der Grundlage einer Akkumulation von Gradienten in einer einzelnen Richtung der Lichtintensitäten der Bildpixel; Auswählen einer Untergruppe der Bilder, für welche der erste Index größer ist als ein vorgegebener Schwellenwert (TH); und für jedes der Bilder in der Untergruppe berechnen eines zweiten charakteristischen Schärfeindex des Bildes durch ein Bewertungsverfahren, welches die folgenden aufeinanderfolgenden Schritte umfaßt: – ungefähres Lokalisieren (5) der Pupille in dem Bild; – ausgehend von der ungefähren Position der Pupille, Definieren (56) eines Untersuchungsfensters (EI), das um diese Position herum zentriert ist; – Anwenden (6) eines Operators zur Akkumulation von Gradienten auf die Luminanzwerte des Pixels des Untersuchungsfensters, wobei die Akkumulation proportional zu dem Schärfeindex des Bildes ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Untersuchungsfenster (EI) eine längliche, vorzugsweise eine rechteckige Form hat.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die kleinste Dimension des Untersuchungsfensters (EI) ungefähr dem erwarteten mittleren Durchmesser der Pupille entspricht.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die größte Abmessung des Untersuchungsfensters ungefähr dem erwarteten mittleren Durchmesser der Iris entspricht.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die ungefähre Lokalisierung die folgenden Schritte umfaßt: Beschneiden des Bildes in Blöcke mit gleichen Abmessungen, deren Größe als Funktion der erwarteten ungefähren Größe der zu lokalisierenden Pupille gewählt wird; Berechnen (53) der mittleren Luminanz für jeden Block; Suchen (54) der Blöcke, deren Luminanz am geringsten ist, wobei die ungefähre Position der Pupille in dem Bild der Position des Blocks mit minimaler Luminanz entspricht.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die Blöcke einander überlappen, wobei die Schrittweite in beiden Richtungen zwischen zwei benachbarten Blöcken zwischen einem Zehntel und drei Vierteln der Größe des Blockes beträgt.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, daß die Beschneidung an einem unter-abgetasteten Bild (SERI) des digitalen Bildes (RI) ausgeführt ist, wobei die Schrittweite zwischen zwei benachbarten Blöcken von dem Verhältnis der Unterabtastung des Bildes abhängig ist.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die Lokalisierung auf ein digitales Bild (RI) angewendet wird, dessen Größe im Verhältnis zu dem urspünglichen Bild (I) verringert ist, indem zwei seitliche Streifen vorgegebener Breite entfernt werden.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß der Operator die quadratische Norm der horizontalen und vertikalen Gradienten der Luminanzwerte der Pixel des Bildes akkumuliert, wobei die Pixel wenigstens als Funktion eines ersten maximalen Luminanz-Schwellwertes anderer Pixel in der betreffenden Rechnung gewählt werden.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß der Index erhalten wird, indem der akkumulierte Wert durch die Anzahl der akkumulierten quadratischen Normen geteilt wird.
Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, daß es das Auswählen eines aktuellen Pixels umfaßt, dessen vertikaler oder horizontaler Gradient in dem akkumulierten Wert nur dann berücksichtigt wird, wenn die Luminanzwerte der zwei Pixel, welche das aktuelle Pixel umgeben, während sie von diesem ein vorgegebenes Intervall in der betreffenden vertikalen oder horizontalen Richtung entfernt sind, kleiner sind als der erste Luminanz-Schwellwert, wobei der erste Schwellwert als Funktion der erwarteten Helligkeit möglicher Glanzpunkte gewählt wird, die nicht berücksichtigt werden sollen, und wobei das Intervall als Funktion der erwarteten Größe der möglichen Glanzpunkte gewählt wird.
Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, daß die quadratische Norm eines Gradienten bei der Berechnung des akkumulierten Wertes nur dann berücksichtigt wird, wenn der Wert geringer ist als ein vorgegebener Gradienten-Schwellwert, der als Funktion des Kontrastes der Bildes gewählt wird.
Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, daß ein aktuelles Pixel zur Berücksichtigung in dem akkumulierten Wert nur dann ausgewählt wird, wenn seine Luminanz geringer ist als ein zweiter Luminanz-Schwellwert, der so gewählt wird, daß er größer ist als die erwartete Lichtintensität der Iris in dem Bild.
Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, daß der zweite Index, der jedem Bild zugeordnet wird, dazu genutzt wird, das schärfste Bild in der Gruppe auszuwählen.
System zur Verarbeitung digitaler Daten, dadurch gekennzeichnet, daß es Mittel zur Umsetzung des Auswahlverfahrens nach einem der Ansprüche 1 bis 14 umfaßt.