DE112015001656T5

DE112015001656T5 - Bildverarbeitungsverfahren und -vorrichtung

Info

Publication number: DE112015001656T5
Application number: DE112015001656.2T
Authority: DE
Inventors: Ilariu Raducan; Ruxandra Vranceanu; Razvan Condorovici; Cosmin Stan; Peter Corcoran
Original assignee: Fotonation Ireland Ltd
Current assignee: Fotonation Ltd
Priority date: 2014-04-04
Filing date: 2015-03-27
Publication date: 2016-12-29
Also published as: US20170186138A1; US10452910B2; US9239957B2; WO2015150292A1; US10769435B2; US20200050849A1; US20150286854A1

Abstract

Ein Verfahren für die Bildverarbeitung in einem Bildaufnahmegerät umfasst das Aufnehmen eines Bilds mit darin einem oder mehreren Gesichtsbereichen und das Identifizieren eines oder mehrerer Irisbereiche in dem einen oder den mehreren Gesichtsbereichen. Der eine oder die mehreren Irisbereiche werden analysiert, um einen Irisbereich mit einem Irismuster mit einer ausreichenden Qualität, sodass sich das Risiko einer biometrischen Erkennung einer Person in dem Bild ergibt, zu identifizieren. In Reaktion auf das Identifizieren eines derartigen Irisbereichs wird ein entsprechender Ersatz-Irisbereich mit einem Irismuster, das sich ausreichend von dem identifizierten Irismuster unterscheidet, um eine Erkennung der Person in dem Bild zu vermeiden, bestimmt und wird der identifizierte Irisbereich durch den Ersatz-Irisbereich in dem Originalbild ersetzt.

Description

Erfindungsfeld
Die vorliegende Erfindung sieht ein Bildverarbeitungsverfahren und eine Bildverarbeitungsvorrichtung für ein Unkenntlichmachen der Iris vor.
Hintergrund
Die Iris umgibt den dunklen, inneren Pupillenbereich eines Auges und erstreckt sich konzentrisch zu der weißen Lederhaut des Auges.
A. K. Jain, A. Ross und S. Prabhakar, „An introduction to biometric recognition,” IEEE Trans. Circuits Syst. Video Technol., vol. 14, 2004 geben an, dass die Iris des Auges beinahe-ideal biometrisch ist.
Für Erkennungszwecke wird gewöhnlich ein Bild eines Irisbereichs in einem dedizierten Bildaufnahmesystem mit einer Infrarot(IR)-Beleuchtung aufgenommen, während das Auge mit der Aufnahmekamera ausgerichtet ist, um die Hauptmerkmale des zugrundeliegenden Irismusters zu erfassen.
Ein Irismuster ist ein Graustufen-/Lumineszenzmuster, das in einem Irisbereich evident ist und verarbeitet werden kann, um einen Iriscode zu erhalten. Das Irismuster kann durch polare Koordinaten definiert werden, die gewöhnlich vor einer Analyse für das Extrahieren des zugrundeliegenden Iriscodes zu rechteckigen Koordinaten gewandelt werden.
Ein Iriscode ist eine binäre Sequenz, die durch die Analyse des Irismusters erhalten wird. Ein typischer Iriscode enthält 2048 Bits. Es ist zu beachten, dass einige Bits effektiv redundant oder ,fragil' sind, weil sie beinahe immer zu einer ,1' oder eine ,0' gesetzt sind, wie in K. Hollingworth, K. W. Bowyer und P. J. Flynn, „All Iris Code Bits are Not Created Equal,” in 2007 First IEEE Int. Conf. Biometrics Theory, Appl. Syst., 2007 beschrieben. Einige dieser fragilen Bits können zuvor vorausgesagt werden. Und weil sie weniger Differenzierung bieten, werden sie häufig bei der Bestimmung einer Übereinstimmung ignoriert.
Dennoch sind Systeme bekannt, die das Erhalten von Irisdaten von sich bewegenden Personen unterstützen, wie zum Beispiel in J. R. Matey, O. Naroditsky, K. Hanna, R. Kolczynski, D. J. Lolacono, S. Mangru, M. Tinker, T. M. Zappia und W. Y. Zhao, „Iris on the Move: Acquisition of Images for Iris Recognition in Less Constrained Enviroments,” in Proc. IEEE, vol. 94, 2006 beschrieben. Dabei wird eine spezielle Beleuchtung verwendet und müssen Menschen entlang eines spezifizierten Pfads laufen, wobei mehrere aufeinander folgende Irisbilder unter kontrollierten Beleuchtungsbedingungen aufgenommen werden. Das System wird für Flughäfen vorgeschlagen, in denen Irisinformationen zunehmend verwendet werden, um die Identität von Passagieren zu verifizieren.
C. Boyce, A. Ross, M. Monaco, L. Hornak und X. L. X. Li, „Multispectral Iris Analysis: A Preliminary Study,” 2006 Conf. Comput. Vis. Pattern Reconit. Work., 2006; M. Vliaseca, R. Mercadal, J. Pujol, M. Arjona, M. de Lasarte, R. Huertas, M. Melgosa und F. H. Imai, „Characterization of the human iris spectral reflectance with a multispectral imaging system,” Appl. Opt., vol. 47, pp. 5622–5630, 2008; und Y. Gong, D. Zhang, P. Shi und J. Yan, „Optimal wavelength band clustering for multispectral iris recognition,” Applied Optics, vol. 51, p. 4275, 2012 schlagen jeweils vor, dass Irismuster von helleren Augenfarben adäquat erhalten werden können, während Augen mit einer dunkleren Farbe schwierig unter Verwendung von sichtbarem Licht zu analysieren sind.
H. Proença und L. A. Alexandre, „Iris segmentation methodology for non-cooperative recognition,” IEEE Proceedings – Vision, Image, and Signal Processing, vol. 153, p. 199, 2006; und A. E. Yahya und M. J. Nordin, „Non-cooperative iris recognition system: A review,” Inf. Technol. (ITSim), 2010 Int. Symp. vol. 1, 2010 geben eine nicht-kooperative Iriserfassung an, die gewöhnlich mit einer Distanz von 3–10 Metern unter Verwendung von gerichteten IR-Quellen erhalten wird.
Weil sich Bildaufnahme-Subsysteme an Smartphones weiterhin in ihrer Aufnahmequalität verbessern und sich auch die Bildanalyse- und Nachverarbeitungstechniken weiterhin verbessern, wird bald ein Zeitpunkt erreicht sein, bei dem die Qualität von Bildern von herkömmlichen Digitalkameras und Smartphones ausreicht, um einige der zugrundeliegenden Merkmale eines Irismusters bis zu einem ausreichenden Grad zu analysieren.
Zum Beispiel gibt US 7,697,735 das Identifizieren einer Person anhand von Gesichts- und Irisdaten unter Verwendung eines einzelnen 5-Megapixel-Bilds an. US 7,697,735 sieht empfohlene Mindestgrößen für Gesichts- und Augenmerkmale vor, um einen ausreichend genauen Erkennungsgrad zu ermöglichen. Es werden jedoch keine Details zu den Beleuchtungs- oder Aufnahmebedingungen spezifiziert, wobei die meisten Irisaufnahmen in einem uneingeschränkten Nutzungsfall keine ausreichende Genauigkeit aufweisen würden. Es ist dennoch zu beachten, dass die neuesten handgehaltenen Geräte Bildaufnahme-Subsysteme mit einer Auflösung von bis zu 40 Megapixeln aufweisen und Hochleistungs-IR-LEDs verwendet werden können, um die Aufnahmelichtbedingungen zu verbessern.
Andere Techniken wie etwa eine Bildaufnahme mit einem hohen dynamischen Bereich (HDR bzw. High Dynamic Range) kombinieren mehr als ein digitales Bild, um ein kombiniertes Bild mit einer verbesserten Bildqualität vorzusehen. Dabei handelt es sich um eine Standardfunktion der meisten Smartphone-Bildaufnahmesysteme, wobei gewöhnlich zwei Bilder nacheinander aufgenommen und dann nach dem Aufnehmen kombiniert werden, um ein Endbild mit einer schärferen und höheren Qualität vorzusehen. Es sind Techniken für das Kombinieren von mehr als einem Bild bekant. Und weil Aufnahmesysteme höhere Bildraten (derzeit 60–120 Bilder pro Sekunde für eine Vorschau, was wahrscheinlich durch Techniken der nächsten Generation verdoppelt wird) erzielen, können bis zu 8–10 Bilder innerhalb des gleichen Zeitfensters aufgenommen werden, das heutzutage für das Aufnehmen von zwei Bildern verwendet wird. Die Nutzung von Subpixelregistrierungs- oder Superauflösungstechniken wird also Bilder mit einem wesentlich höheren lokalen Bildkontrast und einer wesentlich höheren Schärfe als mit derzeitigen Geräten ermöglichen.
Es ist also höchstwahrscheinlich, dass mit der nächsten Generation von Bildaufnahmegeräten aufgenommene Bilder eine ausreichende Qualität aufweisen werden, um eine Bestimmung von Irismustern aus Gesichtern in Standardbildern zu ermöglichen. Dies macht normale Personenporträts und Fotos von kleinen Gruppen zu einer möglichen Quelle für verschiedene kriminelle Aktivitäten, die von Identitätsdiebstahl und der Fälschung von Ausweisdokumenten bis hin zu der Verschaffung von Zutritt zu durch biometrische Sicherheitsmaßnahmen geschützten Einrichtungen reichen.
US 2009/0141946 , Kondo gibt das Erfassen des Irisbereichs eines Auges aus einem Originalbild und das Durchführen einer Bildwandlung auf dem erfassten Irisbereich an, sodass keine für eine Person einzigartigen Merkmalsdaten extrahiert werden können. Zum Beispiel wird der Irisbereich in eine Vielzahl von Teilen unterteilt und werden entsprechende Bilder der einzelnen Teile neu in einer vorbestimmten Reihenfolge oder willkürlich umgeordnet.
US 2010/0046805 , Connell gibt das Erzeugen einer aufhebbaren Biometrik an, das das Verschieben wenigstens eines Pixelbereichs in einem sich aus Pixelbereichen zusammensetzenden biometrischen Bild umfasst. Der Pixelbereich wird mit wenigstens einem anderen Pixelbereich kombiniert, um einen Ersatzbereich für den wenigstens einen Pixelbereich für das Bilden eines transformierten Bilds vorzusehen. Das biometrische Bild wird erneut verwendet, um ein anderes transformiertes Bild zu erzeugen, wenn das transformierte Bild aufgehoben werden soll.
Zusammenfassung der Erfindung
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Bildverarbeitungsverfahren wie in Anspruch 1 beansprucht vorgesehen.
Gemäß einem zweiten Aspekt wird ein Bildverarbeitungsverfahren wie in Anspruch 2 beansprucht vorgesehen.
Gemäß einem dritten Aspekt wird ein Bildverarbeitungsverfahren wie in Anspruch 3 beansprucht vorgesehen.
Ausführungsformen der Erfindung umfassen: (i) Identifizieren Kandidaten-Irisbereiche in digitalen Bildern; (ii) Segmentieren und Analysieren derartige Bereiche, um zu bestimmen, ob sie ein Irismuster mit einer ausreichenden Qualität vorsehen, sodass sich das Risiko eines Diebstahls der assoziierten Biometrik ergibt; (iii) Bestimmen und Berechnen eine geeignete Ersatz-Biometrik mit einem ähnlichen Aussehen und einer ähnlichen ästhetischen Qualität; und (iv) Ersetzen die riskanten Irismuster in dem Originalbild beim Speichern, Übertragen oder andersartigen Permanentmachen der Originalbilddaten.
Andere Aspekte der Erfindung sehen ein Computerprogrammprodukt vor, das ein computerlesbares Medium aufweist, auf dem Befehle gespeichert sind, die bei einer Ausführung auf einem Bildverarbeitungsgerät die Schritte der Ansprüche 1 bis 23 durchführen.
Weitere Aspekte sehen eine Bildverarbeitungsvorrichtung gemäß Anspruch 25 vor.
Kurzbeschreibung der Zeichnungen
Im Folgenden werden verschiedene Ausführungsformen der Erfindung beispielhaft mit Bezug auf die beigefügten Zeichnungen beschrieben.
1 zeigt ein Bildverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Erfindung.
2 ist ein Flussdiagramm, das die vorläufige Verarbeitung von Bildern gemäß einer Ausführungsform der Erfindung zeigt.
3(a) ist ein Flussdiagramm, das eine Irisanalyse-Komponente eines Bildverarbeitungsverfahrens mit einer biometrischen Authentifizierungseinheit (BAU) gemäß einer Ausführungsform der Erfindung zeigt.
3(b) ist ein Flussdiagramm, das eine Irisanalyse-Komponente eines Bildverarbeitungsverfahrens ohne eine biometrische Authentifizierung gemäß einer Ausführungsform der Erfindung zeigt.
4 zeigt einen Ansatz zum Erzeugen einer Ersatziris und für eine Irisersetzung gemäß einer Ausführungsform der vorliegenden Erfindung.
5 zeigt einen Irisersetzungsansatz, der in Ausführungsformen der Erfindung mit einer BAU verwendet wird.
6(a) und 6(b) zeigen eine Standardiris und eine Iris-Map für die Standardiris.
7(a) und 7(b) zeigen einen eingegebenen Irisbereich und eine Iris-Map für den eingegebenen Irisbereich.
8(a) und 8(b) zeigen eine Schicht von Detailbildern jeweils für das eingegebene Bild von 7 und das Standardbild von 6.
9(a) bis 9(c) zeigen die Entfernung und Ersetzung der Details eines Irisbilds.
Beschreibung bevorzugter Ausführungsformen
In 1 ist ein digitales Bildverarbeitungsgerät 10 für das Durchführen einer Bildverarbeitung gemäß einer Ausführungsform der vorliegenden Erfindung gezeigt. Das Gerät kann zum Beispiel eine Kamera, ein Smartphone, ein Tablet usw. sein und einen Bildsensor 12 enthalten, der mit einem Bildsignalprozessor/einer Bildsignalpipeline 14 verbunden ist, der bzw. die Bilder für die Verarbeitung durch den Rest des Systems vorsieht. Das Gerät kann eine IR-Lichtquelle enthalten oder nicht. Die Bilder können einen Strom von Bildern mit niedriger oder voller Auflösung, die für eine Vorschau oder für das Erzeugen eines Videos verwendet werden, sowie Standbilder mit voller Auflösung, die selektiv durch den Benutzer aufgenommen werden, enthalten.
Eine Gesichtserkennung in Echtzeit ist zu einer Standardfunktion der meisten digitalen Bildaufnahmegeräte geworden, wie zum Beispiel in WO 2008/018887 (Referenz: FN-143) beschrieben. Weiterhin unterstützen die meisten Kameras und Smartphones auch eine Echtzeit-Erfassung von verschiedenen Gesichtsmerkmalen und können spezifische Muster wie etwa ein ,Blinzeln' und ein ,Lächeln' identifizieren, wobei zum Beispiel das Timing der Hauptbildaufnahme angepasst werden kann, um sicherzustellen, dass Personen in einer Szene scharf aufgenommen werden und nicht-blinzeln oder lächeln, wie in WO 2007/106117 (Referenz: FN-149) beschrieben. Andere Ansätze setzen scharf aufgenommene, nicht-blinzelnde oder lächelnde Teile von Vorschaubildern anstelle von entsprechenden unscharf aufgenommenen, blinzelnden oder nicht-lächelnden Teilen von Hauptbildern, um die Bildqualität zu verbessern, wie zum Beispiel in WO2008/150285 (Referenz: FN-172) beschrieben. Wenn eine derartige Funktionalität in einer Bildverarbeitungsvorrichtung verfügbar ist, führt das Erfassen und Verfolgen von Gesichtsbereichen und von Augenbereichen in den Gesichtsbereichen zu keinem Mehraufwand, sodass diese Informationen kontinuierlich für einen Bildstrom verfügbar sind.
In dieser Ausführungsform lokalisiert und verfolgt ein Gesichts-/Augenverfolgungssystem 16 Augenbereiche in einem Bildstrom. Es ist jedoch zu beachten, dass ein Gesichts-/Augenerfassungs-Subsystem einfach auf einzelne Standbilder angewendet werden kann, um Gesichts- und Augenbereiche in dem Bild zu erfassen.
In jedem Fall erfasst das Gesichts/Augen-Subsystem 16 entweder ein Standbild oder ein Bild aus einem Storm (Schritt 28) und lokalisiert dann Augenbereiche in erfassten Gesichtsbereichen in dem Bild (Schritt 30) wie in 2 gezeigt. Das Subsystem 16 führt rudimentäre Berechnungen durch, um eine Schätzung der Qualität von Augenbereichen basierend auf einer Gesichtserfassung und eine Bild-zu-Bild-Verfolgung der Gesichtsbereiche vorzusehen (Schritt 32). In vielen Bildern sind die Gesichter ausreichend fern, sodass die erfassten Augenbereiche nicht groß genug sind, um eine Extraktion eines nutzbaren Irismusters zu gestatten. Die Augenbereiche in derartigen Bildern können sicher ignoriert werden. Deshalb fallen die Berechnungen in dieser Stufe allgemein in die folgenden Kategorien: grundlegende Augengröße, Fokus, lokaler Kontrast/Schärfe.
Vorschaubilder können auf einem Display 18 angezeigt werden, wobei in einigen Fällen verfolgte Gesichts- oder Augenbereiche in der Vorschauanzeige angegeben werden können.
Das Gesichts-/Augenverfolgungssystem 16 erfasst also Kandidaten-Augenbereiche, wobei möglicherweise riskante Kandidaten geflagt werden können, während das Bild oder der Bildstrom verarbeitet wird. Wie angegeben können die durch das Gesichts-/Augenverfolgungs-Subsystem 16 verwendeten Qualitätskriterien in Schritt 32 ziemlich rudimentär sein, wobei eine zusätzliche, detailliertere Analyse durchgeführt werden kann, wenn die Aufnahme abgeschlossen ist und ein Bild (oder eine Bildsequenz) zu einem Speicher 22 außerhalb des Geräts über eine Netzwerkverbindung (nicht gezeigt) übertragen wird.
Sobald ein Benutzer eine Aktion einleitet, die ein Bild zu einem permanenten oder semipermanenten Speicher 22 überführt, leitet das Subsystem 16 eine Prüfung ein, um zu bestimmen, ob das Bild (oder die Bildsequenz) ,riskante' Augenbereiche enthält. Wenn diese nicht vorhanden sind, wird das Bild normal gespeichert. Wenn das Bild jedoch Kriterien für die oben genannten Parameter erfüllt, dann sind ,riskante' Bereiche vorhanden, wobei diese Augenbereiche Irisbereiche enthalten können, die wie weiter unten im größeren Detail beschrieben ersetzt werden müssen. In diesem Fall werden sie in Schritt 34 durch das Subsystem 16 zu einem Irisanalyse/Verarbeitungs-Subsystem 20 geleitet.
3(a) zeigt ein Beispiel für die durch das Subsystem 20 durchgeführte Irisanalyse, die das Führen eines Bilds durch eine biometrische Authentifizierungseinheit (BAU) 24 umfasst, während das in 3(b) gezeigte Beispiel die BAU 24 nicht verwendet. Ähnliche Nummern werden in jedem Beispiel verwendet, um äquivalente Schritte anzugeben.
Zuerst werden in Schritt 36 die Irisbereiche aus ,riskanten' Augenbereichen extrahiert und wird eine ausführlichere Analyse durchgeführt, um zu prüfen, ob ein gültiges Irismuster erfasst werden kann. Der Irisbereich kann durch eine Kantenanalyse oder eine Hough-Transformation bestimmt werden. J. Daugman, „New methods of iris recognition,” IEEE Trans. Syst. Man. Cybern. B. Cybern., vol. 37, pp. 1167–1175, 2007 beschreibt eine Reihe von zusätzlichen Verfeinerungen, die verwendet werden können, um die exakte Form der Iris und der Augenpupille zu bestimmen. Es ist auch allgemein üblich, die Iris von einem polaren zu einem rechteckigen Koordinatensystem zu wandeln, wobei dies jedoch nicht notwendig ist. Das Endergebnis dieses Prozesses ist ein Irisbereich, der von dem Hauptbild durch eine sekundäre Innengrenze in Entsprechung zu der Iris-/Pupillengrenze des Auges getrennt ist. Dieser annähernd torusförmige Bereich sieht die Eingabe zu der nächsten Stufe der Irisanalyse vor.
Ausführungsformen der vorliegenden Erfindung können Kombinationen aus den folgenden Kriterien verwenden, um zu bestätigen, ob das Risiko besteht, dass extrahierte Irisbereiche ein Muster vorsehen, das eine Erkennung ermöglicht.

1. Nutzbare Irisgröße/Fläche: Die Fläche der Iris, die nicht durch Wimpern, Lider und Reflexionen bedeckt ist. Es wird davon ausgegangen, dass Irisbereiche von mehr als 120 horizontalen Pixeln eine große Erkennungsgenauigkeit garantieren, sodass sie als besonders riskant betrachtet werden. In Ausführungsformen der Erfindung wird ein Schwellwert von zwischen 50 und 100 horizontalen Pixeln verwendet, um zu signalisieren, dass ein Irisbereich das Risiko einer Erkennung stellt und somit ein Unkenntlichmachen erfordert.
2. Irisform: Das Maß der Regelmäßigkeit einer Pupillen-Iris-Grenze. Es ist zu beachten, dass der Irisbereich direkt um die Pupille herum einen hohen Informationsgehalt aufweist. In der Ausführungsform wird die Iris-Pupillen-Grenzform mit einer Ellipse verglichen, wobei in anderen Ausführungsformen aber auch ein Kreistest verwendet werden kann. Eine genaue Entsprechung zu einer elliptischen (oder kreisrunden) Annäherung wird als ausreichend betrachtet, um anzugeben, dass ein Irisbereich aus der Perspektive der Irisgrenzformqualität ,riskant' ist. In anderen Ausführungsformen können aktive Konturen oder andere herkömmliche Konturvergleichstechniken verwendet werden, um ein Maß für die Irisgrenzform vorzusehen. Dabei werden Techniken bevorzugt, die für eingebettete oder hardwarebasierte Ausführungsformen optimiert sind.
3. Iris-Pupille/Iris-Lederhaut-Kontrast: Ein hoher Kontrast an diesen Grenzen macht die Iriserkennung wahrscheinlicher. Es ist zu beachten, dass der Kontrast in einem Bild von den Aufnahmebedingungen abhängig ist. Bei einer geringen Beleuchtung zum Beispiel kann durch die meisten Bildaufnahmesysteme nur ein schmaler Kontrastbereich erzielt werden. Ein unter guten Aufnahmebedingungen erhaltenes Bild verwendet den vollen Kontrastbereich des Aufnahmegeräts, wobei jedoch über das gesamte Bild hinweg der lokale Kontrast im Augenbereich und insbesondere an der Iris selbst auf einen ziemlich beschränkten Teilbereich des gesamten Kontrastbereichs begrenzt sein kann. Eine Verbesserung des lokalen Kontrasts kann verwendet werden, um den Kontrast in einem spezifischen Bereich eines Bilds zu verbessern. In seiner einfachsten Form beinhaltet dies eine lineare Neuskalierung von lokalen Helligkeitswerten über den gesamten Bereich der Werte. Entwickeltere Techniken verwenden einen adaptiveren Ansatz, in dem Werte in einem oder mehreren Teilbereichen gemäß verschiedenen Gewichtungen oder auch nicht-linear skaliert werden. In Ausführungsformen der vorliegenden Erfindung wird der lokale Bereich von Helligkeitsvariationen in dem Auge und in dem Irisbereich mit dem gesamten Bild verglichen. Die Größe des Irisbereichs wird auch betrachtet, weil ein größerer oder genauerer Grad der Kontrastverbesserung erzielt werden kann, wenn mehr Bildpixel verfügbar sind. Als eine Daumenregel gilt: ein 150 Pixel breiter Irisbereich kann eine Verdopplung des zugrundeliegenden Kontrastbereichs erzielen und dennoch eine ausreichende Raumauflösung beibehalten; ein 300 Pixel breiter Irisbereich kann eine Vervierfachung erzielen, usw. Die mögliche Vergrößerung des lokalen Kontrasts wird deutlich durch den Kontrastbereich des gesamten Bilds und durch das Vorhandensein von Rauschquellen begrenzt. Zum Beispiel geben Spiegelreflexionen und überbelichtete Bildbereiche an, dass der Gesamtkontrastbereich bereits übermäßig erweitert ist. Deshalb wird in Ausführungsformen der Irisbereich analysiert, um zu bestimmen, wie weit der Kontrastbereich erweitert werden kann. Wenn dabei befunden wird, dass ein gültiger Irisbereich mittels fortentwickelter Nachverarbeitungstechniken extrahiert werden kann, dann kann es erforderlich sein, das aktuelle Irismuster zu ersetzen.
4. Blickwinkel: Dies ist die Abweichung der optischen Achse der Iris einer Person von der optischen Achse der Kamera. Je direkter eine Person während der Aufnahme in das Aufnahmegerät blickt, desto größer ist die Wahrscheinlichkeit, dass ein erkennbares Irismuster erzeugt wird.
5. Schärfe/Defokussierungsunschärfe: Je schärfer, stärker im Fokus und nicht-verschwommen ein Bild und seine Augenbereiche sind, desto wahrscheinlicher ist es, dass ein erkennbares Irismuster erhalten wird.

Es ist zu beachten, dass jede der oben beschriebenen Qualitätsmaßnahmen auf einer Echtzeitbasis in einem dem Stand der Technik entsprechenden digitalen Bildaufnahmegerät bestimmt werden kann. Andere Schemata für die Beurteilung der Irisqualität werden beschrieben in:
E. Tabassi, P. Grother und W. Salomon, „IREX II – Iris Quality Calibration und Evaluation (IQCE): Performance of Iris Image Quality Assessment Algorithms,” 2011; J. Z. J. Zuo und N. A. Schmid, „Global and local quality measures for NIR iris video,” 2009 IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. Work, 2009;
D. S. Jeong, J. W. Hwang, B. J. Kang, K. R. Park, C. S. Won, D. K. Park und J. Kim, „A new iris segmentation method for non-ideal iris images,” Image Vis. Comput., vol. 28, pp. 254–260, 2010;
J. M. Colores, M. Garcia-Vaquez, A. Ramires-Acosta und H. Perez-Meana, „Iris Image Evaluation for Non-cooperative Biometrics Iris Recognition System,” in Advances In Soft Computing, Pt li, vol. 7095, 2011, pp. 499–509;
N. D. Kalka, J. Z. J. Zuo, N. A. Schmid and B. Cukic, „Estimating and Fusing Quality Factors for Iris Biometrics Images,” in IEEE Trans. Systm. Man, Cybern. – Part A Syst. Humans, vol, 40, 2010; und
W. D. W Dong, Z. S. Z. Sun, T. T. T. Tan und Z. W. Z. Wei, „Quality-based dynamic threshold for iris matching,” in Image Process. (ICIP), 2009 16th IEEE Int. Conf., 2009.
Wenn die designierten Kriterien für eine Iriserkennung erfüllt werden, dann wird ein Irismuster für den Irisbereich und auch die Farbe des Irisbereichs vorgesehen.
In einigen Ausführungsformen kann das Irismuster ausgewertet und mit einem Satz von bekannten Mustern verglichen werden, z. B. mit dem Besitzer des Geräts und vielleicht mit Familienmitgliedern und Freunden. Bestimmte Aktionen können in Entsprechung zu der identifizierten Person vorprogrammiert sein, wobei das Gerät zum Beispiel einem Benutzer des Geräts signalisieren kann, dass ,riskante' Irismuster identifiziert wurden und ersetzt werden (Schritt 38).
In der Ausführungsform von 3(a) enthält das digitale Bildaufnahmesystem/-gerät 10 eine biometrische Authentifizierungseinheit (BAU) 24, die eine Iriscode-Extraktion aus gültigen Irismustern durchführen kann. So kann die BAU zum Beispiel durch das Gerät oder andere auf dem Gerät ausgeführte Anwendungen verwendet werden, um einen Benutzer zu authentifizieren und um zum Beispiel das Gerät zu entsperren oder eine bestimmte auf dem Gerät ausgeführte Anwendung zu entsperren.
In Schritt 40 extrahiert die BAU den relevanten Iriscode aus dem erfassten Irismuster und zeichnet diesen vorübergehend in einem sicheren Speicher 27 oder Systemspeicher 29 auf. Wenn eine BAU verfügbar ist, kann dieser Schritt als ein zusätzlicher Test für die Qualität der erfassten ,riskanten' Irisbereiche verwendet werden. Wenn also ein ,riskanter' Bereich durch die BAU in Schritt 42 abgelehnt wird, dann kann ein Fehlercode aus der BAU verifizieren, dass bestimmte Qualitätsmetriken nicht erfüllt werden oder andere Aspekte des Bereichs verhindern, dass eine nützliche Biometrik extrahiert wird.
Dennoch kann es möglich sein, diesen Irisbereich zu korrigieren (Schritt 44), zum Beispiel mit einer alternativen Kontrastverbesserung wie oben erläutert, wobei dann der Irisbereich erneut der BAU-Analyse unterzogen wird. Dies kann ein erneutes Prüfen der verbesserten Iris mit Bezug auf bekannte Muster in Schritt 38 umfassen. Diese Schleife kann iterativ durchgeführt werden, bis alle möglichen Fehlerkorrekturen versucht wurden.
Wenn eine Fehlerkorrektur in Schritt 46 nicht möglich ist oder erschöpft wurde, wird der Irisbereich als nicht ,riskant' markiert.
Wenn wie in 3(b) gezeigt keine BAU verfügbar ist, werden Ausführungsformen in einem nicht-verifizierten Modus betrieben, in dem es nicht möglich ist, die Ähnlichkeit zwischen dem Original- und einem Ersatz-Irismuster zu prüfen. In der Ausführungsform von 3(a) wird diese Prüfung jedoch durchgeführt und sieht eine zusätzliche Beruhigung für den Benutzer vor.
Wenn in Schritt 48 ein Iriscode aus dem Irisbereich mit oder ohne die BAU extrahiert werden kann, wird die Iris in Schritt 50 einer weiteren Verarbeitung unterworfen, in der ein Ersatz-Irismuster und schließlich ein Ersatz-Irisbereich vorgesehen werden.
Bevor mit der Beschreibung fortgefahren wird, soll hier darauf hingewiesen werden, dass keine einzigartige Ersatziris für jedes Bild erforderlich ist. In einigen Ausführungsformen wird zum Beispiel in Schritt 38 eine neue Ersatziris nur vorgesehen, wenn ein neues Irismuster identifiziert wird. Wenn also ein Gerät einen lokalen Informations-Datensatz für eine Gruppe von regelmäßig durch den Benutzer des Geräts fotografierten oder gefilmten Personen aufrechterhält, kann für jede Person ein einzigartiges Ersatzirispaar in dem sicheren Speicher 27 gespeichert sein, das bei jeder Identifikation in einem Bild verwendet wird. Ein anderer Satz von Ersatzirismustern kann für nicht-identifizierte Personen verwendet werden. In derartigen Ausführungsformen muss ein Gerät nur gelegentlich einen Satz von Ersatzirismustern erhalten oder erzeugen. Dies kann in der Kamera implementiert werden, wobei aber auch ein sicherer Netzwerkdienst oder eine auf dem Gerät ausgeführte spezielle App verwendet werden können.
Ausführungsformen der Erfindung versuchen, eine natürlich aussehende Iris zu erzeugen oder zu erhalten, um diese anstelle der in einem aufgenommenen Bild erfassten Originaliris wie in 2 und 3 gezeigt zu setzen. Vorzugsweise wird eine alternative Iris anstelle einer Originaliris gesetzt, um ein natürliches Aussehen aufrechtzuerhalten und um zu vermeiden, dass Personen in einem Bild mit ihrer eigenen Biometrik assoziiert werden.
Das Vorsehen und Ersetzen einer Iris kann auf verschiedene Weise erzielt werden. Mit Bezug auf 4 wird im Folgenden ein erster Ansatz beschrieben, gemäß dem für einen beliebigen Irisbereich in einem Bild, für den eine Ersatziris erforderlich ist, die Schritte 58–70 durchgeführt werden. In Schritt 58 wird ein Satz von Irismustern aus einer Datenbank mit Originalirismustern abgerufen, der vorzugsweise in dem sicheren Speicher 27 gespeichert ist. Ein Ersatzirismuster wird durch das Kombinieren von zwei oder mehr dieser Muster erzeugt. Die Kombination der Muster wird erzielt, indem zuerst in Schritt 60 eine radiale Segmentierung jedes gespeicherten Irismusters durchgeführt wird und dann in Schritt 62 Segmente aus Mustern mit einem ähnlichen Segmentierungswinkel gemischt/ersetzt werden, um ein einzelnes kombiniertes Irismuster zu erzeugen. In dieser Ausführungsform wird auch die Originalfarbe jeder Iris gespeichert und werden die Muster verwendet, um ein Ersatzmuster aus Augen mit einer anderen Augenfarbe zu erzeugen.
Wie in 6–9 gezeigt beruht eine Alternative zu den oben beschriebenen Schritten 58–62 auf dem Abrufen eines einzelnen Irisbilds aus einer Bibliothek von Standard-Irisbildern, die in einem sicheren Speicher 27 gespeichert ist, und dem Mischen der Irisinformationen für das Standardbild mit den Irisinformationen für den identifizierten Irisbereich, um einen Ersatz-Irisbereich vorzusehen.
Die Standard-Irisbilder können mit der Irisanalyse und einer Verarbeitungssoftware 20 vorgesehen werden und sind somit für alle die Technik verwendenden Geräte gleich. Die Bibliothek kann aber auch auf dem Gerät selbst aus durch das Gerät aufgenommenen Bildern erstellt werden, oder in dem das Gerät Bilder aus einer Netzwerkquelle wie etwa dem Internet erhält.
Für einen bestimmten eingegebenen Augenbereich, der aus einem Bild wie oben mit Bezug auf 2 und 3 beschrieben erhalten wird, kann ein Standard-Irisbild aus der Bibliothek basierend auf zum Beispiel einer Farbähnlichkeit der Standardiris mit der Iris des eingegebenen Augenbereichs oder basierend auf anderen Kriterien wie etwa einer Korrelation der Pupillenbereiche in dem eingegebenen Augenbereich und in den Standard-Irisbildern ausgewählt werden.
Idealerweise enthält jedes Standard-Irisbild eine vollständige Iris und Pupille wie zum Beispiel in dem Standard-Irisbild 600 von 6(a) gezeigt, sodass es für eine Verarbeitung der größten Varietät von eingegebenen Irisbildern verwendet werden kann. Wie in 6(b) gezeigt, ist mit jeder Standardiris in dem Speicher 27 eine Map 602 assoziiert, die eine äußere Grenze 604 der Iris sowie des Pupillenbereichs 606 in dem Standard-Irisbild 600 angibt. Diese Map kann automatisch wie oben mit Bezug auf 36 beschrieben erzeugt werden oder kann semi-automatisch mit einer manuellen Anpassung durch einen Benutzer erzeugt werden, insbesondere wenn die Bibliothek zentral erzeugt wird und durch die Irisanalyse und die Verarbeitungssoftware 20 vorgesehen wird.
Wie zuvor für 2 und 3 wird ein Augenbereich 700 in 7(a) erhalten und wird eine Map 702, die wie in 7(b) gezeigt die äußere Grenze 704 der Iris und des Pupillenbereichs 706 angibt, wie mit Bezug auf Schritt 36 beschrieben erzeugt. Ein Irisausschnitt 708 mit einer proportionalen Entsprechung zu den Proportionen der Map 602 für die Standardiris wird für den Augenbereich 700 definiert. Das Standard-Irisbild 600 und dessen Map 602 können jetzt skaliert werden, um dem Ausschnitt 708 zu entsprechen.
Es ist zu beachten, dass die äußere Grenze 704 der eingegebenen Iris nicht kreisförmig sein muss, wobei die Iris durch ein Augenlid verdeckt sein kann, und auch die Fläche der eingegebenen Iris nicht gleich der Fläche der ausgewählten Standardiris sein muss.
Die vorliegende Implementierung beruht auf dem Ersetzen von Details der eingegebenen Iris durch Details aus der Standardiris.
Diese Details werden auf einer Schicht-für-Schicht-Basis bestimmt, wobei zum Beispiel k = 4 Schichten ist, indem nacheinander das eingegebene Irisbild und das Standardbild wie folgt unscharf gemacht werden:
In einem Beispiel wird das Unscharfmachen durch ein Box-Filtern mit einem k·k-Kernel durchgeführt, wobei k = [1, 2, 4 und 8] % der Länge des Ausschnitts 708. (Es ist zu beachten, dass bei einer Durchführung einer Skalierung nach dem Unscharfmachen zuvor unscharf gemachte Bildinformationen verwendet werden können.)
Für die Standardiris und die eingegebene Iris wird also jeweils das Bild IRIS unscharf gemacht, um ein Bild irisBlurred vorzusehen. Jedes Bild irisBlurred wird dann für k = 2 bis 4 wie folgt unscharf gemacht: irisBlurred_1 = Filter(IRIS, k[1]) für i = 2:4 irisBlurred_i = Filter(irisBlurred_(i – 1), k[i])
Dann werden für jedes Bild IRIS und für jede Schicht Detailschichten extrahiert, indem die unscharf gemachten Bilder von dem vorausgehenden Bild wie folgt subtrahiert werden: detail_1 = IRIS – irisBlurred_1 für i = 2:4 detail_i = irisBlurred_(i – 1) – irisBlurred_i
8(a) und 8(b) zeigen die resultierenden Detailbilder, wobei k = 4 für jeweils den eingegebenen Irisbereichausschnitt 802 und die Standardiris 804 von 6 und 7.
Die nicht-Irisbereiche außerhalb der Irisgrenzen und der Pupillen können aus jedem der 2×4-Detailbilder unter Verwendung von Masken basierend auf den Maps 602 und 702 entfernt (ausgeblendet) werden. In einigen Fällen können die Masken etwas unscharf gemacht werden, indem zum Beispiel ein m·m-Kernel verwendet wird, wobei m = 2% des Ausschnittslängen-Box-Filters ist, um bessere Übergänge in dem Endbild vorzusehen.
Die Irisdetails des Original-Irisbildausschnitts 708 in 7, das in 9(a) als irisIN angegeben wird, werden in jeder Skalierung wie folgt entfernt:
wobei detail_i die Iristeile der aus dem eingegebenen Irisbild, irisIN, berechneten Detailbilder sind.
9(b) zeigt das resultierende Bild irisBase für den Irisausschnitt 708 von 9(a) und 7(a).
Jetzt können die aus dem Originalbild entfernten Details durch die Details für die Standardiris wie folgt ersetzt werden.
wobei detail_i die Iristeile der aus dem Standard-Irisbild berechneten Detailbilder sind.
Es ist zu beachten, dass, wenn die Irisgrenzen und die Pupillenpositionen der eingegebenen Augenbereichsiris und der Standardiris nicht eng miteinander übereinstimmen, eine affine Transformation basierend auf den Maps 602 und 702 angewendet werden kann, wenn die Detailschichten für die Standardiris zu dem Bild irisBase hinzugefügt werden, um irisOUT zu erzeugen.
9(c) zeigt das resultierende Bild irisOUT für irisIN, den Irisausschnitt 708 von 7(a). Es ist zu beachten, dass in diesem Fall, weil ein Schimmer in der Pupille erscheint, dieser in dem verarbeiteten Bild irirOUT beibehalten wird. Wenn dagegen ein Schimmer in dem Irisbereich des ursprünglich eingegebenen Bilds irisIN erscheint, kann dieser auf das Bild irisOUT überlagert werden.
Wie in 4 gezeigt, wird nach dem Bestimmen einer Ersatziris in den Schritten 64 und 66 der Iriscode für ein Ersatz-Irismuster extrahiert und mit dem Code für das Original-Irismuster verglichen, um zu verifizieren, dass diese ausreichend verschieden sind. Eine Standardmetrik für das Vergleichen von Mustern ist die Hamming-Distanz (HD). Idealerweise ist für zwei von dem gleichen Auge aufgenommene Irisbilder die HD der extrahierten Codes gleich null und ist die HD für zwei vollständig zufällige Irisbilder theoretisch gleich 0,5 (gleiche Anzahl von übereinstimmenden und nicht-übereinstimmenden Codebits). Weil in der Praxis jeder Iriscode eine beträchtliche Anzahl von fragilen Bits enthält, kann eine HD von ungefähr 0,33 bis 0,35 als ein unterscheidender Schwellwert verwendet werden, wie in J. Daugman, „Probing the Uniqueness and Randomness of Iris Codes: Results from 200 Billion Iris Pair Comparisons,” Proc. IEEE, vol. 94, 2006 beschrieben. In einigen Ausführungsformen der Erfindung kann der Schwellwert für die Hamming-Distanz durch einen Benutzer innerhalb des Bereichs von 0,33 bis 0,5 ausgewählt werden oder kann von durch den Benutzern ausgewählten Sicherheitseinstellungen abhängig sein, wobei eine höhere HD für sicherheitsbewustere Benutzer verwendet wird.
Wenn die Codes ausreichend verschieden sind, fährt die Ausführungsform dann damit fort, einen Ersatz-Irisbereich basierend auf dem Ersatz-Irismuster zu erzeugen und den Irisbereich in dem Originalbild basierend auf dem Ersatz-Irisbereich in Schritt 68 neu zu erstellen. Dieser Schritt umfasst das Vergleichen und Mischen der Helligkeit, Farbe und von Spiegelreflexionen oder eines Augenschimmers aus dem ursprünglichen ,riskanten' Bereich, sodass der Ersatz-Augenbereich ein im Wesentlichen ähnliches Aussehen aufweist. Dies wird weiter unten im größeren Detail beschrieben, wobei jedoch zu beachten ist, dass nach Abschluss dieses Schritts das Bild und/oder der Irisbereich in dem Bild in Schritt 70 als sicher markiert werden kann, wobei das Verfahren dann damit fortschreitet, weitere in dem Bild identifizierte ,riskante” Irismuster zu verarbeiten, indem es zu dem Schritt 58 zurückkehrt.
Wo zuvor ein Ersatz-Irismuster für ein in einem Bild erkanntes Irismuster erzeugt wurde, können die Schritte 58–66 übersprungen werden und kann das zuvor erzeugte Ersatz-Irismuster einfach aus dem Speicher abgerufen werden, bevor mit den Schritten 68 und 70 fortgefahren wird.
Wie zuvor genannt, verwendet eine herkömmliche Iris-basierte BAU gewöhnlich ein Graustufen-Irismuster als einen Ausgangspunkt. Diese Praxis geht aus der Verwendung einer IR-Beleuchtung für eine Verbesserung des Irismusters und den dadurch erhaltenen Einkanal-Bilddaten (Graustufen) hervor.
Wenn ein Authentifizierungssystem eine Farbprüfung zusätzlich zu einer BAU verwendet, dann besteht ein zusätzliches Merkmal darin, dass gespeicherte Irismuster, die in dem Ansatz von 4 verwendet werden, vor einer Nachkonstruktion (Reverse-Engineering) geschützt werden, weil auch dann, wenn Irismustersegmente identifiziert und nachkonstruiert werden, die Originalfarbe des Auges, aus dem ein bestimmtes Muster erhalten wurde, nicht in Erfahrung gebracht werden kann.
In einer derartigen Ausführungsform können die Irismuster von Freunden und Familienmitgliedern verwendet werden, um Ersatzmuster füreinander zu erzeugen.
In einer anderen Alternative zu dem Ansatz von 4 wird anstelle der Schritte 58–62 ein Ersatz-Irismuster aus dem ursprünglichen Irismuster durch ein Patch-basiertes Abtasten des in US 6,762,769 , Guo et al. beschriebenen Typs bestimmt und wird kein Segmenttauschen durchgeführt.
Diese Technik wurde für das Synthetisieren von Irisen wie zum Beispiel in Z. Wei, T. Tan und Z. Sun, „Synthesis of large realistic iris databases using patch-based sampling,” 2008 19th Int. Conf. Pattern Recognit., no. 1, pp. 1–4, Dec. 2008 beschrieben. Auch L. Lian, C. Liu, Y.-Q. Xu. B. Guo und H.-Y. Shum, „Real-time texture synthesis by patch-based sampling,” ACM Transactions on Graphics, vol. 20, pp. 127–150, 2001 gibt ein Patch-basiertes Abtasten für das Verwürfeln eines bekannten Irismusters unter Beibehaltung eines realistisch aussehenden Augenbereichs an.
In einer anderen Alternative zu der Ausführungsform von 4 können anstelle des Austauschens von Segmenten von verschiedenen gespeicherten Irismustern gespeicherte Irismuster unter Verwendung von Patch-basierten Abtasttechniken wie oben beschrieben kombiniert werden, wobei jedoch Patches aus mehr als einem Irismuster kombiniert werden.
In einer anderen Alternative, die insbesondere nützlich ist, wenn keine BAU verfügbar ist, wird wiederum anstelle der Schritte 58–66 der Iriscode für die Originaliris verwürfelt und als eine Basis für das Wiederherstellen eines Ersatz-Irismusters verwendet. (Weil ein Iriscode gewöhnlich aus einer verlustbehafteten Transformation des Original-Irismusters erhalten wird, besteht eine eins-zu-viele-Beziehung zwischen einem Iriscode und entsprechenden Irisen.) In diesem Ansatz wird der Iriscode des ,riskanten' Bereichs bestimmt. Ein Bereich von Bits dieses Codes wird dann gewöhnlich in einer Größenordnung von 50% der Bits ,geflippt”, wobei jedoch die genaue Anzahl und die relativen Positionen der Bits zufällig gewählt werden können. Zum Beispiel werden als fragil bekannte Bits nicht geflippt, weil sie beim Vergleichen von Iriscodes häufig durch BAUs maskiert werden.
Dieser Ansatz beruht ansonsten auf der in S. Venugopalan und M. Savvides, „How to Generate Spoofed Irises from an Iris Code Template,” IEEE Trans. Inf. Forensics Secur. vol. 6, pp. 385–395, 2011 beschriebenen Vorgehensweise. Dabei wird anschließend ein einzigartiges unterscheidendes Muster aus dem ,geflippten' Code (einem Anticode zu demjenigen des Original-Irismusters) bestimmt und wird ein Ersatz-Irismuster auf einer neutralen Irisschablone erzeugt. Durch das Flippen von mehr als 50% der Bits in dem zugrundeliegenden Iriscode wird eine große Hamming-Distanz sichergestellt und ist dementsprechend keine Gegenprüfung durch eine BAU erforderlich.
Ein weiterer Ansatz für das Erzeugen des Ersatz-Irismusters der Schritte 58–62 beruht auf J. Galbally, A. Ross, M. Gomez-Barrero, J. Fierrez und J. Ortega-Garcia, „Iris image reconstruction from binary templates: An efficient probabilistic approach based on genetic algorithms,” Comput. Vis. Image Underst., vol. 117, pp. 1512–1525, 2013. Wegen der rechnerischen Komplexität dieser Techniken muss die Ersatziris außerhalb des Bildaufnahmegeräts bestimmt werden, z. B. mittels eines sicheren Netzwerkdienstes.
In weiteren Ausführungsformen wird anstelle der Schritte 58–62 ein synthetisiertes, künstliches oder zufälliges Irismuster unter Verwendung von Techniken erzeugt, die zum Beispiel in S. Shah und A. Ross, „Generating Synthetic Irises by Feature Agglomeration,” 2006 Int. Conf. Image Process., 2006; L. Wecker, F. Samavati und M. Gavrilova, „A multiresolution approach to iris synthesis,” Comput. Graph., vol. 34, pp. 468–478, 2010; oder L. Cardoso, A. Barbosa, F. Silva, A. M. G. Pinheiro and H. Proença, „Iris Biometrics: Synthesis of Degraded Ocular Images,” vol. 8, no. 7, pp. 1115–1125, 2013 beschrieben werden, oder unter Verwendung von anderen Methoden wie etwa in Venugopalan et al. (oben genannt) beschrieben.
Im Folgenden wird auf 5 Bezug genommen, die einen weiteren Ansatz für das Erzeugen und Einsetzen einer Ersatziris zeigt, wenn eine BAU verfügbar ist.
Wiederum wird in Schritt 72 ein Irisbereich mit einem entsprechenden Code, der zuvor nicht erkannt wurde, vorgesehen. Wie in der oben beschriebenen Alternative wird in Schritt 74 eine ausgewählte Anzahl von Bits des Iriscodes geflippt. In Schritt 76 wird ein Irismuster (DP1) basierend auf dem geflippten Iriscode synthetisiert und wird eine Iris aus dem Muster DP1 synthetisiert. Die synthetisierte Ersatziris wird in Schritt 78 zu einer BAU gesendet, wo sie in Schritt 80 analysiert wird.
Wenn eine BAU einen Fehler in der synthetisierten Iris erfasst, wird in Schritt 82 ein Fehler ausgegeben. In Schritt 84 kann eine Fehlerbehebung möglich sein, doch wenn alle Fehlerbehebungen erschöpft sind und keine geeignete unterscheidende Iris erzeugt werden kann, wird der Benutzer in Schritt 86 benachrichtigt und schreitet der Prozess zu Schritt 72 und der nächsten zu verarbeitenden Iris in dem Bild fort.
Ansonsten sieht die BAU in Schritt 88 den Iriscode für die synthetisierte Iris vor (dieser sollte dem geflippten Code entsprechen). Die Hamming-Distanz zwischen den entsprechenden synthetisierten und ursprünglichen Iriscodes kann in Schritt 90 bestimmt werden. Wiederum kann in einigen Ausführungsformen der Erfindung der Schwellwert für die Hamming-Distanz durch einen Benutzer im Bereich von 0,33 bis 0,5 ausgewählt werden oder von durch den Benutzer ausgewählten Sicherheitseinstellungen abhängig sein, wobei eine höhere HD für sicherheitsbewustere Benutzer verwendet wird.
Wenn die HD in geeigneter Weise verschieden ist, schreitet der Prozess in Schritt 92 fort, indem er die synthetisierte Iris anstelle der ursprünglichen Iris wie in Schritt 70 von 4 einsetzt und das Bild/die Iris entsprechend markiert.
Was die Irisersetzung in jedem der Schritte 70 und 92 angeht, sollte deutlich sein, dass die Ersatz- und Originaliris unter Umständen keine identische Größe/Form aufweisen und es notwendig sein kann, die Ersatziris in das ursprünglich aufgenommene Bild einzublenden. Außerdem ist es wichtig, die Gesamthelligkeit und Farbe der Original- und Ersatzbereiche anzupassen, sodass die Ersatziris so natürlich wie möglich aussieht.
In einer Ausführungsform umfasst die Ersetzung die folgenden Schritte:

(i) Die Helligkeitsverteilung des Ersatz-Irisbereichs wird an diejenige des Original-Irisbereichs angepasst. Dies wird durch einen Histogramm-Abgleich erzielt.
(ii) Der Ersatzbereich wird zu der Größe der Zieliris skaliert.
(iii) Es wird eine Alpha-Mischmaske erzeugt. Die Mischmaske ist vollkommen opak über der tatsächlichen Iris und transparent über der Pupille, der Hornhaut und den Lidern. In einigen Ausführungsformen kann auch das Augenschimmern in die Mischmaske aufgenommen werden.
(iv) Die Mischmaske wird mit einem adaptiv dimensionierten Kernel unscharf gemacht. Der Zweck dieses Schritts besteht darin, die gemischten Bereiche des Bilds allmählich in die umgebenden Bereiche verschwinden zu lassen.
(v) Der Helligkeitskanal des Zielbilds wird mit der Ersetzung basierend auf der Mischmaske gemischt. Für Bilder in YCC oder einem ähnlichen Format bleiben die Chroma-Kanäle (Farbkanäle) unverändert, um die ursprüngliche Augenfarbe aufrechtzuerhalten.

Ausführungsformen der vorliegenden Erfindung sind besonders geeignet für Bilder in einem Farbraum, in dem eine Trennung zwischen der Intensität/Helligkeit und der Chrominanz gegeben ist, wie z. B. YCC oder LAB, wo eine Bildebene und in diesem Fall Y oder L eine Graustufen-Helligkeitskomponente vorsieht. In diesem Fall ist es die Y- oder L-Ebene des Irisbereichs eines Bilds, die durch Y- oder L-Ebeneninformationen von einer anderen Iris ersetzt wird.
In einigen Fällen kann ein Abgleichen der Helligkeitshistogramme durchgeführt werden, um den Ersatz-Irisbereich bei dem gleichen Helligkeitspegel zu halten.

Claims

Verfahren für die Bildverarbeitung in einem Bildaufnahmegerät, umfassend: Speichern eines oder mehrerer Standard-Irisbereiche für eine oder mehrere Personen in einem Speicher, Aufnehmen eines Bilds mit einem oder mehreren darin enthaltenen Gesichtsbereichen, Identifizieren eines oder mehrerer Irisbereiche in dem einen oder den mehreren Gesichtsbereichen, Analysieren des einen oder der mehreren Irisbereiche für das Identifizieren eines Irisbereichs, der ein Irismuster mit einer ausreichenden Qualität enthält, sodass sich das Risiko einer biometrischen Erkennung einer Person in dem Bild ergibt, in Reaktion auf das Identifizieren eines derartigen Irisbereichs, Bestimmen eines entsprechenden Ersatz-Irisbereichs für die Person, der ein Irismuster enthält, das ausreichend verschieden von dem identifizierten Irismuster ist, um eine Erkennung der Person in dem Bild zu vermeiden, wobei das Bestimmen umfasst: Abrufen eines gespeicherten Standard-Irisbereichs für die Person aus dem Speicher, für jeweils den Standard-Irisbereich und den identifizierten Irisbereich: sukzessives Unscharfmachen der Irisbereiche, wobei jedes sukzessive Unscharfmachen die Unschärfe des Irisbereichs verstärkt, Subtrahieren jedes unscharf gemachten Irisbereichs von einem entsprechenden weniger unscharf gemachten Irisbereich, um sukzessive unscharf gemachte Detailbilder zu erzeugen, Subtrahieren jedes sukzessive unscharf gemachten detaillierten Bilds für den identifizierten Irisbereich von dem identifizierten Irisbereich, um ein Irisbereich-Basisbild zu erzeugen, und Addieren jedes sukzessive unscharf gemachten detaillierten Irisbereichs für den Standard-Irisbereich zu dem Basisbild, um den Ersatz-Irisbereich für das Originalbild vorzusehen.
Verfahren für die Bildverarbeitung in einem Bildaufnahmegerät, umfassend: Aufnehmen eines Bilds mit einem oder mehreren darin enthaltenen Gesichtsbereichen, Identifizieren eines oder mehrerer Irisbereiche in dem einen oder den mehreren Gesichtsbereichen, Analysieren des einen oder der mehreren Irisbereiche für das Identifizieren eines Irisbereichs, der ein Irismuster mit einer ausreichenden Qualität enthält, sodass sich das Risiko einer biometrischen Erkennung einer Person in dem Bild ergibt, in Reaktion auf das Identifizieren eines derartigen Irisbereichs, Bestimmen eines entsprechenden Ersatz-Irisbereichs, der ein Irismuster enthält, das ausreichend verschieden von dem identifizierten Irismuster ist, um eine Erkennung der Person in dem Bild zu vermeiden, und Ersetzen des identifizierten Irisbereichs durch den Ersatz-Irisbereich in dem Originalbild einschließlich des Identifizierens eines Bereichs eines Augenschimmerns in dem identifizierten Irisbereich und des Einfügens des Augenschimmerns beim Ersetzen des Irisbereichs.
Verfahren für die Bildverarbeitung in einem Bildaufnahmegerät, umfassend: Aufnehmen eines Bilds mit einem oder mehreren darin enthaltenen Gesichtsbereichen, Identifizieren eines oder mehrerer Irisbereiche in dem einen oder den mehreren Gesichtsbereichen, Analysieren des einen oder der mehreren Irisbereiche für das Identifizieren eines Irisbereichs, der ein Irismuster mit einer ausreichenden Qualität enthält, sodass sich das Risiko einer biometrischen Erkennung einer Person in dem Bild ergibt, in Reaktion auf das Identifizieren eines derartigen Irisbereichs, Bestimmen eines entsprechenden Ersatz-Irisbereichs, der ein Irismuster enthält, das ausreichend verschieden von dem identifizierten Irismuster ist, um eine Erkennung der Person in dem Bild zu vermeiden, wobei das Bestimmen eines entsprechenden Ersatz-Irisbereichs umfasst: Bestimmen eines Iriscodes aus einem Irismuster für den identifizierten Irisbereich, Verwürfeln ausgewählter Teile des Iriscodes, Erzeugen eines Irismusters in Entsprechung zu dem verwürfelten Iriscode, und Erzeugen des Ersatz-Irisbereichs aus dem erzeugten Irismuster, und Ersetzen des identifizierten Irisbereichs durch den Ersatz-Irisbereich in dem Originalbild.
Verfahren nach Anspruch 1, 2 oder 3, das weiterhin das Speichern, Senden oder andersartige Permanentmachen des Bilds mit dem darin enthaltenen Ersatz-Irisbereich umfasst.
Verfahren nach Anspruch 1, 2 oder 3, wobei das Bild ein Einzelbild innerhalb einer Sequenz von Einzelbildern umfasst und wobei das Verfahren das Identifizieren und Verfolgen von Gesichtsbereichen in der Sequenz umfasst.
Verfahren nach Anspruch 1, 2 oder 3, wobei das Bild ein Standbild ist.
Verfahren nach Anspruch 1, 2 oder 3, wobei das Analysieren zuerst das Identifizieren von Augenbereichen in den Gesichtsbereichen und dann das Bewerten der Augengröße, des Fokus und/oder des lokalen Kontrasts/der Schärfe umfasst, um die Qualität der Irismuster zu bestimmen.
Verfahren nach Anspruch 7, das weiterhin das Extrahieren von Irisbereichen aus Augenbereichen, für die identifiziert wird, dass sie möglicherweise ein Irismuster mit einer ausreichenden Qualität enthalten, sodass sich das Risiko einer biometrischen Erkennung einer Person in dem Bild ergibt.
Verfahren nach Anspruch 8, wobei das Analysieren weiterhin das Bewerten einer beliebigen Kombination aus Folgendem umfasst: ob ein extrahierter Irisbereich eine ausreichende Größe oder Fläche aufweist; ob ein extrahierter Irisbereich eine gegebene Form aufweist; ob ein extrahierter Irisbereich einen ausreichenden Kontrast mit einer benachbarte Pupille oder Lederhaut aufweist; ob der Blickwinkel eines Auges mit dem darin enthaltenen Irisbereich ausreichend nahe ist, um zu dem Bildverarbeitungsgerät gerichtet zu werden; ob der Augenbereich ausreichend scharf oder nicht-unscharfgemacht ist, sodass sich ein Risiko für eine biometrische Erkennung einer Person in dem Bild ergibt.
Verfahren nach Anspruch 2, das weiterhin das Speichern eines entsprechenden Ersatz-Irisbereichs in einem sicheren Speicher in dem Bildaufnahmegerät für eine oder mehrere Personen und in Reaktion auf das Analysieren das Identifizieren eines mit einer Person in einem Bild assoziierten Irisbereichs umfasst, wobei das Bestimmen das Abrufen des gespeicherten Ersatz-Irisbereichs aus dem sicheren Speicher umfasst.
Verfahren nach Anspruch 1, 2 oder 3, wobei das Analysieren weiterhin das Unterwerfen eines Irismusters für jeden des einen oder der mehreren identifizierten Irisbereiche an eine biometrische Authentifizierungseinheit (BAU) und in Reaktion darauf, dass die BAU einen Iriscode für das Irismuster vorsieht, das Bestätigen, dass der Irisbereich eine ausreichende Qualität aufweist, sodass sich das Risiko für eine biometrische Erkennung einer Person in dem Bild ergibt, umfasst.
Verfahren nach Anspruch 11, wobei das Analysieren in Reaktion darauf, dass die BAU einen Fehlercode für ein Irismuster vorsieht, erfolgt, um das Irismuster für den identifizierten Irisbereich anzupassen, bevor das angepasste Irismuster erneut der BAU unterworfen wird.
Verfahren nach Anspruch 12, wobei das Anpassen das Anpassen des Kontrasts des Irismusters umfasst.
Verfahren nach Anspruch 10, wobei das Bestimmen eines entsprechenden Ersatz-Irisbereichs das Abrufen einer Vielzahl von Ersatz-Irisbereichen aus dem sicheren Speicher, das radiale Segmentieren von Irismustern für die Irisbereiche, das Einsetzen von Segmenten aus Irismustern mit einem ähnlichen Segmentierungswinkel, um ein kombiniertes Irismuster zu erzeugen, und das Erzeugen des Ersatz-Irisbereichs aus dem kombinierten Irismuster umfasst.
Verfahren nach Anspruch 10, wobei das Bestimmen eines entsprechenden Ersatz-Irisbereichs das Abrufen einer Vielzahl von Ersatz-Irisbereichen aus dem sicheren Speicher, das Patch-Abtasten von Irismustern für die abgerufenen Irisbereiche, um ein kombiniertes Irismuster zu erzeugen, und das Erzeugen des Ersatz-Irisbereichs aus dem kombinierten Irismuster umfasst.
Verfahren nach Anspruch 2, wobei das Bestimmen eines entsprechenden Ersatz-Irisbereichs eines der Folgenden umfasst: Patch-Abtasten eines Irismusters für den identifizierten Irisbereich, und Erzeugen des Ersatz-Irisbereichs aus dem Patch-abgetasteten Irismuster, oder Synthetisieren eines Irismusters und Erzeugen des Ersatz-Irisbereichs aus dem synthetisierten Irismuster.
Verfahren nach Anspruch 10, wobei das Bestimmen eines entsprechenden Ersatz-Irisbereichs das Abrufen eines Standard-Irisbereichs aus dem sicheren Speicher und das Mischen von Helligkeitsinformationen aus dem Standard-Irisbereich mit Helligkeitsinformationen für den identifizierten Irisbereich, um den Ersatz-Irisbereich vorzusehen, umfasst.
Verfahren nach Anspruch 1, 2 oder 3, das weiterhin das Vergleichen des Irismusters für den Ersatz-Irisbereich mit dem Irismuster für den identifizierten Irisbereich, um zu bestimmen, ob der Ersatz-Irisbereich ausreichend verschieden von dem identifizierten Irisbereich ist, umfasst.
Verfahren nach Anspruch 18, wobei das Vergleichen das Vergleichen einer Hamming-Distanz zwischen einem Iriscode für den Ersatz-Irisbereich und einem Iriscode für den identifizierten Irisbereich mit einem Schwellwert, um zu bestimmen, ob der Ersatz-Irisbereich ausreichend verschieden von dem identifizierten Irisbereich ist, umfasst.
Verfahren nach Anspruch 19, wobei der Schwellwert zwischen 0,33 und 0,5 beträgt.
Verfahren nach Anspruch 2 oder 3, wobei das Ersetzen des identifizierten Irisbereichs durch den Ersatz-Irisbereich in dem Originalbild eines oder mehrere der Folgenden umfasst: Abgleichen einer Helligkeitsverteilung des Ersatz-Irisbereichs mit dem identifizierten Irisbereich, Skalieren des Ersatz-Irisbereichs zu der Größe des identifizierten Irisbereichs, Einblenden des Ersatz-Irisbereichs in den identifizierten Irisbereich in dem Bild, und Unscharfmachen des Ersatz-Irisbereichs in dem Bild.
Verfahren nach Anspruch 1 oder 3, das weiterhin umfasst: Identifizieren eines Bereichs eines Augenschimmerns in dem identifizierten Irisbereich und Einfügen des Augenschimmerns beim Ersetzen des Irisbereichs.
Verfahren nach Anspruch 1, 2 oder 3, wobei der Schritt zum Bestimmen eines entsprechenden Ersatz-Irisbereichs auf nur einer Intensitätsbildebene durchgeführt wird.
Computerprogrammprodukt mit einem computerlesbaren Medium, auf dem Befehle gespeichert sind, die bei einer Ausführung auf einem Bildverarbeitungsgerät die Schritte nach einem der Ansprüche 1 bis 23 durchführen.
Bildverarbeitungsgerät, das umfasst: einen Bildsensor für das Aufnehmen eines Bilds mit darin einem oder mehreren Gesichtsbereichen, und ein Verarbeitungsmodul, das angeordnet ist zum Durchführen der Schritte gemäß einem der Ansprüche 1 bis 23.