-
ALLGEMEINER STAND DER TECHNIK
-
1. Erfindungsgebiet
-
Die
vorliegende Erfindung betrifft Vorrichtungen und Verfahren zum Identifizieren
von Personal und insbesondere Vorrichtungen und Verfahren zum Identifizieren
von Personal auf der Basis von visuellen Charakteristiken der Iris
ihrer Augen.
-
2. Beschreibung des verwandten
Stands der Technik
-
Die
Iriserkennung oder ”Iriserfassung” ist ein Verfahren
zur biometrischen Personalidentifikation, das Mustererkennungsalgorithmen
basierend auf Bildern von mindestens einer der Iris der Augen einer Person
verwendet. Die Iriserkennung verwendet Kameratechnologie, um Bilder
von den Details der Iris herzustellen. Diese Bilder werden in digitale
Schablonen umgewandelt und liefern mathematische Darstellungen der
Iris, die zum Identifizieren von individuellen Personen verwendet
werden.
-
Aufgrund
von Hardwarebegrenzungen sind die Bilder, die erfasst werden, oftmals
verschmiert. Das Irisbild-Deblurring (Schärfen) kann die
Robustheit für weniger intrusive Iriserfassungssysteme
stark verbessern. Die meisten bekannten Iris-Deblurring-Algorithmen
ignorieren die Charakteristiken des Erfassungssystems selbst und
konzentrieren sich nur auf Merkmale, die direkt anhand der Irisbilder
berechnet werden. Insbesondere ist bei vielen Iriserfassungssystemen
oftmals eine Systemverzögerung zwischen dem identifizierten
Erfassungsevent und der realen Verschlussauslösung der
Kamera zu sehen. Die Verzögerung kann aus mehreren Teilen
bestehen, der Zeit zum Bewegen der Linse in die gewünschte
Position, der Zeit zum Auslösen des Verschlusses und Erfassen
des Bilds und der Zeit zum Bewegen der Schwenk-Neigungseinheit.
Wenn sich ein Benutzer bewegt, sind deshalb die fokussierte Tiefe
der Kamera und die tatsächliche Tiefe der Augen üblicherweise
unterschiedlich. Wenn die Tiefendifferenz größer
ist als die Schärfentiefe (DOF – Depth of Field)
der Kamera, kommt es zu einer Unschärfe, was die Leistung
der Iriserkennung stark verschlechtern kann.
-
Was
in der Technik weder offenbart noch nahegelegt wird, ist ein Verfahren
zum Irisbild-Deblurring, das Fokussierungscharakteristiken der Kamera in
solchen Fällen kompensieren kann, in denen es unpraktisch
ist, eine ideale Fokusposition der Linse zu erreichen, bevor das
Bild erfasst wird.
-
KURZE DARSTELLUNG DER ERFINDUNG
-
Die
vorliegende Erfindung liefert ein neuartiges Verfahren, das zum
Schätzen der Blur-Kernel-Parameter für das Iris-Deblurring
Tiefeninformationen (d. h. den Abstand von der Kamera zu dem Benutzer)
verwendet. Das Verfahren kann auch für Iriserfassungssysteme
gelten, bei denen präzise Tiefeninformationen erhalten
werden können. Das Verfahren der Erfindung kann Unschärfe
handhaben, wenn die wirkliche Fokusposition wegen der typischen
Systemverzögerung, die oftmals bei Iriserfassungssystemen
anzutreffen ist, nicht anhand der Tiefeninformationen geschätzt
werden kann. Die Erfindung kann eine Korrektur der Unschärfe
ermöglichen, wenn die Fokusposition der Kamera nicht schnell
genug eingestellt werden kann, um mit der Bewegung des Objekts mitzuhalten.
-
Wenn
die präzisen Tiefeninformationen in Echtzeit erhalten werden
können, kann das System die gewünschte Fokusposition
auf der Basis der Geschwindigkeit des Benutzers vorhersagen. Selbst
in diesem Szenarium ist es jedoch möglich, dass die vorhergesagte
Position des Benutzers und somit die vorhergesagte Fokusposition
immer noch ungenau ist. Bei einigen Ausführungsformen kann
die vorliegende Erfindung die Unschärfe in solchen Fällen
korrigieren, in denen die Position des Benutzers nicht mit ausreichender
Genauigkeit vorhergesagt werden kann, um das Bild mit einer akzeptablen
Fokusposition zu erfassen.
-
Bei
einer Ausführungsform umfasst die vorliegende Erfindung
ein Verfahren zum Schätzen einer Blur-Kernel-Verteilung
für visuelle Iriserkennung, das Folgendes beinhaltet: Bestimmen
einer ersten mathematischen Beziehung zwischen einer Schärfeposition
einer Kameralinse und einem Abstand zwischen der Kamera und einer
Iris, deren Bild von der Kamera erfasst werden soll. Die erste Beziehung wird
dazu verwendet, eine zweite mathematische Beziehung zwischen der
Schärfeposition der Linse und einer Standardabweichung,
die eine Gaußsche Blur-Kernel-Verteilung definiert, zu
schätzen. Eine Position eines Auges eines Lebewesens zu
einem zukünftigen Zeitpunkt wird vorhergesagt. Eine Fokusposition
der Kameralinse wird auf der Basis der vorhergesagten Position des
Auges eingestellt. Die Kameralinse mit der eingestellten Fokusposition
wird verwendet, um ein Bild des Auges des Lebewesens zu dem Zeitpunkt
herzustellen. Eine tatsächliche Position des Auges des
Lebewesens zu dem Zeitpunkt wird erfasst. Die erste Beziehung wird
dazu verwendet, eine gewünschte Fokusposition der Linse
auf der Basis der tatsächlichen Position des Auges des
Lebewesens zu dem Zeitpunkt festzustellen. Die zweite Beziehung
wird dazu verwendet, eine Standardabweichung zu berechnen, die eine
Gaußsche Blur-Kernel-Verteilung definiert. Das Berechnen
basiert auf einer Differenz zwischen der eingestellten Fokusposition
und der gewünschten Fokusposition der Linse.
-
Bei
einer weiteren Ausführungsform umfasst die vorliegende
Erfindung ein Verfahren zum visuellen Erkennen einer Iris. Eine
Position eines Auges eines Lebewesens zu einem zukünftigen
Zeitpunkt wird vorhergesagt. Eine Fokusposition einer Kameralinse
wird in Abhängigkeit von der vorhergesagten Position eingestellt.
Die Kameralinse mit der eingestellten Fokusposition wird verwendet,
um ein Bild des Auges des Lebewesens zu dem Zeitpunkt herzustellen.
Eine tatsächliche Position des Auges des Lebewesens zu
dem Zeitpunkt wird erfasst. Eine Gaußsche Blur-Kernel-Verteilung
wird auf der Basis der eingestellten Fokusposition der Kameralinse
und der tatsächlichen Position des Auges des Lebewesens zu
dem Zeitpunkt bestimmt. Die Blur-Kernel-Verteilung wird dazu verwendet,
das erzeugte Bild digital zu schärfen.
-
Bei
noch einer weiteren Ausführungsform umfasst die vorliegende
Erfindung ein Verfahren zum Erfassen eines Bilds einer Iris, die
das Verwenden einer Kameralinse mit einer Fokusposition zum Herstellen
eines Bilds eines Auges des Lebewesens beinhaltet. Eine tatsächliche
Position des Auges des Lebewesens wird zu einem Zeitpunkt erfasst,
zu dem die Kamera das Bild des Auges des Lebewesens erzeugte. Das
erzeugte Bild wird auf der Basis der Fokusposition der Kameralinse
und der tatsächlichen Position des Auges des Lebewesens
zu dem Zeitpunk digital geschärft.
-
Ein
Vorteil der vorliegenden Erfindung besteht darin, dass sie es ermöglicht,
ein Irisbild präzise zu schärfen, das mit einer
Kamerafokusposition erfasst wurde, die für den Abstand
zwischen der Kamera und der Iris zu dem Zeitpunkt, zu dem das Bild
erfasst wird, weniger als ideal ist.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Die
oben erwähnten und weitere Merkmale und Aufgaben der vorliegenden
Erfindung und die Art und Weise, um sie zu erzielen, werden durch
Bezugnahme auf die folgende Beschreibung einer Ausführungsform
der Erfindung in Verbindung mit den beiliegenden Zeichnungen offensichtlicher
und die Erfindung selbst wird besser verstanden werden. Es zeigen:
-
1 ein
Blockdiagramm einer Ausführungsform eines Iriserfassungssystems
gemäß einer Ausführungsform der Erfindung;
-
2 ein
Operationsblockdiagramm des Iriserfassungssystems von 1;
-
3 ein
Beispiel einer angepassten Kurve für die gemessenen Fokuspositionen
der Kamera des Systems von 1 als Funktion
der Tiefe zwischen der Kameralinse und dem Objekt;
-
4a Beispiele
von Kurven der Standardabweichung der Gaußschen Blur-Kernel-Verteilung als
Funktion der Fokusposition der Kamera des Systems von 1 für
verschiedene Abstände zwischen der Kamera und der Iris
gemäß einer Ausführungsform eines Verfahrens
der vorliegenden Erfindung zum visuellen Erkennen einer Iris;
-
4b die
Kurve von 4a entsprechend einem Abstand
von 3,30 Metern zwischen der Kamera und der Iris;
-
4c die
Kurve von 4a entsprechend einem Abstand
von 2,97 Meter zwischen der Kamera und der Iris;
-
4d die
Kurve von 4a entsprechend einem Abstand
von 2,56 Metern zwischen der Kamera und der Iris;
-
4e die
Kurve von 4a entsprechend einem Abstand
von 2,00 Metern zwischen der Kamera und der Iris;
-
4f die
Kurve von 4a entsprechend einem Abstand
von 1,58 Meter zwischen der Kamera und der Iris;
-
4g die
Kurve von 4a entsprechend einem Abstand
von 1,43 Metern zwischen der Kamera und der Iris;
-
4h eine
Kurve, die zeigt, wie eine Standardabweichung, die eine Blur-Kernel-Verteilung
definiert, die für das Schärfen angemessen ist,
gemäß einer Ausführungsform eines Verfahrens
der vorliegenden Erfindung berechnet werden kann; und
-
5 eine
Kurve der Verteilungen von Bildgradienten von zufälligen
natürlichen Bildern und von globalen Irisbildern.
-
Entsprechende
Referenzzeichen zeigen in den mehreren Ansichten entsprechende Teile
an. Wenngleich die Zeichnungen Ausführungsformen der vorliegenden
Erfindung darstellen, sind die Zeichnungen nicht notwendigerweise
maßstabsgetreu und bestimmte Merkmale können übertrieben sein,
um die vorliegende Erfindung besser zu veranschaulichen und zu erläutern.
Wenngleich die hierin dargelegte Exemplifikation Ausführungsformen
der Erfindung in verschiedenen Formen zeigt, sollen die unten offenbarten
Ausführungsformen nicht erschöpfend sein oder
so ausgelegt werden, dass sie den Schutzbereich der Erfindung auf
die offenbarten präzisen Formen beschränken.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die
im folgenden offenbarten Ausführungsformen sollen nicht
erschöpfend sein oder die Erfindung auf die in der folgenden
Beschreibung offenbarten präzisen Formen beschränken.
Vielmehr werden die Ausführungsformen so gewählt
und beschrieben, dass andere Fachleute ihre Lehren nutzen können.
-
Nunmehr
unter Bezugnahme auf die Zeichnungen und insbesondere auf 1 wird
eine Ausführungsform eines Iriserfassungssystems 20 der vorliegenden
Erfindung gezeigt, die Folgendes enthält: eine NFOV-NIR-Kamera 22 mit
justierbarem Fokus, eine NIR-Leuchte 24 und einen Tiefensensor 26, alle
in elektronischer Kommunikation mit einem Zentralprozessor 28.
Das System 20 kann Bilder von sich bewegenden Objekten
wie etwa einem Menschen 30 oder einem Menschen 32 erfassen
und deren Positionen detektieren, wenn er sich einer Türöffnung
nähert, wo die Kamera 22, die Leuchte 24 und
der Sensor 26 montiert sind, wie etwa in einer durch Pfeil 36 angegebenen
Richtung. Die Kamera 22 kann mit einer Montagehöhe
H und einem Neigungswinkel α installiert sein, so dass
ein Standoff-Abstand 38 für den Benutzer etwa
zwischen 1,5 Meter und 3,5 Meter liegt und der Durchmesser der erfassten
Iris über 150 Pixel liegt. Bei einer Ausführungsform
beträgt die Höhe H etwa 250 Zentimeter. Die Breite
eines Erfassungsvolumens 40 kann in der Größenordnung
von 20 Zentimetern liegen. Bei der in 1 gezeigten Ausführungsform
beträgt eine Breite 42 des Erfassungsvolumens 40,
wo das Bild und die Gestalt der größeren Person 30 erfasst
werden, etwa 17 Zentimeter, und eine Breite 44 des Erfassungsvolumens 40,
wo das Bild und die Gestalt der kürzeren Person 32 erfasst
werden, beträgt etwa 30 Zentimeter. Viele Einrichtungen
sind für das Messen von Tiefeninformationen bekannt, wie
etwa Stereokameras, Laufzeitsensoren und Strukturlichter.
-
Bei
Ausführungsformen, bei denen die NFOV-Kamera 22 keine
Schwenk- und Neigfähigkeiten besitzt, muss der Mensch,
dessen Bild und Gestalt erfasst werden, beim Annähern an
die Türöffnung auf die Kamera 22 blicken.
Die Iriserfassung kann für Benutzer mit unterschiedlichen
Höhen bei unterschiedlichen Standoff-Abständen
ausgelöst werden.
-
Der
Tiefensensor 26 kann an verschiedenen Positionen und in
verschiedenen Orientierungen installiert werden. Der Tiefensensor 26 kann
sehr nahe an der NFOV-Kamera 22 positioniert werden, um
ein kompakteres Design zu gestatten. Die NIR-Leuchte 24 kann
an einem beliebigen Ort platziert werden, solange sie das Erfassungsvolumen 40 beleuchtet.
-
Das
System 20 kann auf andere mögliche Umgebungen
angewendet werden, in denen der Tiefensensor 26 verwendet
wird. Beispielsweise kann die Kamera 22 in Form einer Hochgeschwindigkeits-Hochleistungs-Videokamera
vorliegen. Alternativ kann die Kamera 22 einen festen Fokus
oder einen justierbaren Fokus auf der Basis des Abstands zwischen
der Kamera und dem Benutzer aufweisen. Es ist auch möglich,
dass die Kamera 22 Schwenk-Neigungs-Fähigkeiten
enthält, um das Erfassungsvolumen weiter zu vergrößern.
-
Ein
Operationsblockdiagramm von System 20 ist in 2 gezeigt.
Die vom Tiefensensor 26 gemessenen dreidimensionalen Informationen
können auf unterschiedliche Weisen innerhalb des Systems 20 verwendet
werden. Zuerst kann an den vom Tiefensensor 26 erfassten überabgetasteten
Intensitätsbildern 48 eine Gesichtsdetektion und
-verfolgung 46 durchgeführt werden. Die dreidimensionale
Position der Augen kann dann anhand eines oberen Abschnitts der
detektierten Gesichtstiefenkarten geschätzt werden. Der
nächste Augenort für das sich bewegende Objekt
kann in Echtzeit präzise vorhergesagt werden. Beispielsweise
können Zeitraten der Änderung der dreidimensionalen
Position der Augen extrapoliert werden, um zukünftige Augenorte
vorherzusagen. Zweitens kann die dreidimensionale Position dazu
verwendet werden zu bestimmen, ob Augen innerhalb des Blickfeldes
liegen und ob der Standoff-Abstand innerhalb der Schärfentiefe
liegt. Wenn diese beiden Bedingungen erfüllt sind, kann
die NFOV-Kamera angewiesen werden, eine Bilderfassung durchzuführen,
wie bei 50. Drittens können die Tiefeninformationen
verwendet werden, um die Fokusposition der Linse der NFOV-Kamera 22 dynamisch
zu steuern. Schließlich können die Tiefeninformationen
verwendet werden, um den Blur-Kernel 52 für das
Deblurring der Iris zu schätzen, wie bei 53. Das
Deblurring kann bei einem Iriserkennungsalgorithmus 55 nützlich
sein. Präzisere Tiefeninformationen könnten verwendet
werden, um die Geschwindigkeit und zukünftigen Positionen
des Menschen vorherzusagen, so dass die reale oder gewünschte Fokusposition
selbst dann präziser geschätzt werden kann, wenn
die Systemverzögerung existiert. Die reale oder gewünschte
Fokusposition kann diejenige Fokusposition darstellen, die für
die zukünftige geschätzte Position des Menschen
ideal ist.
-
Eine
Kalibrierung zwischen der NFOV-Kamera 22 und dem Tiefensensor 26 kann
durchgeführt werden, wie bei 54. Bei einer Ausführungsform
könnte der Tiefensensor 26 ein TOF-Sensor sein.
Viele existierende TOF-Sensoren enthalten eine systematische Tiefenvoreinstellung
von der Demodulation der Korrelationsfunktion und von einfallenden
Lichtern, und so kann eine Kalibrierung oder sogenannte ”Vorkalibrierung” des
TOF-Sensors zu einer besseren Tiefenmessung führen. Bei
einem ersten Schritt eines neuartigen Kalibrierungsverfahrens der vorliegenden
Erfindung kann eine große plane Platte in unterschiedlichen
Tiefen und mit unterschiedlichen Orientierungen positioniert werden.
Eine robuste Ebenenanpassung kann dann für die plane Platte
an jeder Position angewendet werden. Die Tiefenvoreinstellung kann
geschätzt werden, indem die Differenz zwischen der gemessenen
Tiefe und der angepassten Ebene berechnet wird. Nach der Kalibrierung
des TOF-Sensors 26 kann die Tiefenungenauigkeit stark reduziert
werden, insbesondere die Tiefenungenauigkeit zwischen 1, 3 und 2
Metern. Um die Tiefe in dem Koordinatensystem des TOF-Sensors 26 zu
der der NFOV-Kamera 22 zu transformieren, kann eine volle
Systemkalibrierung durchgeführt werden. Die NFOV-Kamera
mit einem Teleobjektiv kann als eine affine Kamera approximiert
werden. Ein planes Schachbrettmuster wird in verschiedenen Tiefen
erfasst. Da die Übereinstimmungen zwischen den zweidimensionalen
Punkten x von der NFOV-Kamera 22 und dreidimensionalen
Punkten X vom TOF-Sensor 26 bekannt sind, kann die Projektionsmatrix
P durch Minimieren der Rückprojektionsfehler berechnet
werden. Die intrinsischen und extrinsischen Matrizen können
durch eine RQ-Zerlegung von P erhalten werden.
-
Ein
Blur-Kernel-Schätzschritt 52 für das Iris-Deblurring
ist optional. Solange der Iris-Deblurring-Algorithmus die präzisen
Tiefeninformationen verwenden muss, können die vom TOF-Sensor 26 gelieferten
Tiefeninformationen ausreichen. Wenn in Erfassungssystemen keine
Tiefeninformationen zur Verfügung stehen, können
gewisse Statistiken des erfassten Bildes (z. B. Fokuspunkte) verwendet
werden, um den Blur-Kernel zu schätzen.
-
Die
Bildunschärfe kann als ein Konvolutionsprozess modelliert
werden:
I = L ⊗ h + n (1)wobei I,
L, h und n das verschmierte Bild, das geschärfte Bild,
die Punktspreizfunktion (PSF) oder den Blur-Kernel bzw. zusätzliches
Rauschen darstellen. Für die Unschärfe hängt
die PSF h von dem Streukreis R ab. Für Kameras mit einem
justierbaren Fokus ist R eine Funktion von zwei Parametern auf der
Basis des typischen Lochkameramodells. Die beiden Parameter sind
der Abstand d von dem Objekt zu der Linse und der Abstand s zwischen
der Linse und der Bildebene,
wobei D der Radius der Linse
und f die Brennweite der Linse ist. Für Kameras mit fester
Brennweite s wird R nur durch d bestimmt.
-
Die
PSF h für die Unschärfe kann als ein Gaußscher
Kernel modelliert werden,
-
Weil
das erfasste Augengebiet üblicherweise parallel zu der
Bildebene verläuft, kann die PSF h verschiebungsinvariant
sein.
-
Das
Blur-Kernel-Schätzverfahren der vorliegenden Erfindung
wird nun unter der Annahme beschrieben, dass die Tiefendifferenz
gemessen wird. Wenn Kameras mit fester Brennweite verwendet werden,
ist es relativ einfach, den Kernel zu schätzen. Das Kernel-Schätzverfahren
der vorliegenden Erfindung kann den allgemeineren Fall behandeln,
d. h. Kameras mit justierbarem Fokus. Wie oben erwähnt kann
die Tiefendifferenz hauptsächlich durch die Systemverzögerung
verursacht werden, wenn sich ein Objekt bewegt.
-
Da
die Linsenfokusposition p
f proportional
zu dem Abstand s zwischen der Linse und der Bildebene ist, wenn
der Streukreis R klein genug ist, kann die Beziehung zwischen der
Schärfeposition p
f der Linse und
d auf der Basis von Gleichung (2) abgeleitet werden,
-
Nach
dem Messen von Fokuspositionen von scharfen Bildern in unterschiedlichen
Tiefen können k1 und k2 durch
Kurvenanpassung unter Verwendung von Gleichung (4) leicht geschätzt
werden. 3 zeigt ein Beispiel einer angepassten
Kurve für die gemessenen Fokuspositionen und -tiefen.
-
Da
die Standardabweichung σh der Gaußschen
Blur-Kernel-Verteilung proportional zu R ist und s proportional
zu pf ist, dann kann, wenn d fest liegt,
die Beziehung zwischen σh und pf auf der Basis von Gleichung (2) abgeleitet
werden, σh =
|k3pf + k4| (5)
-
Wenngleich
die Parameter k1, k2,
k3 und k4 Charakteristiken
des Kamerasystems sind, besitzen sie keine offensichtliche physikalische
Bedeutung oder Darstellung. Die Standardabweichung σh, die die Gaußsche Blur-Kernel-Verteilung
definiert, kann nicht direkt gemessen werden. Somit kann der folgende
neuartige Algorithmus der vorliegenden Erfindung σh schätzen und dann k3 und
k4 entsprechend lernen.
-
In
einem ersten Schritt des Algorithmus werden scharfe und unscharfe
Schachbrettbilder unter verschiedenen Tiefen und unterschiedlichen
Fokuspositionen erfasst. Da scharfe und unscharfe Bilder bekannt
sind, ist nur σ
h unbekannt. Die
Standardabweichung σ
h wird geschätzt
durch
Das Subskript 2 in der Formel
bezeichnet eine Euklidische Norm oder eine L2-Norm.
-
In
einem nächsten Schritt werden k3 und
k4 durch ar gmink3.k4||k3pf + k4 – σh||22 geschätzt.
-
Die 4a–g
zeigen Beispiele der Anpassungsergebnisse für pf und σh auf
der Basis von Gleichung (5). Die 4a–g
sind Kurven der Fokusposition der Kamera 22 über
einer Standardabweichung der Blur-Kernel-Verteilung für
sechs verschiedene Abstände zwischen Kamera 22 und
der Iris des Objekts. Die Kurve für jeden der sechs Abstände
ist V-förmig, wobei der Ursprung des ”V” die
diesem Abstand entsprechende Schärfeposition ist. Der Parameter
k3 kann die Steigung einer entsprechenden V-förmigen
Kurve in 4a–g darstellen, und
der Parameter k4 kann den y-Achsenabschnitt
der entsprechenden V-förmigen Kurve darstellen. Die V-förmige Kurve 60 entspricht
einem Abstand von etwa 3,30 Metern; die V-förmige Kurve 62 entspricht
einem Abstand von etwa 2,97 Metern; die V-förmige Kurve 64 entspricht
einem Abstand von etwa 2,56 Metern; die V-förmige Kurve 66 entspricht
einem Abstand von etwa 2,00 Metern; die V-förmige Kurve 68 entspricht einem
Abstand von etwa 1,58 Meter und die V-förmige Kurve 70 entspricht
einem Abstand von etwa 1,43 Metern.
-
Jeder
der Kreise in 4a–g stellt einen empirisch
gesammelten Datenpunkt dar. Die Datenpunkte an der Oberseite (Standardabweichung
= 20) von 4a–g sind die Bilder,
die stark verschmiert sind. Es ist möglicherweise nicht
machbar, in der Praxis diese Arten von schwer verschmierten Bildern selbst
mit einer großen Kernel-Größe wiederherzustellen.
Somit werden diese schwer verschmierten Bilder als Ausreißer
behandelt und werden nicht in die Schätzung aufgenommen.
-
Auf
der Basis der 3 und 4a–g
kann geschlossen werden, dass die in Gleichungen (4) und (5) beschriebenen
Modelle für reale Kamerasysteme verwendet werden können,
selbst wenn die Ableitung der Gleichungen (4) und (5) auf dem traditionellen
Lochkameramodell basiert. Eine praktische Verwendung der Kurven
von 4a–g besteht darin, den Blur-Kernel zu
schätzen, wenn sich das Objekt bewegt.
-
Wenn
ein Benutzer das Blickfeld des Erfassungssystems eingibt, kann die
dreidimensionale Position der Augen des Benutzers nach der Systemverzögerung
vorhergesagt werden. Wenn die vorhergesagte Augenposition der Auslösebedingung
genügt, wird die vorhergesagte scharfe Position anhand
Gleichung (4) berechnet, und p f Bild wird an dieser Position erzeugt.
Die korrekte (d. h. tatsächliche) Tiefe zur Zeit der Bilderfassung
(nach der Systemverzögerung) wird gemessen, und die korrekte
oder ideale scharfe Position entsprechend der tatsächlichen
Tiefenmessung wird berechnet p f beispielsweise kann unter der Annahme,
dass die korrekte oder ideale scharfe Position wie für
eine tatsächliche gemessene Tiefe 15 beträgt (wie
bei dem Ursprung der V-förn p f n Kurve
in 4h gezeigt), ein neues Modell interpoliert werden
(d. h. Gleichung (5) mit verschiedenen Werten für k3 und k4). Das neue
Modell ist als die gestrichelte V-förmige Kurve gezeigt,
die am Fokuspunkt 15 in 4h entspringt.
Unter der Annahme, dass die vorhergesagte scharfe Position, die
tatsächlich zum Erzeugen des Irisbildes verwendet wurde, 13,5
beträgt, wie durch das Rechteck bei 13,5 in 4h gezeigt,
ist p f Standardabweichung σh, die die für die Verwendung beim
Deblurring angebrachte Blur-Kernel-Verteilung definiert, in 4h als
etwa 8 gezeigt. Die Standardabweichung σh kann
berechnet werden, indem die vorhergesagte Fokusposition von 13,5
genommen wird, die tatsächlich zum Erzeugen des Bildes
verwendet wurde, und dieser Wert von 13,5 in Gleichung (5) zusammen
mit den Werten von k3 und k4 eingesetzt
wird, die der tatsächlichen Tiefenmessung entsprechen (d.
h. der tatsächlichen Tiefenmessung, die einer idealen Fokusposition
von 15 entspricht).
-
Die
oben beschriebene Berechnung der Gaußschen Blur-Kernel-Verteilung
kann dazu verwendet werden, ein erfasstes verschmiertes Bild zu schärfen,
wie unten ausführlich beschrieben. Insbesondere kann der
Prozess des Bildschärfens im bayesanischen Ansatz durch
den Satz von Bayes formuliert werden, P(L|σh, I) ∝ P(I|L, σh)P(L)wobei die Gleichung P(I\L, σh) die Wahrscheinlichkeit ist, dass L das
klare Bild ist, wenn ein durch eine Gaußsche Verteilung
definierter Blur-Kernel gegeben ist, der wiederum durch eine Standardabweichung σh definiert ist. P(L) stellt den Prior an
dem nichtverschmierten Bild L dar. Eine Prior-Wahrscheinlichkeit oder
ein ”Prior” ist eine marginale Wahrscheinlichkeit, interpretiert
als das, was über eine Variable in Abwesenheit einer gewissen
Evidenz bekannt ist. Die spätere Wahrscheinlichkeit ist
dann die konditionale Wahrscheinlichkeit der Variablen unter Berücksichtigung
der Evidenz. Die spätere Wahrscheinlichkeit kann anhand
des Prior und der Likelihood-Funktion über den Satz von
Bayes berechnet werden.
-
Verschiedene
in diesem Ansatz gewählte Priors können zu verschiedenen
Deblurring-Algorithmen mit unterschiedlichen Leistungen führen.
Der neuartige Iris-Deblurring-Algorithmus der vorliegenden Erfindung
kann in jedem Iriserfassungssystem zum Behandeln der Unschärfe
angewendet werden. Der Prior für das nichtverschmierte
Bild L kann von drei Prior-Komponenten abhängen, die auf
globalen und lokalen Irisbildstatistiken basieren: P(L)
= Pg(L)Pp(L)Ps(L).
-
Der
erste Prior Pg(L) kann anhand einer empirisch
bestimmten globalen Verteilung der Irisbildgradienten berechnet
werden; Pp(L) kann auf der Basis von Charakteristiken
eines dunklen Pupillengebiets berechnet werden, und Ps(L)
kann anhand des Pupillensättigungsgebiets berechnet werden
(d. h. das Spitzlichtgebiet der Pupille, das mit Intensitätswerten
von hoher Helligkeit gesättigt ist). Für ein allgemeines
Bild-Deblurring kann die globale Verteilung von Irisbildgradienten
durch eine Mischung von Gaußschen Verteilungen, Exponentialfunktionen
und stückweisen stetigen Funktionen approximiert werden.
Gaußsche Mischverteilungen werden beschrieben in "Removing
camera shake from a single photograph", R. Fergus, B. Singh,
A. Hertzmann, S. T. Roweis und W. T. Freeman, ACM Transactions an
Graphics, 2006; Exponentialfunktionen werden beschrieben
in "Image and depth from a conventional camera with a coded
aperture", A. Levin, R. Fergus, F. Durand und W. T. Freeman,
ACM Transactions an Graphics, 2007; und stückweise
stetige Funktionen werden beschrieben in "High-quality
motion deblurring from a single image", Q. Shan, J. Jia
und A. Agarwala, in SIGGRAPH 2008, die alle in ihrer Gänze
durch Bezugnahme hier aufgenommen sind.
-
Weil
der Anwendungsbereich Irisbilder anstatt natürliche Bilder
ist, kann gemäß einer Ausführungsform
der vorliegenden Erfindung die globale Verteilung nur aus Irisbildern
berechnet werden. Wie in 5 gezeigt, weist die Verteilung
von allgemeinen natürlichen Bildern (d. h. allen in der
Natur angetroffenen Bildern wie etwa Himmel, Wasser, Landschaft)
eine größere Unbestimmtheit auf als die Verteilung
von globalen Irisbildern. Die vorliegende Erfindung nutzt den engen
Bereich der globalen Irisbildstatistiken.
-
Infolge
der engeren Irisbildstatistiken ist die Verteilung von Irisbildgradienten
ein stärkerer Prior. Eine zwei-stückweise quadratische
Funktion (d. h. eine stückweise quadratische Funktion mit
zwei separaten stetigen Abschnitten) kann zum Approximieren der
Verteilung verwendet werden, so dass die auf diesem bayesanischen
Problem basierende Optimierung einfacher und effizienter wird. Eine
allgemeine Form der zwei-stückweisen quadratischen Funktion kann
lauten:
wobei ∂L
i der Gradient für ein Pixel und
k der Schwellwert zwischen zwei Funktionen ist. Eine derartige zwei-stückweise
quadratische Funktion kann durch die angepasste Kurve in
5 dargestellt
werden, wobei sich der Schwellwert k an den Übergängen zwischen
den niederfrequenten und hochfrequenten Gebieten befindet.
-
Der
zweite P
p(L) und dritte P
s(L)
Prior können anhand des lokalen Pupillengebiets berechnet
werden, weil das dunkle Pupillengebiet im Vergleich zu den nahegelegenen
Irismustern wahrscheinlich glatt ist und das Spitzlichtgebiet wahrscheinlich
gesättigt ist. Deshalb können diese beiden Priors
beim Wiederherstellen von nahegelegenen Irismustern besonders nützlich
sein. Da das glatte Pupillengebiet im Allgemeinen kleine Gradienten
besitzt, die für die Unschärfe unempfindlich sind,
und das gesättigte Spitzlichtgebiet im Allgemeinen die
höchste Intensität enthält, können
die beiden Priors wie folgt berechnet werden:
wobei Ω
1 das
dunkle Pupillengebiet ist (d. h. ohne das Spitzlichtgebiet) und Ω
2 das gesättigte Spitzlichtgebiet
innerhalb der Pupille ist. Das dunkle Pupillengebiet und das gesättigte
Spitzlichtgebiet innerhalb der Pupille können durch Bildverarbeitungstechniken
wie etwa Schwellwertbildung, Erosion und Dilation detektiert werden.
Der 255-Term in der P
s(L)-Formel stellt den
höchsten (d. h. weißesten) Farbwert auf einer Skala
von 0 bis 255 dar.
-
Wenn
alle diese Priors zusammengelegt werden, kann das Iris-Deblurring-Problem
durch Minimieren einer Energiefunktion E in der folgenden quadratischen
Form gelöst werden: E ∝ ||I – L ⊗ h||2
+ λ1(||a1(∂L)2 +
b1||·M1 +
||a2(∂L)2 +
b2||·M2)
+ λ2(||∂L – ∂I||2·M3 + ||L – 255||2·M4),wobei
M1, M2, M3 und M4 Masken eines
niederfrequenten Gebiets, eines hochfrequenten Gebiets, eines dunklen
Pupillengebiets und eines Spitzlichtgebiets in der Pupille sind;
I das von der Kameralinse erfasste bekannte verschmierte Bild ist;
h der Blur-Kernel ist, der wie oben ausführlicher erörtert geschätzt
werden kann; und L das klare Bild ist, das bestimmt wird. Somit
kann bei gegebenen bekannten Werten für das verschmierte
Bild I und den Blur-Kernel h ein Bild L bestimmt werden, das E minimiert, und
dieses Bild L kann als eine Darstellung einer klaren scharfen Version
des erzeugten verschmierten Bilds I verwendet werden.
-
Der
Deblur-Kernel h kann basierend auf der Tiefeninformation oder den
Fokuspunkten geschätzt werden. Wenn der Blur-Kernel nicht
bekannt ist, ist es möglich, einen Gaußschen Prior
anstelle des Blur-Kernels hinzuzufügen, um die nicht-blinde
Dekonvolution in eine blinde zu konvertieren, die immer noch durch
den Optimierungsansatz gelöst werden kann.
-
Wenngleich
die vorliegende Erfindung so beschrieben worden ist, dass sie ein
beispielhaftes Design aufweist, kann die vorliegende Erfindung weiter innerhalb
des Gedankens und Schutz bereichs dieser Offenbarung modifiziert
werden. Diese Anmeldung soll deshalb alle Variationen, Verwendungen
oder Adaptationen der Erfindung unter Verwendung ihrer allgemeinen
Prinzipien abdecken. Weiterhin soll die vorliegende Anmeldung solche
Abweichungen von der vorliegenden Offenbarung abdecken, die innerhalb
der bekannten oder üblichen Praxis in der Technik liegen,
auf die sich die vorliegende Erfindung bezieht.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- - ”Removing
camera shake from a single photograph”, R. Fergus, B. Singh,
A. Hertzmann, S. T. Roweis und W. T. Freeman, ACM Transactions an Graphics,
2006 [0049]
- - Exponentialfunktionen werden beschrieben in ”Image
and depth from a conventional camera with a coded aperture”,
A. Levin, R. Fergus, F. Durand und W. T. Freeman, ACM Transactions
an Graphics, 2007 [0049]
- - ”High-quality motion deblurring from a single image”,
Q. Shan, J. Jia und A. Agarwala, in SIGGRAPH 2008 [0049]
