-
Die vorliegende Erfindung bezieht
sich allgemein auf den Bereich von Bilderzeugungssystemen und spezieller
auf ein Bildkorrektursystem und -verfahren.
-
Es gibt eine Vielfalt an Problemen,
die den Augen eines Subjekts eines erfaßten Bildes zugeordnet sind.
Ein relativ bekanntes Problem, das Photos und anderen Typen von
Bildern zugeordnet ist, ist das Phänomen roter Augen. Verschiedene
Systeme und Verfahren sind vorgeschlagen worden, um das Phänomen roter
Augen zu reduzieren oder praktisch zu eliminieren. Diese Systeme
und Verfahren können entweder
während
eines Einfangens eines Bildes oder in Verbindung mit einer Bildverarbeitung
oder beim Einfangen und der Verarbeitung verwendet werden.
-
Es können jedoch andere Probleme,
die den Augen eines Subjekts in einem Bildes zugeordnet sind, vorliegen.
Das Subjekt kann beispielsweise während des Einfangens des Bildes
zwinkern, was dazu führt,
daß das
Subjekt in dem erfaßten
Bild die Augen geschlossen hat. Das Subjekt kann auch von einer
Kamera oder einer anderen Bildeinfangvorrichtung während des
Einfangens eines Bildes wegblicken, was dazu führt, daß der direkte Blick der Augen des
Subjekts auf die Bildeinfangvorrichtung verschoben ist. Wenn ein
Problem während
des Einfangens eines Bildes erfaßt wird, kann häufig ein
anderes Bild oder Photo gemacht werden, um ein Bild ohne den Defekt
zu erhalten. Jedoch haben zusätzliche
Bilder zum Korrigieren des Problems allgemein zusätzliche Verarbeitungskosten
und Materialvergeudung zur Folge. Wenn zusätzlich das Problem bis zur
Bildverarbeitung nicht entdeckt worden ist, kann ein Erfassen des
Bildes keine Option mehr sein, was zu einem Verlust des Bildes führt.
-
Es ist eine Aufgabe der vorliegenden
Erfindung, ein verbessertes Bildkorrektursystem und -verfahren zu
schaffen.
-
Diese Aufgabe wird durch ein Bildkorrektursystem
gemäß den Ansprüchen 1,
21, 30 und 35 sowie ein Verfahren gemäß Anspruch 11 gelöst.
-
Gemäß einem Ausführungsbeispiel
der vorliegenden Erfindung weist ein Bildkorrektursystem eine Erfassungsanwendung
auf, auf die ein Prozessor zugreifen kann und die angepaßt ist,
um eine Betrachtungsrichtung bzw. Blickrichtung von zumindest einem
Auge eines Subjekts in einem Bild zu identifizieren. Das System
weist auch eine Rekonstruktionsanwendung auf, auf die der Prozessor
zugreifen kann und die angepaßt
ist, um das Bild automatisch zu modifizieren, um die Betrachtungsrichtung
von dem zumindest einen des Objekts zu modifizieren.
-
Gemäß einem anderen Ausführungsbeispiel der
vorliegenden Erfindung weist ein Verfahren zur Bildkorrektur ein
Empfangen eines Bildes, das zumindest ein Objekt aufweist, und ein
Bestimmen einer Betrachtungsrichtung bzw. Blickrichtung anhand des
Bildes von zumindest einem Auge des Objekts auf. Das Verfahren weist
auch ein automatisches Modifizieren des Bildes zum Verändern der
Betrachtungsrichtung von dem zumindest einen Auge auf.
-
Bevorzugte Ausführungsbeispiele der vorliegenden
Erfindung werden nachfolgend, Bezug nehmend auf die beiliegenden
Zeichnungen näher
erläutert.
Es zeigen:
-
1 ein
Diagramm, das ein Ausführungsbeispiel
eines Bildkorrektursystems gemäß der vorliegenden
Erfindung darstellt,
-
2 ein
Diagramm, das ein Bild zur Bildkorrektur unter Verwendung eines
Ausführungsbeispiels
eines Bildkorrektursystems gemäß der vorliegenden
Erfindung darstellt,
-
3 und 4 Diagramme, die das Bild von 2 nach der Bildkorrektur
unter Verwendung eines Ausführungsbeispiels
eines Bildkorrektursystems gemäß der vorliegenden
Erfindung darstellen und
-
5 ein
Diagramm, das ein Bild zur Bildkorrektur unter Verwendung eines
Ausführungsbeispiels
eines Bildkorrektursystems gemäß der vorliegenden
Erfindung darstellt.
-
Die bevorzugten Ausführungsbeispiele
der vorliegenden Erfindung und die Vorteile derselben werden unter
Bezugnahme auf die 1 bis 4 der Zeichnungen am besten
verständlich,
bei denen identische Bezugszeichen für identische und entsprechende
Teile der verschiedenen Zeichnungen verwendet werden.
-
1 ist
ein Diagramm, das ein Ausführungsbeispiel
eines Bildkorrektursystems gemäß der vorliegenden
Erfindung darstellt. In knappen Worten ausgedrückt, bestimmt das System 10 automatisch, ob
eine Blickrichtung der Augen eines Subjekts in einem Bild in eine
gewünschte
Blick- oder Betrachtungsrichtung oder von derselben weg gerichtet
sind, z. B. auf jemanden, der das Bild betrachtet. Die Augen eines
Subjekts in einem Bild können
beispielsweise in eine spezielle Richtung relativ zu einer Bilderfassungsvorrichtung,
wie z. B. einer Kamera, in dem Moment, wenn das Bild erfaßt wird,
verschoben sein. Das System 10 erwirbt verschiedene Charakteristika,
die dem Subjekt zugeordnet sind, lokalisiert die Augen des Subjekts
und modifiziert das Bild durch Rekonstruieren der Augen des Subjekts,
um einer gewünschten
Betrachtungsrichtung, wie z. B. zur Bilderfassungsvorrichtung hin,
zu entsprechen.
-
In dem dargestellten Ausführungsbeispiel weist
das System 10 eine Eingabevorrichtung 12, eine
Ausgabevorrichtung 14, einen Prozessor 16 und einen
Speicher 18 auf. Die Eingabevorrichtung 12 kann
eine Tastatur, ein Tastenfeld, eine Zeigevorrichtung, wie z. B.
eine Maus oder ein Trackpad, einen Scanner, eine Bildeinfangvorrichtung,
wie z. B. eine digitale Kamera, oder einen anderen Typ von Vorrichtung
zum Eingeben von Informationen in das System 10 aufweisen.
Die Ausgabevorrichtung 14 kann einen Monitor, eine Anzeige,
einen Drucker oder einen anderen Typ von Vorrichtung zum Erzeugen
einer Ausgabe aufweisen.
-
Die vorliegende Erfindung umfaßt auch
eine Computersoftware, die durch den Prozessor 16 ausgeführt werden
kann. Bei dem dargestellten Ausführungsbeispiel
weist der Speicher 18 eine Erfassungsanwendung 20,
eine Rekonstruktionsanwendung 22, eine Gesichtslokalisiereranwendung 24 und
eine Augenlokalisiereranwendung 26 auf, die Computersoftwareprogramme
sind. Es wird jedoch darauf hingewiesen, daß das System mit einer Hardware,
Software oder einer Kombination aus Hardware- und Softwarekomponenten
konfiguriert sein kann. Bei dem Ausführungsbeispiel von 1 sind die Anwendungen 20, 22, 24 und 26 als
im Speicher 18 gespeichert dargestellt, wo sie durch den
Prozessor 16 ausgeführt
werden können.
Die Anwendungen 20, 22, 24 und 26 können jedoch
anderweitig gespeichert sein, um durch den Prozessor 16 zugreifbar
zu sein.
-
Bei dem dargestellten Ausführungsbeispiel weist
das System 10 auch eine Datenbank 28, die im Speicher 18 gespeichert
ist, auf. Die Datenbank 28 weist Informationen auf, die
dem Korrigieren einer Betrachtungsrichtung der Augen eines Subjekts
in einem Bild zugeordnet sind. Bei dem dargestellten Ausführungsbeispiel
weist die Datenbank 28 z. B. Bilddaten 30,
eine Richtungsbibliothek 32 und Rekonstruktionsdaten 34 auf.
Kurzum werden die Informationen, die dem Subjekt in dem Bild zugeordnet sind,
erworben und als Bilddaten 30 gespeichert. Die Bilddaten 30 werden
dann mit Informationen, die in der Richtungsbibliothek 32 enthalten
sind, verglichen, um eine spezielle Betrachtungsrichtung der Augen
des Subjekts in dem Bild zu bestimmen. Die Rekonstruktionsdaten 34 werden
dann zum Modifizieren des Bildes erzeugt, um die erfaßte Betrachtungsrichtung
der Augen des Subjekts zu korrigieren, um mit einer gewünschten
Betrachtungsrichtung übereinzustimmen.
-
Während
des Betriebs kann das System 10 so konfiguriert sein, daß die Gesichtslokalisiereranwendung 24 jedes
Gesicht in einem Bild automatisch lokalisiert. Die Gesichtslokalisiereranwendung 24 kann
z. B. Pixelcharakteristika, die einem Definieren eines Gesichts,
z. B. dem Umriß eines
Gesichts, oder verschiedenen Merkmalen eines Gesichts, wie z. B. Augenbrauen,
allgemein zugeordnet sind, lokalisieren und verwenden, um jedes
Gesicht in dem Bild automatisch zu lokalisieren. Nach dem Empfangen
eines Bildes kann daher die Gesichtslokalisiereranwendung 24 jedes
Gesicht in dem Bild automatisch lokalisieren und identifizieren,
um zu bestimmen, ob jedes Subjekt in dem Bild eine Betrachtungsrichtungskorrektur
erfordert. Alternativ kann das System 10 angepaßt sein,
so daß ein
Benutzer des Systems 10 ein spezielles Gesicht in dem Bild
zur Korrektur unter Verwendung der Eingabevorrichtung 12 auswählen kann.
-
Das System 10 kann auch
konfiguriert sein, so daß die
Augenlokalisiereranwendung 26 die Augen, die jedem Gesicht
in dem Bild entsprechen, automatisch lokalisiert. Die Erfassungsanwendung 20 kann
z. B. verschiedene Charakteristika erwerben, die einem Gesicht eines
Subjekts zugeordnet sind, und die erworbenen charakteristischen
Daten als Gesichtscharakteristika 40 in einer Datenbank 28 speichern.
Die Gesichtscharakteristika 40 können eine Gesichtslänge 42 und
eine Gesichtsbreite 44, die einem Gesicht eines speziellen
Subjekts in dem Bild entsprechen, aufweisen. Die Gesichtscharakteristika 40 können unter
Verwendung von Pixelcharakteristika in dem Bild bestimmt werden,
oder alternativ kann ein Benutzer des Systems 10 die Eingabevor richtung 12 verwenden,
um verschiedene Merkmale eines speziellen Gesichts auszuwählen, um
die Gesichtscharakteristika 40 zu erwerben. Basierend auf
den erworbenen Gesichtscharakteristika 40 für ein spezielles
Gesicht in dem Bild kann die Augenlokalisiereranwendung 26 die
Augen eines Subjekts in dem Bild automatisch lokalisieren und identifizieren.
Alternativ kann ein Benutzer des Systems 10 jedes Auge
eines speziellen Subjekts in dem Bild zur Korrektur unter Verwendung
der Eingabevorrichtung 12 lokalisieren und auswählen.
-
Die Erfassungsanwendung 20 erwirbt
Informationen von dem Bild entsprechend einem speziellen Subjekt
und speichert die Informationen als Bilddaten 30. Bei dem
dargestellten Ausführungsbeispiel weisen
die Bilddaten 30 beispielsweise Gesichtscharakteristika 40,
Farbcharakteristika 50 und Augencharakteristika 60 auf.
Die Farbcharakteristika 50 weisen Farbinformationen auf,
die einem speziellen Subjekt in dem Bild zugeordnet sind, wie z.
B., jedoch ohne Einschränkung
auf eine Irisfarbe 52 und einen Hautton 54. Die
Irisfarbe 52 entspricht einer Farbe einer Iris des Auges
eines speziellen Subjekts in dem Bild. Der Hautton 54 weist
Informationen auf, die einer Hautfarbe eines speziellen Subjekts
in dem Bild zugeordnet sind. Die Erfassungsanwendung 20 kann den
Hautton 54 durch Erwerben von Farbinformationen, die einer
speziellen Position auf dem Gesicht eines Subjekts zugeordnet sind,
erwerben oder den Hautton 54 durch Kombinieren von mehreren
Farbcharakteristika von verschiedenen Abschnitten eines Gesichts
eines Subjekts erzeugen.
-
Wie vorstehend beschrieben, können die Gesichtscharakteristika 40 die
Gesichtslänge 42 und die
Gesichtsbreite 44 aufweisen. Die Gesichtcharakteristika 40 können auch
Augenbrauencharakteristika 70 und Augenlidcharakteristika 72 aufweisen.
Die Augenbrauencharakteristika 70 können Informationen aufweisen,
die den Augenbrauen eines speziellen Subjekts in dem Bild zugeordnet
sind, wie z. B., jedoch ohne Einschränkung auf eine Länge 74 und eine
Form 76. Die Augenlidcharakteristika 72 weisen Informationen
auf, die den Augenlidern eines speziellen Subjekts in dem Bild zugeordnet
sind, wie z. B., jedoch ohne Einschränkung auf eine Länge 78 und eine
Form 80. Wie nachstehend ausführlicher beschrieben ist, können die
Gesichtscharakteristika 40 verwendet werden, um eine Gesichts-
oder Betrachtungsrichtung eines Gesichts und/oder der Augen eines
speziellen Subjekts zu bestimmen und können auch während einer Rekonstruktion
der Augen eines speziellen Subjekts entsprechend einer gewünschten
Betrachtungsrichtung verwendet werden.
-
Die Augencharakteristika 60 weisen
Informationen auf, die den Augen eines speziellen Subjekts zugeordnet
sind, wie z. B., jedoch ohne Einschränkung auf Größencharakteristika 90.
Die Größencharakteristika 90 weisen
Informationen auf, die einer Größe und/oder
Form von verschiedenen Merkmalen zugeordnet sind, die den Augen
eines speziellen Subjekts in dem Bild zugeordnet sind. Die Größencharakteristika 90 können beispielsweise
eine Irislänge 92 und
eine Irisbreite 94 aufweisen. Die Irislänge 92 und die Irisbreite 94 können verwendet
werden, um eine Irisform 96 entsprechend einer Iris eines
Auges eines speziellen Subjekts in dem Bild zu bestimmen. Wie nachstehend
ausführlicher
beschrieben ist, können
die Irisform 96 und andere Charakteristika, die der Iris
eines Auges in dem Objekt zugeordnet sind, verwendet werden, um
eine Betrachtungsrichtung entsprechend einem speziellen Subjekt
in dem Bild zu bestimmen.
-
Die Größencharakteristika 90 können auch eine
Pupillenlänge 98 und
eine Pupillenbreite 100 aufweisen. Die Pupillenlänge 98 und
die Pupillenbreite 100 können verwendet werden, um eine
Pupillenform 102 entsprechend einer Pupille eines Auges
in dem Bild zu bestimmen. Die Pupillenform 102 und andere
Charakteristika, die der Pupille eines Subjekts in dem Bild zugeordnet
sind, können
auch verwendet werden, um eine Betrachtungsrichtung entsprechend
einem speziellen Subjekt in dem Bild zu bestimmen.
-
Die Größencharakteristika 90 können auch eine
Gesamtlänge 104 und
eine Gesamtbreite 106 entsprechend einem Auge eines Subjekts
in dem Bild aufweisen. Die Länge 104 und
die Breite 106 können Informationen
aufweisen, die einer Gesamtform 108 eines Auges, das z.
die Pupille, Iris und weißen
Abschnitte eines Auges umfaßt,
zugeordnet sind. Zusätzlich
kann die Form 108 verwendet werden, um eine Betrachtungsrichtung
entsprechend dem Auge eines speziellen Subjekts in dem Bild zu bestimmen.
-
Die Größencharakteristika 90 können durch die
Erfassungsanwendung 20 unter Verwendung einer Vielfalt
an Verfahren, wie z. B., jedoch ohne Einschränkung auf Pixelcharakteristikvariationen
innerhalb des Bildes, erworben werden oder können ansprechend auf eine Benutzerauswahl
von verschiedenen Punkten relativ zu einem speziellen Merkmal eines
Auges unter Verwendung der Eingabevorrichtung 12 erworben
werden. Ein Benutzer des Systems 10 kann beispielsweise
die Eingabevorrichtung 12 verwenden, um eine oder mehrere
Positionen entlang einer Grenze einer Iris, einer Pupille oder eines anderen
Abschnitts eines Auges eines Subjekts in dem Bild auszuwählen. Die
ausgewählten
Positionen können
dann verwendet werden, um Charakteristika, wie z. B. die Irisform 96,
die Pupillenform 102 und die Gesamtform 108, zu
bestimmen.
-
Nach dem Erhalten von Bilddaten 30 entsprechend
einem speziellen Subjekt in dem Bild greift die Rekonstruktionsanwendung 22 auf
die Richtungsbibliothek 32 zu. Die Richtungsbibliothek 32 weist
Informationen auf, die den Betrachtungsrichtungen 110 eines
Auges entsprechend verschiedener Merkmale oder Charakteristika des
Auges zugeordnet sind. Die Rekonstruktionsanwendung 22 kann beispielsweise
eine Betrachtungsrichtung 110 entsprechend einem Auge eines
speziellen Subjekts unter Verwendung der Augencharakteristika 60,
wie z. B., jedoch ohne Einschränkung
auf die Irisform 96, die Pupillenform 102 und/oder
die Gesamtform
108, bestimmen. Die Augenbrauencharakteristika 70 und die
Augenlidcharakteristika 72 können auch verwendet werden,
um eine spezielle Betrachtungsrichtung 110 entsprechend
einem Auge eines Subjekts in dem Bild zu bestimmen.
-
Die Rekonstruktionsanwendung 22 erzeugt Rekonstruktionsdaten 34 entsprechend
einer gewünschten
Betrachtungsrichtung 110 für das Subjekt in dem Bild.
Die Rekonstruktionsanwendung 22 kann beispielsweise konfiguriert
sein, so daß eine
gewünschte
Betrachtungsrichtung 110 einer Richtung entspricht, die
mit dem Subjekt, das direkt auf eine Bilderfassungsvorrichtung blickt, übereinstimmt.
Eine gewünschte
Betrachtungsrichtung 110 kann beispielsweise so ausgewählt werden,
daß die
Augen eines speziellen Subjekts in dem Bild innerhalb einer vorbestimmten
Winkeltoleranz zur Bilderfassungsvorrichtung hin gerichtet sind.
Basierend auf der gewünschten
Betrachtungsrichtung 110 modifiziert die Rekonstruktionsanwendung 22 das
Bild durch Rekonstruieren der Augen in dem Bild entsprechend einem
speziellen Subjekt unter Verwendung der Bilddaten 30.
-
Die Rekonstruktionsdaten 34 weisen
Informationen auf, die dem Rekonstruieren eines Auges eines Subjekts
in dem Bild zugeordnet sind. Die Rekonstruktionsanwendung 22 kann
beispielsweise Kontrollpunkte erzeugen, die ein oder mehrere Merkmale
definieren, die dem Auge eines Subjekts entsprechend einer gewünschten
Betrachtungsrichtung 110 für das Auge des Subjekts zugeordnet
sind. Alternativ kann die Rekonstruktionsanwendung 22 andere
geometrische Daten, wie z. B., jedoch ohne Einschränkung auf
Ellipsenachsen, relative Winkelrichtungen der Achsen, Ellipsendimensionen
entlang der Achsen und ein Ellipsenzentrum, zum Definieren der Form
des Auges des Subjekts erzeugen. Bei dem dargestellten Ausführungsbeispiel
weisen die Rekonstruktionsdaten 34 Iriskontrollpunkte 120,
Pupillenkontrollpunkte 122, Augenlidkontrollpunkte 124 und Augenbrauenkontrollpunkte 126 auf.
-
Die Iriskontrollpunkte 120 können eine
Mehrzahl von Punkten aufweisen, die durch die Rekonstruktionsanwendung 22 erzeugt
werden, die ein oder mehrere Merkmale definiert, die einer Iris
eines Subjekts in dem Bild zugeordnet sind, wie z. B., jedoch ohne
Einschränkung
auf innere und äußere Grenzen der
Iris. Die Pupillenkontrollpunkte 122 können eine Mehrzahl von Punkten
aufweisen, die durch die Rekonstruktionsanwendung 22 erzeugt
werden, die verschiedene Merkmale einer Pupille des Subjekts definiert,
wie z. B., jedoch ohne Einschränkung
auf eine äußere Grenze
der Pupille benachbart zur Iris. Die Augenlidkontrollpunkte 124 können Punkte
aufweisen, die durch die Rekonstruktionsanwendung 22 entsprechend
einem Augenlid relativ zu einem speziellen Auge eines Subjekts in
dem Bild erzeugt werden. Basierend auf einer speziellen Betrachtungsrichtung 110 eines
Auges können
beispielsweise verschiedene Charakteristika des Augenlids relativ
zum Auge variieren. Dementsprechend modifiziert die Rekonstruktionsanwendung 22 das
Bild, um verschiedene Merkmale, die einem Augenlid des Subjekts entsprechend
einer gewünschten
Betrachtungsrichtung 110 eines Auges des Subjekts zugeordnet
sind, zu verändern.
Die Augenbrauenkontrollpunkte 126 können Punkte aufweisen, die
durch die Rekonstruktionsanwendung 22 entsprechend einer
Augenbraue des Subjekts erzeugt werden. Basierend auf einer speziellen
Betrachtungsrichtung 110 eines Auges können z. B. die verschiedenen
Merkmale einer Augenbraue des Subjekts entsprechend dem speziellen Auge
variieren. Die Rekonstruktionsanwendung 22 erzeugt die
Augenbrauenkontrollpunkte 126 zum Modifizieren der Augenbraue
des Subjekts entsprechend einer gewünschten Betrachtungsrichtung 110 für ein spezielles
Auge des Subjekts.
-
Während
des Betriebs erwirbt daher die Erfassungsanwendung 20 die
Bilddaten 30 entsprechend einem speziellen Subjekt in dem
Bild. Die Erfassungsanwendung 20 erwirbt die Farbcharakteristika 50,
die Gesichtscharakteristika 40 und die Augencharakteristika 60 entsprechend
einem speziellen Subjekt in dem Bild. Basierend auf den erworbenen
Bilddaten
30 bestimmt die Rekonstruktionsanwendung 22 eine
Betrachtungsrichtung 110 entsprechend den Augen des speziellen
Subjekts. Die Rekonstruktionsanwendung 22 rekonstruiert
dann die Augen des Subjekts entsprechend einer gewünschten
Betrachtungsrichtung 110. Die Rekonstruktionsanwendung 22 erzeugt
vorzugsweise die Kontrollpunkte 120, 122, 124 und 126 entsprechend
der gewünschten
Betrachtungsrichtung 110 für eine Iris, eine Pupille,
ein Augenlid bzw. eine Augenbraue für das Subjekt in dem Bild.
Die Rekonstruktionsanwendung 22 kann die Farbcharakteristika 50 zum
Erzeugen des rekonstruierten Auges, wie z. B. die Irisfarbe 22 zum
Färben
der Iris des rekonstruierten Auges und den Hautton 54 zum
Färben
verschiedener Hautabschnitte in der Nähe des Auges, wie z. B. des
Augenlids, verwenden. Die Rekonstruktionsanwendung 22 mischt
auch vorzugsweise Abschnitte des rekonstruierten Auges in benachbarte
Abschnitte innerhalb des Bildes, um einen weichen Übergang
zwischen dem modifizierten Abschnitt des Bildes und dem unmodifizierten
Abschnitt des Bildes zu erhalten.
-
2 ist
ein Diagramm, das ein Bild 130 vor einer Bildkorrektur
darstellt, und die 3 und 4 sind Diagramme, die ein
Bild nach der Korrektur unter Verwendung eines Ausführungsbeispiels
der vorliegenden Erfindung darstellen. Bei dem dargestellten Ausführungsbeispiel
weist das Bild 130 ein Subjekt 132 auf. Obwohl
in dem dargestellten Ausführungsbeispiel
nur ein einzelnes Subjekt 132 gezeigt ist, wird darauf
hingewiesen, daß das
System 10 verwendet werden kann, um die Bildkorrektur auf
jedem von einer Mehrzahl von Subjekten in dem Bild 130 auszuführen. Wie
in 2 am besten dargestellt
ist, ist die Richtung von jedem Auge 134 des Subjekts 32 zu
dem Zeitpunkt, wenn das Bild erfaßt wird, allgemein von der
Bilderfassungsvorrichtung weg verschoben, was dazu führt, daß die Augen 134 des Subjekts 132 von
der Bilderfassungsvorrichtung wegblicken.
-
Während
des Betriebs kann die Gesichtslokalisiereranwendung 24 konfiguriert
sein, um ein Gesicht 136 des Subjekts 132 in dem
Bild 130 automatisch zu lokalisieren. Alternativ kann ein
Benutzer des Systems 10 die Eingabevorrichtung 12 verwenden, um
das Gesicht 136 des Subjekts 132 im Bild 130 auszuwählen und
zu identifizieren. Zusätzlich
kann das System 10 so konfiguriert sein, daß die Augenlokalisiereranwendung 26 die
Augen 134 des Subjekts 132 im Bild 130 automatisch
lokalisiert. Das System 10 kann jedoch auch so konfiguriert
sein, daß ein
Benutzer des Systems 10 die Augen 134 des Subjekts 132 in
dem Bild 130 identifiziert und auswählt.
-
Während
des Betriebs erwirbt die Erfassungsanwendung 20 die Bilddaten 30 vom
Bild 130, wie z. B. die Farbcharakteristika 50,
die Gesichtscharakteristika 40 und die Augencharakteristika 60.
Die Erfassungsanwendung 20 kann beispielsweise verschiedene
Informationen entsprechend einer Pupille 140, einer Iris 142,
einer Augenbraue 144 und einem Augenlid 146 für jedes
Auge 134 des Subjekts 132 erwerben. Daher kann
die Irisfarbe 52, die Irislänge 92 und die Irisbreite 94 entsprechend
der Iris 142 des Subjekts 132 zum Bestimmen der
Irisform 96 erworben werden. Die Pupillenlänge 98 und
die Pupillenbreite 100 können desgleichen entsprechend
der Pupille 140 erworben werden, um die Pupillenform 102 zu
bestimmen.
-
Die Erfassungsanwendung 20 kann
auch eine Gesamtlänge 104 und
eine Gesamtbreite 106 entsprechend dem Auge 134 des
Subjekts 132 erwerben, um die Gesamtform 108 des
Auges 134 zu bestimmen. Die Erfassungsanwendung 20 kann
beispielsweise Pixelvariationen im Bild 130 verwenden, um
zwischen einer Pupille 140, einer Iris 142 und
einem weißen
Abschnitt 148 von jedem Auge 134 zu unterscheiden,
um die Größencharakteristika 90,
die jedem Auge 134 entsprechen, zu bestimmen. Alternativ
kann ein Benutzer des Systems 10 die Eingabevorrichtung 12 verwenden,
um verschiedene Punkte im Bild 130 auszuwählen, um die Pupille 140,
die Iris 142, die Augenbraue 144, das Augenlid 146 und
den weißen
Abschnitt 148 des Auges 134 auszuwählen.
-
Nachdem die Erfassungsanwendung 20 zumindest
einen Abschnitt der Bilddaten 30 erworben hat, greift die
Rekonstruktionsanwendung 22 auf die Richtungsbibliothek 32 zu,
um eine Betrachtungsrichtung 110 entsprechend den erworbenen
Bilddaten 30 zu bestimmen. Die Richtungsbibliothek 32 kann
beispielsweise eine Tabelle aufweisen, die verschiedene Formen und/oder
Größen eines
Auges mit einer speziellen Betrachtungsrichtung 110 korreliert. Während des
Betriebs verwendet die Rekonstruktionsanwendung 22 daher
alle oder einen Abschnitt der Bilddaten 30, die durch die
Erfassungsanwendung 20 eingefangen wurden, um eine spezielle
Betrachtungsrichtung 110 entsprechend den Augen 134 des
Subjekts 132 zu bestimmen.
-
Unter Bezugnahme auf die 3 und 4 erzeugt die Rekonstruktionsanwendung 22 dann
Rekonstruktionsdaten 34 entsprechend einer gewünschten
Betrachtungsrichtung 110 der Augen 134 des Subjekts 132.
Wie beispielsweise in 3 am besten
dargestellt ist, stimmt die Richtung der Augen 134 des
Subjekts 132 allgemein mit der Bilderfassungsvorrichtung überein,
die zum Einfangen des Bildes 130 verwendet wird. Das System 10 kann
jedoch auch angepaßt
sein, um die Betrachtungsrichtung 110 der Augen 134 entsprechend
einem benutzerausgewählten
Winkel relativ zur Bilderfassungsvorrichtung zu rekonstruieren.
-
Wie in 4 am
besten dargestellt ist, erzeugt die Rekonstruktionsanwendung 22 die
Kontrollpunkte 120, 122, 124 und 126 zum
Rekonstruieren des Bildes 130 entsprechend der Iris 142,
der Pupille 140, dem Augenlid 146 bzw. der Augenbraue 144.
Die Rekonstruktionsanwendung 22 kann auf die Richtungsbibliothek 32 zugreifen,
um verschiedene Größen und
Formen von Charakteristika, die den Augen 134 zugeordnet
sind, entsprechend einer gewünschten
Betrachtungsrichtung zu bestimmen. Zusätzlich kann die Rekonstruktionsanwendung 22 auf andere
Bilddaten 30, wie z. B., jedoch ohne Einschränkung auf
die Größencharakteristika 90,
die Augenbrau encharakteristika 70 und die Augenlidcharakteristika 72,
zugreifen, um die verschiedenen Merkmale, die den Augen 134 zugeordnet
sind, im Hinblick auf das Subjekt 132 korrekt zu dimensionieren.
Die Merkmale, die den Kontrollpunkten 120, 122, 124 und 126 zugeordnet
sind, können
dann unter Verwendung der Punkte 120, 122, 124 und 126 als eine
Führung
erzeugt werden. Die Rekonstruktionsanwendung 22 kann auch
auf einen Iriston 52 und einen Hautton 54 zugreifen,
um verschiedene Merkmale, die den Augen 134 zugeordnet
sind, wie z. B. die Iris 142 und die Fleischabschnitte
in der Nähe
der Augen 134, zu färben.
-
5 ist
ein Flußdiagramm,
das ein Verfahren zur Bildkorrektur gemäß einem Ausführungsbeispiel
der vorliegenden Erfindung darstellt. Das Verfahren beginnt bei
Schritt 200, wo die Gesichtslokalisiereranwendung 24 das
Gesicht 136 des Subjekts 132 im Bild 130 automatisch
lokalisiert. Bei Schritt 202 lokalisiert die Augenlokalisiereranwendung 26 automatisch
die Augen 134 des Subjekts 132 im Bild 130.
-
Bei Schritt 204 erwirbt
die Erfassungsanwendung 20 die Augencharakteristika 60 entsprechend dem
Subjekt 132. Die Erfassungsanwendung 20 kann beispielsweise
die Irislänge 92,
die Irisbreite 94, die Pupillenlänge 98 und die Pupillenbreite 100 erwerben.
Zusätzlich
kann die Erfassungsanwendung 20 die Gesamtlänge 104 und
die Breite 106 entsprechenden den Augen 134 automatisch
bestimmen. Ferner kann die Erfassungsanwendung 20 die Irisform 96,
die Pupillenform 102 und die Gesamtform 108 entsprechend
den Augen 134 unter Verwendung der erworbenen Größencharakteristika 90 automatisch
bestimmen.
-
Bei Schritt 206 erwirbt
die Erfassungsanwendung 20 die Farbcharakteristika 50,
die dem Subjekt 132 zugeordnet sind. Die Erfassungsanwendung 20 kann
beispielsweise die Irisfarbe 52 entsprechend der Farbe
der Iris der Augen 132 erwerben. Die Erfassungsanwendung 20 kann
auch den Hautton 54 entsprechend einer Hautfarbe des Subjekts 132 erwerben.
-
Bei Schritt 208 erwirbt
die Erfassungsanwendung 20 die Gesichtscharakteristika 40 entsprechend dem
Subjekt 132. Die Erfassungsanwendung 20 kann beispielsweise
die Gesichtslänge 42 und
die Breite 54 entsprechend dem Gesicht 136 des
Subjekts 132 erwerben. Zusätzlich kann die Erfassungsanwendung 20 die
Augenbrauencharakteristika 70 und die Augenlidcharakteristika 72 entsprechend
der Augenbraue 144 bzw, der Augenlider 146 des
Subjekts 132 erwerben.
-
Bei Schritt 210 greift die
Erfassungsanwendung 20 auf die Richtungsbibliothek 32 zu.
Bei Schritt 212 bestimmt die Erfassungsanwendung 20 die
Betrachtungsrichtung 110 entsprechend der Augen 134 des
Subjekts 132. Wie vorstehend beschrieben, kann die Richtungsbibliothek 32 beispielsweise
eine relationale Datenbank aufweisen, die Größen, Formen und andere Merkmale,
die den Augen eines Subjekts in einem Bild zugeordnet sind, auf
eine spezielle Betrachtungsrichtung bezieht.
-
Bei Entscheidungsschritt 214 wird
das Verfahren von Schritt 214 bei Schritt 232 fortgesetzt, wenn
die vorliegende Betrachtungsrichtung 110 der Augen 134 akzeptabel
ist. Wenn die vorliegende Betrachtungsrichtung 110 der
Augen 134 nicht akzeptabel ist, wird das Verfahren von
Schritt 214 bei Entscheidungsschritt 216 fortgesetzt, wo
ein Benutzer des Systems 10 zur Eingabe einer gewünschten
Betrachtungsrichtung 110 aufgefordert werden kann. Wenn
ein Benutzer des Systems 10 beispielsweise den Wunsch hat,
eine spezielle Betrachtungsrichtung 110 zu spezifizieren,
wird das Verfahren von Schritt 216 bei Schritt 218 fortgesetzt,
wo die Rekonstruktionsanwendung 22 eine gewünschte Betrachtungsrichtung 110 vom
Benutzer über
die Eingabevorrichtung 12 empfangen kann. Wenn eine spezielle
Betrachtungsrichtung 110 durch den Benutzer des Systems 10 nicht
angefordert oder spezifiziert wird, kann eine voreingestellte Betrachtungsrichtung 110 automatisch
verwendet werden, und das Verfahren wird von Schritt 216 bei Schritt 220 fortgesetzt.
-
Bei Schritt 220 erzeugt
die Rekonstruktionsanwendung 22 die Iriskontrollpunkte 120 entsprechend
einer gewünschten
Betrachtungsrichtung 110. Bei Schritt 222 erzeugt
die Rekonstruktionsanwendung 22 die Pupillenkontrollpunkte 122 entsprechend einer
gewünschten
Betrachtungsrichtung 110. Bei Schritt 224 erzeugt
die Rekonstruktionsanwendung 22 die Augenlidkontrollpunkte 124 entsprechend
einer gewünschten
Betrachtungsrichtung 110. Bei Schritt 226 erzeugt
die Rekonstruktionsanwendung 22 die Augenbrauenkontrollpunkte 126 entsprechend einer
gewünschten
Betrachtungsrichtung 110.
-
Bei Schritt 228 modifiziert
die Rekonstruktionsanwendung 22 das Bild 130 entsprechend
der gewünschten
Betrachtungsrichtung 110. Die Iris 142, die Pupille 140,
das Augenlid 146 und die Augenbraue 144 können beispielsweise
im Bild 130 unter Verwendung der Kontrollpunkte 120, 122, 124 und 126 entsprechend
einer gewünschten
Betrachtungsrichtung 110 modifiziert werden. Bei Schritt 230 wendet
die Rekonstruktionsanwendung die Farbcharakteristika 50 auf
das Bild 130 entsprechend der rekonstruierten Augen 134 an.
Die Rekonstruktionsanwendung 22 kann beispielsweise die
Irisfarbe 52 auf die Iris 142 der Augen 134 anwenden.
Zusätzlich
kann die Rekonstruktionsanwendung 22 den Hautton 54 auf
die Hautabschnitte in der Nähe
der Augen 134, die während
der Rekonstruktion des Bildes 130 erzeugt wurden, anwenden.
Bei Entscheidungsschritt 232 wird dahingehend eine Bestimmung
vorgenommen, ob ein anderes Subjekt 132 im Bild 130 eine Korrektur
erfordert. Wenn ein anderes Subjekt 132 im Bild 130 eine
Korrektur erfordert, kehrt das Verfahren zu Schritt 200 zurück. Wenn
ein anderes Subjekt 132 im Bild 130 keine Korrektur
erfordert, wird das Verfahren beendet.
-
Es wird darauf hingewiesen, daß bei dem
beschriebenen Verfahren bestimmte Schritte ausgelassen, in einer
Folge, die sich von der, die in 5 dargestellt
ist, unterscheidet, erreicht oder gleichzeitig ausgeführt werden
können.
Unter Bezugnahme auf 5 können beispielsweise die
Schritte 204 und 208 gleichzeitig und zu einem
beliebigen Zeitpunkt vor dem Schritt 212 des Bestimmens
der Betrachtungsrichtung der Augen des Subjekts erreicht werden.
Es wird ebenfalls darauf hingewiesen, daß das in 5 dargestellte Verfahren abgeändert werden kann,
um ein beliebiges der anderen Merkmale oder Aspekte der Erfindung,
die an anderer Stelle in der Spezifikation beschrieben sind, zu
umfassen.