-
Die vorliegende Erfindung bezieht
sich allgemein auf das Gebiet von Bilderzeugungssystemen und insbesondere
auf ein Bildkorrektur-System und -Verfahren.
-
Ein relativ bekanntes Problem, das
Photographien und anderen Typen von Abbildungen zugeordnet ist,
ist das Phänomen,
das als "rote Augen" bezeichnet wird.
Blitzphotographie wird verwendet, um eine Unterbelichtung in relativ
dunklen Umgebungen zu verhindern. Rote Augen resultieren allgemein daraus,
daß die
Pupillen einer Person nicht in der Lage sind, sich schnell an den
Blitz in der dunklen Umgebung anzupassen, was dazu führt, daß das Licht
des Blitzes von der Retina in dem Schwarz der Augen reflektiert
wird. Verschiedene Systeme und Verfahren wurden vorgeschlagen, um
rote Augen zu reduzieren oder praktisch zu beseitigen. Diese Systeme
und Verfahren können
entweder während
der Bildsammlung oder in Verbindung mit der Bildverarbeitung oder
bei beidem verwendet werden.
-
Es können jedoch andere Probleme,
die den Augen eines Objekts in einem Bild zugeordnet sind, vorhanden
sein. Das Objekt kann z. B. während der Bildsammlung
zwinkern, was dazu führt,
daß das
Objekt in dem Bild geschlossene Augen hat. Das Objekt kann ebenfalls
von der Kamera oder einer anderen Bildsammelvorrichtung während der
Bildsammlung wegblicken, was dazu führt, daß die Augen des Objekts wegverschoben
sind und nicht direkt zu der Bildsammelvorrichtung hinsehen. Wenn
während
der Bildsammlung ein Problem erfaßt wird, kann ein weiteres
Bild oder eine Photographie gemacht werden, um ein Bild ohne den
Defekt zu erhalten. Zusätzliche Bilder,
um die Probleme zu korrigieren, führen jedoch allgemein zu zusätzlichen
Verarbeitungskosten und Materialverschwendung. Zusätzlich dazu,
wenn das Prob lem während
der Bildverarbeitung nicht entdeckt wird, sind doppelte Bilder vielleicht
keine Option mehr, was zu einem Verlust des Bildes führt.
-
Es ist die Aufgabe der vorliegenden
Erfindung, eine Vorrichtung und ein Verfahren für eine Bildkorrektur mit verbesserten
Charakteristika zu schaffen.
-
Diese Aufgabe wird durch eine Bildkorrekturvorrichtung
gemäß Anspruch
1, 21 und 29 und durch ein Bildkorrekturverfahren gemäß Anspruch
12 gelöst.
-
Gemäß einem Ausführungsbeispiel
der vorliegenden Erfindung weist ein Bildkorrektursystem einen Prozessor
auf, der angepaßt
ist, um ein Bild zu empfangen. Das System weist ferner einen Modifizierer
auf, der durch den Prozessor zugreifbar ist und angepaßt ist,
um das Bild automatisch zu modifizieren, um ein geschlossenes Auge
eines Objekts innerhalb des Bildes durch ein offenes Auge zu ersetzen.
-
Gemäß einem anderen Ausführungsbeispiel der
vorliegenden Erfindung weist ein Verfahren zur Bildkorrektur das
Empfangen eines Bildes auf, das zumindest ein Objekt aufweist. Das
Verfahren weist ferner das automatische Modifizieren des Bildes
auf, um ein geschlossenes Auge des Objekts durch ein offenes Auge
zu ersetzen.
-
Bevorzugte Ausführungsbeispiele der vorliegenden
Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden
Zeichnungen näher
erläutert.
Es zeigen:
-
1 ein
Diagramm, das ein Bildkorrektursystem gemäß einem Ausführungsbeispiel
der vorliegenden Erfindung darstellt;
-
2 ein
Diagramm, das ein Bild für
eine Bildkorrektur unter Verwendung des Systems darstellt, das in
-
1 dargestellt
ist, gemäß einem
Ausführungsbeispiel
der vorliegenden Erfindung;
-
3 ein
Diagramm, das das Bild aus 2 nach
der Bildkorrektur gemäß einem
Ausführungsbeispiel
der vorliegenden Erfindung darstellt; und
-
4 ein
Flußdiagramm,
das ein Verfahren für
eine Bildkorrektur gemäß einem
Ausführungsbeispiel
der vorliegenden Erfindung darstellt.
-
1 ist
ein Diagramm, das ein Bildkorrektursystem 10 gemäß einem
Ausführungsbeispiel
der vorliegenden Erfindung darstellt. Kurz ausgedrückt ersetzt
das System 10 automatisch ein geschlossenes Auge eines
Objekts innerhalb eines Bildes durch ein offenes Auge. Das System 10 kann
angepaßt sein,
um automatisch zu bestimmen, ob das Objekt innerhalb des Bildes
ein geschlossenes Auge hat, oder kann angepaßt sein, um eine Benutzerauswahl eines
bestimmten Objekts oder eines geschlossenen Auges für eine Bildmodifikation
unterzubringen. Das System 10 kann z. B.
angepaßt
sein, um automatisch ein Gesicht eines Objekts innerhalb eines Bildes
zu lokalisieren oder eine Benutzerauswahl eines Gesichts eines bestimmten
Objekts innerhalb des Bildes unterzubringen. Nach der Auswahl des
Gesichts und/oder Objekts innerhalb des Bildes kann das System 10 angepaßt sein,
um die Augen des Objekts automatisch zu lokalisieren und automatisch
zu bestimmen, ob ein geschlossenes Auge ein Austauschen durch ein
offenes Auge erfordert. Das System 10 kann ferner konfiguriert
sein, um eine Anzahl von Merkmalscharakteristika für den Austausch
des geschlossenen Auges zu liefern, die entweder automatisch in
dem Austausch umfaßt
oder durch einen Benutzer des Systems 10 für eine Verwendung
bei dem Ersatz ausgewählt
werden können.
-
Bei dem dargestellten Ausführungsbeispiel weist
das System 10 eine Eingabevorrichtung 12, eine
Ausgabevorrichtung 14, einen Prozessor 16 und einen
Speicher 18 auf. Die Eingabe vorrichtung 12 kann
eine Tastatur, ein Tastenfeld, eine Zeigevorrichtung, wie z. B.
eine Maus oder ein Trackpad, eine Bildsammelvorrichtung, wie z. B.
einen Scanner oder eine digitale Kamera, oder einen anderen Typ
einer Vorrichtung zum Eingeben von Informationen in das System 10 aufweisen.
Die Ausgabevorrichtung 14 kann einen Monitor, eine Anzeige,
einen Drucker oder einen anderen Typ einer Vorrichtung zum Erzeugen
einer Ausgabe aufweisen.
-
Bei bestimmten Ausführungsbeispielen
weist der Speicher 18 einen Augenlokalisierer 20,
einen Detektor 22, einen Modifizierer 24 und einen
Gesichtslokalisierer 26 auf, die Computersoftwareprogramme
sind, die durch den Prozessor 16 ausgeführt werden können. In 1 sind die Lokalisierer 20 und 26,
der Detektor 22 und der Modifizierer 24 derart dargestellt,
daß sie
in dem Speicher 18 gespeichert sind, wo dieselben durch
den Prozessor 16 ausgeführt
werden können.
Die Lokalisierer 20 und 26, der Detektor 22 und
der Modifizierer 24 können
anderweitig gespeichert oder angeordnet werden, derart, daß die Lokalisierer 20 und 26,
der Detektor 22 und der Modifizierer 24 durch
den Prozessor 16 zugreifbar sind. Zusätzlich dazu können die
Lokalisierer 20 und 26, der Detektor 22 und
der Modifizierer 24 eine Software, eine Hardware oder eine
Kombination aus Software und Hardware aufweisen.
-
Bei dem dargestellten Ausführungsbeispiel weist
das System 10 ferner eine Datenbank 28 auf, die
in dem Speicher 18 gespeichert ist. Die Datenbank 28 weist
Informationen auf, die dem Korrigieren eines geschlossenen Auges
eines Objekts innerhalb eines Bildes zugeordnet sind. Bei dem dargestellten Ausführungsbeispiel
weist die Datenbank 28 z. B. Geschlossenes-Auge-Bilddaten 30 und
eine Offenes-Auge-Bibliothek 32 auf.
Informationen, die dem Objekt innerhalb des Bildes zugeordnet sind,
werden als Geschlossenes-Auge-Bilddaten 30 gespeichert. Das
geschlossene Auge innerhalb des Bildes wird dann modifiziert oder
durch ein offenes Auge unter Verwendung von Informationen ersetzt,
die innerhalb einer Offenes-Auge-Bibliothek 32 enthalten
sind.
-
Kurz ausgedrückt kann das System 10 in
Betrieb derart konfiguriert sein, daß ein Gesichtslokalisierer 26 automatisch
ein Gesicht eines Objekts innerhalb eines Bildes lokalisiert. Der
Gesichtslokalisierer 26 kann z. B.
Pixelcharakteristika verwenden, die allgemein dem Definieren oder
Skizzieren eines Gesichts eines Objekts innerhalb eines Bildes zugeordnet
sind, um ein Gesicht von einem oder mehreren Objekten innerhalb
des Bildes zu lokalisieren. Somit kann der Gesichtslokalisierer 26 nach
dem Empfangen eines Bildes jedes Gesicht innerhalb des Bildes automatisch
lokalisieren und identifizieren, für eine Bestimmung darüber, ob
jedes Objekt innerhalb des Bildes zumindest ein geschlossenes Auge
aufweist. Alternativ kann das System derart konfiguriert sein, daß ein Benutzer
eines Systems 10 ein bestimmtes Gesicht innerhalb eines
Bildes unter Verwendung der Eingabevorrichtung 12 lokalisieren
und auswählen
kann.
-
Das System 10 kann ferner
derart konfiguriert sein, daß der
Augenlokalisierer 20 automatisch zumindest ein Auge eines
Objekts innerhalb des Bildes lokalisiert. Der Detektor 22 kann
z. B, verschiedene Charakteristika
erwerben, die einem Gesicht eines Objekts zugeordnet sind, und kann
die erworbenen Gesichtscharakteristikdaten als Gesichtscharakteristika 40 in
der Datenbank 28 speichern. Wie oben beschrieben, kann
das System 10 angepaßt
sein, um ein Gesicht eines Objekts innerhalb des Bildes automatisch
zu lokalisieren, oder kann angepaßt sein, um eine Benutzerauswahl
eines bestimmten Gesichts innerhalb des Bildes unterzubringen. Gesichtscharakteristika 40 können eine
Länge 42 und
eine Breite 44 eines Gesichts eines bestimmten Objekts
aufweisen. Gesichtscharakteristika 40 können basierend auf Pixelcharakteristika
innerhalb des Bildes bestimmt werden, oder alternativ kann ein Benutzer
des Systems 10 die Eingabevorrichtung 12 verwenden,
um verschiedene Merkmale eines bestimmten Gesichts auszuwählen, um
Gesichtscharakteristika 40 zu erwerben. Basierend auf der
Länge 42 und
der Breite 44 eines bestimmten Gesichts kann der Augenlokalisierer 20 zumindest
ein Auge eines Objekts innerhalb des Bildes automatisch lokalisieren
und identifizieren. Alternativ kann ein Benutzer des Systems 10 jedes
Auge eines bestimmten Objekts unter Verwendung der Eingabevorrichtung 12 lokalisieren
und identifizieren.
-
Der Detektor 22 bestimmt
automatisch, ob ein Auge eines Objekts innerhalb eines Bildes offen oder
geschlossen ist, durch Erwerben verschiedener Charakteristika, die
dem Auge zugeordnet sind oder sich in der Nähe des Auges eines bestimmten
Objekts befinden. Bei dem dargestellten Ausführungsbeispiel erwirbt oder
speichert der Detektor 22 Wimpernreihencharakteristika 50,
Augenbrauencharakteristika 52 und Gesichtscharakteristika 40,
die entweder alleine oder in Kombination verwendet werden können, um
zu bestimmen, ob ein Auge eines Objekts innerhalb eines Bildes geschlossen
ist, und die ebenfalls zum Ersetzen des geschlossenen Auges durch
ein offenes Auge verwendet werden können. Der Detektor 22 kann
z. B. Pixelcharakteristika analysieren,
die einer Wimpernreihe eines Objekts zugeordnet sind, die allgemein
etwas unterhalb eines geschlossenen Auges gebildet ist, um zu bestimmen, ob
ein bestimmtes Auge eines Objekts innerhalb des Bildes geschlossen
ist. Der Detektor 22 kann ferner Pixelcharakteristika verwenden,
die verschiedenen Mustern zugeordnet sind, die entweder einem offenen
Auge oder einem geschlossenen Auge entsprechen, um zu bestimmen,
ob ein bestimmtes Objekts innerhalb eines Bildes ein geschlossenes
Auge hat.
-
Der Detektor 22 kann ferner
Endpositionen 54 und eine Länge 56 der Wimpernreihe
erwerben, die verwendet werden können,
um eine zufriedenstellende Position für ein offenes Auge innerhalb
des Bildes auszuwählen,
wie nachfolgend detaillierter beschrieben wird. Zusätzlich dazu
kann der Detektor 22 Informationen lokalisieren und erwerben,
die einer Augenbraue des Objekts innerhalb des Bildes zugeordnet
sind, wie z. B. Endpositionen 58 und
eine Länge 60 einer
Augenbraue, die ebenfalls verwendet werden können, um eine zufriedenstellende
Position innerhalb des Bildes für
das offene Auge auszuwählen.
Der Detektor 22 kann ferner verschiedene Gesichtscharakteristika 40 des
Objekts zur Verwendung beim Ersetzen eines geschlossenen Auges durch
ein offenes Auge erwerben, wie z. B.,
aber nicht ausschließlich,
Hautton 62 und Textur 64, die einem Gesicht des
Objekts zugeordnet sind, und eine Gesichtsrichtung 66 des
Objekts. Der Detektor 22 kann z. B.
einen Bereich innerhalb einer Stirn oder einer anderen Position
eines Gesichts des Objekts lokalisieren und identifizieren, um Hautfarben-
und Textur-Charakteristika des Objekts zu erhalten, die während des
Ersetzens des geschlossenen Auges durch das offene Auge verwendet
werden können.
Der Detektor 22 kann ferner die Gesichtsrichtung 66 des
Objekts innerhalb des Bildes unter Verwendung von Länge 42,
Breite 44 oder anderen Charakteristika innerhalb des Bildes
bestimmen. Pixelcharakteristika des Bildes, die eine Schattenbildung
anzeigen, können
z. B. verwendet werden, um zu bestimmen,
in welche Richtung das Objekt innerhalb des Bildes zeigt. Zusätzlich dazu
können
die Wimpernreihen- und die Augenbrauen-Charakteristika 50 und 52,
wie z. B. die Positionen der Augenbraue
und der Wimpernreihe relativ zu dem Gesicht des Objekts, verwendet
werden, um zu bestimmen, in welche Richtung das Objekt innerhalb
des Bildes zeigt. Die Gesichtsrichtung 66 kann dann verwendet
werden, um das offene Ersatzauge innerhalb des Bildes ordnungsgemäß zu lokalisieren
und zu dimensionieren.
-
Der Modifizierer 24 wird
verwendet, um ein geschlossenes Auge innerhalb des Bildes durch
ein offenes Auge unter Verwendung von Informationen zu ersetzen,
die innerhalb von Geschlossenes-Auge-Bilddaten 30 und/oder
der Offenes-Auge-Bibliothek 32 enthalten
sind. Die Offenes-Auge-Bibliothek 32 weist z. B.
Informationen auf, die verschiedenen Charakteristika eines offenen
Auges zugeordnet sind, die verwen det werden, um ein geschlossenes Auge
innerhalb des Bildes zu ersetzen. Eine oder mehrere Charakteristika,
die dem offenen Auge zugeordnet sind, können durch einen Benutzer des Systems 10 ausgewählt oder
automatisch durch den Modifizierer 24 ausgewählt werden,
zum Ersetzen des geschlossenen Auges. Wenn das Objekt innerhalb
des Bildes z. B. relativ klein ist,
was zu einem relativ kleinen Bild eines Auges des Objekts führt, kann der
Modifizierer 24 ein geschlossenes Auge des Objekts automatisch
durch ein offenes Auge ersetzen, mit wenig oder keiner Benutzerintervention,
da verschiedene Charakteristika, die dem Ersetzen des offenen Auges
zugeordnet sind, innerhalb des Bildes minimal erkennbar sein werden.
Wenn die Größe des Auges
jedoch zunimmt, können
zusätzliche
Charakteristika in Bezug auf ein offenes Auge für ein zufriedenstellendes Ersetzen
erforderlich sein, die dem bestimmten Objekt innerhalb des Bildes
entsprechen.
-
In Betrieb kann der Modifizierer 24 die
relative Größe eines
Gesichts eines Objekts innerhalb des Bildes unter Verwendung von
Gesichtscharakteristika 40 bestimmen, die durch den Detektor 22 erworben
werden, wie z. B. Länge 42 und Breite 44 eines bestimmten
Gesichts innerhalb des Bildes. Basierend auf der Länge 42 und
der Breite 44 kann der Modifizierer 24 bestimmen,
daß ein
Bild eines offenen Auges aus einer Offenes-Auge-Bibliothek 32 ein
zufriedenstellender Ersatz für
ein geschlossenes Auge sein kann. Wenn der Modifizierer 24 jedoch
bestimmt, daß zusätzliche
Charakteristika, die dem offenen Auge zugeordnet sind, erforderlich
sind, um ein geschlossenes Auge geeignet zu ersetzen, können eine
oder mehrere Charakteristika aus der Offenes-Auge-Bibliothek 32 ausgewählt werden.
Bei dem dargestellten Ausführungsbeispiel
weist die Offenes-Auge-Bibliothek 32 z. B.
Farbcharakteristika 70, Geschlechtscharakteristika 72 und
ethnische Charakteristika 74 auf.
-
In Betrieb können Farbcharakteristika 70, wie
z. B. Irisfarbe 76, durch
den Modifizierer 24 ausgewählt werden, um eine zufriedenstellende
Irisfarbe für
das offene Auge zu erhalten. Die Irisfarbe 76 kann ein
Spektrum von verfügbaren
Farben aufweisen, die durch einen Benutzer des Systems 10 für die Irisfarbe
des offenen Auges ausgewählt
werden können. Das
System 10 kann ferner angepaßt sein, um eine Irisfarbe 76 für das offene
Auge aus einem offenen Auge des Objekts innerhalb des Bildes zu
erwerben. Wenn z. B. eines der Augen
des Objekts innerhalb des Bildes offen ist, kann der Detektor 22 verwendet werden,
um die Irisfarbe 76 aus dem offenen Auge zu erwerben, um
während
des Ersetzens des geschlossenen Auges verwendet zu werden. Zusätzlich dazu kann
der Modifizierer 24 auf Gesichtscharakteristika 40 zugreifen,
wie z. B. Fleischton bzw. Hautton 62, der
durch den Detektor 22 erworben wird, um einen geeigneten
Hautton 78 für
verschiedene Hautabschnitte des offenen Ersatzauges zu bestimmen. Wenn
das geschlossene Auge z. B. durch das
offene Auge ersetzt wird, können
Hautbereiche innerhalb des Bildes in der Nähe des Auges, wie z. B.
Augenlid und andere Hautmerkmale, ebenfalls eine Neukonstruktion
erfordern. Somit erzeugt der Modifizierer 24 Abschnitte
des offenen Ersatzauges und mischt dieselben in benachbarte Abschnitte
des Bildes in der Nähe
des offenen Ersatzauges.
-
Geschlechtscharakteristika 72,
wie z. B. männliche Charakteristika 80 und
weibliche Charakteristika 82, können ferner durch den Modifizierer 24 ausgewählt werden
und einem bestimmten Objekt innerhalb des Bildes entsprechen. Wimperncharakteristika 84 und 86 können z. B.
ausgewählt
werden, die entweder einem männlichen
bzw. einem weiblichen Objekt entsprechen, um ein zufriedenstellendes offenes
Ersatzauge zu erhalten. Wimperncharakteristika 84 und 86 können Wimperndicke,
Wimperlänge,
Wimpernkrümmung
und andere zugeordnete Charakteristika umfassen, die den Wimpern
eines bestimmten Objekts entsprechen, um einen zufriedenstellenden
Offenes-Auge-Ersatz zu erhalten. Geschlechtscharakteristika 72 können automatisch
basierend auf Informationen ausgewählt werden, die durch den Detektor 22 erhalten
werden, oder können durch
einen Benutzer eines Systems 10 unter Verwendung der Eingabevorrichtung 12 ausgewählt werden.
-
Der Modifizierer 24 kann
ferner ethnische Charakteristika 74 auswählen, die
einem bestimmten Objekt innerhalb des Bildes entsprechen, um einen zufriedenstellenden
Offenes-Auge-Ersatz
zu erhalten. Die Form und andere Charakteristika eines Auges können abhängig von
der Ethik des Objekts innerhalb des Bildes variieren. Somit kann
der Modifizierer 24 abhängig
von der Ethik des Objekts innerhalb des Bildes verwendet werden,
um einen zufriedenstellenden Offenes-Auge-Ersatz für das bestimmte Objekt auszuwählen. Ethnische
Charakteristika 74 können
automatisch basierend auf Informationen ausgewählt werden, die durch den Detektor 22 erhalten
werden, oder können
durch einen Benutzer des Systems 10 unter Verwendung der
Eingabevorrichtung 12 ausgewählt werden.
-
Der Modifizierer 24 kann
das offene Ersatzauge ferner unter Verwendung einer Gesichtsrichtung 66 dimensionieren
und lokalisieren. Abhängig von
der Richtung, in die das Objekt innerhalb eines Bildes zeigt, kann
die Form und die Position des Auges z. B.
relativ zu dem Gesicht des Objekts variieren. Dementsprechend modifiziert
der Modifizierer 24 eine Form des offenen Ersatzauges unter
Verwendung der Gesichtsrichtung 66. Der Modifizierer 24 kann
ferner eine Position für
das offene Auge innerhalb des Bildes unter Verwendung einer Gesichtsrichtung 66 auswählen.
-
Die 2 und 3 sind Diagramme, die ein
Bild 90 vor bzw. nach der Korrektur darstellen, unter Verwendung
des Systems 10 gemäß einem
Ausführungsbeispiel
der vorliegenden Erfindung. Wie in den 2 und 3 dargestellt
ist, weist das Bild 90 ein einzelnes Objekt 92 auf.
Es sollte jedoch darauf hingewiesen werden, daß das System 10 ferner
verwendet werden kann, um Bilder zu korrigieren, die mehrere Objekte 92 enthalten.
Wie am besten in 2 dargestellt
ist, weist das Objekt 92 zwei geschlossene Augen 94 auf.
-
Wie oben beschrieben wurde, kann
der Gesichtslokalisierer 26 verwendet werden, um ein Gesicht 96 eines
Objekts 92 automatisch zu lokalisieren, und der Augenlokalisierer 20 kann
verwendet werden, um Augen 94 des Objekts 92 automatisch
zu lokalisieren. Alternativ kann ein Benutzer des Systems 10 die
Eingabevorrichtung 12 verwenden, um ein bestimmtes Objekt 92 und
bestimmte Augen 94 des Objekts 92 innerhalb des
Bildes 90 auszuwählen.
-
Wie oben beschrieben ist, analysiert
der Detektor 22 das Bild 90, um zu bestimmen,
ob, ein bestimmtes Objekt 92 innerhalb des Bildes 90 zumindest
ein geschlossenes Auge 94 aufweist. In Betrieb kann der
Detektor 22 eine Wimpernreihe 100 des Objekts 92 identifizieren,
die durch ein Schließen
eines Auges gebildet wird. Der Detektor 22 kann z. B.
konfiguriert sein, um eine Wimpernreihe 100 basierend auf
vorbestimmten Pixel-Werten und -Charakteristika zu lokalisieren
und zu identifizieren, die einem geschlossenen Auge zugeordnet sind.
-
Der Detektor 22 erfordert
ferner zusätzliche Informationen,
die dem Objekt 92 und den Augen 94 entsprechen,
die zum Lokalisieren des offenen Ersatzauges und zum Auswählen verschiedener
Merkmale verwendet werden, die dem offenen Ersatzauge zugeordnet
sind. Wie oben kurz beschrieben wurde, kann der Detektor 22 z. B.
Wimpernreihencharakteristika 50 erhalten, wie z. B.
Endpositionen 54 und Länge 56,
die durch den Modifizierer 24 verwendet werden können, um
eine zufriedenstellende Position für das offene Ersatzauge zu
bestimmen. Der Detektor 22 kann ferner eine Augenbraue 102 des
Objekts 92 unter Verwendung vorbestimmter Pixelwerte lokalisieren
und identifizieren, die allgemein innerhalb einer Augenbraue eines
Objekts zugeordnet sind. Dementsprechend kann der Detektor 22 ferner
Augenbrauencharakteristika 52 erwerben, wie z. B. Endpositionen 58 und
Länge 60,
die durch den Modifizierer 24 verwendet werden können, um
das offene Ersatzauge zufriedenstellend zu lokalisieren. Der Detektor 22 kann
ferner Gesichtscharakteristika 40 erhalten, wie z. B.
Hautton 62 und Textur 64, die durch den Modifizierer 24 zum
zufriedenstellenden Ersetzen des geschlossenen Auges 94 verwendet
werden können.
-
Wie oben kurz beschrieben wurde,
kann der Detektor 22 ferner Gesichtscharakteristika 40 erhalten,
wie z. B. Länge 42 und Breite 44,
um den Pegel der Charakteristika zu bestimmen, die für das offene Ersatzauge
erforderlich sind. Wenn sich eine Größe des Objekts 92 innerhalb
eines Bildes 90 z. B. verringert,
können
weniger Details und weniger Charakteristika erforderlich sein, um
geschlossene Augen 94 zufriedenstellend zu ersetzen. Wenn
sich die Größe des Objekts 92 jedoch
innerhalb des Bildes 90 erhöht, können zusätzliche Detail- und Charakteristik-Pegel,
die dem offenen Ersatzauge zugeordnet sind, erforderlich sein, um
geschlossene Augen 94 zufriedenstellend zu ersetzen.
-
Nachdem der Detektor bestimmt hat,
daß das
Objekt 92 zumindest ein geschlossenes Auge 94 aufweist,
kann der Modifizierer 24 verwendet werden, um das geschlossene
Auge 94 durch ein offenes Auge 110 zu ersetzen.
Wie oben kurz beschrieben wurde, wenn die Größe des Objekts 92 relativ klein
innerhalb des Bildes 90 ist, kann der Modifizierer 24 das
geschlossene Auge 94 automatisch durch ein offenes Ersatzauge 110 ersetzen,
das aus der Offenes-Auge-Bibliothek 32 ausgewählt wird.
Wenn das Objekt 92 z. B. in
einer ausreichend großen
Distanz von einer Bildsammelvorrichtung angeordnet ist, wie z. B.
einer Kamera, können
bestimmte Charakteristika eines Auges innerhalb des Bildes 90 nicht
erkennbar sein. Wie jedoch nachfolgend detaillierter beschrieben
wird, wenn sich die Größe des Objekts 92 und
dementsprechend der Augen des Objekts 92 innerhalb des
Bildes 90 erhöht,
können
zusätzliche Merkmale
und Charakteristika, die den Augen des Objekts 92 zugeordnet
sind, erforderlich sein, um geschlossene Augen 94 zufriedenstellend
zu ersetzen.
-
Der Modifizierer 24 verwendet
Wimpernreihencharakteristika 50 und/oder Augenbrauencharakteristika 52,
um das offene Auge 110 an dem Objekt 92 zu lokalisieren.
Der Modifizierer 24 kann z. B. Endpositionen 54 und/oder
Länge 56 der
Wimpernreihe 100 des Objekts 92 verwenden, um
eine Position an dem Gesicht 96 für das offene Auge 110 zu
bestimmen. Der Modifizierer 24 kann ferner Endpositionen 58 und/oder
Länge 60 der
Augenbraue 102 des Objekts 92 verwenden, um die
Position für
das offene Auge 110 zu bestimmen. Der Modifizierer 24 dimensioniert
das offene Auge 110 ferner unter Verwendung einer oder
mehrerer Gesichtscharakteristika 40. Der Modifizierer 24 kann
Länge 42 und/oder
Breite 44 verwenden, um eine geeignete Größe des offenen
Auges 110 zu bestimmen, die der Größe des Gesichts 96 des
Objekts 92 entspricht. Die Dimensionierung des offenen
Auges 110 kann ferner auf Wimpernreihencharakteristika 50 und/oder
Augenbrauencharakteristika 52 basieren.
-
Wie oben kurz beschrieben wurde,
kann der Modifizierer 24 ferner verwendet werden, um verschiedene
Charakteristika auszuwählen,
die einem offenen Auge 110 zugeordnet sind, um einen zufriedenstellenden
Austausch für
das Bild 90 zu erhalten. Der Modifizierer 24 kann
z. B. verwendet werden, um Farbcharakteristika 70,
Geschlechtscharakteristika 72 und ethnische Charakteristika 74 auszuwählen, die
einem bestimmten Objekt 92 innerhalb des Bildes 90 entsprechen.
Somit können
bestimmte Charakteristika, die dem offenen Auge 110 zugeordnet
sind, mit Genauigkeit ausgewählt
werden, wodurch das offene Auge 110 für das bestimmte Objekt 92 maßgeschneidert
wird.
-
Bei dem dargestellten Ausführungsbeispiel kann
der Modifizierer 24 verwendet werden, um eine bestimmte
Irisfarbe 76 auszuwählen,
die dem Objekt 92 für
das offene Ersatzauge 110 entspricht. Der Modifizierer 24 kann
ferner verwendet werden, um ethnische Charakteristika 74 auszuwählen, die
dem Objekt 92 entsprechen. Verschiedene Merkmale und Charakteristika
des offenen Auges 110 können
z. B. modifiziert werden, wie z. B.
Form und Position, basierend auf einem ethnischen Hintergrund des
Objekts 92. Wie oben beschrieben wurde, kann das System 10 angepaßt sein,
um die Irisfarbe 76 und/oder ethnische Charakteristika 74 basierend
auf Informationen, die durch den Detektor 22 erhalten werden,
automatisch auszuwählen,
oder die Irisfarbe 76 und/oder die ethnischen Charakteristika 74 können durch
einen Benutzer des Systems 10 unter Verwendung der Eingabevorrichtung 12 ausgewählt werden.
-
Der Modifizierer 24 kann
ferner verwendet werden, um eine oder mehrere Geschlechtscharakteristika 72 auszuwählen, die
dem bestimmten Objekt 92 entsprechen. Bei dem dargestellten
Ausführungsbeispiel
können
eine oder mehrere weibliche Charakteristika 82 ausgewählt werden,
wie z. B. Wimperncharakteristika 86,
um ein zufriedenstellendes offenes Ersatzauge 110 zu erhalten.
Wimperncharakteristika 86 können Dicke, Länge, Krümmungsbetrag
und andere Merkmale umfassen, um das offene Auge 110 für das bestimmte
Objekt 92 zu modifizieren. Wie oben beschrieben, kann das
System 10 angepaßt
sein, um automatisch Geschlechtscharakteristika 72 basierend
auf Informationen auszuwählen,
die durch den Detektor 22 erhalten werden, oder die Geschlechtscharakteristika 72 können durch
einen Benutzer des Systems 10 unter Verwendung der Eingabevorrichtung 12 ausgewählt werden.
-
Der Modifizierer 24 verwendet
ferner eine oder mehrere Gesichtscharakteristika 40, die
durch den Detektor 22 erworben werden, um verschiedene Merkmale
des offenen Ersatzauges 110 in das Gesicht 96 des
Objekts 92 zu mischen und/oder zu glätten. Während des Ersatzes eines geschlossenen
Auges 94 werden z. B. Augenlidabschnitte 112 und
andere Gesichtsmerkmale in der Nähe
des offenen Auges 110 durch den Modifizierer 24 erzeugt.
Der Modifizierer 24 kann Hautton 62 und Textur 64 wiedergewinnen,
die durch den Detektor 22 erworben wurden, um Farb- und
Textur-Charakteristika
mit verschiedenen Hautabschnitten zu erhalten, die entsprechend dem
offenen Auge 110 erzeugt werden.
-
Augenlidabschnitte 112 und
andere Hautmerkmale in der Nähe
des offenen Auges werden dann erzeugt und in benachbarte Bereiche
des Gesichts 96 innerhalb des Bildes 90 in der
Nähe des
offenen Auges 110 gemischt.
-
Somit schafft die vorliegende Erfindung
eine effiziente und kosteneffektive Lösung zum Korrigieren von Bildern
und dadurch ein wesentliches Reduzieren oder Beseitigen einer Anforderung
nach doppelten Bildern. Die vorliegende Erfindung kann z. B. während der
Bildverarbeitung verwendet werden, um geschlossene Augen in Bildern
zu korrigieren. Bei einer Bildverarbeitungsanwendung kann ein Benutzer z. B.
die Option des Konfigurationssystems 10 haben, ein geschlossenes
Auge automatisch zu lokalisieren, zu erfassen und/oder durch ein
offenes Auge zu ersetzen, oder der Benutzer kann das System 10 konfigurieren,
um ein geschlossenes Auge automatisch durch ein offenes Auge zu
ersetzen, nach dem manuellen Auswählen von Merkmalen innerhalb
des Bildes, wie z. B. eines bestimmten
Objekts oder eines Gesichts, oder nach dem manuellen Auswählen verschiedener
Charakteristika, die dem offenen Ersatzauge zugeordnet sind, wie
z. B. einer Irisfarbe oder geschlechtsspezifischer
Charakteristika. Die vorliegende Erfindung kann ferner in eine Bilderfassungsvorrichtung
eingelagert sein, wie z. B. eine digitale
Kamera, für
eine Echtzeitbildkorrektur.
-
4 ist
ein Flußdiagramm,
das ein Verfahren für
eine Bildkorrektur gemäß einem
Ausführungsbeispiel
der vorliegenden Erfindung darstellt. Das Verfahren beginnt bei
Schritt 200, wo der Gesichtslokalisierer 26 ein
Gesicht 96 des Objekts 92 automatisch lokalisiert
und identifiziert. Bei Schritt 202 lokalisiert und identifiziert
der Augenlokalisierer 20 automatisch Positionen für die Augen
des Objekts 92 innerhalb des Bildes 90. Wie oben
beschrieben ist, können
Pixelcharakteristika oder andere Merkmale, die dem Bild 90 zugeordnet
sind, verwendet werden, um das Gesicht 96 und die Augen
des Objekts 92 innerhalb des Bildes 90 zu lokalisieren
und zu identifizieren.
-
Bei Schritt 204 bestimmt
der Detektor 22, ob das Objekt 92 zumindest ein
geschlossenes Auge 94 aufweist. Der Detektor 22 kann
z. B. die Wimpernreihe 100 erfassen,
die anzeigt, daß das
Objekt 92 zumindest ein geschlossenes Auge 94 aufweist.
Bei dem Entscheidungsschritt 206, ob das Objekt 92 nicht
zumindest ein geschlossenes Auge 94 aufweist, schreitet
das Verfahren zu Schritt 246 fort. Wenn das Objekt 92 zumindest
ein geschlossenes Auge 94 aufweist, schreitet das Verfahren
von Schritt 206 zu Schritt 208 fort, wo der Detektor 22 Gesichtscharakteristika 40 erwirbt,
die dem Objekt 92 entsprechen. Der Detektor 22 kann
z. B. Länge 42 und Breite 44 des
Gesichts 96 erwerben. Der Detektor 22 kann ferner
Hautton 62 und Textur 64 erwerben, die den Hautabschnitten
des Objekts 92 entsprechen.
-
Bei Schritt 210 erwirbt
der Detektor Wimperncharakteristika 50, die dem Objekt 92 entsprechen,
wie z. B. Endpositionen 54 und
Länge 56.
Bei Schritt 212 erwirbt der Detektor 22 Augenbrauencharakteristika 57,
die dem Objekt 92 entsprechen, wie z. B.
Endpositionen 58 und Länge 60.
Bei Schritt 214 bestimmt der Detektor 22 die Gesichtsrichtung 66 des
Objekts 92. Gesichtscharakteristika 40, wie z. B. Länge 42 und
Breite 44, können
verwendet werden, um die Gesichtsrichtung 66 zu bestimmen.
Wimperncharakteristika 50 und/oder Augenbrauencharakteristika 57 können ferner
verwendet werden, um die Gesichtsrichtung 66 zu bestimmen.
-
Bei Schritt 216 bestimmt
der Detektor 22 eine Größe des Objekts 92 relativ
zu dem Bild 90 zum Bestimmen eines Pegels von Charakteristika, die
erforderlich sind, um eines oder mehrere geschlossene Augen 94 zu
ersetzen. Gesichtscharakteristika 40, wie z. B.
Länge 42 und
Breite 44, können verwendet
werden, um eine relative Größe des Objekts 92 zu
bestimmen. Wimperncharakteristika 50, wie z. B.
Länge 56 und/oder
Augenbrauencharakteristika 57, wie z. B.
Länge
60,
können
ebenfalls verwendet werden, um eine relative Größe des Objekts 92 zu
bestimmen. Bei Schritt 218 greift der Modifizierer 24 auf
die Offenes-Auge-Bibliothek 32 zu, um eines oder mehrere
offene Augen 110 zum Ersetzen von einem oder mehreren geschlossenen
Augen 94 auszuwählen.
Bei Schritt 220 modifiziert der Modifizierer 24 das
Bild 90, durch ersetzen der geschlossenen Augen 94 durch
die offenen Augen 106.
-
Bei dem Entscheidungsschritt 222,
wenn die offenen Ersatzaugen 110 relativ klein im Vergleich
zu dem Bild 90 sind, kann der Pegel der Charakteristika, die
notwendig sind, um geschlossene Augen 94 zufriedenstellend
zu ersetzen, minimal sein, und daher kann das Verfahren zu Schritt 246 fortschreiten. Wenn
die offenen Ersatzaugen 110 nicht relativ klein im Vergleich
zu dem Bild 90 sind, können
zusätzliche Charakteristika
notwendig sein, um die geschlossenen Augen 94 zufriedenstellend
zu ersetzen, und daher schreitet das Verfahren von Schritt 222 zu
Schritt 224 fort, wo der Modifizierer 24 Farbcharakteristika 70 empfängt, die
den offenen Augen 110 entsprechen. Zum Beispiel kann die
Irisfarbe 76 von einem Benutzer des Systems 10 über die
Eingabevorrichtung 12 empfangen werden. Bei Schritt 226 wendet der
Modifizierer 24 Farbcharakteristika 70 an die
offenen Augen 110 an, wie z. B.
die Irisfarbe 76.
-
Bei Schritt 228 empfängt der
Modifizierer Geschlechtscharakteristika 72, die dem Objekt 92 entsprechen.
Ein Geschlecht des Objekts 92 kann z. B. von
einem Benutzer des Systems 10 über die Eingabevorrichtung 12 empfangen
werden. Bei Schritt 230 wendet der Modifizierer 24 Geschlechtscharakteristika 72 an
die offenen Augen 110 an. Die Wimperncharakteristika 84 oder 86 können an
die offenen Augen 110 angewendet werden, die entweder männlichen Charakteristika 80 bzw.
weiblichen Charakteristika 82 entsprechen.
-
Bei Schritt 232 empfängt der
Modifizierer 24 ethnische Charakteristika 74,
die dem Objekt 92 entsprechen. Eine bestimmte Ethik, die
z. B. dem Objekt 92 zugeordnet
ist, kann von einem Benutzer des Systems 10 über die
Eingabevorrichtung 12 empfangen werden. Bei Schritt 234 wendet
der Modifizierer 24 ethnische Charakteristika 74 an
die offenen Augen 110 an. Bei Schritt 236 wendet
der Modifizierer Farbcharakteristika 70 an, die den Augenlidabschnitten 112 in
der Nähe
der offenen Augen 110 entsprechen. Der Modifizierer 24 kann
den Hautton 78 an Hautabschnitte in der Nähe der offenen
Augen 110 anwenden.
-
Bei Schritt 238 modifiziert
der Modifizierer 24 Wimperncharakteristika des Objekts 92 innerhalb des
Bildes 90. Der Modifizierer 24 kann z. B.
eine Form oder eine Position der Wimpern des Objekts 92 modifizieren,
die den offenen Augen 110 entsprechen. Bei Schritt 240 modifiziert
der Modifizierer 24 Augenbrauencharakteristika des Objekts 92 innerhalb
des Bildes. Der Modifizierer 24 kann z. B.
eine Form oder eine Position der Augenbraue des Objekts 92 modifizieren,
die den offenen Augen 110 entspricht. Bei Schritt 242 wendet
der Modifizierer 24 Texturcharakteristika an Hautabschnitte
in der Nähe der
offenen Augen 110 an. Der Modifizierer 24 kann z. B.
auf die Textur 64 zugreifen, die durch den Detektor 22 erworben
wird, und kann die Textur 64 an Augenlidabschnitte 112 und
andere Hautabschnitte anwenden, die entsprechend der offenen Augen 110 modifiziert
wurden.
-
Bei Schritt 244 mischt der
Modifizierer 24 Abschnitte des Bildes 90 in der
Nähe der
offenen Augen 110 in benachbarte Abschnitte des Bildes 90,
um einen glatten Übergang
zwischen modifizierten und unmodifizierten Abschnitten des Bildes 90 zu
erhalten. Bei dem Entscheidungsschritt 246 wird eine Bestimmung
darüber
durchgeführt,
ob ein anderes Objekt innerhalb des Bildes 90 eine Korrektur
erfordert. Wenn ein anderes Objekt innerhalb des Bildes 90 eine
Korrektur erfordert, kehrt das Verfahren zu Schritt 200 zurück. Wenn
kein anderes Objekt innerhalb des Bildes 90 eine Korrektur
erfordert, endet das Verfahren.