-
QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
-
Diese Anmeldung beansprucht den Nutzen der vorläufigen Patentanmeldung Nummer. 62/679, 399, eingereicht am 1. Juni 2018, dessen Offenbarung hiermit durch Bezugnahme hierin aufgenommen ist.
-
HINTERGRUND
-
Rote-Augen-Artefakte sind in der Verbraucherfotografie vorherrschend, hauptsächlich aufgrund der Verkleinerung von Digitalkameras. Mobile Vorrichtungen, die mit einer Kamera ausgestattet sind, die den Blitz und die Linsen in großer Nähe zueinander aufweisen, verursachen häufig eine direkte Reflexion von Blitzlicht von den Pupillen eines Objekts zu den Linsen der Kamera. Aufgrund dieses reflektierten Lichts erscheinen die von der Kamera erfassten Pupillen unnatürlich, sie nehmen verschiedene Farben (von dunklen zu helleren Schattierungen von Rot) als eine Funktion der Erfassung der Bedingungen und der intrinsischen Eigenschaften.
-
Korrektur für Rote-Augen-Artefakte umfasst typischerweise zuerst Erfassen (Segmentieren) des Augenbereichs, der die Artefakte enthält, und dann Korrigieren der Farbe der jeweiligen Pixel. Segmentierung des Bildbereichs, die durch die Rote-Augen-Artefakte verzerrt wurden, erfolgt üblicherweise durch Gruppieren der Bildpunkte auf der Basis von Farbe, unter Verwendung von einem Farbraum wie beispielsweise YCbCr oder RGB, und/oder durch Erkennung von Bildmustern (z.B. die Größe und Form der Pupille) mittels zum Beispiel von ringförmigen Filter. Sobald die Bildbereiche, die von den Rote-Augen-Artefakten betroffen sind, identifiziert werden, dann werden die betroffenen Pixel üblicherweise durch Verringerung ihrer Intensität (Abdunkelung) berichtigt. Viele der Techniken, die Rote-Augen-Artefakte korrigieren, arbeiten auf der Basis eines bereits bearbeiteten Bildes, in dem das ursprüngliche Auftreten des Rote-Auge-Artefakts wegen der Verarbeitung nicht erhalten bleibt.
-
Figurenliste
-
- 1 ist ein Diagramm, das eine Konfiguration veranschaulicht, die eine Kamera, eine Lichtquelle und zwei Motive umfasst, die in unterschiedlichen Abständen von der Kamera positioniert sind.
- 2 ist ein Diagramm, das verschiedene Rote-Augen-Artefakte veranschaulicht.
- 3 ist ein Blockdiagramm, das ein Kamerasystem für eine Rote-Augen-Artefaktkorrektur gemäß einem Aspekt der vorliegenden Offenbarung zeigt.
- 4 ist ein Diagramm, das beispielhafte Bildverarbeitungsalgorithmen gemäß einem Aspekt der vorliegenden Offenbarung zeigt.
- 5 ist ein Funktionsblockdiagramm, das eine Technik für eine Rote-Auge-ArtefaktKorrektur gemäß einem Aspekt der vorliegenden Offenbarung veranschaulicht.
- 6 ist ein Diagramm, das Zwischenverarbeitungsergebnisse einer Technik zur Rote-Augen-Artefaktkorrektur gemäß einem Aspekt der vorliegenden Offenbarung veranschaulicht.
-
DETAILLIERTE BESCHREIBUNG
-
Aspekte hierin offenbaren Systeme und Verfahren zum Korrigieren von Rote-Augen-Artefakten in einem Zielbild eines Motivs. In einem Aspekt können ein oder mehrere Bilder, die von einer Kamera erfasst werden, empfangen werden, einschließlich eines Rohbildes. Das Zielbild kann durch die Verarbeitung der erfassten Bilder erzeugt werden. Dann kann ein Augenbereich des Zielbildes moduliert werden, um die Rote-Augen-Artefakte zu korrigieren, wobei die Korrektur basierend auf Informationen durchgeführt werden kann, die aus dem Rohbild und/oder dem Zielbild extrahiert werden. In einem Aspekt kann die Modulation die Erfassung von Landmarken mit dem Augenbereich umfassen; Schätzen der spektralen Reaktion der Rote-Augen-Artefakte; Segmentieren eines Bildbereichs des Auges basierend auf der geschätzten spektralen Antwort der roten Augenartefakte und der detektierten Landmarken, Bilden einer Reparaturmaske; und Modifizieren eines Bildbereichs, der der Reparaturmaske zugeordnet ist. In einem anderen Aspekt kann die Modulation die Erfassung von Landmarken mit dem Augenbereich umfassen; Schätzen der spektralen Reaktion eines Schimmers; Segmentieren eines Bildbereichs des Auges basierend auf der geschätzten spektralen Antwort des Schimmers und der detektierten Landmarken, Bilden einer Schimmermaske; und Wiedergeben von einem oder mehreren Schimmern in einem Bereich, der dem Schimmern zugeordnet ist. Durch Einsetzen sowohl eines Rohbildes (oder eines Pseudo-Rohbildes) und eines verarbeiteten Bildes, die Genauigkeit der Erfassung der betroffenen Bereiche, wodurch das natürliche Aussehen der Augen eines Motivs, und Wiederherstellen von Schimmern verbessert werden kann.
-
Rotaugen-Artefakte werden durch Licht verursacht, das von den Pupillenbereichen der Augen eines Subjekts reflektiert wird. Typischerweise werden Rotaugen-Artefakte verstärkt, wenn ein Subjekt in einer dunklen Umgebung mit aktivem Kamerablitz fotografiert wird. Licht von dem Kamerablitz erreicht die Pupillen des Motivs und wird von den Pupillen zurück zu den Linsen der Kamera reflektiert. Diese Reflexionen werden von den Sensoren der Kamera erfasst und erzeugen die unerwünschten Bildartefakte. Jedoch sind Rote-Augen-Artefakte trotz ihres Namens nicht immer rot in ihrer Farbe. Die Farbe des Lichts, das von den Pupillen des Motivsreflektiert und von den Sensoren der Kamera erfasst wird, kann basierend auf den Erfassungsbedingungen variieren. Wie in 1 veranschaulicht, können die Erfassungsbedingungen folgendes umfassen: den Abstand zwischen der Kamera und dem Motiv, den Winkel zwischen der Augenoberfläche und der optischen Achse, und die Intensität der Lichtquelle (Blitz). Beispielsweise kann ein kurzer Abstand zwischen der Kamera und dem Motiv Rote-Auge-Artefakt dazu führen, dass eine Augenreflexion in einer bernsteinfarbenen oder roten Farbe erscheint. Während in einem großen Abstand zwischen der Kamera und dem Motiv eine Augenreflexion weißer erscheinen kann. Somit, können Rote-Augen-Artefakte in einem Spektrum von Farben verwirklicht werden, abhängend von, unter anderem, das Erfassen von Bedingungen.
-
2 veranschaulicht das Auftreten von Rotaugen-Artefakten. Im Allgemeinen können rote Augenartefakte eine Reihe von Farben von reinem Weiß, durch gelb, bernsteinfarben, hellrot, kastanienbraun bis braun zeigen. Wie oben erwähnt, können Faktoren, die die Farbe und das Muster der Rote-Augen-Artefakte beeinflussen können, eine Funktion der Bedingungen der Szene sein. Wenn beispielsweise das Umgebungslicht sehr hell ist, wie zum Beispiel im Freien zur Tageszeit, wird die Pupille während des Erfassens vollständig verengt und das resultierende Bild wird wahrscheinlich seine normale Farbe beibehalten. Einige Faktoren können jedoch mit dem Thema selbst zusammenhängen - Humangenetik, Gesundheitszustand, Vorhandensein von Brillen oder undurchsichtige und bunte Kontaktlinsen.
-
Das Kamerasystem kann auch ein wichtiger Faktor bei dem Erscheinen der Rote-Augen-Artefakte sein. Die Belichtungszeit, Apertur und optische Aberrationen der Kamera können einige der Faktoren sein, die das Erscheinen des roten Auges beeinflussen. Zum Beispiel, je näher der Blitz an der optischen Achse der Kamera liegt, desto direkter prallt das Licht von den Augen zu den Linsen der Kamera, und je weißer können die Rote-Augen-Artefakte sein. In ähnlicher Weise können Verarbeitungsvorgänge wie Tonkurven, digitale Verstärkung, Weißabgleich, Rauschunterdrückung, Schärfen, Histogrammausgleich oder Ausrichtung weitere Änderungen im Erscheinungsbild (Farbe und Intensität) der Rote-Augen-Artefakte verursachen.
-
Hier offenbarte Aspekte verwenden Rohbilder (oder Pseudo-Rohbilder) sowie verarbeitete Bilder (Zielbilder), um Rote-Augen-Artefakte zu korrigieren und Schimmer wiederherzustellen. 3 veranschaulicht ein System 300 gemäß einem Aspekt der vorliegenden Offenbarung. Ein Kamerasystem 310 kann Bilddaten eines Motivs 305 erfassen. Das Kamerasystem 310 kann einen oder mehrere Bildsensoren aufweisen, z. B. 320.1 und 320.2, eine Bildregistrierungseinheit 330, einen Bildprozessor 340 und einen Augenbildmodulator 370. Die Sensoren 320.1 und 320.2 können Bilder 325 des Motivs 305 erfassen. Das Kamerasystem 310 kann dann die erfassten Bilder unter Verwendung der Bildregistrierung 330 ausrichten. Die ausgerichteten Bilder 335 können dann einem Bildprozessor 340 zugeführt werden, der ein Zielbild 360 erzeugen kann. Der Bildprozessor 340 kann auch ein Pseudo-Rohbild 355 erzeugen, das andere Verarbeitungsoperationen als jene verwendet, die für das Zielbild 360 verwendet werden. Der Augenbildmodulator 370 kann die Korrektur der roten Augenartefakte durchführen und Augengaden wiederherstellen, indem er als Eingaben das Rohbild 350 (und/oder das Pseudo-Rohbild 355) und das Zielbild 360 empfängt.
-
In einem Aspekt kann ein Bild 325 erfasst werden, aus dem das Rohbild 350 und das Zielbild 360 abgeleitet werden können. Zum Beispiel kann ein einzelnes Bild, das von einem einzelnen Bildsensor 320.1 erfasst wird, durch den Bildprozessor 340 (Umgehung der Bildregistrierungseinheit 330) verarbeitet werden, um sowohl ein Pseudorohbild 355 als auch ein Zielbild 360 zu bilden. Sowohl das Pseudo-Rohbild 355 als auch sein Zielbild-Gegenstück können dann verwendet werden, um die Augenbildmodulation 370 auszuführen. Alternativ, zusätzlich oder anstelle des Pseudo-Rohbildes 355, kann das Rohbild 350 zusammen mit seinem Zielbild-Gegenstück zur Durchführung der Augenbildmodulation 370 verwendet werden.
-
In einem anderen Aspekt können zwei Bilder 325 in zeitlicher Nähe zueinander erfasst werden, von dem das Pseudo-Rohbild 355 und das Zielbild 360 abgeleitet werden können. Beispielsweise kann der Bildsensor 320.1 zwei Bilder nacheinander erfassen. Dann können diese zwei Bilder durch die Bildregistrierungseinheit 330 ausgerichtet werden. Die beiden Bilder können dann von dem Bildprozessor 340 verarbeitet werden, der wiederum das Zielbild 360 und das Pseudo-Rohbild 355 erzeugen kann. Sowohl das Pseudo-Rohbild 355 als auch sein Zielbild-Gegenstück können dann verwendet werden, um die Augenbildmodulation 370 auszuführen. Alternativ, zusätzlich oder anstelle des Pseudo-Rohbildes 355, kann das Rohbild 350 zusammen mit seinem Zielbild-Gegenstück zur Durchführung der Augenbildmodulation 370 verwendet werden. In einem Aspekt können sich die Erfassungseinstellungen der zwei erfassten Bilder 325 voneinander unterscheiden. Beispielsweise kann ein Kamerablitz für ein Bild aktiviert werden (z. B. aus dem ein Zielbild erzeugt werden kann) und für das andere Bild deaktiviert werden (z. B. aus dem ein Rohbild 350 oder ein Pseudo-Rohbild 355 erzeugt werden kann) Gleichermaßen können die Belichtungseinstellungen von einem Bild zum anderen variieren.
-
In einem weiteren Aspekt können die Bilder 325 von verschiedenen Bildsensoren erfasst werden. Beispielsweise kann ein erster Bildsensor 320.1 verwendet werden, um ein oder mehrere Bilder zu erfassen, von denen das Rohbild 350 oder das Pseudo-Rohbild 355 abgeleitet werden können, und ein zweiter Bildsensor 320.2 kann verwendet werden, um ein oder mehrere Bilder zu erfassen, von denen das Zielbild 360 abgeleitet werden kann. Sowohl das Pseudo-Rohbild 355 als auch sein Zielbild-Gegenstück 360 können dann zur Durchführung der Augenbildmodulation 370 verwendet werden. Alternativ, zusätzlich oder anstelle des Pseudo-Rohbildes 355, kann das Rohbild 350 zusammen mit seinem Zielbild-Gegenstück 360 zur Durchführung der Augenbildmodulation 370 verwendet werden. Typischerweise können die beiden Bildsensoren, 320.1 und 320.2, mit einer vorbestimmten räumlichen Beziehung zueinander positioniert werden. Während des Betriebs können die beiden Bildsensoren 320.1 und 320.2 gleichzeitig oder in zeitlicher Nähe Bildinformationen erfassen. Die Erfassungseinstellungen dieser beiden Sensoren können sich voneinander unterscheiden (z. B. Belichtungseinstellungen).
-
In Fällen, in denen die Bilder 325 von unterschiedlichen Sensoren zu unterschiedlichen Zeiten erfasst werden, oder in denen beide Bilder aufgrund von Vibrationen des Kamerasystems 310 oder aufgrund von Bewegungen des Subjekts 305 räumlich fehlausgerichtet sein können. Um eine solche Fehlausrichtung zu kompensieren, können die Bilder 325 räumlich miteinander durch die Bildregistrierungseinheit 330 ausgerichtet werden, was zu ausgerichteten Bildern 335 führt. Die Bildregistrierungseinheit kann auch Verzerrungen berücksichtigen, die von den Linsen der Kamera (nicht gezeigt) beigetragen werden. Ferner können Unterschiede in der Farbverteilung über verschiedene Sensoren auch von der Bildregistrierungseinheit berücksichtigt werden, indem die Farben entsprechender Inhalte über von verschiedenen Sensoren 320 erfasste Bilder hinweg abgeglichen werden (z. B. unter Verwendung von Farbabgleichalgorithmen). Die Ausrichtung der erfassten Bilder 325 kann die hier offenbarte weitere Verarbeitung, 340, 370 verbessern. Wenn jedoch nur ein Bild 325 verwendet und verarbeitet 340 wird, kann die Bildregistrierung 330 nicht verwendet werden.
-
Der Bildprozessor 340 kann verschiedene Betriebe der Bildverbesserung durchführen. Wie 4 veranschaulicht, kann das Eingabebild 410 (z. B. eines der ausgerichteten Bilder 335 oder, falls keine Ausrichtung ausgeführt werden kann, eines der erfassten Bilder 325) gemäß einem oder einer Kombination von Algorithmen verarbeitet werden, wie beispielsweise: Schwarzpegeleinstellung, Rauschen Verkleinerung, Weißabgleich, Umwandlung von RGB in YCC (oder eine beliebige Umwandlung zwischen einem Farbmodell in ein anderes), Gammakorrektur, RGB-Überblendung (oder eine beliebige Farbmodellüberblendung), CFA-Interpolation (Color Filter Array) (oder Farbrekonstruktion), Kantenverbesserung, Kontrastverstärkung oder falsche ChromaUnterdrückung. In einem Aspekt kann jeder dieser Algorithmen oder andere Techniken, die irgendwelche unerwünschten Verzerrungen korrigieren können oder anderweitig das Bild 410 für die weitere Verarbeitung vorbereiten können, verwendet werden. Jeder dieser Algorithmen kann nacheinander oder parallel ausgeführt werden.
-
In einem Aspekt kann der Bildprozessor zwei Bilder erzeugen - das Pseudorohbild 355 und das Zielbild 360 - basierend auf der Verarbeitung eines oder mehrerer ausgerichteter Bilder 335 oder basierend auf der Verarbeitung eines oder mehrerer der erfassten Bilder 325 (falls die Ausrichtung umgangen wird). Unterschiedliche Algorithmen können verwendet werden, um die zwei Bilder, 355 und 360, zu erzeugen. Alternativ oder in Kombination können die gleichen Algorithmen verwendet werden, jedoch mit unterschiedlichen Einstellungen. Typischerweise wird das Zielbild 360, das Bild, das korrigiert und schließlich dem Benutzer präsentiert wird, gemäß beliebigen Einstellungen irgendeiner Kombination von Algorithmen verarbeitet, die seine visuelle Qualität verbessern können. Jedoch kann das Pseudo-Rohbild 355 unterschiedlich verarbeitet werden, so dass Informationen, die für die Charakterisierung der Rote-Augen-Artefakte wichtig sein können, nicht beeinträchtigt werden, wie nachstehend ausführlich erläutert wird.
-
In einem Aspekt kann das Pseudo-Rohbild 355 die Korrekturoperation des Zielbilds 360 erleichtern. Daher sollte in einem Aspekt jede Verarbeitung, die zu einem Informationsverlust führen kann, vermieden werden. Bilder 325 oder 335, von denen das Pseudo-Rohbild 355 abgeleitet werden kann, können auf eine beschränkte Weise verarbeitet 340 werden. Beispielsweise neigen Gebiete mit Rote-Augen-Artefakten dazu, nahezu gesättigt zu sein. in einem solchen Fall kann die Verarbeitung, die zu einer vollständigen Sättigung führen kann, zu einem erheblichen Informationsverlust führen. Von Rote-Augen-Artefakten betroffene Bildbereiche: Wenn Rot im roten Kanal nahezu gesättigt ist (mit einem Pixel-RGB-Wert von R ~ 255, G <255 und B <255), und wenn Weiß nahezu gesättigt ist alle Kanäle (mit einem Pixel-RGB-Wert von R ~ 255, G ~ 255 und B ~ 255). Bei der Verarbeitung 340 kann eine geringfügige Änderung dieser Pixel über den Bereich [0, 255] hinaus dazu führen, dass sie auf einen Wert von 255 begrenzt werden, und daher können Informationen, die von diesen Pixeln übertragen wurden, nicht wiederhergestellt werden (verloren gehen).
-
In einem Aspekt kann die Verarbeitung von Bildern 325 oder 335, von denen das Pseudorohbild 355 abgeleitet werden kann, basierend auf den Erfassungsbedingungen variieren. Solche Variationen können eine Funktion der physikalischen Eigenschaften der Sensoren, des Verschlusses, der analogen Verstärkung oder der Konfiguration und Beleuchtung der Szene sein. Weiterhin können Algorithmen, die von dem Bildprozessor 340 zum Erzeugen des Pseudo-Rohbildes 355 verwendet werden, mit eingeschränkten Parametereinstellungen verwendet werden. Beispielsweise kann eine minimale Rauschreduktion angewendet werden, um zu verhindern, dass rote Pixel aus der Pupille sich mit ähnlichen roten Pixeln mischen, die außerhalb des Pupillenbildbereichs sind. Die Weißabgleichverstärkung kann auf eine nicht herkömmliche Weise angewendet werden - die Verstärkung pro Kanal, die herkömmlicherweise gemäß WB = (WB R, WB_G, WB_B) / MIN (WB R, WB_G, WB_B) normalisiert wird, kann stattdessen gemäß WB = normalisiert werden (WB R, WB_G, WB_B) / MAX (WB R, WB_G, WB_B), so dass alle Pixelwerte innerhalb des Bereichs [0, 255] bleiben und möglicherweise nicht abgeschnitten werden. Gamma-Korrektur kann unter Verwendung einer inversen Quadratwurzel angewandt werden, um zu verhindern, dass helle Pixel abgeschnitten werden. Eine lokale Tonabbildung kann nicht angewendet werden. Und das flache Auffangen oder Bestimmen kann deaktiviert werden, um die Verstärkung noch weiter zu minimieren.
-
5 ist ein funktionelles Blockdiagramm 500, das ein Verfahren zum Korrigieren von Rote-Augen-Artefakten und Wiederherstellen von Schimmernveranschaulicht; das Verfahren 500 kann durch den Augenbildmodulator 370 verwendet werden, der in 3 gezeigt ist. Beispielhafte Zwischenverarbeitungsergebnisse zum Korrigieren von Rote-Augen-Artefakten und Wiederherstellen von Schimmern sind in 6 veranschaulicht. Das Rohbild 350 und/oder das Pseudo-Rohbild 355 und das Zielbild 360 können dem Verfahren 500 zur Verfügung stehen, um die unten beschriebene Verarbeitung durchzuführen. Wie erörtert, kann das Verfahren 500 nur das Rohbild 350 oder nur das Pseudo-Rohbild 355 verwenden. Alternativ kann das Verfahren 500, falls notwendig, sowohl das Pseudo-Rohbild 355 als auch sein jeweiliges Rohbild 350 verwenden.
-
In Schritt 510 kann das Verfahren 500 eine Rote-Augen-Spektralantwort und eine Schimmerspektralantwort basierend auf Umgebungseigenschaften schätzen. Beispielsweise kann die Rote-Augen-Spektralantwort basierend auf der Entfernung zwischen dem Motiv und der Kamera oder auf Änderungen des Lichts zum Zeitpunkt der Bildaufnahme und/oder basierend auf anderen Faktoren, die mit den Erfassungsbedingungen und den intrinsischen Merkmalen des Motivs zusammenhängen, geschätzt werden.
-
Zusätzlich zum Schätzen der Spektralantworten können in Schritt 520 Aspekte des Verfahrens 500 nach Orientierungspunkten in sowohl dem Rohbild 350 (und / oder 355) als auch dem Zielbild 360 suchen, die zur Erkennung (Detektion) der Regionen des Bildes, die die Augen darstellen, verwendet werden können. Die identifizierten Landmarken können invariante Gesichtsmerkmale sein, wie geometrische Merkmale, die mit den Lippen, der Nase und den Augen in Beziehung stehen. Merkmale, die die Augen darstellen, können zum Beispiel Extremitäten, die Form und das Muster der Sklera, der Iris und der Pupille umfassen. Gesichtslandmarken, die zuvor zum Führen der Ausrichtung 330 verwendet wurden, können zumindest als Ausgangspunkt zum Führen der Erfassung und Extraktion augenbezogener Landmarken verwendet werden.
-
Bereiche der Augen können beispielsweise in Schritt 530 weiter analysiert und segmentiert werden, um Unterbereiche zu detektieren, die mit den in Schritt 510 erhaltenen geschätzten Spektralantworten übereinstimmen. Daher können zwei Segmente basierend auf den Spektralantworten extrahiert werden, wobei ein Segment den Rote-Augen-Artefakten entsprechen kann (das Rote-Augen-Segment) und das andere Segment dem Schimmer entsprechen kann (das Schimmer-Segment). In einem Aspekt können das Rote-Augen-Segment und / oder das Schimmer-Segment durch Regionswachstumsalgorithmen bestimmt werden, wobei von einem zentralen Ort (Startpunkt) in dem jeweiligen Segment ausgegangen wird und dieser Startpunkt nach außen wächst, solange Pixel in den wachsenden Regionen ähnlich sind auf (oder innerhalb eines vorgegebenen Abstandes von) der jeweiligen spektralen Antwort. In einem Aspekt kann der in dem Regionswachstumsalgorithmus verwendete Keim ein gewichteter Schwerpunkt eines Segments sein, das der Iris (dem Iris-Segment) entspricht, da die Iris üblicherweise mit der Pupille kozentrisch ist. Das Iris-Segment kann basierend auf einer Segmentierung der gesamten Fläche abgeleitet werden. Beispielsweise kann die Segmentierung einer Version des Gesichtsbildes mit geringer Auflösung durch einen überwachten Klassifizierer (z. B. neuronales Netz) erzeugt werden, der auf verschiedenen Klassen (z. B. der Nase, Sklera, Iris und dem Rest des Gesichts) trainiert ist. Jedes andere Clustering- oder Klassifizierungsverfahren kann verwendet werden, um Bildpixel basierend auf ihren jeweiligen Spektralantworten oder anderen Unterscheidungsmerkmalen als zu dem Rote-Augen-Segment oder dem Schimmer-Segment gehörig zu clustern oder zu klassifizieren.
-
Das Rote-Augen-Segment kann dann in Schritt 540 abgegrenzt werden und kann durch eine Reparaturmaske 650 dargestellt werden, wie in 6 veranschaulicht. Ähnlicherweise, kann das Schimmer-segment in Schritt 550 abgegrenzt werden und kann durch eine Schimmermaske 670 dargestellt werden, wie in 6 veranschaulicht. Es ist anzumerken, dass das Rote-Augen-Segment und das Schimmer-Segment einander überlappen können. Wie beschrieben, kann daher auf den Vorgang des Korrigierens der Rote-Augen-Artefakte der Vorgang des Wiederherstellens des Schimmerns folgen.
-
Der Segmentierungsschritt 530 und die Schritte zum Bilden der Reparaturmaske 540 und der Schimmermaske 550 können unter Verwendung einer beliebigen Kombination der Rohdaten 350, der Pseudo-Rohdaten 355 und der Zieldaten 360 verwendet werden. Jedoch kann die Verwendung des Pseudo-Rohbildes (oder des Rohbildes) vorteilhaft sein, da die Detektion von rotem Auge und Schimmer-Detektion beeinträchtigt werden kann, wenn die Detektion unter Verwendung des Zielbildes versucht wird. Dies liegt daran, dass die nicht beschränkten Bildverarbeitungsoperationen 340, die an dem Zielbild angewendet werden, zu Verlusten von Bilddetails oder Änderungen des Inhalts in einer Weise führen können, die es schwieriger macht, die Muster der Rote-Augen-Artefakte und Schimmer zu detektieren.
-
Hier offenbarte Aspekte können eine Rote-Augen-Modulation 370 vorsehen, wobei in Schritt 560 die Rote-Augen-Artefakte in Bereichen des Zielbildes korrigiert werden können, die durch die Reparaturmaske 540 abgegrenzt werden können. Ferner können in einem Aspekt in Schritt 570 Schimmer in Bereichen, die durch die Glitzermaske 540 abgegrenzt werden können, auf dem Zielbild wiederhergestellt werden. In einem Fall, in dem die Reparatur- und Schimmer-Masken in Bezug auf das Rohbild 350 (oder Pseudo-Rohbild 355) gebildet werden, können diese Masken zuerst aus diesem Bildraum 350 in den Bildraum des Zielbildes 360 abgebildet werden. Jedoch kann dieser Schritt nicht notwendig sein, wenn die beiden Bilder 350 und 360, bereits ausgerichtet sind 330.
-
Rote-Augen-Artefakte Modulation 560 können unter Verwendung von synthetischer Texturierung verwendet werden. Das Synthetisieren von Pupillenbildbereichen, die von den Rote-Augen-Artefakten betroffen sind, kann basierend auf einer Textur durchgeführt werden. Die Textur kann auf Statistiken basieren, die von nicht betroffenen Augenbildbereichen des Motivs abgeleitet werden. Alternativ kann eine vorher berechnete Rauschstruktur durch ein Tiefpassfilter mit einem Mittelwert gefiltert werden, der mit einer Referenzfarbe übereinstimmt. Die Referenzfarbe kann eine vorbestimmte Farbe der Pupille sein (z. B. basierend auf den Farben unbeeinflusster Augenbereiche oder basierend auf anderen Bildern desselben Subjekts ohne Rote-Auge-Artefakte geschätzt). Eine Rote-Augen-Artefaktkorrektur durch Modulation 370 gemäß einem hierin offenbarten Aspekt wird in 660 von 6 demonstriert.
-
Ähnlich, in Schritt 570, kann Synthetisieren von Schimmern durch Wiedergeben von künstlichen Schimmern durchgeführt werden. In einem Aspekt kann ein Schimmern wiederhergestellt werden, indem eine radiale Scheibe (z. B. gaußförmig) erzeugt wird, die innerhalb des jeweiligen Schimmersegments zentriert sein kann, wie in 680 von 6 gezeigt. Das Suchen und Identifizieren eines Schimmermusters 530 ist möglicherweise nicht in allen Fällen erfolgreich, da die Spektralantwort der Rote-Augen-Artefakte nahe an der Spektralantwort des Schimmers liegen kann (z. B. wenn beide nahe an Weiß liegen). In solchen Fällen können Effekte, die einem Schimmer ähneln, durch alternative Techniken wiedergegeben werden, die möglicherweise nicht auf dem Inhalt des Rohbilds 350 (oder des Pseudo-Rohbilds 355) oder dem Inhalt des Zielbilds 360 beruhen. Beispielsweise kann eine Schätzung durchgeführt werden, um einen Bereich des Auges zu identifizieren, der mit einer optischen Achse zusammenfällt, die sich von der Kamera zu dem Objekt erstreckt. Schimmer-Effekte können dann diesem Bereich überlagert werden, um Schimmer dem Zielbildinhalt nachzuahmen. Beispielsweise kann eine gaußartige Scheibe in diesem Bereich überlagert sein.
-
In einem Aspekt können Validierungsschritte in das Verfahren 500 integriert werden. Validierungsschritte können darauf abzielen, den Prozess der Korrektur von Rote-Augen-Artefakten zu ändern oder abzubrechen, wenn die Gefahr besteht, dass der Inhalt von Nicht-Pupillen beeinträchtigt wird und die Bildqualität beeinträchtigt wird. Dementsprechend kann das Verfahren 500 Überprüfungen integrieren, um zu bestimmen, ob ein solches Risiko vorliegt, und wenn dies der Fall ist, kann der Betrieb des Verfahrens geändert oder abgebrochen werden. Beispielsweise kann die Rote-Augen-Korrektur basierend auf einer Form der Reparaturmaske abgebrochen werden - wenn die Reparaturmaske eine konkave oder unregelmäßige Form aufweist, kann die Rote-Augen-Korrektur abgebrochen werden, oder es kann auf andere Weise ein alternativer Ansatz zum Bilden dieser Maske erfolgen genommen werden (z. B. eine alternative Methode zum Ableiten des Rote-Augen-Segments). Die Rote-Augen-Korrektur kann auch abgebrochen werden, basierend auf Merkmalen einer Spektralantwort, aus der die Reparaturmaske abgeleitet werden soll. Beispielsweise können Histogramme der Spektralantwort analysiert werden, um zu bestätigen, dass Bilddaten (extrahiert aus dem Augenbereich) eine starke Spitzenantwort innerhalb der Pupille und eine flache Antwort innerhalb von Nichtpupillenstrukturen (z. B. der Iris oder der Sklera) aufweisen. Wenn keine starke Spitzenantwort innerhalb der Pupille und keine flache Antwort innerhalb von Nicht-Pupillenstrukturen vorliegt, kann das Verfahren 500 abgebrochen werden. Ebenso kann das Verfahren 500 abgebrochen werden, wenn festgestellt wird, dass das Rohbild 350 und/oder das Pseudo-Rohbild 355 keine ausreichende Qualität aufweisen (zu verschwommen oder verzerrt). Zum Beispiel kann das Verfahren 500 Prozesse enthalten, die die Qualität des Bildes angeben können (z. B. Bewegungsunschärfeschätzung), die für den Validierungsprozess verwendet werden können.
-
In einem Aspekt können andere Maßnahmen in das Verfahren 500 integriert werden, um bei der Abschätzung der Wahrscheinlichkeit einer erfolgreichen Korrektur von Rote-Augen-Artefakten und einer Schimmerwiederherstellung (oder des Risikos einer erfolglosen Korrektur und Wiederherstellung, die die Bildqualität verringern kann) zu helfen. Beispielsweise können erwartete Pupillengrößen und Schimmergrößen von dem Verfahren 500 verwendet werden, um z. B. die Gültigkeit der Segmentierung 530 zu bewerten. Eine erwartete Pupillengröße kann durch Gewichtungsfaktoren wie: den Pupillenabstand (abgeleitet von der Mitte der Augenlandmarken), das Begrenzungsrechteck der Augenlandmarke, des Dreiecks, das durch die Mitten des Auges und die Spitze der Nase gebildet wird; und die 3D-Kopfstellen-Schätzung geschätzt werden.
-
In einem Aspekt kann eine Entscheidung zum Abbrechen zu Beginn basierend auf Geometrieinformationen getroffen werden. Zum Beispiel kann die Geometrie der Reparaturmasken des linken und rechten Auges verglichen werden. Wenn es in Form und Gestalt nicht ausreichend ähnlich ist, kann eine Entscheidung zum Abbruch getroffen werden, da zu erwarten ist, dass Reparaturmasken rotatorisch und translatorisch ähnlich sind. In einem Aspekt kann die Gesichtsorientierung und/oder Augenorientierung auch von dem Verfahren 500 zur Validierung verwendet werden. Diese Orientierungen können basierend auf den erfassten Landmarken 520 geschätzt werden.
-
In einem Aspekt umfasst das Verfahren 500 die Vorhersage der Position eines Schimmerns und ob es mehr als ein Schimmern gibt. Der Schimmerort kann basierend auf dem gewichteten Schwerpunkt der Schimmermaske für Motive in der Nähe der Kamera (große Motive) abgeleitet werden. Bei weiter entfernten Motiven (kleinen Motiven) können nicht richtig ausgerichtete Schimmer unnatürlich erscheinen, und der Schimmer wird stattdessen aus der Mitte des Augenmarkierungsbereichs entnommen.
-
Für Rote-Augen-Artefakte, die zwischen Bernstein und reinem Weiß liegen können (siehe 2), kann der gesamte Pupillenbereich korrigiert werden, so dass die Wiederherstellung eines einzelnen Schimmers, der über dem korrigierten Bereich der Pupille angewendet werden kann, ausreichen kann. Bei Rote-Augen-Artefakten, die zwischen Hellrot und Kastanienbraun liegen können (siehe 2), kann der ursprüngliche Schimmer im Zielbild vorhanden sein und beibehalten werden.
-
Die vorstehende Diskussion hat die Funktionsweise der Aspekte der vorliegenden Offenbarung im Zusammenhang mit Komponenten eines Kamerasystems beschrieben. Üblicherweise werden diese Komponenten als elektronische Vorrichtungen bereitgestellt. Komponenten des Kamerasytems können in integrierten Schaltungen wie anwendungsspezifischen integrierten Schaltungen, anwenderprogrammierbaren Gatteranordnungen und/oder Digitalsignalprozessoren ausgeführt sein. Alternativ dazu können sie in Computerprogrammen ausgeführt sein, die auf Kamera-eingebetteten Vorrichtungen, Personalcomputern, Notebook-Computern, Tablet-Computern, Smartphones oder Computerservern ausgeführt werden. Diese Computerprogramme werden üblicherweise in physischen Speichermedien wie elektronisch, magnetisch und/oder optisch basierten Speichervorrichtungen gespeichert, wo sie auf einen Prozessor gelesen und ausgeführt werden. Und natürlich können diese Komponenten als Hybridsysteme bereitgestellt werden, die Funktionalität wie gewünscht über speziell dafür vorgesehene Hardwarekomponenten und programmierte Universalprozessoren verteilen.
-
Verschiedene Ausführungsformen der Erfindung sind hierin spezifisch veranschaulicht und/oder beschrieben. Es versteht sich jedoch, dass Modifikationen und Variationen der Erfindung von den vorstehenden Lehren abgedeckt sind und innerhalb des Bereichs der beigefügten Ansprüche liegen, ohne vom Wesen und beabsichtigten Umfang der Erfindung abzuweichen.