DE102019114666A1 - Rote-augen-korrektur-techniken - Google Patents

Rote-augen-korrektur-techniken Download PDF

Info

Publication number
DE102019114666A1
DE102019114666A1 DE102019114666.6A DE102019114666A DE102019114666A1 DE 102019114666 A1 DE102019114666 A1 DE 102019114666A1 DE 102019114666 A DE102019114666 A DE 102019114666A DE 102019114666 A1 DE102019114666 A1 DE 102019114666A1
Authority
DE
Germany
Prior art keywords
eye
image
red
area
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019114666.6A
Other languages
English (en)
Inventor
Alexis Gatt
David Hayward
Emmanuel Piuze-Phaneuf
Mark Zimmer
Yinjun Bai
Zhigang Fan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of DE102019114666A1 publication Critical patent/DE102019114666A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20156Automatic seed setting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30216Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

Systeme und Verfahren zum Korrigieren von Rote-Augen-Artefakten in einem Zielbild eines Motivs. Bilder, die von einer Kamera erfasst werden, einschließlich eines Rohbildes, werden verwendet, um das Zielbild zu erzeugen. Ein Augenbereich des Zielbildes wird moduliert, um die Rote-Augen-Artefakte zu korrigieren, wobei die Korrektur basierend auf Informationen durchgeführt wird, die aus dem Rohbild und/oder dem Zielbild extrahiert werden. Modulation umfasst das Erkennen von Landmarken, die dem Augenbereich zugeordnet sind; Schätzen der spektralen Reaktion der Rote-Augen-Artefakte; Segmentieren eines Bildbereichs des Auges basierend auf der geschätzten spektralen Antwort der roten Augenartefakte und der detektierten Landmarken, Bilden einer Reparaturmaske; und Modifizieren eines Bildbereichs, der der Reparaturmaske zugeordnet ist.

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
  • Diese Anmeldung beansprucht den Nutzen der vorläufigen Patentanmeldung Nummer. 62/679, 399, eingereicht am 1. Juni 2018, dessen Offenbarung hiermit durch Bezugnahme hierin aufgenommen ist.
  • HINTERGRUND
  • Rote-Augen-Artefakte sind in der Verbraucherfotografie vorherrschend, hauptsächlich aufgrund der Verkleinerung von Digitalkameras. Mobile Vorrichtungen, die mit einer Kamera ausgestattet sind, die den Blitz und die Linsen in großer Nähe zueinander aufweisen, verursachen häufig eine direkte Reflexion von Blitzlicht von den Pupillen eines Objekts zu den Linsen der Kamera. Aufgrund dieses reflektierten Lichts erscheinen die von der Kamera erfassten Pupillen unnatürlich, sie nehmen verschiedene Farben (von dunklen zu helleren Schattierungen von Rot) als eine Funktion der Erfassung der Bedingungen und der intrinsischen Eigenschaften.
  • Korrektur für Rote-Augen-Artefakte umfasst typischerweise zuerst Erfassen (Segmentieren) des Augenbereichs, der die Artefakte enthält, und dann Korrigieren der Farbe der jeweiligen Pixel. Segmentierung des Bildbereichs, die durch die Rote-Augen-Artefakte verzerrt wurden, erfolgt üblicherweise durch Gruppieren der Bildpunkte auf der Basis von Farbe, unter Verwendung von einem Farbraum wie beispielsweise YCbCr oder RGB, und/oder durch Erkennung von Bildmustern (z.B. die Größe und Form der Pupille) mittels zum Beispiel von ringförmigen Filter. Sobald die Bildbereiche, die von den Rote-Augen-Artefakten betroffen sind, identifiziert werden, dann werden die betroffenen Pixel üblicherweise durch Verringerung ihrer Intensität (Abdunkelung) berichtigt. Viele der Techniken, die Rote-Augen-Artefakte korrigieren, arbeiten auf der Basis eines bereits bearbeiteten Bildes, in dem das ursprüngliche Auftreten des Rote-Auge-Artefakts wegen der Verarbeitung nicht erhalten bleibt.
  • Figurenliste
    • 1 ist ein Diagramm, das eine Konfiguration veranschaulicht, die eine Kamera, eine Lichtquelle und zwei Motive umfasst, die in unterschiedlichen Abständen von der Kamera positioniert sind.
    • 2 ist ein Diagramm, das verschiedene Rote-Augen-Artefakte veranschaulicht.
    • 3 ist ein Blockdiagramm, das ein Kamerasystem für eine Rote-Augen-Artefaktkorrektur gemäß einem Aspekt der vorliegenden Offenbarung zeigt.
    • 4 ist ein Diagramm, das beispielhafte Bildverarbeitungsalgorithmen gemäß einem Aspekt der vorliegenden Offenbarung zeigt.
    • 5 ist ein Funktionsblockdiagramm, das eine Technik für eine Rote-Auge-ArtefaktKorrektur gemäß einem Aspekt der vorliegenden Offenbarung veranschaulicht.
    • 6 ist ein Diagramm, das Zwischenverarbeitungsergebnisse einer Technik zur Rote-Augen-Artefaktkorrektur gemäß einem Aspekt der vorliegenden Offenbarung veranschaulicht.
  • DETAILLIERTE BESCHREIBUNG
  • Aspekte hierin offenbaren Systeme und Verfahren zum Korrigieren von Rote-Augen-Artefakten in einem Zielbild eines Motivs. In einem Aspekt können ein oder mehrere Bilder, die von einer Kamera erfasst werden, empfangen werden, einschließlich eines Rohbildes. Das Zielbild kann durch die Verarbeitung der erfassten Bilder erzeugt werden. Dann kann ein Augenbereich des Zielbildes moduliert werden, um die Rote-Augen-Artefakte zu korrigieren, wobei die Korrektur basierend auf Informationen durchgeführt werden kann, die aus dem Rohbild und/oder dem Zielbild extrahiert werden. In einem Aspekt kann die Modulation die Erfassung von Landmarken mit dem Augenbereich umfassen; Schätzen der spektralen Reaktion der Rote-Augen-Artefakte; Segmentieren eines Bildbereichs des Auges basierend auf der geschätzten spektralen Antwort der roten Augenartefakte und der detektierten Landmarken, Bilden einer Reparaturmaske; und Modifizieren eines Bildbereichs, der der Reparaturmaske zugeordnet ist. In einem anderen Aspekt kann die Modulation die Erfassung von Landmarken mit dem Augenbereich umfassen; Schätzen der spektralen Reaktion eines Schimmers; Segmentieren eines Bildbereichs des Auges basierend auf der geschätzten spektralen Antwort des Schimmers und der detektierten Landmarken, Bilden einer Schimmermaske; und Wiedergeben von einem oder mehreren Schimmern in einem Bereich, der dem Schimmern zugeordnet ist. Durch Einsetzen sowohl eines Rohbildes (oder eines Pseudo-Rohbildes) und eines verarbeiteten Bildes, die Genauigkeit der Erfassung der betroffenen Bereiche, wodurch das natürliche Aussehen der Augen eines Motivs, und Wiederherstellen von Schimmern verbessert werden kann.
  • Rotaugen-Artefakte werden durch Licht verursacht, das von den Pupillenbereichen der Augen eines Subjekts reflektiert wird. Typischerweise werden Rotaugen-Artefakte verstärkt, wenn ein Subjekt in einer dunklen Umgebung mit aktivem Kamerablitz fotografiert wird. Licht von dem Kamerablitz erreicht die Pupillen des Motivs und wird von den Pupillen zurück zu den Linsen der Kamera reflektiert. Diese Reflexionen werden von den Sensoren der Kamera erfasst und erzeugen die unerwünschten Bildartefakte. Jedoch sind Rote-Augen-Artefakte trotz ihres Namens nicht immer rot in ihrer Farbe. Die Farbe des Lichts, das von den Pupillen des Motivsreflektiert und von den Sensoren der Kamera erfasst wird, kann basierend auf den Erfassungsbedingungen variieren. Wie in 1 veranschaulicht, können die Erfassungsbedingungen folgendes umfassen: den Abstand zwischen der Kamera und dem Motiv, den Winkel zwischen der Augenoberfläche und der optischen Achse, und die Intensität der Lichtquelle (Blitz). Beispielsweise kann ein kurzer Abstand zwischen der Kamera und dem Motiv Rote-Auge-Artefakt dazu führen, dass eine Augenreflexion in einer bernsteinfarbenen oder roten Farbe erscheint. Während in einem großen Abstand zwischen der Kamera und dem Motiv eine Augenreflexion weißer erscheinen kann. Somit, können Rote-Augen-Artefakte in einem Spektrum von Farben verwirklicht werden, abhängend von, unter anderem, das Erfassen von Bedingungen.
  • 2 veranschaulicht das Auftreten von Rotaugen-Artefakten. Im Allgemeinen können rote Augenartefakte eine Reihe von Farben von reinem Weiß, durch gelb, bernsteinfarben, hellrot, kastanienbraun bis braun zeigen. Wie oben erwähnt, können Faktoren, die die Farbe und das Muster der Rote-Augen-Artefakte beeinflussen können, eine Funktion der Bedingungen der Szene sein. Wenn beispielsweise das Umgebungslicht sehr hell ist, wie zum Beispiel im Freien zur Tageszeit, wird die Pupille während des Erfassens vollständig verengt und das resultierende Bild wird wahrscheinlich seine normale Farbe beibehalten. Einige Faktoren können jedoch mit dem Thema selbst zusammenhängen - Humangenetik, Gesundheitszustand, Vorhandensein von Brillen oder undurchsichtige und bunte Kontaktlinsen.
  • Das Kamerasystem kann auch ein wichtiger Faktor bei dem Erscheinen der Rote-Augen-Artefakte sein. Die Belichtungszeit, Apertur und optische Aberrationen der Kamera können einige der Faktoren sein, die das Erscheinen des roten Auges beeinflussen. Zum Beispiel, je näher der Blitz an der optischen Achse der Kamera liegt, desto direkter prallt das Licht von den Augen zu den Linsen der Kamera, und je weißer können die Rote-Augen-Artefakte sein. In ähnlicher Weise können Verarbeitungsvorgänge wie Tonkurven, digitale Verstärkung, Weißabgleich, Rauschunterdrückung, Schärfen, Histogrammausgleich oder Ausrichtung weitere Änderungen im Erscheinungsbild (Farbe und Intensität) der Rote-Augen-Artefakte verursachen.
  • Hier offenbarte Aspekte verwenden Rohbilder (oder Pseudo-Rohbilder) sowie verarbeitete Bilder (Zielbilder), um Rote-Augen-Artefakte zu korrigieren und Schimmer wiederherzustellen. 3 veranschaulicht ein System 300 gemäß einem Aspekt der vorliegenden Offenbarung. Ein Kamerasystem 310 kann Bilddaten eines Motivs 305 erfassen. Das Kamerasystem 310 kann einen oder mehrere Bildsensoren aufweisen, z. B. 320.1 und 320.2, eine Bildregistrierungseinheit 330, einen Bildprozessor 340 und einen Augenbildmodulator 370. Die Sensoren 320.1 und 320.2 können Bilder 325 des Motivs 305 erfassen. Das Kamerasystem 310 kann dann die erfassten Bilder unter Verwendung der Bildregistrierung 330 ausrichten. Die ausgerichteten Bilder 335 können dann einem Bildprozessor 340 zugeführt werden, der ein Zielbild 360 erzeugen kann. Der Bildprozessor 340 kann auch ein Pseudo-Rohbild 355 erzeugen, das andere Verarbeitungsoperationen als jene verwendet, die für das Zielbild 360 verwendet werden. Der Augenbildmodulator 370 kann die Korrektur der roten Augenartefakte durchführen und Augengaden wiederherstellen, indem er als Eingaben das Rohbild 350 (und/oder das Pseudo-Rohbild 355) und das Zielbild 360 empfängt.
  • In einem Aspekt kann ein Bild 325 erfasst werden, aus dem das Rohbild 350 und das Zielbild 360 abgeleitet werden können. Zum Beispiel kann ein einzelnes Bild, das von einem einzelnen Bildsensor 320.1 erfasst wird, durch den Bildprozessor 340 (Umgehung der Bildregistrierungseinheit 330) verarbeitet werden, um sowohl ein Pseudorohbild 355 als auch ein Zielbild 360 zu bilden. Sowohl das Pseudo-Rohbild 355 als auch sein Zielbild-Gegenstück können dann verwendet werden, um die Augenbildmodulation 370 auszuführen. Alternativ, zusätzlich oder anstelle des Pseudo-Rohbildes 355, kann das Rohbild 350 zusammen mit seinem Zielbild-Gegenstück zur Durchführung der Augenbildmodulation 370 verwendet werden.
  • In einem anderen Aspekt können zwei Bilder 325 in zeitlicher Nähe zueinander erfasst werden, von dem das Pseudo-Rohbild 355 und das Zielbild 360 abgeleitet werden können. Beispielsweise kann der Bildsensor 320.1 zwei Bilder nacheinander erfassen. Dann können diese zwei Bilder durch die Bildregistrierungseinheit 330 ausgerichtet werden. Die beiden Bilder können dann von dem Bildprozessor 340 verarbeitet werden, der wiederum das Zielbild 360 und das Pseudo-Rohbild 355 erzeugen kann. Sowohl das Pseudo-Rohbild 355 als auch sein Zielbild-Gegenstück können dann verwendet werden, um die Augenbildmodulation 370 auszuführen. Alternativ, zusätzlich oder anstelle des Pseudo-Rohbildes 355, kann das Rohbild 350 zusammen mit seinem Zielbild-Gegenstück zur Durchführung der Augenbildmodulation 370 verwendet werden. In einem Aspekt können sich die Erfassungseinstellungen der zwei erfassten Bilder 325 voneinander unterscheiden. Beispielsweise kann ein Kamerablitz für ein Bild aktiviert werden (z. B. aus dem ein Zielbild erzeugt werden kann) und für das andere Bild deaktiviert werden (z. B. aus dem ein Rohbild 350 oder ein Pseudo-Rohbild 355 erzeugt werden kann) Gleichermaßen können die Belichtungseinstellungen von einem Bild zum anderen variieren.
  • In einem weiteren Aspekt können die Bilder 325 von verschiedenen Bildsensoren erfasst werden. Beispielsweise kann ein erster Bildsensor 320.1 verwendet werden, um ein oder mehrere Bilder zu erfassen, von denen das Rohbild 350 oder das Pseudo-Rohbild 355 abgeleitet werden können, und ein zweiter Bildsensor 320.2 kann verwendet werden, um ein oder mehrere Bilder zu erfassen, von denen das Zielbild 360 abgeleitet werden kann. Sowohl das Pseudo-Rohbild 355 als auch sein Zielbild-Gegenstück 360 können dann zur Durchführung der Augenbildmodulation 370 verwendet werden. Alternativ, zusätzlich oder anstelle des Pseudo-Rohbildes 355, kann das Rohbild 350 zusammen mit seinem Zielbild-Gegenstück 360 zur Durchführung der Augenbildmodulation 370 verwendet werden. Typischerweise können die beiden Bildsensoren, 320.1 und 320.2, mit einer vorbestimmten räumlichen Beziehung zueinander positioniert werden. Während des Betriebs können die beiden Bildsensoren 320.1 und 320.2 gleichzeitig oder in zeitlicher Nähe Bildinformationen erfassen. Die Erfassungseinstellungen dieser beiden Sensoren können sich voneinander unterscheiden (z. B. Belichtungseinstellungen).
  • In Fällen, in denen die Bilder 325 von unterschiedlichen Sensoren zu unterschiedlichen Zeiten erfasst werden, oder in denen beide Bilder aufgrund von Vibrationen des Kamerasystems 310 oder aufgrund von Bewegungen des Subjekts 305 räumlich fehlausgerichtet sein können. Um eine solche Fehlausrichtung zu kompensieren, können die Bilder 325 räumlich miteinander durch die Bildregistrierungseinheit 330 ausgerichtet werden, was zu ausgerichteten Bildern 335 führt. Die Bildregistrierungseinheit kann auch Verzerrungen berücksichtigen, die von den Linsen der Kamera (nicht gezeigt) beigetragen werden. Ferner können Unterschiede in der Farbverteilung über verschiedene Sensoren auch von der Bildregistrierungseinheit berücksichtigt werden, indem die Farben entsprechender Inhalte über von verschiedenen Sensoren 320 erfasste Bilder hinweg abgeglichen werden (z. B. unter Verwendung von Farbabgleichalgorithmen). Die Ausrichtung der erfassten Bilder 325 kann die hier offenbarte weitere Verarbeitung, 340, 370 verbessern. Wenn jedoch nur ein Bild 325 verwendet und verarbeitet 340 wird, kann die Bildregistrierung 330 nicht verwendet werden.
  • Der Bildprozessor 340 kann verschiedene Betriebe der Bildverbesserung durchführen. Wie 4 veranschaulicht, kann das Eingabebild 410 (z. B. eines der ausgerichteten Bilder 335 oder, falls keine Ausrichtung ausgeführt werden kann, eines der erfassten Bilder 325) gemäß einem oder einer Kombination von Algorithmen verarbeitet werden, wie beispielsweise: Schwarzpegeleinstellung, Rauschen Verkleinerung, Weißabgleich, Umwandlung von RGB in YCC (oder eine beliebige Umwandlung zwischen einem Farbmodell in ein anderes), Gammakorrektur, RGB-Überblendung (oder eine beliebige Farbmodellüberblendung), CFA-Interpolation (Color Filter Array) (oder Farbrekonstruktion), Kantenverbesserung, Kontrastverstärkung oder falsche ChromaUnterdrückung. In einem Aspekt kann jeder dieser Algorithmen oder andere Techniken, die irgendwelche unerwünschten Verzerrungen korrigieren können oder anderweitig das Bild 410 für die weitere Verarbeitung vorbereiten können, verwendet werden. Jeder dieser Algorithmen kann nacheinander oder parallel ausgeführt werden.
  • In einem Aspekt kann der Bildprozessor zwei Bilder erzeugen - das Pseudorohbild 355 und das Zielbild 360 - basierend auf der Verarbeitung eines oder mehrerer ausgerichteter Bilder 335 oder basierend auf der Verarbeitung eines oder mehrerer der erfassten Bilder 325 (falls die Ausrichtung umgangen wird). Unterschiedliche Algorithmen können verwendet werden, um die zwei Bilder, 355 und 360, zu erzeugen. Alternativ oder in Kombination können die gleichen Algorithmen verwendet werden, jedoch mit unterschiedlichen Einstellungen. Typischerweise wird das Zielbild 360, das Bild, das korrigiert und schließlich dem Benutzer präsentiert wird, gemäß beliebigen Einstellungen irgendeiner Kombination von Algorithmen verarbeitet, die seine visuelle Qualität verbessern können. Jedoch kann das Pseudo-Rohbild 355 unterschiedlich verarbeitet werden, so dass Informationen, die für die Charakterisierung der Rote-Augen-Artefakte wichtig sein können, nicht beeinträchtigt werden, wie nachstehend ausführlich erläutert wird.
  • In einem Aspekt kann das Pseudo-Rohbild 355 die Korrekturoperation des Zielbilds 360 erleichtern. Daher sollte in einem Aspekt jede Verarbeitung, die zu einem Informationsverlust führen kann, vermieden werden. Bilder 325 oder 335, von denen das Pseudo-Rohbild 355 abgeleitet werden kann, können auf eine beschränkte Weise verarbeitet 340 werden. Beispielsweise neigen Gebiete mit Rote-Augen-Artefakten dazu, nahezu gesättigt zu sein. in einem solchen Fall kann die Verarbeitung, die zu einer vollständigen Sättigung führen kann, zu einem erheblichen Informationsverlust führen. Von Rote-Augen-Artefakten betroffene Bildbereiche: Wenn Rot im roten Kanal nahezu gesättigt ist (mit einem Pixel-RGB-Wert von R ~ 255, G <255 und B <255), und wenn Weiß nahezu gesättigt ist alle Kanäle (mit einem Pixel-RGB-Wert von R ~ 255, G ~ 255 und B ~ 255). Bei der Verarbeitung 340 kann eine geringfügige Änderung dieser Pixel über den Bereich [0, 255] hinaus dazu führen, dass sie auf einen Wert von 255 begrenzt werden, und daher können Informationen, die von diesen Pixeln übertragen wurden, nicht wiederhergestellt werden (verloren gehen).
  • In einem Aspekt kann die Verarbeitung von Bildern 325 oder 335, von denen das Pseudorohbild 355 abgeleitet werden kann, basierend auf den Erfassungsbedingungen variieren. Solche Variationen können eine Funktion der physikalischen Eigenschaften der Sensoren, des Verschlusses, der analogen Verstärkung oder der Konfiguration und Beleuchtung der Szene sein. Weiterhin können Algorithmen, die von dem Bildprozessor 340 zum Erzeugen des Pseudo-Rohbildes 355 verwendet werden, mit eingeschränkten Parametereinstellungen verwendet werden. Beispielsweise kann eine minimale Rauschreduktion angewendet werden, um zu verhindern, dass rote Pixel aus der Pupille sich mit ähnlichen roten Pixeln mischen, die außerhalb des Pupillenbildbereichs sind. Die Weißabgleichverstärkung kann auf eine nicht herkömmliche Weise angewendet werden - die Verstärkung pro Kanal, die herkömmlicherweise gemäß WB = (WB R, WB_G, WB_B) / MIN (WB R, WB_G, WB_B) normalisiert wird, kann stattdessen gemäß WB = normalisiert werden (WB R, WB_G, WB_B) / MAX (WB R, WB_G, WB_B), so dass alle Pixelwerte innerhalb des Bereichs [0, 255] bleiben und möglicherweise nicht abgeschnitten werden. Gamma-Korrektur kann unter Verwendung einer inversen Quadratwurzel angewandt werden, um zu verhindern, dass helle Pixel abgeschnitten werden. Eine lokale Tonabbildung kann nicht angewendet werden. Und das flache Auffangen oder Bestimmen kann deaktiviert werden, um die Verstärkung noch weiter zu minimieren.
  • 5 ist ein funktionelles Blockdiagramm 500, das ein Verfahren zum Korrigieren von Rote-Augen-Artefakten und Wiederherstellen von Schimmernveranschaulicht; das Verfahren 500 kann durch den Augenbildmodulator 370 verwendet werden, der in 3 gezeigt ist. Beispielhafte Zwischenverarbeitungsergebnisse zum Korrigieren von Rote-Augen-Artefakten und Wiederherstellen von Schimmern sind in 6 veranschaulicht. Das Rohbild 350 und/oder das Pseudo-Rohbild 355 und das Zielbild 360 können dem Verfahren 500 zur Verfügung stehen, um die unten beschriebene Verarbeitung durchzuführen. Wie erörtert, kann das Verfahren 500 nur das Rohbild 350 oder nur das Pseudo-Rohbild 355 verwenden. Alternativ kann das Verfahren 500, falls notwendig, sowohl das Pseudo-Rohbild 355 als auch sein jeweiliges Rohbild 350 verwenden.
  • In Schritt 510 kann das Verfahren 500 eine Rote-Augen-Spektralantwort und eine Schimmerspektralantwort basierend auf Umgebungseigenschaften schätzen. Beispielsweise kann die Rote-Augen-Spektralantwort basierend auf der Entfernung zwischen dem Motiv und der Kamera oder auf Änderungen des Lichts zum Zeitpunkt der Bildaufnahme und/oder basierend auf anderen Faktoren, die mit den Erfassungsbedingungen und den intrinsischen Merkmalen des Motivs zusammenhängen, geschätzt werden.
  • Zusätzlich zum Schätzen der Spektralantworten können in Schritt 520 Aspekte des Verfahrens 500 nach Orientierungspunkten in sowohl dem Rohbild 350 (und / oder 355) als auch dem Zielbild 360 suchen, die zur Erkennung (Detektion) der Regionen des Bildes, die die Augen darstellen, verwendet werden können. Die identifizierten Landmarken können invariante Gesichtsmerkmale sein, wie geometrische Merkmale, die mit den Lippen, der Nase und den Augen in Beziehung stehen. Merkmale, die die Augen darstellen, können zum Beispiel Extremitäten, die Form und das Muster der Sklera, der Iris und der Pupille umfassen. Gesichtslandmarken, die zuvor zum Führen der Ausrichtung 330 verwendet wurden, können zumindest als Ausgangspunkt zum Führen der Erfassung und Extraktion augenbezogener Landmarken verwendet werden.
  • Bereiche der Augen können beispielsweise in Schritt 530 weiter analysiert und segmentiert werden, um Unterbereiche zu detektieren, die mit den in Schritt 510 erhaltenen geschätzten Spektralantworten übereinstimmen. Daher können zwei Segmente basierend auf den Spektralantworten extrahiert werden, wobei ein Segment den Rote-Augen-Artefakten entsprechen kann (das Rote-Augen-Segment) und das andere Segment dem Schimmer entsprechen kann (das Schimmer-Segment). In einem Aspekt können das Rote-Augen-Segment und / oder das Schimmer-Segment durch Regionswachstumsalgorithmen bestimmt werden, wobei von einem zentralen Ort (Startpunkt) in dem jeweiligen Segment ausgegangen wird und dieser Startpunkt nach außen wächst, solange Pixel in den wachsenden Regionen ähnlich sind auf (oder innerhalb eines vorgegebenen Abstandes von) der jeweiligen spektralen Antwort. In einem Aspekt kann der in dem Regionswachstumsalgorithmus verwendete Keim ein gewichteter Schwerpunkt eines Segments sein, das der Iris (dem Iris-Segment) entspricht, da die Iris üblicherweise mit der Pupille kozentrisch ist. Das Iris-Segment kann basierend auf einer Segmentierung der gesamten Fläche abgeleitet werden. Beispielsweise kann die Segmentierung einer Version des Gesichtsbildes mit geringer Auflösung durch einen überwachten Klassifizierer (z. B. neuronales Netz) erzeugt werden, der auf verschiedenen Klassen (z. B. der Nase, Sklera, Iris und dem Rest des Gesichts) trainiert ist. Jedes andere Clustering- oder Klassifizierungsverfahren kann verwendet werden, um Bildpixel basierend auf ihren jeweiligen Spektralantworten oder anderen Unterscheidungsmerkmalen als zu dem Rote-Augen-Segment oder dem Schimmer-Segment gehörig zu clustern oder zu klassifizieren.
  • Das Rote-Augen-Segment kann dann in Schritt 540 abgegrenzt werden und kann durch eine Reparaturmaske 650 dargestellt werden, wie in 6 veranschaulicht. Ähnlicherweise, kann das Schimmer-segment in Schritt 550 abgegrenzt werden und kann durch eine Schimmermaske 670 dargestellt werden, wie in 6 veranschaulicht. Es ist anzumerken, dass das Rote-Augen-Segment und das Schimmer-Segment einander überlappen können. Wie beschrieben, kann daher auf den Vorgang des Korrigierens der Rote-Augen-Artefakte der Vorgang des Wiederherstellens des Schimmerns folgen.
  • Der Segmentierungsschritt 530 und die Schritte zum Bilden der Reparaturmaske 540 und der Schimmermaske 550 können unter Verwendung einer beliebigen Kombination der Rohdaten 350, der Pseudo-Rohdaten 355 und der Zieldaten 360 verwendet werden. Jedoch kann die Verwendung des Pseudo-Rohbildes (oder des Rohbildes) vorteilhaft sein, da die Detektion von rotem Auge und Schimmer-Detektion beeinträchtigt werden kann, wenn die Detektion unter Verwendung des Zielbildes versucht wird. Dies liegt daran, dass die nicht beschränkten Bildverarbeitungsoperationen 340, die an dem Zielbild angewendet werden, zu Verlusten von Bilddetails oder Änderungen des Inhalts in einer Weise führen können, die es schwieriger macht, die Muster der Rote-Augen-Artefakte und Schimmer zu detektieren.
  • Hier offenbarte Aspekte können eine Rote-Augen-Modulation 370 vorsehen, wobei in Schritt 560 die Rote-Augen-Artefakte in Bereichen des Zielbildes korrigiert werden können, die durch die Reparaturmaske 540 abgegrenzt werden können. Ferner können in einem Aspekt in Schritt 570 Schimmer in Bereichen, die durch die Glitzermaske 540 abgegrenzt werden können, auf dem Zielbild wiederhergestellt werden. In einem Fall, in dem die Reparatur- und Schimmer-Masken in Bezug auf das Rohbild 350 (oder Pseudo-Rohbild 355) gebildet werden, können diese Masken zuerst aus diesem Bildraum 350 in den Bildraum des Zielbildes 360 abgebildet werden. Jedoch kann dieser Schritt nicht notwendig sein, wenn die beiden Bilder 350 und 360, bereits ausgerichtet sind 330.
  • Rote-Augen-Artefakte Modulation 560 können unter Verwendung von synthetischer Texturierung verwendet werden. Das Synthetisieren von Pupillenbildbereichen, die von den Rote-Augen-Artefakten betroffen sind, kann basierend auf einer Textur durchgeführt werden. Die Textur kann auf Statistiken basieren, die von nicht betroffenen Augenbildbereichen des Motivs abgeleitet werden. Alternativ kann eine vorher berechnete Rauschstruktur durch ein Tiefpassfilter mit einem Mittelwert gefiltert werden, der mit einer Referenzfarbe übereinstimmt. Die Referenzfarbe kann eine vorbestimmte Farbe der Pupille sein (z. B. basierend auf den Farben unbeeinflusster Augenbereiche oder basierend auf anderen Bildern desselben Subjekts ohne Rote-Auge-Artefakte geschätzt). Eine Rote-Augen-Artefaktkorrektur durch Modulation 370 gemäß einem hierin offenbarten Aspekt wird in 660 von 6 demonstriert.
  • Ähnlich, in Schritt 570, kann Synthetisieren von Schimmern durch Wiedergeben von künstlichen Schimmern durchgeführt werden. In einem Aspekt kann ein Schimmern wiederhergestellt werden, indem eine radiale Scheibe (z. B. gaußförmig) erzeugt wird, die innerhalb des jeweiligen Schimmersegments zentriert sein kann, wie in 680 von 6 gezeigt. Das Suchen und Identifizieren eines Schimmermusters 530 ist möglicherweise nicht in allen Fällen erfolgreich, da die Spektralantwort der Rote-Augen-Artefakte nahe an der Spektralantwort des Schimmers liegen kann (z. B. wenn beide nahe an Weiß liegen). In solchen Fällen können Effekte, die einem Schimmer ähneln, durch alternative Techniken wiedergegeben werden, die möglicherweise nicht auf dem Inhalt des Rohbilds 350 (oder des Pseudo-Rohbilds 355) oder dem Inhalt des Zielbilds 360 beruhen. Beispielsweise kann eine Schätzung durchgeführt werden, um einen Bereich des Auges zu identifizieren, der mit einer optischen Achse zusammenfällt, die sich von der Kamera zu dem Objekt erstreckt. Schimmer-Effekte können dann diesem Bereich überlagert werden, um Schimmer dem Zielbildinhalt nachzuahmen. Beispielsweise kann eine gaußartige Scheibe in diesem Bereich überlagert sein.
  • In einem Aspekt können Validierungsschritte in das Verfahren 500 integriert werden. Validierungsschritte können darauf abzielen, den Prozess der Korrektur von Rote-Augen-Artefakten zu ändern oder abzubrechen, wenn die Gefahr besteht, dass der Inhalt von Nicht-Pupillen beeinträchtigt wird und die Bildqualität beeinträchtigt wird. Dementsprechend kann das Verfahren 500 Überprüfungen integrieren, um zu bestimmen, ob ein solches Risiko vorliegt, und wenn dies der Fall ist, kann der Betrieb des Verfahrens geändert oder abgebrochen werden. Beispielsweise kann die Rote-Augen-Korrektur basierend auf einer Form der Reparaturmaske abgebrochen werden - wenn die Reparaturmaske eine konkave oder unregelmäßige Form aufweist, kann die Rote-Augen-Korrektur abgebrochen werden, oder es kann auf andere Weise ein alternativer Ansatz zum Bilden dieser Maske erfolgen genommen werden (z. B. eine alternative Methode zum Ableiten des Rote-Augen-Segments). Die Rote-Augen-Korrektur kann auch abgebrochen werden, basierend auf Merkmalen einer Spektralantwort, aus der die Reparaturmaske abgeleitet werden soll. Beispielsweise können Histogramme der Spektralantwort analysiert werden, um zu bestätigen, dass Bilddaten (extrahiert aus dem Augenbereich) eine starke Spitzenantwort innerhalb der Pupille und eine flache Antwort innerhalb von Nichtpupillenstrukturen (z. B. der Iris oder der Sklera) aufweisen. Wenn keine starke Spitzenantwort innerhalb der Pupille und keine flache Antwort innerhalb von Nicht-Pupillenstrukturen vorliegt, kann das Verfahren 500 abgebrochen werden. Ebenso kann das Verfahren 500 abgebrochen werden, wenn festgestellt wird, dass das Rohbild 350 und/oder das Pseudo-Rohbild 355 keine ausreichende Qualität aufweisen (zu verschwommen oder verzerrt). Zum Beispiel kann das Verfahren 500 Prozesse enthalten, die die Qualität des Bildes angeben können (z. B. Bewegungsunschärfeschätzung), die für den Validierungsprozess verwendet werden können.
  • In einem Aspekt können andere Maßnahmen in das Verfahren 500 integriert werden, um bei der Abschätzung der Wahrscheinlichkeit einer erfolgreichen Korrektur von Rote-Augen-Artefakten und einer Schimmerwiederherstellung (oder des Risikos einer erfolglosen Korrektur und Wiederherstellung, die die Bildqualität verringern kann) zu helfen. Beispielsweise können erwartete Pupillengrößen und Schimmergrößen von dem Verfahren 500 verwendet werden, um z. B. die Gültigkeit der Segmentierung 530 zu bewerten. Eine erwartete Pupillengröße kann durch Gewichtungsfaktoren wie: den Pupillenabstand (abgeleitet von der Mitte der Augenlandmarken), das Begrenzungsrechteck der Augenlandmarke, des Dreiecks, das durch die Mitten des Auges und die Spitze der Nase gebildet wird; und die 3D-Kopfstellen-Schätzung geschätzt werden.
  • In einem Aspekt kann eine Entscheidung zum Abbrechen zu Beginn basierend auf Geometrieinformationen getroffen werden. Zum Beispiel kann die Geometrie der Reparaturmasken des linken und rechten Auges verglichen werden. Wenn es in Form und Gestalt nicht ausreichend ähnlich ist, kann eine Entscheidung zum Abbruch getroffen werden, da zu erwarten ist, dass Reparaturmasken rotatorisch und translatorisch ähnlich sind. In einem Aspekt kann die Gesichtsorientierung und/oder Augenorientierung auch von dem Verfahren 500 zur Validierung verwendet werden. Diese Orientierungen können basierend auf den erfassten Landmarken 520 geschätzt werden.
  • In einem Aspekt umfasst das Verfahren 500 die Vorhersage der Position eines Schimmerns und ob es mehr als ein Schimmern gibt. Der Schimmerort kann basierend auf dem gewichteten Schwerpunkt der Schimmermaske für Motive in der Nähe der Kamera (große Motive) abgeleitet werden. Bei weiter entfernten Motiven (kleinen Motiven) können nicht richtig ausgerichtete Schimmer unnatürlich erscheinen, und der Schimmer wird stattdessen aus der Mitte des Augenmarkierungsbereichs entnommen.
  • Für Rote-Augen-Artefakte, die zwischen Bernstein und reinem Weiß liegen können (siehe 2), kann der gesamte Pupillenbereich korrigiert werden, so dass die Wiederherstellung eines einzelnen Schimmers, der über dem korrigierten Bereich der Pupille angewendet werden kann, ausreichen kann. Bei Rote-Augen-Artefakten, die zwischen Hellrot und Kastanienbraun liegen können (siehe 2), kann der ursprüngliche Schimmer im Zielbild vorhanden sein und beibehalten werden.
  • Die vorstehende Diskussion hat die Funktionsweise der Aspekte der vorliegenden Offenbarung im Zusammenhang mit Komponenten eines Kamerasystems beschrieben. Üblicherweise werden diese Komponenten als elektronische Vorrichtungen bereitgestellt. Komponenten des Kamerasytems können in integrierten Schaltungen wie anwendungsspezifischen integrierten Schaltungen, anwenderprogrammierbaren Gatteranordnungen und/oder Digitalsignalprozessoren ausgeführt sein. Alternativ dazu können sie in Computerprogrammen ausgeführt sein, die auf Kamera-eingebetteten Vorrichtungen, Personalcomputern, Notebook-Computern, Tablet-Computern, Smartphones oder Computerservern ausgeführt werden. Diese Computerprogramme werden üblicherweise in physischen Speichermedien wie elektronisch, magnetisch und/oder optisch basierten Speichervorrichtungen gespeichert, wo sie auf einen Prozessor gelesen und ausgeführt werden. Und natürlich können diese Komponenten als Hybridsysteme bereitgestellt werden, die Funktionalität wie gewünscht über speziell dafür vorgesehene Hardwarekomponenten und programmierte Universalprozessoren verteilen.
  • Verschiedene Ausführungsformen der Erfindung sind hierin spezifisch veranschaulicht und/oder beschrieben. Es versteht sich jedoch, dass Modifikationen und Variationen der Erfindung von den vorstehenden Lehren abgedeckt sind und innerhalb des Bereichs der beigefügten Ansprüche liegen, ohne vom Wesen und beabsichtigten Umfang der Erfindung abzuweichen.

Claims (30)

  1. Verfahren zum Korrigieren von Rote-Augen-Artefakten in einem Zielbild eines Motivs, umfassend: Empfangen eines oder mehrere Bilder, die durch eine Kamera erfasst werden, umfassend ein Rohbild; Verarbeiten des einen oder der mehreren aufgenommenen Bilder, um das Zielbild zu erzeugen; und Modulieren eines Augenbereichs des Zielbildes, um die Rote-Augen-Artefakte auf der Grundlage von Informationen zu korrigieren, die aus dem Rohbild extrahiert wurden, oder basierend auf Informationen, die aus dem Rohbild und dem Zielbild extrahiert wurden.
  2. Verfahren nach Anspruch 1, wobei das Modulieren umfasst: Erfassen von Landmarken, die dem Augenbereich zugeordnet sind; Schätzen der spektralen Reaktion der Rote-Augen-Artefakte; Bilden einer Reparaturmaske durch Segmentieren eines Bildbereichs des Auges basierend auf der geschätzten Spektralreaktion der Rote-Augen-Artefakte;und der detektierten Landmarken; und Modifizieren eines Bildbereichs, der der Reparaturmaske zugeordnet ist.
  3. Verfahren nach Anspruch 2, wobei die Reparaturmaske durch Anwenden eines Bereichswachsbetriebs verfeinert wird, der die Verwendung eines Keims umfasst, der einem oder mehreren Schwerpunkten eines Nasensegments, eines Sklerasegments, eines Iris-Segments, eines Pupillensegments und eines Gesichts-Segments zugeordnet ist.
  4. Verfahren nach Anspruch 2, wobei das Modifizieren eines Bildbereichs umfasst: Anwenden einer Textur auf den Bildbereich.
  5. Verfahren nach Anspruch 4, wobei die Textur einen Mittelwert aufweist, der mit einer Referenzfarbe übereinstimmt.
  6. Verfahren nach Anspruch 1, wobei das Modulieren umfasst: Erfassen von Landmarken, die dem Augenbereich zugeordnet sind; Schätzen der spektralen Reaktion eines Schimmers; Segmentieren eines Bildbereichs des Auges basierend auf der geschätzten spektralen Antwort des Schimmers und der detektierten Landmarken, Bilden einer Schimmermaske; und Wiedergeben von einem oder mehreren Schimmern in einem Bereich, der dem Schimmern zugeordnet ist.
  7. Verfahren nach Anspruch 1, ferner umfassend: Identifizieren eines Bildbereichs des Auges, der mit einer optischen Achse zusammenfällt, die sich von der Kamera zu dem Motiv erstreckt; und Wiederherstellen eines Schimmers durch Überlagern einer Radialscheibe in einem Bereich, der dem identifizierten Bildbereich zugeordnet ist.
  8. Verfahren nach Anspruch 1, wobei die Verarbeitung auf einem oder mehreren von Schwarzpegelanpassung, Rauschunterdrückung, Weißabgleich, Farbmodellkonvertierung, Gammakorrektur, Überblendung, Farbfilter-Array-Interpolation, Kantenverbesserung, Kontrastverbesserung oder falsche Chromaunterdrückung basiert.
  9. Verfahren nach Anspruch 1, wobei die empfangenen Bilder von einer Vielzahl von Sensoren der Kamera erfasst werden;
  10. Verfahren nach Anspruch 1, wobei die empfangenen Bilder zu unterschiedlichen Zeitpunkten erfasst werden.
  11. Verfahren nach Anspruch 1, wobei die empfangenen Bilder basierend auf unterschiedlichen Erfassungseinstellungen erfasst werden.
  12. Verfahren nach Anspruch 1, ferner umfassend: Registrieren der empfangenen Bilder durch Verwenden einer oder mehrerer von räumlicher Ausrichtung oder Farbabstimmung;
  13. Verfahren nach Anspruch 1, wobei: die Verarbeitung ein Pseudo-Rohbild unter Verwendung von eingeschränkten Parametereinstellungen erzeugt; und das Modulieren auf Informationen basiert ist, die aus dem Pseudo-Rohbild extrahiert werden.
  14. Verfahren von Anspruch 13, wobei die eingeschränkten Parametereinstellungen auf einem oder mehreren physikalischen Eigenschaften der Kamera basieren, umfassend Eigenschaften, die einem Sensor, einem Verschluss, oder eine analogen Verstärkung zugeordnet sind.
  15. Verfahren nach Anspruch 13, wobei die eingeschränkten Parametereinstellungen auf den Erfassungsbedingungen der Kamera basieren.
  16. Verfahren nach Anspruch 1, ferner umfassend: Bestimmen eines Risikos, dass die Korrektur von Rote-Augen-Artefakten die Zielbildqualität reduziert; und wenn das Risiko über einem Schwellwert liegt, Abbrechen oder Ändern der Korrektur von Rote-Augen-Artefakten.
  17. Computersystem, umfassend: mindestens einen Prozessor; mindestens einen Speicher, der Anweisungen umfasst, die dazu konfiguriert sind, von dem mindestens einen Prozessor ausgeführt zu werden, um ein Verfahren auszuführen, umfassend: Empfangen eines oder mehrere Bilder, die durch eine Kamera erfasst werden, umfassend ein Rohbild; Verarbeiten des einen oder der mehreren erfassten Bilder, um ein Zielbild zu erzeugen; und Modulieren eines Augenbereichs des Zielbildes, um die Rote-Augen-Artefakte auf der Grundlage von Informationen zu korrigieren, die aus dem Rohbild extrahiert wurden, oder basierend auf Informationen, die aus dem Rohbild und dem Zielbild extrahiert wurden.
  18. System nach Anspruch 17, wobei das Modulieren umfasst: Erfassen von Landmarken, die dem Augenbereich zugeordnet sind; Schätzen der spektralen Reaktion der Rote-Augen-Artefakte; Segmentieren eines Bildbereichs des Auges basierend auf der geschätzten spektralen Antwort der roten Augenartefakte und der detektierten Landmarken, Bilden einer Reparaturmaske; und Modifizieren eines Bildbereichs, der der Reparaturmaske zugeordnet ist.
  19. System nach Anspruch 18, wobei die Reparaturmaske durch Anwenden eines Bereichswachsbetriebs verfeinert wird, der die Verwendung eines Keims umfasst, der einem oder mehreren Schwerpunkten eines Nasensegments, eines Sklerasegments, eines Iris-Segments, eines Pupillensegments und eines Gesichts-Segments zugeordnet ist.
  20. System nach Anspruch 18, wobei das Modifizieren eines Bildbereichs umfasst: Anwenden einer Textur auf den Bildbereich, umfassend die Verwendung eines Texturmittelwerts, der mit einer Referenzfarbe übereinstimmt.
  21. System nach Anspruch 17, wobei das Modulieren umfasst: Erfassen von Landmarken, die dem Augenbereich zugeordnet sind; Schätzen der spektralen Reaktion eines Schimmers; Segmentieren eines Bildbereichs des Auges basierend auf der geschätzten Spektralantwort des Schimmers und der detektierten Landmarken unter Bildung einer Schimmermaske; und Wiedergeben von einem oder mehreren Schimmern in einem Bereich, der dem Schimmern zugeordnet ist.
  22. System nach Anspruch 17, wobei: die Verarbeitung ein Pseudo-Rohbild unter Verwendung von eingeschränkten Parametereinstellungen erzeugt; und das Modulieren auf Informationen basiert ist, die aus dem Pseudo-Rohbild extrahiert werden.
  23. System nach Anspruch 22, wobei die eingeschränkten Parametereinstellungen auf Erfassungsbedingungen der Kamera, physikalischen Eigenschaften der Kamera oder einer Kombination davon basieren.
  24. Nicht-flüchtiges computerlesbares Medium, umfassend Anweisungen, die von mindestens einem Prozessor ausgführt werden können, um ein Verfahren durchzuführen, das Verfahren umfassend: Empfangen eines oder mehrere Bilder, die durch eine Kamera erfasst werden, umfassend ein Rohbild; Verarbeiten des einen oder der mehreren erfassten Bilder, um ein Zielbild zu erzeugen; und Modulieren eines Augenbereichs des Zielbildes, um die Rote-Augen-Artefakte zu korrigieren, basierend auf Informationen, die aus dem Rohbild extrahiert wurden, oder basierend auf Informationen, die aus dem Rohbild und dem Zielbild extrahiert wurden.
  25. Medium nach Anspruch 24, wobei die Modulieren umfasst: Erfassen von Landmarken, die dem Augenbereich zugeordnet sind; Schätzen der spektralen Reaktion der Rote-Augen-Artefakte; Segmentieren eines Bildbereichs des Auges basierend auf der geschätzten spektralen Antwort der roten Augenartefakte und der detektierten Landmarken, Bilden einer Reparaturmaske; und Modifizieren eines Bildbereichs, der der Reparaturmaske zugeordnet ist.
  26. Medium nach Anspruch 25, wobei die Reparaturmaske durch Anwenden eines Bereichswachsbetriebs verfeinert wird, der die Verwendung eines Keims umfasst, der einem oder mehreren Schwerpunkten eines Nasensegments, eines Sklerasegments, eines Iris-Segments, eines Pupillensegments und eines Gesichts-Segments zugeordnet ist.
  27. Medium nach Anspruch 25, wobei das Modifizieren eines Bildbereichs umfasst: Anwenden einer Textur auf den Bildbereich, umfassend die Verwendung eines Texturmittelwerts, der mit einer Referenzfarbe übereinstimmt.
  28. Medium nach Anspruch 24, wobei die Modulieren umfasst: Erfassen von Landmarken, die dem Augenbereich zugeordnet sind; Schätzen der spektralen Reaktion eines Schimmers; Segmentieren eines Bildbereichs des Auges basierend auf der geschätzten spektralen Antwort des Schimmers und der detektierten Landmarken, Bilden einer Schimmermaske; und Wiedergeben von einem oder mehreren Schimmern in einem Bereich, der dem Schimmern zugeordnet ist.
  29. Medium nach Anspruch 24, wobei: die Verarbeitung ein Pseudo-Rohbild unter Verwendung von eingeschränkten Parametereinstellungen erzeugt; und das Modulieren auf Informationen basiert ist, die aus dem Pseudo-Rohbild extrahiert werden.
  30. Medium nach Anspruch 29, wobei die eingeschränkten Parametereinstellungen auf Erfassungsbedingungen der Kamera, physikalischen Eigenschaften der Kamera oder einer Kombination davon basieren.
DE102019114666.6A 2018-06-01 2019-05-31 Rote-augen-korrektur-techniken Pending DE102019114666A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862679399P 2018-06-01 2018-06-01
US62/679,399 2018-06-01

Publications (1)

Publication Number Publication Date
DE102019114666A1 true DE102019114666A1 (de) 2019-12-05

Family

ID=68576478

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019114666.6A Pending DE102019114666A1 (de) 2018-06-01 2019-05-31 Rote-augen-korrektur-techniken

Country Status (3)

Country Link
US (1) US20190370942A1 (de)
CN (1) CN110555810B (de)
DE (1) DE102019114666A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738934A (zh) * 2020-05-15 2020-10-02 西安工程大学 基于mtcnn的红眼自动修复方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US6980691B2 (en) * 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
US7116820B2 (en) * 2003-04-28 2006-10-03 Hewlett-Packard Development Company, Lp. Detecting and correcting red-eye in a digital image
US7606417B2 (en) * 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
JP4148903B2 (ja) * 2004-01-06 2008-09-10 株式会社東芝 画像処理装置、画像処理方法およびデジタルカメラ
US7450756B2 (en) * 2005-04-28 2008-11-11 Hewlett-Packard Development Company, L.P. Method and apparatus for incorporating iris color in red-eye correction
US7599577B2 (en) * 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
JP5115568B2 (ja) * 2009-11-11 2013-01-09 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
US8786735B2 (en) * 2011-03-21 2014-07-22 Apple Inc. Red-eye removal using multiple recognition channels
US8600194B2 (en) * 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US9083935B2 (en) * 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
US9824271B2 (en) * 2014-06-25 2017-11-21 Kodak Alaris Inc. Adaptable eye artifact identification and correction system
US9420248B2 (en) * 2014-09-19 2016-08-16 Qualcomm Incorporated Multi-LED camera flash for color temperature matching

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738934A (zh) * 2020-05-15 2020-10-02 西安工程大学 基于mtcnn的红眼自动修复方法
CN111738934B (zh) * 2020-05-15 2024-04-02 西安工程大学 基于mtcnn的红眼自动修复方法

Also Published As

Publication number Publication date
US20190370942A1 (en) 2019-12-05
CN110555810B (zh) 2024-05-14
CN110555810A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
Liang et al. Single underwater image enhancement by attenuation map guided color correction and detail preserved dehazing
US20220292658A1 (en) Image fusion method and apparatus, storage medium, and electronic device
CN105122302B (zh) 无重影高动态范围图像的产生
DE69906403T2 (de) Verfahren und Gerät zum Detektieren eines gesichtsähnlichen Gebiets
US6728401B1 (en) Red-eye removal using color image processing
CN107909057A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
DE602005003917T2 (de) Verfahren und Vorrichtung zur Erzeugung von Bildern mit hoher Dynamik aus mehreren Belichtungen
DE112017005193T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung
CN108009999A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
DE112008000021B4 (de) Vorrichtung und Programm zur Korrektur der Irisfarbe
CN111047530A (zh) 基于多特征融合的水下图像颜色校正和对比度增强方法
WO2004038646A1 (de) Prüfung von bildaufnahmen von personen
DE112015001656T5 (de) Bildverarbeitungsverfahren und -vorrichtung
CN110691226B (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN107909058A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
DE112008000020B4 (de) Vorrichtung und Programm zur Korrektur der Irisfarbe
DE112019007550T5 (de) Automatisches segmentieren und anpassen von bildern
CN107993209A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
DE102016121755A1 (de) Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug
DE112018006886T5 (de) Insassenzustand-Detektionsvorrichtung, Insassenzustand-Detektionssystem und Insassenzustand-Detektionsverfahren
CN113379609B (zh) 一种图像处理方法、存储介质及终端设备
DE102019114666A1 (de) Rote-augen-korrektur-techniken
WO2021193779A1 (ja) カラー画像補完方法及びニューラルネットワーク学習方法
CN112699760B (zh) 一种脸部目标区域检测方法、装置和设备
CN110086997B (zh) 人脸图像曝光亮度补偿方法及装置

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication