DE10164201A1

DE10164201A1 - System und Verfahren zum automatischen Verbessern von graphischen Bildern

Info

Publication number: DE10164201A1
Application number: DE10164201A
Authority: DE
Inventors: Robert E Sobol
Original assignee: Hewlett Packard Co
Current assignee: Hewlett Packard Development Co LP
Priority date: 2000-12-27
Filing date: 2001-12-27
Publication date: 2002-07-25
Also published as: US20020081003A1; GB2372168A; GB2372168B; GB0130382D0

Abstract

Ein Bildverbesserungssystem verwendet einen Speicher, einen Gesichtsdetektor und einen Bildverbesserer. Der Speicher speichert digitale Daten, die ein graphisches Bild definieren. Der Gesichtsdetektor analysiert die gespeicherten digitalen Daten und identifiziert automatisch Gesichtsdaten in den digitalen Daten. Diese Gesichtsdaten definieren ein Bild des Gesichts einer Person. Der Bildverbesserer analysiert die Gesichtsdaten und identifiziert automatisch einen Teil der Gesichtsdaten, der ein bestimmtes Gesichtsmerkmal definiert. Der Bildverbesserer manipuliert daraufhin automatisch den vorstehenden Teil der Gesichtsdaten, um ein Erscheinungsbild des Gesichtsmerkmals, wenn das Gesichtsmerkmal durch eine Anzeigevorrichtung angezeigt wird, zu verbessern oder vorteilhaft darzustellen.

Description

Die vorliegende Erfindung bezieht sich allgemein auf Bild verarbeitungstechniken und insbesondere auf ein System und ein Verfahren zum automatischen Erfassen und Manipulieren von Daten, die ein Gesichtsmerkmal auf einem digitalen Bild definieren, um ein Erscheinungsbild des Gesichtsmerkmals zu verbessern.

Es existieren diverse Photographieverbesserungstechniken zum Verbessern des Erscheinungsbildes einer Person auf ei nem photographierten Bild. Beispielsweise gibt es seit vie len Jahren Techniken zum Entfernen oder Abschwächen von Ma keln, Falten oder anderen Anomalien aus bzw. in einem pho tographierten Gesicht. Normalerweise wird eine Photographie einer Person erzeugt, indem man ein Bild der Person einem lichtempfindlichen Material aussetzt, wodurch das Bild auf einem "Negativ" der Photographie aufgenommen wird. Ein ge schulter Photograph entwickelt daraufhin das Negativ über hinreichend bekannte Techniken.

Während des Entwickelns analysiert der Photograph das durch das negativ aufgenommene Bild, um zu bestimmen, ob in dem Bild etwaige unansehnliche Merkmale vorliegen, die ent fernt, vertuscht oder auf andere Art abgeschwächt werden sollten. Wenn solche Merkmale gefunden werden, können die Merkmale durch ein Luftbürsten oder andere hinreichend be kannte Techniken selektiv entfernt oder abgeschwächt wer den, um das Erscheinungsbild auf dem entwickelten Bild zu verbessern.

Ungünstigerweise erfordert ein solches Bildverbessern, daß ein geschulter Photograph das Negativ des aufgenommenen Bildes analysiert und verbessert. Einen geschulten Photo graphen das Negativ eines Bildes analysieren und verbessern zu lassen, erhöht die Kosten des Bildes, und für viele Bil der sind die Kosten, die damit verbunden sind, die Bildne gative durch einen geschulten Photographen analysieren und verbessern zu lassen, untragbar.

Mit der Einführung von Digitalkameras sanken im allgemeinen die Kosten, die mit einem Analysieren und Verbessern von Bildern zusammenhängen. Es wurden bzw. werden digitale Ver arbeitungstechniken entwickelt, die es einem Benutzer er möglichen, ein digitales Bild eines Objektes aufzunehmen und Merkmale auf dem aufgenommenen Bild effizient zu be trachten und über eine Eingabevorrichtung, beispielsweise eine Maus, zu manipulieren. Solche digitale Verarbeitungs techniken erfordern jedoch üblicherweise, daß der Benutzer das aufgenommene Bild in ein Computersystem herunterlädt, das eine Bildverbesserungssoftware umfaßt. Das Bild wird durch das Computersystem angezeigt, und der Benutzer wählt daraufhin aus dem angezeigten Bild bestimmte Bildmerkmale zum Zweck einer digitalen Verbesserung durch die Bildver besserungssoftware aus.

Obwohl solche Digitalbildverarbeitungstechniken die Bild verbesserung effizienter und benutzerfreundlicher gestal ten, existiert immer noch eine begrenzte Menge an Kosten beim Anwenden der Digitalbildverarbeitungstechniken. Im einzelnen verwendet ein Benutzer Zeit und Mühe darauf, die angezeigten Bildmerkmale, die verbessert werden, auszuwäh len und zu manipulieren. Es besteht also ein bisher nicht erfülltes Erfordernis in der Industrie, die Effizienz von Bildverbesserungstechniken zu vereinfachen und zu erhöhen.

Es ist die Aufgabe der vorliegenden Erfindung, ein automa tisches Bildverbesserungssystem und ein Verfahren zum Ver bessern graphischer Bilder zu schaffen, so daß die Bildver besserung weniger aufwendig wird.

Diese Aufgabe wird durch ein automatisches Bildverbesse rungssystem gemäß Anspruch 1 und 9 sowie ein Verfahren ge mäß Anspruch 10 gelöst.

Die vorliegende Erfindung überwindet die Unzulänglichkeiten und Mängel des Standes der Technik, wie sie oben beschrie ben wurden. Allgemein liefert die vorliegende Erfindung ein Bildverbesserungssystem und -verfahren zum automatischen Erfassen und Manipulieren von Daten, die ein Gesichtsmerk mal auf einem digitalen Bild definieren, um ein Erschei nungsbild des Gesichtsmerkmals zu verbessern.

In der Architektur verwendet das Bildverbesserungssystem der vorliegenden Erfindung einen Speicher, einen Gesichts detektor und einen Bildverbesserer. Der Speicher speichert digitale Daten, die ein graphisches Bild definieren. Der Gesichtsdetektor analysiert die gespeicherten digitalen Da ten und identifiziert automatisch Gesichtsdaten in den di gitalen Daten. Diese Gesichtsdaten definieren ein Bild des Gesichts einer Person. Der Bildverbesserer analysiert die Gesichtsdaten und identifiziert automatisch einen Teil der Gesichtsdaten, der ein bestimmtes Gesichtsmerkmal defi niert. Der Bildverbesserer manipuliert daraufhin automa tisch den vorangegangenen Teil der Gesichtsdaten, um ein Erscheinungsbild des Gesichtsmerkmals, wenn das Gesichts merkmal durch eine Anzeigevorrichtung angezeigt wird, zu verbessern oder vorteilhaft zur Geltung zu bringen.

Die vorliegende Erfindung kann auch so angesehen werden, daß sie ein Verfahren zum Verbessern von graphischen Bil dern liefert. Das Konzept des Verfahrens kann durch die folgenden Schritte grob umrissen werden: Empfangen von di gitalen Daten, die ein graphisches Bild definieren; automa tisches Erfassen von Gesichtsdaten in den digitalen Daten; Durchsuchen der Gesichtsdaten nach Daten, die ein bestimm tes Gesichtsmerkmal definieren; automatisches Identifizie ren, auf der Basis des Suchschritts, eines Satzes von Da ten, der das bestimmte Gesichtsmerkmal definiert; und Mani pulieren des Satzes von Daten auf Antwort auf den Identifi zierungsschritt.

Weitere Merkmale und Vorteile der vorliegenden Erfindung werden für Fachleute nach Prüfung der folgenden ausführli chen Beschreibung, wenn diese im Zusammenhang mit den bei liegenden Zeichnungen gelesen wird, offensichtlich. Es ist beabsichtigt, daß alle diese Merkmale und Vorteile hierin in dem Schutzbereich der vorliegenden Erfindung enthalten und durch die Patentansprüche geschützt sind.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert, deren Elemente nicht unbedingt maßstabsgetreu zueinander sind, wobei das Hauptaugenmerk auf einem deutlichen Veranschaulichen der Prinzipien der Erfindung liegt. Zudem bezeichnen gleiche Bezugszeichen entsprechende Teile in den verschiedenen Ansichten. Es zei gen:

Fig. 1 ein Blockdiagramm, das ein Bildverbesserungssy stem gemäß der vorliegenden Erfindung veranschau licht;

Fig. 2 und 3 ein Flußdiagramm, das die Architektur und Funktionalität eines in Fig. 1 gezeigten Ge sichtsdetektors veranschaulicht; und

Fig. 4 ein Flußdiagramm, das die Architektur und Funk tionalität des in Fig. 1 gezeigten Bildverbesse rungssystems veranschaulicht.

Die vorliegende Erfindung bezieht sich allgemein auf ein System und ein Verfahren zum automatischen Verbessern von Gesichtsmerkmalen in digitalen Daten, die ein Bild einer Person definieren. Da die Bildverbesserung automatisch ist, ist relativ wenig Schulung und/oder Aufwand erforderlich, um einen Benutzer in die Lage zu versetzen, ansprechendere Photographien zu erzeugen.

Fig. 1 zeigt ein Bildverbesserungssystem 10 gemäß der vor liegenden Erfindung. Wie durch Fig. 1 gezeigt ist, umfaßt das System 10 vorzugsweise einen Systemverwalter 15, einen Gesichtsdetektor 18 und einen Bildverbesserer 21. Der Sy stemverwalter 15, der Gesichtsdetektor 18 und der Bildver besserer 21 können in Software, Hardware oder einer Kombi nation aus denselben implementiert sein. Bei dem bevorzug ten Ausführungsbeispiel, wie beispielhaft in Fig. 1 veran schaulicht ist, sind der Systemverwalter 15, der Gesichts detektor 18 und der Bildverbesserer 21 der vorliegenden Er findung zusammen mit der zugehörigen Methodologie in Soft ware implementiert und in dem Speicher 24 des Bildverbesse rungssystems 10 gespeichert.

Man beachte, daß der Systemverwalter 15, der Gesichtsdetek tor 18 und/oder der Bildverbesserer 21, wenn dieselben in Software implementiert sind, in jedem beliebigen computer lesbaren Medium gespeichert und transportiert werden kön nen, zur Verwendung durch einen bzw. eine oder in Verbin dung mit einem bzw. einer Anweisungsausführungssystem, -vorrichtung oder -gerät, beispielsweise ein computerba siertes System, ein einen Prozessor enthaltendes System oder ein anderes System, das die Anweisungen von dem Anwei sungsausführungssystem, der -vorrichtung oder dem -gerät abrufen und die Anweisungen ausführen kann. Im Kontext die ses Dokuments kann ein "computerlesbares Medium" eine be liebige Einrichtung sein, die das Programm zur Verwendung durch das bzw. die oder in Verbindung mit dem bzw. der An weisungsausführungssystem, -vorrichtung oder -gerät enthal ten, speichern, kommunizieren, weiterverbreiten oder trans portieren kann. Das computerlesbare Medium kann beispiels weise ein(e) elektronische(s), magnetische(s), optische(s), elektromagnetische(s), Infrarot- oder Halbleitersystem, -vorrichtung, -gerät oder -ausbreitungsmedium sein, ist je doch nicht auf dieselben beschränkt. Spezifischere Beispie le (eine nicht erschöpfende Liste) des computerlesbaren Me diums würde folgende enthalten: eine elektrische Verbindung (elektronisch), die ein oder mehrere Drähte aufweist, eine tragbare Computerplatte (magnetisch), einen Direktzugriffs speicher (RAM) (magnetisch), einen Festwertspeicher (ROM) (magnetisch), einen löschbaren programmierbaren Fest wertspeicher (EPROM oder Flash-Speicher) (magnetisch), einen Lichtwellenleiter (optisch) und einen tragbaren Compact- Disk-Festwertspeicher (CDROM) (optisch). Man beachte, daß das computerlesbare Medium sogar Papier oder ein anderes geeignetes Medium sein könnte, auf das das Programm ge druckt ist, da das Programm elektronisch aufgenommen, bei spielsweise über ein optisches Scannen des Papiers oder des anderen Mediums, daraufhin zusammengestellt, interpretiert oder auf andere geeignete Weise verarbeitet werden kann, falls nötig, und dann in einem Computerspeicher gespeichert werden kann. Beispielsweise können der Systemverwalter 15, der Gesichtsdetektor 18 und/oder der Bildverbesserer 21 auf einer herkömmlichen tragbaren Computerplatte magnetisch ge speichert und transportiert werden.

Das bevorzugte Ausführungsbeispiel des Bildverbesserungssy stems 10 der Fig. 1 weist ein oder mehrere herkömmliche Verarbeitungselemente 32, beispielsweise einen Digitalsi gnalprozessor (DSP - digital signal processor) auf, die über eine lokale Schnittstelle 36, die einen oder mehrere Busse umfassen kann, mit den anderen Elementen in dem Sy stem 10 kommunizieren und dieselben antreiben. Ein Platten speichermechanismus 37 kann mit der lokalen Schnittstelle 36 verbunden sein, um Daten von und zu einer nicht flüchti gen Platte (z. B. magnetisch, optisch usw.) zu übertragen. Überdies kann eine Eingabevorrichtung 39 verwendet werden, um Daten von einem Benutzer des Systems 10 einzugeben, und eine Ausgabevorrichtung 34 kann verwendet werden, um Daten an den Benutzer auszugeben. Es gibt diverse Geräte, die verwendet werden können, um die Eingabevorrichtung 39 zu implementieren, beispielsweise unter anderem einen Satz (z. B. einen oder mehrere) Schalter, einen Satz Tasten, ein Ta stenfeld, eine Tastatur und/oder eine Maus. Überdies kann die Ausgabevorrichtung 42 eine Flüssigkristallanzeige, ein Monitor, ein Drucker oder eine andere herkömmliche Vorrich tung zum Anzeigen einer Ausgabe sein.

Bei dem bevorzugten Ausführungsbeispiel ist das System 10 als Digitalkamera implementiert, die konfiguriert ist, um über eine Bildaufnahmevorrichtung 55 Bilder zu machen. In dieser Hinsicht befindet sich jede Komponente der Fig. 1 vorzugsweise in einem tragbaren Gehäuse, und die Bildauf nahmevorrichtung 55 umfaßt vorzugsweise eine Linse 57 zum Empfangen und Fokussieren von Licht von einer Szene. Die Bildaufnahmevorrichtung 55 umfaßt ferner einen Bildwandler 61, der konfiguriert ist, um das Licht in einen Satz von digitalen Daten 64 umzuwandeln, der ein Bild der Szene de finiert. Dieser Satz von Bilddaten 64 kann an den Speicher 24 gesendet und in demselben gespeichert werden. Wie in Fig. 1 gezeigt ist, können mehrere Sätze von Bilddaten 64, die jeweils mehrere Bilder definieren, in dem Speicher 24 gespeichert sein.

In dieser Hinsicht kann die Eingabevorrichtung 39 eine Ta ste oder eine andere Art Schalter umfassen, die bzw. der, wenn sie bzw. er aktiviert ist, anzeigt, daß ein Bild ge macht werden sollte. Auf eine Aktivierung der Taste oder der anderen Art von Schalter in der Eingabevorrichtung 39 hin wird ein Satz von Bilddaten 64 an den Speicher 24 ge sandt und in demselben gespeichert. Dieser Satz von Bildda ten 64 definiert ein Bild, das ungefähr dann, wenn die Ta ste oder die andere Art Schalter aktiviert wurde, der Linse 57 ausgesetzt wurde. Der vorstehende Vorgang kann wie ge wünscht wiederholt werden. Jedesmal, wenn der vorstehende Vorgang wiederholt wird, wird ein neuer Satz von Bilddaten 64, der ein Bild definiert, das der Linse 57 ausgesetzt ist, an den Speicher 24 gesandt und in demselben gespei chert. Man beachte, daß es möglich ist, einen oder mehrere der Sätze von Bilddaten 64 von einer externen Vorrichtung (nicht gezeigt) herunterzuladen. Beispielsweise kann über den Plattenspeichermechanismus 37 eine Schnittstelle zwi schen einer Platte und dem System 10 gebildet werden, und ein oder mehrere Sätze von Bilddaten 64 können von der Platte zu dem Speicher 24 heruntergeladen werden.

Man sollte beachten, daß es nicht notwendig ist, daß das System 10 als Digitalkamera implementiert ist. Bei einem anderen Ausführungsbeispiel kann das System 10 beispiels weise als Desktop- oder Laptop-Computer implementiert sein. Bei einem solchen Ausführungsbeispiel kann die Bildaufnah mevorrichtung 55 als eine abnehmbare Digitalkamera imple mentiert sein, die Bilder wie oben beschrieben aufnimmt und die Sätze von Bilddaten 64, die die Bilder definieren, zu dem Speicher 24 herunterlädt. Alternativ dazu kann die Bildaufnahmevorrichtung 55 als ein Scanner implementiert sein, der die Oberfläche eines Dokuments (z. B. einer ent wickelten Photographie) abtastet, um die Sätze von Bildda ten 64 zu definieren.

Es können auch andere Vorrichtungen verwendet werden, um das System 10 zu implementieren. In der Tat kann eine be liebige Kombination aus Vorrichtungen, die der Architektur der Fig. 1 zum Durchführen der Funktionalität der vorlie genden Erfindung, wie hierin beschrieben, entspricht, ver wendet werden, um das System 10 zu implementieren.

Nachdem ein Satz von Bilddaten 64, der ein Bild definiert, in dem Speicher 24 gespeichert ist, ruft der Systemverwal ter 15 vorzugsweise den Gesichtsdetektor 18 auf, der konfi guriert ist, um den Satz von Bilddaten 64 zu analysieren, wie hiernach ausführlicher beschrieben wird. Der Systemver walter 15 kann den Gesichtsdetektor 18 automatisch aufru fen, wenn der Systemverwalter 15 das Vorhandensein des Sat zes von Bilddaten 64 in dem Speicher 24 erfaßt. Alternativ dazu kann ein Benutzer über die Eingabevorrichtung 39 eine Eingabe vornehmen, die angibt, daß das durch den Satz von Bilddaten 64 definierte Bild verbessert werden sollte. Als Antwort auf die durch den Benutzer vorgenommene Eingabe ruft der Systemverwalter 15 den Gesichtsdetektor 18 auf und weist den Gesichtsdetektor 18 an, den Satz von Bilddaten, der das Bild, das verbessert werden soll, definiert, zu analysieren. Wie hiernach ausführlicher beschrieben wird, kann ein jegliches Gesicht, das bei einem Analysieren des Satzes von Bilddaten 64 durch den Gesichtsdetektor 18 er faßt wird, automatisch durch den Bildverbesserer 21 verbes sert werden.

Man beachte, daß die durch den Benutzer vorgenommene Einga be zum Aufrufen des Bildverbesserers 21 Daten umfassen kann, die angeben, welches durch die Bilddaten 64 definier te Bild verbessert werden sollte, und somit, welcher Satz von Bilddaten 64 durch den Gesichtsdetektor 18 und den Bildverbesserer 21 verarbeitet werden sollte. Beispielswei se kann der Systemverwalter 15 konfiguriert sein, um einen oder mehrere Sätze von Bilddaten 64 an die Ausgabevorrich tung 42 zu senden, die die Bilder, die durch die an die Ausgabevorrichtung 42 gesendeten Sätze von Bilddaten 64 de finiert werden, anzeigt. Diese Bilder werden nacheinander oder gleichzeitig durch die Ausgabevorrichtung 42 ange zeigt. Der Benutzer kann daraufhin über die Eingabevorrich tung 39 das zu verbessernde Bild auswählen. Als Antwort weist der Systemverwalter 15 den Gesichtsdetektor 18 an, den Satz von Bilddaten 64, der das durch den Benutzer aus gewählte Bild definiert, zu verarbeiten. Wenn ein Gesicht durch den ausgewählten Satz von Bilddaten 64 definiert ist, wird vorzugsweise der Bildverbesserer 21 aufgerufen, um das Bild des Gesichts zu verbessern. Somit ist der Benutzer in der Lage, auszuwählen, welche Sätze von Bilddaten 64 durch das System 10 analysiert und verbessert werden. Man beach te, daß auch andere Techniken verwendet werden können, um den Benutzer in die Lage zu versetzen, auszuwählen, welcher Satz von Bilddaten 64 durch den Gesichtsdetektor 18 und den Bildverbesserer 21 zu verbessern und somit zu verarbeiten ist.

Beim Analysieren eines Satzes von Bilddaten 64 ist der Ge sichtsdetektor 18 konfiguriert, um jegliche Teile der Bild daten 64, die ein Gesicht einer Person definieren, zu er fassen. Wenn der Gesichtsdetektor 18 ein Gesicht erfaßt, wird der Bildverbesserer 21 durch den Systemverwalter 15 aufgerufen, und der Bildverbesserer 21 verwendet die Ergeb nisse des Gesichtsdetektors 18, um Daten zu definieren, die bestimmte persönliche Merkmale definieren, die durch den Bildverbesserer 21 verbessert werden können. Daraufhin ma nipuliert der Bildverbesserer 21 die Daten, die diese per sönlichen Merkmale definieren, um das Erscheinungsbild der Person, die durch das durch die Bilddaten 64 definierte Bild gezeigt ist.

Beispielsweise ist es üblich, daß in einem menschlichen Ge sicht an den Augenrändern Falten entstehen. Es kann wün schenswert sein, diese Falten in einer Photographie der Person unscharf zu gestalten, um das Erscheinungsbild der Person auf der Photographie zu verbessern. Auf der Grundla ge der Ergebnisse des Gesichtsdetektors 18 kann der Bild verbesserer 21 konfiguriert sein, um die oben genannten Falten automatisch zu erfassen und die Pixelfarbwerte, die die Falten und die umgebende Haut definieren, automatisch unscharf zu gestalten. In dieser Hinsicht ist sich der Bildverbesserer 21 auf der Grundlage der Ergebnisse der Analyse, die durch den Gesichtsdetektor 18 durchgeführt wurde, bewußt, welcher Teil der Bilddaten 64 das Gesicht einer Person definiert. Der Bildverbesserer 21 kann diese Gesichtsdaten nach den Daten durchsuchen, die die Falten, die unscharf gestaltet werden sollen, definieren. Als Bei spiel kann der Bildverbesserer 21 zunächst die Daten, die die Augen der Person definieren, ausfindig machen, indem er nach weißen Farbwerten in dem Teil der Daten, die das Ge sicht der Person definieren, sucht. Nachdem die Augen loka lisiert wurden, kann der Bildverbesserer 21 die Daten, die die Falten definieren, auf der Grundlage der Pixelposition der Daten bezüglich der Daten, die Augen definieren, loka lisieren. Der Bildverbesserer 21 kann daraufhin die Farb werte der Pixel, die die Falten und den Bereich um die Fal ten herum definieren, unscharf gestalten oder verwischen.

Bei einem anderen Beispiel kann es wünschenswert sein, die Farbe und/oder Helligkeit eines Gesichtsmerkmals zu verän dern. Beispielsweise kann es wünschenswert sein, den Haut ton eines erfaßten Gesichts zu tönen, um den Hautton entwe der heller oder dunkler zu machen. Das Vorstehende kann er reicht werden, indem die durch den Gesichtsdetektor 18 er faßten Gesichtsdaten in einem bestimmten Bereich nach Pi xelfarbwerten abgesucht werden. Der bestimmte Bereich soll te derart ausgewählt werden, daß ein jegliches Gesichtspi xel (d. h. ein Pixel in den durch den Gesichtsdetektor 18 erfaßten Gesichtsdaten), das einen Farbwert in dem Bereich aufweist, wahrscheinlich ein Pixel ist, das ein Bild der Haut der Person definiert. Jeder Gesichtspixelfarbwert in dem vorstehenden Bereich kann daraufhin verändert werden, um den Hautton des Gesichtsbildes der Person wie gewünscht abzutönen.

Bei anderen Beispielen kann es wünschenswert sein, andere Merkmale des durch Bilddaten 64 definierten Gesichtsbildes schärfer oder unschärfer zu gestalten. Beispielsweise kön nen die Haarlinien einer Person schärfer gestaltet werden, und die Wangen und/oder Stirn der Person können unscharf gemacht werden. Bei jedem dieser Beispiele ist der Bildver besserer 21 konfiguriert, um die durch den Gesichtsdetektor 18 erfaßten Gesichtsdaten zu analysieren und die Daten, die ein bestimmtes Gesichtsmerkmal (z. B. Haut, Nase, Mund, Au gen, usw.) definieren, auf der Grundlage der erwarteten Form und/oder Farbe des bestimmten Merkmals zu lokalisie ren. Die Daten, die dieses bestimmte Gesichtsmerkmal defi nieren, können manipuliert werden, um das Erscheinungsbild der Person auf dem durch die Bilddaten 64 definierten Bild zu verbessern, und/oder die Daten, die eine bestimmte Regi on des Gesichts der Person definieren, können auf der Grundlage der Nähe der Pixel der Region zu dem bestimmten Merkmal lokalisiert und manipuliert werden, um das Erschei nungsbild der Person auf dem durch die Bilddaten 64 defi nierten Bild zu verbessern.

Da der Bildverbesserer 21 in der Lage ist, seine Suche der Bilddaten 64 auf den Teil zu beschränken, der das Gesicht einer Person definiert, wenn er versucht, ein bestimmtes Gesichtsmerkmal zu lokalisieren, kann der Bildverbesserer 21 in der Lage sein, die Daten, die das bestimmte Gesichts merkmal definieren, ohne ein Einschreiten des Benutzers zu lokalisieren. Wenn die Suche des Bildverbesserers nicht so eingeschränkt werden könnte, dann ist es überdies nicht wahrscheinlich, daß der Bildverbesserer 21 in der Lage wä re, das bestimmte Gesichtsmerkmal erfolgreich zu lokalisie ren. In dieser Hinsicht können zahlreiche Objekte, die in dem durch die Bilddaten 64 definierten Bild gezeigt sind, ähnliche Attribute (z. B. Farbe, Form, usw.) wie das ge suchte bestimmte Gesichtsmerkmal aufweisen. Beispielsweise kann der Bildverbesserer 24 nach weißen Farbwerten suchen, um die Daten, die die Augen einer Person definieren, zu lo kalisieren. Jedoch können zahlreiche Objekte (z. B. Wolken, Kleidung, Autos, usw.), die in dem Bild gezeigt sind, eben falls weiße Farbwerte aufweisen. Ohne ein Beschränken der Suche der Bilddaten 64 auf den Teil, der das Gesicht der Person definiert, wäre es für den Bildverbesserer 64 schwierig, die Daten, die die Region oder das Merkmal, die bzw. das zu verbessern ist, automatisch zu lokalisieren. Somit ist eine Verwendung des Gesichtsdetektors 18 zum Lo kalisieren der Daten, die das Gesicht einer Person definie ren, ein wichtiges Merkmal, um eine automatische Bildver besserung zu ermöglichen. Im folgenden werden nun die Ar chitektur und Funktionalität des Gesichtsdetektors 18 aus führlicher beschrieben.

Wie zuvor dargelegt wurde, analysiert der Gesichtsdetektor 18 einen Satz von Bilddaten 64, der ein digitales Bild de finiert, und erfaßt auf der Grundlage der Bilddaten 64, ob das digitale Bild ein Gesicht enthält. Wenn das digitale Bild eine Anzahl von Gesichtern enthält, erfaßt und lokali siert der Gesichtsdetektor 18 die Daten, die jedes der Ge sichter definieren, und vorzugsweise versucht der Bildver besserer 21, jedes entdeckte Gesicht zu verbessern. Der Ge sichtsdetektor 18 verwendet eine Gesichtserfassungstechno logie, um zu erfassen, ob das digitale Bild ein Gesicht enthält.

Bei einem Ausführungsbeispiel ist die durch den Gesichtsde tektor 18 für eine Gesichtserfassung verwendete Gesichtser fassungstechnologie die auf dem neuralen Netzwerk basieren de Gesichtserfassungstechnologie. Die auf dem neuralen Netzwerk basierende Gesichtserfassungstechnologie ist in einer Veröffentlichung mit dem Titel "Human Face Detection in Visual Scenes" von H. Rowley, S. Baluja und T. Kanade, November 1995, offenbart. Die Veröffentlichung ist von der Carnegie Mellon University verfügbar und unter www.ius.cs.cms.edu/IUS/har2/www/CMU-CS-95-158R/ ins Inter net gestellt. H. Rowley und S. Baluja beschreiben ihre Ge sichtserfassungstechniken ferner in dem U.S.-Patent Nr. 6,128,397, das durch Bezugnahme in dieses Dokument aufge nommen ist. Bei einem anderen Ausführungsbeispiel ist die durch den Gesichtsdetektor 18 für eine Gesichtserfassung verwendete Gesichtserfassungstechnologie die auf der Haupt komponentenanalyse basierende Gesichtserfassungstechnolo gie. Diese auf einer Hauptkomponentenanalyse basierende Ge sichtserfassungstechnologie ist in dem U.S.-Patent Nr. 5,164,992 vom 17. November 1992 mit dem Titel "Face Reco gnition System", das durch Bezugnahme in dieses Dokument aufgenommen ist, offenbart. Alternativ dazu können durch den Gesichtsdetektor 18 andere bekannte Gesichtserfassungs technologien verwendet werden.

Wenn der Gesichtsdetektor 18 die auf dem neuralen Netzwerk basierende Gesichtserfassungstechnologie verwendet, erfaßt der Gesichtsdetektor 18, ob das digitale Bild ein Gesicht enthält, indem er das digitale Bild in eine Anzahl von Ge sichtskandidatfenstern (nicht gezeigt) unterteilt und da raufhin erfaßt, ob jedes Gesichtskandidatfenster ein Ge sicht enthält, indem er einen Satz von auf dem neuralen Netzwerk basierenden Filtern (ebenfalls nicht gezeigt) an jedes der Gesichtskandidatfenster in dem digitalen Bild an legt. Dies wird in der oben erwähnten Veröffentlichung mit dem Titel "Human Face Detection in Visual Scenes" ausführ licher beschrieben. In diesem Fall können die Gesichtskan didatfenster nicht-überlappend oder überlappend sein. Die Filter untersuchen jedes Gesichtskandidatfenster in dem di gitalen Bild bei mehreren Maßstäben, wobei sie nach Stellen suchen, die ein Gesicht enthalten könnten (z. B. indem sie nach Augenpositionen suchen). Der Gesichtsdetektor 18 ver wendet daraufhin eine Entscheidungseinheit, um die Filter ausgaben zu kombinieren. Die Entscheidungseinheit wird ver wendet, um Erfassungen aus einzelnen Filtern zusammenzu bringen und überlappende Erfassungen zu eliminieren. Folg lich erfaßt der Gesichtsdetektor 18 Gesichter. Ein Verwen den der auf einem neuralen Netzwerk basierenden Gesichtser fassungstechnologie für den Gesichtsdetektor 18 macht die Gesichtserfassung robust, relativ schnell und beim Erfassen der meisten Gesichter erfolgreich. Zudem ermöglicht es dem Gesichtsdetektor 18, unterschiedliche Arten von Gesichtern mit unterschiedlichen Posen und Beleuchtungen zu erfassen. Fig. 2 und 3 zeigen die Architektur und Funktionalität des Gesichtsdetektors 18 bei dem Ausführungsbeispiel, bei dem der Gesichtsdetektor 18 die auf einem neuralen Netzwerk ba sierende Gesichtserfassungstechnologie verwendet.

Wie durch Block 102 der Fig. 2 gezeigt ist, dreht der Ge sichtsdetektor 18 das durch die Bilddaten 64 definierte di gitale Bild, um eine Anzahl von gedrehten Bildern des digi talen Bildes zu erzeugen. Der Zweck des Drehens des digita len Bilds besteht darin, eine Erfassung von Gesichtern bei diversen Ausrichtungen in dem digitalen Bild zu ermögli chen. Die Anzahl von gedrehten Bildern ist für die vorlie gende Erfindung nicht kritisch und kann je nach Wunsch va riieren.

Bei Block 103 wählt der Gesichtsdetektor 18 eines der ge drehten Bilder des digitalen Bildes aus und skaliert das ausgewählte Bild in eine Anzahl von Bildern unterschiedli cher Größen. Bei Block 104 wählt der Gesichtsdetektor 18 ein skaliertes Bild aus und erfaßt daraufhin, ob sich in dem skalierten Bild Gesichter befinden. Bei Block 105 be stimmt der Gesichtsdetektor 18, ob noch mehr skalierte Bil der vorliegen, die in Block 103 nicht ausgewählt wurden. Wenn solche skalierten Bilder vorliegen, wird Block 104 wiederholt. Wenn keine solchen skalierten Bilder vorliegen, wird Block 106 durchgeführt, um zu bestimmen, ob weitere gedrehte Bilder vorliegen, die nicht für eine Gesichtser fassung skaliert wurden. Lautet die Antwort ja, dann kehrt der Gesichtsdetektor 18 zu Block 103 zurück. Lautet die Antwort nein, dann beendet der Gesichtsdetektor 18 das Ver arbeiten der Bilddaten 64, die gerade analysiert werden.

Unter Bezugnahme auf Fig. 3 unterteilt der Gesichtsdetektor 18, um Block 104 durchzuführen, zunächst das ausgewählte skalierte Bild in eine Anzahl von Gesichtskandidatfenstern, wie durch Block 122 gezeigt ist. Wie oben beschrieben wur de, können die Gesichtskandidatfenster überlappend oder nicht-überlappend sein. Bei Block 123 erfaßt der Gesichts detektor 18, ob ein Gesichtskandidatfenster ein Gesicht enthält. Wenn bestimmt wird, daß bei Block 124 ein Gesicht erfaßt wird, wird Block 125 durchgeführt, wobei an diesem Punkt der Bildverbesserer 21 aufgerufen wird, um ein oder mehrere Gesichtsmerkmale des erfaßten Gesichts gemäß der hierin beschriebenen Techniken zu verbessern. Wenn bei Block 124 bestimmt wird, daß das Gesichtskandidatfenster kein Gesicht enthält, wird Block 125 übersprungen. Wenn bei Block 126 weitere nicht erfaßte Gesichtskandidatfenster vorliegen, kehrt der Gesichtsdetektor 18 zu Block 123 zu rück. Andernfalls geht der Gesichtsdetektor 18 zu Block 105 der Fig. 2 weiter.

Man sollte beachten, daß der Gesichtsverbesserer 21 konfi guriert sein kann, um bestimmte Gesichtsmerkmale für jeden Satz von Bilddaten 64, die durch den Gesichtsdetektor 18 und Bildverbesserer 21 verarbeitet werden, zu verbessern. Diese Verbesserung kann für den Benutzer transparent sein. Beispielsweise kann der Bildverbesserer 64 konfiguriert sein, die Farbwerte der Daten, die die Wangen definieren, in jedem durch den Gesichtsdetektor 18 erfaßten Gesicht un scharf zu machen.

Alternativ dazu kann es dem Benutzer des Systems 10 ermög licht werden, zu steuern, welche Gesichtsmerkmale verbes sert werden. Beispielsweise kann dem Benutzer über die Aus gabevorrichtung 42 (Fig. 1) eine Liste von Optionen ange zeigt werden, beispielsweise eine Option für das Unscharf machen von Falten, eine Option für das Unscharfmachen von Wangen, usw. Der Benutzer kann daraufhin über die Eingabe vorrichtung 39 auswählen, welche der Optionen der Benutzer implementiert haben möchte. Beispielsweise kann der Benut zer die Option für das Unscharfmachen von Wangen auswählen. Auf der Basis der Auswahl des Benutzers kann der Bildver besserer 21 konfiguriert sein, den Teil der Bilddaten 64 zu lokalisieren, der die Wangen einer Person definiert, und die Farbwerte in diesem Teil der Bilddaten 64 unscharf zu machen. Ohne eine Eingabe, die angibt, daß der Benutzer die Wangen gerne unscharf hätte, kann der Bildverbesserer 21 konfiguriert sein, ein Unscharfmachen der Daten, die die Wangen definieren, zu unterlassen. Bei einem solchen Aus führungsbeispiel kann der Benutzer die Art von Bildverbes serung, die durch den Bildverbesserer 21 durchgeführt wird, steuern, jedoch werden die Erfassung der Daten, die das be stimmte Merkmal oder die bestimmte Region, das bzw. die zu verbessern ist, und die Verbesserung dieser Daten automa tisch ohne ein Eingreifen eines Benutzers durchgeführt.

Die bevorzugte Verwendung und der bevorzugte Betrieb des Bildverbesserungssystems 10 und einer damit verbundenen Me thodologie werden im folgenden unter Bezugnahme auf Fig. 4 beschrieben. Zu Veranschaulichungszwecken nehme man an, daß das Bildverbesserungssystem 10 konfiguriert ist, um Ge sichtsmakel (z. B. Pickel), die auf einem Bild des Gesichts einer Person zu sehen sind, automatisch zu erfassen und zu kompensieren. Man sollte jedoch beachten, daß es möglich ist, daß das System 10 konfiguriert ist, um andere Arten von Gesichtsmerkmalen zu erfassen und das Bild einer Person gemäß anderer Arten von Methodologien zu verbessern.

Im Block 152 wird ein Satz von Bilddaten 64, der ein Bild einer Person definiert, in einem Speicher 24 gespeichert. Der Datensatz 64 kann die Daten sein, die durch die Bild aufnahmevorrichtung 55 beim Aufnehmen eines Bildes einer Szene erzeugt wurden. Nachdem der Satz von Bilddaten 64 in dem Block 152 empfangen wird, analysiert der Gesichtsdetek tor 18 den Satz von Bilddaten 64, um einen Teil der Bildda ten 64, die ein Bild des Gesichts einer Person definieren, zu erfassen, wie durch Block 155 gezeigt ist. Nachdem die das Gesicht einer Person definierenden Daten erfaßt sind, analysiert der Bildverbesserer 21 die Gesichtsdaten, um die Daten, die ein Gesichtsmakel definieren, automatisch zu lo kalisieren, wie durch Block 158 und 161 gezeigt ist. Eine Lokalisierung der den Gesichtsmakel definierenden Daten kann über eine Vielzahl von Techniken bewerkstelligt wer den, einschließlich des Vergleichs von Pixelfarben in den Gesichtsdaten.

Nachdem die den Gesichtsmakel definierenden Daten lokali siert wurden, manipuliert der Bildverbesserer 21 automa tisch die Gesichtsmakeldaten, um das Erscheinungsbild des durch die Gesichtsdaten definierten Bildes zu verbessern, wie durch Block 165 und 168 gezeigt ist. Beispielsweise kann der Bildverbesserer 21 die Pixelfarbwerte der Ge sichtsmakeldaten zu Farben abtönen, die ähnlich den Pixel farbwerten der anderen Teile von Bilddaten sind. Somit wird der durch die Gesichtsmakeldaten definierte Gesichtsmakel kompensiert. In dieser Hinsicht, wenn ein durch die Ge sichtsdaten definiertes Bild angezeigt wird, sollte der durch die Gesichtsmakeldaten definierte Gesichtsmakel auf grund der durch den Bildverbesserer 21 durchgeführten auto matischen Verbesserung relativ schwer zu erfassen sein. Folglich sollte das Erscheinungsbild des Bildes ansprechen der anzusehen sein.

Claims

1. Automatisches Bildverbesserungssystem (10), das fol gende Merkmale aufweist:
einen Speicher (24) zum Speichern von digitalen Daten, die ein graphisches Bild definieren;
einen Gesichtsdetektor (18), der konfiguriert ist, um die digitalen Daten (64) zu analysieren und um Ge sichtsdaten in den digitalen Daten (64), die in dem Speicher (24) gespeichert sind, automatisch zu identi fizieren; und
einen Bildverbesserer (21), der konfiguriert ist, um die durch den Gesichtsdetektor (18) identifizierten Gesichtsdaten zu analysieren und um einen Teil der Ge sichtsdaten, der ein bestimmtes Gesichtsmerkmal defi nieren, automatisch zu identifizieren, wobei der Ge sichtsverbesserer (21) ferner konfiguriert ist, um den Teil automatisch zu manipulieren, um ein Erscheinungs bild des Gesichtsmerkmals in dem graphischen Bild zu verbessern.

2. System (10) gemäß Anspruch 1, das ferner eine Eingabe vorrichtung (39) aufweist, die konfiguriert ist, um eine Eingabe zu empfangen, wobei der Bildverbesserer (21) ferner konfiguriert ist, um das Gesichtsmerkmal auf der Basis der Eingabe auszuwählen.

3. System (10) gemäß Anspruch 1 oder 2, beidem der Bild verbesserer (21) die Teile durch Vermischen von Farb werten, die diesem Teil zugeordnet sind, manipuliert.

4. System (10) gemäß einem der Ansprüche 1 bis 3, bei dem der Bildverbesserer (21) durch ein Manipulieren des Teils das Erscheinungsbild des Gesichtsmerkmals un scharf macht.

5. System (10) gemäß einem der Ansprüche 1 bis 4, bei dem der Bildverbesserer (21) durch ein Manipulieren des Teils das Erscheinungsbild des Gesichtsmerkmals scharf macht.

6. System (10) gemäß einem der Ansprüche 1 bis 5, bei dem der Bildverbesserer (21) durch ein Manipulieren des Teils eine Farbe des Gesichtsmerkmals verändert.

7. System (10) gemäß einem der Ansprüche 1 bis 6, das ei ne Bildaufnahmevorrichtung (55) umfaßt, die konfigu riert ist, um ein Bild einer Szene zu empfangen und um die digitalen Daten (64) auf der Basis des durch die Bildaufnahmevorrichtung empfangenen Bildes zu erzeu gen.

8. System (10) gemäß Anspruch 7, bei dem die Bildaufnah mevorrichtung (55) eine Linse (57) zum Empfangen des Bildes und einen Bildwandler (61) zum Erzeugen der di gitalen Daten (64) auf der Basis des Bildes umfaßt.

9. Automatisches Bildverbesserungssystem (10), das fol gende Merkmale aufweist:
eine Einrichtung zum Speichern von digitalen Daten (64), die ein graphisches Bild definieren;
eine Gesichtserfassungseinrichtung zum Analysieren der digitalen Daten und zum automatischen Identifizieren von Gesichtsdaten in den in der Speichereinrichtung gespeicherten digitalen Daten; und
eine Bildverbesserungseinrichtung zum Analysieren der durch die Gesichtserfassungseinrichtung identifizier ten Gesichtsdaten, zum automatischen Identifizieren eines Teils der Gesichtsdaten, der ein bestimmtes Ge sichtsmerkmal definiert, und zum automatischen Manipu lieren des Teils, um ein Erscheinungsbild des Ge sichtsmerkmals in dem graphischen Bild zu verbessern.

10. Verfahren zum Verbessern graphischer Bilder, das fol gende Schritte aufweist:
Empfangen von digitalen Daten (64), die ein graphi sches Bild definieren;
automatisches Erfassen von Gesichtsdaten in den digi talen Daten;
Durchsuchen der Gesichtsdaten nach Daten, die ein be stimmtes Gesichtsmerkmal definieren;
automatisches Identifizieren, auf der Basis des Such schritts, eines Satzes von Daten, der das bestimmte Gesichtsmerkmal definiert; und
Manipulieren des Datensatzes als Antwort auf den Iden tifizierungsschritt.

11. Verfahren gemäß Anspruch 10, bei dem der Manipulie rungsschritt den Schritt eines Vermischens von Farb werten in dem Satz von Daten mit anderen Farbwerten in den Gesichtsdaten umfaßt.

12. Verfahren gemäß Anspruch 10 oder 11, das ferner fol gende Schritte aufweist:
Empfangen einer Eingabe; und
Auswählen des bestimmten Gesichtsmerkmals auf der Ba sis der Eingabe,
wobei der Suchschritt auf dem Auswählschritt basiert.

13. Verfahren gemäß einem der Ansprüche 10 bis 12, bei dem der Manipulierungsschritt ein Unscharfmachen eines Er scheinungsbildes des bestimmten Gesichtsmerkmals, wenn das bestimmte Gesichtsmerkmal angezeigt wird, bewirkt.

14. Verfahren gemäß einem der Ansprüche 10 bis 13, bei dem der Manipulierungsschritt ein Scharfmachen eines Er scheinungsbildes des bestimmten Gesichtsmerkmals, wenn das bestimmte Gesichtsmerkmal angezeigt wird, bewirkt.

15. Verfahren gemäß einem der Ansprüche 10 bis 14, bei dem der Manipulierungsschritt eine Farbe des bestimmten Gesichtsmerkmals, wenn das bestimmte Gesichtsmerkmal angezeigt wird, beeinflußt.

16. Verfahren gemäß einem der Ansprüche 10 bis 15, das ferner folgende Schritte aufweist:
Aufnehmen eines Bildes einer Szene; und
Definieren der digitalen Daten auf der Basis des Auf nahmeschrittes.

17. Verfahren gemäß Anspruch 16, bei dem der Aufnahme schritt folgende Schritte umfaßt:
Empfangen von Licht über eine Linse; und
Umwandeln des Lichts in die in dem Empfangsschritt empfangenen digitalen Daten.