DE69428239T2

DE69428239T2 - Verfahren und Vorrichtung zum Extrahieren bestimmter Gebiete

Info

Publication number: DE69428239T2
Application number: DE69428239T
Authority: DE
Inventors: Shigeo Yoshida
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1993-07-19
Filing date: 1994-07-05
Publication date: 2002-05-02
Anticipated expiration: 2014-07-06
Also published as: US20020126908A1; EP0635981A1; US6332041B1; EP0635981B1; DE69428239D1; JP3017384B2; US6584222B2; JPH0787510A; US5748776A

Description

Die Erfindung betrifft ein Verfahren und eine Schaltung zum Extrahieren von Merkmalsbereichen, spezieller ein Verfahren und eine Schaltung zum Extrahieren von Merkmalsbereichen, die dazu in der Lage sind, einen Merkmalsbereich eines Bilds zu extrahieren, um das Bild entsprechend seinem Merkmal in einem Vorverarbeitungsabschnitt einer Bildcodiervorrichtung zu verarbeiten, wobei sie dazu vorgesehen sind, z. B. in Videotelefonsystemen, Videokonferenzsystemen usw. verwendet zu werden.
Bei einer Vorrichtung zum Codieren und Übertragen bewegter Bilder für ein Videotelefon können der Bildinformation nicht genug Bits zugewiesen werden, da jede Übertragungsleitung eine begrenzte Kapazität zum gleichzeitigen Übertragen einer Anzahl von Bits aufweist. Demgemäß kann ein decodiertes Bild beeinträchtigte Bildqualität mit fliegenförmiger Verzerrung, Blockverzerrung und dergleichen aufweisen. Andererseits beinhalten die meisten zu übertragenden Bilder einen wichtigen Teil und weniger wichtige Teile. Auf Grundlage dieser Tatsache wird ein Verfahren vorgeschlagen, das die subjektive Beeinträchtigung der Bildqualität dadurch verringert, dass der wichtige Teil von allen schlechten Beeinträchtigungseffekten freigehalten wird.
Zum Beispiel ist bei Systemen wie einem Videotelefonsystem das Bild des Gesichtsbereichs so wichtig, dass derartige Systeme darauf gerichtet wurden, den Gesichtsbereich zu extrahieren, wobei die Menge zu übertragender Information bevorzugt zugewiesen wird und die Bildqualität des Gesichtsbereichs besser gemacht wird, was auf eine Verbesserung der subjektiven Bildqualität zielt.
Stand der Technik, der derartiges zum Inhalt hat, ist in der Veröffentlichung "Color motion picture codxng device feature by preferentially processing a face image" (Hideyuki Ueno, Image Information, Vol. 24, März 1992, 5. 29-35) offenbart. Das in dieser Veröffentlichung beschriebene bekannte Verfahren zum Extrahieren eines Gesichtsbereichs wird wie folgt erläutert.
Beim Stand der Technik wird als Erstes der Unterschied zwischen zwei benachbarten Vollbildern oder Rahmen des eingegebenen bewegten Bilds bestimmt, um das Zwischenrahmen-Differenzbild zu erhalten, und dann wird dieses in rechteckige Bereiche unterteilt. In den jeweiligen Rechteckbereichen erzeugt das Verfahren ein Histogramm auf einer Achse H, das die Anzahl der Pixel repräsentiert, für die das Zwischenrahmen-Differenzsignal größer als ein bestimmter Schwellenwert ist. Das Verfahren rastert das Histogramm von links und rechts her ab, wobei es seine Werte mit einem bestimmten Schwellenwert "th" vergleicht, um das linke und rechte Ende des bewegten Bereichs zu erkennen.
Der Bildschirm wird vom oberen linken Ende her durchgerastert, bis ein erster Bewegungsbereich aufgefunden wird. Dieser Bewegungsbereich verfügt über eine Koordinate auf einer Achse V, die eine Position am oberen Ende des Kopfs einer Person repräsentiert. Der Bildschirm wird dann in einem bestimmten Bereich des tieferen Bilds von links und rechts her abgerastert, um das linke und rechte Ende des Bewegungsbereichs zu ermitteln. Dann repräsentieren die äußersten Positionen des Bewegungsbereichs auf der Achse H die Koordinaten des linken und rechten Endes des Gesichts. Die Gesichtslänge wird dadurch ermittelt, dass die Gesichtsbreite mit einem vorbestimmten Koeffizienten "a" multipliziert wird. Gemäß dem Stand der Technik wird der so ermittelte Bildbereich als Gesichtsbereich angesehen.
Wie oben angegeben, schätzt das herkömmliche Verfahren zum Extrahieren eines Merkmalsbereichs einen Gesichtsbereich aus dem Zwischenrahmen-Differenzsignal ab, das das Ausmaß einer Bewegung repräsentiert. Demgemäß kann, wenn das Bild irgendeine bewegtes Objekt als den Gesichtsbereich enthält, das bekannte Verfahren das Objekt fehlerhaft als Gesichtsteil annehmen. Ferner kann das Verfahren einen Gesichtsbereich nur grob in Form eines Rechtecks extrahieren, wobei diese Kontur hervorgehoben wird, wenn andere Bereiche als ein Gesicht adaptiv durch ein Tiefpassfilter verarbeitet werden. Dies kann die subjektive Bildqualität beeinträchtigen.
IEEE Transactions on Consumer Electronics, Vol. 37, No. 3, August 1991, New York, NY, USA, Seiten 424-431, Yamamoto et al. 'Automatic Viewing Tracing Method for Communication Equipment' betrifft ein automatisches Nachfahrverfahren für einen Gesichtsfeldbereich für eine Kommunikationseinrichtung. Differenzsignale zwischen eingegebenen Bildsignalrahmen werden dazu verwendet, Bewegungen eines menschlichen Körpers zu erkennen und zu entscheiden, welcher Teil eines Rahmens auszuschneiden ist, damit das Bild der Person in der Mitte des Schirms angezeigt wird.
US-A-4 991 223 offenbart eine Vorrichtung zu Erkennen von Bildmerkmalen unter Verwendung von Farbelementen. Beim speziellen Ausführungsbeispiel wird eine Packung Pillen abgetastet und hinsichtlich einer Änderung von Farbelementen überwacht, die einen Übergang von der Hintergrundfarbe zu einer Pillenfarbe anzeigen. Wenn einmal die Kante eines Merkmals durch Erkennen einer vorbestimmten Farbelementkombination erkannt ist, werden die Bildelemente zwischen dieser Kante und der folgenden Kante des Merkmals als demselben Wert zugehörig angenommen.
JP 5-60616 offenbart ein Verfahren zum Extrahieren eines Merkmalsbereichs aus einem Farbbild, bei dem der Farbbereich durch Signale definiert ist, die mittels eines speziellen Schwellenwerts digitalisiert werden. Das Verfahren geht davon aus, dass irgendein Merkmalsbereich eine spezielle Farbe innerhalb eines spezifizierten Farbtonbereichs aufweist.

ZUSAMMENFASSUNG DER ERFINDUNG

Es ist wünschenswert, ein Verfahren und eine Schaltung zum Extrahieren eines Merkmalsbereichs zu schaffen, mit denen ein Merkmalsbereich entlang seeiner Kontur genau extrahiert werden kann, ohne dass irgendein anderes bewegtes Objekt als das mit dem Merkmal fehlerhaft extrahiert wird, wodurch eine adaptive Verarbeitung von anderen Teilen als dem Merkmalsbereich möglich ist, ohne dass die Bildqualität beeinträchtigt wird, und mit denen ein Basichtsbereich unter Verwendung von Farbdifferenzkomponenten unabhängig von einer Bewegung und dem Ort einer Person oder einer Anzahl von Personen extrahiert werden kann, wodurch die subjektive Bildqualität verbessert wird.
Es ist auch wünschenswert, ein Verfahren zum Extrahieren eines Merkmalsbereichs zu schaffen, bei dem ein kleiner Farbdifferenzbereich mit einer Merkmals-Farbdifferenzkomponente eines Merkmalsbereichs innerhalb eines Farbdifferenz-Koordinatensystems liegt, das durch zwei Achsen gebildet ist, die zwei jeweilige Farbdifferenzsignale definieren, und ein Bildbereich mit einer Farbdifferenzkomponente im oben genannten Bereich mit kleiner Farbdifferenz als Merkmalsbereich extrahiert wird, wobei der Bereich mit kleiner Farbdifferenz jede gewünschte Form einnehmen kann, um dadurch die Möglichkeit zu beseitigen, dass irgendein bewegtes Objekt außer dem Merkmalsbereich fehlerhaft extrahiert werden kann; wobei der Merkmalsbereich entlang seiner Konturlinie genau extrahiert werden kann, um das Bild natürlicher zu machen, und damit es subjektiv verbesserte Qualität aufweist und daher einer adaptiven Verarbeitung anderer Bereiche mit einem Tiefpassfilter standhalten kann; und wobei ferner nur Farbdifferenzsignale zur Extraktion eines Merkmalsbereichs verwendet werden, um ein fehlerhaftes Extrahieren zu verwenden, wenn der Helligkeitspegel des Merkmalsbereichs räumlich und zeitlich variiert.
Es ist auch wünschenswert, ein Verfahren zum Extrahieren eines Merkmalsbereichs zu schaffen, bei dem ein Bereich mit kleiner Farbdifferenz ein gemeinsamer Bereich zweier Farbdifferenzsignale ist, die unter Verwendung spezieller Schwellenwerte digitalisiert werden, wobei daraus auf einfache Weise ein Merkmalsbereich extrahiert wird.
Es ist auch wünschenswert, ein Verfahren zum Extrahieren eines Merkmalsbereichs zu schaffen, durch das ein Merkmalsbereich aus mehreren Bereichen mit kleiner Farbdifferenz extrahiert wird, um die Bildqualität weiter zu verbessern.
Es ist auch wünschenswert, ein Verfahren zum Extrahieren eines Merkmalsbereichs zu schaffen, durch das ein Merkmalsbereich entlang seiner Konturlinie gemeinsam mit einem Ausfallbereich extrahiert wird, der innerhalb der Konturlinie des Merkmalsbereichs eingeschlossen ist, um die Bildqualität weiter zu verbessern.
Es ist auch wünschenswert, ein Verfahren zum Extrahieren eines Merkmalsbereichs zu schaffen, durch das ein Merkmalsbereich aus einem gemeinsamen Bereich zweier Farbdifferenzsignale extrahiert wird, die unter Verwendung spezieller Schwellenwerte digitalisiert werden, und Ausfallbereiche innerhalb des Merkmalsbereichs unter Verwendung von Erfassungsmustern, die abstandsmäßig gewichtet sind, ausgefüllt werden, um die Bildqualität weiter zu verbessern.
Es ist auch wünschenswert, ein Verfahren zum Extrahieren eines Merkmalsbereich zu schaffen, bei dem beim Extrahieren eines Merkmalsbereich unter Verwendung einer Einrichtung zum Extrahieren eines Merkmalsbereichs und einer Speichereinrichtung zum Speichern eines Merkmalsbereich-Extrahiersignals ein Kriterium eine vorgegebene Hysteresecharakteristik ist, die davon abhängt, ob ein von L Rahmen (L ist eine positive ganze Zahl) unterstütztes Pixel und/oder sein Nachbarpixel einem Merkmalsbereich entspricht oder nicht, was es ermöglicht, wirkungsvoll zu verhindern, dass der Merkmalsbereich mit Flackern extrahiert wird, um dadurch die subjektive Bildqualität weiter zu verbessern.
Es ist auch wünschenswert, ein Verfahren zum Extrahieren eines Merkmalsbereichs zu schaffen, durch das ein Merkmalsbereich unter Verwendung seiner Eigenschaften extrahiert wird, wobei Merkmalsbereich-Extrahiersignale mehrerer Rahmen aus einem Speicher für M Rahmen (M ist eine positive ganze Zahl) zum Extrahieren eines gewichteten Merkmalsbereichs gewichtet werden, um die Bildqualität weiter zu verbessern.
Es ist auch wünschenswert, eine Schaltung zum Extrahieren eines Merkmalsbereichs zu schaffen, die eine Einrichtung zum Extrahieren eines Hauptteils eines Merkmalsbereichs und zum Ausfüllen eines Ausfallbereichs aufweist, die einen Merkmalsbereich genau entlang dessen Konturlinie extrahieren kann, wodurch eine adaptive Verarbeitung eines anderen Bildbereichs als desjenigen mit dem Merkmal durch ein Tiefpassfilter frei von irgendeiner Bildbeeinträchtigung ausgeführt werden kann.
Ein Verfahren zum Extrahieren eines Merkmalsbereichs gemäß einem Ausführungsbeispiel der Erfindung kann einen Merkmalsbereich unter Verwendung eines Bereichs mit kleiner Farbdifferenz mit einer Merkmals-Farbdifferenzkomponente eines Merkmalsbereichs innerhalb eines Farbdifferenz-Koordinatensystems mit zwei Achsen, die zwei jeweilige Farbidifferenzsignale repräsentieren, extrahieren, wobei die Möglichkeit beseitigt ist, dass irgendein anderes bewegtes Objekt als der Merkmalsbereich fehlerhaft extrahiert wird. Ferner ist das Verfahren dazu in der Lage, einen Merkmalsbereich entlang seiner Kontur genau zu extrahieren, was es erlaubt, durch adaptive Verarbeitung mit einem Tiefpassfilter die subjektive Bildqualität zu verbessern, ohne dass die Kontur eines extrahierten Bereichs hervorgehoben wird. Zwei Farbdifferenzsignale werden unter Verwendung spezieller Schwellenwerte digitalisiert, um einen gemeinsamen Bereich zu erzeugen, und daraus wird ein Merkmalsbereich extrahiert, ohne irgendein anderes bewegtes Objekt als den Merkmalsbereich fehlerhaft zu extrahieren.
Gemäß einer Ausführungsform der Erfindung kann ein Merkmalsbereich aus einer Anzahl von Bereichen kleiner Farbdifferenz einschließlich einer Merkmals-Farbdifferenzkomponente eines Merkmalsbereichs extrahiert werden, und es kann selbst dann kein anderer Bereich als der mit dem Merkmal extrahiert werden, wenn die Merkmals-Farbdifferenzkomponenten innerhalb eines Farbdifferenz-Koordinatensystems stark streuen, das zwei Achsen aufweist, die zwei Farbdifferenzsignale repräsentieren.
Außerdem ist es möglich, da ein Merkmalsbereich entlang seiner Konturlinie korrekt extrahiert werden kann, irgendeine adaptive Verarbeitung wie eine Vorfilterverarbeitung anzuwenden, wobei es sich um eine durch ein extrahiertes Signal gesteuerte Tiefpassfilter-Verarbeitung oder eine Quantisierungssteuerung zum Vergröbern der Schrittgröße der Quantisierung eines Hintergrundbereichs handelt, um die subjektive Bildqualität zu verbessern, ohne dass die Konturlinie des extrahierten Merkmalsbereichs in unnatürlicher Weise hervorgehoben würde.
Durch die Erfindung ist ein Verfahren zum Extrahieren eines Merkmalsbereichs aus einem Farbbild geschaffen, wie es im Anspruch 1 dargelegt ist. Durch die Erfindung ist auch eine Schaltung zum Extrahieren eines Merkmalsbereichs geschaffen, wie sie im Anspruch 10 dargelegt ist.
Durch Ausführungsformen der Erfindung ist Folgendes geschaffen:
(1) ein Verfahren zum Extrahieren eines Merkmalsbereichs, bei dem ein Bereich kleiner Farbdifferenzen einschließlich einer Merkmals-Farbdifferenzkomponente eines Merkmalsbereichs innerhalb eines Farbdifferenz-Koordinatensystems, das durch zwei Achsen zweier Farbdifferenzsignale definiert ist, bestimmt wird, und bei dem ein Bildbereich mit einer Farbdifferenzkomponente innerhalb eines oben genannten Bereichs mit kleiner Farbdifferenz als Merkmalsbereich extrahiert wird;
(2) eine Einrichtung, die dafür sorgt, dass ein Bereich mit kleiner Farbdifferenz ein allgemeiner Bereich mit zwei Farbdifferenzsignalen wird, die mittels bestimmter Schwellenwerte digitalisiert wurden, und die daraus einen Merkmalsbereich extrahieren;
(3) eine Einrichtung zum Extrahieren eines Merkmalsbereichs aus mehreren Bereichen mit kleiner Farbdifferenz (zusätzlich zum Punkt (1) oder (2)); oder
(4) eine Einrichtung zum Extrahieren eines Merkmalsbereichs entlang seiner Konturlinie gemeinsam mit einem zwischen der Konturlinie des Einfallsbereichs eingebetteten Ausfallsbereich als Merkmalsbereich; oder
(5) eine Einrichtung zum Digitalisieren zweier Farbdifferenzsignale eines Bilds mittels bestimmter Schwellenwerte, zum Extrahieren eines Merkmalsbereichs aus dem gemeinsamen Bereich der digitalisierten Farbdifferenzsignale und zum Erfassen von Mustern zum Auffüllen eines leeren Bereichs, die abhängig vom Abstand geeignet gewichtet werden, um den Ausfallsbereich auszufüllen; oder
(6) eine Einrichtung zum Versehen eines Kriteriums mit einer Hysteresecharakteristik abhängig davon, ob ein durch L Rahmen (L ist eine positive ganze Zahl) und/oder einen benachbarten unterstütztes Pixel einen Merkmalsbereich betrifft oder nicht, und die dies verwendet, wenn ein Merkmalsbereich unter Verwendung einer Einrichtung zum Extrahieren des Merkmalsbereichs und einer Speichereinrichtung zum Speichern eines Merkmalsbereichs- Extrahiersignals extrahiert wird; oder
(7) eine Einrichtung zum Extrahieren eines Merkmalsbereichs unter Verwendung dessen Eigenschaft, zum Erzeugen von Ausgangssignalen betreffend die Merkmalsbereichsentnahme von Rahmen aus einem Speicher für M Rahmen (M ist eine positive ganze Zahl), und zum Gewichten der Rahmenmerkmalsbereich- Extrahiersignale, um einen gewichteten Merkmalsbereich zu extrahieren; oder
(8) eine Merkmalsbereich-Extrahierschaltung mit einer Merkmalsbereichhauptabschnitt-Extrahierschaltung zum Extrahieren eines Bildbereichs mit einer ersten Merkmals-Farbdifferenzkomponente eines Merkmalsbereichs und einer Leerraum-Ausfüllschaltung zum Ausfüllen eines Auswahlbereichs, der innerhalb des Merkmalsbereichs eingeschlossen ist und der eine andere Farbdifferenzkomponente als die gemäß dem Merkmals aufweist; und ferner
(9) eine Einrichtung zum Aufnehmen einer Merkmalsbereichshauptabschnitt- Extrahierschaltung mit einer Vergleichsschaltung zum Vergleichen zweier Farbdifferenzsignale mit dem oberen Grenzschwellenwert und dem unteren Grenzschwellenwert sowie einer UND-Torschaltung zum Bestimmen des logischen Produktes der Ausgangssignale der Vergleichsschaltung und zum Extrahieren eines gemeinsamen Bereichs; und ferner
(10) eine Einrichtung zum Aufnehmen einer anderen Merkmalsbereichshauptabschnitt-Extrahierschaltung mit einer ersten Vergleichsschaltung zum VergLeichen zweier Farbdifferenzsignale mit einem ersten oberen Grenzschwellenwert und einem ersten unteren Grenzschwellenwert, einer ersten UND-Torschaltung zum Bestimmen des logischen Produkts von Ausgangssignalen der ersten Vergleichsschaltung und zum Extrahieren eines gemeinsamen Bereichs, einer zweiten Vergleichsschaltung zum Vergleichen zweier Farbdifferenzsignale mit einem zweiten oberen Grenzschwellenwert und einem zweiten unteren Grenzschwellenwert, einer zweiten UND-Torschaltung zum Bestimmen des logischen Produkts von Ausgangssignalen der zweiten Vergleichsschaltung und zum Extrahieren eines gemeinsamen Bereichs sowie einer ODER-Torschaltung zum Bestimmen der logischen Summe des Ausgangssignals der ersten Vergleichsschaltung und des Ausgangssignals der zweiten Vergleichsschaltung und zum Extrahieren von auf mehrere Bereiche verteilten Merkmalsbereichen.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1A, 1B und 1C zeigen Diagramme zum Erläutern einer Zwischenrahmendifferenz gemäß dem Stand der Technik;
Fig. 2A und 2B sind Diagramme zum Erläutern eines herkömmlichen Verfahrens zum Auftragen eines Histogramms;
Fig. 3A, 3B und 3C sind Diagramme zum Erläutern einer herkömmlichen Gesichtsbereichentnahme;
Fig. 4 ist ein Blockdiagramm zum Erläutern einer Merkmalsbereich-Extrahierschaltung bei einem Ausführungsbeispiel der Erfindung;
Fig. 5 ist ein Diagramm (1) zum Erläutern der Verteilung der Hautfarbe einer Person;
Fig. 6 ist ein Diagramm (2) zum Erläutern der Verteilung der Hautfarbe einer Person;
Fig. 7 ist ein Diagramm (3) zum Erläutern der Verteilung der Hautfarbe einer Person;
Fig. 8 ist ein Diagramm, das ein Beispiel einer Schaltung zum Extrahieren des Hauptabschnitts eines Merkmalsbereichs gemäß Fig. 4 zeigt;
Fig. 9 ist ein Diagramm, das ein anderes Beispiel einer Schaltung zum Extrahieren des Hauptabschnitts eines Merkmalsbereichs gemäß Fig. 4 zeigt;
Fig. 10 ist ein Diagramm, das ein weiteres Beispiel einer Schaltung zum Extrahieren des Hauptabschnitts eines Merkmalsbereichs gemäß Fig. 4 zeigt;
Fig. 11A, 11B, 11C und 11D zeigen ein Kleinbereich-Beseitigungserfassungsmuster (1) gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 12A, 12B, 12C und 12D zeigen Erfassungsmuster (1) für Leerraumausfüllung gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 13A, 13B, 13C und 13D zeigen Erfassungsmuster (2) für Leerraumausfüllung gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 14A, 14B, 14C und 14D zeigen Erfassungsmuster (3) für Leerraumausfüllung gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 15A, 15B, 15C und 15D zeigen Erfassungsmuster (4) für Leerraumausfüllung gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 16 zeigt ein anderes Beispiel einer Merkmalsbereich-Extrahierschaltung gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 17A, 17B, 17C und 17D zeigen Erfassungsmuster (2) zum Beseitigen eines kleinen Bereichs gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 18 zeigen ein Erfassungsmuster (3) zum Beseitigen eines kleinen Bereichs gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 19A, 19B, 19C und 19D zeigen Muster (4) zum Erkennen eines Gesichtsbereichs in einem vorigen Rahmen zum Beseitigen eines kleinen Bereichs gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 20 zeigt ein anderes Beispiel einer Merkmalsbereich-Extrahierschaltung gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 21 zeigt Gewichtungskoeffizienten gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 22 zeigt Koeffizienten eines Vorfilters gemäß einem Ausführungsbeispiel der Erfindung; und
Fig. 23A und 23B zeigen Variable einer adaptiven Steuerung gemäß einem Ausführungsbeispiel der Erfindung.

BEVORZUGTES AUSFÜHRUNGSBEISPIEL DER ERFINDUNG

Die Fig. 1A bis 1C sind Diagramme zum Erläutern eines herkömmlichen Zwischenrahmendifferenz-Signals, die Fig. 2A und 2B sind Diagramme zum Erläutern eines herkömmlichen Verfahrens zum Auftragen eines Histogramms und die Fig. 3A bis 3C sind Diagramme zum Erläutern eines herkömmlichen Gesichtsbereich-Extrahierverfahrens.
Beim Stand der Technik wird als Erstes das Differenzsignal zwischen zwei benachbarten Rahmen (in Fig. 1A dargestellter Rahmen N und in Fig. 1B dargestellter Rahmen N+1) des eingegebenen bewegten Bilds ermittelt, um das in Fig. 1C dargestellte Zwischenrahmendifferenz-Bild zu erhalten, und dann wird dieses in Rechteckbereiche unterteilt, wie in Fig. 2A dargestellt. In den jeweiligen Rechteckbereichen erzeugt das Verfahren ein Histogramm, das die Anzahl der Pixel, in denen das Zwischenrahmendifferenz-Signal größer als ein bestimmter Schwellenwert ist, auf einer Achse H repräsentiert, wie in Fig. 2B dargestellt. Bei diesem Verfahren wird das Histogramm von links und rechts her durchgerastert, wobei seine Werte mit einem bestimmten Schwellenwert "th" verglichen werden, um das linke und rechte Ende der Bewegungsbereiche zu erkennen.
Wie es in Fig. 3A dargestellt ist, wird der Bildschirm vom oberen linken Ende her abgerastert, bis ein erster Bewegungsbereich aufgefunden wird. Dieser Bewegungsbereich verfügt über eine Koordinate auf einer Achse V, die eine Position an der Oberseite des Kopfs einer Person repräsentiert. Dann wird der Bildschirm von links und rechts her in einem bestimmten Bereich eines unteren Bilds abgerastert, um das linke und rechte Ende des Bewegungsbereichs zu ermitteln, wie es in Fig. 3B dargestellt ist. Dann repräsentieren die äußersten Positionen des Bewegungsbereichs auf der Achse H die Koordinaten des linken und rechten Endes des Gesichts. Die Gesichtslänge wird dadurch bestimmt, dass die Gesichtsbreite mit einem bestimmten Koeffizient "a" multipliziert wird, wie in Fig. 3C dargestellt. Der Stand der Technik betrachtet den so ermittelten Bildbereich als Gesichtsbereich.
Wie oben angegeben, schätzt das herkömmliche Merkmalsbereicht-Extrahierverfahren einen Gesichtsbereich aus einer Zwischenrahmendifferenz ab, die das Bewegungsausmaß repräsentiert. Demgemäß kann der Stand der Technik, wenn ein Bild ein anderes bewegtes Objekt als einen Gesichtsbereich enthält, das Objekt fehlerhaft als Gesichtsteil annehmen. Ferner kann das Verfahren einen Gesichtsbereich nur grob in Form eines Rechtecks extrahieren, dessen Kontur hervorgehoben werden kann, wenn andere Bereiche als die des Gesichts durch ein Tiefpassfilter adaptiv verarbeitet werden. Dies kann die subjektive Bildqualität beeinträchtigen.
Unter Bezugnahme auf die beigefügten Zeichnungen werden nun bevorzugte Ausführungsbeispiele der Erfindung im Einzelnen wie folgt beschrieben.
Fig. 4 ist ein Blockdiagramm zum Erläutern eines Ausführungsbeispiels (1) einer erfindungsgemäßen Merkmalsbereich-Extrahierschaltung mit einer Merkmalsbereichshauptabschnitt-Extrahierschaltung 1, einer Kleinbereich-Beseitigungsschaltung 2 und einer Leerraumausfüllung-Schaltung 3. Die Merkmalsbereichshauptabschnitt-Extrahierschaltung 1 extrahiert einen Bildbereich, der eine Merkmals-Farbdifferenzkomponente eines Merkmalsbereichs enthält, und sie leitet das Extrahiersignal an die Kleinbereich-Beseitungsschaltung 2, wodurch ein kleiner Bereich als Abschnitt beseitigt wird, der durch den Effekt von Störsignalen oder dergleichen fehlerhaft extrahiert wurde. Das Ausgangssignal der Kleinbereich-Beseitungsschaltung 2 wird an die Leerraumausfüllung-Schaltung 3 weitergeleitet, die einen Ausfallbereich ausfüllt, der über eine andere Farbdifferenzkomponente als die gemäß dem Merkmal verfügt, und sie erzeugt dann ein Merkmalsbereichs-Extrahiersignal.
Ein Ausführungsbeispiel der Erfindung entspricht einem Verfahren zum Extrahieren eines Gesichtsbereichs unter Verwendung der Eigenschaft, dass Hautfarbenkomponenten, die den größten Teil des Gesichtsbereichs einer Person einnehmen, wie in Fig. 5 dargestellt, innerhalb eines kleinen Farbdifferenzbereichs (schraffierter Abschnitt) innerhalb des Farbdifferenzbereichs konzentriert sind, der durch ein Koordinatensystem definiert ist, das den Pegel eines Signals U auf einer vertikalen Achse und dem Pegel eines Signals V auf einer horizontalen Achse anzeigt. Wie es in Fig. 6 dargestellt ist, wird der Bereich mit kleiner Farbdifferenz dadurch zu einem gemeinsamen Bereich gemacht, dass zwei Farbdifferenzsignale eines Bilds mittels spezieller Schwellenwerte digitalisiert werden und dann daraus ein Gesichtsbereich extrahiert wird. Kurz gesagt, wurde dieses Verfahren geschaffen, um einen Gesichtsbereich auf Grundlage dessen zu extrahieren, dass seine Merkmals(haut)farbe in einem kleinen Farbdifferenzbereich (durch die Liniensegmente CHU, CLU, CHV, CLV umschlossen) innerhalb eines Koordinatensystems konzentriert sein kann, das auf einer vertikalen Achse den Pegel eines Signals U anzeigt und auf einer horizontalen Achse den Pegel eines Signals V anzeigt.
Selbst wenn die Hautfarbe, die den größten Teil eines menschlichen Gesichtsbereichs belegt, auf mehrere Bereiche mit kleinen Farbdifferenzen (z. B. das durch die Liniensegmente CHU1, CLU1, CHV1, CLV1 umschlossene Gebiet A und das durch die Liniensegmente CHU2, CLU2, CHV2' CLV2 umschlossene Gebiet B, wie in Fig. 7 dargestellt) innerhalb eines Koordinatensystems verteilt ist, das auf einer vertikalen Achse den Pegel eines Signals U und auf einer horizontalen Achse den Pegel eines Signals V anzeigt, wie in Fig. 7 dargestellt, ist es möglich, den Gesichtsbereich ohne Fehler genau zu entnehmen. Tatsächlich ist es wünschenswert, da menschliche Hautfarbenkomponenten auf mehrere kleine Farbdifferenzbereiche verteilt sein können, mit z. B. weißlichem, schwärzlichem oder einem anderen Farbton, einen Gesichtsbereich durch das erfindungsgemäße Verfahren zu entnehmen.
Fig. 8 zeigt ein Beispiel der in Fig. 4 dargestellten Merkmalsbereichshauptabschnitt-Extrahierschaltung, die einen Speicher 4 zum Realisieren des in Fig. 5 veranschaulichten Merkmalsbereichs-Extrahierverfahrens verwendet.
Die Merkmalsbereichshauptabschnitt-Extrahierschaltung 1 extrahiert einen Hautfarbenbereich, der den Hauptteil des Gesichtsbereichs einer Person einnimmt. Diese Schaltung 1 kann aus einem Speicher 4 wie einem Direktzugriffsspeicher, einem Festwertspeicher usw. bestehen. Der Speicher 4 speichert zwei Farbdifferenzsignale U und V, die mit ihren Adressen A15-A8 bzw. A7-A0 verknüpft sind. Im durch 16-Bit-Adressen repräsentierten Speicherraum ist ein dem schraffierten Bereich der Fig. 5 entsprechender Bere ich mit der Ziffer 1 (logisch eins) ausgefüllt, und andere Bereiche sind mit der Ziffer 0 (logisch null) ausgefüllt. Demgemäß hat das Ausgangssignal D des Speichers 4 den Wert 1, wenn die Signale U und V Signale eines dem in Fig. 5 dargestellten schraffierten Bereich entsprechende Signale eines Hautfarbenbereichs sind, und der Wert wechselt auf null, wenn die Signale U und V mit einem anderen Bereich als dem Gesichts in Beziehung stehen. So kann der Hauptteil eines Gesichtsbereichs extrahiert werden. Jedoch fehlt es einem in diesem Schritt extrahierten Gesichtsbereich an Bereichen wie den Augen, den Augenbrauen und den Lippen, die andere Farben als der Hautfarbenabschnitt haben. Ferner können auch ein Bereich oder Bereiche, die nicht der Gesichtsbereich sind, enthalten sein, die wegen Störsignalen oder dergleichen fehlerhaft extrahiert werden. Fig. 9 zeigt ein anderes Beispiel der in Fig. 4 dargestellten Merkmalsbereichshauptabschnitt-Extrahierschaltung, die aus Vergleichsschaltungen 5 bis 8 und einer UND-Torschaltung 9 besteht, um das in Fig. 6 veranschaulichte Merkmalsbereichs-Extrahierverfahren zu realisieren.
Die Vergleichsschaltungen 5 bis 8 vergleichen zwei Farbdifferenzsignale (U und V) mit den oberen und unteren Grenzschwellenwerten CHU, CLU' CHV, CLV- Die Vergleichsschaltung erzeugt ein Ausgangssignal mit dem logischen Wert 1, wenn U CHU gilt. In ähnlicher Weise erzeugen die Vergleichsschaltungen 6 bis 8 Ausgangssignale mit jeweils dem logischen Wert 1, wenn U ≥ CLU, V ≤ CHV und V CLV gelten. Die Ausgangssignale dieser Vergleichsschaltungen 5 bis 8 werden durch die UND-Torschaltung 9 geschickt, die das, logische Produkt der Ausgangssignale erzeugt und aus diesen einen gemeinsamen Bereich extrahiert. Demgemäß enthält das Ausgangssignal der UND-Torschaltung für den durch die in Fig. 6 dargestellten Liniensegmente CHU, CLU, CHV, CLV umschlossenen Hautfarbenbereich den logischen Wert 1. So kann der Hauptabschnitt eines Gesichtsbereich extrahiert werden, jedoch fehlen Bereiche wie die Augen, die Brauen und die Lippen, die andere Farbe als der Hautfarbenabschnitt haben, und es können auch ein Bereich oder Bereiche, die nicht der Gesichtsbereich sind, enthalten sein, die wegen eines Störsignals oder dergleichen fehlerhaft extrahiert wurden.
Fig. 10 veranschaulicht ein weiteres Beispiel der in Fig. 4 dargestellten Merkmalsbereichshauptabschnitt-Extrahierschaltung, die aus Vergleichsschaltungen 10 bis 13 (für Vergleiche mit ersten oberen und unteren Schwellenwerten), einer ersten UND-Torschaltung 14, Vergleichsschaltungen 15 bis 18 (für Vergleiche mit zweiten oberen und unteren Schwellenwerten), einer zweiten UND-Torschaltung 19 und einer ODER-Torschaltung 20 besteht, um das in Fig. 7 dargestellte Merkmalsbereichs-Extrahierverfahren zu realisieren. Die Vergleichsschaltungen 10 bis 13 vergleichen zwei Farbdifferenzsignale (U und V) mit oberen und unteren Grenzschwellenwerten CHU1, CLU1, CHV1, CLV1. Die Vergleichsschaltung 10 erzeugt ein Ausgangssignal mit dem logischen Wert 1, wenn U ≤ CHU1. In ähnlicher Weise erzeugen die Vergleichsschaltungen 11 bis 13 Ausgangssignale mit jeweils dem logischen Wert 1, wenn U ≥ CLU1' CLU1, V ≤ CHV1 und V ≤ CLV1. Die Vergleichsschaltungen 15 bis 18 vergleichen zwei Farbdifferenzsignale (U und v) mit oberen und unteren Grenzschwellenwerten CHU2, CLU2' CHV2' CLV2. Die Vergleichsschaltung 15 erzeugt ein Ausgangssignal vom logischen Wert 1, wenn U ≤ CLU2 gilt. In ähnlicher Weise erzeugen die Vergleichsschaltungen 16 bis 18 Ausgangssignale jeweils des logischen Werts 1, wenn U ≥ CLU2, V ≤ CHV2 und V ≤ CLV2 gelten. Die Ausgangssignale der Vergleichsschaltungen 10 und 13 werden der ersten UND-Torschaltung 14 zugeführt, die das logische Produkt der Ausgangssignale erzeugt und dabei einen gemeinsamen Bereich extrahiert. Die Ausgangssignale der Vergleichsschaltungen 15 bis 18 werden der zweiten UND- Torschaltung 19 zugeführt, die das logische Produkt der Ausgangssignale erzeugt und dadurch aus diesen einen gemeinsamen Bereich extrahiert. Die Ausgangssignale der UND-Torschaltungen 14 und 19 werden der ODER-Torschaltung 20 zugeführt, die die logische Summe der Ausgangssignale bildet. Demgemäß hat das Ausgangssignal der ODER-Torschaltung 20 sowohl für den durch die Liniensegmente CHU1, CLU1, CHV1 und CLV1 umschlossenen Merkmalsbereich A als auch den durch die Liniensegmente CHU2, CLU2' CHV2 und CLV2' wie in Fig. 7 dargestellt, umschlossenen Merkmalsbereich B den logischen Wert 1. So kann der Hauptabschnitt eines Gesichtsbereichs selbst dann fehlerfrei extrahiert werden, wenn ein Attribut eines Merkmalsbereichs auf mehrere Bereiche innerhalb eines Koordinatensystems verteilt ist, das den Pegel eines Signals U auf einer vertikalen Achse und den Pegel eines Signals v auf einer horizontalen Achse anzeigt. Jedoch fehlt es dem in diesem Schritt extrahierten Gesichtsbereich an Bereichen wie den Augen, den Augenbrauen und den Lippen, die andere Farbe als der Abschnitt mit der Gesichtshautfarbe haben, und es können auch ein Bereich oder Bereiche enthalten sein, die nicht der Gesichtsbereich sind und die wegen eines Störsignals oder dergleichen fehlerhaft extrahiert wurden.
Daher tritt das Extrahiersignal von der Merkmalsbereichshauptabschnitt- Extrahierschaltung 1 in die Kleinbereich-Beseitungsschaltung 2 (in Fig. 4 dargestellt) ein, die einen fehlerhaft erfassten kleinen Bereich erkennt und diesen als Bereich beseitigt, der auf Grund der Einwirkung eines Störsignals erfasst wurde. Diese Schaltung vergleicht ein Merkmalsbereichssignal mit jedem von vier in den Fig. 11A bis 11D dargestellten Erfassungsmustern, und sie verleiht dem mittleren Pixel eines Fensters von 3 · 3 Pixeln den logischen Wert null als Bereich, der nicht dem Gesicht entspricht, wenn keine Übereinstimmung aufgefunden wird. Das mittlere Pixel wird dann als zum Gesichtsbereich gehörig beurteilt, wenn das logische Produkt von sechs Pixeln (o: Kreis), wie mit Kreisform dargestellt, in jedem Erfassungsmuster 1 ist.
Das Ausgangssignal der Kleinbereich-Beseitungsschaltung 2 wird an die Leerraumausfüllung-Schaltung 3 geliefert, die ihr Eingangssignal mit jedem von vier in den Fig. 12A bis 12D dargestellten Erfassungsmustern vergleicht und dem mittleren Pixel eines Fensters von 13 · 13 Pixeln den logischen Wert 1 eines Gesichtsbereichs verleiht, wenn Übereinstimmung aufgefunden wird. Ein mittleres Pixel wird als zum Gesichtsbereich gehörig beurteilt, wenn beide logische Summen von sechs Pixeln (Δ: Dreiecke) und sechs Pixeln ( : Rauten) in jedem Erfassungsmuster 1 sind. Es können andere Erfassungsmuster als die in den Fig. 12A bis 12D dargestellten verwendet werden, wenn sie ähnliche Wirkung zeigen. Zum Beispiel sind die in den Fig. 13A bis 13B dargestellten Muster als Erfassungsmuster anwendbar. Ferner ist es möglich, diese beiden Erfassungsmuster (acht Muster) auf solche Weise zu verwenden, dass ein mittleres Pixel eines Fensters den logischen Wert 1 erhält, wenn ein Signalmuster zu irgendeinem der acht Erfassungsmuster passt.
Durch das vorstehend angegebene Merkmalsbereichs-Extrahierverfahren kann eine fehlerhafte Entnahme irgendeines bewegten Objekts, das kein Gesichtsbereich ist, verhindert werden, und ein Gesichtsbereich kann genau entlang seiner Konturlinie extrahiert werden, was es ermöglicht, alle anderen Bereiche als das Gesicht adaptiv mittels des Gesichtsbereich-Extrahiersignals adaptiv zu verarbeiten, z. B. durch ein Tiefpassfilter, ohne dass Konturlinien des Gesichtsbereichs in unnatürlicher Weise hervorgehoben werden, so dass die subjektive Bildqualität nicht beeinträchtigt wird.
Obwohl beim oben beschriebenen Ausführungsbeispiel der Erfindung die Entnahme eines Gesichtsbereichs ausgeführt wird, ist es auch möglich, einen beliebigen anderen Merkmalsbereich außer einem Gesicht zu extrahieren, wenn Schwellenwerte für Farbdifferenzsignale geändert werden. Die Erfindung schafft auch die Möglichkeit, einen Merkmalsbereich unter Verwendung eines Luminanzsignals in Kombination mit Farbdifferenzsignalen oder unter Verwendung von Farbsignalen R, G, B usw. zu extrahieren. Außerdem sind Fenster mit anderen Größen als 3 · 3 und 13 · 13 anwendbar, um den Prozess zum Beseitigen fehlerhaft extrahierter kleiner Bereiche und zum Auffüllen von Ausfallbereichen mit derselben Wirkung auszuführen. Durch die Erfindung kann auch ein Merkmalsbereichs-Extrahierverfahren geschaffen werden, das keine Kleinbereich-Beseitungsschaltung enthält, aber für einen ähnlichen Effekt sorgt.
Wie oben beschrieben, liefert das vorliegende Ausführungsbeispiel ein Merkmalsbereichs-Extrahierverfahren, durch das Bereiche mit kleiner Farbdifferenz mit einer Merkmals-Farbdifferenzkomponente eines Merkmalsbereichs eines Bilds innerhalb eines Farbdifferenz-Koordinatensystems lokalisiert werden, das durch zwei Achsen definiert ist, die zwei Farbdifferenzsignale repräsentieren, wobei dann als Merkmalsbereich ein Bildbereich extrahiert wird, der eine Farbdifferenzkomponente innerhalb des oben genannten kleinen Farbdifferenzbereichs enthält. Wenn der Merkmalsbereich einen Abschnitt mit einem anderen Farbdifferenzsignals als dem des Merkmals enthält, enthält der extrahierte Merkmalsbereich Ausfallbereiche, die jedoch ausgefüllt werden können, um einen vollständigen Merkmalsbereich zu erzeugen.
Die Leerraumausfüllung-Schaltung 3 vergleicht das Merkmalsextrahiersignal mit jedem der in den Fig. 14(A) bis 14(D) dargestellten vier Erfassungsmuster und sie beurteilt ein mittleres Pixel eines Fensters von 13 · 13 Pixeln als Merkmalsbereich und verleiht ihm den logischen Wert 1, wenn Übereinstimmung aufgefunden wird. Betreffend jedes Erfassungsmuster wird ein logisches Produkt von Pixeln, die in Form eines Dreiecks (Δ) und eines Kreises (o) dargestellt sind (logisches Produkt (1)), ein logisches Produkt von Pixeln, die in Form eines schwarzen Dreiecks ( ) und eines Kreises (o) dargestellt sind (logisches Produkt (2)), ein logisches Produkt von Pixeln in Form eines Quadrats ( ) und eines Kreises (o) (logisches Produkt (3)) und ein logisches Produkt von Pixeln, die in Form eines schwarzen Quadrats ( ) und eines Kreises (o) dargestellt sind (logisches Produkt (4)) als Erstes für jede durchgezogene Linie ermittelt, dann wird die logische Summe (1) der logischen Produkte (1) und der logischen Produkte (2) aller Linien ermittelt, es wird die logische Summe (2) der logischen Produkte (3) und der logischen Produkte (4) aller Linien ermittelt und schließlich wird das logische Produkt der logischen Summe (1) und der logischen Summe (2) berechnet. Ein mittleres Pixel des Fensters mit 13 · 13 Pixeln wird als Merkmalsbereich beurteilt, wenn das Ergebnis der abschließenden logischen Operation 1 ist.
Es werden auch andere Erfassungsmuster als die in den Fig. 14A bis 14D dargestellten mit ähnlichem Effekt verwendet. Das mittlere Pixel eines Fensters mit 13 · 13 Pixeln wird als Merkmalsbereich mit dem logischen Wert 1 betrachtet, wenn das Merkmalsbereich-Extrahiersignal zu einem dieser vier Erfassungsmuster passt. In jedem Erfassungsmuster werden ein logisches Produkt von Pixeln, die in Form eines Dreiecks (Δ) und eines Kreises (o) dargestellt sind (logisches Produkt (1)) und ein logisches Produkt von Pixeln, die in Form eines schwarzen Dreiecks ( ) und eines Kreises (o) dargestellt sind (logisches Produkt (2)) als Erstes für jede durchgezogene Linie bestimmt, und dann wird die logische Summe der logischen Produkte (1) und der logischen Produkte (2) aller Linien bestimmt. Ein mittleres Pixel des Fensters mit 13 · 13 Pixeln wird als Merkmalsbereich beurteilt, wenn das Ergebnis der abschließenden logischen Operation 1 ist.
Es ist auch möglich, eine Kombination der beiden in den Fig. 14 und 15 dargestellten Erfassungsmuster auf solche Weise zu verwenden, dass ein mittleres Pixel eines Fensters von 13 · 13 Pixeln als Merkmalsbereich beurteilt wird und den logischen Wert 1 erhält, wenn Übereinstimmung mit irgendeinem der acht Erfassungsmuster aufgefunden wird.
Fig. 16 zeigt ein anderes Beispiel (Ausführungsbeispiel 2) einer erfindungsgemäßen Merkmalsbereich-Extrahierschaltung mit einer Merkmalsbereichshauptabschnitt-Extrahierschaltung 21, einer Kleinbereich-Beseitungsschaltung 22, einer Leerraumausfüllung-Schaltung 23 und einem Rahmen- oder Vollbildspeicher 24. Die Funktion dieser Merkmalsbereich-Extrahierschaltung ist die Folgende.
Ähnlich wie im Fall des Ausführungsbeispiels der Fig. 4 extrahiert die Merkmalsbereichshauptabschnitt-Extrahierschaltung 21 einen Hautfarbenbereich, der den größten Teil des Gesichtsbereichs einer Person einnimmt. Dem extrahierten Gesichtsbereich fehlt es jedoch an Bereichen mit anderer Farbe wie den Augen, den Augenbrauen und den Lippen, und er kann einen anderen Bereich als das Gesicht enthalten, der wegen eines Störsignals fehlerhaft als Hautfarbenbereich erfasst wurde. Daher wird ein von der Merkmalsbereichshauptabschnitt-Extrahierschaltung 21 erzeugtes Extrahiersignal an die Kleinbereich-Beseitungsschaltung 22 geliefert, wodurch aus dem Extrahiersignal ein kleiner Bereich beseitigt wird, der auf Grund der Wirkung eines Störsignals fehlerhaft extrahiert wurde. Das Ausgangssignal der Kleinbereich-Beseitungsschaltung wird im Rahmenspeicher 24 gespeichert, und ein um einen Rahmen verzögertes Signal wird an die Kleinbereich-Beseitungsschaltung 22 zurückgeliefert.
Die Kleinbereich-Beseitungsschaltung 22 kann die in den Fig. 17A bis 17D dargestellten Erfassungsmuster verwenden, wenn ein um einen Rahmen verzögertes Extrahiersignal vom Rahmenspeicher 24 kein Gesichtsbereich ist, und sie kann das in Fig. 18 dargestellte Erfassungsmuster verwenden, wenn das um einen Rahmen vom Rahmenspeicher 24 verzögerte Extrahiersignal ein Gesichtsbereich ist. Wenn das um einen Rahmen verzögerte Extrahiersignal kein Gesichtsbereich ist, wird das aktuelle Extrahiersignal mit jedem der vier in den Fig. 17A bis 17D dargestellten Erfassungsmuster verglichen, und das mittlere Pixel eines Fensters mit 5 · 5 Pixeln wird als anderer Bereich als der des Gesichts erkannt und mit dem logischen Wert 0 versehen, wenn sich keine Übereinstimmung ergibt. In jedem der Erfassungsmuster wird das mittlere Pixel als Gesichtsbereich erkannt, wenn das logische Produkt der in Form eines Kreises dargestellten 15 Pixel 1 ist. Dagegen wird dann, wenn das um einen Rahmen verzögerte Extrahiersignal einem Gesichtsbereich entspricht, das aktuelle Extrahiersignal mit dem in Fig. 18 dargestellten Erfassungsmuster verglichen, und das mittlere Pixel eines Fensters von 3 · 3 Pixeln wird anderer Bereich als der des Gesichts erkannt und mit dem logischen Wert 0 versehen, wenn sich keine Übereinstimmung ergibt. Bei diesem Muster wird das mittlere Pixel als Gesichtsbereich erkannt, wenn die logische Summe von neun in Form eines Kreises dargestellten Pixeln 1 ist.
In der Kleinbereich-Beseitungsschaltung 22 ist ein anderes Beispiel von Erfassungsmustern anwendbar: die in den Fig. 19A bis 19D dargestellten Erfassungsmuster werden für ein um einen Rahmen vom Rahmenspeicher 28 verzögertes Extrahiersignal verwendet. Wenn keine Übereinstimmung zu einem der vier in den Fig. 19A bis 19D dargestellten Erfassungsmuster besteht und keine Erkennung als Gesichtsbereich vorliegt, werden die in den Fig. 17A bis 17D dargestellten Erfassungsmuster als solche für das vorliegende Extrahiersignal verwendet. Wenn dagegen Übereinstimmung mit einem der vier in den Fig. 19A bis 19D dargestellten Erfassungsmuster besteht und Erkennung als Gesichtsbereich vorliegt, wird das in Fig. 18 dargestellte Erfassungsmuster als solches für das vorliegende Extrahiersignal verwendet. Bei jedem der Erfassungsmuster 19A bis 19D wird das um einen Rahmen verzögerte Extrahiersignal als Gesichtsbereich beurteilt, wenn das logische Produkt von drei in Form eines Kreises (o) dargestellten Pixeln 1 ist oder wenn ein in Form eines schwarzen Kreises ( ) dargestelltes Pixel 1 ist.
Wenn das um einen Rahmen verzögerte Extrahiersignal kein Gesichtsbereich ist, wird das aktuelle Extrahiersignal mit jedem von vier in den Fig. 17A bis 17D dargestellten Erfassungsmustern verglichen und das mittlere Pixel eines Fensters von 5 · 5 Pixeln erhält den logischen Wert 0 als Bereich, der nicht der Gesichtsbereich ist, wenn keine Übereinstimmung festgestellt wird. In diesem Fall wird jedes Muster auf solche Weise verwendet, dass das mittlere Pixel als Gesichtsbereich erkannt wird, wenn das logische Produkt von 15 in Form eines Kreises dargestellten Pixeln 1 ist.
Wenn dagegen das Extrahiersignal ein Gesichtsbereich ist, wird das aktuelle Extrahiersignal mit dem in Fig. 18 dargestellten Erfassungsmuster verglichen und das mittlere Pixel eines Fensters von 3 · 3 Pixeln erhält den logischen Wert 0 als Bereich, der nicht der Gesichtsbereich ist, wenn sich keine Übereinstimmung ergibt. Dieses Erfassungsmuster wird auf solche Weise verwendet, dass das mittlere Pixel als Gesichtsbereich erkannt wird, wenn die logische Summe von neun in Form eines Kreises dargestellten Pixeln 1 ist.
Diese Erfassungsmuster bilden ein vereinfachtes Gesichtsbereichskriterium für das aktuelle Extrahiersignal, wenn das um einen Rahmen verzögerte Extrahiersignal einem Gesichtsbereich entspricht. Kurz gesagt, wird jedem Gesichtsbereichs-Erfassungsmuster für das aktuelle Signale eines Hysteresecharakteristik verliehen. Dadurch kann die Toleranz gegen Störsignale erhöht werden, um zu verhindern, dass ein Gesichtsbereich mit Flackern extrahiert wird. Das Ausgangssignal der Kleinbereich-Beseitungsschaltung 22 gelangt in die Leerraumausfüllung-Schaltung 23, die, ähnlich wie im Fall des Ausführungsbeispiels 1, Ausfallbereiche (die Augen, die Augenbrauen, die Lippen usw.) des Gesichtsbereichs mit anderen Farben als der Gesichtshautfarbe ausfüllt.
Das oben genannte Gesichtsbereich-Extrahierverfahren beseitigt die Möglichkeit des fehlerhaften Extrahierens irgendeinen anderen bewegten Objekts als des Gesichtsbereichs. Ein Gesichtsbereich kann genau entlang seiner Konturlinie extrahiert werden, weswegen das Gesichtsbereich-Extrahiersignal der adaptiven Verarbeitung von anderen Abschnitten als den Gesichtsbereich z. B. durch ein Tiefpassfilter standhalten kann, wodurch gewährleistet ist, dass die subjektive Bildqualität nicht durch unnatürlich hervorgehobene Grenzen beeinträchtigt wird. Gemäß der Erfindung ist es möglich, zu verhindern, dass ein Gesichtsbereich durch Flackern verzerrt wird, das durch das menschliche Auge leicht erkannt wird. Durch dieses Merkmal kann die subjektive Bildqualität beträchtlich verbessert werden.
Obwohl das oben beschriebene Ausführungsbeispiel zum Extrahieren des Gesichtsbereichs eines Bilds verwendet wird, kann mit ihm jede Art von Merkmalsbereich außer einem Gesichtsbereich dadurch extrahiert werden, dass die Schwellenwerte für Farbdifferenzsignale geändert werden. Die Kleinbereich- Beseitungsschaltung kann auch Erfassungsmuster mit anderen Größen als Fenstern mit 3 · 3 und 5 · 5 Pixeln verwenden, oder sie kann mit anderen Mustern mit gleichen Effekten arbeiten. Ähnliche Effekte können dadurch erzielt werden, dass die Schwellenwerte der Merkmalsbereich-Extrahierschaltung oder die Erfassungsmuster der Leerraumausfüllung-Schaltung mit Hysteresecharakteristik versehen werden.
Gemäß der Erfindung ist es möglich, dieselben Effekte wie mit der Kleinbereich-Beseitungsschaltung und der Leerraumausfüllung-Schaltung selbst dann zu erzielen, wenn eine dieser Schaltungen nicht vorhanden ist.
Durch das erfindungsgemäße Merkmalsbereichs-Extrahierverfahren kann ein Gesichtsbereich ohne Flacker-Störsignale dadurch extrahiert werden, dass dem Gesichtsbereichkriterium abhängig davon eine Hysteresecharakteristik verliehen wird, ob ein durch L Rahmen (L ist eine positive ganze Zahl) unterstütztes Pixel eines Rahmens und/oder seines benachbarten Pixels einem Merkmalsbereich entspricht oder nicht.
Fig. 20 zeigt ein anderes Beispiel (Ausführungsbeispiel 3) einer erfindungsgemäßen Merkmalsbereich-Extrahierschaltung, wobei ein Rahmenspeicher durch die Zahl 31 gekennzeichnet ist und andere Komponenten mit ähnlicher Funktion wie denen in Fig. 4 mit denselben Zahlen versehen sind.
Der Rahmenspeicher 31 erzeugt eine Reihe von Merkmalsbereich-Extrahiersignalen für die Rahmen Nr. N (N ist eine positive ganze Zahl), N-1, N-2, ..., N-M (N ist eine positive ganze Zahl) mittels eines Speichers für M Rahmen (M ist eine positive ganze Zahl). Diese Merkmalsbereich-Extrahiersignale werden gewichtet, um dadurch gewichtete Merkmalsbereich-Extrahiersignale FN zu erhalten, die durch Vorfilterung oder Quantifizierungssteuerung adaptiv verarbeitet werden.
Das gewichtete Signal Merkmalsbereich-Extrahiersignal FN ist wie folgt ausgedrückt:
FN = N - 1 · KI
wobei αN anzeigt, ob ein Merkmalsbereich-Extrahiersignal eines Rahmens N zu einem Gesichtsbereich (αN = 1) gehört oder nicht (αN = 0: Hintergrundbereich) und KI ein Gewichtungskoeffizient für den Rahmen Nr. (N-I) ist.
Wenn M = 3 gilt, kann KI z. B. jeden der in Fig. 21 dargestellten Werte (Gewichtungskoeffizient) einnehmen. Im Fall des Beispiels (1) sind alle Werte K&sub0; bis K&sub3; 1. Im Fall des Beispiels (2) sind K&sub0; und K&sub3; 1 und K&sub1; und K&sub2; sind 2. Im Fall des Beispiels (3) ist K&sub0; 4, K&sub1; ist 2 und K&sub2; und K&sub3; sind 1.
Wenn ein zweidimensionales Vorfilter zum Verarbeiten eines Luminanzsignals, eines Farbdifferenzsignals, einen Koeffizienten aufweist, wie er in Fig. 22 dargestellt ist, kann eine Variable der adaptiven Steuerung die in den Fig. 23A und 23B dargestellten Werte einnehmen. Die Fig. 23A und 23B zeigen Variable für adaptive Steuerung für den Fall einer nicht gewichteten bzw. einer gewichteten Steuerung. Fig. 23B zeigt den Fall, dass ein Merkmalsbereich-Extrahiersignal FN so gewichtet wird, wie es im Beispiel (1) der Fig. 21 dargestellt ist. Wenn das Merkmalsbereich-Extrahiersignal FN nicht gewichtet wird, hat der Koeffizient P des zweidimensionalen Vorfilters den Wert 1, und die Variation ΔQ einer Quantisierungsschrittgröße entspricht +10, wenn das Merkmalsbereich-Extrahiersignal FN 0 ist, wohingegen P = 8 und ΔQ = 0 gelten, wenn das Signal FN 1 ist. Wenn das Merkmalsbereich-Extrahiersignal gewichtet wird, werden P = 1 und ΔQ = +10 erhalten, wenn das Merkmalsbereich-Extrahiersignal FN 0 ist. P = 2 und ΔQ = +5 werden dann erhalten, wenn das Signal FN 1 ist; P = 4 und Ag = +2 werden erhalten, wenn das Signal FN 2 ist, P = 8 und ΔQ = 0 werden erhalten, wenn das Signal FN 3 ist; und P = 8 und ΔQ = 0 werden erhalten, wenn das Signal FN 4 ist.
Gemäß einem Ausführungsbeispiel der Erfindung ist es möglich, das Ausgangssignal der Leerraumausfüllung-Schaltung 3 als Merkmalsbereich-Extrahiersignal zu verwenden, das mit einem Vorfilter oder durch Quantisierungssteuerung adaptiv verarbeitet wird. Ferner ist es auch möglich, das Ausgangssignal der Leerraumausfüllung-Schaltung 3 in den Rahmenspeicher 31 einzugeben und das Ausgangssignal desselben als Merkmalsbereich-Extrahiersignal zu verwenden.
Die Anwendung des gewichteten Merkmalsbereich-Extrahiersignals beeinträchtigt die Bildqualität selbst dann nicht, wenn das Signal irgendeinen fehlerhaft erfassten Abschnitt enthält. Ein Störsignal kann das Merkmalsbereich-Extrahiersignal auf solche Weise schädigen, dass ein bestimmter Abschnitt mit zeitlicher Unterbrechung fehlerhaft extrahiert werden kann. In diesem Fall können, wenn die in Fig. 23 dargestellte Variable für adaptive Steuerung verwendet wird, P und Ag abhängig davon beträchtlich variieren, ob das Merkmalsbereich-Extrahiersignal 1 oder 0 ist, was dazu führt, dass das Signal Flackerabschnitte enthält, was die Bildqualität beeinträchtigt. Wenn dagegen die in Fig. 23 dargestellten gewichteten Variablen für adaptive Steuerung verwendet werden, variieren diese Variablen für adaptive Steuerung gleichmäßig, wenn sich das Merkmalsbereich-Extrahiersignal von 0 auf 4 ändert. Dadurch kann eine Beeinträchtigung der Bildqualität verringert werden.
Durch das erfindungsgemäße Merkmalsbereichs-Extrahierverfahren kann die Möglichkeit der fehlerhaften Entnahme irgendeines anderen bewegten Objekts als eines Gesichts verhindert werden. Da der Gesichtsbereich entlang seiner Konturlinie genau extrahiert werden kann, kann das Gesichtsbereich-Extrahiersignal der adaptiven Verarbeitung eines Hintergrundbereichs durch ein Tiefpassfilter und/oder durch Quantisierungssteuerung zum Vergröberen der Quantisierungsschrittgröße für den Hintergrundbereich standhalten, wodurch gewährleistet ist, dass die subjektive Bildqualität nicht durch eine unnatürlich hervorgehobene Grenze beeinträchtigt wird.
Obwohl das vorstehend beschriebene Ausführungsbeispiel dazu verwendet wird, den Gesichtsbereich eines Bilds zu extrahieren, kann durch es jede Art von Merkmalsbereich, der nicht einem Gesicht entspricht, dadurch extrahiert werden, dass die Schwellenwerte für Farbdifferenzsignale geändert werden. Es ist auch möglich, eine Merkmalsbereichentnahme unter Verwendung von Luminanzsignalen in Kombination mit Farbdifferenzsignalen oder unter Verwendung von Farbsignalen wie R, G, B usw. auszuführen. Fenster mit anderen Größen als 3 · 3 und 13 · 13 Pixeln können zur Beseitigung kleiner Bereiche und zur Ausfüllverarbeitung für leere Räume mit gleichen Effekten verwendet werden. Durch das erfindungsgemäße Merkmalsbereichs-Extrahierverfahren kann eine feine Entnahme eines Merkmalsbereichs in einem Bild ohne Kleinbereich- Beseitungsschaltung realisiert werden.

Claims

1. Verfahren zum Extrahieren eines Merkmalsbereichs aus einem Farbbild, mit den folgenden Schritten:

- Definieren eines Farbkoordinatensystems, wobei jedes Pixel des Bilds einem Punkt innerhalb dieses Systems entspricht;

- Identifizieren mindestens eines vorbestimmten Kriterien genügenden Farbbereichs innerhalb des Farbkoordinatensystems;

- Extrahieren eines dem Farbbereich entsprechenden Bildbereichs als Hauptabschnitt des Merkmalsbereichs; und

- Ermitteln, ob Teile eines leeren Bereichs innerhalb des Hauptabschnitts des Merkmalsbereichs als Teile des Merkmalsbereichs klassifiziert werden sollten, wozu ein oder mehrere vorbestimmte Erfassungsmuster unter Verwendung von Pixeln in der Nähe angewandt werden.

2. Verfahren nach Anspruch 1, bei dem die Erfassungsmuster abhängig vom Abstand vom zentralen Pixel variieren.

3. Verfahren nach Anspruch 1 oder 2, bei dem Erfassungsmuster symmetrisch zum zentralen Pixel sind.

4. Verfahren nach Anspruch 1, bei dem ermittelt wird, ob Teile des Merkmalsbereichs fehlerhaft extrahiert wurden oder nicht, wobei ein oder mehrere vorbestimmte Erfassungsmuster verwendet werden.

5. Verfahren nach Anspruch 4 mit einem Auswählen eines Erfassungsmusters zum Ermitteln fehlerhaft extrahierter Teile abhängig davon, ob ein Pixel zumindest eines vorangehenden Rahmens und/oder mindestens ein benachbartes Pixel in einem Merkmalsbereich vorhanden ist/sind oder nicht.

6. Verfahren nach Anspruch 1 mit einem Auswählen eines Erfassungsmusters zum Klassifizieren eines Teils eines leeren Bereichs abhängig davon, ob ein Pixel zumindest eines vorangehenden Rahmens und/oder mindestens ein benachbartes Pixel im Merkmalsbereich vorhanden ist/sind oder nicht.

Verfahren nach Anspruch 1 mit einem Auswählen von Schwellenwerten für den Farbbereich zur Extraktion eines Merkmalsbereichs abhängig davon, ob ein Pixel mindestens eines vorangehenden Rahmens und/oder mindestens ein benachbartes Pixel im Merkmalsbereich vorhanden ist/sind oder nicht.

8. Verfahren nach Anspruch 1 mit einem Erzeugen mehrerer Merkmalsbereich- Extraktionssignale unter Verwendung eines Speichers zum Speichern des Merkmalsbereich-Extraktionssignals für M vorangehende Rahmen, wobei M eine positive ganze Zahl ist, und mit einem Gewichten dieser Merkmalsbereich- Extraktionssignale.

9. Verfahren nach einem der vorstehenden Ansprüche, bei dem das Farbkoordinatensystem ein Farbdifferenz-Koordinatensystem mit zwei Achsen ist, die Farbdifferenzsignalen entsprechen.

10. Merkmalsbereich-Extraktionsschaltung mit einer Einrichtung (1) zum Extrahieren eines Hauptabschnitts des Merkmalsbereichs aus einem Farbbild entsprechend einem vorbestimmten Kriterien genügenden Bereich innerhalb eines Farbkoordinatensystems, und mit einer Leerbereich-Ausfüllschaltung (3) zum Ermitteln, ob Teile eines leeren Bereichs, der einen Teil des Merkmalsbereichs bildet, als Teil des Merkmalsbereichs klassifiziert werden sollen oder nicht, wobei ein oder mehrere vorbestimmte Erfassungsmuster für Pixel in der Nähe verwendet werden.

11. Merkmalsbereich-Extraktionsschaltung nach Anspruch 10, bei der Erfassungsmuster mit dem Abstand vom zentralen Pixel variieren.

12. Merkmalsbereich-Extraktionsschaltung nach Anspruch 10 oder Anspruch 11, bei der Erfassungsmuster symmetrisch zum zentralen Pixel sind.

13. Merkmalsbereich-Extraktionsschaltung nach Anspruch 10 oder Anspruch 11, bei der das Farbkoordinatensystem ein Farbdifferenz-Koordinatensystem mit zwei Achsen ist, die Farbdifferenzsignale repräsentieren.