DE4142650A1 - Verfahren und anordnung zur ableitung eines steuersignals fuer die einblendung eines hintergrundsignals in teile eines vordergrundsignals - Google Patents

Description

Die Erfindung geht aus von einem Verfahren nach der Gattung des Hauptanspruchs.

Ein häufig beim Fernsehen angewandtes Verfahren zum Mischen verschiedener Bilder bzw. der entsprechenden Signale ist das sogenannte Farbstanzverfahren, auch Blauwandverfahren oder Chromakey genannt. Dazu wird ein Vordergrundsignal verwendet, das teilweise eine vorgegebene Farbe - meist blau - enthält, die durch entsprechende Teile eines Hintergrundsignals ersetzt wird. Das Vordergrundsignal sowie ein Hintergrundsignal werden einem Bildmischer zugeführt, der in Abhängigkeit von einem aus dem Vordergrundsignal abgeleiteten Steuersignal ein Umschalten zwischen beiden Signalen gestattet.

Dabei hat man bei bekannten Einrichtungen dieser Art zunächst das Steuersignal als Schaltsignal ausgebildet, wobei einem ersten Wert dieses Signals die sogenannte Stanzfarbe und dem zweiten Wert dieses Signals diejenigen Farben zugeordnet sind, die von der Stanzfarbe abweichen. Da die zur Durchführung des Verfahrens verwendete Blauwand, insbesondere durch Ungleichförmigkeiten der Beleuchtung, keine konstante Farbe aufweist, ist man bestrebt, den Bereich der Stanzfarbe auf ein möglichst großes Gebiet in der Farbebene auszuweiten, wobei jedoch die im Vordergrund enthaltenen Farben nicht erfaßt sein dürfen. Durch die plötzliche Umschaltung zwischen dem Vordergrund und dem Hintergrund ergeben sich jedoch bereits bei geringsten zeitlichen Verschiebungen des Umschaltzeitpunktes Fehler. Besonders störend ist ein an sich nicht vorgesehenes Umschalten auf die Blauwand an den Rändern des Vordergrundes. Dadurch treten vor allem bei feinen Details Farbsäume auf - insbesondere im Bereich der Haare einer vor einem eingestanzten Hintergrund befindlichen Person.

Bei einer Verbesserung des bekannten Verfahrens, das auch Soft-chromakey genannt wird, wird zwischen dem Bereich der Stanzfarben und den Vordergrundfarben eine sogenannte Proportionalzone eingeführt und das Steuersignal nicht mehr auf den Wertebereich von "0" und "1" beschränkt. Zwischen dem Vordergrundsignal und dem Hintergrundsignal erfolgt dann eine weiche Überblendung.

Bei bekannten Verfahren zur Erzeugung eines Stanzgebietes einschließlich einer Proportionalzone wird auf einfache mathematische Ableitungen zurückgegriffen, welche entsprechende geometrische Formen, wie Rauten, Kreise oder Ellipsen ergeben. Als Beispiel für ein bereits vorgeschlagenes Verfahren dieser Art wird auf die frühere Anmeldung P 40 17 878 der Anmelderin verwiesen. Dabei treten noch leichte Farbsäume auf, insbesondere wenn bzw. wo die Proportionalzone nicht bis dicht an die den Vordergrund darstellenden Farben heranreicht.

Aufgabe der vorliegenden Erfindung ist es, die Ableitung eines Steuersignals zur Einblendung eines Hintergrundsignals in durch eine Stanzfarbe festgelegte Teile eines Vordergrundsignals derart zu ermöglichen, daß die Proportionalzone dicht an die den Vordergrund darstellenden Farben heranreicht und somit eine wichtige Voraussetzung zur Vermeidung von Blausäumen an den Rändern des Vordergrundes geschaffen wird.

Das erfindungsgemäße Verfahren mit den kennzeichnenden Merkmalen des Hauptanspruchs hat den Vorteil, daß eine wichtige Voraussetzung zur Vermeidung von Farbsäumen geschaffen wird. Das mit dem erfindungsgemaßen Verfahren erzeugte Stanzgebiet einschließlich der Proportionalzone wird weitgehend an den Bereich der Vordergrundfarben angepaßt.

Durch die in den Unteransprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im Hauptanspruch angegebenen Erfindung und vorteilhafte Anordnungen zur Durchführung des erfindungsgemäßen Verfahrens möglich.

Ausführungsbeispiele der Erfindung sind in der Zeichnung anhand mehrerer Figuren dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

Fig. 1 ein Blockschaltbild einer Anordnung zur Durchführung des erfindungsgemäßen Verfahrens,

Fig. 2 Darstellungen verschiedener Farborte in der Farbebene zur Erläuterung der Aufgabe, welche der Erfindung zugrundeliegt,

Fig. 3 Darstellungen von Schirmbildern und

Fig. 4 von verschiedenen Farborten in der Farbebene zur Erläuterung des erfindungsgemäßen Verfahrens,

Fig. 5 Blockschaltbilder von Teilen der Anordnung nach Fig. 1 und

Fig. 6 bis Fig. 9 Teile der Anordnung nach Fig. 1 zur Darstellung der einzelnen Schritte eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens.

Gleiche Teile sind in den Figuren mit gleichen Bezugszeichen versehen.

Das erfindungsgemäße Verfahren kann mit einzelnen speziellen für die Rechenoperationen geeigneten Schaltungen durchgeführt werden. Eine Durchführung aller Rechenoperationen mit einem ASIC ist ebenfalls möglich. Schließlich kann das Verfahren auch mit einem entsprechend programmierten und ausreichend schnellen Signalprozessor durchgeführt werden. Deshalb dient das Blockschaltbild gemäß Fig. 1 sowohl zur Erläuterung des erfindungsgemäßen Verfahrens als auch zur Darstellung eines Ausführungsbeispiels einer Anordnung zur Durchführung des erfindungsgemäßen Verfahrens.

Der Anordnung nach Fig. 1 werden die Chrominanzsignale Cr und Cb über einen Eingang 1 zugeführt. Die Chrominanzsignale liegen in digitaler Form als jeweils 8 Bit breite Datenworte vor. Ein Speicher 2 dient dazu, die Chrominanzsignale für jeweils ein Bild zwischenzuspeichern. Die Adressierung des Speichers 2 erfolgt wahlweise von einem H/V-Generator 3 und einem digitalen Signalprozessor 4, deren Ausgangsdaten über einen Multiplexer 5 dem Adresseneingang des Speichers 2 zuführbar sind. Zur Festlegung eines Bildausschnitts bzw. Fensters ist der H/V-Generator 3 mit einem Joystick 6 verbunden.

Der Datenausgang des Speichers 2 ist einerseits mit einem Adresseneingang eines weiteren Speichers 7 und andererseits mit einer Torschaltung 8 verbunden, die von aus dem weiteren Speicher 7 entnommenen Daten gesteuert wird. Der weitere Speicher 7 sowie ein dritter Speicher 9 dienen zur Ablage der Funktion zwischen dem Steuersignal und den Chrominanzsignalen, also zur Ablage des Stanzgebietes einschließlich der Proportionalzone und werden im folgenden Steuersignalspeicher genannt. Es sind deshalb zwei Steuersignalspeicher vorgesehen, damit gleichzeitig neue Daten in den Steuersignalspeicher 9 eingeschrieben werden können, während die Torschaltung 8 mit aus dem Steuersignalspeicher ausgelesenen Daten gesteuert werden kann.

Die Ausgangssignale der Torschaltung 8 werden nacheinander über zwei zuschaltbare Testschaltungen 10, 11 und einen Multiplexer 12 zum Adresseneingang des Steuersignalspeichers 9 geleitet. Anstelle der Chrominanzsignale können jedoch auch vom digitalen Signalprozessor 4 erzeugte Adressen über den Multiplexer 12 zu den Adresseneingängen des Steuersignalspeichers 9 geleitet werden. Schließlich ist eine Übertragung von Daten zwischen dem Steuersignalspeicher 9 und dem digitalen Signalprozessor 4 möglich.

Vor einer weiteren Erläuterung der Anordnung nach Fig. 1 anhand der Fig. 5 bis 9 wird, bezugnehmend auf Fig. 2, die dem erfindungsgemäßen Verfahren zugrundeliegende Problematik erläutert.

Fig. 2a zeigt in der Farbebene ein Beispiel, bei welchem die einzelnen Farborte der Blauwand relativ eng beieinander liegen, während sich die Farborte des Vordergrundes von denen der Blauwand deutlich unterscheiden. Die angedeutete elliptische Proportionalzone berücksichtigt in dem eingezeichneten Beispiel zwar die zyanfarbenen Vordergrundobjekte recht gut, für die roten Objekte beginnt die Proportionalzone jedoch zu spät. Übergangsfarben, die zwar hier nicht eingetragen sind, ergeben bei der späteren Transformation farbige Säume.

Eine Voraussetzung zur Verhinderung dieser farbigen Säume ist ein Steuersignal, das von einem komplexen Gradientenfeld gebildet wird, wie es in Fig. 2b dargestellt ist. Dieses trägt allen Farbortschwerpunkten des Vordergrundes Rechnung. Dort, wo die Vordergrundfarborte einen relativ großen Abstand zur Stanzfarbe KC haben, beginnt die Proportionalzone PZ entsprechend weit von KC entfernt, damit diese Farben bei einer Farbort-Transformation früh berücksichtigt werden können. Ein derartiges Gebiet kann, wenn es einmal in einer Abgleichphase errechnet wurde, in an sich bekannter Weise in einem mit den Chrominanzsignalen Cb und Cr adressierbaren Schreib/Lesespeicher als Tabelle abgelegt werden.

Zu einer automatischen Errechnung ist es erforderlich, daß Vordergrundfarben, Stanzfarben und Übergangsfarben für einen Automaten unterscheidbar werden. Erst dann können Grenzlinien an diese Farborte angelegt werden. Da in realen Bildern die Stanzfarben und die Vordergrundfarben nicht getrennt vorliegen, was als Beispiel in Fig. 2c dargestellt ist, bedarf es verschiedener komplexer Schritte zur Ableitung des Überblendsignals.

Das erfindungsgemäße Verfahren bedient sich als Unterscheidungsmerkmal zwischen Übergangsfarben einerseits und Vordergrund- bzw. Stanzfarben andererseits einer Größe, die im folgenden chromatische Homogenität genannt wird. Wo die Änderung der Chrominanzwerte zwischen zeitlich bzw. örtlich benachbarten Bildpunkten einen Schwellwert übersteigt, kann davon ausgegangen werden, daß dort weder Vordergrund- noch Stanzfarben, sondern Übergangsfarben vorliegen. Das Ergebnis der Filterung der Chrominanzsignale gemäß Fig. 2c ist in Fig. 2d dargestellt. Dabei sind die stark veränderlichen Farbwerte unterdrückt. Je schärfer dabei die Anforderungen an die chromatische Homogenität sind, desto stärker werden die Zentren der Vordergrundfarben herausgefiltert.

Wesentliche Funktionen bei der automatischen Ermittlung des Stanzgebietes KC + PZ (Fig. 2b) werden von Testschaltungen wahrgenommen, wie sie beispielsweise in den Fig. 5a und 5b dargestellt sind.

Die Anordnung nach Fig. 5a dient als Testschaltung 10 (Fig. 1) zum Herausfiltern derjenigen Farborte, die sich durch eine chromatische Homogenität auszeichnen. Dazu werden einem Eingang 31 die Chrominanzsignale Cr und Cb und einem weiteren Eingang 32 Chrominanzsignale Crk und Cbk, welche die Stanzfarbe darstellen, zugeführt. In einer an sich bekannten Schaltung 33 wird die durch die Chrominanzsignale Cr und Cb gegebene Darstellung der Farbe in karthesischen Koordinaten in eine Darstellung in Polarkoordinaten umgewandelt. Dabei wird die Stanzfarbe als Bezugspunkt verwendet, so daß die Länge und die Richtung der jeweils anliegenden Farbe in Bezug auf die Stanzfarbe berechnet werden. Eine geeignete Schaltung wird als Koordinaten-Transformer von der Firma TRW unter der Typenbezeichnung TMC 2330 vertrieben.

Für die weitere Signalverarbeitung wird jedoch nur die Länge L(dCr, dCb) verwendet. Diese wird bei 34 und 35 um jeweils einen Bildpunkt verzögert, so daß die Größe L für jeweils drei benachbarte Bildpunkte gleichzeitig zur Verfügung steht. Bei 36 wird die Länge des mittleren Bildpunktes invertiert und anschließend bei 37 und 38 zu den nichtinvertierten Längen der benachbarten Bildpunkte addiert, so daß an den Ausgängen der Addierer 37, 38 die Längendifferenz jeweils zweier benachbarter Bildpunkte ansteht. Davon wird in Schaltungen 39, 40 der Absolutwert gebildet, der anschließend je einer Schwellwertschaltung 41, 42 zugeführt wird. Dort wird der Absolutwert jeweils mit einem Referenzwert DELTA-C verglichen.

Die Ausgangssignale der Schwellwertschaltungen 41, 42 werden je einem Eingang einer Und-Schaltung 43 zugeführt. Das Ausgangssignal der Und-Schaltung 43 nimmt den logischen Pegel 1 an, wenn von drei benachbarten Bildpunkten die Farbortdistanz zur Stanzfarbe kleiner als oder gleich DELTA-C ist. Es steuert eine Torschaltung 45 derart, daß Chrominanzwerte mit ausreichender Homogenität zum Ausgang 46 weitergeleitet werden, also aus der Gesamtheit der Chrominanzwerte herausgefiltert werden. Zwischen dem Eingang 31 und der Torschaltung 45 ist eine Verzögerungsschaltung vorgesehen - zum Ausgleich der Laufzeit der Schaltungen 33 bis 43.

Fig. 5b stellt die Testschaltung 11 (Fig. 1) dar, mit welcher diejenigen Farborte herausgefiltert werden, die weniger als eine vorgegebene Distanz DELTA-REF von der Stanzfarbe KC entfernt sind. Dazu werden wie bei der Anordnung nach Fig. 5a die Chrominanzsignale einem Koordinaten-Transformer 33 zugeführt. Der Abstand L(dCr, dCb) wird über eine Schwellwertschaltung 47 geleitet und steuert die Torschaltung 45, an deren Ausgang 46 diejenigen Farborte entnommen werden können, die einen kleineren Abstand als DELTA-REF von der Stanzfarbe aufweisen.

Beide Testschaltungen 10, 11 (Fig. 1) können durch dauerndes Schließen der Torschaltung 45 für alle Farborte durchlässig geschaltet werden, was in einzelnen Schritten des Verfahrens erforderlich ist.

Der Ablauf des gesamten Verfahrens wird anhand der Bildbeispiele gemäß Fig. 3 und der Darstellungen in der Farbebene gemäß Fig. 4 im folgenden erläutert. Es wird dabei von einem Bild (Fig. 3a) ausgegangen, das eine Blume in Rot- und Grünfarbtönen vor einem blauen Hintergrund darstellt. Die Aufnahme dieses Bildes ergibt das Vordergrundsignal FC. Die Verteilung der Farborte dieses Bildes ist in Fig. 4a dargestellt. Es befinden sich Schwerpunkte jeweils im roten, im grünen und im blauen Bereich, wobei die Anhäufung der Farborte im blauen Bereich durch die Blauwand bedingt ist. Außer diesen Anhäufungen bzw. Schwerpunkten enthält das Bild eine Reihe von Übergangsfarben.

Die für den ersten Verfahrensschritt wirksamen Teile der Anordnung nach Fig. 1 sowie deren Verbindungen untereinander sind in Fig. 6 dargestellt. In dem ersten Schritt wird mit Hilfe des Joysticks 6 und des H/V-Generators 3 (Fig. 6) ein Fenster 21 auf eine Stelle der Blauwand gerichtet, deren Farbe als Stanzfarbe definiert werden soll. Entsprechend der Wahl der Stanzfarbe mit Hilfe des Fensters 21 werden nur die innerhalb des Fensters befindlichen Chrominanzsignale aus dem Speicher 2 ausgelesen. Weitere Signale werden in diesem Verfahrensschritt nicht verwendet und sind daher in Fig. 3b schraffiert gekennzeichnet.

In der Farbebene ergeben sich durch diese Auswahl nur eng beieinander liegende Farborte 22, die im wesentlichen der Stanzfarbe KC gleichen (Fig. 4b). Die entsprechenden Chrominanzsignale gelangen über den Multiplexer 12 zu Adresseneingängen des Steuersignalspeichers 9. In die somit adressierten Speicherplätze werden vom digitalen Signalprozessor 4 vorgegebene Werte eingeschrieben, welche dem Überblendfaktor K = 1 entsprechen.

In einem weiteren Verfahrensschritt berechnet der digitale Signalprozessor 4 den Mittelpunkt der bisher abgelegten Farborte sowie den Radius des in Fig. 4c gestrichelt dargestellten Gebiets 23. Dazu ist der Adressenausgang des digitalen Signalprozessors 4 über den Multiplexer 12 gemäß Fig. 7 mit dem Adresseneingang des Steuersignalspeichers 9 verbunden.

Im folgenden werden die im Gebiet 23 liegenden Farborte daraufhin überprüft, ob sie das Homogenitätskriterium erfüllen. Dieses sind bei dem dargestellten Beispiel die in Fig. 4c als Punkte dargestellte Farborte. Zu dieser Berechnung wird durch eine entsprechende Steuerung der Multiplexer 5, 12 die Anordnung gemäß Fig. 8 betrieben.

Nachfolgend wird die Anordnung wieder gemäß Fig. 7 betrieben, wobei der digitale Signalprozessor 4 die Grenzen des geschlossenen Stanzgebietes K1 berechnet, für das K = 1 gilt und das in Fig. 4d dargestellt ist. Außerdem wird ein neuer Mittelpunkt der Stanzfarbe KC berechnet. Damit sind praktisch alle Farben der Blauwand erfaßt worden, was in Fig. 3c dargestellt ist.

In einem weiteren Verfahrensschritt erfolgt das Herausfiltern aller Vordergrund-Farborte, die das Homogenitätskriterium erfüllen und nicht zum Gebiet K1 gehören. Dazu wird die Anordnung gemäß Fig. 9 betrieben. Da das Homogenitätskriterium praktisch nur in der Nähe der Zentren der Vordergrund-Farborte erfüllt wird, werden durch diese Filterung nur entsprechende Farborte erfaßt, was in Fig. 4e in der Farbebene und in Fig. 3d als Schirmbild dargestellt ist.

Nach der Beendigung der Filterung aller im Speicher 2 abgelegten Chrominanzsignale wird die Anordnung wieder in die in Fig. 7 dargestellte Konfiguration umgeschaltet. Der digitale Signalprozessor berechnet dann zunächst eine Grenzlinie K0 (Fig. 4f), welche die Vordergrund-Farborte 24 ausgrenzt. Danach wird die Überblendsignaltabelle derart berechnet, daß zwischen K0 und K1 jeweils radial interpoliert wird, was in Fig. 4g durch einige Linien angedeutet ist. Schließlich werden vom digitalen Signalprozessor diejenigen Farborte, die außerhalb von K0 liegen, mit K = 0 und die Farborte innerhalb von K1 mit K = 1 aufgefüllt.

Zum Einblenden eines Hintergrundsignals anstelle der Blauwand werden die Chrominanzsignale des Vordergrundsignals den Adresseneingängen des Steuersignalspeichers 9 zugeführt. Das Steuersignal wird den Datenausgängen dieses Speichers entnommen und dem Steuereingang eines Überblenders in an sich bekannter Weise zugeführt.

Claims (6)

1. Verfahren zur Ableitung eines Steuersignals für die Einblendung eines Hintergrundsignals in durch eine Stanzfarbe festgelegte Teile eines Vordergrundsignals, wobei das Steuersignal einen ersten Wert annimmt, wenn das Vordergrundsignal eine Farbe im Bereich der Stanzfarbe darstellt, und einen zweiten Wert annimmt, wenn das Vordergrundsignal eine andere Farbe darstellt, und wobei das Steuersignal einen Übergangsbereich zwischen beiden Werten aufweist, dadurch gekennzeichnet,

• - daß zur Unterscheidung von Farborten, welche zu Vordergrundobjekten oder zur Stanzfarbe gehören, von Farborten, die dem Übergangsbereich zuzuordnen sind, die Abstände der Farborte der Bildpunkte des Vordergrundsignals vom Farbort der Stanzfarbe berechnet werden;
• - daß diejenigen Farborte, deren Abstand sich stärker als ein vorgegebener Abstand von Farborten eines oder mehrerer benachbarter Bildpunkte unterscheiden (Nichterfüllung eines Homogenitätskriteriums), als zum Übergangsbereich gehörend betrachtet werden und
• - daß für die Farborte im Übergangsbereich Zwischenwerte des Steuersignals berechnet werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Prüfung des Homogenitätskriteriums sowohl für die Ermittlung der Farborte, für welche das Steuersignal den ersten Wert annimmt, als auch der Farborte, für welche das Steuersignal den zweiten Wert annimmt, erfolgt.

3. Verfahren nach Anspruch 1, gekennzeichnet durch folgende Schritte:

• - Festlegen einer Stanzfarbe,
• - Ermitteln aller Farborte, die in einem vorgegebenen Abstand vom Farbort der Stanzfarbe liegen und die das Homogenitätskriterium erfüllen,
• - Definition eines geschlossenen Gebietes, bei welchem das Steuersignal den ersten Wert einnimmt, (Stanzgebiet) anhand der zuvor ermittelten Farborte,
• - Bestimmung des Zentrums des Stanzgebietes,
• - Ermitteln aller Farborte, die nicht zum Stanzgebiet gehören und das Homogenitätskriterium erfüllen (Vordergrund-Farborte),
• - Berechnen einer Grenzlinie zwischen den Vordergrund-Farborten und dem Übergangsbereich,
• - Berechnen von Übergangswerten zwischen dem Stanzgebiet und der Grenzlinie durch Interpolation zwischen dem ersten und dem zweiten Wert in, bezogen auf das Zentrum, radialer Richtung.

4. Anordnung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, daß Chrominanzsignale des Vordergrundsignals in einem Speicher (2) ablegbar sind, daß aus dem Speicher (2) wahlweise die Chrominanzsignale eines einstellbaren Fensters oder die von einem digitalen Signalprozessor (4) ausgewählten Chrominanzsignale auslesbar sind, daß die aus dem Speicher (2) ausgelesenen Chrominanzsignale über eine Torschaltung (8), über Testschaltungen (10, 11) und einen Multiplexer (12) Adresseneingängen eines Schreib/Lesespeichers (9) zuführbar sind und daß der digitale Signalprozessor (4) mit den Testschaltungen (10, 11), mit Daten-Ein/Ausgängen des Schreib/Lesespeichers (9) und mit dem Multiplexer (12) verbunden ist.

5. Anordnung nach Anspruch 4, dadurch gekennzeichnet, daß eine der Testschaltungen (10) Chrominanzsignale durchläßt, deren Farborte das Homogenitätskriterium erfüllen.

6. Anordnung nach Anspruch 4, dadurch gekennzeichnet, daß eine der Testschaltungen (11) Chrominanzsignale durchläßt, deren Farborte einen geringeren als einen vorgegebenen Abstand von der Stanzfarbe aufweisen.