-
Die
Erfindung betrifft ein Verfahren zur Erzeugung eines aus geformtem
Vordergrund- und Hintergrundsignal zusammengesetzten Videosignals gemäß dem sogenannten
Farbstanzen (Chroma-Key), wobei in durch eine vorgegebene Stanzfarbe
festgelegte Teile eines Vordergrundsignals ein Hintergrundsignal
mit Hilfe eines aus dem Vordergrundsignal abgeleiteten Steuersignals
nach dem Subtraktiv-Verfahren eingeblendet wird, indem der Anteil
eines Stanzfarben-Referenzvektors vom Vektor des Vordergrundsignals
subtrahiert wird und ein entsprechender Anteil des Vektors des neuen
Hintergrundsignals additiv eingeblendet wird nach der Gleichung: Vout = FG – k·KC + k·BG.
-
Ein
solches Verfahren ist bereits in der
DE 41 43 180 A1 beschrieben. Bei diesem bekannten
Subtraktiv-Verfahren ist jedoch noch nicht Bezug genommen auf das
Problem des von der Rückwand
des Vordergrundes erzeugten Streulichtes. Die Szenengestaltung beim
sogenannten Chroma-Key-Verfahren wird bekanntlich so durchgeführt, daß im Vordergrund
angeordnete Objekte vor einer einfarbigen Wand, meist Blauwand,
mit einer Fernsehkamera aufgenommen werden und die Bildteile der
Vordergrund-Blauwand durch eine Hintergrundszene ersetzt werden.
Dabei kann es oftmals vorkommen, daß das von der Blauwand erzeugte
Streulicht seitlich auf Teile der Vordergrundobjekte strahlt, wobei sowohl
an den Kanten als auch darüber
hinaus ein Blauschimmer entsteht. Das Streulicht sollte daher unbedingt
vermindert werden. Wenn man jedoch das Streulicht mit Hilfe des
bekannten Farbstanzverfahrens unterdrücken wollte, so würde dies
zu einer leichten Transparenz im Vordergrundobjekt führen. Bei
Vermeidung dieser Transparenz könnten
an den Stellen des Streulichtes dunkle Kanten und Flächen entstehen.
-
Aus
der
DE 42 29 377 A1 ist
ein Farbstanzverfahren bekannt, bei welchem der Einfluss von Streuungen
in den Farborten verschiedener Bereiche des Vordergrundes verringert
ist. Dazu werden für Gebiete
des Vordergrundsignals mit verschiedenen Farborten in Abhängigkeit
von der Distanz der jeweiligen Farborte vom Farbort des Stanzsignals
Steuersignale erzeugt.
-
Aus
der
US 5,343,252 ist
ein Verfahren zur Erzeugung von aus Vordergrund- und Hintergrundsignalen
zusammengesetzten Videosignalen bekannt, bei dem u.a. auch schon
eine Verminderung des Streulichtes angestrebt wird. Dieses bekannte
Verfahren und die zugehörige
Anordnung zur Durchführung
des Verfahrens sind jedoch relativ aufwendig in der Erzeugung mehrerer
Steuersignale für
die einzelnen Farbkomponenten.
-
Der
vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren
der eingangs genannten Art anzugeben, wobei Stanzfarben-Streulicht
unterdrückt
wird, ohne dunkle oder helle Kanten oder Flächen zu erzeugen.
-
Die
erfindungsgemäße Lösung dieser
Aufgabe wird dadurch erreicht, daß zur Unterdrückung von Stanzfarben-Streulicht
im Vordergrundsignal zunächst
von dem Steuersignal der Stanzfarbe nach Überschreiten eines einstellbaren
Schwellwertes ein modifiziertes Steuersignal für das Hintergrundsignal abgeleitet
wird und danach ein mit einem weiteren Steuersignal bewertetes,
künstliches
Hintergrund-Streulichtsignal dem Ausgangsvideosignal hinzugefügt wird
nach der Gleichung: Vout =
FG – k1·KC
+ k2·BG
+ k3·SP.
-
Das
erfindungsgemäße Verfahren
hat den Vorteil, daß nicht
nur das (blaue) Streulicht auf Vordergrundobjekte durch entsprechende
Beleuchtung, durch Wahl der streuenden Materialien und durch Positionierung
der Objekte vor der Blauwand reduziert wird, sondern daß mit dem
Hinzufügen
eines künstlichen
Hintergrund-Streulichtes
die Szenengestaltung einfacher bzw. unproblematischer durchgeführt werden
kann. Außerdem
kann das künstliche Hintergrund-Streulicht
sogar gezielt eingesetzt werden, um noch mehr natürliche Verbindung
von Hintergrund und Vordergrund zu erreichen.
-
Dadurch,
daß das
weitere Steuersignal durch Differenzbildung der Steuersignale von
Stanzfarbe und Hintergrundsignal abgeleitet wird, läßt sich selektiv
auf diejenigen Bereiche eines Bildes Einfluß nehmen, die beim Farbstanzen
in den Proportionalbereich fallen, also auf Objektkanten, auf halbtransparente
Objekte und auf streulichtbehaftete dichte Objekte. Eine derartige
Beeinflussung vermittelt den Eindruck einer zusätzlichen diffusen, rückwärtigen Beleuchtung,
wobei die Lichtquelle selbst nicht zu sehen ist. Der eingangs erwähnte Dunkelfehler
wird vollständig
kompensiert, so daß die
vorher abgedunkelten Kanten und Flächen jetzt erheblich natürlicher wirken.
-
Das
Maß der
Einflußnahme
ist zum einen abhängig
von der Größe der Differenz
der beiden Steuersignale, d.h. der Größe des Clip-Bereiches bei der Ableitung
des Steuersignals für
das Hintergrundsignal. Ein großer
Clip-Bereich ist dann notwendig, wenn im Bild viel Streulicht vorhanden
ist und entfernt werden sollte. Das Entfernen von viel blauem Streulicht
korrespondiert also automatisch mit dem Eindringen von viel künstlichem
Hintergrund-Streulicht.
-
Zum
anderen ist das Maß der
Einflußnahme aber
auch abhängig
von der Größe der virtuellen Streulichtsignalquelle,
welche im einfachsten Fall eine statische Farbfläche sein kann. Sie ist dabei zeitlich
und örtlich
konstant und ihre drei Parameter Y, CR und
CB können
z.B. manuell einstellbar sein. Damit läßt sich sowohl der Dunkelfehler
beheben als auch weitere Farbkorrektur- oder bildgestalterische Verfremdungseffekte
erzielen.
-
Weiterhin
ist es auch möglich,
die virtuelle Streulichtsignalquelle dynamisch zu machen und zwar
insbesondere in Abhängigkeit
vom Mittelwert des neuen Hintergrundsignals. Dabei soll das Streulichtsignal örtlich,
d.h. über
der Bildfläche,
konstant bleiben. Die Streulichtsignalquelle sollte ständig sowohl
luminanzmäßig als
auch chrominanzmäßig automatisch
dem Mittelwert des neuen Hintergrundbildes folgen. Damit entfällt nicht
nur die Notwendigkeit einer manuellen Einstellung, sondern es ergibt
sich damit auch ein noch natürlicherer
Bildeindruck. Das Hintergrund-Streulichtsignal des Vordergrundes
folgt somit dem mittleren Signalpegel des Hintergrundsignals und
vermittelt damit einen stärkeren
Eindruck der Zusammengehörigkeit.
Wenn das neue Hintergrundbild dunkel wird, fehlt auch das künstliche Streulicht
im Vordergrundbild und wenn sich das Hintergrundbild aufhellt, erhöht sich
das künstliche
Hintergrundstreulicht im Vordergrundbild.
-
In
weiteren Unteransprüchen
sind vorteilhafte Ausgestaltungen des erfindungsgemässen Verfahrens
sowie eine bevorzugte Anordnung zur Durchführung des Verfahrens angegeben.
-
Ein
Ausführungsbeispiel
der Erfindung ist in der Zeichnung dargestellt und in der nachfolgenden Beschreibung
näher erläutert. Es
zeigen:
-
1a ein
Diagramm des zeitlichen Verlaufs von Vordergrund- und Stanzfarbensignal,
-
1b ein
Diagramm des zeitlichen Verlaufs des zugehörigen Steuersignals,
-
1c ein
Diagramm des zeitlichen Verlaufs von Vordergrund- und entsprechendem
Hintergrundsignal,
-
2a ein
Diagramm über
den Zusammenhang der beiden neuen Steuersignale für Vordergrund-
und Hintergrundsignal,
-
2b ein
Diagramm des Differenzsignals der beiden neuen Steuersignale,
-
3a ein
Diagramm des zeitlichen Verlaufs von Vordergrund- und Stanzfarbensignal
mit Streulichtanteil,
-
3b ein
Diagramm des zeitlichen Verlaufs der zugehörigen Steuersignale,
-
3c ein
Diagramm des zeitlichen Verlaufs von Vordergrund- und Hintergrundsignal
mit dem entsprechenden Streulicht-Entzug,
-
4a ein
Diagramm über
den Zusammenhang der beiden neuen Steuersignale für einen
weiteren Anwendungszweck,
-
4b ein
Diagramm des Differenzsignals für
diesen weiteren Anwendungszweck,
-
5 eine
Anordnung zur Durchführung
des erfindungsgemäßen Verfahrens.
-
In 1 sind die zeitlichen Verläufe der
beim Subtraktiv-Verfahren des Farbstanzens (Chroma-Key) vorkommenden
Signale dargestellt. 1a zeigt den zeitlichen Verlauf
des Vordergrundsignals FG und des Signals der im Vordergrundbild
vorhandenen Stanzfarbe KC (meist blau), welche durch ein entsprechendes
Hintergrundsignal BG ersetzt werden soll. In 1b ist
der zeitliche Verlauf des Steuersignals k dargestellt, mit welchem
die Anteilsbildung zwischen dem Vordergrund- und dem Hintergrundsignal
durchgeführt
werden kann. Bei dem Subtraktiv-Verfahren wird bekanntlich der ermittelte Anteil
eines Stanzfarben-Referenzvektors KC von dem Vordergrundsignal FG
subtrahiert und ein entsprechend großer Anteil des neuen Hintergrundsignals
BG additiv eingeblendet gemäß der Gleichung Vout = FG – k·KC + k·BG.
-
Als
Maß für die Anteilsbildung
dient das Steuersignal k1 welches sich zunächst in
drei Wertebereiche unterteilen läßt:
-
1. Der Vordergrundbereich:
-
Das
Steuersignal k hat den Wert 0 dort, wo das Bildsignal eindeutig
dem Vordergrund zugeordnet werden kann, der an dieser Stelle absolut
unbeeinflußt
ist von der Stanzfarbe KC. Hier wird weder Stanzfarbe entzogen,
noch neuer Hintergrund eingeblendet.
-
2. Der Hintergrundbereich:
-
Das
Steuersignal k hat den Wert 1 dort, wo das Bildsignal Stanzfarbenwerte
annimmt, die der gewählten
Referenzstanzfarbe entsprechen (oder sie sogar übertreffen). Hier besteht das
Bildsignal nur aus der Stanzfarbe, welche beim Stanzvorgang vollständig entzogen
wird und durch einen zu 100 % eingeblendeten neuen Hintergrund ersetzt
wird.
-
3. Der Proportionalbereich:
-
Das
Steuersignal k hat Werte zwischen 0 und 1 im sogenannten Proportionalbereich
dort, wo die Stanzfarbe nicht vollständig, sondern nur ein Teil von
ihr wegen Schattenbildung oder teilweiser Verdeckung durch das Vordergrundobjekt
sichtbar ist. Hier wird auch nur ein proportionaler Anteil der Referenzstanzfarbe
entzogen. Somit bleibt der Anteil des Vordergrundsignals übrig, und
es wird ein Anteil des neuen Hintergrundsignals eingeblendet, dessen
relative Größe derjenigen
der entzogenen Stanzfarbe entspricht.
-
Diese
Unterteilung in drei Bereiche ist normalerweise ausreichend, jedenfalls
solange die Erfassung des Stanzfarbenanteils beim Farbstanzen auch
wirklich einen zutreffenden Rückschluß auf die Sichtbarkeit
der Blauwand und damit auf die zukünftige Sichtbarkeit des neuen
Hintergrunds zuläßt. Ein relativ
großes
Steuersignal k besagt normalerweise, daß relativ viel von der hinteren
Blauwand sichtbar war und daß das
Vordergrundobjekt an dieser Stelle besonders transparent gewesen
sein muß.
Also muß normalerweise
nach dem Stanzfarben-Entzug eine entsprechend starke Hintergrundeinblendung
stattfinden, wie aus 1c zu ersehen ist.
-
Wenn
nun aber blaues Streulicht von der hinteren Blauwand seitlich auf
das Vordergrundobjekt fällt,
dann läßt die Sichtbarkeit
der Stanzfarbe keinen ausreichenden Rückschluß mehr auf die Vordergrundtransparenz
zu. Das blaue Streulicht auf einem dichten Vordergrundobjekt führt zwar
zu einem bestimmten Wert des Steuersignals k, aber es wäre falsch,
von diesem Steuersignal k auf die Sichtbarkeit der Blauwand bzw.
des zukünftigen
Hintergrundes zu schließen.
Das Steuersignal würde
hier eine teilweise Hintergrundeinblendung vornehmen und dadurch das
Vordergrundobjekt transparent erscheinen lassen.
-
Zur
Vermeidung einer solchen Transparenz, die durch das Streulicht verursacht
wird, ist es bekannt (siehe
US
5,343,252 ), zwischen einem Steuersignal k
1,
das den abzuziehenden Stanzfarbenanteil bestimmt, und einem modifizierten
Steuersignal k
2, das den einzublendenden
Hintergrundanteil bestimmt, zu unterscheiden. Die Subtraktionsgleichung wird
dafür wie
folgt modifiziert:
Vout =
FG – k1·KC
+ k2·BG. -
2a zeigt
den Zusammenhang zwischen den Steuersignalen k
1 und
k
2. Das Steuersignal k
1 entspricht
dabei dem früheren
Steuersignal k und das Steuersignal k
2 geht
aus dem Steuersignal k
1 (bzw. k) durch gängiges Clip-/Gain-Verarbeiten
(siehe z.B.
EP 0 267
553 B1 ) hervor. Beim Steuersignal k
2 ist
der Vordergrundbereich (Wert 0) ausgeweitet gegenüber dem
Steuersignal k
1, d.h. die Hintergrundeinblendung
wird also noch in den Bereichen unterdrückt, in denen schon eine gewisse
Stanzfarben-Subtraktion stattfindet (k
1 > 0), somit folgt das
Steuersignal k
1 dem streulichtfreien Vordergrundanteil
und das neue Steuersignal k
2 folgt dem streulichtbehafteten
Vordergrundanteil, wie in den
3a und
3b dargestellt
ist.
-
Die
positive Folge dieser Verfahrensweise ist, daß einerseits dem Vordergrundobjekt
das blaue Streulicht vollständig
entzogen wird und daß andererseits
in dem reinen Streulichtbereich SP der Vordergrund gleichzeitig "dicht" bleibt. Der Nachteil
dieser Verfahrensweise ist, daß ein
derartiger Streulichtentzug einen Signalmangel hinterläßt, der
durch nichts wieder aufgefüllt
wird, siehe 3c. Flächen, die vormals vom Streulicht
beeinflußt
waren, bekommen jetzt dunkle Schatten und Objektkanten bekommen
dunkle Konturen, weil auch ihnen ein Signalanteil entzogen wurde.
Das wiedergegebene Bild macht dadurch einen unnatürlichen
und harten Eindruck.
-
Um
diesen Mangel zu beheben, wird erfindungsgemäß vorgeschlagen, ein neues,
künstliches Streulichtsignal
zu erzeugen und dem Bild additiv hinzuzufügen. Das neue Hintergrund-Streulichtsignal kann
dabei von einer virtuellen Streulichtsignalquelle SP (umfassend
die Signal Y, CR, CB) abgeleitet und mit einem geeigneten weiteren
Steuersignal k3 gesteuert werden.
-
Der
Signaleinbruch zwischen dem Vordergrund- und dem Hintergrundsignal
in 3c ist durch den Unterschied zwischen den Steuersignalen
k1 und k2 entstanden
und soll nun kompensiert werden. Zweckmäßigerweise kann die Kompensation
dadurch erreicht werden, daß das
künstliche
Streulichtsignal mit einem Steuersignal k3 gesteuert
wird, welches vorzugsweise der Differenz der Steuersignale k1 und k2 entspricht.
Somit müßte die
vorgenannte Gleichung um den Term (k1 – k2)·SP
ergänzt
werden zu: Vout = FG – k1·KC
+ k2·BG
+ (k1 – k2)·SP.
-
Hierzu
zeigt die 2b das Steuerdifferenzsignal über k1. Es ist 0 sowohl im reinen Vordergrundbereich
(k1 = 0 und k2 =
0), als auch im reinen Hintergrundbereich (k1 =
1 und k2 = 1). Diese beiden Bereiche werden
also durch die Streulichtsignalsteuerung in keiner Weise beeinflußt. Die
Streulichtsignalwirkung ist in einem mittleren k1-Bereich
am größten und zwar
dort, wo k2 seinen Einsatzpunkt hat. Mit
Hilfe dieses Signals läßt sich
also der Signaleinbruch gemäß 3c vollständig kompensieren.
-
Bei
dem bisher betrachteten Verfahren der Streulichtbeseitigung auf
Vordergrundobjekten unterläuft
das zusätzliche
Steuersignal k2 gemäß 2a das
Vordergrundsteuersignal k1. Die daraus resultierenden
Abdunkelungseffekte sollen mit dem erfindungsgemäß vorgeschlagenen virtuellen
Hintergrund-Streulichtsignal beseitigt werden. Für die Ableitung eines separaten
Hintergrund-Steuersignals k2 besteht aber
noch eine andere Notwendigkeit. Zur Vermeidung von Modulationen
des Hintergrund-Steuersignals im Hintergrundbereich (wie Rauschen
oder Schatten) durch das sogenannte "Clean-up"-Verfahren, muß das Steuersignal k2 am oberen Ende begrenzt werden. Dies wird
ebenfalls durch eine Clip-/Gain-Bearbeitung realisiert und führt zu dem
Kurvenverlauf gemäß 4a.
Hierbei ist nicht mehr der Vordergrundbereich des Steuersignals
k2, sondern der Hintergrundbereich ausgeweitet. Die
Werte des Steuersignals k2 liegen jetzt
oberhalb von denen des Vordergrundsignals k1.
Die Folge davon ist, daß im
Proportionalbereich mehr Hintergrundsignal hinzugefügt wird
als vorher Stanzfarbe entzogen wurde. Das tritt dadurch in Erscheinung, daß vor allem
an Objektkanten unnatürliche,
helle Kanten entstehen.
-
Zur
Vermeidung dieser hellen Kanten wird auch hierbei ein künstliches
Streulichtsignal SP hinzugefügt.
Gemäß 4b ist
gezeigt, daß das
Steuerdifferenzsignal k1 – k2 jetzt einen negativen Wert hat. Das bedeutet,
daß im
kritischen Bereich jetzt ein Hintergrund-Streulichtsignal abgezogen
wird. Wenn das Streulichtsignal SP der mittleren Helligkeit des Hintergrundsignals
entspricht, dann wird im Proportionalbereich (im Mittel) auch gerade
derjenige Betrag subtrahiert, der vorher zuviel hinzugefügt wurde.
-
In 5 ist
eine vorteilhafte Anordnung zur Durchführung des erfindungsgemäßen Verfahren dargestellt.
Dieser Anordnung wird bei 1 ein Vordergrundsignal FG und bei 2 ein
Hintergrundsignal BG zugeführt,
wobei beide jeweils aus einem Luminanzanteil Y und den Chrominanzanteilen
CR und CB bestehen.
Das Vordergrundsignal FG wird einerseits einem ersten Eingang einer
ersten Addierstufe 3 und andererseits einem Stanzsignalprozessor 4 zur
Erzeugung des Steuersignals k1 zugeführt. Das vom Vordergrundsignal
abgeleitete Steuersignal k1 wird dann einem
ersten Eingang eines ersten Multiplizierers 5 zugeleitet,
an dessen anderen Eingang das Ausgangssignal – KC eines Stanzfarben-Signalgenerators 6 anliegt.
Das Ausgangssignal des ersten Multiplizierers 5 wird dem
zweiten Eingang der Addierstufe 3 zugeführt. Das vom Eingang 2 kommende Hintergrundsignal
BG wird einem ersten Eingang eines zweiten Multiplizierers 7 zugeführt, an
dessen zweiten Eingang ein von dem Steuersignal k1 in
einer Clip- und Gainstufe 8 abgeleitetes Steuersignal k2 anliegt. Der Ausgang des zweiten Multiplizierers 7 ist mit
einem dritten Eingang der ersten Addierstufe 3 verbunden.
-
Von
dem Hintergrundsignal BG wird nun außerdem noch ein Hintergrund-Streulichtsignal
SP mit Hilfe einer Integrationsstufe 9 abgeleitet und einem ersten
Eingang eines dritten Multiplizierers 10 zugeführt, an
dessen zweiten Eingang ein weiteres Steuersignal k3 anliegt,
welches durch Differenzbildung der Steuersignale k1 und
k2 in der Stufe 11 abgeleitet wurde.
Dieses mit k3 bewertete Hintergrund-Streulichtsignal
wird nun einem Eingang einer zweiten Addierstufe 12 zugeführt, deren
anderer Eingang mit dem Ausgang der ersten Addierstufe 3 verbunden
ist. Damit kann am Ausgang 13 der Anordnung ein von Streulichtsignalanteilen
weitgehend befreites Ausgangsvideosignal Vout gemäß der Gleichung Vout = FG – k1·KC
+ k2·BG
+ k3·SPabgenommen
werden.