DE19504304C2 - Farbtaster-Vorrichtung mit Korrektureinrichtung für Defekte im Hintergrund - Google Patents
Farbtaster-Vorrichtung mit Korrektureinrichtung für Defekte im HintergrundInfo
- Publication number
- DE19504304C2 DE19504304C2 DE19504304A DE19504304A DE19504304C2 DE 19504304 C2 DE19504304 C2 DE 19504304C2 DE 19504304 A DE19504304 A DE 19504304A DE 19504304 A DE19504304 A DE 19504304A DE 19504304 C2 DE19504304 C2 DE 19504304C2
- Authority
- DE
- Germany
- Prior art keywords
- signal
- circuit
- control signal
- generating
- chroma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Description
Die vorliegende Erfindung betrifft eine Farbtaster-Vorrichtung
(Chroma-Key-Vorrichtung) zur Erzeugung eines Spezialeffektes
in einer Videoaufnahme, und insbesondere eine Chroma-Key-Vor
richtung mit einer Einrichtung zur Korrektur von Defekten im
Hintergrund, zum Beispiel ein ungleichmäßiger Ausleuchtungs
grad und/oder Farbtemperatur, Knicke und Falten, Flecke und
eine Verwendung von Farben mit unterschiedlichen Verhältnissen
zwischen Luminanz und Chrominanz.
Bei einem typischen reellen Setup, auch als Farbtaster- oder
Chroma-Key-Set bezeichnet (Fig. 2) ist ein Objekt oder eine
Szene im Vordergrund, beispielsweise eine Blumenvase, vor
einer Hintergrundszene (Fig. 1) mit einheitlicher Farbe, übli
cherweise blau oder grün, angeordnet. Das Chroma-Key-Set wird
dann mit einer Videokamera aufgenommen. Das Videoausgangssig
nal der Kamera wird von einer Chroma-Key-Quelle modifiziert,
um die farbige Hintergrundszene durch eine neue Hintergrund
szene auszutauschen (Fig. 3), beispielsweise ein Zimmer mit
einem Tisch und anderen Objekten. Das Ergebnis ist ein visu
eller Effekt, der den Anschein erweckt, die Vordergrundszene
befände sich vor der neuen Hintergrundszene (Fig. 4). Im Film
gibt es eine ähnliche Technik, die als "Matting" bezeichnet
wird.
Mit herkömmlichen Chroma-Key-Schaltungen ist es bisher nicht
immer möglich gewesen, Ergebnisse zu erzeugen, die frei von
unerwünschten Nebenprodukten sind. Insbesondere stellen sich
derartige Nebenprodukte ein, wenn die farbige Hintergrundszene
nicht perfekt ist, d. h. einheitliche Farbe und Helligkeit auf
weist. Eine Uneinheitlichkeit der farbigen Hintergrundszene
(Fig. 1), beispielsweise ein ungleichmäßiger Ausleuchtungsgrad
und/oder Farbtemperatur, Knicke und Falten, Flecke und eine
Verwendung von Farben mit unterschiedlichen Verhältnissen zwi
schen Luminanz und Chrominanz zwingt zu Kompromissen bei der
Art, in der die Chroma-Key-Schaltung eingerichtet ist. Es ist
zum Beispiel eine bei der Erzeugung eines Chroma-Key-Effektes
angewandte übliche Vorgehensweise, Requisiten in das Chroma-
Key-Set zu stellen, die dieselbe Farbe wie die farbige Hinter
grundszene haben. Diese Requisiten können Felsen, Tische,
Stühle oder jedes beliebige Objekt darstellen, auf dem das im
Vordergrund befindliche Objekt stehen oder sitzen bzw. um den
es sich herum bewegen kann. Die auf diese Requisiten aufge
brachte Farbe sollte dasselbe Luminanz-Chrominanz-Verhältnis
haben, so daß sie der Farbe der Hintergrundszene entsprechen.
Dennoch ist dies häufig nicht der Fall. Stimmt die Farbe der
Requisiten nicht, dann wird bei den meisten herkömmlichen
Chroma-Key-Schaltungen die Unterdrückung der Luminanz schwie
rig, da die Unterdrückung der Luminanz ausgehend von der
Unterdrückung der Chrominanz durch eine Proportionalitätskon
stante festgelegt ist. Ist die Luminanzunterdrückung für die
farbige Hintergrundszene eingestellt, dann stimmt sie für die
Requisiten nicht - sie ist entweder ungenügend oder übermäßig
unterdrückt. Ist die Luminanzunterdrückung für die Requisiten
eingestellt, dann ist die farbige Hintergrundszene ähnlich
ungeeignet unterdrückt. Bei einer übermäßigen Unterdrückung
werden die Ränder des Vordergrundobjekts verschlechtert, so
daß Details der Ränder verlorengehen. Eine zu geringe Unter
drückung hat zur Folge, daß die neue Hintergrundszene im zu
sammengesetzten Bild einen falschen Luminanzgrad hat. Ein Be
diener muß daher entscheiden, welches Nebenprodukt sich weni
ger störend auf einen bestimmten gewünschten Effekt auswirkt.
Ein ähnliches Problem tritt aufgrund von ungleichmäßiger Aus
leuchtung, Flecken, und Falten im Chroma-Key-Set auf. In die
sem Fall funktioniert zwar die Unterdrückung der farbigen
Hintergrundszene problemlos, jedoch wird die Aufbereitung der
neuen Hintergrundszene beeinträchtigt, da ein Steuersignal von
der Chroma-Key-Schaltung, welches an die neue Hintergrundszene
angelegt wird, um dort, wo sich das Vordergrundobjekt befin
det, ein Loch zu schneiden, so aufbereitet werden muß, daß es
nicht auf die Flecken, Falten und Ausleuchtungsdefekte an
spricht. Dies erfordert Verstärkungs- und Schneidevorgänge,
und je mehr Verstärkung erforderlich ist, desto mehr ver
schlechtern sich die Ränder zwischen der neuen Hintergrundszene
und dem Vordergrundobjekt. Die Ränder erscheinen hart und De
tails gehen verloren.
Ein ähnliches Problem stellt sich ein, wenn die farbige Requi
site in das Chroma-Key-Set gestellt wird. Auf die Requisite
fallen zwangsweise Schatten bzw. sie wirft Schatten auf andere
Teile des Sets. Selbst bei gleichmäßiger Ausleuchtung entsteht
bei Objekten im Set der Eindruck, die Ausleuchtung sei un
gleichmäßig, aufgrund der ungleichmäßigen Reflexion von Licht
unter unterschiedlichen Winkeln und von unterschiedlichen Arten
von Oberflächen. Diese Abweichungen machen es ebenfalls
erforderlich, das Chroma-Steuersignal zu verstärken bzw. zu
schneiden, woraus sich ein Verlust der Randdetails ergibt.
Wenn die Ausleuchtung keine einheitliche Farbtemperatur hat,
stellt sich bei den meisten Chroma-Key-Schaltungen eine unzu
reichende Chrominanz-Unterdrückung ein, da die meisten Chroma-
Key-Schaltungen im Unterdrückungsprozeß eine reine Farbe verwen
den. Der Rest der unzulänglichen Chrominanzunterdrückung wird
zur neuen Hintergrundszene hinzuaddiert, was dazu führt, daß
Bereiche im zusammengesetzten Bild Farbwertfehler enthalten
(Fig. 4).
Daher verursachen Chroma-Key-Sets mit Defekten in der farbigen
Hintergrundszene, wie sie voranstehend beschrieben sind, uner
wünschte Nebenprodukte im resultierenden Chroma-Key-Effekt. Das
Bestreben ist zwar darauf gerichtet, die farbige Hinter
grundszene ideal zu machen, d. h. völlig einheitlich aus der
Sicht der Kamera; in der Praxis jedoch ist dies durch Verän
derungen am Set oder seiner Ausleuchtung nicht möglich, ins
besondere wenn Requisiten verwendet werden.
Aus der US 3,560,638 ist bekannt, zur Erzeugung eines Key-Sig
nals in einem Chroma-Key-System ein Referenzsignal einer Signal
quelle zu verwenden. Als Signalquelle kann eine von zwei Kame
ras, deren Signale kombiniert werden sollen, oder eine alterna
tive Signalquelle verwendet werden.
Im U.S.-Patent Nr. 5,032,901 "Backing Color and Luminance
Nonuniformity Compensation for Linear Image Compositing",
erteilt am 16. Juli 1991 an Petro Vlahos, sind zwei Verfahren
zur Korrektur einer Chroma-Key-Operation auf der Grundlage
eines Referenzbildes der farbigen Hintergrundszene ohne Vor
dergrundobjekt beschrieben. Die in Fig. 13A des U.S.-Patents
Nr. 5,032,901 dargestellte Schaltung hat einen Block 121, der
das Chroma-Key-Signal erzeugt, welches zur Formung der neuen
Hintergrundszene verwendet wird, wobei ein Farbwertwähler und
ein Referenzbild verwendet werden. Der Farbwertwähler wird vor
eine eingebaute Speichervorrichtung geschaltet, welche das
Ausgangssignal des Farbwertwählers normalisiert, das nur zur
Formung der neuen Hintergrundszene verwendet wird. Die Schal
tungen+ 112, 115 aus Fig. 13A stellen Unterdrückungsschaltun
gen mit einer Korrekturfunktion für Defekte in der farbigen
Hintergrundszene dar. Der beschriebene Ansatz ähnelt einer
herkömmlichen Chroma-Key-Schaltung, d. h. er formt ein einheit
liches Mittelwert-Signal (Matte-Signal) und ein konstantes Lu
minanz/Chrominanz-Verhältnis mit dem Ausgangssignal eines her
kömmlichen Farbwertwählers, das auf die Defekte in der farbi
gen Hintergrundszene anspricht, und subtrahiert das Ergebnis
von der farbigen Hintergrundszene. Wenn die unzulängliche far
bige Hintergrundszene ohne das Vordergrundobjekt unterdrückt
wird, dann entsteht als Ergebnis der Unterdrückung ein Fehler
aufgrund der Defekte. Der Fehler wird in einem Speicher ge
speichert und von dem Ausgangssignal des Farbwertwählers ge
formt, so daß er nicht auf das Vordergrundobjekt anspricht.
Wird die farbige Hintergrundszene mit dem Vordergrundobjekt
verarbeitet, dann wird das geformte Fehlerausgangssignal aus
dem Speicher dazu verwendet, den Restfehler in der farbigen
Hintergrundszene zu entfernen. In Fig. 10 ist eine Schaltung
zur Normalisierung der Farbe der farbigen Hintergrundszene zur
Eingabe in eine herkömmliche Chroma-Key-Vorrichtung offenbart.
Dementsprechend stellt die vorliegende Erfindung eine Chroma-
Key-Vorrichtung mit einer Korrektureinrichtung für Defekte im
Hintergrund zur Verfügung, beispielsweise für ungleichmäßigen
Ausleuchtungsgrad und/oder Farbtemperatur, Knicke und Falten,
Flecke und eine Verwendung von Farben mit unterschiedlichen
Verhältnissen zwischen Luminanz und Chrominanz.
Diese Aufgabe wird gelöst durch die Merkmale des unabhängigen
Anspruchs.
Es wird ein Referenzeingang verwendet, der ein Chroma-Key-Set mit
einer farbigen Hintergrundszene und beliebigen Requisiten ohne
ein Vordergrundobjekt ist. Der Referenzeingang wird mit dem
Chroma-Key-Set mit dem Vordergrundobjekt verglichen, um ein
Chroma-Key-Steuersignal zu erzeugen, das nur die Auswirkung
beschreibt, die das Vordergrundobjekt auf das Chroma-Key-Set
hat, und nicht auf die Defekte des Hintergrundes anspricht.
Das Chroma-Key-Steuersignal wird an den Referenzeingang selbst
angelegt, um die farbige Hintergrundszene sowie die Defekte
des Hintergrundes zu unterdrücken, ohne daß hierbei uner
wünschte Nebenprodukte entstehen. Wird das Chroma-Key-Signal
auch zur Aufbereitung einer neuen Hintergrundszene verwendet,
so daß das Objekt im Vordergrund zu diesem addiert werden
kann, sind keine Kompromisse aufgrund von Defekten erforder
lich, da das Chroma-Key-Steuersignal keine Ansprechreaktion
auf sie enthält.
Weitere Merkmale und Vorteile der vorliegenden
Erfindung ergeben sich aus der nachstehenden detaillierten
Beschreibung in Verbindung mit den nachstehenden Ansprüchen
und den beigefügten Zeichnungen.
Es zeigen
Fig. 1 eine bildliche Darstellung einer farbigen Hinter
grundszene mit verschiedenen Defekten;
Fig. 2 eine bildliche Darstellung der farbigen Hintergrund
szene aus Fig. 1 mit einem Objekt im Vordergrund;
Fig. 3 eine bildliche Darstellung einer neuen Hintergrund
szene;
Fig. 4 eine bildliche Darstellung eines zusammengesetzten
Bildes, das aus der neuen Hintergrundszene und dem
Objekt aus dem Vordergrund gebildet ist, wie es eine
Chroma-Key-Vorrichtung aus dem Stand der Technik
erzeugt;
Fig. 5 ein Blockschaltbild einer Chroma-Key-Vorrichtung mit
einer Korrektureinrichtung für Defekte im Hinter
grund gemäß vorliegender Erfindung;
Fig. 6 ein Blockschaltbild eines Chroma-Key-Preprozessors
mit einer Korrektureinrichtung für Defekte im
Hintergrund gemäß vorliegender Erfindung;
Fig. 7 ein Blockschaltbild eines Chroma-Key-Preprozessors
mit einer Korrektureinrichtung für Defekte im
Hintergrund, einschließlich Rauschverringerung,
gemäß vorliegender Erfindung;
Fig. 8 eine bildliche Darstellung des Objektes im Vorder
grund mit Hintergrundunterdrückung, bei der die
Defekte im Hintergrund erfindungsgemäß korrigiert
wurden,
Fig. 9 eine bildliche Darstellung des zusammengesetzten
Bildes, wie es von der Chroma-Key-Vorrichtung er
zeugt wird, wobei Defekte im Hintergrund erfin
dungsgemäß korrigiert wurden.
Es wird nunmehr auf die Fig. 5 Bezug genommen, die eine farbi
ge Hintergrundszene 10 mit einem Objekt 12 im Vordergrund
zeigt, die von einer Kamera 13 aufgenommen wird, um ein Video
signal zu erzeugen. Das Videosignal wird einer Eingangs-Um
setzungsmatrix 14 eingegeben, um das Videosignal in die Kompo
nenten Luminanz Y und Chrominanz C (U, V) umzuwandeln. Ein von
einem Referenzmedium 16 kommendes Referenz-Videosignal, das
die farbige Hintergrundszene 10 mit Requisiten, aber ohne das
Objekt 12 im Vordergrund darstellt, wird synchron mit dem Vi
deosignal von der Kamera 13 ausgelesen und einer Referenz-
Umsetzungsschaltung 18 eingegeben, um das Referenzsignal in
die Komponenten Luminanz Y und Chrominanz C (U, V) umzuwandeln.
Die Chrominanzkomponenten des Videosignals werden einem Farb
wertwähler 20 eingegeben, der einen herkömmlichen Aufbau haben
kann, wie er in Fig. 4 des U.S.-Patents Nr. 5,251,016 "Chroma
Keyer with Secondary Hue Selector" (James A. Delwiche) vom 5.
Oktober 1993 gezeigt ist, um ein erstes Chroma-Steuersignal zu
erzeugen. Die Chrominanzkomponenten des Referenzsignals werden
einer Chrominanzgrößenschaltung 22 eingegeben, die ein Größen
signal erzeugt, welches der Quadratwurzel der Summe der Qua
drate der beiden Chrominanzkomponenten U, V entspricht. Das
Größensignal wird einer Kehrwertschaltung 24 eingegeben, und
das Kehrwertgrößensignal wird in einer Mischschaltung 26 mit
dem ersten Chromasteuersignal vom Farbwertwähler 20 multipli
ziert, um das Chroma-Key-Steuersignal zu erzeugen.
Das Chroma-Key-Steuersignal wird in zwei Vorgängen verwendet
- bei der Unterdrückung des Hintergrundes und bei der Formung
des neuen Hintergrundes. Die Unterdrückung wird dadurch er
zielt, daß ein Vektor für die unzulängliche farbige Hinter
grundszene konstruiert wird, wobei ein Loch an der Stelle ist,
an der sich das Objekt im Vordergrund befindet. Der Vektor
wird konstruiert, indem mit den Vektoren für den unzulängli
chen farbigen Hintergrund, wie er durch das Referenzsignal
dargestellt wird, und dem Chroma-Key-Steuersignal in den
Mischschaltungen 28, 30 für jeweils die Luminanz- bzw. Chro
minanzkomponenten das Skalarprodukt gebildet wird. Die Aus
gangssignale der Mischschaltungen 28, 30 werden in den Sub
traktionsschaltungen 32, 34 vom Videosignal subtrahiert, so
daß nur das Vordergrundsignal am Ausgang auftritt. Das Chroma-
Key-Steuersignal wird auch einer Tast-Schaltung (Key-Schal
tung) 36 eingegeben, um ein Tast-Signal (Key-Signal) zum
Schneiden eines Loches in den neuen Hintergrund zu erzeugen,
in welches das Vordergrundsignal eingesetzt wird, d. h. zum
Formen des neuen Hintergrundes. Das Tast-Signal von der Tast-
Schaltung 36 und das VGD-Signal (Vordergrund) von den Subtrak
tionsschaltungen 32, 34 werden von einer (nicht-dargestellten)
Tast-Vorrichtung dazu verwendet, das VGD-Signal mit dem neuen
Hintergrund zusammenzusetzen. Das resultierende zusammenge
setzte Signal ist in Fig. 9 ohne jegliche Defekte im Hinter
grund dargestellt.
Das Referenzsignal kann von einer Anzahl von Signalquellen
bereitgestellt werden. Eine Signalquelle ist ein Magnetband
gerät, das eine Aufzeichnung des Chroma-Key-Sets, aus dem das
im Vordergrund befindliche Objekt entfernt wurde, abspielt.
Für diese Signalquelle kann eine Kamera so lange geschwenkt
oder gezoomt oder bewegt werden, bis sie ihre Bewegung Bild
für Bild der Kamerabewegung anpaßt, die bei der Aufnahme des
Chroma-Key-Sets mit dem eingesetzten Objekt im Vordergrund
ausgeführt wurde. Eine andere Signalquelle ist eine Live-
Kameraaufnahme des Chroma-Key-Sets ohne das Objekt im Vorder
grund, welche in Verbindung mit einer Aufnahme des Chroma-Key-
Sets mit dem Objekt im Vordergrund verwendet wird. In diesem
Fall wiederum kann die Kamerabewegung wie voranstehend erwähnt
ausgeführt werden. Ein Vorteil dieser Signalquelle gegenüber
der Verwendung eines Magnetbandgerätes zur Eingabe des Refe
renzsignals besteht darin, daß die Unterdrückung kein zusätz
liches, die Aufnahme begleitendes Rauschen verursacht. Eine
weitere Signalquelle ist ein Bild des Chroma-Key-Sets ohne das
Objekt im Vordergrund aus einem Bildspeicher. Für diese Sig
nalquelle muß die Kamera in einer festen Position sein. Ein
Vorteil hierbei ist, daß der Bildspeicher eine rekursive
Rauschverringerung der farbigen Hintergrundszene verwenden
kann, wie es nachstehend ausgeführt ist. Diese Signalquellen
erfordern Vorbedacht.
Es ist unter gewissen Umständen möglich, das Referenzsignal
synthetisch zu erzeugen, indem die farbige Hintergrundszene
mit dem Objekt im Vordergrund abgespielt wird, während selek
tiv in einen Bildspeicher eingeschrieben wird. Ein Kriterium
für die Selektion beruht auf einem Vergleich dessen, was im
Bildspeicher gespeichert ist, mit dem, was im Chroma-Key-Set
passiert, wenngleich auch andere Kriterien möglich sind. Wenn
sich das Objekt im Vordergrund, beispielsweise eine Person, im
Chroma-Key-Set herumbewegt, dann ersetzen die Teile der farbi
gen Hintergrundszene, die zum Vorschein kommen, das, was sich
im Bildspeicher befindet, so daß es möglich ist, schließlich
die gesamte farbige Hintergrundszene zu füllen. Für den Fall,
daß das im Vordergrund befindliche Objekt undurchsichtig ist
und sich nicht bewegt, um einen Teil der farbigen Hintergrund
szene zum Vorschein zu bringen, ist dieser Teil eigentlich
nicht wirklich wichtig. Diese Technik funktioniert nicht
immer, denn wenn das Objekt im Vordergrund durchsichtig ist
und sich nicht bewegt, verschwindet das Vordergrundobjekt.
Um dieselben Vorteile bei der Hintergrundkorrektur für beste
hende herkömmliche Chroma-Key-Vorrichtungen bereitzustellen,
wird ein Chroma-Key-Preprozessor bereitgestellt, wie in Fig. 6
und 7 gezeigt, der die farbige Hintergrundszene zu einer Mit
telwerts-Farbe (Matte-Farbe) normalisiert. Diese Schaltungen
sind der in Fig. 5 dargestellten sehr ähnlich, aber ohne die
Tast-Schaltung 36, mit der Ausnahme, daß ein Referenz-Matte-
Generator 38 zusammen mit Subtraktionsschaltungen 40, 42 hin
zukommt und eine Fehlerkorrektur anstelle einer Hintergrund
unterdrückung durchgeführt wird. Ein Fehlersignal wird aus dem
Referenzsignal erzeugt, indem es von dem Ausgangssignal des
Matte-Generators 38 subtrahiert wird, das eine perfekte
Hintergrundszene ohne Defekte beschreibt. Das Fehlersignal,
das Abweichungen von der perfekten Hintergrundszene darstellt,
wird von dem Chroma-Key-Steuersignal in den Mischschaltungen
28, 30 geformt und an die Summierschaltungen 44, 46 gelegt.
Das resultierende Ausgangssignal aus den Summierschaltungen
44, 46 ist das Vordergrundobjekt 12, als befände es sich vor
einer ebenen Referenz-Matte-Farbe (Fig. 8). Wird dieses Signal
an eine herkömmliche Chroma-Key-Vorrichtung gelegt, dann ist
das resultierende zusammengesetzte Signal (Fig. 9) frei von
Defekten im Hintergrund, da die Defekte vor der Eingabe an die
Chroma-Key-Vorrichtung entfernt werden.
Der Preprozessor kann einen internen Bildpufferspeicher 48, 50
zur Rauschverringerung aufweisen. Wenn ein einziges Bild des
Referenzsignals in einem Bildpufferspeicher gespeichert ist
und zur Korrektur der farbigen Hintergrundszene in einem Chro
ma-Key-Signal verwendet wird, dann hat das mit diesem Refe
renzsignal einhergehende Rauschen eine direkte Auswirkung auf
das Ausgangssignal der Vorverarbeitungsvorrichtung, da die
Größe des Chromasignals auf das darin enthaltene Rauschen an
spricht. Wenn das Ausgangssignal des Farbwertwählers 20 durch
die Größe des Chromasignals geteilt wird, kann sich das
Rauschen verstärken. Dieser Rauschfehler zieht sich bis zum
Ausgang durch, wo das Hintergrundfehlersignal geformt und zur
Vordergrundszene addiert wird. Dieser Rauschfehler verringert
sich, wenn ein Mischer 52, 54 am Eingang zum
Bildpufferspeicher 48, 50 bereitgestellt ist, um einen prozen
tualen Teil des Referenzsignals mit dem zu kombinieren, was
sich bereits im Bildpufferspeicher befindet. Da das Rauschen
in jedem Bild des Referenzsignals nicht mit dem Rauschen
irgendeines anderen Bildes korreliert, akkumuliert sich das
Rauschen nicht so schnell im Bildpufferspeicher 48, 50 wie das
Signal, das korreliert ist. Ein Rauschverringerungspegel NRL
wird von einem Bediener eingestellt und ergibt den
Mischkoeffizienten für die Mischer 52, 54. Je kleiner der
Prozentsatz des Referenzsignals in der Mischung ist, die im
Bildpufferspeicher 48, 50 akkumuliert wird, desto mehr läßt
sich das Rauschen verringern. Bei kleineren Prozentsätzen ist
auch die Speicherung von mehr Referenzsignalbildern
erforderlich. Wenn der Bildpufferspeicher 48, 50 mit einem
schwarzen Signal beginnt, dann nimmt der Inhalt des
Pufferspeichers bei der Aufzeichnung jedes Bildes zu. Dies ist
nicht unbedingt erwünscht, daher wird das erste aufgezeichnete
Bild mit 100% Mischung gespeichert, d. h. der
Rauschverringerungspegel NRL = 1. Dann verbessert sich mit
jedem nachfolgenden Bild, das gespeichert wird, der Rauschab
stand, während der Signalpegel konstant bleibt. Bei einem
Mischkoeffizienten von 10% beträgt die Verbesserung der
Rauschleistung im Referenzsignal 12,78 dB. Daher wird eine
Anzahl von Bildern der farbigen Hintergrundszene von der
Referenzsignalquelle 16 als Referenzsignal gespeichert, um
dieses Rauschverminderungsmerkmal auszunutzen. Bei keiner
Rauschverminderung nach Speicherung des ersten Bildes mit
einem Rauschverringerungspegel NRL = 1, wird NRL dann auf Null
gesetzt, so daß das Ausgangssignal im Bildpufferspeicher 48,
50 gehalten wird. Der Schalter S1 überbrückt den Bildpuffer
speicher 48, 50. Das Referenzsignal kann auch mit einer Kamera
erfaßt werden, deren Ausgangssignal bei seiner Speicherung im
Bildpufferspeicher 48, 50 einer Rauschverminderung unterzogen
wird.
Das Referenzsignal kann ebenfalls einer temporären Filterung
unterzogen werden, was der Einstellung 0<NRL≦1 gleichkommt.
In diesem Fall sind Bewegungserfassungstechniken erforderlich,
um von einer solchen Bewegung verursachte temporäre uner
wünschte Nebenprodukte zu verarbeiten.
Somit stellt die vorliegende Erfindung eine Chroma-Key-Vor
richtung mit einer Korrektureinrichtung für Defekte im Hinter
grund zur Verfügung, indem ein Referenzsignal, das eine farbi
ge Hintergrundszene mit Requisiten, falls vorhanden, ohne Vor
dergrundszene darstellt, mit einem Eingangssignal verglichen
wird, das die Vordergrundszene in der farbigen Hintergrund
szene enthält, und die Größe des Chromasignals des Referenz
signals bei der Bildung eines Chroma-Key-Steuersignals aus dem
Eingangssignal verwendet wird, welches beschreibt, wie die
Vordergrundszene sich auf die Hintergrundszene auswirkt.
Claims (14)
1. Schaltung zum Erzeugen eines Steuersignals zur Korrektur
von Defekten im Hintergrund in einem Videosignal mit
einem Anteil für einen farbigen Hintergrund und einem
Anteil für ein Vordergrundobjekt, mit:
einer Vorrichtung (20) zum Erzeugen eines anfänglichen Chroma-Steuersignals aus einer Chrominanzkomponente des Videosignals;
einer Vorrichtung (22-26) zum Modifizieren des anfäng lichen Chroma-Steuersignals in Abhängigkeit von der Größe einer Chrominanzkomponente eines Referenzsignals, welches den Anteil für den farbigen Hintergrund ohne den Anteil für das Vordergrundobjekt darstellt, um ein Chroma-Key- Steuersignal zu erzeugen; und
einer Vorrichtung (28, 30) zum Kombinieren des Chroma- Key-Steuersignals mit dem Referenzsignal, um das Steuer signal zu erzeugen.
einer Vorrichtung (20) zum Erzeugen eines anfänglichen Chroma-Steuersignals aus einer Chrominanzkomponente des Videosignals;
einer Vorrichtung (22-26) zum Modifizieren des anfäng lichen Chroma-Steuersignals in Abhängigkeit von der Größe einer Chrominanzkomponente eines Referenzsignals, welches den Anteil für den farbigen Hintergrund ohne den Anteil für das Vordergrundobjekt darstellt, um ein Chroma-Key- Steuersignal zu erzeugen; und
einer Vorrichtung (28, 30) zum Kombinieren des Chroma- Key-Steuersignals mit dem Referenzsignal, um das Steuer signal zu erzeugen.
2. Schaltung nach Anspruch 1, des weiteren umfassend Vor
richtungen (38-42) zum Erzeugen eines Fehlersignals aus
dem Referenzsignal zur Eingabe an die Kombiniervorrich
tungen, damit dieses mit dem Chroma-Key-Steuersignal kom
biniert wird, um das Steuersignal zu erzeugen.
3. Schaltung nach Anspruch 2, worin die Vorrichtung zur Er
zeugung des Fehlersignals folgendes umfaßt:
einen Matte-Generator (38) zum Erzeugen eines Sig nals einer einheitlichen Farbe, die der nominellen Farbe für den Anteil für den farbigen Hintergrund entspricht; und
eine Summierschaltung (40, 42) zum Subtrahieren des Referenzsignals von dem Signal mit einer einheitlichen Farbe, um das Fehlersignal zu erzeugen.
einen Matte-Generator (38) zum Erzeugen eines Sig nals einer einheitlichen Farbe, die der nominellen Farbe für den Anteil für den farbigen Hintergrund entspricht; und
eine Summierschaltung (40, 42) zum Subtrahieren des Referenzsignals von dem Signal mit einer einheitlichen Farbe, um das Fehlersignal zu erzeugen.
4. Schaltung nach Anspruch 2, des weiteren umfassend eine
Vorrichtung (48-54) zum Vermindern von Rauschen im
Referenzsignal vor dem Erzeugen des Fehlersignals.
5. Schaltung nach Anspruch 4, worin die Verminderungsvor
richtung folgendes umfaßt:
einen Mischer (52, 54) mit einem ersten Eingangsanschluß, der so geschaltet ist, daß er das Referenzsignal empfängt, und einem zweiten Eingangsanschluß, der einen Steueranschluß aufweist, welcher so geschaltet ist, daß er einen Rauschverminderungskoeffizienten empfängt, und mit einem Ausgangsanschluß, der ein modifiziertes Referenzsignal ausgibt; und
einen Bildspeicher (48, 50) mit einem Eingangsanschluß, der so geschaltet ist, daß er das modifizierte Referenzsignal vom Mischer zur Speicherung empfängt, und der über einen Ausgang verfügt, der mit dem Eingang des Mischers verbunden ist, wobei der Ausgang das modifizierte Referenzsignal zur Eingabe an die Sum mierschaltung zur Erzeugung des Fehlersignals bereitstellt.
einen Mischer (52, 54) mit einem ersten Eingangsanschluß, der so geschaltet ist, daß er das Referenzsignal empfängt, und einem zweiten Eingangsanschluß, der einen Steueranschluß aufweist, welcher so geschaltet ist, daß er einen Rauschverminderungskoeffizienten empfängt, und mit einem Ausgangsanschluß, der ein modifiziertes Referenzsignal ausgibt; und
einen Bildspeicher (48, 50) mit einem Eingangsanschluß, der so geschaltet ist, daß er das modifizierte Referenzsignal vom Mischer zur Speicherung empfängt, und der über einen Ausgang verfügt, der mit dem Eingang des Mischers verbunden ist, wobei der Ausgang das modifizierte Referenzsignal zur Eingabe an die Sum mierschaltung zur Erzeugung des Fehlersignals bereitstellt.
6. Schaltung nach Anspruch 2 oder 4, des weiteren umfassend
eine Vorrichtung (44, 46) zur Korrektur des Videosignals
auf Defekte im Hintergrund hin, in Abhängigkeit des
Steuersignals, um ein korrigiertes Videosignal zu erzeu
gen.
7. Schaltung nach Anspruch 6, worin die Korrekturvorrichtung
eine Kombinierschaltung (44, 46) umfaßt, die das Fehler
signal zum Videosignal addiert, um ein korrigiertes
Videosignal ohne die Hintergrunddefekte zu erzeugen.
8. Schaltung nach Anspruch 1, worin die Vorrichtung zur Er
zeugung des anfänglichen Chroma-Steuersignals einen Farb
wertwähler (20) umfaßt, an den als Eingangssignal die
Chrominanzkomponente des Videosignals gelegt wird und der
das anfängliche Chroma-Steuersignal als Ausgangssignal
bereitstellt.
9. Schaltung nach Anspruch 8, worin die Vorrichtung (14) zur
Erzeugung des anfänglichen Chroma-Steuersignals eine Vor
richtung zur Umwandlung des Videosignals in ein aus Kom
ponenten zusammengesetztes Videosignal mit einer Lumi
nanzkomponente und der Chrominanzkomponente umfaßt.
10. Schaltung nach Anspruch 1, worin die Modifiziervorrich
tung (22) folgendes umfaßt:
eine Vorrichtung (24, 26) zum Erzeugen eines Größensignals aus der Chrominanzkomponente des Referenz signals; und
eine Vorrichtung zum Dividieren des anfänglichen Chroma-Steuersignals durch das Größensignal, um das Chroma-Key-Steuersignal zu erzeugen.
eine Vorrichtung (24, 26) zum Erzeugen eines Größensignals aus der Chrominanzkomponente des Referenz signals; und
eine Vorrichtung zum Dividieren des anfänglichen Chroma-Steuersignals durch das Größensignal, um das Chroma-Key-Steuersignal zu erzeugen.
11. Schaltung nach Anspruch 1, worin die Kombiniervorrichtung
(28, 30) einen Mischer zum Multiplizieren des Referenz
signals mit dem Chroma-Key-Steuersignal umfaßt, um das
Steuersignal zu erzeugen.
12. Schaltung nach Anspruch 1, des weiteren umfassend eine
Vorrichtung (32, 34) zum Unterdrücken des Videosignal-
Anteils für den farbigen Hintergrund in Abhängigkeit von
dem Steuersignal.
13. Schaltung nach Anspruch 12, worin die Unterdrückungsvor
richtung eine Summierschaltung (32, 34) zur Subtraktion
des Steuersignals von dem Videosignal umfaßt, um ein
Video-Ausgangssignal zu erzeugen, das nur das Vordergrun
dobjekt ohne die Hintergrunddefekte enthält.
14. Schaltung nach Anspruch 1, des weiteren umfassend eine
Vorrichtung (36) zum Erzeugen eines Tast-Signals in Ab
hängigkeit von dem Chroma-Key-Steuersignal.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/196,737 US5400081A (en) | 1994-02-15 | 1994-02-15 | Chroma keyer with correction for background defects |
Publications (2)
Publication Number | Publication Date |
---|---|
DE19504304A1 DE19504304A1 (de) | 1995-08-17 |
DE19504304C2 true DE19504304C2 (de) | 1998-04-02 |
Family
ID=22726637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19504304A Expired - Fee Related DE19504304C2 (de) | 1994-02-15 | 1995-02-09 | Farbtaster-Vorrichtung mit Korrektureinrichtung für Defekte im Hintergrund |
Country Status (4)
Country | Link |
---|---|
US (1) | US5400081A (de) |
JP (1) | JP2969325B2 (de) |
DE (1) | DE19504304C2 (de) |
GB (1) | GB2286502B (de) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6507361B1 (en) * | 1991-03-14 | 2003-01-14 | Pamela Barber | Electronic personalized imaging production system including means for combining foreground images with background images |
US5519826A (en) * | 1994-04-29 | 1996-05-21 | Atari Games Corporation | Stop motion animation system |
KR100387455B1 (ko) * | 1995-01-18 | 2003-11-28 | 소니 가부시끼 가이샤 | 화상데이터의색변환장치및화상데이터의색변환방법 |
US5515109A (en) * | 1995-04-05 | 1996-05-07 | Ultimatte Corporation | Backing color and luminance nonuniformity compensation |
EP0796541B1 (de) * | 1995-06-16 | 1999-05-19 | Princeton Video Image, Inc. | Vorrichtung und verfahren zur echtzeiteinblendung in videobilder unter verwendung von adaptiver okklusion mit einem synthetischen referenzbild |
US5915044A (en) * | 1995-09-29 | 1999-06-22 | Intel Corporation | Encoding video images using foreground/background segmentation |
US5710602A (en) * | 1995-09-29 | 1998-01-20 | Intel Corporation | Gain correction for encoding video images |
US5574511A (en) * | 1995-10-18 | 1996-11-12 | Polaroid Corporation | Background replacement for an image |
US5737031A (en) * | 1996-07-30 | 1998-04-07 | Rt-Set | System for producing a shadow of an object in a chroma key environment |
US5740278A (en) * | 1996-02-16 | 1998-04-14 | Cornell Research Foundation, Inc. | Facsimile-based video compression method and system |
US5920659A (en) * | 1996-06-24 | 1999-07-06 | Intel Corporation | Method and apparatus for scaling image data having associated transparency data |
US5940139A (en) * | 1996-08-07 | 1999-08-17 | Bell Communications Research, Inc. | Background extraction in a video picture |
US5986718A (en) * | 1996-09-19 | 1999-11-16 | Video Magic, Inc. | Photographic method using chroma-key and a photobooth employing the same |
JPH10145582A (ja) * | 1996-11-05 | 1998-05-29 | Canon Inc | 画像処理方法及び装置 |
GB9626525D0 (en) * | 1996-12-20 | 1997-02-05 | Kodak Ltd | A photographic system using chroma-key processing |
US5850473A (en) * | 1997-01-07 | 1998-12-15 | Lucent Technologies Inc. | Method and apparatus for compensating for color variation in a video system |
GB2323735C (en) * | 1997-03-27 | 2006-08-10 | Quantel Ltd | An image processing system |
US6134346A (en) * | 1998-01-16 | 2000-10-17 | Ultimatte Corp | Method for removing from an image the background surrounding a selected object |
US6134345A (en) * | 1998-08-28 | 2000-10-17 | Ultimatte Corporation | Comprehensive method for removing from an image the background surrounding a selected subject |
US6950130B1 (en) | 1999-01-05 | 2005-09-27 | Sharp Laboratories Of America, Inc. | Method of image background replacement |
US6553140B1 (en) | 1999-04-16 | 2003-04-22 | Avid Technology, Inc. | Method and system for spill correction |
EP1198956A1 (de) * | 1999-07-13 | 2002-04-24 | Chromavision Medical Systems, Inc. | Gerät um genauefarbpegel in echtzeit anzuwenden |
US7061509B2 (en) * | 2001-03-01 | 2006-06-13 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for keying of secondary video into primary video |
US20020149698A1 (en) * | 2001-04-17 | 2002-10-17 | Bowden Raymond E. | Scoreboard tied to players |
US7224403B2 (en) * | 2001-04-17 | 2007-05-29 | Bowden Raymond E | Televised scoreboard or statistics presentation with colors corresponding to players' uniforms |
FR2824689B1 (fr) * | 2001-05-14 | 2004-12-17 | Olivier Jean Marcel Boute | Procede pour extraire les objets d'une image, sur un fond uniforme et incrustation de ces objets dans une scene |
US6912313B2 (en) * | 2001-05-31 | 2005-06-28 | Sharp Laboratories Of America, Inc. | Image background replacement method |
US7034833B2 (en) * | 2002-05-29 | 2006-04-25 | Intel Corporation | Animated photographs |
JP3876985B2 (ja) * | 2002-09-18 | 2007-02-07 | オムロンエンタテインメント株式会社 | 写真シール販売機および画像印刷方法 |
US7324166B1 (en) * | 2003-11-14 | 2008-01-29 | Contour Entertainment Inc | Live actor integration in pre-recorded well known video |
US7508455B2 (en) * | 2004-03-26 | 2009-03-24 | Ross Video/Live Production Technology | Method, system, and device for automatic determination of nominal backing color and a range thereof |
US8040361B2 (en) * | 2005-04-11 | 2011-10-18 | Systems Technology, Inc. | Systems and methods for combining virtual and real-time physical environments |
US20070091109A1 (en) * | 2005-09-13 | 2007-04-26 | Roscoe Atkinson | Image quality |
JP4915071B2 (ja) * | 2005-09-22 | 2012-04-11 | 株式会社ニコン | 顕微鏡、およびバーチャルスライド作成システム |
WO2008126371A1 (ja) * | 2007-04-02 | 2008-10-23 | M.Soft Co., Ltd. | 映像合成方法、映像合成システム |
JP4854582B2 (ja) * | 2007-04-25 | 2012-01-18 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US8405780B1 (en) * | 2007-08-22 | 2013-03-26 | Adobe Systems Incorporated | Generating a clean reference image |
US8081821B1 (en) | 2008-09-16 | 2011-12-20 | Adobe Systems Incorporated | Chroma keying |
US20100182340A1 (en) * | 2009-01-19 | 2010-07-22 | Bachelder Edward N | Systems and methods for combining virtual and real-time physical environments |
US11954764B2 (en) * | 2021-12-17 | 2024-04-09 | Zoom Video Communications, Inc. | Virtual background in a communication session with dynamic chroma key reframing |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3560638A (en) * | 1968-04-22 | 1971-02-02 | Central Dynamics | Chroma deying system utilizing remote controlled chroma keyer |
US5032901A (en) * | 1988-06-28 | 1991-07-16 | Petro Vlahos | Backing color and luminance nonuniformity compensation for linear image compositing |
US5251016A (en) * | 1992-05-11 | 1993-10-05 | The Grass Valley Group, Inc. | Chroma keyer with secondary hue selector |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4319266A (en) * | 1979-09-04 | 1982-03-09 | The Grass Valley Group, Inc. | Chroma keying system |
EP0147394B1 (de) * | 1983-06-13 | 1991-11-21 | Ultimatte Corporation | Farbbildzusammensetzung mit automatischem kodiertem signal |
US4625231A (en) * | 1984-04-27 | 1986-11-25 | Ultimatte Corporation | Comprehensive electronic compositing system |
US5249039A (en) * | 1991-11-18 | 1993-09-28 | The Grass Valley Group, Inc. | Chroma key method and apparatus |
-
1994
- 1994-02-15 US US08/196,737 patent/US5400081A/en not_active Expired - Lifetime
-
1995
- 1995-01-19 JP JP7024654A patent/JP2969325B2/ja not_active Expired - Lifetime
- 1995-01-20 GB GB9501147A patent/GB2286502B/en not_active Expired - Fee Related
- 1995-02-09 DE DE19504304A patent/DE19504304C2/de not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3560638A (en) * | 1968-04-22 | 1971-02-02 | Central Dynamics | Chroma deying system utilizing remote controlled chroma keyer |
US5032901A (en) * | 1988-06-28 | 1991-07-16 | Petro Vlahos | Backing color and luminance nonuniformity compensation for linear image compositing |
US5251016A (en) * | 1992-05-11 | 1993-10-05 | The Grass Valley Group, Inc. | Chroma keyer with secondary hue selector |
Also Published As
Publication number | Publication date |
---|---|
JP2969325B2 (ja) | 1999-11-02 |
US5400081A (en) | 1995-03-21 |
GB2286502B (en) | 1997-11-12 |
GB9501147D0 (en) | 1995-03-08 |
DE19504304A1 (de) | 1995-08-17 |
GB2286502A (en) | 1995-08-16 |
JPH07240937A (ja) | 1995-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE19504304C2 (de) | Farbtaster-Vorrichtung mit Korrektureinrichtung für Defekte im Hintergrund | |
EP0927496B1 (de) | Vorrichtung und verfahren zur erzeugung eines kompositbildes | |
DE3789193T2 (de) | Videodifferenz-Keygenerator. | |
DE69728604T2 (de) | Verfahren zur Erzeugung von unsichtbaren Fensterkanten in Bildzusammensetzungssystemen | |
DE69602515T2 (de) | Vorrichtung und verfahren zur echtzeiteinblendung in videobilder unter verwendung von adaptiver okklusion mit einem synthetischen referenzbild | |
DE3751412T2 (de) | Verfahren und Vorrichtung zur Bildverarbeitung mit Gradationskorrektur des Bildsignals. | |
DE4492446B4 (de) | Schirmfilterungsgrenzenerfassung für eine Bildzusammensetzung | |
DE3043084C3 (de) | Anordnung zum Zusammenfassen mehrerer verschiedener Einzelbilder zu einem Gesamtbild | |
DE4492448B4 (de) | Verfahren und Einrichtung zum Zusammensetzen von Videobildern | |
DE69128548T2 (de) | Verbesserungen in Steuerdatenfeldern von Bildelementen | |
DE69412035T2 (de) | Kaskadenartige Bildverarbeitung mit Histogrammvorhersage | |
DE19825302B4 (de) | System zur Einrichtung einer dreidimensionalen Abfallmatte, welche eine vereinfachte Einstellung räumlicher Beziehungen zwischen realen und virtuellen Szeneelementen ermöglicht | |
DE3514353C2 (de) | Verfahren und Gerät zum Zusammensetzen von Farbbild-Videosignalen | |
DE2937282C2 (de) | ||
DE68928803T2 (de) | Kompensierung der hintergrundfarbe und der luminanzungleichförmigkeit für eine lineare bildzusammensetzung | |
DE10204500A1 (de) | Echtzeitfähiges Erkennungs- und Kompensationsverfahren von Beleuchtungsschwankungen in digitalen Farbbildsignalen | |
DE10011744B4 (de) | Automatische Hintergrundszenendefokussierung für die Bildzusammensetzung | |
DE4106306A1 (de) | Verfahren zur farbkorrektur eines videosignals | |
DE4143180A1 (de) | Verfahren und anordnung zur einblendung eines hintergrundsignals in durch eine vorgegebene stanzfarbe festgelegte teile eines vordergrundsignals | |
DE2612042A1 (de) | Verschiebbares video-mattscheibensystem | |
DE3879836T2 (de) | Reproduktion von farbigen bildern. | |
DE69513773T2 (de) | Schaltung zur unterdrückung von farben mit hoher luminanz | |
DE3444399C2 (de) | Schaltung zur Korrektur von Fehlern in Farbsignalübergängen | |
DE2018149C3 (de) | Verfahren zur Erhöhung der Schärfe von Farbfernsehbildern und Schaltungsanordnung zur Durchführung des Verfahrens | |
DE4315523C2 (de) | Chroma-Keyer mit sekundärem Farbtonwähler |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
D2 | Grant after examination | ||
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |