DE69728604T2 - Verfahren zur Erzeugung von unsichtbaren Fensterkanten in Bildzusammensetzungssystemen - Google Patents

Verfahren zur Erzeugung von unsichtbaren Fensterkanten in Bildzusammensetzungssystemen Download PDF

Info

Publication number
DE69728604T2
DE69728604T2 DE69728604T DE69728604T DE69728604T2 DE 69728604 T2 DE69728604 T2 DE 69728604T2 DE 69728604 T DE69728604 T DE 69728604T DE 69728604 T DE69728604 T DE 69728604T DE 69728604 T2 DE69728604 T2 DE 69728604T2
Authority
DE
Germany
Prior art keywords
background
rgb
window
corrections
levels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69728604T
Other languages
English (en)
Other versions
DE69728604D1 (de
Inventor
Paul Tarzana Vlahos
Petro Lake Hughes Vlahos
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ultimatte Corp
Original Assignee
Ultimatte Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ultimatte Corp filed Critical Ultimatte Corp
Application granted granted Critical
Publication of DE69728604D1 publication Critical patent/DE69728604D1/de
Publication of DE69728604T2 publication Critical patent/DE69728604T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Description

  • Hintergrund
  • Ein zusammengesetztes Bild wird durch die Zusammensetzung einer Vordergrundszene, die ein vor einem gefärbten Hintergrund angeordnetes Objekt enthält, und einer Hintergrundszene gebildet.
  • Der gefärbte Hintergrund wird im Zusammensetzungsprozess durch die Hintergrundszene ersetzt. Bei Totalaufnahmen oder bei Nutzung einer kleinen Hintergrundkulisse überschreitet das Sichtfeld der Kamera oft den gefärbten Hintergrund und zeigt deshalb Teile der Bühnenwand und/oder Decke links und/oder rechts und/oder über dem Hintergrund. Statt den Hintergrund zu erstrecken, um das Kamerafeld zu füllen, wird ein elektronisches Fenster von einem oder mehreren der vier Ränder des Bildes eingebracht, um den gesamten Bereich außerhalb des gefärbten Hintergrunds zu maskieren.
  • Die Funktion des Fensters ist es, von der zusammengesetzten Szene alle Vordergrundobjekte auszuschließen, die durch das Fenster maskiert werden, und die Hintergrundszene zum Rand des Bildrahmens zu erstrecken. Das Hintergrundszenenpegel im maskierten Bereich wird durch den Pegel eines festen Fenstersignals gesteuert. Der Hintergrundszenenpegel im angrenzenden gefärbten Hintergrundbereich wird durch die Helligkeit und Sichtbarkeit des Hintergrunds bestimmt. Wenn die Helligkeit (oder Farbe) des Hintergrunds ungleichmäßig ist, sind die zwei Signale, die den Pegel angrenzender Abschnitte der Hintergrundszene steuern, ungleich und die Linie, an der der Fensterrand an den Hintergrund grenzt, wird sichtbar, was die Szene inakzeptabel macht.
  • Die Sichtbarkeit dieses angrenzenden Randes wird durch die Nutzung eines Fensters mit mattem Rand reduziert. Sie wird auch durch Steigern der Hintergrundszenen-Einschaltspannung, die durch der Hintergrund ausgebildet wird, reduziert, um den Begrenzungspegel zu überschreiten, der mit dem Fenstersignalpegel übereinstimmt. Der matte Fensterrand reduziert die Sichtbarkeit der Verbindungslinie. Die Begrenzung entfernt die Verbindungslinie völlig, kann aber einen Randdetailverlust auf Vordergrundobjekten bewirken. Keine Lösung ist ideal.
  • Es ist ausgeschlossen, eine große Hintergrundkulisse auf einer Bühne von vorn zu beleuchten und eine perfekte Helligkeitsgleichmäßigkeit zu erhalten, wenn mehrere überlappende Lichtquellen verwendet werden, die aus der Kameraansicht herausgehalten werden müssen. Wenn sich der Hintergrund auf den Boden erweitert, erzeugen die sich unterscheidenden Reflexionswinkel von einer vertikalen Hintergrundwand und einem horizontalen Boden einen Unterschied der Helligkeit und Farbe selbst dann, wenn die einfallende Beleuchtung konstant ist. Eine Linseneckenabschattung, die eine Verdunklung an den Ecken bewirkt, vermindert die Flächengleichmäßigkeit weiter. Ein ungleichmäßig beleuchteter Hintergrund führt zu einem ungleichmäßigen Hintergrundpegel-Steuersignal (EC genannt), wobei dies zu einer Hintergrundszene führt, die ungleichmäßig zu sein scheint, und Fenstern, deren Ränder ganz sichtbar sind.
  • Das Steuersignal EC ist eine direkte Funktion der Helligkeit und Sichtbarkeit des gefärbten Hintergrunds. Die US-Patente Nrn. 4,100,569 und 4,625,231 beschreiben solch einen linearen Bildzusammensetzungsprozess. Einen blauen Hintergrund angenommen, hat das Steuersignal EC der oben angegebenen Patente die Form: EC = K[(B – K1) – K2max(G, R)] Gl. 1wobei R, G, und B rote, grüne und blaue Signalpegel und K, K1 und K2 Konstanten sind. Dieses EC-Signal wird für ver schiedene, unabhängig gesteuerte Funktionen, einschließlich der Steuerung des Hintergrundszenenpegels, Säuberungsaktionen, Unterdrückungskorrekturen etc., verwendet. Es wird auch verwendet, ein bearbeitetes Video (PRV) durch Subtrahieren von EC-Pegeln zu erzeugen, die mit den Hintergrund-RGB-Pegeln übereinstimmen, wodurch der Hintergrundbereich auf Schwarz reduziert wird. Das bearbeitete Video (PRV) wird auch zum Definieren des Hintergrundbereichs verwendet.
  • Das Problem
  • Die an den Hintergrund grenzenden Fensterränder sind unsichtbar, wenn das durch den Hintergrund erzeugte EC-Steuersignal dort mit dem Fenstersignal identisch ist, wo der Hintergrund den Fensterrand berührt. Das Problem beim Versuch, unsichtbare Fensterränder zu produzieren, ist die große Variation in der Art und dem Grad, in welchen der Hintergrundhelligkeit ungleichmäßig ist. Wenn der Hintergrund hauptsächlich von oben beleuchtet ist, dann ist die Helligkeit voraussichtlich oben größer, während sie nach unten hin abfällt. Wenn in ähnlicher Weise die Beleuchtung primär von einer Seite erfolgt, dann wird die Helligkeit wahrscheinlich zur gegenüberliegenden Seite abfallen. Dieser Abfall kann linear oder nichtlinear sein. Die Tendenz, den größeren Schwerpunkt auf die Beleuchtung des Objekts zu legen, wird einen helleren Mittelbereich mit Abfall an den Seiten und Ecken bewirken. Eine Linseneckenabschattung wird einen weiteren Abfall an den Seiten und Ecken des eingefangenen Bildes bewirken. In den meisten Fällen wird die Helligkeitsverteilung in beiden Achsen nichtlinear sein. Eine Lösung des Problems zum Erlangen unsichtbarer Fensterränder muß einen großen Bereich von Lichtbesonderheiten einbeziehen, ohne das Objektbild zu beeinträchtigen.
  • Zusammenfassung der Erfindung
  • Die Erfindung ist ein Verfahren, wie es in den unabhängigen Ansprüchen 1 und 2 definiert ist.
  • Kurzbeschreibung der Zeichnungen
  • 1 ist ein Kamerasichtfeld, das ein Fenster enthält, das einen maskierten Bereich bildet, der das gesamte Kamerafeld mit Ausnahme, des gefärbten Hintergrundbereichs und einem Vordergrundobjekt maskiert.
  • 2 zeigt verschiedene Helligkeitsmuster eines Hintergrunds, wenn sie in einem dreidimensionalen Raum aufgetragen sind.
  • 3 ist ein weiteres Kamerasichtfeld, das verwendet wird, die Erfindung zu erläutern.
  • 4 ist ein Blockdiagramm, das die Elemente eines, Systems zeigt, das die Erfindung nutzen kann.
  • Detaillierte Beschreibung der Erfindung
  • Um unsichtbare Fensterränder zu erzeugen, ist es erforderlich, den Signalpegel des Fensters so anzupassen, daß er mit dem von dem gefärbten Hintergrund erzeugten Signalpegel übereinstimmt oder den durch den Hintergrund produzierten Signalpegel so anzugleichen, daß er mit dem Signalpegel des Fensters übereinstimmt, ohne das Objekt zu beeinträchtigen. Das Anpassen des Fenstersignals derart, daß dieses mit dem Signal, das durch die Helligkeit des Hintergrunds erzeugt wird, übereinstimmt, entfernt die Sichtbarkeit einer Verbindungslinie, führt aber nicht dazu, die Ungleichmäßigkeit des Hintergrunds zu korrigieren. Der Hintergrundungleichmäßigkeit ist einfach in den Fensterbereich ausgedehnt. Dieses einfache adaptive Verfahren ist deshalb auf die Situationen begrenzt, in denen die Hintergrundhelligkeitsvariationen klein, weich und graduell sind.
  • Das Korrigieren der Hintergrundhelligkeit und -farbe, um ein Steuersignal zu erzeugen, das mit dem Fenstersignalpegel übereinstimmt, erzeugt unsichtbare Fensterränder und verbessert außerdem die Hintergrundhelligkeit und -farbgleichmäßigkeit. Beide Verfahren werden nachfolgend erklärt.
  • Die Entscheidung, das Fenstersignal anzupassen oder der Hintergrund zu korrigieren oder beide Verfahren zu nutzen, hängt von Ausmaß und Art ab, in denen die Hintergrundhelligkeit ungleichmäßig ist. Ein Hintergrund, dessen Helligkeit weich variiert, kann unsichtbare Fensterränder durch Anpassen des Fensters an der Hintergrund erzielen.
  • Das adaptive Fenstersignalverfahren
  • Es wird auf 1 Bezug genommen; das Kamerasichtfeld 1 enthält ein Fenster, das einen maskierten Bereich 2 bildet, der das gesamte Kamerafeld mit Ausnahme des gefärbten Hintergrundbereichs 4, wie er durch die Fensteröffnung 5 gesehen wird, maskiert. Ein Objekt 3 erscheint vor dem gefärbten Hintergrund, wobei der Objektschatten 8 auf dem Hintergrund im Bodenbereich fällt.
  • Eine durch die Pixel 10, 11 und 12 verlaufende Abtastzeile ist als obere Abtastzeile innerhalb des gefärbten Hintergrunds definiert. Jeder Pixelspalte im maskierten Bereich 2 oberhalb dieser Linie wird der Wert des Steuersignals EC zugewiesen, der für jedes Pixel 10, 11, 12 auf der Linie bestimmt wurde.
  • Die Spalte mit den Pixeln 10, 13, 17 und 19 repräsentiert den linken Rand des Hintergrunds und grenzt an den linken Fensterrand. Jeder Pixelzeile auf jeder Abtastzeile im maskierten Bereich links der Linie, die durch die Pixel 10, 13, 17 und 19 verläuft, wird der Wert von EC zugewiesen, der für jedes Pixel 10, 13, 17, 19 in der Spalte bestimmt wurde. Gleichermaßen wird den Bereichen rechts der Pixelspalte 12, 16, 18 und 21 und dem Bereich unterhalb der Abtastzeile, die durch die Pixel 19, 20 und 21 verläuft, der Wert des angrenzenden EC auf dem gefärbten Hintergrund zugewiesen.
  • Der Pixelspalte oberhalb von Pixel 10 und allen Pixeln auf der Abtastzeile links von Pixel 10 wird der Wert des bei Pixel 10 vorhandenen Steuersignals zugewiesen; folglich kann allen nichtzugewiesenen Pixeln im rechteckigen Eckbereich 6 der bei Pixel 10 gefundene Steuersignalpegel zugewiesen werden. Auf die gleiche Art und Weise werden den anderen drei Ecken die bei den Pixeln 12, 21 und 19 gefundenen EC-Signalpegel zugewiesen (wobei selbstverständlich „unterhalb" und „rechts von" durch „oberhalb" und „links von" zu ersetzen ist).
  • Alle zugewiesenen EC-Pegel werden in einem Speicher angeordnet, da sie für jedes Feld- oder Filmbild benötigt werden. Alle Pixel, denen ein EC zugewiesen wurde, repräsentieren der Hintergrund und sind mit dem EC gleich, das durch der Hintergrund erzeugt wurde, wo der Hintergrund an das Fenster grenzt.
  • Das obige Verfahren bewirkt, daß der Fensterrand ohne jeden Einfluß auf das Objekt unsichtbar wird. Dieses Verfahren ist zufriedenstellend, wenn der Hintergrundungleichmäßigkeit klein ist und sich weich ändert.
  • Während das oben beschriebene Verfahren die EC-Pegel an der Verbindungslinie in Übereinstimmung bringt, bewirkt es keine Korrektur der Ungleichmäßigkeit des Hintergrunds. Unabhängig davon, welche Ungleichmäßigkeit auf dem Hintergrund vorhanden ist, sie wird einfach in den maskierten Bereich hinein erweitert.
  • Das lineare Interpolationsverfahren
  • Das lineare Interpolationsverfahren zum Korrigieren des gefärbten Hintergrunds kann in Abhängigkeit davon, wie der Hintergrundhelligkeit verteilt ist, durch horizontale oder vertikale Interpolation, oder beides erreicht werden. Eine vertikale Nichtlinearität ist typisch für einen Hintergrund (1), der sich bis auf den Boden 7 streckt, wobei eine gerundete Krümmung mit, dem Schnittpunkt von Wand und Boden auf einer Linie zusammentrifft, die durch die Pixel 17 und 18 verläuft.
  • Neben der Kamera stehend, wird eine auf einen blauen Hintergrund sehende Person den vertikalen Teil des Hintergrunds in einem annähernd rechten (90°) Winkel zum Hintergrund beobachten und der Hintergrund wird tief Blau erscheinen. Der Boden (eingerahmt durch die Pixel 17, 18, 21, 19) wird in einem eher flachen Winkel gesehen und wird in bläulich-grauer Farbe erscheinen. Dieser graue Farbton beruht auf der großen Weitwinkelstreuung des weißen einfallenden Lichts durch die diffuse Oberfläche des gefärbten Hintergrunds. Der Bodenbereich unterscheidet sich deshalb von der vertikalen Oberfläche in beidem, Helligkeit und Farbe.
  • Das Steuersignal EC (Gl. 1) wird für den vertikalen Teil des Hintergrunds größer sein als für den Bodenbereich, da dieser einen größeren Blau-Grün-Unterschied hat. Die Subtraktion der Übereinstimmungspegel EC von den Vordergrund-RGB-Signalen kann die RGB-Pegel des vertikalen Hintergrundbereichs bis auf Null reduzieren, wie in den oben angegebenen Patenten beschrieben ist. Der Bodenbereich jedoch, der ein kleineres EC erzeugt, wird nicht völlig auf Null reduziert. Das Restsignal führt zu einer grauen Verschleierung auf dem Boden, die sich bis in die Krümmung erstreckt. Sofern sie nicht korrigiert wird, wird diese graue Verschleierung übertragen und der Hintergrundszene überlagert. Die vertikale Ungleichmäßigkeit wird durch horizontal interpolierte Korrekturen korrigiert, die von dem Hintergrund an den linken und rechten Fensterrändern erhalten werden. Hintergrundhelligkeits-(und Farb-)-Korrektur durch horizontale lineare Interpolation erzeugt unsichtbare linke und rechte Fensterränder und entfernt außerdem die Bodenverschleierung.
  • Aus ähnlichen Gründen stellt ein gekrümmter Hintergrund, der sich um eine Ecke formt, eine Änderung des der Kamera präsentierten Winkels dar und bewirkt eine horizontale nichtlineare Helligkeitsverteilung. Wenn die oberen und unteren Fensterränder unsichtbar bleiben sollen, dann müssen durch vertikal interpolierte Korrekturen erhaltene RGB-Hintergrundkorrekturen ebenfalls auf die Vordergrundszenen-RGB-Signale angewendet werden.
  • Es wird auf 1 Bezug genommen; ein Punkt auf dem Hintergrund (z. B. Punkt 14) wird ausgewählt, um als eine feste Referenz zu dienen. Seine RGB-Pegel werden die RGB-Referenz. Die erste Abtastzeile, die auf dem Hintergrund erscheint, ist die Linie, die durch die Pixel 10, 11, 12 verläuft. Die RGB-Pegel am ersten Pixel (Punkt 10) werden mit der RGB-Referenz verglichen und ihre Differenz wird im Speicher gespeichert. Die RGB-Pegel am letzten Hintergrundpixel (Punkt 12) auf dieser ersten Abtastzeile werden mit der RGB-Referenz verglichen und ihre Differenz wird im Speicher gespeichert.
  • Unter Verwendung der für die Punkte 10 und 12 erhaltenen RGB-Korrekturwerte werden die erforderlichen Korrekturen für jedes Pixel auf der Linie 10, 11, 12 durch lineare (Geraden-)Interpolation von Punkt 10 zu Punkt 12 der RGB-Korrekturen an den Punkten 10 und 12 bestimmt. Mit dem auch für die Linie 10, 11, 12 verwendeten Prozess werden RGB-Korrekturen für alle Abtastzeilen erzeugt, die dem Hintergrund kreuzen. Die durch lineare Interpolation erhaltenen Korrekturen werden im Speicher angeordnet und zu den Vordergrundszenen-RGB-Signalen addiert.
  • Das nachfolgende, von dem korrigierten Hintergrund erzeugte Hintergrundszenenpegelsteuersignal EC (Gl. 1) ist für alle Punkte entlang des linken Fensterrandes 10, 13, 17, 19 und des rechten Fensterrandes 12, 16, 18, 21 identisch. wenn dieser EC-Wert als Fensterpegelsteuersignal zugewiesen wird, werden die linken und rechten Fensterränder unsichtbar. Unter der Annahme, dass die horizontale Helligkeitsungleichmäßigkeit linear ist, werden die oberen und unteren Fensterränder ebenfalls unsichtbar.
  • Durch Verbinden des Fensterpegels mit dem EC-Steuerpegel stellen Einstellungen des Pegels der Hintergrundszene automatisch den Fensterpegel ein, so daß man unsichtbare Fensterränder erhält.
  • Die RGB-Referenz wurde an einem Punkt am vertikalen Abschnitt des Hintergrund ausgewählt. Deshalb werden alle an die linken und rechten Fensterränder angrenzenden Pixel auf dem Hintergrund auf die RGB-Pegel korrigiert, die mit der RGB-Referenz übereinstimmen. Durch das übereinstimmen der RGB-Signalpegel sind sowohl Helligkeit als auch Farbe in Übereinstimmung gebracht. In der Annahme, daß die Helligkeitsverteilung über dem Hintergrund linear ist, wird die Bodenverschleierung entfernt.
  • Da die Helligkeitsverteilung über dem Hintergrund nicht perfekt linear sein kann, kann es sein, daß die oberen und unteren Fensterränder und die Bodenverschleierung nicht komplett unsichtbar werden. EC in eine Klemmschaltung einzugeben, die auf den Fensterpegel gesetzt ist, bewirkt, daß diese Ränder und die Bodenverschleierung unsichtbar werden. Die Verwendung einer geringen Begrenzungsaktion ist nützlich, wenn sie einen akzeptablen Schwellwert nicht überschreitet. Ein Bediener bestimmt einen passenden und optimalen Begrenzungspegel durch Beobachten des zusammengesetzten Bildes.
  • Wenn der erforderliche Betrag der Begrenzung zum Entfernen der Fensterrandsichtbarkeit einen akzeptablen Schwellwert überschreitet (durch Zeigen von übermäßigem Randleuchten auf dem Objekt), kann die Begrenzung nicht verwendet werden, und es wird erforderlich, Korrekturen anzuwenden, die durch vertikal interpolierte Korrekturen erhalten wurden.
  • Schwierigkeiten beim Erreichen einer gleichmäßigen Beleuchtung, bei Bodenaufnahmen und Linseneckenabschattung führen immer zu einer Nichtlinearität in beiden Achsen. Deshalb werden durch eine Zwei-Achsen-Interpolation erhaltene Korrekturen für die Beseitigung der Fensterrandsichtbarkeit bevorzugt.
  • Zwei-Achsen-Interpolationsverfahren
  • Das Helligkeitsmuster eines Hintergrunds, deren Beleuchtung von der Mitte zu den Seiten und Ecken abfällt, erscheint dann, wenn es im dreidimensionalen Raum gezeichnet wird, als ein flacher rechteckiger Abschnitt der Oberfläche einer Kugel, wie er im oberen Teil von 2, mit 2A bezeichnet, gezeigt ist; ein Abschnitt, dessen Mitte höher als seine Ränder liegt und dessen Ränder höher als seine Ecken sind.
  • Ein erster Satz von Korrekturen, der durch horizontale lineare Interpolation, wie sie im vorhergehenden Abschnitt beschrieben ist, gewonnen wurde, wird im Speicher angeordnet. Bei Addition zu den Vordergrundszenen-RGB-Signalen bewirken diese Korrekturen, daß die Hintergrundpixel, die an die linken und rechten Fensterränder angrenzen, einen konstanten Pegel haben, der gleich dem Referenz-RGB ist. Die dreidimensionale Abbildung, die mit 2B bezeichnet ist, nimmt nun die genäherte Form eines flachen Abschnitts eines Zylinders an, dessen Achse vertikal verläuft (unter Annahme der gezeigten Oben/Unten-Ausrichtung), wie im mittleren Teil von 2 gezeigt ist. Die linken und rechten Ränder, 10, 13, 19 und 12, 16, 21, werden Geraden, die parallel zu der Achse sind und deren RGB-Pegel exakt mit demjenigen des Referenzpunktes übereinstimmen.
  • Die Helligkeit an den oberen und unteren Rändern des Hintergrunds wird von einer Geraden durch Anstieg (in diesem Bei spiel) über die korrigierten linken und rechten Fensterränder abweichen, wie in dem mit 2B bezeichneten Beispiel gezeigt. Nachdem der Hintergrund durch horizontale Interpolation teilweise korrigiert wurde, wie in der mit 2B bezeichneten Fig. gezeigt ist, wird ein zweiter Satz von Korrekturen durch vertikale Interpolation gewonnen.
  • In 1 bildet das erste Pixel, Punkt 10, auf der Linie 10, 11, 12 den Kopf einer Pixelspalte, die bei Punkt 19 endet. In ähnlicher Weise bildet jedes Pixel entlang der horizontalen Abtastzeile 10, 11, 12 den Kopf ähnlicher Pixelspalten, die auf der Linie 19, 20, 21 enden. Durch Vergleich der RGB-Pegel der Pixel an beiden Enden jeder Spalte mit der ausgewählten RGB-Referenz werden Korrekturen für alle Pixel entlang den Abtastzeilen 10, 11, 12 und 19, 20, 21 bestimmt und im Speicher angeordnet. Korrekturen für alle anderen Pixel in jeder Spalte werden durch lineare Interpolation zwischen denjenigen Korrekturen im Speicher bestimmt, die vorher für jedes Ende jeder Spalte bestimmt wurden, wodurch ein zweiter Satz von Korrekturen für den gefärbten Hintergrund gebildet wird.
  • Dieser zweite Satz von Korrekturen wird zu den Vordergrundszenen-RGB-Signalen addiert, die vorher durch horizontale Interpolation korrigiert wurden. Die resultierende Hintergrundhelligkeitsverteilung entspricht im wesentlichen der flachen Ebene, die mit 2C von 2 bezeichnet ist. Ihre vier Ränder sind exakt gleich dem Pegel der RGB-Referenz, die für die vertikale Interpolation gewählt wurde. Die Zwei-Achsen-Korrektur ist für den an die Fensterränder angrenzenden Hintergrundbereich genau und ist nahezu korrekt für den Rest des Hintergrunds. Die in der Ebene verbleibende Hintergrundhelligkeitsungleichmäßigkeit, dargestellt durch 2C, ist mindestens eine Größenordnung kleiner, als die Ungleichmäßigkeit, die in dem unkorrigierten Hintergrund existiert, die durch den kugelförmigen Teil dargestellt wird, der mit 2A bezeichnet ist.
  • Die Ergebnisse der Zwei-Achsen-Korrektur sind unverändert, wenn die Reihenfolge der Zwei-Achsen-Korrektur umgekehrt wird. Der erste Satz von Korrekturen ist der, der zuerst bestimmt wird, welcher entweder vertikal oder horizontal sein kann.
  • Beim Prüfen des mit 2A bezeichneten kugelförmigen Teils kann man annehmen, dass eine nichtlineare Interpolation von Randkorrekturen ein besseres Ergebnis bereitstellen könnte, da die Ungleichmäßigkeit nichtlinear zu sein scheint. Wenn man jedoch die Teile 2B und 2C betrachtet, ist zu sehen, daß es die Aufgabe der linearen Interpolation ist, die Nichtlinearität der Helligkeitsverteilung zu entfernen. Ideale unsichtbare Fensterränder werden mit der einfachen linearen Interpolation erreicht. Die Erzeugung von nichtlinearen Korrekturen erhöht die Komplexität, ohne das Ergebnis zu verbessern.
  • Es sollte beachtet werden, daß jede Helligkeitsverteilungsform in 2A durch horizontal interpolierte Korrekturen zu einer Form ähnlich 2B korrigiert wird, mit geradlinigen linken und rechten Ränder mit einer konstanten und gleichmäßigen Helligkeit und Farbe. Eine zweite Korrektur durch vertikale Interpolation wird Biegungen in den oberen und unteren Rändern zu der flachen Ebene von 2C reduzieren. Wenn der Hintergrundhelligkeitsverteilung zufällig und fleckig ist, wird die Ebene von 2Ckleine Beulen und flache Vertiefungen zeigen, aber ihre vier Ränder werden geradlinige parallele Linien in einer einzigen Ebene sein und deshalb unsichtbare Fensterränder produzieren.
  • Die Beulen repräsentieren Hotspot- bzw. Lichtpunktbereiche, die überkorrigiert sind, während die Vertiefungen Schatten oder unterbeleuchtete Bereiche repräsentieren. Der Vergleich der RGB-Pegel jedes Pixels im nicht bedeckten Hintergrundbereich (der definiert ist als PRV = 0 und EC > 0) mit den RGB-Pegeln der zweiten Referenz bestimmt den exakten Korrek turwert, der für dieses Pixel benötigt wird. Wenn die benötigte Korrektur geringer ist, als der durch Interpolation bestimmte Korrekturbetrag, wird die benötigte Korrektur verwendet, wodurch eine Überkorrektur verhindert wird. Wenn die benötigte Korrektur größer als die durch Interpolation bestimmte Korrektur ist, wird die interpolierte Korrektur verwendet, wodurch Schatten beibehalten werden.
  • Der Fensterpegel ist dem Pegel des Steuersignals EC an dem Fensterrand zugewiesen und mit diesem verbunden, wodurch automatisch alle vier Fensterränder bei allen Einstellungen der Hintergrundszenenpegelsteuerung unsichtbar bleiben.
  • Durch lineare Interpolation bestimmte Korrekturen werden nicht durch das Vorhandensein oder das Fehlen eines Objektes beeinflusst. Wenn jedoch ein Objekt vorhanden ist, dann werden alle Korrekturen, die in dem durch den Objekt belegten Bereich vorhanden sein könnten, zum Objekt hinzugefügt, solange sie nicht im Objektbereich unterdrückt werden. Auf dem Hintergrund wird ein Referenzpunkt in der Nähe des Objekts ausgewählt, so daß eine geringe oder keine Korrektur am Objekt erforderlich ist und deshalb ein geringes Erfordernis besteht, diese Korrekturen zu unterdrücken. Die zweite RGB-Referenz kann dieselbe sein wie die erste. Wenn beide Achsen korrigiert werden, setzt der zweite Referenz-RGB den Korrekturpegel, der an das Objekt angrenzt.
  • Wenn die RGB-Pegel der zweiten Referenz mit einem variablen Faktor multipliziert werden, wie zum Beispiel 0.5× bis 1.5×, kann die Helligkeitsebene von 2C in Bezug auf das Objekt angehoben oder abgesenkt werden. Die an das Objekt angrenzenden Korrekturen können deshalb von einer negativen Korrektur über eine Null-Korrektur zu einer positiven Korrektur variiert werden. Wenn die an das Objekt angrenzenden Korrekturen auf Null oder sehr dicht an Null eingestellt werden können, können die Korrekturen direkt zu den Vordergrundszenen-RGB-Signalen addiert werden, ohne unterdrückt zu werden.
  • Wenn das Objekt einen großen Teil des Bildes belegt, wird man wahrscheinlich keine Nullkorrekturen auf allen Seiten des Objektes gleichzeitig erhalten und Korrekturen müssen deshalb unterdrückt werden. EC kann als ein Verhinderungs- bzw. Unterdrückungssignal verwendet werden und wird nach Gleichung 1 berechnet. Da das Unterdrückungssignal linear ist, unterdrückt es Korrekturen in undurchsichtigen Bereichen des Objektes vollständig, unterdrückt Korrekturen in teilweise durchsichtigen oder durchscheinenden Objektbereichen teilweise und reduziert Korrekturen in Schattenbereichen proportional zur Dichte des Schattens.
  • Ein erster Satz von Korrekturen, erzeugt durch eine erste Achseninterpolation, wird durch Multiplikation mit EC unterdrückt, das aus dem unkorrigierten Hintergrund gewonnen wurde. Die unterdrückten Korrekturen werden gespeichert und ebenso zu den Vordergrundszenen-RGB-Signalen temporär addiert. Ein zweiter Satz von Korrekturen, erzeugt durch eine zweite Achseninterpolation, kann nur von einem Hintergrund erzeugt werden, der zuerst durch die ersten achseninterpolierten Korrekturen korrigiert ist.
  • Der zweite Satz von Korrekturen kann durch Multiplikation mit einem EC unterdrückt werden, das aus dem durch den ersten Satz von (unterdrückten) Korrekturen korrigierten Hintergrund gewonnen wurde. Es ist auch möglich und einfacher, den ersten und zweiten Satz von Korrekturen zu kombinieren und dann die kombinierten Korrekturen in einem einzigen Schritt zu unterdrücken. Die kombinierten unterdrückten Korrekturen werden dann zu den unkorrigierten Vordergrundszenen-RGB-Signalen addiert.
  • In der Filmfotographie, bei 24 Bildern pro Sekunde, sind die Ränder von Objekten bei Querbildbewegungen immer halb durchsichtig unscharf; deshalb repräsentieren sie einen halbdurchsichtigen Übergangsbereich zwischen dem Hintergrund und dem undurchsichtigen Objekt. Unscharfe Objekte weisen ebenso einen ähnlichen halbdurchsichtigen Rand auf. Der Übergangsbereich, Objektbereich und nicht bedeckte Hintergrundbereich sind in der US-Patentanmeldung, Anmeldenr. 08/240,881, angemeldet am 9. Mai 1994, gekennzeichnet.
    Nicht bedeckter Hintergrundbereich PRV = 0 und EC > 0.
    Übergangsbereich PRV > 0 und EC > 0,
    undurchsichtiger Objektbereich PRV ≥ 0 und EC = 0.
  • Die für den gefärbten Hintergrund bestimmten Korrekturwerte brauchen nicht durch das Unterdrückungssignal unterdrückt zu werden. Das Unterdrückungssignal wird deshalb auf einen Wert von 1.0 begrenzt, wenn es auf den gesamten Bereich innerhalb des Fensters angewendet wird. Es ist wünschenswert, das Unterdrückungssignal nur auf den Übergang und den undurchsichtigen Objektbereich anzuwenden, um das Begrenzen des Unterdrückungssignals zu vermeiden. Diese Bereiche sind oben gekennzeichnet. Durch die Unterdrückung der Korrekturen nur in den Objekt- und Übergangsbereichen kann die Unterdrückungsaktion so eingestellt werden, daß sie erst dort beginnt, wo der Abtastpunkt beginnt, den Rand eines halbdurchsichtigen Objekts zu erfassen.
  • Streifenvermeidung
  • Ein durch einen Fleck, einen Fußabdruck, einen Reibfleck oder eine andere Unregelmäßigkeit gebildete Stelle erscheint oft auf dem gefärbten Hintergrund, insbesondere im Bodenbereich. Die Stelle kann heller oder dunkler als der umgebende Hintergrund sein. Wenn ein Fensterrand durch diese Stelle verläuft, werden die durch Vergleich mit einem Referenz-RGB entwickelten Korrekturen eine geeignete Korrektur für den gesamten Fensterrand bereitstellen, einschließlich der Pixel in dem kleinen lokalen Bereich, der die Stelle umfaßt. Während diese Korrekturen für den lokalen Bereich der Stelle geeignet sind, sind sie für andere Bereiche des Hintergrunds nicht korrekt. Da diese Korrekturen über der Hintergrund interpoliert werden, ist der sichtbare Effekt ein der Hintergrund durchlaufender Streifen, wobei der Streifen verblasst, wenn er den gegenüberliegenden Fensterrand erreicht.
  • Der Streifen wird dadurch entfernt, daß der Fensterrand in den Streifenbereich bewegt wird und dann der Prozeß der Anwendung von interpolierten Korrekturen wiederholt wird. Das Endergebnis dieser doppelten Korrektur sind ein gleichmäßiger Hintergrund, unsichtbare Fensterränder und keine Streifen. Wenn diese Korrekturen für die gesamte Szene verwendet werden sollen, kann das Fenster an seine anfängliche Position zurückgesetzt werden. Die ursprünglichen Korrekturen zwischen der ersten und zweiten Fensterposition bleiben unverändert. Wenn Korrekturen für jedes Bild neu berechnet werden sollen, dann muß das Fenster in der zweiten Position bleiben.
  • Der Streifenentfernungsprozeß kann durch Verschieben des Fensterrandes um eine ausgewählte Anzahl von Pixeln in den Streifen hinein und Wiederholen des Korrekturprozesses automatisiert werden. Die RGB-Pegel werden dann entlang des neuen Fensterrandes überprüft. Wenn RGB nicht für alle Pixel entlang dieses Randes innerhalb einer gesetzten Toleranz identisch ist, wird das Fenster erneut verschoben. Diese Aktionen werden wiederholt, bis die RGB-Signale konstant sind.
  • Zwei-Bereich-Korrektur
  • Es kann sein, daß es nicht möglich ist, den Fensterrand zu bewegen, um eine Stelle auf dem Hintergrund zu vermeiden, wenn zum Beispiel der Fensterrand so ausgerichtet ist, daß er mit dem Rand eines Gebäudes in der Hintergrundszene übereinstimmt. Ebenso, wenn der Boden sehr verschmutzt ist, kann es verschiedene Bewegungen erfordern, um eine Fensterrandposition zu finden, die keine Streifen produziert. Viel von der Streifigkeit kann durch Interpolation über einen kleineren Bereich vermieden werden, ohne den Bewegungsbereich des Schauspielers einzuschränken, wie jetzt mit Hilfe von 3 beschrieben wird.
  • Es wird auf 3 Bezug genommen; ein Fenster 5 wird normalerweise so angeordnet, daß seine Ränder dicht an dem Rand des Hintergrunds 22 liegen, wodurch ein maximaler Manövrierraum für den Schauspieler oder das Vordergrundobjekt 3 bereitgestellt wird. Das Fenster wird verwendet, um der Hintergrund elektronisch bis zum Rand des Bildrahmens 1 zu erstrecken und auf diese Weise die Vordergrundszene auszuschalten und der Hintergrundszene in den durch das Fenster maskierten Bereichen voll anzuschalten. Das von dem gefärbten Hintergrund 4 entwickelte Steuersignal EC tastet die Hintergrundszene in den Bereich des unmaskierten Hintergrunds beginnend an dem Fensterrand.
  • Fenstersteuerungen (Teil des Fenster-Generators 34, der unten unter Bezugnahme auf 4 beschrieben ist) können auch verwendet werden, um den Umriß einer Box 9 zu schaffen, die das Objekt 3 und seinen Schatten, sofern vorhanden, dicht einschließt. Die Ränder von Box 9 bilden kein aktives Fenster. Die RGB-Pegel aller Pixel auf den gefärbten Hintergrund außerhalb von Box 9 werden mit dem RGB von Referenzpunkt 14 verglichen und alle Differenzen werden als Korrekturen gespeichert. Dieser Korrekturprozeß garantiert unsichtbare Fensterränder 5 und eine vollständige Hintergrundgleichmäßigkeit bis zur Box 9.
  • Hintergrundkorrekturen innerhalb von Box 9 werden durch horizontale und vertikale Interpolation unter Nutzung von Referenzpunkt 14, wie vorher beschrieben, gewonnen, und diese Korrekturen werden ebenso in den Speicher gebracht. Die für Bereich 4 und Bereich 9 gewonnenen Korrekturen bilden zusammen Korrekturen für den vollständigen Hintergrund innerhalb der Fensterränder 5. Diese Korrekturen ändern sich nicht und können aus dem Speicher auf jedes Bild angewendet werden.
  • Hintergrundkorrekturen auf dem gesamten Hintergrund, einschließlich Hintergrundbereich 4 und Boxbereich 9, werden im Objektbereich durch das Steuersignal EC unterdrückt. Das Unterdrückungssignal muß für jedes Bild neu berechnet werden, da sich das Objekt bewegt. Die ursprüngliche Position der Fensterränder 5 und die Boxränder 9 können für die gesamte Szene fest bleiben. Wenn Hintergrundkorrekturen für die gesamte Szene festgelegt sind, kann sich das Objekt in die Szene oder aus dieser heraus bewegen, ohne einen Streifen auszulösen.
  • Bewegte Kamera
  • Alle oben beschriebenen Verfahren zum Erhalten unsichtbarer Fensterränder werden auf eine Szene angewendet, in der die Kamera feststeht. Es gibt Anwendungen, bei denen die Kamera in Bewegung ist. Eine bewegte Kamera erfordert Sensoren oder Anzeigen aus dem Kamerakopf, der Zoomlinse, dem Kamerawagen etc., um einen Computer (siehe 4 und die entsprechende Beschreibung) zu instruieren, die Fenster und der Hintergrundszene in entgegengesetzter Richtung zur Kamerabewegung zu bewegen, so daß die Fensterränder und der Hintergrundszene fest in ihrer ursprünglichen Position in Bezug auf der Hintergrund erscheinen. Der Hintergrund kann größer als das Sichtfeld der Kamera sein, um ein Schwenken und Kippen der Kamera zu ermög lichen. Der gesamte Hintergrund mit feststehenden Fenstern kann, wie unten beschrieben, mit Bezug auf einen Referenz-RGB korrigiert werden.
  • Die Kamera wird geschwenkt und gekippt, um den gesamten Hintergrund, einschließlich aller vier Fensterränder, abzudecken. Angenommen, die Kamera muß auf verschiedene Positionen gesetzt werden, um den gesamten Hintergrund abzudecken. In jeder dieser Positionen werden der Hintergrund-RGB-Signale entlang jedes Fensterrandes innerhalb des Kamerafeldes im Speicher angeordnet. Von diesen Kamerapositionen werden RGB-Hintergrunddaten für die gesamte Länge aller vier Fensterränder ermittelt. Diese mit der Referenz-RGB verglichenen RGB-Signale erlauben die Erzeugung von Zwei-Achsen-interpolierten Korrekturen, die bewirken, daß alle vier Fensterränder unsichtbar werden. Diese Korrekturen sind fest in Bezug auf ihre Position auf dem Hintergrund. Die Fensterränder sind deshalb unsichtbar, unabhängig davon, ob sie innerhalb oder außerhalb der Kamerasicht liegen und ob die Kameraposition fest oder in Bewegung ist. Die Fensterränder bleiben unsichtbar, wenn sie sich in die oder aus der Kamerasicht bewegen. Durch lineare Interpolation zwischen zwei Werten entwickelte Korrekturen können jede gewählten Auflösung haben.
  • Da sich das Objekt bewegt, ist es erforderlich, die Korrekturen für jedes Kamerafeld im Bereich des Objektes zu unterdrücken. Dies kann durch Erzeugen eines EC-Unterdrückungssignals von den RGB-Daten in jedem Kamerabild getan werden, wie zuvor beschrieben.
  • Wenn die Kamera schwenkt, um einen gegebenen Fensterrand in das Kamerafeld zu bringen, liegt er zuerst an der Rand des Kamerasichtfeldes und geht weiter zur Mitte. Das Helligkeitsfeld einer Linse ist selten perfekt flach. Um das Erscheinen eines undeutlichen Fensterrandes zu verhindern, kann das Hintergrundszenenpegel-Steuersignal EC ein sehr wenig auf eine Begrenzung erhöht werden, die auf den Fensterpegel gesetzt ist.
  • Andere Betrachtungen
  • Es wird auf 1 Bezug genommen; der RGB-Referenzpunkt muss kein spezieller Punkt auf dem Hintergrund sein, wie z. B. Punkt 14. Er kann der Mittelwert von zwei oder mehr Punkten, wie z. B. der Punkt 14 und 15, oder ein zugewiesener RGB-Referenzpegel sein.
  • Die RGB-Pegel für einen gegebenen Punkt können der durchschnittliche RGB einer lokalen Pixelgruppe sein, die jeden Punkt umgibt. Die RGB-Mittelung von kleinen Pixelgruppen reduziert die Effekte von Filmkörnung, Systemrauschen und Hintergrundunregelmäßigkeiten.
  • Bei einem früheren Beispiel wurde ein Referenzpunkt auf dem besseren Blau des vertikalen blauen Hintergrunds gewählt, statt auf dem blau-grauen Boden. Tatsächlich braucht der Referenzpunkt noch nicht einmal auf dem Hintergrund zu liegen. Die RGB-Pegel eines besonders blauen Hintergrunds können einfach als Referenz-RGB zugewiesen werden. Ein ideal blauen Hintergrund hat einen hohen Blaugehalt und einen niedrigen und gleich hohen Rot- und Grüngehalt. Ein existierender Hintergrund, dar zum Beispiel RGB-Werte von 25R, 30G und 65B hat, kann durch willkürliches Setzen von Grün auf 25 Einheiten verbessert werden, was die Referenz zu 25R, 25G und 65B macht. Gleiches Rot und Grün repräsentiert eine verbesserte blaue Farbe für Zusammensetzungszwecke.
  • Die Aufgabe dieser Erfindung, Fensterränder unsichtbar zu machen, ohne das Bild zu beeinflussen, wurde zusammen mit einigen unerwarteten Resultaten erreicht. Die ungleichmäßige Hintergrundhelligkeit wird mit der Zwei-Achsen-Interpolationskorrektur fast gleichmäßig, und eine perfekte Gleichmäßigkeit des Hintergrunds ist oft durch Addieren einer Begrenzung mit niedrigem Pegel zum Hintergrundpegel-Steuersignal möglich. Ebenso wird die Farbgleichmäßigkeit verbessert und der Hintergrundfarbqualität kann, sofern gewünscht, verbessert werden.
  • Wenn sich ein Objekt oder sein Schatten bis zu dem unteren Teil des Bildrahmens erstreckt, kann ein unteres Fenster weder verwendet werden, noch ist es für die Unsichtbarkeit der verbleibenden drei Fensterränder erforderlich. Ohne ein unteres Fenster erstrecken sich der linke und rechte Fensterrand bis zum unteren Ende des Bildes. Beim Fehlen eines unteren Fensters können die RGB-Hintergrunddaten auf jeder Seite des Objektes (auf der unteren Abtastzeile) über das Objekt (und/oder seinen Schatten) extrapoliert werden, um die blauen Hintergrunddaten zu approximieren, die bei Fehlen des Objektes präsent wären. RGB-Hintergrunddaten am unteren Rand des Hintergrunds machen es notwendig, eine vertikale Interpolation zuzulassen.
  • Da sich in vielen Fällen der Schauspieler bis zum unteren Ende des Bildes erstrecken wird, wird das obige Verfahren für den unteren Rand des Bildes (und die vertikale Interpolation) verwendet. Dasselbe Verfahren kann jedoch für jeden Rand verwendet werden, wo das Objekt oder sein Schatten den Bildrahmen berührt.
  • Bei einem Echtzeitsystem kann es sein, daß es nicht genügend Zeit gibt, um die Hintergrund-RGB-Pegel über das Objekt (und/oder seinen Schatten) zu extrapolieren. In diesem Fall ist eine nützliche Alternative, einen Satz von Korrekturen zuzuweisen, um eine Interpolation zuzulassen. Solch eine Zuweisung würde beinhalten a) die Korrekturen, die auf dem gegenüberliegenden Fenster existieren, b) eine Null, c) eine Konstante. Ein Bediener trifft eine Auswahl, basierend auf seiner Prüfung der Szene. Ein unsichtbarer Fensterrand erfordert nicht die Interpolation über das gesamte Bild. Die an jedem Rand des Fensters gewonnenen Korrekturen können bei ei nem bestimmten Prozentsatz der Bilddimension auf Null interpoliert werden. Diese Interpolation kann linear oder nichtlinear sein.
  • Eine lineare Interpolation von Hintergrunddaten nutzt die von einer Kamera oder einem Filmbildabtaster entwickelten RGB-Signale. Die RGB-Pegel der Kamera sind oft zu Aufzeichnungszwecken auf Komponentenformen, wie z. B. Y, u, v oder Y, R-Y, B-Y, umformatiert. Da die Komponenten die RGB-Signale repräsentieren, können sie direkt interpoliert werden, ohne Umformatierung auf RGB.
  • Obwohl der Hintergrundfarbe als Blau beschrieben wurde, sind die hier beschriebenen Hintergrundkorrekturen nicht auf die Farbe Blau beschränkt. Andere Hintergrundfarben erfordern, einfach die Austauschung der RGB-Terme in Gleichung 1.
  • Bei einem Ausführungsbeispiel wird jede Operation (Vergleichen, Subtrahieren, Speichern, Addieren, Begrenzen, Multiplizieren etc.) durch einen zu diesen Systemen zugehörigen Computer ausgeführt. Bei einem anderen Ausführungsbeispiel wird vollständig digitale Echtzeit-Hardware verwendet. Die digitalen Funktionen von Vergleichen, Subtrahieren, Speichern, Addieren, Begrenzen, Multiplizieren etc. sind bekannte Funktionen, die in vielen digitalen Einrichtungen, einschließlich den von Ultimatte Corporation verkauften Ultimatte-7 und Ultimatte-8, verwendet werden.
  • 4 ist ein Blockdiagramm, das zeigt, wie zum Implementieren des erfundenen Systems verwendete Elemente und entsprechende Verfahren zusammenhängen.
  • Eine Kamera 30 liefert die Vordergrundszenen-RGB-Signale zum Speicher 31 und zum EC-Generator 33. Die Ausgabe vom Speicher 31 wird auf dem Monitor 32 angezeigt. Ein Fenstergenerator 34 benutzt Steuerungen, die einem Bediener erlauben, die Größe eines Fensters festzulegen und es anzuordnen, um das auf dem Monitor 32 angezeigte Objekt einzurahmen.
  • Die Betriebslogik 35 führt die oben beschriebenen Funktionen zum Erzeugen der Hintergrundkorrekturen durch lineare Interpolation, das adaptive Signalverfahren, das Zwei-Achsen-Interpolationsverfahren, die Streifenvermeidung und die Zwei-Bereich-Korrektur aus. Ebenso kann eine Logik zur Behandlung der Operationen für die bewegte Kamera in der Betriebslogik 35 realisiert sein, wenn entsprechende Rückkopplungssignale von mit der Kamera verbundenen Sensoren und Steuersignale bereitgestellt werden, um die Bewegungen der Kamera und des Kamerawagens zu steuern, auf dem die Kamera entsprechend in dem Stand der Technik bekannten Techniken montiert ist.
  • Der EC-Generator 33 stellt ein Unterdrückungssignal bereit, daß Korrekturen im Objektbereich unterdrückt, wenn die RGB-Daten im Speicher 31 korrigiert werden.
  • Die auf dem Monitor 32 angezeigten, korrigierten RGB-Vordergrundsignale werden am Ausgabeterminal 36 bereitgestellt und sind für die nachfolgende Zusammensetzung mit einer Hintergrundszene durch ein Zusammensetzungssystem geeignet.
  • Der EC-Generator 33, der Fenster-Generator 34 und die mit Logik 35 vergleichbare Betriebslogik sowie der Speicher 31 sind üblicherweise in der Zusammensetzungshardware für Echtzeitzusammensetzungssysteme enthalten, wie z. B. dem Ultimatte-8-Zusammensetzungssystem, erhältlich von der Ultimatte Corporation, oder in der Software von Nicht-Echtzeitzusammensetzungssystemen, wie z. B. dem CineFusion-Zusammensetzungssystem, erhältlich von der Ultimatte Corporation.
  • Die zusätzliche Logik, die zu der existierenden Betriebslogik 35 hinzugefügt werden müsste (die als Hardware in einem Echtzeitzusammensetzungssystem implementiert würde oder als Software, die auf einem Mehrzweckcomputer, wie z. B. einer von Silicon Graphics erhältlichen Workstation, läuft), um die Erfindung zu implementieren, kann von einem Fachmann auf Basis der hier bereitgestellten Beschreibung leicht erstellt werden.

Claims (32)

  1. Ein Verfahren zum Beseitigen der Sichtbarkeit von Fensterrändern bei einem Bildzusammensetzsystem zum Zusammensetzen einer ein Objekt vor einem ungleichmäßig ausgeleuchteten gefärbten Hintergrund enthaltenden Vordergrundszene und einer Hintergrundszene, und wobei ein Fenster, das einen gefärbten Hintergrundbereich bildet, benutzt wird, um unerwünschte Bereiche außerhalb des oder auf dem gefärbten Hintergrund zu maskieren, und wobei eine oder mehrere Fensterränder eine sichtbare Linie zeigen, wo das Fenster an den Hintergrund stößt, wobei das Verfahren die sichtbare Linie unsichtbar macht, indem ein Fenstersteuersignalpegel so angepaßt wird, daß er mit einem Hintergrundszenensteuersignalpegel übereinstimmt, und wobei das Verfahren die Schritte umfaßt: (a) Bestimmen von RGB-Signalpegeln für dasjenige Pixel auf dem gefärbten Hintergrund, das das erste von einer ersten horizontalen Abtastzeile angetroffene Pixel ist, das in den Hintergrundbereich eintritt; (b) Bestimmen eines Hintergrundszenenpegelsteuersignals EC, das von den an diesem ersten Pixel vorgefundenen RGB-Signalpegeln erzeugt wird; wobei EC = K((B – K1) – K2max(G, R)) ist, wobei R, G und B die Signalpegel für rot, grün und blau und K, K1 und K2 Konstanten sind; (c) Zuweisen dieses Steuersignals EC als Fensterpegelsteuersignal für sämtliche Pixel auf der ersten horizontalen Abtastzeile vor dem Antreffen des ersten Pixels; (d) Bestimmen und Zuweisen eines geeigneten Steuersignals EC für sämtliche Pixel auf einer zweiten und nachfolgenden Abtastzeilen, die in den gefärbten Hintergrundbereich eintreten, durch das für die erste in den gefärbten Hintergrundbereich eintretende Abtastzeile beschriebene Verfahren; (e) Bestimmen von RGB-Signalpegeln für ein letztes Pixel des gefärbten Hintergrunds, das von der ersten horizontalen Abtastzeile angetroffen wird, wenn sie den gefärbten Hintergrundbereich verläßt; (f) Bestimmen des Steuersignals EC aus den RGB-Signalen und Zuweisen des Steuersignals EC als Fensterpegelsteuersignal für sämtliche Pixel auf der ersten horizontalen Abtastzeile, die dem letzten Hintergrundpixel folgen; (g) Bestimmen und Zuweisen eines geeigneten EC für sämtliche Pixel auf nachfolgenden Abtastzeilen, die den gefärbten Hintergrundbereich verlassen, durch das für die erste den Hintergrundbereich verlassende Abtastzeile beschriebene Verfahren; (h) Bestimmen eines Pegels von EC für sämtliche Pixel auf der ersten Abtastzeile innerhalb des gefärbten Hintergrundbereichs und Zuweisen der EC-Pegel an sämtliche Pixel in der Pixelspalte direkt über dem jeweiligen Pixel auf der ersten Abtastzeile; (i) Bestimmen eines Pegels von EC für sämtliche Pixel auf der letzten Abtastzeile innerhalb des gefärbten Hintergrundbereichs und Zuweisen der EC-Pegel für sämtliche Pixel direkt unter dem jeweiligen Pixel auf der letzten Abtastzeile; (j) Zuweisen eines vorhandenen EC-Pegels an irgendwelche benachbarten Pixel, deren EC-Pegel noch nicht zugewiesen worden sind; (k) Speichern sämtlicher zugewiesener Pegel EC in einem Speicher und Benutzen der gespeicherten EC-Signale als Fensterpegelsteuersignal, wodurch bewirkt wird, daß der Fensterbereich den identischen Steuersignalpegel aufweist wie der Hintergrund an sämtlichen Punkten, wo sich das Fenster und der Hintergrund treffen, wodurch die Verbindungslinie unsichtbar gemacht wird.
  2. Ein Verfahren zum Beseitigen der Fensterrandsichtbarkeit bei einem Bildzusammensetzsystem zum Zusammensetzen einer ein Objekt vor einem ungleichmäßig ausgeleuchteten gefärbten Hintergrund enthaltenden Vordergrundszene und einer Hintergrundszene, und wobei ein einen gefärbten Hintergrundbereich bildendes Fenster benutzt wird, um unerwünschte Bereiche außerhalb des oder auf dem gefärbten Hintergrund zu maskieren, und wobei wenigstens ein Fensterrand eine sichtbare Verbindungslinie bildet, wo der wenigstens eine Fensterrand auf den Hintergrund trifft, wobei das Verfahren die sichtbare Verbindungslinie unsichtbar macht, indem eine Hintergrund-Helligkeits- oder -Farbungleichmäßigkeit korrigiert wird, indem Hintergrund-RGB-Signale entlang von Fensterrändern derart korrigiert werden, daß sie mit einer RGB-Referenz übereinstimmen, und die Korrekturen an Vordergrundszenen-RGB-Signalen interpoliert werden.
  3. Das Verfahren nach Anspruch 2, wobei der ungleichmäßig ausgeleuchtete gefärbte Hintergrund entweder von einer Seite zur anderen nichtlinear und/oder von oben nach unten nichtlinear ist, wobei das Verfahren die Schritte umfaßt: (a) Auswählen eines Referenzpunkts innerhalb des Hintergrundbereichs und Speichern seiner RGB-Pegel als RGB-Referenzpegel; (b) Vergleichen von RGB-Pegeln eines Pixels auf einer ersten Abtastzeile, das als erstes den gefärbten Hintergrundbereich betritt, mit den RGB-Referenzpegeln und Speichern von Differenzen als RGB-Korrekturwerte für dieses erste Pixel; (c) Vergleichen von RGB-Pegeln eines Pixels auf der ersten Abtastzeile, das als letztes sich mit dem gefärbten Hintergrundbereich überdeckt, mit den RGB-Referenzpegeln und Speichern der Differenzen als RGB-Korrekturwerte für dieses letzte Pixel; (d) Bestimmen von RGB-Korrekturwerten für sämtliche weiteren Pixel auf der ersten Abtastzeile durch lineare Interpolation zwischen den Korrekturwerten, die für das erste Pixel und das letzte Pixel bestimmt worden sind, und Speichern der sämtlichen weiteren Pixelkorrekturwerte; (e) Wiederholen der Schritte b, c und d für jede nachfolgende Abtastzeile, welche den gefärbten Hintergrund überquert, wodurch eine erste Menge von Korrekturwerten für sämtliche Pixel innerhalb des Hintergrundbereichs bestimmt wird; (f) Addieren der ersten Menge von Korrekturwerten zu einer Mengen von Vordergrundszenen-RGB-Signalen, um den ungleichmäßig ausgeleuchteten gefärbten Hintergrundbereich in der vertikalen Richtung zu korrigieren, wodurch ein korrigierter Hintergrund gebildet wird.
  4. Das Verfahren nach Anspruch 2, wobei der ungleichmäßig ausgeleuchtete gefärbte Hintergrund von einer Seite zur anderen nichtlinear und/oder von oben nach unten nichtlinear ist, wobei das Verfahren die Schritte umfaßt: (a) Auswählen eines Referenzpunkts innerhalb des Hintergrundbereichs und Speichern seiner RGB-Pegel als RGB-Referenzpegel für eine vertikale Interpolation; (b) Vergleichen von RGB-Pegeln des Pixels auf der ersten Abtastzeile, das als erstes den gefärbten Hintergrundbereich betritt, mit den RGB-Referenzpegeln und Speichern der Differenz als ersten RGB-Korrekturwert für das erste Pixel; (c) Vergleichen von RGB-Pegeln des Pixels auf der letzten Abtastzeile, das als erstes den gefärbten Hintergrundbereich betritt, mit den RGB-Referenzpegeln und Speichern der Differenz als zweiten Korrekturwert für das erste Pixel auf der letzten Abtastzeile; (d) Bestimmen von RGB-Korrekturwerten für sämtliche weiteren Pixel in einer Spalte von Pixeln zwischen den ersten Pixeln auf der ersten und der letzten Abtastzeile durch lineare Interpolation zwischen den gespeicherten Korrekturwerten für die zwei ersten Pixel und Speichern der Korrekturwerte in einem Speicher; (e) Wiederholen der Schritte b, c und d für jedes nachfolgende Pixel auf der ersten und letzten Abtastzeile, wodurch eine Menge von Korrekturwerten für den von dem Fenster eingeschlossenen Bereich bestimmt wird; (f) Addieren der Menge von Korrekturwerten mit einer Menge von Vordergrundszenen-RGB-Signalen, um den gefärbten Hintergrundbereich bezüglich einer Ungleichmäßigkeit in der horizontalen Richtung zu korrigieren, wodurch ein korrigierter Hintergrund gebildet wird.
  5. Das Verfahren nach Anspruch 3, ferner umfassend die Schritte: (a) Erzeugen eines Hintergrundszenenpegelsteuersignals, das proportional zur Leuchtdichte und Sichtbarkeit des korrigierten Hintergrunds ist; (b) Zuweisen des Hintergrundszenenpegelsteuersignals an einem Fensterrand als Fensterpegelsteuersignal, womit eine nicht sichtbare Verbindungslinie zwischen dem Fensterrand und dem Hintergrund erzeugt wird.
  6. Das Verfahren nach Anspruch 4, ferner umfassend die Schritte: (a) Erzeugen eines Hintergrundszenenpegelsteuersignals, das proportional zur Leuchtdichte und Sichtbarkeit des korrigierten Hintergrunds ist; (b) Zuweisen des Hintergrundszenenpegelsteuersignals an einem Fensterrand als Fensterpegelsteuersignal, womit eine nicht sichtbare Verbindungslinie zwischen dem Fensterrand und dem Hintergrund erzeugt wird.
  7. Das Verfahren nach Anspruch 2, wobei der ungleichmäßig ausgeleuchtete gefärbte Hintergrund nichtlinear von einer Seite zur anderen und/oder nichtlinear von oben nach unten ist und wobei die sichtbare Verbindungslinie ohne Beeinflussung des Objekts durch ein horizontales und vertikales lineares Interpolationsverfahren zum Gewinnen von Hintergrundkorrekturen unsichtbar gemacht wird, wobei die Hintergrundkorrekturen bewirken, daß ein Hintergrundpegelsteuersignal am Fensterrand gleichmäßig ist und mit einem zugewiesenen Fenstersignalpegel übereinstimmt, wobei das Verfahren die Schritte umfaßt: (a) Auswählen eines ersten Referenzpunkts auf dem Hintergrund und Speichern seiner RGB-Pegel als RGB-Referenzpegel für eine horizontale lineare Interpolation; (b) Vergleichen von RGB-Pegeln eines Pixels auf einer ersten Abtastzeile, das als erstes den gefärbten Hintergrund betritt, mit den RGB-Referenzpegeln und Speichern ihrer Differenzen als RGB-Korrekturwerte für das erste Pixel; (c) Vergleichen von RGB-Pegeln eines Pixels auf der ersten Abtastzeile, das als letztes mit dem gefärbten Hintergrund zusammentrifft, mit den RGB-Referenzpegeln und Speichern ihrer Differenzen als RGB-Korrekturwerte für das letzte Pixel; (d) Bestimmen von RGB-Abtastzeilenkorrekturwerten für sämtliche weiteren Pixel auf der ersten Abtastzeile durch horizontale lineare Interpolation zwischen den gespeicherten RGB-Korrekturwerten, die für das erste Pixel und das letzte Pixel bestimmt worden sind, und Speichern sämtlicher weiteren Abtastzeilenpixelkorrekturwerte; (e) Wiederholen der Schritte b, c und d für jede nachfolgende Abtastzeile, welche den gefärbten Hintergrund überquert, wodurch RGB-Abtastzeilenkorrekturwerte für sämtliche Pixel auf dem gefärbten Hintergrund bestimmt werden; (f) Addieren der RGB-Abtastzeilenkorrekturwerte mit Vordergrundszenen-RGB-Signalen, um den Hintergrund bezüglich der Ungleichmäßigkeit in einer vertikalen Richtung zu korrigieren; (g) Auswählen eines zweiten Referenzpunkts und Speichern seiner RGB-Pegel als zweite RGB-Referenzpegel für eine vertikale Interpolation; (h) Vergleichen der RGB-Pegel des Pixels auf der ersten Abtastzeile, das als erstes den gefärbten Hintergrund betritt, mit den zweiten RGB-Referenzpegeln und Speichern ihrer Differenzen als zweite RGB-Korrekturwerte für das erste Pixel; (i) Vergleichen von RGB-Pegeln eines Pixels auf der letzten Abtastzeile, das als erstes den gefärbten Hintergrund betritt, mit den zweiten RGB-Referenzpegeln und Speichern ihrer Differenzen als zweite RGB-Korrekturwerte für das erste Pixel auf der letzten Abtastzeile; (j) Bestimmen von RGB-Korrekturwerten für sämtliche weiteren Pixel in einer Spalte von Pixeln zwischen den ersten Pixeln auf der ersten und der letzten Abtastzeile durch vertikale lineare Interpolation zwischen den gespeicherten RGB-Korrekturwerten für die beiden ersten Pixel und Speichern sämtlicher weiteren Spaltenpixelkorrekturwerte; (k) Wiederholen der Schritte h, i und j für jedes nachfolgende Pixel auf der ersten und der letzten Abtastzeile, wodurch die RGB-Spaltenkorrekturwerte für einen von dem Fenster eingeschlossenen Bereich bestimmt werden; (l) Addieren der RGB-Spaltenkorrekturwerte zu den Vordergrundszenen-RGB-Signalen, um den Hintergrund bezüglich der Ungleichförmigkeit in einer horizontalen Richtung zu korrigieren, um dadurch einen korrigierten Hintergrund zu bilden; (m) Erzeugen eines Hintergrundszenenpegelsteuersignals, das proportional der Leuchtdichte und Sichtbarkeit des korrigierten Hintergrunds ist; (n) Zuweisen des Hintergrundszenenpegelsteuersignals an dem wenigstens einen Fensterrand als Fensterpegelsteuersignal, womit eine nicht sichtbare Verbindungslinie zwischen dem Fensterrand und dem korrigierten Hintergrund erzeugt wird.
  8. Das Verfahren nach Anspruch 7, wobei der zweite Referenzpunkt in der Nähe des Objekts ausgewählt wird.
  9. Das Verfahren nach Anspruch 7, wobei die ersten und die zweiten RGB-Referenzpegel die gleichen sind.
  10. Das Verfahren nach Anspruch 7, wobei die zweiten RGB-Referenzpegel mit einem Faktor zwischen 0,5 und 1,5 multipliziert werden, um minimal mögliche Korrekturen in einem Abschnitt des Hintergrunds, der dem Objekt benachbart ist, zu bestimmen.
  11. Das Verfahren nach Anspruch 7, wobei eine interpolierte Korrektur für ein gegebenes Pixel größer oder kleiner als eine für das Pixel erforderliche Korrektur ist, was zu einer Überkorrektur bzw. einer Unterkorrektur führt, und wobei die Überkorrektur und die Unterkorrektur verhindert werden, während ein Schatten des Objekts beibehalten wird, ferner umfassend die Schritte: (a) Definieren eines nicht bedeckten Hintergrundbereichs als Bereich der Vordergrundszene, in welchem PRV = 0 und EC > 0 ist, wobei PRV ein verarbeitetes Videosignal ist, das durch Subtrahieren von Pegeln von EC, die mit Hintergrund-RGB-Pegeln übereinstimmen, gewonnen worden ist, und EC = K((B – K1) – K2max(G, R)) ist, wobei R, G und B Signalpegel für rot, grün bzw. blau sind und K, K1 und K2 Konstanten sind; (b) Vergleichen von RGB-Pegeln für jedes Pixel in dem nicht verdeckten Hintergrundbereich mit den RGB-Pegeln des zweiten Referenzpunkts und deren Differenz eine potentielle Korrektur definiert; (c) Vergleichen der potentiellen Korrektur mit der durch die lineare Interpolation bestimmten Korrektur; (d) Anwenden der potentiellen Korrektur anstelle der durch die Interpolation bestimmten Korrektur, sofern die potentielle Korrektur geringer ist, wodurch eine Überkorrektur verhindert wird; (e) Anwenden der durch die Interpolation bestimmten Korrektur, wenn die potentielle Korrektur größer ist, wodurch der Schatten des Objekts bewahrt wird.
  12. Das Verfahren nach Anspruch 7, wobei die Hintergrundkorrekturen, die durch die horizontale Interpolation gewonnen worden sind, zunächst in einem Objektbereich verhindert und dann zu den Vordergrundszenen-RGB-Signalen addiert werden, um den bezüglich der vertikalen Nichtlinearität korrigierten Hintergrund zu erzeugen, und wobei die durch die vertikale Interpolation gewonnenen Hintergrundkorrekturen verhindert und dann zu den Vordergrundszenen-RGB-Signalen addiert werden, um den hinsichtlich der horizontalen Nichtlinearität korrigierten Hintergrund zu erzeugen, ferner umfassend die Schritte: (a) Bestimmen einer ersten Menge der Hintergrundkorrekturen, die durch die horizontale Interpolation gewonnen worden sind; (b) Bestimmen eines EC-Verhinderungssignals für jedes Pixel in einem nicht korrigierten Bereich, der von dem Fenster eingeschlossen wird, aus den RGB-Pegeln des gefärbten Hintergrunds, wobei EC = K(B – K1) – K2max(G, R)) ist, wobei R, G und B Signalpegel für rot, grün und blau und K, K1 und K2 Konstanten sind; (c) Multiplizieren der ersten Menge von Korrekturen mit dem EC-Verhinderungssignal, um verhinderte Korrekturen zu gewinnen; (d) Addieren der verhinderten Korrekturen zu den Vordergrundszenen-RGB-Signalen, um unsichtbare linke und rechte Fensterränder zu erzeugen; (e) Bestimmen einer zweiten Menge von Hintergrundkorrekturen, die durch die vertikale Interpolation gewonnen werden, aus den Vordergrundszenen-RGB-Signalen, die zuvor durch die horizontale Interpolation korrigiert wurden; (f) Bestimmen eines zweiten EC-Verhinderungssignals aus den RGB-Signalen, die durch eine erste Menge der verhinderten Korrekturen korrigiert worden sind; (g) Multiplizieren der zweiten Menge von Hintergrundkorrekturen mit dem zweiten EC-Verhinderungssignal; (h) Addieren der zweiten Menge von Hintergrundkorrekturen zu zuvor korrigierten Vordergrundszene-RGB-Signalen, um unsichtbare obere und untere Fensterränder zur Verfügung zu stellen, was dazu führt, daß sämtliche vier Fensterränder unsichtbar werden.
  13. Das Verfahren nach Anspruch 12, wobei die erste und die zweite Menge von Hintergrundkorrekturen addiert werden, um kombinierte Korrekturen zu gewinnen, und wobei die kombinierten Korrekturen durch das aus dem gefärbten unkorrigierten Hintergrund erzeugte Steuersignal EC verhindert werden, und wobei die kombinierten Korrekturen zu den Vordergrundszenen-RGB-Signalen addiert werden, um eine Verfärbung des Objekts zu verhindern.
  14. Das Verfahren nach Anspruch 12 oder 13, wobei Verhinderungssignale bei einem Wert von 1,0 abgeschnitten werden, um eine Verhinderungsfunktion in einem nicht verdeckten Hintergrundbereich zu sperren.
  15. Das Verfahren nach Anspruch 7, wobei die Korrekturen nur in undurchsichtigen und halbtransparenten Objektbereichen verhindert werden, umfassend die Schritte: (a) Erzeugen von EC für jedes Pixel in dem Bereich, der von dem Fenster eingeschlossen wird, wobei EC = K((B – K1) – K2max(G, R)) ist, wobei R, G und B Signalpegel für rot, grün und blau und K, K1 und K2 Konstanten sind; (b) Erzeugen eines verarbeiteten Videosignals PRV durch Subtrahieren von Pegeln EC, die gleich den RGB-Pegeln in den gefärbten Hintergrundsignalen sind; (c) Definieren eines Übergangsbereichs durch PRV > 0 und EC > 0 und des undurchsichtigen Objektbereichs durch PRV ≥ 0 und EC = 0; (d) Multiplizieren der RGB-Korrektursignale in dem Übergangsbereich und dem undurchsichtigen Objektbereich mit dem EC, um Korrekturen nur in dem definierten Übergangsbereich und dem undurchsichtigen Objektbereich zu verhindern.
  16. Das Verfahren nach Anspruch 7, wobei das Hintergrundszenenpegelsteuersignal EC kontinuierlich mit der Steuerung eines Fensterpegels verknüpft ist, wodurch eine automatische Beibehaltung der unsichtbaren Fensterränder gesichert wird, wenn der Pegel der Hintergrundszene eingestellt wird.
  17. Das Verfahren nach Anspruch 7, wobei die Hintergrundleuchtdichte und -farbgleichmäßigkeit, die durch eine zweiachsige Interpolation erzeugt wird, wesentlich besser als die Hintergrundleuchtdichte- und farbgleichmäßigkeit eines unkorrigierten Hintergrunds ist.
  18. Das Verfahren nach Anspruch 2, wobei die Korrekturen Streifen über den Hintergrund einbringen, wobei die Streifen beseitigt werden, indem ein Fensterrand, der einen Streifen bewirkt, jeweils um eine vorgegebene Anzahl von Pixeln in den Streifen bewegt wird und wiederholt interpolierte Korrekturen erzeugt und angewendet werden, bis keine Streifen sichtbar sind.
  19. Das Verfahren nach Anspruch 18, wobei die Streifen automatisch beseitigt werden durch eine Autoinkrementierung des Fensterrands in den Streifen um die vorgegebene Anzahl von Pixeln und durch Wiederholen des interpolierten Korrekturprozesses, bis die RGB-Pegel für jedes Pixel entlang des Fensterrands innerhalb einer vorgegebenen Toleranz identisch sind.
  20. Das Verfahren nach Anspruch 2, ferner umfassend die Schritte: (a) Anordnen von Fenstern an einem Rand eines Hintergrunds derart, daß maximaler Raum für Bewegungen des Vordergrundobjekts zur Verfügung gestellt wird; (b) Verwendung von Fenstersteuerung zum Erzeugen eines Kastens, der das Objekt und einen gegebenenfalls vorhandenen Schatten des Objekts eng einschließt; (c) Vergleichen der RGB-Pegel sämtlicher Pixel innerhalb des Fensters und außerhalb des Kastens mit Referenz-RGB-Pegeln und Speichern einer Differenz zwischen den RGB-Pegeln und den Referenz-RGB-Pegeln als Korrekturen; (d) Erzeugen zweiachsiger Korrekturen durch lineare Interpolation für sämtliche Pixel innerhalb des Kastens und Speichern der Korrekturen; (e) Erzeugen des Steuersignals EC für sämtliche Pixel innerhalb des Fensters und des Kastens, wobei EC = K((B – K1) – K2max(G, R)) ist, wobei R, G und B Signalpegel für rot, grün und blau und K, K1 und K2 Konstanten sind; (f) Multiplizieren der Korrekturen in dem Fenster und in dem Kasten mit EC, um Korrekturen in einem Objektbereich zu verhindern, und Addieren der verhinderten Korrekturen zu dem Vordergrundszenen-RGB; (g) Wiederholen des Schritts f für jedes Einzelbild in einer Szene, um Korrekturen in dem Bereich eines sich bewegenden Vordergrundobjekts zu verhindern.
  21. Das Verfahren nach Anspruch 2, ferner umfassend die Schritte: (a) Verwenden von Sensoren zum Erzeugen von Positionssignalen aus einem Kamerakopf, einer Zoom-Linse, einem Kamerawagen und äquivalenten Komponenten, welche an einen Computer gesendet werden, um die Fenster und die Hintergrundszene in eine Richtung zu bewegen, die entgegengesetzt der Bewegung der Kamera ist; (b) Anordnen der Kamera in einer Reihe von Positionen, die es RGB-Signalpegeln sämtlicher Pixel innerhalb des von einem Fenster begrenzten Hintergrunds gestatten, in einem Speicher gespeichert zu werden; (c) Erzeugen zweiachsig interpolierter Korrekturen aus den in dem Speicher gespeicherten RGB-Signalen und Speichern der Korrekturen; (d) Erzeugen eines Steuersignals EC aus den in dem Speicher gespeicherten Hintergrund-RGB-Signalen, die innerhalb des Kamerafelds liegen, wonach EC = K((B – K1) – K2max(G, R)) ist, wobei R, G und B Signalpegel für rot, grün und blau und K, K1 und K2 Konstanten sind; (e) Verhindern der Korrekturen in dem Kamerafeld durch Multiplizieren mit dem EC; (f) Addieren der verhinderten Korrekturen zu Vordergrundszenen-RGB-Signalen innerhalb des Kamerafelds; (g) Zuweisen des Hintergrund-EC-Pegels an einem Fensterrand als Fensterpegelsteuersignal; (h) Wiederholen der Schritte d, e und f für jedes Kameraeinzelbild, wodurch unsichtbare Fensterränder in einer bewegten Kameraszene erzeugt werden.
  22. Das Verfahren nach Anspruch 7, wobei die Referenzpunkt-RGB-Pegel, die für die Erzeugung der Hintergrundkorrekturen benutzt werden, ein durchschnittlicher RGB-Pegel von wenigstens zwei Punkten auf dem Hintergrund sind.
  23. Das Verfahren nach Anspruch 7, wobei die für eine gegebene Pixeladresse bestimmten RGB-Pegel einen Durchschnitts-RGB-Pegel einer vorgegebenen Anzahl von Pixeln in unmittelbarer Nähe eines bezeichneten Pixels sind, wodurch Systemrauschen und die Sichtbarkeit der Filmkörnigkeit minimiert werden.
  24. Das Verfahren nach Anspruch 7, wobei die Korrekturen zum Erzeugen unsichtbarer Fensterränder außerdem die Farbqualität des Hintergrunds korrigieren und verbessern, indem ein RGB-Referenzpegel ausgewählt wird, der die Farbe eines überlegenen Hintergrunds repräsentiert.
  25. Das Verfahren nach Anspruch 7, wobei die Erzeugung unsichtbarer Fensterränder außerdem zu einer verbesserten Hintergrundleuchtdichte- und -farbgleichmäßigkeit im Vergleich zu einem verfahren führt, welches keine unsichtbaren Fensterränder erzeugt.
  26. Das Verfahren nach Anspruch 7, wobei sich das Objekt oder ein Schatten des Objekts bis zu einem unteren Rand eines Einzelbilds erstreckt, wodurch die Verwendung eines unteren Fensterrands zum Erzeugen der für die vertikale Interpolation zwischen oberen und unteren Fensterkorrekturen benötigten Korrekturen verhindert wird, und wobei die Korrekturen des unteren Rands durch RGB-Pegel erzeugt werden, die durch Interpolation von RGB-Pegeln einer unteren Abtastzeile über das Objekt oder den Schatten gewonnen worden sind, um RGB-Daten zu erzeugen, die RGB-Pegel annähern, die bei Fehlen des Objekts vorhanden sein würden.
  27. Das Verfahren nach Anspruch 26, wobei sich das Objekt zu einem Einzelbildrand erstreckt, der nicht der untere Rand ist.
  28. Das Verfahren nach Anspruch 7, wobei sich das Objekt oder ein Schatten des Objekts zu dem unteren Rand eines Ein zelbilds erstrecken, wodurch die Verwendung eines unteren Fensterrands zum Erzeugen von Korrekturen, die für eine vertikale Interpolation zwischen oberen und unteren Fensterkorrekturen benötigt werden, verhindert wird, und wobei die Korrekturen des unteren Rands zugewiesen werden als entweder a) obere Fensterrandkorrekturen, b) Null und c) eine Konstante.
  29. Das Verfahren nach Anspruch 28, wobei Null als untere Fensterrandkorrekturen ausgewählt wird und wobei die Null an einer Zwischenposition über dem unteren Rand des Einzelbildes angeordnet sein kann.
  30. Das Verfahren nach Anspruch 7, wobei die Hintergrundleuchtdichte- und -farbgleichmäßigkeit verbessert wird durch die durch zweiachsige Interpolation gewonnenen Hintergrundkorrekturen, wenn keine Fenster vorhanden sind, indem die Fensterränder durch die vier Ränder des Einzelbilds ersetzt werden.
  31. Das Verfahren nach Anspruch 7, wobei die Interpolation mit einem Äquivalent von RGB ausgeführt wird.
  32. Das Verfahren nach Anspruch 31, wobei das RGB-Äquivalent YUV ist.
DE69728604T 1996-06-07 1997-05-28 Verfahren zur Erzeugung von unsichtbaren Fensterkanten in Bildzusammensetzungssystemen Expired - Lifetime DE69728604T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/659,918 US5742354A (en) 1996-06-07 1996-06-07 Method for generating non-visible window edges in image compositing systems
US659918 1996-06-07

Publications (2)

Publication Number Publication Date
DE69728604D1 DE69728604D1 (de) 2004-05-19
DE69728604T2 true DE69728604T2 (de) 2005-04-14

Family

ID=24647365

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69728604T Expired - Lifetime DE69728604T2 (de) 1996-06-07 1997-05-28 Verfahren zur Erzeugung von unsichtbaren Fensterkanten in Bildzusammensetzungssystemen

Country Status (6)

Country Link
US (1) US5742354A (de)
EP (1) EP0812117B1 (de)
JP (1) JPH113414A (de)
CA (1) CA2206827C (de)
DE (1) DE69728604T2 (de)
HK (1) HK1005975A1 (de)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515109A (en) * 1995-04-05 1996-05-07 Ultimatte Corporation Backing color and luminance nonuniformity compensation
US6389177B1 (en) * 1996-07-02 2002-05-14 Apple Computer, Inc. System and method using edge processing to remove blocking artifacts from decompressed images
WO1999005666A1 (en) 1997-07-25 1999-02-04 Apple Computer, Inc. System and method for generating high-luminance windows on a computer display device
US5937104A (en) * 1997-09-19 1999-08-10 Eastman Kodak Company Combining a first digital image and a second background digital image using a key color control signal and a spatial control signal
US6134346A (en) * 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
US6313823B1 (en) 1998-01-20 2001-11-06 Apple Computer, Inc. System and method for measuring the color output of a computer monitor
KR100367831B1 (ko) * 1998-06-30 2003-01-10 주식회사 팬택앤큐리텔 영상의 색차신호 필터링 방법 및 장치
US7412654B1 (en) * 1998-09-24 2008-08-12 Apple, Inc. Apparatus and method for handling special windows in a display
US6553140B1 (en) 1999-04-16 2003-04-22 Avid Technology, Inc. Method and system for spill correction
US6731825B1 (en) * 2000-07-11 2004-05-04 Sarnoff Corporation Apparatus and method for producing images using digitally stored dynamic background sets
US6987893B2 (en) * 2001-01-05 2006-01-17 Lg Electronics Inc. Image interpolation method and apparatus thereof
US6678009B2 (en) * 2001-02-27 2004-01-13 Matsushita Electric Industrial Co., Ltd. Adjustable video display window
JP4596222B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7162083B2 (en) * 2001-07-06 2007-01-09 Vision Iii Imaging Inc. Image segmentation by means of temporal parallax difference induction
US20050176812A1 (en) * 2003-11-06 2005-08-11 Pamela Cohen Method of treating cancer
WO2006020661A2 (en) * 2004-08-10 2006-02-23 Nicholson Bruce A Sodium screen digital traveling matte methods and apparatus
US7593595B2 (en) * 2004-08-26 2009-09-22 Compulink Management Center, Inc. Photographic document imaging system
EP1865710A4 (de) * 2005-03-30 2009-11-25 Pioneer Corp Bildsignalverarbeitungsvorrichtung, bildsystem und bildsignalverarbeitungsverfahren
US7330604B2 (en) * 2006-03-02 2008-02-12 Compulink Management Center, Inc. Model-based dewarping method and apparatus
WO2007142643A1 (en) * 2006-06-08 2007-12-13 Thomson Licensing Two pass approach to three dimensional reconstruction
US20080231752A1 (en) * 2007-03-22 2008-09-25 Imatte, Inc. Method for generating a clear frame from an image frame containing a subject disposed before a backing of nonuniform illumination
US8189110B2 (en) * 2007-04-11 2012-05-29 Ultimate Corporation Equalization of noise characteristics of the components of a composite image without degrading subject image quality
WO2008137051A1 (en) * 2007-05-01 2008-11-13 Compulink Management Center, Inc. Photo-document segmentation method and system
JP5160547B2 (ja) * 2007-08-15 2013-03-13 株式会社リバック 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置
WO2009137073A1 (en) * 2008-05-06 2009-11-12 Compulink Management Center, Inc. Camera-based document imaging
JP2010113424A (ja) * 2008-11-04 2010-05-20 Fujitsu Ltd 画像合成装置及び画像合成方法
US8571343B2 (en) * 2011-03-01 2013-10-29 Sharp Laboratories Of America, Inc. Methods and systems for document-image correction
JP6326316B2 (ja) * 2014-07-25 2018-05-16 シャープ株式会社 画像処理装置、撮影装置、プログラム、記録媒体
US9350924B2 (en) 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
US10546368B2 (en) * 2017-09-05 2020-01-28 Solomon Systech (Shenzhen) Limited Method and device for compensating the perceptual bias of edge boost in a display panel
CN113949824B (zh) * 2021-10-28 2022-08-23 深圳市三一众合科技有限公司 卡通头像的嘴巴控制方法及相关产品

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4100569A (en) * 1976-11-03 1978-07-11 Petro Vlahos Comprehensive electronic compositing system
US4625231A (en) * 1984-04-27 1986-11-25 Ultimatte Corporation Comprehensive electronic compositing system
US5424781A (en) * 1988-06-28 1995-06-13 Ultimatte Corporation Backing color and luminance nonuniformity compensation for linear image compositing
US5032901A (en) * 1988-06-28 1991-07-16 Petro Vlahos Backing color and luminance nonuniformity compensation for linear image compositing
US5202762A (en) * 1991-09-10 1993-04-13 Ultimatte Corporation Method and apparatus for applying correction to a signal used to modulate a background video signal to be combined with a foreground video signal
US5343252A (en) * 1993-04-15 1994-08-30 Ultimatte Corporation Method and apparatus for compositing video images
AU6554794A (en) * 1993-04-15 1994-11-08 Ultimatte Corporation Screen filtering boundary detection for image compositing
US5515109A (en) * 1995-04-05 1996-05-07 Ultimatte Corporation Backing color and luminance nonuniformity compensation

Also Published As

Publication number Publication date
HK1005975A1 (en) 1999-02-05
EP0812117A3 (de) 1998-08-05
US5742354A (en) 1998-04-21
CA2206827C (en) 2003-09-23
EP0812117A2 (de) 1997-12-10
EP0812117B1 (de) 2004-04-14
CA2206827A1 (en) 1997-12-07
DE69728604D1 (de) 2004-05-19
JPH113414A (ja) 1999-01-06

Similar Documents

Publication Publication Date Title
DE69728604T2 (de) Verfahren zur Erzeugung von unsichtbaren Fensterkanten in Bildzusammensetzungssystemen
DE3514353C2 (de) Verfahren und Gerät zum Zusammensetzen von Farbbild-Videosignalen
DE3629409C2 (de) Verfahren und Vorrichtung zur Kontrastbewertung bei der elektronischen Bildverarbeitung
EP1784978B1 (de) Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
DE60225296T2 (de) Allzweckbildverbesserungsalgorithmus, der details in digitalbildern visuell besser erkennbar macht
DE69812696T2 (de) Verfahren und vorrichtung zum einstellen eines oder mehrerer projektoren
DE60026925T2 (de) Einstellung des Kontrasts eines Digitalbildes mit einem adaptiven, rekursiven Filter
DE2107524C3 (de) Elektronische Einrichtung für eigengesteuerte Trickmischung
DE3629396C2 (de) Verfahren zur elektronischen Bildverarbeitung
EP0927496B1 (de) Vorrichtung und verfahren zur erzeugung eines kompositbildes
DE3629403C2 (de) Verfahren zur Korrektur der Farbsättigung bei der elektronischen Bildverarbeitung
DE19504304A1 (de) Farbtaster-Vorrichtung mit Korrektureinrichtung für Defekte im Hintergrund
DE4492448B4 (de) Verfahren und Einrichtung zum Zusammensetzen von Videobildern
DE60033779T2 (de) Bildanzeigegerät und verfahren und bildentwicklungsvorrichtung und verfahren
DE69629790T2 (de) Bildwiedergabeverfahren und -vorrichtung
DE4492446B4 (de) Schirmfilterungsgrenzenerfassung für eine Bildzusammensetzung
DE4002298C2 (de) Verfahren und Vorrichtung zur automatischen Korrektur von Farbstichen bei der elektronischen Bildverarbeitung
DE69633319T2 (de) Bildreproduktionsverfahren und -gerät
DE4139401A1 (de) Schaltungsanordnung zur videobildverarbeitung
DE2065353A1 (de) Verfahren und vorrichtung zur korrektur der schattierungsverzerrung in einem bildsignal
DE3629469A1 (de) Verfahren zur einstellung der farbsaettigung bei der elektronischen bildverarbeitung
DE10011744B4 (de) Automatische Hintergrundszenendefokussierung für die Bildzusammensetzung
DE10204500A1 (de) Echtzeitfähiges Erkennungs- und Kompensationsverfahren von Beleuchtungsschwankungen in digitalen Farbbildsignalen
DE602004005879T2 (de) Verfahren und system zum differentiellen und regelmässigen modifizieren eines digitalen bildes nach pixeln
DE2612042A1 (de) Verschiebbares video-mattscheibensystem

Legal Events

Date Code Title Description
8332 No legal effect for de
8370 Indication related to discontinuation of the patent is to be deleted
8364 No opposition during term of opposition