-
Die Erfindung betrifft ein Verfahren und eine Einrichtung zum automatischen Defokussieren einer Hintergrundszene, wenn die Hintergrundszene mit einem Vordergrundobjekt während der Aufnahme des Objekts zusammengesetzt wird.
-
Die Szene hinter einer scharf fokussierten Nahaufnahme eines Objekts ist normalerweise unscharf, da dies die Erfahrung ist, die typische fotographischen Linsen und die Linse des menschlichen Auges bieten. Wenn sich jedoch das Objekt in einem Abstand von 30 Fuß oder mehr befindet, wird erwartet, daß der Hintergrund sich in einem annehmbar scharfen Fokus befindet.
-
Verbesserungen beim Entfernen des blauen Hintergrunds bei mit Hilfe der Blue-Screen-Technik zusammengesetzten Aufnahmen und verbesserte Techniken zum Erfassen und Berücksichtigen von Kamerabewegungen haben die Verwendung eines virtuellen Studios für Live-Fernsehsendungen praktikabel gemacht.
-
Das virtuelle Studio ersetzt herkömmliche Hintergründe, die aus Bauholz, Farbe und Tapete hergestellt wurden, durch Hintergrundszenen, die von einem Künstler oder einem Fotografen erzeugt werden. Da er ein Bild ist, ändert sich die Scharfeinstellung des Hintergrunds nicht, wenn der Vordergrundkamerabrennpunkt dem Objekt folgt, wenn es sich an die Kamera annähert oder von ihr entfernt. Dieses Fehlen der Schärfenänderung des Hintergrunds bei einer Änderung des Brennpunkts der Kamera stellt einen der Fehler in dem virtuellen Studiokonzept dar.
-
Aus der
EP 0 610 080 A1 ist eine Bild-Defokussiereinrichtung bekannt. Dort wird ein Objekt modelliert, indem Pixelwerte des Bildes geändert werden, um den fokussierenden Effekt einer Optik anzunähern.
-
Die
WO 98/44456A2 beschreibt Verfahren, um die Realitätsnähe synthetisch generierter Bilder zu verbessern. Dabei wird eine virtuelle Kameralinse verwendet, welche eine künstliche Unschärfe hervorruft.
-
Aus der
GB 2312125A ist ein virtuelles Studio bekannt, wobei reale Bilddaten mit synthetischen Bilddaten gemischt werden. Der wahrgenommene Fokus der synthetischen Daten wird in Abhängigkeit vom eingestellten Zoom berechnet. Hierbei wird ein Teil des synthetischen Bildes defokussiert, um die Anordnung hinter dem Teil des realen Bildes zu betonen.
-
Die
WO 98/48381A1 offenbart ein Verfahren zur Verbesserung der Tiefenwahrnehmung eines Bildes. Objekte in einem aufgenommenen Bild werden segmentiert und entweder dem Vordergrund oder Hintergrund zugehörig kategorisiert.
-
Aus Rotthaler, Max, Vitual Studio Technology, EBU Technical Review, Summer 1996, Seiten 2–6 ist außerdem ein Überblick über den Stand der Technik zu virtuellen Studios bekannt. Außerdem wird zu virtuellen Studios auf Wojdala, Andrew, Challanges of Virtual Set Technology, IEEE Multimedia, Vol. 5, No. 1, 1998, pp. 50–57 verwiesen.
-
Aufgabe der Erfindung ist es, das mit Hilfe der Blue-Screen-Technik zusammengesetzte Bild eines Vordergrundobjekts und eines Hintergrundbildes derart zu verbessern, daß es sich der Realität annähert, insbesondere die Defokussierung des Hintergrundbildes bei der Annäherung des Objekts an die Kamera nachzubilden.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 bzw. eine Einrichtung mit den Merkmalen des Patentanspruchs 12 gelöst.
-
Ein Schauspieler, der sich entfernt von der Kamera aufhält, belegt nur eine geringe Fläche auf dem Bildrahmen (der Bildfläche). Wenn sich der Schauspieler in der Nähe der Kamera befindet, wie beispielsweise bei Nahaufnahmen, so füllt er einen großen Teil des Bildrahmens. Das Verhältnis der Objektfläche zur Einzelbildfläche ist eines der Kriterien zum Abschätzen des Ausmaßes der Hintergrunddefokussierung, die bei verschiedenen Abständen des Objekts zur Kamera auftreten sollte.
-
Die Fläche des Objekts wird von dem beim Zusammensetzen verwendeten ”Matte”-Signal zur Verfügung gestellt. Einstellbare Grenzen des Verhältnisses werden vorgegeben, bei denen die erzeugte Defokussierung (Unschärfe) initiiert und beendet werden soll. Die Defokussier- und Refokussier-Rate wird gesteuert, wenn ein sich in der Nähe der Kamera befindender Schauspieler das Einzelbild betritt oder verläßt.
-
Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.
-
Im folgenden wird die Erfindung anhand von in den Zeichnungen dargestellten Ausführungsbeispielen näher beschrieben. In den Zeichnungen zeigen:
-
1 ein Diagramm, das den Betrag der Defokussierung als Funktion der von einem Objekt belegten Bildfläche in Prozent zeigt. Der Betrag der Defokussierung wird als Prozentsatz der höchstmöglichen Defokussierung dargestellt, wobei als höchstmögliche Defokussierung der Gesamtdurchschnitt sämtlicher Pixel (Farben) in dem Einzelbild genommen wird.
-
2 ist ein Diagramm, das einen Bereich von Verhältnissen der Abbildfläche zu Gesamtbildfläche zeigt, bei denen nach Auswahl durch einen Bediener die Defokussierung einsetzen soll.
-
3 ist ein Diagramm, das den Bereich der Defokussierraten veranschaulicht, die ein Bediener auswählen kann.
-
4 veranschaulicht einen Bereich, über welchen ein Bediener Maximal- und Minimaldefokussiergrenzen auswählen kann.
-
5 veranschaulicht ein allmähliches Initiieren und Beenden der Defokussierung zwischen ausgewählten Maximal- und Minimalgrenzen.
-
6 ist eine Blockdarstellung einer Implementierung der vorgeschlagenen automatischen Hintergrunddefokussierung.
-
7 zeigt die Details des ”Berechne d”-Blocks gemäß 6.
-
8 ist ein Zustandsübergangsgraph des ”ERFASSE OBJEKTZUSTAND”-Blocks gemäß 6.
-
Jede Zusammensetzeinrichtung oder jedes Software-Zusammensetzprogramm erzeugt ein Matte-Signal, das auch Austastsignal oder Alphakanal genannt wird. Das Matte-Signal stellt eine Silhouette des Objekts dar und belegt folglich die gleiche Gesamtbildfläche wie das Objekt. Bei Zusammensetzeinrichtungen, beispielsweise den von der Ultimatte Corporation erhältlichen, ist das Matte-Signal in dem undurchsichtigen Objektbereich gleich Null. Das Verhältnis der Anzahl von Matte-Pixeln, die einen Matte-Pegel von Null haben, zu der Gesamtzahl von Pixeln in dem Einzelbild ist der Prozentsatz des von dem Objekt belegten Bildrahmens. In dem Maße, wie die Distanz des Objekts zur Kamera absinkt, oder abzusinken scheint, belegt das Objekt einen größeren Abschnitt der Einzelbildfläche. Die Änderung der Distanz des Objekts zur Kamera kann simuliert werden, indem die Brennweite der Linse bei einer Zoom-Linse geändert wird.
-
Die x-Achse gemäß 1 zeigt den Prozentsatz des von dem Objekt belegten Einzelbildrahmens (Objektgröße), und die y-Achse zeigt einen sich erhöhenden Betrag der Defokussierung eines Hintergrunds, wenn sich die Objektgröße erhöht. 1 zeigt, daß der Hintergrund gerade beginnt, an Schärfe zu verlieren, wenn das Objekt gerade erst ein entfernt angeordneter Fleck ist, der keine signifikante Einzelbildfläche belegt.
-
Da alle Linsen eine Tiefenschärfe aufweisen, sollte die Hintergrunddefokussierung solange nicht beginnen, bis das Objekt näher ist als die hyperfokale Distanz der Vordergrundlinse. Diese Distanz ist beispielsweise 50 Fuß bei einer 50 mm-Linse bei f/4.0. Da die Feststellung eines scharfen Fokus subjektiv ist, ist der Defokussierstartpunkt ebenfalls subjektiv und hängt von der Szene und der Entscheidung des Bedieners ab. In 2 wird eine Objektgröße von 20% als Minimalobjektgröße ausgewählt, bei der die Defokussierung des Hintergrunds beginnen soll.
-
Sobald ein geeigneter Defokussierstartpunkt ausgewählt worden ist, wählt der Bediener dann eine Defokussierrate aus, d. h., um welchen Betrag der Hintergrund defokussiert werden soll bei einer gegebenen inkrementalen Erhöhung in der Objektgröße. 3 veranschaulicht ein Bereich von Defokussierraten mit einer durchgezogenen Linie, die eine von dem Bediener ausgewählte Rate anzeigt.
-
Sobald der Hintergrund um einen substantiellen Betrag defokussiert worden ist, gibt es kein Erfordernis, die Defokussierung weiter fortzusetzen. Es kann wünschenswert sein, die Defokussierung auf einen eher moderaten Betrag zu begrenzen, wenn der Hintergrund nicht soweit defokussiert werden soll, daß er unerkennbar wird. Der Maximalbetrag der Defokussierung kann durch Bedienerauswahl eingeschränkt werden. Es wurde eine mittlere Grenze ausgewählt, wie es in 4 gezeigt ist. 4 zeigt darüber hinaus eine ausgewählte Minimaldefokussiergrenze, die nützlich ist, wenn der Fokus nicht zu einem fernen Hintergrund zurückkehren soll. Der Linsenfokus beginnt nicht, sich abrupt zu ändern, so daß es folglich realistischer wäre, wenn die Fokussieränderungsrate ein wenig nichtlinear wäre, wie es in 5 gezeigt ist.
-
Damit sie zu ein praktikables System wird, sollte die automatische Defokussierfunktion möglichst narrensicher sein und minimale Bedieneraufmerksamkeit erfordern. Was geschieht beispielsweise, wenn ein sich in der Nähe der Kamera befindender Schauspieler aus der Szene an einer Seite des Bildrahmens hinausläuft? Wahrscheinlich bleibt die Kamera auf den Schauspieler fokussiert, wenn er die Szene verläßt.
-
Da er in der Nähe der Kamera ist, füllt der Schauspieler einen großen Prozentsatz des Bildrahmens, aber wenn er aus der Szene herausläuft, schrumpft dieser Prozentsatz auf Null. Da der Prozentsatz der von dem Objekt belegten Bildfläche auf Null reduziert wird, würde die Defokussierlogik normalerweise den Hintergrund in die Scharfeinstellung zurückbringen, obwohl die Kameralinse ihre Brennweite nicht ändert. Um die Änderung der Hintergrunddefokussierung zu vermeiden, friert die Logik des Systems die Hintergrunddefokussierung bei ihrer aktuellen Einstellung ein, wenn das Objekt zuerst den linken oder rechten Rand des Bildrahmens berührt. Man könnte diese Kantenberührungslogik derart erweitern, daß der obere oder untere Rand eingeschlossen werden, aber wenn die Objekte Menschen sind, werden der linke und rechte Rand vorzuziehen sein.
-
Wenn das Objekt den Bildrahmen verlassen hat, wird das Einfrieren der Hintergrunddefokussierung nach einer Zeitspanne von wenigen Sekunden freigegeben, um die Aktivitäten des Kamerabedieners, der die Kamerabrennweite ändert, zu simulieren.
-
Wenn ein Objekt in das Einzelbild in der Nähe der Kamera eintritt, kann es sein, daß sein exakter Abstand von der Kamera nicht bekannt ist. Es kann angenommen werden, daß die Kamerabrennweite zu dem Schauspieler hin verschoben wird, welches eine gleichzeitige Defokussierung des Hintergrunds verursachen sollte. Die typische Geschwindigkeit der Brennweitenänderung durch einen Bediener wird durch die Geschwindigkeit der Defokussieränderung durch die Defokussierlogik angenähert.
-
Die maximale Geschwindigkeit, bei welcher ein Defokussieren/Refokussieren auftreten kann, wird auf eine ausgewählte Geschwindigkeit begrenzt, die die Geschwindigkeit simuliert, bei welcher ein Bediener die Kamerabrennweite ändern würde. Folglich täuscht der plötzliche Eintritt eines Objekts in den Einzelbildrahmen die Defokussierlogik nicht derart, daß sie die Hintergrundfokussierung plötzlich ändert.
-
Die Technologie für eine Defokussierung eines Bildes ist in der Bildverarbeitung gut bekannt. Ein einfaches Mittel zum Defokussieren eines Bildes besteht darin, für jedes Pixel in dem Hintergrund einen Mittelwert der RGB-Pegel einer kleinen Gruppe benachbarter Pixel einzusetzen. Ein gewichteter Pixelmittelwert, wobei die Wichtung sehr gering ist, wenn die Defokussierung beginnt, und sich erhöht, wenn eine größere Anzahl von Pixeln in die Mittelwertbildung einbezogen wird, schafft eine sehr sanfte und stufenlose Defokussierwirkung am unteren Ende der Kurve gemäß 5. Der sich ändernde Anstieg am oberen Ende gemäß 5 kann erreicht werden, indem eine geringere Zunahme der Anzahl der Pixel, die in die Mittelwertbildung einbezogen werden, vorgenommen wird, wenn die Defokussierung sich ihrem ausgewählten Maximum nähert.
-
Es werden Vorkehrungen zum Einfrieren (Verriegeln) der Bedienereinstellungen für jeden der gesteuerten Parameter getroffen. Derartige feste Einstellungen gestatten es dem Bediener, einen fest vorgegebenen Betrag der Defokussierung aufrechtzuerhalten, der während eines Segments einer Sendung bestehen bleibt. Der Bediener kann darüber hinaus jederzeit die Defokussierfunktion bei ihrem aktuellen Zustand einfrieren oder ausschalten, um zu einem scharf abgebildeten Hintergrund zurückzukehren.
-
Es ist nicht das Ziel, irgendeine gegebene Linse und eine f-Blende zu simulieren, sondern stattdessen einen Bereich der Defokussierung zu erzeugen, der aufgrund früherer Erfahrungen von Fachleuten auf dem Gebiet der Erfindung erwartet würde. Mit den vorgesehenen Steuermöglichkeiten hat der Bediener die gesamte erforderliche Flexibilität, um Parameter einzustellen, die einen Hintergrund erzeugen, der welch verläuft, wie man erwarten würde, wenn sich ein Schauspieler der Kamera nähert, und sie führen dies automatisch aus. Auf die Standardeinstellungen für jeden der oben beschriebenen Parameter wird zugegriffen, wenn die Defokussierfunktion erstmalig ausgewählt wird. Diese Standardeinstellungen basieren auf der Erfahrung von Ultimatte, können aber auch auf andere Werte zurückgesetzt werden.
-
Eine Änderung der Kamerabrennweite kann außerdem geringfügige Änderungen in der Bildgröße bewirken. Änderungen der Bildgröße führen Nachführfehler zwischen den Kamerabewegungen und den entgegengesetzten Bewegungen der Hintergrundszene ein. Bei einer virtuellen Studioumgebung ist es übliche Praxis, den Lichtpegel anzuheben und die Kameralinse abzublenden, um eine große Tiefenschärfe zu erreichen, wodurch die Notwendigkeit einer Änderung der Kamerabrennweite vermieden wird.
-
Selbst wenn man Sensoren an dem Fokussierring der Kameralinse befestigen würde, um Brennweitenänderungen zu erfassen, und derartige Änderungen verwenden würde, um den Hintergrund zu defokussieren, wäre ihre Zweck weitgehend durch die große Tiefenschärfe vereitelt. Die Verwendung des Objektprozentsatzes des Einzelbildes könnte selbst dann gut verwendet werden, wenn die Kameralinse mit Kameralinsenfokussiersensoren ausgerüstet wäre.
-
6 ist eine Blockdarstellung einer Implementierung der vorgeschlagenen automatischen Hintergrunddefokussierung. Der Zustand der Objektposition in Bezug auf den Einzelbildrahmen wird aus dem berechneten Matte-Signal (Block 2) und dem Bildrahmen (Block 3) bestimmt (Block 4). Die Defokussierparameter (Block 1) sind die folgenden:
INITDEF – anfänglicher Defokussierbetrag. Ein voreingestellter Betrag der Defokussierung, der verwendet wird, wenn das Objekt erstmalig eintritt.
-
MINSIZE – das Verhältnis der Objektfläche zur Einzelbildfläche, bei welchem die Defokussierung einsetzt.
-
RATE – die Geschwindigkeit der Änderung des Defokussierbetrags, die der Änderung des Prozentsatzes der von dem Objekt belegten Bildfläche entspricht.
-
MINDEF – minimaler Defokussierbetrag. Der geringstmögliche Betrag der Defokussierung. MINDEF wird typischerweise auf INITDEF initialisiert.
-
MIN2DEF – sekundärer voreingestellter Defokussierbetrag. MINDEF wird auf MIN2DEF zurückgesetzt, wenn der Defokussierbetrag MIN2DEF übersteigt, was eine Rückkehr zu einem geringeren Defokussierbetrag verhindert.
-
MAXDEF – der maximal gestatte Defokussierbetrag.
-
Wenn festgestellt wird, daß das Objekt gerade in den Rahmen eintritt, wird der Defokussierbetrag allmählich (innerhalb von 2 Sekunden) von Null bis zu INITDEF, einem vorgegebenen Wert, verschoben (Block 5). Wenn das Objekt in den Rahmen innerhalb der vergangenen zwei Sekunden eingetreten ist, wird der Defokussierbetrag allmählich zu d, dem Ausgangssignal von Block 6, verschoben (Block 8). Wenn das Objekt in den Rahmen vor mehr als zwei Sekunden eingetreten ist, wird der Defokussierbetrag auf d, dem Ausgangssignal von Block 6, gesetzt (Block 9). Wenn das Objekt den Rahmen verläßt, wird der Defokussierbetrag eingefroren (Block 7). Wenn schließlich das Objekt den Rahmen innerhalb der letzten zwei Sekunden verlassen hat, wird der Defokussierbetrag allmählich auf Null verschoben (Block 10). In jedem Fall wird der neue Hintergrund (Block 34) dann um den Defokussierbetrag defokussiert (Block 35).
-
7 zeigt die Details des ”Berechne d”-Blocks gemäß 6. Dieser Block nimmt die Defokussierparameter (Block 1 gemäß 6), das berechnete Matte-Signal und die Größe des Rahmens (Gesamtanzahl der Pixel), um einen provisorischen ”Defokussierbetrag” d zu berechnen, welcher entweder direkt verwendet wird oder mit anderen voreingestellten oder vom Bediener eingestellten Werten, wie sie in 6 beschrieben sind, gemischt wird. Die Anzahl n derjenigen Pixel, für welche das Matte-Signal (Block 11) gleich Null ist, werden gezählt (Block 12) und durch die Gesamtzahl d der Pixel in dem Rahmen (Block 13) geteilt (Block 14). Dieses Verhältnis schätzt die relative Größe s des Objekts ab, von welcher MINSIZE, die Minimalgröße für eine Defokussierung (Block 15), dann subtrahiert wird (Block 16), um eine eingestellte Größe sM zu erzeugen. sM wird dann mit dem Parameter RATE (Block 17) multipliziert, um einen provisorisch verwendeten Defokussierbetrag d zu erzeugen. Optional wird dann, wenn d größer als (Block 20) ein sekundärer Minimaldefokussierbetrag MIN2DEF ist (Block 33), der primäre Defokussierbetrag MINDEF (Block 21), der anfänglich auf INITDEF gesetzt wurde, auf MIN2DEF zurückgesetzt (Block 19). Dies gestattet es, daß die Defokussierung bei einem geringen Wert (0 oder INITDEF) beginnt, aber verhindert optional später eine Rückkehr zu einem geringen Wert. An diesem Punkt wird d (aus Block 18) mit MINDEF (Block 21) verglichen (Block 22). Wenn d geringer als MINDEF ist, wird es auf MINDEF zurückgesetzt. Anderenfalls wird d mit MAXDEF (Block 24), dem maximal gestatteten Betrag der Defokussierung, verglichen (Block 25). Wenn d größer als MAXDEF ist, wird es auf MAXDEF zurückgesetzt. Dies schließt die Berechnung von d ab. Im Block 18 kann als Alternative ein nichtlinearer Defokussierbetrag unter Verwendung einer Nachschlagetabelle (LUT) und durch Ersetzen des Produkts sM·RATE durch die Formel MAXDEF·LUT[sM·RATE/MAXDEF] berechnet werden. Die LUT wird so eingerichtet, daß sie diskrete Werte zwischen 0,0 und 1,0 auf diskrete zwischen Werte 0,0 und 1,0 abbildet. Wie sie in der obigen Formel verwendet wird, ist sie unabhängig von den Defokussierparametern.
-
8 ist ein Zustandsübergangsgraph des Blocks ”ERFASSE OBJEKTZUSTAND” gemäß 6: Bei dieser Figur wird angenommen, daß das Objekt dann ”ausgewählte Rahmenränder berührt” (linke, rechte, obere und/oder untere), wenn es Pixel mit einem Matte-Signalpegel von Null an oder benachbart zu einem ausgewählten Rand des Rahmens gibt. Das Objekt gilt als ”erscheinend”, wenn es irgendwelche Matte-Signalpegel von Null in dem Rahmen gibt. Die veranschaulichten Zustandsübergänge sind die folgenden:
Wenn sich das System in dem ”Räume Rahmen”-Zustand (Block 27) befindet, bewirkt ein Erscheinen eines Objekts (ein Matte-Bereich von Null) einen Übergang in den ”In den Rahmen eintretend”-Zustand (Block 28).
-
Wenn sich das System in dem ”In den Rahmen eintretend”-Zustand (Block 28) befindet und das Objekt in dem Rahmen ist, aber keine ausgewählten Rahmenränder berührt, geht das System in den ”Jüngst eingetreten”-Zustand (Block 29) über.
-
Wenn das System in dem ”In den Rahmen eintretend”-Zustand (Block 28) ist und das Objekt sich nicht mehr länger in dem Rahmen befindet, geht das System in den Zustand ”Den Rahmen jüngst geräumt” (Block 32) über.
-
Wenn das System in dem ”Jüngst eingetreten”-Zustand (Block 29) ist und das Objekt in dem Rahmen ist, aber die ausgewählten Rahmenränder für mehr als zwei Sekunden nicht berührt hat, geht das System in den Zustand ”Im Rahmen” (Block 30) über.
-
Wenn das System in dem ”Jüngst eingetreten”-Zustand (Block 29) ist und das Objekt ausgewählte Rahmenränder berührt, geht das System in den Zustand ”Den Rahmen verlassend” (Block 31) über.
-
Wenn das System sich in dem Zustand ”Im Rahmen” (Block 30) befindet, und das Objekt ausgewählte Rahmenränder berührt, geht das System in den Zustand ”Den Rahmen verlassend” (Block 31) über.
-
Wenn sich das System in dem Zustand ”Im Rahmen” (Block 30) befindet und das Objekt sich nicht mehr länger in dem Rahmen befindet, geht das System in den Zustand ”Den Rahmen jüngst geräumt” (Block 32) über.
-
Wenn sich das System in dem Zustand ”Den Rahmen verlassend” (Block 31) befindet, und das Objekt nicht mehr länger in dem Rahmen ist, geht das System in den Zustand ”Den Rahmen jüngst geräumt” (Block 32) über.
-
Wenn sich das System in dem Zustand ”Den Rahmen verlassend” (Block 31) befindet und das Objekt in dem Rahmen ist, aber keine ausgewählten Rahmenränder berührt, geht das System in den Zustand ”Jüngst eingetreten” (Block 29) über.
-
Wenn sich das System in dem Zustand ”Den Rahmen jüngst geräumt” (Block 32) befindet und das Objekt sich für mehr als zwei Sekunden nicht in dem Rahmen befand, geht das System in den Zustand ”Rahmen geräumt” (Block 27) über.
-
Wenn sich das System in dem Zustand ”Den Rahmen jüngst geräumt” (Block 32) befindet und das Objekt erscheint, geht das System in den Zustand ”In den Rahmen eintretend” (Block 28) über.
