DE102011107765B3

DE102011107765B3 - Verfahren zum Glätten von Übergängen zwischen Szenen eines Stereofilms sowie Steuerung oder Regelung mehrerer 3D-Kameras

Info

Publication number: DE102011107765B3
Application number: DE102011107765A
Authority: DE
Inventors: Martin Borchert; Howard Postley
Original assignee: 3Ality Digital Systems LLC
Current assignee: 3Ality Digital Systems LLC
Priority date: 2011-07-18
Filing date: 2011-07-18
Publication date: 2012-12-06
Anticipated expiration: 2031-07-19
Also published as: JP2014525186A; WO2013010603A1; EP2735163A1; JP6259758B2

Abstract

Die Erfindung betrifft ein Verfahren zum Herstellen eines Stereofilms, wobei einem ersten Bild, das von einem ersten Kamerarigg mit zumindest zwei Kameras geliefert wird (10), ein zweites Bild von einem zweiten Kamerarigg folgt (50), wobei ferner eine Disparitätentabelle zur Bestimmung der Verschiebung eines bestimmten Bildpunktes in einem von einer ersten Kamera des ersten Kamerariggs gelieferten ersten Teilbildes relativ zu einem diesem gleichenden Bildpunkt in einem von einer zweiten Kamera des ersten Kamerariggs gelieferten zweiten Teilbildes ermittelt wird (20, 30), um eine Information über den Tiefengehalt des aus dem ersten Teilbild und den zweiten Teilbild zusammengesetzten ersten Bildes zu erhalten, wobei die Tiefeninformation der Disparitätentabelle des ersten Bildes des ersten Kamerariggs zur Bearbeitung des zweiten Bilds des zweiten Kamerariggs herangezogen wird (60). Die Erfindung betrifft auch eine Steuerung oder Regelung mehrerer 3D-Kameras, die ausgebildet ist, um dieses Verfahren durchzuführen.

Description

Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren zum Herstellen eines Stereofilms, wobei einem ersten Bild, das von einem ersten Kamerarigg mit zumindest zwei Kameras geliefert wird, ein zweites Bild von einem zweiten Kamerarigg folgt, wobei ferner eine Disparitätentabelle zur Bestimmung der Verschiebung eines bestimmten Bildpunktes in einem von einer ersten Kamera des ersten Kamerariggs gelieferten ersten Teilbilds relativ zu einem diesem gleichenden Bildpunkt in einem von einer zweiten Kamera des ersten Kamerariggs gelieferten zweiten Teilbilds ermittelt wird, um eine Information über den Tiefengehalt des aus dem ersten Teilbild und dem zweiten Teilbild zusammengesetzten ersten Bilds zu erhalten.
Benachbarter Stand der Technik ist aus dem Artikel „Stereoscopic CG Camera Rigs and Associated Metadata for Cinematic Production”, von Sylwan et al, 2009 bekannt, die als nächstliegender Stand der Technik angesehen wird. Auch aus den Druckschriften EP 2 106 150 A2 , US 2011/0142309 A1 , US 2011/01 09720 A1 , US 2010/0201789 A1 und US 6175379 B1 ist benachbarter Stand der Technik bekannt.
Aus dem Stand der Technik sind Kamerariggs und Verfahren zum Herstellen von 3D-Filmen, also sog. Stereofilmen bekannt. Solche Filme projizieren für jedes Auge des Betrachters ein spezielles Bild, sodass sich beim Betrachter wieder ein dreidimensionales Bild zusammensetzt.
Üblicherweise werden bei den für die Aufnahmen der Szenen verwendeten Kamerariggs jeweils zwei Kameras in einem Kamerarigg kombiniert. Während nun ein erstes Kamerarigg mit zwei Kameras von einem ersten Blickwinkel auf eine zu filmende Szene auf diese ausgerichtet ist, ist ein zweites Kamerarigg mit zwei weiteren dort kombinierten Kameras unter einem anderen Blickwinkel auf die Szene gerichtet. Wird nun von dem ersten Kamerarigg auf das zweite Kamerarigg „umgeschnitten”, also folgt eine Abfolge von Bildern, die vom ersten Kamerarigg geliefert werden, eine dem Umschneiden nachfolgende Bildfolge, welche von dem anderen Kamerarigg geliefert wird, so treten häufig bei dreidimensionalen Filmen aufgrund des Umschneidens ungewünschte Effekte beim Beobachter auf.
So kann es passieren, dass, wenn das erste Kamerarigg auf die Szene ausgerichtet ist, ein sehr großer Tiefeneindruck erreicht ist, derart, dass bspw. ein Objekt der Szene weit vor einer virtuellen Leinwandebene vom Betrachter empfunden wird, wohingegen dann beim Umschneiden, das Objekt als vom Betrachter weit hinter der Leinwandebene, oder zumindest nicht an dem kurz vorher aus der anderen Perspektive betrachteten Position empfunden wird.
Während in der Realität keine unangenehmen Effekte auftreten, sollte ein Objekt auf einmal auf ihn zukommen, führt dieses schnelle Wechseln von einem Tiefeneindruck beim Wiedergeben einer diesbezüglichen Information zu Unwohlsein beim Beobachter.
Dies liegt u. a. daran, dass in der Realität, etwa beim Beobachten einer Landschaft, wobei ein Objekt, wie ein Ball unwillkürlich auf den Beobachter zuschnellt, dieses Objekt, etwa der Ball, erst nicht scharf gestellt ist und somit die beim Beobachten eines Filmes auftretenden Negativeffekte ausbleiben.
Es ist daher die Aufgabe der vorliegenden Erfindung, ein Umschneiden bei einem Stereofilm so zu ermöglichen, dass einem ersten Bild, das von einem ersten Kamerarigg mit zumindest zwei Kameras geliefert wird, ein zweites Bild von einem zweiten Kamerarigg folgen kann, und die in beiden Bildern hervorgerufenen Tiefeneffekte beim Beobachter keine unangenehmen Begleiterscheinungen hervorrufen.
Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass die Tiefeninformation der Disparitätentabelle des ersten Bildes des ersten Kamerariggs zur Bearbeitung des zweiten Bildes des zweiten Kamerariggs herangezogen wird, wobei ferner das in der Disparitätentabelle hinterlegte Tiefenbudget derart auf das zweite Bild angewendet wird, dass alle Bereiche des zweiten Bildes, die außerhalb des Tiefenbudgets liegen, unscharf dargestellt werden. Die in der Disparitätentabelle hinterlegten Informationen bezüglich des Tiefenbudgets im ersten Bild werden somit auf das zweite Bild angewendet.
Unter einem Tiefenbudget wird der durch die Disparitäten hervorgerufene Bereich verstanden. Wenn also die kleinste Disparität bspw. –50 und die größte Disparität 0 ist, so weist das Bild ein Tiefenbudget von –50 bis 0 auf.
Unter einer Disparitätentabelle wird eine solche Informationszusammenstellung verstanden, die die Beurteilung des Tiefeneindrucks des ersten Bildes möglich macht. Der Tiefeneindruck wird mittels einer Tiefenbildauswertung, die auch als Querdisparation oder auch Disparität benannt werden kann, hervorgerufen. Eine solche Disparität ist ein Offset in der Position, den das gleiche Objekt in der Abbildung auf zwei unterschiedlichen Bildebenen einnimmt. Die zu den Bildebenen gehörenden optischen Zentren der Objektive sind dabei durch die Basis b räumlich voneinander getrennt. Haben beide Linsen die Brennweite f, gilt für den Abstand r: r = b·f / d , wobei d für die Disparität steht. Diese Formel gilt nur im Stereonormalfall, also wenn beide Kameras parallel ausgerichtet sind. Wenn beide Kameras etwas aufeinander zu geschwenkt sind, also konvergiert ausgerichtet sind, ist eine veränderte Formel anwendbar.
Man kann also den Abstand r zu einem Objekt durch eine Messung der Disparitäten im Stereobild ermitteln. Eine Disparitätenkarte oder eine Disparitätentabelle eines Stereobildes ist somit gleichbedeutend zu einem Tiefenbild.
Es sei hier angemerkt, dass unter einem Bild die Zusammensetzung von zwei Teilbildern zu verstehen ist, wobei jedes der beiden Teilbilder von einer der beiden Kameras eines bestimmten Kamerariggs geliefert wird.
Die in einem Stereoskopischem Bildprozessor (SIP) umgesetzte Erfindung kann eine Szene analysieren und Metadaten bzgl. der Tiefe bzw. Tiefeninformation eines nächsten und entfernten Gegenstandes zur Verfügung stellen, aber auch Information bzgl. des Gesamtraums in real-time liefern. Zusätzlich kann die SIP auch eine Bildverarbeitung und -Manipulation durchführen. Bei der vorgestellten Erfindung wird es erreicht, dass anhand der zur Verfügung gestellten Daten sichergestellt wird, dass 3D-Wechsel innerhalb einer Szene innerhalb des Tiefenbudgets bleiben.
Vorteilhafte Ausführungsformen sind in den Unteransprüchen beansprucht und werden nachfolgend näher erläutert.
So ist es von Vorteil, wenn relativ zu einem ersten von einer ersten Kamera des zweiten Kamerariggs gelieferten Teilbildes, das zusammen mit einem zweiten von einer zweiten Kamera des zweiten Kamerariggs gelieferten Teilbildes das zweite Bild formt, das zweite Teilbild verschoben wird. Beim Verschieben der beiden Teilbilder des zweiten Kamerariggs relativ zueinander, wird der Tiefeneindruck verändert. Der Tiefeneindruck kann daher an dem Tiefeneindruck im vorher vorliegenden ersten Bild angepasst werden.
Wenn das zweite Teilbild horizontal verschoben wird, so kann auf eine übliche Tiefeneffekterzeugung zurückgegriffen werden. Wird das zweite Teilbild, also etwa ein rechtes Teilbild von einem linken Teilbild nach rechts verschoben, so erhöht sich die Tiefenwirkung, wohingegen in umgekehrter Richtung die Tiefenwirkung verringert wird. Dies liegt an den Sehstrahlen, die bei Betrachtung eines fernen Objekts nahezu parallel zueinander verlaufen, wohingegen bei einem recht nahen Objekt es auch zu einem Kreuzen der Sehlinien kommen kann. Die Disparitäten werden um einen Nullpunkt herum angeordnet, können somit sowohl negative als auch positive Werte annehmen.
Es ist ferner von Vorteil, wenn das zweite Teilbild des zweiten Kamerariggs so weit in einem Verschiebeschrittt verschoben wird, bis dieselbe Disparität zwischen den zwei Teilbildern des zweiten Bildes, wie zwischen den zwei Teilbildern des ersten Bildes vorliegt. Das Auge des Betrachters muss sich dann nicht umstellen und negative Effekte bleiben nahezu völlig aus.
Das Verfahren lässt sich noch weiter verbessern, wenn mittels einer Zoom-Einstellung das zweite Bild mit einem Korrekturschritt in Abhängigkeit von der Disparitätentabelle des ersten Bildes vergrößert oder verkleinert wird, bis der Tiefenabstand zwischen einem im Vordergrund und einem im Hintergrund des zweiten Bildes befindlichen Punktes dem Tiefenabstand zwischen diesen beiden Punkten im zweiten Bild entspricht. Durch das Verändern der Zoom-Einstellung wird der empfundene Tiefenabstand von einem ersten Objekt in der Szene zu einem zweiten Objekt in der Szene verändert.
Die Disparitäten verringern sich auch, wenn die Zoom-Einstellung nur als digitaler Zoom wirkt und nicht mechanisch auf die physischen Linsen der Kameras des zweiten Kamerariggs einwirkt.
Es ist dabei ferner von Vorteil, wenn das erste und zweite Teilbild des zweiten Bildes vergrößert oder verkleinert wird. Beim Verkleinern des zweiten Bildes, verkleinern sich linear zum Verkleinern des Bildes auch die Disparitäten, sodass die durch zu hohe Disparitäten beim Umschneiden hervorgerufenen negativen Folgen beim Betrachter ausbleiben.
Wenn der Korrekturschritt gleichzeitig zum Verschiebeschritt oder diesem nachfolgend durchgeführt wird, so kann im ersten der beiden Fälle besonders schnell ein positives Ergebnis erreicht werden, wohingegen im zweiten Fall ein besonders genaues Ergebnis erreicht werden kann.
Um ein Unschärfen besonders effizient zu erreichen, wird zum Erreichen der Unschärfe in einem oder mehreren Bereichen des zweiten Bildes ein Gauß'scher Weichzeichenalgorithmus verwendet. Es werden also die Bereiche identifiziert, in denen das Tiefenbudget des zweiten Bildes im Vergleich zu dem Tiefenbudget im ersten Bild zu groß ist, und die identifizierten Bereiche dann unscharf gezeichnet sind. Beim Gauß'schen Weichzeichenalgorithmus werden die umgebenden Pixel herangezogen und gemäß einer Gauß'schen Normalverteilung die zu unscharf darzustellenden Pixel neu berechnet.
Die Erfindung betrifft auch eine Steuerung oder Regelung mehrerer 3D-Kameras, welche zum Aufnehmen eines Stereofilms geeignet sind, wobei die Steuerung oder Regelung so ausgebildet ist, dass sie das erfindungsgemäße Verfahren durchführen kann.
Die Erfindung ist auch nachfolgend mithilfe einer Zeichnung näher erläutert. In einem schematisch dargestellten Ablaufdiagramm einer ersten Figur (1) ist ein erstes Ausführungsbeispiel visualisiert, wobei in einer weiteren Figur (2) ein zweites Ausführungsbeispiel visualisiert ist.
In 1 ist eine Ablaufdiagramm eines ersten Ausführungsbeispiels eines erfindungsgemäßen Verfahrens dargestellt:
In einem ersten Schritt 10 erfolgt das Aufnehmen eines ersten Bildes mit einem ersten Kamerarigg, das zwei Kameras aufweist. In einem darauffolgenden zweiten Schritt 20 werden die Disparitäten in dem ersten Bild erfasst.
In einem nachfolgenden dritten Schritt 30 erfolgt das Anlegen einer Disparitätentabelle, welche auch als Disparitätenkarte bezeichnet werden kann.
Im Schritt 40 findet ein Umschneiden während des Herstellens der Filmsequenz des Stereofilms von dem ersten Kamerarigg auf das zweite Kamerarigg statt. Auch das zweite Kamerarigg beinhaltet zwei Kameras.
In dem darauffolgenden Schritt 50 erfolgt das Aufnehmen eines zweiten Bildes mit dem zweiten Kamerarigg und dessen zwei Kameras.
Im darauffolgenden Schritt 60 findet das Nutzen der Disparitätentabelle zur Bearbeitung des zweiten Bildes statt.
In einem Unterschritt 61, der in dem hier dargestellten Ausführungsbeispiel von einem nachfolgenden Schritt 62 gefolgt wird, findet das Verschieben eines Teilbildes des zweiten Bildes zu einem anderen Teilbild des zweiten Bildes statt, wobei diese beiden Teilbilder in Summe das zweite Bild bilden. Im Unterschritt 62 wird ein Korrekturschritt durchgeführt, also wird die Zoom-Einstellung im zweiten Bild verändert. Dadurch wird im Verschiebeschritt 61 die Disparitätenverteilung in Summe verändert, wohingegen im Korrekturschritt 62 die vorliegenden Disparitäten an sich geändert werden.
Parallel, nachfolgend oder alternativ dazu, kann auch ein Weichzeichenschritt 63 durchgeführt werden. Der Weichzeichenschritt umfasst ein Identifizieren von Bereichen des zweiten Bildes, die eine zu große oder zu kleine Disparität, verglichen mit den Disparitäten des ersten Bildes aufweisen. Ein Weichzeichnen dieser Bereiche, wird bspw. mittels eines Gauß'schen Weichzeichenalgorithmus' realisiert.
In der zweiten Figur ist ein schematischer Aufbau eines erfindungsgemäßen zweiten Ausführungsbeispiels dargestellt:
In jedem Kamerarigg 100 sind je zwei Kameras 110 und 120 enthalten, die einer Bildanalyseeinheit 130 Bilddaten eines stereoskopischen Bildpaares zukommen lassen. Die Bildanalyseeinheit 130 bestimmt die Szenentiefe in puncto Nähe, Mitte und eines weiter entfernten Bereichs in real time.
Diese erhaltene Metadaten werden entweder in die Bilddaten des einen oder des anderen Bildes des stereoskopischen Bildpaares eingebettet oder in die Bilddaten beider Bilder. Diese aufbereiteten Daten werden an einen auch als Switcher bezeichneten Umschalter 140 weitergegeben.
Der Umschalter 140 ermöglicht es einem Benutzer zwischen den Quelldaten für eine Ausgangsschnittstelle 160, unter Zwischenschaltung eines Bildprozessors 150, zu wählen. Der Bildprozessor 150 enthält statische Tiefenbudgetparameter, insbesondere Hintergrunddaten bezüglich eines maximal erlaubbaren Wechsels pro Zeiteinheit.
Der Bildprozessor 150 verwaltet eine dynamische Statistik aus von den Metadaten erhaltenen Tiefeninformationen, berechnet Veränderungsraten und -Ausschläge und stellt sicher, dass diese Werte innerhalb des zu nutzenden Tiefenbudgets sind.
Falls die resultierende Tiefenveränderung innerhalb des vorbestimmten Rahmen liegt, wird das Bildpaar an die Ausgangsschnittstelle 160 unverändert weitergegeben. Erfolgt dies häufig hintereinander, so ergibt sich eine Videosequenz.
Falls die Tiefenveränderung nicht innerhalb des vorgegebenen Tiefenbudgets befindlich ist, wird ein Bild verändert, z. B. weichgezeichnet, verwischt, verdunkelt, desaturiert/entsättigt und/oder maskiert bzw. markiert. Je größer die Abweichung vom Tiefenbudget ist, desto größer ist der korrigierende Eingriff des z. B. Verwischens. Der Eingriff kann auch eine Schwarz- oder Weißblende umfassen, also eine Blende von Schwarz oder Weiß und dann zu einem neuen Bildinhalt. Statt nur einen bestimmten Bereich zu bearbeiten, kann auch das gesamte Bild des Bildpaares weichgezeichnet werden. Dies ist insbesondere von Vorteil, wenn keine genaue Disparitätskarte vorliegt.
Das Verfahren wird für jedes stereoskopische Bildpaar wiederholt.

Claims

Verfahren zum Herstellen eines Stereofilms, wobei einem ersten Bild, das von einem ersten Kamerarigg mit zumindest zwei Kameras geliefert wird (10), ein zweites Bild von einem zweiten Kamerarigg folgt (50), wobei ferner eine Disparitätentabelle zur Bestimmung der Verschiebung eines bestimmten Bildpunktes in einem von einer ersten Kamera des ersten Kamerariggs gelieferten ersten Teilbild relativ zu einem diesem gleichenden Bildpunkt in einem von einer zweiten Kamera des ersten Kamerariggs gelieferten zweiten Teilbild ermittelt wird (20, 30), um eine Information über den Tiefengehalt des aus dem ersten Teilbild und dem zweiten Teilbild zusammengesetzten ersten Bildes zu erhalten, dadurch gekennzeichnet, dass die Tiefeninformation der Disparitätentabelle des ersten Bildes des ersten Kamerariggs zur Bearbeitung des zweiten Bildes des zweiten Kamerariggs herangezogen wird (60), wobei ferner das in der Disparitätentabelle hinterlegte Tiefenbudget derart auf das zweite Bild angewendet wird, dass alle Bereiche des zweiten Bildes, die außerhalb des Tiefenbudgets liegen, unscharf dargestellt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass relativ zu einem ersten von einer ersten Kamera des zweiten Kamerariggs gelieferten Teilbild, das zusammen mit einem zweiten von einer zweiten Kamera des zweiten Kamerariggs gelieferten Teilbild das zweite Bild formt, das zweite Teilbild verschoben wird (61).
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das zweite Teilbild horizontal verschoben wird.
Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass das zweite Teilbild des zweiten Kamerariggs so weit in einem Verschiebeschritt (61) verschoben wird, bis dieselbe Disparität zwischen den zwei Teilbildern des zweiten Bildes, wie zwischen den zwei Teilbildern des ersten Bildes vorliegt.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass mittels einer Zoom-Einstellung das zweite Bild in einem Korrekturschritt (62) in Abhängigkeit von der Disparitätentabelle des ersten Bildes vergrößert oder verkleinert wird, bis der Tiefenabstand zwischen einem im Vordergrund und einem im Hintergrund des zweiten Bildes befindlichen Punktes dem Tiefenabstand zwischen diesen beiden Punkten im zweiten Bild entspricht.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Zoom-Einstellung nur als digitaler Zoom wirkt und nicht mechanisch auf die physischen Linsen der Kameras des zweiten Kamerariggs einwirkt.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass das erste und zweite Teilbild des zweiten Bildes vergrößert oder verkleinert wird.
Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass der Korrekturschritt (62) gleichzeitig zum Verschiebeschritt (61) oder diesem nachfolgend durchgeführt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass zum Erreichen der Unschärfe in einem oder mehreren Bereichen des zweiten Bildes ein Gauß'scher Weichzeichenalgorithmus verwendet wird.
Steuerung oder Regelung mehrerer 3D-Kameras, die ausgebildet ist, um das Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.