DE102011016171B4

DE102011016171B4 - Verfahren zum Ausrichten einer 3D-Kamera und Verfahren zum Steuern einer 3D-Kamera während des Filmens

Info

Publication number: DE102011016171B4
Application number: DE102011016171A
Authority: DE
Inventors: Christian Wieland; Robert Siegl; Martin Borchert
Original assignee: 3Ality Digital Systems LLC
Current assignee: 3Ality Digital Systems LLC
Priority date: 2011-04-05
Filing date: 2011-04-05
Publication date: 2012-12-27
Anticipated expiration: 2031-04-06
Also published as: DE102011016171A1; US9503707B2; WO2012136300A1; EP2695022A1; US20140225989A1

Abstract

Verfahren zum Ausrichten der optischen Achsen von zwei Kameras, wobei die Kameras Bestandteile einer Kameravorrichtung sind und die zwei Kameras zum Herstellen von 3D-Filmen einsetzbar sind, wobei mehrere Schritte automatisch durchlaufen werden. Die Erfindung betrifft auch ein Verfahren zum Steuern eines Kamerariggs mit zwei Kameras, zum Herstellen von 3D-Filmen gemäß der Wertetabelle nach einem solchen Verfahren, wobei während des Filmens beim Zoomen automatisch zumindest eine Kamera über Kameramotoren verfahren wird. Das Verfahren kann auch in einem Kamerarigg mit zwei Kameras eingesetzt werden, die vorzugsweise nebeneinander oder übereinander angeordnet sind, mit einer Steuerung, die ein erläutertes Verfahren umsetzt.

Description

Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren zum Ausrichten der optischen Achsen von zwei Kameras, wobei die Kameras Bestandteile einer Kameravorrichtung sind, die Kameras in Summe zumindest vier Freiheitsgrade aufweisen und die zwei Kameras zum Herstellen von 3D-Filmen einsetzbar sind, wobei mehrere Schritte durchlaufen werden.
Benachbarter Stand der Technik ist auch aus den Druckschriften DE 43 20 110 02 , DE 696 28 806 T2 und US 2011/0057948 A1 bekannt.
Die erstgenannte Druckschrift wird als nächstliegender Stand der Technik angesehen. Sie offenbart ein Verfahren zum Betreiben eines Stereo-Sichtsystems insbesondere eines Stereo-Sichtsystems zur Überwachung ferngesteuerter Arbeiten, mit zwei jeweils eine Kamera mit einem Objektiv aufweisenden Sichtkanälen, deren verstellbare optische Parameter wie Fokus, Blende und Zoom-Einstellung justiert und diesen Parametern zugeordnete Einstellungen gemessen werden, wobei die optischen Parameter eines als Master bestimmten Sichtkanals jeweils sequentiell gesteuert werden und über die dabei gemessenen Einstellungen eines im Sichtkanal angeordneten Objektivs die entsprechenden optischen Parameter des als Slave bestimmten zweiten Sichtkanals nachgeführt werden, wobei die ermittelten Einstellungen der Objektive einander paarweise entsprechender optischer Parameter beider Sichtkanäle während des Nachführprozesses laufend miteinander verglichen werden und daß ein von den Sichtkanälen eingeschlossener Konvergenzwinkel so verstellt wird, daß ein zwischen den Mittelachsen der Objektive an deren Eintrittsöffnungen zu messender Abstand, der etwa dem mittleren Pupillenabstand beim Menschen, vorzugsweise etwa 62 mm, entspricht, konstant gehalten wird.
Auch offenbart sie ein Stereo-Sichtsystem zur Durchführung des Verfahrens, mit zwei jeweils eine Kamera mit einem Objektiv aufweisenden etwa identischen Sichtkanälen, welche in einem Konvergenzwinkel zueinander angeordnet sind, wobei den jeweiligen Sichtkanälen zugeordnete optische Parameter wie Fokus, Blende und Zoomeinstellung der jeweiligen Sichtkanäle über Stellelemente verstellbar und entsprechende Einstellungen über Wegaufnehmer meßbar sind, dadurch gekennzeichnet, daß das Stereo-Sichtsystem eine Steuerelektronik aufweist, welche mit den Stellelementen und den Wegaufnehmern wirkverbunden ist und daß das Stereo-Sichtsystem über eine Einrichtung zur Verstellung des Konvergenzwinkels zwischen den beiden Sichtkanälen verfügt, wobei der Abstand zwischen den optischen Achsen der beiden Objektive an deren Eintrittsöffnungen auch bei Verstellung des Konvergenzwinkels konstant bleibt und etwa dem mittleren Pupillenabstand beim Menschen, vorzugsweise etwa 62 mm, entspricht.
Aus dem Stand der Technik sind auch Kamerariggs bekannt, die beim Filmen von hochwertigen Filmen, bspw. zur Aufführung in Kinos, vorgesehen sind. Auch sind Kameravorrichtungen, welche auch als Kamerariggs bezeichnet werden, bekannt, die zwei Kameras gleichzeitig verwenden. Dabei ist entweder die eine Kamera über der anderen Kamera angeordnet oder neben der anderen Kamera angeordnet, wobei in beiden Fällen die optischen Achsen der Kameras so verfahrbar sein sollen, dass sie horizontal nebeneinander liegen. Dabei wird häufig auch eine Spiegelanordnung verwendet.
Es werden in diesen Kameravorrichtungen Filme aufgezeichnet, die in einem Kino beim Betrachter einen dreidimensionalen Effekt hervorrufen. Bei diesen sog. 3D-Filmen ist es jedoch von großer Bedeutung, dass die beiden Kameras relativ zueinander bzgl. ihrer optischen Achsen genau ausgerichtet sind. Es gibt leider zahlreiche Faktoren, die dazu führen, dass in Abhängigkeit von der jeweiligen Brennweite, also dem Zoom-Wert, Abweichungen zwischen den beiden Kameras vorliegen. Beim Filmen führt dies dann zu ungewünschten Effekten beim Zuschauer.
Es ist daher die Bestrebung bei 3D-Kameravorrichtungen eine genaue Ausrichtung der optischen Achsen zu jedem Zeitpunkt zu erreichen. Dies wird herkömmlich auch als „Alignement” bezeichnet. Bisher wird jedoch manuell, von einer Bedienperson vor dem Drehen einer entsprechenden Szene die beiden Kameras zueinander „aligned”, also die optischen Achsen relativ zueinander genau ausgerichtet.
Es ist dabei die Aufgabe der vorliegenden Erfindung genau hier eine Verbesserung zur Verfügung zu stellen. Es soll die Bedienung eines 3D-Kamerariggs auch mit weniger Personal, bei gleichzeitig besserem Ergebnis für den Zuschauer erreicht werden.
Dies wird erfindungsgemäß dadurch gelöst, dass mehrere Schritte durchlaufen werden.
Diese Schritte sind:

a) Einstellen einer ersten Brennweite für einen ersten bestimmten Zoom-Wert an beiden Kameras,
b) Grobausrichten der beiden Kameras auf einen ersten, willkürlich ausgesuchten ersten Bildausschnitt mit einer die Kameras umgebenden, kontrastreichen und diversen Umgebung,
c) automatisches Vergleichen der in dem ersten Bildausschnitt enthaltenen Pixel der von den beiden Kameras erhaltenen Bilder miteinander und Ansteuern von mit den Kameras verbundenen Motoren derart, dass zumindest eine Ausrichtung der Kameras entlang einer Vertikalachse und/oder einer Horizontalachse und/oder im Sinne einer Drehung um eine oder beide Achsen zu sich gleichenden Bildern führt, sowie Erfassung und Speichern von der erreichten Ausrichtung der beiden Kameras bei sich gleichenden Bildern sowie Ausrichten der beiden Kameras auf einen zweiten Bildabschnitt, der näher oder ferner von dem ersten Bildausschnitt zu den Kameras befindlich ist, mit automatischem Vergleichen der in dem zweiten Bildausschnitt enthaltenen Pixel der von den beiden Kameras erhaltenen Bilder miteinander und Ansteuern von mit den Kameras verbundenen Motoren derart, dass zumindest eine Ausrichtung der Kameras entlang einer Vertikalachse und/oder einer Horizontalachse und/oder im Sinne einer Drehung um eine oder beide Achsen zu sich gleichenden Bildern führt, sowie Erfassung und Speichern von der erreichten Ausrichtung der beiden Kameras bei sich gleichenden Bildern,
d) Nachausrichten der Kameras auf einen weiteren Bildausschnitt, der zum ersten und/oder zweiten Bildausschnitt identisch ist oder sich von ihm unterscheidet, bei einer zweiten Brennweite, die sich von der ersten Brennweite unterscheidet, und
e) erneutes Durchführen von Schritt c).

Unter Grobausrichten wird eine Auswahl eines Bildausschnittes verstanden, so dass dieser Bildausschnitt eine kontrastreiche und diverse Pixelanordnung darstellt.
Die einzelnen Schritte des Verfahrens sollen nacheinander durchlaufen werden, insbesondere sollen die Schritte a), b), c), d) und e) in dieser Reihenfolge durchlaufen werden. Es ist jedoch auch möglich, dass die einzelnen Schritte in einer anderen Reihenfolge durchlaufen werden.
Auf diese Weise kann ein computergesteuertes Vorgehen gewählt werden, um ein „Auto-Alignement” zu erreichen. Auf diese Weise kann unmittelbar vor dem Drehen einer speziellen Szene oder gleichzeitig mit dem Drehbeginn der Szene ein Auto-Alignement durchgeführt werden. Eine Bedienung des 3D-Kamerariggs durch eine in diese Arbeit eingewiesene Person kann entsprechend entfallen. Das Drehen von 3D-Filmen wird somit nicht nur einfacher, sondern auch schneller und kostengünstiger. Ferner wird die Qualität verbessert.
Vorteilhafte Ausführungsformen sind in den Unteransprüchen beansprucht und werden nachfolgend näher erläutert.
So ist es von Vorteil, wenn ein Schritt des Verfahrens ein Identifizieren einzelner, wiedererkennbarer und zu Featuren kombinierter Pixel umfasst. Die Features kennzeichnen charakteristische Stellen in dem jeweiligen Bildausschnitt.
Auch ist es von Vorteil, wenn ein „Harris-Detektor” eingesetzt wird.
Damit das Verfahren besonders zuverlässig arbeitet, ist es von Vorteil, wenn die gefundenen Bildstellen durch Deskriptoren, die Zusatzinformationen beinhalten, näher spezifiziert werden, wobei diese vorteilhafterweise in Form von Vektoren und Matrizen für die Berechnung und den Vergleich der Features in beiden von den Kameras erhaltenen Bildern vorliegen.
Es ist von Vorteil, wenn die Deskriptoren der beiden Bilder miteinander verglichen werden. Das Ergebnis des Verfahrens wird dadurch auch verbessert.
Wenn bei Überschreiten einer Ungenauigkeitsgrenze, bei der eine Maximalabweichung zwischen den beiden Deskriptoren überschritten wird, die Zuordnung der entsprechenden Features der beiden Bildausschnitte verworfen wird und eine neue Zuordnung bezüglich der beiden Bildausschnitte ausgesucht wird, so wird verhindert, dass grobe Fehleinschätzungen das Verfahren verschlechtern.
Um stabile und valide Ergebnisse zu erhalten, ist es von Vorteil, wenn für das Verwerfen eine RANSAC-Methode eingesetzt wird. Insbesondere ist es möglich die vorher ablaufenden Schritte ebenfalls unter Einsatz von RANSAC durchzuführen.
Ein weiteres vorteilhaftes Ausführungsbeispiel ist dadurch gekennzeichnet, dass der Versatz in den zumindest vier Freiheitsgraden nach der Gesamtkorrektur in Schritt c) in einer Speichereinheit gespeichert wird.
Um die spätere Nutzung einzelner Ergebnisse vorzuhalten, ist es von Vorteil, wenn ein Schritt zum Bestimmen einer Nullposition, in der Abweichungen entlang der linearen Vertikal-, der linearen Horizontalachse sowie bzgl. einer Drehung um jede der beiden Achsen erfasst werden, vorhanden ist. Die Bewegung der Kameras ist linear entlang der Vertikalachse und entlang der Horizontalachse, wobei die Vertikalachse orthogonal zur Horizontalachse ausgerichtet ist. Der Begriff „pitch” betrifft das Schwenken der Kameras) um die (jeweilige) Horizontalachse.
Um die vielseitige Anwendbarkeit des Verfahrens zu verbessern, ist es von Vorteil, wenn eine Wertetabelle aus den im Schritt c) ermittelten absoluten Werten abgespeichert wird oder in der Wertetabelle eine Differenz der in Schritt c) ermittelten Werte mit der jeweiligen Nullposition abgespeichert wird.
Die Erfindung betrifft auch ein Verfahren zum Steuern eines Kamerariggs mit zwei Kameras, zum Herstellen von 3D-Filmen gemäß der Wertetabelle wie vorhergehend erläutert, wobei während des Filmens beim Zoomen automatisch zumindest eine Kamera über Kameramotoren verfahren wird.
Es hat sich als vorteilhaft herausgestellt, wenn insgesamt vier Motoren eingesetzt werden, wobei jeweils zwei Motoren eine Einheit bilden, so dass es eine „hight-/pitch-Einheit” und eine „horizontal-compensation-Einheit” gibt.
Das Verfahren kann auch in einem Kamerarigg mit zwei Kameras eingesetzt werden, die vorzugsweise nebeneinander oder übereinander angeordnet sind, mit einer Steuerung, die ein Verfahren, wie vorstehend erläutert, umsetzt. Bei einer Übereinanderanordnung der beiden Kameras ist die obere Kamera zur unteren Kamera um 90° um eine Horizontalachse gedreht, wobei ein Spiegel im Wesentlichen zwischen den beiden Kameras angeordnet ist, und zwar so, dass die beiden optischen Achsen der beiden Kameras durch den Spiegel, der semitransparent ausgebildet ist, verlaufen. Die eine optische Achse wird dabei umgelenkt, wohingegen die andere optische Achse nicht durch den Spiegel umgelenkt wird. Die beiden optischen Achsen können in Flucht zueinander gebracht werden. Für das Erzielen des 3D-Effektes, sind die beiden Achsen jedoch horizontal zueinander versetzt.
Die Erfindung wird nachfolgend auch mit Hilfe einer Zeichnung näher erläutert. Es zeigen:
1 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens und
2 ein Detail des erfindungsgemäßen Verfahrens in einem weiteren Ablaufdiagramm.
In 1 ist in einem ersten Schritt 10 eine Warteschleife für ein Hintergrundbild vorhanden. In einem darauffolgenden Schritt 20 wird eine Kalibrierbewegung durchgeführt. Unter einer Kalibrierbewegung wird verstanden, Motoren, welche an den Kameras angreifen, so zu steuern, dass sich die von den Kameras gelieferten Bildausschnitte verändern. Dabei wird das Verhältnis der Verschiebung der Pixel im im Bild zur durchgeführten Motorbewegung berechnet. Dies kann verwendet werden um eine besonders gute Regelung zu erreichen.
In einem dem Schritt 20 nachfolgenden Schritt 30 wird ein Hintergrundkontrollschritt durchgeführt. In diesem Hintergrundkontrollschritt findet ein Minimieren des Hintergrundfehlers mittels einer Pitch-Bewegung statt, d. h. aber in diesem Fall horizontal, wie auch vertikal.
In einem darauffolgenden Schritt 40 findet ein Warten auf ein Vordergrundbild statt.
Ein darauffolgender Schritt 50 betrifft eine durchgeführte Kalibrierbewegung, wie in Schritt 20, aber für den Vordergrund.
In einem dem Schritt 50 folgenden Schritt 60 wird ein Minimieren des Vordergrundfehlers mittels einer Parallelbewegung, d. h. horizontal wie auch vertikal, durchgeführt.
In einem dem Schritt 60 folgenden Schritt 70 wird wiederum ein Warten auf die Hintergrundbedingungen durchgeführt mit einer darauffolgenden Überprüfung des Restfehlers.
Bei Erfüllung aller Parameter wird danach in einem Schritt 80 das Vorliegen einer optimalen Ausrichtung festgestellt. Wenn dieses Vorliegen einer optimalen Ausrichtung nicht vorliegt, so wird wieder der Schritt 30 durchlaufen, wobei im Weiteren, der Schritt 50 übersprungen werden kann.
In 2 werden die Schritte 30 bis 80 genauer dargestellt. Es ist dabei auch eine von der in 2 dargestellten Abfolge gelöste Teil-Aufgabe darin zu sehen, den sog. „Zoom-Fehler” zu korrigieren.
Dabei wird in einem Schritt 110 der Zoom-Fehler bestimmt. In einem nachfolgenden Schritt 120 werden die Motoren angesteuert. Die Motoren werden so lange angesteuert, bis der zwischen den beiden Bildern vorliegende Zoom-Anteil des Versatzes, d. h. der aufgrund der Brennweitenänderung erreichten aufgetretene Versatz der einzelnen Pixel nahezu null ist. Dies liegt unter anderem auch daran, dass die in den zwei Kameras verwendeten Objektive, fertigungsbedingt, selbst bei eingestellter gleicher Zoomstufe nicht exakt die gleiche Brennweite aufweisen.
In einem dem Schritt 120 nachfolgenden Schritt 130 wird geprüft, ob der Restfehler ungefähr null ist. Wenn der Restfehler ungefähr null ist, wird ein Schritt 140 durchlaufen. Ist der Restfehler größer als ein vorbestimmter Schwellenwert, so wird wieder in den Schritt 110 zurückgeführt.
In einem nachfolgenden Schritt 150 wird der Fokus in die Ferne gestellt. Es wird danach im darauffolgenden Schritt 160 der Alignement-Fehler bestimmt. Die Motoren, oder zumindest einer der Motoren wird im Schritt 170 bewegt und wiederum der Alignement-Fehler im darauffolgenden Schritt 180 bestimmt. Solange ein bestimmter voreingestellter Fehler überschritten wird, wird wieder zurückgesprungen in den Schritt 160. Ansonsten folgt der Schritt 190, indem der Fokus in die Nähe gestellt wird. Nun wird erneut im darauffolgenden Schritt 200 der Alignement-Fehler bestimmt. Im darauffolgenden Schritt 210 werden die Motoren oder zumindest einer der Motoren angesteuert, um den Alignement-Fehler zu minimieren. Darauffolgend wird in einem Schritt 220 wiederum die noch vorliegende Restabweichung bzgl. des Alignements erfasst und bei Überschreiten eines vorbestimmten Grenzwertes wieder der Schritt 200 beschritten.
Wird der vorbestimmte Grenzwert unterschritten, so wird der Schritt 150 wieder durchlaufen, wobei falls in Schritt 160 das Fehlen eines Alignmentfehlers festgestellt wird, der Schritt 230 folgt. In dem Schritt 230 wird dann die nächste Zoom-Stufe eingestellt und die Abfolge 110 bis 230 neu durchschritten, so lange, bis alle Zoom-Stufen durchfahren sind.

Claims

Verfahren zum Ausrichten der optischen Achsen von zwei Kameras, wobei die Kameras Bestandteile einer Kameravorrichtung sind, die Kameras in Summe mindestens vier Freiheitsgrade aufweisen und die zwei Kameras zum Herstellen von 3D-Filmen einsetzbar sind, wobei mehrere Schritte durchlaufen werden: a) Einstellen einer ersten Brennweite für einen ersten bestimmten Zoom-Wert an beiden Kameras, b) Grobausrichten der beiden Kameras auf einen ersten, willkürlich ausgesuchten ersten Bildausschnitt mit einer die Kameras umgebenden, kontrastreichen und diversen Umgebung, c) automatisches Vergleichen der in dem ersten Bildausschnitt enthaltenen Pixel der von den beiden Kameras erhaltenen Bilder miteinander und Ansteuern von mit den Kameras verbundenen Motoren derart, dass zumindest eine Ausrichtung der Kameras entlang einer Vertikalachse und/oder einer Horizontalachse und/oder im Sinne einer Drehung um eine oder beide Achsen zu sich gleichenden Bildern führt, sowie Erfassung und Speichern von der erreichten Ausrichtung der beiden Kameras bei sich gleichenden Bildern, sowie Ausrichten der beiden Kameras auf einen zweiten Bildabschnitt, der näher oder ferner von dem ersten Bildausschnitt zu den Kameras befindlich ist, mit automatischem Vergleichen der in dem zweiten Bildausschnitt enthaltenen Pixel der von den beiden Kameras erhaltenen Bilder miteinander und Ansteuern von mit den Kameras verbundenen Motoren derart, dass zumindest eine Ausrichtung der Kameras entlang einer Vertikalachse und/oder einer Horizontalachse und/oder im Sinne einer Drehung um eine oder beide Achsen zu sich gleichenden Bildern führt, sowie Erfassung und Speichern von der erreichten Ausrichtung der beiden Kameras bei sich gleichenden Bildern d) Nachausrichten der Kameras auf einen weiteren Bildausschnitt, der zum ersten und/oder zweiten Bildausschnitt identisch ist oder sich von ihm unterscheidet, bei einer zweiten Brennweite, die sich von der ersten Brennweite unterscheidet, und e) erneutes Durchführen von Schritt c).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Schritt ein Identifizieren einzelner, wiedererkennbarer und zu Features kombinierter Pixel umfasst.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass ein Harris-Detektor eingesetzt wird.
Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die gefundenen Bildstellen durch Deskriptoren, die Zusatzinformationen beinhalten, näher spezifiziert werden, wobei diese vorteilhafterweise in Form von Vektoren und Matrizen für die Berechnung und den Vergleich der Features in beiden von den Kameras erhaltenen Bildern vorliegen.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Deskriptoren der beiden Bilder miteinander verglichen werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass bei Überschreiten einer Ungenauigkeitsgrenze, bei der eine Maximalabweichung zwischen den beiden Deskriptoren überschritten wird, die Zuordnung der entsprechenden Features der beiden Bildausschnitte verworfen wird und eine neue Zuordnung bezüglich der beiden Bildausschnitte ausgesucht wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass für das Verwerfen eine RANSAC-Methode eingesetzt wird.
Verfahren nach einem der Ansprüche 1 bis 7 , dadurch gekennzeichnet, dass der Versatz in den zumindest vier Freiheitsgraden nach der Gesamtkorrektur in Schritt c) in einer Speichereinheit gespeichert wird
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass ein Schritt ein Bestimmen einer Null-Position, in der die Abweichungen entlang der linearen Vertikal-, der linearen Horizontalachse sowie bzgl. einer Drehung um jede der beiden Achsen erfasst werden, umfasst.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass eine Wertetabelle aus den in Schritt c) ermittelten absoluten Werten abgespeichert wird oder in der Wertetabelle eine Differenz der in Schritt c) ermittelten Werte mit der jeweiligen Null-Position abgespeichert wird.
Verfahren zum Steuern eines Kamerariggs mit zwei Kameras, zum Herstellen von 3D-Filmen gemäß der Wertetabelle nach Anspruch 10, wobei während des Filmens beim Zoomen automatisch zumindest eine Kamera über Kameramotoren verfahren wird.