EP2695022A1 - Method for aligning a 3-d camera, method for controlling a 3-d camera during filming and camera rig having two cameras - Google Patents

Method for aligning a 3-d camera, method for controlling a 3-d camera during filming and camera rig having two cameras

Info

Publication number
EP2695022A1
EP2695022A1 EP12707987.9A EP12707987A EP2695022A1 EP 2695022 A1 EP2695022 A1 EP 2695022A1 EP 12707987 A EP12707987 A EP 12707987A EP 2695022 A1 EP2695022 A1 EP 2695022A1
Authority
EP
European Patent Office
Prior art keywords
cameras
camera
image
images
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP12707987.9A
Other languages
German (de)
French (fr)
Inventor
Christian WIELAND
Robert Siegl
Martin Borchert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3Ality Digital Systems LLC
Original Assignee
3Ality Digital Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3Ality Digital Systems LLC filed Critical 3Ality Digital Systems LLC
Publication of EP2695022A1 publication Critical patent/EP2695022A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Definitions

  • the invention relates to a method for aligning the optical axes of two cameras, wherein the cameras are components of a camera device, the cameras have a total of at least four degrees of freedom and the two cameras can be used for producing 3D films, wherein several steps are passed.
  • ⁇ are known from the prior art, which are provided when films of high quality films, for example, for performance in cinemas.
  • camera devices which are also referred to as filters, known to use two cameras simultaneously. In this case, either one camera is arranged above the other camera or arranged next to the other camera, in both cases the optical axes of the cameras should be movable so that they are horizontal next to each other. In this case, a mirror arrangement is often used.
  • steps are: a) setting a first focal length for a first determined zoom value on both cameras, b) coarse alignment of the two cameras to a first, arbitrarily selected first image section with a high-contrast and diverse environment surrounding the cameras, c) automatic comparison the pixels contained in the first image section of the images obtained by the two cameras with each other and driving motors connected to the cameras such that at least one orientation of the cameras along a vertical axis and / or a horizontal axis and / or in the sense of rotation about one or both Axes leads to similar images, as well as detection and storage of the achieved alignment of the two cameras in the same images and aligning the two cameras on a second image section that is closer or further from the first image to the cameras, with automatic comparison of the in the second Image section contained pixels of the images obtained from the two cameras with each other and driving motors connected to the cameras such that at least one orientation of the cameras along a vertical axis and / or a Horizontal axis and / or in the sense of a rotation about one or
  • the individual steps of the method are to be run in succession, in particular the steps a), b), c), d) and e) are to be run through in this order. However, it is also possible that the individual steps are run in a different order.
  • a step of the method comprises identifying individual, recognizable and feature-combined pixels.
  • the Feature characterize characteristic places in the respective image detail.
  • the image locations found are specified in greater detail by descriptors which contain additional information, these advantageously being in the form of vectors and matrices for calculating and comparing the features in both of the cameras Pictures are available.
  • a further advantageous embodiment is characterized in that the offset in the at least four degrees of freedom after the overall correction in step c) is stored in a memory unit.
  • the motion of the cameras is linear along the vertical axis and along the horizontal axis, with the vertical axis being orthogonal to the horizontal axis. is directed.
  • the term "pitch" refers to the pivoting of the camera (s) about the (respective) horizontal axis.
  • a value table is stored from the absolute values determined in step c) or a difference of the values determined in step c) with the respective zero position is stored in the value table.
  • the invention also relates to a method for controlling a camera rig with two cameras, for producing 3D films according to the table of values as explained above, wherein during the filming during zooming, at least one camera is automatically moved by camera motors.
  • the invention also relates to ahotrigg with two cameras, which are preferably arranged side by side or one above the other, with a controller that implements a method as explained above.
  • the upper camera to the lower camera is rotated by 90 ° about a horizontal axis, with a mirror is disposed substantially between the two cameras, in such a way that the two optical axes of the two cameras through the mirror which is semitransparent, run.
  • the one optical axis is thereby deflected, whereas the other optical axis is not deflected by the mirror.
  • the two optical axes can be brought into alignment with each other. However, to achieve the 3D effect, the two axes are offset horizontally.
  • 1 is a flowchart of a method according to the invention and 2 shows a detail of the method according to the invention in a further flowchart.
  • a calibration movement is performed.
  • a calibration movement is understood as controlling motors which act on the cameras in such a way that the image sections supplied by the cameras change. In this case, the ratio of the displacement of the pixels in the image to the performed motor movement is calculated. This can be used to achieve a particularly good control.
  • a background control step is performed.
  • the background error is minimized by means of a pitch movement, i. but in this case horizontal, as well as vertical.
  • a wait for a foreground image takes place.
  • a subsequent step 50 relates to a performed calibration movement, as in step 20, but for the foreground.
  • step 60 minimizing the foreground error by means of a parallel movement, i. horizontal as well as vertical.
  • a wait is again made for the background conditions with a subsequent check of the residual error.
  • step 80 Upon satisfaction of all parameters, the presence of an optimal alignment is then determined in a step 80. If this presence of an optimal alignment is not present, the step 30 is again run, wherein subsequently, the step 50 can be skipped. In Fig. 2, the steps 30 to 80 are shown in more detail. It is also a partial task to be solved by the sequence illustrated in FIG. 2 to correct the so-called "zoom error".
  • the zoom error is determined in a step 110.
  • the motors are driven.
  • the motors are driven until the zoom proportion of the offset between the two images, i. the offset of the individual pixels which has occurred due to the focal length change is almost zero.
  • the reasons for this is that the lenses used in the two cameras do not have exactly the same focal length, even if the same zoom level is set, due to the production process.
  • step 130 it is checked whether the residual error is approximately zero. If the residual error is approximately zero, a step 140 is performed. If the residual error is greater than a predetermined threshold value, the method returns to step 110 again.
  • a subsequent step 150 the focus is placed in the distance. Thereafter, in the subsequent step 160, the alignment error is determined.
  • the motors, or at least one of the motors are moved in step 170 and in turn the alignment error is determined in the subsequent step 180. As long as a certain preset error is exceeded, the process returns to step 160. Otherwise, step 190 follows by putting the focus in the vicinity.
  • step 200 the alignment error is determined again.
  • the motors or at least one of the motors are driven in order to minimize the alignment error.
  • step 220 in turn, the still existing residual deviation with respect to the alignment is detected and step 200 is repeated when a predetermined limit value is exceeded.
  • step 150 is run through again, in which case if the absence of an alignment error is determined in step 160, step 230 follows.
  • step 230 the next te zoom level and the sequence 1 10 to 230 newly passed, until all zoom levels are passed through.

Abstract

The invention relates to a method for aligning the optical axes of two cameras, wherein the cameras are constituent parts of a camera apparatus and the two cameras can be used for producing 3-D films, wherein a plurality of steps is run through automatically. The invention also relates to a method for controlling a camera rig having two cameras for producing 3-D films in accordance with a value table according to such a method, wherein, during the filming, at least one camera is moved by camera motors during zooming. The invention also relates to a camera rig having two cameras, which are preferably arranged beside each other or one above the other, having a control system which implements the method explained.

Description

Bezeichnung der Erfindung  Name of the invention
Verfahren zum Ausrichten einer 3D-Kamera, Verfahren zum Steuern einer 3D-Kamera während des Filmens und Kamerarigg mit zwei Kameras Method for aligning a 3D camera, method for controlling a 3D camera during shooting, and camera rigging with two cameras
Beschreibung description
Gebiet der Erfindung Field of the invention
Die Erfindung betrifft ein Verfahren zum Ausrichten der optischen Achsen von zwei Kameras, wobei die Kameras Bestandteile einer Kameravorrichtung sind, die Kameras in Summe zumindest vier Freiheitsgrade aufweisen und die zwei Kameras zum Herstellen von 3D-Filmen einsetzbar sind, wobei mehrere Schritte durchlaufen werden. The invention relates to a method for aligning the optical axes of two cameras, wherein the cameras are components of a camera device, the cameras have a total of at least four degrees of freedom and the two cameras can be used for producing 3D films, wherein several steps are passed.
Aus dem Stand der Technik sind Kamerariggs bekannt, die beim Filmen von hochwertigen Filmen, bspw. zur Aufführung in Kinos, vorgesehen sind. Auch sind Kameravorrichtungen, welche auch als Kamerariggs bezeichnet werden, bekannt, die zwei Kameras gleichzeitig verwenden. Dabei ist entweder die eine Kamera über der anderen Kamera angeordnet oder neben der anderen Kamera angeordnet, wobei in beiden Fällen die optischen Achsen der Kameras so verfahrbar sein sollen, dass sie horizontal nebeneinander liegen. Dabei wird häufig auch eine Spiegelanordnung verwendet. Kamerariggs are known from the prior art, which are provided when films of high quality films, for example, for performance in cinemas. Also, camera devices, which are also referred to as Kamerariggs, known to use two cameras simultaneously. In this case, either one camera is arranged above the other camera or arranged next to the other camera, in both cases the optical axes of the cameras should be movable so that they are horizontal next to each other. In this case, a mirror arrangement is often used.
Es werden in diesen Kameravorrichtungen Filme aufgezeichnet, die in einem Kino beim Betrachter einen dreidimensionalen Effekt hervorrufen. Bei diesen sog. 3D-Filmen ist es jedoch von großer Bedeutung, dass die beiden Kameras relativ zueinander bzgl. ihrer optischen Achsen genau ausgerichtet sind. Es gibt leider zahlreiche Faktoren, die dazu führen, dass in Abhängigkeit von der jeweiligen Brennweite, also dem Zoom-Wert, Abweichungen zwischen den beiden Kameras vorliegen. Beim Filmen führt dies dann zu ungewünschten Effekten beim Zuschauer. In these camera devices, films are recorded which cause a three-dimensional effect on the viewer in a cinema. In these so-called 3D films, however, it is of great importance that the two cameras are accurately aligned relative to each other with respect to their optical axes. Unfortunately, there are many factors that cause deviations between the two cameras, depending on the focal length, ie the zoom value. When filming this leads to unwanted effects in the audience.
Es ist daher die Bestrebung bei 3D-Kameravorrichtungen eine genaue Ausrichtung der optischen Achsen zu jedem Zeitpunkt zu erreichen. Dies wird herkömmlich auch als„Alignement" bezeichnet. Bisher wird jedoch manuell, von einer Bedienperson vor dem Drehen einer entsprechenden Szene die beiden Kameras zueinander„aligned", also die optischen Achsen relativ zueinander genau ausgerichtet. It is therefore desirable to achieve accurate alignment of the optical axes at all times with 3D camera devices. this will Up to now, however, the two cameras are "aligned" to each other manually by an operator before rotating a corresponding scene, ie the optical axes are aligned relative to one another exactly.
Es ist dabei die Aufgabe der vorliegenden Erfindung genau hier eine Verbesserung zur Verfügung zu stellen. Es soll die Bedienung eines 3D- Kamerariggs auch mit weniger Personal, bei gleichzeitig besserem Ergebnis für den Zuschauer erreicht werden. It is the object of the present invention to provide an improvement here exactly. It should be the operation of a 3D Kamerariggs even with less staff, at the same time better result for the viewer to be achieved.
Dies wird erfindungsgemäß dadurch gelöst, dass mehrere Schritte durchlaufen werden. This is inventively achieved in that several steps are passed.
Diese Schritte sind: a) Einstellen einer ersten Brennweite für einen ersten bestimmten Zoom- Wert an beiden Kameras, b) Grobausrichten der beiden Kameras auf einen ersten, willkürlich ausgesuchten ersten Bildausschnitt mit einer die Kameras umgebenden, kontrastreichen und diversen Umgebung, c) automatisches Vergleichen der in dem ersten Bildausschnitt enthaltenen Pixel der von den beiden Kameras erhaltenen Bilder miteinander und Ansteuern von mit den Kameras verbundenen Motoren derart, dass zumindest eine Ausrichtung der Kameras entlang einer Vertikalachse und/oder einer Horizontalachse und/oder im Sinne einer Drehung um eine oder beide Achsen zu sich gleichenden Bildern führt, sowie Erfassung und Speichern von der erreichten Ausrichtung der beiden Kameras bei sich gleichenden Bildern sowie Ausrichten der beiden Kameras auf einen zweiten Bildabschnitt, der näher oder ferner von dem ersten Bildausschnitt zu den Kameras befindlich ist, mit automatischem Vergleichen der in dem zweiten Bildausschnitt enthaltenen Pixel der von den beiden Kameras erhaltenen Bilder miteinander und Ansteuern von mit den Kameras verbundenen Motoren derart, dass zumindest eine Ausrichtung der Kameras entlang einer Vertikalachse und/oder einer Horizontalachse und/oder im Sinne einer Drehung um eine oder beide Achsen zu sich gleichenden Bildern führt, sowie Erfassung und Speichern von der erreichten Ausrichtung der beiden Kameras bei sich gleichenden Bildern, d) Nachausrichten der Kameras auf einen weiteren Bildausschnitt, der zum ersten und/oder zweiten Bildausschnitt identisch ist oder sich von ihm unterscheidet, bei einer zweiten Brennweite, die sich von der ersten Brennweite unterscheidet, und e) erneutes Durchführen von Schritt c). These steps are: a) setting a first focal length for a first determined zoom value on both cameras, b) coarse alignment of the two cameras to a first, arbitrarily selected first image section with a high-contrast and diverse environment surrounding the cameras, c) automatic comparison the pixels contained in the first image section of the images obtained by the two cameras with each other and driving motors connected to the cameras such that at least one orientation of the cameras along a vertical axis and / or a horizontal axis and / or in the sense of rotation about one or both Axes leads to similar images, as well as detection and storage of the achieved alignment of the two cameras in the same images and aligning the two cameras on a second image section that is closer or further from the first image to the cameras, with automatic comparison of the in the second Image section contained pixels of the images obtained from the two cameras with each other and driving motors connected to the cameras such that at least one orientation of the cameras along a vertical axis and / or a Horizontal axis and / or in the sense of a rotation about one or both axes to the same images, as well as detection and storage of the achieved alignment of the two cameras in the same images, d) readjusting the cameras to another image section, the first and / or second image section is identical or different from it, at a second focal length different from the first focal length, and e) again performing step c).
Unter Grobausrichten wird eine Auswahl eines Bildausschnittes verstanden, so dass dieser Bildausschnitt eine kontrastreiche und diverse Pixelanordnung darstellt. By coarse alignment, a selection of an image section is understood, so that this image section represents a high-contrast and diverse pixel arrangement.
Die einzelnen Schritte des Verfahrens sollen nacheinander durchlaufen werden, insbesondere sollen die Schritte a), b), c), d) und e) in dieser Reihenfolge durchlaufen werden. Es ist jedoch auch möglich, dass die einzelnen Schritte in einer anderen Reihenfolge durchlaufen werden. The individual steps of the method are to be run in succession, in particular the steps a), b), c), d) and e) are to be run through in this order. However, it is also possible that the individual steps are run in a different order.
Auf diese Weise kann ein computergesteuertes Vorgehen gewählt werden, um ein„Auto-Alignement" zu erreichen. Auf diese Weise kann unmittelbar vor dem Drehen einer speziellen Szene oder gleichzeitig mit dem Drehbeginn der Szene ein Auto-Alignement durchgeführt werden. Eine Bedienung des 3D- Kamerariggs durch eine in diese Arbeit eingewiesene Person kann entsprechend entfallen. Das Drehen von 3D-Filmen wird somit nicht nur einfacher, sondern auch schneller und kostengünstiger. Ferner wird die Qualität verbessert. In this way, a computer-controlled approach can be used to achieve "auto-aligning." In this way, auto-alignment can be performed just prior to rotating a particular scene or simultaneously with the shooting start of the scene. Kamerariggs can be eliminated by a person trained in this work, making turning 3D movies not only easier, but also faster and cheaper, and also improves quality.
Vorteilhafte Ausführungsformen sind in den Unteransprüchen beansprucht und werden nachfolgend näher erläutert. Advantageous embodiments are claimed in the subclaims and are explained in more detail below.
So ist es von Vorteil, wenn ein Schritt des Verfahrens ein Identifizieren einzelner, wiedererkennbarer und zu Featuren kombinierter Pixel umfasst. Die Feature kennzeichnen charakteristische Stellen in dem jeweiligen Bildausschnitt. Thus, it is advantageous if a step of the method comprises identifying individual, recognizable and feature-combined pixels. The Feature characterize characteristic places in the respective image detail.
Auch ist es von Vorteil, wenn ein„Harris-Detektor" eingesetzt wird. It is also advantageous if a "Harris detector" is used.
Damit das Verfahren besonders zuverlässig arbeitet, ist es von Vorteil, wenn die gefundenen Bildstellen durch Deskriptoren, die Zusatzinformationen beinhalten, näher spezifiziert werden, wobei diese vorteilhafterweise in Form von Vektoren und Matrizen für die Berechnung und den Vergleich der Features in beiden von den Kameras erhaltenen Bildern vorliegen. In order for the method to work particularly reliably, it is advantageous if the image locations found are specified in greater detail by descriptors which contain additional information, these advantageously being in the form of vectors and matrices for calculating and comparing the features in both of the cameras Pictures are available.
Es ist von Vorteil, wenn die Deskriptoren der beiden Bilder miteinander verglichen werden. Das Ergebnis des Verfahrens wird dadurch auch verbessert. It is advantageous if the descriptors of the two images are compared. The result of the process is thereby also improved.
Wenn bei Überschreiten einer Ungenauigkeitsgrenze, bei der eine Maximalabweichung zwischen den beiden Deskriptoren überschritten wird, die Zuordnung der entsprechenden Feature der beiden Bildausschnitte verworfen wird und eine neue Zuordnung bezüglich der beiden Bildausschnitte ausgesucht wird, so wird verhindert, dass grobe Fehleinschätzungen das Verfahren verschlechtern. If the assignment of the corresponding feature of the two image sections is rejected when a limit of inaccuracy is exceeded, at which a maximum deviation between the two descriptors is exceeded, and a new assignment with respect to the two image sections is selected, gross misjudgments are prevented from worsening the method.
Um stabile und valide Ergebnisse zu erhalten, ist es von Vorteil, wenn für das Verwerfen eine RANSAC-Methode eingesetzt wird. Insbesondere ist es möglich die vorher ablaufenden Schritte ebenfalls unter Einsatz von RANSAC durchzuführen. In order to obtain stable and valid results, it is advantageous if a RANSAC method is used for discarding. In particular, it is possible to carry out the previously running steps also using RANSAC.
Ein weiteres vorteilhaftes Ausführungsbeispiel ist dadurch gekennzeichnet, dass der Versatz in den zumindest vier Freiheitsgraden nach der Gesamtkorrektur in Schritt c) in einer Speichereinheit gespeichert wird. A further advantageous embodiment is characterized in that the offset in the at least four degrees of freedom after the overall correction in step c) is stored in a memory unit.
Um die spätere Nutzung einzelner Ergebnisse vorzuhalten, ist es von Vorteil, wenn ein Schritt zum Bestimmen einer Nullposition, in der Abweichungen entlang der linearen Vertikal-, der linearen Horizontalachse sowie bzgl. einer Drehung um jede der beiden Achsen erfasst werden, vorhanden ist. Die Bewegung der Kameras ist linear entlang der Vertikalachse und entlang der Horizontalachse, wobei die Vertikalachse orthogonal zur Horizontalachse ausge- richtet ist. Der Begriff „pitch" betrifft das Schwenken der Kamera(s) um die (jeweilige) Horizontalachse. To provide for the later use of individual results, it is advantageous to have a step for determining a zero position in which deviations along the linear vertical axis, the horizontal horizontal axis, as well as a rotation about each of the two axes are detected. The motion of the cameras is linear along the vertical axis and along the horizontal axis, with the vertical axis being orthogonal to the horizontal axis. is directed. The term "pitch" refers to the pivoting of the camera (s) about the (respective) horizontal axis.
Um die vielseitige Anwendbarkeit des Verfahrens zu verbessern, ist es von Vorteil, wenn eine Wertetabelle aus den im Schritt c) ermittelten absoluten Werten abgespeichert wird oder in der Wertetabelle eine Differenz der in Schritt c) ermittelten Werte mit der jeweiligen Nullposition abgespeichert wird. In order to improve the versatile applicability of the method, it is advantageous if a value table is stored from the absolute values determined in step c) or a difference of the values determined in step c) with the respective zero position is stored in the value table.
Die Erfindung betrifft auch ein Verfahren zum Steuern eines Kamerariggs mit zwei Kameras, zum Herstellen von 3D-Filmen gemäß der Wertetabelle wie vorhergehend erläutert, wobei während des Filmens beim Zoomen automatisch zumindest eine Kamera über Kameramotoren verfahren wird. The invention also relates to a method for controlling a camera rig with two cameras, for producing 3D films according to the table of values as explained above, wherein during the filming during zooming, at least one camera is automatically moved by camera motors.
Es hat sich als vorteilhaft herausgestellt, wenn insgesamt vier Motoren eingesetzt werden, wobei jeweils zwei Motoren eine Einheit bilden, so dass es eine „hight-/pitch-Einheit" und eine„horizontal-compensation-Einheit" gibt. It has been found to be advantageous if a total of four motors are used, with two motors forming one unit, so that there is a "hight / pitch unit" and a "horizontal compensation unit".
Die Erfindung betrifft auch ein Kamerarigg mit zwei Kameras, die vorzugsweise nebeneinander oder übereinander angeordnet sind, mit einer Steuerung, die ein Verfahren, wie vorstehend erläutert, umsetzt. Bei einer Übereinander- anordnung der beiden Kameras ist die obere Kamera zur unteren Kamera um 90° um eine Horizontalachse gedreht, wobei ein Spiegel im Wesentlichen zwischen den beiden Kameras angeordnet ist, und zwar so, dass die beiden optischen Achsen der beiden Kameras durch den Spiegel, der semitransparent ausgebildet ist, verlaufen. Die eine optische Achse wird dabei umgelenkt, wohingegen die andere optische Achse nicht durch den Spiegel umgelenkt wird. Die beiden optischen Achsen können in Flucht zueinander gebracht werden. Für das Erzielen des 3D-Effektes, sind die beiden Achsen jedoch horizontal zueinander versetzt. The invention also relates to a Kamerarigg with two cameras, which are preferably arranged side by side or one above the other, with a controller that implements a method as explained above. In a superposition of the two cameras, the upper camera to the lower camera is rotated by 90 ° about a horizontal axis, with a mirror is disposed substantially between the two cameras, in such a way that the two optical axes of the two cameras through the mirror which is semitransparent, run. The one optical axis is thereby deflected, whereas the other optical axis is not deflected by the mirror. The two optical axes can be brought into alignment with each other. However, to achieve the 3D effect, the two axes are offset horizontally.
Die Erfindung wird nachfolgend auch mit Hilfe einer Zeichnung näher erläutert. Es zeigen: The invention will be explained in more detail below with the aid of a drawing. Show it:
Fig. 1 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens und Fig. 2 ein Detail des erfindungsgemäßen Verfahrens in einem weiteren Ablaufdiagramm. 1 is a flowchart of a method according to the invention and 2 shows a detail of the method according to the invention in a further flowchart.
In Fig. 1 ist in einem ersten Schritt 10 eine Warteschleife für ein Hintergrundbild vorhanden. In einem darauffolgenden Schritt 20 wird eine Kalibrierbewegung durchgeführt. Unter einer Kalibrierbewegung wird verstanden, Motoren, welche an den Kameras angreifen, so zu steuern, dass sich die von den Kameras gelieferten Bildausschnitte verändern. Dabei wird das Verhältnis der Verschiebung der Pixel im im Bild zur durchgeführten Motorbewegung berechnet. Dies kann verwendet werden um eine besonders gute Regelung zu erreichen. In FIG. 1, in a first step 10 there is a waiting loop for a background image. In a subsequent step 20, a calibration movement is performed. A calibration movement is understood as controlling motors which act on the cameras in such a way that the image sections supplied by the cameras change. In this case, the ratio of the displacement of the pixels in the image to the performed motor movement is calculated. This can be used to achieve a particularly good control.
In einem dem Schritt 20 nachfolgenden Schritt 30 wird ein Hintergrundkontrollschritt durchgeführt. In diesem Hintergrundkontrollschritt findet ein Minimieren des Hintergrundfehlers mittels einer Pitch-Bewegung statt, d.h. aber in diesem Fall horizontal, wie auch vertikal. In a step 30 following the step 20, a background control step is performed. In this background control step, the background error is minimized by means of a pitch movement, i. but in this case horizontal, as well as vertical.
In einem darauffolgenden Schritt 40 findet ein Warten auf ein Vordergrundbild statt. In a subsequent step 40, a wait for a foreground image takes place.
Ein darauffolgender Schritt 50 betrifft eine durchgeführte Kalibrierbewegung, wie in Schritt 20, aber für den Vordergrund. A subsequent step 50 relates to a performed calibration movement, as in step 20, but for the foreground.
In einem dem Schritt 50 folgenden Schritt 60 wird ein Minimieren des Vordergrundfehlers mittels einer Parallelbewegung, d.h. horizontal wie auch vertikal, durchgeführt. In a step 60 following step 50, minimizing the foreground error by means of a parallel movement, i. horizontal as well as vertical.
In einem dem Schritt 60 folgenden Schritt 70 wird wiederum ein Warten auf die Hintergrundbedingungen durchgeführt mit einer darauffolgenden Überprüfung des Restfehlers. In a step 70 following the step 60, a wait is again made for the background conditions with a subsequent check of the residual error.
Bei Erfüllung aller Parameter wird danach in einem Schritt 80 das Vorliegen einer optimalen Ausrichtung festgestellt. Wenn dieses Vorliegen einer optimalen Ausrichtung nicht vorliegt, so wird wieder der Schritt 30 durchlaufen, wobei im Weiteren, der Schritt 50 übersprungen werden kann. In Fig. 2 werden die Schritte 30 bis 80 genauer dargestellt. Es ist dabei auch eine von der in Fig. 2 dargestellten Abfolge gelöste Teil-Aufgabe darin zu sehen, den sog.„Zoom-Fehler" zu korrigieren. Upon satisfaction of all parameters, the presence of an optimal alignment is then determined in a step 80. If this presence of an optimal alignment is not present, the step 30 is again run, wherein subsequently, the step 50 can be skipped. In Fig. 2, the steps 30 to 80 are shown in more detail. It is also a partial task to be solved by the sequence illustrated in FIG. 2 to correct the so-called "zoom error".
Dabei wird in einem Schritt 110 der Zoom-Fehler bestimmt. In einem nachfolgenden Schritt 120 werden die Motoren angesteuert. Die Motoren werden so lange angesteuert, bis der zwischen den beiden Bildern vorliegende Zoom- Anteil des Versatzes, d.h. der aufgrund der Brennweitenänderung erreichten aufgetretene Versatz der einzelnen Pixel nahezu null ist. Dies liegt unter anderem auch daran, dass die in den zwei Kameras verwendeten Objektive, fertigungsbedingt, selbst bei eingestellter gleicher Zoomstufe nicht exakt die gleiche Brennweite aufweisen. In this case, the zoom error is determined in a step 110. In a subsequent step 120, the motors are driven. The motors are driven until the zoom proportion of the offset between the two images, i. the offset of the individual pixels which has occurred due to the focal length change is almost zero. One of the reasons for this is that the lenses used in the two cameras do not have exactly the same focal length, even if the same zoom level is set, due to the production process.
In einem dem Schritt 120 nachfolgenden Schritt 130 wird geprüft, ob der Restfehler ungefähr null ist. Wenn der Restfehler ungefähr null ist, wird ein Schritt 140 durchlaufen. Ist der Restfehler größer als ein vorbestimmter Schwellenwert, so wird wieder in den Schritt 110 zurückgeführt. In a step 130 following step 120, it is checked whether the residual error is approximately zero. If the residual error is approximately zero, a step 140 is performed. If the residual error is greater than a predetermined threshold value, the method returns to step 110 again.
In einem nachfolgenden Schritt 150 wird der Fokus in die Ferne gestellt. Es wird danach im darauffolgenden Schritt 160 der Alignement-Fehler bestimmt. Die Motoren, oder zumindest einer der Motoren wird im Schritt 170 bewegt und wiederum der Alignement-Fehler im darauffolgenden Schritt 180 bestimmt. Solange ein bestimmter voreingestellter Fehler überschritten wird, wird wieder zurückgesprungen in den Schritt 160. Ansonsten folgt der Schritt 190, indem der Fokus in die Nähe gestellt wird. Nun wird erneut im darauffolgenden Schritt 200 der Alignement-Fehler bestimmt. Im darauffolgenden Schritt 210 werden die Motoren oder zumindest einer der Motoren angesteuert, um den Alignement-Fehler zu minimieren. Darauffolgend wird in einem Schritt 220 wiederum die noch vorliegende Restabweichung bzgl. des Alignements erfasst und bei Überschreiten eines vorbestimmten Grenzwertes wieder der Schritt 200 beschritten. In a subsequent step 150, the focus is placed in the distance. Thereafter, in the subsequent step 160, the alignment error is determined. The motors, or at least one of the motors, are moved in step 170 and in turn the alignment error is determined in the subsequent step 180. As long as a certain preset error is exceeded, the process returns to step 160. Otherwise, step 190 follows by putting the focus in the vicinity. Now, in the next step 200, the alignment error is determined again. In the following step 210, the motors or at least one of the motors are driven in order to minimize the alignment error. Subsequently, in a step 220, in turn, the still existing residual deviation with respect to the alignment is detected and step 200 is repeated when a predetermined limit value is exceeded.
Wird der vorbestimmte Grenzwert unterschritten, so wird der Schritt 150 wieder durchlaufen, wobei falls in Schritt 160 das Fehlen eines Alignmentfehlers festgestellt wird, der Schritt 230 folgt. In dem Schritt 230 wird dann die nächs- te Zoom-Stufe eingestellt und die Abfolge 1 10 bis 230 neu durchschritten, so lange, bis alle Zoom-Stufen durchfahren sind. If the predetermined limit value is undershot, then step 150 is run through again, in which case if the absence of an alignment error is determined in step 160, step 230 follows. In step 230, the next te zoom level and the sequence 1 10 to 230 newly passed, until all zoom levels are passed through.

Claims

Patentansprüche claims
1. Verfahren zum Ausrichten der optischen Achsen von zwei Kameras, wobei die Kameras Bestandteile einer Kameravorrichtung sind, die Kameras in Summe mindestens vier Freiheitsgrade aufweisen und die zwei Kameras zum Herstellen von 3D-Filmen einsetzbar sind, wobei mehrere Schritte durchlaufen werden: a) Einstellen einer ersten Brennweite für einen ersten bestimmten Zoom- Wert an beiden Kameras, b) Grobausrichten der beiden Kameras auf einen ersten, willkürlich ausgesuchten ersten Bildausschnitt mit einer die Kameras umgebenden, kontrastreichen und diversen Umgebung, c) automatisches Vergleichen der in dem ersten Bildausschnitt enthaltenen Pixel der von den beiden Kameras erhaltenen Bilder miteinander und Ansteuern von mit den Kameras verbundenen Motoren derart, dass zumindest eine Ausrichtung der Kameras entlang einer Vertikalachse und/oder einer Horizontalachse und/oder im Sinne einer Drehung um eine oder beide Achsen zu sich gleichenden Bildern führt, sowie Erfassung und Speichern von der erreichten Ausrichtung der beiden Kameras bei sich gleichenden Bildern, sowie Ausrichten der beiden Kameras auf einen zweiten Bildabschnitt, der näher oder ferner von dem ersten Bildausschnitt zu den Kameras befindlich ist, mit automatischem Vergleichen der in dem zweiten Bildausschnitt enthaltenen Pixel der von den beiden Kameras erhaltenen Bilder miteinander und Ansteuern von mit den Kameras verbundenen Motoren derart, dass zumindest eine Ausrichtung der Kameras entlang einer Vertikalachse und/oder einer Horizontalachse und/oder im Sinne einer Drehung um eine oder beide Achsen zu sich gleichenden Bildern führt, sowie Erfassung und Speichern von der erreichten Ausrichtung der beiden Kameras bei sich gleichenden Bildern d) Nachausrichten der Kameras auf einen weiteren Bildausschnitt, der zum ersten und/oder zweiten Bildausschnitt identisch ist oder sich von ihm unterscheidet, bei einer zweiten Brennweite, die sich von der ersten Brennweite unterscheidet, und e) erneutes Durchführen von Schritt c). A method of aligning the optical axes of two cameras, wherein the cameras are components of a camera device, the cameras have a total of at least four degrees of freedom and the two cameras are usable for producing 3D films, wherein several steps are performed: a) setting a first focal length for a first determined zoom value at both cameras, b) coarse alignment of the two cameras on a first, arbitrarily selected first image section with a high-contrast and diverse environment surrounding the cameras, c) automatic comparison of the pixels contained in the first image section the images obtained from the two cameras with each other and driving motors connected to the cameras such that at least one orientation of the cameras along a vertical axis and / or a horizontal axis and / or in the sense of a rotation about one or both axes leads to similar images, as well as capture and save v on the achieved alignment of the two cameras in the same images, as well as aligning the two cameras on a second image portion which is closer or further from the first image section to the cameras, with automatic comparison of the pixels contained in the second image section of the two Cameras obtained images with each other and driving motors connected to the cameras such that at least one alignment of the cameras along a vertical axis and / or a horizontal axis and / or in the sense of rotation about one or both axes leads to similar images, and detection and storage from the achieved alignment of the two cameras with similar images d) readjusting the cameras to a further image detail that is identical to or different from the first and / or second image detail at a second focal length that differs from the first focal length, and e) re-performing step c).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass ein Schritt ein Identifizieren einzelner, wiedererkennbarer und zu Featuren kombinierter Pixel umfasst. A method according to claim 1, characterized in that a step comprises identifying individual, recognizable and feature combined pixels.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass ein Harris- Detektor eingesetzt wird. 3. The method according to claim 2, characterized in that a Harris detector is used.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die gefundenen Bildstellen durch Deskriptoren, die Zusatzinformationen beinhalten, näher spezifiziert werden, wobei diese vorteilhafterweise in Form von Vektoren und Matrizen für die Berechnung und den Vergleich der Features in beiden von den Kameras erhaltenen Bildern vorliegen. 4. The method according to claim 2 or 3, characterized in that the found image locations are specified by descriptors containing additional information, these advantageously in the form of vectors and matrices for the calculation and the comparison of the features obtained in both of the cameras Pictures are available.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Deskriptoren der beiden Bilder miteinander verglichen werden. 5. The method according to claim 4, characterized in that the descriptors of the two images are compared.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass bei Überschreiten einer Ungenauigkeitsgrenze, bei der eine Maximalabweichung zwischen den beiden Deskriptoren überschritten wird, die Zuordnung der entsprechenden Feature der beiden Bildausschnitte verworfen wird und eine neue Zuordnung bezüglich der beiden Bildausschnitte ausgesucht wird. 6. The method according to claim 5, characterized in that when exceeding an inaccuracy limit, in which a maximum deviation between the two descriptors is exceeded, the assignment of the corresponding feature of the two image sections is discarded and a new assignment is selected with respect to the two image sections.
7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass für das Verwerfen eine RANSAC-Methode eingesetzt wird. 7. The method according to claim 5, characterized in that for the discarding a RANSAC method is used.
8. Verfahren nach einem der Ansprüche 1 bis 7 , dadurch gekennzeichnet, dass der Versatz in den zumindest vier Freiheitsgraden nach der Gesamtkorrektur in Schritt c) in einer Speichereinheit gespeichert wird 8. The method according to any one of claims 1 to 7, characterized in that the offset in the at least four degrees of freedom after the total correction in step c) is stored in a memory unit
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass ein Schritt ein Bestimmen einer Null-Position, in der die Abweichungen entlang der linearen Vertikal-, der linearen Horizontalachse sowie bzgl. einer Drehung um jede der beiden Achsen erfasst werden, um- fasst. Method according to one of claims 1 to 8, characterized in that a step comprises determining a zero position in which the deviations along the linear vertical axis, the linear horizontal axis and with respect to a rotation about each of the two axes are detected, includes.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass eine Wertetabelle aus den in Schritt c) ermittelten absoluten Werten abgespeichert wird oder in der Wertetabelle eine Differenz der in Schritt c) ermittelten Werte mit der jeweiligen Null-Position abgespeichert wird. 10. The method according to claim 9, wherein a value table is stored from the absolute values determined in step c) or a difference of the values determined in step c) with the respective zero position is stored in the value table.
11. Verfahren zum Steuern eines Kamerariggs mit zwei Kameras, zum Herstellen von 3D-Filmen gemäß der Wertetabelle nach Anspruch 10, wobei während des Filmens beim Zoomen automatisch zumindest eine Kamera über Kameramotoren verfahren wird. 11. A method of controlling a camera rig with two cameras, for producing 3D films according to the look-up table of claim 10, wherein during the filming during zooming, at least one camera is automatically moved by camera motors.
12. Kamerarigg mit zwei Kameras, die vorzugsweise nebeneinander oder übereinander angeordnet sind, mit einer Steuerung, die ein Verfahren nach einem der vorhergehenden Ansprüche umsetzt. 12. Kamerarigg with two cameras, which are preferably arranged side by side or one above the other, with a controller that implements a method according to any one of the preceding claims.
EP12707987.9A 2011-04-05 2012-03-08 Method for aligning a 3-d camera, method for controlling a 3-d camera during filming and camera rig having two cameras Withdrawn EP2695022A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011016171A DE102011016171B4 (en) 2011-04-05 2011-04-05 Method of Aligning a 3D Camera and Method of Controlling a 3D Camera While Filming
PCT/EP2012/001036 WO2012136300A1 (en) 2011-04-05 2012-03-08 Method for aligning a 3-d camera, method for controlling a 3-d camera during filming and camera rig having two cameras

Publications (1)

Publication Number Publication Date
EP2695022A1 true EP2695022A1 (en) 2014-02-12

Family

ID=45812755

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12707987.9A Withdrawn EP2695022A1 (en) 2011-04-05 2012-03-08 Method for aligning a 3-d camera, method for controlling a 3-d camera during filming and camera rig having two cameras

Country Status (4)

Country Link
US (1) US9503707B2 (en)
EP (1) EP2695022A1 (en)
DE (1) DE102011016171B4 (en)
WO (1) WO2012136300A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2997810B1 (en) * 2012-11-07 2016-01-29 Stereolabs AUTOMATIC ALIGNMENT OF CAMERAS IN A 3D SYSTEM

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4418993A (en) * 1981-05-07 1983-12-06 Stereographics Corp. Stereoscopic zoom lens system for three-dimensional motion pictures and television
FR2561400B3 (en) 1983-12-19 1987-04-10 Thomson Csf VARIABLE-BASED STEREOSCOPIC VIEWING DEVICE
DE4320110C2 (en) * 1993-06-17 1997-12-11 Pietzsch Ibp Gmbh Method for operating a stereo vision system and a stereo vision system with two viewing channels
US5625408A (en) 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
US6326995B1 (en) 1994-11-03 2001-12-04 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
GB2308199A (en) * 1995-12-11 1997-06-18 Thomson Multimedia Sa Camera with variable deflection
US6320610B1 (en) * 1998-12-31 2001-11-20 Sensar, Inc. Compact imaging device incorporating rotatably mounted cameras
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US8085293B2 (en) 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
US7209161B2 (en) 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
IL155525A0 (en) * 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
US7611293B2 (en) * 2005-08-30 2009-11-03 Image Ensemble, Inc. 3D rover camera system and method
US7652251B1 (en) * 2008-11-17 2010-01-26 Fluke Corporation Registration methods for fusing corresponding infrared and visible light images
JP4752918B2 (en) * 2009-01-16 2011-08-17 カシオ計算機株式会社 Image processing apparatus, image collation method, and program
US7899321B2 (en) 2009-03-23 2011-03-01 James Cameron Stereo camera with automatic control of interocular distance
US9083958B2 (en) * 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats
GB2473247B (en) * 2009-09-04 2015-02-11 Sony Corp A method and apparatus for image alignment
JP5258722B2 (en) * 2009-09-24 2013-08-07 富士フイルム株式会社 Compound eye camera and control method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2012136300A1 *

Also Published As

Publication number Publication date
DE102011016171B4 (en) 2012-12-27
US20140225989A1 (en) 2014-08-14
DE102011016171A1 (en) 2012-10-11
WO2012136300A1 (en) 2012-10-11
US9503707B2 (en) 2016-11-22

Similar Documents

Publication Publication Date Title
DE102006055641B4 (en) Arrangement and method for recording and reproducing images of a scene and / or an object
AT394459B (en) METHOD FOR OBTAINING IMAGES FOR USE IN REPRESENTING A THREE-DIMENSIONAL SHEET IMAGE RECORDING CARRIER ON WHICH THE FIRST AND SECOND GROUPS OF SERIES OF SUCH IMAGES ARE STORED
DE19538679C2 (en) Stereo camera
EP3166312A1 (en) Device and method for adjusting and/or calibrating a multi-camera module and use of such a device
DD295255A5 (en) PROCESS AND PROJECTION APPARATUS FOR PROMOTING 3-D FILMS
DE2615841A1 (en) PROCEDURE FOR AUTOMATICALLY FOCUSING A MICROSCOPE EQUIPPED WITH A TV CAMERA
DE102011016171B4 (en) Method of Aligning a 3D Camera and Method of Controlling a 3D Camera While Filming
EP1171949B1 (en) Method for accelerating a control movement in a positioner system with step motors
DE102014220519B4 (en) Method for positioning an image-receiving element in relation to an optical device and use of the method
DE602004006182T2 (en) Device for controlling a zoom lens with manual and automatic focusing
DE19528425C1 (en) Automated stereoscopic camera selection arrangement
DE2646696A1 (en) OPTICAL PROCESS AND DEVICE, IN PARTICULAR FOR FILM RECORDING WITH MOVEMENT OF OBJECTS VERTICAL TO THE BACKGROUND
WO2004082266A1 (en) Method and device for recording video data
DE102011109301B4 (en) Method for correcting the zoom setting and / or the vertical offset of partial images of a stereo film as well as controlling or controlling a camera digit with two cameras
DE102011107765B3 (en) Method for smoothing transitions between scenes of a stereo movie as well as control or regulation of several 3D cameras
DE102011050659B4 (en) Method for aligning and controlling the orientation of a traffic surveillance device
EP3500886B1 (en) Changing system for a microscope
AT522320B1 (en) Calibration procedure for a projector
DE102009001518A1 (en) High-dynamic range video image sequence generating method, involves providing video image sequence with partial image sequences, and superimposing images of movement-compensated partial image sequences to image with increased dynamic range
DE102018129814A1 (en) Method for determining calibration parameters of a camera
EP2581788A1 (en) Method and device for a pump-free autofocus system
DE2438187C2 (en) METHOD OF ADJUSTING THE POLE SHOES OF A MAGNETIC OBJECT LENS OF A GRID BODY BEAM MICROSCOPE
WO2020200639A1 (en) Method and device for marking electrical appliances which are arrrangeable in a row
DE2115303A1 (en) Device for recording and reproducing three-dimensional images, in particular when using recording and reproducing devices with lenses of variable focal length
WO2013149614A1 (en) Method for recording images

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20131105

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20151001