DE102009041186A1

DE102009041186A1 - Image acquisition and visualization with spatial image impression

Info

Publication number: DE102009041186A1
Application number: DE102009041186A
Authority: DE
Inventors: Stefan Hahn
Original assignee: Individual
Current assignee: Individual
Priority date: 2009-09-14
Filing date: 2009-09-14
Publication date: 2011-03-24
Also published as: DE112010003641A5; WO2011029440A1

Abstract

Die Erfindung verbessert die fotografische Aufnahme und Wiedergabe von Bildern und Bildsequenzen, so dass ein räumlicher Seheindruck entsteht. Durch Nachbildung der typischen Vertikalbewegungen des menschlichen Auges aus vertikal übereinander gewonnenen Einzelaufnahmen beim Gehen und die Wahl geeigneter Wiedergabeparameter wird für den Betrachter ein räumlicher Bildeindruck erzeugt, ohne dass es zu Irritationen oder Beeinträchtigungen des Wohlbefindens kommt. Es sind keine Betrachtungshilfsmittel wie Brillen notwendig und der Standpunkt des Betrachters kann frei gewählt werden.The invention improves the photographic recording and reproduction of images and image sequences, so that a spatial visual impression is created. By replicating the typical vertical movements of the human eye from individual shots taken vertically one above the other when walking and choosing suitable playback parameters, the viewer is given a spatial image impression without causing irritation or impairment of well-being. No viewing aids such as glasses are necessary and the viewer's position can be chosen freely.

Description

Für Dokumentationszwecke und aus ästhetischen Gründen werden Verfahren zur räumlichen Bildaufnahme und -wiedergabe seit dem 19. Jahrhundert untersucht. Die Vorteile dieser Verfahren bei fotografischen Anwendungen liegen im Gegensatz zur traditionellen einäugigen Fotografie darin, dass Informationen über die 3D-Strukturen der Szene mit dokumentiert werden und dass störende Einflüsse bei der zweidimensionalen Abbildung wie „aus den Köpfen herauswachsende Laternenpfähle”, „Stürzende Linien” oder Reflexionen auf bildwichtigen Elementen vom Betrachter vom eigentlichen Objekt separiert werden können und deshalb weniger stören. Typische Beispiele für 3D-Fotografie sind Stereo-Verfahren, bei denen zwei Kameras mit horizontalem Abstand montiert und gleichzeitig ausgelöst werden. Im Laufe der Zeit wurden viele Methoden entwickelt, die beiden Aufnahmen getrennt dem Auge des Betrachters zuzuführen. Die Wiedergabe des Bildmaterials ist jedoch mit hohem Aufwand verbunden. So trägt der Betrachter entweder eine Stereobrille mit Farb- oder Polarisationsfiltern oder sein Standort ist – bei autostereoskopischen Verfahren – innerhalb enger Bereiche festgelegt. Zudem ca. 5% der Bevölkerung nicht in der Lage, stereoskopisch zu sehen.For documentation purposes and for aesthetic reasons, methods for spatial image acquisition and reproduction have been studied since the 19th century. The advantages of these methods in photographic applications, in contrast to traditional one-eyed photography, are that information about the 3D structures of the scene is also documented and that disturbing influences in the two-dimensional image such as "out of the heads lampposts", "Falling lines" or Reflections on visual elements can be separated from the viewer by the actual object and therefore less disturbing. Typical examples of 3D photography are stereo techniques in which two cameras are mounted horizontally and triggered simultaneously. Over time, many methods have been developed to deliver the two images separately to the eye of the beholder. The reproduction of the image material is associated with great effort. Thus, the observer wears either a stereo goggle with color or polarization filters or his location is - within autostereoscopic procedures - set within narrow ranges. In addition, about 5% of the population is unable to see stereoscopically.

Diese Nachteile vermeidet das in der US Schrift 4,429,328 beschriebene Verfahren, welches für Bewegtbilder entwickelt und der Marke VISIDEP publiziert wurde. Bei diesem werden die Aufnahmen von zwei vertikal übereinander befindlichen Kameras mit hoher Frequenz umgeschaltet und so abwechselnd dem Bildschirm des Betrachters zugeführt. Das menschliche Sehsystem errechnet aus der unterschiedlichen Amplitude der Bewegungen im Bild die dreidimensionale Struktur der aufgenommenen Szene. Allerdings stört der abrupte Wechsel zwischen den Einzelaufnahmen beim Betrachten erheblich. Quellen berichten sogar von Unwohlsein als Folge längeren Betrachtens derartiger „Wackelbilder”. So findet sich in Internet-Wikis ein Kommentar aus 2008 eines an der Entwicklung beteiligten ehemaligen Studenten „VISIDEP was a guaranteed headache Generator”. Die zitierte Schutzschrift gibt an, dass durch die vertikale Anordnung der Aufnahmepositionen weniger negative Effekte entstehen als durch eine horizontale. Als Vertikalabstand der Aufnahmepunkte werden dort 1–1,5cm angenommen, als Bildfrequenz 4–10 Hz. Die Gründe für die besseren Ergebnisse bei vertikaler statt horizontaler Kameraanordnung waren bisher unbekannt. Dieses ist in der Schutzschrift explizit vermerkt.These disadvantages avoid that in the US Pat. No. 4,429,328 described method, which was developed for moving images and the brand VISIDEP was published. In this case, the images are switched by two vertically superimposed cameras with high frequency and so alternately supplied to the screen of the viewer. The human visual system calculates the three-dimensional structure of the recorded scene from the different amplitude of the movements in the image. However, the abrupt change between the individual shots disturbs the viewing considerably. Sources even report malaise as a result of prolonged viewing of such "wobbly pictures". For example, there is a comment in Internet wikis published in 2008 by a former student involved in the development of "VISIDEP was a guaranteed headache generator". The cited protection document indicates that the vertical arrangement of the pick-up positions produces less negative effects than horizontal. As vertical distance of the recording points are assumed there 1-1.5cm, as a frame rate 4-10 Hz. The reasons for the better results with vertical instead of horizontal camera arrangement were previously unknown. This is explicitly stated in the protective paper.

Später wurde das Verfahren für künstliche computergenerierte Szenen untersucht ( T. Barham et al, some variations an VISIDEP using computer graphics, Optical Engineering 29 (12), 1990 ).Later, the procedure for artificial computer-generated scenes was investigated ( Barham et al, some variations on VISIDEP using computer graphics, Optical Engineering 29 (12), 1990 ).

Durch das Einfügen von Zwischenbildern werden der springende Ablauf und dessen negative Nebeneffekte reduziert. Da hier allerdings ganz bewusst die hohe Bewegungsfrequenz dadurch beibehalten wird, dass die Bildfrequenz entsprechend erhöht wird, bleibt der störende Eindruck einer hohen Bewegungsfrequenz und ein ruckartiger Bewegungseindruck in den Umkehrpunkten. Insbesondere ist es dem Betrachter durch die hohe vertikale Bewegungsfrequenz nicht möglich, sich ohne Irritation auf die schnell bewegten Bildausschnitte in der Nähe zu konzentrieren, eine kontemplative Beschäftigung mit dem Bildinhalt, wie sie insbesondere bei künstlerisch anspruchsvollen Fotografien praktiziert wird, ist deshalb unmöglich.By inserting intermediate images, the jumping process and its negative side effects are reduced. However, since the high frequency of movement is deliberately maintained by increasing the frame rate accordingly, the disturbing impression of a high frequency of movement and a jerky impression of movement remain in the reversal points. In particular, the high vertical frequency of movement makes it impossible for the observer to focus on the rapidly moving image sections in the vicinity without irritation; a contemplative preoccupation with the image content, as practiced in artistically demanding photographs, is therefore impossible.

Der beschriebenen Erfindung liegt die Aufgabe zugrunde, ein Vorrichtung und ein Verfahren zu finden, mit dem ein räumlicher Seheindruck ebenfalls ohne Hilfsmittel und ohne Einschränkung an den Standort des Betrachters erzielt werden kann, bei dem aber keine Irritationen entstehen.The described invention has for its object to find a device and a method with which a spatial visual impression can also be achieved without aids and without restriction to the location of the observer, but in which no irritations arise.

Beschreibungdescription

Die erfindungsgemäße Lösung der Aufgabe beruht auf der Erkenntnis darüber, warum eine wie in US 4,429,328 beschriebene vertikale Kameraanordnung für die Darstellung von räumlichen Wechselbildern geeigneter ist als eine horizontale. Die Lösung nutzt diese Erkenntnisse für eine Vorrichtung und ein Verfahren zur besonders vorteilhaften Aufnahme, Ausgestaltung, Aufbereitung und Darstellung des Bildmaterials.The inventive solution of the problem is based on the knowledge of why a as in US 4,429,328 described vertical camera arrangement for the representation of spatial alternating images is more suitable than a horizontal. The solution uses these findings for a device and a method for particularly advantageous recording, design, processing and presentation of the image material.

Diese neue Erkenntnis über die besondere Eignung einer vertikalen Kameraanordnung beruht darauf, dass ein vertikal bewegter Augpunkt zur natürlichen Lebenserfahrung des Menschen gehört. Die vertikale Komponente seiner Augenbewegung beim Gehen kann durch eine sinusförmige Vertikalbewegung mit einer Frequenz, die seiner aktuellen Schrittfrequenz entspricht, nachempfunden werden. Das Abbild stationärer Gegenstände in seiner Umgebung bewegt sich deshalb mit einer in der Amplitude abstandsabhängigen Vertikalschwingung auf der Netzhaut. Der Mensch schätzt anhand dieser unterschiedlichen Geschwindigkeit die relativen Abstände von Elementen der Szene ab. Bei einer typischen vertikalen Amplitude von 2,5 cm und einer Schrittfrequenz von 1,5 Hz ist – bei einer bekannten Messempfindlichkeit von ca. 1 Bogenminute/s die räumliche Trennung von in der Tiefe gestaffelten Objekten der Szene vergleichbar mit der Leistungsfähigkeit beim voll ausgebildeten beidäugigen Stereosehen, bei dem eine Empfindlichkeit von 20 Bogensekunden bei 6,5 cm Basisbreite als typische Werte bekannt sind. Die Entfernungsschätzung aufgrund der Vertikalbewegung beim Gehen hat zusätzlich den Vorteil, dass sie im gesamten Sichtbereich gleichzeitig wirkt. Während der Mensch beim beidäugigen Stereosehen nur einen eingeschränkten Entfernungsbereich um den des aktuellen Fixationspunkt analysieren kann, ihm der Rest als Doppelbilder erscheint und in weiteren Wahrnehmungsschritten in der Verarbeitung unterdrückt wird, wird die durch die Vertikalbewegung des Auges induzierte Bewegung der Objektabbilder auf der Netzhaut in der gesamten Szene wahrgenommen. Als Konsequenz wirken durch vertikale Bewegung dargestellte räumliche Szenen natürlicher als herkömmliche Stereobilder.This new insight into the particular suitability of a vertical camera arrangement is based on the fact that a vertically moved eye point belongs to the natural life experience of humans. The vertical component of its eye movement while walking can be modeled by a sinusoidal vertical movement at a frequency corresponding to its current pace. The image of stationary objects in its surroundings therefore moves with a distance-dependent vertical oscillation on the retina. Man estimates the relative distances of elements of the scene based on this different speed. At a typical vertical amplitude of 2.5 cm and a step frequency of 1.5 Hz, with a known measurement sensitivity of approximately 1 arc minute / s, the spatial separation of the staggered objects of the scene is comparable to the performance of the fully trained binocular Stereosehen, where a sensitivity of 20 arcseconds at a basic width of 6.5 cm are known as typical values. The distance estimation due to the vertical movement while walking has the additional advantage that it is in the entire field of vision works simultaneously. Whereas in binocular stereo vision the human being can analyze only a limited range of distances around the current fixation point, the rest appear as double images and is suppressed in further perception steps in the processing, the movement of the object images on the retina induced by the vertical movement of the eye becomes perceived throughout the scene. As a consequence, spatial scenes represented by vertical motion appear more natural than conventional stereo images.

Die erfindungsgemäße Lösung der Aufgabe wird durch die folgenden Vorrichtungen bzw. Verfahren realisiert.

– Der Wahl einer Bewegungsfrequenz unterhalb von 2 Hz typischerweise 0,5 Hz.
– Ein Bildaufnahmegerät mit einer vertikalen Anordnung von zwei oder mehr digitalen Teilkameras. Für die Anwendbarkeit durch klassische Nutzer von fotografischen Geräten ist insbesondere wichtig, dass das Gerät in der Bedienung einem klassischen Fotoapparat entspricht oder mit einem solchen kombiniert werden kann.
– Der Generierung der Bildfolge einer weichen sinusförmigen Bewegung aus diesen Kamerabildern durch geeignete Wahl der vertikalen Abstände der Teilkameras bzw. der angenommenen Vertikalposition bei der Interpolation von Zwischenbildern.

The inventive solution of the problem is realized by the following devices and methods.

- The choice of a movement frequency below 2 Hz typically 0.5 Hz.
- An imaging device with a vertical arrangement of two or more digital sub-cameras. For the applicability by classical users of photographic equipment is particularly important that the device in the operation of a classic camera corresponds or can be combined with such.
- The generation of the image sequence of a soft sinusoidal movement of these camera images by a suitable choice of the vertical distances of the sub-cameras or the assumed vertical position in the interpolation of intermediate images.

Im Rahmen dieser Schrift bedeutet der Begriff „Teilkamera” eine Kombination aus Optik und digitalem Bildsensor. Die erfindungsgemäße Vorrichtung kombiniert zwei oder mehr dieser vertikal übereinander angeordneten Teilkameras zu einer „3D-Kamera”.In the context of this document, the term "partial camera" means a combination of optics and digital image sensor. The inventive device combines two or more of these vertically stacked sub-cameras to a "3D camera".

Nachfolgend wird anhand von Ausführungsbeispielen und mit Hilfe von Figuren die Erfindung im Detail erläutert.The invention will be explained in detail with reference to embodiments and with the aid of figures.

Zur besseren Erläuterung ist die Optik der jeweils obersten Teilkamera in allen relevanten Figuren mit (101) bezeichnet.For a better explanation, the optics of the uppermost sub-camera in all relevant figures with ( 101 ) designated.

1 zeigt eine Vorrichtung, die anstelle eines Wechselobjektives an eine Spiegelreflexkamera mit großem Bildsensor montiert wird. Sie realisiert mittels vertikal übereinanderliegender Optiken die Funktion der beschriebenen 3D-Kamera. Die Optiken bilden die Szene auf den großen Bildsensor im Kameragehäuse ab. Da diese Sensoren üblicherweise im Querformat eingebaut werden, muss die Kamera für die Aufnahme mit dem gezeichneten Spezialobjektiv hochkant gehalten werden. Zu diesem Zweck existieren für viele Spiegelreflexsysteme handelsübliche Hochformatgriffe – hier schraffiert gezeichnet, die eine komfortables Halten und Auslösen auch in dieser Position erlauben. 1 shows a device that is mounted instead of an interchangeable lens to a single-lens reflex camera with a large image sensor. It realizes the function of the described 3D camera by means of vertical superimposed optics. The optics depict the scene on the large image sensor in the camera body. Since these sensors are usually installed in landscape format, the camera must be held upright for shooting with the special lens drawn. For this purpose, for many SLR systems standard vertical handles - shaded here, which allow a comfortable hold and release in this position.

2 zeigt eine Ausprägung der 3D-Kamera, welche als Zusatzgerät in den Blitzschuh einer konventionellen Kamera gesteckt wird. 2 shows an expression of the 3D camera, which is plugged as an accessory into the hot shoe of a conventional camera.

3 zeigt eine Ausprägung der 3D-Kamera als Zusatzeinrichtung zu einem Blitzgerät. 3 shows an expression of the 3D camera as an additional device to a flash unit.

4 zeigt eine Ausprägung der 3D-Kamera als Zusatzeinrichtung in einem Kamerastativ. 4 shows an expression of the 3D camera as an additional device in a camera tripod.

5 zeigt eine Ausprägung der 3D-Kamera, wobei als Teilkameras Gruppen von extrem miniaturisierten Wafer-Level-Kameras eingesetzt werden, welche getrennt für das gesamte sichtbare Lichtspektrum (106) bzw. für die Teilbereiche Rot (105), Grün (107) und Blau (108) des Spektrums empfindlich sind. Die gleiche vertikale Anordnung von Teilkameras befindet sich ein zweites Mal rechts von der ersten, mit einer von der ersten Reihe unterschiedlichen Brennweite. Der Vertikalabstand der Teilkameras ist über zwei Spindeltriebe (109) und (110) paarweise einstellbar. 5 shows an embodiment of the 3D camera, wherein sub-cameras groups of extremely miniaturized wafer-level cameras are used, which separated for the entire visible light spectrum ( 106 ) or for the subareas red ( 105 ), Green ( 107 ) and blue ( 108 ) of the spectrum are sensitive. The same vertical array of sub-cameras is located a second time to the right of the first, with a different focal length from the first row. The vertical distance of the sub-cameras is via two spindle drives ( 109 ) and ( 110 ) adjustable in pairs.

6 zeigt eine Ausprägung der 3D-Kamera als Zusatzeinrichtung in einem ansonsten handelsüblichen Mobilfunkgerät. 6 shows an expression of the 3D camera as an additional device in an otherwise standard mobile device.

7 zeigt die 3D-Kamera zusammengesteckt aus eigenständigen Teilkamera-Komponenten. 7 shows the 3D camera plugged together from independent sub-camera components.

8 zeigt eine von 7 unterschiedliche Anordnung von eigenständigen Teilkamera-Komponenten, bei denen die Basisbreite durch Verschiebung der Teilkameras gegeneinander realisiert wird. Durch eine beispielhaft dargestellte Konstruktion aus Zahnrad (102) und Zahnstangen (103) wird sichergestellt, dass sich der Abstand der Teilkameras in gleichem Maße ändert. 8th shows one of 7 Different arrangement of independent sub-camera components, in which the base width is realized by shifting the sub-cameras against each other. By an exemplified construction of gear ( 102 ) and racks ( 103 ) ensures that the distance between the sub-cameras changes to the same extent.

Die erfinderische Lösung der Aufgabe durch eine Vorrichtung gemäß den unabhängigen Anspruch 1 und 2 bzw. den daraus abgeleiteten Ansprüchen sowie einem Verfahren gemäß dem unabhängigen Anspruch 20 und daraus abgeleiteten Ansprüchen und einem Wiedergabegerät gemäß Anspruch 25 wird durch eine vertikale Anordnung mehrerer Teilkameras erreicht. Im einfachsten Fall wird der weiche, sinusförmige Bewegungseindruck dadurch erzeugt, dass die aufgenommenen Bilder der Teilkameras an den passenden Vertikalpositionen innerhalb der gewünschten Sinusschwingung liegen und sequentiell und zyklisch wiedergegeben werden. Bei einer simulierten Schrittfrequenz von 1,5 Hz und einer für eine flüssige Bewegungsperzeption notwendigen Bildfrequenz von 15 Hz ist die Verwendung von 5 Teilkameras erforderlich. Dieses ergibt sich, da die Bildfolge für eine Periode aus 10 Einzelbildern (15 Hz Bildfrequenz/1,5 Hz Schrittfrequenz) bestehen muss. Diese Anzahl von Einzelbildern kann von K = 5 Teilkameras in der im Folgenden angegebenen geometrischen Anordnung und Reihenfolge erzeugt werden. Da die üblichen Darstellungsmedien nur eine konstante Bildfrequenz erlauben, werden die Vertikalpositionen der Kameras so gewählt, dass sich die angestrebte weiche Sinusbewegung ergibt. Wenn die Teilkameras von oben nach unten mit k₀, k₁ ... k₄ durchnumeriert werden, hat die Teilkamera k_n von einer zentralen Symmetrieebene den Vertikalabstand d_n = b(cos(pi·(n + 0,5)/K))/2 b bezeichnet hier die Vertikalamplitude der simulierten Augenbewegung. Für nachgebildete Schreitbewegungen kann sie mit in etwa 1,25 cm angenommen werden, Es ergibt sich ein Abstand zwischen den Scheitelpunkten von 2,5 cm.The inventive solution of the problem by a device according to independent claims 1 and 2 and the claims derived therefrom and a method according to independent claim 20 and claims derived therefrom and a display device according to claim 25 is achieved by a vertical arrangement of several sub-cameras. In the simplest case, the soft, sinusoidal impression of movement is produced by the fact that the recorded images of the sub-cameras are at the appropriate vertical positions within the desired sine oscillation and are reproduced sequentially and cyclically. With a simulated step frequency of 1.5 Hz and a frame rate of 15 Hz necessary for a fluid motion perception, the use of 5 sub-cameras is required. This results because the sequence of images must consist of 10 individual images (15 Hz frame rate / 1.5 Hz step rate) for one period. This number of frames can be from K = 5 Partial cameras are generated in the following geometric arrangement and order. Since the usual display media only allow a constant frame rate, the vertical positions of the cameras are chosen so that the desired soft sinusoidal movement results. If the sub-cameras are numbered from top to bottom with k ₀ , k ₁ ... k ₄ , the sub-camera k _n has the vertical distance from a central plane of symmetry d _n = b (cos (pi * (n + 0.5) / K)) / 2 Here b denotes the vertical amplitude of the simulated eye movement. For simulated walking movements, it can be assumed to be about 1.25 cm, resulting in a distance between the vertices of 2.5 cm.

Mit diesem Wert ergibt sich ein Abstand d₁ = –d₂ = 7,3 mm bzw. d₀ = –d₄ = 11,9 mm von der zentralen vertikalen Symmetrielinie.This value results in a distance d ₁ = -d ₂ = 7.3 mm or d ₀ = -d ₄ = 11.9 mm from the central vertical line of symmetry.

Die Bildsequenz bei der Wiedergabe der simulierten Augenbewegung lautet k₀, k₀, k₁, k₂, k₃, k₄, k₄, k₃, k₂, k₁ The image sequence in the simulation of the simulated eye movement is k ₀ , k ₀ , k ₁ , k ₂ , k ₃ , k ₄ , k ₄ , k ₃ , k ₂ , k ₁

Bei dieser Wahl von b haben allerdings die Teilkameras 0 und 1 bzw. 3 und 4 einen Abstand von nur 4,5 mm. Es sind deshalb bei dieser Anordnung die Kameras 0 und 4 in einer Ausführung mit besonders kleinen Dimensionen erforderlich. Moderne Wafer-Level-Kameramodule haben eine Kantenlänge von unter 3 mm und sind deshalb für eine derartige Kamera-Anordnung besonders geeignet.In this choice of b, however, the sub-cameras 0 and 1 or 3 and 4 have a distance of only 4.5 mm. Therefore, in this arrangement, the cameras 0 and 4 are required in an embodiment with particularly small dimensions. Modern wafer-level camera modules have an edge length of less than 3 mm and are therefore particularly suitable for such a camera arrangement.

Erfindungsgemäß wird durch die so beschriebene nichtäquidistante Anordnung der Teilkameras gegenüber dem Stand der Technik eine angenehme weiche Bewegungsdarstellung in der generierten Bildfolge erreicht.According to the invention, the non-equidistant arrangement of the sub-cameras described in this way achieves a pleasant, smooth representation of movement in the generated image sequence compared to the prior art.

An einer späteren Stelle der vorliegenden Schrift werden Verfahren beschrieben, welche den gewünschte Bewegungseindruck durch eine Nachverarbeitung des Bildmaterials auch mit dem Einsatz von weniger als den hier beschriebenen fünf Teilkameras bei der Aufnahme bei erzielen können. Deshalb sind die im Folgenden beschriebenen Varianten der Gestaltung der Kameras auch dann für die Aufgabe einsetzbar, wenn Sie weniger als fünf – im Einzelfall auch nur zwei – vertikal übereinander liegende Einzelaufnahmen erzeugen.At a later stage of the present document, methods are described which can achieve the desired impression of motion by a post-processing of the image material with the use of less than the five sub-cameras described here during recording. Therefore, the variants of the design of the cameras described below can be used for the task, even if you produce less than five - in an individual case, only two - vertically superimposed single shots.

Aus der klassischen Stereo-Fotografie ist der so genannte „Puppenstubeneffekt” bekannt. Er entsteht dadurch, dass die Aufnahmen für das linke und rechte Auge nicht einen typischen menschlichen Augenabstand sondern eine – zum Teil um ein Vielfaches größere – Basisbreite aufweisen. Dieses führt beim Betrachten der Aufnahmen dazu, dass der räumliche Eindruck verstärkt wird, so als ob der Betrachter eine um den entsprechenden Faktor verkleinerte Szene in einem um den selben Faktor verkürzten Abstand betrachtet. Eine derartige Verstärkung des räumlichen Eindrucks ist auch bei der hier beschriebenen 3D-Kamera erzielbar, indem der Abstand zwischen den Teilkameras um einen entsprechenden Faktor vergrößert wird. Erfindungsgemäß kann die 3D-Kamera so gestaltet sein, dass dieser Abstand variabel einstellbar ist, so dass der Fotograf die Stärke des räumlichen Seheindrucks durch Wahl der Basisbreite bei der Aufnahme bestimmen kann. Besonders vorteilhaft wird eine derartige Einstellbarkeit so realisiert, dass das Verhältnis der Abstände der Teilkameras konstant bleibt. Dieses wird am Beispiel der später erläuterten Aufnahme durch ein große Anzahl von Miniaturkameras in 5 durch zwei mit einem festen Steigungs- bzw. Drehzahlverhältnis verkoppelte Spindeltriebe (109) und (110) gewährleistet, von denen (109) die den Abstand der Teilkameras 0 und 4 relativ zur zentralen Kamera 2 vergrößert bzw. verkleinert und (110) die Kameras 1 und 3 um einen proportional jeweils kleineren Anteil verschiebt. Bei gleich gewählter Steigung der Spindeltriebe muss deren Drehzahlverhältnis genau dem Verhältnis Abstände der von ihnen bewegten Teilkamera-Gruppen zur Symmetrieebene entsprechen. Eine weitere Möglichkeit, die ohne bewegliche Teilkameras auskommt, besteht darin, dem Fotografen nur die Auswahl aus einer kleinen Anzahl von diskreten Basisbreiten zur Verfügung zu stellen, indem zwischen mehreren Sätzen von Teilkameras vor der Aufnahme umgeschaltet werden kann bzw. nach der Aufnahme die Bilder der passenden Teilkameras ausgewählt werden können. So können beispielsweise die fünf beschriebenen Teilkameras um weiteres Teilkamerapaar k₅ und k₆ im Abstand von d₅ = –d₆ = d₀·d₀/d₁ bezogen auf die zentrale vertikale Symmetrielinie ergänzt werden. Die Bildsequenz K₅, k₅, k₀, k₂, k₄, k₆, k₆, k₄, k₂ entspricht geometrisch genau der ursprünglichen Bildsequenz mit einer um 62% vergrößerten Basisbreite. Die Hinzunahme eines weiteren Teilkamerapaars im Abstand von d5·d5/d0 erlaubt die Aufnahme mit einer um weitere 62% vergrößerten Basisbreite. Bei einer solchen Anordnung bleibt jeweils die Hälfte der Teilkameras für die spätere Wiedergabe ungenutzt. Dieses lässt sich dadurch vermeiden, dass die Teilkameras in einem Gehäuse steckbar angebracht werden.From classic stereo photography, the so-called "dollhouse effect" is known. It arises from the fact that the images for the left and right eye have not a typical human eye distance but one - in some cases many times greater - base width. This leads, when viewing the images, to the fact that the spatial impression is enhanced, as if the viewer considered a reduced by the corresponding factor scene in a shortened by the same factor distance. Such a reinforcement of the spatial impression is also achievable in the 3D camera described here by the distance between the sub-cameras is increased by a corresponding factor. According to the invention, the 3D camera can be designed so that this distance is variably adjustable, so that the photographer can determine the strength of the spatial visual impression by choosing the basic width during the recording. Such a adjustability is particularly advantageously realized so that the ratio of the distances of the sub-cameras remains constant. This is the example of the later explained recording by a large number of miniature cameras in 5 by two spindle drives coupled with a fixed gradient or speed ratio ( 109 ) and ( 110 ), of which ( 109 ) which increases or decreases the distance of the sub-cameras 0 and 4 relative to the central camera 2 and ( 110 ) Moves the cameras 1 and 3 by a proportionately smaller proportion. If the pitch of the spindle drives is the same, the speed ratio thereof must correspond exactly to the ratio between the distances of the sub-camera groups moved by them to the plane of symmetry. Another possibility, which does not require moving sub-cameras, is to provide the photographer with only a small number of discrete base widths by switching between several sets of sub-cameras prior to recording or after taking the pictures of the sub-cameras suitable sub-cameras can be selected. Thus, for example, the five sub-cameras described can be supplemented by further sub-camera pair k ₅ and k ₆ at a distance of d ₅ = -d ₆ = d ₀ · d ₀ / d ₁ relative to the central vertical symmetry line. The image sequence K ₅ , k ₅ , k ₀ , k ₂ , k ₄ , k ₆ , k ₆ , k ₄ , k ₂ corresponds geometrically exactly to the original image sequence with a base width increased by 62%. The addition of a further subcamera pair at a distance of d5 · d5 / d0 allows the recording with a further 62% increased base width. In such an arrangement, each half of the sub-cameras remains unused for later playback. This can be avoided by the fact that the sub-cameras are mounted in a housing pluggable.

Der Fotograf also die Teilkameras an den Positionen k1 und k3 auf die Position k5 und k6 und analog diejenigen auf den Positionen k0 und k4 auf die Positionen k7 und k8 umstecken kann.The photographer can thus change the sub-cameras at positions k1 and k3 to positions k5 and k6 and analogously those at positions k0 and k4 to positions k7 and k8.

Der Fotograf wird sich bei der Wahl der Basisbreite in der Regel davon leiten lassen, den stärksten räumlichen Seheindruck zu erzeugen, bei dem die oszillierende Bewegung im Bild soeben nicht als störend empfunden wird. Erfahrungsgemäß ist das für Bewegungsamplitude bis zu 1% der Bildhöhe der Fall.When choosing the basic width, the photographer will generally be guided by the idea of producing the strongest spatial visual impression, in which the oscillating motion in the picture is not perceived as disturbing. Experience has shown that for motion amplitude up to 1% of the image height of the case.

Bei Verwendung der Brennweite eines Normalobjektivs wird diese wird die Grenze von 1% bei 2,5 cm Abstand der obersten und untersten Teilkamera bei Objekten in 5 m Entfernung erreicht, d. h. das naheste abgebildete Objekt, einschließlich des Untergrundes, sollte einen Abstand von 5 m oder mehr besitzen.When using the focal length of a normal lens, this will reach the limit of 1% with 2.5 cm spacing of the top and bottom camera for objects 5 m away, ie. H. The closest object, including the ground, should be 5 m or more apart.

Ist beispielsweise der minimale Abstand zu den abgebildeten Objekten stattdessen 10 m entfernt kann nach dem beschriebenen Kriterium nach diesen Kriterien bei einem Normalobjektiv auch die Basisbreite auf 5 cm verdoppelt werden. Einen Extremfall stellt eine Schrägbild-Luftaufnahme mit einer Minimalentfernung der Objekte von 200 m Entfernung dar, bei dem die optimale erfindungsgemäße 3D-Kamera eine Basisbreite von typisch ca. 100 cm aufweisen wird.If, for example, the minimum distance to the imaged objects is instead 10 m, the base width can also be doubled to 5 cm according to the criteria described for these criteria with a normal lens. An extreme case is an oblique aerial photograph with a minimum distance of the objects of 200 m distance, in which the optimal 3D camera according to the invention will have a basic width of typically approximately 100 cm.

Bei der Gestaltung der 3D-Kamera ist es sinnvoll, dass die Ergonomie – bis auf die zusätzliche beschriebene Einstellmöglichkeit der Basisbreite – möglichst wenig von der Bedienung einer konventionellen Kamera abweicht. Sie ist deshalb vorteilhaft so ausgestaltet, dass sie über einen Auslöser an der Oberseite und rechts bzw. links der Optik Bereiche zum Greifen und Führen mit den Händen verfügt.When designing the 3D camera, it makes sense that the ergonomics - apart from the additional adjustment option described for the basic width - deviate as little as possible from the operation of a conventional camera. It is therefore advantageously designed so that it has a trigger on the top and right or left of the optics areas for gripping and guiding with the hands.

Eine weitere ergonomisch besonders vorteilhafte Gestaltung der 3D-Kamera besteht darin, sie als Zusatzkomponente für eine konventionelle Kamera auszuführen. Diese kann beispielsweise dadurch geschehen, dass die 3D-Kamera in den Blitzschuh der konventionellen Kamera gesteckt werden kann – wie in 2 gezeigt. Die elektrische Verbindung zwischen konventioneller Kamera und 3D-Kamera überträgt hierbei den Auslöseimpuls.Another ergonomically particularly advantageous design of the 3D camera is to execute it as an additional component for a conventional camera. This can be done for example by the fact that the 3D camera can be plugged into the hot shoe of the conventional camera - as in 2 shown. The electrical connection between conventional camera and 3D camera transmits the triggering impulse.

Weitere Aufnahmeparameter für die konventionelle Kamera, wie Belichtungsinformationen können ebenfalls mit übertragen werden und die Belichtungseinstellungen der Teilkameras beeinflussen. In umgekehrter Richtung kann die Bildinformation der Teilkameras zum Bildspeicher der konventionellen Kamera übertragen werden. Eine vollständige oder teilweise Übertragung der Information in beide Richtungen über funkbasierte Kommunikation, etwa durch Bluetooth oder WLAN ist eine weitere mögliche Realisierung.Other recording parameters for the conventional camera, such as exposure information, may also be transmitted and affect the exposure settings of the sub-cameras. In the reverse direction, the image information of the sub-cameras can be transferred to the image memory of the conventional camera. A complete or partial transmission of information in both directions via radio-based communication, such as Bluetooth or WLAN is another possible implementation.

Die Verwendung des Blitzschuhs zur Verbindung der 3D-Kamera mit einer konventionellen Kamera hat den Nachteil, dass der Blitzschuh selber nicht mehr für den Anschluss eines Blitzes verwendet werden kann. In einer besonders vorteilhaften Ausführung wird deshalb die 3D-Kamera in ein Blitzgerät derart integriert, dass das Gehäuse des Blitzgerätes die Teilkameras aufnimmt – siehe 3.Using the hot shoe to connect the 3D camera to a conventional camera has the disadvantage that the hot shoe itself can not be used to connect a flash. In a particularly advantageous embodiment, therefore, the 3D camera is integrated into a flash unit such that the housing of the flash unit receives the sub-cameras - see 3 ,

Statt über den Blitzschuh kann die 3D-Kamera natürlich auch über andere Verbindungsmöglichkeiten bei Bedarf mit einer konventionellen Kamera verbunden werden. So ist es möglich, wie in 4 gezeigt, die 3D-Kamera im obersten Teleskopsegment eines herkömmlichen Stativs unterzubringen, so dass der Fotograf die 3D-Funktion nutzen kann, sobald die konventionelle Kamera mit dem Stativ verbunden hat.Of course, instead of using the hot shoe, the 3D camera can also be connected to a conventional camera via other connection options if required. So it is possible, as in 4 shown to accommodate the 3D camera in the top telescope segment of a conventional tripod, so that the photographer can use the 3D function as soon as the conventional camera has connected to the tripod.

Die Verbindung der 3D-Kamera mit einer konventionellen Kamera ermöglicht dem Fotografen, gleichzeitig eine 3D-Version und eine konventionelle Aufnahme anzufertigen und diese bedarfsgerecht einzusetzen. Etwa bei der klassischen Bildpräsentation auf Papier – bei der er die konventionelle Aufnahme verwenden wird – und bei der Präsentation auf einem dynamischen Medium, einem TFT-Bildrahmen oder der Webseite, bei er die 3D-Version verwendet kann. Spezielle Aufnahmebedingungen können dazu führen, dass eine 3D-Kamera – etwa wegen einer hohen geforderten Lichtempfindlichkeit -nicht einsetzbar ist oder – wenn die aufgenommene Szene keine Tiefenstaffelung aufweist – keine Wirkung hat. Auch in diesen Fällen wird der Fotograf auf die konventionelle Aufnahme zurückgreifen.The combination of the 3D camera with a conventional camera allows the photographer to simultaneously make a 3D version and a conventional shot and use it as needed. For example, in the classical image presentation on paper - where he will use the conventional recording - and in the presentation on a dynamic medium, a TFT picture frame or the website, where he can use the 3D version. Special recording conditions may mean that a 3D camera - for example due to a high required photosensitivity - is not usable or - if the recorded scene has no depth graduation - has no effect. Even in these cases, the photographer will resort to conventional recording.

Auch bei Verwendung der konventionellen 2D-Aufnahme haben die Teilbilder der 3D-Kamera noch einen Wert: wenn konventionelle Kamera und die 3D-Teilkameras aufeinander kalibriert sind, lässt sich mittels Stereo-Auswertung der 3D-Teilbilder für den überwiegenden Teil der Bildpunkte der konventionellen Aufnahme die tatsächliche Entfernung berechnen. Das so erhaltene „Tiefenbild” kann als Maske für die weitere Bildbearbeitung der konventionellen Aufnahme, etwa zur Freistellung von Objekten oder Personen oder zur nachträglichen Generierung von abstandsabhängiger Unschärfe verwendet werden.Even when using the conventional 2D image, the sub-images of the 3D camera still have a value: when conventional camera and the 3D sub-cameras are calibrated to each other, can by stereo evaluation of the 3D sub-images for the vast majority of the pixels of conventional recording calculate the actual distance. The "depth image" obtained in this way can be used as a mask for the further image processing of the conventional recording, for example for the release of objects or persons or for the subsequent generation of distance-dependent blurring.

3D-Kameras sind auch in Form eines vom Fotografen aus Teilkameras selber konfigurierbaren Baukastens realisierbar. So wurde bis 2005 unter der Bezeichnung SL300r eine nur 18 mm hohe Digitalkamera der Firma Kyocera vertrieben, bei denen sich die Vorderlinse der Optik an einer Schmalseite befindet. Eine derartige Kamera ist als Teilkameramodul verwendbar, wenn sie mit einer mechanischen Vorrichtung zur vertikalen Verbindung jeweils zweier Teilkameras und einem elektronischen Kommunikationsmittel zur gemeinsamen Einstellung von Aufnahmeparametern und einer gemeinsamen Auslösung und Aufzeichnung versehen wird, um eine erfindungsgemäße 3D-Kamera zu erhalten. Eine mögliche mechanische Verbindung über eine Schwalbenschwanzkonstruktion zeigt 7. Mit mechanisch kompatiblen Zwischenstücken, die zwischen den gestapelten Kameras vom Fotografen eingefügt werden können, ist die Basisbreite variabel einstellbar.3D cameras can also be realized in the form of a building block that can be configured by the photographer himself from subcameras. Thus, until 2005, under the name SL300r, a digital camera of Kyocera, only 18 mm high, was distributed, in which the front lens of the optics is located on a narrow side. Such a camera can be used as a sub-camera module when it is provided with a mechanical device for vertical connection of two sub-cameras and an electronic communication means for common setting of recording parameters and a common triggering and recording to obtain a 3D camera according to the invention. A possible mechanical connection via a dovetail construction shows 7 , With mechanical compatible intermediate pieces that can be inserted between the stacked cameras by the photographer, the base width is variably adjustable.

Eine vorteilhaftere geometrische Anordnung von flachen modularen Teilkameras ergibt sich, sich wenn die Vorderlinse der Optik nicht an einer Schmalseite, sondern möglichst nahe an einer Kante auf einer benachbarten Fläche des Kamerakörpers befindet. Ist die mechanische Stapelvorrichtung so gestalten, dass die Längsverschiebung zwischen den Kameras variable einstellbar wird, ist damit eine variable Basisbreite ohne zusätzliche Zwischenstücke möglich. Es ist vorteilhaft, den Fotografen dabei zu unterstützen, dass bei der Verwendung von drei oder mehr der Teilkamera-Module bei der Verstellung der Basisbreite der Abstand von jeweils zwei benachbarten Modulen gleich ist. Im einfachsten Fall kann dieses durch konkrete Rastpunkte für diskrete Verschiebungen realisiert werden, so dass es dem Fotografen erleichtert wird, die jeweils gleiche diskrete Verschiebung einzustellen. Noch einfacher handhabbar ist eine mechanische Verkopplung z. B. über Zahnräder und Zahnstangen, wie in 8 für eine Teilkamera beispielhaft eingezeichnet. Auch eine durch die jeweiligen Teilkameras synchron vorgenommene Verschiebung über einen elektromechanischen Antrieb stellt dem Fotografen eine besonders bequeme Art der gleichmäßigen Einstellung einer variablen Basisbreite zur Verfügung.A more advantageous geometric arrangement of flat modular sub-cameras results when the front lens of the optics is not located on a narrow side, but as close as possible to an edge on an adjacent surface of the camera body. If the mechanical stacking device is designed so that the longitudinal displacement between the cameras is variable adjustable, so that a variable base width without additional intermediate pieces is possible. It is advantageous to assist the photographer in that when using three or more of the sub-camera modules in the adjustment of the base width of the distance from each two adjacent modules is the same. In the simplest case, this can be realized by concrete detent points for discrete shifts, so that it is easier for the photographer to set the same discrete shift each. Even easier to handle is a mechanical coupling z. B. via gears and racks, as in 8th for example, drawn for a sub-camera. Even a synchronized by the respective sub-cameras shift over an electromechanical drive provides the photographer a particularly convenient way of uniform adjustment of a variable base width available.

Mobiltelefone werden in zunehmendem Maße mit Digitalkameras ausgerüstet. Wenn die entsprechenden Optiken an der Schmalseite platziert werden, lässt sich eine ähnliche modulare Anordnung erreichen. Es ist jedoch ebenfalls möglich, eine erfindungsgemäße 3D-Kamera als Zusatzfunktion eines einzigen Mobilgerätes zu konfigurieren, indem statt der marktüblichen einzelnen Kamera mehrere davon im Gerät integriert werden – siehe 6.Mobile phones are increasingly being equipped with digital cameras. If the corresponding optics are placed on the narrow side, a similar modular arrangement can be achieved. However, it is also possible to configure a 3D camera according to the invention as an additional function of a single mobile device by integrating several of them in the device instead of the customary individual camera - see 6 ,

In den bisher beschriebenen Ausführungsformen sind die Teilkameras jeweils mechanisch unabhängige Einheiten von Optik und Sensor. Es ist jedoch ebenfalls möglich, einzelne Elemente der Kameras mechanisch zu kombinieren. So kann etwa der Verschluss für alle Teilkameras aus einer einzigen mechanischen Einheit bestehen wie bei der analogen Nimslo Kamera der Firma Nimstec aus den 1980er Jahren. Der Verschluss ist beschrieben auf Seite 48 in ISBN 0-939617-00-5: Reel 3-D Enterprises' Guide to the Nimslo 3D Camera, 1988 .In the embodiments described so far, the sub-cameras are each mechanically independent units of optics and sensor. However, it is also possible to mechanically combine individual elements of the cameras. For example, the shutter for all sub-cameras can consist of a single mechanical unit as in the Nimstec analog Nimslo camera from the 1980s. The closure is described on Page 48 in ISBN 0-939617-00-5: Reel 3-D Enterprises' Guide to the Nimslo 3D Camera, 1988 ,

Eine weitere Möglichkeit der mechanischen Kombination besteht aus der Verwendung des gleichen Sensorchips für mehr als eine Teilkamera. In einer möglichen Ausprägung bestehen die Teilkameras z. B. nur noch aus getrennten Optiken, die jeweils unterschiedliche Ausschnitte ein- und desselben großflächigen Bildsensors beleuchten. Auf diese Art und Weise lässt sich die 3D-Kamera über Wechselobjektive, Objektivvorsätze oder austauschbare Frontoptiken für konventionelle Digitalkameras realisieren. Das Wechselobjektiv trägt hier z. B. die Optiken der einzelnen Teilkameras bzw. der Objektivvorsatz entsprechende Spiegel- oder Linsenkonstruktionen. 1 zeigt eine solche Anordnung. Um die Sensorfläche bestmöglich auszunutzen, müssen die Abbilder der Teilobjektive entlang der Längsseite des Sensorchips angeordnet werden. Das bedingt entweder eine Hochformat- bzw. Hochkantkonfiguration des zugrundeliegenden Kameragehäuses oder aber Griffmöglichkeiten, um das Gehäuse bequem im Hochformat halten zu können. Derartige Hochformatgriffe sind als Systemzubehör für Spiegelreflexkameras handelsüblich. In der konventionellen Stereofotografie finden für alle drei aufgezählten Ausführungsformen in den 1980er Jahren für die konventionelle Stereofotografie mit horizontaler Anordnung der Aufnahmen – Einzeloptik, Frontoptik oder Vorsatzprisma z. B. unter den Markennamen Stereotar bzw. Steritar des Herstellers Zeiss Ikon. Für die vorliegende Aufgabe sind sie allerdings in der handelsüblichen Form nicht sinnvoll verwendbar. Vielmehr müssen deren Konstruktionsparameter so abgeändert werden, dass anstelle der üblicherweise vorgesehenen 6–8 cm „Augenabstand” die für den Bereich zwischen 5 m und 10 m optimale Basisbreite von 2,5 cm realisiert wird. Sonderlösungen mit entsprechend verkleinerter Basisbreite existieren zwar bereits unter Varianten der Steritare, sind allerdings ausschließlich für Makroaufnahmen im kurzen Entfernungsbereich im Sinne eines inversen „Puppenstubeneffektes” gedacht und verwendbar.Another possibility of mechanical combination consists of using the same sensor chip for more than one sub-camera. In one possible embodiment, the sub-cameras z. B. only from separate optics, each illuminate different sections one and the same large-scale image sensor. In this way, the 3D camera via interchangeable lenses, lens attachments or replaceable front optics for conventional digital cameras can be realized. The interchangeable lens carries here z. B. the optics of the individual sub-cameras or the Objektivvorsatz corresponding mirror or lens designs. 1 shows such an arrangement. In order to make the best possible use of the sensor area, the images of the partial objectives must be arranged along the longitudinal side of the sensor chip. This requires either a portrait or upright configuration of the underlying camera body or handle options to hold the case comfortably in portrait format. Such portrait grips are commercially available as system accessories for SLR cameras. In conventional stereo photography found for all three enumerated embodiments in the 1980s for conventional stereo photography with a horizontal arrangement of the images - single optics, front optics or attachment prism z. B. under the brand name Stereotar or Steritar the manufacturer Zeiss Ikon. For the present task, however, they are not useful in the commercial form. Rather, their design parameters must be modified so that instead of the usually provided 6-8 cm "eye relief" for the range between 5 m and 10 m optimal base width of 2.5 cm is realized. Although special solutions with correspondingly reduced base width already exist under variants of the Steritare, however, they are intended and usable exclusively for macro shots in the short distance range in the sense of an inverse "dollhouse effect".

Des Weiteren ist es vorteilhaft, eine größere Anzahl als die in der konventionellen Stereofotografie erzeugten zwei Abbilder zu generieren. Wenn die Längsseite des Bildsensors die Summe aus Basisbreite und Schmalseite eines Teilbildes übersteigt, genügt die Integration weiterer Teilobjektive wie in 1 für den Fall von 3 Teilbildern gezeigt. Wenn der Bildsensor kleiner ist, lassen sich die erwähnten Spiegel- oder Prismenoptiken in der Basisbreite verkleinern. Durch ein Auseinanderziehen der zwei dem Objektiv am nächsten liegenden Spiegel oder Prismen lässt sich zusätzlich ein drittes Teilbild erzeugen, indem das Objektiv durch den entstehenden Zwischenraum die vorausliegende Szene ohne Strahlumlenkung zusätzlich abbildet.Furthermore, it is advantageous to generate a larger number than the two images generated in conventional stereo photography. If the longitudinal side of the image sensor exceeds the sum of the base width and the narrow side of a partial image, then the integration of additional partial lenses is sufficient, as in 1 in the case of 3 partial images shown. If the image sensor is smaller, the mentioned mirror or prism optics in the base width can be reduced. By pulling apart the two mirrors or prisms closest to the lens, it is additionally possible to produce a third partial image in that the objective additionally images the preceding scene without beam deflection by means of the resulting intermediate space.

Eine weitere Möglichkeit, optische Elemente für Teilkameras gemeinsam zu nutzen ist die Verwendung mehrerer über einander liegender Aperturblenden, die objektseitig eine gemeinsame und sensorseitig individuelle Optik verwenden. Dieses ist für den Fall dreier Optiken in US 20080204900 beschrieben.Another way to share optical elements for sub-cameras is the use of multiple overlapping aperture, the object side use a common and sensor-side individual optics. This is in the case of three optics in US 20080204900 described.

Eine besonders einfache Lösung der gestellten Aufgabe ergibt sich, wenn in der zu fotografierenden Szene keine Bewegung auftritt oder eine periodische Bewegung von Szenenelementen zusätzlich zur gewollten periodischen Bewegung der Kamerahöhe nicht stört. In einem solchen Fall kann ein übliches Objektiv-Design verwendet werden, bei dem die Eintrittspupille bei voll geöffneter Blende um ca. 1/3 größer ist als die gewünschte Bewegungsamplitude. Ersetzt man jetzt die Blende des Objektivs durch eine in der Höhe verschiebbare Blende höchstens 1/3 der Maximalblende und verschiebt die Blende mit dem gewünschten niederfrequenten weichen, periodischen Bewegungsmuster, so erzeugt das Objektiv in der Bildebene genau die gewünschte zeitliche Bildsequenz, welche vom Sensor aufgenommen und nachfolgend aufgezeichnet werden kann.A particularly simple solution to the problem arises when in the zu no movement occurs in the photographing scene or does not disturb a periodic movement of scene elements in addition to the desired periodic movement of the camera height. In such a case, a conventional lens design can be used, in which the entrance pupil is about 1/3 larger than the desired amplitude of movement with fully open aperture. If one replaces the aperture of the lens by a height-shiftable aperture at most 1/3 of the maximum aperture and shifts the aperture with the desired low-frequency soft, periodic motion pattern, the lens generates in the image plane exactly the desired temporal image sequence, which was recorded by the sensor and can be recorded subsequently.

Eine weitere Lösung der gestellten Aufgabe, bei denen nur ein einzelnes Objektiv für die Erzeugung diskreter in der Augpunkthöhe gestaffelter Einzelbilder ausreicht besteht in der Anwendung des plenoptischen Prinzips wie beschrieben in ”Single Lens Stereo with a Plenoptic Camera”, by Adelson and Wang, IEEE Transactions an Pattern Analysis and Machine Intelligence, vol. 14, No. 2, pp. 99–106, Feb. 1992 . Erforderlich ist wiederum ein Standard-Objektiv, dessen Eintrittspupille bei größter Öffnung die Amplitude der zu erzeugende Vertikalbewegung deutlich übersteigt. Ein Bildsensor, der hochkant in der Abbildungsebene der Optik sitzt mit horizontal auf der Oberfläche angeordnete zylindrischen Lentikularlinsen, von denen jede die aus dem Objektiv eintreffenden Lichtstrahlen auf mindestens n einzelne Zeilen verteilen (wobei n die Anzahl der gewünschten Teilbilder der unterschiedlichen vertikalen Aufnahmepositionen innerhalb der Eingangspupille darstellt).A further solution of the stated problem, in which only a single lens is sufficient for the generation of discrete individual images graduated in the eye-point height, consists in the application of the plenoptic principle as described in US Pat "Single Lens Stereo with a Plenoptic Camera," by Adelson and Wang, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 14, no. 2, pp. 99-106, Feb. 1992 , Required again is a standard lens whose entrance pupil at maximum opening significantly exceeds the amplitude of the vertical movement to be generated. An image sensor, which sits upright in the imaging plane of the optics with cylindrical lenticular lenses arranged horizontally on the surface, each of which distribute the light rays from the objective to at least n individual lines (where n is the number of desired fields of the different vertical exposure positions within the entrance pupil) group).

Zur Erzeugung einer vertikal und horizontal homogenen Bildschärfe ist eine über die erwähnte Veröffentlichung hinausgehende Veränderung des Strahlengangs erforderlich. Die Blendenöffnung muss in horizontaler Richtung die gleiche Unschärfe erzeugen, die auch ein Teilbild in vertikaler Richtung erhält. Dieses kann z. B. dadurch erreicht werden, dass die Standardblende des Objektivs durch eine rechteckige Blende ergänzt oder ersetzt wird, welche in der Höhe die volle Öffnung der Standardblende aufweist und in der Breite dem gegenüber um den Faktor n verkleinert wird. Besonders vorteilhaft für die universelle Verwendung der Kamera ist es, wenn der Fotograf das Linsenraster-Array und die rechteckige Blende bei Bedarf einsetzen oder entfernen kann und so von eine Standardkamera mit großer Blendenöffnung innerhalb kurzer Zeit in eine erfindungsgemäße 3D-Kamera umkonfigurieren kann.To produce a vertically and horizontally homogeneous image sharpness, a change of the beam path that goes beyond the mentioned publication is required. The aperture must produce the same blur in the horizontal direction, which also receives a partial image in the vertical direction. This can be z. B. be achieved in that the standard aperture of the lens is supplemented or replaced by a rectangular aperture, which has in height the full opening of the standard aperture and in the width of the opposite by the factor n is reduced. It is particularly advantageous for the universal use of the camera when the photographer can insert or remove the lenticular array and the rectangular aperture as needed and can thus reconfigure a standard camera with a large aperture in a short time in a 3D camera according to the invention.

Da der Abstand des Linsenraster-Arrays vom Bildsensor nur wenige Mikrometer beträgt, ist ein solcher Austausch allerdings sehr anfällig für Störungen – etwa durch Staub.However, since the distance of the lenticular array from the image sensor is only a few microns, such an exchange is very susceptible to interference - such as dust.

Diese Gefahr kann dadurch vermieden werden, dass entweder die Optik so ausgelegt wird, dass sie eine reelles Bild in einer Zwischenebene erzeugt und der Fotograf das Linsenraster wenige Mikrometer von diesem reellen Bild entfernt anbringen kann oder dadurch, dass die Kamera so ausgelegt wird, dass der gesamte konventionelle Sensor durch einen zweiten Sensor mit aufgebrachtem Linsenraster ersetzt wird. Da auf dem Sensor mit Linsenraster das Bild mehrfach aus nur leicht unterschiedlicher Perspektive erzeugt wird, ist die erzielbare Bildqualität sehr viel unempfindlicher gegenüber Sensorfehlern wie Hotpixel, etc. Es kann also mit dem Linsenraster ein mit mehr Fehlpixeln und deshalb preiswerterer Sensor verbaut werden, als für konventionelle fotografische Zwecke. Es ist weiterhin vorteilhaft, für die Erfassung von Farben auf dem Bildsensor ein anderes als das übliche Bayer-Muster zu verwenden, z. B. vertikale, durchgehende, ein Pixel breite Streifen abwechselnd in den Farben Rot, Grün, Blau bzw. Rot, Grün, Blau, Grün. Eine derartige Anordnung erhöht zu einen die Auflösung in Vertikalrichtung und damit auch die Bestimmbarkeit der für den Eindruck wichtigen Vertikalbewegung. Die Auflösungserhöhung in Vertikalrichtung geht auf Kosten der Horizontalauflösung und führt damit zu einem ausgewogeneren Gesamteindruck, da die Vertikalauflösung durch das Linsenraster, welches das Bild in verschränkte Teilbilder aufteilt, von sich aus bereits gegenüber der Horizontalauflösung reduziert ist.This risk can be avoided by either designing the optics so that they produce a real image in an intermediate plane and the photographer can attach the lenticular a few microns away from this real image, or by designing the camera so that the entire conventional sensor is replaced by a second sensor with applied lenticular. Since on the sensor with lenticular the image is generated several times from only slightly different perspective, the achievable image quality is much less sensitive to sensor errors such as hot pixels, etc. So it can be installed with more false pixels and therefore less expensive sensor with the lenticular, as for conventional photographic purposes. It is also advantageous to use for the detection of colors on the image sensor other than the usual Bayer pattern, z. B. vertical, continuous, one pixel wide stripes alternately in the colors red, green, blue or red, green, blue, green. Such an arrangement increases the resolution in the vertical direction and thus also the determinability of the vertical movement that is important for the impression. The increase in resolution in the vertical direction comes at the expense of horizontal resolution and thus leads to a more balanced overall impression, since the vertical resolution is reduced by the lenticular, which splits the image into interlaced fields, already compared to the horizontal resolution.

Das bisher beschriebene einfache Verfahren zur Erzeugung und Bearbeitung des Bildmaterials beruht darauf, dass durch eine geeignete Anordnung von Teilkameras mit vorgegebenen nicht-äquidistanten Abständen und der direkten Wiedergabe der von diesen Teilkameras aufgenommenen Bilder in einer Sequenz der gewünschte weiche Bewegungsablauf realisiert wird. Für Design, Fertigung und Nutzung einer 3D-Kamera ist es jedoch vorteilhafter, wenn die Vertikalabstände der Teilkameras nicht im Vorhinein auf den weichen sinusförmigen Verlauf der zu generierenden Bildsequenz eingerichtet werden müssen, sondern frei wählbar sind. Zwei weitere Varianten des Verfahrens, welche dieses gewährleisten finden sich in den folgenden Beschreibungen.The simple method described so far for the generation and processing of the image material is based on the fact that the desired smooth motion sequence is realized in a sequence by a suitable arrangement of sub-cameras with predetermined non-equidistant distances and the direct reproduction of the images taken by these sub-cameras. For design, manufacture and use of a 3D camera, however, it is more advantageous if the vertical distances of the sub-cameras need not be set in advance to the soft sinusoidal profile of the image sequence to be generated, but are freely selectable. Two other variants of the method which ensure this can be found in the following descriptions.

Die zweite Variante des Verfahrens besteht darin, die Bildwiederholfrequenz per se sehr viel höher zu wählen als die Präsentationsdauer der Teilbilder. Dieses ermöglicht, dass die Bilder k₀, ..., k_n-1 von n Teilkameras, die in einem frei wählbaren, z. B. äquidistantem vertikalen Abstand d₀, ..., d_n von der Symmetrieebene der vertikalen Sinusbewegung angeordnet sind durch Wiederholungen für eine jeweils unterschiedliche Dauer präsentiert werden können. Eine weiche Sinusbewegung wird jetzt dadurch angenähert, dass für dass an der Stelle i der zu generierenden periodischen Bildfolge b₀, ..., b_i, ..., b_m-1 dasjenige am besten passende Teilbild k eingesetzt wird, d. h. für das |k_j – b(cos(2pi·(j + 0,5)/m))/2| minimal wird. Die Bildwiederholfrequenz wird dabei so gewählt, dass m größer ist als 2·n.The second variant of the method is to select the refresh rate per se much higher than the presentation duration of the fields. This allows the images k ₀ ,..., K _n-1 of n subcameras to be displayed in a freely selectable, e.g. B. equidistant vertical distance d ₀ , ..., d _{n arranged} from the plane of symmetry of the vertical sinusoidal movement can be presented by repetitions for a different duration. A soft sinusoidal motion is now approximated by the fact that for the periodic image sequence b ₀ ,..., B _i ,..., B _m-1 which is to be generated, the one most suitable partial image k is used, ie for | k _j - b (cos (2pi · (j + 0.5) / m)) / 2 | becomes minimal. The refresh rate is chosen so that m is greater than 2 · n.

Die dritte und letzte Variante des Verfahrens besteht darin, dass bei der Wiedergabe der Sequenz nicht nur die direkt durch die Teilkameras aufgenommen Bilder verwendet werden, sondern Zwischenbilder interpoliert werden. Dabei sind die vertikal übereinanderliegenden Kameras in Anzahl und Position wesentlich weniger strikt festgelegt als bei den zwei bisher beschriebenen Varianten. Methoden und Verfahren zur Bildinterpolation sind aus diversen Anwendungen bekannt. Die einfachsten Lösungen finden sich in marktüblichen Fernsehern mit „100 Hz-Technologie” bei denen Zwischenbilder durch Interpolation bestimmt werden. Derartige Bildinterpolationsverfahren beruhen typischerweise darauf, dass in einem ersten Schritt der optische Fluss der Bildfolge berechnet wird, die Zwischenbilder entstehen dadurch, dass die Flussvektoren durch Interpolation und Glättung vervollständigt und proportional verkleinert werden und das jeweilige interpolierte Zwischenbild aus den derart verkleinerten Flussvektoren rekonstruiert wird. Die Objekte im Bild haben in den interpolierten Zwischenbildern dadurch nur eine proportional verkleinerte Strecke zurückgelegt. Diese bekannten Verfahren zur Flussberechnung lassen Objektbewegungen in beliebige Richtungen auf der zweidimensionalen Bildebene zu. Da es sich bei den Bildern der Teilkameras jedoch um vertikal angeordnete Stereo-Bildpaare handelt, ist die mögliche Bewegungsrichtung der Objekte zwischen den Teilbildern auf die jeweiligen Epipolarlinien begrenzt. Es sind deshalb zur Interpolation der Teilbilder statt der beschriebenen zweidimensionalen Berechung des optischen Flusses bekannte Verfahren zur Berechnung von Zwischenansichten aus Stereobildpaaren besser geeignet, wie sie z. B. für den Fall einer horizontale Kameraanordnung aus der Videokonferenz bekannt sind. Da es bei der Aufgabenstellung in der Foto anders als bei Videokonferenzen auf Echtzeitfähigkeit der Berechnung nicht ankommt, kann man bei der Realisierung der Verfahren zusätzlichen Wert auf die Bildqualität legen. So ist es vorteilhaft, wenn die Berechnung der Objektverschiebung im Bild auf Bruchteile von Pixelpositionen(subpixel-)genau erfolgen und die Ergebnisbilder durch dem Fachmann bekannte „Super-Resolution” Verfahren in Bildrauschen und Schärfe optimiert werden. Eine einfache und bekannte Methode, Subpixelgenauigkeit zu erhalten ist, alle Ausgangsbilder durch Interpolation zu vergrößern – etwa um einen linearen Faktor 2 oder 4, auf die vergrößerten Bilder die bekannten pixelgenauen Algorithmen anzuwenden und die zeitlich interpolierten Ergebnisbilder wieder um den gleichen Faktor zu verkleinern.The third and last variant of the method consists in the fact that not only the images taken directly by the sub-cameras are used in the reproduction of the sequence, but intermediate images are interpolated. The vertically superimposed cameras in number and position are much less strictly defined than in the two variants described so far. Methods and methods for image interpolation are known from various applications. The simplest solutions can be found in commercially available televisions with "100 Hz technology" in which intermediate images are determined by interpolation. Such image interpolation methods are typically based on calculating the optical flow of the image sequence in a first step; the intermediate images are formed by completing and proportionally reducing the flow vectors by interpolation and smoothing, and reconstructing the respective interpolated intermediate image from the thus reduced flow vectors. As a result, the objects in the image have traveled only a proportionally reduced distance in the interpolated intermediate images. These known methods for flux calculation allow object movements in arbitrary directions on the two-dimensional image plane. However, since the images of the sub-cameras are vertically arranged stereo image pairs, the possible direction of movement of the objects between the sub-images is limited to the respective epipolar lines. Therefore, instead of the described two-dimensional calculation of the optical flow, known methods for calculating intermediate views from stereo image pairs are better suited for the interpolation of the partial images, as described, for example, in US Pat. B. in the case of a horizontal camera arrangement from the video conference are known. Since, in contrast to video conferencing, the real-time capability of the calculation is not important for the task in the photo, it is possible to place additional value on the image quality when implementing the method. Thus, it is advantageous if the calculation of the object shift in the image to fractions of pixel positions (subpixel-) are accurate and the result images are optimized by the skilled person known "super-resolution" method in image noise and sharpness. A simple and well-known method of obtaining subpixel accuracy is to increase all output images by interpolation - for instance by a linear factor 2 or 4, to apply the known pixel-precise algorithms to the enlarged images and to reduce the temporally interpolated result images again by the same factor.

Eine weitere Maßnahme zur Verbesserung der aus der Interpolation resultierenden Bildqualität gegenüber bekannten Verfahren für Videokonferenzsysteme wird dadurch erreicht, dass statt üblicher Korrelationsverfahren zur Berechnung der Disparitäten und nachfolgender Filter- und Glättungsschritte langsamere, dafür aber präzisere global optimierende Verfahren zur Berechnung wesentlich dichterer rauscharmer Disparitätswerte verwendet werden. Beispiel für ein brauchbares derartiges Verfahren ist z. B. veröffentlicht in Heiko Hirschmüller, Frank Scholten, Gerd Hirzinger: Stereo Vision Based Reconstruction of Huge Urban Areas from an Airborne Pushbroom Camera (HRSC). DAGM-Symposium 2005: 58–66 .Another measure for improving the image quality resulting from the interpolation over known methods for video conferencing systems is achieved by using slower, but more precise, globally optimizing methods for calculating significantly denser low-noise disparity values instead of customary correlation methods for calculating the disparities and subsequent filtering and smoothing steps , An example of such a useful method is e.g. B. published in Heiko Hirschmüller, Frank Scholten, Gerd Hirzinger: Stereo Vision Based Reconstruction of Huge Urban Areas from Airborne Pushbroom Camera (HRSC). DAGM Symposium 2005: 58-66 ,

Eine weitere Maßnahme zur Verbesserung der aus der Interpolation resultierenden Bildqualität gegenüber bekannten Verfahren für Videokonferenzsysteme wird dadurch erreicht, dass statt der Berücksichtigung von zwei Stereobildern drei oder mehr Aufnahmen zur Berechnung der Disparität herangezogen werden, für drei Aufnahmepositionen sind die entsprechenden Verfahren unter der Bezeichnung trinokulares Stereo bekannt.Another measure for improving the image quality resulting from the interpolation over known methods for video conferencing systems is achieved by using three or more recordings for calculating the disparity instead of considering two stereo images. For three recording positions, the corresponding methods are called trinocular stereo known.

Für die Wahl der durch Interpolation zu rekonstruierenden vertikalen Kamerapositionen der Zwischenbilder gilt das gleiche wie für die zuvor beschriebenen nicht-äquidistanten Positionen der realen Teilkameras einschließlich der oben für die Vertikalposition angegebenen Formel. d_n = b(cos(2pi·(n + 0,5)/K))/2 The same applies to the selection of the vertical camera positions of the intermediate images to be reconstructed by interpolation as for the previously described non-equidistant positions of the real sub-cameras, including the formula given above for the vertical position. d _n = b (cos (2pi * (n + 0.5) / K)) / 2

d_n bezeichnet in diesem Fall die rekonstruierte Vertikalposition des n-ten Bildes der periodischen Bildfolge, K die Länge der Periode. Dieses wird wie angegeben durch Interpolation der realen Bilder aus den darüber und darunter liegenden Teilkameras berechnet.d _n in this case denotes the reconstructed vertical position of the n-th image of the periodic image sequence, K the length of the period. This is calculated as indicated by interpolation of the real images from the above and below sub-cameras.

Die Amplitude b wird so gewählt, dass die resultierende Bewegung im Bild 1% der Bildhöhe nicht überschreitet. Die Anzahl der realen Teilkameras beträgt bei dieser Vorgehenswiese mindestens zwei. Der Abstand der äußeren Teilkameras wird dabei so gewählt, dass die vertikale Kameraposition der interpolierten sinusförmige Vertikalbewegung stets über oder auf der Position der untersten und unter oder auf der Position der obersten Teilkamera liegt. Eine Verwendung von mehr als zwei Teilkameras ist vorteilhaft, da dadurch die interpolierten Verschiebungen für die Zwischenbilder kleiner werden und weniger Mehrdeutigkeiten und Artefakte in den Ergebnisbildern auftreten, dieses gilt insbesondere für komplizierte Verdeckungssituationen, bei denen Teile des Hintergrundes nur durch kleine Aussparungen in Vordergrundobjekten sichtbar sind oder wenn sich Reflexe an gekrümmten Oberflächen im Bild befinden.The amplitude b is chosen so that the resulting movement in the image does not exceed 1% of the image height. The number of real sub-cameras in this procedure is at least two. The distance of the outer sub-cameras is chosen so that the vertical camera position of the interpolated sinusoidal vertical movement is always above or at the position of the lowest and lower or on the position of the uppermost sub-camera. Using more than two sub-cameras is advantageous because it reduces the interpolated shifts for the intermediate images and results in less ambiguity and artifacts in the resulting images, especially in complicated occlusion situations where parts of the background are visible only through small recesses in foreground objects or if there are reflections on curved surfaces in the image.

Generell erfordert die korrekte Darstellung der relativen Verschiebung eines Vordergrundes mit Aussparungen der Höhe h vor einem stationären Hintergrund eine Maximalentfernung von h/2 zwischen den Vertikalpositionen der Aufnahmen.Generally requires the correct representation of the relative displacement of a foreground with Recesses of height h before a stationary background a maximum distance of h / 2 between the vertical positions of the images.

Eine besonders flexible Ausführung ergibt sich, wenn geometrisch sehr kleine Kameras, etwa Wafer-Level-Kameras als Teilkameras in kürzestmöglichem Abstand in einer Länge von mehreren Zentimetern übereinander angeordnet werden. Durch Auswahl der für eine Sequenz jeweils passenden Teilkameras und ggf. zusätzlicher Interpolation in der beschriebenen Art und Weise lässt sich so eine der Szene angepasste vertikal oszillierende Bildfolge erzeugen. Bei näherer Betrachtung zeigt sich jedoch, dass die volle Bestückung gar nicht erforderlich ist: eine besonders vorteilhafte Ausführung ergibt sich, wenn die Abstände der Teilkameras von unten nach oben (bzw. umgekehrt) progressiv wachsen, so dass z. B. an den Positionen 0 cm, 1,5 cmm 3 cm, 9 cm, 16 cm. Teilkameras montiert sind. Mit nur fünf Teilkameras lässt sich so nachträglich ein Bereich der Basisbreite von 0 cm bis 16 cm stufenlos realisieren und der 3D-Effekt an die aufgenommene Szene anpassen. Eine variable Abstandseinstellung zwischen den Teilkameras für den Fotografen, wie zuvor beschrieben, wird dadurch überflüssig.A particularly flexible design results when geometrically very small cameras, such as wafer-level cameras as sub-cameras in the shortest possible distance in a length of several centimeters are arranged one above the other. By selecting the respectively appropriate for a sequence sub-cameras and possibly additional interpolation in the manner described can thus create a scene adapted vertical oscillating image sequence. On closer examination, however, shows that the full assembly is not required: a particularly advantageous embodiment is obtained when the distances of the sub-cameras from bottom to top (or vice versa) grow progressively, so that z. B. at the positions 0 cm, 1.5 cmm 3 cm, 9 cm, 16 cm. Subcameras are mounted. With only five sub-cameras, an area of the base width of 0 cm to 16 cm can be subsequently infinitely realized and the 3D effect can be adapted to the recorded scene. A variable distance adjustment between the sub-cameras for the photographer, as described above, is thereby unnecessary.

Es ist naheliegend, bei den hier beschriebenen 3D-Kameras übliche Farbsensoren zu verwenden, jedoch ist die Verwendung von Farbfiltern im Vergleich mit reinen Schwarz/Weiß Sensoren mit einem erheblichen Verlust an Empfindlichkeit verbunden.It is obvious to use conventional color sensors in the 3D cameras described here, but the use of color filters is associated with a significant loss of sensitivity compared to pure black / white sensors.

Insbesondere bei der Verwendung extrem miniaturisierter Wafer-Level-Kameras führt dieser Verlust zu einem merklichen Bildrauschen und Verlust an Dynamik. Es ist deshalb vorteilhaft, bei Teilkameras mit Miniaturoptiken die Farbfilter nicht als Mosaik auf den einzelnen Sensoren vorzusehen, sondern die Anzahl der Wafer-Level-Kameras zu vervielfachen und durch Verwendung z. B. von Vorsatzfiltern auf bestimmte Farben bzw. Dynamikbereiche zu spezialisieren. 5 zeigt eine Anordnung, bei der jeweils Gruppen von vier derartigrn Einzelkameras mit unterschiedlicher Farbempfindlichkeit (z. B. gesamtes Spektrum (106), rot (105), blau (108), grün (107) direkt nebeneinander angeordnet sind und vier derartige Gruppen sich vertikal übereinander befinden. Die fünf Einzelkamera-Gruppen generieren hier jeweils ein Farbbild, die vier Gruppen also Farbbilder von fünf vertikal übereinanderliegenden Aufnahmepositionen, die in der Weiterverarbeitung so behandelt werden, wie zuvor für die Aufnahmen kompletter Teilkameras mit einer einzigen farbtauglichen Optik beschrieben.In particular, when using extremely miniaturized wafer-level cameras, this loss leads to a noticeable image noise and loss of dynamics. It is therefore advantageous in partial cameras with miniature optics not to provide the color filter as a mosaic on the individual sensors, but to multiply the number of wafer-level cameras and z. B. of header filters to specialize colors or dynamic ranges. 5 shows an arrangement in which groups of four such individual cameras with different color sensitivity (eg entire spectrum ( 106 ), red ( 105 ), blue ( 108 ), green ( 107 ) are arranged directly next to each other and four such groups are vertically stacked. Here, the five individual camera groups each generate a color image, the four groups thus color images of five vertically superimposed recording positions, which are treated in the processing as previously described for the recording of complete sub-cameras with a single color-suitable optics.

Die extreme Miniaturisierung der Aufnahmeelemente als Wafer-Level-Kameras erlaubt hier sogar eine noch größere Flexibilität für den Fotografen dadurch, dass die gesamte Anordnung von fünf übereinanderliegenden Teilkameras je vier Einzelkameras mit einer z. B. um den Faktor 2 vergrößerten Brennweite ein zweites Mal verbaut wird. Der Fotograf kann noch nach der Aufnahme auswählen, welche Brennweite er für die Aufnahme verwenden möchte. Statt der zuvor beschriebenen Zusammenfassung von je vier Kameras zu einer farbtauglichen Teilkamera sind natürlich auch andere Formen der Aufbereitung der Einzelkamera-Signale möglich, z. B. können auch zunächst die Bildsignale der Einzelkameras mit jeweils gleicher spektraler Empfindlichkeit so wie zuvor beschrieben kombiniert und das Farbbild aus den Ergebnissen dieses Berechnungsschrittes zusammengefasst werden.The extreme miniaturization of the recording elements as wafer-level cameras even allows even greater flexibility for the photographer in that the entire arrangement of five superimposed sub-cameras each four individual cameras with a z. B. a factor of 2 enlarged focal length is installed a second time. The photographer can still choose the focal length he wants to use after shooting. Of course, other forms of processing the single camera signals are possible instead of the previously described summary of four cameras each color camera to a color camera, z. For example, the image signals of the individual cameras, each with the same spectral sensitivity, can also be combined as described above and the color image can be combined from the results of this calculation step.

Das erfindungsgemäße 3D Aufnahme- und Wiedergabeverfahren bewirkt nur deshalb einen räumlichen Eindruck beim Betrachter, weil die menschliche Wahrnehmung in der Lage ist, auch kleinste vertikale Bewegungen der dargestellten Bildfolge zu differenzieren und als Objektabstand zu interpretieren.The inventive 3D recording and reproducing method only causes a spatial impression in the viewer because the human perception is able to differentiate even the smallest vertical movements of the displayed image sequence and to interpret as an object distance.

Insbesondere bei einer erfindungsgemäßen Wahl einer besonders kleinen Frequenz der Vertikalbewegung von unter 2 Hz für eine optimale Bildwirkung wird eine unerwünschte negative Auswirkung dieser extremen Wahrnehmungsempfindlichkeit besonders deutlich: noch viel ausgeprägter als bei der klassischen Stereowiedergabe führen auch kleinste Unterschiede der optischen Eigenschaften der bei der Aufnahme verwendeten Optiken und Sensoren unkorrigiert zu irritierenden Bewegungs-, Flacker- und Wackeleffekten. Um derartige Irritationen zu vermeiden müssen die Bilder der Teilkameras bis auf die gewollte Vertikalverschiebung sehr ähnlich sein bzw. durch Nachverarbeitung, einander angeglichen werden. Die geforderte Ähnlichkeit in Helligkeit und Farbwiedergabe und Aufnahmezeitpunkt wird am vorteilhaftesten durch die Verwendung identischer Sensoren, Optiken, Blendenöffnung, Brennweite und Fokussierung und der gleichzeitigen Auslösung aller Teilkameras mit identischer Belichtungszeit erreicht. Ungewünschte Bewegungseindrücke im Bild, die in der Regel auf fertigungsbedingt unvermeidliche leicht unterschiedliche Brennweiten und Verzerrungen der Optiken zurückzuführen sind, können dadurch behoben werden, dass die Verzerrungen durch eine geometrische Nachverarbeitung der Bilder kompensiert werden. Sowohl zur Bestimmung der geometrischen Verzeichnungsparameter der Teilkameras als auch zur nachträglichen Entzerrung der mit der 3D-Kamera vorgenommenen Bildaufnahmen unter Verwendung eben dieser zuvor bestimmten Verzeichnungsparameter kann der Fachmann z. B. gängige Software-Programme zum sogenannten „Stitchen” von Panorama-Aufnahmen verwenden, z. B. die von Helmut Dersch, FH Furtwangen, im Internet publizierten und vielfach verwendeten Panorama-Tools in Verbindung mit einem Frontend wie z. B. PTGUI der „New House Internet Services BV”. Im Gegensatz zum vorgesehenen Anwendungszweck derartiger Programme, dem Zusammenfügen von in unterschiedlichen Raumrichtungen aufgenommener Einzelaufnahmen wird hier die geometrische und ggf. Farb- und Helligkeitskorrektur von Einzelaufnahmen in identischer Aufnahmerichtung bewerkstelligt. Die Bestimmung der Verzeichnungsparameter erfolgt allerdings nach wie vor auf bekannte Art und Weise über Aufnahmen – bevorzugt von weit entfernten Objekten in unterschiedliche Raumrichtungen. Der Fachmann wird mit der 3D-Kamera Aufnahmen einer bildfüllend kontrastreichen, in einem Abstand von mehr als 50 m entfernten Szene in unterschiedliche Richtungen, etwa von Aussichtsturm herab, anfertigen. Einzelne Aufnahmen variieren hierbei idealerweise um +/–25% der Bildbreite und -höhe gegenüber einer zentralen Aufnahmerichtung. Schließlich wird er sämtliche Aufnahmen sämtlicher Teilkameras in die Panoramasoftware einlesen und korrespondierende Bildpunkte automatisch bestimmen lassen und ggf. manuell nachkorrigieren. Daraufhin wird der Fachmann schrittweise nacheinander die Verzeichnungsparameter jeder einzelnen Teilkamera für die in der Software realisierte Bündelausgleichsrechnung freigeben und so berechnen lassen. Erfindungsgemäß werden mit dieser oder einer anderen Methode bestimmte Verzeichnungsparameter aller Teilkameras in einem Datenspeicher abgelegt. Die Verzeichnungsparameter bestehen aus den so genannten „internen Kameraparametern”, welche die optischen und geometrischen Eigenschaften jeder einzelnen Teilkamera beschreiben und den „externen Kameraparametern”, welche die Lage der Kameras im Raum wiedergeben. Der Inhalt des Datenspeichers wird später bei der Aufbereitung aufgenommener Bilder zur 3D-Sequenz abgerufen und bei deren Entzerrung und Farbangleichung auf die gleiche Art einberechnet, wie in der oben erwähnten handelsüblichen Panoramasoftware bei der Generierung der entzerrten und korrigierten Teilbilder vornimmt.In particular, with a choice according to the invention of a particularly small frequency of vertical movement of less than 2 Hz for optimum image effect, an undesirable negative effect of this extreme perception sensitivity becomes particularly clear: much more pronounced than in the case of classical stereo reproduction, even the smallest differences in the optical properties of the recording used Optics and sensors uncorrected to irritating movement, flicker and wobble effects. In order to avoid such irritations, the images of the sub-cameras have to be very similar except for the desired vertical displacement or, by post-processing, they must be aligned with each other. The required similarity in brightness and color reproduction and recording time is achieved most advantageously by the use of identical sensors, optics, aperture, focal length and focus and the simultaneous triggering of all sub-cameras with identical exposure time. Unwanted movement impressions in the image, which are usually due to production-related unavoidable slightly different focal lengths and distortions of the optics, can be remedied by compensating the distortions by a geometric post-processing of the images. Both for determining the geometric distortion parameters of the sub-cameras as well as for subsequent equalization of the image taken with the 3D camera using just these previously determined distortion parameters, the expert can, for. B. common software programs for so-called "Stitchen" use of panoramic shots, z. For example, the panorama tools published by Helmut Dersch, Furtwangen University of Applied Sciences on the Internet and widely used in Connection with a frontend such. PTGUI of "New House Internet Services BV". In contrast to the intended application of such programs, the joining of recorded in different spatial directions single shots here the geometric and possibly color and brightness correction of individual shots in identical recording direction accomplished. However, the determination of the distortion parameters is still carried out in a known manner via images - preferably from distant objects in different spatial directions. The person skilled in the art will use the 3D camera to take pictures of a scene which is full of contrast at a distance of more than 50 m in different directions, for example from the lookout tower. In this case, individual images ideally vary by +/- 25% of the image width and height compared to a central recording direction. Finally, he will read in all the images of all sub-cameras in the panorama software and have corresponding pixels automatically determined and possibly nachkorrigieren manually. Subsequently, the expert will gradually release the distortion parameters of each individual sub-camera for the bundle-compensation calculation realized in the software and can thus be calculated. According to the invention, certain distortion parameters of all sub-cameras are stored in a data memory with this or another method. The distortion parameters consist of the so-called "internal camera parameters", which describe the optical and geometric properties of each individual sub-camera and the "external camera parameters", which reflect the position of the cameras in the room. The contents of the data memory is retrieved later in the processing of recorded images for 3D sequence and in their equalization and color matching calculated in the same way, as in the above-mentioned commercial panorama software in the generation of the rectified and corrected sub-images makes.

Gemäß der vorstehenden Beschreibung umfasst das Verfahren zur Aufbereitung von räumlich wirkenden 3D-Sequenzen, die

– das Einlesen von Einzelbildern, welche von vertikal übereinanderliegenden Positionen aufgenommen wurden
– Entzerrung und ggf. Farbangleichung der Einzelaufnahmen.
– Der Erzeugung einer Bildfolge aus allen oder einer Teilmenge der Einzelaufnahmen ggf. unter Hinzufügung von interpolierten Zwischenbildern.
– Der Abspeicherung auf einem Datenträger als animierte Bildfolge bzw. als periodischer Film.

As described above, the method comprises processing spatial 3D sequences that

- The reading of individual images, which were taken from vertically superimposed positions
- Equalization and, if necessary, color matching of the individual images.
The generation of an image sequence from all or a subset of the individual images, if necessary with the addition of interpolated intermediate images.
- The storage on a disk as an animated sequence or as a periodic film.

Es ist möglich die Schritte des beschriebenen Verfahrens nacheinander auf unterschiedlichen Geräten zur Bildbearbeitung ablaufen zu lassen, so etwa die Aufnahme durch eine 3D-Kamera vornehmen zu lassen und die Bilddaten und Kalibrierparameter daraufhin an ein zweites Gerät zur Weiterverarbeitung zu übertragen.It is possible to run the steps of the method described successively on different devices for image processing, such as make the recording by a 3D camera and then transfer the image data and calibration parameters to a second device for further processing.

Besonders vorteilhaft ist jedoch das Verfahren in Gänze auf der 3D-Kamera ablaufen zu lassen, so dass der Fotograf dann nur noch die periodische Bildsequenz als Endprodukt aus der Kamera übertragen muss. Des Weiteren hat er die Möglichkeit, auf dem Monitor der Kamera oder einem in diese integrierten Projektor bereits die Wirkung der vollständig bearbeiteten Sequenz beurteilen zu können.However, it is particularly advantageous for the method to run completely on the 3D camera, so that the photographer then only has to transfer the periodic image sequence as end product out of the camera. He also has the ability to judge on the monitor of the camera or a built-in this projector already the effect of the fully edited sequence.

Eine weitere vorteilhafte Methode, die dritte beschriebene Variante des Verfahrens zu implementieren besteht darin, die beschriebene Interpolation von Zwischenbildern erst auf dem Wiedergabegerät durchzuführen. Das Wiedergabegerät erhält in diesem Fall nur die geometrisch und ggf. bezüglich Farbe und Intensität korrigierten Aufnahmen der Teilkameras und ggf. die bereits berechneten Disparitäten und führt die Berechnung der Zwischenbilder selbständig durch. Der Vorteil einer solchen Lösung besteht darin, dass wesentliche Parameter der Wiedergabe wie Frequenz und Amplitude der Vertikalbewegung erst zum Zeitpunkt und am Ort der Wiedergabe eingestellt werden müssen und somit an die örtlichen Gegebenheiten angepasst werden können. So werden z. B. Frequenz und Amplitude der simulierten Bewegung bei einer Wiedergabe auf einem kleinen Bildausschnitt des Internet-Auftritts einer Tageszeitung aggressiver gewählt werden können als bei der Präsentation einer Aufnahme auf einem großen Monitor in einer Fotografie-Ausstellung. Auch ist es bei der Berechnung der Zwischenbilder vor Ort einfacher, auf mehreren im gleichen Raum befindlichen Monitoren das gleiche Bewegungsmuster darzustellen, um so eine insgesamt beruhigendere Atmosphäre zu erzeugen als wenn alle Monitore die simulierte Vertikalbewegung unkoordiniert wiedergäben. Die Echtzeitberechnung von interpolierten Zwischenbildern aus Stereoaufnahmen mit horizontaler Stereobasis wird u. a. beschrieben in Francesco Isgrò, Emanuele Trucco, Li-Qun Xu, ”Towards Teleconferencing by View Synthesis and Large-Baseline Stereo,” ICIAP, 5.0198, (ICIAP'01), 2001 . Neuere Arbeiten befassen sich mit der Implementierung derartiger Verfahren auf mobilen Endgeräten, so dass man bei der Realisierung entsprechender Wiedergabegeräte bei der Auswahl des Interpolationsverfahrens auf den Stand der Technik zurückgreifen kann.A further advantageous method of implementing the third variant of the method described is to perform the described interpolation of intermediate images only on the playback device. In this case, the playback device receives only the geometrically and optionally color and intensity corrected images of the subcameras and possibly the already calculated disparities and carries out the calculation of the intermediate images independently. The advantage of such a solution is that essential parameters of the reproduction such as frequency and amplitude of the vertical movement need only be set at the time and place of the playback and thus can be adapted to the local conditions. So z. B. frequency and amplitude of the simulated motion when playing on a small image section of the Internet appearance of a daily newspaper can be chosen more aggressively than in the presentation of a recording on a large monitor in a photography exhibition. Also, when calculating the intermediate images on-site, it is easier to represent the same motion pattern on multiple monitors in the same space, thus creating an overall more calming atmosphere than when all the monitors uncoordinated the simulated vertical motion. The real-time calculation of interpolated intermediate images from stereo recordings with horizontal stereo base is described in: Francesco Isgrò, Emanuele Trucco, Li-Qun Xu, "Towards Teleconferencing by View Synthesis and Large Baseline Stereo," ICIAP, 5.0198, (ICIAP'01), 2001 , Recent work deals with the implementation of such methods on mobile terminals, so that one can resort to the realization of corresponding playback devices in the selection of the interpolation method on the state of the art.

Der gleiche Vorteil einer zum Wiedergabezeitpunkt einstellbaren Frequenz und Amplitude der Vertikalbewegung lässt sich dadurch erreichen, dass interpolierte Zwischenbilder für eine große Anzahl von vertikal fein abgestuften Positionen ggf. in einem anderen Gerät vorausberechnet und in einem Datenspeicher vorgehalten werden. Aus diesen vorgehaltenen Zwischenbildern ruft das Darstellungsgerät dann eine zu den Parametern Frequenz und Amplitude passende Sequenz von Zwischenbildern aus dem Speicher ab.The same advantage of a frequency and amplitude of the vertical movement which can be set at the time of reproduction can be achieved by interpolating intermediate images for a large number of vertically finely graduated positions, possibly pre-calculated in another device and stored in a data memory. From these held intermediary images, the display device then retrieves a sequence of intermediate images matching the parameters of frequency and amplitude from the memory.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 4429328 [0002, 0006]
US 20080204900 [0044]

Zitierte Nicht-PatentliteraturCited non-patent literature

T. Barham et al, some variations on VISIDEP using computer graphics, Optical Engineering 29 (12), 1990 [0003]
Page 48 in ISBN 0-939617-00-5: Reel 3-D Enterprises' Guide to the Nimslo 3D Camera, 1988 [0041]
"Single Lens Stereo with a Plenoptic Camera," by Adelson and Wang, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 14, no. 2, pp. 99-106, Feb. 1992 [0046]
Heiko Hirschmüller, Frank Scholten, Gerd Hirzinger: Stereo Vision Based Reconstruction of Huge Urban Areas from Airborne Pushbroom Camera (HRSC). DAGM Symposium 2005: 58-66 [0053]
Francesco Isgrò, Emanuele Trucco, Li-Qun Xu, "Towards Teleconferencing by View Synthesis and Large Baseline Stereo," ICIAP, 5.0198, (ICIAP'01), 2001 [0068]

Claims

Digital camera for photographing with handles on the right or left side of the housing and a triggering device characterized in that the actuation of the triggering device causes the synchronous image recording of two or more vertically superimposed recording positions.

Digital camera for photographic recording with a triggering device characterized in that the actuation of the triggering device causes the synchronous image recording of three or more vertically superimposed positions.

Camera according to one of the preceding claims, characterized in that the parameters chosen for the individual vertically superposed recordings - such as aperture, exposure time, focal length are set identically.

Camera according to one of the preceding claims with an electronic data storage characterized in that the data storage contains calibration parameters, consisting of a subset of inner and outer calibration parameters of the optics (s) for the vertically superimposed image recordings.

A camera according to one or more of the preceding claims, characterized in that the vertically superposed image recordings are taken by sub-cameras, each of which contains a separate optics and an image sensor.

Camera according to one or more of the preceding claims, characterized in that the vertically superimposed image recordings are each imaged by a separate optical system on a common image sensor.

Camera according to claim 6, characterized in that the scene of the sub-cameras is imaged on different, contiguous areas of the image sensor.

Camera according to one or more of claims 1-5, characterized in that the vertically superimposed image recordings are taken by a common optics.

Plenoptische camera according to claim 8, characterized in that the camera has a horizontally arranged lenticular or similar acting optical elements in front of the image sensor or an imaging plane and that the aperture of the optics in the horizontal direction is limited so that it is approximately the lenticular corresponds per frame effective aperture in the vertical direction.

Plenoptic camera according to claim 9, characterized in that the lens grid and / or the aperture limiter can be removed by the user and the camera can be operated as a conventional camera.

Camera according to claim 8, characterized in that the camera has a plurality of individual vertically superimposed fixed or a vertically displaceable aperture diaphragm.

Camera according to one or more of the preceding claims, characterized in that the vertical distance between the image pickup positions is variably adjustable.

Camera according to one or more of the preceding claims, characterized in that it consists of several independent sub-camera modules each optics and image sensor, which are mechanically and electronically connected to each other so that each set the same recording parameters and the recordings are triggered at the same time ,

Camera according to one or more of the preceding claims, characterized in that the sub-cameras are designed as modules that can be combined without the use of tools in number and possibly geometric arrangement.

Camera according to one or more of the preceding claims, characterized in that a group of vertically superimposed partial cameras is designed as a module, which can be mechanically and possibly electrically connected to a conventional camera.

Camera according to one or more of the preceding claims, characterized in that the optics (s) are designed as a unit which can be mounted instead of an interchangeable lens.

Camera according to one or more of the preceding claims, characterized in that the optics (s) are designed as a unit which can be mounted as a lens attachment.

Camera according to one or more of the preceding claims, characterized in that it is designed as part of a mobile device.

Camera with display according to one or more of the preceding claims, characterized in that after a recording, the image sequence of a simulated vertical movement calculated and the photographer is shown on the display or by projection.

A method for processing vertically superimposed single photographic recordings characterized in that from the individual recordings by post-processing an image sequence for playback on a playback device is generated, which corresponds to a soft, periodic vertical movement of the viewer.

Method according to the preceding claim, characterized in that the movement frequency of the simulated periodic eye movement in the representation on the display device does not exceed 2 Hz.

A method according to claim 15, characterized in that the periodic image sequence consists of at least ten individual images.

A reproduction apparatus for displaying image sequences with a vertically moved recording position characterized in that the amplitude and / or the frequency of the simulated vertical movement can be set on the reproduction apparatus.