EP1941745A1 - Method and device for the stereoscopic recording of objects for a three-dimensional visualization - Google Patents

Method and device for the stereoscopic recording of objects for a three-dimensional visualization

Info

Publication number
EP1941745A1
EP1941745A1 EP05760830A EP05760830A EP1941745A1 EP 1941745 A1 EP1941745 A1 EP 1941745A1 EP 05760830 A EP05760830 A EP 05760830A EP 05760830 A EP05760830 A EP 05760830A EP 1941745 A1 EP1941745 A1 EP 1941745A1
Authority
EP
European Patent Office
Prior art keywords
cameras
image
camera
distance
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP05760830A
Other languages
German (de)
French (fr)
Inventor
Rolf-Dieter Naske
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RAUCHDOBLER, EDUARD
Original Assignee
Expert Treuhand GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Expert Treuhand GmbH filed Critical Expert Treuhand GmbH
Publication of EP1941745A1 publication Critical patent/EP1941745A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Definitions

  • the invention relates to a method and a device for the stereoscopic recording of objects for a three-dimensional visualization, in particular with an autostereoscopic monitor.
  • autostereoscopic monitors In the area of three-dimensional visualization of spatial images, autostereoscopic monitors have been increasingly developed in recent years. These monitors have the advantage that no additional vision aids such as polarization glasses or the like are required to obtain a spatial image impression. Furthermore, it is possible to simultaneously display a number of lateral perspectives with such monitors in such a way that even such viewers can see a three-dimensional image whose viewing direction is not perpendicular but obliquely directed to the display surface of the monitor.
  • a general object on which the invention is based is to provide a method and a device with which the object (s) in three perspectives with a comparatively small apparatus and circuit complexity with high stereoscopic reproduction quality three-dimensional can be included. This object is achieved by a method according to claim 1 and / or according to claim 2 and a device according to claim 8.
  • a method and a device of the aforementioned type is to be created, with which objects with a high stereoscopic reproduction quality can also be recorded in a plurality of lateral perspectives in order to visualize them, in particular on an autostereoscopic monitor in such a way that Such viewers, whose directions are not perpendicular, but obliquely directed to the monitor surface, can see a spatial image.
  • FIG. 1 is a schematic representation of the imaging geometries in the case of two perspectives in plan view
  • FIG. 2 is a schematic representation of the viewing directions of a plurality of cameras for reproducing a plurality of perspectives
  • FIG. 1 is a schematic representation of the imaging geometries in the case of two perspectives in plan view
  • FIG. 2 is a schematic representation of the viewing directions of a plurality of cameras for reproducing a plurality of perspectives
  • FIG. 1 is a schematic representation of the imaging geometries in the case of two perspectives in plan view
  • FIG. 2 is a schematic representation of the viewing directions of a plurality of cameras for reproducing a plurality of perspectives
  • FIG. 1 is a schematic representation of the imaging geometries in the case of two perspectives in plan view
  • FIG. 2 is a schematic representation of the viewing directions of a plurality of cameras for reproducing a plurality of perspectives
  • Fig. 3 is a schematic illustration of the positioning of cameras for reproducing a plurality of perspectives
  • FIG. 4 is a block diagram of a first embodiment of the device according to the invention.
  • 5 shows a flow chart of a first embodiment of the method according to the invention
  • 6 is a block diagram of a second embodiment of the device according to the invention
  • FIG. 7 shows a flow chart of a second embodiment of the method according to the invention.
  • 8 is a block diagram of a third embodiment of the device according to the invention.
  • FIG. 9 is a flowchart of a third embodiment of the method according to the invention.
  • FIG. 1 (A) shows in plan view two cameras K1 and K2 which are mounted on a common stereo base E and aligned with an object point F.
  • the vertical distance s between the object point F and the stereo base E is also referred to as parallax.
  • the point of intersection of the camera viewing directions, which corresponds to the focused object point F lies on the central axis M between the cameras, so that they have the same distance from the object point F and in each case have an angle ⁇ which is the same in magnitude the parallel viewing direction are pivoted inward.
  • this is realized, for example, in such a way that the cameras are pivotally mounted on a common base or platform.
  • the dummy window is the area of the real object plane surrounding the object point F in a vertical plane (dummy window plane SF), which is to be imaged onto the display surface of a monitor Mo according to FIG. 1 (B) (also in plan view), from a viewer with the left one and the right eye Al, A2.
  • the apparent window spacing represents essentially the distance of the dummy window plane, in which the viewing directions of the cameras Kl and K2 meet in object point F (fixed point).
  • the spatial image impression then extends into a region B in front of and behind the targeted object point F.
  • all the cameras according to FIG. 3 should have the same distance from the targeted object point F1 or F2, so that they must be positioned on a circle with the relevant object point as the center point. This means that for each target object point, the cameras not only have to be rotated at different angles, but must also be displaced to different degrees in the direction of the object point F1 or F2 (for example in the positions z1 and z2, respectively).
  • a viewer can then see a lateral three-dimensional perspective of the object taken for example with the cameras Kl and K2 on an autostereoscopic monitor when the image signals of the cameras Kl and K2 in a corresponding oblique viewing direction on the monitor through this being represented.
  • the effort associated with such image acquisition is to be significantly reduced.
  • the invention is also advantageous in the above case in which only two cameras are used and only two perspectives of an object point are to be recorded.
  • At least two cameras of the known type having the largest possible viewing angle, (in particular substantially 180 °), are used instead of cameras with a conventional viewing angle of, for example, approximately 20 ° to 30 ° Panoramic cameras, used.
  • the orientation of these cameras, d. H. the focusing of an object and thus the control of the dummy window, is not done by panning the cameras, but each by selecting a particular field or image area in which the targeted object point F is located from the recorded overall image, the selection is preferably such that the object point F lies in the center of this partial image or image region.
  • the size of the selected partial image or image region initially corresponds, for example, essentially to the angle of view of a camera of conventional type (that is to say, for example, between approximately 20 ° and approximately 30 °) or, as will be explained below, is determined.
  • the positioning of the panoramic cameras at the same distance from the targeted object point is carried out by electronic processing of the recorded images substantially in such a way that the display size of the partial images or image areas is changed accordingly.
  • Almost any panoramic camera can be used, such as those with fish-eye lenses, multiple lenses or faceted lenses.
  • the first embodiment of the device according to the invention comprises a number n of panoramic cameras K1,... Kn, which are arranged parallel to one another on a common carrier E, which represents the stereo base, and consecutively numbered from left to right.
  • a common carrier E which represents the stereo base
  • the image output signals of the panoramic cameras K1,... Kn are electronically processed with a pseudo-window control unit 5 in the above-mentioned manner, so that they can be visualized with a visualization system 10, which in particular drives an autostereoscopic monitor 11
  • the signal processing is preferably carried out digitally with one or more appropriately programmed data processing devices.
  • each panoramic camera K 1,... Kn preferably has an analog / digital converter, so that the recorded images (overall images) of each camera can be stored in digital form in each case in a first image memory 2.
  • the outputs of these first image memories 2 are preferably connected to the inputs of a calibration device 3 with which the images of the various cameras are calibrated depending on the type and quality of the cameras and their mounting, in particular with regard to one or more of the following parameters or also other parameters: Brightness, color spectrum, horizontal and vertical alignment, tilt, tilt, and parallelism and stereo-based alignment.
  • the digitized and calibrated overall image taken by each panoramic camera K1,... Kn is then stored in a respective second image memory 4.
  • the overall images each have a resolution of about 2000 lines, each with about 10,000 pixels.
  • the dummy window control unit 5 reads from the system memory 6, the distance d between each two adjacent panoramic cameras. These distances can be constant and all the same or different, or they can be adjusted individually and, if necessary, independently of one another, for example, if the cameras are mounted correspondingly displaceably. In this case, the setting and reading of the set distances would preferably be done with or from the control unit 7.
  • an operator selects an object to be recorded by adjusting its distance s (i.e., the distance s of the dummy window surrounding the object point F). This distance is also transmitted to the dummy window control unit 5.
  • the alignment of the cameras K 1, ... Kn on the selected object point F and their positioning on a common circle radius to the selected object point F is carried out by appropriate processing of the images taken by the panoramic camera images through the dummy window control unit. 5
  • the images recorded by the panoramic cameras Kl,... Kn are first preferably digitized, calibrated in a step "Kn kal" and stored in the second image memory 4. in order to provide it to the bill window control unit 5 for preferably serial processing.
  • the pseudo-window control unit 5 first aligns the individual panorama cameras with the same pseudo-window spacing s (or object point F) by selecting a corresponding partial image (image area) from the overall image recorded by each panoramic camera. Subsequently, the panoramic cameras are thereby positioned at an equal distance from the targeted object point F, that the selected image areas or partial images are each changed in their display size.
  • the distance to be set which is the same for all cameras, is preferably the smallest distance that one or two cameras have from the object point F, so that the partial images of the other cameras are each enlarged by different zooming.
  • the angle at which it is to be directed to the selected by the setting of the apparent window spacing s with the control unit 7 object point F is first calculated.
  • a first step Sl After reading in the number n of cameras and the apparent window distance s from the control unit 7 and the distance d between the cameras from the system memory 6 (or possibly also as explained above from the control unit 7) in a first step Sl is in a second step S2 selects an image of a camera by increasing a running index i or j, and in a third step S3 calculates the angle for this camera as follows.
  • a fourth step S4 for the calculated angle with which a camera is to be aligned, the image area (partial image) of the overall image corresponding to this angle is determined in the form of a pixel window of the relevant panoramic camera.
  • a camera is generally intended to generate a signal which is compatible with one of the current industry standards, such as the PAL, NTSC or HDTV standard.
  • This target resolution to be generated for the pixel windows also reads out the dummy window control unit 5 from the system memory 6 in the first step S1, for example.
  • a target resolution of 720 x 576 pixels is to be generated, for example, three pixels and thus a total of 2160 x 1728 pixels of the panorama image can be combined to form a PAL image.
  • the PAL image or pixel window could be shifted to the right or left by each 3920 pixel steps and thus swiveled.
  • the viewing angle calculated in the third step S3 for a panoramic camera is now in the fourth step S4 in the number of pixel steps ⁇ ; to convert a pixel window from the central or central location in the overall image of the panoramic camera must be moved to the left or right to be aligned according to the calculated viewing angle.
  • the camera image angle of 180 ° is first divided in the dummy window control unit 5 by the number of horizontally available pixels of the panorama image.
  • an angle ⁇ of 0.018 degrees results per panoramic pixel.
  • a pixel step (pixel shift) to the right or left thus corresponds to a change in the angle of the viewing direction by 0.018 degrees to the right or left.
  • ⁇ i (90 ° - ⁇ O / ⁇ to the right. The same value applies to a camera j to the right of the central axis, but the pixel shift is to the left.
  • a camera i or j After a camera i or j has been directed in this way to the targeted object point F, it now has to be virtually positioned on an equal distance for all cameras from this object point F, ie on a common circle, in the center of which the object point F is located. For this purpose, a corresponding zoom factor z is first calculated in a fifth step S 5 for the relevant camera.
  • the radius of this circle is the distance of the middle camera (which lies on the central axis M) from the object point F. This distance r opt is thus equal to the apparent window distance s.
  • the common circle radius can be determined by calculating the distance of the two cameras located on the left and right of the central axis from the object point F as follows:
  • This zoom factor z; (ZJ) can now be realized in a sixth step S6 for a determined partial image of a panoramic camera i (j) in such a way that a correspondingly smaller number of pixels of the overall image of the panoramic camera in question is combined to a macropixel of the partial image to be displayed as explained above.
  • the relevant camera i or j is now virtually arranged on a uniform distance for all cameras from the targeted object point F, so that the calculated partial image can be stored in the third image memory or target memory 8 in a further step TB , At the same time, the procedure is repeated by returning to the second step S2 for a panoramic image of the next camera.
  • the procedure for newly captured images of the panoramic cameras can be repeated with the step PB, wherein a re-calibration in general only has to be made when the cameras have been rebuilt or the scene to be recorded, for example, in terms of their brightness o.a. has changed significantly.
  • the images can then be received and decompressed in the step Re to be represented with a step Bd with a viewing system such as in particular an autostereoscopic monitor 11.
  • a viewing system such as in particular an autostereoscopic monitor 11.
  • the dummy window control unit 5 is located at the destination, that is to say at the point of view or of the visualization system 10.
  • FIG. 6 A corresponding device is shown schematically in Figure 6, in which the same components as in Figure 4 are each provided with the same reference numerals.
  • the overall images taken by the panoramic cameras K1... Kn are also digitized in this device, buffer-stored in a first image memory 2 and calibrated in a calibration device 3.
  • the images are then preferably buffered in a second image memory 4, compressed in a compression device 9 and combined in a panoramic image memory 91 and stored in compressed form (together with the value of the distance d between two adjacent panoramic cameras and their number n) to the destination to be transferred.
  • the transferred images are decompressed in both cases at the destination, if necessary, and then fed in series or in parallel to the dummy window control unit 5, processed in the manner described above (ie extracting and zooming the pixel windows) and stored in a third image memory (destination memory) 8, combined and finally reproduced with a visualization and viewing system 10, 11.
  • This second embodiment has the advantage that a plurality of visualization and viewing systems 10, 11 can be provided, each with its own pseudo-window control unit 5 with control unit 7, which are located at different destinations, but where all the same recorded images are supplied. In this way, with each dummy window control unit 5, a different apparent window spacing s can be set, ie another object can be sighted and displayed on the respectively connected viewing system 11.
  • Figure 7 shows a flow chart of this second embodiment of the method, wherein the same steps as in Figure 5 are provided with the same reference numerals.
  • the images of all the cameras are first calibrated in a step Kn kal as explained above and stored in the second image memory 4.
  • the images are now read into the compression device 9 with the step PB, compressed there with the step TB, combined in the panoramic image memory 91 and then stored to be sent with the step Tr.
  • a return is made to compress, combine and send newly captured images from the panoramic cameras, generally only having to recalibrate when the cameras are rebuilt or up the scene to be recorded, for example, in terms of their brightness or the like has changed significantly.
  • the emitted images are received in a step Re and fed to the Schem window control unit 5.
  • This reads according to the first step Sl the set apparent window spacing s from the control unit 6.
  • This and the further steps S2 to S6 correspond to the steps S1 to S6 described above in connection with the first method according to FIG. 5 and will not be described again here.
  • the partial images are combined and displayed with the visualization and viewing system 10, 11 according to step Bd, and a return to the step Re, if necessary, to repeat the procedure for another camera positioning or newly recorded and transmitted panorama pictures.
  • FIG. 8 shows a block diagram of a third embodiment of the device according to the invention.
  • the same or corresponding components as in Figures 4 and 6 are again provided with the same reference numerals.
  • the essential difference from the first and second embodiments is that in the third embodiment, conventional cameras are used with a common viewing angle of, for example, in the range between about 20 and about 30 degrees.
  • these cameras are on the common rail or base platform (stereo base E) rotatable, for example, mounted on a turntable to make an alignment on the targeted object can.
  • the images taken by the cameras are in turn preferably digitized and first calibrated after buffering in a first image memory 2 in a calibration device 3 as explained above, before being temporarily stored in a second image memory 4 and fed to the dummy window control unit 5.
  • Each turntable is preferably rotated with a digitally controllable stepper motor. This rotation or activation of the stepper motors takes place by the dummy window control unit 5 as a function of a dummy window spacing s set by means of the control unit 7 and the camera distance d read from the system memory 6 instead of the pixel shift of the partial images of each panoramic camera described above.
  • the calculation of the respective swivel angle takes place in the same way as described above for the pixel shift.
  • the required zoom factor is also calculated for each camera as explained above. Since macropixel formation is not expedient in the case of the conventional cameras for the abovementioned reasons, zooming in the manner customary for these cameras (for example optically via a change in the lens focal length or in digital form) is performed by the dummy window control unit 5 in order to arrange the cameras virtually at an equal distance around the targeted object.
  • the cameras are preferably digitally controlled for these purposes via a known interface such as IEEE 1394 or DCAM by means of the dummy window control unit 5.
  • the subsequently acquired images are in turn preferably combined in a third image memory (destination image memory) 8 and stored to be compressed by a compression device 9 and transmitted to a visualization system 10 with a corresponding viewing system 11 such as an autostereoscopic monitor.
  • step Kn kal After calibrating the cameras (step Kn kal), the currently set apparent window spacing s as well as the number n and the distance d of the cameras are read into the dummy window control unit 5 in a first step S 1.
  • a camera is selected by increasing a running index i or j.
  • step S3 the angle for this camera, with which this is to be aligned to the object point F, calculated as explained above, and in a fourth step S4, the camera is pivoted by driving the associated stepping motor with the dummy window control unit 5 accordingly.
  • a zoom factor is calculated as explained above and the camera is zoomed in a sixth step S6 in a corresponding manner by the dummy window control unit 5.
  • step BA the image is then taken with the camera and stored in the target image memory 8, before this process is repeated by returning to the second step S2 for a next camera.
  • the images recorded in this way with all the cameras are combined with the step TB in the destination image memory 8 and optionally compressed in the compression device 9 before being transmitted to a receiving station in a step Tr, so that the process for newly captured images with the first Step S1 can be repeated.
  • the received images are optionally decompressed at the receiving station (step Re) and displayed on a viewing system 11 with a visualization system (step Bd).
  • An advantage of this third embodiment is that the pixel interpolation required in the case of a non-integer pixel shift or a non-integer zoom factor in the first and second embodiments is not required here, so that the outlay for the signal processing is lower in this respect. If the mechanical parts, in particular the stepping motors and the zooming properties of the camera, do not operate with sufficient accuracy, the generated images can be reworked accordingly by the dummy window control unit.
  • the distances between the cameras to optimize the image reproduction and / or to adapt to a selected apparent window spacing and / or the properties of an autostereoscopic monitor in oblique viewing for all cameras can be changed to the same or different extent.
  • the orientations of the cameras and the individual zoom factors would have to be calculated taking into account these possibly different distances.
  • the number of cameras used is essentially determined by the number of lateral viewing perspectives that are to be displayed with the respective monitor.

Abstract

A method and a device for the stereoscopic recording of objects for a three-dimensional visualization are described, which method/device is suitable in particular for the display also of oblique viewing perspectives of an object on an autostereoscopic monitor. Additional cameras are provided for recording these perspectives, which cameras are aligned/positioned relative to the targeted object by the inventive processing of the recorded image data.

Description

Verfahren und Vorrichtung zur stereoskopischen Aufnahme von Objekten für eine dreidimensionale Visualisierung Method and device for stereoscopically recording objects for a three-dimensional visualization
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur stereoskopischen Aufnahme von Objekten für eine dreidimensionale Visualisierung insbesondere mit einem autostereoskopischen Monitor.The invention relates to a method and a device for the stereoscopic recording of objects for a three-dimensional visualization, in particular with an autostereoscopic monitor.
Im Bereich der dreidimensionalen Visualisierung von Raumbildern werden in jüngster Zeit in steigendem Maße autostereoskopische Monitore entwickelt. Diese Monitore haben den Vorteil, dass keine zusätzlichen Sehhilfen wie zum Beispiel Polarisationsbrillen oder ähnliches benötigt werden, um einen räumlichen Bildeindruck zu erhalten. Weiterhin ist es möglich, mit solchen Monitoren gleichzeitig auch eine Anzahl von seitlichen Perspektiven in der Weise darzustellen, dass auch solche Betrachter ein dreidimensionales Bild sehen können, deren Blickrichtung nicht senkrecht, sondern schräg auf die Darstellungsfläche des Monitors gerichtet ist.In the area of three-dimensional visualization of spatial images, autostereoscopic monitors have been increasingly developed in recent years. These monitors have the advantage that no additional vision aids such as polarization glasses or the like are required to obtain a spatial image impression. Furthermore, it is possible to simultaneously display a number of lateral perspectives with such monitors in such a way that even such viewers can see a three-dimensional image whose viewing direction is not perpendicular but obliquely directed to the display surface of the monitor.
Da jeder Betrachter gleichzeitig zwei Perspektiven sehen muss, um einen räumlichen Bildeindruck zu erhalten, sind bei einer gewünschten Anzahl von zum Beispiel 12 schrägen Betrachtungsrichtungen insgesamt 24 Perspektiven eines Objektes gleichzeitig darzustellen. Dies bedeutet, dass 24 einzelne Kameras zu einem einheitlichen Kamerasystem zusammengefasst und die mit diesen Kameras erzeugten Bildsignale übertragen werden müssen.Since each observer must simultaneously see two perspectives in order to obtain a spatial image impression, in the case of a desired number of, for example, 12 oblique viewing directions, a total of 24 perspectives of an object are to be displayed simultaneously. This means that 24 individual cameras must be combined into a single camera system and the image signals generated with these cameras must be transmitted.
Es ist offensichtlich, dass die Ansteuerung und Ausrichtung insbesondere im Fall einer so großen Anzahl von Kameras sowie die Verarbeitung und Übertragung der Bildsignale einen relativ hohen Aufwand erfordert.It is obvious that the control and alignment, especially in the case of such a large number of cameras, as well as the processing and transmission of the image signals, requires a relatively high outlay.
Eine allgemeine Aufgabe, die der Erfindung zu Grunde liegt, besteht darin, ein Ver- fahren und eine Vorrichtung zu schaffen, mit dem / der Objekte in mindestens zwei Perspektiven mit einem vergleichsweise geringen apparativen und schaltungstechnischen Aufwand mit hoher stereoskopischer Wiedergabequalität dreidimensional aufgenommen werden können. Diese Aufgabe wird mit einem Verfahren nach Anspruch 1 und / oder nach Anspruch 2 sowie einer Vorrichtung nach Anspruch 8 gelöst.A general object on which the invention is based is to provide a method and a device with which the object (s) in three perspectives with a comparatively small apparatus and circuit complexity with high stereoscopic reproduction quality three-dimensional can be included. This object is achieved by a method according to claim 1 and / or according to claim 2 and a device according to claim 8.
Insbesondere soll ein Verfahren und eine Vorrichtung der eingangs genannten Art geschaffen werden, mit dem / der Objekte mit einer hohen stereoskopischen Wiedergabequalität auch in einer Mehrzahl von seitlichen Perspektiven aufgenommen werden können, um diese insbesondere auf einem autostereoskopischen Monitor in der Weise zu visualisieren, dass auch solche Betrachter, deren Blickrichtungen nicht senkrecht, sondern schräg auf die Monitoroberfläche gerichtet sind, ein räumliches Bild sehen können.In particular, a method and a device of the aforementioned type is to be created, with which objects with a high stereoscopic reproduction quality can also be recorded in a plurality of lateral perspectives in order to visualize them, in particular on an autostereoscopic monitor in such a way that Such viewers, whose directions are not perpendicular, but obliquely directed to the monitor surface, can see a spatial image.
Diese Aufgabe wird mit einem Verfahren gemäß Anspruch 3 und einer Vorrichtung nach Anspruch 8 gelöst.This object is achieved by a method according to claim 3 and a device according to claim 8.
Die Unteransprüche haben vorteilhafte Weiterbildungen der Verfahren bzw. der Vorrichtung zum Inhalt.The dependent claims have advantageous developments of the method and the device to the content.
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung von bevorzugten Ausführungsformen anhand der Zeichnung. Es zeigt:Further details, features and advantages of the invention will become apparent from the following description of preferred embodiments with reference to the drawing. It shows:
Fig. 1 eine schematische Darstellung der Abbildungsgeometrien im Falle von zwei Perspektiven in Draufsicht; Fig. 2 eine schematische Darstellung der Blickrichtungen einer Mehrzahl von Kameras zur Wiedergabe einer Mehrzahl von Perspektiven;Fig. 1 is a schematic representation of the imaging geometries in the case of two perspectives in plan view; FIG. 2 is a schematic representation of the viewing directions of a plurality of cameras for reproducing a plurality of perspectives; FIG.
Fig. 3 eine schematische Darstellung der Positionierung von Kameras zur Wiedergabe einer Mehrzahl von Perspektiven;Fig. 3 is a schematic illustration of the positioning of cameras for reproducing a plurality of perspectives;
Fig. 4 ein Blockschaltbild einer ersten Ausführungsform der erfmdungsgemä- ßen Vorrichtung;4 is a block diagram of a first embodiment of the device according to the invention;
Fig. 5 ein Flussdiagramm einer ersten Ausführungsform des erfindungsgemäßen Verfahrens; Fig. 6 ein Blockschaltbild einer zweiten Ausführungsform der erfindungsgemäßen Vorrichtung;5 shows a flow chart of a first embodiment of the method according to the invention; 6 is a block diagram of a second embodiment of the device according to the invention;
Fig. 7 ein Flussdiagramm einer zweiten Ausfuhrungsform des erfindungsgemäßen Verfahrens; Fig. 8 ein Blockschaltbild einer dritten Ausfuhrungsform der erfϊndungsgemä- ßen Vorrichtung und7 shows a flow chart of a second embodiment of the method according to the invention; 8 is a block diagram of a third embodiment of the device according to the invention and FIG
Fig. 9 ein Flussdiagramm einer dritten Ausfuhrungsform des erfindungsgemäßen Verfahrens.9 is a flowchart of a third embodiment of the method according to the invention.
Untersuchungen haben gezeigt, dass für eine gute Bildqualität und ein angenehmes und natürliches Betrachtungsempfinden einer dreidimensionalen Wiedergabe die korrekte Abbildung eines sogenannten Scheinfensters von besonderer Bedeutung ist. Dies soll anhand der Figur 1 für zwei Perspektiven näher erläutert werden.Studies have shown that for a good image quality and a pleasant and natural viewing sensation of a three-dimensional rendering, the correct imaging of a so-called pseudo-window is of particular importance. This will be explained in more detail with reference to FIG. 1 for two perspectives.
Figur 1(A) zeigt in Draufsicht zwei Kameras Kl und K2, die auf einer gemeinsamen Stereobasis E montiert und auf einen Objektpunkt F ausgerichtet sind. Der senkrechte Abstand s zwischen dem Objektpunkt F und der Stereobasis E wird auch als Parallaxe bezeichnet. Bei einer korrekten Stereoaufhahme mit endlicher Parallaxe liegt der Schnittpunkt der Kamerablickrichtungen, der dem fokussierten Objekt- punkt F entspricht, auf der Mittelachse M zwischen den Kameras, so dass diese den gleichen Abstand von dem Objektpunkt F haben und jeweils um einen betragsmäßig gleichen Winkel α aus der parallelen Blickrichtung nach innen geschwenkt sind. Im Falle von zwei Kameras wird dies zum Beispiel in der Weise realisiert, dass die Kameras schwenkbar auf einer gemeinsamen Basis oder Plattform befestigt sind.FIG. 1 (A) shows in plan view two cameras K1 and K2 which are mounted on a common stereo base E and aligned with an object point F. The vertical distance s between the object point F and the stereo base E is also referred to as parallax. In the case of correct stereo recording with finite parallax, the point of intersection of the camera viewing directions, which corresponds to the focused object point F, lies on the central axis M between the cameras, so that they have the same distance from the object point F and in each case have an angle α which is the same in magnitude the parallel viewing direction are pivoted inward. In the case of two cameras, this is realized, for example, in such a way that the cameras are pivotally mounted on a common base or platform.
Das Scheinfenster ist derjenige, den Objektpunkt F in einer vertikalen Ebene (Scheinfensterebene SF) umgebende Bereich der realen Objektebene, der auf die Darstellungsfläche eines Monitors Mo gemäß Figur l(B) (ebenfalls in Draufsicht) abzubilden ist, um von einem Betrachter mit dem linken und dem rechten Auge Al, A2 betrachtet zu werden. Der Scheinfensterabstand stellt dabei im wesentlichen die Entfernung der Scheinfensterebene dar, in der sich die Blickrichtungen der Kameras Kl und K2 im Objektpunkt F (Fixpunkt) treffen. Der räumliche Bildeindruck erstreckt sich dann in einen Bereich B vor und hinter dem anvisierten Objektpunkt F.The dummy window is the area of the real object plane surrounding the object point F in a vertical plane (dummy window plane SF), which is to be imaged onto the display surface of a monitor Mo according to FIG. 1 (B) (also in plan view), from a viewer with the left one and the right eye Al, A2. The apparent window spacing represents essentially the distance of the dummy window plane, in which the viewing directions of the cameras Kl and K2 meet in object point F (fixed point). The spatial image impression then extends into a region B in front of and behind the targeted object point F.
Im Falle von mehreren Kameras, mit denen auf einem autostereoskopischen Moni- tor die oben genannten schrägen Betrachtungsperspektiven dargestellt werden sollen, können sich hierbei jedoch Schwierigkeiten ergeben. Wie in der Figur 2 beispielhaft für acht Kameras Kl,....K8, die jeweils einen Abstand d voneinander haben, und zwei Objektpunkte Fl, F2, die sich in Scheinfensterebenen mit unterschiedlichen Abständen sl, s2 von der Stereobasis E befinden, dargestellt ist, müs- sen die Kameras Kl, ...K8 in Abhängigkeit von ihrer Position jeweils mit unterschiedlichen Winkeln αl, α2 aus ihren Ausgangs-Blickrichtungen (die vorzugsweise gemäß den Figuren 1 bis 3 in der Ausgangsstellung parallel zueinander und senkrecht zur Stereobasis E verlaufen) auf den jeweils anvisierten Objektpunkt Fl oder F2 gerichtet beziehungsweise auf die gleiche Parallaxe fokussiert werden.In the case of several cameras with which the abovementioned oblique viewing perspectives are to be displayed on an autostereoscopic monitor, however, difficulties may arise in this case. As is shown in FIG. 2 by way of example for eight cameras K1,... K8, which each have a distance d from one another, and two object points F1, F2, which are located in dummy window planes with different distances sl, s2 from the stereo base E. , the cameras K 1,.. K 8 must each depend on their position with different angles α 1, α 2 from their initial viewing directions (which preferably run parallel to each other and perpendicular to the stereo base E in the initial position according to FIGS. directed to the respectively targeted object point Fl or F2 or focused on the same parallax.
Darüber hinaus sollten aber auch in diesem Fall alle Kameras gemäß Figur 3 den gleichen Abstand von dem anvisierten Objektpunkt Fl oder F2 haben, so dass sie auf einem Kreis mit dem betreffenden Objektpunkt als Mittelpunkt positioniert werden müssen. Dies bedeutet, dass die Kameras für jeden anvisierten Objektpunkt nicht nur mit unterschiedlichen Winkeln gedreht, sondern auch in unterschiedlichem Maße in Richtung auf den Objektpunkt Fl oder F2 (zum Beispiel in die Positionen zl bzw. z2) verschoben werden müssen.In addition, however, in this case too, all the cameras according to FIG. 3 should have the same distance from the targeted object point F1 or F2, so that they must be positioned on a circle with the relevant object point as the center point. This means that for each target object point, the cameras not only have to be rotated at different angles, but must also be displaced to different degrees in the direction of the object point F1 or F2 (for example in the positions z1 and z2, respectively).
In diesem Fall kann dann ein Betrachter eine seitliche dreidimensionale Perspektive des Objektes, die zum Beispiel mit den Kameras Kl und K2 aufgenommen wird, auf einem autostereoskopischen Monitor sehen, wenn die Bildsignale der Kameras Kl und K2 in einer entsprechend schrägen Blickrichtung auf den Monitor durch diesen dargestellt werden.In this case, a viewer can then see a lateral three-dimensional perspective of the object taken for example with the cameras Kl and K2 on an autostereoscopic monitor when the image signals of the cameras Kl and K2 in a corresponding oblique viewing direction on the monitor through this being represented.
Mit der Erfindung soll der mit einer solchen Bildaufnahme verbundene Aufwand erheblich reduziert werden. Die Erfindung ist vorteilhaft jedoch auch in dem zuvor genannten Fall anwendbar, in dem nur zwei Kameras verwendet werden und nur zwei Perspektiven eines Objektpunktes aufzunehmen sind.With the invention, the effort associated with such image acquisition is to be significantly reduced. However, the invention is also advantageous in the above case in which only two cameras are used and only two perspectives of an object point are to be recorded.
Bei einer ersten und zweiten Ausführungsform werden gemäß den Figuren 4 und 6 bevorzugt anstelle von Kameras mit üblichem Blickwinkel von zum Beispiel etwa 20° bis 30° mindestens zwei Kameras bekannter Art mit einem möglichst großen Blickwinkel, (insbesondere von im wesentlichen 180°), vorzugsweise Panoramakameras, verwendet.In a first and second embodiment, according to FIGS. 4 and 6, preferably at least two cameras of the known type having the largest possible viewing angle, (in particular substantially 180 °), are used instead of cameras with a conventional viewing angle of, for example, approximately 20 ° to 30 ° Panoramic cameras, used.
Die Ausrichtung dieser Kameras, d. h. die Fokussierung eines Objektes und damit die Steuerung des Scheinfensters, erfolgt nicht durch Schwenken der Kameras, sondern jeweils durch Auswahl eines bestimmten Teilbildes oder Bildbereiches, in dem sich der anvisierte Objektpunkt F befindet, aus dem aufgenommenen Gesamtbild, wobei die Auswahl vorzugsweise so erfolgt, dass der Objektpunkt F im Zentrum dieses Teilbildes oder Bildbereiches liegt. Die Größe des ausgewählten Teilbildes oder Bildbereiches entspricht dabei zunächst zum Beispiel im wesentlichen dem Blickwinkel einer Kamera üblicher Art (also zum Beispiel zwischen etwa 20° und etwa 30°) oder wird, wie unten noch erläutert wird, festgelegt.The orientation of these cameras, d. H. the focusing of an object and thus the control of the dummy window, is not done by panning the cameras, but each by selecting a particular field or image area in which the targeted object point F is located from the recorded overall image, the selection is preferably such that the object point F lies in the center of this partial image or image region. The size of the selected partial image or image region initially corresponds, for example, essentially to the angle of view of a camera of conventional type (that is to say, for example, between approximately 20 ° and approximately 30 °) or, as will be explained below, is determined.
Die Positionierung der Panoramakameras in gleichem Abstand von dem anvisierten Objektpunkt erfolgt durch elektronische Verarbeitung der aufgenommenen Bilder im wesentlichen in der Weise, dass die Darstellungsgröße der Teilbilder oder Bildbereiche jeweils entsprechend verändert wird.The positioning of the panoramic cameras at the same distance from the targeted object point is carried out by electronic processing of the recorded images substantially in such a way that the display size of the partial images or image areas is changed accordingly.
Es können nahezu beliebige Panoramakameras verwendet werden, wie zum Beispiel solche mit Fischaugenlinsen, mehreren Objektiven oder Facettenlinsen.Almost any panoramic camera can be used, such as those with fish-eye lenses, multiple lenses or faceted lenses.
Die erste Ausführungsform der erfindungsgemäßen Vorrichtung umfasst gemäß Figur 4 eine Anzahl n von Panoramakameras Kl, ...Kn, die auf einem gemeinsamen Träger E, der die Stereobasis darstellt, parallel zueinander angeordnet und fortlaufend, hier von links nach rechts nummeriert sind. Für den einfachsten Fall, in dem nur zwei Panoramakameras verwendet werden, um ein Stereobild ohne die oben beschriebene Möglichkeit der schrägen Betrachtungsperspektiven zu schaffen, gelten die folgenden Erläuterungen entsprechend.According to FIG. 4, the first embodiment of the device according to the invention comprises a number n of panoramic cameras K1,... Kn, which are arranged parallel to one another on a common carrier E, which represents the stereo base, and consecutively numbered from left to right. For the simplest case, only two panoramic cameras are used to create a stereo image without the ones above described possibility of oblique viewing perspectives, the following explanations apply accordingly.
Die Bild-Ausgangssignale der Panoramakameras Kl, ...Kn werden mit einer Scheinfenster-Steuereinheit 5 in der oben genannten Weise elektronisch verarbeitet, so dass sie mit einem Visualisierungssystem 10, das insbesondere einen autostereoskopischen Monitor 11 ansteuert, zur Darstellung der verschiedenenThe image output signals of the panoramic cameras K1,... Kn are electronically processed with a pseudo-window control unit 5 in the above-mentioned manner, so that they can be visualized with a visualization system 10, which in particular drives an autostereoscopic monitor 11
Perspektiven wiedergegeben werden können. Die Signalverarbeitung erfolgt dabei vorzugsweise digital mit einer oder mehreren entsprechend programmierten Datenverarbeitungseinrichtungen.Perspectives can be reproduced. The signal processing is preferably carried out digitally with one or more appropriately programmed data processing devices.
Im einzelnen weist jede Panoramakamera K 1,...Kn vorzugsweise einen Analog/Digitalwandler auf, so dass die aufgenommenen Bilder (Gesamtbilder) jeder Kamera in digitaler Form iri jeweils einem ersten Bildspeicher 2 gespeichert werden können.In detail, each panoramic camera K 1,... Kn preferably has an analog / digital converter, so that the recorded images (overall images) of each camera can be stored in digital form in each case in a first image memory 2.
Die Ausgänge dieser ersten Bildspeicher 2 sind vorzugsweise mit den Eingängen einer Kalibrierungseinrichtung 3 verbunden, mit der die Bilder der verschiedenen Kameras je nach Art und Güte der Kameras sowie ihrer Montage insbesondere hin- sichtlich einer oder mehrerer der folgenden, oder auch anderer Parameter kalibriert werden: Helligkeit, Farbspektrum, horizontale und vertikale Ausrichtung, Verkann- tung, Verkippung sowie Parallelität und Ausrichtung auf der Stereobasis E.The outputs of these first image memories 2 are preferably connected to the inputs of a calibration device 3 with which the images of the various cameras are calibrated depending on the type and quality of the cameras and their mounting, in particular with regard to one or more of the following parameters or also other parameters: Brightness, color spectrum, horizontal and vertical alignment, tilt, tilt, and parallelism and stereo-based alignment.
Das von jeder Panoramakamera Kl, ..Kn aufgenommene, digitalisierte und kalib- rierte Gesamtbild wird dann in jeweils einem zweiten Bildspeicher 4 gespeichert. Die Gesamtbilder haben dabei zum Beispiel jeweils eine Auflösung von etwa 2000 Zeilen mit jeweils etwa 10.000 Pixeln.The digitized and calibrated overall image taken by each panoramic camera K1,... Kn is then stored in a respective second image memory 4. For example, the overall images each have a resolution of about 2000 lines, each with about 10,000 pixels.
Diese Bilder werden nun seriell oder parallel der Scheinfenster-Steuereinheit 5 zur Verarbeitung zugeführt, die auch mit einem Systemspeicher 6 und einem Steuergerät 7 verbunden ist. Zu diesem Zweck liest die Scheinfenster-Steuereinheit 5 aus dem Systemspeicher 6 den Abstand d zwischen jeweils zwei benachbarten Panoramakameras aus. Diese Abstände können konstant und alle gleich oder unterschiedlich sein, oder sie sind einzeln und ggf. unabhängig voneinander einstellbar, wenn die Kameras zum Bei- spiel entsprechend verschiebbar montiert sind. In diesem Fall würde die Einstellung und Auslesung der eingestellten Abstände vorzugsweise mit bzw. aus dem Steuergerät 7 erfolgen.These images are now supplied in series or in parallel to the dummy window control unit 5 for processing, which is also connected to a system memory 6 and a control unit 7. For this purpose, the dummy window control unit 5 reads from the system memory 6, the distance d between each two adjacent panoramic cameras. These distances can be constant and all the same or different, or they can be adjusted individually and, if necessary, independently of one another, for example, if the cameras are mounted correspondingly displaceably. In this case, the setting and reading of the set distances would preferably be done with or from the control unit 7.
Mit Hilfe des Steuergerätes 7 wählt dann eine Bedienperson ein aufzunehmendes Objekt durch Einstellung von dessen Abstand s (d. h. des Abstandes s des den Objektpunkt F umgebenden Scheinfensters). Dieser Abstand wird ebenfalls der Scheinfenster-Steuereinheit 5 übermittelt.With the aid of the control unit 7, an operator then selects an object to be recorded by adjusting its distance s (i.e., the distance s of the dummy window surrounding the object point F). This distance is also transmitted to the dummy window control unit 5.
Die Ausrichtung der Kameras K 1,...Kn auf den gewählten Objektpunkt F sowie deren Positionierung auf einem gemeinsamen Kreisradius um den gewählten Objektpunkt F erfolgt durch entsprechende Verarbeitung der von den Panoramakameras aufgenommenen Bilder durch die Scheinfenster-Steuereinheit 5.The alignment of the cameras K 1, ... Kn on the selected object point F and their positioning on a common circle radius to the selected object point F is carried out by appropriate processing of the images taken by the panoramic camera images through the dummy window control unit. 5
Nach der Verarbeitung der Bilder jeder Kamera werden diese schließlich einem dritten Bildspeicher 8 (Zielspeicher) zugeführt und dort kombiniert und können dann gegebenenfalls zur Komprimierung mit einer Komprimierungseinrichtung 9 ausgelesen und zu einem Visualisierungssystem 10 mit z. B. einem autostereoskopi- schen Monitor 11 übertragen werden.After the processing of the images of each camera, these are finally fed to a third image memory 8 (target memory) and combined there and then optionally read out for compression with a compression device 9 and to a visualization system 10 with z. B. an autostereoscopic monitor 11 are transmitted.
Die Verarbeitung der Bilder der einzelnen Kameras gemäß einer ersten Ausführungsform des erfindungsgemäßen Verfahrens soll im folgenden anhand des in Figur 5 gezeigten Flussdiagramms erläutert werden.The processing of the images of the individual cameras according to a first embodiment of the method according to the invention will be explained below with reference to the flowchart shown in FIG.
Wie oben bereits erwähnt wurde, werden nach dem Start des Verfahrens die von den Panoramakameras Kl, ..Kn aufgenommenen Bilder zunächst vorzugsweise digitalisiert, in einem Schritt „Kn kal" kalibriert und in dem zweiten Bildspeicher 4 gespei- chert, um sie der Scheinfenster-Steuereinheit 5 zur vorzugsweise seriellen Verarbeitung zur Verfügung zu stellen.As already mentioned above, after the start of the method, the images recorded by the panoramic cameras Kl,... Kn are first preferably digitized, calibrated in a step "Kn kal" and stored in the second image memory 4. in order to provide it to the bill window control unit 5 for preferably serial processing.
Zu diesem Zweck werden durch die Scheinfenster-Steuereinheit 5 zunächst die ein- zelnen Panoramakameras auf den gleichen Scheinfensterabstand s (bzw. Objektpunkt F) ausgerichtet, indem aus dem von jeder Panoramakamera aufgenommenen Gesamtbild ein entsprechendes Teilbild (Bildbereich) ausgewählt wird. Anschließend werden die Panoramakameras dadurch auf einem gleichen Abstand von dem anvisierten Objektpunkt F positioniert, dass die ausgewählten Bildbereiche oder Teilbilder jeweils in ihrer Darstellungsgröße verändert werden. Der einzustellende, für alle Kameras gleiche Abstand ist vorzugsweise der kleinste Abstand, den eine oder zwei Kameras von dem Objektpunkt F haben, so dass die Teilbilder der anderen Kameras jeweils durch unterschiedliches Zoomen vergrößert werden.For this purpose, the pseudo-window control unit 5 first aligns the individual panorama cameras with the same pseudo-window spacing s (or object point F) by selecting a corresponding partial image (image area) from the overall image recorded by each panoramic camera. Subsequently, the panoramic cameras are thereby positioned at an equal distance from the targeted object point F, that the selected image areas or partial images are each changed in their display size. The distance to be set, which is the same for all cameras, is preferably the smallest distance that one or two cameras have from the object point F, so that the partial images of the other cameras are each enlarged by different zooming.
Somit wird für jede Panoramakamera zunächst der Winkel berechnet, unter dem diese auf den durch Einstellung des Scheinfensterabstandes s mit dem Steuergerät 7 gewählten Objektpunkt F zu richten ist. Nach dem Einlesen der Anzahl n von Kameras sowie des Scheinfensterabstandes s aus dem Steuergerät 7 und des Abstandes d zwischen den Kameras aus dem Systemspeicher 6 (oder ggf. wie oben erläutert ebenfalls aus dem Steuergerät 7) in einem ersten Schritt Sl wird in einem zweiten Schritt S2 ein Bild einer Kamera durch Erhöhung eines Laufindex i bzw. j ausgewählt und in einem dritten Schritt S3 der Winkel für diese Kamera wie folgt berechnet.Thus, for each panoramic camera, the angle at which it is to be directed to the selected by the setting of the apparent window spacing s with the control unit 7 object point F is first calculated. After reading in the number n of cameras and the apparent window distance s from the control unit 7 and the distance d between the cameras from the system memory 6 (or possibly also as explained above from the control unit 7) in a first step Sl is in a second step S2 selects an image of a camera by increasing a running index i or j, and in a third step S3 calculates the angle for this camera as follows.
Unter der Annahme, dass eine gerade Anzahl n von Kameras vorhanden ist, liegen gemäß den Figuren 2 und 3 jeweils n/2 Kameras links und n/2 Kameras rechts von der Mittelachse M der Stereobasis E.Assuming that there are an even number n of cameras, according to Figs. 2 and 3, there are n / 2 cameras on the left and n / 2 cameras on the right of the center axis M of the stereo base E.
Der Blickwinkel ergibt sich für eine Kamera i (1 < i < n/2) links der Mittelachse M aus folgender Formel (1): (1) The viewing angle results for a camera i (1 <i <n / 2) left of the central axis M from the following formula (1): (1)
Aus Symmetriegründen ergibt sich für den Blickwinkel einer Kamera j rechts der Mittelachse (n/2 < j < n) jeweils gemäß Formel (2) folgender Wert:For reasons of symmetry, the angle of view of a camera j to the right of the central axis (n / 2 <j <n) in each case yields the following value according to formula (2):
(2) Oj = ISO - OCn-J+1 (2) Oj = ISO - OCn-J +1
Im Falle einer ungeraden Anzahl n von Kameras ergibt sich für eine links der Mittelachse liegende Kamera i (1 < i < n/2) der Blickwinkel gemäß folgender Formel (3):In the case of an odd number n of cameras, for a camera i (1 <i <n / 2) lying to the left of the central axis, the angle of view results according to the following formula (3):
(3) (3)
Für eine Kamera j (n/2 < j < n) rechts der Mittelachse gilt wiederum die oben ge- nannte Formel (2). Für die mittlere Kamera, die auf der Mittelachse M liegt, ist der Winkel α = 0°.For a camera j (n / 2 <j <n) to the right of the central axis, the above-mentioned formula (2) again applies. For the middle camera, which lies on the central axis M, the angle α = 0 °.
In einem vierten Schritt S4 wird nun für den berechneten Winkel, mit dem eine Kamera auszurichten ist, der diesem Winkel entsprechende Bildbereich (Teilbild) des Gesamtbildes in Form eines Pixelfensters der betreffenden Panoramakamera ermittelt.In a fourth step S4, for the calculated angle with which a camera is to be aligned, the image area (partial image) of the overall image corresponding to this angle is determined in the form of a pixel window of the relevant panoramic camera.
Dabei ist zu berücksichtigen, dass von einer Kamera im allgemeinen ein Signal erzeugt werden soll, das mit einer der zur Zeit gültigen Industrienormen wie zum Bei- spiel dem PAL, NTSC oder HDTV Standard kompatibel ist.It should be noted that a camera is generally intended to generate a signal which is compatible with one of the current industry standards, such as the PAL, NTSC or HDTV standard.
Für die Erzeugung der Pixelfenster sind in diesem Zusammenhang insbesondere die für diese Standards festgelegten Bildauflösungen, nämlich 720 x 576, 640 x 480 bzw. 1920 x 1080 Pixel zu beachten. Diese für die Pixelfenster zu erzeugende Zielauflösung liest die Scheinfenster-Steuereinheit 5 zum Beispiel in dem ersten Schritt Sl ebenfalls aus dem Systemspeicher 6 aus.For the generation of the pixel windows in this context, in particular the image resolutions defined for these standards, namely 720 × 576, 640 × 480 or 1920 x 1080 pixels. This target resolution to be generated for the pixel windows also reads out the dummy window control unit 5 from the system memory 6 in the first step S1, for example.
Aus weiter unten noch erläuterten Gründen werden vorzugsweise mehrere Pixel des Bildes einer Panoramakamera zu einem Pixel (Makropixel) des zu erzeugenden Pixelfensters zusammengefasst. Wenn eine Zielauflösung von 720 x 576 Pixel erzeugt werden soll, können zum Beispiel jeweils drei Pixel und somit insgesamt 2160 x 1728 Pixel des Panoramabildes zu einem PAL-BiId zusammengefasst wer- den. Bei einem Panoramabild mit einer Pixelauflösung von zum Beispiel 10.000 x 2000 Pixeln könnte in diesem Fall das PAL-BiId bzw. Pixelfenster um jeweils 3920 Pixelschritte nach rechts oder links verschoben und damit geschwenkt werden.For reasons explained below, preferably several pixels of the image of a panoramic camera are combined to form one pixel (macropixel) of the pixel window to be generated. If a target resolution of 720 x 576 pixels is to be generated, for example, three pixels and thus a total of 2160 x 1728 pixels of the panorama image can be combined to form a PAL image. In the case of a panoramic image with a pixel resolution of, for example, 10,000 × 2000 pixels, in this case the PAL image or pixel window could be shifted to the right or left by each 3920 pixel steps and thus swiveled.
Der in dem dritten Schritt S3 für eine Panoramakamera berechnete Blickwinkel ist nun in dem vierten Schritt S4 in die Anzahl der Pixelschritte γ; umzurechnen, um die ein Pixelfenster aus der mittleren oder zentralen Lage in dem Gesamtbild der Panoramakamera nach links oder rechts verschoben werden muss, um entsprechend dem berechneten Blickwinkel ausgerichtet zu sein. Zu diesem Zweck wird zunächst in der Scheinfenster-Steuereinheit 5 der Kamera-Bildwinkel von 180° durch die Anzahl der horizontal insgesamt verfügbaren Pixel des Panoramabildes dividiert. Bei dem oben genannten Beispiel von 10.000 Pixeln pro Zeile ergibt sich pro Panoramapixel ein Winkel Δα von 0,018 Grad. Ein Pixelschritt (Pixelverschiebung) nach rechts oder links entspricht somit einer Änderung des Winkels der Blickrichtung um 0,018 Grad nach rechts bzw. links.The viewing angle calculated in the third step S3 for a panoramic camera is now in the fourth step S4 in the number of pixel steps γ; to convert a pixel window from the central or central location in the overall image of the panoramic camera must be moved to the left or right to be aligned according to the calculated viewing angle. For this purpose, the camera image angle of 180 ° is first divided in the dummy window control unit 5 by the number of horizontally available pixels of the panorama image. In the above example of 10,000 pixels per line, an angle Δα of 0.018 degrees results per panoramic pixel. A pixel step (pixel shift) to the right or left thus corresponds to a change in the angle of the viewing direction by 0.018 degrees to the right or left.
Für eine Kamera i links der Mittelachse mit der Blickrichtung α; ergibt sich somit eine Anzahl von Pixelschritten, d. h. eine Pixelverschiebung vonFor a camera i to the left of the central axis with the viewing direction α; thus results in a number of pixel steps, d. H. a pixel shift of
(4) γi = (90° - αO / Δα nach rechts. Für eine Kamera j rechts der Mittelachse gilt der gleiche Wert, jedoch erfolgt die Pixelverschiebung nach links.(4) γi = (90 ° -αO / Δα to the right. The same value applies to a camera j to the right of the central axis, but the pixel shift is to the left.
Nachdem eine Kamera i bzw. j auf diese Weise auf den anvisierten Objektpunkt F gerichtet worden ist, muss diese nun virtuell auf einem für alle Kameras gleichen Abstand von diesem Objektpunkt F, das heißt auf einem gemeinsamen Kreis positioniert werden, in dessen Mittelpunkt sich der Objektpunkt F befindet. Zu diesem Zweck wird zunächst in einem fünften Schritt S 5 für die betreffende Kamera ein entsprechender Zoomfaktor z berechnet.After a camera i or j has been directed in this way to the targeted object point F, it now has to be virtually positioned on an equal distance for all cameras from this object point F, ie on a common circle, in the center of which the object point F is located. For this purpose, a corresponding zoom factor z is first calculated in a fifth step S 5 for the relevant camera.
Für den Fall einer ungeraden Anzahl n von Panoramakameras ergibt sich als Radius dieses Kreises der Abstand der mittleren Kamera (die auf der Mittelachse M liegt) von dem Objektpunkt F. Dieser Abstand ropt ist somit gleich dem Scheinfenster- Abstand s.In the case of an odd number n of panoramic cameras, the radius of this circle is the distance of the middle camera (which lies on the central axis M) from the object point F. This distance r opt is thus equal to the apparent window distance s.
Geht man wiederum davon aus, dass die Panoramakameras fortlaufend gemäß Figur 2 und 3 von links nach rechts nummeriert sind und den Abstand d voneinander haben, so ergibt sich als tatsächliche Abstand einer der Kameras i (1 < i < n/2) von dem Objektpunkt F:Assuming in turn that the panoramic cameras are consecutively numbered from left to right according to FIGS. 2 and 3 and have the distance d from one another, the actual distance of one of the cameras i (1 <i <n / 2) results from the object point F:
(5) r>=VM-tfd2 (5) r > = VM-tf d2
Für eine Kamera j (n/2 < j < n) gilt bei symmetrischer Anordnung der Kameras zur Mittelachse M jeweils der gleiche Abstand rj.For a camera j (n / 2 <j <n), in the case of a symmetrical arrangement of the cameras relative to the center axis M, the same distance r j applies in each case.
Für den Fall einer geraden Anzahl n von Panoramakameras kann der gemeinsame Kreisradius durch Berechnung des Abstandes der beiden links und rechts der Mittelachse liegenden Kameras von dem Objektpunkt F wie folgt festgelegt werden:In the case of an even number n of panoramic cameras, the common circle radius can be determined by calculating the distance of the two cameras located on the left and right of the central axis from the object point F as follows:
(6) ropl - Ϋ s2 + d2y Der tatsächliche Abstand einer der anderen Kameras i (1 < i < n/2) von dem Objektpunkt F ergibt sich nun wie folgt:(6) r opl - Ϋ s 2 + d 2 y The actual distance of one of the other cameras i (1 <i <n / 2) from the object point F is now as follows:
(7) r, =42 +(^-Z + )Z)V(7) r, = 4 2 + (^ - Z + ) Z ) V
Damit alle Kameras den gleichen Abstand von den Objektpunkt F haben, müssen diese nun um einen Prozentsatz z\ an den Objektpunkt F herangezoomt werden:So that all cameras have the same distance from the object point F, they must now be zoomed by a percentage z \ to the object point F:
(8) z, = r' r°pt - I QQ(8) z = r 'r ° pt - I QQ
Für die Kameras j (n/2 + 1 < j < n) gelten bei symmetrischer Anordnung zur Mittelachse jeweils wiederum die gleichen Abstände η und Zoomfaktoren Zj.For the cameras j (n / 2 + 1 <j <n), in each case the same distances η and zoom factors Z j apply again in the case of symmetrical arrangement with respect to the central axis.
Dieser Zoomfaktor z; (ZJ) kann nun in einem sechsten Schritt S6 für ein ermitteltes Teilbild einer Panoramakamera i (j) in der Weise realisiert werden, dass eine entsprechend geringere Anzahl von Pixeln des Gesamtbildes der betreffenden Panoramakamera gemäß obiger Erläuterung zu einem Makropixel des darzustellenden Teilbildes zusammengefasst wird.This zoom factor z; (ZJ) can now be realized in a sixth step S6 for a determined partial image of a panoramic camera i (j) in such a way that a correspondingly smaller number of pixels of the overall image of the panoramic camera in question is combined to a macropixel of the partial image to be displayed as explained above.
Umgekehrt ist bei der oben erläuterten Makropixelbildung die (maximale) Anzahl der zu einem Makropixel zusammenzufassenden Pixel jeder Panoramakamera so zu wählen, dass der maximale Zoomfaktor (der sich für die beiden ganz außen liegenden Panoramakameras i = 1 und j = n und für einen anzunehmenden geringsten Ob- jektabstand s ergibt) erzeugt werden kann.Conversely, in the case of the macropixel formation explained above, the (maximum) number of pixels of each panoramic camera to be combined into a macro pixel is to be selected such that the maximum zoom factor (which is for the two outermost panoramic cameras i = 1 and j = n and for a minimum one to be assumed Object distance s results) can be generated.
Auf diese Weise ist nun virtuell die betreffende Kamera i bzw. j auch auf einem für alle Kameras gleichen Abstand von dem anvisierten Objektpunkt F angeordnet, so dass das berechnete Teilbild in einem weiteren Schritt TB in dem dritten Bildspei- eher oder Zielspeicher 8 abgespeichert werden kann. Gleichzeitig wird das Verfah- ren durch Rücksprung zu dem zweiten Schritt S2 für ein Panoramabild der nächsten Kamera wiederholt.In this way, the relevant camera i or j is now virtually arranged on a uniform distance for all cameras from the targeted object point F, so that the calculated partial image can be stored in the third image memory or target memory 8 in a further step TB , At the same time, the procedure is repeated by returning to the second step S2 for a panoramic image of the next camera.
Nachdem die Bilder aller Panoramakameras auf diese Weise verarbeitet wurden, können diese in dem Zielbildspeicher 8 kombiniert und gegebenenfalls in der Komprimierungseinrichtung 9 komprimiert werden, bevor sie in einem Schritt Tr zu einer Empfangsstation übertragen werden. Anschließend kann das Verfahren für neu aufgenommene Bilder der Panoramakameras mit dem Schritt PB wiederholt werden, wobei eine erneute Kalibrierung im allgemeinen nur dann vorgenommen wer- den muss, wenn die Kameras neu aufgebaut wurden oder sich die aufzunehmende Szene zum Beispiel hinsichtlich ihrer Helligkeit o.a. wesentlich verändert hat.After the images of all panoramic cameras have been processed in this way, they can be combined in the destination image memory 8 and, if appropriate, compressed in the compression device 9 before being transferred to a receiving station in a step Tr. Subsequently, the procedure for newly captured images of the panoramic cameras can be repeated with the step PB, wherein a re-calibration in general only has to be made when the cameras have been rebuilt or the scene to be recorded, for example, in terms of their brightness o.a. has changed significantly.
An einer Empfangsstation, die zum Beispiel Teil des Visualisierungssystems 10 ist, können die Bilder dann in dem Schritt Re empfangen und dekomprimiert werden, um mit einem Schritt Bd mit einem Betrachtungssystem wie insbesondere einem autostereoskopischen Monitor 11 dargestellt zu werden. Bei der Übertragung einer Folge von Bildern wird dieser Ablauf durch Rücksprung zu dem Schritt Re für neu aufgenommene und verarbeitete Bilder wiederholt.At a receiving station, which is for example part of the visualization system 10, the images can then be received and decompressed in the step Re to be represented with a step Bd with a viewing system such as in particular an autostereoscopic monitor 11. When transmitting a sequence of images, this process is repeated by returning to the step Re for newly captured and processed images.
Bei der Berechnung der Pixelverschiebung mit dem vierten Schritt S4 ist zu berücksichtigen, dass der sich aus der oben genannten Formel (4) ergebende Wert nicht immer ganzzahlig ist. Somit ist entweder eine Interpolation zwischen den zwei nächst liegenden benachbarten ganzzahligen Pixelverschiebungen vorzunehmen, oder es erfolgt eine Rundung, und es wird nur die nächstliegende ganzzahlige Pi- xelverschiebung verwendet. In dem letztgenannten Fall ist die Kamera nicht genau auf den Objektpunkt F ausgerichtet, so dass dieser etwas "verschmiert" dargestellt wird. Sofern die damit verbundene Ungenauigkeit in Bereich von etwa ein bis zwei Prozent liegt, kann dies ohne spürbare Beeinträchtigungen der Bildqualität möglicherweise toleriert werden. Entsprechendes gilt auch für die Ermittlung des Zoomfaktors und die damit verbundene Verminderung der Anzahl von Pixeln (Interpolation oder Rundung) in dem sechsten Schritt S6, die zu einem Makropixel zusammengefasst werden.When calculating the pixel shift with the fourth step S4, it is to be considered that the value resulting from the above-mentioned formula (4) is not always integer. Thus, either interpolation is made between the two closest adjacent integer pixel shifts, or rounding occurs, and only the nearest integer pixel shift is used. In the latter case, the camera is not exactly aligned with the object point F, so that this is shown somewhat "smeared". Unless the associated inaccuracy is in the range of about one to two percent, this may possibly be tolerated without noticeable degradation in image quality. The same applies to the determination of the zoom factor and the associated reduction in the number of pixels (interpolation or rounding) in the sixth step S6, which are combined to form a macropixel.
Bei einer zweiten Ausführungsform des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung befindet sich die Scheinfenster-Steuereinheit 5 am Zielort, das heißt am Ort der Betrachtung bzw. des Visualisierungssystems 10.In a second embodiment of the method according to the invention and the device according to the invention, the dummy window control unit 5 is located at the destination, that is to say at the point of view or of the visualization system 10.
Eine entsprechende Vorrichtung ist schematisch in Figur 6 gezeigt, in der gleiche Komponenten wie in Figur 4 mit jeweils gleichen Bezugszeichen versehen sind.A corresponding device is shown schematically in Figure 6, in which the same components as in Figure 4 are each provided with the same reference numerals.
Auch bei dieser Vorrichtung werden, wie oben erläutert wurde, die von den Panoramakameras Kl, ...Kn aufgenommenen Gesamtbilder vorzugsweise digitalisiert, in einem ersten Bildspeicher 2 zwischengespeichert und in einer Kalibrierungseinrich- tung 3 kalibriert. Die Bilder werden dann vorzugsweise in einem zweiten Bildspeicher 4 zwischengespeichert, in einer Komprimierungseinrichtung 9 komprimiert und in einem Panoramabildspeicher 91 kombiniert und gespeichert, um in komprimierter Form (zusammen mit dem Wert des Abstandes d zwischen zwei benachbarten Panoramakameras und deren Anzahl n) zu dem Zielort übertragen zu werden.As has been explained above, the overall images taken by the panoramic cameras K1... Kn are also digitized in this device, buffer-stored in a first image memory 2 and calibrated in a calibration device 3. The images are then preferably buffered in a second image memory 4, compressed in a compression device 9 and combined in a panoramic image memory 91 and stored in compressed form (together with the value of the distance d between two adjacent panoramic cameras and their number n) to the destination to be transferred.
Alternativ dazu wäre es auch möglich, die Bilder der Kameras nicht zu kombinieren, sondern einzeln und nacheinander in synchronisierter und ggf. komprimierter Weise zum Zielort zu übertragen.Alternatively, it would also be possible not to combine the images of the cameras, but to transmit individually and successively in a synchronized and possibly compressed manner to the destination.
Die übertragenen Bilder werden in beiden Fällen am Zielort ggf. dekomprimiert und dann seriell oder parallel der Scheinfenster-Steuereinheit 5 zugeführt, um in der oben beschriebenen Weise verarbeitet (d. h. Extrahieren und Zoomen der Pixelfenster) und in einem dritten Bildspeicher (Zielspeicher) 8 gespeichert, kombiniert und schließlich mit einem Visualisierungs- und Betrachtungssystem 10, 11 wiedergege- ben zu werden. Diese zweite Ausführungsform hat den Vorteil, dass mehrere Visualisierungs- und Betrachtungssysteme 10, 11 mit jeweils einer eigenen Scheinfenster-Steuereinheit 5 mit Steuergerät 7 vorgesehen sein können, die sich an verschiedenen Zielorten befinden, denen jedoch alle die gleichen aufgenommenen Bilder zugeführt werden. Damit kann dann mit jeder Scheinfenster-Steuereinheit 5 ein anderer Scheinfensterabstand s eingestellt, d. h. ein anderes Objekt anvisiert und auf dem damit jeweils verbundenen Betrachtungssystem 11 dargestellt werden.The transferred images are decompressed in both cases at the destination, if necessary, and then fed in series or in parallel to the dummy window control unit 5, processed in the manner described above (ie extracting and zooming the pixel windows) and stored in a third image memory (destination memory) 8, combined and finally reproduced with a visualization and viewing system 10, 11. This second embodiment has the advantage that a plurality of visualization and viewing systems 10, 11 can be provided, each with its own pseudo-window control unit 5 with control unit 7, which are located at different destinations, but where all the same recorded images are supplied. In this way, with each dummy window control unit 5, a different apparent window spacing s can be set, ie another object can be sighted and displayed on the respectively connected viewing system 11.
Figur 7 zeigt ein Flussdiagramm dieser zweiten Ausführungsform des Verfahrens, wobei gleiche Schritte wie in Figur 5 mit gleichen Bezugszeichen versehen sind.Figure 7 shows a flow chart of this second embodiment of the method, wherein the same steps as in Figure 5 are provided with the same reference numerals.
Wie bereits erwähnt wurde, werden am Ort der Kameras nach dem Start des Verfahrens die Bilder aller Kameras zunächst in einem Schritt Kn kal wie oben erläutert kalibriert und in dem zweiten Bildspeicher 4 gespeichert. Anstelle eines Einle- sens der Bilder jeder Kamera in die Scheinfenster-Steuereinheit 5 gemäß Figur 5, werden die Bilder nun mit dem Schritt PB in die Komprimierungseinrichtung 9 eingelesen, dort mit dem Schritt TB komprimiert, in dem Panoramabildspeicher 91 kombiniert und gespeichert, um dann mit dem Schritt Tr gesendet zu werden. Nachdem dieser Ablauf für die Bilder aller Panoramakameras durchgeführt wurde, erfolgt ein Rücksprung, um neu aufgenommene Bilder der Panoramakameras zu komprimieren, zu kombinieren und zu senden, wobei eine erneute Kalibrierung im allgemeinen nur dann vorgenommen werden muss, wenn die Kameras neu aufgebaut wurden oder sich die aufzunehmende Szene zum Beispiel hinsichtlich ihrer Helligkeit o.a. wesentlich geändert hat.As already mentioned, at the location of the cameras after the start of the method, the images of all the cameras are first calibrated in a step Kn kal as explained above and stored in the second image memory 4. Instead of inserting the images of each camera into the dummy window control unit 5 according to FIG. 5, the images are now read into the compression device 9 with the step PB, compressed there with the step TB, combined in the panoramic image memory 91 and then stored to be sent with the step Tr. After this process has been performed on the images of all panoramic cameras, a return is made to compress, combine and send newly captured images from the panoramic cameras, generally only having to recalibrate when the cameras are rebuilt or up the scene to be recorded, for example, in terms of their brightness or the like has changed significantly.
Die ausgesendeten Bilder werden in einem Schritt Re empfangen und der Schemfenster-Steuereinheit 5 zugeführt. Diese liest gemäß dem ersten Schritt Sl den eingestellten Scheinfensterabstand s aus dem Steuergerät 6 aus. Dieser und die weiteren Schritte S2 bis S6 entsprechen den oben im Zusammenhang mit dem ersten Verfahren gemäß Figur 5 beschriebenen Schritten Sl bis S6 und sollen hier nicht erneut beschrieben werden.. Nachdem auf diese Weise aus den Bildern aller Panoramakameras jeweils ein Teilbild ausgewählt und dieses ggf. entsprechend vergrößert wurde, werden die Teilbilder kombiniert und gemäß Schritt Bd mit dem Visualisierungs- und Betrachtungssystem 10, 11 dargestellt, und es erfolgt ein Rücksprung zu dem Schritt Re, um das Verfahren ggf. für eine andere Kamerapositionierung bzw. neu aufgenommene und übertragene Panoramabilder zu wiederholen.The emitted images are received in a step Re and fed to the Schem window control unit 5. This reads according to the first step Sl the set apparent window spacing s from the control unit 6. This and the further steps S2 to S6 correspond to the steps S1 to S6 described above in connection with the first method according to FIG. 5 and will not be described again here. After a partial image has been selected in each case from the images of all the panoramic cameras and this has possibly been enlarged accordingly, the partial images are combined and displayed with the visualization and viewing system 10, 11 according to step Bd, and a return to the step Re, if necessary, to repeat the procedure for another camera positioning or newly recorded and transmitted panorama pictures.
Für eine eventuell erforderliche Interpolation oder Rundung bei der Berechnung der Pixelverschiebungen und / oder der Zoomfaktoren gelten die obigen Erläuterungen.For any necessary interpolation or rounding in the calculation of pixel shifts and / or zoom factors, the above explanations apply.
Figur 8 zeigt ein Blockschaltbild einer dritten Ausführungsform der erfmdungsge- mäßen Vorrichtung. Gleiche bzw. einander entsprechende Komponenten wie in den Figuren 4 und 6 sind wieder mit gleichen Bezugszeichen versehen.FIG. 8 shows a block diagram of a third embodiment of the device according to the invention. The same or corresponding components as in Figures 4 and 6 are again provided with the same reference numerals.
Der wesentliche Unterschied zu der ersten und zweiten Ausführungsform besteht darin, dass bei der dritten Ausführungsform konventionelle Kameras mit einem üblichen Blickwinkel von zum Beispiel im Bereich zwischen etwa 20 und etwa 30 Grad verwendet werden.The essential difference from the first and second embodiments is that in the third embodiment, conventional cameras are used with a common viewing angle of, for example, in the range between about 20 and about 30 degrees.
Da in diesem Fall die oben erläuterte Pixelverschiebung der Teilbilder in sinnvollem Umfang nicht möglich ist, sind diese Kameras (mit Ausnahme derjenigen Kamera, die im Falle einer ungeraden Anzahl von Kameras auf der Mittelachse M liegt) auf der gemeinsamen Schiene oder Basisplattform (Stereobasis E) drehbar, zum Beispiel auf einem Drehteller befestigt, um eine Ausrichtung auf das anvisierte Objekt vornehmen zu können.Since, in this case, the above-explained pixel shift of the partial images is not possible to a reasonable extent, these cameras (with the exception of the camera, which in the case of an odd number of cameras on the central axis M) are on the common rail or base platform (stereo base E) rotatable, for example, mounted on a turntable to make an alignment on the targeted object can.
Die von den Kameras aufgenommenen Bilder werden wiederum vorzugsweise digitalisiert und zunächst nach Zwischenspeicherung in einem ersten Bildspeicher 2 in einer Kalibrierungseinrichtung 3 wie oben erläutert kalibriert, bevor sie in einem zweiten Bildspeicher 4 zwischengespeichert und der Scheinfenster-Steuereinheit 5 zugeführt werden. Jeder Drehteller wird vorzugsweise mit einem digital steuerbaren Schrittmotor gedreht. Diese Drehung bzw. Ansteuerung der Schrittmotoren erfolgt durch die Scheinfenster-Steuereinheit 5 in Abhängigkeit von einem mittels des Steuergerätes 7 eingestellten Scheinfensterabstand s und dem aus dem Systemspeicher 6 ausgele- senen Kameraabstand d anstelle der oben beschriebenen Pixelverschiebung der Teilbilder jeder Panoramakamera. Die Berechnung der jeweiligen Schwenkwinkel erfolgt dabei in gleicher Weise wie es oben für die Pixelverschiebung beschrieben wurde.The images taken by the cameras are in turn preferably digitized and first calibrated after buffering in a first image memory 2 in a calibration device 3 as explained above, before being temporarily stored in a second image memory 4 and fed to the dummy window control unit 5. Each turntable is preferably rotated with a digitally controllable stepper motor. This rotation or activation of the stepper motors takes place by the dummy window control unit 5 as a function of a dummy window spacing s set by means of the control unit 7 and the camera distance d read from the system memory 6 instead of the pixel shift of the partial images of each panoramic camera described above. The calculation of the respective swivel angle takes place in the same way as described above for the pixel shift.
Der erforderliche Zoomfaktor wird ebenfalls für jede Kamera wie oben erläutert berechnet. Da aus den oben genannten Gründen eine Makropixelbildung im Falle der konventionellen Kameras nicht sinnvoll ist, wird das Zoomen in der für diese Kameras üblichen Weise (zum Beispiel optisch über eine Änderung der Objektivbrennweite oder in digitaler Form) durch die Scheinfenster-Steuereinheit 5 vorge- nommen, um die Kameras dadurch virtuell auf einem gleichen Abstand um das anvisierte Objekt anzuordnen.The required zoom factor is also calculated for each camera as explained above. Since macropixel formation is not expedient in the case of the conventional cameras for the abovementioned reasons, zooming in the manner customary for these cameras (for example optically via a change in the lens focal length or in digital form) is performed by the dummy window control unit 5 in order to arrange the cameras virtually at an equal distance around the targeted object.
Die Kameras werden zu diesen Zwecken vorzugsweise über eine bekannte Schnittstelle wie zum Beispiel IEEE 1394 oder DCAM mittels der Scheinfenster- Steuereinheit 5 digital angesteuert.The cameras are preferably digitally controlled for these purposes via a known interface such as IEEE 1394 or DCAM by means of the dummy window control unit 5.
Die im Anschluss daran aufgenommenen Bilder werden wiederum vorzugsweise in einem dritten Bildspeicher (Zielbildspeicher) 8 kombiniert und gespeichert, um mit einer Komprimierungseinrichtung 9 komprimiert und zu einem Visualisierungssys- tem 10 mit einem entsprechenden Betrachtungssystem 11 wie zum Beispiel einem autostereoskopischen Monitor übertragen zu werden.The subsequently acquired images are in turn preferably combined in a third image memory (destination image memory) 8 and stored to be compressed by a compression device 9 and transmitted to a visualization system 10 with a corresponding viewing system 11 such as an autostereoscopic monitor.
Der Ablauf dieser dritten Ausfuhrungsform des Verfahrens ist in dem Flussdiagramm der Figur 9 dargestellt, wobei wiederum gleiche oder einander entsprechen- de Schritte wie in den Figuren 5 und 7 mit gleichen Bezugszeichen versehen sind. Nach dem Kalibrieren der Kameras (Schritt Kn kal) wird in einem ersten Schritt S 1 zunächst der aktuell eingestellte Scheinfensterabstand s sowie die Anzahl n und der Abstand d der Kameras in die Scheinfenster-Steuereinheit 5 eingelesen. In einem zweiten Schritt S2 wird eine Kamera durch Erhöhung eines Laufindex i bzw. j aus- gewählt. In einem dritten Schritt S3 wird der Winkel für diese Kamera, mit dem diese auf den Objektpunkt F auszurichten ist, wie oben erläutert berechnet, und in einem vierten Schritt S4 wird die Kamera durch Ansteuerung des zugeordneten Schrittmotors mit der Scheinfenster-Steuereinheit 5 entsprechend geschwenkt.The sequence of this third embodiment of the method is illustrated in the flowchart of FIG. 9, again with identical or corresponding steps as in FIGS. 5 and 7 having the same reference numerals. After calibrating the cameras (step Kn kal), the currently set apparent window spacing s as well as the number n and the distance d of the cameras are read into the dummy window control unit 5 in a first step S 1. In a second step S2, a camera is selected by increasing a running index i or j. In a third step S3, the angle for this camera, with which this is to be aligned to the object point F, calculated as explained above, and in a fourth step S4, the camera is pivoted by driving the associated stepping motor with the dummy window control unit 5 accordingly.
Weiterhin wird in einem fünften Schritt S5 für die betreffende Kamera der Zoomfaktor wie oben erläutert berechnet und die Kamera in einem sechsten Schritt S6 in entsprechender Weise durch die Scheinfenster-Steuereinheit 5 gezoomt.Furthermore, in a fifth step S5 for the relevant camera, the zoom factor is calculated as explained above and the camera is zoomed in a sixth step S6 in a corresponding manner by the dummy window control unit 5.
Mit dem Schritt BA wird dann mit der Kamera das Bild aufgenommen und in dem Zielbildspeicher 8 gespeichert, bevor dieser Ablauf durch Rücksprung zu dem zweiten Schritt S2 für eine nächste Kamera wiederholt wird.With the step BA, the image is then taken with the camera and stored in the target image memory 8, before this process is repeated by returning to the second step S2 for a next camera.
Die auf diese Weise mit sämtlichen Kameras aufgenommenen Bilder werden mit dem Schritt TB in dem Zielbildspeicher 8 kombiniert und gegebenenfalls in der Komprimierungseinrichtung 9 komprimiert, bevor sie in einem Schritt Tr zu einer Empfangsstation übertragen werden, so dass das Verfahren für neu aufgenommene Bilder mit dem ersten Schritt Sl wiederholt werden kann.The images recorded in this way with all the cameras are combined with the step TB in the destination image memory 8 and optionally compressed in the compression device 9 before being transmitted to a receiving station in a step Tr, so that the process for newly captured images with the first Step S1 can be repeated.
Die empfangenen Bilder werden an der Empfangsstation gegebenenfalls de- komprimiert (Schritt Re) und mit einem Visualisierungssystem auf einem Betrachtungssystem 11 dargestellt (Schritt Bd).The received images are optionally decompressed at the receiving station (step Re) and displayed on a viewing system 11 with a visualization system (step Bd).
Eine Vorteil dieser dritten Ausführungsform besteht darin, dass die bei der ersten und zweiten Ausführungsform im Falle einer nicht ganzzahligen Pixelverschiebung bzw. eines nicht ganzzahligen Zoomfaktors erforderliche Pixel-Interpolation hier nicht erforderlich ist, so dass der Aufwand für die Signalverarbeitung insoweit geringer ist. Sofern die mechanischen Teile wie insbesondere die Schrittmotoren und die Zoomeigenschaften der Kamera nicht hinreichend genau arbeiten, können die erzeugten Bilder durch die Scheinfenster- Steuereinheit entsprechend nachbearbeitet werden.An advantage of this third embodiment is that the pixel interpolation required in the case of a non-integer pixel shift or a non-integer zoom factor in the first and second embodiments is not required here, so that the outlay for the signal processing is lower in this respect. If the mechanical parts, in particular the stepping motors and the zooming properties of the camera, do not operate with sufficient accuracy, the generated images can be reworked accordingly by the dummy window control unit.
Für alle Ausfuhrungsformen gilt, dass die Abstände zwischen den Kameras zur Optimierung der Bildwiedergabe und/oder zur Anpassung an einen gewählten Scheinfensterabstand und/oder an die Eigenschaften eines autostereoskopischen Monitors bei schräger Betrachtung für alle Kameras in gleichem oder unterschiedlichem Ma- ße verändert werden können. In diesem Falle müssten jeweils die Ausrichtungen der Kameras und die einzelnen Zoomfaktoren unter Berücksichtigung dieser ggf. unterschiedlichen Abstände berechnet werden.For all embodiments, the distances between the cameras to optimize the image reproduction and / or to adapt to a selected apparent window spacing and / or the properties of an autostereoscopic monitor in oblique viewing for all cameras can be changed to the same or different extent. In this case, the orientations of the cameras and the individual zoom factors would have to be calculated taking into account these possibly different distances.
Die Anzahl der verwendeten Kameras wird im wesentlichen durch die Anzahl von seitlichen Betrachtungsperspektiven bestimmt, die mit dem betreffenden Monitor dargestellt werden sollen bzw. dargestellt werden können. The number of cameras used is essentially determined by the number of lateral viewing perspectives that are to be displayed with the respective monitor.

Claims

Ansprüche claims
1. Verfahren zur stereoskopischen Aufnahme von Objekten für eine dreidimensionale Visualisierung, mit mindestens zwei Kameras, bei dem die Ausrichtung mindes- tens einer Kamera auf ein Objekt durch Auswahl eines das Objekt enthaltenden Bildbereiches oder Teilbildes aus dem von der Kamera aufgenommenen Gesamtbild vorgenommen wird.1. A method for the stereoscopic recording of objects for a three-dimensional visualization, comprising at least two cameras, wherein the alignment of at least one camera is performed on an object by selecting an object-containing image area or partial image from the captured from the camera overall image.
2. Verfahren zur stereoskopischen Aufnahme von Objekten für eine dreidimensiona- Ie Visualisierung, mit mindestens zwei Kameras, die mit einem gleichen Abstand von einem Objekt anzuordnen sind, bei dem der Abstand mindestens einer Kamera von dem Objekt durch Veränderung der Darstellungsgröße eines von der Kamera aufgenommenen Bildes relativ zu der Darstellungsgröße eines von mindestens einer der anderen Kameras aufgenommenen Bildes eingestellt wird.2. A method for stereoscopically recording objects for a three-dimensional visualization, comprising at least two cameras which are to be arranged at an equal distance from an object, wherein the distance of at least one camera from the object by changing the display size of a captured by the camera Image is adjusted relative to the display size of an image taken by at least one of the other cameras.
3. Verfahren zur stereoskopischen Aufnahme von Objekten für eine dreidimensionale Visualisierung, mit mindestens zwei Kameras, die zur Darstellung einer schrägen Betrachtungsperspektive vorgesehen sind, die mit einem ersten Schritt auf das Objekt ausgerichtet und mit einem zweiten Schritt mit einem im wesentlichem glei- chen Abstand von dem Objekt angeordnet werden, wobei mindestens einer dieser Schritte mit einem Verfahren nach Anspruch 1 oder 2 durchgeführt wird.3. A method for stereoscopically recording objects for a three-dimensional visualization, comprising at least two cameras, which are provided for displaying an oblique viewing perspective, which is aligned with a first step on the object and with a second step with a substantially equal distance from the object are arranged, wherein at least one of these steps is performed by a method according to claim 1 or 2.
4. Verfahren nach Anspruch 1, bei dem die Kameras auf einer gemeinsamen Stereobasis angeordnet sind und der Bildbereich oder das Teilbild anhand eines Winkels, mit dem eine Kamera auf ein Objekt zu richten ist, ausgewählt wird, wobei der Winkel anhand des senkrechten Abstandes des Objektes von der Stereobasis und des Abstandes der Kamera von der senkrechten Projektion des Objektes auf die Stereobasis ermittelt wird.4. The method of claim 1, wherein the cameras are arranged on a common stereo base and the image area or the partial image based on an angle with which a camera is to be directed to an object is selected, wherein the angle based on the vertical distance of the object is determined by the stereo base and the distance of the camera from the vertical projection of the object on the stereo base.
5. Verfahren nach Anspruch 2, bei dem die Darstellungsgröße anhand eines Zoomfaktors verändert wird, der für eine Kamera anhand des Verhältnisses zwischen ihrem tatsächlichen Abstand von dem Objekt und dem tatsächlichen Abstand mindestens einer der anderen Kameras von dem Objekt ermittelt wird.5. The method of claim 2, wherein the display size is changed based on a zoom factor indicative of a camera based on the ratio between its actual distance from the object and the actual distance of at least one of the other cameras is determined by the object.
6. Verfahren nach Anspruch 2, bei dem die Darstellungsgröße durch Veränderung der Anzahl von Bildpixeln eines aufgenommenen Bildes, die zu einem Bildpixel eines Bildbereiches oder Teilbildes zusammengefasst werden, verändert wird.6. The method of claim 2, wherein the display size is changed by changing the number of image pixels of a captured image that are combined to form an image pixel of an image area or field.
7. Verfahren nach mindestens einem der Ansprüche 1 bis 3, bei dem ein zu visualisierendes Objekt durch Einstellung des Objektabstandes ausgewählt wird.7. The method according to at least one of claims 1 to 3, wherein an object to be visualized by selecting the object distance is selected.
8. Vorrichtung zur stereoskopischen Aufnahme von Objekten für eine dreidimensionale Visualisierung, mit einer Steuereinheit (5) zur Durchführung eines Verfahrens nach mindestens einem der vorhergehenden Ansprüche.8. An apparatus for stereoscopic recording of objects for a three-dimensional visualization, comprising a control unit (5) for performing a method according to at least one of the preceding claims.
9. Vorrichtung nach Anspruch 8, in Kombination mit mindestens zwei auf einer gemeinsamen Basis (E) montierten Panoramakameras (Kl, K2).9. Apparatus according to claim 8, in combination with at least two mounted on a common base (E) panoramic cameras (Kl, K2).
10. Vorrichtung nach Anspruch 8, bei der die Steuereinheit (5) zur Verarbeitung der von den Kameras aufgenommenen Bilder gemäß Anspruch 1 und / oder Anspruch 2 in Abhängigkeit von einem durch einen Betrachter in die Steuereinheit (5) eingebbaren Objektabstand vorgese- hen ist.10. Apparatus according to claim 8, wherein the control unit (5) is provided for processing the images captured by the cameras according to claim 1 and / or claim 2 in dependence on an object distance which can be entered by a viewer into the control unit (5).
11. Vorrichtung nach Anspruch 8, mit einer Mehrzahl von Kameras (Kl,....Kn), der Steuereinheit (5) und einer Übertragungseinrichtung (9) zum Übertragen der verarbeiteten Bilder zu einer Betrach- tungsstation, die ein Visualisierungssystem (10) mit einem autostereoskopischen Monitor (11) umfasst. 11. The device according to claim 8, comprising a plurality of cameras (K1,... Kn), the control unit (5) and a transmission device (9) for transmitting the processed images to a viewing station which has a visualization system (10). comprising an autostereoscopic monitor (11).
12. Vorrichtung nach Anspruch 8, mit einer Mehrzahl von Kameras (Kl,....Kn) und einer Übertragungseinrichtung (9) zum Übertragen der aufgenommenen Bilder zu mindestens einer Betrachtungsstation, die jeweils eine Steuereinheit (5) und ein Visualisierungssystem (10) mit einem autostereoskopischen Monitor (11) umfasst.12. The apparatus of claim 8, comprising a plurality of cameras (Kl, .... Kn) and a transmission device (9) for transmitting the recorded images to at least one viewing station, each having a control unit (5) and a visualization system (10). comprising an autostereoscopic monitor (11).
13. Computerprogramm mit Programmcode-Mitteln zur Durchfuhrung eines Verfahrens oder zur Anwendung in einem Verfahren nach mindestens einem der Ansprüche 1 bis 7, wenn das Programm auf einem programmierbaren Computer ausge- führt wird.13. Computer program with program code means for carrying out a method or for use in a method according to at least one of claims 1 to 7, when the program is executed on a programmable computer.
14. Computerprogramm nach Anspruch 13, das dazu vorgesehen ist, in eine Vorrichtung nach mindestens einem der Ansprüche 8 bis 12 geladen zu werden, wenn diese mit dem Internet verbunden ist.14. Computer program according to claim 13, which is intended to be loaded into a device according to at least one of claims 8 to 12, when it is connected to the Internet.
15. Computeφrogramm-Produkt, das auf einem Computer-lesbaren Medium gespeichert ist, mit Programmcode-Mitteln zur Durchführung eines Verfahrens oder zur Anwendung in einem Verfahren nach mindestens einem der Ansprüche 1 bis 7. A computer program product stored on a computer-readable medium, comprising program code means for performing a method or for use in a method according to any one of claims 1 to 7.
EP05760830A 2005-06-20 2005-06-20 Method and device for the stereoscopic recording of objects for a three-dimensional visualization Withdrawn EP1941745A1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2005/006617 WO2006136181A1 (en) 2005-06-20 2005-06-20 Method and device for the stereoscopic recording of objects for a three-dimensional visualization

Publications (1)

Publication Number Publication Date
EP1941745A1 true EP1941745A1 (en) 2008-07-09

Family

ID=35482397

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05760830A Withdrawn EP1941745A1 (en) 2005-06-20 2005-06-20 Method and device for the stereoscopic recording of objects for a three-dimensional visualization

Country Status (2)

Country Link
EP (1) EP1941745A1 (en)
WO (1) WO2006136181A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016113593A1 (en) * 2016-07-22 2017-07-27 Carl Zeiss Meditec Ag Digital stereo surgical microscope with variable stereo base

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5856843A (en) * 1994-04-26 1999-01-05 Canon Kabushiki Kaisha Stereoscopic display method and apparatus
JPH09289655A (en) * 1996-04-22 1997-11-04 Fujitsu Ltd Stereoscopic image display method, multi-view image input method, multi-view image processing method, stereoscopic image display device, multi-view image input device and multi-view image processor
AU2002356414A1 (en) * 2001-12-20 2003-07-09 Wave Group Ltd. A panoramic stereoscopic imaging method and apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006136181A1 *

Also Published As

Publication number Publication date
WO2006136181A1 (en) 2006-12-28

Similar Documents

Publication Publication Date Title
DE102006055641B4 (en) Arrangement and method for recording and reproducing images of a scene and / or an object
AT394459B (en) METHOD FOR OBTAINING IMAGES FOR USE IN REPRESENTING A THREE-DIMENSIONAL SHEET IMAGE RECORDING CARRIER ON WHICH THE FIRST AND SECOND GROUPS OF SERIES OF SUCH IMAGES ARE STORED
WO2007121970A2 (en) Method and device for the creation of pseudo-holographic images
DE19640936A1 (en) Position adaptive autostereoscopic monitor (PAM)
DE102005023461A1 (en) monitoring device
EP3037863A1 (en) Digital optical device with folding bridge design
DE102011103378B3 (en) monitoring device
EP3170307B1 (en) Method for displaying three dimensional scene on an autostereoscopic display
DE102008024732A1 (en) Method for creating stereoscopic temporary perspective in medical-optical observation device, involves determining displacement vector field from two images with different perspectives, where image is provided in one perspective
EP1941745A1 (en) Method and device for the stereoscopic recording of objects for a three-dimensional visualization
WO2019162411A2 (en) Generation of panoramic images
DE19840972A1 (en) Stereoscopic display system for displaying 3-D image from 2-D image
WO2010022805A1 (en) Display system
WO2012010117A1 (en) Method and device for recording three-dimensional image material for different display variables while utilizing the particular full depth budget
EP0614595B1 (en) Method and device for reproducing three-dimensional images
DE102019118510B4 (en) Image processing method
DE102012102962B3 (en) Method for recording image in photo chip of e.g. microscope device, involves storing actually recorded pixel if correlating pixels of image and auxiliary image match with each other, and storing auxiliary image by auxiliary image sensor
EP1680929B1 (en) Stereoprojection control system
WO1983004155A1 (en) Stereoscopic television
AT518256A4 (en) GENERATING A PANORAMIC IMPOSITION FOR STEREOSCOPIC REPRODUCTION AND SUCH A PLAYBACK
DE102008017317B4 (en) Apparatus and method for displaying image mosaics
EP1019776A1 (en) Method and device for producing an image which can be represented in 3-d
DE102019132716A1 (en) Camera system and transmission system for racing
DE102017131083A1 (en) System and method for recording and visualizing a 3D scene in real time
EP0567477B1 (en) Process for reproducing three-dimensional scenes

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080502

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: NASKE, ROLF-DIETER

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20081111

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: RAUCHDOBLER, EDUARD

APBK Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNE

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

APBX Invitation to file observations in appeal sent

Free format text: ORIGINAL CODE: EPIDOSNOBA2E

APBZ Receipt of observations in appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNOBA4E

APBT Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9E

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20130103