EP3830796A1 - Verfahren und datenverarbeitungssystem zur synthese von bildern - Google Patents

Verfahren und datenverarbeitungssystem zur synthese von bildern

Info

Publication number
EP3830796A1
EP3830796A1 EP19758614.2A EP19758614A EP3830796A1 EP 3830796 A1 EP3830796 A1 EP 3830796A1 EP 19758614 A EP19758614 A EP 19758614A EP 3830796 A1 EP3830796 A1 EP 3830796A1
Authority
EP
European Patent Office
Prior art keywords
sequence
lens
individual images
image
creating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19758614.2A
Other languages
English (en)
French (fr)
Inventor
Michael Wick
Christian Wojek
Vladan Blahnik
Torsten Sievers
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss AG
Original Assignee
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss AG filed Critical Carl Zeiss AG
Publication of EP3830796A1 publication Critical patent/EP3830796A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Definitions

  • the invention relates to a method for creating a second sequence of individual images by means of a first sequence of individual images, the individual images of the first sequence of individual images being recorded using a lens.
  • the invention relates to a software-based method for the modification or / and the creation of moving images based on predefined parameters.
  • animations are generated for example for feature films, computer games, medical imaging, security applications for face recognition, in computer-based simulations, in virtual reality applications or in industrial measurement technology by means of image synthesis, also called rendering or rendering.
  • image synthesis also called rendering or rendering.
  • One technique used here provides for the virtual beam path to be calculated from a virtual sensor point through a virtual pinhole aperture into a virtual three-dimensional scene and for the sensor point to be assigned the corresponding color and intensity depending on the point of impact in the virtual scene.
  • the aim is to integrate the image content to be embedded in the real image sequence as seamlessly as possible.
  • image content it is not necessarily a matter of suggesting to the viewer that it is actually real content, but rather creating the impression that the entire image content is natively without Post processing has arisen.
  • a great deal of effort is currently being put into this impression, which primarily involves image-by-image manipulations in post-production.
  • image processing programs changes are made to individual image contents with the aim of fitting them as closely as possible into the real filmed scenery.
  • Most of the image post-processing has to be done manually and is based on experience. For a convincing viewing experience, it is crucial that the modeled special effects blend to a certain extent with the real image content and that the viewer perceives no break.
  • the settings applicable to the respective situation (FOV, opening, entrance pupil, position, focal length, etc.) are simulated using physical models.
  • the method according to the invention for creating a second sequence of individual images by means of a first sequence of individual images, the individual images of the first or the second sequence of individual images being recorded using a lens comprises the steps of determining the properties of a light beam within the lens for the individual images of the first sequence and the creation or adaptation of the individual images of the second sequence taking into account the properties of a light beam within the lens of the respective individual image of the first sequence.
  • the adaptation of the image content of the individual images of the second sequence can be a subsequent conversion of already calculated or otherwise generated individual image sequences.
  • the individual images of the first sequence can be combined exactly with the images of the second sequence.
  • the creation of the individual images of the second sequence can be the creation of the individual image sequence by means of an objective, that is to say the taking of an image sequence in the conventional sense, or a calculation a single image sequence in the sense of an image synthesis (rendering) based on a virtual scene.
  • individual elements such as people or objects can be extracted from the images of the second sequence and integrated into the images of the first sequence.
  • the step of determining the properties of a light beam within the lens comprises determining the entrance pupil and the field of view of the lens for the individual images of the first sequence.
  • the step of determining the entrance pupil and the field of view, also called field of view (FoV), of the lens makes it possible, when adapting or creating the image content of the individual images of the second sequence, the exact viewing direction, the field of view actually captured by the lens and to consider the entrance pupil for the calculation or conversion of the image content of the second sequence.
  • FoV field of view
  • the entrance pupil and / or the field of view may change slightly, but still noticeably, when the lens is focused to adapt to a different lens-subject distance.
  • This effect manifests itself, among other things, as a change in the image section and is also known as pumping ("focus breathing"). While this effect is hardly relevant in single shots, it is noticeable in film sequences and is particularly noticeable when simu is subsequently inserted.
  • the entrance pupil and the field of view are already taken into account when calculating the image content to be added, the image content can be combined in a much simpler way and, above all, largely without manual intervention respectively.
  • a preferred embodiment of the invention comprises a step of merging the image content of a first sequence of individual images and the image content of a second sequence of individual images, the merging adapting the image content of the individual images of the second sequence to the image content of the individual images of the first sequence or a creation of the individual images of the second sequence comprises, taking into account the entrance pupil and the field of view of the lens of the respective individual image first sequence.
  • the two image sequences are combined - for example, a superimposition of both image sequences or an insertion of an image content of the second individual image sequence in the image content of the first sequence of images - possible without major adjustments.
  • a position of an exit pupil, a depth of field, a possibly also color-dependent vignetting, a distortion, a bokeh, one Color errors, a focus, a position of lens elements within a lens, an aperture, an exposure time, a color phenomenon and / or a reflex within the camera must be taken into account.
  • the parameters mentioned can be taken into account individually or in any combination.
  • other relevant parameters such as the position of light sources, the type of light source, the distribution and intensity of shadows, motion blur, etc., can also be recorded.
  • the spectral distribution of the light, the radiation characteristic, the intensity of the radiation etc. can be recorded.
  • the step of creating the individual images of the second sequence comprises creating the individual images by means of rendering a virtual scene. This is a common requirement and can be done using the detection of the position of the entrance pupil in the scene and the field of view of the lens for the individual images of the first sequence can be solved in a simple manner.
  • the step of adapting the individual images of the second sequence can precede the creation of the individual images by means of a lens for a camera.
  • the lens for the camera does not have to be the same lens with which the first sequence of the individual images was taken. Rather, on the basis of the determination of the entrance pupil and the field of view, the image content of the second individual image sequence can be converted in such a way that the first and the second sequence of individual images can be combined without problems.
  • the step of determining comprises recording one or more imaging parameters of the objective when the first sequence of the individual images is recorded.
  • the imaging parameters thus acquired for each individual image or for a plurality of individual images - such as the entrance pill, the field of view, etc., can be used when creating or adapting the second sequence of the individual images.
  • the parameters used in this recording are recorded, in particular also time-resolved, and in the creation of a virtual one Scene based on this shot.
  • the imaging parameters of the lens are used in real time to create the individual images of the second sequence.
  • This can be used, for example, to create a green screen / To pass on the blue screen scene during the creation, i.e. the recording, in real time to a simulation computer, which realizes the intended combination with already prepared image content or with image content currently calculated and displays it on a display such as a monitor or an eyepiece.
  • a corresponding blue screen / green screen image can thus be assessed as it is being created and corrected or repeated, if necessary.
  • the step of determining the properties of a light beam for a first lens is carried out and the step of creating the individual images of the second sequence is additionally carried out taking into account the properties of a light beam within a second lens.
  • a first individual image sequence which was recorded with a first lens (for example a wide-angle lens)
  • a second individual image sequence which then gives the impression that it was recorded with another lens (for example a telephoto lens) Service.
  • the step of determining comprises recording a chronological sequence of imaging parameters.
  • the parameters required for joining can be recorded and taken into account for all individual images or for a specific subset of the individual images.
  • the camera operator can play through a recording in advance in a virtual scene with a virtually working camera and thus plan the scene to be recorded. This can be called pre-visualization or pre-visualization.
  • Possible time-resolved parameters can be, for example, the position of the lens, the direction of the lens, the current settings regarding focus, aperture and / or zoom. This Recordings can be used in a later step to plan a set.
  • pre-visualization by means of rendering is used in order to minimize the general costs.
  • the advantage of pre-visualization is that a director, cameraman or VFX supervisor with various staging and art application options such as lighting, camera placement, movement and optical settings of the lens such as focus section, focal length or You can experiment with depth of field, direction and editing without significant production costs.For projects with a larger budget, the directors work with actors in the visual effects department or in special rooms.
  • Previsualizations can add music, sound effects and dialogs to emulate the appearance of fully produced and edited scene sequences. They are most commonly used in scenes with stunts and special effects (such as chroma key).
  • digital videos, photography, hand-drawn art, clip art and 3D animations are combined.
  • rendering can be used for pre-visualization in construction planning, cosmetic surgery or the positioning of medical implants.
  • the method according to the invention can additionally include planning a recording of the first sequence of individual images on the basis of the recording of the temporal sequence of imaging parameters and / or recording the first sequence of individual images using the recording of the temporal sequence of imaging parameters , As already explained, this enables the creation of image sequences with a high degree of pre-planning by means of a very realistic recording simulation.
  • the invention relates to a data processing system with means for executing the method according to the invention and a computer program.
  • the optical design that is to say the dimensions, properties and the position of the lenses within a lens
  • modern animations for feature films are generated using rendering.
  • Virtual rays from a virtual sensor pixel are tracked through a virtual pinhole aperture in a virtual three-dimensional scene.
  • the pixel then receives a corresponding color and intensity, depending on where the beam hits the scene.
  • the present invention replaces the simple pinhole model with the ray tracing of an optical design program. This leads to an extremely realistic simulation of the lens.
  • wave-optical effects can be simulated in addition to or in addition to the ray tracing method.
  • the point spread function can be calculated by means of a diffraction integral.
  • a possible embodiment of the invention can consist of using a three-dimensional computer model of a film set for planning scenes (pre-visualization).
  • scenes to be filmed can, for example, only be roughly modeled and / or animated and - based on the desired scene - requirements for the actor, camera (and their settings and positions), the required equipment, scenery and / or special effects be derived.
  • the cameraman plans the recording in a virtual scene with a virtual camera.
  • various camera settings can be tested here, for example, before the actual rotation. In this way, costs can be saved, unexpected situations can be recognized and scenes can be better planned.
  • the focus adjustment which is usually carried out manually, can be practiced particularly in the case of fast-moving subjects, or the suitability of certain lens types (real or unrealized prototypes) can be tested. Attitudes regarding artistic aspects and technical feasibility can also be tried out.
  • position, direction, focus, aperture, zoom position can be saved in a time-resolved manner in the simulation. This information is then used to plan the set.
  • this data can then be transferred to an electronically controlled real camera and this sequence of settings can be played on the real camera.
  • Another embodiment can include the partial or complete, photorealistic creation of film scenes based on 3D models.
  • Real film scenes can be overlaid with computer-animated scenes, for example virtual living beings in real sceneries or / and actors in virtual sceneries or combinations of both. So-called green screens are often used for this.
  • computer-animated scenes for example virtual living beings in real sceneries or / and actors in virtual sceneries or combinations of both. So-called green screens are often used for this.
  • the modeling of the lens with a pinhole model only takes into account the (constant) focal length of the lens in a very simple manner.
  • the perspective rendering of a scene alone depends on the position of the entrance and exit pupils and the change in the focal length of the lens.
  • pupil positions are functions of the focusing distance and zoom position that depend on the lens. Also important is the f-number, which determines the depth of focus of the scene. In addition, there are a number of lens parameters such as distortion, marginal light drop, color rendering deviations, chromatic errors, reflex dependencies etc. Specifically, for example, position, direction, focus, aperture and zoom position can be saved in a time-resolved manner during image acquisition in a green screen scene. These settings are used when creating the virtual scene. The advantages are an authentic look and a simple overlay of the images.
  • position, direction, focus, aperture and zoom position can be passed on directly to a real-time simulation during image recording and both images superimposed in the eyepiece or on the display.
  • Setting times of the camera can be shortened by pre-setting the settings within a virtual scene. Entire camera recordings can be planned in advance, and camera settings and changes can be recorded in a virtual camera and displayed on a real camera become.
  • the recording quality of certain film recordings, especially in scenes that cannot be repeated as often as required, can be improved by training the camera operator beforehand.
  • the same impression as when recording a real scene can be generated by an exact simulation of the real lens. Simulated scenes can be animated / generated with a real camera. Virtual prototyping for a lens / camera that actually exists can be carried out.
  • One embodiment of the invention provides for a 3D image simulation to be carried out as part of a computer program with stored and interpolated point spread function data.
  • the process has the following steps:
  • a size, a shape and a position of the exit pupil of a lens for a selected group of pixels; For example, a 2-D point grid with a grid spacing of approx. 5.4 mm can be selected for this;
  • the object space function can be understood as a three-dimensional function of intensities depending on the distance relative to the entrance pupil of a lens; the object space function includes, for example, the spectral properties such as RGB data or grayscale data and / or the distance from the object to the entrance pupil (depth map);
  • the point spread function comprises the optical design data of the objective, possibly including the coating data of individual or all optical elements in the objective;
  • compensation for digital aberration can take place.
  • Another alternative embodiment of the invention provides for a 3-D image simulation to be carried out using data from an optical transfer function.
  • the process has the following steps:
  • a size, a shape and a position of the exit pupil of a lens for a selected group of pixels; For example, a 2-D point grid with a grid spacing of approx. 5.4 mm can be selected for this;
  • the object space function can be understood as a three-dimensional function of intensities depending on the distance relative to the entrance pupil of a lens; the object space function can be obtained, for example, from a combination of the wavelengths and an optical transfer function; in order to obtain the optical transfer function, the exit pupil function (autocorrelation) is folded;
  • the problem arises of performing a Fourier transformation for strongly defocused object space points.
  • This requires a very high raster sampling of the exit pupil, for example 10,000 x 10,000 instead of 30 x 30. This is time-consuming and the run times are very long.
  • an alternative embodiment of the invention provides for performing a ray tracing-based rendering of a 3-D image simulation.
  • the method is based on the fact that the light rays incident in a lens are traced back to the light source.
  • the process has the following steps:
  • a size, a shape and a position of the exit pupil of a lens for a selected group of pixels; For example, a 2-D point grid with a grid spacing of approx. 5.4 mm can be selected for this;
  • Creating a beam function for example, this can represent a probability function and indicate the direction-dependent distribution of beams and, for example, the input coordinates linking the input coordinates with an input beam can result in hundreds to several million output beams, depending on the quality of the rendering that one would like to achieve.
  • Integrating all output beams arriving at the light source for all input beams Create an image.
  • 1A, 1B show a flow chart and a schematic representation of a first method according to the invention
  • 2A, 2B show a flow chart and a schematic representation of a second method according to the invention
  • FIGS. 3A, 3B show a flow chart and a schematic representation of a third method according to the invention.
  • Figure 4 is a schematic representation of a fourth invention
  • FIGS. 1A, 1B show a first method according to the invention for creating a second sequence of individual images by means of a first sequence of individual images.
  • a first sequence of individual images is generated by means of a real camera 10.
  • the individual image sequence can be saved, but it can also only be generated and not recorded.
  • the camera settings and the camera positions of the first image sequence are recorded. This is preferably done during the generation of the image sequence, ie the recording of the first image sequence by means of the real camera 10. If this is carried out during the recording, the recording of the first image sequence can be omitted.
  • the camera settings and positions can be at least the position of the entrance pupil and the field of view of the taking lens, but additional parameters such as an aperture / aperture, exposure time, zoom position, focus etc. can also be recorded.
  • the camera settings and positions are transmitted as data 11 to a virtual camera 12.
  • This step can also take place after the first steps S1 1, S12 or simultaneously with these.
  • the first sequence of images (S1 1), the camera settings and positions (S12) can be recorded and the same (S13) transmitted (S13) can be carried out at the same time or, with suitable intermediate storage, one after the other with a time offset.
  • the camera settings and positions can be transferred accordingly
  • the virtual camera 12 can be, for example, a parameter set for settings of an image synthesis program 18, with which a virtual image sequence 14, resulting from a virtual scene 16 corresponding to the further step S14, can be generated by means of the camera settings and positions .
  • the image synthesis program can be, for example, a calculation program that uses a ray tracing algorithm.
  • a model of the camera 10 can be created in the image synthesis program by means of the data obtained from the real camera 10 and possibly already known data. Using this model - the virtual camera 12 - on the one hand, lens-specific and thus relevant effects for optical imaging can be included. This enables a realistic simulation of the lens used or the entire camera 10.
  • the movement of the real camera 10 and thus possibly also connected effects such as the influence of lighting conditions at different locations or Effects such as motion blur, color reproduction or noise when creating the virtual image can be influenced.
  • a real camera 10 could be used to a certain extent as a controller of a virtual camera 12 for generating a virtual image sequence 14 within a virtual scene 16. In this way, a computer-animated scene can be created in a simple manner.
  • FIGS. 2A, 2B show a second embodiment of a method according to the invention.
  • the method of FIGS. 2A, 2B also provides, as in the method described above, for capturing a first sequence of images by means of a real camera 10 (S21). It is provided in this method that the recording of the first sequence of images takes place in an actually existing real scene 20 and results in a real sequence of images 22. As already explained above, the camera settings and positions are also recorded in this method (S22) and transmitted to a virtual camera 12 (S23).
  • the information 1 1 is already available, for example about the position of the entrance pupil and the field of view of the camera 10 of the real image sequence 22.
  • the first real image sequence 22 could, for example, be a green screen scene during a film recording. In such a case, the position and orientation of the camera 10, focus, aperture, zoom position during the image acquisition could be recorded in a time-resolved manner.
  • the first, real image sequence 22 and the second, virtual image sequence 24 can be combined to form an assembled image sequence 26.
  • the virtual image content of the virtual image sequence 24 can be integrated into the image content of the real image sequence 22.
  • the largely seamless insertion option results in an authentic appearance of the merged image sequence 26.
  • the superimposition / insertion can be carried out in a very simple manner.
  • FIGS. 3A A further embodiment of the method according to the invention is shown in FIGS. 3A.
  • a virtual scene 16 is created taking into account the spatial and other data 13 of a real scene 20.
  • a first image sequence 24 is recorded by means of the virtual camera 12. Since it is not important in this embodiment to save this first image sequence 24. Rather, the aim of this embodiment is to give the camera operator the opportunity to test and plan various settings of the camera before actually taking a real image sequence 22. With a realistic simulation of the real camera 10 by the virtual camera 12, different camera settings and positions can be planned and tried out in this way, for example, also with regard to artistic aspects and technical feasibility.
  • the camera settings and the camera positions of the virtual camera 12 are recorded in a further step (S33).
  • This is preferably time-resolved, ie a time stamp is assigned to each recorded camera setting and position.
  • the settings and positions for each individual image of the individual image sequence are preferably recorded.
  • the frequency of recording can also be adapted to the circumstances. For example, a lower frequency than for each image can be provided.
  • the frequency can be adjustable to a fixed frequency - every nth image - or can be adapted depending on changes taking place.
  • the recorded settings can include position, direction, focus, aperture or zoom position, for example. The information captured in this way can then be used to plan the set and camera rotation.
  • the camera settings and positions recorded in this way can be transferred to a real camera 10 in a further step (S34). These settings can then be taken into account in the real recordings of the second sequence of individual images.
  • the camera settings can be played back in the real camera 20 as a setting sequence during the recording, so that the cameraman is relieved and has to worry about fewer recording details during the recording.
  • Step S41 creates a starting basis for a subsequent rendering, referred to here as the VFX generation.
  • the starting point can be, for example, the data of a virtual scene, which contain the necessary three-dimensional information.
  • any other base can also be used which makes it possible to render from three-dimensional information in such a way that a sequence of individual images is produced.
  • it can also be a preprocessed two-dimensional image with additional depth information or a two-dimensional image in which a 3D position in a three-dimensional scene is assigned to each pixel.
  • the 3D information can be integrated into the two-dimensional image, predefined with regard to the scene depicted, emulated for the scene depicted or generated for the scene depicted, for example on the basis of three-dimensional data obtained by capturing the real image depicted Scene have been obtained using 3D sensors, for example.
  • step S42 lens / camera data are recorded, which can be assigned to a sequence of individual images (frames of a film sequence).
  • the detection can relate, for example, to a lens of a camera and can be carried out, for example, by means of the lens.
  • a film sequence (S43) can preferably be recorded simultaneously with the acquisition of the lens / camera data (S42).
  • the lens / camera data can comprise a sequence of lens data, the sequence each having, for example, a set of lens / camera data for the single image (frame). Alternatively or additionally, only the entire sequence of individual images (film sequence) can be assigned lens / camera data.
  • the lens / camera data can include, for example, information about possible properties and / or settings of the lens itself, such as identification of the lens type or of the individual lens, information about the type of lens, the focal length of the lens, a calibrated focus distance, a calibration ten T-stop value, a depth of field, a hyperfocal distance, a horizontal angle of view or the position and / or size of the entrance pupil, this lens / camera data can, for example, from a real camera or a real lens while recording a first sequence of individual images (film sequence).
  • the determination / calculation and / or recording of the lens / camera data can take place, for example, for each focus point and each effective T-stop value and / or for each individual image (frame).
  • the lens / camera data can include specific physical data which characterize one or more, preferably all, optical elements such as, for example, lenses, diaphragms and / or filters in the lens.
  • These physical data can be, for example, the shape of the lens, the aperture of the element, the maximum aperture of a lens, for example (smallest f-number), the spectral transmittance and the like. act.
  • the specific physical data can be such data that allow a conclusion to be drawn on the optical design of the lens and thus a calculation of the imaging properties and / or the implementation of a method that enables ray tracing, ray casting, a point spread function or a use the optical transfer function.
  • the lens / camera data can include information about the three-dimensional structure of the real filmed scene.
  • the acquisition of this 3D data (S44) can take place, for example, in parallel with the acquisition of the properties and / or settings of the objective (S42).
  • the 3D data can be integrated into the lens / camera data.
  • the 3D data can also be added to the film sequence data (S45).
  • one or more 3D sensors can be used, for example, which generate spatial data, for example via optical or acoustic scanning of the filmed scene, which can be assigned to the filmed sequence of individual images (film sequence).
  • the sensor or sensors can for example be arranged separately from the lens or the camera.
  • the sensor or sensors are preferably located on the camera or lens or are integrated in the camera or lens.
  • the lens / camera data can include position, position and / or movement data, which are additionally recorded in a temporally resolved manner, that is to say, for example, can be assigned to the individual images (frames) of the sequence of individual images (film sequence).
  • the position, position and / or movement information enable the position of the camera or / and the lens with respect to the filmed real scene to be determined and the orientation of the camera or / and the lens with respect to the filmed scene.
  • information about the movement of the camera and / or the lens can also be acquired or derived directly or indirectly.
  • movements of the camera and / or the lens can be derived from the change in the position or the position.
  • sensors can be used which directly detect movement of the camera / lens, such as gyro sensors.
  • the lens / camera data can include lens-specific data, 3D data of the real scene or / and position / position / movement data.
  • this lens / camera data is further processed in real time during the recording and made available for rendering (S46).
  • the lens / camera data can be recorded and only used in a subsequent further processing step, which takes place after the recording (S47).
  • Rendering occurs in step S48, i.e. generating a two-dimensional image based on three-dimensional data.
  • the lens / camera data (S46, S47) can be taken into account when rendering.
  • the rendering can be done using an algorithm that uses one or more of the following methods: a ray tracing (ray function), a raycasting, a point spread function and / or an optical transfer function.
  • a ray tracing ray function
  • a raycasting a point spread function
  • / or an optical transfer function e.g., a pre-processed two-dimensional image with depth information or a two-dimensional image with integrated three-dimensional information can be used to generate the two-dimensional image.
  • the rendering can also only represent a correction of an already existing two-dimensional image on the basis of the lens / camera data.
  • the rendered individual image (frame) or the sequence of individual images (film sequence) can be given an appearance that gives the impression that it is with the lens / camera that corresponds to the objects - jective / camera data was heard, recorded.
  • the lens / camera data can be used for the rendering in real time during the recording of the lens / camera data.
  • the lens / camera data can be made available to the render process in real time (S46), for example by means of a wireless or wired transmission of the lens / camera data to a render computer, and for rendering be used.
  • lens / camera data which have already been recorded beforehand are used for the rendering (S47). It can be provided that the lens / camera data contain, for example, only objective and / or lens-specific data that are not time-resolved.
  • the lens / camera data can comprise, for example, only position and / or position and / or movement data.
  • different lens / camera data can also be used in combination in the rendering.
  • non-time-resolved lens or / and lens-specific data of a first lens can be combined with position and / or position and / or movement data of a second lens / second camera.
  • a film sequence filmed with a first lens can provide position and / or position and / or movement data for rendering with the objective and / or lens-specific data of a second lens. This creates the impression that a film sequence was filmed with a different lens.
  • the rendering can take place in real time or take place in a subsequent step.
  • the rendering can, for example, produce film sequences with a resolution of 2K in real time at a frame rate of 24 fps. With increasing computing power, resolutions in 4K or 8K with the frame rate mentioned are also possible.
  • the rendered film sequences can be displayed during or after generation (S44) on a rendering monitor (S49).
  • the first sequence of individual images (first film sequence) rendered in this way including the lens / camera data can be combined in a subsequent step S50 with a real filmed second sequence of individual images (second film sequence) (“composite”).
  • second film sequence This is the first film sequence have been rendered or corrected with the lens / camera data with which the second film sequence was filmed, the two film sequences can be combined in a simple and seamless manner.
  • the film sequences combined to form a film sequence can be recorded (S51) and displayed on a composite monitor (S52).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Image Generation (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erstellen einer zweiten Abfolge von Einzelbildern mittels einer ersten Abfolge von Einzelbildern, wobei die Einzelbilder der ersten oder der zweiten Abfolge von Einzelbildern mithilfe eines Objektivs aufgenommen wurden, mit folgenden Schritten: Bestimmen der Eintrittspupille und des Sichtfeldes des Objektivs für die Einzelbilder der ersten Abfolge und Erstellen oder Anpassen der Einzelbilder der zweiten Abfolge unter Berücksichtigung der Eintrittspupille und des Sichtfelds des Objektivs des jeweiligen Einzelbilds der ersten Abfolge.

Description

Verfahren und Datenverarbeitungssystem zur Synthese von Bildern
HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren zum Erstellen einer zweiten Abfolge von Einzelbildern mittels einer ersten Abfolge von Einzelbildern, wobei die Einzelbilder der ersten Abfolge von Einzelbildern mithilfe eines Objektivs aufgenommen wurden. Insbesondere betrifft die Erfindung ein softwarebasiertes Verfahren für die Modifikation oder/und das Erstellen von bewegten Bildern aufgrund vordefinierter Parameter.
2. Beschreibung des Standes der Technik
Heutzutage werden Animationen beispielsweise für Spielfilme, Computerspiele, medizini sche Bildgebung, Sicherheitsanwendungen zur Gesichtserkennung, bei computerbasierten Simulationen, bei Virtual-Reality-Anwendungen oder auch in der industriellen Messtechnik mittels Bildsynthese, auch Rendern oder Rendering genannt, erzeugt. Eine beispielsweise dabei angewandte Technik sieht vor, den virtuellen Strahlengang von einem virtuellen Sensorpunkt durch eine virtuelle Lochkamerablende in eine virtuelle dreidimensionale Szene zu berechnen und dem Sensorpunkt die entsprechende Farbe und Intensität je nach Auftreffpunkt in der virtuellen Szene zuzuordnen.
Oftmals besteht der Wunsch, mit dieser Form der Bildsynthese erzeugt Filmsequenzen mit real gefilmten Szenen zu überlagern bzw. zu vereinen. Es soll also beispielsweise in eine real gefilmte Bildfolge, die beispielsweise eine Studiosituation mit realen Schauspielern zeigt, eine Bildfolge mit wie beschrieben erzeugten Bildinhalten, die beispielsweise virtu elle, computeranimierte Lebewesen oder Hintergründe zeigt, eingebettet werden.
Dabei besteht das Bestreben, die in die reale Bildfolge einzubettenden Bildinhalte so naht- los wie nur möglich zu integrieren. Je nach Bildinhalt kommt es dabei nicht unbedingt da rauf an, dem Betrachter zu suggerieren, es handle sich tatsächlich um realen Inhalt, son dern es soll vielmehr der Eindruck erzeugt werden, dass der gesamte Bildinhalt nativ ohne Nachbearbeitung entstanden ist. Für diesen Eindruck wird momentan ein großer Aufwand betrieben, der in erster Linie Bild-für-Bild-Manipulationen in der Post-Produktion umfasst. Dabei werden mittels Bildbearbeitungsprogrammen Änderungen an einzelnen Bildinhalten vorgenommen mit dem Ziel, diese möglichst gut in die real gefilmte Szenerie einzupassen. Diese Bildnachbearbeitungen müssen größtenteils manuell vorgenommen werden und ba sieren auf Erfahrungswerten. Für ein überzeugendes Seherlebnis ist es entscheidend, dass die einmodellierten Spezialeffekte gewissermaßen mit dem realen Bildinhalt verschmelzen und der Betrachter keinen Bruch wahrnimmt. Die für die entsprechende Situation zutref fenden Einstellungen (FOV, Öffnung, Eintrittspupille, Lage, Brennweite, etc.) werden mittels physikalischer Modelle simuliert.
ZUSAMMENFASSUNG DER ERFINDUNG
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erstellen einer zweiten Abfolge von Einzelbildern mittels einer ersten Abfolge von Einzelbildern anzugeben, das die oben genannten Anforderungen erfüllt, einen höheren Grad an nahtloser Integration liefert und gleichzeitig einen geringeren manuellen Aufwand erfordert. Diese Aufgabe wird durch ein Verfahren gemäß dem unabhängigen Anspruch 1 gelöst.
Das erfindungsgemäße Verfahren zum Erstellen einer zweiten Abfolge von Einzelbildern mittels einer ersten Abfolge von Einzelbildern, wobei die Einzelbilder der ersten oder der zweiten Abfolge von Einzelbildern mithilfe eines Objektivs aufgenommen wurden, umfasst die Schritte eines Bestimmens der Eigenschaften eines Lichtstrahls innerhalb des Objektivs für die Einzelbilder der ersten Abfolge und des Erstellens oder Anpassens der Einzelbilder der zweiten Abfolge unter Berücksichtigung der Eigenschaften eines Lichtstrahls innerhalb des Objektivs des jeweiligen Einzelbilds der ersten Abfolge.
Bei dem Anpassen des Bildinhalts der Einzelbilder der zweiten Abfolge kann es sich um ein nachträgliches Umrechnen bereits errechneter oder anderweitig erzeugter Einzelbildfolgen handeln. Dabei können beispielsweise die Einzelbilder der ersten Abfolge exakt mit den Bildern der zweiten Abfolge zusammengefügt werden. Bei dem Erstellen der Einzelbilder der zweiten Abfolge kann es sich um ein Erstellen der Einzelbilderfolge mittels eines Ob jektivs, also ein Aufnehmen einer Bildfolge im herkömmlichen Sinn, oder um ein Errechnen einer Einzelbildfolge im Sinne einer Bildsynthese (Rendering) auf Basis einer virtuellen Szene handeln. Dabei können beispielsweise aus den Bildern der zweiten Abfolge einzelne Elemente wie beispielsweise Personen oder Gegenstände extrahiert und in die Bilder der ersten Abfolge integriert werden. Bei einer bevorzugten Ausführungsform umfasst der Schritt des Bestimmens der Eigen schaften eines Lichtstrahles innerhalb des Objektivs ein Bestimmen der Eintrittspupille und des Sichtfeldes des Objektivs für die Einzelbilder der ersten Abfolge.
Der Schritt des Bestimmens der Eintrittspupille und des Sichtfeldes, auch Field of View (FoV) genannt, des Objektivs ermöglicht es, bei dem Anpassen oder Erstellen des Bildin- halts der Einzelbilder der zweiten Abfolge die genaue Blickrichtung, das von dem Objektiv tatsächlich erfasste Sichtfeld und die Eintrittspupille für die Berechnung oder Umrechnung des Bildinhalts der zweiten Abfolge zu berücksichtigen.
Beispielsweise kann sich bei einem Fokussiervorgang des Objektivs zur Anpassung an ei nen anderen Objektiv-Motiv-Abstand die Eintrittspupille oder /und das Sichtfeld leicht, aber doch merkbar, ändern. Dieser Effekt macht sich unter anderem als Veränderung des Bildausschnitts bemerkbar und ist auch als Pumpen (engl „focus breathing") bekannt. Während dieser Effekt bei Einzelaufnahmen kaum relevant ist, macht er sich bei Filmse quenzen bemerkbar und stellt insbesondere bei der nachträglichen Einfügung von simu lierten oder virtuellen, d.h. errechneten Bildinhalten eine große Herausforderung für die herkömmliche Vorgehensweise dar. Werden hingegen bei der Errechnung der hinzuzufü genden Bildinhalte bereits die Eintrittspupille und das Sichtfeld berücksichtigt, kann ein Zusammenfügen der Bildinhalte auf wesentlich einfachere Weise und vor allem weitge hend ohne manuelle Eingriffe erfolgen.
Eine bevorzugte Ausführungsform der Erfindung umfasst einen Schritt eines Zusammenfü- gens des Bildinhalts einer ersten Abfolge von Einzelbildern und des Bildinhalts einer zwei ten Abfolge von Einzelbildern, wobei das Zusammenfügen ein Anpassen des Bildinhalts der Einzelbilder der zweiten Abfolge an den Bildinhalt der Einzelbilder der ersten Abfolge oder ein Erstellen der Einzelbilder der zweiten Abfolge umfasst, jeweils unter Berücksichti gung der Eintrittspupille und des Sichtfelds des Objektivs des jeweiligen Einzelbilds der ersten Abfolge. Nachdem das Erzeugen bzw. das Anpassen der zweiten Abfolge von Ein zelbildern unter Kenntnis der Informationen bezüglich der Lage der Eintrittspupille und des Sichtfeldes des Objektivs erfolgte, ist ein Zusammenfügen der beiden Bilderfolgen - beispielsweise ein Überlagern beider Bilderfolgen oder ein Einfügen eines Bildinhalts der zweiten Einzelbildfolge in den Bildinhalt der ersten Bilderfolge - ohne größere Anpassun gen möglich.
Bei einer weiteren Ausführungsform der Erfindung ist vorgesehen, bei dem Schritt des An- passens oder des Erstellens der Einzelbilder neben der Eintrittspupille und des Sichtfeldes eine Position einer Austrittspupille, eine Schärfentiefe, eine gegebenenfalls auch farbab- hängige Vignettierung, eine Verzeichnung, ein Bokeh, einen Farbfehler, einen Fokus, eine Position von Linsenelementen innerhalb eines Objektivs, eine Apertur, eine Belichtungs dauer, eine Farberscheinung oder/und einen Reflex innerhalb der Kamera zu berücksichti gen. Die genannten Parameter können einzeln oder in einer beliebigen Kombination Be rücksichtigung finden. Des Weiteren können auch andere relevante Parameter wie bei- spielsweise die Position von Lichtquellen, die Art der Lichtquelle, die Verteilung und die In tensität von Schatten, eine Bewegungsunschärfe etc. erfasst werden. Bei der Lichtquelle kann beispielsweise die Spektralverteilung des Lichtes, die Abstrahlcharakteristik, die In tensität der Strahlung etc. erfasst werden. Je mehr Eigenschaften des Objektivs oder der Szene bei dem Schritt des Anpassens oder Erstellens zur Verfügung stehen und Berück- sichtigung finden, desto besser ist eine Anpassung des Bildinhalts der zweiten Bildfolge an den der ersten Bildfolge möglich.
Wird eine hinreichend hohe Anzahl der genannten Parameter bei dem Schritt des Anpas sens oder insbesondere des Erstellens der Einzelbilder berücksichtigt, kann bei dem Be trachter der Eindruck erweckt werden, die zusammengefügte Bildfolge wäre ohne ein nachträgliches Zusammenfügen entstanden.
Bei einer Ausführungsform der Erfindung ist vorgesehen, dass der Schritt des Erstellens der Einzelbilder der zweiten Abfolge ein Erstellen der Einzelbilder mittels eines Renderns einer virtuellen Szene umfasst. Dies stellt eine häufige Anforderung dar und kann mittels der Erfassung der Lage der Eintrittspupille in der Szene und des Sichtfelds des Objektivs für die Einzelbilder der ersten Abfolge auf einfache Weise gelöst werden.
Alternativ hierzu kann bei einer Ausführungsform der Erfindung der Schritt des Anpassens der Einzelbilder der zweiten Abfolge ein Erstellen der Einzelbilder mittels eines Objektivs für eine Kamera vorausgehen. Bei dem Objektiv für die Kamera muss es sich nicht um das gleiche Objektiv handeln, mit dem die erste Abfolge der Einzelbilder aufgenommen wurde. Vielmehr kann aufgrund der Bestimmung der Eintrittspupille und des Sichtfelds eine Umrechnung des Bildinhalts der zweiten Einzelbildfolge derart vorgenommen wer den, dass ein problemloses Zusammenfügen der ersten und der zweiten Abfolge von Ein- zelbildern erfolgen kann.
Bei einer Weiterbildung der Erfindung ist vorgesehen, dass der Schritt des Bestimmens ein Aufzeichnen eines oder mehrerer Abbildungsparameter des Objektivs bei der Aufnahme der ersten Abfolge der Einzelbilder umfasst. Die so für beispielsweise für jedes Einzelbild oder für eine Mehrzahl an Einzelbilder erfassten Abbildungsparameter - wie eben die Ein- trittspu pille, das Sichtfeld, etc. können bei dem Erstellen oder dem Anpassen der zweiten Abfolge der Einzelbilder verwendet werden. Dies reduziert den Aufwand für das Zusam menfügen der ersten und der zweiten Abfolge der Einzelbilder. So können beispielsweise bei einer sogenannten Bluescreen- oder Greenscreen-Aufnahme, bei der Schauspieler oder Gegenstände vor einem neutralen (beispielsweise blauen oder grünen) Hintergrund aufgenommen werden, die bei dieser Aufnahme verwendeten Parameter erfasst, insbe sondere auch zeitaufgelöst, und bei der Erstellung einer virtuellen Szene auf Basis dieser Aufnahme verwendet werden. Dies bietet den Vorteil, dass keine nachträglichen Berech nungen bezüglich der möglicherweise verwendeten Einstellungen vorgenommen werden müssen, die Bildinhalte der beiden Einzelbildfolgen auf einfache Weise zusammengefügt werden können und das Endergebnis sehr realistisch/authentisch wirkt.
Bei einer Weiterbildung dieser Ausführungsform ist vorgesehen, dass die Abbildungspara meter des Objektivs in Echtzeit zur Erstellung der Einzelbilder der zweiten Abfolge verwen det werden. Dies kann beispielsweise dafür eingesetzt werden, eine Greenscreen- / Bluescreen-Szene während der Entstehung, d.h. der Aufnahme, in Echtzeit an einen Simu lationsrechner weiterzugeben, der in Echtzeit das vorgesehene Zusammenfügen mit be reits vorbereiteten Bildinhalten oder mit im Moment errechneten Bildinhalten vornimmt und auf einer Anzeige wie beispielsweise einem Monitor oder einem Okular darstellt. So- mit kann eine entsprechende Bluescreen- / Greenscreeen-Aufnahme bereits bei der Ent stehung beurteilt und gegebenenfalls korrigiert oder wiederholt werden.
Bei einer Ausführungsform der Erfindung ist vorgesehen, dass der Schritt des Bestimmens der Eigenschaften eines Lichtstrahls für ein erstes Objektiv erfolgt und der Schritt des Er stellens der Einzelbilder der zweiten Abfolge zusätzlich unter Berücksichtigung der Eigen- schäften eines Lichtstrahls innerhalb eines zweiten Objektivs erfolgt. Somit kann beispiels weise eine erste Einzelbildfolge, die mit einem ersten Objektiv (beispielsweise einem Weit winkelobjektiv) aufgenommen wurde, in eine zweite Einzelbildfolge umgerechnet werden, die dann den Eindruck hervorruft, als wäre sie mit einem anderen Objektiv (beispielsweise einem Tele-Objektiv) aufgenommen worden. Bei einer Weiterbildung der Erfindung ist vorgesehen, dass der Schritt des Bestimmens ein Aufzeichnen einer zeitlichen Abfolge von Abbildungsparametern umfasst. Somit können insbesondere bei einer Filmaufnahme, welche die Aufnahme einer Reihe von Einzelbildern in enger zeitlicher Reihenfolge umfasst, für alle Einzelbilder oder für eine bestimmte Un termenge der Einzelbilder die für ein Zusammenfügen erforderlichen Parameter erfasst und berücksichtigt werden. Beispielsweise kann vor dem eigentlichen Drehbeginn der Ka meramann in einer virtuellen Szene mit einer virtuell arbeitenden Kamera eine Aufnahme vorab durchspielen und so die aufzunehmende Szene planen. Man kann dies als Prävisua lisierung oder Previsualizing bezeichnen.
Auf diese Weise können beispielsweise verschiedene Kameraeinstellungen oder verschie- dene Objektivarten bezüglich künstlerischer Aspekte oder/und einer möglichen techni schen Realisierbarkeit ausprobiert und überprüft werden. Mögliche zeitaufgelöst erfass bare Parameter können beispielsweise die Position des Objektivs, die Richtung des Objek tivs, die momentanen Einstellungen bezüglich Fokus, Blende oder/und Zoom sein. Diese Aufzeichnungen können in einem späteren Arbeitsschritt für die Planung eines Sets ver wendet werden.
Da die Aufnahmezeit eines Filmes normalerweise teuer und oft begrenzt ist, wird die Vor abvisualisierung mittels Rendering angewendet um die allgemeinen Kosten zu minimieren. Der Vorteil der Vorabvisualisierung (eng.„Previsualisation") besteht darin, dass ein Regis seur, Kameramann oder VFX-Supervisor mit verschiedenen Inszenierungs- und Kunstrich tungsanwendungsoptionen wie Beleuchtung, Kameraplatzierung, -bewegung und opti schen Einstellungen des Objektivs wie z.B. Fokusabschnitt, Brennweite oder Schärfentiefe, Regieausrichtung und Bearbeitung experimentieren kann, ohne dass signifikante Kosten für die Produktion anfallen. Bei Projekten mit größerem Budget arbeiten die Regisseure mit Schauspielern in der Abteilung für visuelle Effekte oder in speziellen Räumen.
Prävisualisierungen können Musik, Soundeffekte und Dialoge hinzufügen, um das Ausse hen vollständig produzierter und bearbeiteter Szene-Sequenzen zu emulieren. Sie werden am häufigsten in Szenen mit Stunts und Spezialeffekten (wie Chroma-Key) verwendet. Während der Vorabvisualisierung werden Digitale Videos, Fotografie, handgezeichnete Kunst, Clip-Art und 3D-Animationen kombiniert. Außer bei der Film-Industrie und Photo graphie kann die Anwendung von Rendering zur Previsualisation bei der Bauplanung, der Schönheitschirurgie oder der Positionierung von medizinischen Implantaten angewendet werden. In diesem Zusammenhang kann das erfindungsgemäße Verfahren wie eben beschrieben zusätzlich ein Planen einer Aufnahme der ersten Abfolge von Einzelbildern anhand der Aufzeichnung der zeitlichen Abfolge von Abbildungsparametern oder /und ein Aufneh men der ersten Abfolge von Einzelbildern unter Verwendung der Aufzeichnung der zeitli chen Abfolge von Abbildungsparametern umfassen. Dies ermöglicht wie bereits erläutert das Erstellen von Bildsequenzen mit einem hohen Maß an Vorplanung mittels einer sehr realistisch wirkenden Aufnahmesimulation.
Des Weiteren betrifft die Erfindung ein Datenverarbeitungssystem mit Mitteln zum Aus führen des erfindungsgemäßen Verfahrens sowie ein Computerprogramm. Es können mit der Erfindung das Optikdesign, also die Abmessungen, Eigenschaften und die Lage der Linsen innerhalb eines Objektivs in der Simulation einer Szene verwendet werden. Wie bereits erläutert werden moderne Animationen für Spielfilme mittels Ren- dering erzeugt. Dabei werden virtuelle Strahlen von einem virtuellen Sensorpixel durch eine virtuelle Lochkamerablende in eine virtuelle dreidimensionale Szene verfolgt. Der Pi xel erhält dann, je nachdem, wo der Strahl in der Szene auftrifft, eine entsprechende Farbe und Intensität. Durch die vorliegende Erfindung wir das einfache Lochblendenmodell durch das Raytracing eines Optikdesignprogramms ersetzt. Dies führt zu einer extrem rea listischen Simulation des Objektivs. Um den Realitätsgrad weiter zu steigern, können ne- ben oder zusätzlich zu dem Raytracing-Verfahren auch wellenoptische Effekte simuliert werden. Hierbei kann beispielsweise die Point-Spread-Funktion mittels eines Beugungsin tegrals berechnet werden.
Eine mögliche Ausführungsform der Erfindung kann darin bestehen, ein dreidimensionales Computermodell eines Filmsets zur Planung von Szenen zu verwenden (Prävisualisierung). In einem solchen Modell können zu filmende Szenen beispielsweise nur grob modelliert oder/und animiert werden und daraus - ausgehend von der gewünschten Szene - Anfor derungen an Schauspieler, Kamera (und deren Einstellungen und Positionen), dem benö tigten Equipment, Kulissen und/oder Spezialeffekten abgeleitet werden. Vor Drehbeginn plant der Kameramann in einer virtuellen Szene mit einer virtuellen Kamera die Aufnahme. Mit der realistischen Simulation der Kamera können hier verschiedene Kameraeinstellun gen beispielsweise vor dem eigentlichen Drehen ausgetestet werden. So können Kosten gespart, unerwartete Situationen erkannt und so Szenen besser geplant werden. Beispiels weise kann die üblicherweise manuell durchgeführte Fokuseinstellung besonders bei schnell bewegten Motiven geübt werden oder die Eignung bestimmter Objektivarten (re- ale oder noch nicht realisierte Prototypen) getestet werden. Es können auch Einstellungen in Bezug auf künstlerische Aspekte und technische Realisierbarkeit ausprobiert werden. Beispielsweise können Position, Richtung, Fokus, Blenden, Zoom-Stellung bei der Simula tion zeitaufgelöst gespeichert werden. Diese Informationen werden dann benutzt um das Set zu planen. Wahlweise können diese Daten dann auf eine elektronische gesteuerte re- ale Kamera übertragen werden und diese Sequenz von Einstellungen auf der realen Ka mera abgespielt werden. Eine andere Ausführungsform kann die teilweise oder vollständige, photorealistische Er stellung von Filmszenen ausgehend von 3D Modellen umfassen. Es können Realfilmszenen mit computeranimierten Szenen überlagert werden, beispielsweise virtuelle Lebewesen in reale Szenerien oder/und Schauspieler in virtuelle Szenerien oder Kombinationen von bei- dem. Hierzu werden oft sogenannte Greenscreens verwendet. Für die Qualität der Kombi nation von realen Szenen mit Computeranimationen ist es wichtig wie gut die Beleuch tungsbedingungen, die Bewegungsunschärfe, die Farbwiedergabe, das Rauschen etc. im Modell mit der Aufnahme der realen Szenerie übereinstimmen. Produktionen, bei denen diese modellierten Spezialeffekte nicht mit der Szenerie verschmelzen, wirken beim Be- trachter sofort nicht professionell genug. Die Modellierung des Objektivs mit einem Loch kamera-Modell berücksichtigt nur die (konstante) Brennweite des Objektivs in stark ver einfachter Weise. Allein die perspektivische Wiedergabe einer Szene hängt von der Lage der Eintritts- und Austrittspupille sowie der Brennweitenänderung des Objektivs ab. Diese Pupillenlagen sind dabei individuell vom Objektiv abhängige Funktionen der Fokussierent- fernung und Zoomstellung. Außerdem ist die Blendenzahl wichtig, die mit die Tiefen schärfe der Szene bestimmt. Daneben gibt es eine Reihe von Objektivparametern wie Ver zeichnung, Randlichtabfall, Farbwiedergabeabweichungen, chromatischen Fehler, Reflex abhängigkeiten etc. Konkret können bei einer Greenscreen-Szene beispielsweise Position, Richtung, Fokus-, Blenden- und Zoomstellung bei der Bildaufnahme zeitaufgelöst gespei- chert. Diese Einstellungen werden bei der Erstellung der virtuellen Szene benutzt. Als Vor teile lassen sich ein authentischer Look und eine einfache Überlagerung der Bilder nennen.
Alternativ oder zusätzlich können bei einer Greenscreen-Szene beispielsweise Position, Richtung, Fokus-, Blenden- und Zoomstellung bei der Bildaufnahme direkt an eine Echt zeit-Simulation weitergegeben und beide Bilder überlagert im Okular oder auf dem Dis- play überlagert.
Insgesamt können mit der Erfindung je nach Ausführungsform eine Reihe von Vorteilen realisiert werden: Es können Einstellzeiten der Kamera durch einer Voraberstellung der Ein stellungen innerhalb einer virtuellen Szene verkürzt werden. Es können ganze Kameraauf nahmen im Voraus geplant werden und Kameraeinstellungen und Veränderungen dersel- ben in einer virtuellen Kamera aufgezeichnet und auf einer realen Kamera wiedergegeben werden. Es kann die Aufnahmequalität bestimmter Filmaufnahmen insbesondere bei Sze nen, die nicht beliebig oft wiederholt werden können, durch vorheriges Training des Ka meramanns verbessert werden. Es kann bei der Aufnahme einer virtuellen Szene der glei che Eindruck wie bei der Aufnahme einer realen Szene durch eine exakte Simulation des realen Objektivs erzeugt werden. Es können mit einer realen Kamera simulierte Szenen animiert/erzeugt werden. Es kann ein virtuelles Prototyping für eine noch real existieren des Objektiv / eine Kamera durchgeführt werden.
Eine Ausführungsform der Erfindung sieht vor, eine 3D-Bildsimulation im Rahmen eines Computerprogramms mit gespeicherten und interpolierten Point-Spread-Function-Daten durchzuführen. Das Verfahren weist die Schritte auf:
Bestimmen einer Größe, einer Form und einer Lage der Austrittspupille eines Objektivs für eine ausgewählte Gruppe an Bildpunkten; beispielsweise kann hierfür ein 2-D-Punktgitter mit einem Rasterabstand von ca. 5,4 mm gewählt werden;
Interpolation der Größe, Form und Lage von Bildpunkten zwischen den ausgewählten Bild- punkten für andere Bildpositionen;
Eingabe einer Objektraumfunktion; unter der Objektraumfunktion kann eine dreidimensio nale Funktion von Intensitäten abhängig von dem Abstand relativ zu der Eintrittspupille eines Objektivs verstanden werden; die Objektraumfunktion umfasst beispielsweise die spektralen Eigenschaften wie beispielsweise RGB-Daten oder Graustufen-Daten oder/und den Abstand von Objekt zu Eintrittspupille (Tiefenkarte);
Erstellen einer Point-Spread-Funktion durch eine Verknüpfung der Objektraumfunktion mit einer Objektivfunktion, welche die Zuordnung von Objektraum und Bildraum vor nimmt; auf diese Weise umfasst die Point-Spread-Funktion die optischen Designdaten des Objektivs, gegebenenfalls einschließlich der Beschichtungsdaten einzelner oder aller opti- scher Elemente in dem Objektiv;
Integration der Point-Spread-Funktion über Objektkoordinaten; Integration der Point-Spread-Funktion über die Form der Austrittspupille, um so eine Wel lenfront-Deformation durch die Austrittspupille zu berücksichtigen;
Erzeugen eines gerenderten Objektraumes.
Zusätzlich kann bei dieser Ausführungsform eine Kompensation für eine digitale Aberra- tion (Verzerrung oder/und Schattierung, etc.) erfolgen.
Eine weitere Alternative Ausführungsform der Erfindung sieht vor, eine 3-D-Bildsimulation mit Daten einer optischen Transferfunktion durchzuführen. Das Verfahren weist die Schritte auf:
Bestimmen einer Größe, einer Form und einer Lage der Austrittspupille eines Objektivs für eine ausgewählte Gruppe an Bildpunkten; beispielsweise kann hierfür ein 2-D-Punktgitter mit einem Rasterabstand von ca. 5,4 mm gewählt werden;
Interpolation einer Größe, einer Form und einer Lage von Bildpunkten zwischen den aus gewählten Bildpunkten für andere Bildpositionen, um eine Austrittspupillenfunktion zu er halten; Eingabe einer Objektraumfunktion; unter der Objektraumfunktion kann eine dreidimensio nale Funktion von Intensitäten abhängig von dem Abstand relativ zu der Eintrittspupille eines Objektivs verstanden werden; die Objektraumfunktion kann man beispielsweise aus einer Kombination der Wellenlängen und einer optischen Transferfunktion erhalten; um die optische Transferfunktion zu erhalten, wird eine Faltung der Austrittspupillenfunktion (Autokorrelation) durchgeführt;
Berechnen einer kontinuierlichen Fourier-Transformation aus der Objektraumfunktion;
Integrieren des Produkts aus optischer Transferfunktion und fouriertransformierter Ob jektraumfunktion über die Austrittspupillenkoordinaten für eine feste Wellenlänge;
Wiederholung der Berechnung über viele Wellenlängen; Integrieren über die Wellenlängen über jedem Farbkanal (spektrale Response-Funktion) und der spektralen Verteilung der Lichtquelle; Erzeugen eines Bildes für jeden Farbkanal (RGB);
Überlagern der Bilder für jeden Farbkanal (RGB), um ein realistisches Bild zu erhalten.
Bei den genannten Ausführungsformen stellt sich das Problem, eine Fouriertransformation für stark defokussierte Objektraumpunkte durchzuführen. Dies erfordert ein sehr hohes Rastersamplen der Austrittpupille, beispielsweise 10.000 x 10.000 statt 30 x 30. Dies ist zeitaufwändig und die Laufzeiten sind sehr hoch.
Dementsprechend sieht eine alternative Ausführungsform der Erfindung vor, ein strahlver- folgungsbasiertes (Raytracing) Rendering einer 3-D-Bildsimulation durchzuführen. Das Verfahren basiert darauf, dass die in ein Objektiv einfallenden Lichtstrahlen zur Lichtquelle zurückverfolgt werden. Das Verfahren weist die Schritte auf:
Bestimmen einer Größe, einer Form und einer Lage der Austrittspupille eines Objektivs für eine ausgewählte Gruppe an Bildpunkten; beispielsweise kann hierfür ein 2-D-Punktgitter mit einem Rasterabstand von ca. 5,4 mm gewählt werden;
Interpolation der Größe, Form und Lage von Bildpunkten zwischen den ausgewählten Bild- punkten für andere Bildpositionen;
Berechnung einer Strahlrichtung; beispielsweise platziert innerhalb der durch die Aus trittspupille definierten Begrenzung;
Erstellen einer Strahlfunktion; diese kann beispielsweise eine Wahrscheinlichkeitsfunktion darstellen und die richtungsabhängige Verteilung von Strahlen angeben und beispiels- weise die Eingangskoordinaten mit den Ausgangskoordinaten verknüpfende einem Ein gangsstrahl können von hunderten bis mehreren Millionen Ausgangsstrahlen rauskom men, je nach Qualität des Renderns die man erreichen möchte.
Simulieren aller Strahlen bis zur Lichtquelle;
Integrieren über den Winkelraum der Lichtquelle und der Entfernung zur Lichtquelle für alle diskreten Ausgangsstrahlen; Wiederholen des Verfahrens für jeden Eingangsstrahl, der aus dem Objektiv zum Objekt führt; beispielsweise für 10.000 Strahlen;
Integrieren aller Ausgangsstrahlen, die an der Lichtquelle ankommen, für alle Eingangs strahlen; Erzeugen eines Bildes.
KURZE BESCHREI BUNG DER ZEICHN UNGEN
Nachfolgend werden Ausführungsbeispiele der Erfindung anhand der Zeichnungen näher erläutert. In diesen zeigen:
Figuren 1 A, 1 B ein Ablaufdiagramm und eine schematische Darstellung eines ersten erfindungsgemäßen Verfahrens; Figuren 2A, 2B ein Ablaufdiagramm und eine schematische Darstellung eines zwei ten erfindungsgemäßen Verfahrens;
Figuren 3A, 3B ein Ablaufdiagramm und eine schematische Darstellung eines drit ten erfindungsgemäßen Verfahrens; und
Figur 4 eine schematische Darstellung eines vierten erfindungsgemäßen
Verfahrens.
BESCHREI BUNG BEVORZUGTER AUSFUHRUNGSBEISPIELE
Die Figuren 1 A, 1 B geben ein erstes erfindungsgemäßes Verfahren zum Erstellen einer zweiten Abfolge von Einzelbildern mittels einer ersten Abfolge von Einzelbildern wieder. In einem ersten Schritt S1 1 wird eine erste Einzelbilderfolge mittels einer realen Kamera 10 erzeugt. Für das erste Verfahren ist es nicht von Belang, ob diese erste Einzelbilderfolge tatsächlich gespeichert wird. Die Einzelbilderfolge kann gespeichert werden, sie kann aber auch lediglich erzeugt und nicht aufgezeichnet werden. In einem zweiten Schritt (S12) werden die Kameraeinstellungen und die Kamerapositionen der ersten Bildfolge erfasst. Dies geschieht bevorzugt während des Erzeugens der Bild folge, d.h. der Aufnahme der ersten Bildfolge mittels der realen Kamera 10. Wird dies wäh rend der Aufnahme durchgeführt, kann die Aufzeichnung der ersten Bilderfolge unterblei- ben. Bei den Kameraeinstellungen und -Positionen kann es sich zumindest um die Position der Eintrittspupille und das Sichtfeld des aufnehmenden Objektivs handeln, es können aber zusätzlich weitere Parameter wie beispielsweise eine Blende/Apertur, eine Belich tungsdauer, eine Zoomstellung, einen Fokus etc. erfasst werden.
In einem weiteren Schritt (S13) werden die Kameraeinstellungen und -Positionen als Daten 1 1 auf eine virtuelle Kamera 12 übertragen. Auch dieser Schritt kann nach den ersten bei den Schritten S1 1, S12 oder gleichzeitig mit diesen erfolgen. Es können also die Aufnahme der ersten Bilderfolge (S1 1 ), das Erfassen der Kameraeinstellungen und -Positionen (S12) und das Übertragen derselben (S13) gleichzeitig oder bei geeigneter Zwischenspeicherung auch nacheinander mit einem zeitlichen Versatz erfolgen. Entsprechend kann die Übertra- gung der Kameraeinstellungen und -Positionen
Bei der virtuellen Kamera 12 kann es sich beispielsweise um einen Parametersatz für Ein stellungen eines Bildsyntheseprogramms 18 handeln, mit dem eine virtuelle Bilderfolge 14, resultierend aus einer virtuellen Szene 16 entsprechend dem weiteren Schritt S14 eine zweite Bilderfolge mittels der Kameraeinstellungen und -Positionen erzeugt werden kann. Bei dem Bildsyntheseprogramm kann es sich beispielsweise um ein Berechnungspro gramm handeln, das einen Raytracing-Algorithmus einsetzt. Mittels den von der realen Kamera 10 erhaltenen Daten sowie eventuell bereits vorab bekannten Daten kann in dem Bildsyntheseprogramm ein Modell der Kamera 10 angelegt werden. Mittels dieses Modells - eben der virtuellen Kamera 12 - können einerseits objektivspezifische und damit für die optische Abbildung relevante Effekte einbezogen werden. Dies ermöglicht eine realistische Simulation des eingesetzten Objektivs bzw. der ganzen Kamera 10. Andererseits können aufgrund einer gegebenenfalls auch zeitaufgelösten Erfassung der Eintrittspupille und des Sichtfeldes die Bewegung der realen Kamera 10 und damit gegebenenfalls auch verbun dene Effekte wie der Einfluss von Beleuchtungsbedingungen an verschiedenen Orten oder Effekte wie eine Bewegungsunschärfe, eine Farbwiedergabe oder ein Rauschen bei der Er zeugung des virtuellen Bildes Einfluss finden.
Bei einer konkreten Ausgestaltung dieses Verfahrens könnte beispielsweise eine reale Ka mera 10 gewissermaßen als Controller einer virtuellen Kamera 12 für die Erzeugung einer virtuellen Bilderfolge 14 innerhalb einer virtuellen Szene 16 eingesetzt werden. Auf diese Weise kann eine computeranimierte Szene auf einfache Weise erzeugt werden.
Die Figuren 2A, 2B zeigen eine zweite Ausführungsform eines erfindungsgemäßen Verfah rens. Für die folgenden Ausführungsformen werden für gleiche oder vergleichbare Merk male gleiche Bezugszeichen verwendet und nicht nochmals gesondert erläutert, um Wie- derholungen zu vermeiden. Das Verfahren der Figuren 2A, 2B sieht ebenfalls wie bei dem vorangehend beschriebenen Verfahren ein Aufnehmen einer ersten Bilderfolge mittels ei ner realen Kamera 10 (S21 ) vor. Dabei ist bei diesem Verfahren vorgesehen, dass das Auf nehmen der ersten Bilderfolge in einer tatsächlich existenten realen Szene 20 vor sich geht und in einer realen Bilderfolge 22 resultiert. Wie bereits vorher erläutert werden auch bei diesem Verfahren die Kameraeinstellungen und -Positionen erfasst (S22) und auf eine vir tuelle Kamera 12 übertragen (S23).
Die bei diesen Schritten S21 -S23 gewonnenen Informationen werden nun dazu verwendet, in einem weiteren Schritt (S24) eine zweite Bilderfolge 24 mit einer virtuellen Kamera 12 innerhalb einer virtuellen Szene 16 mittels eines Bildsyntheseprogramms 18 unter Berück- sichtigung der Kameraeinstellungen und -Positionen 1 1 zu erzeugen. Bei der Erzeugung der zweiten, virtuellen Bilderfolge 24 stehen bereits die Informationen 1 1 beispielsweise über Lage der Eintrittspupille und das Sichtfeld der Kamera 10 der realen Bilderfolge 22 zur Verfügung. Bei einer konkreten Anwendung könnte es sich bei der ersten realen Bild folge 22 beispielsweise um eine Greenscreen-Szene bei einer Filmaufnahme handeln. In einem solchen Fall könnte beispielsweise Position und Ausrichtung der Kamera 10, Fokus, Blende, Zoomstellung bei der Bildaufnahme zeitaufgelöst erfasst werden. Diese Informati onen können dann entsprechend bei der Erstellung der virtuellen Szene 16 und letztend lich bei der Erstellung der virtuellen Bilderfolge 24 verwendet werden. In einem weiteren Schritt S24 können die erste, reale Bilderfolge 22 und die zweite, virtu elle Bilderfolge 24 zu einer zusammengefügten Bilderfolge 26 zusammengefügt werden. Dabei kann in dem genannten Beispiel der Greenscreen-Technik der virtuelle Bildinhalt der virtuellen Bilderfolge 24 in den Bildinhalt der realen Bilderfolge 22 integriert werden. Es ergibt sich aufgrund der weitgehend nahtlosen Einfügemöglichkeit ein authentisches Aus sehen der zusammengefügten Bilderfolge 26. Zudem kann das Überlagern/Einfügen auf eine sehr einfache Weise erfolgen.
Eine weitere Ausführungsform des erfindungsgemäßen Verfahrens ist in den Figuren 3A,
3B dargestellt. In einem ersten Schritt (S31) wird eine virtuelle Szene 16 unter Berücksichti- gung der räumlichen und sonstigen Daten 13 einer realen Szene 20 erstellt. In einem zwei ten Schritt (S32) wird eine erste Bilderfolge 24 mittels der virtuellen Kamera 12 aufgenom men. Da bei kommt es in dieser Ausführungsform nicht darauf an, diese erste Bilderfolge 24 abzuspeichern. Vielmehr ist es bei dieser Ausführungsform das Ziel, dem Kameramann vor dem eigentlichen Aufnehmen einer realen Bilderfolge 22 die Möglichkeit zu geben, verschiedene Einstellungen der Kamera auszutesten und zu planen. Mit einer realistischen Simulation der realen Kamera 10 durch die virtuelle Kamera 12 können auf diese Weise verschiedenen Kameraeinstellungen und -Positionen beispielsweise auch in Bezug auf künstlerische Aspekte und technische Realisierbarkeit geplant und ausprobiert werden.
Entsprechend werden in einem weiteren Schritt die Kameraeinstellungen und die Kame- rapositionen der virtuellen Kamera 12 erfasst (S33). Dies geschieht in bevorzugter Weise zeitaufgelöst, d.h. jeder erfassten Kameraeinstellung und -position ist eine Zeitmarke zu geordnet. Bevorzugt werden die Einstellungen und Positionen für jedes Einzelbild der Ein zelbildfolge erfasst. Je nach Ausgestaltung kann die Erfassungshäufigkeit aber auch den Gegebenheiten angepasst werden. So kann beispielsweise eine geringere Häufigkeit als für jedes Bild vorgesehen sein. Die Häufigkeit kann dabei auf eine feste Häufigkeit - jedes n-te Bild - einstellbar sein oder in Abhängigkeit von stattfindenden Veränderungen an passbar sein. Die erfassten Einstellungen können beispielsweise Position, Richtung, Fokus, Blende oder Zoomstellung umfassen. Die so erfassten Informationen können dann dazu verwendet werden, den Set und den Kameradreh zu planen. Wahlweise können die so erfassten Kameraeinstellungen und -Positionen in einem weite ren Schritt auf eine reale Kamera 10 übertragen (S34) werden. Diese Einstellungen können dann bei den realen Aufnahmen der zweiten Abfolge von Einzelbildern berücksichtigt wer den. Beispielsweise können die Kameraeinstellungen während der Aufnahme in der realen Kamera 20 als Einstellungssequenz abgespielt werden, so dass der Kameramann entlastet ist und sich während der Aufnahme um weniger Aufnahmedetails kümmern muss.
Eine weitere Ausführungsform des erfindungsgemäßen Verfahrens ist in Figur 4 darge stellt. Das Verfahren, wie es in Figur 4 beschrieben ist, sieht mit den Schritten S41 und S42 zwei Verfahrensschritte vor, die zeitlich unabhängig voneinander stattfinden können. Mit Schritt S41 wird eine Ausgangsbasis für ein nachfolgendes Rendering erzeugt, hier als VFX-Generation bezeichnet. Die Ausgangsbasis können beispielsweise die Daten einer vir tuellen Szene sein, welche die notwendigen dreidimensionalen Informationen enthalten.
Es kann auch jede andere Basis verwendet werden, die es ermöglicht, aus dreidimensiona len Informationen ein Rendering derart durchzuführen, dass eine Abfolge von Einzelbil- dern entsteht. Beispielsweise kann es sich auch schon um ein vorverarbeitetes zweidimen sionales Bild mit zusätzlichen Tiefeninformationen oder um ein zweidimensionales Bild handeln, bei dem jedem Bildpunkt eine 3D-Position in einer dreidimensionalen Szene zu geordnet ist. Dabei können die 3D-lnformationen in das zweidimensionale Bild integriert sein, hinsichtlich der dargestellten Szene vordefiniert sein, für die dargestellte Szene emu- liert sein oder für die dargestellte Szene generiert werden, beispielsweise auf Basis von dreidimensionalen Daten, die durch eine Erfassung der dargestellten realen Szene bei spielsweise mittels 3D-Sensoren gewonnen worden sind.
In Schritt S42 werden Objektiv-/Kamera-Daten aufgenommen, die einer Abfolge von Ein zelbildern (Frames einer Filmsequenz) zuordenbar sind. Die Erfassung kann sich beispiels- weise auf ein Objektiv einer Kamera beziehen und kann beispielsweise mittels des Objek tivs erfolgen.
Bevorzugt kann gleichzeitig zu der Erfassung der Objektiv-/Kameradaten (S42) eine Erfas sung einer Filmsequenz (S43) erfolgen. Die Objektiv-/Kamera-Daten können eine Abfolge von Objektivdaten umfassen, wobei die Abfolge beispielsweise jeweils einen Satz an Objektiv-/Kamera-Daten für des Einzelbild (Frame) aufweist. Alternativ oder zusätzlich können nur der gesamten Abfolge von Einzel bildern (Filmsequenz) zuordenbare Objektiv-/Kamera-Daten erfasst werden. Die Objektiv-/Kamera-Daten können beispielsweise Informationen über mögliche Eigen schaften oder/und Einstellungen des Objektivs selbst umfassen wie beispielsweise eine Identifikation des Objektivtyps oder des Einzelobjektivs, Informationen über die Art des Objektivs, die Brennweite des Objektivs, einen kalibrierten Fokusabstand, einen kalibrier ten T-Stop-Wert, eine Schärfentiefe, ein hyperfokaler Abstand, ein horizontaler Bildwinkel oder die Position und/oder Größe der Eintrittspupille, Diese Objektiv-/Kamera-Daten kön nen beispielsweise von einer realen Kamera oder einem realen Objektiv während der Auf zeichnung einer ersten Abfolge von Einzelbildern (Filmsequenz) aufgenommen werden.
Die Ermittlung/Berechnung oder/und Aufzeichnung der Objektiv-/Kamera-Daten kann beispielsweise für jeden Fokuspunkt und jeden effektiven T-Stop-Wert und/oder für jedes Einzelbild (Frame) erfolgen.
Alternativ oder zusätzlich können die Objektiv-/Kameradaten spezifische physikalische Da ten umfassen, die eines oder mehrere, bevorzugt alle optischen Elemente wie beispiels weise Linsen, Blenden oder/und Filter in dem Objektiv charakterisieren. Bei diesen physika lischen Daten kann es sich beispielsweise um die Linsenform, die Apertur des Elements, die maximale Apertur beispielsweise eines Objektivs (kleinste Blendenzahl), die spektrale Transmittanz u.ä. handeln. Generell können die spezifischen physikalischen Daten solche Daten sein, die einen Rückschluss auf das Optikdesign des Objektivs und damit eine Be rechnung der Abbildungseigenschaften oder/und einer Durchführung eines Verfahrens er möglichen, das ein Raytracing, ein Raycasting, eine Point-Spread-Funktion oder eine opti- sehe Transferfunktion einsetzen.
Zusätzlich oder alternativ können die Objektiv-/Kamera-Daten Informationen über den dreidimensionalen Aufbau der real gefilmten Szene umfassen. Die Erfassung dieser 3D- Daten (S44) kann beispielsweise parallel zu der Erfassung der Eigenschaften oder/und Ein stellungen des Objektivs erfolgen (S42). Die 3D-Daten können in die Objektiv-/Kameradaten integriert sein. Alternativ oder zusätz lich können die 3D-Daten auch den Filmsequenz-Daten hinzugefügt werden (S45).
Bei der Erfassung der 3D-Daten können beispielsweise ein oder mehrere 3D-Sensoren zum Einsatz kommen, die beispielsweise über optische oder akustische Abtastung der ge- filmten Szene räumliche Daten erzeugen, die der gefilmten Abfolge von Einzelbildern (Filmsequenz) zugeordnet werden können. Der oder die Sensoren können beispielweise separat von dem Objektiv oder der Kamera angeordnet sein. Bevorzugt befinden sich der oder die Sensoren an der Kamera oder dem Objektiv oder sind in die Kamera oder das Objektiv integriert. Alternativ oder zusätzlich können die Objektiv-/Kamera-Daten Positions-, Lage- und/oder Bewegungsdaten umfassen, welche zusätzlich zeitlich aufgelöst aufgezeichnet werden, also beispielsweise den Einzelbildern (Frames) der Abfolge von Einzelbildern (Filmsequenz) zuordenbar. Die Positions-, Lage- und/oder Bewegungsinformationen ermöglichen eine Bestimmung der Position der Kamera oder/und des Objektivs bezüglich der gefilmten rea- len Szene und die Ausrichtung der Kamera oder/und des Objektivs bezüglich der gefilm ten Szene. Durch eine zeitliche aufgelöste Erfassung können auch direkt oder indirekt In formationen über die Bewegung der Kamera oder/und des Objektivs erfasst oder abgelei tet werden. So können beispielsweise aus der Veränderung der Lage oder der Position Be wegungen der Kamera oder/und des Objektivs abgeleitet werden, Es können alternativ o- der zusätzlich Sensoren verwendet werden, welche direkt eine Bewegung der Kamera/des Objektivs erfassen, wie beispielsweise Gyrosensoren.
Zusammenfassend können die Objektiv-/Kamera-Daten objektivspezifische Daten, 3D-Da- ten der realen Szene oder/und Positions-/Lage-/Bewegungsdaten umfassen.
Es kann vorgesehen sein, dass diese Objektiv-/Kamera-Daten bereits während der Auf- Zeichnung in Echtzeit weiterverarbeitet und für ein Rendering zur Verfügung gestellt wer den (S46). Alternativ oder zusätzlich können die Objektiv-/Kamera-Daten aufgezeichnet und erst in einem nachfolgenden Weiterverarbeitungsschritt, der zeitlich nachgelagert der Aufzeich nung erfolgt, eingesetzt werden (S47).
In Schritt S48 erfolgt ein Rendern, d.h. ein Erzeugen eines zweidimensionalen Bildes auf Basis von dreidimensionalen Daten.
Bei dem Rendern können die Objektiv-/Kamera-Daten (S46, S47) berücksichtigt werden.
Das Rendern kann unter Verwendung eines Algorithmus erfolgen, der eine oder mehrere der folgenden Verfahren einsetzt: ein Raytracing (Strahlfunktion), ein Raycasting, eine Point-Spread-Funktion oder/und eine optische Transferfunktion. Alternativ oder zusätzlich kann - wie bereits oben erläutert - bei der Erzeugung des zwei dimensionalen Bildes beispielsweise ein bereits vorverarbeitetes zweidimensionales Bild mit Tiefeninformationen oder ein zweidimensionales Bild mit integrierten dreidimensiona len Informationen eingesetzt werden. Das Rendern kann auch nur ein Korrigieren eines bereits bestehenden zweidimensionalen Bildes auf Basis der Objektiv-/Kamera-Daten dar- stellen.
Mittels der Verwendung der Objektiv-/Kamera-Daten kann dem gerenderten Einzelbild (Frame) bzw. der Abfolge an Einzelbildern (Filmsequenz) ein Aussehen verliehen werden, das den Eindruck erweckt, es wäre mit dem Objektiv/mit der Kamera, welche zu den Ob- jektiv-/Kamera-Daten gehört, aufgenommen worden. Die Objektiv-/Kamera-Daten können dabei in Echtzeit während der Aufnahme der Objek- tiv-/Kamera-Daten für das Rendern eingesetzt werden. Dabei können die Objektiv-/Ka- mera-Daten in Echtzeit dem Render-Vorgang zur Verfügung gestellt werden (S46), bei spielsweise mittels einer drahtlosen oder kabelgebundenen Übertragung der Objektiv- /Kamera-Daten an einen Render-Computer, und für das Rendern eingesetzt werden. Alternativ oder zusätzlich kann vorgesehen sein, dass Objektiv-/Kamera-Daten, die bereits vorher aufgenommen worden sind, für das Rendern eingesetzt werden (S47). Dabei kann vorgesehen sein, dass die Objektiv-/Kamera-Daten beispielsweise nur objek tiv- oder/und linsenspezifische Daten enthalten, die nicht zeitaufgelöst sind.
Alternativ oder zusätzlich können die Objektiv-/Kamera-Daten beispielsweise nur Positi- ons- und/oder Lage- und/oder Bewegungsdaten umfassen. Bei einer Ausführungsform können auch verschiedene Objektiv-/Kamera-Daten bei dem Rendering kombiniert eingesetzt werden. Beispielsweise können nicht zeitaufgelöste ob jektiv- oder/und linsenspezifische Daten eines ersten Objektivs mit Positions- und/oder Lage- und/oder Bewegungsdaten eines zweiten Objektivs/einer zweiten Kamera kombi niert werden. So kann beispielsweise eine mit einem ersten Objektiv gefilmte Filmsequenz Positions- und/oder Lage- und/oder Bewegungsdaten für ein Rendering mit den objektiv oder/und linsenspezifische Daten eines zweiten Objektivs liefern. So kann der Eindruck er weckt werden, eine Filmsequenz wäre mit einem anderen Objektiv gefilmt worden. Das Rendering kann dabei in Echtzeit erfolgen oder in einem nachgelagerten Schritt stattfin den. Das Rendering kann beispielsweise Filmsequenzen mit einer Auflösung von 2K in Echtzeit bei einer Framerate von 24 fps erzeugen. Mit zunehmender Rechenleistung sind auch Auf lösungen in 4K oder 8K mit der genannten Framerate möglich.
Die gerenderten Filmsequenzen können während oder nach der Erzeugung (S44) auf ei nem Rendering-Monitor betrachtbar dargestellt werden (S49). Die so unter Einbeziehung der Objektiv-/Kamera-Daten gerenderte ersten Abfolge von Einzelbildern (erste Filmsequenz) kann in einem nachfolgenden Schritt S50 mit einer real gefilmten zweiten Abfolge von Einzelbildern (zweite Filmsequenz) zusammengefügt („Composite") werden. Ist die erste Filmsequenz mit den Objektiv-/Kamera-Daten geren- dert bzw. korrigiert worden, mit denen die zweite Filmsequenz gefilmt worden ist, ist das Zusammenfügen der beiden Filmsequenzen auf einfache und bruchlose Weise möglich.
Die zu einer Filmsequenz zusammengefügten Filmsequenzen können aufgezeichnet wer den (S51 ) und auf einem Composite-Monitor betrachtbar dargestellt werden (S52).

Claims

PATENTANSPRÜCHE
1. Verfahren zum Erstellen einer zweiten Abfolge von Einzelbildern mittels einer ersten Abfolge von Einzelbildern, wobei die Einzelbilder der ersten oder der zweiten Abfolge von Einzelbildern mithilfe eines Objektivs aufgenommen (S1 1) wurden, mit folgenden Schritten: - Bestimmen der Eigenschaften eines Lichtstrahles innerhalb eines Objektivs für die
Einzelbilder der ersten Abfolge (S 12);
- Erstellen oder Anpassen der Einzelbilder der zweiten Abfolge unter Berücksichti gung der Eigenschaften des Lichtstrahles innerhalb des Objektivs des jeweiligen Einzelbilds der ersten Abfolge (S14).
2. Verfahren nach Anspruch 1, wobei der Schritt des Bestimmens der Eigenschaften eines Lichtstrahles innerhalb des Objektivs ein Bestimmen der Eintrittspupille und des Sicht feldes des Objektivs für die Einzelbilder der ersten Abfolge umfasst (S 12); oder/und wobei der Schritt des Erstellens oder Anpassens der Einzelbilder der zweiten Abfolge unter Berücksichtigung der Eintrittspupille und des Sichtfelds des Objektivs des jewei ligen Einzelbilds der ersten Abfolge erfolgt.
3. Verfahren nach Anspruch 2, wobei der Schritt des Erstellens oder Anpassens die Ver wendung einer Point-Spread-Funktion oder/und einer optischen Transferfunktion o- der/und einer Strahlfunktion umfasst.
4. Verfahren nach einem der vorhergehenden Ansprüche, mit dem Schritt eines Zusam- menfügens des Bildinhalts einer ersten Abfolge von Einzelbildern und des Bildinhalts einer zweiten Abfolge von Einzelbildern (S25), wobei das Zusammenfügen ein Anpas sen des Bildinhalts der Einzelbilder der zweiten Abfolge an den Bildinhalt der Einzelbil der der ersten Abfolge oder ein Erstellen der Einzelbilder der zweiten Abfolge umfasst, jeweils unter Berücksichtigung der Eintrittspupille und des Sichtfelds des Objektivs des jeweiligen Einzelbilds der ersten Abfolge.
5. Verfahren nach Anspruch 4, wobei der Schritt des Anpassens oder Erstellens der Ein zelbilder neben dem Berücksichtigen der Eintrittspupille und des Sichtfeldes eine Be rücksichtigen einer Position einer Austrittspupille, einer Schärfentiefe, einer Vignettie- rung, einer Verzeichnung, eines Bokehs, eines Farbfehlers, eines Fokus, einer Position von Linsenelementen innerhalb eines Objektivs, einer Apertur, einer Belichtungsdauer, einer Farberscheinung oder/und eines Reflex innerhalb eines Objektivs umfasst.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Erstel lens der Einzelbilder der zweiten Abfolge ein Erstellen der Einzelbilder mittels eines Renderns einer virtuellen Szene (S24) umfasst.
7. Verfahren nach einem der Ansprüche 1 bis 5, wobei dem Schritt des Anpassens der Einzelbilder der zweiten Abfolge ein Erstellen der Einzelbilder mittels eines Objektivs für eine Kamera (S21) vorausgeht.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Bestim mens der Eigenschaften eines Lichtstrahls für ein erstes Objektiv erfolgt und der Schritt des Erstellens der Einzelbilder der zweiten Abfolge zusätzlich unter Berücksich tigung der Eigenschaften eines Lichtstrahls innerhalb eines zweiten Objektivs erfolgt.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Bestim mens umfasst:
Aufzeichnen eines oder mehrerer Abbildungsparameter des Objektivs bei der Aufnahme der ersten Abfolge der Einzelbilder (S22); und wobei der Schritt des Anpassens oder Erstellens umfasst:
Verwenden der Abbildungsparameter bei einem Anpassen oder Erstellen der Ein zelbilder der zweiten Abfolge (S24).
10. Verfahren nach Anspruch 9, wobei die Abbildungsparameter des Objektivs in Echtzeit zur Erstellung der Einzelbilder der zweiten Abfolge verwendet werden.
1 1. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt des Bestim mens ein Aufzeichnen einer zeitlichen Abfolge von Abbildungsparametern umfasst.
12. Verfahren nach Anspruch 1 1 , mit den Schritten: a) Planen einer Aufnahme der ersten Abfolge von Einzelbildern anhand der Auf- Zeichnung der zeitlichen Abfolge von Abbildungsparametern (S34); oder/und b) Aufnehmen der ersten Abfolge von Einzelbildern unter Verwendung der Auf zeichnung der zeitlichen Abfolge von Abbildungsparametern (S34).
13. Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche auf einem oder mehreren der Gebiete Kinematographie, Photographie, Computerspiele, medizi- nische Bildgebung, Sicherheitsanwendungen wie beispielsweise Gesichtserkennung, computerbasierte Simulationen, virtuelle Realität oder/und industrielle Messtechnik.
14. Datenverarbeitungssystem, mit Mitteln zum Ausführen der Schritte eines der Ansprü che 1 -13.
15. Computerprogramm mit Befehlen, die bewirken, wenn sie auf einem Datenverarbei- tungssystem ausgeführt werden, dass das Datenverarbeitungssystem die folgenden
Schritte ausführt:
Bestimmen einer Größe, einer Form oder/und einer Lage einer Austrittpupille eines Objektivs für eine vorbestimmte Gruppe an Bildpunkten;
Eingabe einer Objektraumfunktion; - Erstellen einer Point-Spread-Funktion oder/und Eingeben einer optischen
Transferfunktion oder/und Erstellen einer Strahlfunktion;
Erzeugen eines Bildes.
16. Flüchtiges oder nicht-flüchtiges computerlesbares Speichermedium, das ein Compu terprogramm gemäß Anspruch 15 aufweist.
EP19758614.2A 2018-07-27 2019-07-29 Verfahren und datenverarbeitungssystem zur synthese von bildern Pending EP3830796A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018118187.6A DE102018118187A1 (de) 2018-07-27 2018-07-27 Verfahren und Datenverarbeitungssystem zur Synthese von Bildern
PCT/EP2019/070332 WO2020021121A1 (de) 2018-07-27 2019-07-29 Verfahren und datenverarbeitungssystem zur synthese von bildern

Publications (1)

Publication Number Publication Date
EP3830796A1 true EP3830796A1 (de) 2021-06-09

Family

ID=67742349

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19758614.2A Pending EP3830796A1 (de) 2018-07-27 2019-07-29 Verfahren und datenverarbeitungssystem zur synthese von bildern

Country Status (10)

Country Link
US (2) US12008708B2 (de)
EP (1) EP3830796A1 (de)
JP (1) JP7489960B2 (de)
KR (1) KR102686182B1 (de)
CN (1) CN112513933B (de)
AU (1) AU2019309552B2 (de)
CA (1) CA3107886A1 (de)
DE (1) DE102018118187A1 (de)
NZ (1) NZ772353A (de)
WO (1) WO2020021121A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019134022B3 (de) * 2019-12-11 2020-11-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Verfahren und Vorrichtungen zum Emulieren von Kameraobjektiven
US12106427B2 (en) * 2019-12-13 2024-10-01 Sony Group Corporation Rendering back plates
US11869135B2 (en) * 2020-01-16 2024-01-09 Fyusion, Inc. Creating action shot video from multi-view capture data
DE102020119601A1 (de) 2020-07-24 2022-01-27 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Hintergrundwiedergabesystem
EP4200847A4 (de) * 2020-08-24 2024-10-02 FD IP & Licensing LLC Vorvisualisierungsvorrichtungen und -systeme für die filmindustrie
DE102021200965A1 (de) * 2021-02-03 2022-08-04 Carl Zeiss Ag Verfahren zur Simulation einer optischen Abbildung
EP4068198B1 (de) * 2021-04-01 2023-12-27 Carl Zeiss AG Verfahren zur erzeugung eines bilds eines objekts, computerprogrammprodukt und bilderzeugungssystem zur durchführung des verfahrens
US20230186550A1 (en) * 2021-12-09 2023-06-15 Unity Technologies Sf Optimizing generation of a virtual scene for use in a virtual display environment
JP2025039235A (ja) * 2023-09-08 2025-03-21 キヤノン株式会社 画像処理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990935A (en) * 1997-04-04 1999-11-23 Evans & Sutherland Computer Corporation Method for measuring camera and lens properties for camera tracking
US6268863B1 (en) * 1997-10-02 2001-07-31 National Research Council Canada Method of simulating a photographic camera
US8014985B2 (en) * 1999-03-26 2011-09-06 Sony Corporation Setting and visualizing a virtual camera and lens system in a computer graphic modeling environment
JP2004227332A (ja) 2003-01-23 2004-08-12 Hitachi Ltd 情報表示方法
US20050168485A1 (en) * 2004-01-29 2005-08-04 Nattress Thomas G. System for combining a sequence of images with computer-generated 3D graphics
JP2005252680A (ja) 2004-03-04 2005-09-15 Fujinon Corp レンズシステム
US8228400B2 (en) * 2009-04-17 2012-07-24 Sony Corporation Generation of simulated long exposure images in response to multiple short exposures
CN101968880A (zh) * 2010-09-10 2011-02-09 中国科学院软件研究所 一种图像散景效果的生成方法
EP2786303A4 (de) * 2011-12-01 2015-08-26 Lightcraft Technology Llc Matte-system mit automatischer nachverfolgung
KR20150136601A (ko) * 2013-03-25 2015-12-07 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) 다수의 출사동을 가진 헤드 착용 디스플레이로부터 투영된 이미지를 디스플레이하기 위한 방법
CN106133796B (zh) * 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和系统
BR112016029776A2 (pt) * 2014-06-20 2017-08-22 Qualcomm Inc sistema multicâmeras fino livre de paralaxe capaz de capturar campo amplo total de imagens de visão
JP6682184B2 (ja) * 2014-12-19 2020-04-15 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
US10341546B2 (en) * 2015-04-28 2019-07-02 Sony Corporation Image processing apparatus and image processing method
CN105488457B (zh) * 2015-11-23 2019-04-16 北京电影学院 摄影机运动控制系统在电影拍摄中的虚拟仿真方法及系统
US10291899B2 (en) * 2015-11-30 2019-05-14 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating restored image
US10692288B1 (en) * 2016-06-27 2020-06-23 Lucasfilm Entertainment Company Ltd. Compositing images for augmented reality
US10713836B2 (en) * 2018-06-25 2020-07-14 Microsoft Technology Licensing, Llc Simulating lenses

Also Published As

Publication number Publication date
KR102686182B1 (ko) 2024-07-19
US20240029342A1 (en) 2024-01-25
CN112513933B (zh) 2025-02-11
US12008708B2 (en) 2024-06-11
CA3107886A1 (en) 2020-01-30
WO2020021121A1 (de) 2020-01-30
US20210150804A1 (en) 2021-05-20
AU2019309552B2 (en) 2023-12-14
KR20210038609A (ko) 2021-04-07
DE102018118187A1 (de) 2020-01-30
CN112513933A (zh) 2021-03-16
JP2021532649A (ja) 2021-11-25
JP7489960B2 (ja) 2024-05-24
NZ772353A (en) 2024-02-23
AU2019309552A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
EP3830796A1 (de) Verfahren und datenverarbeitungssystem zur synthese von bildern
EP3944604B1 (de) Hintergrundwiedergabesystem
DE19714101C2 (de) Verfahren und Vorrichtung zum Bearbeiten von Bilddaten
DE102018129600A1 (de) Verfahren und System zur virtuellen Anprobe einer Brille
DE102016203709B4 (de) Bildverarbeitungsverfahren, Bildverarbeitungsmittel und Bildverarbeitungsvorrichtung zur Erzeugung von Abbildungen eines Teils eines dreidimensionalen Raums
DE112017006107T5 (de) Digitale Korrektur von optischen Systemaberrationen
DE102015119400B4 (de) Mehrfachkameravorrichtung und Verfahren zum synchronisierten Autofokussieren
DE102015110326A1 (de) Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben und Speichermedium
DE102014117120A1 (de) Bildverarbeitungsvorrichtung
DE112011100538T5 (de) Verfahren zur Darstellung einer dreidimensionalen Anfangsszene aufgrund der Bildaufnahmeergebnisse in einer zweidimensionalen Projektion (Ausgestaltungen)
DE102007021518B4 (de) Verfahren zum Verarbeiten eines Videodatensatzes
DE102013020611B4 (de) Ein Ansatz für eine Kamerasteuerung
EP4040396B1 (de) Verfahren zur simulation einer optischen abbildung
DE102024103250A1 (de) Steuervorrichtung, Steuerverfahren und Bilderfassungsvorrichtung
EP4068198B1 (de) Verfahren zur erzeugung eines bilds eines objekts, computerprogrammprodukt und bilderzeugungssystem zur durchführung des verfahrens
EP4462377A1 (de) Verfahren und vorrichtung zur überblendung von objekten in digitalen bildern
WO2017059993A1 (de) Verfahren zur aufnahme eines bildes mit einem mobilgerät
EP3836533B1 (de) Verfahren und vorrichtungen zum emulieren von kameraobjektiven
DE19753246C2 (de) Vorrichtung zur Bestimmung von dreidimensionalen Daten von Objekten
DE102022212679A1 (de) Verfahren zum Betrieb eines Bildaufnahmesystems; Bildaufnahmesystem; Computerprogrammprodukt
DE102023002809A1 (de) Verfahren zur Verbesserung der Bildqualität eines Multikamerasystems
DE102019101313A1 (de) Messeinrichtung und Verfahren zum dreidimensionalen optischen Vermessen von Messobjekten
WO2017211511A1 (de) Verfahren und vorrichtung zur erstellung eines panoramabilds
DE102008025913A1 (de) Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210113

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250220