EP4169245A1 - Methodes pour la production d'effets d'immersion visuelle pour un contenu audiovisuel - Google Patents

Methodes pour la production d'effets d'immersion visuelle pour un contenu audiovisuel

Info

Publication number
EP4169245A1
EP4169245A1 EP21732294.0A EP21732294A EP4169245A1 EP 4169245 A1 EP4169245 A1 EP 4169245A1 EP 21732294 A EP21732294 A EP 21732294A EP 4169245 A1 EP4169245 A1 EP 4169245A1
Authority
EP
European Patent Office
Prior art keywords
visual
sound
video image
end zone
immersion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21732294.0A
Other languages
German (de)
English (en)
Inventor
Jérôme DEMOULIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cgr Cinemas
Original Assignee
Cgr Cinemas
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cgr Cinemas filed Critical Cgr Cinemas
Publication of EP4169245A1 publication Critical patent/EP4169245A1/fr
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J25/00—Equipment specially adapted for cinemas

Definitions

  • the present invention relates to methods of producing visual immersion effects for audiovisual content such as a film.
  • Stimulation of peripheral vision is one of the main factors promoting a feeling of immersion in a viewer placed in front of a screen. It is, in fact, generally admitted that, to have the impression of being in an image rather than in front of an image, the visual field of the spectator must be stimulated in its quasi totality.
  • Peripheral vision is, in fact, passive and particularly sensitive to contrasts and movements. Unsuitable peripheral content (in strong contrast to what is displayed in the central field of vision, or exhibiting sudden movement for example) can distract the viewer's attention from the video image being projected on the front screen, which reduces, even annihilates, the immersion effect.
  • the content of these visual frames which escapes the direct analysis of the viewer, must be defined in such a way as to best improve their immersive experience.
  • US2006 / 2683 which describes a method which generates in real time the visual frames intended for the screens based on the content broadcast on the screen and the atmosphere of the room. For this, according to US2006 / 2683, one needs to access the video and audio content for the broadcast.
  • the "visual immersion effects” are prepared and constructed upstream of the projection and are not to be confused with the content played on the mediums. These effects form a collection that allows creative teams to generate the final content using the "palette” of effects.
  • the system according to the present invention makes it possible to display visual content on different mediums (for example physical panels, or virtual environment in 3D simulation, etc.) by synchronizing temporally with encrypted media players without having access to the content played.
  • mediums for example physical panels, or virtual environment in 3D simulation, etc.
  • An object of the present invention is to provide visual frames that best promote an immersive experience based on peripheral visual perception.
  • the invention makes it possible to generate the immersive effects upstream of the projection, which cannot be obtained by the methods and equipment implemented so far.
  • Another object of the present invention is to generate, for a given audiovisual content, an effects library visual immersion allowing the creation of a visual immersion script for this content.
  • Another object of the present invention is to be able to automatically generate, for a given film, a visual immersion script intended to stimulate the viewer's peripheral vision during the screening of this film.
  • the method further comprises a step of determining a sound parameter of the sound content, the predefined image processing being linked to the determined sound parameter of the sound content;
  • the sound parameter is chosen from a list comprising a sound height, a sound duration, a sound intensity, a sound timbre, and / or a sound directivity;
  • the predefined image processing comprises an adjustment of the colorimetric atmosphere of the first selected end zone
  • the predefined image processing comprises a restitution of the average colorimetric atmosphere of the first selected end zone; - the predefined image processing comprises a modification of the brightness of at least one color in the first selected end zone;
  • the predefined image processing comprises an application of a blur effect
  • the method further comprises a step of selecting a second end zone located at a second end of the extracted background, the second end being opposite the first end, a step of applying said treatment predefined image at the second selected end area;
  • a plurality of different visual frames integrating said at least one visual frame is generated from the first end zone;
  • the method further comprises a step of extracting a first plane of the video image, a step of detecting a light beam in the extracted first plane, a step of determining a direction of the light beam detected, a step of generating control data to control a light source capable of generating a light beam in a direction associated with the determined direction;
  • the method further comprises a step of generating a visual immersion script integrating the visual frame
  • the visual immersion script also includes the order data
  • command data can be interpreted by a script reader in any form, be it software, hardware, firmware or a combination of these forms.
  • the method further comprises a step of adding the visual immersion script to the audiovisual content
  • the method further comprises a step of reading the visual immersion script in a virtual environment in 3D simulation.
  • FIG. l schematically illustrates a video image of audiovisual content
  • Figure [Fig.2] schematically illustrates a background of the video image
  • Figure [Fig.3] schematically illustrates objects of interest in a foreground of the video image
  • Figure [Fig.4] schematically illustrates steps of a method for producing visual immersion effects according to various embodiments
  • Figure [Fig.5] schematically illustrates the stimulation of peripheral vision during the projection of audiovisual content according to various embodiments
  • Figure [Fig.6] schematically illustrates modules involved in the production of visual immersion scripts according to various embodiments.
  • a video image 1 of audiovisual content intended to be displayed on a front screen 2 disposed facing the viewer.
  • This audiovisual content is, for example, a cinematographic work, or a video film intended to be displayed / projected on a display screen arranged on a front wall of a cinema.
  • the video image 1 comprises a background 3 (or a background) and a foreground 4
  • the background 3 corresponds to the scene, the setting or the environment in which one or more are located or evolve. prominent obj ects 41.
  • the first plane 4 comprises objects 41 of interest present or evolving in the environment represented by the background 3.
  • a background 3 is, in fact, generally indexed to the presence of at least one object 41 or a subject, said to be of interest, of foreground on which it is expected that the attention of the spectator. In the absence of foreground objects 41, all of the content of the video image 1 can, in one embodiment, be considered to be the background 3.
  • the decomposition or the segmentation of the content of a video image 1 in a background 3 and a foreground 4 can be obtained by any method known from the state of the art allowing the extraction of the rear -plane 3 and / or foreground 4. These methods include, for example, background (or, equivalently, foreground) subtraction methods, object extraction methods, search methods moving contours (optical flow or Block-Matching for example), or methods based on deep machine learning (known as “deep learning”).
  • the extraction of the foreground 4 and / or the background 3 of the video image 1 comprises a step of comparing this video image 1 with the previous and / or following video images of the audiovisual content. .
  • the extraction of a background 3 and / or a foreground object 41 from the video image 1 is based on the psychology of the form (better known under the name of "the theory of form” or “the theory of Gestalt") applied to the visual perception of the viewer.
  • the viewer By perceiving the video image 1, the viewer isolates a part which becomes a foreground object 41 on which his attention is focused, and a remainder of the video image 1 which becomes a background 3.
  • the rear -plan 3 is relatively undifferentiated by the spectator who seems to him to extend (by a subjective localization effect) under the foreground objects 41 beyond the contours which limit them or parts of them.
  • This distinction results from the application of one or more laws of Gestalt theory such as - the law of proximity according to which the closest elements in a video image 1 are considered to be perceived by the viewer as belonging to the same group of the foreground 4 or of the background 3;
  • the video image 1 is broken down into a foreground 4 and a background 3 (or a background 3). More generally, a first plane 4 and a background 3 are associated with each video image 1 of the audiovisual content.
  • End zones 31 are selected from the background 3 of the video image 1.
  • these end zones 31 are two zones located at the ends side (right and left) of the background 3.
  • these end zones 31 may comprise a lower end zone and / or an upper end zone of the background 3 .
  • An end zone 31 is, in one embodiment, a strip extending from an edge of the background 3 towards its center up to a predefined distance.
  • an end zone 31 of the background 3 has a generally rectangular shape which covers a border region of the background 3 or, generally, a region comprising an edge of the background 3. the background The dimensions and / or the shape of an end zone 31 can be fixed or variable from one video image 1 to another.
  • a first end zone 31 and a second end zone 31 located, respectively, at a first end and a second opposite end of the background 3 (left and right and / or lower and higher for example) are selected.
  • the selected end zones 31 of the same background 3 can be of different shape and / or dimensions.
  • two opposite end zones 31 of a background 3 have the same shape and / or the same dimensions.
  • the selection of a plurality of end zones 31 located at the same end of the same background 3 and being of different shape and / or dimensions can be envisaged.
  • a first left end zone 31 of 0 to 360 pixels by 858 lines and a second right end zone 31 from 1688 to 2048 by 858 lines are selected.
  • Image processing is applied to each selected end zone 31 of the background 3 to generate visual frames intended to be displayed in the viewer's peripheral field of vision when the image is projected.
  • video 1 in the viewer's central field of vision.
  • This image processing includes the application of graphic effects, cutting operations, cropping (or cropping), non-proportional resizing, and / or geometric transformations (or deformations).
  • graphic effects generally implemented by means of configurable filters.
  • blur effects such as artistic blur (such as "Bokeh”, motion blur, or motion blur), depth of field blur (or background blur), motion blur, radial bum, Gaussian blur, or composite blur;
  • - colorimetric effects allowing to adapt, to the peripheral vision, for example, the hue of the colors, the light / dark tone, the saturation of the colors, the central color, the correspondence between the colors, the temperature of the colors, the texture , color balance, chromatic replication (or average RGB replication), and / or color curves / histograms of the selected area;
  • the image processing comprises an adjustment of the colorimetric atmosphere (via the color balance, or a three-way chromatic corrector for example) of the selected end zone 31.
  • colorimetric effects are applied to the selected end zone 31 so as to generate a visual frame having a certain colorimetric atmosphere.
  • colorimetric atmosphere or colorimetry
  • colorimetric atmosphere is meant the general hue that we perceive of a visual frame. This colorimetric atmosphere is, for example, predominantly a predefined color.
  • the image processing applied to the selected end zone 31 comprises a restitution of the average colorimetric atmosphere (or average RGB color, i.e. the average of each of the components. Red, Green, Blue)
  • the image processing applied to an end zone 31 is correlated or linked to a sound content of the audiovisual content.
  • This image processing is, for example, linked to a semantic state and / or to a sound parameter of a sound content associated with the video image 1.
  • a semantic state and / or a sound parameter are therefore determined for a content sound associated with the video image 1.
  • a semantic state of sound content is a semantic description (or description of meaning) of a sound segment. Sound content is able to convey a lot of semantic information. This semantic state is, for example, a meaning attributed to sound content or an expression of feelings / emotions such as joy, sadness, anger, fear, encouragement or, more generally, any event of sound interest. This advantageously results in a visual interpretation of the semantic state of the audio space of the audiovisual content.
  • a semantic state of a sound content is, in one embodiment, determined following a semantic classification, according to predefined taxonomies, based on sound objects (musical extract, laughter, applause, speech, cry for example) of this sound content and / or a textual description of the sound content (a speech transcription for example).
  • the semantic classification of the sound content is, moreover, based on a semantic classification of visual objects of the video image 1, in particular the recognition of a visual object of the background 3 and / or a foreground object 41.
  • the recognition of an obj and visual of the video image 1 makes it possible, advantageously, to estimate the source of the sound content and / or the sound context of the video image 1 and, therefore, improve the determined semantic state of the sound content.
  • an image processing applied to a selected end zone 31 comprises an adjustment of its colorimetric ambience as a function of the determined semantic state of the sound content associated with the video image 1.
  • this colorimetric atmosphere is predominantly the color pink when the determined semantic state is “romanticism”, or the color white when the determined semantic state is “happiness”.
  • the sound parameter is, in one embodiment, chosen from the physical parameters of the sound content integrating a sound pitch (a low / high sound or, more generally, a frequency), a sound duration (a short / long sound ), sound intensity (or volume), sound timbre, and / or sound directivity.
  • the image processing comprises the application of a graphic effect correlated with the sound intensity and / or the sound duration of a sound segment associated with the video image 1 in projection .
  • This image processing is, for example, a lighting effect or, in general, a modification of the brightness of at least one color in the selected end zone 31.
  • the applied image processing comprises changing the degree of brightness of at least one color of the selected end area 31 in proportion to the sound intensity. This makes it possible, for example, to translate a sound peak or a short sound of high intensity (that of a detonation, a shot or an explosion for example) by a visual frame of strong luminosity.
  • the image processing comprises an adjustment of the colorimetric atmosphere correlated with the sound height and / or the sound timbre of a sound content associated with the video image 1 in projection.
  • This image processing is, for example, a colorimetric ambience setting for a visual representation of a musical sound (a melody, a rhythm, a harmony, or a certain musical instrument for example) or a voice (voice of a woman or a man).
  • the image processing applied can also take into account the sound directivity of the sound associated with the video image 1, including in particular the orientation, relative to the viewer, of the visual object supposed to be the source of this sound. and / or its remoteness (intensity). This advantageously results in a visualization or visual interpretation of the sound space of the audiovisual content.
  • a plurality of visual frames can be generated for the same selected end zone 31 of a background 3.
  • a non-proportional resizing of the height and / or of the width of the end zone 31 makes it possible to stretch them so as to best cover the viewer's peripheral field of vision.
  • a visual frame is, in one embodiment, of low contrast, low resolution and less sharp than the end zone 31 from which this visual frame is generated.
  • the image processing applied to a selected end area 31 of a background 3 includes a reduction in sharpness. below a predefined threshold.
  • the generated visual frame comprises one or more indices of the environment at the selected end zone 31 (colorimetry, luminance, appearance , the general shape, and / or the appearance of the objects present in this end zone 31), without however describing it in detail.
  • the display of a visual frame deduced from the video image 1 makes it possible to extend or extend, in the viewer's peripheral field of vision at least partially, the background 3 of the video image
  • the visual frame subjects the viewer's peripheral vision to clues from the background of the video image 1, without however diverting the attention of the front screen viewer 2.
  • the visual frame makes it possible to extend the space markers displayed in the video image 1 in order to better still focus the viewer's attention on the foreground objects 41 and on him. provide a feeling of immersion in this video image 1
  • the visual frame does not include indices of the foreground objects 41 which remain displayed only in the central field of vision of the spectator.
  • the background 3 is extended by these ends to also cover the peripheral field of vision, while the foreground objects 41 remain associated with the central vision.
  • Such occupation of the viewer's visual field advantageously makes it possible to include the viewer in the environment of the video image 1 in projection in his central field of vision and to focus his attention on the front screen 2.
  • the foreground objects 41 are subject to his central vision and, therefore, to his direct analysis; and - the setting or environment (i.e. background 3) extends beyond its central visual field to also fill its peripheral visual field.
  • Each visual frame is intended to be displayed in the viewer's peripheral field of vision on the same side as the end zone 31 from which this visual frame is generated. In other words, each visual frame is intended to occupy a region of the viewer's peripheral visual field. This region diverges from the end zone 31 from which the visual frame is generated.
  • the visual immersion induced by the activation of the peripheral vision by means of the visual frames is further amplified by means of an ambient light.
  • This ambient light is emitted by at least one light source capable of emitting a light beam in a predetermined direction.
  • the hue or the color temperature of the emitted light beam is adjustable. This light source is, for example, a spot, or a directional projector.
  • the ambient light emitted aims to reproduce a beam of light present in the video image 1 in projection ("flashlight" effect).
  • the light beam present in the video image 1 can correspond to an illumination by a directive light source such as a flashlight, or automobile headlights.
  • the analysis of the foreground obj ects 41 makes it possible to detect the presence of a light beam in the video image 1 in projection.
  • This detection is, in one embodiment, based on deep machine learning (or, in English, “deep learning”). As a variant or in combination, this detection can be based on the shape and / or the luminosity of the foreground objects 41.
  • the ambient light control is determined by the direction and the hue of the light beam detected in the foreground 4 of the video image 1 in projection. It is thus possible to reproduce the evolution in successive video images 1 of a light beam produced, for example, by the headlights of a motor vehicle in a bend or by a flashlight being manipulated by a character.
  • the light beam is reproduced in the vertical peripheral field of vision (in particular, above the central field of vision) of the viewer.
  • This library of visual immersion effects comprises, for each video image 1, one or more visual frames, correlated or not with the soundtrack, and possibly control data of a light source.
  • This visual immersion effects library constitutes a resource for creating a visual immersion script for audiovisual content.
  • This visual immersion script comprises a series of visual frames and control data from a light source consistent with the initial audiovisual content and intended to be displayed in the viewer's peripheral field of vision during the projection of the audiovisual content.
  • each video image 1 of the audiovisual content by associating with each video image 1 of the audiovisual content one or more visual frames and, optionally, an ambient light, various visual immersion scripts can be created from this library of effects.
  • visual immersion for the same initial audiovisual content Each of these visual immersion scripts is advantageously generated natively from the initial source, namely the film or more generally the audiovisual content. This makes it possible to maintain a creative coherence between the choices of the effects constituting the visual immersion script and the initial audiovisual content in its visual and sound narration.
  • a visual immersion script can thus be added to the initial audiovisual content without distorting the initial work.
  • a visual immersion script is automatically generated from the visual immersion effects library.
  • a software application (or, of generally, a computer program product) is configured to associate with each video image one or more visual frames and, optionally, ambient light control data deduced from this video image 1.
  • the software application is further configured to guarantee a correlation coefficient between two successive visual frames (visual intra-frames) greater than a first predefined threshold value.
  • This software application is, in another embodiment, configured to choose from among the visual frames associated with a video image 1, one or more visual frames each having, with the end zone 31 from which this visual frame is generated , a correlation coefficient greater than a second predefined threshold value.
  • This software application is, in another embodiment, also configured to generate, from the audiovisual content, the library of visual immersion effects. In one embodiment, this software application is integrated into a business graphics creation software environment.
  • the software application is, in one embodiment, able to produce in real time (ie on the fly) from an audiovisual content in projection (in particular, a film) a script of visual immersion intended to be displayed in the spectator's peripheral field of vision at the same time as the projection of the audiovisual content in the central field of vision of this spectator.
  • a home cinema system (better known under the name of "home cinema") or, more generally, a television system comprises the software application or a device implementing this software application.
  • This home theater system includes at least a first video output and a second video output arranged to provide a visual immersion script.
  • This visual immersion script is produced in real time by the software application from the audiovisual content in projection on a front screen.
  • This visual immersion script is intended to be displayed on at least two side screens on either side of the front screen.
  • the side screens are, in one embodiment, disposed on the side walls of a chamber.
  • the production, from a given audiovisual content, of visual immersion effects comprises, as described above, a step of distinction, for each image video 1 or video shot of this audiovisual content, a background 3 (or background) and a foreground 4.
  • This distinction can result from the extraction of the background 3 (step 10) or the foreground 4.
  • At least one end zone 31 located at one end of the extracted background 3 is selected (step 20).
  • two end zones 31 located at two opposite ends, in particular lateral ends, of the extracted background 3 are selected.
  • the application (step 30) of a predefined image processing to a selected end zone 31 makes it possible to generate at least one visual frame intended to be displayed in the peripheral field of vision of a spectator during the projection of the video image 1 in the central field of vision of the spectator.
  • This image processing adapts the graphic content of the end zone 31 to the viewer's peripheral vision (in terms of sharpness, colorimetry, luminosity, contrast, or dimensions, for example).
  • This image processing is, in one embodiment, linked to the sound content (in its semantic and / or physical dimension) associated with the video image 1 of the audiovisual content.
  • the visual frames thus generated are intended to be displayed / projected on screens aimed at the peripheral vision of the spectator.
  • the extraction of the foreground 4 makes it possible to detect therein a light beam which, as a result of visual immersion, can be reproduced in the viewer's peripheral field of vision.
  • the direction of this light beam relative to a predefined direction is determined.
  • the hue or the color temperature of this light beam are, in one embodiment, also determined.
  • Control data of a predefined light source for emitting, in the viewer's peripheral field of vision, a light beam in the determined direction or in a direction associated with the determined direction is subsequently generated.
  • This visual immersion script can be used in a cinema hall 5, as illustrated in FIG. 5.
  • This cinema hall 5 comprises a front screen 2 and a plurality of side screens 7 on the side on the other side of the front screen 2.
  • the front screen 2 has a screen ratio suitable for covering the central visual field 8 of the spectator 6.
  • the side screens 7, they are arranged on the side faces of the cinema hall 5 and are intended to fill the field of view.
  • Screens on the ceiling and / or on the floor of the cinema hall 5 (not shown in FIG. 5) can be envisaged to cover the vertical peripheral visual field of the spectator. More generally, any screen making it possible to at least partially fill the peripheral field of vision 9 (horizontal and / or vertical) of a viewer placed in front of the front screen 2 can be envisaged.
  • the side screens 7 are LED panels.
  • the display of the visual frames of the visual immersion script on the side screens 7 allows an extension or an extension, in the peripheral field of vision 9 of the viewer 6, of the background of the video image 1 in projection on the front screen 2. This produces in the viewer 7 the impression that the background of the video image 1 projected on the front screen 2 is extended into the screens. 7 sides which encompasses it in this video image (an enveloping and immersive effect).
  • the projection (or display) of the audiovisual content on the front screen 2 and, simultaneously, the visual immersion script on the side screens 7 creates an immersion space making it possible to immerse the viewer 6 in the environment of the scene seen in the video image 1 projected onto the front screen 2.
  • the spectator 6 maintains his central vision on the front screen 2, while remaining aware of who is offered to his peripheral vision by the side screens 7 (comprising, in particular, indices of the environment of the video image 1 in projection).
  • the visual frames include visual information deduced from the sound content and from the images and video shots of the audiovisual content which are brought into the peripheral field of vision 9 of the viewer 6 to activate / excite his peripheral vision, without diverting his attention from it. front screen 2.
  • the immersion script comprises for the same video image 1 a plurality of visual frames intended to be displayed on a plurality of side screens 7 arranged on the same side face of the cinema hall 5 .
  • These visual frames take into consideration the place in room 5 of the cinema of the spectator 6 (placed in the first row, in the middle, or at the back of the room, for example).
  • these visual frames are increasingly blurred as they move away from the front screen 2 to take into account the fact that the passage from the central zone to the peripheral zone of the field of view is a continuum between the net and the blur and not a straightforward transition.
  • a visual frame is segmented into as many side screens 7, this frame being less and less clear as it moves away from the front screen 2.
  • FIG. 6 it is displayed modules involved in the production of a visual immersion script 65 for audiovisual content 61.
  • this audiovisual content 61 is, first of all, provided in input from a generator 62 of visual frames implementing the method described above.
  • a plurality of different visual frames is generated for each video image of the audiovisual content 61 so as to obtain at output a palette 63 of immersive effects.
  • a generator 64 of visual immersion scripts is able to produce one or more scripts 65 of visual immersion.
  • the audiovisual content 61 is being read by a multimedia player 66 (a software player or a projector, for example)
  • the visual immersion script 65 is simultaneously played by a script player 67. immersion via one or more mediums 68 such as LED panels, a virtual environment in 3D simulation, or display screens.
  • the immersive effects palette 63 is, in one embodiment, constructed well in advance of the projection of the audiovisual content 61 by the multimedia player 66, the time to be able to generate several different visual immersion scripts 65.
  • the immersion script player 67 is separate from the media player 66 so that it does not have access to the audiovisual content 61 being played.
  • the embodiments described above make it possible to go beyond the two-dimensional display of the front screen 2 by extending the environment / background of the video image 1 in projection to the left. outside this frame so as to activate the peripheral vision of the spectator who, as a result, has the impression of being in the image (a feeling of presence) and not facing a projection on a plane not conducive to a immersion.
  • the visual interpretation of the sound content makes it possible to further improve the feeling of immersion in the viewer.
  • imitation in the viewer's peripheral field of vision of a beam of light present in the projection video image further enriches the viewer's immersive experience.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

Procédé pour la production d'effets d'immersion visuelle pour un contenu audiovisuel et un contenu sonore associé à l'image vidéo, ce procédé comprenant les étapes d'extraction d'un arrière-plan d'une image vidéo du contenu audiovisuel; de sélection d'une zone d'extrémité située à une extrémité de l 'arrière-plan extrait; de détermination d'un état sémantique d'un contenu sonore associé à l'image vidéo, et d'application d'un traitement d'image prédéfini sur la zone d'extrémité sélectionnée pour générer au moins une trame visuelle destinée à être affichée dans le champ de vision périphérique (9) d'un spectateur (6) lors de la projection de l'image vidéo dans le champ de vision central (8) du spectateur (6), le traitement d'image prédéfini étant lié à l'état sémantique déterminé du contenu sonore.

Description

Description
Titre : Méthodes pour la production d’effets d’immersion visuelle pour un contenu audiovisuel
[0001] La présente invention a trait aux méthodes de production d'effets d'immersion visuelle pour un contenu audiovisuel tel qu'un film.
[0002] La stimulation de la vision périphérique est un des principaux facteurs favorisant un sentiment d'immersion chez un spectateur placé face à un écran. Il est, en effet, généralement admis que, pour avoir l'impression d'être dans une image plutôt que devant une image, le champ visuel du spectateur doit être stimulé dans sa quasi-totalité.
[0003] Pour cela, des trames visuelles déduites du contenu audiovisuel en projection sont affichées de part et d'autre d'un écran frontal de façon à couvrir aussi le champ de vision périphérique du spectateur.
[0004] Toutefois, compte tenu des sensibilités spécifiques de la vision périphérique, une attention particulière est à porter au contenu de ces trames visuelles. La vision périphérique est, en effet, passive et particulièrement sensible aux contrastes et aux mouvements. Un contenu périphérique inadapté (de fort contraste par rapport à ce qui est affiché dans le champ de vision central, ou présentant un mouvement brusque par exemples) peut détourner l'attention du spectateur de l'image vidéo en projection sur l'écran frontal, ce qui amenuise, voire annihile, l'effet d'immersion. Le contenu de ces trames visuelles, qui échappe à l'analyse directe du spectateur, doit être défini de façon à améliorer au mieux son expérience immersive.
[0005] A titre d’état de la technique, on peut prendre en considération US2006/2683 qui décrit un procédé qui génère en temps réel les trames visuelles à destination des écrans en se basant sur le contenu diffusé sur l'écran et l'atmosphère de la salle. Pour cela, selon US2006/2683, on a besoin d'accéder au contenu vidéo et audio à la diffusion.
[0006] Selon l’invention, les "effets d'immersion visuelle" sont préparés et construits en amont de la projection et ne sont pas à confondre avec le contenu joué sur les médiums. Ces effets forment une collection permettant aux équipes créatives de générer les contenus finaux utilisant la «palette» d’effets.
[0007] La génération de cette palette permet un gain énorme de temps dans la réalisation des contenus,
[0008] US2006/2683 présente les inconvénients suivants que ne présente pas le procédé selon la présente invention, dont, le besoin de métadonnées pour identifier des éléments d'images, comme le background (voir § [0046][0047][0061] }, ou la nécessité de capter le flux de données en temps réel (voir § [0044][0045][0048] } puisque non accessible dans le contexte d'exploitation cinématographique et que le traitement se fait en amont. Aussi, ce document (voir § [0049]- [0052], [0058], [0081] est-il d’un usage limité à la projection d'image sur des murs physiques, alors que selon l’invention il est possible d'alimenter des appareils d'affichage ou lumineux
[0009] Le système selon la présente invention permet d'afficher un contenu visuel sur différents médiums (par exemple panneaux physiques, ou environnement virtuel en simulation 3D, etc... ) en se synchronisant temporellement avec des lecteurs multimédias encryptés sans avoir accès au contenu joué.
[0010] Un objet de la présente invention est de proposer des trames visuelles favorisant au mieux une expérience immersive basée sur la perception visuelle périphérique.
[0011] En fait, l’invention permet de générer les effets immersifs en amont de la projection, ce que ne permettent pas d’obtenir les procédés et appareillages mis en œuvre jusqu’à présent.
[0012] Un autre objet de la présente invention est de générer, pour un contenu audiovisuel donné, une bibliothèque d'effets d'immersion visuelle permettant la création d'un script d'immersion visuelle pour ce contenu.
[0013] Un autre objet de la présente invention est de pouvoir générer automatiquement, pour un film donné, un script d'immersion visuelle destiné à stimuler la vision périphérique du spectateur lors de la projection de ce film.
[0014] A cet effet, il est proposé, en premier lieu, un procédé pour la production d'effets d'immersion visuelle pour un contenu audiovisuel intégrant une image vidéo et un contenu sonore associé à l’image vidéo, ce procédé comprenant les étapes suivantes:
- extraction d'un arrière-plan de l’image vidéo;
- sélection d'une première zone d'extrémité située à une première extrémité de l'arrière-plan extrait;
- détermination d’un état sémantique du contenu sonore ; - application d'un traitement d'image prédéfini à la première zone d'extrémité sélectionnée pour générer au moins une trame visuelle destinée à être affichée dans le champ de vision périphérique d'un spectateur lors de la projection de l'image vidéo dans le champ de vision central du spectateur, le traitement d’image prédéfini étant lié à l’état sémantique déterminé du contenu sonore.
[0015] Diverses caractéristiques supplémentaires peuvent être prévues, seules ou en combinaison :
- le procédé comprend, en outre, une étape de détermination d’un paramètre sonore du contenu sonore, le traitement d’image prédéfini étant lié au paramètre sonore déterminés du contenu sonore ;
- le paramètre sonore est choisi parmi une liste comprenant une hauteur sonore, une durée sonore, une intensité sonore, un timbre sonore, et/ou une directivité sonore ;
- le traitement d'image prédéfini comprend un réglage de l'ambiance colorimétrique de la première zone d'extrémité sélectionnée ;
- le traitement d’image prédéfini comprend une restitution de l’ambiance colorimétrique moyenne de la première zone d’extrémité sélectionnée ; - le traitement d'image prédéfini comprend une modification de la luminosité d'au moins une couleur dans la première zone d'extrémité sélectionnée ;
- le traitement d'image prédéfini comprend une application d'un effet de flou ;
- le procédé comprend, en outre, une étape de sélection d'une deuxième zone d'extrémité située à une deuxième extrémité de l'arrière-plan extrait, la deuxième extrémité étant opposée à la première extrémité, une étape d’application dudit traitement d'image prédéfini à la deuxième zone d'extrémité sélectionnée ;
- une pluralité de trames visuelles différentes intégrant ladite au moins une trame visuelle est générée à partir de la première zone d'extrémité ;
- le procédé comprend, en outre, une étape d’extraction d'un premier plan de l'image vidéo, une étape de détection d'un faisceau lumineux dans le premier plan extrait, une étape de détermination d'une direction du faisceau lumineux détecté, une étape de génération d'une donnée de commande pour commander une source de lumière apte à générer un faisceau de lumière dans une direction associée à la direction déterminée ;
- le procédé comprend, en outre, une étape de génération d'un script d'immersion visuelle intégrant la trame visuelle ;
- le script d'immersion visuelle comprend, en outre, la donnée de commande,
- la donnée de commande est interprétable par un lecteur de script sous toute forme qu’elle soit logicielle, matérielle, firmware ou une combinaison de ces formes.
- le procédé comprend, en outre, une étape d’adjonction du script d’immersion visuelle au contenu audiovisuel ;
- le procédé comprend, en outre, une étape de lecture du script d’immersion visuelle dans un environnement virtuel en simulation 3D.
[0016] Il est proposé, en deuxième lieu, un produit programme d’ordinateur implémenté sur un support mémoire, susceptible d’être mis en œuvre au sein d’une unité de traitement informatique et comprenant des instructions pour la mise en œuvre du procédé présenté ci-dessus.
[0017] D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement et de manière concrète à la lecture de la description ci-après de modes de réalisation, laquelle est faite en référence aux dessins annexés dans lesquels :
[0018] la figure [Fig. l] illustre schématiquement une image vidéo d'un contenu audiovisuel ;
[0019] la figure [Fig.2] illustre schématiquement un fond de l'image vidéo;
[0020] la figure [Fig.3] illustre schématiquement des obj ets d'intérêt d’un premier plan de l'image vidéo;
[0021] la figure [Fig.4] illustre schématiquement des étapes d'un procédé pour la production d’effets d’immersion visuelle selon divers modes de réalisation ;
[0022] la figure [Fig.5] illustre schématiquement la stimulation de la vision périphérique lors de la proj ection d’un contenu audiovisuel selon divers modes de réalisation ;
[0023] la figure [Fig.6] illustre schématiquement des modules intervenant dans la production de scripts d’immersion visuelle selon divers modes de réalisation.
[0024] En se référant à la figure 1, il est affiché une image vidéo 1 d'un contenu audiovisuel destiné à être affiché sur un écran 2 frontal disposé face au spectateur. Ce contenu audiovisuel est, par exemple, une œuvre cinématographique, ou un film vidéo destiné à être affiché/projeté sur un écran d'affichage disposé sur une paroi frontale d'un cinéma.
[0025] L’image vidéo 1 comprend un arrière-plan 3 (ou un fond) et un premier plan 4 L'arrière-plan 3 correspond à la scène, le décor ou l'environnement dans lequel se trouvent ou évoluent un ou plusieurs obj ets 41 de premier plan. Le premier plan 4 comprend des objets 41 d'intérêt présents ou évoluant dans l'environnement représenté par l'arrière-plan 3. Un arrière-plan 3 est, en effet, généralement indexé sur la présence d'au moins un objet 41 ou un sujet, dit d'intérêt, de premier plan sur lequel il est attendu que l'attention du spectateur porte. En l'absence d'objets 41 de premier plan, tout le contenu de l'image vidéo 1 peut, dans un mode de réalisation, être considéré comme étant l'arrière-plan 3.
[0026] La décomposition ou la segmentation du contenu d'une image vidéo 1 en un arrière-plan 3 et un premier plan 4 peut être obtenue par toute méthode connue de l'état de l'art permettant l'extraction de l'arrière-plan 3 et/ou du premier plan 4. Ces méthodes comprennent, par exemples, les méthodes de soustraction de fond (ou, de manière équivalente, de premier plan), les méthodes d'extraction d'objet, les méthodes de recherche de contours en mouvement (le flot optique ou le Block-Matching par exemples), ou des méthodes basées sur l'apprentissage automatique profond (dit, en anglais, « deep learning»). Dans un mode de réalisation, l'extraction du premier plan 4 et/ou de l'arrière-plan 3 de l'image vidéo 1 comprend une étape de comparaison de cette image vidéo 1 aux images vidéo précédentes et/ou suivantes du contenu audiovisuel.
[0027] Dans un mode de réalisation, l’extraction d’un arrière- plan 3 et/ou d’un objet 41 de premier plan de l’image vidéo 1 est basée sur la psychologie de la forme (plus connue sous le nom de « la théorie de la forme » ou « la théorie de la Gestalt ») appliquée à la perception visuelle du spectateur.
[0028] En percevant l’image vidéo 1, le spectateur isole une partie qui devient un objet 41 de premier plan sur lequel porte son attention, et un reste de l’image vidéo 1 qui devient un arrière-plan 3. L’arrière-plan 3 est relativement indifférencié par le spectateur qui lui paraît s’étendre (par un effet de localisation subjective) sous les objets 41 de premier plan au-delà des contours qui limitent ceux-ci ou des parties de ceux-ci. Cette distinction résulte de l’application d’une ou plusieurs lois de la théorie de la Gestalt telles que - la loi de proximité selon laquelle les éléments les plus proches dans une image vidéo 1 sont considérés comme étant perçus par le spectateur comme appartenant à un même groupe du premier plan 4 ou de l’arrière-plan 3 ;
- la loi de similarité selon laquelle les éléments ayant le plus de similarités graphiques (forme, couleur, orientation par exemples) dans une image vidéo 1 sont supposés induire chez le spectateur un sens identique, des fonctions similaires ou une importance commune ;
- la loi de continuité selon laquelle plus la proximité de certains éléments visuels dans l’image vidéo 1 est importante, plus ils sont perçus par le spectateur dans la continuité comme s’ils font partie d’un même ensemble de l’arrière-plan 3 ou du premier plan 4 ;
- la loi de destin commun selon laquelle des éléments en mouvement suivant une même trajectoire sont perçus par le spectateur comme faisant partie d’un même ensemble du premier plan 4 ou de l’arrière- plan 3.
[0029] Ainsi, l'image vidéo 1 est décomposée en un premier plan 4 et un arrière-plan 3 (ou un fond 3) . Plus généralement, un premier plan 4 et un arrière-plan 3 sont associés à chaque image vidéo 1 du contenu audiovisuel.
[0030] Des zones 31 (ou région) d'extrémité sont sélectionnées de l'arrière-plan 3 de l'image vidéo 1. Dans l'exemple de la figure 2, ces zones 31 d'extrémité sont deux zones situées aux extrémités latérales (droite et gauche) de l'arrière-plan 3. En combinaison ou en alternative, ces zones 31 d'extrémité peuvent comprendre une zone d'extrémité inférieure et/ou une zone d'extrémité supérieure de l'arrière-plan 3.
[0031] Une zone 31 d'extrémité est, dans un mode de réalisation, une bande s'étendant depuis un bord de l'arrière-plan 3 vers son centre jusqu'à une distance prédéfinie. Dans un autre mode de réalisation, une zone 31 d'extrémité de l'arrière-plan 3 a une forme générale rectangulaire qui couvre une région en bordure de l'arrière-plan 3 ou, de manière générale, une région comprenant un bord de l'arrière-plan 3 Les dimensions et/ou la forme d'une zone 31 d'extrémité peuvent être fixes ou variables d'une image vidéo 1 à une autre.
[0032] Dans un mode de réalisation, une première zone 31 d’extrémité et une deuxième zone 31 d’extrémité situées, respectivement, à une première extrémité et une deuxième extrémité opposées de l’arrière-plan 3 (gauche et droite et/ou inférieure et supérieure par exemples) sont sélectionnées.
[0033] Les zones 31 d'extrémité sélectionnées d'un même arrière- plan 3 peuvent être de forme et/ou de dimensions différentes. Dans un mode de réalisation, deux zones 31 d'extrémité opposées d'un arrière- plan 3 ont la même forme et/ou les mêmes dimensions. Dans un autre mode de réalisation, la sélection d'une pluralité de zones 31 d'extrémité situées à une même extrémité d'un même arrière-plan 3 et étant de différentes forme et/ou dimensions peut être envisagée.
[0034] Par exemple, lorsque la taille de l'arrière-plan 3 (ou, de manière équivalente, de l'image vidéo 1) est de 2048x1152, une première zone 31 d'extrémité gauche de 0 à 360 pixels par 858 lignes et une deuxième zone 31 d'extrémité droite de 1688 à 2048 par 858 lignes sont sélectionnées.
[0035] Un traitement d'image est appliqué à chaque zone 31 d'extrémité sélectionnée de l'arrière-plan 3 pour générer des trames visuelles destinées à être affichées dans le champ de vision périphérique du spectateur lors de la projection de l'image vidéo 1 dans le champ de vision central du spectateur. Ce traitement d'image comprend l'application d'effets graphiques, des opérations de découpage, de recadrage (ou de rognage), de redimensionnement non proportionnel, et/ou de transformations (ou déformations) géométriques.
[0036] A titre d'exemples non exhaustifs, les effets graphiques, généralement mis en œuvre aux moyens de filtres paramétrables, comprennent
- des effets de flou tels qu'un flou artistique (de type le "Bokeh", le flou de bougé, ou le flou cinétique), un flou de profondeur de champ (ou un flou d'arrière-plan), un flou directionnel, un fou radial, un flou gaussien, ou un flou composite;
- des effets de netteté tels que l'adaptation de la profondeur de couleur, la résolution, la définition et/ou l'accentuation;
- des effets colorimétriques permettant d'adapter, à la vision périphérique, par exemples, la teinte des couleurs, le ton clair/foncé, la saturation des couleurs, la couleur centrale, la correspondance entre les couleurs, la température des couleurs, la texture, la balance des couleurs, la réplication chromatique (ou la réplication RVB moyen), et/ou les courbes/histogrammes des couleurs de la zone sélectionnée ;
- une modification de la luminosité d’au moins une couleur en adaptant le contraste, Thistogramme ou la courbe de la luminosité, la balance des blancs, les ombres, ou le ton clair/sombre.
[0037] Dans un mode de réalisation, le traitement d’image comprend un réglage de l'ambiance colorimétrique (via la balance des couleurs, ou un correcteur chromatique tridirectionnel par exemples) de la zone 31 d'extrémité sélectionnée. Pour cela, des effets colorimétriques sont appliqués à la zone 31 d'extrémité sélectionnée de façon à générer une trame visuelle ayant une certaine ambiance colorimétrique. On entend, ici, par ambiance colorimétrie (ou colorimétrie) la teinte générale que l’on perçoit d’une trame visuelle. Cette ambiance colorimétrique est, par exemple, à dominante une couleur prédéfinie.
[0038] Dans un mode de réalisation, le traitement d’image appliqué à la zone 31 d'extrémité sélectionnée comprend une restitution de l’ambiance colorimétrique moyenne (ou couleur RVB moyenne, c.à.d. la moyenne de chacune des composantes Rouge, Vert, Bleu)
- de cette première zone 31 d’extrémité sélectionnée, ou
- de l'arrière-plan 3 de l’image vidéo 1, ou
- de l’arrière-plan 3 de l’image vidéo let de l’arrière-plan d’une image vidéo suivante et/ou précédente à l’image vidéo 1 dans le contenu audiovisuel ; ou - de la première zone 31 d’extrémité sélectionnée et d’une première zone 31 d’extrémité correspondante sélectionnée à partir de l’arrière- plan d’une image vidéo suivante et/ou précédente à l’image vidéo 1 dans le contenu audiovisuel.
[0039] Dans un mode de réalisation, le traitement d'image appliqué à une zone 31 d'extrémité est corrélé ou lié à un contenu sonore du contenu audiovisuel. Ce traitement d'image est, par exemple, lié à un état sémantique et/ou à un paramètre sonore d’un contenu sonore associé à l’image vidéo 1. Un état sémantique et/ou un paramètre sonore sont donc déterminés pour un contenu sonore associé à l’image vidéo 1.
[0040] Un état sémantique d’un contenu sonore est une description sémantique (ou une description de la signification) d’un segment sonore. Un contenu sonore est apte à véhiculer beaucoup d’informations sémantiques. Cet état sémantique est, par exemple, un sens attribué au contenu sonore ou une expression de sentiments/émotions telle qu’une joie, une tristesse, une colère, une peur, un encouragement ou, plus généralement, tout événement d’intérêt sonore. Il en résulte, avantageusement, une interprétation visuelle de l’état sémantique de l’espace sonore du contenu audiovisuel.
[0041] Un état sémantique d’un contenu sonore est, dans un mode de réalisation, déterminé suite à une classification sémantique, selon des taxonomies prédéfinies, basée sur des objets sonores (extrait musical, rire, applaudissement, parole, cri par exemples) de ce contenu sonore et/ou une description textuelle du contenu sonore (une transcription de la parole par exemple). Dans un mode de réalisation, la classification sémantique du contenu sonore est, en outre, basée sur une classification sémantique d’obj ets visuels de l’image vidéo 1, notamment la reconnaissance d’un objet visuel de l’arrière-plan 3 et/ou un objet 41 de premier plan. La reconnaissance d’un obj et visuel de l’image vidéo 1 permet, avantageusement, d’estimer la source du contenu sonore et/ou le contexte sonore de l’image vidéo 1 et, par conséquent, améliorer l’état sémantique déterminée du contenu sonore.
[0042] Dans un mode de réalisation, un traitement d’image appliqué à une zone 31 d'extrémité sélectionnée comprend un réglage de son ambiance colorimétrique en fonction de l’état sémantique déterminé du contenu sonore associé à l’image vidéo 1. Par exemple, cette ambiance colorimétrique est à dominante la couleur rose lorsque l’état sémantique déterminé est le « romantisme », ou la couleur blanche lorsque l’état sémantique déterminé est le « bonheur ».
[0043] Le paramètre sonore est, dans un mode de réalisation, choisi parmi les paramètres physiques du contenu sonore intégrant une hauteur sonore (un son grave / aigu ou, plus généralement, une fréquence), une durée sonore (un son court / long), une intensité sonore (ou volume), un timbre sonore, et/ou une directivité sonore.
[0044] A titre d'illustration, le traitement d’image comprend l'application d'un effet graphique corrélé à l'intensité sonore et/ou à la durée sonore d’un segment sonore associé à l'image vidéo 1 en projection. Ce traitement d’image est, par exemple, un effet d'éclairage ou, de façon générale, une modification de la luminosité d'au moins une couleur dans la zone 31 d'extrémité sélectionnée. Dans un mode de réalisation, le traitement d’image appliqué comprend une modification du degré de luminosité d'au moins une couleur de la zone 31 d'extrémité sélectionnée de façon proportionnelle avec l'intensité sonore. Ceci permet, par exemple, de traduire un pic sonore ou un son court de forte intensité (celui d'une détonation, un tir ou une explosion par exemples) par une trame visuelle de forte luminosité.
[0045] Dans un autre exemple, le traitement d’image comprend un réglage de l’ambiance colorimétrique corrélé à la hauteur sonore et/ou au timbre sonore d’un contenu sonore associé à l'image vidéo 1 en projection. Ce traitement d’image est, par exemple, un réglage d’ambiance colorimétrique pour une représentation visuelle d’un son musical (une mélodie, un rythme, une harmonie, ou un certain instrument musical par exemples) ou une voix (voix d’une femme ou d’un homme).
[0046] Le traitement d’image appliqué peut également tenir compte de la directivité sonore du son associé à l’image vidéo 1, dont notamment l’orientation, par rapport au spectateur, de l’objet visuel supposé être la source de ce son et/ou son éloignement (intensité). Il en résulte avantageusement une visualisation ou une interprétation visuelle de l’espace sonore du contenu audiovisuel.
[0047] En combinant et/ou en variant un ou plusieurs traitements d'image appliqués à une zone 31 d'extrémité (redimensionnement, filtres, intensité, direction ou, plus généralement, d'un ou plusieurs paramètres d'un traitement d'image), une pluralité de trames visuelles peuvent être générées pour une même zone 31 d’extrémité sélectionnée d'un arrière-plan 3. Un redimensionnement non proportionnel de la hauteur et/ou de la largeur de la zone 31 d’extrémité permet de les étirer de sorte à couvrir au mieux le champ de vision périphérique du spectateur.
[0048] Pour ne pas exposer la vision périphérique du spectateur à des stimulations importantes qui pourraient l'obliger à tourner la tête et, de ce fait, perdre la sensation d’immersion, une trame visuelle est, dans un mode de réalisation, de faible contraste, de faible résolution et moins nette que la zone 31 d'extrémité à partir de laquelle cette trame visuelle est générée. De façon générale, dans la mesure où les trames visuelles générées sont destinées à l'activation de la vision périphérique, le traitement d'image appliqué à une zone 31 d'extrémité sélectionnée d'un arrière-plan 3 comprend une réduction de la netteté en dessous d'un seuil prédéfini.
[0049] Il résulte du traitement d'image appliqué à une zone 31 d'extrémité que la trame visuelle générée comprend un ou plusieurs indices de l'environnement à la zone 31 d'extrémité sélectionnée (la colorimétrie, la luminance, l'apparence, la forme générale, et/ou l'allure des obj ets présents dans cette zone 31 d'extrémité), sans toutefois le décrire dans les détails. [0050] L'affichage d'une trame visuelle déduite de l'image vidéo 1 permet d'étendre ou prolonger, dans le champ de vision périphérique du spectateur au moins partiellement, l'arrière-plan 3 de l'image vidéo
I en projection dans son champ de vision central. L'extension dans le champ visuel périphérique de l'arrière-plan 3 - qui constitue une source de repères pour le spectateur dans l'image vidéo 1 - produit une impression de profondeur dans cette image vidéo 1. En effet, en stimulant la vision périphérique, cette dernière agit comme vecteur de perspective qui favorise la perception de la profondeur et, en conséquence, la production d'une sensation d'immersion visuelle chez le spectateur.
[0051] Lors de la projection de l'image vidéo 1 dans le champ de vision central du spectateur, la trame visuelle soumet à la vision périphérique du spectateur des indices du fond de l’image vidéo 1, sans toutefois détourner l'attention du spectateur de l'écran 2 frontal.
II en résulte, avantageusement, que la trame visuelle permet d'étendre les repères d'espace affichés dans l'image vidéo 1 à l'effet de mieux encore faire porter l’attention du spectateur sur les obj ets 41 de premier plan et lui procurer un sentiment d'immersion dans cette image vidéo 1
[0052] Avantageusement, la trame visuelle ne comprend pas des indices des obj ets 41 de premier plan qui demeurent affichés seulement dans le champ de vision central du spectateur. L'arrière- plan 3 est étendu par ces extrémités pour couvrir aussi le champ de vision périphérique, alors que les obj ets 41 de premier plan demeurent associés à la vision centrale. Une telle occupation du champ visuel du spectateur permet, avantageusement, d'englober le spectateur dans l'environnement de l'image vidéo 1 en projection dans son champ de vision central et de faire converger son attention sur l'écran 2 frontal.
[0053] Il en résulte pour le spectateur une décomposition immersive de l'image vidéo 1 dans laquelle
- les obj ets 41 de premier plan (c.à.d. les objets 41 d'intérêt) sont soumis à sa vision centrale et, donc, à son analyse directe; et - le décor ou l'environnement (c.à.d. l'arrière-plan 3) s'étend au-delà de son champ visuel central pour remplir aussi son champ visuel périphérique.
[0054] Chaque trame visuelle est destinée à être affichée dans le champ de vision périphérique du spectateur du même côté que la zone 31 d'extrémité à partir de laquelle cette trame visuelle est générée. En d'autres termes, chaque trame visuelle est destinée à occuper une région du champ visuel périphérique du spectateur. Cette région diverge de la zone 31 d'extrémité à partir de laquelle est générée la trame visuelle.
[0055] Dans un autre mode de réalisation, l'immersion visuelle induite par l'activation de la vision périphérique au moyen des trames visuelles est encore amplifiée au moyen d'une lumière d'ambiance. Cette lumière d'ambiance est émise par au moins une source de lumière apte à émettre un faisceau lumineux dans une direction prédéterminée. Dans un mode de réalisation, la teinte ou la température de couleur du faisceau lumineux émis est réglable. Cette source de lumière est, par exemple, un spot, ou un projecteur directif.
[0056] La lumière d'ambiance émise vise à reproduire un faisceau de lumière présent dans l'image vidéo 1 en projection (effet « lampe torche »). Le faisceau lumineux présent dans l'image vidéo 1 peut correspondre à une illumination par une source de lumière directive telle qu'une lampe torche, ou des phares d'automobiles.
[0057] Pour cela, l'analyse des obj ets 41 de premier plan permet de détecter la présence d'un faisceau lumineux dans l'image vidéo 1 en projection. Cette détection est, dans un mode de réalisation, basée sur l'apprentissage automatique profond (ou, en anglais, « deep learning»). En variante ou en combinaison, cette détection peut se baser sur la forme et/ou la luminosité des objets 41 de premier plan.
[0058] La commande de la lumière d'ambiance est déterminée par la direction et la teinte du faisceau lumineux détecté dans le premier plan 4 de l’image vidéo 1 en projection. Il est, ainsi, possible de reproduire l'évolution dans des images vidéo 1 successives d'un faisceau lumineux produit, par exemples, par les phares d'un véhicule automobile dans un virage ou par une lampe torche en manipulation par un personnage. Dans un mode de réalisation, le faisceau lumineux est reproduit dans le champ de vision périphérique vertical (notamment, au dessus du champ de vision central) du spectateur.
[0059] L'application du traitement décrit ci-dessus à l'ensemble des images vidéo 1 du contenu audiovisuel permet de produire une bibliothèque d'effets d'immersion visuelle. Cette bibliothèque d'effets d'immersion visuelle comprend, pour chaque image vidéo 1, une ou plusieurs trames visuelles, corrélées ou non à la bande sonore, et éventuellement des données de commande d'une source de lumière.
[0060] Cette bibliothèque d'effets d'immersion visuelle constitue une ressource pour la création d'un script d'immersion visuelle pour le contenu audiovisuel. Ce script d'immersion visuelle comprend une suite de trames visuelles et de données de commande d'une source de lumière cohérents avec le contenu audiovisuel initial et destinés à être affichés dans le champ de vision périphérique du spectateur lors de la projection du contenu audiovisuel.
[0061] En effet, en associant à chaque image vidéo 1 du contenu audiovisuel une ou plusieurs trames visuelles et, éventuellement, une lumière d'ambiance, divers scripts d'immersion visuelle peuvent être créés à partir de cette bibliothèque d'effets d'immersion visuelle pour un même contenu audiovisuel initial. Chacun de ces scripts d'immersion visuelle est, avantageusement, nativement généré à partir de la source initiale, à savoir le film ou plus généralement le contenu audiovisuel. Ceci permet de conserver une cohérence créative entre les choix des effets constituant le script d'immersion visuelle et le contenu audiovisuel initial dans sa narration visuelle et sonore. Un script d'immersion visuelle peut, ainsi, être adjoint au contenu audiovisuel initial sans déformation de l'œuvre initiale.
[0062] Dans un mode de réalisation, un script d'immersion visuelle est automatiquement généré à partir de la bibliothèque d'effets d'immersion visuelle. Pour cela, une application logicielle (ou, de façon générale, un produit programme d’ordinateur) est configurée pour associer à chaque image vidéo une ou plusieurs trames visuelles et, éventuellement, des données de commande d'une lumière d'ambiance déduites de cette image vidéo 1. Afin de maintenir une impression cohérente le long de ce script d'immersion visuelle, l'application logicielle est, en outre, configurée pour garantir un coefficient de corrélation entre deux trames visuelles successives (intra-trames visuelles) supérieur à une première valeur seuil prédéfinie. Cette application logicielle est, dans un autre mode de réalisation, configurée pour choisir parmi les trames visuelles associées à une image vidéo 1, une ou plusieurs trames visuelles ayant chacune, avec la zone 31 d'extrémité à partir de laquelle cette trame visuelle est générée, un coefficient de corrélation supérieur à une deuxième valeur seuil prédéfinie.
[0063] Cette application logicielle est, dans un autre mode de réalisation, aussi configurée pour générer, à partir du contenu audiovisuel, la bibliothèque d'effets d'immersion visuelle. Dans un mode de réalisation, cette application logicielle est intégrée dans un environnement logiciel métiers de création graphique.
[0064] L’application logicielle est, dans un mode de réalisation, apte à produire en temps réel (c.à.d. à la volée) à partir d’un contenu audiovisuel en projection (notamment, un film) un script d'immersion visuelle destiné à être affiché dans le champ de vision périphérique du spectateur en même temps que la proj ection du contenu audiovisuel dans le champ de vision central de ce spectateur.
[0065] Dans un mode de réalisation, un système de cinéma domestique (plus connu sous le nom de « home cinéma ») ou, plus généralement, un système télévisuel comprend l’application logicielle ou un dispositif mettant en œuvre cette application logicielle. Ce système de cinéma domestique comprend au moins une première sortie vidéo et une deuxième sortie vidéo agencées pour fournir un script d’immersion visuelle. Ce script d’immersion visuelle est produit en temps réel par l’application logicielle à partir du contenu audiovisuel en projection sur un écran frontal. Ce script d’immersion visuelle est destiné à être affiché sur au moins deux écrans latéraux de part et d’autre de l’écran frontal. Les écrans latéraux sont, dans un mode de réalisation, disposés sur les parois latérales d’une chambre.
[0066] En se reportant à la figure 4, la production, à partir d’un contenu audiovisuel donné, d'effets d'immersion visuelle comprend, tel qu'il est décrit ci-dessus, une étape de distinction, pour chaque image vidéo 1 ou plan vidéo de ce contenu audiovisuel, d'un arrière- plan 3 (ou fond) et d'un premier plan 4. Cette distinction peut résulter de l'extraction de l'arrière-plan 3 (étape 10) ou du premier plan 4. Au moins une zone 31 d'extrémité située à une extrémité de l'arrière-plan 3 extrait est sélectionnée (étape 20) . De préférence, deux zones 31 d'extrémité situées à deux extrémités opposées, notamment latérales, de l’arrière-plan 3 extrait sont sélectionnées.
[0067] L'application (étape 30) d'un traitement d'image prédéfini à une zone 31 d’extrémité sélectionnée permet de générer au moins une trame visuelle destinée à être affichée dans le champ de vision périphérique d'un spectateur lors de la projection de l'image vidéo 1 dans le champ de vision central du spectateur. Ce traitement d'image adapte le contenu graphique de la zone 31 d'extrémité à la vision périphérique du spectateur (en termes de netteté, de colorimétrie, de luminosité, de contraste, ou de dimensions, par exemples). Ce traitement d'image est, dans un mode de réalisation, lié au contenu sonore (dans sa dimension sémantique et/ou physique) associé à l’image vidéo 1 du contenu audiovisuel. Les trames visuelles ainsi générées sont destinées à être affichées/projetées sur des écrans s'adressant à la vision périphérique du spectateur.
[0068] Par ailleurs, l'extraction du premier plan 4 permet d'y détecter un faisceau lumineux qui, à l'effet d'une immersion visuelle, peut être reproduit dans le champ de vision périphérique du spectateur. Pour cela, la direction de ce faisceau lumineux par rapport à une direction prédéfinie est déterminée. La teinte ou la température de couleur de ce faisceau lumineux sont, dans un mode de réalisation, également déterminées. Des données de commande d'une source de lumière prédéfinie pour émettre, dans le champ de vision périphérique du spectateur, un faisceau lumineux dans la direction déterminée ou dans une direction associée à la direction déterminée sont, par la suite, générées.
[0069] En disposant des trames visuelles et des données de commande ainsi générées, un script d'immersion visuelle pour le contenu audiovisuel peut être produit.
[0070] Ce script d'immersion visuelle peut être utilisé dans une salle 5 de cinéma, tel qu'il est illustré par la figure 5. Cette salle 5 de cinéma comprend un écran 2 frontal et une pluralité d'écrans 7 latéraux de part et d'autre de l'écran 2 frontal. L'écran 2 frontal a un ratio d’écran apte à couvrir le champ visuel central 8 du spectateur 6. Quant aux écrans 7 latéraux, ils sont disposés sur les faces latérales de la salle 5 de cinéma et sont destinés à remplir le champ de vision périphérique 9 du spectateur 6. Des écrans au plafond et/ou au plancher de la salle 5 de cinéma (non affichés sur la figure 5) peuvent être envisagés pour couvrir le champ visuel périphérique vertical du spectateur. Plus généralement, tout écran permettant de remplir au moins partiellement le champ de vision périphérique 9 (horizontal et/ou vertical) d'un spectateur placé face à l'écran 2 frontal peut être envisagé. Dans un mode de réalisation, les écrans 7 latéraux sont des panneaux LED.
[0071] Eine pluralité de sources 71 de lumière aptes à émettre un faisceau lumineux sont disposées au-dessus des écrans 7 latéraux, et/ou au dessus de l'écran 2 frontal, au plafond, et/ou au fond de la salle 5 de cinéma (derrière les spectateurs).
[0072] L'affichage des trames visuelles du script d'immersion visuelle sur les écrans 7 latéraux permet une extension ou un prolongement, dans le champ de vision périphérique 9 du spectateur 6, du fond de l’image vidéo 1 en projection sur l’écran 2 frontal. Ceci produit chez le spectateur 7 l'impression que l’arrière-plan de l'image vidéo 1 en projection sur l'écran 2 frontal se prolonge dans les écrans 7 latéraux ce qui l’englobe dans cette image vidéo (un effet enveloppant et immersif).
[0073] La projection (ou l'affichage) du contenu audiovisuel sur l'écran 2 frontal et, simultanément, le script d'immersion visuelle sur les écrans 7 latéraux crée un espace d'immersion permettant d'immerger le spectateur 6 dans l’environnement de la scène perçue dans l'image vidéo 1 en projection sur l'écran 2 frontal. Le spectateur 6 maintient sa vision centrale sur l'écran 2 frontal, tout en demeurant conscient de qui s'offre à sa vision périphérique par les écrans 7 latéraux (comprenant, notamment, des indices de l'environnement de l'image vidéo 1 en projection).
[0074] Les trames visuelles comprennent des informations visuelles déduites du contenu sonore et des images et plans vidéo du contenu audiovisuel qui sont apportées dans le champ de vision périphérique 9 du spectateur 6 pour activer/exciter sa vision périphérique, sans détourner son attention de l'écran 2 frontal.
[0075] Dans un mode de réalisation, le script d'immersion comprend pour une même image vidéo 1 une pluralité de trames visuelles destinées à être affichées sur une pluralité d’écrans 7 latéraux disposés sur une même face latérale de la salle 5 de cinéma. Ces trames visuelles prennent en considération la place dans la salle 5 du cinéma du spectateur 6 (placé au premier rang, au milieu, ou au fond de la salle par exemples). Dans un autre mode de réalisation, ces trames visuelles sont de plus en plus floues en s'éloignant de l'écran 2 frontal pour tenir compte du fait que le passage de la zone centrale à la zone périphérique du champ de vision est un continuum entre le net et le flou et non une transition franche. En alternative, une trame visuelle est segmentée en autant d'écrans 7 latéraux, cette trame étant de moins en moins nette en s'éloignant de l'écran 2 frontal. Le nombre, les dimensions et/ou les dispositions des écrans 7 latéraux sont choisis de sorte à rapprocher les limites des trames visuelles des limites du champ visuel du spectateur 6 et laisser le moins de place possible à l'espace réel dans son champ de vision. [0076] En se reportant à la figure 6, il est affiché des modules intervenant dans la production d’un script 65 d’immersion visuelle pour un contenu audiovisuel 61. Pour cela, ce contenu audiovisuel 61 est, d’abord, fourni en entrée d’un générateur 62 de trames visuelles mettant en œuvre le procédé décrit ci-dessus. De préférence, une pluralité de trames visuelles différentes est générée pour chaque image vidéo du contenu audiovisuel 61 de façon à obtenir en sortie une palette 63 d’effets immersifs. En se basant sur cette palette 63 d’effets immersifs, un générateur 64 de scripts d’immersion visuelle est apte à en produire un ou plusieurs scripts 65 d’immersion visuelle.
[0077] Dans un deuxième temps, lorsque le contenu audiovisuel 61 est en lecture par un lecteur multimédia 66 (un lecteur logiciel ou un projecteur par exemple), le script 65 d’immersion visuelle est simultanément déroulé par un lecteur 67 de script d’immersion via un ou plusieurs médiums 68 tels que des panneaux LED, un environnement virtuel en simulation 3D, ou des écrans d’affichage.
[0078] La palette 63 d’effets immersifs est, dans un mode de réalisation, construite bien en amont de la projection du contenu audiovisuel 61 par le lecteur multimédia 66, le temps de pouvoir générer plusieurs scripts 65 d’immersion visuelle différents.
[0079] Pour assurer une lecture synchrone du contenu audiovisuel 61 et du script 65 d’immersion visuelle, des informations de synchronisation sont échangées entre le lecteur multimédia 66 et le lecteur 67 de script d’immersion. Dans un mode de réalisation, le lecteur 67 de script d’immersion est distinct du lecteur multimédia 66 de sorte qu’il n’as pas accès au contenu audiovisuel 61 joué.
[0080] Avantageusement, les modes de réalisation décrits ci- dessus permettent d'aller au-delà de l'affichage en deux dimensions de l'écran 2 frontal en prolongeant l'environnement/fond de l'image vidéo 1 en projection à l'extérieur de ce cadre de façon à activer la vision périphérique du spectateur qui, de ce fait, ait l'impression d'être dans l’image (un sentiment de présence) et non face à une projection sur un plan non propice à une immersion. En étant porteur de significations, l’interprétation visuelle du contenu sonore permet d’améliorer encore le sentiment d’immersion chez le spectateur. De plus, l’imitation dans le champ de vision périphérique du spectateur d’un faisceau de lumière présent dans l'image vidéo en projection permet d’enrichir encore l’expérience immersive du spectateur.

Claims

Revendications
1. Procédé pour la production d'effets d'immersion visuelle pour un contenu audiovisuel intégrant une image vidéo (1) et un contenu sonore associé à l’image vidéo (1), ce procédé comprenant les étapes suivantes:
- extraction (10) d'un arrière-plan (3) de l’image vidéo (1);
- sélection (20) d'une première zone (31) d'extrémité située à une première extrémité de l'arrière-plan (3) extrait;
- détermination d’un état sémantique du contenu sonore ;
- application (30) d'un traitement d'image prédéfini à la première zone (31) d'extrémité sélectionnée pour générer au moins une trame visuelle destinée à être affichée dans le champ de vision périphérique (9) d'un spectateur (6) lors de la projection de l'image vidéo (1) dans le champ de vision central (8) du spectateur (6), ce procédé étant caractérisé en ce que le traitement d’image prédéfini est lié à l’état sémantique déterminé du contenu sonore.
2. Procédé selon la revendication précédente, caractérisé en ce qu’il comprend, en outre, une étape de détermination d’un paramètre sonore du contenu sonore, le traitement d’image prédéfini étant lié au paramètre sonore déterminés du contenu sonore.
3. Procédé selon la revendication précédente, caractérisé en ce que le paramètre sonore est choisi parmi une liste comprenant une hauteur sonore, une durée sonore, une intensité sonore, un timbre sonore, et/ou une directivité sonore.
4. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le traitement d'image prédéfini comprend un réglage de l'ambiance colorimétrique de la première zone (31) d'extrémité sélectionnée.
5. Procédé selon la revendication précédente, caractérisé le traitement d’image prédéfini comprend une restitution de l’ambiance colorimétrique moyenne de la première zone (31) d’extrémité sélectionnée.
6. Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que le traitement d'image prédéfini comprend une modification de la luminosité d'au moins une couleur dans la première zone (31) d'extrémité sélectionnée.
7. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le traitement d'image prédéfini comprend une application d'un effet de flou.
8. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu’il comprend, en outre, les étapes suivantes
- sélection d'une deuxième zone (31) d'extrémité située à une deuxième extrémité de l'arrière-plan (3) extrait, la deuxième extrémité étant opposée à la première extrémité;
- application dudit traitement d'image prédéfini à la deuxième zone (31) d'extrémité sélectionnée.
9. Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce qu’une pluralité de trames visuelles différentes intégrant ladite au moins une trame visuelle est générée à partir de la première zone (31) d'extrémité.
10. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend, en outre, les étapes suivantes
- extraction d'un premier plan (4) de l'image vidéo (1);
- détection d'un faisceau lumineux dans le premier plan (4) extrait;
- détermination d'une direction du faisceau lumineux détecté;
- génération d'une donnée de commande pour commander une source de lumière apte à générer un faisceau de lumière dans une direction associée à la direction déterminée.
11. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend, en outre, une étape de génération d'un script d'immersion visuelle intégrant la trame visuelle.
12. Procédé selon les revendications 10 et 11, caractérisé en ce que le script d'immersion visuelle comprend, en outre,.
13. Procédé selon la revendications 12, caractérisé en ce que la donnée de commande est interprétable par un lecteur de script sous toute forme qu’elle soit logicielle, matérielle, firmware ou une combinaison de ces formes.
14. Procédé selon la revendication 11 ou 12, caractérisé en ce qu’il comprend, en outre, une étape d’adjonction du script d’immersion visuelle au contenu audiovisuel.
15. Procédé selon l’une quelconque des revendications 11 à 13, caractérisé en ce qu’il comprend, en outre, une étape de lecture du script d’immersion visuelle dans un environnement virtuel en simulation 3D.
16. Produit programme d’ordinateur implémenté sur un support mémoire, susceptible d’être mis en œuvre au sein d’une unité de traitement informatique et comprenant des instructions pour la mise en œuvre d'un procédé de production d'effets d'immersion visuelle pour un contenu audiovisuel selon l'une quelconque des revendications précédentes.
EP21732294.0A 2020-06-18 2021-06-14 Methodes pour la production d'effets d'immersion visuelle pour un contenu audiovisuel Pending EP4169245A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2006375A FR3111724B1 (fr) 2020-06-18 2020-06-18 Méthodes pour la production d’effets d’immersion visuelle pour un contenu audiovisuel
PCT/EP2021/065954 WO2021254957A1 (fr) 2020-06-18 2021-06-14 Methodes pour la production d'effets d'immersion visuelle pour un contenu audiovisuel

Publications (1)

Publication Number Publication Date
EP4169245A1 true EP4169245A1 (fr) 2023-04-26

Family

ID=73698903

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21732294.0A Pending EP4169245A1 (fr) 2020-06-18 2021-06-14 Methodes pour la production d'effets d'immersion visuelle pour un contenu audiovisuel

Country Status (5)

Country Link
US (1) US20230224442A1 (fr)
EP (1) EP4169245A1 (fr)
FR (1) FR3111724B1 (fr)
MX (1) MX2022016537A (fr)
WO (1) WO2021254957A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117319812A (zh) * 2022-06-20 2023-12-29 北京小米移动软件有限公司 图像处理方法及装置、移动终端、存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611297B1 (en) * 1998-04-13 2003-08-26 Matsushita Electric Industrial Co., Ltd. Illumination control method and illumination device
EP1658553B1 (fr) * 2003-08-19 2014-11-19 TP Vision Holding B.V. Methode et appareil d'affichage de signaux a contenu visuel
JP4366591B2 (ja) 2004-06-25 2009-11-18 船井電機株式会社 映像再生装置
US20070126932A1 (en) * 2005-12-05 2007-06-07 Kiran Bhat Systems and methods for utilizing idle display area
WO2007072339A2 (fr) * 2005-12-20 2007-06-28 Koninklijke Philips Electronics, N.V. Module de lumière ambiante actif
BRPI0709260A2 (pt) * 2006-03-31 2011-06-28 Koninkl Philips Electronics Nv método para renderizar conteúdo de imagem, aplicativo incorporado em um meio legìvel por computador, processador para renderizar conteúdo de imagem, sinal de imagem auxiliar, e, método para gerar dados auxiliares para exibir elementos em um mostrador secundário em uma vizinhança de um mostrador primário
CN101427578A (zh) * 2006-04-21 2009-05-06 夏普株式会社 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制系统、及视听环境控制方法

Also Published As

Publication number Publication date
MX2022016537A (es) 2023-03-23
WO2021254957A1 (fr) 2021-12-23
FR3111724A1 (fr) 2021-12-24
US20230224442A1 (en) 2023-07-13
FR3111724B1 (fr) 2022-11-04

Similar Documents

Publication Publication Date Title
JP4762827B2 (ja) 電子アルバム生成装置、電子アルバム生成方法、および、そのプログラム
US7904815B2 (en) Content-based dynamic photo-to-video methods and apparatuses
KR101887216B1 (ko) 이미지 재구성 서버 및 방법
CN104935905B (zh) 自动3d照相亭
US20070146360A1 (en) System And Method For Generating 3D Scenes
JP6048758B2 (ja) 画像処理装置および方法、並びにプログラム
JP2006331393A (ja) アルバム作成装置、アルバム作成方法、及びプログラム
KR20030036747A (ko) 원래 영상에 사용자 영상을 수퍼임포징하는 방법 및 장치
CN1949822A (zh) 面部图像补偿设备、介质和方法
KR20150112535A (ko) 비디오 대표 이미지 관리 장치 및 방법
JP7011206B2 (ja) 遊戯用撮影装置、画像処理装置、および画像処理方法
JP2019013013A (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
JP2007267268A (ja) 写真シール作成装置および方法、並びにプログラム
EP4169245A1 (fr) Methodes pour la production d'effets d'immersion visuelle pour un contenu audiovisuel
CN110062163B (zh) 多媒体数据的处理方法以及装置
JP5549727B2 (ja) 写真シール作成装置および方法
KR101457045B1 (ko) 2차원 코믹 콘텐츠의 이펙트 적용에 의한 애니코믹 제작 방법 및 2차원 코믹 콘텐츠의 이펙트 적용에 의한 애니코믹 제작 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
KR101898765B1 (ko) 콘텐츠 인식 기술 기반 콘텐츠 자동 생성 방법 및 시스템
KR102360919B1 (ko) 음성 더빙 기반의 진행자 영상 편집 시스템
JP2014216947A (ja) 撮影装置および方法、並びにプログラム
JP4873280B2 (ja) 写真シール作成装置および方法、並びにプログラム
KR20140037439A (ko) 음악의 분위기를 이용한 슬라이드 쇼 생성 방법 및 장치
JP6201397B2 (ja) 写真シール作成装置および方法、並びにプログラム
US9681041B1 (en) Apparatus, system and method for capturing and compositing an image using a light-emitting backdrop
JP5737790B2 (ja) 画像処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230105

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)