FR3080511A1 - Module et procede de creation d’une sequence audiovisuelle - Google Patents

Module et procede de creation d’une sequence audiovisuelle Download PDF

Info

Publication number
FR3080511A1
FR3080511A1 FR1853499A FR1853499A FR3080511A1 FR 3080511 A1 FR3080511 A1 FR 3080511A1 FR 1853499 A FR1853499 A FR 1853499A FR 1853499 A FR1853499 A FR 1853499A FR 3080511 A1 FR3080511 A1 FR 3080511A1
Authority
FR
France
Prior art keywords
user
measurements
audiovisual
module
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR1853499A
Other languages
English (en)
Inventor
Yann Frachi
Hugo LOECHES DE LA FUENTE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ironova
Original Assignee
Ironova
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ironova filed Critical Ironova
Priority to FR1853499A priority Critical patent/FR3080511A1/fr
Publication of FR3080511A1 publication Critical patent/FR3080511A1/fr
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Analytical Chemistry (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

La présente invention a trait à un module adapté pour coopérer avec un système de génération d'une expérience audiovisuelle apte à produire un ensemble de contenus multimédias, configuré pour produire, de manière automatisée, une séquence comprenant des contenus multimédias et présentée à l'issue de la session, ce module comportant : - des moyens pour obtenir des mesures de paramètres relatifs aux émotions de l'utilisateur ainsi que des informations temporelles aptes à permettre l'identification du contenu multimédia présenté lorsque ladite mesure a été réalisée ; - des moyens pour : - identifier, au moyen d'une méthode de classification appliquée aux mesures reçues de paramètres, au moins un instant significatif où l'observation de caractéristiques relatives aux mesures reçues correspondant audit instant traduit une émotion considérée comme significative ; - obtenir un contenu multimédia et/ou les informations nécessaires à la génération dudit au moins un contenu, correspondant à l'instant significatif; - assembler une séquence comportant ledit au moins un contenu multimédia et/ou les informations nécessaires à la génération dudit contenu.

Description

La présente invention se rapporte au domaine des moyens de créations de séquences audiovisuelles, et plus particulièrement à la création automatisée de séquences de médias audiovisuels associés à des instants émotionnellement significatifs pour une personne.
L’invention trouve plus particulièrement application dans le domaine des divertissements numériques, tel que les systèmes aptes à reproduire un univers immersif, par exemple un système interactif audiovisuel de jeux vidéo.
L’invention trouve aussi des applications dans le domaine de l’internet des objets, ou encore dans le domaine audiovisuel comme la télévision ou le cinéma, dans le domaine musical ou encore celui du spectacle vivant, ou dans le domaine médical des neurosciences.
La production automatisée et le rejeu d’une séquence, comprenant des médias associés à des moments clés vécus par un spectateur/utilisateur lors d’une session où des médias audiovisuels ont été diffusés, sont aujourd’hui couramment mises en œuvre, par exemple dans les plateformes de jeux ou dans les systèmes de réalité virtuelle.
Ainsi, dans l’exemple d’un jeu vidéo de simulation sportive, il est typiquement proposé au joueur de visionner, à l’issue d’une session de jeu, une séquence constituée de vidéos correspondant aux moments clés de la rencontre, telle qu’une vidéo comprenant divers plans d’une action ayant abouti à un but lors d’une partie de football, ou encore une vidéo comprenant un gros plan sur l’arbitre attribuant un carton rouge à un membre d’une des équipes.
De telles séquences sont produites au moyen d’algorithmes tenant compte de critères de sélection prédéfinis, relatifs au contexte de diffusion et au contenu du média. Ces critères ne sont donc pas spécifiques à l’utilisateur/spectateur. La sélection d’un extrait vidéo si un but est inscrit à l’issue de l’action, si une ligne d’arrivée est franchie, si un objectif est atteint, ou si un instant temporel clé dans un scénario est atteint est, dans ces exemples, spécifique au contexte de diffusion et au contenu des extraits vidéos sélectionnés.
La production de telles séquences ne prend pas en compte de paramètres subjectifs propres à l’utilisateur/spectateur : aussi, les séquences produites ne sont pas individualisées et ne tiennent pas compte des spécificités des utilisateurs/spectateurs.
C’est pourquoi il existe encore un besoin pour des moyens de production automatisée d’une séquence comprenant des médias associés à des moments clés vécus par un spectateur/utilisateur lors de la diffusion de médias audiovisuels, tenant compte de paramètres subjectifs propres à l’utilisateur.
Un des objets de l’invention est de permettre la production automatisée d’une séquence comprenant des médias associés à des moments émotionnellement significatifs, vécus par un spectateur/utilisateur lors de la diffusion de médias audiovisuels ou d’une immersion dans un univers immersif, tenant compte de paramètres subjectifs, individuels et spécifiques, propre audit utilisateur/spectateur.
Un autre objet de l’invention est de fournir des moyens de génération d’une séquence comprenant des médias associés à des moments émotionnellement significatifs, en fonction de critères basés au moins partiellement sur des paramètres relatifs à des données physiologiques et accélérométriques de l’utilisateur/spectateur.
Un autre objet de l’invention est de fournir des moyens de génération d’une séquence personnalisée comprenant des médias associés à des moments émotionnellement significatifs, à partir de données fournies par des dispositifs de recueils de données physiologiques et/ou dynamiques, spécifiques à l’utilisateur/spectateur, par exemple recueillies au moyen d’un bracelet, couplé aux moyens de production de la séquence personnalisée. Un autre objet de l’invention est de proposer des moyens pour visionner/diffuser la séquence personnalisée, comportant des moments émotionnellement forts pour l’utilisateur/spectateur.
Un objet de l’invention est de fournir des moyens adaptés à être intégrés aisément à des plateformes et solutions existantes, notamment dans le domaine des jeux vidéo, de la réalité virtuelle, des objets connectés, du cinéma et des séries, de la diffusion en streaming, ou encore des dispositifs médicaux.
Un autre objet de l’invention est de fournir des moyens compacts, précis, peu coûteux, adapté à être produit à destination du grand public, et permettant une analyse et relecture facile.
Un ou plusieurs de ces objets sont remplis par le module, le système et le procédé selon l’invention.
Plus particulièrement, selon un premier aspect, l’invention se rapporte à un module, adapté à coopérer avec un système de génération d’une expérience audiovisuelle apte à produire un ensemble de contenus multimédias présentés par un dispositif de reproduction audiovisuel à un utilisateur lors d’une session. Le module est configuré pour produire, de manière automatisée, une séquence comprenant des contenus multimédias sélectionnés parmi l’ensemble de contenus multimédias diffusés à l’utilisateur au cours de la session, ladite séquence étant destinée à être présentée à l’issue de la session. Le module comporte :
- un module de communication configuré pour obtenir des mesures de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session ainsi que des informations temporelles aptes à permettre l’identification, pour chacune desdites mesures de l’ensemble, du contenu multimédia présenté par le dispositif de reproduction audiovisuel à l’utilisateur lorsque ladite mesure a été réalisée ;
- un module de traitement configuré pour :
identifier, au moyen d’une méthode de classification appliquée aux mesures reçues de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session, au moins un instant significatif où l’observation de caractéristiques relatives aux mesures reçues correspondant audit instant traduit une émotion de l’utilisateur considérée comme significative selon ladite méthode de classification ;
obtenir au moins un contenu multimédia et/ou les informations nécessaires à la génération dudit au moins un contenu, correspondant audit au moins un instant significatif;
assembler une séquence comportant ledit au moins un contenu multimédia et/ou les informations nécessaires à la génération dudit au moins un contenu.
La session correspond, par exemple, à la période pendant laquelle une scène d’une partie de jeux vidéo s’est déroulée, l’utilisateur a participé à une expérience de réalité virtuelle, l’utilisateur a assisté à une diffusion d’un film ou d’une série, l’utilisateur a participé à un expérience médicale où des contenus multimédias ont été diffusés, etc.
La méthode de classification mise en œuvre par le module de traitement est typiquement une méthode de catégorisation algorithmique appliquée au signal ou à l'ensemble des signaux formé(s) à partir des mesures reçues de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session.
La méthode de catégorisation algorithmique permet notamment, au moyen de données statistiques, d'associer une classe ou une catégorie, au signal ou à l’ensemble de signaux, en fonction de caractéristiques - ou « features » en anglais - extraites du signal ou de l’ensemble de signaux.
Typiquement, la méthode de classification mise en œuvre par le module de traitement fait appel à des moyens d'apprentissage automatique. Des exemples de méthodes de catégorisation algorithmique adaptées à être mise en œuvre par le module de traitement sont notamment décrits dans la page Wikipedia https://en.wikipedia.org/wiki/Statistical_classification.Le module permet d’obtenir des mesures de paramètres spécifiques à l’utilisateur, réalisées au cours de la session. Le module permet ainsi de prendre en compte les émotions ressenties par l’utilisateur au cours de la session, pour produire une séquence plus personnalisée et plus pertinente.
Les mesures de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session peuvent comporter des mesures de la conductivité électrodermale observée sur la peau de l’utilisateur. Le module de traitement est alors configuré pour identifier ledit au moins un instant significatif en fonction d’une caractéristique relative à l’activité tonique déterminée à partir des mesures de la conductivité électrodermale, et/ou d’une caractéristique relative à l’activité phasique déterminée à partir des mesures de la conductivité électrodermale.
Les mesures de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session peuvent comporter des mesures du rythme cardiaque de l’utilisateur. Le module de traitement est alors configuré pour identifier ledit au moins un instant significatif en fonction d’une caractéristique relative aux pics d’activité déterminée à partir des mesures du rythme cardiaque de l’utilisateur et/ou d’une caractéristique relative à la variabilité du rythme cardiaque déterminé à partir des mesures du rythme cardiaque de l’utilisateur.
Les mesures de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session peuvent comporter des mesures de la température corporelle de l’utilisateur. Le module de traitement est alors configuré pour identifier ledit au moins un instant significatif en fonction d’une caractéristique relative à une moyenne ou une variation de température déterminée à partir des mesures de la température corporelle de l’utilisateur.
Les mesures de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session peuvent comporter des mesures accélérométriques de l’utilisateur. Le module de traitement est alors configuré pour identifier ledit au moins un instant significatif en fonction d’une caractéristique relative à une norme de l’accélération déterminée à partir des mesures accélérométriques de l’utilisateur.
Avantageusement, le module de traitement peut être arrangé de sorte à procéder à un filtrage des mesures de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session susceptible d’être erronées ou aberrantes, préalablement à l’identification dudit au moins un instant significatif.
Le module de traitement peut être configuré pour accéder à un profil utilisateur distant de sorte à permettre le stockage et le partage à des tiers de la séquence comportant ledit au moins un contenu multimédia et/ou les informations nécessaires à la génération dudit au moins un contenu.
Avantageusement, le module de rejeu est adapté à commander le système de génération d’une expérience audiovisuelle pour présenter sur le dispositif de reproduction audiovisuel la séquence comportant ledit au moins un contenu multimédia.
Selon un deuxième aspect, l’invention se rapporte également à un kit comportant un module selon le premier aspect et un dispositif adapté pour fournir et transmettre au module selon le premier aspect des mesures de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session.
Selon un troisième aspect, l’invention se rapporte à un système comportant un module selon le premier aspect, un dispositif adapté pour fournir et transmettre au module selon le premier aspect des mesures de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session, un dispositif de reproduction audiovisuel, et un système de génération d’une expérience audiovisuelle apte à produire un ensemble de contenus multimédias présentés par le dispositif de reproduction audiovisuel à un utilisateur lors d’une session.
Selon un quatrième aspect, l’invention se rapporte à un procédé, adapté à être mis en œuvre par le dispositif selon le premier aspect, pour produire, de manière automatisée, une séquence comprenant des contenus multimédias, sélectionnés parmi un ensemble de contenus multimédias produits par un système de génération d’une expérience audiovisuelle et présentés par un dispositif de reproduction audiovisuel à un utilisateur lors d’une session, ladite séquence étant destinée à être présentée à l’issue de la session.
Le procédé comporte les étapes suivantes :
- obtention de mesures de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session ainsi que des informations temporelles aptes à permettre l’identification, pour chacune desdites mesures de l’ensemble, du contenu multimédia présenté par le dispositif de reproduction audiovisuel à l’utilisateur lorsque ladite mesure a été réalisée ;
- identification, au moyen d’une méthode de classification appliquée aux mesures reçues de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session, au moins un instant significatif où l’observation de caractéristiques relatives aux mesures reçues correspondant audit instant traduit une émotion de l’utilisateur considérée comme significative selon ladite méthode de classification ;
- obtention d’au moins un contenu multimédia et/ou d’informations nécessaires à la génération dudit au moins un contenu, correspondant audit au moins un instant significatif;
- assemblage une séquence comportant ledit au moins un contenu multimédia et/ou les informations nécessaires à la génération dudit au moins un contenu.
Le procédé peut en outre comporter, préalablement à l’étape d’identification d’au moins un instant significatif, une étape de filtrage des mesures de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session susceptible d’être erronées ou aberrantes.
Le procédé peut en outre comporter une étape de rejeu au cours de laquelle une commande est transmise au système de génération d’une expérience audiovisuelle pour présenter sur le dispositif de reproduction audiovisuel la séquence comportant ledit au moins un contenu multimédia.
D’autres particularités et avantages de la présente invention apparaîtront, dans la description ci-après de modes de réalisation, en référence aux dessins annexés, dans lesquels :
la figure 1 est un schéma d’architecture d’un système audiovisuel selon un mode de réalisation de l’invention ;
la figure 2 est un diagramme représentant les étapes d’un procédé de production automatisée d’une séquence comprenant des médias associés à des moments émotionnellement significatifs vécus par le spectateur/utilisateur lors d’une diffusion de médias audiovisuels, selon un mode de réalisation ;
la figure 3 est une vue schématique d’un utilisateur utilisant l’invention avec un système de jeux vidéo et un bracelet portant les capteurs physiologiques ; et la figure 4 est une vue schématique d’un utilisateur utilisant l’invention avec un système de diffusion multimédia ou cinématographique et un bracelet portant les capteurs physiologiques.
On se réfère à la figure 1, sur laquelle est représenté un système audiovisuel selon un mode de réalisation de l’invention, comportant :
- un dispositif 100 réactif aux émotions d’un utilisateur,
- un système 300 de génération d’une expérience audiovisuelle,
- un dispositif 400 de reproduction audiovisuel,
- un module de création d’une séquence audiovisuelle 200 pour une production automatisée d’une séquence comprenant des médias associés à des moments émotionnellement significatifs vécus par le spectateur/utilisateur U lors d’une diffusion de médias audiovisuels sur le dispositif 400 produite par le système 300.
Dans l’exemple qui suit, par souci de clarté, le système est décrit pour un unique utilisateur. L’invention ne se limite toutefois pas à cette configuration, et peut comporter un nombre supérieur d’utilisateurs et de dispositifs 100.
Le dispositif 100 est conçu pour être utilisé par l’utilisateur lors de la diffusion de médias audiovisuels sur le dispositif 400 produite par le système 300.
Le dispositif 10 comporte un module de communication 110 apte à être couplé à un dispositif externe — par exemple un module de communication sans fil comme Bluetooth, pour échanger des données. Plus particulièrement, le module de communication 110 est adapté pour échanger des données avec le module 200.
Le dispositif 100 comporte une pluralité de capteurs physiologiques et accélérométhques aptes à permettre l’obtention de mesures de paramètres relatifs aux émotions de l’utilisateur, à intervalles temporels déterminés.
Dans l’exemple non limitatif de la figure 1, le dispositif 10 comporte quatre capteurs 120, 130, 140 et 150.
Le capteur 120 est par exemple un capteur apte à permettre la mesure de la conductance électrodermale observée sur la peau de l’utilisateur, aussi désignée « galvanic skin response » en anglais.
Le capteur 130 est par exemple un capteur apte à permettre la mesure du rythme cardiaque de l’utilisateur, tel qu’un capteur de détection photopléthysmogramme, ou « photoplethysmography » en anglais.
Le capteur 140 est par exemple un capteur apte à permettre la mesure d’une température corporelle de l’utilisateur, tel qu’un capteur de température cutanée, ou « skin température » en anglais.
Le capteur 150 comprend par exemple un ou plusieurs accéléromètres aptes à permettre des mesures de mouvements de l’utilisateur.
Le dispositif 10 est par exemple compris dans un bracelet 60 (visible sur les figures 3 et 4) porté par le spectateur/utilisateur U. Les capteurs physiologiques 120, 130 et 140 peuvent être ainsi disposés de sorte à être en contact avec la peau du poignée de l’utilisateur U lorsque ce dernier porte le bracelet 60.
Le dispositif 100 comporte en outre un module 160 d’horodatation et d’enregistrement, couplé aux capteurs 120, 130, 140, 150, et configuré pour enregistrer les mesures produites par les capteurs 120, 130, 140, 150 ainsi que des informations temporelles aptes à permettre la détermination de l’instant où chaque mesure a été obtenue ou réalisée.
Les informations temporelles enregistrées par le module 160 sont exprimées dans un référentiel temporel permettant l’identification de l’instant correspondant lors de la diffusion des médias audiovisuels par le dispositif 400. À titre d’exemple, le module 160 et le système 300 et/ou le dispositif 400 peuvent partager un référentiel temporel RT commun, ou des informations de synchronisation temporelle.
Les informations temporelles enregistrées permettent alors rétrospectivement de connaître les médias produits par le système 300 et diffusés à l’utilisateur par le dispositif 400, auxquels correspondent les mesures obtenues des capteurs 120, 130, 140, 150 et enregistrés par le module 160.
In fine, il est ainsi possible de déterminer les médias qui étaient diffusés à l’utilisateur sur le dispositif 400, ainsi que l’ensemble de mesures correspondant — par exemple la conductance électrodermale, le rythme cardiaque et les mouvements de l’utilisateur associés à cet instant.
Dans un mode de réalisation, sur réception d’une mesure obtenue d’un des capteurs 120, 130, 140, 150, le module 160 est configuré pour obtenir une estampille temporelle, ou «timestamp» en anglais, identifiant, dans le référentiel temporel RT, l’instant où ladite mesure a été obtenue ou réalisée. Le module 160 est alors configuré pour enregistrer chaque mesure obtenue des capteurs 120, 130, 140, 150 avec une référence vers l’estampille temporelle correspondante, dans un moyen de stockage, local ou distant, telle qu’un module de mémoire vive, un disque électromagnétique, une mémoire de masse à semi-conducteurs réinscriptible, un service distant de stockage accessible via internet, etc.
Dans un autre mode de réalisation, le module 160 peut être configuré pour obtenir, à intervalle déterminé, les mesures des capteurs 120, 130, 140, 150, typiquement 50 fois par seconde. Il est alors possible, pour le module 160, d’enregistrer les informations temporelles, relativement à un ou plusieurs évènements déterminés, par exemple le début d’une partie de jeux et les instants de pause/reprise de ladite partie, ou encore le début d’une projection multimédia.
Les mesures et les informations temporelles, enregistrées par le module 160, sont transmises, au moyen du module de communication 110, au module 200, à l’issue de la diffusion des médias audiovisuels sur le dispositif 400, à intervalles prédéterminés, ou de manière continue.
Le système 300 de génération d’une expérience audiovisuelle comprend par exemple un ou plusieurs éléments de la liste non exhaustive suivante :
- un système de jeux vidéo, comme par exemple une console de jeux vidéo comme illustré dans l’exemple de la figure 3 ou une plateforme de jeux vidéo en ligne ;
- un simulateur de réalité virtuelle,
- un système de diffusion multimédia ou cinématographique, comme par exemple un lecteur vidéo comme illustré dans l’exemple de la figure 4 ou un système de diffusion en ligne ou en « streaming ».
Le système 300 comporte un module de communication 310 apte à être couplé à un dispositif externe — par exemple un module de communication sans fil, pour échanger des données. Plus particulièrement, le module de communication 310 est adapté pour échanger des données avec le module 200.
Le système 300 de génération d’une expérience audiovisuelle comporte un module 320 de génération de contenus multimédias. Le module 320 peut, à titre d’exemple, fournir des flux audiovisuels générés, tel que des projections d’univers simulés interactifs, et/ou obtenus à partir d’enregistrements comme des séquences filmées enregistrées. Le système 300 est couplé au dispositif 400 de sorte à transmettre à ce dernier les contenus multimédias ainsi produits pour diffusion.
Le système 300 comporte en outre un module 330 d’horodatation et d’enregistrement, couplé au module 320, et configuré pour enregistrer les contenus multimédias produits par le module 320 ou les informations nécessaires à la génération desdits contenus, ainsi que des informations temporelles aptes à permettre la détermination de l’instant de génération desdits contenus multimédia.
Les informations temporelles enregistrées par le module 330 sont exprimées dans un référentiel temporel permettant l’identification de l’instant correspondant lors de la diffusion des médias audiovisuels par le dispositif 400.
À titre d’exemple, le module 160 et le système 300 et/ou le dispositif 400 peuvent partager un référentiel temporel RT commun, ou des informations de synchronisation temporelle. Les informations temporelles enregistrées par le module 330 permettent alors rétrospectivement de connaître les mesures obtenues des capteurs 120, 130, 140, 150 et enregistrés par le module 160, correspondant aux contenus multimédias produits par le système 300 et diffusés à l’utilisateur par le dispositif 400.
In fine, il est ainsi possible de déterminer les médias qui étaient diffusés à l’utilisateur sur le dispositif 400, ainsi que l’ensemble de mesures correspondant — par exemple la conductance électrodermale, le rythme cardiaque et les mouvements de l’utilisateur associés à cet instant.
Dans un mode de réalisation, le module 330 est configuré pour obtenir une estampille temporelle, ou « timestamp » en anglais, identifiant, dans le référentiel temporel RT, l’instant où le contenu multimédia a été généré ou diffusé. Le module 330 est alors configuré pour enregistrer les contenus multimédias produits par le module 320 ou les informations nécessaires à la génération desdits contenus, avec une référence vers l’estampille temporelle correspondante, dans un moyen de stockage, local ou distant, telle qu’un module de mémoire vive, un disque électromagnétique, une mémoire de masse à semi-conducteurs réinscriptible, un service distant de stockage accessible via internet, etc.
Dans un autre mode de réalisation, le module 330 peut être configuré pour enregistrer, à intervalle déterminé et/ou paramétrable, les contenus multimédias produits par le module 320 ou les informations nécessaires à la génération desdits contenus, typiquement 50 fois par seconde. Il est alors possible, pour le module 330, d’enregistrer les informations temporelles, relativement à un ou plusieurs évènements déterminés, par exemple le début d’une partie de jeux et les instants de pause/reprise de ladite partie, ou encore le début d’une projection multimédia.
Le dispositif 400 de reproduction audiovisuel comprend par exemple un ou plusieurs éléments de la liste non exhaustive suivante :
- un écran, comme illustré dans les exemples des figures 3 et 4,
- un système de projection visuel,
- des équipements de reproduction sonore,
- un casque de réalité virtuelle,
- un équipement de production d’univers immersif, etc.
Le dispositif 400 est configuré pour reproduire les contenus multimédias reçus du système 300 et optionnellement du module 200.
Le module 200 est configuré pour produire automatiquement une séquence, comprenant des contenus multimédias produits par le module 320 du système 300, associés à des moments émotionnellement significatifs vécus par le spectateur/utilisateur et déterminés au moyen des mesures, transmises par le dispositif 100, collectées lors de la diffusion desdits contenus multimédia sur le dispositif 400. Le module 200 peut être inclus dans un dispositif autonome. Alternativement, le module 200 peut être intégré au système 300, au dispositif 100 ou au dispositif 400.
Le module 200 comporte un module de communication 210 apte à être couplé à un dispositif externe — par exemple un module de communication sans fil, pour échanger des données. Plus particulièrement, le module de communication 310 est notamment adapté pour échanger des données avec le dispositif 100 et avec le système 300.
Le module 200 comporte un module de traitement 220, configuré notamment pour déterminer les moments émotionnellement significatifs vécus par le spectateur/utilisateur, en fonction des données transmises par le dispositif 100.
Le module de traitement 220 est optionnellement arrangé de sorte à procéder à un préfiltrage des mesures reçues du dispositif 100.
Le module 200 comporte un module de traitement 220, configuré notamment pour déterminer les moments émotionnellement significatifs vécus par le spectateur/utilisateur, en fonction des données transmises par le dispositif 100.
Le module de traitement 220 est optionnellement arrangé de sorte à procéder à un préfiltrage des mesures reçues du dispositif 100.
Ainsi, un signal GSR, obtenu à partir des mesures de la conductance électrodermale observée sur la peau de l’utilisateur collectées par le capteur 120 du dispositif 10, peut être corrigé d’éventuels sauts de signal en appliquant une fonction dédiée - par exemple une fonction cherchant les différences absolues entre les valeurs successives supérieures à une valeur seuil. Les différences absolues détectées sont alors soustraites du signal d’origine. Le signal GSR peut encore être corrigé en appliquant une fonction de filtrage passe-bas appliquée aux mesures comprises dans une fenêtre temporelle de type gaussienne, par exemple d’une durée de sensiblement 160 secondes, puis une fonction de filtrage passe-haut - par exemple un filtre passe-haut de Butterworth de 3ème ordre à correction de retard de phase dont la fréquence de coupure est par exemple fixée à 0,2 Hz.
Le signal PPG, obtenu à partir des mesures du rythme cardiaque de l’utilisateur, collectées par le capteur 130 du dispositif 10, peut être corrigé d’éventuels sauts de signal en appliquant une fonction dédiée - par exemple une fonction cherchant les différences absolues entre les valeurs successives supérieures à une valeur seuil. Les différences absolues détectées sont alors soustraites du signal d’origine. Le signal PPG peut encore être corrigé en appliquant une fonction de filtrage passe-bande — par exemple un filtre passe bande de Butterworth de 4ème ordre à correction de retard de phase — avec une fréquence de coupure basse par exemple fixée à 0,5 Hz et une fréquence de coupure haute par exemple fixée à 5 Hz. Le signal PPG est ensuite typiquement normalisé à l’aide d’une transformée d’Hilbert, puis lissé dans une fenêtre temporelle de type gaussienne, par exemple d’une durée de sensiblement 16 secondes.
Le signal SKT, obtenu à partir des mesures de température corporelle de l’utilisateur, collectées par le capteur 140 du dispositif 10, peut encore être corrigé en appliquant une fonction de filtrage passe-haut — par exemple un filtre de Butterworth de 3ème ordre — avec une fréquence de coupure sensiblement égale à 0,01 Hz.
Le signal ACC, obtenu à partir des mesures de mouvements de l’utilisateur, collectées par le capteur 150 du dispositif 10, peut encore être corrigé en appliquant aux composantes tridimensionnelles du signal une fonction dédiée de filtrage - par exemple une fonction cherchant les différences absolues entre les valeurs successives supérieures à une valeur seuil. Les différences absolues détectées sont alors soustraites du signal d’origine.
Le module de traitement 220 est arrangé de sorte à déterminer les moments émotionnellement significatifs, vécus par le spectateur/utilisateur lors de la diffusion des contenus multimédia sur le dispositif 400, au moyen d’une méthode de classification non supervisée appliquée aux signaux GSR, PPG, SKT et ACC, optionnellement préfiltrés, obtenues à partir des mesures reçues du dispositif 100 et des informations temporelles associées.
Dans un mode de réalisation, la méthode de classification mise en œuvre par le module de traitement 220 est une méthode de catégorisation algorithmique appliquée au signal ou à l'ensemble de signaux formé(s) à partir des mesures, transmises par le dispositif 100, relatives aux émotions de l’utilisateur ressenties au cours de la session.
La méthode de catégorisation algorithmique permet notamment, au moyen de données statistiques, d'associer une classe ou une catégorie, au signal ou à l’ensemble de signaux, en fonction de caractéristiques - ou « features » en anglais - extraites du signal ou de l’ensemble de signaux.
Dans ce mode de réalisation, le module de traitement 220 est alors configuré pour extraire les caractéristiques des signaux GSR, PPG, SKT et ACC.
Des exemples de méthodes de catégorisation algorithmique adaptées à être mise en œuvre par le module de traitement sont notamment décrit dans la page Wikipedia suivante : https://en.wikipedia.org/wiki/Statistical_classification.
Le module de traitement 220 comporte avantageusement des moyens pour mettre à jour les méthodes de calculs des caractéristiques et/ou de la méthode de classification, par exemple par téléchargement sur un serveur accessible via internet de modules logiciels. Le module de traitement 220 peut également comporter avantageusement des moyens pour mettre à jour, sur le dispositif 100, les méthodes d’obtention de mesures de paramètres relatifs aux émotions de l’utilisateur.
Ainsi, une des caractéristiques du signal GSR peut être décrite comme l’activité tonique AT, et être déterminée :
- en lissant le signal GSR, optionnellement préfiltré, dans une fenêtre temporelle de type gaussienne, par exemple d’une durée de sensiblement 10 secondes ; puis,
- en ré-échantillonnant le signal GSR lissé à une fréquence de sensiblement 1 Hz.
Une autre caractéristique du signal GSR peut être décrite comme l’activité phasique AP, et être déterminée en fonction de la dérivé première, la différence entre la valeur maximale et la valeur minimale ainsi que la pente moyenne, du signal GSR. Les caractéristiques de l’activité phasique AP sont par exemple calculées dans une fenêtre mobile d’une durée 10 secondes se déplaçant d’une seconde à une cadence de 1 Hz.
Une des caractéristiques du signal PPG peut être décrite comme le rythme cardiaque BPM, et être déterminée à partir du signal PPG, optionnellement préfiltré — par exemple avec un filtre passe-bande de Butterworth de 4ème ordre à correction de retard de phase — avec une fréquence de coupure basse par exemple fixée à 0,5 Hz et une fréquence de coupure haute par exemple fixée à 5 Hz. Une fonction de détection de pics doit être appliquée au signal - par exemple la fonction peakdetect.py qui détecte les minimums and maximums locaux du signal (méthode décrite dans la page internet https://qist.qithub.com/endolith/250860). L’intervalle temporel entre deux pics consécutifs - désigné généralement intervalle RR - doit ensuite être calculé pour extrapoler le rythme cardiaque BPM sur 60 secondes en fonction dudit intervalle temporel.
Une autre caractéristique du signal PPG peut être décrite comme la variabilité du rythme cardiaque, et être déterminée en calculant l’écart type des intervalles temporels entre deux pics consécutifs — intervalles RR — dans une fenêtre temporelle glissante de type gaussienne, par exemple d’une durée de sensiblement 60 secondes, se déplaçant à une cadence de sensiblement 1 Hz.
Les caractéristiques du signal SKT peuvent être décrites comme la moyenne du signal SKT, l’amplitude du signal SKT et la pente du signal SKT, et elles peuvent être déterminées respectivement en calculant la moyenne, la différence entre la valeur maximale et la valeur minimale et la pente moyenne, du signal SKT, optionnellement préfiltré, dans une fenêtre temporelle de type gaussienne, par exemple d’une durée de sensiblement 10 secondes, se déplaçant à une fréquence de sensiblement 1 Hz.
Une caractéristique du signal ACC peut être décrite comme une norme du signal d’accélération ACC, et elle peut être déterminée :
- en appliquant, au signal ACC, optionnellement préfiltré, une fonction de filtrage passe-bande - par exemple un filtre de Butterworth de 4ème ordre avec une fréquence de coupure basse sensiblement égale à 0,5 Hz et une fréquence de coupure haute sensiblement égale à 5 Hz ; puis,
- en élevant au carré le signal ACC filtré précédemment obtenu ; puis,
- en lissant le signal ACC élevé au carré, dans une fenêtre temporelle de type gaussienne, par exemple d’une durée de sensiblement 1 seconde ; puis,
- en calculant la norme du signal ACC lissé, dans une base tridimensionnelle.
Les caractéristiques des signaux GSR, PPG, SKT et ACC ayant été extraites, le module de traitement 220 est configuré pour mettre en œuvre la méthode de classification et ainsi identifier, au moyen des signaux GSR, PPG, SKT et ACC et des informations temporelles correspondantes, les instants significatifs, vécus par le spectateur/utilisateur lors de la diffusion des contenus multimédia sur le dispositif 400.
Le module de traitement 220 est en outre configuré pour obtenir du système 300, les contenus multimédias produits par le module 320 ou les informations nécessaires à la génération desdits contenus, correspondant aux instants significatifs, vécus par le spectateur/utilisateur lors de la diffusion des contenus multimédia sur le dispositif 400, tel que déterminés par le module de traitement 220 au moyen de la méthode de classification. Le module de traitement 220 est alors arrangé pour assembler une séquence comportant notamment les contenus multimédias ainsi obtenus.
Il est à noter que la séquence assemblée peut comporter d’autres contenus multimédias, en particulier des contenus multimédias précédent ou suivant lesdits instants significatifs, par exemple les contenus multimédias comportant un évènement déclencheur ou résultant d’un instant significatif, par exemple le début d’une action - instant non nécessairement significatif pour l’utilisateur - ayant abouti à un but — instant significatif ressenti par l’utilisateur, dans le cas d’une simulation ludique de football.
Le module de traitement 220 peut comporter des moyens pour créer, maintenir et accéder à un profil distant, et permettre le stockage des séquences assemblées, l’accès de ces dernières par le système 300, et le partage des séquences assemblés à des tiers.
Le module 200 comporte, optionnellement, un module de rejeu 230 adapté à commander le système 300 de sorte que ce dernier rejoue, sur le dispositif 400, la séquence assemblée par le module de traitement 220. Ainsi, l’utilisateur peut revivre directement les moments forts.
On se réfère maintenant à la figure 2 où les étapes d’un procédé un diagramme représentant les étapes d’un procédé de production automatisée d’une séquence comprenant des médias associés à des moments émotionnellement significatifs vécus par le spectateur/utilisateur lors d’une diffusion de médias audiovisuels, selon un mode de réalisation de l’invention, sont représentées. Le procédé est notamment adapté à être mis en œuvre par le module 200 du système audiovisuel illustré sur la figure 1.
Le procédé comporte une étape 510 d’obtention de mesures de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session ainsi que des informations temporelles aptes à permettre l’identification, pour chacune desdites mesures de l’ensemble, du contenu multimédia présenté par le dispositif 400 de reproduction audiovisuel à l’utilisateur lorsque ladite mesure a été réalisée.
Optionnellement, le procédé comporte une étape de filtrage 520 des mesures de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session susceptible d’être erronées ou aberrantes.
Le procédé comporte une étape d’identification 530, au moyen d’une méthode de classification appliquée aux mesures reçues de paramètres relatifs aux émotions de l’utilisateur ressenties au cours de la session, au moins un instant significatif où l’observation de caractéristiques relatives aux mesures reçues correspondant audit instant traduit une émotion de l’utilisateur considérée comme significative selon ladite méthode de classification.
Le procédé comporte une étape d’obtention 540 d’au moins un contenu multimédia et/ou d’informations nécessaires à la génération dudit au 5 moins un contenu, correspondant audit au moins un instant significatif.
Le procédé comporte une étape d’assemblage 550 d’une séquence comportant ledit au moins un contenu multimédia et/ou les informations nécessaires à la génération dudit au moins un contenu.
Optionnellement, le procédé comporte une étape de rejeu 560 au 10 cours de laquelle une commande est transmise au système 300 de génération d’une expérience audiovisuelle pour présenter sur le dispositif 400 de reproduction audiovisuel la séquence comportant ledit au moins un contenu multimédia.

Claims (13)

1. Module de création d’une séquence audiovisuelle (200), adapté à coopérer avec un système (300) de génération d’une expérience audiovisuelle apte à produire un ensemble de contenus multimédias présentés par un dispositif (400) de reproduction audiovisuel à un utilisateur (U) lors d’une session, le module de création d’une séquence audiovisuelle (200) étant configuré pour produire, de manière automatisée, une séquence comprenant des contenus multimédias sélectionnés parmi l’ensemble de contenus multimédias diffusés à l’utilisateur (U) au cours de la session, ladite séquence étant destinée à être présentée à l’issue de la session, caractérisé en ce qu’il comporte :
- un module de communication (210) configuré pour obtenir des mesures de paramètres relatifs aux émotions de l’utilisateur (U) ressenties au cours de la session ainsi que des informations temporelles aptes à permettre l’identification, pour chacune desdites mesures de l’ensemble, du contenu multimédia présenté par le dispositif (400) de reproduction audiovisuel à l’utilisateur (U) lorsque ladite mesure a été réalisée ;
- un module de traitement (220) configuré pour :
identifier, au moyen d’une méthode de classification appliquée aux mesures reçues de paramètres relatifs aux émotions de l’utilisateur (U) ressenties au cours de la session, au moins un instant significatif où l’observation de caractéristiques relatives aux mesures reçues correspondant audit instant traduit une émotion de l’utilisateur (U) considérée comme significative selon ladite méthode de classification ;
obtenir au moins un contenu multimédia et/ou les informations nécessaires à la génération dudit au moins un contenu, correspondant audit au moins un instant significatif;
assembler une séquence comportant ledit au moins un contenu multimédia et/ou les informations nécessaires à la génération dudit au moins un contenu.
2. Module de création d’une séquence audiovisuelle (200) selon la revendication 1, dans lequel les mesures de paramètres relatifs aux émotions de l’utilisateur (U) ressenties au cours de la session comportent des mesures de la conductivité électrodermale observée sur la peau de l’utilisateur (U), le module de traitement (220) étant configuré pour identifier ledit au moins un instant significatif en fonction d’une caractéristique relative à l’activité tonique déterminée à partir des mesures de la conductivité électrodermale, et/ou d’une caractéristique relative à l’activité phasique déterminée à partir des mesures de la conductivité électrodermale.
3. Module de création d’une séquence audiovisuelle (200) selon l’une quelconque des revendications précédentes, dans lequel les mesures de paramètres relatifs aux émotions de l’utilisateur (U) ressenties au cours de la session comportent des mesures du rythme cardiaque de l’utilisateur (U), le module de traitement (220) étant configuré pour identifier ledit au moins un instant significatif en fonction d’une caractéristique relative aux pics d’activité déterminée à partir des mesures du rythme cardiaque de l’utilisateur (U), et/ou d’une caractéristique relative à la variabilité du rythme cardiaque déterminé à partir des mesures du rythme cardiaque de l’utilisateur (U).
4. Module de création d’une séquence audiovisuelle (200) selon l’une quelconque des revendications précédentes, dans lequel les mesures de paramètres relatifs aux émotions de l’utilisateur (U) ressenties au cours de la session comportent des mesures de la température corporelle de l’utilisateur (U), le module de traitement (220) étant configuré pour identifier ledit au moins un instant significatif en fonction d’une caractéristique relative à la moyenne ou la variation de température déterminée à partir des mesures de la température corporelle de l’utilisateur (U).
5. Module de création d’une séquence audiovisuelle (200) selon l’une quelconque des revendications précédentes, dans lequel les mesures de paramètres relatifs aux émotions de l’utilisateur (U) ressenties au cours de la session comportent des mesures accélérométriques de l’utilisateur (U), le module de traitement (220) étant configuré pour identifier ledit au moins un instant significatif en fonction d’une caractéristique relative à la norme de l'accélération déterminée à partir des mesures accélérométriques de l’utilisateur (U).
6. Module de création d’une séquence audiovisuelle (200) selon l’une quelconque des revendications précédentes, dans lequel le module de traitement (220) est arrangé de sorte à procéder à un filtrage des mesures de paramètres relatifs aux émotions de l’utilisateur (U) ressenties au cours de la session susceptible d’être erronées ou aberrantes, préalablement à l’identification dudit au moins un instant significatif.
7. Module de création d’une séquence audiovisuelle (200) selon l’une quelconque des revendications précédentes, dans lequel le module de traitement (220) est configuré pour accéder à un profil utilisateur (U) distant de sorte à permettre le stockage et le partage à des tiers de la séquence comportant ledit au moins un contenu multimédia et/ou les informations nécessaires à la génération dudit au moins un contenu.
8. Module de création d’une séquence audiovisuelle (200) selon l’une quelconque des revendications précédentes, comportant en outre un module de rejeu (230) adapté à commander le système (300) de génération d’une expérience audiovisuelle pour présenter sur le dispositif (400) de reproduction audiovisuel la séquence comportant ledit au moins un contenu multimédia.
9. Kit comportant un module de création d’une séquence audiovisuelle (200) selon l’une quelconque des revendications précédentes et un dispositif (100) adapté pour fournir et transmettre au module de création d’une séquence audiovisuelle (200) des mesures de paramètres relatifs aux émotions de l’utilisateur (U) ressenties au cours de la session.
10. Système comportant un module de création d’une séquence audiovisuelle (200) selon l’une quelconque des revendications 1 à 8, un dispositif (100) adapté pour fournir et transmettre au module de création d’une séquence audiovisuelle (200) des mesures de paramètres relatifs aux émotions de l’utilisateur (U) ressenties au cours de la session, un dispositif (400) de reproduction audiovisuel, et un système (300) de génération d’une expérience audiovisuelle apte à produire un ensemble de contenus multimédias présentés par le dispositif (400) de reproduction audiovisuel à un utilisateur (U) lors d’une session.
11. Procédé pour produire, de manière automatisée, une séquence audiovisuelle comprenant des contenus multimédias, sélectionnés parmi un ensemble de contenus multimédias produits par un système (300) de génération d’une expérience audiovisuelle et présentés par un dispositif (400) de reproduction audiovisuel à un utilisateur (U) lors d’une session, ladite séquence étant destinée à être présentée à l’issue de la session, caractérisé en ce qu’il comporte les étapes suivantes :
- obtention (510) de mesures de paramètres relatifs aux émotions de l’utilisateur (U) ressenties au cours de la session ainsi que des informations temporelles aptes à permettre l’identification, pour chacune desdites mesures de l’ensemble, du contenu multimédia présenté par le dispositif (400) de reproduction audiovisuel à l’utilisateur (U) lorsque ladite mesure a été réalisée ;
- identification (530), au moyen d’une méthode de classification appliquée aux mesures reçues de paramètres relatifs aux émotions de l’utilisateur (U) ressenties au cours de la session, au moins un instant significatif où l’observation de caractéristiques relatives aux mesures reçues correspondant audit instant traduit une émotion de l’utilisateur (U) considérée comme significative selon ladite méthode de classification ;
- obtention (540) d’au moins un contenu multimédia et/ou d’informations nécessaires à la génération dudit au moins un contenu, correspondant audit au moins un instant significatif;
- assemblage (550) une séquence comportant ledit au moins un contenu multimédia et/ou les informations nécessaires à la génération dudit au moins un contenu.
12. Procédé selon la revendication 11, comportant en outre, préalablement à l’étape d’identification (530) d’au moins un instant significatif, une étape de filtrage (520) des mesures de paramètres relatifs aux émotions de l’utilisateur (U) ressenties au cours de la session susceptible d’être erronées ou aberrantes.
13. Procédé selon la revendication 11 ou 12, comportant en outre une étape de rejeu (560) au cours de laquelle une commande est transmise au système (300) de génération d’une expérience audiovisuelle pour présenter sur le dispositif (400) de reproduction audiovisuel la séquence comportant ledit au moins un contenu multimédia.
FR1853499A 2018-04-20 2018-04-20 Module et procede de creation d’une sequence audiovisuelle Pending FR3080511A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1853499A FR3080511A1 (fr) 2018-04-20 2018-04-20 Module et procede de creation d’une sequence audiovisuelle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1853499 2018-04-20
FR1853499A FR3080511A1 (fr) 2018-04-20 2018-04-20 Module et procede de creation d’une sequence audiovisuelle

Publications (1)

Publication Number Publication Date
FR3080511A1 true FR3080511A1 (fr) 2019-10-25

Family

ID=63209499

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1853499A Pending FR3080511A1 (fr) 2018-04-20 2018-04-20 Module et procede de creation d’une sequence audiovisuelle

Country Status (1)

Country Link
FR (1) FR3080511A1 (fr)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030118974A1 (en) * 2001-12-21 2003-06-26 Pere Obrador Video indexing based on viewers' behavior and emotion feedback
US20130288761A1 (en) * 2011-01-04 2013-10-31 Marta Isabel Santos Paiva Ferraz Conceicao Interactive wearable videogame through the use of wireless electronic sensors and physical objects
US20160322078A1 (en) * 2010-08-26 2016-11-03 Blast Motion Inc. Multi-sensor event detection and tagging system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030118974A1 (en) * 2001-12-21 2003-06-26 Pere Obrador Video indexing based on viewers' behavior and emotion feedback
US20160322078A1 (en) * 2010-08-26 2016-11-03 Blast Motion Inc. Multi-sensor event detection and tagging system
US20130288761A1 (en) * 2011-01-04 2013-10-31 Marta Isabel Santos Paiva Ferraz Conceicao Interactive wearable videogame through the use of wireless electronic sensors and physical objects

Similar Documents

Publication Publication Date Title
Messer et al. XM2VTSDB: The extended M2VTS database
US8726304B2 (en) Time varying evaluation of multimedia content
US9183883B2 (en) Method and system for generating data for controlling a system for rendering at least one signal
KR20170100007A (ko) 청취 로그 및 음악 라이브러리를 생성하기 위한 시스템 및 방법
US9483902B2 (en) Systems, methods, and media for immersive roulette gaming
US20090195392A1 (en) Laugh detector and system and method for tracking an emotional response to a media presentation
US20150143392A1 (en) Method, apparatus and system for determining viewer reaction to content elements
CN103621106A (zh) 提供视频呈现评论
WO2012039871A2 (fr) Système de génération automatique de publicités personnalisées
WO2005073972A1 (fr) Relecture de flux de donnees multimedias a partir d'un point de modification anterieur
EP3612912B1 (fr) Procédé de lecture d'un flux vidéo
CN108353202A (zh) 基于关注检测进行媒体内容控制的方法、系统和装置
KR20140005130A (ko) 미디어 인식 및 움직임 신호와의 동기화
EP3506829A1 (fr) Prédiction de l'attention d'un auditoire lors d'une présentation
US11140372B2 (en) Capturing and synchronizing motion with recorded audio/video
US20230156245A1 (en) Systems and methods for processing and presenting media data to allow virtual engagement in events
CN112188259B (zh) 用于音视频同步测试和校正的方法、装置及电子设备
US20160357498A1 (en) Gamified Adaptive Digital Disc Jockey
FR3080511A1 (fr) Module et procede de creation d’une sequence audiovisuelle
FR3078196A1 (fr) Procede et dispositif de synchronisation d'enregistrements comprenant un signal audio provenant de differents dispositifs d'acquisition co-localises
Hanjalic Multimodal approach to measuring excitement in video
WO2020201158A1 (fr) Procede de génération d'un element multimedia au cours de la lecture d'un media, terminal, systeme
FR3090256A1 (fr) Procédé de reproduction sur un terminal d’un contenu principal en restituant un contenu secondaire associé à un objet affiché, terminal, serveur, et programme d’ordinateur correspondants.
EP3096322A1 (fr) Système et procédé d'édition d'informations d'image au moyen d'émotions de l'utilisateur avec les informations d'image
US11490148B2 (en) Systems and methods to determine when to rejoin a live media broadcast after an interruption

Legal Events

Date Code Title Description
PLSC Publication of the preliminary search report

Effective date: 20191025

RX Complete rejection

Effective date: 20200326