CH709324A2 - Dispositif de création de vidéos augmentées. - Google Patents

Abstract

L’invention concerne un dispositif de création de séquences vidéo dans lesquelles sont ajoutées un certain nombre de données afin de mieux interpréter et apprécier la séquence vidéo. Le dispositif comprend un Smartphone (18) ou tout autre terminal connecté capable d’effectuer un enregistrement vidéo utilisé pour filme une personne ou un objet qui possède sur elle (lui) des capteurs (accéléromètres, gyromètres ...) communicants (17). Après traitement, les données des capteurs communicants (17) sont transmises par l’intermédiaire d’une communication sans fil (19) au Smartphone (18) qui va les agréger avec la séquence vidéo créée.

Description

Domaine technique

[0001] La présente invention concerne un dispositif de création de séquences de «vidéos augmentées». Le cas d’usage typique est le suivant; une personne équipée d’un Smartphone (le Smartphone est un téléphone cellulaire mobile doté en particulier d’une caméra, d’un écran et d’une unité de traitement numérique, mais il peut également s’agir de tout autre terminal capable d’effectuer un enregistrement vidéo) filme une autre personne (ou un objet) qui possède sur elle des capteurs (accéléromètre, gyromètre, thermomètre, cardio-fréquencemètre, capteur de taux d’oxygène dans le sang, capteur de pression...). Après traitement des données issues des capteurs, celles-ci sont transmises par l’intermédiaire d’une communication sans fil au Smartphone qui va les agréger avec la séquence vidéo créée. C’est en ce sens que l’on parle de «vidéo augmentée». Dans la suite du texte on parle de «capteurs connectés» quand il s’agit d’un dispositif (se présentant d’un point de vue mécanique sous diverse formes: bracelet, parallépipède, cylindre plat...) comportant les capteurs proprement dit, l’électronique de traitement analogique et numérique ainsi que la partie radiofréquence permettant d’assurer la communication sans fil.

[0002] Le dispositif objet de l’invention permet d’assister les utilisateurs dans la création de ces séquences fusionnant la vidéo et les données issues des capteurs.

Etat de la technique antérieure

[0003] On connaît des dispositifs de création de vidéo augmentée: La société Amisco (http://www.sport-universal.com/) propose un système de création de vidéos augmentées basée sur l’analyse des vidéos capturées par des caméras lors d’événement sportifs. Les éléments issus de l’analyse des vidéos viennent ensuite alimenter une base de données qui peut être exploitée à différentes fins dont la création de vidéos augmentées.

[0004] La société Deltatre (http://www.deltatre.com/) commercialise un ensemble de services capable sur différents supports (téléviseur, Smartphone, Tablette...) de fusionner différentes données avec la vidéo. Ces données sont issues de base de données statique ou dynamique potentiellement collectées, traitées puis ajoutés durant un événement sportif.

[0005] La société Opta (http://www.optasports.com/) a une approche proche de Deltatre ou Amisco, elle crée également des contenus vidéo ou des pages web associant images, vidéos et des statistiques diverses collectés dans des bases de données.

[0006] Sans citer spécifiquement les sociétés réalisant la technique d’ajout d’informations dans les vidéos, il est commun lors d’un événement transmis sur les canaux télévisés de voir diverses informations ajoutées: par exemple lorsqu’un un service au tennis est visualisé au ralenti en y ajoutant la vitesse de la balle.

[0007] L’incrustation de données dans une vidéo est une opération humaine, l’homme intervenant pour interpréter la vidéo afin d’y associer des données complémentaires. Ces données ne sont pas issues de capteurs portés par les joueurs et en outre la puissance de calcul mise en jeux ainsi que la durée de l’intervention humaine peuvent être très importantes car peu limitées par des contraintes de temps, de taille, de rapidité de calcul ou de dissipation d’énergie.

[0008] En ce qui concerne la fusion entre la vidéo et les données issues de capteurs, nous pouvons également citer les terminaux de saisie d’enregistrement vidéos qui comportent des capteurs (récepteur GPS, capteur de température, d’humidité...) et qui associent à la vidéo ou à la photo les données de ces capteurs.

[0009] D’autres exemples fusionnant la vidéo et les données proviennent du monde cinématographique où les comédiens possèdent des capteurs qui aident le réalisateur à créer des scènes en images et vidéos de synthèse numérique.

[0010] Aucun des systèmes existants de l’état de la technique ne permet à un utilisateur réalisant une vidéo augmentée d’interagir aisément avec la ou les personne(s) filmée(s) possédant des capteurs dans le but de créer automatiquement des séquences vidéo augmentées. Le but de l’invention est de proposer un dispositif incluant le terminal qui filme, les capteurs connectés ainsi que les serveurs de traitement et de stockage des données afin de. rendre possible et efficace la création de séquences de vidéos augmentées.

Exposé de l’invention

[0011] Afin de simplifier l’exposé de l’invention, la description est effectuée pour un cas de figure qui regroupe une personne réalisant le film et contrôlant le terminal qui enregistre la vidéo et une personne portant le ou les capteurs connectés. La personne réalisant le film est dans la suite du texte désignée par le terme «le cinéaste» et la personne portant les capteurs connectés par «le sportif». Il est évident que cette description n’est nullement limitative et n’est utilisée que pour rendre les propos plus concrets en traitant un cas spécifique. A titre d’exemple on peut imaginer un cas de figure où «le cinéaste» et «le sportif» sont une seule et même personne, le terminal qui enregistre la vidéo étant alors contrôlé par le sportif. Il est également évident que l’homme de l’art saura utiliser le dispositif décrit à d’autres domaines que le domaine sportif.

[0012] L’exposé liste les problèmes spécifiques à l’interaction cinéaste – sportif et apporte des solutions qui constituent l’objet de l’invention.

Création automatique des vidéos à partir des données fournies par le ou les capteurs:

[0013] Comme cela a été évoqué lors de la description de l’état de l’art les systèmes existants se basent sur l’intervention humaine pour détecter ce que fait le sportif à un instant donné afin de créer une séquence vidéo avec un effet de type ralenti, par exemple, qui sera ensuite distribuée sur les différents canaux de diffusion (télévision, second écran de type tablette, site web...). L’objet de l’invention est en particulier d’autoriser la génération automatique de séquences vidéo ralenties pertinentes. Les étapes suivantes décrivent le processus: <tb>•<SEP>Le type de sport pratiqué est connu <tb>•<SEP>Le profil de l’utilisateur est connu (poids, taille, performance clefs pour le sport pratiqué,...). Ce profil est soit disponible localement dans le Smartphone soit récupéré sur un serveur distant au sein du réseau de télécommunication. <tb>•<SEP>Le cinéaste déclenche le démarrage de l’enregistrement vidéo. Ce déclenchement peut également être piloté à distance par le sportif par le biais d’une télécommande. <tb>•<SEP>Les différents paramètres issus des capteurs: accélération, vitesse de rotation, orientation, pression atmosphérique... sont enregistrés aux instants d’échantillonnage du temps. <tb>•<SEP>Le cinéaste stoppe l’enregistrement de la vidéo. Ce déclenchement peut également être piloté à distance par le sportif.

[0014] Ainsi, après la séquence sportive, le Smartphone a enregistré dans sa mémoire les données relatives à la vidéo ainsi que des données correspondant à l’activité du sportif. Ces dernières sont synchronisées temporellement avec la vidéo. L’ensemble de ces données «vidéo + activités» est injecté dans un algorithme chargé de sélectionner les «moments forts» de la séquence vidéo. «Les moments forts» correspondent aux phases d’activités les plus intenses. A titre d’exemple l’accélération est analysée sur l’ensemble des activités, les pics sont relevés, si on recherche les 5 pics les plus intéressants, 5 zones temporelles seront sélectionnées. La durée de chacune des zones dépend du sport pratiqué: de l’ordre de 2s par exemple pour le tennis, durée que nous nommons «durée type». Les 5 zones temporelles ainsi sélectionnées sont transmises à un autre algorithme qui recueillera les données des vidéos sur des fenêtres temporelles centrées sur chacune des zones et d’une longueur (paramétrable) supérieure à la «durée type» d’un événement, typiquement 2 à 3 fois supérieure. Une fois ces données «vidéo + activités» récupérées, le Smartphone sera à même, grâce à un programme approprié, de générer des séquences vidéos ralenties pertinentes car correspondant à des instants d’activités intenses. En outre les données provenant des activités seront utilisées pour ajouter des informations sur la vidéos comme la vitesse, l’accélération, la puissance, la hauteur de saut... Ces données associées à la vidéo visualisée au ralenti constitue ce que nous nommons une «vidéo augmentée» car augmentée par des données aidant à interpréter et apprécier la performance sportive.

[0015] Le processus décrit précédemment correspond à une génération automatique sans intervention du cinéaste. Il sera toutefois possible de modifier des réglages afin d’agir sur les séquences de vidéos augmentées: Si les vidéos ne satisfont pas le cinéaste, celui-ci peut agir sur divers paramètres pour générer d’autres séquences vidéo, par exemple en modifiant le nombre de vidéos générées (modification du paramètre «nombre de vidéos à générer») ou encore en ne sélectionnant que les vidéos où le sportif a sauté à plus de 1m, par exemple... ou encore pour lesquelles la puissance développée est supérieur à un certain seuil.

[0016] Le principe de paramétrage par défaut permet une génération automatique de vidéos augmentées adaptées à un usage simplifié et rapide. La modification des paramètres par défaut (par l’intermédiaire d’un menu «expert» par exemple) autorisera la modification des paramètres pour ceux qui souhaitent une génération sur mesure.

[0017] Du processus de génération, les données suivantes seront disponibles: <tb>•<SEP>Les données de vidéo + données brutes des activités: données brutes issues des capteurs <tb>•<SEP>Les données de vidéo + données interprétées: performances calculées, par exemple la puissance développée, la valeur efficace de l’accélération sur une durée donnée, la hauteur d’un saut... ceci à partir des données issues des capteurs <tb>•<SEP>Les vidéos augmentées: données interprétées directement incrustées dans la vidéo, donc pas de dissociation de la vidéo et des données

[0018] Des droits spécifiques donneront accès à l’intégralité des données citées ou uniquement à une partie. Etant entendu que le volume des données varie en fonction de la nature de celle-ci, les données interprétées constituent une compression des données brutes.

[0019] En ce qui concerne l’ajustement du ralenti, celui-ci peut s’effectuer avec un nombre d’image par seconde qui sera défini en fonction de certains paramètres, par exemple: La séquence vidéo est filmée à 120 images par seconde, la visualisation au ralenti autour des instants intéressants s’effectue à un rythme fixe de 20 images par secondes ou bien à un rythme variable allant de 120 images par seconde en début de séquence, se réduisant à 10 images par secondes durant la phase d’activité intense afin de restituer au mieux toute la performance du sportif, puis retournant à un rythme de 120 images par seconde à la fin de la séquence.

Création d’effets vidéo et photo synchronisés sur les données issues des capteurs:

[0020] Grâce aux données synchronisées avec la vidéo il est ainsi possible de créer automatiquement des ralentis en fonction des données issues des capteurs. En procédant de façon similaire des photos extraites de la vidéo peuvent avantageusement être crées de façon également automatique. Considérons par exemple le cas de figure d’un saut à moto, quand les capteurs ont détecté le pic de hauteur lors du saut, quelques photos sont extraites (4 ou 5 typiquement) autour de l’événement. Le cinéaste pourra ensuite sélectionner la photo qui lui plait le plus, voire également modifier les critères de déclenchement afin de générer d’autres photos. Divers effets vidéo ou photographiques peuvent être créés grâce aux capteurs: succession de photos autour des instants d’activité intenses, effet de traînée, musique spécifique accompagnant l’instant où l’activité du sportif est à son maximum, effets de lumière, halot lumineux, ajout d’un message de félicitations, sans oublier l’ajout des informations de performance (hauteur, temps dans l’air – sans contact avec le sol ou la mer –, puissance, accélération, vitesse...).

Processus d’accélération des traitements consécutifs à la création de la vidéo:

[0021] Afin de réduire les traitements consécutifs à l’enregistrement de la vidéo augmentée des données de performances du sportif, le processus se déroule en plusieurs étapes: <tb>•<SEP>Enregistrement des données vidéo ainsi que des données de performances issues des capteurs. <tb>•<SEP>Vérification en permanence de la valeur maximale de certains paramètres comme l’accélération, la vitesse de rotation, ou une grandeur combinée rendant compte de la puissance instantanée par exemple. Sur la base de ces calculs, maintien à jour et stockage dans la mémoire du Smartphone (ou du capteur connecté suivant le cas) des marqueurs temporels permettant de repérer le démarrage des 5 (paramétrable) séquences les plus intéressantes. <tb>•<SEP>Sur la base des marqueurs temporels, création des séquences vidéo ralenties sur une durée de 2s (paramétrable) centré sur les marqueurs temporels. <tb>•<SEP>Ainsi le traitement est beaucoup plus rapide car il ne se focalise que sur les zones d’intérêt. Le ralenti ainsi que tous les effets que nous avons vu auparavant (ajout de texte, incrustation de données de performance, ajout d’un message vocal, création d’une photo au pic de performance...) ne sont réalisés que sur les zones intéressantes afin de produire au plus vite la vidéo augmentée qui sera visualisée par le cinéaste ou partagée avec son entourage.

Création de vidéos augmentées à partir de sources de vidéos non synchronisées (temporellement) initialement avec les capteurs:

[0022] Dans certains cas le terminal qui enregistre la vidéo est directement synchronisé temporellement avec les données des capteurs. C’est par exemple le cas quand un Smartphone enregistre la vidéo tout en collectant les données issues des capteurs par l’intermédiaire d’une liaison de radiocommunication. Dans ce cas le Smartphone définit la référence de temps: sur la base de son horloge interne, d’une base de temps issue d’un récepteur GPS, ou d’un récepteur de base temporelle recevant l’information d’un émetteur terrestre (émetteur de France Inter en France, système DCF77 en Allemagne...), ou encore en se synchronisant sur le réseau de téléphonie mobile. Le Smartphone communique avec le capteur connecté afin qu’ils synchronisent leurs bases de temps respectives. On peut bien évidemment imaginer des situations où le capteur lui-même possède un récepteur GPS ou un récepteur de base temporelle auquel cas la synchronisation s’effectue par l’intermédiaire de cette base de temps commune entre le Smartphone et le capteur connecté.

[0023] Mais dans d’autres cas il n’y a pas de moyens de synchronisations similaires à ceux décrits dans le paragraphe précédent. C’est à ce cas de figure auquel nous nous intéressons et pour lequel nous proposons une méthode de synchronisation temporelle; Le capteur comporte plusieurs dels (diodes électroluminescentes) agencées de façon à constituer un motif graphique lumineux spécifique dont l’éclairage est contrôlé temporellement par le microprocesseur présent dans le capteur connecté. En début de séance les dels clignotent d’une façon particulière et il est demandé au cinéaste de pointer sa caméra (ou tout autre dispositif réalisant l’enregistrement) vers les dels jusqu’à la fin du clignotement, ceci avant de poursuivre l’enregistrement vidéo. Une fois l’enregistrement vidéo effectué et stocké, 2 flux sont générés: le flux vidéo de la caméra ainsi qu’un flux intégrant les instants de contrôle des dels et les données de performances issues des capteurs. Ces deux flux de données sont récupérés par un ordinateur (ordinateur de bureau, ordinateur portable, Smartphone, tablette numérique...) qui comporte un programme spécifique mettant en œuvre un algorithme de traitement du signal connu de l’homme de l’art appliqué sur ces deux flux et permettant de synchroniser temporellement les deux flux. Ainsi à l’issue de ce traitement les données de performances sont synchronisées temporellement avec les données vidéo et le cinéaste ou toute autre personne sera en capacité de créer des vidéos augmentées avec les mécanismes de création automatique tels que vus précédemment. Le motif graphique lumineux peut également être remplacé par un dispositif générant un son audible (petit hautparleur, générateur exploitant l’effet piézoélectrique – communément appelé buzzer –, ...) qui conduira à reconnaître une signature audio spécifique en lieu et place de la signature graphique du motif graphique lumineux. Dans une autre réalisation il peut être avantageux d’enregistrer simultanément, dans le terminal réalisant l’enregistrement vidéo (et audio pour rappel) et dans le capteur connecté (disposant alors d’un microphone et de l’électronique nécessaire au traitement), un son particulier (ordre de l’utilisateur par exemple) qui servira ensuite à la synchronisation temporelle. Cette synchronisation temporelle est effectuée par recherche de similitudes (dans un ordinateur portable par exemple) des deux signaux: celui stocké dans le terminal effectuant l’enregistrement vidéo et celui stocké dans le capteur connecté.

Modes de fonctionnement:

[0024] De façon assez similaire à ce qui est décrit dans le paragraphe «Création de vidéos augmentées à partir de sources de vidéos non synchronisées (temporellement) initialement avec les capteurs» dans certains cas le Smartphone et le ou les capteurs connectés ne sont pas reliés de façon permanente: Le cinéaste réalise la vidéo (on le rappelle en enregistrant également le son) indépendamment des enregistrements des capteurs connectés, les capteurs connectés collectent les données des capteurs, les analysent et stockent ces résultats dans une mémoire interne du capteur connecté. Il y a finalement trois modes distinctes de fonctionnement: <tb>•<SEP>Un mode temps réel où le Smartphone et le ou les capteurs connectés sont synchronisés temporellement. Les données des capteurs sont transmises (après traitement local dans le capteur connecté) vers le Smartphone quasiment en temps réel (à la durée de traitement près). <tb>•<SEP>Un mode temps différé où le Smartphone et le ou les capteurs connectés sont synchronisés temporellement (avant ou après les enregistrements). Par contre les données des capteurs sont stockées uniquement dans la mémoire interne du capteur connecté et ne sont transmises que ponctuellement vers le Smartphone pour construction des vidéos augmentées. Afin de fixer les idées imaginons une descente à ski, en début de descente le sportif active son capteur connecté. Le cinéaste filme le sportif à des moments privilégiés durant la descente. Durant la descente ou en fin de descente le cinéaste récupère les données du capteur connecté afin de construire la vidéo augmentée. A chaque échange de donnée entre le Smartphone du cinéaste et le capteur connecté du sportif, la synchronisation temporelle est effectuée. <tb>•<SEP>Un mode mixte correspondant à un cas où le cinéaste et le sportif souhaitent être dans un mode temps réel. Cependant à cause de la nature de la connexion radiofréquence entre le Smartphone et le capteur connecté il peut y avoir des moments où la connexion est rompue pendant quelques secondes. Dans ce cas le capteur connecté passe en mode temps différé et transmettra les données stockées (et traitées) dès qu’il le pourra vers le Smartphone.

Optimisation de la puissance consommée en fonction du sport pratiqué et de la qualité de la liaison sans fil entre le ou les capteurs et le Smartphone:

[0025] Le capteur se doit d’être miniaturisé et pour cela consommer le moins d’énergie possible afin d’embarquer une batterie ayant de petites dimensions. On connaît déjà des dispositifs de transmission de la voix qui adaptent le taux de compression à la qualité de la liaison de la communication, ceci afin de transmettre la voix même si la qualité de la liaison se dégrade. Ici nous avons une autre préoccupation qui s’ajoute aux principes connus: transmettre de l’information de façon à optimiser la consommation du capteur connecté. Pour cela un modèle mathématique de consommation du capteur connecté est établi et implémenté dans un programme du microprocesseur contenu dans le capteur connecté, ce programme évalue en permanence s’il vaut mieux effectuer les calculs à bord du capteur ou les déporter dans le Smartphone afin de réduire au maximum la consommation énergétique du capteur connecté. Le fonctionnement est explicité plus loin dans la partie «Description des figures et des modes de réalisation».

Configuration «grand public» et «professionnelle», implications:

[0026] Dans un souci de simplification la description effectuée précédemment correspond au cas dit grand public mettant en jeu un Smartphone et un ou plusieurs capteurs connectés. Le dispositif décrit peut également fonctionner dans une configuration dite professionnelle, dans ce cas le ou les capteurs connectés communiquent non pas avec un Smartphone mais avec un boîtier porté sur le corps ou sur un équipement du sportif, ce boîtier est chargé de collecter et traiter les données des capteurs connectés avant de les transmettre à une distance plus importante que ne peut le faire la liaison Smartphone-Capteur connectés. Le boîtier en question peut également comporter des capteurs et comme ce boîtier n’est destiné qu’à collecter, traiter et transmettre l’information des capteurs connectés il n’a pas nécessairement besoin de comporter une caméra, un écran ou un processeur très puissant, de ce fait il est nettement plus léger et moins encombrant qu’un Smartphone conventionnel.

Description des figures et des modes de réalisation

Fig. 1:

[0027] Le bracelet (1) est un capteur connecté tel que défini précédemment, il comporte un certain nombre de composants électroniques ainsi que des capteurs. L’électronique intégrée dans le bracelet comporte des moyens de radiocommunication aptes à échanger des informations avec le Smartphone (3). La liaison de radiocommunication (2) entre (1) et (3) est symbolisée sur la figure. Le produit qui comporte les capteurs est ici représenté sous la forme d’un bracelet, cela n’est nullement limitatif, il existe d’autres configurations comme un petit produit monobloc logeable dans un accessoire de maintien (sur divers emplacements du corps) sans électronique, ou encore un produit très plat et déformable afin de s’adapter aux formes du corps. Comme cela a été vu plus haut dans l’exposé, le Smartphone récupère les données issues des capteurs afin de les exploiter pour réaliser les vidéos augmentées.

Fig. 2:

[0028] Cette figure représente une vue interne du bracelet. Les capteurs (4) font appel à des technologies diverses comme la technologie MEMS (Micro-Electro-Mechanical Systems) permettant une importante miniaturisation et une consommation réduite. Le bracelet comporte également une batterie rechargeable (5) ainsi qu’un ensemble de composants électroniques (6) de type microprocesseur et de circuits intégrés de radiocommunication. Le standard de radiocommunication utilisé pour la liaison (2) peut, par exemple, être de type BLE (Bluetooth Low Energy) ou de type Wifi (norme 802.11 IEEE). Les capteurs (4) transmettent leurs informations au microprocesseur qui fusionnent ces données afin de calculer différents paramètres comme la vitesse à l’aide d’une simple intégration, le déplacement à l’aide d’une double intégration, ou encore des changements de repères orthogonaux, etc. ceci avant de transmettre ces données à l’émetteur de radiocommunication qui les transmettra vers le Smartphone.

Fig. 3:

[0029] Cette figure illustre les descriptions effectuées plus haut, en particulier en ce qui concerne les lignes 10 à 35 de la page 5. L’axe des abscisses représente le temps qui permet de repérer les instants où les informations des différents capteurs sont enregistrées. L’axe des ordonnées représente le module de l’accélération A. aX représente l’accélération suivant l’axe X, aY celle suivant l’axe Y et aZ celle suivant l’axe Z. aT est l’accélération terrestre suivant l’axe Z, également mesurée à l’aide des capteurs dans des phases statiques, ti est le marqueur temporel correspondant à l’instant où le module de l’accélération dépasse un seuil prédéfini qui permet de définir une phase d’activité intense nommé «moment fort». Une fenêtre temporelle nommée «Zone temporelle» de durée Zt est calée sur le marqueur temporel ti. Cette fenêtre temporelle est ajustée de façon à être supérieure à la durée type d’une activité (service au tennis, coup de poing à la boxe...) du sport pratiqué.

Fig. 4:

[0030] Cette figure est directement dépendante de la fig. 3 puisque tous les repères temporels en sont déduits. Ce graphe montre comment le nombre d’images par seconde de la vidéo est rendu variable afin de mieux apprécier le ralenti: NI est typiquement égal à 120 images par seconde, N2 égal à 10 images par seconde et N3 égal à 5 images par seconde. Afin de préciser les choses, pour le tennis par exemple nous aurons les valeurs suivantes: Durée type = 2 secondes; Zt = 4 secondes; t1 = 0,5 seconde; t2 = 1 seconde; t3 = 0,5 seconde.

Fig. 5:

[0031] Il s’agit de la variation réelle qui sera appliquée afin de rendre les évolutions plus progressives. Cette courbe est obtenue par un filtrage passe bas, du second ordre par exemple, en partant de la courbe de la fig. 4 .

Fig. 6 et 7:

[0032] Ces figures représentent le bracelet (7) intégrant des capteurs auquel a été ajouté le motif graphique lumineux décrit ci-avant dans le paragraphe «Création de vidéos augmentées à partir de sources de vidéos non synchronisées (temporellement) initialement avec les capteurs». La fig. 7 représente le détail local du motif graphique composé de 3 points lumineux, chaque point lumineux est une del identique à (8). Ce motif graphique très simple dans cet exemple peut être plus complexe et représenter des lignes, une lettre par exemple...

[0033] L’objectif du traitement de reconnaissance de motif (non décrit ici car déjà connu de l’homme de l’art) est de déterminer à quel instant ce motif disparait afin de d’effectuer la synchronisation temporelle. Bien évidemment la précision est limitée par la fréquence d’échantillonnage des images successives enregistrées par la caméra: 100 images par seconde par exemple. Dans le but de faciliter cette synchronisation, le porteur du bracelet peut commander vocalement (microphone et électronique nécessaire dans le capteur, bien évidemment) l’instant où les dels se mettront en fonctionnement ainsi l’utilisateur pourra veiller à disposer à cet instant la caméra du terminal réalisant l’enregistrement convenablement afin que le motif lumineux soit bien dans le champ de prise de vue de la caméra. Ce déclenchement vocal peut également être réalisé par un déclenchement vibratoire, le porteur du «capteur» tapotant d’une façon particulière sur le corps du «capteur». De façon avantageuse il est possible de combiner ce dispositif de reconnaissance de motif lumineux par un dispositif de reconnaissance vocale exploitant un enregistrement simultané du son dans le capteur et dans le terminal réalisant l’enregistrement vidéo (et audio).

Fig. 8:

[0034] Ces figures décrivent de façon simplifiée les blocs fonctionnels du capteur connecté. Le bloc (9) représente les capteurs consommant un courant I_Cap. Le bloc (10) représente la partie numérique (convertisseurs analogiques/numériques, microprocesseur, unité de traitement de signal, mémoire...) traitant l’information. Ce bloc (10) consomment un courant noté I_Dig. Le bloc (11) représente la partie radiofréquence (convertisseurs numériques/analogiques, synthétiseurs de fréquence, oscillateur, amplificateur, mélangeurs, modulateurs, antennes...) chargé de transmettre et recevoir de l’information à haute fréquence (typiquement à 2,4 GHz). Ce bloc (11) consomment un courant noté I_RF. En sortie du bloc (9) le débit numérique moyen en bit par secondes (noté bps ou kbps = kilobit par seconde) est noté Dl. Il est noté D2 en sortie du bloc (10), ce même débit se retrouve en entrée du bloc (11). La courbe (12) représente l’évolution typique du courant consommé par la partie radiofréquence en fonction du débit D2. Cette courbe est en réalité un réseau de courbes car le système de modulation peut être différent pour un même débit. Afin de simplifier l’exposé une seule courbe est représentée: pour une même modulation, un même niveau de puissance... une augmentation du débit moyen conduit à devoir transmettre plus souvent (système à multiplexage temporel) et donc conduit à une consommation qui croit avec le débit moyen. La courbe (13) représente l’évolution typique du courant en fonction de D2, il est aisé de comprendre que plus le débit diminue et plus cela requiert de puissance de calcul pour exploiter les redondances des signaux. En réalité il s’agit d’une courbe discontinue car seuls certains débits sont possibles en fonction du type (limité en nombre) d’algorithme appliqué. Afin de simplifier l’exposé une courbe continue a été représentée. La courbe (14) représente l’allure du courant total tiré sur la batterie pour une configuration donnée et la courbe (15) pour une autre configuration, en effet les traitements sont différents en fonction du sport et du type de modulation choisi à un instant donné.

[0035] Le capteur connecté réalise en permanence une analyse en fonction de divers critères (modulation en cours, type de sport, types de traitements numériques disponibles,...) afin de choisir le meilleur compromis et ainsi décider si les traitements sont réalisés localement dans le capteur connecté ou dans le Smartphone, exemple pour quelques cas en se reportant aux courbes (14) et (15): <tb>•<SEP>Premier cas: La qualité de la liaison radiofréquence (2) est telle que l’on peut transmettre au débit D22. Dans le cas de la courbe (14) il faut transmettre au débit D21 afin d’optimiser la consommation du capteur connecté alors que dans le cas de la courbe (15) il y a intérêt à transmettre au débit D22 et ainsi choisir le type de traitement numérique approprié. <tb>•<SEP>Deuxième cas: La qualité de la liaison (2) est telle que l’on ne peut transmettre qu’au débit D20. Dans le cas de la courbe (14) il faut transmettre au débit D20 et il en sera de même pour le cas de la courbe (15).

[0036] En ce qui concerne les traitements qui conduisent à des débits D2 différents, nous pouvons avoir les configurations suivantes: <tb>•<SEP>Une quasi absence de traitement dans le capteur connecté, les données des capteurs sont simplement recueillies puis transmises vers le bloc radio du capteur connecté, dans ce cas le débit D2 est maximum, 30kbps par exemple et le traitement d’analyse détaillé est effectué par le Smartphone. <tb>•<SEP>Un traitement consistant à effectuer toute l’analyse des données et à détecter, pour un sport donné, le type de geste et ses caractéristiques. Par exemple «service réalisé avec une accélération maximale de 5g et une vitesse de rotation de 600 degrés par seconde». Dans ce cas il est évident que le débit nécessaire pour coder cette information sera très limité, le débit D2 sera très faible, 300bps par exemple. Dans ce cas le traitement est très limité du côté du Smartphone. <tb>•<SEP>De façon extrême nous aurons des cas où le traitement effectué dans le capteur connecté ne lui permettra pas de transmettre en temps réel les informations. Prenons par exemple le cas d’un débit maximum autorisé D2 (pour maintenir la connexion capteur connecté – Smartphone) de 200 bps, si le minimum que sait atteindre le capteur connecté par le biais de ses traitement numérique (compte tenu de sa puissance de calcul limitée) est de 400 bps cela induira des retard de transmission. <tb>•<SEP>Dans un autre exemple conduisant à un débit D2 intermédiaire, le capteur connecté analyse son positionnement dans l’espace qu’il modélise par une courbe paramétrée (en utilisant une formulation polynômiale par exemple) puis transmet les valeurs de ces paramètres. Dans ce cas le débit sera de l’ordre de 5kbps et le Smartphone devra effectuer des traitements complémentaires d’analyse des données.

Fig. 9:

[0037] Cette figure donne une représentation générale du système dit grand public. Un ou des capteurs connectés (17) communicant par l’intermédiaire de la liaison radiofréquence (16) avec le Smartphone (18), lui-même communicant avec le réseau de téléphonie mobile (20) par l’intermédiaire d’une liaison radiofréquence (de type 2G, 3G, 4G...) pour envoyer par exemple des vidéos augmentées ou se connecter au serveur pour récupérer ou stocker des données relatives au sportif ou simplement stocker les données des capteurs. Le réseau mobile est interconnecté avec le réseau internet (22) permettant d’accéder aux serveurs de données (23) également relié au réseau Internet.

Fig. 10:

[0038] Par rapport à la fig. 9 le Smartphone est remplacé par un boîtier (28) chargé de communiquer avec le ou les capteurs connectés. La liaison (26) est de façon préférentielle identique à celle de la fig. 9 (liaison (16)). Le boîtier (28) comporte également des capteurs, il existe donc des cas de figure où les capteurs connectés (27) ne sont pas nécessaires. On peut par exemple citer le cas du Rugby où pour certains matchs le boîtier (28) sera placé entre les omoplates du sportif sans ajout d’autres capteurs de type (27). Le boîtier (28) communique à l’aide d’une liaison (29) de type radiofréquence avec un réseau privé (30) afin de transmettre les données provenant des capteurs. La liaison (29) utilise par exemple les fréquences dites ISM (Instrumentation Scientifiques et Médicales) avec un protocole propriétaire pour se connecter à un premier réseau privé compris dans (30) quant à lui constitué de plusieurs stations radiofréquence fixes. Dans le cas d’un match the football par exemple chaque joueur est équipe d’un boîtier et de plusieurs capteurs connectés, ces boîtiers (28) communiquent avec des stations radiofréquences situées autour de la pelouse entre les spectateurs et l’aire de jeu. Les stations fixes faisant partie du réseau privé sont reliées par exemple par l’intermédiaire d’un réseau Ethernet à un deuxième réseau privé situé dans (30) relié typiquement aux camions servant à effectuer la production télévisuelle et qui collectent et contrôlent les caméras filmant un événement sportif. Ainsi les données issues des capteurs et issues des caméras peuvent être fusionnées (comme cela est effectué dans le Smartphone) pour créer les vidéos augmentées. Les réseaux privés (30) peuvent être reliés à un réseau Internet afin d’accéder à des serveurs ou plus simplement afin que l’ensemble puisse être contrôlé à distance. Dans une variante les données issues des capteurs sont transmises et stockées dans les serveurs (35), ces données sont ensuite récupérées par les camions servant à effectuer la production télévisuelle par le biais leur réseau privé. Les vidéos augmentées peuvent ainsi être crées.

Claims (18)

1. Dispositif de création de vidéos augmentées composé d’un cinéaste filmant à l’aide d’un Smartphone (ou d’un produit équivalent) et d’un sportif (ou de toute autre personne, animal ou objet en activité) portant sur lui un ensemble de capteurs recueillant des données, caractérisé par le fait que les capteurs transmettent par le biais d’une radiocommunication les données vers le Smartphone afin que celui-ci construise automatiquement des séquences vidéos incrustant des performances et métriques calculées à partir des données des capteurs. Les données issues des capteurs sont synchronisées temporellement avec la vidéo afin que les performances calculées soient incrustées dans la vidéo de façon synchrone temporellement avec celle-ci.

2. Dispositif de création de vidéos augmentées selon la revendication 1 caractérisé en ce que les séquences vidéo créées sont des séquences de ralenti adaptées à être stockées ou distribuées sur divers supports (télévision, tablette numérique, site web...).

3. Dispositif de création de vidéos augmentées selon la revendication 1 ou 2 caractérisé par le fait que le type de sport peut être connu afin d’effectuer des calculs de performances spécifiques au sport. Cette connaissance du sport est soit définie au préalable, avant l’enregistrement vidéo, ou est directement déterminé par un algorithme de reconnaissance gestuelle basé sur l’exploitation des données provenant des capteurs.

4. Dispositif de création de vidéos augmentées selon la revendication 1 ou 2 caractérisé en ce que certains paramètres sont connus afin d’effectuer des calculs de performances dépendants de l’utilisateur: poids, taille, mensurations plus détaillées (longueur des bras, des jambes, position du centre de gravité), performances déjà atteintes pour le ou les sports considérés. Ces paramètres sont accessibles par le Smartphone, car stockés localement directement dans le Smartphone ou stockés dans un serveur distant situé au sein d’un réseau de télécommunication accessible par le Smartphone.

5. Dispositif de création de vidéos augmentées selon la revendication 1 ou 2 caractérisé par le fait que l’instant où l’enregistrement de la vidéo débute et est stoppé est contrôlé par le Cinéaste ou par le sportif lui-même à l’aide d’un système de télécommande à distance utilisant les mêmes moyens de radiocommunication que pour la transmission des données issus des capteurs.

6. Dispositif de création de vidéos augmentées selon les revendications 1 ou 2 caractérisé par le fait qu’à l’issue de l’enregistrement de la vidéo augmentée les données suivantes sont récupérées: • Les données de vidéo + les données brutes issues des capteurs (accélération, vitesse de rotation, orientation, pression atmosphérique... enregistrés aux instants d’échantillonnage du temps) • Les données de vidéo + les performances générales ou spécifiques à un sport donné calculées à partir des données des capteurs.

7. Dispositif de création de vidéos augmentées suivant la revendication 6 caractérisé par le fait que les données citées en revendication 6 sont utilisées par un algorithme de sélection des «moments forts» de la séquence vidéo. Ces «moments forts» correspondent aux phases où certaines performances sont les plus élevées (accélération – après suppression de l’accélération terrestre – par exemple). L’algorithme est chargé de découper le temps en segments de l’ordre de 2 secondes (paramétrable en fonction du sport) et de rechercher les performances maximales afin de déterminer les séquences temporelles correspondant aux «moments forts».

8. Dispositif selon la revendication 7 caractérisé par le fait que le nombre de séquences de «moments forts» est paramétrable.

9. Dispositif selon l’une des revendication 1 à 8 caractérisé par le fait que sur la base des «moments forts» ainsi déterminés divers effets seront incrustés au sein de la vidéo: vitesse, accélération, hauteur d’un saut, temps passé en dehors du contact avec le sol, puissance, effets visuels divers (halo lumineux), ajout d’un message texte, ajout d’une message vocal, modification de la scène pour ajouter une foule applaudissant... succession de photos, photo au pic d’activité.

10. Dispositif selon l’une des revendications 1 à 9 caractérisé par le fait que la génération automatique peut être assistée par le cinéaste qui pourra définir des réglages sur mesure: nombre de vidéos à générer, hauteur du saut, puissance développée... Ce paramétrage sera effectué par le biais d’un menu expert.

11. Dispositif selon l’une des revendications 1 à 10 caractérisé par le fait que les données citées en revendication 6 ainsi que les séquences de vidéos augmentées seront accessibles avec des droits différents afin de pouvoir monétiser leur accès par exemple.

12. Dispositif selon l’une des revendications 1 à 11 caractérisé en ce que le rythme du ralenti est dépendant de celui des paramètres de performance (module de l’accélération par exemple). Ainsi quand l’accélération est importante le nombre d’images par seconde est réduit afin de pouvoir mieux visualiser l’évolution du sportif, à l’opposé quand l’accélération est réduite le nombre d’images par seconde est augmenté.

13. Dispositif selon l’une des revendications 1 à 12 caractérisé par le fait que tout au long de l’enregistrement de la séquence vidéo, les valeurs maximales (le nombre est paramétrable, typiquement 5) de certaines performances sont actualisées ainsi que les instants correspondant que nous nommons «marqueur temporel». Durant la séquence vidéo une mise à jour de ces performances et marqueurs temporel est effectués et stockée dans la mémoire du Smartphone. Ainsi à l’issue de l’enregistrement de la séquence vidéo les 5 «moments forts» sont directement connus et permettent ainsi de repérer les segments les plus intéressants de la séquence vidéo.

14. Dispositif selon la revendication 13 caractérisée en ce que les «moments forts» sont constitués par des segments de séquences vidéo centrés sur les marqueurs temporels et s’étalant sur une durée totale typique de 2 secondes.

15. Dispositif selon les revendications 13 à 14 caractérisé par le fait que le traitement est accéléré car il ne se focalise que sur les «moments forts»: Le ralenti ainsi que tous les effets tels que l’ajout de texte, l’incrustation de données de performance, l’ajout d’un message vocal, la création d’une photo au pic de performance ne sont réalisés que sur les zones intéressantes afin de produire au plus vite la vidéo augmentée qui sera visualisée par le cinéaste ou partagée avec son entourage.

16. Dispositif selon les revendications 1 ou 2 pour lequel la synchronisation temporelle entre le terminal enregistrant la vidéo et les données des capteurs est effectuée de façon indirecte. Cette méthode indirecte consiste à afficher de façon temporaire un motif à l’aide de del. Ce motif est alors filmé par le terminal enregistrant la vidéo et un traitement effectué à posteriori permettra d’effectuer la synchronisation (par exemple en connaissant la date à laquelle le motif cesse de s’éclairer et en détectant cette disparition dans l’image filmée).

17. Dispositif selon les revendications 1 à 16 présentant 3 modes de fonctionnement distincts: Un mode «temps réel», un mode «temps différé» et un mode «mixte»

18. Dispositif selon les revendications 1 ou 2 mettant en œuvre un modèle de consommation implanté dans la mémoire du microprocesseur du capteur. Ce modèle de consommation permet en permanence de savoir s’il est plus intéressant d’un point de vue énergétique d’effectuer les calculs à bord du capteur ou de façon déportée dans le Smartphone.