FR2891071A1 - Procede et systeme pour generer une animation visuelle a partir d'informations stockees dans une base de donnees multimedia. - Google Patents

Abstract

Procédé pour générer une animation visuelle à partir d'informations stockées dans une base de données multimédia (2), comprenant :- une étape pour extraire de la base de données multimédia (2) des données telles que des images et/ou des séquences vidéo préalablement annotées par des attributs dotés de propriétés, selon des règles associées à un modèle de composition,- une étape pour appliquer des transformations aux données extraites en vue de leur présentation selon le modèle de composition, et- une étape pour présenter les données transformées, sur un équipement de visualisation (5), sous la forme d'une composition (4) correspondant au modèle.

Description

Procédé et système pour générer une animation visuelle à partir

d'informations stockées dans une base de données multimédia

La présente invention concerne un procédé pour générer une animation visuelle 5 à partir d'informations stockées dans une base de données multimédia. Elle vise également un système mettant en ceuvre le procédé selon l'invention.

Il existe actuellement une demande croissante pour des outils permettant de générer des animations visuelles à partir de documents photos ou vidéos. Les outils actuellement disponibles sur le marché présentent une ergonomie insuffisante pour les rendre utilisable par le plus grand nombre et une complexité dissuasive.

On connaît ainsi des systèmes d'édition et de visualisation d'événements temporels tel que celui divulgué dans le document US 5,513,306. On connaît aussi, notamment par le document US 5,963, 670 des procédés pour classer et identifier des images, employant un modèle de classe défini par une ou plusieurs relations relatives entre des groupes d'images. Les relations relatives décrivent l'organisation globale des images au sein d'une classe d'images. Le document US 6,549,660 divulgue un système de traitement d'image agencé pour générer un modèle de classe par identifiant de relations relatives entre différentes propriétés de différentes régions d'image, ce système de traitement d'image comprenant un partiteur de région, un processeur de relation, un générateur de modèle (template) et un détecteur d'image.

Le but de la présente invention est de remédier aux limitations des outils existants en proposant un nouveau procédé de génération d'animation visuelle adapté aux performances actuelles des systèmes d'information.

Cet objectif est atteint avec un procédé pour générer une animation visuelle à partir d'informations stockées dans une base de données multimédia, comprenant: - une étape pour extraire de ladite base de données multimédia des données, telles que des images et/ou des séquences vidéo, préalablement annotées par des attributs dotés de propriétés, selon des règles associées à un modèle de composition, - une étape pour appliquer des transformations aux données extraites en vue de leur présentation selon ledit modèle de composition, et - une étape pour présenter lesdites données transformées, sur un équipement de visualisation, sous la forme d'une composition correspondant audit modèle.

Le procédé de génération d'animation selon l'invention fournit ainsi à un utilisateur de tout équipement informatique relié à une base de données multimédia, l'outil nécessaire pour réaliser, sans complexité technologique, une composition de documents multimédia selon un modèle que cet utilisateur pourra choisir parmi un nombre prédéterminé de modèles.

Avec le procédé de génération selon l'invention, une base de données annotée est utilisée pour générer des visuels selon un thème bien défini, qui utilise à la fois des image, des vidéos, du texte et un système performant d'annotation pour créer du contenu qui a du sens.

Cette création de contenu peut avantageusement comprendre: une phase de sélection d'images et/ou de séquences vidéo au moyen d'un moteur de recherche; une phase de transformation de ces images et/ou séquences vidéo; et une phase de construction d'un texte accompagnant la composition réalisée à partir de ces images et/ou séquences vidéo transformées selon un modèle préalablement sélectionné.

Avec le procédé de génération selon l'invention, il devient possible de construire des histoires en exploitant le réseau d'annotations d'une base d'images/films, et d'utiliser la nature composite des attributs d'annotation pour créer de l'information.

Il faut souligner que la technique d'annotation d'informations ou de documents contenus dans une base de données multimédia est déjà connue, notamment par le document WO 00/54168 A2 qui met en oeuvre des données d'annotation comprenant un phonème et une structure de mot permettant une recherche rapide de documents contenues dans une base de données.

On peut aussi prévoir que le procédé de génération selon l'invention comprenne en outre une étape pour ajouter des titres dynamiques à la composition.

Un modèle de composition implémenté dans le procédé de génération selon l'invention peut être décrit à l'aide de trois composants: - un composant d'extraction, pour extraire les données de la base multimédia selon des règles propres au modèle, - un composant de traitement, pour appliquer des transformations aux données extraites en vue de leur présentation, - un composant de rendu, pour représenter sur un équipement de visualisation les données transformées, en appliquant des effets.

Un composant de traitement peut être prévu pour créer des mosaïques à partir d'images extraites de la base multimédia, tandis qu'un composant de rendu peut être prévu pour gérer une présentation.

Le procédé de génération selon l'invention peut être avantageusement agencé pour créer une composition centrée autour d'une personne, une composition centrée autour d'un événement ou une composition centrée autour d'un lieu.

Suivant un autre aspect de l'invention, il est proposé un système pour générer une animation visuelle, à partir d'informations stockées dans une base de données multimédia contenant des images et/ou séquences vidéo annotées par des attributs dotés de propriétés, mettant en oeuvre le procédé de génération selon l'invention, caractérisé en ce qu'il comprend: - un module de visualisation contenant un modèle décrivant une composition et des règles utilisées pour extraire de la base de données les informations à visualiser, - et des moyens d'interface-utilisateur agencés pour permettre à un utilisateur de configurer ladite composition.

Ce système de génération d'animation selon l'invention peut être réalisé sous la forme d'un ensemble d'équipements matériels génériques ou dédiés, incluant par exemple une unité centrale, une unité de stockage d'information et un dispositif de visualisation. Ces équipements peuvent être soit intégrés, soit localisés, soit encore distants et communiquant via un ou plusieurs réseaux de communication.

D'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée d'un mode de mise en oeuvre nullement limitatif, et des dessins annexés sur lesquels: - la figure 1 illustre schématiquement un système de visualisation selon l'invention; et - La figure 2 illustre schématiquement les trois composants décrivant le modèle mis en oeuvre dans le procédé de visualisation selon l'invention; On va maintenant décrire, en référence aux figures précitées, la structure et l'organisation interne d'un système de génération selon l'invention, en même temps que le procédé de génération mis en oeuvre dans ce système.

Un système 1 de génération d'animation selon l'invention comprend, en référence à la figure 1, une base de données multimédia 2 connectée à un module de visualisation 3 configuré pour générer une composition 4 qui peut être visualisée sur un équipement de visualisation ou d'affichage 5 et/ou stockée dans des moyens de sauvegarde 6.

Le module de visualisation 3 génère automatiquement des animations telle que des diaporamas (en anglais: slideshows) ou des animations graphiques (motion graphics) appelées ici compositions, en utilisant des informations stockées dans une base de données multimédia. Les données contenues dans la base de données multimédia peuvent inclure: É des vidéos, É des images (snapshots) prises à intervalle réguliers dans les vidéos: en effet, chaque vidéo est échantillonnée pour produire un ensemble d'échantillons utilisés pour construire une planche contact, É des photos, provenant de la base de données, ou bien provenant d'autres applications de catalogage de photos, l'accès à ces applications tierces étant possible par l'intermédiaire de logiciels d'interface de type plug-in , É des métadonnées extraites automatiquement des vidéos au moment de leur catalogage, comme la date de capture ou d'acquisition de la séquence vidéo, É des annotations qui peuvent être: o soit de type TEXTE: des notes, un titre, des mots clé, o soit d'un type composé appelé "attribut": soit de type divers: un classement (de 0 à 5), des indicateurs de type booléens (image bougée, image floue, pas assez de lumière, trop de lumière,...) A titre d'exemple, un attribut peut être une Personne, ou un Lieu, ou un Evènement. La différence entre un attribut et un type TEXTE réside en ce que l'attribut a lui même des propriétés (une Personne a un nom, un prénom, une date de naissance, un email, des préférences,....) Ainsi en annotant une vidéo avec l'attribut "Paul Davies", on attache toutes les propriétés de Paul Davies à ce clip: exemple, si le clip a été filmé en 2005 et que Paul Davies est né en 1960, l'annotation du clip revient à dire que Paul Davies avait 45 ans au moment où les images ont été prises. Cette possibilité de déduire des informations via les propriétés des attributs qui ont servi à annoter est au coeur de l'invention. En effet, les visuels créés vont utiliser ces informations déduites pour organiser les différentes étapes du visuel, et pour ajouter des titres dynamiques.

Les compositions sont générées selon des modèles, ou templates . Ces modèles décrivent l'animation en tant que telle (graphisme, mouvement, typographie) ainsi que les règles utilisées pour extraire les informations à afficher de la base de données.

En référence à la figure 2, chaque modèle de composition peut être décrit à l'aide de trois composants: - un composant d'extraction, qui a pour fonction d'extraire les données de la base multimédia (images, vidéos, annotations, métadonnées) selon des règles propres au modèle, - un composant de traitement, qui a pour fonction d'appliquer des transformations aux données extraites en vue de leur présentation, par exemple un composant prévu pour créer des mosaïques à partir d'images préalablement extraites, - un composant de rendu, qui a pour fonction de représenter à l'écran les données transformées en appliquant des effets ou une typographie, et qui gère également la présentation, par exemple la façon dont est affiché un texte au côté d'une image.

Le module de visualisation 3 présente une architecture permettant d'accueillir de nouveaux modèles sous la forme de modules plug-in bien connus en technologies de l'information. Le module plug-in contient alors le modèle ainsi que des parties d'interface utilisateur affichées à l'utilisateur pour la configuration de la composition.

On va maintenant décrire le fonctionnement et l'utilisation du procédé de génération selon l'invention. Le module de visualisation est mis oeuvre par un utilisateur de la façon suivante: - l'utilisateur de la base de données multimédia définit un périmètre de recherche.

Ce périmètre définit l'ensemble des vidéos qui vont participer au visuel; - l'utilisateur active le module de visualisation, par une sélection et une commande l'intérieur même d'une application de catalogage; l'utilisateur choisit ensuite son modèle (par exemple People's Life: la vie des gens) parmi les choix proposés sur l'interface graphique du module de visualisation; - le choix du modèle entraîne l'affichage d'une interface de configuration adaptée au modèle; ainsi le choix du modèle People's Life entraîne l'affichage d'un ensemble d'options possibles (choix de la personne, affichage de rage, etc.) ; l'utilisateur peut ensuite appuyer sur un bouton de commande 'Play' pour visualiser sa composition: ceci va lancer le processus d'extraction, de traitement puis de rendu.

Une visualisation en plein écran est aussi possible. Enfin, l'utilisateur peut sauver sa composition. Cette dernière peut-être transformée en Economiseur d'écran, en fichier vidéo, ...

Les annotations mises en oeuvre dans le procédé de génération selon l'invention peuvent être représentées comme des connexions entre des objets. Le réseau de ses connexions permet de générer du texte. Ainsi, si on relie: É Date: 1/8/2004 É Durée É Nom: Paul Davies É Né: 14/8/1960 É Adresse: Londres II est alors possible de générer une information contextuelle pour ce clip sous la forme Paul Davies 44 ans Si on rajoute des liens: É Date: 1/8/2004 É Durée On génère alors une information contextuelle sous la forme: 5 Paul Davies 44 ans 4ème jour du Voyage à Paris On va maintenant donner quelques exemples caractéristiques d'utilisation du procédé de génération d'animation selon l'invention.

Dans un premier exemple appelé la vie des gens , le modèle mis en oeuvre permet de créer des compositions autour d'une personne, ou d'un groupe de personnes. L'extraction va consister à rechercher les images annotées avec une personne particulière, à les classer par ordre chronologique, puis à les présenter à l'utilisateur par intervalles de temps. L'age de la personne pourra être indiqué s'il est connu. Les Lieux et Evénements associés aux images seront aussi affichés. Les images de la base de données peuvent être assemblées en une mosaïque pour une période de temps.

Dans un seconde exemple intitulé Les choses que nous avons faites , la composition est centrée autour de la notion d'événement. L'utilisateur choisit un périmètre de son catalogue et la composition va extraire tous les évènements dans le périmètre et afficher dans une animation le titre de l'événement, la date, puis des images correspondantes.

Dans un troisième exemple intitulé Les lieux où nous sommes allés , une animation est centrée sur la notion de lieux, avec visualisation sur une carte des lieux où les clips ont été filmés si des informations de localisation (latitude, longitude) sont disponibles.

É Nom: Voyage a Paris É Début: 29/7/2004 É Fin: 15/8/2004 É Nom: Paul Davies É Né: 14/8/1960 É Adresse: Londres Au-delà des catégories d'annotation qui viennent d'être décrites, on pourra envisager bien d'autres catégories. Ainsi des surfeurs peuvent créer une catégorie 'Figure', ou une catégorie 'Style' pour décrire leurs acrobaties. Des alpinistes peuvent avoir une catégorie 'Voie' pour décrire une voie empruntée pour escalader un sommet, Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention.

Ainsi, bien d'autres annotations que celles qui viennent d'être décrites peuvent être prévues dans la base de données multimédia. D'autres modèles de composition peuvent être proposés. L'agencement des interfaces graphiques Utilisateur peut être quelconque sans limiter la portée de l'invention.

Le procédé de génération selon l'invention peut être implémenté sur tout système d'information existant ou spécifique pourvu que celui-ci procure une base de données multimédia ou soit connecté à une base de données distante.

On peut aussi envisager une présentation de données en relation avec un fonds cartographique. - 8

Claims (11)

REVENDICATIONS

1. Procédé pour générer une animation visuelle à partir d'informations stockées dans une base de données multimédia (2), comprenant: - une étape pour extraire de ladite base de données multimédia (2) des données telles que des images et/ou des séquences vidéo, préalablement annotées par des attributs dotés de propriétés, selon des règles associées à un modèle de composition, - une étape pour appliquer des transformations aux données extraites en vue de leur présentation selon ledit modèle de composition, et - une étape pour présenter lesdites données transformées, sur un équipement de visualisation (5), sous la forme d'une composition (4) correspondant audit modèle.

2. Procédé selon la revendication 1, caractérisé en ce qu'il comprend en outre une étape pour ajouter des titres dynamiques à la composition (4).

3. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce qu'un modèle est décrit à l'aide de trois composants: - un composant d'extraction, pour extraire les données de la base multimédia (2) selon des règles propres au modèle, - un composant de traitement, pour appliquer des transformations aux données extraites en vue de leur présentation, -un composant de rendu, pour représenter sur un équipement de visualisation les données transformées, en appliquant des effets.

4. Procédé selon la revendication 3, caractérisé en ce qu'un composant de traitement est prévu pour créer des mosaïques à partir d'images extraites de la base multimédia (2).

5. Procédé selon l'une des revendications 3 ou 4, caractérisé en ce qu'un composant de rendu est prévu pour gérer une présentation.

6. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il est agencé pour créer une composition (4) autour d'une personne.

7. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il est agencé pour créer une composition (4) centrée autour d'un événement.

8. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il est 40 agencé pour créer une composition (4) centrée autour d'un lieu. - 9

9. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il est agencé pour créer une composition (4) en relation avec un fonds cartographique.

10. Système (1) pour générer une animation visuelle, à partir d'informations stockées dans une base de données multimédia (2) contenant des images et/ou séquences vidéo annotées par des attributs dotés de propriétés, mettant en oeuvre le procédé de génération selon l'une des revendications précédentes, caractérisé en ce qu'il comprend: - un module de visualisation (3) contenant un modèle décrivant une composition (4) 10 et des règles utilisée pour extraire de la base de données (2) les informations à visualiser, - et des moyens d'interface-utilisateur agencés pour permettre à un utilisateur de configurer ladite composition (4).

11. Système (1) selon la revendication 10, caractérisé en ce que le module de visualisation (3) comprend des moyens pour décrire un modèle à l'aide de trois composants: - un composant d'extraction, pour extraire les données de la base multimédia (2) selon des règles propres au modèle, - un composant de traitement, pour appliquer des transformations aux données extraites en vue de leur présentation, - un composant de rendu, pour représenter à l'écran les données transformées en appliquant des effets.