FR2864858A1 - Dispositif et procede de creation de condenses de documents multimedias - Google Patents

Abstract

L'invention concerne un dispositif (1) et un procédé de création de condensés (6) de documents multimédias (7), le dispositif (1) comprenant un moyen de stockage (5) et des moyens (2) permettant à un utilisateur de visualiser un document multimédia (7).Selon l'invention, le dispositif (1) comprend- des moyens (3) de pondérer automatiquement des documents multimédias (7) enregistrés dans le moyen (5) de stockage en fonction de la fréquence de visualisation par ledit utilisateur des différents documents enregistrés (7),- des moyens de créer un condensé (6) des documents multimédias (7) enregistrés sur le moyen de stockage (5) en fonction de la pondération affectée à chaque document multimédia (7).

Description

L'invention concerne un dispositif et une méthode de création de condensés

de documents multimédias.

Le contexte de la présente invention est celui des serveurs multimédias domestiques, et de façon générale de tous appareils susceptibles de visualiser des émissions audiovisuelles reçues d'un réseau de diffusion. De nos jours, un utilisateur d'un tel équipement peut obtenir de grandes quantités d'informations audiovisuelles. Il a donc peu de temps à consacrer à chaque émission et préfère souvent les survoler en visualisant un résumé. De plus, un utilisateur a souvent des préférences quant au type de programme multimédia qu'il regarde. Dès lors qu'il souhaite consulter les programmes enregistrés sur son serveur, il est donc intéressé par pouvoir visualiser une séquence de programmes proposée automatiquement par son serveur multimédia en fonction de ses goûts et si possible, dans un premier temps, des condensés de ces programmes. Ceci lui permet ensuite, à partir du condensé, de choisir de visualiser un programme tout entier.

De plus, des émissions telles que des matchs de football comportent des moments plus intéressants que d'autres, les buts par exemple ou les meilleures actions. Un utilisateur disposant de peu de temps peut désirer ne voir qu'un résumé composé des séquences les plus intéressantes. Les diffuseurs de programmes de télévision peuvent émettre des résumés multimédias correspondant à certaines émissions qu'ils diffusent. Ces résumés sont par exemple, les bandes annonce des films diffusés. Mais cela impose au diffuseur de constituer les dits résumés et ne correspond pas toujours aux attentes des utilisateurs.

Le document video personalization system for usage environment publié dans la revue proceedings of the SPIE- The international Society for Optical Engineering , dans le volume 4862, pages 249-260, publié en 2002, propose un système de personnalisation permettant à un utilisateur de formuler une requête à un serveur de façon à recevoir un document multimédia. L'utilisateur doit transmettre au serveur ses préférences en matière de type de contenu. L'utilisateur transmet ses préférences au serveur qui en retour lui renvoie des condensés des documents qu'il possède en adéquation avec les préférences de l'utilisateur.

Un tel système ne permet pas de créer de façon automatique les condensés mais nécessite une interaction de l'utilisateur et s'adresse principalement à des dispositifs client-serveurs.

Un des buts de la présente invention est de pouvoir fournir à l'utilisateur possédant une bibliothèque de documents multimédia des résumés d'émissions audiovisuelles de façon automatique en fonction de ses goûts.

A cet effet, la présente invention propose un dispositif de création de condensés de documents multimédias comprenant un moyen de stockage et des moyens permettant à un utilisateur de visualiser un document multimédia, Selon l'invention, le dispositif comprend: - des moyens de pondérer automatiquement des documents multimédias enregistrés dans le moyen de stockage en fonction de la fréquence de visualisation par ledit utilisateur des différents documents enregistrés, - des moyens de créer un condensé des documents multimédias enregistrés sur le moyen de stockage en fonction de la pondération affectée à chaque document multimédia.

Ainsi, l'utilisateur ne transmet pas ses préférences au dispositif. Ses préférences sont espionnées par le dispositif en fonction des accès effectués aux documents enregistrés. De cette manière, le dispositif crée automatiquement les condensés des documents enregistrés en fonction des accès effectués aux documents et donc des documents préférés puisqu'un utilisateur accède plus fréquemment aux documents qu'il préfère et accède rarement aux documents qu'il n'aime pas.

Selon un mode de réalisation préféré, les moyens de créer un condensé des documents multimédia enregistrés créent un condensé pour les documents dont le coefficient de pondération est supérieur à un seuil prédéterminé.

De cette manière, il est possible de créer un condensé pour les documents les plus accédés. Ceci peut permettre de gagner de la place sur le moyen de stockage en évitant de créer des condensés pour les documents peu accédés.

Selon un mode de réalisation préféré, à chaque document multimédia étant associé un type relatif au contenu dudit document, ledit dispositif comporte des moyens de pondérer les documents selon leur type.

Ceci peut permettre de pondérer des documents qui ne sont pas accédés mais dont le type est le même que celui d'autres documents qui ont été accédés. De cette manière, il n'est pas nécessaire d'accéder à tous les documents pour les pondérer. Ils sont pondérés en fonction de l'accès à des documents du même type.

Selon un mode de réalisation préféré, le dispositif comporte des moyens de - découper chaque document multimédia en scènes, - pondérer chaque scène dudit document multimédia, Préférentiellement, les moyens de créer un condensé des documents multimédia créent un condensé en fonction de la pondération affectée à chaque scène dudit document.

Ainsi, l'utilisateur se verra proposer des condensés contenant les scènes les plus importantes du document. Avantageusement, les scènes les plus importantes seront représentées par des durées plus longues que les scènes les moins significatives.

Selon un mode de réalisation préféré, les moyens de créer un condensé des documents multimédia enregistrés adaptent la durée du condensé en fonction de la pondération affectée à chaque document et à chaque scène des documents.

L'invention est également relative à un procédé de création de condensés de documents multimédia dans un dispositif comportant un moyen de stockage, ledit procédé comportant les étapes de - visualisation permettant à un utilisateur de visualiser un document multimédia, pondération des documents multimédias enregistrés dans le moyen de stockage en fonction de la fréquence de visualisation des différents documents par ledit utilisateur, - création d'un condensé des documents multimédia enregistrés sur le moyen de stockage en fonction de la pondération affectée à chaque document.

L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en oeuvre avantageux, nullement limitatifs, en référence aux figures annexées sur lesquelles: la figure 1 représente un dispositif de création de condensés de documents multimédias selon l'invention, la figure 2 représente un mode de réalisation d'un procédé selon un mode de réalisation de l'invention prenant en compte les préférences de l'utilisateur à différents stades de la création du condensé.

Un dispositif 1 de création de condensés selon un mode préféré de réalisation est décrit en figure 1.

Le dispositif 1 comporte un moyen de visualisation 2 représenté classiquement par un écran de téléviseur.

Le téléviseur 2 permet à un utilisateur de visualiser le contenu enregistré sur le moyen 5 de stockage. Le moyen 5 de stockage est un disque dur mais peut également être un DVD, un disque optique, un CDROM réinscriptible ou tout moyen de stockage permanent.

Le disque dur 5 permet d'enregistrer des contenus reçus par l'intermédiaire d'une antenne satellite 9, ou par voie terrestre dans d'autres modes de réalisation. Il permet également d'enregistrer des documents multimédia reçus par d'autres voies, non représentées sur la figure 1, en étant connecté à d'autres moyens de communication tel internet. Le disque dur 5 est connecté au téléviseur 2 par l'intermédiaire d'un lien 8 qui peut être un bus de communication classique ou tout autre moyen de connexion connu de l'homme du métier. De manière préférentielle, les moyens 5, 3 et 4 sont contenus dans un dispositif de type décodeur numérique ( set-top box en anglais). Les modules représentés sont des unités fonctionnelles, qui peuvent ou non correspondre à des unités physiquement distinguables. Par exemple, ces modules ou certains d'entre eux peuvent être regroupés dans un unique composant, ou constituer des fonctionnalités d'un même logiciel. A contrario, certains modules peuvent être éventuellement composés d'entités physiques séparées.

Le disque dur 5 comprend en outre des documents multimédia 7 et des 15 condensés 6 des documents multimédia 7.

Le dispositif 1 comporte également des moyens 3 de pondération, reliés à un module de création de condensés 4.

Les moyens 3 de pondération sont branchés sur le bus de communication entre le téléviseur 2 et le disque dur 5. Les moyens de pondération observent les communications entre le téléviseur 2 et le disque dur 5. Ceci permet de connaître le type de programme visualisé par l'utilisateur et d'établir une liste ordonnée des programmes multimédias regardés. Ceci permet donc de connaître de façon automatique les préférences de l'utilisateur. Les moyens 3 de pondération se basent sur les données véhiculées sur le bus pour connaître les fichiers accédés. Les moyens 3 de pondération peuvent également, dans d'autres modes de réalisation, se baser sur des informations présentes sur le disque dur 5, ou par l'intermédiaire d'un système de gestion de fichiers non représenté ( file system en anglais) pour établir des statistiques des accès effectués sur les fichiers enregistrés.

Les moyens 3 de pondération effectuent une première pondération des documents 7 en fonction de la fréquence d'accès aux documents 7 enregistrés sur le disque dur 5. Chaque document multimédia 7 présent sur le disque dur peut être classé selon un type particulier. En effet, il peut s'agir d'un documentaire, d'un événement sportif, d'un film, d'une émission de variété, d'un journal d'information...Les documents enregistrés peuvent donc être classés dans des catégories représentatives chacune d'un type. Le classement dans les différentes catégories est fait de façon manuelle par l'utilisateur lorsqu'il décide d'enregistrer un document multimédia sur le disque dur 5. Le dispositif 1 lui demande, par l'intermédiaire d'une interface utilisateur disponible sur le téléviseur 2, d'affecter son document à une catégorie.

Dans d'autres modes de réalisation, le classement peut également être fait de façon automatique si les programmes reçus contiennent une information permettant leur caractérisation. Ceci est possible notamment dans le cadre du standard DVB SI (acronyme anglais de Digital Video Broadcast ), un champ étant disponible représentatif du contenu du document.

Les documents d'un même type sont également classés en sous-types de la manière suivante. Les documents sportifs sont classés selon les sports, football, tennis, gymnastique, athlétisme...Les films sont classés en fonction des acteurs qui y jouent ou en fonction d'un genre (violence, comique...)...Un tel classement peut également être effectué de manière manuelle ou alors de manière automatique comme indiqué précédemment pour le classement en types.

Par type, on entend donc une décomposition selon un ou plusieurs niveaux de hiérarchie, des documents du même type (événements sportifs, films, documentaires) pouvant être ensuite encore classés dans des souscatégories en fonction de leur contenu propre.

Le moyen 3 effectue des statistiques sur les types de document accédés par l'utilisateur. II établit ainsi une pondération des documents présents sur le disque dur 5. Si l'utilisateur accède fréquemment à des matchs de football, alors les matchs de football auront une pondération forte.

S'il accède peu aux documentaires, alors les documentaires se verront attribuer une pondération faible.

Les documents multimédias 7 présents dans le dispositif 1 sont alors pondérés automatiquement et dynamiquement en fonction de l'utilisateur. Il est également possible dans d'autres modes de réalisation d'identifier l'utilisateur et d'associer une pondération différente aux documents multimédias 7 suivant l'utilisateur courant, tous les utilisateurs ayant des préférences différentes.

Les moyens 3 de pondération effectuent également une seconde pondération des documents multimédias 7 enregistrés sur le disque dur 5.

Les documents multimédia 7 enregistrés sont de manière préférée segmentées en plans (ou scènes). Une méthode de segmentation en plans est divulguée dans le brevet français déposé le 17 avril 2000 au nom de la société Thomson Licensing S.A et intitulé procédé de détection de changement de plans dans une succession d'images vidéo .

Certains documents comportent des scènes caractéristiques plus intéressantes pour l'utilisateur. Ceci se révèle particulièrement pertinent dans le cadre de programmes sportifs où les points marqués sont les temps forts d'un match. Les moyens de pondération pondèrent donc chaque scène en fonction de son importance. Cette pondération peut également prendre en compte les préférences de l'utilisateur. Effectivement, certains utilisateurs peuvent, dans un film par exemple, préférer les scènes de violence et certains préférer les scènes plus calmes.

Pour ce faire, les moyens 3 de pondération analysent la manière dont l'utilisateur visualise les documents contenus sur le disque dur 5, les documents ayant été préalablement segmenté en plans comme décrit précédemment. En effet, si l'utilisateur utilise le mode avance rapide sur certains types de scènes, ceci signifie qu'il considère ces scènes comme étant d'importance faible alors que s'il les visualise en mode normal ou ralenti (comme c'est le cas dans les matchs de football par exemple) ce sont des scènes importantes pour lui.

Dans un autre mode de réalisation, les moyens 3 de pondération se basent également sur des modes de visualisation tels qu'avance en mode normal, avance rapide, ralenti, non pas à partir des modes de visualisation de l'utilisateur mais en fonction de ce qui est enregistré dans le disque dur 5. En effet, les diffuseurs transmettent, en général, au moins pour les événements sportifs, les temps forts de l'événement, en mode ralenti et les images en mode ralenti sont donc enregistrées avec les images en mode normal sur le disque dur 5.

Dans un autre mode de réalisation, une interface utilisateur non représentée peut être ajoutée sur le dispositif 1 et permettre à l'utilisateur de pondérer chaque scène qu'il visualise.

Le module 3 de pondération transmet au module 4 de création de condensés, les coefficients de pondération. Le module 4 de création de condensés reçoit en outre les documents multimédia 7. II élabore les condensés 6 en fonction des coefficients de pondération de chaque document 7 et de chaque scène du document.

Le module 4 prend en compte les premiers coefficients de pondération pour calculer la longueur du condensé 6. Si les coefficients de pondération sont élevés, alors le condensé sera de longueur supérieure.

Le module 4 crée des condensés 6 uniquement pour les documents 7 pour lesquels les coefficients de pondération ne sont pas nuls. Il ne crée pas de condensés pour les documents 7 d'un type qui n'est jamais accédé par l'utilisateur.

Dans d'autres modes de réalisation, il est également possible de générer des condensés pour tous les documents 7 enregistrés sur le disque dur 5 ou pour les documents 7 dont la pondération est supérieure à un seuil prédéterminé.

Le module 4 de création de condensés agit au fur et à mesure des documents 7 enregistrés sur le disque dur 5. Lors de l'enregistrement d'un nouveau document multimédia 7 sur le disque dur 5, le module 3 de pondération lui affecte une pondération en fonction de son type et des pondérations affectées au document du même type. Si ce document est d'un nouveau type, type ne correspondant à aucun document enregistré sur le disque dur 5, alors le module 3 de pondération lui affecte une pondération nulle. La pondération affectée à ce document sera modifiée en fonction des accès faits par l'utilisateur ou à tout autre document du même type nouvellement enregistré ou à ce document. Effectivement si ce document est un document fétiche de l'utilisateur, alors ce documents se verra attribuer une pondération supérieure aux autres documents du même type. La pondération est donc faite en fonction des documents du même type mais surtout de l'accès au document lui-même.

Il est également possible, dans d'autres modes de réalisation, de créer les condensés à la demande de l'utilisateur. Ceci permet de ne pas encombrer le disque dur 5. L'utilisateur transmet alors une requête au dispositif 1 demandant des condensés, en ne spécifiant pas ce qu'il souhaite. Le dispositif 1 lui transfère alors des condensés en fonction de la pondération affectée aux différents documents, les condensés ayant été préalablement généré ou étant générés lors de la requête.

L'utilisateur utilise les condensés construits par le module 4 de création des condensés pour visualiser rapidement le contenu de son disque dur 5. II peut également visualiser les scènes importantes du dernier match de football qu'il a regardé. De cette manière, il obtient des condensés adaptés à ses préférences.

La figure 2 représente les différentes possibilités de prendre en compte les préférences de l'utilisateur et décrivent un exemple de réalisation du procédé selon l'invention.

Les préférences de l'utilisateur peuvent intervenir comme indiqué lors de la description de la figure 1 sur la création des condensés d'une sélection de programmes enregistrés ou sur tous les programmes enregistrés. En effet, il est avantageux de ne créer des condensés que pour les documents qui sont potentiellement accédés par l'utilisateur, identifiés par leur appartenance à un type de documents fréquemment utilisés.

Les préférences de l'utilisateur peuvent également intervenir lors d'une estimation de l'importance des plans qui prendront part au condensé 6. Les moyens 3 de pondération décrits en figure 1 prennent en compte les plans représentant des moments importants pour l'utilisateur ou caractéristiques pour le type de programme, par exemple un but pour un match de football.

Les préférences de l'utilisateur peuvent également intervenir au niveau de la création du condensé lui-même comme indiqué lors de la description des moyens 2 de pondération dans la figure 1. Les moyens 2 de pondération prennent en compte les préférences de l'utilisateur en pondérant les documents enregistrés dans le disque dur 5 en fonction de la fréquence d'accès à ces documents et à des documents du même type. Ainsi les plans sont concaténés et leur durée est ajustée en fonction des préférences de l'utilisateur.

Lors de l'étape El, le dispositif sélectionne les documents 7 pour lesquels un condensé 6 est crée. Comme indiqué précédemment, le dispositif mettant en oeuvre le procédé ne crée des condensés que pour les documents dont le coefficient de pondération est non nul, donc pour les documents intéressants potentiellement l'utilisateur.

Les étapes E2 à E5 sont effectuées pour chaque document sélectionné lors de l'étape El.

Ensuite, lors de l'étape E2, les documents sont découpés en plans 15 selon les méthodes décrites précédemment lors de la description de la figure 1.

Lors de l'étape E3, les plans sont identifiés par rapport à une structure de référence connue par ailleurs et liée à la nature du document traité. Par exemple, si un document est identifié comme étant un match de tennis, la structure théorique du match de tennis est recalée automatiquement sur le document, chaque portion du document étant alors associé à une scène de référence. L'ensemble des modèles de structure de référence est stocké de façon permanente sur le disque dur 5 ou peut être chargé sur un serveur à la demande via l'utilisation d'une liaison internet. Une méthode permettant de reconnaître la structure d'un document vidéo et plus particulièrement la structure d'un événement sportif sont exposées dans l'article de L. Xie, S-F Chang, A. Divakaram, H. Sun "Structure analysis of soccer video with hidden Markov models", Proc. of the Intl. Conf. on Acoustic, Speech and Signal Processing, Orlando, FL, USA, May 13- 17, 2002. Chacune des classes jeu et non jeu y est modélisée par un ensemble de modèles de Markov Cachés.

Lors de l'étape E4, les plans sont pondérés en fonction de l'importance qu'ils ont pour l'utilisateur. Les chiffres indiqués sur la figure 2 correspondent à la pondération affectée à chaque plan du document vidéo sélectionné.

Lors de l'étape E5, les plans dont la pondération est supérieure à un certain seuil, sont sélectionnés. Le procédé concatène les plans sélectionnés et élabore le condensé en fonction des plans sélectionnés et des coefficients de pondération des plans sélectionnés. Les plans dont les coefficients de pondération sont élevés ont une durée plus importante que les plans dont la pondération est faible, c'est-à-dire que l'on garde plus d'images des plans ayant un coefficient de pondération élevé que des plans ayant un coefficient de pondération faible.

Claims (8)

Revendications

1. Dispositif (1) de création de condensés (6) de documents multimédias (7) comprenant un moyen de stockage (5) et des moyens (2) permettant à un utilisateur de visualiser un document multimédia, caractérisé en ce qu'il comprend - des moyens (3) de pondérer automatiquement des documents (7) multimédias enregistrés dans le moyen (5) de stockage en fonction de la fréquence de visualisation par ledit utilisateur des différents documents (7) enregistrés, - des moyens (4) de créer un condensé (6) des documents multimédias (7) enregistrés sur le moyen (5) de stockage en fonction de la pondération affectée à chaque document multimédia (7).

2. Dispositif selon la revendication 1 caractérisé en ce que les moyens (4) de créer un condensé des documents multimédias (7) enregistrés créent un condensé (6) pour les documents multimédias (7) dont le coefficient de pondération est supérieur à un seuil prédéterminé.

3. Dispositif selon l'une des revendications précédentes caractérisé en ce que, à chaque document multimédia (7) étant associé un type relatif au contenu dudit document (7), ledit dispositif (1) comporte des moyens (3) de pondérer les documents selon leur type.

4. Dispositif selon l'une des revendications précédentes caractérisé en ce qu'il comporte des moyens de - découper chaque document multimédia (7) en scènes, - pondérer (3) chaque scène dudit document multimédia (7),

5. Dispositif selon la revendication 4 caractérisé en ce que les moyens (4) de créer un condensé des documents multimédia (7) créent un condensé (6) en fonction de la pondération affectée à chaque scène dudit document multimédia (7).

6. Dispositif selon l'une des revendications précédentes caractérisé en ce que les moyens (4) de créer un condensé (6) des documents multimédias (7) adaptent la durée du condensé en fonction de la pondération affectée à chaque document et à chaque scène des documents multimédias (7) enregistrés.

7. Dispositif selon l'une des revendications précédentes caractérisé en ce qu'il comporte des moyens d'enregistrer les condensés dans les moyens de stockage (5).

8. Procédé de création de condensés de documents multimédia dans un dispositif comportant un moyen de stockage (5), comportant une étape de visualisation permettant à un utilisateur de visualiser un document multimédia, ledit procédé étant caractérisé en ce qu'il comprend les étapes de: - pondération (E4) automatique des documents multimédias enregistrés dans le moyen de stockage (5) en fonction de la fréquence de visualisation des différents documents (7) par ledit utilisateur, création d'un condensé (6) des documents multimédia (7) enregistrés sur le moyen de stockage (5) en fonction de la pondération affectée à chaque document multimédia (7).