FR2728089A1 - Procede et appareil pour la commande de synchronisation d'objets multimedia dans un moteur mheg - Google Patents

Procede et appareil pour la commande de synchronisation d'objets multimedia dans un moteur mheg Download PDF

Info

Publication number
FR2728089A1
FR2728089A1 FR9513922A FR9513922A FR2728089A1 FR 2728089 A1 FR2728089 A1 FR 2728089A1 FR 9513922 A FR9513922 A FR 9513922A FR 9513922 A FR9513922 A FR 9513922A FR 2728089 A1 FR2728089 A1 FR 2728089A1
Authority
FR
France
Prior art keywords
action
information
presentation
mheg
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR9513922A
Other languages
English (en)
Other versions
FR2728089B1 (fr
Inventor
Jin Suk Kim
Sung Been Cho
Hae Won Lee
Byeung Won Jin
Sung Yul Park
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of FR2728089A1 publication Critical patent/FR2728089A1/fr
Application granted granted Critical
Publication of FR2728089B1 publication Critical patent/FR2728089B1/fr
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

La présente invention est relative à un traitement d'informations à supports multiples, ou multimédia dans un moteur MHEG. Ce moteur comprend un décodeur ASN.1 (100), un processeur de mappage (200), une bibliothèque de classes MHEG (300), une table d'éléments (400), une table d'états (500), une table de liens (600), une table de consultation (700), un contrôleur de synchronisation (800), un serveur de présentation (900), un module de traitement d'action (1000) et se caractérise en ce que le contrôleur de synchronisation (800) comprend une interface d'utilisateur, un processeur de borne de temps, un processeur de liens, un processeur d'action, une pluralité de canaux pour transférer les informations de blocs correspondantes audit serveur de présentation (900) à l'instant de début de bloc.

Description

La présente invention concerne d'une manière générale un traitement d'informations à supports multiples, ou multimédia, et plus particulièrement un procédé et un appareil pour la commande de synchronisation d'objets multimédia dans un moteur MHEG.
Le terme "multimédia" désigne d'une manière générale l'intégration d'informations, telles que des données de texte, audio, vidéo, graphiques et audio/visuelles, dans un même environnement numérique. L'expression "présentation multimédia" désigne le traitement de données multimédia, créées en temps réel ou stockées dans un dispositif de mémoire, et leur présentation sous une forme qui peut être perçue par une personne. Pour transmettre efficacement les significations incluses dans des données multimédia, on a besoin d'une technique spéciale qui peut représenter et traiter les informations concernant les relations temporelles ou spatiales entre les données de média. Cette technique spéciale est appelée "synchronisation".Il y a deux types de synchronisation, à savoir une synchronisation temporelle et une synchronisation spatiale, qui représentent les relations temporelles et spatiales entre les données de média, respectivement.
Le traitement de combinaison de façon temporelle et spatiale des données de média individuelles est également nécessaire pour présenter différents types de données de média. Ce traitement de combinaison est appelé "composition de média". Deux types de compositions de média sont connus dans l'art. L'un est la "composition temporelle" et l'autre est la "composition spatiale". On utilise la composition temporelle pour définir l'ordre de présentation parmi les données de média, de sorte que des données de média concernées dans une séquence de présentation peuvent être présentées successivement ou parallèlement d'une manière synchronisée. On utilise la composition spatiale pour combiner ensemble les données de média dans un espace prévu pour la présentation à mesure que le temps passe.
MHEG (Multimedia and Hypermedia Information
Coding Expert Group) est une norme internationale pour la présentation de données multimédia qui sera confirmée dans le proche avenir par ISO/IEC (International Organization for Standardization/International Electrotechnical Commission), qui est l'organisation internationale de normalisation dans le domaine des télécommunications. Conformément à MHEG, les "objets" sont définis comme des données multimédia et utilisés pour des données multimédia, sur la base du paradigme relatif aux objets. Le moteur MHEG est un moteur de présentation configuré de sorte que des données multimédia représentées dans un format MHEG peuvent être interprétées et synchronisées pour être présentées dans le même format qui a été prévu par le producteur des informations initiales.La synchronisation utilisée dans le moteur MHEG comprend des synchronisations temporelle, spatiale, conditionnelle, de système et d'écriture, parmi lesquelles la synchronisation conditionnelle mérite une attention particulière. La synchronisation conditionnelle effectue la commande de synchronisation au moment de la présentation d'une manière telle que la conduite ou le déroulement de l'action suivante peut être exécuté lorsque l'état de présentation par le moteur MHEG satisfait aux conditions prévues par le producteur du scénario initial.
La synchronisation conditionnelle permet également un traitement interactif entre un utilisateur et le moteur MHEG.
Les méthodes de commande de synchronisation multimédia connues jusqu'à présent comprennent un modèle utilisant un Calcul de Système de Communication (CCS) de
Milner, des modèles utilisant un Collage de Temps et une
Hiérarchie d'Objets, un modèle à Réseau de Petri de Composition d'Objet (OCPN) basé sur un Réseau de Petri, un modèle à Réseau de Petri Temporisé Dynamique (DTPN), un modèle à Réseau de Pétri de Composition d'Objet Etendu (XOCPN) et un modèle à Arbre de Relation de Synchronisation (SRT) utilisant une structure arborescente. Toutefois, toutes ces méthodes présentent un inconvénient en ce qu'elles ne peuvent pas commander une présentation synchronisée et elles ne réussissent pas à traduire effectivement la relation temporelle, la relation spatiale, la relation de volume audio, etc., qui sont complexes.De plus, dans ces méthodes, le traitement interactif n'est pas permis puisque la compression et l'expansion des données de média, le changement de position pour présentation, le figeage, la reprise, le changement d'échelle de vitesse et les présentations opposée et inversée ne peuvent pas être effectués dynamiquement en réponse à une entrée faite par l'utilisateur pendant la présentation.
Il existe donc depuis longtemps un besoin dans l'art pour un procédé et un appareil de prise en charge d'applications multimédia dans lesquelles des données multimédia doivent être présentées par l'intermédiaire d'une interaction fréquente avec l'utilisateur.
Un objet de l'invention est donc de procurer un procédé et un appareil pour la commande de synchronisation d'objets multimédia, qui peuvent commander la synchronisation conditionnelle , temporelle et spatiale dans un moteur MHEG créé pour exécuter les fonctions définies par les normes internationales.
Un autre objet de l'invention est de procurer un procédé et un appareil perfectionnés pour la commande de synchronisation d'objets multimédia, qui peuvent exécuter la présentation synchronisée par combinaison des données de média nécessaires à la présentation d'informations multimédia, et qui permettent l'interactivité entre l'utilisateur et le moteur MHEG en ce que l'entrée d'utilisateur peut être traitée pendant la présentation.
Conformément à un aspect de la présente invention, on obtient un appareil pour la commande de synchro nisation d'objets multimédia, qui convertit les informations décodées en une structure de données interne pour stocker celle-ci dans une bibliothèque de classes, dans une forme d'objet. Ensuite, l'appareil analyse les objets pour commander la synchronisation des données multimédia dans le moteur MHEG comportant diverses tables.
Conformément à un autre aspect de la présente invention, on obtient un procédé pour la commande de synchronisation d'objets multimédia qui comprend les étapes d'examen des clauses conditionnelles dans une table de liens afin d'extraire un déroulement d'action à exécuter ensuite, et ensuite de transfert du déroulement d'action extrait à un processeur d'action lors de l'apparition d'un évènement, de synchronisation des informations multimédia pour chacun d'une pluralité de canaux associés par exécution du déroulement d'action transféré par ladite étape d'extraction, et de présentation des informations multimédia par transfert de celles-ci à un serveur de présentation en séquence sur la base des informations de synchronisation relatives aux blocs ou trames de données dans les canaux, entrées par ladite étape de synchronisation.
Outre les dispositions qui Précèdent, l'invention comprend encore d'autres dispositions qui ressortiront de la description qui va suivre.
L'invention sera mieux comprise à l'aide du complément de description ci-après, qui se réfère aux dessins annexés dans lesquels
la figure 1 est un schéma de principe du moteur
MHEG
la figure 2 est un schéma de principe détaillé du contrôleur de synchronisation conforme aux enseignements de la présente invention
la figure 3 est un organigramme d'une procédure de synchronisation de canal dans le contrôleur de synchronisation de la figure 2 ; et
la figure 4 est un organigramme d'une procédure de synchronisation de trame dans les canaux qui font partie du contrôleur de synchronisation de la figure 2.
Il doit être bien entendu, toutefois, que ces dessins et les parties descriptives correspondantes sont données uniquement à titre d'illustration de l'objet de l'invention, dont ils ne constituent en aucune manière une
limitation.
On se reporte maintenant à la figure 1 qui est un schéma de principe du moteur MHEG. Comme représenté sur la figure 1, le moteur MHEG comprend essentiellement un décodeur ASN.1 (Abstract Syntax Notation/One) 100 pour lire un flux de données incluant des informations codées d'objet MHEG, à partir d'un dispositif de stockage, afin de les convertir en la structure définie dans ASN.1, un processeur de mappage 200 pour convertir les données décodées en la structure de données interne à utiliser dans le moteur MHEG afin de stocker ladite structure dans une bibliothèque de classes MHEG 300 et pour créer une table de consultation 700 de sorte qu'on peut accéder en temps réel aux informations multimédia utilisées dans un processeur d'action, une bibliothèque de classes MHEG 300 contenant les informations d'objet MHEG converties en la structure de données interne, une table d'éléments 400 contenant une adresse d'un autre élément d'objet MHEG qui est inclus dans l'objet MHEG et qui est lié à la présentation, une table d'états 500 pour représenter l'état de traitement de l'objet MHEG à présenter, une table de liens 600 contenant des clauses conditionnelles et des adresses des objets MHEG associés à ces conditions de sorte que, si une condition particulière est satisfaite, l'objet MHEG associé peut être ensuite présenté, une table de consultation 700 pour relier les adresses relatives utilisées dans le processeur d'action avec les adresses physiques d'emplacements où sont stockés des objets d'informations physiques, un contrôleur de synchronisation 800 pour commander la synchronisation des informations d'objet MHEG suivant une liste des informations d'objet MHEG avec les clauses conditionnelles associées à ces objets qui sont satisfaites et avec des instructions d'action correspondantes à exécuter, un serveur de présentation 900 pour recevoir des informations de présentation fournies par le contrôleur de synchronisation 800 afin de présenter les informations multimédia, et un module de traitement d'action 1000 pour stocker des modules de programme à exécuter par les instructions d'action.
La figure 2 est unschémade principe détaillé du contrôleur de synchronisation conforme aux enseignements de la présente invention. Le contrôleur 800 comprend une interface d'utilisateur 801 pour recevoir une entrée d'utilisateur pendant la présentation multimédia, afin de changer des états d'interaction dans la table d'états 500, permettant ainsi un traitement interactif, un processeur de borne ou limite de temps 803 pour changer un état de borne de temps dans la table d'états 500 à un instant de démarrage de canal précédemnent stocké par une horloge de borne de temps 804 avec des instants prédéterminés d'excitation de canal, chaque canal correspondant à différentes informations de média, et pour engendrer un évènement de borne de temps 805, un processeur de liens 807 pour vérifier si les clauses conditionnelles 601 dans la table de liens 600 sont ou non satisfaites avec référence aux valeurs contenues dans la table d'états 500, lors de la génération d'un évènement d'action 806, qui est engendré après exécution d'un déroulement d'action, de l'évènement de borne de temps 805 ou d'un évènement d'interaction 802, et pour transférer une liste 602 d'instructions d'action associées aux clauses conditionnelles satisfaites et une liste des données d'objet MHEG au processeur d'action 808, le processeur d'action 808 pour engendrer l'évènement d'ac tion 806 après exécution du déroulement d'action, écrire l'instant de démarrage de canal dans le processeur de borne de temps 803 afin d'exécuter les actions reçues du processeur de liens 807, et créer des unités d'informations de présentation 810aa-810nk pour chacun d'une pluralité de canaux 809a-809n, chaque canal ayant des informations multimédia, et une pluralité de canaux 809a-809n pour transférer les informations de bloc ou trame de présentation correspondantes au serveur de présentation 900, à l'instant de début de bloc, par l'opération d'horloges de canal 811a-811n, les temps pour la synchronisation des blocs dans la pluralité de canaux 809a-809n étant prédéterminés.
On décrit maintenent en détail le fonctionnement du contrôleur 800. L'interface d'utilisateur 801 peut recevoir une entrée d'utilisateur, pendant la présentation multimédia, pour effectuer un traitement interactif.
L'interface d'utilisateur 801 change les états d'interaction dans la table d'états 500 et génère l'évènement d'interaction 802. Le processeur de borne de temps 803 change les états de borne de temps dans la table d'états 500, à l'instant de démarrage de canal préalablement stocké par la commande de l'horloge de borne de temps 804 pour l'excitation des canaux, et il engendre l'évènement de borne de temps 805. Lorsque l'évènement d'action 806, qui est engendré après exécution du déroulement d'action, l'évènement de borne de temps 805 ou l'évènement d'interaction 806 est engendré, le processeur de liens 807 examine si les clauses conditionnelles 601 contenues dans la table de liens 600 sont satisfaites avec référence aux valeurs contenues dans la table d'états 500.Ensuite, le processeur de liens 807 transfère la liste 602 d'instructions d'action associées aux clauses conditionnelles satisfaites et la liste des données d'objet MHEG au processeur d'action 808. Le processeur d'action 808 écrit l'instant de démarrage de canal dans le processeur de borne de temps 803 afin d'exécuter les actions reçues du processeur de liens 807, ou bien il crée les unités d'informations de présentation 810aa-810nk pour chacun de la pluralité de canaux 809a-809n, pour utilisation dans la présentation, par exemple, de données de texte, graphiques,d'image fixe audio, vidéo, audio-visuelles, etc.Les données stockées dans les unités d'informations de présentation 810aa810nk comprennent des informations liées à un bloc ou trame, qui sont des données multimédia à présenter par le serveur de présentation 900, par exemple une Adresse de Bloc (FA), un Instant de Début de Bloc (FST), un Instant de Fin de
Bloc (FET), un Espace de Bloc (FS), un Volume de Bloc (FV), une Vitesse de Présentation de Bloc (FPS), etc. Chacun de la pluralité de canaux 809a-809n permet l'exécution de la présentation par transfert des informations de bloc ou de trame correspondantes au serveur de présentation 900,à l'instant de début de bloc,par la commande d'horloges de canal 811a-811n, les temps pour la synchronisation des blocs de la pluralité de canaux 809a-809n étant préréglés.
On décrit maintenant en détail la procédure exécutée dans le contrôleur 800, avec référence à la figure 3. Lorsque le contrôleur 800 est prêt à effectuer la présentation initiale, pour commencer son fonctionnement à une étape S1, il vérifie si un quelconque de l'évènement d'action 806, de l'évènement d'interaction 802 et de l'évènement de borne de temps 805 est engendré, à une étape
S2. Si aucun évènement n'est engendré, le contrôleur 800, après attente jusqu'à ce que l'évènement de borne de temps 805 soit engendré par le processeur de borne de temps 803, change l'état de borne de temps dans la table d'états 500 et exécute à nouveau l'étape S2, à une étape S3. Si au moins un évènement est engendré , le contrôleur 800 vérifie s' il y a ou non une clause conditionnelle satisfaite dans la table de liens 600, à une étape S4.S'il n'y a pas de clause conditionnelle satisfaite à l'étape S4, le contrôleur 800 exécute à nouveau l'étape S2. Dans le cas contraire, le contrôleur 800 initialise le paramètre "i' à 1, à une étape S5. Ensuite, le contrôleur 800 vérifie si la iième action dans la liste d'actions 602 est nulle, à une étape S6, pour engendrer l'évènement d'action 806, il change l'état d'action dans la table d'états 500 et il exécute à nouveau l'étape S2 lorsque le résultat de la vérification est affirmatif, à une étape S7. Si la iième action dans la liste d'actions 602 n'est pas nulle, le contrôleur 800 vérifie si la ileme action est l'action qui établit les informations de bloc de présentation dans les canaux 809a-809n,
ième à une étape S8.Si la ileme action est "l'action d'établis- sement d'informations de bloc", le contrôleur 800 établit les informations de synchronisation du bloc en relation à l'action correspondante dans le canal correspondant et il change l'état d'action dans la table d'états 500, à une étape S9. Par contre, si la i ième action dans la liste d'actions 602 n'est pas l'action d'établissement d'informations de bloc, le contrôleur 800 vérifie si la iième action est l'action qui établit l'instant de démarrage de canal dans la borne de temps (TS), à une étape S10. Si la
s ileme action est "l'action d'établissement d' informations de borne de temps" , le contrôleur 800 établit les informations d'instant de démarrage du canal correspondant dans la borne de temps et il change l'état d'action dans la
ième table d'états 500, à une étape S11. Si la i action dans la liste d'actions 602 n'est pas l'action d'établissement d'informations de borne de temps, le contrôleur 800 véri fie Si la i ième action est "l'action dtéxécution, à une ième étape S12. Si on détermine à l'étape S12 que la i ac- tion est l'action d'exécution, le contrôleur 800 excite le canal correspondant, à une étape S13, et il change l'état d'action dans la table d'états 500, à une étape S14.Par contre, Si la iième action n'est pas l'action d'exécution, le contrôleur 800 examine si c'est "l'action d'arrêt", à une étape S15. Si on détermine à l'étape S15 que la iième action est l'action d'arrêt, le contrôleur 800 arrête la présentation du bloc correspondant du canal correspondant et change l'état d'action dans la table d'états 500, à une étape S16.
Après exécution des étapes S9, Sll,S14 et S16, le paramètre "i" est incrémenté de 1 à une étape S17 et on répète la procédure à partir de l'étape S6. Si la blême action dans la liste d'actions 602 n'estpasl'action d'arrêt, le contrôleur 800 détermine si c'est "l'action de préparation", à une étape S18. Si on détermine à l'étape
ieme
S18 que la i action n'est pas l'action de préparation, le contrôleur 800 exécute le sous-programme de traitement d'erreur et termine le fonctionnement du moteur MHEG à ieme une étape S19.D'autre part, si la i action est l'ac- tion de préparation, à une étape S20, le contrôleur 800 entre l'objet MHEG venant du dispositif de stockage dans le moteur MHEG, il stocke les informations obtenues par analyse- des objets dans la table d'éléments 400, la table de liens 600 et la table de consultation 700, etc., il change l'état d'action dans la table d'états 500, il engendre l'évènement d'action 806 et il exécute l'étape
S2. Lorsque l'utilisateur demande l'interruption (entrée d'utilisateur) dans le but de modifier la présentation, le contrôleur 800 change l'état d'interaction dans la table d'états 500, il engendre l'évènement d'interaction 802 et il exécute l'étape S2 pour permettre le traitement de la demande d'utilisateur, à une étape S21.
On explique maintenant en détail la procédure de synchronisation de bloc, avec référence à la figure 4.
Si l'ordre est donné d'exciter le canal correspondant à l'étape S13 de la figure 3, le contrôleur 800 stocke, à une étape S1301, le nombre d'unités d'informations de présentation (PIU) dans le canal, sous la forme du paramè tre "j", et affiche l'instant de début de bloc (FST) des unités d'informations de présentation (PIU) dans chaque canal, sur l'horloge de canal (CT), à une étape 51302.
Ensuite, le contrôleur 800 examine si le paramètre j est 0 à une étape S1303. Si le paramètre j est 0, le contrôleur 800 efface le canal à une étape S1304 et termine l'excitation du canal correspondant, à une étape S1305. Si le paramètre j n'est pas 0, le contrôleur 800 vérifie, au moyen de l'horloge de canal (CT) 811a-811n,si le paramètre j est l'instant de début de bloc (FST) à une étape
S1306. Si le paramètre j n'est pas l'instant de débit de bloc (FST) à l'étape S1306, le contrôleur 800, après attente jusqu'à ce que le paramètre j devienne l'instant de début de bloc (FST), transfère les informations de bloc correspondantes au serveur de présentation 900 de façon à déclencher la présentation, à une étape S1307. Ensuite, le paramètre j est décrémenté de 1, c'est-à-dire à j = j - 1, et on répète la procédure de l'étape S1303 à l'étape S1308.
Comme décrit ci-dessus, le moteur MHEG conforme à la présente invention représente des informations sur support unique ou mono media, telles que des informations de texte, d'image fixe, graphiques, audio, vidéo, audio/ visuelles, qui constituent une présentation multi média, comme objets. Conformément à la présente invention, la représentation effective de la relation temporelle, de la relation spatiale, de la relation de volume audio, etc., qui sont complexes, entre les objets peut être obtenue grâce à l'utilisation du contrôleur de synchronisation dans le moteur MHEG, ce qui facilite la commande de la présentation synchronisée et permet de traiter une entrée de l'utilisateur pendant la présentation.
Ainsi que cela ressort de ce qui précède, l'in- vention ne se limite nullement à ceux de ses modes de réalisation et d'application qui viennent d'être décrits de fa çon plus explicite ; elle en embrasse au contraire toutes les variantes qui peuvent venir à l'esprit du technicien en la matière sans s'écarter du cadre ni de la portée de la présente invention.

Claims (9)

REVENDICATIONS
1.- Moteur MHEG pour la présentation d'informations multimédia d'une manière synchronisée, comprenant
un décodeur ASN.1 (100) pour extraire un flux de données, incluant des informations d'objet MHEG codées, à partir d'un dispositif de stockage, afin de les convertir en la structure définie dans ASN.l
un processeur de mappage (200) pour convertir les données décodées en la structure de données interne à utiliser dans ledit moteur MHEG, afin de la stocker dans une bibliothèque de classes MHEG, et pour créer une table de consultation de sorte qu'on peut accéder en temps réel aux données multimédia utilisées dans un processeur d'action
une bibliothèque de classes MHEG (300) contenant les informations d'objet MHEG converties en la structure de données interne
une table d'éléments (400) contenant une adresse d'un autre élément d'objet MHEG qui est inclus dans l'objet MHEG et en relation avec la présentation représentée
une table d'états (500) pour représenter l'état de traitement de l'objet MHEG à présenter
une table de liens (600) contenant des clauses conditionnelles des objets MHEG qui peuvent être présentés et les adresses des objets MHEG associés à ces clauses
une table de consultation (700) pour relier les adresses relatives utilisées dans le processeur d'action avec les adresses physiques d'emplacements où sont stockés des objets d'informations physiques
un contrôleur de synchronisation (800) pour examiner les clauses conditionnelles dans la table de liens et pour commander la synchronisation des informations d'objet MHEG suivant une liste des informations d'objet MHEG avec la clause conditionnelle associée à ces objets qui est satisfaite et des instructions d'action correspondantes à exécuter
un serveur de présentation (900) pour recevoir des informations de présentation fournies par ledit contrôleur de synchronisation, afin de présenter les informations multimédia ; et
un module de traitement d'action (1000) pour stocker des modules de programme à exécuter par les instructions d'action caractérisé en ce que ledit contrôleur de synchronisation comprend
une interface d'utilisateur (801) pour recevoir une entrée d'utilisateur pendant la présentation multimédia , de sorte qu'un traitement interactif peut être effectué, et pour engendrer un évènement d'interaction(802)
un processeur de borne de temps (803) pour changer un état de borne de temps dans la table d'états à un instant de démarrage de canal précédemment stocké, et pour engendrer un évènement de borne de temps (805)
un processeur de liens (807) pour déterminer si les clauses conditionnelles (601) dans la table de liens sont satisfaites avec référence aux valeurs contenues dans la table d'états, lors de la génération d'un évènement d'action (806), qui est engendré après exécution d'un déroulement d'action, de l'évènement de borne de temps ou de l'évènement d'interaction, et pour transférer une liste (602) d'instructions d'action associées aux clauses conditionnelles satisfaites et une liste des informations d'objet MHEG au processeur d'action
un processeur d'action (808) pour engendrer l'évènement d'action après exécution du déroulement d'action dans ledit processeur de liens, écrire l'instant de démarrage de canal dans ledit processeur de borne de temps afin d'exécuter les actions reçues en provenance dudit processeur de liens, et créer une pluralité d'unités d'informations de présentation (810aa-810nk) à présenter pour chacun d'une pluralité de canaux, chaque canal ayant des informations multimédia ; et
une pluralité de canaux (809a-809n), pour transférer les informations de bloc correspondantes audit serveur de présentation, à l'instant de début de bloc.
2.- Moteur MHEG suivant la revendication 1, caractérisé en ce que ledit processeur de borne de temps (803) est commandé par une horloge de borne de temps (804), les instants d'excitation de canal étant prédéterminés et chaque canal correspondant à des informations de média différentes.
3.- Moteur MHEG suivant la revendication 1, caractérisé en ce que chacun de ladite pluralité de canaux (809a-809n) comporte des minuteries de canal (811a-811n) pour transférer les informations de bloc correspondantes audit serveur de présentation (900) conformément aux instants prédéterminés.
4.- Moteur MHEG suivant la revendication 1, caractérisé en ce que lesdites unités d'informations de présentation (810aa-810nk) comprennent des informations relatives aux blocs, qui sont des données multimédia présentées par ledit serveur de présentation (900).
5.- Moteur MHEG suivant la revendication 4, caractérisé en ce que lesdites unités d'informations de présentation comprennent une Adresse de Bloc (FA), un
Instant de Début de Bloc (FST), un Instant de Fin de Bloc (FET), un Espace de Bloc (FS), un Volume de Bloc (FV) et une Vitesse de Présentation de Bloc (FPS).
6.- Procédé pour la commande de synchronisation d'objets multimédia dans un moteurMHEG prévu pour la présentation d'informations multimédia et qui comprend une table d'états pour représenter l'état de traitement d'objets MHEG afin de présenter les informations multimédia, une table de liens pour stocker des clauses conditionnelles qui permettent la présentation des objets MHEG et les adresses des objets MHEG associées à ces clauses, un serveur de présentation pour recevoir des informations de présentation fournies par un contrôleur de synchronisation afin de présenter les informations multimédia, caractérisé en ce qu'il comprend les étapes de
examen des clauses conditionnelles dans ladite table de liens pour extraire un déroulement d'action à exécuter ensuite, et transfert du déroulement d'action extrait à un processeur d'action, lors de l'apparition d'un évènement, lorsque le contrôleur de synchronisation commence son fonctionnement pour la présentation des informations multimédia dans le moteur MHEG
synchronisation des informations multimédia pour chacun des canaux associés, par exécution du déroulement d'action transféré par ladite étape d'examen ; et
présentation des informations multimédia par transfert de celles-ci audit serveur de présentation en séquence sur la base d'informations de synchronisation relatives aux blocs dans les canaux, entrées par ladite étape de synchronisation.
7.- Procédé suivant la revendication 6, caractérisé en ce que ladite étape d'examen des clauses conditionnelles comprend les étapes de
démarrage du fonctionnement du contrôleur de synchronisation lorsque le moteur MHEG est prêt à effectuer la présentation initiale (S1) ;
vérification de ce qu'au moins un d'un évènement d'action, d'un évènement d'interaction et d'un évènement de borne de temps est engendré lorsque le contrôleur de synchronisation commence son fonctionnement (S2) ;;
changement de l'état de la borne de temps dans la table d'états et exécution de ladite étape de vérification (S2) à nouveau, après attente jusqu'à ce que l'evène- ment de borne de temps soit engendré par un processeur de borne de temps, si aucun évènement n'est engendré (S3)
vérification de ce qu'il y a ou non une clause conditionnelle satisfaite parmi les clauses conditionnelles de la table de liens, si au moins un évènement est engendré (S4) ; et
exécution de ladite étape de vérification (S2) à nouveau, s'il n'y a pas de clause conditionnelle satisfaite, et initialisation d'un paramètre "i" à 1 s'il y a une clause conditionnelle satisfaite (S5).
8.- Procédé suivant la revendication 6, caractérisé en ce que ladite étape de synchronisation comprend les étapes de
ième
détermination de ce que la i action dans la liste d'actions est ou non nulle (S6)
génération de l'évènement d'action, changement de l'état d'action dans la table d'états, puis exécution de ladite étape de vérification (S2) à nouveau lorque le résultat de la détermination à l'étape S6 est affirmatif (S7)
ième
détermination de ce que la iième action de la liste d'actions est ou non l'action qui établit les infor ieme mations de bloc dans les canaux, si la ileme action n'est pas nulle (S8) ;;
établissement des informations de synchronisation du bloc en relation à l'action correspondante dans le canal correspondant, et changement de l'état d'action dans la table d'états, si la ième action est l'action d'établissement d'informations de canal (S9) ;
ième
détermination de ce que la iième action dans la liste d'actions est ou non l'action qui établit l'instant de démarrage de canal dans la borne de temps (TS),
s si la ième action n'est pas l'action d'établissement d'informations de canal (S10) ;;
établissement des informations d'instant de démarrage de canal correspondantes dans la borne de temps et changement de l'état d'action dans la table d'états, si la iième action est l'action d'établissement d'informations de borne de temps (511)
ième
détermination de ce que la ième action dans la
ieme liste d'actions est une action d'exécution, si la iième action n'est pas l'action d'établissement d'information de borne de temps (512)
excitation du canal correspondant, si la iième action est l'action d'exécution (S13)
changement de l'état d'action dans la table d'états (S14) ;;
ième
détermination de ce que la i action est
ième ou non une action d'arrêt, si la i action n'est pas l'action d'exécution (S15)
arrêt de la présentation du bloc correspondant dans le canal correspondant et changement de l'état d'action dans la table d'états, si la iième action est l'action d'arrêt (S16)
incrémentation du paramètre i de 1 et répétition à partir de ladite étape S6, après exécution des étapes
S9, S11, S14 et S16 (S17)
ième
détermination de ce que la i action dans la liste d'actions est une action de préparation, si la .ième ileme action n'est pas l'action d'arrêt (S18)
exécution du sous-programme de traitement d'erreur et terminaison de l'opération du moteur MHEG, si la iième action n'est pas l'action de préparation (S19)
entrée de l'objet MHEG, à partir du dispositif de stockage, dans le moteur MHEG, stockage des informations obtenues par analyse des objets dans la table d'éléments, la table de liens et la table de consutation, changement de l'état d'action dans la table d'états, génération de l'évènement d'action et exécution de ladite étape de
ième vérification (S2), si la ileme action est l'action de préparation (S20) ; et
changement de l'état d'interaction dans la table d'états, génération de l'évènement d'interaction et exécution de ladite étape de vérification (S2) de sorte qu'une instruction d'utilisateur peut être traitée lorsque l'uti- lisateur entre l'instruction d'utilisateur dans le but de changer l'état de présentation (S21).
9.- Procédé suivant la revendication 6, caractérisé en ce que ladite étape de présentation comprend les étapes de
stockage du nombre d'unités d'informations de présentation (PIU) dans le canal sous la forme du paramètre j, et affichage de l'instant de début de bloc (FST) des unités d'informations de présentation (PIU) de chaque canal sur l'horloge de canal (CT), conformément à l'instruction d'excitation de canal correspondant à ladite étape d'excitation (S13) (S1302)
détermination de ce que le paramètre j est ou non 0 (S1303)
effacement du canal, si le paramètre j est 0 (S1304)
terminaison de l'excitation du canal correspondant (S1305)
détermination, au moyen de l'horloge de canal (CT), de ce que le paramètre j est ou non l'instant de début de bloc (FST), si le paramètre j n' est pas 0 (S1306)
transfert des informations de bloc correspondantes au serveur de présentation de façon à déclencher la présentation après attente jusqu'à ce que le paramètre j devienne l'instant de début de bloc (FST), si le paramètre j n'est pas l'instant de début de bloc (FST) (S1307) ; et
décrémentation du paramètre j de 1 et répétition à partir de ladite étape S1303 (S1308).
FR9513922A 1994-12-13 1995-11-23 Procede et appareil pour la commande de synchronisation d'objets multimedia dans un moteur mheg Expired - Fee Related FR2728089B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019940033908A KR0138845B1 (ko) 1994-12-13 1994-12-13 엠핵(mheg)엔진에서의 멀티미디어 정보 동기 제어기 및 그 제어방법

Publications (2)

Publication Number Publication Date
FR2728089A1 true FR2728089A1 (fr) 1996-06-14
FR2728089B1 FR2728089B1 (fr) 1999-01-08

Family

ID=19401192

Family Applications (1)

Application Number Title Priority Date Filing Date
FR9513922A Expired - Fee Related FR2728089B1 (fr) 1994-12-13 1995-11-23 Procede et appareil pour la commande de synchronisation d'objets multimedia dans un moteur mheg

Country Status (3)

Country Link
US (1) US5748187A (fr)
KR (1) KR0138845B1 (fr)
FR (1) FR2728089B1 (fr)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997017775A1 (fr) * 1995-11-07 1997-05-15 Oy Nokia Ab Reception multimedia dans un systeme de radiodiffusion numerique
EP0830019A2 (fr) * 1996-09-11 1998-03-18 Matsushita Electric Industrial Co., Ltd. Dispositif pour l'affichage de données, dispositif pour la transmission d'information de commande de l'affichage et dispositif pour éditer ladite information
WO1998057273A1 (fr) * 1997-06-13 1998-12-17 Koninklijke Philips Electronics N.V. Systeme de communication ameliore
WO1999022563A2 (fr) * 1997-10-30 1999-05-14 Koninklijke Philips Electronics N.V. Procede de codage d'une presentation
WO2001001700A1 (fr) * 1999-06-29 2001-01-04 Nptv Procede de creation de bandeaux audiovisuels interactifs

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929850A (en) 1996-07-01 1999-07-27 Thomson Consumer Electronices, Inc. Interactive television system and method having on-demand web-like navigational capabilities for displaying requested hyperlinked web-like still images associated with television content
WO1998044717A2 (fr) * 1997-04-01 1998-10-08 Medic Interactive, Inc. Systeme d'elaboration automatique de programmes audiovisuels a partir d'une base de donnees de supports
US8386912B2 (en) * 1997-07-28 2013-02-26 Ca, Inc. Hypermedia document publishing including hypermedia document parsing
JP3606729B2 (ja) * 1997-12-10 2005-01-05 松下電器産業株式会社 リッチテキスト素材の表示方法及び映像情報提供システム
WO2000004676A1 (fr) * 1998-07-14 2000-01-27 Sony Corporation Procede de gestion de la transmission de donnees, procede de transmission de donnees, et emetteur et recepteur de donnees
JP4109772B2 (ja) 1998-12-03 2008-07-02 キヤノン株式会社 データ処理方法及びその装置
US6356950B1 (en) 1999-01-11 2002-03-12 Novilit, Inc. Method for encoding and decoding data according to a protocol specification
WO2000043999A2 (fr) * 1999-01-22 2000-07-27 Sony Electronics, Inc. Methode et appareil permettant de synchroniser la lecture de plusieurs types de support dans des reseaux aux caracteristiques de transmission differentes
WO2000064163A1 (fr) * 1999-04-16 2000-10-26 Sonicon, Inc. Systeme et procede de synchronisation de donnees entre des supports de radiodiffusion et internet
US9419844B2 (en) 2001-09-11 2016-08-16 Ntech Properties, Inc. Method and system for generation of media
US20060015904A1 (en) 2000-09-08 2006-01-19 Dwight Marcus Method and apparatus for creation, distribution, assembly and verification of media
CN1501267B (zh) * 2002-09-20 2010-05-12 富士施乐株式会社 链接信息制作设备、链接信息制作方法及文件处理系统
KR20040080736A (ko) * 2003-03-13 2004-09-20 삼성전자주식회사 인터랙티브 컨텐츠 동기화 장치 및 방법
AU2004254950A1 (en) 2003-06-24 2005-01-13 Ntech Properties, Inc. Method, system and apparatus for information delivery
EP1503299A1 (fr) * 2003-07-31 2005-02-02 Alcatel Une méthode, un système de communication hypermedia, un serveur hypermedia, un client hypermedia, et les produits logiciel informatiques pour accéder, distributer et présenter les documents hypermedia
WO2007039886A2 (fr) * 2005-10-06 2007-04-12 Beko Elektronik Anonim Sirketi Procede de formation d'une interface utilisateur
US7716232B2 (en) * 2006-04-10 2010-05-11 Flagpath Venture Vii, Llc. Devices, systems, and methods for producing and distributing multiple variations of an instance of a media presentation
US8145704B2 (en) 2007-06-13 2012-03-27 Ntech Properties, Inc. Method and system for providing media programming
US8037095B2 (en) * 2008-02-05 2011-10-11 International Business Machines Corporation Dynamic webcast content viewer method and system
US9398057B2 (en) * 2013-06-04 2016-07-19 Dropbox, Inc. System and method for group participation in a digital media presentation
US9407728B2 (en) 2013-11-08 2016-08-02 Dropbox, Inc. Content item presentation system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994023387A1 (fr) * 1993-03-31 1994-10-13 Kaleida Labs, Inc. Horloges synchronisees et lecteurs de supports d'informations
WO1994027234A1 (fr) * 1993-05-10 1994-11-24 Taligent, Inc. Systeme de synchronisation multimedia

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515490A (en) * 1993-11-05 1996-05-07 Xerox Corporation Method and system for temporally formatting data presentation in time-dependent documents
US5594911A (en) * 1994-07-13 1997-01-14 Bell Communications Research, Inc. System and method for preprocessing and delivering multimedia presentations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994023387A1 (fr) * 1993-03-31 1994-10-13 Kaleida Labs, Inc. Horloges synchronisees et lecteurs de supports d'informations
WO1994027234A1 (fr) * 1993-05-10 1994-11-24 Taligent, Inc. Systeme de synchronisation multimedia

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HORN F ET AL: "ON PROGRAMMING AND SUPPORTING MULTIMEDIA OBJECT SYNCHRONIZATION", COMPUTER JOURNAL, vol. 36, no. 1, 1 January 1993 (1993-01-01), pages 4 - 18, XP000360261 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997017775A1 (fr) * 1995-11-07 1997-05-15 Oy Nokia Ab Reception multimedia dans un systeme de radiodiffusion numerique
EP0830019A2 (fr) * 1996-09-11 1998-03-18 Matsushita Electric Industrial Co., Ltd. Dispositif pour l'affichage de données, dispositif pour la transmission d'information de commande de l'affichage et dispositif pour éditer ladite information
EP0830019A3 (fr) * 1996-09-11 1999-02-10 Matsushita Electric Industrial Co., Ltd. Dispositif pour l'affichage de données, dispositif pour la transmission d'information de commande de l'affichage et dispositif pour éditer ladite information
US6223347B1 (en) 1996-09-11 2001-04-24 Matsushita Electric Industrial Co., Ltd. Data display control apparatus
EP1517560A1 (fr) * 1996-09-11 2005-03-23 Matsushita Electric Industrial Co., Ltd. Dispositif pour la transmission d'information de commande d'affichage
WO1998057273A1 (fr) * 1997-06-13 1998-12-17 Koninklijke Philips Electronics N.V. Systeme de communication ameliore
WO1999022563A2 (fr) * 1997-10-30 1999-05-14 Koninklijke Philips Electronics N.V. Procede de codage d'une presentation
WO1999022563A3 (fr) * 1997-10-30 1999-08-12 Koninkl Philips Electronics Nv Procede de codage d'une presentation
US7051272B1 (en) 1997-10-30 2006-05-23 Koninklijke Philips Electronics N.V. Method for coding a presentation utilizing a sub-presentation having an independent play-out specification
WO2001001700A1 (fr) * 1999-06-29 2001-01-04 Nptv Procede de creation de bandeaux audiovisuels interactifs
FR2795901A1 (fr) * 1999-06-29 2001-01-05 Nptv Procede de creation de bandeaux audiovisuels interactifs

Also Published As

Publication number Publication date
US5748187A (en) 1998-05-05
KR0138845B1 (ko) 1998-06-01
FR2728089B1 (fr) 1999-01-08
KR960025149A (ko) 1996-07-20

Similar Documents

Publication Publication Date Title
FR2728089A1 (fr) Procede et appareil pour la commande de synchronisation d'objets multimedia dans un moteur mheg
EP1194843B1 (fr) Systeme de developpement rapide d'applications interactives
US20060274835A1 (en) Method and apparatus for coding information
FR2863127A1 (fr) Procedes et dispositifs pour la delivrance asynchrone de donnees numeriques
EP1952636A1 (fr) Procede d'optimisation de rendu d'une scene multimedia, programme, signal, support de donnees, terminal et procede de reception correspondants
EP1255409A1 (fr) Conversion d'un format BIFS textuel vers un format BIFS binaire
FR2826748A1 (fr) Description d'une interface applicable a un objet informatique
EP1696670A2 (fr) Signal de données de modification d'une scène graphique, procédé et dispositif correspondants
FR2893470A1 (fr) Procede et dispositif de creation d'une sequence video representative d'une sequence video numerique et procedes et dispositifs de transmission et reception de donnees video associes
US9047913B2 (en) Media bundle overlays
FR2898707A1 (fr) Procede, dispositif et systeme de gestion d'informations structurees au sein d'une scene graphique
CN113542764A (zh) 视频快速启播方法、装置、电子设备及计算机可读介质
FR2842623A1 (fr) Procede de traduction d'un message d'un premier langage de balisage dans un second langage de balisage
CN111130977B (zh) 数据处理、封装、输出方法和装置,存储介质和电子设备
EP1762068B1 (fr) Procede d'edition de pages multimedia aupres d'un terminal,avec pre-memorisation de parametres d'objets intervenant dans les scenes
FR2842058A1 (fr) Procede de restitution d'un flux de donnees multimedia sur un terminal client, dispositif, systeme et signal correspondants
EP4346216A1 (fr) Gestion de la lecture d'un contenu multimédia
FR3124344A1 (fr) Procédé de gestion d’accès à des contenus téléchargés en mode de téléchargement adaptatif.
EP0431699A1 (fr) Procédé et dispositif de décodage d'images animées
WO2009004254A2 (fr) Adaptation du format d'une scene multimedia pour l'affichage de cette scene sur un terminal
FR3093605A1 (fr) Procédé de navigation accélérée dans un contenu numérique obtenu par téléchargement progressif adaptatif (HAS), gestionnaire, lecteur de flux multimédia et programme d’ordinateur correspondants.
KR20030031593A (ko) 무선 네트워크를 통한 플래시 동영상 서비스를 위한플래시 동영상 분할 방법
FR2826213A1 (fr) Procede et systeme de diffusion d'images numeriques
Perkis et al. A qos-driven uma viewer in mpeg-21 framework
Yeşilova Design and Implementation of a Multimedia Image Catalogue System for Computer Networks

Legal Events

Date Code Title Description
ST Notification of lapse

Effective date: 20110801