FR2940703A1 - Display modeling method for application on server, involves forming image based on pixels of traces, and transmitting image and encoding information conforming to assembly of modification data to encoder by transmitting unit - Google Patents

Display modeling method for application on server, involves forming image based on pixels of traces, and transmitting image and encoding information conforming to assembly of modification data to encoder by transmitting unit Download PDF

Info

Publication number
FR2940703A1
FR2940703A1 FR0859173A FR0859173A FR2940703A1 FR 2940703 A1 FR2940703 A1 FR 2940703A1 FR 0859173 A FR0859173 A FR 0859173A FR 0859173 A FR0859173 A FR 0859173A FR 2940703 A1 FR2940703 A1 FR 2940703A1
Authority
FR
France
Prior art keywords
image
application
data
pixels
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR0859173A
Other languages
French (fr)
Other versions
FR2940703B1 (en
Inventor
David Libault
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
David Libault Fr
Jacques Lewiner Fr
Original Assignee
CY PLAY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CY PLAY filed Critical CY PLAY
Priority to FR0859173A priority Critical patent/FR2940703B1/en
Priority to US13/142,695 priority patent/US9185159B2/en
Priority to EP09807448.7A priority patent/EP2382756B1/en
Priority to PCT/FR2009/001492 priority patent/WO2010076436A2/en
Publication of FR2940703A1 publication Critical patent/FR2940703A1/en
Application granted granted Critical
Publication of FR2940703B1 publication Critical patent/FR2940703B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/04Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/08Protocols specially adapted for terminal emulation, e.g. Telnet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0331Finger worn pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

The method involves modifying a pixel content of trace based on received display information of an application by a modification unit, and modifying a set of data based on modification of the pixel content. An image is formed by a forming unit based on the pixels of the traces. The image is transmitted and encoding information conforming to assembly of modification data to an encoder (323) by a transmitting unit. Independent claims are also included for the following: (1) a device for modeling a display of an application on a server comprising a modifying unit (2) a computer program comprising instructions for modeling a display of an application on a server (3) an encoder for receiving an image generated by a modeling method.

Description

Procédé et dispositif de modélisation d'un affichage Le domaine de l'invention est celui dans lequel un terminal mobile utilise une application pour accéder un service. The field of the invention is that in which a mobile terminal uses an application to access a service.

Plus précisément la présente invention concerne un procédé et un dispositif de modélisation d'un affichage en particulier dans le cadre d'un système permettant d'afficher, sur un terminal, un affichage, par exemple une interface d'utilisateur d'une application s'exécutant sur un serveur distant au terminal. More specifically, the present invention relates to a method and a device for modeling a display, in particular in the context of a system making it possible to display, on a terminal, a display, for example a user interface of an application. running on a remote server at the terminal.

L'invention trouve son application dans un domaine où un terminal mobile utilise une application pour accéder un service. Dans ce contexte une application peut consister par exemple à consulter des informations comme la météo, des cours de bourse, le solde d'un compte bancaire, un album de photographies, ou à diffuser un contenu multimédia comme des vidéos. The invention finds application in a field where a mobile terminal uses an application to access a service. In this context an application may for example be to consult information such as weather, stock prices, the balance of a bank account, a photo album, or to broadcast multimedia content such as videos.

Pour fournir un service à un utilisateur sur son téléphone mobile, il existe deux solutions - installer une application sur le terminal de l'utilisateur ou utiliser le navigateur web du terminal pour accéder à une application distante. To provide a service to a user on their mobile phone, there are two solutions - install an application on the user's device or use the device's web browser to access a remote application.

Dans le premier cas, l'utilisateur doit télécharger un fichier, l'installer sur son combiné, puis demander au système d'exploitation de le lancer. Ce processus implique que l'exécutable téléchargé soit compatible au niveau binaire, et au niveau des ressources exploitées sur le combiné de l'utilisateur. In the first case, the user must download a file, install it on his handset, and then ask the operating system to launch it. This process implies that the downloaded executable is compatible at the binary level, and at the resources exploited on the handset of the user.

La technologie JAVA développée par Sun propose d'utiliser un code binaire universel pour toutes les applications et une "machine virtuelle" est installée sur chaque terminal. Cette machine virtuelle, spécifique à chaque type de terminal, traduit le code binaire universel en code binaire directement exécutable par le terminal. Outre la charge de calcul supplémentaire consommée par cette traduction, cette technologie ne résout pas le problème de la disparité de puissance de calcul, de mémoire et de taille d'écran du parc de terminaux mobiles déployés. 1 La technologie JAVA est aujourd'hui déployée sur la majorité des téléphones mobiles. Cependant, pour s'adapter à l'évolution des téléphones mobiles, et pour répondre au besoin des constructeurs de différentier leurs produits, les API JAVA ont évolué et se sont multipliées. Les versions JAVA diffèrent donc d'un terminal à l'autre suivant sa date d'apparition sur le marché, et la gamme de prix dans laquelle il se situe. Il est donc très complexe pour un éditeur de fournir une application déployable sur l'ensemble d'un parc hétérogène de terminaux mobiles. JAVA technology developed by Sun proposes to use universal binary code for all applications and a "virtual machine" is installed on each terminal. This virtual machine, specific to each type of terminal, translates the universal binary code into binary code directly executable by the terminal. In addition to the additional computing load consumed by this translation, this technology does not solve the problem of the disparity of computing power, memory and screen size of the fleet of deployed mobile terminals. 1 JAVA technology is now deployed on the majority of mobile phones. However, to adapt to the evolution of mobile phones, and to meet the need of manufacturers to differentiate their products, JAVA APIs have evolved and multiplied. JAVA versions therefore differ from one terminal to another according to its date of appearance on the market, and the price range in which it is located. It is therefore very complex for an editor to provide a deployable application over a whole heterogeneous fleet of mobile terminals.

Pour l'utilisateur, les étapes de recherche de la version de l'application compatible avec son terminal, de téléchargement, et d'installation sont rébarbatives, et constituent un réel un frein à son utilisation. For the user, the steps of finding the version of the application compatible with its terminal, downloading, and installation are boring, and constitute a real obstacle to its use.

Dans le second cas, l'application s'exécute sur un serveur accessible par l'intermédiaire d'un réseau IP. Le navigateur web du terminal est utilisé pour afficher l'interface utilisateur produite par l'application sous forme de pages web plus ou moins sophistiquées. Ceci est utilisé par Google pour diverses applications : messagerie, agenda, traitement de texte, tableur etc... In the second case, the application runs on a server accessible through an IP network. The web browser of the terminal is used to display the user interface produced by the application in the form of more or less sophisticated web pages. This is used by Google for various applications: messaging, calendar, word processing, spreadsheet etc ...

La transposition de ce modèle à la téléphonie mobile présente plusieurs difficultés. En effet, les standards web évoluent rapidement, tirés par le marché des ordinateurs personnels : évolution du JavaScript, apparition de la technologie Flash, etc... D'une part, la puissance de calcul, la quantité de mémoire ainsi que les capacités d'affichage évoluent plus vite que pour les terminaux mobiles, ceux-ci étant fortement soumis au compromis poids, autonomie, encombrement. D'autre part, les ordinateurs personnels subissent des mises à jour logicielles régulières, souvent automatiques, qui leur permettent d'être à jour avec les dernières évolutions des standards web. Ce n'est pas le cas pour les téléphones mobiles pour deux raisons principales : chaque téléphone ayant un système d'exploitation spécifique voire pas de système d'exploitation, l'ensemble du firmware doit être modifié, testé puis validé, et ce, pour chaque modèle de combiné. Seul le fabricant peut effectuer cette opération complexe et donc coûteuse, ce qui, dans le cas des terminaux a bas prix n'est pas justifiée. Le coût de la bande passante data 3G reste élevé et fortement dépendant 2 de l'opérateur ainsi que du type d'abonnement choisis par l'utilisateur, ce qui rend les modèles de mise à jour automatique inapplicables aujourd'hui. De plus, les standards web ne sont pas adaptés aux écrans de petite taille. Les choix de polices de caractère, de disposition des divers éléments graphiques (titres, textes, images...), laissées au terminal donnent un rendu graphique hétérogène d'un mobile à l'autre suivant la résolution de l'écran, et les choix de l'organisation de l'affichage pris par le navigateur web embarqué. The transposition of this model to mobile telephony presents several difficulties. Indeed, web standards evolve rapidly, driven by the personal computer market: evolution of JavaScript, appearance of Flash technology, etc. On the one hand, the computing power, the amount of memory as well as the computing capacities display evolve faster than for mobile terminals, these being highly subject to the compromise weight, autonomy, bulk. On the other hand, personal computers undergo regular software updates, often automatic, that allow them to be up to date with the latest developments in web standards. This is not the case for mobile phones for two main reasons: each phone having a specific operating system or no operating system, all the firmware must be modified, tested and validated, and this, for each handset model. Only the manufacturer can perform this complex operation and therefore expensive, which in the case of low-priced terminals is not justified. The cost of the 3G data bandwidth remains high and highly dependent on the operator as well as the type of subscription chosen by the user, which makes the automatic updating models inapplicable today. In addition, web standards are not suitable for small screens. The choice of fonts, layout of the various graphic elements (titles, texts, images ...), left to the terminal give a heterogeneous graphic rendering from one mobile to another according to the resolution of the screen, and the choice of the organization of the display taken by the embedded web browser.

La définition du WAP a été une tentative d'adapter les technologies web à la téléphonie mobile. Son échec est probablement dû à la disparité du rendu des pages sur chaque terminal, ainsi qu'à la pauvreté des possibilités d'affichage et à l'absence de rendu de type "rich media". The definition of WAP has been an attempt to adapt web technologies to mobile telephony. Its failure is probably due to the disparity of page rendering on each terminal, as well as the poor display possibilities and the lack of rich media rendering.

Dans le contexte d'encodage vidéo les critères permettant d'évaluer la qualité de l'encodage vidéo utilisé pour envoyer des données à un terminal incluent : -La consommation des ressources du serveur (mémoire/processeur) ; -L'intervalle de temps entre la modification de l'image de l'interface utilisateur par l'application, et son affichage sur le terminal ; -La qualité du rendu des images fixes ; et -La robustesse du flux généré vis-à-vis de la perte de paquets inévitable sur un lien sans fil. In the context of video encoding the criteria for evaluating the quality of the video encoding used to send data to a terminal include: - The consumption of server resources (memory / processor); The time interval between the modification of the image of the user interface by the application, and its display on the terminal; -The quality of rendering still images; and the robustness of the generated flow with respect to the unavoidable packet loss on a wireless link.

La consommation en ressources du système devrait être minimisée afin de maximiser le nombre de communications simultanées servies. De plus, le délai généré par la compression/décompression des données devrait être minimisé afin d'offrir la meilleure réactivité de l'application aux sollicitations de l'utilisateur. Les informations fournies par une application étant, en partie, une succession de textes et d'images fixes, le rendu de ceux-ci devrait être optimal. 30 Par ailleurs dans un environnement sans-fil la perte de paquets est inévitable. Il est désirable donc de minimiser l'impact de telles pertes sur la qualité de l'image présentée par le terminal à l'utilisateur. 3 Les améliorations apportées au codeur dans ce contexte devraient l'être sans s'écarter des standards de compression vidéo normalisés. Dans le cas de la Visio 3G, par exemple, il s'agit des standards h263 ainsi que h264 au sein du protocole H324m. The resource consumption of the system should be minimized to maximize the number of simultaneous communications served. In addition, the delay generated by the compression / decompression of the data should be minimized in order to offer the best responsiveness of the application to the demands of the user. The information provided by an application being, in part, a succession of texts and still images, the rendering of these should be optimal. Furthermore, in a wireless environment the loss of packets is inevitable. It is therefore desirable to minimize the impact of such losses on the quality of the image presented by the terminal to the user. 3 Improvements to the encoder in this context should be made without departing from standard video compression standards. In the case of the Visio 3G, for example, these are the h263 standards as well as h264 within the H324m protocol.

H324m est un protocole de mise en place et de transport d'une conférence audiovisuelle sur un canal de télécommunication numérique bidirectionnel. C'est, en réalité, une famille de protocoles réunis et harmonisés. • Le protocole H223 définit le multiplexage/démultiplexage des données. • Le protocole H245 définit le format des trames permettant de négocier l'ouverture de canaux audio et vidéo ainsi que les codecs associés. • Le protocole H263 définit l'encodage vidéo. • Les protocoles G723.1 et 3GP-AMR définissent l'encodage audio. H324m is a protocol for setting up and transporting an audiovisual conference over a bidirectional digital telecommunication channel. It is, in fact, a family of protocols united and harmonized. • The H223 protocol defines the data multiplexing / demultiplexing. • The H245 protocol defines the frame format for negotiating the opening of audio and video channels as well as associated codecs. • The H263 protocol defines the video encoding. • The G723.1 and 3GP-AMR protocols define audio encoding.

Des techniques d'encodage vidéo classiques utilisées dans les principaux codecs vidéo actuels (MPEG2, H263, MPEG4, H264 et...) sont décrites dans lain E.G. Richardson ù H.264 and MPEG-4 vidéo compression. John Wiley & Sons Ltd., 2003 ISBN 0-470-84837.5. Conventional video encoding techniques used in today's major video codecs (MPEG2, H263, MPEG4, H264 and ...) are described in the E. E. Richardson-H.264 and MPEG-4 video compression. John Wiley & Sons Ltd., 2003 ISBN 0-470-84837.5.

Un exemple d'un codeur vidéo typique est illustré à la figure 10. Dans ce système de codage les données à encoder arrivent à l'encodeur sous forme d'une suite d'images régulièrement espacées dans le temps (l'étape PE1). Chaque image est au format YUV. Le standard YUV est un modèle de représentation de la couleur des données vidéo. Si la séquence d'images est dans un autre format, par exemple RGB, alors une transformation vers le format YUV devrait être effectuée. An example of a typical video encoder is shown in Figure 10. In this encoding system the data to be encoded arrive at the encoder as a sequence of images regularly spaced in time (step PE1). Each image is in YUV format. The YUV standard is a representation of the color of video data. If the image sequence is in another format, for example RGB, then a transformation to the YUV format should be performed.

Les images sont ensuite découpées en macroblocs lors d'une étape PE2 de partitionnement en blocs. Chaque standard définit la taille et le format de ces macroblocs. Dans le cas du standard H263 par exemple, chaque image est d'abord divisée en blocs de 8x8 pixels. Le format YUV définit Y pour chaque pixel de l'image, mais U et V sont moyennés sur 4 pixels. Le paramètre Y représente la luminance, tandis que U et V permettent de représenter la chrominance, c'est-à-dire l'information sur la couleur. Les blocs sont regroupés en macroblocs regroupant 4 blocs Y, 1 bloc 4 U et 1 bloc V. Ainsi un macrobloc contient toutes les informations relative à une zone de 16x16 pixels de l'image. The images are then cut into macroblocks during a step PE2 block partitioning. Each standard defines the size and format of these macroblocks. In the case of the H263 standard, for example, each image is first divided into 8x8 pixel blocks. The YUV format sets Y for each pixel in the image, but U and V are averaged over 4 pixels. The parameter Y represents the luminance, while U and V represent the chrominance, that is to say the information on the color. The blocks are grouped in macroblocks comprising 4 blocks Y, 1 block 4 U and 1 block V. Thus a macroblock contains all the information relating to a 16x16 pixel area of the image.

Dans une étape PE3 de transformation DCT (discrète en cosinus), pour chaque macrobloc, chaque bloc constituant ce macrobloc est transformé à l'aide d'une transformation discrète en cosinus à 2 dimensions. In a step DCT (discrete cosine) transformation step D3, for each macroblock, each block constituting this macroblock is transformed using a discrete 2-dimensional cosine transformation.

L'étape PE3 de transformation DCT est suivie par une étape PE4 de quantification. Cette étape consiste à diminuer le nombre de bits utilisés pour coder chaque coefficient résultat de la transformation DOT. Plus la quantification est importante plus la perte de qualité de l'image transmise sera importante. The PE3 transformation step DCT is followed by a PE4 quantization step. This step consists of reducing the number of bits used to code each result coefficient of the DOT transformation. The greater the quantification, the greater the loss of quality of the transmitted image.

L'étape PE5 de codage entropique PE5 est une étape de compression sans perte d'information. Chaque standard définit l'algorithme choisi. Les deux techniques de codage entropique les plus utilisées sont les méthodes de codes à longueur variable de Huffman modifié, et le codage arithmétique. Le codage entropique est utilisé pour compresser les coefficients quantifiés, les vecteurs de mouvements, les niveaux de quantification, et diverses informations permettant de décrire le format et le type d'image transmis. The PE5 PE5 entropy coding step is a compression step without loss of information. Each standard defines the chosen algorithm. The two most used entropic coding techniques are modified Huffman variable length code methods, and arithmetic coding. Entropy coding is used to compress quantized coefficients, motion vectors, quantization levels, and various information to describe the format and type of image transmitted.

Ensuite dans une étape PE6 de transmission, le flux des données vidéo obtenu est transmis au sein d'un canal précédemment ouvert à l'intérieur d'un lien H324m. Then, in a transmission step PE6, the video data stream obtained is transmitted within a previously open channel within an H324m link.

Une étape de quantification inverse PE7 est l'opération inverse de la quantification PE4. Une étape de transformation DCT inverse PE8 est l'opération inverse de la transformation DOT. An inverse quantization step PE7 is the inverse operation of PE4 quantization. An inverse DCT transformation step PE8 is the inverse operation of the DOT transformation.

Dans une phase PE9 d'estimation différentielle, lorsqu'un macrobloc est encodé en mode différentiel, on effectue une différence entre l'image courante et l'image précédemment envoyée, telle qu'elle sera décodée. C'est la raison pour laquelle une quantification inverse et une transformation DCT inverse sont effectuées. Pour diminuer la quantité d'information à transmettre, un vecteur de translation est appliqué au macrobloc de l'image précédente afin qu'il s'approche au mieux de 5 l'image courante. La recherche de ce vecteur est appelée recherche des vecteurs de mouvement . Cette différence est ensuite transformée, quantifiée puis encodée. In a differential estimation phase PE9, when a macroblock is encoded in differential mode, a difference is made between the current image and the previously sent image, as it will be decoded. This is why inverse quantization and inverse DCT transformation are performed. To decrease the amount of information to be transmitted, a translation vector is applied to the macroblock of the previous image so that it approaches the current image to the best of its ability. The search for this vector is called motion vector search. This difference is then transformed, quantified and encoded.

Dans une phase PE10 de mesure du débit pour le flux sortant du codeur devant être transmis dans un canal de communication à débit limité, on évalue la taille de chaque image encodée. In a flow measurement phase PE10 for the outgoing flow of the encoder to be transmitted in a limited rate communication channel, the size of each encoded picture is evaluated.

Le contrôle de l'encodeur PE11 constitue le coeur de l'encodeur. Cette fonction contrôle les paramètres de l'encodeur comme le niveau de quantification, le choix entre encodage absolu ou différentiel pour l'image, et pour chacun des macroblocs. The control of the PE11 encoder is the heart of the encoder. This function controls the parameters of the encoder such as the quantization level, the choice between absolute or differential encoding for the image, and for each of the macroblocks.

La fonction utilisant le plus de ressources dans ce type de codeur est l'estimation des vecteurs de mouvement à partir des images de la séquence d'entrée. De nombreuse publications et brevets proposent une grande variété d'algorithmes permettant de diminuer la puissance de calcul consommée par cette fonction. Certains algorithmes présentent de meilleures performances dans des environnements spécifiques Dans le contexte d'encodage vidéo ce type de codeur possède plusieurs inconvénients : The function using the most resources in this type of encoder is the estimation of the motion vectors from the images of the input sequence. Many publications and patents offer a wide variety of algorithms to reduce the computing power consumed by this function. Some algorithms have better performance in specific environments In the context of video encoding this type of encoder has several disadvantages:

Le codeur doit en permanence évaluer, à partir de la séquence d'images qui lui est présentée, pixel par pixel, les zones qui doivent être codées en différentiel ou en absolu, ainsi que des vecteurs de mouvements judicieux permettant de maximiser le rapport qualité de l'image, débit de données. The coder must constantly evaluate, from the sequence of images presented to him, pixel by pixel, the zones that must be coded in differential or absolute, as well as judicious motion vectors making it possible to maximize the quality / performance ratio. the image, data rate.

Une stratégie d'amélioration du rendu des images fixes consiste, par exemple à diminuer le facteur de quantification et le nombre d'images encodées par unité de temps et garder ces paramètres constants. One strategy for improving the rendering of still images is, for example, to reduce the quantization factor and the number of encoded images per unit of time and to keep these parameters constant.

Ceci ne peut être fait qu'après qu'une suite de n images aient été identifiées comme identiques. Soit un délai systématique de n images est ajouté ce qui détériore la réactivité de l'application, soit ces n premières images sont encodées avec la boucle de rétroaction classique, et le passage en mode "image fixe" sera visible dans la séquence encodée. 6 Dans le cas de séquences basées sur des images de synthèse, l'exploitation des informations utilisées lors dans la synthèse des images a été proposée pour guider l'algorithme de recherche de mouvement. Certains auteurs proposent de nouveaux modèles décrivant le mouvement par pixel ou par blocs de pixels de l'image, d'autres proposent d'utiliser ces informations dans le cadre d'un format de codage vidéo standard comme le MPEG. This can only be done after a sequence of n images has been identified as identical. Either a systematic delay of n images is added which deteriorates the responsiveness of the application, ie these n first images are encoded with the conventional feedback loop, and the transition to "still image" mode will be visible in the encoded sequence. In the case of sequences based on synthetic images, the exploitation of the information used during the synthesis of the images has been proposed to guide the motion search algorithm. Some authors propose new models describing the movement per pixel or blocks of pixels of the image, others propose to use this information as part of a standard video encoding format such as MPEG.

Ces articles décrivent des systèmes de synthèse d'images "réalistes". Chaque surface est représentée par des polygones en 3 dimensions sur lesquels sont appliquées des textures en 2 dimensions. Divers algorithmes de projection et de shading sont utilisés pour convertir ces descriptions en images à 2 dimensions. These articles describe "realistic" image synthesis systems. Each surface is represented by 3-dimensional polygons on which 2-dimensional textures are applied. Various projection and shading algorithms are used to convert these descriptions into 2-dimensional images.

Toutefois un tel modèle n'est pas adapté à la description d'interfaces utilisateur en 2 dimensions. Il n'est pas non-plus adapté à la compression vidéo : des algorithmes complexes sont nécessaires pour évaluer le mouvement de chaque pixel en 2 dimensions à partir de la localisation et des mouvements et de chaque polygone. However such a model is not adapted to the description of user interfaces in 2 dimensions. It is also not suitable for video compression: complex algorithms are needed to evaluate the movement of each pixel in 2 dimensions from the location and movements and each polygon.

L'invention dans au moins un mode de réalisation, a pour objectif de pallier ces différents inconvénients de l'état de la technique et d'apporter des améliorations. 20 Un premier aspect de l'invention propose un procédé d'échange de données entre une application s'exécutant sur un serveur et un terminal distant, le procédé comprenant les étapes suivantes: réception à un serveur, par l'intermédiaire un lien audiovisuel sans fil, d'une requête pour données par un terminal distant; génération 25 de données en fonction de la requête par une application s'exécutant sur le serveur; constitution des données audiovisuelles à partir des données générées par l'application ; et transmission des données audiovisuelles au terminal par l'intermédiaire du lien audiovisuel. The invention in at least one embodiment, aims to overcome these disadvantages of the state of the art and to make improvements. A first aspect of the invention proposes a method of exchanging data between an application running on a server and a remote terminal, the method comprising the following steps: reception to a server, via an audiovisual link without wire, a request for data by a remote terminal; generation of data based on the request by an application running on the server; constitution of audiovisual data from the data generated by the application; and transmission of audiovisual data to the terminal via the audio-visual link.

30 La requête ou l'initialisation d'échange de données peut être sous la forme d'un appel vidéo, un appel audio, un message etc. Dans le contexte l'invention, par le terme lien audiovisuel on entend un canal de télécommunication entre deux entités permettant de transmettre simultanément du contenu audio et vidéo en temps réel. 7 Par le terme requête on entend une indication d'initialisation d'échange de données. The data exchange request or initialization can be in the form of a video call, an audio call, a message, and so on. In the context of the invention, the term audiovisual link is understood to mean a telecommunication channel between two entities making it possible to simultaneously transmit audio and video content in real time. By the term "request" is meant an initialization indication of data exchange.

Ainsi la vitesse d'exécution de l'application n'est pas limitée par la puissance de calcul et la mémoire disponible sur le terminal . L'application peut consommer une grande quantité de ressources du serveur sans compromettre l'autonomie du terminal. Les ressources consommées, incluent la bande passante, pouvant être utilisée pour communiquer avec d'autres services De plus l'accès à l'application sur le serveur est plus simple et plus rapide. Il suffit d'effectuer un appel vidéo. Aucun logiciel supplémentaire ne doit être téléchargé ni installé. La diffusion de séquences audiovisuelles est plus simple et plus instantanée. les données générées par l'application sont converties en données audiovisuelles. Thus the speed of execution of the application is not limited by the computing power and the memory available on the terminal. The application can consume a large amount of server resources without compromising the terminal's autonomy. Resources consumed, include bandwidth, which can be used to communicate with other services In addition, access to the application on the server is simpler and faster. Just make a video call. No additional software should be downloaded or installed. The broadcasting of audiovisual sequences is simpler and more instantaneous. the data generated by the application is converted into audiovisual data.

Les données audiovisuelles peuvent être récupérées d'une base de données à partir des données générées par l'application. Le serveur peut générer des données d'affichage pour présenter une interface utilisateur sur l'écran du terminal pour permettre à l'utilisateur du terminal d'interagir avec l'application. Audiovisual data can be retrieved from a database from the data generated by the application. The server may generate display data to present a user interface on the terminal screen to enable the terminal user to interact with the application.

Une image de l'interface utilisateur peut être transmise au terminal par l'intermédiaire du lien audiovisuel du protocole H324m. An image of the user interface can be transmitted to the terminal via the audio-visual link of the H324m protocol.

L'invention propose en outre un procédé d'interaction d'un terminal avec une application s'exécutant sur un serveur distant, transmission d'un terminal à un serveur distant, par l'intermédiaire d'un lien audiovisuel sans fil, d'une requête d'information; réception au terminal, par l'intermédiaire du lien audiovisuel, des données audiovisuelles d'affichage en fonction de la requête ;affichage d'une interface utilisateur sur l'écran du terminal en fonction des données audiovisuelles reçues ; utilisation d'interface utilisateur pour interagir avec l'application depuis le terminal par le l'intermédiaire du lien audiovisuel pour recevoir l'information souhaitée. The invention also proposes a method of interaction of a terminal with an application running on a remote server, transmission of a terminal to a remote server, via a wireless audiovisual link, an information request; receiving at the terminal, via the audio-visual link, the audiovisual display data according to the request, displaying a user interface on the terminal screen according to the audiovisual data received; using the user interface to interact with the application from the terminal through the audiovisual link to receive the desired information.

Le terminal peut générer des signaux DTMF à transmettre au serveur pour interagir avec l'application. Le terminal peut envoyer des données d'interaction à l'application en forme des données audio et/ou vidéo. 8 L'invention propose en outre un serveur d'application comprenant une module d'application pour l'exécution d'une application accessible par un terminal distant : des moyens de réception pour recevoir, par l'intermédiaire un lien audiovisuel sans fil, une requête pour données par un terminal distant; des moyens pour générer des données en fonction de la requête; des moyens pour fournir les données audiovisuelles à partir des données générées par l'application; et des moyens de transmission pour transmettre les données audiovisuelles au terminal par l'intermédiaire du lien audiovisuel. The terminal can generate DTMF signals to be transmitted to the server to interact with the application. The terminal can send interaction data to the application in the form of audio and / or video data. The invention also proposes an application server comprising an application module for executing an application accessible by a remote terminal: receiving means for receiving, via a wireless audiovisual link, a request for data by a remote terminal; means for generating data based on the request; means for providing the audiovisual data from the data generated by the application; and transmission means for transmitting the audiovisual data to the terminal via the audiovisual link.

L'invention propose en outre un terminal mobile apte à interagir avec une application s'exécutant sur un serveur distant, le terminal comprenant des moyens de transmission pour transmettre à un serveur distant, par l'intermédiaire d'un lien audiovisuel sans fil, une requête d'information; des moyens de réception pour recevoir, par l'intermédiaire du lien audiovisuel, des données audiovisuelles d'affichage en fonction de la requête ;un écran pour l'affichage d'une interface utilisateur en fonction des données audiovisuelles reçues ;des moyens pour utiliser l'interface utilisateur pour interagir avec l'application. The invention further proposes a mobile terminal able to interact with an application running on a remote server, the terminal comprising transmission means for transmitting to a remote server, via a wireless audiovisual link, a information request; reception means for receiving, via the audio-visual link, audiovisual display data according to the request, a screen for displaying a user interface according to the audiovisual data received, means for using the audiovisual link; user interface to interact with the application.

Un deuxième aspect de l'invention propose un procède de navigation d'utilisateur d'un terminal mobile sur une application s'exécutant sur un serveur distant, le procédé comprenant les étapes suivantes affichage d'une interface utilisateur sur un écran du terminal en fonction des données d'affichage reçues du serveur; détection du mouvement d'un dispositif de positionnement du terminal monté sur l'utilisateur en réponse au contenu de l'affichage pour déterminer des données de navigation de l'utilisateur sur l'application; et modulation des données du mouvement en format audio pour transmission au serveur par l'intermédiaire d'un canal audio. A second aspect of the invention provides a method of user navigation of a mobile terminal on an application running on a remote server, the method comprising the steps of displaying a user interface on a terminal screen based on display data received from the server; sensing the movement of a user-mounted terminal positioning device in response to the display content to determine user navigation data on the application; and modulating the motion data in audio format for transmission to the server via an audio channel.

Ceci donne à l'utilisateur la possibilité d'interagir plus finement avec l'application s'exécutant sur le serveur. De plus, le procédé ne nécessite pas le téléchargement d'un logiciel supplémentaire pour être utilisé puisque le procédé utilise un profile existant du standard Bluetooth. 9 De manière avantageuse le dispositif de positionnement peut être agencé pour communiquer avec le terminal par l'intermédiaire d'un lien de type Bluetooth. This gives the user the ability to interact more finely with the application running on the server. In addition, the method does not require the downloading of additional software to be used since the method uses an existing Bluetooth standard profile. Advantageously, the positioning device can be arranged to communicate with the terminal via a Bluetooth type link.

L'information d'affichage est reçue du serveur par l'intermédiaire d'un lien audiovisuel. Le lien peut être un lien audiovisuel selon le protocole H324m The display information is received from the server via an audiovisual link. The link can be an audiovisual link according to the H324m protocol

L'étape de modulation peut comprendre une étape de modulation au transcodage Bluetooth vers H324m audio. The modulation step may comprise a step of modulation to Bluetooth transcoding to H324m audio.

L'invention propose en outre un procédé de traitement de données de navigation d'un utilisateur d'un terminal mobile sur une application sur un serveur distant, le procédé comprenant les étapes suivantes: réception au serveur par l'intermédiaire d'un lien de télécommunication des données de mouvement d'un dispositif de positionnement du terminal déplaçable en fonction des mouvements de l'utilisateur; et traitement des données de mouvement pour déterminer des données de navigation de l'application en fonction des données de mouvement. The invention also proposes a method of processing navigation data of a user of a mobile terminal on an application on a remote server, the method comprising the following steps: reception to the server via a link of telecommunication of the movement data of a device positioning device movable according to the movements of the user; and processing the motion data to determine navigation data of the application based on the motion data.

Les données de mouvement peuvent être reçues par l'intermédiaire d'un canal audio. De manière avantageuse le serveur peut détecter la présence du dispositif de positionnement par une détection de porteuse ou de séquence prédéfinie par l'intermédiaire du canal audio. The motion data can be received via an audio channel. Advantageously, the server can detect the presence of the positioning device by predefined carrier or sequence detection via the audio channel.

25 L'invention propose en outre un dispositif mobile apte à communiquer par intermédiaire d'un lien sans fils avec une application s'exécutant sur un serveur distant, le dispositif comprenant :un combiné de terminal comprenant un écran pour l'affichage d'une interface utilisateur issue de l'application et un clavier de touches; un dispositif de positionnement déplaçable en fonction de mouvement de l'utilisateur, 30 et étant apte à communiquer avec le combiné par un intermédiaire sans fil ;des moyens pour générer des données de mouvement en fonction du déplacement du dispositif de positionnement ; et un modulateur pour moduler les données du mouvement en format audio pour les transmettre au serveur par l'intermédiaire d'un canal audio. 10 De manière préférée le combiné peut comprendre une interface Bluetooth, et le dispositif de positionnement peut comprendre une radio Bluetooth pour communiquer avec l'interface Bluetooth. Le dispositif de positionnement peut comprendre un accéléromètre ou un souris. The invention further provides a mobile device capable of communicating via a wireless link with an application running on a remote server, the device comprising: a terminal handset including a screen for displaying a user interface from the application and a keypad; a user-displaceable positioning device, capable of communicating with the handset via a wireless intermediate; means for generating motion data as a function of the displacement of the positioning device; and a modulator for modulating the motion data into audio format for transmission to the server via an audio channel. Preferably the handset may comprise a Bluetooth interface, and the positioning device may include a Bluetooth radio for communicating with the Bluetooth interface. The positioning device may comprise an accelerometer or a mouse.

L'invention propose en outre un serveur d'application comprenant un module d'application pour exécuter au moins une application; un démodulateur pour 10 démoduler les données de mouvement reçues par l'intermédiaire d'un canal audio d'un terminal mobile; et un module de traitement des données de mouvement pour déterminer des données de navigation de l'application en fonction des données de mouvement. The invention further provides an application server comprising an application module for executing at least one application; a demodulator for demodulating the received motion data via an audio channel of a mobile terminal; and a motion data processing module for determining navigation data of the application based on the motion data.

15 Le serveur peut être équipé des moyens pour détecter la présence d'un dispositif de positionnement. The server may be equipped with means for detecting the presence of a positioning device.

Un troisième aspect de l'invention propose Procédé de modélisation d'un affichage issu d'une application sur un serveur, l'affichage étant destiné à un terminal distant; 20 caractérisé en ce que l'affichage est modélisé pour composer une image en fonction d'une information d'affichage issue de l'application, au moyen de calques superposés, chaque calque étant composé de pixels et étant associé à un premier ensemble de données de modification correspondant, chaque pixel étant caractérisé par un facteur de transparence Ttp dudit pixel; le premier ensemble de données de 25 modification indiquant des caractéristiques dudit calque liés aux modifications effectuées par l'application, l'image résultante étant composée de pixels images et étant associée à un deuxième ensemble de données de modification, le deuxième ensemble de données de modification indiquant si l'image a été modifiée du fait des modifications des calques par l'application, les pixels images étant composés des 30 pixels superposés correspondants des calques ; le procédé comprenant les étapes suivantes : modification du contenu des pixels d'au moins un calque par au moins une primitive selon l'information d'affichage reçue de l'application ; modification du premier ensemble des données de modification pour au moins un calque selon les modifications effectuées par la ou les primitives ; modification du deuxième ensemble 11 de données en fonction du premier ensemble de données ; composition d'une image en fonction des pixels des calques ; et transmission à un encodeur de l'image à encoder et d'une information d'encodage conformément au deuxième ensemble des données de modifications Ce procédé de modélisation permet de décrire simplement les éléments d'une interface utilisateur et de pouvoir générer un flux vidéo compressé à partir des éléments descriptifs du modèle avec peu de calculs. Ce procédé permet aussi de simplifier la composition des images. A third aspect of the invention proposes a method for modeling a display from an application on a server, the display being intended for a remote terminal; Characterized in that the display is modeled to compose an image based on display information from the application, by means of superimposed layers, each layer being composed of pixels and being associated with a first set of data corresponding modification, each pixel being characterized by a transparency factor Ttp of said pixel; the first set of modification data indicating characteristics of said layer related to the modifications made by the application, the resulting image being composed of image pixels and being associated with a second set of modification data, the second set of modification data indicating whether the image has been modified due to the application's modification of the layers, the image pixels being composed of the corresponding corresponding superposed pixels of the layers; the method comprising the steps of: modifying the content of the pixels of at least one layer by at least one primitive according to the display information received from the application; modifying the first set of modification data for at least one layer according to the modifications made by the primitive (s); modifying the second set of data according to the first set of data; composition of an image according to the pixels of the layers; and transmitting to an encoder the image to be encoded and encoding information according to the second set of the change data. This modeling method makes it possible to simply describe the elements of a user interface and to be able to generate a compressed video stream. from the descriptive elements of the model with few calculations. This method also makes it possible to simplify the composition of the images.

Procédé selon la revendication 1 dans lequel le premier ensemble de données de modification indiquent les vecteurs de mouvement du calque, un facteur de transparence, et/ou pour chaque bloc de pixels du calque si ledit bloc a été modifié par l'application, et/ou s'il est complètement transparent, complètement opaque ou ni l'un ni l'autre. The method of claim 1 wherein the first set of modification data indicates the layer motion vectors, a transparency factor, and / or for each block of pixels of the layer if said block has been modified by the application, and / or if it is completely transparent, completely opaque or neither.

Le deuxième ensemble de données de modification peut indiquer un vecteur de mouvement pour chaque macrobloc de pixels de l'image pour utilisation dans un encodage différentiel. Les pixels de l'image sont regroupés en macroblocs. Les pixels d'un calque sont regroupés en blocs. The second set of modification data may indicate a motion vector for each macroblock of pixels of the image for use in a differential encoding. The pixels of the image are grouped into macroblocks. The pixels of a layer are grouped into blocks.

De manière préférée chaque calque Ci peut être caractérisé par un vecteur de déplacement Vd à deux dimensions et/ou un scalaire de transparence Stc. définissant une transparence pour l'ensemble dudit calque Ci. L'étape de modification du deuxième ensemble de données de modification peut comprendre pour chaque macrobloc de pixels de l'image à encoder, une recherche dans l'ensemble de données pour les blocs de pixels des calques affectant le macrobloc pour voir si un bloc affectant le marcobloc a subi des modifications 30 Le deuxième ensemble de données de modification peut indiquer pour chaque macrobloc de pixels si ledit macrobloc a été modifié depuis l'image précédente. 25 12 Si plusieurs calques utilisés pour composer l'image ont eu une translation simultanée le vecteur Vd pour l'encodage peut être choisi selon un critère prédéterminé. L'invention propose en outre un dispositif de modélisation d'un affichage issu d'une application sur un serveur, l'affichage étant destiné à un terminal distant; caractérisé en ce que l'affichage est modélisé pour composer une image en fonction d'une information d'affichage issue de l'application, au moyen de calques superposés , chaque calque étant composé de pixels et étant associé à un premier ensemble de données de modification correspondant, chaque pixel étant caractérisé par un facteur de transparence Ttp dudit pixel ; le premier ensemble de données de modification indiquant des caractéristiques dudit calque liés aux modifications effectuées par l'application, , l'image résultante étant composée de pixels images et étant associée à un deuxième ensemble de données de modification, le deuxième ensemble de données de modification indiquant si l'image a été modifiée du fait des modifications des calques par l'application, les pixels images étant composés des pixels superposés correspondants des calques ; le procédé comprenant les étapes suivantes : des moyens pour modifier le contenu d'au moins un calque par au moins une primitive selon l'information d'affichage reçue de l'application ; des moyens pour modifier le premier ensemble des données de modification pour au moins un calque selon les modifications effectuées par la ou les primitives ; des moyens pour modifier le deuxième ensemble de données en fonction du premier ensemble de données ; des moyens pour composer une image en fonction du contenu des calques ; et des moyens pour transmettre à un encodeur de l'image à encoder et d'une information d'encodage conformément au deuxième ensemble des données de modifications. Preferably, each layer Ci can be characterized by a two-dimensional displacement vector Vd and / or a transparent scalar Stc. defining a transparency for the set of said layer Ci. The step of modifying the second set of modification data can comprise, for each macroblock of pixels of the image to be encoded, a search in the data set for the blocks of pixels Layers affecting the macroblock to see if a block affecting the marcoblock has undergone changes The second set of modification data may indicate for each macroblock of pixels whether said macroblock has been modified from the previous image. If several layers used to compose the image have had a simultaneous translation, the vector Vd for encoding can be chosen according to a predetermined criterion. The invention further proposes a device for modeling a display from an application on a server, the display being intended for a remote terminal; characterized in that the display is modeled to compose an image based on display information from the application, by means of superimposed layers, each layer being composed of pixels and being associated with a first set of data of corresponding modification, each pixel being characterized by a transparency factor Ttp of said pixel; the first set of modification data indicating characteristics of said layer related to the modifications made by the application, the resulting image being composed of image pixels and being associated with a second set of modification data, the second set of modification data indicating whether the image has been modified due to the application changing the layers, the image pixels being composed of the corresponding superposed pixels of the layers; the method comprising the steps of: means for modifying the content of at least one layer by at least one primitive according to the display information received from the application; means for modifying the first set of modification data for at least one layer according to the modifications made by the one or more primitives; means for modifying the second set of data based on the first set of data; means for composing an image according to the content of the layers; and means for transmitting to an encoder the image to be encoded and encoding information according to the second set of change data.

L'invention propose en outre un encodeur agencé pour recevoir une image générée par le procédé comme décrit ci-dessus et une information d'encodage générée par le procédé comme décrit ci-dessus, l'encodeur étant agencé de manière à' encoder l'image à l'aide de l'information d'encodage. The invention further provides an encoder arranged to receive an image generated by the method as described above and encoding information generated by the method as described above, the encoder being arranged to 'encode the image using encoding information.

Un quatrième aspect de l'invention propose un procédé de mettre en ligne des données audio et/ou vidéo, le procédé comprenant les étapes suivantes : saisie des 13 données vidéo et/ou audio par un terminal mobile; transmission des données vidéo et/ou audio à un serveur distant par l'intermédiaire d'un lien audiovisuel sans fil; enregistrement sur le serveur des données vidéo et/ou audio; transcodage au serveur des données vidéo et/ou audio vers un format compatible avec un ordinateur personnel ; et transmission des données transcodés du serveur vers un service de diffusion des séquences audiovisuelles en ligne. A fourth aspect of the invention provides a method of uploading audio and / or video data, the method comprising the steps of: capturing video and / or audio data by a mobile terminal; transmission of video and / or audio data to a remote server via a wireless audiovisual link; recording on the server video and / or audio data; transcoding the video and / or audio data to the server to a format compatible with a personal computer; and transmitting the transcoded data from the server to an on-line audiovisual broadcast service.

Ce procédé propose à un utilisateur d'un terminal un moyen simple et rapide de mettre en ligne des séquences audio-visuelles filmées en situation de mobilité. Le procédé peut comprendre en outre une étape de génération d'un affichage pour le terminal permettant de commander le début et la fin de l'enregistrement et/ou de donner un nom a la séquence. This method provides a user of a terminal a quick and easy way to put online audio-visual sequences filmed in a mobility situation. The method may further include a step of generating a display for the terminal for controlling the start and end of the recording and / or giving a name to the sequence.

15 Le procédé peut comprendre en outre en outre une étape d'enregistrement du numéro du terminal pour créer un lien entre la séquence enregistrée et l'utilisateur qui l'a crée. The method may further include a step of registering the terminal number to create a link between the recorded sequence and the user who created it.

L'invention propose en outre un serveur comprenant un module d'enregistrement 20 pour enregistrer des données vidéo et/ou audio reçues d'un terminal mobile distant par l'intermédiaire d'un lien audiovisuel sans fil ; un module de conversion pour convertir les données vidéo et/ou audio vers un format lisible par un reproducteur des données audiovisuelles de type PC ; et des moyens pour transmettre des données transcodées vers un service de diffusion en ligne. 25 Le serveur peut être équipé d'un module de génération d'affichage pour générer un affichage destiné au terminal permettant a un utilisateur de commander le début et la fin de l'enregistrement et/ou de donner un nom a la séquence. The invention further proposes a server comprising a recording module 20 for recording video and / or audio data received from a remote mobile terminal via a wireless audiovisual link; a conversion module for converting the video and / or audio data to a reproducer-readable format of the PC type audiovisual data; and means for transmitting transcoded data to an online broadcast service. The server may be equipped with a display generation module for generating a display for the terminal allowing a user to control the start and end of the recording and / or to give a name to the sequence.

30 Le serveur peut comprendre en outre une base de données pour enregistrer le numéro du terminal pour créer un lien entre la séquence enregistrée et l'utilisateur qui l'a crée. 14 Un cinquième aspect de l'invention propose un procède de navigation d'utilisateur d'un terminal mobile sur une application s'exécutant sur un serveur distant, le procédé comprenant les étapes suivantes : réception des vecteurs de mouvement des données vidéos, les vecteurs de mouvement ayant été calculés pour la compression d'une séquence vidéo transmise d'un terminal ;estimation du mouvement du terminal en fonction des vecteurs de mouvement ; et constitution du contenu à afficher sur le terminal en fonction du mouvement estimé pour permettre la navigation sur une interface utilisateur de taille supérieure à la taille de l'écran du terminal. The server may further include a database for storing the terminal number to create a link between the recorded sequence and the user who created it. A fifth aspect of the invention proposes a method of user navigation of a mobile terminal on an application running on a remote server, the method comprising the following steps: receiving the motion vectors of the video data, the vectors of motion having been calculated for compression of a video sequence transmitted from a terminal; estimation of the movement of the terminal as a function of the motion vectors; and constitution of the content to be displayed on the terminal according to the estimated movement to enable navigation on a user interface larger than the size of the terminal screen.

Ce procédé permet de visualiser sur un écran de petite taille une image virtuelle plus grande que celui-ci ou de passer d'une image à une autre sans calculs supplémentaires lourds dans le combiné ou sur le serveur. Un mouvement vers la droite du combiné peut, par exemple, signifier le passage à une image suivante dans le cas de la visualisation d'un album photo. Le mouvement du combiné peut être utilisé pour faire bouger un pointeur sur l'écran (comme une souris sur l'ordinateur). This method makes it possible to display on a small screen a virtual image larger than this one or to go from one image to another without any additional heavy calculations in the handset or on the server. A move to the right of the handset may, for example, mean switching to a next image in the case of viewing a photo album. The movement of the handset can be used to move a pointer on the screen (like a mouse on the computer).

Le contenu d'affichage peut être transmis du serveur au terminal par l'intermédiaire d'un lien audiovisuel. Le lien audiovisuel peut être un lien du protocole H324m. 20 L'invention propose en outre un procède de navigation d'utilisateur d'un terminal mobile sur une application s'exécutant sur un serveur distant, le procédé comprenant les étapes suivantes :déplacement du terminal pour naviguer sur l'application calcul des vecteurs de mouvement des données vidéos, les vecteurs de mouvement étant 25 liés au déplacement du terminal par l'utilisateur; transmission des vecteurs de mouvement au serveur comme données de navigation de l'application; et réception du contenu à afficher sur le terminal en fonction des vecteurs du mouvement pour permettre la navigation sur une image d'interface utilisateur de taille supérieure à la taille de l'écran du terminal. 30 L'invention propose en outre un serveur d'application comprenant :un module d'application pour exécuter au moins une application; un décodeur pour recevoir des vecteurs de mouvement des données vidéos, les vecteurs de mouvement ayant été calculés pour la compression d'une séquence vidéo transmise d'un terminal ; un 15 module de traitement pour estimer le mouvement du terminal en fonction des vecteurs de mouvement et pour constituer un contenu à afficher sur le terminal en fonction du mouvement estimé pour permettre la navigation sur une image d'interface utilisateur de taille supérieure à la taille de l'écran du terminal. The display content can be transmitted from the server to the terminal via an audiovisual link. The audiovisual link can be a link to the H324m protocol. The invention further proposes a method of user navigation of a mobile terminal on an application running on a remote server, the method comprising the following steps: moving the terminal to navigate the application computing the vectors of motion of the video data, the motion vectors being related to the movement of the terminal by the user; transmission of the motion vectors to the server as navigation data of the application; and receiving the content to be displayed on the terminal according to the motion vectors to enable navigation over a user interface image larger than the size of the terminal screen. The invention further provides an application server comprising: an application module for executing at least one application; a decoder for receiving motion vectors of the video data, the motion vectors having been calculated for compressing a video sequence transmitted from a terminal; a processing module for estimating the movement of the terminal according to the motion vectors and for constituting a content to be displayed on the terminal according to the estimated motion to enable navigation over a user interface image larger than the size of the the terminal screen.

Chaque aspect de la présente invention propose un programme informatique pour la mise en oeuvre du procédé correspondant décrit ci-avant. Un tel programme peut être téléchargeable via un réseau de télécommunication et/ou stocké dans une mémoire d'un dispositif de traitement et/ou stocké sur un support mémoire destiné à coopérer avec un dispositif de traitement. Each aspect of the present invention provides a computer program for carrying out the corresponding method described above. Such a program may be downloadable via a telecommunication network and / or stored in a memory of a processing device and / or stored on a storage medium intended to cooperate with a processing device.

Description des figures Description of figures

D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la 15 description détaillée ci-après, et des dessins annexés sur lesquels : Other features and advantages of the invention will become apparent upon consideration of the following detailed description, and the accompanying drawings, in which:

- la figure 1 illustre schématiquement un système de télécommunication selon au moins un mode de réalisation de l'invention ; - la figure 2A représente schématiquement un serveur et un terminal selon un 20 premier mode de réalisation de l'invention ; - la figure 2B illustre les étapes d'un procédé d'échange de données entre un terminal et un serveur selon le premier mode de réalisation de l'invention ; - la figure 3A représente schématiquement un serveur et un terminal selon un deuxième mode de réalisation de l'invention ; 25 - la figure 3B illustre le terminal et le serveur de la figure 3A ; - la figure 3C illustre un pointeur selon le deuxième mode de réalisation de l'invention ; - la figure 4 représente schématiquement un serveur et un terminal selon un troisième mode de réalisation de l'invention ; 30 - la figure 5 représente schématiquement des modules du serveur de la figure 4; - la figure 6A représente schématiquement des calques de modélisation selon le troisième mode de réalisation de l'invention ; - la figure 6B représente schématiquement les macroblocs d'une image selon 16 le troisième mode de réalisation de l'invention ; - les figures 7A à 7C illustrent les étapes d'un procédé de modélisation d'un affichage selon le troisième mode de réalisation de l'invention ; - les figure 8A à 8C représentent schématiquement un serveur et un terminal selon un quatrième mode de réalisation de l'invention ; - les figures 9A et 9B représentent schématiquement un serveur et un terminal selon un cinquième mode de réalisation de l'invention ; et - la figure 10 représente schématiquement un encodeur conventionnel. - Figure 1 schematically illustrates a telecommunication system according to at least one embodiment of the invention; FIG. 2A diagrammatically shows a server and a terminal according to a first embodiment of the invention; FIG. 2B illustrates the steps of a method of exchanging data between a terminal and a server according to the first embodiment of the invention; FIG. 3A schematically represents a server and a terminal according to a second embodiment of the invention; Figure 3B illustrates the terminal and the server of Figure 3A; FIG. 3C illustrates a pointer according to the second embodiment of the invention; FIG. 4 schematically represents a server and a terminal according to a third embodiment of the invention; Figure 5 schematically shows modules of the server of Figure 4; FIG. 6A diagrammatically represents modeling layers according to the third embodiment of the invention; FIG. 6B schematically represents the macroblocks of an image according to the third embodiment of the invention; FIGS. 7A to 7C illustrate the steps of a method of modeling a display according to the third embodiment of the invention; FIGS. 8A to 8C show schematically a server and a terminal according to a fourth embodiment of the invention; FIGS. 9A and 9B schematically represent a server and a terminal according to a fifth embodiment of the invention; and - Figure 10 schematically shows a conventional encoder.

Les modules représentés sur les différentes figures sont des unités fonctionnelles, qui peuvent ou non correspondre à des unités physiquement distinguables. Par exemple, ces modules ou certains d'entre eux peuvent être regroupés dans un unique composant, ou constituer des fonctionnalités d'un même logiciel. A contrario, certains modules peuvent éventuellement être composés d'entités physiques séparées. The modules shown in the various figures are functional units, which may or may not correspond to physically distinguishable units. For example, these modules or some of them may be grouped into a single component, or be functionalities of the same software. On the other hand, some modules may be composed of separate physical entities.

Description Détaillée Detailed description

La figure 1 illustre schématiquement un système de télécommunication dans lequel un terminal utilisateur 10 en situation de mobilité a accès par l'intermédiaire d'un réseau 1 de type GSM 3G (abrégé en anglais de Global System of Mobile Communications Third Generation) à un serveur d'application distant 20 sur lequel s'exécute au moins une application. Bien entendu l'invention n'est pas limitée à un tel réseau. Ainsi par exemple le réseau peut être n'importe quel type de réseau de télécommunication permettant d'établir un lien audiovisuel. Le terminal mobile 10 peut être un téléphone portable, un PDA, un ordinateur portable etc. FIG. 1 schematically illustrates a telecommunication system in which a user terminal 10 in a mobility situation has access via a GSM 3G network 1 (abbreviated from Global System of Mobile Communications Third Generation) to a server remote application 20 on which runs at least one application. Of course, the invention is not limited to such a network. Thus, for example, the network may be any type of telecommunication network making it possible to establish an audiovisual link. The mobile terminal 10 may be a mobile phone, a PDA, a laptop and so on.

L'application sur le serveur 20 permet à l'utilisateur d'accéder à des informations temps réel (comme la météo, des cours de bourse...), personnelles (comme le solde d'un compte en banque, un album de photographies personnelles...) et multimédia (comme par exemple des vidéos). Une interface utilisateur produite par l'application s'affiche sous forme des éléments graphiques (titres, textes, images..) sur l'écran 11 du terminal 10 et permet à l'utilisateur d'interagir avec l'application. Le terminal 10 est équipé d'un décodeur pour décoder le flux vidéo envoyé par l'application du serveur 17 pour afficher l'interface utilisateur sur l'écran 11 du terminal 10. Le terminal 10 peut être équipé d'un encodeur vidéo pour transmettre des données vidéo au serveur. The application on the server 20 allows the user to access real-time information (such as weather, stock prices ...), personal (such as the balance of a bank account, a photo album personal ...) and multimedia (such as videos). A user interface produced by the application is displayed in the form of graphic elements (titles, texts, images, etc.) on the screen 11 of the terminal 10 and allows the user to interact with the application. The terminal 10 is equipped with a decoder for decoding the video stream sent by the application of the server 17 to display the user interface on the screen 11 of the terminal 10. The terminal 10 can be equipped with a video encoder for transmitting video data to the server.

On se réfère maintenant à la figure 2A sur laquelle est illustré un premier mode de réalisation de l'invention. Dans cet exemple un lien multimédia bidirectionnel 101 fourni par une communication audiovisuelle disponible sur le réseau 3G à l'aide du protocole h324m est utilisé par un terminal 110 pour interagir avec l'application qui s'exécute sur le serveur 120 distant au terminal 110. Referring now to Figure 2A in which is illustrated a first embodiment of the invention. In this example, a bidirectional multimedia link 101 provided by an audiovisual communication available on the 3G network using the h324m protocol is used by a terminal 110 to interact with the application that runs on the remote server 120 at the terminal 110.

Dans cet exemple le terminal 110 s'agit d'un téléphone portable de type visiophone 3G. Le terminal 110 comporte un écran 111, sur lequel sera affiché une interface utilisateur fournie par le serveur 120, des touches du clavier 112, un décodeur vidéo 113 pour décoder des données vidéos reçu du serveur 120, un décodeur audio 114 pour décoder des données audio reçu du serveur 120, un encodeur vidéo 115 pour encoder des données vidéo, et un encodeur audio 116 pour encoder des données audio, une caméra 117 pour saisir des séquences d'images, des moyens 118 pour générer un flux audio, par exemple un microphone ou une oreillette Bluetooth et des moyens 119 par exemple un haut parleur pour reproduire des données audio. In this example, the terminal 110 is a mobile phone type video phone 3G. The terminal 110 comprises a screen 111, on which will be displayed a user interface provided by the server 120, keys of the keyboard 112, a video decoder 113 for decoding video data received from the server 120, an audio decoder 114 for decoding audio data received from the server 120, a video encoder 115 for encoding video data, and an audio encoder 116 for encoding audio data, a camera 117 for capturing image sequences, means 118 for generating an audio stream, for example a microphone or a Bluetooth headset and means 119 for example a speaker to reproduce audio data.

Les touches de clavier 112 sont aptes à générer des signaux DTMF logiques à l'intérieur d'une session H324m. The keyboard keys 112 are capable of generating logical DTMF signals within an H324m session.

Le serveur 120 est équipé d'un module d'application 121 ou s'exécute l'application, un module de conversion 122 comportant un logiciel permettant à un processeur de générer un flux audio et/ou vidéo, en temps réel, à partir des données générées par l'application et un encodeur 123 pour encoder le flux audio et/ou vidéo génère par le module de conversion 122. L'encodeur 123 peut être un encodeur vidéo de type H.264 comme illustré à la figure 10 par exemple ou d'autre type d'encodeur présenté dans lain E.G. Richardson û H.264 and MPEG-4 vidéo compression. John Wiley & Sons Ltd., 2003 ISBN 0-470-84837.5. Dans un mode de réalisation le serveur 120 peut être équipé d'un module de modélisation et un encodeur comme seront décrits pour le troisième mode de réalisation de l'invention. 18 Le module d'application 121, le module de conversion 122 et/ou l'encodeur 123 sont par exemple réalisés par des programmes exécutés par un ou plusieurs processeurs. Bien entendu les modules du serveur peuvent être des modules distincts comme illustrés à la figure 2A ou peuvent faire partie d'une ou plusieurs modules intégrés. The server 120 is equipped with an application module 121 or the application executes, a conversion module 122 comprising a software allowing a processor to generate an audio and / or video stream, in real time, from the data generated by the application and an encoder 123 for encoding the audio and / or video stream generated by the conversion module 122. The encoder 123 may be an H.264 type video encoder as illustrated in FIG. 10 for example, or other type of encoder presented in the EG Richardson-H.264 and MPEG-4 video compression. John Wiley & Sons Ltd., 2003 ISBN 0-470-84837.5. In one embodiment, the server 120 may be equipped with a modeling module and an encoder as will be described for the third embodiment of the invention. The application module 121, the conversion module 122 and / or the encoder 123 are for example made by programs executed by one or more processors. Of course the server modules may be separate modules as illustrated in Figure 2A or may be part of one or more integrated modules.

Le serveur 120 comporte en outre des moyens de gestion des flux entrants 124 pour recevoir et traiter des données audio transmises par le terminal 110 et pour recevoir et traiter des données vidéo transmises par le terminal 110. Les moyens 124 pour recevoir et traiter des données audio reçues du terminal 110 peuvent comporter un dispositif de reconnaissance vocale par exemple et/ou un dispositif d'enregistrement audio. Les moyens 124 pour traiter des données vidéo reçues du terminal 110 peuvent comprendre un dispositif de réalité augmentée. Par dispositif de réalité augmentée on entend un dispositif qui rend possible la superposition d'un modèle virtuel 3D ou 2D à la perception que nous avons naturellement de la réalité et ceci en temps réel. Ce dispositif peut aussi bien s'appliquer à la perception visuelle (superposition d'image virtuelle aux images réelles) qu'aux perceptions proprioceptives comme les perceptions tactiles ou auditives. Les moyens 124 pour traiter des données vidéo reçues du terminal 110 peuvent comprendre également ou comme variante, un dispositif de reconnaissance de formes et/ou un dispositif d'enregistrement vidéo. The server 120 further comprises means for managing the incoming flows 124 for receiving and processing audio data transmitted by the terminal 110 and for receiving and processing video data transmitted by the terminal 110. The means 124 for receiving and processing audio data received from the terminal 110 may comprise a voice recognition device for example and / or an audio recording device. The means 124 for processing video data received from the terminal 110 may include an augmented reality device. By augmented reality device is meant a device that makes it possible to superimpose a 3D or 2D virtual model to the perception that we naturally have of reality and this in real time. This device can be applied to visual perception (superposition of virtual images to real images) as well as to proprioceptive perceptions such as tactile or auditory perceptions. The means 124 for processing video data received from the terminal 110 may also include or alternatively a pattern recognition device and / or a video recording device.

Le serveur 120 a accès a une base de données d'applications 132 et une base de données de contenu 131. Le module d'application 121 peut récupérer des fichiers vidéo et audio dans la base de données de contenu en fonction des données d'applications pour les transmettre au terminal 110. The server 120 has access to an application database 132 and a content database 131. The application module 121 can retrieve video and audio files in the content database according to the application data. to transmit them to the terminal 110.

Le serveur est également équipé d'un module de synthèse vocale 126 pour générér des données audio à transmettre au terminal en fonction des données reçu du module de l'application 121. Le serveur 120 est équipé d'un module de multiplexage vidéo 125 pour gérer les données vidéo reçues de la base de données contenu 131 ou de l'encodeur 123 ; et un module d multiplexage audio pour gérer les données audio reçues du module de synthèse vocale 126 ou de la base de données contenu 131. 19 Comme illustré à la figure 2A l'utilisateur du terminal 110 peut interagir avec l'application sur le module d'application 121 du serveur distant par l'intermédiaire des signaux DTMF générés par les touches du clavier 112 du téléphone ; du flux audio de la voie remontante de l'entrée audio 118; et/ou du flux vidéo de la voie remontante de la caméra 117. The server is also equipped with a voice synthesis module 126 for generating audio data to be transmitted to the terminal according to the data received from the application module 121. The server 120 is equipped with a video multiplexing module 125 to manage the video data received from the content database 131 or the encoder 123; and an audio multiplexing module for managing the audio data received from the speech synthesis module 126 or the content database 131. As illustrated in FIG. 2A, the user of the terminal 110 can interact with the application on the audio module. application 121 of the remote server via the DTMF signals generated by the keys of the telephone keypad 112; the audio stream of the upstream channel of the audio input 118; and / or the video stream of the ascending path of the camera 117.

La figure 2B présente un organigramme d'un exemple d'un procédé d'échange de données entre le terminal 110 et le serveur 120. Dans une étape El 01 l'utilisateur du terminal 110 passe un appel audio ou vidéo pour initier l'accès a l'application sur le module d'application 121 du serveur 120 pour consulter des informations, comme par exemple la météo. FIG. 2B shows a flowchart of an example of a method for exchanging data between the terminal 110 and the server 120. In a step El 01, the user of the terminal 110 makes an audio or video call to initiate access application to the application module 121 of the server 120 to view information, such as the weather.

Dans une étape E102 l'application génère des données pour un premier affichage sur l'écran 111 du terminal 110 en réponse à l'appel du terminal 110. Dans le cas d'une consultation du météo par exemple l'affichage généré par l'application pourrait être, une carte de la France pour permettre à l'utilisateur de choisir une région d'intérêt. Les données générées par le module d'application 121 sont ensuite transmises du module de l'application 121 au module de conversion 122 pour les convertir en flux vidéo dans une étape E103. Alternativement l'application peut récupérer les données audiovisuelles du la base de données contenu 131, ou peut générer des données audio à partir du module de synthèse vocale en réponse à l'appel du terminal 110. In a step E102 the application generates data for a first display on the screen 111 of the terminal 110 in response to the call from the terminal 110. In the case of a weather consultation, for example, the display generated by the application could be, a map of France to allow the user to choose a region of interest. The data generated by the application module 121 is then transmitted from the application module 121 to the conversion module 122 to convert them into a video stream in a step E103. Alternatively the application can retrieve the audiovisual data from the content database 131, or can generate audio data from the speech synthesis module in response to the call from the terminal 110.

Dans une étape El 04 le flux vidéo est encodé par l'encodeur 123 et le flux encodé est envoyé au terminal 110 par le lien audiovisuel. Les données stockées dans la base de données 131 peuvent être déjà en format encodées. In a step El 04 the video stream is encoded by the encoder 123 and the encoded stream is sent to the terminal 110 by the audiovisual link. The data stored in the database 131 may already be in encoded format.

Le terminal 110 reçoit le flux vidéo encodé dans une étape El 05 et le décode à l'aide 30 du décodeur 112. Dans une étape E106 une image de la carte de France est affichée sur l'écran 111. The terminal 110 receives the video stream encoded in a step El 05 and decodes it using the decoder 112. In a step E106, an image of the map of France is displayed on the screen 111.

Dans une étape El 07 l'utilisateur du terminal 110 utilise les touches de clavier 113 pour sélectionner une région de la carte affichée sur l'écran 111 et génère ainsi des 20 données en fonction du contenu de l'affichage. Les signaux DTMF générés par les touches de clavier 112 sont ensuite transmis par le lien audiovisuel au serveur 120 dans une étape E108. Les signaux sont reçus par le serveur 120 et traité par un module de traitement DTMF 126 du serveur 120 dans une étape E109. Les données correspondent aux signaux DTMF sont ensuite transmise au module de l'application 121 dans une étape E110 dans un format utilisable par l'application. L'application traite les données et le procédé peut continuer avec l'échange de données par l'intermédiaire du line audiovisuel entre le terminal 110 et le serveur 120. In a step El 07 the user of the terminal 110 uses the keyboard keys 113 to select a region of the map displayed on the screen 111 and thus generates data according to the contents of the display. The DTMF signals generated by the keyboard keys 112 are then transmitted by the audiovisual link to the server 120 in a step E108. The signals are received by the server 120 and processed by a DTMF processing module 126 of the server 120 in a step E109. The data corresponding to the DTMF signals are then transmitted to the application module 121 in a step E110 in a format usable by the application. The application processes the data and the method can continue with the data exchange via the audiovisual line between the terminal 110 and the server 120.

L'utilisateur peut également fournir des données d'interface sous forme audio (par sa voix par exemple) ou sous forme vidéo (par transmission d'une image ou une séquence d'images enregistrée par exemple). The user can also provide interface data in audio form (by voice for example) or in video form (by transmission of an image or a sequence of recorded images for example).

Les avantages de cette solution sont multiples : -L'interopérabilité est garantie par l'application initiale du protocole H324m : la communication audio-visuelle entre le serveur 120 et le terminal 110. Ceci impose un respect scrupuleux du protocole H324m ainsi que des standards de compression audio et vidéo. -Le rendu sur l'écran 111 du terminal 110 est garanti par le fait qu'une image vidéo est transmise "au pixel près", et que la taille de l'image est négociée à l'initialisation de la session H324m. -La vitesse d'exécution de l'application n'est pas limitée par la puissance de calcul et la mémoire disponible sur le terminal 110. L'application peut consommer une grande quantité de ressources du serveur 120 sans compromettre l'autonomie du terminal 10. Les ressources consommées incluent la bande passante pouvant être utilisée pour communiquer avec d'autres services. -L'accès à l'application sur le serveur 120 est simple et rapide. Il suffit de passer un appel vidéo. Aucun logiciel supplémentaire ne doit être téléchargé ni installé. -La diffusion de séquences audiovisuelles est simple et instantanée The advantages of this solution are multiple: Interoperability is guaranteed by the initial application of the H324m protocol: the audio-visual communication between the server 120 and the terminal 110. This imposes a scrupulous respect of the H324m protocol as well as the standards of audio and video compression. The rendering on the screen 111 of the terminal 110 is guaranteed by the fact that a video image is transmitted "to the nearest pixel", and that the size of the image is negotiated at the initialization of the session H324m. -The speed of execution of the application is not limited by the computing power and the available memory on the terminal 110. The application can consume a large amount of resources of the server 120 without compromising the autonomy of the terminal 10 The resources consumed include the bandwidth that can be used to communicate with other services. -Access to the application on the server 120 is simple and fast. Just make a video call. No additional software should be downloaded or installed. -The broadcasting of audiovisual sequences is simple and instantaneous

Un deuxième mode de réalisation de l'invention propose de donner à un utilisateur d'un terminal en situation de mobilité ayant accès a une application sur un serveur 21 distant la possibilité d'interagir plus finement avec l'application tournant sur le serveur. A second embodiment of the invention proposes to give a user of a mobile terminal having access to an application on a remote server 21 the possibility of interacting more finely with the application running on the server.

Dans cet exemple le terminal 210 comporte un écran 211, sur lequel sera affiché, comme dans l'exemple précédent, une interface utilisateur pour interagir avec une application sur un serveur distant 220, des décodeurs audio 213 et vidéo 214 pour décoder des données vidéos et/ou audio reçu du serveur 220, des touches du clavier 212, un haut parleur 219 pour reproduire des données audio et une interface Bluetooth 215 pour communiquer avec un dispositif de positionnement ou pointeur 250 équipé d'une radio Bluetooth pour navigation de l'application. Comme dans l'exemple précédent les touches de clavier 212 peuvent être aptes à générer des signaux DTMF logiques à l'intérieur d'une session H324m. Le terminal 210 peut être équipé des moyens pour générer un flux audio et des moyens pour générer un flux vidéo comme dans le terminal de l'exemple précédent. Le terminal comporte en outre un transcodeur audio 216 pour transcoder des données audio destinées au serveur. In this example, the terminal 210 comprises a screen 211, on which will be displayed, as in the previous example, a user interface for interacting with an application on a remote server 220, audio decoders 213 and video decoders 214 for decoding video data and / or audio received from the server 220, keys of the keyboard 212, a speaker 219 for reproducing audio data and a Bluetooth interface 215 for communicating with a positioning device or pointer 250 equipped with a Bluetooth radio for application navigation . As in the previous example, the keyboard keys 212 may be able to generate logical DTMF signals within an H324m session. The terminal 210 may be equipped with means for generating an audio stream and means for generating a video stream as in the terminal of the preceding example. The terminal further comprises an audio transcoder 216 for transcoding audio data for the server.

Ce deuxième mode de réalisation se différencie du premier en ce que le terminal 210 est équipé d'un pointeur de navigation 250 pour fournir des données de mouvement de l'utilisateur. Le pointeur 250 est équipé d'un processeur, d'une radio Bluetooth 252, d'un accumulateur électrique, d'un module de positionnement 254 et d'un modulateur 255. Le module de positionnement 254 peut être de type souris, ou de type accéléromètre, par exemple. Le pointeur 250 est intégré à un dispositif se positionnant dans la main ou sur l'index de l'utilisateur comme illustre à la figure 3C. This second embodiment differs from the first in that the terminal 210 is equipped with a navigation pointer 250 to provide the user's movement data. The pointer 250 is equipped with a processor, a Bluetooth radio 252, an electric accumulator, a positioning module 254 and a modulator 255. The positioning module 254 may be of the mouse type, or accelerometer type, for example. The pointer 250 is integrated with a device positioned in the hand or the index of the user as shown in Figure 3C.

Le serveur 220 est équipé d'un module d'application 221, un module de conversion 222 comportant un logiciel permettant à un processeur de générer un flux audio et/ou vidéo, en temps réel à partir des données générées par l'application; un encodeur 223 pour encoder le flux vidéo et/ou audio généré par le module de conversion 222 pour transmission vers le terminal 210 ; et un démodulateur 226 pour démoduler des données reçues par un canal audio. Comme dans le mode de réalisation précédent le serveur a accès à une base de données d'applications 232 et une base de données du contenu 231 pour récupérer les fichiers audio et/ou vidéo pour transmettre au terminal 210. 22 Les téléphones 3G équipés en Bluetooth supportent le profile "Headset profile" défini dans le standard Bluetooth. En utilisation normale, lors d'un appel vidéo, une oreillette Bluetooth est utilisée pour délocaliser la fonctionnalité audio du terminal vers la tête de l'utilisateur. Dans ce deuxième mode de réalisation le pointeur 250 est vu, par le téléphone 210, comme une oreillette Bluetooth. Les données du mouvement de l'index de l'utilisateur et donc du pointeur 250 sont modulées dans le canal audio montant transmis par le pointeur 250 vers le serveur 220. Une modulation robuste au transcodage CSV (Bluetooth) vers AMR (H324m) audio peut être effectuée par le transcodeur audio 214 pour la transmission de ces données. The server 220 is equipped with an application module 221, a conversion module 222 comprising software enabling a processor to generate an audio and / or video stream, in real time, from the data generated by the application; an encoder 223 for encoding the video and / or audio stream generated by the conversion module 222 for transmission to the terminal 210; and a demodulator 226 for demodulating data received by an audio channel. As in the previous embodiment, the server has access to an application database 232 and a content database 231 for retrieving the audio and / or video files for transmission to the terminal 210. 22 3G phones equipped with Bluetooth support the "Headset profile" profile defined in the Bluetooth standard. In normal use, during a video call, a Bluetooth headset is used to delocalize the audio functionality of the terminal to the user's head. In this second embodiment the pointer 250 is seen by the phone 210 as a Bluetooth headset. The data of the movement of the index of the user and thus of the pointer 250 are modulated in the upstream audio channel transmitted by the pointer 250 to the server 220. A robust modulation to the transcoding CSV (Bluetooth) to AMR (H324m) audio can be performed by the audio transcoder 214 for the transmission of these data.

Dans le serveur 220, les données audio reçu via le canal audio sont démodulés par le module de démodulation 226 afin de récupérer les données de mouvement du pointer 250 et de les transmettre à l'application en cours, dans le module de l'application 221, sous forme d'événements. Une détection de porteuse ou de séquence prédéfinie pourra permettre au serveur 220 de détecter la présence du pointeur 250. In the server 220, the audio data received via the audio channel is demodulated by the demodulation module 226 to retrieve the motion data from the pointer 250 and transmit it to the current application in the application module 221. , in the form of events. A predefined carrier or sequence detection may allow the server 220 to detect the presence of the pointer 250.

En mode d'utilisation des informations d'affichage sont générées par le module d'application 221 et sont converties en format audio-visuel pour transmission par le module de conversion 222. Les données audiovisuelles sont encodées par l'encodeur 223 et envoyées au terminal 210. Alternativement les données audiovisuelles encodées peuvent être récupérées de la base de données contenu 231. Les données audiovisuelles sont ensuite décodées par le décodeur 213 et ou 214 et une interface d'utilisation est affichée sur l'écran 211. L'utilisateur déplace son index sur lequel est monté le pointeur 250 en réponse au contenu de l'affichage pour naviguer l'application sur le serveur 220 et ainsi donner des instructions a l'application . Les données de mouvement en fonction du déplacement du pointeur 250 sont modulées par le transcodeur audio 216 au transcodage CSV (Bluetooth) vers AMR (H324m) audio et sont ensuite transmis au serveur 210 par l'intermédiaire d'un canal audio. Le démodulateur 226 démodule ces données de mouvement. Les données de mouvement sont ensuite traitées par le module d'application 221 pour récupérer les instructions de navigation de l'utilisateur. 23 Ainsi le mouvement de l'index de l'utilisateur peut être utilisé pour récupérer les intentions ou les instructions de l'utilisateur vis-à-vis de l'application. In use mode the display information is generated by the application module 221 and is converted to audio-visual format for transmission by the conversion module 222. The audiovisual data is encoded by the encoder 223 and sent to the terminal Alternatively, the encoded audiovisual data can be retrieved from the content database 231. The audiovisual data is then decoded by the decoder 213 and or 214 and a user interface is displayed on the screen 211. The user moves his index on which is mounted the pointer 250 in response to the content of the display to navigate the application on the server 220 and thus give instructions to the application. The motion data as a function of the displacement of the pointer 250 is modulated by the audio transcoder 216 to the transcoding CSV (Bluetooth) to AMR (H324m) audio and is then transmitted to the server 210 via an audio channel. The demodulator 226 demodulates these motion data. The motion data is then processed by the application module 221 to retrieve the navigation instructions from the user. Thus the movement of the user's index can be used to retrieve the user's intentions or instructions to the application.

Par exemple, dans le cas où on visualise une image plus grande que l'écran du terminal, les mouvements de l'index peuvent indiquer le mouvement de translation désiré de l'image visualisée. Un autre exemple consiste à reproduire sur l'écran un pointeur, et à interpréter des mouvements de l'index pour déplacer ce pointeur sur l'écran. Un mouvement spécifique du pointeur 250 peut être utilisé pour déplacer d'une partie d'une image à une autre partie, d'une image à une autre, d'une liste à une autre liste, d'un écran à un autre écran, de répondre oui ou non etc. For example, in the case of viewing an image larger than the screen of the terminal, the movements of the index can indicate the desired translational movement of the image displayed. Another example is to reproduce on the screen a pointer, and to interpret movements of the index to move this pointer on the screen. A specific movement of the pointer 250 can be used to move from one part of an image to another part, from one image to another, from one list to another list, from one screen to another screen, to answer yes or no etc.

Ainsi I"utilisateur peut parcourir l'interface de l'utilisateur pour interagir plus finement avec l'application. Le pointeur 250 permet donc une navigation plus intuitive de l'application dans l'interface utilisateur lorsque la voie audio remontante du terminal 210 au serveur 220 n'est pas utilisée. Thus the user can browse the interface of the user to interact more finely with the application The pointer 250 thus allows a more intuitive navigation of the application in the user interface when the audio track from the terminal 210 to the server 220 is not used.

Avantageusement on peut équiper l'index de l'utilisateur d'un bouton actionnable avec le pouce, et pouvant faire office de "clic" (cas de la souris)... l'information de pression sur ce bouton pour être adjointe aux données d'accélération avant modulation. Advantageously one can equip the index of the user of a button operable with the thumb, and can act as a "click" (case of the mouse) ... the pressure information on this button to be added to the data acceleration before modulation.

Un avantage de ce mode de réalisation est qu'il ne nécessite le téléchargement d'aucun logiciel ou driver spécialement conçu sur le téléphone mobile pour être utilisé puisque il peut utiliser un profile existant du standard Bluetooth. An advantage of this embodiment is that it does not require the downloading of any specially designed software or driver on the mobile phone to be used since it can use an existing Bluetooth standard profile.

Comme représenté sur la figure 4 dans un troisième mode de réalisation de l'invention, le serveur 320 comporte un module d'application 321, un module de modélisation 322 et un encodeur 323. Le module de modélisation 321 présente un modèle pour permettre à la fois de décrire simplement les éléments d'une interface utilisateur à afficher sur le terminal 310, et de pouvoir générer par l'encodeur 323 un flux vidéo compressé à partir des éléments descriptifs du modèle avec peu de calculs. Ce modèle permet aussi de simplifier la composition des images. 24 Comme illustré a la figure 5 le module de modélisation 322 constitue une interface entre le module d'application 321 définissant ce qui doit être affiché à l'écran 311, et l'encodeur 323 qui utilise les informations générées par le module de modélisation 322 pour générer le flux vidéo à envoyer au terminal 310. A cet effet le module de modélisation 322 reçoit des informations d'affichage du module d'application 321 et traite les informations d'affichage de manière à fournir une information d'encodage et l'image à encoder à l'encodeur. L'encodeur 323 peut ainsi encoder l'image à encoder utilisant l'information d'encodage. Le module de modélisation 322 est conçu de manière à utiliser un modèle qui permet à la foi de décrire simplement des écrans complexes, et à l'encodeur 323 d'utiliser efficacement les informations du modèle lors de l'encodage. As shown in FIG. 4 in a third embodiment of the invention, the server 320 comprises an application module 321, a modeling module 322 and an encoder 323. The modeling module 321 presents a model for enabling the time to simply describe the elements of a user interface to be displayed on the terminal 310, and to be able to generate by the encoder 323 a compressed video stream from the descriptive elements of the model with few calculations. This model also simplifies the composition of images. As illustrated in FIG. 5, the modeling module 322 constitutes an interface between the application module 321 defining what must be displayed on the screen 311, and the encoder 323 that uses the information generated by the modeling module 322. to generate the video stream to be sent to the terminal 310. For this purpose the modeling module 322 receives display information from the application module 321 and processes the display information to provide encoding information and the image to be encoded at the encoder. The encoder 323 can thus encode the image to be encoded using the encoding information. The modeling module 322 is designed to use a model that allows the faith to simply describe complex screens, and the encoder 323 to effectively use the model information during encoding.

Le troisième mode de réalisation de l'invention propose de modéliser l'affichage par des calques superposés (C1...Ci...CN) comme illustre à la figure 6A. Chaque calque Ci est constitué d'un ensemble de M pixels (P1..Pi....PM). Chaque pixel Pi est caractérisé par un vecteur de couleur Vc à quatre dimensions (R, G, B, A) définissant la couleur du Pixel Pi ainsi qu'un facteur de transparence Ftp. N calques Ci sont empilés l'un sur l'autre. The third embodiment of the invention proposes to model the display by superimposed layers (C1 ... Ci ... CN) as illustrated in FIG. 6A. Each layer Ci consists of a set of M pixels (P1..Pi .... PM). Each pixel Pi is characterized by a four-dimensional color vector Vc (R, G, B, A) defining the color of the pixel Pi as well as a transparency factor Ftp. N layers Ci are stacked on top of each other.

Ce modèle 3221 en forme de calques (C1...Ci...CN) empilés permet de définir commodément les effets utiles à la présentation d'informations issues de l'application sur le serveur 320 à un utilisateur du terminal 310. Par exemple, on peut dessiner sur le calque CN le plus bas, une image de fond, et dessiner du texte sur le calque supérieur C1. Ainsi, il est possible de modifier le texte sur le calque C1 et conserver le fond défini sur le calque CN sans que l'application ait besoin de dessiner les pixels de l'image de fond sur le calque CN à chaque modification du texte du calque C1. Au titre d'exemple pour qu'une icône apparaisse progressivement à l'écran 311 du terminal 310, on peut dessiner l'icône sur un calque Ci au-dessus d'un fond du calque CN par exemple, et faire varier sa transparence F. 25 Lorsqu'on veut faire une transition entre deux images d'affichage sur l'écran 311 du terminal 310 par exemple, on peut placer les deux images sur deux calques Ci et Ci+1, par exemple, et faire varier les transparences Ftp des pixels (P,..Pi....PM). des calques concernés pour donner un effet de fondu enchaîné. This model 3221 in the form of layers (C1 ... Ci ... CN) stacked makes it possible to conveniently define the effects useful for the presentation of information from the application on the server 320 to a user of the terminal 310. For example , you can draw on the lowest CN layer, a background image, and draw text on the top layer C1. Thus, it is possible to modify the text on the layer C1 and keep the background defined on the layer CN without the application needing to draw the pixels of the background image on the layer CN with each modification of the text of the layer C1. By way of example, for an icon to appear progressively on the screen 311 of the terminal 310, it is possible to draw the icon on a layer Ci above a background of the layer CN, for example, and to vary its transparency F When it is desired to make a transition between two display images on the screen 311 of the terminal 310 for example, it is possible to place the two images on two layers Ci and Ci + 1, for example, and to vary the transparencies Ftp pixels (P, .. Pi .... PM). relevant layers to give a crossfade effect.

En outre, chaque calque Ci possède un vecteur de déplacement Vd à deux dimensions, un scalaire Stc définissant une transparence pour l'ensemble du calque ainsi qu'une table appelée table des bloc modifiés ou en anglais layer altered block déterminant, pour un bloc Bi de pixels (P,..Pi....PM). de calque Ci, si le bloc Bi a été modifié par l'application, s'il est totalement opaque, totalement transparent ou ni l'un ni l'autre. Un bloc Bi peut être constitué par exemple, de 8x8 pixels. In addition, each layer Ci has a two-dimensional displacement vector Vd, a scalar Stc defining a transparency for the entire layer as well as a table called a modified block table or in English layer altered block determining, for a block Bi pixels (P, .. Pi .... PM). if the block Bi has been modified by the application, if it is totally opaque, completely transparent or neither. A block Bi can consist for example of 8x8 pixels.

La table 1 est un exemple d'une représentation d'une telle table Bloc # Modification Transparence 9 1 0 0 2 N X 1 N T N O X Table 1 20 Dans la table la première colonne identifie les blocs, la deuxième indique si le bloc a été modifie oui (0) ou (N) et la troisième colonne indique si le bloc est opaque (0), transparent (T) ou ni l'un ni l'autre (X). Table 1 is an example of a representation of such a table Block # Modification Transparency 9 1 0 0 2 NX 1 NTNOX Table 1 20 In the table the first column identifies the blocks, the second indicates if the block has been modified yes (0) or (N) and the third column indicates whether the block is opaque (0), transparent (T) or neither (X).

Un mémoire tampon de trame 3222 représente l'image à encoder. L'image à encoder 25 est composé des pixels groupés en groupes de pixels appelés macroblocs. Un macrobloc (ou macroblock en anglais) peut correspondre à un groupe de 1616 pixels par exemple. Dans les variantes un macrobloc peut correspondre à 16*8, 8*16 ou 8*8 par exemple.On y adjoint une table appelée table des modifications des macroblocs, décrivant, pour un macrobloc MBm de l'image composée par le modèle 26 21 si le macrobloc MBm a été modifié par rapport à l'image précédente. Un macrobloc MBm est composé d'un nombre de blocs Bmk comme illustré à la figure 6B. Le nombre de blocs qui constituent un macrobloc dépend du standard d'encodage vidéo utilisé. La table 2 est un exemple d'une telle table Macrobloc Modification depuis Vecteur de mouvement # l'image précédente 1 0 V, 2 N V2 i O Vi N O Vä Table 2 A frame buffer 3222 represents the image to be encoded. The image to be encoded 25 is composed of pixels grouped into groups of pixels called macroblocks. A macroblock (or macroblock in English) can correspond to a group of 1616 pixels for example. In the variants, a macroblock may correspond to 16 * 8, 8 * 16 or 8 * 8 for example. A table called macroblock modification table is added, describing, for a macroblock MBm of the image composed by the model 26 21 if the macroblock MBm has been modified compared to the previous image. A macroblock MBm is composed of a number of blocks Bmk as illustrated in FIG. 6B. The number of blocks that constitute a macroblock depends on the video encoding standard used. Table 2 is an example of such a table Macroblock Modification from Motion vector # the previous image 1 0 V, 2 N V2 i O Vi N O Va Table 2

Dans la table la première colonne identifie les macroblocs, la deuxième indique si le macrobloc a été modifie oui (0) ou (N) depuis l'image précédente et la troisième 15 colonne indique les calques modifies par mouvement. In the table the first column identifies the macroblocks, the second indicates whether the macroblock has been modified yes (0) or (N) from the previous image and the third column indicates the layers modified by movement.

Dans l'image un pixel image est constitué d'un mélange des pixels superposés des calques par un procédé de mélange des pixels avec alpha ou pixel alpha blending en anglais. In the image, an image pixel consists of a mixture of the superimposed pixels of the layers by a process of mixing the pixels with alpha or pixel alpha blending in English.

Un exemple de la composition d'un macrobloc est illustré à la Figure 6B. MBm représente le macrobloc m du tampon mémoire de trame. Pour simplifier, seuls les blocs Y de luminosité sont représentés. MBm est donc constitué de quatre blocs. Bm3 est le troisième bloc du macrobloc MBm du tampon mémoire de trame. An example of the composition of a macroblock is shown in Figure 6B. MBm represents the macroblock m of the frame buffer. For simplicity, only Y blocks of brightness are represented. MBm is made up of four blocks. Bm3 is the third block of the macroblock MBm of the frame buffer.

Dans cet exemple, C; représente le calque i, Ci représente le calque j, V; représente le vecteur de translation du calque i par rapport à o, V; représente le vecteur de translation du calque j par rapport à o, o représente une origine fixe par rapport à tampon mémoire de trame, Bc;, représente le bloc I du calque i, et Bck représente le 10 20 25 27 2940703 bloc k du calque j. In this example, C; represents the layer i, Ci represents the layer j, V; represents the translation vector of the layer i with respect to o, V; represents the translation vector of the layer j with respect to o, o represents a fixed origin with respect to the frame buffer, Bc ;, represents the block I of the layer i, and Bck represents the block of the layer j.

Zm3iljk représente la zone du bloc 3 du macrobloc m affecté par les blocs i du calque I et j du calque k. On suppose dans cet exemple que le calque i est au dessus du 5 calque j, c'est-à-dire qu'une zone opaque du calque i peut occulter un zone du calque i. Zm3iljk represents the zone of block 3 of the macroblock m affected by the blocks i of the layer I and j of the layer k. Suppose in this example that the layer i is above the layer j, that is to say that an opaque zone of the layer i can hide an area of the layer i.

Si, par exemple, le bloc Bc;, est marqué comme opaque et modifié alors le macrobloc MBm sera marqué comme modifié. Si, en revanche, le bloc Bc;, est marqué comme transparent, en mouvement, et le bloc Bck est marqué comme ni opaque ni transparent, non modifié, alors le macrobloc MBm ne sera pas marqué comme modifié. If, for example, the block Bc ;, is marked as opaque and modified then the macroblock MBm will be marked as modified. If, on the other hand, the block Bc ;, is marked as transparent, in motion, and the block Bck is marked as neither opaque nor transparent, unmodified, then the macroblock MBm will not be marked as modified.

Pour toutes les zones Zm3xxxx qui affectent le block Bm3, les indications des tables de modification des blocs de calques ainsi que les descriptions de mouvement et de transparence des calques permettent d'évaluer sa contribution à la modification de la mémoire tampon de trame. Le vecteur de mouvement du macrobloc MBm sera choisi parmi les vecteurs de mouvement des calques. For all zones Zm3xxxx that affect the block Bm3, the indications of the tables of modification of the blocks of layers as well as the descriptions of movement and transparency of the layers make it possible to evaluate its contribution to the modification of the buffer of frame. The motion vector of the macroblock MBm will be chosen from the motion vectors of the layers.

Un exemple du procède de modélisation selon un mode de réalisation de l'invention sera décrit en référant aux figures 7a à 7c. Dans une première étape E31 du procédé le module de l'application 321 envoi une information d'affichage au module de modélisation 322. L'information d'affichage peut être en forme des primitives. An example of the modeling process according to one embodiment of the invention will be described with reference to FIGS. 7a to 7c. In a first step E31 of the method, the module of the application 321 sends a display information to the modeling module 322. The display information can be in the form of the primitives.

Dans une étape E32 le module de modélisation 322 peut modifier le contenu des calques Ci en fonction d'information d'affichage reçu à l'aide de primitives. Les primitives permettant par exemple de copier une image à un ou plusieurs calques à partir d'un fichier au format png ou jpeg, d'y dessiner un rectangle, ou d'y ajouter du texte à partir d'une police de caractères. In a step E32, the modeling module 322 can modify the contents of the layers Ci as a function of display information received using primitives. Primitives allowing for example to copy an image to one or more layers from a file in png or jpeg format, to draw a rectangle, or to add text from a font.

Au titre d'exemple une primitive select layer permet de sélectionner un calque courant C; que les primitives appelées ultérieurement vont affecter. Alternativement, on peut ajouter à chaque primitive le calque C; auquel elle s'applique. 28 Par exemple, la primitive rectangle utilisera les paramètres suivants : . x, y : position du coin supérieur gauche . w, h : largeur et hauteur du rectangle . c : couleur de remplissage du rectangle Cette primitive dessinera sur le calque courant C;, à la position défini par les coordonnées (x, y), un rectangle de largeur w et de hauteur h. L'intérieur de ce rectangle sera rempli par la couleur c. As an example, a select layer primitive is used to select a current layer C; that primitives called later will affect. Alternatively, we can add to each primitive the layer C; to which it applies. For example, the rectangle primitive will use the following parameters:. x, y: position of the upper left corner. w, h: width and height of the rectangle. c: fill color of the rectangle This primitive will draw on the current layer C;, at the position defined by the coordinates (x, y), a rectangle of width w and height h. The interior of this rectangle will be filled with color c.

Dans une étape E33 des données des calques (facteur de transparence, vecteur de mouvement, et la table des blocs modifiés sont modifiés conformément à la réalisation de la primitive ou des primitives invoquée par l'application. A cet effet des primitives modifient le calque Ci auquel elles s'appliquent, et modifient la table des blocs modifiés conformément aux modifications effectuées par les primitives. Par exemple, la primitive rectangle invoquée avec les paramètres opérationnel x=0, y=O, w=8, h=8, c=noir, modifie le calque courant Ci , et indique dans la table des blocs modifiés que le premier bloc B1 du calque Ci a été modifié. In a step E33, layer data (transparency factor, motion vector, and modified block table are modified in accordance with the implementation of the primitive or primitives invoked by the application.) For this purpose, primitives modify the layer Ci to which they apply, and modify the modified block table according to the modifications made by the primitives, for example, the primitive rectangle invoked with the operational parameters x = 0, y = 0, w = 8, h = 8, c = black, modifies the current layer Ci, and indicates in the table of modified blocks that the first block B1 of the layer Ci has been modified.

De plus, on peut, à tout instant et pour chaque calque, définir un mouvement de translation par le vecteur de déplacement Vd, ainsi qu'une variation du facteur de transparence par moyen du scalaire de transparence Stc. Par exemple, on peut définir une primitive déplacer à ou en anglais move to à laquelle les paramètres suivants sont transmis : . x, y : coordonnées de la position finale du calque . t : temps de la translation Moreover, it is possible, at any time and for each layer, to define a translation movement by the displacement vector Vd, as well as a variation of the transparency factor by means of the transparency scalar Stc. For example, we can define a move to or in English move to primitive to which the following parameters are passed:. x, y: coordinates of the final position of the layer. t: translation time

Cette primitive déplace le calque Ci courant de sa position courante à la position définie par les coordonnées (x, y) en un temps t défini en millisecondes par exemple. This primitive moves the current layer Ci from its current position to the position defined by the coordinates (x, y) in a time t defined in milliseconds, for example.

Pour chaque image à encoder, pour chaque macrobloc MBm du mémoire tampon de trame représentant l'image, dans une étape E34 on explore les blocs Bi des calques Ci qui ont une intersection non vide avec ce macrobloc MBm. Les calques étant empilés, chaque macrobloc MBmdu buffer de trame est constitué à partir de, 29 potentiellement, au moins une partie des pixels de plusieurs blocs Bmk de chaque calque Ci comme illustre à la figure 6B. Pour détecter si un macrobloc MBmi a subi des modifications, ainsi que la nature de ces modifications, on doit donc analyser les blocs Bi des calques Ci qui affectent ce macrobloc MBm. For each image to be encoded, for each macroblock MBm of the frame buffer representing the image, in a step E34, the blocks Bi of the layers Ci which have a non-empty intersection with this macroblock MBm are explored. Since the layers are stacked, each macroblock MB m of the frame buffer is made from, potentially, at least a portion of the pixels of several blocks Bmk of each layer Ci as illustrated in FIG. 6B. In order to detect whether an MBmi macroblock has undergone modifications, as well as the nature of these modifications, it is therefore necessary to analyze the blocks Bi of the layers Ci that affect this macroblock MBm.

Si les blocs Bi correspondants sont marqués dans la table des modifications des macroblocs comme ayant été modifiés par l'application, ou s'ils ne sont pas totalement transparents et que le calque Ci auquel ils appartiennent est animé d'un mouvement, ou si ce calque Ci subit un changement de transparence, alors le macrobloc MBm du mémoire tampon est recalculé. Ainsi, avec cette modélisation, on simplifie aussi l'étape E35 de composition de l'image d'affichage à partir des calques Ci. Dans l'étape E35 une image est composée par moyen des calques Ci en fonction d'information d'affichage transmis par le module d'application 321. If the corresponding Bi blocks are marked in the macroblock modification table as having been modified by the application, or if they are not totally transparent and if the Ci layer to which they belong is animated by a movement, or if layer Ci undergoes a change of transparency, then the macroblock MBm of the buffer is recalculated. Thus, with this modeling, the step E35 of composition of the display image from the layers Ci is also simplified. In step E35, an image is composed by means of the layers Ci as a function of display information. transmitted by the application module 321.

Dans l'étape E34 les données relatives au macrobloc Mbi dans la table "des modifications des macroblocs sont modifiées en conséquence des modifications du bloc Bi: dans la table on indique si le macrobloc MBma été modifié depuis l'image précédente, ainsi que les vecteurs de mouvement correspondant aux calques Ci qui ont induit une altération du macrobloc MBm par leur mouvement. Ainsi on peut constituer d'information d'encodage pour l'étape d'encodage In the step E34, the data relating to the macroblock Mbi in the table "of the macroblock modifications are modified as a result of the modifications of the block Bi: in the table it is indicated whether the macroblock MB has been modified from the previous image, as well as the vectors of motion corresponding to the layers Ci which induced an alteration of the macroblock MBm by their movement Thus one can constitute encoding information for the encoding step

Un arbitrage est nécessaire si plusieurs calques Ci ont une translation simultanée différente. Dans ce cas, un critère sera employé pour utiliser le vecteur Vd le plus judicieux. Dans l'étape d'encodage on peut, par exemple, encoder le macrobloc 25 MBmi avec le vecteur de déplacement Vd de chaque calque Ci concerné et choisir celui pour lequel la compression de données est la plus efficace. An arbitration is necessary if several Ci layers have a different simultaneous translation. In this case, a criterion will be used to use the most judicious Vd vector. In the encoding step, it is possible, for example, to encode the macroblock MBmi with the displacement vector Vd of each layer Ci concerned and to choose the one for which the data compression is the most effective.

L'image composée par le module de modélisation 322 selon l'information d'affichage de l'application est ensuite transmis au module d'encodage 323 avec l'information 30 d'encodage. The image composed by the modeling module 322 according to the display information of the application is then transmitted to the encoding module 323 with the encoding information.

Dans l'étape E36 du procédé l'encodage est effectué par l'encodeur 323 à partir des informations d'encodage transmis par le module de modélisation 322 . 30 En se référant à la figure 7b la structure interne traditionnelle de l'encodeur vidéo 323 est conçue de manière de tirer partie des informations d'encodage transmises par le module de modélisation 322 . Une partie dit "asynchrone" est intégrée avec l'application. Elle est donc synchronisée sur les actions de l'utilisateur. Cette partie du codeur 323 organise les données issues de l'application, afin de simplifier les calculs de la partie dite "synchrone" de l'encodage 10 Dans une étape de transformation DCT (discrète en cosinus), pour chaque macrobloc, chaque bloc constituant ce macrobloc est transformé à l'aide d'une transformation discrète en cosinus à 2 dimensions. In step E36 of the method encoding is performed by the encoder 323 from the encoding information transmitted by the modeling module 322. Referring to Figure 7b, the traditional internal structure of the video encoder 323 is designed to take advantage of the encoding information transmitted by the modeling module 322. Part said "asynchronous" is integrated with the application. It is synchronized with the actions of the user. This part of the encoder 323 organizes the data coming from the application, in order to simplify the calculations of the so-called "synchronous" part of the encoding. In a DCT (discrete cosine) transformation step, for each macroblock, each block constituting this macroblock is transformed using a discrete 2-dimensional cosine transformation.

15 L'étape de transformation DCT est suivie par une étape de quantification. Cette étape consiste à diminuer le nombre de bits utilisés pour coder chaque coefficient résultat de la transformation DCT. L'étape de quantification est suivie d'une étape de codage entropique basé sur des codes à longueur variable. The DCT transformation step is followed by a quantization step. This step consists of reducing the number of bits used to code each result coefficient of the DCT transformation. The quantization step is followed by an entropy coding step based on variable length codes.

20 Une étape de quantification inverse est l'opération inverse de la quantification PE4. Une étape de transformation DCT inverse est l'opération inverse de la transformation DCT. Ces étapes sont effectuées pour une phase d'estimation différentielle. Dans la phase d'estimation différentielle lorsqu'un macrobloc est encodé en mode différentiel, une différence entre l'image courante et l'image 25 précédemment envoyée est effectuée, telle qu'elle sera décodée. Pour diminuer la quantité d'information à transmettre, un vecteur de translation est appliqué au macrobloc de l'image précédente afin qu'il s'approche au mieux de l'image courante. La recherche de ce vecteur est appelée recherche des vecteurs de mouvement . Cette différence est ensuite transformée, quantifiée puis encodée. 30 Le flux vidéo composé des images encodées en conformité avec l'information d'encodage correspondante sort de l'encodeur 323 et est envoyé au terminal 310 par un lien H324m dans une étape E37. 31 La transmission du flux vidéo se faisant par l'intermédiaire d'ondes radio, il est probable que lors de la session des paquets soient perdus. Il faut donc veiller à ce que chaque macrobloc MBm de l'image soit régulièrement encodé en mode intra. Ceci est fait en parallèle, avec un motif de rafraîchissement qui sera adapté à la bande passante disponible, à la réactivité souhaitée, ainsi qu'au niveau de robustesse à la perte de paquets souhaitée. Ce motif peut consister en un macrobloc par image, un macrobloc par "group of blocs", tous les macroblocs d'un "group of blocs" sur deux etc... An inverse quantization step is the inverse operation of PE4 quantization. An inverse DCT transformation step is the reverse operation of the DCT transformation. These steps are performed for a differential estimation phase. In the differential estimation phase when a macroblock is encoded in differential mode, a difference between the current image and the previously sent image is made as it will be decoded. To reduce the amount of information to be transmitted, a translation vector is applied to the macroblock of the previous image so that it approaches the best of the current image. The search for this vector is called motion vector search. This difference is then transformed, quantified and encoded. The video stream composed of the encoded images in accordance with the corresponding encoding information exits the encoder 323 and is sent to the terminal 310 via a link H324m in a step E37. Since the transmission of the video stream is via radio waves, it is likely that during the session packets will be lost. It must therefore be ensured that each macroblock MBm of the image is regularly encoded in intra mode. This is done in parallel, with a refresh pattern that will be adapted to the available bandwidth, desired responsiveness, and desired packet loss robustness level. This pattern can consist of a macroblock by image, a macroblock by "group of blocks", all the macroblocks of a "group of blocks" out of two etc ...

La synchronisation entre l'application et l'encodeur devrait être effectuée avec soin. Notamment, une fois l'image encodée, les blocs marqués comme modifiés par l'application doivent être marqués comme non-modifiés avant que l'application ne reprenne la main. Synchronization between the application and the encoder should be done carefully. In particular, once the image is encoded, the blocks marked as modified by the application must be marked as unmodified before the application can resume.

Le terminal 310 reçoit le flux vidéo et le décode a l'aide du décodeur 312 pour afficher l'interface utilisateur défini par le flux vidéo sur l'écran 311. The terminal 310 receives the video stream and decodes it using the decoder 312 to display the user interface defined by the video stream on the screen 311.

Un quatrième mode de réalisation de l'invention propose une méthode permettant, en une seule étape, de filmer enregistrer et diffuser une séquence vidéo et/ou des 20 données audio avec un terminal mobile. A fourth embodiment of the invention proposes a method allowing, in a single step, to film record and broadcast a video sequence and / or audio data with a mobile terminal.

Dans ce mode de réalisation de l'invention illustré aux figures 8A à 8C un terminal 410 et un serveur 420 se communiquent par moyen d'un réseau 401 de type GSM 3G. Le terminal 410 comporte un décodeur vidéo 413, un clavier de touches 412 and 25 un écran 411. Le terminal 410 est équipé d'un module camera 416 et un microphone 414 permettant de capter des séquences d'images et du son accompagnant les séquences d'images, ainsi que un encodeur vidéo 415 et un encodeur audio 416 pour encoder respectivement un flux vidéo et un flux audio pour transmission vers le serveur 420 par l'intermédiaire d'un lien audiovisuel du protocole H324m 401. 30 Le serveur 420 comporte un module d'application 421, un module de modélisation 422, un encodeur pour encoder un flux vidéo, et un module d'enregistrement 425 pour enregistrer un flux audio et/ou un flux vidéo de la voie remontante du terminal 410. Le module d'application d'enregistrement 425 a accès à deux bases de 32 données : une première base de données 431 stockant les profils utilisateurs et une deuxième base de données 432 stockant le contenu audio-visuel reçu d'un terminal mobile et enregistré. Bien entendu les données des profils utilisateurs et le contenu audio-visuel peuvent être stockés dans la même base de données 430. Le module de modélisation 422 et l'encodeur 423 fonctionnent de la même manière que le module de modélisation 322 et l'encodeur 323 du troisième mode de réalisation décrits ci-dessus. In this embodiment of the invention illustrated in FIGS. 8A to 8C, a terminal 410 and a server 420 communicate by means of a 3G GSM type network 401. The terminal 410 includes a video decoder 413, a keypad 412 and a screen 411. The terminal 410 is equipped with a camera module 416 and a microphone 414 for capturing sequences of images and sound accompanying the sequences of images, as well as a video encoder 415 and an audio encoder 416 for respectively encoding a video stream and an audio stream for transmission to the server 420 via an audiovisual link of the H324m protocol 401. The server 420 comprises a application module 421, a modeling module 422, an encoder for encoding a video stream, and a recording module 425 for recording an audio stream and / or a video stream of the upstream channel of the terminal 410. The module Recording application 425 has access to two databases of 32 data: a first database 431 storing user profiles and a second database 432 storing audio-visual content received from a mobile terminal and receiving data from a mobile terminal. tered. Of course, the data of the user profiles and the audio-visual content can be stored in the same database 430. The modeling module 422 and the encoder 423 operate in the same way as the modeling module 322 and the encoder 323. of the third embodiment described above.

L'application d'enregistrement 425 peut mettre à profit des fonctionnalités permettant d'afficher sur l'écran 411 du terminal 410 une interface intuitive lui permettant de commander le début et la fin de l'enregistrement, de donner un nom à la séquence et de la mettre en ligne. The recording application 425 can take advantage of functionalities making it possible to display on the screen 411 of the terminal 410 an intuitive interface allowing it to control the beginning and the end of the recording, to give a name to the sequence and to to put it online.

L'application d'enregistrement peut également mettre à profit le numéro de l'appelant reçu au sein du serveur d'application 420 afin de créer un lien entre la séquence enregistrée et l'utilisateur qui l'a créée. Le profil utilisateur peut permettre de différentier, par exemple, les vidéos publiques des vidéos privées. The registration application may also take advantage of the incoming caller's number within the application server 420 to create a link between the recorded sequence and the user who created it. The user profile can differentiate, for example, public videos from private videos.

L'application d'enregistrement, sur le serveur 420, peut utiliser un logiciel de transcodage en temps réel vers un format lisible par un reproducteur de type PC des données audiovisuelles, par exemple, le format Flash etc. Il est ainsi possible de diffuser en ligne la séquence captée par le terminal en temps réel avec très léger différé. The recording application, on the server 420, can use real-time transcoding software in a format reproducible by a PC-type reproducer of audiovisual data, for example, the Flash format, etc. It is thus possible to broadcast online the sequence captured by the terminal in real time with very slight delay.

L'utilisateur du terminal 410 enregistre une séquence audiovisuelle d'une scène 430. Il consulte une interface utilisateur générée par le serveur 420 et affiché sur l'écran 411 du terminal 410 pour commander le début et la fin d'enregistrement et de donner un nom à la séquence enregistré. Bien entendu la séquence peut être envoyée sans être enregistrée sur le terminal. Les données audiovisuelles de la scène enregistrées par le terminal sont ensuite envoyées via le réseau 401 au serveur 420. Sur le serveur 420 le module d'enregistrement 425 enregistre les données audiovisuelles et le numéro identifiant du terminal 410 et crée ainsi un lien entre les données audiovisuelles et l'utilisateur. La séquence est transcodée en temps réel vers un format Flash, par exemple, et puis envoyée par un réseau internet à un service de 33 diffusion en ligne 440. La séquence de la scène 430 enregistrée peut être diffusée et ainsi visualisée depuis le terminal 410 et d'autres terminaux comme par exemple un ordinateur personnel 450. The user of the terminal 410 records an audiovisual sequence of a scene 430. He consults a user interface generated by the server 420 and displayed on the screen 411 of the terminal 410 to control the beginning and the end of the recording and to give a name to the recorded sequence. Of course the sequence can be sent without being recorded on the terminal. The audiovisual data of the scene recorded by the terminal are then sent via the network 401 to the server 420. On the server 420, the recording module 425 records the audiovisual data and the identification number of the terminal 410 and thus creates a link between the data. audiovisual and the user. The sequence is transcoded in real time to a Flash format, for example, and then sent by an internet network to an online broadcast service 440. The recorded scene sequence 430 can be broadcast and thus viewed from the terminal 410 and other terminals such as a personal computer 450.

Ainsi le système permet à un utilisateur d'un terminal mobile de filmer et mettre en ligne très rapidement des séquences imprévues. Il permet aussi de visualiser ces séquences depuis un téléphone mobile 3G Visio avec les avantages d'interopérabilité et de temps d'accès. Thus the system allows a user of a mobile terminal to film and put online very quickly unexpected sequences. It also allows viewing these sequences from a Visio 3G mobile phone with the benefits of interoperability and access time.

Dans un cinquième mode de réalisation de l'invention illustré aux figures 9A à 9C un terminal 510 et un serveur 520 se communiquent par moyen d'un réseau 501 de type GSM 3G avec un lien H324m. Le terminal 510 est équipé d'un module d'encodage vidéo 514, un décodeur vidéo 513, un clavier de touches 512, une camera 517 and un écran 511. In a fifth embodiment of the invention illustrated in FIGS. 9A to 9C, a terminal 510 and a server 520 communicate by means of a GSM GSM network 501 with a link H324m. The terminal 510 is equipped with a video encoding module 514, a video decoder 513, a keypad 512, a camera 517 and a screen 511.

Le serveur 520 comporte un module d'application 521, un module de modélisation 522 et un encodeur 523. Le module d'application 521, le module de modélisation 522 et l'encodeur 523 fonctionnent de la même manière que le module d'application, le module de modélisation et l'encodeur du troisième mode de réalisation décrits ci- dessus. Le serveur 520 comporte en outre un module de traitement 525 pour décoder et traiter un flux vidéo reçu du terminal 510. The server 520 comprises an application module 521, a modeling module 522 and an encoder 523. The application module 521, the modeling module 522 and the encoder 523 operate in the same manner as the application module. the modeling module and the encoder of the third embodiment described above. The server 520 further comprises a processing module 525 for decoding and processing a video stream received from the terminal 510.

Dans ce mode de réalisation de l'invention illustre à la figure 9B le serveur 520 reçoit un flux vidéo produit par un téléphone mobile 3G Visio 510. Ce flux, s'il est encodé dans les règles de l'art, contient les vecteurs de mouvement Vm calculés par le module d'encodage 514 du téléphone mobile 510 dans le but de compresser la séquence vidéo. In this embodiment of the invention illustrates in FIG. 9B the server 520 receives a video stream produced by a Visio 510 mobile phone 3G. This stream, if it is encoded in the rules of the art, contains the vectors of Vm motion calculated by the encoding module 514 of the mobile phone 510 for the purpose of compressing the video sequence.

En plus d'être utilisés pour décompresser la séquence vidéo, ces vecteurs de 30 mouvement Vm peuvent être utilisés pour estimer les mouvements du combiné téléphonique 510. In addition to being used to decompress the video sequence, these motion vectors Vm can be used to estimate the movements of the handset 510.

En se référant à la figure 9b les vecteurs de mouvement Vm peuvent être traités par le module du traitement 515 du serveur 520 pour déterminer que le téléphone mobile 34 0 s'est déplace d'une position PSI à une nouvelle position PS2. En fonction de ce mouvement le serveur d'application 520 envoie un affichage S1 correspondant à une première partie d'une image virtuelle IV1 lorsque le terminal est à une position PSI, et puis lorsque le serveur 520 détecte que le terminal 510 s'est déplacé à une position PS2 le serveur 520 envoie une affichage S2 correspondant à une deuxième partie de l'image virtuelle IV1 Referring to FIG. 9b, the motion vectors Vm can be processed by the processing module 515 of the server 520 to determine that the mobile phone 34 0 has moved from a PSI position to a new position PS2. According to this movement, the application server 520 sends a display S1 corresponding to a first part of a virtual image IV1 when the terminal is at a position PSI, and then when the server 520 detects that the terminal 510 has moved at a position PS2 the server 520 sends a display S2 corresponding to a second part of the virtual image IV1

Ainsi, sans calculs supplémentaires dans le combiné téléphonique 510 ou sur le serveur 520, et sans installation d'une application supplémentaire sur le téléphone 510, les images présentées à l'utilisateur sur l'écran 511 du téléphone peuvent rendre compte de ses mouvements et lui permettre de naviguer sur une image virtuelle de taille supérieure à celle de son écran physique 511 comme par exemple une carte, une liste de choix etc. Thus, without additional calculations in the telephone set 510 or on the server 520, and without installation of an additional application on the telephone 510, the images presented to the user on the screen 511 of the telephone can account for its movements and allow it to navigate a virtual image larger than that of its physical screen 511 such as a map, a list of choices etc.

De plus, un mouvement vers la droite du combiné peut, par exemple, signifier le passage à une image suivante dans le cas de la visualisation d'un album photo. Le mouvement du combiné peut être utilisé pour faire bouger un pointeur sur l'écran (comme une souris sur l'ordinateur). In addition, a movement to the right of the handset may, for example, mean switching to a next image in the case of viewing a photo album. The movement of the handset can be used to move a pointer on the screen (like a mouse on the computer).

Bien entendu, l'invention n'est pas limitée aux exemples de réalisation ci-dessus décrits et représentés, à partir desquels on pourra prévoir d'autres modes et d'autres formes de réalisation, sans pour autant sortir du cadre de l'invention. Of course, the invention is not limited to the embodiments described above and shown, from which we can provide other modes and other embodiments, without departing from the scope of the invention. .

En variantes par exemple on pourrait bien sûr envisager que la première mode de réalisation comporte des caractéristiques des autres modes de réalisation. Par exemple, dans des variantes le serveur selon la première, deuxième, quatrième ou cinquième mode de réalisation peut être équipé d'un module de modélisation et un encodeur selon la troisième mode de réalisation. In variants for example it could of course be envisaged that the first embodiment has features of the other embodiments. For example, in variants the server according to the first, second, fourth or fifth embodiment may be equipped with a modeling module and an encoder according to the third embodiment.

De plus, dans d'autres variantes, le terminal selon la troisième, quatrième ou cinquième mode de réalisation de l'invention peut être équipé d'un pointeur selon la deuxième mode de réalisation de lineation.35 Dans d'autres variantes le serveur selon la première, deuxième, troisième, cinquième mode de réalisation de l'invention peut être équipé d'un module d'enregistrement selon la quatrième mode de réalisation pour permettre de mettre directement en ligne des données audiovisuel captées par un terminal. Dans d'autres variantes le serveur selon première, deuxième, troisième ou quatrième mode de réalisation de l'invention peut être équipé d'un module de traitement selon la cinquième mode de réalisation pour permettre de déterminer des mouvements d'un terminal en fonction des vecteurs de mouvement des données vidéo.Moreover, in other variants, the terminal according to the third, fourth or fifth embodiment of the invention can be equipped with a pointer according to the second embodiment of lineation. In other variants the server according to the first, second, third, fifth embodiment of the invention may be equipped with a recording module according to the fourth embodiment to allow to put directly online audiovisual data captured by a terminal. In other variants, the server according to the first, second, third or fourth embodiment of the invention may be equipped with a processing module according to the fifth embodiment to make it possible to determine the movements of a terminal as a function of the motion vectors of video data.

10 On notera que l'invention ne se limite pas à une implantation purement logicielle (séquence d'instructions d'un programme informatique), mais qu'elle peut aussi être mise en oeuvre sous une forme matérielle ou toute forme mixant une partie matérielle et une partie logicielle. Dans le cas où l'invention est implantée partiellement ou 15 totalement sous forme logicielle, la séquence d'instructions correspondante pourra être stockée dans un moyen de stockage amovible (tel que par exemple une disquette, un CD-ROM, un DVD-ROM etc) ou non amovible, ce moyen de stockage étant lisible partiellement ou totalement par un ordinateur ou un microprocesseur. 36 Note that the invention is not limited to a purely software implementation (sequence of instructions of a computer program), but it can also be implemented in a hardware form or any form mixing a hardware part and a software part. In the case where the invention is partially or completely implemented in software form, the corresponding instruction sequence can be stored in a removable storage means (such as for example a floppy disk, a CD-ROM, a DVD-ROM, etc.). ) or non-removable, the storage means being partially or completely readable by a computer or a microprocessor. 36

Claims (2)

REVENDICATIONS1. Procédé de modélisation d'un affichage issu d'une application sur un serveur (320) , l'affichage étant destiné à un terminal distant (310) ; caractérisé en ce que l'affichage est modélisé pour composer une image en fonction d'une information d'affichage issue de l'application, au moyen de calques superposés, chaque calque étant composé de pixels et étant associé à un premier ensemble de données de modification correspondant, chaque pixel étant caractérisé par un facteur de transparence Ttp dudit pixel; le premier ensemble de données de modification indiquant des caractéristiques dudit calque liés aux modifications effectuées par l'application, l'image résultante étant composée de pixels images et étant associée à un deuxième ensemble de données de modification, le deuxième ensemble de données de modification indiquant si l'image a été modifiée du fait des modifications des calques par l'application, les pixels images étant composés des pixels superposés correspondants des calques ; le procédé comprenant les étapes suivantes : modification du contenu des pixels d'au moins un calque par au moins une primitive selon l'information d'affichage reçue de l'application ; modification du premier ensemble des données de modification pour au moins un calque selon les modifications effectuées par la ou les primitives ; modification du deuxième ensemble de données en fonction du premier ensemble de données ; composition d'une image en fonction des pixels des calques ; et transmission à un encodeur de l'image à encoder et d'une information d'encodage conformément au deuxième ensemble des données de modifications. REVENDICATIONS1. A method of modeling a display from an application on a server (320), the display being for a remote terminal (310); characterized in that the display is modeled to compose an image based on display information from the application, by means of superimposed layers, each layer being composed of pixels and being associated with a first set of data of corresponding modification, each pixel being characterized by a transparency factor Ttp of said pixel; the first set of modification data indicating characteristics of said layer related to the modifications made by the application, the resulting image being composed of image pixels and being associated with a second set of modification data, the second set of modification data indicating if the image has been modified because the application has modified the layers, the image pixels being composed of the corresponding superposed pixels of the layers; the method comprising the steps of: modifying the content of the pixels of at least one layer by at least one primitive according to the display information received from the application; modifying the first set of modification data for at least one layer according to the modifications made by the primitive (s); modifying the second set of data based on the first set of data; composition of an image according to the pixels of the layers; and transmitting to an encoder the image to be encoded and encoding information according to the second set of change data. 2. Procédé selon la revendication 1 dans lequel le premier ensemble de données de modification indiquent les vecteurs de mouvement du calque, un facteur de transparence, et/ou pour chaque bloc de pixels du calque si ledit bloc a été modifié par l'application, et/ou s'il est complètement transparent, complètement opaque ou ni l'un ni l'autre. 37. Procédé selon la revendication 1 ou 2 dans lequel le deuxième ensemble de données de modification indique un vecteur de mouvement pour chaque macrobloc de pixels de l'image pour utilisation dans un encodage différentiel. 4. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que chaque calque Ci est caractérisé par un vecteur de déplacement Vd à deux dimensions et/ou un scalaire de transparence Stc. définissant une transparence pour l'ensemble dudit calque Ci. 10 5. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que l'étape de modification du deuxième ensemble de données de modification comprend pour chaque macrobloc de pixels de l'image à encoder, une recherche dans l'ensemble de données pour les blocs de pixels des calques affectant le 15 macrobloc pour voir si un bloc affectant le marcobloc a subi des modifications 6. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que le deuxième ensemble de données de modification indique pour chaque macrobloc de pixels si ledit macrobloc a été modifié depuis l'image précédente. 7. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que si plusieurs calques utilisés pour composer l'image ont eu une translation simultanée le vecteur de déplacement Vd pour l'encodage est choisi selon un critère prédéterminé. 25 8. Dispositif de modélisation d'un affichage issu d'une application sur un serveur, l'affichage étant destiné à un terminal distant; caractérisé en ce que l'affichage est modélisé pour composer une image en fonction d'une information d'affichage issue de l'application, au moyen de calques superposés , chaque calque étant composé de 30 pixels et étant associé à un premier ensemble de données de modification correspondant, chaque pixel étant caractérisé par un facteur de transparence Ttp dudit pixel ; le premier ensemble de données de modification indiquant des caractéristiques dudit calque liés aux modifications effectuées par l'application, , 20 38l'image résultante étant composée de pixels images et étant associée à un deuxième ensemble de données de modification, le deuxième ensemble de données de modification indiquant si l'image a été modifiée du fait des modifications des calques par l'application, les pixels images étant composés des pixels superposés correspondants des calques ; le procédé comprenant les étapes suivantes : des moyens (322) pour modifier le contenu d'au moins un calque par au moins une primitive selon l'information d'affichage reçue de l'application ; des moyens (322) pour modifier le premier ensemble des données de modification pour au moins un calque selon les modifications effectuées par la ou les 10 primitives ; des moyens (322) pour modifier le deuxième ensemble de données en fonction du premier ensemble de données ; des moyens (322) pour composer une image en fonction du contenu des calques ; et 15 des moyens pour transmettre à un encodeur (323) de l'image à encoder et d'une information d'encodage conformément au deuxième ensemble des données de modifications. 20 9. Programme informatique, pour la mise en oeuvre du procédé selon l'une des revendications 1 à 7, téléchargeable via un réseau de télécommunication et/ou stocké dans une mémoire d'un dispositif de traitement et/ou stocké sur un support mémoire destiné à coopérer avec un dispositif de traitement. 25 10. Un encodeur (323) agencé pour recevoir une image générée par le procédé selon l'une des revendications 1 à 7 et une information d'encodage générée par le procédé selon l'une des revendications 1 à 7, l'encodeur étant agencé de manière à' encoder l'image à l'aide de l'information d'encodage. 39 The method of claim 1 wherein the first set of modification data indicates the layer motion vectors, a transparency factor, and / or for each block of pixels of the layer if said block has been modified by the application, and / or if it is completely transparent, completely opaque or neither. The method of claim 1 or 2 wherein the second set of modification data indicates a motion vector for each macroblock of pixels of the image for use in a differential encoding. 4. Method according to any one of the preceding claims, characterized in that each layer Ci is characterized by a two-dimensional displacement vector Vd and / or a transparency scalar Stc. defining a transparency for the set of said layer Ci. 5. A method according to any one of the preceding claims, characterized in that the step of modifying the second set of modification data comprises for each macroblock of pixels of the image to encode, a search in the dataset for the pixel blocks of the layers affecting the macroblock to see if a block affecting the marcobloc has been modified. 6. A method according to any one of the preceding claims, characterized in that the second block change data set indicates for each macroblock of pixels whether said macroblock has been modified from the previous image. 7. Method according to any one of the preceding claims, characterized in that if several layers used to compose the image have had a simultaneous translation, the displacement vector Vd for the encoding is chosen according to a predetermined criterion. 8. Device for modeling a display from an application on a server, the display being intended for a remote terminal; characterized in that the display is modeled to compose an image based on display information from the application, by means of superimposed layers, each layer being composed of 30 pixels and being associated with a first set of data corresponding modification, each pixel being characterized by a transparency factor Ttp of said pixel; the first set of modification data indicating characteristics of said layer related to the modifications made by the application, the resulting image being composed of image pixels and being associated with a second set of modification data, the second set of data of a modification indicating whether the image has been modified as a result of the application changing the layers, the image pixels being composed of the corresponding superposed pixels of the layers; the method comprising the steps of: means (322) for modifying the content of at least one layer by at least one primitive according to the display information received from the application; means (322) for modifying the first set of modification data for at least one layer according to the modifications made by the one or more primitives; means (322) for modifying the second set of data based on the first set of data; means (322) for composing an image according to the contents of the layers; and means for transmitting to an encoder (323) the image to be encoded and encoding information in accordance with the second set of change data. 9. Computer program, for implementing the method according to one of claims 1 to 7, downloadable via a telecommunication network and / or stored in a memory of a processing device and / or stored on a memory medium intended to cooperate with a processing device. 10. An encoder (323) arranged to receive an image generated by the method according to one of claims 1 to 7 and an encoding information generated by the method according to one of claims 1 to 7, the encoder being arranged to encode the image using the encoding information. 39
FR0859173A 2008-12-31 2008-12-31 METHOD AND DEVICE FOR MODELING A DISPLAY Expired - Fee Related FR2940703B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR0859173A FR2940703B1 (en) 2008-12-31 2008-12-31 METHOD AND DEVICE FOR MODELING A DISPLAY
US13/142,695 US9185159B2 (en) 2008-12-31 2009-12-31 Communication between a server and a terminal
EP09807448.7A EP2382756B1 (en) 2008-12-31 2009-12-31 Modelisation method of the display of a remote terminal using macroblocks and masks caracterized by a motion vector and transparency data
PCT/FR2009/001492 WO2010076436A2 (en) 2008-12-31 2009-12-31 Communication between a server and a terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0859173A FR2940703B1 (en) 2008-12-31 2008-12-31 METHOD AND DEVICE FOR MODELING A DISPLAY
FR0859173 2008-12-31

Publications (2)

Publication Number Publication Date
FR2940703A1 true FR2940703A1 (en) 2010-07-02
FR2940703B1 FR2940703B1 (en) 2019-10-11

Family

ID=41050991

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0859173A Expired - Fee Related FR2940703B1 (en) 2008-12-31 2008-12-31 METHOD AND DEVICE FOR MODELING A DISPLAY

Country Status (1)

Country Link
FR (1) FR2940703B1 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0414017A2 (en) * 1989-08-21 1991-02-27 Robert Bosch Gmbh Method for object-oriented movement compensation of picture information for the reproduction of coded moving picture sequences
EP0475648A1 (en) * 1990-09-03 1992-03-18 Canon Kabushiki Kaisha Image processing system
WO1997013220A1 (en) * 1995-09-29 1997-04-10 Philips Electronics N.V. Graphics image manipulation
WO2001031497A1 (en) * 1999-10-22 2001-05-03 Activesky, Inc. An object oriented video system
US6288704B1 (en) * 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
WO2003045045A2 (en) * 2001-11-23 2003-05-30 Vimatix Technologies Ltd. Encoding of geometric modeled images
US20050018768A1 (en) * 2001-09-26 2005-01-27 Interact Devices, Inc. Systems, devices and methods for securely distributing highly-compressed multimedia content
FR2870374A1 (en) * 2004-05-12 2005-11-18 Jean Marc Krattli Client-server architecture for displaying three dimensional digital model, has server and clients whose network synchronizing modules permit to update scene state relative to model, within communication network, between clients and server
WO2006036069A1 (en) * 2004-09-27 2006-04-06 Hans Gude Gudensen Information processing system and method
WO2008007228A2 (en) * 2006-05-30 2008-01-17 Zvi Haim Lev System and method for video distribution and billing

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0414017A2 (en) * 1989-08-21 1991-02-27 Robert Bosch Gmbh Method for object-oriented movement compensation of picture information for the reproduction of coded moving picture sequences
EP0475648A1 (en) * 1990-09-03 1992-03-18 Canon Kabushiki Kaisha Image processing system
WO1997013220A1 (en) * 1995-09-29 1997-04-10 Philips Electronics N.V. Graphics image manipulation
US6288704B1 (en) * 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
WO2001031497A1 (en) * 1999-10-22 2001-05-03 Activesky, Inc. An object oriented video system
US20050018768A1 (en) * 2001-09-26 2005-01-27 Interact Devices, Inc. Systems, devices and methods for securely distributing highly-compressed multimedia content
WO2003045045A2 (en) * 2001-11-23 2003-05-30 Vimatix Technologies Ltd. Encoding of geometric modeled images
FR2870374A1 (en) * 2004-05-12 2005-11-18 Jean Marc Krattli Client-server architecture for displaying three dimensional digital model, has server and clients whose network synchronizing modules permit to update scene state relative to model, within communication network, between clients and server
WO2006036069A1 (en) * 2004-09-27 2006-04-06 Hans Gude Gudensen Information processing system and method
WO2008007228A2 (en) * 2006-05-30 2008-01-17 Zvi Haim Lev System and method for video distribution and billing

Also Published As

Publication number Publication date
FR2940703B1 (en) 2019-10-11

Similar Documents

Publication Publication Date Title
EP2382756B1 (en) Modelisation method of the display of a remote terminal using macroblocks and masks caracterized by a motion vector and transparency data
KR101560183B1 (en) / Method and apparatus for providing/receiving user interface
Li et al. Fundamentals of multimedia
US8363716B2 (en) Systems and methods for video/multimedia rendering, composition, and user interactivity
US8677428B2 (en) System and method for rule based dynamic server side streaming manifest files
US20060050140A1 (en) Wireless communication terminal and its method for generating moving picture using still image
US20070005795A1 (en) Object oriented video system
CN101960844A (en) Application enhancement tracks
KR101545137B1 (en) Method and apparatus for generating user interface
KR100767673B1 (en) Digital Broadcasting Terminal with Emboding Slide Show and Method of Emboding Slide Show Using Same
FR2974474A1 (en) METHODS AND APPARATUSES FOR GENERATING AND PROCESSING REPRESENTATIONS OF MULTIMEDIA SCENES
CN113302944A (en) Information processing apparatus, information processing method, and computer program
TW202133610A (en) Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
FR2940703B1 (en) METHOD AND DEVICE FOR MODELING A DISPLAY
FR2940689A1 (en) Method for navigating user of mobile terminal e.g. portable computer, on application, involves detecting movement of positioning device, and modulating movement data in audio format for transmitting movement data to server
JP2005136566A (en) Apparatus and method for converting moving picture, moving picture distribution apparatus, mail repeating device and program
FR2828054A1 (en) Multimedia applications video source object texture scene coding having spatial image dimension/position composed sources forming image/coded/auxiliary digital code calculated relative image composition/object texture.
FR2940732A1 (en) Method for exchanging data e.g. audio, between application executing on server and remote terminal e.g. third generation video type mobile telephone, involves transmitting audio visual data to remote terminal through audiovisual link
FR2940690A1 (en) Mobile terminal i.e. mobile telephone, user navigation method, involves establishing contents to be displayed on terminal for permitting navigation on user interface having size larger than size of screen of terminal
FR2940728A1 (en) Audio and/or video data on-lining method, involves transcoding data to format compatible with personal computer, and transmitting transcoded data from server to broadcasting service that broadcasts audio-visual sequences online
KR100973654B1 (en) Rich media server and rich media transmission system and rich media transmission method
JP2004356998A (en) Apparatus and method for dynamic image conversion, apparatus and method for dynamic image transmission, as well as programs therefor
WO2008047054A2 (en) Methods and devices for optimising the resources necessary for the presentation of multimedia contents
Aracena et al. Solving the Challenge of Volumetric Video Production and Streaming: An End-to-End Perspective of Technologies and Device Ecosystem Capabilities and Performance
FR3072850A1 (en) METHODS OF ENCODING AND DECODING A DATA STREAM REPRESENTATIVE OF AN OMNIDIRECTIONAL VIDEO

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

TP Transmission of property

Owner name: CY PLAY, FR

Effective date: 20170711

PLFP Fee payment

Year of fee payment: 10

TQ Partial transmission of property

Owner name: DAVID LIBAULT, FR

Effective date: 20171019

Owner name: JACQUES LEWINER, FR

Effective date: 20171019

PLFP Fee payment

Year of fee payment: 11

PLFP Fee payment

Year of fee payment: 12

PLFP Fee payment

Year of fee payment: 13

ST Notification of lapse

Effective date: 20220808