Fourniture de services à partir d'objets filmés ou photographiés depuis un terminal mobile Providing services from objects filmed or photographed from a mobile terminal
L'invention a trait au domaine des télécommunications. The invention relates to the field of telecommunications.
Les réseaux de mobiles modernes ont intégré, outre la transmission de la voix, un certain nombre de services médias auxquels les terminaux mobiles peuvent accéder soit grâce à des protocoles spécifiques, tel que le WAP (Wireless Application Protocol), soit à des protocoles standards tel que HTTP, disponible sur les terminaux de dernière génération qui, grâce à leur puissance, peuvent prendre en charge ce type de protocole. Les utilisateurs peuvent ainsi naviguer sur l'Internet à partir de leur terminal et accéder à un grand nombre de services médias, incluant la fourniture de contenus : données, informations de type commercial, objets multimédia tels que sons, images ou vidéos. Malgré l'augmentation des débits permise par les normes de dernière génération (de 64 Kbits/s en forte mobilité à 2 Mbits/s en faible mobilité pour l'UMTS), les procédures de fourniture de services proposées par les applications de l'Internet mobile sur les terminaux concernés restent prisonnières des schémas classiques, selon lesquels l'utilisateur souhaitant obtenir un service procède à une recherche préalable (généralement sémantique) dudit service, puis par approches successives accède à un portail proposant ce service. Des fonctionnalités ont été proposées pour faciliter et accélérer l'accès aux services souhaités, par exemple la possibilité de formuler des requêtes en langage naturel, cf. par exemple la demande de brevet américain n°US 2007/294725 (Cohen), ou encore la possibilité d'obtenir en ligne des données (telle qu'une page Web) en relation avec une zone géographique dans laquelle se trouve le terminal, cf. par exemple le brevet américain n°US 7 248 862 (Sony Ericsson). Ces fonctionnalités ne proposent toutefois pas de solution pleinement satisfaisante aux problèmes de facilité et de vitesse d'accès aux services souhaités. Une requête en langage naturel, par exemple, présente l'inconvénient de ne pas être toujours bien comprise par le système auquel elle est adressée ; s'agissant de l'obtention de données liées à la position du terminal, cette solution suppose que le terminal soit équipé d'un système de positionnement par satellite, tel que GPS, ce qui limite sa mise en oeuvre à une partie seulement du parc des terminaux mobiles. L'invention vise notamment à proposer une solution permettant de simplifier et d'accélérer l'accès à des services médias à partir de terminaux mobiles. A cet effet, l'invention propose en premier lieu un procédé de communication comprenant les opérations suivantes : - Établissement d'une session média entre un terminal mobile et un système de communication distant ; - Réalisation par le terminal d'au moins une prise de vue contenant au moins un objet réel situé dans l'environnement du terminal ; Transmission de la ou chaque prise de vue par le terminal mobile au système de communication au cours de la session média ; - Réception de la ou chaque prise de vue par le système de cornmunication ; Analyse de la ou chaque prise de vue, au sein du système de cornmunication ; Identification par le système d'au moins un objet contenu dans la prise de vue ; - Identification par le système d'au moins un service média associé audit(s) objet(s) ; - Activation d'au moins une procédure de fourniture du ou des service(s) au terminal mobile. Une étape complémentaire peut comprendre l'activation en temps réel, au cours de la même session média, d'une pluralité de procédures de fournitures de services au terminal, correspondant à des objets distincts compris dans une même prise de vue ou dans des prises de vue distinctes. La procédure de fourniture de service comprend par exemple une étape d'affichage en temps réel, sur le terminal, d'informations en relation avec le ou chaque service. Le service est par exemple associé à une ou plusieurs fonctionnalités interactives pouvant être activées depuis le terminal. Aussi, on peut prévoir dans ce cas une opération de commande, effectuée depuis le terminal, d'une interaction offerte par le service média. Modern mobile networks have integrated, in addition to voice transmission, a number of media services that mobile devices can access through either specific protocols, such as the Wireless Application Protocol (WAP), or standard protocols such as than HTTP, available on the latest generation terminals which, thanks to their power, can support this type of protocol. Users can thus browse the Internet from their terminals and access a large number of media services, including the provision of content: data, commercial-type information, multimedia objects such as sound, images or videos. Despite the increase in speeds allowed by the latest generation standards (from 64 Kbits / s in high mobility to 2 Mbits / s low mobility for UMTS), the procedures for providing services offered by Internet applications Mobile devices on the terminals concerned remain trapped in conventional schemes, according to which the user wishing to obtain a service performs a prior (usually semantic) search of said service, then by successive approaches accesses a portal offering this service. Functionalities have been proposed to facilitate and accelerate access to the desired services, for example the possibility of formulating requests in natural language, cf. for example, US Patent Application No. US 2007/294725 (Cohen), or the possibility of obtaining online data (such as a web page) in relation to a geographical area in which the terminal is located, cf. . for example US Pat. No. 7,248,862 (Sony Ericsson). However, these functionalities do not offer a fully satisfactory solution to the problems of ease and speed of access to the desired services. A query in natural language, for example, has the disadvantage of not always being well understood by the system to which it is addressed; with regard to obtaining data related to the position of the terminal, this solution assumes that the terminal is equipped with a satellite positioning system, such as GPS, which limits its implementation to only part of the park mobile terminals. The invention aims in particular to provide a solution for simplifying and accelerating access to media services from mobile terminals. For this purpose, the invention firstly proposes a communication method comprising the following operations: establishing a media session between a mobile terminal and a remote communication system; - Realization by the terminal of at least one shot containing at least one real object located in the environment of the terminal; Transmitting the or each shot by the mobile terminal to the communication system during the media session; - Reception of the or each shot by the communication system; Analysis of the or each shot, within the communication system; Identification by the system of at least one object contained in the shot; - Identification by the system of at least one media service associated with said object (s); - Activation of at least one procedure for providing the service (s) to the mobile terminal. A complementary step may include real-time activation, during the same media session, of a plurality of terminal service provisioning procedures, corresponding to separate objects included in a single shot or in video outlets. separate view. The service provisioning procedure comprises for example a step of displaying in real time, on the terminal, information related to the or each service. The service is for example associated with one or more interactive functionalities that can be activated from the terminal. Also, it can provide in this case a control operation, performed from the terminal, an interaction offered by the media service.
Le procédé qui vient d'être présenté peut, par exemple, être appliqué au téléchargement d'objets médias depuis le terminal. En deuxième lieu, l'invention propose un système de communication comprenant : - un serveur média, propre à établir une session média avec un terminal mobile ; - un serveur d'applications vidéo, relié au serveur média ; - un serveur de réalité augmentée, relié au serveur d'applications vidéo, programmé, sur commande du serveur d'applications vidéo, pour effectuer une analyse d'images au sein d'une prise de vue reçue du terminal mobile via le serveur média ; - une base de données d'objets médias, reliée au serveur de réalité augmentée. D'autres objets et avantages de l'invention apparaîtront à la lumière de la description faite ci-après en référence au dessin annexé qui illustre un système de communication et un procédé de communication conformes à l'invention. L'architecture réseau 1 représentée comprend un terminal 2 mobile (téléphone mobile, PDA communicant ou Smartphone), relié, via l'interface air, à un système 3 de communication comprenant un serveur média 4, qui assure l'établissement de sessions médias avec le terminal 2, un serveur 5 d'applications vidéo, relié au serveur média 4, un serveur 6 de réalité augmentée relié au serveur 5 d'applications vidéo, une base de données 7 reliée au serveur de réalité augmentée ou intégrée à celui-ci et dans laquelle sont mémorisées des images d'objets et des services associés à chacune de ces images. Par serveur, on entend ici tout système informatique capable d'intégrer des fonctionnalités ou tout programme informatique capable de mettre en oeuvre un procédé. The method that has just been presented can, for example, be applied to the downloading of media objects from the terminal. In the second place, the invention proposes a communication system comprising: a media server, capable of establishing a media session with a mobile terminal; a video application server connected to the media server; an augmented reality server, connected to the video application server, programmed, on command of the video application server, to perform an analysis of images within a shooting received from the mobile terminal via the media server; a database of media objects, linked to the augmented reality server. Other objects and advantages of the invention will become apparent in the light of the description given hereinafter with reference to the appended drawing which illustrates a communication system and a communication method according to the invention. The represented network architecture 1 comprises a mobile terminal 2 (mobile telephone, communicating PDA or Smartphone), connected, via the air interface, to a communication system 3 comprising a media server 4, which ensures the establishment of media sessions with the terminal 2, a video application server 5, connected to the media server 4, an augmented reality server 6 connected to the video application server 5, a database 7 connected to the integrated reality server or integrated therewith and in which are stored images of objects and services associated with each of these images. By server means here any computer system capable of integrating functionalities or any computer program capable of implementing a method.
Le serveur média 4 et le terminal mobile 2 sont configurés pour établir entre eux des sessions médias (par exemple suivant le protocole RTP ou H234m), permettant notamment l'échange de données audio/vidéo. Le terminal mobile 2 est équipé d'une caméra permettant de réaliser des prises de vue (photos, vidéo) de l'environnement du terminal 2. Le terminal est en outre équipé d'un écran 8 permettant l'affichage d'images et de vidéo et d'un clavier 9 permettant à l'utilisateur d'introduire des commandes. Le système 3 est configuré pour fournir en temps réel au terminal 2, à partir d'une prise de vue contenant au moins un objet identifiable par le système 3 (monument, commerce, marque, logo), un service média associé à cet objet ou à chaque objet identifiable. A cet effet, une session média est tout d'abord établie (101), suivant un protocole temps réel (par exemple RTP ou H234m), entre le terminal 2 et le système 3 de communication, et plus précisément entre le terminal 2 (à l'initiative de celui-ci) et le serveur média 4. Le serveur média 4 signale alors sans délai (102) au serveur 5 d'applications vidéo l'ouverture de cette session média. Au cours de la session média établie entre le terminal 2 et le serveur rnédia 4, au moins une prise de vue (vidéo, photographie) est réalisée à partir du terminal 2, laquelle prise de vue inclut au moins un objet susceptible d'être identifié par le système 3. A titre d'exemple, comme illustré sur le dessin annexé, cette prise de vue inclut un texte ou une image affiché(e) sur un panneau 10 de publicité. La ou chaque prise de vue est transmise (103), en temps réel, par le terminal 2 au serveur média 4. Dans l'hypothèse où la prise de vue est une vidéo, le flux vidéo est codé par le terminal 2 suivant une norme de compression vidéo adéquate (c'est-à-dire, en pratique, adaptée au niveau de compression souhaité : ainsi, pour un niveau de compression relativement faible le terminal 2 pourra utiliser la norme H.263 ; pour des niveaux de compression plus élevés le terminal 2 pourra ernployer la norme MPEG-4, et pour les très hauts niveaux de compression la norme H.264) et transmis par paquets RTP au serveur média 4. Ainsi, le flux filmé en permanence par le terminal 2, à partir de l'établissement de la session, est transmis en continu au système 3 de communication. Dès que la session média est établie ou sur requête du serveur 5 d'application, le serveur média 4 signale sans délai la réception des premiers paquets RTP de vidéo au serveur 5 d'applications vidéo, qui effectue alors (104) une configuration du serveur 6 de réalité augmentée en prévision des opérations décrites ci-après. Dès réception, le serveur média 4 isole la (ou chaque) prise de vue et, éventuellement après décompression, la transmet (105) au serveur 6 de réalité augmentée qui effectue alors, en temps réel, une analyse (106) de la (ou de chaque) prise de vue pour y détecter la présence d'un objet (ou d'une pluralité d'objets) dont une image serait disponible dans la base de données 7. The media server 4 and the mobile terminal 2 are configured to establish between them media sessions (for example following the RTP or H234m protocol), notably allowing the exchange of audio / video data. The mobile terminal 2 is equipped with a camera for taking pictures (photos, video) of the environment of the terminal 2. The terminal is also equipped with a screen 8 for displaying images and images. video and keyboard 9 allowing the user to enter commands. The system 3 is configured to provide in real time to the terminal 2, from a shooting containing at least one object identifiable by the system 3 (monument, trade, mark, logo), a media service associated with this object or to each identifiable object. For this purpose, a media session is first established (101), according to a real-time protocol (for example RTP or H234m), between the terminal 2 and the communication system 3, and more specifically between the terminal 2 (at the initiative thereof) and the media server 4. The media server 4 then signals without delay (102) to the video application server 5 the opening of this media session. During the media session established between the terminal 2 and the media server 4, at least one picture (video, photograph) is taken from the terminal 2, which picture includes at least one object that can be identified. by the system 3. By way of example, as illustrated in the appended drawing, this shot includes a text or an image displayed on an advertisement panel. The or each shot is transmitted (103), in real time, by the terminal 2 to the media server 4. Assuming that the shooting is a video, the video stream is coded by the terminal 2 according to a standard adequate video compression (that is, in practice, adapted to the desired compression level: thus, for a relatively low level of compression the terminal 2 will be able to use the H.263 standard, for higher compression levels the terminal 2 may implement the MPEG-4 standard, and for the very high levels of compression the H.264 standard) and transmitted by RTP packets to the media server 4. Thus, the stream permanently filmed by the terminal 2, from the establishment of the session is transmitted continuously to the communication system 3. As soon as the media session is established or at the request of the application server, the media server 4 signals without delay the receipt of the first video RTP packets to the video application server 5, which then performs (104) a server configuration. 6 augmented reality in anticipation of the operations described below. Upon reception, the media server 4 isolates the (or each) shot and, possibly after decompression, transmits it (105) to the augmented reality server 6 which then performs, in real time, an analysis (106) of the (or each) for detecting the presence of an object (or a plurality of objects) of which an image would be available in the database 7.
Par exemple, lorsque la prise de vue est une vidéo, elle est découpée image par image, puis chaque image est comparée avec les images de la base de données 7, au moyen d'une technique de reconnaissance d'image, telle que la technique des coins de Harris. Une image analysée est donc mise en correspondance biunivoque avec une image préalablement mémorisée dans la base de données 7 et à laquelle est associé au moins un service média. Lorsqu'un tel service a été identifié grâce à son image, le serveur de réalité augmentée extrait de la base de données 7 le service associé l'image (c'est-à-dire à l'objet correspondant), et le transmet (107) en temps réel au serveur 4 média qui le relaye, également en temps réel, à destination du terminal 2. Ce service peut comprendre la fourniture de données, d'informations de type commercial, ou encore d'objets multimédia tels que sons, images ou vidéos associées à l'objet identifié dans la prise de vue et qui peuvent être téléchargés depuis le terminal 2. Le service peut également comprendre une fonctionnalité interactive, tel qu'un lien hypertexte vers un site marchand, que l'utilisateur pourra activer depuis le terminal 2 (par exemple au moyen de touches du clavier 9) via l'Internet mobile, en vue d'acquérir un ou plusieurs produits ou services associés à l'objet, telle qu'une tonalité de sonnerie. Ce lien peut être de type téléphonique vers un centre d'appel proposant des services en lien avec l'objet. Ces exemples sont fournis à titre purement illustratifs, et l'on peut imaginer tout type de service, commercial ou non, dont la fourniture peut être engagée sur un terminal mobile. For example, when the shooting is a video, it is cut out image by image, then each image is compared with the images of the database 7, by means of an image recognition technique, such as the technique Harris corners. An analyzed image is therefore one-to-one correspondence with an image previously stored in the database 7 and to which at least one media service is associated. When such a service has been identified by its image, the augmented reality server extracts from the database 7 the service associated with the image (that is to say the corresponding object), and transmits it ( 107) in real time to the 4 media server that relay it, also in real time, to the terminal 2. This service may include the provision of data, commercial type information, or multimedia objects such as sounds, images or videos associated with the object identified in the shooting and that can be downloaded from the terminal 2. The service may also include an interactive feature, such as a hypertext link to a merchant site, that the user can activate from the terminal 2 (for example by means of keyboard keys 9) via the mobile Internet, in order to acquire one or more products or services associated with the object, such as a ringing tone. This link can be of the telephone type to a call center offering services related to the object. These examples are provided for purely illustrative purposes, and one can imagine any type of service, commercial or otherwise, whose provision can be engaged on a mobile terminal.
Nous l'avons vu, une même prise de vue peut inclure plusieurs objets distincts identifiables par le système 3 (c'est-à-dire dont des images sont disponibles dans la base de données 7). De même, au cours d'une même session média, plusieurs prises de vues peuvent être réalisées, qui contiennent des objets distincts identifiables. Dans ces deux cas, le système 3 active en temps réel, pour chaque objet identifié, la procédure de fourniture des services associés au terminal 2. De la sorte, plusieurs services peuvent simultanément être disponibles sur le terminal 2, parmi lesquels l'utilisateur peut faire son choix, ou auxquels il peut accéder successivement ou simultanément. Comparé à un procédé classique de fourniture de services sur un terminal mobile utilisant un navigateur accédant à un service via des requêtes textuelles, le procédé qui vient d'être décrit permet d'accéder en temps réel, directement et de manière automatique, à un service, sans qu'il soit nécessaire d'introduire des critères textuels de recherche. Des essais ont été réalisés dans le cadre d'une recherche d'un service de fourniture d'une tonalité de sonnerie associée à une proposition commerciale affichée sur un support publicitaire, que le gain de temps peut atteindre plusieurs minutes. Une recherche classique mettant en oeuvre un navigateur de type WAP ou Web, a d'abord permis d'accéder depuis le terminal, via un moteur de recherche, à une librairie digitale en ligne. Plusieurs essais successifs de tonalités ont été réalisés avant que la tonalité souhaitée ne soit trouvée dans la librairie en vue d'être téléchargée. Sans comptabiliser le temps de téléchargement ni les temps d'écoute des tonalités indésirables sur le terminal (mais en comptabilisant le temps d'accès de la base de données à chaque tonalité), cette recherche a duré plusieurs minutes. En mettant en l'ceuvre le procédé selon l'invention, l'accès à la tonalité désirée a, en revanche, pris moins d'une minute à partir de l'instant de la prise de vue. Outre la facilité accrue d'utilisation, l'invention permet donc de réaliser d'importants gains de temps d'accès aux services médias. As we have seen, the same shot may include several distinct objects identifiable by the system 3 (that is to say, whose images are available in the database 7). Similarly, during the same media session, several shots can be made, which contain distinct identifiable objects. In these two cases, the system 3 activates in real time, for each identified object, the procedure for providing the services associated with the terminal 2. In this way, several services can simultaneously be available on the terminal 2, from which the user can make his choice, or to which he can access successively or simultaneously. Compared to a conventional method of providing services on a mobile terminal using a browser accessing a service via textual requests, the method just described provides real-time access, directly and automatically, to a service. , without the need to introduce textual search criteria. Tests have been conducted as part of a search for a service providing a ring tone associated with a commercial proposal displayed on an advertising medium, that the time saving can reach several minutes. A conventional search using a browser type WAP or Web, first accessed from the terminal, via a search engine, to an online digital library. Several successive tests of tones were performed before the desired tone was found in the library for download. Without counting the download time or listening time for unwanted tones on the terminal (but counting the access time of the database to each tone), this search took several minutes. By implementing the method according to the invention, access to the desired tone has, however, taken less than a minute from the moment of shooting. In addition to the increased ease of use, the invention thus allows significant gains in access time to media services.