EP1620990A1 - Systeme de telecommunication permettant une diffusion de flux multimedia via un reseau de communication public - Google Patents

Systeme de telecommunication permettant une diffusion de flux multimedia via un reseau de communication public

Info

Publication number
EP1620990A1
EP1620990A1 EP04714812A EP04714812A EP1620990A1 EP 1620990 A1 EP1620990 A1 EP 1620990A1 EP 04714812 A EP04714812 A EP 04714812A EP 04714812 A EP04714812 A EP 04714812A EP 1620990 A1 EP1620990 A1 EP 1620990A1
Authority
EP
European Patent Office
Prior art keywords
terminal
data
made available
users
active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP04714812A
Other languages
German (de)
English (en)
Inventor
Jean-Louis Marque
Dominique Jezequel
Emmanuel Le Huerou
Christophe Rouquie
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1620990A1 publication Critical patent/EP1620990A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Definitions

  • the present invention relates to a telecommunication system intended to allow several active users to exchange information materialized by at least one stimuli flow, which system including at least one conference bridge capable of processing said stimuli flow.
  • Such telecommunication systems are commonly used to carry out teleconferences between multiple participants physically distant from each other.
  • Stimulus flows can for example be constituted by sound flows and, optionally, by image flows.
  • the conference bridge performs a summation of the different sound streams emitted by the different users, and sends each user a signal representative of the result of this summation, from which the sound stream emitted by the user considered.
  • the conference bridge may also be able to select at any instant a flow of images sent by that of the users who is speaking at the instant considered, and to transmit the selected flow of images to the other users, thus carrying out an operation known to a person skilled in the art under the name "voice image switching".
  • the conference bridge may be able to recompose an overall image on the basis of the image streams sent by all the active users in order to create an illusion of simultaneous presence in the same virtual location of all these users, thus achieving an operation known to those skilled in the art under the name "simulation of permanent presence”.
  • bodily signals such as sounds or gestures
  • these bodily signals emitted by an active user can be enriched by data signals, for example texts, graphics or any type of prerecorded audiovisual presentation, in order to facilitate understanding of the remarks made by this user.
  • Conference bridges known in the prior art are not capable of processing such data signals by themselves, so that specific equipment must be provided for this purpose.
  • a data server can be implemented for this purpose, which server will be able to collect data, via a communication network such as the Internet, from the computer equipment implemented by the different active users of the telecommunications system described more high.
  • Such a server will be intended to store the data coming from the various active users and to make them accessible to said active users during the teleconference for which this data was generated.
  • the data signals will generally be digital in nature since they will most often have been generated by computer equipment, of the personal computer or workstation type.
  • the conference bridge carries out a processing of the flows of images and sounds according to its own formats and are not a priori compatible with standardized data transmission protocols, so that only users connected to each other through such a conference bridge will be able to access these streams.
  • One of the aims of the invention is to enable a large number of passive users to broadcast all of the content of a conference in which different active users participate, which content will be materialized by a flow of stimuli constituted by for example by sound streams, data streams and optionally image streams.
  • a telecommunication system in accordance with the introductory paragraph is characterized according to the invention in that it includes, in addition to the conference bridge:
  • a data server connected to at least one terminal made available to at least one of said active users and capable of receiving data from said terminal, and. a compilation device able to collect said stimulus stream processed by the conference bridge, on the one hand, and synchronization information relating to data received by the data server, on the other hand, and to generate representative signals said stimuli and said synchronization information for the purpose of transmitting these signals to at least one other terminal distinct from the terminal or terminals made available to at least one of said active users.
  • the invention allows a grouping of all information flows, and a transformation of said flows into signals compatible with current means of transmission, such as for example the Internet network. These signals can then be easily broadcast to a large number of passive users, without such a broadcast disturbing the operation of the conference bridge.
  • At least one terminal made available to an active user is capable of generating control signals associated with data transmitted by said active user, the conference bridge being capable of conveying said control signals to at least one other terminal made available to another user.
  • the conference bridge is capable of carrying control signals, for example via a specific channel, will allow remote control, by the active user who is developing a presentation, of terminals made available to the audience of said active user.
  • control signals may constitute orders or signal specific events occurring in the course of the presentation.
  • One or more communication channels will advantageously be arranged between one or more terminals separate from the terminal or terminals made available to at least one of said active users and one or more of said terminals made available to active users.
  • Such a communication channel will allow one or more passive users of the telecommunications system to transmit messages containing questions or observations to the active users. Passive users will thus be able to react to one or more presentations, of which they will initially have been only spectators, in order to obtain clarifications on certain passages of said presentations, or even in order to make comments which will only enrich the content of future presentations. Such an arrangement of the system described above will thus make it possible to confer a share of relative interactivity to the presentations transmitted to passive users, who do not have the possibility of intervening in real time in the course of said presentations.
  • Such communication channels also make it possible, between other complementary applications, opinion consultations by means of online voting.
  • a telecommunication system as described above will also include storage means intended to store information conveyed by signals generated by the compilation device.
  • Such a variant of the invention will allow a deferred transmission of a teleconference to passive users, but also to active users who have participated in said teleconference and may wish to relive it as a whole, and not from the point of view alone. actor who will have been theirs during the course of the conference which was recorded.
  • FIG. .l is a functional diagram which represents a telecommunication system conforming to a particular mode of implementation of the invention
  • Fig.2 is a block diagram which represents formatting means implemented in a compilation device included in such a telecommunication system
  • Fig.3 is a block diagram which represents means of dissemination used in such a telecommunication system.
  • Fig.l shows a SYST telecommunication system in which the invention is implemented.
  • Each active user AUi is here provided with a terminal including a display device DISPi, which is provided with at least one camera CM and at least one microphone MC respectively intended to generate the streams of images and sounds IFi and SFi intended for other users of the SYST system.
  • the DISPi display device consists of a screen intended to display image streams intended for the active user AUi, and at least one loudspeaker LS intended to reproduce sound streams intended for said active user AUi.
  • This SYST system includes a CNFB conference bridge capable of processing said streams of images and sounds IFi and SFi (for i-1 to 4).
  • the first active user AUI will receive from the conference bridge a sound stream SF234 constituted by the resulting sound stream SFI 234 from which the SFI sound stream emitted by the first active user AUI will have been subtracted.
  • the CNFB conference bridge may be able to select at each instant the flow of images emitted by that of the active users speaking at the instant considered, and transmitting the selected image stream to the other active users, thus carrying out an operation known to a person skilled in the art under the name "switching from images to voice".
  • active AUi considered.
  • the second active user AU2 will receive from the conference bridge a stream of images LF134 consisting of the resulting image stream IF1234 from which the LF2 image stream sent by the second active user AUI will have been subtracted.
  • Each terminal made available to an active user AUi includes in the example described here a personal computer PCi which will allow this active user to send data signals, for example texts, graphics or other signals to the other users of the system. Any type of pre-recorded audiovisual presentation, in order to facilitate understanding of the comments made by this active user.
  • Local management of the data flows originating from or intended for each active user AUi is carried out by means of a specific software application APi installed on the personal computer PCi of said active user AUi.
  • the image and sound streams coming from or intended for each user AUi also pass through his personal computer PCi, which makes it possible to gather in a single device all the equipment locally necessary for each active user to intervene in a teleconference carried out by means of a SYST telecommunication system in accordance with the present invention.
  • Such a gathering of means is however purely optional and has no direct impact on the invention itself.
  • the CNFB conference bridge is not capable of processing data flows by itself, so that specific equipment is provided for this purpose.
  • a DTSV data server is implemented for this purpose, which DTSV data server will be able to collect such data flows, via a communication network such as the Internet, from the personal computers PCi with which the various active users are provided.
  • only the first user AUI transmits data Dl which will be stored in the data server DTSV and retransmitted by said server DTSV to the other active users AU2, AU3 and AU4 during development by the first active user UAI of the presentation in view from which this data was generated.
  • the first active user AUI could for example be a teacher giving a course to three different classes which each constitute one of the second, third and fourth active users AU2, AU3 and AU4.
  • the CNFB conference bridge performs a processing of image and sound streams according to its own formats and are not a priori compatible with standardized data transmission protocols, for example the Internet protocol, so that, in the current state of the art, only users who are directly connected to the CNFB conference bridge can have access to the information flows which cross it.
  • the SYST system includes a CMPD compilation device able to collect streams of images and sounds processed by the conference bridge, on the one hand, and synchronization information relating to data received by the DTSV data server, on the other hand.
  • the IFi and SFi image and sound streams can be collected individually, or, as is the case here, in the form of the resulting LF1234 and SF1234 streams generated by the CNFB conference bridge.
  • the Dl data collected from the DTSV data server is already under a form compatible with a transmission protocol dedicated to a public network, said data will not in principle have to undergo a specific decoding.
  • the DECIS decoding means separate the resulting sound and image streams SF1234 and IF1234 into three separate streams SF, LF and SC, as well as the synchronization information SC.
  • the FISD formatting means then generate SCMF media streams, which have been converted into a format compatible with a transmission protocol dedicated to a public network, for example into a Windowsmedia or Realnetworks format dedicated to broadcasting via the Internet ( any of the above signs which may be protected).
  • SCMF media streams are intended to include F1234 image and sound (SI) streams generated by all active users, which image and sound streams are synchronized using SYNC synchronization information from the control signal.
  • SI image and sound
  • the terminal made available to the first active user AUI is able to generate control signals SCI associated with the data D1 transmitted by said first active user AUI.
  • the CNFB conference bridge is able to convey these SCI control signals to the terminals made available to other active users AU2, AU3 and AU4, on the one hand, but also to the terminals made available to passive users PU1. PU2 ... PUR
  • Such dissemination of the SCI control signals will allow remote control, by the active user who is developing a talk, of terminals made available to the audience of said active user.
  • the terminals PU1, PU2 ... PUN may for example, on an order transmitted by the control signals SCI and materialized by the synchronization information SYNC, request from the data server DTSV and by means of requests Drq a supply of Dl data at relevant times defined by said SCI control signals.
  • the SCI control signals may, in other embodiments of the invention, be broadcast by other channels and may in particular not pass through the CNFB conference bridge, being for example conveyed together with the data signals Dl.
  • the control signals SCi will be automatically generated by the applications APi intended to generate and transmit the data Di with which said control signals SCi are associated.
  • Command signals may constitute orders or signal specific events occurring in the course of the presentation.
  • the command signal may include a remote command to start or stop a given application, such as an Internet browser, a calculator, word processing or graphics presentation software, etc.
  • the command signal may also include a remote command for moving a window associated with an application to specific coordinates of a screen of the terminal for which such an order is intended, as well as a width and / or a height of such a window.
  • the command signal may also include an activation command on the screen of an application which has previously been placed in a menu of the "taskbar” type.
  • the command signal may also order an execution of a function of an object of the "menu” type or of an object of the "button” type of any application previously installed on the terminal for which such an order is intended.
  • the control signal can signal a request for synchronization of any web page.
  • the control signal may also signal a request for synchronization of display of a graph extracted from the data server, which request will have been materialized by an active user at the origin of said graph by an action on a key of a keyboard. or by clicking on a mouse.
  • the control signal may also signal a request for synchronization of an animation of such a graph, which request may also have been materialized by an action on a key on a keyboard or by a click on a mouse.
  • system SYST described in this exemplary embodiment of the invention includes a CCPA communication channel between the terminals made available to passive users PU1, PU2 ... PUN and the terminals made available to active users, only the communication channel intended for the first active user AUI being represented here in order to limit the complexity of the present figure.
  • Such a CCPA communication channel will allow one or more passive users PU1, PU2 ... PUN to transmit PUQ messages containing questions or comments to the active users. Passive users PU1, PU2 ... PUN will thus be able to react in real time or delayed to one or more presentations of which they will have been, initially, only spectators, in order to obtain clarifications on certain passages of said presentations, or again in order to make comments that can only enrich the content of future presentations.
  • the CCPA communication channel also makes online voting possible, among other complementary applications.
  • Fig.2 schematically illustrates how FISD shaping means included in the compilation device previously described can be achieved. These FISD formatting means are intended to receive sound and image streams SF and LF as well as control signals SC previously decoded.
  • An A / VENC audio / video encoding module is intended to encode said sound and image streams in a format compatible with a protocol for transmission via the Internet, for example in Windowsmedia or Realnetworks format.
  • the content of the control signals SC is integrated into the sound and image streams thus encoded by a synchronization module SCHR, intended to deliver in real time SCMF streams to the broadcasting means, on the one hand, but also to means of memorization which will allow a diffusion of these flows in deferred mode.
  • Fig.3 schematically illustrates how BRDSV broadcasting means can be produced.
  • BRDSV broadcasting means include referral means MX, for example a multiplexer, intended to receive either SCMF streams produced in real time by the compilation device, or MF streams previously memorized for their deferred broadcasting.
  • the BRDSV broadcasting means also include an MI interface module comprising, on the one hand, a passive user detector PUDET and, on the other hand, a stream transmitter PUBRD.
  • the passive user detector PUDET will emit a control signal Cnt having in this example a binary value "0" or "1" which will indicate to the referral means MX whether it must select SCMF streams produced in real time or streams MF previously stored for transmission to the PUBRD stream transmitter, which will restore PUjFx streams specifically adapted to the technical characteristics defined by the passive user PUj in its request PUjRq.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

La présente invention concerne un système de télécommunication SYST incluant au moins un pont de conférence CNFB apte à transmettre au moins un flux de stimuli à plusieurs utilisateurs actifs AUi (pour i=1 à 4). Le système SYST selon l'invention inclut en outre : un serveur de données DTSV apte à recevoir des données en provenance d'au moins un terminal APi ; et un dispositif de compilation CMPD apte à collecter ledit flux de stimuli, d'une part, et des informations de synchronisation relatives à des données reçues par le serveur de données, d'autre part, et à générer des signaux SCMF représentatifs desdits stimuli et desdites informations de synchronisation en vue d'une transmission de ces signaux vers au moins un autre terminal PUj (pour j=1 à N).

Description

"Système de télécommunication permettant une diffusion de flux multimédia via un réseau de communication public"
La présente invention concerne un système de télécommunication destiné à permettre à plusieurs utilisateurs actifs d'échanger entre eux des informations matérialisées par au moins un flux de stimuli, lequel système incluant au moins un pont de conférence apte à traiter ledit flux de stimuli.
De tels systèmes de télécommunication sont couramment mis en œuvre pour réaliser des téléconférences entre de multiples participants physiquement distants les uns des autres. Les flux de stimuli pourront par exemple être constitués par des flux de sons et, optionnellement, par des flux d'images. Dans une telle application, le pont de conférence exécute une sommation des différents flux de sons émis par les différents utilisateurs, et envoie à chaque utilisateur un signal représentatif du résultat de cette sommation, auquel aura été préalablement soustrait le flux de sons émis par l'utilisateur considéré. Le pont de conférence pourra en outre être apte à sélectionner à chaque instant un flux d'images émis par celui des utilisateurs qui parle à l'instant considéré, et à émettre le flux d'images sélectionné vers les autres utilisateurs, réalisant ainsi une opération connue de l'homme du métier sous l'appellation "commutation d'images à la voix". Alternativement, le pont de conférence pourra être apte à recomposer une image d'ensemble sur la base des flux d'images envoyés par tous les utilisateurs actifs afin de créer une illusion de présence simultanée en un même lieu virtuel de tous ces utilisateurs, réalisant ainsi une opération connue de l'homme du métier sous l'appellation "simulation de présence permanente".
Il existe ainsi dans l'état actuel de la technique des systèmes de télécommunication aptes à traiter des signaux corporels, tels des sons où des gestes, émis par des utilisateurs de tels systèmes. Cependant, ces signaux corporels émis par un utilisateur actif peuvent être enrichis par des signaux de données, par exemple des textes, des graphiques ou tout type de présentation audiovisuelle préenregistrée, dans le but de faciliter la compréhension des propos tenus par cet utilisateur.
Les ponts de conférence connus de l'état de la technique ne sont pas capables de traiter par eux-mêmes de tels signaux de données, de sorte qu'un équipement spécifique doit être prévu à cet effet. Un serveur de données peut être mis en œuvre dans ce but, lequel serveur sera apte à recueillir des données, via un réseau de communication comme le réseau Internet, depuis les équipements informatiques mis en œuvre par les différents utilisateurs actifs du système de télécommunication décrit plus haut. Un tel serveur sera destiné à stocker les données provenant des divers utilisateurs actifs et à les rendre accessibles auxdits utilisateurs actifs au cours de la téléconférence en vue de laquelle ces données ont été générées. Les signaux de données seront en général de nature numérique puisqu'ils auront le plus souvent été générés par des équipements informatiques, de type ordinateur personnel ou station de travail. Pour permettre une diffusion à un large public des connaissances exposées au cours d'une téléconférence, il est souhaitable de rendre accessibles à des utilisateurs passifs les flux d'images, de sons et éventuellement de données qui sont échangés entre des utilisateurs actifs connectés au pont de conférence, lesquels utilisateurs passifs n'étant pas eux-mêmes directement connectés au pont de conférence et étant donc inaptes à intervenir activement dans ces échanges. Dans l'état actuel de la technique, une telle diffusion n'est pas réalisable au moyen du seul pont de conférence, car les flux d'informations, en particulier les flux d'images, qui sont destinés à transiter au travers du pont de conférence présentent un volume tel qu'un faible nombre de participants actifs suffit à consommer en totalité une bande passante attribuée à des ressources de transmission dudit pont de conférence. Un serveur de données tel celui évoqué plus haut ne peut quant à lui être mis en œuvre que pour diffuser des données accessoires aux interventions des différents utilisateurs actifs, et ne saurait être mis en œuvre pour diffuser les flux d'images et de son décrits plus haut. Par ailleurs, le pont de conférence réalise un traitement des flux d'images et de sons selon des formats qui lui sont propres et ne sont a priori pas compatibles avec des protocoles de transmission de données standardisés, de sorte que seuls des utilisateurs connectés entre eux par un tel pont de conférence pourront avoir accès à ces flux. L'un des buts de l'invention est de permettre une diffusion vers un nombre important d'utilisateurs passifs de l'ensemble du contenu d'une conférence à laquelle participent différents utilisateurs actifs, lequel contenu sera matérialisé par un flux de stimuli constitué par exemple par des flux de sons, des flux de données et optionnellement des flux d'images. En effet, un système de télécommunication conforme au paragraphe introductif est caractérisé selon l'invention en ce qu'il inclut, outre le pont de conférence :
. un serveur de données relié à au moins un terminal mis à disposition d'au moins un desdits utilisateurs actifs et apte à recevoir des données en provenance dudit terminal, et . un dispositif de compilation apte à collecter ledit flux de stimuli traité par le pont de conférence, d'une part, et des informations de synchronisation relatives à des données reçues par le serveur de données, d'autre part, et à générer des signaux représentatifs desdits stimuli et desdites informations de synchronisation en vue d'une transmission de ces signaux vers au moins un autre terminal distinct du ou des terminaux mis à disposition d'au moins un desdits utilisateurs actifs. L'invention permet un regroupement de tous les flux d'informations, et une transformation desdits flux en signaux compatibles avec des moyens de transmission courants, comme par exemple le réseau Internet. Ces signaux peuvent alors être aisément diffusés vers un grand nombre d'utilisateurs passifs, sans qu'une telle diffusion ne perturbe le fonctionnement du pont de conférence.
Selon un mode de mise en œuvre particulier de l'invention, au moins un terminal mis à disposition d'un utilisateur actif est apte à générer des signaux de commande associés à des données émises par ledit utilisateur actif, le pont de conférence étant apte à véhiculer lesdits signaux de commande vers au moins un autre terminal mis à disposition d'un autre utilisateur.
Le fait que le pont de conférence soit apte à véhiculer des signaux de commande, par exemple via un canal spécifique, permettra un pilotage à distance, par l'utilisateur actif qui est en train de développer un exposé, de terminaux mis à la disposition de l'auditoire dudit utilisateur actif. Ces signaux de commande pourront constituer des ordres ou signaler des événements spécifiques survenant dans le fil de l'exposé.
Un ou plusieurs canaux de communication seront avantageusement aménagés entre un ou plusieurs terminaux distincts du ou des terminaux mis à disposition d'au moins un desdits utilisateurs actifs et un ou plusieurs desdits terminaux mis à disposition d'utilisateurs actifs.
Un tel canal de communication permettra à un ou plusieurs utilisateurs passifs du système de télécommunication de transmettre des messages contenant des questions ou des observations aux utilisateurs actifs. Les utilisateurs passifs pourront ainsi réagir à un ou plusieurs exposés dont ils auront été, dans un premier temps, uniquement spectateurs, afin d'obtenir des éclaircissements sur certains passages desdits exposés, ou encore afin d'émettre des remarques qui ne pourront qu'enrichir le contenu d'exposés futurs. Un tel aménagement du système décrit plus haut permettra ainsi de conférer une part de relative interactivité aux exposés transmis aux utilisateurs passifs, qui n'ont pas la possibilité d'intervenir en temps réel dans le déroulement desdits exposés. De tels canaux de communication rendent également possibles, entre autres applications complémentaires, des consultations d'opinion au moyen de votes en ligne.
Selon une variante de l'invention, un système de télécommunication tel que décrit plus haut inclura en outre des moyens de mémorisation destinés à mémoriser des informations véhiculées par des signaux générés par le dispositif de compilation.
Une telle variante de l'invention permettra une transmission en différé d'une téléconférence vers des utilisateurs passifs, mais aussi vers des utilisateurs actifs qui auraient participé à ladite téléconférence et pourraient souhaiter la revivre dans son ensemble, et non depuis le seul point de vue d'acteur qui aura été le leur lors du déroulement de la conférence qui a été enregistrée.
Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels : La Fig.l est un schéma fonctionnel qui représente un système de télécommunication conforme à un mode de mise en œuvre particulier de l'invention,
La Fig.2 est un schéma fonctionnel qui représente des moyens de mise en forme mis en œuvre dans un dispositif de compilation inclus dans un tel système de télécommunication, et La Fig.3 est un schéma fonctionnel qui représente des moyens de diffusion mis en œuvre dans un tel système de télécommunication.
La Fig.l représente un système de télécommunication SYST dans lequel l'invention est mise en œuvre. Ce système SYST est ici destiné à permettre à un premier, un deuxième, un troisième et un quatrième utilisateurs actifs AU1, AU2, AU3 et AU4 d'échanger entre eux des flux de stimuli matérialisés dans cet exemple par des flux d'images LFi joints à des flux de sons SFi (pour i=l à 4).
Chaque utilisateur actif AUi est ici muni d'un terminal incluant un dispositif d'affichage DISPi, lequel est muni d'au moins une caméra CM et d'au moins un microphone MC respectivement destinés à générer les flux d'images et de sons IFi et SFi destinés aux autres utilisateurs du système SYST. Le dispositif d'affichage DISPi est constitué par un écran destiné à afficher des flux d'images destinés à l'utilisateur actif AUi, et d'au moins un haut-parleur LS destiné à restituer des flux de sons destinés audit utilisateur actif AUi.
Ce système SYST inclut un pont de conférence CNFB apte à traiter lesdits flux d'images et de sons IFi et SFi (pour i-1 à 4). Le pont de conférence CNFB est ici destiné à exécuter, selon une technique connue de l'homme du métier, une sommation des différents flux de sons SFi (pour i=l à 4) émis par les différents utilisateurs actifs AUi, et à générer ainsi un flux de sons résultant SF1234. Le pont de conférence CNFB est alors apte à envoyer à chaque utilisateur actif AUi (pour i=l à 4) un signal représentatif du flux de sons résultant SFI 234, auquel aura été préalablement soustrait le flux de sons SFi émis par l'utilisateur actif AUi considéré. Ainsi, le premier utilisateur actif AUI recevra depuis le pont de conférence un flux de sons SF234 constitué par le flux de sons résultant SFI 234 auquel aura été soustrait le flux de sons SFI émis par le premier utilisateur actif AUI lui-même. Dans un mode de réalisation particulier de l'invention non-représenté sur la présente figure, le pont de conférence CNFB pourra être apte à sélectionner à chaque instant le flux d'images émis par celui des utilisateurs actifs qui parle à l'instant considéré, et à émettre le flux d'images sélectionné vers les autres utilisateurs actifs, réalisant ainsi une opération connue de l'homme du métier sous l'appellation "commutation d'images à la voix".
Dans le mode de réalisation particulier de l'invention décrit ici, le pont de conférence CNFB est apte à recomposer un flux d'images d'ensemble IF1234 obtenu sur la base des flux d'images LFi envoyés par tous les utilisateurs actifs AUi (pour i=l à 4) afin de créer une illusion de présence simultanée en un même lieu virtuel de tous les utilisateurs actifs, réalisant ainsi une opération connue de l'homme du métier sous l'appellation "simulation de présence permanente". Le pont de conférence CNFB est alors apte à envoyer à chaque utilisateur actif AUi (pour i=l à 4) un signal représentatif du flux d'images résultant LF1234, auquel aura été préalablement soustrait le flux d'images LFi émis par l'utilisateur actif AUi considéré. Ainsi, le deuxième utilisateur actif AU2 recevra depuis le pont de conférence un flux d'images LF134 constitué par le flux d'images résultant IF1234 auquel aura été soustrait le flux d'images LF2 émis par le deuxième utilisateur actif AUI lui-même.
Chaque terminal mis à disposition d'un utilisateur actif AUi inclut dans l'exemple décrit ici un ordinateur personnel PCi qui permettra à cet utilisateur actif d'émettre vers les autres utilisateurs du système des signaux de données, par exemple des textes, des graphiques ou tout type de présentation audiovisuelle préenregistrée, dans le but de faciliter la compréhension des propos tenus par cet utilisateur actif.
Réciproquement, l'ordinateur personnel PCi dont est ici muni chaque utilisateur actif AUI permettra à cet utilisateur actif de recevoir des signaux de données depuis les autres utilisateurs du système.
Une gestion locale des flux de données provenant de ou destinés à chaque utilisateur actif AUi (pour i=l à 4) est réalisée au moyen d'une application logicielle spécifique APi installée sur l'ordinateur personnel PCi dudit utilisateur actif AUi.
Dans l'exemple décrit ici, les flux d'images et de sons en provenance de ou destinés à chaque utilisateur AUi transitent également via son ordinateur personnel PCi, ce qui permet de rassembler en un unique appareil l'ensemble des équipements localement nécessaires à chaque utilisateur actif pour intervenir dans une téléconférence réalisée au moyen d'un système de télécommunication SYST conforme à la présente invention. Un tel rassemblement de moyens est toutefois purement optionnel et sans incidence directe sur l'invention elle-même.
Ainsi qu'exposé plus haut, le pont de conférence CNFB n'est pas capable de traiter par lui-même des flux de données, de sorte qu'un équipement spécifique est prévu à cet effet. Un serveur de données DTSV est mis en œuvre dans ce but, lequel serveur de données DTSV sera apte à recueillir de tels flux de données, via un réseau de communication comme le réseau Internet, depuis les ordinateurs personnels PCi dont sont munis les différents utilisateurs actifs AUi (pour i=l à 4) du système de télécommunication SYST. Dans l'exemple décrit ici, seul le premier utilisateur AUI émet des données Dl qui seront stockées dans le serveur de données DTSV et retransmises par ledit serveur DTSV vers les autres utilisateurs actifs AU2, AU3 et AU4 au cours du développement par le premier utilisateur actif AUI de l'exposé en vue duquel ces données ont été générées. Le premier utilisateur actif AUI pourra par exemple être un professeur dispensant un cours à trois classes différentes qui constituent chacune l'un des deuxième, troisième et quatrième utilisateurs actifs AU2, AU3 et AU4. Pour permettre une diffusion à un large public des connaissances exposées au cours d'une téléconférence, il est souhaitable de rendre accessibles à des utilisateurs passifs PU1, PU2...PUN les flux d'images, de sons et éventuellement de données qui sont échangés entre les utilisateurs actifs AUi (pour i=l à 4) connectés au pont de conférence CNFB, lesquels utilisateurs passifs PUj (pour j=l à N) n'étant pas directement connectés au pont de conférence CNFB et donc a priori inaptes à intervenir activement dans ces échanges.
Une telle diffusion à un large public n'est pas réalisable au moyen du seul pont de conférence CNFB, car les flux d'informations, en particulier les flux d'images LFi, qui sont destinés à transiter au travers du pont de conférence CNFB présentent un volume tel qu'un faible nombre de participants actifs AUi suffit à consommer en totalité une bande passante attribuée audit pont de conférence CNFB. Par ailleurs, le pont de conférence CNFB réalise un traitement des flux d'images et de sons selon des formats qui lui sont propres et ne sont a priori pas compatibles avec des protocoles de transmission de données standardisés, par exemple le protocole Internet, de sorte que, dans l'état actuel de la technique, seuls des utilisateurs qui sont directement connectés au pont de conférence CNFB peuvent avoir accès aux flux d'informations qui le traversent.
Dans ce mode de réalisation de l'invention, le système SYST inclut un dispositif de compilation CMPD apte à collecter des flux d'images et de sons traités par le pont de conférence, d'une part, et des informations de synchronisation relatives à des données reçues par le serveur de données DTSV, d'autre part. Les flux d'images et de sons IFi et SFi pourront être collectés individuellement, ou, comme c'est le cas ici, sous la forme des flux résultants LF1234 et SF1234 générés par le pont de conférence CNFB. Les données Dl collectées depuis le serveur de données DTSV étant déjà sous une forme compatible avec un protocole de transmission dédié à un réseau public, lesdites données n'auront pas en principe à subir un décodage spécifique.
Le dispositif de compilation CMPD inclut des moyens de décodage DECIS desdits flux de sons et d'images résultants SFI 234 et LFI 234 et des moyens de mise en forme FISD aptes à générer des signaux représentatifs desdites images, desdits sons et desdites données en vue d'une transmission de ces signaux via des moyens de diffusion BRDSV vers des terminaux mis à disposition de N utilisateurs passifs PUj (pour j=l à TSf), qui sont distincts des terminaux mis à disposition des utilisateurs actifs AUi (pouri≈l à 4). Les moyens de décodage DECIS séparent à cet effet en trois flux distincts SF, LF et SC les flux de sons et d'images résultants SF1234 et IF1234, ainsi que les informations de synchronisation SC.
Les moyens de mise en forme FISD génèrent alors des flux média SCMF, qui ont été convertis en un format compatible avec un protocole de transmission dédié à un réseau public, par exemple en un format Windowsmedia ou Realnetworks dédié à une diffusion via le réseau Internet (l'un ou l'autre des signes précités pouvant être protégé). Les flux média SCMF ont vocation à inclure les flux d'images et de sons (S.I)F1234 générés par tous les utilisateurs actifs, lesquels flux d'images et de sons sont synchronisés au moyen d'informations de synchronisation SYNC issues du signal de commande SCI et relatives aux données Dl, émises par le premier utilisateur actif au soutien de son exposé, avec lesdites données D 1.
Les moyens de diffusion BRDSV fourniront, éventuellement sur requête, à chaque terminal mis à disposition d'un utilisateur passif PUj (pour j=l à N) des flux PUjFx intégrant des images, des sons, et des informations de synchronisation et issus des flux média SCMF, qui pourront avoir été préalablement mémorisés.
Dans le mode de réalisation de l'invention qui est décrit ici, le terminal mis à disposition du premier utilisateur actif AUI est apte à générer des signaux de commande SCI associés aux données Dl émises par ledit premier utilisateur actif AUI. Le pont de conférence CNFB est apte à véhiculer ces signaux de commande SCI vers les terminaux mis à disposition des autres utilisateurs actifs AU2, AU3 et AU4, d'une part, mais aussi vers les terminaux mis à disposition des utilisateurs passifs PU1. PU2... PUR
Une telle diffusion des signaux de commande SCI, par exemple via un canal spécifique, permettra un pilotage à distance, par l'utilisateur actif qui est en train de développer un exposé, de terminaux mis à la disposition de l'auditoire dudit utilisateur actif. Les terminaux PU1, PU2...PUN pourront par exemple, sur un ordre transmis par les signaux de commande SCI et matérialisé par les informations de synchronisation SYNC, requérir de la part du serveur de données DTSV et au moyen de requêtes Drq une fourniture de données Dl à des instants pertinents définis par lesdits signaux de commande SCI.
Il est à noter ici que les signaux de commande SCI pourront, dans d'autres modes de mise en œuvre de l'invention, être diffusés par d'autres voies et pourront en particulier ne pas transiter par le pont de conférence CNFB, en étant par exemple véhiculés conjointement aux signaux de données Dl. Dans d'autres configurations du système SYST, non-représentées ici dans le but de ne pas compliquer inutilement la description de l'invention, les autres utilisateurs actifs AUi (pour i=2 à4) pourront eux aussi émettre des données Di et des signaux de commande SCi qui leur seront associés, en vue d'une diffusion générale ou éventuellement sélective des données Di et des signaux SCi vers les terminaux mis à disposition des autres utilisateurs du système SYST. Les signaux de commande SCi seront automatiquement générés par les applications APi destinées à générer et émettre les données Di auquel lesdits signaux de commande SCi sont associés.
Les signaux de commande pourront constituer des ordres ou signaler des événements spécifiques survenant dans le fil de l'exposé. Parmi différents types d'ordres possibles, le signal de commande pourra inclure une commande à distance de lancement ou d'arrêt d'une application donnée, comme un navigateur Internet, une calculatrice, un logiciel de traitement de texte ou de présentations de graphiques, etc. Le signal de commande pourra en outre inclure une commande à distance de déplacement d'une fenêtre associée à une application vers des coordonnées spécifiques d'un écran du terminal auquel un tel ordre est destiné, ainsi qu'une largeur et/ou une hauteur d'une telle fenêtre. Le signal de commande pourra de plus inclure une commande d'activation à l'écran d'une application qui aurait été préalablement placée dans un menu de type "barre des tâches". Le signal de commande pourra également ordonner une exécution d'une fonction d'un objet de type "menu" ou d'un objet de type "bouton" d'une quelconque application préalablement installée sur le terminal auquel un tel ordre est destiné.
Parmi différents types d'événements possibles, le signal de commande pourra signaler une demande de synchronisation d'une page Web quelconque. Le signal de commande pourra en outre signaler une demande de synchronisation d'affichage d'un graphique extrait du serveur de données, laquelle demande aura été matérialisée par un utilisateur actif à l'origine dudit graphique par une action sur une touche d'un clavier ou par un click sur une souris. Le signal de commande pourra également signaler une demande de synchronisation d'une animation d'un tel graphique, laquelle demande pourra également avoir été matérialisée par une action sur une touche d'un clavier ou par un click sur une souris.
Par ailleurs, le système SYST décrit dans cet exemple de réalisation de l'invention inclut un canal de communication CCPA entre les terminaux mis à disposition des utilisateurs passifs PU1, PU2...PUN et les terminaux mis à disposition des utilisateurs actifs, seul le canal de communication destiné au premier utilisateur actif AUI étant représenté ici afin de limiter la complexité de la présente figure.
Un tel canal de communication CCPA permettra à un ou plusieurs utilisateurs passifs PU1, PU2...PUN de transmettre des messages PUQ contenant des questions ou des observations aux utilisateurs actifs. Les utilisateurs passifs PU1, PU2...PUN pourront ainsi réagir en temps réel ou en différé à un ou plusieurs exposés dont ils auront été, dans un premier temps, uniquement spectateurs, afin d'obtenir des éclaircissements sur certains passages desdits exposés, ou encore afin d'émettre des remarques qui ne pourront qu'enrichir le contenu d'exposés futurs. Le canal de communication CCPA rend également possible, entre autres applications complémentaires, des votes en ligne. La Fig.2 illustre schématiquement comment des moyens de mise en forme FISD inclus dans le dispositif de compilation précédemment décrit peuvent être réalisés. Ces moyens de mise en forme FISD sont destinés à recevoir des flux de sons et d'images SF et LF ainsi que des signaux de commande SC préalablement décodés. Un module d'encodage audio/vidéo A/VENC est destiné à encoder lesdits flux de sons et d'images en un format compatible avec un protocole de transmission via le réseau Internet, par exemple en un format Windowsmedia ou Realnetworks. Le contenu des signaux de commande SC est intégré aux flux de sons et d'images ainsi encodés par un module de synchronisation SCHR, destiné à délivrer en temps réel des flux SCMF aux moyens de diffusion, d'une part, mais aussi à des moyens de mémorisation qui permettront une diffusion de ces flux en différé.
La Fig.3 illustre schématiquement comment des moyens de diffusion BRDSV peuvent être réalisés. Ces moyens de diffusion BRDSV incluent des moyens d'aiguillage MX, par exemple un multiplexeur, destinés à recevoir soit des flux SCMF produits en temps réel par le dispositif de compilation, soit des flux MF préalablement mémorisés en vue de leur diffusion en différé. Les moyens de diffusion BRDSV incluent en outre un module d'interface MI comprenant, d'une part, un détecteur d'utilisateur passif PUDET et, d'autre part, un émetteur de flux PUBRD. Le détecteur d'utilisateur passif PUDET est destiné à recevoir des requêtes de flux PUjRq émises par des utilisateurs passifs PUj (pour j=l à N), chaque utilisateur PUj identifiant au moyen d'une telle requête PUjRq des caractéristiques techniques propres au terminal qui est à sa disposition, et la nature du flux d'informations qu'il souhaite recevoir, à savoir informations produites en temps réel ou en différé. Le détecteur d'utilisateur passif PUDET émettra un signal de contrôle Cnt présentant dans cet exemple une valeur binaire "0" ou "1" qui indiquera aux moyens d'aiguillage MX s'il doit sélectionner des flux SCMF produits en temps réel ou des flux MF préalablement mémorisés en vue de leur transmission à l'émetteur de flux PUBRD, qui restituera des flux PUjFx spécifiquement adaptés aux caractéristiques techniques définies par l'utilisateur passif PUj dans sa requête PUjRq.

Claims

REVENDICATIONS
1) Système de télécommunication destiné à permettre à plusieurs utilisateurs actifs d'échanger entre eux des informations matérialisées par au moins un flux de stimuli, lequel système incluant au moins un pont de conférence apte à traiter ledit flux de stimuli, système caractérisé en ce qu'il inclut en outre :
. un serveur de données relié à au moins un terminal mis à disposition d'au moins un desdits utilisateurs actifs et apte à recevoir des données en provenance dudit terminal, et
. un dispositif de compilation apte à collecter ledit flux de stimuli traité par le pont de conférence, d'une part, et des informations de synchronisation relatives à des données reçues par le serveur de données, d'autre part, et à générer des signaux représentatifs desdits stimuli et desdites informations de synchronisation en vue d'une transmission de ces signaux vers au moins un autre terminal distinct du ou des terminaux mis à disposition d'au moins un desdits utilisateurs actifs. 2) Système de télécommunication selon la revendication 1, dans lequel au moins un terminal mis à disposition d'un utilisateur actif est apte à générer des signaux de commande associés à des données émises par ledit utilisateur actif, le pont de conférence étant apte à véhiculer lesdits signaux de commande vers au moins un autre terminal mis à disposition d'un autre utilisateur. 3) Système de télécommunication selon l'une des revendications 1 ou 2, incluant au moins un canal de communication entre un terminal distinct du ou des terminaux mis à disposition d'au moins un desdits utilisateurs actifs et au moins un terminal mis à disposition d'un utilisateur actif.
4) Système de télécommunication selon l'une des revendications 1 à 3, incluant en outre des moyens de mémorisation destinés à mémoriser des informations véhiculées par des signaux générés par le dispositif de compilation.
EP04714812A 2003-02-28 2004-02-26 Systeme de telecommunication permettant une diffusion de flux multimedia via un reseau de communication public Withdrawn EP1620990A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0302666A FR2851863A1 (fr) 2003-02-28 2003-02-28 Systeme de telecommunication permettant une diffusion de flux multimedia via un reseau de communication public
PCT/FR2004/000436 WO2004080029A1 (fr) 2003-02-28 2004-02-26 Systeme de telecommunication permettant une diffusion de flux multimedia via un reseau de communication public

Publications (1)

Publication Number Publication Date
EP1620990A1 true EP1620990A1 (fr) 2006-02-01

Family

ID=32843098

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04714812A Withdrawn EP1620990A1 (fr) 2003-02-28 2004-02-26 Systeme de telecommunication permettant une diffusion de flux multimedia via un reseau de communication public

Country Status (4)

Country Link
US (1) US20060230101A1 (fr)
EP (1) EP1620990A1 (fr)
FR (1) FR2851863A1 (fr)
WO (1) WO2004080029A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657096A (en) * 1995-05-03 1997-08-12 Lukacs; Michael Edward Real time video conferencing system and method with multilayer keying of multiple video images
US20030038805A1 (en) * 2001-08-22 2003-02-27 Wong Curtis G. System and method to provide a spectator experience for networked gaming

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7185054B1 (en) * 1993-10-01 2007-02-27 Collaboration Properties, Inc. Participant display and selection in video conference calls
US5434913A (en) * 1993-11-24 1995-07-18 Intel Corporation Audio subsystem for computer-based conferencing system
US6002768A (en) * 1996-05-07 1999-12-14 International Computer Science Institute Distributed registration and key distribution system and method
US5916302A (en) * 1996-12-06 1999-06-29 International Business Machines Corporation Multimedia conferencing using parallel networks
US6704769B1 (en) * 2000-04-24 2004-03-09 Polycom, Inc. Media role management in a video conferencing network
US6987728B2 (en) * 2001-01-23 2006-01-17 Sharp Laboratories Of America, Inc. Bandwidth allocation system
US7107312B2 (en) * 2001-02-06 2006-09-12 Lucent Technologies Inc. Apparatus and method for use in a data/conference call system for automatically collecting participant information and providing all participants with that information for use in collaboration services
US7266091B2 (en) * 2001-02-28 2007-09-04 The Trustees Of Columbia University In City Of New York System and method for conferencing in inter/intranet telephony
US7404001B2 (en) * 2002-03-27 2008-07-22 Ericsson Ab Videophone and method for a video call
US7305436B2 (en) * 2002-05-17 2007-12-04 Sap Aktiengesellschaft User collaboration through discussion forums
US7124163B2 (en) * 2002-05-24 2006-10-17 Convedia Corporation Data server
US7370194B2 (en) * 2002-06-10 2008-05-06 Microsoft Corporation Security gateway for online console-based gaming

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657096A (en) * 1995-05-03 1997-08-12 Lukacs; Michael Edward Real time video conferencing system and method with multilayer keying of multiple video images
US20030038805A1 (en) * 2001-08-22 2003-02-27 Wong Curtis G. System and method to provide a spectator experience for networked gaming

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2004080029A1 *

Also Published As

Publication number Publication date
FR2851863A1 (fr) 2004-09-03
US20060230101A1 (en) 2006-10-12
WO2004080029A1 (fr) 2004-09-16

Similar Documents

Publication Publication Date Title
JP6404912B2 (ja) ライブ放送システム
US8312081B2 (en) Methods and apparatuses for recording and viewing a collaboration session
US7293060B2 (en) Electronic disc jockey service
US20060009867A1 (en) System and method for communicating audio data signals via an audio communications medium
CN108322474B (zh) 基于共享桌面的虚拟现实系统、相关装置及方法
Sasse et al. Remote seminars through multimedia conferencing: experiences from the MICE project
CA2604030A1 (fr) Installation pour la diffusion contextuelle d'informations en mode a la fois collectif et personnel
JP2019036969A (ja) ライブ放送システム
TW201036443A (en) Device, method and computer program product for transmitting data within remote application
EP1434447B1 (fr) Diffusion d'une information dans un réseau de radiocommunication
CN110989889A (zh) 信息展示方法、信息展示装置和电子设备
EP3011712B1 (fr) Procédé de communication pour une application interactive entre terminaux dans une salle de projection sur écran
US20020067907A1 (en) Universal video client/universal video server system
EP2499782A1 (fr) Procede de diffusion d'un flux de donnees et procede d'interaction entre utilisateurs
KR20010082529A (ko) 통합형 컴퓨팅 및 통신 아키텍쳐(ｕｃｃａ)
EP1354479B1 (fr) Procede et equipement pour la gestion des interactions dans la norme mpeg-4
EP1719361A1 (fr) Systeme de creation et de transmission de messages multimedias comportant une composante sonore modifiee
EP1620990A1 (fr) Systeme de telecommunication permettant une diffusion de flux multimedia via un reseau de communication public
WO2008107595A2 (fr) Procédé et installation de télécommunication pour la fourniture d'un service à l'utilisateur d'un équipement personnel.
Luz et al. Meeting browser: A system for visualising and accessing audio in multicast meetings
BE1029154B1 (fr) Dispositif et procédé pour une interaction entre un public et des acteurs
Grant The mobile revolution
WO2022268911A1 (fr) Methode pour acheminer un contenu numerique multimedia en temps reel a partir d'une fonction d'adressage et d'equipements de traduction
EP2400751A1 (fr) Procédé de mise en communication d'utilisateurs d'équipements audiovisuels automatiquement identifiés comme membres d'une même communauté
CN117395473A (zh) 弹幕数据处理方法、消息处理方法、存储介质及电子装置

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050621

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
RIN1 Information on inventor provided before grant (corrected)

Inventor name: ROUQUIE, CHRISTOPHE

Inventor name: MARQUE, JEAN-LOUIS

Inventor name: JEZEQUEL, DOMINIQUE

Inventor name: LE HUEROU, EMMANUEL

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

17Q First examination report despatched

Effective date: 20150305

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20150716