FR3052010A1 - METHOD FOR IMPROVING THE QUALITY OF A COMMUNICATION - Google Patents

METHOD FOR IMPROVING THE QUALITY OF A COMMUNICATION Download PDF

Info

Publication number
FR3052010A1
FR3052010A1 FR1654926A FR1654926A FR3052010A1 FR 3052010 A1 FR3052010 A1 FR 3052010A1 FR 1654926 A FR1654926 A FR 1654926A FR 1654926 A FR1654926 A FR 1654926A FR 3052010 A1 FR3052010 A1 FR 3052010A1
Authority
FR
France
Prior art keywords
terminal
video
content
substitution
substitution content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR1654926A
Other languages
French (fr)
Inventor
Jean-Francois Gyss
Raphaelle Hautin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Priority to FR1654926A priority Critical patent/FR3052010A1/en
Publication of FR3052010A1 publication Critical patent/FR3052010A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425Monitoring of client processing errors or hardware failure

Abstract

La présente invention concerne un procédé d'amélioration de la qualité d'une communication vidéo établie entre un premier et au moins un second terminal selon un premier moyen de transport. Le procédé est remarquable en ce qu'il comporte, lorsque la vidéo reçue par le second terminal est affectée par des erreurs de transmission, des étapes d'envoi d'une demande d'un contenu de substitution vers le premier terminal, de réception, selon un moyen de transport de données distinct du premier moyen de transport, d'un contenu de substitution en provenance du premier terminal, et de restitution de contenu de substitution sur le second terminal à la place de la vidéo.The present invention relates to a method for improving the quality of a video communication established between a first and at least a second terminal according to a first means of transport. The method is remarkable in that it comprises, when the video received by the second terminal is affected by transmission errors, steps of sending a request for a substitution content to the first receiving terminal, according to a data transport means separate from the first transport means, a substitution content from the first terminal, and restitution of substitution content on the second terminal in place of the video.

Description

PROCÉDÉ D’AMÉLIORATION DE LA QUALITÉ D’UNE COMMUNICATION Domaine techniqueMETHOD FOR IMPROVING THE QUALITY OF A COMMUNICATION Technical field

La présente invention se rapporte au domaine des télécommunications et plus particuliérement à un procédé d’amélioration de l’expérience utilisateur lors d’une communication vidéo.The present invention relates to the field of telecommunications and more particularly to a method of improving the user experience during a video communication.

Art antérieurPrior art

Les communications vidéo temps réel, du fait de la bande passante importante qu’elles nécessitent et des techniques de codage prédictif qu’elles mettent en œuvre, sont connues pour être particuliérement sensibles aux conditions de transmissions sur les réseaux de télécommunication. Ainsi, lorsque des erreurs de transmission surviennent, par exemple suite à une congestion du réseau, la qualité de la vidéo restituée est très vite dégradée.Real-time video communications, because of the large bandwidth they require and predictive coding techniques they implement, are known to be particularly sensitive to the conditions of transmissions on telecommunication networks. Thus, when transmission errors occur, for example due to network congestion, the quality of the returned video is very quickly degraded.

Différentes techniques ont été proposées afin de pallier à ces désagréments.Various techniques have been proposed to overcome these inconveniences.

Une solution de la technique actuelle consiste, lorsque les dégradations de la vidéo sont telles que les erreurs ne peuvent pas être corrigées de manière satisfaisante, à couper la communication vidéo pour ne conserver qu’une composante audio de la conversation, nettement moins consommatrice de ressources réseau. Il peut s’agir par exemple d’une déconnexion bidirectionnelle de la communication vidéo, la communication entre les participants étant réduite à une modalité de communication moins consommatrice en bande passante, comme par exemple une communication audio ou une communication par messagerie instantanée. Il peut également s’agir d’une coupure de la seule composante vidéo qui subit les pertes.A solution of the current technique is, when the degradation of the video are such that the errors can not be satisfactorily corrected, to cut the video communication to keep only one audio component of the conversation, significantly less resource consuming network. This may for example be a bidirectional disconnection of video communication, the communication between the participants being reduced to a less bandwidth consuming communication mode, such as for example an audio communication or an instant messaging communication. It can also be a cut of the only video component that suffers the losses.

De telles techniques ne sont toutefois pas satisfaisantes. En effet, lorsque le canal vidéo est déconnecté, le terminal ne dispose plus d’information sur la qualité de la transmission et il n’est pas possible de savoir quand la communication vidéo peut être rétablie dans de bonnes conditions.Such techniques, however, are not satisfactory. Indeed, when the video channel is disconnected, the terminal no longer has information on the quality of the transmission and it is not possible to know when the video communication can be restored in good conditions.

Il existe donc un besoin pour une solution permettant d’améliorer la qualité d’une communication vidéo lorsque des conditions réseau dégradées ne permettent plus la réception d’une vidéo de qualité satisfaisante. Résumé de l’invention A cet effet, l’invention concerne un procédé d’amélioration de la qualité d’une communication audiovisuelle établie entre un premier et au moins un second terminal selon un premier moyen de transport.There is therefore a need for a solution to improve the quality of a video communication when degraded network conditions no longer allow the reception of a video of satisfactory quality. SUMMARY OF THE INVENTION To this end, the invention relates to a method for improving the quality of an audiovisual communication established between a first and at least a second terminal according to a first means of transport.

Le procédé est remarquable en ce qu’il comporte, lorsque la vidéo reçue par au moins un second terminal est affectée par des erreurs de transmission, les étapes suivantes: - envoi d’une demande d’un contenu de substitution vers le premier terminal, - réception, selon un moyen de transport de données distinct du premier moyen de transport, d’un contenu de substitution en provenance du premier terminal, - restitution de contenu de substitution sur le second terminal à la place de la vidéo.The method is remarkable in that it comprises, when the video received by at least one second terminal is affected by transmission errors, the following steps: sending a request for a substitution content to the first terminal, - Reception, according to a data transport means separate from the first means of transport, a substitution content from the first terminal, - restitution of substitution content on the second terminal in place of the video.

Ainsi, lorsque les conditions de transmissions sont dégradées de façon telle que la vidéo transmise par un premier terminal et reçue par au moins un second terminal ne peut pas être décodée correctement par le second terminal, l’invention propose que le second terminal envoie une demande d’un contenu de substitution au premier terminal. Par exemple, lorsqu’un flux vidéo est transmis selon le protocole RTP (Real-Time Transport Protocol), il peut subir des pertes de paquets. De telles pertes affectent la qualité de la vidéo décodée car le protocole RTP ne prévoit pas de retransmission des paquets perdus. Le contenu de substitution demandé par le second terminal est transmis par le premier terminal selon un moyen de transport distinct du premier moyen de transport, par exemple selon un protocole fiable ou par le biais d’une autre interface réseau, de façon à ce que l’intégrité du contenu de substitution ne soit pas affectée par les conditions de transmission. Par exemple, le contenu de substitution peut être transmis selon le protocole TCP (Transmission Control Protocol) de façon à garantir l’intégrité du contenu de substitution reçu par le second terminal. Le second terminal peut alors restituer le contenu de substitution reçu en remplacement de la vidéo subissant des pertes. De cette façon, l’utilisateur peut visionner un contenu transmis pas le correspondant plutôt qu’une vidéo très dégradée ou qu’un écran noir.Thus, when the transmission conditions are degraded so that the video transmitted by a first terminal and received by at least one second terminal can not be decoded correctly by the second terminal, the invention proposes that the second terminal sends a request. an alternative content to the first terminal. For example, when a video stream is transmitted according to the Real-Time Transport Protocol (RTP), it may suffer packet losses. Such losses affect the quality of the decoded video because the RTP protocol does not provide for retransmission of lost packets. The substitution content requested by the second terminal is transmitted by the first terminal according to a transport means distinct from the first transport means, for example according to a reliable protocol or through another network interface, so that the integrity of the substitute content is not affected by the transmission conditions. For example, the substitution content may be transmitted according to the Transmission Control Protocol (TCP) so as to guarantee the integrity of the substitution content received by the second terminal. The second terminal can then restore the received substitution content in replacement of the video undergoing losses. In this way, the user can view a content transmitted by the correspondent rather than a very degraded video or a black screen.

Ainsi, en remplaçant le contenu vidéo dégradé par un contenu de substitution intègre et de bonne qualité, le procédé permet d’améliorer la qualité de la communication.Thus, by replacing the degraded video content with an integrated substitution content and of good quality, the method makes it possible to improve the quality of the communication.

Selon une réalisation particulière, le remplacement de la vidéo par le contenu de substitution sur le second terminal est temporaire. De cette façon, dès que les conditions de transmissions sont rétablies, le contenu de substitution est masqué et l’affichage du contenu vidéo est restitué.In a particular embodiment, replacing the video with the substitution content on the second terminal is temporary. In this way, as soon as the transmission conditions are restored, the substitute content is masked and the display of the video content is restored.

Selon une réalisation particulière, la communication est établie avec une pluralité de seconds terminaux, par exemple dans le cadre d’une communication multipoint de type visioconférence. Dans une telle configuration, la demande de contenu de substitution peut être émise par un ou plusieurs seconds terminaux. Le contenu de substitution est alors transmis vers la pluralité de seconds terminaux.According to a particular embodiment, the communication is established with a plurality of second terminals, for example in the context of a videoconference type multipoint communication. In such a configuration, the substitution content request may be issued by one or more second terminals. The substitution content is then transmitted to the plurality of second terminals.

Selon un mode de réalisation particulier, le procédé est tel que l’envoi du message vers le premier terminal est effectué suite à une action d’un utilisateur du second terminal sur un élément d’interaction.According to a particular embodiment, the method is such that sending the message to the first terminal is performed following an action of a user of the second terminal on an interaction element.

Le second terminal peut comporter un élément d’interaction tel qu’un bouton sur une interface utilisateur du terminal. Une action de l’utilisateur sur cet élément d’interaction permet de déclencher l’envoi de la demande d’un contenu de substitution. Ainsi, un contenu de substitution peut être envoyé par le premier terminal à la demande de l’utilisateur du second terminal.The second terminal may include an interaction element such as a button on a user interface of the terminal. A user action on this interaction element triggers the sending of the request for a substitute content. Thus, substitute content may be sent by the first terminal at the request of the user of the second terminal.

Selon un mode de réalisation particulier, la demande de contenu de substitution est envoyée automatiquement par le second terminal lorsque que la valeur d’une donnée représentative de la qualité de la vidéo décodée sur le second terminal excède un seuil prédéterminé.According to a particular embodiment, the substitution content request is sent automatically by the second terminal when the value of a data representative of the quality of the video decoded on the second terminal exceeds a predetermined threshold.

Par exemple, le terminal peut déterminer que des paquets de données sont manquants en constatant que des numéros de séquences compris dans les paquets de données ne sont pas consécutifs. Lorsque le nombre de paquets manquants excède une certaine valeur, par exemple lorsque 20% des paquets ne sont pas reçus, le second terminal déclenche automatiquement l’envoi d’une demande de contenu de substitution. Ainsi, aucune interaction de l’utilisateur n’est nécessaire pour qu’un contenu de substitution soit restitué à la place de la vidéo.For example, the terminal may determine that data packets are missing by noting that sequence numbers included in the data packets are not consecutive. When the number of missing packets exceeds a certain value, for example when 20% of the packets are not received, the second terminal automatically triggers the sending of a substitution content request. Thus, no interaction of the user is necessary for a substitute content to be rendered in place of the video.

Selon une réalisation particulière, le procédé est tel que le contenu de substitution est une séquence vidéo.According to a particular embodiment, the method is such that the substitution content is a video sequence.

Le contenu de substitution est une séquence vidéo transmise par un moyen de transport distinct du moyen de transport utilisé pour transmettre les composantes audio et/ou vidéo de la communication. Il peut s’agir par exemple d’une image ou d’une séquence d’images de l’utilisateur du premier terminal capturée à l’aide d’un dispositif de capture d’image du premier terminal. De cette façon, une vidéo de mauvaise qualité est remplacée sur le second terminal par une séquence audiovisuelle de bonne qualité représentant par exemple l’utilisateur de premier terminal. La qualité de la communication est alors améliorée. La séquence audiovisuelle peut par exemple être un extrait de la séquence audiovisuelle capturée lors de la communication, ou encore une image fixe capturée ou sélectionnée à cet effet par l’utilisateur du premier terminal. Selon un mode particulier de réalisation, différentes images de substitution peuvent être transmises à intervalle régulier, par exemple toutes les 5 secondes, afin de préserver le dynamisme de la communication vidéo.The substitute content is a video sequence transmitted by a means of transport distinct from the means of transport used to transmit the audio and / or video components of the communication. It may be for example an image or a sequence of images of the user of the first terminal captured using an image capture device of the first terminal. In this way, a poor quality video is replaced on the second terminal by a good quality audiovisual sequence representing for example the first terminal user. The quality of the communication is then improved. The audiovisual sequence may for example be an extract of the audiovisual sequence captured during the communication, or a still image captured or selected for this purpose by the user of the first terminal. According to a particular embodiment, different substitution images may be transmitted at regular intervals, for example every 5 seconds, in order to preserve the dynamism of the video communication.

De cette façon, lorsque les conditions de transmission sont telles que les paroles de l’utilisateur du premier terminal sont inintelligibles par l’utilisateur du second terminal, l’utilisateur du premier terminal peut par exemple enregistrer un court message dont il est certain qu’il sera correctement décodé et restitué sur le second terminal.In this way, when the transmission conditions are such that the words of the user of the first terminal are unintelligible by the user of the second terminal, the user of the first terminal can for example record a short message which it is certain that it will be correctly decoded and restored on the second terminal.

Selon un mode particulier de réalisation, le procédé est tel que le moyen de transport de données distinct du moyen de transport utilisé pour transmettre la vidéo est un protocole de transport de données fiable.According to a particular embodiment, the method is such that the data transport means separate from the means of transport used to transmit the video is a reliable data transport protocol.

Afin de garantir que le contenu de substitution soit correctement reçu, décodé et restitué sur le second terminal, le procédé propose que la transmission de ce contenu soit réalisée au moyen d’un protocole de transport fiable, tel que par exemple le protocole TCP/IP.In order to guarantee that the substitute content is correctly received, decoded and restored on the second terminal, the method proposes that the transmission of this content be carried out using a reliable transport protocol, such as, for example, the TCP / IP protocol. .

Selon un mode de réalisation particulier, le procédé est tel que la transmission de la vidéo et/ou de l’audio depuis le premier terminal vers le second terminal est suspendue tant que le contenu de substitution n’est pas reçu par le second terminal.According to a particular embodiment, the method is such that the transmission of video and / or audio from the first terminal to the second terminal is suspended as long as the substitution content is not received by the second terminal.

De cette façon, la bande passante est libérée le temps de transférer le contenu depuis le premier terminal vers le second terminal. Ainsi, le temps de transmission est amélioré et la restitution du contenu de substitution est réalisée plus rapidement.In this way, the bandwidth is released the time to transfer the content from the first terminal to the second terminal. Thus, the transmission time is improved and the return of the substitution content is achieved more quickly.

Selon un mode particulier de réalisation, le procédé est tel que le contenu de substitution est enregistré dans une mémoire associée au second terminal et disponible pour des communications ultérieures.According to a particular embodiment, the method is such that the substitution content is stored in a memory associated with the second terminal and available for subsequent communications.

Lorsque le contenu de substitution est reçu par le second terminal, il est mémorisé dans une mémoire associé au terminal. Par exemple, le terminal peut enregistrer le contenu dans une base de données ou un système de fichier du terminal. Le contenu de substitution peut également être enregistré sur une unité de stockage distante associée au terminal, comme par exemple un système de stockage en ligne.When the substitution content is received by the second terminal, it is stored in a memory associated with the terminal. For example, the terminal may store the content in a database or file system of the terminal. Substitute content may also be stored on a remote storage unit associated with the terminal, such as an online storage system.

De cette façon, le contenu de substitution reste disponible après qu’il ait été restitué et peut à nouveau être restitué en cas de perturbations réseau lors d’une communication avec le même correspondant.In this way, the substitute content remains available after it has been restored and can be restored again in case of network disturbances during a communication with the same correspondent.

Selon un autre aspect, l’invention concerne un dispositif d’amélioration de la qualité d’une communication vidéo établie entre un premier et au moins un second terminal, le dispositif étant caractérisé en ce qu’il comporte : - un module de communication adapté pour recevoir un flux vidéo selon un premier moyen de transport de données, - un module de communication adapté pour envoyer une demande de contenu de substitution vers le premier terminal, - un module de communication adapté pour recevoir un contenu de substitution en provenance du premier terminal, selon un moyen de transport de données distinct du moyen de transport utilisé pour transmettre la vidéo, - un module d’affichage adapté pour restituer le contenu de substitution sur le second terminal à la place de la vidéo. L’invention concerne également un terminal comprenant un dispositif d’amélioration tel que décrit ci-dessus. L’invention concerne également un programme d’ordinateur comportant des instructions pour l’exécution des étapes du procédé d’amélioration, lorsque ledit programme est exécuté par un processeur.According to another aspect, the invention relates to a device for improving the quality of a video communication established between a first and at least a second terminal, the device being characterized in that it comprises: a suitable communication module for receiving a video stream according to a first data transport means, - a communication module adapted to send a request for substitution content to the first terminal, - a communication module adapted to receive a substitution content from the first terminal , according to a data transport means distinct from the means of transport used to transmit the video, - a display module adapted to restore the substitution content on the second terminal in place of the video. The invention also relates to a terminal comprising an improvement device as described above. The invention also relates to a computer program comprising instructions for performing the steps of the improvement method, when said program is executed by a processor.

Enfin, l’invention concerne un support d’informations lisible par un processeur sur lequel est enregistré un programme d'ordinateur comprenant des instructions pour l'exécution des étapes du procédé d’amélioration.Finally, the invention relates to a processor-readable information medium on which is recorded a computer program comprising instructions for performing the steps of the improvement method.

Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette (floppy dise) ou un disque dur. D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet. Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.The information carrier may be any entity or device capable of storing the program. For example, the medium may comprise storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or a magnetic recording medium, for example a floppy disk or a disk. hard. On the other hand, the information medium may be a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by other means. The program according to the invention can be downloaded in particular on an Internet type network. Alternatively, the information carrier may be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.

Selon un autre aspect, l’invention concerne un procédé de transmission d’un contenu de substitution depuis un premier terminal vers un second terminal lors d’une communication vidéo établie entre les deux terminaux au moyen d’un premier moyen de transport, le procédé étant caractérisé en ce qu’il comporte les étapes suivantes : - réception d’une demande de contenu de substitution en provenance du second terminal, - obtention d’un contenu de substitution, et - transmission du contenu obtenu vers le second terminal par l’intermédiaire d’un second moyen de transport.According to another aspect, the invention relates to a method for transmitting a substitution content from a first terminal to a second terminal during a video communication established between the two terminals by means of a first means of transport, the method characterized in that it comprises the following steps: - receiving a request for substitution content from the second terminal, - obtaining a substitution content, and - transmitting the content obtained to the second terminal by the intermediate of a second means of transport.

Lorsque la vidéo reçue par le second terminal est dégradée par des pertes subies lors de la transmission, celui-ci transmet une demande de contenu de substitution au premier terminal selon le procédé d’amélioration décrit précédemment. A la réception d’une telle demande, le premier terminal obtient un contenu alternatif et le transmet au second terminal par l’intermédiaire d’un moyen de transport distinct du moyen de transport utilisé pour transmettre la vidéo. L’utilisation d’un second moyen de transport distinct du premier moyen de transport permet de transmettre le contenu de substitution sans subir les conditions de transports ayant mené aux pertes de paquets constatées lors de la transmission de la vidéo.When the video received by the second terminal is degraded by losses incurred during the transmission, the latter transmits a substitution content request to the first terminal according to the improvement method described above. Upon receipt of such a request, the first terminal obtains alternative content and transmits it to the second terminal via a means of transport distinct from the means of transport used to transmit the video. The use of a second means of transport distinct from the first means of transport makes it possible to transmit the substitute content without undergoing the transport conditions that led to the packet losses observed during the transmission of the video.

Selon une réalisation particulière, le procédé de transmission est tel que le contenu de substitution est une séquence audiovisuelle capturée à partir d’un dispositif de capture du premier terminal.According to a particular embodiment, the transmission method is such that the substitution content is an audiovisual sequence captured from a capture device of the first terminal.

Le fait de transmettre une séquence audiovisuelle capturée à partir d’un dispositif de capture du premier terminal permet un remplacement de la vidéo par une séquence vidéo représentative de la communication dégradée et dont la qualité est garantie par l’utilisation d’un protocole de communication fiable. Une telle disposition participe à l’amélioration de la qualité de la communication. A titre d’alternative, le terminal peut transmettre une image fixe capturée à partir d’un dispositif de capture du terminal, une séquence audio capturée par un microphone du terminal ou encore une image mémorisée au préalable sur le terminal et sélectionnée par l’utilisateur.The fact of transmitting a captured audiovisual sequence from a capture device of the first terminal makes it possible to replace the video with a video sequence representative of the degraded communication and whose quality is guaranteed by the use of a communication protocol. reliable. Such a provision contributes to improving the quality of communication. Alternatively, the terminal can transmit a captured still image from a capture device of the terminal, an audio sequence captured by a microphone of the terminal or an image previously stored on the terminal and selected by the user .

Selon un autre aspect, l’invention concerne un dispositif de transmission d’un contenu de substitution vers un second dispositif lors d’une communication vidéo entre deux dispositifs. Le dispositif est remarquable en ce qu’il comporte: un module de communication adapté pour recevoir une demande de contenu de substitution en provenance du second dispositif, - un module d’obtention d’un contenu de substitution. - un module de communication adapté pour transmettre le contenu obtenu au second dispositif. L’invention concerne également un terminal comprenant un dispositif de transmission tel que décrit ci-dessus. L’invention concerne également un programme d’ordinateur comportant des instructions pour l’exécution des étapes du procédé de transmission, lorsque ledit programme est exécuté par un processeur.According to another aspect, the invention relates to a device for transmitting a substitution content to a second device during a video communication between two devices. The device is remarkable in that it comprises: a communication module adapted to receive a request for substitution content from the second device, - a module for obtaining a substitution content. a communication module adapted to transmit the content obtained to the second device. The invention also relates to a terminal comprising a transmission device as described above. The invention also relates to a computer program comprising instructions for executing the steps of the transmission method, when said program is executed by a processor.

Enfin, l’invention concerne un support d’informations lisible par un processeur sur lequel est enregistré un programme d'ordinateur comprenant des instructions pour l'exécution des étapes du procédé de transmission.Finally, the invention relates to a processor-readable information medium on which is recorded a computer program comprising instructions for executing the steps of the transmission method.

Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette (floppy dise) ou un disque dur. D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet. Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.The information carrier may be any entity or device capable of storing the program. For example, the medium may comprise storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or a magnetic recording medium, for example a floppy disk or a disk. hard. On the other hand, the information medium may be a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by other means. The program according to the invention can be downloaded in particular on an Internet type network. Alternatively, the information carrier may be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.

Les différents modes ou caractéristiques de réalisation précités peuvent être ajoutés indépendamment ou en combinaison les uns avec les autres, aux étapes du procédé d’amélioration et/ou du procédé de transmission tels que définis ci-dessus.The various embodiments or embodiments mentioned above may be added independently or in combination with each other, at the steps of the improvement method and / or the transmission method as defined above.

Les terminaux, dispositifs, programmes et supports d’informations présentent au moins des avantages analogues à ceux conférés par les procédés auxquels ils se rapportent et décrits ci-dessus.The terminals, devices, programs and information carriers have at least advantages similar to those conferred by the processes to which they relate and described above.

Liste des figures D'autres caractéristiques et avantages apparaîtront à la lecture de modes de réalisation préférés décrits en référence aux figures parmi lesquelles :List of Figures Other features and advantages will appear on reading of preferred embodiments described with reference to the figures among which:

La figure 1 représente une architecture adaptée pour la mise en œuvre de l’invention selon une réalisation particulière, - La figure 2 illustre les principales étapes du procédé d’amélioration selon un mode de réalisation particulier, - La figure 3 illustre les principales étapes du procédé de transmission selon un mode de réalisation particulier, - La figure 4 représente de façon schématique l’architecture d’un dispositif adapté pour la mise en œuvre du procédé d’amélioration selon une réalisation particulière, et - La figure 5 représente de façon schématique l’architecture d’un dispositif adapté pour la mise en œuvre du procédé de transmission selon un mode particulier de réalisation.FIG. 1 represents an architecture adapted for the implementation of the invention according to a particular embodiment; FIG. 2 illustrates the main steps of the improvement method according to a particular embodiment; FIG. transmission method according to a particular embodiment, - Figure 4 schematically shows the architecture of a device adapted for implementing the improvement method according to a particular embodiment, and - Figure 5 schematically represents the architecture of a device adapted for implementing the transmission method according to a particular embodiment.

Description détailléedetailed description

La figure 1 représente une architecture adaptée pour la mise en œuvre de l’invention selon une réalisation particulière. L’architecture comprend un premier terminal 100 et un second terminal 101 adaptés pour établir des communications au travers d’un réseau de communication 102. Le réseau de communication 102 est par exemple un réseau de type IMS (Internet Multimédia Subsystem) au travers duquel les terminaux peuvent établir des communications audio et vidéo selon un protocole d’établissement de session tel que le protocole SIP (Session Initiation Protocol). Un tel protocole permet d’établir des communications audio et vidéo entre les terminaux 100 et 101 selon l’état de l’art. Les terminaux 100 et 101 peuvent en outre communiquer selon différentes méthodes de transport de données, comme par exemple en établissant une connexion 103 selon le protocole UDP ou une connexion 104 selon le protocole TCP. L’invention s’applique également à des communications audiovisuelles de type WebRTC (Web Real-Time Communication).FIG. 1 represents an architecture adapted for the implementation of the invention according to a particular embodiment. The architecture comprises a first terminal 100 and a second terminal 101 adapted to establish communications through a communication network 102. The communication network 102 is for example an IMS (Internet Multimedia Subsystem) type network through which the Terminals can establish audio and video communications according to a session establishment protocol such as Session Initiation Protocol (SIP). Such a protocol makes it possible to establish audio and video communications between the terminals 100 and 101 according to the state of the art. The terminals 100 and 101 may further communicate according to different data transport methods, for example by establishing a connection 103 according to the UDP protocol or a connection 104 according to the TCP protocol. The invention also applies to audiovisual communications of WebRTC (Web Real-Time Communication) type.

Lorsqu’une communication est établie entre les terminaux 100 et 101, les flux audio et vidéo sont échangés selon un protocole de transmission tel que RTP (Real Time Transport Protocol). Le protocole RTP est basé sur le protocole de transport UDP (User Datagram Protocol). Le protocole UDP étant un protocole non fiable, un paquet de données émis depuis le terminal 100 vers le terminal 101 n’a aucune garantie d’être délivré car les paquets perdus ne sont pas retransmis. Ainsi, lorsque les conditions réseau sont défavorables, par exemple lorsque le réseau est congestionné, des pertes de paquets peuvent se produire. De telles pertes de paquets peuvent avoir un impact considérable sur la qualité de la vidéo ou de l’audio décodé et restituée par le terminal récepteur. Une telle baisse de qualité peut se traduire par des artefacts sur la vidéo ou l’audio décodé, ou lorsque les pertes sont importantes par une vidéo figée ou dégradée à un point tel que les images décodées ne correspondent plus en rien aux images transmises par le terminal émetteur.When communication is established between the terminals 100 and 101, the audio and video streams are exchanged according to a transmission protocol such as RTP (Real Time Transport Protocol). The RTP protocol is based on the User Datagram Protocol (UDP) transport protocol. The UDP protocol being an unreliable protocol, a data packet sent from the terminal 100 to the terminal 101 is not guaranteed to be delivered because the lost packets are not retransmitted. Thus, when the network conditions are unfavorable, for example when the network is congested, packet losses can occur. Such packet losses can have a considerable impact on the quality of the video or audio decoded and output by the receiving terminal. Such a drop in quality can result in artefacts on the video or decoded audio, or when the losses are significant by a video frozen or degraded to a point where the decoded images no longer correspond to the images transmitted by the video. transmitter terminal.

De telles dégradations laissent une mauvaise impression à l’utilisateur qui peut alors se détourner de l’usage du service. L’invention propose une solution visant à atténuer cette mauvaise impression lorsque les conditions réseau ne permettent plus une communication vidéo de bonne qualité. Pour cela, l’invention propose, lorsque les erreurs de transmission sont telles que la qualité de la vidéo décodée est mauvaise, de remplacer l’affichage de la vidéo dégradée par l’affichage d’un contenu de substitution. Le procédé selon l’invention est remarquable en ce que lorsque la vidéo reçue par le terminal 101 est affectée par des erreurs de transmission, ce dernier envoie une demande d’un contenu de substitution vers le terminal 100. A la réception de cette demande, le terminal 100 obtient un contenu de substitution qu’il transmet au terminal 101 selon un moyen de transport distinct du moyen de transport utilisé pour échanger les données audio et vidéo entre les terminaux. A la réception du contenu de substitution par le terminal 101, ce dernier effectue la restitution du contenu de substitution à la place de la vidéo. Ainsi, les dégradations de la vidéo ne sont pas visibles par l’utilisateur dans le contenu substitué, ce qui limite la mauvaise impression ressentie par l’utilisateur et réduit le risque qu’il se détourne du service.Such degradation leaves a bad impression to the user who can then turn away from the use of the service. The invention proposes a solution to mitigate this bad impression when the network conditions no longer allow good quality video communication. For this purpose, the invention proposes, when the transmission errors are such that the quality of the decoded video is poor, to replace the display of the degraded video by the display of a substitution content. The method according to the invention is remarkable in that when the video received by the terminal 101 is affected by transmission errors, the latter sends a request for a substitution content to the terminal 100. Upon receipt of this request, the terminal 100 obtains a substitution content which it transmits to the terminal 101 according to a transport means distinct from the means of transport used to exchange the audio and video data between the terminals. When the substitution content is received by the terminal 101, the latter performs the restitution of the substitution content in place of the video. Thus, the degradation of the video is not visible to the user in the substituted content, which limits the bad impression felt by the user and reduces the risk that he turns away from the service.

Les étapes du procédé d’amélioration vont maintenant être décrites en référence à la figure 2.The steps of the improvement method will now be described with reference to FIG.

Lors d’une première étape 200, une communication est établie entre les terminaux 100 et 101. Lors de cette communication, des paquets de données sont échangés entre les terminaux. En particulier, le terminal 100 envoie au terminal 101 des paquets de données correspondants à un flux audio et vidéo capturé et encodé par le terminal 100. Les données ainsi transmises sont reçues par le terminal 101 à l’étape 200. A l’étape 201, le terminal 101 évalue la qualité de la vidéo décodée. Pour cela, le terminal peut examiner les numéros de séquence des paquets de données reçus afin de terminer si des paquets sont manquants, sachant qu’il existe une corrélation forte entre le nombre de paquets manquants et la qualité des flux audio et/ou vidéo décodé. Ainsi, le terminal 101 peut calculer automatiquement une valeur représentative de la qualité de la vidéo décodée. Il peut s’agir par exemple d’un taux de perte de paquets. Selon un mode de réalisation particulier, l’utilisateur signale un problème de qualité par une action sur un élément d’interaction prévu à cet effet sur l’interface du terminal. A l’étape 202, lorsque l’utilisateur du terminal 101 signale une dégradation de la qualité de la vidéo, ou bien selon un mode de réalisation particulier, lorsque le taux de perte de paquets excède un seuil prédéterminé, par exemple lorsque le taux de perte excède 10%, une demande de contenu de substitution est envoyée au terminal 100. Cette demande peut être envoyée par l’intermédiaire d’un message de signalisation comportant une indication selon laquelle un contenu de substitution est demandé. Dans le cas du protocole SIP, il peut s’agir par exemple d’un message de type « INFO » comprenant une indication selon laquelle un contenu de substitution est demandé. La demande peut toutefois être transmise par un autre moyen de communication, comme par exemple un message de type SMS (Short Message System) ou HTTP. A l’étape 203, le terminal 101 reçoit une réponse à la demande de contenu de substitution envoyée. Le contenu de substitution est envoyé selon un moyen de transport de données distinct du moyen de transport utilisé pour transmettre la vidéo. Par exemple, alors que les données vidéo et audio de la communication sont envoyées selon un protocole RTP, le contenu de substitution est envoyé selon un protocole tel que http, TCP/IP ou encore MSRP (Message Session Relay Protocol). Selon une réalisation particulière, le moyen de transport de données distinct du moyen de transport utilisé pour transmettre la vidéo est un protocole de transport de données fiable, c’est-à-dire un protocole selon lequel la délivrance des messages envoyés est garantie. Cette garantie peut être obtenue par exemple par des retransmissions des paquets de données perdus. De cette façon, le terminal 101 est sûr de recevoir le contenu de substitution demandé et l’intégrité de ce contenu est garanti.In a first step 200, a communication is established between the terminals 100 and 101. During this communication, data packets are exchanged between the terminals. In particular, the terminal 100 sends to the terminal 101 data packets corresponding to an audio and video stream captured and encoded by the terminal 100. The data thus transmitted are received by the terminal 101 in step 200. In step 201 , the terminal 101 evaluates the quality of the decoded video. For this, the terminal can examine the sequence numbers of the received data packets in order to finish if packets are missing, knowing that there is a strong correlation between the number of missing packets and the quality of the decoded audio and / or video streams. . Thus, the terminal 101 can automatically calculate a value representative of the quality of the decoded video. This may be for example a packet loss rate. According to a particular embodiment, the user reports a quality problem by an action on an interaction element provided for this purpose on the interface of the terminal. In step 202, when the user of the terminal 101 signals a deterioration in the quality of the video, or according to a particular embodiment, when the packet loss rate exceeds a predetermined threshold, for example when the loss exceeds 10%, a request for substitution content is sent to the terminal 100. This request may be sent via a signaling message including an indication that a substitution content is requested. In the case of the SIP protocol, it may be for example an "INFO" type message including an indication that a substitution content is requested. However, the request may be transmitted by another means of communication, such as a message of the SMS (Short Message System) or HTTP type. In step 203, the terminal 101 receives a response to the requested substitution content request. The substitution content is sent in a data transport means separate from the means of transport used to transmit the video. For example, while the video and audio data of the communication are sent according to an RTP protocol, the substitution content is sent according to a protocol such as http, TCP / IP or even Message Displays Protocol (MSRP). In a particular embodiment, the data transport means separate from the means of transport used to transmit the video is a reliable data transport protocol, that is to say a protocol according to which the delivery of sent messages is guaranteed. This guarantee can be obtained for example by retransmissions of lost data packets. In this way, the terminal 101 is sure to receive the requested substitute content and the integrity of that content is guaranteed.

Lors d’une étape 204, le terminal 101 restitue le contenu de substitution en remplacement de la vidéo dont les dégradations ont provoqué l’envoi de la demande d’un contenu de substitution. Ainsi, les dégradations subies par le flux vidéo sont compensées par la restitution d’un contenu alternatif de bonne qualité.During a step 204, the terminal 101 restores the substitute content to replace the video whose degradations have caused the sending of the request for a substitution content. Thus, the degradation suffered by the video stream is compensated by the restitution of alternative content of good quality.

Selon un mode particulier de réalisation de l’invention, le contenu de substitution est une image fixe. Ainsi, une image peut être affichée en lieu et place de la vidéo dégradée. Une telle disposition permet de masquer la vidéo dégradée et ainsi d’éviter à l’utilisateur de voir les imperfections du flux vidéo décodé. De cette façon, le procédé réduit la mauvaise impression laissée par une vidéo d’aspect déplorable et contribue à éviter que l’utilisateur ne se détourne du service.According to a particular embodiment of the invention, the substitution content is a still image. Thus, an image can be displayed instead of the degraded video. Such an arrangement makes it possible to hide the degraded video and thus to prevent the user from seeing the imperfections of the decoded video stream. In this way, the method reduces the bad impression left by a bad-looking video and helps to prevent the user from turning away from the service.

Selon une réalisation particulière, l’image fixe de substitution est une image capturée à partir d’un dispositif de capture du terminal 100. L’image peut être capturée à la réception de la demande de contenu de substitution par le terminal 100, ou bien il peut s’agir d’une image capturée précédemment lors de la communication vidéo initiale. De cette façon, le procédé contribue à maintenir un contact visuel de qualité avec l’utilisateur du terminal 100. En variante, le contenu de substitution peut consister en une courte séquence d’images animées, comme par exemple une image au format « GIF >> (Graphie Interchange Format). L’étape 204 peut alors consister en la lecture de la séquence d’images animées en lieu et place de la vidéo dégradée. Selon une réalisation particulière, le contenu de substitution est une séquence audiovisuelle comportant au moins une composante vidéo. Cette séquence audiovisuelle peut être générée à partir des composantes audio et/ou vidéo transmises lors de la communication lorsqu’elles ont été affectées par des dégradations. Par exemple, la séquence audiovisuelle de substitution peut comprendre les composantes audio et/ou vidéo transmises pendant les dernières secondes de la communication.According to a particular embodiment, the substitute fixed image is an image captured from a capture device of the terminal 100. The image can be captured upon receipt of the substitution content request by the terminal 100, or else it may be an image captured previously during the initial video communication. In this way, the method contributes to maintaining good visual contact with the user of the terminal 100. In a variant, the substitution content may consist of a short sequence of moving images, such as for example a "GIF" format image. > (Graphie Interchange Format). Step 204 may then consist of reading the moving picture sequence instead of the degraded video. According to a particular embodiment, the substitution content is an audiovisual sequence comprising at least one video component. This audiovisual sequence can be generated from the audio and / or video components transmitted during the communication when they have been affected by impairments. For example, the alternative audiovisual sequence may comprise the audio and / or video components transmitted during the last seconds of the communication.

Selon une réalisation particulière, un contenu de substitution est transmis à intervalle régulier. Par exemple, le terminal 100 peut comprendre une horloge configurée pour déclencher la capture d’une nouvelle image et l’envoi de cette image capturée à intervalle régulier vers le terminal 101.In a particular embodiment, a substitution content is transmitted at regular intervals. For example, the terminal 100 may comprise a clock configured to trigger the capture of a new image and the sending of this captured image at regular intervals to the terminal 101.

Selon un mode particulier de réalisation de l’invention, la transmission de la vidéo depuis le premier terminal vers le second terminal est suspendue tant que le contenu de substitution n’est pas reçu par le second terminal. De cette façon, le procédé permet de libérer de la bande passante pour faciliter la transmission du contenu de substitution vers le terminal 101. Pour cela, le procédé peut comprendre une étape d’envoi par le terminal 101, d’un message acquittant la bonne réception du contenu de substitution. Ainsi, le terminal 100 peut stopper l’émission du flux vidéo à l’envoi du contenu de substitution et rétablir la transmission à la réception de l’acquittement envoyé par le terminal 101.According to one particular embodiment of the invention, the transmission of the video from the first terminal to the second terminal is suspended as long as the substitution content is not received by the second terminal. In this way, the method makes it possible to release bandwidth to facilitate the transmission of the substitution content to the terminal 101. For this, the method may include a step of sending by the terminal 101, a message acquitting the correct receiving the substitution content. Thus, the terminal 100 can stop the transmission of the video stream when sending the substitution content and restore the transmission on receipt of the acknowledgment sent by the terminal 101.

Selon un mode particulier de réalisation, le procédé comprend une étape de mémorisation du contenu de substitution dans une mémoire associée au terminal 101, de façon à ce que le contenu de substitution soit disponible ultérieurement. De cette façon, le procédé permet de restituer très rapidement le contenu de substitution lorsque des erreurs de transmission sont détectées, sans que le temps de transmission d’un nouveau contenu de substitution ne vienne en ralentir la restitution. Le contenu de substitution peut également être mémorisé sur une unité de stockage distante, comme par exemple un service de stockage en ligne.According to a particular embodiment, the method comprises a step of storing the substitution content in a memory associated with the terminal 101, so that the substitution content is available later. In this way, the method makes it possible to restore the substitution content very quickly when transmission errors are detected, without the transmission time of a new substitute content slowing down the reproduction. Substitute content may also be stored on a remote storage unit, such as an online storage service.

De façon correspondante au procédé d’amélioration, l’invention vise également un procédé de transmission d’un contenu de substitution sur un terminal. Les étapes d’un tel procédé vont maintenant être décrites en référence à la figure 3.Correspondingly to the improvement method, the invention also relates to a method of transmitting a substitution content on a terminal. The steps of such a method will now be described with reference to FIG.

Lors d’une étape 300, le terminal 100 reçoit une demande de contenu de substitution en provenance du terminal 101. Comme indiqué précédemment en référence à l’étape 202 de la figure 2, cette demande peut être transmise de différentes manières par le terminal 101.During a step 300, the terminal 100 receives a request for substitution content from the terminal 101. As indicated above with reference to the step 202 of FIG. 2, this request can be transmitted in various ways by the terminal 101. .

La réception d’une telle demande déclenche une étape 301 d’obtention d’un contenu de substitution. Lors de cette étape, le terminal recherche par exemple dans une mémoire un contenu de substitution sélectionné au préalable à cet effet par l’utilisateur. Il peut s’agir d’une image désignée à cet effet dans un album photo du terminal. Le contenu de substitution peut également être capturé à la réception de la demande à partir d’un dispositif de capture d’image du terminal, comme par exemple une caméra vidéo ou un appareil photo. Le contenu peut également correspondre à une image capturée précédemment lors de la communication vidéo.The receipt of such a request triggers a step 301 of obtaining a substitution content. During this step, the terminal searches, for example, in a memory for a substitution content previously selected for this purpose by the user. It can be an image designated for this purpose in a photo album of the terminal. The substitute content may also be captured upon receipt of the request from an image capture device of the terminal, such as a video camera or a camera. The content may also correspond to an image captured previously during the video communication.

Lors d’une étape 302, le contenu de substitution obtenu est transmis vers le terminal 101 par l’intermédiaire d’un moyen de transport distinct du moyen de transport utilisé pour transmettre la vidéo. Les considérations techniques relatives à ce moyen de transport sont analogues à celles décrites en référence à l’étape 203.In a step 302, the obtained substitution content is transmitted to the terminal 101 via a means of transport distinct from the means of transport used to transmit the video. The technical considerations relating to this means of transport are similar to those described with reference to step 203.

Selon une réalisation particulière, l’invention s’applique à une communication audio dans laquelle des pertes au cours de la transmission rendent inaudible l’audio décodé sur le terminal 101. Dans une telle réalisation, le contenu de substitution peut être un court extrait sonore enregistré à partir d’un microphone du terminal 100. Selon un mode de réalisation préféré, le court extrait correspond aux dernières secondes du signal audio envoyé au cours de la conversation. Ainsi, lorsque le son décodé par le terminal 101 est inintelligible, une demande de contenu de substitution est automatiquement envoyée au terminal 100. A la réception de cette demande, le terminal 100 obtient le signal audio correspondant aux dernières secondes de communication à partir d’une mémoire. Pour cela, le terminal 100 peut comprendre une mémoire tampon circulaire configurée pour mémoriser les 10 dernières secondes du signal audio transmis lors de la communication. Le contenu de substitution est alors obtenu à partir de cette mémoire tampon et envoyé au terminal 101 par l’intermédiaire d’un moyen de transport alternatif et fiable. De cette façon, le terminal 100 peut restituer à l’étape 204 le signal audio de substitution à la place du signal audio de la communication. Une telle disposition permet avantageusement à l’utilisateur du terminal 101 d’avoir une chance de comprendre ce que disait l’interlocuteur au moment de la perte de paquet. Selon une réalisation particulière, le terminal comprend une telle mémoire tampon configurée pour mémoriser les dernières secondes d’une communication vidéo.According to a particular embodiment, the invention applies to an audio communication in which losses during the transmission make the audio decoded on the terminal 101 inaudible. In such an embodiment, the substitution content may be a short sound extract. Recorded from a microphone of the terminal 100. According to a preferred embodiment, the short extract corresponds to the last seconds of the audio signal sent during the conversation. Thus, when the sound decoded by the terminal 101 is unintelligible, a substitution content request is automatically sent to the terminal 100. On receipt of this request, the terminal 100 obtains the audio signal corresponding to the last seconds of communication from a memory. For this, the terminal 100 may comprise a circular buffer configured to store the last 10 seconds of the audio signal transmitted during the communication. The substitute content is then obtained from this buffer and sent to the terminal 101 via an alternative and reliable transport means. In this way, the terminal 100 can restore in step 204 the substitute audio signal instead of the audio signal of the communication. Such an arrangement advantageously allows the user of the terminal 101 to have a chance to understand what the interlocutor said at the time of packet loss. In a particular embodiment, the terminal comprises such a buffer configured to store the last seconds of a video communication.

La figure 4 illustre l’architecture d’un dispositif 400 adapté pour mettre en oeuvre le procédé d’amélioration selon un mode particulier de réalisation.FIG. 4 illustrates the architecture of a device 400 adapted to implement the improvement method according to a particular embodiment.

Le dispositif comprend un espace de stockage 401, par exemple une mémoire MEM, une unité de traitement 402 équipée par exemple d’un processeur PROC. L’unité de traitement peut être pilotée par un programme 403, par exemple un programme d’ordinateur PGR, mettant en oeuvre le procédé d’amélioration tel que décrit dans l’invention en référence à la figure 2, et notamment les étapes de détection d’une perte de paquet par comparaison de numéros de séquence contenus dans les paquets composant un flux de communication audio et/ou vidéo entre un premier et un second terminal, d’envoi d’une demande d’un contenu de substitution vers le premier terminal, de réception d’un contenu de substitution en provenance du premier terminal, le contenu de substitution étant reçu selon un moyen de transport de données distinct du moyen de transport utilisé pour transmettre la vidéo ou l’audio de la communication, et de restitution de contenu de substitution sur le second terminal à la place de la vidéo. À l’initialisation, les instructions du programme d’ordinateur 403 sont par exemple chargées dans une mémoire RAM (Random Access Memory) avant d’être exécutées par le processeur de l’unité de traitement 402. Le processeur de l’unité de traitement 402 met en œuvre les étapes du procédé d’amélioration selon les instructions du programme d’ordinateur 403.The device comprises a storage space 401, for example a memory MEM, a processing unit 402 equipped for example with a processor PROC. The processing unit may be driven by a program 403, for example a PGR computer program, implementing the improvement method as described in the invention with reference to FIG. 2, and in particular the detection steps. a packet loss by comparing sequence numbers contained in the packets composing an audio and / or video communication stream between a first and a second terminal, sending a request for a substitution content to the first terminal, receiving substitution content from the first terminal, the substitution content being received according to a data transport means separate from the means of transport used to transmit the video or audio of the communication, and restitution alternate content on the second terminal instead of the video. At initialization, the instructions of the computer program 403 are for example loaded into a RAM (Random Access Memory) before being executed by the processor of the processing unit 402. The processor of the processing unit 402 implements the steps of the improvement method according to the instructions of the computer program 403.

Pour cela, le dispositif comprend, outre la mémoire 401, un module de communication 404 adapté pour recevoir un flux audio ou vidéo selon un premier moyen de transport de données. Il s’agit par exemple d’une interface réseau Wifi, Ethernet ou encore d’une connexion à un réseau cellulaire de type 3G ou 4G couplée avec une pile protocolaire SIP et/ou RTP par exemple. Ce module de communication permet au terminal d’échanger des flux audiovisuels avec un autre terminal.For this, the device comprises, in addition to the memory 401, a communication module 404 adapted to receive an audio or video stream according to a first data transport means. This is for example a Wifi network interface, Ethernet or a connection to a 3G or 4G type cellular network coupled with a SIP protocol stack and / or RTP for example. This communication module allows the terminal to exchange audiovisual streams with another terminal.

Le dispositif comprend également un module de communication 405 adapté pour envoyer une demande de contenu de substitution vers un autre dispositif. Un tel module de communication peut également correspondre à une interface réseau de type Wifi, Ethernet, 3G ou 4G. L’interface réseau peut être partagée avec celle décrite en référence au module de communication 404. Le module de communication 405 comprend en outre une pile protocolaire configurée pour transmettre des messages de signalisations vers un dispositif de transmission selon l’invention et en particulier d’envoyer une demande de contenu de substitution vers un terminal comprenant un dispositif de transmission avec lequel une communication est établie. Il s’agit par exemple d’une pile protocolaire SIP.The device also comprises a communication module 405 adapted to send a request for substitution content to another device. Such a communication module can also correspond to a network interface of Wifi, Ethernet, 3G or 4G type. The network interface can be shared with that described with reference to the communication module 404. The communication module 405 further comprises a protocol stack configured to transmit signaling messages to a transmission device according to the invention and in particular to send a request for substitution content to a terminal comprising a transmission device with which a communication is established. This is for example a SIP protocol stack.

Le dispositif comprend également un module de communication 406 adapté pour recevoir des données transmises de manière fiable selon un mode de transport distinct du mode de transport mis en œuvre pour transmettre les médias de la communication. Par exemple, il s’agit d’une pile TCP/IP, http ou encore MSRP. Ce module de communication permet la réception du contenu de substitution transmis par un dispositif de transmission selon l’invention auquel a été envoyée une demande de contenu de substitution.The device also comprises a communication module 406 adapted to receive data reliably transmitted according to a mode of transport distinct from the mode of transport used to transmit the media of the communication. For example, it is a TCP / IP stack, http or even MSRP. This communication module allows the reception of the substitution content transmitted by a transmission device according to the invention to which a request for substitution content has been sent.

Le dispositif comprend aussi un module de restitution 407 adapté pour restituer le contenu de substitution sur le second terminal à la place de la vidéo. Il peut s’agir d’un module d’affichage adapté pour décoder et afficher une image ou une vidéo de substitution en lieu et place de la vidéo de la communication, ou encore une séquence d’images animées ou une séquence audiovisuelle. Selon une réalisation particulière, il s’agit d’une interface de restitution audio adaptée pour restituer un signal sonore de substitution.The device also comprises a reproduction module 407 adapted to restore the substitution content on the second terminal in place of the video. It can be a display module adapted to decode and display an image or a substitute video instead of the video of the communication, or a sequence of moving pictures or an audiovisual sequence. According to a particular embodiment, it is an audio reproduction interface adapted to reproduce a replacement sound signal.

Enfin, le dispositif peut comprendre un module de détection 408 d’une dégradation de la qualité d’un flux audio ou d’un flux vidéo dégradé. Par exemple, un tel module peut être mis en œuvre par un programme d’ordinateur exécuté par l’unité de traitement 402 et comportant des instructions adaptées pour examiner les numéros de séquence des paquets de données reçus afin de déterminer un taux de pertes de paquets. Les instructions peuvent en outre être configurées pour déclencher l’envoi, par le module de communication 405, d’une demande de contenu de substitution lorsque le taux de perte excède un seuil prédéterminé.Finally, the device may comprise a detection module 408 for a degradation of the quality of an audio stream or a degraded video stream. For example, such a module may be implemented by a computer program executed by the processing unit 402 and having instructions adapted to examine the sequence numbers of the received data packets to determine a packet loss rate. . The instructions may further be configured to trigger the sending by the communication module 405 of a request for substitution content when the loss rate exceeds a predetermined threshold.

Un tel dispositif d’amélioration de la qualité d’une communication peut avantageusement être mis en œuvre dans un terminal de télécommunication tel qu’un téléphone mobile de type smartphone, une tablette ou encore un ordinateur personnel.Such a device for improving the quality of a communication can advantageously be implemented in a telecommunications terminal such as a smartphone-type mobile phone, a tablet or a personal computer.

La figure 5 illustre l’architecture d’un dispositif 500 adapté pour mettre en œuvre le procédé de transmission selon un mode particulier de réalisation.FIG. 5 illustrates the architecture of a device 500 adapted to implement the transmission method according to a particular embodiment.

Le dispositif comprend un espace de stockage 501, par exemple une mémoire MEM, une unité de traitement 502 équipée par exemple d’un processeur PROC. L’unité de traitement peut être pilotée par un programme 503, par exemple un programme d’ordinateur PGR, mettant en œuvre le procédé de transmission tel que décrit dans l’invention en référence à la figure 3, et notamment les étapes de réception d’une demande de contenu de substitution en provenance d’un terminal, d’obtention d’un contenu de substitution, et de transmission du contenu obtenu vers le terminal par l’intermédiaire d’un second moyen de transport distinct du moyen de transport utilisé pour échanger les flux audiovisuels de la communication. À l’initialisation, les instructions du programme d’ordinateur 503 sont par exemple chargées dans une mémoire RAM (Random Access Memory) avant d’être exécutées par le processeur de l’unité de traitement 502. Le processeur de l’unité de traitement 502 met en œuvre les étapes du procédé de transmission selon les instructions du programme d’ordinateur 503.The device comprises a storage space 501, for example an MEM memory, a processing unit 502 equipped for example with a PROC processor. The processing unit may be driven by a program 503, for example a PGR computer program, implementing the transmission method as described in the invention with reference to FIG. 3, and in particular the reception stages of FIG. a request for substitution content from a terminal, obtaining a substitution content, and transmission of the content obtained to the terminal via a second means of transport distinct from the means of transport used to exchange audiovisual streams of communication. At initialization, the instructions of the computer program 503 are for example loaded into a RAM (Random Access Memory) before being executed by the processor of the processing unit 502. The processor of the processing unit 502 implements the steps of the transmission method according to the instructions of the computer program 503.

Pour cela, le dispositif comprend, outre la mémoire 501, un module de communication 504 adapté pour recevoir un flux audio ou vidéo selon un premier moyen de transport de données. Il s’agit par exemple d’une interface réseau Wifi, Ethernet ou encore d’une connexion à un réseau cellulaire de type 3G ou 4G couplée avec une pile protocolaire SIP et/ou RTP par exemple. Ce module de communication permet au terminal d’échanger des flux audiovisuels avec un autre terminal.For this, the device comprises, in addition to the memory 501, a communication module 504 adapted to receive an audio or video stream according to a first data transport means. This is for example a Wifi network interface, Ethernet or a connection to a 3G or 4G type cellular network coupled with a SIP protocol stack and / or RTP for example. This communication module allows the terminal to exchange audiovisual streams with another terminal.

Le dispositif comprend également un module de communication 505 adapté pour recevoir une demande de contenu de substitution en provenance d’un autre dispositif. Un tel module de communication peut également correspondre à une interface réseau de type Wifi, Ethernet, 3G ou 4G. L’interface réseau peut être partagée avec celle décrite en référence au module de communication 504. Le module de communication 505 comprend en outre une pile protocolaire configurée pour transmettre et recevoir des messages de signalisation vers un autre dispositif et en particulier d’envoyer une demande de contenu de substitution vers un dispositif d’amélioration selon l’invention compris dans un terminal avec lequel une communication est établie. Il s’agit par exemple d’une pile protocolaire SIP.The device also includes a communication module 505 adapted to receive a request for substitution content from another device. Such a communication module can also correspond to a network interface of Wifi, Ethernet, 3G or 4G type. The network interface may be shared with that described with reference to the communication module 504. The communication module 505 further comprises a protocol stack configured to transmit and receive signaling messages to another device and in particular to send a request. substitute content to an enhancement device according to the invention included in a terminal with which a communication is established. This is for example a SIP protocol stack.

Le dispositif comprend également un module de communication 506 adapté pour envoyer un contenu de substitution de manière fiable selon un mode de transport distinct du mode de transport mis en oeuvre pour transmettre les médias de la communication. Par exemple, il s’agit d’une pile TCP/IP, http ou encore MSRP. Ce module de communication permet l’envoi du contenu de substitution vers un dispositif d’amélioration selon l’invention au terminal de télécommunication ayant envoyé une demande de contenu de substitution.The device also comprises a communication module 506 adapted to send a replacement content reliably according to a transport mode distinct from the transport mode used to transmit the media of the communication. For example, it is a TCP / IP stack, http or even MSRP. This communication module makes it possible to send the substitution content to an improvement device according to the invention to the telecommunication terminal having sent a request for substitution content.

Le dispositif de transmission comprend enfin un module d’obtention 507 d’un contenu de substitution. Un tel module peut être implémenté par un programme d’ordinateur comportant des instructions adaptées pour rechercher dans une mémoire un contenu de substitution sélectionné au préalable par un utilisateur du dispositif. Selon une réalisation particulière, le module d’obtention coopère avec un module de capture vidéo, tel qu’une caméra associée au dispositif. De cette façon le dispositif de transmission peut transmettre un contenu de substitution correspondant à une image fixe ou une séquence audiovisuelle capturée par le dispositif. De façon optionnelle, le module d’obtention peut comprendre une mémoire tampon circulaire configurée pour mémoriser les dernières secondes d’un flux audio et/ou vidéo envoyé au cours d’une communication. De cette façon, le dispositif peut transmettre un contenu de substitution correspondant aux dernières paroles ayant été prononcées par l’utilisateur du dispositif et/ou aux dernières images transmises au cours de la communication.Finally, the transmission device comprises a module 507 for obtaining a substitution content. Such a module can be implemented by a computer program including instructions adapted to search in a memory substitution content previously selected by a user of the device. According to a particular embodiment, the obtaining module cooperates with a video capture module, such as a camera associated with the device. In this way the transmission device can transmit a substitution content corresponding to a still image or an audiovisual sequence captured by the device. Optionally, the obtaining module may comprise a circular buffer configured to store the last seconds of an audio and / or video stream sent during a communication. In this way, the device can transmit a replacement content corresponding to the last words spoken by the user of the device and / or to the last images transmitted during the communication.

Un tel dispositif de transmission peut être avantageusement intégré à un terminal de communication tel qu’un téléphone mobile de type smartphone, une tablette, une montre connectée, un projecteur vidéo, un ordinateur personnel ou tout autre dispositif adapté pour établir des communications audiovisuelles au travers d’un réseau de communication.Such a transmission device can be advantageously integrated with a communication terminal such as a smartphone-type mobile phone, a tablet, a connected watch, a video projector, a personal computer or any other device adapted to establish audiovisual communications through a communication network.

Selon une réalisation particulière, le terminal peut comprendre un dispositif d’amélioration selon l’invention et un dispositif de transmission selon l’invention.According to a particular embodiment, the terminal may comprise an improvement device according to the invention and a transmission device according to the invention.

Claims (15)

REVENDICATIONS 1. Procédé d’amélioration de la qualité d’une communication audiovisuelle établie entre un premier et au moins un second terminal, le procédé étant caractérisé en ce qu’il comporte, lorsque la vidéo reçue par le second terminal est affectée par des erreurs de transmission, les étapes suivantes: - envoi d’une demande d’un contenu de substitution vers le premier terminal, - réception, selon un moyen de transport de données distinct du moyen de transport utilisé pour transmettre la vidéo, d’un contenu de substitution en provenance du premier terminal, - restitution de contenu de substitution sur le second terminal à la place de la vidéo.A method for improving the quality of an audiovisual communication established between a first and at least a second terminal, the method being characterized in that it comprises, when the video received by the second terminal is affected by errors of transmission, the following steps: - sending a request for a substitute content to the first terminal, - receiving, according to a data transport means separate from the means of transport used to transmit the video, a substitute content from the first terminal, - restitution of substitute content on the second terminal in place of the video. 2. Procédé selon la revendication 1 caractérisé en ce que l’envoi du message vers le premier terminal est effectué suite à une action d’un utilisateur du second terminal sur un élément d’interaction.2. Method according to claim 1 characterized in that the sending of the message to the first terminal is performed following an action of a user of the second terminal on an interaction element. 3. Procédé selon l’une quelconque des revendications précédentes caractérisé en ce que la demande de contenu de substitution est envoyée automatiquement par le second terminal lorsque la valeur d’une donnée représentative de la qualité de la vidéo décodée sur le second terminal excède un seuil prédéterminé.3. Method according to any one of the preceding claims, characterized in that the substitution content request is sent automatically by the second terminal when the value of a data representative of the quality of the video decoded on the second terminal exceeds a threshold. predetermined. 4. Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que le contenu de substitution est une séquence vidéo.4. Method according to any one of the preceding claims, characterized in that the substitution content is a video sequence. 5. Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que le moyen de transport de données distinct du moyen de transport utilisé pour transmettre la vidéo est un protocole de transport de données fiable.5. Method according to any one of the preceding claims, characterized in that the data transport means separate from the means of transport used to transmit the video is a reliable data transport protocol. 6. Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que la transmission de la vidéo depuis le premier terminal vers le second terminal est suspendue tant que le contenu de substitution n’est pas reçu par le second terminal.6. Method according to any one of the preceding claims, characterized in that the transmission of the video from the first terminal to the second terminal is suspended as the substitution content is not received by the second terminal. 7. Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que le contenu de substitution est enregistré dans une mémoire associée au second terminal.7. Method according to any one of the preceding claims, characterized in that the substitution content is stored in a memory associated with the second terminal. 8. Dispositif d’amélioration de la qualité d’une communication vidéo établie entre un premier et un second terminal, le dispositif étant caractérisé en ce qu’il comporte : - un module de communication adapté pour recevoir un flux vidéo selon un premier moyen de transport de données, - un module de communication adapté pour envoyer une demande de contenu de substitution vers le premier terminal, - un module de communication adapté pour recevoir un contenu de substitution en provenance du premier terminal, selon un moyen de transport de données distinct du moyen de transport utilisé pour transmettre la vidéo, - un module d’affichage adapté pour restituer le contenu de substitution sur le second terminal à la place de la vidéo.8. Device for improving the quality of a video communication established between a first and a second terminal, the device being characterized in that it comprises: a communication module adapted to receive a video stream according to a first means of data transport, - a communication module adapted to send a request for substitution content to the first terminal, - a communication module adapted to receive a substitution content from the first terminal, according to a data transport means separate from the means of transport used to transmit the video, - a display module adapted to render the substitute content on the second terminal in place of the video. 9. Terminal caractérisé en ce qu’il comporte un dispositif d’amélioration selon la revendication 8.9. Terminal characterized in that it comprises an improvement device according to claim 8. 10. Support d'informations lisible par un processeur sur lequel est enregistré un programme d'ordinateur comprenant des instructions pour l'exécution des étapes du procédé d’amélioration selon l'une quelconque des revendications 1 à 7.A processor readable information medium on which a computer program is stored including instructions for performing the steps of the improvement method according to any one of claims 1 to 7. 11. Procédé de transmission d’un contenu de substitution depuis un premier terminal vers un second terminal lors d’une communication vidéo établie entre les deux terminaux selon un premier moyen de transport, le procédé étant caractérisé en ce qu’il comporte les étapes suivantes : - réception d’une demande de contenu de substitution en provenance du second terminal, - obtention d’un contenu de substitution, et - transmission du contenu obtenu vers le second terminal par l’intermédiaire d’un second moyen de transport distinct du premier moyen de transport.11. A method for transmitting a substitution content from a first terminal to a second terminal during a video communication established between the two terminals according to a first transport means, the method being characterized in that it comprises the following steps : - receiving a request for substitution content from the second terminal, - obtaining a substitution content, and - transmission of the content obtained to the second terminal via a second means of transport distinct from the first means of transport. 12. Procédé selon la revendication 11 caractérisé en ce que le contenu de substitution est une séquence audiovisuelle capturée à partir d’un dispositif de capture du premier terminal.12. The method of claim 11 characterized in that the substitution content is an audiovisual sequence captured from a capture device of the first terminal. 13. Dispositif de transmission d’un contenu de substitution vers un second dispositif lors d’une communication vidéo entre deux dispositifs, le dispositif étant caractérisé en ce qu’il comporte: - un module de communication adapté pour recevoir une demande de contenu de substitution en provenance du second dispositif, - un module d’obtention d’un contenu de substitution, - un module de communication adapté pour transmettre le contenu obtenu au second dispositif.13. Device for transmitting a substitution content to a second device during a video communication between two devices, the device being characterized in that it comprises: a communication module adapted to receive a request for substitution content from the second device, - a module for obtaining a substitution content, - a communication module adapted to transmit the content obtained to the second device. 14. Terminal caractérisé en ce qu’il comporte un dispositif de transmission selon la revendication 13.14. Terminal characterized in that it comprises a transmission device according to claim 13. 15. Support d'informations lisible par un processeur sur lequel est enregistré un programme d'ordinateur comprenant des instructions pour l'exécution des étapes du procédé de transmission selon l'une quelconque des revendications 11 à 12.15. A processor-readable information medium on which a computer program is stored including instructions for executing the steps of the transmission method according to any one of claims 11 to 12.
FR1654926A 2016-05-31 2016-05-31 METHOD FOR IMPROVING THE QUALITY OF A COMMUNICATION Withdrawn FR3052010A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1654926A FR3052010A1 (en) 2016-05-31 2016-05-31 METHOD FOR IMPROVING THE QUALITY OF A COMMUNICATION

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1654926A FR3052010A1 (en) 2016-05-31 2016-05-31 METHOD FOR IMPROVING THE QUALITY OF A COMMUNICATION

Publications (1)

Publication Number Publication Date
FR3052010A1 true FR3052010A1 (en) 2017-12-01

Family

ID=56943669

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1654926A Withdrawn FR3052010A1 (en) 2016-05-31 2016-05-31 METHOD FOR IMPROVING THE QUALITY OF A COMMUNICATION

Country Status (1)

Country Link
FR (1) FR3052010A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150312594A1 (en) * 2014-04-28 2015-10-29 Arris Enterprises, Inc. Error recovery for video delivery via a segmentation process
US20150350290A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Seamless Video Pipeline Transition Between WiFi and Cellular Connections for Real-Time Applications on Mobile Devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150312594A1 (en) * 2014-04-28 2015-10-29 Arris Enterprises, Inc. Error recovery for video delivery via a segmentation process
US20150350290A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Seamless Video Pipeline Transition Between WiFi and Cellular Connections for Real-Time Applications on Mobile Devices

Similar Documents

Publication Publication Date Title
US9363480B2 (en) Obtaining replay of audio during a conference session
EP2057632A1 (en) Method of management of a multimedia program, server, terminals, signal and corresponding computer programs
EP2381683A1 (en) Method and system for managing a live video broadcast streaming session
EP1908259B1 (en) Apparatus and method for estimating fill factor of client input buffers of a real time content distribution
EP3381196B1 (en) Method for synchronising an alternative audio stream
FR2977101A1 (en) RETRANSMISSION OF DATA LOST BETWEEN A TRANSMITTER AND A RECEIVER
EP2793443A1 (en) Method, device and system for detecting quality-of-service problems
FR2922401A1 (en) DEVICE FOR CONTINUOUSLY RECEIVING AUDIO AND / OR VIDEO DATA PACKETS
FR3052010A1 (en) METHOD FOR IMPROVING THE QUALITY OF A COMMUNICATION
EP3840388B1 (en) Dual audio-link decoder equipment
EP2129130A1 (en) Simplified transmission method of a flow of signals between a transmitter and an electronic device
EP3035694A1 (en) Method for controlling playback of a media stream during a telephone call
EP2846520A1 (en) Method and device for enriching communication
EP2091201A1 (en) Method and system of transferring a media stream during a communication session
WO2004100492A1 (en) Method and device for synchronisation of data streams
FR3079705A1 (en) COMMUNICATION BY VIDEO CONFERENCE
EP2854415B1 (en) Method for dynamic transmission of information data relating to an audio and/or video programme
FR3123531A1 (en) Devices and methods for recording data content segmented into multiple segments sent over at least two different channels
FR3060919A1 (en) METHOD OF ALERTING A QUALITY OF SERVICE DROP
FR2984059A1 (en) Method for local restoration of video locally acquired and transmitted by e.g. Internet Protocol network, during e.g. audio communication, between e.g. personal computer and TV, involves adapting video to be restored and displaying video
FR2984058A1 (en) METHOD AND DEVICE FOR LOCAL VIDEO RESTITUTION DURING VISIOPHONIC COMMUNICATION
EP1978713A1 (en) System for controlling a content transmission session between a content server and a terminal connected to a cellular network with intermittent radio coverage and with a mechanism for intermittent transfer of content
WO2018002469A1 (en) Method and device for managing a session for transmitting a video stream
FR2984060A1 (en) Method for local restoration of video during e.g. video communication, between e.g. TV and receiver terminal, involves applying network disturbances to duplicated data stream and displaying video reconstructed from modified data stream
FR3047377A1 (en) METHOD AND TERMINAL FOR RECEIVING A VIDEO STREAM FROM VISIOPHONIC COMMUNICATION BETWEEN TWO TERMINALS

Legal Events

Date Code Title Description
PLSC Publication of the preliminary search report

Effective date: 20171201

ST Notification of lapse

Effective date: 20180131